KR20070047195A - 상호작용 장치 및 방법 - Google Patents

상호작용 장치 및 방법 Download PDF

Info

Publication number
KR20070047195A
KR20070047195A KR1020060018046A KR20060018046A KR20070047195A KR 20070047195 A KR20070047195 A KR 20070047195A KR 1020060018046 A KR1020060018046 A KR 1020060018046A KR 20060018046 A KR20060018046 A KR 20060018046A KR 20070047195 A KR20070047195 A KR 20070047195A
Authority
KR
South Korea
Prior art keywords
user
function
selectable item
indication message
selectable
Prior art date
Application number
KR1020060018046A
Other languages
English (en)
Inventor
제임스 마그그라프
Original Assignee
리이프프로그 엔터프라이시스, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 리이프프로그 엔터프라이시스, 인코포레이티드 filed Critical 리이프프로그 엔터프라이시스, 인코포레이티드
Publication of KR20070047195A publication Critical patent/KR20070047195A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/066—Installations on the floor, e.g. special surfaces, to guide blind persons
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C17/00—Pavement lights, i.e. translucent constructions forming part of the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/36—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/19—Image acquisition by sensing codes defining pattern positions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Rehabilitation Therapy (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Pain & Pain Management (AREA)
  • Epidemiology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

사용자에게 기능과 상호작용하도록 음성으로(audibly) 지시하는 방법이다. 하나의 기능은 사용자가 기록한 하나의 선택 가능한 항목(user-written selectable item)과 연관되어 있다. 상기 사용자가 기록한 선택 가능한 항목은 표면에서 인식된다. 사용자가 기록한 선택 가능한 항목의 인식에 응답하여, 기능의 동작에 관련된 제1 지시 메시지가 사용자의 상호작용을 추가로 요구하지 않으면서 음성으로 표현된다.
기능, 상호작용, 음성, 오디오, 지시, 광학 판독기, 광학 펜, 스타일러스

Description

상호작용 장치 및 방법{INTERACTIVE DEVICE AND METHOD}
도 1은 본 발명의 일 실시예에 따른 상호작용 장치를 나타낸 도면이다.
도 2a 내지 도 2d는 본 발명의 일 실시예에 따른 종이 시트 상의 사용자가 기록한 선택 가능한 항목의 전형적인 예를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 마크(mark)의 패턴이 있는 전형적인 종이 시트를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 전형적인 종이 시트 상의 마크의 패턴을 확대시킨 도면이다..
도 5는 본 발명의 일 실시예에 따른 표면 상의 사용자가 기록한 선택 가능한 항목과의 상호작용을 용이하게 하기 위한 프로세스의 단계를 나타낸 흐름도이다.
도 6은 본 발명의 실시예를 구현할 수 있는 다른 장치의 블록도이다.
도 7은 본 발명의 실시예를 구현할 수 있는 다른 장치의 블록도이다.
도 8a 및 도 8b는 본 발명의 일 실시예에 따른, 사용자에게 기능과 상호작용하도록 음성으로 지시하기 위한 프로세스를 나타낸 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 기능을 자동으로 실행하기 위한 프로세스를 나타낸 흐름도이다.
관련출원의 상호 참조
본 출원은 대리인 사건번호 제020824-004610US호이고, 제임스 마그그라프(James Marggraff) 등이 2004년 3월 17에 "SCANNING APPARATUS(스캐닝 장치)"라는 명칭으로 출원한 미국특허출원 제10/803,806호인, 공동출원 공동소유의 미국 특허출원의 일부계속출원으로, 그 내용 전부는 본 명세서 참조로서 통합된다.
본 출원은 대리인 사건번호 제020824-009500US호이고, 제임스 마그그라프(James Marggraff) 등이 2004년 6월 3에 "USER CREATED INTERACTIVE INTERFACE(사용자 생성형 상호작용 인터페이스)"라는 명칭으로 출원한 미국특허출원 제 10/861,243호인, 공동출원 공동소유의 미국 특허출원의 일부계속출원으로, 그 내용 전부는 본 명세서 참조로서 통합된다.
본 출원은 대리인 사건번호 제LEAP-P0313호이고, 제임스 마그그라프(James Marggraff) 등이 2005년 1월 12에 "METHOD AND SYSTEM FOR IMPLEMENTING A USER INTERFACE FOR A DEVICE EMPLOYING WRITTEN GRAPHICAL ELEMENTS(기록형 그래픽 요소를 채용하는 장치용 사용자 인터페이스를 구현하는 방법 및 시스템)"라는 명칭으로 출원한 미국특허출원 제11/034,491호인, 공동출원 공동소유의 미국 특허출원의 일부계속출원으로, 그 내용 전부는 본 명세서 참조로서 통합된다.
본 출원은 대리인 사건번호 제LEAP-P0316호이고, 제임스 마그그라프(James Marggraff) 등이 2005년 1월 12에 "METHOD AND SYSTEM FOR IMPLEMENTING A USER INTERFACE FOR A DEVICE THROUGH RECOGNIZED TEXT AND BOUNDED AREAS(텍스트와 경계 영역의 인식을 통해 장치용 사용자 인터페이스를 구현하는 방법 및 시스템)"라는 명칭으로 출원한 미국특허출원 제11/035,155호인, 공동출원 공동소유의 미국 특허출원과 관련 있으며, 그 내용 전부는 본 명세서 참조로서 통합된다.
본 출원은 대리인 사건번호 제LEAP-P0320호이고, 제임스 마그그라프(James Marggraff) 등이 2005년 1월 12에 "TERMINATION EVENTS(종료 이벤트)"라는 명칭으로 출원한 미국특허출원 제11/035,003호의 공동출원 공동소유의 미국 특허출원과 관련이 있으며, 그 내용 전부는 본 명세서 참조로서 통합된다.
본 명세서의 실시예들은 상호작용 장치(interactive device)에 관한 것이다. 더욱 상세하게는 본 명세서의 실시예들은 펜 기반 상호작용 장치(pen-based interactive device)에 관한 것이다. 아주 구체적으로는, 본 명세서는 사용자에게 기능과 상호작용하도록 음성으로 지시하는 장치 및 방법에 관한 것이다.
광학 판독기(optical reader)나 광학 펜(optical pen) 등의 장치는 일반적으로 표면에서 검출기 또는 이미저(imager)로 반사하는 광을 방출한다. 상기 장치는 표면에 대해 이동되며(또는 그 반대),연속적인 이미지를 신속하게 포착한다. 이미지를 분석함으로써, 표면에 대한 광학 장치의 이동을 추적할 수 있다.
광학 펜 중의 한 종류는 아주 작은 점들이 인쇄된 종이에 사용되는 것이다. 점들은 페이지에 약 0.3 밀리미터(0.01 인치) 공칭 간격의 패턴으로 인쇄된다. 페이지의 임의의 영역 내의 점 패턴은 그 영역에 대해 고유하다. 광학 펜은 표면에 대한 스냅샷(snapshot)을, 가능하면 1초에 100번 또는 그 이상 찍는다. 포착한 점 의 위치를 해석함으로써, 광학 펜은 페이지에 대한 자신의 위치를 정확하게 결정할 수 있다.
표면에 대한 광학 펜의 위치에 관한 정보를 활용하는 애플리케이션은 고안되었거나 고안되고 있다. 블루투스(Bluetooth)나 다른 무선 기능(wireless capability)을 구비한 광학 펜은 다른 장치에 링크되어 전자메일(e-mail)이나 팩스를 전송할 수 있다.
내장형 컴퓨터 시스템의 능력(power)과 구현할 수 있는 기능의 복잡도(complexity) 증가는, 그러한 능력에 접근하는 더욱 직관적이고 사용자에게 친숙한 방식에 대한 요구를 야기시켰다. 일반적인 종래 기술의 광학 펜은 사용자가 작동시키는 하나 이상의 버튼/스위치나 하나 이상의 소프트웨어 프로그램, 루틴, 내장된 장치 등을 기동시키는 광학 펜의 제어에 의해 의도된 기능성을 실행할 것이다. 광학 펜은 컴퓨터 시스템을 포함하거나 컴퓨터 시스템과 통신할 수 있다. 그러한 제어의 작용으로, 펜 장치는 의도된 기능을 실행한다. 펜 자체에 구비되거나 임의의 원격으로 연결된 컴퓨터 시스템 장치에 구비된, 한정된 수의 스위치, 버튼 등의 구성을 통해 더욱더 강력한 광학 펜의 기능을 액세스하는 것은, 만족스러운 방식(arrangement)이 아니다.
종래 기술의 해결법 중 하나는 사용자 정의 명령을 인식하기 위해 광학 펜을 사용하고, 펜의 어떤 기능을 호출(invoke)하기 위해 커맨드(command)를 사용하는 것이다(예를 들어, PCT 국제공개공보 WO/Ol /48590 A1). 예를 들면, 사용자가 기록한 것은 (예를 들어, 실시간으로) 인식되어 광학 펜에 대한 명령으로 해석될 수 있다. 이 해결법이 갖는 단점은 펜의 상호작용 및 제어는 사용자가 손으로 쓴 것에 대해 실시간(예를 들어, 사용자가 커맨드를 종이 시트 위에 쓰는 때) 인식을 필요로 한다는 때)는 사실을 포함한다. 이 해결법은 광학 펜의 더욱 복잡한 기능성과의 상호작용이 사용자에게 펜에 의해 제공되는 상이한 선택, 옵션 또는 기능을 액세스하기 위해 하나 이상의 커맨드를 반복하여 쓰도록 요구한다는 사실로 인해 만족스럽지 못하다. 한편 이 방법은 대단히 간단한 단일 단계형의 애플리케이션[예를 들어"턴오프(turn off)", "저장(store)" 등]이기 때문에 만족스러울 수 있으며, 더욱 복잡하고 충분하며 풍부한 기능성이 요구되는 경우에, 이 해결법은 지나치게 성가시고 제한적이다.
따라서, 사용자가 기록한 선택 가능한 항목과 관련된 기능과 상호작용을 위한 효율적인 사용자 인터페이스를 제공하는 상호작용 장치에 대한 요구가 존재한다. 또한 상기한 요구를 충족시키며 사용자에게 상기 기능과 상호작용할 수 있도록 도와주는 지시를 음성으로 제공하는 상호작용 장치에 대한 요구가 존재한다. 상기 첫 번째 요구를 충족시키고 사용자의 상호작용을 추가로 먼저 요구하지 않으면서 특정한 기능의 자동 실행을 제공하는 상호작용 장치에 대한 요구가 존재한다.
본 발명의 여러 실시예, 사용자에게 기능과 상호작용하도록 음성으로 지시하는 방법을 여기에 기술한다. 하나의 기능은 사용자가 기록한 하나의 선택 가능한 항목과 연관되어 있다. 사용자가 기록한 선택 가능한 항목은 표면에서 인식된다. 일 실시예에서 사용자가 기록한 선택 가능한 항목의 인식은 사용자가 기록한 선택 가능한 항목이 완성되었음을 나타내는 종료 이벤트(termination event)를 검출한 것에 응답하여 수행된다. 일 실시예에서, 사용자가 기록한 선택 가능한 항목의 인식은 펜 컴퓨터의 팁(tip)의 위치를 광학적으로 기록하고 사용자가 기록한 선택 가능한 항목을 인식하기 위해 상기 위치의 이미지 인식을 수행하는 것을 포함한다.
사용자가 기록한 선택 가능한 항목의 인식한 것에 응답하여, 기능의 동작과 관련된 제1 지시 메시지가 사용자의 상호작용을 추가로 요구하지 않으면서 음성으로 표현된다. 일 실시예에서, 상기 제1 지시 메시지는 사용자가 상기 기능과 인터페이스할 수 있도록 해주는 적어도 하나의 사용자 인터페이스 요소를 그리도록 사용자에게 지시한다. 일 실시예에서, 상기 기능은 상기 제1 지시 메시지를 음성으로 표현하기 이전에 실행된다. 일 실시예에서, 음성으로 표현되는 상기 제1 명령 메시는 펜 컴퓨터의 오디오 출력 장치에 의해 수행된다.
일 실시예에서, 상기 제1 지시 메시지가 음성으로 표현된 때로부터 미리 결정된 기간 이내에, 상기 표면에 기록이 있었는지를 결정한다. 상기 미리 결정된 기간 이내에 표면에 기록된 것이 없으면, 상기 제1 지시 메시지는 반복된다.
일 실시예에서, 상기 표면에 사용자 인터페이스 요소가 적절하게 그려졌는지를 판단한다. 상기 표면에 상기 사용자 인터페이스 요소가 적절하게 그려지지 않았으면, 사용자가 사용자 인터페이스 요소를 적절하게 그려야 하는 방식에 관한 힌트를 포함하는 제2 지시 메시지를 음성으로 표현한다. 일 실시예에서, 상기 사용자 인터페이스 요소가 적절하게 그려졌으면, 제3 지시 메시지를 음성으로 표현한 다. 다른 실시예에서, 상기 사용자 인터페이스 요소가 적절하게 그려졌으면, 기능이 실행된다. 일 실시예에서, 사용자와 사용자가 기록한 선택 가능한 항목의 상호작용에 응답하여, 제1 지시 메시지가 반복된다.
다른 실시예에서, 본 발명은 사용자가 기능과 상호작용하도록 음성으로 지시하는 전술한 방법을 구현하기 위해 동작 가능한, 버스, 프로세서, 메모리 유닛, 오디오 출력 장치, 기록 소자(writing element), 및 광 검출기를 포함하는 상호작용 장치를 제공한다. 다른 실시에에서, 본 발명은 컴퓨터 시스템으로 하여금 사용자가 기능과 상호작용하도록 음성으로 지시는 전술한 방법을 수행하도록 구현된, 컴퓨터로 판독 가능한 프로그램 코드(computer-readable program code)를 포함하는 컴퓨터에서 사용 가능한 매체(computer-usable medium)를 제공한다.
여기에 기술하는 다른 많은 실시예에서, 본 발명은 기능을 자동으로 실행하는 방법을 제공한다. 하나의 기능은 사용자가 기록한 하나의 선택 가능한 항목과 연과되어 있다. 상기 사용자가 기록한 선택 가능한 항목은 표면에서 인식된다. 일 실시예에서, 사용자가 기록한 선택 가능한 항목의 인식은 사용자가 기록한 선택 가능한 항목이 완성되었음을 나타내는 종료 이벤트를 검출한 것에 응답하여 수행된다.
사용자가 기록한 선택 가능한 항목의 인식에 응답하여, 상기 기능은 사용자와 상기 표면 사이의 상호작용을 추가로 요구하지 않으면서 즉시 실행된다. 일 실시예에서, 상기 기능은 사용자가 표면에 보조적인 기록(auxiliary writing)을 할 것을 요구하지 않고 즉시 실행된다.
일 실시예에서, 기능의 동작에 관련된 지시 메시지는 상기 사용자와 상기 표면 사이의 상호작용을 추가로 먼저 요구하지 않으면서 음성으로 표현된다. 일 실시예에서, 상기 지시 메시지는 사용자와 상기 표면과의 상호작용 없이 미리결정된 기간이 경과한 것에 응답하여 음성으로 표현된다. 일 실시예에서, 상기 사용자가 기록한 선택 가능한 항목과의 사용자 상호작용에 따라, 상기 기능이 재실행된다.
다른 실시예에서, 본 발명은 기능을 자동으로 수행하는 전술한 방법을 구현할 수 있는, 버스, 프로세서, 메모리 유닛, 오디오 출력 장치, 기록 소자, 및 광 검출기를 포함하는 상호작용 장치를 제공한다. 다른 실시예에서, 본 발명은 컴퓨터 시스템으로 하여금 기능을 자동으로 실행하는 전술한 방법을 수행하도록 구현된, 컴퓨터로 판독 가능한 프로그램 코드를 포함하는 컴퓨터에서 사용 가능한 매체를 제공한다.
여러 실시예에서, 상기 사용자가 기록한 선택 가능한 항목은 상기 프로세서에 의해 실행 가능한 애플리케이션 프로그램의 심볼 표현(symbol represntation), 상기 프로세서에 의해 실행 가능한 애플리케이션 프로그램의 메뉴 항목, 네비게이션 항목(navigation item), 데이터, 애플리케이션 옵션 선택기(option selctor), 또는 다른 선택 가능한 항목을 포함한다.
이상의 설명은 사용자에게 기능과 상호작용하도록 음성으로 지시하는 방법을 한정되지 않음을 설명한다. 하나의 기능은 사용자가 기록한 하나의 선택 가능한 항목과 연관되어 있다. 사용자가 기록한 선택 가능한 항목은 표면에서 인식된다. 사용자가 기록한 선택 가능한 항목의 인식에 응답하여, 그 기능의 동작에 관련된 제1 지시 메시지가 사용자의 상호작용을 추가로 요구하지 않으면서 음성으로 표현된다.
본 명세서의 통합되어 그 일부를 이루는 첨부 도면은 본 발명의 실시예들을 나타내며, 상세한 설명과 함께 본 발명의 원리를 설명하기 위해 사용된다.
본 발명의 여러 실시예에 대해 상세하게 언급하며, 사용자에게 표면에 사용자가 기록한 선택 가능한 항목을 생성하고 사용자가 기록한 선택 가능한 항목과 상호작용할 수 있도록 해주는 상호작용 장치는 첨부도면에 그 실시예들이 나타나 있다. 본 발명은 이 실시예들에 관하여 설명하지만, 본 발명을 이 실시예들로 한정하고자 하는 것이 아님은 물론이다. 오히려, 본 발명은 첨부된 특허청구범위에 의해 규정된 바와 같이 본 발명의 사상 및 범위 내에 포함되는, 대체물, 변경물 및 등가물도 포함하도록 의도된다. 또한 본 발명에 대해 후술하는 상세한 설명에서는 수많은 구체적인 세부사항을 본 발명에 대한 완전한 이해를 제공하기 위해 설명한다. 하지만, 이 기술분야의 당업자는 이러한 구체적인 세부사항 없이도 본 발명을 실시할 수 있음을 알 것이다. 다른 경우에, 공지의 방법, 절차, 구성요소, 및 회로는 본 발명의 특징을 쓸데없이 불명료하게 하지 않도록 자세하게 설명하지 않는다.
다음의 상세한 설명의 일부는 절차 단계, 논리 블록, 처리, 및 컴퓨터 메모리에서 실행될 수 있는 데이터 비트에 관한 동작의 다른 심볼 표현에 관해 나타낸다. 이들 설명 및 표현은 데이터 처리 기술의 당업자가 다른 기술분야의 당업자에게 자신의 연구 내용을 가장 효과적으로 전달하기 위해 사용하는 수단(means)이다. 절차, 컴퓨터에 의해 수행되는 단계, 논리 블록, 프로세스 등이 있으며, 일반적으로 원하는 결과를 도출하는 자기모순이 없는(self-consistent) 단계나 명령의 시퀀스로 생각된다. 단계들은 물리량의 물리적인 조작을 필요로 하는 것이다. 꼭 그런 것은 아니지만 대개, 이 양은 컴퓨터 시스템에서 저장, 전달, 결합, 비교, 및 조작을 할 수 있는 전기 신호나 자기 신호의 형태를 띤다. 때로는 일반적인 사용의 이유로 이들 신호를 비트(bit), 값(value), 요소(element), 심볼(symbol), 문자(character), 용어(term), 숫자(number) 등으로 나타내는 것이 대체로 편리하다는 것이 입증되었다.
하지만, 이들 모두 및 유사한 용어는 적당한 물리량과 관련될 것이고, 이들 양에 부가된 편의상의 표지(lable)일 뿐이라는 것을 명심하여야 한다. 특별히 언급하지 않는 한, 그렇지 않으면 다음의 설명에서 명백한 바와 같이, 본 발명과 설명의 전체 걸쳐, 전자 장치의 레지스터와 메모리 내에서 물리(전기)량으로 표현된 데이터를, 전자 장치 메모리 또는 레지스터 또는 기타 그러한 정보 저장, 전송 또는 표시 장치 내에서 물리량으로 유사하게 표현되는 다른 데이터로 변환하고 조작하는, 전자 시스템[예를 들어, 도 1의 상호작용 장치(100)]이나 유사한 전자 컴퓨팅 장치의 작용(action) 및 프로세스를 나타내는 "연관시키는" 또는 "인식하는" 또는 "표현하는" 또는 "요구하는" 또는 "결정하는" 또는 "반복하는" 또는 "실행하는" 또는 "검출하는" 또는 "지시하는" 등의 용어를 사용하는 것으로 인식된다.
실시예
본 발명의 여러 실시예 중에서, 기능과 상호작용하도록 사용자에게 음성으로 지시하는 방법을 이하에서 설명한다. 일 실시예에서, 기술하는 실시예들은 사용자에게 표면에 기록되는 선택 가능한 항목을 생성하고, 그것과 상호작용할 수 있도록 하는 상호작용 장치 내에서 실현된다. 본 발명은 예를 들어, 종이 시트와 같은 임의의 기록 가능한 표면을 구비하는 전자적인 디스플레이를 대신하는 인터페이스를 사용자에게 제공한다. 사용자는 관련된 기능을 실행 및/또는 예를 들어 단어, 문자, 숫자, 심볼 등의 사용자가 기록한 데이터를 나타내는 사용자가 기록한 선택 가능한 항목을 표면에 생성할 수 있다. 사용자가 기록한 선택 가능한 항목은 표면 위에 계속 유지되어, 사용자에게 상호작용 장치의 동작을 통해 상이한 선택 가능한 항목과 관련된 기능을 실행할 수 있도록 해준다. 일 실시예에서, 특정한 기능과 연관되어 있기 때문에 특정한 사용자가 기록한 선택 가능한 항목의 인식에 응답하여, 상호작용 장치는 해당 기능의 동작에 관련된 지시 메시지를 음성으로 표현한다. 다른 실시예에서, 특정한 기능과 연관되어 있기 때문에 특정한 사용자가 기록한 선택 가능한 항목의 인식에 응답하여, 상호작용 장치는 해당 기능을 즉시 실행한다.
도 1은 본 발명의 일 실시예에 따른 상호작용 장치(100)를 나타낸다. 상호작용 장치(100)는 하우징(130) 내에 프로세서(112), 메모리 유닛(114), 오디오 출력 장치(116), 기록 소자(118), 및 광 검출기(120)를 포함한다. 일 실시예에서, 프로세서(112), 메모리 유닛(114), 오디오 출력 장치(116), 및 광 검출기(120)는 버스(122)를 통해 통신할 수 있게 연결되어 있다.
일 실시예에서, 하우징(130)은 스타일러스(stylus)나 필기도구(예를 들어, 펜형) 형태의 형상이다. 사용자는 스타일러스를 잡는 것과 유사한 방식으로 상호작용 장치(100)를 잡을 수 있다. 기록 소자(118)는 사용자가 기록 소자(118)를 기록 가능한 표면(도시하지 않음)과 접촉하여 위치시킬 수 있도록 하우징(130)의 일단에 위치한다. 기록 소자(118)는 펜, 연필, 마커(maker), 크레용, 또는 기타 마킹 재료(marking material)를 포함할 수 있다. 기록 소자(118)는 또한 비마킹 팁(non-marking tip)을 포함할 수도 있음을 알아야 한다. 사용하는 동안에, 사용자는 상호작용 장치(100)를 쥐고, 그것을 필기 도구로 종이와 같은 표면에 필기하는 것과 유사한 방식을 사용할 수 있다.
기록 소자(118)는 표면에 사용자가 기록한 선택 가능한 항목을 생성하기 위해 사용될 수 있다. "사용자가 기록한 선택 가능한 항목"은 사용자에 의해 생성된 임의의 마킹을 포함할 수 있다. 마킹이 표면(예를 들어, 종이)에 만들어지면, 사용자가 기록한 선택 가능한 항목은 인쇄 요소일 수 있다. 사용자가 기록한 선택 가능한 항목은 심볼, 글자(letter) 및/또는 숫자, 문자, 단어, 형상(shape), 선 등과 같은 표시(indicia)를 포함하지만, 이것으로 한정되지는 않는다. 사용자가 기록한 선택 가능한 항목은 규칙적인 형상이거나 비규칙적인 형상일 수 있으며, 일반적으로 스타일러스 사용하여 생성한다.
상호작용 장치(100)는 사용자에게 상호작용 장치(100)에 의해 제공되는 상이한 기능을 나타내는 사용자가 기록한 선택 가능한 항목을 생성할 수 있도록 해준다. 일 실시예에서, 사용자가 기록한 선택 가능한 항목은 프로세서(112)에 의해 실행 가능한 애플리케이션 프로그램(예를 들어, 계산기 애플리케이션이나 사전 애 플리케이션)의 심볼 표현을 포함한다. 다른 실시예에서, 사용자가 기록한 선택 가능한 항목은 네비게이션 항목(예를 들어, 메뉴), 상기 프로세서에 의해 실행 가능한 애플리케이션 프로그램의 메뉴 항목, 애플리케이션 옵션 선택기 또는 데이터 인스턴스(instance)(예를 들어, 단어)를 포함할 수 있다.
몇몇 실시예에서, 사용자가 기록한 선택 가능한 항목은 글자나 숫자를 둘러싸는 선이 있는 글자 또는 숫자를 포함할 수 있다. 글자나 숫자를 둘러싸는 선은 원, 타원, 정사각형, 다각형 등일 수 있다. 이러한 사용자가 기록한 선택 가능한 항목은, 일반적인 글자 및 문자 대신에 사용자가 선택할 수 있는 "버튼"처럼 보이게 된다. 이런 유형의 사용자가 기록한 선택 가능한 항목을 생성함으로써, 기능 아이콘(functional icon)과 같은 사용자가 기록한 선택 가능한 항목을 일반적인 글자 및 문자와 시각적으로 구별할 수 있다. 또한 이런 유형의 사용자가 기록한 선택 가능한 항목을 생성함으로써, 상호작용 장치(100)도 또한 기능 항목 또는 메뉴 항목 타입의 사용자가 기록한 선택 가능한 항목을 비기능 항목 또는 비메뉴 항목 타입의 사용자 기록 항목과 더 잘 구별할 수 있다. 예를 들어, 사용자용 "메뉴" 아이콘을 생성하기 위해, 글자 "M"을 원으로 둘러싼 사용자가 기록한 선택 가능한 항목을 생성할 수 있다. 상호작용 장치(100)는 단어로 글자 "M"과 구별되는 기능적인 사용자가 기록한 선택 가능한 항목으로서 원 또는 정사각형 내에 글자 "M"을 중첩시킨 것을 인식하도록 프로그램될 수 있다. 이러한 기능적인 사용자가 기록한 선택 가능한 항목을 인식하고, 그것들을 다른 비기능적인 사용자 기록 항목과 구별하기 위한 컴퓨터 코드는 상호작용 장치(100)의 메모리 유닛(114)에 상주하고 있 다.
다른 실시예에서, 전술한 사용자가 기록한 선택 가능한 항목은 상호작용 뮤지컬 키보드 아이콘을 생성하기 위해 주위에 원이 있는 글자 "FT"와 같은 복수의 문자를 포함할 수 있다. 다른 실시예에서, 전술한 사용자가 기록한 선택 가능한 항목은 복수의 기능을 포함할 수 있다. 예를 들어, 시간 기능을 나타내는 원 내의 글자 "T"와 날짜 기능을 나타내는 원 내의 글자 "D" 양자는 모두, 더욱 큰 원 내에 있을 수 있다. 이 더 큰 원은 사용자가 기록한 선택 가능한 항목을 나타내며, 더 큰 원과의 사용자 상호작용으로 시간 기능과 날짜 기능 양자의 실행이 개시된다.
도 2a 내지 도 2d는 본 발명의 실시예에 따른 전형적인 사용자가 기록한 선택 가능한 항목을 종이 위에 나타낸 것이다. 도 2a를 참조하면, 사용자가 기록한 선택 가능한 항목(206)은 글자 "M"(202) 주위를 둘러싼 원(204)이 있는 글자 "M"(202)이다. 사용자가 기록한 선택 가능한 항목(206)은 상호작용 장치의 기록 소자[예를 들어, 도 1의 기록 소자(118)]를 사용하여 시트(200) 위에 그린다.
일 실시예에서, 사용자가 기록한 선택 가능한 항목(206)은 상호작용 장치의 메뉴 기능을 나타낸다. 특정한 메뉴 항목, 디렉토리(directory), 서브디렉토리(subdirectory)의 선택을 나타내기 위해, 사용자는 다른 사용자가 기록한 선택 가능한 항목을 생성하거나 상호작용 장치(100)로 나타낼 수 있다. 예를 들어, 사용자가 메뉴의 서브디렉토리로 아래로 나아가고자 하면, 선택이 하였음을 나타내기 위해 시트(200) 위에 체크마크(checkmark)(210)를 그릴 수 있다. 체크마크를 그린 후에, 사용자가 기록한 선택 가능한 항목과 관련된 메뉴 항목은, 각각의 계속되 는 선택 또는 사용자가 기록한 선택 가능한 항목(206) 가까이에서 시트(200)에 대한 상호작용 장치(100)의 "다운더치(down-touch) 후에 오디오 출력 장치(116)에 의해 음성으로 표현될 수 있다. 그런 다음, 체크마크(210)와의 상호작용은 음성으로 표현되었던 최종 옵션을 선택한다. 예를 들어, 상호작용 장치(100)의 동작 모드를 계산기 기능으로 변경하는 것을 낭송하는 "계산기"라는 단어를 사용자가 들은 후에, "계산기" 기능을 선택할 수 있다.
도 2b는 사용자가 시트(200)의 빈 부분에 종이 계산기를 생성하는 방법을 보여준다. 이 예에서, 사용자는 전술한 바와 같이 "계산기" 기능을 선택한 후에, 상호작용 장치(100)는 사용자에게 숫자 0-9와 연산자 +, -, ×, /, 및 = 를 적도록 음성으로 촉구한다. 예를 들어, 사용자는 숫자와 덧셈, 뺄셈, 곱셈, 나눗셈, 및 등호와 같은 연산을 위한 연산자를 포함하는 사용자가 기록한 선택 가능한 항목(220)을 생성하도록 촉구받을 수 있다. 이것들은 표면 위에 확실하게 그려진다. 상호작용 장치(100)은 생성된 그래픽 요소의 위치를 인식하고 생성된 실제의 사용자가 기록한 선택 가능한 항목을 인식한다. 사용자는 그런 다음, 적어도 두 개의 그래픽 요소의 선택에 관련된 오디오 출력을 수신하기 위한 적어도 두 개의 사용자가 기록한 선택 가능한 항목을 선택할 수 있다. 예를 들어, 사용자는 그래픽 요소 "4", "+", "7", "="의 시퀀스를 선택하여 상호작용 장치(100)가 낭송하는 결과 "11"을 들을 수 있다.
사용자가 기록한 선택 가능한 항목(206)에 의해 나타낸 메뉴와 사용자가 기록한 선택 가능한 항목(220)에 의해 나타낸 종이 계산기는, 상호작용 장치(100)가 사용자가 기록한 선택 가능한 항목의 위치를 메모리 유닛(114)에 저장해 두었기 때문에, 나중에 재사용될 수 있다. 또한, 펜과 사용자가 기록한 선택 가능한 항목(220)과의 상호작용은 계산기 기능을 자동으로 호출(invoke)할 것이다.
또한 도 2b는 데이터(230)를 포함한다. 도 2b에 도시된 예에서, 데이터(230)는 단어 "CAT"이다. 데이터(230)는 상호작용 장치(100)에서 동작하는 애플리케이션에 의해 사용될 수 있는 임의의 정보(예를 들어, 영숫자 심볼, 이미지, 도면, 마킹 등)일 수 있음을 알아야 한다. 기록될 때, 텍스트열 "CAT"은 단어 cat으로 자동으로 인식된다. 그것의 표면 위의 위치도 또한 기록된다. 상호작용 장치(100)의 이 텍스트열과의 상호 작용은 자동으로 식별된 단어 CAT을 불러낸다.
도 2c를 참조하면, 사용자가 기록한 선택 가능한 항목(242)는 글자 "T" 주위에 원이 그려져 있는 글자 "T이다. 사용자가 기록한 선택 가능한 항목(242)은 상호작용 장치의 기록 소자로 시트(200)에 그린다. 일 실시예에서, 사용자가 기록한 선택 가능한 항목(242)은 상호작용 장치의 시간 기능을 나타낸다. 시간 기능의 실행은 상호작용 장치로 하여금 현재 시간을 음성으로 표현하도록 한다. 일 실시예에서, 상호작용 장치는 또한 현재 날짜를 음성으로 표현할 수도 있다.
일 실시예에서, 일단 사용자가 기록한 선택 가능한 항목(242)이 그려졌으면, 사용자와 시트(200) 사이의 상호작용을 추가로 요구하지 않으면서 연관된 시간 기능이 즉시 실행된다. 예를 들어, 일단 사용자가 기록한 선택 가능한 항목(242)이 인식되었으면,사용자에게 시트(200) 상에 어떤 보조적인 기록(auxiliary writing)(예를 들어, 체크마크)을 할 것을 요구하지 않고, 시간 기능이 즉시 실행된다. 일 부 실시예에서, 체크마크(210)의 설명에 따라 전술한 기능성(functionality)을 제공하기 위해 사용자에 의한 보조적인 기록이 제공될 수 있지만, 이는 필수적인 것이 아님을 알아야 한다. 예를 들어, 사용자의 경험을 최적화하기 위해 사용자의 상호작용을 추가로 요구하지 않고 기능을 즉시 실행하는 것이 바람직할 수 있다.
여전히 도 2c를 참조하면, 사용자가 기록한 선택 가능한 항목(244)은 글자 "C" 주위에 원이 그려져 있는 글자 "C"이다. 사용자가 기록한 선택 가능한 항목(244)은 상호작용 장치의 기록소자[예를 들어, 도 1의 기록 소자(118)]를 사용하여 시트(200) 위에 그져진다. 일 실시예에서, 사용자가 기록한 선택 가능한 항목(244)은 도 2b에 따라 설명한 바와 같은[예를 들어, 사용자가 기록한 선택 가능한 항목(220)] 상호작용 장치의 계산기 기능을 나타낸다.
일 실시예에서, 일단 사용자가 기록한 선택 가능한 항목(244)이 그려졌으면, 계산기 기능의 동작에 관련된 지시 메시지가 사용자와 시트(200) 사이의 상호작용을 추가로 요구하지 않으면서 음성으로 표현된다. 예를 들어, 일단 사용자가 기록한 선택 가능한 항목(244)이 인식되었으면, 사용자에게 계산 또는 그 일부를 그리도록 지시하는 지시 메시지가, 사용자에게 시트(200) 위에 어떤 보조적인 기록(예를 들어, 체크마크)을 할 것을 요구하지 않고 음성으로 표현된다. 전술한 바와 같이, 몇몇 실시예에서, 체크마크(210)의 설명에 따른 전술한 기능성을 제공하기 위해 사용자에 의한 보조 기록이 제공될 수 있지만, 이는 필수적인 것이 아님을 알아야 한다. 예를 들어, 사용자의 경험을 최적화하기 위해 추가적인 사용자 상호작용을 필요로 하지 않고 기능의 사용에 관해 사용자에게 명령을 제공하는 것이 바람직 할 수 있다.
도 2d를 참조하면, 사용자가 기록한 선택 가능한 항목(254)은 글자 "FT" 주위에 원이 그려져 있는 글자 "FT"이다. 사용자가 기록한 선택 가능한 항목(254)은 상호작용 장치의 기록소자[예를 들어, 도 1의 기록 소자(118)]를 사용하여 시트(200) 위에 그져진다. 일 실시예에서, 사용자가 기록한 선택 가능한 항목(254)은 상호작용 장치의 뮤지컬 키보드 기능을 나타낸다.
일 실시예에서, 일단 사용자가 기록한 선택 가능한 항목(254)이 그려졌으면, 뮤지컬 키보드 기능의 동작에 관련된 지시 메시지가 사용자와 시트(200) 사이의 상호작용을 추가로 요구하지 않으면서 음성으로 표현된다. 예를 들어, 일단 사용자가 기록한 선택 가능한 항목(254)이 인식되었으면, 사용자에게 키보드(256) 또는 그 일부를 그리도록 지시하는 지시 메시지가, 사용자에게 시트(200) 위에 어떤 보조적인 기록(예를 들어, 체크마크)을 할 것을 요구하지 않고 음성으로 표현된다.
광 검출기(120)는 스타일러스형 상호작용 장치(100)의 일단에 있다. 광 검출기(120)는 표면 위의 정보를 검출하기 위해 동작할 수 있다. 예를 들어, 광 검출기(120)는 촬상장치(charge coupled device)를 포함할 수 있다. 일 실시예에서, 상호작용 장치는 또한 광 검출기(120)에 의해 검출되는, 표면의 일부에 조사하기 위한 광 방출기(optical emitter)를 포함한다. 광 검출기(120)에 의해 검출된 정보는 프로세서(112)에 전송된다.
프로세서(112)는 상호작용 장치(100)의 기능을 구현하기 위한 임의의 적당한 전자기술을 포함할 수 있다. 프로세서(112)는 사용자가 기록한 선택 가능한 항목 을 인식하여 사용자가 기록한 선택 가능한 항목의 위치를 식별할 수 있어 상호작용 장치(100)는 여러 가지 동작을 수행할 수 있다. 이 실시예들에서, 메모리 유닛(114)은 사용자에 의해 생성된 임의의 사용자가 기록한 선택 가능한 항목과 그것의 표면 상의 위치를 상호 관련짓기 위한 컴퓨터 코드를 포함할 수 있다.
메모리 유닛(114)은 상호작용 장치(100)의 모든 기능을 수행하기 위한 컴퓨터 코드를 포함한다. 일 실시예에서, 메모리 유닛(114)에 저장되어 있고 프로세서(112) 상에서 실행되는 컴퓨터 코드는, 사용자가 기록한 선택 가능한 항목의 사용자 선택에 대해 응답하고, 그 선택에 따라 사용자가 기록한 선택 가능한 항목에 관련된 기능을 실행하도록 동작 가능하다. 다른 실시예에서, 메모리 유닛(114)에 저장되어 있고 프로세서(112) 상에서 실행되는 컴퓨터 코드는, 오디오 출력 장치(116)에 가능한(potential) 사용자가 기록한 선택 가능한 항목의 리스트를 음성으로 표현하도록 지시하기 위해 동작 가능하고, 프로세서(112)는 복수의 사용자가 기록한 선택 가능한 항목 중에서 사용자가 선택한 하나 이상의 사용자가 기록한 선택 가능한 항목에 응답하여 선택된 사용자가 기록한 선택 가능한 항목 각각에 관련된 상이한 기능을 실행하기 위해 동작 가능하다.
일 실시예에서, 프로세서(112)는 심볼 인식 또는 문자 인식을 사용하여 선택에 따라 사용자가 기록한 선택 가능한 항목을 자동으로 식별하기 위해 동작 가능하다. 다른 실시예에서, 프로세서(112)는 사용자가 기록한 선택 가능한 항목이 기록될 때, 표면에서의 사용자가 기록한 선택 가능한 항목의 표면 위치를 자동으로 기록하기 위해 동작 가능하다. 프로세서(112)는 사용자가 기록한 선택 가능한 항목 의 표면 위치 검출에 기초하여 사용자 선택에 따라 사용자가 기록한 선택 가능한 항목을 자동으로 식별하기 위해 동작 가능하다.
일 실시예에서, 본 발명은 상호작용 장치(100)의 운영체제(operating system)를 제공한다. 이 운영체제는 표면 위의 사용자가 기록한 선택 가능한 항목을 검출하기 위해 동작 가능하고, 사용자가 기록한 선택 가능한 항목과의 사용자 상호작용에 응답하여 연관된 기능을 실행한다.
다른 실시예에서, 메모리 유닛(114)은 인쇄된 문자를 인식하기 위한 컴퓨터 코드, 사용자가 필기한 것을 인식하고 사용자가 필기한 것을 해석하기 위한 컴퓨터 코드(예를 들어, 필기 문자 인식 소프트웨어), 물품(article) 상의 위치를 각각의 인쇄 요소와 상관 짓기 위한 컴퓨터 코드, 텍스트(text)를 음성(speech)으로 변환하기 위한 컴퓨터 코드(예를 들어, 텍스트-음성 엔진), 메뉴 항목을 낭독하기 위한 컴퓨터 코드, 언어 번역을 수행하기 위한 컴퓨터 코드(예를 들어, 영어-외국어(기타 언어) 사전) 등을 포함할 수 있다. 텍스트를 음성으로 변환하기 위한 소프트웨어는 많은 다른 업체로부터 상업적으로 입수 가능하다.
메모리 유닛(114)은 또한 오디오 출력 및 시각적인 출력을 위한 코드를 포함할 수 있다. 예를 들어, 음향효과(sound effect)를 위한 코드, 단어를 말하기 위한 코드, 계획 및 지시를 교습하기 위한 코드, 질문을 위한 코드 등이 모두 메모리 유닛(114)에 저장될 수 있다. 이러한 오디오 출력을 위한 코드는 물품 자체가 이닌 비휘발성 메모리에 (상호작용 장치의 전원이 꺼지더라도 데이터가 계속 유지되도록 영구적이거나 반영구적인 방식으로) 저장될 수 있다. 애플리케이션으로 기술 한 이러한 기능 및 다른 기능을 위한 컴퓨터 코드는 메모리 유닛(114)에 포함될 수 있으며, C, C++ 등의 모든 적당한 프로그래밍 언어를 사용하여 생성될 수 있다.
메모리 유닛(114)은 롬(ROM)이나 플래시 메모리 카트리지(flash memory cartridge)와 같은 탈착 가능한 메모리(removable memory)일 수 있다. 메모리 유닛(114)은 임의의 적당한 자기적인, 전자적인, 전자기적인, 광학적인, 또는 전자광학적인 데이터 저장 장치를 포함할 수 있다. 예를 들어, 하나 이상의 반도체 기반 장치가 메모리 유닛(114) 내에 있을 수 있다.
오디오 출력 장치(116)는 이어피스(earpiece) 또는 헤드셋(headset)에 연결하기 위한 스피커나 오디오 잭[예를 들어, 이어피스나 헤드폰 잭]을 포함할 수 있다. 일 실시예에서, 오디오 출력 장치(116)는 가능한 사용자가 기록한 선택 가능한 항목의 리스를 음성으로 표현하기 위해 동작 가능하다. 오디오 출력 장치(116)는 또한 사용자가 기록한 선택 가능한 항목의 사용자 선택에 따라 정보를 음성으로 표현하기 위해 동작할 수 있다.
상호작용 장치(100)는 또한 표면에 미리 인쇄된 선택 가능한 항목과 연관된 기능을 인식하고 실행하도록 동작 가능하다는 것을 알아야 한다. 일 실시예에서, 표면 위의 미리 인쇄된 선택 가능한 항목의 사용자 선택에 응답하여, 프로세서(112)는 미리 인쇄된 선택 가능한 항목의 사용자 선택에 따라 미리 인쇄된 선택 가능한 항목에 관한 기능을 실행하기 위해 동작 가능하다. 일 실시예에서, 프로세서(112)는 심볼 인식을 사용하여 미리 인쇄된 선택 가능한 항목을 자동으로 식별하기 위해 동작 가능하다. 다른 실시예에서, 프로세서(112)는 미리 인쇄된 선택 가능한 항목의 검출된 표면 위치에 기초하여 미리 인쇄된 선택 가능한 항목을 자동으로 식별하기 위해 동작 가능하다. 또한, 또 다른 실시예에서, 프로세서(112)는 표면의 특정 경계 영역(bounded region)에 기초하여 애플리케이션 프로그램을 식별하기 위해 동작 가능하여, 상이한 경계 영역은 상이한 애플리케이션 프로그램과 연관되어 있다.
일부 실시예에서, 표면은 사용자가 기록한 선택 가능한 항목을 구비하거나 구비하지 않는 종이 시트일 수 있다. 도 3은 본 발명의 일 실시예에 따른 마크의 패턴(patter of marks)이 구비되어 있는 종이 시트(15)를 도시한다. 도 3의 실시예에서, 종이 시트(15)는 마크(18)의 패턴으로 구성되는 광학적으로 판독 가능한 위치 코드(17) 형태로 코딩 패턴(coding pattern)을 구비하고 있다. 도 3의 마크(18)는 분명하게 나타내기 위해 매우 크게 확대한 것이다. 실제로, 마크(18)는 사람의 시각체계로는 쉽게 인식할 수 없으며, 종이 시트(15) 위에 그레이스케일(grayscale)로 나타낼 수 있다. 일부 실시예에서, 마크(18)는 점으로 구현되지만, 본 발명은 이것으로 한정되지는 않는다.
도 4는, 도 3의 위치 코드(17)의 확대된 부분(19)을 나타낸 것이다. 상호작용 장치(100)(도 1)와 같이 상호작용 장치는 위치 코드(position code)(17)의 영역 이미지를 기록하도록 위치되어 있다. 일부 실시예에서, 광학 장치는 래스터 포인트(raster point)(22)을 가로지르는 래스터 선(21)과 래스터 형태로 기준 시스템에 마크(18)를 맞춘다. 각각의 마크(18)는 래스터 점(22)과 연관되어 있다. 예를 들어, 마크(23)는 래스터 포인트(24)와 연관되어 있다. 이미지/래스터 내의 마크에 서, 마크와 관련된 래스터 포인트로부터의 마크의 변위(displacement)가 결정된다. 이 변위를 사용하여, 이미지/래스터 내의 패턴을 기준 시스템 내의 패턴과 비교한다. 기준 시스템 내의 각 패턴은 표면(70)의 특정 위치와 관련되어 있다. 따라서, 이미지/래스터 내의 패턴과 기준 시스템 내의 각 패턴을 일치시킴으로써, 표면(70)에 대한 광학 장치의 위치를 결정할 수 있다.
일 실시예에서, 종이 시트(15) 상의 마크의 패턴은 실질적으로 보이지 않는 코드이다. 이 코드는 사용자의 눈에는 "실질적으로 보이지 않는" 것이고, 페이지상의 선택 가능한 항목의 절대적인 위치나 상대적인 위치에 대응할 수 있다. "실질적으로 보이지 않는"다는 것은 또한 사용자의 눈에 완전히 보이지 않거나 조금 보이지 않는 코드를 포함한다. 예를 들어, 사용자의 눈에 조금 보이지 않는 도트 코드(dot code)가 종이 시트 전체에 인쇄되어 있으면, 그 시트는 보통의 바라보는 거리에서 볼 때 약간의 회색 그늘이 있는 것으로 보일 수 있다. 일부의 경우에, 사용자가 상호작용 장치(100)로 해당 코드를 스캔한 후에, 상호작용 장치(100)의 오디오 출력 장치(116)는 해당 코드와 관련된 사용자가 기록한 선택 가능한 항목에 대응하는 고유한 오디오 출력[삑 소리(beeping sound)와 같은 구별이 되지 않는 오디오 출력과는 대조적임]을 발생시킨다.
일 실시예에서, 실질적으로 보이지 않는 코드는 도트 패턴으로 구현된다. 보이거나 "의식되지 않게(subliminally)" 인쇄된 도트 패턴을 판독하는 기술이 존재하여 상업적으로 입수 가능하다. 이들 인쇄된 도트 패턴은 실질적으로 사용자의 눈에 보이지 않아서 도트 패턴으로 나타나 있는 코드는 (보통의 바코드와 달리) 일 반적인 사용에 있어서는 사용자의 눈으로 탐지할 수 없다. 도트 패턴은 예를 들어 이진화 코딩에서처럼 1과 0(영)을 표현할 수 있는 크고 작은 점들의 특정한 조합에 의해 구현될 수 있다. 도트 패턴은 인쇄 소자를 인쇄하기 위해 사용되는 것과는 상이한 잉크로 인쇄될 수 있어, 상호작용 장치(100)는 도트 패턴을 특수하게 판독할 수 있다.
스웨덴의 아노토사(Anoto)는 대규모 서류 집합 전체의 사용에서 충돌하지 않도록 아주 대규모의 고유한 데이터 공간을 가능하게 하는 패턴을 생성하기 위한 알고리즘을 사용하는 기술을 채용하고 있다. 패턴이 완전히 인쇄된다면 70조(trillion)의 8.5" × 11" 페이지를 덮을 것이고, 모든 페이지에 임의의 2 cm 정사각형의 고유 인식 영역을 갖는다. 특수 도트 패턴을 포함하는 종이는 아노토사로부터 상업적으로 입수 가능하다. 아노토사에 양도된 특허 및 특허출원으로서, 미국특허 제6,502,756호, 미국특허출원 제10/179,966호(2002년 6월 26일 출원), WO 01/95559, WO 01/71473, WO 01/75723, WO 01/26032, WO 01/75780, WO 01/01670, WO 01/75773, WO 01 /71475, WO 00/73983, 및 WO 01/16691는 상기한 기본적인 기술을 기술하고 있으며, 그 내용 전부는 모든 목적으로 참조에 의해 본 명세서에 통합된다.
몇몇 실시예에서, 도트 패턴은 데이터 블록, 오디오 데이터, 및/또는 오류 검출 데이터를 위해 마커를 표시하는 데이터와 같은 데이터의 기타 유형에 대해 자유로울 수 있다. 앞서 언급한 바와 같이, 상호작용 장치(100)의 프로세서(112)는 룩업 테이블(lookup table)을 사용하여 스타일러스의 위치를 결정할 수 있으며, 해 당 위치 정보에 기초하여 오디오를 검색하여 재생할 수 있다. 이것은 이점을 갖는다. 예를 들어 종이에 인쇄된 마커, 오디오 및 오류 검출을 위한 데이터가 있는 종이에 비하면, 본 발명의 실시예는 마커, 오디오, 및 오류 검출을 위한 데이터가 종이에 인쇄되지 않기 때문에, 더 적은 수의 도트를 필요로 한다. 예를 들어, 종이로부터 오디오 데이터를 생략함으로써, 실제로 오디오 데이터가 종이 상의 공간을 차지할 필요가 없기 때문에, 종이의 더 많은 공간이 상호작용을 표현할 수 있다. 게다가, 오디오를 위한 컴퓨터 코드는 본 발명의 상호작용 장치(100)에 저장되기 때문에, 예를 들어 종이 시트의 구김이나 찢김에 의해 재생될 오디오가 손상되거나 변경될 가능성이 더 적다.
여기서는 도트 패턴을 자세하게 설명하였지만, 다른 타입의 실질적으로 보이지 않는 코드를 본 발명의 다른 실시예에서 사용할 수 있음을 알아야 한다. 예를 들어, 바코드가 물품 상에 배열로 배치된다면 적외선 바코드를 사용할 수 있을 것이다. 예시적으로, 종이 시트는 100×100 배열의 실질적으로 보이지 않는 코드를 포함할 수 있으며, 각각의 코드는 종이 시트 상의 상이한 x-y 위치와 관련된다. 배열 내의 바코드의 상대적인 위치나 절대적인 위치는 상호작용 장치(100)의 메모리 유닛(114)에 저장될 수 있다.
언급한 바와 같이, 몇몇 실시예에서, 실질적으로 보이지 않는 코드는 복수의 지점(position)의 위치(location) 및/또는 시트 위의 임의의 선택 가능한 항목과 직접적으로나 간접적으로 관련될 수 있다. 몇몇 실시예에서, 실질적으로 보이지 않는 코드는 시트 상의 복수 지점의 위치와 직접적으로 관련될 수 있다. 이들 실 시에에서, 시트 상의 상이한 지점의 위치는 코드 자체에 의해 제공될 수 있다. 예를 들어, 제1 위치에서의 제1 코드는 시트 상의 제1 위치에 대한 공간좌표(예를 들어, 특정 x-y 지점)에 대한 코드를 포함할 수 있는 한편, 제2 지점에서의 제2 코드는 시트 상의 제2 지점의 공간좌표에 대한 코드를 포함할 수 있다.
상이한 사용자가 기록한 선택 가능한 항목이 시트 상의 상이한 지점에 존재할 수 있다. 이들 사용자가 기록한 선택 가능한 항목은 코드 위에 형성될 수 있다. 예를 들어, 제1 사용자가 기록한 선택 가능한 항목은 제1 코드와 중첩되는 제1 지점에 형성될 수 있다. 제2 사용자가 기록한 선택 가능한 항목은 제2 코드와 중첩되는 제2 지점에 형성될 수 있다. 사용자가 제1 사용자가 기록한 선택 가능한 항목을 형성하는 경우, 스캐닝 장치는 형성된 제1 인쇄 요소를 인식하고 형성된 제1 사용자가 기록한 선택 가능한 항목과 관련된 제1 코드를 실질적으로 동시에 스캐닝한다. 상호작용 장치(100)의 프로세서(112)는 제1 지점의 특정 공간좌표를 결정하여 그 공간 좌표를 제1 사용자가 기록한 선택 가능한 항목과 상관 지을 수 있다.
사용자가 제2 사용자가 기록한 선택 가능한 항목을 형성하는 경우, 스캐닝 장치는 형성된 제2 사용자가 기록한 선택 가능한 항목을 인식하고 제2 코드를 실질적으로 동시에 스캐닝한다. 그런 다음 프로세서(112)는 제2 지점의 공간좌표를 결정하여 그 공간 좌표를 제2 사용자가 기록한 선택 가능한 항목과 상관 지을 수 있다. 사용자는 그 후 계속하여 상호작용 장치(100)를 사용하여 제1 및 제2 사용자가 기록한 선택 가능한 항목을 선택할 수 있으며, 상호작용 장치(100)는 추가적인 동작을 실행할 수 있다. 예를 들어, 방법론(methodology)을 사용하여 사용자는, 사용자 정의 인터페이스나 기능 장치를 빈 종이 시트 상에 생성할 수 있다.
상호작용 장치(100)는 또한 상대적인 위치나 절대적인 위치와 형성된 사용자가 기록한 선택 가능한 항목을 메모리 유닛(114)에 매핑시키거나 상관 짓는 메커니즘을 포함할 수 있다. 이 메커니즘은 물품 상의 특정한 사용자가 기록한 선택 가능한 항목에 관련된 데이터를, 물품 상의 특정 위치와 상관 짓는 룩업 테이블일 수 있다. 이 룩업 테이블은 메모리 유닛(114)에 저장될 수 있다. 프로세서(112)는 특정 위치에서의 사용자가 기록한 선택 가능한 항목을 식별하기 위해 룩업 테이블 사용하여, 프로세서(112)는 후속 동작을 수행할 수 있다.
실질적으로 보이지 않는 코드가 있는 표면은 임의의 적당한 형태일 수 있다. 예를 들어, 표면은 단일 종이 시트, 메모장(note pad), 필러 페이퍼(filler paper), 포스터(poster), 플래카드(placard), 메뉴(menu), 스티커(sticker), 탭(tab), 제품 포장(product packaging), 상자, 트레이딩 카드(trading card), 자선(예: 냉장고 부착용 자석), 화이트 보드(white board), 테이블 상부면(table top) 등일 수 있다. 또한, 표면은 종이, 나무, 금속, 플라스틱 등을 포함하는 임의의 재료료 구성될 수 있지만, 이것으로 한정되지 않는다. 임의의 이러한 또는 다른 형태의 표면은 미리 인쇄된 선택 가능한 항목과 함께 또는 미리 인쇄된 선택 가능한 항목 없이 사용될 수 있다. 만약에 표면이 시트이면, 시트는 임의의 적당한 크기일 수 있으며, 임의의 적당한 재료로 이루어질 수 있다. 예를 들어, 시트는 종이를 기본으로 하거나 플라스틱 필름일 수 있다. 몇몇 실시예에서, 표면은 3차원 표면을 구비하는 3차원 물품일 수 있다. 3차원 표면은 인간 신체, 동물(예를 들 어, 공룡), 차량, 문자 또는 다른 형상의 몰드형 형상(molded figure)을 포함할 수 있다
몇몇 실시예에서, 표면은 시트이고, 시트에는 인쇄된 글자 또는 숫자(예를 들어, 사용자가 시트 상에 사용자가 기록한 선택 가능한 항목을 생성하기 전에 만들어진 마킹)와 같은 미리 인쇄된 선택 가능한 요소가 없을 수 있다. 다른 실시예에서, 미리 인쇄된 선택 가능한 항목은 시트 상에 존재할 수 있다(예를 들어, 사용자가 시트 상에 사용자가 기록한 선택 가능한 항목을 생성하기 전에). 미리 인쇄된 인쇄 요소는 숫자, 아이콘, 글자, 원, 단어, 심볼, 선 등을 포함할 수 있다. 예를 들어, 본 발명의 실시예는 미리 인쇄된 주문양식 또는 투표용지와 같은 미리 인쇄된 양식을 활용할 수 있다.
상호작용 장치(100)는 임의 적당한 형태일 수 있으며, 일 실시예에서, 상호작용 장치(100)는 스타일러스와 같은 형상인 스캐닝 장치일 수 있다. 일 실시예에서, 상호작용 장치(100)는 포켓형(pocket-sized)이다. 스타일러스는 플라스틱이나 금속으로 이루어지는 스타일러스 하우징을 포함한다. 스타일러스 하우징에 손잡이 부분(gripping reigion)이 있을 수 있다.
도 5는 본 발명의 일 실시예에 따른, 표면 위의 사용자가 기록한 선택 가능한 항목과의 상호작용을 용이하게 하기 위한 프로세스(500)의 단계를 나타낸 흐름도이다. 프로세스(500)는 본 발명의 일 실시예에 따른 상호작용 장치[예를 들어, 상호작용 장치(100)]에 의해 실행될 때, 사용자 인터페이스 프로세스의 기본 동작 단계들을 설명한다. 상호작용 장치는 사용자가 기록한 선택 가능한 항목, 그래픽 요소, 필기, 마크 등의 형태의 사용자 입력을 해석하고 사용자에게 요구한 기능성을 제공한다.
단계 510에서, 장치(100)의 컴퓨터로 구현되는 기능성은 기록 가능한 표면 상의 사용자가 기록한 선택 가능한 항목을 검출한다. 단계 512에서, 사용자가 기록한 선택 가능한 항목이, 사용자가 기록한 선택 가능한 항목의 해당 기능과 함께 인식된다. 이 기능은 예를 들어, 사용자에 의한 다음 활성화를 위해 미리 결정된 기능 리스트(예를 들어, 메뉴 선택)를 발표할 수 있는 메뉴 기능일 수 있다. 단계 5514에서, 사용자가 기록한 선택 가능한 항목과의 상호작용을 검출한다. 이 상호작용은 사용자가 기록한 선택 가능한 항목의 기록, 사용자가 기록한 선택 가능한 항목과 상호작용 장치의 상호작용(예를 들어, 사용자가 기록한 선택 가능한 항목을 가볍게 두드리는 것), 또는 관련된 사용자가 기록한 선택 가능한 항목과의 상호작용[예를 들어, 도 2b의 체크마크(210)]를 포함할 수 있다. 기능은 사용자가 기록한 선택 가능한 항목과 지속적으로 연관되어 있어, 그래픽 요소 아이콘의 다음 상호작용(예를 들어, 가볍게 두드리는 것)에 의해 계속하여(예를 들어, 조금 지나서) 기능을 액세스할 수 있다. 예를 들어, 메뉴 기능인 경우에, 열거된 메뉴 선택은 조금 지나서 사용자가 메뉴 그래픽 요소 아이콘을 간단히 작동(예를 들어, 아이콘을 가볍게 두드림)하여 계속하여 액세스될 수 있다.
이런 식으로, 본 발명의 실시예는 펜 및 종이 타입 인터페이스를 사용하여 상호작용 장치[예를 들어, 도 1의 상호작용 장치(100)]의 기능성을 항해하는(navigating) 사용자 인터페이스 수단을 구현한다. 사용자가 기록한 선택 가능한 항목에 의해 구현될 때 사용자 인터페이스는 상호작용 장치(100) 내에서 실행되는 다수의 소프트웨어 애플리케이션과 상호작용하는 방법을 제공한다. 전술한 바와 같이, 상호작용 장치(100)의 입력은, 사용자가 사용자가 기록한 선택 가능한 항목을 생성하거나, 또는 사용자가 기록되거나 미리 인쇄된 선택 가능한 항목과 상호작용하는 것과 같은 사용자의 행동(action)을 포함한다. 펜으로부터의 출력은 오디오 출력이고, 따라서 사용자 인터페이스 수단은, 사용자가 애플리케이션 및 펜의 기능성과 "대화(dialogue)"를 할 수 있도록 해준다. 다시 말해, 사용자 인터페이스는 사용자와 펜이 서로 상호작용할 수 있도록 하는, 사용자가 기록한 선택 가능한 항목과 같은 상호 인식되는 항목을 표면에 생성할 수 있도록 해준다. 전술한 바와 같이, 상호 인식되는 항목은 일반적으로 사용자가 종이 시트와 같은 표면 상에 그리는 심볼, 마커, 또는 아이콘이다.
본 발명의 추가 실시예
도 6은 본 발명의 다른 실시예를 구현할 수 있는 펜 장치(150)의 블록도이다. 일반적으로 펜 장치(150)는 광학 장치를 가리킬 수 있으며, 더욱 구체적으로는 광학 판독기, 광학 펜, 또는 디지털 펜을 가리킬 수 있다. 펜 장치(150)는 컴퓨터 시스템 및 상주하는 운영체제를 포함할 수 있다. 애플리케이션 프로그램도 또한 상주할 수 있다.
도 6의 실시예에서, 펜 장치(150)는 하우징(62) 내부에 프로세서(32)를 포함한다. 일 실시예에서, 하우징(62)은 펜이나 필기 또는 마킹 기구(utensil)나 도구(instument)의 형태를 가질 수 있다. 프로세서(32)는 펜 장치(150)의 기능을 실행 하기 위해 사용되는 정보와 명령을 처리하기 위해 동작 가능한데, 이에 대해서는 후술한다.
본 발명의 실시예에서, 펜 장치(150)는 프로세서(32)에 연결되어 있는 오디오 출력 장치(36)와 디스플레이 장치(40)를 포함할 수 있다. 다른 실시예에서, 오디오 출력 장치(36)와 디스플레이 장치(40)는 펜 장치(150)와 물리적으로 별개이지만, 유선이나 무선 연결을 통해 펜 장치(150)와 통신할 수 있다. 무선으로 통신하는 경우, 펜 장치(150)는 송수신기나 송신기(도 6에 도시하지 않음)를 포함할 수 있다. 오디오 출력 장치(36)는 스피터나 오디오 잭(예를 들어, 이어폰이나 헤드폰용)을 포함할 수 있다. 디스플레이 장치(40)는 액정 디스플레이(LCD) 또는 어떤 다른 적당한 타입의 디스플레이를 포함할 수 있다.
도 6의 실시예에서, 펜 장치(150)는 프로세서(32)에 연결되어 펜 장치(150)를 활성화시키고 제어하는 입력 버튼(38)을 포함할 수 있다. 예를 들어, 입력 버튼(38)은, 사용자가 정보를 입력하고 펜 장치(150)에 명령하거나 펜 장치(150)를 온(on) 또는 오프(off)할 수 있도록 해준다. 펜 장치(150)는 또한 배터리와 같은 전원(34)을 포함할 수 있다.
펜 장치(150)는 또한 프로세서(32)에 연결되어 있는 광원이나 광 방출기(44) 및 광 센서나 광 검출기(42)를 포함할 수 있다. 광 방출기(44)는 예를 들어, 발광 다이오드(LED)일 수 있으며, 광 검출기(42)는 예를 들어, 촬상소자(CCD) 또는 상보형 금속산화물반도체(CMOS) 이미저 어레이(imager array)일 수 있다. 광 방출기(44)는 표면(70) 또는 그 일부분을 조사한다. 표면(70)에서 반사된 광은 광 검출 기(42)에 의해 수광되어 기록된다.
표면(70)은 종이 시트일 수 있지만, 본 발명은 이것으로 한정되지는 않는다. 예를 들어, 표면(70)은 LCD(액정 디스플레이), CRT(음극선관), 터치스크린 또는 기타 유사한 형태의 능동형 전자적 표면(active electronic surface)(예를 들어, 랩톱이나 타블렛 PC의 디스플레이)를 포함할 수 있다. 마찬가지로, 표면(70)은 전자적인 잉크를 포함하는 표면이나 재구성 가능한 종이를 포함하는 표면일 수 있다.
일 실시예에서, 마킹 패턴이 표면(70)에 인쇄되어 있다. 광 방출기(44) 및 광 검출기(42)를 유지하고 있는 펜 장치(150)의 단부(end)는 표면(70)에 위치되거나 그 가까이에 위치된다. 펜 장치(150)가 표면(70)에 대해 이동될 때, 광 방출기(44)와 광 검출기(42)에 의해 마킹 패턴이 판독되어 기록된다. 위에 더욱 자세하게 설명한 바와 같이, 일 실시예에서, 표면(70) 상의 마킹은 표면에 대한 펜 장치(150)의 위치를 결정하기 위해 사용되다(도 3 및 도 4 참조). 다른 실시예에서, 표면(70) 상의 마킹은 정보를 부호화하기 위해 사용된(도 8 및 도 9 참조). 표면(70)에 대해 포착된 이미지는 펜 장치(150)에 의해 분석되어(처리되어) 마킹을 복호화하고 부호화된 정보를 복원할 수 있다.
정보를 인코딩하기 위한 표면 마킹과 전자 장치로 그러한 마킹을 판독/기록하는 것에 관한 추가적인 설명은, 아노토사에 양도된 특허 및 특허출원인, 미국특허 제6,502,756호, 미국특허출원 제10/179,966호(2002년 6월 26일 출원), WO 01/95559, WO 01/71473, WO 01/75723, WO 01/26032, WO 01/75780, WO 01/01670, WO 01/75773, WO 01/71475, WO 00/73983, 및 WO 01/16691에서 발견할 수 있으며, 그 내용 전부는 참조에 의해 본 명세서에 통합된다.
도 6의 펜 장치(150)는 또한 프로세서(32)에 연결되어 있는 메모리 유닛(48)을 포함할 수 있다. 일 실시예에서, 메모리 유닛(48)은 메모리 카트리지나 메모리 카드로 구현된 탈착 가능한 메모리(removable memory)이다. 다른 실시예에서, 메모리 유닛(48)은 프로세서(32)를 위한 정보 및 명령어를 저장하는 임의 접근(휘발성) 메모리(RAM) 및 판독 전용(비휘발성) 메모리(ROM)를 포함한다.
도 6의 실시예에서, 펜 장치(150)는 광 방출기(44) 및 광 검출기(42)가 있는 펜 장치(150)의 단부와 동일한 단부에 위치된 기록 소자(52)를 포함한다. 기록 소자(52)는 펜, 연필, 마커 등일 수 있으며, 들어가게 할 수 있거나(retractable) 그렇지 않을 수 있다. 일정한 애플리케이션에서, 기록 소자(52)는 불필요하다. 다른 애플리케이션에서, 사용자는 표면(70) 상에 글자, 단어, 숫자, 수학 심볼 등과 같은 문자(character)를 포함하는 마크를 만들기 위해 기록 소자(52)를 사용할 수 있다. 이 마크는 펜 장치(150)에 의해 표면(70) 상의 위치에 따라 스캐닝(이미지화)되어 해석될 수 있다. 사용자가 생성한 마크(이하, 사용자 생성 마크)의 위치는 표면(70) 상에 인쇄되어 있는 마크 패턴을 사용하여 결정될 수 있다(위의 도 3 및 도 4에 관한 설명 참조). 일 실시예에서, 사용자 생성 마크의 위치는 손으로 쓴 문자를 인식하는 광학 특성 인식(OCR) 기술을 사용하여 펜 장치(150)에 의해 해석될 수 있다.
전술한 것처럼, 표면(70)은 예를 들어, 종이 시트와 같은 그 위에 쓰기 위한 임의의 적당한 표면일 수 있지만, 종이 이외의 재료로 이루어지는 표면도 사용될 수 있다. 또한 표면(70)은 평평하거나 평평하지 않을 수도 있다. 예를 들어, 표면(70)은 일반적인 종이의 페이지(예를 들어, 8.5×11 인치)보다 작거나 클 수 있다.
도 7은 본 발명의 실시예를 구현할 수 있는 다른 장치(250)의 블록도이다. 장치(250)는 앞서 설명한 프로세서(32), 전원(34), 오디오 출력 장치(36), 입력 버튼(38), 메모리 유닛(48), 광 검출기(42), 광 방출기(44) 및 기록 소자(52)를 포함한다. 하지만, 도 7의 실시예에서, 광 검출기(42), 광 방출기(44) 및 기록 소자(52)는 하우징(62) 내의 광학 장치(251)로 통합되고, 프로세서(32), 전원(34), 오디오 출력 장치(36), 입력 버튼(38) 및 메모리 유닛(48)은 하우징(74) 내의 플랫폼(252)으로 통합된다. 본 실시예에서, 광학 장치(251)는 케이블(102)에 의해 플랫폼(252)과 연결되어 있지만, 무선 연결을 대신 사용할 수 있다. 도 7에 도시된 구성요소는 전술한 것 이외의 조합으로 광학 장치(252)와 플랫폼(252) 사이에 분포될 수 있다.
다시 도 6을 참조하면, 표면(70) 상의 4개의 지점 또는 영역이 글자 A, B, C, D[이 문자들은 표면(70) 상에 인쇄되어 있지 않지만, 여기서는 표면(70)의 지점들을 나타내기 위해 사용된다]로 표시되어 있다. 표면(70) 상의 그러한 영역은 많이 있을 수 있다. 표면(70) 상의 각 영역과 관련되는 것은 고유한 마크 패턴이다. 일부 마크가 중첩하는 영역 사이에 공유되더라도, 영역 내의 마크 패턴은 그 영역에 대해 여전히 고유하기 때문에, 표면(70) 상의 영역들은 중첩할 수 있다.
도 6의 실시예에서, 장치(150)를 사용하여[특히, 기록 소자(52)를 사용하여 ],사용자는 예를 들어, 표면(70) 상의 지점 A에서 원이 그려진 글자 "M"으로 이루어지는 문자를 생성할 수 있다(일반적으로 사용자는 표면(70) 상의 임의의 지점에 문자를 생성할 수 있다). 사용자는 펜 장치(150)로부터의 프롬프트(예를 들어, 음성 프롬프트)에 따라 그러한 문자를 생성할 수 있다. 사용자가 문자를 생성하는 경우, 펜 장치(150)는 문자가 생성된 지점에 고유하게 존재하는 마킹의 패턴을 기록한다. 펜 장치(150)는 막 생성된 문자와 마킹의 패턴을 관련시킨다. 펜 장치(150)가 원이 그려진 문자 "M"에 그 후에 위치되면, 펜 장치(150)는 그것과 함께 관련된 마크의 패턴을 인식하고, 원이 그려진 "M"과 관련지음으로써 그 지점을 인식한다. 사실상, 펜 장치(150)는 문자 자체를 인식하는 것이 아니라 문자가 위치되어 있는 지점에서의 마킹의 패턴을 사용하여 문자를 인식한다.
일 실시예에서, 전술한 문자는 펜 장치(150)에 대한 하나 이상의 커맨드와 관련되어 있는 "그래픽 요소"를 포함한다. 커맨드를 포함하는 펜 장치(150)로 구현된 기능과 관련되어 있고 그것을 액세스하기 위해 사용되는 이러한 그래픽 요소는, 펜 장치(150)의 기능이나 애플리케이션 액세스와 관련되어 있지 않은 다른 기록된 문자, 마크 등과 구별하기 위해 이하에서는 "그래픽 요소 아이콘"이라고 하는 것에 유의하여야 한다. 방금 설명한 예에서, 사용자는 특정 커맨드를 식별하는 그래픽 요소 아이콘을 생성(기록)할 수 있으며, 펜 장치(150)를 그 그래픽 요소 아이콘(예를 들어, 기록된 문자) 위에 간단히 위치시킴으로써 반복적으로 커맨드를 호출할 수 있다. 일 실시예에서, 필기도구는 그래픽 문자 위에 위치된다. 다시 말해, 사용자는 펜 장치(150)에 의해 커맨드가 호출될 때마다, 커맨드를 위한 문자를 쓰지 않아도 되며, 대신에 사용자는 커맨드를 위한 그래픽 요소 아이콘을 한번 쓰고, 그 커맨드를 동일한 기록된 그래픽 요소 아이콘을 사용하여 반복적으로 사용할 수 있다. 이것을 "지속성(persistence)"이라 하며, 이하에 더욱 상세하게 설명한다. 이것은 또한 사용자가 기록한 것은 아니지만 표면 상에 미리 인쇄된 그래픽 요소 아이콘에 대해서도 마찬가지이며, 그렇지만 펜 장치(150)로 선택 가능하다.
일 실시예에서, 그래픽 요소 아이콘은 글자나 숫자 주위를 둘러싸는 선이 있는 글자나 숫자를 포함할 수 있다. 글자나 숫자 주위를 둘러싸는 선은 원, 타원, 정사각형, 다각형 등일 수 있다. 이러한 그래픽 요소 아이콘은 일반적인 글자와 숫자 대신에 사용자가 선택할 수 있는 "버튼"처럼 보인다. 이런 종류의 그래픽 요소 아이콘을 생성함으로써, 사용자는 기능 아이콘과 같은 그래픽 요소 아이콘을 일반적인 글자 및 숫자와 시각적으로 구별할 수 있으며, 이것은 펜 장치(150)에 의해 데이터로 취급될 수 있다. 또한, 이런 종류의 그래픽 요소 아이콘을 생성함으로써, 펜 장치는 기능 또는 메뉴 항목 타입의 그래픽 요소를 비기능 또는 비메뉴 항목 타입의 그래픽 요소와 더 잘 구별할 수 있다. 예를 들어, 사용자는 상호작용 "메뉴" 그래픽 요소 아이콘을 생성하기 위해, 원으로 둘러싸인 글자 "M"을 그래픽 요소 아이콘으로 생성할 수 있다.
펜 장치(150)는 내부에 글자 "M"이 중첩되는 원이나 정사각형을 단어 내의 글자 "M"과 구별하여 인식하도록 프로그램될 수 있다. 그래픽 요소 아이콘은 일정한 거리 이내에(예를 들어, 1인치, 1.5인치 등) 작은 "체크마크" 심볼을 포함한다. 이 체크마크는 그래픽 요소 아이콘과 관련될 것이다. 이러한 기능 그래픽 요소를 인식하고 그들을 다른 비기능 그래픽 요소와 구별하기 위한 컴퓨터 코드는 펜 장치의 메모리 유닛에 상주할 수 있다. 프로세서는 그래픽 요소 아이콘를 인식할 수 있고, 그래픽 요소 아이콘들의 위치를 식별할 수 있어, 펜 장치(150)는 그것과 관련된 여러 가지 기능, 동작 등을 수행할 수 있다. 이들 실시예에서, 메모리 유닛은 사용자에 의해 생성된 임의의 그래픽 요소를 그것의 표면 상의 위치와 상관 짓기 위한 컴퓨터 코드를 포함할 수 있다. 펜 장치(150)는 "다운터치(down-touch)"나 "다운스트로크(down-stroke)", 또는 표면 위에 내려놓는 것(예를 들어, 사용자가 쓰기 시작할 때)을 인식하고, "업스트로크(up-stroke)"나 표면에서 들어올리는 것(예를 들어, 사용자가 쓰기를 끝낼 때)을 인식한다. 이러한 다운스트로크 및 업스트로크는 펜 장치(150)에 의해 예를 들어, 일정한 기능성이 호출된 경우 및 뭔가 특정한 기능/애플리케이션이 호출(예를 들어, OCR 처리 트리거링)에 대한 표시자(indicator)로 해석될 수 있다. 구체적으로, 다운스트로크에 이은 신속한 업스트로크[예를 들어 표면 상에서 펜 장치의 가벼운 두드림(tap)]는 애플리케이션에 따라 특수한 작용(action)(예를 들어, 그래픽 요소 아이콘, 텍스트열 등의 선택)과 관련될 수 있다.
일반적인 용어인 "그래픽 요소"는 사용자에 의해 생성된 임의의 적당한 마킹(예를 들어, 사용자가 기록한 선택 가능한 항목)을 포함할 수 있으며, 장치의 하나 이상의 기능에 액세스하기 위해 사용되는 기능적인 그래픽 요소를 가리키는 그래픽 요소 아이콘과 구별될 수 있다는 것에 유의하여야 한다.
전술한 바와 같이, 그래픽 요소 아이콘은 펜 장치(150)에 의해 생성될 수 있 거나(예를 들어, 사용자가 그림) 이전에 존재할 수 있다(예를 들어, 종이 시트에 인쇄된 요소). 그래픽 요소의 예로는 심볼, 글자 및/또는 숫자, 문자, 단어, 형상, 선 등과 같은 표시(indicia)를 포함하지만, 이것으로 한정되지는 않는다. 그래픽 요소는 규칙적이거나 비규칙적인 형상일 수 있다. 사용자가 기록/생성하는 그래픽 요소는 일반적으로 펜 장치(150)를 사용하여 생성된다. 게다가, 그래픽 요소 아이콘은 일반적으로 사용자와 펜 장치(150) 모두에게 추가된 개별성의 정도(degree of distinctiveness)를 제공하기 위해 문자(예를 들어, 글자 "M") 주위를 둘러싸는 선이 포함시키지만, 항상 그렇지는 않다. 예를 들어, 일 실시예에서, 문자 주위에 원을 완성한 후의 업스트로크는 특히 펜 장치(150)에게 사용자가 그래픽 요소 아이콘을 생성을 방금 끝냈음을 나타낼 수 있다.
도 8a 및 도 8b는 본 발명의 일 실시예에 따른, 컴퓨터로 구현되는 프로세스(800)의 단계를 나타낸 흐름도이다. 프로세스(800)는 본 발명의 일 실시예에 따른 장치[예를 들어, 도 1의 상호작용 장치(100)]에 의해 실행될 때 사용자가 기능과 상호작용하도록 음성으로 지시하는 프로세스의 기본적인 동작 단계를 나타낸다. 장치는 그래픽 요소, 기록, 마크 등의 형태의 사용자 입력을 해석하여, 요구된 기능성에 관해 사용자에게 음성으로 지시를 제공한다.
프로세스(800)는 도 8a의 단계 805에서 시작하여, 상호작용 장치(100)의 컴퓨터로 실행되는 기능성이 하나의 기능과 사용자가 기록한 하나의 선택 가능한 항목을 연관시킨다. 일 실시예에서, 상호작용 장치(100)는 각각의 사용자가 기록한 선택 가능한 항목과 연관되어 있는 실행 가능한 애플리케이션 프로그램, 메뉴 항 목, 애플리케이션 옵션 선택기, 또는 데이터 인스턴스와 같은 다수의 기능을 저장하고 있다. 예를 들어, 주위에 원이 그려져 있는 글자 "C"[예를 들어, 도 2c의 사용자가 기록한 선택 가능한 항목(244)]는 계산기 기능과 관련되어 있을 수 있다.
단계 810에서, 상호작용 장치는 표면 상의 사용자가 기록한 선택 가능한 항목을 인식한다. 사용자는 사용자 기록 선택 가능한 항목을 생성한다. 일 실시예에서, 사용자가 기록한 선택 가능한 항목은 광학 검출기(120)를 사용하여 기록 소자(118)의 위치를 광학적으로 기록함으로써 인식될 수 있다. 펜 장치(100)는 사용자가 기록한 선택 가능한 항목을 인식하기 위해 위치에 대한 이미지 인식을 수행한다. 일 실시예에서, 사용자가 기록한 선택 가능한 항목의 인식은 사용자가 기록한 선택 가능한 항목을 완성하였음을 나타내는 종료 이벤트를 검출한 것에 응답하여 수행된다. 사용자가 사용자가 기록한 선택 가능한 항목의 기록을 끝낸 경우, 상호작용 장치(100)는 예를 들어, 움직임이 없는 것(inactivity)(예를 들어, 사용자가 더 이상 기록하지 않음)을 데이터 입력 종료 이벤트로서 인식함으로써 사용자가 기록을 종료하였다는 사실은 인식한다. 이런 식으로, "타임아웃(timeout)" 메커니즘을 데이터 입력의 종료를 인식하기 위해 사용할 수 있다. 다른 종료 이벤트가, 사용자가 글자 또는 글자들의 주위에 원을 완성하는 것일 수 있다. 종료 이벤트에 대한 추가적인 예는 일반적으로 양도된 미국특허출원으로서, 대리인 사건 번호 제LEAP-P0320호이며, 제임스 마그그라프(James Marggraff) 등에 의해 발명의 명칭 "TERMINATION EVENTS"으로 2005년 1월 12일에 출원된 출원번호 제11/035,003호에 기술되어 있으며, 그 기재내용 전부는 본 명세서에 통합된다.
일 실시예에서, 단계 815에 도시된 바와 같이, 사용자에게 표면 상에 어떠한 보조적인 기록(예를 들어, 체크마크)을 요구하지 않고 기능이 실행된다. 예를 들어, 그 기능이 시간 기능인 경우, 일단 시간 기능과 연관된 사용자가 기록한 선택 가능한 항목이 인식되었으면, 시간 기능은 즉시 실행된다. 시간 기능의 경우, 현재 시각이 음성으로 표현될 수 있다. 단계 815는 선택적이며 프로세스(8800)의 이 시점에서 실행될 필요는 없다는 것을 알아야 한다.
단계 820에서, 사용자가 기록한 선택 가능한 항목의 인식에 응답하여, 표면에 대한 사용자의 상호작용을 추가로 요구하지 않으면서(예를 들어, 사용자에게 체크마크와 같은 임의의 보조적인 기록을 하도록 요구하지 않으면서) 연관된 기능의 동작에 관련된 제1 지시 메시지를 음성으로 나타낸다. 일 실시예에서, 제1 지시 메시지는, 사용자가 기능과 상호작용할 수 있도록 해주는 적어도 하나의 사용자 인터페이스 요소를 그리도록 사용자에게 지시한다. 예를 들어, 도 2c를 참조하면, 사용자가 기록한 선택 가능한 항목(244)을 인식하는 것에 응답하여, 내부에 계산기를 그리기 위한 박스를 그리도록 사용자에게 지시하는 지시 메시지가 음성으로 표현된다. 다른 예에서, 도 2d를 참조하면, 사용자가 기록한 선택 가능한 항목(254)을 인식하는 것에 응답하여, 2개의 가로 선을 그리도록 사용자에게 지시하는 지시 메시지가 음성으로 표현된다.
단계 825에서, 제1 지시 메시지를 음성으로 표현한 때로부터 미리 결정된 기간(예를 들어, 3초 또는 5초) 이내에 기록된 것이 있는지를 여부를 결정한다. 미리 결정된 기간 이내에 기록된 것이 없으면, 단계 830에 도시된 바와 같이, 제1 지 시 메시지를 반복한다. 이와는 달리, 표면에 기록된 것이 있으면, 프로세스(800)는 도 8b의 단계 835로 진행한다.
이제 도 8b를 참조하면, 단계 835에서, 본 발명의 일 실시예에 따라서 표면에 사용자 인터페이스 요소가 적절하게 그려졌는지 여부를 결정한다. 예를 들어, 전술한 계산기 기능을 생각해보자. 사용자는 처음에 박스를 그리도록 지시받는다. 일단 표면 상에 기록된 것이 검출되면, 상호작용 장치(100)는 그것이 적절한지 여부를 결정할 것이다. 계산기 기능의 경우에, 상호작용 장치(100)는 사용자가 박스를 그렸는지, 그리고 박스가 그 안에 추가적인 사용자 인터페이스 요소(예를 들어, 숫자 및 연산자들)를 그릴 수 있게 적절한 크기인지를 결정할 것이다.
사용자 인터페이스 요소를 사용자가 적절하게 그리지 않았다면, 사용자가 사용자 인터페이스 요소를 적절하게 그리는 방식에 관한 힌트를 포함하는 제2 지시 메시지를 음성으로 표현한다. 예를 들어, 사용자가 계산기를 그려넣을 박스를 그린 것으로 결정하였지만, 그 박스가 너무 작아 모든 필요한 정보를 넣을 수 없다면, 제2 지시 메시지는 사용자에게 박스를 더욱 크게 그리도록 지시할 수 있다. 다른 예에서, 뮤지컬 키보드 기능을 사용하고 처음에 2개의 가로선을 긋도록 지시받은 사용자를 생각해보자. 만약에 사용자가 그은 선이 가로선이 아니라고 판정하면(예를 들어, 수직선 또는 대각선), 제2 지시 메시지는 사용자에게 가로선은 좌우로 긋는 선(side-to-side)이라는 것을 알려 줄 수 있다. 일단 사용자 인터페이스 요소가 적절하게 그려진 것으로 결정되었으면, 프로세스(800)는 단계 845 및/또는 단계 850으로 진행한다. 단계 845 및 단계 850는 선택적이며, 이들 단계 중 하나 또는 둘 다를 수행할 수 있음을 알아야 한다.
단계 845에서, 제3 지시 메시지가 표현된다. 예를 들어, 사용자는 계산기 상자 안에 0에서 9까지의 숫자를 쓰도록 지시받을 수 있다. 프로세스(800)는 그 후 기록된 것이 적절한지 여부를 결정하기 위해 단계 825 내지 단계 840에서와 유사한 단계를 수행할 수 있음을 알아야 한다. 사용자에게 사용자 인터페이스 요소를 그리도록 지시하기 위해 임의의 수의 지시 메시지를 음성으로 나타낼 수 있음을 알아야 한다. 사용자 인터페이스 요소의 복잡도에 따라서, 사용자에게 특정한 사용자 인터페이스 요소를 그리는 방법을 정확하게 설명하기 위해 많은 수의 지시 메시지를 필요로 할 수 있다. 예를 들어, 올림 건반과 내림 건반은 물론 음량 제어(volume control)와 템포 제어(tempo control)를 구비하는 뮤지컬 키보드는 올림 건반 과 내림 건반, 음량 제어나 템포 제어를 포함하지 않는 뮤지컬 키보드보다 더욱 많은 지시 메시지를 필요로 할 수 있다.
단계 850에서, 기능을 실행한다. 예를 들어, 일단 계산기가 그려졌으면, 사용자는 수학적인 계산을 수행하기 위해 계산기와 상호작용할 수 있다. 일 실시예에서, 계산기를 사용할 준비가 되었음을 사용자에게 알리는 메시지는 음성으로 표현된다.
이런 식으로, 본 발명의 실시예는 사용자에게 선택된 기능의 사용에 관한 지시 메시지를 제공한다. 특히, 지시 메시지는 해당 기능을 실행하기 이전에 사용자에게 표면과의 상호작용을 추가로 요구하지 않고서 음성으로 표현된다. 예를 들어, 사용자가 계산기를 사용하기 위해서는, 먼저 계산기를 그려야 한다. 사용자는 계산기 기능을 실행하기 이전에 필요한 사용자 인터페이스 요소를 그리도록 지시받는다.
도 9는 본 발명의 일 실시예에 따라 컴퓨터로 구현되는 프로세스(900)의 단계들을 나타낸 흐름도이다. 프로세스(900)는 본 발명의 일 실시예에 따른 장치[예를 들어, 도 1의 상호작용 장치(100)]에 의해 실행될 때 기능을 자동으로 실행하는 프로세스의 기본적인 동작 단계를 나타낸다. 장치는 그래픽 요소, 필기(writing), 마크 등의 형태의 사용자 입력을 해석하여, 요구된 기능성에 관한 지시를 사용자에게 음성으로 제공한다.
프로세스(900)는 도 9의 단계 905에서 시작하여, 상호작용 장치(100)의 컴퓨터로 실행되는 기능성이 기능과 사용자가 기록한 선택 가능한 항목을 연관시킨다. 일 실시예에서, 상호작용 장치(100)는 각각의 사용자가 기록한 선택 가능한 항목과 연관되어 있는 실행 가능한 애플리케이션 프로그램, 메뉴 항목, 애플리케이션 옵션 선택기, 또는 데이터 인스턴스와 같은 다수의 기능을 저장하고 있다. 주위에 원이 그려져 있는 글자 "T"[예를 들어, 도 2c의 사용자가 기록한 선택 가능한 항목(242)]는 시간 기능과 관련되어 있을 수 있다.
단계 910에서, 상호작용 장치는 표면 상의 사용자가 기록한 선택 가능한 항목을 인식한다. 사용자는 사용자가 기록한 선택 가능한 항목을 생성한다. 일 실시예에서, 사용자가 기록한 선택 가능한 항목은 광학 검출기(120)를 사용하여 기록 소자(118)의 위치를 광학적으로 기록함으로써 인식될 수 있다. 펜 장치(100)는 사용자가 기록한 선택 가능한 항목을 인식하기 위해 위치에 대한 이미지 인식을 수행 한다. 일 실시예에서, 사용자가 기록한 선택 가능한 항목의 인식은 사용자가 기록한 선택 가능한 항목을 완성하였음을 나타내는 종료 이벤트를 검출한 것에 응답하여 따라 수행된다. 사용자가 사용자가 기록한 선택 가능한 항목의 기록을 끝낸 경우, 상호작용 장치(100)는 예를 들어, 움직임이 없는 것(inactivity)(예를 들어, 사용자가 더 이상 기록하지 않음)을 데이터 입력 종료 이벤트로서 인식함으로써 사용자가 기록을 종료하였다는 사실은 인식한다. 이런 식으로, "타임아웃(timeout)" 메커니즘을 데이터 입력의 종료를 인식하기 위해 사용할 수 있다. 다른 종료 이벤트가, 사용자가 글자 또는 글자들의 주위에 원을 완성하는 것일 수 있다. 종료 이벤트에 대한 추가적인 예는 공동으로 양도된 미국특허출원으로서, 대리인 사건 번호 제LEAP-P0320호이며, 제임스 마그그라프(James Marggraff) 등에 의해 발명의 명칭 "TERMINATION EVENTS(종료 이벤트)"으로 2005년 1월 12일에 출원된 출원번호 제11/035,003호에 기술되어 있으며, 그 기재내용 전부는 본 명세서에 통합된다.
단계 915에서, 사용자와 표면 사이의 상호작용을 추가로 요구하지 않고서(예를 들어, 사용자에게 체크마크와 같은 어떠한 보조적인 기록을 요구하지 않고서) 기능을 즉시 실행한다. 예를 들어, 그 기능이 시간 기능인 경우, 일단 시간 기능과 관련된 사용자가 기록한 선택 가능한 항목이 인식되었으면, 시간 기능은 즉시 실행된다. 시간 기능의 경우, 현재 시각이 또한 음성으로 표현될 수 있다.
단계 920에서, 기능이 실행된 때로부터 미리 결정된 기간(예를 들어, 3초 또는 5초) 이내에 사용자가 기록한 선택 가능한 항목과의 사용자 상호작용이 있었는지 여부를 결정한다. 미리 결정된 기간 이내에 사용자 상호작용이 없으면, 단계 925에 도시된 바와 같이, 연관된 기능의 동작과 관련된 제1 지시 메시지를 사용자의 상호작용을 추가로 요구하지 않고서 음성으로 표현한다. 예를 들어, 해당 기능이 시간 기능인 경우, 시간을 반복할 경우에 연관된 사용자가 기록한 선택 가능한 항목과 상호작용하는 사용자에게 알리는 지시 메시지는 음성으로 표현될 수 있다.
이와는 달리, 미리 결정된 시간 이내에 사용자가 기록한 선택 가능한 항목과의 사용자 상호작용이 있는 것으로 결정되면, 단계 930에 도시된 바와 같이 기능을 재실행한다. 예를 들어, 도 2c를 참조하면, 사용자가 사용자가 기록한 선택 가능한 항목(242)과 상호작용하면(예를 들어, 가볍게 두드리면), 현재 시각이 음성으로 표현된다. 일 실시예에서, 시간 기능은 사용자가 기록한 선택 가능한 항목(242)과 상호작용할 때마다 현재 시각과 현재 날짜가 토글(toggle) 된다. 이런 식으로, 본 발명의 실시예들은 사용자에게 선택된 기능에 대한 즉시 실행을 제공한다. 특히, 기능은 사용자에게 표면과의 상호작용을 추가로 요구하지 않고서 실행된다. 따라서, 일정한 타입의 정보를 제공하는 기능을 즉시 실행할 수 있음으로써, 사용자는 효율적인 사용자 인터페이스를 제공받을 수 있다.
펜 장치의 위치를 결정하기 위하여 마킹이 있는 부호화된 표면을 사용하는 환경에서 본 발명의 실시예들을 설명하였다. 하지만 본 발명의 실시예들은 부호화된 표면을 필요로 하지 않는 다른 수단을 사용하여 위치를 결정하는 펜장치와 함께 사용하기에도 적합하다. 예를 들어, 일 실시예에서, 펜 장치는 예를 들어, 움직임 센서(motion sensor), 자이로스코프(gyroscope) 등과 같은 하나 이상의 위치 메커니즘을 포함할 수 있으며, 주어진 표면(예를 들어, 종이 시트)의 정확한 위치를 정 확하게 저장하도록 구성될 수 있다. 표면의 정확한 위치는 예를 들어, 표면(예를 들어, 직사각형 종이 시트)의 대향하는 모서리들을 차례로 터치함으로써 저장할 수 있다. 그런 다음 펜 장치는 자신의 위치 결정 수단의 결과와 표면에 대한 저장된 정확한 위치를 비교함으로써, 사용자가 표면에 기록한 그래픽 요소의 위치를 인식할 것이다.
본 발명의 여러 실시예들과 사용자가 기능과 상호작용하도록 음성으로 지시하는 방법을 설명하였다. 본 발명은 특정한 실시예로 설명하였지만, 본 발명은 그러한 실시예로 한정되는 것으로 해석되는 것이 아니라, 이하의 특허청구범위에 따라 해석되어야 함을 이해하여야 한다.
이상의 설명한 바와 같이, 본 발명에 따르면 사용자가 기록한 선택 가능한 항목과 관련된 기능과 상호작용을 위한 효율적인 사용자 인터페이스를 제공하는 상호작용 장치를 제공할 수 있다. 상기 상호작용 장치는 또한 사용자에게 기능과 상호작용할 수 있도록 도와주는 지시를 음성으로 제공할 수 있다. 상기 상호작용 장치는 또한 사용자의 상호작용을 추가로 먼저 요구하지 않으면서 특정한 기능의 자동 실행을 제공할 수 있다.

Claims (51)

  1. 기능과 상호작용하도록 사용자에게 음성으로 지시하는 방법으로서,
    하나의 기능과 사용자가 기록한 하나의 선택 가능한 항목을 연관시키는 단계;
    표면 상의 상기 사용자가 기록한 선택 가능한 항목을 인식하는 단계; 및
    상기 사용자가 기록한 선택 가능한 항목의 상기 인식에 응답하여, 상기 사용자의 상호작용을 추가로 요구하지 않으면서 상기 기능의 동작에 관련된 제1 지시 메시지를 음성으로 표현하는 단계
    를 포함하는 사용자에게 음성으로 지시하는 방법.
  2. 제1항에 있어서,
    상기 제1 지시 메시지는, 상기 사용자가 상기 기능과 인터페이스할 수 있도록 해주는 적어도 하나의 사용자 인터페이스 요소를 그리도록 상기 사용자에게 지시하는 것을 특징으로 하는 사용자에게 음성으로 지시하는 방법.
  3. 제2항에 있어서,
    상기 제1 지시 메시지를 음성으로 표현한 때로부터 미리 결정된 기간 이내에, 상기 표면에 기록된 것이 있는지를 결정하는 단계; 및
    상기 미리 결정된 기간 이내에 상기 표면에 기록된 것이 없으면, 상기 제1 지시 메시지는 반복하는 단계를 더 포함하는 사용자에게 음성으로 지시하는 방법.
  4. 제2항에 있어서,
    상기 표면에 사용자 인터페이스 요소가 적절하게 그려졌는지를 결정하는 단계; 및
    상기 표면에 상기 사용자 인터페이스 요소가 적절하게 그려지지 않았으면, 사용자가 상기 사용자 인터페이스 요소를 적절하게 그리는 방식에 관한 힌트를 포함하는 제2 지시 메시지를 음성으로 표현하는 단계를 더 포함하는 사용자에게 음성으로 지시하는 방법.
  5. 제4항에 있어서,
    상기 사용자 인터페이스 요소가 적절하게 그려졌으면, 제3 지시 메시지를 음성으로 표현하는 단계를 더 포함하는 사용자에게 음성으로 지시하는 방법.
  6. 제4항에 있어서,
    상기 사용자 인터페이스 요소가 적절하게 그려졌으면, 상기 기능을 실행하는 단계를 더 포함하는 사용자에게 음성으로 지시하는 방법.
  7. 제1항에 있어서,
    상기 사용자와 상기 사용자가 기록한 선택 가능한 항목의 상호작용에 응답하 여, 상기 제1 지시 메시지를 반복하는 단계를 더 포함하는 사용자에게 음성으로 지시하는 방법.
  8. 제1항에 있어서,
    상기 제1 지시 메시지를 음성으로 나타내기 이전에, 상기 기능을 실행하는 단계를 더 포함하는 사용자에게 음성으로 지시하는 방법.
  9. 제1항에 있어서,
    상기 사용자가 기록한 선택 가능한 항목을 인식하는 단계는, 상기 사용자가 기록한 선택 가능한 항목이 완성되었음을 나타내는 종료 이벤트(termination event)를 검출한 것에 응답하여 수행되는 것을 특징으로 하는 사용자에게 음성으로 지시하는 방법.
  10. 제1항에 있어서,
    상기 사용자가 기록한 선택 가능한 항목을 인식하는 단계는,
    펜 컴퓨터의 팁(tip)의 위치를 광학적으로 기록하는 단계; 및
    상기 위치의 이미지 인식을 수행하여 상기 사용자가 기록한 선택 가능한 항목을 인식하는 단계를 포함하는 것을 특징으로 하는 사용자에게 음성으로 지시하는 방법.
  11. 제1항에 있어서,
    상기 제1 지시 메시지를 들을 수 있게 표현하는 상기 단계는, 펜 컴퓨터의 오디오 출력 장치에 의해 수행되는 것을 특징으로 하는 사용자에게 음성으로 지시하는 방법.
  12. 기능을 자동으로 실행하는 방법으로서,
    하나의 기능과 사용자가 기록한 하나의 선택 가능한 항목을 연관시키는 단계;
    표면 상의 상기 사용자가 기록한 선택 가능한 항목을 인식하는 단계; 및
    상기 사용자가 기록한 선택 가능한 항목의 상기 인식에 응답하여, 사용자와 상기 표면의 상호작용을 추가로 먼저 요구하지 않으면서 상기 기능을 즉시 실행하는 단계
    를 포함하는 기능을 자동으로 실행하는 방법.
  13. 제12항에 있어서,
    상기 사용자와 상기 표면의 상호작용을 추가로 먼저 요구하지 않으면서 상기 기능의 동작에 관련된 지시 메시지를 음성으로 표현하는 단계를 더 포함하는 기능을 자동으로 실행하는 방법.
  14. 제13항에 있어서,
    상기 지시 메시지를 음성으로 표현하는 상기 단계는, 사용자와 상기 표면과의 상호작용 없이 미리 결정된 기간이 경과한 것에 응답하여 실행되는 것을 특징으로 하는 기능을 자동으로 실행하는 방법.
  15. 제12항에 있어서,
    상기 사용자가 기록한 선택 가능한 항목과의 사용자 상호작용에 응답하여, 상기 기능을 재실행하는 단계를 더 포함하는 기능을 자동으로 실행하는 방법.
  16. 제12항에 있어서,
    상기 사용자가 기록한 선택 가능한 항목을 인식하는 상기 단계는, 상기 사용자가 기록한 선택 가능한 항목이 완성되었음을 나타내는 종료 이벤트를 검출한 것에 응답하여 실행되는 것을 특징으로 하는 기능을 자동으로 실행하는 방법.
  17. 제12항에 있어서,
    사용자와 상기 표면 사이의 상호작용을 추가로 먼저 요구하지 않으면서 상기 기능을 즉시 실행하는 단계는, 상기 사용자가 표면에 보조적인 기록(auxiliary writing)을 할 것을 먼저 요구하지 않으면서 상기 기능을 즉시 실행하는 단계를 포함하는 것을 특징으로 하는 기능을 자동으로 실행하는 방법.
  18. 컴퓨터 시스템으로 하여금 사용자가 기능과 상호작용하도록 음성으로 지시하 는 방법을 수행하도록 구현된, 컴퓨터로 판독 가능한 프로그램 코드(computer-readable program code)를 포함하는 컴퓨터에서 사용 가능한 매체(computer-usable medium)로서,
    상기 방법은,
    하나의 기능과 사용자가 기록한 하나의 선택 가능한 항목을 연관시키는 단계;
    표면 상의 상기 사용자가 기록한 선택 가능한 항목을 인식하는 단계; 및
    상기 사용자가 기록한 선택 가능한 항목의 상기 인식에 응답하여, 상기 사용자의 상호작용을 추가로 요구하지 않으면서 상기 기능의 동작에 관련된 제1 지시 메시지를 음성으로 표현하는 단계
    를 포함하는
    것을 특징으로 하는 컴퓨터에서 사용 가능한 매체.
  19. 제18항에서,
    상기 제1 지시 메시지는, 상기 사용자가 상기 기능과 인터페이스할 수 있도록 해주는 적어도 하나의 사용자 인터페이스 요소를 그리도록 상기 사용자에게 지시하는 것을 특징으로 하는 컴퓨터에서 사용 가능한 매체.
  20. 제19항에 있어서,
    상기 방법은,
    상기 제1 지시 메시지를 음성으로 표현한 때로부터 미리 결정된 기간 이내에, 상기 표면에 기록된 것이 있는지를 결정하는 단계; 및
    상기 미리 결정된 기간 이내에 상기 표면에 기록된 것이 없으면, 상기 제1 지시 메시지는 반복하는 단계를 더 포함하는 컴퓨터에서 사용 가능한 매체.
  21. 제19항에 있어서,
    상기 방법은,
    상기 표면에 사용자 인터페이스 요소가 적절하게 그려졌는지를 결정하는 단계; 및
    상기 표면에 상기 사용자 인터페이스 요소가 적절하게 그려지지 않았으면, 사용자가 상기 사용자 인터페이스 요소를 적절하게 그리는 방식에 관한 힌트를 포함하는 제2 지시 메시지를 음성으로 표현하는 단계를 더 포함하는 컴퓨터에서 사용 가능한 매체.
  22. 제21항에 있어서,
    상기 방법은, 상기 사용자 인터페이스 요소가 적절하게 그려졌으면, 제3 지시 메시지를 음성으로 표현하는 단계를 더 포함하는 컴퓨터에서 사용 가능한 매체.
  23. 제21항에 있어서,
    상기 방법은, 상기 사용자 인터페이스 요소가 적절하게 그려졌으면, 상기 기 능을 실행하는 단계를 더 포함하는 컴퓨터에서 사용 가능한 매체.
  24. 제18항에 있어서,
    상기 방법은, 상기 사용자가 기록한 선택 가능한 항목과의 사용자 상호작용에 응답하여, 상기 제1 지시 메시지를 반복하는 단계를 더 포함하는 컴퓨터에서 사용 가능한 매체.
  25. 제18항에 있어서,
    상기 방법은, 상기 제1 지시 메시지를 음성으로 나타내기 이전에, 상기 기능을 실행하는 단계를 더 포함하는 컴퓨터에서 사용 가능한 매체.
  26. 제18항에 있어서,
    상기 사용자가 기록한 선택 가능한 항목을 인식하는 단계는, 상기 사용자가 기록한 선택 가능한 항목이 완성되었음을 나타내는 종료 이벤트를 검출한 것에 응답하여 수행되는 것을 특징으로 하는 컴퓨터에서 사용 가능한 매체.
  27. 제18항에 있어서,
    상기 사용자가 기록한 선택 가능한 항목을 인식하는 단계는,
    펜 컴퓨터의 팁의 위치를 광학적으로 기록하는 단계; 및
    상기 위치의 이미지 인식을 수행하여 상기 사용자가 기록한 선택 가능한 항 목을 인식하는 단계를 포함하는 것을 특징으로 하는 컴퓨터에서 사용 가능한 매체.
  28. 제18항에 있어서,
    상기 제1 지시 메시지를 음성으로 나타내는 상기 단계는, 펜 컴퓨터의 오디오 출력 장치에 의해 수행되는 것을 특징으로 하는 컴퓨터에서 사용 가능한 매체.
  29. 컴퓨터 시스템으로 하여금 기능을 자동으로 실행하는 방법을 수행하도록 구현된, 컴퓨터로 판독 가능한 프로그램 코드를 포함하는 컴퓨터에서 사용 가능한 매체로서,
    상기 방법은,
    하나의 기능과 사용자가 기록한 하나의 선택 가능한 항목을 연관시키는 단계;
    표면 상의 상기 사용자가 기록한 선택 가능한 항목을 인식하는 단계; 및
    상기 사용자가 기록한 선택 가능한 항목의 상기 인식에 응답하여, 사용자와 상기 표면의 상호작용을 추가로 먼저 요구하지 않으면서 상기 기능을 즉시 실행하는 단계
    를 포함하는
    것을 특징으로 하는 컴퓨터에서 사용 가능한 매체.
  30. 제29항에 있어서,
    상기 방법은, 사용자와 상기 표면 사이의 상호작용을 추가로 먼저 요구하지 않으면서 상기 기능의 동작에 관련된 지시 메시지를 음성으로 표현하는 단계를 더 포함하는 컴퓨터에서 사용 가능한 매체.
  31. 제30항에 있어서,
    상기 지시 메시지를 음성으로 표현하는 상기 단계는, 상기 표면과의 사용자 상호작용 없이 미리 결정된 기간이 경과한 것에 응답하여 실행되는 것을 특징으로 하는 컴퓨터에서 사용 가능한 매체.
  32. 제29항에 있어서,
    상기 방법은, 상기 사용자가 기록한 선택 가능한 항목과의 사용자 상호작용에 응답하여, 상기 기능을 실행하는 단계를 더 포함하는 컴퓨터에서 사용 가능한 매체.
  33. 제29항에 있어서,
    상기 사용자가 기록한 선택 가능한 항목을 인식하는 상기 단계는, 상기 사용자가 기록한 선택 가능한 항목이 완성되었음을 나타내는 종료 이벤트를 검출한 것에 응답하여 실행되는 것을 특징으로 하는 컴퓨터에서 사용 가능한 매체.
  34. 제29항에 있어서,
    사용자와 상기 표면 사이의 상호작용을 추가로 먼저 요구하지 않으면서 상기 기능을 즉시 실행하는 단계는, 상기 사용자가 표면에 보조적인 기록을 할 것을 먼저 요구하지 않으면서 상기 기능을 즉시 실행하는 단계를 포함하는 것을 특징으로 하는 컴퓨터에서 사용 가능한 매체.
  35. 버스;
    상기 버스에 연결되어 있는 오디오 출력 장치;
    기록 가능한 표면 상에 사용자가 기록할 수 있도록 해주는 기록 소자;
    상기 버스에 연결되어 있고, 상기 기록 가능한 표면에 대한 상기 기록 소자의 위치를 검출하는 광 검출기;
    상기 버스에 연결되어 있는 프로세서; 및
    상기 버스에 연결되어 있고, 실행될 때 상기 프로세서로 하여금, 기능과 상호작용하도록 사용자에게 음성으로 지시하는 방법을 실행하도록 하는 명령어를 기억하는 메모리 유닛
    을 포함하며,
    상기 방법은,
    하나의 기능과 사용자가 기록한 하나의 선택 가능한 항목을 연관시키는 단계;
    상기 기록 가능한 표면 상의 상기 사용자가 기록한 선택 가능한 항목을 인식하는 단계; 및
    상기 사용자가 기록한 선택 가능한 항목의 상기 인식에 응답하여, 상기 사용자의 상호작용을 추가로 요구하지 않으면서 상기 기능의 동작에 관련된 제1 지시 메시지를 음성으로 표현하는 단계
    를 포함하는
    것을 특징으로 하는 상호작용 장치.
  36. 제35항에 있어서,
    상기 제1 지시 메시지는, 상기 사용자가 상기 기능과 인터페이스할 수 있도록 해주는 적어도 하나의 사용자 인터페이스 요소를 그리도록 상기 사용자에게 지시하는 것을 특징으로 하는 상호작용 장치.
  37. 제36항에 있어서,
    상기 방법은,
    상기 제1 지시 메시지를 음성으로 표현한 때로부터 미리 결정된 기간 이내에, 상기 표면에 기록된 것이 있는지를 결정하는 단계; 및
    상기 미리 결정된 기간 이내에 상기 표면에 기록된 것이 없으면, 상기 제1 지시 메시지는 반복하는 단계를 더 포함하는 상호작용 장치.
  38. 제36항에 있어서,
    상기 방법은,
    상기 표면에 사용자 인터페이스 요소가 적절하게 그려졌는지를 결정하는 단계; 및
    상기 표면에 상기 사용자 인터페이스 요소가 적절하게 그려지지 않았으면, 사용자가 상기 사용자 인터페이스 요소를 적절하게 그리는 방식에 관한 힌트를 포함하는 제2 지시 메시지를 음성으로 표현하는 단계를 더 포함하는 상호작용 장치.
  39. 제38항에 있어서,
    상기 방법은, 상기 사용자 인터페이스 요소가 적절하게 그려졌으면, 제3 지시 메시지를 음성으로 표현하는 단계를 더 포함하는 상호작용 장치.
  40. 제38항에 있어서,
    상기 방법은, 상기 사용자 인터페이스 요소가 적절하게 그려졌으면, 상기 기능을 실행하는 단계를 더 포함하는 상호작용 장치.
  41. 제35항에 있어서,
    상기 방법은, 상기 사용자가 기록한 선택 가능한 항목과의 사용자 상호작용에 응답하여, 상기 제1 지시 메시지를 반복하는 단계를 더 포함하는 상호작용 장치.
  42. 제35항에 있어서,
    상기 방법은, 상기 제1 지시 메시지를 음성으로 나타내기 이전에, 상기 기능을 실행하는 단계를 더 포함하는 상호작용 장치.
  43. 제35항에 있어서,
    상기 사용자가 기록한 선택 가능한 항목을 인식하는 단계는, 상기 사용자가 기록한 선택 가능한 항목이 완성되었음을 나타내는 종료 이벤트를 검출한 것에 응답하여 수행되는 것을 특징으로 하는 상호작용 장치.
  44. 제35항에 있어서,
    상기 사용자가 기록한 선택 가능한 항목을 인식하는 단계는,
    펜 컴퓨터의 팁의 위치를 광학적으로 기록하는 단계; 및
    상기 위치의 이미지 인식을 수행하여 상기 사용자가 기록한 선택 가능한 항목을 인식하는 단계를 포함하는 것을 특징으로 하는 상호작용 장치.
  45. 제35항에 있어서,
    상기 제1 지시 메시지를 음성으로 나타내는 상기 단계는, 상기 오디오 출력 장치에 의해 수행되는 것을 특징으로 하는 상호작용 장치.
  46. 버스;
    상기 버스에 연결되어 있는 오디오 출력 장치;
    기록 가능한 표면 상에 사용자가 기록한 선택 가능한 항목을 생성할 수 있도록 해주는 기록 소자;
    상기 버스에 연결되어 있고, 상기 기록 가능한 표면 상의 정보를 검출하는 광 검출기;
    상기 버스에 연결되어 있는 프로세서; 및
    상기 버스에 연결되어 있고, 실행될 때 상기 프로세서로 하여금, 기능을 자동을 실행하는 방법을 실행하도록 하는 명령어를 기억하는 메모리 유닛
    을 포함하며,
    상기 방법은,
    하나의 기능과 사용자가 기록한 하나의 선택 가능한 항목을 연관시키는 단계;
    표면 상의 상기 사용자가 기록한 선택 가능한 항목을 인식하는 단계; 및
    상기 사용자가 기록한 선택 가능한 항목의 상기 인식에 응답하여, 사용자와 상기 표면 사이의 상호작용을 추가로 먼저 요구하지 않으면서 상기 기능을 즉시 실행하는 단계
    를 포함하는
    것을 특징으로 하는 상호작용 장치.
  47. 제46항에 있어서,
    상기 방법은, 사용자와 상기 표면 사이의 상호작용을 추가로 먼저 요구하지 않으면서 상기 기능의 동작에 관련된 지시 메시지를 음성으로 표현하는 단계를 더 포함하는 상호작용 장치.
  48. 제47항에 있어서,
    상기 지시 메시지를 음성으로 표현하는 상기 단계는, 상기 표면과의 사용자 상호작용 없이 미리 결정된 기간이 경과한 것에 응답하여 실행되는 것을 특징으로 하는 상호작용 장치.
  49. 제46항에 있어서,
    상기 방법은, 상기 사용자가 기록한 선택 가능한 항목과의 사용자 상호작용에 응답하여, 상기 기능을 실행하는 단계를 더 포함하는 상호작용 장치.
  50. 제46항에 있어서,
    상기 사용자가 기록한 선택 가능한 항목을 인식하는 상기 단계는, 상기 사용자가 기록한 선택 가능한 항목이 완성되었음을 나타내는 종료 이벤트를 검출한 것에 응답하여 실행되는 것을 특징으로 하는 상호작용 장치.
  51. 제46항에 있어서,
    사용자와 상기 표면 사이의 상호작용을 추가로 먼저 요구하지 않으면서 상기 기능을 즉시 실행하는 단계는, 상기 사용자가 상기 표면에 보조적인 기록을 할 것 을 먼저 요구하지 않고 상기 기능을 즉시 실행하는 단계를 포함하는 것을 특징으로 하는 상호작용 장치.
KR1020060018046A 2005-11-01 2006-02-24 상호작용 장치 및 방법 KR20070047195A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/264,955 US7853193B2 (en) 2004-03-17 2005-11-01 Method and device for audibly instructing a user to interact with a function
US11/264,955 2005-11-01

Publications (1)

Publication Number Publication Date
KR20070047195A true KR20070047195A (ko) 2007-05-04

Family

ID=36840284

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060018046A KR20070047195A (ko) 2005-11-01 2006-02-24 상호작용 장치 및 방법

Country Status (5)

Country Link
US (2) US7853193B2 (ko)
EP (1) EP1780627A1 (ko)
JP (1) JP2007128481A (ko)
KR (1) KR20070047195A (ko)
CN (1) CN100390720C (ko)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7916124B1 (en) 2001-06-20 2011-03-29 Leapfrog Enterprises, Inc. Interactive apparatus using print media
US7793233B1 (en) * 2003-03-12 2010-09-07 Microsoft Corporation System and method for customizing note flags
US20060127872A1 (en) * 2004-03-17 2006-06-15 James Marggraff Method and device for associating a user writing with a user-writable element
US7853193B2 (en) 2004-03-17 2010-12-14 Leapfrog Enterprises, Inc. Method and device for audibly instructing a user to interact with a function
US7831933B2 (en) 2004-03-17 2010-11-09 Leapfrog Enterprises, Inc. Method and system for implementing a user interface for a device employing written graphical elements
US20060077184A1 (en) * 2004-03-17 2006-04-13 James Marggraff Methods and devices for retrieving and using information stored as a pattern on a surface
US8316068B2 (en) * 2004-06-04 2012-11-20 Telefonaktiebolaget Lm Ericsson (Publ) Memory compression
US7357333B2 (en) * 2005-05-10 2008-04-15 International Business Machines Corporation Mechanism for storing authenticity information about a written or printed document
US7350716B2 (en) * 2005-05-10 2008-04-01 International Business Machines Corporation Mechanism for ensuring authenticity of written and printed documents
US7922099B1 (en) 2005-07-29 2011-04-12 Leapfrog Enterprises, Inc. System and method for associating content with an image bearing surface
US8261967B1 (en) 2006-07-19 2012-09-11 Leapfrog Enterprises, Inc. Techniques for interactively coupling electronic content with printed media
US8714441B2 (en) 2006-08-22 2014-05-06 Eye Ear It, Llc Systems and apparatus for expressing multimedia presentations corresponding to print media
US7975928B2 (en) 2006-08-22 2011-07-12 Sean Elwell Systems and apparatus for expressing multimedia presentations corresponding to print media
WO2008095227A1 (en) * 2007-02-08 2008-08-14 Silverbrook Research Pty Ltd System for controlling movement of a cursor on a display device
US8737908B1 (en) * 2007-03-30 2014-05-27 University Of South Florida Interactive book and spatial accountability method
WO2008150912A1 (en) * 2007-05-29 2008-12-11 Livescribe, Inc. Organization of user generated content captured by a smart pen computing system
WO2008150911A1 (en) * 2007-05-29 2008-12-11 Livescribe, Inc. Pen-based method for cyclical creation, transfer and enhancement of multi-modal information between paper and digital domains
WO2008150919A1 (en) * 2007-05-29 2008-12-11 Livescribe, Inc. Electronic annotation of documents with preexisting content
CA2688634A1 (en) * 2007-05-29 2008-12-11 Livescribe, Inc. Multi-modal smartpen computing system
WO2008150923A1 (en) * 2007-05-29 2008-12-11 Livescribe, Inc. Customer authoring tools for creating user-generated content for smart pen applications
WO2008150916A1 (en) * 2007-05-29 2008-12-11 Livescribe, Inc. Enhanced audio recording for smart pen computing systems
US8194081B2 (en) * 2007-05-29 2012-06-05 Livescribe, Inc. Animation of audio ink
US8254605B2 (en) * 2007-05-29 2012-08-28 Livescribe, Inc. Binaural recording for smart pen computing systems
US9250718B2 (en) * 2007-05-29 2016-02-02 Livescribe, Inc. Self-addressing paper
US8477095B2 (en) * 2007-10-05 2013-07-02 Leapfrog Enterprises, Inc. Audio book for pen-based computer
KR101447752B1 (ko) * 2008-03-25 2014-10-06 삼성전자주식회사 터치스크린에서 화면 분할과 화면 표시장치 및 방법
US20090251440A1 (en) * 2008-04-03 2009-10-08 Livescribe, Inc. Audio Bookmarking
US8446298B2 (en) * 2008-04-03 2013-05-21 Livescribe, Inc. Quick record function in a smart pen computing system
US20090251441A1 (en) * 2008-04-03 2009-10-08 Livescribe, Inc. Multi-Modal Controller
US8446297B2 (en) 2008-04-03 2013-05-21 Livescribe, Inc. Grouping variable media inputs to reflect a user session
US20090251338A1 (en) * 2008-04-03 2009-10-08 Livescribe, Inc. Ink Tags In A Smart Pen Computing System
US8149227B2 (en) * 2008-04-03 2012-04-03 Livescribe, Inc. Removing click and friction noise in a writing device
US9058067B2 (en) * 2008-04-03 2015-06-16 Livescribe Digital bookclip
US8944824B2 (en) * 2008-04-03 2015-02-03 Livescribe, Inc. Multi-modal learning system
US7810730B2 (en) * 2008-04-03 2010-10-12 Livescribe, Inc. Decoupled applications for printed materials
US8300252B2 (en) * 2008-06-18 2012-10-30 Livescribe, Inc. Managing objects with varying and repeated printed positioning information
WO2010002997A1 (en) * 2008-07-01 2010-01-07 Hillcrest Laboratories, Inc. 3d pointer mapping
KR101509245B1 (ko) * 2008-07-31 2015-04-08 삼성전자주식회사 휴대용 단말기에서 패턴 인식을 이용한 사용자 인터페이스장치 및 방법
WO2011008862A2 (en) * 2009-07-14 2011-01-20 Zoomii, Inc. Markup language-based authoring and runtime environment for interactive content platform
US8878791B2 (en) 2010-01-19 2014-11-04 Avaya Inc. Event generation based on print portion identification
US8550818B2 (en) * 2010-05-21 2013-10-08 Photometria, Inc. System and method for providing and modifying a personalized face chart
WO2013130060A1 (en) * 2012-02-29 2013-09-06 Hewlett-Packard Development Company, L.P. Display of a spatially-related annotation for written content
US9383834B2 (en) 2012-12-26 2016-07-05 Xerox Corporation System and method for creating and modifying physically transient handwritten digital documents
US9478146B2 (en) 2013-03-04 2016-10-25 Xerox Corporation Method and system for capturing reading assessment data
KR102183448B1 (ko) * 2013-04-26 2020-11-26 삼성전자주식회사 사용자 단말 장치 및 그 디스플레이 방법
CN104135587B (zh) 2013-04-30 2017-06-09 京瓷办公信息***株式会社 电子设备和印刷预览方法
KR101770288B1 (ko) * 2014-01-17 2017-08-22 주식회사 쏠리드에듀 전자칠판 시스템 및 그의 제어 방법
WO2015108365A1 (ko) * 2014-01-17 2015-07-23 주식회사 쏠리드에듀 전자칠판 시스템 및 그의 제어 방법
US9827809B2 (en) 2014-05-21 2017-11-28 Lauren Michelle Neubauer Digital pen with enhanced educational feedback
CN104820578B (zh) * 2015-04-10 2018-05-01 苏州尚德智产通信技术有限公司 一种计算机外设装置及驱动方法
CN104820579B (zh) * 2015-04-10 2019-01-22 苏州尚德智产通信技术有限公司 一种包含移动终端和外设装置的传感***及传感方法
US20180095653A1 (en) * 2015-08-14 2018-04-05 Martin Hasek Device, method and graphical user interface for handwritten interaction
US20180061276A1 (en) * 2016-08-31 2018-03-01 Intel Corporation Methods, apparatuses, and systems to recognize and audibilize objects
US10761719B2 (en) * 2017-11-09 2020-09-01 Microsoft Technology Licensing, Llc User interface code generation based on free-hand input
US11044282B1 (en) 2020-08-12 2021-06-22 Capital One Services, Llc System and method for augmented reality video conferencing

Family Cites Families (278)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPQ131399A0 (en) 1999-06-30 1999-07-22 Silverbrook Research Pty Ltd A method and apparatus (NPAGE02)
US2182334A (en) 1939-02-18 1939-12-05 Crespo Joseph Panoramic device
US2932907A (en) 1956-01-16 1960-04-19 Joseph A Stieber Map projections demonstrator
US3304612A (en) 1963-12-23 1967-02-21 Union Oil Co Method and apparatus for converting cartograph coordinates to permanent digital form
US3292489A (en) 1964-07-09 1966-12-20 Ibm Hierarchical search system
US3466391A (en) 1966-09-07 1969-09-09 Marconi Co Ltd Electrical position resolver employing capacitive probe coupled to resistive layer containing two pairs of conductive strips energized by four different frequency signals
US3591718A (en) 1968-04-18 1971-07-06 Shintron Co Inc Graphical input tablet
US3782734A (en) 1971-03-15 1974-01-01 S Krainin Talking book, an educational toy with multi-position sound track and improved stylus transducer
US3798370A (en) 1972-04-17 1974-03-19 Elographics Inc Electrographic sensor for determining planar coordinates
US3921165A (en) 1973-03-21 1975-11-18 Ibm High resolution graphic data tablet
US3888311A (en) 1973-10-01 1975-06-10 Exxon Production Research Co Hydraulic fracturing method
US3911215A (en) 1974-03-18 1975-10-07 Elographics Inc Discriminating contact sensor
US4079194A (en) 1976-08-09 1978-03-14 Victor Kley Graphical data entry pad
US4220815B1 (en) 1978-12-04 1996-09-03 Elographics Inc Nonplanar transparent electrographic sensor
NL7904469A (nl) 1979-06-07 1980-12-09 Philips Nv Inrichting voor het lezen van een gedrukte kode en het daarvan omzetten in een audio-signaal.
US4686332A (en) 1986-06-26 1987-08-11 International Business Machines Corporation Combined finger touch and stylus detection system for use on the viewing surface of a visual display device
US4337375A (en) 1980-06-12 1982-06-29 Texas Instruments Incorporated Manually controllable data reading apparatus for speech synthesizers
US4464118A (en) * 1980-06-19 1984-08-07 Texas Instruments Incorporated Didactic device to improve penmanship and drawing skills
JPS585611A (ja) 1981-07-01 1983-01-13 Toyota Motor Corp 走行案内装置
US4425099A (en) 1981-10-13 1984-01-10 Texas Instruments Incorporated Educational aid for use with workbook
US4604065A (en) 1982-10-25 1986-08-05 Price/Stern/Sloan Publishers, Inc. Teaching or amusement apparatus
US4604058A (en) 1982-11-01 1986-08-05 Teledyne Industries, Inc. Dental appliance
US4492819A (en) 1982-12-30 1985-01-08 Kurta Corporation Graphic tablet and method
US4570149A (en) 1983-03-15 1986-02-11 Koala Technologies Corporation Simplified touch tablet data device
US4603231A (en) 1983-03-31 1986-07-29 Interand Corporation System for sensing spatial coordinates
JPS60157700A (ja) 1984-01-27 1985-08-17 日立造船株式会社 船舶衡突予防援助装置
US4650926A (en) 1984-10-26 1987-03-17 Scriptel Corporation Electrographic system and method
US4627819A (en) 1985-01-23 1986-12-09 Price/Stern/Sloan Publishers, Inc. Teaching or amusement apparatus
GB2202664B (en) 1985-10-22 1990-08-15 Garry Douglas Robb Automated service systems
US4739299A (en) 1986-01-17 1988-04-19 Interlink Electronics, Inc. Digitizer pad
US5057024A (en) 1986-08-01 1991-10-15 Sprott Glenn C Computerized globe/almanac system
US4748318A (en) 1986-10-22 1988-05-31 Bearden James D Wand for a hand-held combined light pen and bar code reader
US5194852A (en) 1986-12-01 1993-03-16 More Edward S Electro-optic slate for direct entry and display and/or storage of hand-entered textual and graphic information
US4839634A (en) 1986-12-01 1989-06-13 More Edward S Electro-optic slate for input/output of hand-entered textual and graphic information
US4787040A (en) 1986-12-22 1988-11-22 International Business Machines Corporation Display system for automotive vehicle
GB8702728D0 (en) 1987-02-06 1987-03-11 Price Stern Sloan Publishers Teaching & amusement apparatus
JP2658039B2 (ja) 1987-03-20 1997-09-30 キヤノン株式会社 情報処理装置
GB2207027B (en) 1987-07-15 1992-01-08 Matsushita Electric Works Ltd Voice encoding and composing system
US5030117A (en) 1987-09-25 1991-07-09 Delorme David M Digital global map generating system
US5113178A (en) 1988-01-29 1992-05-12 Aisin Seiki K.K. Position display apparatus
US4853498A (en) 1988-06-13 1989-08-01 Tektronix, Inc. Position measurement apparatus for capacitive touch panel system
US4924387A (en) 1988-06-20 1990-05-08 Jeppesen John C Computerized court reporting system
US4913463A (en) 1988-10-27 1990-04-03 Texas Instruments Incorporated Hinged case providing sectional cover with anti-pinch interleaving through
US5007085A (en) 1988-10-28 1991-04-09 International Business Machines Corporation Remotely sensed personal stylus
US4853499A (en) 1988-12-12 1989-08-01 Calcomp Inc. Ground switching technique for silkscreened digitizer grids
US5484292A (en) 1989-08-21 1996-01-16 Mctaggart; Stephen I. Apparatus for combining audio and visual indicia
US5167508A (en) 1989-08-21 1992-12-01 Mc Taggart Stephen I Electronic book
US5184003A (en) 1989-12-04 1993-02-02 National Computer Systems, Inc. Scannable form having a control mark column with encoded data marks
US5168147A (en) 1990-07-31 1992-12-01 Xerox Corporation Binary image processing for decoding self-clocking glyph shape codes
CA2044404C (en) 1990-07-31 1998-06-23 Dan S. Bloomberg Self-clocking glyph shape codes
US5128525A (en) 1990-07-31 1992-07-07 Xerox Corporation Convolution filtering for decoding self-clocking glyph shape codes
JPH04121923A (ja) 1990-09-12 1992-04-22 Sony Corp 電子機器のスイッチ構造
US5053585A (en) 1990-10-12 1991-10-01 Interlink Electronics, Incorporated Multipurpose keyboard using digitizer pad featuring spatial minimization of a pressure contact area and method of making same
US5149919A (en) 1990-10-31 1992-09-22 International Business Machines Corporation Stylus sensing system
US5117071A (en) 1990-10-31 1992-05-26 International Business Machines Corporation Stylus sensing system
US5301243A (en) 1990-12-21 1994-04-05 Francis Olschafskie Hand-held character-oriented scanner with external view area
US5574804A (en) 1990-12-21 1996-11-12 Olschafskie; Francis Hand-held scanner
GB9103768D0 (en) 1991-02-22 1991-04-10 King Reginald A Educational apparatus
JPH04274510A (ja) 1991-02-28 1992-09-30 Casio Comput Co Ltd データ入力処理装置
US5220649A (en) 1991-03-20 1993-06-15 Forcier Mitchell D Script/binary-encoded-character processing method and system with moving space insertion mode
US5848187A (en) 1991-11-18 1998-12-08 Compaq Computer Corporation Method and apparatus for entering and manipulating spreadsheet cell data
US5220136A (en) 1991-11-26 1993-06-15 Elographics, Inc. Contact touchscreen with an improved insulated spacer arrangement
JPH05334470A (ja) 1991-12-27 1993-12-17 Xerox Corp 自己クロッキング図形記号コード
US5221833A (en) 1991-12-27 1993-06-22 Xerox Corporation Methods and means for reducing bit error rates in reading self-clocking glyph codes
US5314336A (en) 1992-02-07 1994-05-24 Mark Diamond Toy and method providing audio output representative of message optically sensed by the toy
US5788508A (en) 1992-02-11 1998-08-04 John R. Lee Interactive computer aided natural learning method and apparatus
JPH05265633A (ja) 1992-03-18 1993-10-15 Gunze Ltd タッチパネル
US5217376A (en) 1992-03-20 1993-06-08 Marcel Gosselin Drawing aid
US5852434A (en) 1992-04-03 1998-12-22 Sekendur; Oral F. Absolute optical position determination
US5438430A (en) 1992-09-25 1995-08-01 Xerox Corporation Paper user interface for image manipulations such as cut and paste
US5739814A (en) 1992-09-28 1998-04-14 Sega Enterprises Information storage system and book device for providing information in response to the user specification
EP0996083B1 (en) 1992-09-28 2003-03-26 Olympus Optical Co., Ltd. Information reproducing system for optically reading a dot code from a recording medium
US5401916A (en) 1992-09-29 1995-03-28 Ncr Corporation Method and apparatus for capturing handwritten information and providing visual feedback
US5217378A (en) 1992-09-30 1993-06-08 Donovan Karen R Painting kit for the visually impaired
US5428805A (en) * 1992-12-22 1995-06-27 Morgan; Michael W. Method and apparatus for recognizing and performing handwritten calculations
JPH06266490A (ja) 1993-03-12 1994-09-22 Toshiba Corp 情報入力装置および情報入力における位置認識システム
US5510606A (en) 1993-03-16 1996-04-23 Worthington; Hall V. Data collection system including a portable data collection terminal with voice prompts
DE69423296T2 (de) 1993-11-30 2000-11-30 Hewlett Packard Co Anordnung zur Dateneingabe
US5835726A (en) 1993-12-15 1998-11-10 Check Point Software Technologies Ltd. System for securing the flow of and selectively modifying packets in a computer network
JP3546337B2 (ja) 1993-12-21 2004-07-28 ゼロックス コーポレイション 計算システム用ユーザ・インタフェース装置及びグラフィック・キーボード使用方法
US5604517A (en) 1994-01-14 1997-02-18 Binney & Smith Inc. Electronic drawing device
US5561446A (en) 1994-01-28 1996-10-01 Montlick; Terry F. Method and apparatus for wireless remote information retrieval and pen-based data entry
IL108566A0 (en) 1994-02-04 1994-05-30 Baron Research & Dev Company L Handwriting input apparatus using more than one sensing technique
US5480306A (en) 1994-03-16 1996-01-02 Liu; Chih-Yuan Language learning apparatus and method utilizing optical code as input medium
US5574519A (en) 1994-05-03 1996-11-12 Eastman Kodak Company Talking photoalbum
JP2939119B2 (ja) 1994-05-16 1999-08-25 シャープ株式会社 手書き文字入力表示装置および方法
US5649023A (en) 1994-05-24 1997-07-15 Panasonic Technologies, Inc. Method and apparatus for indexing a plurality of handwritten objects
US6008799A (en) 1994-05-24 1999-12-28 Microsoft Corporation Method and system for entering data using an improved on-screen keyboard
US5932863A (en) 1994-05-25 1999-08-03 Rathus; Spencer A. Method and apparatus for accessing electric data via a familiar printed medium
US6164534A (en) 1996-04-04 2000-12-26 Rathus; Spencer A. Method and apparatus for accessing electronic data via a familiar printed medium
US5624265A (en) 1994-07-01 1997-04-29 Tv Interactive Data Corporation Printed publication remote contol for accessing interactive media
US5652412A (en) 1994-07-11 1997-07-29 Sia Technology Corp. Pen and paper information recording system
EP0693739A3 (en) 1994-07-13 1997-06-11 Yashima Denki Kk Method and apparatus capable of storing and reproducing handwriting
US6262719B1 (en) 1994-09-02 2001-07-17 Packard Bell Nec, Inc. Mouse emulation with a passive pen
US5974558A (en) 1994-09-02 1999-10-26 Packard Bell Nec Resume on pen contact
WO1996015837A1 (en) 1994-11-21 1996-05-30 Compaq Computer Corporation Interactive play with a computer
US6018656A (en) 1994-12-30 2000-01-25 Sony Corporation Programmable cellular telephone and system
US5760773A (en) 1995-01-06 1998-06-02 Microsoft Corporation Methods and apparatus for interacting with data objects using action handles
US5636995A (en) 1995-01-17 1997-06-10 Stephen A. Schwartz Interactive story book and graphics tablet apparatus and methods for operating the same
FI99071C (fi) 1995-02-15 1997-09-25 Nokia Mobile Phones Ltd Menetelmä sovellusten käyttämiseksi matkaviestimessä ja matkaviestin
US5801702A (en) 1995-03-09 1998-09-01 Terrabyte Technology System and method for adding network links in a displayed hierarchy
US5730602A (en) * 1995-04-28 1998-03-24 Penmanship, Inc. Computerized method and apparatus for teaching handwriting
JPH08335134A (ja) 1995-06-07 1996-12-17 Canon Inc 情報処理装置
US5978773A (en) 1995-06-20 1999-11-02 Neomedia Technologies, Inc. System and method for using an ordinary article of commerce to access a remote computer
JP3111024B2 (ja) 1995-07-19 2000-11-20 キヤノン株式会社 カラーフィルタの製造装置及び製造方法及び表示装置の製造方法及び表示装置を備えた装置の製造方法
AU6646096A (en) 1995-08-03 1997-03-05 Interval Research Corporation Computerized interactor systems and methods for providing same
US7498509B2 (en) 1995-09-28 2009-03-03 Fiberspar Corporation Composite coiled tubing end connector
US5635726A (en) 1995-10-19 1997-06-03 Lucid Technologies Inc. Electro-optical sensor for marks on a sheet
US5767457A (en) 1995-11-13 1998-06-16 Cirque Corporation Apparatus and method for audible feedback from input device
US5697793A (en) 1995-12-14 1997-12-16 Motorola, Inc. Electronic book and method of displaying at least one reading metric therefor
US5694102A (en) 1995-12-21 1997-12-02 Xerox Corporation Vector reconstruction of asynchronously captured tiled embedded data blocks
US6000621A (en) 1995-12-21 1999-12-14 Xerox Corporation Tilings of mono-code and dual-code embedded data pattern strips for robust asynchronous capture
US5821508A (en) * 1995-12-29 1998-10-13 Votation, Llc Audio ballot system
TW394879B (en) 1996-02-09 2000-06-21 Sega Enterprises Kk Graphics processing system and its data input device
US5877458A (en) 1996-02-15 1999-03-02 Kke/Explore Acquisition Corp. Surface position location system and method
US5686705A (en) 1996-02-15 1997-11-11 Explore Technologies, Inc. Surface position location system and method
US5757361A (en) 1996-03-20 1998-05-26 International Business Machines Corporation Method and apparatus in computer systems to selectively map tablet input devices using a virtual boundary
JP3193628B2 (ja) 1996-03-28 2001-07-30 オリンパス光学工業株式会社 コード印刷装置
JP3061765B2 (ja) 1996-05-23 2000-07-10 ゼロックス コーポレイション コンピュータベースの文書処理方法
JP3378900B2 (ja) 1996-06-25 2003-02-17 富士通株式会社 オブジェクト編集方法，オブジェクト編集システム及び記録媒体
US5847698A (en) 1996-09-17 1998-12-08 Dataventures, Inc. Electronic book device
US5973420A (en) 1996-10-03 1999-10-26 Colortronics Technologies L.L.C. Electrical system having a clear conductive composition
US5790114A (en) 1996-10-04 1998-08-04 Microtouch Systems, Inc. Electronic whiteboard with multi-functional user interface
US6130666A (en) 1996-10-07 2000-10-10 Persidsky; Andre Self-contained pen computer with built-in display
US5889506A (en) 1996-10-25 1999-03-30 Matsushita Electric Industrial Co., Ltd. Video user's environment
JP2002515149A (ja) 1996-11-08 2002-05-21 ネオメディア テクノロジーズ，インク． 印刷文書の機械可読コードによる電子情報の自動アクセス
WO1998021665A1 (es) 1996-11-12 1998-05-22 Carlos Landetta Chombo Libro electronico
US6088023A (en) 1996-12-10 2000-07-11 Willow Design, Inc. Integrated pointing and drawing graphics system for computers
US5937110A (en) 1996-12-20 1999-08-10 Xerox Corporation Parallel propagating embedded binary sequences for characterizing objects in N-dimensional address space
US6215901B1 (en) 1997-03-07 2001-04-10 Mark H. Schwartz Pen based computer handwriting instruction
KR100224618B1 (ko) 1997-03-27 1999-10-15 윤종용 다목적 학습기의 페이지 전환 방법
CA2286707C (en) 1997-05-09 2006-06-06 Neomedia Technologies, Inc. Method and system for accessing electronic resources via machine-readable data on intelligent documents
US6104387A (en) 1997-05-14 2000-08-15 Virtual Ink Corporation Transcription system
KR100208019B1 (ko) 1997-07-16 1999-07-15 윤종용 다목적학습기
US5844483A (en) 1997-07-17 1998-12-01 Boley; Jeffrey V. Golf equipment inventory device
JP3475048B2 (ja) 1997-07-18 2003-12-08 シャープ株式会社 手書き入力装置
US6431439B1 (en) 1997-07-24 2002-08-13 Personal Solutions Corporation System and method for the electronic storage and transmission of financial transactions
US6201903B1 (en) 1997-09-30 2001-03-13 Ricoh Company, Ltd. Method and apparatus for pen-based faxing
US6518950B1 (en) 1997-10-07 2003-02-11 Interval Research Corporation Methods and systems for providing human/computer interfaces
WO1999019823A2 (en) 1997-10-10 1999-04-22 Interval Research Corporation Methods and systems for providing human/computer interfaces
US6215476B1 (en) 1997-10-10 2001-04-10 Apple Computer, Inc. Flat panel display with integrated electromagnetic pen digitizer
JPH11122401A (ja) 1997-10-17 1999-04-30 Noritsu Koki Co Ltd 音声コード付き写真作成装置
CN1142471C (zh) * 1997-11-21 2004-03-17 资通电脑股份有限公司 以手写文字符号辩认执行操作捷径的方法和装置
US20030173405A1 (en) 2000-01-12 2003-09-18 Metrologic Instruments, Inc. Bar code symbol driven systems for accessing information resources on the internet
US5992817A (en) 1998-02-04 1999-11-30 Klitsner Industrial Design, Llc Keyboard interface device
US6456749B1 (en) 1998-02-27 2002-09-24 Carnegie Mellon University Handheld apparatus for recognition of writing, for remote communication, and for user defined input templates
US6144371A (en) 1998-03-18 2000-11-07 International Business Machines Corporation Thinkscribe combined electronic and paper based scheduling
US6665490B2 (en) 1998-04-01 2003-12-16 Xerox Corporation Obtaining and using data associating annotating activities with portions of recordings
US6473072B1 (en) 1998-05-12 2002-10-29 E Ink Corporation Microencapsulated electrophoretic electrostatically-addressed media for drawing device applications
JP4144935B2 (ja) 1998-06-08 2008-09-03 ノーリツ鋼機株式会社 音声付き写真を作成するための受付方法、及び受付装置
US6089943A (en) 1998-10-30 2000-07-18 Tai Sun Plastic Novelties Ltd. Toy
US6392632B1 (en) 1998-12-08 2002-05-21 Windbond Electronics, Corp. Optical mouse having an integrated camera
US5997309A (en) 1998-12-31 1999-12-07 Metheny; Jeff Erasable drawing board
JP2000206631A (ja) 1999-01-18 2000-07-28 Olympus Optical Co Ltd 撮影装置
US6529920B1 (en) 1999-03-05 2003-03-04 Audiovelocity, Inc. Multimedia linking device and method
US20020000468A1 (en) 1999-04-19 2002-01-03 Pradeep K. Bansal System and method for scanning & storing universal resource locator codes
AUPQ291299A0 (en) 1999-09-17 1999-10-07 Silverbrook Research Pty Ltd A self mapping surface and related applications
AUPQ363299A0 (en) 1999-10-25 1999-11-18 Silverbrook Research Pty Ltd Paper based information inter face
US7099019B2 (en) 1999-05-25 2006-08-29 Silverbrook Research Pty Ltd Interface surface printer using invisible ink
US7170499B1 (en) 1999-05-25 2007-01-30 Silverbrook Research Pty Ltd Handwritten text capture via interface surface
US6830196B1 (en) 1999-05-25 2004-12-14 Silverbrook Research Pty Ltd Identity-coded surface region
US7721948B1 (en) 1999-05-25 2010-05-25 Silverbrook Research Pty Ltd Method and system for online payments
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6502756B1 (en) 1999-05-28 2003-01-07 Anoto Ab Recording of information
CA2374811C (en) 1999-05-28 2012-04-10 Anoto Ab Position determination
RU2002101922A (ru) 1999-06-28 2003-08-10 Аното Аб (Se) Запись информации
SE516561C2 (sv) 1999-06-28 2002-01-29 C Technologies Ab Läspenna för inläsning och behandling av text
US6304989B1 (en) 1999-07-21 2001-10-16 Credence Systems Corporation Built-in spare row and column replacement analysis system for embedded memories
SE0000939L (sv) 2000-02-18 2001-08-19 Anoto Ab Inenhetsarrangemang
WO2001016691A1 (en) 1999-08-30 2001-03-08 Anoto Ab Notepad
US6183262B1 (en) 1999-09-10 2001-02-06 Shao-Chien Tseng Magnetic drawing board structure
SE517445C2 (sv) 1999-10-01 2002-06-04 Anoto Ab Positionsbestämning på en yta försedd med ett positionskodningsmönster
US6564249B2 (en) 1999-10-13 2003-05-13 Dh Labs, Inc. Method and system for creating and sending handwritten or handdrawn messages
US6304898B1 (en) 1999-10-13 2001-10-16 Datahouse, Inc. Method and system for creating and sending graphical email
US6241528B1 (en) 1999-10-29 2001-06-05 Edwin C. Myers Reusable writing table
US7295193B2 (en) 1999-12-23 2007-11-13 Anoto Ab Written command
US20030046256A1 (en) 1999-12-23 2003-03-06 Ola Hugosson Distributed information management
SE9904744L (sv) * 1999-12-23 2001-06-24 Anoto Ab Styrning av anordning
US6724373B1 (en) 2000-01-05 2004-04-20 Brother International Corporation Electronic whiteboard hot zones for controlling local and remote personal computer functions
US6532314B1 (en) 2000-01-28 2003-03-11 Learning Resources, Inc. Talking toy scanner
DE60103020T2 (de) 2000-02-16 2004-09-02 Telefonaktiebolaget L M Ericsson (Publ) Verfahren und system zur konfiguration und zum deblockieren einer elektronischen vorrichtung
US6738053B1 (en) 2000-02-16 2004-05-18 Telefonaktiebolaget Lm Ericsson (Publ) Predefined electronic pen applications in specially formatted paper
EP1256090B1 (en) 2000-02-16 2005-08-24 Telefonaktiebolaget LM Ericsson (publ) Electronic pen for e-commerce implementations
US6885878B1 (en) 2000-02-16 2005-04-26 Telefonaktiebolaget L M Ericsson (Publ) Method and system for using an electronic reading device as a general application input and navigation interface
US6992655B2 (en) 2000-02-18 2006-01-31 Anoto Ab Input unit arrangement
KR100460105B1 (ko) 2000-02-22 2004-12-03 엘지전자 주식회사 이동통신 단말기의 메뉴 검색 방법.
SE0000949L (sv) 2000-03-21 2001-09-22 Anoto Ab Positionsinformation
SE518962C2 (sv) 2000-03-21 2002-12-10 Anoto Ab Produkt och metod för att koda data till ett matrisformat kodningsmönster
SE516109C2 (sv) 2000-03-21 2001-11-19 Anoto Ab Förfarande, system och datorprogram för dokumenthantering med hjälp av positionskodningsmönster
SE517984C2 (sv) 2000-03-21 2002-08-13 Anoto Ab Arrangemang för inmatning av information
FR2807267B1 (fr) 2000-03-28 2002-12-06 Schlumberger Systems & Service Reseau de radiotelephonie mobile etendu et publiphone pour la mise en oeuvre d'un tel reseau
US6442350B1 (en) 2000-04-04 2002-08-27 Eastman Kodak Company Camera with sound recording capability
SE516281C2 (sv) 2000-04-05 2001-12-10 Anoto Ab Produkt och förfarande för informationshantering, där en löstagbar skrivyta med absolutpositionskodningsmönster skrivs på och avläses
SE517875C2 (sv) 2000-04-05 2002-07-30 Anoto Ab Förfarande och arrangemang för att associera en värdehandling med en delmängd av ett positionskodningsmönster
US7094977B2 (en) 2000-04-05 2006-08-22 Anoto Ip Lic Handelsbolag Method and system for information association
SE516310C2 (sv) 2000-04-05 2001-12-17 Anoto Ab Produkt med två kodningsmönster, innefattande rasterpunkter; samt förfarande, datorprogram och anordning för att avläsa kodningsmönstren
US6661405B1 (en) 2000-04-27 2003-12-09 Leapfrog Enterprises, Inc. Electrographic position location apparatus and method
US6668156B2 (en) 2000-04-27 2003-12-23 Leapfrog Enterprises, Inc. Print media receiving unit including platform and print media
WO2001086612A1 (en) 2000-05-12 2001-11-15 Jrl Enterprises, Inc. An interactive, computer-aided handwriting method and apparatus with enhanced digitization tablet
US6956562B1 (en) 2000-05-16 2005-10-18 Palmsource, Inc. Method for controlling a handheld computer by entering commands onto a displayed feature of the handheld computer
SE516567C2 (sv) 2000-06-07 2002-01-29 Anoto Ab Förfarande och anordning för säker trådlös överföring av information
US6304667B1 (en) 2000-06-21 2001-10-16 Carmen T. Reitano System and method for incorporating dyslexia detection in handwriting pattern recognition systems
US20020077902A1 (en) 2000-06-30 2002-06-20 Dwight Marcus Method and apparatus for verifying review and comprehension of information
US7289110B2 (en) 2000-07-17 2007-10-30 Human Messaging Ab Method and arrangement for identifying and processing commands in digital images, where the user marks the command, for example by encircling it
US20020023957A1 (en) 2000-08-21 2002-02-28 A. John Michaelis Method and apparatus for providing audio/visual feedback to scanning pen users
US6704699B2 (en) 2000-09-05 2004-03-09 Einat H. Nir Language acquisition aide
CA2435624C (en) 2000-09-22 2013-05-07 Richard B. Levine Systems and methods for preventing unauthorized use of digital content
US6647369B1 (en) 2000-10-20 2003-11-11 Silverbrook Research Pty Ltd. Reader to decode sound and play sound encoded in infra-red ink on photographs
JP4552308B2 (ja) 2000-10-24 2010-09-29 パナソニック株式会社 超音波座標入力装置およびインタラクティブボード
JP3871524B2 (ja) 2000-11-17 2007-01-24 富士通株式会社 座標入力装置
JP3828492B2 (ja) 2000-11-25 2006-10-04 シルバーブルック リサーチ ピーティワイ リミテッド 対話式プリンタ
US7193618B2 (en) 2000-12-01 2007-03-20 Hewlett-Packard Development Company, L.P. Electronic ink ball point pen with memory
US7069518B2 (en) 2000-12-21 2006-06-27 Xerox Corporation Indexing methods, systems, and computer program products for virtual three-dimensional books
US6798907B1 (en) 2001-01-24 2004-09-28 Advanced Digital Systems, Inc. System, computer software product and method for transmitting and processing handwritten data
US6802586B2 (en) 2001-02-27 2004-10-12 Hewlett-Packard Development Company, L.P. Method and apparatus for software updates
JP2002297308A (ja) 2001-03-30 2002-10-11 Brother Ind Ltd 入力装置
FR2823337B1 (fr) 2001-04-05 2004-10-15 Netseniors Procede de lecture, traitement, transmission et exploitation d'un code a barres
US7107533B2 (en) 2001-04-09 2006-09-12 International Business Machines Corporation Electronic book with multimode I/O
US6831632B2 (en) 2001-04-09 2004-12-14 I. C. + Technologies Ltd. Apparatus and methods for hand motion tracking and handwriting recognition
CA2446600A1 (en) 2001-05-11 2002-11-21 Shoot The Moon Products Ii, Llc Interactive book reading system using rf scanning circuit
WO2002093467A1 (en) 2001-05-11 2002-11-21 Anoto Ab Electronic pen with actuation through removal of cap
US6954199B2 (en) 2001-06-18 2005-10-11 Leapfrog Enterprises, Inc. Three dimensional interactive system
US6641401B2 (en) 2001-06-20 2003-11-04 Leapfrog Enterprises, Inc. Interactive apparatus with templates
US7202861B2 (en) 2001-06-25 2007-04-10 Anoto Ab Control of a unit provided with a processor
US6966495B2 (en) 2001-06-26 2005-11-22 Anoto Ab Devices method and computer program for position determination
US20030001020A1 (en) 2001-06-27 2003-01-02 Kardach James P. Paper identification information to associate a printed application with an electronic application
US20030013483A1 (en) 2001-07-06 2003-01-16 Ausems Michiel R. User interface for handheld communication device
US20030024975A1 (en) 2001-07-18 2003-02-06 Rajasekharan Ajit V. System and method for authoring and providing information relevant to the physical world
WO2003014867A2 (en) 2001-08-03 2003-02-20 John Allen Ananian Personalized interactive digital catalog profiling
JP4261145B2 (ja) 2001-09-19 2009-04-30 株式会社リコー 情報処理装置、情報処理装置の制御方法、その方法をコンピュータに実行させるためのプログラム
US6584249B1 (en) 2001-10-17 2003-06-24 Oplink Communications, Inc. Miniature optical dispersion compensator with low insertion loss
US20030089777A1 (en) 2001-11-15 2003-05-15 Rajasekharan Ajit V. Method and system for authoring and playback of audio coincident with label detection
US20030095115A1 (en) 2001-11-22 2003-05-22 Taylor Brian Stylus input device utilizing a permanent magnet
EP1315085B1 (en) 2001-11-27 2006-01-11 Sun Microsystems, Inc. Automatic image-button creation process
TWI235926B (en) 2002-01-11 2005-07-11 Sonix Technology Co Ltd A method for producing indicators and processing system, coordinate positioning system and electronic book system utilizing the indicators
US20030134257A1 (en) 2002-01-15 2003-07-17 Ahmed Morsy Interactive learning apparatus
GB2400969A (en) 2002-02-06 2004-10-27 Leapfrog Entpr Inc Write on interactive apparatus and method
US6938222B2 (en) * 2002-02-08 2005-08-30 Microsoft Corporation Ink gestures
US7116316B2 (en) * 2002-03-07 2006-10-03 Intel Corporation Audible and visual effects as a result of adaptive tablet scanning
WO2003100746A2 (en) 2002-05-24 2003-12-04 Smtm Technologies Llc Method and system for skills-based testing and training
CA2484362C (en) 2002-05-30 2012-09-25 Mattel, Inc. Interactive multi-sensory reading system electronic teaching/learning device
US20040076935A1 (en) 2002-05-30 2004-04-22 Mattel, Inc. Method for teaching linguistics
US7062090B2 (en) 2002-06-28 2006-06-13 Microsoft Corporation Writing guide for a free-form document editor
US6915103B2 (en) 2002-07-31 2005-07-05 Hewlett-Packard Development Company, L.P. System for enhancing books with special paper
US20040104890A1 (en) 2002-09-05 2004-06-03 Leapfrog Enterprises, Inc. Compact book and apparatus using print media
US7090020B2 (en) 2002-10-30 2006-08-15 Schlumberger Technology Corp. Multi-cycle dump valve
JP4244614B2 (ja) 2002-10-31 2009-03-25 株式会社日立製作所 手書き入力装置、プログラムおよび手書き入力方法システム
US20040125075A1 (en) 2002-12-31 2004-07-01 Diercks Richard A. DVD remote control with interchangeable, title-specific interactive panels
US20040202987A1 (en) 2003-02-14 2004-10-14 Scheuring Sylvia Tidwell System and method for creating, assessing, modifying, and using a learning map
US20040229195A1 (en) 2003-03-18 2004-11-18 Leapfrog Enterprises, Inc. Scanning apparatus
US7080103B2 (en) 2003-05-08 2006-07-18 International Business Machines Corporation Personal information management system and method with audit functionality
WO2004104770A2 (en) 2003-05-16 2004-12-02 Educational Testing Services Method and system for receiving responses utilizing digital pen and paper
WO2005003944A1 (en) 2003-07-01 2005-01-13 Nokia Corporation Method and device for operating a user-input area on an electronic display device
US7456983B2 (en) 2003-07-02 2008-11-25 Hewlett-Packard Development Company, L.P. System and method for preventing comprehension of a printed document
US6985138B2 (en) 2003-08-29 2006-01-10 Motorola, Inc. Input writing device
US7555705B2 (en) 2003-09-10 2009-06-30 Microsoft Corporation Annotation management in a pen-based computing system
US20050060644A1 (en) 2003-09-15 2005-03-17 Patterson John Douglas Real time variable digital paper
US20050208458A1 (en) 2003-10-16 2005-09-22 Leapfrog Enterprises, Inc. Gaming apparatus including platform
US7848573B2 (en) 2003-12-03 2010-12-07 Microsoft Corporation Scaled text replacement of ink
US7506271B2 (en) * 2003-12-15 2009-03-17 Microsoft Corporation Multi-modal handwriting recognition correction
US7111230B2 (en) 2003-12-22 2006-09-19 Pitney Bowes Inc. System and method for annotating documents
US7134606B2 (en) 2003-12-24 2006-11-14 Kt International, Inc. Identifier for use with digital paper
US7558744B2 (en) 2004-01-23 2009-07-07 Razumov Sergey N Multimedia terminal for product ordering
EP1569140A3 (en) 2004-01-30 2006-10-25 Hewlett-Packard Development Company, L.P. Apparatus, methods and software for associating electronic and physical documents
US20060127872A1 (en) * 2004-03-17 2006-06-15 James Marggraff Method and device for associating a user writing with a user-writable element
US20060033725A1 (en) * 2004-06-03 2006-02-16 Leapfrog Enterprises, Inc. User created interactive interface
US20060125805A1 (en) * 2004-03-17 2006-06-15 James Marggraff Method and system for conducting a transaction using recognized text
US7853193B2 (en) 2004-03-17 2010-12-14 Leapfrog Enterprises, Inc. Method and device for audibly instructing a user to interact with a function
US7831933B2 (en) * 2004-03-17 2010-11-09 Leapfrog Enterprises, Inc. Method and system for implementing a user interface for a device employing written graphical elements
US20060067576A1 (en) * 2004-03-17 2006-03-30 James Marggraff Providing a user interface having interactive elements on a writable surface
US7453447B2 (en) 2004-03-17 2008-11-18 Leapfrog Enterprises, Inc. Interactive apparatus with recording and playback capability usable with encoded writing medium
US20060031755A1 (en) * 2004-06-24 2006-02-09 Avaya Technology Corp. Sharing inking during multi-modal communication
US7284192B2 (en) * 2004-06-24 2007-10-16 Avaya Technology Corp. Architecture for ink annotations on web documents
US9128653B2 (en) 2004-12-10 2015-09-08 Microsoft Technology Licensing, Llc Systems and methods for processing print jobs
US7639876B2 (en) 2005-01-14 2009-12-29 Advanced Digital Systems, Inc. System and method for associating handwritten information with one or more objects
US20060242562A1 (en) 2005-04-22 2006-10-26 Microsoft Corporation Embedded method for embedded interaction code array
US7421439B2 (en) 2005-04-22 2008-09-02 Microsoft Corporation Global metadata embedding and decoding
JP4580293B2 (ja) 2005-06-30 2010-11-10 株式会社東芝 画像形成装置

Also Published As

Publication number Publication date
US20060080609A1 (en) 2006-04-13
US20110313771A1 (en) 2011-12-22
JP2007128481A (ja) 2007-05-24
CN100390720C (zh) 2008-05-28
EP1780627A1 (en) 2007-05-02
US7853193B2 (en) 2010-12-14
CN1808361A (zh) 2006-07-26

Similar Documents

Publication Publication Date Title
KR100814052B1 (ko) 사용자 기록을 사용자 기록 가능 요소와 연관시키는 방법및 기기
US7853193B2 (en) Method and device for audibly instructing a user to interact with a function
KR100815534B1 (ko) 기록 가능한 표면 상의 대화형 요소와 대화할 수 있는사용자 인터페이스
KR100806240B1 (ko) 데이터 입력의 종료를 식별하는 시스템 및 방법
KR100847851B1 (ko) 텍스트 및 경계 영역의 인식을 이용하는 장치 사용자인터페이스
KR100806241B1 (ko) 기록된 그래픽 장치용의 사용자 인터페이스
US20060033725A1 (en) User created interactive interface
US20070280627A1 (en) Recording and playback of voice messages associated with note paper
US20090248960A1 (en) Methods and systems for creating and using virtual flash cards
KR100805259B1 (ko) 사용자에 의해 생성되는 대화형 인터페이스
WO2006076118A2 (en) Interactive device and method
CA2535505A1 (en) Computer system and method for audibly instructing a user
EP1681623A1 (en) Device user interface through recognized text and bounded areas

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application