JP2007504565A - Interactive interface created by the user - Google Patents

Abstract

対話的装置が開示される。当該対話的装置は、スタイラス殻と、該スタイラス殻に結合されたプロセッサと、（ｉ）スタイラスを使って作成された複数のグラフィック要素を認識するためのコンピュータコード、（ｉｉ）前記スタイラスを使ってのユーザー定義シーケンスにおける前記グラフィック要素の少なくとも二つの選択を認識するためのコンピュータコード、（ｉｉｉ）前記形成されたグラフィック要素に関係する少なくとも一つの音声出力を再生するためのコンピュータコードを有するメモリユニットと、音声出力装置とを含む。
An interactive device is disclosed. The interactive device includes a stylus shell, a processor coupled to the stylus shell, (i) computer code for recognizing a plurality of graphic elements created using the stylus, and (ii) using the stylus. Computer code for recognizing at least two selections of the graphic elements in a user-defined sequence of: (iii) a memory unit comprising computer code for reproducing at least one audio output related to the formed graphic elements; And an audio output device.

Description

ユーザーがスタイラスを使ってプリント媒体上でプリント要素を選択したのちに何らかのフィードバックを得られるようにするシステムはいくつかある。   There are several systems that allow a user to obtain some feedback after selecting a print element on a print medium using a stylus.

そのような一つのシステムがオハラら（米国特許ＵＳ５，４８５，１７６）において記載されている。この特許では、ユーザーはスタイラスを使ってプラットフォーム上にある書籍中のプリント要素を選択する。プラットフォームはビデオモニタに接続されている。ユーザーがプリント要素を選択したのち、選択されたプリント要素に対応する視覚的出力がビデオモニタ上に表示される。   One such system is described in Ohara et al. (US Pat. No. 5,485,176). In this patent, a user uses a stylus to select a print element in a book on a platform. The platform is connected to a video monitor. After the user selects a print element, a visual output corresponding to the selected print element is displayed on the video monitor.

オハラらによって記載されているシステムは有用ではあるものの、改良の余地がある。たとえば、そのシステムは主として音声出力ではなく視覚的な出力をするものであって、書き込み機能もない。   While the system described by Ohara et al. Is useful, there is room for improvement. For example, the system mainly produces visual output rather than audio output, and has no writing function.

ユーザーがフィードバックを得られるようにするもう一つのシステムはブライトアイ・テクノロジー（Ｂｒｉｇｈｔｅｙｅ Ｔｅｃｈｎｏｌｏｇｙ^ＴＭ）からのスキャン・ア・ページ・オア・ワード（Ｓｃａｎ−Ａ−Ｐａｇｅ ｏｒ Ｗｏｒｄ^ＴＭ）である。理解の限りにおいて、このシステムはスキャン用スタイラスおよびパソコンによって実行される光学式文字認識ソフトウェアを使って印刷された単語を認識するものである。単語をスキャンしてそれが認識されると、認識された単語が合成音声によって読み上げられる。このシステムも有用ではあるものの、その対話機能は限定的である。たとえば、これは単語のようなプリント要素をスキャンして当該プリント要素に関係したオーディオを聞くことに限定されている。 Another system that allows users to obtain feedback is Scan-A-Page or Word ^™ from Brighteye Technology ^™ . To the best of understanding, this system recognizes printed words using a scanning stylus and optical character recognition software executed by a personal computer. When a word is scanned and recognized, the recognized word is read out by synthesized speech. Although this system is also useful, its interactive functions are limited. For example, this is limited to scanning a print element such as a word and listening to audio associated with the print element.

上記のシステムにはほかの問題もある。たとえば、前記システムはいずれも、ユーザーが紙その他の媒体上にユーザー定義アプリケーションまたはユーザー対話システムを作成できるようにはなっていない。   There are other problems with the above system. For example, none of the systems allow users to create user-defined applications or user interaction systems on paper or other media.

本発明の諸実施形態は、これらのことを含むさまざまな問題に取り組む試みである。   Embodiments of the present invention attempt to address a variety of issues including these.

ここに記載される諸実施形態は、ユーザーがユーザー定義アプリケーションを紙の上に作成することを可能にし、あるいはユーザーがこれまで考えられていなかった仕方で紙と対話することを可能にし、あるいはその両方を可能にする。たとえば、いくつかの実施形態では、ユーザーは対話的スタイラスを使って、紙の上にグラフィック要素を作成することによってユーザー定義のユーザーインターフェースを作成することができる。ユーザーはその後、ペン式コンピュータと対話するのと同様の仕方でそのグラフィック要素と対話することができる。ただ違うのは、ペン式コンピュータは存在しないという点である。ユーザーの観点からは、生命のない一片の紙に生命が与えられ、ユーザーにとってインターフェースとして機能するようになるのである。   The embodiments described herein allow a user to create a user-defined application on paper, or allow a user to interact with paper in ways not previously thought of, or Make both possible. For example, in some embodiments, a user can create a user-defined user interface by creating graphic elements on paper using an interactive stylus. The user can then interact with the graphic element in a manner similar to interacting with a pen computer. The only difference is that there is no pen-type computer. From the user's point of view, life is given to a piece of paper that has no life, and functions as an interface for the user.

一つの実施形態は： （ａ）スタイラスを使ってグラフィック要素を作成し、（ｂ）該グラフィック要素作成後に複数のメニュー項目中の少なくとも一つのメニュー項目の音声読み上げを聞き、（ｃ）前記複数のメニュー項目から一つのメニュー項目を選択する、ことを有する方法に向けられる。   One embodiment is: (a) creating a graphic element using a stylus; (b) listening to at least one menu item in a plurality of menu items after reading the graphic element; It is directed to a method comprising selecting a menu item from a menu item.

別の実施形態は： スタイラス殻と、プロセッサと、（ｉ）ユーザーが前記スタイラスを使って作成したグラフィック要素を認識するためのコンピュータコード、（ｉｉ）前記グラフィック要素がユーザーによって作成された後に複数のメニュー項目中の少なくとも一つのメニュー項目の音声読み上げを再生するためのコンピュータコード、（ｉｉｉ）前記複数のメニュー項目からのユーザーによるメニュー項目の選択を認識するためのコンピュータコードを有するメモリユニットと、音声出力装置とを有する対話的装置であって、前記音声出力装置および前記メモリユニットが前記プロセッサに動作的に結合している装置に向けられる。   Another embodiment is: a stylus shell, a processor, (i) computer code for recognizing a graphic element created by the user using the stylus, and (ii) a plurality of pieces after the graphic element is created by the user A computer code for reproducing aloud reading of at least one menu item in the menu item; (iii) a memory unit having a computer code for recognizing selection of the menu item by the user from the plurality of menu items; An interactive device having an output device, wherein the audio output device and the memory unit are directed to a device operatively coupled to the processor.

別の実施形態は： （ａ）スタイラスを使って複数のグラフィック要素を形成し、（ｂ）前記スタイラスを使ってユーザー定義シーケンスにおいて前記グラフィック要素の少なくとも二つを選択し、（ｃ）前記形成されたグラフィック要素に関係する少なくとも一つの音声出力を聞く、ことを含む方法に向けられる。   Another embodiment is: (a) using a stylus to form a plurality of graphic elements, (b) using the stylus to select at least two of the graphic elements in a user-defined sequence, and (c) the formed Directed to a method comprising listening to at least one audio output associated with the selected graphic element.

別の実施形態は： スタイラス殻と、前記スタイラス殻に結合されたプロセッサと、（ｉ）スタイラスを使って作成された複数のグラフィック要素を認識するためのコンピュータコード、（ｉｉ）前記スタイラスを使ってのユーザー定義シーケンスにおける前記グラフィック要素の少なくとも二つの選択を認識するためのコンピュータコード、（ｉｉｉ）前記形成されたグラフィック要素に関係する音声出力を再生するためのコンピュータコードを有するメモリユニットと、音声出力装置とを有する対話的装置であって、前記音声出力装置および前記メモリユニットが前記プロセッサに動作的に結合している装置に向けられる。   Another embodiment is: a stylus shell, a processor coupled to the stylus shell, (i) computer code for recognizing a plurality of graphic elements created using the stylus, (ii) using the stylus Computer code for recognizing at least two selections of the graphic elements in a user-defined sequence of: (iii) a memory unit having computer code for reproducing audio output associated with the formed graphic elements; and audio output An interactive device having a device, wherein the audio output device and the memory unit are operatively coupled to the processor.

これらのものを含むさまざまな実施形態について以下でさらに詳細に説明する。   Various embodiments including these are described in further detail below.

本発明の諸実施形態には対話的装置が含まれる。代表例としての対話的装置は、スタイラス殻と、該スタイラス殻に結合されたプロセッサと、メモリユニットと、音声出力装置とを有する。前記プロセッサは前記メモリユニットおよび前記音声出力装置に動作的に結合されている。いくつかの実施形態では、前記メモリユニットは、（ｉ）前記スタイラスを使ってユーザーにより作成されたグラフィック要素を認識するためのコンピュータコードと、（ｉｉ）前記グラフィック要素がユーザーによって作成された後に複数のメニュー項目中の少なくとも一つのメニュー項目の音声読み上げを再生するためのコンピュータコードと、（ｉｉｉ）前記複数のメニュー項目からのユーザーによるメニュー項目の選択を認識するためのコンピュータコードとを有することができる。代替的または追加的に、前記メモリユニットは、（ｉ）スタイラスを使って作成された複数のグラフィック要素を認識するためのコンピュータコードと、（ｉｉ）前記スタイラスを使ってのユーザー定義シーケンスにおける前記グラフィック要素の少なくとも二つの選択を認識するためのコンピュータコードと、（ｉｉｉ）前記形成されたグラフィック要素に関係する少なくとも一つの音声出力を再生するためのコンピュータコードとを有していてもよい。好ましくは、当該対話的装置は自己完結的なスタイラスであり、前記プロセッサ、メモリユニットおよび音声出力装置は前記スタイラス殻の内部にある。   Embodiments of the present invention include interactive devices. A typical interactive device includes a stylus shell, a processor coupled to the stylus shell, a memory unit, and an audio output device. The processor is operatively coupled to the memory unit and the audio output device. In some embodiments, the memory unit includes: (i) computer code for recognizing a graphic element created by a user using the stylus; and (ii) a plurality of the graphic elements after the graphic element is created by the user. And (iii) computer code for recognizing selection of the menu item by the user from the plurality of menu items. it can. Alternatively or additionally, the memory unit comprises: (i) computer code for recognizing a plurality of graphic elements created using a stylus; and (ii) the graphic in a user-defined sequence using the stylus. There may be computer code for recognizing at least two selections of elements, and (iii) computer code for playing at least one audio output related to the formed graphic element. Preferably, the interactive device is a self-contained stylus and the processor, memory unit and audio output device are within the stylus shell.

当該対話的装置はいかなる好適な題目をも教授し、あるいは学習するのに使うことができる。たとえば、当該対話的装置は、文字、数字、算数（加減乗除や代数など）、社会科、フォニックス、言語、歴史などといった科目を教えるようあらかじめプログラムすることができる。   The interactive device can be used to teach or learn any suitable subject. For example, the interactive device can be pre-programmed to teach subjects such as letters, numbers, arithmetic (such as addition, subtraction, multiplication, division, and algebra), social studies, phonics, language, history, and the like.

いくつかの実施形態では、当該対話的装置は紙面上の実質不可視のコードをスキャンしてもよい。この種の対話的装置は、２００３年３月１８日に出願された米国特許出願第６０／４５６，０５３号および２００４年３月１７日に出願された米国特許第１０／８０３，８０３号において記載されている。これらはあらゆる目的についてその全体において参照によってここに組み込まれる。当該対話的装置は、前記プロセッサに結合された発光器および光検出器を含んでいてもよい。当該対話的装置は任意的に、複数の位置をもつある面を有する物品上の実質不可視のコードを光学的にスキャンすることもできる。前記複数の位置にはそれぞれ異なるコードがあり、前記面上の前記複数の位置の所在位置（たとえば相対空間座標または絶対空間座標）に関係するものでありうる。前記位置におけるプリント要素のようなグラフィック要素をユーザーが形成してもよいし、あるいはそれらの位置にあらかじめプリントされたプリント要素が存在していてもよいし、その両方でもよい。   In some embodiments, the interactive device may scan a substantially invisible code on paper. This type of interactive device is described in US Patent Application No. 60 / 456,053 filed March 18, 2003 and US Patent Application No. 10 / 803,803 filed March 17, 2004. Has been. These are incorporated herein by reference in their entirety for all purposes. The interactive device may include a light emitter and a light detector coupled to the processor. The interactive device can optionally optically scan a substantially invisible code on an article having a surface with multiple positions. Each of the plurality of positions may have a different code, and may be related to a location (for example, relative space coordinates or absolute space coordinates) of the plurality of positions on the surface. A graphic element, such as a printed element at the location, may be created by the user, or there may be preprinted print elements at those locations, or both.

「グラフィック要素」はユーザーによって作成されるいかなる好適な印をも含みうる。印が紙の上につけられる場合、そのグラフィック要素はプリント要素でありうる。あるいはまた、印は液晶ディスプレイのような消去可能書き込み媒体内にあってもよい。そのような場合においては、グラフィック要素は仮想グラフィック要素でありうる。好適なグラフィック要素としては、記号、文字および／または数字のような印（ｉｎｄｉｃｉａ）、キャラクタ、単語、図形、線などが含まれるが、これらに限られるものではない。形は規則的でも不規則でもよく、典型的には前記スタイラスを使って作成される。   A “graphical element” can include any suitable indicia created by a user. If the mark is placed on paper, the graphic element can be a print element. Alternatively, the indicia may be in an erasable write medium such as a liquid crystal display. In such a case, the graphic element can be a virtual graphic element. Suitable graphic elements include, but are not limited to, symbols, letters and / or indicia such as numbers, characters, words, graphics, lines, and the like. The shape may be regular or irregular and is typically created using the stylus.

いくつかの実施形態では、前記グラフィック要素は線で囲んだ文字または数字を含みうる。文字や数字を囲む線は丸、長円、四角、多角形などでありうる。そのようなグラフィック要素は、普通の文字や数字ではなく、ユーザーによって選択されうる「ボタン」のように見える。この種のグラフィック要素を作成することによって、ユーザーは機能アイコンのようなグラフィック要素を普通の文字や数字から視覚的に区別することができる。また、この種のグラフィック要素を作成することによって、当該対話的装置もまた、機能的またはメニュー項目型のグラフィック要素を、機能的でもメニュー項目でもない型のグラフィック要素から区別しやすくなる。たとえば、ユーザーは、丸囲みの文字「Ｍ」というグラフィック要素を作成することによって対話的な「メニュー」アイコンを作成することができる。当該対話的装置は、文字「Ｍ」に重なった丸または四角を単語中の文字「Ｍ」とは区別される機能的なグラフィック要素であると認識するようプログラムされていてもよい。そのような機能的グラフィック要素を認識して他の非機能的グラフィック要素から区別するためのコンピュータコードは、当該対話的装置の前記メモリユニット内に常駐することができる。   In some embodiments, the graphic element may include letters or numbers enclosed in a line. Lines surrounding letters and numbers can be circles, ellipses, squares, polygons, and the like. Such graphic elements look like “buttons” that can be selected by the user, not ordinary letters or numbers. By creating this type of graphic element, the user can visually distinguish graphic elements, such as functional icons, from ordinary letters and numbers. Also, by creating this type of graphic element, the interactive device also makes it easy to distinguish a functional or menu item type graphic element from a non-functional or menu item type graphic element. For example, a user can create an interactive “menu” icon by creating a graphic element with the circled letter “M”. The interactive device may be programmed to recognize a circle or square that overlaps the letter “M” as a functional graphic element that is distinct from the letter “M” in the word. Computer code for recognizing such functional graphic elements and distinguishing them from other non-functional graphic elements may reside in the memory unit of the interactive device.

前記プロセッサはグラフィック要素を認識することができ、それらのグラフィック要素の位置を同定することができ、それにより当該対話的装置はさまざまな処理を実行できる。これらの実施形態において、前記メモリユニットはユーザーによって生成された任意のグラフィック要素をその前記面上の所在位置と相関させるためのコンピュータコードを有していてもよい。   The processor can recognize graphic elements and identify the positions of those graphic elements, so that the interactive device can perform various processes. In these embodiments, the memory unit may have computer code for correlating any graphic element generated by a user with a location on the surface.

いくつかの実施形態では、前記物品は一枚の紙でよく、あらかじめプリントされたプリント要素があることもあれば、ないこともある。その紙は実質不可視なコードを有していてもよい。コードはユーザーの目には「実質的に不可視」であり、ページ上のプリント要素の絶対位置または相対位置に対応していてもよい。「実質的に不可視」とはまた、ユーザーの目に完全に不可視である、あるいはわずかに不可視であるコードをも含む。たとえば、ユーザーの目にわずかに不可視な点コードが紙の全面にプリントされている場合、その紙は普通に見る距離から見た場合、明灰色の網がかかっているように見えるかもしれない。場合によっては、ユーザーが当該対話的装置を用いてそのコードをスキャンしたのち、当該対話的装置の音声出力装置が、そのコードに関連付けられたグラフィック要素に対応する一意的な音声出力（ビープ音のような区別のない音声出力ではなく）を生成する。   In some embodiments, the article may be a piece of paper, with or without pre-printed print elements. The paper may have a substantially invisible code. The code is “substantially invisible” to the user's eyes and may correspond to the absolute or relative position of the print element on the page. “Substantially invisible” also includes code that is completely invisible or slightly invisible to the user's eyes. For example, if a point code that is slightly invisible to the user's eyes is printed on the entire surface of the paper, the paper may appear to have a light gray mesh when viewed from a normal viewing distance. In some cases, after the user scans the code using the interactive device, the interactive device's audio output device may receive a unique audio output (a beep sound) corresponding to the graphic element associated with the code. Instead of indistinguishable audio output).

好ましくは、前記実質不可視なコードは点パターンによって具現される。可視の、あるいは「サブリミナル的に」プリントされた点パターンを読む技術は存在しており、商業ベースで利用できる。これらのプリントされた点パターンはユーザーの目には実質不可視であり、点パターンとして存在するコードはユーザーの目には普通には検出できない（普通のバーコードとは違って）。点パターンは、たとえば二進符号化でのように１と０を表せる小さな点と大きな点の特定の組み合わせなどによって具現できる。点パターンはプリント要素をプリントするのに使われるインクとは異なるインクを用いてプリントすることができ、それにより当該対話的装置は点パターンだけを読むことができる。   Preferably, the substantially invisible code is embodied by a point pattern. Techniques exist for reading visible or “subliminal” printed dot patterns and are available on a commercial basis. These printed dot patterns are virtually invisible to the user's eyes, and codes present as dot patterns are not normally detectable by the user's eyes (unlike normal bar codes). The point pattern can be realized by a specific combination of a small point and a large point that can represent 1 and 0 as in binary coding, for example. The dot pattern can be printed using a different ink than the ink used to print the print element, so that the interactive device can read only the dot pattern.

スウェーデンのアノト社が採用しているある技術は、アルゴリズムを使ってパターンを生成するが、それによると大きな文書集合にわたって衝突なく使うための非常に大きな一意的データ空間を可能にする。そのパターンは、完全にプリントしたとすると、どのページにも任意の２ｃｍ四方の一意的認識がある８．５″×１１″のページで７０兆ページにも及ぶ。その特定の点パターンを含む紙はアノト社から発売されている。アノト社に与えられている以下の特許および特許出願がこの基本的技術を説明しており、すべて、あらゆる目的についてその全体において参照によってここに組み込まれる：米国特許第６，５０２，７５６号、米国特許出願第１０／１７９，９６６号２００２年６月２６日出願、ＷＯ０１／９５５５９、ＷＯ０１／７１４７３、ＷＯ０１／７５７２３、ＷＯ０１／２６０３２、ＷＯ０１／７５７８０、ＷＯ０１／０１６７０、ＷＯ０１／７５７７３、ＷＯ０１／７１４７５、ＷＯ００／７３９８３、ＷＯ０１／１６６９１。   One technology employed by Swedish company Anoto uses an algorithm to generate patterns, which allows a very large unique data space to be used without collision across large document sets. The pattern spans 70 trillion pages on an 8.5 ″ × 11 ″ page, where every page has a unique recognition of any 2 cm square, assuming full print. Paper containing that particular dot pattern is available from Anoto. The following patents and patent applications given to Anoto describe this basic technology and are hereby incorporated by reference in their entirety for all purposes: US Pat. No. 6,502,756, US Patent Application No. 10 / 179,966, filed on June 26, 2002, WO01 / 95559, WO01 / 71473, WO01 / 75723, WO01 / 26032, WO01 / 75780, WO01 / 01670, WO01 / 75773, WO01 / 71475, WO00 / 73983, WO01 / 16691.

いくつかの実施形態では、点パターンは、データブロックを示すマーカーを表すデータ、音声データおよび／または誤り検出データといった他の種類のデータがないこともある。別記したように、当該対話的装置のプロセッサは探索表を使ってスタイラスの位置を決定でき、その位置情報に基づいて音声を取得し、再生することができる。これにはいくつかの利点がある。たとえば、マーカー、音声、誤り検出などのデータがプリントされている紙に比べ、本発明の諸実施形態ではマーカー、音声、誤り訂正のためのデータが紙にプリントされる必要がないため、必要とする点の数はより少なくなる。たとえば、紙から音声データを省くことによって、実際の音声データが紙面を占有する必要がなくなるので、紙面上のより多くのスペースを対話的に使うことができる。さらに、本発明の諸実施形態では音声のためのコンピュータコードは当該対話的装置の中に保存されるため、たとえば紙のしわや破れによって再生される音声が壊れたり変わったりしてしまう可能性は少なくなる。   In some embodiments, the point pattern may be free of other types of data such as data representing markers indicative of data blocks, audio data, and / or error detection data. As noted elsewhere, the processor of the interactive device can use the lookup table to determine the position of the stylus, and can acquire and play audio based on the position information. This has several advantages. For example, as compared to paper on which data such as marker, voice, and error detection is printed, the embodiments of the present invention do not require data for marker, voice, and error correction to be printed on paper. There are fewer points to do. For example, omitting audio data from paper eliminates the need for actual audio data to occupy the paper surface, so more space on the paper surface can be used interactively. Further, in the embodiments of the present invention, the computer code for the sound is stored in the interactive device, so that the sound played back may be broken or changed due to wrinkling or tearing of paper, for example. Less.

ここでは特に点パターンコードについて述べているが、本発明の他の実施形態においては他の種類の実質不可視のコードを使うこともできる。たとえば、物品上のある配列内に赤外線バーコードが配置されていれば、該赤外線バーコードを使うことができる。例として、紙面が実質不可視のバーコードの１００×１００の配列を含んでいることができる。各コードは紙面上で異なるｘ−ｙ位置と関連付けられている。配列内の諸バーコードの相対位置または絶対位置は当該対話的装置のメモリユニット内に保存されうる。   Although the point pattern code is specifically described herein, other types of substantially invisible codes can be used in other embodiments of the invention. For example, if an infrared bar code is arranged in an array on the article, the infrared bar code can be used. As an example, the page can include a 100 × 100 array of barcodes that are substantially invisible. Each code is associated with a different xy position on the page. The relative or absolute position of the barcodes in the array can be stored in the memory unit of the interactive device.

上記したように、好ましい実施形態においては、実質不可視のコードは、紙面上の前記複数の位置および／または任意のプリント要素の所在位置に直接的または間接的に関係していてもよい。いくつかの実施形態では、実質不可視のコードは紙（または他の物品）上の前記複数の位置の所在位置に直接的に関係していることができる。これらの実施形態においては、紙面上の前記異なる位置の所在位置はコードそのものによって与えられることができる。たとえば、第一の位置にある第一のコードは、紙面上の前記第一の位置についての空間座標（特定のｘ−ｙ位置など）についてのコードを含んでおり、第二の位置における第二のコードは紙面上の前記第二の位置の空間座標のためのコードを含んでいるなどである。紙面上の異なる位置にはユーザーが生成したプリント要素のような異なるグラフィック要素が存在することができる。これらのプリント要素は前記コードに重ねて形成されてもよい。たとえば、第一のプリント要素が前記第一の位置に形成されて前記第一のコードに重なることができる。第二のプリント要素が前記第二の位置に形成されて前記第二のコードに重なることができる。ユーザーが第一のプリント要素を形成すると、スキャン装置は形成された第一のプリント要素を認識し、該形成された第一のプリント要素に付随する前記第一のコードを実質同時にスキャンする。当該対話的装置のプロセッサは前記第一の位置の前記特定の空間座標を決定することができ、前記第一のプリント要素を前記空間座標と相関させることができる。ユーザーが第二のプリント要素を形成すると、スキャン装置は形成された第二のプリント要素を認識し、前記第二のコードを実質同時にスキャンする。次いでプロセッサが前記第二の位置の空間座標を決定することができ、前記第二のプリント要素を前記空間座標と相関させることができる。するとユーザーはその後、前記ユーザーが形成した第一および第二のプリント要素を当該対話的装置を使って選択することができ、当該対話的装置は追加的な処理を実行できる。たとえば、のちに述べるように、この方法論を使ってユーザーはユーザー定義インターフェースまたは機能デバイスを白紙の上に作成することができる。   As noted above, in a preferred embodiment, the substantially invisible code may be directly or indirectly related to the plurality of locations on the paper and / or the location of any print element. In some embodiments, the substantially invisible code can be directly related to the location of the plurality of locations on paper (or other article). In these embodiments, the location of the different positions on the paper can be given by the code itself. For example, a first code at a first position includes a code for a spatial coordinate (such as a specific xy position) for the first position on the page, and a second code at the second position. Includes a code for the spatial coordinates of the second position on the sheet. There may be different graphic elements, such as user-generated print elements, at different locations on the paper. These print elements may be formed on the code. For example, a first print element can be formed at the first position and overlap the first code. A second print element can be formed in the second position and overlie the second cord. When the user forms the first print element, the scanning device recognizes the formed first print element and scans the first code associated with the formed first print element substantially simultaneously. The processor of the interactive device can determine the specific spatial coordinates of the first location and can correlate the first print element with the spatial coordinates. When the user forms the second print element, the scanning device recognizes the formed second print element and scans the second code substantially simultaneously. The processor can then determine the spatial coordinates of the second position and the second print element can be correlated with the spatial coordinates. The user can then select the first and second print elements created by the user using the interactive device, which can perform additional processing. For example, as described below, this methodology allows a user to create a user-defined interface or functional device on a blank sheet.

当該対話的装置はまた、相対位置または絶対位置を前記形成されたグラフィック要素にマッピングする、あるいは相関させる機構を前記メモリユニット内に含んでいてもよい。その機構は、前記物品上の特定のグラフィック要素に関係するデータを物品上の特定の位置に相関させる探索表でもよい。この探索表はメモリユニット内に保存できる。プロセッサはこの探索表を使って特定位置におけるグラフィック要素を識別することができ、それによりその後の処理を実行することができる。   The interactive device may also include a mechanism within the memory unit that maps or correlates relative or absolute positions to the formed graphic elements. The mechanism may be a look-up table that correlates data relating to a particular graphic element on the article to a particular location on the article. This search table can be stored in the memory unit. The processor can use this lookup table to identify the graphic element at a particular location, thereby performing further processing.

前記実質不可視のコードをもつ前記物品はいかなる好適な形であってもよい。たとえば、当該物品は一枚の紙、メモ帳、ファイル用紙、ポスター、プラカード、メニュー、シール、見出し紙、製品包装、箱、トレーディングカード、磁石（たとえば冷蔵庫に貼る磁石）などでありうる。これらのものを含むさまざまな種類の物品のいかなるものを使用してもよく、あらかじめプリントされたプリント要素はあってもなくてもよい。その物品がシートであれば、そのシートはいかなる好適な大きさのものでもよく、いかなる好適な材質でできていてもよい。たとえば、シートは紙質でもいいし、プラスチックフィルムでもよい。   The article having the substantially invisible code may be in any suitable form. For example, the article may be a piece of paper, a notepad, a file paper, a poster, a placard, a menu, a sticker, a product sheet, a product packaging, a box, a trading card, a magnet (for example, a magnet attached to a refrigerator), and the like. Any of various types of articles including these may be used, with or without pre-printed print elements. If the article is a sheet, the sheet may be of any suitable size, and may be made of any suitable material. For example, the sheet may be paper or plastic film.

いくつかの実施形態では、前記物品は３次元的な表面をもつ３次元物品であってもよい。その３次元的な面は、人体や動物（恐竜など）、乗り物、キャラクタをかたどった像、その他の像であってもよい。   In some embodiments, the article may be a three-dimensional article having a three-dimensional surface. The three-dimensional surface may be a human body, an animal (such as a dinosaur), a vehicle, an image in the shape of a character, or other images.

上記したように、いくつかの実施形態では、前記物品はシートであり、シートはプリントされた文字や数字のようなあらかじめプリントされたプリント要素（ユーザーがそのシート上にグラフィック要素を作成する前に作られる印など）がなくてもよい。他の実施形態では、シート上にあらかじめ（ユーザーがそのシート上にグラフィック要素を作成する前などに）プリントされたプリント要素があってもよい。あらかじめプリントされたプリント要素は数字、アイコン、文字、円、単語、記号、線などを含むことができる。たとえば、本発明の諸実施形態は、あらかじめプリントされた注文用紙や投票用紙といったあらかじめプリントされた形を利用することができる。   As noted above, in some embodiments, the article is a sheet, and the sheet is a pre-printed print element such as a printed letter or number (before the user creates a graphic element on the sheet). There is no need to make a mark). In other embodiments, there may be print elements that are pre-printed on the sheet (such as before the user creates a graphic element on the sheet). Pre-printed print elements can include numbers, icons, letters, circles, words, symbols, lines, and the like. For example, embodiments of the present invention can utilize pre-printed forms such as pre-printed order forms and voting forms.

当該対話的装置はいかなる好適な形であってもよい。ある実施形態では、当該対話的装置はスタイラスの形をしたスキャン装置であり、好ましくはポケットサイズである。該スタイラスは、スタイラス殻を含むが、該スタイラス殻はプラスチック製でも金属製でもよい。スタイラス殻には握りの部分があってもよい。当該対話的装置が携帯型で自己完結のスタイラスの形であれば、当該対話的装置は４オンス〔約１１０ｇ〕程度の重さでありえ、４０時間程度のバッテリー寿命をもちえ、当該対話的装置の機能を制御するためのプロセッサ（カスタムチップなどを含む）を使うことができる。スタイラスは、イヤホンジャック、データポート、フラッシュメモリ、バッテリー、スタイラス先端部の光学式スキャナ（光検出器および発光器をもつ）、スピーカーを含んでいてもよい。スタイラスはその下半分ではペンと似た形状でよく、上部ではユーザーの親指と人差し指の間に快適に納まるよう広がっていることができる。   The interactive device may be in any suitable form. In one embodiment, the interactive device is a scanning device in the form of a stylus, preferably pocket size. The stylus includes a stylus shell, which may be made of plastic or metal. The stylus shell may have a grip portion. If the interactive device is in the form of a portable and self-contained stylus, the interactive device can weigh as much as 4 ounces, have a battery life of around 40 hours, and the interactive device Processors (including custom chips) can be used to control the functions of The stylus may include an earphone jack, data port, flash memory, battery, stylus tip optical scanner (with photodetector and light emitter), speaker. The stylus can be shaped like a pen in the lower half and can spread out to fit comfortably between the user's thumb and forefinger at the top.

他の実施形態では、当該対話的装置はスタイラスおよびプラットフォーム（クリップボードに似たものでよい）を有する。スタイラスはプラットフォームにつながれており、スピーカー、バッテリーおよびフラッシュ／カートリッジコネクタを含んでいてもよい。プラットフォームは使い勝手のためシートを留めることができる。   In other embodiments, the interactive device has a stylus and a platform (which may resemble a clipboard). The stylus is connected to the platform and may include a speaker, a battery and a flash / cartridge connector. The platform can be fastened for ease of use.

発光器および光検出器をもつ対話的装置について詳細に記載しているが、当該対話的装置は他の形をとってもよく、発光器および光検出器を含む必要はない。たとえば、いくつかの実施形態では当該対話的装置はスタイラスを使うタブレットＰＣまたは携帯情報端末（ＰＤＡ）のようなタブレット型コンピュータの形でありうる。タブレットＰＣまたはＰＤＡのメモリユニットはこの出願において記載されている機能のいかなるものを実行するためのコンピュータコードももつことができる。グラフィック要素は液晶ディスプレイ中に作成することもでき、ユーザーはその後それらの作成されたグラフィック要素とここに記載されている仕方で対話することができる。これらの実施形態においては、スタイラスは能動電子素子を含んでいてもよいし、いなくてもよい。たとえば、多くのＰＤＡに存在する技術を使って、全く電子回路を含まないスタイラスを本発明のいくつかの実施形態において使うこともできる。下記にて詳細に説明するように、通常の技量を有する当業者はここに記載されているさまざまな本発明の機能をそのような市販の装置にプログラムすることができる。   Although an interactive device having a light emitter and photodetector is described in detail, the interactive device may take other forms and need not include a light emitter and a light detector. For example, in some embodiments, the interactive device may be in the form of a tablet computer such as a tablet PC or personal digital assistant (PDA) that uses a stylus. The memory unit of the tablet PC or PDA can have computer code for performing any of the functions described in this application. Graphic elements can also be created in a liquid crystal display, and the user can then interact with those created graphic elements in the manner described herein. In these embodiments, the stylus may or may not include active electronic elements. For example, using techniques present in many PDAs, a stylus that does not include any electronic circuitry may be used in some embodiments of the present invention. As described in detail below, one of ordinary skill in the art can program the various inventive features described herein into such commercially available devices.

さらに別の諸実施形態では、当該対話的装置は、２００３年６月９日に出願された米国特許出願第１０／４５７，９８１号および２００４年５月２８日に出願された「手書き認識を含む印刷媒体装置」（Ｐｒｉｎｔ Ｍｅｄｉａ Ａｐｐａｒａｔｕｓ Ｉｎｃｌｕｄｉｎｇ Ｈａｎｄｗｒｉｔｉｎｇ Ｒｅｃｏｇｎｉｔｉｏｎ）と題する米国特許出願第＿＿＿＿＿＿＿＿＿＿号（代理人整理番号０２０８２４−００９２００ＵＳ）において記載されている種類のものであってもよい。これらの文書はここに参照によって組み込まれる。これらの実施形態においては、当該対話的装置は電気記録式位置特定装置であって、面と、プロセッサと、複数の第一のアンテナ素子と、スピーカーのような音声出力装置とを有するプラットフォームをもつ。第二のアンテナ素子および筆記具を含むスタイラスが前記プラットフォームに結合されうる。前記第一のアンテナ素子は信号送信アンテナ素子であってよく、前記第二のアンテナ素子は信号受信アンテナ素子であってよい（または両者の役割を逆にする）。一枚の紙（実質不可視のコードがないもの）を前記プラットフォームの所定の位置に置くことができる。前記第一のアンテナ素子は前記面上の異なるｘ−ｙ位置において異なる信号（たとえば振幅が異なる信号）を送信することができ、これらの異なる信号はスタイラス内の前記第二のアンテナ素子によって受信されることができる。ここで、第一のアンテナ素子および第二のアンテナ素子は紙を通して容量的に結合されることができる。よって、ユーザーが前記紙の上にグラフィック要素を作成すると、プロセッサが作成されているグラフィック要素の位置を決定することができる。２００４年５月２８日に出願された「手書き認識を含む印刷媒体装置」と題する米国特許出願第＿＿＿＿＿＿＿＿＿＿号（代理人整理番号０２０８２４−００９２００ＵＳ）（ここにその全体が参照によって組み込まれている）において記載されているように、プロセッサはまた、市販の文字認識ソフトウェアを使ってどんなグラフィック要素が作成されているかを決定することもできる。前記文書に記載されているように、文字認識ソフトウェアは、米国ワシントン州サマミッシュのエキスパート・アイ社（Ｘｐｅｒｔ Ｅｙｅ， Ｉｎｃ．）（ｗｗｗ．ｅｘｐｅｒｔｅｙｅ．ｃｏｍ）およびフランス国パリのヴィジョン・オブジェ社（Ｖｉｓｉｏｎ Ｏｂｊｅｃｔｓ， Ｉｎｃ．）から発売されている。これらの法人によって売られている種類のようなソフトウェアは、ここに記載されている当該対話的装置のいずれにおいても使用することができる。このソフトウェアが紙を使用する電気記録式位置特定装置（あるいはここに記載されている他の何らかの対話的装置）において使用される場合、そのソフトウェアはユーザーがその紙の上に作成したグラフィック要素を認識することができる。下記の多くの例から明らかとなるように、ユーザーによって作成されるグラフィック要素を判別し、それらのグラフィック要素の位置を判別することによって、いくつかの有用な機能が当該対話的装置によって実行されうる。   In yet another embodiment, the interactive device includes US patent application Ser. No. 10 / 457,981 filed Jun. 9, 2003 and “Handwriting Recognition” filed May 28, 2004. It may be of the type described in US Patent Application No. _________ (Attorney Docket No. 020824-009200US) entitled "Print Media Apparatus Inclusion Handwriting Recognition". These documents are hereby incorporated by reference. In these embodiments, the interactive device is an electrographic location device having a platform having a surface, a processor, a plurality of first antenna elements, and an audio output device such as a speaker. . A stylus including a second antenna element and a writing instrument can be coupled to the platform. The first antenna element may be a signal transmitting antenna element, and the second antenna element may be a signal receiving antenna element (or the roles of both are reversed). A piece of paper (without a substantially invisible code) can be placed in place on the platform. The first antenna element can transmit different signals (eg, signals of different amplitudes) at different xy positions on the plane, and these different signals are received by the second antenna element in the stylus. Can. Here, the first antenna element and the second antenna element can be capacitively coupled through paper. Thus, when the user creates a graphic element on the paper, the processor can determine the position of the graphic element being created. In U.S. Patent Application __________ (Attorney Docket No. 020824-009200US) entitled "Print Media Device Including Handwriting Recognition" filed May 28, 2004, which is hereby incorporated by reference in its entirety. As described, the processor can also determine what graphic elements are being created using commercially available character recognition software. As described in the above documents, character recognition software is available from Xpert Eye, Inc. (Sumish, Washington, USA) (www.expertey.com) and Vision Objects, Inc. (Paris, France). , Inc.). Software such as the type sold by these corporations can be used in any of the interactive devices described herein. When the software is used on an electrographic location device that uses paper (or any other interactive device described herein), the software recognizes graphic elements that the user has created on the paper. can do. As will be apparent from the many examples below, by determining the graphic elements created by the user and determining the position of those graphic elements, some useful functions can be performed by the interactive device. .

図１は、本発明のある実施形態に基づくシステムを示している。該システムは、対話的装置１００および物品７０を含んでいる。当該対話的装置１００はスタイラスの形である。   FIG. 1 illustrates a system according to an embodiment of the present invention. The system includes an interactive device 100 and an article 70. The interactive device 100 is in the form of a stylus.

当該対話的装置１００はスタイラス殻６２の内部にプロセッサ３２を含んでいる。スタイラス殻６２は、直接、あるいは途中の物理構造を介して、プロセッサ３２に結合されている。当該対話的装置１００はまた、該プロセッサ３２に結合された音声出力装置３６および表示装置４０を含んでいる。音声出力装置３６はスピーカーまたはオーディオジャック（イヤホンジャックまたはヘッドホンジャック）を含みうる。表示装置４０はＬＣＤ（液晶ディスプレイ）またはその他いかなる好適な表示装置をも含みうる。触覚フィードバックを与える装置（図示せず）がスタイラス殻６２に備わっていてもよい。   The interactive device 100 includes a processor 32 within a stylus shell 62. The stylus shell 62 is coupled to the processor 32 directly or through an intermediate physical structure. The interactive device 100 also includes an audio output device 36 and a display device 40 coupled to the processor 32. The audio output device 36 may include a speaker or an audio jack (earphone jack or headphone jack). Display device 40 may include an LCD (Liquid Crystal Display) or any other suitable display device. A device (not shown) for providing haptic feedback may be included in the stylus shell 62.

いくつかの実施形態では、表示装置４０はスタイラス殻６２に物理的に結合されている。別の実施形態では、表示装置４０は当該対話的装置１００の他の部分からは分離されていることもでき、無線データ伝送機構（たとえば、ＩＲすなわち赤外線信号データ伝送機構）によって他の部分と通信してもよい。そのような別個の表示装置４０によって、ユーザーは自分と当該対話的装置１００との対話によって生成されるいかなる視覚的フィードバックをも見ることができるようになり、そのような表示装置４０は教室での使用に好適である。   In some embodiments, the display device 40 is physically coupled to the stylus shell 62. In another embodiment, the display device 40 may be isolated from other parts of the interactive device 100 and communicates with other parts by a wireless data transmission mechanism (eg, IR or infrared signal data transmission mechanism). May be. Such a separate display device 40 allows the user to see any visual feedback generated by the interaction between himself and the interactive device 100, such a display device 40 being used in the classroom. Suitable for use.

入力ボタン３８もあって、電気的にプロセッサ３２に結合されていてユーザーが情報（開始、終了、入力など）を当該装置１００に入力したり、当該装置１００をオン／オフしたりできるようになっている。バッテリーのような電源３４がスタイラス殻６２内にあり、プロセッサ３２および当該対話的装置１００の他の構成要素に電気を供給している。   There is also an input button 38 which is electrically coupled to the processor 32 so that the user can input information (start, end, input, etc.) to the device 100 and turn the device 100 on and off. ing. A power source 34, such as a battery, is within the stylus shell 62 and provides electricity to the processor 32 and other components of the interactive device 100.

発光器４４および光検出器４２がスタイラス形の当該対話的装置１００の一端にある。発光器４４および光検出器４２はプロセッサ３２に結合されている。発光器４４はたとえばＬＥＤ（発光ダイオード）またはその他の光源であってよく、光検出器４２はたとえば電荷結合素子であってよい。   A light emitter 44 and a light detector 42 are at one end of the interactive device 100 in the form of a stylus. The light emitter 44 and the light detector 42 are coupled to the processor 32. The light emitter 44 may be, for example, an LED (light emitting diode) or other light source, and the photodetector 42 may be, for example, a charge coupled device.

プロセッサ３２は、当該対話的装置１００の機能を実装するためのいかなる好適な電子回路を含んでいてもよい。たとえば、プロセッサ３２は、合成音声を生成するための音声合成回路と、該音声を増幅するための増幅回路と、当該対話的装置１００へのあらゆる入力および当該対話的装置１００によって与えられるあらゆる出力を制御するための回路と、光検出器４２から受け取った信号をデジタル信号に変換するためのアナログ−デジタル変換器とをもつマイクロプロセッサを含んでいてもよい。   The processor 32 may include any suitable electronic circuitry for implementing the functionality of the interactive device 100. For example, the processor 32 generates a speech synthesis circuit for generating synthesized speech, an amplification circuit for amplifying the speech, any input to the interactive device 100 and any output provided by the interactive device 100. A microprocessor having control circuitry and an analog-to-digital converter for converting the signal received from the photodetector 42 into a digital signal may be included.

当該対話的装置１００にはメモリユニット４８も存在する。メモリユニット４８はプロセッサ３２に結合されている。メモリユニット４８はＲＯＭまたはフラッシュメモリカートリッジのような着脱可能なメモリユニットであってもよい。他の実施形態では、メモリユニット４８は、完全にスタイラス殻６２に内蔵の一つまたは複数のメモリユニット（たとえばＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭなど）を有していてもよい。他の実施形態では、メモリユニット４８はスタイラス殻６２の内部および／または外部の二つ以上のメモリ装置の組み合わせであってもよい。   There is also a memory unit 48 in the interactive device 100. Memory unit 48 is coupled to processor 32. The memory unit 48 may be a removable memory unit such as a ROM or a flash memory cartridge. In other embodiments, the memory unit 48 may include one or more memory units (eg, RAM, ROM, EEPROM, etc.) that are fully embedded in the stylus shell 62. In other embodiments, the memory unit 48 may be a combination of two or more memory devices inside and / or outside the stylus shell 62.

メモリユニット４８はいかなる好適な磁気、電気、電磁、光、電気光学式データ記憶装置を含んでいてもよい。たとえば、メモリユニット４８内に一つまたは複数の半導体ベースの素子があってもよい。   Memory unit 48 may include any suitable magnetic, electrical, electromagnetic, optical, electro-optic data storage device. For example, there may be one or more semiconductor-based elements in the memory unit 48.

メモリユニット４８は当該対話的装置１００の機能のいかなるものを実行するためのコンピュータコードをも含みうる。たとえば、メモリユニット４８が含みうるものとして、プリントされた文字を認識するためのコンピュータコード、ユーザーの手書きを認識したりユーザーの手書きを解釈したりするためのコンピュータコード（たとえば手書き文字認識ソフトウェア）、物品上の位置をそれぞれのプリント要素と相関させるためのコンピュータコード、文字を音声に変換するためのコード（たとえば、テキスト・ツー・スピーチ・エンジン）、メニュー項目を読み上げるためのコンピュータコード、言語の翻訳を実行するためのコンピュータコード（英語から外国語への辞書）などがある。テキストを音声に変換するソフトウェアはいくつかの異なる発売元から市販されている。メモリユニット４８はまた、音声または視覚的出力のためのコードをも含みうる。たとえば、音響効果のためのコード、単語を発音するためのコード、授業計画や教育のためのコード、テストのためのコードなどはみな、メモリユニット４８に保存されることができる。これらのような音声出力のためのコードは、前記物品そのものではなく、不揮発性メモリに（当該対話的装置の電源を切ってもデータが保持されるような恒久的または半恒久的な仕方で）保存されうる。本出願において記載されているこれらのものを含むさまざまな機能のためのコンピュータコードは、メモリユニット４８に含まれることができ、Ｃ、Ｃ＋＋などを含むいかなる好適なプログラミング言語を使って作成することもできる。   Memory unit 48 may include computer code for performing any of the functions of interactive device 100. For example, the memory unit 48 may include computer code for recognizing printed characters, computer code for recognizing user handwriting or interpreting user handwriting (eg, handwritten character recognition software), Computer code for correlating the position on the article with each print element, code for converting text to speech (eg text-to-speech engine), computer code for reading menu items, language translation Computer code (English to foreign language dictionary) etc. Software for converting text to speech is commercially available from several different sources. The memory unit 48 may also include code for audio or visual output. For example, a code for sound effects, a code for pronunciation of a word, a code for lesson planning and education, a code for testing, etc. can all be stored in the memory unit 48. Codes for audio output such as these are not in the article itself, but in a non-volatile memory (in a permanent or semi-permanent manner so that data is retained even when the interactive device is turned off). Can be stored. Computer code for various functions, including those described in this application, can be included in memory unit 48 and can be created using any suitable programming language including C, C ++, etc. it can.

スタイラス形の当該対話的装置１００の発光器４４および光検出器４２と同じ側の端に筆記要素５２がある。筆記要素５２は、マーカー、クレヨン、ペンまたは鉛筆であってよく、引き込み式であってもなくてもよい。引き込み式であれば、筆記要素５２はアクチュエータに結合されていてもよい。ユーザーはアクチュエータを作動させて筆記要素をスタイラス殻から外に出したりスタイラス殻の中に引っ込めたりするのである。使用されるとき、ユーザーはスタイラス形の当該対話的装置１００を持ち、それを使ってシート上に書き込みをする。ユーザーがつけた印もまた発光器４４および光検出器４２を使ってスキャンすることができ、プロセッサ３２がユーザーが書いたものを解釈しうる。   There is a writing element 52 at the end on the same side as the light emitter 44 and light detector 42 of the stylus interactive device 100. The writing element 52 may be a marker, crayon, pen or pencil and may or may not be retractable. If it is retractable, the writing element 52 may be coupled to the actuator. The user operates the actuator to move the writing element out of the stylus shell or retract into the stylus shell. When used, the user has the interactive device 100 in the form of a stylus and uses it to write on the sheet. Indicia made by the user can also be scanned using the light emitter 44 and photodetector 42 and the processor 32 can interpret what the user has written.

図１に示されている物品７０は２次元的で、たとえば一枚の紙である。図１において、文字Ａ、Ｂ、Ｃ、Ｄは物品７０上の異なる位置を表している。物品７０上の異なる位置Ａ、Ｂ、Ｃ、Ｄは異なるコード（図示せず）および異なるプリント要素（図示せず）をもつことができる。コードおよびプリント要素は位置Ａ、Ｂ、Ｃ、Ｄにおいて重なり合っていてもよい。異なるコードはユーザーの目には実質不可視であり、ユーザーは肉眼では普通にはコードを見ることはできない。   The article 70 shown in FIG. 1 is two-dimensional, for example, a piece of paper. In FIG. 1, letters A, B, C, and D represent different positions on the article 70. Different locations A, B, C, D on the article 70 can have different codes (not shown) and different print elements (not shown). The code and print element may overlap at positions A, B, C, D. Different codes are virtually invisible to the user's eyes, and the user cannot normally see the code with the naked eye.

例として、ユーザーは物品７０上にメニューアイコンを作成するために当該対話的装置１００の筆記要素５２を用いて丸囲みの文字「Ｍ」を作成しうる。丸囲みの文字「Ｍ」（図１には示さず）は位置Ａにおける実質不可視のコードに重なって位置Ａにプリントされる。ユーザーが後刻文字「Ｍ」を選択してスキャンしたとき、発光器４４が光信号を生成し、それが位置Ａにおける前記実質不可視のコードから反射されて光検出器４２によって受信される。プロセッサ３２は位置Ａの所在位置を決定し、メモリユニット４８から文字「Ｍ」に対応する音声を取得し、あるいは文字「Ｍ」に関係した機能を実行する。たとえば、当該対話的装置１００を使って文字「Ｍ」が選択されたのち、そして当該対話的装置１００が位置Ａにおいて実質不可視なコードをスキャンしたのち、プロセッサ３２は当該対話的装置１００をメニュー対話モードに移行させうる。そのモードではユーザーはメニュー項目をスクロールさせて一つのメニュー項目を選択することができる。プロセッサ３２は、文字「Ｍ」が逐次選択されるたびに、ユーザーのために音声出力装置３６にメニュー項目のリストを一つずつ発生させることができる。たとえば、当該対話的装置１００を用いて文字「Ｍ」が最初に選択されると音声出力装置３６は「電卓」と読み上げ、当該対話的装置１００を用いて文字「Ｍ」が２回目に選択されると音声出力装置３６は「翻訳」と読み上げるようにされる、などである。作成されたグラフィック要素をその後選択していくたびに、当該対話的装置に異なるメニュー項目を読み上げさせることができるのである。   As an example, a user may create a circled letter “M” using the writing element 52 of the interactive device 100 to create a menu icon on the item 70. The circled letter “M” (not shown in FIG. 1) is printed at position A overlying the substantially invisible code at position A. When the user selects and scans the letter “M” at a later time, the light emitter 44 generates an optical signal that is reflected from the substantially invisible code at position A and received by the photodetector 42. The processor 32 determines the location of the position A, acquires the voice corresponding to the character “M” from the memory unit 48, or executes a function related to the character “M”. For example, after the character “M” has been selected using the interactive device 100 and after the interactive device 100 has scanned a substantially invisible code at position A, the processor 32 causes the interactive device 100 to interact with the menu. The mode can be changed. In that mode, the user can scroll through menu items and select a menu item. The processor 32 can cause the audio output device 36 to generate a list of menu items one by one for the user each time the letter “M” is sequentially selected. For example, when the character “M” is first selected using the interactive device 100, the voice output device 36 reads “Calculator” and the character “M” is selected a second time using the interactive device 100. Then, the voice output device 36 reads out “translation”, and so on. Each subsequent selection of the created graphic element can cause the interactive device to read a different menu item.

筆記要素５２は物品７０の特定の場所に書き込みをするのに使うことができる。適切な手書き認識および／または光学式文字認識ソフトウェア（メモリユニット４８内のコンピュータコードとして保存されていることができる）を使うことによって、ユーザーが書いた内容がプロセッサ３２によって解釈されることができ、それによりプロセッサ３２はユーザーが何を書いたかを、またユーザーが書き込みをしている位置の特定の場所をも判別することができる。下記にてより詳細に説明するように、この情報を使って、当該システムおよび当該対話的装置は、言語翻訳または数学的処理といったより複雑な処理を実行するよう適応させることができる。   Writing element 52 can be used to write a specific location on article 70. By using appropriate handwriting recognition and / or optical character recognition software (which can be stored as computer code in the memory unit 48), the content written by the user can be interpreted by the processor 32; This allows processor 32 to determine what the user has written and also the specific location where the user is writing. As described in more detail below, using this information, the system and the interactive device can be adapted to perform more complex processes such as language translation or mathematical processes.

図２は本発明の別の実施形態を示している。この例では、同様の符号は同様の要素を表し、同様の要素の以前の説明を繰り返す必要はない。この実施形態においては、当該対話的装置１００はスタイラス１００（ａ）およびプラットフォーム１００（ｂ）を含む。ケーブル１０２がプラットフォーム１００（ｂ）をスタイラス１００（ａ）に結合する。プラットフォーム１００（ｂ）は２次元的な物品７０の台となる。この実施形態では、プロセッサ３２、電源３４、音声出力装置３６、ボタン３８およびメモリユニット４８はスタイラス１００（ａ）ではなくプラットフォーム１００（ｂ）に含まれている。他の実施形態では、ケーブルがなく、スタイラス１００（ａ）とプラットフォーム１００（ｂ）（またはその他のベース機）との間を無線接続することも可能である。   FIG. 2 shows another embodiment of the present invention. In this example, like symbols represent like elements and the previous description of similar elements need not be repeated. In this embodiment, the interactive device 100 includes a stylus 100 (a) and a platform 100 (b). Cable 102 couples platform 100 (b) to stylus 100 (a). The platform 100 (b) is a platform for the two-dimensional article 70. In this embodiment, processor 32, power supply 34, audio output device 36, button 38 and memory unit 48 are included in platform 100 (b) rather than stylus 100 (a). In other embodiments, there is no cable and a wireless connection between the stylus 100 (a) and the platform 100 (b) (or other base machine) is possible.

図２に示した実施形態では、スタイラス１００（ａ）に含まれる電子回路要素はより少なくなっており、スタイラス１００（ａ）は図１に示したスタイラス形の対話的装置ほどかさばらないようにできる。使用される前記物品が１枚の紙であれば、その紙はプラットフォーム１００（ｂ）上に置かれてプラットフォーム１００（ｂ）が台となる。   In the embodiment shown in FIG. 2, the stylus 100 (a) includes fewer electronic circuit elements, and the stylus 100 (a) can be less bulky than the stylus-type interactive device shown in FIG. . If the article to be used is a piece of paper, the paper is placed on the platform 100 (b) and the platform 100 (b) becomes a platform.

図３は、本発明のある実施形態に基づく対話的装置において使うことのできるいくつかの電気要素のブロック図である。当該対話的装置はプロセッサ１０１および該プロセッサ１０１に結合したメモリユニット１０３を含んでいる。プロセッサ１０１およびメモリユニット１０３は、一つまたは複数のコンピュータチップだけによって具現してもよいし、一つまたは複数のメモリ記憶装置（たとえば、メモリスティック、メモリカードなど）と組み合わせて具現してもよい。いくつかの実施形態では、プロセッサ１０１はアプリケーション固有回路を含んでいてもよく、プロセッサ１０１に音声合成器が（たとえば、内部に、あるいは該プロセッサに結合されて）付随していてもよい。光検出器１０５および発光器もプロセッサ１０１に動作的に結合している。表示装置１１１（たとえばＬＣＤまたはＬＥＤ画面）や音声出力装置１０９（たとえば、スピーカーまたはイヤホン）のような出力装置がプロセッサ１０１に結合されていてもよい。これらの要素に関係する追加的な例の詳細は上記および下記にて与えられている。   FIG. 3 is a block diagram of several electrical elements that can be used in an interactive device according to an embodiment of the present invention. The interactive device includes a processor 101 and a memory unit 103 coupled to the processor 101. The processor 101 and the memory unit 103 may be implemented by only one or a plurality of computer chips, or may be implemented in combination with one or a plurality of memory storage devices (for example, a memory stick, a memory card, etc.). . In some embodiments, the processor 101 may include application specific circuitry, and the processor 101 may be associated with a speech synthesizer (eg, internally or coupled to the processor). Photodetector 105 and light emitter are also operatively coupled to processor 101. An output device such as a display device 111 (for example, LCD or LED screen) or an audio output device 109 (for example, a speaker or an earphone) may be coupled to the processor 101. Details of additional examples relating to these elements are given above and below.

本発明の諸実施形態において、ユーザーがグラフィック要素を作成し、ユーザーがその後そのグラフィック要素を選択すると、複数のメニュー項目が音声の形でユーザーに提示されうる。するとユーザーはそのメニュー項目リストからメニュー項目を選択する。メニュー項目としては、ディレクトリ名、サブディレクトリ名、アプリケーション名、特定のデータセットの名称などが含まれうる。ディレクトリ名またはサブディレクトリ名の例としては、「ツール」（たとえば、さまざまな状況で使える対話的な有用な機能を呼び出す）、「調査」（たとえば、辞書のような参考資料を呼び出す）、「ゲーム」（たとえば、さまざまなゲームを呼び出す）などが含まれうる。特定のアプリケーション（またはサブディレクトリ）名の例としては、「電卓」「スペルチェック」「翻訳」が含まれうる。データセットの具体的な例としては、外国語とその意味の集合、電話番号リスト、カレンダー、予定表などが含まれうる。メニュー項目のさらなる例は図４に示されている。   In embodiments of the present invention, when the user creates a graphic element and the user subsequently selects the graphic element, a plurality of menu items may be presented to the user in audio form. The user then selects a menu item from the menu item list. Menu items can include directory names, subdirectory names, application names, names of specific data sets, and the like. Examples of directory names or subdirectory names include "tools" (for example, calling useful interactive functions that can be used in various situations), "surveys" (for example, calling reference materials such as dictionaries), "games" (For example, calling various games) and the like. Examples of specific application (or subdirectory) names may include “calculator”, “spell check”, “translation”. Specific examples of the data set may include a set of foreign languages and their meanings, a telephone number list, a calendar, a schedule, and the like. A further example of menu items is shown in FIG.

前記のさまざまなメニュー項目について特定の音声案内を与えることができる。たとえば、ユーザーが「電卓」というメニュー項目を選択すると、当該対話的装置はユーザーに数字０〜９および演算子＋−×÷＝を紙に書いて、その数字を選択して計算を実行するよう案内することができる。別の例では、ユーザーが「翻訳」というメニュー項目を選択すると、当該対話的装置はユーザーに第二言語の名を書いて丸で囲むよう案内することができる。ユーザーがそれを行うと、当該対話的装置はさらにユーザーに、英語の単語を書いて丸で囲んだ第二言語名を選択すれば書いた単語が第二言語に翻訳されたものを聞けるなどと案内しうる。ユーザーがそうすると、当該対話的装置の音声出力装置が指定された単語を第二言語で読み上げうる。   Specific voice guidance can be provided for the various menu items. For example, if the user selects the menu item “Calculator”, the interactive device writes the numbers 0-9 and the operator + − × ÷ = to the user and selects that number to perform the calculation. I can guide you. In another example, when the user selects the “Translate” menu item, the interactive device can guide the user to write and circle the second language name. When the user does it, the interactive device further asks the user to write an English word and select the circled second language name to hear the written word translated into the second language, etc. Can guide. When the user does so, the voice output device of the interactive device can read the designated word in the second language.

図４は、本発明のある実施形態に基づくメニュー項目ツリーディレクトリを示している。メニュー項目ツリーディレクトリはメニューＭ記号から始まって音声メニューを具現することができる。   FIG. 4 illustrates a menu item tree directory according to an embodiment of the present invention. The menu item tree directory can implement a voice menu starting with the menu M symbol.

図４の先頭から見ていくと、最初の音声サブディレクトリはツールＴサブディレクトリとなる。ツールＴサブディレクトリの下には翻訳ＴＲサブディレクトリ、電卓Ｃサブディレクトリ、スペルチェックＳＣサブディレクトリ、個人情報管理（ｐｅｒｓｏｎａｌ ａｓｓｉｓｔａｎｔ）ＰＡサブディレクトリ、アラーム時計ＡＬサブディレクトリ、家庭教師ＴＵ機能がありうる。翻訳ＴＲサブディレクトリの下にはスペイン語ＳＰ、フランス語ＦＲ、ドイツ語ＧＥの翻訳機能などがありうる。個人情報管理ＰＡサブディレクトリの下には、カレンダーＣＡ、電話番号リストＰＬ、予定表（ｔｏ ｄｏ ｌｉｓｔ）ＴＤの機能またはサブディレクトリがありうる。   Looking from the top of FIG. 4, the first audio subdirectory is the tool T subdirectory. Under the tool T subdirectory, there may be a translation TR subdirectory, a calculator C subdirectory, a spell check SC subdirectory, a personal assistant PA subdirectory, an alarm clock AL subdirectory, and a tutor TU function. Under the translation TR subdirectory, there can be a translation function of Spanish SP, French FR, German GE, and the like. Under the personal information management PA subdirectory, there may be a calendar CA, a telephone number list PL, a to-list TD function or a subdirectory.

調査（ｒｅｆｅｒｅｎｃｅ）Ｒサブディレクトリの下には、シソーラスＴＨ機能、辞書Ｄサブディレクトリ、ヘルプＨ機能がありうる。辞書Ｄサブディレクトリの下には、英語Ｅ機能、スペイン語ＳＰ機能、フランス語ＦＲ機能がありうる。   Under the reference R subdirectory, there can be a thesaurus TH function, a dictionary D subdirectory, and a help H function. Under the dictionary D subdirectory, there can be an English E function, a Spanish SP function, and a French FR function.

ゲームＧサブディレクトリの下にはワード・スクランブルＷＳ、ファンキー・ポテト（ｆｕｎｋｙ ｐｏｔａｔｏｅｓ）ＦＰ、お絵かき（ｄｏｏｄｌｅｒ）ＤＯといったゲームがありうる。本発明の他の実施例ではこれ以外のゲームが存在することもある。   Under the game G subdirectory, there can be games such as word scramble WS, funky potatoes FP, and painter DO. In other embodiments of the present invention, other games may exist.

システムＳサブディレクトリの下には、セキュリティＳＥ機能および個人設定Ｐ機能がありうる。   Under the system S subdirectory there may be a security SE function and a personal settings P function.

上記の諸ディレクトリ、サブディレクトリおよび機能のうちのいくつかに関してはのちに詳細に説明する。   Some of the above directories, subdirectories and functions will be described in detail later.

メニュー項目ツリーディレクトリによって示されるように、ユーザーはさまざまなメニュー項目の読み上げを聞いて所望のメニュー項目を選択することによって、いかなる所望の経路をたどって進むこともできる。一連の所望のメニュー項目の選択は、いかなる好適な仕方で生起してもよい。   As indicated by the menu item tree directory, the user can follow any desired path by listening to various menu items and selecting the desired menu item. The selection of a series of desired menu items may occur in any suitable manner.

たとえば、いくつかの実施形態では、ユーザーは当該対話的装置に音声メニューのスクロールを、作成したグラフィック要素の「下降タッチ」によって起こさせることができる。「下降タッチ」を当該対話的装置内の電子回路で認識するのは、いかなる好適な機構を用いてもよい。たとえば、当該対話的装置は選択されるグラフィック要素に向かって自分が下向きに動くのに付随して画像が変わっていくのを認識するようプログラムされていてもよい。別の例では、当該対話的装置に感圧スイッチを設けて、当該対話的装置の端が紙に圧力を加えると、感圧スイッチが作動するようにしてもよい。これにより当該対話的装置は音声メニューをスクロールするよう指示される。たとえば、当該対話的装置を用いて丸囲みの文字「Ｍ」を選択すると（これにより当該対話的装置の感圧スイッチが作動する）、当該対話的装置の音声出力装置は「ツール」と読み上げ、ほかには何もしなくてよい。ユーザーは丸囲み文字「Ｍ」をもう一度選択してもよく、すると音声出力装置は「調査」というメニュー項目を読み上げる。このことは、音声メニューをスクロールさせたいだけ、何度でも繰り返すことができる。特定のメニュー項目を選択するためには、ユーザーは紙に特徴的な印を作成したり、スキャン装置を用いて特定のジェスチャーをしたりすることができる。たとえば、ユーザーが「ツール」という単語を聞いて丸囲み文字「Ｍ」の横に「チェック印」（またはその他のグラフィック要素）を書くことでサブディレクトリ「ツール」を選択してもよい。このような方法を使うことで、ユーザーはメニュー項目ツリー内の意図したディレクトリ、サブディレクトリまたは機能に向けて進むことができる。当該対話的装置に上向きにスクロールさせるには、別のグラフィック要素の作成または別のジェスチャーを使うことができる。代替的な方法として、当該対話的装置内にメニューをスクロールさせるためのボタンその他の操作部を設けてもよい。   For example, in some embodiments, the user can cause the interactive device to scroll through a voice menu by a “down touch” of the created graphic element. Any suitable mechanism may be used to recognize the “down touch” with the electronic circuitry within the interactive device. For example, the interactive device may be programmed to recognize that the image changes as it moves downwards toward the selected graphic element. In another example, the interactive device may be provided with a pressure sensitive switch so that the pressure sensitive switch is activated when the end of the interactive device applies pressure to the paper. This instructs the interactive device to scroll the voice menu. For example, when the interactive device is used to select the circled letter “M” (which activates the interactive device's pressure sensitive switch), the interactive device's voice output device reads “tool”; You don't have to do anything else. The user may select the circled letter “M” again, and the voice output device reads the menu item “investigation”. This can be repeated as many times as you want to scroll the voice menu. To select a particular menu item, the user can create a characteristic mark on the paper or make a specific gesture using the scanning device. For example, the user may select the sub-directory “Tool” by listening to the word “Tool” and writing a “check mark” (or other graphic element) next to the circled letter “M”. Using this method, the user can navigate to the intended directory, subdirectory or function in the menu item tree. Another graphical element creation or another gesture can be used to cause the interactive device to scroll upward. As an alternative method, a button or other operation unit for scrolling the menu may be provided in the interactive apparatus.

別の諸実施形態では、丸囲み文字「Ｍ」を作成したのち、次のように進んでもよい。ユーザーはその丸囲み文字「Ｍ」を選択する。スキャン装置のソフトウェアがその丸囲み文字「Ｍ」をメニュー記号であると認識し、該スキャン装置にメニュー項目「ツール」「調査」「ゲーム」「システム」を逐次読み上げさせる。これはユーザーが下降タッチをしなくても間をおいてある間隔で進められる。音声案内をユーザーに与えることもでき、たとえば、当該対話的装置は「『ツール』ディレクトリを選択するには、『Ｔ』という文字を書いて丸で囲んでください」のように言ってもよい。そのメニュー項目を選択するために、ユーザーは文字「Ｔ」を書いて丸で囲む。これが当該対話的装置にユーザーがサブディレクトリ「ツール」を選択したことを示す。すると、当該対話的装置は「ツール」ディレクトリの下にあるメニュー項目をユーザーのために読み上げることができる。こうして、紙にディレクトリ、サブディレクトリまたは機能を表すグラフィック要素を作成することによって、メニュー項目ツリー内の特定のディレクトリ、サブディレクトリまたは機能に直接進むことが可能となる。   In other embodiments, after creating the circled letter “M”, it may proceed as follows. The user selects the circled letter “M”. The software of the scanning device recognizes the circled letter “M” as a menu symbol, and causes the scanning device to sequentially read out the menu items “tool”, “investigation”, “game”, and “system”. This is advanced at intervals even if the user does not make a downward touch. Voice guidance can also be given to the user, for example, the interactive device may say "To select the 'Tools' directory, write the letter" T "and circle it". To select the menu item, the user writes the letter “T” and circles it. This indicates to the interactive device that the user has selected the subdirectory “Tools”. The interactive device can then read the menu items under the “tools” directory for the user. Thus, by creating a graphic element representing a directory, subdirectory or function on paper, it is possible to go directly to a specific directory, subdirectory or function in the menu item tree.

図５は、本発明のある実施形態に基づく方法を説明するフローチャートを示している。この方法は、ユーザーにグラフィック要素を作成するよう促すこと（ステップ４００）を含んでいる。促す手段は、当該対話的装置がユーザーに単語、文字、記号その他のグラフィック要素を紙の上に書くよう求める音声プロンプトであってよい。当該対話的装置は作成されたグラフィック要素を認識し（ステップ４０２）、当該対話的装置はユーザーのためにメニュー項目リストを読み上げる（ステップ４０４）。次にユーザーがメニュー項目を選択し、当該対話的装置は選択されたメニュー項目を認識し（ステップ４０６）、選択されたメニュー項目に基づいて動作を変更する（ステップ４０８）。当該対話的装置は、これらのステップが実行されうるようプログラムされうる。これらのステップを実行するためのコンピュータコードはメモリユニット内に存在しうる。   FIG. 5 shows a flowchart illustrating a method according to an embodiment of the invention. The method includes prompting the user to create a graphic element (step 400). The prompting means may be a voice prompt that the interactive device asks the user to write words, letters, symbols or other graphic elements on the paper. The interactive device recognizes the created graphic element (step 402), and the interactive device reads the menu item list for the user (step 404). The user then selects a menu item, and the interactive device recognizes the selected menu item (step 406) and changes the action based on the selected menu item (step 408). The interactive device can be programmed such that these steps can be performed. Computer code for performing these steps may reside in the memory unit.

図６の（ａ）および（ｂ）は、図５に示したフローチャートに基づく方法がどのようにはたらくかの図解を示している。最初に、自己完結式スタイラスの形の対話的装置１００がユーザーにグラフィック要素を作成するよう促しうる（ステップ４００）。次いでユーザーは紙２０２の上に一つまたは複数のグラフィック要素を作成することができる。この例では、グラフィック要素２０６は、文字「Ｍ」２０１のまわりに丸２０４を描いた文字「Ｍ」２０１を含みうる。このグラフィック要素２０６は当該対話的装置１００にある筆記要素（図示せず）を用いて描かれる。   FIGS. 6A and 6B show an illustration of how the method based on the flowchart shown in FIG. 5 works. Initially, interactive device 100 in the form of a self-contained stylus may prompt the user to create a graphic element (step 400). The user can then create one or more graphic elements on the paper 202. In this example, the graphic element 206 may include a letter “M” 201 with a circle 204 drawn around the letter “M” 201. The graphic element 206 is drawn using a writing element (not shown) in the interactive apparatus 100.

グラフィック要素２０６が作成されると、当該対話的装置１００はいくつかのメニュー項目を読み上げうる（ステップ４０４）。たとえば、当該対話的装置１００は、ユーザーが文字Ｍ２０１とそれを囲む丸２０４とを含むグラフィック要素２０６を書き終わったことを認識してもよい。上記したように、当該対話的装置１００は光学式文字認識ソフトウェアを内蔵していてもよく、当該対話的装置１００は文字「○」と文字「Ｍ」が重なり合っていれば（すなわち、物理的に概して同じ位置にあれば）それはユーザーが当該対話的装置内部の音声メニュー２０６を作動させたことを示しているということを認識する（ステップ４０６）ようプログラムされていてもよい。当該対話的装置１００はまた、ユーザーが当該対話的装置１００を使ってグラフィック要素２０６を再び選択すると各サブディレクトリ名を読み上げるようプログラムされていることもできる。たとえば、当該対話的装置１００を用いてグラフィック要素２０６を４回続けて「下降タッチ」したら当該対話的装置１００はサブディレクトリ名「ツール」「調査」「ゲーム」「システム」をそれぞれ読み上げるなどである。   Once the graphic element 206 is created, the interactive device 100 may read several menu items (step 404). For example, the interactive device 100 may recognize that the user has finished writing a graphic element 206 that includes a letter M201 and a surrounding circle 204. As described above, the interactive device 100 may include optical character recognition software, and the interactive device 100 can be used as long as the character “O” and the character “M” overlap (ie, physically). It may be programmed to recognize (if generally in the same position) that it indicates that the user has activated the voice menu 206 within the interactive device (step 406). The interactive device 100 can also be programmed to read each subdirectory name when the user selects the graphic element 206 again using the interactive device 100. For example, if the interactive device 100 is used to “down touch” the graphic element 206 four times in succession, the interactive device 100 reads out the subdirectory names “tool”, “survey”, “game”, and “system”, respectively. .

特定のメニュー項目、ディレクトリ、サブディレクトリの選択を示すには、ユーザーは当該対話的装置１００を用いて別のグラフィック要素を作成してもよいし、あるジェスチャーをしてもよい。たとえばユーザーが「ツール」サブディレクトリをさらに下に進みたい場合、たとえばユーザーは紙２０２にチェック印２０８を書いて選択がなされたことを示してもよい。チェック記号を書いたのち、その後の選択のたびに、すなわち当該対話的装置１００の紙面２０２上への「下降タッチ」のたびに「電卓」「スペルチェック」「個人情報管理」「家庭教師」の語が当該対話的装置１００によって読み上げられることができる。ユーザーが「電卓」の語が読み上げられるのを聞いたのち、「電卓」機能を選択することによって当該対話的装置１００の動作モードを電卓機能に変えることができる（ステップ４０８）。ユーザーは紙面２０２上に別のチェック印（図示せず）を書いて電卓機能を選択したことを示してもよい。   To indicate the selection of a particular menu item, directory, or subdirectory, the user may create another graphical element using the interactive device 100 or make a gesture. For example, if the user wants to go further down the “tools” subdirectory, for example, the user may write a check mark 208 on paper 202 to indicate that the selection has been made. After writing the check symbol, each time a selection is made, that is, every time a “down touch” on the paper 202 of the interactive device 100, the “calculator”, “spell check”, “personal information management”, “tutor” A word can be read out by the interactive device 100. After the user hears the word “calculator” read, the operation mode of the interactive device 100 can be changed to the calculator function by selecting the “calculator” function (step 408). The user may write another check mark (not shown) on the page 202 to indicate that the calculator function has been selected.

図７は、本発明の別の実施形態を説明するフローチャートを示している。この方法では、当該対話的装置はユーザーに少なくとも二つのグラフィック要素を作成するよう促す（ステップ５００）。次いで当該対話的装置はユーザーによる前記グラフィック要素の選択および順序を認識する。すると、当該対話的装置は選択されたグラフィック要素に関係する少なくとも一つの出力を与える（ステップ５０４）。   FIG. 7 shows a flowchart illustrating another embodiment of the present invention. In this method, the interactive device prompts the user to create at least two graphic elements (step 500). The interactive device then recognizes the selection and order of the graphic elements by the user. The interactive device then provides at least one output related to the selected graphic element (step 504).

前記少なくとも一つの出力は、前記選択されたグラフィック要素にいかなる仕方で関係することもできる。たとえば、少なくとも一つの出力は、前記グラフィック要素の内容に関係している一つまたは複数の音響を含みうる。たとえば、下記の電卓の例では、１と４などの二つの数字が紙の上に書かれていることがある。次いでユーザーがそれらを選択して加算する。音声出力「５」が当該対話的装置によって与えられうるが、これは選択されたグラフィック要素１および４などに関係している。別の例では、下記のワード・スクランブル・ゲームで示されるように、紙の上にいくつかの丸が書かれていることがあり、それらの丸に単語（紙に書かれてはいない）が関連付けられていることができる。ユーザーがこれらの丸を特定の順番で選択すると、選択された丸の順列に対応する単語の列が当該対話的装置から音として出力されうる。当該対話的装置によって出力される音は選択されたグラフィック要素に関係しているが、必ずしもグラフィック要素の内容に関係するわけではない。   The at least one output can relate in any way to the selected graphic element. For example, at least one output may include one or more sounds related to the content of the graphic element. For example, in the calculator example below, two numbers such as 1 and 4 may be written on paper. The user then selects and adds them. An audio output “5” can be provided by the interactive device, which is related to the selected graphic elements 1 and 4 etc. In another example, as shown in the word scramble game below, there may be several circles on the paper, with the words (not on the paper) in those circles. Can be associated. When the user selects these circles in a particular order, a sequence of words corresponding to the selected sequence of circles may be output as sound from the interactive device. The sound output by the interactive device is related to the selected graphic element, but is not necessarily related to the content of the graphic element.

図８には図７で示されている方法の実施例が示されている。図８は、ユーザーが白紙からどのようにして紙上電卓を作成できるかを示す。この例では、ユーザーが上記のようにして「電卓」機能を選択したのち、スキャン装置がユーザーに数字０〜９および演算子＋−×÷＝を書き下すよう促す（ステップ５００）。ユーザーは、丸囲みの数字および加減乗除といった演算や等号のための算術演算子を含むグラフィック要素２１０を作成する。他の実施形態では、図８に示した数字のまわりの丸は必要でない。当該対話的装置１００は作成されたグラフィック要素の位置を認識し、作成された実際のグラフィック要素を認識する（ステップ５０２）。次いでユーザーは、少なくとも二つのグラフィック要素を選択し、これら二つのグラフィック要素の選択に関係した音声出力を受け取ることができる。たとえば、ユーザーは一連のグラフィック要素「４」「＋」「７」「＝」を選択して当該対話的装置１００が「１１」と読み上げるのを聞くといった具合である（ステップ５０４）。当該対話的装置はメモリユニット内にグラフィック要素の位置を保存しているので、紙上電卓はあとで再使用することもできる。この実施形態は、生徒が物理的な電卓を利用できない学校において有用となりうる。   FIG. 8 shows an embodiment of the method shown in FIG. FIG. 8 shows how a user can create a paper calculator from blank paper. In this example, after the user selects the “calculator” function as described above, the scanning device prompts the user to write down the numbers 0-9 and the operator + − × ÷ = (step 500). The user creates a graphic element 210 that includes arithmetic operators for operations such as encircled numbers and addition, subtraction, multiplication and division, and equal signs. In other embodiments, the circles around the numbers shown in FIG. 8 are not necessary. The interactive apparatus 100 recognizes the position of the created graphic element and recognizes the created actual graphic element (step 502). The user can then select at least two graphic elements and receive audio output related to the selection of these two graphic elements. For example, the user selects a series of graphic elements “4”, “+”, “7”, “=” and listens to the interactive device 100 reading “11” (step 504). Since the interactive device stores the location of the graphic element in the memory unit, the calculator on paper can be reused later. This embodiment can be useful in schools where students cannot use a physical calculator.

図９の（ａ）および（ｂ）は、本発明の別の実施形態を示している。図９の（ａ）を参照すると、ユーザーは丸で囲まれたＤというグラフィック要素３０２を書きつける。当該対話的装置１００が「辞書」という語を読み上げたのち、ユーザーは当該対話的装置１００を用いてチェック記号３０４を作成して辞書機能が選択されたことを示すことができる。グラフィック要素３０２を作成したのち、当該対話的装置１００はさらにユーザーに別のグラフィック要素３０５を作成するよう促しうる。それには線３０６で囲まれた単語「フランス語」（Ｆｒｅｎｃｈ）３０８が含まれる。次いで当該対話的装置１００はユーザーに単語を書くよう促し、ユーザーはたとえば「Ｈｅｌｌｏ」という単語３１０を書く（図７のステップ５００）。次に、ユーザーは「Ｈｅｌｌｏ」の語を、次いでグラフィック要素３０５を選択し、当該対話的装置１００が「Ｂｏｎｊｏｕｒ！」の語を読み上げるのを聞くことができる（図７のステップ５０４および５０６）。   FIGS. 9A and 9B show another embodiment of the present invention. Referring to (a) of FIG. 9, the user writes a graphic element 302 called D surrounded by a circle. After the interactive device 100 reads the word “dictionary”, the user can use the interactive device 100 to create a check symbol 304 to indicate that the dictionary function has been selected. After creating the graphic element 302, the interactive device 100 may further prompt the user to create another graphic element 305. It includes the word “French” 308 surrounded by a line 306. The interactive device 100 then prompts the user to write a word, and the user writes, for example, the word 310 “Hello” (step 500 in FIG. 7). The user can then select the word “Hello” and then the graphic element 305 and hear the interactive device 100 read the word “Bonjour!” (Steps 504 and 506 in FIG. 7).

上例によって示されているように、ユーザーによって作成された前記少なくとも二つのグラフィック要素は、言語名を表す第一のグラフィック要素および該言語とは異なる言語の単語を表す第二のグラフィック要素を含みうる。ユーザーは前記単語を選択し、次に前記言語名を選択することができ、すると少なくとも一つの音声出力を聞くことができる。それには合成音声が前記言語での前記単語を発音するのを聞くことが含まれる。   As shown by the above example, the at least two graphic elements created by the user include a first graphic element representing a language name and a second graphic element representing a word in a language different from the language. sell. The user can select the word and then the language name, and then listen to at least one audio output. It includes listening to synthesized speech to pronounce the word in the language.

図８および図９で示されているように、本発明の実施形態はいくつかの利点がある。丸囲みの文字や記号はユーザーが対話できるボタンと類似する。それによりユーザーは、事実上いつでもどこでも自分のカスタムユーザーインターフェースを作成することができる。これにより、それまで存在していなかった、完全にユーザー自身によって作成された何かと対話する、便利で興味深く、楽しい方法が提供される。これは標準的なキーボードのような標準的なユーザーインターフェースとは異なるものである。   As shown in FIGS. 8 and 9, embodiments of the present invention have several advantages. Circled characters and symbols are similar to buttons that users can interact with. This allows users to create their own custom user interface virtually anytime and anywhere. This provides a convenient, interesting and fun way to interact with something completely created by the user himself that never existed before. This is different from a standard user interface such as a standard keyboard.

翻訳機能のボタンを示しているが、ユーザーは紙その他の物品上に他の機能ボタンを作成することができる。たとえば、他のボタンの例としては、ヘルプボタン、記録ボタン（当該対話的装置がレコーダを有しており、記録機能を有している場合）、音量ボタン、ゲームボタンなどが含まれる。ユーザーはまた、当該対話的装置を用いて、データ入力やその後の対話のための英数字キーボードを作成することもできる。   Although a translation function button is shown, the user can create other function buttons on paper or other articles. For example, examples of other buttons include a help button, a recording button (when the interactive device has a recorder and a recording function), a volume button, a game button, and the like. The user can also use the interactive device to create an alphanumeric keyboard for data entry and subsequent interaction.

いくつかの実施形態では、ユーザーはグラフィック要素を書くことができ、ユーザーはそれらのグラフィック要素と遊びおよび／または教育的な仕方で対話しうる。たとえば、ユーザーは１から５までの数字を紙の上に書き、当該対話的装置が紙面上のそれぞれの位置を記憶することができる。ユーザーはゲームをプレイするための「ゲーム」ボタンを書くことができる。たとえば、当該対話的装置はユーザーに２より大きく５より小さい数字を一つみつけるよう促すようプログラムされていてもよい。そしてユーザーは前記数字のうちの一つを選択することによってその数が何であるかを当てようとする。ユーザーの選択に反応して当たりまたははずれの音声フィードバックがユーザーに与えられてもよい。   In some embodiments, a user can write graphic elements, and the user can interact with those graphic elements in a playful and / or educational manner. For example, the user can write a number from 1 to 5 on the paper and the interactive device can store each position on the paper. The user can write a “game” button to play the game. For example, the interactive device may be programmed to prompt the user to find a number greater than 2 and less than 5. The user then tries to guess what the number is by selecting one of the numbers. In response to user selection, hit or miss voice feedback may be provided to the user.

図１０ａはいくつかの丸６０２、６０４、６０６、６０８、６１０が書かれたシートを示している。これらはワード・スクランブル（ｗｏｒｄ ｓｃｒａｍｂｌｅ）のようなゲームで使うことができる。たとえば、グラフィック要素６００（ワード・スクランブルを表す丸囲みの文字「ＷＳ」）を作成したのち、当該対話的装置（図示せず）はワード・スクランブル・モードにはいりうる。当該対話的装置はユーザーに「スクランブラー円を５つ描いてください」のように案内することができる（図７のステップ５００）。ユーザーが５つの丸６０２、６０４、６０６、６０８、６１０を書いたのち、音声クリップ（図１０ａでは括弧内に示されている）がそれらに割り当てられる。次いでユーザーは、文を生成するための丸の正しい順列を選択するよう促される。たとえば、当該対話的装置はこのように言う。「スクランブルされた文を元に戻すような順番にスクランブラー円にタッチしてください。どうぞ！」ユーザーが５つの丸にたとえば６０２、６０４、６０６、６０８、６１０の順にタッチすると、「ｒａｔ ｆａｔ ｔｈｅ ａｔｅ ｃｈｅｅｓｅ」という句が生成される（図７のステップ５０２および５０４）。最終的にはユーザーは選択すべき正しい丸の順列が６０６、６０４、６０２、６０８、６１０であることがわかり、当該対話的装置は「Ｔｈｅ ｆａｔ ｒａｔ ａｔｅ ｃｈｅｅｓｅ．」という文を出力する（図７のステップ５０２および５０４）。その時点において、丸の正しい順列を選択したことについて、ユーザーに報酬出力が与えられてもよい。当該対話的装置はユーザーにもう一度プレイしたいかどうかを尋ねてもよい。当該対話的装置は再びユーザーによって作成されたグラフィック要素を認識し、それらをシート上の位置と相関させる。   FIG. 10a shows a sheet on which several circles 602, 604, 606, 608, 610 are written. These can be used in games such as word scramble. For example, after creating graphic element 600 (circled character “WS” representing word scramble), the interactive device (not shown) may enter word scramble mode. The interactive device can guide the user to “draw five scrambler circles” (step 500 in FIG. 7). After the user has written five circles 602, 604, 606, 608, 610, audio clips (shown in parentheses in FIG. 10a) are assigned to them. The user is then prompted to select the correct permutation of the circles to generate the sentence. For example, the interactive device says: “Touch the scrambler circles in order to restore the scrambled sentence. Please!” When the user touches five circles in the order of 602, 604, 606, 608, 610, for example, “rat fat the The phrase “ate check” is generated (steps 502 and 504 in FIG. 7). Eventually, the user knows that the correct permutation of circles to select is 606, 604, 602, 608, 610, and the interactive device outputs the sentence “The fat rate rate checks” (FIG. 7). Steps 502 and 504). At that point, a reward output may be given to the user for selecting the correct permutation of circles. The interactive device may ask the user if he wants to play again. The interactive device again recognizes the graphic elements created by the user and correlates them with the position on the sheet.

図１０ｂはグラフィック要素を用いた別のシートを示している。これは辞書機能および翻訳機能を実行するもう一つの方法を説明するために使われうる。図１０ｂを参照すると、ユーザーは最初に白紙から始め、丸囲みの文字Ｍを図のように描く。次いで、ユーザーは当該対話的装置（図示せず）を使って丸囲みの文字「Ｍ」に「タッチ」する。ユーザーがメニュー項目「辞書」を聞いたのち、ユーザーはその横にチェック印を描いて前記辞書メニュー項目が選択されたことを示す。すると当該対話的装置は辞書モードに移行する。当該対話的装置は次いでユーザーにたとえば「意味を知りたい単語を書いてください」のように促す。するとユーザーは図１０ｂに示すように「ｍａｇｉｃ」〔魔法〕という単語を書く。「ｍａｇｉｃ」の語が書かれると、当該対話的装置は「ｍａｇｉｃ」が書かれたことを認識することができ、「Ｍａｇｉｃ。その意味は、自然界の力を操る力、または神秘的に見える力です」のように言うことができる。ユーザーはいかなる好適な単語を書いてもよく、辞書の定義を受け取ることができる。   FIG. 10b shows another sheet using graphic elements. This can be used to illustrate another way of performing dictionary and translation functions. Referring to FIG. 10b, the user first starts with a blank sheet and draws a circled letter M as shown. The user then “touches” the circled letter “M” using the interactive device (not shown). After the user hears the menu item “dictionary”, the user draws a check mark next to it to indicate that the dictionary menu item has been selected. The interactive device then enters dictionary mode. The interactive device then prompts the user, for example, “Write the word you want to know”. The user then writes the word “magic” as shown in FIG. 10b. When the word “magic” is written, the interactive device can recognize that “magic” has been written, “Magic. Its meaning is the power to manipulate the power of nature, or the power that looks mysterious. Can be said. The user can write any suitable word and receive a dictionary definition.

ユーザーが「ｍａｇｉｃ」という語のような単語を書いたのち、ユーザーはその単語の最後の文字（「ｃ」）にタッチして当該対話的装置に意図する単語を書き終わったこと、および当該対話的装置が辞書の定義を表示すべきであることを伝えてもよい。あるいはまた、ユーザーが少し待つと、当該対話的装置のタイムアウト機構が当該対話的装置に自動的に「ｍａｇｉｃ」という単語の辞書の定義を表示させるようになっていてもよい。前者の方策のほうが、ユーザーが所望のフィードバックを受け取るまで待たなくてすむので好ましい。この方策においては、最後の文字のまわりに仮想ボックスが設けられていてもよい。ユーザーがこの仮想ボックス内のいかなる領域を選択しても、当該対話的装置に、ユーザーが意図した単語を書き終わったということが示されうる。たとえば、ユーザーがスタイラスで最後の文字にタッチしたとき、ユーザーはスタイラスに書き込みが終わったことを伝えている。あるスタイラスの実施形態では、スタイラスの端に感圧スイッチが設けられていることがあり、下向きに圧力を加えると筆記要素が押し上げられる。上記したように、スタイラスは書かれた文字を認識するようプログラムされていてもよい。感圧スイッチが作動させられ、短時間のうちに書かれた文字が再び認識された場合、スタイラスはそのシーケンスが終了したと判定することができ、意図されたフィードバックをユーザーに与えることができる。この方法論は数字のシーケンス、記号のシーケンスなど他のキャラクタのシーケンスについても使うことができる。   After the user has written a word such as the word “magic”, the user has touched the last letter of the word (“c”) to finish writing the intended word on the interactive device, and the dialog The target device may tell that the dictionary definition should be displayed. Alternatively, when the user waits for a moment, the interactive device's timeout mechanism may cause the interactive device to automatically display the dictionary definition of the word “magic”. The former strategy is preferred because it does not require waiting until the user receives the desired feedback. In this strategy, a virtual box may be provided around the last character. Whatever region the user selects in this virtual box can indicate to the interactive device that he has finished writing the word intended by the user. For example, when the user touches the last character with the stylus, the user tells the stylus that the writing is over. In certain stylus embodiments, a pressure sensitive switch may be provided at the end of the stylus, and pressing down will push up the writing element. As noted above, the stylus may be programmed to recognize written characters. If the pressure sensitive switch is activated and the written character is recognized again in a short time, the stylus can determine that the sequence is complete and provide the user with the intended feedback. This methodology can also be used for sequences of other characters such as sequences of numbers, sequences of symbols.

これによりいくつかの問題が解決される。第一に、あるシーケンスのうちの最後の文字を選択することによって、ユーザーは書き終わったことをスタイラスにすばやく伝えることができる。シーケンスの最後の文字を選択することは、ユーザーが書き終わってフィードバックを待っていることをスタイラスに伝える自然で効率的な方法である。第二に、最後の文字を選択することによって、スタイラスはそのシーケンスが終了したことを知り、スタイラス内部のスキャン回路をシャットダウンすることができる。これはバッテリーを節約する。第三に、終了を示すためにシーケンスの最後の文字を選択しても、高々最後の文字の近くに点が形成されるだけである。これにより紙が乱雑になるのが避けられる。第四に、シーケンスの最後の文字はユーザーがフィードバックを要求する自然な終了点である。終了を示すためにそれを選択することはユーザーにとって直感的である。   This solves several problems. First, by selecting the last character in a sequence, the user can quickly tell the stylus that he has finished writing. Selecting the last character in the sequence is a natural and efficient way to tell the stylus that the user has finished writing and is waiting for feedback. Second, by selecting the last character, the stylus knows that the sequence is complete and can shut down the scan circuitry inside the stylus. This saves battery. Third, selecting the last character in the sequence to indicate the end will only form a point at most near the last character. This avoids cluttering the paper. Fourth, the last character of the sequence is the natural end point where the user requests feedback. Selecting it to indicate the end is intuitive for the user.

再び図１０ｂを参照すると、ユーザーはその後、翻訳機能を表す丸囲みの文字ＴＲを書いてもよい。ユーザーがそうすると、当該対話的装置はたとえば「翻訳メニューを聞くにはＴＲにタッチしてください」のように言うことができる。下降タッチするたびに当該対話的装置が順次たとえば「英語からスペイン語」「英語からフランス語」「英語からドイツ語」などと言うようにできる。ユーザーが「英語からスペイン語」のオプションを聞いた場合、ユーザーは丸囲みのＴＲの横にチェック印を書くことができる。次いでユーザーがたとえば「ｂｙｅ」と書くと、当該対話的装置はたとえば「Ｂｙｅ。Ａｄｉｏｓ。Ａ−ｄ−ｉ−ｏ−ｓ」と言うことができる。ユーザーが次にたとえば「ｆｒｉｅｎｄ」と書くと、当該対話的装置はたとえば「Ｆｒｉｅｎｄ。Ｅｌ ａｍｉｇｏ。Ｅｌ（間隔）ａ−ｍ−ｉ−ｇ−ｏ」と言うことができる。   Referring again to FIG. 10b, the user may then write a circled character TR representing the translation function. When the user does so, the interactive device can say, for example, “Touch TR to hear translation menu”. Each time the user touches down, the interactive device can sequentially say, for example, “English to Spanish”, “English to French”, “English to German”, and the like. When the user hears the “English to Spanish” option, the user can write a check mark next to the circled TR. If the user then writes, for example, “bye”, the interactive device can say, for example, “Bye.Adios.Adios”. If the user then writes, for example, “friend”, the interactive device can say, for example, “Friend. El amigo. El (interval) a-mi-go”.

図１１ａはアラーム時計機能をどのように使うことができるかを示している。丸囲みの「ＡＬ」を作成するようユーザーが促されてもよいし、そのことはユーザーがあらかじめ知っていてもよい。これはユーザーが丸囲みの文字Ｍを書き、メニュー項目リストを聞いて、文字Ｍの近くにチェック印を書くことによってアラーム時計機能を選択したあとで起こる。するとユーザーは文字ＡＬを書いて丸で囲む。すると当該対話的装置は「アラーム時計。アラーム時計のオプションを使うには、ＡＬにタッチしてください」と言う。下降タッチのたびに当該対話的装置は「アラーム時計」サブディレクトリの下の「アラームを追加」「アラームを確認」「現在時刻」の機能を読み上げるようになっている。たとえば「アラームを追加」を選択するためには、ユーザーは丸囲みの文字ＡＬの横にチェック印を作成する。すると当該対話的装置はユーザーにたとえば「月日を書いてください」のように促す。するとユーザーは５月９日という意味で「５−９」と書く。すると当該対話的装置はユーザーにたとえば「時刻を書いてください」のように促す。するとユーザーは「２：００ＰＭ」と書く。時刻を書いたのち、当該対話的装置は「ここでメッセージを書いてください」と言う。そこでユーザーは「ジムに電話」と書き、次いで当該対話的装置はそのメッセージを読み上げテキストに変換し、「ジムに電話。アラームが設定されました」と言う。５月９日の午後２：００になると、当該対話的装置は自動的に「ジムに電話」と読み上げる。   FIG. 11a shows how the alarm clock function can be used. The user may be prompted to create a circled “AL”, which may be known in advance by the user. This occurs after the user has written the circled letter M, listened to the menu item list, and selected the alarm clock function by writing a check mark near the letter M. The user then writes the letter AL and surrounds it with a circle. The interactive device then says, "Alarm clock. Touch AL to use the alarm clock option". The interactive device reads the functions of “add alarm”, “acknowledge alarm”, and “current time” under the “alarm clock” subdirectory for each descent touch. For example, in order to select “add alarm”, the user creates a check mark next to the circled character AL. The interactive device then prompts the user, for example, “Please write the date”. The user then writes “5-9” in the sense of May 9th. The interactive device then prompts the user, for example, “Write time”. The user then writes “2:00 PM”. After writing the time, the interactive device says "Write a message here." The user then writes “Call Jim” and the interactive device then converts the message into a text-to-speech and says “Call Jim. Alarm set”. At 9:00 pm on May 9, the interactive device automatically reads “Call Jim”.

アラーム確認（ｒｅｖｉｅｗ ａｌａｒｍ）モードでは、ユーザーはアラーム確認のために丸囲みのＲＡ（図示せず）などを書く。順次タッチするたびに、当該対話的装置は各アラームメッセージを順次発音するようになっている。たとえば、文字ＲＡに３回続けてタッチすると、当該対話的装置は次の３つのメッセージ（当該対話的装置のメモリユニットに保存されている）およびそれが再生される月日と時刻を再生する。   In the alarm confirmation mode, the user writes a circled RA (not shown) or the like for alarm confirmation. Each successive touch causes the interactive device to sound each alarm message sequentially. For example, touching the character RA three times in succession causes the interactive device to play the next three messages (stored in the interactive device's memory unit) and the date and time that it is played.

図１１ｂは電話番号リスト（ｐｈｏｎｅ ｌｉｓｔ）機能をどのように使うことができるかを示している。図のように、ユーザーは促されたのちに丸囲みの文字ＰＬを書くことができる。これはユーザーが丸囲みの文字Ｍを書き、メニュー項目リストを聞いて、文字Ｍの近くにチェック印を書くことによって電話番号リスト機能を選択したあとで起こる。次いでユーザーは文字ＰＬに当該対話的装置でタッチする。順次文字ＰＬに当該対話的装置でタッチするたびに、当該対話的装置は「電話番号リスト」サブディレクトリ内の「電話番号にアクセス」「電話番号を追加」「電話番号を削除」の機能を読み上げるようになっている。ユーザーはたとえば「電話番号を追加」を選択することにし、文字ＰＬの横にチェック印を書くことによってこの選択を示しうる。すると当該対話的装置はユーザーに「名前を書いてください」などと促し、ユーザーは「ジョー・スミス」という名前を当該対話的装置を用いて書く。テキスト・ツー・スピーチ・ソフトウェアエンジンを使って、当該対話的装置は「ジョー・スミス」の名前を読み上げ、次いでユーザーに「電話番号を書いてください」と促す。するとユーザーは「５５５−５５５−５５５５」と書き、当該対話的装置はこの電話番号をユーザーに読み上げる（テキスト・ツー・スピーチ・ソフトウェアエンジンを使って）。   FIG. 11b shows how the phone list function can be used. As shown in the figure, the user can write the circled character PL after being prompted. This occurs after the user has written the circled letter M, listened to the menu item list, and selected the phone number list function by writing a check mark near the letter M. The user then touches the letter PL with the interactive device. Each time the interactive device touches the letters PL sequentially, the interactive device reads the functions of “access phone number”, “add phone number”, “delete phone number” in the “phone number list” subdirectory. It is like that. For example, the user may select “Add Phone Number” and indicate this selection by writing a check mark next to the letter PL. The interactive device then prompts the user to “write name” and the user writes the name “Joe Smith” using the interactive device. Using a text-to-speech software engine, the interactive device reads the name “Joe Smith” and then prompts the user to “write a phone number”. The user then writes “555-555-5555” and the interactive device reads the phone number to the user (using a text-to-speech software engine).

ジョー・スミスの電話番号は後刻、「電話番号リスト」サブディレクトリ内の「電話番号にアクセス」機能を利用し、次いで「ジョー・スミス」の名を書くことによって取得することができる。「ジョー・スミス」と書くと、これが当該対話的装置によって認識され、ジョー・スミスの電話番号が当該対話的装置内のメモリユニットから取得され、当該対話的装置のスピーカーまたはイヤホンを通じてユーザーに読み上げられる。   Joe Smith's phone number can later be obtained by using the “Access Phone Numbers” function in the “Phone Number List” subdirectory and then writing the name “Joe Smith”. Writing "Joe Smith" will be recognized by the interactive device and Joe Smith's phone number will be retrieved from the memory unit in the interactive device and read to the user through the interactive device's speaker or earphone .

図１２は、新規の別のコンテンツを当該対話的装置に与えるのに使うことのできるコンピュータシステムを示している。図１２は、データベース４５５に結合されたサーバーコンピュータ４５３を示している。サーバーコンピュータ４５３はたとえばウェブサイトを運営しており、ユーザーはそのウェブサイトに接触してユーザーは新規コンテンツを取得する。データベース４５５は当該対話的装置４５９のための新規コンテンツを保存していることができる。新規コンテンツは音声出力のためのコンピュータコード、視覚的出力のためのコンピュータコード、ＯＳのためのコンピュータコードなどを含みうる。データベース４５５およびサーバーコンピュータ４５３は２つのブロックとして図示されているが、これらを具現するのは単一の計算装置であってもよく、協働する多数の計算装置であってもよい。   FIG. 12 illustrates a computer system that can be used to provide new alternative content to the interactive device. FIG. 12 shows a server computer 453 coupled to the database 455. The server computer 453 operates a website, for example, and the user contacts the website and the user acquires new content. Database 455 may store new content for the interactive device 459. The new content may include computer code for audio output, computer code for visual output, computer code for the OS, etc. Although the database 455 and the server computer 453 are illustrated as two blocks, they may be implemented by a single computing device or multiple computing devices working together.

通信媒体４５１はサーバーコンピュータ４５３と複数のクライアントコンピュータ４５７（ａ）、４５７（ｂ）とを結合する。クライアントコンピュータ４５７（ａ）、４５７（ｂ）は通常のパソコンでありうる。通信媒体４５１はインターネットやイントラネットを含むいかなる好適な通信ネットワークであってもよい。２つのクライアントコンピュータが示されているが、本発明の実施形態においては多数のクライアントコンピュータがあってもよい。   The communication medium 451 couples the server computer 453 and a plurality of client computers 457 (a) and 457 (b). The client computers 457 (a) and 457 (b) can be ordinary personal computers. The communication medium 451 may be any suitable communication network including the Internet and an intranet. Although two client computers are shown, there may be multiple client computers in embodiments of the present invention.

対話的装置４５９はここに記載されている当該対話的装置のいかなるものであってもよい。対話的装置４５９はクライアントコンピュータ４５７（ａ）と有線または無線の接続を含むいかなる好適な接続を通じて通信していてもよい。クライアントコンピュータ４５７（ａ）を通じて対話的装置４５９は通信媒体４５１を介してサーバーコンピュータ４５３と連続的または非連続的に通信することができる。好適なクライアントコンピュータとしては、市販の多くのパソコンが含まれる。   The interactive device 459 may be any of the interactive devices described herein. The interactive device 459 may communicate with the client computer 457 (a) through any suitable connection, including a wired or wireless connection. Through the client computer 457 (a), the interactive device 459 can communicate continuously or discontinuously with the server computer 453 via the communication medium 451. Suitable client computers include many commercially available personal computers.

ここではハードウェアおよびソフトウェアのさまざまな記述が与えられている。当業者はここに記載されている当該対話的装置の機能を実現するために使うことのできるハードウェアおよびソフトウェアの多くの異なる組み合わせを知ることが理解される。   Here, various descriptions of hardware and software are given. It will be appreciated that those skilled in the art will know many different combinations of hardware and software that can be used to implement the functions of the interactive device described herein.

ここで用いられてきた用語や表現は説明の言葉として使われているのであって、限定のためではない。また、そのような用語や表現の使用には、示され、述べられている特徴またはその一部分の等価物を排除する意図はない。特許請求の範囲内においてさまざまな修正が可能であることが認識される。   The terms and expressions used here are used as explanation words, not for limitation. Also, the use of such terms and expressions is not intended to exclude the equivalents of the features shown and described or portions thereof. It will be appreciated that various modifications can be made within the scope of the claims.

さらに、本発明のいかなる実施形態のいかなる一つまたは複数の特徴も、本発明の範囲から外れることなく、本発明の他のいかなる実施形態のいかなる一つまたは複数の特徴と組み合わせることもできる。たとえば、図４〜１１に関連して述べたいかなる実施形態も、図１または図２のいずれかにおいて示された対話的装置とともに使うことができる。   Moreover, any one or more features of any embodiment of the invention may be combined with any one or more features of any other embodiment of the invention without departing from the scope of the invention. For example, any of the embodiments described in connection with FIGS. 4-11 can be used with the interactive device shown in either FIG. 1 or FIG.

大略的にまとめると、この文書は少なくとも一つの対話的装置を開示している。当該対話的装置は、スタイラス殻と、該スタイラス殻に結合されたプロセッサと、（ｉ）スタイラスを使って作成された複数のグラフィック要素を認識するためのコンピュータコード、（ｉｉ）前記スタイラスを使ってのユーザー定義シーケンスにおける前記グラフィック要素の少なくとも二つの選択を認識するためのコンピュータコード、（ｉｉｉ）前記形成されたグラフィック要素に関係する少なくとも一つの音声出力を再生するためのコンピュータコードを有するメモリユニットと、音声出力装置とを含む。   In summary, this document discloses at least one interactive device. The interactive device includes a stylus shell, a processor coupled to the stylus shell, (i) computer code for recognizing a plurality of graphic elements created using the stylus, and (ii) using the stylus. Computer code for recognizing at least two selections of the graphic elements in a user-defined sequence of: (iii) a memory unit comprising computer code for reproducing at least one audio output related to the formed graphic elements; And an audio output device.

上記において言及されているすべての参考文献、特許出願および特許は、あらゆる目的についてその全体において参照によってここに組み込まれる。そのいずれも、本願発明の従来技術であると認められるものではない。
All references, patent applications and patents mentioned above are hereby incorporated by reference in their entirety for all purposes. None of these are recognized as prior art of the present invention.

２次元物品および対話的装置を含む対話的システムの概略図である。1 is a schematic diagram of an interactive system including a two-dimensional article and an interactive device. ２次元物品およびプラットフォームを含む対話的装置を含む対話的システムの概略図である。1 is a schematic diagram of an interactive system including an interactive device including a two-dimensional article and a platform. 本発明のある実施形態に基づく対話的装置のいくつかの電子的構成要素のブロック図である。FIG. 3 is a block diagram of several electronic components of an interactive device according to an embodiment of the invention. 本発明のある実施形態に基づくツリーメニューの概略図である。FIG. 6 is a schematic diagram of a tree menu according to an embodiment of the present invention. 本発明のある実施形態に基づく方法を示すフローチャートである。6 is a flowchart illustrating a method according to an embodiment of the present invention. （ａ）および（ｂ）は、スタイラスの使用によって、グラフィック要素を作成し、それと対話することで対話的装置にメニュー項目リストを提示させ、ユーザーがメニュー項目を選択できるようにする様子を示す概略図である。(A) and (b) schematically illustrate the use of a stylus to create a graphical element and interact with it to cause the interactive device to present a list of menu items and allow the user to select a menu item. FIG. 本発明のある実施形態に基づく方法を示すフローチャートである。6 is a flowchart illustrating a method according to an embodiment of the present invention. ユーザーが紙の上に複数の数字を書いてカスタム電卓を生成できる本発明の実施形態を示す図である。FIG. 6 illustrates an embodiment of the present invention in which a user can create a custom calculator by writing multiple numbers on paper. （ａ）および（ｂ）は紙の上に翻訳機を生成する仕方を示す図である。(A) And (b) is a figure which shows the method of producing | generating a translator on paper. 「ワード・スクランブル」と呼ばれるゲームにおいて使われる丸を描いた紙を示す図である。It is a figure which shows the paper on which the circle used in the game called "word scramble" was drawn. 別の翻訳機および辞書をどのように使用しうるかを示す、印の付いた紙を示す図である。FIG. 5 shows a marked paper showing how another translator and dictionary can be used. アラーム時計機能をどのように使用できるかを示す図である。It is a figure which shows how an alarm clock function can be used. 電話番号リスト機能をどのように使用できるかを示す図である。It is a figure which shows how the telephone number list function can be used. 本発明のある実施形態に基づく通信システムのブロック図である。1 is a block diagram of a communication system according to an embodiment of the present invention.

Claims (60)

スタイラスを使ってグラフィック要素を作成し、
前記グラフィック要素の作成後に複数のメニュー項目中の少なくとも一つのメニュー項目の音声読み上げを聞き、
前記複数のメニュー項目からメニュー項目を選択する、
ことを含むことを特徴とする方法。 Create graphic elements with a stylus,
Listening to at least one menu item of the plurality of menu items after reading the graphic element,
Selecting a menu item from the plurality of menu items;
A method comprising: 前記スタイラスが、プロセッサ、放出器、検出器、スピーカーを有する対話的装置の形であって、前記放出器、検出器、スピーカーが前記プロセッサに動作的に結合していることを特徴とする、請求項１記載の方法。   The stylus is in the form of an interactive device having a processor, emitter, detector and speaker, wherein the emitter, detector and speaker are operatively coupled to the processor. Item 2. The method according to Item 1. 前記グラフィック要素を前記スタイラスを用いて（ａ）の後（ｂ）の前に選択することをさらに含むことを特徴とする、請求項１記載の方法。   The method of claim 1, further comprising selecting the graphic element after (a) and before (b) using the stylus. 前記グラフィック要素がプリント要素であることを特徴とする、請求項１記載の方法。   The method of claim 1, wherein the graphic element is a print element. 前記スタイラスがアンテナを有することを特徴とする、請求項１記載の方法。   The method of claim 1, wherein the stylus comprises an antenna. 前記グラフィック要素が紙面上に作成されることを特徴とする、請求項１記載の方法。   The method of claim 1, wherein the graphic element is created on paper. 前記グラフィック要素が記号を含むことを特徴とする、請求項１記載の方法。   The method of claim 1, wherein the graphic element includes a symbol. 前記グラフィック要素が記号および該記号を囲む線を含むことを特徴とする、請求項１記載の方法。   The method of claim 1, wherein the graphic element includes a symbol and a line surrounding the symbol. ユーザーが前記メニュー項目を選択したのち、前記スタイラスに動作的に付随している音声合成器がユーザーに追加的なグラフィック要素を作成するよう指示を与えることを特徴とする、請求項１記載の方法。   The method of claim 1, wherein after the user selects the menu item, a speech synthesizer operatively associated with the stylus instructs the user to create additional graphic elements. . 前記複数のメニュー項目が、電卓メニュー項目、調査メニュー項目およびゲームメニュー項目のうちの少なくとも一つを含むことを特徴とする、請求項１記載の方法。   The method of claim 1, wherein the plurality of menu items include at least one of a calculator menu item, a survey menu item, and a game menu item. スタイラス殻と、
前記スタイラス殻に結合したプロセッサと、
（ｉ）ユーザーが前記スタイラスを使って作成したグラフィック要素を認識するためのコンピュータコード、（ｉｉ）前記グラフィック要素がユーザーによって作成された後に複数のメニュー項目中の少なくとも一つのメニュー項目の音声読み上げを再生するためのコンピュータコード、（ｉｉｉ）前記複数のメニュー項目からのユーザーによるメニュー項目の選択を認識するためのコンピュータコードを有するメモリユニットと、
音声出力装置と、
を有する対話的装置であって、前記音声出力装置および前記メモリユニットが前記プロセッサに動作的に結合していることを特徴とする対話的装置。 A stylus shell,
A processor coupled to the stylus shell;
(I) computer code for recognizing a graphic element created by the user using the stylus; (ii) reading aloud at least one menu item in a plurality of menu items after the graphic element is created by the user; (Iii) a memory unit having a computer code for recognizing selection of a menu item by a user from the plurality of menu items;
An audio output device;
An interactive device comprising: the audio output device and the memory unit operatively coupled to the processor. 前記プロセッサ、前記音声出力装置、前記メモリユニットが前記スタイラス殻の内側にあることを特徴とする、請求項１１記載の対話的装置。   12. The interactive device of claim 11, wherein the processor, the audio output device, and the memory unit are inside the stylus shell. 前記プロセッサ、前記音声出力装置、前記メモリユニットが前記スタイラス殻に結合されているプラットフォーム内にあることを特徴とする、請求項１１記載の対話的装置。   12. The interactive device of claim 11, wherein the processor, the audio output device, and the memory unit are in a platform coupled to the stylus shell. 前記プロセッサ、前記音声出力装置、前記メモリユニットがみな前記スタイラス殻の内側にあり、前記スタイラス殻がさらに前記プロセッサに結合された発光器および光検出器を有することを特徴とする、請求項１１記載の対話的装置。   12. The processor of claim 11, wherein the processor, the audio output device, and the memory unit are all inside the stylus shell, the stylus shell further comprising a light emitter and a photodetector coupled to the processor. Interactive device. 前記グラフィック要素が文字または数字を含むことを特徴とする、請求項１１記載の対話的装置。   12. Interactive device according to claim 11, characterized in that the graphic element comprises letters or numbers. 前記メモリユニットが物品上の実質不可視のコードを認識するためのコンピュータコードを有することを特徴とする、請求項１１記載の対話的装置。   12. Interactive device according to claim 11, characterized in that the memory unit comprises computer code for recognizing a substantially invisible code on an article. 前記メモリユニットが物品上の実質不可視のコードを認識するためのコンピュータコードを有しており、前記実質不可視のコードが点コードの形であることを特徴とする、請求項１１記載の対話的装置。   12. Interactive apparatus according to claim 11, characterized in that the memory unit has computer code for recognizing a substantially invisible code on an article, the substantially invisible code being in the form of a point code. . 前記メモリユニットが物品上の実質不可視のコードを認識するためのコンピュータコードを有しており、前記実質不可視のコードが相対位置または絶対位置をエンコードする点コードの形であることを特徴とする、請求項１１記載の対話的装置。   The memory unit has a computer code for recognizing a substantially invisible code on an article, the substantially invisible code being in the form of a point code encoding a relative position or an absolute position, 12. Interactive device according to claim 11. （ａ）請求項１８記載の対話的装置と、
（ｂ）前記実質不可視のコードを含む物品、
とを有することを特徴とするシステム。 (A) the interactive device of claim 18;
(B) an article comprising the substantially invisible code;
The system characterized by having. （ａ）請求項１８記載の対話的装置と、
（ｂ）前記実質不可視のコードを含む物品、
とを有し、前記物品が１枚の紙を含むことを特徴とするシステム。 (A) the interactive device of claim 18;
(B) an article comprising the substantially invisible code;
And the article includes a piece of paper. （ａ）請求項１８記載の対話的装置と、
（ｂ）前記実質不可視のコードを含む物品、
とを有し、前記物品がいかなる事前のプリントもされていない１枚の紙を含むことを特徴とするシステム。 (A) the interactive device of claim 18;
(B) an article comprising the substantially invisible code;
And the article comprises a sheet of paper that has not been pre-printed in any way. （ａ）請求項１８記載の対話的装置と、
（ｂ）前記実質不可視のコードを含む物品、
とを有し、前記物品が事前のプリントを含む１枚の紙を含むことを特徴とするシステム。 (A) the interactive device of claim 18;
(B) an article comprising the substantially invisible code;
And the article comprises a sheet of paper containing a preprint. （ａ）スタイラス殻と、前記スタイラス殻に結合したプロセッサと、音声合成器と、（ｉ）ユーザーが前記スタイラスを使ってグラフィック要素を作成できるようにするためのコンピュータコード、（ｉｉ）前記グラフィック要素作成後に複数のメニュー項目中の少なくとも一つのメニュー項目の音声読み上げを再生するためのコンピュータコード、（ｉｉｉ）ユーザーが前記複数のメニュー項目からメニュー項目を選択できるようにするためのコンピュータコード、（ｉｖ）物品上の実質不可視なコードを認識するためのコンピュータコードを有し、前記実質不可視のコードが相対位置または絶対位置をエンコードする点コードの形であるメモリユニットと、音声出力装置とを有する対話的装置であって、前記音声合成器、前記音声出力装置および前記メモリユニットが前記プロセッサに動作的に結合しており、前記メモリユニットが前記スタイラス殻の内側にある対話的装置、ならびに、
（ｂ）前記物品、
を有することを特徴とするシステム。 (A) a stylus shell, a processor coupled to the stylus shell, a speech synthesizer, (i) computer code for allowing a user to create graphic elements using the stylus, (ii) the graphic elements (Iii) computer code for reproducing aloud reading of at least one menu item in the plurality of menu items after creation; (iii) computer code for allowing a user to select a menu item from the plurality of menu items; ) An interaction comprising a memory unit having computer code for recognizing a substantially invisible code on an article, wherein the substantially invisible code is in the form of a point code that encodes a relative position or an absolute position; and an audio output device And a speech synthesizer and a speech output device. And the memory unit are operatively coupled to the said processor, interactive device wherein the memory unit is inside the stylus housing, and,
(B) the article,
The system characterized by having. 前記実質不可視のコードが点コードであることを特徴とする、請求項２３記載のシステム。   The system of claim 23, wherein the substantially invisible code is a point code. 前記メモリユニットが、前記グラフィック要素が順次選択されるたびに前記対話的装置に前記メニュー項目を読み上げさせるためのコンピュータコードを有することを特徴とする、請求項２３記載のシステム。   24. The system of claim 23, wherein the memory unit comprises computer code for causing the interactive device to read the menu item each time the graphic elements are sequentially selected. 前記実質不可視のコードが前記物品の前記絶対位置に関係することを特徴とする、請求項２３記載のシステム。   24. The system of claim 23, wherein the substantially invisible code is related to the absolute position of the article. 前記物品が１枚の紙を含むことを特徴とする、請求項２３記載のシステム。   The system of claim 23, wherein the article comprises a piece of paper. 前記物品が事前にプリントされたプリント要素のない１枚の紙を含むことを特徴とする、請求項２３記載のシステム。   24. The system of claim 23, wherein the article comprises a piece of paper with no pre-printed print elements. 前記物品が事前にプリントされたプリント要素を含む１枚の紙を含むことを特徴とする、請求項２３記載のシステム。   24. The system of claim 23, wherein the article includes a sheet of paper that includes preprinted print elements. 前記グラフィック要素が、少なくとも一つの印と、少なくとも一つの印および該少なくとも一つの印を囲む線の組み合わせとからなる群から選択される一つを含むことを特徴とする、請求項２３記載のシステム。   24. The system of claim 23, wherein the graphic element includes one selected from the group consisting of at least one mark and a combination of at least one mark and a line surrounding the at least one mark. . （ａ）スタイラスを使って複数のグラフィック要素を形成し、
（ｂ）前記スタイラスを使ってユーザー定義のシーケンスにおける前記グラフィック要素の少なくとも二つを選択し、
（ｃ）前記形成されたグラフィック要素に関係する少なくとも一つの音声出力を聞く、
ことを含むことを特徴とする方法。 (A) using a stylus to form multiple graphic elements;
(B) using the stylus to select at least two of the graphic elements in a user-defined sequence;
(C) listening to at least one audio output related to the formed graphic element;
A method comprising: 請求項３１記載の方法であって、
前記複数のグラフィック要素が複数の数字および数学的演算子を含み、
（ｂ）が、第一の数字、第一の数学的演算子、第二の数字、第二の数学的演算子を選択することを含み、前記第一の数字、第一の数学的演算子、第二の数学的演算子が一緒になって数学上の問題を形成し、前記選択された第一の数字、第一の数学的演算子、第二の数学的演算子に関係する前記少なくとも一つの音声出力が前記数学上の問題の答えを含むことを特徴とする方法。 32. The method of claim 31, wherein
The plurality of graphic elements includes a plurality of numbers and mathematical operators;
(B) comprising selecting a first number, a first mathematical operator, a second number, a second mathematical operator, wherein the first number, the first mathematical operator The second mathematical operator together forms a mathematical problem and the at least the first number, the first mathematical operator, the second mathematical operator related to the selected A method wherein an audio output includes an answer to the mathematical problem. 前記スタイラスが、放出器、検出器、プロセッサ、スピーカーを有しており、前記放出器、検出器、スピーカーが前記プロセッサに結合していることを特徴とする、請求項３１記載の方法。   32. The method of claim 31, wherein the stylus includes an emitter, a detector, a processor, and a speaker, and the emitter, detector, and speaker are coupled to the processor. 前記スタイラスがプラットフォームに結合されており、該プラットフォームが前記グラフィック要素が形成されるシートを支持することを特徴とする、請求項３１記載の方法。   32. The method of claim 31, wherein the stylus is coupled to a platform that supports a sheet on which the graphic element is formed. 前記少なくとも二つのグラフィック要素が文字であることを特徴とする、請求項３１記載の方法。   32. The method of claim 31, wherein the at least two graphic elements are characters. 前記少なくとも二つのグラフィック要素が言語名を表す第一のグラフィック要素と、前記言語とは異なる言語の単語を表す第二のグラフィック要素とを含み、選択が前記単語を選択し、それから前記言語名を選択することを含み、前記少なくとも一つの音声出力を聞くことが合成音声が前記言語の前記単語を発音するのを聞くことを含むことを特徴とする、請求項３１記載の方法。   The at least two graphic elements include a first graphic element representing a language name and a second graphic element representing a word in a language different from the language, wherein the selection selects the word, and then the language name 32. The method of claim 31, comprising selecting and listening to the at least one audio output includes listening to a synthesized speech pronouncing the word of the language. 前記少なくとも二つのグラフィック要素が言語名を表す第一のグラフィック要素と、前記言語とは異なる言語の単語を表す第二のグラフィック要素とを含み、選択が前記単語を選択し、それから前記言語名を選択することを含み、前記少なくとも一つの音声出力を聞くことが合成音声が前記言語の前記単語を発音するのを聞くことを含み、前記言語が英語以外の言語であり、前記単語が英語であることを特徴とする、請求項３１記載の方法。   The at least two graphic elements include a first graphic element representing a language name and a second graphic element representing a word in a language different from the language, wherein the selection selects the word, and then the language name Selecting and listening to the at least one audio output includes listening to a synthesized speech pronouncing the word of the language, wherein the language is a language other than English and the word is English 32. The method of claim 31, wherein: 前記スタイラスが筆記要素を含み、前記複数のグラフィック要素の形成がシート上に複数のグラフィック要素を書くことを含むことを特徴とする、請求項３１記載の方法。   32. The method of claim 31, wherein the stylus includes a writing element, and forming the plurality of graphic elements includes writing a plurality of graphic elements on a sheet. 前記スタイラスが筆記要素を含み、前記複数のグラフィック要素の形成がシート上に複数のグラフィック要素を書くことを含み、前記シートが複数の実質不可視のコードを含むことを特徴とする、請求項３１記載の方法。   32. The stylus includes a writing element, forming the plurality of graphic elements includes writing a plurality of graphic elements on a sheet, and the sheet includes a plurality of substantially invisible codes. the method of. 前記スタイラスが筆記要素を含み、前記複数のグラフィック要素の形成がシート上に複数のグラフィック要素を書くことを含み、前記シートが複数の実質不可視のコードを含んでおり事前にプリントされたプリント要素がないことを特徴とする、請求項３１記載の方法。   The stylus includes a writing element, and forming the plurality of graphic elements includes writing a plurality of graphic elements on a sheet, the sheet including a plurality of substantially invisible codes, and a pre-printed print element 32. The method of claim 31, wherein there is no. スタイラス殻と、
前記スタイラス殻に結合されたプロセッサと、
（ｉ）スタイラスを使って作成された複数のグラフィック要素を認識するためのコンピュータコード、（ｉｉ）前記スタイラスを使ってのユーザー定義シーケンスにおける前記グラフィック要素の少なくとも二つの選択を認識するためのコンピュータコード、（ｉｉｉ）前記形成されたグラフィック要素に関係する少なくとも一つの音声出力を再生するためのコンピュータコードを有するメモリユニットと、
音声出力装置、
とを有する対話的装置であって、前記音声出力装置および前記メモリユニットが前記プロセッサに動作的に結合していることを特徴とする対話的装置。 A stylus shell,
A processor coupled to the stylus shell;
(I) computer code for recognizing a plurality of graphic elements created using a stylus; (ii) computer code for recognizing at least two selections of the graphic elements in a user-defined sequence using the stylus. (Iii) a memory unit having computer code for reproducing at least one audio output related to the formed graphic element;
Audio output device,
An interactive device comprising: the audio output device and the memory unit operatively coupled to the processor. 前記スタイラスが筆記要素を有することを特徴とする、請求項４１記載の対話的装置。   42. The interactive device of claim 41, wherein the stylus has a writing element. 前記プロセッサ、前記メモリユニット、前記音声出力装置が前記スタイラス殻の内側にあることを特徴とする、請求項４１記載の対話的装置。   42. The interactive device of claim 41, wherein the processor, the memory unit, and the audio output device are inside the stylus shell. 前記メモリユニットがさらに、物品上にプリントされた実質不可視のコードを認識するためのコンピュータコードを有することを特徴とする、請求項４１記載の対話的装置。   42. The interactive device of claim 41, wherein the memory unit further comprises computer code for recognizing a substantially invisible code printed on an article. 前記メモリユニットがさらに、物品上にプリントされた実質不可視のコードを認識するためのコンピュータコードを有し、前記実質不可視のコードが点コードを含むことを特徴とする、請求項４１記載の対話的装置。   42. The interactive method of claim 41, wherein the memory unit further comprises computer code for recognizing a substantially invisible code printed on an article, the substantially invisible code comprising a point code. apparatus. 当該装置がさらにプラットフォームを有し、前記メモリ、前記プロセッサ、前記音声出力装置が該プラットフォーム内にあることを特徴とする、請求項４１記載の対話的装置。   42. The interactive device of claim 41, wherein the device further comprises a platform, and wherein the memory, the processor, and the audio output device are in the platform. 前記グラフィック要素が数字を含み、前記メモリユニットがさらに数字を計算するためのコードを有することを特徴とする、請求項４１記載の対話的装置。   42. The interactive device of claim 41, wherein the graphic element comprises a number and the memory unit further comprises code for calculating a number. 当該対話的装置が引き込み可能な筆記要素を有することを特徴とする、請求項４１記載の対話的装置。   42. Interactive device according to claim 41, characterized in that the interactive device has a retractable writing element. 前記メモリユニットがさらに、文字、数字、フォニックスのうちの少なくとも一つについて教えるためのコンピュータコードを有することを特徴とする、請求項４１記載の対話的装置。   42. The interactive device of claim 41, wherein the memory unit further comprises computer code for teaching about at least one of letters, numbers, and phonics. 前記メモリユニットが合成音声に複数のメニュー項目を読み上げさせるコンピュータコードを有することを特徴とする、請求項４１記載の対話的装置。   42. The interactive device of claim 41, wherein the memory unit comprises computer code that causes the synthesized speech to read a plurality of menu items. スタイラス殻と、前記スタイラス殻に結合されたプロセッサと、（ｉ）スタイラスを使って作成された複数のグラフィック要素を認識するためのコンピュータコード、（ｉｉ）前記スタイラスを使ってのユーザー定義シーケンスにおける前記グラフィック要素の少なくとも二つの選択を認識するためのコンピュータコード、（ｉｉｉ）前記形成されたグラフィック要素に関係する少なくとも一つの音声出力を再生するためのコンピュータコードを有するメモリユニットと、音声出力装置とを有しており、前記音声出力装置および前記メモリユニットが前記プロセッサに動作的に結合している対話的装置、ならびに、
その上に前記グラフィック要素が作成される物品、
とを有することを特徴とするシステム。 A stylus shell, a processor coupled to the stylus shell, (i) computer code for recognizing a plurality of graphic elements created using the stylus, and (ii) the user-defined sequence using the stylus. A computer code for recognizing at least two selections of graphic elements; (iii) a memory unit having computer code for reproducing at least one audio output related to the formed graphic elements; and an audio output device; An interactive device in which the audio output device and the memory unit are operatively coupled to the processor; and
An article on which the graphic element is created,
The system characterized by having. 前記物品が１枚の紙を含むことを特徴とする、請求項５１記載のシステム。   52. The system of claim 51, wherein the article includes a piece of paper. 前記物品が１枚の紙を含み、該１枚の紙が複数の実質不可視のコードを含むことを特徴とする、請求項５１記載のシステム。   52. The system of claim 51, wherein the article includes a sheet of paper, the sheet of paper including a plurality of substantially invisible codes. 前記物品が１枚の紙を含み、該１枚の紙が点コードを含んでいる複数の実質不可視のコードを含むことを特徴とする、請求項５１記載のシステム。   52. The system of claim 51, wherein the article includes a sheet of paper, and the sheet of paper includes a plurality of substantially invisible codes that include point codes. 前記物品が１枚の紙を含み、該１枚の紙が複数の実質不可視のコードを含み、該実質不可視のコードが相対位置情報または絶対位置情報を含んでいることを特徴とする、請求項５１記載のシステム。   The article includes a sheet of paper, the sheet of paper includes a plurality of substantially invisible codes, and the substantially invisible codes include relative position information or absolute position information. 51. The system according to 51. 前記物品が１枚の紙を含み、該１枚の紙が複数の実質不可視のコードを含み、該コードが点コードであり、前記１枚の紙には事前にプリントされたプリント要素が実質ないことを特徴とする、請求項５１記載のシステム。   The article includes a sheet of paper, the sheet of paper includes a plurality of substantially invisible codes, the codes are point codes, and the sheet of paper is substantially free of preprinted print elements. 52. The system of claim 51, wherein: 前記プロセッサ、前記音声出力装置、前記メモリユニットがスタイラス殻の内側にあることを特徴とする、請求項５１記載のシステム。   52. The system of claim 51, wherein the processor, the audio output device, and the memory unit are inside a stylus shell. 前記対話的装置が自己完結型の装置の形であることを特徴とする、請求項５１記載のシステム。   52. The system of claim 51, wherein the interactive device is in the form of a self-contained device. 前記メモリユニットが複数のメニュー項目のためのコンピュータコードを有することを特徴とする、請求項５１記載のシステム。   52. The system of claim 51, wherein the memory unit comprises computer code for a plurality of menu items. 前記メモリユニットが英語−外国語辞書のためのコンピュータコードを有することを特徴とする、請求項５１記載のシステム。   52. The system of claim 51, wherein the memory unit comprises computer code for an English-foreign language dictionary.

Images