JP2000215213A - 分散型文書に基づく一覧表作成方法及びシステム - Google Patents

分散型文書に基づく一覧表作成方法及びシステム

Info

Publication number
JP2000215213A
JP2000215213A JP11355554A JP35555499A JP2000215213A JP 2000215213 A JP2000215213 A JP 2000215213A JP 11355554 A JP11355554 A JP 11355554A JP 35555499 A JP35555499 A JP 35555499A JP 2000215213 A JP2000215213 A JP 2000215213A
Authority
JP
Japan
Prior art keywords
document
information
genre
input
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP11355554A
Other languages
English (en)
Inventor
Annette M Adler
エム アドラー アンネッテ
Kenneth P Fishkin
ピー フィッシュキン ケネス
Catherine C Marshall
シー マーシャル キャサリン
Alexander E Silverman
イー シルバーマン アレキサンダー
Todd A Cass
エイ カス トッド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xerox Corp
Original Assignee
Xerox Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xerox Corp filed Critical Xerox Corp
Publication of JP2000215213A publication Critical patent/JP2000215213A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/109Time management, e.g. calendars, reminders, meetings or time accounting
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99931Database or file accessing

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)
  • Document Processing Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

(57)【要約】 【課題】 異なるフォーマットの種々のソース文書から
得たカレンダ情報を受信し、分析し、そのデータベース
を管理するシステム及び方法を提供する。 【解決手段】 カレンダ文書314から抽出された情報
により、イベントのデータベース310を作成する。カ
レンダ文書314からの関連情報の抽出は、ユーザ入
力、文書テンプレート、又はカレンダ文書の構造及び内
容に関する他の規定であるガイダンスによって、簡単に
行われる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、情報管理のシステ
ム及び方法に関し、より詳細には種々のソース文書から
得た一覧表情報を受信し、分析し、管理するシステム及
び方法に関する。
【0002】
【従来の技術】今日、パーソナルコンピュータシステム
の一般的な設定は、依然としてオフィス向けである。2
0年以上前の普及開始以来、パーソナルコンピュータの
多くは、文書処理(及び他の文書準備)や財務計算、及
び他のオフィス関連のアプリケーションに使用されてい
る。そして、操作が簡単でないという理由で、ゲームや
移動オフィスタイプの機能を除いて、家庭環境には浸透
していない。
【0003】この間、コンピュータとの相互作用に用い
られる主なユーザインターフェースの典型は、キーボー
ドと画面によるシステムであった。もちろん、この構成
も年々改良され洗練されてはいるが、本質的には長年コ
ンピュータに用いられてきた同一の構成であり、パーソ
ナルコンピュータの出現以前にも遠隔端末で用いられて
いたものである。
【0004】キーボードと画面によるシステムにはいく
つかの利点がある。第一に、コンピュータシステムに一
般的に使用されるキーボードは、製造が安価である。キ
ーボードは約100のキースイッチのみを含み、ここか
らの信号が符号化されてCPUに送られる。さらに、キ
ーボードは、100年以上にわたって機械式タイプライ
タのキーボードに使用されていた型をごくわずかに修正
したものであり、多くの人に違和感なく受け入れられ
る。さらには、タイプライタスタイルのキーボード(又
はそのバリエーション)は、たいていの西洋言語での情
報を明確に入力できる。
【0005】しかしながら、多くの人にとって、キーボ
ードは効率的な入力形式とはいえない。すなわち、キー
ボードを有効に使用するには、訓練が必要である。必要
な訓練をもってしても、特に入力しようとする情報があ
る文書または他からの通信においてすでに明らかな場
合、キーボードによる情報の入力には時間と労力を要す
る。さらには、キーボードが引き起こしやすい問題とし
て、スペリングエラーや反復的なストレス症状(手根管
症候群及び腱鞘炎)がある。そして、どんな速度でも伝
統的なキーボードを使用するには両手が必要である。
【0006】一方、パーソナル(及び他の)コンピュー
タシステムに一般的に使用されるディスプレイ画面(又
はモニタ)には、多くの利点がある。モニタは比較的安
いという利点に加え、長年にわたるテレビ及びコンピュ
ータの製造経験により、製造及びデザインの効率が高ま
り、品質も改良されてきた。
【0007】しかしながら、改良されたとはいえ、CR
Tベースのディスプレイ画面は、依然としてかさばり、
重く、エネルギー効率が悪いのが一般的である。また、
比較的大量の熱を発生する。このような理由から、CR
Tディスプレイは他の環境の多くに統合が不可能であ
り、通常コンピュータ本体とディスプレイとはそれぞれ
が独立型のアイテムとして扱われる。他のディスプレイ
技術、例えば2つ例を挙げると、プラズマディスプレイ
及び液晶ディスプレイ(LCD)も試みられているが、
CRTディスプレイに比べてコストが高く画質が劣るた
めに、成功しているとは言えない。それでも、LCDの
価格が近年下がってきており、このようなディスプレイ
が種々のアプリケーションで見られるようになってき
た。
【0008】このようなキーボードと画面によるシステ
ムは、コンピュータとの相互作用のためのシステムとし
て、長期にわたり多くの意味で満足の得られるものとさ
れてきたが、かかるシステムでは簡単に解決できない問
題がいくつかある。例えば、画面上に表示されたデータ
とキーボードで入力されたデータとの間には相関がな
い。画面上で得られるフォーマッティングの情報は、キ
ーボード上での連続するキーストロークにより入力され
なければならないが、多くの場合これらの連続は直観的
ではない。さらに、画面上に見られる記号及びアイテム
の多くは、キーボードでは簡単に入力できない。
【0009】一方で、他のユーザインターフェース方式
の利便性が近年高まってきている。例えば、平面パネル
ディスプレイ(LCDなど)が半透明の感圧性(又は他
のタッチセンシティブタイプの)表面上に設けられてい
るタッチスクリーンベースのシステムが人気を集めてい
る。このようなシステムの場合、ユーザはディスプレイ
に表示されている情報を直接操作することができる。例
えば、種々の動作をこの表面に対して行うことにより、
ディスプレイ上の情報をコピー、移動、注釈付け、又は
変更することができる。ところが、このシステムにおい
てはデータ入力に問題がある。すなわち、タッチスクリ
ーンに関連してキーボードがない場合、データはタッチ
センシティブ表面との相互作用により入力しなければな
らない。このため、場合により、ハンドライティングの
認識が必要になるが、その作業は完璧でない、コンピュ
ータ依存型の作業である。あるいは、視覚的に表示され
たキーボードを(スタイラス又は指先)で押したり、デ
ータ入力のためにデザインされた特殊なジェスチャ記号
を用いてデータを入力する。
【0010】また、近年では、音声認識によるデータ入
力も進歩している。過去においては、音声認識システム
は主に実験的な環境で使用されていた。一般的に、エラ
ー率が非常に高く、リアルタイムの認識に要求されるコ
ンピュータリソースは極めて高かった。しかしながら、
近年ではいくつかの商用ソフトウェア製品により、家庭
で頻繁に使用されるタイプのパーソナルコンピュータに
おいてリアルタイムの音声認識が可能になった。ところ
が、このような音声認識システムは話者に依存している
ため、満足できる性能のレベル及び十分に低いエラー率
を得るには相当量の訓練が話者に要求される。さらに、
エラー(同音異義語及び固有名詞の認識におけるエラー
など)が発生した場合には、従来からのキーボードを使
って正しい言葉をタイプする方が、必要な音声コマンド
を発声し、システムのためにその言葉をつづってエラー
を正すより便利なことがしばしばある。よって、音声認
識は将来的には有望であるが、現時点ではパーソナルコ
ンピュータを操作し、入力を行うための方法としては実
用的でない。
【0011】また、クロスプラットフォーム統合(プラ
ットフォーム間統合)(例えば、コンピュータとテレ
ビ、コンピュータテレフォニなど)には将来性が期待さ
れているが、パーソナルコンピュータのデータと、たい
ていの文書及び一般的な個人、オフィス、又は家族の周
辺に見られる、通信及び情報交換に使用される他のツー
ルとの間には、関連性がほとんどないのが一般的であ
る。例えば、一般的な家庭又はオフィスでは、電話機、
留守番電話装置(又はボイスメールシステム)、オーデ
ィオ機器(ステレオなど)、ファックス、テレビ、コン
ピュータ及びプリンタ、ホワイトボード又は黒板、種々
のメモ、リスト、カレンダー、郵便物、本及び他の文書
が見られるかもしれない。ところが、通常、これらのリ
ポジトリの1つ以上において、情報はそのレポジトリだ
けに限定されている。例えば、アドレス帳に書かれたア
ドレスは、ユーザがわざわざそのアドレス帳から関連す
る情報をコンピュータに手動で移動しない限りは、コン
ピュータのEメールシステムにおいて簡単に使用できな
い。
【0012】さらには、ともに作用すべくデザインされ
たシステムでさえ、システムのタイプが異なると互換性
に欠けることは良く知られている。例えば、1つのデー
タフォーマットから別のデータフォーマットに変換する
場合、フォーマッティング又は他の情報が損失する可能
性がある。また、光学式文字認識(OCR)を用いてプ
リントされた文書を機械が読み取り可能な文書に変換す
る場合のように、エラーが変換先にまで及ぶこともあ
る。
【0013】以上のような障害のために、家庭及びオフ
ィス環境においては、異なる複数のデータタイプ及びフ
ォーマットが依然として存在している。例えば、家庭に
おいて冷蔵庫の扉に付けられたメモは、役に立つ便利な
コミニュケーション手段であることが多い。台所は家族
が集まる場所、又は少なくとも、毎日数回家族の誰もが
訪れる場所である。したがって、家族の一人が直接会え
ないかもしれない別の家族とコミニュケーションをとり
たいときには、短いメモを書いて、例えばマグネットな
どでそれを冷蔵庫の扉に付ければよい。カレンダ、コン
ピュータのプリントアウト、ファックス、名簿リストな
どの他の文書も、冷蔵庫の扉に付けることができる。
【0014】
【発明が解決しようとする課題】本発明は、従来技術の
上記課題に鑑み、直観的で、使用が容易で、強力(パワ
フル)で、他の伝統的な通信チャネルに組み込むことに
より相対的に広範囲に存在し、家庭及びオフィス環境で
役立つ、包括的な文書処理システム及び方法を提供す
る。
【0015】
【課題を解決するための手段】本発明によれば、ソース
文書には構成的な変化を要求せずに、情報データベース
システムにおいて使用する情報を、最小限のアシストに
より抽出できる。本発明のシステム及び方法は、物理的
ドメイン及びディジタルドメインに存在する文書を含む
多数のソースからの入力、及び印刷文書、ハンドライテ
ィング、オーディオメッセージ及び電子メッセージを含
む多くの異なるタイプの媒体での入力を受け入れること
ができる。このため、本発明によるシステム及び方法
は、複数ソースからの情報の分析に依存し、必要であれ
ば限定されたユーザ入力を含む。最終的な結果として、
ディジタル形式でも物理的形式でも使用できる製品が提
供され、ディジタル文書と物理的文書との領域間の障壁
を取り除くことにより実質的にあらゆる種類の情報が最
小限の難易度で交換可能になる。
【0016】本発明は、文書の内容よりも文書のジャン
ル構成の認識及び分析に依存する。文書のジャンルは有
益な情報の抽出をガイドする一方、各文書を全体的に認
識して解剖する必要を減らす。これにより、エラー及び
コンピュータコストが低減する。
【0017】したがって、本発明による、一覧表を処理
管理する方法は、ソース文書の少なくとも一部を表すデ
ータを受信するステップと、ソース文書のジャンル又は
構成を表すガイダンスを受信するステップと、前記デー
タを分析するステップと、前記ガイダンスを用いてデー
タに含まれるイベントを識別するステップと、前記デー
タからそのイベントの表示を抽出するステップと、その
表示をデータベースに統合するステップとを含む。この
方法は、ユーザとの相互作用の有無に関わらず機能す
る。
【0018】
【発明の実施の形態】まず、図1には、情報を管理及び
共有するための、本発明による分散型ネットワークが概
略的に示されている。以下にさらに詳細に説明するよう
に、本発明は、紙、手書きのメモ、名刺、Eメールメッ
セージ、音声(オーディオ)メッセージなどを含む(た
だしこれらに限定されない)多種の文書に存在する重要
情報の抽出及び使用を簡便にするものである。ただし、
ここで、文書の内容又はフォーマットに関する相当の予
備知識は一切必要なく、文書の「ジャンル」またはコン
テクストの知識が多少あればよい。以下の説明から明ら
かなように、本発明のシステムは、分散型アクセス、及
び集中又は分散処理のいずれかに適合する。
【0019】ここで用いる「文書」という用語は、任意
の持続的なコミニュケーション又は情報の集合を意味
し、有形の媒体(ハードコピーなど)に記録されたもの
でも電子的に保存されたものでもよく、また、機械読み
取りが可能な形式でも人間が解読できる形式でもよい。
文書の「ジャンル」は、文化的背景により決定された文
書カテゴリであり、その文書の解釈をガイドする。ジャ
ンルは、文書の本文(テキスト)ではなく、より大きい
文書環境(一目で区別できるような物理的媒体、写真、
タイトルなど。例えば、「ニューヨークタイムス社」か
らの「ナショナルエンクワイアラー」)により特定され
る。同じ情報でも2つの異なるジャンルにおいて示され
れば、2つの異なる解釈が生じる可能性がある。例え
ば、「明け方、通りは静かであった(At dawn the stre
et was peaceful....")のくだりで始まる文書は、「タ
イムマガジン」の読者と小説の読者とでは、違った解釈
になる。以下(図7から図12に関連して)、種々の一
覧表を説明するが、それぞれが異なる一覧表、例えばカ
レンダジャンルの例を表している。以下の説明から明ら
かなように、各文書タイプは、それに含まれる情報の理
解及び解釈をガイドする、容易に認識できる文化的背景
により定められたジャンル構成を有する。この構成を、
本発明の特定態様の基礎として使用する。
【0020】各々がフラットパネルディスプレイを有す
る2つのユーザ端末110及び112、遠隔CPU11
4、従来からのパーソナルコンピュータ116、統合さ
れた電話応答装置(TAD)機能を備えた電話機11
8、文書スキャナ120、ファックス装置122、プリ
ンタ124、及び手書き入力プレート126は、すべて
通信ネットワーク128に接続されている。ネットワー
ク128は、イーサネットローカルエリアネットワーク
(LAN)、無線LAN(RFまたは赤外線LAN)、
広域ネットワーク(WAN)などのいかなる種類の既知
のネットワークでもよく、インターネットでもよい。ま
た、ネットワーク128はピアトゥピアトポロジー(位
相)で接続された図示の装置のみを含んでもよいし、本
発明による動作用にデザインされているいないに関わら
ず、他の多くの異なる装置を含んでもよい。当業者にと
って明らかなように、他の多くのネットワークトポロジ
ー及びプロトコルを、本発明の範囲を逸脱することな
く、本発明の実施において使用することができる。しか
しながら、ここでは、例示された装置間の機能的な相互
操作についてを以下のように詳しく考慮する。
【0021】図2は、図1に示した物理的コンポーネン
トによって実行される機能を示した機能的ブロック図で
ある。ネットワーク128(図1)は、二方向通信リン
ク210として設けられ、中央処理装置(CPU)21
2及びメモリが接続されている。CPU212は本発明
の処理のほとんどを行うが、本発明の別の実施形態にお
いては、ネットワーク128に処理が分散されることも
ある。好ましくは、CPU212はメモリ214に接続
される。メモリ214は、特に、以下に説明する文書分
析に使用されるジャンル規定、文字認識に使用される文
字モデル、言語認識に使用される音声モデル、ならびに
システムに使用される他のデータを記憶すべく用いるこ
とができる。
【0022】ディスプレイ216がさらに設けられてい
る。ディスプレイ216は、CPU212に対して局所
的(ローカル)でもよいし、CPU212から遠隔にあ
ってもよい。また、携帯用に(パーソナルディジタルア
シスト(PDA)の場合のように)ネットワーク128
から切り離し自在にしてもよい。ディスプレイ216の
例示的な実施形態を後にさらに詳しく説明する。後の使
用に備えて文書情報を保存する、本発明の情報データベ
ース用の長期記憶装置218がさらに設けられ、通信リ
ンク210に接続されている。キーボード220、ポイ
ンタ装置222(マウス、トラックボールまたはライト
ペンなど)手書きプレート224、及びスキャナ226
を含む種々の入力装置がリンク210に接続されてい
る。これらの装置は、受信した情報を処理するためにC
PU212に送る。
【0023】ところが、ある文書タイプの場合には、上
記の入力装置のいずれによる入力も必要としない。例え
ば、PC116で受信したEメールメッセージは、すで
に電子形式なので、ディジタルドメインに変換する必要
はない。ファクシミリメッセージも同様であるが、この
場合は、ビットマップを機械読み取り可能な符号に変換
する必要はあるかもしれない。
【0024】マイクロフォン228及びスピーカ230
を含むオーディオインターフェースにより、オーディオ
文書(録音メモ)の入力及び使用が簡単になる。図1に
おいて提案されているように、マイクロフォン228と
スピーカ230は、電話機118又はネットワーク12
8に接続されたこれ以外の便利な装置に統合してもよ
い。
【0025】プリンタ232は、ハードコピー出力のた
めに設けられている。なお、前述の入力及び出力装置は
例示的に示したに過ぎず、多数の他の入力装置234及
び出力装置236を本発明に従って使用することができ
る。さらに、認識処理装置238または他の任意の処理
装置240などの付加的な処理装置を使用すれば、CP
U212の計算負荷をある程度軽減することもできる。
例えば、認識処理装置238は、マイクロフォン228
からの音声、プレート224からの手書き情報、又はス
キャナ226からの印刷文書の処理に使用されると考え
られる。いずれの場合でも、得られた入力は、機械読み
取り可能な対応データに変換される(例えば、話し言葉
は言語認識アルゴリズムを用いて、認識されたテキスト
に変換され、手書き情報は、手書き認識装置により認識
されたテキスト又はコマンドジェスチャに変換され、印
刷文書は光学式文字認識によりビットマップからテキス
トに変換される)。
【0026】システム全体の基本的機能が図3にブロッ
ク図で示されている。データベース310(好ましく
は、図2の記憶装置218をホストとし、CPU212
により管理される)は、文書情報、特にシステムにより
処理された文書において重要であるとされた情報のリポ
ジトリとして機能し、図2において機能的に例示された
入力出力サブシステム312に接続されている。入力出
力サブシステム312には、ディスプレイ216、キー
ボード220、ポインタ装置222、手書きプレート2
24、スキャナ226、マイクロフォン及びスピーカ2
28,230、プリンタ232、他の入力出力装置23
4,236、ならびに認識処理装置238、任意の他の
処理装置240、及びCPU212の特定機能を含む、
上記装置の制御に用いられる論理装置のうち、全てを含
んでもよいし、あるいは一部を含んでもよい。入力出力
サブシステム312は、文書314、音声メッセージ3
16、及び注釈318を、後述する詳細な方法にしたが
って処理することができる。
【0027】データベース310への入出力は、1組の
ジャンル規定320(好ましくは図2のメモリ214内
に保存されている)が提供するガイダンスに援助され、
システムにより処理される。ジャンル規定320は、シ
ステムが処理する文書の、予想される性質、構成及び内
容についての情報を提供する。特に、入力文書の場合に
は、好ましくはこのジャンル規定320により、文書に
おいて特定データ項目の見つけやすい場所、それらデー
タ項目のフォーマット、及び情報抽出プロセスにおける
効率に関するその他の考察が示される。一方、出力文書
に関しては、ジャンル規定は、好ましくは、ユーザの期
待に添うように、いかにデータベース310からのデー
タを人間の読みとれる文書に合成するかを示す。このよ
うな相互作用の仕組みについては、複数の詳細例に関連
して以下にさらに考慮する。
【0028】図1から図3に示した一般的システムの特
殊化されたアプリケーションを図4を参照して説明す
る。図4には、種々の文書からの予定や他の日時情報、
及びシステムへの入力を抽出し、その情報から作成した
カレンダによる一覧表を合成してデータベース310
(図3)に保存するための、システムにおいて実行され
るプロセスが示されている。
【0029】カレンダ文書の一部として記憶された日付
及び注釈情報410が、この方法の入力となる。すなわ
ち、まず、データ及び注釈情報が受信される(ステップ
412)。上述のように、この入力操作は多数の方法の
うち任意の方法によって実行できる。例えば、給紙式ス
キャナ又は走査ペンにより1つ以上の紙による文書を走
査する方法、特定のEメールメッセージ又はウェブペー
ジを処理対象として選択する方法、または、ボイス(音
声)メッセージの録音を提供する方法などである。1つ
以上のソース文書からなるコレクションがシステムに供
給される。したがって、ソース文書は、例えば紙又は他
の物理的文書でもよく、あるいは未認識の画像又は言語
データなど「生ビット(raw bits)」、またはASCI
IやHTMLなどのフォーマット化されたデータでもよ
い。各ソース文書は、システムによって認識可能なジャ
ンル構成を表すと仮定される。各ソース文書は、さら
に、1つ以上のキー情報を含むと仮定され、各キーが、
ユーザ(又はその他の人)が重要だとするメッセージに
関連している。例えば、ジャンルが(スケジュールなど
の)特定の種類のカレンダイベントに関連する場合、キ
ーは日付又は時間とすることができ、メッセージはこれ
らの日付又は時間に対応する計画されたイベントの知ら
せとすることができる。
【0030】一般的に、かつ平均的なユーザにとって重
要であるが、ソース文書はディジタルよりも物理的な形
式でシステムに供給される。この場合、システムはその
文書を取り込んで、ディジタル形式に変換する。例え
ば、ペーパー文書は全ページ用スキャナ又は走査ペンで
光学的に走査することにより、未認識の画像データを生
成することができ、この画像データを、セグメント化
(分割)、光学式文字認識(OCR)、スケッチ分析な
どによりさらに変換することができる。録音もディジタ
ル化することができ、その録音に言語が含まれる場合に
は言語認識装置によりその言語を認識できる。特定のシ
ステムに応じて、文書は、文字データ、グラフィックデ
ータ、絵によるデータ、音声又は画像データなど任意の
数のデータ形式を含んでよい。ディジタル文書よりも物
理的文書を入力として受け入れるシステムの能力が高ま
るほど、システムは日常的な習慣に違和感なく適合する
ことができる。
【0031】文書の入力時には文書入力のジャンルは決
定的であり、ユーザはこれを見ることができる。文書の
ジャンルは、入力文書のさらなる処理を援助するために
用いられる特定の入力規定414の選択に使用される。
当業者には理解できるように、入力ジャンルを特定する
ために様々な手段が考えられるが、1つの例示的な方法
が図27に関して以下に説明されている。また、特定の
ジャンルを有する文書を待機するようにシステムをプロ
グラムしてもよい。さらに、本発明によるシステムで
は、ユーザがさらに入力をしなくても入力文書のジャン
ルを発見的(heuristically)に決定する試みが可能で
ある。これは、異なるソースから異なる種類又はジャン
ルの文書が受信されている場合に特に有効である(例え
ば、Eメールメッセージは通常ある特定ジャンルを有
し、一方ファックスメッセージは異なる通常のジャンル
を持つかもしれない)。
【0032】例えば、ある特定の入力文書は、カレンダ
のジャンルを表しているとする。このジャンルの特性
が、可能なジャンル規定のライブラリから選ばれた、選
択された入力規定414によって示される。なお、一般
的に言えば、本発明によるシステムは多くの異なる文書
ジャンルを処理することができるが、1つのシステムの
例を、例えばカレンダなどの単一のジャンルタイプのみ
を処理すべく構成してもよい。その場合でも、スケジュ
ール、予定帳など多くの異なる種類のカレンダが存在し
てもよく(これらのいくつかについては、後にさらに詳
しく説明する)、これらのすべては単一の入力規定41
4または必要であれば複数の入力規定により定めること
ができる。説明の目的のため、カレンダジャンルに含ま
れる全文書は、上記のキー情報を含めて同様の構成を有
しているとする。
【0033】入力規定414を用いて、入力を分析し
(ステップ416)、関心ある情報を識別する。この処
理は、自動的に行ってよいし(図5参照)、ユーザによる
多少の相互作用(対話)により半自動的に行ってもよい
(図6参照)。識別された情報(カレンダジャンルでは、
通常少なくとも日付、時間及びイベントの名前が含まれ
る)が抽出されて、これが、単一のイベントに対応する
記録に関連づけられる(ステップ418)。続いて、こ
の記録がデータベース310に統合される(図3)。
【0034】あるいは、かつ好ましくは、入力文書全体
(または利用できる限り)をデータベース310に統合
し、その抽出された記録によりこれを索引づけして参照
する。これにより、必要に応じて、抽出されたイベント
をさらなる情報を得るために簡単に振り返ることができ
る。例えば、例示的な出力カレンダ(図12参照)には1
つ以上の入力文書から得た情報の要約だけしか含まれな
いかもしれない。このような場合、ユーザにはイベント
を「選択する」機会が与えられ、これにより、そのイベン
トの抽出元である入力文書全体のディジタル化されたビ
ットマップを含む、更なる情報を示すことができる。こ
の能力により、有用な保護手段が得られ、システムによ
るエラーの可能性(及び衝撃)が低減する。
【0035】ユーザが出力の作成を望む場合、出力規定
422が選択される。出力規定は、ユーザの所望する出
力ジャンルの特性を識別して示す。例えば、ユーザが、
1998年12月の家族全員のイベントを含むカレンダ
の作成を望むとする。出力規定422には、この文書の
フォーマットが十分に示されるが、データベース310
からの情報はいずれも含まれない。したがって、データ
ベース310の情報と出力規定424とから文書が作成
され(ステップ424)、ユーザに出力される(ステッ
プ426)。
【0036】文書情報を自動的又は半自動的に処理する
場合、例えば、システムが適切な日付及び時間の正確な
識別に失敗したということが大いにあり得る。したがっ
て、出力文書をチェックしてそれが正しいか否かをシス
テムに示す機会がユーザには与えられる(ステップ42
8)。出力が正しくない場合には、分析を調整し(ステ
ップ430)、再度情報を抽出する。当業者には理解で
きるように、この調整はいくつかの手段によって行うこ
とができる。例えば(ただしこの例に限定されない)、
分析に使用されるパラメータを調整する方法、可能性の
重み付けリスト中の別の選択肢に戻る方法、又はユーザ
のガイダンスを受け入れる方法がある。分析の変更を簡
単にするために、データベース310は、ステップ41
6から418において得られた分析情報に加え、全文書
例を継続して保有するのがよい。なお、ここでは調整ス
テップ430は、出力の生成後に行っているが、前述の
いかなる手段による分析調整も、任意の処理ステップに
おいて実行が可能であり、例えば、文字認識が行われた
直後でも、情報がデータベースに保存される前でもよ
い。
【0037】図5には、図4における入力分析の自動バ
ージョンによる処理が示されている。まず、入力規定5
10及び入力データ512が入力され、必要であれば、
文書を機械読み取り可能なフォーマットに変換するため
に、入力データ512に文字認識を行う(ステップ51
4)。
【0038】認識された入力から、関連部分が識別され
る(ステップ516)。当業者には理解できるように、
この識別には多数の方法がある。1つの方法は、単純に
数字を走査する方法であり、別の方法としては、数字、
月、曜日、「〜時」という表現など、潜在的に関連する
情報のタイプをすべて走査する方法がある。そして、シ
ステムはこの関連部分から、必要な日付(ステップ51
8)、時間(ステップ520)、及びイベント名及びそ
の他の注釈(ステップ522)、さらに必要であれば、
対象となる人物(ステップ524)を抽出する。特に、
日付と時間は、システムによる識別を補助する、合理的
に十分に定められた構成を有している。これらの特性に
ついては、以下にさらに詳細に説明する(図18,2
1,22及び23参照のこと)。家庭及びビジネスにお
いては、名前も(例えば、有効な名前のリストのチェッ
クによって)簡単に識別できる。
【0039】図6には、図4の入力分析ステップの半自
動バージョンが示される。日付(ステップ610)、時
間(ステップ612)、イベント名(ステップ614)
及び人物(ステップ616)の全てがユーザによって識
別される。続いて、データ抽出及びデータベース310
での索引づけを簡単に行えるように、日付(610)、
時間(612)、イベント名(614)及び人物(61
6)に対して文字認識が実行される(618)。
【0040】任意の特定文書には、前記データ項目の少
なくとも一つが含まれないことがあるのは明らかであ
る。例えば、カレンダには、一日がかりのイベントの時
間は含まれないことがある。この場合、システムは、そ
の省かれたデータ項目を手動で入力することを許可して
もよいし、あるいはその項目なしで動作を続けてもよ
い。詳しく後述するように、ユーザによるデータ項目の
識別(ステップ610から616)は、ハードコピー文
書にガイド注釈を書く(これを後に走査する)方法、走
査ペンを使用して連続的にデータフィールドを入力する
方法、あるいは任意の他の同様な方法により行ってもよ
い。より自動化された別の実施形態では、識別のため
に、特定の項目の「指定」のみがユーザに要求され、シ
ステムが文字又はパターン認識によって、書き込まれた
データフィールドの範囲を決定する。
【0041】上記の要求された手動による入力は、必要
な状況に応じて、キーボード、手書き認識、あるいはポ
インタ装置による単なる選択肢の選択によって実行する
ことができる。
【0042】次に、カレンダ作成システムの動作の詳細
例を説明する。これにより、ユーザが1つの特定入力機
構、この場合はスマート走査ペン(その1実施形態を以
下に詳細に説明する)、を使用して、種々の文書ジャン
ルからのカレンダデータをいかに構造分析して統合でき
るかが示される。すでに説明したように、可能な入力手
段は走査ペンに限定されないが、ソース文書はその獲得
後に走査ペンによって処理される機会が多いため、発明
の説明を簡単にするために走査ペンを使用する。
【0043】ここに説明する特定の実施形態において
は、ユーザは、単一のボタン又は他の任意のユーザコン
トロールを備えたスマート走査ペンと相互作用する(そ
の1実施形態を図24に示す)。ボタンのクリックによ
り、新しいアポイントメント(予定)が入力されている
ことをシステムに示す。ボタンをクリックした後は、ユ
ーザの走査ペンに対する主な相互作用は、この走査ペン
により文書表面を横切って連続的に文書をなぞることで
ある。このように文書をなぞるごとに、テキストページ
のビットマップ部分が生成される。このビットマップ部
分が分析され、光学式文字認識(これは、システムへの
データ移送の一部としてペン自体で行ってもよいし、シ
ステムの別のコンポーネントによる処理として後に行っ
てもよい)によってディジタルテキストに変換され、さ
らにジャンル特有の発見的方法で分析される。
【0044】走査されたイベントの組が、走査ペンの局
所記憶部からカレンダ作成システムに転送される。これ
を行うには、種々の標準的メカニズムを利用することが
できる。本発明の1実施形態においては、走査ペンは、
その走査先端部から最も離れた端部付近に赤外線(I
R)送信部を備える。ネットワーク128に接続された
ホストの方向にこのペンを「さっと動かす(又は素早く
その方向に向ける)」と、情報はホストに送信される
(ただし、ホストは前記情報を受信できるIR受信部を
備えなければならない)。なお、ドッキングステーショ
ン又は直列ケーブルなど(ただしこれらに限定されな
い)、より古典的な手段も利用できる。
【0045】図4に示したように動作するカレンダ作成
システムに用いられる走査ペンの一例を以下に示す。ペ
ンのボタンのクリックは、CLICKとして示す。ま
た、テキストをなぞる場合には、その文字を『』で囲む
こととする。
【0046】学校スケジュールの例が図7に示されてい
る。ここで、このスケジュールの構成は明白である。す
なわち、何か(この場合には学校)が「オンである(行
われている)」時間と「オフである(行われていな
い)」時間のスケジュールである。特定のサブグループ
(例えば、1年生から3年生)への応用または「オフ」
の特定形式(例えば、休暇)など、この構成の追加的な
改良もいくつか存在する。今、ユーザが毎日の下校時間
をシステムに入力したいとする。この場合の走査手順例
は以下の通りである。
【0047】−CLICK −『Regular Daily(平常日)』(710) −『Dismissals(下校)』(712) −『2:45 PM (午後2:45)』(714) −CLICK −『Every Wednesday Starting September 3, 1997
(1997年9月3日より毎週水曜日)』(716) −『Dismissal for Grades 1-5 (1年生から5年生ま
での下校時間)』(718) −『1:30 PM (午後1:30)』(720)
【0048】最初のなぞり710『Daily(平常日)』
から、システムは、この予定時間は毎日繰り返されるこ
とを決定でき、第3のなぞり714によってこの時間が
午後2:45であることが付け加えられる。システムは
第2のなぞり712をイベントの注釈として扱うが、こ
れはそのデータを日付とも時間とも認識できないからで
ある。
【0049】第4のなぞり716により、システムは第
2の予定の頻度及び曜日を決定できる。第5のなぞり7
18はその予定を注釈し、第6の最後のなぞり720に
より繰り返し時間が提供される。
【0050】図8にはプログラムカレンダの例が示され
ている。このタイプのカレンダは、別のスケジュールが
記載されているという点で、上記の学校の例(図7)と
同様であるが、教会法に基づくカレンダではなく12ヶ
月のカレンダである。ユーザが、9月の両イベント81
6と822、及び12月のハヌカー祭ブランチをシステ
ムに入力したいとする。走査手順は以下の通りである。
【0051】−CLICK −『MiDor L’Dor』(810) −『September(9月)』(812) −『14』(814) −『KICK OFF PICNIC(キックオフピクニック)』(8
16) −『12 noon-2 pm, with Shorashim, at Mitchell park
(正午12から午後2時まで、Shorashimあり、ミッチ
ェル公園にて)』(818) −CLICK −『20』(820) −『MiDor L’Dorbegins(始業)』(82
2) −CLICK −『MiDor L’Dor』(810) −『December (12月)』(824) −『21』(826) −『CHANUKAH BRUNCH (10am-12 noon, with Shorashim)
(ハヌカー祭ブランチ(午前10から正午12まで、Sh
orashimあり)(828)』
【0052】最初の一連のなぞり、すなわち812,8
14及び818には日付及び時間の情報が含まれる。な
ぞり810及び815はかかる情報を含まないため、イ
ベントの注釈として機能する。
【0053】第2の一連のなぞりでは、日付情報は82
0に含まれる『20』のみである。これは日付の不完全
な一部であるので、月及び年が前のイベントから移され
る。なぞり822は、イベントの注釈として機能する。
【0054】第3のなぞりの連続においては、824,
826及び828が日付情報を含んでいる。810及び
828はそれ以外の情報を含むので、イベントの注釈で
ある。なお、なぞり828は、日付と注釈情報のいずれ
をも含んでいる。
【0055】第3のタイプのカレンダ、スナックスケジ
ュールが図9に示されている。これも、他のスケジュー
ル(図7及び図8)と同様である。ここで他のスケジュ
ールとの相違点は、ユーザに関連するのは1つの入力の
みである(特定人物のスナック指定日)という点であ
る。今、ユーザは10月18日のイベントを入力したい
とする。走査手順は以下の通りである。
【0056】−CLICK −『October 18 Rob Rudy(10月18日、ロブルーデ
ィ)』(910) −『Snack Schedule(スナックスケジュール)』(91
2)
【0057】前出の例と同様、1つのなぞり910に、
日付と注釈情報のいずれもが含まれている。第2のなぞ
り912には注釈情報だけが含まれる。よって、このイ
ベントは、10月18日の日付及び『Rob Rudy, Snack
Schedule(ロブルーディ、スナックスケジュール)』と
いう注釈とともに入力される。
【0058】第4のタイプのカレンダ、ウェブページが
図10に示されている。これもスケジュールではある
が、主にディジタルドメインに保持されるものである
(ただし、ハードコピーフォーマットにプリントするこ
とはできる)。ユーザが9月6日のイベントを入力した
いとすると、そのために走査手順は以下の通りである。
【0059】−CLICK −『Game Schedule-Team B606(試合スケジュール−チ
ームB606)』(1010) −『9/6 8:30 (9月6日、8:30)』(1012) −『El Carmelo Elementary School(エルカルメロ小学
校)』(1014)
【0060】第2のなぞり1012が完全に日付を特定
するべく機能し、それ以外の1010及び1014は注
釈として機能する。他のイベントと同様に、例えばこの
場合には学校への方角やどの児童がチームB606に属
するのかなど、文書にすでにプリントされている以外に
もさらに注釈を加えたい場合が考えられる。このような
注釈の追加は、処理の後の段階で、システムのユーザイ
ンターフェース(例えば、図1の端末100と112の
いずれか)によって行うこともできるし、または別の実
施形態においては、走査ペンを読み取りだけではなく書
き込みもできるようにして、ユーザが追加の「なぞり」
テキストを自分で書き込んでもよい。
【0061】図10に示されるように、「Sam」とい
う名前1016がカレンダに手書きされている。本発明
の1実施形態においては、このような手書きの注を使用
して9月6日の試合の記録にさらなる注釈を加えること
ができる。好ましくは、図10のカレンダの他のデータ
を入力するために使用した走査ペンによって、ハードコ
ピー文書に書き込みができる(同時に手書きの注を構成
する物理的ジェスチャの記録も行いながら)か、あるい
はウェブページなどのディジタル文書の「マーク」がで
きるのが好ましい。あるいは、すでに手書きされている
注を走査して、走査ペンによるなぞりによってディジタ
ル化することもできる。いずれの場合にも、手書き認識
又は他のジェスチャ記号解剖手段によって機械読み取り
可能なフォーマットに変換されたこの手書き情報は、走
査された記録に関連づけられ、データベース310(図
3)に保存される。
【0062】走査ペンをディジタル文書の「マーク」に
使用する場合には、文書がすでにディジタルドメインに
あるので、ペンでその下に位置するディジタル文書の情
報を実際に走査する必要はない。そのペンによって、下
部の情報の抽出もととなる各なぞりの位置をシステムに
示すだけで十分である。
【0063】第5のタイプのカレンダ、結婚式の招待状
が図11に示されている。ユーザがこのイベントをシス
テムに入力したい場合、走査手順は以下のようになる。
【0064】−CLICK −(23)『Doctor Richard Roderick Burton(リチャ
ードロデリックバートン博士)』(1110) −(24)『marriage(結婚式)』(1112) −(25)『Sunday, the ninth of November(11月
9日、日曜日)』(1114) −(26)『Nineteen Hundred and ninety-seven(1
997年)』(1116) −(27)『at one-thirty in the afternoon(午後1
時30分)』(1118) −(28)『Saint Andrew's Episcopal Church(聖ア
ンドリュー監督教会)』(1120) −(29)『13601 Saratoga Avenue(サラトガアベニ
ュー13601)』(1122) −(30)『Saratoga, California(カリフォルニア
州、サラトガ)』(1124)
【0065】なぞり1114,1116及び1118は
イベントの日時を特定し、1110,1112,112
2及び1124はイベントの注釈である。1120,1
122及び1124には住所が記載されている。この情
報は、注釈の一部のままにすることもできるし、以下に
説明するようにシステムによって抽出することもでき
る。なお、このさらなる情報は階層的に表示することが
でき、必要になるまで詳細が隠されている。さらに、本
発明の1実施形態においては、図11の招待状全体(ま
たは少なくともその追加部分)を走査し、上述のように
イベントの注釈として抽出されて使用された情報に加え
て、画像としてデータベース310(図3)に保存す
る。このようなアプローチは次のような効果を有する。
すなわち、文書の追加的な情報(例えば、新婦の名前な
ど)にアクセスができ、たとえキーデータ項目を抽出す
るときには必要であると予想されないとしても、必要な
ときに情報が利用できる。
【0066】図7から図11から得られた情報に基づき
出力されたカレンダの例を以下に説明する。すでに説明
したように、このカレンダのフォーマットは出力規定4
22(図4)に記載されており、ユーザの好み及び所望
する詳細のレベルに応じて変更することができる。
【0067】 家族用カレンダ1997年9月 6日 [午前8:30]試合スケジュール−チームB606 (エルカルメロ小学校) 14日 MiDorL’Dorキックオフピクニック (正午12時から午後2時、Shorashimあり、ミッチェル公園にて ) 20日 MiDorL’Dor始業1997年10月 18日 ロブルーディ、スナックスケジュール1997年11月 9日 [午後1:30]結婚式 リチャードロデリックバートン博士 聖アンドリュー監督教会1997年12月 21日 MiDorL’Dorハヌカー祭ブランチ (午前10から正午12時、Shorashimあり)
【0068】10月18日の入力(「ロブルーディ、ス
ナックスケジュール」)など、入力によっては利用可能
な全情報により注釈される。すなわち、ソース文書から
抽出された情報は全てこの出力カレンダにおいて利用で
きる。しかしながら、本発明の別の実施形態において
は、ソース文書全体がディジタル化されてデータベース
310に保存されるので、例えば入力に関連するハイパ
ーリンクを選択することにより、出力カレンダをディジ
タル形式で見ることができる。逆に、11月9日の入力
(「結婚式」)など、入力によっては、走査された情報
の一部しか見ることができない。例えば、11月9日の
入力では、教会の住所が省略されている。ここでも、デ
ィジタル形式の出力カレンダにより、選択的なオプショ
ンを介してユーザは追加的な注釈(または入力された招
待状全体の像をも)見ることができる。また、イベント
によっては(例えば、9月6日及び11月9日のイベン
ト)、関連する時間を有する。時間は、出力規定422
(図4)によって定められた方法で記載され、出力カレ
ンダによっては必要に応じてこの情報を省略してもよ
い。
【0069】図12には、出力カレンダの別の例121
0が、格子状のフォーマットで示されている。このフォ
ーマットも、出力規定422(図4)によって特定され
ている。カレンダ1210は、端末110(図1)に表
示できるタイプのカレンダであり、前述の例と同様に、
ハードコピーカレンダにはより多くの情報が含まれる。
特に、カレンダ1210は、少なくとも3人、すなわち
ジョン、ヘンリー、シルビアを含む家族のための月カレ
ンダのサンプルを示している。ジョンの歯医者の予約1
212が1998年12月21日に示されている。ディ
スプレイには、ジョンの名前、イベント名、すなわち
「歯医者の予約」ならびに予約時間「午前9:30」が
示され、日付に関しては、予定1212をカレンダ12
10の該当位置に置くことにより示される。同様に、ヘ
ンリーの会合1214が、開始時間(午後1時)及び終
了時間(午後4時)とともに12月11に示されてい
る。12月9には2つの予定が示されている。最初の予
定1216はシルビアの予定で、第2の予定1218は
ジョンの予定である。スペースが限定されるため、記号
「>>>」によりさらなる情報が利用できることを示し
ている。追加的な情報には、イベント名、時間などにつ
いての情報を含んでもよい。カレンダ1210は電子的
に表示されるものであるので、ユーザは予定1216と
1218のいずれかを選択して追加的な情報を見ること
ができる。このカレンダのハードコピーバージョンに
は、この追加的なデータが示されている。
【0070】本発明は、さらに、音声録音などのストリ
ームデータ文書を、その認識可能なジャンル構成に基づ
き分析し、例えばその文書の形式を一般的な使用により
適合しやすく変更する技術を含む。本発明のこの態様
は、多くのタイプの録音に適用可能であるが、以下に詳
細に説明する適用例は、留守番電話装置又はボイスメー
ルメッセージに関し、その文書構造は、メッセージ中の
特定情報、例えば名前や電話番号を決定できるものであ
る。本発明は、受信者により便利なように、キー情報を
要約し、抽出し、スキップし、又は再構成する。
【0071】したがって、ここに示される技術は、他の
言語認識技術を補足するものとして使用することができ
る。例えば、これを用いて、長い音の流れを電話番号ま
でスキップしたり、あるいはメッセージを並び替えて挨
拶や電話番号をメッセージの最初に持ってきてこれにメ
ッセージ本文や終わりの挨拶が続くようにすることもで
きる。既存の電話番号抽出技術と組み合わせて使用する
場合には、メッセージの特定キー部分の「サニティチェ
ック(正確性のチェック)」として、かつ認識の全体精
度を支持するために、この技術をすでに理解された又は
文字化されたメッセージに適用することができる。より
特定的には、本発明の技術を用いて文書中のキー情報を
局所化し、より洗練されたまたは時間を要する信号処理
を文書中のその部分に行うことができる。
【0072】ここで、関連媒体(すなわちストリームデ
ータ)の2つの側面に注目することが重要である。第1
に、媒体は線形であり、実質的に順アクセスのみを提供
できる。本発明の技術により、(例えば、ランダムアク
セスのためにメッセージを文字化するのではなく)メッ
セージを受信した同一の媒体においてメッセージの抽出
部分に継続的にアクセスできるという利点がある。ま
た、電話番号(または他の予想可能なジャンル特定情
報)も発呼者自身の声で保存することができる。これ
は、重要な文字化不能な情報を受信者に提供する音声ス
トリームの側面である。さらに、ジャンル構成によっ
て、発呼者と装置との相互作用が簡単になる(この効果
は、基本メッセージ構成が広範囲にわたって存在する場
合には明らかである。すなわち、電話メッセージが大き
く変わった時を記憶するのは簡単である)。しかしなが
ら、この同じ構成のために、最初の聞き取り以後のユー
ザの使用が不便になる。例えば、長い電話メッセージ
は、それに含まれる電話番号(短くて、メッセージの最
後に位置することが多い)を残すためだけに維持される
ことが多い。もちろん、文書構成は、その一部のみがジ
ャンルにより決定し、大半は自由な形式である。本発明
のこの態様では、予め定められたあるいは厳密な形式は
要求されない。
【0073】音声メッセージなどのストリーム媒体デー
タを処理する、本発明によるシステムが、図13のフロ
ーチャートに説明される。まず、音声内容1310(一
般的には、パルス符号変調など、任意の既知フォーマッ
トのディジタル化されたデータ列)がシステムによって
受信される(ステップ1312)。図1及び図2に示さ
れるように、この音声内容は、電話機、留守番電話装置
の録音、専用メモ録音機又は他のソースから受信するこ
とができる。
【0074】次に、音声メッセージを分析して(ステッ
プ1314)、その構成部分を識別する。分析は、リア
ルタイム(例えばメッセージの受信中)で行うこともで
きるし、メッセージの保存後に行うこともできる。本発
明の1実施形態においては、メッセージに音声認識を行
い、発話された言葉の全てを分離して識別する。隠れマ
ルコフモデルを使用する方法を含め、これを実行するた
めの種々の技術が当業界では周知である。音声認識に用
いられるモデルは、ボキャブラリの大きい一般目的の認
識モデルでもよいし、好ましくは、単に数字や「キュー
となる単語」(例えば、「at」、「is」、「am」、「名
前」、「番号」など)の限定された語彙のみを識別でき
るものでよい。あるいは、分析ステップ(ステップ13
14)では、単に、メッセージ中の間(ポーズ)及びい
くつかの特徴的なキュー単語を識別する。この場合、よ
り簡易化された、コンピュータ依存の少ないパタン認識
技術によって分析が実行できる。
【0075】本発明の好適な実施形態においては、メッ
セージ分析ステップはガイダンス1315により簡易に
なる。前述のカレンダ作成システム(図4)では入力分
析ステップが入力規定414によりガイドされたが、こ
の応用においても同様に、ガイダンス1315は一般的
な音声メッセージのモデルまたは規定として提供されて
いる。なお、メッセージ分析ステップ(ステップ131
4)が完全に自動化されていてもガイダンス1315は
提供される。すなわち、話し言葉の語彙、あるいは本発
明の好ましい実施形態では、間(ポーズ)及びキューワ
ードを認識できるプログラミング(アルゴリズム及び音
声モデルを限定的でなく含む)において、ガイダンスは
必須である。
【0076】分析に続いて、少なくとも名前(ステップ
1316)及び電話番号(ステップ1318)が識別さ
れる。もちろん、メッセージによってはいずれの情報項
目も含まないものもあるが、(本発明の観点から)有用
なメッセージにはこれらがいずれも含まれる。さらに、
情報は、音声メッセージだけから抽出する必要はない。
例えば、オフィスのボイスメールシステムの音声メッセ
ージは、話者の名前及び電話内線番号を含む、ディジタ
ルデータとしてアクセス可能なメッセージヘッダを有す
ることがある。同様の情報、または少なくとも電話番号
は、電話システムが提供する「発呼者ID(識別)」デ
ータからも得ることができる。
【0077】ガイダンス1315は、識別ステップ(ス
テップ1316)においても役立つ。これは、好適な実
施形態においては、ガイダンス1315が、データのフ
ォーマット(例えば図18)及び位置(例えば図14)
に関する情報を含む、音声メッセージに存在すると予想
される役立つデータのモデルを含むからである。識別プ
ロセスの仕組みならびにそのいくつかの例を以下に説明
する。
【0078】名前及び電話番号が分離されると、それら
のデータへのポインタ(指標)が音声メッセージととも
に保存される(ステップ1320)。このポインタによ
り、メッセージ中の所望部分を簡単に探すことができ
る。例えば、相手に折り返し電話する必要があること
は、長いメッセージを全て聞くまで分からないかもしれ
ない。従来からのボイスメッセージシステムを使用する
場合、メッセージを巻き戻してどこか途中にある発呼者
の名前や電話番号を探すのは不便である。しかしなが
ら、発呼者の名前及び電話番号へのポインタがあれば、
メッセージの特定ポイント(例えば、発呼者の名前と電
話番号が話された場所)へのユーザのランダムアクセス
を許可するためのコマンドを提供することができる。
【0079】したがって、ユーザが特定の機能1322
(例えば、発呼者の名前を探す)を所望すると、コマン
ドがシステムによって受信される(ステップ132
4)。このコマンドは、「全メッセージを再生する」
(ステップ1326)であっても、「発呼者の名前のみ
を再生する」(ステップ1328)でも、「発呼者の電
話番号のみを再生する」(ステップ1332)でもよ
い。ここで、音声認識技術(及びここに示される技術)
は絶対確実ではあり得ないので、メッセージの間違った
部分が選択された場合には、(例えば、図4に関してす
でに説明したように、パラメータの調節、別の選択肢の
選択、又はユーザ入力の受け入れにより)システムにメ
ッセージを再分析させるための機能が提供される。
【0080】所望する場合には、メッセージとそのポイ
ンタをデータベース310(図3)の一部として保存す
ることもできるが、認識が完全に実行されていなけれ
ば、システムは、ユーザの介在なしにその情報を意味あ
る形で索引できない可能性が高い。メッセージ全体及び
関心あるデータへのポイントがデータベースに保存でき
るか、名前と電話番号のみ(例えば、ユーザがその正確
な抽出を確認した後)を選択してデータベースに統合で
きるかのいずれかである。よって、抽出が行われると、
抽出された番号は少なくとも3つの異なる方法で処理が
可能である。すなわち、抽出された番号を、完全な音声
ストリームとして保存し(ペンコンピュータが未認識の
手書きデータを保存するのと同様)、特定のメッセージ
を注釈する一時的な形式として保持してもよいし、また
は、(発呼者を識別する挨拶部分全体又はその一部とと
もに)番号をデータベースに保存してもよい。または、
数として認識し、適当なオーガナイザ(カレンダ又は電
子アドレス帳など)に統合することもできる。さらに、
この技術をアクセレータ(スピード機能)として使用
し、電話キーパッドのキーを使って、長いメッセージ内
に隠れている電話番号に直接スキップすることもでき
る。この構成においては、音声ストリームに変更がない
だけでなく、そのデータは同一媒体に維持されてアクセ
スされる。
【0081】抽出された番号が、一時性の小さい受信者
の情報ベースの一部を構成する場合には、ボイスメール
構成中の音声キューを使って発呼者の名前を抽出するの
が適当である。この工程も、メッセージジャンル及び慣
習的な構造(例えば「Hi this is...returning your ca
ll」)に依存する発見的方法、及び既知の名前の音声リ
スト(及びそれをスペルアウトしたもの)を使用して自
動化が可能である。
【0082】たいていの電話メッセージが半規則的なパ
タンに従っていることが認識されている。情報の抽出を
容易にするこのパタン又はモデル1410が図14に示
されている。一般的には電話メッセージは通常、挨拶の
言葉1412(例えば、「もしもし、例の車の販売の件
でお電話しています」("Hello, I'm calling aboutthe
car for sale")で始まり、発呼者の名前1414
(「ジョンスミスです」"My name is John Smith")、
メッセージ1416(例えば、「価格の交渉のことなん
ですが」"I'd like to know if you'd be willing to n
egotiate a lower price”)、電話番号1418(「こ
ちらの電話番号は、555−1212です。」"My numb
er is 555-1212")、結びの言葉1420(例えば、
「よろしければ折り返しお電話ください」"please call
me back if you want to make a deal")が続き、終わ
りの挨拶1422(例えば、「では失礼します」"By
e")となる。
【0083】すでに説明したカレンダ作成システムと同
様に、メッセージの分析(ステップ1314)は、自動
的、半自動的又はほぼ手動によって実行することができ
る。図15に示される自動バージョンでは、メッセージ
の単語が認識され(ステップ1510)、分離され(ス
テップ1512)、音訳として保存される(ステップ1
514)。音訳された各単語(限定された語彙の認識モ
デルの場合には、オリジナルメッセージの全単語ではな
いこともある)の位置が音声メッセージに相関づけられ
る。すでに説明したように、この相関づけには、隠れマ
ルコフモデル音声認識方法を使用することができる。一
方、図16に示される半自動バージョンでは、メッセー
ジ中のギャップ又は間が識別され(ステップ161
0)、キューワードが識別され(ステップ1612)、
キューワードの位置が保存される(ステップ161
4)。通常、名前及び電話番号がキューワードに続くの
で、各候補キューワードをさらに考慮することにより、
有効な情報が続くかどうかを決定することができる。さ
らに、図17の手動バージョンにおいては、関心あるデ
ータの位置を示すユーザ入力1710が受信される(ス
テップ1712)。例えば、ユーザは、電話番号が話さ
れているのを聞いたときに「電話番号」ボタンを押し、
発呼者の名前が告げられたのを聞いたときに「名前」ボ
タンを押してもよい。これらの手動で生成されたキュー
がメッセージ内の位置に関連づけられ(ステップ171
4)、保存される(ステップ1716)。なお、ユーザ
は電話番号がほぼ完全に言われるまで、それに気づかず
「番号」ボタンを押さないかもしれないので、手動で生
成されたキューの位置を自動的に調節し、特定の長さを
有する最も近い沈黙の間まで、その位置を時間的に戻し
てもよい。
【0084】次に、メッセージ構造のいくつかの詳細例
について考える。ここで、いくつかのサンプルボイスメ
ールメッセージを、実際のボイスメールボックスから書
き起こした。各メッセージは、名前を変更して、いくつ
かのキーワードを変えてあるが、メッセージの意味合い
及びその基本構造はそのままである。
【0085】例1 発信者:リーネゲッツ <電話録音採取> 送信日時:10月29日 午前9:39 <自動時刻印
> 「Hello Cathy this is Leanne Goetz. Cathy, could y
ou give me a call please. I am trying to track dow
n...I had a copy of your presentation yesterday an
d I was trying to fax it to finance. Unfortunatel
y their fax waswrecked and they never actually rec
eived it and I made the mistake of giving that cop
y back to Arnold. So now I can't put my hands on i
t and it's likely that it might even be in his hom
e office or in his pack that heis carrying. But I
still need to get a copy of that to finance,Is th
atsomething that you could email to me or bring me
a hardcopy? Thanks Cathy. Bye-bye.」
【0086】例2 (割り込みされた電話番号を含むメッセージ) 送信日時:10月30日 午前10:30 <自動時刻
印> 「Hey Cathy, this is Mark Stott. I thought I'd cal
l and see what the story was with you and the meet
ing next Tuesday and all of that. Um. We finally m
anaged to get a copy of the agenda so we're actual
ly sort of uhhhfiguring out who's going to this.
So I thoght I'd -- gee maybe Cathy'sgoing -- so I
thought I'd call and check and see what the story
was. Give me a call if you get a chace. 4-1-5 --
so I'm local-- 5-5-5-3-4-5-6.Talk to you soon. By
e.」
【0087】例3 (電話番号及び市外局番(エリアコ
ード)を含むメッセージ) 「Hi Cathy this is Chris Finch calling and I'm res
ponding to our emailsthat have been crossing and
I'm calling because my email umm at my SanFrancisc
o State address has been locked up and I'm uh just
trying to getit unlocked but in the meantime I ju
st wanted to see if we could possibly set somethin
g up. Ummm. I am actually free tomorrow which I kn
ow is very short notice and I'm not even taking th
at seriously but I just thought I'd throw it out t
here. Ummm. Not next week but the following week.
Umm. So I was hoping that ummm we can get somethin
g going.I would love tocome down and meet with yo
u. So if you could give me a call back at 4-1-5-5-
5-5-0-3-6-9 that would be terrific and I'll look f
orward to hearingfrom you. Thanks so much. Buh-b
ye.」
【0088】例4 (曖昧な信号、すなわち「at」に続
く番号、を含むメッセージ) 送信日時:金曜日 午前9:56 <自動時刻印> 「Hi Cathy it's Jennifer Stott um I'm just calling
about Denise's surprise party. It's tomorrow and
I know you had mentioned that you were possibly in
terested in contributing to one of the big gifts a
nd I talked to Jim Swift this morning and he was
gonna go out and pick something up sometime today.
Umm. And I had mentioned to him that you might b
e interested in contributing to that gift. So if y
ou have a chance and get this message ummm why do
n't you just give Jim a call. I don't have his pho
ne number but I know that he's also there at the l
ab so um I'm sure you havethat handy. Anyway if y
ou have questions, just give me a call Umm .Markan
d I are home kind of off and on all day today at 5
-5-5-0-8-6-4. Or Iguess we'll see you at the party
tomorrow at 4 o'clock. Bye-bye.」
【0089】例5 (電話番号を含まないメッセージ) 発信者:フレッドトンプソン <電話録音採取> 送信日時:金曜日 午後6:10 <自動時刻印> 「Hi Cathy this is Fred Thompson. I forgot to get
back to you yesterday. Uhh.. Both computers are
all fixed up .Boards removed. Uhh. Reloadedwith 4-
1-3. Cuz the machine I believe the name is uh.. do
es not have enough disk space to have any swap sp
ace. And...umm.. if you have any questions, let me
know on Monday. Thank you very much.」
【0090】例6 (慣習的な内部メッセージ−「十分
に定型化されている」ことに注目) 送信時間:午前8:55 <自動時刻印> 「Hi Cathy this is Alex Trebek. I just wanted to c
heck with you on uh the shipment of the SPARCstati
on uh computer ummm and to see if that had gone ou
t. I do need a copy of the shipper etc. Um. Give
me a call. I'm at 3-8-4-5 ane let me know what th
e status is. Thank you.」
【0091】例7 (形式に従った内部メッセージ。特
別な番号が、複数の異なるキューによって内線番号とは
はっきり区別されていることに注目。第1に、年は2つ
の数字、「19」と「96」として話されている。第2
に、「at」というサインが用いられている。最後に、内
線番号はメッセージの最後にあり、定型の概念に従って
いる。) 発信者:マリアンブランチ <電話録音採取> 送信時間:午後4:18 <自動時刻印> 「Cathy, this is Marian. Um I called because I'm l
ooking for a book thatwas checked out to somebody
who I believe was a summer student who wasworking
with you - he gave your name - in 19-96. Um. Flav
io Azevedo andthe name of the book is "Doing with
images makes symbols" by Alan Kay.Um. We are anxi
ous to get it back and of course I suspect the wor
st.Anyway. I'm at 5-9-0-8. Talk to you later. Than
ks. Bye.」
【0092】例8 (電話番号が繰り返され、「is」で
紹介されている。第2の電話番号はメッセージ中に含ま
れるが、「電話番号は("number")」と前置きがある。
長い結びのため、構造が多少異なっている。) 送信日時:昨日午後5:45 <自動時刻印> 「Hi Cath it's Cynthia it's about um 5:45 and I ac
tually came to the Creekside. Um. I tried you ear
lier and you weren't there and besides I kind of w
anted to check in.So anyway I'm at the Creekside w
hich is 5-5-5-2-4-1-1. 5-5-5-2-4-1-1. I'm in room
1-15. Um. I'm going out to my car andget may bags.
And I'm also going to check my um other number 7
-8-9-0 tosee if you left a message there by chanc
e. Then I thought I actually would head toward Sta
ncey's it occurred tome that if you wanted to go t
o downtown Palo Alto I could just pick you up at P
ARC on my way. We could go and Icould take you bac
k to your bike later. Um. Or we could do whatever
you want to. Ummm. Anyway hope things are okay.
And I will check my number and I'll be here for a
little while and probably leave you moremessages.
Bye-bye. 」
【0093】これらのメッセージの調査から、以下の特
性を認定することができる。第1に、メッセージは上述
のような一般的な形式に従っている。第2に、この一般
的形式の一部が欠けている場合もあるが、メッセージは
たいてい認識可能なジャンルの例である。第3に、メッ
セージ中に隠された電話番号はメッセージの終わり部分
近くにあり、「umm」や「uhh」などの音を含むことはま
れである。電話番号はたいて連続する数字であり、早口
で話され、間にポーズをはさむこともある。よく知られ
た長さを持つものが多い。上記のメッセージのうちの3
つの例において、電話番号は「at」と前置きされてい
る。「that's」または「number」など、比較的少数の他
のキューを使うこともある。第4に、メッセージは、メ
ッセージ中の電話番号の種類についての他の明確な手が
かりを含むこともある。例えば、内部メッセージと外部
メッセージの区別を可能にする定型のヘッダを含むこと
がある。最後に、メッセージが定型のヘッダを含む場合
には、このヘッダにより、一般的なタイプの数字情報
(すなわち、時間と日付)はメッセージ本文から分離さ
れる。ヘッダを含まない場合には、時間と日付は、メッ
セージ本文後ではなく、挨拶に含まれる可能性が高い。
【0094】これらの例から観察できる複雑性の例とし
て以下が挙げられる。すなわち、電話番号を含まないメ
ッセージ(例えば、例5)、訂正されたまたは話者本人
が遮った電話番号(「4-1-5 -- so I'm local - 5-5-5-
0-8-6-4」)、及び電話番号以外の数情報を含むメッセ
ージ(「Reloaded with 4-1-3」)である。さらに、長
さが予測できない電話番号もある(外線番号は2から5
桁のものもあり、国際通話も入る可能性がある)。
【0095】しかしながら、一般的には、十分に定型化
された電話番号1810は図18のモデルに示されるよ
うに以下の特性を有することが多い。すなわち、十分に
定型化された電話番号は通常、「I'm at(私は・・・に
います)」、「my number is(こちらの番号は)」ある
いは単なる「at」や「is」などのキュー1812で始ま
る。キューに続いて、必要であれば米国のエリアコード
(市外局番)が示される。次にポーズ1816がおかれ
ることがよくあり、3桁の交換局番号1818、再びポ
ーズ1820、そして7桁の電話番号のうち残りの4桁
1822が続く。さらに内線番号がある場合には、再び
ポーズ1824をおいた後に別のキュー1826(「ex
tension(内線番号)」または「room number(部屋番
号)」など)、内線番号1828が続く。
【0096】これらの特性が単独でまた組み合わせによ
り、発声された電話番号、特に伝統的な慣習に基づいた
電話番号の識別においてシステムをアシストする。
【0097】文書は、物理的形式であれディジタル形式
であれ、社会的なコンテクストにおいてのみかつそれに
関係して存在するジャンルを有する。ジャンルの概念を
一般化することにより、強力な新しいコンピュータシス
テムの生成が可能になる。
【0098】例えば、複数の異なるジャンルからかつ潜
在的には種々の異なる媒体からの文書を含む、既存の入
力文書の集合を想定する。この集合内の各文書は、種々
の情報を含んでいる。さらに、異なるジャンルにわたっ
て分散したこれらの情報の整合的な(coherent)部分集
合により、それ自体で一貫した整合的なジャンルを生成
でき、これを合成して新しい文書に統合することができ
る。この新しい文書は、特定のユーザ(又はユーザのグ
ループ)によって、特定の目的で、通常は特定の時間に
使用される。情報の合成方法は、その読み手、目的及び
時間に関連させることができる。さらに、この新しい文
書はそれ自身のジャンルを有し、情報をこの新しい文書
に合成する方法は、そのジャンルに依存する。
【0099】このような一般化及び新しい概念化によっ
て、データベースシステムの考察が可能になる。かかる
データベースシステムは、入力文書の適当な重要情報の
自動化又は半自動化された認識を容易にし、これらの情
報を文書から抽出し、統一化されたコンピュータ表示又
はデータベースに統合又は合成する。そして、このコン
ピュータ表示を使用して、新しい文書を人間が解読可能
な形式(例えばディジタル表示又は物理的なプリントア
ウト)での出力として生成(再提示)できる。新しい文
書のジャンルは、文書が(中間的な)コンピュータ表示
で表されても、(最終的な)人間が解読可能な表示で表
されても同一である。これらの表示いずれもが局所化さ
れた表示であり、重要な全情報がディジタル又は物理的
のいずれかの形式で便宜的に1カ所に集められている。
【0100】入力及び出力文書のジャンルに加え、未形
成の新しい文書のジャンルを考察することが、入力文書
から関連する情報を抽出して統一されたコンピュータ表
示に統合する前であっても、可能である。このような不
完全な形式の新しい文書は、出力のジャンルと同一のジ
ャンルでもなければ、同一のジャンルも持たない。むし
ろ、これは別の種類の文書ジャンルであり、他の、より
慣習的で社会的に不変的なジャンルの(かつ、例外もあ
るが一般的には複数の媒体における)複数の他の文書に
わたってのみ存在するジャンルであるという方が好まし
い。この新しい種類の文書ジャンル、すなわち分散した
入力ジャンルの集合にまたがって生成されたジャンル
を、「分散型(distributed)」ジャンル(「暗示的
な」および「合成的な」ジャンルという用語もかなり正
確な説明である)と呼ぶことにする。
【0101】ここで、少なくとも1つの特徴により、分
散型ジャンルの文書は、その入力を構成する原材料から
区別される。新しい出力の未完成形式は、複数の入力文
書に未だ存在する識別された情報の集合のみならず、こ
れらの情報を統合して新しい文書の分散した表示(これ
を後に局所化された表示に変換することができる)を供
給する「接着材」をも含んでいる。この「接着材」は、
2つの主要成分、すなわち社会的コンテクストとコンピ
ュータ計算から構成される。
【0102】社会的コンテクストは、出力文書の意図さ
れる読み手、聞き手、またはユーザ、文書の構成目的、
及び構成されている時間によって決定する。さらに、入
力空間及び出力空間はこれら2つの空間のあいだで変換
するマトリクス又はテンソルの特性に影響するが、社会
的コンテクストは、中間的な分散型文書ジャンルを形成
する、社会的に構成された入力及び出力文書ジャンルに
よって供給される。
【0103】この社会的コンテクストが、重要なコンピ
ュータ計算の制約を提供する。特に、人間の読み手は、
本発明のコンピュータシステムに、ヒント、指令及び他
のガイダンスを供給することができ、この情報が人間の
社会的コンテクストに反映する。さらに、コンピュータ
システムは、モデル、発見的アルゴリズム、入力出力文
書ジャンルと特定入力ジャンルからの情報を特定出力ジ
ャンルにおいて再利用できるようにする関係とに関する
他のプログラミングの少なくともいずれかを含む。まと
めると、処理中のタスクに特有な人間が提供するガイダ
ンス及び主にあらかじめプログラムされたジャンルの記
載により、社会的コンテクストに対するユーザの理解
を、システムが処理可能な何かに変える有効な方法が提
供される。この処理については、以下により詳しく説明
する。
【0104】このように、分散型ジャンル文書は、入力
文書における識別部分の「原材料」を超える複数の特徴
を含む。分散型ジャンル文書はさらに、入力ジャンルの
規定、出力ジャンル、及びこれらの間の情報のマッピン
グ、ユーザ及び処理中のタスクに特異的な社会的コンテ
クストのさらなる解説、及び適当にプログラムされ、上
記の全てを表す容量を持つコンピュータエンジンを含
む。これら全てを備えてはじめて分散型ジャンル文書が
発生する。要するに、分散型ジャンルの概念は、複数の
異なるソース文書から得られた情報から成る分散した集
合が、社会的コンテクストを表すコンピュータ計算によ
り意味を持つべく統合されたときに発生する。
【0105】分散型ジャンルの文書の第1の例として、
図7から図12としてすでに説明したカレンダの例を考
える。好ましくはある対話的な人間のガイダンスによっ
て動作するコンピュータシステムは、学齢期の子供のい
る家庭に見られる以下の文書の集合をその入力とするこ
とを仮定する。すなわち、 −子供用スポーツリーグカレンダ −教会またはユダヤ人会からの社会的イベントのお知ら
せ −学校から家庭に配られたお知らせに記載されたPTA
イベント −地域の音楽又は演劇グループによる公演の宣伝 −結婚式の招待状 −予定されるトークのEメールによるお知らせ −ボイスメールによるパーティの招待 −注釈付きユーザカレンダの初期バージョンのプリント
アウト
【0106】これらの入力文書はそれぞれがそれ自身の
異なるジャンルに属するが、各文書に存在するカレンダ
情報により形成される分散したジャンルを考慮すると、
ある分散したジャンルが定められる。このような特定の
分散型ジャンルを分析する際の最終目的は、家族のメン
バーが出席する予定の全イベントを取り込んだ、統合さ
れた、最新の、まる1ヶ月のカレンダを作成することで
ある(図12参照)。
【0107】ソース文書の集合は、社会的コンテクスト
により、そしてこの社会的コンテクストにおいて行われ
ている人間の又はコンピュータ化された処理により提供
される相互的な接続を介して、生のソース材料の寄せ集
めから、分散型ジャンルを有する一貫した分散型表示出
力文書に変換される。社会的コンテクストは、この家庭
における特定の読み手グループ、そのメンバーが新しい
カレンダを使用する目的及びタイミング、さらには入力
及び出力文書の(社会的かつ文化的に定義された)ジャ
ンルによって確立される。ここでのコンピュータ計算
は、この社会的コンテクストを利用し、社会的コンテク
ストによって容易化し、さらには社会的コンテクストに
より可能になる。コンピュータシステムは、入力文書の
どの部分が重要で、それをまとめて以下の点を考慮しな
がらどのように出力文書を構成するかを認識する。すな
わち、 −入力及び出力文書ジャンル両方の特性 −カレンダの意図されるユーザから受信したヒント、指
令、及びその他のガイダンス、 −コンピュータ計算自体を取り巻く時間及びその他の環
境であり、日付と、地理的位置又はシステムの最新カレ
ンダ型出力の内容などの他の状態変数を含む。
【0108】中間的な分散型ジャンルは、日付及び入力
文書からの他の有効な情報を識別する工程において発生
する。その後直ちに、コンピュータシステムは、ユーザ
によって特定された出力ジャンルをジャンルとする、局
所化され、より統一された出力文書を形成し始める。
【0109】分散型ジャンルのアプローチの第2の例と
して、住所変更のEメールメッセージを多数の受信者宛
に送信しなければならない、忙しいワーカが直面する問
題について考える。メッセージ本文はシンプルで書きや
すい。しかしながら、問題なのは、全受信者の名前とE
メールアドレスを探しあてることである。このワーカの
Eメールプログラムから得られる「個人アドレス帳」で
は不完全で、これはスタートポイントとしてしか役立た
ない。アドレスリストに加えるべき他のEメールアドレ
スは、別のジャンルに属する。例えば、 −昨夜アフターワーク情報交換の機会があり、ワーカの
デスクには新たな名刺の山ができている。これらは名刺
スキャナで走査することができる。
【0110】−名刺にはウェブサイトのアドレスを含む
ものがある。例えば、今では著名な教授である、長い間
所在不明だった大学の級友のウェブサイトにあるアドレ
スなどの場合、ワーカはウェブサイトをブラウズし、い
くつかのリンクを経て、知らせを送るべきさらなる住所
を発見することがある。
【0111】−今朝の郵便で受け取った印刷物に、古く
からの知人の会社が別の会社と合併したという知らせが
あり、この結果Eメールアドレスも新しくなった。この
印刷物は名刺スキャナには大きすぎ、さらには別の文書
ジャンルに属するため、平台型のスキャナ又はディジタ
ルコピアで別に走査する必要がある。
【0112】−同僚が携帯電話からワーカに電話してき
た。その同僚は、ワーカを夕食に招待したいと思ってい
た運転手が運転する車に乗っていることがわかった。そ
こで、同僚は運転手の招待を彼のEメールアドレスとと
もにワーカに口頭で伝え、ワーカはふつうの紙にそのE
メールアドレスを書き取った。
【0113】−すでに受信したEメールメッセージに、
関心のあるアドレスがかなり多くある。これらのアドレ
スを抽出する作業は思うほど簡単ではない。多くのアド
レスは、メッセージの「From(送信元)」のヘッダフィ
ールドを調べれば検出できるが、そうでないものもあ
る。実際に、有用なアドレスは、本文、全てのヘッダ及
び署名ラインを含むEメールメッセージのどこかにあ
る。さらには、アドレスのフォーマットも一貫していな
いことがある。例えば、あるシステムでのEメールアド
レスのフォーマットは、インターネット名の前に人間が
解釈できる名前を含み、インターネット名を鍵かっこで
囲んでいる。別のシステムでは、この情報を除去して、
インターネット名だけを示すものもある。
【0114】コンピュータシステムが挑むのは、これら
の別々の入力から、所望するアドレスのみを全て、好ま
しくは、単一の一貫したフォーマットで、送信されるメ
ッセージの「送信先」ヘッダフィールドに配置されるよ
うに含んだ、単一の出力文書(すなわち、ワーカの住所
変更メッセージ)を作成することである。重複する住所
は削除し、1つのアドレスも不注意によって忘れること
があってはならない。
【0115】ここでも、このシナリオを分散したジャン
ルという点で理解することが可能である。電子アドレス
帳、ディジタル走査された名刺、古いEメールメッセー
ジなどから成る合成された集合は、種々のジャンル及び
オリジナル媒体中の入力文書の集合である。各文書は1
つ以上の情報を含み、この情報が、システムによって認
識され、抽出され、特定のユーザ及び目的のための、特
定化されたジャンルを有する出力文書に統合される。コ
ンピュータシステムは、所望される出力ジャンルの規定
及びユーザから得られるヒント又はガイドラインの組と
ともに種々の入力文書を検討し、(以下に詳細に説明す
るように)関連する情報を識別する。ここでも、第1の
例と同様に、システムは、入力ジャンルの特性、これら
のジャンルどうしの関係及び特定化された出力ジャンル
を参照してそのタスクを容易にする。システムが出力文
書を統合し始めると(あるいは、出力文書の構成の重要
部分として)、分散したジャンルの中間文書が入力文書
全体にわたって確立される。最終的に、システムは新し
い文書の統一されたコンピュータ表示を構成し、これか
ら出力文書が作成される。
【0116】多様な入力ジャンルを有する複数文書の受
信及び処理方法が図19に示されている。
【0117】まず、入力文書の集合(または任意の種類
の内容1910)が入力され、システムがこれを受信す
る(ステップ1912)。つづいて入力が自動的又は半
自動的に(ユーザ入力を用いて)分析され(ステップ1
914)文書のジャンルが識別され、これにより文書中
のどの情報が重要かを決定する。日付、時間、住所及び
電話番号などの情報を抽出する例示的な自動的及び半自
動的方法が、すでに説明されている。上述のカレンダ及
びストリームデータ媒体の実施形態と同様に、予想され
るあらゆる種類の入力文書に対してガイダンス1915
がモデル又は規定の組として供給されている。これらの
モデル、テンプレートまたは規定は、予め符号化が可能
であり、あるいは、繰り返し選択されるユーザ入力に基
づき(例えば、隠れマルコフモデルを用いて)学習する
ことができる。ここで注意すべきは、入力分析ステップ
(ステップ1914)が完全に自動であってもガイダン
ス1915は供給されることである。すなわち、必要な
ユーザ入力は、すでに供給済みでジャンルモデルの形成
に使用されているか、あるいはシステムにハードコード
されている可能性があるからである。さらには、いずれ
の場合にも、ガイダンス1915は入力文書の社会的コ
ンテクストを表している。
【0118】入力文書中の重要な情報は、すでに説明し
た中間的な分散型ジャンル文書の概念に矛盾しないよう
な方法で認識される。特に、入力文書のジャンルが考慮
され、それらの各特性及び特定化された出力ジャンルと
の関係についての保存された情報(例えば、モデル、発
見的方法、統計など)を分析の際の補助として用いる。
さらに、現在の時刻、日付及びその他の状態変数など、
出力ジャンルの本質、ユーザ又はタスクの特定ガイダン
ス、及び種々の他の要因などを考慮してもよい。この段
階で、さらなるユーザとの相互作用があるかもしれな
い。すなわち、解決すべき問題の制約が不十分であれ
ば、分析工程においてさらなる情報が求められることも
ある。
【0119】次に、重要情報が分離されて抽出され(ス
テップ1916)、データベースに保存される(又は
「統合される」)(ステップ1918)。一般的な分散
型ジャンル文書(又はデータベース)の場合、「重要情
報」はソース文書中の識別可能な全情報であり、未知ジ
ャンルの出力文書において、どの情報もすべて使用でき
る。
【0120】図20のフローチャートに関連して、出力
の生成が示されている。必ずしもそうではないが、一般
的には、出力の生成において、特定された出力ジャンル
を持つ人間解読可能な文書として、統一されたコンピュ
ータ表示(データベースにおける)が物理的形式又はデ
ィジタル形式のいずれかでユーザに再提示される。通
常、潜在的に多数の入力文書から得られたただ1つの出
力文書が存在する。しかしながら、本発明の別の使用に
おいては、1つ以上の出力が存在する場合もある。例え
ば、各受信者によってわずかに異なる関連するカレンダ
のプリントアウトを、グループの各人に1つずつ、セッ
トで生成することが好ましい場合もある。
【0121】出力生成の工程は、出力文書の要求を示す
コマンド2012の受信(ステップ2010)により開
始する。このコマンド2012により、可能性のあるジ
ャンル規定2016のグループから選択された、特定の
望ましい出力ジャンル規定(ステップ2014)が識別
される。出力文書の構成に必要な、データベースからの
情報が抽出され(ステップ2018)、選択されたジャ
ンル規定に一致する文書が生成され(ステップ202
0)、ユーザに示される。
【0122】ここで注目すべきは、全ソース文書からの
重要情報の全て(又はほとんど全て)がデータベースに
存在するが、特定の出力文書の生成においては、この情
報の全てが役立つとは限らない。例えば、データベース
には、特に、多数のカレンダ、Eメールアドレス、及び
名刺から得た情報が含まれ、ユーザは月のカレンダを作
成したい場合、名刺から得たデータのほとんどが役立た
ない。同様に、上述の住所変更の知らせの場合には、ソ
ースとなるカレンダが個人の名前及び連絡先の情報をも
含んでいない限り、カレンダ情報のほとんどが役立たな
い。言い換えると、データベースは全ジャンルにわたっ
て存在するが、特定の入力又は出力の組は、単一のジャ
ンル又はジャンルグループのみを表すこともある。
【0123】任意のジャンルの文書から有用な情報を導
き抽出する際の補助として種々のデータ特性が役に立
つ。これは、電話番号(図18参照)に関してすでに説
明した。すなわち、有用なデータタイプの特定特性によ
って、文書におけるその識別が容易になる。
【0124】図21には、一般的な日付2110の構成
が示されている。文字化された日付も発声された日付も
共通して、曜日2112(すなわち日曜日から土曜日)
から始まるが、これは省かれることが多い。そして、次
の2つの慣習のうちの一方が使用される。すなわち、日
にち2114が月2116に続く(又はその略語あるい
は数字による表示)か、月2116が日にち2114に
続くかのいずれかである。例えば12月17日は、前者
の例では、「the seventeenth of December」、「17, D
ecember」又はヨーロッパスタイルで「17.12,」
であり、後者の例では、「December 17」、「Dec. 17」
及び米国スタイルで「12/17」などである。米国ス
タイルの数字による日付とヨーロッパスタイルの数字に
よる日付とを見分けるように注意が必要であるが、この
ような領域で、文書ジャンルはガイダンスを提供する。
【0125】図22には、一般的な文字化した又は発声
した時間2210の構成が示されている。時2212
(民間時間で1から12、軍事時間で0から23)の後
に、オプションとしてのコロン(:)、分を特定する数
字2216、「o'clock(時)」というフレーズのいず
れかが続く。民間時間では、別の理由で時間が明確でな
い限り(例えば、仕事に就いている日中などは明らかで
ある)「AM(午前)」または「PM(午後)のいずれ
かがたいてい続く。
【0126】図23には、一般的な場所2310を表す
構成が示される。このフォーマットは、図11の結婚式
の招待状に従っている。「at」などのキュー2312の
後に、場所名2314(例えば、「Saint Andrew's Eps
copal Church(聖アンドリュー監督教会)」)、番地2
316(オプション、例えば、「13601」)、通り
名2318(例えば、「Saratoga Avenue(サラトガア
ベニュー)」)、スイート(部屋)又はアパート232
0(オプション、図11には適用されない)、町232
2(オプション、例えば、「Saratoga(サラト
ガ)」)、及び州2324(「California(カリフォル
ニア)」)が続く。
【0127】前述のジャンル分析作業では、完全に自動
化された文書内容の抽出に焦点を当てたが、人間のガイ
ドによる識別及びジャンルとの相互作用を別の可能性と
して考慮することも効果的である。図4から図6に関連
してすでに説明したように、ユーザガイダンスは、生の
入力文書を分散したジャンル文書に変換する「接着材」
の重要な(かつ少なくともケースによっては、本質的
な)部分である。これは、分散した情報の形式が、その
関連性を保証するには不十分であることが多々あるから
である。例えば、文書中に隠されたカレンダに関するイ
ベントを示した日付であって、ほとんど関連のないもの
もある。上述の別の例では、住所変更の知らせのため
に、Eメールアドレスを収集するに当たって、不適切な
Eメールアドレス(単に重複したり古いアドレスとは別
に)が望ましいアドレスに混ざっている可能性がある。
したがって、発生しうる全ての異なる形式をモデルでき
るとしても、使用される完全なコンテクストをそれによ
って全て捕らえることはできないため、人間によるガイ
ダンスがやはり必要である。
【0128】人間によるガイダンスを認めることによ
り、抽出のパワー及び精度を高めることができる。さら
に、本発明によるシステムに対する可能な入力ドメイン
を大幅に広げることもできる。今日のユーザは、情報が
常に変化し、非常に急速に古くなってしまうという世界
に住んでいる。さらに、ユーザは、新しい情報が到着す
る形式を制御できないし、時には予測すらできない。入
力の形式が厳密に特定され、専用のワーカによってデー
タ入力が慎重に制御される伝統的な関係型システムとは
対照的に、本発明のユーザは、管理しなければならない
が制御できない流動的な(かつ社会的に構成された)情
報の世界に住むジェネラリストである。
【0129】したがって、現在の好ましい実施形態にお
いては、本発明は、分散型ジャンル文書を生成するプロ
セス全体を自動化することはしない。特に、ユーザは、
所与の入力文書において何が最も重要であるかについて
の重要なガイダンスをコンピュータに提供する必要がし
ばしばある。しかしながら、同時に、ある程度の自動化
は歓迎される。なぜなら、この技術を家庭及び職場で使
用する多忙なユーザは、情報のオーバーロードに悩むこ
とが多いためである。彼らが求めるのは、労力節減型の
ヘルプである。例えば、自動食器洗浄機では、皿の出し
入れはユーザが手で行わなければならないが、それでも
手で洗う場合に比べれば多大な時間が節約できる。同様
に、半自動化型の文書分析合成システムは、本発明にと
って価値がある。
【0130】よって、ここでは、かかるシステムにふさ
わしいガイダンスの種類を詳細に考慮することにより、
分散型ジャンルアプローチを組み込んだ半自動化型文書
分析合成システムにおける、認識、抽出及び統合タスク
を簡易化しガイドする技術を説明する。通常、この技術
には、入力文書のマーク付けが含まれる。すなわち、コ
ンピュータシステムがその後の人間による介入をほとん
ど又は全く必要とせずに自動的に処理が行えるように、
人間が手でマークを付ける。考えられるアプローチには
以下が含まれるが、以下のアプローチに限られるわけで
はない。
【0131】フィルタリング どの文書をシステムに提示すべきかを選択することによ
り、ユーザは文書の領域をフィルタリングして問題の空
間を限定することにより、システムに対して最初の大ま
かな制御を行う。以後の分析は半自動的な動作が可能で
ある。
【0132】比較の前後 ユーザは、直線や円あるいは他の図形マークを描くこと
により、入力文書のどの部分に特に関心があるかを示し
たり、さらには追加又は削除などの処理を示す。例え
ば、上述の無定型形式技術(米国特許第5,692,0
73号)を用いて、ペーパカレンダを自動的にオンライ
ンカレンダに同期化させることができる。カレンダはま
ず用紙にプリントされていると想定する。時間の経過と
ともに、予定を消すための×印、予定を移動するための
矢印及び手書きによる新しい予定の記入により、その紙
には注釈が書き込まれる。続いて、このペーパコピーを
再走査し、電子バージョンに再び同期化することができ
る。最新の技術では、所定日に対する注釈が抽出され、
(手書き認識により)分析され、電子カレンダに挿入さ
れる。このカレンダは、必要であれば再プリントが可能
である。予定の移動及び削除というより簡単なタスクに
は認識は不要であり、上記’073特許に記載されるよ
うに抽出にマークをすればよい。
【0133】ペンベースの注釈 少なくとも2つの異なるユーザペンを用いた相互作用技
術によりシステムをガイドすることができる。第1に、
異なる複数のペンを使用することにより、あるいは単一
のペンの異なるモード(例えば、複数色が使用可能なペ
ン)を使用することにより、ユーザは、異なるインクフ
ォーム(有形フォームでも仮想フォームでもよい)によ
って異なる形式の情報を区別することができる。これ
は、一般的に蛍光マーカである種の情報を示し、鉛筆で
他の情報を示すのと同様である。第2に、走査ペンを使
用することにより、ユーザは、文書のどの部分に関心あ
る情報が存在するかを直接示すことができる。ラインが
走査される時間的な順序及び走査の間にペンによって加
えられる注釈の内容により、システムをさらにガイドす
ることができる。この動作のモードの例が、図7から図
11に特に関連して、すでに詳しく説明されている。
【0134】モデリング すでに説明したように、パターンベースの認識によって
適当なモデルを選択することにより、抽出可能な文書タ
イプの種々のモデルを準備し、使用することができる。
一般的には、モデルは、高度に様式化された文書形式で
あってもよいし、ジャンル構成を特定するものでもよ
い。
【0135】さらに、ユーザ相互作用の種々の他のモデ
ルを使用することもできる。例えば、(上述のよう
に、)完全に自動化された情報抽出作業の繰り返し、及
びこれに続くユーザリビューステップなどである。この
ユーザリビューステップにおいてはは、製品を「拒絶」
して再度の試みを促す、あるいは暗にその製品を受け入
れるかのいずれかである。
【0136】図7から図11に特に関連して説明したよ
うに、本発明にかかる入力装置としてスマート走査ペン
を使用することができる。このようなペン2410の機
能的コンポーネントを示すブロック図が図24に示され
ている。入力装置は、搭載処理装置2412、データイ
ンターフェース2414(赤外線またはRF無線リンク
など)、光学走査ヘッド2416、マニュアル走査コン
トローラ(少なくとも1つのプッシュボタンなど)24
18、ビジュアルフィードバック機構2420(表示ラ
イト又はディスプレイスクリーンなど)、任意のオーデ
ィオ又は触覚フィードバック機構2422、及び搭載記
憶装置2424を含む。これらの機能的コンポーネント
については、以下にさらに詳しく説明する。
【0137】走査ペンの1実施形態が図25に視覚的に
示されている。ペン2510は、従来のペン型本体25
12、二方向赤外線送受信器2514、走査ヘッド25
16、プッシュボタン2518、及び表示画面2520
を含む。
【0138】ペン2510の好ましい実施形態において
は、表示画面2520は、少なくとも2つの情報項目、
すなわち(a)走査ヘッド2516の下方に位置する認
識された文字と(b)ペンの現在のモードとをユーザに
確認すべく動作する。カレンダ作成システムに関連して
すでに説明したように、走査ペンによって、イベント
名、日付、時間などを含む複数の情報項目を、プリント
されたカレンダから抽出することができる。ボタン25
18を押すことによって、異なるイベントの入力を示
す。走査ペンのモードは、次のように実行される。すな
わち、ボタンを押すことによりモードが「リセット」さ
れ、新しい情報のバッチを待機する。本発明の好ましい
実施形態においては、種々の情報項目を特定の順序で走
査する必要はなく、システムは、各データタイプの異な
る特性により、これらの情報項目を識別することができ
る。しかしながら、より簡易化された実施形態では、ペ
ンに対して、入力されるフィールドに特定の順序(例え
ば、イベント名が最初で、日付、時間がこれに続く)が
求められることもあり、このような要求は表示画面25
20に表示される。さらに、システムが名刺などの別の
ジャンルからの情報を期待することもある。ペンのモー
ド表示を利用して、期待される入力のジャンルと入力す
べき特定データ項目の両方を、集合的に又は連続的にユ
ーザに示すことができる。本発明の好ましい1実施形態
においては、モードブック(図27)にプリントされた
ディジタルコードを走査することにより手動によるモー
ド変更を行うことができる。
【0139】ペン2510の1実施形態においては、画
面2520は、直径が1インチから2インチ(約2.5
cmから5cm)である。この構造では、ペン2510
をプリントされたページの文字走査に使用しながら画面
を読むことが可能である。ペンのモードはカラー表示で
表され、走査された文字はスクロール文字として画面上
に表示される。画面の中央に現在の視界が表示され、す
でに走査された文字は左側(ラインが右から左へ走査さ
れる場合は右側)に現れる。
【0140】画面2520の下方には、表示画面252
0の動作をサポートする搭載論理部及びデータベース3
10(図3)に送信する前にデータを蓄積する任意の記
憶領域を収容するための十分な領域がある。本発明の1
実施形態においては、入力は、コマンド(ボタン251
8を押すなどして示す)によりデータをデータベース3
10に送信することが示されるまで、ペンの記憶装置2
424に保存されている。または、データ送信のコマン
ドは、ユーザではなく、データベース310によって開
始してもよい。
【0141】別の形状要素を有する走査ペン2610が
図26に示されている。このバージョンは、カード型の
本体2612(好ましくはクレジットカードの大きさ及
び形)、1角部に位置する走査ヘッド2616、及び上
端縁に沿って取り付けられたボタン2618を有する。
表示画面2620は方形の本体の1側面に位置し、通常
は文字の走査中には見えないが、ペン2610を紙から
持ち上げれば簡単に見ることができる。このペンは、さ
らに、モード変更又はコマンド入力を簡単に行えるよう
にする複数の入力ボタン2622を有する。
【0142】走査ペンモードの手動による変更を可能に
するモードブック2710が図27に示されている。モ
ードブック2710は複数のモードカード2712を含
み、各モードカードには、ペンのモードを変更すべくあ
るいはコマンドを入力すべく機能する、走査可能なデー
タフィールドが少なくとも1つ含まれる。各走査可能な
データフィールドは、機械により読み取りの可能な情報
(例えばバーコード、2次元グリフコード、又は簡単に
認識可能な文字など)と人間が解読できるラベルとを含
む。例えば、例示されるモードカード2712には、以
下の9つのデータフィールドが含まれる。すなわち、
「開始日」フィールド2714及び「開始時間」フィー
ルド2716、「終了日」フィールド2718及び「終
了時間」フィールド2720、「場所」フィールド27
22、「説明」(タイトル)フィールド2724、及び
3つのコマンドフィールド、すなわち、リマインダの設
定2726、イベントを緊急としてマーク2728、又
は既存の情報を確認2730である。
【0143】モードブックは、次のように使用される。
ユーザが走査ペン2410を使って名刺を読み込んでい
る場合には、例えば、システムは個人の身元、オフィス
の住所、電話番号などを表すデータの受信を予想する。
ところが、ここでユーザがカレンダ情報の入力し始めた
いと思っても、走査ペンを使うだけではそれを示す単純
な方法はない。1つ以上の入力ボタンを使ってモードを
変更することもできるが、この方法は時間がかかる上に
エラーが生じやすい。そこで、モードブック2710を
使うことにより、ユーザはカレンダジャンルに関連する
モードカード2712を選んで、例えば「開始日」27
14などの選択されたフィールド上に走査ペンを走らせ
る。これにより、ジャンルの変更とモードの変更のいず
れもが起こることがシステムに示される。同一のカレン
ダジャンルモードカード2712を続いてなぞると、モ
ードの変更のみが示される。走査ペン2410によって
文書走査のなぞりを行う度ごとに必ずモード変更を行
い、次の情報を示すようにすることもできるし、または
好ましい1実施形態においては、このようなモード変更
によって(図7から図11に関連して説明したように)
システムのデフォルトを取り消すこともできる。
【0144】走査ペン2410の好ましい1実施形態に
おいては、モード変更及びジャンル変更は、可聴または
触覚フィードバックによってユーザに示され、確認され
る。例えば、可聴ビープ音など(合成された音声プロン
プトでもよい)などを用いて、(a)カレンダジャンル
が現在作動中であること、及び(b)システムは次に
「開始日」の受信を予想していることを示すことができ
る。同様に、(サイレントアラームを有するページャ
(ポケットベル)と同様に)ペンの本体を振動させる
か、あるいは、走査中の紙上のテクスチャを模するよう
に走査ヘッド2416を移動させることにより実施され
る独自の触覚センサによって、上記の情報をユーザに表
すことができる。よって、ユーザはモード変更の度に表
示画面2520又は2620を見て確認する必要がな
い。
【0145】上述のカレンダ作成システム及び名刺に関
連して走査ペン2410及びモードブック2710を説
明したが、システムは他の種類の文書の読み取りにも同
様に適用できる。この場合、単にモードブック2710
を拡大して、異なるジャンル及び日付の種類を特定する
ことも考えられる。
【0146】本発明の別の有用な態様は、(図1のユー
ザ端末110及び112のような)寄生型のユーザ端末
である。相互作用型の寄生ユーザ端末2810の例が図
28に機能的に示されている。端末2810は、少なく
とも、搭載処理装置2812、イメージディスプレイ2
814、データインターフェース2816、及び電力イ
ンターフェース2818を含む。端末2810に組み込
むことのできるシステムの他の構成要素(図2参照のこ
と)には、ボタン2822、タッチ画面2824及び手
書き用スタイラス2826を備えた入力インターフェー
ス2820、及びオーディオ入力2832とオーディオ
出力2834を備えたオーディオインターフェース28
30が含まれる。さらに、搭載記憶装置を含むことによ
り、システムの他の部分に対する一定の通信リンクを用
いずに端末2810の使用を簡単にしてもよい。
【0147】好ましい1実施形態においては、端末は断
面が薄く、壁、ホストとなる家電機器(冷蔵庫など)又
はその他の垂直表面に取り付けが可能である。台所、特
に冷蔵庫は一般的な家庭の集合場所であることが認めら
れている。これは、買い物リスト、メモ及び他の文書
を、マグネットや画鋲で冷蔵庫(又はその近くの掲示ボ
ード)に留めるという一般的な慣習にも証明される。よ
って、家族全員がメッセージ、メモ及びカレンダを見る
可能性の高い場所にユーザ端末を設置することは効果的
であることが分かる。しかしながら、システムの他のコ
ンポーネントは別の場所に配置するのがより効果的であ
ることに留意すべきである。
【0148】ユーザ端末の1実施形態が図29に示され
ている。寄生型表示端末2910が、特殊適合された冷
蔵庫2912と協同的に(かつ、別の実施形態では、こ
れと構造的に一体に)取り付けられている。特に、冷蔵
庫の扉の切り欠き部分2914に示されるように、冷蔵
庫は、ヒンジを介して冷蔵庫の電源までドアを通過して
延びる電気供給線2916を含む。この電力供給線29
16は、端末の構造的サポートとしても機能する、冷蔵
庫2912のドアに位置するソケットを介して、又は当
業界で周知の誘導結合によって、端末2910の電力イ
ンターフェース2818に接続されている。いずれの場
合も、端末2910は電力をホストである冷蔵庫291
2から得ている。
【0149】ここで注目すべき重要な点として、端末2
910は物理的にホストである家電製品、すなわち冷蔵
庫2912に取り付けられているが、ホスト2912と
端末2910との間に直接的なデータインタフェースは
1つも設けられていない。よって、ホストがその状態を
遠隔のCPU212(図2)に送信する別の能力を備
え、CPU212が端末にその情報を送らない限り、端
末はそのホストの状態を表示したりあるいは別の方法で
示すことはできない。したがって、端末2910の主な
目的は、本発明のシステムとユーザとの相互作用を提供
することにある。
【0150】さらに、端末2910の他の構成要素も明
らかである。表示画面2920、スタイラス2922、
指向性ナビゲーションパッド2924、選択ボタン29
26、コマンド入力ボタン2928、及びオーディオイ
ンターフェースがさらに含まれる。これらの構成要素は
端末のオプションであり、かつ当業界では周知である。
【0151】端末の別のバージョンが、壁設置型端末3
010として図30に示される。この端末は、壁301
2に物理的に取り付けられ、それ以外は図29に示した
バージョンと同様である。電気供給線3016は、一般
的な家庭の電気コンセント3018に接続されている。
この例でも、構造的なサポートとしても機能するコンセ
ント3018を介して、あるいは誘電結合によって、端
末3010に電力が供給される。
【図面の簡単な説明】
【図1】 本発明による、ネットワーク化された文書処
理及びデータベースシステムの種々の例示的物理的コン
ポーネントを示す概略図である。
【図2】 図1によるネットワークに使用される種々の
例示的機能コンポーネントを示すブロック図である。
【図3】 本発明による情報管理システムの高レベルの
機能的全体像を表すブロック図である。
【図4】 本発明による例示的カレンダ作成システムに
おいて行われる工程を示すフローチャートである。
【図5】 図4に示された方法において自動入力分析で
実行される工程を示すフローチャートである。
【図6】 図4に示された方法において半自動入力分析
工程で実行される工程を示すフローチャートである。
【図7】 図4のカレンダ作成システムによって処理で
きる例示的な学校スケジュールである。
【図8】 図4のカレンダ作成システムによって処理で
きる例示的なプログラムスケジュールである。
【図9】 図4のカレンダ作成システムによって処理で
きる余分な情報を含んだ例示的なスナックスケジュール
である。
【図10】 図4のカレンダ作成システムによって処理
できる例示的なサッカーの試合スケジュールである。
【図11】 図4のカレンダ作成システムによって処理
できる例示的な結婚式の招待状である。
【図12】 図4のカレンダ作成システムによって生成
できる例示的な電子出力カレンダである。
【図13】 本発明による例示的な電話メッセージ処理
システムにおいて実行される工程を示したフローチャー
トである。
【図14】 電話メッセージの一般的な構成を示す図で
ある。
【図15】 図13に示される方法の自動メッセージ分
析において実行される工程を表すフローチャートであ
る。
【図16】 図13に示される方法の半自動メッセージ
分析において実行される工程を表すフローチャートであ
る。
【図17】 図13に示される方法の主として手動のメ
ッセージ分析において実行される工程を表すフローチャ
ートである。
【図18】 発声された電話番号の一般的な構成を示す
図である。
【図19】 本発明による例示的な分散型ジャンル文書
処理システムにおいて実行される入力工程を示すフロー
チャートである。
【図20】 本発明による例示的な分散型ジャンル文書
処理システムにおいて実行される出力工程を示すフロー
チャートである。
【図21】 発声されたまたは文字化された日付の一般
的な構成を示す図である。
【図22】 発声されたまたは文字化された時刻の一般
的な構成を示す図である。
【図23】 位置又は住所の一般的な構成を示す図であ
る。
【図24】 本発明による、モード化された走査ペンの
コンポーネント例を示す機能的ブロック図である。
【図25】 第1の形状を有する、本発明によるモード
化された走査ペンの視覚的な表示例である。
【図26】 第2の形状を有する、本発明によるモード
化された走査ペンの視覚的な表示例である。
【図27】 本発明による、モード化された走査ペンと
ともに用いられるモードブックの視覚的表示例である。
【図28】 本発明による例示的な寄生型ユーザ端末
(parasitic user terminal)のコンポーネントを示す
機能的ブロック図である。
【図29】 ホストである冷蔵庫に取り付けた図28の
寄生型ユーザ端末の視覚的表示である。
【図30】 壁に取り付けた図28の寄生型ユーザ端末
の視覚的表示である。
【符号の説明】
110,112 ユーザ端末、114 CPU、116
パーソナルコンピュータ、118 電話機、120
文書スキャナ、122 ファックス装置、124 プリ
ンタ、126 手書き入力プレート、128 ネットワ
ーク、210二方向通信リンク、212 CPU、21
4 メモリ、216 ディスプレイ、218 記憶装
置、220 キーボード、222 ポインタ装置、22
4 手書きプレート、226 スキャナ、228 マイ
クロフォン、230 スピーカ、232 プリンタ、2
34 他の入力装置、236 他の出力装置、238
認識処理装置、240 他の処理装置、310 データ
ベース、312 入力出力サブシステム、314 文
書、316 音声メッセージ、318 注釈、320ジ
ャンル規定。
フロントページの続き (72)発明者 ケネス ピー フィッシュキン アメリカ合衆国 カリフォルニア州 レッ ドウッド シティ ヘブン アベニュー 924 (72)発明者 キャサリン シー マーシャル アメリカ合衆国 カリフォルニア州 マウ ンテン ビュー アーネスティン レーン 1367 (72)発明者 アレキサンダー イー シルバーマン アメリカ合衆国 カリフォルニア州 メン ロ パーク パートリッジ アベニュー 861 (72)発明者 トッド エイ カス アメリカ合衆国 カリフォルニア州 サン フランシスコ ディグバイ ストリート 4

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 少なくとも1つのソース文書に含まれる
    情報に基づき一覧表を処理して管理する方法であって、 前記ソース文書の少なくとも一部を表すデータを受信す
    るステップと、 前記ソース文書のジャンルを表すガイダンスを受信する
    ステップと、 前記データを分析するステップと、 前記ガイダンスによって前記データ内の少なくとも1つ
    のイベントを識別するステップと、 前記データから前記イベントの表示を抽出するステップ
    と、 前記表示をデータベースに統合するステップとを含む方
    法。
  2. 【請求項2】 少なくとも1つのソース文書に含まれる
    情報に基づきデータベースを処理して管理するための一
    覧表作成システムであって、 前記文書を受信する入力装置と、 一覧表を作成する出力装置と、 処理装置とを含み、 前記処理装置は、前記ソース文書の構成を表すガイダン
    スを用いて前記ソース文書からの一覧表情報を抽出し、
    これをデータベースに保存できることを特徴とする一覧
    表作成システム。
JP11355554A 1998-12-22 1999-12-15 分散型文書に基づく一覧表作成方法及びシステム Pending JP2000215213A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/219,089 US6675356B1 (en) 1998-12-22 1998-12-22 Distributed document-based calendaring system
US09/219089 1998-12-22

Publications (1)

Publication Number Publication Date
JP2000215213A true JP2000215213A (ja) 2000-08-04

Family

ID=22817836

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11355554A Pending JP2000215213A (ja) 1998-12-22 1999-12-15 分散型文書に基づく一覧表作成方法及びシステム

Country Status (3)

Country Link
US (1) US6675356B1 (ja)
EP (1) EP1014286A3 (ja)
JP (1) JP2000215213A (ja)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001084228A (ja) * 1999-08-03 2001-03-30 Fuji Xerox Co Ltd 自由形式入力に基づくアラート提供方法、リマインダーメッセージ提供システム、コンピュータ読取り可能記憶媒体、及びペン・ベースのコンピュータシステム
US7328408B2 (en) 2002-03-14 2008-02-05 Kabushiki Kaisha Toshiba Apparatus and method for extracting and sharing information
US8620760B2 (en) 2004-04-01 2013-12-31 Google Inc. Methods and systems for initiating application processes by data capture from rendered documents
US8619147B2 (en) 2004-02-15 2013-12-31 Google Inc. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US8621349B2 (en) 2004-04-01 2013-12-31 Google Inc. Publishing techniques for adding value to a rendered document
US8713418B2 (en) 2004-04-12 2014-04-29 Google Inc. Adding value to a rendered document
US8781228B2 (en) 2004-04-01 2014-07-15 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US8793162B2 (en) 2004-04-01 2014-07-29 Google Inc. Adding information or functionality to a rendered document via association with an electronic counterpart
US8799303B2 (en) 2004-02-15 2014-08-05 Google Inc. Establishing an interactive environment for rendered documents
US8799099B2 (en) 2004-05-17 2014-08-05 Google Inc. Processing techniques for text capture from a rendered document
US8831365B2 (en) 2004-02-15 2014-09-09 Google Inc. Capturing text from rendered documents using supplement information
US8874504B2 (en) 2004-12-03 2014-10-28 Google Inc. Processing techniques for visual capture data from a rendered document
US8903759B2 (en) 2004-12-03 2014-12-02 Google Inc. Determining actions involving captured information and electronic content associated with rendered documents
US8990235B2 (en) 2009-03-12 2015-03-24 Google Inc. Automatically providing content associated with captured information, such as information captured in real-time
US9008447B2 (en) 2004-04-01 2015-04-14 Google Inc. Method and system for character recognition
US9075779B2 (en) 2009-03-12 2015-07-07 Google Inc. Performing actions based on capturing information from rendered documents, such as documents under copyright
US9081799B2 (en) 2009-12-04 2015-07-14 Google Inc. Using gestalt information to identify locations in printed information
US9116890B2 (en) 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US9143638B2 (en) 2004-04-01 2015-09-22 Google Inc. Data capture from rendered documents using handheld device
US9268852B2 (en) 2004-02-15 2016-02-23 Google Inc. Search engines and systems with handheld document data capture devices
US9275051B2 (en) 2004-07-19 2016-03-01 Google Inc. Automatic modification of web pages
US9323784B2 (en) 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images
US9454764B2 (en) 2004-04-01 2016-09-27 Google Inc. Contextual dynamic advertising based upon captured rendered text
US10769431B2 (en) 2004-09-27 2020-09-08 Google Llc Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device

Families Citing this family (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6526398B2 (en) 1999-05-28 2003-02-25 Ricoh Co., Ltd. Generating labels indicating gaps in retrieval of electronic documents
US8595308B1 (en) 1999-09-10 2013-11-26 Ianywhere Solutions, Inc. System, method, and computer program product for server side processing in a mobile device environment
US7028267B1 (en) * 1999-12-07 2006-04-11 Microsoft Corporation Method and apparatus for capturing and rendering text annotations for non-modifiable electronic content
US7337389B1 (en) 1999-12-07 2008-02-26 Microsoft Corporation System and method for annotating an electronic document independently of its content
US9424240B2 (en) 1999-12-07 2016-08-23 Microsoft Technology Licensing, Llc Annotations for electronic content
US7003720B1 (en) * 2000-01-07 2006-02-21 Abf Freight Sysems. Inc. Electronic shipment planner
US20010034738A1 (en) * 2000-02-22 2001-10-25 Xerox Corporation Method and system for managing electronic documents in an agenda process
US7136880B2 (en) * 2000-07-20 2006-11-14 Market Models, Inc. Method and apparatus for compiling business data
US8230323B2 (en) * 2000-12-06 2012-07-24 Sra International, Inc. Content distribution system and method
US7440943B2 (en) * 2000-12-22 2008-10-21 Xerox Corporation Recommender system and method
US6964023B2 (en) * 2001-02-05 2005-11-08 International Business Machines Corporation System and method for multi-modal focus detection, referential ambiguity resolution and mood classification using multi-modal input
US7668900B2 (en) * 2001-05-31 2010-02-23 Access Systems Americas, Inc. System and method for scheduling an event over a network
US7849409B2 (en) * 2001-05-31 2010-12-07 Access Systems Americas, Inc. System and method for transferring Web-based information
US6715302B2 (en) * 2001-07-16 2004-04-06 Maytag Corporation Menu-based control system for refrigerator that predicts order and replace dates for filters
JP4294912B2 (ja) 2001-08-13 2009-07-15 ブラザー工業株式会社 端末情報通知システム、端末情報通知方法及びネットワーク端末装置
US7478125B2 (en) * 2001-09-13 2009-01-13 Intel Corporation Automatic annotation of audio and/or visual data
US7035913B2 (en) 2001-09-28 2006-04-25 Hewlett-Packard Development Company, L.P. System for collection and distribution of calendar information
US20030065677A1 (en) * 2001-09-28 2003-04-03 Culp Jerlyn R. Electronic calendaring device
US8370763B1 (en) * 2001-10-31 2013-02-05 At&T Intellectual Property I, L. P. System and method for creating an electronic-calendar entry
US20030086694A1 (en) * 2001-11-07 2003-05-08 Nokia Corporation Recording program scheduling information in an electronic calendar
US7353465B2 (en) * 2001-12-21 2008-04-01 Hewlett-Packard Development Company, L.P. Method for managing personal and work-related matters
US7882433B2 (en) * 2001-12-21 2011-02-01 Hewlett-Packard Development Company, L.P. System and apparatus for managing personal and work-related matters
US7039596B1 (en) * 2002-01-18 2006-05-02 America Online, Inc. Calendar overlays
US6963985B2 (en) * 2002-02-22 2005-11-08 Intel Corporation Automatic power down
US7921160B2 (en) * 2002-09-17 2011-04-05 At&T Intellectual Property I, L.P. Initiating instant messaging (IM) chat sessions from email messages
US7933957B2 (en) * 2002-09-17 2011-04-26 At&T Intellectual Property Ii, L.P. Tracking email and instant messaging (IM) thread history
US20040054736A1 (en) * 2002-09-17 2004-03-18 Daniell W. Todd Object architecture for integration of email and instant messaging (IM)
US7657598B2 (en) * 2002-09-17 2010-02-02 At&T Intellectual Property I, L.P. Address book for integrating email and instant messaging (IM)
US7185059B2 (en) * 2002-09-17 2007-02-27 Bellsouth Intellectual Property Corp Multi-system instant messaging (IM)
US20040064514A1 (en) * 2002-09-17 2004-04-01 Daniell W. Todd Providing instant messaging (IM) internet presence information and chat capability from displayed email messages
US8037141B2 (en) 2002-09-17 2011-10-11 At&T Intellectual Property I, L.P. Instant messaging (IM) internet chat capability from displayed email messages
US7472135B2 (en) * 2002-10-18 2008-12-30 Nokia Corporation Method and system for recalling details regarding past events
US7996470B2 (en) * 2003-10-14 2011-08-09 At&T Intellectual Property I, L.P. Processing rules for digital messages
US7464330B2 (en) * 2003-12-09 2008-12-09 Microsoft Corporation Context-free document portions with alternate formats
US7617447B1 (en) 2003-12-09 2009-11-10 Microsoft Corporation Context free document portions
US20050134938A1 (en) * 2003-12-22 2005-06-23 Perry Brad S. Systems and methods for tracking communication
US8489442B1 (en) 2004-02-02 2013-07-16 Avaya Inc. Interface for meeting facilitation and coordination, method and apparatus
US8523571B1 (en) * 2004-03-09 2013-09-03 Avirat, Inc. Family organization and communication tool
US7383500B2 (en) * 2004-04-30 2008-06-03 Microsoft Corporation Methods and systems for building packages that contain pre-paginated documents
US7418652B2 (en) * 2004-04-30 2008-08-26 Microsoft Corporation Method and apparatus for interleaving parts of a document
US8661332B2 (en) * 2004-04-30 2014-02-25 Microsoft Corporation Method and apparatus for document processing
US7359902B2 (en) * 2004-04-30 2008-04-15 Microsoft Corporation Method and apparatus for maintaining relationships between parts in a package
US7487448B2 (en) 2004-04-30 2009-02-03 Microsoft Corporation Document mark up methods and systems
US7512878B2 (en) 2004-04-30 2009-03-31 Microsoft Corporation Modular document format
US7549118B2 (en) * 2004-04-30 2009-06-16 Microsoft Corporation Methods and systems for defining documents with selectable and/or sequenceable parts
US7580948B2 (en) 2004-05-03 2009-08-25 Microsoft Corporation Spooling strategies using structured job information
US7519899B2 (en) 2004-05-03 2009-04-14 Microsoft Corporation Planar mapping of graphical elements
US7634775B2 (en) 2004-05-03 2009-12-15 Microsoft Corporation Sharing of downloaded resources
US7440132B2 (en) 2004-05-03 2008-10-21 Microsoft Corporation Systems and methods for handling a file with complex elements
US8243317B2 (en) * 2004-05-03 2012-08-14 Microsoft Corporation Hierarchical arrangement for spooling job data
US7607141B2 (en) 2004-05-03 2009-10-20 Microsoft Corporation Systems and methods for support of various processing capabilities
US7755786B2 (en) 2004-05-03 2010-07-13 Microsoft Corporation Systems and methods for support of various processing capabilities
US8363232B2 (en) * 2004-05-03 2013-01-29 Microsoft Corporation Strategies for simultaneous peripheral operations on-line using hierarchically structured job information
DE102004032500A1 (de) * 2004-07-05 2006-02-02 Siemens Ag Verfahren und Nachrichtensystem zur Erstellung eines Terminelements in einem Nachrichtensystem
US7490106B2 (en) * 2004-07-09 2009-02-10 Microsoft Corporation Multidimensional database subcubes
US7533348B2 (en) * 2004-07-09 2009-05-12 Microsoft Corporation System that facilitates maintaining business calendars
US20060010058A1 (en) * 2004-07-09 2006-01-12 Microsoft Corporation Multidimensional database currency conversion systems and methods
US7451137B2 (en) * 2004-07-09 2008-11-11 Microsoft Corporation Using a rowset as a query parameter
US7694278B2 (en) * 2004-07-09 2010-04-06 Microsoft Corporation Data cube script development and debugging systems and methodologies
US20060020608A1 (en) * 2004-07-09 2006-01-26 Microsoft Corporation Cube update tool
US7617450B2 (en) 2004-09-30 2009-11-10 Microsoft Corporation Method, system, and computer-readable medium for creating, inserting, and reusing document parts in an electronic document
US7689037B2 (en) * 2004-10-22 2010-03-30 Xerox Corporation System and method for identifying and labeling fields of text associated with scanned business documents
US7584111B2 (en) * 2004-11-19 2009-09-01 Microsoft Corporation Time polynomial Arrow-Debreu market equilibrium
US20060136816A1 (en) * 2004-12-20 2006-06-22 Microsoft Corporation File formats, methods, and computer program products for representing documents
US7617451B2 (en) * 2004-12-20 2009-11-10 Microsoft Corporation Structuring data for word processing documents
US7614000B2 (en) 2004-12-20 2009-11-03 Microsoft Corporation File formats, methods, and computer program products for representing presentations
US7617444B2 (en) 2004-12-20 2009-11-10 Microsoft Corporation File formats, methods, and computer program products for representing workbooks
US7617229B2 (en) * 2004-12-20 2009-11-10 Microsoft Corporation Management and use of data in a computer-generated document
US7620889B2 (en) 2004-12-20 2009-11-17 Microsoft Corporation Method and system for linking data ranges of a computer-generated document with associated extensible markup language elements
US7752632B2 (en) * 2004-12-21 2010-07-06 Microsoft Corporation Method and system for exposing nested data in a computer-generated document in a transparent manner
US7770180B2 (en) * 2004-12-21 2010-08-03 Microsoft Corporation Exposing embedded data in a computer-generated document
US20060210023A1 (en) * 2005-02-24 2006-09-21 Larry Spruce Voice messenger LX100
US20060206522A1 (en) * 2005-03-11 2006-09-14 Xerox Corporation Electronic calendar systems and methods
US8751279B2 (en) * 2005-05-23 2014-06-10 Blackberry Limited System and method for preventing the lapse of a recurring event using electronic calendar system
US20070022128A1 (en) * 2005-06-03 2007-01-25 Microsoft Corporation Structuring data for spreadsheet documents
US20060277452A1 (en) * 2005-06-03 2006-12-07 Microsoft Corporation Structuring data for presentation documents
US7694214B2 (en) * 2005-06-29 2010-04-06 Microsoft Corporation Multimodal note taking, annotation, and gaming
US20070106548A1 (en) * 2005-11-04 2007-05-10 Steven Leonard Bratt Internet based calendar system linking all parties relevant to the automated maintenance of scheduled events
US20070112854A1 (en) * 2005-11-12 2007-05-17 Franca Paulo B Apparatus and method for automatic generation and distribution of documents
US20070156844A1 (en) * 2005-12-29 2007-07-05 Samsung Electronics Co., Ltd. Apparatus and method for storing content, and apparatus and method for displaying content
WO2007117298A2 (en) 2005-12-30 2007-10-18 Public Display, Inc. Event data translation system
US7984378B1 (en) 2006-02-07 2011-07-19 Avaya Inc. Management of meetings by grouping
US8115948B2 (en) * 2006-04-21 2012-02-14 Microsoft Corporation Interactive paper system
US8014040B2 (en) * 2006-04-21 2011-09-06 Microsoft Corporation Dynamic scanner system
US20070247655A1 (en) * 2006-04-21 2007-10-25 Microsoft Corporation Dynamic printer system
US8600794B2 (en) 2006-05-10 2013-12-03 Avaya Inc. Meeting notification and merging agents
US7778858B1 (en) 2006-07-17 2010-08-17 Avaya Inc. Linking unable to respond messages to entries in electronic calendar
US7739340B2 (en) * 2006-09-20 2010-06-15 International Business Machines Corporation Method, system and computer program product for enabling electronic chat with online calendar invitees
US7693736B1 (en) 2006-10-30 2010-04-06 Avaya Inc. Recurring meeting schedule wizard
US10445703B1 (en) 2006-10-30 2019-10-15 Avaya Inc. Early enough reminders
US8037143B1 (en) 2006-10-30 2011-10-11 Avaya Inc. Automatic display of email distribution lists
US7827240B1 (en) 2007-01-02 2010-11-02 Avaya Inc. Calendar item hierarchy for automatic specialization
US8060395B1 (en) 2007-06-28 2011-11-15 Intuit Inc. Method and system for priority-based appointment scheduling
US20110205849A1 (en) * 2010-02-23 2011-08-25 Sony Corporation, A Japanese Corporation Digital calendar device and methods
EP2367144A1 (en) * 2010-03-15 2011-09-21 Research In Motion Limited Method and apparatus for tracking changes to a set of data
US20120143961A1 (en) * 2010-12-06 2012-06-07 Sony Ericsson Mobile Communications Ab Calendar event creation using electronic message conversations
US8930820B1 (en) * 2011-06-30 2015-01-06 Intuit Inc. Automatic calendaring system
US8690062B1 (en) * 2011-11-10 2014-04-08 Komel Qureshi Storing events in an electronic calendar from a printed source
US8881244B2 (en) 2012-08-13 2014-11-04 International Business Machines Corporation Authorizing computing resource access based on calendar events in a networked computing environment
EP2984574A4 (en) * 2013-04-10 2016-10-19 Ruslan Albertovich Shigabutdinov SYSTEMS AND METHODS FOR PROCESSING ENTRIES OF AGENDA APPLICATION ENTRIES
US10210483B2 (en) * 2013-06-10 2019-02-19 Microsoft Technology Licensing, Llc Creating recurring appointments
US10034052B2 (en) 2014-07-28 2018-07-24 Eldon Technologies Apparatus, systems and methods for synchronizing calendar information with electronic program guide information
US10198484B2 (en) * 2015-09-10 2019-02-05 Salesforce.Com, Inc. Displaying reduced and detailed visual representations of calendar items based on mouse cursor movement
JP6508101B2 (ja) * 2016-03-23 2019-05-08 カシオ計算機株式会社 タスク管理装置及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07296080A (ja) * 1994-04-26 1995-11-10 Internatl Business Mach Corp <Ibm> 電子カレンダのスケジューリング方法とそのシステム
JPH10240818A (ja) * 1996-12-26 1998-09-11 Canon Inc 情報処理装置及びその方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5159667A (en) 1989-05-31 1992-10-27 Borrey Roland G Document identification by characteristics matching
US5283818A (en) 1992-03-31 1994-02-01 Klausner Patent Technologies Telephone answering device linking displayed data with recorded audio message
US6272074B1 (en) * 1993-09-23 2001-08-07 Oracle Corporation Method and apparatus for generating recurring events in a calendar/schedule system
US5659639A (en) 1993-11-24 1997-08-19 Xerox Corporation Analyzing an image showing editing marks to obtain category of editing operation
US6088026A (en) * 1993-12-21 2000-07-11 International Business Machines Corporation Method and apparatus for multimedia information association to an electronic calendar event
US5528290A (en) 1994-09-09 1996-06-18 Xerox Corporation Device for transcribing images on a board using a camera based board scanner
JPH08237407A (ja) 1994-12-09 1996-09-13 Xerox Corp 画像タイルの相対的なアラインメントを見当合わせすると共に透視歪みを修正するための方法
JPH08249357A (ja) * 1994-12-22 1996-09-27 Fuji Xerox Co Ltd 情報処理装置
US5732399A (en) * 1995-06-07 1998-03-24 Sun Microsystems, Inc. Method and apparatus for associating calendar events with contextual information and other calendar events
US5646986A (en) * 1995-12-29 1997-07-08 At&T Network communication system with global event calendar information and trunk allocation
US6246410B1 (en) * 1996-01-19 2001-06-12 International Business Machines Corp. Method and system for database access
US6421670B1 (en) * 1996-04-15 2002-07-16 Clive M Fourman Computer network
US5692073A (en) * 1996-05-03 1997-11-25 Xerox Corporation Formless forms and paper web using a reference-based mark extraction technique
US6216102B1 (en) * 1996-08-19 2001-04-10 International Business Machines Corporation Natural language determination using partial words
EP0851372A3 (en) 1996-12-26 1999-08-04 Canon Kabushiki Kaisha An information processing apparatus for managing schedule data and a method therefor
US6032121A (en) * 1997-05-15 2000-02-29 International Business Machines Corporation Method for proactive planning
US6505150B2 (en) * 1997-07-02 2003-01-07 Xerox Corporation Article and method of automatically filtering information retrieval results using test genre
US6424429B1 (en) * 1997-11-14 2002-07-23 Ricoh Company, Ltd. File system and a recording medium with a program used in the system stored therein
US5999664A (en) * 1997-11-14 1999-12-07 Xerox Corporation System for searching a corpus of document images by user specified document layout components
US6353824B1 (en) * 1997-11-18 2002-03-05 Apple Computer, Inc. Method for dynamic presentation of the contents topically rich capsule overviews corresponding to the plurality of documents, resolving co-referentiality in document segments
US6249765B1 (en) * 1998-12-22 2001-06-19 Xerox Corporation System and method for extracting data from audio messages

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07296080A (ja) * 1994-04-26 1995-11-10 Internatl Business Mach Corp <Ibm> 電子カレンダのスケジューリング方法とそのシステム
JPH10240818A (ja) * 1996-12-26 1998-09-11 Canon Inc 情報処理装置及びその方法

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001084228A (ja) * 1999-08-03 2001-03-30 Fuji Xerox Co Ltd 自由形式入力に基づくアラート提供方法、リマインダーメッセージ提供システム、コンピュータ読取り可能記憶媒体、及びペン・ベースのコンピュータシステム
US7328408B2 (en) 2002-03-14 2008-02-05 Kabushiki Kaisha Toshiba Apparatus and method for extracting and sharing information
US8799303B2 (en) 2004-02-15 2014-08-05 Google Inc. Establishing an interactive environment for rendered documents
US9268852B2 (en) 2004-02-15 2016-02-23 Google Inc. Search engines and systems with handheld document data capture devices
US8619147B2 (en) 2004-02-15 2013-12-31 Google Inc. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US10635723B2 (en) 2004-02-15 2020-04-28 Google Llc Search engines and systems with handheld document data capture devices
US8831365B2 (en) 2004-02-15 2014-09-09 Google Inc. Capturing text from rendered documents using supplement information
US9008447B2 (en) 2004-04-01 2015-04-14 Google Inc. Method and system for character recognition
US8793162B2 (en) 2004-04-01 2014-07-29 Google Inc. Adding information or functionality to a rendered document via association with an electronic counterpart
US8781228B2 (en) 2004-04-01 2014-07-15 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US8621349B2 (en) 2004-04-01 2013-12-31 Google Inc. Publishing techniques for adding value to a rendered document
US9633013B2 (en) 2004-04-01 2017-04-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US9514134B2 (en) 2004-04-01 2016-12-06 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US8619287B2 (en) 2004-04-01 2013-12-31 Google Inc. System and method for information gathering utilizing form identifiers
US9454764B2 (en) 2004-04-01 2016-09-27 Google Inc. Contextual dynamic advertising based upon captured rendered text
US8620760B2 (en) 2004-04-01 2013-12-31 Google Inc. Methods and systems for initiating application processes by data capture from rendered documents
US9116890B2 (en) 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US9143638B2 (en) 2004-04-01 2015-09-22 Google Inc. Data capture from rendered documents using handheld device
US8713418B2 (en) 2004-04-12 2014-04-29 Google Inc. Adding value to a rendered document
US8799099B2 (en) 2004-05-17 2014-08-05 Google Inc. Processing techniques for text capture from a rendered document
US9275051B2 (en) 2004-07-19 2016-03-01 Google Inc. Automatic modification of web pages
US10769431B2 (en) 2004-09-27 2020-09-08 Google Llc Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US8903759B2 (en) 2004-12-03 2014-12-02 Google Inc. Determining actions involving captured information and electronic content associated with rendered documents
US8874504B2 (en) 2004-12-03 2014-10-28 Google Inc. Processing techniques for visual capture data from a rendered document
US9075779B2 (en) 2009-03-12 2015-07-07 Google Inc. Performing actions based on capturing information from rendered documents, such as documents under copyright
US8990235B2 (en) 2009-03-12 2015-03-24 Google Inc. Automatically providing content associated with captured information, such as information captured in real-time
US9081799B2 (en) 2009-12-04 2015-07-14 Google Inc. Using gestalt information to identify locations in printed information
US9323784B2 (en) 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images

Also Published As

Publication number Publication date
US6675356B1 (en) 2004-01-06
EP1014286A3 (en) 2002-01-30
EP1014286A2 (en) 2000-06-28

Similar Documents

Publication Publication Date Title
JP2000215213A (ja) 分散型文書に基づく一覧表作成方法及びシステム
JP2000235475A (ja) オーディオメッセージからデータを抽出するシステム及び方法
JP2000215214A (ja) 複数文書ジャンル用ダイナミックコンテントデ―タベ―ス処理方法
JP2000195735A (ja) 相互作用式寄生型ディスプレイ装置
JP2000231627A (ja) フィードバック機構を備えた複数モード走査ペン及びこれを用いた入力方法
EP0866397B1 (en) System for capturing and retrieving audio data and corresponding hand-written notes
US5898434A (en) User interface system having programmable user interface elements
US9176933B2 (en) Application of multiple content items and functionality to an electronic content item
US20040196313A1 (en) Ink repurposing
US20040168133A1 (en) Meeting information
US20120035925A1 (en) Population of Lists and Tasks from Captured Voice and Audio Content
US20110314402A1 (en) Flagging, Capturing and Generating Task List Items
US8370767B2 (en) List authoring surface
US20080236904A1 (en) Method and system for collaborative capture and replay of digital media files using multimodal documents
WO2005099381A2 (en) Expression and time-based data creation and creator-controlled organization
JP2004151899A (ja) 情報提供方法、情報提供処理システム、プログラム
JP2004199408A (ja) 文書処理方法、情報表示処理方法、情報表示処理システム、管理サーバ、クライアント端末、プログラム
JP2004199407A (ja) 情報表示処理方法、情報表示処理システム、管理サーバ、クライアント端末、プログラム
JP4172266B2 (ja) クライアント端末
Freeman et al. Beyond lifestreams: The inevitable demise of the desktop metaphor
Noh Ralph Ellison’s Computer Memory
JP2004199576A (ja) 情報処理支援方法、情報処理支援システム、管理サーバ、クライアント端末、プログラム
Newcomer Discovery
JP2004199575A (ja) 情報処理支援方法、情報処理支援システム、管理サーバ、クライアント端末、プログラム
JP2000242535A (ja) 情報処理装置、情報処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061211

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20061211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091006

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100105

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100602

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100622