JP4192729B2 - 自由形式注釈を強調するための方法、注釈強調表示装置、及び自由形式注釈を強調するためのプログラム - Google Patents

Description

本発明は概して、自由形式環境において高価値の注釈を強調するためのシステム及び方法に関する。即ち、本発明は自由形式注釈を強調するための方法、高価値の自由形式注釈を強調する自由形式注釈強調システム、及び自由形式注釈を強調するためのプログラムに関する。

電子図書館（ディジタル・ライブラリー）の従来のユーザインタフェースは、検索を重視する傾向がある。即ち、ユーザは、オンラインで、又は表示スクリーン上で文書を検索することができる。しかしながら、ユーザは文書を印刷し、文書内の重要な文節／語句を手を使ってマーク付けや、注釈を付けなければならない。注釈は、読み手が一目で文書内容を理解するのを手助けしたり、読み手自身の思考の脈略に対してより認識できる構造を提供したり、さらに／又は長い文書の最も適切且つ有用な部分に対し読み手を集中させることができる。

読み手が文書にマーク付けする時、読み手の注釈は均等に重要というわけではない。即ち、読み手が付けるマークは異なった機能を有し、その価値（value）の度合いが異なる。価値の度合いの相違により、主要な文節やアイデア、又は重要な引用例がテキスト全体の要約において目立つように、ユーザが文書を個人化することができる。その後、文書の自動電子概要をその注釈に基づいて作成することができる。

文書において注釈を表示し提示する多数の方法が試みられている。例えば、サムネイル表示や、その他の内容表示が使用されている。しかしながら、これらの方法は、注釈のタイプ及び／又は量によって示されるような文節の重要性及び／又は価値よりも注釈の形式に一般的に依存する。

従来、読み手の注釈を有意味構造に編成する際に使用するための自由形式注釈を検出し抽出するための方法が開示されている（例えば、特許文献１を参照）。しかしながら、その他協同による出願における技術の場合のように、特許文献１に示された方法及びシステムは、注釈のタイプ及び／又は量によって示されるように、高価値の（又は重要な）文節や注釈を、他の低価値の文節や注釈と区別することをしない。これらの方法及びシステムは、注釈そのもの、又は注釈が対応付けられる文節を注目し抽出することができるにすぎない。

この結果、これらの方法及びシステムでは、注釈そのものの形式が変換されてしまう。例えば、図１に示されるように、マルチ・サムネイル表示が長い文書の文節を表示するために一般に使用されている。しかしながら、このマルチ・サムネイル表示に基づいて、ユーザは文書のどのページ又はセクションが特別に重要であるかを識別することはできない。さらに詳しくは、強調表示された部分が目立たない。その他の例において、注釈の機能、即ち、注釈及び／又は対応する文節の重要度又は関連性に関する注釈者の考えを伝えることは、注釈記号が識別できないために失われてしまう。即ち、余白部（マージン）はもはや読み取ることができず、すべての注釈は同じ重みと価値を有するように見えるという問題がある。
また従来、注釈を「注釈リフティング」手法を用いて検出し、「剥離」する方法が開示されている。この方法は、マークの付された参照文書（第１画像）と、マークの付されてない参照文書（第２画像）とを比較し、マークを表示する画素を抽出する方法である（例えば、特許文献２を参照）。また、形状認識アルゴリズムを用いて注釈を検出する方法が開示されている。この方法は、従来の認識技法を行うことなく、手書き入力などのジェスチャーベースのデータを検索及びマッチングする方法である（例えば、特許文献３を参照）。さらに、特性（ノート・マークのタイプ）、キーワード（デジタルページのノート・マークの概略内容）、及び音声強調に基づいて、電子ノート中のデータベースを検索できるシステムが開示されている（例えば、特許文献４を参照）。しかしながら、これらの開示によっても、上述の問題は解決されていない。
米国特許第６，２７９，０１４号明細書 米国特許第５，６９２，０７３号明細書 米国特許第５，６８７，２５４号明細書 米国特許第５，９７０，４５５号明細書 プーン他（Poon et al.）著、「スクリブラー：ディジタルインクをサーチするためのツール（Scribbler: A Tool for Searching Digital Ink）」、ＣＨＩ'95 モザイク・オブ・クリエイティビティ（MOSAIC OF CREATIVITY）、１９９５年５月７日−１１日、ｐｐ．２５２−２５３ シップマン他（Shipman et al.）著、「注釈パターンに基づく文書内の有用な文節の識別（Identifying Useful Passages in Documents based on Annotation Patterns）」、ＦＸ・パロアルト・ラボラトリー（FX Palo Alto Laboratory）、ｐｐ．１−８ ベダーソン他（Bederson et al.）著、「Ｐａｄ＋＋：代替インタフェースフィジックスを探索するためのズーミング・グラフィカル・インタフェース（Pad++: A Zooming Graphical Interface for Exploring Alternate Interface Physics）」、ＵＩＳＴ、１９９４年１１月２日−４日、ｐｐ．１７−２６

したがって、発明者らは、重要度に従って一連の検出された自由形式注釈を順位付け、注釈の重要度を表示することができるシステムを用いれば注釈の有用性を改善することを課題としている。

本発明は、高価値の自由形式注釈を検出し強調するシステム及び方法を提供する。

本発明は、重要な又は高価値の注釈を識別するシステム及び方法を提供する。

本発明は、認識可能な書式の決定された高価値の注釈をマーク付け、及び／又は該高価値の注釈を表示するシステム及び方法を提供する。

本発明によるシステム及び方法の種々の具体例としての実施の形態において、文書に注釈を作成するために特定のユーザによって使用された特定の注釈スタイルが決定される。この注釈スタイルは注釈を作成した特定の個人に対し個別であってもよいが、あるいは標準化スタイルである可能性もある。高価値の注釈マークが低価値の注釈マークと区別できるように注釈スタイルが決定されると、高価値の注釈マークを位置付けるために文書内の注釈が分析される。

種々の具体例としての実施の形態において、統計的分析、時刻表示（タイムスタンプ）情報、手書き検出、さらに／又は高価値の注釈を残りの注釈から分離することができる注釈を分類するためのその他手法に基づいて、高価値の注釈マークを低価値の注釈マークから区別することができる。

本発明の第１の態様は、自由形式注釈を強調するための方法であって、読み手に注意を促すために注釈が付された文書を示す文書データを受信手段により受信し、受信された前記文書データにより示される文書を解析手段により解析して前記文書に付された注釈のタイプを識別すると共に、識別された前記注釈のタイプに応じた所定の基準に基づいて決定手段により各注釈の重要度を決定し、表示手段に前記文書データにより示される文書の少なくとも一部が縮小表示されている状態での前記注釈の表示が、縮小表示されていない状態での前記注釈の表示を前記縮小に応じて縮小したときの表示と比較して、前記注釈の重要度が高いほど視覚的に強調して表示されるように制御する、方法である。

本発明の第２の態様は、上記第１の態様において、前記所定の基準は、注釈のタイプ毎の出現度数が低いものほど重要度が高いものとし、前記受信された前記文書データにより示される文書を解析手段により解析して注釈のタイプ毎の出現度数を求め、当該出現度数が少ないほど重要度が高いものして各注釈の重要度を決定する、方法である。

本発明の第３の態様は、上記第１及び第２の態様において、前記表示手段に対し、決定された重要度が高いほど視覚的に強調して表示されるように前記注釈の外観を変更して表示する、方法である。

本発明の第４の態様は、上記第３の態様において、上記外観を変更は、フォントサイズ、フォントカラー、下線、強調表示、及びアイコン化の少なくとも１つを変更することを含む、方法である。

本発明の第５の態様は、上記第１〜第４の態様において、前記重要度の決定は、注釈が付された部分又は文節をグループ化し、複数のグループの相対的重要度を順位付け、タイプ分けすることを含む、方法である。

本発明の第６の態様は、上記第５の態様において、複数の注釈が付された部分又は文節は、マルチマークとして分類される、方法である。

本発明の第７の態様は、注釈強調表示装置であって、読み手に注意を促すために注釈が付された文書を示す文書データを受信する受信手段と、受信された前記文書データにより示される文書を解析手段により解析して前記文書に付された注釈のタイプを識別すると共に、識別された前記注釈のタイプに応じた所定の基準に基づいて各注釈の重要度を決定する決定手段と、前記文書データにより示される文書の少なくとも一部が縮小表示されている状態での前記注釈の表示が、縮小表示されていない状態での前記注釈の表示を前記縮小に応じて縮小したときの表示と比較して、前記注釈の重要度が高いほど視覚的に強調して表示されるように制御する制御手段と、を備えた注釈強調表示装置である。

本発明の第８の態様は、上記第７の態様において、前記所定の基準は、注釈のタイプ毎の出現度数が低いものほど重要度が高いものとし、前記決定手段は、前記受信された前記文書データにより示される文書を解析手段により解析して注釈のタイプ毎の出現度数を求め、当該出現度数が少ないほど重要度が高いものして各注釈の重要度を決定する、注釈強調表示装置である。

本発明の第９の態様は、上記第７又第８の態様において、前記制御手段は、決定された重要度が高いほど前記注釈の外観を変更して視覚的に強調して表示されるように表示手段を制御する、注釈強調表示装置である。

本発明の第１０の態様は、上記第９の態様において、前記外観を変更は、フォントサイズ、フォントカラー、下線、強調表示、及びアイコン化の少なくとも１つを変更することを含む、注釈強調表示装置である。

本発明の第１１の態様は、上記第７〜第１０の態様において、前記決定手段による前記重要度の決定は、注釈が付された部分又は文節をグループ化し、複数のグループの相対的重要度を順位付け、タイプ分けすることを含む、注釈強調表示装置である。

本発明の第１２の態様は、上記第１１の態様において、複数の注釈が付された部分又は文節は、マルチマークとして分類される、注釈強調表示装置である。

本発明の第１３の態様は、自由形式注釈を強調するためのプログラムであって、コンピュータを、読み手に注意を促すために注釈が付された文書を示す文書データを受信する受信手段と、受信された前記文書データにより示される文書を解析手段により解析して前記文書に付された注釈のタイプを識別すると共に、識別された前記注釈のタイプに応じた所定の基準に基づいて各注釈の重要度を決定する決定手段と、前記文書データにより示される文書の少なくとも一部が縮小表示されている状態での前記注釈の表示が、縮小表示されていない状態での前記注釈の表示を前記縮小に応じて縮小したときの表示と比較して、前記注釈の重要度が高いほど視覚的に強調して表示されるように制御する制御手段と、として機能させるための、プログラムである。

本発明のこれら及びその他の特徴と利点は、本発明による装置／システムと方法についての以下の詳細な説明において示され、又は同説明から明白である。

例えば、サムネイル、図式的概略、アウトライン、及び要約（サマリ）等の縮小表示が多くのインタフェースで使用されている。これらのインタフェースを用いることで、ユーザは標準サイズのディスプレイ上で一度に多くの文書、又は１つの文書の多くのページを見て、それらとインタラクトすることが可能になる。読み手が文書上にマークを付ける時には、該読み手や、他者にとって重要である文節を指示している。これらの注釈の一部は、とりわけ高価値であり、他の部分は特定の読み取り範囲を除いてほとんど重要性をもたない。本発明のシステム及び方法に従って高価値の注釈を強調することで、本発明のシステム及び方法に従ってこのような高価値の注釈を自動的に検出した後に、縮小文書表示を改善することができる。高価値の注釈を強調することにより、縮小表示からノイズを排除し、さらに、ユーザは長い文書又は広範囲にわたる文書の集合の関連部分に注意を集中することが可能になる。

図１は、長い文書の個々のページを表示するサムネイルの集合を示している。このサムネイル表示は、富士ゼロックス（日本、東京）から入手できるXLibris（商標）文書リーダから採用されているが、Adobe Acrobat (http://www.adobe.com/prodindex/acrobat/)のようなレンダリングプログラムや、Pagis (http://www.pagis.com/home.html)のような走査フロントエンド・プログラムや、Ｒ．トリグ他（R.Trigg et al.）著「ムービング・ドキュメント・コレクションズ・オンライン：共有リポジトリの発展（Moving document collections online: The evolution of a shared repository）」（ECSCW'99会報）において明示されるインテグレータのような文書管理システムにおいて使用される文書を表示することは一般的な方法である。図１に示されるサムネイルで示される特定の文書のページがユーザによって読み取られ、注釈が付けられたり又はマークが付けられる。図１では、あるページを他のページと区別することが困難であることを示しているが、これは、ページの多くがハイライトマーカーを用いてマークが付けられ、強調表示された部分がすべてほとんど同じように見えてしまうからである。例えば、ユーザが文書の始めのところで重要な注釈付きの文節を見つけようとした場合、図１に示される文書の１７ページ目と２５ページ目との間から選択することは困難であることがある。ユーザがそのページをフルサイズに拡大することによって各ページを検討することはオーバーヘッドの高い操作である。しかしながら、ユーザはこの文書を最初に読み取り、強調表示した時にこれらページの中でどのページに関心があるかを既に指示している。１７ページ目と２５ページ目には星印を付けた文節がある。しかしながら、文書のページすべてをサムネイルとして示すのには図１に示されるようなコンパクトな表示が必要であり、これらの星形注釈は目でみることができない。

後述される方法のどれもが、最初に注釈が付けられた文書や、ディジタルインクを用いて注釈が付けられるマーキング方法に依存しないことに注意することは重要である。実際、マークが付けられた文書が走査される第１のステップを想定することは容易である。注釈は、「注釈リフティング（持ち上げ）」手法を用いて検出され、「剥離」される（例えば、特許文献２を参照）。

情報システムに対する多種多様のユーザインタフェースは、文書の縮小表示を用いる。例えば、「Pagis」又はVisioneerの「PaperPort」文書管理システム等の、スキャナに対するフロントエンドとして機能するプログラムは、同時に複数のページ又は複数の文書を提示するための原則モードの１つとしてサムネイルを使用することが多い。例えば、 HYPERLINK "http://www.amico.org/home.html" http://www.amico.org/home.htmlで示されるように、「ＡＭＩＣＯ」によって提供されるような画像のデータベースは、このようにサーチ結果を同様にして提示する。

例えば、MS WordやMS PowerPoint等の、文書を操作するためのその他のツールは、縮小表示を構築するために文書構造を利用する。コンテンツのテーブルや、ユーザが一度に文書の１ページ以上を見てインターラクトすることを可能にするアウトラインを生成するために、例えば、セクションの見出し等のタグ付き文書や、個々のPowerPointスライド等の離散的境界はこれらのプログラムによって用いられることがある。多くの場合、検索ツール、例えば、Altavistaは、サマリー等の計算された縮小文書表示としてサーチ結果を提示する。この縮小表示は、文書の要旨に対応する。

これらの例が、本発明によるシステム及び方法が適用される縮小表示の適合可能なタイプを限定するためでなく、むしろそれらの範囲を示すためのものであることを理解すべきである。

ユーザが広範囲にわたって文書に注釈を付ける一方で、これらの注釈がすべて、長期にわたって読み手に対し同じ価値があるとは限らない。一部の注釈は、難しい説明を苦労して読み進んでいく時に、読み手の注意を一時的にトレースしたものである。他の注釈は、読み手に反応を起こさせる文節を選び出す。さらに別の注釈はコメンタリであり、次の読み取り又は将来の活動において有用である。例えば、弁護士が作成中の摘要書において一語一句そのまま引用されることをユーザが予想する場合、弁護士が文節に星印を付けることができる。

図２は、ユーザによって利用され得る具体例としての注釈スタイルを示している。図２は、本発明による自由形式注釈強調システム及び方法を用いて分析且つ強調されることが可能な文書に注釈を付けるための様々な方法を示している。図２の左上側の文節における注釈スタイルは、文書のこの部分又は文節に隣接した文書の余白部において（ａ）星印（アステリスク）を用いて、この特定部分又は文節が重要であることを示す。本発明による種々の具体例としての実施の形態では、この星印は、文書の強調表示された部分又は文節が高価値であることの客観的指標として用いられる。

図２の右上側の文節は別の注釈スタイルを示している。例えば、予め（ｂ）強調表示された文書の一部又は文節内に（ｃ）円形や（ｄ）下線を付すことによって、予め強調表示された文書の一部又は文節のセクションの重要度及び／又は強調を更に強めている。図２に示される左下側の文節では、ユーザが文書に予め（ｅ）下線を引いた部分又は文節に（ｆ）ブラケットを付けることによって、文書の一部又は文節が更に重要であることが示されている。同じように、この部分又は文節に（ｇ）二重下線を引くことによって、該文節が更に重要であることを示すこともできる。図２に示される右下側の文節では、（ｈ）余白部の手書き等の自由形式注釈は、文書の隣接部分又は文節が更に重要であること、すなわち、価値が高いことを示す。

図３は、電子文書の具体例を示している。図３に示されるページの上側半分は、（ａ）下線や（ｂ）マージン・バー等のディジタル注釈を含む。これらの注釈は、（ｃ）円で囲まれたり、矢印で指示されているような、該ページ及び隣接するテキストの文節に書き込まれた（ｄ）注釈よりも重要度が低いと考えられる。ページの各部分はテキスト内で列挙され、テキストのかかる部分を呼び出すために、欄外書き込みで注釈が付けられる。該ページの次の（ｅ）コメンタリは、先の欄外書き込みほどには強調されてないが、同様に高価値のものであると考えられる。この例は、再読み取り及び書き込みを含む動作に対する読み手の注釈の変更値及び関連性を説明している。

図３に示されるページにおいて注意すべき第１の態様は、該ページにどの程度の重みの注釈が付けられるかということにすぎない。読み手のマークがないページはほとんどない。この例はまた、高価値の注釈を検出するためになくてはならない処理の種々の段階を示している。まず、読み手のマーキングスタイルが特徴付けられなければならない。これにより、注釈の値が正規化される。注釈の値を正規化するために、文書の背景及びページ内部の読み手のマークの度数が決定される必要があり、読み手がマークを付ける傾向があるマークのタイプが識別されなければならない。特に、読み手が通常、下線を引いたり、強調表示をしたり、マージンバーを用いたり、余白に記号を書き込んだり、さらに／あるいは広範囲にわたって欄外書き込みをするかどうかに関して決定されなければならない。読み手が通常、文書上にほとんどマークを付けない場合、強調表示された文節が高価値の注釈である可能性が高い。あるいは、読み手がほとんどのページにハイライトマーカーを使用する場合、単一の強調表示の例はそれほど重要にはなりにくい。スタイルの特徴付けにより、これらの注釈の相関値を評価するために個々の注釈に重みが割り当てられる。

読み手のスタイルが特徴付けられた後に、該読み手によって付けられた種々の注釈の中のどのタイプの注釈が該読み手に対し高価値を示すかを検出するために、注釈自体の特性が分析されなければならない。どのタイプの注釈が読み手に対し高価値の注釈であるかを決定するために、注釈タイプの発見的アセスメントを今回使用するに際し、例えば、強調表示及び下線のようなテキスト上のマークと、コメンタリ及び記号のような余白部のマークのような、注釈手段の間における区別に重点を置いた。欄外書き込みの間における更なる区別は、範囲（即ち、注釈が占有するスペース）、形状（例えば、長さと幅）、配置（即ち、該ページにおいて注釈がソース文書に関連している場所）、周知の又は後日開発されるような特徴に応じて行なうことができる。さらに、それが望ましい場合、注釈自体は標準形状を決定するために分析されることがある。例えば、図３において、一対の（ｆ）星印又は（ｇ）円で囲まれた「１」と「２」は、形状認識アルゴリズムを用いて検出されることがある（例えば、特許文献３を参照）。完全には正確でないとしても、手書き認識により、コメンタリの特定部分の相対的長さが容易に決定できる。一般に、読み手は長いコメンタリが短いコメンタリよりも価値が高いことを見出す。

最後に、マーキングのパターンは相対値の評価に役立つように使用できる。例えば、１つ以上のタイプのマークに対応付けられる文節が識別可能である。図３において、円形、矢印、及びこれらの記号に隣接した欄外のノートがあるという事実を検出することが可能である。これらファクタの合流性（コンフルエンス）、即ち、読み手がテキストに下線を引くよりも円で囲んだり、読み手が両サイドを記号でマーク付けしたり、読み手が欄外の書き込みをしたことにより、読み手がそのテキスト内の文節が特に重要であると考えたという決定を行なうことができる。

高価値の注釈の強調は、読み手の高価値のマークを縮小文書表示において視覚的により明らかにするのに使用できる手法の集合に基づいている。読み手の高価値のマークの注釈の（彩度による）色又はサイズの文字強調は、このような高価値の注釈を概略表示においてより良く目に見えるようにする簡単な方法である。この強調は、例えば、低価値の注釈の色の彩度を低減させることによってその他の注釈が強調されていない時と同時に実行されることがある。代替方法として、又はこれに加えて、このような高価値の注釈マークが様式化又はアイコン化されることもある。読み手が重要な文節を呼び出して次の書き込み作業に表示されるようにするために規則正しく星印を使用する場合、これらの星印は、例えば、縮小表示における「＊」等の目に付きやすい映像的代用物に置換することによってより良く目に見えるようにすることができる。第３に、そして更に一般には、予測できるマッピングの集合全体はこのような高価値の注釈をより良く目に見えるあるものに変換するように適用されることもある。黄色のマークは縮小表示では目に見えないので、赤色マークに変換されることがある。同様に、文節内の重要なマークが、コンテンツのテーブルにおけるフォント特徴に変換されることができる。第４に、低価値のマークは省略されたり、見えなくなることもある。最後に、重要なマーキングは、サマリーを自動的に構築するような更なる処理のための基準として用いることもできる。

本発明者らは、ユーザが、２つの主要な注釈タイプのカテゴリーを使用することを見出した。第１のカテゴリーは、強調表示、下線、円で囲むもの、及び文書の一節を識別するマージンバー等の選択マークを含む。第２のカテゴリーは、コンテンツに応答するコメントや記号等の説明的マークを含む。言うまでもなく、これら２つのクラスのマークの役割は完全に区別されていないが、これは本文からテキストを選出するという動作が説明的動作だから、欄外の書き込みが必然的に、すぐ近くのテキストを注意の焦点として選択するからである。

このような観察によって、例えば、XLibris等の読み取り装置のペンストローク情報において構造及び重要度を識別するマーク・パーサ（構文解析系）の設計に至った。このマーク・パーサはマークのグループを注釈タイプに分類し、文書の重要度の高いセクションを識別するために使用できる注釈の文節ベースのグループ化を構築する。

図４に示されるテキスト及び注釈は、マーク・パーサがマークのグループを分類し、注釈のグループを構築し、さらに高価値のマークを識別する方法を示している。この例において、赤インクマークは、隣接する強調表示マークと同じ文節に添付されるコメントとして識別されなければならない。これにより、２つの文節がマルチマーク文節としてマーク付けされ、例えば、このようにマーク付けされた文節とその他のマーク付けされた文節とを比較するための重要度値である知覚された重要度の相対的重み付けが付与されることがある。

ディジタルインク注釈が、マークの時間的シーケンスを表示するデータを含み、これが構文解析におけるマーク・パーサによって有利に使用できることは、理解されるべきである。

マーク・パーサは、読み手の注釈マークの相対的重要度をグループ化、タイプ分け、及び順位付けする３パス式処理を実行する。第１のパスにおいて、マーク・パーサは、時間、距離、及び／又はペンタイプに基づいて時間順位マークを低レベルグループにクラスタ化する。この段階で、個々のペンストロークは、単一の注釈であると判断できるクラスタに結合されることができる。

第１のパスにおいて、マーク・パーサは、マークのグループ化において切れ目（ブレーク）を決定するために時間的及び空間的距離の関数を用いる。ストロークシーケンス内で時間的及び空間的ギャップを決定する際に少なくとも一部分はペンタイプの相違が利用されるが、これは、ハイライトマーカー及びペンが注釈によってそれぞれ異なって使用されるからである。一般に、単一の注釈を構成するストロークのような、関連マーク間の時間的ギャップは、ハイライトマーカーよりもペンを用いた場合により大きくなる。これは、読み手が単に文節を強調表示する場合よりも説明的コメント及び記号を書き込む場合の方がより多く思案する傾向があるという事実を反映しているかもしれない。第１の段階の間に、パーサはさらに、時間的に連続するが、空間的に区別可能なマーク、例えば、マルチライン・コメントを表示するペンストロークをグループ化する。このプロセスは、図４に示されるように、マークの１レベル又はマルチレベルの階層的クラスタリングをグループ化するという結果になる。

図４において上部にある１組のハイライトマーカー・ストロークが、下部コメントのように、ストローク間の大きな時間的ギャップによって分割されていることは理解すべきである。グループ化されるはずのストロークが最終的に個々のクラスタになる（場合の）エラーと、関連しないストロークが同じクラスタに置かれる（場合の）エラーとの間でクラスタリング用の境界を設定する際の交換条件（トレード・オフ）がある。マーク・パーサの後のパスがクラスタを高レベル構造に結合するので、より多くのクラスタを有する側に誤ることは、これらのクラスタがいずれにしても、さらに後でグループ化される可能性があるので、適していると思われる。

第２のパスにおいて、マーク・パーサは、ペンタイプ、構成要素マークの数、さらに／又はクラスタの範囲のサイズ及び／若しくは形状を用いてマーククラスタを注釈タイプに分類する。図４に示される例では、矩形で示される６つの高レベルクラスタは、３つの強調表示注釈と、３つのコメント注釈とを含んでいる。種々の具体例としての実施の形態において、ストロークタイプは、ペンタイプ、重複するワードの数、及び／又はストロークの形状に基づくことがある。例えば、５つ以上のペンマークから構成されるクラスタは、ハイライトマーカーとは対照的に、コメントと見なされる。クラスタが分類されると、重要度値がさらに割り当てられる。カテゴリー型と、これらカテゴリー型に割り当てられる基本重要度値のリストの１つの具体例としての実施の形態が、以下の表１に示される。

これらは、マーククラスタに割り当てられる重要度値に対する３つの基本的重要度値の範囲である。例えば、領域強調表示や領域を円で囲むもの等の対象の領域を概略的に識別するマークには低値範囲内の重要度値が割り当てられる。もっと重点が置かれている選択マーク、例えば、下線、マージンバー、強調表示、及び円で囲むもの等は、中間値範囲内の値が割り当てられる。説明的マーク、例えば、コメント、記号、呼び出し（コールアウト）等は高値範囲内の値が割り当てられる。重要度値の初期値は、マーククラスタの結合を有する文節が、１タイプのクラスタのみでマークされた文節よりも順位が高いか又は同等であるように、選択される。図４に示される例では、３つのコメントクラスタが２０の重要度値を有し、一方、３つの強調表示クラスタが１５の重要度値を有する。

第３のパスの間に、マーク・パーサは、空間的に適切な文節又はソーステキストからの文節を備えた各マーククラスタをグループ化する。幾つかのマーククラスタの文節の重複により、これらマーククラスタは単一のマルチマーク・クラスタにグループ化され、結果としての解析木において最高位エンティティを作成する。文節は、マークに隣接する文を選んで、ストロークに最も近い文を識別することによって個々のストロークと対応付けられる。このように、垂直ギャップと比較してより大きな水平ギャップが許容される。図４に示される例では、ハイライトマーカー及びコメントがテキスト内の同じ文に添付される。この結果、２つの文節は、図４の青色矩形によって示されるように、マルチマーク注釈又はクラスタとして正確に認識される。

こうしたマルチマーク・クラスタの重要度値は、そのマルチマーク・クラスタの構成要素クラスタの重要度値の合計である。このように、図４に示される例における２つのマーク付けられた文節は、上部及び下部の文節がそれぞれ重要度値５０及び５５を有する。

図４はさらに、本発明の種々の実施の形態において使用されるクラスタ化方法の１つの具体例としての実施の形態を示している。図４において、最下位のクラスタは、小さな内部ボックスによって表示され、高位側のクラスタは、それよりも大きく、より多くのものを包含するボックスによって表示される。大きい方のボックスには、タイプと重要度値が添付されている。クラスタ間における重複により、重複するクラスタがマルチマーク・クラスタにグループ化されることになる。マルチマーク・クラスタにはグループの最高値が割り当てられる。例えば、ハイライトマーカー及び手書きのコメントはテキスト内の同じ文に添付されるので、これら２つのマークは、該マークをクラスタ化する大きな矩形によって示されるように、マルチマークとして正確に認識される。図４に示される例として、構文解析処理において間違って認識する機会が十分ある。ストローク・クラスタ化、添付型情報、及びクラスタを備えたグループ化文節は発見的である。にもかかわらず、全体としての結果は所望の成果と一致する。構造解析の低位には不正確なサブグループ化が含まれるので、厳密なクラスタ化結果に依存しない認識された構造の使用を設計することが重要である。マークのグループを認識し、マークのタイプを分類し、重要度値を該グループに添付することは、種々のインタフェースレベル機能の可能性をもたらす。かかる機能の４つの例は以下に示される。
（１）文書のサムネイル表示における高価値の注釈の位置に対し読み手の関心を引き付けるプレゼンテーション
（２）関係者らがより有効に注釈を共有するのに役立つように注釈を結合するプレゼンテーション
（３）注釈又は対応付けられるテキストの有意味なグループ化を選択するメカニズム
（４）関係者らが特定のパターンに従って注釈を介してサーチするのに役立つメカニズム

図５は、本発明のシステム及び方法に従って生成される文書５００のマルチ・サムネイル表示の第１の具体例を示している。図５において、高価値の文節がアイコンによって強調されている。サムネイル画像は、文書５００の第１の部分に対応付けられる高価値の注釈を指示するためにアステリスクアイコン５１０を示している。アステリスクアイコン５２０は、文書５００の第２の部分に対応付けられる第２の高価値の注釈を指示する。アステリスクアイコン５３０は、文書５００の第３の部分に対応付けられる第３の高価値の注釈を指示する。各アイコンが本発明の精神又は範囲から逸脱することなく高価値を表示するための周知の又は後日開発されるアイコン又は表示属性を用いて補足できることは明白である。

図６は、本発明の方法及びシステムに従って生成される文書５００のマルチ・サムネイル表示の第２の具体例を示している。図６において、文書５００の高価値の文節又は一部はアイコンによって再び強調されている。例えば、アステリスクアイコン５１０は、文書５００の第１の部分又は文節に対応付けられる第１の高価値の注釈を表示する。アステリスクアイコン５２０は、文書５００の第２の部分又は文節に対応付けられる第２の高価値の注釈を表示する。アステリスク５３０は、文書５００の第３の部分又は文節に対応付けられる第３の高価値の注釈を表示する。呼び出し（コールアップ）５４０は、読み手による文書５００の方向付けを維持させながら、拡大表示において第３の高価値の注釈を表示する。

図７は、自由形式注釈強調システム２００を含むシステム１００の１つの具体例としての実施の形態を示している。図７に示されるように、１つ以上のユーザ入力装置３００が、１つ以上のリンク３１０を介して自由形式注釈強調システム２００に接続されている。１つ以上のユーザ入力装置３００は、例えば、キーボード、マウス、音声認識システム、ディジタルインクペン、トラックボール、トラックパッド等の、データ及び／又はコマンドを入力するのに使用できる周知の又は後日開発される装置である。自由形式注釈強調システム２００は、リンク３２０を直接介して、又は、リンク１３０、１５０と、システム１００の通信ネットワーク１４０と、を介して、システム１００のデータソース１２０に接続されている。リンク１３０、１５０、３１０、３２０及び通信ネットワーク１４０は、ユーザ入力装置３００とデータソース１２０とを自由形式注釈強調システム２００に接続するのに使用可能な周知の又は後日開発される装置であればよく、直接回線接続、広域ネットワークやローカルネットワーク上での接続、イントラネット上での接続若しくはエキストラネット上での接続、インターネット上での接続、又はその他の分散処理ネットワーク若しくはシステム上での接続が含まれる。一般に、リンク１３０、１５０、３１０、３２０及び通信ネットワーク１４０は、適切な周知の又は後日開発される接続システムや接続構造であればよい。

データソース１２０は電子文書１１０を含む。電子文書１１０等のメディアデータは、データソース１２０から自由形式注釈強調システム２００によって検索され、自由形式注釈強調システム２００の構成要素が協同的に共有することができる。データソース１２０が、ディジタルカメラ、スキャナ、局所的若しくは遠隔配置されるコンピュータ、又は、電子データ若しくは文書情報、例えば、注釈情報を生成するのに使用可能なその他周知の若しくは後日開発されるシステムであればよいことは理解すべきである。同様に、データソース１２０は、電子画像データを記憶し、さらに／又は送信する好適な装置、例えば、ネットワークのクライアント又はサーバであってもよい。データソース１２０は、自由形式注釈強調システム２００に統合されることができたり、例えば、通信ネットワーク１４０上で自由形式注釈強調システム２００に遠隔接続されることもある。

データソース１２０によって提供される電子文書１１０が、実際の文書若しくは写真のスキャン画像、ビデオ撮りしたもの、ワードプロセッシング・ソフトウェア等のソフトウェアを用いて電子的に生成されたメディアデータや、周知の若しくは後日開発されるプログラミング言語及び／若しくはコンピュータソフトウェアプログラムを用いて生成されるメディアデータ、ユーザのデスクトップ上のアプリケーションウィンドウのコンテンツ（例えば、ツールバー、ウィンドウズ（Ｒ）・デコレーション、スプレッドシート・プログラムに示されるスプレッドシート等）、ビデオ画像の生放送、又は、その他周知の若しくは後日開発される電子文書であればよいこともまた、理解すべきである。さらに、電子文書はアナログ画像及び／又はアナログオブジェクトであればよく、例えば、写真、描画、さらにディジタルインクが使用されるオブジェクトが挙げられる。

図８は、本発明による自由形式強調システム２００の１つの具体例としての実施の形態のブロック図を示している。図８に示されるように、１つ以上のユーザ入力装置３００が１つ以上の通信リンク３１０を介し入出力インタフェース２１０を通って自由形式注釈強調システム２００に接続されている。データソース１２０もまた、リンク３２０を介し入出力インタフェース２１０を通して自由形式注釈表示システム２００に接続されている。

自由形式注釈強調システム２００は、入出力インタフェース２１０、コントローラ２２０、メモリ２３０、重要度決定回路又はルーチン２４０、注釈変更回路又はルーチン２５０、及び自由形式注釈検出回路又はルーチン２６０を含み、これらはすべてデータ及び／又は制御バス２８０上で相互接続されている。表示装置３３０もまた、リンク３４０を介して入出力インタフェース２１０に接続されている。

コントローラ２２０は、自由形式強調システム２００の他の構成要素の動作を制御する。コントローラ２２０は、必要に応じて自由形式注釈強調システム２００の他の構成要素間のデータの流れを制御する。メモリ２３０は自由形式注釈強調システム２００に入ったり又はそこから出る情報を記憶することができ、自由形式注釈強調システム２００の機能を実現する必要なプログラム及び／若しくはデータを記憶することもでき、さらに／又は、種々の処理の段階においてデータ及び／若しくは注釈情報を記憶することもできる。

メモリ２３０は、変更可能な、揮発性若しくは不揮発性メモリや、変更不能な固定メモリ等の適切な組み合わせを用いて実装できる。変更可能なメモリ（揮発性又は不揮発性のいずれか）は、静的若しくは動的ＲＡＭ、フロッピー（Ｒ）ディクスとディスクドライブ、書き込み可能な若しくは書き換え可能な光ディスクとディスクドライブ、ハードドライブ、フラッシュメモリ等のいずれか１つ以上を用いて実装できる。同様に、変更不能なメモリ又は固定メモリは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭディスク等のＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、光ＲＯＭディスク、及びディスクドライブ等のいずれか１つ以上を用いて実装できる。

自由形式注釈検出回路又はルーチン２６０は、上記に概略が示されたように、データソース１２０によって提供される電子文書１１０に含まれる注釈を検出し識別するためにコントローラ２２０によって起動される。自由形式注釈検出回路又はルーチン２６０は、従来技術として開示されるシステムと方法（例えば、特許文献４を参照）、又は、文書内に含まれる注釈を検出するためのその他周知の若しくは後日開発されるシステムを用いて実行できる。データソース１２０が注釈情報に電子文書１１０を提供するのであれば、自由形式注釈検出回路又はルーチン２６０が自由形式注釈強調システム２００から任意選択的に省略できることは理解すべきである。自由形式注釈検出回路又はルーチン２６０もまた、すべてのタイプの電子情報と共に同等に動作することもまた、理解すべきである。例えば、データソース１２０がスキャナである場合、自由形式注釈検出回路又はルーチン２６０は、上記に概略が示されたように、スキャンされた文書内から注釈を検出することもできる。

自由形式注釈検出回路又はルーチン２６０は、例えば、ディジタル注釈が付けられた時間、注釈の物理的サイズ、注釈の色若しくは他の視覚属性、及び／又はディジタルインク装置若しくは注釈を作成するのに使用される物理的装置のペンタイプ等の、注釈情報を収集（キャプチャ）及び／又は決定することができる。

重要度決定回路又はルーチン２４０は、コントローラ２２０の制御のもとで、メモリ２３０と入出力インタフェース２１０とのいずれかからの電子文書１１０を入力する。重要度決定回路又はルーチン２４０は、自由形式注釈検出回路又はルーチン２６０から直接に、あるいはメモリ２３０から、自由形式注釈検出回路又はルーチン２６０によって決定された注釈情報を検索する。重要度決定回路又はルーチン２４０は注釈をマークの第１のグループにグループ化し、これは注釈が付けられた時間、注釈の物理的サイズ、色若しくは他の視覚的属性、及び／又は注釈を付ける際に使用されるペンタイプ等がある。こうした情報を使用すると、重要度決定回路又はルーチン２４０は、上記で概略が示されたように１つ以上の高レベルのグループにマークをグループ化し、マークの相対的重要度を順位付け且つタイプ分けする。重要度決定回路又はルーチン２４０は加重値を高レベルのグループに割り当てる。割り当てられた加重値に基づいて、１つ以上の高価値の注釈が決定される。

注釈変更回路又はルーチン２５０は、上記で概略が示されたように、これら高価値の注釈を変更し、特別なアイコンを追加したりする。注釈変更回路又はルーチン２５０は、コントローラ２２０によって起動されて、注釈の外観を変更し、さらに／又は重要度決定回路又はルーチン２４０によって決定され且つ提供されるように、注釈の重要度を示すために表示される、特別なアイコン等を追加する。注釈変更回路又はルーチン２５０は、参考のために全体が本明細書に組み込まれる米国特許出願第０９／９４２，６６６号に示されているシステム及び方法、又は、注釈の１つ以上の特徴を変更したり、ならびに／若しくは特別なアイコン等を対応する縮小表示に追加するためのその他周知の若しくは後日開発される方法を用いて実行できる。

図９は、重要度決定回路又はルーチン２４０の１つの具体例としての実施の形態を詳細に示している。図９に示されるように、重要度決定回路又はルーチン２４０は、マーク・パーサ２４１、マーク・クラスタリング回路又はルーチン２４２、及び周波数カウンタ２４３を含む。

図９に示される具体例としての実施の形態において、周波数カウンタ２４３は、データソース１２０によって提供される電子文書１１０内に含まれる１つ以上の注釈の特定のタイプのそれぞれの出現度数を決定するために、自由形式注釈検出回路又はルーチン２６０によって提供される注釈情報を分析する。マーク・パーサ２４１は読み手による注釈の特定のタイプを特徴付けるためにこの度数情報を用いる。例えば、周波数カウンタ２４３は、電子文書１１０内の注釈の度数を決定することができ、注釈の８７％は強調表示、注釈の１０％は円で囲んだもの、２％は数字、残りの１％は手書きのメモである。周波数カウンタ２４３がこの関係を決定すると、上記に概略が示されたように、高価値の注釈を決定する２つの方法がマーク・パーサ２４１によって使用可能である。

第１の操作モードにおいて、電子文書に含まれるうち出現度数の最も少ないのは手書き式のディジタル注釈であるために、マーク・パーサ２４１は、手書きメモが最も高い価値があると判断することができる。マーク・パーサ２４１はこのように、手書きメモが高価値の注釈であることをコントローラ２２０に指示する。注釈変更回路又はルーチン２５０はこれら識別された高価値の注釈を変更する。例えば、手書きのメモは赤字でシェーディングされる。

しかしながら、第２のさらに複雑な操作モードにおいて、重要度決定回路又はルーチン２４０は、周波数カウンタ２４３が読み手の注釈スタイルを表示する度数情報を決定した後に、どれが高価値であるかを検出するために注釈の特性を分析する。このために、マーク・パーサ２４１は、周波数カウンタ２４３から度数情報を入力する。マーク・パーサ２４１は、注釈のグループの構造、及び例えば、ユーザの使用頻度によって示されるような重要度を識別する。マーク・パーサ２４１は、文書の高価値のセクションを識別するために、注釈タイプごとに注釈のグループを特徴付け、文書ベースの注釈のグループ化を構築する。

マーク・パーサ２４１は上記で概略が説明された３パス式処理を使用する。クラスタ回路又はルーチン２４２は、上記したように、注釈の１レベル又はマルチレベルの階層クラスタリングを生成してグループ化するために、マーク・パーサ２４１の第１のパスにおいてマーク・パーサ２４１と強調して動作する。

第２のパスにおいて、マーク・パーサ２４１は、例えば、以下に限定されないが、ペンタイプ、マークの数、ならびに／又はクラスタのサイズ及び／若しくは形状を用いて、マークを注釈タイプに分類する。

第３のパスにおいて、マーク・パーサ２４１は、対象文書からの文節とともにマーククラスタをグループ化する。マーククラスタの文節間における重複により、これらのマーククラスタはマルチマーク・クラスタにグループ化されることになる。マルチマーク・クラスタは、そのグループの最高値が割り当てられる。

この具体例としての実施の形態において、マーク・パーサ２４１が重要度値を対象文書の注釈に割り当てると、重要度決定回路又はルーチン２４０は、高価値の注釈をユーザに表示するために、コマンドをコントローラ２２０に送信する。表１は注釈タイプに添付される重要度値の例を示している。

図１０は、本発明による自由形式注釈を強調するための方法の１つの具体例としての実施の形態のフローチャートを示している。操作はステップＳ１００から開始し、ステップＳ２００に移行し、注釈付きの文書が、高価値の注釈の分析及び強調のために入力又は選択される。ステップＳ３００では、上記に概略が示されたように、文書内の注釈が識別される。次に、ステップＳ４００では、読み手の注釈スタイルが決定される。種々の具体例としての実施の形態において、注釈情報が、例えば、特定のマークの出現度数を決定するために構文解析される。操作はさらに、ステップＳ５００に続く。

ステップＳ５００では、上記に概略が説明されたように、決定された注釈が分類される。次に、ステップＳ６００では、分類された注釈が、重複又は隣接する注釈を決定するために分析される。ステップＳ７００では、分析された注釈は、該注釈が重複する状態に基づいて共にクラスタ化される。操作はさらにＳ８００に続く。

ステップＳ８００では、注釈には、クラスタの重複、クラスタの空間サイズ、ペンストローク間の時間等の種々の基準に基づく値が割り当てられる。ステップＳ９００では、割り当てられた値に基づく高価値の注釈がユーザに表示される。該方法の操作はステップＳ１０００で終了する。

これらステップが説明する目的のためにのみ示され、他の種々の具体例としての実施の形態では他の多くの方法を用いて表示用の高価値の注釈を決定できることは理解すべきである。

上記に概略が示された種々の具体例としての実施の形態では、自由形式注釈強調システム２００がプログラムされた汎用コンピュータを用いて実行できる。しかしながら、自由形式注釈強調システム２００はまた、特殊目的コンピュータ、プログラムされたマイクロプロセッサ若しくはマイクロコントローラ及び周辺集積回路素子、ならびにＡＳＩＣ若しくはその他集積回路、ディジタル信号プロセッサ、個別素子回路等のハードウェア電子回路又は論理回路、ＰＬＤ、ＰＬＡ、ＦＰＧＡ、ＰＡＬ等のプログラマブル論理素子などを用いて実行できる。一般に、図１０に示されるフローチャートを実施することができる有限状態マシンを実行することのできる装置であれば、自由形式注釈強調システム２００を実行するために使用することができる。

上記に概略が説明された自由形式注釈強調システム２００の種々の具体例としての実施の形態の回路及び要素はそれぞれ、好適なプログラムされた汎用コンピュータの一部として実行できる。あるいはまた、上記に概略が説明された自由形式注釈強調システム２００の種々の実施の形態の回路及び要素はそれぞれ、ＡＳＩＣ内の物理的に識別可能なハードウェア回路として、又は、ＦＰＧＡ、ＰＤＬ、ＰＬＡ若しくはＰＡＬ等を用いたり、個別論理素子や個別回路素子を用いて実行できる。上記に概略が説明された自由形式注釈強調システム２００の種々の実施の形態の回路及び要素のそれぞれが採用する特定の形状は設計上の選択範囲があり、当業者には明確且つ予想できるものである。

さらに、上記に概略が説明された自由形式注釈強調システム２００の種々の具体例としての実施の形態及び／又は上述の種々の回路と要素はそれぞれ、ソフトウェアルーチン、プログラムされた汎用コンピュータ上で実行するマネジャー若しくはオブジェクト、特殊目的コンピュータ、マイクロプロセッサ等として実行できる。この場合、自由形式注釈強調システム２００の種々の具体例としての実施の形態及び／又は上述の種々の回路と要素はそれぞれ、通信ネットワークに組み込まれる１つ以上のルーチンや、サーバ上に存在するリソースとして実行できる。自由形式注釈強調システム２００の種々の具体例としての実施の形態及び上述の種々の回路と要素はそれぞれ、自由形式注釈強調システム２００を、ウェブサーバやクライアント装置のハードウェア及びソフトウェアシステム等の、ソフトウェアシステム及び／又はハードウェアシステムに物理的に組み込むことによっても実行できる。

ファイルブラウザ装置、パーソナルコンピュータのアプリケーションを表示するシステム、ハンドヘルド装置等の表示装置を含むがこれに限定されない、本発明によるシステム及び方法のための多くの用途が当業者によって認識されるだろう。要約すると、本発明は、ディジタルインク又は高価値の注釈を使用することができる周知の又は後日開発されるシステムや装置への適合性がある。

本発明は上記に概略が説明された具体例としての実施の形態に関連して説明されているが、多くの代替物、改良物、及び変更物が当業者に理解されることは明らかである。したがって、上記に示したように、本発明の具体例としての実施の形態は説明を目的とするものであって、限定されない。本発明の精神及び範囲から逸脱することなく種々の変更を加えることができる。

注釈の付いた長い文書の典型的なマルチ・サムネイル表示の具体例を示す図である。 異なる読み手によって利用される注釈スタイルの種々の例を示す図である。 注釈を含む具体例としての文書の一部を示す図である。 本発明のシステム及び方法の種々の具体例としての実施の形態による、クラスタ化された注釈の具体例を示す図である。 本発明のシステム及び方法の種々の具体例としての実施の形態による、決定且つ強調された高価値の注釈を有するマルチ・サムネイル表示の第１の具体例としての実施の形態を示す図である。 本発明のシステム及び方法の種々の具体例としての実施の形態による、選択された高価値の注釈に対応する注釈付きの部分を詳細に表示する第２の具体例としての実施の形態を示す図である。 本発明による自由形式注釈を強調するのに使用可能なシステムの具体例としての実施の形態を示す図である。 本発明による自由形式強調システムの具体例としての実施の形態を示すブロック図である。 図８に示された具体例としての自由形式注釈強調システムによる、重要度決定システムの具体例としての実施の形態を示すブロック図である。 自由形式注釈を強調するための方法の具体例としての実施の形態を概略的に示すフローチャートである。

Claims (13)

1. 読み手に注意を促すために注釈が付された文書を示す文書データを受信手段により受信し、
   受信された前記文書データにより示される文書を解析手段により解析して前記文書に付された注釈のタイプを識別すると共に、識別された前記注釈のタイプに応じた所定の基準に基づいて決定手段により各注釈の重要度を決定し、
   表示手段に前記文書データにより示される文書の少なくとも一部が縮小表示されている状態での前記注釈の表示が、縮小表示されていない状態での前記注釈の表示を前記縮小に応じて縮小したときの表示と比較して、前記注釈の重要度が高いほど視覚的に強調して表示されるように制御する
   自由形式注釈を強調するための方法。
2. 前記所定の基準は、注釈のタイプ毎の出現度数が低いものほど重要度が高いものとし、
   前記受信された前記文書データにより示される文書を解析手段により解析して注釈のタイプ毎の出現度数を求め、当該出現度数が少ないほど重要度が高いものして各注釈の重要度を決定する
   請求項１に記載の方法。
3. 前記表示手段に対し、決定された重要度が高いほど視覚的に強調して表示されるように前記注釈の外観を変更して表示する
   請求項１又は請求項２に記載の方法。
4. 前記外観を変更は、フォントサイズ、フォントカラー、下線、強調表示、及びアイコン化の少なくとも１つを変更することを含む、
   請求項３に記載の方法。
5. 前記重要度の決定は、注釈が付された部分又は文節をグループ化し、複数のグループの相対的重要度を順位付け、タイプ分けすることを含む、
   請求項１〜請求項４の何れか１項記載の方法。
6. 複数の注釈が付された部分又は文節は、マルチマークとして分類される
   請求項５記載の方法。
7. 読み手に注意を促すために注釈が付された文書を示す文書データを受信する受信手段と、
   受信された前記文書データにより示される文書を解析手段により解析して前記文書に付された注釈のタイプを識別すると共に、識別された前記注釈のタイプに応じた所定の基準に基づいて各注釈の重要度を決定する決定手段と、
   前記文書データにより示される文書の少なくとも一部が縮小表示されている状態での前記注釈の表示が、縮小表示されていない状態での前記注釈の表示を前記縮小に応じて縮小したときの表示と比較して、前記注釈の重要度が高いほど視覚的に強調して表示されるように制御する制御手段と、
   を備えた注釈強調表示装置。
8. 前記所定の基準は、注釈のタイプ毎の出現度数が低いものほど重要度が高いものとし、
   前記決定手段は、前記受信された前記文書データにより示される文書を解析手段により解析して注釈のタイプ毎の出現度数を求め、当該出現度数が少ないほど重要度が高いものして各注釈の重要度を決定する
   請求項７に記載の注釈強調表示装置。
9. 前記制御手段は、決定された重要度が高いほど前記注釈の外観を変更して視覚的に強調して表示されるように表示手段を制御する
   請求項７又は請求項８に記載の注釈強調表示装置。
10. 前記外観を変更は、フォントサイズ、フォントカラー、下線、強調表示、及びアイコン化の少なくとも１つを変更することを含む、
    請求項９に記載の注釈強調表示装置。
11. 前記決定手段による前記重要度の決定は、注釈が付された部分又は文節をグループ化し、複数のグループの相対的重要度を順位付け、タイプ分けすることを含む、
    請求項７〜請求項１０の何れか１項記載の注釈強調表示装置。
12. 複数の注釈が付された部分又は文節は、マルチマークとして分類される
    請求項１１記載の注釈強調表示装置。
13. コンピュータを、
    読み手に注意を促すために注釈が付された文書を示す文書データを受信する受信手段と、
    受信された前記文書データにより示される文書を解析手段により解析して前記文書に付された注釈のタイプを識別すると共に、識別された前記注釈のタイプに応じた所定の基準に基づいて各注釈の重要度を決定する決定手段と、
    前記文書データにより示される文書の少なくとも一部が縮小表示されている状態での前記注釈の表示が、縮小表示されていない状態での前記注釈の表示を前記縮小に応じて縮小したときの表示と比較して、前記注釈の重要度が高いほど視覚的に強調して表示されるように制御する制御手段と、
    として機能させるための自由形式注釈を強調するためのプログラム。

Images