JP3647518B2

JP3647518B2 - コード化したワードトークンを使用して文書画像をハイライトで強調する装置

Info

Publication number: JP3647518B2
Application number: JP24911495A
Authority: JP
Inventors: タケヒロナカヤマ
Original assignee: Xerox Corp
Current assignee: Xerox Corp
Priority date: 1994-10-06
Filing date: 1995-09-27
Publication date: 2005-05-11
Anticipated expiration: 2015-09-27
Also published as: JPH08166970A; US5526443A

Description

【０００１】
【発明の属する技術分野】
本発明は、文書をハイライトで強調する装置に関し、特に、コード化したワードトークン（一連の文字からなる識別できる単語単位）を使用して文書の論題に関する分類上の単語にハイライトで強調する装置に関する。
【０００２】
【従来の技術】
走査画像をデジタルコンピュータで使用できる文書データに変換する技術は周知である。
【０００３】
【発明が解決しようとする課題】
しかし、今日迄、文書の検索単語（キーワード）もしくは熟語（フレーズ）を自動的にハイライトで強調し、あるいは「マークアップ」する技法あるいはシステムは実現されていない上に、文書を特定の論題分類（トピックのカテゴリー）に自動的に分類することも不可能である。文書がこのシステムにまわされる度に、当該文書固有の論題に対応する何らかの検索単語を付与しなければならない。この検索単語の付与は、オペレータが文書の検索単語に関するデータをシステムに入力することによって行われなければならない。
【０００４】
本発明は、文書をハイライトで強調する方法を提供することを目的とするものである。
【０００５】
本発明の他の目的は、文書内のハイライトで強調された特定単語によってその文書の論題を読者が容易に認識することができるようにした方法及び装置を提供することである。
【０００６】
本発明の他の目的は、前置詞、接続詞、助動詞、関係詞などの一般機能語（コモンファンクション）及び数字に対応するワードトークンを削除するために使用する削除トークンリストを提供することである。
【０００７】
本発明は更に、語形トークンと記憶された訓練（トレーニング）用もしくは照合用データ間の「距離」を比較することによって文書を自動的に分類する方法及び装置を提供することを目的とするものである。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、本発明にかかる装置は、文書内の単語を表わす文字形状コード種より構成されるワードトークン列を用いて、前記文書からの文書画像をハイライトで強調する装置であって、前記文書の各単語はそれぞれ１つのワードトークンのみによって表される、装置において、前記ワードトークン列から予め定められた文字形状コード種を除去する手段と、前記ワードトークン列から、パターン調和法及び削除トークンリストを使用して、予め定められた一般機能ワードトークンを削除して短縮されたワードトークン列を作成する手段と、前記短縮ワードトークン列の各ワードトークンの繰返出現率を判定する手段と、前記繰返出現率に順位を付け、前記順位化された繰返出現率に基づいて、ｎ番目もしくはそれ以上の高い繰返出現率で出現するワードトークンを判断する手段と、ｎ番目もしくはそれ以上の高い繰返出現率で出現するワードトークンをハイライトで強調する手段と、を備えることを特徴とする。
【０００９】
本発明では、例えばそれぞれが多数の異なる文字字体（キャラクターシェイプ）コードもしくはコード化された抽象的（アブストラクト）文字種（キャラクタークラス）よりなるワードトークン列が文書画像から取り出される。ある種の文字字体コードは、このワードトークン列から除去もしくは削除される。除去される文字字体コードは、言語学的に重要な情報に関連しないものである。得られたワードトークン列は、統計的に構築された削除（ストップ）トークンリストによって分析される。この分析は、従来のパターン調和（パターンマッチング）法を用いて、「一般機能（コモンファンクション）」語から得られトークンを更に除去することを可能にする。
【００１０】
短縮されたワードトークン列は、各トークンの出現頻度、即ち繰返出現率を計算するために分析される。これらの率は、最も高い繰返出現率からｎ番目に高い繰返出現率まで順位化され、文書をハイライトで強調したりマークアップするために使用される。
【００１１】
ここに使用される用語「ハイライト」は、読者に文書の論題（トピック）、主題（サブジェクト）等を迅速に伝えることを可能にするような文書をマークアップするのに可能な種々のやり方をいう。文書の論題に関連するある種の検索用単語は、それに対応する高い繰返出現率をもつものである。
【００１２】
また、付加的なトークンリストを使用すれば、ある種の数字単語を削除することを可能となる。
【００１３】
更に、短縮ワードトークン列を、文書や記事を自動的に分類するために使用される文書あるいはトークンのプローフィールを作成するために使用することをも可能である。
【００１４】
【発明の実施の形態】
図１には、本出願人によって出願された米国特許出願第０８／０４７，５１４号及び０８／０４７，５４０号にその詳細が開示されたものと同一ではないが、類似の走査装置が示されており、この走査装置は、電荷蓄積装置（ＣＣＤ）等を備えたスキャナー１１０より構成される。このスキャナー１１０は、活字タイプの文章列よりなる画像１０２を有する、例えば図３に示されるような文書１００を走査し、その原稿文書１００の画像を構成する複数の画素に関する位置と画像濃度を表わすデジタルデータ信号を出力する。このデジタルデータ信号は、メモリー１１２に転送され、一時的に又は永久に記憶される。デジタルデータ信号は、このメモリー１１２から出力されると、汎用型デジタルコンピュータ１１４に入力される。一旦このデジタルコンピュータ１１４に入力されると、デジタルデータ信号は、まず最初に画像１０２の非文章部分を除去して文章部分を残すことによって整理される。更に、スキャナー自体により形成された、歪み等のような、疑似デジタルデータ信号を補正する。整理されたデジタルデータ信号は、メモリー１１２に記憶するか、あるいは汎用コンピュータ１１４のメモリーに記憶する。あるいは、スキャナーはスキャナー疑似信号（アーティファクト）を除去するような前処理を行うこともできる。
【００１５】
図１に示されるように、本発明で使用する汎用デジタルコンピュータ１１４は、制御プログラムを記憶するメモリー２２と、メモリー１１２からデジタルデータ信号を入力し、文章部分に関する、あるワードトークン（一連の文字からなる識別できる単語単位）を表わす信号を、文書をハイライトで強調しあるいは分類するための信号と共に出力する入出力回路２４とにより構成されている。汎用デジタルコンピュータ１１４は又、デジタルデータ信号を記憶する画像メモリー２６、デジタルデータ信号から結合構成要素（文字を構成する線分などの要素）を生成する結合構成要素生成手段２８、文章の部分の行、単語及び文字区画の座標と各文字区画内の各結合構成要素の場所とを判定する空間的特徴判定手段３０、文字区画を抽象的な文字コード種へ変換する文字形態種別化（キャラクタタイプシィフィケーション）手段３２、ハイライト強調部３４及び分類付与部３６より構成されている。制御プログラムメモリー２２は、ロム（ＲＯＭ）２２ａあるいはラム（ＲＡＭ）２２ｂのいずれでもよい。
【００１６】
種別化手段３２は、現在対象の文字区画内の結合構成要素の数を判定する計数手段３２０、現在対象の文字区画内の少なくとも１以上の結合構成要素の上端位置を位置決定する上端位置決定手段３２２、現在対象の文字区画内の少なくとも１以上の結合構成要素の下端位置を位置決定する下端位置決定手段３２４、現在対象の文字区画内の少なくとも１以上の結合構成要素の高さと幅を判定する結合構成要素寸法判定手段３２６、現在対象の文字区画に対応する行の基線（ベースライン）及びＸラインの位置の少なくとも一方を記憶する行位置記憶手段３２８、及び構成要素の上端位置、下端位置及び高さの少なくとも１つを、基線位置、Ｘライン位置及び構成要素幅の少なくとも１つと比較する比較手段３３０より構成される。勿論、結合構成要素生成手段２８、空間的特徴判定手段３０及び文字形態種別化手段３２の各機能及びその対応手段は、その構成が前記実施形態と等価であれば、独立した手段で実行することができる。汎用コンピュータで実行されるこれらの手段は、特定目的のコンピュータ又は対応する配線連結された別設の要素回路でも一体化された回路であってもよい。
【００１７】
結合構成要素生成手段２８、空間的特徴判定手段３０、及び文字形態種別化手段３２は、一緒に作用して、文書画像１０２の文章部分１０４を、米国特許第０８／０４７，５４０に説明されたように、ワードトークン列に変換する。各ワードトークンは、少なくとも１つ（通常１つ以上）の、図４に示されるような、抽象的にコード化された文字種より構成される。各抽象コード化文字種は、活字形態の文字の種類を表わしている。英語、フランス語、及びドイツ語で使用される書体のようなヨーロッパ型書体に対して、抽象コード化文字と、この抽象コード化文字が表わす活字文字が図５に示されている。文書画像１０２の文章部がすでにワードトークンに変換されている場合、汎用コンピュータ１１４は、メモリー２２、入出力回路２４、画像メモリー２６、ハイライト強調部３４及び分類付与部３６のみで構成されればなお望ましい。
【００１８】
図２に示されているように、ハイライト強調部３４は、或種の文字形態コードあるいは抽象化コード文字種（意味のない記号など）をワードトークン列から除去する除去手段２２０、図７に示されたリストに類似した削除トークンリストを使用して、ある種の一般機能ワードトークン（ファンクションワード）をワードトークン列から削除して短縮したワードトークン列を形成する削除手段２３０より構成される。このハイライト強調部３４、更にワードトークン繰返出現率判定手段２４０、短縮ワードトークン列の最大頻出度のワードトークンから得られる繰返出現率を順位化する順位化手段２５０、及び「ｎ番目」もしくはそれ以上に高い繰返出現率をもつワードトークンをハイライト、下線によって強調し、さもなければマークアップするハイライト手段２６０より構成される。分類付与部３６は、文書を既存の分類に類別する分類付与手段２６５を含む。順位化手段２５０は、順位化された繰返出現率に基づいて、ｎ番目もしくはそれ以上に頻繁に出現するワードトークンを判定する手段を含む。
【００１９】
操作では、画像１０２を有する文書１００をスキャナー１１０にかけて読み取り、シリアル又はパラレルデジタルデータ信号を取り込む。デジタルデータ信号は、原画像１０２の各画素に対応する複数の信号部分により構成されている。画像１０２の各画素は、画像１０２に関する位置と画像濃度を有する。従って、デジタルデータ信号の各信号部分は、対応する画素の位置と画像濃度を表わすデータを含んでいる。
【００２０】
スキャナーからのデジタルデータ信号出力は、メモリー１１２に記憶される。メモリー１１２は、ＲＡＭ、フラッシュメモリー、ディスクメモリー等でも良い。メモリーの形式にかかわらず、デジタルデータ信号は、各信号部分に含まれた位置と画像濃度に応じてメモリー１１２に記憶される。勿論、デジタルデータ信号は、中間に配置されるメモリー１１２ではなく汎用デジタルコンピュータ１１４に直接入力することもできる。あるいは、メモリー１１２を汎用デジタルコンピュータ１１４に内蔵させてもよい。いずれにしても、メモリー１１２は、画像１０２を長期間保存するために利用されるものである。
【００２１】
オペレーターが文書のスキャナー１１０への入力が終了した場合又はこのシステムが、画像１０２のデジタルデータ信号が文章データに変換しなければならないと判断した場合、画像１０２のデジタルデータ信号は、メモリー１１２から汎用デジタルコンピュータ１１４へ出力される。
【００２２】
メモリー１１２に記憶されているデジタル画像データ信号は、汎用デジタルコンピュータ１１４へ出力され、そこで入出力手段２４を通して画像メモリーに入力される。ここでは、文章部分１０４の全体の字体形式がヨーロッパ活字体であるとする。勿論、文章部分１０４の全体の書体形式がヨーロッパ活字体であることが解からなくても、本発明は、本明細書において引用する米国特許出願番号０８／０４７，５１５に記載された全体の書体形式を判定する方法及びその装置と組み合わせることができる。
【００２３】
一旦デジタルデータ信号が画像メモリー２６に全部記憶されてしまうと、このデジタルデータ信号は、結合構成要素生成手段２８によって処理可能となる。結合構成要素生成手段２８は、画像１０２のデジタルデータ信号を複数の結合構成要素に分割する。ここで、各結合構成要素は、１もしくは１以上の信号部分より構成されるものである。各結合構成要素は、原画像１０２の或最低画像濃度を有し、連続した経路を構成している画素に対応する信号部分よりなるものである。各字体の文字は、一般に「Ｆｕｊｉ」の「Ｆ」の場合のように、１つの結合構成要素、もしくは、「Ｆｕｊｉ」の「ｊ」あるいは「ｉ」の場合のように、１つ以上の結合構成要素に対応している。
【００２４】
一旦結合構成要素生成手段２８がデジタルデータ信号から画像１０２の複数の結合構成要素を生成すると、画像１０２に対応するデジタルデータ信号及び結合構成要素生成手段２８によって形成された結合要素のリストは、画像メモリー２６に記憶されると共に空間的特徴判定手段３０に入力される。
【００２５】
空間的特徴判定手段３０は、行位置、単語間隔（スペース）、文字区画（キャラクタセル）等の文章（テキスト）部分の空間的特徴を決定する。各文字区画は、隣接する空白間の行内で垂直方向に整列した結合構成要素を含んでいる。例えば、「Ｆｕｊｉ」の「ｉ」及び「ｊ」の文字は、それぞれ二つの独立する結合構成要素である。空間的特徴判定手段３０は、一行の全垂直整列結合構成要素を１つの文字区画へ分類する。文章部分１０４の結合構成要素リストから文章部分１０４の空間的特徴を決定する１つの方法および装置は、米国特許出願０８／０４７，５１４に開示されている。
【００２６】
結合構成要素及び文字区画のリストは、空間的特徴判定手段３０から文字形態種別化手段３２へ出力される。文字形態種別化手段３２は、文字区画内の１つまたは複数の結合構成要素を、文字区画内の結合構成要素種の数および場所に基づいて、複数の抽象化文字コード種の１つへ変換する。抽象化文字コード種及び各抽象的文字コード種に対応する活字書体文字のリストが図５に示されている。図５に示されるように、抽象的文字コード種が使用されている。各抽象的文字コード種は、文字区画内の独立する結合構成要素の数、各文字区画の独立する結合構成要素間の相対位置、文字区画内の結合構成要素の位置に基づいて、１つないし１つ以上の文字を代表している。
【００２７】
上述の字体判定システムの動作手順は米国特許出願０８／０４７，５４０に開示されている。
【００２８】
本発明の方法及び装置は、統計的基盤に基づくものであるから、非常にしっかりしており、非常に薄い印刷の文書及び／あるいは走査が不十分な文書にさえ耐えうるものである。すなわち、デジタルデータ信号あるいは該デジタルデータ信号から形成された結合構成要素は、文書の全ての文字を完全に表す必要がない。むしろ、本発明は、単一の結合構成要素を２つあるいはそれ以上の結合構成要素に分離してしまうようなエラー、２つあるいはそれ以上の結合構成要素を単一の結合構成要素へ併合してしまうようなエラー、あるいは、同一行上の結合構成要素を置き違えるといったエラーのような通常の走査上起るエラーに耐えることが出来る。
【００２９】
要約すれば、本システムは、１つないし１つ以上の抽象的文字コード種よりなるワードドークン列を形成するものである。これらのワードトークンは、それぞれ文書をハイライトで強調し、文書を分類するハイライト強調部３４と分類付与部３６に供給される。これらの二つの部分を以下に説明する。
【００３０】
本発明の一実施形態であるフローチャートである図９を参照すると、ワードトークン列は、ステップＳ１１００で、除去手段２２０に入力され、ステップＳ１２００で処理されて、一般的に殆ど重要な言語情報を含まない「．」、「！」、「−」、「，」、及び「：」等の、さ程重要でない抽象的文字コード種、即ち、文字形状コードがワードトークン列から除去される。一旦これらの形状コードが除去されると、ワードトークン列は、削除手段２３０へ転送され、ステップＳ１３００で図７に示されるような削除（ストップ）トークンリストとパターンマッチングを使用して、図６に示されるような対応する所定の「一般機能」語が削除される。一般に、「一般機能」語は前置詞、限定詞、接続詞、代名詞、叙述詞を取りまとめたものであり、名詞、動詞、目的語等の「有意語」とは区別される。両単語形態（タイプ）にまたがる単語は、機能語と考えられ、それなりに処理される。
【００３１】
図６に示された一般機能語は統計データに基づけば、０．０００５以上の繰返出現率を有する。その結果として、これら一般機能語から図７に示されるような削除トークンリストが作成される。このリストでは、繰返し出てくるワードトークンは、全て除去されている。このようにして、最初に文章部分１０４から作られた図４のワードトークン列に残存しているワードトークンは、削除手段２３０によって削除トークンリストと比較され、削除トークンリストに現われたワードトークンを削除して「有意語」のみからなる短縮ワードトークンリスト列を作成する。
【００３２】
この時点で、短縮ワードトークン列をステップＳ１４００で短縮ワードトークン列に現われる各異なるワードトークンの繰返出現率を判定する判定手段２４０へ転送してもよい。本発明の他の実施形態では、ワードトークン列を、ステップＳ１３０５で、最初にオプションの削除手段２３５へ転送して図４の削除トークンリストのもう１つの、あるいは別途用意されたリストを使用して数字で表わした語を削除する。このオプションの削除トークンリストは連鎖Ａ＊（この＊印はＡ、ＡＡ、ＡＡＡ、ＡＡＡＡ等である）を含む。
【００３３】
いずれの場合も、新しい短縮ワードトークン列は、繰返出現率判定手段２４０へ転送され、その繰返出現率が判定される。一旦繰返出現率が判定されると、ステップＳ１５００で、順位化（ランク付け）手段２５０によって順位化される。順位化手段２５０は、ワードトークンを順位化し最大出現頻度のものから出現頻度がｎ番目（ｎは整数）までのワードトークンを判定する。
【００３４】
本発明の実施形態において、これらの順位のワードトークンに対応する文章部分１０４の単語は、図８に示されるように、ステップＳ１６００でハイライトや下線、そうでなければマークアップにより強調される。この強調付与後の文章部分１０４は、表示装置２００に表示される。この表示装置はＣＲＴ、複写印刷物、ＬＣＤ表示装置等、種々の表示装置のうちどれでもよい。これらの単語は、「ｎ番目」もしくはそれ以上の順位のものがハイライトで強調される。ここで、ｎは、例えば、１０のように順位を表わす。この場合、順位１０、９、８、７等の、即ち、繰返出現率が１０番目の単語、繰返出現率が９番目の単語等がハイライトで強調される。
【００３５】
例えば、図８に示されるように、建設業界に関する経済記事は、「ｃｏｎｓｔｒｕｃｔｉｏｎ」という単語を何度も使用している。単語「ｃｏｎｓｔｒｕｃｔｉｏｎ」は、ワードトークンとして表わすことができる。本発明は、単語「ｃｏｎｓｔｒｕｃｔｉｏｎ」に関係づけられたワードトークンの出現率を計算し、該記事から作成された短縮ワードトークン列に残存する全ての他の単語の出現率に対して計算された出現率に順位をつける。例えば、単語「ｃｏｎｓｔｒｕｃｔｉｏｎ」は、この記事中では１０番目に高い繰返出現率で使用されている。本発明は、その後このワードトークンに対応する単語をハイライトまたは下線で強調し、あるいは他の方法でマークアップし、読者が単語「ｃｏｎｓｔｒｕｃｔｉｏｎ」が記事全体の何処に位置するかを容易に見極めることができるようにしている。同様に、単語「ｃｏｎｓｔｒｕｃｉｔｉｏｎ」と同じ位頻繁に、例えば、１０番目に高いトークン出現率もしくはそれ以上、即ち、９番目、８番目、７番目…の出現率で現れるワードトークンに対応する記事中の全ての単語も、同様にハイライトまたは下線で強調し、あるいは他の方法でマークアップし、読者がそれらの単語を容易に識別できるようにしている。
【００３６】
本発明の他の実施形態は、図８に示される文書をワードトークンを使って分類ステップＳ１６０５を付加的に含んでいる。ワードトークンは、特定の文書のプロフィールを見出すために使用される。信頼出来る検索データと統計的分析により、検索プロフィールを計算し、分類手段２６５を使って大量の参考文書を大量の既存分類へ類別することができる。特定の文書プロフィールは、少くとも一つの照合プロフィールと比較してその分類を判定する。
【００３７】
分類ステップＳ１６０５は、ハイライトで強調ステップＳ１６００に付加的に使用してもよいし、あるいは、ハイライトで強調ステップＳ１６００から分離して使用してもよい。即ち、分類ステップＳ１６０５は、ハイライトで強調ステップＳ１６００に置き換えて使用してもよい。
【００３８】
このようなシステム及びその方法の作用の概要が図１０に示されている。
【００３９】
図１０の右側のステップＳ３０００に描かれているのは、その論題によって採られた複数の照合用分類（リファレンス・カテゴリー）文書である。これらの文書は、訓練用データとして、あるいは検索用（リファレンス）データとして使用できる。照合用データは、照合用プロフィールを見出すために使用される。ステップＳ３０５０において、システムは、プロフィール生成を初期化（起動）し、ステップＳ３１００でこれら文書トークン画像に変換する。その後は、既に説明したステップＳ３２００〜３４００を実行し、形成されたトークンの繰返出現率を順位化する。引き続いて、ステップＳ３５００で、順位（ランク）をある数値に制限することによって、例えば、１から１００迄の順位のみを照合用分類順位化しトーマライズする。その結果の照合用プロフィールは、複数の照合用文書の分類（カテゴリー）を表わしている。なお、照合用文書は基準となるサンプル文書であり、これを利用して、基準となる照合用プロフィールが作成される。
【００４０】
このような照合用文書による学習を多数行い、多数の照合用プロフィールを持てば、それだけ細かい分類を行うことができる。
【００４１】
図１０の左側にあるのは分類を決定すべき新しい文書である。この文書のプロフィールは、ステップＳ２０５０〜２５００で作成される。作成されたプロフィールは、文書のすべての識別が出来るトークンを順位化する。
【００４２】
ステップＳ２６００で、システムはプロフィールの「距離」を計算する。プロフィールの「距離」は、分類が未知の新しい文書のプロフィールと照合分類プロフィールとの間の距離であって、カフナー及びトレンケル（カフナー及びトレンケル、１９９４年）によって提案された「置き違え（アウト・オブ・プレース）評価法」によって得られる。この「評価」は、新プロフィール内のトークンが既知プロフィールの内の、そのトークン位置、即ち、既知の照合分類のプロフィールからどの位離れているかを判定する。新文書プロフィール内の各トークンに関して、本システムは、既知の照合分類プロフィール内の対応トークンを見出し、それが場所的にどの位離れているかを計算する。この場所ずれ値を全て合計すると当該分類に関する新文書の距離が得られる。ステップＳ２７００では、距離を比較して新文書に対し「最も近い」分類を付与する。
【００４３】
距離の測定は、例えば次のような方法によっても可能である。順位の１つの違いを距離１とし、対応あるトークンが照合用プロフィールに存在しなかった場合は「１００」とする。
【００４４】
また、そのほか類似度の検出方法が直接採用できる。
【００４５】
図２に示された分類付与手段２６５は、形成されたトークンにより特定文書のトークンプロフィールを判定する手段、特定文書のトークンプロフィールと少なくとも１つの照合プロフィールとの間の少くとも一つの距離を測定する手段、及びこの少くとも１つの測定距離に基づいて当該特定文書を分類する手段より構成してもよい。
【図面の簡単な説明】
【図１】走査装置のブロック図である。
【図２】ハイライト強調部及び分類部の詳細を示す図である。
【図３】文書の実際の文章部分を示す図である。
【図４】抽象コード文字種によりワードトークン列に変換された図３の文章部分を示す図である。
【図５】実際の字体の文字種に対応するワードトークンを得るために使用する文字抽象コード文字種あるいは文字字体コードを示す図である。
【図６】統計的発生率が０．０００５以上の一般機能語のリストを示す図である。
【図７】図６の一般機能語に対応するワードトークンの関連削除トークンのリストを示す図である。
【図８】本発明の一実施形態によるハイライト強調あるいはマークアップされた文書の一例を示す図である。
【図９】本発明に示す実施形態に対応するフローチャートである。
【図１０】本発明の他の実施形態フローチャートである。
【符号の説明】
２８結合構成要素生成手段、３０空間的特徴判定手段、３２文字形態種別化手段、３４ハイライト強調部、３６分類付与部、１００文書、１０２文書画像、１１０スキャナー。

Claims

文書内の単語を表わす文字形状コード種より構成されるワードトークン列を用いて、前記文書からの文書画像をハイライトで強調する装置であって、前記文書の各単語はそれぞれ１つのワードトークンのみによって表される、装置において、
前記ワードトークン列から予め定められた文字形状コード種を除去する手段と、
前記ワードトークン列から、パターン調和法及び削除トークンリストを使用して、予め定められた一般機能ワードトークンを削除して短縮されたワードトークン列を作成する手段と、
前記短縮ワードトークン列の各ワードトークンの繰返出現率を判定する手段と、
前記繰返出現率に順位を付け、前記順位化された繰返出現率に基づいて、ｎ番目もしくはそれ以上の高い繰返出現率で出現するワードトークンを判断する手段と、
ｎ番目もしくはそれ以上の高い繰返出現率で出現するワードトークンをハイライトで強調する手段と、
を備えることを特徴とする文書画像をハイライトで強調する装置。