JPH06162092A - 情報検索装置 - Google Patents

Abstract

(57)【要約】 【目的】 本発明は、文書の検索を行う情報検索装置に
関し、辞書のメンテナンスの労力を省き、インデックス
容量を削減してテキストデータの検索を可能にすること
を目的とする。 【構成】 テキストを語分割して単語にし、この単語を
単語見出しとして該当テキストへのリンクを設定する単
語インッデクス３と、これらの単語見出しについて、先
頭から取り出したｎ文字見出しから該当単語見出しへの
リンクを設定するｎ文字インッデクス４とを作成するよ
うに構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、文書の検索を行う情報
検索装置に関するものである。近年、多量の電子化文書
が出回るようになるにつれ、これらの文書の中から必要
な情報を取り出す検索技術が必要となってきている。

【０００２】検索は、インデックスファイルを持つこと
によって高速化できる。このインデックスファイルを最
小化することが検索システムを構築する上で要求されて
いる。また、一方、インデックスファイルに入っている
文字列かどうかにかかわらず、どんな文字列でも検索し
たいという要求がある。これらの際に、単語辞書などの
整備作業が少ないことも要求されている。

【０００３】

【従来の技術】従来、文書中の単語などを検索する手法
として以下が用いられていた。 （１） 形態素解析を利用したキーワードインデックス
法：これは、文書を形態素解析して抽出したキーワード
に対してインデックスを付けるので、インデックスファ
イルが小さくて済む。また、各キーワードは辞書属性な
どを持っているので、単語の知識を利用した処理が可能
となる。しかし、単語辞書を整備する必要がある。ま
た、未登録語抽出に失敗すると、この未登録語の文字列
が検索できなくなる。

【０００４】（２） ｎ文字インデックス法：文書の全
ての文字に対してインデックスを付けるので、辞書など
の単語の知識が必要なく、結果として辞書メンテナンス
のコストが削減できる。また、出現する文字列全てが検
索対象となるので検索もれがない。しかし、インデック
スの量が膨大になる。

【０００５】

【発明が解決しようとする課題】上述した（１）の単語
辞書を利用した形態素解析をベースにしたキーワードイ
ンデックス法は、精度を保つためには単語辞書の整備を
行う必要があり、その労力が大変であるという問題があ
る。また、上述した（２）のｎ文字インデックス法によ
りｎ文字単位の転置ファイル（例えば１文字単位）を作
成したのでは、インデックスの量が増加して、元のテキ
ストよりも大きくなり、インデックス容量が膨大となっ
てしまう問題がある。

【０００６】本発明は、これらの問題を解決するため、
辞書のメンテナンスの労力を省き、インデックス容量を
削減してテキストデータの検索を可能にすることを目的
としている。

【０００７】

【課題を解決するための手段】図１および図２を参照し
て課題を解決するための手段を説明する。図１および図
２において、語分割処理部６は、テキストを語分割して
単語にするものである。

【０００８】未登録語処理部７は、単語辞書１２に登録
されていない文字列について、文字種情報などでまとめ
るものである。単語インデックス作成部８は、テキスト
を分割した単語を単語見出しとしてテキストの該当する
位置をリンクする単語インデックス３を作成するもので
ある。

【０００９】ｎ文字インデックス作成部９は、単語イン
デックス３の単語見出しについて、先頭などから取り出
したｎ文字見出しからリンクするｎ文字インデックス４
を作成するものである。

【００１０】

【作用】本発明は、図１および図２に示すように、語分
割処理部６がテキストを語分割して単語にし、単語イン
デックス作成部８がこの単語を単語見出しとしてテキス
トをリンクする単語インデックス３を作成し、ｎ文字イ
ンデックス作成部９がこれらの単語見出しについて、先
頭などから取り出したｎ文字見出しからリンクするｎ文
字インデックス４を作成するようにしている。この際、
未登録語処理部７が単語辞書１２に登録されていない文
字列について、文字種情報をもとにまとめて単語見出し
とするようにしている。

【００１１】また、キーワードを指定した検索指示に対
応して、ｎ文字インデックス４の該当するｎ文字見出し
からリンクする単語インデックス３の該当する単語見出
しを見つけ、これからリンクからテキスト２中の該当す
る文字列を検索して出力するようにしている。

【００１２】これらの際に、ｎ文字インデックス４とし
て、１文字インデックスとするようにしている。従っ
て、ｎ文字インデックス４および単語インデックス３を
利用してテキスト２から該当する文字列を検索すること
により、単語辞書１２のメンテナンスの労力を省き、イ
ンデックス容量を削減してテキストデータの検索を行う
ことが可能となる。特に、単語インデックス３を作成し
たことによって、単語辞書１２に登録されている単語
（２文字、３文字、４文字など）および文字種情報でま
とめた未登録語にインデックスを付与でき、インデック
ス量を削減できる。また、この単語インデックス３の単
語見出しについて、ｎ文字インデックス４、特に１文字
インデックスからリンクすることにより、デキスト中の
文字列の取りこぼしを無くすことが可能となる。

【００１３】

【実施例】次に、図１から図３を用いて本発明の実施例
の構成および動作を順次詳細に説明する。

【００１４】図１は、本発明の１実施例構成図を示す。
図１において、テキストデータ１は、検索対象のテキス
トデータであって、複数のテキスト２を格納したもので
ある。

【００１５】単語インデックス３は、単語見出しおよび
リンクの複数の組から構成され、テキスト２を語分割し
た単語および文字種情報でまとめた未登録語を単語見出
しとし、この単語見出しからテキスト２中の該当する文
字列をリンクしたものである。例えば図示のように、 単語見出し リンク “情報” テキスト２の該当する文字列“情報”へのリンク といように、単語見出し“情報”についてテキスト２中
の該当する文字列“情報”へのリンク（ポインタ）を設
定する。

【００１６】ｎ文字インデックス４は、単語インデック
ス３の単語見出しの先頭など（例えば先頭あるいは全
体）からｎ文字を取り出してｎ文字見出しとし、このｎ
文字見出しから該当する単語をリンクするようにしたも
のである。例えば図示のように、 ｎ文字見出し リンク 情 “情報”へのリンク、“情勢”へのリンク “情報検索”へのリンク というように、ｎ文字見出し、ここでは、１文字見出し
“情”について単語インデックス３中の該当する文字列
“情報”、“情勢”、“情報検索”などへのリンクを設
定する。これにより、キーワードの先頭のｎ文字、特に
１文字の検索を高速に行うことができる。１文字インデ
ックス４でキーワードの先頭の１文字が存在することが
判明したとき、リンクする単語インデックス３の見出し
から先頭の１文字を含む文字列を取り出し、キーワード
との一致を高速に判定できる。一致したときは、更に単
語インデックス３の単語見出しのリンクを辿ってテキス
ト２中の該当する文字列を検索できる。

【００１７】キーワードは、検索対象の文字列である。
検索するときは、このキーワードの先頭の１文字“情”
をｎ文字インデックス４である１文字インデックス４か
ら見つけ、この見つけた１文字のリンクから単語インデ
ックス３の単語に当該キーワードを含むものを見つけ
る。見つかったときは、この単語のリンクによりテキス
ト中から該当する文字列を取り出し、表示などする。

【００１８】次に、図２を用いて、図１の単語インデッ
クス３およびｎ文字インデックス４を作成するインデッ
クス作成系１１、および作成したｎ文字インデックス４
および単語インデックス３を利用して文字列を検索する
ときの検索系２１の動作を順次詳細に説明する。

【００１９】（１） インデックス作成系１１について
説明する。図２において、Ｓ１は、テキストデータ１を
取り込む。Ｓ２は、前処理部５が前処理を行う。テキス
トデータ１について、改行などを取り、１行１文にす
る。

【００２０】Ｓ３は、語分割処理部６がテキストデータ
１の語分割を行う。これは、単語辞書１２を参照して、
例えば後述する図３の語分割結果に示すように、／の区
切り記号によって、 ／に／ついて／の／情報／を／集め／・・・ のように語分割する。

【００２１】Ｓ４は、未登録語処理部７が未登録語の処
理を行う。これは、単語辞書１２にないテキストデータ
１について、文字種情報、例えばカタカナの一連の文字
列を未登録語としたり、一連の漢字のつながりを未登録
語としたりする。

【００２２】Ｓ５は、語分割処理部６が語分割した単語
および未登録語処理部７が分割した未登録語について、
単語インデックス作成部８がこれら単語および未登録語
を見出しとすると共にリンクによってテキストデータ１
中の該当する位置をリンクする。これらにより、Ｓ６の
単語インデックス３が作成できたこととなる。

【００２３】Ｓ７は、ｎ文字インデックス作成部９が単
語インデックス３の単語見出しについて先頭のｎ文字
（例えば先頭の１文字）を抽出し、この抽出したｎ文字
をｎ文字見出しとすると共に単語見出しをリンクするｎ
文字インデックス４を作成する。これらにより、一連の
単語インデックス３およびｎ文字インデックス４が作成
でき、テキストデータ１を検索する準備ができたことと
なる。

【００２４】また、辞書エディタ１３は、単語インデッ
クス３の効率を向上させるために、単語辞書１２をチュ
ーニング（新たな単語を登録したり、修正したり、未登
録語を新たな単語として登録したりなどしてチェーニン
グ）する。

【００２５】以上によって、テキストデータ１から任意
の単語および未登録語を検索するための、ｎ文字インデ
ッスク４および単語インデックス３が作成できたことと
なる。

【００２６】（２） 検索系２１について説明する。こ
こでは、ｎ文字インデックス４は、１文字インデックス
とする。図２において、Ｓ１１は、キーワードを入力す
る。これは、オペレータが画面上から検索しようとする
キーワードを入力する。

【００２７】Ｓ１２は、キーワードの先頭１文字と１文
字見出しを比較する。これは、例えばキーワード“情
報”について先頭の１文字“情”と、１文字インデック
ス４の１文字見出しと比較し、一致するものを見つけ
る。ない場合には、ない旨のメッセージを画面上に表示
する。ありの場合には、Ｓ１３に進む。

【００２８】Ｓ１３は、単語インデックス３の単語見出
しとキーワードと比較する。これは、Ｓ１２のありでキ
ーワードの先頭の１文字例えば“情”が１文字インデッ
クス４の１文字見出しにありと判明したので、この１文
字見出しのリンク先の単語インデックス３の単語と、キ
ーワードとを比較する。ない場合、即ちキーワードと一
致しないあるいは一致する部分を含まない場合には、な
い旨のメッセージを画面上に表示する。ありの場合に
は、Ｓ１４に進む。

【００２９】Ｓ１４は、テキストとキーワードを比較す
る。これは、Ｓ１３のありでキーワードと単語見出しと
が一致あるいはキーワードが一部単語見出しに含まれて
いたので、リンク先のテキストとキーワードを比較す
る。ない場合、即ちキーワードがテキストと一致しない
場合には、ない旨のメッセージを画面上に表示する。あ
りの場合には、Ｓ１５に進む。

【００３０】Ｓ１５は、Ｓ１４でキーワードとテキスト
の文字列とが一致すると判明したので、このテキストの
位置（単語見出しのリンク先の位置）の内容を画面上に
表示する。これにより、検索指示したキーワードの存在
するテキスト（例えば文単位、段落単位、ページ単位の
テキスト）が画面上に表示されたこととなる。

【００３１】以上によって、画面上からキーワードを入
力したことに対応して、キーワードの先頭１文字と一致
する１文字インデックス４の１文字見出しを見つけ、こ
の１文字見出しのリンク先の単語インデックス３の単語
見出しのうち一致するものを見つけ、更にこの一致した
単語見出しのリンク先のテキストとキーワードが一致し
たときに、この範囲のテキストを画面上に検索結果とし
て表示する。これらにより、キーワードが存在するテキ
スト上の文字列が表示されることとなる。

【００３２】図３は、本発明の単語インデックスの作成
説明図を示す。テキストデータ１は、文書であって、図
示のＴ２（文単位、段落単位、あるいはページ単位な
ど）の場合には、“ある事柄についての情報を集め、こ
れをファイルに蓄える。そして必要に応じ・・・・・”
である。

【００３３】前処理結果は、ここでは、文単位にまとめ
たものである。語分割結果は、前処理結果について、単
語辞書１２を参照して単語に分割し、更に未登録語につ
いては文字種情報をもとに単語に分割したものである。
ここでは、図示の／に示す区切り記号で単語に下記のよ
うに分割する。

【００３４】 Ｔ２ ／に／ついて／の／情報／を／集め／・・・ また、これら分割した単語およびリンクを分かり易く並
べると下記のようになる。

【００３５】 単語見出し リンク について Ｔ２ の Ｔ２ 情報 Ｔ２ を Ｔ２ 単語インデックス３は、語分割結果について、単語見出
しおよびリンクとして下記のように重複しないように、
単語インデックス３に格納する。

【００３６】 単語見出し リンク 情報 Ｔ２、Ｔ３、Ｔ１０・・・ 情勢 Ｔ８、Ｔ９、Ｔ２３・・・ そして、これらの単語インデックス３の単語見出しの先
頭の１文字をとりだし、１文字インデックス３の１文字
見出しとすると共にリンクによって単語見出しの位置を
ポイントする。

【００３７】以上によって、テキストデータを指定した
ことに対応して、前処理結果を得て、次に語分割結果を
得て、この語分割結果をもとに単語インデックス３の見
出しおよびリンクを登録する。そして、単語見出しの先
頭１文字を１文字インデックス４の１文字見出しとする
と共に単語見出しをリンクする。これらにより、テキス
トデータから自動的に単語インデックス３および１文字
インデックス４を作成することが可能となる。

【００３８】

【発明の効果】以上説明したように、本発明によれば、
テキストデータ１から語分割して単語インデックス３を
作成およびこの単語インデックス３の単語見出しのｎ文
字をｎ文字インデックス４に設定およりリンクを設定
し、単語インデックス３およびｎ文字インデックス４を
作成する構成を採用しているため、テキストデータ１か
ら任意文字列の単語および文字種情報でまとめた未登録
語を取り出して単語インデックス３の単語見出しとし、
エントリ数を削減してメモリ容量を小さくできると共
に、単語見出しの先頭ｎ文字（例えば先頭１文字）をｎ
文字インデックス４に設定し、単語もれを無くすことが
できる。これらにより、単語辞書のメンテナンスの労力
を省き、インデックス容量を削減してテキストデータの
検索を行うことができる。特に、単語インデックス３を
作成したことによって、単語辞書に登録されている単語
（２文字、３文字、４文字など）を１つとしておよび文
字種情報でまとめた未登録語を１つとしてインデックス
を付与でき、インデックス量を削減できる。また、この
単語インデックス３の単語見出しについて、ｎ文字イン
デックス４、特に１文字インデックスからリンクするこ
とにより、テキスト中の文字列の取りこぼしを無くすこ
とが可能となる。

【図面の簡単な説明】

【図１】本発明の１実施例構成図である。

【図２】本発明の動作説明図である。

【図３】本発明の単語インデックスの作成説明図であ
る。

【符号の説明】

１：テキストデータ ２：テキスト ３：単語インデックス ４：ｎ文字インデックス ５：前処理部 ６：語分割処理部 ７：未登録語処理部 ８：単語インデックス作成部 ９：ｎ文字インデックス作成部 １２：単語辞書 １３：辞書エディタ

Claims (4)

【特許請求の範囲】
1. 【請求項１】文書の検索を行う情報検索装置において、 テキストを語分割して単語にし、この単語を単語見出し
   として該当テキストへのリンクを設定する単語インデッ
   クス（３）と、 これらの単語見出しについて、先頭などから取り出した
   ｎ文字見出しから該当単語見出しへのリンクを設定する
   ｎ文字インデックス（４）とを作成するように構成した
   ことを特徴とする情報検索装置。
2. 【請求項２】上記テキストを語分割して単語にする際
   に、単語辞書（１２）に登録されていない未登録語を文
   字種情報でまとめて単語見出しとするように構成したこ
   とを特徴とする請求項１記載の情報検索装置。
3. 【請求項３】キーワードを指定した検索指示に対応し
   て、上記ｎ文字インデックス（４）の該当するｎ文字見
   出しからリンクする上記単語インデックス（３）の該当
   する単語見出しを見つけ、この単語見出しのリンクから
   該当テキストの文字列を検索し、出力するように構成し
   たことを特徴とする請求項１記載の情報検索装置。
4. 【請求項４】上記ｎ文字インデックス（４）として、１
   文字インデックスとしたことを特徴とする請求項１記載
   から請求項３記載の情報検索装置。