JP2996895B2 - 索引型式作成装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、電子計算機を利用した
文書検索システムや文書編集システムにおける文書中か
ら文字列等を検索するための索引型式作成装置に関する
ものである。

【０００２】

【従来の技術】近年、ワードプロセッサやパーソナルコ
ンピュータの普及、コンピュータの記憶装置の容量の増
大、コンピュータによる文字認識の実用化等に伴い、文
書中のすべての文字情報を蓄積した全文データベースが
増加してきている。このため、大量の文字情報を蓄積
し、必要に応じて文書情報を検索する全文データベース
検索システムに対する関心が高まってきている。

【０００３】従来の文書データベースシステムでは、文
書を検索する際の鍵として、文書毎に人手により付与さ
れたキーワードを利用するキーワード検索方式が一般的
であった。しかし、キーワード付け作業が蓄積文書の増
加に間に合わない、時間が経過するとキーワードが陳腐
化する、キーワード付けを行なった者と検索するものと
のキーワードの解釈の相違により検索洩れが生じる、な
どの問題があった。このような背景から、近年、全文検
索（フルテキストサーチ）と呼ばれる文書検索方式が注
目されている。

【０００４】全文検索は、文書データの他には補助的な
情報を持たずに、検索毎に文書データを全文走査する
「フルテキストスキャン」方式と、検索に先だって、文
書データ中に出現する文字あるいは文字列の情報を高速
に取り出せるような索引情報を自動的に作成しておい
て、検索時にこの索引を検索する方式の２種類に大別さ
れる。

【０００５】このうちフルテキストスキャン方式は、原
文書以外の情報を用いないので、記憶容量が少なくて済
むとともに文書データの更新直後でも即座に検索できる
点、および正規表現等の文字列パターンや論理条件を含
む複雑な検索条件の場合や検索結果が多い場合でも、検
索時間がほぼ一定である点が長所であるが、文書データ
の全てを走査するため、索引方式に比べて検索時間が遅
いという問題が指摘されている。

【０００６】一方、索引方式は、一般にフルテキストス
キャン方式よりも検索速度が速く、索引の作成方法によ
っては、検索速度が文書量にほとんど依存しないという
利点があるが、索引情報の容量が大きいこと、索引を作
成する時間が長いこと、検索条件が複雑な場合や検索結
果が多い場合に検索速度が低下すること等の問題が指摘
されている。

【０００７】索引方式の問題点を解決するものとして、
シグネチャファイルを用いたプリサーチ方式がある。そ
の中で、本願出願人は、文字または文字連接の出現頻度
に応じてグループ化を行ないシグネチャファイルの型式
を作成するという手法を提案した（特許願平成５年第２
５３０３２号）。図４はこの方法による実施例の索引型
式作成装置の構成を示すブロック図である。サンプル文
書データ４０１中における各文書レコードが、文書区切
り手段４０３によりサンプル文書区切りデータ４０２か
らの位置情報をもとに切り出され、各文字の出現の度合
を文字出現頻度算定手段４０４が統計的に調べ、出現の
度合が予め定められた値すなわち絞り込み率以下である
低頻度文字については、文字グループ化手段４０７が複
数の文字のグループ化を行なう。この時、当該グループ
に属する文字の少なくとも１種が出現する度合が予め定
められた絞り込み率を越えないように文字を振り分け
る。サンプル文書データ４０１中における出現の度合が
絞り込み率を越える高頻度文字については、２つの高頻
度文字から成る２文字連続のサンプル文書データ中にお
ける出現の度合を２文字連続出現頻度算定手段４０５が
調べ、出現の度合が絞り込み率以下である低頻度２文字
連続については、２文字連続グループ化手段４０８が文
字の場合と同様にグループ化を行う。出現の度合が絞り
込み率を越える高頻度２文字連続については、高頻度２
文字連続に属する２つの２文字連続をそれぞれ初めの２
文字、および最後の２文字に持つ３文字連続のサンプル
文書中における出現の度合を３文字連続出現頻度算定手
段４０６が調べ、出現の度合が絞り込み率以下である低
頻度３文字連続については、３文字連続グループ化手段
４０９が文字または２文字連続の場合と同様にグループ
化を行う。高頻度３文字連続については、各高頻度３文
字連続だけから成るグループにする。その後、索引型式
出力手段４１０が各グループに対して１ｂｉｔの索引情
報を割り当てるような索引型式データ４１１を出力す
る。

【０００８】このようにして、文字および文字列の出現
の度合が異なっていても、検索条件によらずに絞り込み
率以下に検索対象文書データを絞り込むことを可能に
し、多くの種類の低頻度文字がある場合でも、容量の小
さな索引を作成することを可能にするような索引型式デ
ータを作成することができる。

【０００９】

【発明が解決しようとする課題】しかしながら、文字お
よび文字列をグループ化する上記の従来技術では、サン
プル文書において出現頻度の低い文字および文字列は利
用者の検索要求にどれほど使われるかということとは関
係なく、当該グループに属する文字および文字列の少な
くとも１種が出現する度合が予め定められた絞り込み率
を越えないようにグループ化されてしまうため、検索速
度の向上は絞り込み率の逆数倍程度に抑えられ、それ以
上には検索速度は向上できないという課題があった。

【００１０】また、利用者が設定できるパラメータは検
索対象文書の絞り込み率であり、絞り込み率によって変
化する索引データ量を予め知ることができないため、記
憶容量に制限のある場合などには、索引型式データの作
成を繰り返し行って適切な絞り込み率を求める必要があ
り、必要な索引型式データ作成までに時間がかかるとい
う課題があった。

【００１１】本発明は、上記従来技術の課題を解決する
もので、利用者が設定した特定の検索要求に対して、も
しくは過去の検索履歴から調べた利用者が良く用いる検
索要求に対しては、他の検索要求に対する検索速度を低
下させることなく絞り込み率の逆数倍を上回る高速な検
索を可能にする索引型式作成装置を提供することを目的
とする。また、索引データ量に対する制限を直接与える
ことにより、適切な絞り込み率を自動的に設定して索引
型式を作成することのできる索引型式作成装置を提供す
ることを目的とする。

【００１２】

【課題を解決するための手段】上記目的を達成するため
に、本発明による索引型式作成装置は、１つの要素だけ
からなる単独グループに入れる文字または文字列を指定
する特別区分入力手段を備え、その他に従来技術による
索引作成装置の持つ、サンプル文書データ中のある１文
字の出現の度合を統計的に調べる文字出現頻度算定手段
と、（Ｎ−１）文字の文字列の出現の度合がある値より
も高い場合に、それら（Ｎ−１）文字の文字列全てを含
むＮ文字（Ｎは２、３、・・・の自然数）の文字列につ
いての出現の度合を統計的に調べる複数のＮ文字連続出
現頻度算定手段と、文字出現頻度算定手段および複数の
Ｎ文字連続出現頻度算定手段の出力と特別区分入力手段
の出力から文字または文字列をグループ化する複数のグ
ループ化手段とを備えたものである。

【００１３】また本発明による索引型式作成装置は、過
去の検索要求履歴における検索要求文字列の出現頻度を
算定する検索要求文字列出現頻度算定手段を備え、その
他に従来技術による索引作成装置の持つ、サンプル文書
データ中のある１文字の出現の度合を統計的に調べる文
字出現頻度算定手段と、（Ｎ−１）文字の文字列の出現
の度合がある値よりも高い場合に、それら（Ｎ−１）文
字の文字列全てを含むＮ文字（Ｎは２、３、・・・の自
然数）の文字列についての出現の度合を統計的に調べる
複数のＮ文字連続出現頻度算定手段と、文字出現頻度算
定手段および複数のＮ文字連続出現頻度算定手段の出力
と検索要求文字列出現頻度算定手段の出力から文字また
は文字列をグループ化する複数のグループ化手段とを備
えたものである。

【００１４】また本発明による索引型式作成装置は、サ
ンプル文書データ中のある１文字の出現の度合を統計的
に調べる文字出現頻度算定手段と、（Ｎ−１）文字の文
字列の出現の度合がある値よりも高い場合に、それら
（Ｎ−１）文字の文字列全てを含むＮ文字（Ｎは２、
３、・・・の自然数）の文字列についての出現の度合を
統計的に調べる複数のＮ文字連続出現頻度算定手段と、
索引データ量に対する制限を入力するための最大索引量
入力手段と、文字出現頻度算定手段および複数のＮ文字
連続出現頻度算定手段の出力と最大索引量入力手段の出
力から最大索引量以下の大きさの索引作成を可能とする
絞り込み率を求め、再度文字出現頻度算定手段および複
数のＮ文字連続出現頻度算定手段に結果を出力する絞り
込み率算定手段と、文字出現頻度算定手段および複数の
Ｎ文字連続出現頻度算定手段の出力から文字または文字
列をグループ化する複数のグループ化手段とを備えたも
のである。

【００１５】

【作用】本発明は上記構成によって、予め与えられた絞
り込み率に対してサンプル文書データ中の文字または文
字列の出現の度合を文字出現頻度算定手段および複数の
Ｎ文字連続出現頻度算定手段が調べた後、グループ化手
段が文字および文字列の区分を決定する際に、特別区分
入力手段で入力された文字および文字列についてその構
成文字のうち低頻度文字を、その文字だけからなるグル
ープとして登録することによって、それらを含む検索要
求文字列で検索した場合に、他の検索要求に対する検索
速度を低下させることなく、さらに高速な検索が可能と
なる索引型式を作成することができる。

【００１６】また、予め与えられた絞り込み率に対して
サンプル文書データ中の文字または文字列の出現の度合
を文字出現頻度算定手段および複数のＮ文字連続出現頻
度算定手段が調べた後、グループ化手段が文字および文
字列の区分を決定する際に、過去の検索要求履歴におけ
る検索要求文字列の出現頻度を検索要求文字列出現頻度
算定手段によって算定し、高頻度で現れる検索要求文字
列についてその構成文字のうちサンプル文書中の低頻度
文字であるものは、その文字だけからなるグループとし
て登録することによって、各利用者が良く用いる検索要
求に対して高速な検索が可能となる索引型式を自動的に
作成することができる。

【００１７】また、予め与えられた絞り込み率に対して
サンプル文書データ中の文字または文字列の出現の度合
を文字出現頻度算定手段および複数のＮ文字連続出現頻
度算定手段が調べ、絞り込み率算定手段が文字および文
字列の出現頻度から最大索引量入力手段で入力された索
引量を上限として絞り込み率を算定し、さらにこの絞り
込み率に対して再度文字または文字列の出現の度合を文
字出現頻度算定手段および複数のＮ文字連続出現頻度算
定手段が調べ、その後グループ化手段が文字および文字
列の区分を決定することによって、記憶容量に制限のあ
る場合でも、予め設定された最大索引量を越えない範囲
で最も高速化が図れるような索引型式を短時間に作成す
ることができる。

【００１８】

【実施例】

（実施例１）以下、本発明の第１の実施例について、図
面を参照しながら説明する。図１は本発明の第１の実施
例における索引型式作成装置の構成を示すブロック図で
ある。図１において、１０１は文書データを構成する複
数の文書レコードを格納したサンプル文書データであ
る。サンプル文書データ１０１は、検索対象文書データ
の全部または一部でもよく、検索対象文書データに対
し、文字および文字列の出現に関する統計的性質が類似
している他の文書データであってもよい。１０２はサン
プル文書データ１０１中の各文書レコードの位置を記録
したサンプル文書区切りデータ、１０３はサンプル文書
区切りデータ１０２の位置情報に従ってサンプル文書デ
ータ１０１から指定された文書レコードを切り出して、
レコード先頭を表す特別な文字＜ＳＴＡＲＴ＞を文書レ
コード先頭に付与し、レコード終了を表す特別な文字＜
ＥＮＤ＞を文書レコード末尾に付与した文字列を出力す
る文書区切り手段、１０４は文書区切り手段１０３の出
力である文書レコード文字列を受け取ってサンプル文書
データ１０１中に出現する各文字の出現の度合を「当該
文字の出現する文書レコードの文字数の総和を全文書レ
コードの文字数の総和で除した値」として算定する文字
出現頻度算定手段、１０５は文書区切り手段１０３の出
力である文書レコード文字列と、文字出現頻度算定手段
１０４の算定結果とを受けとってサンプル文書データ１
０１中に高頻度で出現する２文字連続の出現の度合を
「当該２文字連続の出現する文書レコードの文字数の総
和を全文書レコードの文字数の総和で除した値」として
算定する２文字連続出現頻度算定手段、１０６は文書区
切り手段１０３の出力である文書レコード文字列と２文
字連続出現頻度算定手段１０５の算定結果とを受け取っ
て、サンプル文書データ１０１中に高頻度で出現する３
文字連続の出現の度合を「当該３文字連続の出現する文
書レコードの文字数の総和を全文書レコードの文字数の
総和で除した値」として算定する３文字連続出現頻度算
定手段、１０７は文字出現頻度算定手段１０４の算定結
果を受け取って、出現の度合が予め定められた「絞り込
み率」以下である複数の文字をグループ化し、グループ
に属するいずれかの文字が出現する度合が絞り込み率を
越えない範囲で絞り込み率にもっとも近くなるように調
整する文字グループ化手段、１０８は２文字連続出現頻
度算定手段１０５の算定結果を受け取って、出現の度合
が絞り込み率以下である複数の２文字連続をグループ化
し、グループに属するいずれかの２文字連続が出現する
度合が絞り込み率を越えない範囲で絞り込み率に最も近
くなるように調整する２文字連続グループ化手段、１０
９は３文字連続出現頻度算定手段１０６の算定結果を受
け取って、出現の度合が絞り込み率以下である複数の３
文字連続がある場合には、これをグループ化し、グルー
プに属するいずれかの３文字連続が出現する度合が絞り
込み率を越えない範囲で絞り込み率に最も近くなるよう
に調整し、出現の度合が絞り込み率よりも高い３文字連
続はそれ１つだけで１グループにする３文字連続グルー
プ化手段、１１０は文字グループ化手段１０７と２文字
連続グループ化手段１０８と３文字連続グループ化手段
１０９の出力であるグループ化情報を受け取って各グル
ープに通し番号を付与し、各グループの通し番号と、所
属文字あるいは２文字連続あるいは３文字連続との対応
表を出力する索引型式出力手段、１１１は索引型式出力
手段１１０の出力する索引型式データである。そして、
１１２は文字グループ化手段１０７に対して、指定した
要素だけからなるグループを作成するよう指示する特別
区分入力手段である。

【００１９】以上のように構成された索引型式作成装置
について、その動作を説明する。まず、サンプル文書デ
ータ１０１中の各文書レコードが、文書区切り手段１０
３で切り出されて、文字出現頻度算定手段１０４に送ら
れ、各文字の出現の度合が、該当文字の出現する文書レ
コードの文字数の総和／全文書レコードの文字数の総和
によって算定される。利用者は、特別区分入力手段１１
２により検索速度を改善したい検索要求文字列を入力す
る。文字グループ化手段１０７は、文字出現頻度算定手
段１０４の算定結果を受け取って、出現の度合が予め定
められた「絞り込み率」以下である複数の文字をグルー
プ化し、グループに属するいずれかの文字が出現する度
合が絞り込み率を越えない範囲で絞り込み率に最も近く
なるように調整する。この時、グループのいずれかの文
字が現れる度合の算定法は、グループ内の各文字の出現
が統計的に独立であると仮定し、以下の式から求める。

【００２０】

【数１】 ただし、Ｐはグループ内のｎ個の文字のいずれかが現れ
る度合であり、Ｐj （ｊ＝１，２，・・・ｎ）はグルー
プ内のｊ番目の文字が現れる度合である。

【００２１】またグループ化の際、特別区分入力手段１
１２で入力された文字または各文字列についてその構成
文字のうち文字出現頻度算定手段１０４の結果が低頻度
である文字については、それらの各低頻度文字をその文
字だけからなる単独グループとして登録する。

【００２２】サンプル文書データ１０１の１回目の走査
が終了したら、文書区切り手段１０３は、サンプル文書
データ１０１の２回目の走査を開始し、切り出した文書
レコードを２文字連続出現頻度算定手段１０５に送る。
２文字連続出現頻度算定手段１０５は、文書レコード中
の２文字連続のうちで、高頻度文字同士の連続のみを抽
出し、各２文字連続の出現度合が「当該２文字連続の出
現する文書レコードの文字数の総和／全文書レコードの
文字数の総和」によって算定される。高頻度文字同士か
らなる２文字連続のうち高頻度２文字連続以外のすべて
を、式（１）と同様の基準によってグループに属するい
ずれかの２文字連続が現れる度合が絞り込み率以下にな
るように、２文字連続グループ化手段１０８がグループ
化する。

【００２３】こうして、サンプル文書データ１０１の２
回目の走査が終了したら、文書区切り手段１０３は、サ
ンプル文書データ１０１の３回目の走査を開始し、切り
出した文書レコードを３文字連続出現頻度算定手段１０
６に送る。３文字連続出現頻度算定手段１０６は、文書
レコード中の３文字連続のうちで、（第１文字、第２文
字）および（第２文字、第３文字）がいずれも高頻度２
文字連続である３文字連続のみを抽出し、各３文字連続
の出現の度合が、「当該３文字連続の出現する文書レコ
ードの文字数の総和／全文書レコードの文字数の総和」
によって算定され、その結果が３文字連続グループ化手
段１０９に送られ、式（１）と同様の基準によって絞り
込み率をもとにグループ化される。

【００２４】こうして得られたグループ化情報が、索引
型式出力手段１１０に送られ、低頻度文字グループ、２
文字連続グループ、３文字連続グループの１つ１つに対
して、１ｂｉｔの索引情報を割り当てるような索引型式
を索引型式データ１１１に出力する。

【００２５】以上のように、本実施例によれば、サンプ
ル文書中にはあまり出現しないが、利用者が高速で検索
したいという文字に対しては、特別区分に指定しグルー
プ化を行なわないことで、索引容量をあまり大きくする
ことなく、また他の検索要求に対する検索速度を低下さ
せることなく、その文字を含む検索要求対しては、高速
な検索が可能となる索引型式を作成することができる。
特に、特別区分に指定した１文字で検索した場合、絞り
込み率をｃ、当該文字が文書中に出現する度合をｃ’
（ｃ’＜ｃ＜１）とすれば、グループ化を行う従来の方
法では、全文書量のｃ倍の文書をフルテキストスキャン
しなければならないのに対し、本実施例によれば、全文
書量のｃ’倍の文書をフルテキストスキャンするだけで
よいので、検索速度はｃ／ｃ’倍に向上する。

【００２６】（実施例２）次に、本発明の第２の実施例
について、図面を参照しながら説明する。図２は本発明
の第２の実施例における索引型式作成装置の構成を示す
ブロック図である。図２において、２０１はサンプル文
書データ、２０２はサンプル文書区切りデータ、２０３
は文書区切り手段、２０４は文字出現頻度算定手段、２
０５は２文字連続出現頻度算定手段、２０６は３文字連
続出現頻度算定手段、２０７は文字グループ化手段、２
０８は２文字連続グループ化手段、２０９は３文字連続
グループ化手段、２１０は索引型式出力手段、２１１は
索引型式データである。そして、２１２は検索要求履歴
データ、２１３は過去の検索要求履歴データ２１２から
検索要求文字列の出現頻度を算定し、文字グループ化手
段２０７に対して、単一の要素だけからなるグループを
作成するよう指示する検索要求文字列出現頻度算定手段
である。

【００２７】以上のように構成された索引型式作成装置
について、その動作を説明する。まず、サンプル文書デ
ータ２０１中の各文書レコードが、文書区切り手段２０
３で切り出されて、文字出現頻度算定手段２０４に送ら
れ、各文字の出現の度合が、該当文字の出現する文書レ
コードの文字数の総和／全文書レコードの文字数の総和
によって算定される。文字グループ化手段２０７は、文
字出現頻度算定手段２０４の算定結果を受け取って、出
現の度合が予め定められた「絞り込み率」以下である複
数の文字をグループ化し、グループに属するいずれかの
文字が出現する度合が絞り込み率を越えない範囲で絞り
込み率に最も近くなるように調整する。この時、グルー
プのいずれかの文字が現れる度合の算定法は、グループ
内の各文字の出現が統計的に独立であると仮定し、式
（１）から求める。またグループ化の際、検索要求文字
列出現頻度算定手段２１３が検索要求履歴データ２１２
から算定した出現頻度が高い検索要求文字または文字列
について、その構成文字のうち文字出現頻度算定手段２
０４の結果が低頻度である文字については、それらの各
低頻度文字をその文字だけからなる単独グループとして
登録する。

【００２８】サンプル文書データ２０１の１回目の走査
が終了したら、文書区切り手段２０３は、サンプル文書
データ２０１の２回目の走査を開始し、切り出した文書
レコードを２文字連続出現頻度算定手段２０５に送る。
２文字連続出現頻度算定手段２０５は、文書レコード中
の２文字連続のうちで、高頻度文字同士の連続のみを抽
出し、各２文字連続の出現度合が「当該２文字連続の出
現する文書レコードの文字数の総和／全文書レコードの
文字数の総和」によって算定される。高頻度文字同士か
らなる２文字連続のうち高頻度２文字連続以外のすべて
を、式（１）と同様の基準によってグループに属するい
ずれかの２文字連続が現れる度合が絞り込み率以下にな
るように、２文字連続グループ化手段２０８がグループ
化する。

【００２９】こうして、サンプル文書データ２０１の２
回目の走査が終了したら、文書区切り手段２０３は、サ
ンプル文書データ２０１の３回目の走査を開始し、切り
出した文書レコードを３文字連続出現頻度算定手段２０
６に送る。３文字連続出現頻度算定手段２０６は、文書
レコード中の３文字連続のうちで、（第１文字、第２文
字）および（第２文字、第３文字）がいずれも高頻度２
文字連続である３文字連続のみを抽出し、各３文字連続
の出現の度合が、「当該３文字連続の出現する文書レコ
ードの文字数の総和／全文書レコードの文字数の総和」
によって算定され、その結果が３文字連続グループ化手
段２０９に送られ、式（１）と同様の基準によって絞り
込み率をもとにグループ化される。

【００３０】こうして得られたグループ化情報が、索引
型式出力手段２１０に送られ、低頻度文字グループ、２
文字連続グループ、３文字連続グループの１つ１つに対
して、１ｂｉｔの索引情報を割り当てるような索引型式
を索引型式データ２１１に出力する。

【００３１】以上のように、本実施例によれば、サンプ
ル文書中にはあまり出現しないが、利用者が検索要求と
して頻繁に用いるという文字を検索要求履歴から自動的
に選びだし、そのような文字に対してはグループ化を行
なわないことで、索引容量をあまり大きくすることな
く、また他の検索要求に対する検索速度を低下させるこ
となく、各利用者に応じた高速な検索を可能にする索引
型式を作成することができる。

【００３２】（実施例３）次に、本発明の第３の実施例
について、図面を参照しながら説明する。図３は本発明
の一実施例における索引型式作成装置の構成を示すブロ
ック図である。図３において、３０１はサンプル文書デ
ータ、３０２はサンプル文書区切りデータ、３０３は文
書区切り手段、３０４は文字出現頻度算定手段、３０５
は２文字連続出現頻度算定手段、３０６は３文字連続出
現頻度算定手段、３０７は文字グループ化手段、３０８
は２文字連続グループ化手段、３０９は３文字連続グル
ープ化手段、３１０は索引型式出力手段、３１１は索引
型式データである。そして、３１２は作成する索引の最
大量を入力する最大索引量入力手段、３１３は最大索引
量入力手段３１２からの入力と文字出現頻度算定手段３
０４の算定結果と２文字連続出現頻度算定手段３０５の
算定結果と３文字連続出現頻度算定手段３０６の算定結
果を受け取って絞り込み率を算定し、その結果を再度文
字出現頻度算定手段３０４と２文字連続出現頻度算定手
段３０５と３文字連続出現頻度算定手段３０６に出力す
る絞り込み率算定手段である。

【００３３】以上のように構成された索引型式作成装置
について、その動作を説明する。まず、サンプル文書デ
ータ３０１中の各文書レコードが、文書区切り手段３０
３で切り出されて、文字出現頻度算定手段３０４に送ら
れ、各文字の出現の度合が、「該当文字の出現する文書
レコードの文字数の総和／全文書レコードの文字数の総
和」によって算定される。文書中に出現した文字の総数
をＮとし、絞り込み率の初期値として予め定められた値
ｃよりも高い出現頻度をもつ文字を高頻度文字（その数
をα（ｃ））とし、それ以外の文字を低頻度文字とす
る。

【００３４】サンプル文書データ３０１の１回目の走査
が終了したら、文書区切り手段３０３は、サンプル文書
データ３０１の２回目の走査を開始し、切り出した文書
レコードを２文字連続出現頻度算定手段３０５に送る。
２文字連続出現頻度算定手段３０５は、文書レコード中
の２文字連続のうちで、高頻度文字同士の連続のみを抽
出し（その総数をＷ（ｃ）とする）、各２文字連続の出
現度合が「当該２文字連続の出現する文書レコードの文
字数の総和／全文書レコードの文字数の総和」によって
算定される。ｃよりも高い出現頻度をもつ２文字連続を
高頻度２文字連続（その数をβ（ｃ））とする。

【００３５】こうして、サンプル文書データ３０１の２
回目の走査が終了したら、文書区切り手段３０３は、サ
ンプル文書データ３０１の３回目の走査を開始し、切り
出した文書レコードを３文字連続出現頻度算定手段３０
６に送る。３文字連続出現頻度算定手段３０６は、文書
レコード中の３文字連続のうちで、（第１文字、第２文
字）および（第２文字、第３文字）がいずれも高頻度２
文字連続である３文字連続のみを抽出し（その総数をＴ
（ｃ）とする）、各３文字連続の出現の度合が、「当該
３文字連続の出現する文書レコードの文字数の総和／全
文書レコードの文字数の総和」によって算定される。ｃ
よりも高い出現頻度をもつ３文字連続を高頻度３文字連
続（その数をγ（ｃ））とする。

【００３６】こうして得られた絞り込み率の初期値ｃに
対する文字出現頻度分布、２文字連続出現頻度分布、３
文字連続出現頻度分布と最大索引量入力手段３１２で入
力された索引量の上限から、再度出現頻度分布を調べる
ことなく、絞り込み率算定手段３１３が以下のような方
法で絞り込み率を決定する。

【００３７】文字出現頻度分布は、絞り込み率によって
変化しない。したがって、絞り込み率ｃ₁ のときの高頻
度文字数は、前に調べた文字出現頻度分布から直接知る
ことができ、これをα（ｃ₁ ）とする。文書中に現れる
高頻度文字同士の２文字連続の数は、任意の高頻度文字
同士の組合せの総数に比例すると仮定すると、絞り込み
率ｃ₁ のときの高頻度文字同士の２文字連続の数Ｗ（ｃ
₁ ）は、式（２）によって表される。 Ｗ（ｃ₁ ）＝Ｗ（ｃ）×｛α（ｃ₁ ）² ／α（ｃ）² ｝ ・・・（２） 絞り込み率ｃ₁ における２文字連続出現頻度分布（ｘ軸
にランク、ｙ軸に出現頻度をとったもの）は絞り込み率
ｃにおける２文字連続出現頻度分布をｘ軸方向に拡大縮
小したものと仮定すると、絞り込み率ｃ₁ に対する高頻
度２文字連続の数β（ｃ₁ ）は、絞り込み率ｃに対する
２文字連続出現頻度分布で出現頻度がｃ ₁ より高くなる
２文字連続の数β’（ｃ₁ ）を用いて式（３）のように
表せる。 β（ｃ₁ ）＝β’（ｃ₁ ）×｛Ｗ（ｃ₁ ）／Ｗ（ｃ）｝ ＝β’（ｃ₁ ）×｛α（ｃ₁ ）² ／α（ｃ）² ｝・・・（３）

【００３８】また、文書中に現れる３文字連続のうち
で、（第１文字、第２文字）および（第２文字、第３文
字）がいずれも高頻度２文字連続であるような３文字連
続の数は、任意の高頻度２文字連続同士の組合せの総数
に比例すると仮定すると、絞り込み率ｃ₁ のときの前記
の条件を満たす３文字連続の数Ｔ（ｃ₁ ）は、式（４）
によって表される。 Ｔ（ｃ₁ ）＝Ｔ（ｃ）×｛β（ｃ₁ ）² ／β（ｃ）² ｝ ・・・（４）

【００３９】絞り込み率ｃ₁ のときの３文字連続出現頻
度分布は、絞り込み率ｃのときの３文字連続出現頻度分
布をｘ軸方向に拡大縮小したものと仮定すると、絞り込
み率ｃ₁ に対する高頻度３文字連続の数γ（ｃ₁ ）は、
絞り込み率ｃに対する３文字連続出現頻度分布において
出現頻度がｃ₁ より高くなる３文字連続の数γ’
（ｃ ₁ ）を用いて、式（５）のように表せる。 γ（ｃ₁ ）＝γ’（ｃ₁ ）×｛Ｔ（ｃ₁ ）／Ｔ（ｃ）｝ ＝γ’（ｃ₁ ）×｛β（ｃ₁ ）² ／β（ｃ）² ｝・・・（５）

【００４０】作成される索引の大きさは、後の各グルー
プ化手段によって得られる低頻度文字グループ、低頻度
２文字連続グループ、３文字連続グループの総数に文書
レコード数Ｒを乗じたもの（単位ｂｉｔ）になる。絞り
込み率ｃ₁ に対する低頻度文字の出現頻度の総和をＳ₁
とすると、低頻度文字グループの数はＳ₁ ／ｃ₁ と近似
できる。絞り込み率ｃ₁ に対する低頻度２文字連続の出
現頻度の総和Ｓ₂ は、３直線ｘ＝β（ｃ₁ ）、ｘ＝Ｗ
（ｃ₁ ）、ｙ＝０と絞り込み率ｃ₁ に対する２文字連続
出現頻度分布の曲線で囲まれた面積と考えられるので、
３直線ｘ＝β’（ｃ₁ ）、ｘ＝Ｗ（ｃ）、ｙ＝０と絞り
込み率ｃに対する２文字連続出現頻度分布の曲線で囲ま
れた面積、すなわち絞り込み率ｃに対する２文字連続出
現頻度分布において出現頻度がｃ₁ 以下であるような２
文字連続の出現頻度の総和Ｓ₂ ’を用いて式（６）のよ
うに表せる。 Ｓ₂ ＝Ｓ₂ ’×｛Ｗ（ｃ₁ ）／Ｗ（ｃ）｝ ＝Ｓ₂ ’×｛α（ｃ₁ ）² ／α（ｃ）² ｝ ・・・（６）

【００４１】３文字連続グループの総数については、高
頻度３文字連続の数は無視できるほど少ないと仮定し、
低頻度３文字連続のみを考える。絞り込み率ｃ₁ に対す
る低頻度３文字連続の出現頻度の総和Ｓ₃ は、３直線ｘ
＝γ（ｃ₁ ）、ｘ＝Ｔ（ｃ₁）、ｙ＝０と絞り込み率ｃ
₁ に対する３文字連続出現頻度分布の曲線で囲まれた面
積と考えられるので、３直線ｘ＝γ’（ｃ₁ ）、ｘ＝Ｔ
（ｃ）、ｙ＝０と絞り込み率ｃに対する３文字連続出現
頻度分布の曲線で囲まれた面積、すなわち絞り込み率ｃ
に対する３文字連続出現頻度分布において出現頻度がｃ
₁ 以下であるような３文字連続の出現頻度の総和Ｓ₃ ’
を用いて、式（７）のように表せる。 Ｓ₃ ＝Ｓ₃ ’×｛Ｔ（ｃ₁ ）／Ｔ（ｃ）｝ ＝Ｓ₃ ’×｛β（ｃ₁ ）² ／β（ｃ）² ｝ ＝Ｓ₃ ’×｛β’（ｃ₁ ）² ／β（ｃ）² ｝×｛α（ｃ₁ ）⁴ ／α（ｃ ）⁴ ｝ ・・・（７）

【００４２】すなわち絞り込み率ｃ₁ としたときに作成
される索引の大きさＩ（ｃ₁ ）（単位はｂｉｔ）は、絞
り込み率ｃにおける各出現頻度分布から算出できる値に
よって、式（８）のように近似的に求めることができ
る。 Ｉ（ｃ₁ ）＝｛（Ｓ₁ ＋Ｓ₂ ＋Ｓ₃ ）／ｃ₁ ｝×Ｒ ＝［［Ｓ₁ ＋Ｓ₂ ’×｛α（ｃ₁ ）² ／α（ｃ）² ｝ ＋Ｓ₃ ’×｛β’（ｃ₁ ）² ／β（ｃ）² ｝ ×｛α（ｃ₁ ）⁴ ／α（ｃ）⁴ ｝］／ｃ₁ ］×Ｒ・・（８）

【００４３】絞り込み率算定手段３１３は、最大索引量
以下の大きさの索引作成を可能にする絞り込み率ｃ₁ を
算定し、再度、文字出現頻度算定手段３０４、２文字連
続出現頻度算定手段３０５、３文字連続出現頻度算定手
段３０６に出力する。

【００４４】文字グループ化手段３０７は、文字出現頻
度算定手段３０４の算定結果を受け取って、出現の度合
が絞り込み率ｃ₁ 以下である複数の文字をグループ化
し、グループに属するいずれかの文字が出現する度合が
絞り込み率を越えない範囲で絞り込み率に最も近くなる
ように調整する。この時、グループのいずれかの文字が
現れる度合の算定法は、グループ内の各文字の出現が統
計的に独立であると仮定し、式（１）から求める。

【００４５】２文字連続出現頻度算定手段３０５は、文
書レコード中の２文字連続のうちで、高頻度文字同士の
連続のみを抽出し、各２文字連続の出現度合が「当該２
文字連続の出現する文書レコードの文字数の総和／全文
書レコードの文字数の総和」によって算定される。高頻
度文字同士からなる２文字連続のうち高頻度２文字連続
以外のすべてを、式（１）と同様の基準によってグルー
プに属するいずれかの２文字連続が現れる度合が絞り込
み率以下になるように、２文字連続グループ化手段３０
８がグループ化する。

【００４６】３文字連続出現頻度算定手段３０６は、文
書レコード中の３文字連続のうちで、（第１文字、第２
文字）および（第２文字、第３文字）がいずれも高頻度
２文字連続である３文字連続のみを抽出し、各３文字連
続の出現の度合が、「当該３文字連続の出現する文書レ
コードの文字数の総和／全文書レコードの文字数の総
和」によって算定され、その結果が３文字連続グループ
化手段３０９に送られ、式（１）と同様の基準によって
絞り込み率ｃ₁ をもとにグループ化される。

【００４７】こうして得られたグループ化情報が、索引
型式出力手段３１０に送られ、低頻度文字グループ、２
文字連続グループ、３文字連続グループの１つ１つに対
して、１ｂｉｔの索引情報を割り当てるような索引型式
を索引型式データ３１１に出力する。

【００４８】以上のように、本実施例によれば、コンピ
ュータの記憶容量に制限がある場合でも、索引データ量
の上限を直接与えることにより適切な絞り込み率を自動
的に求め、何度も索引型式の作成を繰り返すことをしな
くても要求を満たす大きさの索引型式を作成することが
できる。

【００４９】

【発明の効果】以上のように、本発明によれば、利用者
が設定した特定の検索要求に対して、もしくは過去の検
索履歴から調べた利用者が良く用いる検索要求に対して
は、他の検索要求に対する検索速度を低下させることな
く、予め指定された絞り込み率の逆数倍を上回る検索速
度の向上を実現する索引型式を作成することができる。

【００５０】また、記憶装置の容量に制限のある場合な
どに、作成される索引量の上限を利用者が設定でき、何
度も試行錯誤を繰り返して最適な絞り込み率を決定する
必要がなく、利用者の手間が省けるとともに、トータル
な索引型式作成時間の短縮が可能となる。

【図面の簡単な説明】

【図１】本発明の第１の実施例における索引型式作成装
置の構成を示すブロック図

【図２】本発明の第２の実施例における索引型式作成装
置の構成を示すブロック図

【図３】本発明の第３の実施例における索引型式作成装
置の構成を示すブロック図

【図４】従来技術による索引型式作成装置の構成を示す
ブロック図

【符号の説明】

１０１ サンプル文書データ １０２ サンプル文書区切りデータ １０３ 文書区切り手段 １０４ 文字出現頻度算定手段 １０５ ２文字連続出現頻度算定手段 １０６ ３文字連続出現頻度算定手段 １０７ 文字グループ化手段 １０８ ２文字連続グループ化手段 １０９ ３文字連続グループ化手段 １１０ 索引型式出力手段 １１１ 索引型式データ １１２ 特別区分入力手段 ２０１ サンプル文書データ ２０２ サンプル文書区切りデータ ２０３ 文書区切り手段 ２０４ 文字出現頻度算定手段 ２０５ ２文字連続出現頻度算定手段 ２０６ ３文字連続出現頻度算定手段 ２０７ 文字グループ化手段 ２０８ ２文字連続グループ化手段 ２０９ ３文字連続グループ化手段 ２１０ 索引型式出力手段 ２１１ 索引型式データ ２１２ 検索要求履歴データ ２１３ 検索要求文字列出現頻度算定手段 ３０１ サンプル文書データ ３０２ サンプル文書区切りデータ ３０３ 文書区切り手段 ３０４ 文字出現頻度算定手段 ３０５ ２文字連続出現頻度算定手段 ３０６ ３文字連続出現頻度算定手段 ３０７ 文字グループ化手段 ３０８ ２文字連続グループ化手段 ３０９ ３文字連続グループ化手段 ３１０ 索引型式出力手段 ３１１ 索引型式データ ３１２ 最大索引量入力手段 ３１３ 絞り込み率算定手段 ４０１ サンプル文書データ ４０２ サンプル文書区切りデータ ４０３ 文書区切り手段 ４０４ 文字出現頻度算定手段 ４０５ ２文字連続出現頻度算定手段 ４０６ ３文字連続出現頻度算定手段 ４０７ 文字グループ化手段 ４０８ ２文字連続グループ化手段 ４０９ ３文字連続グループ化手段 ４１０ 索引型式出力手段 ４１１ 索引型式データ

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平７−105237（ＪＰ，Ａ) 岩崎雅二郎、小川泰嗣，「文字成分表 による文字列検索の実現と評価」，情報 処理学会研究報告，Ｖｏｌ．93，Ｎｏ. 29（93−ＤＢＳ−92−１），1993年３月 22日，ｐ．１−10 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 17/30 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 サンプル文書データ中のある１文字の出
   現の度合を統計的に調べる文字出現頻度算定手段と、
   （Ｎ−１）文字の文字列の出現の度合がある値よりも高
   い場合に、それら（Ｎ−１）文字の文字列全てを含むＮ
   文字（Ｎは２、３、・・・の自然数）の文字列について
   の出現の度合を統計的に調べる複数のＮ文字連続出現頻
   度算定手段と、１つの要素だけからなる単独グループに
   入れる文字または文字列を指定する特別区分入力手段
   と、前記文字出現頻度算定手段および前記複数のＮ文字
   連続出現頻度算定手段の出力と前記特別区分入力手段の
   出力から文字または文字列をグループ化する複数のグル
   ープ化手段とを備えることを特徴とする索引型式作成装
   置。
2. 【請求項２】 サンプル文書データ中のある１文字の出
   現の度合を統計的に調べる文字出現頻度算定手段と、
   （Ｎ−１）文字の文字列の出現の度合がある値よりも高
   い場合に、それら（Ｎ−１）文字の文字列全てを含むＮ
   文字（Ｎは２、３、・・・の自然数）の文字列について
   の出現の度合を統計的に調べる複数のＮ文字連続出現頻
   度算定手段と、過去の検索要求履歴における検索要求文
   字列の出現頻度を算定する検索要求文字列出現頻度算定
   手段と、前記文字出現頻度算定手段および前記複数のＮ
   文字連続出現頻度算定手段の出力と前記検索要求文字列
   出現頻度算定手段の出力から文字または文字列をグルー
   プ化する複数のグループ化手段とを備えることを特徴と
   する索引型式作成装置。
3. 【請求項３】 サンプル文書データ中のある１文字の出
   現の度合を統計的に調べる文字出現頻度算定手段と、
   （Ｎ−１）文字の文字列の出現の度合がある値よりも高
   い場合に、それら（Ｎ−１）文字の文字列全てを含むＮ
   文字（Ｎは２、３、・・・の自然数）の文字列について
   の出現の度合を統計的に調べる複数のＮ文字連続出現頻
   度算定手段と、索引データ量に対する制限を入力するた
   めの最大索引量入力手段と、前記文字出現頻度算定手段
   および前記複数のＮ文字連続出現頻度算定手段の出力と
   前記最大索引量入力手段の出力から最大索引量以下の大
   きさの索引作成を可能にする絞り込み率を求め、再度前
   記文字出現頻度算定手段および前記複数のＮ文字連続出
   現頻度算定手段に結果を出力する絞り込み率算定手段
   と、前記文字出現頻度算定手段および前記複数のＮ文字
   連続出現頻度算定手段の出力から文字または文字列をグ
   ループ化する複数のグループ化手段とを備えることを特
   徴とする索引型式作成装置。