JP4950755B2 - 文書検索方法及び装置並びにそのコンピュータプログラム - Google Patents
文書検索方法及び装置並びにそのコンピュータプログラム Download PDFInfo
- Publication number
- JP4950755B2 JP4950755B2 JP2007130321A JP2007130321A JP4950755B2 JP 4950755 B2 JP4950755 B2 JP 4950755B2 JP 2007130321 A JP2007130321 A JP 2007130321A JP 2007130321 A JP2007130321 A JP 2007130321A JP 4950755 B2 JP4950755 B2 JP 4950755B2
- Authority
- JP
- Japan
- Prior art keywords
- query
- regular expression
- formal name
- processed
- symbol part
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
大規模テキスト知識ベースに基づく自動質問応答−ダイアログナビ−、清田陽司,黒橋禎男,木戸冬子、自然言語処理 Vol.10 No.4 2003
1.入力されたクエリの、様々な表記ゆれを含む表現を正規表現として記述し、辞書に登録する。
を、英数記号を含む文字列を対象に行う。
FOMA P 902 i
FOMA P 902-i
FOMA P 902i
FOMA P-902 i
FOMA P-902-i
FOMA P-902i
FOMA P902 i
FOMA P902-i
FOMA P902i
FOMA-P 902 i
FOMA-P 9O2-i
FOMA-P 9O2i
FOMA-P-902 i
FOMA-P-902-i
FOMA-P-902i
FOMA-P902 i
FOMA-P902-i
FOMA-P902i
FOMAP 902 i
FOMAP 902-i
FOMAP 902i
FOMAP-902 i
FOMAP-902-i
FOMAP-902i
FOMAP902 i
FOMAP902-i
FOMAP902i
としてステップ(23s8)の処理ヘと進む。
p 9O2i
p 9O2-i
p 902i
P-902 i
P-902-i
p-9O2i
p902 i
p902-i
p902i
としてステップ(23s8)の処理ヘと進む。
・検索結果
・正式名称 DoCoMo P902i
・正規表現 [(DoCoMo|Docomo|ドコモ)?(FOMA|Foma|foma)?[“”-]?[Pp][“”-]?902[“”-]?[iI]]
を受け取る。
Claims (6)
- 単語の正式名称と該正式名称の正規表現とを対にした情報をエントリとして持つ正式名称/正規表現辞書のデータベースと、検索対象となる文字列としてのクエリの正規表現作成時に変換規則として用いる任意に登録可能な変換リストのデータベースと、前記クエリの正規表現作成時に挿入する文字や記号を任意に登録できる挿入リストのデータベースとを備えたコンピュータ装置からなる文書検索装置に対してクエリを入力すると、前記文書検索装置が、文書データベースに格納されている複数の文書データの中から前記クエリを拡張したクエリ群を含む文書データを抽出して、該抽出結果を出力する文書検索方法であって、
前記文書検索装置は、
入力された前記検索対象となる文字列をクエリとして受け付け、
受け付けたクエリと正式名称/正規表現辞書のエントリとを比較して、正式名称/正規表現辞書のエントリの正規表現に一致するものがあるか否かを判定し、
前記受け付けたクエリと正式名称/正規表現辞書のエントリの正規表現が一致したときは、一致したエントリの正規表現を前記受け付けたクエリの正規表現とし、
前記受け付けたクエリと正式名称/正規表現辞書のエントリの正規表現が一致しないときは、受け付けたクエリを文字種の異なる境界で分割して配列要素とし、
前記配列要素が変換リストの表現と一致するか否かを判定し、
前記配列要素が変換リストの表現と一致するときは該配列要素を前記一致した変化リストのエントリに変更し、
前記配列要素が変換リストの表現と一致しないときは、前記配列要素がアルファベットを含むか否かを判定し、
前記配列要素がアルファベットを含むときは、前記配列要素を、そのまま、或いは、全て大文字、或いは、全て小文字、或いは、先頭だけ大文字、に変換するとともに、配列要素中に重複が出た場合は重複部分を削除し、前記挿入リストをカンマで区切ったものの最後に「?」の文字を付け足して1つの要素とし、該要素を配列要素間に挿入して配列要素をつなげて前記受け付けたクエリの正規表現を作成し、
前記作成した正規表現に一致する正式名称が正式名称/正規表現辞書にあるときは該正式名称を前記受け付けたクエリの正式名称として特定し、
前記作成した正規表現に一致する正式名称が正式名称/正規表現辞書にないときは前記受け付けたクエリを正式名称として特定し、
前記受け付けたクエリに対応して作成された前記正規表現のうち記号部分以外の全展開を行い、
正規表現中の展開前の記号部分ごとに処理対象となっている記号部分の前または後ろの文字が記号であるか否かを判定し、
処理対象となっている記号部分の前または後ろの文字が記号である場合は処理中の情報をコピーして、処理中の記号部分の前後の記号を削除し、
処理対象となっている記号部分の前または後ろの文字が記号でない場合は、処理対象となっている記号部分の前または後ろの何れかの文字がクエリの先頭または終端であるか否かを判定し、
処理対象となっている記号部分の前または後ろの何れかの文字がクエリの先頭または終端だった場合は、処理中の記号部分を展開せず削除し、
処理対象となっている記号部分の前または後ろの何れかの文字がクエリの先頭または終端でない場合は、処理中の記号部分を展開した後、展開の終わったクエリのうち、先に生成したクエリと重複が生じたものは削除することによってクエリの拡張をおこなってクエリ群を作成し、
拡張された前記クエリ群を用いて文書検索を行い、当該クエリ群を含む文書データを抽出し、
前記特定された正式名称と該正式名称に対応する正規表現とを用いて、前記抽出された文書データ中に含まれるクエリの表記を統一し、
表記統一された文書データの情報を出力する
ことを特徴とする文書検索方法。 - 前記文書検索装置は、新たなクエリが入力されたときに作成した正規表現と該正規表現から特定した単語の正式名称の情報を用いて前記正式名称/正規表現辞書を更新する
ことを特徴とする請求項1に記載の文書検索方法。 - 検索対象となる文字列としてのクエリを入力すると、文書データベースに格納されている複数の文書データの中から前記クエリを拡張したクエリ群を含む文書データを抽出して、該抽出結果を出力する文書検索装置であって、
入力された前記検索対象となる文字列をクエリとして受け付ける入力手段と、
単語の正式名称と該正式名称の正規表現とを対にした情報をエントリとして持つ正式名称/正規表現辞書のデータベースと、
前記クエリの正規表現作成時に変換規則として用いる任意に登録可能な変換リストのデータベースと、
前記クエリの正規表現作成時に挿入する文字や記号を任意に登録できる挿入リストのデータベースと、
受け付けたクエリと正式名称/正規表現辞書のエントリとを比較して、正式名称/正規表現辞書のエントリの正規表現に一致するものがあるか否かを判定し、前記受け付けたクエリと正式名称/正規表現辞書のエントリの正規表現が一致したときは、一致したエントリの正規表現を前記受け付けたクエリの正規表現とし、前記受け付けたクエリと正式名称/正規表現辞書のエントリの正規表現が一致しないときは、受け付けたクエリを文字種の異なる境界で分割して配列要素とし、前記配列要素が変換リストの表現と一致するか否かを判定し、前記配列要素が変換リストの表現と一致するときは該配列要素を前記一致した変化リストのエントリに変更し、前記配列要素が変換リストの表現と一致しないときは、前記配列要素がアルファベットを含むか否かを判定し、前記配列要素がアルファベットを含むときは、前記配列要素を、そのまま、或いは、全て大文字、或いは、全て小文字、或いは、先頭だけ大文字、に変換するとともに、配列要素中に重複が出た場合は重複部分を削除し、前記挿入リストをカンマで区切ったものの最後に「?」の文字を付け足して1つの要素とし、該要素を配列要素間に挿入して配列要素をつなげて前記受け付けたクエリの正規表現を作成し、前記作成した正規表現に一致する正式名称が正式名称/正規表現辞書にあるときは該正式名称を前記受け付けたクエリの正式名称として特定し、前記作成した正規表現に一致する正式名称が正式名称/正規表現辞書にないときは前記受け付けたクエリを正式名称として特定する正式名称特定手段と、
前記受け付けたクエリに対応して作成された前記正規表現のうち記号部分以外の全展開を行い、正規表現中の展開前の記号部分ごとに処理対象となっている記号部分の前または後ろの文字が記号であるか否かを判定し、処理対象となっている記号部分の前または後ろの文字が記号である場合は処理中の情報をコピーして、処理中の記号部分の前後の記号を削除し、処理対象となっている記号部分の前または後ろの文字が記号でない場合は、処理対象となっている記号部分の前または後ろの何れかの文字がクエリの先頭または終端であるか否かを判定し、処理対象となっている記号部分の前または後ろの何れかの文字がクエリの先頭または終端だった場合は、処理中の記号部分を展開せず削除し、処理対象となっている記号部分の前または後ろの何れかの文字がクエリの先頭または終端でない場合は、処理中の記号部分を展開した後、展開の終わったクエリのうち、先に生成したクエリと重複が生じたものは削除することによってクエリの拡張をおこなってクエリ群を作成するクエリ拡張手段と、
拡張された前記クエリ群を用いて文書検索を行い、当該クエリ群を含む文書データを抽出する文書検索手段と、
前記正式名称特定手段により特定された正式名称と該正式名称に対応する正規表現とを用いて、前記抽出された文書データ中に含まれるクエリの表記を統一する表記統一手段と、
表記統一された文書データの情報を出力する出力手段とを備えた
ことを特徴とする文書検索装置。 - 前記正式名称特定手段は、作成した正規表現と該正規表現から特定した単語の正式名称の情報を用いて前記正式名称/正規表現辞書を作成する手段を有することを特徴とする請求項3に記載の文書検索装置。
- 単語の正式名称と該正式名称の正規表現とを対にした情報をエントリとして持つ正式名称/正規表現辞書のデータベースと、検索対象となる文字列としてのクエリの正規表現作成時に変換規則として用いる任意に登録可能な変換リストのデータベースと、前記クエリの正規表現作成時に挿入する文字や記号を任意に登録できる挿入リストのデータベースとを備えたコンピュータ装置からなる文書検索装置に対してクエリを入力すると、前記文書検索装置が、文書データベースに格納されている複数の文書データの中から前記クエリを拡張したクエリ群を含む文書データを抽出して、該抽出結果を出力する前記文書検索装置を動作させるコンピュータプログラムであって、
入力された前記検索対象となる文字列をクエリとして受け付けるステップと、
受け付けたクエリと正式名称/正規表現辞書のエントリとを比較して、正式名称/正規表現辞書のエントリの正規表現に一致するものがあるか否かを判定するステップと、
前記受け付けたクエリと正式名称/正規表現辞書のエントリの正規表現が一致したときは、一致したエントリの正規表現を前記受け付けたクエリの正規表現とするステップと、
前記受け付けたクエリと正式名称/正規表現辞書のエントリの正規表現が一致しないときは、受け付けたクエリを文字種の異なる境界で分割して配列要素とするステップと、
前記配列要素が変換リストの表現と一致するか否かを判定するステップと、
前記配列要素が変換リストの表現と一致するときは該配列要素を前記一致した変化リストのエントリに変更するステップと、
前記配列要素が変換リストの表現と一致しないときは、前記配列要素がアルファベットを含むか否かを判定するステップと、
前記配列要素がアルファベットを含むときは、前記配列要素を、そのまま、或いは、全て大文字、或いは、全て小文字、或いは、先頭だけ大文字、に変換するとともに、配列要素中に重複が出た場合は重複部分を削除し、前記挿入リストをカンマで区切ったものの最後に「?」の文字を付け足して1つの要素とし、該要素を配列要素間に挿入して配列要素をつなげて前記受け付けたクエリの正規表現を作成するステップと、
前記作成した正規表現に一致する正式名称が正式名称/正規表現辞書にあるときは該正式名称を前記受け付けたクエリの正式名称として特定するステップと、
前記作成した正規表現に一致する正式名称が正式名称/正規表現辞書にないときは前記受け付けたクエリを正式名称として特定するステップと、
前記受け付けたクエリに対応して作成された前記正規表現のうち記号部分以外の全展開を行うステップと、
正規表現中の展開前の記号部分ごとに処理対象となっている記号部分の前または後ろの文字が記号であるか否かを判定するステップと、
処理対象となっている記号部分の前または後ろの文字が記号である場合は処理中の情報をコピーして、処理中の記号部分の前後の記号を削除するステップと、
処理対象となっている記号部分の前または後ろの文字が記号でない場合は、処理対象となっている記号部分の前または後ろの何れかの文字がクエリの先頭または終端であるか否かを判定するステップと、
処理対象となっている記号部分の前または後ろの何れかの文字がクエリの先頭または終端だった場合は、処理中の記号部分を展開せず削除するステップと、
処理対象となっている記号部分の前または後ろの何れかの文字がクエリの先頭または終端でない場合は、処理中の記号部分を展開した後、展開の終わったクエリのうち、先に生成したクエリと重複が生じたものは削除することによってクエリの拡張をおこなってクエリ群を作成するステップと、
拡張された前記クエリ群を用いて文書検索を行い、当該クエリ群を含む文書データを抽出するステップと、
前記特定された正式名称と該正式名称に対応する正規表現とを用いて、前記抽出された文書データ中に含まれるクエリの表記を統一するステップと、
表記統一された文書データの情報を出力するステップとを含む
ことを特徴とするコンピュータプログラム。 - 新たな検索対象となる文字列が入力されたときに作成した正規表現と該正規表現から特定した単語の正式名称の情報を用いて前記正式名称/正規表現辞書を更新するステップを含む
ことを特徴とする請求項5に記載のコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007130321A JP4950755B2 (ja) | 2007-05-16 | 2007-05-16 | 文書検索方法及び装置並びにそのコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007130321A JP4950755B2 (ja) | 2007-05-16 | 2007-05-16 | 文書検索方法及び装置並びにそのコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008287394A JP2008287394A (ja) | 2008-11-27 |
JP4950755B2 true JP4950755B2 (ja) | 2012-06-13 |
Family
ID=40147071
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007130321A Expired - Fee Related JP4950755B2 (ja) | 2007-05-16 | 2007-05-16 | 文書検索方法及び装置並びにそのコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4950755B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106959976A (zh) * | 2016-01-12 | 2017-07-18 | 腾讯科技(深圳)有限公司 | 一种搜索处理方法以及装置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7228083B2 (ja) | 2019-01-31 | 2023-02-24 | 日本電信電話株式会社 | データ検索装置、方法およびプログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07121547A (ja) * | 1993-10-21 | 1995-05-12 | Matsushita Electric Ind Co Ltd | 情報検索装置 |
-
2007
- 2007-05-16 JP JP2007130321A patent/JP4950755B2/ja not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106959976A (zh) * | 2016-01-12 | 2017-07-18 | 腾讯科技(深圳)有限公司 | 一种搜索处理方法以及装置 |
US10713302B2 (en) | 2016-01-12 | 2020-07-14 | Tencent Technology (Shenzhen) Company Limited | Search processing method and device |
CN106959976B (zh) * | 2016-01-12 | 2020-08-14 | 腾讯科技(深圳)有限公司 | 一种搜索处理方法以及装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2008287394A (ja) | 2008-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Martins et al. | Spelling correction for search engine queries | |
Hodge et al. | A comparison of standard spell checking algorithms and a novel binary neural approach | |
JPS63254559A (ja) | 複合ワードのためのスペリング援助方法 | |
CN112925563B (zh) | 一种面向代码重用的源代码推荐方法 | |
JP5308786B2 (ja) | 文書データ検索装置 | |
CN111159990A (zh) | 一种基于模式拓展的通用特殊词识别方法及*** | |
JP4950755B2 (ja) | 文書検索方法及び装置並びにそのコンピュータプログラム | |
Ridley | An expert system for quality control and duplicate detection in bibliographic databases | |
US9218336B2 (en) | Efficient implementation of morphology for agglutinative languages | |
Kaur et al. | Spell checker for Punjabi language using deep neural network | |
KR20170107808A (ko) | 원문문장을 번역 소단위들로 분할하고 소번역단위들의 번역어순을 결정하는 번역어순패턴 데이터 구조, 이를 생성하기 위한 명령어들을 저장한 컴퓨터 판독가능한 저장매체 및 이를 가지고 번역을 수행하는 컴퓨터 판독가능한 저장매체에 저장된 번역 프로그램 | |
WO2009113289A1 (ja) | 新規事例生成装置、新規事例生成方法及び新規事例生成用プログラム | |
JP3260428B2 (ja) | 情報検索処理装置 | |
CN110309258A (zh) | 一种输入检查方法、服务器和计算机可读存储介质 | |
US20040054677A1 (en) | Method for processing text in a computer and a computer | |
US20170031892A1 (en) | System and method for representing sequences of bits | |
KR100659370B1 (ko) | 시소러스 매칭에 의한 문서 db 형성 방법 및 정보검색방법 | |
KR102146625B1 (ko) | 오토마타 기반 증분적 중위 확률 계산 장치 및 방법 | |
US20240086442A1 (en) | Heuristic identification of shared substrings between text documents | |
Yahya et al. | Enhancement tools for Arabic web search | |
Birnbaum et al. | Reassessing the locus of normalization in machine-assisted collation. | |
Elhadi et al. | Detection of Duplication in Documents and WebPages Based Documents Syntactical Structures through an Improved Longest Common Subsequence. | |
JPH07244669A (ja) | 文書検索方式 | |
Perakovic et al. | Possibility of applying fuzzy logic in the e-Learning system | |
JP2704945B2 (ja) | 重複表現処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090730 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20110613 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110614 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20110615 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110616 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20110616 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110713 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110829 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120302 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120309 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150316 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |