JP4831787B2 - Citation detection device, its program and recording medium - Google Patents

Citation detection device, its program and recording medium Download PDF

Info

Publication number
JP4831787B2
JP4831787B2 JP2009027288A JP2009027288A JP4831787B2 JP 4831787 B2 JP4831787 B2 JP 4831787B2 JP 2009027288 A JP2009027288 A JP 2009027288A JP 2009027288 A JP2009027288 A JP 2009027288A JP 4831787 B2 JP4831787 B2 JP 4831787B2
Authority
JP
Japan
Prior art keywords
document
citation
digest
segment
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009027288A
Other languages
Japanese (ja)
Other versions
JP2010182238A (en
Inventor
俊之 櫻井
義博 松尾
玄一郎 菊井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2009027288A priority Critical patent/JP4831787B2/en
Publication of JP2010182238A publication Critical patent/JP2010182238A/en
Application granted granted Critical
Publication of JP4831787B2 publication Critical patent/JP4831787B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Machine Translation (AREA)
  • Document Processing Apparatus (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、ブログ等の任意の文書中に、ニュース、プレスリリース、Ｗｉｋｉｐｅｄｉａ等の他の文書からの引用が含まれているかどうかを検出する技術に関するものである。ここで、引用とは、他の文書内の文であって文字列の改変が無い連続した２つ以上の文と定義するものとする。   The present invention relates to a technique for detecting whether an arbitrary document such as a blog includes a quote from another document such as news, a press release, or Wikipedia. Here, citation is defined as two or more consecutive sentences that are sentences in other documents and that have no character string modification.

従来のこの種の技術としては、以下の二つがあった。   There are the following two conventional techniques of this type.

・ＤＰ（Dynamic Programming）マッチング（従来技術１）
ＤＰマッチングでは、比較すべき２つの文字列を逐次照合しながら当該２つの文字列間の差分を計算して、２つの文書間の類似度を推定する（例えば、非特許文献１参照）。 ・ DP (Dynamic Programming) matching (prior art 1)
In DP matching, the difference between the two character strings is calculated while sequentially comparing the two character strings to be compared, and the similarity between the two documents is estimated (for example, see Non-Patent Document 1).

・Ｓｉｍｈａｓｈ（従来技術２）
Ｓｉｍｈａｓｈでは、文書をベクトル表現し、ランダムに定義された超平面のどちら側にあるかを判別することにより特殊なハッシュ値（simhash）を得て、各文書のｓｉｍｈａｓｈ値を比較することで、２つの文書間の類似度を推定する。この際、各文書のＳｉｍｈａｓｈ間のハミング距離が文書ベクトル間のコサイン距離の近似値になる性質がある（例えば、非特許文献２参照）。 ・ Simhash (Prior Art 2)
In Simhash, a special hash value (simhash) is obtained by vector-expressing a document and determining which side of the hyperplane is defined at random, and by comparing the Simhash values of each document, 2 Estimate the similarity between two documents. At this time, the Hamming distance between Simhashes of each document has a property that becomes an approximate value of the cosine distance between document vectors (see, for example, Non-Patent Document 2).

Ｎｅｅｄｌｅｍａｎ，Ｓ．Ｂ．，Ｗｕｎｓｃｈ，Ｃ．Ｄ．：”Ａ ｇｅｎｅｒａｌ ｍｅｔｈｏｄ ａｐｐｌｉｃａｂｌｅ ｔｏ ｔｈｅ ｓｅａｒｃｈ ｆｏｒ ｓｉｍｉｌａｒｉｔｉｅｓ ｉｎ ｔｈｅ ａｍｉｎｏ ａｃｉｄ ｓｅｑｕｅｎｃｅ ｏｆ ｔｗｏ ｐｒｏｔｅｉｎｓ．”Ｊ．Ｍｏｌ．Ｂｉｏｌ，Ｖｏｌ．４８，ｐｐ．４４３−４５３，１９７０．Needleman, S.M. B. Wunsch, C .; D. "A general method applicable to the search for similarities in the amino acid sequence of two proteins." Mol. Biol, Vol. 48, pp. 443-453, 1970. Ｍ．Ｓ．Ｃｈａｒｉｋａｒ．Ｓｉｍｉｌａｒｉｔｙ ｅｓｔｉｍａｔｉｏｎ ｔｅｃｈｎｉｑｕｅｓ ｆｒｏｍ ｒｏｕｎｄｉｎｇ ａｌｇｏｒｉｔｈｍｓ．Ｉｎ ＳＴＯＣ’０２：Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ｔｈｉｒｙ−ｆｏｕｒｔｈ ａｎｎｕａｌ ＡＣＭ ｓｙｍｐｏｓｉｕｍ ｏｎ Ｔｈｅｏｒｙ ｏｆ ｃｏｍｐｕｔｉｎｇ，ｐｐ．３８０−３８８，２００２．M.M. S. Charikar. Similarity estimation techniques from rounding algorithms. In STOC'02: Proceedings of the third-four annual ACM symposium on Theory of computing, pp. 380-388, 2002.

しかし、前述した従来技術には、以下のような３つの課題があった。   However, the prior art described above has the following three problems.

即ち、従来技術１では、総当たりでマッチングを行う必要があるため、計算量が多くなり、大規模化に向かなかった（課題１）。   That is, in the prior art 1, since it is necessary to perform brute force matching, the amount of calculation increases, and it is not suitable for large scale (Problem 1).

また、従来技術２は、大規模化に向いているが、文書全体に対する引用の割合が小さいと検出できなかった。例えば、図１（ａ）に示す例のように、引用元文書と引用先文書との間の共通部分の割合が少ないと類似度が低下するため、引用を検出できなかった（課題２）。   Prior art 2 is suitable for enlargement, but could not be detected if the quoting ratio of the entire document was small. For example, as in the example shown in FIG. 1A, if the ratio of the common part between the citation source document and the citation destination document is small, the degree of similarity decreases, so that the citation cannot be detected (Problem 2).

さらにまた、従来技術２では、単語の出現順序を考慮することなく、２つの文書間の類似度を推定するため、引用を正確に検出することができなかった。例えば、図１（ｂ）に示す例のように、引用関係にない２つの文書間でも、単語同士の共通割合が高いと類似度が高くなり、誤って判定してしまうことがあった（課題３）。   Furthermore, in the prior art 2, since the similarity between two documents is estimated without considering the appearance order of words, the citation cannot be accurately detected. For example, as in the example shown in FIG. 1B, even between two documents that are not in a citation relationship, if the common ratio between words is high, the degree of similarity increases, and there is a case where the determination is made erroneously (problem) 3).

本発明では、他の文書、即ち引用元の候補となる文書の集合である原典文書集合中の文書を引用の単位となり得る部分文字列に分割し、当該部分文字列の要約（例えば公知のフィンガープリント）を生成し、各要約を前記部分文字列の出現順に並べた前記文書のダイジェストを、前記部分文字列毎に前方最長一致検索可能な形式でその文書ＩＤとともに登録してなる原典文書データベース（ＤＢ）を用意し、一方、入力文書（対象文書）を前記同様のダイジェストに変換し、この入力文書のダイジェストをキーとして原典文書ＤＢを前方最長一致で検索し、この際、連続して一致する要約の数が所定の閾値以上の他の文書があればその文書ＩＤを出力することを特徴とする。   In the present invention, another document, that is, a document in a source document set, which is a set of documents that are candidates for citation sources, is divided into partial character strings that can serve as citation units, and a summary of the partial character strings (for example, known fingers) is divided. The original document database in which digests of the documents in which the summaries are arranged in the order of appearance of the partial character strings are registered together with the document IDs in a format that allows a longest forward matching search for each partial character string ( DB) is prepared, and on the other hand, the input document (target document) is converted into a digest similar to the above, and the source document DB is searched with the longest forward match using the digest of this input document as a key. If there is another document whose number of summaries exceeds a predetermined threshold, the document ID is output.

本発明によれば、他の文書のダイジェストを前方最長一致検索可能な形式にてその文書ＩＤとともに登録した原典文書ＤＢを用いるとともに、入力文書をダイジェストに変換し、ダイジェスト同士を比較して引用が含まれるか否かを判定するため、計算量を少なくすることができるとともに、メモリ使用量、ディスク使用量を削減することができるため、大規模化が可能となる。   According to the present invention, a source document DB in which a digest of another document is registered together with its document ID in a format that can be searched for the longest forward match is used, the input document is converted into a digest, and the digests are compared with each other for citation. Since it is determined whether or not it is included, the amount of calculation can be reduced, and the memory usage and disk usage can be reduced, so that the scale can be increased.

また、ダイジェスト同士の一致する要約の数、即ち一致するダイジェストの長さによって引用か否かを判定するため、文書全体に対する引用の割合の大小にかかわらず、引用を検出可能となる。   In addition, since it is determined whether or not the citation is based on the number of digests that match the digests, that is, the length of the matched digests, the citation can be detected regardless of the ratio of the citation to the entire document.

さらにまた、引用の単位となり得る部分文字列の出現順を保存したまま、ダイジェストの一致する長さで判定するため、文書全体における類似度の高低にかかわらず、引用のみを正しく検出可能となる。   Furthermore, since the order of appearance of the partial character strings that can be a citation unit is preserved and the determination is made based on the matching length of the digests, only the citation can be correctly detected regardless of the level of similarity in the entire document.

従来技術の課題を示す説明図Explanatory drawing showing the problems of the prior art 本発明の原典文書データベース生成装置の実施の形態の一例を示す構成図The block diagram which shows an example of embodiment of the original document database production | generation apparatus of this invention ダイジェスト生成手段の詳細を示す構成図Configuration diagram showing details of digest generation means ダイジェスト生成手段における処理の流れ図Process flow in digest generation means 原典文書ＤＢ生成手段における処理の流れ図Flow chart of processing in original document DB generation means 本発明の引用検出装置の実施の形態の一例を示す構成図The block diagram which shows an example of embodiment of the quotation detection apparatus of this invention 引用開始位置及び引用終了位置の説明図Explanatory drawing of citation start position and citation end position 引用検出手段における処理の流れ図Flow chart of processing in citation detection means Ｓｕｆｆｉｘ Ａｒｒａｙの説明図Illustration of Suffix Array 原典文書集合からダイジェストを生成する際の一例を示す説明図Explanatory drawing which shows an example at the time of producing | generating a digest from a source document collection 原典文書集合からダイジェストを生成する際の一例を示す説明図Explanatory drawing which shows an example at the time of producing | generating a digest from a source document collection 原典文書集合からダイジェストを生成する際の一例を示す説明図Explanatory drawing which shows an example at the time of producing | generating a digest from a source document collection 原典文書集合からダイジェストを生成する際の一例を示す説明図Explanatory drawing which shows an example at the time of producing | generating a digest from a source document collection ダイジェストから原典文書ＤＢを生成する際の一例を示す説明図Explanatory drawing which shows an example at the time of producing | generating a source document DB from a digest 入力文書からダイジェストを生成する際の一例を示す説明図Explanatory drawing which shows an example at the time of producing | generating a digest from an input document 入力文書から引用を検出する際の一例を示す説明図Explanatory drawing showing an example when detecting citations from input documents

本発明において、引用検出を行うには、事前に原典文書ＤＢを作成しておく必要があるため、まず、原典文書集合から原典文書ＤＢを生成する原典文書データベース生成装置について説明し、その次に、原典文書ＤＢに基づいて入力文書中に引用が含まれているかどうかを判定する引用検出装置について説明する。   In the present invention, in order to perform citation detection, it is necessary to create a source document DB in advance. First, a source document database generation device that generates a source document DB from a source document set will be described, and then A citation detection apparatus that determines whether a citation is included in an input document based on the original document DB will be described.

＜原典文書データベース生成装置＞
図２は本発明の原典文書データベース生成装置の実施の形態の一例を示すもので、図中、１は原典文書集合、２はダイジェスト生成手段、３は原典文書ＤＢ生成手段、４は原典文書ＤＢである。 <Original document database generator>
FIG. 2 shows an example of an embodiment of a source document database generation apparatus according to the present invention. In the figure, 1 is a source document set, 2 is a digest generation unit, 3 is a source document DB generation unit, and 4 is a source document DB. It is.

原典文書集合１は、引用元の候補となる文書、例えば各種ニュースサイト、プレスリリース、Ｗｉｋｉｐｅｄｉａ等の文書の集合からなるもので、各文書には予め固有の文書ＩＤが付されているものとする。   The original document set 1 is composed of a set of documents that are candidates for citations, for example, various news sites, press releases, Wikipedia, and the like, and each document is assigned a unique document ID in advance. .

ダイジェスト生成手段２は、原典文書集合１中の各文書について、文書の文字列を引用の単位となり得る部分文字列に分割し、当該部分文字列の要約、ここではフィンガープリントをそれぞれ生成し、各フィンガープリントを前記部分文字列の出現順に並べて構成した前記文書のダイジェストをその文書ＩＤとともに原典文書ＤＢ生成手段３へ出力する。   For each document in the original document set 1, the digest generation means 2 divides the document character string into partial character strings that can serve as citation units, generates a summary of the partial character string, here a fingerprint, The digest of the document in which the fingerprints are arranged in the order of appearance of the partial character strings is output to the original document DB generation unit 3 together with the document ID.

図３はダイジェスト生成手段２の詳細構成を示すもので、セグメンテーション部２１、正規化部２２、足切り部２３及びフィンガープリント生成部２４からなっている。また、図４はダイジェスト生成手段２における処理の流れを示すものである。   FIG. 3 shows a detailed configuration of the digest generation means 2, which includes a segmentation unit 21, a normalization unit 22, a foot cut unit 23, and a fingerprint generation unit 24. FIG. 4 shows the flow of processing in the digest generating means 2.

セグメンテーション部２１は、入力された文書（テキスト）の文字列を任意のセパレータで区切ることによって引用の単位となり得る部分文字列（以下、セグメント）に分割し、各セグメントをその出現順の情報、ここでは各セグメントの開始位置及び終了位置、並びに前記文書の文書ＩＤとともに正規化部２２へ出力する。なお、セパレータとしては、文の区切り位置に現れる頻度の高い任意の文字、記号、これらの組合せ（パターン）、制御文字、タグ等が考えられる。また、開始位置及び終了位置としては、文書の文頭からの文字位置等が考えられる。   The segmentation unit 21 divides a character string of an input document (text) into arbitrary character strings (hereinafter referred to as segments) that can be a citation unit by dividing the character string by an arbitrary separator, and information about the order of appearance of each segment, here Then, the start position and end position of each segment and the document ID of the document are output to the normalization unit 22. In addition, as a separator, arbitrary characters, symbols, combinations (patterns), control characters, tags, and the like that frequently appear at sentence break positions are conceivable. Further, as the start position and the end position, a character position from the beginning of the document can be considered.

正規化部２２は、セグメンテーション部２１から入力された各セグメントを正規化し、正規化後の各セグメントをその開始位置及び終了位置、並びに文書ＩＤとともに足切り部２３へ出力する。ここで、正規化としては、具体的には、アルファベットの大文字小文字の正規化、全角半角文字の正規化、記号の除去、ＨＴＭＬやＸＭＬ等のタグの除去等が考えられるが、任意に設定可能である。   The normalization unit 22 normalizes each segment input from the segmentation unit 21 and outputs each segment after normalization to the cut-off unit 23 together with its start position and end position and document ID. Here, specific examples of normalization include normalization of upper and lower case letters of the alphabet, normalization of full-width and half-width characters, removal of symbols, removal of tags such as HTML and XML, etc., but can be arbitrarily set It is.

足切り部２３は、正規化部２２から入力された正規化後の各セグメントのうち、一定の長さ（ｌｅｎｇｔｈ）以下のセグメントを削除し、残りの正規化後の各セグメントをその開始位置及び終了位置、並びに文書ＩＤとともにフィンガープリント生成部２４へ出力する。なお、前記一定の長さ（ｌｅｎｇｔｈ）の単位としては文字、バイト（ｂｙｔｅ）、ビット（ｂｉｔ）等が考えられ、その値は任意に変更可能である。   The cut-off unit 23 deletes a segment having a length equal to or less than a certain length from each segment after normalization input from the normalization unit 22, and replaces each segment after normalization with its start position and The end position and the document ID are output to the fingerprint generation unit 24. In addition, as the unit of the fixed length, a character, a byte, a bit, or the like can be considered, and the value can be arbitrarily changed.

フィンガープリント生成部２４は、足切り部２３から入力された残りの正規化後の各セグメントを任意のハッシュ関数に入力してフィンガープリントをそれぞれ生成し、各フィンガープリントを前記各セグメントの開始位置及び終了位置に従って並べて構成した前記文書のダイジェスト（フィンガープリント列）を各セグメントの開始位置及び終了位置、並びに文書ＩＤとともに出力する。   The fingerprint generation unit 24 inputs each remaining normalized segment input from the cut-off unit 23 to an arbitrary hash function to generate a fingerprint, and generates each fingerprint as a start position of each segment and A digest (fingerprint string) of the documents arranged side by side according to the end position is output together with the start position and end position of each segment and the document ID.

原典文書ＤＢ生成手段３は、ダイジェスト生成手段２から入力された原典文書集合１中の各文書に対応するダイジェストについて、前記セグメント毎に前方最長一致検索可能な形式でその文書ＩＤとともに登録して原典文書ＤＢ４を生成する。図５は原典文書ＤＢ生成手段３における処理の流れを示すものである。   The source document DB generation unit 3 registers the digest corresponding to each document in the source document set 1 input from the digest generation unit 2 together with its document ID in a format that allows the longest forward matching search for each segment. A document DB 4 is generated. FIG. 5 shows the flow of processing in the original document DB generation means 3.

ここで、前方最長一致検索可能なデータベースの形式として、どのようなものを用いても良いが、一例として（後述する）公知のＳｕｆｆｉｘ Ａｒｒａｙを用いることができる。   Here, any database format that can be searched for the longest forward match can be used, but a known Suffix Array (described later) can be used as an example.

原典文書ＤＢ４は、原典文書集合１からダイジェスト生成手段２及び原典文書ＤＢ生成手段３によって生成されたデータベース、即ち原典文書集合１中の各文書について、文書の文字列を引用の単位となり得るセグメントに分割し、当該セグメントのフィンガープリントをそれぞれ生成し、各フィンガープリントを前記セグメントの出現順に並べて構成した前記文書のダイジェストを、前記セグメント毎に前方最長一致検索可能な形式でその文書ＩＤとともに登録してなるデータベースである。   The source document DB 4 is a database generated from the source document set 1 by the digest generation unit 2 and the source document DB generation unit 3, that is, for each document in the source document set 1, the document character string is a segment that can be a citation unit. Divide and generate fingerprints for each segment, and register the digest of the document in which each fingerprint is arranged in the order of appearance of the segments, along with its document ID in a format that allows the longest forward matching search for each segment. It is a database.

図６は本発明の引用検出装置の実施の形態の一例を示すもので、図中、４は原典文書ＤＢ、５はダイジェスト生成手段、６は引用検出手段である。   FIG. 6 shows an example of an embodiment of the citation detection apparatus of the present invention. In the figure, 4 is an original document DB, 5 is a digest generation means, and 6 is a citation detection means.

ダイジェスト生成手段５は、処理対象が入力文書（引用検出対象文書）となる点を除き前述した原典文書データベース生成装置のダイジェスト生成手段２と同一であり、入力文書の文字列を引用の単位となり得るセグメントに分割し、当該セグメントのフィンガープリントをそれぞれ生成し、各フィンガープリントを前記セグメントの開始位置及び終了位置に従って並べて構成した前記入力文書のダイジェストを各セグメントの開始位置及び終了位置、並びにその文書ＩＤとともに引用検出手段６へ出力する。   The digest generation means 5 is the same as the digest generation means 2 of the original document database generation apparatus described above except that the processing target is an input document (quotation detection target document), and the character string of the input document can be a citation unit. Divide into segments, generate fingerprints of the segments, and arrange the digests of the input documents according to the start position and end position of the segments. At the same time, it is output to the citation detection means 6.

引用検出手段６は、ダイジェスト生成手段５から入力された入力文書のダイジェストをキーとして原典文書ＤＢ４を前方最長一致で検索し、一致するフィンガープリントの数が所定の閾値以上の他の文書があればその文書ＩＤ（引用元文書ＩＤ）を、引用開始位置及び引用終了位置とともに出力する。   The citation detection unit 6 searches the original document DB 4 with the longest forward match using the digest of the input document input from the digest generation unit 5 as a key, and if there is another document whose number of matching fingerprints is equal to or greater than a predetermined threshold value. The document ID (citation source document ID) is output together with the citation start position and citation end position.

ここで、引用開始位置及び引用終了位置とは、図７に示すように、対象文書（入力文書）中の引用元文書からの引用部分の先頭位置及び終了位置をそれぞれ表すものとする。   Here, as shown in FIG. 7, the citation start position and the citation end position represent the start position and the end position of the citation portion from the citation source document in the target document (input document), respectively.

図８は引用検出手段６における処理の流れを示すもので、以下、詳細に説明する。   FIG. 8 shows the flow of processing in the citation detection means 6, which will be described in detail below.

ステップ１：一致するフィンガープリント数の最小値として予め定義された値ｍｉｎを所定の閾値Ｍｉｎに代入し、ステップ２に移る。   Step 1: A value min defined in advance as the minimum value of the number of matching fingerprints is substituted into a predetermined threshold value Min, and the process proceeds to Step 2.

ステップ２：ダイジェスト生成手段５から入力された入力文書のダイジェストの末尾まで探索済みであれば終了し、探索済みでなければステップ３に移る。   Step 2: If the search has been completed up to the end of the digest of the input document input from the digest generation means 5, the process ends. If not, the process proceeds to Step 3.

ステップ３：入力文書のダイジェストをキーとして原典文書ＤＢ４から前方最長一致のエントリを検索し、ステップ４に移る。   Step 3: Using the digest of the input document as a key, search the source document DB 4 for the longest forward entry, and go to Step 4.

ステップ４：一致したフィンガープリント数が所定の閾値Ｍｉｎ以上のエントリが検索された場合は引用であるとみなしてステップ５に移り、閾値未満の場合はステップ８に移る。   Step 4: If an entry with a matching fingerprint count equal to or greater than the predetermined threshold Min is found, it is regarded as citation, and the process proceeds to Step 5, and if it is less than the threshold, the process proceeds to Step 8.

ステップ５：入力文書のダイジェスト中の前記一致したフィンガープリントのうち、先頭のフィンガープリントに対応するセグメントの開始位置及び末尾のフィンガープリントに対応するセグメントの終了位置をそれぞれ引用開始位置及び引用終了位置として、一致したエントリの文書ＩＤ（引用元文書ＩＤ）とともに出力し、ステップ６に移る。   Step 5: Among the matched fingerprints in the digest of the input document, the start position of the segment corresponding to the first fingerprint and the end position of the segment corresponding to the last fingerprint are set as the citation start position and the citation end position, respectively. , Output together with the document ID (cited document ID) of the matched entry, and go to Step 6.

ステップ６：Ｍｉｎの値をステップ４で検出した引用部分の長さ（一致したフィンガープリント数）に変更し、ステップ７に移る。   Step 6: The value of Min is changed to the length of the quoted portion detected in Step 4 (number of matched fingerprints), and the process proceeds to Step 7.

ステップ７：入力文書のダイジェストを１フィンガープリントだけ末尾側へシフトし、ステップ２に戻る。   Step 7: The digest of the input document is shifted toward the end by one fingerprint, and the process returns to Step 2.

ステップ８：入力文書のダイジェストを１フィンガープリントだけ末尾側へシフトし、ステップ９に移る。   Step 8: The digest of the input document is shifted toward the end by one fingerprint, and the process proceeds to Step 9.

ステップ９：Ｍｉｎの値を１だけ減算（但し、Ｍｉｎ≧ｍｉｎ）し、ステップ２に戻る。   Step 9: Subtract 1 from the value of Min (where Min ≧ min), and return to Step 2.

＜Ｓｕｆｆｉｘ Ａｒｒａｙ＞
Ｓｕｆｆｉｘ Ａｒｒａｙ（接尾辞配列）とは、高速な文字列検索を可能にするデータ構造であり、どんな部分文字列でも検索可能、単純な仕組みなので実装が簡単という特徴を有する。但し、事前にインデックス（ｓｕｆｆｉｘ Ａｒｒａｙ）を作成しておく必要がある。 <Suffix Array>
The Suffix Array (suffix array) is a data structure that enables high-speed character string search, and can be searched for any partial character string, and has a feature that it is easy to implement because it is a simple mechanism. However, it is necessary to create an index (suffix array) in advance.

Ｓｕｆｆｉｘを文字単位で構成する場合を例にとってＳｕｆｆｉｘ Ａｒｒａｙの作成方法を説明すると、まず、文字列中の各文字に先頭から連番でインデックスポイント（Ｉｎｄｅｘ ｐｏｉｎｔ）を割り当て、各インデックスポイントから末尾までの文字列（Ｓｕｆｆｉｘ）をそれぞれ作成する。そして、各Ｓｕｆｆｉｘを辞書順にソートし、その際のインデックスポイント列がｓｕｆｆｉｘ Ａｒｒａｙとなる。   A method for creating a Suffix Array will be described by taking the case where the Suffix is composed of characters as an example. First, an index point is assigned to each character in the character string in order from the beginning, and from each index point to the end. Each character string (Suffix) is created. Then, each Suffix is sorted in dictionary order, and the index point sequence at that time becomes a Suffix Array.

文字列が「ＡＢＡＢＤＡＣ」の場合、図９（ａ）に示すようにＩｎｄｅｘ ｐｏｉｎｔが与えられ、さらに各Ｓｕｆｆｉｘとして「ＡＢＡＢＤＡＣ」，「ＢＡＢＤＡＣ」，「ＡＢＤＡＣ」，……と得られるが、これらをまとめると、図９（ｂ）に示すようになる。そして、各Ｓｕｆｆｉｘを辞書順にソートすると、図９（ｃ）に示すようになり、その結果、図９（ｄ）に示すようなＳｕｆｆｉｘ Ａｒｒａｙが得られる。   When the character string is “ABABDAC”, an index point is given as shown in FIG. 9A, and further, “ABABDAC”, “BABDAC”, “ABDAC”,... As shown in FIG. Then, when each Suffix is sorted in dictionary order, it becomes as shown in FIG. 9C, and as a result, a Suffix Array as shown in FIG. 9D is obtained.

図１０乃至図１３はダイジェスト生成手段２により原典文書集合からダイジェストを生成する際の一例、ここでは原典文書集合中の文書ＩＤ：ＡＡＡの文書「今日は、良い天気だなぁ。明日は晴れるかな？晴れるといいな。」からダイジェストを生成する例を示すものである（なお、図１０乃至図１３には記載の一部に重複有り。）。   FIG. 10 to FIG. 13 show an example of generating a digest from the original document set by the digest generating means 2. Here, the document with document ID: AAA in the original document set “Today is good weather. Will it clear tomorrow? An example of generating a digest from “I hope it clears” is shown (note that there are some overlaps in the descriptions in FIGS. 10 to 13).

まず、セグメンテーション部２１により、“。”及び“？”をセパレータとしてセグメントに分割すると、セグメント＃１「今日は、良い天気だなぁ。」、セグメント＃２「明日は晴れるかな？」、セグメント＃３「晴れるといいな。」に分割される。この際、各セグメント＃１，＃２，＃３の開始位置は「１，１３，２２」であり、終了位置は「１２，２１，２９」である。   First, when the segmentation unit 21 divides “.” And “?” Into segments, the segment # 1 “Today is fine weather today”, the segment # 2 “Is it fine tomorrow?”, The segment # 3 Divided into "I hope it's sunny". At this time, the start positions of the segments # 1, # 2, and # 3 are “1, 13, 22”, and the end positions are “12, 21, 29”.

次に、正規化部２２により、句読点及び記号を除去する正規化を行うと、セグメント＃１「今日は良い天気だなぁ」、セグメント＃２「明日は晴れるかな」、セグメント＃３「晴れるといいな」となる。   Next, when normalization unit 22 performs normalization to remove punctuation marks and symbols, segment # 1 “It ’s a good weather today”, segment # 2 “Is it fine for tomorrow”, segment # 3 “It ’s good to be fine” ""

次に、足切り部２３により、５文字以下のセグメントを削除するが、ここではいずれも５文字より多いため、削除されるセグメントはない。   Next, a segment of 5 characters or less is deleted by the cut-off unit 23. However, since all of the segments have more than 5 characters, no segment is deleted.

最後に、フィンガープリント生成部２４により、任意のハッシュ関数を用いてセグメント＃１，＃２，＃３毎にフィンガープリントを生成、ここでは４バイトのハッシュ値からなるフィンガープリント＃１「ａ３１ｂ」、フィンガープリント＃２「ｅ２ｃｄ」、フィンガープリント＃３「ｄｆｄｅ」を生成し、これらを各セグメントの開始位置及び終了位置に従って並べてダイジェスト（フィンガープリント列）「ａ３１ｂｅ２ｃｄｄｆｄｅ」として、前記各セグメントの開始位置及び終了位置、並びに文書ＩＤ：ＡＡＡとともに出力する。   Finally, the fingerprint generation unit 24 generates a fingerprint for each of the segments # 1, # 2, and # 3 using an arbitrary hash function. Here, the fingerprint # 1 “a31b” including a 4-byte hash value is generated. Fingerprint # 2 “e2cd” and fingerprint # 3 “dfde” are generated and arranged according to the start position and end position of each segment to form a digest (fingerprint string) “a31be2cddfde”, and the start position and end of each segment. Output together with position and document ID: AAA.

図１４は原典文書ＤＢ生成手段３によりダイジェストから原典文書ＤＢを生成する際の一例、ここではＳｕｆｆｉｘをフィンガープリント長（ここでは４ｂｙｔｅ）単位で生成する例を示すものである。   FIG. 14 shows an example of generating the original document DB from the digest by the original document DB generating means 3, here, an example in which Suffix is generated in units of fingerprint length (here, 4 bytes).

原典文書として、前述した文書ＩＤ：ＡＡＡのダイジェスト（フィンガープリント列）「ａ３１ｂｅ２ｃｄｄｆｄｅ」とともに、文書ＩＤ：ＢＢＢのダイジェスト「３ｃｄｆａｅ５１ｂｄａｃ」、文書ＩＤ：ＣＣＣのダイジェスト「１２ａａｂ４ａｄ３ｂ４２」が入力されたとすると、文書ＩＤ：ＡＡＡのダイジェストのＳｕｆｆｉｘとして「ａ３１ｂｅ２ｃｄｄｆｄｅ」，「ｅ２ｃｄｄｆｄｅ」，「ｄｆｄｅ」、文書ＩＤ：ＢＢＢのダイジェストのＳｕｆｆｉｘとして「３ｃｄｆａｅ５１ｂｄａｃ」，「ａｅ５１ｂｄａｃ」，「ｂｄａｃ」、文書ＩＤ：ＣＣＣのダイジェスト「１２ａａｂ４ａｄ３ｂ４２」のＳｕｆｆｉｘとして「１２ａａｂ４ａｄ３ｂ４２」，「ｂ４ａｄ３ｂ４２」，「３ｂ４２」がそれぞれ得られ、辞書順にソートされて図１４の右側に示すような原典文書ＤＢが生成される。   If the document ID: AAA digest (fingerprint string) “a31be2cddfde”, the document ID: BBB digest “3cdfae51bdac”, and the document ID: CCC digest “12aab4ad3b42” are input as the original document, the document ID: AAA digest Suffix “a31be2cddfde”, “e2cddfde”, “dfde”, document ID: BBB digest Suffix “3cdfae51bdac”, “ae51bdac”, “bdac”, document ID: Cb ab “Su” 4b "12aab4ad3b42", "b4ad3b42", and "3b42" are obtained and sorted in dictionary order. It is original text document DB such as shown on the right side of FIG. 14 is generated.

図１５はダイジェスト生成手段５により入力文書からダイジェストを生成する際の一例、ここでは前記文書ＩＤ：ＡＡＡの文書を引用として含む、文書ＩＤ：ＪＪＪの入力文書「友達がこんなこと書いてた。今日は、良い天気だなぁ。明日は晴れるかな？晴れるといいな。でも、明日雨らしいよ。」からダイジェストを生成する例を示すものである。   FIG. 15 shows an example when a digest is generated from an input document by the digest generation means 5. Here, the document ID: JJJ, which includes the document ID: AAA document as a citation, is written by a friend. "It's good weather. Is it fine tomorrow? I hope it is fine. But it's raining tomorrow."

詳細は図１０乃至図１３に示した実施例１の場合と同様なので省略するが、最終的に、ダイジェスト（フィンガープリント列）「ｂ４ａ３ａ３１ｂｅ２ｃｄｄｆｄｅ３４ａ２」が、各セグメントの開始位置「１，１４，２６，３５，４３」及び終了位置「１３，２５，３４，４２，５３」、並びに文書ＩＤ：ＪＪＪとともに出力される。   Details are the same as in the case of the first embodiment shown in FIGS. 10 to 13, and will be omitted. However, the digest (fingerprint sequence) “b4a3a31be2cddfde34a2” finally becomes the start position “1, 14, 26, 35 of each segment”. , 43 ”and end position“ 13, 25, 34, 42, 53 ”and document ID: JJJ.

図１６は引用検出手段６により入力文書のダイジェストと原典文書ＤＢを比較して引用を検出する際の一例、ここでは前記文書ＩＤ：ＪＪＪの入力文書のダイジェストと図１４に示した原典文書ＤＢを比較して引用を検出する例を示すものである。   FIG. 16 shows an example of detecting a citation by comparing the digest of the input document and the original document DB by the citation detection means 6, here, the digest of the input document with the document ID: JJJ and the original document DB shown in FIG. An example of detecting citations by comparison is shown.

まず、ダイジェスト「ｂ４ａ３ａ３１ｂｅ２ｃｄｄｆｄｅ３４ａ２」をキーとして、図１４に示した原典文書ＤＢから前方最長一致のエントリを検索するが、一致するエントリは存在しない。そこで、入力文書のダイジェストをフィンガープリント長（ここでは４ｂｙｔｅ）だけシフトして「ａ３１ｂｅ２ｃｄｄｆｄｅ３４ａ２」とし、これをキーとして前記同様に図１４に示した原典文書ＤＢを検索すると、先頭から３フィンガープリント長分、原典文書ＤＢ中の文書ＩＤ：ＡＡＡのダイジェストのＳｕｆｆｉｘ「ａ３１ｂｅ２ｃｄｄｆｄｅ」と一致する。   First, using the digest “b4a3a31be2cddfde34a2” as a key, the forward longest matching entry is searched from the original document DB shown in FIG. 14, but there is no matching entry. Therefore, the digest of the input document is shifted by the fingerprint length (4 bytes in this case) to “a31be2cddfde34a2”, and the original document DB shown in FIG. Document ID in the original document DB: Matches the suffix “A31be2cddfde” of AAA digest.

この際、Ｍｉｎが「２」あるいは「３」であれば、一致したフィンガープリントのうち、先頭のフィンガープリントに対応するセグメントの開始位置及び末尾のフィンガープリントに対応するセグメントの終了位置、ここでは「１４」及び「４２」をそれぞれ引用開始位置及び引用終了位置として、文書ＩＤ：ＡＡＡとともに出力する。   At this time, if Min is “2” or “3”, among the matched fingerprints, the start position of the segment corresponding to the first fingerprint and the end position of the segment corresponding to the last fingerprint, 14 ”and“ 42 ”are output together with the document ID: AAA as the citation start position and the citation end position, respectively.

１：原典文書集合、２，５：ダイジェスト生成手段、３：原典文書ＤＢ生成手段、４：原典文書ＤＢ、６は引用検出手段、２１：セグメンテーション部、２２：正規化部、２３：足切り部、２４：フィンガープリント生成部。   1: source document set, 2, 5: digest generation unit, 3: source document DB generation unit, 4: source document DB, 6: citation detection unit, 21: segmentation unit, 22: normalization unit, 23: cut off unit 24: Fingerprint generator.

Claims (4)

入力文書中に、他の文書内の文字列の改変が無い連続した２つ以上の文である引用が含まれているかどうかを検出し、含まれていれば当該他の文書の文書ＩＤを出力する装置であって、
他の文書の集合である原典文書集合中の各文書について、文書の文字列を引用の単位となり得る部分文字列に分割し、当該部分文字列の要約をそれぞれ生成し、各要約を前記部分文字列の出現順に並べて構成した前記文書のダイジェストを、前記部分文字列毎に前方最長一致検索可能な形式でその文書ＩＤとともに登録した原典文書データベースと、
入力文書の文字列を引用の単位となり得る部分文字列に分割し、当該部分文字列の要約をそれぞれ生成し、各要約を前記部分文字列の出現順に並べて構成した前記入力文書のダイジェストをその文書ＩＤとともに出力するダイジェスト生成手段と、
変数Ｍｉｎに所定の値ｍｉｎを設定し、前記入力文書のダイジェストをキーとして原典文書データベースを前方最長一致で検索し、
一致する要約の数が前記変数Ｍｉｎ未満であれば、前記入力文書のダイジェストを１つの要約分シフトさせ、前記変数Ｍｉｎを前記値ｍｉｎ以上の制約のもとでデクリメントして前方一致検索を繰り返し、
一致する要約の数が前記変数Ｍｉｎ以上であれば、引用位置と原典文書の引用元となる文書ＩＤを出力し、前記変数Ｍｉｎに当該一致した要約の数を設定し、前記入力文書のダイジェストを１つの要約分シフトさせて前方一致検索を繰り返す引用検出手段とを備えた
ことを特徴とする引用検出装置。 Detects whether the input document contains citations that are two or more consecutive sentences with no modification of the character string in the other document, and if so, outputs the document ID of the other document A device that performs
For each document in the original document set, which is a set of other documents, the document character string is divided into partial character strings that can serve as citation units, and summaries of the partial character strings are generated, respectively. A source document database in which digests of the documents arranged in the order of appearance of columns are registered together with their document IDs in a format that allows the longest forward matching search for each partial character string;
Dividing the character string of the input document into partial character strings that can be used as citation units, generating summaries of the partial character strings, and arranging the digests of the input documents configured by arranging the summaries in the order of appearance of the partial character strings. Digest generating means for outputting together with the ID;
A predetermined value min is set in the variable Min, and the original document database is searched with the longest forward match using the digest of the input document as a key,
If the number of matching summaries is less than the variable Min, the digest of the input document is shifted by one summary, the variable Min is decremented under the constraint of the value min or more, and a forward matching search is repeated.
If the number of matching summaries is equal to or greater than the variable Min, the citation position and the document ID as the citation source of the original document are output, the number of matching summaries is set in the variable Min, and the digest of the input document is set. A citation detection device comprising: citation detection means that shifts one summary and repeats a forward match search . 請求項１に記載の引用検出装置において、
ダイジェスト生成手段は、
文書の文字列を引用の単位となり得るセグメントに分割し、各セグメントをその出現順の情報、前記文書の文書ＩＤとともに出力するセグメンテーション部と、
前記各セグメントを正規化する正規化部と、
前記正規化後の各セグメントのうち、一定の長さ以下のセグメントを削除する足切り部と、
残りの正規化後の各セグメントを任意のハッシュ関数に入力してフィンガープリントをそれぞれ生成し、各フィンガープリントを前記各セグメントの出現順の情報に従って並べて構成した前記文書のダイジェストをその文書ＩＤとともに出力するフィンガープリント生成部とからなる
ことを特徴とする引用検出装置。 The citation detection device according to claim 1,
The digest generation means
A segmentation unit that divides a character string of a document into segments that can be a unit of citation, and outputs each segment together with information on the order of appearance thereof, and a document ID of the document;
A normalization unit for normalizing each segment;
Of each segment after the normalization, a cut-off part that deletes a segment of a certain length or less,
Each remaining segment after normalization is input to an arbitrary hash function to generate a fingerprint, and a digest of the document configured by arranging each fingerprint according to the order of appearance of each segment is output together with the document ID. A citation detection device comprising: コンピュータを、請求項１または２に記載の装置の各手段として機能させるためのプログラム。 The program for functioning a computer as each means of the apparatus of Claim 1 or 2 . 請求項３に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
A computer-readable recording medium on which the program according to claim 3 is recorded.
JP2009027288A 2009-02-09 2009-02-09 Citation detection device, its program and recording medium Active JP4831787B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009027288A JP4831787B2 (en) 2009-02-09 2009-02-09 Citation detection device, its program and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009027288A JP4831787B2 (en) 2009-02-09 2009-02-09 Citation detection device, its program and recording medium

Publications (2)

Publication Number Publication Date
JP2010182238A JP2010182238A (en) 2010-08-19
JP4831787B2 true JP4831787B2 (en) 2011-12-07

Family

ID=42763783

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009027288A Active JP4831787B2 (en) 2009-02-09 2009-02-09 Citation detection device, its program and recording medium

Country Status (1)

Country Link
JP (1) JP4831787B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5617674B2 (en) * 2011-02-14 2014-11-05 日本電気株式会社 Inter-document similarity calculation apparatus, inter-document similarity calculation method, and inter-document similarity calculation program
JP5367099B2 (en) * 2012-01-10 2013-12-11 株式会社東芝 Difference location extraction apparatus and program
US8935783B2 (en) * 2013-03-08 2015-01-13 Bitdefender IPR Management Ltd. Document classification using multiscale text fingerprints
JP5948304B2 (en) * 2013-11-05 2016-07-06 日本電信電話株式会社 Cited document alteration detection device and method
JP6561529B2 (en) 2015-03-26 2019-08-21 富士通株式会社 Document inspection apparatus, method, and program
JP6547577B2 (en) 2015-10-15 2019-07-24 富士通株式会社 Inspection apparatus, inspection program and inspection method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07225761A (en) * 1994-02-08 1995-08-22 Hitachi Ltd Matching verification system for document data
JP3416918B2 (en) * 1995-05-25 2003-06-16 日本電信電話株式会社 Automatic keyword extraction method and device
JP4347086B2 (en) * 2004-02-26 2009-10-21 日本電信電話株式会社 Pattern matching apparatus and method, and program
US7424421B2 (en) * 2004-03-03 2008-09-09 Microsoft Corporation Word collection method and system for use in word-breaking

Also Published As

Publication number Publication date
JP2010182238A (en) 2010-08-19

Similar Documents

Publication Publication Date Title
US7805289B2 (en) Aligning hierarchal and sequential document trees to identify parallel data
JP4831787B2 (en) Citation detection device, its program and recording medium
WO2010047286A1 (en) Search system, search method, and program
US20110078562A1 (en) Method and system for tracking authorship of content in data
US20070038447A1 (en) Pattern matching method and apparatus and speech information retrieval system
CN110046348B (en) Method for recognizing main body in subway design specification based on rules and dictionaries
Liu et al. Ranking-based name matching for author disambiguation in bibliographic data
CN112784009B (en) Method and device for mining subject term, electronic equipment and storage medium
CN111325033B (en) Entity identification method, entity identification device, electronic equipment and computer readable storage medium
Laddha et al. Extracting aspect specific opinion expressions
CN113986950A (en) SQL statement processing method, device, equipment and storage medium
CN113282717B (en) Method and device for extracting entity relationship in text, electronic equipment and storage medium
US20210342534A1 (en) Sentence structure vectorization device, sentence structure vectorization method, and storage medium storing sentence structure vectorization program
Iurshina et al. NILK: entity linking dataset targeting NIL-linking cases
Soori et al. Text similarity based on data compression in Arabic
US11556706B2 (en) Effective retrieval of text data based on semantic attributes between morphemes
Kim et al. Extracting clinical relations in electronic health records using enriched parse trees
Zhang et al. Effective and Fast Near Duplicate Detection via Signature‐Based Compression Metrics
KR101663038B1 (en) Entity boundary detection apparatus in text by usage-learning on the entity&#39;s surface string candidates and mtehod thereof
CN113407693B (en) Text similarity comparison method and device for full-media reading
JP2013222418A (en) Passage division method, device and program
WO2009113289A1 (en) New case generation device, new case generation method, and new case generation program
RU2498401C2 (en) Method to detect text objects
Ting et al. Faster classification using compression analytics
Das et al. Language identification of Bengali-English code-mixed data using character & phonetic based LSTM models

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20101215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110511

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20110613

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110614

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20110615

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20110616

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110914

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110916

R150 Certificate of patent or registration of utility model

Ref document number: 4831787

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140930

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350