JP6561529B2 - 文書検査装置、方法、及びプログラム - Google Patents
文書検査装置、方法、及びプログラム Download PDFInfo
- Publication number
- JP6561529B2 JP6561529B2 JP2015064889A JP2015064889A JP6561529B2 JP 6561529 B2 JP6561529 B2 JP 6561529B2 JP 2015064889 A JP2015064889 A JP 2015064889A JP 2015064889 A JP2015064889 A JP 2015064889A JP 6561529 B2 JP6561529 B2 JP 6561529B2
- Authority
- JP
- Japan
- Prior art keywords
- feature elements
- list
- hash value
- feature
- document
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 33
- 238000007689 inspection Methods 0.000 title claims description 25
- 238000012545 processing Methods 0.000 claims description 49
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000013500 data storage Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 16
- 238000000605 extraction Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 10
- 230000010365 information processing Effects 0.000 description 9
- 238000005286 illumination Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/93—Document management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/194—Calculation of difference between files
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
図1に、第1の実施の形態における情報処理装置1の機能ブロック図を示す。情報処理装置1は、文書データ格納部101と、リスト生成部103と、リスト格納部105と、サブリスト生成部107と、サブリスト格納部109と、登録部111と、特徴データ格納部113と、抽出部115と、抽出結果格納部117とを含む。
図12に、第2の実施の形態における文書検査装置1000の機能ブロック図を示す。文書検査装置1000は、生成部1001と、分割部1003と、算出部1005と、比較部1007とを有する。
複数の文字列の各々について、当該文字列における複数の特徴要素を含むリストを生成する生成部と、
前記リストに含まれる複数の特徴要素の一部から算出したハッシュ値に基づき、前記リストを、各々が1又は複数の特徴要素を含む複数のブロックに分割する分割部と、
前記複数のブロックの各々についてハッシュ値を求める算出部と、
前記算出部が求めたハッシュ値を、文字列間で比較する比較部と、
を有する文書検査装置。
前記分割部は、
前記複数の特徴要素の一部から算出したハッシュ値に対して実行した演算処理の結果が所定条件を満たす場合に前記リスト内に区切りを設定することにより、前記リストを前記複数のブロックに分割する、
付記1記載の文書検査装置。
前記複数の特徴要素の一部は、前記文字列内での出現順序に従って抽出された複数の特徴要素である、
付記1又は2記載の文書検査装置。
前記複数の特徴要素の一部は、連続する複数の特徴要素である
付記1又は2記載の文書検査装置。
前記演算処理は、ハッシュ値を所定の値で除して剰余を求める演算処理であり、
前記所定条件は、前記剰余が所定の範囲に含まれるという条件を含む
付記2記載の文書検査装置。
前記分割部は、
前記連続する1又は複数の特徴要素のうち最初の特徴要素の前、又は、前記連続する1又は複数の特徴要素のうち最後の特徴要素の後に前記区切りを設定する
付記4記載の文書検査装置。
前記算出部は、
前記ブロックに含まれる特徴要素の数が閾値未満である場合、当該ブロックのハッシュ値を前記比較部による比較の対象から除外する、
付記1乃至6のいずれか1つ記載の文書検査装置。
前記特徴要素は名詞である
付記1乃至7のいずれか1つ記載の文書検査装置。
コンピュータが、
複数の文字列の各々について、当該文字列における複数の特徴要素を含むリストを生成し、
前記リストに含まれる複数の特徴要素の一部から算出したハッシュ値に基づき、前記リストを、各々が1又は複数の特徴要素を含む複数のブロックに分割し、
前記複数のブロックの各々についてハッシュ値を求め、
求められた前記ハッシュ値を、文字列間で比較する、
処理を実行する文書検査方法。
コンピュータに、
複数の文字列の各々について、当該文字列における複数の特徴要素を含むリストを生成し、
前記リストに含まれる複数の特徴要素の一部から算出したハッシュ値に基づき、前記リストを、各々が1又は複数の特徴要素を含む複数のブロックに分割し、
前記複数のブロックの各々についてハッシュ値を求め、
求められた前記ハッシュ値を、文字列間で比較する、
処理を実行させる文書検査プログラム。
103 リスト生成部 105 リスト格納部
107 サブリスト生成部 109 サブリスト格納部
111 登録部 113 特徴データ格納部
115 抽出部 117 抽出結果格納部
1000 文書検査装置 1001 生成部
1003 分割部 1005 算出部
1007 比較部
Claims (7)
- 複数の文字列の各々について、当該文字列における複数の特徴要素を含むリストを生成する生成部と、
前記リストに含まれる複数の特徴要素の一部から算出したハッシュ値に基づき、前記リストを、各々が1又は複数の特徴要素を含む複数のブロックに分割する分割部と、
前記複数のブロックの各々についてハッシュ値を求める算出部と、
前記算出部が求めたハッシュ値を、文字列間で比較する比較部と、
を有し、
前記複数の特徴要素の一部は、前記文字列内での出現順序に従って抽出された複数の特徴要素、または、連続する複数の特徴要素である
文書検査装置。 - 前記分割部は、
前記複数の特徴要素の一部から算出したハッシュ値に対して実行した演算処理の結果が所定条件を満たす場合に前記リスト内に区切りを設定することにより、前記リストを前記複数のブロックに分割する、
請求項1記載の文書検査装置。 - 前記演算処理は、ハッシュ値を所定の値で除して剰余を求める演算処理であり、
前記所定条件は、前記剰余が所定の範囲に含まれるという条件を含む
請求項2記載の文書検査装置。 - 前記分割部は、
前記連続する複数の特徴要素のうち最初の特徴要素の前、又は、前記連続する複数の特徴要素のうち最後の特徴要素の後に前記区切りを設定する
請求項1記載の文書検査装置。 - 前記算出部は、
前記ブロックに含まれる特徴要素の数が閾値未満である場合、当該ブロックのハッシュ値を前記比較部による比較の対象から除外する、
請求項1乃至4のいずれか1つ記載の文書検査装置。 - コンピュータが、
複数の文字列の各々について、当該文字列における複数の特徴要素を含むリストを生成し、
前記リストに含まれる複数の特徴要素の一部から算出したハッシュ値に基づき、前記リストを、各々が1又は複数の特徴要素を含む複数のブロックに分割し、
前記複数のブロックの各々についてハッシュ値を求め、
求められた前記ハッシュ値を、文字列間で比較する、
処理を実行し、
前記複数の特徴要素の一部は、前記文字列内での出現順序に従って抽出された複数の特徴要素、または、連続する複数の特徴要素である
文書検査方法。 - コンピュータに、
複数の文字列の各々について、当該文字列における複数の特徴要素を含むリストを生成し、
前記リストに含まれる複数の特徴要素の一部から算出したハッシュ値に基づき、前記リストを、各々が1又は複数の特徴要素を含む複数のブロックに分割し、
前記複数のブロックの各々についてハッシュ値を求め、
求められた前記ハッシュ値を、文字列間で比較する、
処理を実行させ、
前記複数の特徴要素の一部は、前記文字列内での出現順序に従って抽出された複数の特徴要素、または、連続する複数の特徴要素である
文書検査プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015064889A JP6561529B2 (ja) | 2015-03-26 | 2015-03-26 | 文書検査装置、方法、及びプログラム |
EP16152542.3A EP3073390A1 (en) | 2015-03-26 | 2016-01-25 | Document checking device, method, and program |
US15/009,162 US20160283472A1 (en) | 2015-03-26 | 2016-01-28 | Document checking device, method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015064889A JP6561529B2 (ja) | 2015-03-26 | 2015-03-26 | 文書検査装置、方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016184334A JP2016184334A (ja) | 2016-10-20 |
JP6561529B2 true JP6561529B2 (ja) | 2019-08-21 |
Family
ID=55272234
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015064889A Expired - Fee Related JP6561529B2 (ja) | 2015-03-26 | 2015-03-26 | 文書検査装置、方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20160283472A1 (ja) |
EP (1) | EP3073390A1 (ja) |
JP (1) | JP6561529B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10572544B1 (en) * | 2015-12-14 | 2020-02-25 | Open Text Corporation | Method and system for document similarity analysis |
CN110765011B (zh) * | 2019-10-15 | 2023-04-07 | 卡斯柯信号有限公司 | 一种配置库内测试运维数据自动获取和校验装置及方法 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6658626B1 (en) * | 1998-07-31 | 2003-12-02 | The Regents Of The University Of California | User interface for displaying document comparison information |
US6594665B1 (en) * | 2000-02-18 | 2003-07-15 | Intel Corporation | Storing hashed values of data in media to allow faster searches and comparison of data |
DE60208614T2 (de) * | 2002-09-17 | 2006-08-03 | Errikos Pitsos | Verfahren und Vorrichtung zur Bereitstellung einer Liste von öffentlichen Schlüsseln in einem Public-Key-System |
US7991751B2 (en) * | 2003-04-02 | 2011-08-02 | Portauthority Technologies Inc. | Method and a system for information identification |
US7702628B1 (en) * | 2003-09-29 | 2010-04-20 | Sun Microsystems, Inc. | Implementing a fully dynamic lock-free hash table without dummy nodes |
US7594277B2 (en) | 2004-06-30 | 2009-09-22 | Microsoft Corporation | Method and system for detecting when an outgoing communication contains certain content |
JP2009048149A (ja) * | 2007-08-15 | 2009-03-05 | Mitsuru Fujitsuki | 自動写真撮影装置 |
US8977949B2 (en) * | 2007-10-11 | 2015-03-10 | Nec Corporation | Electronic document equivalence determination system and equivalence determination method |
US8312023B2 (en) * | 2007-12-21 | 2012-11-13 | Georgetown University | Automated forensic document signatures |
US8386792B1 (en) * | 2008-06-10 | 2013-02-26 | Trend Micro Incorporated | Asymmetric content fingerprinting with adaptive window sizing |
JP4831787B2 (ja) | 2009-02-09 | 2011-12-07 | 日本電信電話株式会社 | 引用検出装置、そのプログラム及び記録媒体 |
JP5458880B2 (ja) * | 2009-03-02 | 2014-04-02 | 富士通株式会社 | 文書検査装置、コンピュータ読み取り可能な記録媒体および文書検査方法 |
JP5708107B2 (ja) * | 2011-03-23 | 2015-04-30 | 日本電気株式会社 | 重複ファイル検出装置 |
US8543543B2 (en) * | 2011-09-13 | 2013-09-24 | Microsoft Corporation | Hash-based file comparison |
JP5694989B2 (ja) * | 2012-05-08 | 2015-04-01 | 日本電信電話株式会社 | 文書分類装置及びプログラム |
US9015269B2 (en) * | 2012-06-19 | 2015-04-21 | Canon Kabushiki Kaisha | Methods and systems for notifying a server with cache information and for serving resources based on it |
US20160267065A1 (en) * | 2013-10-25 | 2016-09-15 | Leonard L. Drey | Method of Governing Content Presentation of Multi-Page Electronic Documents |
-
2015
- 2015-03-26 JP JP2015064889A patent/JP6561529B2/ja not_active Expired - Fee Related
-
2016
- 2016-01-25 EP EP16152542.3A patent/EP3073390A1/en not_active Ceased
- 2016-01-28 US US15/009,162 patent/US20160283472A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
EP3073390A1 (en) | 2016-09-28 |
JP2016184334A (ja) | 2016-10-20 |
US20160283472A1 (en) | 2016-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2016180268A1 (zh) | 一种文本聚合方法及装置 | |
US8955120B2 (en) | Flexible fingerprint for detection of malware | |
US8344916B2 (en) | System and method for simplifying transmission in parallel computing system | |
US8838657B1 (en) | Document fingerprints using block encoding of text | |
EP3113174A1 (en) | Method for building a speech feature library, method, apparatus, and device for speech synthesis | |
US10678625B2 (en) | Log-based computer system failure signature generation | |
CN108280197B (zh) | 一种识别同源二进制文件的方法及*** | |
CN107526742B (zh) | 用于处理多语言文本的方法和设备 | |
JP6561529B2 (ja) | 文書検査装置、方法、及びプログラム | |
CN110955713A (zh) | 一种助记词生成方法、装置及存储介质 | |
US11222131B2 (en) | Method for a secure storage of data records | |
JP4831787B2 (ja) | 引用検出装置、そのプログラム及び記録媒体 | |
US9922029B1 (en) | User feedback for low-confidence translations | |
KR102073833B1 (ko) | 복수의 파일들 각각에 대한 피쳐들의 분포 정보를 기초로 기준 파일에 대한 유사 파일의 탐색이 가능한 전자 장치 및 동작 방법 | |
EP2819054B1 (en) | Flexible fingerprint for detection of malware | |
US20160139819A1 (en) | Computer-readable recording medium, encoding device and encoding method | |
CN108536713B (zh) | 字符串审核方法、装置及电子设备 | |
CN107491424B (zh) | 一种基于多权重体系的中文文档基因匹配方法 | |
CN116204612A (zh) | 一种文本相似度计算方法及*** | |
Steinebach et al. | Robust hash algorithms for text | |
CN107491423B (zh) | 一种基于数值-字符串混合编码的中文文档基因量化与表征方法 | |
CN108595439B (zh) | 一种文字传播路径分析方法及*** | |
JP5758262B2 (ja) | 類似文書可視化装置、類似文書可視化方法およびプログラム | |
CN111159996A (zh) | 一种基于改进的文本指纹算法的短文本集合相似度比较方法及*** | |
WO2019163643A1 (ja) | 要約評価装置、方法、プログラム、及び記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180115 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181211 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190625 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190708 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6561529 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |