JP2012208924A - 適応的重み付けを用いた様々な文書間類似度計算方法に基づいた文書比較方法および文書比較システム - Google Patents
適応的重み付けを用いた様々な文書間類似度計算方法に基づいた文書比較方法および文書比較システム Download PDFInfo
- Publication number
- JP2012208924A JP2012208924A JP2012045250A JP2012045250A JP2012208924A JP 2012208924 A JP2012208924 A JP 2012208924A JP 2012045250 A JP2012045250 A JP 2012045250A JP 2012045250 A JP2012045250 A JP 2012045250A JP 2012208924 A JP2012208924 A JP 2012208924A
- Authority
- JP
- Japan
- Prior art keywords
- document
- inter
- weight
- document similarity
- documents
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000003044 adaptive effect Effects 0.000 title abstract description 3
- 230000006870 function Effects 0.000 claims description 21
- 230000000007 visual effect Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】一実施形態は、適応的重み付けを用いた様々な文書間類似度計算方法に基づいた文書比較システムを提示する。動作中に、システムは、2つの文書に関する少なくとも2つの文書間類似値を受信する。文書間類似値は、様々な文書間類似度計算方法によって計算される。次に、システムは、2つの文書それぞれの個別の文書間類似度計算方法の重みと、2つの文書に関する個別の文書間類似度計算方法の組み合わさった重みを計算するための重み組み合わせ関数とを決定する。次に、システムは、文書間類似値と重み組み合わせ関数とに基づいて組み合わさった類似値を生成する。
【選択図】なし
Description
Claims (10)
- 文書比較用のコンピュータ実行可能方法であって、
2つの文書に関する少なくとも2つの文書間類似値を受信するステップであって、前記文書間類似値は、様々な文書間類似度計算方法によって計算される、前記ステップと、
前記2つの文書それぞれの個別の文書間類似度計算方法の重みを決定するステップと、
前記2つの文書に関する前記個別の文書間類似度計算方法の組み合わさった重みを計算するための重み組み合わせ関数を決定するステップと、
前記文書間類似値と前記重み組み合わせ関数とに基づいて、組み合わさった類似値を生成するステップとを含む、前記文書比較用の前記コンピュータ実行可能方法。 - 前記文書間類似度計算方法は、1つまたは複数の、テキストに基づいた、視覚に基づいた、使用に基づいた、および、ソーシャルネットワークに基づいた文書間類似度計算方法を含む、請求項1に記載の方法。
- 1つの文書間類似度計算方法の重みを決定するステップは、
前記重みを初期化するステップと、
前記重みを、ユーザからのフィードバックに基づいて更新するステップと、を含む、請求項1に記載の方法。 - 各文書の前記文書間類似度計算方法の前記重みは、文書タイプ、文書場所、文書構造、文書使用、および、それらの文書の重みのうちの少なくとも1つに基づいて初期化される、請求項3に記載の方法。
- 各文書の前記文書間類似度計算方法の前記重みを更新するステップは、ユーザからのフィードバックに基づいて、重みに学習アルゴリズムを適用するステップを含む、請求項3に記載の方法。
- 前記重み組み合わせ関数は、前記重みの、平均値、最小値、または、最大値を計算する実数値関数である、請求項1に記載の方法。
- コンピュータによって実行されるとき、前記コンピュータに文書比較方法を行わせる命令を格納する、非一時的なコンピュータ読取り可能記憶媒体であって、前記方法は、
2つの文書に関する少なくとも2つの文書間類似値を受信するステップであって、前記文書間類似値は、様々な文書間類似度計算方法によって計算される、前記受信するステップと、
前記2つの文書それぞれの個別の文書間類似度計算方法の重みを決定するステップと、
前記2つの文書に関する前記個別の文書間類似度計算方法の組み合わさった重みを計算するための重み組み合わせ関数を決定するステップと、
前記文書間類似値と前記重み組み合わせ関数とに基づいて、組み合わさった類似値を生成するステップとを含む、前記記憶媒体。 - 前記文書間類似度計算方法は、1つまたは複数の、テキストに基づいた、視覚に基づいた、使用に基づいた、および、ソーシャルネットワークに基づいた、文書間類似度計算方法を含む、請求項7に記載の前記コンピュータ読取り可能記憶媒体。
- 文書間類似度計算方法の重みを決定するステップは、
前記重みを初期化するステップと、
前記重みを、ユーザからのフィードバックに基づいて更新するステップと、を含む、請求項7に記載の前記コンピュータ読取り可能記憶媒体。 - 2つの文書に関する少なくとも2つの文書間類似値を受信するように構成された受信機構であって、前記文書間類似値は、様々な文書間類似度計算方法によって計算される、前記受信機構と、
前記2つの文書それぞれの個別の文書間類似度計算方法の重みと、
前記2つの文書に関する前記個別の文書間類似度計算方法の組み合わさった重みを計算するための重み組み合わせ関数と、を決定するように構成された決定機構と、
前記文書間類似値と前記重み組み合わせ関数とに基づいて、組み合わさった類似値を生成するように構成された、値生成機構とを含む、文書間類似度レベルを推定するシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/073,836 | 2011-03-28 | ||
US13/073,836 US8612457B2 (en) | 2011-03-28 | 2011-03-28 | Method and system for comparing documents based on different document-similarity calculation methods using adaptive weighting |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012208924A true JP2012208924A (ja) | 2012-10-25 |
JP2012208924A5 JP2012208924A5 (ja) | 2015-04-16 |
JP5795743B2 JP5795743B2 (ja) | 2015-10-14 |
Family
ID=45928682
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012045250A Expired - Fee Related JP5795743B2 (ja) | 2011-03-28 | 2012-03-01 | 適応的重み付けを用いた様々な文書間類似度計算方法に基づいた文書比較方法および文書比較システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US8612457B2 (ja) |
EP (1) | EP2506167A1 (ja) |
JP (1) | JP5795743B2 (ja) |
KR (1) | KR101935765B1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017142640A (ja) * | 2016-02-10 | 2017-08-17 | 日本電信電話株式会社 | 類似文書推薦システム、類似文書推薦方法および類似文書推薦プログラム |
KR101866411B1 (ko) * | 2016-09-06 | 2018-06-19 | 한양대학교 산학협력단 | 문서 추천 정보를 제공하는 방법 및 이를 이용하는 문서 추천 정보 제공 장치 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8880530B2 (en) * | 2011-04-18 | 2014-11-04 | Palo Alto Research Center Incorporated | Method for searching related documents based on and guided by meaningful entities |
US11308037B2 (en) * | 2012-10-30 | 2022-04-19 | Google Llc | Automatic collaboration |
US9721019B2 (en) * | 2012-12-10 | 2017-08-01 | Aol Inc. | Systems and methods for providing personalized recommendations for electronic content |
EP3215943B1 (en) | 2014-11-03 | 2021-04-21 | Vectra AI, Inc. | A system for implementing threat detection using threat and risk assessment of asset-actor interactions |
US10033752B2 (en) | 2014-11-03 | 2018-07-24 | Vectra Networks, Inc. | System for implementing threat detection using daily network traffic community outliers |
CN108182598A (zh) * | 2017-12-27 | 2018-06-19 | 东软集团股份有限公司 | 用户价值分类方法和装置 |
US20220269685A1 (en) * | 2021-02-23 | 2022-08-25 | Sae International | Similarity searching across digital standards |
TWI837682B (zh) * | 2022-05-27 | 2024-04-01 | 宜鼎國際股份有限公司 | 專案管理系統、專案管理方法和電子裝置的儲存媒體 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09212509A (ja) * | 1996-02-05 | 1997-08-15 | Oki Electric Ind Co Ltd | 単文類似度計算装置 |
JP2000200285A (ja) * | 1999-01-06 | 2000-07-18 | Nippon Telegr & Teleph Corp <Ntt> | 情報検索方法、情報検索装置及び情報検索プログラムを記録した記録媒体 |
JP2001155027A (ja) * | 1999-11-26 | 2001-06-08 | Nec Corp | 文書間類似度計算方法及びシステムと装置ならびに類似度計算用プログラムを記録した記録媒体 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6289342B1 (en) | 1998-01-05 | 2001-09-11 | Nec Research Institute, Inc. | Autonomous citation indexing and literature browsing using citation context |
US6922699B2 (en) * | 1999-01-26 | 2005-07-26 | Xerox Corporation | System and method for quantitatively representing data objects in vector space |
US6941321B2 (en) * | 1999-01-26 | 2005-09-06 | Xerox Corporation | System and method for identifying similarities among objects in a collection |
US7080073B1 (en) * | 2000-08-18 | 2006-07-18 | Firstrain, Inc. | Method and apparatus for focused crawling |
US7120868B2 (en) | 2002-05-30 | 2006-10-10 | Microsoft Corp. | System and method for adaptive document layout via manifold content |
JP3918531B2 (ja) | 2001-11-29 | 2007-05-23 | 株式会社日立製作所 | 類似文書検索方法およびシステム |
US20040181527A1 (en) * | 2003-03-11 | 2004-09-16 | Lockheed Martin Corporation | Robust system for interactively learning a string similarity measurement |
US7533094B2 (en) | 2004-11-23 | 2009-05-12 | Microsoft Corporation | Method and system for determining similarity of items based on similarity objects and their features |
US20070005588A1 (en) * | 2005-07-01 | 2007-01-04 | Microsoft Corporation | Determining relevance using queries as surrogate content |
JP2007172077A (ja) * | 2005-12-19 | 2007-07-05 | Fuji Xerox Co Ltd | 画像検索システム及び方法及びプログラム |
US7801392B2 (en) * | 2005-07-21 | 2010-09-21 | Fuji Xerox Co., Ltd. | Image search system, image search method, and storage medium |
US7472131B2 (en) | 2005-12-12 | 2008-12-30 | Justsystems Evans Research, Inc. | Method and apparatus for constructing a compact similarity structure and for using the same in analyzing document relevance |
US7689559B2 (en) * | 2006-02-08 | 2010-03-30 | Telenor Asa | Document similarity scoring and ranking method, device and computer program product |
US20080162455A1 (en) * | 2006-12-27 | 2008-07-03 | Rakshit Daga | Determination of document similarity |
US7562088B2 (en) * | 2006-12-27 | 2009-07-14 | Sap Ag | Structure extraction from unstructured documents |
US20080215571A1 (en) * | 2007-03-01 | 2008-09-04 | Microsoft Corporation | Product review search |
US7996390B2 (en) | 2008-02-15 | 2011-08-09 | The University Of Utah Research Foundation | Method and system for clustering identified forms |
US9268851B2 (en) * | 2010-04-29 | 2016-02-23 | International Business Machines Corporation | Ranking information content based on performance data of prior users of the information content |
-
2011
- 2011-03-28 US US13/073,836 patent/US8612457B2/en active Active
-
2012
- 2012-03-01 JP JP2012045250A patent/JP5795743B2/ja not_active Expired - Fee Related
- 2012-03-21 EP EP12160482A patent/EP2506167A1/en not_active Ceased
- 2012-03-26 KR KR1020120030377A patent/KR101935765B1/ko active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09212509A (ja) * | 1996-02-05 | 1997-08-15 | Oki Electric Ind Co Ltd | 単文類似度計算装置 |
JP2000200285A (ja) * | 1999-01-06 | 2000-07-18 | Nippon Telegr & Teleph Corp <Ntt> | 情報検索方法、情報検索装置及び情報検索プログラムを記録した記録媒体 |
JP2001155027A (ja) * | 1999-11-26 | 2001-06-08 | Nec Corp | 文書間類似度計算方法及びシステムと装置ならびに類似度計算用プログラムを記録した記録媒体 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017142640A (ja) * | 2016-02-10 | 2017-08-17 | 日本電信電話株式会社 | 類似文書推薦システム、類似文書推薦方法および類似文書推薦プログラム |
KR101866411B1 (ko) * | 2016-09-06 | 2018-06-19 | 한양대학교 산학협력단 | 문서 추천 정보를 제공하는 방법 및 이를 이용하는 문서 추천 정보 제공 장치 |
Also Published As
Publication number | Publication date |
---|---|
US20120254165A1 (en) | 2012-10-04 |
US8612457B2 (en) | 2013-12-17 |
EP2506167A1 (en) | 2012-10-03 |
KR101935765B1 (ko) | 2019-01-08 |
JP5795743B2 (ja) | 2015-10-14 |
KR20120110035A (ko) | 2012-10-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5795743B2 (ja) | 適応的重み付けを用いた様々な文書間類似度計算方法に基づいた文書比較方法および文書比較システム | |
US11836576B2 (en) | Distributed machine learning at edge nodes | |
CN105631698B (zh) | 用于策略部署的风险量化 | |
US11004012B2 (en) | Assessment of machine learning performance with limited test data | |
KR101852527B1 (ko) | 기계학습 기반의 동적 시뮬레이션 파라미터 교정 방법 | |
US11676030B2 (en) | Learning method, learning apparatus, and computer-readable recording medium | |
US20160148246A1 (en) | Automated System for Safe Policy Improvement | |
US20220253426A1 (en) | Explaining outliers in time series and evaluating anomaly detection methods | |
WO2020230043A1 (en) | Feature vector feasibilty estimation | |
US11487641B1 (en) | Micro services recommendation system for identifying code areas at risk | |
US11574181B2 (en) | Fusion of neural networks | |
US20210056457A1 (en) | Hyper-parameter management | |
CN111177479A (zh) | 获取关系网络图中节点的特征向量的方法以及装置 | |
US9692673B2 (en) | Selection of message passing collectives in presence of system noise | |
US20160004982A1 (en) | Method and system for estimating the progress and completion of a project based on a bayesian network | |
US11630703B2 (en) | Cluster update accelerator circuit | |
CN114548407A (zh) | 层级目标定向因果发现方法、装置及电子设备 | |
CN111400512B (zh) | 一种筛选多媒体资源的方法及装置 | |
CN114444606A (zh) | 模型训练和数据分类方法及装置 | |
CN113361719A (zh) | 基于图像处理模型的增量学习方法和图像处理方法 | |
CN113313049A (zh) | 超参数的确定方法、装置、设备、存储介质以及计算机程序产品 | |
US10360509B2 (en) | Apparatus and method for generating an optimal set of choices | |
US20230068381A1 (en) | Method and electronic device for quantizing dnn model | |
JP6676894B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
US9626630B2 (en) | Machine learning customer valuation functions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20131011 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150226 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150226 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20150226 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20150416 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150519 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150624 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150721 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150814 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5795743 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |