JP2010198269A - 意味ドリフトの発生評価方法及び装置 - Google Patents
意味ドリフトの発生評価方法及び装置 Download PDFInfo
- Publication number
- JP2010198269A JP2010198269A JP2009041832A JP2009041832A JP2010198269A JP 2010198269 A JP2010198269 A JP 2010198269A JP 2009041832 A JP2009041832 A JP 2009041832A JP 2009041832 A JP2009041832 A JP 2009041832A JP 2010198269 A JP2010198269 A JP 2010198269A
- Authority
- JP
- Japan
- Prior art keywords
- instance
- related keyword
- semantic drift
- drift
- semantic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 66
- 238000000605 extraction Methods 0.000 claims abstract description 78
- 239000013598 vector Substances 0.000 claims abstract description 75
- 230000003252 repetitive effect Effects 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 24
- 230000007704 transition Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 description 20
- 230000008569 process Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000011524 similarity measure Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】意味ドリフト発生評価装置1は、新たなインスタンスを抽出するインスタンス抽出部11と、ブートストラップアルゴリズムにより、インスタンス抽出部11により新たに抽出されたインスタンス集合を用いたインスタンス抽出部11の反復実行を制御する反復実行制御部12と、インスタンスの関連キーワードを抽出する関連キーワード抽出部13と、関連キーワードに対して、数値を割り当てて関連キーワードベクトルを生成するベクトル生成部14と、各反復において関連キーワードに付与された関連キーワードベクトルに基づいて、各反復における意味ドリフトの程度を評価する意味ドリフト評価部15とを備える。
【選択図】図1
Description
図1は、本実施形態に係る意味ドリフト発生評価装置1の構成例を示す図である。
図4は、本実施形態に係る意味ドリフト発生評価装置1のハードウェア構成を示す図である。本発明が実施される意味ドリフト発生評価装置1は標準的なものでよく、以下に構成の一例を示す。
図5は、本実施形態に係る意味ドリフト発生評価装置1が行う処理の流れを示すフローチャートである。
続いて、本実施形態に係る意味ドリフト発生評価装置1において、反復実行制御部12によりインスタンスの生成を反復実行したときの、各反復における意味ドリフトの程度を評価したときの実験結果を示す。実験するに当たり、検索ログDB21に記憶するデータとして、Yahoo!(登録商標)検索の2008年8月分の検索ログのうち、空白文字で区切られた2つの単語で構成されたものを用いた。そして、関連キーワード辞書DB22に記憶するデータとして、Wikipedia(登録商標)の2008年7月24日版のダンプを使用した。
10 制御部
11 インスタンス抽出部
12 反復実行制御部
13 関連キーワード抽出部
14 ベクトル生成部
15 意味ドリフト評価部
21 検索ログDB
22 関連キーワード辞書DB
31 表示部
32 操作部
Claims (4)
- 所定のカテゴリに含まれるインスタンスをブートストラップアルゴリズムにより獲得する方法において該所定のカテゴリと関連性の高いインスタンスを検索ログを用いて取得する際に、カテゴリの意味が遷移する意味ドリフトの発生状態を評価する意味ドリフト発生評価方法であって、
前記検索ログに基づいて、新たなインスタンスを抽出する第1の抽出ステップと、
前記ブートストラップアルゴリズムにより、前記第1の抽出ステップにて抽出した新たなインスタンスを用いた前記第1の抽出ステップの実行を反復する際に、
予め記憶されている関連キーワード辞書よりインスタンスの関連キーワードを抽出する第2の抽出ステップと、
前記関連キーワードに割り当てた数値を要素とする関連キーワードベクトルを生成するステップと、
各反復における関連キーワードベクトルに基づいて、各反復における意味ドリフトの程度を評価するステップとを備える意味ドリフト発生評価方法。 - 前記意味ドリフトの程度を評価するステップは、前記各反復における関連キーワードベクトルと該反復の直前における関連キーワードベクトルとについてコサイン類似度を算出し、該コサイン類似度により意味ドリフトの程度を評価することを特徴とする請求項1記載の意味ドリフト発生評価方法。
- 前記意味ドリフトの程度を評価するステップは、前記各反復における関連キーワードベクトルと前記第1の抽出ステップにより前記新たなインスタンスを抽出するときの初期値であるシードインスタンスの関連キーワードベクトルとについてコサイン類似度を算出し、該コサイン類似度により意味ドリフトの程度を評価することを特徴とする請求項1記載の意味ドリフト発生評価方法。
- 所定のカテゴリに含まれるインスタンスをブートストラップアルゴリズムにより獲得する方法において該所定のカテゴリと関連性の高いインスタンスを検索ログを用いて取得する際に、カテゴリの意味が遷移する意味ドリフトの発生状態を評価する意味ドリフト発生評価装置であって、
前記検索ログに基づいて、新たなインスタンスを抽出するインスタンス抽出手段と、
前記ブートストラップアルゴリズムにより、前記インスタンス抽出手段にて抽出した新たなインスタンスを用いた前記インスタンス抽出手段の実行を反復する反復実行制御手段と、
予め記憶されている関連キーワード辞書よりインスタンスの関連キーワードを抽出する関連キーワード抽出手段と、
前記関連キーワードに割り当てた数値を要素とする関連キーワードベクトルを生成するベクトル生成手段と、
前記反復のそれぞれにおける関連キーワードベクトルに基づいて、該反復のそれぞれにおける意味ドリフトの程度を評価する意味ドリフト評価手段とを備える意味ドリフト発生評価装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009041832A JP5020274B2 (ja) | 2009-02-25 | 2009-02-25 | 意味ドリフトの発生評価方法及び装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009041832A JP5020274B2 (ja) | 2009-02-25 | 2009-02-25 | 意味ドリフトの発生評価方法及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010198269A true JP2010198269A (ja) | 2010-09-09 |
JP5020274B2 JP5020274B2 (ja) | 2012-09-05 |
Family
ID=42822940
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009041832A Active JP5020274B2 (ja) | 2009-02-25 | 2009-02-25 | 意味ドリフトの発生評価方法及び装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5020274B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012121011A1 (ja) * | 2011-03-04 | 2012-09-13 | 楽天株式会社 | 集合拡張処理装置、集合拡張処理方法、プログラム、及び、非一時的な記録媒体 |
JP2019159918A (ja) * | 2018-03-14 | 2019-09-19 | 富士通株式会社 | クラスタリングプログラム、クラスタリング方法およびクラスタリング装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005092253A (ja) * | 2003-09-11 | 2005-04-07 | Fuji Xerox Co Ltd | 機械学習用データ生成システム及び機械学習用データ生成方法、類似文書対生成システム及び類似文書対生成方法、並びにコンピュータ・プログラム |
-
2009
- 2009-02-25 JP JP2009041832A patent/JP5020274B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005092253A (ja) * | 2003-09-11 | 2005-04-07 | Fuji Xerox Co Ltd | 機械学習用データ生成システム及び機械学習用データ生成方法、類似文書対生成システム及び類似文書対生成方法、並びにコンピュータ・プログラム |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012121011A1 (ja) * | 2011-03-04 | 2012-09-13 | 楽天株式会社 | 集合拡張処理装置、集合拡張処理方法、プログラム、及び、非一時的な記録媒体 |
JP2012185666A (ja) * | 2011-03-04 | 2012-09-27 | Rakuten Inc | 集合拡張処理装置、集合拡張処理方法、プログラム、及び、記録媒体 |
CN102971733A (zh) * | 2011-03-04 | 2013-03-13 | 乐天株式会社 | 集合扩展处理装置、集合扩展处理方法、程序、及非暂时性记录媒体 |
US9268821B2 (en) | 2011-03-04 | 2016-02-23 | Rakuten, Inc. | Device and method for term set expansion based on semantic similarity |
JP2019159918A (ja) * | 2018-03-14 | 2019-09-19 | 富士通株式会社 | クラスタリングプログラム、クラスタリング方法およびクラスタリング装置 |
JP7006402B2 (ja) | 2018-03-14 | 2022-01-24 | 富士通株式会社 | クラスタリングプログラム、クラスタリング方法およびクラスタリング装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5020274B2 (ja) | 2012-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9558264B2 (en) | Identifying and displaying relationships between candidate answers | |
Chen et al. | Mining likely analogical apis across third-party libraries via large-scale unsupervised api semantics embedding | |
US9799040B2 (en) | Method and apparatus for computer assisted innovation | |
JP4878624B2 (ja) | 文書処理装置および文書処理方法 | |
EP3218811B1 (en) | Testing insecure computing environments using random data sets generated from characterizations of real data sets | |
US9697099B2 (en) | Real-time or frequent ingestion by running pipeline in order of effectiveness | |
KR20120135218A (ko) | 매치를 특징화하는 규칙을 사용하는 메타데이터 소스의 매칭 | |
WO2016130542A1 (en) | Code relatives detection | |
Jain et al. | Query2vec: An evaluation of NLP techniques for generalized workload analytics | |
JP2021193617A (ja) | 医療データ検証方法、装置及び電子機器 | |
Li et al. | Extracting statistical graph features for accurate and efficient time series classification | |
Berghe et al. | Retrieving taxa names from large biodiversity data collections using a flexible matching workflow | |
Skaggs et al. | Topic modeling for wikipedia link disambiguation | |
Alarte et al. | What web template extractor should I use? A benchmarking and comparison for five template extractors | |
US20220215186A1 (en) | Machine learning enabled text analysis with support for unstructured data | |
JP5020274B2 (ja) | 意味ドリフトの発生評価方法及び装置 | |
Sailaja et al. | An overview of pre-processing text clustering methods | |
CN111639161A (zh) | 制度信息处理方法、装置、计算机***和介质 | |
Velloso et al. | Extracting records from the web using a signal processing approach | |
US20230100418A1 (en) | Metadata-driven data ingestion | |
JP5180894B2 (ja) | 属性表現獲得方法及び装置及びプログラム | |
Soltani et al. | Detecting the software usage on a compromised system: A triage solution for digital forensics | |
Prathyusha et al. | Normalization Methods for Multiple Sources of Data | |
JP6081609B2 (ja) | データ分析システム及びその方法 | |
Yang et al. | Evaluation and assessment of machine learning based user story grouping: A framework and empirical studies |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20120312 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120521 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120605 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120612 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5020274 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150622 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |