JP7375096B2 - 分散表現生成システム、分散表現生成方法及び分散表現生成プログラム - Google Patents
分散表現生成システム、分散表現生成方法及び分散表現生成プログラム Download PDFInfo
- Publication number
- JP7375096B2 JP7375096B2 JP2022066837A JP2022066837A JP7375096B2 JP 7375096 B2 JP7375096 B2 JP 7375096B2 JP 2022066837 A JP2022066837 A JP 2022066837A JP 2022066837 A JP2022066837 A JP 2022066837A JP 7375096 B2 JP7375096 B2 JP 7375096B2
- Authority
- JP
- Japan
- Prior art keywords
- matrix
- square
- series data
- distributed representation
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 50
- 239000011159 matrix material Substances 0.000 claims description 156
- 230000014509 gene expression Effects 0.000 claims description 27
- 239000013598 vector Substances 0.000 claims description 21
- 230000002093 peripheral effect Effects 0.000 claims description 5
- 238000010801 machine learning Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 8
- 230000001419 dependent effect Effects 0.000 description 7
- 238000003058 natural language processing Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000002483 medication Methods 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012552 review Methods 0.000 description 1
Images
Landscapes
- Machine Translation (AREA)
Description
ここでは、入力重み行列WV×Nの各成分を単語の分散表現として用いることができる。すなわち、単語wの分散表現は、「単語wのone-hotベクトル×WV×N」となる。
図1~図4に従って、分散表現生成システム、分散表現生成方法及び分散表現生成プログラムを具体化した第1実施形態を説明する。本実施形態では、単語を正方行列で表し、文章の分散表現を、単語の正方行列の積で表わす場合を想定する。
(ハードウェア構成例)
図2は、ユーザ端末10、支援サーバ20等として機能する情報処理装置H10のハードウェア構成例である。
(2)各種処理のうち少なくとも一部の処理を実行する1つ以上の専用のハードウェア回路、或いは
(3)それらの組み合わせ、を含む回路(circuitry)
プロセッサは、CPU並びに、RAM及びROM等のメモリを含み、メモリは、処理をCPUに実行させるように構成されたプログラムコード又は指令を格納している。メモリすなわちコンピュータ可読媒体は、汎用又は専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。
図1を用いて、ユーザ端末10、支援サーバ20の機能を説明する。
ユーザ端末10は、本システムを利用するユーザが用いるコンピュータ端末である。
学習部211は、分散表現を生成するための分散表現モデル(行列)を生成する処理を実行する。
予測部212は、入力された単語の分散表現を用いて自然言語処理を実行する。
次に、図3を用いて、学習処理及び予測処理を説明する。
(学習処理)
まず、学習処理においては、支援サーバ20の制御部21は、教師情報の単語抽出処理を実行する(ステップS11)。具体的には、制御部21の取得部210は、ユーザ端末10において指定された複数の教師文を取得する。この教師文は、複数の単語から構成されている。次に、取得部210は、取得した教師文を教師情報記憶部22に記録する。
次に、予測処理においては、支援サーバ20の制御部21は、処理対象の取得処理を実行する(ステップS21)。具体的には、制御部21の取得部210は、ユーザ端末10から、予測処理を行なう処理単語を取得する。
次に、支援サーバ20の制御部21は、出力処理を実行する(ステップS23)。具体的には、制御部21の予測部212は、関連語を、ユーザ端末10に出力する。
次に、図4を用いて、学習部211によって行われる機械学習処理を説明する。
次に、ステップS102において、one-hot(n-1)~(n+1)に対して、それぞれ入力重み行列WV×N×Nを乗算することにより、(N×N)次元の正方行列の単語入力行列(n-1)~(n+1)を生成する。ここで、単語入力行列(n-1)~(n+1)は、それぞれ入力重み行列WV×N×Nの(n-1)~(n+1)成分である。
本実施形態によれば、以下のような効果を得ることができる。
・上記実施形態では、単語(n-1)~(n+1)を入力文字列として用いる。また、単語(n-3),(n-2),(n+2),(n+3)を出力文字列として用いる。入力側や出力側に用いられる単語数は、これらに限定されるものではない。
図6に示すように、単語(n-1),(n)を入力単語として用い、単語(n-2),(n+2)を出力文字列として用いてもよい。
次に、図7、図8に従って、分散表現生成システム、分散表現生成方法及び分散表現生成プログラムを具体化した第2実施形態を説明する。上記第1実施形態では、支援サーバ20の制御部21は、各単語のOne-Hot生成処理(ステップS12)、機械学習処理(ステップS13)を実行する。そして、機械学習処理(ステップS13)では、入力重み行列及び出力重み行列を学習する。本実施形態においては、One-Hotベクトル、入力重み行列及び出力重み行列を用いない。以下の実施形態において、上記第1実施形態と同様の部分については、同一の符号を付し、その詳細な説明を省略する。
次に、支援サーバ20の制御部21は、機械学習処理を実行する(ステップS32)。具体的には、制御部21の学習部211は、抽出した単語において重複する単語を統合して、教師文を構成するボキャブラリーを抽出する。ボキャブラリーを構成する単語を、初期設定された正方行列に置き換える。そして、入力側の正方行列と、周辺の正方行列とが近くなるように、正方行列を更新する。
まず、ステップS301において、入力側の単語(n-1)~(n+1)について、それぞれ入力側の正方行列である単語行列(n-1)~(n+1)を生成する。
予測処理では、図3に示すステップS21~S23を実行する。
(2-1)本実施形態においては、支援サーバ20の制御部21は、教師情報の単語抽出処理(ステップS31)、機械学習処理(ステップS32)を実行する。これにより、効率的に、分散表現(正方行列)を生成することができる。
次に、図9、図10に従って、分散表現生成システム、分散表現生成方法及び分散表現生成プログラムを具体化した第3実施形態を説明する。上記第1、第2実施形態では、入力側、出力側の単語の分散表現が近くなるように機械学習を行なう。機械学習の手法は、これに限定されるものではない。本実施形態では、分類が付与された教師情報を用いた機械学習を行なう。
そして、学習部211は、正方行列m1から正例、正方行列m2,m3から負例を予測できるように、単語行列(分散表現)を更新する。
そして、ステップS42では、制御部21の学習部211は、各要素データを正方行列に置き換える。そして、正方行列を用いて、正例、負例を予測できるように更新する。
次に、図11を用いて、学習部211によって行われる機械学習処理を説明する。ここでは、教師データに含まれるi個の要素を用いる場合を想定する。更に、正例、負例ではなく、分類として、正解を示すラベルL1~Lmを予測する。この場合、教師情報である系列データに対して、ラベルL1~Lmを付与して教師情報記憶部22に記録する。
次に、学習部211は、生成した正方行列t1~tiを用いて、中間層1において、複数の正方行列を生成する(ステップS402)。例えば、正方行列iとしては、正方行列t1を用いる。正方行列jとしては、正方行列t2を用いる。正方行列kとしては、正方行列tiを用いる。正方行列ijは、正方行列t1,t2をその順番で乗算した行列である。正方行列ijkは、正方行列t1,t2,tiをその順番で乗算した行列である。このように、正方行列t1~tiそのものや、各要素の順番で各要素の正方行列t1~tiを乗算した正方行列を用いたネットワークを生成する。
本実施形態によれば、以下のような効果を得ることができる。
Claims (11)
- 順番に複数の要素が並んだ系列データの各要素の分散表現を正方行列により生成する制御部と、教師情報を記録する教師情報記憶部と、を備えた分散表現生成システムであって、
前記制御部が、
前記教師情報記憶部から、正解を付した系列データを取得して、前記系列データを構成する各要素を表す正方行列を、前記系列データの各要素の構成順番で乗算した乗算正方行列が、前記正解を予測するように、各要素を表す正方行列を更新し、前記更新した正方行列を、前記系列データの各要素の分散表現として記録することを特徴とする分散表現生成システム。 - 前記制御部が、前記正解として、前記系列データに付与されたラベルを予測することを特徴とする請求項1に記載の分散表現生成システム。
- 正しい順番で複数の要素が並んだ前記系列データを取得して、前記系列データを構成する各要素の分散表現を正方行列により生成し、
前記正方行列を前記系列データの構成順番で乗算した乗算行列を、正例ラベルを付して前記教師情報記憶部に記録し、
前記正方行列を、前記系列データの構成を崩して乗算して算出した乗算行列を、負例ラベルを付して前記教師情報記憶部に記録し、
前記乗算行列から、正例ラベル及び負例ラベルを予測するように、各要素を表す前記正方行列を更新することを特徴とする請求項2に記載の分散表現生成システム。 - 前記制御部が、前記正解として、数値を予測することを特徴とする請求項1に記載の分散表現生成システム。
- 前記制御部が、
新たな系列データを取得して、前記取得した系列データを構成する各要素を表す正方行列を生成し、
前記生成した正方行列を前記系列データの構成順番で乗算した乗算行列を算出し、
前記算出した乗算行列を用いて、前記系列データの正解を予測することを特徴とする請求項1に記載の分散表現生成システム。 - 前記制御部が、
前記正解を付した系列データとして、前記教師情報記憶部から、教師文を取得し、
前記教師文を構成する単語を、前記系列データを構成する各要素として特定し、
前記教師文を構成する単語からone-hotベクトルを生成し、
入力文字列を構成する単語の各one-hotベクトルと、入力重み行列とから、前記入力文字列に対応するN次元の正方入力行列を作成し、
前記正方入力行列の構成順番で乗算した乗算正方入力行列を算出し、
予測する周辺単語のone-hotベクトルと、出力重み行列とから、前記周辺単語に対応するN次元の正方出力行列を作成し、
前記乗算正方入力行列と前記正方出力行列の値が近くなるように、前記入力重み行列と前記出力重み行列とを更新することにより、前記正方入力行列と前記正方出力行列を更新することを特徴とする請求項1に記載の分散表現生成システム。 - 前記周辺単語には、前記入力文字列の直前及び直後の1以上の単語を含むことを特徴とする請求項6に記載の分散表現生成システム。
- 前記制御部が、
前記教師文において連続する複数の単語について、前記入力重み行列を用いて、それぞれN次元の単語入力行列を作成し、
前記連続する複数の単語の順番で、前記単語入力行列を乗算して、前記正方入力行列を作成することを特徴とする請求項6に記載の分散表現生成システム。 - 前記制御部が、
前記教師文において連続する複数の単語について、前記出力重み行列を用いて、それぞれN次元の単語出力行列を作成し、
前記連続する複数の単語の順番で、前記単語出力行列を乗算して、前記正方出力行列を作成することを特徴とする請求項6に記載の分散表現生成システム。 - 順番に複数の要素が並んだ系列データの各要素の分散表現を正方行列により生成する制御部と、教師情報を記録する教師情報記憶部と、を備えた分散表現生成システムを用いて、分散表現を生成する方法であって、
前記制御部が、
前記教師情報記憶部から、正解を付した系列データを取得して、前記系列データを構成する各要素を表す正方行列を、前記系列データの各要素の構成順番で乗算した乗算正方行列が、前記正解を予測するように、各要素を表す正方行列を更新し、前記更新した正方行列を、前記系列データの各要素の分散表現として記録することを特徴とする分散表現生成方法。 - 順番に複数の要素が並んだ系列データの各要素の分散表現を正方行列により生成する制御部と、教師情報を記録する教師情報記憶部と、を備えた分散表現生成システムを用いて、分散表現を生成するためのプログラムであって、
前記制御部を、
前記教師情報記憶部から、正解を付した系列データを取得して、前記系列データを構成する各要素を表す正方行列を、前記系列データの各要素の構成順番で乗算した乗算正方行列が、前記正解を予測するように、各要素を表す正方行列を更新し、前記更新した正方行列を、前記系列データの各要素の分散表現として記録する手段として機能させるための分散表現生成プログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021143263 | 2021-09-02 | ||
JP2021143263 | 2021-09-02 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023036511A JP2023036511A (ja) | 2023-03-14 |
JP7375096B2 true JP7375096B2 (ja) | 2023-11-07 |
Family
ID=85508603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022066837A Active JP7375096B2 (ja) | 2021-09-02 | 2022-04-14 | 分散表現生成システム、分散表現生成方法及び分散表現生成プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7375096B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018066083A1 (ja) | 2016-10-04 | 2018-04-12 | 富士通株式会社 | 学習プログラム、情報処理装置および学習方法 |
WO2018083804A1 (ja) | 2016-11-07 | 2018-05-11 | 富士通株式会社 | 分析プログラム、情報処理装置および分析方法 |
US20200042611A1 (en) | 2018-07-31 | 2020-02-06 | Market Advantage, Inc. | System, computer program product and method for generating embeddings of textual and quantitative data |
-
2022
- 2022-04-14 JP JP2022066837A patent/JP7375096B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018066083A1 (ja) | 2016-10-04 | 2018-04-12 | 富士通株式会社 | 学習プログラム、情報処理装置および学習方法 |
WO2018083804A1 (ja) | 2016-11-07 | 2018-05-11 | 富士通株式会社 | 分析プログラム、情報処理装置および分析方法 |
US20200042611A1 (en) | 2018-07-31 | 2020-02-06 | Market Advantage, Inc. | System, computer program product and method for generating embeddings of textual and quantitative data |
Also Published As
Publication number | Publication date |
---|---|
JP2023036511A (ja) | 2023-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240070392A1 (en) | Computing numeric representations of words in a high-dimensional space | |
US20240078386A1 (en) | Methods and systems for language-agnostic machine learning in natural language processing using feature extraction | |
US20200342177A1 (en) | Capturing rich response relationships with small-data neural networks | |
US10083157B2 (en) | Text classification and transformation based on author | |
US11636341B2 (en) | Processing sequential interaction data | |
US20210157977A1 (en) | Display system, program, and storage medium | |
US20180102062A1 (en) | Learning Map Methods and Systems | |
JP2022529178A (ja) | 人工知能推奨モデルの特徴処理方法、装置、電子機器、及びコンピュータプログラム | |
JP7293729B2 (ja) | 学習装置、情報出力装置、及びプログラム | |
US11960517B2 (en) | Dynamic cross-platform ask interface and natural language processing model | |
JP2020035019A (ja) | 情報処理装置、情報処理方法及びプログラム | |
WO2014073206A1 (ja) | 情報処理装置、及び、情報処理方法 | |
WO2016088230A1 (ja) | 因果関係分析装置、及び因果関係分析方法 | |
US11531927B2 (en) | Categorical data transformation and clustering for machine learning using natural language processing | |
JP2019211974A (ja) | 企業分析装置 | |
US20220222442A1 (en) | Parameter learning apparatus, parameter learning method, and computer readable recording medium | |
WO2021200200A1 (ja) | 情報処理装置及び情報処理方法 | |
US20240020538A1 (en) | Systems and methods for real-time search based generative artificial intelligence | |
JP7375096B2 (ja) | 分散表現生成システム、分散表現生成方法及び分散表現生成プログラム | |
Riadsolh et al. | Cloud-Based Sentiment Analysis for Measuring Customer Satisfaction in the Moroccan Banking Sector Using Na? ve Bayes and Stanford NLP | |
JP5976037B2 (ja) | モデル学習装置、ランキング装置、方法、及びプログラム | |
JP2017102599A (ja) | 推定装置、パラメタ学習装置、方法、及びプログラム | |
JP2007026347A (ja) | テキストマイニング装置、テキストマイニング方法およびテキストマイニングプログラム | |
CN113393719B (zh) | 拼音学习方法及装置 | |
US20220245350A1 (en) | Framework and interface for machines |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220414 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230530 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230726 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231010 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231025 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7375096 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |