JP6558856B2 - 形態素解析装置、モデル学習装置、及びプログラム - Google Patents
形態素解析装置、モデル学習装置、及びプログラム Download PDFInfo
- Publication number
- JP6558856B2 JP6558856B2 JP2016073077A JP2016073077A JP6558856B2 JP 6558856 B2 JP6558856 B2 JP 6558856B2 JP 2016073077 A JP2016073077 A JP 2016073077A JP 2016073077 A JP2016073077 A JP 2016073077A JP 6558856 B2 JP6558856 B2 JP 6558856B2
- Authority
- JP
- Japan
- Prior art keywords
- word
- notation
- regular
- model
- character
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Machine Translation (AREA)
Description
本発明の実施の形態は、例えば、従来の形態素解析器では考慮されていないweb上の崩れた表記を頑健に解析するための技術である。
かっぱ-寿司,名詞:固有:組織,100,カッパ'-ズシ,,,,,374:428,88
20 演算部
22 文字列変換モデル記憶部
24 形態素解析辞書
26 ラティス生成部
28 形態素解析モデル記憶部
30 形態素解析部
40 出力部
50 入力部
60 演算部
62 正解データテキスト記憶部
64 ラティス生成部
66 モデル学習部
68 形態素解析モデル記憶部
70 出力部
100 形態素解析装置
200 モデル学習装置
Claims (4)
- 入力テキストに対して、正規表記語、又は正規表記語に対する揺らいだ表記である崩れ表記語である単語分割候補であって、前記崩れ表記語に対する正規表記語及び品詞が付与された単語分割候補の各々に対応するノード及び連結される単語分割候補に対応するノードを結んだエッジからなるグラフ構造であるラティスを生成するラティス生成部と、
前記ラティス生成部により生成された前記ラティスにおける前記ノードを結んだ各経路に対する、前記経路上の各ノードの前記単語分割候補の各々についての、
単語レベルのニューラルネットワーク言語モデルを用いて算出される、前記単語分割候補に付与された正規表記語より前に出現する正規表記語列を表すベクトル表記が与えられたときの、前記単語分割候補に付与された正規表記語を表すベクトル表記の確率、又は
前記経路上の各ノードの前記単語分割候補の各々に付与された正規表記語の各文字ついての、文字レベルのニューラルネットワーク言語モデルを用いて算出される、前記文字より前に出現する正規表記の文字列を表すベクトル表記が与えられたときの、前記文字を表すベクトル表記の確率
を素性として含む素性ベクトルと、テキストに対する形態素解析を行うための予め学習されたモデルとに基づいて、
前記ラティス生成部によって生成されたラティスにおける前記ノードを結んだ各経路のうち、前記素性ベクトルと前記モデルとから得られるスコアが最適となる経路を選択し、選択した経路が表す形態素解析結果を出力する形態素解析部と、
を含む形態素解析装置。 - 正規表記語に対する揺らいだ表記である崩れ表記語に対する正規化表記である正規表記語を含む形態素解析結果の正解データが付与されたテキストに対して、正規表記語、又は正規表記語に対する揺らいだ表記である崩れ表記語である単語分割候補であって、前記崩れ表記語に対する正規表記語及び品詞が付与された単語分割候補の各々に対応するノード及び連結される単語分割候補に対応するノードを結んだエッジからなるグラフ構造であるラティスを生成するラティス生成部と、
前記ラティス生成部により生成された前記ラティスにおける、前記ノードを結んだ各経路に対する、前記経路上の各ノードの前記単語分割候補の各々についての、
単語レベルのニューラルネットワーク言語モデルを用いて算出される、前記単語分割候補に付与された正規表記語より前に出現する正規表記語列を表すベクトル表記が与えられたときの、前記単語分割候補に付与された正規表記語を表すベクトル表記の確率、又は
前記経路上の各ノードの前記単語分割候補の各々に付与された正規表記語の各文字ついての、文字レベルのニューラルネットワーク言語モデルを用いて算出される、前記文字より前に出現する正規表記の文字列を表すベクトル表記が与えられたときの、前記文字を表すベクトル表記の確率を素性として含む素性ベクトルと、前記形態素解析結果の正解データとに基づいて、テキストに対する形態素解析を行うためのモデルを学習するモデル学習部と、
を含むモデル学習装置。 - コンピュータを、請求項1に記載の形態素解析装置の各部として機能させるためのプログラム。
- コンピュータを、請求項2に記載のモデル学習装置の各部として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016073077A JP6558856B2 (ja) | 2016-03-31 | 2016-03-31 | 形態素解析装置、モデル学習装置、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016073077A JP6558856B2 (ja) | 2016-03-31 | 2016-03-31 | 形態素解析装置、モデル学習装置、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017182707A JP2017182707A (ja) | 2017-10-05 |
JP6558856B2 true JP6558856B2 (ja) | 2019-08-14 |
Family
ID=60007422
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016073077A Active JP6558856B2 (ja) | 2016-03-31 | 2016-03-31 | 形態素解析装置、モデル学習装置、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6558856B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109800430B (zh) * | 2019-01-18 | 2023-06-27 | 广东小天才科技有限公司 | 一种语义理解方法及*** |
CN117348500B (zh) * | 2023-12-04 | 2024-02-02 | 济南华科电气设备有限公司 | 一种煤矿综采工作面自动化控制方法及*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6145059B2 (ja) * | 2014-03-04 | 2017-06-07 | 日本電信電話株式会社 | モデル学習装置、形態素解析装置、及び方法 |
-
2016
- 2016-03-31 JP JP2016073077A patent/JP6558856B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017182707A (ja) | 2017-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112712804B (zh) | 语音识别方法、***、介质、计算机设备、终端及应用 | |
JP6222821B2 (ja) | 誤り修正モデル学習装置、及びプログラム | |
CN111145718B (zh) | 一种基于自注意力机制的中文普通话字音转换方法 | |
CN107705787A (zh) | 一种语音识别方法及装置 | |
JP2015094848A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2004355483A (ja) | 形態素解析装置、形態素解析方法及び形態素解析プログラム | |
JP2019159654A (ja) | 時系列情報の学習システム、方法およびニューラルネットワークモデル | |
US20100100379A1 (en) | Voice recognition correlation rule learning system, voice recognition correlation rule learning program, and voice recognition correlation rule learning method | |
JP2019082931A (ja) | 検索装置、類似度算出方法、およびプログラム | |
JP6778655B2 (ja) | 単語連接識別モデル学習装置、単語連接検出装置、方法、及びプログラム | |
CN112860896A (zh) | 语料泛化方法及用于工业领域的人机对话情感分析方法 | |
JP5180800B2 (ja) | 統計的発音変異モデルを記憶する記録媒体、自動音声認識システム及びコンピュータプログラム | |
JP2016224483A (ja) | モデル学習装置、方法、及びプログラム | |
JP5441937B2 (ja) | 言語モデル学習装置、言語モデル学習方法、言語解析装置、及びプログラム | |
CN112669845A (zh) | 语音识别结果的校正方法及装置、电子设备、存储介质 | |
JP6145059B2 (ja) | モデル学習装置、形態素解析装置、及び方法 | |
CN109815497B (zh) | 基于句法依存的人物属性抽取方法 | |
JP6558856B2 (ja) | 形態素解析装置、モデル学習装置、及びプログラム | |
CN113780418A (zh) | 一种数据的筛选方法、***、设备和存储介质 | |
JP2016133956A (ja) | 形態素解析モデル生成装置、形態素解析モデル生成方法、及び、プログラム | |
KR101417757B1 (ko) | 하이퍼그래프 언어모델 학습 및 적용 장치 및 그 학습 및 적용 방법, 및 하이퍼그래프 언어모델 갱신장치 및 그 갱신방법 | |
JP6684693B2 (ja) | 文字列変換装置、モデル学習装置、方法、及びプログラム | |
JP4405542B2 (ja) | 音素モデルをクラスタリングする装置、方法およびプログラム | |
Chowdhury et al. | Bangla grapheme to phoneme conversion using conditional random fields | |
JP5161174B2 (ja) | 経路探索装置、音声認識装置、これらの方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190122 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190709 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190715 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6558856 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |