JP2018206261A - 単語分割推定モデル学習装置、単語分割装置、方法、及びプログラム - Google Patents
単語分割推定モデル学習装置、単語分割装置、方法、及びプログラム Download PDFInfo
- Publication number
- JP2018206261A JP2018206261A JP2017113765A JP2017113765A JP2018206261A JP 2018206261 A JP2018206261 A JP 2018206261A JP 2017113765 A JP2017113765 A JP 2017113765A JP 2017113765 A JP2017113765 A JP 2017113765A JP 2018206261 A JP2018206261 A JP 2018206261A
- Authority
- JP
- Japan
- Prior art keywords
- word
- text
- division
- word division
- character
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
20、220 演算部
30、230 既存解析器分割結果取得部
32 単語分割モデル学習部
40、240 単語分割モデル
100 単語分割推定モデル学習装置
200 単語分割装置
232 単語分割部
Claims (8)
- テキストの文字ごとに単語分割境界が存在するか否かを表す単語分割ラベルを付与するための単語分割モデルを学習する単語分割推定モデル学習装置であって、
文字ごとに前記単語分割ラベルが付与されたテキストを受け付ける入力部と、
前記テキストを所定の文字列単位に分割した結果を取得する既存解析器分割結果取得部と、
前記テキストの文字ごとに付与された前記単語分割ラベルと、前記既存解析器分割結果取得部によって取得した前記テキストを所定の文字列単位に分割した結果とに基づいて、前記テキストの文字の各々、及び前記テキストを所定の文字列単位に分割した結果を入力として、前記テキストの各文字に付与する前記単語分割ラベルを出力とするニューラルネットワークである単語分割モデルを学習する単語分割モデル学習部と、
を含む単語分割推定モデル学習装置。 - 前記単語分割ラベルには、先頭、中間、及び末尾を表すラベルを用いる請求項1に記載の単語分割推定モデル学習装置。
- 前記所定の文字列単位は単語であって、
前記ニューラルネットワークは、文字ごとに隠れ層及び出力層を有し、
前記テキストを単語ごとに分割した結果から得られる単語の末尾文字の隠れ層の入力として、前記単語又は単語分割境界の情報を含み、
出力層の直前の隠れ層の入力として、前記テキストに付与された前記単語分割ラベルに基づいて得られた前記出力層に対応する文字までの部分の単語分割結果を用いて得られる単語連接情報を含む請求項1又は請求項2に記載の単語分割推定モデル学習装置。 - テキストの文字ごとに単語分割境界が存在するか否かを表す単語分割ラベルを付与するための単語分割モデルを用いて単語分割を行う単語分割装置であって、
前記テキストを所定の文字列単位に分割した結果を取得する既存解析器分割結果取得部と、
前記既存解析器分割結果取得部によって取得した前記テキストを所定の文字列単位に分割した結果とに基づいて、前記テキストの文字の各々、及び前記テキストを所定の文字列単位に分割した結果を入力として、前記テキストの各文字に付与する単語分割ラベルを出力とするニューラルネットワークである予め学習された前記単語分割モデルを用いて、前記テキストの各文字に対して前記単語分割ラベルを付与する単語分割部と、
を含む単語分割装置。 - テキストの文字ごとに単語分割境界が存在するか否かを表す単語分割ラベルを付与するための単語分割モデルを学習する単語分割推定モデル学習装置における単語分割推定モデル学習方法であって、
入力部が、文字ごとに前記単語分割ラベルが付与されたテキストを受け付けるステップと、
既存解析器分割結果取得部が、前記テキストを所定の文字列単位に分割した結果を取得するステップと、
単語分割モデル学習部が、前記テキストの文字ごとに付与された前記単語分割ラベルと、前記既存解析器分割結果取得部によって取得した前記テキストを所定の文字列単位に分割した結果とに基づいて、前記テキストの文字の各々、及び前記テキストを所定の文字列単位に分割した結果を入力として、前記テキストの各文字に付与する前記単語分割ラベルを出力とするニューラルネットワークである単語分割モデルを学習するステップと、
を含む単語分割推定モデル学習方法。 - 前記単語分割ラベルには、先頭、中間、及び末尾を表すラベルを用いる請求項5に記載の単語分割推定モデル学習方法。
- テキストの文字ごとに単語分割境界が存在するか否かを表す単語分割ラベルを付与するための単語分割モデルを用いて単語分割を行う単語分割装置における単語分割方法であって、
分割結果取得部が、前記テキストを所定の文字列単位に分割した結果を取得するステップと、
単語分割部が、前記分割結果取得部によって取得した前記テキストを所定の文字列単位に分割した結果とに基づいて、前記テキストの文字の各々、及び前記テキストを所定の文字列単位に分割した結果を入力として、前記テキストの各文字に付与する単語分割ラベルを出力とするニューラルネットワークである予め学習された前記単語分割モデルを用いて、前記テキストの各文字に対して前記単語分割ラベルを付与するステップと、
を含む単語分割方法。 - コンピュータを、請求項1〜請求項3のいずれか1項に記載の単語分割推定モデル学習装置、又は請求項4に記載の単語分割装置の各部として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017113765A JP6778654B2 (ja) | 2017-06-08 | 2017-06-08 | 単語分割推定モデル学習装置、単語分割装置、方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017113765A JP6778654B2 (ja) | 2017-06-08 | 2017-06-08 | 単語分割推定モデル学習装置、単語分割装置、方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018206261A true JP2018206261A (ja) | 2018-12-27 |
JP6778654B2 JP6778654B2 (ja) | 2020-11-04 |
Family
ID=64957913
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017113765A Active JP6778654B2 (ja) | 2017-06-08 | 2017-06-08 | 単語分割推定モデル学習装置、単語分割装置、方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6778654B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111062467A (zh) * | 2019-12-18 | 2020-04-24 | 开放智能机器(上海)有限公司 | 一种应用于ai异构编译器的自动切分神经网络子图方法 |
CN111476022A (zh) * | 2020-05-15 | 2020-07-31 | 湖南工商大学 | 实体特征的字符嵌入及混合lstm实体识别方法、***及介质 |
KR20200137936A (ko) * | 2019-05-29 | 2020-12-09 | 경희대학교 산학협력단 | 한국어 기반 신경망 언어 모델을 위한 어휘 목록 생성 방법 및 장치 |
CN112131866A (zh) * | 2020-09-25 | 2020-12-25 | 马上消费金融股份有限公司 | 一种分词方法、装置、设备及可读存储介质 |
CN112949298A (zh) * | 2021-02-26 | 2021-06-11 | 维沃移动通信有限公司 | 分词方法、装置、电子设备和可读存储介质 |
CN116226362A (zh) * | 2023-05-06 | 2023-06-06 | 湖南德雅曼达科技有限公司 | 一种提升搜索医院名称准确度的分词方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080221863A1 (en) * | 2007-03-07 | 2008-09-11 | International Business Machines Corporation | Search-based word segmentation method and device for language without word boundary tag |
JP2010238043A (ja) * | 2009-03-31 | 2010-10-21 | Mitsubishi Electric Corp | テキスト解析学習装置 |
-
2017
- 2017-06-08 JP JP2017113765A patent/JP6778654B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080221863A1 (en) * | 2007-03-07 | 2008-09-11 | International Business Machines Corporation | Search-based word segmentation method and device for language without word boundary tag |
JP2010238043A (ja) * | 2009-03-31 | 2010-10-21 | Mitsubishi Electric Corp | テキスト解析学習装置 |
Non-Patent Citations (3)
Title |
---|
山口 修平 外3名: "ラティス構造を学習するニューラル単語分割", 言語処理学会第23回年次大会 発表論文集 [ONLINE], JPN6020018314, 6 March 2017 (2017-03-06), JP, pages 975 - 978, ISSN: 0004278914 * |
篠原 正太 外1名: "ニューラルネットワークを用いた系列ラベリングによる単語分割手法", 第9回データ工学と情報マネジメントに関するフォーラム (第15回日本データベース学会年次大会)[ONLI, JPN6020018315, 27 February 2017 (2017-02-27), JP, pages 1 - 6, ISSN: 0004278915 * |
難波 悟史 外3名: "マイクロブログに対する文境界推定および係り受け解析", 言語処理学会第21回年次大会 発表論文集 [ONLINE], JPN6020018316, 9 March 2015 (2015-03-09), JP, pages 107 - 110, ISSN: 0004278916 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200137936A (ko) * | 2019-05-29 | 2020-12-09 | 경희대학교 산학협력단 | 한국어 기반 신경망 언어 모델을 위한 어휘 목록 생성 방법 및 장치 |
KR102354898B1 (ko) | 2019-05-29 | 2022-01-24 | 경희대학교 산학협력단 | 한국어 기반 신경망 언어 모델을 위한 어휘 목록 생성 방법 및 장치 |
CN111062467A (zh) * | 2019-12-18 | 2020-04-24 | 开放智能机器(上海)有限公司 | 一种应用于ai异构编译器的自动切分神经网络子图方法 |
CN111062467B (zh) * | 2019-12-18 | 2023-05-12 | 开放智能机器(上海)有限公司 | 一种应用于ai异构编译器的自动切分神经网络子图方法 |
CN111476022A (zh) * | 2020-05-15 | 2020-07-31 | 湖南工商大学 | 实体特征的字符嵌入及混合lstm实体识别方法、***及介质 |
CN112131866A (zh) * | 2020-09-25 | 2020-12-25 | 马上消费金融股份有限公司 | 一种分词方法、装置、设备及可读存储介质 |
CN112949298A (zh) * | 2021-02-26 | 2021-06-11 | 维沃移动通信有限公司 | 分词方法、装置、电子设备和可读存储介质 |
CN112949298B (zh) * | 2021-02-26 | 2022-10-04 | 维沃移动通信有限公司 | 分词方法、装置、电子设备和可读存储介质 |
CN116226362A (zh) * | 2023-05-06 | 2023-06-06 | 湖南德雅曼达科技有限公司 | 一种提升搜索医院名称准确度的分词方法 |
CN116226362B (zh) * | 2023-05-06 | 2023-07-18 | 湖南德雅曼达科技有限公司 | 一种提升搜索医院名称准确度的分词方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6778654B2 (ja) | 2020-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018206261A (ja) | 単語分割推定モデル学習装置、単語分割装置、方法、及びプログラム | |
CN109214386B (zh) | 用于生成图像识别模型的方法和装置 | |
CN107729322B (zh) | 分词方法及装置、建立句子向量生成模型方法及装置 | |
CN111309912B (zh) | 文本分类方法、装置、计算机设备及存储介质 | |
JP6774551B2 (ja) | 音声認識処理方法及び装置 | |
CN109947919B (zh) | 用于生成文本匹配模型的方法和装置 | |
CN106997370B (zh) | 基于作者的文本分类和转换 | |
CN105183720B (zh) | 基于rnn模型的机器翻译方法和装置 | |
CN107301170B (zh) | 基于人工智能的切分语句的方法和装置 | |
CN106503231B (zh) | 基于人工智能的搜索方法和装置 | |
BR112019004524B1 (pt) | Sistema de redes neurais, um ou mais meios de armazenamento legíveis por computador não transitório e método para gerar autorregressivamente uma sequência de saída de dados de áudio | |
CN105930432B (zh) | 序列标注工具的训练方法和装置 | |
JP6312467B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN106777957B (zh) | 不平衡数据集上生物医学多参事件抽取的新方法 | |
US20170169009A1 (en) | Apparatus and method for amending language analysis error | |
CN106547743B (zh) | 一种进行翻译的方法及其*** | |
CN108304376B (zh) | 文本向量的确定方法、装置、存储介质及电子装置 | |
WO2016112782A1 (zh) | 一种用户的生活圈提取方法及*** | |
CN109891437A (zh) | 使用神经网络处理文本序列 | |
JP2018097468A (ja) | 文分類学習装置、文分類装置、文分類学習方法、及び文分類学習プログラム | |
CN112800737B (zh) | 自然语言文本生成方法和装置以及对话*** | |
CN112069818A (zh) | 三元组预测模型生成方法、关系三元组提取方法和装置 | |
CN111144567A (zh) | 神经网络模型的训练方法及装置 | |
JP2016133956A (ja) | 形態素解析モデル生成装置、形態素解析モデル生成方法、及び、プログラム | |
CN111666965A (zh) | 改进图像识别的多级别深度特征和多匹配器融合 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190827 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200609 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200807 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200817 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201006 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201012 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6778654 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |