JP7100747B2 - 学習データ生成方法および装置 - Google Patents
学習データ生成方法および装置 Download PDFInfo
- Publication number
- JP7100747B2 JP7100747B2 JP2021103281A JP2021103281A JP7100747B2 JP 7100747 B2 JP7100747 B2 JP 7100747B2 JP 2021103281 A JP2021103281 A JP 2021103281A JP 2021103281 A JP2021103281 A JP 2021103281A JP 7100747 B2 JP7100747 B2 JP 7100747B2
- Authority
- JP
- Japan
- Prior art keywords
- text
- learning
- data generation
- learning data
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
Description
図1は、本発明の一実施の形態であるテキスト要約システムの構成例について概要を示した図である。本実施の形態のテキスト要約システム1は、機械学習により生成した学習モデルに基づいてニュース記事等のテキスト文章の要約を自動的に生成して出力する機能を有するサーバシステムである。
図2は、本実施の形態における事前の学習処理の流れの例について概要を示したフローチャートである。学習処理では、まず、学習用前処理部11により、ニュース記事等の学習用テキスト2を読み込み、全ての記事について形態素解析を行って品詞分解を行う(S01)。形態素解析は、例えば、ChaSen(茶筌)やMeCab(和布蕪)等の一般に入手可能なものも含む各種のプログラムやライブラリを適宜用いて行うことができる。品詞分解により分割した単語や語句の情報の保持方法については特に限定されないが、例えば、学習用テキスト2における対象の単語や語句の区切りの部分に空白を挿入する「分かち書き」により学習用テキスト2に反映させるようにしてもよい。
図3は、本実施の形態における要約作成処理の流れの例について概要を示したフローチャートである。要約作成処理では、まず、前処理部16により、ニュース記事等の要約対象テキスト3を読み込み、形態素解析を行って品詞分解を行う(S11)。この処理は、図2の学習処理におけるステップS01の処理と同様である。次に、単語等に分割された状態の要約対象テキスト3に対して、図2の学習処理におけるステップS02の処理と同様の前処理を行う(S12)。このとき、要約対象テキスト3に含まれる単語等に対して置換を行った場合、置換された単語等の内容や、文章内での出現順序、位置、桁数、単位等の情報を置換データ17として記録しておく。
図4は、本実施の形態における前処理および後処理の例について概要を示した図である。ここでは、学習用テキスト2や要約対象テキスト3に各種の数値が含まれている場合の例について示している。ニュース記事等の文章には、値も桁も異なる多くの種類の数値が含まれている場合があるが、これらの語句を全て異なる語句として取り扱うと、学習用テキスト2においてサンプルが発散して膨大な数となり、語彙データ13の件数も増えるため、学習モデル15の精度が低下するとともに学習処理の負荷も増大してしまう。
Claims (7)
- 要約に係る学習モデルに基づいてテキスト文章から要約を作成するテキスト要約システムにおける前記学習モデルの機械学習による作成に用いる学習データを生成する学習データ生成方法であって、
学習データ生成処理ステップを備え、
前記テキスト要約システムは、
要約対象テキストに対して、所定の加工を行う第1の処理を実行する前処理部と、
前記前処理部により前記第1の処理がなされた前記要約対象テキストに対して、前記学習モデルに基づいて要約テキストを作成する要約作成部と、
前記要約テキストに対して、前記所定の加工の内容を復元する第2の処理を実行して出力する後処理部と、を有し、
前記第1の処理は、テキストに含まれる各語句に対して、それぞれ、当該語句の出現頻度または希少度を表す重要度を示す情報を付加する処理を含み、
前記第2の処理は、前記要約テキストにおける前記重要度を示す情報を削除する処理を含み、
前記学習データ生成処理ステップでは、原文とその要約を含む複数の学習用テキストに対して、前記第1の処理を行って学習データを生成する、
学習データ生成方法。 - 請求項1に記載の学習データ生成方法において、
前記重要度は、TF-IDF値に基づく値である、学習データ生成方法。 - 請求項2に記載の学習データ生成方法において、
前記重要度は、TF-IDF値を所定の範囲毎に区分して得られる値である、学習データ生成方法。 - 請求項1に記載の学習データ生成方法において、
前記第1の処理は、テキストに含まれる数値を所定の記号に置換する処理を含み、
前記前処理部は、前記置換の際に、前記置換の内容に係る情報を置換データとして記録し、
前記第2の処理は、前記置換データの内容に基づいて、前記要約テキストにおける前記所定の記号を対応する前記数値に置換する処理を含む、学習データ生成方法。 - 請求項1に記載の学習データ生成方法において、
前記第1の処理は、テキストに含まれる所定の品詞の語句を所定の文字列に置換する処理を含み、
前記前処理部は、前記置換の際に、前記置換の内容に係る情報を置換データとして記録し、
前記第2の処理は、前記置換データの内容に基づいて、前記要約テキストにおける前記所定の文字列を対応する前記所定の品詞の語句に置換する処理を含む、学習データ生成方法。 - 請求項1に記載の学習データ生成方法において、
前記学習データ生成処理ステップでは、前記学習用テキストにおける要約に含まれる語句のうち、所定の割合以上の語句が、前記学習用テキストにおける原文に含まれているもののみを前記学習データを作成する対象とする、学習データ生成方法。 - 要約に係る学習モデルに基づいてテキスト文章から要約を作成するテキスト要約システムにおける前記学習モデルの機械学習による作成に用いる学習データを生成する学習データ生成装置であって、
学習データ生成部を備え、
前記テキスト要約システムは、
要約対象テキストに対して、所定の加工を行う第1の処理を実行する前処理部と、
前記前処理部により前記第1の処理がなされた前記要約対象テキストに対して、前記学習モデルに基づいて要約テキストを作成する要約作成部と、
前記要約テキストに対して、前記所定の加工の内容を復元する第2の処理を実行して出力する後処理部と、を有し、
前記第1の処理は、テキストに含まれる各語句に対して、それぞれ、当該語句の出現頻度または希少度を表す重要度を示す情報を付加する処理を含み、
前記第2の処理は、前記要約テキストにおける前記重要度を示す情報を削除する処理を含み、
前記学習データ生成部は、原文とその要約を含む複数の学習用テキストに対して、前記第1の処理を行って学習データを作成する、
学習データ生成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021103281A JP7100747B2 (ja) | 2017-07-07 | 2021-06-22 | 学習データ生成方法および装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017133421A JP6902945B2 (ja) | 2017-07-07 | 2017-07-07 | テキスト要約システム |
JP2021103281A JP7100747B2 (ja) | 2017-07-07 | 2021-06-22 | 学習データ生成方法および装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017133421A Division JP6902945B2 (ja) | 2017-07-07 | 2017-07-07 | テキスト要約システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021180003A JP2021180003A (ja) | 2021-11-18 |
JP7100747B2 true JP7100747B2 (ja) | 2022-07-13 |
Family
ID=65358580
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017133421A Active JP6902945B2 (ja) | 2017-07-07 | 2017-07-07 | テキスト要約システム |
JP2021103281A Active JP7100747B2 (ja) | 2017-07-07 | 2021-06-22 | 学習データ生成方法および装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017133421A Active JP6902945B2 (ja) | 2017-07-07 | 2017-07-07 | テキスト要約システム |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP6902945B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6910061B2 (ja) * | 2017-09-01 | 2021-07-28 | 国立研究開発法人産業技術総合研究所 | テキスト生成装置、テキスト生成方法及びテキスト生成プログラム |
JP6722913B1 (ja) * | 2019-05-03 | 2020-07-15 | 株式会社医療情報技術研究所 | スローリーディング学習システム |
CN110334334B (zh) * | 2019-06-19 | 2024-05-14 | 腾讯科技(深圳)有限公司 | 一种摘要生成方法、装置及计算机设备 |
JP7276165B2 (ja) * | 2020-01-08 | 2023-05-18 | トヨタ自動車株式会社 | エージェント装置、エージェントシステム、及びエージェントプログラム |
JP2021114166A (ja) * | 2020-01-20 | 2021-08-05 | トッパン・フォームズ株式会社 | 文書管理・閲覧システムとその注釈文生成表示方法 |
JP2021114167A (ja) * | 2020-01-20 | 2021-08-05 | トッパン・フォームズ株式会社 | 文書管理・閲覧システムとその注釈文表示方法 |
CN111460135B (zh) * | 2020-03-31 | 2023-11-07 | 北京百度网讯科技有限公司 | 用于生成文本摘要的方法和装置 |
CN112784585A (zh) * | 2021-02-07 | 2021-05-11 | 新华智云科技有限公司 | 金融公告的摘要提取方法与摘要提取终端 |
KR102436549B1 (ko) * | 2022-07-20 | 2022-08-25 | (주) 유비커스 | 딥러닝을 이용한 자연어처리 기반의 faq 및 챗봇을 위한 학습데이터를 자동으로 생성하기 위한 방법 및 이를 위한 장치 |
KR102520167B1 (ko) * | 2022-11-14 | 2023-04-14 | (주)액션파워 | 비-대화형 텍스트 정보를 활용하여 대화 요약을 위한 학습 데이터를 생성하는 방법 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005292958A (ja) | 2004-03-31 | 2005-10-20 | National Institute Of Information & Communication Technology | 教師データ作成装置およびプログラム、言語解析処理装置およびプログラム、ならびに要約処理装置およびプログラム |
JP2006178978A (ja) | 2004-12-21 | 2006-07-06 | Palo Alto Research Center Inc | ユーザ関心反映型検索結果指示子使用及び作成システム及び方法 |
JP2008250887A (ja) | 2007-03-30 | 2008-10-16 | Kyushu Institute Of Technology | 情報抽出装置、その方法及びプログラム |
JP2010237871A (ja) | 2009-03-30 | 2010-10-21 | Nomura Research Institute Ltd | 年表自動作成システム、方法及びそのプログラム |
JP2011138306A (ja) | 2009-12-28 | 2011-07-14 | National Institute Of Information & Communication Technology | 文書要約装置、文書処理装置、文書要約方法、文書処理方法、及びプログラム |
JP2013167985A (ja) | 2012-02-15 | 2013-08-29 | Nomura Research Institute Ltd | 談話要約生成システムおよび談話要約生成プログラム |
US20150339288A1 (en) | 2014-05-23 | 2015-11-26 | Codeq Llc | Systems and Methods for Generating Summaries of Documents |
-
2017
- 2017-07-07 JP JP2017133421A patent/JP6902945B2/ja active Active
-
2021
- 2021-06-22 JP JP2021103281A patent/JP7100747B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005292958A (ja) | 2004-03-31 | 2005-10-20 | National Institute Of Information & Communication Technology | 教師データ作成装置およびプログラム、言語解析処理装置およびプログラム、ならびに要約処理装置およびプログラム |
JP2006178978A (ja) | 2004-12-21 | 2006-07-06 | Palo Alto Research Center Inc | ユーザ関心反映型検索結果指示子使用及び作成システム及び方法 |
JP2008250887A (ja) | 2007-03-30 | 2008-10-16 | Kyushu Institute Of Technology | 情報抽出装置、その方法及びプログラム |
JP2010237871A (ja) | 2009-03-30 | 2010-10-21 | Nomura Research Institute Ltd | 年表自動作成システム、方法及びそのプログラム |
JP2011138306A (ja) | 2009-12-28 | 2011-07-14 | National Institute Of Information & Communication Technology | 文書要約装置、文書処理装置、文書要約方法、文書処理方法、及びプログラム |
JP2013167985A (ja) | 2012-02-15 | 2013-08-29 | Nomura Research Institute Ltd | 談話要約生成システムおよび談話要約生成プログラム |
US20150339288A1 (en) | 2014-05-23 | 2015-11-26 | Codeq Llc | Systems and Methods for Generating Summaries of Documents |
Also Published As
Publication number | Publication date |
---|---|
JP6902945B2 (ja) | 2021-07-14 |
JP2019016181A (ja) | 2019-01-31 |
JP2021180003A (ja) | 2021-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7100747B2 (ja) | 学習データ生成方法および装置 | |
US11334608B2 (en) | Method and system for key phrase extraction and generation from text | |
US9495358B2 (en) | Cross-language text clustering | |
KR20180048624A (ko) | 질의 응답 시스템의 훈련 장치 및 그것을 위한 컴퓨터 프로그램 | |
JP5071373B2 (ja) | 言語処理装置、言語処理方法および言語処理用プログラム | |
JP7139728B2 (ja) | 分類方法、装置、及びプログラム | |
Abid et al. | Urdu word sense disambiguation using machine learning approach | |
EP1503295A1 (en) | Text generation method and text generation device | |
Pirovani et al. | Studying the adaptation of Portuguese NER for different textual genres | |
Nair et al. | Sanskrit stemmer design: A literature perspective | |
JP2018181259A (ja) | 対話ルール照合装置、対話装置、対話ルール照合方法、対話方法、対話ルール照合プログラム、及び対話プログラム | |
KR102519955B1 (ko) | 토픽 키워드의 추출 장치 및 방법 | |
Mammadov et al. | Part-of-speech tagging for azerbaijani language | |
JPWO2009113289A1 (ja) | 新規事例生成装置、新規事例生成方法及び新規事例生成用プログラム | |
JP5500636B2 (ja) | 句テーブル生成器及びそのためのコンピュータプログラム | |
JP2006004366A (ja) | 機械翻訳システム及びそのためのコンピュータプログラム | |
JP7131130B2 (ja) | 分類方法、装置、及びプログラム | |
US20210073258A1 (en) | Information processing apparatus and non-transitory computer readable medium | |
JP3471253B2 (ja) | 文書分類方法、文書分類装置、および文書分類プログラムを記録した記録媒体 | |
JP6067616B2 (ja) | 発話生成手法学習装置、発話生成手法選択装置、発話生成手法学習方法、発話生成手法選択方法、プログラム | |
JP2018077604A (ja) | 機能記述からの実現手段・方法の侵害候補を自動特定する人工知能装置 | |
CN113158693A (zh) | 基于汉语关键词的维吾尔语关键词生成方法、装置、电子设备及存储介质 | |
JP2006190072A (ja) | 自動換言装置、自動換言方法及び換言処理プログラム | |
US11783112B1 (en) | Framework agnostic summarization of multi-channel communication | |
US20230359837A1 (en) | Multilingual summarization of episodes using longformers |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210721 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220531 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220607 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220701 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7100747 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |