JP6621514B1 - 要約作成装置、要約作成方法、及びプログラム - Google Patents
要約作成装置、要約作成方法、及びプログラム Download PDFInfo
- Publication number
- JP6621514B1 JP6621514B1 JP2018202347A JP2018202347A JP6621514B1 JP 6621514 B1 JP6621514 B1 JP 6621514B1 JP 2018202347 A JP2018202347 A JP 2018202347A JP 2018202347 A JP2018202347 A JP 2018202347A JP 6621514 B1 JP6621514 B1 JP 6621514B1
- Authority
- JP
- Japan
- Prior art keywords
- appearance
- document
- degree
- algorithm
- elements
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 37
- 238000010606 normalization Methods 0.000 claims abstract description 73
- 238000001914 filtration Methods 0.000 claims description 81
- 238000009826 distribution Methods 0.000 claims description 38
- 238000000605 extraction Methods 0.000 claims description 38
- 239000000284 extract Substances 0.000 claims description 23
- 238000013459 approach Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 abstract description 11
- 230000006870 function Effects 0.000 description 13
- 238000013500 data storage Methods 0.000 description 12
- 230000014509 gene expression Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000003058 natural language processing Methods 0.000 description 4
- 238000002360 preparation method Methods 0.000 description 3
- 230000004308 accommodation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000002759 z-score normalization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/3332—Query translation
- G06F16/3334—Selection or weighting of terms from queries, including natural language queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/34—Browsing; Visualisation therefor
- G06F16/345—Summarisation for human users
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/253—Grammatical analysis; Style critique
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
以下、本発明に関わる要約作成システムの実施形態の例を説明する。図1は、要約作成システムの全体構成を示す図である。図1に示すように、要約作成システム1は、サーバ10、店舗端末20、及びユーザ端末30を含み、これらはインターネット等のネットワークNに接続される。なお、図1では、サーバ10、店舗端末20、及びユーザ端末30の各々を1台ずつ示しているが、これらは複数台あってもよい。
要約作成システム1は、自然言語処理を行う、互いに異なる複数のアルゴリズムを使用して、文書の要約を作成する。要約作成システム1で用いられるアルゴリズムは、文書を解析して、当該文書から1又は複数の要素を抽出し、抽出された要素の各々の出現度を取得するものである。このようなアルゴリズムは、種々のものが知られており、文書の性質に応じて任意の既知の又は新規なアルゴリズムを使用してよい。本実施形態では、BG、NE、SD、SF、Tf−Idf(Term frequency−Inverse document frequency)、及び属性抽出法の6つを使用する場合を例に挙げて説明する。これらのアルゴリズムは、教師データに基づく学習を必要としない非学習モデル(教師なしモデル)であり、言語的特徴に基づいて文書内の語を解析する。これらのアルゴリズムの概要は後述する。
図3は、要約作成システム1で実現される機能の一例を示す機能ブロック図であり、図4は、図3に示す各機能により実行される処理の説明図である。図3に示すように、要約作成システム1では、データ記憶部100、取得部101、正規化部102、フィルタリング部103、選択部104、及び作成部105が実現される。本実施形態では、これら各機能がサーバ10により実現される場合を説明する。
データ記憶部100は、メモリ12を主として実現される。データ記憶部100は、要約を作成するために必要なデータを記憶する。ここでは、データ記憶部100が記憶するデータの一例として、商品データベースDB1と、属性データベースDB2と、について説明する。
取得部101は、CPU11を主として実現される。取得部101は、商品の説明文から1又は複数の要素を抽出し、抽出された要素の各々の出現度を取得するアルゴリズムであって、互いに異なる複数のアルゴリズムを用いて、文書から複数の要素及びその出現度を取得する。取得部101は、アルゴリズムごとに、商品の説明文の中から要素を抽出する処理と、当該要素の出現度を計算する処理と、を実行する。
正規化部102は、CPU11を主として実現される。正規化部102は、アルゴリズムごとに、取得部101により取得された出現度wn,iを正規化する。以降、正規化後の出現度をw´n,iと記載する。
フィルタリング部103は、CPU11を主として実現される。フィルタリング部103は、正規化部102により正規化された出現度w´n,iに基づいて、要素をフィルタリングする。フィルタリング部103は、要素iの正規化された出現度w´n,iとフィルタリング条件とに基づいて、要素iをフィルタリングする。
選択部104は、CPU11を主として実現される。選択部104は、正規化部102により正規化された出現度wkに基づいて、ウェブページの中から少なくとも1つの文を選択する。選択部104により選択された文は、要約を作成するために利用される文である。選択部104は、1つだけの文を選択してもよいし、複数の文を選択してもよい。
作成部105は、CPU11を主として実現される。作成部105は、選択部104により選択された文j(即ち、sj=1であるような文j)に基づいて、商品の説明文の要約を作成する。作成部105は、選択部104により選択された文jをそのまま並べることによって要約を作成してもよいし、選択部104により選択された文jの一部を編集することによって要約を作成してもよい。なお、選択部104により選択された文jが1つだけであった場合には、作成部105は、当該1つの文jをそのまま要約としてもよいし、当該1つの文sjの一部を編集することによって要約を作成してもよい。なお、編集とは、文jの中の一部の語を削除・改変すること、文jに語を追加(挿入)することである。
図11は、要約作成システム1で実行される処理の一例を示すフロー図である。図11に示す処理は、サーバ10によって実行され、CPU11がメモリ12に記憶されたプログラムに従って動作することによって実行される。下記に説明する処理は、図3に示す機能ブロックにより実行される処理の一例である。
なお、本発明は、以上に説明した実施形態に限定されるものではない。本発明の趣旨を逸脱しない範囲で、適宜変更可能である。
Claims (11)
- 文書から1又は複数の要素を抽出し、抽出された前記要素の各々の出現度を取得するアルゴリズムであって、互いに異なる複数のアルゴリズムを用いて、前記文書から複数の前記要素及びその出現度を取得する取得手段と、
前記アルゴリズムごとに、前記取得手段により取得された出現度を正規化する正規化手段と、
前記正規化手段により正規化された出現度の分布に基づいてフィルタリング条件を設定し、当該設定されたフィルタリング条件に基づいて前記要素をフィルタリングするフィルタリング手段と、
前記フィルタリング手段によりフィルタリングされた要素の前記正規化された出現度を用いて、所定の選択条件に基づいて、前記文書の中から少なくとも1つの文を選択する選択手段と、
前記選択手段により選択された文に基づいて、前記文書の要約を作成する作成手段と、
を含むことを特徴とする要約作成装置。 - 文書から1又は複数の要素を抽出し、抽出された前記要素の各々の出現度を取得するアルゴリズムであって、互いに異なる複数のアルゴリズムを用いて、前記文書から複数の前記要素及びその出現度を取得する取得手段と、
前記アルゴリズムごとに、前記取得手段により取得された出現度を正規化する正規化手段と、
前記正規化手段により正規化された出現度に基づいて、前記文書の中から少なくとも1つの文を選択する選択手段と、
前記選択手段により選択された文に基づいて、前記文書の要約を作成する作成手段と、
を含み、
前記文書は、商品、施設、又はサービスの説明文であり、
前記複数のアルゴリズムには、前記商品、前記施設、又は前記サービスの属性の属性値を前記要素として抽出する属性抽出法を含み、
前記正規化手段は、前記属性抽出法により取得された出現度の分布が、他のアルゴリズムにより取得された正規化後の出現度の分布に近づくように、正規化を実行する、
ことを特徴とする要約作成装置。 - 前記所定の選択条件は、前記選択手段により選択される文に含まれる前記要素の前記正規化された出現度の総和が最大となり、かつ、当該選択される文が所定の分量未満になることである、
ことを特徴とする請求項1に記載の要約作成装置。 - 前記選択手段は、整数線形計画法を用いて前記文書の中から少なくとも1つの文を選択する、
ことを特徴とする請求項3に記載の要約作成装置。 - 前記フィルタリング手段は、抽出に用いられたアルゴリズムに依らず、前記正規化された出現度が上位となる所定割合の要素が抽出されるように、フィルタリングを実行する、
ことを特徴とする請求項1、3、又は4の何れかに記載の要約作成装置。 - 前記複数のアルゴリズムには、Tf−Idf(Term frequency−Inverse document frequency)法と、予め定められた属性の属性値を前記要素として抽出する属性抽出法と、の少なくとも一方が含まれる、
ことを特徴とする請求項1、3、4、又は5の何れかに記載の要約作成装置。 - 前記作成手段は、前記選択手段により選択された文を、当該文が前記文書中で出現する順番に従って並べることによって、前記要約を作成する、
ことを特徴とする請求項1〜6の何れかに記載の要約作成装置。 - 文書から1又は複数の要素を抽出し、抽出された前記要素の各々の出現度を取得するアルゴリズムであって、互いに異なる複数のアルゴリズムを用いて、前記文書から複数の前記要素及びその出現度を取得する取得ステップと、
前記アルゴリズムごとに、前記取得ステップにより取得された出現度を正規化する正規化ステップと、
前記正規化ステップにより正規化された出現度の分布に基づいてフィルタリング条件を設定し、当該設定されたフィルタリング条件に基づいて前記要素をフィルタリングするフィルタリングステップと、
前記フィルタリングステップによりフィルタリングされた要素の前記正規化された出現度を用いて、所定の選択条件に基づいて、前記文書の中から少なくとも1つの文を選択する選択ステップと、
前記選択ステップにより選択された文に基づいて、前記文書の要約を作成する作成ステップと、
を含むことを特徴とする要約作成方法。 - 文書から1又は複数の要素を抽出し、抽出された前記要素の各々の出現度を取得するアルゴリズムであって、互いに異なる複数のアルゴリズムを用いて、前記文書から複数の前記要素及びその出現度を取得する取得ステップと、
前記アルゴリズムごとに、前記取得ステップにより取得された出現度を正規化する正規化ステップと、
前記正規化ステップにより正規化された出現度に基づいて、前記文書の中から少なくとも1つの文を選択する選択ステップと、
前記選択ステップにより選択された文に基づいて、前記文書の要約を作成する作成ステップと、
を含み、
前記文書は、商品、施設、又はサービスの説明文であり、
前記複数のアルゴリズムには、前記商品、前記施設、又は前記サービスの属性の属性値を前記要素として抽出する属性抽出法を含み、
前記正規化ステップは、前記属性抽出法により取得された出現度の分布が、他のアルゴリズムにより取得された正規化後の出現度の分布に近づくように、正規化を実行する、
ことを特徴とする要約作成方法。 - 文書から1又は複数の要素を抽出し、抽出された前記要素の各々の出現度を取得するアルゴリズムであって、互いに異なる複数のアルゴリズムを用いて、前記文書から複数の前記要素及びその出現度を取得する取得手段、
前記アルゴリズムごとに、前記取得手段により取得された出現度を正規化する正規化手段、
前記正規化手段により正規化された出現度の分布に基づいてフィルタリング条件を設定し、当該設定されたフィルタリング条件に基づいて前記要素をフィルタリングするフィルタリング手段、
前記フィルタリング手段によりフィルタリングされた要素の前記正規化された出現度を用いて、所定の選択条件に基づいて、前記文書の中から少なくとも1つの文を選択する選択手段、
前記選択手段により選択された文に基づいて、前記文書の要約を作成する作成手段、
としてコンピュータを機能させるためのプログラム。 - 文書から1又は複数の要素を抽出し、抽出された前記要素の各々の出現度を取得するアルゴリズムであって、互いに異なる複数のアルゴリズムを用いて、前記文書から複数の前記要素及びその出現度を取得する取得手段、
前記アルゴリズムごとに、前記取得手段により取得された出現度を正規化する正規化手段、
前記正規化手段により正規化された出現度に基づいて、前記文書の中から少なくとも1つの文を選択する選択手段、
前記選択手段により選択された文に基づいて、前記文書の要約を作成する作成手段、
としてコンピュータを機能させるためのプログラムであって、
前記文書は、商品、施設、又はサービスの説明文であり、
前記複数のアルゴリズムには、前記商品、前記施設、又は前記サービスの属性の属性値を前記要素として抽出する属性抽出法を含み、
前記正規化手段は、前記属性抽出法により取得された出現度の分布が、他のアルゴリズムにより取得された正規化後の出現度の分布に近づくように、正規化を実行する、
プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018202347A JP6621514B1 (ja) | 2018-10-26 | 2018-10-26 | 要約作成装置、要約作成方法、及びプログラム |
US16/655,185 US11061950B2 (en) | 2018-10-26 | 2019-10-16 | Summary generating device, summary generating method, and information storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018202347A JP6621514B1 (ja) | 2018-10-26 | 2018-10-26 | 要約作成装置、要約作成方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6621514B1 true JP6621514B1 (ja) | 2019-12-18 |
JP2020067987A JP2020067987A (ja) | 2020-04-30 |
Family
ID=68917164
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018202347A Active JP6621514B1 (ja) | 2018-10-26 | 2018-10-26 | 要約作成装置、要約作成方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11061950B2 (ja) |
JP (1) | JP6621514B1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11461822B2 (en) * | 2019-07-09 | 2022-10-04 | Walmart Apollo, Llc | Methods and apparatus for automatically providing personalized item reviews |
US20220405343A1 (en) * | 2021-06-17 | 2022-12-22 | Verizon Media Inc. | Generation and presentation of summary list based upon article |
US20230214581A1 (en) * | 2022-01-06 | 2023-07-06 | Jpmorgan Chase Bank , N.A. | Systems and methods for quantum computing-based extractive summarization |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000353162A (ja) * | 1999-06-11 | 2000-12-19 | Ricoh Co Ltd | 重要文抽出装置およびその方法ならびに記憶媒体 |
US7017114B2 (en) * | 2000-09-20 | 2006-03-21 | International Business Machines Corporation | Automatic correlation method for generating summaries for text documents |
US7607083B2 (en) * | 2000-12-12 | 2009-10-20 | Nec Corporation | Test summarization using relevance measures and latent semantic analysis |
JP2004118545A (ja) * | 2002-09-26 | 2004-04-15 | Nec Corp | テキスト要約システム、テキスト要約方法、および、テキスト要約プログラム |
JP4942727B2 (ja) * | 2008-11-26 | 2012-05-30 | 日本電信電話株式会社 | テキスト要約装置、その方法およびプログラム |
WO2016175786A1 (en) * | 2015-04-29 | 2016-11-03 | Hewlett-Packard Development Company, L.P. | Author identification based on functional summarization |
JP6613644B2 (ja) * | 2015-06-17 | 2019-12-04 | 大日本印刷株式会社 | 情報処理装置、情報処理システム及びプログラム |
JP6415619B2 (ja) * | 2017-03-17 | 2018-10-31 | ヤフー株式会社 | 解析装置、解析方法、およびプログラム |
-
2018
- 2018-10-26 JP JP2018202347A patent/JP6621514B1/ja active Active
-
2019
- 2019-10-16 US US16/655,185 patent/US11061950B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20200134011A1 (en) | 2020-04-30 |
US11061950B2 (en) | 2021-07-13 |
JP2020067987A (ja) | 2020-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11048882B2 (en) | Automatic semantic rating and abstraction of literature | |
US20240028651A1 (en) | System and method for processing documents | |
Abainia et al. | A novel robust Arabic light stemmer | |
US20070220063A1 (en) | Event data translation system | |
WO2020000717A1 (zh) | 网页分类方法、装置及计算机可读存储介质 | |
US9483740B1 (en) | Automated data classification | |
JP6621514B1 (ja) | 要約作成装置、要約作成方法、及びプログラム | |
CN111428503B (zh) | 同名人物的识别处理方法及处理装置 | |
JP2020140692A (ja) | 文抽出システム、文抽出方法、及びプログラム | |
CN107908749B (zh) | 一种基于搜索引擎的人物检索***及方法 | |
JP6409071B2 (ja) | 文の並び替え方法および計算機 | |
KR20200064490A (ko) | 프로필 자동생성서버 및 방법 | |
Bartík | Text-based web page classification with use of visual information | |
JP7490241B2 (ja) | クラスタ解析方法、クラスタ解析システム、及びクラスタ解析プログラム | |
JP6260678B2 (ja) | 情報処理装置、情報処理方法、及び情報処理プログラム | |
US11900060B2 (en) | Information processing device, information processing method, and computer program product | |
KR101078978B1 (ko) | 문서 분류 시스템 | |
CN113868431A (zh) | 面向金融知识图谱的关系抽取方法、装置及存储介质 | |
JP2021101375A (ja) | 辞書構築装置、辞書の生産方法、およびプログラム | |
KR101078966B1 (ko) | 문서 분석 시스템 | |
US20230306194A1 (en) | Extensible framework for generating accessible captions for data visualizations | |
JP5690300B2 (ja) | 属性抽出装置、属性抽出方法、および属性抽出プログラム | |
Alghazal | Talent Acquisition Process Optimization Using Machine Learning in Resumes’ Ranking and Matching to Job Descriptions | |
JP2024035205A (ja) | 意見分析システム、意見分析方法、及びプログラム | |
Potvin et al. | A Position-Based Method for the Extraction of Financial Information in PDF Documents |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190820 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191021 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191112 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191119 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6621514 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |