JP6943113B2 - 情報処理装置及び情報処理プログラム - Google Patents
情報処理装置及び情報処理プログラム Download PDFInfo
- Publication number
- JP6943113B2 JP6943113B2 JP2017184582A JP2017184582A JP6943113B2 JP 6943113 B2 JP6943113 B2 JP 6943113B2 JP 2017184582 A JP2017184582 A JP 2017184582A JP 2017184582 A JP2017184582 A JP 2017184582A JP 6943113 B2 JP6943113 B2 JP 6943113B2
- Authority
- JP
- Japan
- Prior art keywords
- label
- information
- determining
- action history
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/335—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/107—Computer-aided management of electronic mailing [e-mailing]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/38—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
- G06N5/025—Extracting rules from data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Entrepreneurship & Innovation (AREA)
- Strategic Management (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Economics (AREA)
- Computational Linguistics (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- Computer Hardware Design (AREA)
- Library & Information Science (AREA)
- Information Transfer Between Computers (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Description
本発明は、誤ったラベルを付与することによって機械学習の精度が低下してしまうことを防止する情報処理装置及び情報処理プログラムを提供することを目的としている。
請求項1の発明は、電子メール内の情報から、第1のラベルを決定する第1のラベル決定手段と、ユーザーが前記電子メールに対して行った応答の結果から、第2のラベルを決定する第2のラベル決定手段と、前記第1のラベルと前記第2のラベルとが対応しない場合、前記電子メールに付与する機械学習用の負例としての第3のラベルを決定する第3のラベル決定手段を有する情報処理装置である。
図1は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア(コンピュータ・プログラム)、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム(コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム)、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するという意味である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。なお、1つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続(データの授受、指示、データ間の参照関係、ログイン等)の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態にしたがって、又はそれまでの状況・状態にしたがって定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、2以上の値(もちろんのことながら、全ての値も含む)が同じであってもよい。また、「Aである場合、Bをする」という記載は、「Aであるか否かを判断し、Aであると判断した場合はBをする」の意味で用いる。ただし、Aであるか否かの判断が不要である場合を除く。また、「A、B、C」等のように事物を列挙した場合は、断りがない限り例示列挙であり、その1つのみを選んでいる場合(例えば、Aのみ)を含む。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク(一対一対応の通信接続を含む)等の通信手段で接続されて構成されるほか、1つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」(社会システム)にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、RAM(Random Access Memory)、外部記憶媒体、通信回線を介した記憶装置、CPU(Central Processing Unit)内のレジスタ等を含んでいてもよい。
電子メールは双方向コミュニケーション用のツールであり、送信者側の意図と受信者側の意図がある。このうち、送信者側の意図は、電子メールの内容に反映されているが、受信者側の意図は、受け取った電子メールによって起こされた行動に反映されていることが多い。この場合に、電子メールの内容だけでラベル付与を行った場合は、受信者側の意図が反映されないラベル付けとなってしまう。
また、送信者側の意図と受信者側の意図は、必ずしも一致するとは限らない。送信者側の意図と受信者側の意図が異なった場合は、教師データとして負例の意味を有するとして扱った方が機械学習の精度を高めることになる場合がある。
メールデータベース110は、メール取得モジュール115と接続されている。メールデータベース110は、対象となるメールを記憶している。
メール取得モジュール115は、メールデータベース110、メタ情報ラベル決定モジュール125と接続されている。メール取得モジュール115は、メールデータベース110から電子メールの情報(例えば、電子メールの識別情報(電子メールID:IDentification)、タイトル、本文、宛先情報(TO)、送信元情報(FROM)等)を取得し、メタ情報ラベル決定モジュール125に渡す。
メタ情報ラベル付けルール記憶モジュール120は、メタ情報ラベル決定モジュール125と接続されている。メタ情報ラベル付けルール記憶モジュール120は、ラベルとラベル付けルール(例えば、キーワード、正規表現等)を記憶している。
「電子メール内の情報」として、電子メールのタイトル、本文(人間が可読な情報)の他に、電子メールを送受信するために必要な情報を含めてもよい。送受信するために必要な情報として、例えば、電子メールID、宛先情報、送信元情報等がある。
第1のラベル決定方法として、具体的には、「第1のラベル」と「電子メール内の情報を対象として、その第1のラベルを決定するための規則」を対応させたメタ情報ラベル付けルール記憶モジュール120内の第1の規則にしたがって、第1のラベルを決定する。
アクション履歴データベース135は、アクション履歴取得モジュール140と接続されている。アクション履歴データベース135は、電子メールに対して行われたユーザーのアクションの履歴を記憶している。
アクション履歴取得モジュール140は、アクション履歴データベース135、アクション履歴ラベル決定モジュール150と接続されている。アクション履歴取得モジュール140は、アクション履歴データベース135からメールIDをキーとしてアクション(例えば、返信、転送等)の履歴を取得し、アクション履歴ラベル決定モジュール150に渡す。
アクション履歴ラベル付けルール記憶モジュール145は、アクション履歴ラベル決定モジュール150と接続されている。アクション履歴ラベル付けルール記憶モジュール145は、ラベルとラベル付けルール(例えば、アクションの名称等)を記憶する。
「電子メールの履歴」として、電子メールそのものの履歴の他に、電子メール内の情報を用いてユーザー(操作者、受信者等)が行った操作履歴を含む。操作履歴として、例えば、電子メールの返信、転送等の操作の他に、電子メール内の情報を他のアプリケーション(例えば、スケジュール管理アプリケーション等)にコピーする操作等がある。
第2のラベル決定方法として、具体的には、「第2のラベル」と「電子メールの履歴を対象として、その第2のラベルを決定するための規則」を対応させたアクション履歴ラベル付けルール記憶モジュール145内の第2の規則にしたがって、第2のラベルを決定する。
例えば、アクション履歴ラベル決定モジュール150は、ユーザーが電子メールに対して行った応答の結果から、第2のラベルを決定する。
ラベル決定モジュール155は、メタ情報ラベル決定モジュール125によって決定された第1のラベルとアクション履歴ラベル決定モジュール150によって決定された第2のラベルに基づいて、最終的なラベルである第3のラベルを決定する。
例えば、ラベル決定モジュール155は、メタ情報ラベル決定モジュール125によって決定された第1のラベルとアクション履歴ラベル決定モジュール150によって決定された第2のラベルとが対応しない場合、電子メールに付与する機械学習用の負例としての第3のラベルを決定する。
そして、ラベル決定モジュール155は、第1のラベルと第2のラベルが対応しない場合は、第3のラベルとしてその第1のラベル又はその第2のラベルのいずれかを採用するようにしてもよい。
また、ラベル決定モジュール155は、第1のラベルと第2のラベルのいずれかがラベルなしである場合は、第3のラベルとしてラベルなしではない、その第1のラベル又はその第2のラベルのいずれかを採用するようにしてもよい。
そして、ラベル決定モジュール155は、第1のラベルと第2のラベルとが対応する場合は、第3のラベルとして、その第1のラベル又はその第2のラベルを採用するようにしてもよい。ここで「第1のラベルと第2のラベルとが対応する場合」として、第1のラベルと第2のラベルとが同じである場合が該当する。
ラベル決定モジュール155は、メタ情報ラベル決定モジュール125によって決定された第1のラベルとアクション履歴ラベル決定モジュール150によって決定された第2のラベルから、電子メールに付与する機械学習用の第3のラベルを決定する。
第3のラベル決定方法として、具体的には、「第1のラベル」と「第2のラベル」の組と「第3のラベル」を対応させた第3の規則にしたがって、ラベルを決定する。そして、その第3のラベルが、教師データとして正例であるか、負例であるかを示す情報を付加してもよい。
また、ラベル決定モジュール155は、第1のラベルと第2のラベルが同じである場合は、第3のラベルとして、その第1のラベル又はその第2のラベルを採用するようにしてもよい。
そして、ラベル決定モジュール155は、第1のラベルと第2のラベルの両方がラベルなしである場合は、第3のラベルはラベルなしとしてもよい。「ラベルなし」となるのは、メタ情報ラベル付けルール記憶モジュール120内の第1の規則、アクション履歴ラベル付けルール記憶モジュール145内の第2の規則に該当しない場合である。
また、ラベル決定モジュール155は、第1のラベルと第2のラベルが異なる場合は、第3のラベルとして、その第1のラベル又はその第2のラベルのいずれかを採用するようにしてもよい。
また、ラベル決定モジュール155は、第1のラベルと第2のラベルが異なる場合は、第3のラベルとして、その第2のラベルを採用するようにしてもよい。これは、受信者によるアクションを重視した判断である。
また、ラベル決定モジュール155は、第1のラベルと第2のラベルのいずれかがラベルなしである場合(一方がラベルなしであり、他方がラベルなしではない(何らかのラベルあり)場合)は、第3のラベルとしてラベルなしではない、その第1のラベル又はその第2のラベルのいずれか(何らかのラベルがある他方のラベル)を採用するようにしてもよい。
ラベル決定モジュール155は、第1のラベルと第2のラベルの両方が同じである場合は、第3のラベルは正例であることを決定するようにしてもよい。
そして、ラベル決定モジュール155は、第1のラベルと第2のラベルが異なる場合は、第3のラベルは負例であることを決定するようにしてもよい。
また、ラベル決定モジュール155における決定処理として、第1のラベルと第2のラベルが異なる場合として、その第1のラベルとその第2のラベルのいずれか一方がラベルなしである場合を含むようにしてもよい。
情報処理装置100、ユーザー端末210A、ユーザー端末210B、ユーザー端末210C、メール処理装置220、機械学習装置230は、通信回線290を介してそれぞれ接続されている。通信回線290は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのインターネット、イントラネット等であってもよい。また、情報処理装置100、メール処理装置220、機械学習装置230による機能は、クラウドサービスとして実現してもよい。
メール処理装置220は、電子メールの転送にかかわる処理を行う。例えば、POPサーバー、SMTPサーバー、WEBメールサーバー等がある。メール処理装置220が、電子メールを収集する場合、メールデータベース110は、情報処理装置100内ではなく、メール処理装置220内にあってもよい。
メール処理装置220又は情報処理装置100が、メール処理装置220、各ユーザー端末210から電子メールに対する処理の履歴を収集し、アクション履歴データベース135に記憶させる。
機械学習装置230は、情報処理装置100の学習データデータベース160内の教師データを用いて機械学習を行う。学習データデータベース160は、情報処理装置100内ではなく、機械学習装置230内にあってもよい。機械学習として、例えば、ニューラル・ネットワーク、決定木、サポートベクタマシン等の識別器を用いるようにしてもよい。
一般的に、教師データ作成のコストは大きい。例えば、人手で教師データを作成すると、コストが大きくなってしまう。また、見出し語を利用して自動的に教師データを作成する手法では、見出し語が必ずしも本文テキストの内容を表しているとは限らず、アノテーションの品質が悪い。例えば、電子メールのような双方向コミュニケーションでは、書き手(送信者)がつけた件名(見出し語)と受け手(受信者)が認識する件名は異なる場合もある。具体的には、[重要]と書かれた電子メールの全てが受信者にとって重要とは限らない。
情報処理装置100は、教師データの作成コストを抑えながらも、教師データの品質を向上させる。
情報処理装置100は、電子メールに対するアクション(例えば、返信、転送、タスク付与、共有、スケジュール登録等)やメタ情報(受信者数、添付ファイルの有無等)を加えて考慮することで、教師データの品質を向上させる。
例えば、電子メールにおいて、件名にラベルに関連したキーワード(表現)を含むものである場合、その電子メールは正例である可能性が高い。具体的には、件名が「[重要]○○」、「[要返信]△△」等である場合は、前者は「重要」な電子メールである場合が高く、後者は「要返信」な電子メールである場合が高い。
そして、ラベルに関連したアクションを実施した電子メールは、正例である可能性がさらに高い。例えば、「要返信」の電子メール(第3のラベルとして「要返信」が付与されるべき電子メール)である場合、その電子メールに対してのアクションとして「返信」が行われ、「重要」な電子メール(第3のラベルとして「重要」が付与されるべき電子メール)である場合、その電子メールに対してのアクションとして「返信」、「転送」、「タスク付与」が行われ、「日程調整」の電子メール(第3のラベルとして「日程調整」が付与されるべき電子メール)である場合、その電子メールに対してのアクションとして「返信」、「カレンダー登録」が行われる可能性が高い。
そこで、情報処理装置100は、電子メール内の情報から第1のラベルを決定し、その電子メールに対するアクションから第2のラベルを決定し、第1のラベルと第2のラベルの両方を用いて、その電子メールに付与すべきラベル(第3のラベル)を決定している。
ステップS302では、メール取得モジュール115は、メールデータベース110から電子メールを取得する。例えば、メールデータベース110内にメール情報テーブル400が記憶されており、いずれかの行(電子メール)を選択する。
図4は、メール情報テーブル400のデータ構造例を示す説明図である。メール情報テーブル400は、メールID欄410、タイトル欄420、送信者欄430、受信者欄440、添付ファイル欄450を有している。メールID欄410は、本実施の形態において、電子メールを一意に識別するための情報(メールID)を記憶している。タイトル欄420は、そのメールのタイトルを記憶している。送信者欄430は、その電子メールの送信者を記憶している。受信者欄440は、その電子メールの受信者を記憶している。添付ファイル欄450は、そのメールの添付ファイルを記憶している。
例えば、図4では、メール1の電子メールは、タイトル:「[重要]○○の仕様変更」であり、送信者:「ユーザーA」、受信者:「ユーザーB、C、D」、添付ファイル:「仕様書.pdf」であり、メール2の電子メールは、タイトル:「[重要]セミナーのご案内」であり、送信者:「ユーザーA」、受信者:「ユーザーB、C、D」、添付ファイル:「セミナー資料.pptx」であり、メール3の電子メールは、タイトル:「3/21週報」であり、送信者:「ユーザーA」、受信者:「ユーザーD、E、F」、添付ファイル:「なし」である。
図5は、メタ情報ラベル付けルールテーブル500のデータ構造例を示す説明図である。メタ情報ラベル付けルールテーブル500は、ルールID欄510、ラベル欄520、ルール欄530を有している。ルールID欄510は、本実施の形態において、ルールを一意に識別するための情報(ルールID)を記憶している。ラベル欄520は、そのルールが適合した場合のラベルを記憶している。ルール欄530は、ルールを記憶している。
例えば、図5では、ルール1は、第1のラベル:「重要」と決定するのに、「タイトルに“[重要]”,“[緊急]”を含み、添付ファイルが存在する」に適合することを条件としている。ルール2は、第1のラベル:「日程調整」と決定するのに、「タイトルに“[確定]”と日付表現を含む」に適合することを条件としている。ルール3は、第1のラベル:「要返信」と決定するのに、「タイトルに“[要返信]”又は“[返信希望]”を含む」に適合することを条件としている。
メール1:ルール1に適合するため、“重要”ラベルが付与される。
メール2:ルール1に適合するため、“重要”ラベルが付与される。
メール3:ルール1、2いずれにも適合せず、“ラベルなし”が付与される。
図6は、アクション履歴情報テーブル600のデータ構造例を示す説明図である。アクション履歴情報テーブル600は、メールID欄610、操作者欄620、アクション欄630を有している。メールID欄610は、メールIDを記憶している。操作者欄620は、そのメールに対する操作者(一般的には、受信者)を記憶している。アクション欄630は、そのメールに対するアクションを記憶している。
例えば、図6では、メール1に対して、操作者:「ユーザーB」によって、アクション:「返信」が行われ、メール1に対して、操作者:「ユーザーC」によって、アクション:「転送」が行われ、メール2に対して、操作者:「ユーザーD」によって、アクション:「返信」が行われ、メール3に対して、操作者:「ユーザーF」によって、アクション:「返信」が行われたことを示している。
図7は、アクション履歴ラベル付けルールテーブル700のデータ構造例を示す説明図である。アクション履歴ラベル付けルールテーブル700は、ルールID欄710、ラベル欄720、ルール欄730を有している。ルールID欄710は、ルールIDを記憶している。ラベル欄720は、そのルールが適合した場合のラベルを記憶している。ルール欄730は、ルールを記憶している。
例えば、図7では、ルールA1は、第2のラベル:「重要」と決定するのに、「返信・転送を行った受信者が半数以上である」に適合することを条件としている。ルールA2は、第2のラベル:「日程調整」と決定するのに、「受信者がカレンダーに登録」に適合することを条件としている。また、この他に、例えば、第2のラベル:「要返信」と決定するのに、「返信を行った受信者が半数以上である」に適合することを条件としているルールを付加してもよい。
メール1:ルールA1に適合するため、“重要”ラベルが付与される。
メール2:ルールA1、A2いずれにも適合せず、“ラベルなし”が付与される。
メール3:ルールA1、A2いずれにも適合せず、“ラベルなし”が付与される。
(X1) 例えば、(1)メタ情報に基づくラベルとアクション履歴に基づくラベルが同じである場合は、最終的なラベルとして、そのメタ情報に基づくラベル又はそのアクション履歴に基づくラベル(両者は同じであるので、いずれを採用しても同じである)を採用し、(2)メタ情報に基づくラベルとアクション履歴に基づくラベルの両方がラベルなしである場合は、最終的なラベルはラベルなしとし、(3)メタ情報に基づくラベルとアクション履歴に基づくラベルのいずれかがラベルなしである場合は、最終的なラベルとしてラベルなしではない、そのメタ情報に基づくラベル又はそのアクション履歴に基づくラベルのいずれかを採用するルールを適用した場合の処理結果として、学習データテーブル800を生成する。
図8は、学習データテーブル800のデータ構造例を示す説明図である。学習データテーブル800は、メールID欄810、メタ情報に基づくラベル欄820、アクション履歴に基づくラベル欄830、最終的なラベル欄840を有している。メールID欄810は、メールIDを記憶している。メタ情報に基づくラベル欄820は、メタ情報に基づくラベル(第1のラベル)を記憶している。アクション履歴に基づくラベル欄830は、アクション履歴に基づくラベル(第2のラベル)を記憶している。最終的なラベル欄840は、最終的なラベル(第3のラベル)を記憶している。
例えば、メール1は、メタ情報に基づくラベル:「重要」、アクション履歴に基づくラベル:「重要」、最終的なラベル:「重要」であり、メール2は、メタ情報に基づくラベル:「重要」、アクション履歴に基づくラベル:「ラベルなし」、最終的なラベル:「重要」であり、メール3は、メタ情報に基づくラベル:「ラベルなし」、アクション履歴に基づくラベル:「ラベルなし」、最終的なラベル:「ラベルなし」である。
つまり、以下のようになっている。
メール1:いずれも“重要”ラベルが付与されているため、“重要”ラベルを付与する。
メール2:メタ情報に基づいたラベルが“重要”となっているため、“重要”ラベルを付与する。
メール3:いずれも“ラベルなし”が付与されているため、“ラベルなし”(学習データに用いない)を付与する。
図9は、学習データテーブル900のデータ構造例を示す説明図である。
学習データテーブル900は、メールID欄910、メタ情報に基づくラベル欄920、アクション履歴に基づくラベル欄930、最終的なラベル欄940を有している。メールID欄910は、ルールIDを記憶している。メタ情報に基づくラベル欄920は、メタ情報に基づくラベル(第1のラベル)を記憶している。アクション履歴に基づくラベル欄930は、アクション履歴に基づくラベル(第2のラベル)を記憶している。最終的なラベル欄940は、最終的なラベル(第3のラベル)を記憶している。
例えば、メール1は、メタ情報に基づくラベル:「重要」、アクション履歴に基づくラベル:「重要」、最終的なラベル:「重要」であり、メール2は、メタ情報に基づくラベル:「重要」、アクション履歴に基づくラベル:「ラベルなし」、最終的なラベル:「ラベルなし」であり、メール3は、メタ情報に基づくラベル:「ラベルなし」、アクション履歴に基づくラベル:「ラベルなし」、最終的なラベル:「重要」である。
つまり、以下のようになっている。
メール1:いずれも“重要”ラベルが付与されているため、“重要”ラベルを付与する。
メール2:異なっており、アクション履歴に基づくラベルが“ラベルなし”となっているため、“ラベルなし”(学習データに用いない)を付与する。
メール3:いずれも“ラベルなし”が付与されているため、“ラベルなし”(学習データに用いない)を付与する。
例えば、(1)メタ情報に基づくラベルとアクション履歴に基づくラベルが同じである場合は、最終的なラベルとして、そのメタ情報に基づくラベル又はそのアクション履歴に基づくラベル(両者は同じであるので、いずれを採用しても同じである)を採用し、(2)メタ情報に基づくラベルとアクション履歴に基づくラベルの両方がラベルなしである場合は、最終的なラベルはラベルなしとし、(3)メタ情報に基づくラベルとアクション履歴に基づくラベルのいずれかがラベルなしである場合は、最終的なラベルとしてラベルなしではない、そのメタ情報に基づくラベル又はそのアクション履歴に基づくラベルのいずれかを採用し、(4)メタ情報に基づくラベルとアクション履歴に基づくラベルの両方が同じである場合は、最終的なラベルは正例とし、(5)メタ情報に基づくラベルとアクション履歴に基づくラベルが異なる場合(一方がラベルなしを含む)は、最終的なラベルは負例とするルールを適用した場合の処理結果として、学習データテーブル1000を生成する。
図10は、学習データテーブル1000のデータ構造例を示す説明図である。学習データテーブル1000は、メールID欄1010、メタ情報に基づくラベル欄1020、アクション履歴に基づくラベル欄1030、最終的なラベル欄1040、正例/負例欄1050を有している。メールID欄1010は、ルールIDを記憶している。メタ情報に基づくラベル欄1020は、メタ情報に基づくラベル(第1のラベル)を記憶している。アクション履歴に基づくラベル欄1030は、アクション履歴に基づくラベル(第2のラベル)を記憶している。最終的なラベル欄1040は、最終的なラベル(第3のラベル)を記憶している。正例/負例欄1050は、正例又は負例のどちらであるかを記憶している。
例えば、メール1は、メタ情報に基づくラベル:「重要」、アクション履歴に基づくラベル:「重要」、最終的なラベル:「重要」、正例/負例:「正例」であり、メール2は、メタ情報に基づくラベル:「重要」、アクション履歴に基づくラベル:「ラベルなし」、最終的なラベル:「重要」、正例/負例:「負例」であり、メール3は、メタ情報に基づくラベル:「ラベルなし」、アクション履歴に基づくラベル:「ラベルなし」、最終的なラベル:「ラベルなし」、正例/負例:「−(ヌル)」である。
つまり、以下のようになっている。
メール1:いずれも“重要”ラベルが付与されているため、正例の“重要”ラベルを付与する。
メール2:メタ情報に基づいたラベルが“重要”となっており、アクション履歴に基づくラベルが“ラベルなし”となっているため、負例の“重要”を付与する。
メール3:いずれも“ラベルなし”が付与されているため、“ラベルなし”(学習データに用いない)を付与する。
機械学習では学習データに正例と近い負例(ニアミス事例)があると高い精度を達成しやすいため、メール3を負例とするよりもメール2を負例とした方が精度が高まる可能性が高い。
図11は、学習データテーブル1100のデータ構造例を示す説明図である。学習データテーブル1100は、メールID欄1110、メタ情報に基づくラベル欄1120、アクション履歴に基づくラベル欄1130、最終的なラベル欄1140、正例/負例欄1150を有している。メールID欄1110は、ルールIDを記憶している。メタ情報に基づくラベル欄1120は、メタ情報に基づくラベル(第1のラベル)を記憶している。アクション履歴に基づくラベル欄1130は、アクション履歴に基づくラベル(第2のラベル)を記憶している。最終的なラベル欄1140は、最終的なラベル(第3のラベル)を記憶している。正例/負例欄1150は、正例又は負例のどちらであるかを記憶している。
例えば、メール1は、メタ情報に基づくラベル:「重要」、アクション履歴に基づくラベル:「重要」、最終的なラベル:「重要」、正例/負例:「正例」であり、メール2は、メタ情報に基づくラベル:「重要」、アクション履歴に基づくラベル:「ラベルなし」、最終的なラベル:「ラベルなし」、正例/負例:「−(ヌル)」であり、メール3は、メタ情報に基づくラベル:「ラベルなし」、アクション履歴に基づくラベル:「ラベルなし」、最終的なラベル:「重要」、正例/負例:「負例」である。
つまり、以下のようになっている。
メール1:いずれも“重要”ラベルが付与されているため、正例の“重要”ラベルを付与する。
メール2:異なっており、アクション履歴に基づくラベルが“ラベルなし”となっているため、“ラベルなし”(学習データに用いない)を付与する。
メール3:いずれも“ラベルなし”が付与されているため、対象としているラベルの“重要”(負例)を付与する。
また、(1)ステップS302とステップS304の処理、(2)ステップS306とステップS308の処理については、いずれを先に行ってもよいし、並列して行ってもよい。
なお、図12に示すハードウェア構成は、1つの構成例を示すものであり、本実施の形態は、図12に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア(例えば特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)等)で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続している形態でもよく、さらに図12に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、携帯情報通信機器(携帯電話、スマートフォン、モバイル機器、ウェアラブルコンピュータ等を含む)、情報家電、ロボット、複写機、ファックス、スキャナ、プリンタ、複合機(スキャナ、プリンタ、複写機、ファックス等のいずれか2つ以上の機能を有している画像処理装置)などに組み込まれていてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD−R、DVD−RW、DVD−RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD−ROM)、CDレコーダブル(CD−R)、CDリライタブル(CD−RW)等、ブルーレイ・ディスク(Blu−ray(登録商標) Disc)、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去及び書換可能な読出し専用メモリ(EEPROM(登録商標))、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)、SD(Secure Digital)メモリーカード等が含まれる。
そして、前記のプログラムの全体又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分若しくは全部であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。
105…メタ情報処理モジュール
110…メールデータベース
115…メール取得モジュール
120…メタ情報ラベル付けルール記憶モジュール
125…メタ情報ラベル決定モジュール
130…アクション履歴処理モジュール
135…アクション履歴データベース
140…アクション履歴取得モジュール
145…アクション履歴ラベル付けルール記憶モジュール
150…アクション履歴ラベル決定モジュール
155…ラベル決定モジュール
160…学習データデータベース
210…ユーザー端末
220…メール処理装置
230…機械学習装置
290…通信回線
Claims (11)
- 電子メール内の情報から、第1のラベルを決定する第1のラベル決定手段と、
ユーザーが前記電子メールに対して行った応答の結果から、第2のラベルを決定する第2のラベル決定手段と、
前記第1のラベルと前記第2のラベルとが対応しない場合、前記電子メールに付与する機械学習用の負例としての第3のラベルを決定する第3のラベル決定手段
を有する情報処理装置。 - 前記第3のラベル決定手段は、前記第1のラベルと前記第2のラベルが対応しない場合は、前記第3のラベルとして該第1のラベル又は該第2のラベルのいずれかを採用する、
請求項1に記載の情報処理装置。 - 前記第3のラベル決定手段は、前記第1のラベルと前記第2のラベルのいずれかがラベルなしである場合は、前記第3のラベルとしてラベルなしではない該第1のラベル又は該第2のラベルのいずれかを採用する、
請求項2に記載の情報処理装置。 - 前記第1のラベルと前記第2のラベルとが対応する場合、前記電子メールに付与する機械学習用の正例としての第4のラベルを決定する第4のラベル決定手段
をさらに有する請求項1に記載の情報処理装置。 - 前記第4のラベル決定手段は、前記第1のラベルと前記第2のラベルとが対応する場合は、前記第4のラベルとして該第1のラベル又は該第2のラベルを採用する、
請求項4に記載の情報処理装置。 - 電子メール内の情報から、第1のラベルを決定する第1のラベル決定手段と、
ユーザーが前記電子メールに対して行った応答の結果から、第2のラベルを決定する第2のラベル決定手段と、
前記第1のラベルと前記第2のラベルの両方ともラベルなしである場合、前記電子メールに付与する機械学習用のラベルなしと決定する第3のラベル決定手段
を有する情報処理装置。 - 電子メール内の情報から、第1のラベルを決定する第1のラベル決定手段と、
ユーザーが前記電子メールに対して行った応答の結果から、第2のラベルを決定する第2のラベル決定手段と、
前記第1のラベルと前記第2のラベルのいずれか一方がラベルなしである場合、前記電子メールに付与する機械学習用のラベルなしと決定する第3のラベル決定手段
を有する情報処理装置。 - コンピュータを、
電子メール内の情報から、第1のラベルを決定する第1のラベル決定手段と、
ユーザーが前記電子メールに対して行った応答の結果から、第2のラベルを決定する第2のラベル決定手段と、
前記第1のラベルと前記第2のラベルとが対応しない場合、前記電子メールに付与する機械学習用の負例としての第3のラベルを決定する第3のラベル決定手段
として機能させるための情報処理プログラム。 - 前記第1のラベルと前記第2のラベルとが対応する場合、前記電子メールに付与する機械学習用の正例としての第4のラベルを決定する第4のラベル決定手段
をさらに機能させる請求項8に記載の情報処理プログラム。 - コンピュータを、
電子メール内の情報から、第1のラベルを決定する第1のラベル決定手段と、
ユーザーが前記電子メールに対して行った応答の結果から、第2のラベルを決定する第2のラベル決定手段と、
前記第1のラベルと前記第2のラベルの両方ともラベルなしである場合、前記電子メールに付与する機械学習用のラベルなしと決定する第3のラベル決定手段
として機能させるための情報処理プログラム。 - コンピュータを、
電子メール内の情報から、第1のラベルを決定する第1のラベル決定手段と、
ユーザーが前記電子メールに対して行った応答の結果から、第2のラベルを決定する第2のラベル決定手段と、
前記第1のラベルと前記第2のラベルのいずれか一方がラベルなしである場合、前記電子メールに付与する機械学習用のラベルなしと決定する第3のラベル決定手段
として機能させるための情報処理プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017184582A JP6943113B2 (ja) | 2017-09-26 | 2017-09-26 | 情報処理装置及び情報処理プログラム |
US15/963,986 US10909155B2 (en) | 2017-09-26 | 2018-04-26 | Information processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017184582A JP6943113B2 (ja) | 2017-09-26 | 2017-09-26 | 情報処理装置及び情報処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019061419A JP2019061419A (ja) | 2019-04-18 |
JP6943113B2 true JP6943113B2 (ja) | 2021-09-29 |
Family
ID=65807533
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017184582A Active JP6943113B2 (ja) | 2017-09-26 | 2017-09-26 | 情報処理装置及び情報処理プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10909155B2 (ja) |
JP (1) | JP6943113B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7334478B2 (ja) * | 2019-06-04 | 2023-08-29 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及びプログラム |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3631149B2 (ja) * | 2001-01-23 | 2005-03-23 | 株式会社ジャストシステム | 電子メール送受信装置、電子メール送受信システム、電子メール送受信方法、電子メール送受信方法をコンピュータに実行させるプログラム、およびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2004288111A (ja) | 2003-03-25 | 2004-10-14 | Sony Ericsson Mobilecommunications Japan Inc | メール装置、メールサーバおよびメーラープログラム |
EP1790112A2 (en) * | 2004-09-07 | 2007-05-30 | Philippe J. M. Coueignoux | Controlling electronic messages |
US20100241476A1 (en) * | 2006-07-27 | 2010-09-23 | Dudley Fitzpatrick | Apparatuses, Methods and Systems For A Volunteer Sponsor Charity Nexus |
US8090600B2 (en) * | 2006-07-31 | 2012-01-03 | Insight Catastrophe Solutions | Apparatuses, methods, and systems for building a risk evaluation product |
EP2096585A4 (en) * | 2006-12-11 | 2017-11-15 | NEC Corporation | Active studying system, active studying method and active studying program |
JP2010056682A (ja) * | 2008-08-26 | 2010-03-11 | National Institute Of Information & Communication Technology | 電子メール受信装置及び電子メール受信方法、電子メール送信装置及び電子メール送信方法、メール送信サーバ |
JP5288959B2 (ja) * | 2008-09-17 | 2013-09-11 | 三菱電機株式会社 | データ分類装置及びコンピュータプログラム |
US8397222B2 (en) * | 2008-12-05 | 2013-03-12 | Peter D. Warren | Any-to-any system for doing computing |
JP5395461B2 (ja) | 2009-02-27 | 2014-01-22 | 株式会社東芝 | 情報推薦装置、情報推薦方法および情報推薦プログラム |
JP2011034417A (ja) * | 2009-08-04 | 2011-02-17 | Kddi Corp | 迷惑メール判定装置及び迷惑メール判定方法及び迷惑メール判定プログラム |
JP5742598B2 (ja) | 2011-08-31 | 2015-07-01 | 富士ゼロックス株式会社 | 含意関係判定装置及びプログラム |
US9218574B2 (en) * | 2013-05-29 | 2015-12-22 | Purepredictive, Inc. | User interface for machine learning |
US20140358828A1 (en) * | 2013-05-29 | 2014-12-04 | Purepredictive, Inc. | Machine learning generated action plan |
US20200067861A1 (en) * | 2014-12-09 | 2020-02-27 | ZapFraud, Inc. | Scam evaluation system |
US11301477B2 (en) * | 2017-05-12 | 2022-04-12 | Apple Inc. | Feedback analysis of a digital assistant |
US10395659B2 (en) * | 2017-05-16 | 2019-08-27 | Apple Inc. | Providing an auditory-based interface of a digital assistant |
-
2017
- 2017-09-26 JP JP2017184582A patent/JP6943113B2/ja active Active
-
2018
- 2018-04-26 US US15/963,986 patent/US10909155B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10909155B2 (en) | 2021-02-02 |
JP2019061419A (ja) | 2019-04-18 |
US20190095527A1 (en) | 2019-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9602453B2 (en) | Smart attachment to electronic messages | |
US8775455B2 (en) | Document search system which reflects the situation of using documents in the search results | |
CN104011753A (zh) | 电子邮件标签 | |
US8392511B2 (en) | Embedding a unique serial number into the content of an email for tracking information dispersion | |
US8812467B2 (en) | Information processing apparatus and computer readable medium for performing history cancellation processing | |
US10999230B2 (en) | Relevant content surfacing in computer productivity platforms | |
JP5023865B2 (ja) | 文書分類装置及び文書分類プログラム | |
JP6943113B2 (ja) | 情報処理装置及び情報処理プログラム | |
US20210295033A1 (en) | Information processing apparatus and non-transitory computer readable medium | |
JP6759720B2 (ja) | 情報処理装置及び情報処理プログラム | |
JP6596848B2 (ja) | アクセス権推定装置及びアクセス権推定プログラム | |
US20190228055A1 (en) | Information processing apparatus and non-transitory computer readable medium storing information processing program | |
JP7027696B2 (ja) | 情報処理装置及び情報処理プログラム | |
US10075613B2 (en) | Information processing apparatus, non-transitory computer readable medium, and information processing method | |
US11165737B2 (en) | Information processing apparatus for conversion between abbreviated name and formal name | |
US11316992B2 (en) | Information processing apparatus and non-transitory computer readable medium | |
JP6926402B2 (ja) | 情報処理装置及び情報処理プログラム | |
JP6497246B2 (ja) | 情報処理装置及び情報処理プログラム | |
JP2017162138A (ja) | 情報処理装置及び情報処理プログラム | |
JP5499914B2 (ja) | 情報処理プログラム及び情報処理装置 | |
JP6623547B2 (ja) | 情報処理装置及び情報処理プログラム | |
JP6828287B2 (ja) | 情報処理装置及び情報処理プログラム | |
JP7131139B2 (ja) | 情報処理装置及び情報処理プログラム | |
US20220245210A1 (en) | Methods and systems for creating, storing, and maintaining custodian-based data | |
JP7419733B2 (ja) | 情報処理システム及び情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200831 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210519 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210525 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210701 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210810 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210823 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6943113 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |