JP6943113B2 - 情報処理装置及び情報処理プログラム - Google Patents

情報処理装置及び情報処理プログラム Download PDF

Info

Publication number
JP6943113B2
JP6943113B2 JP2017184582A JP2017184582A JP6943113B2 JP 6943113 B2 JP6943113 B2 JP 6943113B2 JP 2017184582 A JP2017184582 A JP 2017184582A JP 2017184582 A JP2017184582 A JP 2017184582A JP 6943113 B2 JP6943113 B2 JP 6943113B2
Authority
JP
Japan
Prior art keywords
label
mail
information
determining
action history
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017184582A
Other languages
English (en)
Other versions
JP2019061419A (ja
Inventor
元樹 谷口
元樹 谷口
大熊 智子
智子 大熊
友紀 谷口
友紀 谷口
翔太郎 三沢
翔太郎 三沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2017184582A priority Critical patent/JP6943113B2/ja
Priority to US15/963,986 priority patent/US10909155B2/en
Publication of JP2019061419A publication Critical patent/JP2019061419A/ja
Application granted granted Critical
Publication of JP6943113B2 publication Critical patent/JP6943113B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/335Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/107Computer-aided management of electronic mailing [e-mailing]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/38Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • G06N5/022Knowledge engineering; Knowledge acquisition
    • G06N5/025Extracting rules from data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Economics (AREA)
  • Computational Linguistics (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Computer Hardware Design (AREA)
  • Library & Information Science (AREA)
  • Information Transfer Between Computers (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

本発明は、情報処理装置及び情報処理プログラムに関する。
特許文献1には、メール作成者が件名入力を省略した場合にも自動的に件名を生成して補うことを課題とし、メール作成者が件名入力を省略した場合にも、メール作成装置は、メール本文の内容に基づいて件名要素を自動的に生成し、その際、同じメール本文の内容であっても作成時によって異なる件名要素を生成し、そのためには、例えばキーワードとこれに対応する複数の件名要素とを対応づけたテーブルを有し、本文中に当該キーワードが検出されたとき、前記テーブルで当該キーワードに対応づけられた複数の件名要素の中から所定の条件にしたがって1つの件名要素を選択してメールの件名欄に挿入し、このような件名の自動生成は、受信端末またはメールサーバで行うことも可能であることが開示されている。
特許文献2には、ユーザの関心にあったコンテンツ・サービス推薦をより自然に行うことを課題とし、関心抽出装置は、閲覧中の文書のURLが閲覧情報入力部によって受けて、本文情報から文書の主題キーワードを主題キーワード抽出部で抽出し、抽出された主題キーワードとからユーザの現在の関心を表すキーワードである関心キーワードを関心キーワード抽出部抽出して関心キーワード履歴格納部に格納し、関心キーワードに応じて、連鎖ルール格納部に格納する連鎖ルールを用いて、検索クエリを連鎖ルール適用部で生成し、連鎖ルール適用部によって生成された検索クエリを用いて次に推薦するコンテンツの候補を推薦情報取得で検索して、推薦情報提示部に提示することが開示されている。
特許文献3には、構造化文書において、見出しを示す見出しテキストと当該見出しの本文を示す本文テキストとの関係を用いて、判定対象となるそれぞれのテキストの含意関係の有無の判定を実施する技術を提供することを課題とし、制御部は、構造化文書データベースに記憶される構造化文書中から見出しテキストと本文テキストとの対を取得し、対に含まれる本文テキストの特徴量を、当該対に含まれる見出しテキスト中のテキストを教師データとして機械学習し、制御部は、第1のテキストの特徴量と、機械学習結果と、に基づいて第1のテキストの種別を示すラベルを決定し、当該ラベルに基づいて、第1のテキストと、第2のテキストと、の間の含意関係の有無を判定することが開示されている。
特開2004−288111号公報 特開2010−204735号公報 特開2013−050853号公報
電子メールを教師データとした機械学習が行われている。例えば、電子メール内の見出し語をラベルとする教師データを作成した場合、その見出し語が必ずしもその電子メールの内容を表しているとは限らない場合がある。その結果、機械学習の精度が低下してしまうことになる。
本発明は、誤ったラベルを付与することによって機械学習の精度が低下してしまうことを防止する情報処理装置及び情報処理プログラムを提供することを目的としている。
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項1の発明は、電子メール内の情報から、第1のラベルを決定する第1のラベル決定手段と、ユーザーが前記電子メールに対して行った応答の結果から、第2のラベルを決定する第2のラベル決定手段と、前記第1のラベルと前記第2のラベルとが対応しない場合、前記電子メールに付与する機械学習用の負例としての第3のラベルを決定する第3のラベル決定手段を有する情報処理装置である。
請求項2の発明は、前記第3のラベル決定手段は、前記第1のラベルと前記第2のラベルが対応しない場合は、前記第3のラベルとして該第1のラベル又は該第2のラベルのいずれかを採用する、請求項1に記載の情報処理装置である。
請求項3の発明は、前記第3のラベル決定手段は、前記第1のラベルと前記第2のラベルのいずれかがラベルなしである場合は、前記第3のラベルとしてラベルなしではない該第1のラベル又は該第2のラベルのいずれかを採用する、請求項2に記載の情報処理装置である。
請求項4の発明は、前記第1のラベルと前記第2のラベルとが対応する場合、前記電子メールに付与する機械学習用の正例としての第のラベルを決定する第のラベル決定手段をさらに有する請求項1に記載の情報処理装置である。
請求項5の発明は、前記第のラベル決定手段は、前記第1のラベルと前記第2のラベルとが対応する場合は、前記第のラベルとして該第1のラベル又は該第2のラベルを採用する、請求項4に記載の情報処理装置である。
請求項6の発明は、電子メール内の情報から、第1のラベルを決定する第1のラベル決定手段と、ユーザーが前記電子メールに対して行った応答の結果から、第2のラベルを決定する第2のラベル決定手段と、前記第1のラベルと前記第2のラベルの両方ともラベルなしである場合、前記電子メールに付与する機械学習用のラベルなしと決定する第3のラベル決定手段を有する情報処理装置である。
請求項7の発明は、電子メール内の情報から、第1のラベルを決定する第1のラベル決定手段と、ユーザーが前記電子メールに対して行った応答の結果から、第2のラベルを決定する第2のラベル決定手段と、前記第1のラベルと前記第2のラベルのいずれか一方がラベルなしである場合、前記電子メールに付与する機械学習用のラベルなしと決定する第3のラベル決定手段を有する情報処理装置である。
請求項8の発明は、コンピュータを、電子メール内の情報から、第1のラベルを決定する第1のラベル決定手段と、ユーザーが前記電子メールに対して行った応答の結果から、第2のラベルを決定する第2のラベル決定手段と、前記第1のラベルと前記第2のラベルとが対応しない場合、前記電子メールに付与する機械学習用の負例としての第3のラベルを決定する第3のラベル決定手段として機能させるための情報処理プログラムである。
請求項9の発明は、前記第1のラベルと前記第2のラベルとが対応する場合、前記電子メールに付与する機械学習用の正例としての第のラベルを決定する第のラベル決定手段をさらに機能させる請求項8に記載の情報処理プログラムである。
請求項10の発明は、コンピュータを、電子メール内の情報から、第1のラベルを決定する第1のラベル決定手段と、ユーザーが前記電子メールに対して行った応答の結果から、第2のラベルを決定する第2のラベル決定手段と、前記第1のラベルと前記第2のラベルの両方ともラベルなしである場合、前記電子メールに付与する機械学習用のラベルなしと決定する第3のラベル決定手段として機能させるための情報処理プログラムである。
請求項11の発明は、コンピュータを、電子メール内の情報から、第1のラベルを決定する第1のラベル決定手段と、ユーザーが前記電子メールに対して行った応答の結果から、第2のラベルを決定する第2のラベル決定手段と、前記第1のラベルと前記第2のラベルのいずれか一方がラベルなしである場合、前記電子メールに付与する機械学習用のラベルなしと決定する第3のラベル決定手段として機能させるための情報処理プログラムである。
請求項1の情報処理装置によれば、誤ったラベルを付与することによって機械学習の精度が低下してしまうことを防止することができる。
請求項2の情報処理装置によれば、第1のラベルと第2のラベルが対応しない場合は、第3のラベルとして第1のラベル又は第2のラベルのいずれかを負例として採用することができる。
請求項3の情報処理装置によれば、第1のラベルと第2のラベルのいずれかがラベルなしである場合であっても、第3のラベルを決定することができる。
請求項4の情報処理装置によれば、誤ったラベルを付与することによって機械学習の精度が低下してしまうことを防止することができる。
請求項5の情報処理装置によれば、第1のラベルと第2のラベルが対応する場合は、第のラベルとして第1のラベル又は第2のラベルのいずれかを正例として採用することができる。
請求項6の情報処理装置によれば、第1のラベルと第2のラベルの両方ともラベルなしである場合、電子メールに付与する機械学習用のラベルなしとすることができる。
請求項7の情報処理装置によれば、第1のラベルと第2のラベルのいずれか一方がラベルなしである場合、電子メールに付与する機械学習用のラベルなしとすることができる。
請求項8の情報処理プログラムによれば、誤ったラベルを付与することによって機械学習の精度が低下してしまうことを防止することができる。
請求項9の情報処理プログラムによれば、誤ったラベルを付与することによって機械学習の精度が低下してしまうことを防止することができる。
請求項10の情報処理プログラムによれば、第1のラベルと第2のラベルの両方ともラベルなしである場合、電子メールに付与する機械学習用のラベルなしとすることができる。
請求項11の情報処理プログラムによれば、第1のラベルと第2のラベルのいずれか一方がラベルなしである場合、電子メールに付与する機械学習用のラベルなしとすることができる。
本実施の形態の構成例についての概念的なモジュール構成図である。 本実施の形態を利用したシステム構成例を示す説明図である。 本実施の形態による処理例を示すフローチャートである。 メール情報テーブルのデータ構造例を示す説明図である。 メタ情報ラベル付けルールテーブルのデータ構造例を示す説明図である。 アクション履歴情報テーブルのデータ構造例を示す説明図である。 アクション履歴ラベル付けルールテーブルのデータ構造例を示す説明図である。 学習データテーブルのデータ構造例を示す説明図である。 学習データテーブルのデータ構造例を示す説明図である。 学習データテーブルのデータ構造例を示す説明図である。 学習データテーブルのデータ構造例を示す説明図である。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。
以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図1は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア(コンピュータ・プログラム)、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム(コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム)、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するという意味である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。なお、1つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続(データの授受、指示、データ間の参照関係、ログイン等)の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態にしたがって、又はそれまでの状況・状態にしたがって定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、2以上の値(もちろんのことながら、全ての値も含む)が同じであってもよい。また、「Aである場合、Bをする」という記載は、「Aであるか否かを判断し、Aであると判断した場合はBをする」の意味で用いる。ただし、Aであるか否かの判断が不要である場合を除く。また、「A、B、C」等のように事物を列挙した場合は、断りがない限り例示列挙であり、その1つのみを選んでいる場合(例えば、Aのみ)を含む。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク(一対一対応の通信接続を含む)等の通信手段で接続されて構成されるほか、1つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」(社会システム)にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、RAM(Random Access Memory)、外部記憶媒体、通信回線を介した記憶装置、CPU(Central Processing Unit)内のレジスタ等を含んでいてもよい。
本実施の形態である情報処理装置100は、電子メールを用いた機械学習用の教師データを生成するものであって、図1の例に示すように、メタ情報処理モジュール105、アクション履歴処理モジュール130、ラベル決定モジュール155、学習データデータベース160を有している。例えば、情報処理装置100は、電子メールの件名とアクションを手がかりとして、教師データを生成するものである。
電子メールは双方向コミュニケーション用のツールであり、送信者側の意図と受信者側の意図がある。このうち、送信者側の意図は、電子メールの内容に反映されているが、受信者側の意図は、受け取った電子メールによって起こされた行動に反映されていることが多い。この場合に、電子メールの内容だけでラベル付与を行った場合は、受信者側の意図が反映されないラベル付けとなってしまう。
また、送信者側の意図と受信者側の意図は、必ずしも一致するとは限らない。送信者側の意図と受信者側の意図が異なった場合は、教師データとして負例の意味を有するとして扱った方が機械学習の精度を高めることになる場合がある。
メタ情報処理モジュール105は、メールデータベース110、メール取得モジュール115、メタ情報ラベル付けルール記憶モジュール120、メタ情報ラベル決定モジュール125を有している。メタ情報処理モジュール105は、メタ情報に基づくラベル付与処理を行う。ここでのメタ情報は、電子メール内の情報から生成したものであり、例えば、電子メールの件名(タイトル)から、予め定められた文字列を抽出したものであってもよい。
メールデータベース110は、メール取得モジュール115と接続されている。メールデータベース110は、対象となるメールを記憶している。
メール取得モジュール115は、メールデータベース110、メタ情報ラベル決定モジュール125と接続されている。メール取得モジュール115は、メールデータベース110から電子メールの情報(例えば、電子メールの識別情報(電子メールID:IDentification)、タイトル、本文、宛先情報(TO)、送信元情報(FROM)等)を取得し、メタ情報ラベル決定モジュール125に渡す。
メタ情報ラベル付けルール記憶モジュール120は、メタ情報ラベル決定モジュール125と接続されている。メタ情報ラベル付けルール記憶モジュール120は、ラベルとラベル付けルール(例えば、キーワード、正規表現等)を記憶している。
メタ情報ラベル決定モジュール125は、メール取得モジュール115、メタ情報ラベル付けルール記憶モジュール120、ラベル決定モジュール155と接続されている。メタ情報ラベル決定モジュール125は、メール取得モジュール115から渡された電子メール内の情報から、第1のラベル(以下、メタ情報ラベルともいう)を決定する。
「電子メール内の情報」として、電子メールのタイトル、本文(人間が可読な情報)の他に、電子メールを送受信するために必要な情報を含めてもよい。送受信するために必要な情報として、例えば、電子メールID、宛先情報、送信元情報等がある。
第1のラベル決定方法として、具体的には、「第1のラベル」と「電子メール内の情報を対象として、その第1のラベルを決定するための規則」を対応させたメタ情報ラベル付けルール記憶モジュール120内の第1の規則にしたがって、第1のラベルを決定する。
アクション履歴処理モジュール130は、アクション履歴データベース135、アクション履歴取得モジュール140、アクション履歴ラベル付けルール記憶モジュール145、アクション履歴ラベル決定モジュール150を有している。アクション履歴処理モジュール130は、電子メールに関して、ユーザーが行ったアクションの履歴に基づくラベル付与処理を行う。
アクション履歴データベース135は、アクション履歴取得モジュール140と接続されている。アクション履歴データベース135は、電子メールに対して行われたユーザーのアクションの履歴を記憶している。
アクション履歴取得モジュール140は、アクション履歴データベース135、アクション履歴ラベル決定モジュール150と接続されている。アクション履歴取得モジュール140は、アクション履歴データベース135からメールIDをキーとしてアクション(例えば、返信、転送等)の履歴を取得し、アクション履歴ラベル決定モジュール150に渡す。
アクション履歴ラベル付けルール記憶モジュール145は、アクション履歴ラベル決定モジュール150と接続されている。アクション履歴ラベル付けルール記憶モジュール145は、ラベルとラベル付けルール(例えば、アクションの名称等)を記憶する。
アクション履歴ラベル決定モジュール150は、アクション履歴取得モジュール140、アクション履歴ラベル付けルール記憶モジュール145、ラベル決定モジュール155と接続されている。アクション履歴ラベル決定モジュール150は、アクション履歴取得モジュール140から渡された電子メールの履歴から、第2のラベル(以下、アクション履歴ラベルともいう)を決定する。もちろんのことながら、アクション履歴ラベル決定モジュール150が対象としている電子メールとメタ情報ラベル決定モジュール125が対象としている電子メールは、同じもの(つまり、電子メールIDが同じ)である。
「電子メールの履歴」として、電子メールそのものの履歴の他に、電子メール内の情報を用いてユーザー(操作者、受信者等)が行った操作履歴を含む。操作履歴として、例えば、電子メールの返信、転送等の操作の他に、電子メール内の情報を他のアプリケーション(例えば、スケジュール管理アプリケーション等)にコピーする操作等がある。
第2のラベル決定方法として、具体的には、「第2のラベル」と「電子メールの履歴を対象として、その第2のラベルを決定するための規則」を対応させたアクション履歴ラベル付けルール記憶モジュール145内の第2の規則にしたがって、第2のラベルを決定する。
例えば、アクション履歴ラベル決定モジュール150は、ユーザーが電子メールに対して行った応答の結果から、第2のラベルを決定する。
ラベル決定モジュール155は、メタ情報処理モジュール105のメタ情報ラベル決定モジュール125、アクション履歴処理モジュール130のアクション履歴ラベル決定モジュール150、学習データデータベース160と接続されている。
ラベル決定モジュール155は、メタ情報ラベル決定モジュール125によって決定された第1のラベルとアクション履歴ラベル決定モジュール150によって決定された第2のラベルに基づいて、最終的なラベルである第3のラベルを決定する。
例えば、ラベル決定モジュール155は、メタ情報ラベル決定モジュール125によって決定された第1のラベルとアクション履歴ラベル決定モジュール150によって決定された第2のラベルとが対応しない場合、電子メールに付与する機械学習用の負例としての第3のラベルを決定する。
そして、ラベル決定モジュール155は、第1のラベルと第2のラベルが対応しない場合は、第3のラベルとしてその第1のラベル又はその第2のラベルのいずれかを採用するようにしてもよい。
また、ラベル決定モジュール155は、第1のラベルと第2のラベルのいずれかがラベルなしである場合は、第3のラベルとしてラベルなしではない、その第1のラベル又はその第2のラベルのいずれかを採用するようにしてもよい。
また、ラベル決定モジュール155は、メタ情報ラベル決定モジュール125によって決定された第1のラベルとアクション履歴ラベル決定モジュール150によって決定された第2のラベルとが対応する場合、電子メールに付与する機械学習用の正例としての第3のラベルを決定する。
そして、ラベル決定モジュール155は、第1のラベルと第2のラベルとが対応する場合は、第3のラベルとして、その第1のラベル又はその第2のラベルを採用するようにしてもよい。ここで「第1のラベルと第2のラベルとが対応する場合」として、第1のラベルと第2のラベルとが同じである場合が該当する。
また、ラベル決定モジュール155は、メタ情報ラベル決定モジュール125によって決定された第1のラベルとアクション履歴ラベル決定モジュール150によって決定された第2のラベルの両方ともラベルなしである場合、電子メールに付与する機械学習用のラベルなしと決定するようにしてもよい。第1のラベルと第2のラベルのいずれか一方がラベルなしであるときに、電子メールに付与する機械学習用のラベルなしと決定する場合に比べて、ラベルなしとすると決定することを減少させることができる。
また、ラベル決定モジュール155は、メタ情報ラベル決定モジュール125によって決定された第1のラベルとアクション履歴ラベル決定モジュール150によって決定された第2のラベルのいずれか一方がラベルなしである場合、電子メールに付与する機械学習用のラベルなしと決定するようにしてもよい。第1のラベルと第2のラベルの両方ともラベルなしであるときに、電子メールに付与する機械学習用のラベルなしと決定する場合に比べて、精度の低いラベルを付与することを減少させることができる。
また、ラベル決定モジュール155は、以下のような処理を行ってもよい。
ラベル決定モジュール155は、メタ情報ラベル決定モジュール125によって決定された第1のラベルとアクション履歴ラベル決定モジュール150によって決定された第2のラベルから、電子メールに付与する機械学習用の第3のラベルを決定する。
第3のラベル決定方法として、具体的には、「第1のラベル」と「第2のラベル」の組と「第3のラベル」を対応させた第3の規則にしたがって、ラベルを決定する。そして、その第3のラベルが、教師データとして正例であるか、負例であるかを示す情報を付加してもよい。
また、ラベル決定モジュール155は、第1のラベルと第2のラベルが同じである場合は、第3のラベルとして、その第1のラベル又はその第2のラベルを採用するようにしてもよい。
そして、ラベル決定モジュール155は、第1のラベルと第2のラベルの両方がラベルなしである場合は、第3のラベルはラベルなしとしてもよい。「ラベルなし」となるのは、メタ情報ラベル付けルール記憶モジュール120内の第1の規則、アクション履歴ラベル付けルール記憶モジュール145内の第2の規則に該当しない場合である。
また、ラベル決定モジュール155は、第1のラベルと第2のラベルが異なる場合は、第3のラベルとして、その第1のラベル又はその第2のラベルのいずれかを採用するようにしてもよい。
また、ラベル決定モジュール155は、第1のラベルと第2のラベルが異なる場合は、第3のラベルとして、その第2のラベルを採用するようにしてもよい。これは、受信者によるアクションを重視した判断である。
また、ラベル決定モジュール155は、第1のラベルと第2のラベルのいずれかがラベルなしである場合(一方がラベルなしであり、他方がラベルなしではない(何らかのラベルあり)場合)は、第3のラベルとしてラベルなしではない、その第1のラベル又はその第2のラベルのいずれか(何らかのラベルがある他方のラベル)を採用するようにしてもよい。
また、ラベル決定モジュール155は、第3のラベルが教師情報として正例であるか負例であるかを決定するようにしてもよい。
ラベル決定モジュール155は、第1のラベルと第2のラベルの両方が同じである場合は、第3のラベルは正例であることを決定するようにしてもよい。
そして、ラベル決定モジュール155は、第1のラベルと第2のラベルが異なる場合は、第3のラベルは負例であることを決定するようにしてもよい。
また、ラベル決定モジュール155における決定処理として、第1のラベルと第2のラベルが異なる場合として、その第1のラベルとその第2のラベルのいずれか一方がラベルなしである場合を含むようにしてもよい。
そして、ラベル決定モジュール155は、第1のラベルと第2のラベルの両方がラベルなしである場合は、第3のラベルは正例ではないことを決定するようにしてもよい。ここで「正例ではない」とは、ラベルなしとしてもよいし、対象としているラベルにおける負例としてもよい。なお、ここでの「対象としているラベル」とは、予め定められたラベルであって、そのラベルはメタ情報ラベル決定モジュール125、アクション履歴ラベル決定モジュール150では抽出できなかったので、負例のラベルとして抽出するものである。例えば、対象としているラベルとして「重要」であるが、タイトルに「重要」は含まれておらず、返信、転送のアクションも行われなかったため、メタ情報ラベル決定モジュール125とアクション履歴ラベル決定モジュール150では「ラベルなし」とされる。しかし、ラベル決定モジュール155では、その電子メールを「重要」の負例として、教師データとして、学習データデータベース160に登録されることになる。
学習データデータベース160は、ラベル決定モジュール155と接続されている。学習データデータベース160は、ラベル決定モジュール155によって決定された第3のラベルと電子メールとを対応させた教師データを記憶している。
図2は、本実施の形態を利用したシステム構成例を示す説明図である。
情報処理装置100、ユーザー端末210A、ユーザー端末210B、ユーザー端末210C、メール処理装置220、機械学習装置230は、通信回線290を介してそれぞれ接続されている。通信回線290は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのインターネット、イントラネット等であってもよい。また、情報処理装置100、メール処理装置220、機械学習装置230による機能は、クラウドサービスとして実現してもよい。
メール処理装置220は、電子メールの転送にかかわる処理を行う。例えば、POPサーバー、SMTPサーバー、WEBメールサーバー等がある。メール処理装置220が、電子メールを収集する場合、メールデータベース110は、情報処理装置100内ではなく、メール処理装置220内にあってもよい。
メール処理装置220又は情報処理装置100が、メール処理装置220、各ユーザー端末210から電子メールに対する処理の履歴を収集し、アクション履歴データベース135に記憶させる。
機械学習装置230は、情報処理装置100の学習データデータベース160内の教師データを用いて機械学習を行う。学習データデータベース160は、情報処理装置100内ではなく、機械学習装置230内にあってもよい。機械学習として、例えば、ニューラル・ネットワーク、決定木、サポートベクタマシン等の識別器を用いるようにしてもよい。
情報処理装置100は、例えば、以下のような処理を行う。特に、この説明(本段落番号内の説明)は、本実施の形態の理解を容易にすることを目的とするものであり、この説明を用いて限定解釈することは意図していない。そして、この説明部分のみを用いて、特許を受けようとする発明が発明の詳細な説明に記載したものであること(特許法第36条第6項第1号)の判断を行うべきではないことは当然である。
一般的に、教師データ作成のコストは大きい。例えば、人手で教師データを作成すると、コストが大きくなってしまう。また、見出し語を利用して自動的に教師データを作成する手法では、見出し語が必ずしも本文テキストの内容を表しているとは限らず、アノテーションの品質が悪い。例えば、電子メールのような双方向コミュニケーションでは、書き手(送信者)がつけた件名(見出し語)と受け手(受信者)が認識する件名は異なる場合もある。具体的には、[重要]と書かれた電子メールの全てが受信者にとって重要とは限らない。
情報処理装置100は、教師データの作成コストを抑えながらも、教師データの品質を向上させる。
情報処理装置100は、電子メールに対するアクション(例えば、返信、転送、タスク付与、共有、スケジュール登録等)やメタ情報(受信者数、添付ファイルの有無等)を加えて考慮することで、教師データの品質を向上させる。
例えば、電子メールにおいて、件名にラベルに関連したキーワード(表現)を含むものである場合、その電子メールは正例である可能性が高い。具体的には、件名が「[重要]○○」、「[要返信]△△」等である場合は、前者は「重要」な電子メールである場合が高く、後者は「要返信」な電子メールである場合が高い。
そして、ラベルに関連したアクションを実施した電子メールは、正例である可能性がさらに高い。例えば、「要返信」の電子メール(第3のラベルとして「要返信」が付与されるべき電子メール)である場合、その電子メールに対してのアクションとして「返信」が行われ、「重要」な電子メール(第3のラベルとして「重要」が付与されるべき電子メール)である場合、その電子メールに対してのアクションとして「返信」、「転送」、「タスク付与」が行われ、「日程調整」の電子メール(第3のラベルとして「日程調整」が付与されるべき電子メール)である場合、その電子メールに対してのアクションとして「返信」、「カレンダー登録」が行われる可能性が高い。
そこで、情報処理装置100は、電子メール内の情報から第1のラベルを決定し、その電子メールに対するアクションから第2のラベルを決定し、第1のラベルと第2のラベルの両方を用いて、その電子メールに付与すべきラベル(第3のラベル)を決定している。
図3は、本実施の形態による処理例を示すフローチャートである。
ステップS302では、メール取得モジュール115は、メールデータベース110から電子メールを取得する。例えば、メールデータベース110内にメール情報テーブル400が記憶されており、いずれかの行(電子メール)を選択する。
図4は、メール情報テーブル400のデータ構造例を示す説明図である。メール情報テーブル400は、メールID欄410、タイトル欄420、送信者欄430、受信者欄440、添付ファイル欄450を有している。メールID欄410は、本実施の形態において、電子メールを一意に識別するための情報(メールID)を記憶している。タイトル欄420は、そのメールのタイトルを記憶している。送信者欄430は、その電子メールの送信者を記憶している。受信者欄440は、その電子メールの受信者を記憶している。添付ファイル欄450は、そのメールの添付ファイルを記憶している。
例えば、図4では、メール1の電子メールは、タイトル:「[重要]○○の仕様変更」であり、送信者:「ユーザーA」、受信者:「ユーザーB、C、D」、添付ファイル:「仕様書.pdf」であり、メール2の電子メールは、タイトル:「[重要]セミナーのご案内」であり、送信者:「ユーザーA」、受信者:「ユーザーB、C、D」、添付ファイル:「セミナー資料.pptx」であり、メール3の電子メールは、タイトル:「3/21週報」であり、送信者:「ユーザーA」、受信者:「ユーザーD、E、F」、添付ファイル:「なし」である。
ステップS304では、メタ情報ラベル決定モジュール125は、メタ情報ラベル付けルール記憶モジュール120にしたがって、対象としている電子メールのメタ情報ラベル(第1のラベル)を決定する。例えば、メタ情報ラベル付けルール記憶モジュール120内のメタ情報ラベル付けルールテーブル500を用いる。
図5は、メタ情報ラベル付けルールテーブル500のデータ構造例を示す説明図である。メタ情報ラベル付けルールテーブル500は、ルールID欄510、ラベル欄520、ルール欄530を有している。ルールID欄510は、本実施の形態において、ルールを一意に識別するための情報(ルールID)を記憶している。ラベル欄520は、そのルールが適合した場合のラベルを記憶している。ルール欄530は、ルールを記憶している。
例えば、図5では、ルール1は、第1のラベル:「重要」と決定するのに、「タイトルに“[重要]”,“[緊急]”を含み、添付ファイルが存在する」に適合することを条件としている。ルール2は、第1のラベル:「日程調整」と決定するのに、「タイトルに“[確定]”と日付表現を含む」に適合することを条件としている。ルール3は、第1のラベル:「要返信」と決定するのに、「タイトルに“[要返信]”又は“[返信希望]”を含む」に適合することを条件としている。
図4の例に示したメール情報テーブル400に対して、図5の例に示したメタ情報ラベル付けルールテーブル500を適用した場合、以下のように第1のラベルが決定される。
メール1:ルール1に適合するため、“重要”ラベルが付与される。
メール2:ルール1に適合するため、“重要”ラベルが付与される。
メール3:ルール1、2いずれにも適合せず、“ラベルなし”が付与される。
ステップS306では、アクション履歴取得モジュール140は、アクション履歴データベース135から電子メールに関するアクション履歴を取得する。例えば、アクション履歴データベース135内にアクション履歴情報テーブル600が記憶されており、ステップS302で取得した電子メールの行(電子メールに対するアクション)を選択する。
図6は、アクション履歴情報テーブル600のデータ構造例を示す説明図である。アクション履歴情報テーブル600は、メールID欄610、操作者欄620、アクション欄630を有している。メールID欄610は、メールIDを記憶している。操作者欄620は、そのメールに対する操作者(一般的には、受信者)を記憶している。アクション欄630は、そのメールに対するアクションを記憶している。
例えば、図6では、メール1に対して、操作者:「ユーザーB」によって、アクション:「返信」が行われ、メール1に対して、操作者:「ユーザーC」によって、アクション:「転送」が行われ、メール2に対して、操作者:「ユーザーD」によって、アクション:「返信」が行われ、メール3に対して、操作者:「ユーザーF」によって、アクション:「返信」が行われたことを示している。
ステップS308では、アクション履歴ラベル決定モジュール150は、アクション履歴ラベル付けルール記憶モジュール145にしたがって、対象としている電子メールのアクション履歴ラベル(第2のラベル)を決定する。例えば、アクション履歴ラベル付けルール記憶モジュール145内のアクション履歴ラベル付けルールテーブル700を用いる。
図7は、アクション履歴ラベル付けルールテーブル700のデータ構造例を示す説明図である。アクション履歴ラベル付けルールテーブル700は、ルールID欄710、ラベル欄720、ルール欄730を有している。ルールID欄710は、ルールIDを記憶している。ラベル欄720は、そのルールが適合した場合のラベルを記憶している。ルール欄730は、ルールを記憶している。
例えば、図7では、ルールA1は、第2のラベル:「重要」と決定するのに、「返信・転送を行った受信者が半数以上である」に適合することを条件としている。ルールA2は、第2のラベル:「日程調整」と決定するのに、「受信者がカレンダーに登録」に適合することを条件としている。また、この他に、例えば、第2のラベル:「要返信」と決定するのに、「返信を行った受信者が半数以上である」に適合することを条件としているルールを付加してもよい。
図6の例に示したアクション履歴情報テーブル600に対して、図7の例に示したアクション履歴ラベル付けルールテーブル700を適用した場合、以下のように第2のラベルが決定される。
メール1:ルールA1に適合するため、“重要”ラベルが付与される。
メール2:ルールA1、A2いずれにも適合せず、“ラベルなし”が付与される。
メール3:ルールA1、A2いずれにも適合せず、“ラベルなし”が付与される。
ステップS310では、ラベル決定モジュール155は、対象としている電子メールのラベル(第3のラベル)を決定する。以下に4例(X1、X2、X3、X4)を示す。
(X1) 例えば、(1)メタ情報に基づくラベルとアクション履歴に基づくラベルが同じである場合は、最終的なラベルとして、そのメタ情報に基づくラベル又はそのアクション履歴に基づくラベル(両者は同じであるので、いずれを採用しても同じである)を採用し、(2)メタ情報に基づくラベルとアクション履歴に基づくラベルの両方がラベルなしである場合は、最終的なラベルはラベルなしとし、(3)メタ情報に基づくラベルとアクション履歴に基づくラベルのいずれかがラベルなしである場合は、最終的なラベルとしてラベルなしではない、そのメタ情報に基づくラベル又はそのアクション履歴に基づくラベルのいずれかを採用するルールを適用した場合の処理結果として、学習データテーブル800を生成する。
図8は、学習データテーブル800のデータ構造例を示す説明図である。学習データテーブル800は、メールID欄810、メタ情報に基づくラベル欄820、アクション履歴に基づくラベル欄830、最終的なラベル欄840を有している。メールID欄810は、メールIDを記憶している。メタ情報に基づくラベル欄820は、メタ情報に基づくラベル(第1のラベル)を記憶している。アクション履歴に基づくラベル欄830は、アクション履歴に基づくラベル(第2のラベル)を記憶している。最終的なラベル欄840は、最終的なラベル(第3のラベル)を記憶している。
例えば、メール1は、メタ情報に基づくラベル:「重要」、アクション履歴に基づくラベル:「重要」、最終的なラベル:「重要」であり、メール2は、メタ情報に基づくラベル:「重要」、アクション履歴に基づくラベル:「ラベルなし」、最終的なラベル:「重要」であり、メール3は、メタ情報に基づくラベル:「ラベルなし」、アクション履歴に基づくラベル:「ラベルなし」、最終的なラベル:「ラベルなし」である。
つまり、以下のようになっている。
メール1:いずれも“重要”ラベルが付与されているため、“重要”ラベルを付与する。
メール2:メタ情報に基づいたラベルが“重要”となっているため、“重要”ラベルを付与する。
メール3:いずれも“ラベルなし”が付与されているため、“ラベルなし”(学習データに用いない)を付与する。
(X2) また、例えば、(1)メタ情報に基づくラベルとアクション履歴に基づくラベルが同じである場合は、最終的なラベルとして、そのメタ情報に基づくラベル又はそのアクション履歴に基づくラベル(両者は同じであるので、いずれを採用しても同じである)を採用し、(2)メタ情報に基づくラベルとアクション履歴に基づくラベルの両方がラベルなしである場合は、最終的なラベルはラベルなしとし、(3)メタ情報に基づくラベルとアクション履歴に基づくラベルが異なる場合は、最終的なラベルとしてアクション履歴に基づくラベルを採用するルールを適用した場合の処理結果として、学習データテーブル900を生成する。
図9は、学習データテーブル900のデータ構造例を示す説明図である。
学習データテーブル900は、メールID欄910、メタ情報に基づくラベル欄920、アクション履歴に基づくラベル欄930、最終的なラベル欄940を有している。メールID欄910は、ルールIDを記憶している。メタ情報に基づくラベル欄920は、メタ情報に基づくラベル(第1のラベル)を記憶している。アクション履歴に基づくラベル欄930は、アクション履歴に基づくラベル(第2のラベル)を記憶している。最終的なラベル欄940は、最終的なラベル(第3のラベル)を記憶している。
例えば、メール1は、メタ情報に基づくラベル:「重要」、アクション履歴に基づくラベル:「重要」、最終的なラベル:「重要」であり、メール2は、メタ情報に基づくラベル:「重要」、アクション履歴に基づくラベル:「ラベルなし」、最終的なラベル:「ラベルなし」であり、メール3は、メタ情報に基づくラベル:「ラベルなし」、アクション履歴に基づくラベル:「ラベルなし」、最終的なラベル:「重要」である。
つまり、以下のようになっている。
メール1:いずれも“重要”ラベルが付与されているため、“重要”ラベルを付与する。
メール2:異なっており、アクション履歴に基づくラベルが“ラベルなし”となっているため、“ラベルなし”(学習データに用いない)を付与する。
メール3:いずれも“ラベルなし”が付与されているため、“ラベルなし”(学習データに用いない)を付与する。
(X3) また、最終的なラベルが教師情報として正例であるか負例であるかを含む場合として、以下のようにしてもよい。
例えば、(1)メタ情報に基づくラベルとアクション履歴に基づくラベルが同じである場合は、最終的なラベルとして、そのメタ情報に基づくラベル又はそのアクション履歴に基づくラベル(両者は同じであるので、いずれを採用しても同じである)を採用し、(2)メタ情報に基づくラベルとアクション履歴に基づくラベルの両方がラベルなしである場合は、最終的なラベルはラベルなしとし、(3)メタ情報に基づくラベルとアクション履歴に基づくラベルのいずれかがラベルなしである場合は、最終的なラベルとしてラベルなしではない、そのメタ情報に基づくラベル又はそのアクション履歴に基づくラベルのいずれかを採用し、(4)メタ情報に基づくラベルとアクション履歴に基づくラベルの両方が同じである場合は、最終的なラベルは正例とし、(5)メタ情報に基づくラベルとアクション履歴に基づくラベルが異なる場合(一方がラベルなしを含む)は、最終的なラベルは負例とするルールを適用した場合の処理結果として、学習データテーブル1000を生成する。
図10は、学習データテーブル1000のデータ構造例を示す説明図である。学習データテーブル1000は、メールID欄1010、メタ情報に基づくラベル欄1020、アクション履歴に基づくラベル欄1030、最終的なラベル欄1040、正例/負例欄1050を有している。メールID欄1010は、ルールIDを記憶している。メタ情報に基づくラベル欄1020は、メタ情報に基づくラベル(第1のラベル)を記憶している。アクション履歴に基づくラベル欄1030は、アクション履歴に基づくラベル(第2のラベル)を記憶している。最終的なラベル欄1040は、最終的なラベル(第3のラベル)を記憶している。正例/負例欄1050は、正例又は負例のどちらであるかを記憶している。
例えば、メール1は、メタ情報に基づくラベル:「重要」、アクション履歴に基づくラベル:「重要」、最終的なラベル:「重要」、正例/負例:「正例」であり、メール2は、メタ情報に基づくラベル:「重要」、アクション履歴に基づくラベル:「ラベルなし」、最終的なラベル:「重要」、正例/負例:「負例」であり、メール3は、メタ情報に基づくラベル:「ラベルなし」、アクション履歴に基づくラベル:「ラベルなし」、最終的なラベル:「ラベルなし」、正例/負例:「−(ヌル)」である。
つまり、以下のようになっている。
メール1:いずれも“重要”ラベルが付与されているため、正例の“重要”ラベルを付与する。
メール2:メタ情報に基づいたラベルが“重要”となっており、アクション履歴に基づくラベルが“ラベルなし”となっているため、負例の“重要”を付与する。
メール3:いずれも“ラベルなし”が付与されているため、“ラベルなし”(学習データに用いない)を付与する。
機械学習では学習データに正例と近い負例(ニアミス事例)があると高い精度を達成しやすいため、メール3を負例とするよりもメール2を負例とした方が精度が高まる可能性が高い。
(X4) また、例えば、(1)メタ情報に基づくラベルとアクション履歴に基づくラベルが同じである場合は、最終的なラベルとして、そのメタ情報に基づくラベル又はそのアクション履歴に基づくラベル(両者は同じであるので、いずれを採用しても同じである)を採用し、(2)メタ情報に基づくラベルとアクション履歴に基づくラベルの両方がラベルなしである場合は、対象としているラベルを採用し、そのラベルは負例とし、(3)メタ情報に基づくラベルとアクション履歴に基づくラベルが異なる場合は、最終的なラベルとしてアクション履歴に基づくラベルを採用し、(4)メタ情報に基づくラベルとアクション履歴に基づくラベルの両方が同じである場合は、最終的なラベルは正例とするルールを適用した場合の処理結果として、学習データテーブル1100を生成する。なお、図11の例での「対象としているラベル」は、予め定められた「重要」である。
図11は、学習データテーブル1100のデータ構造例を示す説明図である。学習データテーブル1100は、メールID欄1110、メタ情報に基づくラベル欄1120、アクション履歴に基づくラベル欄1130、最終的なラベル欄1140、正例/負例欄1150を有している。メールID欄1110は、ルールIDを記憶している。メタ情報に基づくラベル欄1120は、メタ情報に基づくラベル(第1のラベル)を記憶している。アクション履歴に基づくラベル欄1130は、アクション履歴に基づくラベル(第2のラベル)を記憶している。最終的なラベル欄1140は、最終的なラベル(第3のラベル)を記憶している。正例/負例欄1150は、正例又は負例のどちらであるかを記憶している。
例えば、メール1は、メタ情報に基づくラベル:「重要」、アクション履歴に基づくラベル:「重要」、最終的なラベル:「重要」、正例/負例:「正例」であり、メール2は、メタ情報に基づくラベル:「重要」、アクション履歴に基づくラベル:「ラベルなし」、最終的なラベル:「ラベルなし」、正例/負例:「−(ヌル)」であり、メール3は、メタ情報に基づくラベル:「ラベルなし」、アクション履歴に基づくラベル:「ラベルなし」、最終的なラベル:「重要」、正例/負例:「負例」である。
つまり、以下のようになっている。
メール1:いずれも“重要”ラベルが付与されているため、正例の“重要”ラベルを付与する。
メール2:異なっており、アクション履歴に基づくラベルが“ラベルなし”となっているため、“ラベルなし”(学習データに用いない)を付与する。
メール3:いずれも“ラベルなし”が付与されているため、対象としているラベルの“重要”(負例)を付与する。
ステップS312では、ラベル決定モジュール155は、学習データデータベース160に学習データを記憶させる。具体的には、図8〜図11の例に示した学習データテーブル800、学習データテーブル900、情報処理装置100、学習データテーブル1100を、学習データデータベース160に記憶させる。なお、学習データテーブル800、学習データテーブル900については、メールID欄と最終的なラベル欄だけで構成された学習データであってもよいし、学習データテーブル1000、学習データテーブル1100については、メールID欄と最終的なラベル欄と正例/負例欄だけで構成された学習データであってもよい
また、(1)ステップS302とステップS304の処理、(2)ステップS306とステップS308の処理については、いずれを先に行ってもよいし、並列して行ってもよい。
なお、本実施の形態としてのプログラムが実行されるコンピュータのハードウェア構成は、図12に例示するように、一般的なコンピュータであり、具体的にはパーソナルコンピュータ、サーバーとなり得るコンピュータ等である。つまり、具体例として、処理部(演算部)としてCPU1201を用い、記憶装置としてRAM1202、ROM1203、HD1204を用いている。HD1204として、例えばハードディスク、SSD(Solid State Drive)を用いてもよい。メール取得モジュール115、メタ情報ラベル決定モジュール125、アクション履歴取得モジュール140、アクション履歴ラベル決定モジュール150、ラベル決定モジュール155等のプログラムを実行するCPU1201と、そのプログラムやデータを記憶するRAM1202と、本コンピュータを起動するためのプログラム等が格納されているROM1203と、メールデータベース110、メタ情報ラベル付けルール記憶モジュール120、アクション履歴データベース135、アクション履歴ラベル付けルール記憶モジュール145、学習データデータベース160としての機能を有する補助記憶装置(フラッシュ・メモリ等であってもよい)であるHD1204と、キーボード、マウス、タッチスクリーン、マイク、カメラ(視線検知カメラ等を含む)等に対する利用者の操作(動作、音声、視線等を含む)に基づいてデータを受け付ける受付装置1206と、CRT、液晶ディスプレイ、スピーカー等の出力装置1205と、ネットワークインタフェースカード等の通信ネットワークと接続するための通信回線インタフェース1207、そして、それらをつないでデータのやりとりをするためのバス1208により構成されている。これらのコンピュータが複数台互いにネットワークによって接続されていてもよい。
前述の実施の形態のうち、コンピュータ・プログラムによるものについては、本ハードウェア構成のシステムにソフトウェアであるコンピュータ・プログラムを読み込ませ、ソフトウェアとハードウェア資源とが協働して、前述の実施の形態が実現される。
なお、図12に示すハードウェア構成は、1つの構成例を示すものであり、本実施の形態は、図12に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア(例えば特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)等)で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続している形態でもよく、さらに図12に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、携帯情報通信機器(携帯電話、スマートフォン、モバイル機器、ウェアラブルコンピュータ等を含む)、情報家電、ロボット、複写機、ファックス、スキャナ、プリンタ、複合機(スキャナ、プリンタ、複写機、ファックス等のいずれか2つ以上の機能を有している画像処理装置)などに組み込まれていてもよい。
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD−R、DVD−RW、DVD−RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD−ROM)、CDレコーダブル(CD−R)、CDリライタブル(CD−RW)等、ブルーレイ・ディスク(Blu−ray(登録商標) Disc)、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去及び書換可能な読出し専用メモリ(EEPROM(登録商標))、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)、SD(Secure Digital)メモリーカード等が含まれる。
そして、前記のプログラムの全体又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分若しくは全部であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。
100…情報処理装置
105…メタ情報処理モジュール
110…メールデータベース
115…メール取得モジュール
120…メタ情報ラベル付けルール記憶モジュール
125…メタ情報ラベル決定モジュール
130…アクション履歴処理モジュール
135…アクション履歴データベース
140…アクション履歴取得モジュール
145…アクション履歴ラベル付けルール記憶モジュール
150…アクション履歴ラベル決定モジュール
155…ラベル決定モジュール
160…学習データデータベース
210…ユーザー端末
220…メール処理装置
230…機械学習装置
290…通信回線

Claims (11)

  1. 電子メール内の情報から、第1のラベルを決定する第1のラベル決定手段と、
    ユーザーが前記電子メールに対して行った応答の結果から、第2のラベルを決定する第2のラベル決定手段と、
    前記第1のラベルと前記第2のラベルとが対応しない場合、前記電子メールに付与する機械学習用の負例としての第3のラベルを決定する第3のラベル決定手段
    を有する情報処理装置。
  2. 前記第3のラベル決定手段は、前記第1のラベルと前記第2のラベルが対応しない場合は、前記第3のラベルとして該第1のラベル又は該第2のラベルのいずれかを採用する、
    請求項1に記載の情報処理装置。
  3. 前記第3のラベル決定手段は、前記第1のラベルと前記第2のラベルのいずれかがラベルなしである場合は、前記第3のラベルとしてラベルなしではない該第1のラベル又は該第2のラベルのいずれかを採用する、
    請求項2に記載の情報処理装置。
  4. 前記第1のラベルと前記第2のラベルとが対応する場合、前記電子メールに付与する機械学習用の正例としての第のラベルを決定する第のラベル決定手段
    さらに有する請求項1に記載の情報処理装置。
  5. 前記第のラベル決定手段は、前記第1のラベルと前記第2のラベルとが対応する場合は、前記第のラベルとして該第1のラベル又は該第2のラベルを採用する、
    請求項4に記載の情報処理装置。
  6. 電子メール内の情報から、第1のラベルを決定する第1のラベル決定手段と、
    ユーザーが前記電子メールに対して行った応答の結果から、第2のラベルを決定する第2のラベル決定手段と、
    前記第1のラベルと前記第2のラベルの両方ともラベルなしである場合、前記電子メールに付与する機械学習用のラベルなしと決定する第3のラベル決定手段
    を有する情報処理装置。
  7. 電子メール内の情報から、第1のラベルを決定する第1のラベル決定手段と、
    ユーザーが前記電子メールに対して行った応答の結果から、第2のラベルを決定する第2のラベル決定手段と、
    前記第1のラベルと前記第2のラベルのいずれか一方がラベルなしである場合、前記電子メールに付与する機械学習用のラベルなしと決定する第3のラベル決定手段
    を有する情報処理装置。
  8. コンピュータを、
    電子メール内の情報から、第1のラベルを決定する第1のラベル決定手段と、
    ユーザーが前記電子メールに対して行った応答の結果から、第2のラベルを決定する第2のラベル決定手段と、
    前記第1のラベルと前記第2のラベルとが対応しない場合、前記電子メールに付与する機械学習用の負例としての第3のラベルを決定する第3のラベル決定手段
    として機能させるための情報処理プログラム。
  9. 前記第1のラベルと前記第2のラベルとが対応する場合、前記電子メールに付与する機械学習用の正例としての第のラベルを決定する第のラベル決定手段
    さらに機能させる請求項8に記載の情報処理プログラム。
  10. コンピュータを、
    電子メール内の情報から、第1のラベルを決定する第1のラベル決定手段と、
    ユーザーが前記電子メールに対して行った応答の結果から、第2のラベルを決定する第2のラベル決定手段と、
    前記第1のラベルと前記第2のラベルの両方ともラベルなしである場合、前記電子メールに付与する機械学習用のラベルなしと決定する第3のラベル決定手段
    として機能させるための情報処理プログラム。
  11. コンピュータを、
    電子メール内の情報から、第1のラベルを決定する第1のラベル決定手段と、
    ユーザーが前記電子メールに対して行った応答の結果から、第2のラベルを決定する第2のラベル決定手段と、
    前記第1のラベルと前記第2のラベルのいずれか一方がラベルなしである場合、前記電子メールに付与する機械学習用のラベルなしと決定する第3のラベル決定手段
    として機能させるための情報処理プログラム。
JP2017184582A 2017-09-26 2017-09-26 情報処理装置及び情報処理プログラム Active JP6943113B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017184582A JP6943113B2 (ja) 2017-09-26 2017-09-26 情報処理装置及び情報処理プログラム
US15/963,986 US10909155B2 (en) 2017-09-26 2018-04-26 Information processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017184582A JP6943113B2 (ja) 2017-09-26 2017-09-26 情報処理装置及び情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2019061419A JP2019061419A (ja) 2019-04-18
JP6943113B2 true JP6943113B2 (ja) 2021-09-29

Family

ID=65807533

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017184582A Active JP6943113B2 (ja) 2017-09-26 2017-09-26 情報処理装置及び情報処理プログラム

Country Status (2)

Country Link
US (1) US10909155B2 (ja)
JP (1) JP6943113B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7334478B2 (ja) * 2019-06-04 2023-08-29 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3631149B2 (ja) * 2001-01-23 2005-03-23 株式会社ジャストシステム 電子メール送受信装置、電子メール送受信システム、電子メール送受信方法、電子メール送受信方法をコンピュータに実行させるプログラム、およびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2004288111A (ja) 2003-03-25 2004-10-14 Sony Ericsson Mobilecommunications Japan Inc メール装置、メールサーバおよびメーラープログラム
EP1790112A2 (en) * 2004-09-07 2007-05-30 Philippe J. M. Coueignoux Controlling electronic messages
US20100241476A1 (en) * 2006-07-27 2010-09-23 Dudley Fitzpatrick Apparatuses, Methods and Systems For A Volunteer Sponsor Charity Nexus
US8090600B2 (en) * 2006-07-31 2012-01-03 Insight Catastrophe Solutions Apparatuses, methods, and systems for building a risk evaluation product
EP2096585A4 (en) * 2006-12-11 2017-11-15 NEC Corporation Active studying system, active studying method and active studying program
JP2010056682A (ja) * 2008-08-26 2010-03-11 National Institute Of Information & Communication Technology 電子メール受信装置及び電子メール受信方法、電子メール送信装置及び電子メール送信方法、メール送信サーバ
JP5288959B2 (ja) * 2008-09-17 2013-09-11 三菱電機株式会社 データ分類装置及びコンピュータプログラム
US8397222B2 (en) * 2008-12-05 2013-03-12 Peter D. Warren Any-to-any system for doing computing
JP5395461B2 (ja) 2009-02-27 2014-01-22 株式会社東芝 情報推薦装置、情報推薦方法および情報推薦プログラム
JP2011034417A (ja) * 2009-08-04 2011-02-17 Kddi Corp 迷惑メール判定装置及び迷惑メール判定方法及び迷惑メール判定プログラム
JP5742598B2 (ja) 2011-08-31 2015-07-01 富士ゼロックス株式会社 含意関係判定装置及びプログラム
US9218574B2 (en) * 2013-05-29 2015-12-22 Purepredictive, Inc. User interface for machine learning
US20140358828A1 (en) * 2013-05-29 2014-12-04 Purepredictive, Inc. Machine learning generated action plan
US20200067861A1 (en) * 2014-12-09 2020-02-27 ZapFraud, Inc. Scam evaluation system
US11301477B2 (en) * 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
US10395659B2 (en) * 2017-05-16 2019-08-27 Apple Inc. Providing an auditory-based interface of a digital assistant

Also Published As

Publication number Publication date
US10909155B2 (en) 2021-02-02
JP2019061419A (ja) 2019-04-18
US20190095527A1 (en) 2019-03-28

Similar Documents

Publication Publication Date Title
US9602453B2 (en) Smart attachment to electronic messages
US8775455B2 (en) Document search system which reflects the situation of using documents in the search results
CN104011753A (zh) 电子邮件标签
US8392511B2 (en) Embedding a unique serial number into the content of an email for tracking information dispersion
US8812467B2 (en) Information processing apparatus and computer readable medium for performing history cancellation processing
US10999230B2 (en) Relevant content surfacing in computer productivity platforms
JP5023865B2 (ja) 文書分類装置及び文書分類プログラム
JP6943113B2 (ja) 情報処理装置及び情報処理プログラム
US20210295033A1 (en) Information processing apparatus and non-transitory computer readable medium
JP6759720B2 (ja) 情報処理装置及び情報処理プログラム
JP6596848B2 (ja) アクセス権推定装置及びアクセス権推定プログラム
US20190228055A1 (en) Information processing apparatus and non-transitory computer readable medium storing information processing program
JP7027696B2 (ja) 情報処理装置及び情報処理プログラム
US10075613B2 (en) Information processing apparatus, non-transitory computer readable medium, and information processing method
US11165737B2 (en) Information processing apparatus for conversion between abbreviated name and formal name
US11316992B2 (en) Information processing apparatus and non-transitory computer readable medium
JP6926402B2 (ja) 情報処理装置及び情報処理プログラム
JP6497246B2 (ja) 情報処理装置及び情報処理プログラム
JP2017162138A (ja) 情報処理装置及び情報処理プログラム
JP5499914B2 (ja) 情報処理プログラム及び情報処理装置
JP6623547B2 (ja) 情報処理装置及び情報処理プログラム
JP6828287B2 (ja) 情報処理装置及び情報処理プログラム
JP7131139B2 (ja) 情報処理装置及び情報処理プログラム
US20220245210A1 (en) Methods and systems for creating, storing, and maintaining custodian-based data
JP7419733B2 (ja) 情報処理システム及び情報処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200831

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210701

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210810

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210823

R150 Certificate of patent or registration of utility model

Ref document number: 6943113

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150