JP7355322B1 - メール要素設定システム及びメール件名設定支援システム - Google Patents

Abstract

【課題】 記事やページをメールで紹介する場合にメールの件名等を設定するのに好適なメール要素設定システムを提供する。【解決手段】 件名評価サービス提供サーバ１００は、記事やページのＵＲＬ及びその記事やページを代表するキーワードを生成する生成要求を含むリクエストを大規模言語モデルサーバ１３０に送信し、リクエストに対して大規模言語モデルサーバ１３０から出力される推定結果を件名候補として取得する。メール件名評価サーバ１２０は、件名に含まれるメールの開封率等の反応指標に影響を与える文字種の割合及び記号の有無を含む特徴量のデータに基づいて機械学習を行って作成された学習済みのＡＩモデルを用いて、各件名候補について反応指標を推定する。そして、反応指標の評価が高い件名候補を件名に設定する。【選択図】 図６

Description

本発明は、メールの件名等の設定を行い又は設定を支援するシステムに係り、特に、記事やページをメールで紹介する場合にメールの件名等を設定するのに好適なメール要素設定システム及びメール件名設定支援システムに関する。

従来、電子メール（以下「メール」と略記する。）の表示情報を生成する技術としては、特許文献１記載の技術が知られている。

特許文献１記載の技術は、取得部１３１によって取得されたメール情報に基づいて、メールの差出人名として表示される表示情報であって、メールの差出人を識別する識別情報以外の情報が表示される表示情報を生成する（特許文献１〔００７９〕）。具体的には、生成部１３２は、企画情報記憶部１２１を参照して、企画情報として、企画名の項目に格納された企画名を示す語句である「ペット特集（第１弾）」を取得する。続いて、生成部１３２は、形態素解析によって、取得した企画情報に含まれる語句を単語に分解する。生成部１３２は、企画情報として取得した企画名を示す語句である「ペット特集（第１弾）」を「ペット特集」と「（第１弾）」とに分解する。続いて、生成部１３２は、差出人名として表示可能な文字数である１４文字程度に収まるように表示情報を生成する。生成部１３２は、企画情報として取得した企画名を示す語句である「ペット特集（第１弾）」から「（第１弾）」を除いた「ペット特集」の単語を抽出する。続いて、生成部１３２は、メールの差出人を識別する識別情報以外の情報として、抽出した単語である「ペット特集」が表示される表示情報を生成する。

特開２０２０－１３４１０号公報

しかしながら、特許文献１記載の技術にあっては、企画情報記憶部１２１の企画情報（企画名の項目に格納された企画名を示す語句）に基づいて表示情報を生成するので、企画情報に適合しない記事やインターネットサイトのページ（以下「ページ」と略記する。）をメールで紹介する場合には好適な表示情報が得られないという問題があった。

そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、記事やページをメールで紹介する場合にメールの件名等を設定するのに好適なメール要素設定システム及びメール件名設定支援システムを提供することを目的としている。

〔発明１〕 上記目的を達成するために、発明１のメール要素設定システムは、文書情報又は当該文書情報のリンク先に関するリンク情報及び当該文書情報を代表するキーワードを生成する要求を含むリクエストを大規模言語モデルに入力するリクエスト入力手段と、前記リクエストに対して前記大規模言語モデルから出力されるキーワード情報を取得するキーワード情報取得手段と、前記キーワード情報取得手段で取得したキーワード情報に基づいて、メールの件名、本文又はその他の要素に関する設定を行うメール要素設定手段とを備える。

このような構成であれば、リクエスト入力手段により、文書情報又はリンク情報及びキーワードを生成する要求を含むリクエストが大規模言語モデルに入力され、キーワード情報取得手段により、リクエストに対して大規模言語モデルから出力されるキーワード情報が取得される。そして、メール要素設定手段により、取得されたキーワード情報に基づいてメールの要素に関する設定が行われる。

ここで、文書情報を代表するキーワードとしては、例えば、文書情報においてその中心的な内容、主要な概念又は特徴を表現又は代表している語であって、文章、段落、文、文節、単語等あらゆる語の単位で構成されるものが含まれる。以下、発明２のメール件名設定支援システムにおいて同じである。

また、キーワード情報は、例えば、キーワードそのもので構成することのほか、キーワードを識別するための情報（例えば、名称、番号、ＩＤ、コード、ＵＲＬ等のリンク情報）として構成することができる。また、キーワード情報は、例えば、文字、数字、図形、符合、記号、画像、音声その他の情報として構成することができる。以下、発明２のメール件名設定支援システムにおいて同じである。

また、メール要素設定手段としては、例えば、取得したキーワードに基づいてメールの件名、本文又はその他の要素を設定する構成、又は、取得したキーワードの一部又は全部をメールの件名、本文又はその他の要素としてファイル等に記録する構成が含まれる。

また、本システムは、単一の装置、端末その他の機器として実現するようにしてもよいし、複数の装置、端末その他の機器を通信可能に接続したネットワークシステムとして実現するようにしてもよい。後者の場合、各構成要素は、それぞれ通信可能に接続されていれば、複数の機器等のうちいずれに属していてもよい。以下、発明２のメール件名設定支援システムにおいて同じである。

〔発明２〕 一方、上記目的を達成するために、発明２のメール件名設定支援システムは、文書情報又は当該文書情報のリンク先に関するリンク情報及び当該文書情報を代表する複数のキーワードを生成する要求を含むリクエストを大規模言語モデルに入力するリクエスト入力手段と、前記リクエストに対して前記大規模言語モデルから出力される複数のキーワード情報を、メールの件名の候補であって当該件名に関する件名情報として取得する件名情報取得手段と、メールの送信先となるユーザの属性に関する属性情報を取得する属性情報取得手段と、メールの件名のうち当該メールに対する前記ユーザの反応の程度を示す反応指標に影響を与える特徴情報を含む件名特徴情報、当該メールを送信したユーザの属性に関する属性情報及び当該メールの反応指標に関する反応指標情報に基づいて学習を行った学習済みモデルを用いて、前記件名情報取得手段で取得した件名情報及び前記属性情報取得手段で取得した属性情報から、前記メールの送信先となるユーザについて当該件名情報に係る各候補の反応指標を推定する推定手段とを備える。

このような構成であれば、リクエスト入力手段により、文書情報又はリンク情報及び複数のキーワードを生成する要求を含むリクエストが大規模言語モデルに入力され、件名情報取得手段により、リクエストに対して大規模言語モデルから出力される複数のキーワード情報が件名情報として取得される。そして、属性情報取得手段により、ユーザの属性に関する属性情報が取得され、推定手段により、件名特徴情報、属性情報及び反応指標情報に基づいて学習を行った学習済みモデルを用いて、取得された件名情報及び属性情報から、メールの送信先となるユーザについてその件名情報に係る各候補の反応指標が推定される。

ここで、属性情報は、年齢、性別、職業、住所、出身地、収入、口座残高等の情報を含む。

また、反応指標は、ユーザがメールを開封する確率を示す開封率、メールを開封しない確率を示す未開封率、ユーザがメール内に含まれるリンク情報等のコンテンツを選択する確率を示す選択率、メール内に含まれるリンク情報等のコンテンツを選択しない確率を示す未選択率、ユーザがリンク先のサイトにてそのサイトが成果としている目的行動を起こす確率であるコンバージョン率、ユーザがリンク先のサイトにてそのサイトが成果としている目的行動を起こさない確率である未コンバージョン率などを含む。

また、記号の有無の判定態様としては、何でもよいので記号を１つでも含む場合は「有り」、１つも含まない場合は「無し」と判定する態様、特定の記号（例えば！、？など）を含む場合は「有り」、１つも含まない場合は「無し」と判定する態様、特定の記号の組み合わせ（例えば、☆及び！の組合せ）を全部含む場合は「有り」、全部を含まない場合は「無し」と判定する態様（この場合組み合わせの一方（例えば！）のみを含む場合も「無し」と判定）などが含まれる。

〔発明３〕 さらに、発明３のメール件名設定支援システムは、発明２のメール件名設定支援システムにおいて、前記特徴情報は、メールの件名のうち当該メールに対する前記ユーザの反応の程度を示す反応指標に影響を与える文字種の割合又は記号の有無に関する特徴情報である。

このような構成であれば、推定手段により、メールの件名のうちそのメールに対するユーザの反応の程度を示す反応指標に影響を与える文字種の割合又は記号の有無に関する特徴情報を含む件名特徴情報、属性情報及び反応指標情報に基づいて学習を行った学習済みモデルを用いて反応指標が推定される。

以上説明したように、発明１のメール要素設定システムによれば、メールに対するユーザの反応の程度を示す反応指標の評価が高い要素を設定することが期待できる。

一方、発明２のメール件名設定支援システムによれば、反応指標の評価が高い件名を設定することが期待できる。

さらに、発明３のメール件名設定支援システムによれば、特定の文字種や記号を含む件名候補のうち反応指標の評価が高いものを設定することが期待できる。

ネットワークシステムの構成を示すブロック図である。 件名評価サービス提供サーバ１００のハードウェア構成を示す図である。 利用者管理テーブル４００、モデル作成用情報テーブル４１０、件名情報テーブル４２０、ＡＩ対応情報管理テーブル４３０及び件名評価ＡＩモデル管理テーブル４４０のデータ構造を示す図である。 件名評価サービス提供サーバ１００、データ制御サーバ１１０及びメール件名評価サーバ１２０の件名評価ＡＩモデル作成時の動作を示すシーケンスフローである。 利用者端末２００、件名評価サービス提供サーバ１００、データ制御サーバ１１０及びメール件名評価サーバ１２０の件名候補評価時の動作を示すシーケンスフローである。 大規模言語モデルサーバ１３０を利用して件名候補を生成する場合を示す図である。 件名候補を評価する場合を示す図である。 評価用件名ファイル転送処理を示すフローチャートである。 評価結果ファイル結合処理を示すフローチャートである。 メール本文から件名候補を生成する場合を示す図である。

以下、本発明の実施の形態を説明する。図１乃至図９は、本実施の形態を示す図である。

〔構成〕
まず、本実施の形態の構成を説明する。
図１は、ネットワークシステムの構成を示すブロック図である。

インターネット１９９には、図１に示すように、メール件名評価サービスを提供する件名評価サービス提供サーバ１００と、メールの件名（以下「件名」と略記する。）を評価する件名評価ＡＩモデルに係るデータの送受信を制御するデータ制御サーバ１１０と、件名評価ＡＩモデルの生成及び生成した件名評価ＡＩモデルにより件名を評価するメール件名評価サーバ１２０と、大規模言語モデル（Large Language Model）により件名を生成する大規模言語モデルサーバ１３０とが接続されている。

インターネット１９９には、メール件名評価サービスを利用する利用者が利用する利用者端末２００が接続されている。

〔件名評価サービス提供サーバ１００のハードウェア構成〕
次に、件名評価サービス提供サーバ１００のハードウェア構成を説明する。

図２は、件名評価サービス提供サーバ１００のハードウェア構成を示す図である。
件名評価サービス提供サーバ１００は、図２に示すように、制御プログラムに基づいて演算及びシステム全体を制御するＣＰＵ（Central Processing Unit）３０と、所定領域に予めＣＰＵ３０の制御プログラム等を格納しているＲＯＭ（Read Only Memory）３２と、ＲＯＭ３２等から読み出したデータやＣＰＵ３０の演算過程で必要な演算結果を格納するためのＲＡＭ（Random Access Memory）３４と、外部装置に対してデータの入出力を媒介するＩ／Ｆ（InterFace）３８とで構成されており、これらは、データを転送するための信号線であるバス３９で相互に且つデータ授受可能に接続されている。なお、Ｉ／Ｆ３８には、ネットワークアダプタの機能も含まれている。

Ｉ／Ｆ３８には、外部装置として、ヒューマンインターフェースとしてデータの入力が可能なキーボードやマウス等からなる入力装置４０と、データやテーブル等をファイルとして格納する記憶装置４２と、画像信号に基づいて画面を表示する表示装置４４と、インターネット１９９に接続するための信号線とが接続されている。

データ制御サーバ１１０は、件名評価サービス提供サーバ１００と同様のハードウェア構成及び記憶装置５０を有して構成されている。

メール件名評価サーバ１２０は、件名評価サービス提供サーバ１００と同様のハードウェア構成及び記憶装置６０を有して構成されている。

大規模言語モデルサーバ１３０は、件名評価サービス提供サーバ１００と同様のハードウェア構成を有して構成されている。大規模言語モデルとは、人間の話す言葉をその出現確率でモデル化した言語モデルと呼ばれるものを、膨大なデータから事前学習する深層学習モデルである。大規模言語モデルサーバ１３０は、リクエストを受信すると、大規模言語モデルを用いて、受信されたリクエストに含まれる文章から次の単語の生成確率を統計的に推定し、推定結果をリクエスト元に送信する。大規模言語モデルとしては、例えば、インターネットサイト「https://chatgpt-lab.com/n/n418d3aa56f0b」「https://agirobots.com/chatgpt-mechanism-and-problem/」に記載されている公知の技術を採用することができる。

なお、件名評価サービス提供サーバ１００、データ制御サーバ１１０、メール件名評価サーバ１２０及び大規模言語モデルサーバ１３０の一部又は全部は、クラウドコンピューティングサービスを提供するサーバ上の仮想サーバとして構成してもよい。

〔利用者端末２００のハードウェア構成〕
利用者端末２００は、件名評価サービス提供サーバ１００のような据え置き型を想定した端末、又は、スマートフォン、タブレットなどの携帯型の端末から構成されている。後者の場合、そのハードウェア構成は、ＣＰＵと、アプリケーションソフトなどのプログラムやプログラムを実行するためのデータ等を格納しているＲＯＭと、ＲＯＭ等から読み出したデータやＣＰＵの演算過程で必要な演算結果を格納するためのＲＡＭと、付属の各種装置に対してデータの入出力を媒介するＩ／Ｆとで構成されている。これらは、データを転送するための信号線で相互に且つデータ授受可能に接続されている。

Ｉ／Ｆには、付属の各種装置として、データ入力が可能で且つ画像信号に基づいて画面を表示可能なタッチパネル式の表示入力装置、記憶装置、無線通信装置、ビデオカメラ等が接続されている。

〔各種テーブルについて〕
次に、記憶装置４２、記憶装置５０及び記憶装置６０に記憶されている各種テーブルについて説明する。

図３は、利用者管理テーブル４００、モデル作成用情報テーブル４１０、件名情報テーブル４２０、ＡＩ対応情報管理テーブル４３０及び件名評価ＡＩモデル管理テーブル４４０のデータ構造を示す図である。

記憶装置４２は、図３（ａ）に示す利用者管理テーブル４００を記憶している。
利用者管理テーブル４００には、図３（ａ）に示すように、利用者ＩＤごとに１つのレコードが登録されている。各レコードは、利用者ＩＤ、件名作成用ファイルＩＤ、評価用件名ファイルＩＤ、住所、代表者氏名、電話番号、代表メールアドレス、ログイン情報、作成日、更新日、その他の情報が登録されている。

ここで、利用者ＩＤは、メール件名評価サービスを利用する利用者を識別するためのＩＤであり、件名作成用ファイルＩＤは、件名候補を作成するためのメール本文データ等を含むＣＳＶファイル等のデータファイルを識別するためのＩＤである。また、評価用件名ファイルＩＤは、利用者ＩＤに対応する利用者から依頼を受けた件名候補の評価用データのＣＳＶファイル等のデータファイルを識別するためのＩＤである。

また、記憶装置４２は、図３（ｂ）に示すモデル作成用情報テーブル４１０を記憶している。

モデル作成用情報テーブル４１０には、図３（ｂ）に示すように、利用者ＩＤごとに１つのレコードが登録されている。各レコードは、管理者ＩＤ、件名評価ＡＩモデルＩＤ、モデル作成用件名ファイルＩＤ、モデル作成用件名ファイル、作成日、更新日、その他の情報が登録されている。

ここで、管理者ＩＤは、メール件名評価サービスを提供するシステムの管理者を識別するためのＩＤであり、件名評価ＡＩモデルＩＤは、件名を評価する件名評価ＡＩモデルを識別するためのＩＤである。また、モデル作成用件名ファイルＩＤは、件名評価ＡＩモデル作成用データのＣＳＶファイル等のデータファイルを識別すためのＩＤであり、モデル作成用件名ファイルは、件名評価ＡＩモデル作成用データのデータファイルであり、過去の実績データ等から作成されるデータファイルである。例えば、過去に配信した各件名の文字数、漢字、ひらがな、カタカナの割合、記号の有無、使われている単語などを特徴量としてデータ化したデータ、各件名により配信したときの配信先のユーザのメールに対する反応の程度を示す反応指標のデータ、配信先の属性情報等のデータを含むファイルである。

また、反応指標は、メールの開封率、未開封率、メール内のコンテンツの選択率、未選択率、メール内のリンク情報から飛んだリンク先でのコンバージョン率、未コンバージョン率などが該当する。以下、反応指標として「メールの開封率」を例に挙げて説明する。

また、記憶装置４２は、図３（ｃ）に示す件名情報テーブル４２０を記憶している。
件名情報テーブル４２０には、図３（ｃ）に示すように、利用者ＩＤごとに１つのレコードが登録されている。各レコードは、利用者ＩＤ、件名作成用ファイルＩＤ、評価用件名ファイルＩＤ、評価結果ＩＤ、件名作成用ファイル、評価用件名ファイル、評価結果ファイル、作成日、更新日、その他の情報が登録されている。

ここで、評価結果ＩＤは、件名評価ＡＩモデルによる評価結果（予測結果又は推定結果ともいう）のファイルを識別するためのＩＤであり、評価結果ファイルは、評価結果データのＣＳＶファイル等のデータファイルである。ここで、評価結果データは、各件名候補の件名を付した場合のメールの開封率をスコア化（例えば、１０００点満点）したものとして設定されている。スコアが高いほど開封率が高くなる可能性があると評価されたことを示している。

また、件名作成用ファイルは、メール件名評価サービスの利用者がこれから配信する各メールの複数の件名候補、各メールのメール本文、件名に入れたいキーワード、配信先の属性情報（年齢、性別など）等のデータを含むデータファイルである。評価用件名ファイルは、件名候補である複数の件名候補のデータ、これらのデータから抽出した特徴量データ、配信先の属性情報、配信日時、メール本文等のデータを含むファイルである。

記憶装置５０は、図３（ｄ）に示すＡＩ対応情報管理テーブル４３０を記憶している。
ＡＩ対応情報管理テーブル４３０には、図３（ｄ）に示すように、管理者ＩＤごとに１つのレコードが登録されている。各レコードは、管理者ＩＤ、件名評価ＡＩモデルＩＤ、ファイル転送プロトコル情報、作成日、更新日、その他の情報が登録されている。

ここで、ＡＩ対応情報管理テーブル４３０は、管理者ＩＤに対応する管理者の管理下にある件名評価ＡＩモデルと、評価前の評価用件名ファイルとを紐づけるためのテーブルである。具体的には、件名評価ＡＩモデルＩＤと、評価用件名ファイルの転送に用いられるファイル転送プロトコルとを紐づけるテーブルである。

ファイル転送プロトコル情報は、評価用件名ファイル等の各種ファイルの送受信に用いるファイル転送プロトコルに関する情報であり、例えば、プロトコル名、ホスト名、ポート番号、ユーザ情報、パスワード等の情報である。ファイル転送プロトコルとしては、例えば、ＳＦＴＰ（SSH File Transfer Protocol）、ＦＴＰＳ（File Transfer Protocol over SSL/TLS）などが該当する。

記憶装置６０は、図３（ｅ）に示す件名評価ＡＩモデル管理テーブル４４０を記憶している。

件名評価ＡＩモデル管理テーブル４４０には、図３（ｅ）に示すように、管理者ＩＤごとに１つのレコードが登録されている。各レコードは、管理者ＩＤ、件名評価ＡＩモデルＩＤ、件名評価ＡＩモデル情報、作成日、更新日、その他の情報が登録されている。

〔動作〕
〔件名評価ＡＩモデル作成時のシーケンス〕
まず、件名評価ＡＩモデル作成時のシーケンスについて説明する。

図４は、件名評価サービス提供サーバ１００、データ制御サーバ１１０及びメール件名評価サーバ１２０の件名評価ＡＩモデル作成時の動作を示すシーケンスフローである。

件名評価サービス提供サーバ１００のＣＰＵ３０は、ＭＰＵ（Micro-Processing Unit）等からなり、ＲＯＭ３２の所定領域に格納されている件名評価ＡＩモデル作成用のデータ生成等を行うプログラムを起動させ、そのプログラムに従って以下の処理を実行する。また、データ制御サーバ１１０のＣＰＵは、ＲＯＭの所定領域に格納されている件名評価ＡＩモデルの作成処理に用いるデータの転送制御等を行うプログラムを起動させ、そのプログラムに従って以下の処理を実行する。また、メール件名評価サーバ１２０のＣＰＵは、ＲＯＭの所定領域に格納されているモデル作成用データに基づいて件名評価ＡＩモデルの作成処理を行うプログラムを起動させ、そのプログラムに従って以下の処理を実行する。

まず、件名評価サービス提供サーバ１００では、過去の実績データに基づいて件名評価ＡＩモデル作成用データを生成する（Ｓ１００）。

ここで、過去の実績データは、過去に配信したメールの実績データであり、件名、メール本文、配信日時、配信先の属性情報（年齢、性別、職業（会社役員、会社員、自営業等）、年収、関連Ｗｅｂページの閲覧回数、口座残高等）、開封率の情報を含むデータである。具体的に、件名評価サービス提供サーバ１００は、実績データに基づいて、件名の文字数、件名に含まれる漢字の割合、ひらがなの割合、カタカナの割合、「！」「？」等の記号の有無、使われている単語などを特徴量としてデータ化する。

例えば、件名が「本日の平均株価は反発」であれば、文字数「１０」、漢字の数「８」、ひらがなの数「２」、カタカナの数「０」となるので、漢字の割合「８０％」、ひらがなの割合「２０％」、カタカナの割合「０％」が特徴量として算出される。また、記号の有無は「無」となり、使われている単語として「本日」、「平均株価」、「反発」が特徴量として抽出される。

そして、これら特徴量のデータ、件名、メール本文、配信日時、配信先の属性情報、開封率の情報等を含む件名評価ＡＩモデル作成用データを生成する。

引き続き、件名評価サービス提供サーバ１００は、生成した件名評価ＡＩモデル作成用データをデータ制御サーバ１１０に送信する（Ｓ１０２）。

データ制御サーバ１１０は、件名評価サービス提供サーバ１００からの件名評価ＡＩモデル作成用データを受信すると（Ｓ１０４）、受信した件名評価ＡＩモデル作成用データをメール件名評価サーバ１２０に送信する（Ｓ１０６）。

メール件名評価サーバ１２０は、データ制御サーバ１１０からの件名評価ＡＩモデル作成用データを受信すると（Ｓ１０８）、受信した件名評価ＡＩモデル作成用データに基づいて件名評価ＡＩモデルを作成する（Ｓ１１０）。

ここで、件名評価ＡＩモデルの作成においては、件名評価ＡＩモデル作成用データに基づいて機械学習を行うことで、各特徴量や属性情報と開封率との関係性をモデル化する。このとき、過去の実績情報（開封率等）を教師データとして学習を行う。本実施の形態では、この機械学習により、件名及び配信先の属性情報を入力として、開封率に関するスコアを出力するモデルを構築する。このスコアは、開封される可能性が高いものほど大きい数値（例えば、上限１０００の数値）となるものである。

件名評価ＡＩモデルの学習アルゴリズムとしては、例えば、線形回帰分析、ＭＡＲＳ（Multivariate adaptive regression splines）、サポートベクター回帰（SVR）、回帰木、モデル木、遺伝子プログラム、二値分類、ロジスティック回帰、ｋ近傍法、サポートベクターマシン、決定木、ランダムフォレスト、ニューラルネットワーク等のアルゴリズムを用いることができる。

メール件名評価サーバ１２０は、件名評価ＡＩモデルの作成が完了すると、作成完了通知をデータ制御サーバ１１０に送信する（Ｓ１１２）。

データ制御サーバ１１０は、メール件名評価サーバ１２０からの作成完了通知を受信すると（Ｓ１１４）、作成した件名評価ＡＩモデルと、評価用件名ファイルとを紐付けする（Ｓ１１６）。その後、作成完了通知を件名評価サービス提供サーバ１００に送信する（Ｓ１１８）
件名評価サービス提供サーバ１００は、データ制御サーバ１１０からの作成完了通知を受信する（Ｓ１２０）。これにより、件名評価ＡＩモデルの作成が完了する。

ここで、各サーバ間でのデータの送受信は、例えば暗号化通信技術を用いて行っている。本実施の形態では、ＳＦＴＰを用いてデータの送受信を行っている。

〔件名候補評価時のシーケンス〕
次に、件名評価ＡＩモデルによる件名候補の評価時のシーケンスについて説明する。

図５は、利用者端末２００、件名評価サービス提供サーバ１００、データ制御サーバ１１０及びメール件名評価サーバ１２０の件名候補評価時の動作を示すシーケンスフローである。

ＣＰＵ３０は、ＲＯＭ３２の所定領域に格納されている所定のプログラムを起動させ、件名評価サービス提供サーバ１００は、そのプログラムに従って以下の処理を実行する。また、利用者端末２００は、件名評価サービス提供サーバ１００との通信により件名候補の評価依頼を行うプログラムがインストールされている。利用者端末２００は、ＲＯＭの所定領域に格納されている所定のプログラムを起動させ、そのプログラムに従って以下の処理を実行する。また、データ制御サーバ１１０は、件名評価サービス提供サーバ１００及びメール件名評価サーバ１２０との通信により件名候補の評価処理に用いるデータの転送制御等を行うプログラムがインストールされている。データ制御サーバ１１０は、ＲＯＭの所定領域に格納されている所定のプログラムを起動させ、そのプログラムに従って以下の処理を実行する。また、メール件名評価サーバ１２０は、データ制御サーバ１１０からの評価用件名ファイルに基づいて件名評価ＡＩモデルを用いた評価処理を行うプログラムがインストールされている。メール件名評価サーバ１２０は、ＲＯＭの所定領域に格納されている所定のプログラムを起動させ、そのプログラムに従って以下の処理を実行する。

まず、利用者は、利用者端末２００により、件名評価サービス提供サーバ１００が提供するサービスを利用するためのウエブページへとアクセス（ログイン）する。すなわち、このログイン処理にて、利用者の認証が行われる。

ログイン後において、利用者端末２００は、件名候補の評価要求を含む件名作成用ファイルを、件名評価サービス提供サーバ１００に送信する（Ｓ２００）。

ここで、利用者は、例えば、インターネット通信販売サービス、株式取引サービス、ＦＸ取引サービスなどのサービスを提供するサービス提供者などが該当する。このような利用者は、会員登録されたユーザに対して例えば安売りセールの開催、株価の状況、為替相場の状況などを伝えるメールの配信を頻繁に行う。

件名評価サービス提供サーバ１００は、利用者端末２００からの件名作成用ファイルを受信すると（Ｓ２０２）、受信した件名作成用ファイルに基づいて評価用件名ファイルを作成する（Ｓ２０４）。

ここで、件名作成用ファイルは、例えば、１のメール本文に対する複数の件名候補、配信予定のメール本文、配信先（配信先ユーザ）の属性情報、配信予定日時等のデータを含むファイル、又は、このファイルから複数の件名候補のデータを除外したファイルなどが該当する。

図６は、大規模言語モデルサーバ１３０を利用して件名候補を生成する場合を示す図である。

件名評価サービス提供サーバ１００は、例えば、件名作成用ファイルに、件名候補が含まれていない場合に、配信予定のメール本文から件名候補を自動で生成する機能を有している。

記事やページを紹介するため、その記事やページのＵＲＬがメール本文に含まれている場合、件名評価サービス提供サーバ１００は、メール本文からＵＲＬを取得し、取得したＵＲＬ及び記事やページを代表するキーワードを生成する生成要求を含むリクエストを生成し、大規模言語モデルサーバ１３０に送信する。

例として、「やさしい外貨預金教室」というページを紹介するメールを配信予定の場合、リクエストは、図６の第１列に示すように、ＵＲＬとして「https://www.aaa.com/news.html」、生成要求として「上記サイトをメールで紹介する際の件名を各20文字程度で３つ考えてください。・箇条書きでお願いします。・各件名の先頭に＄をつけてください。・先頭に〔〕で重要なキーワードを入れてください。」を含むリクエストとして生成される。

また他の例として、「外貨定期預金 金利特集」というページを紹介するメールを配信予定の場合、リクエストは、図６の第２列に示すように、ＵＲＬとして「https://www.bbb.com/news.html」、生成要求として「上記サイトをメールで紹介する際の件名を各20文字程度で３つ考えてください。・箇条書きでお願いします。・各件名の先頭に＄をつけてください。・先頭に〔〕で重要なキーワードを入れてください。」を含むリクエストとして生成される。

また他の例として、「外貨預金損益シミュレーション」というページを紹介するメールを配信予定の場合、リクエストは、図６の第３列に示すように、ＵＲＬとして「https://www.ccc.com/news.html」、生成要求として「上記サイトをメールで紹介する際の件名を各20文字程度で３つ考えてください。・箇条書きでお願いします。・各件名の先頭に＄をつけてください。・先頭に〔〕で重要なキーワードを入れてください。」を含むリクエストとして生成される。

件名評価サービス提供サーバ１００は、送信したリクエストに対して大規模言語モデルサーバ１３０から出力される推定結果を件名候補として取得する。

「外貨定期預金 金利特集」の例では、「＄〔初心者必見〕外貨預金の始め方！＄〔外貨初心者向け〕外為で始める外貨預金＄〔為替初心者必見〕外為で始める外貨預金のススメ」が推定結果として出力されるので、「初心者必見外貨預金の始め方！」「外貨初心者向け外為で始める外貨預金」「為替初心者必見外為で始める外貨預金のススメ」の３つがそれぞれ件名候補として取得される。

「外貨定期預金 金利特集」の例では、「＄〔外貨預金〕の魅力に迫る！＄〔世界のマネー事情〕を知るチャンス！＄〔グローバルな投資〕に興味がある方必見！」が推定結果として出力されるので、「外貨預金の魅力に迫る！」「世界のマネー事情を知るチャンス！」「グローバルな投資に興味がある方必見！」の３つがそれぞれ件名候補として取得される。

「外貨預金損益シミュレーション」の例では、「＄〔外貨預金シミュレーション〕ツールが便利！＄〔為替レート予測〕で外貨預金を検討しよう＄〔外貨預金の金利比較〕でお得な口座を見つけよう」が推定結果として出力されるので、「外貨預金シミュレーションツールが便利！」「為替レート予測で外貨預金を検討しよう」「外貨預金の金利比較でお得な口座を見つけよう」の３つがそれぞれ件名候補として取得される。

そして、件名評価サービス提供サーバ１００は、件名候補、メール本文、配信日時、配信先の属性情報等のデータを含む評価用件名ファイルを生成する。

件名評価サービス提供サーバ１００は、生成した評価用件名ファイルをデータ制御サーバ１１０に送信する（Ｓ２０６）。

データ制御サーバ１１０は、件名評価サービス提供サーバ１００からの評価用件名ファイルを受信すると（Ｓ２０８）、受信した評価用件名ファイルのデータ量に応じたデータ転送処理を実行する（Ｓ２１０）。なお、データ転送処理によって、評価用件名ファイルは、所定データ量（例えば、１ＧＢ（gigabyte））以下の１又は複数のファイルとしてメール件名評価サーバ１２０に送信される。

ここで、メール件名評価サーバ１２０では、件名評価ＡＩモデルでの評価処理の処理負荷を軽減するために所定データ量以下の評価用件名ファイルごとに評価処理を実行するようになっている。

メール件名評価サーバ１２０は、データ制御サーバ１１０からの、１又は複数の評価用件名ファイルを受信すると、受信したファイルを記憶装置６０に記憶する（Ｓ２１２）。

一方、データ制御サーバ１１０は、評価用件名ファイルの転送が完了すると、評価開始指示をメール件名評価サーバ１２０に送信する（Ｓ２１４）。

メール件名評価サーバ１２０は、データ制御サーバ１１０からの評価開始指示を受信すると、受信した評価用件名ファイルに基づいて、対応する件名評価ＡＩモデルを用いて件名候補の評価処理を実行する（Ｓ２１６）。ここで、一度に処理できるデータ量が制限されているため、各評価用件名ファイルについて順番に評価処理を行う。

ここで、図７は、件名候補を評価する場合を示す図である。
件名候補の評価は、例えば、図７に示すように、件名評価ＡＩモデルに対して、評価用件名ファイルに含まれる、件名候補、配信日時、メール本文、配信先の属性情報を順次入力することで行われる。これにより、学習済みの件名評価ＡＩモデルは、入力された件名候補及び属性情報に対して開封率に関するスコアを出力する。このスコアは、件名候補及び属性情報の組み合わせに対して、配信したメールが開封される可能性をスコア化したものであり、数値が大きいほど可能性が高いことを示している。

図７の例では、２０代の男性の会社員に対して、「本日の平均株価は反発」という件名でメールを配信することで開封率の評価を示すスコアが「８００」となり、「大引けにかけても方向感に乏しい展開」の件名でメールを配信することで、開封率の評価を示すスコアが「７２３」となっている。すなわち、２０代の男性の会社員について、「本日の平均株価は反発」の方が、「大引けにかけても方向感に乏しい展開」よりも開封される可能性が高いとの評価となっている。

また、２０代の女性の会社員に対して、「本日の平均株価は反発」という件名でメールを配信することで開封率の評価を示すスコアが「６２１」となり、「大引けにかけても方向感に乏しい展開」の件名でメールを配信することで、開封率の評価を示すスコアが「６３１」となっている。すなわち、２０代の女性の会社員について、「大引けにかけても方向感に乏しい展開」の方が、「本日の平均株価は反発」よりも開封される可能性が高いとの評価となっている。

また、４０代の女性の自営業者に対して、「本日の平均株価は反発」という件名でメールを配信することで開封率の評価を示すスコアが「８００」となり、「大引けにかけても方向感に乏しい展開」の件名でメールを配信することで、開封率の評価を示すスコアが「７２３」となっている。すなわち、４０代の女性の自営業者について、「本日の平均株価は反発」の方が、「大引けにかけても方向感に乏しい展開」よりも開封される可能性が高いとの評価となっている。

このように、件名の違いによるスコアの変化に加えて、性別や年齢等の属性によって各件名候補に対する開封率のスコアが変化する。このことは、開封率に限らず、他の反応指標についても同様となる。

データ制御サーバ１１０は、メール件名評価サーバ１２０に対して評価処理が完了したか否かを定期的に確認し、評価処理が完了したことを確認すると（Ｓ２２０）、評価結果ダウンロード（ＤＬ）要求をメール件名評価サーバ１２０に送信する（Ｓ２２２）。

メール件名評価サーバ１２０は、データ制御サーバ１１０からの評価結果ＤＬ要求を受信すると（Ｓ２２４）、受信した１又は複数の評価用件名ファイルの各評価用件名ファイルごとに生成された評価結果のデータファイルである１又は複数の評価結果ファイルをデータ制御サーバ１１０に送信する（Ｓ２２６）。

ここで、複数の評価結果ファイルを送信する場合は、これらが共通の評価用件名ファイルの評価結果であることが識別できる識別情報を各ファイルに付加する。

データ制御サーバ１１０は、メール件名評価サーバ１２０からの１又は複数の評価結果ファイルを受信すると（Ｓ２２８）、ファイル結合処理を実行する（Ｓ２３０）。その後、結合処理を経た評価結果ファイルを件名評価サービス提供サーバ１００に送信する（Ｓ２３２）。

件名評価サービス提供サーバ１００は、データ制御サーバ１１０からの評価結果ファイルを受信すると（Ｓ２３４）、受信した評価結果ファイルを利用者端末２００に送信する（Ｓ２３６）。

利用者端末２００は、件名評価サービス提供サーバ１００からの評価結果ファイルを受信する（Ｓ２３８）。これにより、件名候補の評価処理が完了する。

これにより、評価結果ファイルを受領した利用者側は、各件名候補の開封率のスコアを確認して、例えば、最もスコアが高い件名候補を、配信する件名に設定することができる。又は、利用者端末２００等の情報処理端末にて、評価結果ファイルを読み込んで、各配信先のユーザに対応する最もスコアが高い件名候補を選択し、選択した件名候補を件名としたメールを自動で配信するプログラムを実行するようにしてもよい。

〔評価用件名ファイル転送処理〕
図８は、評価用件名ファイル転送処理を示すフローチャートである。

評価用件名ファイル転送処理は、データ制御サーバ１１０にて実行される処理である。
ステップＳ２１０において、評価用件名ファイル転送処理が開始されると、図８に示すように、まずステップＳ３００に移行する。

ステップＳ３００では、受信した評価用件名ファイルのデータ量が所定データ量（例えば１ＧＢ）を超えているか否かを判定し、超えていると判定した場合（ＹＥＳ）は、ステップＳ３０２に移行し、そうでないと判定した場合（ＮＯ）は、ステップＳ３０８に移行する。

ステップＳ３０２に移行した場合は、受信した評価用件名ファイルを所定データ量以下の複数のファイルに分割する処理を実行して、ステップＳ３０４に移行する。

ここで、分割処理は、例えば、受信ファイルのデータ量を所定データ量で割った商の数の所定データ量のファイルと、割り切れなかった場合はその余りのデータ量のファイルとに分割してもよいし、均等なデータ量又は略均等なデータ量の複数のファイルに分割してもよい。

また、各分割したファイルが元は共通のファイルであることを識別できる識別情報を付加する。

ステップＳ３０４では、ステップＳ３０２で分割した複数のファイルを順次メール件名評価サーバ１２０に送信して、ステップＳ３０６に移行する。

ステップＳ３０６では、ファイルの送信が完了したか否かを判定し、完了したと判定した場合（ＹＥＳ）は、一連の処理を終了して元の処理に復帰し、そうでないと判定した場合（ＮＯ）は、ステップＳ３０４に移行する。

一方、ステップＳ３００で受信した評価用件名ファイルのデータ量が所定データ量以下であり、ステップＳ３０８に移行した場合は、受信した評価用件名ファイルをそのままメール件名評価サーバ１２０に送信して、ステップＳ３０６に移行する。

〔評価結果ファイル結合処理〕
図９は、評価結果ファイル結合処理を示すフローチャートである。

評価結果ファイル結合処理は、データ制御サーバ１１０で実行される処理である。
ステップＳ２３０において、評価結果ファイル結合処理が開始されると、図９に示すように、まずステップＳ４００に移行する。

ステップＳ４００では、受信した評価結果ファイルが複数であるか否かを判定し、複数であると判定した場合（ＹＥＳ）は、ステップＳ４０２に移行し、そうでないと判定した場合（ＮＯ）は、ステップＳ４０６に移行する。

ステップＳ４０２に移行した場合は、受信した複数の評価結果ファイルを１つのファイルに結合して、ステップＳ４０４に移行する。

例えば、評価結果ファイルがＣＳＶファイルである場合は、複数のファイルを縦結合して１つの評価結果ファイルを生成する。

ステップＳ４０４では、結合した１つの評価結果ファイルを件名評価サービス提供サーバ１００に送信して、一連の処理を終了し元の処理に復帰する。

一方、ステップＳ４００で受信した評価結果ファイルが複数ではなく、ステップＳ４０６に移行した場合は、受信した評価結果ファイルをそのまま件名評価サービス提供サーバ１００に送信して、一連の処理を終了し元の処理に復帰する。

〔効果〕
次に、本実施の形態の効果を説明する。
本実施の形態では、件名評価サービス提供サーバ１００は、記事やページのＵＲＬ及びその記事やページを代表するキーワードを生成する生成要求を含むリクエストを大規模言語モデルサーバ１３０に送信し、リクエストに対して大規模言語モデルサーバ１３０から出力される推定結果を取得し、取得した推定結果に基づいて件名を設定した。効果の一例として、大規模言語モデルサーバ１３０を用いて件名候補を生成した場合、そうでない場合に比して、メール開封率が５０．２%から５９．６％へと大幅な改善を見せた。

これにより、反応指標の評価が高い件名を設定することが期待できる。
さらに、本実施の形態では、件名評価サービス提供サーバ１００により、複数の件名候補及び配信先ユーザの属性情報を含む評価用件名ファイルの生成、生成した評価用件名ファイルのデータ制御サーバへの送信を行い、データ制御サーバ１１０により、評価用件名ファイルのメール件名評価サーバ１２０への送信、メール件名評価サーバ１２０からの評価結果ファイルの受信及び評価結果ファイルの件名評価サービス提供サーバ１００への送信を行い、メール件名評価サーバ１２０にて、データ制御サーバ１１０からの評価用件名ファイルの受信、件名評価ＡＩモデルを用いた評価用件名ファイルに含まれる件名候補の評価処理及びこの評価結果を含む評価結果ファイルのデータ制御サーバ１１０への送信を行うようにした。また、件名評価ＡＩモデルとして、件名に含まれるメールの開封率等の反応指標に影響を与える文字種の割合及び記号の有無を含む特徴量のデータ、件名、メール本文、配信日時、配信先の属性情報、開封率の情報等を含む件名評価ＡＩモデル作成用データに基づいて機械学習を行って作成された学習済みのＡＩモデルを用いた。

これにより、特定の文字種や記号を含む件名候補のうち反応指標の評価が高いものを設定することが期待できる。加えて、配信先の属性に応じた評価を行うことができる。

さらに、本実施の形態では、データ制御サーバ１１０において、所定データ量を超える評価用件名ファイルを受信した場合に、この評価用件名ファイルを所定データ量以下の複数のファイルに分割するファイル分割処理を実行し、所定データ量以下の複数の評価用件名ファイルに分けてファイルをメール件名評価サーバ１２０に送信するようにした。また、メール件名評価サーバ１２０において、処理負荷等を考慮して所定データ量を上限として評価処理を実行する構成とした。

これにより、件名評価サービス提供サーバ１００にて、データ量を考慮することなく評価用件名ファイルを作成して、１つのファイルとして送信することができるので、件名評価サービス提供サーバ１００にて所定データ量以下の複数のファイルに分けて作成するといった手間を軽減することができる。

さらに、本実施の形態では、データ制御サーバ１１０において、複数の評価結果ファイルを受信した場合に、受信した複数の評価結果ファイルを１つのファイルに結合する処理を実行し、結合後の１つの評価結果ファイルを件名評価サービス提供サーバ１００に送信するようにした。

これにより、件名評価サービス提供サーバ１００にて複数の評価結果ファイルを１つのファイルに結合する処理をする必要がなく、件名評価サービス提供サーバ１００側の処理負荷を軽減することができる。

本実施の形態において、ステップＳ２０２は、発明２の属性情報取得手段に対応し、ステップＳ２０４は、発明１若しくは２のリクエスト入力手段、発明１のキーワード情報取得手段、発明２の件名情報取得手段、又は発明１のメール要素設定手段に対応している。また、ステップＳ２１６は、発明２の推定手段に対応し、件名評価ＡＩモデルは、発明２の学習済みモデルに対応している。

〔変形例〕
なお、上記実施の形態においては、記事やページのＵＲＬを含むリクエストを生成したが、これに限らず、ＵＲＬに代えて又はＵＲＬに加えて、記事やページの文書情報そのものを含むリクエストを生成することもできる。

また、上記実施の形態及びその変形例においては、件名に含まれるメールの開封率等の反応指標に影響を与える文字種の割合及び記号の有無を含む特徴量のデータに基づいて機械学習を行って作成された学習済みのＡＩモデルを用いたが、これに限らず、反応指標に影響を与える文字種の割合及び記号の有無の一方を含む特徴量のデータ、又は、反応指標に影響を与えるキーワードその他の要素を含む特徴量のデータに基づいて機械学習を行って作成された学習済みのＡＩモデルを用いることもできる。

また、上記実施の形態及びその変形例においては、大規模言語モデルサーバ１３０から出力される推定結果に含まれるキーワードの一部又は全部を件名候補として取得したが、これに限らず、大規模言語モデルサーバ１３０から出力される推定結果に基づいて生成されるキーワードの一部又は全部を件名候補として取得する構成、又は、大規模言語モデルサーバ１３０から出力される推定結果及び付加的な情報に基づいて生成されるキーワードの一部又は全部を件名候補として取得する構成を採用することもできる。推定結果に基づいてキーワードを生成する構成としては、例えば、大規模言語モデルサーバ１３０から出力される推定結果を入力として特定のＡＩに与え、特定のＡＩから出力される推定結果をキーワードとして取得する構成、又は、大規模言語モデルサーバ１３０から出力される推定結果に含まれるキーワードに対し付加的なキーワードを付加又は置換する構成が挙げられる。

また、上記実施の形態及びその変形例においては、大規模言語モデルサーバ１３０から出力される推定結果から複数の件名候補を取得し、各件名候補を評価し、評価の高い件名候補を件名に設定したが、これに限らず、件名候補の評価を行わない構成を採用することもできる。すなわち、大規模言語モデルサーバ１３０から出力される推定結果から１の件名候補を取得し、取得した件名候補の一部又は全部を含む件名を設定する。

また、上記実施の形態及びその変形例においては、大規模言語モデルサーバ１３０から出力される推定結果に基づいて件名を生成又は設定したが、これに限らず、メールの本文又はその他の要素を生成又は設定することもできる。

また、上記実施の形態及びその変形例においては、大規模言語モデルサーバ１３０を用いて件名候補を生成したが、これに限らず、メール本文から件名候補を生成することもできる。ステップＳ２０４の変形例を以下に示す。

図１０は、メール本文から件名候補を生成する場合を示す図である。
件名評価サービス提供サーバ１００は、例えば、件名作成用ファイルに、件名候補が含まれていない場合に、配信予定のメール本文から件名候補を自動で生成する機能を有している。

具体的に、件名評価サービス提供サーバ１００は、例えば、図１０に示すように、メール本文から、「本日の平均株価は反発」、「大引けにかけても方向感に乏しい展開」、「資産を有効活用する製造業に注目」などのキーとなる文章部分を件名候補として抽出する。

なお、記号の有無によってもメールの開封率等の反応指標が変化するため、抽出した件名候補に対して、例えば、「本日の平均株価は反発！」、「大引けにかけても方向感に乏しい展開？」、「資産を有効活用する”製造業”に注目」などの記号を付加したものも件名候補として生成するようにしてもよい。

また、上記実施の形態及びその変形例において、評価用件名ファイルの生成及び転送、評価結果ファイルの受信、評価用件名ファイルの分割及び転送、評価結果ファイルの結合及び転送、件名評価ＡＩモデルを用いた件名候補の評価及び評価結果の転送などの各種処理を、夜中などの処理負荷の少ない時間帯に自動で実行する構成としてもよい。この場合に、件名評価サービス提供サーバ１００において、スケジューラー等によって、評価用件名ファイルの生成、予測用件名ファイルの送信、評価結果ファイルの受信等の実行スケジュールの設定を行う。

また、上記実施の形態及びその変形例においては、文字種の一例として、日本語のひらがな、カタカナ、漢字を例に挙げて説明したが、取り扱う文字種はこれに限らない。例えば、カタカナについては、全角と半角とを区別してもよいし、日本語に限らず、日本語と英語等の他の言語とが混在する件名などでは、他言語の文字種の割合についても特徴情報として抽出する構成としてもよい。また、日本語との混合に限らず、日本語以外の母国語と、日本語以外の外国語が混合する件名について、外国語の文字種の割合を特徴情報として抽出する構成としてもよい。

また、上記実施の形態及びその変形例においては、件名評価サービス提供サーバ１００において、所定データ量を超える評価用件名ファイルをデータ制御サーバ１１０に送信した場合に、データ制御サーバ１１０において、受信した評価用件名ファイルを所定データ量以下の複数のファイルに分割し、分割した複数のファイルをメール件名評価サーバ１２０に送信するようにした。また、メール件名評価サーバ１２０では、複数の件名評価ファイルを受信した場合に、ファイルごとに件名候補を評価し、件名評価ファイルごとに生成される複数の評価結果ファイルをデータ制御サーバ１１０に送信するようにした。さらに、データ制御サーバ１１０では、複数の評価結果ファイルを受信した場合に、これら複数の評価結果ファイルを１つのファイルに結合し、結合した１つの評価結果ファイルを件名評価サービス提供サーバ１００に送信するようにした。この構成に限らず、例えば、メール件名評価サーバ１２０にて、複数の評価結果ファイルを１つのファイルに結合して、この１つの評価結果ファイルをデータ制御サーバ１１０に送信する構成としてもよい。この構成とした場合、データ制御サーバ１１０にて結合処理を行わなくてよくなる。また、例えば、データ制御サーバ１１０において、件名評価サービス提供サーバ１００からの評価用件名ファイルが所定データ量を超えていた場合でも分割処理を行わずにそのままメール件名評価サーバ１２０に送信し、メール件名評価サーバ１２０において、件名評価ＡＩモデルの処理容量に合わせた所定データ量以下の複数のファイルに分割して評価処理を行い、ファイルごとの評価結果ファイルである複数の評価結果ファイルをデータ制御サーバ１１０に送信する。さらに、データ制御サーバ１１０において、受信した複数の評価結果ファイルを１つのファイルに結合し、結合した１つの評価結果ファイルを件名評価サービス提供サーバ１００に送信する構成としてもよい。この構成とした場合、データ制御サーバ１１０にて分割処理を行わなくてよくなる。

また、上記実施の形態及びその変形例においては、ネットワークシステムとして実現したが、これに限らず、単一の装置又はアプリケーションとして実現することもできる。

また、上記実施の形態及びその変形例においては、インターネット１９９からなるネットワークシステムに適用した場合について説明したが、これに限らず、例えば、インターネット１９９と同一方式により通信を行ういわゆるイントラネットに適用してもよい。もちろん、インターネット１９９と同一方式により通信を行うネットワークに限らず、任意の通信方式のネットワークに適用することもできる。

また、上記実施の形態及びその変形例において、図４及び図５のシーケンスフロー並びに図８及び図９のフローチャートに示す処理を実行するにあたっては、ＲＯＭに予め格納されているプログラムを実行する場合について説明したが、これに限らず、これらの手順を示したプログラムが記憶された記憶媒体から、そのプログラムをＲＡＭに読み込んで実行するようにしてもよい。

ここで、記憶媒体とは、ＲＡＭ、ＲＯＭ等の半導体記憶媒体、ＦＤ、ＨＤ等の磁気記憶型記憶媒体、ＣＤ、ＣＤＶ、ＬＤ、ＤＶＤ等の光学的読取方式記憶媒体、ＭＯ等の磁気記憶型／光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、あらゆる記憶媒体を含むものである。

また、上記実施の形態及びその変形例においては、各サーバが備える記憶装置を利用するように構成したが、これに限らず、データベースサーバ等の外部の記憶装置を利用するように構成することもできる。

１００…件名評価サービス提供サーバ、 １１０…データ制御サーバ、 １２０…メール件名評価サーバ、 １３０…大規模言語モデルサーバ、 ２００…利用者端末、 ３０…ＣＰＵ、 ３２…ＲＯＭ、 ３４…ＲＡＭ、 ３８…Ｉ／Ｆ、 ４０…入力装置、 ４２，５０，６０…記憶装置、 ４４…表示装置、 ４００…利用者管理テーブル、 ４１０…モデル作成用情報テーブル、 ４２０…件名情報テーブル、 ４３０…ＡＩ対応情報管理テーブル、 ４４０…件名評価ＡＩモデル管理テーブル

Claims (3)

1. 文書情報又は当該文書情報のリンク先に関するリンク情報及び当該文書情報を代表するキーワードを生成する要求を含むリクエストを大規模言語モデルに入力するリクエスト入力手段と、
   前記リクエストに対して前記大規模言語モデルから出力されるキーワード情報を取得するキーワード情報取得手段と、
   前記キーワード情報取得手段で取得したキーワード情報の一部又は全部を含む内容にメールの件名を設定する設定手段とを備えることを特徴とするメール要素設定システム。
2. 文書情報又は当該文書情報のリンク先に関するリンク情報及び当該文書情報を代表する複数のキーワードを生成する要求を含むリクエストを大規模言語モデルに入力するリクエスト入力手段と、
   前記リクエストに対して前記大規模言語モデルから出力される複数のキーワード情報を、メールの件名の候補であって当該件名に関する件名情報として取得する件名情報取得手段と、
   メールの送信先となるユーザの属性に関する属性情報を取得する属性情報取得手段と、
   メールの件名のうち当該メールに対する前記ユーザの反応の程度を示す反応指標に影響を与える特徴情報を含む件名特徴情報、当該メールを送信したユーザの属性に関する属性情報及び当該メールの反応指標に関する反応指標情報に基づいて学習を行った学習済みモデルを用いて、前記件名情報取得手段で取得した件名情報及び前記属性情報取得手段で取得した属性情報から、前記メールの送信先となるユーザについて当該件名情報に係る各候補の反応指標を推定する推定手段とを備えることを特徴とするメール件名設定支援システム。
3. 請求項２において、
   前記特徴情報は、メールの件名のうち当該メールに対する前記ユーザの反応の程度を示す反応指標に影響を与える文字種の割合又は記号の有無に関する特徴情報であることを特徴とするメール件名設定支援システム。

Images