JP2020129232A - 機械学習装置、プログラム及び機械学習方法 - Google Patents

Abstract

【課題】サンプルデータの中に、分類対象となるデータと、分類対象にならないデータが混在している場合にも、分類精度が低下することのない機械学習装置、プログラム及び機械学習方法を提供する。【解決手段】評価対象に関する評価及び評価対象の状態又は評価の理由を示す１以上の説明文が対応付けられた評価情報に含まれる１以上の説明文を教師データとして利用して、入力された文が、評価対象に対する評価、評価対象の状態又は評価の理由を示す文であるか否かを判定するための第１学習モデルを構築する評価用モデル構築部を含むモデル構築部と、評価用モデル構築部が構築した第１学習モデルを用いて、テキストデータに含まれる１以上の文の中から、評価対象に関連する文を抽出する抽出部を含む指標推定部と、を備える。【選択図】図１

Description

本発明は、機械学習装置、プログラム及び機械学習方法に関する。

学習モデルを利用して、公報に社内分類を付与する分類システムが知られている（例えば、特許文献１）。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１８−０２６１１９号公報

特許文献１の分類システムにおいては、分類システムに入力されるサンプルデータの種類が予め特定されており、入力されたサンプルデータの全てに社内分類が付与される。そのため、サンプルデータの中に、分類対象となるデータと、分類対象にならないデータが混在している場合には、分類精度が低下する、システムリソースの利用効率が低下するなどの課題がある。

本発明の第１の態様においては、機械学習装置が提供される。上記の機械学習装置は、例えば、（ｉ）評価対象に関する評価、及び、（ｉｉ）評価対象の状態又は評価の理由を示す１以上の説明文が対応付けられた評価情報に含まれる１以上の説明文を教師データとして利用して、入力された文が、評価対象に対する評価、評価対象の状態又は評価の理由を示す文であるか否かを判定するための第１学習モデルを構築する第１モデル構築部を備える。上記の機械学習装置は、例えば、第１モデル構築部が構築した第１学習モデルを用いて、テキストデータに含まれる１以上の文の中から、評価対象に関連する文を抽出する抽出部を備える。

上記の機械学習装置において、第１学習モデルは、入力された文を、評価対象の状態又は評価の理由を示す文、又は、評価対象の状態又は評価の理由を示す文ではない文の何れかに分類する文章分類器を含んでよい。上記の機械学習装置において、第１学習モデルは、複数の文章分類器を含んでよい。上記の機械学習装置において、複数の文章分類器のそれぞれは、入力された文が、評価対象の状態又は評価の理由を示す文であることの確からしさを示すスコアを出力してよい。上記の機械学習装置において、抽出部は、複数の文章分類器のそれぞれが出力したスコアの合計値が、予め定められた閾値よりも大きい場合に、入力された文を、評価対象に関連する文として抽出してよい。

上記の機械学習装置において、抽出部は、テキストデータに含まれる１以上の文の少なくとも一部を、第１学習モデルに入力し、第１学習モデルが評価対象の状態又は評価の理由を示す文であると判定した文を、評価対象に関連する文として抽出する第１抽出部を有してよい。上記の機械学習装置において、抽出部は、評価対象に関連するキーワード又はキーフレーズを示す情報を取得する条件取得部を有してよい。上記の機械学習装置において、抽出部は、テキストデータに含まれる１以上の文の中から、キーワードを含む文、キーフレーズに合致する文、キーワードに類似する単語を含む文、及び、キーフレーズに類似する条件に合致する文の少なくとも１つを、評価対象に関連する文、又は、評価対象に関連する文の候補として抽出する第２抽出部を有してよい。上記の機械学習装置において、第１抽出部は、第２抽出部が評価対象に関連する文の候補として抽出した文を、第１学習モデルに入力してよい。上記の機械学習装置において、第１抽出部は、第１学習モデルが評価対象の状態又は評価の理由を示す文であると判定した文を、評価対象に関連する文として抽出してよい。

上記の機械学習装置において、第２抽出部は、連続する２以上の文を含む文章であって、キーワードを含む文、キーフレーズに合致する文、キーワードに類似する単語を含む文、及び、キーフレーズに類似する条件に合致する文の少なくとも１つを含む文章を、評価対象に関連する文の候補として抽出してよい。上記の機械学習装置は、テキストデータの種類を区別するための種別情報を取得する種別情報取得部を備えてよい。上記の機械学習装置において、第２抽出部は、種別情報により示されるテキストデータの種類に基づいて、テキストデータに含まれる１以上の文の中から、キーワードを含む文、キーフレーズに合致する文、キーワードに類似する単語を含む文、及び、キーフレーズに類似する条件に合致する文の少なくとも１つを、評価対象に関連する文及び評価対象に関連する文の候補の何れとして抽出するかを決定してよい。

上記の機械学習装置は、評価情報を教師データとして利用して、入力された文に、評価対象に関する評価を付与するための第２学習モデルを構築する第２モデル構築部を備えてよい。上記の機械学習装置は、第２モデル構築部が構築した第２学習モデルを用いて、抽出部が抽出した文に、評価対象に関する評価を付与する評価付与部を備えてよい。

上記の機械学習装置は、評価付与部による評価に基づいて、特定の期間における評価対象の状態又は動向を示す指標を算出する指標算出部を備えてよい。上記の機械学習装置は、特定の期間を示す情報を取得する期間情報取得部を備えてよい。上記の機械学習装置は、複数のテキストデータのそれぞれを、複数のテキストデータのそれぞれの内容に関連する時期、複数のテキストデータのそれぞれが記録された時期、又は、複数のテキストデータのそれぞれを含む電子ファイルが作成若しくは更新された時期を示す時期情報と対応づけて取得するテキストデータ取得部を備えてよい。上記の機械学習装置において、抽出部は、複数のテキストデータのうち、当該テキストデータに対応付けられた時期情報により示される時期が特定の期間に含まれるテキストデータに含まれる複数の文の中から、評価対象に関連する文を抽出してよい。上記の機械学習装置において、評価付与部は、抽出部が複数のテキストデータの少なくとも一部から抽出した複数の文に、評価対象に関する評価を付与してよい。上記の機械学習装置において、指標算出部は、評価付与部が複数の文のそれぞれに付与した評価に基づいて、指標を算出してよい。

上記の機械学習装置において、テキストデータは、情報提供者の発言若しくはジェスチャにより提示された情報、又は、情報提供者が知覚した情報を含んでよい。上記の機械学習装置は、評価付与部による評価に基づいて、特定の期間における評価対象の状態又は動向を示す指標を算出する指標算出部を備えてよい。上記の機械学習装置は、複数のテキストデータのそれぞれを、複数のテキストデータのそれぞれの情報提供者の属性を示す属性情報と対応づけて取得するテキストデータ取得部を備えてよい。上記の機械学習装置において、評価付与部は、抽出部が複数のテキストデータの少なくとも一部から抽出した複数の文のそれぞれに対して、各文が含まれていたテキストデータに対応する属性情報により示される情報提供者の属性に基づいて、評価対象に関する評価を付与してよい。上記の機械学習装置において、指標算出部は、評価付与部が複数の文のそれぞれに付与した評価に基づいて、指標を算出してよい。

本発明の第２の態様においては、機械学習方法が提供される。上記の機械学習方法は、例えば、（ｉ）評価対象に関する評価、及び、（ｉｉ）評価対象の状態又は評価の理由を示す１以上の説明文が対応付けられた評価情報に含まれる１以上の説明文を教師データとして利用して、入力された文が、評価対象の状態、評価対象に対する評価又は評価の理由を示す文であるか否かを判定するための第１学習モデルを構築する第１モデル構築段階を有する。上記の機械学習方法は、例えば、第１モデル構築段階において構築された第１学習モデルを用いて、テキストデータに含まれる１以上の文の中から、評価対象に関連する文を抽出する抽出段階を有する。

本発明の第３の態様においては、プログラムが提供される。上記のプログラムを格納する非一時的コンピュータ可読媒体が提供されてもよい。上記のプログラムは、例えば、コンピュータを、上記の第１の態様に係る機械学習装置として機能させるためのプログラムである。上記のプログラムは、コンピュータに、上記の第２の態様に係る機械学習方法を実行させるためのプログラムであってもよい。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

指標推定システム１００のシステム構成の一例を概略的に示す。 格納部１２６の内部構成の一例を概略的に示す。 データテーブル３００の一例を概略的に示す。 データテーブル４００の一例を概略的に示す。 モデル構築部１４４の内部構成の一例を概略的に示す。 指標推定部１６６の内部構成の一例を概略的に示す。 機械学習型抽出部６３４の内部構成の一例を概略的に示す。 評価対象抽出部６３０における情報処理の一例を概略的に示す。 評価対象抽出部６３０における情報処理の一例を概略的に示す。 評価対象抽出部６３０における情報処理の一例を概略的に示す。 データテーブル１１００の一例を概略的に示す。 コンピュータ３０００のシステム構成の一例を概略的に示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。なお、図面において、同一または類似の部分には同一の参照番号を付して、重複する説明を省く場合がある。

［指標推定システム１００の概要］
図１は、指標推定システム１００のシステム構成の一例を概略的に示す。本実施形態において、指標推定システム１００は、（ｉ）各種のＳＮＳに登録された情報、ネットワーク上の各種の掲示板に登録された情報、各種のニュースで報道された情報、景況感に関する各種のアンケートにより収集された情報、顧客等との折衝において得られた情報、営業日報又は業務日報に記載された情報などを取得し、（ｉｉ）経済指標の推定値を出力する。これにより、指標推定システム１００のユーザは、経済活動の状態又は動向を、政府、中央銀行などの公的機関が公表する経済指標と同等の精度で、当該経済指標の公表時期よりも早い時期に把握することができる。

政府、中央銀行などの公的機関が公表する経済指標は、例えば、政府、中央銀行などの公的機関が公表する経済活動に関する調査結果（公的な調査結果と称される場合がある。）に記載される。上記の経済指標としては、日本銀行による「企業短期経済観測調査」に記載された各種の指数、内閣府による「景気ウォッチャー調査」に記載された各種の指数、経済産業省による「生産動態統計調査」に記載された各種の指数などが例示される。「企業短期経済観測調査」に記載された指数としては、「業況判断指数」（日銀短観と称される場合がある）が例示される。「景気ウォッチャー調査」に記載された指数としては、「現状判断」が例示される。「生産動態統計調査」に記載された指数としては、各種の「鉱工業指数」が例示される。経済指標の他の例としては、内閣府から公表される景気動向指数がある。

本実施形態において、指標推定システム１００は、通信部１２２と、入出力部１２４と、格納部１２６と、要求受付部１２８と、教師データ取得部１４２と、モデル構築部１４４と、サンプルデータ取得部１６２と、テキストデータ生成部１６４と、指標推定部１６６とを備える。本実施形態において、指標推定システム１００は、通信ネットワーク１０を介して、ユーザ端末１２、教師データ提供サーバ１４、及び、サンプルデータ提供サーバ１６の少なくとも１つとの間で情報を送受することができる。

本実施形態において、通信ネットワーク１０は、ユーザ端末１２、教師データ提供サーバ１４、及び、サンプルデータ提供サーバ１６の少なくとも１つと、指標推定システム１００との間で、情報を伝達する。通信ネットワーク１０は、有線通信の伝送路であってもよく、無線通信の伝送路であってもよく、無線通信の伝送路及び有線通信の伝送路の組み合わせであってもよい。

通信ネットワーク１０は、無線通信網、インターネット、Ｐ２Ｐネットワーク、専用回線、ＶＰＮ、電力線通信回線などを含んでもよい。無線通信網における通信方式は、（ｉ）３Ｇ方式、ＬＴＥ方式、４Ｇ方式、５Ｇ方式などの移動体通信方式であってもよく、（ｉｉ）Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）のような近距離無線方式、ＷｉＦｉ（登録商標）のような無線ＬＡＮ方式、ＷｉＭＡＸ（登録商標）のような無線ＭＡＮ方式、無線ＷＡＮ方式などの無線データ通信方式であってもよい。

本実施形態において、ユーザ端末１２は、通信ネットワーク１０を介して指標推定システム１００との間で情報を送受することのできる情報処理端末であればよく、その詳細は特に限定されない。ユーザ端末１２は、指標推定システム１００のユーザにより、指標推定システム１００のユーザインタフェースとして利用され得る。ユーザ端末１２としては、パーソナルコンピュータ、携帯端末などが例示される。携帯端末としては、携帯電話、スマートフォン、ＰＤＡ、タブレット、ノートブック・コンピュータ又はラップトップ・コンピュータ、ウエアラブル・コンピュータなどが例示される。

本実施形態において、教師データ提供サーバ１４は、公的な調査結果のデータを管理する。例えば、教師データ提供サーバ１４は、複数の調査のそれぞれについて、当該調査の種類を示す情報と、当該調査の対象期間を示す情報と、当該調査の調査結果のデータとを対応付けて格納する。教師データ提供サーバ１４は、指標推定システム１００からの要求に応じて、指標推定システム１００が要求する調査結果のデータを、指標推定システム１００に送信する。

調査の種類の例としては、調査の名称、調査対象の種類、調査の目的、調査におけるヒアリング対象者の属性などが例示される。調査の名称としては、企業短期経済観測調査、景気ウォッチャー調査、生産動態統計調査などが例示される。調査におけるヒアリング対象者の属性としては、年齢、性別、調査対象との関連度合などが例示される。調査対象との関連度合としては、ヒアリング対象者が所属する団体の業種、当該団体の規模、当該団体が活動する地域、当該団体における当該ヒアリング対象者の肩書、当該ヒアリング対象者の職種などが例示される。ヒアリング対象者の肩書としては、所属部署、役職などが例示される。調査対象との関連度合の他の例としては、調査対象に関する予測精度、調査対象に関連する業務又は役職の経験年数などが例示される。

ヒアリング対象者及び調査対象の関連度合は、連続的な数値により表されてもよく、段階的な区分により表されてもよい。例えば、関連度合は、調査対象に対する予測精度が良好である程、関連度合を表す数値が大きくなるように設定される。関連度合は、調査対象に関連する業務又は役職の経験年数が長い程、関連度合を表す数値が大きくなるように設定されてもよい。関連度合は、役職の階級が上級であるほど、関連度合を表す数値が大きくなるように設定されてもよい。

例えば、調査対象が経済活動である場合、「次の四半期の景気が現在よりも良くなると予想し、実際に、景気が良くなった場合」、「次の四半期の景気が現在よりも良くなると予想したが、実際には景気動向に変化がなかった場合」、「次の四半期の景気が現在よりも良くなると予想したが、実際には景気が悪化した場合」の順に、関連度合を表す数値として大きな値が付与される。「次の四半期の景気が現在よりも良くなると予想し、実際に、景気が良くなった場合」の関連具合は、１以上であってよく、「次の四半期の景気が現在よりも良くなると予想したが、実際には景気動向に変化がなかった場合」及び「次の四半期の景気が現在よりも良くなると予想したが、実際には景気が悪化した場合」の関連具合は１より小さくてもよい。

本実施形態において、サンプルデータ提供サーバ１６は、指標推定システム１００による分析の対象となる各種のデータ（サンプルデータと称される場合がある。）を管理する。サンプルデータは、作成者又は更新者ごとに管理されてもよく、作成者又は更新者及び作成日又は更新日ごとに管理されてもよい。例えば、サンプルデータが営業日報、業務日報などのデータである場合、当該営業日報、業務日報などのデータが保存されるごとに、１つのサンプルデータとして扱われる。サンプルデータが営業日報、業務日報などのデータである場合、当該営業日報、業務日報などを作成又は更新した担当者ごとに、１つのサンプルデータとして扱われてもよい。サンプルデータが営業日報、業務日報などのデータである場合、担当者ごと、且つ、営業日ごとに、１つのサンプルデータとして扱われてもよい。例えば、サンプルデータがＳＮＳ上に投稿されたデータである場合、投稿ごとに、１つのサンプルデータとして取り扱われる。

例えば、サンプルデータ提供サーバ１６は、複数のサンプルデータのそれぞれについて、（ｉ）当該サンプルデータの作成時刻又は更新時刻を示す情報、及び、当該サンプルデータの作成者、更新者又は管理者を示す情報の少なくとも一方と、（ｉｉ）当該サンプルデータとを対応付けて格納する。サンプルデータ提供サーバ１６は、複数のサンプルデータのそれぞれについて、（ｉ）当該サンプルデータの作成時刻又は更新時刻を示す情報、及び、当該サンプルデータの作成者、更新者又は管理者を示す情報の少なくとも一方と、（ｉｉ）当該サンプルデータの種類を示す情報と、（ｉｉｉ）当該サンプルデータとを対応付けて格納してもよい。サンプルデータ提供サーバ１６は、指標推定システム１００からの要求に応じて、指標推定システム１００が要求するサンプルデータを、指標推定システム１００に送信する。

サンプルデータは、テキストデータであってもよく、音声データであってもよく、画像データであってもよく、任意のアプリケーションプログラム用のデータであってもよい。画像データは、静止画像データであってもよく、動画像データであってもよい。サンプルデータに含まれる情報としては、各種のＳＮＳに登録された情報、各種のニュースで報道された情報、各種のアンケートにより収集された情報、顧客等との折衝において得られた情報、営業日報又は業務日報に記載された情報などが例示される。

サンプルデータには、情報提供者の発言若しくはジェスチャにより提示された情報、又は、情報提供者が知覚した情報が含まれてよい。ジェスチャとしては、身振り、手振り、仕草、表情などが例示される。発言、ジェスチャなどに関する情報としては、（ｉ）発言内容又はジェスチャを示す情報、（ｉｉ）情報提供者の発言又はジェスチャに関する、上記の担当者による要約又は補足説明を示す情報などが例示される。補足説明としては、上記の発言又はジェスチャの背景、担当者の感想などが例示される。

例えば、サンプルデータが営業日報、業務日報などのデータである場合、ヒアリング作業の担当者は、ヒアリング対象者の発言、ジェスチャなどに関する情報を営業日報、業務日報などに書き込むことで、当該営業日報、業務日報などを作成又は更新する。この場合のヒアリング対象者は、情報提供者の一例であってよい。例えば、サンプルデータがＳＮＳ上に投稿されたデータである場合、投稿者は、自己が知覚した情報を、ＳＮＳ上に投稿する。この場合の投稿者は、情報提供者の一例であってよい。サンプルデータの種類の詳細は後述される。

［指標推定システム１００の各部の概要］
本実施形態において、通信部１２２は、通信ネットワーク１０を介して、ユーザ端末１２、教師データ提供サーバ１４、及び、サンプルデータ提供サーバ１６の少なくとも１つとの間で情報を送受する。例えば、通信部１２２は、ユーザ端末１２、教師データ提供サーバ１４、及び、サンプルデータ提供サーバ１６の少なくとも１つに、各種の要求を送信する。通信部１２２は、ユーザ端末１２、教師データ提供サーバ１４、及び、サンプルデータ提供サーバ１６の少なくとも１つから、上記の要求に対する応答を受信する。

一実施形態において、通信部１２２は、ユーザ端末１２に対して、指標推定システム１００のユーザとのインタラクションを要求する。例えば、通信部１２２は、ユーザ端末１２に、指標推定システム１００のユーザに提示される情報を送信する。通信部１２２は、各種の入力画面の情報を送信してよい。ユーザ端末１２は、上記のインタラクションに関する要求に基づいて、通信部１２２から受け取った情報を、ユーザに提示する。情報の提示態様は特に限定されない。上記の情報は、画像として表示又は投影されてもよく、音声として出力されてもよい。ユーザ端末１２は、ユーザに対して情報の入力を要求又は催促してよい。ユーザ端末１２は、ユーザが入力した情報を、通信部１２２に送信してよい。これにより、通信部１２２は、指標推定システム１００のユーザがユーザ端末１２に入力した情報を取得することができる。

他の実施形態において、通信部１２２は、教師データ提供サーバ１４に対して、特定の調査結果に関するデータの送信を要求する。これにより、通信部１２２は、教師データ提供サーバ１４から、各種の調査結果のデータを取得することができる。取得された調査結果のデータは、例えば、モデル構築部１４４における機械学習用の教師データとして用いられる。

さらに他の実施形態において、通信部１２２は、サンプルデータ提供サーバ１６に対して、特定のサンプルデータの送信を要求する。これにより、通信部１２２は、サンプルデータ提供サーバ１６から、各種のサンプルデータを取得することができる。取得されたサンプルデータは、例えば、指標推定部１６６における推定処理用の入力データとして用いられる。

本実施形態において、入出力部１２４は、指標推定システム１００のユーザからの情報の入力を受け付ける。入出力部１２４は、指標推定システム１００のユーザに情報を提示する。入出力部１２４は、指標推定システム１００のユーザにより、指標推定システム１００のユーザインタフェースとして利用され得る。入出力部１２４は、キーボード、ポインティングデバイス、タッチパネル、マイク、カメラ、音声入力システム、ジェスチャ入力システムなどの入力装置を有してよい。入出力部１２４は、表示機器、投影機器、音声出力機器、振動機器などの出力装置を有してよい。

本実施形態において、格納部１２６は、各種の情報を格納する。格納部１２６は、指標推定システム１００の情報処理において利用される情報を格納してよい。格納部１２６は、指標推定システム１００の情報処理においせ生成された情報を格納してよい。格納部１２６の詳細は後述される。

本実施形態において、要求受付部１２８は、指標推定システム１００に対する各種の要求を受け付ける。例えば、要求受付部１２８は、ユーザからの要求であって、指標推定システム１００に関する各種の設定を登録するための要求を受け付ける。要求受付部１２８は、受け付けられた要求を、当該要求の処理に適した要素に転送してよい。

指標推定システム１００に関する設定としては、指標推定システム１００が推定する指標の種類に関する設定、指標推定システム１００における機械学習に関する各種の設定、指標推定システム１００に入力されるサンプルデータに関する各種の設定などが例示される。指標の種類としては、企業短期経済観測調査に記載された各種の指数、景気ウォッチャー調査に記載された各種の指数、生産動態統計調査に記載された各種の指数、景気動向指数などが例示される。機械学習に関する設定としては、機械学習用の教師データに関する設定、学習モデルに関する設定などが例示される。教師データに関する設定としては、データのＵＲＩ、データ形式などが例示される。サンプルデータに関する設定としては、データのＵＲＩ、データ形式などが例示される。

一実施形態において、要求受付部１２８が、指標推定システム１００のユーザからの要求を受け付ける。要求受付部１２８は、ユーザ端末１２又は入出力部１２４を介して、ユーザからの要求を取得してよい。他の実施形態において、要求受付部１２８は、ユーザ端末１２、教師データ提供サーバ１４及びサンプルデータ提供サーバ１６の少なくとも１つからの要求を受け付けてよい。

本実施形態において、教師データ取得部１４２は、教師データ提供サーバ１４に対して、特定の調査結果のデータの送信を要求する。調査結果のデータは、例えば、当該調査の種類と、当該調査の対象期間とにより特定される。これにより、教師データ取得部１４２は、教師データ提供サーバ１４から、特定の調査結果のデータを取得することができる。

一実施形態において、教師データ取得部１４２は、取得された調査結果のデータを、格納部１２６に格納する。他の実施形態において、教師データ取得部１４２は、取得された調査結果のデータを、モデル構築部１４４に出力してよい。

本実施形態において、モデル構築部１４４は、教師データ取得部１４２が取得した調査結果のデータを教師データとして用いて、指標推定部１６６において利用される学習モデルを構築する。モデル構築部１４４の詳細は後述される。

本実施形態において、サンプルデータ取得部１６２は、サンプルデータ提供サーバ１６に対して、特定のサンプルデータの送信を要求する。これにより、通信部１２２は、サンプルデータ提供サーバ１６から、各種のサンプルデータを取得することができる。サンプルデータ取得部１６２は、１以上のサンプルデータのそれぞれを、各サンプルデータの内容に関連する時期、各サンプルデータが記録された時期、又は、各サンプルデータを含む電子ファイルが作成若しくは更新された時期を示す情報と対応づけて取得してよい。サンプルデータ取得部１６２は、１以上のサンプルデータのそれぞれを、各サンプルデータの情報提供者の属性を示す情報と対応付けて取得してもよい。

サンプルデータは、例えば、（ｉ）当該サンプルデータの種類と、（ｉｉ）当該サンプルデータが作成若しくは更新された時刻、又は、当該時刻に関する範囲（上記の時刻、又は、当該時刻に関する範囲は、時期と称される場合がある。）とにより特定される。サンプルデータの種類は、例えば、当該サンプルデータを管理するサンプルデータ提供サーバ１６のＵＲＬにより特定される。サンプルデータの種類は、当該種類を識別するための識別情報により特定されてもよい。サンプルデータの種類は、当該サンプルデータの名称、作成者、更新者、及び、情報提供者の少なくとも１つにより特定されてもよい。サンプルデータの種類は、当該サンプルデータの内容を示す情報を提供した情報提供者の属性により特定されてもよい。情報提供者の属性は、年齢、性別、評価対象との関連度合などが例示される。情報提供者の属性の具体例は、上述されたヒアリング対象者の属性の具体例と同様であってよい。

サンプルデータが作成又は更新された時期は、当該サンプルデータを格納する電子ファイルに当該サンプルデータが記録された時期であってもよく、当該電子ファイルが作成又は更新された時期であってもよい。なお、サンプルデータが作成又は更新された時期の代わりに、当該サンプルデータの内容に関連する時期が用いられてもよい。例えば、サンプルデータ中に、「２０１８年の１２月の売り上げは、前年比１０％増であった」というように、評価対象に関する時期を示す情報が含まれている場合、当該時期が、当該サンプルデータの内容に関連する時期として利用される。

一実施形態において、サンプルデータ取得部１６２は、取得されたサンプルデータを、格納部１２６に格納する。サンプルデータ取得部１６２は、取得されたサンプルデータを、当該サンプルデータの種類を区別するための情報（種別情報と称される場合がある）と対応付けて、格納部１２６に格納してもよい。他の実施形態において、サンプルデータ取得部１６２は、取得されたサンプルデータを、指標推定部１６６に出力してよい。さらに他の実施形態において、取得されたサンプルデータがテキストデータ以外の形式のデータである場合、又は、取得されたサンプルデータにテキストデータ以外の形式のデータが含まれる場合、サンプルデータ取得部１６２は、取得されたサンプルデータを、テキストデータ生成部１６４に出力してよい。

本実施形態において、サンプルデータ取得部１６２が取得したサンプルデータがテキストデータ以外の形式のデータである場合、又は、当該サンプルデータにテキストデータ以外の形式のデータが含まれる場合、テキストデータ生成部１６４は、当該テキストデータ以外の形式のデータから、テキストデータを生成する。テキストデータ生成部１６４は、特定のサンプルデータから生成されたテキストデータを、当該サンプルデータの一部として、格納部１２６に格納してよい。テキストデータ生成部１６４は、特定のサンプルデータから生成されたテキストデータを、当該サンプルデータの一部として、指標推定部１６６に出力してもよい。

一実施形態において、テキストデータ生成部１６４は、サンプルデータに含まれる音声データに対して、音声認識処理を実行することで、当該音声データに含まれる人間の音声を記録したテキストデータを生成する。他の実施形態において、テキストデータ生成部１６４は、サンプルデータに含まれる画像データに対して、画像認識処理を実行することで、当該画像データに含まれる文字又は手話を記録したテキストデータを生成する。

本実施形態において、指標推定部１６６は、サンプルデータ取得部１６２が取得したサンプルデータを用いて、ユーザにより指定された種類の指標の推定値を出力する。出力される指標の種類は、例えば、ユーザによる設定又は初期設定に基づいて決定される。

具体的には、まず、指標推定部１６６は、サンプルデータ取得部１６２が取得した複数のサンプルデータの中から、ユーザにより指定された期間に作成又は更新された複数のサンプルデータを抽出する。次に、指標推定部１６６は、抽出された複数のサンプルデータのそれぞれを１以上の文に分割することで、分析対象となる複数の文を得る。次に、指標推定部１６６は、分析対象となる複数の文の中から、経済活動に関連する可能性の高い文を、評価対象となる文として抽出する。

次に、指標推定部１６６は、評価対象となる文のそれぞれについて、当該文により示される経済活動の状態又は動向の程度を評価して、当該評価に対応するスコア（評価スコアと称される場合がある。）を付与する。次に、指標推定部１６６は、評価対象となる文のそれぞれに付与された評価スコアを、ユーザにより指定された指標の種類に応じて適切に処理することで、当該指標を算出する。

本実施形態によれば、指標推定システム１００は、各種のＳＮＳに登録された情報、各種のニュースで報道された情報、各種のアンケートにより収集された情報、顧客等との折衝において得られた情報（折衝記録に記載された情報と称される場合がある）、営業日報又は業務日報に記載された情報などのビックデータを利用して、評価対象の評価に関連する指標を算出することができる。指標推定部１６６の詳細は後述される。

本実施形態においては、指標推定システム１００が、経済活動を評価対象とし、経済活動の状態又は動向を示す指標として各種の経済指標の推定値を出力する場合を例として、指標推定システム１００の詳細が説明された。しかしながら、指標推定システム１００の評価対象は、経済活動に限定されない。他の実施形態において、指標推定システム１００は、個人、団体若しくは法人、商品若しくはサービス、又は、地域若しくはランドマークの人気度又は知名度を評価対象としてもよい。

また、本実施形態においては、指標推定システム１００が、政府、中央銀行などの公的機関が公表する経済活動に関する調査結果を教師データとして利用する場合を例として、指標推定システム１００の詳細が説明される。しかしながら、指標推定システム１００は本実施形態に限定されない。他の実施形態において、指標推定システム１００は、民間の調査機関による調査結果を教師データとして利用してもよい。

指標推定システム１００は、機械学習装置の一例であってよい。通信部１２２は、条件取得部、種別情報取得部、期間情報取得部、テキストデータ取得部の一例であってよい。入出力部１２４は、条件取得部、種別情報取得部、期間情報取得部、テキストデータ取得部の一例であってよい。要求受付部１２８は、条件取得部、種別情報取得部、期間情報取得部、テキストデータ取得部の一例であってよい。モデル構築部１４４は、第１モデル構築部、及び、第２モデル構築部の一例であってよい。サンプルデータ取得部１６２は、種別情報取得部、及び、テキストデータ取得部の一例であってよい。テキストデータ生成部１６４は、種別情報取得部、及び、テキストデータ取得部の一例であってよい。指標推定部１６６は、抽出部、指数算出部の一例であってよい。

景況感は、経済活動に関する評価の一例であってよい。経済活動は、評価対象の一例であってよい。調査対象は、評価対象の一例であってよい。公的な調査結果は、評価情報の一例であってよい。サンプルデータは、テキストデータの一例であってよい。経済指標は、指標の一例であってよい。ヒアリング対象者は、情報提供者の一例であってよい。

［指標推定システム１００の各部の具体的な構成］
指標推定システム１００の各部は、ハードウエアにより実現されてもよく、ソフトウエアにより実現されてもよく、ハードウエアとソフトウエアとの組み合わせにより実現されてもよい。指標推定システム１００の構成要素の少なくとも一部がソフトウエアにより実現される場合、当該ソフトウエアにより実現される構成要素は、一般的な構成の情報処理装置において、当該構成要素に関する動作を規定したプログラムを起動することにより実現されてよい。

プログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、メモリ、ハードディスクなどのコンピュータ読み取り可能な媒体に記憶されていてもよく、ネットワークに接続された記憶装置に記憶されていてもよい。プログラムは、コンピュータ読み取り可能な媒体又はネットワークに接続された記憶装置から、指標推定システム１００の少なくとも一部を構成するコンピュータにインストールされてよい。プログラムが実行されることにより、コンピュータが、指標推定システム１００の各部の少なくとも一部として機能してもよい。

コンピュータを指標推定システム１００の各部の少なくとも一部として機能させるプログラムは、指標推定システム１００の各部の動作を規定したモジュールを備えてよい。これらのプログラム又はモジュールは、データ処理装置、入力装置、出力装置、記憶装置等に働きかけて、コンピュータを指標推定システム１００の各部として機能させたり、コンピュータに指標推定システム１００の各部における情報処理方法を実行させたりする。

プログラムに記述された情報処理は、当該プログラムがコンピュータに読込まれることにより、当該プログラムに関連するソフトウエアと、指標推定システム１００の各種のハードウエア資源とが協働した具体的手段として機能する。そして、上記の具体的手段が、本実施形態におけるコンピュータの使用目的に応じた情報の演算又は加工を実現することにより、当該使用目的に応じた指標推定システム１００が構築される。

上記のプログラムは、コンピュータに、機械学習方法を実行させるためのプログラムであってよい。上記の機械学習方法は、例えば、（ｉ）評価対象に関する評価、及び、（ｉｉ）評価対象の状態又は評価の理由を示す１以上の説明文が対応付けられた評価情報に含まれる１以上の説明文を教師データとして利用して、入力された文が、評価対象の状態、評価対象に対する評価又は評価の理由を示す文であるか否かを判定するための第１学習モデルを構築する第１モデル構築段階を有する。上記の機械学習方法は、例えば、第１モデル構築段階において構築された第１学習モデルを用いて、テキストデータに含まれる１以上の文の中から、評価対象に関連する文を抽出する抽出段階を有する。

図２は、格納部１２６の内部構成の一例を概略的に示す。本実施形態において、格納部１２６は、設定情報格納部２２２と、サンプルデータ格納部２２６と、教師データ格納部２２４と、モデル情報格納部２２８とを備える。

本実施形態において、設定情報格納部２２２は、要求受付部１２８が受け付けた、指標推定システム１００に関する設定を示す情報を格納する。上記の設定としては、指標推定システム１００が推定する指標の種類に関する設定、指標推定システム１００における機械学習に関する各種の設定、指標推定システム１００に入力されるサンプルデータに関する各種の設定などが例示される。

本実施形態において、教師データ格納部２２４は、教師データ取得部１４２が取得した各種のデータを、モデル構築部１４４のモデル構築処理において利用される教師データとして格納する。教師データ格納部２２４は、例えば、複数の教師データのそれぞれについて、当該データの識別情報と、当該データの種類を示す情報及び当該データの対象期間を示す情報の少なくとも一方と、当該データとを対応付けて格納してよい。

データの種類は、当該データの内容を示す情報を提供した情報提供者の属性であってよい。教師データが各種の調査結果のデータである場合、情報提供者としては、当該調査におけるヒアリング対象者が例示される。上記のデータが特定の調査結果のデータである場合、データの種類の具体例は、上述された調査の種類の具体例と同様であってよい。

本実施形態において、サンプルデータ格納部２２６は、サンプルデータ取得部１６２が取得したサンプルデータを格納する。サンプルデータ格納部２２６は、複数のサンプルデータのそれぞれについて、（ｉ）当該サンプルデータの識別情報と、（ｉｉ）当該サンプルデータの種類を示す情報、当該サンプルデータの作成時刻又は更新時刻を示す情報、及び、当該サンプルデータの作成者、更新者又は管理者を示す情報の少なくとも１つと、（ｉｉｉ）当該サンプルデータとを対応付けて格納してよい。サンプルデータ格納部２２６は、複数のサンプルデータのそれぞれについて、当該サンプルデータとともに、又は、当該サンプルデータに代えて、テキストデータ生成部１６４が生成したテキストデータを格納してよい。

本実施形態において、モデル情報格納部２２８は、モデル構築部１４４が構築した学習モデルに関する各種の情報を格納する。例えば、モデル情報格納部２２８は、複数の学習モデルのそれぞれについて、当該モデルの識別情報と、当該モデルのアルゴリズムを示す情報と、当該モデルのパラメータの値を示す情報とを対応付けて格納する。モデル情報格納部２２８は、複数の学習モデルのそれぞれについて、当該モデルに関する他の情報を格納してもよい。

図３は、データテーブル３００の一例を概略的に示す。データテーブル３００は、教師データ格納部２２４に格納された教師データの一例であってよい。データテーブル３００は、特定の期間を対象期間とする景気ウォッチャー調査の一例であってよい。

景気ウォッチャー調査は、地域の景気に関連の深い動きを観察できる立場にある人々（ヒアリング対象者と称される場合がある。）の協力を得て、地域ごとに景気動向を的確かつ迅速に把握し、景気動向判断の基礎資料とすることを目的として実施される。景気ウォッチャー調査における調査項目としては、（ｉ）景気の現状に対する判断、（ｉｉ）現状に対する判断の理由、（ｉｉｉ）上記の理由に関する追加説明、及び、具体的状況の説明、（ｉｖ）景気の先行きに対する判断、（ｖ）先行きに対する判断の理由などが例示される。

本実施形態において、データテーブル３００は、経済活動の分野を示す情報３１２と、調査対象となる地域を示す情報３１４と、ヒアリング対象者の業種及び職種を示す情報３１６と、景気の現状判断を示す情報３２２と、判断の理由を示す情報３２４と、追加説明及び具体的状況の説明を示す情報３２６とを対応付けて格納する。データテーブル３００の各行は、評価情報の一例であってよい。経済活動の分野を示す情報３１２、調査対象となる地域を示す情報３１４、及び、ヒアリング対象者の業種及び職種を示す情報３１６のそれぞれは、調査の種類の一例であってよい。景気の現状判断を示す情報３２２は、評価対象に関する評価の一例であってよい。判断の理由を示す情報３２４は、評価の理由を示す説明文の一例であってよい。追加説明及び具体的状況の説明を示す情報３２６は、評価対象の状態を示す説明文の一例であってよい。

なお、データテーブル３００のデータ構造は本実施形態に限定されない。他の実施形態において、データテーブル３００は、経済活動の分野を示す情報３１２、調査対象となる地域を示す情報３１４、及び、ヒアリング対象者の業種及び職種を示す情報３１６、判断の理由を示す情報３２４の少なくとも１つを備えなくてもよい。さらに他の実施形態において、データテーブル３００は、データテーブル３００の各行を識別するための識別情報を格納するための列、調査の種類を示す情報を格納するための列、及び、調査が実施された時期を示す情報を格納するための列の少なくとも１つをさらに備えてもよい。

図４は、データテーブル４００の一例を概略的に示す。データテーブル４００は、サンプルデータ格納部２２６に格納されたサンプルデータの一例であってよい。本実施形態においては、サンプルデータとして、企業の営業担当者が、顧客との会話、折衝などの内容を記録した営業日報が入力された場合を例として、データテーブル４００の詳細が説明される。しかしながら、サンプルデータが本実施形態に限定されないことに留意されたい。本実施形態において、上記の顧客は、ヒアリング対象者の一例であってよい。

本実施形態において、データテーブル４００の各行（レコードと称される場合がある。）には、単一の文の情報が格納される。例えば、単一のサンプルデータに複数の文が含まれる場合、データテーブル４００は、当該サンプルデータに関する情報を、複数のレコードに分割して格納する。複数のレコードのそれぞれには、上記の複数の文のそれぞれに関する情報が格納される。

本実施形態において、データテーブル４００は、サンプルＩＤ４１２と、センテンスＩＤ４１４と、各文の記録時刻を示す情報４１６と、各文の内容を示す情報４１８と、データの種類を示す情報４２０とを対応づけて格納する。サンプルＩＤ４１２は、複数のサンプルデータのそれぞれを識別することのできる情報であればよく、その詳細は特に限定されない。センテンスＩＤ４１４は、複数の文のそれぞれを識別することのできる情報であればよく、その詳細は特に限定されない。

記録時刻を示す情報４１６は、複数の文のそれぞれが作成又は更新された時刻を示す。内容を示す情報４１８は、複数の文のそれぞれの内容を示す。データの種類を示す情報４２０は、複数の文のそれぞれの種類を示す。文の種類としては、当該文が含まれていたサンプルデータの種類、当該文の内容を示す情報を提供した情報提供者の属性などが例示される。サンプルデータが営業日報、業務日報又は折衝記録に関するテキストデータである場合、情報提供者としては、ヒアリング対象となった顧客などが例示される。

図４に示された例によれば、データの種類を示す情報４２０として、情報提供者の属性を示す情報が格納されている。上記の属性は、例えば、サンプルデータ取得部１６２が、営業日報の文章又は各文を解析することにより、各文に付与される。上記の属性は、営業担当者が、営業日報の文章又は各文に対応する属性を入出力部１２４に入力することにより、各文に付与されてもよい。

なお、データテーブル４００のデータ構造は本実施形態に限定されない。他の実施形態において、複数の文のそれぞれについて、データテーブル４００は、サンプルＩＤ４１２と、センテンスＩＤ４１４と、内容を示す情報４１８とを対応付けて格納する第１のデータテーブルと、複数のサンプルデータのそれぞれについて、サンプルＩＤ４１２と、記録時刻を示す情報４１６とを対応付けて格納する第２のデータテーブルとに分割されていてもよい。

図５は、モデル構築部１４４の内部構成の一例を概略的に示す。本実施形態において、モデル構築部１４４は、抽出用モデル構築部５２２と、評価用モデル構築部５２４とを備える。

上述のとおり、モデル構築部１４４は、指標推定部１６６において利用される各種の学習モデルを構築する。上述のとおり、指標推定部１６６は、分析対象となる複数の文の中から、経済活動に関連する可能性の高い文を、評価対象となる文として抽出する。また、指標推定部１６６は、評価対象となる文のそれぞれについて、当該文により示される経済活動の状態又は動向の程度を評価して、当該評価に対応するスコアを付与する。

本実施形態において、抽出用モデル構築部５２２は、上記の分析対象となる複数の文の中から、評価対象となる文を抽出するための学習モデルを構築する。具体的には、抽出用モデル構築部５２２は、（ｉ）評価対象に関する評価、及び、（ｉｉ）評価対象の状態又は評価の理由を示す１以上の説明文が対応付けられた評価情報に含まれる１以上の説明文を教師データとして利用して、入力された文が、評価対象の状態、評価対象に対する評価又は評価の理由を示す文であるか否かを判定するための学習モデルを構築する。

例えば、抽出用モデル構築部５２２は、データテーブル３００を構成する複数のレコードの追加説明及び具体的状況の説明を示す情報３２６を教師データとして利用して、入力された文が、（ｉ）経済活動に対する評価、（ｉｉ）経済活動の状態、又は、（ｉｉｉ）当該評価の理由を示す文であるか否かを判定するための学習モデルを構築する。上記の学習モデルによれば、当該学習モデルに入力された複数の文のそれぞれは、追加説明及び具体的状況の説明を示す情報３２６に含まれる文に類似する文と、追加説明及び具体的状況の説明を示す情報３２６に含まれる文に類似しない文とに分類される。そして、追加説明及び具体的状況の説明を示す情報３２６に含まれる文に類似する文は、（ｉ）経済活動に対する評価、（ｉｉ）経済活動の状態、又は、（ｉｉｉ）当該評価の理由を示す文であると判定される。

上記の学習モデルの種類は、特に限定されない。学習モデルの種類としては、ニューラルネットワークモデル（ＮＮと略称される場合がある）、畳み込みニューラルネットワーク（ＣＮＮと略称される場合がある。）、ロジスティック回帰モデル（ＬＲと略称される場合がある）、シンプルワードエンベッディングモデル（ＳＷＥＭと略称される場合がある）、ロングショートタームメモリモデル（ＬＳＴＭと略称される場合がある）、Ｂｉｄｉｒｅｃｔｉｏｎａｌ ＬＴＳＭなどが例示される。

上記の学習モデルは、入力された文を、「（ｉ）経済活動に対する評価、（ｉｉ）経済活動の状態、又は、（ｉｉｉ）当該評価の理由を示す第１の文」、又は、「第１の文ではない第２の文」の何れかに分類する文章分類器を含んでよい。上記の学習モデルは、「評価対象の状態又は評価の理由を示す文」、又は、「評価対象の状態又は評価の理由を示す文ではない文」の何れかに分類する文章分類器を含んでもよい。文章分類器は、センテンスエンベッディングの生成器と、分類器とのペアにより構成されてよい。上記の学習モデルは、複数の文章分類器を含んでよい。

抽出用モデル構築部５２２は、サンプルデータの種類に応じた学習モデルを構築してもよい。抽出用モデル構築部５２２は、サンプルデータの種類に応じて、利用される学習モデルの種類を決定してよい。抽出用モデル構築部５２２は、サンプルデータの種類に応じて、利用される学習モデルの種類の数を決定してよい。抽出用モデル構築部５２２は、サンプルデータの種類に応じて、利用される学習モデルの組み合わせを決定してもよい。サンプルデータは、学習モデルの入力データの一例であってよい。入力データの他の例としては、サンプルデータに含まれる１以上の文のデータが挙げられる。

抽出用モデル構築部５２２は、サンプルデータに含まれる１以上の文のそれぞれと、各文の種類を示す情報とが対応付けられた情報を教師データとして用いて、上記の学習モデルを構築してもよい。これにより、例えば、各文に関する情報提供者の属性に応じた判定結果を出力する学習モデルが構築される。

本実施形態において、評価用モデル構築部５２４は、上記の評価対象となる文のそれぞれに、評価スコアを付与するための学習モデルを構築する。具体的には、評価情報を教師データとして利用して、入力された文に評価スコアを付与するための学習モデルを構築する。

例えば、評価用モデル構築部５２４は、データテーブル３００を構成する複数のレコードの景気の現状判断を示す情報３２２と、追加説明及び具体的状況の説明を示す情報３２６とを教師データとして利用して、入力された文に評価スコアを付与するための学習モデルを構築する。

上記の学習モデルの種類は、特に限定されない。上記の学習モデルは、畳み込みニューラルネットワークを利用した回帰モデルであってよい。

データテーブル３００において、景気の現状判断が段階的な区分により示されている場合、評価用モデル構築部５２４は、各区分に対応するスコアを決定してよい。これにより、各文に付与する評価スコアを連続的な数値で表現することができる。例えば、景気の現状判断が、「良くなる」、「やや良くなる」、「変わらない」、「やや悪くなる」及び「悪くなる」という５段階評価で表されている場合、評価用モデル構築部５２４は、「良くなる」という評価に２というスコアを付与する。同様に、評価用モデル構築部５２４は、「やや良くなる」、「変わらない」、「やや悪くなる」及び「悪くなる」という評価のそれぞれに、１、０、−１及び−２というスコアを付与する。これにより、評価用モデル構築部５２４が構築した学習モデルは、入力された文の評価スコアとして、−２から２までの範囲で任意の数値を付与する。

抽出用モデル構築部５２２は、第２モデル構築部の一例であってよい。評価用モデル構築部５２４は、第１モデル構築部の一例であってよい。

図６は、指標推定部１６６の内部構成の一例を概略的に示す。本実施形態において、指標推定部１６６は、種別判定部６２０と、評価対象抽出部６３０と、評価部６４０と、指標生成部６５０とを備える。本実施形態において、評価対象抽出部６３０は、キーワード型抽出部６３２と、機械学習型抽出部６３４とを有する。

種別判定部６２０は、分析対象として指標推定部１６６に入力されたサンプルデータの種類を判定する。例えば、種別判定部６２０は、格納部１２６を参照して、入力されたサンプルデータの種別情報を取得し、当該種別情報に基づいて、サンプルデータの種類を判定する。種別判定部６２０は、入力されたサンプルデータの内容を解析して、当該サンプルデータの種類を判定してもよい。

種別判定部６２０は、判定結果を示す情報を、例えば、評価対象抽出部６３０に出力する。種別判定部６２０は、判定結果を示す情報を、評価部６４０に出力してもよい。一実施形態において、種別判定部６２０は、サンプルデータごとに、当該サンプルデータの種類を示す情報を、評価対象抽出部６３０及び評価部６４０の少なくとも一方に出力する。他の実施形態において、種別判定部６２０は、サンプルデータに含まれる１以上の文のそれぞれについて、当該文の種類を示す情報を、評価対象抽出部６３０及び評価部６４０の少なくとも一方に出力する。

種別判定部６２０は、入力されたサンプルデータの種類に関する判定結果を利用して、単一のサンプルデータを構成する１又は複数の文のそれぞれに対して、当該文の種類を示す情報を付与してもよい。種別判定部６２０は、各文の種類を示す情報を、サンプルデータ格納部２２６に格納してよい。例えば、種別判定部６２０は、各文の種類を示す情報を、データテーブル４００に格納する。

一実施形態において、種別判定部６２０は、単一のサンプルデータと、単一の種類とを対応付ける。例えば、種別判定部６２０は、単一のサンプルデータを構成する１又は複数の文のそれぞれに対して、当該文の種類を示す情報として、同一の情報を付与する。例えば、サンプルデータの種類を示す情報により、当該サンプルデータが特定のＳＮＳに投稿された情報であることが示される場合、種別判定部６２０は、当該サンプルデータに含まれる全ての文に対して、当該文が特定のＳＮＳに投稿された情報であることを示す情報を付与する。

他の実施形態において、種別判定部６２０は、単一のサンプルデータと、複数の種類とを対応付ける。例えば、種別判定部６２０は、単一のサンプルデータを構成する複数の文のうち、第１の群に属する１以上の文、及び、第２の群に属する１以上の文のそれぞれに対して、各群に属する文の種類を示す情報として、異なる情報を付与する。例えば、サンプルデータの種類を示す情報により、当該サンプルデータが折衝記録、営業日報又は業務日報に記録された情報であることが示される場合、種別判定部６２０は、第１のヒアリング対象者から得られた情報に関する文章に含まれる文には、第１のヒアリング対象者の属性を示す情報を付与し、第２のヒアリング対象者から得られた情報に関する文章に含まれる文には、第２のヒアリング対象者の属性を示す情報を付与する。

本実施形態において、評価対象抽出部６３０は、設定情報格納部２２２を参照して、分析対象となる期間に関する設定情報を取得する。評価対象抽出部６３０は、サンプルデータ格納部２２６を参照して、分析対象となる期間に合致する時期に作成又は更新されたサンプルデータ（分析対象となるサンプルデータと称される場合がある）を取得する。評価対象抽出部６３０は、分析対象となる複数のサンプルデータのそれぞれに関するテキストデータを、各サンプルデータの内容に関連する時期、各サンプルデータが記録された時期、又は、各サンプルデータを含む電子ファイルが作成若しくは更新された時期を示す情報と対応づけて取得する。評価対象抽出部６３０は、分析対象となる複数のサンプルデータのそれぞれに関するテキストデータを、各サンプルデータの情報提供者の属性を示す情報と対応付けて取得してもよい。その後、評価対象抽出部６３０は、抽出用モデル構築部５２２が構築した学習モデルを用いて、上記のサンプルデータに含まれる１以上の文の中から、経済活動に関連する文を抽出する。

本実施形態において、評価対象抽出部６３０は、少なくとも、機械学習型抽出部６３４を利用して、サンプルデータに含まれる１以上の文の中から、経済活動に関連する文を抽出する。評価対象抽出部６３０は、抽出された文を、評価部６４０に出力する。

評価対象抽出部６３０は、キーワード型抽出部６３２及び機械学習型抽出部６３４を利用して、サンプルデータに含まれる１以上の文の中から、経済活動に関連する文を抽出してもよい。評価対象抽出部６３０は、サンプルデータの種類に基づいて、キーワード型抽出部６３２を用いた抽出処理と、機械学習型抽出部６３４を用いた抽出処理との組み合わせ方を決定してよい。

本実施形態において、キーワード型抽出部６３２は、サンプルデータに含まれる１以上の文の中から、予め定められたキーワード又はキーフレーズに関する条件に合致する文を抽出する。例えば、キーワード型抽出部６３２は、サンプルデータに含まれる１以上の文の中から、キーワードを含む文、キーフレーズに合致する文、キーワードに類似する単語を含む文、及び、キーフレーズに類似する条件に合致する文の少なくとも１つ（キーワードなどに合致する文と称される場合がある。）を、経済活動に関連する文、又は、経済活動に関連する文の候補として抽出する。

キーワード型抽出部６３２は、設定情報格納部２２２を参照して、キーワード又はキーフレーズに関する条件を示す設定情報を取得してよい。キーワード又はキーフレーズに関する設定情報は、キーワードを示す情報、及び、キーフレーズを示す情報の少なくとも一方を含む。キーワード又はキーフレーズに関する設定情報は、キーワードに類似する単語を含む文を抽出するか否かを示す情報、及び、キーフレーズに類似する条件に合致する文を抽出するか否かを示す情報の少なくとも一方を含んでもよい。

キーワード型抽出部６３２は、種別判定部６２０の判定結果に基づいて、抽出処理の条件を決定してもよい。これにより、入力されるデータの種類に応じた、適切な条件が設定される。一実施形態において、キーワード型抽出部６３２は、種別判定部６２０の判定結果に基づいて、キーワードに類似する単語を決定してよい。キーワード型抽出部６３２は、種別判定部６２０の判定結果に基づいて、キーワードに類似する単語の個数を決定してもよい。他の実施形態において、キーワード型抽出部６３２は、種別判定部６２０の判定結果に基づいて、キーフレーズに類似する条件を決定してよい。キーワード型抽出部６３２は、種別判定部６２０の判定結果に基づいて、キーフレーズに類似する条件の個数を決定してもよい。

キーワード型抽出部６３２は、種別判定部６２０の判定結果に基づいて、サンプルデータに含まれる１以上の文の中から、キーワードを含む文、キーフレーズに合致する文、キーワードに類似する単語を含む文、及び、キーフレーズに類似する条件に合致する文の少なくとも１つを、（ｉ）経済活動に関連する文として抽出するか、又は、（ｉｉ）経済活動に関連する文の候補として抽出するかを決定してもよい。例えば、経済活動に関連する文として抽出された文は、評価部６４０に出力される。一方、経済活動に関連する文の候補として抽出された文は、機械学習型抽出部６３４に出力される。

キーワードなどに合致する文だけでなく、キーワードなどに合致する文の近傍に配された１以上の文も、その他の文と比較して、経済活動に関連する文である可能性が高い。そこで、キーワード型抽出部６３２は、連続する２以上の文を含む文章であって、キーワードを含む文、キーフレーズに合致する文、キーワードに類似する単語を含む文、及び、キーフレーズに類似する条件に合致する文の少なくとも１つを含む文章を、経済活動に関連する文の候補として抽出してもよい。

この場合において、キーワード型抽出部６３２は、種別判定部６２０の判定結果に基づいて、上記の文章に含まれる文の個数を決定してもよい。一実施形態において、上記の文の個数は、サンプルデータに含まれるノイズが多いほど、上記の文の個数が少なくなるように設定されてよい。ここで、ノイズとは、経済活動に関連しない文を示す。これにより、評価部６４０に出力される１以上の文にノイズが混入することが抑制され得る。他の実施形態において、上記の文の個数は、サンプルデータに含まれるノイズが多いほど、上記の文の個数が多くなるように設定されてもよい。これにより、経済活動に関連する文の抽出漏れが抑制され得る。

本実施形態において、機械学習型抽出部６３４は、抽出用モデル構築部５２２が構築した学習モデルを利用して、サンプルデータに含まれる１以上の文の中から、経済活動に関連する文を抽出する。具体的には、機械学習型抽出部６３４は、サンプルデータに含まれる１以上の文の少なくとも一部を学習モデルに入力し、当該学習モデルが、経済活動の状態を示す文又は経済活動に関する評価の理由を示す文であると判定した文を、経済活動に関連する文として抽出する。

一実施形態において、機械学習型抽出部６３４は、分析対象となるサンプルデータの全てを、学習モデルに入力する。他の実施形態において、機械学習型抽出部６３４は、キーワード型抽出部６３２が経済活動に関連する文の候補として抽出した文を、学習モデルに入力する。さらに他の実施形態において、機械学習型抽出部６３４は、分析対象となるサンプルデータのうち、キーワード型抽出部６３２により抽出されなかった文を、学習モデルに入力する。

本実施形態において、評価部６４０は、評価対象抽出部６３０が抽出した文に、評価スコアを付与する。評価部６４０は、評価用モデル構築部５２４が構築した学習モデルを用いて、評価対象抽出部６３０が抽出した文に、評価スコアを付与してよい。例えば、評価部６４０は、評価用モデル構築部５２４が構築した学習モデルに、評価対象抽出部６３０が抽出した１以上の文のそれぞれを入力する。評価部６４０は、学習モデルの出力を、各文の評価スコアとして決定する。

評価部６４０は、種別判定部６２０の判定結果を利用して、評価対象抽出部６３０が抽出した文に評価スコアを付与してもよい。例えば、評価部６４０は、評価用モデル構築部５２４が構築した学習モデルに、評価対象抽出部６３０が抽出した１以上の文のそれぞれと、各文に関する種別判定部６２０の判定結果とを入力する。評価部６４０は、学習モデルの出力を、各文の評価スコアとして決定する。

上述されたとおり、各文のデータの種類は、例えば、各文が含まれていたサンプルデータのＵＲＩ、当該サンプルデータの作成者又は更新者、当該サンプルデータに関する情報提供者の属性などに基づき決定される。評価部６４０は、種別判定部６２０の判定結果として、例えば、情報提供者の属性を利用する。これにより、評価部６４０は、評価対象抽出部６３０が抽出した複数の文のそれぞれに対して、各文に関する情報提供者の属性に基づいて、評価対象に関する評価を付与することができる。

評価部６４０は、情報提供者の評価対象に対する造詣が深い程、当該情報提供者により提供された情報が、指標生成部６５０により生成される指標に与える影響が大きくなるように、評価スコアを付与してよい。例えば、指標生成部６５０が、日銀短観の代替となり得る指標を生成する場合、不特定多数のユーザが利用することのできるＳＮＳ上に、匿名の投稿者により投稿された情報よりも、企業の経営者により提供された情報の方が、情報源として相応しい。そこで、例えば、公的な調査のヒアリング対象者の属性と、情報提供者の属性との類似度合が予め定められた基準よりも大きい場合、評価部６４０は、学習モデルの出力値が所定値より大きいときには、学習モデルの出力値よりも大きな値を評価スコアとして決定し、学習モデルの出力値が所定値より小さいときには、学習モデルの出力値よりも小さな値を評価スコアとして決定する。

これにより、評価スコアの決定において、例えば、各文に関する情報提供者の属性が考慮され得る。教師データとして用いられる景気ウォッチャー調査、生産動態統計調査などにおいては、ヒアリング対象者として、特定の属性を有する個人、団体又は法人が選択される。そのため、教師データとして用いられた調査のヒアリング対象者と、評価対象として入力された各文に関する情報提供者の属性とが合致又は類似する場合に、当該類似の度合を考慮した評価スコアが付与されることにより、指標生成部６５０により生成される指標の信頼性が向上する。

評価部６４０は、種別判定部６２０の判定結果を利用して、評価用モデル構築部５２４が構築した学習モデルが出力したスコアを補正することで、評価対象抽出部６３０が抽出した文に、評価スコアを付与してもよい。例えば、まず、評価部６４０は、評価用モデル構築部５２４が構築した学習モデルに、評価対象抽出部６３０が抽出した１以上の文のそれぞれを入力する。評価部６４０は、学習モデルの出力を、各文の評価スコアの暫定値として決定する。次に、評価部６４０は、例えば、学習モデルの出力に、各文のデータの種類に応じた補正係数を乗じて得られた値を、各文の評価スコアとして決定する。

評価部６４０は、種別判定部６２０の判定結果として、例えば、情報提供者の属性を利用する。これにより、評価部６４０は、評価対象抽出部６３０が抽出した複数の文のそれぞれに対して、各文に関する情報提供者の属性に基づいて、評価対象に関する評価を付与することができる。

例えば、補正係数の値を、上記の情報提供者及び評価対象の関連度合が大きいほど、当該補正係数の値が大きくなるように設定することで、指標生成部６５０により生成される指標の精度が向上し得る。例えば、補正係数の値を、上記の情報提供者による過去の景気予測の精度が高いほど、当該補正係数の値が大きくなるように設定することで、指標生成部６５０により生成される経済指標の精度が向上し得る。

本実施形態において、指標生成部６５０は、評価対象抽出部６３０が抽出した複数の文のそれぞれに付与された評価スコアに基づいて、分析対象期間における経済活動の状態を示す指標を算出する。指標の算出方法は、指標の種類に応じて適切に決定される。これにより、指標推定システム１００は、分析対象期間における指標の推定値を出力することができる。

一実施形態において、指標生成部６５０は、評価対象抽出部６３０が抽出した複数の文のそれぞれに付与された評価スコアを集計することで、指標を算出する。他の実施形態において、指標生成部６５０は、評価対象抽出部６３０が抽出した複数の文のそれぞれに付与された評価スコアの統計値を用いて、指標を算出する。統計値としては、平均値、中央値、四分位数、分散などが例示される。さらに他の実施形態において、指標生成部６５０は、評価対象抽出部６３０が抽出した複数の文のそれぞれに付与された評価スコア及びその統計値の少なくとも一方を、予め定められた数式に代入する、又は、予め定められたアルゴリズムに基づいて処理することで、指標を算出する。指標生成部６５０は、種別判定部６２０の判定結果を利用して、上記の数式又はアルゴリズムのパラメータを決定してもよい。指標生成部６５０は、情報提供者の属性を利用して、上記の数式又はアルゴリズムのパラメータを決定してもよい。

指標生成部６５０は、算出された指標を正規化してもよい。一実施形態において、指標生成部６５０は、分析対象期間よりも長い期間における指標の最大値及び最小値を利用して、当該指標を正規化する。他の実施形態において、指標生成部６５０は、評価スコアが付与された文の個数を利用して、指標を正規化してもよい。

種別判定部６２０は、種別情報取得部の一例であってよい。評価対象抽出部６３０は、期間情報取得部、及び、抽出部の一例であってよい。キーワード型抽出部６３２は、条件取得部、及び、第２抽出部の一例であってよい。機械学習型抽出部６３４は、第１抽出部の一例であってよい。評価部６４０は、評価付与部の一例であってよい。指標生成部６５０は、指標算出部の一例であってよい。

図７は、機械学習型抽出部６３４の内部構成の一例を概略的に示す。本実施形態において、機械学習型抽出部６３４は、学習モデル７２０と、判定部７４０とを備える。本実施形態において、学習モデル７２０は、文章分類器７２２と、文章分類器７２４と、文章分類器７２６と、文章分類器７２８とを有する。

本実施形態において、学習モデル７２０に含まれる、文章分類器７２２、文章分類器７２４、文章分類器７２６及び文章分類器７２８のそれぞれは、入力された文が、経済活動の状態又は経済活動に関する評価の理由を示す文であることの確からしさを示すスコアを、判定部７４０に出力する。判定部７４０は、文章分類器７２２、文章分類器７２４、文章分類器７２６及び文章分類器７２８のそれぞれが出力したスコアの合計値が、予め定められた閾値よりも大きい場合に、入力された文を、経済活動に関連する文として抽出する。

本実施形態において、文章分類器７２２は、センテンスエンベディングの生成器としてＴＦ−ＩＤＦモデルを利用し、分類器としてＬＲモデルを利用する。本実施形態において、文章分類器７２４は、センテンスエンベディングの生成器としてＬＳＴＭモデルを利用し、分類器としてＮＮモデルを利用する。本実施形態において、文章分類器７２６は、センテンスエンベディングの生成器としてＣＮＮモデルを利用し、分類器としてＮＮモデルを利用する。本実施形態において、文章分類器７２８は、センテンスエンベディングの生成器としてＳＷＥＭモデルを利用し、分類器としてＬＲモデルを利用する。

学習モデル７２０の構成は、種別判定部６２０の判定結果に基づいて決定されてよい。例えば、学習モデル７２０を構成する文章分類器に用いられるモデルの種類は、種別判定部６２０の判定結果に基づいて決定される。学習モデル７２０を構成する文章分類器に用いられるモデルの組み合わせは、種別判定部６２０の判定結果に基づいて決定されてよい。学習モデル７２０を構成する文章分類器の個数は、種別判定部６２０の判定結果に基づいて決定されてよい。

図８、図９及び図１０を用いて、評価対象抽出部６３０が、キーワード型抽出部６３２及び機械学習型抽出部６３４を利用して、サンプルデータに含まれる１以上の文の中から、経済活動に関連する文を抽出する情報処理の概要が説明される。図８は、評価対象抽出部６３０における情報処理の一例を概略的に示す。図９は、評価対象抽出部６３０における情報処理の他の例を概略的に示す。図１０は、評価対象抽出部６３０における情報処理のさらに他の例を概略的に示す。

なお、評価対象抽出部６３０における情報処理はこれらの実施形態に限定されない。他の実施形態において、評価対象抽出部６３０は、機械学習型抽出部６３４のみを利用して、サンプルデータに含まれる１以上の文の中から、経済活動に関連する文を抽出する。

図８に示された実施形態によれば、分析対象となるサンプルデータの全てが、まず、キーワード型抽出部６３２に入力される。本実施形態によれば、キーワード型抽出部６３２により抽出された全ての文が、機械学習型抽出部６３４に入力される。一方、キーワード型抽出部６３２により抽出されなかった文は、機械学習型抽出部６３４に入力されない。

図９に示された実施形態によれば、分析対象となるサンプルデータの全てが、まず、キーワード型抽出部６３２に入力される。本実施形態によれば、キーワード型抽出部６３２により抽出されなかった文が、機械学習型抽出部６３４に入力される。一方、キーワード型抽出部６３２により抽出された文は、機械学習型抽出部６３４に入力されることなく、評価部６４０に出力される。

図１０に示された実施形態によれば、分析対象となるサンプルデータの全てが、まず、キーワード型抽出部６３２に入力される。本実施形態によれば、キーワード型抽出部６３２により抽出された文の一部は、機械学習型抽出部６３４に入力されることなく、評価部６４０に出力される。一方、キーワード型抽出部６３２により抽出された文の残りの部分は、機械学習型抽出部６３４に入力される。

例えば、キーワード型抽出部６３２は、連続する２以上の文を含む文章であって、キーワードを含む文、キーフレーズに合致する文、キーワードに類似する単語を含む文、及び、キーフレーズに類似する条件に合致する文の少なくとも１つを含む文章を、経済活動に関連する文の候補として抽出する場合を考える。この場合において、キーワードを含む文、キーフレーズに合致する文、キーワードに類似する単語を含む文、及び、キーフレーズに類似する条件に合致する文は、経済活動に関連する文である可能性が比較的高い。そこで、これらの文は、機械学習型抽出部６３４に入力されることなく、評価部６４０に出力される。一方、キーワード型抽出部６３２が抽出した残りの文は、経済活動に関連する文である可能性が比較的低い。そこで、これらの文は、機械学習型抽出部６３４に入力される。

図１１は、データテーブル１１００の一例を概略的に示す。本実施形態において、データテーブル１１００の各行は、評価部６４０の評価結果の一例であってよい。本実施形態において、データテーブル１１００は、サンプルＩＤ１１１２と、センテンスＩＤ１１１４と、記録時刻を示す情報１１１６と、評価スコアを示す情報１１１８とを示す。サンプルＩＤ１１１２、センテンスＩＤ１１１４、及び、記録時刻を示す情報１１１６のそれぞれは、サンプルＩＤ４１２、センテンスＩＤ４１４及び記録時刻を示す情報４１６と同様の構成を有してよい。評価スコアを示す情報１１１８は、評価部６４０により付与された評価スコアを示す。

図１２は、本発明の複数の態様が全体的又は部分的に具現化されてよいコンピュータ３０００の一例を示す。例えば、指標推定システム１００は、コンピュータ３０００により実現される。

コンピュータ３０００にインストールされたプログラムは、コンピュータ３０００に、本発明の実施形態に係る装置に関連付けられるオペレーション又は当該装置の１又は複数の「部」として機能させ、又は当該オペレーション又は当該１又は複数の「部」を実行させることができ、及び／又はコンピュータ３０００に、本発明の実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ３０００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ３０１２によって実行されてよい。

本実施形態によるコンピュータ３０００は、ＣＰＵ３０１２、ＲＡＭ３０１４、グラフィックコントローラ３０１６、及びディスプレイデバイス３０１８を含み、それらはホストコントローラ３０１０によって相互に接続されている。コンピュータ３０００はまた、通信インターフェース３０２２、ハードディスクドライブ３０２４、ＤＶＤ−ＲＯＭドライブ３０２６、及びＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ３０２０を介してホストコントローラ３０１０に接続されている。コンピュータはまた、ＲＯＭ３０３０及びキーボード３０４２のようなレガシの入出力ユニットを含み、それらは入出力チップ３０４０を介して入出力コントローラ３０２０に接続されている。

ＣＰＵ３０１２は、ＲＯＭ３０３０及びＲＡＭ３０１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ３０１６は、ＲＡＭ３０１４内に提供されるフレームバッファ等又はそれ自体の中に、ＣＰＵ３０１２によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス３０１８上に表示されるようにする。

通信インターフェース３０２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ３０２４は、コンピュータ３０００内のＣＰＵ３０１２によって使用されるプログラム及びデータを格納する。ＤＶＤ−ＲＯＭドライブ３０２６は、プログラム又はデータをＤＶＤ−ＲＯＭ３００１から読み取り、ハードディスクドライブ３０２４にＲＡＭ３０１４を介してプログラム又はデータを提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。

ＲＯＭ３０３０はその中に、アクティブ化時にコンピュータ３０００によって実行されるブートプログラム等、及び／又はコンピュータ３０００のハードウエアに依存するプログラムを格納する。入出力チップ３０４０はまた、様々な入出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ３０２０に接続してよい。

プログラムが、ＤＶＤ−ＲＯＭ３００１又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもあるハードディスクドライブ３０２４、ＲＡＭ３０１４、又はＲＯＭ３０３０にインストールされ、ＣＰＵ３０１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ３０００に読み取られ、プログラムと、上記様々なタイプのハードウエアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ３０００の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。

例えば、通信がコンピュータ３０００及び外部デバイス間で実行される場合、ＣＰＵ３０１２は、ＲＡＭ３０１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インターフェース３０２２に対し、通信処理を命令してよい。通信インターフェース３０２２は、ＣＰＵ３０１２の制御の下、ＲＡＭ３０１４、ハードディスクドライブ３０２４、ＤＶＤ−ＲＯＭ３００１、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。

また、ＣＰＵ３０１２は、ハードディスクドライブ３０２４、ＤＶＤ−ＲＯＭドライブ３０２６（ＤＶＤ−ＲＯＭ３００１）、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ３０１４に読み取られるようにし、ＲＡＭ３０１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ３０１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。

様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ３０１２は、ＲＡＭ３０１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ３０１４に対しライトバックする。また、ＣＰＵ３０１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ３０１２は、当該複数のエントリの中から、第１の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

上で説明したプログラム又はソフトウエアモジュールは、コンピュータ３０００上又はコンピュータ３０００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それにより、上記のプログラムを、ネットワークを介してコンピュータ３０００に提供する。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ 通信ネットワーク、１２ ユーザ端末、１４ 教師データ提供サーバ、１６ サンプルデータ提供サーバ、１００ 指標推定システム、１２２ 通信部、１２４ 入出力部、１２６ 格納部、１２８ 要求受付部、１４２ 教師データ取得部、１４４ モデル構築部、１６２ サンプルデータ取得部、１６４ テキストデータ生成部、１６６ 指標推定部、２２２ 設定情報格納部、２２４ 教師データ格納部、２２６ サンプルデータ格納部、２２８ モデル情報格納部、３００ データテーブル、３１２ 情報、３１４ 情報、３１６ 情報、３２２ 情報、３２４ 情報、３２６ 情報、４００ データテーブル、４１２ サンプルＩＤ、４１４ センテンスＩＤ、４１６ 情報、４１８ 情報、４２０ 情報、５２２ 抽出用モデル構築部、５２４ 評価用モデル構築部、６２０ 種別判定部、６３０ 評価対象抽出部、６３２ キーワード型抽出部、６３４ 機械学習型抽出部、６４０ 評価部、６５０ 指標生成部、７２０ 学習モデル、７２２ 文章分類器、７２４ 文章分類器、７２６ 文章分類器、７２８ 文章分類器、７４０ 判定部、１１００ データテーブル、１１１２ サンプルＩＤ、１１１４ センテンスＩＤ、１１１６ 情報、１１１８ 情報、３０００ コンピュータ、３００１ ＤＶＤ−ＲＯＭ、３０１０ ホストコントローラ、３０１２ ＣＰＵ、３０１４ ＲＡＭ、３０１６ グラフィックコントローラ、３０１８ ディスプレイデバイス、３０２０ 入出力コントローラ、３０２２ 通信インターフェース、３０２４ ハードディスクドライブ、３０２６ ＤＶＤ−ＲＯＭドライブ、３０３０ ＲＯＭ、３０４０ 入出力チップ、３０４２ キーボード

Claims (12)

1. （ｉ）評価対象に関する評価、及び、（ｉｉ）前記評価対象の状態又は前記評価の理由を示す１以上の説明文が対応付けられた評価情報に含まれる前記１以上の説明文を教師データとして利用して、入力された文が、前記評価対象に対する評価、前記評価対象の状態又は前記評価の理由を示す文であるか否かを判定するための第１学習モデルを構築する第１モデル構築部と、
   前記第１モデル構築部が構築した前記第１学習モデルを用いて、テキストデータに含まれる１以上の文の中から、前記評価対象に関連する文を抽出する抽出部と、
   を備える、機械学習装置。
2. 前記第１学習モデルは、前記入力された文を、前記評価対象の状態又は前記評価の理由を示す文、又は、前記評価対象の状態又は前記評価の理由を示す文ではない文の何れかに分類する文章分類器を含む、
   請求項１に記載の機械学習装置。
3. 前記抽出部は、
   前記テキストデータに含まれる前記１以上の文の少なくとも一部を、前記第１学習モデルに入力し、前記第１学習モデルが前記評価対象の状態又は前記評価の理由を示す文であると判定した文を、前記評価対象に関連する文として抽出する第１抽出部、
   を有する、
   請求項１又は請求項２に記載の機械学習装置。
4. 前記抽出部は、
   前記評価対象に関連するキーワード又はキーフレーズを示す情報を取得する条件取得部と、
   前記テキストデータに含まれる前記１以上の文の中から、前記キーワードを含む文、前記キーフレーズに合致する文、前記キーワードに類似する単語を含む文、及び、前記キーフレーズに類似する条件に合致する文の少なくとも１つを、前記評価対象に関連する文、又は、前記評価対象に関連する文の候補として抽出する第２抽出部と、
   を有する、
   請求項３に記載の機械学習装置。
5. 前記第１抽出部は、
   前記第２抽出部が前記評価対象に関連する文の候補として抽出した文を、前記第１学習モデルに入力し、
   前記第１学習モデルが前記評価対象の状態又は前記評価の理由を示す文であると判定した文を、前記評価対象に関連する文として抽出する、
   請求項４に記載の機械学習装置。
6. 前記第２抽出部は、連続する２以上の文を含む文章であって、前記キーワードを含む文、前記キーフレーズに合致する文、前記キーワードに類似する単語を含む文、及び、前記キーフレーズに類似する条件に合致する文の少なくとも１つを含む文章を、前記評価対象に関連する文の候補として抽出する、
   請求項４又は請求項５に記載の機械学習装置。
7. 前記テキストデータの種類を区別するための種別情報を取得する種別情報取得部をさらに備え、
   前記第２抽出部は、前記種別情報により示される前記テキストデータの前記種類に基づいて、前記テキストデータに含まれる前記１以上の文の中から、前記キーワードを含む文、前記キーフレーズに合致する文、前記キーワードに類似する単語を含む文、及び、前記キーフレーズに類似する条件に合致する文の少なくとも１つを、前記評価対象に関連する文及び前記評価対象に関連する文の候補の何れとして抽出するかを決定する、
   請求項４から請求項６までの何れか一項に記載の機械学習装置。
8. 前記評価情報を教師データとして利用して、入力された文に、前記評価対象に関する評価を付与するための第２学習モデルを構築する第２モデル構築部と、
   前記第２モデル構築部が構築した前記第２学習モデルを用いて、前記抽出部が抽出した文に、前記評価対象に関する評価を付与する評価付与部と、
   をさらに備える、
   請求項１から請求項７までの何れか一項に記載の機械学習装置。
9. 前記評価付与部による評価に基づいて、特定の期間における前記評価対象の状態又は動向を示す指標を算出する指標算出部と、
   前記特定の期間を示す情報を取得する期間情報取得部と、
   複数の前記テキストデータのそれぞれを、前記複数のテキストデータのそれぞれの内容に関連する時期、前記複数のテキストデータのそれぞれが記録された時期、又は、前記複数のテキストデータのそれぞれを含む電子ファイルが作成若しくは更新された時期を示す時期情報と対応づけて取得するテキストデータ取得部と、
   をさらに備え、
   前記抽出部は、前記複数のテキストデータのうち、当該テキストデータに対応付けられた時期情報により示される時期が前記特定の期間に含まれるテキストデータに含まれる複数の文の中から、前記評価対象に関連する文を抽出し、
   前記評価付与部は、前記抽出部が前記複数のテキストデータの少なくとも一部から抽出した複数の文に、前記評価対象に関する評価を付与し、
   前記指標算出部は、前記評価付与部が前記複数の文のそれぞれに付与した評価に基づいて、前記指標を算出する、
   請求項８に記載の機械学習装置。
10. 前記テキストデータは、情報提供者の発言若しくはジェスチャにより提示された情報、又は、前記情報提供者が知覚した情報を含み、
    前記機械学習装置は、
    前記評価付与部による評価に基づいて、特定の期間における前記評価対象の状態又は動向を示す指標を算出する指標算出部と、
    複数の前記テキストデータのそれぞれを、前記複数のテキストデータのそれぞれの情報提供者の属性を示す属性情報と対応づけて取得するテキストデータ取得部と、
    をさらに備え、
    前記評価付与部は、前記抽出部が前記複数のテキストデータの少なくとも一部から抽出した複数の文のそれぞれに対して、各文が含まれていたテキストデータに対応する前記属性情報により示される情報提供者の属性に基づいて、前記評価対象に関する評価を付与し、
    前記指標算出部は、前記評価付与部が前記複数の文のそれぞれに付与した評価に基づいて、前記指標を算出する、
    請求項８に記載の機械学習装置。
11. コンピュータを、請求項１から請求項１０までの何れか一項に記載の機械学習装置として機能させるための、プログラム。
12. （ｉ）評価対象に関する評価、及び、（ｉｉ）前記評価対象の状態又は前記評価の理由を示す１以上の説明文が対応付けられた評価情報に含まれる前記１以上の説明文を教師データとして利用して、入力された文が、前記評価対象の状態、前記評価対象に対する評価又は前記評価の理由を示す文であるか否かを判定するための第１学習モデルを構築する第１モデル構築段階と、
    前記第１モデル構築段階において構築された前記第１学習モデルを用いて、テキストデータに含まれる１以上の文の中から、前記評価対象に関連する文を抽出する抽出段階と、
    を有する、機械学習方法。