JP7419313B2 - 情報処理装置、情報処理方法、及び情報処理プログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。

従来、インターネット上におけるユーザ行動の予測をする手法が知られている。例えば、特許文献１には、ユーザの行動を従来よりも高い精度で予測することを目的として、インターネット上のユーザの検索クエリの傾向を学習し、学習した検索クエリの傾向とその後のユーザの行動との関連性スコアを算出してモデルを生成し、このモデルを用いて他のユーザの行動を予測する技術が提案されている。

特開２０１６－１７７３７７号公報

しかしながら、上述した技術では、生成した情報を信頼してもよいかどうかの確証を得ることが難しい。たとえば、結果論として有効な成果を上げるモデルが含まれている可能性があり、仮にＡＢテストを行ったとしても、テストの内容に応じて適切ではないモデルが採用されてしまう場合もある。

本願は、上記に鑑みてなされたものであって、生成した情報の信頼性を確かめることができる情報処理装置、情報処理方法、及び情報処理プログラムを提供することを目的とする。

本願に係る情報処理装置は、第１推定部と、第２推定部と、評価部とを備える。第１推定部は、ユーザにより所定の行動が行われる確度を推定するために所定の行動ごとに予め用意された複数の推定モデルのうち、関連性を有する所定の行動が行われる確度を推定するための複数の第１モデルを用いて、所定の行動の状態遷移を推定する。第２推定部は、複数の推定モデルのうち、所定の行動の状態遷移に対して負の関連性を有する所定の行動が行われる確度を推定するための第２モデルを用いて、ユーザにより負の関連性を有する所定の行動が行われる確度を推定する。評価部は、第２推定部により推定された確度に基づいて、第２モデルの信頼性を評価する。

実施形態の態様の１つによれば、生成した情報の信頼性を確かめることができる。

図１は、実施形態に係る情報処理システムの一例を説明する図である。 図２は、実施形態に係るユーザ分類方法および第２リスト情報評価方法の一例を示す図である。 図３は、実施形態に係る情報処理装置の構成例を示す図である。 図４は、実施形態に係る第１リスト情報の概要を示す図である。 図５は、実施形態に係る第２リスト情報の概要を示す図である。 図６は、実施形態に係る情報処理装置による処理手順の一例を示すフローチャートである。 図７は、実施形態に係る情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に、本願に係る情報処理装置、情報処理方法、及び情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、以下に説明する実施形態により本願に係る情報処理装置、情報処理方法、及び情報処理プログラムが限定されるものではない。また、以下に説明する実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、以下に説明する実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

また、以下の説明において、端末装置１０をシードユーザＵ１またはユーザＵ２と表記して説明する場合がある。すなわち、シードユーザＵ１またはユーザＵ２を端末装置１０と読み替えることができる。

［１．情報処理システム］
図１は、実施形態に係る情報処理システムの一例を説明する図である。図１に示すように、実施形態に係る情報処理システムＳＹＳは、端末装置１０、及び情報処理装置１００を有する。なお、情報処理システムＳＹＳは、図１に示す例に限られず、複数の端末装置１０や複数の情報処理装置１００を有していてもよい。

端末装置１０、及び情報処理装置１００は、それぞれ有線又は無線によりネットワークＮ（たとえば、図３参照）に接続される。ネットワークＮは、ＬＡＮ（Local Area Network）や、ＷＡＮ（Wide Area Network）や、電話網（携帯電話網、固定電話網等）や、地域ＩＰ（Internet Protocol）網や、インターネットなどの通信ネットワークである。ネットワークＮは、有線ネットワークが含まれていてもよいし、無線ネットワークが含まれていてもよい。端末装置１０、及び情報処理装置１００は、ネットワークＮを通じて、相互に通信できる。

図１に示す端末装置１０は、情報処理装置１００などから提供される各種サービスを利用するユーザＵが使用する情報処理装置である。たとえば、端末装置１０は、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal Computer）や、デスクトップＰＣや、ＰＤＡ（Personal Digital Assistant）などにより実現される。

また、端末装置１０は、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）、５Ｇ（5th Generation：第５世代移動通信システム）などの無線通信網や、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（Local Area Network）などの近距離無線通信を介してネットワークＮに接続できる。

また、端末装置１０は、各種サービスを利用するための情報を、ウェブブラウザやアプリケーションにより表示できる。なお、端末装置１０は、情報の表示処理を実現する制御情報を情報処理装置１００などから受け取った場合には、制御情報に従って表示処理を実現する。

また、端末装置１０は、各種サービスの利用を通じて、情報処理装置１００に対し、ユーザ情報を提供する。ユーザ情報は、各ユーザＵが入力した検索クエリなどを含む検索履歴や、各ユーザＵの購買履歴や、電子商店街で閲覧した取引対象の履歴や、購入した取引対象の履歴である購買履歴や、閲覧したニュース等のコンテンツの履歴である閲覧履歴や、ＳＮＳ（Social Networking Service）に投稿したテキストや画像等の履歴である投稿履歴や、位置履歴などを含む。また、ユーザ情報は、たとえば、各ユーザＵが保有するスマートフォンを用いて店舗に設置されたＱＲコード（登録商標）を読み取り、読み取り結果を用いて実現する決済サービスの利用履歴や、各ユーザＵが保有するスマートフォンにＱＲコードを表示させ、かかるＱＲコードを店舗端末が読み込むことで行われる決済サービスの利用履歴（たとえば、購入日時や購入商品、購入額など）を含んでもよい。また、ユーザ情報は、各ユーザＵが保有するクレジットカードの利用履歴や銀行口座の利用履歴などを含んでもよい。

また、ユーザ情報は、収集した情報に基づいて推定された情報を含んでもよい。たとえば、ユーザ情報は、購買履歴から、毎月の食料品の平均的な購入総額が１０万円以上である場合、たとえば、世帯月収若しくは個人月収が３０万円以上であるといった収入や、３人家族であるといった家族構成、もしくは同居人構成などを推定した情報を含んでもよい。また、ユーザ情報は、たとえば、位置履歴や購入履歴から、各ユーザＵが所有する物品や、各ユーザＵの居住地や職場などを推定し、推定した情報を含んでもよい。

また、ユーザ情報は、たとえば、情報処理装置１００以外の各種サービスを提供するサーバ装置から、サービスの利用履歴を取得した情報を含んでもよい。また、ユーザ情報は、このようなサービスを提供するサーバ装置もしくは単独のサーバ装置が、サービスの利用履歴から推定した各種情報を含んでもよい。また、ユーザ情報は、各ユーザＵが登録、又は各ユーザＵについて推定された各種のジオグラフィック属性や趣味嗜好といったサイコグラフィック属性を示す情報を含んでもよい。

また、ユーザ情報は、端末装置１０に搭載される各種センサにより取得されるセンサ情報を含んでもよい。たとえば、センサ情報は、位置センサにより取得される位置情報や、加速度センサにより検出される加速度情報や、ジャイロセンサにより検出される角速度情報や、タッチパネルにより取得される操作情報や、照度センサにより取得される照度情報や、気圧センサにより取得される気圧情報や、マイクにより取得される音情報などを含み得る。

図１に示す情報処理装置１００は、サービス利用者である各ユーザＵに対して各種サービスを提供する情報処理装置である。情報処理装置１００が提供する各種サービスには、各種アプリケーションに対応するＡＰＩ（Application Programming Interface）サービスや、各種オンラインサービスが含まれていてもよい。オンラインサービスとしては、インターネット接続や、検索サービスや、ＳＮＳ（Social Networking Service）や、電子商取引サービスや、電子決済サービスや、オンラインゲームや、オンラインバンキングサービスや、オンライントレーディングサービスや、宿泊予約サービスや、チケット予約サービスや、動画配信サービスや、音楽配信サービスや、ニュース配信サービスや、地図情報サービスや、ルート検索サービスや、経路案内サービスや、路線情報サービスや、運行情報サービスや、天気情報サービスなどのサービスが該当し得る。

また、情報処理装置１００は、各種サービスの提供を通じて収集したユーザ情報を用いて、実施形態に係る情報処理を実行する情報処理装置である。情報処理装置１００は、典型的にはサーバ装置であるが、メインフレームやワークステーションなどにより実現されてもよい。

情報処理装置１００がサーバ装置で実現される場合、単独のサーバにより実現されてもよいし、複数のサーバ装置及び複数のストレージ装置が協働して動作するクラウドシステムなどにより実現されてもよい。なお、情報処理装置１００は、各ユーザＵが使用する端末装置１０に制御情報を配信する配信装置として機能してもよい。ここで、制御情報は、例えば、ＪａｖａＳｃｒｉｐｔ（登録商標）などのスクリプト言語やＣＳＳ（Cascading Style Sheets）などのスタイルシート言語により記述される。なお、情報処理装置１００から配信されるアプリケーションそのものを制御情報とみなしてもよい。

［２．情報処理］
以下、情報処理システムＳＹＳにおける情報処理の一例を説明する。なお、以下の説明において、実施形態に係る情報処理の対象は、各種サービスを利用する各ユーザＵである。また、以下の説明において、各種サービスを利用する各ユーザＵを、単に「ユーザＵ」と称して説明する場合がある。

まず、図１に示す例において、情報処理装置１００は、ユーザＵから収集したユーザ情報を保存する。そして、情報処理装置１００は、ユーザ情報の中から、情報処理の対象となる対象ユーザを、無作為に、あるいは所定の条件に従って選択する。

また、情報処理装置１００は、ユーザＵにより所定の行動が行われる確度を推定するために所定の行動ごとに予め用意された複数の推定モデルのうち、関連性を有する行動が行われる確度を推定するための第１モデルを選択する。

たとえば、情報処理装置１００は、推定モデルに対応付けられている所定の行動の特徴量に基づいて、複数の推定モデルの中から第１モデルを複数選択できる。図１に示す例では、第１モデルとして、行動Ａ推定モデルと、行動Ｂ推定モデルとが選択されている。より具体的には、情報処理装置１００は、Ｗｏｒｄ２Ｖｅｃなどの自然言語処理手法を用いて、所定の行動を示す文字列の特徴量（ベクトル表現）を求め、求めた特徴量の類似性に基づいて、特徴が互いに類似する推定モデルを、関連性を有する行動の各々に対応する第１モデルとして選択できる。また、情報処理装置１００は、対象ユーザの行動の状態遷移が単純マルコフ過程に従うものと仮定し、対象ユーザの行動の状態遷移における現在の行動から、次に起こる行動の条件付き確率をそれぞれ算出し、算出した条件付き確率が予め規定される閾値以上の行動を、現在の行動と関連性を有する行動として特定してもよい。

以下、上述した推定モデルの作成方法の一例を説明する。たとえば、情報処理装置１００は、「〇〇を買った」「〇〇に興味がある」という条件（タイトル）を満たすユーザをシードユーザとして収集し、シードユーザが入力した検索クエリの共通性に基づいたスコアを付与したスコアリストを作成する。情報処理装置１００は、このスコアリストを推定モデルとする。具体的には、「眼鏡をかけている」というシードユーザを収集し、検索クエリ：「眼鏡」に「７０点」、検索クエリ：「眼鏡ふき」に「５０点」、検索クエリ：「リンゴ」にスコア「－５０点」といったようなスコアを付与し、検索クエリとスコアとの組であるスコアリストを作成する。

上述したシードユーザの特定は、任意の方法を用いて行うことができる。たとえば、情報処理装置１００は、各種の購買履歴や利用履歴、位置履歴などの各種の情報に基づいて、想定される行動を行ったユーザを推定し、シードユーザとして特定してもよい。具体的には、ある所定の店舗の名称を検索クエリとして入力し、その後、その所定の店舗を実際に訪問した訪問者を推定することによりシードユーザを特定してもよい。また、別の例として、イベントの名称を検索クエリとして入力し、その後、そのイベントに実際に参加した参加者を推定することによりシードユーザを特定してもよい。また、更に別の例として、ある商品の名称を検索クエリとして入力し、その後、その名称の商品を実際に購入した購入者を推定することによりシードユーザを特定してもよい。また、情報処理装置１００は、実際に所定の店舗（たとえば、配信済みの広告と対応する店舗）を利用した利用者を推定することによりシードユーザを特定してもよい。また、情報処理装置１００は、所定の広告やウェブページ、映画や音楽などのコンテンツを視聴した視聴者を推定することによりシードユーザを特定してもよい。

また、情報処理装置１００は、上述のスコアリストにおける検索クエリのスコアは、以下のような機械学習により生成される行動モデルから求めることができる。たとえば、情報処理装置１００は、シードユーザが入力した検索クエリを正例とし、ランダムに選択したシードユーザ以外の他のユーザが入力した検索クエリを負例としたときに、正例を入力した際により高い値を出力し、負例を入力した際により低い値を出力するように学習モデルの学習を行う。このとき、学習には任意の手法が採用可能である。たとえば、モデルとしてニューラルネットワークが採用される場合は、バックプロパゲーションなどにより実現可能である。

また、情報処理装置１００は、シードユーザが共通して入力している検索クエリについては、より高い値の数値が出力されるようにモデルを学習してもよい。たとえば、正例となる検索クエリを入力したシードユーザの数が多ければ多い程、より高い値を出力するようにモデルを学習してもよい。また、負例となる検索クエリを入力した他のユーザの数が多い程、より小さい値（負の値）を出力するようにモデルを学習してもよい。そして、情報処理装置１００は、各検索クエリと、このような学習モデルに検索クエリを入力した際に出力したスコアとの組のリストをスコアリストとして生成する。すなわち、情報処理装置１００は、所定の行動を行ったシードユーザが入力した各検索クエリと、検索クエリの各々に対応する上述のスコア（検索クエリと所定の行動との間の関係性を示すスコア）との組をスコアリストとして生成する。

なお、情報処理装置１００は、上述したスコアリストを用いることにより、所定の行動が行われる確度を求めることができる。たとえば、情報処理装置１００は、行動の推定対象となるユーザが入力した複数の検索クエリひとつひとつについて、対応付けられたスコアをスコアリストから取得し、取得したスコアの合計値を算出する。そして、情報処理装置１００は、算出したスコアの合計値が予め規定される閾値を超える場合、スコアリストに対応する所定の行動が行われる確度が高いと判断する。

また、情報処理装置１００は、所定の行動を行ったシードユーザのユーザ情報に基づいて推定した情報を、所定の行動の特徴量としてもよい。たとえば、情報処理装置１００は、所定の行動を行ったシードユーザを含む各ユーザが入力した検索クエリと、スコアリストとに基づいて、所定の行動と各ユーザとの関係性を数値化し、数値化した関係性を示す値に基づいて、各ユーザを順位付けしたユーザリストを生成する。

たとえば、情報処理装置１００は、シードユーザを含む各ユーザを選定し、選定した各ユーザが入力した検索クエリと対応付けられたスコアをスコアリストから特定する。なお、情報処理装置１００は、各ユーザを無作為に選定してもよいし、所定の条件に基づいて選定してもよい。そして、情報処理装置１００は、特定したスコアの合計から、シードユーザを収集する際の条件として設定した所定の行動と、各ユーザとの間の関係性を示すユーザリストを導出する。たとえば、ユーザリストにおいて、所定の行動と関係性が高いユーザはスコアが高く、所定の行動と関係性が低いユーザはスコアが低くなる。

以下、上述したユーザリストの作成方法の一例を説明する。たとえば、情報処理装置１００は、シードユーザを含む各ユーザが入力した複数の検索クエリひとつひとつについて、対応付けられたスコアをスコアリストから取得し、取得したスコアの合計値を算出する。このようにすれば、各ユーザが入力した複数の検索クエリと所定の行動との関係性を数値として表すことができるため、単一の検索クエリの数値化と比較してより信頼性の高い数値化を実現できる。

次に、情報処理装置１００は、各ユーザについてスコアの合計値を計算した後、スコアの高い順に各ユーザを順位付けするとともに、順位順に各ユーザが入力した検索クエリを対応付けたユーザリストを生成する。このユーザリストは、どのような検索クエリを入力したユーザが、所定の行動との関連性が強いかを示すリストとして機能する。このユーザリストは、検索クエリと所定の行動との関連性の分析や、ユーザの分析などに用いられる。なお、このユーザリストは、シードユーザを選定する際に設定される行動（たとえば、「〇〇を買った」、「〇〇に行った」、「〇〇している」など）といった所定の行動ごとに作成される。

そして、情報処理装置１００は、上述のユーザリストから上位に位置付けられている各ユーザを抽出し、抽出したユーザに紐づくユーザ情報を取得する。そして、取得したユーザ情報を用いて、各ユーザの特徴量を求め、求めた各特徴量に基づいて、所定の行動に対応する特徴量を導出できる。

たとえば、情報処理装置１００は、ユーザリストから抽出した各ユーザのセンサ情報を、所定の期間ごとに分割し、その分割した各期間における特徴的な値を時系列に並べたデータを特徴量として採用できる。特徴量の値は、所定の期間に検出された値の最大値であっても良く、所定の期間に検出された値の最小値であっても良く、所定の期間に検出された値の平均値であっても良く、所定の期間に検出された値の時系列変化を示す関数の増加率や減少率であっても良く、この関数をフーリエ変換して取得した特徴的な値であっても良く、この関数を時間で微分した値であっても良く、その他のアルゴリズムで取得される値などであっても良い。そして、情報処理装置１００は、ユーザリストから抽出した各ユーザの特徴量に共通する傾向を特定し、特定した傾向を、所定の行動に対応する特徴量として採用できる。

また、情報処理装置１００は、複数の推定モデルのうち、対象ユーザの状態遷移に対して負の関連性を有する行動が行われる確度を推定するための第２モデルを用いて、対象ユーザにより負の関連性を有する行動が行われる確度を推定する。たとえば、情報処理装置１００は、対象ユーザの状態遷移と論理的に相反する行動が行われる確度を推定する推定モデルを、第２モデルとして選択する。図１に示す例では、第２モデルとして、行動Ｃ推定モデルが選択されている。

たとえば、情報処理装置１００のオペレータは、対象ユーザの状態遷移と論理的に相反する行動をルールベースとして予め登録しておく。そして、情報処理装置１００は、予め登録されたルールベースに従って、対象ユーザの状態遷移と論理的に相反する行動を特定し、選択した行動が行われる確度を推定する第２モデルを選択する。

あるいは、情報処理装置１００は、対象ユーザの行動の状態遷移における現在の行動から、次に起こる行動として不適切な行動を特定することにより、対象ユーザの状態遷移と論理的に相反する行動が行われる確度を推定する推定モデルを、第２モデルとして選択してもよい。たとえば、情報処理装置１００は、対象ユーザの行動の状態遷移が単純マルコフ過程に従うものと仮定し、対象ユーザの行動の状態遷移における現在の行動から次に起こる行動の条件付き確率をそれぞれ算出し、算出した条件付き確率が予め規定される閾値未満の行動を、対象ユーザの状態遷移と論理的に相反する行動として特定する。そして、情報処理装置１００は、特定した行動が行われる確度を推定する推定モデルを、第２モデルとして選択する。たとえば、情報処理装置１００は、対象ユーザの行動の状態遷移における現在の行動が「婚約指輪の購入」である場合、次の起こる行動として「離婚届の提出」の条件付き確率は、予め規定される閾値未満となり得る。また、対象ユーザの行動の状態遷移における現在の行動が「結婚式場の予約」である場合、次の起こる行動として「離婚届の提出」の条件付き確率は、予め規定される閾値未満となり得る。このとき、情報処理装置１００は、対象ユーザの行動が「婚約指輪の購入」→「結婚式場の予約」という状態遷移と辿っていると推定された場合、「離婚届の提出」が行われる確度を推定する推定モデルを第２モデルとして選択すればよい。

また、情報処理装置１００は、推定した確度、すなわち、対象ユーザにより負の関連性を有する行動が行われる確度に基づいて、第２モデルの信頼性を評価する。たとえば、情報処理装置１００は、状態遷移の推定が行われた期間において負の関連性を有する行動が行われる確度を推定し、推定された確度の推移に基づいて、第２モデルの信頼性を評価する。

以下、図１を参照しつつ、情報処理装置１００による情報処理の手順を整理して説明する。図１に示すように、情報処理装置１００は、推定モデルの中から選択した行動Ａ推定モデルと、行動Ｂ推定モデルとを用いて、対象ユーザの行動Ａから行動Ｂへの状態遷移を推定する（ステップＳ１）。

次に、情報処理装置１００は、推定モデルの中から選択した行動Ｃ推定モデルを用いて、対象ユーザの状態遷移と負の関連性を有する行動Ｃが行われる確度を推定する（ステップＳ２）。

そして、情報処理装置１００は、行動Ｃが行われる確度に基づいて、行動Ｃ推定モデルの信頼性を評価する（ステップＳ３）。以下、図２を用いて、行動Ｃ推定モデルの評価方法の一例について説明する。図２は、実施形態に係る推定モデルの評価方法の概要を示す図である。

図２では、推定モデルに対応する所定の行動の具体例として、行動Ａが「婚約指輪を購入」、行動Ｂが「結婚式場を予約」、行動Ｃが「離婚届を提出」である場合を示している。また、図２では、実施形態に係る情報処理の対象となる対象ユーザとして、ユーザＵａが選択されている場合を示している。

まず、情報処理装置１００は、行動Ａ推定モデルと、ユーザＵａのユーザ情報（過去ログ）とを用いて、ユーザＵａが行動Ａを行う確度を示すスコアを求める。たとえば、情報処理装置１００は、ユーザＵａが７月に入力した検索クエリの情報を取得し、取得した検索クエリの情報を行動Ａ推定モデルに入力することにより、ユーザＵａが７月に行動Ａを行った確度を示すスコアを取得する。

次に、情報処理装置１００は、行動Ａと関連性を有する行動Ｂを推定する行動Ｂ推定モデルを用いて、ユーザＵａが行動Ｂを行う確度を示すスコアを求める。たとえば、情報処理装置１００は、ユーザＵａが７月に入力した検索クエリの情報を取得し、取得した検索クエリの情報を行動Ｂ推定モデルに入力することにより、ユーザＵａが８月に行動Ｂを行った確度を示すスコアを取得する。

図２に示すように、情報処理装置１００は、行動Ａ推定モデルから取得されたユーザＵａのスコアが予め規定される閾値Ａ以上であり、行動Ｂ推定モデルから取得されたユーザＵａのスコアが予め規定される閾値Ｂ以上である場合、ユーザＵａの行動が７月から８月にかけて行動Ａから行動Ｂに状態遷移した可能性があると判断する。

続いて、情報処理装置１００は、行動Ａから行動Ｂへの状態遷移と負の関連性を有する行動Ｃ推定モデルと、ユーザＵａのユーザ情報とを用いて、ユーザＵａが行動Ｃを行う確度を示すスコアを求める。たとえば、情報処理装置１００は、ユーザＵａが７月に入力した検索クエリの情報を取得し、取得した検索クエリの情報を行動Ｃ推定モデルに入力することにより、ユーザＵａが７月に行動Ｃを行った確度を示すスコアを取得する。同様に、情報処理装置１００は、ユーザＵａが８月に入力した検索クエリの情報を取得し、取得した検索クエリの情報を行動Ｃ推定モデルに入力することにより、ユーザＵａが８月に行動Ｃを行った確度を示すスコアを取得する。

図２に示すように、情報処理装置１００は、行動Ｃ推定モデルから取得されたユーザＵａの７月および８月のスコアが「５０」から「７０」に推移して上昇傾向にあるので、ユーザＵａが７月から８月にかけて行動Ｃを行う可能性が高くなっていたと判断する。この場合、情報処理装置１００は、ユーザＵａの行動の状態遷移、すなわち、行動Ａ：「婚約指輪の購入」→行動Ｂ：「結婚式場の予約」と論理的に相反する行動Ｃ：「離婚届の提出」の可能性が高くなっているという推定結果を導出した行動Ｃ推定モデルの信頼性は低いと評価する。

なお、情報処理装置１００は、行動Ｃ推定モデルの信頼性が低いと判断した場合、行動Ａ推定モデルと行動Ｂ推定モデルとを用いて、行動Ｃ推定モデルを修正してもよい。たとえば、情報処理装置１００は、行動Ｃ推定モデルにおいて検索クエリに対応付けられているスコアのうち、行動Ａ推定モデル又は行動Ｂ推定モデルに含まれる検索クエリのスコアが低くなるように調整することにより、行動Ｃ推定モデルを修正できる。あるいは、情報処理装置１００は、行動Ｃ推定モデルに含まれる検索クエリから、行動Ａ推定モデル又は行動Ｂ推定モデルに含まれる検索クエリを除外することにより、行動Ｃ推定モデルを修正してもよい。

なお、情報処理装置１００は、第２モデルの信頼性の評価に関する情報を、情報処理装置１００のオペレータに提供できる。また、情報処理装置１００は、第２モデルの信頼性が低いと評価した場合、第２モデルの信頼性の評価に関する情報とともに、第２モデルの修正方法に関する情報を提供してもよい。

［３．情報処理装置の構成］
図３を用いて、実施形態に係る情報処理装置１００の構成について説明する。図３は、実施形態に係る情報処理装置の構成例を示す図である。

図３に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを備える。なお、図３は、情報処理装置１００の構成例を示すものであり、図３に示す形態には限られず、図３に示す以外の他の機能部を備える形態であってもよい。

（通信部１１０）
通信部１１０は、例えば、ネットワークＮと有線または無線で接続され、ネットワークＮを介して、端末装置１０などの他の装置との間で情報の送受信を行う。通信部１１０は、例えば、ＮＩＣ（Network Interface Card）やアンテナなどによって実現される。ネットワークＮは、ＬＡＮ（Local Area Network）や、ＷＡＮ（Wide Area Network）や、電話網（携帯電話網や固定電話網など）や、地域ＩＰ（Internet Protocol）網や、インターネットなどの通信ネットワークである。ネットワークＮには、有線ネットワークが含まれていてもよいし、無線ネットワークが含まれていてもよい。

通信部１１０は、端末装置１０から、撮影画像などの情報を受信する。また、通信部１１０は、提案情報を端末装置１０に送信する。

（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリなどの半導体メモリ素子、または、ハードディスクや光ディスクなどの記憶装置によって実現される。記憶部１２０は、制御部１３０の各部により実行される情報処理を実現するためのプログラム及びデータを記憶する。

図３に示すように、記憶部１２０は、ユーザ情報記憶部１２１と、推定モデル記憶部１２２とを有する。

（ユーザ情報記憶部１２１）
ユーザ情報記憶部１２１には、各ユーザから提供されるユーザ情報が任意の形式で記憶されている。図４は、実施形態に係るユーザ情報の概要を示す図である。

図４に示すように、ユーザ情報は、「ユーザＩＤ」の項目や、「検索履歴」の項目や、「購買履歴」の項目などを有する。推定モデル情報が有するこれらの項目は相互に対応付けられている。

「ユーザＩＤ」の項目には、各種サービスの提供に際して、各種サービスを利用するユーザを識別するために、情報処理装置１００によりユーザごとに個別に付与される識別情報が記憶される。

「検索履歴」の項目には、各ユーザからユーザ情報として提供される検索履歴に関する情報が記憶される。また、「購買履歴」の項目には、各ユーザからユーザ情報として提供される購買履歴に関する情報が記憶される。

（推定モデル記憶部１２２）
推定モデル記憶部１２２には、推定モデルに関する推定モデル情報が任意の形式で記憶されている。図５は、実施形態に係る推定モデル情報の概要を示す図である。

図５に示すように、推定モデル情報は、「モデルＩＤ」の項目と、「行動」の項目と、「データ」の項目とを有する。推定モデル情報が有するこれらの項目は相互に対応付けられている。

「モデルＩＤ」の項目には、推定モデルを特定するために推定モデルごとに個別に付与されている識別情報が記憶されている。

「行動」には、対応付けられている推定モデルにより推定される行動の内容を示す情報が記憶されている。

「データ」の項目には、対応付けられている推定モデルのデータが記憶されている。なお、図４では、「データ」の項目に、「データＡ」や「データＢ」などのような概念的な情報が格納される例を示したが、実際には、推定モデルの構成（ネットワーク構成）の情報やパラメータに関する情報など、対応する推定モデルを構成する種々の情報が含まれる。たとえば、推定モデルを構成する個々の情報には、ネットワークの各層におけるノードと、各ノードが採用する関数と、ノードの接続関係と、ノード間の接続に対して設定される接続係数とを含む情報が含まれ得る。

（制御部１３０）
図３に示す制御部１３０は、情報処理装置１００を制御するコントローラ（controller）である。制御部１３０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）などによって、情報処理装置１００内部の記憶装置に記憶されている各種プログラム（例えば、情報処理プログラム）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの集積回路により実現されてもよい。

図３に示すように、制御部１３０は、第１推定部１３１と、第２推定部１３２と、評価部１３３とを有する。制御部１３０は、これらの各部により、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部１３０が有する各部の接続関係は、図３に示した接続関係に限られず、他の接続関係であってもよい。

（第１推定部１３１）
第１推定部１３１は、情報処理装置１００により実行される情報処理（たとえば、図１および図２参照）の対象ユーザにより所定の行動が行われる確度を推定するために所定の行動ごとに予め用意された複数の推定モデルのうち、関連性を有する行動が行われる確度を推定するための複数の第１モデルを用いて、行動の状態遷移を推定する。

たとえば、第１推定部１３１は、推定モデルに対応付けられている所定の行動の特徴量に基づいて、複数の推定モデルの中から第１モデルを複数選択する。たとえば、第１推定部１３１は、Ｗｏｒｄ２Ｖｅｃなどの自然言語処理手法を用いて、所定の行動を示す文字列の特徴量（ベクトル表現）を求め、求めた特徴量の類似性に基づいて、複数の推定モデルの中から、関連性を有する行動の各々に対応する第１モデルを選択できる。

（第２推定部１３２）
第２推定部１３２は、複数の推定モデルのうち、対象ユーザの行動の状態遷移に対して負の関連性を有する行動が行われる確度を推定するための第２モデルを用いて、対象ユーザにより負の関連性を有する行動が行われる確度を推定する。

たとえば、第２推定部１３２は、対象ユーザの行動の状態遷移と論理的に相反する行動が行われる確度を推定する推定モデルを、第２モデルとして選択する。そして、第２推定部１３２は、選択した第２モデルを用いて、対象ユーザにより負の関連性を有する行動が行われる確度を推定する。

たとえば、第２推定部１３２は、対象ユーザの状態遷移と論理的に相反する行動を予め登録されたルールベースに従って、対象ユーザの状態遷移と論理的に相反する行動を特定し、選択した行動が行われる確度を推定する第２モデルを選択できる。

あるいは、第２推定部１３２は、対象ユーザの行動の状態遷移が単純マルコフ過程に従うものと仮定し、対象ユーザの行動の状態遷移における現在の行動から、次に起こる行動の条件付き確率をそれぞれ算出し、算出した条件付き確率が予め規定される閾値未満の行動を、対象ユーザの状態遷移と論理的に相反する行動を特定する。そして、第２推定部１３２は、特定した行動が行われる確度を推定する推定モデルを、第２モデルとして選択する。

また、第２推定部１３２は、対象ユーザの状態遷移の推定が行われた期間において負の関連性を有する行動が行われる確度を推定する。たとえば、第２推定部１３２は、対象ユーザの状態遷移の推定が行われた期間と同一の期間について、対象ユーザの状態遷移と負の関連性を有する行動が行われる確度を推定する。そして、第２推定部１３２は、推定した確度を評価部１３３に受け渡す。

（評価部１３３）
評価部１３３は、第２推定部１３２により推定された確度に基づいて、第２モデルの信頼性を評価する。

たとえば、評価部１３３は、第２推定部１３２により推定された確度の推移に基づいて、第２モデルの信頼性を評価する。具体的には、評価部１３３は、対象ユーザの状態遷移の推定が行われた期間と同一の期間において、第２推定部１３２により推定された確度が上昇傾向にあれば、第２モデルの信頼性は低いと評価する。

［４．処理手順］
以下、図６を用いて、実施形態に係る情報処理装置１００による処理手順について説明する。図６は、実施形態に係る情報処理装置による処理手順の一例を示すフローチャートである。図６に示す処理手順は、情報処理装置１００の制御部１３０により実行される。図６に示す処理手順は、情報処理装置１００の稼働中、繰り返し実行される。

図６に示すように、第１推定部１３１は、推定モデルの中から選択した行動Ａ推定モデルと、行動Ｂ推定モデルとを用いて、対象ユーザの行動Ａから行動Ｂへの状態遷移を推定する（ステップＳ１０１）。

続いて、第２推定部１３２は、推定モデルの中から選択した行動Ｃ推定モデルを用いて、対象ユーザの状態遷移と負の関連性を有する行動Ｃが行われる確度を推定する（ステップＳ１０２）。

続いて、評価部１３３は、行動Ｃが行われる確度に基づいて、行動Ｃ推定モデルの信頼性を評価し（ステップＳ１０３）、図６に示す処理手順を終了する。

［５．変形例］
上述した情報処理装置１００は、上述した実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、実施形態の変形例について説明する。

（５－１．状態遷移の時系列について）
上述した実施形態において、情報処理装置１００は、対象ユーザの行動の状態遷移を推定する際、状態遷移の時系列を考慮してもよい。たとえば、情報処理装置１００は、複数の推定モデルから関連性を有する複数の第１モデルを選択する際、行動Ｘ→行動Ｙの順に行動が行われることが自然である場合、行動Ｘ→行動Ｙの順に第１モデルのスコアを評価し、状態遷移を推定してもよい。

具体的には、情報処理装置１００は、７月に対応する行動Ｘのスコアが予め規定される閾値以上、かつ行動Ｙに対応するスコアが予め規定される閾値未満であり、８月に対応する行動Ｘのスコアが予め規定される閾値未満であり、かつ８月に対応する行動Ｙのスコアが予め規定される閾値以上であることを条件として、対象ユーザの行動が行動Ｘ→行動Ｙに状態遷移していると推定する。

（５－２．状態遷移の推定結果の利用について）
上述の実施形態において、情報処理装置１００は、対象ユーザの行動の状態遷移の推定結果を利用して、たとえば、対象ユーザに対する広告の配信などを実行してもよい。この時、情報処理装置１００は、対象ユーザの行動の状態遷移から推定される事象に対して不適切な広告を配信しないように制御してもよい。たとえば、情報処理装置１００は、対象ユーザの行動の状態遷移から、対象ユーザが結婚している可能性が高いと推定した場合、対象ユーザに対して、「結婚しませんか？」などの不適切な広告を配信しないように制御できる。また、たとえば、情報処理装置１００は、対象ユーザが高価な商品を購入した可能性が高いと推定した場合、同様の商品の購入を提案する広告を配信しないように制御する。

［６．ハードウェア構成］
実施形態に係る情報処理装置１００は、たとえば、図７に示すような構成のコンピュータ１０００によって実現される。図７は、実施形態に係る情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一次的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ(Read Only Memory)、ＨＤＤ、フラッシュメモリ等により実現される。

出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインターフェイスであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインターフェイスであり、例えば、ＵＳＢ等により実現される。

なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。

ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。

演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。

例えば、コンピュータ１０００が情報処理装置１００として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラム（たとえば、情報処理プログラム）を実行することにより、制御部１３０と同様の機能を実現する。すなわち、演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラム（たとえば、情報処理プログラム）との協働により、実施形態に係る情報処理装置１００による処理を実現する。

［７．その他］
上述した実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

上述の実施形態において、情報処理装置１００による情報処理方法（たとえば、図６参照）を実現するために、情報処理装置１００が有する制御部１３０の各部（第１推定部１３１、第２推定部１３２、及び評価部１３３）に対応する処理機能は、情報処理装置１００に予めインストールされている情報処理プログラムに対するアドオンとして実現してもよいし、軽量なプログラミング言語などを用いて、専用の提供プログラムとして柔軟に記述することにより実現されてもよい。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。たとえば、制御部１３０の第１推定部１３１と第２推定部１３２とは機能的に統合されていてもよい。

また、上述の実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

［８．効果］
上述の実施形態に係る情報処理装置１００は、第１推定部１３１と、第２推定部１３２と、評価部１３３とを備える。第１推定部１３１は、ユーザにより所定の行動が行われる確度を推定するために所定の行動ごとに予め用意された複数の推定モデルのうち、関連性を有する所定の行動が行われる確度を推定するための複数の第１モデルを用いて、所定の行動の状態遷移を推定する。第２推定部１３２は、複数の推定モデルのうち、所定の行動の状態遷移に対して負の関連性を有する所定の行動が行われる確度を推定するための第２モデルを用いて、ユーザにより負の関連性を有する所定の行動が行われる確度を推定する。評価部１３３は、第２推定部１３２により推定された確度に基づいて、第２モデルの信頼性を評価する。

このようなことから、実施形態に係る情報処理装置１００は、複数のモデルの推定結果を突き合わせることにより、生成したモデルの信頼性を簡易に確かめることができる。

また、実施形態に係る情報処理装置１００において、第１推定部１３１は、推定モデルに対応付けられている所定の行動の特徴量に基づいて、複数の推定モデルの中から第１モデルを複数選択する。これにより、実施形態に係る情報処理装置１００は、対応付けられている行動に関連性がある複数のモデルを適切に選択できる。

また、実施形態に係る情報処理装置１００において、第２推定部１３２は、所定の状態遷移と論理的に相反する所定の行動が行われる確度を推定する推定モデルを、第２モデルとして選択する。これにより、実施形態に係る情報処理装置１００は、第２モデルによる推定結果の矛盾から、第２モデルの精度を推し量ることができる。

また、実施形態に係る情報処理装置１００において、第２推定部１３２は、所定の状態遷移の推定が行われた期間において、負の関連性を有する所定の行動が行われる確度を推定し、評価部１３３は、第２推定部１３２により推定された確度の推移に基づいて、第２モデルの信頼性を評価する。これにより、実施形態に係る情報処理装置１００は、状態遷移の時系列に沿って第２モデルの推定結果を評価できる。

以上、本願の実施形態をいくつかの図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。

１０ 端末装置
１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１２１ ユーザ情報記憶部
１２２ 推定モデル記憶部
１３０ 制御部
１３１ 第１推定部
１３２ 第２推定部
１３３ 評価部

Claims (6)

1. ユーザにより所定の行動が行われる確度を推定するために、所定の条件を満たす各ユーザにより検索される検索クエリと、当該検索クエリの共通性に基づいて前記検索クエリに対して付与されるスコアとの組からなるスコアリストであって、前記所定の行動ごとに予め用意された複数の推定モデルのうち、関連性を有する前記所定の行動が行われる確度を推定するための複数の第１モデルを選択し、選択した複数の第１モデルのうち、一方の第１モデルに対して所定期間に前記ユーザにより入力された検索クエリを入力することにより得られるスコアと、他方の第１モデルに対して前記所定期間に前記ユーザにより入力された検索クエリを入力することにより得られるスコアとが共に閾値以上であるか否かを判定することにより、前記一方の第１モデルに対応する前記所定の行動から前記他方の第１モデルに対応する前記所定の行動への状態遷移を推定する第１推定部と、
   前記複数の推定モデルのうち、前記第１推定部により推定された前記状態遷移における遷移後の前記所定の行動に対して負の関連性を有する前記所定の行動が行われる確度を推定するための第２モデルを選択し、選択した第２モデルに対して、前記所定期間に前記ユーザにより入力された検索クエリを入力することにより得られるスコアが閾値以上であるか否かを判定することにより、前記ユーザにより前記負の関連性を有する前記所定の行動が行われる確度を推定する第２推定部と、
   前記第２推定部により推定された確度に基づいて、前記第２モデルの信頼性を評価する評価部と
   を備えることを特徴とする情報処理装置。
2. 前記第１推定部は、
   前記推定モデルに対応付けられている前記所定の行動の特徴量に基づいて、前記複数の推定モデルの中から前記第１モデルを複数選択する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記第２推定部は、
   前記所定の行動への状態遷移と論理的に相反する前記行動が行われる確度を推定する前記推定モデルを、前記第２モデルとして選択する
   ことを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記第２推定部は、
   前記所定の行動への状態遷移の推定が行われた期間において前記負の関連性を有する前記行動が行われる確度を推定し、
   前記評価部は、
   前記第２推定部により推定された前記確度の推移に基づいて、前記第２モデルの信頼性を評価する
   ことを特徴とする請求項１～３のいずれか１つに記載の情報処理装置。
5. コンピュータが実行する情報処理方法であって、
   ユーザにより所定の行動が行われる確度を推定するために、所定の条件を満たす各ユーザにより検索される検索クエリと、当該検索クエリの共通性に基づいて前記検索クエリに対して付与されるスコアとの組からなるスコアリストであって、前記所定の行動ごとに予め用意された複数の推定モデルのうち、関連性を有する前記所定の行動が行われる確度を推定するための複数の第１モデルを選択し、選択した複数の第１モデルのうち、一方の第１モデルに対して所定期間に前記ユーザにより入力された検索クエリを入力することにより得られるスコアと、他方の第１モデルに対して前記所定期間に前記ユーザにより入力された検索クエリを入力することにより得られるスコアとが共に閾値以上であるか否かを判定することにより、前記一方の第１モデルに対応する前記所定の行動から前記他方の第１モデルに対応する前記所定の行動への状態遷移を推定する第１推定工程と、
   前記複数の推定モデルのうち、前記第１推定工程により推定された前記状態遷移における遷移後の前記所定の行動に対して負の関連性を有する前記所定の行動が行われる確度を推定するための第２モデルを選択し、選択した第２モデルに対して、前記所定期間に前記ユーザにより入力された検索クエリを入力することにより得られるスコアが閾値以上であるか否かを判定することにより、前記ユーザにより前記負の関連性を有する前記所定の行動が行われる確度を推定する第２推定工程と、
   前記第２推定工程により推定された確度に基づいて、前記第２モデルの信頼性を評価する評価工程と
   を含むことを特徴とする情報処理方法。
6. コンピュータに、
   ユーザにより所定の行動が行われる確度を推定するために、所定の条件を満たす各ユーザにより検索される検索クエリと、当該検索クエリの共通性に基づいて前記検索クエリに対して付与されるスコアとの組からなるスコアリストであって、前記所定の行動ごとに予め用意された複数の推定モデルのうち、関連性を有する前記所定の行動が行われる確度を推定するための複数の第１モデルを選択し、選択した複数の第１モデルのうち、一方の第１モデルに対して所定期間に前記ユーザにより入力された検索クエリを入力することにより得られるスコアと、他方の第１モデルに対して前記所定期間に前記ユーザにより入力された検索クエリを入力することにより得られるスコアとが共に閾値以上であるか否かを判定することにより、前記一方の第１モデルに対応する前記所定の行動から前記他方の第１モデルに対応する前記所定の行動への状態遷移を推定する第１推定手順と、
   前記複数の推定モデルのうち、前記第１推定手順により推定された前記状態遷移における遷移後の前記所定の行動に対して負の関連性を有する前記所定の行動が行われる確度を推定するための第２モデルを選択し、選択した第２モデルに対して、前記所定期間に前記ユーザにより入力された検索クエリを入力することにより得られるスコアが閾値以上であるか否かを判定することにより、前記ユーザにより前記負の関連性を有する前記所定の行動が行われる確度を推定する第２推定手順と、
   前記第２推定手順により推定された確度に基づいて、前記第２モデルの信頼性を評価する評価手順と
   を実行させることを特徴とする情報処理プログラム。

Images