JP7176157B1 - 学習モデル作成システム、学習モデル作成方法、及びプログラム - Google Patents

Abstract

学習モデル作成システム（Ｓ）の認証済み情報取得手段（１０１）は、所定のサービスを利用可能なユーザ端末（２０）から所定の認証を実行した認証済みユーザの行動に関する認証済み情報を取得する。作成手段（１０２）は、認証済み情報に基づいて、認証済みユーザの行動が正当と推定されるように、サービスにおける不正を検知するための学習モデルを作成する。

Description

本開示は、学習モデル作成システム、学習モデル作成方法、及びプログラムに関する。

従来、所定のサービスを利用するユーザの不正を検知する技術が知られている。例えば、特許文献１には、ユーザの行動に関する特徴量を入力とし、この行動が不正であるか否かを出力とする訓練データを、教師有り学習を利用した学習モデルに学習させることによって、サービスにおける不正を検知するための学習モデルを作成するシステムが記載されている。

国際公開第２０１９／０４９２１０号公報

しかしながら、特許文献１の技術では、訓練データを人手で準備する必要があるので、学習モデルの作成に手間がかかる。この点は、教師有り学習を利用した学習モデルに限られない。教師無し学習又は半教師有り学習を利用した学習モデルを作成する場合も、学習モデルに入力する情報を人手で収集すると、非常に手間がかかる。このため、学習モデルの作成を簡易化することが求められている。

本開示の目的の１つは、サービスにおける不正を検知するための学習モデルの作成を簡易化することである。

本開示の一態様に係る学習モデル作成システムは、所定のサービスを利用可能なユーザ端末から所定の認証を実行した認証済みユーザの行動に関する認証済み情報を取得する認証済み情報取得手段と、前記認証済み情報に基づいて、前記認証済みユーザの行動が正当と推定されるように、前記サービスにおける不正を検知するための学習モデルを作成する作成手段と、を含む。

本開示によれば、サービスにおける不正を検知するための学習モデルの作成を簡易化できる。

不正検知システムの全体構成の一例を示す図である。 利用登録の流れの一例を示す図である。 所持認証の流れの一例を示す図である。 カードのＩＣチップをＮＦＣ部で読み取る様子の一例を示す図である。 学習モデルの一例を示す図である。 第１実施形態の不正検知システムで実現される機能の一例を示す機能ブロック図である。 ユーザデータベースのデータ格納例を示す図である。 訓練データベースのデータ格納例を示す図である。 第１実施形態において実行される処理の一例を示すフロー図である。 第２実施形態の概要を示す図である。 第２実施形態の不正検知システムで実現される機能の一例を示す機能ブロック図である。 第２実施形態において実行される処理の一例を示すフロー図である。 変形例１－１の不正検知システムの全体構成の一例を示す図である。 変形例１－１のユーザ端末に表示される画面の一例を示す図である。 カードの登録後に上限額を増やす流れの一例を示す図である。 カードのＩＣチップをＮＦＣ部で読み取る様子の一例を示す図である。 第１実施形態に係る変形例における機能ブロック図である。 ユーザデータベースのデータ格納例を示す図である。 第２実施形態に係る変形例における機能ブロック図

［１．第１実施形態］
以降、本開示に係る学習モデル作成システムの実施形態の一例である第１実施形態を説明する。第１実施形態では、学習モデル作成システムを不正検知システムに適用した場合を例に挙げる。このため、第１実施形態で不正検知システムと記載した箇所は、学習モデル作成システムと読み替えることができる。学習モデル作成システムは、学習モデルの作成までを行い、不正検知自体は、他のシステムで実行されてもよい。即ち、学習モデル作成システムは、不正検知システムのうちの不正検知の機能を含まなくてもよい。

［１－１．不正検知システムの全体構成］
図１は、不正検知システムの全体構成の一例を示す図である。図１に示すように、不正検知システムＳは、サーバ１０及びユーザ端末２０を含む。サーバ１０及びユーザ端末２０の各々は、インターネット等のネットワークＮに接続可能である。不正検知システムＳは、少なくとも１つのコンピュータを含めばよく、図１の例に限られない。例えば、サーバ１０は、複数台存在してもよい。ユーザ端末２０は、１台だけであってもよいし、３台以上存在してもよい。

サーバ１０は、サーバコンピュータである。サーバ１０は、制御部１１、記憶部１２、及び通信部１３を含む。制御部１１は、少なくとも１つのプロセッサを含む。記憶部１２は、ＲＡＭ等の揮発性メモリと、ハードディスク等の不揮発性メモリと、を含む。通信部１３は、有線通信用の通信インタフェースと、無線通信用の通信インタフェースと、の少なくとも一方を含む。

ユーザ端末２０は、ユーザのコンピュータである。例えば、ユーザ端末２０は、スマートフォン、タブレット端末、ウェアラブル端末、又はパーソナルコンピュータである。ユーザ端末２０は、制御部２１、記憶部２２、通信部２３、操作部２４、表示部２５、撮影部２６、及びＩＣチップ２７を含む。制御部２１及び記憶部２２の物理的構成は、それぞれ制御部１１及び記憶部１２と同様である。

通信部２３の物理的構成は、通信部１３と同様であってもよいが、第１実施形態の通信部２３は、更にＮＦＣ（Near field communication）部２３Ａを含む。ＮＦＣ部２３Ａは、ＮＦＣ用の通信インタフェースを含む。ＮＦＣ自体は、種々の規格を利用可能であり、例えば、ISO/IEC18092又はISO/IEC21481といった国際標準規格を利用可能である。ＮＦＣ部２３Ａは、規格に準じたアンテナ等のハードウェアを含み、例えば、リーダ／ライタ機能、ピアツーピア機能、カードエミュレーション機能、ワイヤレス充電機能、又はこれらの組み合わせを実現する。

操作部２４は、タッチパネル等の入力デバイスである。表示部２５は、液晶ディスプレイ又は有機ＥＬディスプレイである。撮影部２６は、少なくとも１台のカメラを含む。ＩＣチップ２７は、ＮＦＣに対応したチップである。ＩＣチップ２７は、任意の規格のチップであってよく、例えば、ＦｅｌｉＣａ（登録商標）のチップ、又は、非接触型規格におけるいわゆるＴｙｐｅＡ若しくはＴｙｐｅＢのチップである。ＩＣチップ２７は、規格に応じたアンテナ等のハードウェアを含み、例えば、ユーザが利用するサービスに必要な情報を記憶する。

なお、記憶部１２，２２に記憶されるプログラム及びデータの少なくとも一方は、ネットワークＮを介して供給されてもよい。また、サーバ１０及びユーザ端末２０の少なくとも一方に、コンピュータ読み取り可能な情報記憶媒体を読み取る読取部（例えば、光ディスクドライブやメモリカードスロット）と、外部機器とデータの入出力をするための入出力部（例えば、ＵＳＢポート）と、の少なくとも一方が含まれてもよい。例えば、情報記憶媒体に記憶されたプログラム及びデータの少なくとも一方が、読取部及び入出力部の少なくとも一方を介して供給されてもよい。

［１－２．第１実施形態の概要］
不正検知システムＳは、ユーザに提供されるサービスにおける不正を検知する。不正とは、違法行為、サービスの利用規約に違反する行為、又はその他の迷惑行為である。本実施形態では、他人のユーザＩＤ及びパスワードでログインし、他人になりすましてサービスを利用する行為が不正に相当する場合を例に挙げる。このため、この行為について説明している箇所は、不正と読み替えることができる。不正検知システムＳは、種々の不正を検知可能である。他の不正の例は、後述の変形例で説明する。

不正を検知するとは、不正の有無を推定又は判定することである。例えば、不正であるか否かを示す情報を出力すること、又は、不正の疑いの高さを示すスコアを出力することは、不正を検知することに相当する。例えば、スコアが数値で表現される場合、スコアが高いほど不正の疑いが高い。スコアは、数値以外にもＳランク、Ａランク、Ｂランクといったような文字等で表現されてもよい。スコアは、不正の確率又は蓋然性ということもできる。

第１実施形態では、サービスの一例として、官公庁等の公的機関が提供する行政サービスを挙げる。他のサービスの例は、変形例で説明する。第１実施形態では、行政サービスを、単にサービスと記載する。第１実施形態では、サーバ１０が、サービスの提供と、不正の検知と、の両方を行う場合を説明するが、サーバ１０以外のコンピュータがサービスを提供してもよい。ユーザ端末２０には、公的機関のアプリケーション（以降、単にアプリ）がインストールされている。ユーザは、初めてサービスを利用する場合、サービスへのログインに必要なユーザＩＤを発行するために、サービスの利用登録を行う。

図２は、利用登録の流れの一例を示す図である。図２に示すように、ユーザがユーザ端末２０のアプリを起動すると、利用登録に必要な情報を入力するための登録画面Ｇ１が表示部２５に表示される。例えば、ユーザは、入力フォームＦ１０に、希望するユーザＩＤ、パスワード、氏名、住所、電話番号、及びユーザの個人番号といった情報を入力する。ユーザＩＤは、サービスにおいてユーザを一意に識別可能な情報である。個人番号は、公的機関が発行した個人番号カードに記載された個人を識別可能な情報である。第１実施形態では、個人番号カードを、単にカードと記載する。

ユーザがボタンＢ１１を選択すると、入力フォームＦ１０に入力された情報がサーバ１０に送信され、利用登録が完了したことを示す完了画面Ｇ２が表示部２５に表示される。利用登録が完了すると、ユーザは、アプリからサービスを利用できるようになる。例えば、ユーザがボタンＢ２０を選択すると、アプリのトップ画面Ｇ３が表示部２５に表示される。例えば、トップ画面Ｇ３には、アプリから利用可能なサービスの一覧が表示される。例えば、ユーザがボタンＢ３０を選択すると、証明書の請求や窓口の予約といったサービスを利用するための利用画面Ｇ４が表示部２５に表示される。

第三者は、フィッシング等により、ユーザＩＤ及びパスワードを不正に入手することがある。この場合、第三者は、他人になりすましてサービスにログインし、サービスを不正に利用する可能性がある。そこで、第１実施形態では、第三者による不正利用を抑制するために、カードを利用した所持認証が実行されるようになっている。所持認証は、正当な者だけが所持する所持物を利用した認証である。所持物は、カードに限られず、任意の物であってよい。例えば、所持物は、情報記憶媒体又は用紙であってもよい。所持物は、有体物に限られず、電子的なデータのような無体物であってもよい。

所持認証を実行するか否かは、ユーザの任意である。ユーザは、所持認証を実行せずにサービスを利用することもできる。ただし、所持認証を実行していない状態では、ユーザが利用可能なサービスが制限されている。ユーザが、自身のユーザ端末２０から所持認証を実行すると、このユーザ端末２０から利用可能なサービスの種類が増える。ただし、所持認証を実行したユーザのユーザＩＤで他のユーザ端末２０からログインしても、当該他のユーザ端末２０で所持認証が実行されていなければ、当該他のユーザ端末２０から利用可能なサービスは制限される。

図３は、所持認証の流れの一例を示す図である。図２のトップ画面Ｇ３のボタンＢ３１が選択されると、図３に示すように、所持認証を開始するための開始画面Ｇ５が表示部２５に表示される。第１実施形態では、所持認証として、ＮＦＣを利用したＮＦＣ認証と、画像を利用した画像認証と、の２種類が用意されている。ＮＦＣ認証は、カードのＩＣチップに記録された情報をＮＦＣ部２３Ａで読み取ることによって実行される所持認証である。画像認証は、カードを撮影部２６で撮影することによって実行される所持認証である。以降、ＮＦＣ認証と画像認証を区別しないときは、単に所持認証と記載する。

図３では、ＮＦＣ認証の流れが示されている。ユーザが開始画面Ｇ５のボタンＢ５０を選択すると、ＮＦＣ部２３Ａが起動し、カードのＩＣチップに記録された情報をＮＦＣ部２３Ａで読み取るための読取画面Ｇ６が表示部２５に表示される。なお、利用登録時に所持認証が実行されてもよく、この場合には、利用登録時に読取画面Ｇ６が表示されてもよい。読取画面Ｇ６が表示されると、ユーザは、自身が所持するカードにユーザ端末２０を近づける。

図４は、カードのＩＣチップをＮＦＣ部２３Ａで読み取る様子の一例を示す図である。図４のカードＣ１は、第１実施形態の説明のために用意した架空のものである。図４に示すように、ユーザがカードＣ１のＩＣチップｃｐにユーザ端末２０を近づけると、ＮＦＣ部２３Ａは、ＩＣチップｃｐに記録された情報を読み取る。ＮＦＣ部２３Ａは、ＩＣチップｃｐ内の任意の情報を読み取り可能である。第１実施形態では、ＮＦＣ部２３Ａが、ＩＣチップｃｐに記録された個人番号を読み取る場合を説明する。

ユーザ端末２０は、サーバ１０に、ＩＣチップｃｐから読み取った個人番号を送信する。この個人番号は、ユーザ端末２０からサーバ１０に入力されるので、以降では、この個人番号を入力個人番号と記載する。第１実施形態における入力とは、サーバ１０に何らかのデータを送信することを意味する。サーバ１０には、正解となる個人番号が予め利用登録時に登録されている。以降、この個人番号を登録個人番号と記載する。なお、入力個人番号と登録個人番号を特に区別しないときは、単に個人番号と記載することがある。

サーバ１０は、ユーザ端末２０から入力個人番号を受信する。ユーザがカードＣ１の正当な持ち主であれば、入力個人番号と、ログイン中のユーザの登録個人番号と、が一致する。入力個人番号と、ログイン中のユーザの登録個人番号と、が一致する場合、図３に示すように、所持認証が成功したことを示す成功画面Ｇ７が表示部２５に表示される。成功画面Ｇ７に示すように、所持認証を成功させたユーザ端末２０から利用可能なサービスが増える。

一方、入力個人番号と、ログイン中のユーザの登録個人番号と、が一致しない場合、所持認証が失敗したことを示す失敗画面Ｇ８が表示部２５に表示される。この場合、ユーザ端末２０から利用可能なサービスは制限されたままとなる。ユーザは、読取画面Ｇ６に戻ってカードＣ１の読み取りを再度実行したり、コールセンターに問い合わせたりする。第三者が不正にログインしていれば、手元にカードＣ１がなく、所持認証を成功させることができないので、第三者のユーザ端末２０から利用可能なサービスは制限される。

画像認証も同様の流れで実行される。ＮＦＣ認証ではＮＦＣ部２３Ａを利用して入力個人番号が取得されるのに対し、画像認証では、カードＣ１が撮影された撮影画像を利用して入力個人番号が取得される。例えば、ユーザが開始画面Ｇ５のボタンＢ５１を選択すると、撮影部２６が起動する。撮影部２６は、カードＣ１を撮影する。ユーザ端末２０は、サーバ１０に、撮影画像を送信する。サーバ１０は、撮影画像を受信すると、撮影画像に光学文字認識を実行して入力個人番号を取得する。入力個人番号が取得された後の流れは、ＮＦＣ認証と同様である。

なお、光学文字認識は、ユーザ端末２０で実行されてもよい。また、撮影画像から入力個人番号を取得する方法は、光学文字認識に限られない。この方法自体は、公知の種々の方法を利用可能である。例えば、入力個人番号を含むコード（例えば、バーコード又は二次元コード）がカードＣ１に形成されている場合、撮影画像に撮影されたコードを利用して入力個人番号が取得されてもよい。コードから入力個人番号を取得する処理は、サーバ１０により実行されてもよいし、ユーザ端末２０により実行されてもよい。

以上のように、第１実施形態では、所持認証を成功させたユーザ端末２０から利用可能なサービスは、所持認証を成功させていないユーザ端末２０から利用可能なサービスよりも多くなる。第三者は、ユーザＩＤ及びパスワードを不正に入手して不正にログインしても、カードＣ１を所持しておらず所持認証を成功させることができないので、利用可能なサービスは制限される。このため、第三者によるサービスの不正利用を抑制し、サービスにおけるセキュリティが高まる。

ただし、第三者によるサービスの不正利用を抑止したとしても、第三者は、少ない種類の中でサービスを不正に利用することがある。例えば、図２の例であれば、第三者は、他人になりすまして、証明書を請求したり窓口を予約したりすることがある。そこで、第１実施形態では、サービスにおける不正を検知するための学習モデルを利用して、第三者による不正を検知するようにしている。

学習モデルは、機械学習を利用したモデルである。機械学習は、人工知能と呼ばれることもある。機械学習自体は、公知の種々の方法を利用可能であり、例えば、ニューラルネットワークを利用可能である。広い意味では、深層学習又は強化学習も機械学習に分類されるので、学習モデルは、深層学習又は強化学習を利用して作成されたモデルであってもよい。学習モデルは、機械学習を利用したルール又は決定木のモデルであってもよい。本実施形態では、教師有り学習を例に挙げるが、教師無し学習又は半教師有り学習であってもよい。

第１実施形態の学習モデルは、他人のユーザＩＤで不正にログインした第三者の不正だけでなく、自身のユーザＩＤでログインしたユーザの不正も検知可能である。例えば、ユーザが自身のユーザＩＤでサービスにログインし、いたずら目的で証明書を大量に請求したり、窓口を予約して無断キャンセルをしたりすることもある。このような不正をするユーザの行動に一定の傾向があれば、学習モデルは、この傾向を学習することによって、不正を検知可能である。

図５は、学習モデルの一例を示す図である。図５に示すように、第１実施形態では、教師有り学習を利用した学習モデルＭを例に挙げる。教師有り学習では、学習モデルＭへの入力と、学習モデルＭから取得したい理想的な出力と、の関係が定義された訓練データが、学習モデルＭに学習される。第１実施形態の学習モデルＭは、不正であることを示す第１の値、又は、正当であることを示す第２の値を出力する場合を説明するが、不正の疑いを示すスコアを出力してもよい。スコアが出力される場合は、後述の変形例で説明する。第１実施形態の学習モデルＭは、不正であるか否かを分類することになる。即ち、学習モデルＭは、不正であるか否かのラベリングを行う。

訓練データは、学習モデルＭの作成者が手動で作成することが多い。学習モデルＭの精度を高めようとすると、多数の訓練データを準備する必要がある。その全てを管理者が手動で作成するのは、非常に手間がかかる。例えば、管理者は、サービスにおける個々の行動が正当であるか不正であるかを判断し、訓練データを作成しなければならない。

この点、所持認証を実行したユーザは、所持認証の実行に必要な物理的なカードを所有しているため、不正をしない確率が非常に高い。不正をするユーザは、フィッシング等により、ユーザＩＤ及びパスワードを不正に入手することはできても、物理的なカードを盗むことはできずに、所持認証を実行せずにサービスを利用する確率が非常に高い。仮に、不正をするユーザが物理的なカードを盗めたとしても、所持認証を実行したユーザが不正をすると、誰が不正をしたかを簡単に特定できるので、不正をするユーザは、身元を隠すために、所持認証を実行せずにサービスを利用する確率が非常に高い。例えば、不正をするユーザは、自身の個人番号ではない番号を個人番号として入力して利用登録を完了させることがある。図２及び図３のような流れでサービスが提供される場合、自分の個人番号ではない番号が入力されたとしても、制限された中でサービスが利用可能になる。

そこで、第１実施形態では、所持認証を実行したユーザの行動を正当とみなし、訓練データを作成するようにしている。以降、所持認証を実行したユーザを、認証済みユーザと記載する。図５に示すように、第１実施形態の訓練データは、認証済みユーザの行動に基づいて作成されている。図５の例では、訓練データは、場所情報、日時情報、及び利用情報を含む入力部分と、正当であることを示す出力部分と、を含む。

場所情報は、ユーザ端末２０の場所を示す。場所は、任意の情報によって示されてよく、例えば、緯度経度、住所、携帯基地局情報、無線ＬＡＮのアクセスポイント情報、又はＩＰアドレスによって示される。場所情報は、サービスを普段利用する中心地からの距離であってもよい。中心地は、あるユーザＩＤから利用された場所の平均値であってもよいし、あるユーザ端末２０から利用された場所の平均値であってもよい。日時情報は、サービスの利用日時を示す。利用情報は、サービスがどのように利用されたかを示す。利用情報は、サービスの利用履歴ということもできる。例えば、利用情報は、利用されたサービスの種類、利用内容、ユーザの操作、又はこれらの組み合わせを示す。

例えば、サーバ１０は、学習済みの学習モデルＭを利用して、サービスにログイン中のユーザの不正を検知する。以降、不正検知の対象となるユーザを、対象ユーザと記載する。学習モデルＭには、対象ユーザの場所情報、日時情報、及び利用情報を含む対象情報が入力される。学習モデルＭは、対象情報に基づいて、不正であるか否かの推定結果を出力する。学習モデルＭからの出力が不正を示していれば、対象ユーザに対するサービスの提供が制限される。学習モデルＭからの出力が正当を示していれば、対象ユーザに対するサービスの提供は制限されない。

以上のように、第１実施形態の不正検知システムＳは、不正をしない確率が非常に高い認証済みユーザの認証済み情報に基づいて、教師有り学習を利用した学習モデルＭに学習させる訓練データを作成する。これにより、学習モデルＭの作成者が手動で訓練データを作成するといった手間を省き、学習モデルＭの作成を簡易化するようにしている。以降、第１実施形態の詳細を説明する。

［１－３．第１実施形態において実現される機能］
図６は、第１実施形態の不正検知システムＳで実現される機能の一例を示す機能ブロック図である。ここでは、サーバ１０及びユーザ端末２０の各々で実現される機能を説明する。

［１－３－１．サーバにおいて実現される機能］
図６に示すように、サーバ１０では、データ記憶部１００、認証済み情報取得部１０１、作成部１０２、及び不正検知部１０３が実現される。データ記憶部１００は、記憶部１２を主として実現される。認証済み情報取得部１０１、作成部１０２、及び不正検知部１０３の各々は、制御部１１を主として実現される。

［データ記憶部］
データ記憶部１００は、学習モデルＭを作成するために必要なデータを記憶する。例えば、データ記憶部１００は、ユーザデータベースＤＢ１、訓練データベースＤＢ２、及び学習モデルＭを記憶する。

図７は、ユーザデータベースＤＢ１のデータ格納例を示す図である。図７に示すように、ユーザデータベースＤＢ１は、利用登録が完了したユーザに関する情報が格納されたデータベースである。例えば、ユーザデータベースＤＢ１には、ユーザＩＤ、パスワード、氏名、住所、電話番号、登録個人番号、端末ＩＤ、所持認証フラグ、サービスの利用設定、場所情報、日時情報、及び利用情報が格納される。

例えば、ユーザが利用登録をすると、ユーザデータベースＤＢ１に新たなレコードが作成される。このレコードには、利用登録時に指定されたユーザＩＤ、パスワード、氏名、住所、電話番号、及び登録個人番号が格納される。第１実施形態では、登録個人番号は、利用登録後に変更できないものとする。このため、第三者は、不正にログインしたとしても、勝手に登録個人番号を変更できないものとする。利用登録時には、個人番号の確認は行われないため、不正をするユーザは、自身の個人番号ではない番号を個人番号として入力して利用登録を完了させることがある。

端末ＩＤは、ユーザ端末２０を識別可能な情報である。第１実施形態では、サーバ１０が端末ＩＤを発行する場合を説明する。端末ＩＤは、所定のルールに基づいて発行される。サーバ１０は、他の端末ＩＤと重複しないように、端末ＩＤを発行する。端末ＩＤは、有効期限が設定されてもよい。端末ＩＤは、任意のタイミングで発行可能である。例えば、アプリが起動したタイミング、端末ＩＤに設定された有効期限が切れたタイミング、又は端末ＩＤを更新するための操作が行われたタイミングで端末ＩＤが発行される。

なお、ユーザ端末２０は、端末ＩＤ以外の任意の情報によって識別可能である。例えば、端末ＩＤ以外にも、ＩＰアドレス、Ｃｏｏｋｉｅに格納された情報、ＳＩＭカードに格納されたＩＤ、ＩＣチップ２７に格納されたＩＤ、又はユーザ端末２０の個体識別情報によってユーザ端末２０が識別されてもよい。ユーザ端末２０を何らか識別可能な情報がユーザデータベースＤＢ１に格納されるようにすればよい。

ユーザＩＤに関連付けられた端末ＩＤは、このユーザＩＤからログインしたことのあるユーザ端末２０の端末ＩＤである。このため、あるユーザＩＤの正当な持ち主であるユーザが新たなユーザ端末２０からログインすれば、このユーザ端末２０の端末ＩＤが、このユーザＩＤに関連付けられる。第三者が、このユーザＩＤから不正にログインした場合も、第三者のユーザ端末２０の端末ＩＤが、このユーザＩＤに関連付けられる。

端末ＩＤには、所持認証フラグ、利用設定、時間情報、場所情報、日時情報、及び利用情報が関連付けられる。第１実施形態では、ユーザＩＤ及び端末ＩＤの組み合わせごとに、所持認証フラグ等の情報が関連付けられる。図７の例であれば、ユーザＩＤ「ｔａｒｏ．ｙａｍａｄａ１２３」は、２台のユーザ端末２０からログインされたことがある。ユーザＩＤ「ｈａｎａｋｏ．ｓｕｚｕｋｉ９９９」は、３台のユーザ端末２０からログインされたことがある。ユーザＩＤ「ｋｉｍｕｒａ９８７６」は、１台のユーザ端末２０からのみログインされたことがある。

所持認証フラグは、所持認証が実行されたか否かを示す情報である。例えば、所持認証フラグが「１」であることは、ＮＦＣ認証が実行されたことを示す。所持認証フラグが「２」であることは、画像認証が実行されたことを示す。所持認証フラグが「０」であることは、所持認証が実行されていないことを示す。第１実施形態では、利用登録時に所持認証が実行されない場合を説明するので、所持認証フラグの初期値は「０」になる。利用登録後に所持認証が実行されると、所持認証フラグが「１」又は「２」に変わる。利用登録時に所持認証を実行可能とする場合には、ユーザが利用登録時に所持認証を実行すれば、所持認証フラグの初期値は「１」又は「２」になる。

利用設定では、アプリから利用可能なサービスの種類が示される。所持認証フラグ「１」又は「２」の利用設定は、所持認証フラグ「０」の利用設定よりも、利用可能なサービスが多くなる。所持認証の実行有無及び利用設定の関係（即ち、所持認証フラグ及び利用設定の関係）は、データ記憶部１００に予め定義されているものとする。図６の例であれば、所持認証フラグ「１」又は「２」の利用設定は、全てのサービスを利用可能な設定になる。所持認証フラグ「０」の利用設定は、一部のサービスのみ利用可能な設定になる。

場所情報、日時情報、及び利用情報の詳細は、先述した通りである。あるユーザ端末２０からあるユーザＩＤでログインした状態でサービスが利用されると、このユーザＩＤ及びこのユーザ端末２０の組み合わせに関連付けられた場所情報、日時情報、及び利用情報が更新される。場所情報を取得する方法自体は、ＧＰＳや携帯基地局等を利用した公知の方法を利用可能である。日時情報を取得する方法自体も、リアルタイムクロック等を利用した公知の方法を利用可能である。利用情報は、サービスに応じた情報が格納されるようにすればよく、詳細な内容は先述した通りである。

図８は、訓練データベースＤＢ２のデータ格納例を示す図である。図８に示すように、訓練データベースＤＢ２は、学習モデルＭに学習させる訓練データが格納されたデータベースである。本実施形態では、学習モデルＭに対する入力部分と、正解となる出力部分と、のペアを訓練データ（教師データ）と記載する。図８の出力部分の例では、正当を「０」で示す。不正は、他の値であればよく、例えば、「１」である。訓練データベースＤＢ２には、このペアの集まりが格納される。訓練データの詳細は、図５で説明した通りである。訓練データは、作成部１０２により作成される。一部の訓練データは、学習モデルＭの作成者が手動で作成してもよいし、公知の訓練データの作成ツールを利用して作成されてもよい。

データ記憶部１００は、学習済みの学習モデルＭのプログラム及びパラメータを記憶する。データ記憶部１００は、訓練データが学習される前の学習モデルＭと、訓練データの学習で必要なプログラムと、を記憶してもよい。データ記憶部１００が記憶するデータは、上記の例に限られない。データ記憶部１００は、任意のデータを記憶可能である。

学習モデルＭは、機械学習を利用したモデルである。機械学習は、人工知能と呼ばれることもある。機械学習自体は、公知の種々の方法を利用可能であり、例えば、ニューラルネットワークを利用可能である。広い意味では、深層学習又は強化学習も機械学習に分類されるので、学習モデルＭは、深層学習又は強化学習を利用して作成されたモデルであってもよい。本実施形態では、教師有り学習を例に挙げるが、教師無し学習又は半教師有り学習であってもよい。

［認証済み情報取得部］
認証済み情報取得部１０１は、所定のサービスを利用可能なユーザ端末２０から所定の認証を実行した認証済みユーザの行動に関する認証済み情報を取得する。第１実施形態では、この認証が、ユーザ端末２０を利用して、所定のカードＣ１を所持しているか否かを確認するための所持認証である場合を例に挙げる。このため、所持認証について説明している箇所は、所定の認証と読み替えることができる。即ち、ＮＦＣ認証又は画像認証について説明している箇所は、所定の認証と読み替えることができる。第１実施形態では、認証済みユーザがユーザ端末２０から所持認証を実行したユーザである場合を説明するが、認証済みユーザは、ユーザ端末２０から所定の認証を実行したユーザであればよい。

所定の認証は、ユーザ端末２０から実行可能な認証である。所定の認証は、ログイン時の認証であってもよいが、第１実施形態では、所定の認証は、ログイン時の認証とは異なる認証であるものとする。所定の認証は、カードＣ１を利用した所持認証に限られない。所定の認証は、種々の認証方法を利用可能である。例えば、所定の認証は、カードＣ１以外の所持物を確認する所持認証であってもよい。この所持物は、本人確認が可能な任意のものであればよい。例えば、所持物は、パスポートのようなカード以外の身分証明書、何らかの認証情報が記録された情報記憶媒体、又は何らかの認証情報が形成された紙であってもよい。例えば、所持物は、認証情報を含むコードのような電子的な物であってもよい。

所定の認証は、所持認証に限られない。例えば、所定の認証は、パスワード認証、パスコード認証、暗証番号認証、又は合言葉認証といった知識認証であってもよい。所定の認証がパスワード認証の場合には、ログイン時とは異なるパスワードが利用されるものとする。例えば、所定の認証は、顔認証、指紋認証、又は虹彩認証といった生体認証であってもよい。第１実施形態では、所定の認証がログイン時の認証よりもセキュアなものである場合を説明するが、ログイン時の認証の方が所定の認証よりもセキュアであってもよい。ログイン時の認証も、パスワード認証に限られず、任意の認証方法であってよい。

第１実施形態の所持認証で利用されるカードＣ１は、所持認証で利用される入力個人番号を含む。例えば、入力個人番号は、カードＣ１のＩＣチップｃｐに電子的に記録されている。第１実施形態では、入力個人番号は、カードＣ１の表面にも形成されている。所持認証で正解となる登録個人番号は、ユーザデータベースＤＢ１に登録されている。入力個人番号及び登録個人番号の各々は、認証時に利用される認証情報の一例である。

なお、所定の認証として他の認証方法が利用される場合には、認証方法に応じた認証情報が用いられるようにすればよい。例えば、知識認証が利用されるのであれば、認証情報は、パスワード、パスコード、暗証番号、又は合言葉であってもよい。生体認証が利用されるのであれば、認証情報の各々は、顔写真、顔の特徴量、指紋パターン、又は虹彩パターンであってもよい。

例えば、ＮＦＣ認証を利用して所持認証が実行される場合、サーバ１０は、ユーザ端末２０から、ＮＦＣ部２３Ａを利用して取得されたカードＣ１の入力個人番号を取得する。サーバ１０は、ユーザデータベースＤＢ１を参照し、ユーザ端末２０から取得した入力個人番号と、ログイン中のユーザＩＤに関連付けられた登録個人番号と、が一致するか否かを判定する。これらが一致する場合、所持認証は成功する。これらが一致しない場合、所持認証は失敗する。

例えば、画像認証を利用して所持認証が実行される場合、サーバ１０は、ユーザ端末２０から、カードＣ１が撮影された撮影画像を取得する。サーバ１０は、光学文字認識を利用し、撮影画像から入力個人番号を取得する。入力個人番号が取得された後の所持認証の流れは、ＮＦＣ認証と同様である。第１実施形態では、入力個人番号がカードＣ１の表面に印刷されている場合を説明するが、入力個人番号は、カードＣ１の表面にエンボス加工された凹凸として形成されていてもよい。入力個人番号は、カードＣ１の表面及び裏面の少なくとも一方に形成されていればよい。

第１実施形態のサービスは、複数のユーザ端末２０の各々から、同じユーザＩＤでログイン可能である。認証部１０１は、ユーザ端末２０ごとに、当該ユーザ端末２０からユーザＩＤでサービスにログインした状態で所持認証を実行可能である。例えば、図７のユーザＩＤ「ｔａｒｏ．ｙａｍａｄａ１２３」のユーザが、２台のユーザ端末２０を利用していたとする。これら２台のユーザ端末２０を、第１ユーザ端末２０Ａ及び第２ユーザ端末２０Ｂと記載する。

サーバ１０は、第１ユーザ端末２０Ａから、ユーザＩＤ「ｔａｒｏ．ｙａｍａｄａ１２３」でサービスにログインした状態で所持認証を実行可能である。認証部１０１は、第２ユーザ端末２０Ｂから、同じユーザＩＤ「ｔａｒｏ．ｙａｍａｄａ１２３」でサービスにログインした状態で所持認証を実行可能である。１人のユーザが３台以上のユーザ端末２０を利用する場合も同様に、認証部１０１は、個々のユーザ端末２０ごとに、所持認証を実行可能である。先述したように、所持認証を実行するか否かは、ユーザの任意なので、全てのユーザ端末２０で所持認証を実行しなければならないわけではない。

認証済み情報は、認証済みユーザの行動に関する情報である。行動とは、ユーザ端末２０に対する操作内容、ユーザ端末２０からサーバ１０に送信された情報、又はこれらの組み合わせである。別の言い方をすれば、行動は、どのようにサービスを利用したかを示す情報である。第１実施形態では、場所情報、日時情報、及び利用情報の組み合わせが行動に関する情報に相当する。認証済みユーザの場所情報、日時情報、及び利用情報の組み合わせは、認証済み情報の一例である。このため、以降では、この組み合わせを認証済み情報と記載する。

なお、認証済み情報は、第１実施形態の例に限られず、認証済みユーザの何らかの行動に関する情報であればよい。即ち、認証済み情報は、不正であるか否かと何らかの相関関係のある特徴であればよい。例えば、認証済み情報は、ユーザがログインしてから所定の画面に到達するまでの時間、この画面に到達するまでに表示された画面の数若しくは種類、ある１つの画面に対する操作の数、ポインタの軌跡、又はこれらの組み合わせであってもよい。認証済み情報は、サービスに応じた情報であればよい。認証済み情報の他の例は、後述の変形例で説明する。

第１実施形態では、認証済み情報は、ユーザデータベースＤＢ１に格納されている。図７の例であれば、所持認証フラグが「１」又は「２」のレコードに格納された場所情報、日時情報、及び利用情報の組み合わせが認証済み情報に相当する。認証済み情報取得部１０１は、ユーザデータベースＤＢ１を参照し、認証済み情報を取得する。第１実施形態では、認証済み情報取得部１０１は、複数の認証済み情報を取得する場合を説明するが、認証済み情報取得部１０１は、少なくとも１つの認証済み情報を取得すればよい。

第１実施形態では、認証済み情報取得部１０１は、日時情報が示す日時が直近の所定期間（例えば、１週間～１月程度）の認証済み情報を取得する場合を説明するが、ユーザデータベースＤＢ１に格納された全ての認証済み情報を取得してもよい。認証済み情報取得部１０１は、所定期間内の全ての認証済み情報を取得しなくてもよく、所定期間内の一部の認証済み情報をランダムに選択して取得してもよい。認証済み情報取得部１０１は、学習モデルＭの学習に十分な数の認証済み情報を取得すればよい。

［作成部］
作成部１０２は、認証済み情報に基づいて、認証済みユーザの行動が正当と推定されるように、サービスにおける不正を検知するための学習モデルＭを作成する。学習モデルＭを作成するとは、学習モデルＭの学習を行うことである。学習モデルＭのパラメータを調整することは、学習モデルＭを作成することに相当する。パラメータ自体は、公知の機械学習で利用されるものであればよく、例えば、重み係数やバイアス等である。学習モデルＭの学習方法自体は、種々の手法を利用可能であり、例えば、深層学習又は強化学習の手法を利用可能である。他にも例えば、勾配降下法が利用されてもよいし、深層学習であれば誤差逆伝播法が利用されてもよい。

第１実施形態では、学習モデルＭは、教師有り学習のモデルである。作成部１０２は、認証済み情報に基づいて、認証済みユーザの行動が正当であることを示す訓練データを作成する。この訓練データは、第１訓練データの一例である。後述の変形例の説明では、他の訓練データを説明するので、第１訓練データや第２訓練データといったように個々の訓練データを区別するが、第１実施形態では、他の訓練データの説明はしないので、第１訓練データを単に訓練データと記載する。

例えば、作成部１０２は、認証済み情報である入力部分と、正当を示す出力部分と、を含む訓練データを作成する。入力部分は、任意の形式で表現可能であり、例えば、ベクトル形式、配列形式、又は単一の数値で表現されてよい。認証済み情報に含まれる場所情報、日時情報、及び利用情報に含まれる項目が数値化されたものが入力部分であるものとする。この数値化は、学習モデルＭの内部で行われてもよい。入力部分は、行動の特徴量に相当する。出力部分は、学習モデルＭの出力の正解に相当する。

作成部１０２は、認証済み情報ごとに訓練データを作成し、訓練データベースＤＢ２に格納する。作成部１０２は、訓練データに基づいて、学習モデルＭを学習させることによって、学習モデルＭを作成する。作成部１０２は、訓練データの入力部分が入力された場合に、訓練データの出力部分が取得されるように、学習モデルＭを学習させる。作成部１０２は、訓練データベースＤＢ２に格納された全ての訓練データを利用して学習モデルＭを作成してもよいし、一部の訓練データのみを利用して学習モデルＭを作成してもよい。

［不正検知部］
不正検知部１０３は、作成済みの学習モデルＭを利用して、不正検知を行う。不正検知部１０３は、対象ユーザがサービスにログインすると、対象ユーザの場所情報、日時情報、及び利用情報を取得してユーザデータベースＤＢ１に格納する。これらの情報の組み合わせは、図５に示す対象情報である。不正検知部１０３は、所定の不正検知のタイミングが訪れると、対象ユーザの対象情報に基づいて、学習モデルＭの出力を取得する。第１実施形態では、不正検知部１０３は、学習モデルＭに対象情報を入力し、学習モデルＭからの出力を取得する場合を説明するが、不正検知部１０３は、対象情報に何らかの演算や数値化の処理を実行したうえで、当該処理が実行された対象情報を学習モデルＭに入力してもよい。

不正検知部１０３は、学習モデルＭの出力が不正を示していれば、対象ユーザに対するサービスの提供、即ち対象ユーザによるサービスの利用を制限する。不正検知部１０３は、この出力が正当を示していれば、対象ユーザによるサービスの利用を制限しない。不正検知のタイミングは、任意のタイミングであってよく、例えば、トップ画面Ｇ３のボタンＢ３０が選択された場合、ユーザデータベースＤＢ１に登録された情報が変更される場合、サービスへのログイン時、又は何らの決済処理が実行される場合であってもよい。

［１－３－２．ユーザ端末において実現される機能］
図５に示すように、ユーザ端末２０では、データ記憶部２００、表示制御部２０１、及び受付部２０２が実現される。データ記憶部２００は、記憶部２２を主として実現される。表示制御部２０１及び受付部２０２の各々は、制御部２１を主として実現される。データ記憶部２００は、第１実施形態で説明する処理に必要なデータを記憶する。例えば、データ記憶部２００は、アプリを記憶する。表示制御部２０１は、アプリに基づいて、図２及び図３で説明した各画面を表示部２５に表示させる。受付部２０２は、各画面に対するユーザの操作を受け付ける。ユーザ端末２０は、サーバ１０に、ユーザの操作内容を送信する。他にも例えば、ユーザ端末２０は、認証済み情報の取得に必要な場所情報等を送信する。

［１－４．第１実施形態において実行される処理］
図９は、第１実施形態において実行される処理の一例を示すフロー図である。図９に示す処理は、制御部１１，２１が、それぞれ記憶部１２，２２に記憶されたプログラムに従って動作することによって実行される。この処理は、図６に示す機能ブロックにより実行される処理の一例である。この処理が実行されるにあたり、ユーザの利用登録が完了しているものとする。ユーザ端末２０は、サーバ１０により発行された端末ＩＤを予め記憶しているものとする。

図９に示すように、サーバ１０は、ユーザデータベースＤＢ１に基づいて、認証済みユーザの認証済み情報を取得する（Ｓ１００）。Ｓ１００では、サーバ１０は、所持認証フラグが「１」又は「２」のレコードのうち、日時情報が示す日時が直近の所定期間であるレコードに格納された認証済み情報を取得する。

サーバ１０は、Ｓ１００で取得した認証済み情報に基づいて、訓練データを作成する（Ｓ１０１）。Ｓ１０１では、サーバ１０は、認証済み情報である入力部分と、不正を示す出力部分と、を含む訓練データを作成し、訓練データベースＤＢ２に格納する。サーバ１０は、訓練データの作成が完了したか否かを判定する（Ｓ１０２）。Ｓ１０２では、サーバ１０は、所定数の訓練データを作成したか否かを判定する。

訓練データの作成が完了したと判定されない場合（Ｓ１０２；Ｎ）、Ｓ１００の処理に戻り、新たに訓練データが作成されて訓練データベースＤＢ２に格納される。Ｓ１０２において、訓練データの作成が完了したと判定された場合（Ｓ１０２；Ｙ）、サーバ１０は、訓練データベースＤＢ２に基づいて、学習モデルＭを作成する（Ｓ１０３）。Ｓ１０３では、サーバ１０は、訓練データベースＤＢ２に格納された個々の訓練データの入力部分が入力された場合に、この訓練データの出力部分が出力されるように、個々の訓練データを学習モデルＭに学習させる。

Ｓ１０３で学習モデルＭが作成されると、サービスにおける不正検知で利用可能になる。ユーザ端末２０は、対象ユーザの操作に基づいてアプリを起動させ、トップ画面Ｇ３を表示部２５に表示させる（Ｓ１０４）。アプリの起動時には、サーバ１０及びユーザ端末２０の間でログインが実行されてもよい。ログインでは、ユーザＩＤ及びパスワードの入力が要求されてもよいし、過去にログイン済みであることを示す情報をユーザ端末２０に記憶させておき、この情報がログインで利用されてもよい。以降、ユーザ端末２０が何らかの形でサーバ１０にアクセスすると、ユーザ端末２０の端末ＩＤに関連付けられた場所情報、日時情報、及び利用情報が適宜更新される。なお、サーバ１０は、ログインが成功してトップ画面Ｇ３が表示される前に、ユーザ端末２０の端末ＩＤに関連付けられた利用設定に基づいて、利用できないサービスのボタンＢ３０を選択できないようなトップ画面Ｇ３の表示データを生成し、ユーザ端末２０に送信してもよい。

ユーザ端末２０は、操作部２４の検出信号に基づいて、対象ユーザの操作を特定する（Ｓ１０５）。Ｓ１０５では、行政サービスを利用するためのボタンＢ３０の選択、又は、所持認証を実行するためのボタンＢ３１の選択の何れかが行われる。所持認証を実行済みのユーザ端末２０であれば、ボタンＢ３１を選択できないようにしてもよい。なお、対象ユーザがアプリを終了するための操作やアプリをバックグラウンドに移行させるための操作を行った場合（Ｓ１０５；終了）、本処理は終了する。

Ｓ１０５において、ボタンＢ３０が選択された場合（Ｓ１０５；Ｂ３０）、ユーザ端末２０は、サーバ１０に、対象ユーザがボタンＢ３０から選択した種類のサービスの提供を要求する（Ｓ１０６）。サーバ１０は、対象ユーザの対象情報を学習モデルＭに入力し、学習モデルＭからの出力を取得する（Ｓ１０７）。なお、ここでは、対象ユーザがログインした後にＳ１０７の処理が実行される場合を説明するが、対象ユーザがログインする時にＳ１０７の処理が実行されてもよい。この場合、不正なログインを検知し、不正なログインが発生することを防止できる。対象情報は、対象ユーザ（即ち、ログイン中のユーザ）の場所情報、日時情報、及び利用情報である。対象ユーザが複数のユーザ端末２０からログインしたことがあれば、ログイン中のユーザ端末２０の端末ＩＤに関連付けられた対象情報に基づいて、学習モデルＭからの出力が取得される。

サーバ１０は、学習モデルＭからの出力を参照する（Ｓ１０８）。学習モデルＭからの出力が不正を示す場合（Ｓ１０８；不正）、サーバ１０は、サービスの提供を制限する（Ｓ１０９）。Ｓ１０９では、サーバ１０は、ユーザが選択した種類のサービスを提供しない。ユーザ端末２０には、エラーメッセージが表示される。学習モデルＭからの出力が正当を示す場合（Ｓ１０８；正当）、サーバ１０と、ユーザ端末２０と、の間でサービスを提供するためのサービス提供処理が実行され（Ｓ１１０）、本処理は終了する。Ｓ１１０では、サーバ１０は、ユーザデータベースＤＢ１を参照し、ログイン中のユーザのユーザＩＤと、ユーザ端末２０の端末ＩＤと、に関連付けられた利用設定を取得する。サーバ１０は、この利用設定に基づいて、サービスを提供する。サーバ１０は、ユーザ端末２０からユーザの操作内容を受信し、操作内容に応じた処理を実行する。

Ｓ１０５において、ボタンＢ３１が選択された場合（Ｓ１０８；Ｂ３１）、ユーザ端末２０は、開始画面Ｇ５を表示部２５に表示させ、サーバ１０及びユーザ端末２０の間で所持認証が実行され（Ｓ１１１）、本処理は終了する。Ｓ１１１においてＮＦＣ認証が選択された場合には、ユーザ端末２０は、ＮＦＣ部２３Ａにより読み取られた入力個人番号を、サーバ１０に送信する。サーバ１０は、入力個人番号を受信すると、ユーザデータベースＤＢ１を参照し、受信した入力個人番号と、ログイン中のユーザの登録個人番号と、が一致するか否かを判定する。サーバ１０は、これらが一致した場合には、所持認証が成功したと判定し、所持認証フラグを「１」にしてサービスの利用制限が解除されるように、利用設定を変更する。画像認証が選択された場合には、撮影画像から入力個人番号が取得され、ＮＦＣ認証と同様の流れで画像認証が実行される。この場合の所持認証フラグは「２」になる。

第１実施形態の不正検知システムＳによれば、認証済み情報に基づいて、認証済みユーザの行動が正当と推定されるように、学習モデルＭを作成する。認証済みユーザが正当である確率が非常に高いことに着目することによって、学習モデルＭの作成者が手動で訓練データを作成しなくても学習モデルＭを作成できるので、学習モデルＭの作成を簡易化できる。また、訓練データの作成から学習モデルＭの学習までの一連の処理を自動化し、学習モデルＭを迅速に作成できる。不正検知システムＳに、最新の傾向を学習させた学習モデルＭを迅速に適用し、精度良く不正を検知できる。その結果、サービスにおける不正利用を防止し、セキュリティが高まる。本来は正当なはずの対象ユーザの行動が不正と推定されてしまいサービスを利用できなくなる、といった利便性の低下も防止できる。学習モデルＭに認証済みユーザの正当な行動だけを学習させたとしても、不正な行動は、正当な行動の特徴とは異なることが多いので、学習モデルＭは、正当な行動とは特徴が異なる行動を検知することによって、不正を検知できる。

また、不正検知システムＳは、所持認証を実行した認証済みユーザの認証済み情報を利用して学習モデルＭを作成することによって、正当である確率が非常に高い認証済みユーザの認証済み情報を利用して、精度の高い学習モデルＭを作成できる。精度の高い学習モデルＭを作成することによって、サービスにおける不正利用をより確実に防止し、セキュリティが効果的に高まる。本来は正当なはずの対象ユーザの行動が不正と推定されてしまいサービスを利用できなくなる、といったこともより確実に防止できる。

また、不正検知システムＳは、認証済み情報に基づいて、認証済みユーザの行動が正当であることを示す訓練データを作成し、この訓練データに基づいて、学習モデルＭを学習させることによって、訓練データを自動的に作成し、学習モデルＭの作成者の手間を軽減できる。学習モデルＭの作成で最も手間がかかる工程の１つである訓練データの作成を自動化することによって、学習モデルＭを迅速に作成できる。その結果、サービスにおける不正利用をより確実に防止し、セキュリティが効果的に高まる。

［２．第２実施形態］
次に、本開示に係る学習モデルＭ評価システムの実施形態の一例である第２実施形態を説明する。第２実施形態では、学習モデルＭ評価システムを、第１実施形態で説明した不正検知システムＳに適用した場合を例に挙げる。このため、第２実施形態で不正検知システムＳと記載した箇所は、学習モデルＭ評価システムと読み替えることができる。学習モデルＭ評価システムは、学習モデルＭの評価までを行い、不正検知は、他のシステムで実行されてもよい。即ち、学習モデルＭ評価システムは、不正検知システムＳのうちの不正検知の機能を含まなくてもよい。

また、第１実施形態と同様にして学習モデルＭが作成される場合を説明するが、第２実施形態の学習モデルＭは、第１実施形態とは異なる方法で作成されてもよい。例えば、学習モデルＭの作成者が手動で作成した訓練データに基づいて、学習モデルＭが作成されてもよい。他にも例えば、公知の訓練データの作成支援ツールを利用して作成された訓練データに基づいて、学習モデルＭが作成されてもよい。このため、第２実施形態の不正検知システムＳは、第１実施形態で説明した機能を含まなくてもよい。なお、第２実施形態では、第１実施形態と同様の点については説明を省略する。

［２－１．第２実施形態の概要］
不正検知システムＳにおけるユーザの行動は、日々変化するので、学習モデルＭに最近の傾向が学習されていなければ、学習モデルＭの不正検知の精度が徐々に落ちることがある。この点は、第１実施形態以外の方法で作成された学習モデルＭも同様である。教師無し学習又は半教師有り学習が利用される場合も同様である。そこで、第２実施形態では、認証済みユーザが正当である確率が非常に高いことに着目し、認証済み情報に基づいて、学習モデルＭの精度を正確に評価するようにしている。

図１０は、第２実施形態の概要を示す図である。図１０に示すように、複数の認証済み情報の各々が、学習モデルＭに入力される。認証済み情報は、正当である確率が非常に高い認証済みユーザの行動に関する情報なので、学習モデルＭからの出力が正当を示していれば、学習モデルＭの精度は低下していないと予測される。一方、学習モデルＭからの出力が不正を示していれば、学習モデルＭは、最近の認証済みユーザの行動（即ち、正当な行動）に対応できておらず、精度が低下している可能性がある。この場合、学習モデルＭの作成者に精度が低下していることが通知されたり、最新の認証済み情報に基づいて、学習モデルＭが作り直されたりする。

以上のように、第２実施形態の不正検知システムＳは、認証済み情報に基づいて、学習モデルＭからの出力を取得し、認証済み情報に対応する出力に基づいて、学習モデルＭの精度を評価する。正当である確率が非常に高い認証済みユーザの認証済み情報を利用することによって、学習モデルＭの精度を正確に評価できる。以降、第２実施形態の詳細を説明する。

［２－２．第２実施形態において実現される機能］
図１１は、第２実施形態の不正検知システムＳで実現される機能の一例を示す機能ブロック図である。ここでは、サーバ１０及びユーザ端末２０の各々で実現される機能を説明する。

［２－２－１．サーバにおいて実現される機能］
図１１に示すように、サーバ１０は、データ記憶部１００、認証済み情報取得部１０１、作成部１０２、不正検知部１０３、出力取得部１０４、及び評価部１０５を含む。出力取得部１０４及び評価部１０５の各々は、制御部１１を主として実現される。

［データ記憶部、認証済み情報取得部、作成部、及び不正検知部］
データ記憶部１００は、第１実施形態と同様である。第１実施形態の認証済み情報取得部１０１は、学習モデルＭを作成するための認証済み情報を取得したが、第２実施形態の認証済み情報取得部１０１は、学習モデルＭを評価するための認証済み情報を取得する。認証済み情報の利用目的が異なるだけであり、認証済み情報自体は同じである。認証済み情報取得部１０１の他の点については、第１実施形態と同様である。作成部１０２及び不正検知部１０３も第１実施形態と同様である。

［出力取得部］
出力取得部１０４は、認証済み情報に基づいて、サービスにおける不正を検知するための学習モデルＭからの出力を取得する。例えば、出力取得部１０４は、複数の認証済み情報の各々に対応する出力を取得する。学習モデルＭに認証済み情報が入力されて、学習モデルＭからの出力が取得される処理は、第１実施形態で説明した通りである。認証済み情報に何らかの演算又は数値化の処理が実行されたうえで、当該処理が実行された認証済み情報が学習モデルＭに入力されても良い点も、第１実施形態と同様である。

［評価部］
評価部１０５は、認証済み情報に対応する出力に基づいて、学習モデルＭの精度を評価する。認証済み情報に対応する出力とは、認証済み情報に基づいて取得された学習モデルＭからの出力である。学習モデルＭの精度とは、学習モデルＭからどの程度所望の結果を得られるかを示す指標である。例えば、正当な行動の対象情報が入力された場合に、学習モデルＭから正当を示す出力を取得できる確率は、学習モデルＭの精度に相当する。不正な行動の対象情報が入力された場合に、学習モデルＭから不正を示す出力を取得できる確率は、学習モデルＭの精度に相当する。学習モデルＭの精度は、任意の指標によって計測可能であり、例えば、正解率、適合率、再現率、Ｆ値、特異度、偽陽性率、Ｌｏｇ Ｌｏｓｓ、又はＡＵＣ（Area Under the Curve）を利用可能である。

第２実施形態では、評価部１０５は、認証済み情報に対応する学習モデルＭからの出力が正当を示す場合には、学習モデルＭからの出力が不正を示す場合よりも、学習モデルＭの精度が高いと評価する。例えば、評価部１０５は、複数の認証済み情報の各々に対応する出力に基づいて、学習モデルＭの精度を評価する。評価部１０５は、学習モデルＭに入力した認証済み情報のうち、学習モデルＭからの出力が正当を示す割合を、正解率として計算する。評価部１０５は、正解率が高いほど、学習モデルＭの精度が高いと評価する。即ち、評価部１０５は、正解率が低いほど、学習モデルＭの精度が低いと評価する。学習モデルＭの精度は、正解率ではなく、先述した種々の指標を利用可能である。

［２－２－２．ユーザ端末において実現される機能］
図１１に示すように、ユーザ端末２０の機能は、第１実施形態と同様である。

［２－３．第２実施形態において実行される処理］
図１２は、第２実施形態において実行される処理の一例を示すフロー図である。図１２に示す処理は、制御部１１が記憶部１２に記憶されたプログラムに従って動作することによって実行される。この処理は、図１２に示す機能ブロックにより実行される処理の一例である。

図１２に示すように、サーバ１０は、ユーザデータベースＤＢ１を参照し、ｎ（ｎは自然数）個の認証済み情報を取得する（Ｓ２００）。Ｓ２００では、サーバ１０は、所持認証フラグが「１」又は「２」のレコードのうち、日時情報が示す日時が直近の所定期間であるレコードに格納されたｎ個の認証済み情報を取得する。サーバ１０は、日時情報が示す日時が直近の所定期間である全ての認証済み情報を取得してもよいし、予め定められた個数の認証済み情報を取得してもよい。

サーバ１０は、Ｓ２００で取得したｎ個の認証済み情報の各々に基づいて、学習モデルＭからのｎ個の出力を取得する（Ｓ２０１）。Ｓ２０１では、サーバ１０は、ｎ個の認証済み情報の各々を学習モデルＭに次々と入力し、個々の認証済み情報に対応する出力を取得する。サーバ１０は、Ｓ２０１で取得したｎ個の出力のうち、正当を示す出力の割合を、学習モデルＭの正解率として計算する（Ｓ２０２）。

サーバ１０は、学習モデルＭの正解率が閾値以上であるか否かを判定する（Ｓ２０３）。学習モデルＭの正解率が閾値以上であると判定された場合（Ｓ２０３；Ｙ）、サーバ１０は、学習モデルＭの作成者に、学習モデルＭの精度が高いことを示す評価結果を通知し（Ｓ２０４）、本処理は終了する。評価結果の通知は、任意の方法によって行われるようにすればよく、例えば、電子メール又は作成者が使用する管理プログラム内の通知を利用すればよい。Ｓ２０４の評価結果が通知された場合には、学習モデルＭの精度が高いので、学習モデルＭの作成者は、学習モデルＭを作り直さない。この場合、現状の学習モデルＭで不正検知が実行される。

Ｓ２０３において、学習モデルＭの正解率が閾値未満であると判定された場合（Ｓ２０３；Ｎ）、サーバ１０は、学習モデルＭの作成者に、学習モデルＭの精度が低いことを示す評価結果を通知し（Ｓ２０５）、本処理は終了する。この場合、学習モデルＭの精度が低いので、学習モデルＭの作成者は、学習モデルＭを作り直す。学習モデルＭは、第１実施形態と同様の方法で作り直されてもよいし、他の方法で作り直されてもよい。新たな学習モデルＭが作成されるまでは、現状の学習モデルＭで不正検知が実行される。新たな学習モデルＭが作成されると、新たな学習モデルＭで不正検知が実行される。

第２実施形態によれば、認証済み情報に基づいて、学習モデルＭからの出力を取得し、認証済み情報に対応する出力に基づいて、学習モデルＭの精度を評価する。認証済みユーザが正当である確率が非常に高いことに着目することによって、学習モデルＭの精度を正確に評価できる。例えば、あるユーザの行動が正当であるか不正であるかを人手で判定しにくいことがある。更に、人手で判定できたとしても時間を要することがある。この点、認証済みユーザが正当であるとみなすことによって、学習モデルＭの精度を迅速に評価できる。学習モデルＭの精度が低下したことを迅速に検知し、最近の傾向に迅速に対応できるので、サービスにおける不正利用を防止し、セキュリティが高まる。本来は正当なはずの対象ユーザの行動が不正と推定されてしまいサービスを利用できなくなる、といった利便性の低下を防止できる。

また、不正検知システムＳは、複数の認証済み情報の各々に対応する出力を取得し、複数の認証済み情報の各々に対応する出力に基づいて、学習モデルＭの精度を評価することによって、学習モデルＭの精度をより正確に評価できる。学習モデルＭの精度が低下したことを、より迅速に検知できる。学習モデルＭの精度が低下したことを迅速に検知し、最近の傾向に迅速に対応できるので、サービスにおける不正利用をより確実に防止し、セキュリティが効果的に高まる。本来は正当なはずの対象ユーザの行動が不正と推定されてしまいサービスを利用できなくなる、といったこともより確実に防止できる。

また、不正検知システムＳは、所持認証を実行した認証済みユーザの認証済み情報を利用して学習モデルＭを評価することによって、正当である確率が非常に高い認証済みユーザの認証済み情報を利用して、学習モデルＭの精度をより正確に評価できる。学習モデルＭの精度が低下したことを迅速に検知し、最近の傾向に迅速に対応できるので、サービスにおける不正利用をより確実に防止し、セキュリティが効果的に高まる。本来は正当なはずの対象ユーザの行動が不正と推定されてしまいサービスを利用できなくなる、といった利便性の低下もより確実に防止できる。

［３．変形例］
なお、本開示は、以上に説明した実施の形態に限定されるものではない。本開示の趣旨を逸脱しない範囲で、適宜変更可能である。

［３－１．第１実施形態に係る変形例］
まず、第１実施形態に係る変形例を説明する。

［変形例１－１］
例えば、不正検知システムＳは、任意のサービスに適用可能である。変形例１－１では、ユーザ端末２０から利用可能な電子決済サービスに不正検知システムＳを適用した場合を例に挙げる。変形例１－１以外の第１実施形態に係る変形例（変形例１－２～変形例１－１０）と、第２実施形態に係る変形例（変形例２－１～２－９）と、も同様に、電子決済サービスを例に挙げる。

電子決済サービスは、所定の決済手段を利用して電子決済を実行するサービスである。ユーザは、種々の決済手段を利用可能である。例えば、決済手段は、クレジットカード、デビットカード、電子マネー、電子キャッシュ、ポイント、銀行口座、ウォレット、又は仮想通貨であってもよい。バーコード又は二次元コード等のコードを利用した電子決済も、コード決済と呼ばれることがあるので、コードが決済手段に相当してもよい。

変形例１－１における認証は、ユーザ端末２０から実行される、電子決済サービスの認証である。認証済み情報は、電子決済サービスにおける認証済みユーザの行動に関する情報である。学習モデルＭは、電子決済サービスにおける不正を検知するためのモデルである。以降、電子決済サービスを、単にサービスと記載する。

変形例１－１の不正検知システムＳは、ユーザのカードを利用したサービスを提供する。カードの一例として、クレジットカードを説明する。カードは、電子決済で利用可能なカードであればよく、クレジットカードに限られない。例えば、カードは、デビットカード、ポイントカード、電子マネーカード、キャッシュカード、交通系カード、又はその他の任意のカードであってよい。カードは、ＩＣカードに限られず、ＩＣチップを含まないカードであってもよい。例えば、カードは、磁気カードであってもよい。

図１３は、変形例１－１の不正検知システムＳの全体構成の一例を示す図である。不正検知システムＳは、図１と同様の全体構成であってもよいが、変形例１－１では、他の全体構成の一例を説明する。図１３に示すように、変形例の不正検知システムＳは、ユーザ端末２０、事業者サーバ３０、及び発行者サーバ４０を含む。不正検知システムＳは、少なくとも１つのコンピュータを含めばよく、図１３の例に限られない。ユーザ端末２０、事業者サーバ３０、及び発行者サーバ４０の各々は、ネットワークＮに接続される。ユーザ端末２０は、第１実施形態及び第２実施形態と同様である。

事業者サーバ３０は、サービスを提供する事業者のサーバコンピュータである。事業者サーバ３０は、制御部３１、記憶部３２、及び通信部３３を含む。制御部３１、記憶部３２、及び通信部３３の物理的構成は、それぞれ制御部１１、記憶部１２、及び通信部１３と同様である。

発行者サーバ４０は、クレジットカードを発行した発行者のサーバコンピュータである。発行者は、事業者と同じであってもよいが、変形例１－１では、発行者が事業者とは異なる場合を説明する。発行者及び事業者は、互いに連携可能なグループ会社であってもよい。発行者サーバ４０は、制御部４１、記憶部４２、及び通信部４３を含む。制御部４１、記憶部４２、及び通信部４３の物理的構成は、それぞれ制御部１１、記憶部１２、及び通信部１３と同様である。

なお、記憶部３２，４２に記憶されるプログラム及びデータの少なくとも一方は、ネットワークＮを介して供給されてもよい。また、事業者サーバ３０及び発行者サーバ４０の少なくとも一方に、コンピュータ読み取り可能な情報記憶媒体を読み取る読取部（例えば、光ディスクドライブやメモリカードスロット）と、外部機器とデータの入出力をするための入出力部（例えば、ＵＳＢポート）と、の少なくとも一方が含まれてもよい。例えば、情報記憶媒体に記憶されたプログラム及びデータの少なくとも一方が、読取部及び入出力部の少なくとも一方を介して供給されてもよい。

変形例１－１では、ユーザ端末２０に、電子決済用のアプリケーション（以降、単にアプリ）がインストールされている。ユーザは、予め利用登録を済ませており、ユーザＩＤ及びパスワードでサービスにログインできるものとする。ユーザは、アプリから任意の決済手段を利用できる。変形例１－１では、ユーザがアプリからクレジットカード及び電子キャッシュを利用する場合を例に挙げる。以降、クレジットカードを、単にカードと記載する。

図１４は、変形例１－１のユーザ端末２０に表示される画面の一例を示す図である。図１４に示すように、ユーザがユーザ端末２０を操作してアプリを起動させると、アプリのトップ画面Ｇ９が表示部２５に表示される。トップ画面Ｇ９には、電子決済用のコードＣ９０が表示される。例えば、店舗のＰＯＳ端末やコードリーダでコードＣ９０が読み取られると、予め設定された支払元の決済手段に基づいて、決済処理が実行される。コードＣ９０を利用した決済処理自体は、公知の方法を利用可能である。

図１４の例では、「カード１」の名前で登録されたカードが支払元として設定されている。この状態でコードＣ９０が読み取られると、このカードを利用した決済処理が実行される。ユーザは、支払元として設定したカードを利用して、アプリの電子キャッシュにチャージすることもできる。電子キャッシュは、オンライン上の電子マネーである。ユーザが支払元を電子キャッシュに変更してコードＣ９０が読み取られると、電子キャッシュを利用した決済処理が実行される。

変形例１－１では、トップ画面Ｇ９から、新たなカードを登録できるようになっている。例えば、ユーザがボタンＢ９１を選択すると、新たなカードを登録するための登録画面Ｇ１０が表示部２５に表示される。ユーザは、入力フォームＦ１００からカード番号、有効期限、及び名義人といったカード情報を入力する。変形例１－１では、カードの登録時の認証として、ＮＦＣ認証、画像認証、及びセキュリティコード認証といった複数の認証方法が用意されている。ユーザは、ボタンＢ１０１～Ｂ１０３を選択し、任意の認証方法を選択できる。なお、クレジットカードの登録時の認証は、他の認証方法であってもよく、例えば、３Ｄセキュアと呼ばれる認証方法が利用されてもよい。

ＮＦＣ認証は、第１実施形態及び第２実施形態と同様であり、カードをＮＦＣ部２３Ａで読み取ることによって実行される。画像認証も、第１実施形態及び第２実施形態と同様であり、カードを撮影部２６で撮影することによって実行される。セキュリティコード認証は、カードの裏面に形成されたセキュリティコードを操作部２４から入力することによって実行される。セキュリティコードは、原則としてカードを所持していないと分からない情報なので、変形例１－１では、ＮＦＣ認証及び画像認証だけではなく、セキュリティコード認証も所持認証の一例として説明する。

図１４では、セキュリティコード認証の流れが示されている。例えば、ユーザがボタンＢ１０３を選択すると、セキュリティコード認証を実行するための認証画面Ｇ１１が表示部２５に表示される。ユーザが、入力フォームＦ１１０にセキュリティコードを入力してボタンＢ１１１を選択すると、ユーザ端末２０は、事業者サーバ３０に、入力フォームＦ１００に入力されたカード情報と、入力フォームＦ１１０に入力されたセキュリティコードと、を送信する。以降、これらカード情報及びセキュリティコードを、それぞれ入力カード情報及び入力セキュリティコードと記載する。

事業者サーバ３０は、ユーザ端末２０から入力カード情報及び入力セキュリティコードを受信すると発行者サーバ４０に転送し、発行者サーバ４０によりセキュリティコード認証が実行される。以降、発行者サーバ４０に予め登録されているカード情報及びセキュリティコードを、それぞれ登録カード情報及び登録セキュリティコードと記載する。入力カード情報及び入力セキュリティコードの組み合わせと同じ登録カード情報及び登録セキュリティコードの組み合わせが発行者サーバ４０に存在する場合に、セキュリティコード認証が成功する。

セキュリティコード認証が実行されると、入力フォームＦ１００から入力カード情報を入力したカードの登録が完了する。ユーザ端末２０には、カードの登録が完了したことを示す完了画面Ｇ１２が表示部２５に表示される。以降、ユーザは、登録が完了したカードを支払元として設定できるようになる。

変形例１－１では、個々のカードに、アプリから利用可能な上限額が設定される。この上限額は、カード自体の上限額（いわゆる利用枠又は限度額）を意味してもよいが、変形例１－１では、カード自体の上限額ではなく、アプリにおける上限額であるものとする。例えば、上限額は、所定期間（例えば、１週間又は１月）にアプリから利用可能な合計額である。上限額は、決済処理の１回あたりの上限額であってもよい。

カードの上限額は、カードの登録時に実行された所持認証の認証方法によって異なる。カードの登録時に実行された所持認証のセキュリティが高いほど、このカードの上限額が高くなる。例えば、セキュリティコードは、フィッシング等によって流出することがあるので、セキュリティコード認証は、セキュリティが最も低いものとする。一方、ＮＦＣ認証又は画像認証は、原則として、物理的なカードを所持していなければ成功させることができないので、セキュリティコード認証よりもセキュリティが高いものとする。

図１４の例では、セキュリティが最も低いセキュリティコード認証が実行されたので、上限額は、最も低い３万円となっている。例えば、ユーザがカードの登録時にボタンＢ１０１又はボタンＢ１０２を選択してＮＦＣ認証又は画像認証を実行すれば、上限額は、３万円よりも高い１０万円になる。ユーザは、カードの登録後に、セキュリティが高い認証方法の所持認証を実行し、上限額を増やすこともできる。

図１５は、カードの登録後に上限額を増やす流れの一例を示す図である。図１４のトップ画面Ｇ９のボタンＢ９２が選択されると、図１５に示すように、所持認証を実行するカードを選択するための選択画面Ｇ１３が表示部２５に表示される。選択画面Ｇ１３には、登録済みのカードのリストＬ１３０が表示される。ユーザは、リストＬ１３０の中から所持認証を実行するカードを選択する。

ユーザは、任意の認証方法を選択できる。例えば、ユーザがセキュリティコード認証を実行したカードを選択すると、ユーザは、セキュリティコード認証よりもセキュリティの高いＮＦＣ認証又は画像認証を選択できる。ユーザがボタンＢ１３１を選択すると、読取画面Ｇ６と同様の読取画面Ｇ１４が表示部２５に表示される。読取画面Ｇ１４が表示されると、ユーザは、自身が所持するカードにユーザ端末２０を近づける。

図１６は、カードのＩＣチップをＮＦＣ部２３Ａで読み取る様子の一例を示す図である。図１６では、電子マネー機能付きのカードＣ２を例に挙げる。カードＣ２の電子マネーは、アプリから利用可能であってもよいが、変形例１－１では、カードＣ２の電子マネーは、アプリから利用できないものとする。即ち、カードＣ２の電子マネーは、アプリから利用可能な電子キャッシュとは異なる。カードＣ２の電子マネーは、所持認証で利用される。即ち、変形例１－１では、アプリで提供されるサービスとは直接的に関係のない他のサービスにおける電子マネーを利用して、所持認証が実行される。

ＩＣチップｃｐには、電子マネーを識別可能な電子マネーＩＤが記録されている。図１６に示すように、ユーザがカードＣ２のＩＣチップｃｐにユーザ端末２０を近づけると、ＮＦＣ部２３Ａは、ＩＣチップｃｐに記録された情報を読み取る。ＮＦＣ部２３Ａは、ＩＣチップｃｐ内の任意の情報を読み取り可能である。変形例１－１では、ＮＦＣ部２３Ａが、ＩＣチップｃｐに記録された電子マネーＩＤを読み取る場合を説明する。

ユーザ端末２０は、事業者サーバ３０に、ＩＣチップｃｐから読み取った電子マネーＩＤを送信する。この電子マネーＩＤは、ユーザ端末２０から事業者サーバ３０に入力されるので、以降では、この電子マネーＩＤを入力電子マネーＩＤと記載する。発行者サーバ４０には、正解となる電子マネーＩＤが登録されている。以降、この電子マネーＩＤを登録電子マネーＩＤと記載する。なお、入力電子マネーＩＤと登録電子マネーＩＤを特に区別しないときは、単に電子マネーＩＤと記載することがある。

事業者サーバ３０は、発行者サーバ４０に、ユーザ端末２０から受信した入力電子マネーＩＤを転送する。その際に、ユーザがリストＬ１３０から選択したカードＣ２の入力カード情報も送信されるものとする。ユーザがカードＣ２の正当な持ち主であれば、入力カード情報及び入力電子マネーＩＤの組み合わせと同じ登録カード情報及び登録電子マネーＩＤの組み合わせが発行者サーバ４０に登録されている。

入力カード情報及び入力電子マネーＩＤの組み合わせと同じ登録カード情報及び登録電子マネーＩＤの組み合わせが発行者サーバ４０に登録されている場合、所持認証が成功する。この場合、所持認証が成功したことを示す成功画面Ｇ１５が表示部２５に表示される。成功画面Ｇ１５のように、ＮＦＣ認証が実行されると、カードＣ２（図１５の例では「カード２」）の上限額が３万円から１０万円に増える。

変形例１－１では、ＮＦＣ認証が実行されたカードＣ２とは異なる他のカード（図１５の例では「カード１」）の上限額も３万円から１０万円に増えるものとするが、他のカードの上限額は増えなくてもよい。なお、ＮＦＣ認証が実行されたカードＣ２と同じユーザＩＤに関連付けられていたとしても、名義人が異なれば、第三者が勝手に登録した可能性があるので、上限額は増えないものとする。入力カード情報及び入力電子マネーＩＤの組み合わせと同じ登録カード情報及び登録電子マネーＩＤの組み合わせが発行者サーバ４０に登録されていない場合、所持認証が失敗する。この場合、図３の失敗画面Ｇ８と同様の失敗画面Ｇ１６が表示部２５に表示される。

画像認証も同様の流れで実行される。ＮＦＣ認証ではＮＦＣ部２３Ａを利用して入力電子マネーＩＤが取得されるのに対し、画像認証では、カードＣ２が撮影された撮影画像を利用して入力電子マネーＩＤが取得される。例えば、ユーザが選択画面Ｇ１３のボタンＢ１３２を選択すると、撮影部２６が起動する。撮影部２６は、カードＣ２を撮影する。図１６のカードＣ２の例では、裏面に入力電子マネーＩＤが形成されているものとするが、表面に入力電子マネーＩＤが形成されていてもよい。

ユーザがカードＣ２の裏面を撮影すると、ユーザ端末２０は、事業者サーバ３０に、撮影画像を送信する。事業者サーバ３０は、撮影画像を受信すると、撮影画像に光学文字認識を実行して入力カード情報を取得する。入力カード情報が取得された後の流れは、ＮＦＣ認証と同様である。光学文字認識は、ユーザ端末２０で実行されてもよい。第１実施形態の入力個人番号と同様、入力電子マネーＩＤは、バーコード又は二次元コード等のコードに含まれていてもよい。

なお、所持認証で利用される情報は、入力電子マネーＩＤに限られない。例えば、カードＣ２がポイントカードの機能も有している場合には、ポイントを識別可能なポイントＩＤが所持認証で利用されてもよい。ポイントＩＤは、カードＣ２に含まれているものとする。他にも例えば、カードＣ２のカード番号や有効期限が所持認証で利用されてもよい。変形例１－１では、カードＣ２に含まれる何らかの情報又はこの情報に関連付けられた情報が所持認証で利用されるようにすればよく、カードＣ２のデザインや発行日等が所持認証で利用されてもよい。

図１７は、第１実施形態に係る変形例における機能ブロック図である。図１７では、変形例１－１以降の変形例１－２～１－１０における機能についても示している。図１７に示すように、ここでは、事業者サーバ３０により主な機能が実現される場合を説明する。事業者サーバ３０では、データ記憶部３００、認証済み情報取得部３０１、作成部３０２、不正検知部３０３、比較部３０４、未認証情報取得部３０５、及び確定情報取得部３０６が実現される。データ記憶部３００は、記憶部３２を主として実現される。他の各機能は、制御部３１を主として実現される。

データ記憶部３００は、データ記憶部３００は、ユーザデータベースＤＢ１、訓練データベースＤＢ２、及び学習モデルＭを記憶する。これらのデータは、概ね第１実施形態と同様であるが、ユーザデータベースＤＢ１の具体的な内容が第１実施形態とは異なる。

図１８は、ユーザデータベースＤＢ１のデータ格納例を示す図である。図１８に示すように、ユーザデータベースＤＢ１は、利用登録が完了したユーザに関する情報が格納されたデータベースである。例えば、ユーザデータベースＤＢ１には、ユーザＩＤ、パスワード、氏名、支払元の決済手段、登録カード情報、電子キャッシュ情報、場所情報、日時情報、及び利用情報が格納される。例えば、ユーザが利用登録をすると、ユーザＩＤが発行され、ユーザデータベースＤＢ１に新たなレコードが作成される。このレコードには、利用登録時に指定されたパスワード及び氏名とともに、登録カード情報及び電子キャッシュ情報が格納される。

登録カード情報は、ユーザが登録したカードＣ２に関する情報である。例えば、登録カード情報は、個々のユーザの中でカードを識別するための連番の数値、カード番号、有効期限、名義人、所持認証フラグ、及び利用設定を含む。先述したように、変形例１－１の利用設定は、アプリから利用可能なカードＣ２の上限額の設定である。ユーザが新たなカードＣ２を登録すると、このカードＣ２に対応する登録カード情報が追加される。

電子キャッシュ情報は、アプリから利用可能な電子キャッシュに関する情報である。例えば、電子キャッシュ情報は、電子キャッシュを識別可能な電子キャッシュＩＤと、電子キャッシュの残高と、を含む。電子キャッシュは、ユーザが登録したカードＣ２でチャージ可能であってもよい。この場合のチャージの上限額の設定が利用設定に相当してもよい。なお、ユーザデータベースＤＢ１に格納される情報は、図１８の例に限られない。

場所情報、日時情報、及び利用情報の組み合わせが認証済み情報に相当する点は、第１実施形態と同様である。変形例では、場所情報は、決済処理が実行された場所を示す。この場所は、店舗や自動販売機等が配置された場所である。日時情報は、決済処理が実行された日時である。利用情報は、利用額、購入された商品、利用した決済手段（決済処理の実行時に設定されていた支払元の決済手段）等の情報である。図１８のデータ格納例では、ユーザＩＤ及び端末ＩＤの組み合わせごとに、場所情報、日時情報、及び利用情報が格納されるが、場所情報、日時情報、及び利用情報は、ユーザＩＤごとやカードＣ２ごとに格納されてもよい。

認証済み情報取得部３０１、作成部３０２、及び不正検知部３０３は、それぞれ認証済み情報取得部１０１、作成部１０２、及び不正検知部１０３と同様である。変形例１－１における学習モデルＭは、不正な決済処理を検知するためのモデルである。作成部３０２は、認証済みユーザが決済処理を実行した店舗等の場所情報、決済処理を実行した日時情報、及び決済額等の利用情報を入力した場合に、正当であることを示す情報が出力されるように、学習モデルＭを作成する。

不正検知部１０３は、対象ユーザが決済処理を実行した店舗等の場所情報、決済処理を実行した日時情報、及び決済額等の利用情報に基づいて、学習モデルＭからの出力を取得し、当該出力が不正を示すか否かを判定することによって、不正を検知する。例えば、変形例１－１における不正は、第三者による不正なログインによる決済手段の利用行為、第三者が不正に入手したカード番号を自身のユーザＩＤに登録して店舗における決済処理を実行する行為、又は第三者が不正に入手したカード番号を利用して自身の電子マネー若しくは電子キャッシュにチャージする行為等である。第三者が不正にログインして支払元を変更する行為、登録カード情報を勝手に登録する行為、又はその他の設定や登録情報を変更する行為は、不正に相当する。

変形例１－１によれば、決済における不正を検知するための学習モデルＭの作成を簡易化できる。

［変形例１－２］
例えば、変形例１－１のようなサービスでは、認証済みユーザは、所定のカードＣ２である第１カードＣ２と、第２カードＣ３と、の各々を利用可能であってもよい。変形例１－２では、第１カードＣ２は、所持認証が実行されるカードである場合を説明するが、第１カードＣ２の認証方法は、所持認証に限られない。第１カードＣ２の認証方法は、任意の認証方法であってよく、例えば、知識認証又は生体認証であってもよい。３Ｄセキュアは、知識認証の一例である。他の認証方法の例は、第１実施形態で説明した通りである。第１カードＣ２は、先述の所定の認証が実行されるカードであればよい。

変形例１－２では、第１カードＣ２と区別するために、第２カードにＣ３の符号を付すが、第２カードＣ３は、図面には示していない。第１カードＣ２に関連付けられた第２カードＣ３とは、第１カードＣ２と同じユーザＩＤに関連付けられた第２カードＣ３である。ユーザＩＤを介するのではなく、第１カードＣ２と第２カードＣ３が直接的に関連付けられてもよい。

第２カードＣ３は、所持認証が実行されていないカードである。第２カードＣ３は、所持認証を実行可能ではあるが、単に所持認証が実行されていないカードであってもよい。第２カードＣ３が所持認証を実行可能なカードである場合には、第２カードＣ３が第１カードＣ２に相当することもある。変形例１－２では、第２カードＣ３は、ＮＦＣ認証又は画像認証に対応していないカードである。例えば、第２カードＣ３は、ＮＦＣ認証又は画像認証で利用される入力電子マネーＩＤを含まない。

例えば、第２カードＣ３がＩＣチップを含んでいたとしても、このＩＣチップには、入力電子マネーＩＤは含まない。このＩＣチップに、何らかの電子マネーＩＤが含まれていたとしても、ＮＦＣ認証又は画像認証では利用されない他の電子マネーの電子マネーＩＤである。同様に、第２カードＣ３に何らかの電子マネーＩＤが形成されていたとしても、ＮＦＣ認証又は画像認証では利用されない他の電子マネーの電子マネーＩＤである。

認証済み情報取得部１０１は、第１カードＣ２に対応する認証済み情報を取得する。この認証済み情報は、所持認証フラグが「１」又は「２」である第１カードＣ２の認証済み情報である。認証済み情報取得部１０１は、ユーザデータベースＤＢ１を参照し、利用情報が示す決済手段が第１カードＣ２であると共に、所持認証フラグが「１」又は「２」であるレコードを特定し、このレコードに格納された場所情報、日時情報、及び利用情報を、認証済み情報として取得する。

作成部３０２は、第１カードＣ２に対応する認証済み情報に基づいて、学習モデルＭを作成する。作成部３０２は、第２カードＣ３に対応する場所情報、日時情報、及び利用情報は、学習モデルＭの作成で利用しなくてもよい。認証済み情報に基づいて学習モデルＭを作成する方法自体は、第１実施形態で説明した通りである。

変形例１－２によれば、第１カードＣ２に対応する認証済み情報に基づいて、学習モデルＭを作成する。正当である確率が非常に高い第１カードＣ２に対応する認証済み情報に着目することによって、第１実施形態で説明した学習モデルＭの作成を簡易化、学習モデルＭの迅速な作成、サービスにおける不正利用の防止、セキュリティの向上、及び利便性の低下の防止を効果的に実現できる。

［変形例１－３］
例えば、第２カードＣ３の所持認証が実行されていなくても、所持認証が実行された第１カードＣ２と同じ名義人であれば、第２カードＣ３を利用した行動も正当である確率が非常に高い。このため、名義人が同じことを条件として、第２カードＣ３の場所情報、日時情報、及び利用情報を、認証済み情報として利用してもよい。

不正検知システムＳは、第１カードＣ２の名義に関する第１名義情報と、第２カードＣ３の名義に関する第２名義情報と、を比較する比較部３０４を更に含む。第１名義情報は、第１カードＣ２の名義に関する情報である。第２名義情報は、第２カードＣ３の名義に関する情報である。変形例１－３では、第１名義情報が第１カードＣ２の名義人である第１名義人を示し、第２名義情報が第２カードＣ３の名義人である第２名義人を示す場合を説明する。

第１名義人は、第１カードＣ２の名義人の名前を示す文字列である。第２名義人は、第２カードＣ３の名義人の名前を示す文字列である。名義人は、任意の言語の文字列で表現可能である。なお、第１名義情報及び第２名義情報の各々は、名義人以外の情報であってもよい。例えば、第１名義情報及び第２名義情報の各々は、名義人の住所、電話番号、生年月日、性別、メールアドレス、又はこれらの組み合わせであってもよいし、他の個人情報であってもよい。

変形例１－３では、比較部３０４が事業者サーバ３０により実現される場合を説明するが、比較部３０４は、発行者サーバ４０により実現されてもよい。例えば、ユーザデータベースＤＢ１に格納されていない情報を第１名義情報及び第２名義情報として利用する場合には、第１名義情報及び第２名義情報の比較は、発行者サーバ４０により実行されてもよい。ここでの比較とは、一致しているか否かを判定することである。

変形例１－３では、データ記憶部３００は、種々のカードに関する情報が格納されたデータベースを記憶するものとする。このデータベースには、種々のカードの名義情報が格納されているものとする。第１名義情報及び第２名義情報は、このデータベースから取得される。事業者サーバ３０でこのデータベースを管理しない場合には、事業者サーバ３０は、発行者サーバ４０に第１名義情報及び第２名義情報の比較を依頼し、発行者サーバ４０から比較結果のみを取得すればよい。例えば、比較部３０４は、第１名義人と、第２名義人と、を比較する。比較部３０４は、ユーザデータベースＤＢ１を参照し、第１名義人及び第２名義人を取得し、これらの比較結果を認証済み情報取得部１０１に送る。第１名義情報及び第２名義情報が他の情報であってもよい点は、先述した通りである。

認証済み情報取得部１０１は、比較部３０４の比較結果が所定の結果である場合に、第２カードＣ３に対応する認証済み情報を取得する。変形例１－３では、第１名義人及び第２名義人が一致することが所定の結果に相当する場合を説明するが、先述した他の情報が一致することが所定の結果に相当してもよい。第１名義情報及び第２名義情報の各々に複数の情報が含まれる場合には、所定数以上の情報が一致することが所定の結果に相当してもよい。例えば、第１名義情報及び第２名義情報の各々に、名義人、住所、電話番号、及び生年月日といった４つの情報が含まれる場合に、２つ以上の情報が一致することが所定の結果に相当してもよい。なお、ここでの一致とは、完全一致ではなく、部分一致であってもよい。

図１８の例であれば、ユーザＩＤ「ｔａｒｏ．ｙａｍａｄａ１２３」の第１カードＣ２（Ｎｏ．２のカード）の第１名義人と、第２カードＣ３（Ｎｏ．１のカード）の第２名義人と、は両方とも「ＴＡＲＯ ＹＡＭＡＤＡ」で同じである。このため、第１カードＣ２の所持認証が実行されると、第２カードＣ３も学習モデルＭの学習で利用される。

一方、ユーザＩＤ「ｈａｎａｋｏ．ｓｕｚｕｋｉ９９９」の第１カードＣ２（Ｎｏ．１のカード）の第１名義人と、ある第２カードＣ３（Ｎｏ．２のカード）の第２名義人と、は両方とも「ＨＡＮＡＫＯ ＳＵＺＵＫＩ」で同じである。このため、第１カードＣ２の所持認証が実行されると、この第２カードＣ３も学習モデルＭの学習で利用される。ただし、他の第２カードＣ３（Ｎｏ．３のカード）の第２名義人は、「ＭＩＫＩ ＯＫＡＭＯＴＯ」であり、第１名義人とは異なる。このため、当該他の第２カードＣ３は、第三者が勝手に登録した可能性があり、当該他の第２カードＣ３を利用した行動は、正当ではないかもしれないので、学習モデルＭの学習で利用されない。

作成部３０２は、比較部３０４の比較結果が所定の結果である場合に、第１カードＣ２に対応する認証済み情報と、第２カードＣ３に対応する認証済み情報と、に基づいて、学習モデルＭを作成する。第２カードＣ３は、所持認証が実行されていないため、第２カードＣ３の場所情報、日時情報、及び利用情報は、厳密には認証済み情報には該当しないが、第１カードＣ２に対応する認証済み情報と同等に扱うので、ここでは、第２カードＣ３に対応する認証済み情報と記載する。第２カードＣ３に対応する認証済み情報が学習で用いられる点が第１実施形態及び変形例１－１と異なるだけであり、学習モデルＭの学習方法自体は、第１実施形態及び変形例１－１と同様である。作成部３０２は、第１カードＣ２に対応する認証済み情報と、第２カードＣ３に対応する認証済み情報と、の各々を学習モデルＭに入力した場合に、正当と推定されるように、学習モデルＭを作成する。

変形例１－３によれば、第１カードＣ２の名義に関する第１名義情報と、第２カードＣ３の名義に関する第２名義情報と、の比較結果が所定の結果である場合に、第１カードＣ２に対応する認証済み情報と、第２カードＣ３に対応する認証済み情報と、に基づいて、学習モデルＭを作成することによって、より多くの認証済み情報を学習させて学習モデルＭの精度がより高まる。その結果、サービスにおける不正利用の防止、セキュリティの向上、及び利便性の低下の防止を効果的に実現できる。

［変形例１－４］
例えば、変形例１－３で説明した第２カードＣ３は、所持認証に対応していないカードであってもよい。第２カードＣ３に対応する認証済み情報は、所持認証が実行されていない第２カードＣ３を利用した認証済みユーザの行動に関する情報であってもよい。所持認証に対応していないカードは、所持認証を実行できないカードである。例えば、ＩＣチップを含んでいないカードは、ＮＦＣ認証に対応しない。例えば、券面に入力電子マネーＩＤが形成されていないカードは、画像認証に対応しない。例えば、所持認証で利用される入力電子マネーＩＤを含まないカードは、所持認証に対応していないカードである。

変形例１－４によれば、第２カードＣ３が所持認証に対応していないカードであったとしても、第２カードＣ３に対応する認証済み情報に基づいて、学習モデルＭを作成することによって、学習モデルＭの精度がより高まる。

［変形例１－５］
例えば、所持認証を実行していない未認証ユーザの行動を利用して学習モデルＭの学習が行われてもよい。不正検知システムＳは、認証を実行していない未認証ユーザの行動に関する未認証情報を取得する未認証情報取得部３０５を更に含む。未認証ユーザは、所持認証フラグが「１」又は「２」ではないユーザである。即ち、未認証ユーザは、所持認証フラグの少なくとも一部が「０」のユーザである。未認証情報取得部３０５は、ユーザデータベースＤＢ１を参照し、未認証ユーザの未認証情報を取得する。未認証情報は、未認証ユーザの場所情報、日時情報、及び利用情報の組み合わせである。未認証情報が任意の情報であってよく、これらの組み合わせに限られない点は、認証済み情報と同様である。

作成部３０２は、未認証情報に基づいて、未認証ユーザの行動が正当又は不正であることを示す訓練データを作成し、この訓練データに基づいて、学習モデルＭを学習させる。以降、認証済みユーザを利用して作成された訓練データを第１訓練データと記載し、未認証ユーザを利用して作成された訓練データを第２訓練データと記載する。第１訓練データ及び第２訓練データのデータ構造自体は、共に同じであり、第１実施形態で説明した通りである。

なお、第１訓練データの出力部分は、原則として必ず正当を示すのに対し、第２訓練データの出力部分は、正当を示すとは限らない。例えば、第２訓練データの出力部分は、学習モデルＭの作成者により指定される。学習モデルＭの作成者により不正と判定された未認証ユーザについては、第２訓練データの出力部分は、不正を示す。第１訓練データ及び第２訓練データのデータ構造自体は、共に同じなので、第１訓練データ及び第２訓練データの各々に基づいて学習モデルＭを作成する方法自体は、第１実施形態で説明した通りである。

変形例１－５によれば、未認証情報に基づいて、未認証ユーザの行動が正当又は不正であることを示す第２訓練データを作成し、第２訓練データに基づいて、学習モデルＭを学習させることによって、より多くの情報を利用して学習モデルＭの精度がより高まる。

［変形例１－６］
例えば、変形例１－５において、作成部３０２は、未認証情報に基づいて、学習済みの学習モデルＭからの出力を取得し、当該出力に基づいて、第２訓練データを作成してもよい。例えば、作成部３０２は、未認証情報に対応する学習モデルＭの出力を、学習モデルＭの作成者に提示する。学習モデルＭの作成者は、この出力が正しいか否かをチェックする。作成者は、必要に応じてこの出力を修正する。

例えば、未認証ユーザが本来は正当と思われるが、学習モデルＭからの出力が不正を示す場合に、作成者は、この出力を正当に修正する。逆に、未認証ユーザが本来は不正と思われるが、学習モデルＭからの出力が正当を示す場合に、作成者は、この出力を不正に修正する。作成部３０２は、未認証ユーザの修正結果に基づいて、第２訓練データを作成する。作成部３０２は、未認証ユーザが出力を修正しなかった場合には、学習モデルＭからの出力に基づいて、第２訓練データを作成する。第２訓練データを利用して学習モデルＭを作成する方法自体は、変形例１－５で説明した通りである。

変形例１－６によれば、未認証情報に基づいて、学習済みの学習モデルＭからの出力を取得し、当該出力に基づいて、第２訓練データを作成することによって、より多くの情報を利用して学習モデルＭの精度がより高まる。

［変形例１－７］
例えば、変形例１－５において、ある未認証ユーザがサービスを継続して利用している間に、この未認証ユーザが不正であるか正当であるかが徐々に分かってくることがある。このため、作成部３０２は、未認証情報に対応する出力が取得された後の未認証情報に基づいて、当該出力の内容を変更し、当該変更された出力の内容に基づいて、第２訓練データを作成してもよい。

変形例１－７の学習モデルＭは、サービスにおける不正に関するスコアを出力するものとする。変形例１－７では、スコアが正当の度合いを示す場合を説明するが、スコアは不正の度合いを示してもよい。スコアが正当の度合いを示す場合、スコアは、正当に分類される蓋然性を示す。スコアが不正の度合いを示す場合、スコアは、不正に分類される蓋然性を示す。学習モデルＭがスコアを計算する方法自体は、公知の種々の方法を利用可能である。作成部３０２は、未認証ユーザの未認証行動に基づいて、学習モデルＭからのスコアを取得する。作成部３０２は、その後の未認証ユーザの行動に基づいて、このスコアを変更する。スコアの変更方法は、予めデータ記憶部１００に定められているものとする。

例えば、不正に分類される行動と、この行動が行われた場合のスコアの変更量（本変形例では、スコアが正当の度合いを示すので減少量）と、の関係が定められている。同様に、正当に分類される行動と、この行動が行われた場合のスコアの変更量（本変形例では、スコアが正当の度合いを示すので増加量）と、の関係が定められている。作成部３０２は、未認証ユーザが不正の疑いのある行動をした場合、不正の度合いが強くなるように、この行動に応じた変更量に基づいて、スコアを変更する。作成部３０２は、未認証ユーザが正当の疑いのある行動をした場合、不正の度合いが弱くなるように、この行動に応じた変更量に基づいて、スコアを変更する。

なお、学習モデルＭがスコアを出力するのではなく、不正であるか否かの分類結果を出力する場合には、作成部３０２は、この分類結果を変更してもよい。例えば、学習モデルＭの出力が、不正であることを示す「１」、又は、正当であることを示す「０」だったとする。作成部３０２は、未認証情報に対応する出力が「１」であり、未認証ユーザが不正に分類された場合に、その後の未認証ユーザが正当の確率が高い行動を継続して行った場合には、この出力を「０」に変更したうえで、第２訓練データを作成してもよい。作成部３０２は、未認証情報に対応する出力が「０」であり、未認証ユーザが正当に分類された場合に、その後の未認証ユーザが不正の確率が高い行動を継続して行った場合には、この出力を「１」に変更したうえで、第２訓練データを作成してもよい。

変形例１－７によれば、未認証情報に対応する出力が取得された後の未認証情報に基づいて、当該出力の内容を変更し、当該変更された出力の内容に基づいて、第２訓練データを作成することによって、学習モデルＭの精度がより高まる。

［変形例１－８］
例えば、変形例１－７において、未認証情報に対応するスコアは、認証済み情報に対応するスコアよりも不正を示すように、上限値が設定されてもよい。作成部３０２は、学習モデルＭから出力された認証済み情報のスコアに基づいて、未認証情報に対応するスコアの上限値を決定する。例えば、作成部３０２は、認証済み情報のスコアの平均値を、未認証情報に対応するスコアの上限値として決定する。他にも例えば、作成部３０２は、認証済み情報のスコアのうちの最も低い値、又は、所定番目に低い値を、未認証情報に対応するスコアの上限値として決定する。

学習モデルＭは、上限値に基づいて、未認証情報に対応するスコアを出力する。学習モデルＭは、上限値を超えないように、未認証情報に対応するスコアを出力する。例えば、学習モデルＭの内部的に計算されたスコアが上限値を超えたとしても、学習モデルＭは、出力されるスコアが上限値以下になるように、スコアを出力する。上限値は、未認証情報を学習モデルＭに入力することによって得られたスコアの平均値等であってもよい。未認証情報に対応するスコアを利用して学習モデルＭを作成する方法自体は、変形例１－７で説明した通りである。

変形例１－８によれば、認証済み情報に対応するスコアよりも不正を示すように設定された上限値に基づいて、未認証情報に対応するスコアを出力することによって、学習モデルＭの精度がより高まる。

［変形例１－９］
例えば、所定の時間が経過して不正であるか否かが確定した確定ユーザの行動も利用して、学習モデルＭを作成してもよい。不正検知システムＳは、不正であるか否かが確定した確定ユーザの行動に関する確定情報を取得する確定情報取得部３０６を更に含む。確定情報は、確定ユーザの行動に関する情報であるという点で認証済み情報とは異なるが、データ構造自体は、認証済み情報と同様である。このため、確定情報は、ユーザデータベースＤＢ１に格納された確定ユーザの場所情報、日時情報、及び利用情報を含む。確定情報に含まれる内容がこれらに限られない点も認証済み情報と同様である。不正であるか否かは、学習モデルＭの作成者により指定されてもよいし、所定のルールに基づいて決定されてもよい。

作成部３０２は、認証済み情報及び確定情報に基づいて、学習モデルＭを作成する。確定情報が利用される点で第１実施形態及び他の変形例と異なるだけであり、学習モデルＭの作成方法自体は、第１実施形態及び他の変形例と同様である。即ち、作成部３０２は、認証済み情報が入力された場合に、正当との結果が出力されるように、かつ、確定情報の各々が入力された場合に、確定情報に関連付けられた結果（不正であるか正当であるかの結果）が出力されるように、学習モデルＭを作成する。

変形例１－９によれば、認証済み情報と、確定ユーザの確定情報と、に基づいて、学習モデルＭを作成することによって、より多くの情報を利用して学習させ、学習モデルＭの精度がより高まる。

［変形例１－１０］
例えば、学習モデルＭは、教師無し学習のモデルであってもよい。作成部３０２は、認証済み情報に基づいて、サービスにおける不正な行動が外れ値となるように、学習モデルＭを作成する。例えば、作成部３０２は、複数の認証済み情報の各々が入力された場合に、これら認証済み情報が同じクラスタにクラスタリングされるように、教師無し学習の学習モデルＭを作成する。この学習モデルＭでは、認証済み情報が示す特徴とは異なる不正な行動に関する情報が入力されると、外れ値として出力される。即ち、不正な行動は、認証済み情報のクラスタに属さないものとして出力される。教師無し学習自体は、種々の方法を利用可能であり、例えば、上記のクラスタリングの方法以外にも、主成分分析、ベクトル量子化、非負値行列因子分解、ｋ－ｍｅａｎｓ法、又は混合ガウスモデル等の方法を利用可能である。不正検知部３０３は、対象ユーザの対象情報に基づいて、学習モデルＭの出力を取得し、出力が外れ値であれば不正と判定する。不正検知部３０３は、出力が外れ値でなければ、正当と判定する。

変形例１－１０によれば、認証済み情報に基づいて、サービスにおける不正な行動が外れ値となるように、教師無し学習を利用した学習モデルＭを作成することによって、教師無し学習を利用した学習モデルＭの作成を簡易化できる。また、学習モデルＭの作成の一連の処理を自動化し、学習モデルＭを迅速に作成できる。不正検知システムＳに、最新の傾向を学習させた学習モデルＭを迅速に適用し、精度良く不正を検知できる。その結果、サービスにおける不正利用を防止し、セキュリティが高まる。本来は正当なはずの対象ユーザの行動が不正と推定されてしまいサービスを利用できなくなる、といった利便性の低下も防止できる。

［３－２．第２実施形態に係る変形例］
次に、第２実施形態に係る変形例を説明する。

［変形例２－１］
例えば、第２実施形態の不正検知システムＳも、第１実施形態の変形例１－１～変形例１－１０で説明したような電子決済サービスに適用可能である。

図１９は、第２実施形態に係る変形例における機能ブロック図である。図１９では、変形例２－１以降の変形例２－２～２－９における機能についても示している。図１９に示すように、ここでは、事業者サーバ３０により主な機能が実現される場合を説明する。事業者サーバ３０では、データ記憶部３００、認証済み情報取得部３０１、作成部３０２、不正検知部３０３、比較部３０４、未認証情報取得部３０５、確定情報取得部３０６、出力取得部３０７、評価部３０８、及び処理実行部３０９を含む。出力取得部３０７、評価部３０８、及び処理実行部３０９の各々は、制御部３１を主として実現される。

データ記憶部３００、変形例１－１と同様である。認証済み情報取得部３０１、不正検知部３０３、及び評価部３０８は、第２実施形態で説明した認証済み情報取得部３０１、不正検知部３０３、及び評価部３０８と同様である。認証済み情報取得部３０１及び不正検知部３０３は、変形例１－１の認証済み情報取得部３０１及び不正検知部３０３とも共通した機能を有する。評価部３０８は、変形例１－１で説明したような第三者による不正なログインによる決済手段の利用等の不正を検知するための学習モデルＭの正解率等を利用して、学習モデルＭの精度を評価する。この評価の指標が正解率に限られないことは、第２実施形態で説明した通りである。

変形例２－１によれば、電子決済サービスにおける不正を検知するための学習モデルＭの不正検知の精度を正確に評価できる。

［変形例２－２］
例えば、不正検知システムＳは、学習モデルＭの精度が所定の精度未満になった場合に、サービスにおける最近の行動を利用して学習モデルＭを作成するための処理を実行する処理実行部３０９を含んでもよい。この処理は、学習モデルＭの作成者に学習モデルＭを作成し直すように通知する処理であってもよいし、第１実施形態と同様の方法によって、学習モデルＭを作成し直す処理であってもよい。第２実施形態で説明した通り、通知は、電子メール等の任意の手段を利用可能である。学習モデルＭを作成し直す処理は、最近の認証済み情報を利用して、第１実施形態のように学習モデルＭを作成する処理であっておよいし、特に第１実施形態のような学習モデルＭの作成ではない方法が利用されてもよい。更に、学習モデルＭは、不正検知システムＳ以外のシステムで作成されてもよい。

変形例２－２によれば、学習モデルＭの精度が所定の精度未満になった場合に、サービスにおける最近の行動を利用して学習モデルＭを作成するための処理を実行することによって、学習モデルＭの不正検知の精度が低下した場合に対処できる。不正検知システムＳに、最新の傾向を学習させた学習モデルＭを迅速に適用し、精度良く不正を検知できる。その結果、サービスにおける不正利用を防止し、セキュリティが高まる。本来は正当なはずの対象ユーザの行動が不正と推定されてしまいサービスを利用できなくなる、といった利便性の低下も防止できる。

［変形例２－３］
例えば、評価部３０８は、認証済み情報及び確定情報に基づいて、学習モデルＭの精度を評価してもよい。変形例２－３の不正検知システムＳは、変形例１－９と同様の確定情報取得部３０６を含むものとする。確定情報が学習モデルＭの精度の評価で利用される点で第２実施形態とは異なるが、学習モデルＭの評価方法自体は、第２実施形態で説明した通りである。例えば、評価部３０８は、認証済み情報だけでなく、確定情報も利用して、正解率を計算する。評価部３０８は、確定情報を学習モデルＭに入力することによって得られた出力が、確定情報に対応する出力（例えば、学習モデルＭの作成者が指定した不正であるか否かの結果）を示すか否かを判定し、正解率を計算する。正解率以外の任意の指標が利用可能である点は、第２実施形態で説明した通りである。

変形例２－３によれば、認証済み情報及び確定情報に基づいて、学習モデルＭの精度を評価することによって、より多くの情報を利用して学習モデルＭの精度をより正確に評価できる。

［変形例２－４］
例えば、変形例１－２と同様に、第１カードＣ２及び第２カードＣ３の各々を利用可能である場合に、出力取得部３０７は、第１カードＣ２に対応する認証済み情報に基づいて、第１カードＣ２に対応する出力を取得してもよい。評価部３０８は、第１カードＣ２に対応する出力に基づいて、学習モデルＭの精度を評価する。学習モデルＭの出力に基づいて学習モデルＭの精度を評価する方法自体は、第２実施形態で説明した通りである。

変形例２－４によれば、第１カードＣ２に対応する出力に基づいて、学習モデルＭの精度を評価する。正当である確率が非常に高い第１カードＣ２に対応する認証済み情報に着目することによって、第２実施形態で説明した学習モデルＭの正確な評価、最近の傾向への迅速な対応、サービスにおける不正利用の防止、セキュリティの向上、及び利便性の低下の防止を効果的に実現できる。

［変形例２－５］
例えば、不正検知システムＳが変形例１－３と同様の比較部３０４を含む場合に、出力取得部３０７は、第２カードＣ３に対応する認証済み情報に基づいて、第２カードＣ３に対応する出力を取得してもよい。評価部３０８は、第１カードＣ２に対応する出力と、第２カードＣ３に対応する出力と、に基づいて、学習モデルＭの精度を評価する。学習モデルＭの出力に基づいて学習モデルＭの精度を評価する方法自体は、第２実施形態で説明した通りである。例えば、評価部３０８は、第１カードＣ２に対応する出力だけでなく、第２カードＣ３に対応する出力も利用して、正解率を計算する。評価部３０８は、第２カードＣ３に対応する認証済み情報を学習モデルＭに入力することによって得られた出力が、正当を示すか否かを判定し、正解率を計算する。正解率以外の任意の指標が利用可能である点は、第２実施形態で説明した通りである。

変形例２－５によれば、第１カードＣ２の名義に関する第１名義情報と、第２カードＣ３の名義に関する第２名義情報と、の比較結果が所定の結果である場合に、第１カードＣ２に対応する出力と、第２カードＣ３に対応する出力と、に基づいて、学習モデルＭの精度を評価することによって、より多くの情報を利用して学習モデルＭをより正確に評価できる。その結果、サービスにおける不正利用の防止、セキュリティの向上、及び利便性の低下の防止を効果的に実現できる。

［変形例２－６］
例えば、変形例１－４と同様に、変形例２－５の第２カードＣ３は、所持認証に対応していないカードであってもよい。変形例２－５で説明した第２カードＣ３が所持認証に対応していないだけであり、評価部３０８の評価方法自体は、変形例２－５で説明した通りである。

変形例２－６によれば、第２カードＣ３が所持認証に対応していないカードであったとしても、第２カードＣ３に対応する認証済み情報に基づいて、学習モデルＭの精度を評価することによって、より多くの情報を利用して学習モデルＭをより正確に評価できる。

［変形例２－７］
例えば、変形例１－１と同様に、不正検知システムＳは、作成部３０２を含んでもよい。作成部３０２は、認証済み情報に基づいて、認証済みユーザの行動が正当と推定されるように、サービスにおける不正を検知するための学習モデルＭを作成する。変形例２－７の不正検知システムＳは、変形例１－１と同様の構成を有するようにすればよい。

変形例２－７によれば、第１実施形態で説明した学習モデルＭの作成を簡易化、学習モデルＭの迅速な作成、サービスにおける不正利用の防止、セキュリティの向上、及び利便性の低下の防止を効果的に実現できる。

［変形例２－８］
例えば、不正検知システムＳは、変形例１－５と同様の未認証情報取得部３０５を含んでもよい。作成部３０２は、未認証情報に基づいて、未認証ユーザの行動が正当又は不正であることを示す第２訓練データを作成し、第２訓練データに基づいて、学習モデルＭを学習させてもよい。変形例２－８の不正検知システムＳは、変形例１－５と同様の構成を有するようにすればよい。更に、評価部３０８は、第２訓練データに基づいて作成した学習モデルＭの精度を評価してもよい。この評価方法は、第２実施形態又は上記説明した変形例と同様の方法であればよい。

変形例２－８によれば、未認証情報に基づいて、未認証ユーザの行動が正当又は不正であることを示す第２訓練データを作成し、第２訓練データに基づいて、学習モデルＭを学習させることによって、より多くの情報を利用して学習モデルＭの精度がより高まる。

［変形例２－９］
例えば、変形例１－６と同様に、作成部３０２は、未認証情報に基づいて、学習済みの学習モデルＭからの出力を取得し、当該出力に基づいて、第２訓練データを作成してもよい。変形例２－９の不正検知システムＳは、変形例１－６と同様の構成を有するようにすればよい。

変形例２－９によれば、未認証情報に基づいて、学習済みの学習モデルＭからの出力を取得し、当該出力に基づいて、第２訓練データを作成することによって、より多くの情報を利用して学習モデルＭの精度がより高まる。

［３－３．その他の変形例］
例えば、上記説明した変形例を組み合わせてもよい。

例えば、ユーザの不正度を予め取得できる場合には、不正度に応じて所持認証の方法を変えてもよい。不正度は、不正の度合いを示す情報、又は、不正の疑いの高さを示す情報である。ここでは、スコアによって不正度が表現される場合を説明するが、不正度は、他の指標で表現されてもよい。例えば、不正度は、Ｓランク・Ａランク・Ｂランクといった文字で表現されてもよい。例えば、学習モデルＭを利用して不正度が計算されてもよいし、ルールを利用して不正度が計算されてもよい。例えば、ＩＰアドレスにばらつきがあるほど不正度が高くなるように、不正度が計算されてもよい。また例えば、ユーザがアクセスしたＵＲＬにばらつきがあるほど不正度が高くなるように、不正度が計算されてもよい。また例えば、アクセス場所が利用中心地から離れているほど、又は、アクセス場所にばらつきがあるほど、不正度が高くなるように、不正度が計算されてもよい。

例えば、ユーザの不正度に基づいて、第１カードＣ２のＩＣチップｃｐの記憶領域のうち、ＮＦＣ認証で読み取る記憶領域が異なってもよい。例えば、ＩＣチップｃｐは、読取部による読み取りのために鍵が必要な第１記憶領域と、読取部による読み取りのために鍵が不要な第２記憶領域と、を含む場合、ユーザの不正度が閾値以上であれば、第１記憶領域から入力電子マネーＩＤが取得されてもよい。ユーザの不正度が閾値未満であれば、第２記憶領域から入力電子マネーＩＤが取得されてもよい。この場合、第１記憶領域又は第２記憶領域の何れから入力電子マネーＩＤが取得されたかを示す情報が事業者サーバ３０に送信され、所持認証において、この情報が確認されてもよい。

また、ユーザの不正度に応じて、ＮＦＣ部２３Ａ及び撮影部２６の中から認証で利用するものが決定されてもよい。例えば、不正度が閾値以上の場合にＮＦＣ部２３Ａを利用すると決定され、不正度が閾値未満の場合に撮影部２６を利用すると決定されてもよい。これとは逆に、不正度が閾値以上の場合に撮影部２６を利用すると決定され、不正度が閾値未満の場合にＮＦＣ部２３Ａを利用すると決定されてもよい。他にも例えば、不正度が閾値以上の場合にＮＦＣ部２３Ａ及び撮影部２６の両方を利用すると決定され、不正度が閾値未満の場合には、ＮＦＣ部２３Ａ又は撮影部２６の何れか一方を利用すると決定されてもよい。ＮＦＣ部２３Ａ及び撮影部２６のうち、認証で利用すると決定したものを識別する情報が事業者サーバ３０に送信され、所持認証において、この情報が確認されてもよい。

また、第１カードＣ２が複数の認証情報を含む場合に、ユーザの不正度に基づいて、認証で利用される認証情報が決定されてもよい。例えば、不正度が高いほど認証で利用する認証情報が多くなるように、認証で利用される認証情報が決定される。また例えば、不正度が低いほど認証で利用する認証情報が少なくなるように、認証で利用される認証情報が決定される。また例えば、不正度が閾値以上の場合に、比較的情報量の多い第１認証情報を利用すると決定され、不正度が閾値未満の場合に、比較的情報量が少ない第２認証情報を利用すると決定される。

例えば、不正検知システムＳは、行政サービス及び電子決済サービス以外の任意のサービスに適用可能である。例えば、不正検知システムＳは、電子商取引サービス、旅行予約サービス、通信サービス、金融サービス、保険サービス、オークションサービス、又はＳＮＳといった他のサービスにも適用可能である。第１実施形態の不正検知システムＳを他のサービスに適用する場合、ユーザ端末２０から所持認証等の所定の認証を実行した認証済みユーザの認証済み情報を利用して、学習モデルＭが作成されるようにすればよい。第２実施形態の不正検知システムＳを他のサービスに適用する場合も同様に、所持認証等の所定の認証を実行した認証済みユーザの認証済み情報を利用して、学習モデルＭの精度を評価すればよい。

例えば、所持認証で利用されるカードは、保険証、免許証、会員証、又は学生証等であってもよい。所持認証で利用されるカードは、物理的なカードではなく、電子的なカード（バーチャルなカード）であってもよい。また例えば、所持認証が失敗した場合には、管理者による人手の判定が行われてもよい。また例えば、あるカード番号に対応する所持認証が所定回数だけ失敗した場合には、そのカード番号については、それ以上の所持認証が実行されないように制限されてもよい。この場合、管理者による許可がない限りは、そのカードがアプリに登録されないように制限がかけられてもよい。他にも例えば、情報記憶媒体の読み取りによって所持認証が実行されてもよい。

例えば、主な機能がサーバ１０又は事業者サーバ３０で実現される場合を説明したが、各機能は、複数のコンピュータで分担されてもよい。

Claims (15)

1. 所定のサービスを利用可能なユーザ端末から前記サービスにログインした状態で所定の認証を実行した認証済みユーザの行動に関する認証済み情報を取得する認証済み情報取得手段と、
   前記認証済み情報に基づいて、前記認証済みユーザの行動が正当と推定されるように、前記サービスにおける不正を検知するための学習モデルを作成する作成手段と、
   を含む学習モデル作成システム。
2. 所定のサービスを利用可能なユーザ端末を利用して、前記サービスで利用可能な第１カードを所持しているか否かを確認するための所持認証を実行した認証済みユーザの前記第１カードに対応する行動に関する認証済み情報を取得する認証済み情報取得手段と、
   前記第１カードに対応する前記認証済み情報に基づいて、前記認証済みユーザの行動が正当と推定されるように、前記サービスにおける不正を検知するための学習モデルを作成する作成手段と、
   前記第１カードの名義に関する第１名義情報と、前記認証済みユーザが前記サービスで利用可能な第２カードの名義に関する第２名義情報と、を比較する比較手段と、
   を含み、
   前記認証済み情報取得手段は、前記比較手段の比較結果が所定の結果である場合に、前記第２カードに対応する前記認証済み情報を取得し、
   前記作成手段は、前記比較手段の比較結果が所定の結果である場合に、前記第１カードに対応する前記認証済み情報と、前記第２カードに対応する前記認証済み情報と、に基づいて、前記学習モデルを作成する、
   学習モデル作成システム。
3. 前記第２カードは、前記所持認証に対応していないカードであり、
   前記第２カードに対応する前記認証済み情報は、前記所持認証が実行されていない前記第２カードを利用した前記認証済みユーザの行動に関する情報である、
   請求項２に記載の学習モデル作成システム。
4. 前記学習モデルは、教師有り学習のモデルであり、
   前記作成手段は、前記認証済み情報に基づいて、前記認証済みユーザの行動が正当であることを示す第１訓練データを作成し、前記第１訓練データに基づいて、前記学習モデルを学習させることによって、前記学習モデルを作成する、
   請求項１～３の何れかに記載の学習モデル作成システム。
5. 前記学習モデル作成システムは、未認証ユーザの行動に関する未認証情報を取得する未認証情報取得手段を更に含み、
   前記作成手段は、前記未認証情報に基づいて、前記未認証ユーザの行動が正当又は不正であることを示す第２訓練データを作成し、前記第２訓練データに基づいて、前記学習モデルを学習させる、
   請求項４に記載の学習モデル作成システム。
6. 前記作成手段は、前記未認証情報に基づいて、学習済みの前記学習モデルからの出力を取得し、当該出力に基づいて、前記第２訓練データを作成する、
   請求項５に記載の学習モデル作成システム。
7. 前記作成手段は、前記未認証情報に対応する前記出力が取得された後の前記未認証情報に基づいて、当該出力の内容を変更し、当該変更された出力の内容に基づいて、前記第２訓練データを作成する、
   請求項６に記載の学習モデル作成システム。
8. 前記学習モデルは、前記サービスにおける不正に関するスコアを出力し、
   前記未認証情報に対応する前記スコアは、前記認証済み情報に対応する前記スコアよりも不正を示すように、上限値が設定され、
   前記学習モデルは、前記上限値に基づいて、前記未認証情報に対応する前記スコアを出力する、
   請求項７に記載の学習モデル作成システム。
9. 前記学習モデル作成システムは、不正であるか否かが確定した確定ユーザの行動に関する確定情報を取得する確定情報取得手段を更に含み、
   前記作成手段は、前記認証済み情報及び前記確定情報に基づいて、前記学習モデルを作成する、
   請求項４～８の何れかに記載の学習モデル作成システム。
10. 前記学習モデルは、教師無し学習のモデルであり、
    前記作成手段は、前記認証済み情報に基づいて、前記サービスにおける不正な行動が外れ値となるように、前記学習モデルを作成する、
    請求項１～３の何れかに記載の学習モデル作成システム。
11. 前記サービスは、前記ユーザ端末から利用可能な電子決済サービスであり、
    前記認証済み情報は、前記電子決済サービスにおける前記認証済みユーザの行動に関する情報であり、
    前記学習モデルは、前記電子決済サービスにおける不正を検知するためのモデルである、
    請求項１～１０の何れかに記載の学習モデル作成システム。
12. コンピュータが、
    所定のサービスを利用可能なユーザ端末から前記サービスにログインした状態で所定の認証を実行した認証済みユーザの行動に関する認証済み情報を取得する認証済み情報取得ステップと、
    前記認証済み情報に基づいて、前記認証済みユーザの行動が正当と推定されるように、前記サービスにおける不正を検知するための学習モデルを作成する作成ステップと、
    を実行する学習モデル作成方法。
13. コンピュータが、
    所定のサービスを利用可能なユーザ端末を利用して、前記サービスで利用可能な第１カードを所持しているか否かを確認するための所持認証を実行した認証済みユーザの前記第１カードに対応する行動に関する認証済み情報を取得する認証済み情報取得ステップと、
    前記第１カードに対応する前記認証済み情報に基づいて、前記認証済みユーザの行動が正当と推定されるように、前記サービスにおける不正を検知するための学習モデルを作成する作成ステップと、
    前記第１カードの名義に関する第１名義情報と、前記認証済みユーザが前記サービスで利用可能な第２カードの名義に関する第２名義情報と、を比較する比較ステップと、
    を実行し、
    前記認証済み情報取得ステップは、前記比較ステップの比較結果が所定の結果である場合に、前記第２カードに対応する前記認証済み情報を取得し、
    前記作成ステップは、前記比較ステップの比較結果が所定の結果である場合に、前記第１カードに対応する前記認証済み情報と、前記第２カードに対応する前記認証済み情報と、に基づいて、前記学習モデルを作成する、
    学習モデル作成方法。
14. 所定のサービスを利用可能なユーザ端末から前記サービスにログインした状態で所定の認証を実行した認証済みユーザの行動に関する認証済み情報を取得する認証済み情報取得手段、
    前記認証済み情報に基づいて、前記認証済みユーザの行動が正当と推定されるように、前記サービスにおける不正を検知するための学習モデルを作成する作成手段、
    としてコンピュータを機能させるためのプログラム。
15. 所定のサービスを利用可能なユーザ端末を利用して、前記サービスで利用可能な第１カードを所持しているか否かを確認するための所持認証を実行した認証済みユーザの前記第１カードに対応する行動に関する認証済み情報を取得する認証済み情報取得手段、
    前記第１カードに対応する前記認証済み情報に基づいて、前記認証済みユーザの行動が正当と推定されるように、前記サービスにおける不正を検知するための学習モデルを作成する作成手段、
    前記第１カードの名義に関する第１名義情報と、前記認証済みユーザが前記サービスで利用可能な第２カードの名義に関する第２名義情報と、を比較する比較手段、
    としてコンピュータを機能させ、
    前記認証済み情報取得手段は、前記比較手段の比較結果が所定の結果である場合に、前記第２カードに対応する前記認証済み情報を取得し、
    前記作成手段は、前記比較手段の比較結果が所定の結果である場合に、前記第１カードに対応する前記認証済み情報と、前記第２カードに対応する前記認証済み情報と、に基づいて、前記学習モデルを作成する、
    プログラム。

Images