JP7363786B2 - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法および情報処理プログラムに関する。

上記技術分野において、特許文献１には、ネットワークを介して金融機関の口座開設をする技術が開示されている。特許文献１においては、スキャナで読み取った画像情報とユーザが入力した本人確認情報との一致で本人確認をしている。また、特許文献２には、顔の向きや瞬きの指示でなりすまし防止をするユーザの顔画像の照合による本人確認の技術が開示されている。また、特許文献３には、顔の向きの移動による角膜反射の変化による本人確認の技術が開示されている。

特開２００６－２５１９４４号公報 特開２００３－３１７１００号公報 特開２０１８－５０４７０３号公報

しかしながら、上記文献に記載の技術を、端末からの口座開設における本人確認に適用したとしても、適格審査に必要なユーザ情報の入力には手間がかかっていた。

本発明の目的は、上述の課題を解決する技術を提供することにある。

上記目的を達成するため、本発明に係る情報処理装置は、
動画中にユーザの顔と本人確認書類とが同時に映っていることを判定する第１判定部と、
前記第１判定部により、前記顔と前記本人確認書類とが同時に映っていると判定された場合、動作指示を通知し、前記動作指示に応じて前記ユーザが動作したか否かを判定する第２判定部と、
前記第２判定部による判定中の動画に含まれる、前記ユーザの顔と前記本人確認書類に含まれる顔とを照合する第１照合部と、
前記第２判定部により、前記ユーザが前記動作指示に応じて動作したと判定され、かつ、前記第１照合部により、前記ユーザの顔と前記本人確認書類に含まれる顔とが一致した場合、前記本人確認書類が前記ユーザに対応することを確認する確認部と、
を備えた。

上記目的を達成するため、本発明に係る情報処理方法は、
動画中にユーザの顔と本人確認書類とが同時に映っていることを判定する第１判定ステップと、
前記第１判定ステップにおいて、前記顔と前記本人確認書類とが同時に映っていると判定された場合、動作指示を通知し、前記動作指示に応じて前記ユーザが動作したか否かを判定する第２判定ステップと、
前記第２判定ステップにおける判定中の動画に含まれる、前記ユーザの顔と前記本人確認書類に含まれる顔とを照合する第１照合ステップと、
前記第２判定ステップにより、前記ユーザが前記動作指示に応じて動作したと判定され、かつ、前記第１照合ステップにより、前記ユーザの顔と前記本人確認書類に含まれる顔とが一致した場合、前記本人確認書類が前記ユーザに対応することを確認する確認ステップと、
を含む。

上記目的を達成するため、本発明に係る情報処理プログラムは、
動画中にユーザの顔と本人確認書類とが同時に映っていることを判定する第１判定ステップと、
前記第１判定ステップにおいて、前記顔と前記本人確認書類とが同時に映っていると判定された場合、動作指示を通知し、前記動作指示に応じて前記ユーザが動作したか否かを判定する第２判定ステップと、
前記第２判定ステップにおける判定中の動画に含まれる、前記ユーザの顔と前記本人確認書類に含まれる顔とを照合する第１照合ステップと、
前記第２判定ステップにより、前記ユーザが前記動作指示に応じて動作したと判定され、かつ、前記第１照合ステップにより、前記ユーザの顔と前記本人確認書類に含まれる顔とが一致した場合、前記本人確認書類が前記ユーザに対応することを確認する確認ステップと、
をコンピュータに実行させる。

本発明によれば、適格審査に必要なユーザ情報の入力の手間を軽減することができる。

本発明の第１実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第２実施形態に係る情報処理装置の動作の概要を説明するための図である。 本発明の第２実施形態に係る情報処理装置の動作の概要を説明するための他の図である。 本発明の第２実施形態に係る情報処理装置の動作の概要を説明するためのさらに他の図である。 本発明の第２実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第２実施形態に係る情報処理装置が備える判定テーブルの一例を示す図である。 本発明の第２実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。 本発明の第２実施形態に係る情報処理装置の処理手順を説明するフローチャートである。 本発明の第２実施形態に係る情報処理装置の処理手順を説明する他のフローチャートである。 本発明の第２実施形態に係る情報処理装置の処理手順を説明するさらに他のフローチャートである。 本発明の第３実施形態に係る情報処理装置の動作の概要を説明するための図である。 本発明の第３実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第３実施形態に係る情報処理装置の処理手順を説明するフローチャートである。 本発明の第４実施形態に係る情報処理装置の動作の概要を説明するための図である。 本発明の第４実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第４実施形態に係る情報処理装置の処理手順を説明するフローチャートである。

以下に、本発明を実施するための形態について、図面を参照して、例示的に詳しく説明記載する。ただし、以下の実施の形態に記載されている、構成、数値、処理の流れ、機能要素などは一例に過ぎず、その変形や変更は自由であって、本発明の技術範囲を以下の記載に限定する趣旨のものではない。

［第１実施形態］
本発明の第１実施形態としての情報処理装置１００について、図１を用いて説明する。情報処理装置１００は、インターネットバンキングなどの口座開設手続きにおいて、本人認証を行う装置である。

図１に示すように、情報処理装置１００は、判定部１０１、判定部１０２および確認部１０３を含む。

判定部１０１は、動画中にユーザの顔と本人確認書類とが同時に映っていることを判定する。判定部１０２は、判定部１０１により、顔と本人確認書類とが同時に映っていると判定された場合、動作指示を通知し、動作指示に応じてユーザが動作したか否かを判定する。確認部１０３は、判定部１０２により、ユーザが動作指示に応じて動作したと判定された場合、本人確認書類がユーザに対応することを確認する。

本実施形態によれば、適格審査に必要なユーザ情報の入力の手間を軽減することができる。

［第２実施形態］
次に本発明の第２実施形態に係る情報処理装置について、図２Ａ乃至図６を用いて説明する。図２Ａは、本実施形態に係る情報処理装置の動作の概要を説明するための図である。図２Ｂは、本実施形態に係る情報処理装置の動作の概要を説明するための他の図である。

情報処理装置２００は、インターネットバンキングやオンライン証券、その他金融取引などにおける口座開設手続きにおいて、本人認証を行う装置である。なお、情報処理装置２００は、スマートフォンなどの携帯端末である。したがって、図２Ａおよび図２Ｂに示す表示画面（２０１～２０８）は、情報処理装置２００のディスプレイに表示される。そして、情報処理装置２００には、本人認証（本人確認）を行う機能を有する口座開設用のアプリケーションがインストールされている。

ユーザが、口座開設を行うために、情報処理装置２００のディスプレイに表示されている口座開設用のアプリケーションのアイコンをタップすると、情報処理装置２００は、アプリケーションの起動処理を実行する。アプリケーションの起動処理が完了すると、情報処理装置２００のディスプレイには、トップメニュー２０１が表示される。ユーザは、トップメニュー２０１から希望する手続きのアイコンをタップする。ユーザが、希望する手続きのアイコンをタップすると、情報処理装置２００は、本人同意画面２０２を表示する。本人同意画面２０２には、免責事項や同意事項などが表示され、ユーザが表示された内容に同意した場合に、情報処理装置２００は、次の画面（２０３）を表示する。

情報処理装置２００は、ワンタイムパスワード送信画面２０３を表示し、仮ログインをするためのパスワード（ワンタイムパスワード）をＳＭＳ（Short Message Service）などを用いてユーザに送信する。情報処理装置２００は、ワンタイムパスワードを送信すると、仮ログイン画面２０４を表示する。ユーザは、送信されたワンタイムパスワードを仮ログイン画面２０４のワンタイムパスワード入力領域に入力し、口座開設のためのシステムに仮ログインする。

ユーザの仮ログインが完了すると、情報処理装置２００は、ユーザの本人確認開始画面２０５を表示して、ユーザの本人確認作業を実行する。ユーザは、例えば、情報処理装置２００（スマートフォン）のフロントカメラを用いて、自身の顔と運転免許証などの本人確認書類とが、本人確認画面２０６の所定の枠内に収まるように撮影する。なお、ユーザの顔と本人確認書類との撮影は、動画モードで行われる。また、本人確認書類は、いわゆる、顔写真付きの身分証明書であり、例えば、免許証やパスポート、顔写真付きの個人番号カード（マイナンバーカード）、在留カードなどがあるが、顔写真付きで本人確認に使える証明書であればこれらには限定されない。

ユーザは、自身の顔が、本人確認画面２０６の上段の所定枠内に収まるようにカメラにより撮影をし、また、本人確認書類が、本人確認画面２０６の下段の所定枠内に収まるようにカメラにより撮影をする。そして、情報処理装置２００は、撮影されたユーザの動画からユーザの顔抽出を判定する。顔抽出の判定は、顔の特徴が動画にあるか否かの判定である。また、情報処理装置２００は、撮影されたユーザの本人確認書類の動画から、本人確認書類の顔抽出を判定する。

ここで、情報処理装置２００は、ユーザのなりすましなどを防止するための認証を実行する。なお、ユーザのなりすましなどを防止するための認証作業のタイミングは、ここのタイミングには限定されない。

なりすまし防止認証（ライブネス認証）は、例えば、情報処理装置２００を用いて口座開設用のアプリケーションを操作しているユーザに対して、情報処理装置２００から、所定の動作を行うように指示を出す。そして、ユーザが、その指示に従って所定の動作を行えば、ユーザが情報処理装置２００の前にいて、実際に、アプリケーションの操作を行っていることを担保することができる。

つまり、ユーザが、情報処理装置２００からの指示に従った動作を行えない場合には、ユーザが、その場にいないことが分かるので、ビデオ映像などを用いたなりすましによる不正な口座開設などを防止できる。なお、なりすまし防止認証に用いる動作は、例えば、右目のウィンク、左目のウィンク、両目を閉じる、顔を右に傾ける、顔を左に傾ける、正面を向くなどの動作であるが、これらには限定されず、例えば、笑顔（口角を上げる）、視線の向きなどであってもよい。

なりすまし認証が済むと、情報処理装置２００は、ユーザの顔と本人確認書類の写真のユーザの顔とを照合して、本人の認証を行う。本人認証は、例えば、ユーザの顔の特徴量と本人確認書類の顔の特徴量とを比較、照合することにより行われる。そして、情報処理装置２００は、証拠画像確認・送信画面２０７を表示し、本人確認画面２０６で取得したユーザの顔画像と本人確認書類の画像とのＯＣＲ（Optical Character Recognition）処理２０８が実行され、本人確認書類に記載されている情報を読み取る。その後、読み取った情報の内容確認や、スクリーニング処理（口座開設が禁じられている人物であるか否かの判定）などが行われる。

図２Ｃは、本実施形態に係る情報処理装置の動作の概要を説明するためのさらに他の図である。図２Ｃには、本人確認画面２０６を簡略化した図が示されている。図２Ｃでは、情報処理装置２００が、ユーザの顔画像を取得するタイミングを説明する。

例えば、情報処理装置２００は、ユーザが自身の顔と本人確認書類とを映したタイミング（２６１）でユーザの顔の特徴量を取得する。すなわち、情報処理装置２００は、ユーザに対して、なりすまし防止認証（ライブネス認証）を行う前のタイミングで、ユーザの顔の特徴量を取得する。

また、情報処理装置２００は、ユーザが、なりすまし防止認証を実行中のタイミング（２６２）で、撮影されたユーザの顔画像を取得する。さらに、情報処理装置２００は、ユーザに対する、なりすまし防止認証が終了した後のタイミング（２６３）で、撮影されたユーザの顔画像を取得する。このように、情報処理装置２００は、様々なタイミングで、ユーザの顔画像を取得する。

図３は、本実施形態に係る情報処理装置の構成を示すブロック図である。情報処理装置２００は、撮影部３０１、判定部３０２、判定部３０３、確認部３０４および保存部３０５を有する。

撮影部３０１は、情報処理装置２００が有するカメラであり、動画や静止画を撮影することができる。撮影部３０１は、動画を撮影する。例えば、撮影部３０１は、スマートフォンなどのフロントカメラ（インカメラ）である。ユーザが、情報処理装置２００にインストールされたアプリケーションを起動すると、情報処理装置２００のカメラが動画モードで起動され、情報処理装置２００のディスプレイに動画撮影を補助するための撮影枠が表示される。そして、ユーザは、自撮り（セルフィー）の要領で、自身の顔と本人確認書類とがディスプレイに表示された所定の枠内に収まるように動画を撮影する。なお、ここでは、ユーザは自身の顔がディスプレイに表示された所定の枠内に収まるように動画を撮影しているが、ユーザは、上半身や全身の動画を撮影してもよい。撮影部３０１で撮影された動画は、例えば、保存部３０５に保存される。なお、撮影部３０１は、情報処理装置２００の外部にあってもよい。

判定部３０２は、撮影部３０１が撮影した動画中にユーザの顔と本人確認書類とが同時に映っていることを判定する。ユーザは、例えば、片手に情報処理装置２００を持ち、もう一方の手で本人確認書類を持ちながら、動画の撮影を行う。

判定部３０３は、判定部３０２により、撮影部３０１により撮影された動画にユーザの顔と本人確認書類とが同時に映っていると判定された場合、ユーザに対して動作指示を通知する。動作指示の通知は、例えば、情報処理装置２００のディスプレイに動作指示の内容を表示したり、情報処理装置２００のスピーカから動作指示の音声を出力したりすることにより行われる。判定部３０３は、例えば、判定テーブル３３１を参照して、なりすまし防止認証を行い、ユーザが指示通りに（動作指示に応じて）顔（表情）などを変化させているか否かを判定する。

判定部３０３が通知する動作指示は、例えば、右目ウィンク（右目をつぶる）、左目ウィンク（左目をつぶる）、両目をつぶる、顔を右に傾ける、顔を左に傾ける、顔を正面に向けるなどである。動作指示は、これらには限定されず、例えば、顔を右に向ける、顔を左に向ける、笑う（口角を上げる）、左右の眉毛を動かす、眉間にしわを寄せる、口を開ける、口を閉じるなどであってもよい。動作指示は、ここに示した顔の表情などを変化させる例などには限定されず、例えば、手を上げたり、下げたり、足を上げたり、下げたりなどのユーザの身体の一部を動かすような指示であってもよい。また、ユーザに対して指示する動作は、ここに示した動作を単独で指示してもよいし、ここに示した動作を複数組み合わせて指示してもよい。

判定部３０３が、ユーザが動作指示に従った動作をしたか否かを判定することにより、なりすましによる不正な口座開設などを防止することが可能となる。すなわち、実際にその場にいるユーザが、手続きを行っていることを担保するために、判定部３０３による判定が行われる。判定部３０３は、いわゆる、ライブネス認証を行う。

確認部３０４は、判定部３０３により、ユーザが動作指示に応じて動作したと判定された場合、本人確認書類がユーザに対応することを確認する。つまり、ユーザが、情報処理装置２００の撮影部３０１を用いて撮影した動画に映っていた顔の人物が、同じ動画に映っていた本人確認書類の人物と同一人であることを確認する。

確認部３０４による確認は、撮影された動画に映っていた顔の特徴量と、本人確認書類の特徴量とを比較して行われる。確認部３０４は、具体的には、次のようにして確認を行う。

確認部３０４は、特徴量抽出部３４１と特徴量照合部３４２とを有する。特徴量抽出部３４１は、保存部３０５に一時的に保存された動画を取得する。特徴量抽出部３４１は、取得した動画から静止画を取り出す。例えば、特徴量抽出部３４１は、取得した動画を構成するフレームのうち、任意のフレームを静止画として取り出してもよい。

そして、特徴量抽出部３４１は、静止画に写っているユーザの顔画像から目立つ特徴を抽出する。特徴量抽出部３４１は、例えば、顔のパーツ（目、鼻、口など）の相対位置や大きさ、目、鼻、頬骨および顎の形などを特徴として抽出する。抽出されたユーザの顔の特徴量（顔特徴量）は、保存部３０５に保存してもよい。保存部３０５に保存される顔の特徴量は、顔画像と紐付けて保存してもよい。

さらに、特徴量抽出部３４１は、保存部３０５に保存された動画を取得し、取得した動画から本人確認書類の画像を認識し、認識した本人確認書類の特徴量を抽出する。特徴量抽出部３４１は、本人確認書類の写真部分に写っている人物の顔の特徴量を抽出する。なお、特徴量抽出部３４１が、抽出する本人確認書類の特徴量は、本人確認書類の写真部分に写っている人物の顔の特徴量には限定されず、例えば、本人確認書類全体の特徴量を抽出してもよい。

例えば、本人確認書類が運転免許証である場合、特徴量抽出部３４１は、運転免許証の写真部分からユーザの顔画像を切り出し、切り出した顔画像から顔の特徴量を抽出する。そして、特徴量抽出部３４１が抽出した本人確認書類の特徴量は、保存部３０５に保存してもよい。保存部３０５に保存される本人確認書類の特徴量は、本人確認書類の画像と紐付けて保存してもよい。

ここで、特徴量抽出部３４１は、判定部３０３による判定中の動画に含まれるユーザの顔の特徴量と本人確認書類の特徴量（顔の特徴量など）とを抽出してもよい。なお、本人確認書類の特徴量は、別のタイミングで取得した本人確認書類の画像から抽出してもよい。つまり、本人確認書類の特徴量の抽出において、ユーザの顔と本人確認書類とが同時に映っている動画に基づいて、本人確認書類の特徴量を抽出する例には限定されない。

また、特徴量抽出部３４１は、判定部３０３による判定前の所定期間の動画に含まれるユーザの顔の特徴量と本人確認書類の特徴量（顔の特徴量など）とを抽出してもよい。なお、本人確認書類の特徴量は、別のタイミングで取得した本人確認書類の画像から抽出してもよい。つまり、本人確認書類の特徴量の抽出において、ユーザの顔と本人確認書類とが同時に映っている動画に基づいて、本人確認書類の特徴量を抽出する例には限定されない。

さらに、特徴量抽出部３４１は、判定部３０３による判定後の所定期間の動画に含まれるユーザの顔の特徴量と本人確認書類の特徴量（顔の特徴量など）とを抽出してもよい。なお、本人確認書類の特徴量は、別のタイミングで取得した本人確認書類の画像から抽出してもよい。つまり、本人確認書類の特徴量の抽出において、ユーザの顔と本人確認書類とが同時に映っている動画に基づいて、本人確認書類の特徴量を抽出する例には限定されない。

特徴量照合部３４２は、抽出された顔特徴量と本人確認書類の特徴量とを照合する。照合の結果、特徴量が一致すると判定されれば、確認部３０４は、本人確認書類がユーザに対応することを確認する。

ここで、特徴量照合部３４２は、判定部３０３による判定中の動画に含まれるユーザの顔の特徴量と本人確認書類の特徴量（顔の特徴量など）とを照合する。なお、本人確認書類の特徴量は、別のタイミングで取得した本人確認書類の画像から抽出したものであってもよい。つまり、本人確認書類の特徴量の抽出において、ユーザの顔と本人確認書類とが同時に映っている動画に基づいて、本人確認書類の特徴量を抽出する例には限定されない。

また、特徴量照合部３４２は、判定部３０３による判定前の動画に含まれるユーザの顔の特徴量と本人確認書類の特徴量（顔の特徴量など）とを照合する。なお、本人確認書類の特徴量は、別のタイミングで取得した本人確認書類の画像から抽出したものであってもよい。つまり、本人確認書類の特徴量の抽出において、ユーザの顔と本人確認書類とが同時に映っている動画に基づいて、本人確認書類の特徴量を抽出する例には限定されない。

さらに、特徴量照合部３４２は、判定部３０３による判定後の動画に含まれるユーザの顔の特徴量と本人確認書類の特徴量（顔の特徴量など）とを照合する。なお、本人確認書類の特徴量は、別のタイミングで取得した本人確認書類の画像から抽出したものであってもよい。つまり、本人確認書類の特徴量の抽出において、ユーザの顔と本人確認書類とが同時に映っている動画に基づいて、本人確認書類の特徴量を抽出する例には限定されない。

特徴量照合部３４２による特徴量の照合は、特徴量同士が一致するか否かに基づいて行われる。なお、特徴量照合部３４２は、特徴量同士が完全一致する場合の他、特徴量が所定の割合で一致している場合も両特徴量が一致していると判断してもよい。したがって、照合（本人認証）をより確実に行いたい場合には、完全一致とし、照合（本人認証）のハードルを少し下げてもよい場合には、完全一致としなくてもよい。特徴量照合部３４２による照合のレベルは、任意に設定可能である。なお、特徴量抽出部３４１により抽出された特徴量や特徴量照合部３４２による照合結果などは、保存部３０５に保存してもよい。

図４は、本実施形態に係る情報処理装置が備える判定テーブルの一例を示す図である。判定テーブル３３１は、ライブネス指示ＩＤ（Identifier）４０１に関連付けてライブネス動作４０２を記憶する。ライブネス指示ＩＤ４０１は、ユーザに対して指示する、なりすまし防止認証（ライブネス認証）のための動作指示を識別する識別子である。ライブネス動作４０２は、ユーザに対して指示する動作の内容を示しており、これらの動作を単独で用いても、これらの動作を複数組み合わせて用いてもよい。ライブネス動作４０２を複数組み合わせて用いれば、なりすまし認証のハードルをより高くすることが可能となる。そして、判定部３０３は、例えば、判定テーブル３３１を参照して、ユーザに対してなりすまし防止認証用の指示を出す。

図５は、本実施形態に係る情報処理装置２００のハードウェア構成を説明するブロック図である。ＣＰＵ(Central Processing Unit)５１０は、演算制御用のプロセッサであり、プログラムを実行することで図３の情報処理装置２００の機能構成部を実現する。ＣＰＵ５１０は複数のプロセッサを有し、異なるプログラムやモジュール、タスク、スレッドなどを並行して実行してもよい。ＲＯＭ(Read Only Memory)５２０は、初期データおよびプログラムなどの固定データおよびその他のプログラムを記憶する。また、ネットワークインタフェース５３０は、ネットワークを介して他の装置などと通信する。なお、ＣＰＵ５１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵ(Graphics Processing Unit)を含んでもよい。また、ネットワークインタフェース５３０は、ＣＰＵ５１０とは独立したＣＰＵを有して、ＲＡＭ(Random Access Memory)５４０の領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、ＲＡＭ５４０とストレージ５５０との間でデータを転送するＤＭＡＣ(Direct Memory Access Controller)を設けるのが望ましい（図示なし）。さらに、ＣＰＵ５１０は、ＲＡＭ５４０にデータが受信あるいは転送されたことを認識してデータを処理する。また、ＣＰＵ５１０は、処理結果をＲＡＭ５４０に準備し、後の送信あるいは転送はネットワークインタフェース５３０やＤＭＡＣに任せる。

ＲＡＭ５４０は、ＣＰＵ５１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ５４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。動画５４１は、情報処理装置２００の撮影部３０１で撮影された動画である。本人確認書類画像５４２は、情報処理装置２００の撮影部３０１で撮影された運転免許証などの本人確認書類の画像である。動作指示内容５４３は、なりすまし防止認証のために、ユーザに対して指示する動作の内容である。判定結果５４４は、動画中にユーザの顔と本人確認書類とが同時に映っているか否かの結果、および、ユーザが指示に従って顔を変化させるなどの動作を行ったか否かの結果である。顔特徴量５４５は、撮影された動画から抽出されたユーザの顔の特徴量を含む。また、顔特徴量５４５は、本人確認書類の画像から抽出されたユーザの顔の特徴量を含む。照合結果５４６は、撮影された動画から抽出されたユーザの顔の特徴量と、本人確認書類の画像から抽出されたユーザの顔の特徴量と、を照合した結果である。確認結果５４７は、本人確認書類がユーザに対応することを確認した結果である。

送受信データ５４８は、ネットワークインタフェース５３０を介して送受信されるデータである。また、ＲＡＭ５４０は、各種アプリケーションモジュールを実行するためのアプリケーション実行領域５４９を有する。

ストレージ５５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ５５０は、判定テーブル３３１を格納する。判定テーブル３３１は、図４に示した、ライブネス指示ＩＤ４０１とライブネス動作４０２との関係を管理するテーブルである。

ストレージ５５０は、さらに、撮影モジュール５５１、判定モジュール５５２、判定モジュール５５３および確認モジュール５５４を格納する。また、確認モジュール５５４には、特徴量抽出モジュール５５４１と特徴量照合モジュール５５４２とが含まれる。

撮影モジュール５５１は、動画を撮影するモジュールである。判定モジュール５５２は、動画中にユーザの顔と本人確認書類とが同時に映っていることを判定するモジュールである。判定モジュール５５３は、ユーザが動作指示に応じて動作したか否かを判定するモジュールである。確認モジュール５５４は、本人確認書類がユーザに対応することを確認するモジュールである。特徴量抽出モジュール５５４１は、動画中のユーザの顔の特徴量と本人確認書類の特徴量とを抽出するモジュールである。特徴量照合モジュール５５４２は、抽出された顔の特徴量と本人確認書類の特徴量とを照合するモジュールである。これらのモジュール５５１～５５４、５５４１～５５４２は、ＣＰＵ５１０によりＲＡＭ５４０のアプリケーション実行領域５４９に読み出され、実行される。制御プログラム５５５は、情報処理装置２００の全体を制御するためのプログラムである。

入出力インタフェース５６０は、入出力機器との入出力データをインタフェースする。入出力インタフェース５６０には、表示部５６１、操作部５６２、が接続される。また、入出力インタフェース５６０には、さらに、記憶媒体５６４が接続されてもよい。さらに、音声出力部であるスピーカ５６３や、音声入力部であるマイク（図示せず）、あるいは、ＧＰＳ位置判定部が接続されてもよい。なお、図５に示したＲＡＭ５４０やストレージ５５０には、情報処理装置２００が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。

図６Ａは、本実施形態に係る情報処理装置２００の処理手順を説明するフローチャートである。図６Ｂは、本実施形態に係る情報処理装置の処理手順を説明する他のフローチャートである。図６Ｃは、本実施形態に係る情報処理装置の処理手順を説明するさらに他のフローチャートである。これらのフローチャートは、図５のＣＰＵ５１０がＲＡＭ５４０を使用して実行し、図３の情報処理装置２００の機能構成部を実現する。

まず、図６Ａのフローチャートから説明する。図６Ａのフローチャートでは、ライブネス認証の判定中の動画に含まれる顔と本人確認書類とを照合している。

ステップＳ６０１において、情報処理装置２００は、ユーザの顔と本人確認書類とを所定の枠内に映すように指示する。この場合、情報処理装置２００は、動画モードでユーザの顔などを撮影する。ステップＳ６０３において、情報処理装置２００は、動画中にユーザの顔と本人確認書類とが同時に映っているか否かを判定する。同時に映っていないと判定された場合（ステップＳ６０３のＮＯ）、情報処理装置２００は、ステップＳ６０１へ戻る。同時に映っていると判定された場合（ステップＳ６０３のＹＥＳ）、情報処理装置２００は、次のステップに進む。

ステップＳ６０５において、情報処理装置２００は、ユーザに対して、なりすまし防止認証（ライブネス認証）のための指示を出す。ステップＳ６０７において、情報処理装置２００は、動画および本人確認書類の画像を保存する。ステップＳ６０９において、情報処理装置２００は、ユーザが動作指示通りの動作を行ったか否かを判定する。例えば、指示が、右目ウィンクの場合、情報処理装置２００は、ユーザが右目のウィンクをしたか否かを判定する。ユーザが指示通りの動作をしていない場合（ステップＳ６０９のＮＯ）、情報処理装置２００は、ステップＳ６０１へ戻る。なお、情報処理装置２００は、ステップＳ６０１へ戻らずに、ステップＳ６０５に戻り、再度、なりすまし防止認証のための指示を出してもよい。

ユーザが指示通りの動作をした場合（ステップＳ６０９のＹＥＳ）、情報処理装置２００は、ステップＳ６１１へ進む。ステップＳ６１１において、情報処理装置２００は、動画に含まれるユーザの顔と本人確認書類に含まれる顔とを照合する。つまり、情報処理装置２００は、なりすまし防止認証中に取得した動画、および本人確認書類の画像を用いて、照合を行う。情報処理装置２００は、特徴量が一致するか否かに基づいて照合を行う。ステップＳ６１３において、情報処理装置２００は、特徴量が一致したか否かを判定する。特徴量が一致していないと判定した場合（ステップＳ６１３のＮＯ）、情報処理装置２００は、ステップＳ６０１へ戻り、最初のステップから処理をやり直す。

特徴量が一致していると判定した場合（ステップＳ６１３のＹＥＳ）、情報処理装置２００は、ステップＳ６１５へ進む。ステップＳ６１５において、情報処理装置２００は、本人確認書類がユーザに対応することを確認する。

なお、情報処理装置２００は、ステップＳ６１３とステップＳ６１５との間に、ステップＳ６１７を実行してもよい。ステップＳ６１７において、ライブネス認証（ステップＳ６０９）と特徴量の照合（ステップＳ６１３）とを所定回数実施したか否かを判定する。所定回数実施していないと判定した場合（ステップＳ６１７のＮＯ）、情報処理装置２００は、ステップＳ６０１へ戻る。所定回数実施したと判定した場合（ステップＳ６１７のＹＥＳ）、情報処理装置２００は、ステップＳ６１５へ進む。ステップＳ６１７を実行することにより、ステップＳ６０９（ライブネス認証）の実施回数分、ステップＳ６１３を実施することとなる。また、ライブネス認証（ステップＳ６０９）は、例えば、図６Ａの各ステップを実行する際に毎回繰り返し実行して、ライブネス認証が連続していることを確認してもよい。ステップＳ６１７の処理は実行しても実行しなくてもよい。

次に、図６Ｂのフローチャートを説明する。図６Ｂのフローチャートでは、ライブネス認証の判定前の所定期間の動画に含まれる顔と本人確認書類とを照合する点が、図６Ａのフローチャートと異なる。ステップＳ６２１において、情報処理装置２００は、動画および本人確認書類の画像を保存する。つまり、情報処理装置２００は、ライブネス認証のための動作指示を通知する前のタイミングの動画および本人確認書類の画像を保存する。なお、動作指示を通知する前のタイミングは、例えば、通知前の所定期間（所定時間）であり、具体的には、通知前の数秒間などであるが、これには限定されない。

最後に、図６Ｃのフローチャートを説明する。図６Ｃのフローチャートでは、ライブネス認証終了後の所定期間の動画に含まれる顔と本人確認書類とを照合する点が、図６Ａおよび図６Ｂのフローチャートと異なる。ステップＳ６３１において、情報処理装置２００は、動画および本人確認書類の画像を保存する。つまり、情報処理装置２００は、ライブネス認証後のタイミングの動画および本人確認書類の画像を保存する。なお、ライブネス認証後のタイミングは、例えば、ライブネス認証後の所定期間（所定時間）であり、具体的には、認証後の数秒間などであるが、これには限定されない。

本実施形態によれば、適格審査に必要なユーザ情報の入力の手間を軽減することができる。また、情報処理装置２００は、様々なタイミングで撮影した動画からユーザの顔の特徴量を抽出して保存し、本人確認書類の画像を保存するので、本人認証の精度を高めることができる。さらに、ユーザは、どのタイミングの動画を用いて特徴量が抽出されているかが分からないので、より自然な状態の顔の動画から特徴量を抽出できるので、顔認証の精度が高まり、本人認証の精度をさらに高められる。

［第３実施形態］
次に本発明の第３実施形態に係る情報処理装置について、図７乃至図９を用いて説明する。図７は、本実施形態に係る情報処理装置の動作の概要を説明するための図である。本実施形態に係る情報処理装置は、上記第２実施形態と比べると、本人確認書類の真贋判定中の動画に含まれるユーザの顔と本人確認書類に含まれる顔とを照合する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

情報処理装置７００は、ユーザが提示した本人確認書類が運転免許証である場合、運転免許証が真正なものであるか、不正なものであるかを判定する。つまり、情報処理装置７００は、ユーザが提示した運転免許証の真贋を判定する。そして、情報処理装置７００は、運転免許証の真贋判定中の動画に含まれるユーザの顔と本人確認書類に含まれる顔とを照合する。すなわち、ユーザの顔は、真贋判定中の動画に含まれる顔が用いられる。なお、本人確認書類に含まれる顔は、別のタイミングで取得した本人確認書類に含まれる顔を用いてもよいし、真贋判定中の動画に含まれる本人確認書類の顔を用いてもよい。

図８は、本実施形態に係る情報処理装置の構成を示すブロック図である。情報処理装置７００は、真贋判定部を有する。真贋判定部８０１は、本人確認書類、例えば、運転免許証の真贋を判定する。運転免許証の真贋判定は、例えば、情報処理装置７００のディスプレイ７０１にユーザの顔と運転免許証とが同時に映っている状態で、情報処理装置７００が、ユーザに対して運転免許証の裏面を見せるように指示を出す。真贋判定部８０１は、運転免許証のＩＣ（Integrated Circuit）チップをＰＩＮ（Personal Identification Number）が不要な範囲、例えば、共通エリアを読み込み、妥当な形式が入っているのかを確認することにより真贋判定を行う。ＩＣチップの読み取りは、例えば、情報処理装置７００にオプショナルに接続されたＩＣカードリーダなどにより行われる。なお、ＩＣカードリーダは、情報処理装置７００に内蔵されたものでもよい。

そして、真贋判定部８０１により、運転免許証が真正であると判定されると、特徴量照合部３４２は、真贋判定中の動画に含まれるユーザの顔の特徴量と運転免許証に含まれる顔の特徴量とを照合する。照合の結果、これらの特徴量が一致した場合、確認部３０４は、運転免許証がユーザに対応することを確認する。

図９は、本実施形態に係る情報処理装置の処理手順を説明するフローチャートである。ステップＳ９０１において、情報処理装置７００は、運転免許証の真贋判定を行う。判定の結果、運転免許証が不正な場合（ステップＳ９０１のＮＯ）、情報処理装置７００は、ステップＳ６０１へ戻る。判定の結果、運転免許証が真正な場合（ステップＳ９０１のＹＥＳ）、情報処理装置７００は、ステップＳ９０３へ進む。ステップＳ９０３において、情報処理装置７００は、真贋判定中の動画に含まれるユーザの顔の特徴量と運転免許証に含まれる顔の特徴量とを照合する。

本実施形態によれば、適格審査に必要なユーザ情報の入力の手間を軽減することができる。また、本人確認書類の真贋判定中の動画に含まれるユーザの顔などを用いて照合を行うので、照合や顔認証の精度が高まり、本人認証の精度をさらに高められる。さらに、本人確認書類の真贋判定中の動画を用いるので、より自然な表情のユーザの顔などを用いて照合することができるので、より正確な照合を行うことができる。

［第４実施形態］
次に本発明の第４実施形態に係る情報処理装置について、図１０乃至図１２を用いて説明する。図１０は、本実施形態に係る情報処理装置の動作の概要を説明するための図である。本実施形態に係る情報処理装置は、上記第２実施形態および第３実施形態と比べると、本人確認書類の裏面が映っていることを判定中の動画に含まれるユーザの顔と本人確認書類に含まれる顔とを照合する点で異なる。その他の構成および動作は、第２実施形態および第３実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

情報処理装置１０００は、ユーザが本人確認書類としての運転免許証の裏面を映し、運転免許証の裏面が映っているか否かの判定中（裏面判定中）の動画に含まれるユーザの顔と本人確認書類に含まれる顔とを照合する。すなわち、ユーザの顔は、裏面判定中の動画に含まれる顔が用いられる。なお、本人確認書類に含まれる顔は、別のタイミングで取得した本人確認書類に含まれる顔を用いてもよいし、裏面判定中の動画に含まれる本人確認書類の顔を用いてもよい。

図１１は、本実施形態に係る情報処理装置の構成を示すブロック図である。情報処理装置１０００は、裏面判定部１１０１を有する。裏面判定部１１０１は、本人確認書類、例えば、運転免許証の裏面が映っていることを判定する。そして、裏面判定部１１０１により、運転免許証の裏面が映っていると判定されると、特徴量照合部３４２は、裏面判定中の動画に含まれるユーザの顔の特徴量と運転免許証に含まれる顔の特徴量とを照合する。照合の結果、これらの特徴量が一致した場合、確認部３０４は、運転免許証がユーザに対応することを確認する。

図１２は、本実施形態に係る情報処理装置の処理手順を説明するフローチャートである。ステップＳ１２０１において、情報処理装置１０００は、運転免許証の裏面が映っていることを判定する。判定の結果、裏面が映っていないと判定された場合（ステップＳ１２０１のＮＯ）、情報処理装置１０００は、ステップＳ６０１へ戻る。判定の結果、裏面が映っていると判定された場合、情報処理装置１０００は、ステップＳ１２０３へ進む。ステップＳ１２０３において、情報処理装置１０００は、裏面判定中の動画に含まれるユーザの顔の特徴量と運転免許証に含まれる顔の特徴量とを照合する。

本実施形態によれば、適格審査に必要なユーザ情報の入力の手間を軽減することができる。また、本人確認書類の裏面定中の動画に含まれるユーザの顔などを用いて照合を行うので、照合や顔認証の精度が高まり、本人認証の精度をさらに高められる。さらに、本人確認書類の裏面判定中の動画を用いるので、より自然な表情のユーザの顔などを用いて照合することができるので、より正確な照合を行うことができる。

［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。

この出願は、２０１８年７月２５日に出願された日本出願特願２０１８－１３９３７５を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (7)

1. 動画中にユーザの顔と本人確認書類とが同時に映っていることを判定する第１判定部と、
   前記第１判定部により、前記顔と前記本人確認書類とが同時に映っていると判定された場合、動作指示を通知し、前記動作指示に応じて前記ユーザが動作したか否かを判定する第２判定部と、
   前記第２判定部による判定中の動画に含まれる、前記ユーザの顔と前記本人確認書類に含まれる顔とを照合する第１照合部と、
   前記第２判定部により、前記ユーザが前記動作指示に応じて動作したと判定され、かつ、前記第１照合部により、前記ユーザの顔と前記本人確認書類に含まれる顔とが一致した場合、前記本人確認書類が前記ユーザに対応することを確認する確認部と、
   を備えた情報処理装置。
2. 前記第２判定部による判定前の動画に含まれる、前記ユーザの顔と前記本人確認書類に含まれる顔とを照合する第２照合部をさらに備え、
   前記確認部は、さらに前記第２照合部の照合結果を参照して、前記本人確認書類が前記ユーザに対応することを確認する請求項１に記載の情報処理装置。
3. 前記第２判定部による判定後の動画に含まれる、前記ユーザの顔と前記本人確認書類に含まれる顔とを照合する第３照合部をさらに備え、
   前記確認部は、さらに前記第３照合部の照合結果を参照して、前記本人確認書類が前記ユーザに対応することを確認する請求項１または２に記載の情報処理装置。
4. 前記本人確認書類の真贋を判定する真贋判定部と、
   真贋判定中の動画に含まれる、前記ユーザの顔と前記本人確認書類に含まれる顔とを照合する第４照合部と、
   をさらに備えた請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記本人確認書類の裏面が映っていることを判定する裏面判定部と、
   裏面判定中の、動画に含まれる前記ユーザの顔と前記本人確認書類の表面に含まれる顔とを照合する第５照合部と、
   をさらに備えた請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 動画中にユーザの顔と本人確認書類とが同時に映っていることを判定する第１判定ステップと、
   前記第１判定ステップにおいて、前記顔と前記本人確認書類とが同時に映っていると判定された場合、動作指示を通知し、前記動作指示に応じて前記ユーザが動作したか否かを判定する第２判定ステップと、
   前記第２判定ステップにおける判定中の動画に含まれる、前記ユーザの顔と前記本人確認書類に含まれる顔とを照合する第１照合ステップと、
   前記第２判定ステップにより、前記ユーザが前記動作指示に応じて動作したと判定され、かつ、前記第１照合ステップにより、前記ユーザの顔と前記本人確認書類に含まれる顔とが一致した場合、前記本人確認書類が前記ユーザに対応することを確認する確認ステップと、
   を含む情報処理方法。
7. 動画中にユーザの顔と本人確認書類とが同時に映っていることを判定する第１判定ステップと、
   前記第１判定ステップにおいて、前記顔と前記本人確認書類とが同時に映っていると判定された場合、動作指示を通知し、前記動作指示に応じて前記ユーザが動作したか否かを判定する第２判定ステップと、
   前記第２判定ステップにおける判定中の動画に含まれる、前記ユーザの顔と前記本人確認書類に含まれる顔とを照合する第１照合ステップと、
   前記第２判定ステップにより、前記ユーザが前記動作指示に応じて動作したと判定され、かつ、前記第１照合ステップにより、前記ユーザの顔と前記本人確認書類に含まれる顔とが一致した場合、前記本人確認書類が前記ユーザに対応することを確認する確認ステップと、
   をコンピュータに実行させる情報処理プログラム。

Images