JP6733790B2 - Mobile terminal, identity verification system and program - Google Patents

Mobile terminal, identity verification system and program Download PDF

Info

Publication number
JP6733790B2
JP6733790B2 JP2019142303A JP2019142303A JP6733790B2 JP 6733790 B2 JP6733790 B2 JP 6733790B2 JP 2019142303 A JP2019142303 A JP 2019142303A JP 2019142303 A JP2019142303 A JP 2019142303A JP 6733790 B2 JP6733790 B2 JP 6733790B2
Authority
JP
Japan
Prior art keywords
personal identification
mobile terminal
image
guide screen
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019142303A
Other languages
Japanese (ja)
Other versions
JP2020095681A (en
Inventor
将太 稲垣
将太 稲垣
薫平 松田
薫平 松田
雅則 木村
雅則 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Publication of JP2020095681A publication Critical patent/JP2020095681A/en
Priority to JP2020114009A priority Critical patent/JP7419990B2/en
Application granted granted Critical
Publication of JP6733790B2 publication Critical patent/JP6733790B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
  • Collating Specific Patterns (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、本人確認処理に用いる携帯端末、本人確認システム及びプログラムに関する。 The present invention relates to a mobile terminal, a personal identification system and a program used for personal identification processing.

従来、例えば、信販会社から送付顧客にクレジットカードを配送する場合には、本人確認を厳格に行う必要がある。そのためのシステムとして、本人確認と集配業務とを効率的に行うためのシステムが開示されている（例えば、特許文献１）。特許文献１によれば、クレジットカードが封入された集配物を受取人に引き渡す場合に、受取人であることを確認した上で、集配物を引き渡す。具体的には、本人確認の手続きとして、まず、集配担当のドライバは、受取人と対面している状態で、集配物のラベルに記載の事項と、受取人が提示した免許証等の本人確認書類の氏名、住所とを目視で確認する。そして、本人確認書類に記載された受取人の生年月日、書類の種別データ、本人確認書類に記載された記号番号データを、集配担当のドライバが所持する端末に入力し、ラベルを読み取ることで得たデータと照合する。照合結果が一致であれば、荷物を受取人に引き渡す。 Conventionally, for example, when a credit card is delivered from a credit company to a sending customer, it is necessary to strictly confirm the identity. As a system for that purpose, a system for efficiently performing identity verification and collection/delivery work is disclosed (for example, Patent Document 1). According to Japanese Patent Laid-Open No. 2004-242242, when a pickup/delivery product in which a credit card is enclosed is delivered to a recipient, the delivery/delivery product is delivered after confirming that the recipient is the recipient. Specifically, as a procedure for identity verification, first, the driver in charge of delivery and delivery is face-to-face with the recipient, and the identity of the items listed on the label of the delivery and the driver's license etc. presented by the recipient. Visually check the name and address of the document. Then, enter the recipient's date of birth, the document type data, and the symbol number data described in the personal identification document on the personal identification document into the terminal possessed by the driver in charge of delivery, and read the label. Match with the obtained data. If the verification result is a match, the package is delivered to the recipient.

特開２００９−２３７８２３号公報JP, 2009-237823, A

例えば、銀行の口座開設等においての本人確認の手段として、従来は、口座開設を申し込んだ申込本人宅に、特許文献１に記載のような対面式での本人確認を行う転送不要郵便又は本人限定郵便を送付することにより、本人確認が行われている。昨今、オンラインでの本人確認を完結させる方法が、金融機関において検討されている。このような状況下において、本人確認を行う方法として、非対面式での本人確認が求められている。しかし、非対面式であっても、対面式の場合と同様に、本人確認を厳格に行う必要がある。 For example, as a means of confirming the identity in opening a bank account, etc., conventionally, there is no need to forward the mail or the person is limited to the person who has applied for the account opening and performs face-to-face identity verification as described in Patent Document 1. The identity is confirmed by sending mail. Recently, financial institutions are studying methods of completing online identity verification. Under such circumstances, non-face-to-face personal identification is required as a method of personal identification. However, even if it is a non-face-to-face type, it is necessary to strictly verify the identity, as in the face-to-face type.

そこで、本発明は、オンラインによる取引において本人確認を厳格に行うための携帯端末、本人確認システム及びプログラムを提供することを目的とする。 Therefore, an object of the present invention is to provide a mobile terminal, a personal identification system, and a program for strictly performing personal identification in online transactions.

本発明は、以下のような解決手段により、前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。また、符号を付して説明した構成は、適宜改良してもよく、また、少なくとも一部を他の構成物に代替してもよい。 The present invention solves the above problems by the following means. It should be noted that, for ease of understanding, reference numerals corresponding to the embodiments of the present invention will be given and described, but the present invention is not limited thereto. Further, the configurations described with reference numerals may be appropriately improved, or at least a part of them may be replaced with other components.

第１の発明は、撮影部（３３）を有する携帯端末（１）であって、サービス開始時におけるユーザの本人確認に必要なデータを、前記ユーザが所持する前記携帯端末のみを用いて取得するものであり、顔写真が掲載された本人確認書類（３）と共に撮影する対象物（９）の配置位置を指定した案内画面を出力する案内画面出力手段（１４）と、前記案内画面出力手段により出力された前記案内画面にしたがって、前記対象物と前記本人確認書類とを含む画像である本人確認画像を、前記撮影部から取得する本人確認画像取得手段（１５）と、前記本人確認書類を所持した所持者の顔を含む画像である照合画像を、前記撮影部から取得する照合画像取得手段（１９）と、前記本人確認画像取得手段により取得した前記本人確認画像と、前記照合画像取得手段により取得した前記照合画像とを、画像を用いて本人確認を行う本人確認サーバ（４）に送信する照合用画像送信手段（２０）と、を備えること、を特徴とする携帯端末である。
第２の発明は、第１の発明の携帯端末（１）において、前記案内画面出力手段（１４）による処理と、前記本人確認画像取得手段（１５）による処理とを複数回繰り返す繰り返し処理手段（１３）を備え、前記案内画面出力手段は、前記対象物（９）の配置位置が都度異なる前記案内画面を出力し、前記本人確認画像取得手段は、異なる観察角度の前記本人確認書類（３）を撮影した複数の前記本人確認画像を、前記撮影部（３３）から取得すること、を特徴とする携帯端末である。
第３の発明は、第２の発明の携帯端末（１）において、前記本人確認画像取得手段（１５）により取得する前記複数の本人確認画像は、前記対象物（９）を同じ観察角度で撮影したものであること、を特徴とする携帯端末である。
第４の発明は、第２の発明の携帯端末（１）において、前記本人確認画像取得手段（１５）により取得する前記複数の本人確認画像は、前記対象物（９）を前記本人確認書類（３）と同じ観察角度で撮影したものであること、を特徴とする携帯端末である。
第５の発明は、第１の発明の携帯端末（１）において、前記案内画面出力手段（１４）による処理と、前記本人確認画像取得手段（１５）による処理とを複数回繰り返す繰り返し処理手段（１３）を備え、前記案内画面出力手段は、前記対象物の配置位置が都度異なる前記案内画面を出力し、前記本人確認画像取得手段は、異なる撮影方向から前記本人確認書類を撮影した複数の前記本人確認画像を、前記撮影部（３３）から取得すること、を特徴とする携帯端末である。
第６の発明は、第２の発明から第５の発明までのいずれかの携帯端末（１）において、前記本人確認画像取得手段（１５）により取得する前記複数の本人確認画像のうち少なくとも１つの前記本人確認画像は、前記本人確認書類（３）の厚み及び顔画像を確認可能なものであること、を特徴とする携帯端末である。
第７の発明は、第１の発明から第６の発明までのいずれかの携帯端末（１）において、前記案内画面出力手段（１４）は、予め定められた複数の位置の中からランダムに決定した前記対象物（９）の配置位置を含む前記案内画面を出力すること、を特徴とする携帯端末である。
第８の発明は、第１の発明から第６の発明までのいずれかの携帯端末（１）において、前記案内画面出力手段（１４）は、予め決められた前記案内画面の指定領域内においてランダムに決定した前記対象物（９）の配置位置を含む前記案内画面を出力すること、を特徴とする携帯端末である。
第９の発明は、第１の発明から第８の発明までのいずれかの携帯端末（１）において、前記案内画面出力手段（１４）は、前記対象物（９）の配置位置を枠線として示した前記案内画面を出力すること、を特徴とする携帯端末である。
第１０の発明は、第１の発明から第９の発明までのいずれかの携帯端末（１）において、前記案内画面出力手段（１４）は、前記対象物（９）の配置位置を円形状又は楕円形状として示した前記案内画面を出力し、前記対象物は、硬貨を含むこと、を特徴とする携帯端末である。
第１１の発明は、第１の発明から第１０の発明までのいずれかの携帯端末（１）において、前記案内画面出力手段（１４）は、前記対象物（９）の配置位置と共に前記本人確認書類（３）の配置位置を指定した前記案内画面を出力すること、を特徴とする携帯端末である。
第１２の発明は、第１１の発明の携帯端末（１）において、前記案内画面出力手段（１４）は、前記本人確認書類（３）の配置位置を矩形形状又は台形形状の枠線として示した前記案内画面を出力すること、を特徴とする携帯端末である。
第１３の発明は、第１の発明から第１２の発明までのいずれかの携帯端末（１）において、前記本人確認画像取得手段（１５）により取得した前記本人確認画像に基づいて、前記対象物（９）及び前記本人確認書類（３）についての正当性を確認する正当性確認手段（１６）を備え、前記照合画像取得手段（１９）は、前記正当性確認手段により正当性を確認できた場合に、前記照合画像を取得すること、を特徴とする携帯端末である。
第１４の発明は、第１の発明から第１３の発明までのいずれかの携帯端末（１）において、前記撮影部（３３）から取得した前記所持者の顔の画像から瞬きを検出する瞬き検出手段（１８）を備え、前記照合画像取得手段（１９）は、前記瞬き検出手段が瞬きを検出した後に前記撮影部が撮影した前記照合画像を取得すること、を特徴とする携帯端末である。
第１５の発明は、撮影部（３３）を有する携帯端末（１）と、前記携帯端末に対して通信可能に接続され、本人確認処理を行う本人確認サーバ（４）と、を備えた本人確認システム（１００）であって、前記携帯端末は、サービス開始時におけるユーザの本人確認に必要なデータを、前記ユーザが所持する前記携帯端末のみを用いて取得するものであり、顔写真が掲載された本人確認書類（３）と共に撮影する対象物（９）の配置位置を指定した案内画面を出力する案内画面出力手段（１４）と、前記案内画面出力手段により出力された前記案内画面にしたがって、前記対象物と前記本人確認書類とを含む画像である本人確認画像を、前記撮影部から取得する本人確認画像取得手段（１５）と、前記本人確認書類を所持した所持者の顔を含む画像である照合画像を、前記撮影部から取得する照合画像取得手段（１９）と、前記本人確認画像取得手段により取得した前記本人確認画像と、前記照合画像取得手段により取得した前記照合画像とを、前記本人確認サーバに送信する照合用画像送信手段（２０）と、を備え、前記本人確認サーバは、前記携帯端末から受信した前記照合画像と前記本人確認画像に含まれる顔写真画像とを照合する顔照合手段（４３）と、前記顔照合手段による照合結果情報を、前記携帯端末に送信する結果送信手段（４４）と、を備え、前記携帯端末は、受信した前記照合結果情報に基づいて、前記携帯端末及び前記本人確認サーバに対して通信可能に接続されサービス処理を行うサービス提供サーバ（７）との間でサービス処理を開始するか否かを判定するサービス開始判定手段（２２）を備えること、を特徴とする本人確認システムである。
第１６の発明は、撮影部（３３）を有し、サービス開始時におけるユーザの本人確認に必要なデータの取得に用いる、前記ユーザが所持するコンピュータ（１）を、顔写真が掲載された本人確認書類（３）と共に撮影する対象物（９）の配置位置を指定した案内画面を出力する案内画面出力手段と、前記案内画面出力手段により出力された前記案内画面にしたがって、前記対象物と前記本人確認書類とを含む画像である本人確認画像を、前記撮影部から取得する本人確認画像取得手段と、前記本人確認書類を所持した所持者の顔を含む画像である照合画像を、前記撮影部から取得する照合画像取得手段と、前記本人確認画像取得手段により取得した前記本人確認画像と、前記照合画像取得手段により取得した前記照合画像とを、画像を用いて本人確認を行う本人確認サーバ（４）に送信する照合用画像送信手段と、して機能させるためのプログラム（３１ｂ）である。 A first aspect of the present invention is a mobile terminal (1) having a photographing unit (33), and obtains data necessary for confirming the identity of a user at the time of starting a service, using only the mobile terminal possessed by the user. The guide screen output means (14) for outputting a guide screen designating the arrangement position of the object (9) to be photographed together with the personal identification document (3) on which the facial photograph is posted, and the guide screen output means. According to the outputted guidance screen, possession of the personal identification document (15) and a personal identification image acquisition means (15) for acquiring a personal identification image which is an image including the object and the personal identification document from the photographing unit. By the collation image acquisition unit (19) that acquires the collation image that is the image including the face of the holder from the photographing unit, the personal identification image acquired by the personal identification image acquisition unit, and the collation image acquisition unit. A mobile terminal, comprising: a collation image transmission unit (20) that transmits the acquired collation image to an identity verification server (4) that performs identity verification using the image.
A second invention is, in the portable terminal (1) of the first invention, a repetitive processing means for repeating the processing by the guide screen output means (14) and the processing by the personal identification image acquisition means (15) a plurality of times ( 13), the guide screen output means outputs the guide screen in which the arrangement position of the object (9) is different each time, and the personal identification image acquisition means, the personal identification document (3) of different observation angles. The mobile terminal is characterized in that a plurality of the personal identification images obtained by photographing are acquired from the photographing unit (33).
A third aspect of the present invention is the portable terminal (1) according to the second aspect, wherein the plurality of personal identification images acquired by the personal identification image acquisition means (15) capture the object (9) at the same observation angle. The mobile terminal is characterized by being
A fourth aspect of the present invention is the portable terminal (1) according to the second aspect of the present invention, wherein the plurality of personal identification images acquired by the personal identification image acquisition means (15) include the object (9) as the personal identification document ( The mobile terminal is characterized in that it is taken at the same observation angle as in 3).
A fifth aspect of the present invention is, on the portable terminal (1) of the first aspect, a repetitive processing means (the processing by the guide screen output means (14) and the processing by the personal identification image acquisition means (15) are repeated a plurality of times ( 13), the guide screen output means outputs the guide screen in which the arrangement position of the target object is different each time, and the personal identification image acquisition means includes a plurality of the personal identification document images captured from different image capturing directions. The personal identification image is acquired from the photographing unit (33), which is a mobile terminal.
A sixth aspect of the present invention is the portable terminal (1) according to any one of the second aspect to the fifth aspect, wherein at least one of the plurality of personal identification images acquired by the personal identification image acquisition means (15) is acquired. The personal identification image is a portable terminal characterized in that the thickness and face image of the personal identification document (3) can be confirmed.
A seventh invention is the portable terminal (1) according to any one of the first invention to the sixth invention, wherein the guide screen output means (14) is randomly determined from a plurality of predetermined positions. The mobile terminal is characterized in that the guide screen including the arranged position of the object (9) is output.
An eighth invention is the portable terminal (1) according to any one of the first invention to the sixth invention, wherein the guide screen output means (14) is random within a predetermined area of the guide screen. And outputting the guidance screen including the arrangement position of the object (9) determined in step 1.
A ninth invention is the portable terminal (1) according to any one of the first invention to the eighth invention, wherein the guide screen output means (14) uses the arrangement position of the object (9) as a frame line. The mobile terminal is characterized by outputting the guide screen shown.
A tenth aspect of the present invention is the portable terminal (1) according to any one of the first to ninth aspects, wherein the guide screen output means (14) indicates that the arrangement position of the object (9) is circular or The mobile terminal is characterized in that the guide screen shown as an elliptical shape is output, and the object includes a coin.
An eleventh invention is the portable terminal (1) according to any one of the first invention to the tenth invention, wherein the guide screen output means (14) confirms the identity together with the arrangement position of the object (9). The mobile terminal is characterized in that the guide screen designating the arrangement position of the document (3) is output.
A twelfth invention is the mobile terminal (1) according to the eleventh invention, wherein the guide screen output means (14) shows the arrangement position of the personal identification document (3) as a rectangular or trapezoidal frame line. A mobile terminal, characterized in that the guide screen is output.
A thirteenth invention is the mobile terminal (1) according to any one of the first to twelfth inventions, wherein the object is based on the identity verification image acquired by the identity verification image acquisition means (15). (9) and legitimacy confirmation means (16) for confirming the legitimacy of the personal identification document (3), and the collation image acquisition means (19) was able to confirm the legitimacy by the legitimacy confirmation means. In this case, the collation image is acquired, which is a portable terminal.
A fourteenth invention is a portable terminal (1) according to any one of the first invention to the thirteenth invention, in which blink detection is performed to detect a blink from an image of the face of the holder acquired from the imaging unit (33). A portable terminal comprising means (18), wherein the collation image acquisition means (19) acquires the collation image photographed by the photographing unit after the blink detection means detects a blink.
A fifteenth aspect of the present invention is an identity verification including a mobile terminal (1) having an image capturing unit (33) and an identity verification server (4) communicably connected to the mobile terminal and performing identity verification processing. In the system (100), the mobile terminal acquires data necessary for confirming the identity of the user at the time of service start, using only the mobile terminal owned by the user, and a face photograph is posted. According to the guide screen output means (14) for outputting a guide screen designating the arrangement position of the object (9) to be photographed together with the personal identification document (3), and the guide screen output by the guide screen output means. A personal identification image acquiring unit (15) for acquiring a personal identification image, which is an image including the object and the personal identification document, from the photographing unit, and an image including a face of a holder who has the personal identification document. A collation image acquisition unit (19) that acquires a collation image from the photographing unit, the personal identification image acquired by the personal identification image acquisition unit, and the collation image acquired by the collation image acquisition unit, A matching image transmitting unit (20) for transmitting to the personal identification server, wherein the personal identification server collates the collation image received from the mobile terminal with a facial photograph image included in the personal identification image. A matching means (43) and a result transmitting means (44) for transmitting the matching result information by the face matching means to the mobile terminal, the mobile terminal based on the received matching result information. A service start determination means (22) for determining whether to start service processing between a mobile terminal and a service providing server (7) communicably connected to the personal identification server and performing service processing. Is a personal identification system characterized by.
A sixteenth aspect of the invention is that the computer (1) possessed by the user, which has a photographing unit (33) and is used to acquire the data necessary for identifying the user at the time of starting the service, is the person who has the facial photograph. According to the guide screen output means for outputting a guide screen specifying the arrangement position of the object (9) to be photographed together with the confirmation document (3), and the guide screen output by the guide screen output means, the object and the object An identity verification image acquisition unit that acquires an identity verification image that is an image including an identity verification document from the imaging unit, and a matching image that is an image that includes the face of the holder who possesses the identity verification document, the imaging unit From the verification image acquisition unit, the verification image acquired by the verification image acquisition unit, and the verification image acquired by the verification image acquisition unit, a verification server that performs verification using an image ( 4) is a program (31b) for functioning as a collation image transmission means for transmission to 4).

本発明によれば、オンラインによる取引において本人確認を厳格に行うための携帯端末、本人確認システム及びプログラムを提供することができる。 According to the present invention, it is possible to provide a mobile terminal, a personal identification system, and a program for strictly performing personal identification in online transactions.

本実施形態に係る本人確認システムの全体構成を示す図である。It is a figure showing the whole personal identification system composition concerning this embodiment. 本実施形態に係る携帯端末の機能ブロック図である。It is a functional block diagram of the portable terminal which concerns on this embodiment. 本実施形態に係る本人確認サーバの機能ブロック図である。It is a functional block diagram of an identity verification server concerning this embodiment. 本実施形態に係る携帯端末でのサービス開始処理を示すフローチャートである。It is a flow chart which shows service start processing in a personal digital assistant concerning this embodiment. 本実施形態に係る携帯端末での本人確認処理を示すフローチャートである。It is a flow chart which shows the identity verification processing in the personal digital assistant concerning this embodiment. 本実施形態に係る携帯端末での本人確認画像処理を示すフローチャートである。It is a flow chart which shows personal identification image processing in a personal digital assistant concerning this embodiment. 本実施形態に係る案内画面のパターン例を示す図である。It is a figure which shows the example of a pattern of the guidance screen which concerns on this embodiment. 本実施形態に係る携帯端末での表示例を示す図である。It is a figure which shows the example of a display in the portable terminal which concerns on this embodiment. 本実施形態に係る携帯端末での正当性確認処理を示すフローチャートである。It is a flow chart which shows legitimacy confirmation processing in the personal digital assistant concerning this embodiment. 本実施形態に係る本人確認システムでの画像解析処理を示すフローチャートである。It is a flow chart which shows the image analysis processing in the personal identification system concerning this embodiment. 本実施形態に係る携帯端末での表示例を示す図である。It is a figure which shows the example of a display in the portable terminal which concerns on this embodiment. 本実施形態に係る携帯端末での表示例を示す図である。It is a figure which shows the example of a display in the portable terminal which concerns on this embodiment. 本実施形態に係る本人確認システムでの照合画像処理を示すフローチャートである。It is a flow chart which shows the collation image processing in the personal identification system concerning this embodiment. 本実施形態に係る携帯端末での表示例を示す図である。It is a figure which shows the example of a display in the portable terminal which concerns on this embodiment. 変形形態に係る案内画面のパターン例を示す図である。It is a figure which shows the example of a pattern of the guidance screen which concerns on a modification. 変形形態に係る案内画面の表示態様例を示す図である。It is a figure which shows the example of a display mode of the guidance screen which concerns on a modification. 変形形態に係る携帯端末での表示例及び案内画面のパターン例を示す図である。It is a figure which shows the example of a display and the example of a pattern of a guidance screen in the portable terminal which concerns on a modification.

以下、本発明を実施するための形態について、図を参照しながら説明する。なお、これは、あくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
（実施形態）
図１は、本実施形態に係る本人確認システム１００の全体構成を示す図である。
図２は、本実施形態に係る携帯端末１の機能ブロック図である。
図３は、本実施形態に係る本人確認サーバ４の機能ブロック図である。
図１に示す本人確認システム１００は、各種サービスの初回のサービス開始時に必要な本人確認を、携帯端末１のみによって行うためのシステムである。また、本人確認システム１００は、２回目以降のサービス開始時に必要な本人認証を、携帯端末１のみによって行うシステムである。 Hereinafter, modes for carrying out the present invention will be described with reference to the drawings. Note that this is merely an example, and the technical scope of the present invention is not limited to this.
(Embodiment)
FIG. 1 is a diagram showing an overall configuration of an identity verification system 100 according to the present embodiment.
FIG. 2 is a functional block diagram of the mobile terminal 1 according to the present embodiment.
FIG. 3 is a functional block diagram of the identity verification server 4 according to the present embodiment.
The personal identification system 100 shown in FIG. 1 is a system for performing personal identification required only when the first service of various services is started, using only the mobile terminal 1. Further, the personal identification system 100 is a system in which personal identification required at the start of the second and subsequent services is performed only by the mobile terminal 1.

ここで、各種サービスとは、例えば、銀行での口座開設や各種の銀行業務に係るサービス、カーシェアサービス、不動産の賃貸等に係るサービス等であり、本人確認が必要な様々なサービスをいう。ここで、本実施形態では、口座開設等の金融機関との取引を始めるものを例に説明し、発明における本人確認とは、携帯端末等を利用したオンラインでの手続きを可能とするための確認処理をいう。他方、本人認証とは、既に本人確認ができている状態であって、２回目以降のサービス開始時等に、なりすまし等を防ぐためのものをいう。
以下の説明において、携帯端末１を使用して、本人確認や本人認証が必要なサービスを開始する場合を例に説明する。 Here, the various services are, for example, services related to opening an account in a bank, various banking services, car sharing services, renting of real estate, and the like, and are various services that require identification. Here, in the present embodiment, the case of starting a transaction with a financial institution such as opening an account will be described as an example, and the identity verification in the invention is a confirmation for enabling an online procedure using a mobile terminal or the like. Refers to processing. On the other hand, the personal authentication means a state in which the person has already been confirmed, and which prevents spoofing or the like at the time of starting the service for the second time or later.
In the following description, a case will be described as an example in which the mobile terminal 1 is used to start a service that requires identification and authentication.

本人確認システム１００は、携帯端末１と、本人確認サーバ４とを備える。携帯端末１は、例えば、無線通信の基地局Ｒを介して通信ネットワークＮに接続可能である。また、本人確認サーバ４は、通信ネットワークＮを介して通信可能に接続されている。
本人確認システム１００は、通信ネットワークＮを介して、サービス提供サーバ７に対して接続されている。サービス提供サーバ７は、携帯端末１との間でサービス処理を行うためのサーバである。 The identity verification system 100 includes a mobile terminal 1 and an identity verification server 4. The mobile terminal 1 can be connected to the communication network N via a base station R for wireless communication, for example. The identity verification server 4 is communicably connected via the communication network N.
The personal identification system 100 is connected to the service providing server 7 via the communication network N. The service providing server 7 is a server for performing service processing with the mobile terminal 1.

携帯端末１は、例えば、サービス提供サーバ７によるサービスの提供を受けようとする者が所持する端末である。以下、サービスの提供を受けようとする者のことを、ユーザ（所持者）という。携帯端末１は、例えば、スマートフォンやタブレットに代表されるコンピュータの機能を併せ持った携帯型の装置である。
図２に示すように、携帯端末１は、制御部１０と、記憶部３０と、カメラ３３（撮影部）と、タッチパネルディスプレイ３５と、通信インタフェース部３９とを備える。 The mobile terminal 1 is, for example, a terminal carried by a person who wants to receive the service provided by the service providing server 7. Hereinafter, a person who intends to receive the service is referred to as a user (owner). The mobile terminal 1 is, for example, a mobile device that also has the functions of a computer represented by a smartphone or a tablet.
As shown in FIG. 2, the mobile terminal 1 includes a control unit 10, a storage unit 30, a camera 33 (imaging unit), a touch panel display 35, and a communication interface unit 39.

制御部１０は、携帯端末１の全体を制御するＣＰＵ（中央処理装置）である。制御部１０は、記憶部３０に記憶されているオペレーティングシステム（ＯＳ）や各種アプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
制御部１０は、アプリ呼出部１１と、本人確認部１２と、本人認証部２１と、サービス開始判定部２２（サービス開始判定手段）とを備える。 The control unit 10 is a CPU (central processing unit) that controls the entire mobile terminal 1. The control unit 10 performs various functions in cooperation with the above-described hardware by appropriately reading and executing an operating system (OS) and various application programs stored in the storage unit 30.
The control unit 10 includes an application calling unit 11, an identity confirmation unit 12, an identity authentication unit 21, and a service start determination unit 22 (service start determination means).

アプリ呼出部１１は、取引アプリ３１ａを実行した際に、取引アプリ３１ａに対応して処理を行うサービス提供サーバ７から本人確認や本人認証の要求を受信して、本人確認アプリ３１ｂ（プログラム）を呼び出す。
本人確認部１２は、本人確認処理を行う制御部である。本人確認部１２は、本人確認画像処理部１３（繰り返し処理手段）と、照合画像処理部１７とを備える。 When executing the transaction application 31a, the application calling unit 11 receives a request for identity verification or identity authentication from the service providing server 7 that performs processing corresponding to the transaction application 31a, and executes the identity verification application 31b (program). call.
The identity verification unit 12 is a control unit that performs identity verification processing. The identity verification unit 12 includes an identity verification image processing unit 13 (repetition processing means) and a collation image processing unit 17.

本人確認画像処理部１３は、案内画面出力部１４（案内画面出力手段）と、本人確認画像取得部１５（本人確認画像取得手段）と、正当性確認部１６（正当性確認手段）とを備える。
本人確認画像処理部１３は、案内画面出力部１４と、本人確認画像取得部１５と、正当性確認部１６とによる処理を複数回繰り返すことによって、本人確認に必要な画像を取得する。 The personal identification image processing unit 13 includes a guide screen output unit 14 (guidance screen output unit), a personal identification image acquisition unit 15 (personal confirmation image acquisition unit), and a validity confirmation unit 16 (validity confirmation unit). ..
The identity verification image processing unit 13 acquires an image required for identity verification by repeating the processing by the guidance screen output unit 14, the identity verification image acquisition unit 15, and the validity verification unit 16 multiple times.

案内画面出力部１４は、本人確認書類の配置位置である書類位置と、本人確認書類と共に撮影する硬貨（対象物）の配置位置である硬貨位置とを指定した案内画面を、タッチパネルディスプレイ３５に出力する。
ここで、本人確認書類とは、ユーザの顔写真が掲載された、公的に認められた身分証明書である。本人確認書類の一例として、図１には、運転免許証３が示されている。なお、本人確認書類としては、他に、ユーザの顔写真が掲載されたマイナンバーカード等であってもよい。
また、硬貨（コイン）の種類は、限定されない。
さらに、案内画面は、タッチパネルディスプレイ３５にカメラ３３によるスルー画像が表示されている状態で、スルー画像と共に表示される。ここで、スルー画像とは、カメラ３３の撮影範囲がタッチパネルディスプレイ３５に表示されている画像をいう。また、後述するが、案内画面を複数回出力する際の硬貨位置は、異なる位置である。
本人確認画像取得部１５は、ユーザがカメラ３３を操作して、自身の本人確認書類及び硬貨を一体にして撮影することで、本人確認書類と硬貨とを含む画像である本人確認画像を取得する。 The guidance screen output unit 14 outputs, on the touch panel display 35, a guidance screen that specifies the document position that is the arrangement position of the identification document and the coin position that is the arrangement position of the coin (object) to be photographed together with the identification document. To do.
Here, the personal identification document is a publicly recognized identification card in which a facial photograph of the user is posted. A driver's license 3 is shown in FIG. 1 as an example of an identification document. In addition, the personal identification document may be a my number card or the like on which a face photograph of the user is posted.
Further, the type of coins is not limited.
Further, the guide screen is displayed together with the through image in the state where the through image by the camera 33 is displayed on the touch panel display 35. Here, the through image is an image in which the shooting range of the camera 33 is displayed on the touch panel display 35. Further, as will be described later, the coin positions when the guide screen is output multiple times are different positions.
The identity verification image acquisition unit 15 acquires the identity verification image, which is an image including the identity verification document and the coin, by the user operating the camera 33 to integrally photograph the identity verification document and the coin. ..

正当性確認部１６は、本人確認画像の正当性を確認する。正当性確認部１６は、例えば、書類位置と、硬貨位置との少なくとも一方について、何も写り込んでいない場合に、正当性が確認できないとしてエラーにする。また、正当性確認部１６は、書類位置に本人確認書類が写り込んでいる場合であっても、本人確認書類を認識できない場合、つまり、本人確認書類の画像から文字が認識できない場合に、正当性を確認できないとしてエラーにする。また、正当性確認部１６は、本人確認書類を認識できた場合であっても、本人確認書類の有効期限が超過している場合には、正当性を確認できないとしてエラーにする。 The legitimacy confirming unit 16 confirms the legitimacy of the personal identification image. For example, when nothing is reflected in at least one of the document position and the coin position, the validity checking unit 16 determines that the validity cannot be checked and gives an error. Even if the identity verification document is reflected in the document position, the validity checking unit 16 validates the identity verification document, that is, when the character cannot be recognized from the image of the identity verification document. It is an error because the sex cannot be confirmed. In addition, even if the validity confirmation unit 16 can recognize the identity verification document, if the validity period of the identity verification document has expired, the validity verification unit 16 determines that the validity cannot be verified and makes an error.

そして、本人確認画像処理部１３は、正当性を確認できた場合には、取得した本人確認画像を、取得画像記憶部３２に記憶させる。また、本人確認画像処理部１３は、取得した本人確認画像から本人確認書類の顔写真の部分である顔写真画像を抽出する。そして、本人確認画像処理部１３は、抽出した顔写真画像を、取得画像記憶部３２に記憶させる。 Then, the identity verification image processing unit 13 stores the acquired identity verification image in the acquired image storage unit 32 when the validity can be confirmed. Further, the personal identification image processing unit 13 extracts a facial photograph image, which is a portion of the facial photograph of the personal identification document, from the acquired personal identification image. Then, the personal identification image processing unit 13 stores the extracted face photograph image in the acquired image storage unit 32.

照合画像処理部１７は、ユーザの顔画像を取得して、本人確認書類の顔写真と照合を行う。照合画像処理部１７は、瞬き検出部１８（瞬き検出手段）と、照合画像取得部１９（照合画像取得手段）と、画像送信部２０（照合用画像送信手段）とを備える。
まず、ユーザが、自身の顔画像を取得するために、カメラ３３を自身の顔が写る位置にした状態のままにして、自身の顔を撮影し続ける。そして、瞬き検出部１８は、取得している撮影画像から瞬きを検出する。
照合画像取得部１９は、瞬き検出部１８により瞬きを検出した後に、カメラ３３が撮影したユーザの顔画像を、照合に用いる照合画像として取得する。
画像送信部２０は、取得した照合画像と、取得画像記憶部３２に記憶された顔写真画像とを、照合のために本人確認サーバ４に対して送信する。 The collation image processing unit 17 acquires the face image of the user and collates it with the face photograph of the identity verification document. The collation image processing unit 17 includes a blink detection unit 18 (blink detection unit), a collation image acquisition unit 19 (collation image acquisition unit), and an image transmission unit 20 (collation image transmission unit).
First, in order to obtain a face image of the user, the user keeps the camera 33 in a position where the face of the user is captured and continues to take a picture of the face of the user. Then, the blink detection unit 18 detects the blink from the acquired captured image.
The collation image acquisition unit 19 acquires the face image of the user captured by the camera 33 as a collation image used for collation after the blink detection unit 18 detects the blink.
The image transmission unit 20 transmits the acquired collation image and the facial photograph image stored in the acquired image storage unit 32 to the personal identification server 4 for collation.

本人認証部２１は、本人認証を行う制御部である。本人認証部２１は、照合画像処理部１７を備える。つまり、本人認証部２１は、カメラ３３が撮影した瞬き検出後のユーザの顔画像である照合画像を取得し、取得した照合画像と、取得画像記憶部３２に記憶された顔写真画像とを、本人確認サーバ４に対して送信する。
サービス開始判定部２２は、本人確認サーバ４から照合結果（照合結果情報）を受信して、受信した照合結果に基づいてサービスの開始が可能か否かを判定する。 The personal authentication unit 21 is a control unit that performs personal authentication. The personal authentication unit 21 includes a collation image processing unit 17. That is, the person authenticating unit 21 acquires a collation image which is a user's face image after the blink detection by the camera 33, and acquires the collation image and the face photo image stored in the acquired image storage unit 32. It is sent to the identity verification server 4.
The service start determination unit 22 receives the matching result (matching result information) from the identity verification server 4 and determines whether the service can be started based on the received matching result.

記憶部３０は、制御部１０が各種の処理を実行するために必要なプログラム、データ等を記憶するための半導体メモリ素子等の記憶領域である。
記憶部３０は、プログラム記憶部３１と、取得画像記憶部３２とを備える。
プログラム記憶部３１は、各種のアプリケーションプログラム（以下、アプリケーションプログラムのことを、アプリケーション、アプリ、又はプログラム等という。）を記憶する記憶領域である。プログラム記憶部３１は、取引アプリ３１ａを記憶している。 The storage unit 30 is a storage area such as a semiconductor memory device for storing programs, data, and the like necessary for the control unit 10 to execute various processes.
The storage unit 30 includes a program storage unit 31 and an acquired image storage unit 32.
The program storage unit 31 is a storage area that stores various application programs (hereinafter, application programs are referred to as applications, applications, programs, or the like). The program storage unit 31 stores a transaction application 31a.

取引アプリ３１ａは、予め携帯端末１にインストールされ、又は、通信ネットワークＮを介して図示しないアプリ配信サーバに対して通信をすることで、携帯端末１にダウンロードされる。
取引アプリ３１ａは、サービス提供サーバ７との間でのサービス処理を行うためのプログラムである。取引アプリ３１ａは、例えば、銀行の口座開設のためのアプリである。取引アプリ３１ａは、本人確認アプリ３１ｂを含む。
本人確認アプリ３１ｂは、携帯端末１の制御部１０が実行する本人確認及び本人認証の各種機能を行うためのプログラムである。
なお、本実施形態では、取引アプリ３１ａが本人確認アプリ３１ｂを含むものとして説明するが、取引アプリ３１ａと、本人確認アプリ３１ｂとは、別のアプリであってもよい。 The transaction application 31a is installed in the mobile terminal 1 in advance, or downloaded to the mobile terminal 1 by communicating with an application distribution server (not shown) via the communication network N.
The transaction application 31a is a program for performing service processing with the service providing server 7. The transaction application 31a is, for example, an application for opening a bank account. The transaction application 31a includes a personal identification application 31b.
The identity verification application 31b is a program for performing various functions of identity verification and identity authentication executed by the control unit 10 of the mobile terminal 1.
Although the transaction application 31a is described as including the identity verification application 31b in the present embodiment, the transaction application 31a and the identity verification application 31b may be different applications.

取得画像記憶部３２は、カメラ３３によって取得した画像を記憶する記憶領域である。取得画像記憶部３２は、本人確認画像を記憶する。また、取得画像記憶部３２は、本人確認画像から抽出した顔写真画像を記憶する。 The acquired image storage unit 32 is a storage area that stores the image acquired by the camera 33. The acquired image storage unit 32 stores the personal identification image. Further, the acquired image storage unit 32 stores the face photograph image extracted from the personal identification image.

カメラ３３は、撮影装置である。カメラ３３は、インカメラ３３ａと、アウトカメラ３３ｂとを有する。インカメラ３３ａは、携帯端末１のタッチパネルディスプレイ３５の側に有するカメラである。アウトカメラ３３ｂは、携帯端末１の背面側に有するカメラである。
タッチパネルディスプレイ３５は、液晶パネル等で構成される表示部としての機能と、ユーザの指による各種操作入力を行う入力部としての機能とを有する。
通信インタフェース部３９は、基地局Ｒ及び通信ネットワークＮを介して各種のサーバとの通信を行うためのインタフェースであり、送信部及び受信部の役割を行う。 The camera 33 is a photographing device. The camera 33 has an in-camera 33a and an out-camera 33b. The in-camera 33a is a camera provided on the side of the touch panel display 35 of the mobile terminal 1. The out-camera 33b is a camera provided on the back side of the mobile terminal 1.
The touch panel display 35 has a function as a display unit including a liquid crystal panel and the like, and a function as an input unit for inputting various operations by the user's finger.
The communication interface unit 39 is an interface for performing communication with various servers via the base station R and the communication network N, and functions as a transmission unit and a reception unit.

図１に戻り、運転免許証３は、カード形状のものであり、上述したように、公的な身分証明書である。運転免許証３の表面には、ユーザの住所、氏名、生年月日と、ユーザの顔写真とを含むユーザの個人情報が記載されている。また、運転免許証３の表面には、有効期限や、免許番号、交付日、色種別（ゴールドか否か等）等が記載されている。本人確認システム１００において、携帯端末１のユーザは、自身の運転免許証３等を、携帯端末１を用いて撮影する。 Returning to FIG. 1, the driver's license 3 is in the form of a card, and is a public identification card as described above. On the surface of the driver's license 3, personal information of the user including the user's address, name, date of birth, and user's face photograph is described. Further, on the surface of the driver's license 3, the expiration date, the license number, the date of grant, the color type (whether gold or not, etc.) are described. In the personal identification system 100, the user of the mobile terminal 1 takes a picture of his/her driver's license 3 or the like using the mobile terminal 1.

本人確認サーバ４は、携帯端末１との間でオンラインでの手続きによる本人確認を行い、顔認証による本人認証を行うサーバである。本人確認サーバ４は、サービスを提供する企業とは異なる企業が有するものとするが、これに限定されるものではない。
図３に示すように、本人確認サーバ４は、制御部４０と、記憶部５０と、通信インタフェース部５９とを備える。 The identity verification server 4 is a server that performs identity verification by online procedure with the mobile terminal 1 and performs identity verification by face authentication. The identity verification server 4 is assumed to be owned by a company different from the company providing the service, but is not limited to this.
As shown in FIG. 3, the identity verification server 4 includes a control unit 40, a storage unit 50, and a communication interface unit 59.

制御部４０は、本人確認サーバ４の全体を制御するＣＰＵである。制御部４０は、記憶部５０に記憶されているＯＳやアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
制御部４０は、本人確認画像解析部４１と、顔照合部４３（顔照合手段）と、照合結果送信部４４（結果送信手段）とを備える。 The control unit 40 is a CPU that controls the entire identity verification server 4. The control unit 40 cooperates with the above-described hardware to execute various functions by appropriately reading and executing the OS and application programs stored in the storage unit 50.
The control unit 40 includes a personal identification image analysis unit 41, a face matching unit 43 (face matching unit), and a matching result transmitting unit 44 (result transmitting unit).

本人確認画像解析部４１は、本人確認書類の表面の画像を含む本人確認画像を、携帯端末１から受信する。そして、本人確認画像解析部４１は、ＯＣＲ（光学式文字認識）によって、本人確認画像の本人確認書類に含まれる文字をテキスト化する。その後、本人確認画像解析部４１は、テキスト化した文字列を、携帯端末１に送信する。
顔照合部４３は、携帯端末１が送信した照合画像と、顔写真画像とを受信する。そして、顔照合部４３は、受信した照合画像と顔写真画像とを照合する。ここで、顔照合部４３は、照合画像と顔写真画像との照合結果を、スコアによって示してもよい。例えば、顔照合部４３は、画像照合処理を行い、顔写真画像の一致度合いをスコアとして算出する。ここで、スコアは、例えば、０〜１００までの数値により表されるものであり、一致度合いが高いほど数値が高い。
照合結果送信部４４は、照合結果を、携帯端末１に対して送信する。 The personal identification image analysis unit 41 receives from the mobile terminal 1 a personal identification image including an image of the surface of the personal identification document. Then, the personal identification image analysis unit 41 converts the characters included in the personal identification document of the personal identification image into text by OCR (optical character recognition). After that, the personal identification image analysis unit 41 transmits the text-formed character string to the mobile terminal 1.
The face matching unit 43 receives the matching image transmitted by the mobile terminal 1 and the face photograph image. Then, the face collating unit 43 collates the received collation image with the face photograph image. Here, the face matching unit 43 may show the matching result between the matching image and the face photograph image by a score. For example, the face matching unit 43 performs image matching processing and calculates the degree of matching between the face photograph images as a score. Here, the score is represented by a numerical value from 0 to 100, for example, and the higher the degree of coincidence, the higher the numerical value.
The collation result transmission unit 44 transmits the collation result to the mobile terminal 1.

記憶部５０は、制御部４０が各種の処理を実行するために必要なプログラム、データ等を記憶するためのハードディスク、半導体メモリ素子等の記憶領域である。
記憶部５０は、プログラム記憶部５１を備える。プログラム記憶部５１は、各種のプログラムを記憶する記憶領域である。プログラム記憶部５１は、本人確認プログラム５１ａを記憶する。
本人確認プログラム５１ａは、本人確認サーバ４の制御部４０が実行する各種機能を行うためのプログラムである。
通信インタフェース部５９は、通信ネットワークＮを介してサービス提供サーバ７等の各種サーバ及び携帯端末１との間の通信を行うためのインタフェースである。 The storage unit 50 is a storage area such as a hard disk or a semiconductor memory device for storing programs, data, and the like necessary for the control unit 40 to execute various processes.
The storage unit 50 includes a program storage unit 51. The program storage unit 51 is a storage area that stores various programs. The program storage unit 51 stores a personal identification program 51a.
The identity verification program 51a is a program for performing various functions executed by the control unit 40 of the identity verification server 4.
The communication interface unit 59 is an interface for performing communication with various servers such as the service providing server 7 and the mobile terminal 1 via the communication network N.

ここで、コンピュータとは、制御部、記憶装置等を備えた情報処理装置をいい、携帯端末１及び本人確認サーバ４は、それぞれ制御部、記憶部等を備えた情報処理装置であり、コンピュータの概念に含まれる。 Here, the computer refers to an information processing device including a control unit, a storage device, and the like, and the mobile terminal 1 and the identity verification server 4 are information processing devices including a control unit and a storage unit, respectively. Included in the concept.

図１に示すサービス提供サーバ７は、サービス処理を行うためのサーバである。図１において、本人確認システム１００は、サービス提供サーバ７を１つのみ記載しているが、サービスごとに複数のサーバを備えてもよい。
なお、サービス提供サーバ７は、図示しないが、制御部、記憶部、通信インタフェース部等を備える。 The service providing server 7 shown in FIG. 1 is a server for performing service processing. In FIG. 1, the personal identification system 100 shows only one service providing server 7, but a plurality of servers may be provided for each service.
Although not shown, the service providing server 7 includes a control unit, a storage unit, a communication interface unit, and the like.

図１に示す基地局Ｒは、無線通信の基地局であって、携帯端末１が各種のサーバとの間の通信をするための中継を行う。基地局Ｒは、例えば、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）の基地局や、通信事業者の携帯端末通信網用の基地局である。
通信ネットワークＮは、各種のサーバ間や各種のサーバと基地局Ｒとの間のネットワークであり、インターネット回線や携帯端末通信網等である。 The base station R shown in FIG. 1 is a base station for wireless communication, and relays for the mobile terminal 1 to communicate with various servers. The base station R is, for example, a wireless LAN (Local Area Network) base station or a base station for a mobile terminal communication network of a communication carrier.
The communication network N is a network between various servers or between various servers and the base station R, and is an Internet line, a mobile terminal communication network, or the like.

次に、本人確認システム１００の処理について説明する。
図４は、本実施形態に係る携帯端末１でのサービス開始処理を示すフローチャートである。
まず、サービスを開始したいユーザは、例えば、予め携帯端末１に取引アプリ３１ａがインストールされている場合には、自身の携帯端末１のタッチパネルディスプレイ３５に表示されている取引アプリ３１ａのアイコン（図示せず）をタップ等する選択操作をする。また、例えば、携帯端末１に取引アプリ３１ａを初めてダウンロードした場合には、ユーザは、ダウンロードの際に自身の携帯端末１のタッチパネルディスプレイ３５に設けられた取引アプリ３１ａのアイコンをタップ等する選択操作をする。そうすることで、携帯端末１の制御部１０は、取引アプリ３１ａを実行する。 Next, the processing of the personal identification system 100 will be described.
FIG. 4 is a flowchart showing a service start process in the mobile terminal 1 according to this embodiment.
First, a user who wants to start a service, for example, when the transaction application 31a is installed in the mobile terminal 1 in advance, has an icon (not shown) of the transaction application 31a displayed on the touch panel display 35 of his/her mobile terminal 1. Select operation such as tapping. Further, for example, when the transaction application 31a is downloaded to the mobile terminal 1 for the first time, the user performs a selection operation such as tapping the icon of the transaction application 31a provided on the touch panel display 35 of his/her mobile terminal 1 at the time of downloading. do. By doing so, the control unit 10 of the mobile terminal 1 executes the transaction application 31a.

取引アプリ３１ａが実行されると、携帯端末１のタッチパネルディスプレイ３５には、取引アプリ３１ａのメイン画面（図示せず）が表示される。そこで、ユーザがメイン画面からサービス開始のための操作（例えば、メニューを選択する操作）を行うと、図４のステップＳ１０（以下、単に「Ｓ」という。）において、携帯端末１は、サービス開始操作を受け付けて、例えば、サービス開始にあたっての処理を実行する。その後、制御部１０（アプリ呼出部１１）は、本人確認アプリ３１ｂを呼び出す。 When the transaction application 31a is executed, the main screen (not shown) of the transaction application 31a is displayed on the touch panel display 35 of the mobile terminal 1. Therefore, when the user performs an operation for starting a service (for example, an operation for selecting a menu) from the main screen, the mobile terminal 1 starts the service in step S10 (hereinafter, simply referred to as “S”) in FIG. An operation is accepted and, for example, processing for starting the service is executed. After that, the control unit 10 (application calling unit 11) calls the personal identification application 31b.

Ｓ１１において、制御部１０は、本人確認処理が済であるか否かを判断する。本人確認処理が済である場合とは、当該取引アプリ３１ａを使用したサービスを既に１回は行っているために、本人確認処理が既に行われている場合をいう。よって、本人確認処理が済である場合は、２回目以降のサービス開始を受け付けた場合に該当する。また、本人確認処理が済ではない場合とは、初めて当該取引アプリ３１ａを使用したサービス開始を受け付けた場合に該当する。
なお、制御部１０は、本人確認処理が済であるか否かを、例えば、本人確認アプリ３１ｂに、本人確認が済である旨を記憶しており、それをもとに判断してもよい。また、本人確認処理が済である場合には、取得画像記憶部３２に、本人確認画像や顔写真画像が記憶されているので、制御部１０は、取得画像記憶部３２に顔写真画像が記憶されているか否かによって判断してもよい。
本人確認処理が済である場合（Ｓ１１：ＹＥＳ）には、制御部１０は、処理をＳ１３に移す。他方、本人確認処理が済ではない場合（Ｓ１１：ＮＯ）には、制御部１０は、処理をＳ１２に移す。
Ｓ１２において、制御部１０（本人確認部１２）は、本人確認処理を行う。 In S11, the control unit 10 determines whether or not the identity verification process has been completed. The case where the identity verification processing is completed means a case where the identity verification processing has already been performed because the service using the transaction application 31a has already been performed once. Therefore, the case where the personal identification processing has been completed corresponds to the case where the second or subsequent service start is accepted. Further, the case where the identity verification processing is not completed corresponds to the case where the service start using the transaction application 31a is accepted for the first time.
It should be noted that the control unit 10 may determine whether or not the identity confirmation processing has been completed, for example, by storing that the identity confirmation has been completed in the identity verification application 31b, and judge based on that. .. Further, when the identity verification processing is completed, the identity verification image and the facial photograph image are stored in the acquired image storage unit 32, and therefore the control unit 10 stores the facial photograph image in the acquired image storage unit 32. You may judge by whether or not it is done.
When the identity verification processing has been completed (S11: YES), the control unit 10 shifts the processing to S13. On the other hand, when the identity verification processing is not completed (S11: NO), the control unit 10 shifts the processing to S12.
In S12, the control unit 10 (identity confirmation unit 12) performs an identification process.

ここで、携帯端末１で行う本人確認処理について説明する。
図５は、本実施形態に係る携帯端末１での本人確認処理を示すフローチャートである。
図６は、本実施形態に係る携帯端末１での本人確認画像処理を示すフローチャートである。
図７は、本実施形態に係る案内画面のパターン例を示す図である。
図８は、本実施形態に係る携帯端末１での表示例を示す図である。
図９は、本実施形態に係る携帯端末１での正当性確認処理を示すフローチャートである。
図１０は、本実施形態に係る本人確認システム１００での画像解析処理を示すフローチャートである。
図１１及び図１２は、本実施形態に係る携帯端末１での表示例を示す図である。
図１３は、本実施形態に係る本人確認システム１００での照合画像処理を示すフローチャートである。
図１４は、本実施形態に係る携帯端末１での表示例を示す図である。 Here, the personal identification processing performed by the mobile terminal 1 will be described.
FIG. 5 is a flowchart showing the identity verification processing in the mobile terminal 1 according to the present embodiment.
FIG. 6 is a flowchart showing the personal identification image processing in the mobile terminal 1 according to this embodiment.
FIG. 7 is a diagram showing a pattern example of the guide screen according to the present embodiment.
FIG. 8 is a diagram showing a display example on the mobile terminal 1 according to the present embodiment.
FIG. 9 is a flowchart showing the validity confirmation process in the mobile terminal 1 according to the present embodiment.
FIG. 10 is a flowchart showing image analysis processing in the personal identification system 100 according to this embodiment.
11 and 12 are diagrams showing display examples on the mobile terminal 1 according to the present embodiment.
FIG. 13 is a flowchart showing the collation image processing in the personal identification system 100 according to this embodiment.
FIG. 14 is a diagram showing a display example on the mobile terminal 1 according to the present embodiment.

図５のＳ２０において、携帯端末１の制御部１０（本人確認画像処理部１３）は、本人確認書類の表面に関する本人確認画像処理を行う。
ここで、本人確認画像処理について、図６に基づき説明する。
図６のＳ３０において、制御部１０（案内画面出力部１４）は、硬貨位置決定処理を行う。本人確認アプリ３１ｂには、例えば、図７に示す案内画面６１〜６６のように、硬貨位置の異なる６パターンの案内画面が予め用意されている。案内画面６１は、書類位置６１ａの右上側に硬貨位置６１ｂが設けられたものである。案内画面６２は、書類位置６２ａの右中央に硬貨位置６２ｂが設けられたものである。案内画面６３は、書類位置６３ａの右下側に硬貨位置６３ｂが設けられたものである。同様に、案内画面６４〜６６は、書類位置６４ａ〜６６ａの左側に、それぞれ硬貨位置６４ｂ〜６６ｂが上側から順番に設けられている。
制御部１０は、案内画面６１〜６６から１つの案内画面を、例えば、ランダムに決定する。ここで、ランダムに決定するとは、全ての案内画面を順不同に出すようにすることをいう。但し、全ての案内画面ではなく、一部の案内画面のみの指定であってもよい。 In S20 of FIG. 5, the control unit 10 (identity confirmation image processing unit 13) of the mobile terminal 1 performs identity verification image processing on the front side of the identity verification document.
Here, the personal identification image processing will be described with reference to FIG.
In S30 of FIG. 6, the control unit 10 (guidance screen output unit 14) performs coin position determination processing. The personal identification application 31b is prepared in advance with six patterns of guidance screens with different coin positions, for example, guidance screens 61 to 66 shown in FIG. The guide screen 61 has a coin position 61b provided on the upper right side of the document position 61a. The guide screen 62 is provided with a coin position 62b at the right center of the document position 62a. The guide screen 63 has a coin position 63b provided on the lower right side of the document position 63a. Similarly, in the guide screens 64 to 66, coin positions 64b to 66b are respectively provided on the left side of the document positions 64a to 66a in order from the upper side.
The control unit 10 randomly determines one guidance screen from the guidance screens 61 to 66, for example. Here, to determine at random means to display all the guide screens in random order. However, only some of the guide screens may be designated instead of all the guide screens.

図６のＳ３１において、制御部１０（案内画面出力部１４）は、硬貨位置決定処理によって決定した案内画面を、タッチパネルディスプレイ３５に出力する。その際、制御部１０は、アウトカメラ３３ｂを実行させて、タッチパネルディスプレイ３５にアウトカメラ３３ｂによるスルー画像を出力させた状態で、決定した案内画面を表示させる。
ユーザは、図８（Ａ）に示すように、表示された案内画面６４を見ながら、運転免許証３と、硬貨９とを案内画面の枠に収めるように、運転免許証３と、硬貨９と、携帯端末１との位置を調整する。
運転免許証３と硬貨９とが案内画面６４の枠に収まるようになった状態で、ユーザが案内画面６４に表示されている撮影ボタン６４ｃを操作することで、Ｓ３２において、制御部１０は、撮影操作を受け付ける。 In S31 of FIG. 6, the control unit 10 (guide screen output unit 14) outputs the guide screen determined by the coin position determination processing to the touch panel display 35. At that time, the control unit 10 causes the out-camera 33b to be executed and causes the touch panel display 35 to display the determined guide screen in a state where the through-image by the out-camera 33b is output.
As shown in FIG. 8A, the user looks at the displayed guidance screen 64 and puts the driving license 3 and the coins 9 into the frame of the guidance screen so that the driving license 3 and the coins 9 can be accommodated in the frame of the guidance screen. And the position of the mobile terminal 1 is adjusted.
In a state in which the driver's license 3 and the coin 9 are accommodated within the frame of the guide screen 64, the user operates the photographing button 64c displayed on the guide screen 64, and in S32, the control unit 10 causes Accept a shooting operation.

Ｓ３３において、制御部１０（本人確認画像取得部１５）は、図８（Ｂ）に示す本人確認画像６８ａを取得する。そして、制御部１０は、図８（Ｂ）に示すような本人確認画像６８ａを含む確認画面６８を、タッチパネルディスプレイ３５に出力する。なお、ユーザは、撮り直したい場合には、「撮り直し」のボタンをタッチ操作することで、図８（Ａ）に示す案内画面６４に戻り、本人確認画像を撮り直すことができる。
ユーザが、例えば、図８（Ｂ）に示す「次へ」のボタンをタッチ操作することで、図６のＳ３４において、制御部１０（正当性確認部１６）は、図９に示す正当性確認処理を行う。 In S33, the control unit 10 (identity confirmation image acquisition unit 15) acquires the identity verification image 68a shown in FIG. 8(B). Then, the control unit 10 outputs the confirmation screen 68 including the personal identification image 68a as shown in FIG. 8B to the touch panel display 35. When the user wants to take a picture again, he/she can touch the button "retake picture" to return to the guide screen 64 shown in FIG. 8A and take the person confirmation image again.
For example, when the user touches the “next” button shown in FIG. 8B, the control unit 10 (validity confirmation unit 16) causes the validity confirmation shown in FIG. 9 in S34 of FIG. Perform processing.

図９のＳ４０において、制御部１０は、本人確認画像に対して公知の画像認識処理を行うことで、硬貨位置に物を認識できたか否かを判断する。物を認識できた場合（Ｓ４０：ＹＥＳ）には、制御部１０は、処理をＳ４１に移す。他方、物を認識できなかった場合（Ｓ４０：ＮＯ）には、制御部１０は、処理をＳ４９に移す。
Ｓ４１において、制御部１０は、書類位置に物を認識できたか否かを判断する。物を認識できた場合（Ｓ４１：ＹＥＳ）には、制御部１０は、処理をＳ４１に移す。他方、物を認識できなかった場合（Ｓ４１：ＮＯ）には、制御部１０は、処理をＳ４９に移す。 In S40 of FIG. 9, the control unit 10 determines whether or not the object can be recognized at the coin position by performing a known image recognition process on the identity verification image. When the object can be recognized (S40: YES), the control unit 10 shifts the processing to S41. On the other hand, when the object cannot be recognized (S40: NO), the control unit 10 shifts the processing to S49.
In S41, the control unit 10 determines whether or not an object can be recognized at the document position. When the object can be recognized (S41: YES), the control unit 10 shifts the processing to S41. On the other hand, when the object cannot be recognized (S41: NO), the control unit 10 shifts the processing to S49.

Ｓ４２において、制御部１０は、本処理が表面に関する処理であるか否かを判断する。制御部１０は、例えば、図５のＳ２０からの遷移による処理である場合には、表面に関する処理であると判定するが、図５のＳ２３やＳ２４からの遷移による処理である場合には、表面に関する処理ではないと判定する。表面に関する処理である場合（Ｓ４２：ＹＥＳ）には、制御部１０は、処理をＳ４３に移す。他方、表面に関する処理ではない場合（Ｓ４２：ＮＯ）には、制御部１０は、処理をＳ４５に移す。
Ｓ４３において、制御部１０は、図１０に示す画像解析処理を行う。 In S42, the control unit 10 determines whether or not this process is a process relating to the surface. For example, the control unit 10 determines that the process is a process related to the surface when the process is the transition from S20 of FIG. 5, but the process is a process based on the transition from S23 or S24 of FIG. It is determined that the process is not related to. When the process is related to the surface (S42: YES), the control unit 10 shifts the process to S43. On the other hand, if the process is not for the surface (S42: NO), the controller 10 shifts the process to S45.
In S43, the control unit 10 performs the image analysis process shown in FIG.

図１０のＳ５０において、制御部１０は、取得した本人確認画像を、本人確認サーバ４に対して送信する。
Ｓ５１において、本人確認サーバ４の制御部４０は、本人確認画像を受信する。
Ｓ５２において、制御部４０（本人確認画像解析部４１）は、受信した本人確認画像に含まれる本人確認書類をテキスト化した文字情報を取得する。
Ｓ５３において、制御部４０は、取得した文字情報を、携帯端末１に送信する。なお、制御部４０は、例えば、本人確認書類の画像が小さかったり、不鮮明であったりしたために本人確認書類から文字情報を得ることができなかった場合には、文字情報を得られなかった旨を、携帯端末１に送信してもよい。その後、制御部４０は、本処理を終了する。 In S50 of FIG. 10, the control unit 10 transmits the acquired identity verification image to the identity verification server 4.
In S51, the control unit 40 of the identity verification server 4 receives the identity verification image.
In S52, the control unit 40 (identity confirmation image analysis unit 41) acquires character information in which the identity verification document included in the received identity verification image is converted into text.
In S53, the control unit 40 transmits the acquired character information to the mobile terminal 1. It should be noted that the control unit 40, for example, when the character information cannot be obtained from the personal identification document because the image of the personal identification document is small or unclear, the control unit 40 indicates that the character information cannot be obtained. , May be transmitted to the mobile terminal 1. After that, the control unit 40 ends this processing.

Ｓ５４において、携帯端末１の制御部１０は、文字情報を受信する。
Ｓ５５において、制御部１０は、受信した文字情報に基づいて正当性を確認する。制御部１０は、例えば、文字情報を得られなかった旨を本人確認サーバ４から受信している場合には、正当性を確認できない。また、制御部１０は、本人確認書類の有効期限が超過している場合には、正当性を確認できない。その後、制御部１０は、処理を図９のＳ４４に移す。 In S54, the control unit 10 of the mobile terminal 1 receives the character information.
In S55, the control unit 10 confirms the validity based on the received character information. For example, when the control unit 10 receives from the identity verification server 4 that the character information has not been obtained, the control unit 10 cannot verify the validity. Further, the control unit 10 cannot confirm the validity when the expiration date of the personal identification document has expired. After that, the control unit 10 shifts the processing to S44 of FIG.

図９のＳ４４において、制御部１０（正当性確認部１６）は、文字情報に関する正当性が確認できたか否かを判断する。正当性が確認できた場合（Ｓ４４：ＹＥＳ）には、制御部１０は、処理をＳ４５に移す。他方、正当性が確認できなかった場合（Ｓ４４：ＮＯ）には、制御部１０は、処理をＳ４９に移す。
Ｓ４５において、制御部１０（正当性確認部１６）は、本人確認画像に対する正当性を確認できたとして、処理を図６のＳ３５に移す。
他方、Ｓ４９において、制御部１０（正当性確認部１６）は、本人確認画像に対する正当性を確認できなかったものとして、処理を図６のＳ３５に移す。 In S44 of FIG. 9, the control unit 10 (validity confirmation unit 16) determines whether or not the validity of the character information has been confirmed. When the validity can be confirmed (S44: YES), the control unit 10 shifts the processing to S45. On the other hand, when the validity cannot be confirmed (S44: NO), the control unit 10 moves the process to S49.
In S45, the control unit 10 (validity confirmation unit 16) moves the process to S35 in FIG. 6 assuming that the validity of the personal identification image can be confirmed.
On the other hand, in S49, the control unit 10 (validity confirmation unit 16) determines that the validity of the personal identification image could not be confirmed, and moves the process to S35 of FIG.

図６のＳ３５において、正当性が確認できたか否かを判断する。正当性が確認できた場合（Ｓ３５：ＹＥＳ）には、制御部１０は、処理をＳ３６に移す。他方、正当性が確認できなかった場合（Ｓ３５：ＮＯ）には、制御部１０は、処理をＳ３９に移す。
Ｓ３６において、制御部１０は、取得した本人確認画像を、取得画像記憶部３２に記憶させる。その後、制御部１０は、処理を図５のＳ２１に移す。
他方、Ｓ３９において、制御部１０は、正当性がエラーである旨を、例えば、タッチパネルディスプレイ３５に出力し、次に進むことなく本処理を終了する。 In S35 of FIG. 6, it is determined whether the legitimacy has been confirmed. When the validity can be confirmed (S35: YES), the control unit 10 moves the process to S36. On the other hand, when the validity cannot be confirmed (S35: NO), the control unit 10 shifts the processing to S39.
In S36, the control unit 10 stores the acquired identity verification image in the acquired image storage unit 32. After that, the control unit 10 shifts the processing to S21 of FIG.
On the other hand, in S39, the control unit 10 outputs the fact that the validity is an error, for example, to the touch panel display 35, and terminates this process without proceeding to the next.

図５のＳ２１において、制御部１０は、取得した本人確認画像から顔写真画像を抽出する。
Ｓ２２において、制御部１０は、抽出した顔写真画像を、取得画像記憶部３２に記憶させる。
Ｓ２３及びＳ２４の処理は、上述した図６の処理と同様である。 In S21 of FIG. 5, the control unit 10 extracts a facial photograph image from the acquired personal identification image.
In S22, the control unit 10 stores the extracted face photograph image in the acquired image storage unit 32.
The processing of S23 and S24 is the same as the processing of FIG. 6 described above.

図１１（Ａ）は、運転免許証３の裏面の画像を含む本人確認画像を取得するための案内画面８１を示す。図１１（Ｂ）は、確認画面８２を示す。
図１２（Ａ）は、運転免許証３の表面の画像を含む本人確認画像を斜め方向から取得するための案内画面８３を示す。これは、携帯端末１のアウトカメラ３３ｂを、運転免許証３の表面や裏面を撮影した時と同じ位置にした状態で、ユーザの指等によって運転免許証３を斜めに立たせるようにして、運転免許証３の表面を斜めに撮影するためのものである。案内画面８３は、書類位置８３ａを示す枠が斜め方向からの撮影を促すために、台形形状になっている。また、硬貨位置８３ｂは、書類位置８３ａの右下に配置されている。このように、運転免許証３の表面の画像を含む本人確認画像を斜め方向から取得するための案内画面では、例えば、硬貨位置が書類位置の右下、中央下、左下の３つのパターンの案内画像を予め用意しておき、制御部１０がランダムにその中から１つのパターンの案内画面を決定してもよい。斜め方向から撮影する場合は、書類位置の上下方向にスペースができるため、このような手前方向に硬貨位置を配置することも可能である。図１２（Ｂ）は、確認画面８４を示す。 FIG. 11A shows a guide screen 81 for acquiring a personal identification image including the image on the back surface of the driver's license 3. FIG. 11B shows a confirmation screen 82.
FIG. 12A shows a guide screen 83 for obliquely obtaining a personal identification image including an image of the surface of the driver's license 3. In this state, the out-camera 33b of the mobile terminal 1 is placed at the same position as when the front surface or the back surface of the driver's license 3 is photographed, and the driver's license 3 is made to stand diagonally with the user's finger or the like. This is for obliquely photographing the surface of the driver's license 3. The guide screen 83 has a trapezoidal shape so that the frame indicating the document position 83a encourages photographing from an oblique direction. The coin position 83b is located at the lower right of the document position 83a. In this way, on the guide screen for obtaining the personal identification image including the image of the surface of the driver's license 3 from the diagonal direction, for example, the coin position is in the lower right, center lower, and lower left of the document position. An image may be prepared in advance, and the control unit 10 may randomly determine the guide screen of one pattern from the images. When photographing from an oblique direction, there is a space above and below the document position, so it is possible to arrange the coin position in such a front direction. FIG. 12B shows the confirmation screen 84.

このように、案内画面８１及び８３は、撮影対象によって文言８１ｅ及び８３ｅが異なる画面になり、かつ、硬貨位置８１ｂ及び８３ｂが異なるものになる。
上述したように、運転免許証３を撮影する際には、制御部１０は、最初に運転免許証３の表面を撮影し、次に、運転免許証３の裏面を撮影し、最後に、運転免許証３を表面が見える状態で斜め方向から撮影するように制御する。
このようにすれば、複数回運転免許証３を撮影する際に、様々な位置に硬貨位置が配置された案内画面を出力できる。 In this way, the guide screens 81 and 83 are screens in which the words 81e and 83e are different depending on the object to be imaged, and the coin positions 81b and 83b are different.
As described above, when photographing the driver's license 3, the control unit 10 first photographs the front surface of the driver's license 3, then the rear surface of the driver's license 3, and finally the driver's license 3. The driver's license 3 is controlled so as to be photographed from an oblique direction with the surface visible.
By doing so, when the driver's license 3 is photographed a plurality of times, it is possible to output a guide screen in which coin positions are arranged at various positions.

図５のＳ２５において、制御部１０（照合画像処理部１７）は、図１３に示す照合画像処理を行う。
図１３のＳ６０において、制御部１０はインカメラ３３ａを起動させて、インカメラ３３ａのスルー画像を含む、図１４に示す顔撮影画面８５をタッチパネルディスプレイ３５に出力する。ユーザは、顔撮影画面８５の顔枠８５ａに自身の顔が入るように、携帯端末１の位置を調整する。
図１３のＳ６１において、制御部１０は、インカメラ３３ａから取得した撮影画像に対して公知の顔認識処理を行い、目を検出する。
Ｓ６２において、制御部１０（瞬き検出部１８）は、瞬きを検出したか否かを判断する。瞬きを検出した場合（Ｓ６２：ＹＥＳ）には、制御部１０は、処理をＳ６３に移す。他方、瞬きを検出していない場合（Ｓ６２：ＮＯ）には、制御部１０は、瞬きを検出するまで本処理にとどまる。 In S25 of FIG. 5, the control unit 10 (matching image processing unit 17) performs the matching image processing shown in FIG.
In S60 of FIG. 13, the control unit 10 activates the in-camera 33a and outputs the face shooting screen 85 shown in FIG. 14 including the through image of the in-camera 33a to the touch panel display 35. The user adjusts the position of the mobile terminal 1 so that the face of the user can enter the face frame 85a of the face shooting screen 85.
In S61 of FIG. 13, the control unit 10 performs a known face recognition process on the captured image acquired from the in-camera 33a to detect the eyes.
In S62, the control unit 10 (blink detection unit 18) determines whether or not a blink has been detected. When the blink is detected (S62: YES), the control unit 10 shifts the processing to S63. On the other hand, when the blink is not detected (S62: NO), the control unit 10 stays in this process until the blink is detected.

Ｓ６３において、制御部１０（照合画像取得部１９）は、瞬きを検出した後に撮影した顔画像を照合画像にする。
Ｓ６４において、制御部１０（画像送信部２０）は、取得画像記憶部３２に記憶した顔写真画像と共に、取得した照合画像を、本人確認サーバ４に対して送信する。ここで、取得画像記憶部３２に記憶された顔写真画像とは、本人確認画像処理において携帯端末１が取得及び記憶したものである。
Ｓ６５において、本人確認サーバ４の制御部４０（顔照合部４３）は、照合画像と、顔写真画像とを、携帯端末１から受信する。 In S63, the control unit 10 (matching image acquisition unit 19) sets the face image captured after the blink is detected as the matching image.
In S<b>64, the control unit 10 (image transmission unit 20) transmits the acquired collation image together with the facial photograph image stored in the acquired image storage unit 32 to the identity verification server 4. Here, the facial photograph image stored in the acquired image storage unit 32 is an image captured and stored by the mobile terminal 1 in the personal identification image processing.
In S65, the control unit 40 (face matching unit 43) of the identity verification server 4 receives the matching image and the face photograph image from the mobile terminal 1.

Ｓ６６において、制御部４０（顔照合部４３）は、照合画像と顔写真画像とを照合する顔照合処理を行う。制御部４０は、画像照合処理を行い、例えば、照合画像と顔写真画像との一致度合いをスコアとして算出する。
Ｓ６７において、制御部４０（照合結果送信部４４）は、照合結果を、携帯端末１に対して送信する。その後、制御部４０は、本処理を終了する。
Ｓ６８において、携帯端末１の制御部１０（照合画像処理部１７）は、照合結果を受信する。その後、制御部１０は、処理を図４のＳ１４に移す。 In S66, the control unit 40 (face matching unit 43) performs face matching processing for matching the matching image with the face photograph image. The control unit 40 performs the image matching process, and calculates, for example, the degree of matching between the matching image and the face photograph image as a score.
In S67, the control unit 40 (matching result sending unit 44) sends the matching result to the mobile terminal 1. After that, the control unit 40 ends this processing.
In S68, the control unit 10 (the matching image processing unit 17) of the mobile terminal 1 receives the matching result. After that, the control unit 10 shifts the processing to S14 of FIG.

図４のＳ１３において、制御部１０（本人認証部２１）は、本人認証処理を行う。制御部１０は、本人認証処理として、図１３で説明した照合画像処理と同じ処理を行う。制御部１０は、照合画像処理で用いる照合画像を取得し、取得画像記憶部３２に既に記憶されている顔写真画像とあわせて本人確認サーバ４に送信する。なお、本人確認サーバ４では、制御部４０（顔照合部４３、照合結果送信部４４）が、照合画像と顔写真画像とを照合し、携帯端末１に対して照合結果を送信する。 In S13 of FIG. 4, the control unit 10 (personal authentication unit 21) performs the person authentication process. The control unit 10 performs the same processing as the collation image processing described in FIG. 13 as the personal authentication processing. The control unit 10 acquires the matching image used in the matching image processing, and sends it to the identity verification server 4 together with the facial photograph image already stored in the acquired image storage unit 32. In the identity verification server 4, the control unit 40 (the face matching unit 43, the matching result transmitting unit 44) matches the matching image with the face photograph image, and transmits the matching result to the mobile terminal 1.

Ｓ１４において、制御部１０（サービス開始判定部２２）は、照合結果によって認証ができたか否かを判定する。照合結果として得られた、例えば、スコアが閾値以上である場合に、制御部１０は、認証ができたと判定する。認証ができたと判定された場合（Ｓ１４：ＹＥＳ）には、制御部１０は、処理をＳ１５に移す。他方、認証ができたと判定されなかった場合（Ｓ１４：ＮＯ）には、制御部１０は、処理をＳ１６に移す。
Ｓ１５において、制御部１０は、取引アプリ３１ａに対応したサービス提供サーバ７との間でサービス処理を行う。その後、制御部１０は、本処理を終了する。 In S14, the control unit 10 (service start determination unit 22) determines whether or not the authentication is successful based on the collation result. For example, when the score obtained as the collation result is equal to or more than the threshold value, the control unit 10 determines that the authentication is successful. When it is determined that the authentication is successful (S14: YES), the control unit 10 moves the process to S15. On the other hand, when it is not determined that the authentication is successful (S14: NO), the control unit 10 moves the process to S16.
In S15, the control unit 10 performs service processing with the service providing server 7 corresponding to the transaction application 31a. After that, the control unit 10 ends this processing.

他方、Ｓ１６において、制御部１０は、認証エラーの旨を、タッチパネルディスプレイ３５に出力する。その後、制御部１０は、本処理を終了する。つまり、本人確認や本人認証の処理によって、顔画像と本人確認書類の顔写真画像との照合の結果が照合できないものであった場合には、サービス処理を開始することがない。なお、認証エラーの場合には、制御部１０は、取得画像記憶部３２に記憶させた画像を削除することが望ましい。 On the other hand, in S16, the control unit 10 outputs a message of the authentication error to the touch panel display 35. After that, the control unit 10 ends this processing. In other words, if the result of the verification of the face image and the face photograph image of the personal identification document cannot be verified by the process of the personal identification or the personal authentication, the service process is not started. In the case of an authentication error, the control unit 10 preferably deletes the image stored in the acquired image storage unit 32.

このように、本実施形態によれば、本人確認システム１００は、以下のような効果がある。
（１）携帯端末１を用いたサービスを行う場合に、携帯端末１にカメラ３３を有していれば、携帯端末１のみを用いて本人確認を行うことができて、便利である。つまり、ユーザは、窓口等に行くという煩わしさがなく、いつでも、どこでも本人確認を行う環境をユーザに提供できる。また、生体情報を用いた本人確認であるため、セキュリティ性が高い。さらに、指紋等のように、予め生体情報を登録しておく必要がなく、利便性が高い。
（２）本人確認画像を取得する処理と、本人確認画像から取得した顔写真画像とユーザが撮影した自身の顔画像とを照合するための処理とを、一連の流れで行うことができるので、便利である。 As described above, according to the present embodiment, the personal identification system 100 has the following effects.
(1) When providing a service using the mobile terminal 1, if the mobile terminal 1 has the camera 33, it is convenient because the identity can be confirmed using only the mobile terminal 1. In other words, the user can provide the user with an environment for confirming the identity anytime, anywhere without the hassle of going to a window or the like. In addition, security is high because the identification is performed using biometric information. Further, it is not necessary to register biometric information in advance such as a fingerprint, which is highly convenient.
(2) Since the process of acquiring the personal identification image and the process of collating the facial photograph image acquired from the personal identification image with the own facial image taken by the user can be performed in a series of flows, It is convenient.

（３）運転免許証３と、硬貨９との配置位置を指定した案内画面を出力するので、ユーザは、案内画面の指示にしたがって、運転免許証３と、硬貨９とを指定位置に配置する。そして、携帯端末１は、案内画面の指示にしたがってユーザが配置した運転免許証３と、硬貨９とを含む本人確認画像を取得するので、本人確認画像を取得する都度、ユーザに案内画面の指示に従わせるものにできる。よって、案内画面による運転免許証３と、硬貨９との配置位置によってランダム性を担保できる。 (3) Since the guidance screen designating the arrangement positions of the driving license 3 and the coins 9 is output, the user places the driving license 3 and the coins 9 at the designated positions according to the instructions on the guidance screen. .. Then, since the mobile terminal 1 acquires the personal identification image including the driver's license 3 and the coin 9 arranged by the user according to the instruction on the guidance screen, the user is instructed on the guidance screen each time the personal identification image is acquired. It can be something that complies. Therefore, randomness can be ensured by the arrangement position of the driver's license 3 and the coin 9 on the guide screen.

（４）本人確認に必要なものとして、案内画面を複数回出力して、異なる撮影方向から運転免許証３と、硬貨９とを撮影した本人確認画像を得る。案内画面は、硬貨９の配置位置を都度変更して異なる位置に配置するので、ユーザによる撮影の際に、ユーザに動作をさせることを必要にするものにできる。よって、予め撮影した画像等を使用できない仕組みになり、不正を働きにくいものにできる。また、運転免許証３を斜め方向から撮影するので、運転免許証３の内容、あるいは運転免許証３の顔写真を確認しつつ運転免許証３の厚みを確認できるものになり、偽物か否かの確認ができる。 (4) As necessary for identity verification, the guidance screen is output multiple times to obtain identity verification images of the driver's license 3 and the coin 9 from different imaging directions. Since the guide screen changes the arrangement position of the coins 9 and arranges the coins at different positions each time, it is possible to require the user to perform an operation when the user takes an image. Therefore, it becomes a mechanism that the image taken in advance cannot be used, and it is possible to make it difficult to act fraudulently. Also, since the driver's license 3 is photographed from an oblique direction, it becomes possible to confirm the thickness of the driver's license 3 while checking the content of the driver's license 3 or the facial photograph of the driver's license 3, whether it is a fake or not. Can be confirmed.

（５）案内画面は、予め定められた複数の硬貨位置のものからランダムに決定するので、ランダム性を担保できると共に、処理が簡単なものにできる。
（６）案内画面は、配置位置を枠線で示したものにし、効果位置を、硬貨と同じ円形状にして示すので、ユーザに分かりやすいものにできる。 (5) Since the guide screen is randomly determined from a plurality of predetermined coin positions, randomness can be ensured and processing can be simplified.
(6) Since the guide screen has the arrangement position indicated by the frame line and the effect position is indicated by the same circular shape as the coin, the guide screen can be easily understood by the user.

（７）本人確認画像の正当性を確認し、正当性が確認できた場合に照合画像を取得するので、不正をした場合には、照合をせずに、前の段階で処理を止めることができる。
（８）ユーザの顔画像を、ユーザの瞬きを検出した後の画像とするので、照合画像に適する画像を取得できる。 (7) The legitimacy of the personal identification image is confirmed, and when the legitimacy is confirmed, the collation image is acquired. Therefore, in the case of fraud, it is possible to stop the process at the previous stage without collating. it can.
(8) Since the user's face image is the image after detecting the user's blink, an image suitable for the collation image can be acquired.

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。また、実施形態に記載した効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載したものに限定されない。なお、上述した実施形態及び後述する変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。 Although the embodiment of the invention has been described above, the invention is not limited to the embodiment described above. In addition, the effects described in the embodiments are merely enumeration of the most suitable effects generated by the present invention, and the effects according to the present invention are not limited to those described in the embodiments. It should be noted that the above-described embodiment and the modification described later can be appropriately combined and used, but detailed description thereof will be omitted.

（変形形態）
（１）本実施形態では、案内画面を、予め硬貨位置が異なる６つのパターンのものを用意しておき、その中からランダムに決定した案内画面を出力するものを例に説明したが、これに限定されない。例えば、予め決められた指定領域内の任意の位置に硬貨位置を定めるようにしてもよい。
図１５は、変形形態に係る案内画面のパターン例を示す図である。
図１５（Ａ）に示す案内画面２９１は、書類位置２９１ａと、硬貨領域２９１ｂとを備える。案内画面２９１は、硬貨位置を右方にしたものであり、書類位置２９１ａが左方に配置されている。この場合、携帯端末１の制御部は、硬貨領域２９１ｂの範囲において、硬貨位置をランダムに決定して、硬貨位置を出力する（図示せず）。 (Variation)
(1) In the present embodiment, the guide screen is prepared in advance with six patterns having different coin positions, and a guide screen randomly selected from them is output. Not limited. For example, the coin position may be set at an arbitrary position within a predetermined designated area.
FIG. 15 is a diagram showing a pattern example of a guide screen according to the modification.
The guide screen 291 illustrated in FIG. 15A includes a document position 291a and a coin area 291b. The guide screen 291 shows the coin position to the right, and the document position 291a is arranged to the left. In this case, the control unit of the mobile terminal 1 randomly determines the coin position in the range of the coin area 291b and outputs the coin position (not shown).

図１５（Ｂ）に示す案内画面２９２は、書類位置２９２ａと、硬貨領域２９２ｂとを備える。案内画面２９２は、硬貨位置を左方にしたものであり、書類位置２９２ａが右方に配置されている。この場合、携帯端末１の制御部は、硬貨領域２９２ｂの範囲において、硬貨位置をランダムに決定して、硬貨位置を出力する（図示せず）。
このようにすることで、携帯端末１の制御部は、硬貨位置を書類位置の右方にするか、左方にするかを決定した後に、ランダムで硬貨領域における硬貨位置を決定するので、バリエーションの富んだものにできる。 The guide screen 292 illustrated in FIG. 15B includes a document position 292a and a coin area 292b. The guide screen 292 shows the coin position on the left side and the document position 292a on the right side. In this case, the control unit of the mobile terminal 1 randomly determines the coin position in the range of the coin area 292b and outputs the coin position (not shown).
By doing so, the control unit of the mobile terminal 1 randomly determines the coin position in the coin area after determining whether the coin position is on the right side or the left side of the document position. Can be rich in.

（２）本実施形態では、案内画面に出力する書類位置と硬貨位置とを枠線により示すものを例に説明したが、これに限定されない。案内画面は、書類位置と硬貨位置とを、ユーザに分かりやすい態様で示すものであれば、他の方法によるものであってもよい。
図１６は、変形形態に係る案内画面の表示態様例を示す図である。
図１６（Ａ）に示す案内画面２９５は、書類位置２９５ａと、硬貨位置２９５ｂとを破線によって示すものである。
図１６（Ｂ）に示す案内画面２９６は、書類位置２９６ａを、鉤状で示すものである。
その他として、書類位置と硬貨位置とを、透過性を有するようにクリアな状態で表示させ、書類位置と硬貨位置とを除く範囲を、例えば、ぼかした状態で表示させてもよい。また、書類位置と硬貨位置とを示す枠線等を、時間の経過にしたがって表示と非表示とを繰り返すように表示してもよい。さらに、硬貨位置を円形状で示しているが、楕円形上や多角形状等であってもよい。 (2) In the present embodiment, an example has been described in which the document position and the coin position output on the guide screen are indicated by frame lines, but the present invention is not limited to this. The guide screen may be displayed by another method as long as it shows the document position and the coin position in a manner easily understood by the user.
FIG. 16 is a diagram showing a display mode example of a guide screen according to the modification.
The guide screen 295 shown in FIG. 16(A) shows the document position 295a and the coin position 295b by broken lines.
The guide screen 296 shown in FIG. 16B shows the document position 296a in a hook shape.
Alternatively, the document position and the coin position may be displayed in a clear state so as to have transparency, and the range excluding the document position and the coin position may be displayed in a blurred state, for example. Further, a frame line or the like indicating the document position and the coin position may be displayed so as to be repeatedly displayed and hidden with the passage of time. Further, although the coin position is shown as a circular shape, it may be an elliptical shape or a polygonal shape.

（３）本実施形態では、本人確認書類の斜めからの撮影では、机等の上に、ユーザの指等によって運転免許証３を斜めに立たせるようにして、上方向から運転免許証３を撮影するものを例に説明したが、これに限定されない。例えば、表面を上にして運転免許証３等の本人確認書類を机等に載置し、斜め方向から本人確認書類を撮影しても、異なる観察角度の本人確認書類を撮影できる。 (3) In the present embodiment, when photographing the personal identification document from an angle, the driver's license 3 is made to stand upright on a desk or the like by the user's finger or the like, and the driver's license 3 is displayed from above. The description has been made by taking an example of shooting, but the present invention is not limited to this. For example, even if an identity verification document such as a driver's license 3 is placed on a desk or the like with the front side facing upward and the identity verification document is photographed from an oblique direction, the identity confirmation documents at different observation angles can be photographed.

図１７は、変形形態に係る携帯端末１での表示例及び案内画面のパターン例を示す図である。
図１７（Ａ）は、運転免許証３の表面の画像を含む本人確認画像を、斜め方向から撮影して取得するための案内画面２９７を示す。これは、運転免許証３の表面を、例えば、机の上等に載置した状態で、携帯端末１のアウトカメラ３３ｂを、運転免許証３の表面に対向した位置ではなく、斜めの位置から撮影して、本人確認画像を取得するためのものである。斜めの位置は、具体的には、例えば、撮影角度が４５度から６０度程度であり、運転免許証３の表面の顔写真が認識できる程度の位置である。案内画面２９７は、書類位置２９７ａを示す枠が斜め方向からの撮影を促すために、手前（下）側の辺が長い台形形状になっている。ここで、携帯端末１の制御部１０は、撮影角度をランダムに決定し、決定した撮影角度に対応した台形形状を出力するようにしてもよい。また、硬貨位置２９７ｂは、書類位置２９７ａの左下に、楕円形状で配置されている。 FIG. 17 is a diagram showing a display example and a guide screen pattern example on the mobile terminal 1 according to the modification.
FIG. 17(A) shows a guide screen 297 for capturing and acquiring the personal identification image including the image of the surface of the driver's license 3 from an oblique direction. This means that the out-camera 33b of the mobile terminal 1 is placed at an oblique position, not on the position facing the surface of the driver's license 3 while the surface of the driver's license 3 is placed on, for example, a desk. This is for taking a picture and obtaining an identity verification image. Specifically, the oblique position is, for example, a position where the photographing angle is about 45 to 60 degrees and the face photograph on the surface of the driver's license 3 can be recognized. The guide screen 297 has a trapezoidal shape in which the front (lower) side is long so that the frame indicating the document position 297a prompts photographing from an oblique direction. Here, the control unit 10 of the mobile terminal 1 may randomly determine the shooting angle and output a trapezoidal shape corresponding to the determined shooting angle. The coin position 297b is arranged in an elliptical shape at the lower left of the document position 297a.

運転免許証３の表面の画像を含む本人確認画像を斜め方向から撮影して取得するための案内画面では、例えば、硬貨位置が書類位置の右下、中央下、左下の３つのパターンの案内画像を予め用意しておいてもよい。
図１７（Ｂ）は、硬貨位置２９８ｂが書類位置２９８ａの中央下にある案内画面２９８を示す。また、図１７（Ｃ）は、硬貨位置２９９ｂが書類位置２９９ａの右下にある案内画面２９９を示す。このように、運転免許証３の表面の画像を含む本人確認画像を斜め方向から撮影して取得するための案内画面では、例えば、上記した３つのパターンの案内画像を予め用意しておき、携帯端末１の制御部１０がランダムにその中から１つのパターンの案内画面を決定してもよい。 On the guide screen for photographing and obtaining the personal identification image including the image of the surface of the driver's license 3 from an oblique direction, for example, the coin image has three patterns of the lower right, center lower, and lower left of the document position. May be prepared in advance.
FIG. 17B shows a guide screen 298 in which the coin position 298b is located below the center of the document position 298a. 17C shows a guide screen 299 in which the coin position 299b is located at the lower right of the document position 299a. In this way, in the guide screen for capturing and acquiring the personal identification image including the image of the surface of the driver's license 3 from an oblique direction, for example, the guide images of the above-mentioned three patterns are prepared in advance and carried. The control unit 10 of the terminal 1 may randomly determine one pattern of the guide screen from the guide screen.

このように、斜めの方向から机等の台に載置された運転免許証３の表面を撮影することで、運転免許証３の厚みが分かる画像を、より簡単かつ安定した状態で取得することができる。さらに、運転免許証３を載置し、携帯端末１を両手で持って安定した状態で撮影できるため、免許証に記載された内容や顔写真を確実に撮影することができる。 In this way, by capturing the surface of the driver's license 3 placed on a table such as a desk from an oblique direction, an image showing the thickness of the driver's license 3 can be obtained more easily and stably. You can Further, since the driver's license 3 is placed and the mobile terminal 1 can be held in a stable state by holding the mobile terminal 1 with both hands, it is possible to reliably take the contents and face photograph described in the license.

（４）本実施形態では、撮影時に、ユーザが案内画面に表示されている撮影ボタンを操作することで、画像を取得するものを例に説明したが、これに限定されない。例えば、図１７（Ａ）に示す案内画面２９７のように、書類位置２９７ａの中に運転免許証３の全体が映り込むようにし、硬貨位置２９７ｂの中に硬貨９の全体が映り込むようにした場合に、携帯端末１の制御部が自動で画像を取得してもよい。携帯端末１の制御部が、例えば、公知の物体認識処理をすることによって、撮影タイミングを決めて撮影することができる。 (4) In the present embodiment, an example has been described in which the user operates the shooting button displayed on the guide screen at the time of shooting to acquire an image, but the present invention is not limited to this. For example, like the guide screen 297 shown in FIG. 17A, the entire driver's license 3 is reflected in the document position 297a, and the entire coin 9 is reflected in the coin position 297b. In this case, the control unit of the mobile terminal 1 may automatically acquire the image. The control unit of the mobile terminal 1 can determine the shooting timing and shoot by performing, for example, a known object recognition process.

このように、書類位置と、硬貨位置とにそれぞれの対象物が写り込むようにユーザにより載置したことに応じて、自動で画像を取得するので、撮影ボタンを押す等、ユーザにとって煩わしさがない。また、得られる画像は、運転免許証３も硬貨９をも含む画像になるので、最適な撮影タイミングで、必要な要件を満たした画像を得ることができる。
なお、自動で画像を取得するものは、運転免許証３の表面や裏面の撮影等においても同様に行ってもよい。 In this way, the image is automatically acquired according to the object placed on the document position and the coin position so that the respective objects are reflected by the user, so that it is not bothersome to the user such as pressing the shooting button. Absent. In addition, since the obtained image is an image including both the driver's license 3 and the coin 9, it is possible to obtain an image satisfying the necessary requirements at the optimum shooting timing.
Note that automatic image acquisition may be performed in the same manner when photographing the front or back of the driver's license 3.

（５）本実施形態では、正当性確認として、書類位置と硬貨位置とに物が写り込んでいることと、本人確認書類を読み取れることと、本人確認書類の有効期限が超過していないことの確認処理を行うものを例に説明したが、これに限定されない。上述した確認のうちの一部のみの確認を行うものであってもよいし、他の確認を行ってもよい。例えば、本人確認書類の表面を撮影した本人確認画像と、斜め方向の本人確認画像とに写り込んだ本人確認書類の同一性を確認してもよい。
（６）本実施形態では、本人確認画像を静止画像であるものとして説明したが、これに限定されない。ユーザに動作させることを必要とするために、動画像で運転免許証を撮影する等で本人確認書類であることの証明を示すような仕組みにしてもよい。 (5) In the present embodiment, as the validity confirmation, an object is reflected in the document position and the coin position, the personal identification document can be read, and the validity period of the personal identification document has not expired. The example of performing the confirmation processing has been described, but the present invention is not limited to this. Only a part of the above confirmations may be confirmed, or another confirmation may be performed. For example, the identity of the personal identification document captured on the surface of the personal identification document and the personal identification image in the diagonal direction may be confirmed.
(6) In the present embodiment, the personal identification image is described as a still image, but the present invention is not limited to this. Since it is necessary for the user to operate, a mechanism for showing the proof that the document is an identity verification document by photographing a driver's license with a moving image may be used.

（７）本実施形態では、本人確認書類として運転免許証を用いるものを例に説明したが、これに限定されない。本人の顔写真がある公的な身分証明書であれば、例えば、マイナンバーカードであってもよい。なお、本人確認書類としてマイナンバーカードを用いる場合には、裏面には、取得に必要な情報を含まないため、正面からと斜めとから表面を撮影したものであればよい。
（８）本実施形態では、本人確認書類と共に撮影する対象物として硬貨を用いるものを例に説明したが、これに限定されない。円形状のものであれば、例えば、ボタン等であってもよい。また、ユーザが円形状のものを所持していない場合には、硬貨位置に合わせて紙に丸等を記載したものを置くことで代替してもよい。
さらに、円形状に限定せず、本人確認を行う際にユーザが所持しているであろう他の物を対象物にして本人確認を行えるようにしてもよい。 (7) In the present embodiment, the case where the driver's license is used as the personal identification document has been described as an example, but the present invention is not limited to this. If it is a public identification card with a photograph of the person's face, it may be, for example, my number card. When the personal identification card is used as the personal identification document, the back side does not include information necessary for acquisition, and thus the front side and the oblique side may be photographed.
(8) In the present embodiment, an example in which a coin is used as an object to be imaged together with the personal identification document has been described, but the present invention is not limited to this. For example, a button or the like may be used as long as it has a circular shape. Further, when the user does not have a circular one, it may be replaced by placing a paper with a circle or the like on it according to the coin position.
Furthermore, the person is not limited to the circular shape, and other person that the user may have when performing the person confirmation may be used as an object to perform the person confirmation.

（９）本実施形態では、本人確認サーバが、画像照合処理と文字認識処理とを行うものを例に説明したが、これに限定されない。例えば、本人確認サーバに対して通信可能に接続された画像照合サーバと、ＯＣＲサーバとを備え、画像照合サーバを用いて顔画像の照合をし、ＯＣＲサーバを用いて文字認識処理をするものであってもよい。
（１０）本実施形態では、本人確認サーバと、携帯端末とを用いた処理を説明したが、本人確認サーバと、携帯端末との処理内容は、これに限定されない。携帯端末で行う画像取得以外の処理を、本人確認サーバが行ってもよいし、本人確認サーバが行っている処理を、携帯端末で行ってもよい。 (9) In the present embodiment, the case where the personal identification server performs the image matching process and the character recognition process has been described as an example, but the present invention is not limited to this. For example, an image collation server communicatively connected to the personal identification server and an OCR server are provided, the face collation is performed using the image collation server, and character recognition processing is performed using the OCR server. It may be.
(10) In the present embodiment, the processing using the identity verification server and the mobile terminal has been described, but the content of processing between the identity verification server and the mobile terminal is not limited to this. The process other than the image acquisition performed by the mobile terminal may be performed by the identity verification server, or the process performed by the identity verification server may be performed by the mobile terminal.

（１１）本実施形態での本人確認及び本人認証を行うサービスについては、様々なものが該当する。例えば、銀行業務であれば、口座開設及び口座の紐付け処理や、ＡＴＭを用いた現金引き出し等の処理等に用いることができる。
ＡＴＭを用いるものとしては、携帯端末で本人認証を行って、認証された場合にＱＲコード（登録商標）を携帯端末に表示させて、ＡＴＭに読み取らせることで、携帯端末を、キャッシュカードの代わりとすることができる。
他のＡＴＭを用いるものとしては、ＡＴＭにＱＲコードを出力させて、携帯端末がＱＲコードを読み取って、口座情報の関連付けを行った後に本人認証をすることで、携帯端末を、キャッシュカードの代わりとすることができる。
また、窓口での業務で、代理人が本人に代わって行う場合に、本人による本人認証がされたことを証明する情報を代理人が受信等することで、委任状等を予め用意せずに済む。 (11) Various services are applicable as services for performing personal identification and personal authentication in the present embodiment. For example, in the case of banking business, it can be used for account opening and account linking processing, cash withdrawal processing using ATM, and the like.
As for using the ATM, personal identification is performed by the mobile terminal, and when authenticated, the QR code (registered trademark) is displayed on the mobile terminal, and the ATM is read, thereby replacing the mobile terminal with a cash card. Can be
For other ATMs, the QR code is output to the ATM, the mobile terminal reads the QR code, authenticates the identity after associating the account information, and replaces the mobile terminal with a cash card. Can be
Also, in the case of an agent acting on behalf of the person at the counter, the agent receives information proving that the person has been authenticated, without having to prepare a power of attorney in advance. I'm done.

１ 携帯端末
３ 運転免許証
４ 本人確認サーバ
７ サービス提供サーバ
１０，４０ 制御部
１２ 本人確認部
１３ 本人確認画像処理部
１４ 案内画面出力部
１５ 本人確認画像取得部
１６ 正当性確認部
１７ 照合画像処理部
１８ 瞬き検出部
１９ 照合画像取得部
２０ 画像送信部
２１ 本人認証部
２２ サービス開始判定部
３０，５０ 記憶部
３１ａ 取引アプリ
３１ｂ 本人確認アプリ
３２ 取得画像記憶部
３３ カメラ
３５ タッチパネルディスプレイ
４１ 本人確認画像解析部
４３ 顔照合部
４４ 照合結果送信部
１００ 本人確認システム 1 mobile terminal 3 driver's license 4 identity verification server 7 service providing server 10, 40 control unit 12 identity verification unit 13 identity verification image processing unit 14 guidance screen output unit 15 identity verification image acquisition unit 16 validity verification unit 17 collation image processing Part 18 Blink detection part 19 Matching image acquisition part 20 Image transmission part 21 Personal authentication part 22 Service start determination part 30, 50 Storage part 31a Transaction application 31b Personal identification application 32 Acquired image storage part 33 Camera 35 Touch panel display 41 Personal identification image analysis Part 43 Face matching part 44 Matching result sending part 100 Identity verification system

Claims (16)

撮影部を有する携帯端末であって、
サービス開始時におけるユーザの本人確認に必要なデータを、前記ユーザが所持する前記携帯端末のみを用いて取得するものであり、
顔写真が掲載された本人確認書類と共に撮影する対象物の配置位置を指定した案内画面を出力する案内画面出力手段と、
前記案内画面出力手段により出力された前記案内画面にしたがって、前記対象物と前記本人確認書類とを含む画像である本人確認画像を、前記撮影部から取得する本人確認画像取得手段と、
前記本人確認書類を所持した所持者の顔を含む画像である照合画像を、前記撮影部から取得する照合画像取得手段と、
前記本人確認画像取得手段により取得した前記本人確認画像と、前記照合画像取得手段により取得した前記照合画像とを、画像を用いて本人確認を行う本人確認サーバに送信する照合用画像送信手段と、
を備えること、
を特徴とする携帯端末。 A mobile terminal having a photographing unit,
The data necessary for identifying the user at the time of starting the service is acquired using only the mobile terminal owned by the user,
A guide screen output means for outputting a guide screen specifying the arrangement position of the object to be photographed together with the personal identification document in which the face photograph is posted,
According to the guide screen output by the guide screen output unit, a personal identification image acquisition unit that acquires a personal identification image, which is an image including the object and the personal identification document, from the imaging unit,
A collation image acquisition unit that acquires a collation image, which is an image including the face of the holder who possesses the identity verification document, from the photographing unit,
A matching image transmitting unit that transmits the personal identification image acquired by the personal identification image acquisition unit and the collation image acquired by the collation image acquisition unit to a personal identification server that performs personal identification using an image,
Be equipped with,
A mobile terminal characterized by. 請求項１に記載の携帯端末において、
前記案内画面出力手段による処理と、前記本人確認画像取得手段による処理とを複数回繰り返す繰り返し処理手段を備え、
前記案内画面出力手段は、前記対象物の配置位置が都度異なる前記案内画面を出力し、
前記本人確認画像取得手段は、異なる観察角度の前記本人確認書類を撮影した複数の前記本人確認画像を、前記撮影部から取得すること、
を特徴とする携帯端末。 The mobile terminal according to claim 1,
A repeating processing means for repeating the processing by the guide screen output means and the processing by the personal identification image acquisition means a plurality of times,
The guide screen output means outputs the guide screen in which the arrangement position of the object is different each time,
The personal identification image acquisition means acquires a plurality of the personal identification images obtained by photographing the personal identification documents of different observation angles from the photographing unit,
A mobile terminal characterized by. 請求項２に記載の携帯端末において、
前記本人確認画像取得手段により取得する前記複数の本人確認画像は、前記対象物を同じ観察角度で撮影したものであること、
を特徴とする携帯端末。 The mobile terminal according to claim 2,
The plurality of personal identification images acquired by the personal identification image acquisition means are images of the object at the same observation angle,
A mobile terminal characterized by. 請求項２に記載の携帯端末において、
前記本人確認画像取得手段により取得する前記複数の本人確認画像は、前記対象物を前記本人確認書類と同じ観察角度で撮影したものであること、
を特徴とする携帯端末。 The mobile terminal according to claim 2,
The plurality of identity verification images acquired by the identity verification image acquisition means are images of the object at the same observation angle as the identity verification document,
A mobile terminal characterized by. 請求項１に記載の携帯端末において、
前記案内画面出力手段による処理と、前記本人確認画像取得手段による処理とを複数回繰り返す繰り返し処理手段を備え、
前記案内画面出力手段は、前記対象物の配置位置が都度異なる前記案内画面を出力し、
前記本人確認画像取得手段は、異なる撮影方向から前記本人確認書類を撮影した複数の前記本人確認画像を、前記撮影部から取得すること、
を特徴とする携帯端末。 The mobile terminal according to claim 1,
A repeating processing means for repeating the processing by the guide screen output means and the processing by the personal identification image acquisition means a plurality of times,
The guide screen output means outputs the guide screen in which the arrangement position of the object is different each time,
The personal identification image acquisition means acquires a plurality of the personal identification images obtained by photographing the personal identification document from different photographing directions from the photographing unit,
A mobile terminal characterized by. 請求項２から請求項５までのいずれかに記載の携帯端末において、
前記本人確認画像取得手段により取得する前記複数の本人確認画像のうち少なくとも１つの前記本人確認画像は、前記本人確認書類の厚み及び顔画像を確認可能なものであること、
を特徴とする携帯端末。 The mobile terminal according to any one of claims 2 to 5,
At least one of the personal identification images among the plurality of personal identification images acquired by the personal identification image acquisition means is capable of confirming the thickness and face image of the personal identification document.
A mobile terminal characterized by. 請求項１から請求項６までのいずれかに記載の携帯端末において、
前記案内画面出力手段は、予め定められた複数の位置の中からランダムに決定した前記対象物の配置位置を含む前記案内画面を出力すること、
を特徴とする携帯端末。 The mobile terminal according to any one of claims 1 to 6,
The guide screen output means outputs the guide screen including the arrangement position of the object randomly determined from a plurality of predetermined positions,
A mobile terminal characterized by. 請求項１から請求項６までのいずれかに記載の携帯端末において、
前記案内画面出力手段は、予め決められた前記案内画面の指定領域内においてランダムに決定した前記対象物の配置位置を含む前記案内画面を出力すること、
を特徴とする携帯端末。 The mobile terminal according to any one of claims 1 to 6,
The guide screen output means outputs the guide screen including a placement position of the object randomly determined within a predetermined area of the guide screen determined in advance,
A mobile terminal characterized by. 請求項１から請求項８までのいずれかに記載の携帯端末において、
前記案内画面出力手段は、前記対象物の配置位置を枠線として示した前記案内画面を出力すること、
を特徴とする携帯端末。 The mobile terminal according to any one of claims 1 to 8,
The guide screen output means outputs the guide screen showing the arrangement position of the object as a frame line,
A mobile terminal characterized by. 請求項１から請求項９までのいずれかに記載の携帯端末において、
前記案内画面出力手段は、前記対象物の配置位置を円形状又は楕円形状として示した前記案内画面を出力し、
前記対象物は、硬貨を含むこと、
を特徴とする携帯端末。 The mobile terminal according to any one of claims 1 to 9,
The guide screen output means outputs the guide screen showing the arrangement position of the object as a circular shape or an elliptical shape,
The object includes a coin,
A mobile terminal characterized by. 請求項１から請求項１０までのいずれかに記載の携帯端末において、
前記案内画面出力手段は、前記対象物の配置位置と共に前記本人確認書類の配置位置を指定した前記案内画面を出力すること、
を特徴とする携帯端末。 The mobile terminal according to any one of claims 1 to 10,
The guide screen output means outputs the guide screen specifying the arrangement position of the personal identification document together with the arrangement position of the object,
A mobile terminal characterized by. 請求項１１に記載の携帯端末において、
前記案内画面出力手段は、前記本人確認書類の配置位置を矩形形状又は台形形状の枠線として示した前記案内画面を出力すること、
を特徴とする携帯端末。 The mobile terminal according to claim 11,
The guide screen output means outputs the guide screen showing the arrangement position of the personal identification document as a rectangular or trapezoidal frame line,
A mobile terminal characterized by. 請求項１から請求項１２までのいずれかに記載の携帯端末において、
前記本人確認画像取得手段により取得した前記本人確認画像に基づいて、前記対象物及び前記本人確認書類についての正当性を確認する正当性確認手段を備え、
前記照合画像取得手段は、前記正当性確認手段により正当性を確認できた場合に、前記照合画像を取得すること、
を特徴とする携帯端末。 The mobile terminal according to any one of claims 1 to 12,
Based on the personal identification image acquired by the personal identification image acquisition means, a legitimacy confirmation means for confirming the legitimacy of the object and the personal identification document,
The collation image acquisition unit acquires the collation image when the legitimacy can be confirmed by the legitimacy confirmation unit.
A mobile terminal characterized by. 請求項１から請求項１３までのいずれかに記載の携帯端末において、
前記撮影部から取得した前記所持者の顔の画像から瞬きを検出する瞬き検出手段を備え、
前記照合画像取得手段は、前記瞬き検出手段が瞬きを検出した後に前記撮影部が撮影した前記照合画像を取得すること、
を特徴とする携帯端末。 The mobile terminal according to any one of claims 1 to 13,
A blink detecting means for detecting a blink from the image of the face of the holder acquired from the photographing unit,
The collation image acquisition unit acquires the collation image captured by the imaging unit after the blink detection unit detects a blink,
A mobile terminal characterized by. 撮影部を有する携帯端末と、
前記携帯端末に対して通信可能に接続され、本人確認処理を行う本人確認サーバと、
を備えた本人確認システムであって、
前記携帯端末は、
サービス開始時におけるユーザの本人確認に必要なデータを、前記ユーザが所持する前記携帯端末のみを用いて取得するものであり、
顔写真が掲載された本人確認書類と共に撮影する対象物の配置位置を指定した案内画面を出力する案内画面出力手段と、
前記案内画面出力手段により出力された前記案内画面にしたがって、前記対象物と前記本人確認書類とを含む画像である本人確認画像を、前記撮影部から取得する本人確認画像取得手段と、
前記本人確認書類を所持した所持者の顔を含む画像である照合画像を、前記撮影部から取得する照合画像取得手段と、
前記本人確認画像取得手段により取得した前記本人確認画像と、前記照合画像取得手段により取得した前記照合画像とを、前記本人確認サーバに送信する照合用画像送信手段と、
を備え、
前記本人確認サーバは、
前記携帯端末から受信した前記照合画像と前記本人確認画像に含まれる顔写真画像とを照合する顔照合手段と、
前記顔照合手段による照合結果情報を、前記携帯端末に送信する結果送信手段と、
を備え、
前記携帯端末は、受信した前記照合結果情報に基づいて、前記携帯端末及び前記本人確認サーバに対して通信可能に接続されサービス処理を行うサービス提供サーバとの間でサービス処理を開始するか否かを判定するサービス開始判定手段を備えること、
を特徴とする本人確認システム。 A mobile terminal having a photographing unit,
An identity verification server that is communicably connected to the mobile terminal and performs identity verification processing;
A personal identification system including
The mobile terminal is
The data necessary for identifying the user at the time of starting the service is acquired using only the mobile terminal owned by the user,
A guide screen output means for outputting a guide screen specifying the arrangement position of the object to be photographed together with the personal identification document in which the face photograph is posted,
According to the guide screen output by the guide screen output unit, a personal identification image acquisition unit that acquires a personal identification image, which is an image including the object and the personal identification document, from the imaging unit,
A collation image acquisition unit that acquires a collation image that is an image including the face of the holder who possesses the personal identification document from the photographing unit;
A matching image transmitting unit that transmits the personal identification image acquired by the personal identification image acquisition unit and the collation image acquired by the collation image acquisition unit to the personal identification server.
Equipped with
The identification server is
Face collating means for collating the collation image received from the mobile terminal with the face photograph image included in the personal identification image,
Collating result information by the face collating means, result transmitting means for transmitting to the mobile terminal,
Equipped with
Whether the mobile terminal starts service processing between the mobile terminal and a service providing server which is communicably connected to the personal identification server and performs service processing based on the received collation result information. A service start determination means for determining
A personal identification system characterized by. 撮影部を有し、サービス開始時におけるユーザの本人確認に必要なデータの取得に用いる、前記ユーザが所持するコンピュータを、
顔写真が掲載された本人確認書類と共に撮影する対象物の配置位置を指定した案内画面を出力する案内画面出力手段と、
前記案内画面出力手段により出力された前記案内画面にしたがって、前記対象物と前記本人確認書類とを含む画像である本人確認画像を、前記撮影部から取得する本人確認画像取得手段と、
前記本人確認書類を所持した所持者の顔を含む画像である照合画像を、前記撮影部から取得する照合画像取得手段と、
前記本人確認画像取得手段により取得した前記本人確認画像と、前記照合画像取得手段により取得した前記照合画像とを、画像を用いて本人確認を行う本人確認サーバに送信する照合用画像送信手段と、
して機能させるためのプログラム。 A computer possessed by the user, which has an image capturing unit and is used to acquire data necessary for confirming the identity of the user when the service starts,
A guide screen output means for outputting a guide screen specifying the arrangement position of the object to be photographed together with the personal identification document in which the face photograph is posted,
According to the guide screen output by the guide screen output unit, a personal identification image acquisition unit that acquires a personal identification image, which is an image including the object and the personal identification document, from the imaging unit,
A collation image acquisition unit that acquires a collation image, which is an image including the face of the holder who possesses the identity verification document, from the photographing unit,
A matching image transmitting unit that transmits the personal identification image acquired by the personal identification image acquisition unit and the collation image acquired by the collation image acquisition unit to a personal identification server that performs personal identification using an image,
A program to make it work.
JP2019142303A 2018-12-10 2019-08-01 Mobile terminal, identity verification system and program Active JP6733790B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020114009A JP7419990B2 (en) 2018-12-10 2020-07-01 Mobile terminals, identity verification systems and programs

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018231095 2018-12-10
JP2018231095 2018-12-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020114009A Division JP7419990B2 (en) 2018-12-10 2020-07-01 Mobile terminals, identity verification systems and programs

Publications (2)

Publication Number Publication Date
JP2020095681A JP2020095681A (en) 2020-06-18
JP6733790B2 true JP6733790B2 (en) 2020-08-05

Family

ID=71086244

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019142303A Active JP6733790B2 (en) 2018-12-10 2019-08-01 Mobile terminal, identity verification system and program
JP2020114009A Active JP7419990B2 (en) 2018-12-10 2020-07-01 Mobile terminals, identity verification systems and programs

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020114009A Active JP7419990B2 (en) 2018-12-10 2020-07-01 Mobile terminals, identity verification systems and programs

Country Status (1)

Country Link
JP (2) JP6733790B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021049234A1 (en) * 2019-09-12 2021-03-18 日本電気株式会社 Image analysis device, control method, and program
JP7019007B1 (en) * 2020-09-28 2022-02-14 楽天グループ株式会社 Collation system, collation method and program
JPWO2022158239A1 (en) * 2021-01-21 2022-07-28
JP7206430B1 (en) * 2022-03-08 2023-01-17 ＰａｙＰａｙ株式会社 Information processing device, information processing method, and program

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005284565A (en) * 2004-03-29 2005-10-13 Glory Ltd Automatic transaction apparatus
JP4548218B2 (en) * 2005-05-24 2010-09-22 パナソニック電工株式会社 Face recognition device
JP6353640B2 (en) * 2013-08-27 2018-07-04 株式会社新生銀行 Registration information confirmation method and registration information confirmation server
JP6109392B1 (en) * 2016-08-26 2017-04-05 株式会社三菱東京Ｕｆｊ銀行 Information processing apparatus, information processing method, and program
JP2019142303A (en) * 2018-02-19 2019-08-29 マツダ株式会社 Vehicle control device
JP6541140B1 (en) * 2018-12-11 2019-07-10 株式会社ダブルスタンダード Authentication system, authentication method, authentication program

Also Published As

Publication number Publication date
JP2020095681A (en) 2020-06-18
JP7419990B2 (en) 2024-01-23
JP2020161191A (en) 2020-10-01

Similar Documents

Publication Publication Date Title
JP6733790B2 (en) Mobile terminal, identity verification system and program
US9412106B2 (en) Mobile phone ATM processing methods and systems
JP6756399B2 (en) Mobile terminals, identity verification systems and programs
US11228587B2 (en) Method, system, device and software programme product for the remote authorization of a user of digital services
JP2020064541A (en) Identity verification program, identity verification method and information processing apparatus
JP6779397B1 (en) Identity verification device and program
JP6513866B1 (en) Person authentication apparatus and program
JP6741137B2 (en) Personal authentication system, authenticator, program and personal authentication method
JP7484095B2 (en) Financial transaction system and financial transaction method
JP6898536B1 (en) Identity verification system, identity verification method, information processing terminal, and program
CN105580046B (en) System and method for providing banking interaction with a remote banking device
JP2013190934A (en) Counter authentication system, counter authentication server, program and counter authentication method
EP2947633A1 (en) Automatic teller system for providing a banking service to a user operating the system, and method therefore
WO2018217393A1 (en) Authentication platform and method
JP2020095728A (en) Portable terminal, identification system, and program
KR20220038015A (en) How to verify biometrics using a mobile device
JP2022100522A (en) Person identifying method, program and information system
JP7310522B2 (en) Personal authentication system, authenticator, program and personal authentication method
RU2706172C1 (en) Terminal-server complex for data verification in connection with provision of bank financial product
JP7226496B2 (en) Personal authentication system, server, server program, transaction device and device program
JP7486635B1 (en) Information processing device and program
JP2021144657A (en) Information collection support program, information collection support method and information processing device
JP2023059657A (en) Procedure reception device, procedure reception device program, procedure processing system, portable terminal, and portable terminal program
JP2024006369A (en) ID registration procedure support method
JP2022039610A (en) Face imaging apparatus, face imaging method, face authentication system, and face imaging program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200128

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200515

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200622

R150 Certificate of patent or registration of utility model

Ref document number: 6733790

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150