JP7236042B2 - Face Recognition Application Using Homomorphic Encryption - Google Patents
Face Recognition Application Using Homomorphic Encryption Download PDFInfo
- Publication number
- JP7236042B2 JP7236042B2 JP2022580443A JP2022580443A JP7236042B2 JP 7236042 B2 JP7236042 B2 JP 7236042B2 JP 2022580443 A JP2022580443 A JP 2022580443A JP 2022580443 A JP2022580443 A JP 2022580443A JP 7236042 B2 JP7236042 B2 JP 7236042B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- server
- user
- authentication
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001815 facial effect Effects 0.000 claims description 67
- 230000005540 biological transmission Effects 0.000 claims description 26
- 238000000354 decomposition reaction Methods 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 40
- 238000010586 diagram Methods 0.000 description 22
- 239000000284 extract Substances 0.000 description 19
- 230000008921 facial expression Effects 0.000 description 17
- 238000003384 imaging method Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 8
- 210000000887 face Anatomy 0.000 description 8
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012795 verification Methods 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 230000002250 progressing effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 210000003462 vein Anatomy 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Collating Specific Patterns (AREA)
Description
本開示は、準同型暗号を用いた顔認証のアプリケーションに関する。 The present disclosure relates to face authentication applications using homomorphic encryption.
昨今のコロナ禍により、接触を伴う認証から非接触認証への転換が進んでいる。非接触認証のなかでも顔認証は、カメラさえあれば導入でき、専用の端末が不要であることからコスト面で有利であり、適用範囲が広い。 Due to the recent corona disaster, the shift from contact-based authentication to contactless authentication is progressing. Among non-contact authentication, face authentication can be introduced as long as there is a camera and does not require a dedicated terminal, so it is advantageous in terms of cost and has a wide range of applications.
顔認証には、顔の画像の特徴が認証サーバに保持されるというプライバシーの課題がある。誰しも、自分の顔のデータが第三者のサーバに送られ、そこに記憶されることを好まない。仮に顔認証のシステム側が顔のデータを消去していることや目的外使用を行わないことを宣言したとしても、このようなユーザ側の不安は残るものである。 Face recognition has the privacy issue that the facial image features are kept in the authentication server. No one likes their facial data sent to and stored on a third party server. Even if the face authentication system side declares that the face data has been erased and that it will not be used for any other purpose, such anxiety on the user side will remain.
一方、近年の計算機の能力向上により、準同型暗号(Homomorphic Encryption)を様々なシステムに応用できるようになってきた。顔認証を含む生体認証もその応用分野のひとつであり、例えば非特許文献1には、生体特徴の秘匿マッチングに基づくリモート生体認証システムが開示されている。このシステムは、手のひら静脈から抽出したバイオ特徴コードを、準同型暗号で保護したままサーバに保存および照合することにより、インターネット上や異組織間であっても安全に生体認証を実現する。非特許文献1に記載のシステムにおいて、手のひら静脈のデータを顔の画像の顔特徴量に置き換えることで、ユーザの顔の画像の顔特徴量を準同型暗号で保護したまま顔認証を行うことが可能となる。また、非特許文献2には、顔認証システムにおける登録者の顔特徴量情報の安全管理に、準同型暗号などの秘密計算を用いることが記載されている。
On the other hand, recent improvements in computer performance have made it possible to apply homomorphic encryption to various systems. Biometric authentication including face authentication is one of its application fields. For example, Non-Patent Document 1 discloses a remote biometric authentication system based on secret matching of biometric features. This system realizes safe biometric authentication even on the Internet or between different organizations by storing and verifying bio-feature codes extracted from palm veins in a server while protecting them with homomorphic encryption. In the system described in Non-Patent Document 1, by replacing the palm vein data with the face feature amount of the face image, face authentication can be performed while the face feature amount of the user's face image is protected by homomorphic encryption. It becomes possible. Non-Patent
このように、準同型暗号を顔認証に適用する技術は確立されている。しかしながら、そのような技術を用いたソリューションの提案はまだ少ない。 In this way, techniques for applying homomorphic encryption to face authentication have been established. However, there are still few proposals for solutions using such technology.
本発明はこうした課題に鑑みてなされたものであり、その目的は、準同型暗号を顔認証に適用する技術を用いたソリューションの提供にある。 The present invention has been made in view of these problems, and an object thereof is to provide a solution using technology that applies homomorphic encryption to face authentication.
本発明のある態様は、オンプレミスサーバに関する。このオンプレミスサーバは、準同型暗号で用いられる公開鍵を保持する保持手段と、受付に設置されたカメラで来訪者を撮像することによって得られる当該来訪者の顔の画像を取得する顔画像取得手段と、取得された顔の画像の顔特徴量を、保持手段によって保持されている公開鍵で準同型暗号化する暗号化手段と、準同型暗号化された顔特徴量を、準同型暗号化したままの顔認証を実現するクラウドサーバにネットワークを介して送信する送信手段と、クラウドサーバによって実現される顔認証の結果にしたがい来訪者に対するアクションを選択する選択手段と、を備える。 One aspect of the invention relates to an on-premises server. This on-premises server includes holding means for holding a public key used in homomorphic encryption, and facial image acquisition means for acquiring an image of the visitor's face obtained by taking an image of the visitor with a camera installed at the reception desk. and an encryption means for homomorphically encrypting the face feature amount of the obtained face image with the public key held by the holding means, and homomorphically encrypting the homomorphically encrypted face feature amount. A transmitting means for transmitting to a cloud server that realizes face authentication as it is via a network, and a selecting means for selecting an action for a visitor according to the result of face authentication realized by the cloud server.
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。 Any combination of the above constituent elements, and any conversion of expressions of the present invention into methods, devices, systems, recording media, computer programs, etc. are also effective as embodiments of the present invention.
以下、各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において説明上重要ではない部材の一部は省略して表示する。 Hereinafter, the same or equivalent constituent elements, members, and processes shown in each drawing are denoted by the same reference numerals, and duplication of description will be omitted as appropriate. Also, in each drawing, some members that are not important for explanation are omitted.
(概要)
顔認証に準同型暗号を適用することの利点として、例えば非特許文献2には、サーバで復号する必要がないのでデータ漏洩のリスクを減らすことができることが挙げられている。本発明者等は、顔認証に準同型暗号を適用することの利点はそれ以外にも数多くあることを見出した。(overview)
As an advantage of applying homomorphic encryption to face authentication, for example, Non-Patent
例えば、クラウドネイティブ時代における秘匿性を担保した顔認証を提供することができることがある。オンプレミスで顔認証を行う場合、顔認証の全てのコンポーネント、全ての登録データを自社のサーバに搭載することとなり、導入・メンテナンスコストが嵩み、スケーラビリティに乏しい。近年、コストやスケーラビリティの面でより有利なクラウドネイティブが台頭し、オンプレミスからクラウドへの移行が進んでいる。そのようなクラウドにおいてユーザの顔のセキュリティを担保したまま顔認証を行うための直感的な解は、シンクライアントとクラウドとで秘密鍵を共有し、シンクライアントで顔特徴量を暗号化してクラウドに送り、クラウドで復号して顔認証し、結果を暗号化して送り返す、という手法であろう。しかしながら、秘密鍵をクラウドに預ける必要があり、かつ、復号済みの顔特徴量やその認証結果がそのままクラウドに残りうるのでプライバシー上好ましくない。クラウドおよびその管理者・提供者は基本的に第3者であってnon-trustedとみなければならない。クラウドネイティブ時代のプライバシー保護の要諦は、いかにクラウドに生のデータを残さないか、である。 For example, it may be possible to provide face authentication that guarantees confidentiality in the cloud-native era. When face recognition is performed on-premises, all face recognition components and all registered data must be installed on the company's own server, which increases introduction and maintenance costs and lacks scalability. In recent years, cloud-native, which is more advantageous in terms of cost and scalability, has emerged, and migration from on-premises to the cloud is progressing. An intuitive solution for performing face authentication in such a cloud while ensuring the security of the user's face is to share a secret key between the thin client and the cloud, encrypt the facial features on the thin client, and send them to the cloud. It would be a method of sending it, decrypting it in the cloud, performing face authentication, encrypting the result and sending it back. However, it is not preferable from the viewpoint of privacy because it is necessary to deposit the private key in the cloud, and the decrypted face feature amount and its authentication result may remain in the cloud as they are. The cloud and its administrators/providers are basically third parties and should be regarded as non-trusted. The key to privacy protection in the cloud-native era is how to keep raw data out of the cloud.
そこで、顔認証に準同型暗号を適用することにより、クラウドに生の顔特徴量や認証結果を残さずにクラウド上で顔認証を行うことができる。これにより、クラウド管理者・提供者による顔特徴量の悪用を防止することができるので、プライバシー保護を担保しつつ顔認証システムのクラウドへの移行を進めることができる。さらに、このような利点がユーザに周知されることにより、これまでクラウドに自分の顔の情報が残ることを嫌っていたユーザの懸念が軽減または払拭され、顔認証サービスを利用することに対する心理的なしきいが下がり、顔認証の利用が促進される。 Therefore, by applying homomorphic encryption to face authentication, face authentication can be performed on the cloud without leaving raw facial feature values and authentication results in the cloud. As a result, it is possible to prevent the cloud administrator/provider from misusing the face feature amount, so that the migration of the face authentication system to the cloud can be promoted while ensuring privacy protection. In addition, by making users aware of these advantages, the concerns of users who previously disliked having their face information stored in the cloud can be alleviated or eliminated. The threshold is lowered, promoting the use of facial recognition.
本開示において用いられる準同型暗号の種類に制限はなく、任意の種類の準同型暗号が用いられてもよい。例えば、RSA暗号、ElGamal暗号、modified-ElGamal暗号、Pillier暗号のうちのいずれかが用いられてもよいし、他の準同型暗号アルゴリズムが用いられてもよい。 The type of homomorphic encryption used in the present disclosure is not limited, and any type of homomorphic encryption may be used. For example, one of RSA encryption, ElGamal encryption, modified-ElGamal encryption, and Pillier encryption may be used, or other homomorphic encryption algorithms may be used.
図1は、準同型暗号を適用した顔認証のシステム2の模式図である。システム2には3つのエンティティ:データ所有者、データ処理者、データ消費者、が登場する。システム2の処理フローでは、まずデータ所有者にてデジタルの顔データを生成し、生成された顔データを準同型暗号化する。データ所有者は、準同型暗号化された顔データをデータ処理者に伝送する。データ処理者は、取得した顔データと、準同型暗号化された状態で保持されている参照用の顔データと、を用いて認証を行う。データ処理者は、準同型暗号化された状態の認証結果をデータ消費者に伝送する。データ消費者は、取得した認証結果を復号する。
FIG. 1 is a schematic diagram of a
(第1の実施の形態)
図2は、準同型暗号を適用した顔認証システム4の第1の実施の形態の模式図である。顔認証システム4は、登録用端末6と、認証用端末8と、non-trustedのクラウドサーバ10と、trusted の認証サーバ12と、を備える。顔認証システム4の各構成要素は、インターネットなどのネットワークを介して互いに通信可能に接続されている。(First embodiment)
FIG. 2 is a schematic diagram of a first embodiment of a
登録用端末6は、顔認証の登録用にユーザの顔を撮像するためのカメラおよびその制御部と、顔の画像の顔特徴量を準同型暗号化する暗号化部と、該暗号化部で用いられる準同型暗号の公開鍵を保持する保持部と、を含む。登録用端末6は、認証サーバ12から公開鍵を取得する。
The
認証用端末8は、顔認証用にユーザの顔を撮像するためのカメラおよびその制御部と、顔の画像の顔特徴量を準同型暗号化する暗号化部と、該暗号化部で用いられる準同型暗号の公開鍵を保持する保持部と、を含む。認証用端末8は、認証サーバ12から公開鍵を取得する。
The
クラウドサーバ10は、非特許文献1や非特許文献2に記載される公知の技術を用いることにより、準同型暗号化したままの顔認証を実現する。クラウドサーバ10は、登録用端末6から送られてくる準同型暗号化された顔特徴量を保持する登録顔情報保持部と、認証用端末8から送られてくる準同型暗号化された状態の顔特徴量と、登録顔情報保持部に保持されている準同型暗号化された状態の顔特徴量と、の差分を計算する計算部と、を含む。当該差分は準同型暗号化された状態で算出される。
The
認証サーバ12は、クラウドサーバから送られてくる準同型暗号化された状態の差分値を、準同型暗号の秘密鍵を用いて復号する復号部と、復号の結果得られた差分値に基づき一致判定を行う判定部と、を含む。判定部において一致するとの判定がなされると、顔認証の成功となり、一致しないとの判定がなされると顔認証の失敗となる。
The
顔認証システム4では、事前にユーザは登録用端末6を用いて自分の顔を撮影し、登録用端末6はその顔画像から抽出された顔特徴量を準同型暗号化してクラウドサーバ10に送信する。クラウドサーバ10は受信した顔特徴量(準同型暗号化済み、以下、準同型暗号化された状態の情報やデータの名称の頭に「HE」を付す)を登録顔情報保持部に格納する。
In the
顔認証が必要になると、ユーザは、認証用端末8を用いて自分の顔を撮影し、認証用端末8はその顔画像から抽出された顔特徴量を準同型暗号化してクラウドサーバ10に送信する。クラウドサーバ10は受信したHE顔特徴量と、登録顔情報保持部に保持されているHE顔特徴量と、の差分を算出し、算出されたHE差分値を認証サーバ12に送信する。認証サーバ12は、受信したHE差分値を復号し、得られた差分値に基づいて、認証用端末8から送られてきたHE顔特徴量が登録顔情報保持部に登録されているか否かを判定する。認証サーバ12は、登録されている場合は顔認証の成功を認証用端末8に通知し、登録されていない場合は顔認証の失敗を認証用端末8に通知する。
When face authentication becomes necessary, the user takes a picture of his/her face using the
(第2の実施の形態)
図3は、準同型暗号を適用した顔認証システム20の第2の実施の形態の模式図である。図3および以降の同様の図に示す各ブロックは、ハードウエア的には、コンピュータのCPUをはじめとする素子や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解されるところである。顔認証システム20は、ユーザ端末22と、non-trustedのクラウドサーバ24と、trustedのオンプレミスサーバ26と、を備える。顔認証システム20の各構成要素は、インターネットなどのネットワークを介して互いに通信可能に接続されている。(Second embodiment)
FIG. 3 is a schematic diagram of a second embodiment of a
ユーザ端末22は、顔認証の登録用にユーザの顔を撮像するためのカメラおよびその制御部と、顔の画像の顔特徴量を準同型暗号化する暗号化部と、該暗号化部で用いられる準同型暗号の公開鍵を保持する保持部と、を含む。ユーザ端末22は、オンプレミスサーバ26から公開鍵を取得する。
The
クラウドサーバ24は、非特許文献1や非特許文献2に記載される公知の技術を用いることにより、準同型暗号化したままの顔認証を実現する。クラウドサーバ24は、ユーザ端末22から送られてくる準同型暗号化された顔特徴量を保持する登録顔情報保持部と、オンプレミスサーバ26から送られてくる顔認証要求に含まれる準同型暗号化された状態の顔特徴量と、登録顔情報保持部に保持されている準同型暗号化された状態の顔特徴量と、の差分を計算する計算部と、を含む。当該差分は準同型暗号化された状態で算出される。
The
オンプレミスサーバ26は企業(またはエンティティ)によって所有および/または管理される。オンプレミスサーバ26の所有者/管理者とクラウドサーバ24の所有者/管理者とは異なる。オンプレミスサーバ26は、顔画像取得部と、暗号化部と、送信部と、復号部と、判定部と、選択部と、鍵保持部と、を含む。
On-
鍵保持部は、準同型暗号で用いられる一対の公開鍵と秘密鍵とを保持する。顔画像取得部は、企業の建物の受付に設置されたカメラで来訪者(ユーザ端末22を介して顔を登録したユーザ)を撮像することによって得られる当該来訪者の顔の画像を取得する。暗号化部は、顔画像取得部によって取得された顔の画像から顔特徴量を抽出し、抽出された顔特徴量を、鍵保持部に保持されている公開鍵で準同型暗号化する。送信部は、暗号化部によって準同型暗号化された顔特徴量を含む顔認証要求を、クラウドサーバ24にネットワークを介して送信する。復号部は、クラウドサーバ24から送られてくる準同型暗号化された状態の差分値を、鍵保持部に保持されている秘密鍵を用いて復号する。判定部は、復号部による復号の結果得られた差分値に基づき一致判定を行う。選択部は、クラウドサーバ24によって実現される顔認証の結果にしたがい来訪者に対するアクションを選択する。例えば、選択部は、判定部において一致するとの判定がなされると、顔認証の成功と判断して来訪者を受け入れるための処理(例えば、入場ゲートの開放、自動案内の開始など)を行い、一致しないとの判定がなされると顔認証の失敗と判断して、所定の来訪者確認処理を行う。来訪者確認処理は、例えば管理センターへの通報や、警備員の呼び出し、社員による対面での確認の要求などである。
The key holding unit holds a pair of public key and private key used in homomorphic encryption. The facial image acquisition unit acquires an image of the visitor's face obtained by imaging the visitor (the user whose face is registered via the user terminal 22) with a camera installed at the reception desk of the building of the company. The encryption unit extracts a face feature amount from the face image acquired by the face image acquisition unit, and homomorphically encrypts the extracted face feature amount with the public key held in the key holding unit. The transmission unit transmits a face authentication request including the face feature quantity homomorphically encrypted by the encryption unit to the
顔認証システム20では、事前にユーザはユーザ端末22を用いて自分の顔を撮影する。ユーザ端末22はその顔画像から抽出された顔特徴量を準同型暗号化し、HE顔特徴量を含む顔登録要求を、ネットワークを介してクラウドサーバ22に送信する。クラウドサーバ22は受信した顔登録要求に含まれるHE顔特徴量を登録顔情報保持部に格納する。
In the
上記の事前登録を完了した後、ユーザは、企業の建物を訪問し、受付のカメラに自分の顔を向ける。受付のカメラは、ユーザの顔を撮影する。オンプレミスサーバ26は、その顔画像から抽出された顔特徴量を準同型暗号化し、HE顔特徴量を含む顔認証要求を、ネットワークを介してクラウドサーバ24に送信する。クラウドサーバ24は受信したHE顔特徴量と、登録顔情報保持部に保持されているHE顔特徴量と、の差分を算出し、算出されたHE差分値をオンプレミスサーバ26に送信する。オンプレミスサーバ26は、受信したHE差分値を復号し、得られた差分値に基づいて、受付のカメラで撮像したユーザの顔のHE顔特徴量が登録顔情報保持部に登録されているか否かを判定する。オンプレミスサーバ26は、登録されている場合は顔認証が成功したと判断し、例えば受付の入場ゲートを開けるための処理を行う。オンプレミスサーバ26は、登録されていない場合は顔認証が失敗したと判断し、係員を呼び出すための処理を行う。
After completing the above pre-registration, the user visits the company's premises and faces the receptionist's camera. The camera at the reception takes a picture of the user's face. The on-
(第2の実施の形態:受付対応)
図4は、図3の第2の実施の形態を企業の受付における顔認証に適用した場合の事前顔登録処理の流れを示すフローチャートである。企業への訪問を希望するユーザは、スマートフォンやラップトップPCなどのユーザ端末22を操作して企業のウェブサイトにアクセスする。ユーザ端末22はユーザが用いる端末であれば任意の端末であればよく、例えば街中に設置されている自動販売機が撮像機能を有する場合は、その自動販売機をユーザ端末としてもよい。ユーザ端末22は当該ウェブサイトを介してオンプレミスサーバ26に訪問要求を送信する。オンプレミスサーバ26は、受信した訪問要求を解析することで、来社予定のユーザのユーザ端末22を特定する(ステップS202)。オンプレミスサーバ26は、ステップS202で特定されたユーザ端末22に、ネットワークを介して、鍵保持部に保持されている公開鍵を配布し(ステップS204)、ユーザ端末22は、配布された公開鍵を取得する。ユーザ端末22は、ユーザ端末22のカメラなどの撮像手段でユーザの顔を撮像する(ステップS206)。ユーザ端末22は、撮像の結果得られたユーザの顔の画像から顔特徴量を抽出し、抽出された顔特徴量をステップS204で受信した公開鍵で準同型暗号化する(ステップS208)。ユーザ端末22は、ステップS208で得られたHE顔特徴量を、顔認証における登録用として、クラウドサーバ24に送信する(ステップS210)。特にユーザ端末22は、HE顔特徴量を含む顔登録要求を生成し、ネットワークを介してクラウドサーバ24に送信する。クラウドサーバ24は、受信した顔登録要求に含まれるHE顔特徴量を登録顔情報保持部に格納する(ステップS212)。なお、上記の処理のうちユーザ端末22における処理はユーザ端末22のブラウザにより実現されてもよいし、ユーザ端末22にインストールされているアプリケーションプログラムにより実現されてもよい。(Second Embodiment: Reception)
FIG. 4 is a flow chart showing the flow of preliminary face registration processing when the second embodiment of FIG. 3 is applied to face authentication at the reception of a company. A user who wishes to visit a company operates a
図5は、図3の第2の実施の形態を企業の受付における顔認証に適用した場合の認証処理の流れを示すフローチャートである。上記の事前登録手続きを完了したユーザが来社する(ステップS214)。受付に設置されているカメラなどの撮像手段は、来社したユーザの顔を撮像する(ステップS216)。オンプレミスサーバ26は、受付のカメラからユーザの顔の画像を取得し、取得した画像からユーザの顔の顔特徴量を抽出し、抽出された顔特徴量を準同型暗号化する(ステップS218)。オンプレミスサーバ26は、ステップS218で得られたHE顔特徴量を含む顔認証要求をクラウドサーバ24にネットワークを介して送信する(ステップS220)。
FIG. 5 is a flow chart showing the flow of authentication processing when the second embodiment of FIG. 3 is applied to face authentication at the reception of a company. A user who has completed the pre-registration procedure described above visits the company (step S214). An imaging means such as a camera installed at the reception takes an image of the face of the user who has come to the office (step S216). The on-
クラウドサーバ24は、受信した顔認証要求に含まれるHE顔特徴量と、登録顔情報保持部に保持されているHE顔特徴量と、の差分を、準同型暗号化された状態で算出する(ステップS222)。クラウドサーバ24は、ステップS222で算出されたHE差分をオンプレミスサーバ26に送信する(ステップS224)。オンプレミスサーバ26は、受信したHE差分を、鍵保持部に保持されている秘密鍵で復号する(ステップS226)。オンプレミスサーバ26はステップS226の復号の結果から一致するか否かを判定し(ステップS230)、一致する場合(ステップS230のYES)は入館を許可するための処理を行う(ステップS234)。一致しない場合(ステップS230のNO)、オンプレミスサーバ26はクラウドサーバ24の登録顔情報保持部に保持されている全ての顔特徴量を確認したか否かを判定する(ステップS232)。確認していない場合(ステップS232のNO)、処理はステップS222に戻る。具体的には、オンプレミスサーバ26は再計算要求を生成してクラウドサーバ24に送信し、再計算要求を受信したクラウドサーバ24は登録顔情報保持部に登録されている新たなHE顔特徴量を選択して差分を算出する。全ての顔特徴量が確認された場合(ステップS232のYES)、オンプレミスサーバ26はユーザの入館を拒否するための処理を行う(ステップS236)。なお、オンプレミスサーバ26における一致するか否かの判定基準は、例えば復号の結果得られた差分が所定の閾値を下回ることであってもよい。
The
(第2の実施の形態:変形例1)
図5の例では以下の処理が繰り返して行われる。登録されているHE顔特徴量をひとつ選択(クラウド)、差分を計算(クラウド)、差分を復号(オンプレミス)、一致判定(オンプレミス)、一致しない場合の差し戻し(オンプレミス)、登録されているHE顔特徴量から新たにひとつ選択(クラウド)。この繰り返し処理はクラウドサーバ24とオンプレミスサーバ26との通信を含んでおり、比較的時間がかかるが、登録されているHE顔特徴量の匿名化の度合いは高いのでより高い程度のプライバシー保護が実現される。(Second Embodiment: Modification 1)
In the example of FIG. 5, the following processing is repeatedly performed. Select one of the registered HE face features (cloud), calculate the difference (cloud), decode the difference (on-premises), match judgment (on-premises), return if not matched (on-premises), registered HE face Newly select one from the feature amount (cloud). This iterative process includes communication between the
処理のスピードが求められるようなアプリケーションでは、HE顔特徴量にメタデータを付与して登録することで、照合処理を高速化することができる。図6は、変形例に係る登録顔情報保持部の構成の一例を示すデータ構造図である。この登録顔情報保持部は、HE顔特徴量と、ユーザ属性と、撮影時間帯と、撮影場所と、を対応付けて保持する。本変形例では、ユーザ端末22がユーザの顔を撮像するとき、併せて撮像が行われた時刻を表す撮影時間帯と、撮像が行われた場所を表す撮影場所と、を取得する。ユーザ端末22はユーザの顔の画像からユーザ属性を決定してもよいし、予めユーザ端末22に登録された情報からユーザ属性を決定してもよい。ユーザ端末22は、ユーザの顔のHE顔特徴量と、当該ユーザのユーザ属性と、撮影時間帯と、撮影場所と、を含む顔登録要求を生成し、ネットワークを介してクラウドサーバ24に送信する。ユーザ属性、撮影時間帯、撮影場所それぞれの粒度は、要求されるプライバシー保護の程度に応じて設定されてもよい。
For applications that require high processing speed, adding metadata to the HE facial features and registering them can speed up matching processing. FIG. 6 is a data structure diagram showing an example of the configuration of a registered face information holding unit according to a modification. This registered face information holding unit holds HE face feature values, user attributes, photographing time periods, and photographing locations in association with each other. In this modified example, when the
オンプレミスサーバ26は、受付に設けられた音声認識手段やマウス・キーボード等接触型入力手段やユーザ端末22との通信やユーザの画像の解析により、来訪したユーザのユーザ属性並びに当該ユーザが顔を登録したときの撮影時間帯および撮影場所を特定する。例えば、顔登録を行った時間や場所を問い合わせるメッセージを受付のスピーカーから出力し、受付のマイクロフォンがユーザの口頭回答を取得してもよい。受付のカメラの画像からユーザ属性を決定してもよい。あるいはまた、受付に設けられたタッチパネルディスプレイに、ユーザ属性や撮影時間帯や撮影場所を問い合わせる案内を表示し、ユーザによるタッチ入力を受け付けてもよい。
The on-
オンプレミスサーバ26は、来訪したユーザの顔のHE顔特徴量と、当該ユーザのユーザ属性と、撮影時間帯と、撮影場所と、を含む顔認証要求を生成し、ネットワークを介してクラウドサーバ24に送信する。クラウドサーバ24は、顔認証要求に含まれるユーザ属性と撮影時間帯と撮影場所とを用いて、照合するHE顔特徴量を絞り込む。クラウドサーバ24は、登録顔情報保持部に保持されているHE顔特徴量のなかから、顔認証要求に含まれるユーザ属性、撮影時間帯、撮影場所と合致するユーザ属性、撮影時間帯、撮影場所を有するHE顔特徴量を抽出する。クラウドサーバ24は、そのように抽出されたHE顔特徴量のひとつひとつと顔認証要求に含まれるHE顔特徴量との差分を計算する。これにより、必要なレベルのプライバシーの保護を実現しつつ照合の処理にかかる時間を削減できる。
The on-
オンプレミスサーバ26が来訪したユーザのユーザ属性と、撮影時間帯と、撮影場所と、を決定しない場合、オンプレミスサーバ26は来訪したユーザの顔のHE顔特徴量を含む顔認証要求を生成し、ネットワークを介してクラウドサーバ24に送信する。クラウドサーバ24は、ステップS222、S224と同様にして、顔認証要求に含まれるHE顔特徴量と登録顔情報保持部に保持されているあるひとつのHE顔特徴量とのHE差分をオンプレミスサーバ26に返す。オンプレミスサーバ26における一致判定の結果、一致しないと判定された場合、クラウドサーバ24に再計算通知がなされる。再計算通知を受けると、クラウドサーバ24は、登録顔情報保持部から先に選択したHE顔特徴量のメタデータ(ユーザ属性、撮影時間帯、撮影場所)を非該当メタデータとして指定する。クラウドサーバ24は、非該当メタデータと同じか類似するか対応するメタデータを有するHE顔特徴量をフィルタアウトするか、選択の母集団から除外する。これにより、顔認証時にメタデータを取得しなくてもまたはできなくても、登録時に記録されたメタデータを用いて照合の処理にかかる時間を削減できる。
If the on-
あるいはまた、登録顔情報保持部に保持されているHE顔特徴量をメタデータでいくつかのカテゴリに分類してもよい。この場合、クラウドサーバ24は、来訪者の顔のHE顔特徴量と、各カテゴリに属する任意のひとつのHE顔特徴量と、の差分を算出してもよい。オンプレミスサーバ26は、差分を復号し、カテゴリごとに一致度または一致スコアを算出してもよい。次の照合時、クラウドサーバ24は、一致度が最も高かったカテゴリのHE顔特徴量のなかから照合対象のHE顔特徴量を選択してもよい。
Alternatively, the HE face feature values held in the registered face information holding unit may be classified into several categories by metadata. In this case, the
(第2の実施の形態:変形例2)
図5の例においてステップS232でYESとなり、来訪者の顔が事前登録されていないと判定された場合、来訪者の入館が拒否される場合を説明したが、本開示はこれに限られない。例えば、来訪者の顔が事前登録されていないと判定された場合、係員を受付に呼び出す処理が開始されてもよい。係員は来訪者に来訪の要件を伺うなど通常の対応をする。来訪者を入館させてもよいと係員が判断した場合、オンプレミスサーバ26は来訪者の顔のHE顔特徴量を含む訪問者登録要求を生成し、クラウドサーバ24に送信する。クラウドサーバ24は、訪問者登録要求に含まれるHE顔特徴量を登録顔情報保持部に格納する。これにより、登録顔情報保持部は過去に来訪したユーザ全ての顔のHE顔特徴量を保持することとなる。また、ステップS230での一致は当該訪問者が以前に訪問したことがあることを示し、ステップS232のYESは初めての訪問であることを示す。すなわち、本変形例の処理により、オンプレミスサーバ26の所有者/管理者である企業は、訪問者が過去にも訪問を受けたことがある訪問者であるか否かを、登録顔情報保持部などの顔のデータベースにアクセスすることなしに、判断することができる。
(第2の実施の形態:変形例3)
図5の例では以下の処理が繰り返して行われる。登録されているHE顔特徴量をひとつ選択(クラウド)、差分を計算(クラウド)、差分を復号(オンプレミス)、一致判定(オンプレミス)、一致しない場合の差し戻し(オンプレミス)、登録されているHE顔特徴量から新たにひとつ選択(クラウド)。これに代えて、クラウドサーバは、オンプレミスサーバから顔認証要求を受信すると、受信した顔認証要求に含まれるHE顔特徴量と、登録顔情報保持部に保持されている各HE顔特徴量と、の差分を、準同型暗号化された状態で算出してもよい。これにより、顔認証要求に含まれるHE顔特徴量と登録顔情報保持部に保持されている全てのHE顔特徴量のそれぞれとの差分が算出される。クラウドサーバは、登録顔情報保持部に保持されている各HE顔特徴量について算出されたHE差分をまとめてオンプレミスサーバに送信する。オンプレミスサーバは、受信した複数のHE差分を、鍵保持部に保持されている秘密鍵で復号する。オンプレミスサーバは、復号の結果得られた複数の差分のなかに、所定の一致基準を充たす差分があれば一致があると判定し、そうでなければ一致がないと判定する。一致があると判定された場合は顔認証の成功に対応し、一致がないと判定された場合は顔認証の失敗に対応する。この変形例ではクラウドサーバからオンプレミスサーバへのHE差分の送信が一度で済むので、クラウドサーバとオンプレミスサーバとの通信の回数を削減できる。他の実施の形態についても同様の変形例が可能である。(Second Embodiment: Modification 2)
In the example of FIG. 5, a case has been described in which the visitor's entry is refused when it is determined that the result of step S232 is YES and the visitor's face is not pre-registered, but the present disclosure is not limited to this. For example, when it is determined that the visitor's face has not been pre-registered, a process of calling the receptionist to the reception may be started. The person in charge will ask the visitor about the requirements of the visit, etc., and respond as usual. When the attendant determines that the visitor may enter the building, the on-
(Second Embodiment: Modified Example 3)
In the example of FIG. 5, the following processing is repeatedly performed. Select one of the registered HE face features (cloud), calculate the difference (cloud), decode the difference (on-premises), match judgment (on-premises), return if not matched (on-premises), registered HE face Newly select one from the feature amount (cloud). Alternatively, when the cloud server receives a face authentication request from the on-premises server, the HE face feature quantity included in the received face authentication request, each HE face feature quantity held in the registered face information holding unit, may be calculated in a homomorphically encrypted state. As a result, the difference between the HE face feature amount included in the face authentication request and each of the HE face feature amounts held in the registered face information holding unit is calculated. The cloud server collectively transmits the HE difference calculated for each HE face feature value held in the registered face information holding unit to the on-premise server. The on-premises server decrypts the received multiple HE differentials with the private key held in the key holding unit. The on-premises server determines that there is a match if there is a difference that satisfies a predetermined matching criterion among the multiple differences obtained as a result of decoding, and otherwise determines that there is no match. If it is determined that there is a match, it corresponds to success of face authentication, and if it is determined that there is no match, it corresponds to failure of face authentication. In this modified example, transmission of the HE difference from the cloud server to the on-premises server only needs to be done once, so the number of communications between the cloud server and the on-premises server can be reduced. Similar modifications are possible for other embodiments.
(第2の実施の形態:警察DX)
現在、警察は事件が起こってから現場周辺の監視カメラの映像の提供を依頼するようであり、監視カメラの映像を警察に常時、リアルタイムで共有することはなされていない。共有がなされない原因のひとつは、監視カメラに映る不特定多数の人のプライバシー保護である。このプライバシー保護の問題をクリアし、監視カメラの映像から得られる顔特徴量をクラウドにアップロードして警察がいつでも照会できるようになれば警察における監視カメラ画像確認作業が効率化される。これは警察の業務のDX(Digital Transformation)と言えよう。(Second embodiment: Police DX)
At present, the police seem to request the provision of surveillance camera images around the scene after an incident occurs, and the surveillance camera images are not always shared with the police in real time. One of the reasons why information is not shared is to protect the privacy of an unspecified number of people who are captured by surveillance cameras. If this problem of privacy protection is solved and the facial feature values obtained from surveillance camera images are uploaded to the cloud and the police can query them at any time, the surveillance camera image confirmation work by the police will become more efficient. This can be called DX (Digital Transformation) of police work.
図7は、図3の第2の実施の形態を監視カメラを用いた顔認証に適用した場合の事前顔登録処理の流れを示すフローチャートである。この例では、まず、警察が書店などの店舗に、万引き犯特定容易化のためのプログラムへの参加を要請する。警察のオンプレミスサーバ26は、プログラムに参加する店舗のユーザ端末22(ラップトップPCやデスクトップPCなど)を特定する(ステップS302)。オンプレミスサーバ26は、ステップS302で特定されたユーザ端末22に、ネットワークを介して、鍵保持部に保持されている公開鍵を配布し(ステップS304)、ユーザ端末22は、配布された公開鍵を取得する。ユーザ端末22は、ユーザ端末22に接続された監視カメラの画像に映る人物(例えば、店舗内の客)の顔の画像を取得し、取得された顔の画像から顔特徴量を抽出する(ステップS306)。ユーザ端末22は、ステップS306で抽出された顔特徴量をステップS304で受信した公開鍵で準同型暗号化する(ステップS308)。ユーザ端末22は、ステップS308で得られたHE顔特徴量を、撮像時刻および店舗特定情報と共に、顔認証における登録用として、クラウドサーバ24に送信する(ステップS310)。特にユーザ端末22は、HE顔特徴量と撮像時刻と店舗特定情報とを含む顔登録要求を生成し、ネットワークを介してクラウドサーバ24に送信する。クラウドサーバ24は、受信した顔登録要求に含まれるHE顔特徴量と撮像時刻と店舗特定情報とを対応付けて登録顔情報保持部に格納する(ステップS312)。
FIG. 7 is a flow chart showing the flow of preliminary face registration processing when the second embodiment of FIG. 3 is applied to face authentication using a surveillance camera. In this example, first, the police request stores such as bookstores to participate in a program for facilitating the identification of shoplifters. The on-
図8は、図3の第2の実施の形態を監視カメラを用いた顔認証に適用した場合の被疑者照合処理の流れを示すフローチャートである。警察が万引きの被疑者を逮捕する(ステップS314)。警察のカメラなどの撮像手段は、逮捕された被疑者の顔を撮像する(ステップS316)。警察のオンプレミスサーバ26は、カメラから被疑者の顔の画像を取得し、取得した画像から被疑者の顔の顔特徴量を抽出し、抽出された顔特徴量を準同型暗号化する(ステップS318)。オンプレミスサーバ26は、ステップS318で得られたHE顔特徴量を含む顔認証要求をクラウドサーバ24にネットワークを介して送信する(ステップS320)。
FIG. 8 is a flow chart showing the flow of suspect verification processing when the second embodiment of FIG. 3 is applied to face authentication using a surveillance camera. The police arrest the shoplifting suspect (step S314). Imaging means such as a police camera images the arrested suspect's face (step S316). The on-
クラウドサーバ24は、受信した顔認証要求に含まれるHE顔特徴量と、登録顔情報保持部に保持されているHE顔特徴量と、の差分を、準同型暗号化された状態で算出する(ステップS322)。この際、登録顔情報保持部に保持されているHE顔特徴量のなかから、万引きの被害届が出されている店舗の店舗特定情報に対応するHE顔特徴量が抽出されて差分計算の対象とされる。クラウドサーバ24は、ステップS322で算出されたHE差分をオンプレミスサーバ26に送信する(ステップS324)。オンプレミスサーバ26は、受信したHE差分を、鍵保持部に保持されている秘密鍵で復号する(ステップS326)。オンプレミスサーバ26はステップS326の復号の結果から一致するか否かを判定し(ステップS328)、一致する場合(ステップS328のYES)は、対応する店舗に対応する撮像時刻頃の監視カメラの画像または映像を要求する(ステップS330)。これは警官により人手で行われてもよい。
The
一致しない場合(ステップS328のNO)、オンプレミスサーバ26はクラウドサーバ24の登録顔情報保持部に保持されている全ての顔特徴量を確認したか否かを判定する(ステップS332)。確認していない場合(ステップS332のNO)、処理はステップS322に戻る。具体的には、オンプレミスサーバ26は再計算要求を生成してクラウドサーバ24に送信し、再計算要求を受信したクラウドサーバ24は登録顔情報保持部に登録されている新たなHE顔特徴量を選択して差分を算出する。全ての顔特徴量が確認された場合(ステップS332のYES)、処理は終了する。
If they do not match (NO in step S328), the on-
なお、図7、図8の例では万引きを例として説明したがこれに限られず、図7、図8に示される技術を万引き以外の犯罪の被疑者特定、証拠集めに用いてもよい。 Although shoplifting has been described as an example in FIGS. 7 and 8, the technique shown in FIGS. 7 and 8 may be used to identify suspects and collect evidence for crimes other than shoplifting.
図7、図8に示される技術によれば、監視カメラの画像から得られた顔特徴量は準同型暗号化されてクラウドに保存され、クラウドで復号されることはない。したがって、プライバシーが担保された形で監視カメラの画像(顔)をクラウドに貯めることができる。これにより、警察は監視カメラの画像を確認する作業をクラウドベースで自動化することができる。
なお、本実施の形態では店舗に備え付けられた監視カメラの画像を用いる場合を説明したが、これに限られない。例えば、街中に設置されている自動販売機が撮像機能を備える場合には、その自動販売機の撮像機能から得られる画像を用いてもよい。According to the technology shown in FIGS. 7 and 8, the facial feature values obtained from the surveillance camera images are homomorphically encrypted and stored in the cloud, and are not decrypted in the cloud. Therefore, images (faces) from surveillance cameras can be stored in the cloud in a manner that ensures privacy. This will allow the police to automate the work of checking surveillance camera images on a cloud basis.
In addition, although the case where the image of the surveillance camera with which the store was equipped was used in this Embodiment, it is not restricted to this. For example, if a vending machine installed in the city has an image capturing function, an image obtained from the image capturing function of the vending machine may be used.
(第3の実施の形態)
図9は、準同型暗号を適用した顔認証システム30の第3の実施の形態の模式図である。顔認証システム30は、ユーザ端末32と、顔認証サービスプラットフォームのサーバ34と、当該プラットフォームの管理者により提供される顔認証サービスを利用する企業Aのサーバ36と、同じ顔認証サービスを利用する企業Bのサーバ38と、を備える。顔認証サービスプラットフォームのサーバ34はクラウドサーバであってもよい。顔認証システム30の各構成要素は、インターネットなどのネットワークを介して互いに通信可能に接続されている。準同型暗号を用いた顔認証について、ユーザ端末32は第2の実施の形態のユーザ端末22と同様な構成を有し、企業Aのサーバ36および企業Bのサーバ38はそれぞれ第2の実施の形態のオンプレミスサーバ26と同様な構成を有する。第3の実施の形態では、各エンティティ(企業A、企業B)が別個の公開鍵・秘密鍵ペアを有しており、その点を考慮して顔認証サービスプラットフォームのサーバ34を構成する点が第2の実施の形態と異なる。なお、第3の実施の形態では企業A、企業Bの2つのエンティティが存在する場合を例として説明しているが、エンティティの数に制限はなく、3つ以上のエンティティが存在する場合にも等しく本実施の形態の技術的思想を適用可能である。(Third Embodiment)
FIG. 9 is a schematic diagram of a third embodiment of a
一般に、企業により用いる鍵が異なることから、顔認証を行うためにユーザは企業ごとに鍵を管理し、使い分ける必要がある。これに対し、本実施の形態に係る顔認証サービスプラットフォームによると、ユーザは当該プラットフォームを利用することで、鍵の違いを気にすることなく様々な企業が提供する顔認証を伴うサービスを利用することができるようになる。 In general, different companies use different keys, so users need to manage and use different keys for each company in order to perform face authentication. On the other hand, according to the face authentication service platform according to the present embodiment, users can use services accompanied by face authentication provided by various companies without worrying about the difference in keys by using the platform. be able to
顔認証サービスプラットフォームのサーバ34は、鍵保持部と、企業A用登録顔保持部と、企業B用登録顔保持部と、企業情報保持部と、課金制御部と、公開鍵提供部と、顔データ登録部と、差分算出部と、を備える。サーバ34は企業Aのサーバ36、企業Bのサーバ38、ユーザ端末32にネットワークを介して接続される。
The
鍵保持部は、企業Aにおける準同型暗号で用いられる第1公開鍵と、企業Aとは異なる企業Bにおける準同型暗号で用いられる第2公開鍵(第1公開鍵とは異なる)と、を保持する。企業A用登録顔保持部は、第1公開鍵で準同型暗号化された顔特徴量を保持する。企業B用登録顔保持部は、第2公開鍵で準同型暗号化された顔特徴量を保持する。企業情報保持部は、企業Aが関わるサービスの情報(例えば、サービスの内容、サービス提供の日時、場所、サービスにかかる料金)と、企業Bが関わるサービスの情報と、を保持する。サービスは例えば野外ライブやコンサートやショーなどのイベントや、施設への入館や、試験における本人確認などであり、特にサービス提供を受けるために顔認証が求められるサービスであってもよい。 The key holding unit stores a first public key used in homomorphic encryption at company A and a second public key (different from the first public key) used in homomorphic encryption at company B, which is different from company A. Hold. The registered face holding unit for company A holds face feature values homomorphically encrypted with the first public key. The registered face holding unit for company B holds face feature values homomorphically encrypted with the second public key. The company information holding unit holds information on services related to company A (for example, service content, date and time of service provision, location, fees for services) and information on services related to company B. The services include, for example, events such as outdoor live performances, concerts, and shows, entrance to facilities, identity verification in examinations, and the like, and may be services that require face authentication in order to receive service provision.
課金制御部は、企業情報保持部から、企業Aが関わるサービスの情報と、企業Bが関わるサービスの情報と、を読み出し、ネットワークを介してユーザ端末32に提供する。課金制御部は、情報の提供に応じてユーザ端末32のユーザによって選択されたサービスを特定し、特定されたサービスの料金の課金処理を行う。課金処理は、クレジットカード決済、プリペイド、電子マネー、銀行振込、仮想通貨決済、暗号通貨決済、ポイント決済などの公知の課金技術を用いて実現されてもよい。
The billing control unit reads information on services related to company A and information on services related to company B from the company information holding unit, and provides them to the
公開鍵提供部は、課金制御部における課金処理が完了することを条件の一つとして、ユーザによって選択されたサービスに対応する公開鍵を鍵保持部から取得し、ネットワークを介してユーザ端末32に提供する。例えば、ユーザによって企業A(B)が関わるサービスが選択された場合、公開鍵提供部は鍵保持部から企業A(B)に対応する第1公開鍵(第2公開鍵)を取得し、それをユーザ端末32に提供する。
The public key providing unit acquires the public key corresponding to the service selected by the user from the key holding unit under one of the conditions that the billing process in the billing control unit is completed, and sends it to the
顔データ登録部は、公開鍵提供部によって提供された公開鍵で準同型暗号化されたユーザの顔の画像の顔特徴量を、ネットワークを介してユーザ端末32から取得する。顔データ登録部は、取得したHE顔特徴量を、ユーザによって選択されたサービスに対応する登録顔保持部に登録する。例えば、ユーザによって企業A(B)が関わるサービスが選択された場合、顔データ登録部は、取得したHE顔特徴量を企業A用登録顔保持部(企業B用登録顔保持部)に登録する。
The facial data registration unit acquires from the
差分算出部は、企業Aのサーバ36または企業Bのサーバ38から、HE顔特徴量を含む顔認証要求を、ネットワークを介して取得する。差分算出部は、取得した顔認証要求の送信元に対応する登録顔保持部に登録されているHE顔特徴量と、当該顔認証要求に含まれるHE顔特徴量と、の差分を準同型暗号化したままで算出する。差分算出部は、算出結果を送信元にネットワークを介して送信する。例えば、企業A(B)のサーバ36(38)から顔認証要求が送信された場合、差分算出部は、企業A(B)に対応する企業A用登録顔保持部(企業B用登録顔保持部)に登録されているHE顔特徴量と、当該顔認証要求に含まれるHE顔特徴量と、の差分を算出する。差分算出部は、算出されたHE差分を企業A(B)のサーバ36(38)にネットワークを介して送信する。
The difference calculation unit acquires a face authentication request including the HE facial feature amount from the
図10は、図9の第3の実施の形態に係る顔認証システム30における事前顔登録処理の流れを示すフローチャートである。ユーザ端末32はネットワークを介して顔認証サービスプラットフォームのサーバ34にアクセスする(ステップS402)。サーバ34は、顔認証サービスプラットフォームに登録されている企業から提供可能なサービスのリスト(以下、サービス提供可能リストという)を含む情報を、アクセスしてきたユーザ端末32にネットワークを介して送信する(ステップS404)。ユーザはユーザ端末32のディスプレイに表示される上記リストのなかから所望のサービスを選択する。ユーザ端末32は、ユーザによって選択されたサービスをサーバ34にネットワークを介して通知する(ステップS406)。サーバ34とユーザ端末32との間で、選択されたサービスに係る料金の課金処理が行われる(ステップS408)。サーバ34は、課金処理が完了すると、選択されたサービスを提供する企業の公開鍵を鍵保持部から取得する(ステップS410)。サーバ34は、取得した公開鍵をユーザ端末32にネットワークを介して送信し、ユーザ端末32はその公開鍵を取得する(ステップS412)。ユーザ端末32は、ユーザ端末32に備え付けのカメラでユーザの顔を撮像する(ステップS414)。ユーザ端末32は、撮像の結果得られたユーザの顔の画像から顔特徴量を抽出する。ユーザ端末32は、顔特徴量を、ステップS412で受信した公開鍵で準同型暗号化する(ステップS416)。ユーザ端末32は、HE顔特徴量を含む顔登録要求を生成し、生成された顔登録要求をサーバ34にネットワークを介して送信する(ステップS418)。サーバ34は、受信したHE顔特徴量を、選択されたサービスを提供する企業用の登録顔情報保持部に格納する(ステップS420)。
FIG. 10 is a flow chart showing the flow of pre-face registration processing in the
図11は、図9の第3の実施の形態に係る顔認証システム30においてユーザの端末32のディスプレイに表示されるイベント・施設一覧画面350の代表画面図である。図10のステップS404でサービス提供可能リストを受信したユーザ端末32は、当該サービス提供可能リストの内容に基づいてイベント・施設一覧画面350を生成し、ディスプレイに表示させる。イベント・施設一覧画面350は、顔認証サービスプラットフォームに登録されている企業が提供するサービスの内容と、サービス提供の日時および場所と、サービスを提供する企業の名称と、サービスにかかる料金と、をサービスごとに表示する。図11の例では、企業Aが提供する「野外ライブ」と、企業Bが提供する「博物館入館」と、がそれぞれ個別に選択可能な形式で表示されている。ユーザは、所望のサービスに対応して表示されている「購入」ボタンをタップする。ユーザ端末32は、「購入」ボタンがタップされたサービスを、ユーザが選択したサービスとしてサーバ34に通知する。これは例えば、ユーザ端末32が、「購入」ボタンがタップされたサービスを特定するサービスIDを含む選択要求を生成し、ネットワークを介してサーバ34に送信することにより実現される。
FIG. 11 is a representative screen diagram of an event/
図12は、図9の第3の実施の形態に係る顔認証システム30においてユーザの端末32のディスプレイに表示される顔撮像案内画面352の代表画面図である。図10のステップS412で公開鍵を受信したユーザ端末32は、カメラによるユーザの顔の撮像を促す第1案内メッセージ354を含む顔撮像案内画面352を生成し、ディスプレイに表示させる。顔撮像案内画面352はさらに、ユーザによって選択されたサービスの情報を表示する選択サービス情報表示領域356と、撮られた顔の画像がサーバ34において復号されない旨の通知を含む第2案内メッセージ358と、を有する。ユーザは、選択サービス情報表示領域356を見ることにより自分が選択したサービスの内容を確認し、第2案内メッセージ358を見ることで自分の顔の画像がサーバ34で復号されずに処理されることを知る。そしてユーザは、第1案内メッセージ354を見てそれに促され、「顔撮影」ボタンを押下する。「顔撮影」ボタンが押下されると、ユーザ端末32はユーザの顔を撮像するためにカメラを起動する。
FIG. 12 is a representative screen diagram of a face
なお、図12の例では第1案内メッセージ354を表示することによりカメラによるユーザの顔の撮像を促す場合を説明したが、これに限られない。例えば、ユーザ端末32はカメラによるユーザの顔の撮像を促す案内を音声としてスピーカーに出力させてもよい。
In the example of FIG. 12, a case has been described in which the
図13は、図9の第3の実施の形態に係る顔認証システム30においてユーザの端末32のディスプレイに表示される送信完了通知画面360の代表画面図である。図10のステップS418でHE顔特徴量をサーバ34に送信することに合わせて、ユーザ端末32は送信完了通知画面360を生成し、ディスプレに表示させる。送信完了通知画面360は、カメラにより撮像したユーザの顔の画像364と、当該顔のHE顔特徴量に対応する画像362と、を有する。画像362は、例えばHE顔特徴量そのもの(復号しない)から顔の画像を再構成することで得られる画像であってもよく、その場合画像362は顔を示すことはなくほぼランダムなノイズ画像となる。
本実施の形態では顔認証に準同型暗号を適用する場合を説明したが、これに限られず、例えば指紋認証や虹彩認証などの他の生体認証に準同型暗号を適用する場合にも、本実施の形態の技術的思想を適用することができる。FIG. 13 is a representative screen diagram of a transmission
In the present embodiment, the case of applying homomorphic encryption to face authentication has been described, but this is not the only option, and the present embodiment can also apply homomorphic encryption to other biometric authentication such as fingerprint authentication and iris authentication. Technical ideas in the form of can be applied.
(第4の実施の形態)
図14は、準同型暗号を適用した顔認証システム40の第4の実施の形態の模式図である。顔認証システム40は、ユーザ端末42と、エンティティ1のサーバ44と、エンティティ2のサーバ46と、エンティティ3のサーバ48と、オンプレミスサーバ49と、を備える。エンティティ1、エンティティ2、エンティティ3、はいずれも他とは異なっており、いずれも独立している。各エンティティのサーバはクラウドにホストされていてもよい。顔認証システム40の各構成要素は、インターネットなどのネットワークを介して互いに通信可能に接続されている。なお、第4の実施の形態では3つのエンティティが存在する場合を例として説明しているが、エンティティの数に制限はなく、2つのエンティティが存在する場合および4つ以上のエンティティが存在する場合にも等しく本実施の形態の技術的思想を適用可能である。(Fourth embodiment)
FIG. 14 is a schematic diagram of a fourth embodiment of a
顔認証システム40では、顔の画像を成分に分解し、成分ごとに準同型暗号化された状態で照合を行う。成分ごとの照合結果を統計的または総合的に判断することで顔認証の成否が決定される。これにより、仮に上記照合を行うサーバのひとつでデータの漏洩が発生し、さらに漏洩したデータが復号されてしまったとしても、流出するのは成分の特徴量のみであって顔の画像全体の特徴量ではない。成分の特徴量のみから元の顔全体の特徴量はわからない。したがって、サーバからのデータ漏洩による顔特徴量流出のリスクをさらに低減することができる。
In the
ユーザ端末42は、顔認証の登録用にユーザの顔を撮像するためのカメラと、カメラからユーザの顔の画像を取得する顔画像取得部と、パーツ分解部と、パーツ毎暗号化部と、該暗号化部で用いられる準同型暗号の公開鍵を保持する保持部と、パーツ毎送信部と、を備える。ユーザ端末42は、オンプレミスサーバ49からネットワークを介して配布される公開鍵を取得し、上記保持部に格納する。
The
パーツ分解部は、顔画像取得部によって取得されたユーザの顔の画像を成分に分解する。例えば、顔の画像を目、鼻、口などの顔のパーツに分解してもよい。あるいはまた、顔の画像をRGBやCMYKやYCrCb(輝度と色差)などの色空間における成分に分解してもよい。本実施の形態では顔の画像を目の画像と口の画像と輝度画像とに分解する場合を説明する。パーツ分解部における顔の画像の成分への分解は、公知の顔認識の技術を用いて実現されてもよい。 The parts decomposing unit decomposes the image of the user's face acquired by the face image acquiring unit into components. For example, an image of a face may be decomposed into facial parts such as eyes, nose and mouth. Alternatively, the face image may be decomposed into components in color spaces such as RGB, CMYK or YCrCb (luminance and color difference). In this embodiment, a case will be described in which a face image is decomposed into an eye image, a mouth image, and a luminance image. The decomposition of the face image into components in the parts decomposition unit may be realized using a known face recognition technique.
パーツ毎暗号化部は、パーツ分解部における分解の結果得られるユーザの目の画像から目特徴量を抽出し、抽出された目特徴量を保持部に保持されている公開鍵で準同型暗号化する。パーツ毎暗号化部は、パーツ分解部における分解の結果得られるユーザの口の画像から口特徴量を抽出し、抽出された口特徴量を保持部に保持されている公開鍵で準同型暗号化する。パーツ毎暗号化部は、パーツ分解部における分解の結果得られるユーザの顔の画像の輝度成分から輝度特徴量を抽出し、抽出された輝度特徴量を保持部に保持されている公開鍵で準同型暗号化する。 The parts-by-parts encryption unit extracts an eye feature amount from an image of the user's eyes obtained as a result of decomposition in the parts decomposition unit, and homomorphically encrypts the extracted eye feature amount with a public key held in the holding unit. do. The part-by-part encryption unit extracts a mouth feature amount from the image of the user's mouth obtained as a result of decomposition in the parts decomposition unit, and homomorphically encrypts the extracted mouth feature amount with a public key held in the holding unit. do. The part-by-part encryption unit extracts a luminance feature amount from the luminance component of the image of the user's face obtained as a result of decomposition in the parts decomposition unit, and prepares the extracted luminance feature amount with the public key held in the holding unit. Homomorphic encryption.
パーツ毎送信部は、HE目特徴量を含む目登録要求を生成し、ネットワークを介してエンティティ1のサーバ44に送信する。パーツ毎送信部は、HE口特徴量を含む口登録要求を生成し、ネットワークを介してエンティティ2のサーバ46に送信する。パーツ毎送信部は、輝度特徴量を含む輝度登録要求を生成し、ネットワークを介してエンティティ3のサーバ48に送信する。
The part-by-part transmission unit generates an eye registration request including the HE eye feature amount and transmits it to the
エンティティ1のサーバ44は、非特許文献1や非特許文献2に記載される公知の技術を用いることにより、準同型暗号化したままの顔成分認証を実現する。サーバ44は、ユーザ端末42から送られてくる目登録要求に含まれるHE目特徴量を保持する目特徴保持部と、オンプレミスサーバ49から送られてくる目認証要求に含まれるHE目特徴量と目特徴保持部に保持されているHE目特徴量との差分(以下、目差分という)を計算する計算部と、を含む。当該目差分は準同型暗号化された状態で算出される。サーバ44は、算出されたHE目差分をオンプレミスサーバ49に送信する。
The
エンティティ2のサーバ46は、非特許文献1や非特許文献2に記載される公知の技術を用いることにより、準同型暗号化したままの顔成分認証を実現する。サーバ46は、ユーザ端末42から送られてくる口登録要求に含まれるHE口特徴量を保持する口特徴保持部と、オンプレミスサーバ49から送られてくる口認証要求に含まれるHE口特徴量と口特徴保持部に保持されているHE口特徴量との差分(以下、口差分という)を計算する計算部と、を含む。当該口差分は準同型暗号化された状態で算出される。サーバ46は、算出されたHE口差分をオンプレミスサーバ49に送信する。
The
エンティティ3のサーバ48は、非特許文献1や非特許文献2に記載される公知の技術を用いることにより、準同型暗号化したままの顔成分認証を実現する。サーバ48は、ユーザ端末42から送られてくる輝度登録要求に含まれるHE輝度特徴量を保持する輝度成分特徴保持部と、オンプレミスサーバ49から送られてくる輝度認証要求に含まれるHE輝度特徴量と輝度成分特徴保持部に保持されているHE輝度特徴量との差分(以下、輝度差分という)を計算する計算部と、を含む。当該輝度差分は準同型暗号化された状態で算出される。サーバ48は、算出されたHE輝度差分をオンプレミスサーバ49に送信する。
The
オンプレミスサーバ49は、鍵保持部と、顔画像取得部と、パーツ分解部と、パーツ毎暗号化部と、パーツ毎送信部と、パーツ毎差分復号部と、パーツ毎差分更新部と、一致判定部と、差分テーブルと、を含む。
The on-
鍵保持部は、準同型暗号で用いられる一対の公開鍵と秘密鍵とを保持する。顔画像取得部は、カメラで被顔認証者(ユーザ端末42を介して顔を登録したユーザ)を撮像することによって得られる当該被顔認証者の顔の画像を取得する。パーツ分解部は、顔画像取得部によって取得されたユーザの顔の画像を、ユーザ端末42のパーツ分解部で行われる分解と同じ態様で、成分に分解する。
The key holding unit holds a pair of public key and private key used in homomorphic encryption. The face image obtaining unit obtains a face image of a person to be face-authenticated by capturing an image of the person to be face-authenticated (a user whose face is registered via the user terminal 42) with a camera. The parts decomposition unit decomposes the user's face image acquired by the face image acquisition unit into components in the same manner as the decomposition performed by the parts decomposition unit of the
パーツ毎暗号化部は、パーツ分解部における分解の結果得られるユーザの目の画像から目特徴量を抽出し、抽出された目特徴量を鍵保持部に保持されている公開鍵で準同型暗号化する。パーツ毎暗号化部は、パーツ分解部における分解の結果得られるユーザの口の画像から口特徴量を抽出し、抽出された口特徴量を鍵保持部に保持されている公開鍵で準同型暗号化する。パーツ毎暗号化部は、パーツ分解部における分解の結果得られるユーザの顔の画像の輝度成分から輝度特徴量を抽出し、抽出された輝度特徴量を鍵保持部に保持されている公開鍵で準同型暗号化する。 The part-by-part encryption unit extracts an eye feature amount from an image of the user's eyes obtained as a result of decomposition in the parts decomposition unit, and homomorphically encrypts the extracted eye feature amount with the public key held in the key holding unit. become The part-by-part encryption unit extracts a mouth feature amount from the image of the user's mouth obtained as a result of decomposition in the parts decomposition unit, and homomorphically encrypts the extracted mouth feature amount with the public key held in the key holding unit. become The part-by-part encryption unit extracts a luminance feature amount from the luminance component of the image of the user's face obtained as a result of decomposition in the parts decomposition unit, and encrypts the extracted luminance feature amount with the public key held in the key holding unit. Homomorphic encryption.
パーツ毎送信部は、HE目特徴量を含む目認証要求を生成し、ネットワークを介してエンティティ1のサーバ44に送信する。パーツ毎送信部は、HE口特徴量を含む口認証要求を生成し、ネットワークを介してエンティティ2のサーバ46に送信する。パーツ毎送信部は、輝度特徴量を含む輝度認証要求を生成し、ネットワークを介してエンティティ3のサーバ48に送信する。
The part-by-part transmission unit generates an eye authentication request including the HE eye feature amount, and transmits it to the
パーツ毎差分復号部は、エンティティ1のサーバ44から送られてくるHE目差分を、鍵保持部に保持されている秘密鍵を用いて復号する。パーツ毎差分復号部は、エンティティ2のサーバ46から送られてくるHE口差分を、鍵保持部に保持されている秘密鍵を用いて復号する。パーツ毎差分復号部は、エンティティ3のサーバ48から送られてくるHE輝度差分を、鍵保持部に保持されている秘密鍵を用いて復号する。
The part-by-part difference decryption unit decrypts the HE-th difference sent from the
パーツ毎差分更新部は、パーツ毎差分復号部における復号の結果得られる目差分、口差分、輝度差分で、差分テーブルを更新する。差分テーブルは成分ごとに一致の度合い(以下、一致度)を保持する。パーツ毎差分更新部は、パーツ毎差分復号部における復号の結果得られた目差分(例えば、差分=5%)に対応する一致度(例えば、一致度=95%)と、差分テーブルに保持されている目の一致度と、を比較し、前者が後者より大きければ差分テーブルの目の一致度を前者に置き換え、そうでなければ差分テーブルの目の一致度を変えずに維持する。パーツ毎差分更新部は口、輝度についても同様の処理を行う。その後、パーツ毎差分更新部は、照合対象を変えて再度差分を計算させるための再計算要求を各サーバ44、46、48に送信する。
The part-by-part difference update unit updates the difference table with the eye difference, mouth difference, and luminance difference obtained as a result of decoding by the part-by-part difference decoding unit. The difference table holds the degree of matching (hereinafter referred to as degree of matching) for each component. The part-by-part difference updating unit updates the degree of matching (for example, degree of matching = 95%) corresponding to the target difference (for example, difference = 5%) obtained as a result of decoding by the part-by-part differential decoding unit, and stores the difference in the difference table. If the former is greater than the latter, the matching degree of the difference table is replaced with the former; otherwise, the matching degree of the difference table is maintained unchanged. The part-by-part difference updating unit performs similar processing for the mouth and brightness. After that, the part-by-part difference updating unit transmits a recalculation request to each of the
パーツ毎差分復号部およびパーツ毎差分更新部は、各サーバ44、46、48の特徴保持部に保持されている特徴量の全てについて、HE差分取得、復号、差分テーブル更新、の処理を繰り返す。その結果、差分テーブルには成分ごとに一致度の最大値が保持される。
The part-by-part difference decoding unit and the part-by-part difference update unit repeat the processing of HE difference acquisition, decoding, and difference table update for all the feature amounts held in the feature holding units of the
一致判定部は、エンティティ1のサーバ44によって実現される顔成分認証の結果と、エンティティ2のサーバ46によって実現される顔成分認証の結果と、エンティティ3のサーバ48によって実現される顔成分認証の結果と、に基づいて、被顔認証者の顔認証の成否を判定する。エンティティ1のサーバ44によって実現される顔成分認証の結果、エンティティ2のサーバ46によって実現される顔成分認証の結果、エンティティ3のサーバ48によって実現される顔成分認証の結果、はそれぞれ差分テーブルに保持される目の一致度の最大値、口の一致度の最大値、輝度成分の一致度の最大値、に対応する。一致判定部は、差分テーブルに保持される成分ごとの一致度の最大値を統計処理することにより顔認証の成否を判定してもよい。例えば、所定数以上の成分の一致度の最大値が第1閾値より大きければ顔認証の成功と判定してもよい。具体的には、一致度の最大値が75%より大きい成分が2つ以上あれば顔認証の成功と判定するよう設定した場合、図14に示される差分テーブルについては顔認証の成功と判定される。あるいはまた、差分テーブルに保持される成分ごとの一致度の最大値の平均を算出し、当該平均が第2閾値を超える場合に顔認証の成功と判定してもよい。
The match determination unit determines the result of face component authentication realized by the
本実施の形態に係る顔認証システム40によると、顔の画像全体の特徴量を準同型暗号化するのではなく、顔の画像の成分(目、口等)の特徴量を準同型暗号化するので、暗号化する対象のデータの量を少なくすることができる。これにより計算の負荷が軽減される。
本実施の形態では顔認証に準同型暗号を適用する場合を説明したが、これに限られず、例えば指紋認証や虹彩認証などの他の生体認証に準同型暗号を適用する場合にも、本実施の形態の技術的思想を適用することができる。According to the
In the present embodiment, the case of applying homomorphic encryption to face authentication has been described, but this is not the only option, and the present embodiment can also apply homomorphic encryption to other biometric authentication such as fingerprint authentication and iris authentication. Technical ideas in the form of can be applied.
(第5の実施の形態)
図15は、準同型暗号を適用した顔認識システム50の第5の実施の形態の模式図である。顔認識システム50は、ユーザ端末52と、クラウドサーバ54と、オンプレミスサーバ56と、を備える。顔認識システム50の各構成要素は、インターネットなどのネットワークを介して互いに通信可能に接続されている。顔認識システム50では、ユーザ端末52のユーザの顔の表情を準同型暗号化したまま認識する。(Fifth embodiment)
FIG. 15 is a schematic diagram of a fifth embodiment of a
ユーザ端末52は、ユーザの顔を撮像するためのカメラおよびその制御部と、当該カメラでユーザを撮像することによって得られる当該ユーザの顔の画像の顔特徴量を抽出し、抽出された顔特徴量を準同型暗号化する暗号化部と、該暗号化部で用いられる準同型暗号の公開鍵を保持する保持部と、を含む。ユーザ端末52は、ネットワークを介してオンプレミスサーバ56から公開鍵を取得する。ユーザ端末52は、HE顔特徴量を含む顔認識要求を生成し、ネットワークを介してクラウドサーバ54に送信する。
The
クラウドサーバ54は、様々なユーザの怒った顔のHE顔特徴量を保持する怒った顔特徴保持部と、様々なユーザの笑った顔のHE顔特徴量を保持する笑った顔特徴保持部と、様々なユーザの眠った顔のHE顔特徴量を保持する眠った顔特徴保持部と、様々なユーザの満足顔のHE顔特徴量を保持する満足顔特徴保持部と、を備える。クラウドサーバ54は予め、ユーザ端末52のユーザや他のユーザから怒った顔のHE顔特徴量を収集し、怒った顔特徴保持部に登録しておく。笑った顔、眠った顔、満足顔についても同様に収集、登録を行っておく。なお、本実施の形態では4種類の表情(怒り、笑い、眠り、満足)のうちからひとつを認識する場合を説明するが、これに限られず、驚きや悲しみなど他の表情を認識するよう構成してもよい。
The
クラウドサーバ54は、ユーザ端末52から送られてくる顔認識要求に含まれるHE顔特徴量と、各表情に対応する特徴保持部に保持されているHE顔特徴量と、の差分を計算する計算部と、各表情について算出されたHE差分をオンプレミスサーバ56にネットワークを介して送信する送信部と、を含む。
The
オンプレミスサーバ56は、復号部と、一致判定部と、表情処理部と、鍵保持部と、差分テーブルと、を含む。鍵保持部は、準同型暗号で用いられる一対の公開鍵と秘密鍵とを保持する。復号部は、クラウドサーバ54から送られてくる各表情についてのHE差分を、鍵保持部に保持されている秘密鍵を用いて復号する。一致判定部は、復号部による復号の結果得られた各表情についての差分に基づき一致判定を行う。具体的には、第4の実施の形態の差分テーブルの例と同様に、HE差分取得、復号、差分テーブル更新、の処理を繰り返す。その結果、差分テーブルには表情ごとに一致度の最大値が保持される。一致判定部は、差分テーブルに保持される一致度の最大値が最も大きな表情を、ユーザの顔の表情として判定する。図15の例では、一致判定部は、ユーザの顔の表情を「満足」と判定する。表情処理部は、一致判定部におけるユーザの顔の表情の判定結果に基づく所定の処理を行う。
The on-
本実施の形態に係る顔認識システム50によると、ユーザの顔の顔特徴量を準同型暗号化したまま、クラウドで顔の表情を認識することができる。したがって、ユーザの顔のプライバシーを保護したままユーザの顔の表情を認識することができる。これは例えば以下のようなアプリケーションにおいて有益である。
・E-Learningにおいて、カメラをオンにして講義を受けさせることで、ユーザが講義に集中しているか、眠っているか、を判定することができる。この場合、オンプレミスサーバ56がE-learningを提供し、ユーザはユーザ端末52を用いて講義を受ける。オンプレミスサーバ56は、ユーザが眠っていると判定された場合、ユーザ端末52に警告音を発生させるか、ユーザ端末52を振動させるなど、ユーザを起こすための処理をユーザ端末52に行わせる。あるいはまた、ユーザ端末52のディスプレイに講師のアバターを表示させる場合には、当該アバターに、ユーザを起こすためのアクションを取らせてもよい。
・ユーザの同意を得てユーザがオンラインショッピングのサイトを見ているときのユーザの顔を撮像する。オンラインショッピングを提供するオンプレミスサーバ56は、ユーザの顔の表情の判定結果から、提供しているサイトに対するユーザの反応を取得する。
・ユーザの同意を得てユーザがオンラインコンテンツや動画を見ているときのユーザの顔を撮像する。オンラインコンテンツや動画を提供するオンプレミスサーバ56は、ユーザの顔の表情の判定結果から、提供しているコンテンツや動画に対するユーザの反応を取得する。According to the
- In E-Learning, it is possible to determine whether the user is concentrating on the lecture or asleep by having the camera turned on and taking the lecture. In this case, the on-
- Taking an image of the user's face while viewing an online shopping site with the user's consent. The on-
- Capturing the user's face when the user is watching online content or videos with the user's consent. The on-
(第6の実施の形態)
図16は、準同型暗号を適用した印影除去システム60の実施の形態の模式図である。契約書などの印影がある文書をOCRで読み取る際、そのままでは印影と重なる部分の文字を読み取ることが困難なので、印影を除去する前処理を行う。クラウドベースのOCRサービスでは、クライアントに、印影が付いた状態の契約書のpdfまたは画像をクラウドにアップロードさせて印影の除去を行うこととなる。しかしながら、偽造や悪用のおそれから、印影付きの文書をnon-trustedなクラウドにアップロードすることはクライアントに嫌がられる傾向にある。(Sixth embodiment)
FIG. 16 is a schematic diagram of an embodiment of a seal
そこで、本実施の形態に係る印影除去システム60では、印影付きの文書から印影がある部分を切り出し、切り出された部分を準同型暗号化してクラウドに送信する。クラウドでは、当該部分を準同型暗号化したまま印影除去を行う。これにより、クラウドにおいて印影が復号されることはないので、クライアントは安心してクラウドベースのOCRサービスを利用することができる。
Therefore, in the seal
印影除去システム60は、ユーザ端末62と、準同型暗号化したままの印影除去を実現するクラウドサーバ64と、を備える。ユーザ端末62は、事前登録部と、印影処理部と、鍵保持部と、を含む。鍵保持部は、準同型暗号で用いられる公開鍵と秘密鍵とのペアを保持する。事前登録部は、予め、除去の対象となる印影の画像を取得し、準同型暗号化してクラウドサーバ64に送信して登録させる。印影処理部は、印影付きの文書の画像を取得して印影部分を抽出し、抽出された部分を準同型暗号化してクラウドサーバ64に送信する。印影処理部は、クラウドサーバ64から返信されてきた、印影除去済みの部分を復号し、文書を再構成する。
The seal
事前登録部は、印影画像取得部と、準同型暗号化部と、送信部と、を含む。印影画像取得部は、カメラが除去の対象となる印影を撮像することにより得られる印影の画像を取得する。準同型暗号化部は、取得された印影の画像を、鍵保持部に保持されている公開鍵を用いて準同型暗号化する。送信部は、HE印影画像を含む印影登録要求を生成し、ネットワークを介してクラウドサーバ64に送信する。
The pre-registration unit includes a seal impression image acquisition unit, a homomorphic encryption unit, and a transmission unit. The seal impression image obtaining unit obtains an image of the seal impression obtained by imaging the seal impression to be removed by the camera. The homomorphic encryption unit homomorphically encrypts the obtained image of the seal impression using the public key held in the key holding unit. The transmission unit generates a seal impression registration request including the HE seal image, and transmits it to the
印影処理部は、文書画像取得部と、印影部分抽出部と、準同型暗号化部と、送信部と、復号部と、文書再構成部と、を含む。文書画像取得部は、カメラが処理対象の印影付き文書を撮像することにより得られる文書の画像を取得する。印影部分抽出部は、取得された文書の画像から、印影を含む所定の大きさの部分(以下、印影部分という)を抽出する。準同型暗号化部は、抽出された印影部分を、鍵保持部に保持されている公開鍵を用いて準同型暗号化する。送信部は、HE印影部分を含む印影除去要求を生成し、ネットワークを介してクラウドサーバ64に送信する。
The seal impression processing section includes a document image acquisition section, a seal impression portion extraction section, a homomorphic encryption section, a transmission section, a decryption section, and a document reconstruction section. The document image acquisition unit acquires an image of a document obtained by capturing an image of a document with a seal to be processed by a camera. The seal impression portion extracting section extracts a portion of a predetermined size including the seal impression (hereinafter referred to as a seal impression portion) from the acquired image of the document. The homomorphic encryption unit homomorphically encrypts the extracted seal imprint portion using the public key held in the key holding unit. The transmission unit generates a seal imprint removal request including the HE seal imprint portion and transmits it to the
クラウドサーバ64は、印影保持部と、印影除去部と、を含む。印影保持部は、事前登録部から受信した印影登録要求に含まれるHE印影画像を保持する。印影除去部は、印影保持部に保持されているHE印影画像を参照し、印影処理部から受信した印影除去要求に含まれるHE印影部分から画素単位で印影を除去する。印影除去部は、HE印影部分から印影を除去したHE処理済み部分画像をユーザ端末62にネットワークを介して送信する。
The
復号部は、クラウドサーバ64から、HE処理済み部分画像を取得する。復号部は、HE処理済み部分画像を、鍵保持手段によって保持されている秘密鍵で復号する。文書再構成部は、復号部における復号の結果得られる処理済み部分画像を用いて文書を再構成する。文書再構成部は、文書画像取得部によって取得された文書の画像において、印影を含む所定の大きさの部分を、復号された処理済み部分画像で置き換える。ユーザ端末62は、再構成された文書に対してOCRなどの処理を行ってもよいし、再構成された文書をクラウドベースのOCRサービスに送信してもよい。
The decoding unit acquires HE-processed partial images from the
上述の実施の形態において、保持部の例は、ハードディスクや半導体メモリである。また、本明細書の記載に基づき、各部を、図示しないCPUや、インストールされたアプリケーションプログラムのモジュールや、システムプログラムのモジュールや、ハードディスクから読み出したデータの内容を一時的に記憶する半導体メモリなどにより実現できることは本明細書に触れた当業者には理解される。 In the above-described embodiments, examples of holding units are hard disks and semiconductor memories. In addition, based on the description of this specification, each part is implemented by a CPU (not shown), an installed application program module, a system program module, a semiconductor memory that temporarily stores the contents of data read from the hard disk, etc. Those skilled in the art who have access to this specification will understand what is possible.
以上、実施の形態に係る顔認証システム、顔認識システムの構成と動作について説明した。この実施の形態は例示であり、各構成要素や各処理の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解される。 The configurations and operations of the face authentication system and the face recognition system according to the embodiments have been described above. Those skilled in the art will understand that this embodiment is merely an example, and that various modifications are possible in combination of each component and each process, and that such modifications are within the scope of the present invention.
実施の形態では、顔の画像の顔特徴量を抽出し、それを準同型暗号化して送信する場合について説明したが、これに限られず、例えば、取得した顔の画像そのものを準同型暗号化して送信してもよい。
実施の形態では、顔を用いる1要素認証の場合を説明したが、これに限られず、例えば顔とパスワードや顔とPINコードなどの2要素認証、ひいてはMulti-Factor Authentication(多要素認証)の場合にも実施の形態の技術的思想を適用可能である。In the embodiment, a case has been described in which facial features of a face image are extracted, homomorphically encrypted, and transmitted. However, the present invention is not limited to this. You may send.
In the embodiment, the case of one-factor authentication using the face has been described, but it is not limited to this, for example, two-factor authentication such as face and password or face and PIN code, and in the case of multi-factor authentication (multi-factor authentication) The technical idea of the embodiment can also be applied to
本明細書中で説明される処理及び手順が単一の装置、ソフトウェア、コンポーネント、モジュールによって実行される旨が説明されたとしても、そのような処理または手順は複数の装置、複数のソフトウェア、複数のコンポーネント、及び/又は複数のモジュールによって実行され得る。また、本明細書中で説明されるデータ、テーブル、又はデータベースが単一の記憶装置(ストレージやメモリ)に格納される旨説明されたとしても、そのようなデータ、テーブル、又はデータベースは、単一の装置に備えられた複数の記憶装置または複数の装置に分散して配置された複数の記憶装置に分散して格納され得る。さらに、本明細書において説明されるソフトウェアおよびハードウェアの要素は、それらをより少ない構成要素に統合して、またはより多い構成要素に分解することによって実現することも可能である。 Although the processes and procedures described herein are described as being performed by a single device, software, component or module, such processes or procedures may be performed by multiple devices, software, components or modules. and/or by multiple modules. Also, even if it is described that the data, tables, or databases described in this specification are stored in a single storage device (storage or memory), such data, tables, or databases are It can be distributed and stored in a plurality of storage devices provided in one device or in a plurality of storage devices distributed in a plurality of devices. Furthermore, the software and hardware elements described herein can be implemented by consolidating them into fewer components or decomposing them into more components.
Claims (8)
第1公開鍵で準同型暗号化された顔の顔特徴量を保持する第1顔特徴量保持手段と、
第2公開鍵で準同型暗号化された顔の顔特徴量を保持する第2顔特徴量保持手段と、
第1エンティティが関わるサービスの情報と、第2エンティティが関わるサービスの情報と、を、ネットワークを介してユーザの端末に提供する情報提供手段と、
ユーザによって選択されたサービスに対応する公開鍵を前記鍵保持手段から取得し、ネットワークを介して前記端末に提供する鍵提供手段と、
提供された公開鍵で準同型暗号化されたユーザの顔の画像の顔特徴量を、ネットワークを介して前記端末から取得する取得手段と、
取得した顔特徴量を、ユーザによって選択されたサービスに対応する顔特徴量保持手段に登録する登録手段と、を備えるサーバ。 a key holding means for holding a first public key used in homomorphic encryption in a first entity and a second public key used in homomorphic encryption in a second entity;
a first face feature quantity holding means for holding a face feature quantity homomorphically encrypted with a first public key;
a second face feature quantity holding means for holding face feature quantity homomorphically encrypted with a second public key;
information providing means for providing information on services related to the first entity and information on services related to the second entity to a user terminal via a network;
a key providing means for obtaining a public key corresponding to a service selected by a user from the key holding means and providing the public key to the terminal via a network;
Acquisition means for acquiring, from the terminal via a network, facial features of a user's face image homomorphically encrypted with the provided public key;
a registration means for registering the acquired facial feature amount in a facial feature amount holding means corresponding to a service selected by a user.
顔認証要求の送信元に対応する顔画像保持手段に登録されている顔特徴量と、当該顔認証要求に含まれる顔特徴量と、の差分を準同型暗号化したままで算出する算出手段と、
算出結果を送信元にネットワークを介して送信する送信手段と、をさらに備える請求項1に記載のサーバ。 request acquisition means for acquiring a face authentication request including a homomorphically encrypted face feature amount from a first entity or a second entity via a network;
a calculating means for calculating a difference between a face feature amount registered in a face image holding means corresponding to a transmission source of the face authentication request and the face feature amount included in the face authentication request while homomorphically encrypted. ,
2. The server according to claim 1 , further comprising transmitting means for transmitting the calculation result to a transmission source via a network.
当該サーバはさらに、
ユーザによって選択されたサービスの料金の課金処理を行う課金手段を備え、
前記鍵提供手段は、前記課金手段における課金処理が完了することを条件の一つとして公開鍵の提供を行う請求項1または2に記載のサーバ。 The information providing means provides the terminal with information on charges for the service,
The server further
a billing means for billing the service fee selected by the user;
3. The server according to claim 1 , wherein the key providing means provides the public key on condition that the billing process in the billing means is completed.
ネットワークを介して配布される、準同型暗号で用いられる公開鍵を取得する機能と、
前記カメラにより取得されたユーザの顔の画像を成分に分解する機能と、
分解の結果得られるユーザの顔の画像の第1成分の特徴量を、取得された公開鍵で準同型暗号化する機能と、
分解の結果得られるユーザの顔の画像の第2成分の特徴量を、取得された公開鍵で準同型暗号化する機能と、
準同型暗号化された顔の画像の第1成分の特徴量を、顔成分認証における登録用として、準同型暗号化したままの顔成分認証を実現する第1サーバにネットワークを介して送信する機能と、
準同型暗号化された顔の画像の第2成分の特徴量を、顔成分認証における登録用として、準同型暗号化したままの顔成分認証を実現する第2サーバにネットワークを介して送信する機能と、を実現させるためのコンピュータプログラム。 For devices with cameras,
A function to obtain public keys used in homomorphic encryption distributed over a network;
a function of decomposing an image of a user's face captured by the camera into components;
a function of homomorphically encrypting the feature quantity of the first component of the user's face image obtained as a result of decomposition with the obtained public key;
a function of homomorphically encrypting the feature quantity of the second component of the user's face image obtained as a result of the decomposition with the obtained public key;
A function to transmit the feature value of the first component of the homomorphically encrypted face image to the first server that realizes face component authentication while homomorphically encrypted for registration in face component authentication via a network. and,
A function to transmit the feature quantity of the second component of the homomorphically encrypted face image to the second server that realizes face component authentication while homomorphically encrypted for registration in face component authentication via a network. And a computer program for realizing.
カメラで被顔認証者を撮像することによって得られる当該被顔認証者の顔の画像を取得する顔画像取得手段と、
前記カメラにより取得された被顔認証者の顔の画像を成分に分解する分解手段と、
分解の結果得られる被顔認証者の顔の画像の第1成分の特徴量を、前記保持手段によって保持されている公開鍵で準同型暗号化する第1暗号化手段と、
分解の結果得られる被顔認証者の顔の画像の第2成分の特徴量を、前記保持手段によって保持されている公開鍵で準同型暗号化する第2暗号化手段と、
準同型暗号化された顔の画像の第1成分の特徴量を、請求項4に記載の第1サーバにネットワークを介して送信する第1送信手段と、
準同型暗号化された顔の画像の第2成分の特徴量を、請求項4に記載の第2サーバにネットワークを介して送信する第2送信手段と、
前記第1サーバによって実現される顔成分認証の結果と、前記第2サーバによって実現される顔成分認証の結果と、に基づいて、被顔認証者の顔認証の成否を判定する判定手段と、を備えるサーバ。 holding means for holding a public key used in homomorphic encryption;
a face image obtaining means for obtaining a face image of a person to be face-authenticated obtained by photographing the person to be face-authenticated with a camera;
a decomposing means for decomposing an image of a face of a person to be authenticated acquired by the camera into components;
a first encryption means for homomorphically encrypting the feature quantity of the first component of the face image of the person to be authenticated obtained as a result of the decomposition with the public key held by the holding means;
a second encryption means for homomorphically encrypting the feature quantity of the second component of the face image of the person to be authenticated obtained as a result of the decomposition with the public key held by the holding means;
a first transmission means for transmitting the feature amount of the first component of the homomorphically encrypted face image to the first server according to claim 4 via a network;
a second transmission means for transmitting the feature amount of the second component of the homomorphically encrypted face image to the second server according to claim 4 via a network;
determination means for determining success or failure of facial authentication of a person to be authenticated based on the result of facial component authentication realized by the first server and the result of facial component authentication achieved by the second server; A server with
ネットワークを介して配布される、準同型暗号で用いられる公開鍵を取得する機能と、
前記生体情報センサにより取得されたユーザの生体情報を成分に分解する機能と、
分解の結果得られるユーザの生体情報の第1成分の特徴量を、取得された公開鍵で準同型暗号化する機能と、
分解の結果得られるユーザの生体情報の第2成分の特徴量を、取得された公開鍵で準同型暗号化する機能と、
準同型暗号化された生体情報の第1成分の特徴量を、生体情報成分認証における登録用として、準同型暗号化したままの生体情報成分認証を実現する第1サーバにネットワークを介して送信する機能と、
準同型暗号化された生体情報の第2成分の特徴量を、生体情報成分認証における登録用として、準同型暗号化したままの生体情報成分認証を実現する第2サーバにネットワークを介して送信する機能と、を実現させるためのコンピュータプログラム。 A terminal equipped with a biometric information sensor,
A function to obtain public keys used in homomorphic encryption distributed over a network;
A function of decomposing the user's biological information acquired by the biological information sensor into components;
a function of homomorphically encrypting the feature quantity of the first component of the user's biometric information obtained as a result of decomposition with the obtained public key;
a function of homomorphically encrypting the feature quantity of the second component of the user's biometric information obtained as a result of decomposition with the obtained public key;
The feature amount of the first component of the biometric information that has been homomorphically encrypted is transmitted to the first server that realizes the biometric information component authentication while it is homomorphically encrypted for registration in the biometric information component authentication via the network. function and
The feature quantity of the second component of the biometric information that has been homomorphically encrypted is transmitted to a second server that realizes biometric information component authentication while still homomorphically encrypted for registration in biometric information component authentication via a network. A computer program for realizing a function.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2021/012487 WO2022201411A1 (en) | 2021-03-25 | 2021-03-25 | Face authentication application using homomorphic encryption |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2022201411A1 JPWO2022201411A1 (en) | 2022-09-29 |
JPWO2022201411A5 JPWO2022201411A5 (en) | 2023-03-08 |
JP7236042B2 true JP7236042B2 (en) | 2023-03-09 |
Family
ID=83395429
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022580443A Active JP7236042B2 (en) | 2021-03-25 | 2021-03-25 | Face Recognition Application Using Homomorphic Encryption |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7236042B2 (en) |
WO (1) | WO2022201411A1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11843699B1 (en) * | 2022-06-09 | 2023-12-12 | The Government of the United States of America, as represented by the Secretary of Homeland Security | Biometric identification using homomorphic primary matching with failover non-encrypted exception handling |
US11902416B2 (en) | 2022-06-09 | 2024-02-13 | The Government of the United States of America, as represented by the Secretary of Homeland Security | Third party biometric homomorphic encryption matching for privacy protection |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001189706A (en) | 1999-10-21 | 2001-07-10 | Matsushita Electric Ind Co Ltd | Method for transmitting control contents and store type broadcasting system |
JP2005222352A (en) | 2004-02-06 | 2005-08-18 | Matsushita Electric Ind Co Ltd | Authentication method, information processor and authentication system |
JP2005309973A (en) | 2004-04-23 | 2005-11-04 | Daiwa Institute Of Research Ltd | Electronic seal device, processing method, and program |
JP2015139014A (en) | 2014-01-20 | 2015-07-30 | 富士通株式会社 | Information processing program, information processing device, and information processing method |
JP2016031736A (en) | 2014-07-30 | 2016-03-07 | 株式会社リコー | Information processing system, output method, client terminal, output control apparatus, output device, program, and recording medium |
-
2021
- 2021-03-25 JP JP2022580443A patent/JP7236042B2/en active Active
- 2021-03-25 WO PCT/JP2021/012487 patent/WO2022201411A1/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001189706A (en) | 1999-10-21 | 2001-07-10 | Matsushita Electric Ind Co Ltd | Method for transmitting control contents and store type broadcasting system |
JP2005222352A (en) | 2004-02-06 | 2005-08-18 | Matsushita Electric Ind Co Ltd | Authentication method, information processor and authentication system |
JP2005309973A (en) | 2004-04-23 | 2005-11-04 | Daiwa Institute Of Research Ltd | Electronic seal device, processing method, and program |
JP2015139014A (en) | 2014-01-20 | 2015-07-30 | 富士通株式会社 | Information processing program, information processing device, and information processing method |
JP2016031736A (en) | 2014-07-30 | 2016-03-07 | 株式会社リコー | Information processing system, output method, client terminal, output control apparatus, output device, program, and recording medium |
Also Published As
Publication number | Publication date |
---|---|
JPWO2022201411A1 (en) | 2022-09-29 |
WO2022201411A1 (en) | 2022-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11611553B2 (en) | Online identity verification platform and process | |
US11818265B2 (en) | Methods and systems for creating and recovering accounts using dynamic passwords | |
US11206133B2 (en) | Methods and systems for recovering data using dynamic passwords | |
US20220029799A1 (en) | System and method for creating one or more hashes for biometric authentication in real-time | |
US11768957B2 (en) | Privacy-preserving image distribution | |
US11695975B1 (en) | System and method for live web camera feed and streaming transmission with definitive online identity verification for prevention of synthetic video and photographic images | |
JP2016071639A (en) | Monitoring information sharing system, collation device, monitoring device, and program | |
CN112949545B (en) | Method, apparatus, computing device and medium for recognizing face image | |
JP7236042B2 (en) | Face Recognition Application Using Homomorphic Encryption | |
WO2019048574A1 (en) | Digital identity system | |
GB2517949A (en) | Ticket authorisation | |
CN113821780A (en) | Video analysis method and device, electronic equipment and storage medium | |
US11244415B2 (en) | Personal IP protection system and method | |
CN115114667A (en) | Privacy information processing and classifying method and device for security chip | |
WO2010140191A1 (en) | Information communication network | |
CN113052044A (en) | Method, apparatus, computing device, and medium for recognizing iris image | |
JP5301365B2 (en) | Authentication card, card authentication terminal, card authentication server, and card authentication system | |
CN116456127B (en) | Video processing system, method, device, electronic equipment and storage medium | |
US20240170113A1 (en) | Verified secure biometric collection system | |
US20230247018A1 (en) | System and method for secure electronic document exchange and execution of contracts via a secure electronic platform with biometric access verification | |
WO2022201235A1 (en) | Secret search method, secret search system, secret search device, encryption device, searcher terminal, and program | |
TR2021020535A2 (en) | LEAGMENT SYSTEM ON BLOCK CHAIN NETWORK |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221226 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221226 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20221226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230208 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7236042 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |