JP6896467B2

JP6896467B2 - Identity verification system

Info

Publication number: JP6896467B2
Application number: JP2017054895A
Authority: JP
Inventors: 佑典田副; 航太齊藤; 廣大齊藤; 佐藤　俊雄; 俊雄佐藤; 助川　寛; 寛助川
Original assignee: Toshiba Corp; Toshiba Infrastructure Systems and Solutions Corp
Current assignee: Toshiba Corp; Toshiba Infrastructure Systems and Solutions Corp
Priority date: 2017-03-21
Filing date: 2017-03-21
Publication date: 2021-06-30
Anticipated expiration: 2037-03-21
Also published as: JP2018156587A

Description

本発明の実施形態は、本人照合システムに関する。 Embodiments of the present invention relate to a personal verification system.

人物の入退出を管理するゲート等の所定位置を通過する照合対象人物の経年変化に対応する特徴量を用いて、照合対象人物の顔を認識する技術が開発されている。 A technique for recognizing the face of a person to be collated has been developed by using a feature amount corresponding to the secular change of the person to be collated passing through a predetermined position such as a gate for managing the entry and exit of the person.

特開２００７−１０２５１７号公報JP-A-2007-102517

しかしながら、上記の技術では、照合対象人物の顔の特徴量に加えて、当該照合対象人物の経年変化に対応する特徴量を用いて、照合対象人物の顔の認識を行うため、当該認識における処理内容が増大し、人物の入退出の管理の効率性に欠ける。 However, in the above technique, in addition to the feature amount of the face of the collation target person, the face of the collation target person is recognized by using the feature amount corresponding to the secular change of the collation target person. The content increases, and the efficiency of managing the entry and exit of people is lacking.

実施形態の本人照合システムは、撮像部と、取得部と、類似度算出部と、照合部と、補正部と、を備える。撮像部は、所定位置を通過する照合対象人物の顔を撮像可能に設けられる。取得部は、記憶媒体から、所定位置を通過する照合対象人物の第１顔画像と、照合対象人物の属性を示す第１属性情報と、第１顔画像から抽出した第１特徴量と、を取得する。類似度算出部は、第１特徴量と、撮像部によって照合対象人物の顔を撮像して得られる第２顔画像の第２特徴量とに基づいて、第１顔画像と第２顔画像の類似度を算出する。照合部は、類似度が所定閾値以上であるか否かに基づいて、第１顔画像と第２顔画像とを照合する照合処理を実行する。補正部は、第１属性情報、または第２顔画像に基づく照合対象人物の属性を示す第２属性情報が、所定条件を満たす場合、第１顔画像と第２顔画像の照合率が高くなるように、第１顔画像と第２顔画像の類似度を予め設定された値だけシフトする。 The personal verification system of the embodiment includes an imaging unit, an acquisition unit, a similarity calculation unit, a collation unit, and a correction unit. The imaging unit is provided so as to be able to image the face of a person to be collated that passes through a predetermined position. The acquisition unit obtains the first face image of the collation target person passing through the predetermined position, the first attribute information indicating the attribute of the collation target person, and the first feature amount extracted from the first face image from the storage medium. get. The similarity calculation unit of the first face image and the second face image is based on the first feature amount and the second feature amount of the second face image obtained by imaging the face of the person to be collated by the imaging unit. Calculate the similarity. The collation unit executes a collation process for collating the first face image and the second face image based on whether or not the similarity is equal to or higher than a predetermined threshold value. When the first attribute information or the second attribute information indicating the attribute of the collation target person based on the second face image satisfies a predetermined condition, the correction unit increases the collation rate between the first face image and the second face image. As described above, the similarity between the first face image and the second face image is shifted by a preset value.

図１は、第１の実施形態にかかる本人照合システムの構成の一例を示す図である。FIG. 1 is a diagram showing an example of the configuration of the personal verification system according to the first embodiment. 図２は、第１の実施形態にかかる本人照合システムによる照合対象人物の照合処理の流れの一例を示すフローチャートである。FIG. 2 is a flowchart showing an example of a flow of collation processing of a collation target person by the principal verification system according to the first embodiment. 図３は、第１の実施形態にかかる本人照合システムにおいて第２顔画像を取得する処理の流れの一例を示すフローチャートである。FIG. 3 is a flowchart showing an example of a flow of processing for acquiring a second face image in the person verification system according to the first embodiment. 図４は、第２の実施形態にかかる本人照合システムの構成の一例を示す図である。FIG. 4 is a diagram showing an example of the configuration of the personal verification system according to the second embodiment. 図５は、第２の実施形態にかかる本人照合システムによる照合対象人物の照合処理の流れの一例を示すフローチャートである。FIG. 5 is a flowchart showing an example of the flow of the collation process of the collation target person by the principal collation system according to the second embodiment. 図６は、第３の実施形態にかかる本人照合システムの構成の一例を示す図である。FIG. 6 is a diagram showing an example of the configuration of the personal verification system according to the third embodiment.

以下、添付の図面を用いて、本実施形態にかかる本人照合システムについて説明する。 Hereinafter, the personal verification system according to the present embodiment will be described with reference to the attached drawings.

（第１の実施形態）
図１は、第１の実施形態にかかる本人照合システムの構成の一例を示す図である。図１に示すように、本実施形態にかかる本人照合システムは、ＩＤ画像登録部１０１、撮像画像登録部１０２、類似度算出部１０３、正規化部１０４、補正部１０５、照合部１０６、および出力部１０７を有する。 (First Embodiment)
FIG. 1 is a diagram showing an example of the configuration of the personal verification system according to the first embodiment. As shown in FIG. 1, the personal verification system according to the present embodiment includes an ID image registration unit 101, an image capture image registration unit 102, a similarity calculation unit 103, a normalization unit 104, a correction unit 105, a collation unit 106, and an output. It has a part 107.

ＩＤ画像登録部１０１（取得物の一例）は、ＩＤカード（記憶媒体の一例）から、建物等への入退出を管理するゲート等の所定位置を通過する照合対象人物の第１顔画像と、照合対象人物の属性（例えば、年齢、性別）を示す第１属性情報と、照合対象人物の第１顔画像から抽出する第１特徴量とを取得する。そして、ＩＤ画像登録部１０１は、取得した顔画像と、第１属性情報と、第１特徴量とを対応付けて記憶部に保存する。 The ID image registration unit 101 (an example of an acquired object) is a first face image of a person to be collated that passes through a predetermined position such as a gate that manages entry / exit to / from a building or the like from an ID card (an example of a storage medium). The first attribute information indicating the attribute (for example, age, gender) of the collation target person and the first feature amount extracted from the first face image of the collation target person are acquired. Then, the ID image registration unit 101 stores the acquired face image, the first attribute information, and the first feature amount in association with each other in the storage unit.

撮像画像登録部１０２（撮像部の一例）は、所定位置を通過する照合対象人物の顔を撮像可能に設けられる。また、撮像画像登録部１０２は、所定位置を通過する照合対象人物の顔を撮像して得られる第２顔画像と、当該第２顔画像に基づく照合対象人物の属性を示す第２属性情報と、当該第２顔画像から抽出する第２特徴量とを取得する。そして、撮像画像登録部１０２は、取得した第２顔画像と、第２属性情報と、第２特徴量とを対応付けて記憶部に保存する。 The captured image registration unit 102 (an example of the imaging unit) is provided so that the face of a collation target person passing through a predetermined position can be imaged. Further, the captured image registration unit 102 includes a second face image obtained by imaging the face of the collation target person passing through the predetermined position, and second attribute information indicating the attributes of the collation target person based on the second face image. , The second feature amount extracted from the second face image is acquired. Then, the captured image registration unit 102 stores the acquired second face image, the second attribute information, and the second feature amount in association with each other in the storage unit.

類似度算出部１０３は、第１特徴量と第２特徴量とに基づいて、第１顔画像と第２顔画像との類似度を算出する。照合部１０６は、類似度算出部１０３により算出される類似度が予め設定された閾値Ｒ（所定閾値の一例）以上であるか否かに基づいて、第１顔画像と第２顔画像とを照合する照合処理を実行する。 The similarity calculation unit 103 calculates the similarity between the first face image and the second face image based on the first feature amount and the second feature amount. The collation unit 106 sets the first face image and the second face image based on whether or not the similarity calculated by the similarity calculation unit 103 is equal to or higher than a preset threshold value R (an example of a predetermined threshold value). Execute the collation process to collate.

正規化部１０４は、照合対象人物の属性（第１属性情報または第２属性情報が示す属性）を有する過去の照合対象人物の類似度の分布が、当該照合対象人物の属性について予め設定された分布（以下、所定分布と言う。例えば、正規分布）に近づく規則（修正量）を求める。言い換えると、正規化部１０４は、照合対象人物の属性を有する過去の照合対象人物の類似度の分布を、所定分布に沿うように変形する規則を求める。ここで、過去の照合対象人物とは、ＩＤ画像登録部１０１によって、最後に、ＩＤカードから、第１顔画像と第１属性情報と第１特徴量とを取得した人物よりも前に所定位置を通過した人物である。 In the normalization unit 104, the distribution of the similarity of the past collation target person having the attribute of the collation target person (the attribute indicated by the first attribute information or the second attribute information) is set in advance for the attribute of the collation target person. Find a rule (correction amount) that approaches a distribution (hereinafter referred to as a predetermined distribution, for example, a normal distribution). In other words, the normalization unit 104 seeks a rule that transforms the distribution of the similarity of the past collation target person having the attribute of the collation target person so as to follow a predetermined distribution. Here, the past collation target person is a predetermined position before the person who finally acquired the first face image, the first attribute information, and the first feature amount from the ID card by the ID image registration unit 101. The person who passed through.

そして、正規化部１０４は、求めた規則に従って、類似度算出部１０３により算出される類似度を正規化する。これにより、照合処理の照合率を上げるために、照合対象人物の属性に応じた照合方法を事前に登録しておくことを必要としないので、本人照合システムの記憶容量を抑えたまま、照合対象人物の照合処理の照合率を上げることができる。また、第１特徴量および第２特徴量に加えて、照合対象人物の属性に応じた特徴量を増やす必要が無く、類似度を正規化するだけなので、照合処理に要する処理時間の増加を抑えることができ、人物の入退出の管理を効率的に行うことができる。 Then, the normalization unit 104 normalizes the similarity calculated by the similarity calculation unit 103 according to the obtained rule. As a result, in order to increase the collation rate of the collation process, it is not necessary to register the collation method according to the attribute of the collation target person in advance. The collation rate of the person collation process can be increased. Further, in addition to the first feature amount and the second feature amount, it is not necessary to increase the feature amount according to the attribute of the collation target person, and only the similarity is normalized, so that the increase in the processing time required for the collation process is suppressed. It is possible to efficiently manage the entry and exit of a person.

補正部１０５は、第１属性情報または第２属性情報が、類似度を補正すべき所定条件を満たす場合、照合処理の照合率が高くなるように、類似度算出部１０３により算出される類似度、または閾値Ｒをシフト（本実施形態では、予め設定された値だけシフト）する。これにより、照合処理の照合率を上げるために、照合対象人物の属性に応じた照合方法を事前に登録しておくことを必要としないので、本人照合システムの記憶容量を抑えたまま、照合対象人物の照合処理の照合率を上げることができる。また、第１特徴量および第２特徴量に加えて、照合対象人物の属性に応じた特徴量を増やす必要が無く、類似度を補正するだけなので、照合処理に要する処理時間の増加を抑えることができ、人物の入退出の管理を効率的に行うことができる。 When the first attribute information or the second attribute information satisfies a predetermined condition for correcting the similarity, the correction unit 105 calculates the similarity degree by the similarity calculation unit 103 so that the matching rate of the matching process becomes high. , Or the threshold value R is shifted (in this embodiment, a preset value is shifted). As a result, in order to increase the collation rate of the collation process, it is not necessary to register the collation method according to the attribute of the collation target person in advance. The collation rate of the person collation process can be increased. Further, in addition to the first feature amount and the second feature amount, it is not necessary to increase the feature amount according to the attribute of the collation target person, and only the similarity is corrected, so that the increase in the processing time required for the collation process can be suppressed. It is possible to efficiently manage the entry and exit of people.

次に、図１を用いて、本実施形態かかる本人照合システムの各部の詳細について説明する。ＩＤ画像登録部１０１は、ＩＤカードから、第１顔画像と第１属性情報と第１特徴量とを読み取る読取部を有する。当該読取部は、照合対象人物が所定位置を通過する際に手の届く範囲に設置され、当該照合対象人物がかざしたＩＤカードから、第１顔画像と第１属性情報と第１特徴量とを読み取る。 Next, with reference to FIG. 1, the details of each part of the personal identification system according to the present embodiment will be described. The ID image registration unit 101 has a reading unit that reads the first face image, the first attribute information, and the first feature amount from the ID card. The reading unit is installed within reach when the collation target person passes a predetermined position, and the first face image, the first attribute information, and the first feature amount are obtained from the ID card held by the collation target person. To read.

ここで、ＩＤカードは、旅券、運転免許証、マイナンバーカードなど、照合対象人物を識別可能とする識別情報を記憶可能な記憶媒体であれば良い。また、ＩＤ画像登録部１０１は、ＩＤカードが第１顔画像を記憶していない場合、本人照合システムが通信可能なデータサーバから、ＩＤカードに記憶された識別情報により特定される人物の顔画像を取得し、当該顔画像を第１顔画像としても良い。 Here, the ID card may be any storage medium that can store identification information such as a passport, a driver's license, and an Individual Number card that can identify the person to be collated. Further, when the ID card does not store the first face image, the ID image registration unit 101 has a face image of a person identified by the identification information stored in the ID card from a data server with which the personal verification system can communicate. May be obtained and the face image may be used as the first face image.

第１特徴量は、ＩＤカードに予め記憶されていても良いし、第１顔画像から抽出した特徴量であっても良い。第１顔画像から第１特徴量を抽出する場合、ＩＤ画像登録部１０１は、複数の顔画像の矩形領域の平均的な画像を、顔画像のテンプレート（以下、顔テンプレートと言う）として予め作成しておくものとする。ＩＤ画像登録部１０１は、ＩＤカードから取得した第１顔画像上において、顔テンプレートを平行移動、回転、拡大縮小等する。次いで、ＩＤ画像登録部１０１は、第１顔画像上において、顔テンプレートとの輝度値の差分が最も小さい位置を、照合対象人物の顔に対応する検出領域として検出する。 The first feature amount may be stored in advance in the ID card, or may be a feature amount extracted from the first face image. When extracting the first feature amount from the first face image, the ID image registration unit 101 creates in advance an average image of a rectangular area of a plurality of face images as a face image template (hereinafter referred to as a face template). It shall be done. The ID image registration unit 101 translates, rotates, enlarges / reduces, etc. the face template on the first face image acquired from the ID card. Next, the ID image registration unit 101 detects the position on the first face image where the difference in the brightness value from the face template is the smallest as the detection region corresponding to the face of the person to be collated.

そして、ＩＤ画像登録部１０１は、検出した検出領域の特徴量を、第１特徴量として抽出する。例えば、ＩＤ画像登録部１０１は、検出した検出領域を、ｍ×ｎピクセルの矩形領域に拡大または縮小し、当該拡大または縮小した矩形領域の輝度値を、ｍ×ｎ次元の特徴ベクトルに変換し、当該特徴ベクトルを第１特徴量とする。また、ＩＤ画像登録部１０１は、本人照合システムが通信可能なデータサーバから、ＩＤカードに記憶された識別情報により特定される人物の顔画像の特徴量を取得し、当該取得した特徴量を第１特徴量としても良い。 Then, the ID image registration unit 101 extracts the feature amount of the detected detection area as the first feature amount. For example, the ID image registration unit 101 enlarges or reduces the detected detection area into a rectangular area of m × n pixels, and converts the luminance value of the enlarged or reduced rectangular area into an m × n-dimensional feature vector. , The feature vector is used as the first feature quantity. Further, the ID image registration unit 101 acquires the feature amount of the face image of the person specified by the identification information stored in the ID card from the data server with which the personal verification system can communicate, and obtains the acquired feature amount. It may be one feature quantity.

撮像画像登録部１０２は、照合対象人物が所定位置を通過する際に、当該照合対象人物の顔を撮像可能に設けられるカメラを有する。当該カメラは、平均的な身長の高さの照合対象人物の顔を撮像可能に設けられている。または、当該カメラは、照合対象人物がＩＤカードを、ＩＤ画像登録部１０１が有する読取部にかざした際に、当該照合対象人物の顔を撮像可能に設けられていても良い。また、撮像画像登録部１０２は、カメラによって照合対象人物の顔を撮像して得られる第２顔画像から、第２特徴量を抽出する。具体的には、撮像画像登録部１０２は、第２顔画像上において、顔テンプレートを平行移動、回転、拡大縮小等する。そして、ＩＤ画像登録部１０１は、第１顔画像上において、顔テンプレートとの輝度値の差分が最も小さい位置を、照合対象人物の顔に対応する検出領域として検出する。 The captured image registration unit 102 has a camera provided so that the face of the collation target person can be imaged when the collation target person passes a predetermined position. The camera is provided so as to be able to capture the face of a person to be collated with an average height. Alternatively, the camera may be provided so that when the collation target person holds the ID card over the reading unit included in the ID image registration unit 101, the face of the collation target person can be imaged. In addition, the captured image registration unit 102 extracts the second feature amount from the second face image obtained by capturing the face of the person to be collated with the camera. Specifically, the captured image registration unit 102 translates, rotates, enlarges / reduces, etc. the face template on the second face image. Then, the ID image registration unit 101 detects the position on the first face image where the difference in the brightness value from the face template is the smallest as the detection area corresponding to the face of the person to be collated.

次いで、ＩＤ画像登録部１０１は、検出した検出領域の特徴量を、第１特徴量として抽出する。例えば、ＩＤ画像登録部１０１は、検出した検出領域を、ｍ×ｎピクセルの矩形領域に拡大または縮小し、当該拡大または縮小した矩形領域の輝度値を、ｍ×ｎ次元の特徴ベクトルに変換し、当該特徴ベクトルを第１特徴量とする。また、撮像画像登録部１０２は、第２顔画像に基づいて、第２属性情報を取得する。本実施形態では、撮像画像登録部１０２は、線形回帰等の回帰分析によって、第２顔画像から検出した検出領域の輝度値または第２顔画像における目や鼻等の位置関係から、照合対象人物の第２属性情報を推定する。 Next, the ID image registration unit 101 extracts the detected feature amount of the detection region as the first feature amount. For example, the ID image registration unit 101 enlarges or reduces the detected detection area into a rectangular area of m × n pixels, and converts the luminance value of the enlarged or reduced rectangular area into an m × n-dimensional feature vector. , The feature vector is used as the first feature quantity. Further, the captured image registration unit 102 acquires the second attribute information based on the second face image. In the present embodiment, the captured image registration unit 102 determines the collation target person based on the brightness value of the detection region detected from the second face image or the positional relationship of the eyes, nose, etc. in the second face image by regression analysis such as linear regression. The second attribute information of is estimated.

類似度算出部１０３は、第１特徴量と第２特徴量とを用いて、第１顔画像と第２顔画像との類似度を算出する。本実施形態では、類似度算出部１０３は、第１特徴量と第２特徴量の内積を、類似度として算出する。 The similarity calculation unit 103 calculates the similarity between the first face image and the second face image by using the first feature amount and the second feature amount. In the present embodiment, the similarity calculation unit 103 calculates the inner product of the first feature amount and the second feature amount as the similarity.

正規化部１０４は、照合対象人物の属性または撮像画像登録部１０２が有するカメラの撮像条件に基づいて、算出した類似度を正規化する。本実施形態では、正規化部１０４は、本システムにおいて過去の照合対象人物について算出した類似度の平均値や標準偏差等に基づいて、照合対象人物の属性を有する過去の照合対象人物の類似度の分布を算出する。 The normalization unit 104 normalizes the calculated similarity based on the attributes of the collation target person or the image pickup conditions of the camera possessed by the captured image registration unit 102. In the present embodiment, the normalization unit 104 has the similarity degree of the past collation target person having the attribute of the collation target person based on the average value and standard deviation of the similarity calculated for the past collation target person in this system. Calculate the distribution of.

そして、正規化部１０４は、算出した類似度の分布が、照合対象人物の属性の所定分布に沿うように変形させる規則（修正量）を求め、当該規則に従って、算出した類似度を正規化する。これにより、照合処理の照合率を上げるために、照合対象人物の属性に応じた照合方法を事前に登録しておくことを必要としないので、本人照合システムの記憶容量を抑えたまま、照合対象人物の照合処理の照合率を上げることができる。また、第１特徴量および第２特徴量に加えて、照合対象人物の属性に応じた特徴量を増やす必要が無く、類似度を正規化するだけなので、照合処理に要する処理時間の増加を抑えることができ、人物の入退出の管理を効率的に行うことができる。 Then, the normalization unit 104 obtains a rule (correction amount) for deforming the calculated similarity distribution so as to follow a predetermined distribution of the attributes of the collation target person, and normalizes the calculated similarity according to the rule. .. As a result, in order to increase the collation rate of the collation process, it is not necessary to register the collation method according to the attribute of the collation target person in advance. The collation rate of the person collation process can be increased. Further, in addition to the first feature amount and the second feature amount, it is not necessary to increase the feature amount according to the attribute of the collation target person, and only the similarity is normalized, so that the increase in the processing time required for the collation process is suppressed. It is possible to efficiently manage the entry and exit of a person.

また、正規化部１０４は、過去の照合対象人物について算出される類似度をデータサーバに保存しておき、照合対象人物の類似度を正規化する際に、データサーバに記憶される類似度の平均値および標準偏差を求める。または、正規化部１０４は、照合対象人物について類似度が算出される度に、過去の照合対象人物の属性の類似度の平均値および標準偏差を更新しても良い。正規化部１０４は、過去の照合対象人物の延べ人数を属性毎に求めておき、当該属性毎の過去の照合対象人物の延べ人数を用いて、過去の照合対象人物の属性毎の類似度の平均値および標準偏差を求める。 Further, the normalization unit 104 stores the similarity calculated for the past collation target person in the data server, and when normalizing the similarity of the collation target person, the similarity stored in the data server. Find the mean and standard deviation. Alternatively, the normalization unit 104 may update the average value and standard deviation of the similarity of the attributes of the past collation target person each time the similarity is calculated for the collation target person. The normalization unit 104 obtains the total number of past collation target persons for each attribute, and uses the total number of past collation target persons for each attribute to determine the degree of similarity for each attribute of the past collation target person. Find the mean and standard deviation.

補正部１０５は、第１属性情報または第２属性情報が、所定条件を満たすか否かを判断し、第１属性情報または第２属性情報が所定条件を満たす場合に、照合処理による第１顔画像と第２顔画像との照合率が高くなるように、類似度算出部１０３により算出される類似度および閾値Ｒの少なくとも一方を、予め設定された値、シフト（補正）する。これにより、照合処理の照合率を上げるために、照合対象人物の属性に応じた照合方法を事前に登録しておくことを必要としないので、本人照合システムの記憶容量を抑えたまま、照合対象人物の照合処理の照合率を上げることができる。また、第１特徴量および第２特徴量に加えて、照合対象人物の属性に応じた特徴量を増やす必要が無く、類似度を補正するだけなので、照合処理に要する処理時間の増加を抑えることができ、人物の入退出の管理を効率的に行うことができる。 The correction unit 105 determines whether or not the first attribute information or the second attribute information satisfies the predetermined condition, and when the first attribute information or the second attribute information satisfies the predetermined condition, the first face by the collation process. At least one of the similarity and the threshold value R calculated by the similarity calculation unit 103 is shifted (corrected) by a preset value so that the collation rate between the image and the second face image is high. As a result, in order to increase the collation rate of the collation process, it is not necessary to register the collation method according to the attribute of the collation target person in advance. The collation rate of the person collation process can be increased. Further, in addition to the first feature amount and the second feature amount, it is not necessary to increase the feature amount according to the attribute of the collation target person, and only the similarity is corrected, so that the increase in the processing time required for the collation process can be suppressed. It is possible to efficiently manage the entry and exit of people.

ここで、閾値Ｒは、照合部１０６の照合処理のベンチマークデータセット等を用いて、照合対象人物の属性毎の照合対象人物本人に受入率（所定位置の通過を許可する割合）または排除率（所定位置の通過を禁止する割合）を求め、当該受入率または排除率になるように予め設定される。 Here, the threshold R is the acceptance rate (ratio of permitting passage of a predetermined position) or the exclusion rate (ratio of allowing the collation target person to pass through a predetermined position) or exclusion rate (ratio) for each collation target person attribute for each attribute of the collation target person using the benchmark data set of the collation process of the collation unit 106. The rate of prohibiting passage of a predetermined position) is obtained, and the acceptance rate or exclusion rate is set in advance.

ここで、所定条件は、類似度算出部１０３により算出される類似度を補正すべきと判断する属性情報の条件である。例えば、所定条件は、第１属性情報または第２属性情報が示す年齢と第１顔画像に基づく照合対象人物の年齢との差が所定値以上であること、第１属性情報または第２属性情報が示す性別と第１顔画像に基づく照合対象人物の性別とが異なること、第１属性情報が示す年齢と第２属性情報が示す年齢との差が所定値以上であること、第１属性情報が示す性別と第２属性情報が示す性別とが異なること等である。本実施形態では、補正部１０５は、照合対象人物の属性の違いによる類似度の平均値や標準偏差等を蓄積したベンチマークデータセットを用いて、所定条件を設定する。 Here, the predetermined condition is a condition of attribute information for determining that the similarity calculated by the similarity calculation unit 103 should be corrected. For example, the predetermined condition is that the difference between the age indicated by the first attribute information or the second attribute information and the age of the collation target person based on the first face image is equal to or more than a predetermined value, the first attribute information or the second attribute information. The gender indicated by is different from the gender of the person to be collated based on the first face image, the difference between the age indicated by the first attribute information and the age indicated by the second attribute information is equal to or more than a predetermined value, and the first attribute information. The gender indicated by is different from the gender indicated by the second attribute information. In the present embodiment, the correction unit 105 sets predetermined conditions by using a benchmark data set in which the average value and standard deviation of the similarity due to the difference in the attributes of the collation target person are accumulated.

照合部１０６は、補正部１０５によりシフト（補正）された類似度が閾値Ｒ以上であるか否かに基づいて、第１顔画像と第２顔画像とを照合する照合処理を実行する。本実施形態では、照合部１０６は、補正部１０５により補正された類似度を、浮動小数点数で表されたスコアに変換し、当該スコアが閾値Ｒ以上であるか否かに基づいて、第１顔画像と第２顔画像とを照合する照合処理を実行する。 The collation unit 106 executes a collation process for collating the first face image and the second face image based on whether or not the similarity shifted (corrected) by the correction unit 105 is equal to or greater than the threshold value R. In the present embodiment, the collation unit 106 converts the similarity corrected by the correction unit 105 into a score represented by a floating-point number, and the first one is based on whether or not the score is equal to or greater than the threshold value R. A collation process for collating the face image with the second face image is executed.

出力部１０７は、照合部１０６による照合処理の結果を出力する。本実施形態では、出力部１０７は、照合部１０６により照合処理の結果を表すテキスト、照合処理の結果を表す記号（例えば、〇、×、矢印）や絵、または照合処理の結果を表すアニメーション等を、液晶ディスプレイ等の表示部に表示させる。 The output unit 107 outputs the result of the collation process by the collation unit 106. In the present embodiment, the output unit 107 is a text representing the result of the collation process by the collation unit 106, a symbol (for example, 〇, ×, arrow) or a picture representing the result of the collation process, an animation representing the result of the collation process, or the like. Is displayed on a display unit such as a liquid crystal display.

次に、図２を用いて、本実施形態にかかる本人照合システムによる照合対象人物の照合処理の流れの一例について説明する。図２は、第１の実施形態にかかる本人照合システムによる照合対象人物の照合処理の流れの一例を示すフローチャートである。 Next, with reference to FIG. 2, an example of the flow of the collation processing of the collation target person by the principal collation system according to the present embodiment will be described. FIG. 2 is a flowchart showing an example of a flow of collation processing of a collation target person by the principal verification system according to the first embodiment.

ＩＤ画像登録部１０１は、ＩＤカードから、第１顔画像および第１属性情報を取得する（ステップＳ２０１、ステップＳ２０２）。また、ＩＤ画像登録部１０１は、取得した第１顔画像から第１特徴量を抽出する（ステップＳ２０３）。 The ID image registration unit 101 acquires the first face image and the first attribute information from the ID card (step S201, step S202). In addition, the ID image registration unit 101 extracts the first feature amount from the acquired first face image (step S203).

撮像画像登録部１０２は、所定位置を通過する照合対象人物の顔を撮像して、第２顔画像を取得する（ステップＳ２０４）。また、撮像画像登録部１０２は、取得した第２顔画像に基づいて、第２属性情報を取得する（ステップＳ２０５）。さらに、撮像画像登録部１０２は、取得した第２顔画像から、第２特徴量を抽出する（ステップＳ２０６）。 The captured image registration unit 102 captures the face of the collation target person passing through the predetermined position and acquires the second face image (step S204). In addition, the captured image registration unit 102 acquires the second attribute information based on the acquired second face image (step S205). Further, the captured image registration unit 102 extracts the second feature amount from the acquired second face image (step S206).

次に、類似度算出部１０３は、第１特徴量と第２特徴量とを用いて、第１顔画像と第２顔画像との類似度を算出する（ステップＳ２０７）。正規化部１０４は、照合対象人物の属性を有する過去の照合対象人物の類似度の分布が、照合対象人物の属性の所定分布に近づく規則に従って、類似度算出部１０３により算出された類似度を正規化する（ステップＳ２０８）。 Next, the similarity calculation unit 103 calculates the similarity between the first face image and the second face image using the first feature amount and the second feature amount (step S207). The normalization unit 104 calculates the similarity calculated by the similarity calculation unit 103 according to a rule that the distribution of the similarity of the past matching target person having the attribute of the matching target person approaches a predetermined distribution of the attribute of the matching target person. Normalize (step S208).

次いで、補正部１０５は、第１属性情報が所定条件を満たすか否か、すなわち、算出した類似度を補正する必要があるか否かを判断する（ステップＳ２０９）。ここで、第１属性情報が所定条件を満たすか否かを判断する例について説明するが、第２属性情報が所定条件を満たすか否かを判断しても良い。第１属性情報が所定条件を満たさない場合（ステップＳ２０９：Ｎｏ）、照合部１０６は、補正部１０５によって補正されていない類似度（すなわち、類似度算出部１０３により算出されたそのままの類似度）が閾値Ｒ以上であるか否かに基づいて、第１顔画像と第２顔画像の照合処理を実行する（ステップＳ２１０）。類似度算出部１０３により算出された類似度が閾値Ｒ以上である場合（ステップＳ２１１：Ｙｅｓ）、照合部１０６は、第１顔画像と第２顔画像との照合が成功したと判断する。そして、出力部１０７は、第１顔画像と第２顔画像との照合が成功したことを、表示部に表示する（ステップＳ２１２）。 Next, the correction unit 105 determines whether or not the first attribute information satisfies a predetermined condition, that is, whether or not it is necessary to correct the calculated similarity (step S209). Here, an example of determining whether or not the first attribute information satisfies the predetermined condition will be described, but it may be determined whether or not the second attribute information satisfies the predetermined condition. When the first attribute information does not satisfy the predetermined condition (step S209: No), the collation unit 106 has the similarity not corrected by the correction unit 105 (that is, the similarity as it is calculated by the similarity calculation unit 103). Is equal to or greater than the threshold value R, and the matching process of the first face image and the second face image is executed (step S210). When the similarity calculated by the similarity calculation unit 103 is equal to or greater than the threshold value R (step S211: Yes), the matching unit 106 determines that the matching between the first face image and the second face image is successful. Then, the output unit 107 displays on the display unit that the matching between the first face image and the second face image is successful (step S212).

一方、第１属性情報が所定条件を満たす場合（ステップＳ２０９：Ｙｅｓ）、補正部１０５は、照合処理による第１顔画像と第２顔画像との照合率が高くなるように、予め設定された値、類似度算出部１０３により算出される類似度をシフトする（ステップＳ２１３）。その後、照合部１０６は、補正した類似度が閾値Ｒ以上であるか否かに基づいて、第１顔画像と第２顔画像の照合処理を実行する（ステップＳ２１０）。 On the other hand, when the first attribute information satisfies a predetermined condition (step S209: Yes), the correction unit 105 is preset so that the collation rate between the first face image and the second face image by the collation process becomes high. The value and the similarity calculated by the similarity calculation unit 103 are shifted (step S213). After that, the collation unit 106 executes a collation process of the first face image and the second face image based on whether or not the corrected similarity is equal to or higher than the threshold value R (step S210).

補正した類似度が閾値Ｒ以上である場合（ステップＳ２１１：Ｙｅｓ）、照合部１０６は、第１顔画像と第２顔画像との照合が成功したと判断する。そして、出力部１０７は、第１顔画像と第２顔画像との照合が成功したことを、表示部に表示する（ステップＳ２１２）。一方、補正した類似度が閾値Ｒより低い場合（ステップＳ２１１：Ｎｏ）、照合部１０６は、同一の第１顔画像と第２顔画像について照合処理を行った回数が予め設定された上限回数を超えたか否かを判断する（ステップＳ２１４）。ここで、上限回数は、所定位置以外の有人ゲートや他の所定位置における照合対象人物の照合の進行状況に応じて変更しても良い。 When the corrected similarity is equal to or higher than the threshold value R (step S211: Yes), the collating unit 106 determines that the collation between the first face image and the second face image is successful. Then, the output unit 107 displays on the display unit that the matching between the first face image and the second face image is successful (step S212). On the other hand, when the corrected similarity is lower than the threshold value R (step S211: No), the collating unit 106 sets a preset upper limit number of times that the matching processing is performed on the same first face image and the second face image. It is determined whether or not the value has been exceeded (step S214). Here, the upper limit number of times may be changed according to the progress of collation of the collation target person at a manned gate other than the predetermined position or another predetermined position.

同一の第１顔画像と第２顔画像について照合処理を行った回数が上限回数を超えた場合（ステップＳ２１４：Ｙｅｓ）、出力部１０７は、有人ゲートへの移動を促すメッセージを表示部に表示させる（ステップＳ２１５）。または、本人照合システムは、同一の第１顔画像と第２顔画像について照合処理を行った回数が上限回数を超えた場合、照合対象人物の所定位置の通過を禁止しても良い。一方、同一の第１顔画像と第２顔画像について照合処理を行った回数が上限回数以下である場合（ステップＳ２１４：Ｎｏ）、ステップＳ２１３に戻り、補正部１０５は、類似度算出部１０３による算出される類似度を補正し直す。 When the number of times the same first face image and the second face image are collated exceeds the upper limit (step S214: Yes), the output unit 107 displays a message prompting the user to move to the manned gate on the display unit. (Step S215). Alternatively, the personal verification system may prohibit the person to be collated from passing through a predetermined position when the number of times the matching processing is performed on the same first face image and the second face image exceeds the upper limit number of times. On the other hand, when the number of times the same first face image and the second face image are collated is equal to or less than the upper limit number (step S214: No), the process returns to step S213, and the correction unit 105 is performed by the similarity calculation unit 103. Correct the calculated similarity.

次に、図３を用いて、本実施形態にかかる本人照合システムにおいて第２顔画像を取得する処理の流れの一例について説明する。図３は、第１の実施形態にかかる本人照合システムにおいて第２顔画像を取得する処理の流れの一例を示すフローチャートである。 Next, with reference to FIG. 3, an example of the flow of the process of acquiring the second face image in the person verification system according to the present embodiment will be described. FIG. 3 is a flowchart showing an example of a flow of processing for acquiring a second face image in the person verification system according to the first embodiment.

撮像画像登録部１０２は、ＩＤ画像登録部１０１が有する読取部に対してＩＤカードがかざされるまでの間に、予め設定された周期で、当該照合対象人物の顔を撮像して、当該照合対象人物の顔画像を取得する（ステップＳ３０１）。すなわち、撮像画像登録部１０２は、所定位置を通過する同一の照合対象人物の顔を複数回撮像する。次いで、撮像画像登録部１０２は、取得した顔画像に対して、当該顔画像が照合処理に適する度合いである顔スコアを算出する（ステップＳ３０２）。本実施形態では、撮像画像登録部１０２は、複数の顔画像それぞれの輝度値、当該顔画像における各器官の位置情報等に基づいて、照合対象人物の表情や顔の向きを求め、求めた照合対象人物の表情や顔の向きに基づいて、顔スコアを算出するものとする。 The captured image registration unit 102 captures the face of the collation target person at a preset cycle until the ID card is held over the reading unit of the ID image registration unit 101, and the collation target. Acquire a face image of a person (step S301). That is, the captured image registration unit 102 captures the face of the same collation target person passing through the predetermined position a plurality of times. Next, the captured image registration unit 102 calculates a face score to which the face image is suitable for the collation process with respect to the acquired face image (step S302). In the present embodiment, the captured image registration unit 102 obtains the facial expression and face orientation of the person to be collated based on the brightness value of each of the plurality of face images, the position information of each organ in the face image, and the obtained collation. The face score shall be calculated based on the facial expression and face orientation of the target person.

その後、撮像画像登録部１０２は、照合対象人物の顔の撮像を終了するか否かを判断する（ステップＳ３０３）。本実施形態では、撮像画像登録部１０２は、ＩＤ画像登録部１０１が有する読取部に対して、照合対象人物がＩＤカードをかざした場合、照合対象人物の撮像を終了すると判断する。照合対象人物の顔の撮像を終了しないと判断した場合（ステップＳ３０３：Ｎｏ）、ステップＳ３０１に戻り、撮像画像登録部１０２は、照合対象人物の顔の撮像を継続する。 After that, the captured image registration unit 102 determines whether or not to finish imaging the face of the collation target person (step S303). In the present embodiment, the captured image registration unit 102 determines that when the collation target person holds the ID card over the reading unit of the ID image registration unit 101, the imaging of the collation target person is completed. When it is determined that the imaging of the face of the collation target person is not completed (step S303: No), the process returns to step S301, and the captured image registration unit 102 continues the imaging of the face of the collation target person.

一方、照合対象人物の顔の撮像を終了すると判断した場合（ステップＳ３０３：Ｙｅｓ）、撮像画像登録部１０２は、取得した顔画像のうち、顔スコアが最も高い顔画像を、第２顔画像として取得する（ステップＳ３０４）。以上の処理によって、撮像画像登録部１０２は、同一の照合対象人物の顔を複数回撮像して得られる複数の顔画像の中から、ベストショット画像を、第２顔画像として取得する。これにより、照合処理に適した第２顔画像を取得できるので、第１顔画像と第２顔画像の照合処理の精度を向上させることができる。 On the other hand, when it is determined that the imaging of the face of the person to be collated is finished (step S303: Yes), the captured image registration unit 102 uses the face image having the highest face score as the second face image among the acquired face images. Acquire (step S304). Through the above processing, the captured image registration unit 102 acquires the best shot image as the second face image from the plurality of face images obtained by capturing the face of the same collation target person a plurality of times. As a result, the second face image suitable for the matching process can be acquired, so that the accuracy of the matching process between the first face image and the second face image can be improved.

このように、第１の実施形態にかかる本人照合システムによれば、第１属性情報または第２属性情報が、類似度を補正すべき所定条件を満たす場合、照合処理の照合率が高くなるように、類似度算出部１０３により算出される類似度を補正することにより、照合処理の照合率を上げるために、照合対象人物の属性に応じた照合方法を事前に登録しておくことを必要としないので、本人照合システムの記憶容量を抑えたまま、照合対象人物の照合処理の照合率を上げることができる。 As described above, according to the person collation system according to the first embodiment, when the first attribute information or the second attribute information satisfies a predetermined condition for correcting the similarity, the collation rate of the collation process is increased. In addition, in order to increase the collation rate of the collation process by correcting the similarity calculated by the similarity calculation unit 103, it is necessary to register the collation method according to the attribute of the collation target person in advance. Therefore, it is possible to increase the collation rate of the collation process of the collation target person while suppressing the storage capacity of the personal verification system.

（第２の実施形態）
本実施形態は、第１顔画像および第２顔画像の一方が、照合対象人物の顔に対する装着物の画像を含む場合、第１顔画像および第２顔画像のうち、装着物の画像が検出されなかった顔画像に対して、装着物の画像を合成する例である。以下の説明では、第１の実施形態と同様の構成については説明を省略する。 (Second embodiment)
In the present embodiment, when one of the first face image and the second face image includes an image of an attachment to the face of the person to be collated, the image of the attachment is detected among the first face image and the second face image. This is an example of synthesizing an image of an attached object with a face image that has not been formed. In the following description, description of the same configuration as that of the first embodiment will be omitted.

図４は、第２の実施形態にかかる本人照合システムの構成の一例を示す図である。図４に示すように、本実施形態にかかる本人照合システムは、ＩＤ画像登録部１０１、撮像画像登録部１０２、類似度算出部１０３、正規化部１０４、補正部１０５、照合部１０６、および出力部１０７に加えて、ＩＤ画像判定部４０１、ＩＤ画像合成部４０２、撮像画像判定部４０３、撮像画像合成部４０４、テクスチャデータベース４０５、ＩＤ画像特徴抽出部４０６、および撮像画像特徴抽出部４０７を有する。 FIG. 4 is a diagram showing an example of the configuration of the personal verification system according to the second embodiment. As shown in FIG. 4, the personal verification system according to the present embodiment includes an ID image registration unit 101, an image capture image registration unit 102, a similarity calculation unit 103, a normalization unit 104, a correction unit 105, a collation unit 106, and an output. In addition to the unit 107, it has an ID image determination unit 401, an ID image composition unit 402, an image capture image determination unit 403, an image capture image composition unit 404, a texture database 405, an ID image feature extraction unit 406, and an image capture image feature extraction unit 407. ..

ＩＤ画像判定部４０１は、第１顔画像が、照合対象人物の顔に装着された装着物の画像（以下、装着物画像と言う）を含むか否かを判定する。撮像画像判定部４０３は、第２顔画像が、装着物画像を含むか否かを判定する。テクスチャデータベース４０５は、装着物画像のモデル画像（以下、テクスチャ画像と言う）を記憶する。 The ID image determination unit 401 determines whether or not the first face image includes an image of an attached object attached to the face of the person to be collated (hereinafter, referred to as an attached object image). The captured image determination unit 403 determines whether or not the second face image includes an attached image. The texture database 405 stores a model image (hereinafter, referred to as a texture image) of the attachment image.

ＩＤ画像合成部４０２は、第１顔画像に装着物画像が含まれずかつ第２顔画像に装着物画像が含まれる場合、第１顔画像に対して、装着物の画像（本実施形態では、テクスチャ画像）を合成する。撮像画像合成部４０４は、第１顔画像に装着物画像が含まれかつ第２顔画像に装着物画像が含まれない場合、第２顔画像に対して、装着物の画像（本実施形態では、テクスチャ画像）を合成する。 When the first face image does not include the attachment image and the second face image includes the attachment image, the ID image synthesizing unit 402 refers to the attachment image (in the present embodiment, the attachment image) with respect to the first face image. Texture image) is combined. When the first face image includes the attachment image and the second face image does not include the attachment image, the captured image synthesis unit 404 refers to the image of the attachment with respect to the second face image (in the present embodiment). , Texture image) is combined.

すなわち、ＩＤ画像合成部４０２および撮像画像合成部４０４は、第１顔画像および第２顔画像の一方が、照合対象人物の顔に対する装着物の画像を含む場合、第１顔画像および第２顔画像のうち、装着物の画像が検出されなかった顔画像に対して、装着物の画像を合成する合成部の一例として機能する。これにより、第１顔画像と第２顔画像との照合率を上げることができるので、人物の入退出の管理を効率的に行うことができる。 That is, in the ID image synthesizing unit 402 and the captured image synthesizing unit 404, when one of the first face image and the second face image includes an image of an attachment to the face of the person to be collated, the first face image and the second face image Among the images, the face image in which the image of the attached object is not detected functions as an example of a compositing unit that synthesizes the image of the attached object. As a result, the collation rate between the first face image and the second face image can be increased, so that the entry / exit of a person can be efficiently managed.

ＩＤ画像特徴抽出部４０６は、ＩＤ画像合成部４０２によって第１顔画像に対してテクスチャ画像が合成された場合に、テクスチャ画像が合成された第１顔画像から、第１特徴量を抽出する。撮像画像特徴抽出部４０７は、撮像画像合成部４０４によって第２顔画像に対してテクスチャ画像が合成された場合に、テクスチャ画像が合成された第２顔画像から、第２特徴量を抽出する。 The ID image feature extraction unit 406 extracts the first feature amount from the first face image in which the texture image is synthesized when the texture image is synthesized with respect to the first face image by the ID image synthesis unit 402. The captured image feature extraction unit 407 extracts the second feature amount from the second face image in which the texture image is synthesized when the texture image is synthesized with respect to the second face image by the captured image synthesis unit 404.

次に、図４を用いて、本実施形態にかかる本人照合システムの各部の詳細について説明する。ＩＤ画像判定部４０１は、第１顔画像に含まれる各器官の輝度値を求め、当該各器官の輝度値と人物の肌の輝度値との差分が予め設定された差分より大きい場合に、第１顔画像に装着物画像が含まれると判定する。撮像画像判定部４０３は、第２顔画像に含まれる各器官の輝度値を求め、当該各器官の輝度値と人物の肌の輝度値との差分が予め設定された差分より大きい場合に、第２顔画像に装着物画像が含まれると判定する。 Next, with reference to FIG. 4, the details of each part of the personal identification system according to the present embodiment will be described. The ID image determination unit 401 obtains the brightness value of each organ included in the first face image, and when the difference between the brightness value of each organ and the brightness value of the human skin is larger than the preset difference, the first 1 It is determined that the face image includes the attached object image. The captured image determination unit 403 obtains the brightness value of each organ included in the second face image, and when the difference between the brightness value of each organ and the brightness value of the human skin is larger than the preset difference, the first 2 It is determined that the attached image is included in the face image.

テクスチャデータベース４０５は、人物の顔の一部を隠蔽可能な装着物（例えば、眼鏡、マスク、ターバン）のモデル画像であるテクスチャ画像を記憶する。本実施形態では、テクスチャデータベース４０５は、本人照合システムが設置された環境において、照合対象人物が装着する可能性が高い装着物のテクスチャ画像を記憶する。また、本実施形態では、テクスチャデータベース４０５は、装着物の名称と、当該器官を隠蔽する装着部のテクスチャ画像とを対応付けて記憶する。 The texture database 405 stores a texture image which is a model image of an attachment (for example, glasses, a mask, a turban) capable of concealing a part of a person's face. In the present embodiment, the texture database 405 stores the texture image of the wearable object that is likely to be worn by the collation target person in the environment in which the personal verification system is installed. Further, in the present embodiment, the texture database 405 stores the name of the attachment and the texture image of the attachment portion that hides the organ in association with each other.

ＩＤ画像合成部４０２は、第１顔画像に装着物画像が含まれずかつ第２顔画像に装着物画像が含まれる場合、テクスチャデータベース４０５に記憶されるテクスチャ画像のうち、第２顔画像に含まれる装着物画像と一致または類似するテクスチャ画像を第１顔画像に対して合成する。ＩＤ画像合成部４０２は、第１顔画像に対してテクスチャ画像を合成する際、第１顔画像上の第１座標と第２顔画像上の第２座標とを対応付けておく。そして、ＩＤ画像合成部４０２は、第２顔画像における装着物画像の第２座標に対応する、第１顔画像における第１座標に対して、テクスチャ画像を合成する。さらに、ＩＤ画像合成部４０２は、第１顔画像の第１座標に存在する器官が隠蔽されるように、テクスチャ画像に対して拡大や縮小等の変形を加えた上で、第１顔画像に対してテクスチャ画像を合成する。 When the first face image does not include the attachment image and the second face image includes the attachment image, the ID image compositing unit 402 includes the attachment image in the second face image among the texture images stored in the texture database 405. A texture image that matches or resembles the attached image is combined with the first face image. The ID image synthesizing unit 402 associates the first coordinate on the first face image with the second coordinate on the second face image when synthesizing the texture image with respect to the first face image. Then, the ID image synthesizing unit 402 synthesizes the texture image with respect to the first coordinate in the first face image, which corresponds to the second coordinate of the attachment image in the second face image. Further, the ID image synthesizing unit 402 adds deformations such as enlargement and reduction to the texture image so that the organ existing at the first coordinate of the first face image is concealed, and then forms the first face image. On the other hand, the texture image is combined.

撮像画像合成部４０４は、第１顔画像に装着物画像が含まれかつ第２顔画像に装着物画像が含まれない場合、テクスチャデータベース４０５に記憶されるテクスチャ画像のうち、第１顔画像に含まれる装着物画像と一致または類似するテクスチャ画像を第２顔画像に対して合成する。撮像画像合成部４０４は、第２顔画像に対してテクスチャ画像を合成する際、第１顔画像上の第１座標と第２顔画像上の第２座標とを対応付けておく。そして、撮像画像合成部４０４は、第１顔画像における装着物画像の第１座標に対応する、第２顔画像における第２座標に対して、テクスチャ画像を合成する。さらに、撮像画像合成部４０４は、第２顔画像の第２座標に存在する器官が隠蔽されるように、テクスチャ画像に対して拡大や縮小等の変形を加えた上で、第２顔画像に対してテクスチャ画像を合成する。 When the first face image includes the attachment image and the second face image does not include the attachment image, the captured image compositing unit 404 selects the first face image among the texture images stored in the texture database 405. A texture image that matches or resembles the included attachment image is combined with the second face image. The captured image synthesizing unit 404 associates the first coordinate on the first face image with the second coordinate on the second face image when synthesizing the texture image with respect to the second face image. Then, the captured image synthesizing unit 404 synthesizes a texture image with respect to the second coordinate in the second face image, which corresponds to the first coordinate of the attachment image in the first face image. Further, the captured image synthesizing unit 404 adds deformation such as enlargement or reduction to the texture image so that the organ existing at the second coordinate of the second face image is concealed, and then forms the second face image. On the other hand, the texture image is combined.

ＩＤ画像特徴抽出部４０６は、第１の実施形態のＩＤ画像登録部１０１による第１特徴量の抽出と同様の方法によって、テクスチャ画像が合成された第１顔画像から第１特徴量を抽出する。撮像画像抽出部４０７は、第１の実施形態の撮像画像登録部１０２による第２特徴量の抽出と同様の方法によって、テクスチャ画像が合成された第２顔画像から第２特徴量を抽出する。 The ID image feature extraction unit 406 extracts the first feature amount from the first face image in which the texture image is synthesized by the same method as the extraction of the first feature amount by the ID image registration unit 101 of the first embodiment. .. The captured image extraction unit 407 extracts the second feature amount from the second face image in which the texture image is synthesized by the same method as the extraction of the second feature amount by the captured image registration unit 102 of the first embodiment.

次に、図５を用いて、本実施形態にかかる本人照合システムによる照合対象人物の照合処理の流れの一例について説明する。図５は、第２の実施形態にかかる本人照合システムによる照合対象人物の照合処理の流れの一例を示すフローチャートである。 Next, with reference to FIG. 5, an example of the flow of the collation processing of the collation target person by the principal collation system according to the present embodiment will be described. FIG. 5 is a flowchart showing an example of the flow of the collation process of the collation target person by the principal collation system according to the second embodiment.

本実施形態では、ＩＤ画像登録部１０１によって、第１属性情報が取得されると、ＩＤ画像判定部４０１は、第１顔画像が、装着物画像を含むか否かを判定する（ステップＳ５０１）。また、撮像画像登録部１０２によって、第２属性情報が取得されると、撮像画像判定部４０３は、第２顔画像が装着物画像を含むか否かを判定する（ステップＳ５０２）。その後、ＩＤ画像合成部４０２は、第１顔画像に装着物画像が含まれるか否かを判定する（ステップＳ５０３）。 In the present embodiment, when the first attribute information is acquired by the ID image registration unit 101, the ID image determination unit 401 determines whether or not the first face image includes the attachment image (step S501). .. Further, when the second attribute information is acquired by the captured image registration unit 102, the captured image determination unit 403 determines whether or not the second face image includes the attached object image (step S502). After that, the ID image synthesizing unit 402 determines whether or not the attached object image is included in the first face image (step S503).

第１顔画像に装着物画像が含まれない場合（ステップＳ５０３：Ｎｏ）、ＩＤ画像合成部４０２は、第２顔画像に装着物画像が含まれるか否かを判定する（ステップＳ５０４）。そして、第１顔画像の装着物画像が含まれずかつ第２顔画像に装着物画像が含まれる場合（ステップＳ５０４：Ｙｅｓ）、ＩＤ画像合成部４０２は、第１顔画像に対して、第２顔画像に含まれる装着物画像と一致または類似するテクスチャ画像を合成する（ステップＳ５０５）。そして、ＩＤ画像特徴抽出部４０６は、テクスチャ画像が合成された第１顔画像から第１特徴量を抽出する（ステップＳ５０６）。第１顔画像および第２顔画像が共に装着物画像を含まない場合、ＩＤ画像登録部１０１は、ＩＤカードから、第１特徴量を取得する。また、第１顔画像および第２顔画像が共に装着物画像を含まない場合、撮像画像登録部１０２は、装着物画像が含まれない第２顔画像から第２特徴量を取得する。 When the first face image does not include the attachment image (step S503: No), the ID image synthesizing unit 402 determines whether or not the attachment image is included in the second face image (step S504). Then, when the attachment image of the first face image is not included and the attachment image is included in the second face image (step S504: Yes), the ID image synthesizing unit 402 sets the second face image with respect to the first face image. A texture image that matches or is similar to the attachment image included in the face image is combined (step S505). Then, the ID image feature extraction unit 406 extracts the first feature amount from the first face image in which the texture image is synthesized (step S506). When neither the first face image nor the second face image includes the attached object image, the ID image registration unit 101 acquires the first feature amount from the ID card. When neither the first face image nor the second face image includes the attachment image, the captured image registration unit 102 acquires the second feature amount from the second face image that does not include the attachment image.

一方、第１顔画像に装着物画像が含まれる場合（ステップＳ５０３：Ｙｅｓ）、撮像画像合成部４０４は、第２顔画像に装着物画像が含まれないか否かを判定する（ステップＳ５０７）。第１顔画像に装着物画像が含まれかつ第２顔画像に装着物画像が含まれない場合（ステップＳ５０７：Ｎｏ）、撮像画像合成部４０４は、第２顔画像に対して、第１顔画像に含まれる装着物画像と一致または類似するテクスチャ画像を合成する（ステップＳ５０８）。そして、撮像画像特徴抽出部４０７は、テクスチャ画像が合成された第２顔画像から第２特徴量を抽出する（ステップＳ５０９）。また、第１顔画像および第２顔画像が共に装着物画像を含む場合、ＩＤ画像登録部１０１は、ＩＤカードから、第１特徴量を取得する。また、第１顔画像および第２顔画像が共に装着物画像を含む場合、撮像画像登録部１０２は、装着物画像を含む第２顔画像から第２特徴量を取得する。 On the other hand, when the first face image includes the attachment image (step S503: Yes), the captured image compositing unit 404 determines whether or not the attachment image is included in the second face image (step S507). .. When the first face image includes the attachment image and the second face image does not include the attachment image (step S507: No), the captured image compositing unit 404 refers to the first face with respect to the second face image. A texture image that matches or is similar to the attachment image included in the image is combined (step S508). Then, the captured image feature extraction unit 407 extracts the second feature amount from the second face image in which the texture image is synthesized (step S509). Further, when both the first face image and the second face image include the attached object image, the ID image registration unit 101 acquires the first feature amount from the ID card. When both the first face image and the second face image include the attachment image, the captured image registration unit 102 acquires the second feature amount from the second face image including the attachment image.

その後、類似度算出部１０３は、ＩＤ画像登録部１０１またはＩＤ画像特徴抽出部４０６により抽出された第１特徴量と、撮像画像登録部１０２または撮像画像特徴抽出部４０７により抽出された第２特徴量とを用いて、第１顔画像と第２顔画像との類似度を算出する（ステップＳ２０７）。 After that, the similarity calculation unit 103 includes a first feature amount extracted by the ID image registration unit 101 or the ID image feature extraction unit 406, and a second feature extracted by the captured image registration unit 102 or the captured image feature extraction unit 407. The degree of similarity between the first face image and the second face image is calculated using the amount (step S207).

このように、第２の実施形態にかかる本人照合システムによれば、第１顔画像および第２顔画像の一方が、照合対象人物の顔に対する装着物の画像を含む場合、第１顔画像および第２顔画像のうち、装着物の画像が検出されなかった顔画像に対して、装着物の画像を合成することにより、第１顔画像と第２顔画像との照合率を上げることができるので、人物の入退出の管理を効率的に行うことができる。 As described above, according to the person matching system according to the second embodiment, when one of the first face image and the second face image includes an image of an attachment to the face of the person to be matched, the first face image and the second face image and the second face image are included. By synthesizing the image of the attached object with the face image in which the image of the attached object is not detected among the second face images, the collation rate between the first face image and the second face image can be increased. Therefore, it is possible to efficiently manage the entry and exit of a person.

（第３の実施形態）
本実施形態は、第１顔画像から、照合対象人物の属性を示す第３属性情報を取得し、ＩＤカードから取得した第１属性情報と、第１顔画像から取得した第３属性情報とが異なる場合、第１属性情報と第３属性情報のうち信頼度が高い属性情報が所定条件を満たすか否かを判断する例である。以下の説明では、上述の実施形態と同様の構成については説明を省略する。 (Third Embodiment)
In the present embodiment, the third attribute information indicating the attribute of the person to be collated is acquired from the first face image, the first attribute information acquired from the ID card, and the third attribute information acquired from the first face image are obtained. If they are different, this is an example of determining whether or not the attribute information having high reliability among the first attribute information and the third attribute information satisfies a predetermined condition. In the following description, description of the same configuration as that of the above-described embodiment will be omitted.

図６は、第３の実施形態にかかる本人照合システムの構成の一例を示す図である。図６に示すように、本実施形態にかかる本人照合システムは、ＩＤ画像登録部１０１、撮像画像登録部１０２、類似度算出部１０３、正規化部１０４、補正部１０５、照合部１０６、出力部１０７、ＩＤ画像判定部４０１、ＩＤ画像合成部４０２、撮像画像判定部４０３、撮像画像合成部４０４、テクスチャデータベース４０５、ＩＤ画像特徴抽出部４０６、および撮像画像特徴抽出部４０７に加えて、ＩＤ画像属性算出部６０１を有する。 FIG. 6 is a diagram showing an example of the configuration of the personal verification system according to the third embodiment. As shown in FIG. 6, the personal verification system according to the present embodiment includes an ID image registration unit 101, an captured image registration unit 102, a similarity calculation unit 103, a normalization unit 104, a correction unit 105, a collation unit 106, and an output unit. 107, ID image determination unit 401, ID image composition unit 402, image capture image determination unit 403, image capture image composition unit 404, texture database 405, ID image feature extraction unit 406, and image capture image feature extraction unit 407, as well as an ID image It has an attribute calculation unit 601.

ＩＤ画像属性算出部６０１は、第１顔画像から、照合対象人物の属性を示す第３属性情報を取得する。本実施形態では、ＩＤ画像属性算出部６０１は、線形回帰等の回帰分析によって、第１顔画像から検出した検出領域の輝度値または第１顔画像における目や鼻等の器官の位置関係に基づいて、照合対象人物の第３属性情報を推定する。 The ID image attribute calculation unit 601 acquires the third attribute information indicating the attribute of the collation target person from the first face image. In the present embodiment, the ID image attribute calculation unit 601 is based on the brightness value of the detection region detected from the first face image or the positional relationship of organs such as eyes and nose in the first face image by regression analysis such as linear regression. The third attribute information of the collation target person is estimated.

補正部１０５は、第１属性情報と第３属性情報とが一致する場合、第１属性情報が所定条件を満たすか否かを判断し、第１属性情報が所定条件を満たす場合、類似度算出部１０３により算出される類似度をシフトする。 The correction unit 105 determines whether or not the first attribute information satisfies the predetermined condition when the first attribute information and the third attribute information match, and calculates the similarity when the first attribute information satisfies the predetermined condition. The similarity calculated by unit 103 is shifted.

一方、補正部１０５は、第１属性情報と第３属性情報とが一致しない場合、第１属性情報と第３属性情報のうち信頼度が高い属性情報が所定条件を満たすか否かを判断し、当該属性情報が所定条件を満たす場合に、類似度算出部１０３により算出される類似度をシフトする。これにより、信頼度が高い属性情報が所定条件を満たした場合に、類似度が補正され、第１顔画像と第２顔画像との照合率を上げることができるので、人物の入退出の管理を効率的に行うことができる。ここで、第１属性情報の信頼度は、第１属性情報を、浮動小数点数で表されたスコアに変換し、当該スコアと第１属性情報が信頼できるか否かを判定する所定閾値との差分の大小に基づいて、決定するものとする。所定閾値は、第１属性情報の信頼度を表すスコアと第１属性情報のグランドトゥルースとに基づいて決定する。 On the other hand, when the first attribute information and the third attribute information do not match, the correction unit 105 determines whether or not the highly reliable attribute information of the first attribute information and the third attribute information satisfies a predetermined condition. , When the attribute information satisfies a predetermined condition, the similarity calculated by the similarity calculation unit 103 is shifted. As a result, when the attribute information with high reliability satisfies the predetermined condition, the similarity is corrected and the collation rate between the first face image and the second face image can be increased, so that the entry / exit management of the person can be managed. Can be done efficiently. Here, the reliability of the first attribute information is a predetermined threshold value for converting the first attribute information into a score represented by a floating point number and determining whether or not the score and the first attribute information are reliable. It shall be decided based on the magnitude of the difference. The predetermined threshold value is determined based on the score representing the reliability of the first attribute information and the grand truth of the first attribute information.

また、正規化部１０４は、第１属性情報と第３属性情報とが一致しない場合、第１属性情報と第３属性情報のうち信頼度が高い属性情報が示す属性を有する過去の照合対象人物の類似度の分布が、当該信頼度が高い属性情報が示す属性について予め設定された所定分布に近づく規則（修正量）を求めるものとする。 Further, when the first attribute information and the third attribute information do not match, the normalization unit 104 has a past collation target person having an attribute indicated by the highly reliable attribute information among the first attribute information and the third attribute information. It is assumed that a rule (correction amount) for which the distribution of the degree of similarity of the above approaches a predetermined distribution set in advance for the attribute indicated by the attribute information having high reliability is obtained.

このように、第３の実施形態にかかる本人照合システムによれば、信頼度が高い属性情報が所定条件を満たした場合に、類似度が補正され、第１顔画像と第２顔画像との照合率を上げることができるので、人物の入退出の管理を効率的に行うことができる。 As described above, according to the personal verification system according to the third embodiment, when the highly reliable attribute information satisfies the predetermined condition, the similarity is corrected, and the first face image and the second face image are combined. Since the collation rate can be increased, it is possible to efficiently manage the entry and exit of a person.

以上説明したとおり、第１から第３の実施形態によれば、照合対象人物の属性に応じた照合方法を事前に登録しておくことを必要としないので、本人照合システムの記憶容量を抑えたまま、照合対象人物の照合処理の照合率を上げることができる。 As described above, according to the first to third embodiments, it is not necessary to register the collation method according to the attribute of the collation target person in advance, so that the storage capacity of the personal verification system is suppressed. As it is, the collation rate of the collation process of the collation target person can be increased.

なお、本実施形態の本人照合システムで実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供されるが、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成しても良い。 The program executed by the personal identification system of the present embodiment is provided by being incorporated in a ROM or the like in advance, but is provided as a file in an installable format or an executable format, such as a CD-ROM, a flexible disk (FD), or a flexible disk (FD). It may be configured to be recorded and provided on a computer-readable recording medium such as a CD-R or a DVD (Digital Versatile Disk).

さらに、本実施形態の本人照合システムで実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の本人照合システムで実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。 Further, the program executed by the personal identification system of the present embodiment may be stored on a computer connected to a network such as the Internet and provided by downloading via the network. Further, the program executed by the personal identification system of the present embodiment may be configured to be provided or distributed via a network such as the Internet.

本実施形態の本人照合システムで実行されるプログラムは、上述した各部（類似度算出部１０３、正規化部１０４、補正部１０５、照合部１０６、出力部１０７、ＩＤ画像判定部４０１、ＩＤ画像合成部４０２、撮像画像判定部４０３、撮像画像合成部４０４、テクスチャデータベース４０５、ＩＤ画像特徴抽出部４０６、撮像画像特徴抽出部４０７、およびＩＤ画像属性算出部６０１）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（Central Processing Unit）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、類似度算出部１０３、正規化部１０４、補正部１０５、照合部１０６、出力部１０７、ＩＤ画像判定部４０１、ＩＤ画像合成部４０２、撮像画像判定部４０３、撮像画像合成部４０４、テクスチャデータベース４０５、ＩＤ画像特徴抽出部４０６、撮像画像特徴抽出部４０７、およびＩＤ画像属性算出部６０１が主記憶装置上に生成されるようになっている。 The program executed by the personal verification system of the present embodiment includes the above-mentioned units (similarity calculation unit 103, normalization unit 104, correction unit 105, collation unit 106, output unit 107, ID image determination unit 401, and ID image synthesis. It has a module configuration including a unit 402, an image capture image determination unit 403, an image image synthesis unit 404, a texture database 405, an ID image feature extraction unit 406, an image image feature extraction unit 407, and an ID image attribute calculation unit 601). As actual hardware, when the CPU (Central Processing Unit) reads the program from the ROM and executes it, each of the above parts is loaded on the main memory, and the similarity calculation unit 103, the normalization unit 104, the correction unit 105, and the like. Collation unit 106, output unit 107, ID image determination unit 401, ID image composition unit 402, image capture image determination unit 403, image capture image composition unit 404, texture database 405, ID image feature extraction unit 406, image capture image feature extraction unit 407, And the ID image attribute calculation unit 601 is generated on the main storage device.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although some embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.

１０１ＩＤ画像登録部
１０２撮像画像登録部
１０３類似度算出部
１０４正規化部
１０５補正部
１０６照合部
１０７出力部
４０１ＩＤ画像判定部
４０２ＩＤ画像合成部
４０３撮像画像判定部
４０４撮像画像合成部
４０５テクスチャデータベース
４０６ＩＤ画像特徴抽出部
４０７撮像画像特徴抽出部
６０１ＩＤ画像属性算出部 101 ID image registration unit 102 Captured image registration unit 103 Similarity calculation unit 104 Normalization unit 105 Correction unit 106 Matching unit 107 Output unit 401 ID image judgment unit 402 ID image composition unit 403 Captured image judgment unit 404 Captured image composition unit 405 Texture Database 406 ID image feature extraction unit 407 Captured image feature extraction unit 601 ID image attribute calculation unit

Claims

所定位置を通過する照合対象人物の顔を撮像可能に設けられる撮像部と、
記憶媒体から、前記所定位置を通過する照合対象人物の第１顔画像と、前記照合対象人物の属性を示す第１属性情報と、前記第１顔画像から抽出した第１特徴量と、を取得する取得部と、
前記第１特徴量と、前記撮像部によって前記照合対象人物の顔を撮像して得られる第２顔画像の第２特徴量とに基づいて、前記第１顔画像と前記第２顔画像の類似度を算出する類似度算出部と、
前記類似度が所定閾値以上であるか否かに基づいて、前記第１顔画像と前記第２顔画像とを照合する照合処理を実行する照合部と、
前記第１属性情報、または前記第２顔画像に基づく前記照合対象人物の属性を示す第２属性情報が、所定条件を満たす場合、前記第１顔画像と前記第２顔画像の照合率が高くなるように、前記第１顔画像と前記第２顔画像の前記類似度を予め設定された値だけシフトする補正部と、
を備えた本人照合システム。 An imaging unit provided so as to be able to image the face of a person to be collated passing through a predetermined position,
From the storage medium, the first face image of the collation target person passing through the predetermined position, the first attribute information indicating the attributes of the collation target person, and the first feature amount extracted from the first face image are acquired. Acquisition department and
Similarity between the first face image and the second face image based on the first feature amount and the second feature amount of the second face image obtained by imaging the face of the collation target person by the imaging unit. Similarity calculation unit that calculates the degree and
A collation unit that executes a collation process for collating the first face image with the second face image based on whether or not the similarity is equal to or higher than a predetermined threshold value.
When the first attribute information or the second attribute information indicating the attribute of the collation target person based on the second face image satisfies a predetermined condition, the collation rate between the first face image and the second face image is high. A correction unit that shifts the similarity between the first face image and the second face image by a preset value, and
Personal verification system equipped with.

所定位置を通過する照合対象人物の顔を撮像可能に設けられる撮像部と、
記憶媒体から、前記所定位置を通過する照合対象人物の第１顔画像と、前記照合対象人物の属性を示す第１属性情報と、前記第１顔画像から抽出した第１特徴量と、を取得する取得部と、
前記第１特徴量と、前記撮像部によって前記照合対象人物の顔を撮像して得られる第２顔画像の第２特徴量とに基づいて、前記第１顔画像と前記第２顔画像の類似度を算出する類似度算出部と、
前記類似度が所定閾値以上であるか否かに基づいて、前記第１顔画像と前記第２顔画像とを照合する照合処理を実行する照合部と、
前記第１属性情報、または前記第２顔画像に基づく前記照合対象人物の属性を示す第２属性情報が、所定条件を満たす場合、前記第１顔画像と前記第２顔画像の照合率が高くなるように、前記第１顔画像と前記第２顔画像の前記類似度を予め設定された値だけシフトする補正部と、
前記第１属性情報または前記第２属性情報が示す属性を有する過去の前記照合対象人物の前記類似度の分布が、前記第１属性情報または前記第２属性情報が示す属性について予め設定された分布に近づく規則を求め、当該規則に従って、前記類似度を正規化する正規化部と、
を備える、本人照合システム。 An imaging unit provided so as to be able to image the face of a person to be collated passing through a predetermined position,
From the storage medium, the first face image of the collation target person passing through the predetermined position, the first attribute information indicating the attributes of the collation target person, and the first feature amount extracted from the first face image are acquired. Acquisition department and
Similarity between the first face image and the second face image based on the first feature amount and the second feature amount of the second face image obtained by imaging the face of the collation target person by the imaging unit. Similarity calculation unit that calculates the degree and
A collation unit that executes a collation process for collating the first face image with the second face image based on whether or not the similarity is equal to or higher than a predetermined threshold value.
When the first attribute information or the second attribute information indicating the attribute of the collation target person based on the second face image satisfies a predetermined condition, the collation rate between the first face image and the second face image is high. A correction unit that shifts the similarity between the first face image and the second face image by a preset value, and
The distribution of the similarity of the past collation target person having the attribute indicated by the first attribute information or the second attribute information is a preset distribution for the attribute indicated by the first attribute information or the second attribute information. A normalization unit that finds a rule that approaches, and normalizes the similarity according to the rule ,
A personal verification system equipped with.

所定位置を通過する照合対象人物の顔を撮像可能に設けられる撮像部と、
記憶媒体から、前記所定位置を通過する照合対象人物の第１顔画像と、前記照合対象人物の属性を示す第１属性情報と、前記第１顔画像から抽出した第１特徴量と、を取得する取得部と、
前記第１特徴量と、前記撮像部によって前記照合対象人物の顔を撮像して得られる第２顔画像の第２特徴量とに基づいて、前記第１顔画像と前記第２顔画像の類似度を算出する類似度算出部と、
前記類似度が所定閾値以上であるか否かに基づいて、前記第１顔画像と前記第２顔画像とを照合する照合処理を実行する照合部と、
前記第１属性情報、または前記第２顔画像に基づく前記照合対象人物の属性を示す第２属性情報が、所定条件を満たす場合、前記第１顔画像と前記第２顔画像の照合率が高くなるように、前記第１顔画像と前記第２顔画像の前記類似度を予め設定された値だけシフトする補正部と、を備え、
前記取得部は、前記第１顔画像から、前記照合対象人物の属性を示す第３属性情報を取得し、
前記補正部は、前記第１属性情報と前記第３属性情報とが異なる場合、前記第１属性情報および前記第２属性情報のうち信頼度が高い属性情報が前記所定条件を満たすか否かを判断する、本人照合システム。 An imaging unit provided so as to be able to image the face of a person to be collated passing through a predetermined position,
From the storage medium, the first face image of the collation target person passing through the predetermined position, the first attribute information indicating the attributes of the collation target person, and the first feature amount extracted from the first face image are acquired. Acquisition department and
Similarity between the first face image and the second face image based on the first feature amount and the second feature amount of the second face image obtained by imaging the face of the collation target person by the imaging unit. Similarity calculation unit that calculates the degree and
A collation unit that executes a collation process for collating the first face image with the second face image based on whether or not the similarity is equal to or higher than a predetermined threshold value.
When the first attribute information or the second attribute information indicating the attribute of the collation target person based on the second face image satisfies a predetermined condition, the collation rate between the first face image and the second face image is high. A correction unit that shifts the similarity between the first face image and the second face image by a preset value is provided.
The acquisition unit acquires the third attribute information indicating the attribute of the collation target person from the first face image, and obtains the third attribute information.
When the first attribute information and the third attribute information are different, the correction unit determines whether or not the highly reliable attribute information of the first attribute information and the second attribute information satisfies the predetermined condition. to determine, personal identification system.