JP4945526B2 - Traffic control device - Google Patents

Traffic control device Download PDF

Info

Publication number
JP4945526B2
JP4945526B2 JP2008193988A JP2008193988A JP4945526B2 JP 4945526 B2 JP4945526 B2 JP 4945526B2 JP 2008193988 A JP2008193988 A JP 2008193988A JP 2008193988 A JP2008193988 A JP 2008193988A JP 4945526 B2 JP4945526 B2 JP 4945526B2
Authority
JP
Japan
Prior art keywords
recognition
unit
input
face
registration information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008193988A
Other languages
Japanese (ja)
Other versions
JP2009002150A (en
Inventor
浩慶 土橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2008193988A priority Critical patent/JP4945526B2/en
Publication of JP2009002150A publication Critical patent/JP2009002150A/en
Application granted granted Critical
Publication of JP4945526B2 publication Critical patent/JP4945526B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Input (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)
  • Lock And Its Accessories (AREA)

Description

本発明は、たとえば、セキュリティ管理などにおいて人物の顔画像を認識する顔画像認識装置を用いて通行者の通行を制御する通行制御装置に関する。   The present invention relates to a traffic control device that controls a passerby's traffic using a face image recognition device that recognizes a human face image in security management, for example.

従来、セキュリティ管理などにおいて人物の顔画像を認識する顔画像認識装置にあっては、たとえば、特開２００１−５８３６号公報に開示されているように、認識対象者の顔画像を入力するとともに、認識対象者が自己の識別情報（ＩＤ番号など）を入力することにより、あらかじめ認識対象者の識別情報に対応させて登録されている基準の特徴情報から対応する特徴情報を特定し、入力された顔画像から抽出した特徴情報と照合することで、認識対象者の顔画像を認識するようになっている。
このように、従来の顔画像認識装置は、認識対象者が自己の識別情報を入力することで、登録情報（特徴情報）を特定する方法が採用されていた。 Conventionally, in a face image recognition device that recognizes a person's face image in security management or the like, for example, as disclosed in Japanese Patent Laid-Open No. 2001-5836, a face image of a person to be recognized is input, When the recognition target person inputs his / her identification information (ID number, etc.), the corresponding feature information is identified and input from the reference feature information registered in advance corresponding to the identification information of the recognition target person. The face image of the person to be recognized is recognized by collating with feature information extracted from the face image.
As described above, the conventional face image recognition apparatus employs a method of identifying registration information (feature information) by allowing the recognition target person to input his / her identification information.

特開２００１−５８３６号公報に開示されているように、認識対象者の識別情報（ＩＤ番号など）を入力するキー入力手段は、キーボードやカードリーダであり、たとえば、キーボードの場合はパーソナルコンピュータを示している。また、認識対象者の識別情報を入力した後に登録情報を選択しており、認識対象者の識別情報入力から認識結果を出力するまでの時間の短縮化については実現されていない。
特開２００１−５８３６号公報 As disclosed in Japanese Patent Laid-Open No. 2001-5836, key input means for inputting identification information (ID number or the like) of a person to be recognized is a keyboard or a card reader. For example, in the case of a keyboard, a personal computer is used. Show. In addition, registration information is selected after the identification information of the recognition target person is input, and shortening of the time from the input of the identification information of the recognition target person to the output of the recognition result is not realized.
JP 2001-5836 A

本発明は、顔画像を認識できなかった場合の利便性が向上する通行制御装置を提供することを目的とする。   An object of the present invention is to provide a traffic control device that improves convenience when a face image cannot be recognized.

この発明の通行制御装置は、ドアを開閉制御するものにおいて、認識対象者の少なくとも顔を含む顔画像を入力する画像入力手段と、前記画像入力手段により入力された顔画像から前記認識対象者の顔の特徴量を抽出する特徴量抽出手段と、行先の識別情報に対応する登録者の顔の特徴量を含む登録情報を記憶する特徴量登録手段と、前記認識対象者が行先の識別情報を入力するための入力手段と、この入力手段により入力された行先の識別情報に対応づけて前記特徴量登録手段が記憶している登録者の顔の特徴量と、前記特徴量抽出手段により抽出された前記認識対象者の顔の特徴量とを照合する認識手段と、この認識手段により前記認識対象者の顔の特徴量と前記登録者の顔の特徴量とが同定された場合、前記ドアを開状態にし、前記認識対象者の顔の特徴量と前記登録者の顔の特徴量とが同定されなかった場合、前記ドアを閉状態にするドア制御手段と、前記認識対象者の顔の特徴量と前記登録者の顔の特徴量とが同定されなかった場合、前記画像入力手段により入力された前記認識対象者の顔画像を記録する画像記録手段とを有する。 Passage control device of the present invention is a one that controls the opening and closing of the door, and an image input means for inputting a face image containing at least the face of the person to be recognized, from the face image input by said image input means of the recognized person a feature amount extracting section which extracts a feature amount of the face, a feature amount registration unit that stores registration information containing a characteristic parameter of a registrant of a face corresponding to the row destination identification information, the recognition target person destination identification information input means for inputting a face feature amounts registered the feature amount registration section in association with the destination of the identification information entered is stored's by the input means, extracted by the feature extracting unit Recognizing means for comparing the recognition target person's facial feature value, and when the recognition means identifies the recognition target person's facial feature value and the registrant's facial feature value, the door Open the When the characteristic amount of the face feature amount and the registrant of the face of the subject and has not been identified, and door control means for the door in the closed state, the feature amount of the face of the recognized person and of the registrant And an image recording unit that records the face image of the person to be recognized input by the image input unit when the facial feature amount is not identified .

本発明によれば、顔画像を認識できなかった際の利便性が向上する通行制御装置を提供できる。   According to the present invention, it is possible to provide a traffic control device that improves convenience when a face image cannot be recognized.

以下、本発明の実施の形態について図面を参照して説明する。
まず、第１の実施の形態について説明する。
図１は、第１の実施の形態に係る顔画像認識装置の構成を概略的に示すものである。この顔画像認識装置は、認識対象者１００の顔画像（少なくとも顔を含んでいる画像）を撮像して入力する画像入力手段としてのカメラ１０１、カメラ１０１の右上方あるいは左上方から認識対象者１００の少なくとも顔に向けて一定の照度で光を照射する第１の照明手段としての第１の照明部１０２、カメラ１０１の下方から認識対象者１００の少なくとも顔に向けて一定の照度で光を照射する第２の照明手段としての第２の照明部１０３、認識対象者１００の識別情報としてのＩＤ番号（暗証番号でもよい）を入力するキー入力手段としてのテンキー部１０４、および、カメラ１０１から入力された顔画像およびテンキー部１０４から入力されたＩＤ番号を処理して顔画像の認識処理などを行なう処理部１０５から構成されている。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
First, the first embodiment will be described.
FIG. 1 schematically shows a configuration of a face image recognition apparatus according to the first embodiment. The face image recognition apparatus includes a camera 101 as an image input unit that captures and inputs a face image (an image including at least a face) of the recognition target person 100, and the recognition target person 100 from the upper right or upper left of the camera 101. First illumination unit 102 as a first illumination unit that emits light at a constant illuminance toward at least the face of the light, and irradiates light at a constant illuminance toward at least the face of the recognition target person 100 from below the camera 101 The second illumination unit 103 as the second illumination unit, the numeric keypad unit 104 as the key input unit for inputting the ID number (which may be a personal identification number) as the identification information of the person 100 to be recognized, and the camera 101 The processing unit 105 is configured to process the face image and the ID number input from the numeric keypad unit 104 to perform face image recognition processing and the like.

カメラ１０１は、認識対象者１００の顔画像を撮像して入力するものであり、たとえば、ＣＣＤセンサなどの撮像素子を用いたテレビジョンカメラから構成されている。
第１の照明部１０２は、カメラ１０１の右上方あるいは左上方から認識対象者１００の少なくとも顔に向けて一定の照度で光を照射する蛍光灯などの照明器具である。図２（ａ）（ｂ）に示すように、第１の照明部１０２の光軸とカメラ１０１の光軸とのなす角度が４５度で設置されているが、たとえば、３０度以下のような条件で設置されていてもよい。 The camera 101 captures and inputs a face image of the person 100 to be recognized, and is composed of, for example, a television camera using an image sensor such as a CCD sensor.
The first lighting unit 102 is a lighting device such as a fluorescent lamp that emits light at a constant illuminance toward at least the face of the recognition target person 100 from the upper right or upper left of the camera 101. As shown in FIGS. 2A and 2B, the angle formed by the optical axis of the first illumination unit 102 and the optical axis of the camera 101 is set at 45 degrees, for example, 30 degrees or less. It may be installed under conditions.

すなわち、認識対象者１００の顔に向けて直接光を照射することで、図３に示すように、顔の部位（鼻や目など）による影を顔の片側半分（図中の斜線部分１００ａ）に作っている。また、直接光ではなく、拡散光や間接光であっても、顔の片側半分に影が作れていれば、その効果は何ら変わりない。   That is, by directly irradiating the face of the person 100 to be recognized with light directly, as shown in FIG. I am making it. Even if it is diffuse light or indirect light instead of direct light, its effect will not change as long as a shadow is created on one half of the face.

第２の照明部１０３は、カメラ１０１の下方から認識対象者１００の少なくとも顔に向けて一定の照度で光を照射する蛍光灯などの照明器具である。図４に示すように、第１の照明部１０２の光軸とカメラ１０１の光軸とのなす角度が４５度で設置されているが、たとえば、３０度以上６０度以下のような条件で設置されていてもよい。すなわち、認識対象者１００の顔に向けて直接光が照射されていればよい。   The second lighting unit 103 is a lighting device such as a fluorescent lamp that irradiates light at a constant illuminance toward at least the face of the recognition target person 100 from below the camera 101. As shown in FIG. 4, the angle formed by the optical axis of the first illumination unit 102 and the optical axis of the camera 101 is set at 45 degrees. For example, the angle is set between 30 degrees and 60 degrees. May be. That is, it is only necessary that the light is directly directed toward the face of the person 100 to be recognized.

また、直接光ではなく、拡散光や間接光であってもよいが、第１の照明部１０２と第２の照明部１０３とは同一の種類の光でなくてはならない。さらに、第１の照明部１０２の照度１Ａと第２の照明部１０３の照度２Ａとの関係は、下記式（１）を満たさなければならない。
１Ａ≧２Ａ （１）
これら２つの照明部（第１の照明部１０２、第２の照明部１０３）によって、特に第１の照明部１０２によって、認識対象者１００の顔画像の片側半分に影が作られることになるが、この影が顔の個人ごとに凹凸情報をよく表現しており、個人差が強調され、認識率が向上する。 Further, instead of direct light, diffuse light or indirect light may be used, but the first illumination unit 102 and the second illumination unit 103 must be the same type of light. Furthermore, the relationship between the illuminance 1A of the first illumination unit 102 and the illuminance 2A of the second illumination unit 103 must satisfy the following formula (1).
1A ≧ 2A (1)
Although these two illumination units (the first illumination unit 102 and the second illumination unit 103), particularly the first illumination unit 102, a shadow is created on one half of the face image of the person 100 to be recognized. This shadow expresses unevenness information well for each individual face, enhancing individual differences and improving the recognition rate.

また、第２の照明部１０３によって、第１の照明部１０２が認識対象者１００の顔に影を作りすぎないように、その影響を和らげている。すなわち、第１の照明部１０２のみでは、認識時と登録時の認識対象者１００とカメラ１０１との距離の違いにより、顔の影の作られ方が異なるが、第２の照明部１０３を用いることにより、その微妙な違いによる認識率の低下が軽減される。   In addition, the influence of the second illumination unit 103 is reduced so that the first illumination unit 102 does not overshadow the face of the person 100 to be recognized. That is, only the first illumination unit 102 uses the second illumination unit 103, although the shadow of the face is created differently depending on the distance between the recognition target person 100 and the camera 101 at the time of recognition and registration. As a result, a decrease in recognition rate due to the subtle difference is reduced.

また、認識時の人間の顔と登録時の人間の顔とが、カメラ１０１との距離の違いや左右方向のずれが発生しないように、人間の立ち位置を固定したり、登録時の顔画像の大きさを丸印などで表示させるガイダンス機能を採用する場合には、顔の影の作られ形が異ならないため、第２の照明部１０３を省略してもよい。   Further, the human face at the time of registration and the human face at the time of registration are fixed so that a difference in distance from the camera 101 and a horizontal shift do not occur. In the case of adopting a guidance function for displaying the size of the face with a circle or the like, the second lighting unit 103 may be omitted because the shape of the shadow of the face is not different.

さらに、認識対象者１００の顔に照射する第１の照明部１０２の照度１Ａと第２の照明部１０３の照度２Ａとの合計値をＢルックス（ｌｘ）、第１の照明部１０２と第２の照明部１０３を用いたときの認識対象者１００の顔に照射している外光などの照度をＣ（ｌｘ）とすると、
１Ａ＋２Ａ＝Ｂ＞Ｃ （２）
の関係が成り立てば、たとえば、認識対象者１００の後方上にある蛍光灯などの天井照明の影響を軽減できる。
また、第１の照明部１０２と第２の照明部１０３の合計した照度Ｂ（ｌｘ）は、入力される顔画像が飽和状態にならないような範囲で規定される。 Furthermore, the total value of the illuminance 1A of the first illumination unit 102 and the illuminance 2A of the second illumination unit 103 that irradiates the face of the person 100 to be recognized is B lux (lx), and the first illumination unit 102 and the second illumination unit 102 If the illuminance such as external light applied to the face of the person 100 to be recognized when using the illumination unit 103 is C (lx),
1A + 2A = B> C (2)
If the above relationship is established, for example, the influence of ceiling lighting such as a fluorescent lamp located behind the recognition target person 100 can be reduced.
Further, the total illuminance B (lx) of the first illumination unit 102 and the second illumination unit 103 is defined in a range in which the input face image is not saturated.

なお、本実施の形態では、第１の照明部１０２および第２の照明部１０３は、常時点灯していることを想定しているが、認識対象者１００が本装置に近づいてきたかどうかを感知し、近づいた場合のみ第１の照明部１０２および第２の照明部１０３を点灯させてもよい。
この場合には、たとえば、赤外線センサなどの人間感知器を別途設けることにより実現可能であり、また、カメラ１０１からの入力画像を用いても実現可能である。 In the present embodiment, it is assumed that the first lighting unit 102 and the second lighting unit 103 are always lit, but it is detected whether the recognition target person 100 is approaching the apparatus. However, the first illumination unit 102 and the second illumination unit 103 may be turned on only when approaching.
In this case, for example, it can be realized by separately providing a human sensor such as an infrared sensor, or can be realized by using an input image from the camera 101.

次に、処理部１０５について説明する。処理部１０５は、たとえば、コンピュータによって実現可能であり、機能を動作させるために、ハードディスク、ＣＤ−ＲＯＭ、ＭＤ、または、ＦＤなどの記憶媒体に、この機能を実現するためのプログラムを記憶させておく。   Next, the processing unit 105 will be described. The processing unit 105 can be realized by, for example, a computer, and in order to operate the function, a program for realizing the function is stored in a storage medium such as a hard disk, a CD-ROM, an MD, or an FD. deep.

なお、以下の説明では、画像入力データ、抽出した特徴量、部分空間、部分空間を構成するための固有ベクトル、相関行列、登録の時刻、日時、場所などの状況情報、暗証番号、ＩＤ番号などの個人情報の各情報が登場してくる。そして、認識データというときは、部分空間、または、部分空間を構成するための固有ベクトルを含み、登録情報というときは、画像入力データ、抽出した特徴量、部分空間、部分空間を構成するための固有ベクトル、相関行列、状況情報、個人情報を含んでいる。したがって、認識データは登録情報に含まれる。   In the following description, image input data, extracted feature quantities, subspaces, eigenvectors for constructing the subspace, correlation matrix, registration time, date and time, status information such as location, password, ID number, etc. Each piece of personal information appears. The recognition data includes a subspace or an eigenvector for configuring the subspace, and the registration information includes the image input data, the extracted feature amount, the subspace, and the eigenvector for configuring the subspace. , Correlation matrix, situation information, personal information. Accordingly, the recognition data is included in the registration information.

以下、処理部１０５の具体的な構成例について、図１を参照して詳細に説明する。処理部１０５は、画像入力手段としての画像入力部１０６、特徴量抽出手段としての特徴量抽出部１０７、認識手段としての認識部１０８、認識対象者１００のＩＤ番号に対応させて基準の特徴量があらかじめ登録（記憶）されている特徴量登録手段としての登録情報保持部１０９、認識部１０８の認識率が所定値以下に低下したとき、そのとき入力された顔画像から得られた特徴量を新たな基準の特徴量として登録情報保持部１０９へ追加登録する特徴量追加手段としての登録情報追加部１１０、および、テンキー部１０４から入力されたＩＤ番号を処理する番号入力処理部１１１から構成されている。   Hereinafter, a specific configuration example of the processing unit 105 will be described in detail with reference to FIG. The processing unit 105 includes an image input unit 106 as an image input unit, a feature amount extraction unit 107 as a feature amount extraction unit, a recognition unit 108 as a recognition unit, and a reference feature amount corresponding to the ID number of the person 100 to be recognized. When the recognition rate of the registration information holding unit 109 and the recognition unit 108 as the feature amount registration means registered (stored) in advance is reduced to a predetermined value or less, the feature amount obtained from the face image input at that time is It is composed of a registration information adding unit 110 as a feature amount adding means for additionally registering to the registration information holding unit 109 as a new reference feature amount, and a number input processing unit 111 for processing the ID number input from the numeric keypad unit 104. ing.

画像入力部１０６は、カメラ１０１から顔画像を入力し、Ａ／Ｄ変換してデジタル化した後、特徴量抽出部１０７に送る。
特徴量抽出部１０７は、画像入力部１０６から得られた認識対象者１００の顔画像を用いて、濃淡情報あるいは部分空間情報などの特徴量を抽出するもので、たとえば、図５に示すように、顔領域検出部１０７Ａ、顔部品検出部１０７Ｂ、および、特徴量生成部１０７Ｃからなり、以下、詳細に説明する。 The image input unit 106 inputs a face image from the camera 101, digitizes it by A / D conversion, and sends it to the feature amount extraction unit 107.
The feature amount extraction unit 107 extracts feature amounts such as grayscale information or partial space information using the face image of the recognition target person 100 obtained from the image input unit 106. For example, as shown in FIG. , A face area detection unit 107A, a face part detection unit 107B, and a feature amount generation unit 107C, which will be described in detail below.

顔領域検出部１０７Ａは、カメラ１０１で入力された顔画像から顔の領域を検出する。顔領域検出部１０７Ａにおける顔領域の検出方法は、たとえば、あらかじめ用意されたテンプレートと画像中を移動させながら相関値を求めることにより、最も高い相関値をもった場所を顔領域とする。その他に、固有空間法や部分空間法を利用した顔領域抽出法などの顔領域検出手段でもよい。   The face area detection unit 107 </ b> A detects a face area from the face image input by the camera 101. In the face area detection method in the face area detection unit 107A, for example, a correlation value is obtained while moving in a template and a template prepared in advance, so that the place having the highest correlation value is set as the face area. In addition, face area detection means such as a face area extraction method using an eigenspace method or a subspace method may be used.

顔部品検出部１０７Ｂは、検出された顔領域の部分の中から、目、鼻の位置を検出する。その検出方法は、たとえば、文献（福井和広、山口修：「形状抽出とパターン照合の組合せによる顔特徴点抽出」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−II，Ｎｏ．８，ｐｐ２１７０−２１７７（１９９７））などの方法を用いてよい。   The face part detection unit 107B detects the positions of the eyes and nose from the detected face area. The detection method is described in, for example, literature (Kazuhiro Fukui, Osamu Yamaguchi: “Face feature point extraction by combination of shape extraction and pattern matching”, IEICE Transactions (D), vol. J80-D-II, No. 8, pp2170-2177 (1997)).

特徴量生成部１０７Ｃは、検出された顔部品の位置を基に、顔領域を一定の大きさ、形状に切り出し、その濃淡情報を特徴量として用いる。ここでは、たとえば、ｍピクセル×ｎピクセルの領域の濃淡値をそのまま情報として用い、ｍ×ｎ次元の情報を特徴ベクトルとして用いる。   The feature quantity generation unit 107C cuts the face area into a certain size and shape based on the detected position of the face part, and uses the shading information as the feature quantity. Here, for example, the gray value of an area of m pixels × n pixels is used as information as it is, and m × n-dimensional information is used as a feature vector.

また、認識部１０８で相互部分空間法を用いる場合には、下記に示す手順で特徴量を生成する。なお、相互部分空間法は、たとえば、文献（前田賢一、渡辺貞一：「局所的構造を導入したパターン・マッチング法」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ６８−Ｄ，Ｎｏ．３，ｐｐ３４５−３５２（１９８５））に記載されている公知の認識方法である。   Further, when the mutual subspace method is used in the recognition unit 108, the feature amount is generated by the following procedure. Note that the mutual subspace method is described in, for example, literature (Kenichi Maeda, Sadaichi Watanabe: “Pattern matching method introducing local structure”, IEICE Transactions (D), vol. J68-D, No. 3. , Pp 345-352 (1985)).

認識方法として相互部分空間法を用いるときは、上記ｍ×ｎ次元の情報を特徴ベクトルとして算出した後、特徴ベクトルの相関行列（または、共分散行列）を求め、そのＫ−Ｌ展開による正規直交ベクトルを求めることにより、部分空間を計算する。部分空間は、固有値に対応する固有ベクトルを、固有値の大きな順にｋ個選び、その固有ベクトル集合を用いて表現する。   When the mutual subspace method is used as a recognition method, the above m × n-dimensional information is calculated as a feature vector, a correlation matrix (or covariance matrix) of the feature vector is obtained, and orthonormality is obtained by KL expansion. The subspace is calculated by obtaining a vector. In the subspace, k eigenvectors corresponding to eigenvalues are selected in descending order of eigenvalues, and expressed using the eigenvector set.

本実施の形態では、相関行列Ｃｄを特徴ベクトルから求め、相関行列

Figure 0004945526
In the present embodiment, the correlation matrix Cd is obtained from the feature vector, and the correlation matrix is obtained.
Figure 0004945526

と対角化して、固有ベクトルの行列Φを求める。たとえば、入力画像を特徴量抽出部１０７によって処理して得られた時系列的な顔画像データから特徴ベクトルの相関行列を求め、Ｋ−Ｌ展開による正規直交ベクトルを求めることにより、部分空間を計算する。この部分空間は、人物の同定を行なうための認識辞書として利用する。たとえば、あらかじめ登録しておいて、それを辞書として登録しておけばよい。 And a matrix Φ of eigenvectors is obtained. For example, a partial space is calculated by obtaining a correlation matrix of feature vectors from time-series face image data obtained by processing the input image by the feature quantity extraction unit 107 and obtaining an orthonormal vector by KL expansion. To do. This partial space is used as a recognition dictionary for identifying a person. For example, it may be registered in advance and registered as a dictionary.

また、後で述べるように、部分空間自身を認識を行なうための入力データとしてもよい。したがって、部分空間を算出した結果は、認識部１０８および登録情報保持部１０９に送られる。   Further, as described later, the partial space itself may be used as input data for recognition. Therefore, the result of calculating the partial space is sent to the recognition unit 108 and the registration information holding unit 109.

認識部１０８は、登録情報保持部１０９に蓄えられた認識データ（部分空間）と特徴量抽出部１０７で得られた特徴量（濃淡情報あるいは部分空間情報）とを照合（比較）することにより、カメラ１０１に写っている認識対象者１００が誰であるかを認識、あるいは、該当人物であるかどうかを同定する。人物を認識するためには、どの人物のデータに最も類似しているかを求めればよく、最大類似度をとるデータに対応する人物を認識結果とすればよい。   The recognizing unit 108 collates (compares) the recognition data (partial space) stored in the registered information holding unit 109 with the feature amount (grayscale information or partial space information) obtained by the feature amount extracting unit 107. It recognizes who the recognition target person 100 shown in the camera 101 is, or identifies whether it is a corresponding person. In order to recognize a person, it suffices to determine which person's data is most similar, and the person corresponding to the data having the maximum similarity may be used as the recognition result.

また、カードやＩＤ番号、暗証番号、鍵などを用いて、顔画像による認証を行なう場合には、それぞれの人物のカードや番号などの個人情報に対応する認識データとの類似度を計算し、設定した閾値と比較し、その閾値を越えた場合に、その人物と同定する。   In addition, when performing authentication using a face image using a card, ID number, personal identification number, key, etc., the degree of similarity with recognition data corresponding to personal information such as each person's card or number is calculated, Compared with the set threshold value, if the threshold value is exceeded, the person is identified.

これらカードやＩＤ番号、暗証番号、鍵など入力する手段が必要であるが、たとえば、カードならＩＣカード、ＩＤカード、無線カードなどを用いることで実現できる。ＩＤ番号や暗証番号を用いる場合は、キー入力手段を設ければよい。ＩＤ番号や暗証番号を用いる場合は、後述するテンキー部１０４および番号入力処理部１１１などのキー入力手段を設ければよい。   Means for inputting such a card, an ID number, a personal identification number, a key, and the like are necessary. When an ID number or a password is used, key input means may be provided. When using an ID number or a password, key input means such as a numeric keypad 104 and a number input processing unit 111 described later may be provided.

認識の方法としては、特徴量抽出部１０７の情報を用いる場合は、部分空間法や複合類似度法などを用いる。
ここで、相互部分空間法について説明する。この方法では、あらかじめ蓄えられた登録情報の中の認識データも、入力されるデータも部分空間として表現され、２つの部分空間のなす「角度」を類似度として定義する。ここで入力される部分空間を入力部分空間という。 As a recognition method, when the information of the feature quantity extraction unit 107 is used, a subspace method, a composite similarity method, or the like is used.
Here, the mutual subspace method will be described. In this method, both the recognition data in the registration information stored in advance and the input data are expressed as partial spaces, and the “angle” formed by the two partial spaces is defined as the similarity. The subspace input here is referred to as an input subspace.

入力データ列に対して同様に相関行列Ｃｉｎを求め、

Figure 0004945526
Similarly, a correlation matrix Cin is obtained for the input data string,
Figure 0004945526

と対角化し、固有ベクトルΦｉｎを求める。２つのΦｉｎ、Φｄで表わされる部分空間の部分空間類似度（０．０〜１．０）を求め、それを認識するための類似度とする。 And the eigenvector Φin is obtained. The subspace similarity (0.0 to 1.0) of the subspace represented by two Φin and Φd is obtained and used as the similarity for recognizing it.

認識部１０８は、図６に示すフローチャートのように動作する。まず、認識部１０８は、認識作業を行なうか、同定作業を行なうかによって動作が異なる（ステップＳＴ１）。同定動作を行なう場合は、まず対象とする認識対象者のＩＤ番号を読込む（ステップＳＴ２）。次に、対象とするＩＤ番号に対応した登録情報（部分空間）を登録情報保持部１０９から読出す（ステップＳＴ３）。   The recognition unit 108 operates as in the flowchart shown in FIG. First, the recognition unit 108 operates differently depending on whether recognition work or identification work is performed (step ST1). When performing the identification operation, first, the ID number of the target person to be recognized is read (step ST2). Next, the registration information (partial space) corresponding to the target ID number is read from the registration information holding unit 109 (step ST3).

次に、上述したように、部分空間法などにより認識を行なうため、各登録情報の部分空間と、入力ベクトル（特徴量抽出部１０７からの固有ベクトル）、または、入力部分空間との類似度を計算する（ステップＳＴ４）。次に、その類似度をあらかじめ設定されている閾値と比較し（ステップＳＴ５，ＳＴ６）、同定結果を出力する（ステップＳＴ７）。   Next, as described above, in order to perform recognition using the subspace method, the similarity between the subspace of each registered information and the input vector (eigenvector from the feature quantity extraction unit 107) or the input subspace is calculated. (Step ST4). Next, the similarity is compared with a preset threshold value (steps ST5 and ST6), and the identification result is output (step ST7).

認識作業を行なう場合、認識対象となる登録情報を全て登録情報保持部１０９から読出す（ステップＳＴ８）。そして、それぞれの登録情報との類似度を計算する（ステップＳＴ９）。次に、計算された類似度の中から最大のものを選択し（ステップＳＴ１０）、それを認識結果として出力する（ステップＳＴ１２）。   When performing the recognition work, all registration information to be recognized is read out from the registration information holding unit 109 (step ST8). And the similarity with each registration information is calculated (step ST9). Next, the maximum similarity is selected from the calculated similarities (step ST10), and is output as a recognition result (step ST12).

なお、図６の破線で囲んだステップＳＴ１１のように、最大類似度を閾値判定することによって、認識結果が正しいかどうかを検証することもできる（ステップＳＴ１３）。たとえば、類似度があまりに低い場合には、どの認識対象でもないと判断することもできる。   Note that it is also possible to verify whether the recognition result is correct by determining the maximum similarity as a threshold value as in step ST11 surrounded by a broken line in FIG. 6 (step ST13). For example, when the degree of similarity is too low, it can be determined that it is not any recognition target.

登録情報保持部１０９は、認識対象者を同定するために利用する部分空間（または、相関行列など）や、登録の際の時刻、日時、場所などの状況情報などを蓄積できる。なお、画像入力データや抽出した特徴量などでもよい。
本実施の形態では、部分空間を保持するだけでなく、部分空間を計算するための前段階の相関行列も保持する形態での説明を行なう。
登録情報保持部１０９は、１人の人物、または、あるＩＤ番号に対応して、１つの認識データを保持する。部分空間は、その取得された時間などの付帯情報とともに記憶される。 The registration information holding unit 109 can accumulate a partial space (or correlation matrix or the like) used for identifying a recognition target person, status information such as time, date and time at the time of registration, and the like. Note that image input data, extracted feature amounts, or the like may be used.
In the present embodiment, a description will be given of a mode in which not only a partial space is held but also a correlation matrix in a previous stage for calculating the partial space is held.
The registration information holding unit 109 holds one piece of recognition data corresponding to one person or a certain ID number. The partial space is stored together with accompanying information such as the acquired time.

次に、登録情報追加部１１０について説明する。登録情報追加部１１０は、認識部１０８における認識率が所定値以下に低下した場合、それを検出して、そのとき入力された顔画像から得られる認識データ（特徴量）を新たな認識データ（基準の特徴量）として登録情報保持部１０９に追加登録する処理を行なう。   Next, the registration information adding unit 110 will be described. When the recognition rate in the recognition unit 108 decreases to a predetermined value or less, the registration information adding unit 110 detects that and recognizes the recognition data (feature value) obtained from the face image input at that time as new recognition data ( A process of additionally registering in the registration information holding unit 109 as a reference feature amount) is performed.

すなわち、登録情報追加部１１０は、まず、認識部１０８における認識率が所定値以下に低下したか否か、すなわち、この例では、たとえば、認識部１０８において計算された類似度が判定用基準値よりも低下したことを検出する。次に、登録情報追加部１１０は、計算された類似度が判定用基準値よりも低下したことを検出すると、そのときの特徴量抽出部１０７により抽出された特徴量を新たな基準の特徴量として登録情報保持部１０９に追加登録するものである。   That is, the registration information adding unit 110 first determines whether or not the recognition rate in the recognition unit 108 has decreased to a predetermined value or less, that is, in this example, for example, the similarity calculated in the recognition unit 108 is a reference value for determination. It detects that it has fallen. Next, when the registered information adding unit 110 detects that the calculated similarity is lower than the determination reference value, the feature amount extracted by the feature amount extracting unit 107 at that time is used as a new reference feature amount. Are additionally registered in the registration information holding unit 109.

上記類似度低下の判定用基準値としては、あらかじめ認識データ追加判定用レベルを設定しておき、この認識データ追加判定用レベルと計算された類似度とを比較し、計算された類似度がこの認識データ追加判定用レベルよりも低下した場合に、認識データ（基準の特徴量）を追加する必要があると判定する。   As the reference value for determination of similarity reduction, a recognition data addition determination level is set in advance, the recognition data addition determination level is compared with the calculated similarity, and the calculated similarity is When the level falls below the recognition data addition determination level, it is determined that it is necessary to add recognition data (reference feature amount).

また、上記認識データ追加判定用レベル（Ｌａｄｄ）と認識部１０８における認識用閾値（Ｌｒｅｃ）との関係は、下記式（５）を満たさなければならない。
Ｌａｄｄ≧Ｌｒｅｃ （５）
このように、基準の特徴量を複数保持する理由として、ある１人の人物に対応した複数の部分空間を同時に、認識部１０８に渡して認識を行なうことができ、立ち位置による顔画像の変動や顔自体の変動、たとえば、髪型、眼鏡の有無、髭、化粧度合いなどの変化による類似度の低下を軽減することができるためである。 The relationship between the recognition data addition determination level (Ladd) and the recognition threshold value (Lrec) in the recognition unit 108 must satisfy the following expression (5).
Ladd ≧ Lrec (5)
As described above, as a reason for holding a plurality of reference feature amounts, a plurality of partial spaces corresponding to a single person can be simultaneously transferred to the recognition unit 108 for recognition, and the face image varies depending on the standing position. This is because it is possible to reduce a decrease in similarity due to changes in the face itself, for example, changes in hairstyle, presence or absence of glasses, wrinkles, makeup level, and the like.

次に、テンキー部１０４および番号入力処理部１１１について説明する。
テンキー部１０４は、ＩＤ番号（あるいは、暗証番号など）を用いて顔画像による認証を行なう場合に、それぞれの人物のＩＤ番号などを入力する手段であり、番号入力処理部１１１は、テンキー部１０４により入力されたＩＤ番号を処理する手段である。 Next, the numeric keypad unit 104 and the number input processing unit 111 will be described.
The numeric keypad 104 is a means for inputting the ID number and the like of each person when performing authentication with a face image using an ID number (or a personal identification number). The number input processing unit 111 is a numeric keypad 104. Is a means for processing the ID number input by.

テンキー部１０４は、たとえば、図７（ａ）に示すように、カメラ１０１の右下に配置されており、これにより、ＩＤ番号を入力する人間の手が顔画像の入力の妨げにならないという効果がある。   For example, as shown in FIG. 7A, the numeric keypad 104 is arranged on the lower right side of the camera 101, so that the human hand that inputs the ID number does not interfere with the input of the face image. There is.

なお、テンキー部１０４の配設位置は、図７（ａ）に限らない。たとえば、図７（ｂ）に示すように、カメラ１０１の真下、すなわち、カメラ１０１と第２の照明部１０３との間、あるいは、図７（ｃ）に示すように、第２の照明部１０３の下側、さらには、図７（ｄ）に示すように、第２の照明部１０３の下側に各キーが一列に配設されていても、その効果は何ら変わらない。   The arrangement position of the numeric keypad 104 is not limited to FIG. For example, as shown in FIG. 7B, directly below the camera 101, that is, between the camera 101 and the second illumination unit 103, or as shown in FIG. 7C, the second illumination unit 103. As shown in FIG. 7D and further on the lower side of the second illumination unit 103, the effect does not change at all.

また、図８（ａ）〜（ｄ）は、図７（ａ）〜（ｄ）にモニタなどの表示部１２３を追加した場合の配設位置の関係を示している。図８（ａ）〜（ｄ）に示すように、モニタなどの表示部１２３を配置することで、カメラ１０１にて撮影されている人間の顔画像を表示することが可能となり、さらに、認識していない時間は、何らかの情報を表示することも可能である。   8A to 8D show the relationship of arrangement positions when a display unit 123 such as a monitor is added to FIGS. 7A to 7D. As shown in FIGS. 8A to 8D, by disposing a display unit 123 such as a monitor, it is possible to display a human face image captured by the camera 101, and to recognize the human face image. It is also possible to display some information during times when it is not.

次に、認識対象者１００のＩＤ番号を用いて顔画像による認証を行なう場合について、テンキー部１０４の入力方法および番号入力処理部１１１の処理方法と顔画像の認識方法との関係について詳細に説明する。   Next, in the case of performing authentication using a face image using the ID number of the person to be recognized 100, the relationship between the input method of the numeric keypad 104 and the processing method of the number input processing unit 111 and the recognition method of the face image will be described in detail. To do.

たとえば、人間の顔画像がない場合には、テンキー部１０４により入力されたＩＤ番号を、番号入力処理部１１１において無効とすることで、認識部１０８が動作しないようにしておく。これにより、いたずらや不審者を誤認識することなく、さらに抑制の効果も生じる。   For example, when there is no human face image, the ID number input from the numeric keypad 104 is invalidated in the number input processing unit 111 so that the recognition unit 108 does not operate. Thereby, the effect of suppression is further produced without misrecognizing mischief or a suspicious person.

以下、その場合の具体的な処理について、図９に示すフローチャートを参照して説明する。なお、図９のフローチャートは、主に認識部１０８の処理の流れを示している。   Hereinafter, specific processing in that case will be described with reference to a flowchart shown in FIG. Note that the flowchart of FIG. 9 mainly shows the flow of processing of the recognition unit 108.

テンキー部１０４によりＩＤ番号が入力されると（ステップＳＴ２１）、認識部１０８は、カメラ１０１からの入力画像が存在するか否かを判定する（ステップＳＴ２２）。この判定により入力画像（顔画像）が存在しなければ、認識部１０８は、上記ステップＳＴ２１に戻り、上記動作を繰り返す。すなわち、テンキー部１０４からＩＤ番号が入力されても、カメラ１０１からの入力画像が存在しない場合は、いたずらや誤動作などとみなして、入力されたＩＤ番号を無効とするものである。   When the ID number is input from the numeric keypad 104 (step ST21), the recognition unit 108 determines whether there is an input image from the camera 101 (step ST22). If there is no input image (face image) by this determination, the recognition unit 108 returns to step ST21 and repeats the above operation. That is, even if an ID number is input from the numeric keypad 104, if there is no input image from the camera 101, it is regarded as mischief or malfunction, and the input ID number is invalidated.

さて、ステップＳＴ２２において、入力画像（顔画像）が存在すれば、認識部１０８は、テンキー部１０４からのＩＤ番号は有効とし、そのＩＤ番号に対応した登録情報（部分空間）を登録情報保持部１０９から読出す（ステップＳＴ２３）。次に、認識部１０８は、部分空間法などにより認識を行なうため、各登録情報の部分空間と、入力ベクトル（特徴量抽出部１０７からの固有ベクトル）、または、入力部分空間との類似度を計算する（ステップＳＴ２４）。   In step ST22, if there is an input image (face image), the recognition unit 108 validates the ID number from the numeric keypad unit 104, and registers registration information (partial space) corresponding to the ID number as a registration information holding unit. 109 is read (step ST23). Next, the recognition unit 108 calculates the similarity between each registration information subspace and the input vector (eigenvector from the feature amount extraction unit 107) or the input subspace for recognition by the subspace method or the like. (Step ST24).

次に、認識部１０８は、ステップＳＴ２４で求めた類似度をあらかじめ設定されている閾値と比較する（ステップＳＴ２５，２６）。この比較の結果、［類似度＞閾値］であれば、認識部１０８は、認識結果を出力する（ステップＳＴ２７）。また、［類似度＞閾値］でなければ、認識部１０８は、認識失敗を出力する（ステップＳＴ２８）。   Next, the recognizing unit 108 compares the similarity obtained in step ST24 with a preset threshold value (steps ST25 and ST26). As a result of this comparison, if [similarity> threshold], the recognition unit 108 outputs a recognition result (step ST27). If not [similarity> threshold], the recognizing unit 108 outputs a recognition failure (step ST28).

また、テンキー部１０４にてＩＤ番号が入力され始めたら、人間の顔画像がある場合には、顔画像の入力を開始することで、顔画像の入力時間を短縮することができ、さらに、認識までの時間も短縮することができるため、利用者への心理的な時間短縮効果にもつながる。   Also, when an ID number is started to be input with the numeric keypad 104, if there is a human face image, the input of the face image can be shortened by starting the input of the face image. Time can also be shortened, leading to a psychological time reduction effect for the user.

以下、その場合の具体的な処理について、図１０に示すフローチャートを参照して説明する。なお、図１０のフローチャートは、基本的には図９のフローチャートと同様であるが、異なる点は、ステップＳＴ２２において、入力画像（顔画像）が存在する場合、カメラ１０１からの顔画像の入力（取込み）を開始するステップＳＴ２９が追加された点にあり、その他は図８と同様であるので、説明は省略する。   Hereinafter, specific processing in that case will be described with reference to the flowchart shown in FIG. The flowchart in FIG. 10 is basically the same as the flowchart in FIG. 9 except that when an input image (face image) exists in step ST22, the face image input from the camera 101 ( Step ST29 for starting (acquisition) is added, and the others are the same as in FIG.

さらに、テンキー部１０４の入力において、入力されたＩＤ番号の１桁ごとに、それぞれの人物のＩＤ番号などの登録情報を絞り込んでいき、最終的に特定のＩＤ番号を選択する方法も考えられる。この場合、たとえば、ＩＤ番号が４桁の場合には、４桁目の番号が入力された段階で、登録情報保持部１０９内の登録情報を例えば１／１０程度に絞り込み、さらに、３桁目の番号が入力された段階で、例えば１／１００程度に絞り込む、というように逐次登録情報を絞り込みながら選択していくことで、認識までの時間を短縮することが可能となる。   Furthermore, in the input of the numeric keypad 104, a method of narrowing down registration information such as the ID number of each person for each digit of the input ID number and finally selecting a specific ID number can be considered. In this case, for example, when the ID number is 4 digits, the registration information in the registration information holding unit 109 is narrowed down to, for example, about 1/10 at the stage when the 4th digit number is input, and further the 3rd digit When the number is entered, it is possible to reduce the time until recognition by sequentially selecting the registered information, for example, narrowing down to about 1/100.

以下、その場合の具体的な処理について、図１１に示すフローチャートを参照して説明する。なお、図１１のフローチャートは、主に認識部１０８の処理の流れを示している。   Hereinafter, specific processing in that case will be described with reference to the flowchart shown in FIG. Note that the flowchart of FIG. 11 mainly shows the flow of processing of the recognition unit 108.

テンキー部１０４によりＩＤ番号の４桁目が入力されると（ステップＳＴ３１）、認識部１０８は、カメラ１０１からの入力画像が存在するか否かを判定する（ステップＳＴ３２）。この判定により入力画像（顔画像）が存在しなければ、認識部１０８は、上記ステップＳＴ３１に戻り、上記動作を繰り返す。ステップＳＴ３２において、入力画像（顔画像）が存在すれば、認識部１０８は、まず、テンキー部１０４からのＩＤ番号の４桁目に基づき、例えば、登録情報保持部１０９内の登録情報を１／１０程度に絞り込む。さらに、３桁目が入力された段階で、認識部１０８は、例えば、１／１０程度に絞り込まれた登録情報保持部１０９内の登録情報を１／１００程度に絞り込む。認識部１０８は、上記のような登録情報の絞込み処理を、ＩＤ番号の１桁目が入力されるまで繰り返す（ステップＳＴ３３）。   When the fourth digit of the ID number is input by the numeric keypad 104 (step ST31), the recognition unit 108 determines whether or not an input image from the camera 101 exists (step ST32). If there is no input image (face image) as a result of this determination, the recognition unit 108 returns to step ST31 and repeats the above operation. In step ST32, if there is an input image (face image), the recognition unit 108 first determines the registration information in the registration information holding unit 109 based on the fourth digit of the ID number from the numeric keypad 104, for example. Narrow down to about 10. Further, when the third digit is input, the recognition unit 108 narrows down the registration information in the registration information holding unit 109 narrowed down to about 1/10, for example, to about 1/100. The recognizing unit 108 repeats the registration information narrowing process as described above until the first digit of the ID number is input (step ST33).

ＩＤ番号の１桁目が入力されると（ステップＳＴ３４）、認識部１０８は、４桁のＩＤ番号を確定する（ステップＳＴ３５）。認識部１０８は、その確定したＩＤ番号に対応した登録情報（部分空間）を、登録情報保持部１０９内の絞り込んだ登録情報から選択して読出す（ステップＳＴ３６）。次に、認識部１０８は、部分空間法などにより認識を行なうため、各登録情報の部分空間と、入力ベクトル（特徴量抽出部１０７からの固有ベクトル）、または、入力部分空間との類似度を計算する（ステップＳＴ３７）。   When the first digit of the ID number is input (step ST34), the recognizing unit 108 determines the 4-digit ID number (step ST35). The recognizing unit 108 selects and reads out registration information (partial space) corresponding to the determined ID number from the narrowed registration information in the registration information holding unit 109 (step ST36). Next, the recognition unit 108 calculates the similarity between each registration information subspace and the input vector (eigenvector from the feature amount extraction unit 107) or the input subspace for recognition by the subspace method or the like. (Step ST37).

次に、認識部１０８は、ステップＳＴ３７で求めた類似度をあらかじめ設定されている閾値と比較する（ステップＳＴ３８，３９）。この比較の結果、［類似度＞閾値］であれば、認識部１０８は、認識結果を出力する（ステップＳＴ４０）。また、比較の結果、［類似度＞閾値］でなければ、認識部１０８は、認識失敗を出力する（ステップＳＴ４１）。   Next, the recognizing unit 108 compares the similarity obtained in step ST37 with a preset threshold value (steps ST38 and 39). If the result of this comparison is [similarity> threshold], the recognition unit 108 outputs the recognition result (step ST40). If the result of comparison is not [similarity> threshold], the recognition unit 108 outputs a recognition failure (step ST41).

次に、第２の実施の形態について説明する。
図１２は、第２の実施の形態に係る顔画像認識装置の構成を概略的に示すものである。第２の実施の形態は、前述した第１の実施の形態に対し、第１の照明部１０２および第２の照明部１０３を削除するとともに、図１３に詳細を示すように、テンキー部１０４の内部、たとえば、各キーが矩形状に配設されたテンキー部１０４内の中心部にカメラ１０１を配設した点が異なり、その他は第１の実施の形態と同様であるので、説明は省略する。 Next, a second embodiment will be described.
FIG. 12 schematically shows a configuration of a face image recognition apparatus according to the second embodiment. The second embodiment is different from the first embodiment described above in that the first illumination unit 102 and the second illumination unit 103 are deleted, and as shown in detail in FIG. The camera 101 is arranged inside, for example, at the center of the numeric keypad 104 where each key is arranged in a rectangular shape, and the rest is the same as in the first embodiment, and the description is omitted. .

第１の照明部１０２および第２の照明部１０３が削除されているのは、外光照明が安定している場所に設置した場合であり、この場合には外光照明の変動による性能への影響がないためであり、装置としての小形化も実現できる。もちろん、第１の照明部１０２および第２の照明部１０３が設置されていてもかまわない。   The case where the first illumination unit 102 and the second illumination unit 103 are deleted is a case where the first illumination unit 102 and the second illumination unit 103 are installed in a place where the external light illumination is stable. This is because there is no influence, and downsizing as a device can also be realized. Of course, the 1st illumination part 102 and the 2nd illumination part 103 may be installed.

また、テンキー部１０４内にカメラ１０１を配置した場合、認識対象である人間に対してカメラの存在を意識させない効果が生じるとともに、装置としての小形化が可能となる。   Further, when the camera 101 is arranged in the numeric keypad unit 104, an effect that does not make a human being a recognition object aware of the presence of the camera is produced, and the apparatus can be miniaturized.

次に、第３の実施の形態について説明する。
第３の実施の形態は、ＩＤ番号が１桁入力されるごとに絞り込んだ登録情報に対する認識処理を行うものである。上記第１の実施の形態では、ＩＤ番号が１桁入力されるごとに、登録情報を絞り込む動作について説明したが、第３の実施の形態では、ＩＤ番号が１桁入力されるごとに、登録情報を絞り込み、さらに、絞り込んだ登録情報に対する認識処理を実行するものである。 Next, a third embodiment will be described.
In the third embodiment, recognition processing is performed on the narrowed-down registration information every time an ID number is input by one digit. In the first embodiment, the operation of narrowing down the registration information every time an ID number is entered is described. However, in the third embodiment, registration is performed every time an ID number is entered. The information is narrowed down, and the recognition process for the narrowed down registration information is executed.

なお、第３の実施の形態が適用される顔画像認識装置の構成は、上記第１の実施の形態、或は、第２の実施の形態で説明した顔画像認識装置と同様であるため、詳細な説明を省略する。   The configuration of the face image recognition device to which the third embodiment is applied is the same as that of the face image recognition device described in the first embodiment or the second embodiment. Detailed description is omitted.

以下、第３の実施の形態に係る第１の動作例について説明する。図１４は、第３の実施の形態に係る第１の動作例を説明するためのフローチャートである。なお、図１４のフローチャートは、主に認識部１０８の処理の流れを示している。また、以下の説明では、ＩＤ番号が３桁の番号で与えられているものとして説明する。   Hereinafter, a first operation example according to the third embodiment will be described. FIG. 14 is a flowchart for explaining a first operation example according to the third embodiment. Note that the flowchart of FIG. 14 mainly shows the flow of processing of the recognition unit 108. In the following description, it is assumed that the ID number is given as a three-digit number.

テンキー部１０４により１つ目のＩＤ番号が入力されると（ステップＳＴ５１）、認識部１０８は、カメラ１０１からの入力画像が存在するか否かを判定する（ステップＳＴ５２）。この判定により入力画像（顔画像）が存在しなければ、認識部１０８は、ステップＳＴ５１に戻り、上記動作を繰り返す。すなわち、テンキー部１０４からＩＤ番号が入力されても、カメラ１０１からの入力画像が存在しない場合、認識部１０８は、いたずらや誤動作などとみなして、入力されたＩＤ番号を無効とするものである。   When the first ID number is input from the numeric keypad 104 (step ST51), the recognition unit 108 determines whether or not an input image from the camera 101 exists (step ST52). If there is no input image (face image) by this determination, the recognition unit 108 returns to step ST51 and repeats the above operation. That is, even if an ID number is input from the numeric keypad 104, if the input image from the camera 101 does not exist, the recognition unit 108 regards the input ID number as invalid, assuming mischief or malfunction. .

さて、ステップＳＴ５２において、入力画像（顔画像）が存在すれば、認識部１０８は、テンキー部１０４からのＩＤ番号を有効とする。テンキー部１０４にて１つ目の番号が入力された時、すなわち、ＩＤ番号の上位から１桁目の番号が入力された時、認識部１０８は、入力された番号が該当する桁の登録番号に対応するすべての登録情報を絞り込む（ステップＳＴ５３）。次に、認識部１０８は、絞り込んだ登録情報を登録情報保持部１０９から読み出す（ステップＳＴ５４）。認識部１０８は、読み出した登録情報に基づいて部分空間法などにより認識を行うため、各登録情報の部分空間と入力ベクトル（特徴量抽出部１０７からの固有ベクトル）、または、入力部分空間との類似度を計算する。絞り込んだ登録情報に対する類似度を全て算出すると、認識部１０８は、算出した類似度のうちで最大となる類似度（最大類似度）を算出する（ステップＳＴ５５）。   In step ST52, if there is an input image (face image), the recognition unit 108 validates the ID number from the numeric keypad unit 104. When the first number is input at the numeric keypad 104, that is, when the first digit number from the top of the ID number is input, the recognition unit 108 determines that the input number is the registration number of the corresponding digit. Narrow down all registered information corresponding to (step ST53). Next, the recognition unit 108 reads out the narrowed registration information from the registration information holding unit 109 (step ST54). Since the recognition unit 108 performs recognition by a subspace method or the like based on the read registration information, the subspace of each registration information and an input vector (eigenvector from the feature amount extraction unit 107) or the similarity between the input subspace Calculate the degree. When all the similarities for the narrowed-down registered information are calculated, the recognition unit 108 calculates the maximum similarity (maximum similarity) among the calculated similarities (step ST55).

次に、認識部１０８は、ステップＳＴ５５で求めた最大類似度をあらかじめ設定されている閾値と比較する（ステップＳＴ５６、５７）。これにより最大類似度＞閾値であれば、認識部１０８は、入力された顔画像と最大類似度の登録情報との照合が成功したものと判断し、当該登録情報に基づいて認識結果を出力する（ステップＳＴ５８）。   Next, the recognition unit 108 compares the maximum similarity obtained in step ST55 with a preset threshold value (steps ST56 and 57). Thus, if the maximum similarity> threshold, the recognition unit 108 determines that the input face image and the registration information of the maximum similarity have been successfully collated, and outputs a recognition result based on the registration information. (Step ST58).

また、最大類似度＞閾値でなければ、認識部１０８は、次のテンキー入力を待つ。この状態でＩＤ番号を確定する確定キーの入力がなく、かつ、テンキー部１０４により次の番号（ＩＤ番号の上位から２桁目の番号）が入力された際（ステップＳＴ５９）、認識部１０８は、次に入力された番号に基づいて、前回、絞り込んだ登録情報の中（上位から１桁目の番号で絞り込んだ登録情報）から、さらに、登録情報を絞り込む（ステップＳＴ５３）。   If the maximum similarity> threshold is not satisfied, the recognition unit 108 waits for the next numeric keypad input. In this state, when the confirmation key for confirming the ID number is not input and the next number (second digit from the top of the ID number) is input by the numeric keypad 104 (step ST59), the recognition unit 108 Based on the next input number, the registration information is further narrowed down from the previously narrowed registration information (registration information narrowed down by the first digit number from the top) (step ST53).

登録情報を絞り込むと、認識部１０８は、前回同様、絞り込んだ登録情報を登録情報保持部１０９から読み出す（ステップＳＴ５４）。認識部１０８は、部分空間法などにより認識を行うため、各登録情報の部分空間と入力ベクトル（特徴量抽出部１０７からの固有ベクトル）、または、入力部分空間との類似度を計算する。この際、登録情報が前回よりも絞り込まれるので、認識部１０８は、前回とは異なる認識方法を用いて、登録情報と入力ベクトル又は入力部分空間との類似度を算出するようにしても良い。また、認識部１０８は、上記特徴量抽出部１０７による入力ベクトルまたは入力部分空間の抽出処理を再度行うようにしても良い。   When the registration information is narrowed down, the recognition unit 108 reads the narrowed down registration information from the registration information holding unit 109 as in the previous time (step ST54). The recognition unit 108 calculates the similarity between the subspace of each registered information and the input vector (eigenvector from the feature amount extraction unit 107) or the input subspace in order to perform recognition by the subspace method or the like. At this time, since the registration information is narrowed down from the previous time, the recognition unit 108 may calculate the similarity between the registration information and the input vector or the input subspace using a different recognition method from the previous time. The recognition unit 108 may perform the input vector or input subspace extraction processing by the feature amount extraction unit 107 again.

絞り込んだ登録情報に対する類似度を全て算出すると、認識部１０８は、算出した類似度のうちで最大となる類似度（最大類似度）を算出する（ステップＳＴ５５）。に、認識部１０８は、ステップＳＴ５５で求めた最大類似度をあらかじめ設定されている閾値と比較する（ステップＳＴ５６、５７）。この際、登録情報が前回よりも絞り込まれるので、最大類似度と比較される閾値は、前回の閾値よりも低く設定するようにしても良い。   When all the similarities for the narrowed-down registered information are calculated, the recognition unit 108 calculates the maximum similarity (maximum similarity) among the calculated similarities (step ST55). The recognizing unit 108 compares the maximum similarity obtained in step ST55 with a preset threshold value (steps ST56 and 57). At this time, since the registration information is narrowed down from the previous time, the threshold value to be compared with the maximum similarity may be set lower than the previous threshold value.

上記の比較により、最大類似度＞閾値であれば、認識部１０８は、入力された顔画像と最大類似度の登録情報との照合が成功したものと判断し、当該登録情報に基づいて認識結果を出力する（ステップＳＴ５８）。   If the maximum similarity is greater than the threshold value based on the above comparison, the recognition unit 108 determines that the collation between the input face image and the registration information of the maximum similarity is successful, and the recognition result is based on the registration information. Is output (step ST58).

また、最大類似度＞閾値でなければ、認識部１０８は、テンキー部１０４による次の入力を待つ。上記確定キーが入力されずに、テンキー部により次の番号（ＩＤ番号の上位から３桁目の番号）が入力された場合（ステップＳＴ５９）、認識部１０８は、入力された上位から３桁目の番号に基づいて、２回目に絞り込んだ登録情報の中（上位から１桁目と２桁目の番号から絞り込んだ登録情報）から、さらに、該当する登録情報を絞り込む（ステップＳＴ５３）。   If maximum similarity> threshold is not satisfied, the recognition unit 108 waits for the next input from the numeric keypad unit 104. When the next number (the third digit from the top of the ID number) is entered by the numeric keypad without entering the confirmation key (step ST59), the recognition unit 108 receives the third digit from the top. The corresponding registration information is further narrowed down from the registration information narrowed down for the second time (registration information narrowed down from the first and second digits from the top) (step ST53).

登録情報を絞り込むと、認識部１０８は、前回同様、絞り込んだ登録情報を登録情報保持部１０９から読み出す（ステップＳＴ５４）。絞り込んだ登録情報を読み込むと、認識部１０８は、各登録情報の部分空間と入力ベクトル（特徴量抽出部１０７からの固有ベクトル）、または、入力部分空間との類似度を計算する。この際、登録情報が前回よりもさらに絞り込まれるので、認識部１０８は、前回とは異なる認識方法を用いて、登録情報と入力ベクトル又は入力部分空間との類似度を算出するようにしても良い。また、認識部１０８は、上記特徴量抽出部１０７による入力ベクトルまたは入力部分空間の抽出処理を再度行うようにしても良い。   When the registration information is narrowed down, the recognition unit 108 reads the narrowed down registration information from the registration information holding unit 109 as in the previous time (step ST54). When the narrowed registration information is read, the recognition unit 108 calculates the similarity between the partial space of each registration information and the input vector (eigenvector from the feature amount extraction unit 107) or the input partial space. At this time, since the registration information is further narrowed down compared to the previous time, the recognition unit 108 may calculate the similarity between the registration information and the input vector or the input subspace using a different recognition method from the previous time. . The recognition unit 108 may perform the input vector or input subspace extraction processing by the feature amount extraction unit 107 again.

絞り込んだ登録情報に対する類似度を全て算出すると、認識部１０８は、算出した類似度のうちで最大となる類似度（最大類似度）を算出する（ステップＳＴ５５）。認識部１０８は、ステップＳＴ５５で求めた最大類似度をあらかじめ設定されている閾値と比較する（ステップＳＴ５６、５７）。この際、登録情報が前回よりも絞り込まれるので、最大類似度と比較される閾値は、前回の閾値よりも低く設定するようにしても良い。   When all the similarities for the narrowed-down registered information are calculated, the recognition unit 108 calculates the maximum similarity (maximum similarity) among the calculated similarities (step ST55). The recognizing unit 108 compares the maximum similarity obtained in step ST55 with a preset threshold value (steps ST56 and 57). At this time, since the registration information is narrowed down from the previous time, the threshold value to be compared with the maximum similarity may be set lower than the previous threshold value.

上記の比較により、最大類似度＞閾値であれば、認識部１０８は、入力された顔画像と最大類似度の登録情報との照合が成功したものと判断し、当該登録情報に基づいて認識結果を出力する（ステップＳＴ５８）。   If the maximum similarity is greater than the threshold value based on the above comparison, the recognition unit 108 determines that the collation between the input face image and the registration information of the maximum similarity is successful, and the recognition result is based on the registration information. Is output (step ST58).

また、最大類似度＞閾値でなければ、認識部１０８は、テンキー部１０４による次の入力を待つ。この状態のままでＩＤ番号の入力完了を示す確定キーが入力されると、認識部１０８は、認識が失敗したものと判断し、認識失敗を出力する。また、テンキー部１０４により入力した番号を取消す取消キーが入力された場合、認識部１０８は、上記ステップＳ５１へ戻り、上記のような処理を繰返し実行する。   If maximum similarity> threshold is not satisfied, the recognition unit 108 waits for the next input from the numeric keypad unit 104. When a confirmation key indicating completion of input of the ID number is input in this state, the recognition unit 108 determines that the recognition has failed and outputs a recognition failure. If a cancel key for canceling the number input by the numeric keypad 104 is input, the recognition unit 108 returns to step S51 and repeats the above processing.

なお、上記の説明では、ＩＤ番号が３桁の場合について説明したが、ＩＤ番号が３桁以外の場合であっても、全てのＩＤ番号が確定されるまで、上記ステップＳ５１〜Ｓ５９の処理を実行することにより、上記同様な処理が可能である。
また、認識に失敗した場合に、登録情報追加部１１０で説明したように、そのときの顔画像から得られる認識データを、新たな認識データ（登録情報）として登録情報保持部１０９に保存させることができる。詳しい処理については、同様であるので省略する。 In the above description, the case where the ID number is 3 digits has been described. However, even if the ID number is other than 3 digits, the processes of steps S51 to S59 are performed until all ID numbers are determined. By executing, the same processing as described above is possible.
Further, when the recognition fails, as described in the registration information adding unit 110, the recognition data obtained from the facial image at that time is stored in the registration information holding unit 109 as new recognition data (registration information). Can do. Detailed processing is the same and will be omitted.

上記のように、第３の実施の形態に係る第１の動作例によれば、ＩＤ番号のうちの１つの番号が入力されるごとに、認識処理を実行し、利用者によるＩＤ番号の入力の途中で、認識に成功した場合、その時点で認識結果を出力するようにしたものである。これにより、登録者に対して、認識結果が得られるまでの時間を短縮することができ、利用者への心理的な時間短縮効果にもつながる。   As described above, according to the first operation example according to the third embodiment, every time one of the ID numbers is input, the recognition process is executed, and the user inputs the ID number. If the recognition succeeds during the process, the recognition result is output at that time. Thereby, it is possible to shorten the time until the recognition result is obtained for the registrant, which leads to a psychological time reduction effect for the user.

次に、第３の実施の形態に係る第２の動作例について説明する。図１５は、第３の実施の形態に係る第２の動作例を説明するためのフローチャートである。なお、図１５のフローチャートは、主に認識部１０８の処理の流れを示している。   Next, a second operation example according to the third embodiment will be described. FIG. 15 is a flowchart for explaining a second operation example according to the third embodiment. Note that the flowchart of FIG. 15 mainly shows the flow of processing of the recognition unit 108.

図１５に示すステップＳＴ７１〜ＳＴ７７、ＳＴ７９は、上記ステップＳＴ５１〜ＳＴ５７、ＳＴ５９と同様である。このため、ステップＳＴ７１〜ＳＴ７７、ＳＴ７９については、詳細な説明を省略する。   Steps ST71 to ST77 and ST79 shown in FIG. 15 are the same as steps ST51 to ST57 and ST59. Therefore, detailed description of steps ST71 to ST77 and ST79 is omitted.

すなわち、上記ステップＳＴ７７にて、最大類似度＞閾値である場合、認識部１０８は、入力された顔画像と最大類似度の登録情報との照合が成功したものと判断する。この判断結果に基づき、認識部１０８は、入力された顔画像との照合が成功した登録情報に基づいてＩＤ番号を判定する。認識部１０８は、入力された顔画像との照合が成功した登録情報から判定したＩＤ番号（認識ＩＤ番号）を図示しないメモリ等に保持する。   That is, when the maximum similarity> threshold value in step ST77, the recognition unit 108 determines that the collation between the input face image and the registration information of the maximum similarity has succeeded. Based on the determination result, the recognizing unit 108 determines the ID number based on the registration information that has been successfully verified with the input face image. The recognizing unit 108 holds an ID number (recognized ID number) determined from registered information that has been successfully collated with the input face image in a memory or the like (not shown).

照合が成功した登録情報から判定したＩＤ番号をメモリに保持すると、認識部１０８は、ＩＤ番号の入力完了を示す確定キーの入力を待つ（ステップＳＴ８０）。この状態で上記確定キーが入力されると、認識部１０８は、利用者により入力されたＩＤ番号（入力ＩＤ番号）を確定する（ステップＳＴ８１）。   When the ID number determined from the registered information that has been successfully verified is stored in the memory, the recognizing unit 108 waits for an input of a confirmation key indicating completion of input of the ID number (step ST80). When the confirmation key is input in this state, the recognition unit 108 confirms the ID number (input ID number) input by the user (step ST81).

これにより利用者が入力したＩＤ番号が確定すると、認識部１０８は、メモリに保持している認識ＩＤ番号と利用者が入力した入力ＩＤ番号とを比較する（ステップＳＴ８３）。
この比較の結果、認識ＩＤ番号と入力ＩＤ番号とが一致すると判断した場合、認識部１０８は、ＩＤ番号に基づく顔画像の認識が成功したと判断し、認識結果を出力する。また、認識ＩＤ番号と入力ＩＤ番号が一致しないと判断した場合、認識部１０８は、ＩＤ番号に基づく顔画像の認識が失敗したと判断し、認識失敗を出力する。 As a result, when the ID number input by the user is confirmed, the recognition unit 108 compares the recognition ID number held in the memory with the input ID number input by the user (step ST83).
As a result of this comparison, when it is determined that the recognition ID number and the input ID number match, the recognition unit 108 determines that the recognition of the face image based on the ID number is successful, and outputs the recognition result. If it is determined that the recognition ID number and the input ID number do not match, the recognition unit 108 determines that the recognition of the face image based on the ID number has failed and outputs a recognition failure.

また、認識に失敗した場合に、登録情報追加部１１０で説明したように、そのときの顔画像から得られる認識データを、新たな認識データ（登録情報）として登録情報保持部１０９に保存させることができる。詳しい処理については、上記同様であるので省略する。   Further, when the recognition fails, as described in the registration information adding unit 110, the recognition data obtained from the facial image at that time is stored in the registration information holding unit 109 as new recognition data (registration information). Can do. Detailed processing is the same as described above, and will be omitted.

上記のように第３の実施の形態に係る第２の動作例によれば、ＩＤ番号のうちの１つの番号が入力されるごとに、認識処理を実行し、ＩＤ番号の入力の途中で、認識に成功した場合、認識に成功した登録情報（最大類似度となった登録情報）から得られるＩＤ番号を保持しておき、利用者によるＩＤ番号の入力完了後に、入力されたＩＤ番号と、認識に成功した登録番号から得られたＩＤ番号とを比較し、両者のＩＤ番号が一致した場合には認識結果を出力し、両者のＩＤ番号が一致しなかった場合には認識が失敗したことを出力するようにしたものである。これにより、認識処理におけるセキュリティ性能の向上が実現できる。   As described above, according to the second operation example according to the third embodiment, each time one of the ID numbers is input, the recognition process is executed. When the recognition is successful, the ID number obtained from the registration information that has been successfully recognized (registration information having the maximum similarity) is stored, and after the input of the ID number by the user is completed, The ID number obtained from the registration number that has been successfully recognized is compared. If both ID numbers match, the recognition result is output. If both ID numbers do not match, the recognition has failed. Is output. Thereby, the improvement of the security performance in a recognition process is realizable.

上記のように、第３の実施の形態によれば、認識対象者がＩＤ番号の各桁を入力するごとに、登録情報を絞り込んで認識処理を行う。これにより、認識対象者により入力されるＩＤ番号に基づいて認識処理を行う場合、ＩＤ番号の入力開始から認識結果が得られるまでに要する時間が実質的に短縮できる。   As described above, according to the third embodiment, each time the recognition target person inputs each digit of the ID number, the registration information is narrowed down and the recognition process is performed. Thereby, when performing a recognition process based on the ID number input by the person to be recognized, the time required from the start of input of the ID number until the recognition result is obtained can be substantially shortened.

さらに、認識対象者がＩＤ番号の全ての桁を入力する前に特定の登録情報との照合に成功した場合、照合に成功した特定の登録情報を記憶しておき、認識対象者がＩＤ番号の入力を完了した際に、認識対象者が入力したＩＤ番号と認識結果として得られた登録情報のＩＤ番号とが一致するか否かを判定する。これにより、ＩＤ番号の入力が完了した時に、ＩＤ番号が一致するか否かを判断するだけで、認識が成功したか失敗したかを判定でき、ＩＤ番号の入力完了から最終的な判定結果が得られるまでに要する時間が短縮できる。   Furthermore, when the recognition target person succeeds in collation with the specific registration information before inputting all digits of the ID number, the specific registration information that has been successfully collated is stored, When the input is completed, it is determined whether or not the ID number input by the person to be recognized matches the ID number of the registration information obtained as a recognition result. Thus, when the input of the ID number is completed, it is possible to determine whether the recognition has succeeded or failed only by determining whether or not the ID numbers match. The time required to obtain it can be shortened.

次に、第４の実施の形態について説明する。
第４の実施の形態は、第１の実施の形態で説明した顔画像認識装置を、通行者の顔画像を認識して通行者の通行を制御する通行制御装置に適用した場合の例である。 Next, a fourth embodiment will be described.
The fourth embodiment is an example in which the face image recognition device described in the first embodiment is applied to a traffic control device that recognizes a passer's face image and controls passers-by. .

なお、ここでは、第４の実施の形態の例として、第１の実施の形態で説明した顔画像認識装置を通行制御装置に適用した場合について説明するが、第２の実施の形態、或は第３の実施の形態で説明した顔画像認識装置を通行制御装置に適用することも可能である。   Here, as an example of the fourth embodiment, the case where the face image recognition device described in the first embodiment is applied to the traffic control device will be described, but the second embodiment or It is also possible to apply the face image recognition device described in the third embodiment to a traffic control device.

図１６は、第４の実施の形態に係る通行制御装置の構成を概略的に示すものである。この通行制御装置は、たとえば、重要施設（セキュリティ重視の部屋など）への入退場管理を行なうもので、訪問者（通行者）の顔画像を認識して、その認識結果に基づき重要施設の入退場用ドアの開閉制御を行なうものであり、カメラ１０１、第１の照明部１０２、第２の照明部１０３、テンキー部１０４、処理部１０５、認識部１０８の認識結果に応じて重要施設（訪問先）２０１の入退場用ドア２０２の開閉制御を行なう通行制御手段（あるいは、ドア制御手段）としてのドア制御部１１２、および、画像記録手段としての画像記録部１１３から構成されている。   FIG. 16 schematically shows a configuration of a traffic control device according to the fourth embodiment. This traffic control device, for example, manages entrance / exit to important facilities (such as security-oriented rooms), recognizes the face image of the visitor (passer), and enters the important facility based on the recognition result. Controls opening / closing of the exit door, and the important facilities (visits) according to the recognition results of the camera 101, the first illumination unit 102, the second illumination unit 103, the numeric keypad unit 104, the processing unit 105, and the recognition unit 108. The door control unit 112 serves as a traffic control means (or door control means) for performing opening / closing control of the entrance door 202 of the first 201 and the image recording unit 113 as an image recording means.

なお、図１６において、ドア制御部１１２および画像記録部１１３以外は図１の顔画像認識装置と同じ構成であるので、同一符号を付して、その説明は省略する。   In FIG. 16, the configuration other than the door control unit 112 and the image recording unit 113 is the same as that of the face image recognition device of FIG.

また、テンキー部１０４には、図１７（ａ）、（ｂ）に示すように、“０”〜“９”の数字と指示キー及び取消キーが設けられているが、図１７（ｃ）、（ｄ）に示すように、別途、呼出しボタン１０４ａが設けても良い。呼出しボタン１０４ａは、認識部１０８の認識結果が、たとえば、図６のステップＳＴ６において、求めた類似度が閾値よりも小さかった場合に、訪問先２０１の内部の住人を呼出す場合に使用するものである。   Further, as shown in FIGS. 17A and 17B, the numeric keypad 104 is provided with numbers “0” to “9”, an instruction key, and a cancel key. As shown in (d), a call button 104a may be provided separately. The call button 104a is used when calling the resident inside the visited place 201 when the recognition result of the recognition unit 108 is, for example, the obtained similarity is smaller than the threshold value in step ST6 of FIG. is there.

なお、図１７（ａ）は、各キーが矩形状に配設されたテンキー部１０４の場合を示し、図１７（ｂ）は、各キーが列状（一列）に配設されたテンキー部１０４の場合を示している。   FIG. 17A shows the case of the numeric keypad 104 in which each key is arranged in a rectangular shape, and FIG. 17B shows the numeric keypad 104 in which each key is arranged in a row (one row). Shows the case.

認識部１０８は、たとえば、図６のステップＳＴ６において、求めた類似度が閾値よりも大きかった場合、あるいは、ステップＳＴ１１において、求めた類似度が閾値よりも大きかった場合、ドア制御部１１２に「ドア開」の信号を出力し、求めた類似度が閾値よりも小さかった場合、ドア制御部１１２に「ドア閉」の信号を出力する。   For example, when the obtained similarity is larger than the threshold in step ST6 of FIG. 6 or when the obtained similarity is larger than the threshold in step ST11, the recognition unit 108 notifies the door control unit 112 of “ When the door open signal is output and the obtained similarity is smaller than the threshold value, the door control unit 112 is output with a “door close” signal.

ドア制御部１１２は、認識部１０８から「ドア開」の信号を受取ると、入退場用ドア２０２を開状態に制御して、認識対象者（この場合は訪問者）１００の入場を許可し、「ドア閉」の信号を受取ると、入退場用ドア２０２を閉状態に保持して、訪問者１００の入場を拒否する。   Upon receiving the “door open” signal from the recognition unit 108, the door control unit 112 controls the entrance / exit door 202 to be in an open state, and allows the recognition target person (visitor in this case) 100 to enter, When the “door closed” signal is received, the entrance / exit door 202 is kept closed, and the visitor 100 is refused to enter.

画像記録部１１３は、認識部１０８において、入力された顔画像が認識できなかった場合に、その入力された顔画像を記録するもので、たとえば、ビデオテープレコーダやハードディスク装置などが用いられる。このように、入力された顔画像を記録することで、訪問者の情報を整理したり、不審者の顔画像を調査したりすることが可能となる。   The image recording unit 113 records the input face image when the recognition unit 108 cannot recognize the input face image. For example, a video tape recorder or a hard disk device is used. In this way, by recording the input face image, it is possible to organize visitor information or investigate the suspicious person's face image.

次に、たとえば、マンションのエントランスなどに本装置を設置した例について説明する。この場合には、テンキー部１０４において、訪問先の識別情報として部屋番号を入力することで、登録情報を絞り込むことが可能となり、認識部１０８にて認識できれば入退場用ドア２０２を解錠し、認識できなければ呼出しボタン１０４ａにて目的の訪問先２０１の住人を呼出すこともできる。   Next, for example, an example in which the present apparatus is installed at an entrance of an apartment will be described. In this case, the registration information can be narrowed down by inputting the room number as the visitor identification information in the numeric keypad 104, and if the recognition unit 108 can recognize it, the entrance door 202 is unlocked, If it cannot be recognized, the call button 104a can be used to call the resident of the destination 201 to be visited.

以下、その場合の具体的な処理について、図１８に示すフローチャートを参照して説明する。なお、図１８のフローチャートは、主に認識部１０８の処理の流れを示している。また、この例の場合、登録情報保持部１０９には、１つの部屋番号に対応して複数（たとえば、家族全員）の登録情報が保持されているものとする。   Hereinafter, specific processing in that case will be described with reference to a flowchart shown in FIG. Note that the flowchart of FIG. 18 mainly shows the flow of processing of the recognition unit 108. In this example, the registration information holding unit 109 holds a plurality of pieces of registration information (for example, the whole family) corresponding to one room number.

テンキー部１０４により部屋番号が入力されると（ステップＳＴ９１）、カメラ１０１からの入力画像が存在するか否かを判定し（ステップＳＴ９２）、入力画像（顔画像）が存在しなければステップＳＴ５１に戻り、上記動作を繰り返す。ステップＳＴ９２において、入力画像（顔画像）が存在すれば、テンキー部１０４からの部屋番号に対応した複数の登録情報（部分空間）を登録情報保持部１０９から読出す（ステップＳＴ９３）。   When the room number is input by the numeric keypad 104 (step ST91), it is determined whether or not an input image from the camera 101 exists (step ST92). If there is no input image (face image), the process goes to step ST51. Return and repeat the above operation. If an input image (face image) exists in step ST92, a plurality of registration information (partial space) corresponding to the room number from the numeric keypad 104 is read from the registration information holding unit 109 (step ST93).

次に、登録情報保持部１０９から読出した複数の登録情報と入力画像との類似度をそれぞれ計算する（ステップＳＴ９４）。次に、計算された各類似度の中から最大の類似度を選択する（ステップＳＴ９５）。次に、選択した類似度をあらかじめ設定されている閾値と比較し（ステップＳＴ９６，９７）、［類似度＞閾値］であれば、ドア制御部１１２に「ドア開」の信号を出力し（ステップＳＴ９８）、［類似度＞閾値］でなければ、ドア制御部１１２に「ドア閉」の信号を出力する（ステップＳＴ９９）。   Next, the similarity between the plurality of pieces of registration information read from the registration information holding unit 109 and the input image is calculated (step ST94). Next, the maximum similarity is selected from the calculated similarities (step ST95). Next, the selected similarity is compared with a preset threshold (steps ST96 and 97), and if [similarity> threshold], a “door open” signal is output to the door control unit 112 (step ST96, 97). ST98) If [similarity> threshold] is not satisfied, a “door closed” signal is output to door control section 112 (step ST99).

なお、上記したように部屋番号ではなく、電話番号などの訪問先２０１の住人固有の番号を入力することにより、それを部屋番号に変換する方法を用いても、その効果は何ら変わらない。   Note that, as described above, even if a method of converting a room number into a room number by inputting a number unique to the resident of the visited place 201 such as a telephone number instead of a room number, the effect is not changed.

また、たとえば、マンションのエントランスなどにおいて、物理鍵で入退場用ドア２０２が解錠、施錠する場合には、図１９に示すように、物理鍵１１４には、通常、各部屋共通の溝部１１５と部屋個別の溝部（訪問先固有の識別部）１１６が存在する。そこで、物理鍵１１４が挿入された際に、部屋個別の溝部１１６を認識することで、対応する部屋番号を認識することが可能となり、テンキー部１０４の代替えとすることができる。   Further, for example, when the entrance door 202 is unlocked and locked with a physical key at an entrance of a condominium or the like, as shown in FIG. 19, the physical key 114 usually has a groove 115 common to each room. There is a groove part (identification part unique to the visited place) 116 for each room. Therefore, when the physical key 114 is inserted, the corresponding room number can be recognized by recognizing the groove 116 for each room, and can be used as a substitute for the numeric keypad 104.

以下、その場合の具体的な処理について、図２０に示すフローチャートを参照して説明する。なお、図２０のフローチャートは、基本的には図１８のフローチャートと同様であるが、ステップＳＴ１０１の処理のみが異なり、その他の図２０のステップＳ１０２〜Ｓ１０９は、図１８のステップＳ９２〜Ｓ９９と同様である。図２０に示すステップＳＴ１０１では、入退場用ドア２０２の錠に物理鍵１１４が挿入されると、部屋個別の溝部１１６を認識することで、対応する部屋番号を認識する。これ以降の処理は図１８と同様であるので、説明は省略する。
なお、テンキー部１０４の代りに無線カードリーダなどの入力手段を用いても、その効果は何ら変わらない。 Hereinafter, specific processing in that case will be described with reference to a flowchart shown in FIG. The flowchart in FIG. 20 is basically the same as the flowchart in FIG. 18, but only the process in step ST101 is different. The other steps S102 to S109 in FIG. 20 are the same as steps S92 to S99 in FIG. It is. In step ST101 shown in FIG. 20, when the physical key 114 is inserted into the lock of the entrance / exit door 202, the corresponding room number is recognized by recognizing the groove 116 for each room. The subsequent processing is the same as that in FIG.
Even if an input means such as a wireless card reader is used instead of the numeric keypad 104, the effect is not changed.

このように、第４の実施の形態によれば、第１の実施の形態、第２の実施の形態、或は第３の実施の形態で説明した顔画像認識装置を用いて通行者の通行（訪問者の入退場）を制御することができる。   As described above, according to the fourth embodiment, a passer-by can pass by using the face image recognition device described in the first embodiment, the second embodiment, or the third embodiment. (Visitor's entry / exit) can be controlled.

以上説明したように、上記各実施の形態によれば、テンキー部を認識対象者から見てカメラの右下や真下に配設することで、ＩＤ番号や暗証番号を入力する人間の手が顔画像の入力の妨げにならないという効果が得られる。また、カメラをテンキー部の内部に設置することで、認識対象である人間に対してカメラの存在を意識させないという効果が得られる。   As described above, according to each of the above-described embodiments, a human hand inputting an ID number or a password is faced by arranging the numeric keypad portion at the lower right or directly below the camera as viewed from the person to be recognized. The effect that the input of the image is not hindered can be obtained. In addition, by installing the camera inside the numeric keypad, it is possible to obtain an effect that the person who is the recognition target is not conscious of the presence of the camera.

また、テンキー部でのＩＤ番号や暗証番号の入力開始時に顔画像を収集したり、逐次登録情報を選択して行くことで、顔画像の認識時間を著しく短縮できる。さらに、入力された顔画像を認識できなかった際、その入力された顔画像を記録することで、訪問者の情報を整理したり、不審者の顔画像を調査したりすることが可能となる。   Also, the face image recognition time can be significantly shortened by collecting face images at the start of input of ID numbers and passwords at the numeric keypad, or by sequentially selecting registration information. Furthermore, when the input face image cannot be recognized, it is possible to organize the visitor information or investigate the suspicious person's face image by recording the input face image. .

本発明の第１の実施の形態に係る顔画像認識装置の構成を概略的に示す構成図。BRIEF DESCRIPTION OF THE DRAWINGS The block diagram which shows schematically the structure of the face image recognition apparatus which concerns on the 1st Embodiment of this invention. 第１の照明部とカメラとの関係を示すもので、（ａ）図は横から見た側面図、（ｂ）は上から見た上面図。The relationship between a 1st illumination part and a camera is shown, (a) A figure is a side view seen from the side, (b) is a top view seen from the top. 第１の照明部による顔画像の例を示す図。The figure which shows the example of the face image by a 1st illumination part. 第２の照明部とカメラとの関係を示す側面図。The side view which shows the relationship between a 2nd illumination part and a camera. 特徴量抽出部の構成を概略的に示すブロック図。The block diagram which shows roughly the structure of a feature-value extraction part. 認識部の認識処理を説明するためのフローチャート。The flowchart for demonstrating the recognition process of a recognition part. テンキー部の設置例を示す正面図。The front view which shows the example of installation of a ten key part. 表示部を有するユニットの設置例を示す正面図。The front view which shows the example of installation of the unit which has a display part. 第１の実施の形態に係る認識部の認識処理を説明するためのフローチャート。The flowchart for demonstrating the recognition process of the recognition part which concerns on 1st Embodiment. 第１の実施の形態に係る認識部の認識処理を説明するためのフローチャート。The flowchart for demonstrating the recognition process of the recognition part which concerns on 1st Embodiment. 第１の実施の形態に係る認識部の認識処理を説明するためのフローチャート。The flowchart for demonstrating the recognition process of the recognition part which concerns on 1st Embodiment. 本発明の第２の実施の形態に係る顔画像認識装置の構成を概略的に示す構成図。The block diagram which shows schematically the structure of the face image recognition apparatus which concerns on the 2nd Embodiment of this invention. テンキー部に対するカメラの設置状態を示す平面図。The top view which shows the installation state of the camera with respect to a numeric keypad part. 第３の実施の形態に係る認識部の認識処理を説明するためのフローチャート。The flowchart for demonstrating the recognition process of the recognition part which concerns on 3rd Embodiment. 第３の実施の形態に係る認識部の認識処理を説明するためのフローチャート。The flowchart for demonstrating the recognition process of the recognition part which concerns on 3rd Embodiment. 本発明の第４の実施の形態にかかる通行制御装置の構成を概略的に示す構成図。The block diagram which shows schematically the structure of the traffic control apparatus concerning the 4th Embodiment of this invention. テンキー部の構成を説明する平面図。The top view explaining the structure of a ten key part. 第４の実施の形態に係る認識部の認識処理を説明するためのフローチャート。The flowchart for demonstrating the recognition process of the recognition part which concerns on 4th Embodiment. 物理鍵の構成を模式的に示す構成図。The block diagram which shows the structure of a physical key typically. 第４の実施の形態に係る認識部の認識処理を説明するためのフローチャート。The flowchart for demonstrating the recognition process of the recognition part which concerns on 4th Embodiment.

符号の説明Explanation of symbols

１０１…カメラ（画像入力手段）、１０２…第１の照明部（第１の照明手段）、１０３…第２の照明部（第２の照明手段）、１０４…テンキー部（キー入力手段）、１０５…処理部、１０６…画像入力部（画像入力手段）、１０７…特徴量抽出部（特徴量抽出手段）、１０８…認識部（認識手段）、１０９…登録情報保持部（特徴量登録手段）、１１０…登録情報追加部（特徴量追加手段）、１１１…番号入力処理部、１１２…ドア制御部（ドア制御手段、通行制御手段）、１１３…画像記録部（画像記録手段）、１１４…物理鍵、１１５…各部屋共通の溝部、１１６…部屋個別の溝部（訪問先固有の識別部）、２０１…重要施設（訪問先）、２０２…入退場用ドア。   DESCRIPTION OF SYMBOLS 101 ... Camera (image input means), 102 ... 1st illumination part (1st illumination means), 103 ... 2nd illumination part (2nd illumination means), 104 ... Numeric keypad part (key input means), 105 Processing unit 106 Image input unit (image input unit) 107 Feature amount extraction unit (feature amount extraction unit) 108 Recognition unit (recognition unit) 109 Registration information holding unit (feature amount registration unit) DESCRIPTION OF SYMBOLS 110 ... Registration information addition part (feature amount addition means), 111 ... Number input processing part, 112 ... Door control part (door control means, traffic control means), 113 ... Image recording part (image recording means), 114 ... Physical key , 115... Groove common to each room, 116... Groove of each room (identification part unique to the visit destination), 201... Important facility (visit destination), 202.

Claims (4)

ドアを開閉制御する通行制御装置において、
認識対象者の少なくとも顔を含む顔画像を入力する画像入力手段と、
前記画像入力手段により入力された顔画像から前記認識対象者の顔の特徴量を抽出する特徴量抽出手段と、
行先の識別情報に対応する登録者の顔の特徴量を含む登録情報を記憶する特徴量登録手段と、
前記認識対象者が行先の識別情報を入力するための入力手段と、
この入力手段により入力された行先の識別情報に対応づけて前記特徴量登録手段が記憶している登録者の顔の特徴量と、前記特徴量抽出手段により抽出された前記認識対象者の顔の特徴量とを照合する認識手段と、
この認識手段により前記認識対象者の顔の特徴量と前記登録者の顔の特徴量とが同定された場合、前記ドアを開状態にし、前記認識対象者の顔の特徴量と前記登録者の顔の特徴量とが同定されなかった場合、前記ドアを閉状態にするドア制御手段と、
前記認識対象者の顔の特徴量と前記登録者の顔の特徴量とが同定されなかった場合、前記画像入力手段により入力された前記認識対象者の顔画像を記録する画像記録手段と、
を具備したことを特徴とする通行制御装置。 In the traffic control device that controls the opening and closing of doors ,
An image input means for inputting a face image including at least the face of the person to be recognized ;
Feature amount extraction means for extracting the feature amount of the face of the person to be recognized from the face image input by the image input means;
A feature amount registration unit that stores registration information containing a characteristic parameter of a registrant of a face corresponding to the row destination identification information,
An input means for the identification target person to input destination identification information;
The feature amount of the registrant's face stored in the feature amount registration unit in association with the destination identification information input by the input unit, and the face of the person to be recognized extracted by the feature amount extraction unit Recognizing means for collating the feature amount
When the recognition means identifies the facial feature quantity of the recognition target person and the facial feature quantity of the registrant, the door is opened, and the facial feature quantity of the recognition target person and the registrant's When the facial feature amount is not identified, door control means for closing the door;
An image recording means for recording the recognition target person's face image input by the image input means when the recognition target person's facial feature quantity and the registrant's facial feature quantity are not identified ;
A traffic control device comprising: 前記入力手段は、テンキーである、The input means is a numeric keypad.
ことを特徴とする前記請求項１に記載の通行制御装置。The traffic control device according to claim 1, wherein: 前記行先の識別情報は、行先となる部屋番号である、The destination identification information is a room number as a destination.
ことを特徴とする前記請求項１又は２の何れかに記載の通行制御装置。The traffic control device according to claim 1, wherein the traffic control device is a control device. 前記入力手段は、物理鍵の溝部により行先の識別情報を認識する、The input means recognizes the destination identification information from the groove of the physical key;
ことを特徴とする前記請求項１に記載の通行制御装置。The traffic control device according to claim 1, wherein:
JP2008193988A 2001-07-27 2008-07-28 Traffic control device Expired - Fee Related JP4945526B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008193988A JP4945526B2 (en) 2001-07-27 2008-07-28 Traffic control device

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2001228346 2001-07-27
JP2001228346 2001-07-27
JP2008193988A JP4945526B2 (en) 2001-07-27 2008-07-28 Traffic control device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2002138513A Division JP2003108984A (en) 2001-07-27 2002-05-14 Facial image authentication device, passage controller, facial image authentication method, and passage control method

Publications (2)

Publication Number Publication Date
JP2009002150A JP2009002150A (en) 2009-01-08
JP4945526B2 true JP4945526B2 (en) 2012-06-06

Family

ID=39981177

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2008193987A Abandoned JP2009009588A (en) 2001-07-27 2008-07-28 Face image recognition apparatus
JP2008193989A Abandoned JP2008257750A (en) 2001-07-27 2008-07-28 Face image recognition device, access control device, face image recognition method, and access control method
JP2008193988A Expired - Fee Related JP4945526B2 (en) 2001-07-27 2008-07-28 Traffic control device

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2008193987A Abandoned JP2009009588A (en) 2001-07-27 2008-07-28 Face image recognition apparatus
JP2008193989A Abandoned JP2008257750A (en) 2001-07-27 2008-07-28 Face image recognition device, access control device, face image recognition method, and access control method

Country Status (1)

Country Link
JP (3) JP2009009588A (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110073407B (en) * 2016-12-16 2023-05-12 松下知识产权经营株式会社 Face image processing method and face image processing apparatus
JP6941966B2 (en) * 2017-04-19 2021-09-29 株式会社日立製作所 Person authentication device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001182395A (en) * 1999-12-27 2001-07-06 Keiyo System Giken Kk Security control system

Also Published As

Publication number Publication date
JP2009002150A (en) 2009-01-08
JP2008257750A (en) 2008-10-23
JP2009009588A (en) 2009-01-15

Similar Documents

Publication Publication Date Title
KR100494007B1 (en) Face image recognition device
US7050608B2 (en) Face image recognition apparatus
JP4314016B2 (en) Person recognition device and traffic control device
US7120278B2 (en) Person recognition apparatus
EP1136937B1 (en) Facial image forming recognition apparatus and a pass control apparatus
US8345933B2 (en) Procedure for identifying a person by eyelash analysis
JP5012247B2 (en) Authentication device, entrance management device, entrance / exit management device, entrance management system, entrance / exit management system, authentication processing method and program
JP2001338296A (en) Face image recognizing device and passing through controller
JP4760049B2 (en) Face authentication device, face authentication method, electronic device incorporating the face authentication device, and recording medium recording the face authentication program
JP2006031103A (en) Biometric system, biometric method and passing control device
JP2010009389A (en) Dictionary information registration device, dictionary information registration method, face authentication device, and access control system
JP4945526B2 (en) Traffic control device
JP4434560B2 (en) Entrance / exit management system
JP2005182184A (en) Person recognition apparatus, person recognition method and access control apparatus
JP2005202731A (en) Face recognition device, method for recognizing face and passage control apparatus
JP2004078686A (en) Personal identification device and method, passage control device and method
JP2002334335A (en) Face image recognition device and passage controller
JP2003308524A (en) Access control system
JP2001266153A (en) Face image recognizing device and passage controller
JP3863225B2 (en) Key management apparatus and management method thereof
JP2005292994A (en) Personal recognition system and passage control system
JP2004310287A (en) Person recognition device and passing controller
JP2005063172A (en) Face verifying apparatus and passage controller
JP2004139259A (en) Figure recognition device, figure recognition method and passing control unit
JP2004126812A (en) Personal recognition device, personal recognition method and passage control device

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120207

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120305

R151 Written notification of patent or utility model registration

Ref document number: 4945526

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150309

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees