JP3245447U

JP3245447U - face recognition system

Info

Publication number: JP3245447U
Application number: JP2023004265U
Authority: JP
Inventors: 施松村; 李益成
Original assignee: 正修學校財團法人正修科技大學
Priority date: 2023-11-15
Filing date: 2023-11-28
Publication date: 2024-01-29
Anticipated expiration: 2033-11-28

Abstract

【課題】ジェスチャ及びジェスチャによって遮蔽された五官に基づいて判断することができる、顔認識システムを提供する。【解決手段】顔認識システムは、人物を撮影して撮影画像を取得するカメラ装置と、撮影画像から五官情報及びロック解除ジェスチャ情報を認識して取得する認識モジュールと、数人の人物それぞれの認識情報を記憶するデータベースモジュールであって、認識情報が少なくとも１つの遮蔽されていない五官の特徴値、遮蔽された五官の特徴値及びジェスチャ特徴値を含むデータベースモジュールと、五官情報に基づいてデータベースモジュールから完全に一致する認識情報を取得し、さらにロック解除ジェスチャ情報に基づき、認識情報のジェスチャ特徴値と同じで、人物のジェスチャが遮蔽された五官を完全に遮蔽しているか否かを確認し、確認結果が「ＹＥＳ」の場合、認識成功と認定するプロセッサモジュールとを含む。【選択図】図１The present invention provides a face recognition system that can make judgments based on gestures and five senses occluded by the gestures. [Solution] A face recognition system includes a camera device that photographs a person and acquires a photographed image, a recognition module that recognizes and acquires five sense information and unlock gesture information from the photographed image, and recognizes each of several people. a database module for storing information, wherein the recognition information includes at least one unoccluded five-sensory feature value, one occluded five-sensory feature value, and a gesture feature value; Obtain completely matching recognition information, and then check based on the unlock gesture information to see if the gesture feature value of the person is the same as the recognition information and completely obscures the five occluded organs. If the result is "YES", the processor module certifies the recognition as successful. [Selection diagram] Figure 1

Description

本考案は、主に認識システムであり、特に、ジェスチャ及び該ジェスチャによって遮蔽された五官に基づいて判断を行う顔認識システムに関する。 The present invention mainly relates to a recognition system, and particularly to a face recognition system that makes judgments based on gestures and five senses occluded by the gestures.

従来の顔認識システムのプロセスには、顔検出、顔特徴のキャプチャ、及び顔と身元の認識等の３つのステップが含まれており、該従来の顔認識システムは顔を検出して、顔画像をキャプチャした後、それをコンピュータ値（ＦａｃｅＤａｔａ）に変換し、該コンピュータ値を用いてデータベースを構築し、後続では身元分析、比較及び検証が行われる。該従来の顔認識システムは、顔にマスクを着用しているか否かさえも認識でき、伝染病の流行時の出入り者の健康管理に適している。 The process of traditional facial recognition system includes three steps such as face detection, facial feature capture, and face and identity recognition, and the traditional facial recognition system detects a face and creates a facial image. After capturing, it is converted into a computer value (Face Data), and the computer value is used to build a database, which is subsequently used for identity analysis, comparison and verification. The conventional facial recognition system can even recognize whether a person is wearing a mask on their face, and is suitable for managing the health of people entering and exiting during an epidemic.

該従来の顔認識システムは写真や動画によって容易にクラックされるため、悪意のある者がソーシャルソフトウェアから特定の人物の写真を入手し、偽造された身元として使用することがあり、よって該従来の顔認識システムにはセキュリティ上の抜け穴がある。 Because traditional facial recognition systems are easily cracked through photos and videos, malicious actors can obtain photos of specific people from social software and use them as fake identities, thus Facial recognition systems have security loopholes.

以上に鑑みて、上記問題を解決するために顔認識システムを提供する必要がある。 In view of the above, it is necessary to provide a face recognition system to solve the above problems.

本考案の目的は、ジェスチャ及び該ジェスチャによって遮蔽された五官に基づいて判断することができる、顔認識システムを提供することである。 The purpose of the present invention is to provide a face recognition system that can make judgments based on gestures and five senses occluded by the gestures.

上記目的を達成するために、本考案は、人物を撮影して撮影画像を取得するためのカメラ装置と、該カメラ装置に電気的に接続され、該撮影画像から五官情報及びロック解除ジェスチャ情報を認識して取得するための認識モジュールであって、該五官情報が該人物の五官のうち少なくとも１つの特徴値及びその境界ボックス情報を有し、該ロック解除ジェスチャ情報が該撮影画像内で該人物によって行われたジェスチャのジェスチャ特徴値及びその境界ボックス情報を有する認識モジュールと、数人の人物それぞれの認識情報を記憶するためのデータベースモジュールであって、該認識情報が少なくとも１つの遮蔽されていない五官の特徴値、遮蔽された五官の顔における領域位置及びジェスチャ特徴値を含むデータベースモジュールと、該カメラ装置、該認識モジュール及び該データベースモジュールに電気的に接続され、該五官情報が有する特徴値に基づき、該データベースモジュールから完全に一致する少なくとも１つの遮蔽されていない五官の特徴値を有する認識情報を取得するためのプロセッサモジュールであって、該認識モジュールによって取得されたジェスチャ特徴値と該認識情報のジェスチャ特徴値とを互いに比較し、比較の結果が同じである場合、さらに該ジェスチャ特徴値の境界ボックス情報に基づき、該遮蔽された五官の領域位置が該ジェスチャの領域内に完全に限定されているか否かを確認し、確認結果が「ＹＥＳ」の場合、該人物を認識成功と認定するプロセッサモジュールと、を含む、顔認識システムを提供する。 In order to achieve the above object, the present invention includes a camera device for photographing a person to obtain a photographed image, and a camera device that is electrically connected to the camera device and extracts five sense information and unlock gesture information from the photographed image. a recognition module for recognizing and acquiring, wherein the five sense information has a feature value of at least one of the five senses of the person and its bounding box information; a recognition module having gesture feature values and bounding box information of gestures performed by a person; and a database module for storing recognition information of each of several persons, the recognition information comprising at least one unoccluded a database module including feature values of the five senses, area positions and gesture feature values in the occluded face of the five senses; and a database module electrically connected to the camera device, the recognition module and the database module, and a database module containing the feature values of the five sense information; a processor module for obtaining recognition information having at least one unoccluded five sense feature value that completely matches from the database module based on the gesture feature value obtained by the recognition module and the recognition information; gesture feature values and if the comparison results are the same, further based on the bounding box information of the gesture feature value, the region position of the occluded five senses is completely confined within the region of the gesture. A face recognition system is provided, including a processor module that confirms whether or not the person has been successfully recognized, and if the confirmation result is "YES", recognizes that the person has been successfully recognized.

いくつかの実施例において、該認識モジュールは、該撮影画像から顔画像をキャプチャするための顔検出ユニットと、該顔検出ユニットに電気的に接続され、該顔画像から該五官情報を認識して取得するための五官認識ユニットと、該撮影画像から該ロック解除ジェスチャ情報を認識して取得するためのジェスチャ認識ユニットとを含む。 In some embodiments, the recognition module includes a face detection unit for capturing a facial image from the photographed image, and is electrically connected to the face detection unit and recognizes the five sense information from the facial image. It includes a five-sensory recognition unit for acquiring the information, and a gesture recognition unit for recognizing and acquiring the unlock gesture information from the captured image.

いくつかの実施例において、該五官の特徴値は、目特徴値、耳特徴値、鼻特徴値、口特徴値及び眉特徴値を含む。 In some embodiments, the five sense feature values include an eye feature value, an ear feature value, a nose feature value, a mouth feature value, and an eyebrow feature value.

いくつかの実施例において、該プロセッサモジュールは該認識モジュールによって取得されたジェスチャ特徴値と該認識情報のジェスチャ特徴値とを互いに比較し、比較結果が同じでない場合、該プロセッサモジュールは該人物を認識失敗と直接認定する。 In some embodiments, the processor module compares the gesture feature values obtained by the recognition module and the gesture feature values of the recognition information with each other, and if the comparison results are not the same, the processor module recognizes the person. Directly recognize it as a failure.

いくつかの実施例において、該プロセッサモジュールは該認識モジュールによって取得されたジェスチャ特徴値と該認識情報のジェスチャ特徴値とを互いに比較し、比較結果が同じでない場合、該プロセッサモジュールは表示装置を介して再認識メッセージを表示する。 In some embodiments, the processor module compares the gesture feature values obtained by the recognition module and the gesture feature values of the recognition information with each other, and if the comparison results are not the same, the processor module displays a message via the display device. to display a re-recognition message.

いくつかの実施例において、該プロセッサモジュールはさらに、該ジェスチャ特徴値の境界ボックス情報に基づき、該遮蔽された五官の領域位置が該ジェスチャの領域内に完全に限定されているか否かを確認し、確認結果が「ＮＯ」の場合、該プロセッサモジュールは該人物を認識失敗と直接認定する。 In some embodiments, the processor module further determines whether the occluded pentate region position is completely confined within the region of the gesture based on bounding box information of the gesture feature value. , if the confirmation result is "NO", the processor module directly identifies the person as a recognition failure.

いくつかの実施例において、該プロセッサモジュールはさらに、該ジェスチャ特徴値の境界ボックス情報に基づき、該遮蔽された五官の領域位置が該ジェスチャの領域内に完全に限定されているか否かを確認し、確認結果が「ＮＯ」の場合、該プロセッサモジュールは表示装置を介して再認識メッセージを表示する。 In some embodiments, the processor module further determines whether the occluded pentate region position is completely confined within the region of the gesture based on bounding box information of the gesture feature value. , if the confirmation result is "NO", the processor module displays a re-recognition message via the display device.

本考案は、データベースで数人の人物それぞれの認識情報を記憶するステップであって、該認識情報が少なくとも１つの遮蔽されていない五官の特徴値、遮蔽された五官の顔における領域位置及びジェスチャ特徴値を含むステップと、人物を撮影して撮影画像を取得するステップと、該撮影画像を認識して、該撮影画像から五官情報及びロック解除ジェスチャ情報を認識して取得するステップであって、該五官情報が該人物の五官のうち少なくとも１つの特徴値及びその境界ボックス情報を有し、該ロック解除ジェスチャ情報が該撮影画像内で該人物によって行われたジェスチャのジェスチャ特徴値及びその境界ボックス情報を有するステップと、該五官情報が有する特徴値に基づき、該データベースから完全に一致する少なくとも１つの遮蔽されていない五官の特徴値を有する認識情報を取得し、認識によって取得されたジェスチャ特徴値と該認識情報のジェスチャ特徴値とを互いに比較し、比較の結果が同じである場合、さらに認識によって取得されたジェスチャ特徴値の境界ボックス情報に基づき、該遮蔽された五官の領域位置が該ジェスチャの領域内に完全に限定されているか否かを確認し、確認結果が「ＹＥＳ」の場合、該人物を認識成功と認定するステップと、を含む、顔認識方法をさらに提供する。 The present invention comprises the step of storing recognition information of each of several persons in a database, the recognition information including at least one feature value of an unoccluded five senses, a region position on the face of the occluded five senses, and a gesture feature. a step of photographing a person to obtain a photographed image; and a step of recognizing the photographed image and recognizing and acquiring five sense information and unlock gesture information from the photographed image, the steps comprising: The five sense information has a feature value of at least one of the five senses of the person and its bounding box information, and the unlock gesture information has a gesture feature value of a gesture performed by the person in the captured image and its bounding box information. and acquiring recognition information having at least one unoccluded feature value of the five senses that completely matches from the database based on the feature value of the five sense information, and a step of acquiring recognition information having at least one unoccluded feature value of the five senses that completely matches the gesture feature value obtained by recognition. The gesture feature values of the recognition information are compared with each other, and if the comparison results are the same, then based on the bounding box information of the gesture feature value obtained by recognition, the occluded five sense region position is determined for the gesture. The present invention further provides a face recognition method including the step of confirming whether the person is completely confined within the area and, if the confirmation result is "YES", determining that the person has been successfully recognized.

いくつかの実施例において、認識によって取得されたジェスチャ特徴値の境界ボックス情報に基づき、該遮蔽された五官の領域位置が該ジェスチャの領域内に完全に限定されているか否かを確認し、確認結果が「ＮＯ」の場合、該人物を認識失敗と認定する。 In some embodiments, based on the bounding box information of the gesture feature values obtained through recognition, checking whether the occluded five sense region position is completely confined within the region of the gesture; If the result is "NO", the person is determined to have failed in recognition.

いくつかの実施例において、認識によって取得されたジェスチャ特徴値の境界ボックス情報に基づき、該遮蔽された五官の領域位置が該ジェスチャの領域内に完全に限定されているか否かを確認し、確認結果が「ＮＯ」の場合、表示装置を介して再認識メッセージを表示する。 In some embodiments, based on the bounding box information of the gesture feature values obtained through recognition, checking whether the occluded five sense region position is completely confined within the region of the gesture; If the result is "NO", a re-recognition message is displayed via the display device.

本考案の顔認識システム及び方法は、使用者が行ったジェスチャ、該ジェスチャによって遮蔽された五官、及び該ジェスチャで遮蔽されていない五官に基づいて顔認識を行うことができるという特徴を有する。これにより、本考案の顔認識システム及び方法は、認識の安全性を高める効果が得られる。 The face recognition system and method of the present invention is characterized in that face recognition can be performed based on a gesture performed by a user, five senses occluded by the gesture, and five occluded senses not occluded by the gesture. As a result, the face recognition system and method of the present invention has the effect of increasing recognition safety.

本考案の顔認識システムのシステムブロック図である。FIG. 1 is a system block diagram of the face recognition system of the present invention. 本考案の顔認識システムの使用模式図である。1 is a schematic diagram of the use of the face recognition system of the present invention; FIG. 図２の認識プロセスの模式図である。FIG. 3 is a schematic diagram of the recognition process of FIG. 2; 本考案の顔認識方法のステップのフローチャートである。3 is a flowchart of the steps of the face recognition method of the present invention.

以下において、本考案の実施例を図面を参照して詳細に説明するが、添付された図面は主に簡略化された模式図であり、本考案の基本構造を概略的に示すものに過ぎない。したがって、これらの図面では本考案に関係するコンポーネントのみを示し、示されたコンポーネントは実施時のコンポーネントの数、形状、及びサイズ比率等で描かれておらず、その実際の実施時の規格寸法は選択的な設計であり、そのコンポーネントの配置もより複雑になり得る。 In the following, embodiments of the present invention will be described in detail with reference to the drawings, but the attached drawings are mainly simplified schematic diagrams and only schematically illustrate the basic structure of the present invention. . Therefore, these drawings only show the components related to the present invention, and the components shown are not depicted in terms of the number, shape, size ratio, etc. of the components when actually implemented, and the standard dimensions when actually implemented are The design is selective and the arrangement of its components can also be more complex.

以下の各実施例の説明は添付の図面を参照し、本考案を実施することができる特定の実施例を例示するためのものである。本考案に記載の「上」、「下」、「前」、「後」等の方向を示す用語は、添付図面の方向を参照して用いられているに過ぎない。したがって、使用される方向用語は、本願を限定するのではなく、本願を説明及び理解するためのものである。また、本明細書では、反対の明示的な記載がない限り、用語「含む」は、記載されたコンポーネントを含むが、他のコンポーネントを排除しないものと理解すべきである。 The following description of the embodiments, with reference to the accompanying drawings, is intended to illustrate specific embodiments in which the invention may be practiced. Directional terms such as "upper", "lower", "front", "rear", etc. in the present invention are only used with reference to the orientation of the accompanying drawings. Accordingly, the directional terminology used is for the purpose of explaining and understanding the present application, rather than limiting the present application. Also, as used herein, unless expressly stated to the contrary, the term "comprising" should be understood to include the listed component but not exclude other components.

本考案の顔認識システムのシステムブロック図である図１を参照する。本考案の顔認識システムは、カメラ装置１、認識モジュール２、データベースモジュール３、及びプロセッサモジュール４を含む。そのうち、該認識モジュール２は該カメラ装置１に電気的に接続され、該プロセッサモジュール４は該カメラ装置１、該認識モジュール２及び該データベースモジュール３に電気的に接続される。 Please refer to FIG. 1, which is a system block diagram of the face recognition system of the present invention. The face recognition system of the present invention includes a camera device 1, a recognition module 2, a database module 3, and a processor module 4. Among them, the recognition module 2 is electrically connected to the camera device 1 , and the processor module 4 is electrically connected to the camera device 1 , the recognition module 2 and the database module 3 .

該カメラ装置１は、人物を撮影して撮影画像を取得するために用いられ、該カメラ装置１は、例えば、ネットワークカメラ、スマートフォン、又はカメラであってもよいが、これらに限定されない。 The camera device 1 is used to photograph a person and obtain a photographed image, and the camera device 1 may be, for example, a network camera, a smartphone, or a camera, but is not limited to these.

該認識モジュール２は、該カメラ装置１に電気的に接続され、該撮影画像から五官情報及びロック解除ジェスチャ情報を認識して取得するために用いられる。ここで、該五官情報は、該人物の五官のうち少なくとも１つの特徴値及びその境界ボックス情報を有し、本実施例において、該五官の特徴値は、目特徴値、耳特徴値、鼻特徴値、口特徴値及び眉特徴値を含む。また、該ロック解除ジェスチャ情報は、該撮影画像内で該人物によって行われたジェスチャのジェスチャ特徴値及びその境界ボックス（ＢｏｕｎｄｉｎｇＢｏｘ）情報を有する。 The recognition module 2 is electrically connected to the camera device 1 and is used to recognize and obtain five sense information and unlock gesture information from the captured image. Here, the five senses information includes a feature value of at least one of the five senses of the person and its bounding box information, and in this embodiment, the five senses feature value includes an eye feature value, an ear feature value, a nose feature value. value, mouth feature value, and eyebrow feature value. Further, the unlock gesture information includes a gesture feature value of a gesture performed by the person in the captured image and its bounding box information.

該認識モジュール２は、顔検出ユニット２１、五官認識ユニット２２及びジェスチャ認識ユニット２３を含み、そのうち、該顔検出ユニット２１は、該撮影画像から顔画像をキャプチャするために用いられる。例えば、該顔検出ユニット２１は、該撮影画像に対して肌色の色分割を行い、形態学（Ｍｏｒｐｈｏｌｏｇｙ）のクロージング演算（Ｃｌｏｓｉｎｇ）により肌色領域内の空洞及び不連続な箇所を埋める。その後、該顔検出ユニット２１は該肌色領域を投影して肌色に該当する領域を枠で選択し、投影のアスペクト比を用いて顔に属さない可能性のある領域を除外し、最終的に該顔画像を得る。好ましくは、該顔検出ユニット２１はさらに、顔検出の精度を向上させるために、アテンションカスケード法（ＡｔｔｅｎｔｉｏｎａｌＣａｓｃａｄｅ）を用いて、顔に属する可能性のある領域が顔の正面であるか否かを判断することができる。 The recognition module 2 includes a face detection unit 21, a five-sensory recognition unit 22, and a gesture recognition unit 23, among which the face detection unit 21 is used to capture a face image from the photographed image. For example, the face detection unit 21 performs skin color segmentation on the photographed image, and fills in cavities and discontinuous points in the skin color region by a closing operation of morphology. After that, the face detection unit 21 projects the skin color area, selects the area corresponding to the skin color with a frame, uses the projection aspect ratio to exclude areas that may not belong to the face, and finally Obtain a face image. Preferably, the face detection unit 21 further uses an attentional cascade method to determine whether the area that may belong to the face is in front of the face or not, in order to improve the accuracy of face detection. can be judged.

そのうち、該五官認識ユニット２２は、該顔検出ユニット２１に電気的に接続され、該顔画像から該五官情報を認識して取得するために用いられる。また、該ジェスチャ認識ユニット２３は、該撮影画像から該ロック解除ジェスチャ情報を認識して取得するために用いられる。例えば、該五官認識ユニット２２及び該ジェスチャ認識ユニット２３は、両方とも深層学習等のニューラルネットワークを用いて実現することができ、そのうち、該五官認識ユニット２２のトレーニングモデルの入力データは該顔画像であり、出力データは五官の特徴値であり、該ジェスチャ認識ユニット２３のトレーニングモデルの入力データは該顔画像であり、出力データは該ジェスチャの境界ボックス及びジェスチャ特徴値である。これらは本考案の技術分野における一般的な知識であるので、ここでは詳細な説明を省略する。 Among them, the five sense recognition unit 22 is electrically connected to the face detection unit 21 and is used to recognize and obtain the five sense information from the face image. Further, the gesture recognition unit 23 is used to recognize and obtain the unlock gesture information from the captured image. For example, both the five-sensory recognition unit 22 and the gesture recognition unit 23 can be realized using a neural network such as deep learning, and the input data for the training model of the five-sensory recognition unit 22 is the facial image. , the output data is the five sense feature values, the input data of the training model of the gesture recognition unit 23 is the face image, and the output data is the bounding box of the gesture and the gesture feature value. Since these are common knowledge in the technical field of the present invention, detailed explanation will be omitted here.

該データベースモジュール３は、数人の人物それぞれの認識情報を記憶するために用いられ、該認識情報は、少なくとも１つの遮蔽されていない五官の特徴値、遮蔽された五官の顔における領域位置及びジェスチャ特徴値を含む。 The database module 3 is used to store recognition information of each of several persons, the recognition information including at least one unoccluded feature value of the five senses, a region position on the face of the occluded five senses, and a gesture. Contains feature values.

該プロセッサモジュール４は、該カメラ装置１、該認識モジュール２及び該データベースモジュール３に電気的に接続され、本実施例において、該プロセッサモジュール４は、中央処理装置（ＣＰＵ）又は他のプログラマブルマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、プログラマブルコントローラ、特定用途向け集積回路（ＡＳＩＣ）又は他の類似のコンポーネント又は上記コンポーネントの組み合わせである。 The processor module 4 is electrically connected to the camera device 1, the recognition module 2 and the database module 3, and in this embodiment, the processor module 4 is a central processing unit (CPU) or other programmable microprocessor. , digital signal processor (DSP), programmable controller, application specific integrated circuit (ASIC) or other similar components or combinations of the above components.

該プロセッサモジュール４は、該カメラ装置１及び該認識モジュール２の動作を制御し、該五官情報が有する特徴値に基づき、該データベースモジュール３から完全に一致する少なくとも１つの遮蔽されていない五官の特徴値を有する認識情報を取得するために用いられる。該プロセッサモジュール４は、該認識モジュール２によって取得されたジェスチャ特徴値と該認識情報のジェスチャ特徴値とを互いに比較し、比較結果が同じでない場合、該プロセッサモジュール４は該人物を認識失敗と直接認定するか、又は表示装置５を介して再認識メッセージを表示する。比較の結果が同じである場合、該プロセッサモジュール４はさらに該ジェスチャ特徴値の境界ボックス情報に基づき、該遮蔽された五官の領域位置が該ジェスチャの領域内に完全に限定されているか否かを確認する。確認結果が「ＹＥＳ」の場合、該プロセッサモジュール４は該人物を認識成功と認定し、確認結果が「ＮＯ」の場合、該プロセッサモジュール４は該人物を認識失敗と直接認定するか、又は該表示装置５を介して該再認識メッセージを表示する。 The processor module 4 controls the operation of the camera device 1 and the recognition module 2, and extracts at least one completely matching unobscured five-sensory feature from the database module 3 based on the feature value of the five-sensory information. Used to obtain recognition information having a value. The processor module 4 compares the gesture feature value obtained by the recognition module 2 with the gesture feature value of the recognition information, and if the comparison results are not the same, the processor module 4 directly identifies the person as a recognition failure. It is recognized or a re-recognition message is displayed via the display device 5. If the results of the comparison are the same, the processor module 4 further determines whether the occluded five sense region position is completely confined within the region of the gesture based on the bounding box information of the gesture feature value. confirm. If the confirmation result is "YES", the processor module 4 recognizes the person as successful in recognition; if the confirmation result is "NO", the processor module 4 directly recognizes the person as unsuccessful in recognition, or The re-recognition message is displayed via the display device 5.

指摘すべきことは、該カメラ装置１が撮影して該撮影画像を取得した後、該プロセッサモジュール４は、まず該撮影画像を設定されたサイズ（例えば６４０＊６４０ピクセル）に縮小又は拡大し、さらに画像正規化（Ｎｏｒｍａｌｉｚａｔｉｏｎ）処理を行ってから、画像前処理を行われた撮影画像を該認識モジュール２に伝送して顔検出、五官認識及びジェスチャ認識等の処理を行うことができる点である。 It should be pointed out that after the camera device 1 photographs and obtains the photographed image, the processor module 4 first reduces or enlarges the photographed image to a set size (for example, 640*640 pixels), Furthermore, after performing image normalization processing, the captured image that has been subjected to image preprocessing can be transmitted to the recognition module 2 to perform processing such as face detection, five sense recognition, and gesture recognition. .

図２、図３を参照する。本考案の顔認識システムは使用時に、認識される人物は該カメラ装置１に向かって該データベースモジュール３に記録されたジェスチャを行い、該カメラ装置１は該人物に向かって撮影し、生成された撮影画像Ｆ１を該認識モジュール２に伝送して認識させる。 Refer to FIGS. 2 and 3. When the face recognition system of the present invention is used, the person to be recognized performs a gesture recorded in the database module 3 toward the camera device 1, and the camera device 1 takes a picture toward the person and generates a The photographed image F1 is transmitted to the recognition module 2 for recognition.

該認識モジュール２は、該撮影画像Ｆ１から該顔画像Ｆ２をキャプチャし、該顔画像Ｆ２から、該人物を含む目特徴値及びその境界ボックスＦ３、耳特徴値及びその境界ボックスＦ４、鼻特徴値及びその境界ボックスＦ５、並びに眉特徴値及びその境界ボックスＦ６等の遮蔽されていない五官の特徴値を認識して取得する。なお、該認識モジュール２はさらに、該撮影画像Ｆ１から該人物が行ったジェスチャ特徴値の境界ボックスＦ７を取得する。 The recognition module 2 captures the face image F2 from the captured image F1, and extracts from the face image F2 an eye feature value and its bounding box F3 that includes the person, an ear feature value and its bounding box F4, and a nose feature value. and its bounding box F5, and unoccluded five sense feature values such as the eyebrow feature value and its bounding box F6 are recognized and acquired. Note that the recognition module 2 further acquires a bounding box F7 of gesture feature values performed by the person from the captured image F1.

該プロセッサモジュール４は、該データベースモジュール３から上記五官情報及びジェスチャ特徴値に完全に一致する認識情報を検索し、その後、該遮蔽された五官（即ち口）の領域位置と該ジェスチャ特徴値の境界ボックスＦ７とを互いに比較し、該ジェスチャが該人物の口を完全に遮蔽していれば、該プロセッサモジュール４は該人物を認識成功と認定する。 The processor module 4 searches the database module 3 for recognition information that completely matches the five senses information and gesture feature values, and then determines the boundary between the occluded five senses (i.e. mouth) region position and the gesture feature value. box F7, and if the gesture completely covers the person's mouth, the processor module 4 recognizes the person as successful.

本考案の顔認識方法のステップのフローチャートである図４を参照する。本考案の顔認識方法は、以下のステップを含む。 Please refer to FIG. 4, which is a flow chart of the steps of the face recognition method of the present invention. The face recognition method of the present invention includes the following steps.

第１ステップＳ１で、データベースで数人の人物それぞれの認識情報を記憶し、該認識情報は少なくとも１つの遮蔽されていない五官の特徴値、遮蔽された五官の顔における領域位置及びジェスチャ特徴値を含む。 In a first step S1, the recognition information of each of several people is stored in a database, and the recognition information includes at least one unoccluded feature value of the five senses, a region position on the face of the occluded five senses, and a gesture feature value. include.

第２ステップＳ２で、人物を撮影して撮影画像を取得する。 In a second step S2, a person is photographed to obtain a photographed image.

第３ステップＳ３で、該撮影画像を認識して、該撮影画像から五官情報及びロック解除ジェスチャ情報を認識して取得し、該五官情報は該人物の五官のうち少なくとも１つの特徴値及びその境界ボックス情報を有し、該ロック解除ジェスチャ情報は該撮影画像内で該人物によって行われたジェスチャのジェスチャ特徴値及びその境界ボックス情報を有する。 In a third step S3, the photographed image is recognized and five sense information and unlock gesture information are recognized and acquired from the photographed image, and the five sense information includes a characteristic value of at least one of the five senses of the person and its boundary. box information, and the unlock gesture information includes a gesture feature value of a gesture performed by the person in the captured image and its bounding box information.

第４ステップＳ４で、該五官情報が有する特徴値に基づき、該データベースから完全に一致する少なくとも１つの遮蔽されていない五官の特徴値を有する認識情報を取得し、認識によって取得されたジェスチャ特徴値と該認識情報のジェスチャ特徴値とを互いに比較し、比較の結果が同じである場合、さらに認識によって取得されたジェスチャ特徴値の境界ボックス情報に基づき、該遮蔽された五官の領域位置が該ジェスチャの領域内に完全に限定されているか否かを確認し、確認結果が「ＹＥＳ」の場合、該人物を認識成功と認定する。 In a fourth step S4, based on the feature values of the five senses information, recognition information having at least one completely matching five senses feature value that is not occluded is obtained from the database, and the gesture feature value obtained by recognition is obtained. and the gesture feature value of the recognition information, and if the comparison results are the same, further based on the bounding box information of the gesture feature value obtained by recognition, the area position of the occluded five senses is determined to be the same as that of the gesture. It is confirmed whether the person is completely limited to the area of , and if the confirmation result is "YES", the recognition of the person is recognized as successful.

第５ステップＳ５で、認識によって取得されたジェスチャ特徴値の境界ボックス情報に基づき、該遮蔽された五官の領域位置が該ジェスチャの領域内に完全に限定されているか否かを確認し、確認結果が「ＮＯ」の場合、該人物を認識失敗と認定する。 In a fifth step S5, based on the bounding box information of the gesture feature value obtained by recognition, it is confirmed whether the occluded area position of the five senses is completely limited within the area of the gesture, and the confirmation result is If “NO”, the person is recognized as having failed to be recognized.

第６ステップＳ６で、認識によって取得されたジェスチャ特徴値の境界ボックス情報に基づき、該遮蔽された五官の領域位置が該ジェスチャの領域内に完全に限定されているか否かを確認し、確認結果が「ＮＯ」の場合、表示装置を介して再認識メッセージを表示する。 In the sixth step S6, based on the bounding box information of the gesture feature value obtained by recognition, it is confirmed whether the occluded area position of the five senses is completely limited within the area of the gesture, and the confirmation result is If "NO", a re-recognition message is displayed via the display device.

本考案の顔認識方法は、上記顔認識システムを用いて実現することができるが、これに限定されない。 The face recognition method of the present invention can be realized using the above face recognition system, but is not limited thereto.

前述のとおり、本考案の顔認識システム及び方法は、使用者が行ったジェスチャ、該ジェスチャによって遮蔽された五官、及び該ジェスチャで遮蔽されていない五官に基づいて顔認識を行うことができる。これにより、本考案の顔認識システム及び方法は、認識の安全性を高める効果が得られる。 As described above, the face recognition system and method of the present invention can perform facial recognition based on the gesture performed by the user, the five senses that are occluded by the gesture, and the five senses that are not occluded by the gesture. As a result, the face recognition system and method of the present invention has the effect of increasing recognition safety.

上記に開示された実施形態は本考案の原理、特徴及び効果を例示的に説明するものに過ぎず、本考案の実施可能な範囲を限定するものではない。当業者であれば、本考案の精神及び範囲から逸脱することなく、上記実施形態に対して修飾及び変更を加えることができる。本考案に開示された内容を応用して行われたいかなる均等の変更及び修飾も、依然として以下の実用新案登録請求の範囲に含まれるものとする。 The embodiments disclosed above are merely illustrative of the principles, features, and effects of the present invention, and do not limit the scope of implementation of the present invention. Those skilled in the art can make modifications and changes to the embodiments described above without departing from the spirit and scope of the invention. Any equivalent changes and modifications made by applying the contents disclosed in this invention shall still be included in the scope of the following utility model registration claims.

１カメラ装置
２認識モジュール
２１顔検出ユニット
２２五官認識ユニット
２３ジェスチャ認識ユニット
３データベースモジュール
４プロセッサモジュール
５表示装置
Ｆ１撮影画像
Ｆ２顔画像
Ｆ３目特徴値の境界ボックス
Ｆ４耳特徴値の境界ボックス
Ｆ５鼻特徴値の境界ボックス
Ｆ６眉特徴値の境界ボックス
Ｆ７ジェスチャ特徴値の境界ボックス
Ｓ１第１ステップ
Ｓ２第２ステップ
Ｓ３第３ステップ
Ｓ４第４ステップ
Ｓ５第５ステップ
Ｓ６第６ステップ 1 Camera device 2 Recognition module 21 Face detection unit 22 Five senses recognition unit 23 Gesture recognition unit 3 Database module 4 Processor module 5 Display device F1 Captured image F2 Face image F3 Bounding box of eye feature values F4 Bounding box of ear feature values F5 Nose feature Bounding box of value F6 Bounding box of eyebrow feature value F7 Bounding box of gesture feature value S1 1st step S2 2nd step S3 3rd step S4 4th step S5 5th step S6 6th step

Claims

人物を撮影して撮影画像を取得するためのカメラ装置と、
該カメラ装置に電気的に接続され、該撮影画像から五官情報及びロック解除ジェスチャ情報を認識して取得するための認識モジュールであって、該五官情報が該人物の五官のうち少なくとも１つの特徴値及びその境界ボックス情報を有し、該ロック解除ジェスチャ情報が該撮影画像内で該人物によって行われたジェスチャのジェスチャ特徴値及びその境界ボックス情報を有する認識モジュールと、
数人の人物それぞれの認識情報を記憶するためのデータベースモジュールであって、該認識情報が少なくとも１つの遮蔽されていない五官の特徴値、遮蔽された五官の顔における領域位置及びジェスチャ特徴値を含むデータベースモジュールと、
該カメラ装置、該認識モジュール及び該データベースモジュールに電気的に接続され、該五官情報が有する特徴値に基づき、該データベースモジュールから完全に一致する少なくとも１つの遮蔽されていない五官の特徴値を有する認識情報を取得するためのプロセッサモジュールであって、該認識モジュールによって取得されたジェスチャ特徴値と該認識情報のジェスチャ特徴値とを互いに比較し、比較の結果が同じである場合、さらに該ジェスチャ特徴値の境界ボックス情報に基づき、該遮蔽された五官の領域位置が該ジェスチャの領域内に完全に限定されているか否かを確認し、確認結果が「ＹＥＳ」の場合、該人物を認識成功と認定するプロセッサモジュールと、を含む、
顔認識システム。 a camera device for photographing a person and obtaining a photographed image;
A recognition module electrically connected to the camera device for recognizing and acquiring five sense information and unlock gesture information from the photographed image, wherein the five sense information is a characteristic value of at least one of the five senses of the person. and bounding box information thereof, and the unlocking gesture information has a gesture feature value of a gesture performed by the person in the captured image and bounding box information thereof;
A database module for storing recognition information for each of several persons, the recognition information including at least one unoccluded five-point feature value, a region position on the occluded five-point face, and a gesture feature value. a database module;
A recognition device electrically connected to the camera device, the recognition module, and the database module, and having at least one unobscured five-sensory feature value that completely matches the five-sensory information from the database module based on the feature value that the five-sensory information has. A processor module for acquiring information, which compares a gesture feature value acquired by the recognition module with a gesture feature value of the recognition information, and if the comparison result is the same, further compares the gesture feature value with the gesture feature value of the recognition information. Based on the bounding box information of a processor module that
facial recognition system.

該認識モジュールは、該撮影画像から顔画像をキャプチャするための顔検出ユニットと、該顔検出ユニットに電気的に接続され、該顔画像から該五官情報を認識して取得するための五官認識ユニットと、該撮影画像から該ロック解除ジェスチャ情報を認識して取得するためのジェスチャ認識ユニットとを含む、請求項１に記載の顔認識システム。 The recognition module includes a face detection unit for capturing a face image from the captured image, and a five-sensory recognition unit that is electrically connected to the face detection unit and recognizes and acquires the five-sensory information from the face image. and a gesture recognition unit for recognizing and acquiring the unlock gesture information from the captured image.

該五官の特徴値は、目特徴値、耳特徴値、鼻特徴値、口特徴値及び眉特徴値を含む、請求項１に記載の顔認識システム。 The face recognition system according to claim 1, wherein the five sense feature values include an eye feature value, an ear feature value, a nose feature value, a mouth feature value, and an eyebrow feature value.

該プロセッサモジュールは該認識モジュールによって取得されたジェスチャ特徴値と該認識情報のジェスチャ特徴値とを互いに比較し、比較結果が同じでない場合、該プロセッサモジュールは該人物を認識失敗と直接認定する、請求項１に記載の顔認識システム。 The processor module compares the gesture feature values obtained by the recognition module with the gesture feature values of the recognition information, and if the comparison results are not the same, the processor module directly identifies the person as having failed in recognition. The face recognition system according to item 1.

該プロセッサモジュールは該認識モジュールによって取得されたジェスチャ特徴値と該認識情報のジェスチャ特徴値とを互いに比較し、比較結果が同じでない場合、該プロセッサモジュールは表示装置を介して再認識メッセージを表示する、請求項４に記載の顔認識システム。 The processor module compares the gesture feature value obtained by the recognition module with the gesture feature value of the recognition information, and if the comparison results are not the same, the processor module displays a re-recognition message via the display device. , The face recognition system according to claim 4.

該プロセッサモジュールはさらに、該ジェスチャ特徴値の境界ボックス情報に基づき、該遮蔽された五官の領域位置が該ジェスチャの領域内に完全に限定されているか否かを確認し、確認結果が「ＮＯ」の場合、該プロセッサモジュールは該人物を認識失敗と直接認定する、請求項１に記載の顔認識システム。 The processor module further checks whether the area position of the occluded five senses is completely confined within the area of the gesture based on the bounding box information of the gesture feature value, and if the checking result is "NO". 2. The facial recognition system of claim 1, wherein the processor module directly identifies the person as a recognition failure.

該プロセッサモジュールはさらに、該ジェスチャ特徴値の境界ボックス情報に基づき、該遮蔽された五官の領域位置が該ジェスチャの領域内に完全に限定されているか否かを確認し、確認結果が「ＮＯ」の場合、該プロセッサモジュールは表示装置を介して再認識メッセージを表示する、請求項６に記載の顔認識システム。 The processor module further checks whether the area position of the occluded five senses is completely confined within the area of the gesture based on the bounding box information of the gesture feature value, and if the checking result is "NO". 7. The facial recognition system of claim 6, wherein the processor module displays a re-recognition message via a display device.