JP7450668B2 - Facial recognition methods, devices, systems, electronic devices and readable storage media - Google Patents
Facial recognition methods, devices, systems, electronic devices and readable storage media Download PDFInfo
- Publication number
- JP7450668B2 JP7450668B2 JP2022106098A JP2022106098A JP7450668B2 JP 7450668 B2 JP7450668 B2 JP 7450668B2 JP 2022106098 A JP2022106098 A JP 2022106098A JP 2022106098 A JP2022106098 A JP 2022106098A JP 7450668 B2 JP7450668 B2 JP 7450668B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- camera
- rgb
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001815 facial effect Effects 0.000 title claims description 71
- 238000000034 method Methods 0.000 title claims description 32
- 230000004927 fusion Effects 0.000 claims description 57
- 238000007499 fusion processing Methods 0.000 claims description 46
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 20
- 238000003384 imaging method Methods 0.000 description 11
- 239000003086 colorant Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000000887 face Anatomy 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Collating Specific Patterns (AREA)
Description
本発明は、画像処理技術分野に関し、特に顔認識方法、装置、システム、電子機器および読み取り可能記憶媒体に関する。 The present invention relates to the field of image processing technology, and in particular to face recognition methods, devices, systems, electronic devices, and readable storage media.
現在、顔認識システムには、画像のみを取り込む二次元顔認識と、赤外線カメラによって顔を立体的に認識する三次元顔認識がある。二次元顔認識は、画像における顔の目、鼻および口の位置を検出して、データベースにおける人物情報と照合することにより特定の人物を認識する方法である。三次元顔認識は、二次元顔認識システムの仕組みに赤外線センサーを加え、顔を三次元データとして認識する機能を付加したものである。 Currently, facial recognition systems include two-dimensional facial recognition, which captures only images, and three-dimensional facial recognition, which recognizes faces in three dimensions using infrared cameras. Two-dimensional face recognition is a method of recognizing a specific person by detecting the positions of the eyes, nose, and mouth of a face in an image and comparing the positions with person information in a database. 3D face recognition adds an infrared sensor to the mechanism of a 2D face recognition system, adding the ability to recognize faces as 3D data.
従来の顔認識方法は、照明、顔の表情および顔の向きによる影響を受けることによって、顔認識精度が低い課題を抱えている。 Conventional face recognition methods suffer from low face recognition accuracy due to the effects of lighting, facial expressions, and facial orientation.
本発明の少なくとも一つの実施例は、異なる波長を有する複数のカメラが異なる方向から撮影した顔画像を用いて顔認識を行うことで、顔認識精度を向上することができる顔認識方法、装置、システム、電子機器および読み取り可能記憶媒体を提供する。 At least one embodiment of the present invention provides a face recognition method and apparatus that can improve face recognition accuracy by performing face recognition using face images taken from different directions by a plurality of cameras having different wavelengths. The Company provides systems, electronic equipment and readable storage media.
上述した技術的課題を解決するために、本発明は、以下のようになされたものである。 In order to solve the above-mentioned technical problem, the present invention has been made as follows.
第一の面では、本発明の実施例は、
少なくとも一つのＲＧＢカメラで撮影した第１の顔画像と、少なくとも一つのＮＩＲカメラで撮影した第２の顔画像とを取得し、前記ＲＧＢカメラの撮影方向が前記ＮＩＲカメラの撮影方向と異なっていること、
前記第１の顔画像と前記第２の顔画像に対して画像融合処理を行い、顔融合画像を取得すること、
前記第１の顔画像と前記第２の顔画像とに基づいてステレオマッチングを行い、三次元深度情報を取得すること、
前記顔融合画像と前記三次元深度情報とに基づいて顔認識を行い、顔認識信頼度を特徴付ける値を取得すること、を含む顔認識方法を提供する。
In a first aspect, embodiments of the invention include:
A first facial image photographed by at least one RGB camera and a second facial image photographed by at least one NIR camera are acquired, and the photographing direction of the RGB camera is different from the photographing direction of the NIR camera. thing,
performing image fusion processing on the first face image and the second face image to obtain a face fusion image;
performing stereo matching based on the first face image and the second face image to obtain three-dimensional depth information;
A face recognition method is provided, which includes performing face recognition based on the face fusion image and the three-dimensional depth information and obtaining a value characterizing face recognition reliability.
第二の面では、本発明の実施例は、
少なくとも一つのＲＧＢカメラで撮影した第１の顔画像と、少なくとも一つのＮＩＲカメラで撮影した第２の顔画像とを取得するための第１取得ブロックであって、前記ＲＧＢカメラの撮影方向が前記ＮＩＲカメラの撮影方向と異なっている第１取得ブロック、
前記第１の顔画像と前記第２の顔画像に対して画像融合処理を行い、顔融合画像を取得するための第１処理ブロック、
前記第１の顔画像と前記第２の顔画像とに基づいてステレオマッチングを行い、三次元深度情報を取得するための第２処理ブロック、
前記顔融合画像と前記三次元深度情報とに基づいて顔認識を行い、顔認識信頼度を特徴付ける値を取得するための顔認識ブロック、を含む顔認識装置を提供する。
In a second aspect, embodiments of the invention include:
a first acquisition block for acquiring a first face image photographed by at least one RGB camera and a second face image photographed by at least one NIR camera, the first acquisition block comprising: a first face image photographed by at least one RGB camera; and a second face image photographed by at least one NIR camera; a first acquisition block different from the shooting direction of the NIR camera;
a first processing block for performing image fusion processing on the first face image and the second face image to obtain a face fusion image;
a second processing block for performing stereo matching based on the first face image and the second face image to obtain three-dimensional depth information;
The present invention provides a face recognition device including a face recognition block for performing face recognition based on the face fusion image and the three-dimensional depth information and acquiring a value characterizing face recognition reliability.
第三の面では、本発明の実施例は、
少なくとも一つのＲＧＢカメラと、少なくとも一つのＮＩＲカメラと、プロセッサとを含み、
前記プロセッサは、前記ＲＧＢカメラの各々に接続されているとともに、前記ＮＩＲカメラの各々に接続されており、
前記ＲＧＢカメラの撮影方向は前記ＮＩＲカメラの撮影方向と異なっており、
前記プロセッサは、
少なくとも一つのＲＧＢカメラで撮影した第１の顔画像と、少なくとも一つのＮＩＲカメラで撮影した第２の顔画像とを取得し、
前記第１の顔画像と前記第２の顔画像に対して画像融合処理を行い、顔融合画像を取得し、
前記第１の顔画像と前記第２の顔画像とに基づいてステレオマッチングを行い、三次元深度情報を取得し、
前記顔融合画像と前記三次元深度情報とに基づいて顔認識を行い、顔認識信頼度を特徴付ける値を取得するためのものである、顔認識システムを提供する。
In a third aspect, embodiments of the invention include:
at least one RGB camera, at least one NIR camera, and a processor;
the processor is connected to each of the RGB cameras and to each of the NIR cameras;
The photographing direction of the RGB camera is different from the photographing direction of the NIR camera,
The processor includes:
obtaining a first face image taken with at least one RGB camera and a second face image taken with at least one NIR camera;
performing image fusion processing on the first face image and the second face image to obtain a face fusion image;
Performing stereo matching based on the first face image and the second face image to obtain three-dimensional depth information,
A face recognition system is provided, which performs face recognition based on the face fusion image and the three-dimensional depth information and obtains a value characterizing face recognition reliability.
第四の面では、本発明の実施例は、
プロセッサと、メモリと、前記メモリに記憶されて前記プロセッサで動作可能なプログラムまたはコマンドとを含み、
前記プログラムまたはコマンドが前記プロセッサにより実行されたときに、第一の面に記載の顔認識方法のステップが実現される、電子機器を提供する。
In a fourth aspect, embodiments of the invention include:
comprising a processor, a memory, and a program or command stored in the memory and operable by the processor;
An electronic device is provided, in which the steps of the face recognition method described in the first aspect are realized when the program or command is executed by the processor.
第五の面では、本発明の実施例は、
プログラムまたはコマンドが記憶されており、
前記プログラムまたはコマンドがプロセッサにより実行されたときに、第一の面に記載の顔認識方法のステップが実現される、読み取り可能記憶媒体を提供する。
In a fifth aspect, embodiments of the invention include:
Programs or commands are stored and
A readable storage medium is provided, in which the steps of the facial recognition method according to the first aspect are realized when the program or command is executed by a processor.
従来技術と比べて、本発明の実施例が提供する顔認識方法、装置、システム、電子機器および読み取り可能記憶媒体は、異なる波長を有する複数のカメラが異なる方向から撮影した顔画像を用いて顔認識を行うことで、顔認識精度を向上することができる。 Compared with the prior art, the face recognition method, device, system, electronic device, and readable storage medium provided by embodiments of the present invention uses facial images taken from different directions by multiple cameras with different wavelengths to recognize a face. By performing recognition, face recognition accuracy can be improved.
以下は、本出願の実施例に係る図面に合せて、本出願の実施例に係る技術案を明確且つ完全に記述し、記述されている実施例が本出願の実施例の一部であり、全てではないことは明らかである。本出願に係る実施例に基づいて、当業者が創造的な労働を払わない前提で得られた他の実施例の全てはいずれも、本出願の保護する範囲に属する。 The following clearly and completely describes the technical solutions according to the embodiments of the present application, together with the drawings according to the embodiments of the present application, and the described embodiments are part of the embodiments of the present application, Obviously not everything. All other embodiments obtained by those skilled in the art based on the embodiments of the present application without any creative effort fall within the protection scope of the present application.
本出願の明細書および特許請求の範囲における「第１」、「第２」などの用語は、類似のオブジェクトを区別するために用いられるものであり、特定の順序または前後順序を記述するためのものではない。このように用いられるデータは、本出願の実施例がここで図示または記述されているこれらの順序以外の順序で実施され得るように、適切な場合において互いに置き換え可能であり、そして、「第１」、「第２」などで区別されるオブジェクトは、通常同類のものであり、オブジェクトの数を限定するものではなく、例えば、第１のオブジェクトは、一つでもよく、複数でもよいと理解されるべきだ。また、明細書および請求項における「及び／又は」は、接続されるオブジェクトのうちの少なくとも一つを表しており、「／」という記号は、一般的に、前後の関連オブジェクトが「または」の関係にあることを表している。 Terms such as "first" and "second" in the specification and claims of this application are used to distinguish between similar objects, and are not used to describe a particular order or sequential order. It's not a thing. The data used in this manner are interchangeable with each other in appropriate cases, such that the embodiments of the present application may be practiced in orders other than those illustrated or described herein, and the Objects that are distinguished by "," "second," etc. are usually of the same kind, and do not limit the number of objects; for example, it is understood that the first object may be one or more than one object. Should. In addition, "and/or" in the specification and claims represents at least one of the connected objects, and the symbol "/" generally means that the related objects before and after the "or" represent at least one of the connected objects. It represents being in a relationship.
図１に示すように、本発明の実施例は、顔認識方法を提供し、当該顔認識方法は、具体的に以下のステップを含むことができる。 As shown in FIG. 1, the embodiment of the present invention provides a face recognition method, which may specifically include the following steps.
ステップ１０１：少なくとも一つのＲＧＢカメラで撮影した第１の顔画像と、少なくとも一つのＮＩＲカメラで撮影した第２の顔画像とを取得し、ＲＧＢカメラの撮影方向がＮＩＲカメラの撮影方向と異なっている。 Step 101: Obtain a first face image taken by at least one RGB camera and a second face image taken by at least one NIR camera, and if the shooting direction of the RGB camera is different from the shooting direction of the NIR camera. There is.
ステップ１０１では、ＲＧＢカメラはカラーカメラとも呼ばれ、ＲＧＢカメラが撮影した画像はカラー画像である。Ｒは赤色を、Ｇは緑色を、Ｂは青色を表している。赤色、緑色、青色の３原色を異なる割合で重ね合わせて、さまざまな色を発現させることができる。ＲＧＢカメラは、可視光を受光するためのものである。 In step 101, the RGB camera is also called a color camera, and the image taken by the RGB camera is a color image. R represents red, G represents green, and B represents blue. A variety of colors can be created by overlapping the three primary colors red, green, and blue in different proportions. The RGB camera is for receiving visible light.
近赤外線（Ｎｅａｒ ＩｎｆｒａＲｅｄ（ＮＩＲ））のカメラは、近赤外光を受光するためのものである。近赤外光は、可視光と中赤外光との間に介在する電磁波であって、人間の目では視認できない。ＮＩＲカメラは、近赤外光の波長範囲が必要な環境、すなわち光照射条件の悪い環境に適用される。 A near-infrared (NIR) camera is for receiving near-infrared light. Near-infrared light is an electromagnetic wave that exists between visible light and mid-infrared light, and is invisible to the human eye. NIR cameras are applied to environments where near-infrared wavelength range is required, ie, environments with poor light irradiation conditions.
ＲＧＢカメラが複数である場合、各々のＲＧＢカメラで撮影した第１の顔画像を取得する。ＮＩＲカメラが複数である場合、各々のＮＩＲカメラで撮影した第２の顔画像を取得する。ここで、複数は、二つ以上を指す。 If there are multiple RGB cameras, a first face image captured by each RGB camera is acquired. If there are multiple NIR cameras, a second face image captured by each NIR camera is acquired. Here, plural refers to two or more.
ステップ１０２：第１の顔画像と第２の顔画像に対して画像融合処理を行い、顔融合画像を取得する。 Step 102: Perform image fusion processing on the first face image and the second face image to obtain a face fusion image.
第１の顔画像は可視域波長の画像であり、第２の顔画像は近赤外線の画像である。可視域波長では色情報が得られ、近赤外域波長ではより詳細な情報のディテイルが得られる。特に、暗いところでは、可視域波長で得られた画像のコントラストが低下する一方、近赤外域波長では、得られた画像のコントラストが向上できる。このため、可視域波長の画像と近赤外線の画像とを画像融合することにより、互いを補完しあうような画像を得ることができる。 The first face image is an image of visible wavelengths, and the second face image is a near-infrared image. Visible wavelengths provide color information, while near-infrared wavelengths provide more detailed information. In particular, in a dark place, the contrast of images obtained with wavelengths in the visible range decreases, while the contrast of images obtained with wavelengths in the near-infrared region can be improved. Therefore, by fusing an image of visible wavelengths and an image of near-infrared rays, it is possible to obtain images that complement each other.
また、第１の顔画像と第２の顔画像は、カメラが異なる撮影方向から撮影した顔画像であり、異なる撮影方向から撮影された顔画像の融合画像を用いることにより、顔の表情の変化や顔の向きがズレた顔画像においても、高精度の顔認識を行うことも可能である。 Furthermore, the first face image and the second face image are face images photographed by a camera from different photographing directions, and by using a fused image of face images photographed from different photographing directions, changes in facial expressions can be realized. It is also possible to perform highly accurate face recognition even in face images where the orientation of the face is misaligned.
ステップ１０３：第１の顔画像と第２の顔画像とに基づいてステレオマッチングを行い、三次元深度情報を取得する。 Step 103: Perform stereo matching based on the first face image and the second face image to obtain three-dimensional depth information.
具体的には、第１の顔画像と第２の顔画像とに基づき、ステレオマッチングアルゴリズムにより視差情報（例えば、視差マップ）を取得し、さらに三次元深度情報（例えば、デプスマップ）を取得することができる。 Specifically, based on the first face image and the second face image, parallax information (e.g., a parallax map) is obtained using a stereo matching algorithm, and three-dimensional depth information (e.g., a depth map) is further obtained. be able to.
ステップ１０４：顔融合画像と三次元深度情報とに基づいて顔認識を行い、顔認識信頼度を特徴付ける値を取得する。 Step 104: Perform face recognition based on the face fusion image and three-dimensional depth information, and obtain a value characterizing face recognition reliability.
複数のカメラで撮影した顔画像から得られた三次元深度情報に加えて、異なる撮影方向から撮影された顔画像の融合画像を用いることにより、暗部における顔認識精度をさらに向上させることができる。 In addition to three-dimensional depth information obtained from face images taken with multiple cameras, by using a fused image of face images taken from different shooting directions, face recognition accuracy in dark areas can be further improved.
本発明の一実施例では、上述したステップ１０２は、以下のステップを含むことができる。 In one embodiment of the invention, step 102 described above may include the following steps.
ステップ１０２１ａ：第１の顔画像の輝度領域Ｙ成分画像、色領域Ｕ成分画像および色領域Ｖ成分画像を取得する。 Step 1021a: Obtain a luminance region Y component image, a color region U component image, and a color region V component image of the first face image.
具体的には、第１の顔画像に対してＲＧＢからＹＵＶへの変換を行い、第１の顔画像のＹ成分画像、Ｕ成分画像およびＶ成分画像を取得する。ここで、Ｙは輝度を、ＵとＶは色度を表している。 Specifically, the first face image is converted from RGB to YUV to obtain a Y component image, a U component image, and a V component image of the first face image. Here, Y represents luminance, and U and V represent chromaticity.
ステップ１０２２ａ：第２の顔画像の輝度領域Ｙ成分画像を取得する。 Step 1022a: Obtain a luminance region Y component image of the second face image.
ステップ１０２３ａ：第１の顔画像の輝度領域Ｙ成分画像と第２の顔画像の輝度領域Ｙ成分画像を画像融合処理し、画像融合後のＹ成分画像を得る。 Step 1023a: Perform image fusion processing on the luminance region Y component image of the first face image and the luminance region Y component image of the second face image to obtain a Y component image after image fusion.
第１の顔画像のＹ成分画像と第２の顔画像のＹ成分画像を画像融合することにより、暗部での感度を向上してノイズを低減すると同時に、輝度の解像度を向上させる。 By image fusion of the Y component image of the first face image and the Y component image of the second face image, sensitivity in dark areas is improved and noise is reduced, and at the same time, brightness resolution is improved.
ステップ１０２４ａ：画像融合後のＹ成分画像、第１の顔画像の色領域Ｕ成分画像および第１の顔画像の色領域Ｖ成分画像に対してＲＧＢ変換を行い、顔融合画像を得る。 Step 1024a: Perform RGB conversion on the Y component image after image fusion, the color area U component image of the first face image, and the color area V component image of the first face image to obtain a face fused image.
顔融合画像はＲＧＢカラー画像である。 The face fusion image is an RGB color image.
選択的には、ステップ１０２は、ステップ１０２１ａの実行前に、以下のステップをさらに含む。 Optionally, step 102 further includes the following steps before performing step 1021a.
ステップ１０２０ａ：前記第１の顔画像と前記第２の顔画像の各々に対して画像補正を行い、補正後の第１の顔画像と補正後の第２の顔画像を得る。 Step 1020a: Perform image correction on each of the first face image and the second face image to obtain a corrected first face image and a corrected second face image.
その後、ステップ１０２１ａ～ステップ１０２４ａで述べた第１の顔画像と第２の顔画像はいずれも補正後の顔画像である。 After that, both the first face image and the second face image described in steps 1021a to 1024a are face images after correction.
本実施例は、画像融合処理の具体的なステップを重視するものである。 This embodiment focuses on specific steps of image fusion processing.
本発明の一実施例では、上述したステップ１０３は、以下のステップを含むことができる。 In one embodiment of the invention, step 103 described above may include the following steps.
ステップ１０３１：第１の顔画像と第２の顔画像の各々に対して歪補正を行い、補正後の第１の顔画像と補正後の第２の顔画像を得る。 Step 1031: Perform distortion correction on each of the first face image and the second face image to obtain a corrected first face image and a corrected second face image.
具体的には、あらかじめＲＧＢカメラキャリブレーションから得られた第１のパラメータに依拠して、第１の顔画像に対し歪補正を行い、補正後の第１の顔画像を得る。あらかじめＮＩＲカメラキャリブレーションから得られた第２のパラメータに依拠して、第２の顔画像に対し歪補正を行い、補正後の第２の顔画像を得る。 Specifically, distortion correction is performed on the first face image based on first parameters obtained in advance from RGB camera calibration, and a corrected first face image is obtained. Based on second parameters obtained in advance from NIR camera calibration, distortion correction is performed on the second face image to obtain a corrected second face image.
ステップ１０３２：補正後の第１の顔画像と補正後の第２の顔画像に対してステレオマッチングを行い、三次元深度情報を取得する。 Step 1032: Stereo matching is performed on the corrected first face image and the corrected second face image to obtain three-dimensional depth information.
具体的には、補正後の第１の顔画像と補正後の第２の顔画像とに基づき、ステレオマッチングアルゴリズムにより視差情報（例えば、視差マップ）を取得し、さらに三次元深度情報（例えば、デプスマップ）を取得することができる。 Specifically, based on the corrected first face image and the corrected second face image, parallax information (e.g., a parallax map) is obtained using a stereo matching algorithm, and three-dimensional depth information (e.g., depth map) can be obtained.
本発明の一実施例では、上述したステップ１０４は、以下のステップを含むことができる。 In one embodiment of the invention, step 104 described above may include the following steps.
ステップ１０４１：顔融合画像と三次元深度情報とに基づいて、顔の特徴点を検出する。 Step 1041: Detect facial feature points based on the face fusion image and three-dimensional depth information.
検出された顔の特徴点から、顔のランドマーク、例えば、目、鼻および口などを認識することができる。 Facial landmarks, such as eyes, nose, and mouth, can be recognized from the detected facial feature points.
ステップ１０４２：検出された顔の特徴点に基づき、顔の特徴を抽出する。 Step 1042: Extract facial features based on the detected facial feature points.
ステップ１０４３：顔の特徴を、あらかじめ設定された顔データベースと特徴マッチングし、顔認識信頼度を特徴付ける値を得る。 Step 1043: Feature matching the facial features with a preset face database to obtain a value characterizing face recognition reliability.
あらかじめ設定された顔データベースは、あらかじめ用意または登録された顔データベースである。 The preset face database is a face database prepared or registered in advance.
本発明の一実施例では、少なくとも一つのＲＧＢカメラは、顔の正面方向に顔画像を撮影する第１のＲＧＢカメラを含み、少なくとも一つのＮＩＲカメラは、顔の第一側面方向に顔画像を撮影する第１のＮＩＲカメラ、および／または、顔の第二側面方向に顔画像を撮影する第２のＮＩＲカメラを含む。 In one embodiment of the present invention, the at least one RGB camera includes a first RGB camera that captures a facial image in a frontal direction of the face, and the at least one NIR camera captures a facial image in a first lateral direction of the face. It includes a first NIR camera that captures images and/or a second NIR camera that captures facial images in a second side direction of the face.
相応に、ステップ１０２は、以下のステップを含むことができる。 Correspondingly, step 102 may include the following steps.
ステップ１０２１ｂ：第１のＮＩＲカメラで撮影した第２の顔画像および第２のＮＩＲカメラで撮影した第２の顔画像のうちの少なくとも一つの第２の顔画像と、第１のＲＧＢカメラで撮影した第１の顔画像とを画像融合処理し、顔正面融合画像を得る。 Step 1021b: At least one of the second face image taken by the first NIR camera and the second face image taken by the second NIR camera, and the second face image taken by the first RGB camera. image fusion processing is performed on the first face image obtained by the image processing, and a frontal face fused image is obtained.
ステップ１０２２ｂ：第１のＮＩＲカメラで撮影した第２の顔画像と、第１のＲＧＢカメラで撮影した第１の顔画像とを画像融合処理し、顔第一側面融合画像を得る。 Step 1022b: Image fusion processing is performed on the second face image taken by the first NIR camera and the first face image taken by the first RGB camera to obtain a face first side fused image.
および／または、ステップ１０２３ｂ：第２のＮＩＲカメラで撮影した第２の顔画像と、第１のＲＧＢカメラで撮影した第１の顔画像とを画像融合処理し、顔第二側面融合画像を得る。 and/or step 1023b: image fusion processing is performed on the second face image taken by the second NIR camera and the first face image taken by the first RGB camera to obtain a second side face fused image .
なお、上述したステップ１０２１ｂ、ステップ１０２２ｂおよびステップ１０２３ｂで言及された画像融合処理の具体的な処理ステップのすべてについては、上述したステップ１０２１ａ～ステップ１０２４ａを参照することができ、ここで再度述べない。 Note that all of the specific processing steps of the image fusion processing mentioned in step 1021b, step 1022b, and step 1023b described above can be referred to in steps 1021a to 1024a described above, and will not be described again here.
本実施例では、少なくとも一つのＲＧＢカメラと少なくとも一つのＮＩＲカメラとからなる撮像装置は、具体的に２種類の実施態様を含むことができる。一つの実施態様の撮像装置は、一つのＲＧＢカメラ（第１のＲＧＢカメラ）と一つのＮＩＲカメラ（第１のＮＩＲカメラ、または、第２のＮＩＲカメラ）とを含む。別の実施態様の撮像装置は、一つのＲＧＢカメラ（第１のＲＧＢカメラ）と二つのＮＩＲカメラ（第１のＮＩＲカメラ、および、第２のＮＩＲカメラ）とを含む。 In this embodiment, the imaging device including at least one RGB camera and at least one NIR camera can specifically include two types of implementations. The imaging device of one embodiment includes one RGB camera (first RGB camera) and one NIR camera (first NIR camera or second NIR camera). An imaging device of another embodiment includes one RGB camera (a first RGB camera) and two NIR cameras (a first NIR camera and a second NIR camera).
以下の二つの示例により、上述した２種類の実施態様の撮像装置に対応する顔認識方法の実施プロセスをそれぞれに説明する。 The implementation process of the face recognition method corresponding to the above-mentioned two types of embodiments of the imaging apparatus will be explained using the following two examples.
示例一
図２には、撮像装置（１１０）が一つのＲＧＢカメラと二つのＮＩＲカメラとを含む実施態様は示されている。ＲＧＢカメラ（１１１）は、顔の正面画像を取得するためのものであり、ＮＩＲカメラ（１１３）とＮＩＲカメラ（１１２）は、それぞれＲＧＢカメラ（１１１）の左右両側に位置し、それぞれ顔の左右両側の画像を取得する。
Example 1 In FIG. 2, an embodiment is shown in which the imaging device (110) includes one RGB camera and two NIR cameras. The RGB camera (111) is for acquiring a frontal image of the face, and the NIR camera (113) and NIR camera (112) are located on the left and right sides of the RGB camera (111), respectively. Acquire images of both sides.
図３には、上述した三つのカメラで画像を出力する顔認識装置（１００）の全体のブロック図は示されている。まず、ＲＧＢカメラ（１１１）は、フラッシュ（１２０）を用いて顔の正面画像を取得する。ＮＩＲカメラ（１１３）とＮＩＲカメラ（１１２）は、それぞれ顔の左側画像と顔の右側画像を取得する。その後、イメージフュージョンブロック（１３０）にてＲＧＢカメラ（１１１）と二つのＮＩＲカメラ（１１２，１１３）で取得した異なる波長と異なる向きの画像を用いて画像融合処理を行う。Ｄｅｐｔｈ Ｍａｐブロック（１４０）で三つのカメラで取得した画像を用いて三次元深度情報を取得する。最後に、イメージフュージョンブロック（１３０）から取得された顔の正面融合画像、左側融合画像および右側融合画像とＤｅｐｔｈ Ｍａｐブロック（１４０）から取得された三次元深度情報とを、顔認識ブロック（１５０）にてあらかじめ用意された顔データベースと照合し、信頼度の値を出力する。 FIG. 3 shows an overall block diagram of a face recognition device (100) that outputs images using the three cameras described above. First, the RGB camera (111) uses a flash (120) to obtain a frontal image of the face. The NIR camera (113) and the NIR camera (112) acquire a left side image of the face and a right side image of the face, respectively. Thereafter, an image fusion block (130) performs image fusion processing using images of different wavelengths and different orientations acquired by an RGB camera (111) and two NIR cameras (112, 113). A Depth Map block (140) acquires three-dimensional depth information using images acquired by three cameras. Finally, the frontal fused image, left fused image, and right fused image of the face obtained from the image fusion block (130) and the three-dimensional depth information obtained from the Depth Map block (140) are used in the face recognition block (150). The face database is compared with a pre-prepared face database and a reliability value is output.
信頼度の値が高いほど、取得した画像とデータベースの顔の一致度が高いことを示す。 The higher the reliability value, the higher the degree of matching between the acquired image and the face in the database.
図４は、イメージフュージョンブロック（１３０）における顔正面画像のイメージフュージョンブロック（１３１）の概略図を示す。 FIG. 4 shows a schematic diagram of the image fusion block (131) of a front face image in the image fusion block (130).
三つのカメラで取得した画像は、画角、光軸および視差の差異により、補正ブロック（１３１ａ）で補正される。ＲＧＢカメラ（１１１）で取得した顔の正面画像は、ＲＧＢからＹＵＶへの変換（１３１ｂ）を経て、信号がＹ信号とＵＶ信号に分離される。その後、画像融合処理（１３１ｃ）は、ＲＧＢカメラ（１１１）からのＹ信号と二つのＮＩＲカメラ（１１２，１１３）からのＹ信号を用いて行われる。最後に、画像融合したＹ信号とＲＧＢカメラ（１１１）からのＵＶ信号を用いてＲＧＢカラー画像に変換（１３１ｄ）して出力する。 Images acquired by the three cameras are corrected by a correction block (131a) due to differences in angle of view, optical axis, and parallax. The front image of the face acquired by the RGB camera (111) is converted from RGB to YUV (131b), and the signal is separated into a Y signal and a UV signal. Thereafter, image fusion processing (131c) is performed using the Y signal from the RGB camera (111) and the Y signals from the two NIR cameras (112, 113). Finally, using the image-fused Y signal and the UV signal from the RGB camera (111), it is converted into an RGB color image (131d) and output.
ＲＧＢカメラで取得した画像とＮＩＲカメラで取得した画像との融合により、暗部での感度を向上してノイズを低減すると同時に、輝度の解像度を向上させる。 By merging images acquired with an RGB camera and an image acquired with a NIR camera, sensitivity in dark areas is improved and noise is reduced, while at the same time improving brightness resolution.
また、この画像融合処理において、色ずれ、アーティファクト、偽色、画像歪などの補正も可能である。 Furthermore, in this image fusion process, it is also possible to correct color shifts, artifacts, false colors, image distortion, and the like.
図５は、イメージフュージョンブロック（１３０）における顔右側画像のイメージフュージョンブロック（１３２）、または、顔左側画像のイメージフュージョンブロック（１３３）の概略図を示す。 FIG. 5 shows a schematic diagram of the image fusion block (132) for the right face image or the image fusion block (133) for the left face image in the image fusion block (130).
このプロセスは、顔正面画像のイメージフュージョンブロック（１３１）と類似している。顔右側画像のイメージフュージョンブロック（１３２）は、ＲＧＢカメラ（１１１）で取得した顔の正面画像とＮＩＲカメラ（１１２）で取得した顔の右側画像とを用いる。 This process is similar to the image fusion block (131) for front face images. The image fusion block (132) for the right side image of the face uses the front image of the face acquired by the RGB camera (111) and the right side image of the face acquired by the NIR camera (112).
具体的には、まず、ＲＧＢカメラ（１１１）で取得した顔の正面画像とＮＩＲカメラ（１１２）で取得した顔の右側画像は、補正ブロック（１３２ａ）で補正される。ＲＧＢカメラ（１１１）で取得した顔の正面画像は、ＲＧＢからＹＵＶへの変換（１３２ｂ）を経て、信号がＹ信号とＵＶ信号に分離される。その後、画像融合処理（１３２ｃ）は、ＲＧＢカメラ（１１１）からのＹ信号とＮＩＲカメラ（１１２）からのＹ信号を用いて行われる。最後に、画像融合したＹ信号とＲＧＢカメラ（１１１）からのＵＶ信号を用いてＲＧＢカラー画像に変換（１３２ｄ）して出力する。 Specifically, first, the front image of the face acquired by the RGB camera (111) and the right side image of the face acquired by the NIR camera (112) are corrected by the correction block (132a). The front image of the face acquired by the RGB camera (111) is converted from RGB to YUV (132b), and the signal is separated into a Y signal and a UV signal. Thereafter, image fusion processing (132c) is performed using the Y signal from the RGB camera (111) and the Y signal from the NIR camera (112). Finally, using the image-fused Y signal and the UV signal from the RGB camera (111), it is converted into an RGB color image (132d) and output.
顔左側画像のイメージフュージョンブロック（１３３）は、ＲＧＢカメラ（１１１）で取得した顔の正面画像とＮＩＲカメラ（１１３）で取得した顔の左側画像とを用いる。具体的な画像融合処理のプロセスは、上述した顔右側画像のイメージフュージョンブロック（１３２）と類似しており、ここで再度述べない。 The image fusion block (133) for the left side image of the face uses the front image of the face acquired by the RGB camera (111) and the left side image of the face acquired by the NIR camera (113). The specific image fusion process is similar to the image fusion block (132) for the right face image described above, and will not be described again here.
図６は、Ｄｅｐｔｈ Ｍａｐブロック（１４０）の概略図を示す。あらかじめカメラキャリブレーションから得られたパラメータを用いて、三つのカメラから取得した画像に対し歪補正（１４０ａ）を行う。その後、ステレオマッチング（１４０ｂ）を行って、三次元深度（構成）情報を取得する。 FIG. 6 shows a schematic diagram of the Depth Map block (140). Using parameters obtained in advance from camera calibration, distortion correction (140a) is performed on images obtained from the three cameras. Thereafter, stereo matching (140b) is performed to obtain three-dimensional depth (configuration) information.
図７は、顔認識ブロック（１５０）の概略図を示す。イメージフュージョンブロック（１３０）から取得された顔の正面融合画像、左側融合画像および右側融合画像と、Ｄｅｐｔｈ Ｍａｐブロック（１４０）から取得された三次元深度情報とを用いて、顔認識を行う。 Figure 7 shows a schematic diagram of the face recognition block (150). Face recognition is performed using the frontal fused image, left fused image, and right fused image of the face obtained from the image fusion block (130), and the three-dimensional depth information obtained from the Depth Map block (140).
まず、顔のランドマークである目、鼻および口を検出する（１５０ａ）。その後、人それぞれの顔の特徴を抽出（１５０ｂ）し、あらかじめ用意（登録）された顔データベースと特徴マッチング（１５０ｃ）し、信頼度を得る。 First, facial landmarks such as eyes, nose, and mouth are detected (150a). Thereafter, facial features of each person are extracted (150b), and feature matching is performed with a face database prepared (registered) in advance (150c) to obtain reliability.
示例二
本示例は、一つのＲＧＢカメラと一つのＮＩＲカメラとを用いて顔認識を行うものであり、示例一と比べて、処理の負荷を低減する。
Example 2 This example performs face recognition using one RGB camera and one NIR camera, and reduces the processing load compared to Example 1.
図８には、撮像装置（３１０）が一つのＲＧＢカメラと一つのＮＩＲカメラとを含む実施態様は示されている。ＲＧＢカメラ（３１１）は、顔の正面画像を取得するためのものであり、ＮＩＲカメラ（３１２）は、ＲＧＢカメラ（３１１）の左側または右側に位置し、顔の左側画像または顔の右側画像を取得する。 In FIG. 8, an embodiment is shown in which the imaging device (310) includes one RGB camera and one NIR camera. The RGB camera (311) is for acquiring a frontal image of the face, and the NIR camera (312) is located on the left or right side of the RGB camera (311) and is for acquiring the left side image of the face or the right side image of the face. get.
図９には、上述した二つのカメラで画像を出力する顔認識装置（３００）の全体のブロック図は示されている。まず、ＲＧＢカメラ（３１１）は、フラッシュ（３２０）を用いて顔の正面画像を取得する。ＮＩＲカメラ（３１２）は、顔の右側画像を取得する。その後、イメージフュージョンブロック（３３０）にてＲＧＢカメラ（３１１）とＮＩＲカメラ（３１２）で取得した異なる波長と異なる向きの画像を用いて画像融合処理を行う。Ｄｅｐｔｈ Ｍａｐブロック（３４０）で二つのカメラで取得した画像を用いて三次元深度（構成）情報を取得する。最後に、イメージフュージョンブロック（３３０）から取得された顔の正面融合画像、右側融合画像とＤｅｐｔｈ Ｍａｐブロック（３４０）から取得された三次元深度情報とを、顔認識ブロック（３５０）にてあらかじめ用意された顔データベースと照合し、信頼度の値を出力する。 FIG. 9 shows an overall block diagram of the face recognition device (300) that outputs images using the two cameras described above. First, the RGB camera (311) uses a flash (320) to obtain a frontal image of the face. The NIR camera (312) captures the right side image of the face. Thereafter, an image fusion block (330) performs image fusion processing using images of different wavelengths and different orientations acquired by the RGB camera (311) and the NIR camera (312). A Depth Map block (340) acquires three-dimensional depth (configuration) information using images acquired by two cameras. Finally, the face recognition block (350) prepares in advance the frontal fused image and right side fused image of the face obtained from the image fusion block (330) and the three-dimensional depth information obtained from the Depth Map block (340). The face database is compared with the face database, and the reliability value is output.
本発明の別の実施例では、少なくとも一つのＲＧＢカメラは複数のＲＧＢカメラを含み、少なくとも一つのＮＩＲカメラは複数のＮＩＲカメラを含み、ＲＧＢカメラとＮＩＲカメラは、交互に分布しており、異なる方向に顔画像を撮影し、複数のＲＧＢカメラは、顔の正面方向に顔画像を撮影する第１のＲＧＢカメラと、顔の側面方向に顔画像を撮影する少なくとも一つの第２のＲＧＢカメラとを含む。 In another embodiment of the invention, the at least one RGB camera includes a plurality of RGB cameras, and the at least one NIR camera includes a plurality of NIR cameras, and the RGB cameras and the NIR cameras are alternately distributed and different. The plurality of RGB cameras include a first RGB camera that captures the facial image in the front direction of the face, and at least one second RGB camera that captures the facial image in the side direction of the face. including.
相応に、ステップ１０２は、以下のステップを含むことができる。 Correspondingly, step 102 may include the following steps.
ステップ１０２１ｃ：第１のＲＧＢカメラで撮影した第１の顔画像と、第１のＲＧＢカメラの位置に隣接するＮＩＲカメラで撮影した第２の顔画像とを画像融合処理し、顔正面融合画像を取得する。 Step 1021c: Image fusion processing is performed on the first face image taken by the first RGB camera and the second face image taken by the NIR camera adjacent to the position of the first RGB camera, to create a frontal face fused image. get.
ステップ１０２２ｃ：第２のＲＧＢカメラの各々に対して、第２のＲＧＢカメラで撮影した第１の顔画像と、第２のＲＧＢカメラの位置に隣接するＮＩＲカメラで撮影した第２の顔画像とを画像融合処理し、顔側面融合画像を取得する。 Step 1022c: For each of the second RGB cameras, a first face image taken by the second RGB camera and a second face image taken by an NIR camera adjacent to the position of the second RGB camera. Image fusion processing is performed to obtain a facial side fusion image.
なお、上述したステップ１０２１ｃおよびステップ１０２２ｃで言及された画像融合処理の具体的な処理ステップのすべてについては、上述したステップ１０２１ａ～ステップ１０２４ａを参照することができ、ここで再度述べない。 Note that all of the specific processing steps of the image fusion processing mentioned in step 1021c and step 1022c described above can be referred to in steps 1021a to 1024a described above, and will not be described again here.
本実施例では、ＲＧＢカメラとＮＩＲカメラの数を増やすことで顔認識の正確性をさらに向上させることができる。 In this embodiment, the accuracy of face recognition can be further improved by increasing the number of RGB cameras and NIR cameras.
理解の便宜のために、以下の示例三により、本実施例に係る顔認識方法の実施プロセスを説明する。 For convenience of understanding, the implementation process of the face recognition method according to the present embodiment will be explained using Example 3 below.
示例三
図１０には、撮像装置（２１０）が複数のＲＧＢカメラと複数のＮＩＲカメラとを含む実施態様は示されている。ＲＧＢカメラとＮＩＲカメラは、交互に分布している。本示例は、示例一と比べて、ＲＧＢカメラとＮＩＲカメラの数を増やすことで顔認識の正確性をさらに向上させることができる。
Example 3 FIG. 10 shows an embodiment in which the imaging device (210) includes multiple RGB cameras and multiple NIR cameras. RGB cameras and NIR cameras are distributed alternately. Compared to Example 1, this example can further improve the accuracy of face recognition by increasing the number of RGB cameras and NIR cameras.
図１１には、複数のＲＧＢカメラと複数のＮＩＲカメラから取得された画像を用いて融合画像を生成する入力画像の組み合わせは示されている。 FIG. 11 shows a combination of input images to generate a fused image using images acquired from multiple RGB cameras and multiple NIR cameras.
顔の正面融合画像は、中央（Ｃｅｎｔｅｒ１）のＲＧＢカメラとその左右両側（右１，左１）のＮＩＲカメラを用いて得られる。また、顔の右側で中央から一番目の融合画像は、ＲＧＢカメラ（右１）とＮＩＲカメラ（右１，２）の画像を用いて得られる。また、顔の右側画像で中央からＮ番目の融合画像は、ＲＧＢカメラ（右Ｎ）とＮＩＲカメラ（右Ｎ－１，右Ｎ）の画像を用いて得られる。顔の左側融合画像（１～Ｎ）も右側と同様な方式で得られる。 A frontal fused image of the face is obtained using an RGB camera at the center (Center 1) and NIR cameras on both sides (Right 1, Left 1). Furthermore, the first fused image from the center on the right side of the face is obtained using images from the RGB camera (right 1) and the NIR camera (right 1, 2). Furthermore, the N-th fused image from the center on the right side of the face is obtained using images from an RGB camera (right N) and an NIR camera (right N-1, right N). The left side fused images (1 to N) of the face are also obtained in the same manner as the right side.
図１２には、複数のＲＧＢカメラと複数のＮＩＲカメラとで画像を出力する顔認識装置（２００）の全体のブロック図は示されている。これらのカメラ（２１０）において、フラッシュ（２２０）を用いてＲＧＢカメラ（２１１）で顔の正面画像（中央１）と顔の左右の画像（右１～Ｎ， 左１～Ｎ）を取得する。その後、イメージフュージョンブロック（２３０）にて、ＲＧＢカメラ（２１１）とＮＩＲカメラ（２１２，２１３）で取得した異なる波長と異なる向きの画像を用いて画像融合処理を行う。Ｄｅｐｔｈ Ｍａｐブロック（２４０）にて、ＲＧＢカメラ（２１１）とＮＩＲカメラ（２１２，２１３）で取得した画像を用いて三次元深度（構成）情報を取得する。最後に、イメージフュージョンブロック（２３０）から取得された顔の正面融合画像、左側の複数の融合画像および右側の複数の融合画像とＤｅｐｔｈ Ｍａｐブロック（２４０）から取得された三次元深度情報とを、顔認識ブロック（２５０）にてあらかじめ用意された顔データベースと照合し、信頼度の値を出力する。 FIG. 12 shows an overall block diagram of a face recognition device (200) that outputs images using a plurality of RGB cameras and a plurality of NIR cameras. In these cameras (210), the RGB camera (211) uses a flash (220) to obtain a front image of the face (center 1) and left and right images of the face (right 1 to N, left 1 to N). Thereafter, an image fusion block (230) performs image fusion processing using images of different wavelengths and different orientations acquired by the RGB camera (211) and the NIR camera (212, 213). A Depth Map block (240) acquires three-dimensional depth (configuration) information using images acquired by an RGB camera (211) and an NIR camera (212, 213). Finally, the frontal fused image of the face obtained from the image fusion block (230), the multiple fused images on the left side, the multiple fused images on the right side, and the three-dimensional depth information acquired from the Depth Map block (240), A face recognition block (250) compares it with a face database prepared in advance and outputs a reliability value.
当該示例における画像融合処理のプロセスは示例一と異なり、当該示例における画像融合処理の全ては示例一に係るイメージフュージョンブロック（１３０）における顔正面画像のイメージフュージョンブロック（１３１）のフローで行うことができる。ただし、歪補正、位置合わせおよび視差補正のパラメータは異なるので、それぞれ算出して処理する必要がある。 The process of image fusion processing in this example is different from Example 1, and all of the image fusion processing in this example can be performed by the flow of the image fusion block (131) of the front face image in the image fusion block (130) according to Example 1. can. However, since the parameters for distortion correction, alignment, and parallax correction are different, it is necessary to calculate and process each.
図１３に示すように、本発明の実施例は、さらに、顔認識装置を提供する。 As shown in FIG. 13, embodiments of the present invention further provide a face recognition device.
当該顔認識装置は、具体的に、
少なくとも一つのＲＧＢカメラで撮影した第１の顔画像と、少なくとも一つのＮＩＲカメラで撮影した第２の顔画像とを取得するための第１取得ブロック１３０１であって、ＲＧＢカメラの撮影方向がＮＩＲカメラの撮影方向と異なっている第１取得ブロック１３０１、
第１の顔画像と第２の顔画像に対して画像融合処理を行い、顔融合画像を取得するための第１処理ブロック１３０２、
第１の顔画像と第２の顔画像とに基づいてステレオマッチングを行い、三次元深度情報を取得するための第２処理ブロック１３０３、
顔融合画像と三次元深度情報とに基づいて顔認識を行い、顔認識信頼度を特徴付ける値を取得するための顔認識ブロック１３０４、を含むことができる。
Specifically, the face recognition device:
a first acquisition block 1301 for acquiring a first facial image photographed by at least one RGB camera and a second facial image photographed by at least one NIR camera, the first acquisition block 1301 comprising: a first facial image photographed by at least one RGB camera; and a second facial image photographed by at least one NIR camera; a first acquisition block 1301 that is different from the shooting direction of the camera;
a first processing block 1302 for performing image fusion processing on a first face image and a second face image to obtain a face fusion image;
a second processing block 1303 for performing stereo matching based on the first face image and the second face image and acquiring three-dimensional depth information;
A face recognition block 1304 may be included for performing face recognition based on the face fusion image and three-dimensional depth information and obtaining a value characterizing face recognition reliability.
選択的には、第１処理ブロック１３０２は、
第１の顔画像の輝度領域Ｙ成分画像、色領域Ｕ成分画像および色領域Ｖ成分画像を取得するための第１取得手段、
第２の顔画像の輝度領域Ｙ成分画像を取得するための第２取得手段、
第１の顔画像の輝度領域Ｙ成分画像と第２の顔画像の輝度領域Ｙ成分画像を画像融合処理し、画像融合後のＹ成分画像を得るための第１処理手段、
画像融合後のＹ成分画像、第１の顔画像の色領域Ｕ成分画像および第１の顔画像の色領域Ｖ成分画像に対してＲＧＢ変換を行い、顔融合画像を得るための第２処理手段、を含む。
Optionally, the first processing block 1302 includes:
a first acquisition means for acquiring a luminance region Y component image, a color region U component image, and a color region V component image of the first face image;
a second acquisition means for acquiring a luminance region Y component image of the second face image;
a first processing means for performing image fusion processing on the luminance region Y component image of the first face image and the luminance region Y component image of the second face image to obtain a Y component image after image fusion;
a second processing means for performing RGB conversion on the Y component image after image fusion, the color area U component image of the first face image, and the color area V component image of the first face image to obtain a face fused image; ,including.
選択的には、少なくとも一つのＲＧＢカメラは、顔の正面方向に顔画像を撮影する第１のＲＧＢカメラを含み、少なくとも一つのＮＩＲカメラは、顔の第一側面方向に顔画像を撮影する第１のＮＩＲカメラ、および／または、顔の第二側面方向に顔画像を撮影する第２のＮＩＲカメラを含む。 Optionally, the at least one RGB camera includes a first RGB camera that captures a facial image in a frontal direction of the face, and the at least one NIR camera includes a first RGB camera that captures a facial image in a first lateral direction of the face. 1 NIR camera and/or a second NIR camera that captures a facial image in a second side direction of the face.
相応に、第１処理ブロック１３０２は、
第１のＮＩＲカメラで撮影した第２の顔画像および第２のＮＩＲカメラで撮影した第２の顔画像のうちの少なくとも一つの第２の顔画像と、第１のＲＧＢカメラで撮影した第１の顔画像とを画像融合処理し、顔正面融合画像を得るための第３処理手段、
第１のＮＩＲカメラで撮影した第２の顔画像と、第１のＲＧＢカメラで撮影した第１の顔画像とを画像融合処理し、顔第一側面融合画像を得るための第４処理手段、および／または、
第２のＮＩＲカメラで撮影した第２の顔画像と、第１のＲＧＢカメラで撮影した第１の顔画像とを画像融合処理し、顔第二側面融合画像を得るための第５処理手段、を含む。
Correspondingly, the first processing block 1302:
at least one of the second face image taken by the first NIR camera and the second face image taken by the second NIR camera; and the first face image taken by the first RGB camera. a third processing means for performing an image fusion process on the facial image of the image to obtain a front face fused image;
a fourth processing means for performing an image fusion process on the second face image taken by the first NIR camera and the first face image taken by the first RGB camera to obtain a face first side face fused image; and/or
a fifth processing means for performing image fusion processing on the second face image taken by the second NIR camera and the first face image taken by the first RGB camera to obtain a second side face fused image; including.
選択的には、少なくとも一つのＲＧＢカメラは複数のＲＧＢカメラを含み、少なくとも一つのＮＩＲカメラは複数のＮＩＲカメラを含み、ＲＧＢカメラとＮＩＲカメラは、交互に分布しており、異なる方向に顔画像を撮影し、複数のＲＧＢカメラは、顔の正面方向に顔画像を撮影する第１のＲＧＢカメラと、顔の側面方向に顔画像を撮影する少なくとも一つの第２のＲＧＢカメラとを含む。 Optionally, the at least one RGB camera includes a plurality of RGB cameras, and the at least one NIR camera includes a plurality of NIR cameras, and the RGB camera and the NIR camera are alternately distributed to capture the facial image in different directions. The plurality of RGB cameras include a first RGB camera that captures a facial image in the front direction of the face, and at least one second RGB camera that captures a facial image in the side direction of the face.
相応に、第１処理ブロック１３０２は、
第１のＲＧＢカメラで撮影した第１の顔画像と、第１のＲＧＢカメラの位置に隣接するＮＩＲカメラで撮影した第２の顔画像とを画像融合処理し、顔正面融合画像を取得するための第６処理手段、
第２のＲＧＢカメラの各々に対して、第２のＲＧＢカメラで撮影した第１の顔画像と、第２のＲＧＢカメラの位置に隣接するＮＩＲカメラで撮影した第２の顔画像とを画像融合処理し、顔側面融合画像を取得するための第７処理手段、を含む。
Correspondingly, the first processing block 1302:
To perform image fusion processing on a first face image taken with a first RGB camera and a second face image taken with an NIR camera adjacent to the position of the first RGB camera, and obtain a frontal face fused image. a sixth processing means of;
For each of the second RGB cameras, image fusion is performed of a first face image taken by the second RGB camera and a second face image taken by an NIR camera adjacent to the position of the second RGB camera. and seventh processing means for processing and obtaining a facial side fused image.
選択的には、第２処理ブロック１３０３は、
第１の顔画像と第２の顔画像の各々に対して歪補正を行い、補正後の第１の顔画像と補正後の第２の顔画像を得るための歪補正手段、
補正後の第１の顔画像と補正後の第２の顔画像に対してステレオマッチングを行い、三次元深度情報を取得するためのマッチング処理手段、を含む。
Optionally, the second processing block 1303 includes:
distortion correction means for performing distortion correction on each of the first face image and the second face image to obtain a corrected first face image and a corrected second face image;
The apparatus includes a matching processing means for performing stereo matching on the corrected first face image and the corrected second face image to obtain three-dimensional depth information.
選択的には、顔認識ブロック１３０４は、
顔融合画像と三次元深度情報とに基づいて、顔の特徴点を検出するための特徴点検出手段、
検出された顔の特徴点に基づき、顔の特徴を抽出するための特徴抽出手段、
顔の特徴を、あらかじめ設定された顔データベースと特徴マッチングし、顔認識信頼度を特徴付ける値を得るための特徴マッチング手段、を含む。
Optionally, facial recognition block 1304 includes:
Feature point detection means for detecting feature points of a face based on a face fusion image and three-dimensional depth information;
feature extraction means for extracting facial features based on the detected facial feature points;
The apparatus includes a feature matching means for matching facial features with a preset face database to obtain a value characterizing face recognition reliability.
本発明の実施例に係る顔認識装置が持つメリットは、顔認識方法の実施例が持つメリットと同じであり、ここで再度述べない。 The advantages of the face recognition device according to the embodiment of the present invention are the same as the advantages of the embodiment of the face recognition method, and will not be described again here.
本発明の実施例は、少なくとも一つのＲＧＢカメラと、少なくとも一つのＮＩＲカメラと、プロセッサとを含み、プロセッサがＲＧＢカメラの各々に接続されているとともに、ＮＩＲカメラの各々に接続されており、ＲＧＢカメラの撮影方向がＮＩＲカメラの撮影方向と異なっている、顔認識システムをさらに提供する。 Embodiments of the invention include at least one RGB camera, at least one NIR camera, and a processor, the processor being connected to each of the RGB cameras and connected to each of the NIR cameras; The present invention further provides a face recognition system in which the photographing direction of the camera is different from the photographing direction of the NIR camera.
プロセッサは、少なくとも一つのＲＧＢカメラで撮影した第１の顔画像と、少なくとも一つのＮＩＲカメラで撮影した第２の顔画像とを取得し、第１の顔画像と第２の顔画像に対して画像融合処理を行い、顔融合画像を取得し、第１の顔画像と第２の顔画像とに基づいてステレオマッチングを行い、三次元深度情報を取得し、顔融合画像と三次元深度情報とに基づいて顔認識を行い、顔認識信頼度を特徴付ける値を取得するためのものである。 The processor obtains a first facial image captured by at least one RGB camera and a second facial image captured by at least one NIR camera, and performs processing on the first facial image and the second facial image. Perform image fusion processing to obtain a face fusion image, perform stereo matching based on the first face image and second face image, obtain 3D depth information, and combine the face fusion image and 3D depth information. The objective is to perform face recognition based on this and obtain a value that characterizes the face recognition reliability.
選択的には、少なくとも一つのＲＧＢカメラは、顔の正面方向に顔画像を撮影する第１のＲＧＢカメラを含み、少なくとも一つのＮＩＲカメラは、顔の第一側面方向に顔画像を撮影する第１のＮＩＲカメラ、および／または、顔の第二側面方向に顔画像を撮影する第２のＮＩＲカメラを含む。 Optionally, the at least one RGB camera includes a first RGB camera that captures a facial image in a frontal direction of the face, and the at least one NIR camera includes a first RGB camera that captures a facial image in a first lateral direction of the face. 1 NIR camera and/or a second NIR camera that captures a facial image in a second side direction of the face.
選択的には、少なくとも一つのＲＧＢカメラは複数のＲＧＢカメラを含み、少なくとも一つのＮＩＲカメラは複数のＮＩＲカメラを含み、ＲＧＢカメラとＮＩＲカメラは、交互に分布しており、異なる方向に顔画像を撮影し、複数のＲＧＢカメラは、顔の正面方向に顔画像を撮影する第１のＲＧＢカメラと、顔の側面方向に顔画像を撮影する少なくとも一つの第２のＲＧＢカメラとを含む。 Optionally, the at least one RGB camera includes a plurality of RGB cameras, and the at least one NIR camera includes a plurality of NIR cameras, and the RGB camera and the NIR camera are alternately distributed to capture the facial image in different directions. The plurality of RGB cameras include a first RGB camera that captures a facial image in the front direction of the face, and at least one second RGB camera that captures a facial image in the side direction of the face.
図１４に示すように、本発明の実施例は、電子機器１４００をさらに提供する。電子機器１４００は、プロセッサ１４０１と、メモリ１４０２と、前記メモリ１４０２に記憶されて前記プロセッサ１４０１で動作可能なプログラムまたはコマンドとを含み、前記プログラムまたはコマンドが前記プロセッサ１４０１により実行されたときに、上述した顔認識方法の実施例における各プロセスが実現され、かつ、同様な技術的効果が達成され得る。重複を避けるために、ここで再度述べない。 As shown in FIG. 14, embodiments of the present invention further provide an electronic device 1400. The electronic device 1400 includes a processor 1401, a memory 1402, and a program or command stored in the memory 1402 and operable by the processor 1401, and when the program or command is executed by the processor 1401, the above-described Each process in the embodiment of the face recognition method described above can be implemented, and similar technical effects can be achieved. To avoid duplication, they will not be restated here.
なお、本願の実施例における電子機器としては、携帯型の電子機器と非携帯型の電子機器とが含まれる。 Note that the electronic devices in the embodiments of the present application include portable electronic devices and non-portable electronic devices.
さらに、本発明の実施例は、読み取り可能記憶媒体をさらに提供する。前記読み取り可能記憶媒体には、プログラムまたはコマンドが記憶されており、前記プログラムまたはコマンドがプロセッサにより実行されたときに、上述した顔認識方法の実施例における各プロセスが実現され、かつ、同様な技術的効果が達成され得る。重複を避けるために、ここで再度述べない。 Moreover, embodiments of the present invention further provide a readable storage medium. A program or a command is stored in the readable storage medium, and when the program or command is executed by a processor, each process in the embodiment of the face recognition method described above is realized, and a similar technology is realized. effective effects can be achieved. To avoid duplication, they will not be restated here.
以上、図面に合せて、本発明に係る実施例について記述したが、本発明は上述した具体的な実施形態に限られず、上述した具体的な実施形態は例示的なものだけであり、限定的なものではない。当業者は、本発明による啓示のもとで、本発明の主旨および請求項で保護する範囲を逸脱しない場合、さまざまな形態をさらになさることができ、それらはいずれも本発明の保護に属する。 Although the embodiments of the present invention have been described above in conjunction with the drawings, the present invention is not limited to the above-described specific embodiments, and the above-described specific embodiments are only illustrative and are not limited. It's not something. Those skilled in the art can further make various forms under the guidance of the present invention without departing from the spirit of the present invention and the scope of protection in the claims, all of which belong to the protection of the present invention.
Claims (12)
前記第１の顔画像と前記第２の顔画像に対して画像融合処理を行い、顔融合画像を取得すること、
前記第１の顔画像と前記第２の顔画像とに基づいてステレオマッチングを行い、三次元深度情報を取得すること、
前記顔融合画像と前記三次元深度情報とに基づいて顔認識を行い、顔認識信頼度を特徴付ける値を取得すること、を含み、
前記顔融合画像と前記三次元深度情報とに基づいて顔認識を行い、顔認識信頼度を特徴付ける値を取得することは、
前記顔融合画像と前記三次元深度情報とに基づいて、顔の特徴点を検出すること、
検出された顔の特徴点に基づき、顔の特徴を抽出すること、
前記顔の特徴を、あらかじめ設定された顔データベースと特徴マッチングし、顔認識信頼度を特徴付ける値を得ること、を含む
ことを特徴とする顔認識方法。 A first facial image photographed by at least one RGB camera and a second facial image photographed by at least one NIR camera are obtained, and the photographing direction of the RGB camera is different from the photographing direction of the NIR camera. thing,
performing image fusion processing on the first face image and the second face image to obtain a face fusion image;
performing stereo matching based on the first face image and the second face image to obtain three-dimensional depth information;
performing face recognition based on the face fusion image and the three-dimensional depth information, and obtaining a value characterizing face recognition reliability ;
Performing face recognition based on the face fusion image and the three-dimensional depth information and obtaining a value characterizing face recognition reliability,
detecting facial feature points based on the face fusion image and the three-dimensional depth information;
extracting facial features based on detected facial feature points;
matching the facial features with a preset face database to obtain a value characterizing face recognition reliability;
A face recognition method characterized by:
前記第１の顔画像の輝度領域Ｙ成分画像、色領域Ｕ成分画像および色領域Ｖ成分画像を取得すること、
前記第２の顔画像の輝度領域Ｙ成分画像を取得すること、
前記第１の顔画像の輝度領域Ｙ成分画像と第２の顔画像の輝度領域Ｙ成分画像を画像融合処理し、画像融合後のＹ成分画像を得ること、
前記画像融合後のＹ成分画像、前記第１の顔画像の色領域Ｕ成分画像および前記第１の顔画像の色領域Ｖ成分画像に対してＲＧＢ変換を行い、顔融合画像を得ること、を含む
ことを特徴とする請求項１に記載の顔認識方法。 Performing image fusion processing on the first face image and the second face image to obtain a face fusion image,
obtaining a luminance region Y component image, a color region U component image, and a color region V component image of the first face image;
obtaining a luminance region Y component image of the second face image;
performing image fusion processing on the luminance region Y component image of the first face image and the luminance region Y component image of the second face image to obtain a Y component image after image fusion;
performing RGB conversion on the Y component image after image fusion, the color area U component image of the first face image, and the color area V component image of the first face image to obtain a face fused image; The face recognition method according to claim 1, comprising:
前記第１の顔画像と前記第２の顔画像に対して画像融合処理を行い、顔融合画像を取得することは、
前記第１のＮＩＲカメラで撮影した第２の顔画像および前記第２のＮＩＲカメラで撮影した第２の顔画像のうちの少なくとも一つの第２の顔画像と、前記第１のＲＧＢカメラで撮影した第１の顔画像とを画像融合処理し、顔正面融合画像を得ること、
前記第１のＮＩＲカメラで撮影した第２の顔画像と、前記第１のＲＧＢカメラで撮影した第１の顔画像とを画像融合処理し、顔第一側面融合画像を得ること、
前記第２のＮＩＲカメラで撮影した第２の顔画像と、前記第１のＲＧＢカメラで撮影した第１の顔画像とを画像融合処理し、顔第二側面融合画像を得ること、を含む
ことを特徴とする請求項１に記載の顔認識方法。 The at least one RGB camera includes a first RGB camera that captures a facial image in a front direction of the face, and the at least one NIR camera includes a first NIR camera that captures a facial image in a first side direction of the face. a camera and/or a second NIR camera that captures a facial image in a second lateral direction of the face;
Performing image fusion processing on the first face image and the second face image to obtain a face fusion image,
at least one second face image of a second face image taken by the first NIR camera and a second face image taken by the second NIR camera; and a second face image taken by the first RGB camera. performing an image fusion process on the first face image obtained by obtaining a front face fused image;
performing an image fusion process on a second face image taken by the first NIR camera and a first face image taken by the first RGB camera to obtain a face first side fused image;
performing an image fusion process on a second face image taken by the second NIR camera and a first face image taken by the first RGB camera to obtain a second side face fused image. The face recognition method according to claim 1, characterized in that:
前記第１の顔画像と前記第２の顔画像に対して画像融合処理を行い、顔融合画像を取得することは、
前記第１のＲＧＢカメラで撮影した第１の顔画像と、前記第１のＲＧＢカメラの位置に隣接するＮＩＲカメラで撮影した第２の顔画像とを画像融合処理し、顔正面融合画像を取得すること、
前記第２のＲＧＢカメラの各々に対して、前記第２のＲＧＢカメラで撮影した第１の顔画像と、前記第２のＲＧＢカメラの位置に隣接するＮＩＲカメラで撮影した第２の顔画像とを画像融合処理し、顔側面融合画像を取得すること、を含む
ことを特徴とする請求項１に記載の顔認識方法。 The at least one RGB camera includes a plurality of RGB cameras, the at least one NIR camera includes a plurality of NIR cameras, and the RGB camera and the NIR camera are alternately distributed and capture facial images in different directions. The plurality of RGB cameras include a first RGB camera that captures a facial image in the front direction of the face, and at least one second RGB camera that captures a facial image in the side direction of the face,
Performing image fusion processing on the first face image and the second face image to obtain a face fusion image,
A first face image taken by the first RGB camera and a second face image taken by an NIR camera adjacent to the position of the first RGB camera are subjected to image fusion processing to obtain a front face fused image. to do,
For each of the second RGB cameras, a first face image taken by the second RGB camera, and a second face image taken by an NIR camera adjacent to the position of the second RGB camera. The face recognition method according to claim 1, further comprising performing image fusion processing to obtain a face side fused image.
前記第１の顔画像と前記第２の顔画像の各々に対して歪補正を行い、補正後の第１の顔画像と補正後の第２の顔画像を得ること、
前記補正後の第１の顔画像と前記補正後の第２の顔画像に対してステレオマッチングを行い、三次元深度情報を取得すること、を含む
ことを特徴とする請求項１に記載の顔認識方法。 Performing stereo matching based on the first face image and the second face image to obtain three-dimensional depth information,
performing distortion correction on each of the first face image and the second face image to obtain a corrected first face image and a corrected second face image;
The face according to claim 1, further comprising: performing stereo matching on the corrected first face image and the corrected second face image to obtain three-dimensional depth information. Recognition method.
前記第１の顔画像と前記第２の顔画像に対して画像融合処理を行い、顔融合画像を取得するための第１処理ブロック、
前記第１の顔画像と前記第２の顔画像とに基づいてステレオマッチングを行い、三次元深度情報を取得するための第２処理ブロック、
前記顔融合画像と前記三次元深度情報とに基づいて顔認識を行い、顔認識信頼度を特徴付ける値を取得するための顔認識ブロック、を含み、
前記顔認識ブロックは、
前記顔融合画像と前記三次元深度情報とに基づいて、顔の特徴点を検出するための特徴点検出手段、
検出された顔の特徴点に基づき、顔の特徴を抽出するための特徴抽出手段、
前記顔の特徴を、あらかじめ設定された顔データベースと特徴マッチングし、顔認識信頼度を特徴付ける値を得るための特徴マッチング手段、を含む
ことを特徴とする顔認識装置。 a first acquisition block for acquiring a first face image photographed by at least one RGB camera and a second face image photographed by at least one NIR camera, the first acquisition block comprising: a first face image photographed by at least one RGB camera; and a second face image photographed by at least one NIR camera; a first acquisition block different from the shooting direction of the NIR camera;
a first processing block for performing image fusion processing on the first face image and the second face image to obtain a face fusion image;
a second processing block for performing stereo matching based on the first face image and the second face image to obtain three-dimensional depth information;
a face recognition block for performing face recognition based on the face fusion image and the three-dimensional depth information and obtaining a value characterizing face recognition reliability ;
The face recognition block is
feature point detection means for detecting feature points of a face based on the face fusion image and the three-dimensional depth information;
feature extraction means for extracting facial features based on the detected facial feature points;
Feature matching means for feature matching the facial features with a preset face database to obtain a value characterizing face recognition reliability.
A face recognition device characterized by:
前記第１の顔画像の輝度領域Ｙ成分画像、色領域Ｕ成分画像および色領域Ｖ成分画像を取得するための第１取得手段、
前記第２の顔画像の輝度領域Ｙ成分画像を取得するための第２取得手段、
前記第１の顔画像の輝度領域Ｙ成分画像と前記第２の顔画像の輝度領域Ｙ成分画像を画像融合処理し、画像融合後のＹ成分画像を得るための第１処理手段、
前記画像融合後のＹ成分画像、前記第１の顔画像の色領域Ｕ成分画像および前記第１の顔画像の色領域Ｖ成分画像に対してＲＧＢ変換を行い、顔融合画像を得るための第２処理手段、を含む
ことを特徴とする請求項６に記載の顔認識装置。 The first processing block is
a first acquisition means for acquiring a luminance region Y component image, a color region U component image, and a color region V component image of the first face image;
a second acquisition means for acquiring a luminance region Y component image of the second face image;
a first processing means for performing image fusion processing on the luminance region Y component image of the first face image and the luminance region Y component image of the second face image to obtain a Y component image after image fusion;
RGB conversion is performed on the Y component image after image fusion, the color area U component image of the first face image, and the color area V component image of the first face image to obtain a face fused image. 7. The face recognition device according to claim 6 , further comprising: two processing means.
前記第１処理ブロックは、
前記第１のＮＩＲカメラで撮影した第２の顔画像および前記第２のＮＩＲカメラで撮影した第２の顔画像のうちの少なくとも一つの第２の顔画像と、前記第１のＲＧＢカメラで撮影した第１の顔画像とを画像融合処理し、顔正面融合画像を得るための第３処理手段、
前記第１のＮＩＲカメラで撮影した第２の顔画像と、前記第１のＲＧＢカメラで撮影した第１の顔画像とを画像融合処理し、顔第一側面融合画像を得るための第４処理手段、および／または、
前記第２のＮＩＲカメラで撮影した第２の顔画像と、前記第１のＲＧＢカメラで撮影した第１の顔画像とを画像融合処理し、顔第二側面融合画像を得るための第５処理手段、を含む
ことを特徴とする請求項６に記載の顔認識装置。 The at least one RGB camera includes a first RGB camera that captures a facial image in a front direction of the face, and the at least one NIR camera includes a first NIR camera that captures a facial image in a first side direction of the face. a camera and/or a second NIR camera that captures a facial image in a second lateral direction of the face;
The first processing block is
at least one second face image of a second face image taken by the first NIR camera and a second face image taken by the second NIR camera; and a second face image taken by the first RGB camera. a third processing means for performing an image fusion process on the first face image obtained by obtaining a front face fused image;
a fourth process for performing image fusion processing on a second face image taken by the first NIR camera and a first face image taken by the first RGB camera to obtain a face first side fused image; means, and/or
a fifth process of performing image fusion processing on a second face image taken by the second NIR camera and a first face image taken by the first RGB camera to obtain a second side face fused image; The face recognition device according to claim 6 , further comprising: means.
前記第１処理ブロックは、
前記第１のＲＧＢカメラで撮影した第１の顔画像と、前記第１のＲＧＢカメラの位置に隣接するＮＩＲカメラで撮影した第２の顔画像とを画像融合処理し、顔正面融合画像を取得するための第６処理手段、
前記第２のＲＧＢカメラの各々に対して、前記第２のＲＧＢカメラで撮影した第１の顔画像と、前記第２のＲＧＢカメラの位置に隣接するＮＩＲカメラで撮影した第２の顔画像とを画像融合処理し、顔側面融合画像を取得するための第７処理手段、を含む
ことを特徴とする請求項６に記載の顔認識装置。 The at least one RGB camera includes a plurality of RGB cameras, the at least one NIR camera includes a plurality of NIR cameras, and the RGB camera and the NIR camera are alternately distributed and capture facial images in different directions. The plurality of RGB cameras include a first RGB camera that captures a facial image in the front direction of the face, and at least one second RGB camera that captures a facial image in the side direction of the face,
The first processing block is
Image fusion processing is performed on a first face image taken by the first RGB camera and a second face image taken by an NIR camera adjacent to the position of the first RGB camera to obtain a front face fused image. a sixth processing means for;
For each of the second RGB cameras, a first face image taken by the second RGB camera, and a second face image taken by an NIR camera adjacent to the position of the second RGB camera. 7. The face recognition device according to claim 6 , further comprising: seventh processing means for performing image fusion processing on the face and obtaining a face side fusion image.
前記第１の顔画像と前記第２の顔画像の各々に対して歪補正を行い、補正後の第１の顔画像と補正後の第２の顔画像を得るための歪補正手段、
前記補正後の第１の顔画像と前記補正後の第２の顔画像に対してステレオマッチングを行い、三次元深度情報を取得するためのマッチング処理手段、を含む
ことを特徴とする請求項６に記載の顔認識装置。 The second processing block is
distortion correction means for performing distortion correction on each of the first face image and the second face image to obtain a corrected first face image and a corrected second face image;
Claim 6 , further comprising a matching processing means for performing stereo matching on the corrected first face image and the corrected second face image to obtain three-dimensional depth information. The facial recognition device described in .
前記プログラムまたはコマンドが前記プロセッサにより実行されたときに、請求項１～５のいずれか１項に記載の顔認識方法のステップが実現される、
ことを特徴とする電子機器。 comprising a processor, a memory, and a program or command stored in the memory and operable by the processor;
When the program or command is executed by the processor, the steps of the face recognition method according to any one of claims 1 to 5 are realized.
An electronic device characterized by:
前記プログラムまたはコマンドがプロセッサにより実行されたときに、請求項１～５のいずれか１項に記載の顔認識方法のステップが実現される、
ことを特徴とする読み取り可能記憶媒体。 Programs or commands are stored and
When the program or command is executed by a processor, the steps of the face recognition method according to any one of claims 1 to 5 are realized.
A readable storage medium characterized by:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022106098A JP7450668B2 (en) | 2022-06-30 | 2022-06-30 | Facial recognition methods, devices, systems, electronic devices and readable storage media |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022106098A JP7450668B2 (en) | 2022-06-30 | 2022-06-30 | Facial recognition methods, devices, systems, electronic devices and readable storage media |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2024005748A JP2024005748A (en) | 2024-01-17 |
| JP7450668B2 true JP7450668B2 (en) | 2024-03-15 |
Family
ID=89540376
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022106098A Active JP7450668B2 (en) | 2022-06-30 | 2022-06-30 | Facial recognition methods, devices, systems, electronic devices and readable storage media |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7450668B2 (en) |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005284775A (en) | 2004-03-30 | 2005-10-13 | Kao Corp | Image processing apparatus |
| WO2014148031A1 (en) | 2013-03-19 | 2014-09-25 | パナソニック株式会社 | Image generation device, imaging device and image generation method |
| WO2017159312A1 (en) | 2016-03-15 | 2017-09-21 | ソニー株式会社 | Image processing device, imaging device, image processing method, and program |
| WO2018147059A1 (en) | 2017-02-07 | 2018-08-16 | ソニー株式会社 | Image processing device, image processing method, and program |
| CN111079576A (en) | 2019-11-30 | 2020-04-28 | 腾讯科技（深圳）有限公司 | Living body detection method, living body detection device, living body detection equipment and storage medium |
| CN111079470A (en) | 2018-10-18 | 2020-04-28 | 杭州海康威视数字技术股份有限公司 | Method and device for detecting living human face |
| CN111091063A (en) | 2019-11-20 | 2020-05-01 | 北京迈格威科技有限公司 | Living body detection method, device and system |
| JP2020106283A (en) | 2018-12-26 | 2020-07-09 | 株式会社ネクステッジテクノロジー | Three-dimensional measurement device, three-dimensional measurement device calibration method, three-dimensional measurement method, and program |
| JP2020150331A (en) | 2019-03-11 | 2020-09-17 | キヤノン株式会社 | Image processing apparatus, image processing apparatus control method, system, and program |
| CN111741281A (en) | 2020-06-30 | 2020-10-02 | Oppo广东移动通信有限公司 | Image processing method, terminal and storage medium |
| JP2020171057A (en) | 2020-07-08 | 2020-10-15 | マクセル株式会社 | Imaging device |
| JP2020193946A (en) | 2019-05-30 | 2020-12-03 | 本田技研工業株式会社 | Optical device and grasping system |
| CN112488018A (en) | 2020-12-09 | 2021-03-12 | 巽腾(广东)科技有限公司 | Binocular in-vivo detection method, device, equipment and storage medium |
| CN112926464A (en) | 2021-03-01 | 2021-06-08 | 创新奇智(重庆)科技有限公司 | Face living body detection method and device |
| WO2021193238A1 (en) | 2020-03-27 | 2021-09-30 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
| CN113724308A (en) | 2021-11-02 | 2021-11-30 | 南京理工大学 | Cross-waveband stereo matching algorithm based on mutual attention of luminosity and contrast |
| US20220044442A1 (en) | 2019-12-17 | 2022-02-10 | Dalian University Of Technology | Bi-level optimization-based infrared and visible light fusion method |
| CN114333078A (en) | 2021-12-01 | 2022-04-12 | 马上消费金融股份有限公司 | Living body detection method, living body detection device, electronic apparatus, and storage medium |
| CN114613017A (en) | 2022-03-22 | 2022-06-10 | 北京市商汤科技开发有限公司 | Living body detection method and related equipment |
-
2022
- 2022-06-30 JP JP2022106098A patent/JP7450668B2/en active Active
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005284775A (en) | 2004-03-30 | 2005-10-13 | Kao Corp | Image processing apparatus |
| WO2014148031A1 (en) | 2013-03-19 | 2014-09-25 | パナソニック株式会社 | Image generation device, imaging device and image generation method |
| WO2017159312A1 (en) | 2016-03-15 | 2017-09-21 | ソニー株式会社 | Image processing device, imaging device, image processing method, and program |
| WO2018147059A1 (en) | 2017-02-07 | 2018-08-16 | ソニー株式会社 | Image processing device, image processing method, and program |
| CN111079470A (en) | 2018-10-18 | 2020-04-28 | 杭州海康威视数字技术股份有限公司 | Method and device for detecting living human face |
| JP2020106283A (en) | 2018-12-26 | 2020-07-09 | 株式会社ネクステッジテクノロジー | Three-dimensional measurement device, three-dimensional measurement device calibration method, three-dimensional measurement method, and program |
| JP2020150331A (en) | 2019-03-11 | 2020-09-17 | キヤノン株式会社 | Image processing apparatus, image processing apparatus control method, system, and program |
| JP2020193946A (en) | 2019-05-30 | 2020-12-03 | 本田技研工業株式会社 | Optical device and grasping system |
| CN111091063A (en) | 2019-11-20 | 2020-05-01 | 北京迈格威科技有限公司 | Living body detection method, device and system |
| CN111079576A (en) | 2019-11-30 | 2020-04-28 | 腾讯科技（深圳）有限公司 | Living body detection method, living body detection device, living body detection equipment and storage medium |
| US20220044442A1 (en) | 2019-12-17 | 2022-02-10 | Dalian University Of Technology | Bi-level optimization-based infrared and visible light fusion method |
| WO2021193238A1 (en) | 2020-03-27 | 2021-09-30 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
| CN111741281A (en) | 2020-06-30 | 2020-10-02 | Oppo广东移动通信有限公司 | Image processing method, terminal and storage medium |
| JP2020171057A (en) | 2020-07-08 | 2020-10-15 | マクセル株式会社 | Imaging device |
| CN112488018A (en) | 2020-12-09 | 2021-03-12 | 巽腾(广东)科技有限公司 | Binocular in-vivo detection method, device, equipment and storage medium |
| CN112926464A (en) | 2021-03-01 | 2021-06-08 | 创新奇智(重庆)科技有限公司 | Face living body detection method and device |
| CN113724308A (en) | 2021-11-02 | 2021-11-30 | 南京理工大学 | Cross-waveband stereo matching algorithm based on mutual attention of luminosity and contrast |
| CN114333078A (en) | 2021-12-01 | 2022-04-12 | 马上消费金融股份有限公司 | Living body detection method, living body detection device, electronic apparatus, and storage medium |
| CN114613017A (en) | 2022-03-22 | 2022-06-10 | 北京市商汤科技开发有限公司 | Living body detection method and related equipment |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2024005748A (en) | 2024-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10182216B2 (en) | Extended color processing on pelican array cameras | |
| CN109410207B (en) | NCC (non-return control) feature-based unmanned aerial vehicle line inspection image transmission line detection method | |
| US10452894B2 (en) | Systems and method for facial verification | |
| US8619128B2 (en) | Systems and methods for an imaging system using multiple image sensors | |
| US20170230585A1 (en) | Systems and methods for implementing seamless zoom function using multiple cameras | |
| US8428313B2 (en) | Object image correction apparatus and method for object identification | |
| US20150278996A1 (en) | Image processing apparatus, method, and medium for generating color image data | |
| KR20170019359A (en) | Local adaptive histogram equalization | |
| CN108716982A (en) | Optical element detection method, device, electronic equipment and storage medium | |
| WO2018147059A1 (en) | Image processing device, image processing method, and program | |
| KR20180134280A (en) | Apparatus and method of face recognition verifying liveness based on 3d depth information and ir information | |
| CN107800965A (en) | Image processing method, device, computer-readable recording medium and computer equipment | |
| CN112712536B (en) | Image processing method, chip and electronic device | |
| KR20160047196A (en) | APPARATUS FOR TRACKING EYE POINT OPERABLE AT HIGH intensity of illumination AND LOW intensity of illumination AND METHOD THEREOF | |
| TWI394085B (en) | Method of identifying the dimension of a shot subject | |
| JP2017208616A (en) | Image processing apparatus, image processing method, and program | |
| CN115222785A (en) | Infrared and visible light image registration method based on binocular calibration | |
| JP2013024653A (en) | Distance measuring apparatus and program | |
| US11455710B2 (en) | Device and method of object detection | |
| US7835552B2 (en) | Image capturing apparatus and face area extraction method | |
| JP7450668B2 (en) | Facial recognition methods, devices, systems, electronic devices and readable storage media | |
| JP6891808B2 (en) | Image alignment system, method and program | |
| CN114782502B (en) | Multispectral multi-sensor cooperative processing method and device and storage medium | |
| EP3683716A1 (en) | Monitoring method, apparatus and system, electronic device, and computer readable storage medium | |
| US9761275B2 (en) | System and method for spatiotemporal image fusion and integration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220630 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230328 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231010 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240109 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240305 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7450668 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |