JP2003178304A - Face image retrieving device, face image retrieving method and program for executing method on computer - Google Patents
Face image retrieving device, face image retrieving method and program for executing method on computerInfo
- Publication number
- JP2003178304A JP2003178304A JP2001379136A JP2001379136A JP2003178304A JP 2003178304 A JP2003178304 A JP 2003178304A JP 2001379136 A JP2001379136 A JP 2001379136A JP 2001379136 A JP2001379136 A JP 2001379136A JP 2003178304 A JP2003178304 A JP 2003178304A
- Authority
- JP
- Japan
- Prior art keywords
- face
- image
- face image
- feature amount
- extracting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】この発明は、撮像された顔画
像の特徴と、登録済の顔画像の特徴とを比較することに
より撮像された顔画像に最も相関の高い登録済の顔画像
を検索する顔画像検索装置、顔画像検索方法およびその
方法をコンピュータに実行させるプログラムに関し、特
に、膨大な計算量を抑制することにより、軽易な構成
と、高速な処理とを可能とする顔画像検索装置、顔画像
検索方法およびその方法をコンピュータに実行させるプ
ログラムを提供することに関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention searches a registered face image having the highest correlation with the captured face image by comparing the feature of the captured face image with the feature of the registered face image. FACE IMAGE SEARCH DEVICE, FACE IMAGE SEARCH METHOD, AND PROGRAM FOR EXECUTING THE METHOD IN A COMPUTER The present invention relates to a face image search method and a program for causing a computer to execute the method.
【０００２】[0002]
【従来の技術】従来、銀行でのＡＴＭカードの利用や、
インターネットを利用したオンラインショッピング等に
おいては、個人を特定するために、暗証番号やパスワー
ドの入力が用いられているが、近年、機器の情報化や高
度化が進む中で、設置カメラから顔画像を撮像し、人物
認証や検索をおこなう技術が注目を集めており、様々な
手法が提案されている。2. Description of the Related Art Conventionally, the use of ATM cards in banks,
In online shopping using the Internet, the input of a personal identification number and password is used to identify an individual, but in recent years, with the advancement of computerization and sophistication of devices, face images from installed cameras are displayed. A technique for capturing an image and performing person authentication and search has been attracting attention, and various methods have been proposed.
【０００３】例えば、特開平９−２５１５３４号公報
（従来技術１）では、目、鼻などの特徴点を分離度フィ
ルタを用いて抽出し、予め登録してある目、鼻などのテ
ンプレートとの照合により人物認証をおこなう人物認証
装置および人物認証方法が開示されている。また、特開
２００１−９２９６３号公報（従来技術２）では、顔画
像中から顔領域を切り出し、特徴空間領域において入力
データとモデルデータの距離を比較照合することによ
り、画像を照合する画像照合方法および装置が開示され
ている。For example, in Japanese Unexamined Patent Publication No. 9-251534 (Prior Art 1), feature points such as eyes and nose are extracted using a separability filter and collated with a template such as eyes and nose registered in advance. Discloses a person authentication device and a person authentication method for performing person authentication. Further, in Japanese Patent Laid-Open No. 2001-92963 (Prior Art 2), a face area is cut out from the face image, and the distance between the input data and the model data is compared and compared in the feature space area to compare the images. And a device is disclosed.
【０００４】[0004]
【発明が解決しようとする課題】しかしながら、上記従
来技術は、分離度フィルタによる抽出または特徴空間領
域における比較処理を特徴とするため、計算量が膨大な
ものになってしまうことが考えられ、リアルタイムの処
理に難点がある。一方、処理を高速にするために、特殊
なハードウェアを使用することも考えられるが、システ
ム構築が容易に行えないという欠点が生ずる。However, since the above-mentioned conventional technique is characterized by the extraction processing by the separability filter or the comparison processing in the feature space area, it is considered that the calculation amount becomes enormous, and the real-time processing is performed in real time. There is a problem in processing. On the other hand, it may be possible to use special hardware in order to speed up the processing, but there is a drawback that the system cannot be easily constructed.
【０００５】この発明は、上記に鑑みてなされたもの
で、膨大な計算量を抑制することにより、軽易な構成
と、高速な処理とを可能とする顔画像検索装置、顔画像
検索方法およびその方法をコンピュータに実行させるプ
ログラムを得ることを目的とする。The present invention has been made in view of the above, and a face image search apparatus, a face image search method, and a face image search method which enable a simple structure and high-speed processing by suppressing a huge amount of calculation. The purpose is to obtain a program that causes a computer to carry out the method.
【０００６】[0006]
【課題を解決するための手段】上記目的を達成するた
め、この発明にかかる顔画像検索装置は、撮像された顔
画像と、登録済の顔画像とを比較することにより撮像さ
れた顔画像に最も相関の高い登録済の顔画像を検索する
顔画像検索装置において、顔画像を撮像する画像撮像手
段と、前記画像撮像手段によって撮像された画像から人
物の顔領域を検出する顔領域検出手段と、前記顔領域検
出手段より目や口などの顔のパーツを抽出する顔パーツ
抽出手段と、前記顔パーツ抽出手段の結果に基づき顔の
特徴量を抽出する特徴量抽出手段と、複数の顔画像に基
づいた情報を保持する手段であるデータベースと、前記
特徴抽出手段により得られた特徴量に基づき、撮像した
顔画像と前記データベースにより保持されている登録済
の顔画像との類似度を求める評価処理手段とを備えるこ
とを特徴とする。In order to achieve the above object, a face image search apparatus according to the present invention provides a face image captured by comparing the captured face image with a registered face image. In a face image search device for searching a registered face image having the highest correlation, an image capturing means for capturing a face image, and a face area detecting means for detecting a face area of a person from an image captured by the image capturing means. A face part extracting means for extracting face parts such as eyes and mouth from the face area detecting means, a feature amount extracting means for extracting a face feature amount based on the result of the face part extracting means, and a plurality of face images Based on the feature amount obtained by the feature extraction means, the similarity between the captured face image and the registered face image held by the database. Characterized in that it comprises an evaluation processing unit for determining.
【０００７】この発明によれば、撮像された顔画像から
人物の顔領域を検出し、この検出結果に基づいて目や口
などの顔のパーツを抽出するとともに、この抽出結果に
基づいて顔の特徴量を抽出し、データベースに保持され
ている登録済の顔画像との類似度を評価することによ
り、計算量を抑制した顔画像検索装置を実現することが
できる。According to the present invention, the face area of a person is detected from the imaged face image, the face parts such as eyes and mouth are extracted based on the detection result, and the face is extracted based on the extraction result. By extracting the feature amount and evaluating the degree of similarity with the registered face image stored in the database, it is possible to realize a face image search device that suppresses the amount of calculation.
【０００８】つぎの発明にかかる顔画像検索装置は、上
記の発明において、前記画像撮像手段によって撮像され
た画像を表示する画像表示手段を備え、撮像時に顔の合
わせ位置を表示することを特徴とする。A face image search apparatus according to the next invention is characterized in that, in the above-mentioned invention, it is provided with image display means for displaying an image picked up by said image pick-up means, and displays a face matching position at the time of picking up. To do.
【０００９】この発明によれば、撮像された画像に加え
て、撮像時に顔の合わせ位置を表示することにより、目
や口といった顔のパーツ位置を容易に決定することがで
きる。According to the present invention, the position of the face part such as the eyes and the mouth can be easily determined by displaying the face matching position at the time of image capturing in addition to the captured image.
【００１０】つぎの発明にかかる顔画像検索装置は、上
記の発明における特徴量抽出手段において、前記顔領域
検出手段により検出された顔領域内の髪領域を縦、横各
方向に射影した波形を特徴量として抽出することを特徴
とする。A face image retrieval apparatus according to the next invention is a feature quantity extraction means in the above invention, wherein a waveform obtained by projecting a hair area in the face area detected by the face area detection means in each of vertical and horizontal directions is generated. The feature is that it is extracted as a feature amount.
【００１１】この発明によれば、顔領域検出手段により
検出された顔領域内の髪領域を縦、横各方向に射影した
波形を特徴量として抽出することにより、計算量を抑制
した顔画像検索装置を実現することができる。According to the present invention, a face image search with a reduced amount of calculation is performed by extracting a waveform obtained by projecting a hair region in the face region detected by the face region detecting means in each of vertical and horizontal directions as a feature amount. The device can be realized.
【００１２】つぎの発明にかかる顔画像検索装置は、上
記の発明における特徴量抽出手段において、前記顔パー
ツ抽出手段により抽出された顔パーツを切り出した画像
を特徴量として抽出することを特徴とする。A face image search apparatus according to the next invention is characterized in that, in the feature quantity extraction means in the above invention, an image obtained by cutting out the face parts extracted by the face part extraction means is extracted as a feature quantity. .
【００１３】この発明によれば、抽出された顔パーツを
切り出した画像を特徴量とすることにより、計算量を抑
制した顔画像検索装置を実現することができる。According to the present invention, by using the image obtained by cutting out the extracted face parts as the feature amount, it is possible to realize the face image search device in which the calculation amount is suppressed.
【００１４】つぎの発明にかかる顔画像検索装置は、上
記の発明における特徴量抽出手段において、前記顔パー
ツ抽出手段により抽出された顔パーツの位置関係を特徴
量として抽出することを特徴とする。A face image retrieval apparatus according to the next invention is characterized in that, in the feature quantity extraction means in the above invention, the positional relationship of the face parts extracted by the face part extraction means is extracted as a feature quantity.
【００１５】この発明によれば、抽出された顔パーツの
位置関係を特徴量とすることにより、計算量を抑制した
顔画像検索装置を実現することができる。According to the present invention, by using the positional relationship of the extracted face parts as the feature amount, it is possible to realize the face image search device in which the calculation amount is suppressed.
【００１６】つぎの発明にかかる顔画像検索方法は、撮
像された顔画像と、登録済の顔画像とを比較することに
より撮像された顔画像に最も相関の高い登録済の顔画像
を検索する顔画像検索方法において、顔画像を撮像する
画像撮像工程と、前記画像撮像工程によって撮像された
画像から人物の顔領域を検出する顔領域検出工程と、前
記顔領域検出手段より目や口などの顔のパーツを抽出す
る顔パーツ抽出工程と、前記顔パーツ抽出工程の結果に
基づき顔の特徴量を抽出する特徴量抽出工程と、複数の
顔画像に基づいた情報を保持する工程であるデータベー
スと、前記特徴抽出工程により得られた特徴量に基づ
き、撮像した顔画像と前記データベースにより保持され
ている登録済の顔画像との類似度を求める評価処理工程
とを備えることを特徴とする。In the face image searching method according to the next invention, the registered face image having the highest correlation with the captured face image is searched by comparing the captured face image with the registered face image. In the face image search method, an image capturing step of capturing a face image, a face area detecting step of detecting a face area of a person from the image captured by the image capturing step, and a face area detecting means for detecting eyes and mouth. A face part extracting step of extracting face parts, a feature amount extracting step of extracting a face feature amount based on the result of the face part extracting step, and a database which is a step of holding information based on a plurality of face images , An evaluation processing step of obtaining a degree of similarity between the captured face image and the registered face image held in the database based on the feature amount obtained in the feature extraction step. To.
【００１７】この発明によれば、撮像された顔画像から
人物の顔領域を検出し、この検出結果に基づいて目や口
などの顔のパーツを抽出するとともに、この抽出結果に
基づいて顔の特徴量を抽出し、データベースに保持され
ている登録済の顔画像との類似度を評価することによ
り、計算量を抑制した顔画像検索方法を実現することが
できる。According to the present invention, the face area of a person is detected from the captured face image, the face parts such as eyes and mouth are extracted based on the detection result, and the face is extracted based on the extraction result. By extracting the feature amount and evaluating the degree of similarity with the registered face image stored in the database, it is possible to realize a face image search method that suppresses the amount of calculation.
【００１８】つぎの発明にかかる顔画像検索方法は、上
記の発明において、前記画像撮像工程によって撮像され
た画像を表示する画像表示工程を備え、撮像時に顔の合
わせ位置を表示することを特徴とする。A facial image searching method according to the next invention is characterized in that, in the above invention, the method includes an image display step of displaying an image captured by the image capturing step, and displays a face matching position at the time of capturing. To do.
【００１９】この発明によれば、撮像された画像に加え
て、撮像時に顔の合わせ位置を表示することにより、目
や口といった顔のパーツ位置を容易に決定することがで
きる。According to the present invention, the position of the face part such as the eyes and the mouth can be easily determined by displaying the face matching position at the time of image capturing in addition to the captured image.
【００２０】つぎの発明にかかる顔画像検索方法は、上
記の発明における特徴量抽出工程において、前記顔領域
検出工程により検出された顔領域内の髪領域を縦、横各
方向に射影した波形を特徴量として抽出することを特徴
とする。In the face image search method according to the next invention, a waveform obtained by projecting the hair area in the face area detected by the face area detecting step in the vertical and horizontal directions in the feature amount extracting step in the above invention is generated. The feature is that it is extracted as a feature amount.
【００２１】この発明によれば、顔領域検出手段により
検出された顔領域内の髪領域を縦、横各方向に射影した
波形を特徴量として抽出することにより、計算量を抑制
した顔画像検索方法を実現することができる。According to the present invention, a face image search with a reduced amount of calculation is performed by extracting a waveform obtained by projecting the hair region in the face region detected by the face region detecting means in each of the vertical and horizontal directions as a feature amount. The method can be realized.
【００２２】つぎの発明にかかる顔画像検索方法は、上
記の発明における特徴量抽出工程において、前記顔パー
ツ抽出工程により抽出された顔パーツを切り出した画像
を特徴量として抽出することを特徴とする。A face image search method according to the next invention is characterized in that, in the feature amount extracting step in the above invention, an image obtained by cutting out the face parts extracted in the face part extracting step is extracted as a feature amount. .
【００２３】この発明によれば、抽出された顔パーツを
切り出した画像を特徴量とすることにより、計算量を抑
制した顔画像検索方法を実現することができる。According to the present invention, by using the image obtained by cutting out the extracted face parts as the feature amount, it is possible to realize the face image search method in which the calculation amount is suppressed.
【００２４】つぎの発明にかかる顔画像検索方法は、上
記の発明における特徴量抽出手段において、前記顔パー
ツ抽出工程により抽出された顔パーツの位置関係を特徴
量として抽出することを特徴とする。A face image search method according to the next invention is characterized in that the feature amount extraction means in the above invention extracts the positional relationship of the face parts extracted in the face part extraction step as a feature amount.
【００２５】この発明によれば、抽出された顔パーツの
位置関係を特徴量とすることにより、計算量を抑制した
顔画像検索方法を実現することができる。According to the present invention, by using the positional relationship of the extracted face parts as the feature amount, it is possible to realize a face image search method that suppresses the calculation amount.
【００２６】つぎの発明にかかるプログラムは、上記の
発明のいずれか一つに記載された方法をコンピュータに
実行させるプログラムであり、そのプログラムがコンピ
ュータ読み取り可能となり、これによって、上記の発明
のいずれか一つの動作をコンピュータによって実行する
ことができる。A program according to the next invention is a program for causing a computer to execute the method described in any one of the above inventions, and the program becomes computer readable, whereby any one of the above inventions can be realized. An operation can be performed by a computer.
【００２７】[0027]
【発明の実施の形態】以下に添付図面を参照して、この
発明にかかる顔画像検索装置、顔画像検索方法およびそ
の方法をコンピュータに実行させるプログラムの実施の
形態について詳細に説明する。BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of a face image search apparatus, a face image search method and a program for causing a computer to execute the method according to the present invention will be described in detail below with reference to the accompanying drawings.
【００２８】実施の形態１．まず、この発明の実施の形
態１について説明する。図１は、この発明の実施の形態
にかかる顔画像検索装置の構成を示す機能ブロック図で
ある。同図において、１１は画像の取込をおこなう画像
撮像部を、１２は撮像された顔画像から髪領域および肌
色領域の検出をおこなう顔領域検出部を、１３は肌色領
域の中から、目、口、鼻等の位置の抽出をおこなう顔パ
ーツ抽出部処理部を、１４は髪型の特徴量、顔パーツの
形状といった特徴量の抽出をおこなう特徴量抽出部を、
１５は顔パーツ抽出部１３および特徴量抽出部１４で抽
出された情報の登録、保持をおこなうデータベースを、
１６は検索処理の要求があった場合にデータベース１５
から情報を読み出し、検索対象と比較・照合処理をおこ
なう評価処理部をそれぞれ示している。Embodiment 1. First, the first embodiment of the present invention will be described. FIG. 1 is a functional block diagram showing the configuration of a face image search device according to an embodiment of the present invention. In the figure, 11 is an image capturing unit that captures an image, 12 is a face region detecting unit that detects a hair region and a skin color region from the captured face image, 13 is an eye from the skin color region, A face part extraction unit processing unit that extracts positions such as mouth and nose, and a feature amount extraction unit 14 that extracts a feature amount such as a hairstyle feature amount and a face part shape,
Reference numeral 15 denotes a database for registering and retaining the information extracted by the face part extraction unit 13 and the feature amount extraction unit 14,
16 is a database 15 when a search processing request is made.
An evaluation processing unit that reads out information from the above and performs comparison / collation processing with a search target is shown.
【００２９】例えば、画像撮像部１１は、顔の部分を撮
像するＣＣＤカメラまたはビデオカメラ等からなる。顔
領域検出部１２は、画像入出力ボード、ワークステーシ
ョンまたはパーソナルコンピュータ、画像処理ソフトウ
ェア等からなる。顔パーツ抽出部１３は、ワークステー
ションまたはパーソナルコンピュータ、画像処理ソフト
ウェア等からなる。特徴量抽出部１４は、ワークステー
ションまたはパーソナルコンピュータ、画像処理ソフト
ウェア等からなる。データベース１５は、磁気ディスク
装置等の記録装置からなる。評価処理部１６は、ワーク
ステーションまたはパーソナルコンピュータ、データベ
ース処理ソフトウェア等からなる。なお、それぞれの処
理部は、それぞれの処理部における処理量とハードウェ
アの処理能力に応じて、処理を統合し、同じハードウェ
ア上で処理させる構成としてもよいし、また、それぞれ
が別々なハードウェアで処理させる構成としてもよい。For example, the image pickup section 11 is composed of a CCD camera, a video camera or the like for picking up an image of the face. The face area detection unit 12 is composed of an image input / output board, a workstation or a personal computer, image processing software, and the like. The face part extraction unit 13 includes a workstation, a personal computer, image processing software, or the like. The feature amount extraction unit 14 includes a workstation, a personal computer, image processing software, or the like. The database 15 comprises a recording device such as a magnetic disk device. The evaluation processing unit 16 is composed of a workstation, a personal computer, database processing software, or the like. It should be noted that each processing unit may have a configuration in which the processing is integrated and processed on the same hardware according to the processing amount of each processing unit and the processing capacity of the hardware, or each processing unit has a different hardware. It may be configured to be processed by ware.
【００３０】つぎに、図１の顔画像検索装置１０の２つ
の処理モードについて説明する。顔画像検索装置１０
は、撮像された画像から画像情報および特徴量を抽出
し、データベースへの登録処理をおこなう登録モード
と、撮像された画像と登録済の情報との比較・照合処理
をおこなう評価モードを有する。登録モードでは、画像
撮像部１１、顔領域検出部１２、顔パーツ抽出部１３、
特徴量抽出部１４を介して、画像情報および特徴量をデ
ータベース１５に登録する。また、評価モードでは、画
像撮像部１１、顔領域検出部１２、顔パーツ抽出部１
３、特徴量抽出部１４を介して、評価対象の画像情報お
よび特徴量を評価処理部１６に取り込み、登録済の情報
との比較・照合処理を行い、類似度を評価する。Next, two processing modes of the face image retrieval apparatus 10 of FIG. 1 will be described. Face image retrieval device 10
Has a registration mode for extracting image information and a feature amount from a captured image and performing registration processing in a database, and an evaluation mode for performing comparison / collation processing between the captured image and registered information. In the registration mode, the image capturing unit 11, the face area detecting unit 12, the face part extracting unit 13,
The image information and the feature amount are registered in the database 15 via the feature amount extraction unit 14. In the evaluation mode, the image capturing unit 11, the face area detecting unit 12, the face part extracting unit 1
3. The image information to be evaluated and the feature amount are taken into the evaluation processing unit 16 via the feature amount extraction unit 14, and the comparison / collation process with the registered information is performed to evaluate the degree of similarity.
【００３１】まず、登録モード時の処理手順について説
明する。図２は、登録モード時の処理を示すフローチャ
ートである。以下、図面を参照しながら説明する。First, the processing procedure in the registration mode will be described. FIG. 2 is a flowchart showing the processing in the registration mode. Hereinafter, description will be given with reference to the drawings.
【００３２】図２に示すように、画像撮像部１１により
人物の顔画像を撮像し、図６に示す顔画像３１を取得す
る（ステップＳ１０１）。つぎに、顔領域検出部１２で
は、顔画像３１から肌色に指定した色と近い色を持つ画
素を取り出し、肌色領域３２を抽出する（ステップＳ１
０２）。この処理は、例えば肌色を他の色と区別するた
めの色空間上で、予めサンプリングした肌色の情報から
色空間上の肌色の範囲を定め、各画素の色が定めた範囲
に入っているか否かを判定することにより行われる。さ
らに、顔画像３１から髪に指定した色と近い色をもつ画
素を取り出し、髪領域３３を抽出する（ステップＳ１０
３）。この処理も、肌色領域の抽出処理と同様の処理で
実現できる。この２つの処理により、図７に示す顔領域
画像が得られる。As shown in FIG. 2, a face image of a person is picked up by the image pickup unit 11 to obtain a face image 31 shown in FIG. 6 (step S101). Next, the face area detection unit 12 extracts pixels having a color close to the color specified as the skin color from the face image 31 and extracts the skin color area 32 (step S1).
02). This process determines the range of the skin color on the color space from the information of the skin color sampled in advance on the color space for distinguishing the skin color from other colors, and determines whether the color of each pixel is within the defined range. It is performed by determining whether or not. Further, pixels having a color similar to the color designated for hair are extracted from the face image 31 to extract the hair region 33 (step S10).
3). This processing can also be realized by the same processing as the extraction processing of the skin color area. The face area image shown in FIG. 7 is obtained by these two processes.
【００３３】つぎに、顔パーツ抽出部１３では、顔領域
検出部１２で得られた図７に示す顔領域画像の肌色領域
３２から目および口の位置の情報を、両目と口の位置に
挟まれる領域から鼻の位置の情報をそれぞれ抽出する
（ステップＳ１０４）。さらに、特徴量抽出部１４で
は、画像撮像部１１で得られた図６の顔画像又は顔領域
検出部１２で得られた図７の顔領域画像において、髪領
域の縦および横方向の輝度値ヒストグラムの情報、顔パ
ーツ領域の横方向の輝度値ヒストグラムの情報ならびに
顔および口の抽出画像の情報を抽出する（ステップＳ１
０５）。Next, the face part extraction unit 13 inserts the eye and mouth position information from the skin color region 32 of the face region image shown in FIG. 7 obtained by the face region detection unit 12 between the positions of both eyes and mouth. The information of the position of the nose is extracted from the respective regions (step S104). Further, in the feature amount extraction unit 14, in the face image of FIG. 6 obtained by the image capturing unit 11 or the face region image of FIG. 7 obtained by the face region detection unit 12, the luminance values in the vertical and horizontal directions of the hair region are obtained. The information of the histogram, the information of the horizontal luminance value histogram of the face part area, and the information of the extracted image of the face and the mouth are extracted (step S1).
05).
【００３４】最後に、データベース１５では、ステップ
Ｓ１０２により抽出された肌色領域の情報、ステップＳ
１０３により抽出された髪領域の情報、ステップＳ１０
４により抽出された目、口および鼻の位置の情報、ステ
ップＳ１０５により抽出された髪領域の縦および横方向
の輝度値ヒストグラムの情報、顔パーツ領域の横方向の
輝度値ヒストグラムの情報並びに顔および口の画像の情
報が、撮像された顔画像と関連付けられてデータベース
１５に登録される（ステップＳ１０６）。以上により、
撮像された顔画像から所望の情報を抽出し、データベー
ス１５に登録する一連の処理が終了する。Finally, in the database 15, information on the skin color area extracted in step S102, step S102.
Information on hair region extracted by 103, step S10
4, information on the positions of the eyes, mouth and nose extracted in step 4, information on the brightness value histograms in the vertical and horizontal directions of the hair area extracted in step S105, information on the brightness value histograms in the horizontal direction of the face part area and the face and The information of the image of the mouth is registered in the database 15 in association with the captured face image (step S106). From the above,
A series of processing for extracting desired information from the captured face image and registering it in the database 15 is completed.
【００３５】つぎに、評価モード時の処理手順について
説明する。図５は、評価モード時の処理を示すフローチ
ャートである。以下、図面を参照しながら説明する。Next, the processing procedure in the evaluation mode will be described. FIG. 5 is a flowchart showing the processing in the evaluation mode. Hereinafter, description will be given with reference to the drawings.
【００３６】図５に示すように、顔画像の撮像（ステッ
プＳ４０１）、肌色領域の検出（ステップＳ４０２）、
髪領域の検出（ステップＳ４０３）、顔パーツの抽出
（ステップＳ４０４）および特徴量の抽出（ステップＳ
４０５）までの各処理は、登録モード時の処理と同様の
処理をおこなう。すなわち、画像撮像部１１では、図６
に示す顔画像３１を取得し（ステップＳ４０１）、顔領
域検出部１２では、顔画像３１から図７に示す肌色領域
３２及び髪領域３３を抽出し（ステップＳ４０２及びス
テップＳ４０３）、顔パーツ抽出部１３では、顔領域検
出部１２で得られた肌色領域３２の中から目、口および
鼻の位置の情報を抽出し（ステップＳ４０４）、特徴量
抽出部１４では、画像撮像部１１で得られた図６に示す
顔画像３１または顔領域検出部１２で得られた図７に示
す顔領域画像に対して、髪領域の縦および横方向の輝度
値ヒストグラムの情報、顔パーツ領域の横方向の輝度値
ヒストグラムの情報ならびに顔および口の抽出画像の情
報を抽出する（ステップＳ４０５）。As shown in FIG. 5, a face image is picked up (step S401), a skin color area is detected (step S402),
Hair region detection (step S403), face part extraction (step S404), and feature amount extraction (step S).
Each process up to 405) is the same as the process in the registration mode. That is, in the image capturing unit 11, as shown in FIG.
7 is acquired (step S401), the face area detection unit 12 extracts the skin color area 32 and the hair area 33 shown in FIG. 7 from the face image 31 (steps S402 and S403), and the face part extraction unit At 13, the eye, mouth, and nose position information is extracted from the skin color area 32 obtained by the face area detecting section 12 (step S404), and at the feature quantity extracting section 14, the information is obtained by the image capturing section 11. For the face image 31 shown in FIG. 6 or the face area image shown in FIG. 7 obtained by the face area detection unit 12, information on the brightness value histograms in the vertical and horizontal directions of the hair area, and the brightness in the horizontal direction of the face part area. Information on the value histogram and information on the extracted images of the face and mouth are extracted (step S405).
【００３７】つぎに、この一連の処理で得られた情報
と、データベース１５から読み出した登録済の情報とを
評価処理部１６で相関処理を行い、相関値を算出する。
さらに、他の登録済の情報があれば、その情報に対し相
関値を算出する処理を繰り返す。このようにして得られ
た相関値の集合に対し、相関値の合計が最大となる顔画
像を出力する。なお、この処理では、顔画像の候補列を
一定の規則（例えば、相関値の高い順等）にしたがって
出力してもよい。以上により、撮像された顔画像から抽
出した情報と、データベース１５に登録済の情報とを比
較・照合する一連の処理が終了する。Next, the information obtained by this series of processing and the registered information read from the database 15 are subjected to correlation processing by the evaluation processing section 16 to calculate the correlation value.
Further, if there is other registered information, the process of calculating the correlation value is repeated for that information. With respect to the set of correlation values thus obtained, the face image having the maximum total of the correlation values is output. In this process, the candidate sequence of face images may be output according to a certain rule (for example, in descending order of correlation value). As described above, a series of processes for comparing and collating the information extracted from the captured face image with the information registered in the database 15 is completed.
【００３８】上述した２つの処理、すなわち、撮像画像
から所望の情報を抽出しデータベースに登録する登録モ
ード時の処理と、撮像画像から抽出した情報と登録済の
情報とを比較・照合する評価モード時の処理とが、全体
的な処理の流れである。The above-described two processes, that is, the process in the registration mode for extracting desired information from the captured image and registering it in the database, and the evaluation mode for comparing and collating the information extracted from the captured image with the registered information. The time processing is the overall processing flow.
【００３９】つぎに、図１に示した画像検索装置１の登
録モードおよび評価モード時に共通する処理である図３
に示す顔パーツ抽出処理と図４に示す特徴量抽出処理に
ついて図を参照しながら説明する。Next, the processing common to the image search apparatus 1 shown in FIG. 1 in the registration mode and the evaluation mode will be described with reference to FIG.
The face part extraction process shown in FIG. 4 and the feature amount extraction process shown in FIG. 4 will be described with reference to the drawings.
【００４０】図３は、顔パーツ抽出処理を示すフローチ
ャートである。この処理は、図２のステップＳ１０４ま
たは図５のステップＳ４０４の処理に該当する。まず、
図７の肌色領域３２において、この肌色領域３２よりも
輝度値の低い領域を探索し、図１０に示すように両目の
位置３７を決定する（ステップＳ２０１）。また、横方
向が両目の中間位置で、かつ、縦方向がこの位置よりも
下の範囲、さらに、肌色領域３２よりも輝度値の低い領
域を探索し、図１０に示すように口の位置３８を決定す
る（ステップＳ２０２）。最後に、鼻の位置について
は、次の３段階の処理により、鼻の位置を決定する。
（ａ） 両目と口の間に位置し、鼻全体を概略含んだ図
８に示す鼻領域３４を特定する（ステップＳ２０３）。
（ｂ） この鼻領域３４に対し、横エッジを強調する処
理（ステップＳ２０４）を行い、図９に示す鼻領域横エ
ッジ強調処理画像３５を得る。
（ｃ） この横エッジ強調処理画像３５に対し、その輝
度値を横方向に射影する処理（ステップＳ２０５）によ
り得られた図９に示す鼻領域輝度値横方向射影波形３６
において、最も小さい輝度値を持つ位置を図１０に示す
ように鼻の位置３９と決定する（ステップＳ２０６）。
以上が、画像撮像部１１から得られた顔画像から、目、
鼻および口の位置を抽出するための処理である。FIG. 3 is a flow chart showing the facial part extraction processing. This process corresponds to the process of step S104 of FIG. 2 or step S404 of FIG. First,
In the flesh color region 32 of FIG. 7, a region having a lower brightness value than the flesh color region 32 is searched for, and the positions 37 of both eyes are determined as shown in FIG. 10 (step S201). Further, a range in which the horizontal direction is the middle position between the eyes and the vertical direction is lower than this position, and a region having a luminance value lower than that of the skin color region 32 is searched for, and the mouth position 38 is set as shown in FIG. Is determined (step S202). Finally, as for the position of the nose, the position of the nose is determined by the following three steps of processing. (A) The nose area 34 shown in FIG. 8 that is located between both eyes and the mouth and roughly includes the entire nose is specified (step S203). (B) The nose area 34 is subjected to a lateral edge enhancement process (step S204) to obtain a nose area lateral edge enhancement image 35 shown in FIG. (C) The nose region luminance value lateral projection waveform 36 shown in FIG. 9 obtained by the process of horizontally projecting the luminance value of the lateral edge enhancement image 35 (step S205).
In, the position having the smallest luminance value is determined as the nose position 39 as shown in FIG. 10 (step S206).
From the face image obtained from the image capturing unit 11, the eyes,
This is a process for extracting the positions of the nose and mouth.
【００４１】図４は、特徴量抽出処理のフローチャート
である。この処理は、図２のステップＳ１０５または図
５のステップＳ４０５の処理に該当する。まず、髪形の
特徴量を得るために、ステップＳ１０１で検出した髪領
域９の輝度値を縦方向に加算する処理（ステップＳ３０
１）および横方向に加算する処理（ステップＳ３０２）
を実施し、それぞれ図１１に示す髪縦方向ヒストグラム
４０および髪横方向ヒストグラム４１を得る。つぎに、
顔パーツの配置の特徴量を得るために、両目と口の位置
をもとに鼻を含んだ図１２に示す顔パーツ領域４２を決
定するとともに（ステップＳ３０３）、その領域の輝度
値を横方向に加算した顔パーツ横方向ヒストグラム４３
を得る（ステップＳ３０４）。最後に、図１３に示す顔
パーツの形状の特徴量としての、鼻画像４４（ステップ
Ｓ３０５）および口画像４５（ステップＳ３０６）を得
る。FIG. 4 is a flowchart of the feature amount extraction processing. This process corresponds to the process of step S105 of FIG. 2 or step S405 of FIG. First, in order to obtain the characteristic amount of the hairstyle, a process of vertically adding the brightness values of the hair region 9 detected in step S101 (step S30).
1) and processing for adding in the horizontal direction (step S302)
Is carried out to obtain the hair vertical histogram 40 and the hair horizontal histogram 41 shown in FIG. 11, respectively. Next,
In order to obtain the feature amount of the arrangement of the face parts, the face part area 42 shown in FIG. 12 including the nose is determined based on the positions of both eyes and the mouth (step S303), and the brightness value of the area is set in the horizontal direction. Face part horizontal histogram 43 added to
Is obtained (step S304). Finally, the nose image 44 (step S305) and the mouth image 45 (step S306) are obtained as the feature amount of the shape of the face part shown in FIG.
【００４２】以上が、画像撮像部１１により得られた顔
画像および顔領域検出部１２により得られた顔領域画像
から、髪領域の輝度値の縦および横方向のヒストグラ
ム、顔パーツ領域のヒストグラム並びに鼻および口の画
像を抽出するための処理である。From the face image obtained by the image pickup unit 11 and the face region image obtained by the face region detection unit 12, the vertical and horizontal histograms of the luminance value of the hair region, the histogram of the face part region, and This is a process for extracting images of the nose and mouth.
【００４３】このようにこの実施の形態１によれば、画
像検索装置を図１からなる構成とし、撮像された顔画像
から人物の顔領域を検出し、この検出結果に基づいて目
や口などの顔のパーツを抽出するとともに、この抽出結
果に基づいて顔の特徴量を抽出し、データベースに保持
されている登録済の顔画像との類似度を評価することと
したので、膨大な計算量を抑制することができ、軽易な
構成と、高速な処理とを可能とする顔画像検索処理を実
現することができる。As described above, according to the first embodiment, the image retrieval apparatus is configured as shown in FIG. 1, the face area of the person is detected from the captured face image, and the eyes, mouth, etc. are detected based on the detection result. Since it was decided to extract the facial parts of the human face and the feature amount of the face based on this extraction result, and to evaluate the similarity with the registered face images stored in the database, a huge amount of calculation is required. Therefore, it is possible to realize the face image search processing that enables a simple configuration and high-speed processing.
【００４４】実施の形態２．図１４は、実施の形態２に
おける顔画像検索装置２０を示すブロック図であり、図
１の顔画像検索装置１０に関し、さらに画像表示部２１
を付加したものである。この画像表示部２１を用いて、
ユーザは図１５に示す画像を取得する際に、目や口を合
わせ位置４６に合わせて画像の撮像をおこなう。また、
顔領域検出部１２は、目と口にはさまれる領域４７から
肌色情報を抽出し、その肌色情報から肌色領域９の抽出
をおこなうことができる。さらに、顔パーツ抽出部１３
は、合わせ位置４６の周辺のみで目や口を探索し、位置
を決定することができる。Embodiment 2. FIG. 14 is a block diagram showing a face image search device 20 according to the second embodiment, which relates to the face image search device 10 of FIG.
Is added. Using this image display unit 21,
When acquiring the image shown in FIG. 15, the user captures the image by aligning the eyes and mouth with the alignment position 46. Also,
The face area detection unit 12 can extract the skin color information from the area 47 sandwiched between the eyes and the mouth, and can extract the skin color area 9 from the skin color information. Furthermore, the face part extraction unit 13
Can search the eyes and mouth only around the alignment position 46 to determine the position.
【００４５】このようにこの実施の形態２によれば、図
１の画像検索装置に画像表示部を加えた図１４からなる
構成とし、この画像表示部を用いて、撮像された画像に
加えて、撮像時に顔の合わせ位置を表示することができ
るので、目や口といった顔のパーツ位置を容易に決定す
ることができる。As described above, according to the second embodiment, the image retrieving apparatus of FIG. 1 is added with the image display section as shown in FIG. 14, and the image display section is used to add to the captured image. Since the face alignment position can be displayed at the time of image capturing, the face part positions such as eyes and mouth can be easily determined.
【００４６】[0046]
【発明の効果】以上説明したように、この発明によれ
ば、撮像された顔画像から人物の顔領域を検出し、この
検出結果に基づいて目や口などの顔のパーツを抽出する
とともに、この抽出結果に基づいて顔の特徴量を抽出
し、登録済の顔画像情報データベースとの類似度を評価
することにより、膨大な計算量を抑制することができる
ので、軽易な構成と、高速な処理とを可能とする顔画像
検索装置が得られるという効果を奏する。As described above, according to the present invention, a face area of a person is detected from a captured face image, and face parts such as eyes and mouth are extracted based on the detection result. By extracting the feature amount of the face based on this extraction result and evaluating the degree of similarity with the registered face image information database, a huge amount of calculation can be suppressed, so a simple configuration and high speed An effect that a face image search device that enables processing can be obtained.
【００４７】つぎの発明によれば、撮像された画像に加
えて、撮像時に顔の合わせ位置を表示することができる
ので、目や口といった顔のパーツ位置を容易に決定する
ことが可能な顔画像検索装置が得られるという効果を奏
する。According to the next invention, in addition to the picked-up image, it is possible to display the face matching position at the time of picking up the image. Therefore, it is possible to easily determine the parts position of the face such as eyes and mouth. There is an effect that an image search device can be obtained.
【００４８】つぎの発明によれば、顔領域検出手段によ
り検出された顔領域内の髪領域を縦、横各方向に射影し
たヒストグラムを特徴量として抽出することにより、膨
大な計算量を抑制することができるので、軽易な構成
と、高速な処理とを可能とする顔画像検索装置が得られ
るという効果を奏する。According to the next invention, a huge amount of calculation is suppressed by extracting a histogram obtained by projecting the hair area in the face area detected by the face area detecting means in each of the vertical and horizontal directions as a feature quantity. Therefore, it is possible to obtain a face image search device that enables a simple configuration and high-speed processing.
【００４９】つぎの発明によれば、抽出された顔パーツ
を切り出した画像を特徴量とすることにより、膨大な計
算量を抑制することができるので、軽易な構成と、高速
な処理とを可能とする顔画像検索装置が得られるという
効果を奏する。According to the next invention, since an image in which the extracted face parts are cut out is used as the feature amount, a huge amount of calculation can be suppressed, so that a simple configuration and high-speed processing are possible. The effect that the face image search device is obtained is obtained.
【００５０】つぎの発明によれば、抽出された顔パーツ
の位置関係を特徴量とすることにより、膨大な計算量を
抑制することができるので、軽易な構成と、高速な処理
とを可能とする顔画像検索装置が得られるという効果を
奏する。According to the next invention, since the positional relationship of the extracted face parts is used as the feature amount, a huge amount of calculation can be suppressed, so that a simple structure and high-speed processing are possible. This has the effect of providing a face image search device that does.
【００５１】つぎの発明によれば、撮像された顔画像か
ら人物の顔領域を検出し、この検出結果に基づいて目や
口などの顔のパーツを抽出するとともに、この抽出結果
に基づいて顔の特徴量を抽出し、登録済の顔画像情報デ
ータベースとの類似度を評価することにより、膨大な計
算量を抑制することができるので、軽易な構成と、高速
な処理とを可能とする顔画像検索方法が得られるという
効果を奏する。According to the next invention, the face area of a person is detected from the captured face image, the face parts such as eyes and mouth are extracted based on the detection result, and the face is extracted based on the extraction result. It is possible to suppress the enormous amount of calculation by extracting the feature amount of the face and evaluating the degree of similarity with the registered face image information database, so that a face that enables a simple configuration and high-speed processing can be achieved. This has the effect of providing an image search method.
【００５２】つぎの発明によれば、撮像された画像に加
えて、撮像時に顔の合わせ位置を表示することにより、
目や口といった顔のパーツ位置を容易に決定することが
可能な顔画像検索方法が得られるという効果を奏する。According to the next invention, in addition to the picked-up image, by displaying the face matching position at the time of picking up,
It is possible to obtain a face image search method capable of easily determining the positions of face parts such as eyes and mouth.
【００５３】つぎの発明によれば、顔領域検出手段によ
り検出された顔領域内の髪領域を縦、横各方向に射影し
たヒストグラムを特徴量として抽出することにより、膨
大な計算量を抑制することができるので、軽易な構成
と、高速な処理とを可能とする顔画像検索方法が得られ
るという効果を奏する。According to the next invention, a huge amount of calculation is suppressed by extracting a histogram obtained by projecting the hair region in the face region detected by the face region detecting means in each of the vertical and horizontal directions as a feature amount. Therefore, it is possible to obtain a face image search method that enables a simple configuration and high-speed processing.
【００５４】つぎの発明によれば、抽出された顔パーツ
を切り出した画像を特徴量とすることにより、膨大な計
算量を抑制することができるので、軽易な構成と、高速
な処理とを可能とする顔画像照検索方法が得られるとい
う効果を奏する。According to the next invention, since an image in which the extracted face parts are cut out is used as a feature amount, a huge amount of calculation can be suppressed, so that a simple configuration and high-speed processing are possible. The effect that the face image illumination search method is obtained is obtained.
【００５５】つぎの発明によれば、抽出された顔パーツ
の位置関係を特徴量とすることにより、膨大な計算量を
抑制することができるので、軽易な構成と、高速な処理
とを可能とする顔画像検索処理方法が得られるという効
果を奏する。According to the next invention, a huge amount of calculation can be suppressed by using the positional relationship of the extracted face parts as a feature amount, so that a simple configuration and high-speed processing are possible. This has the effect of providing a face image search processing method that
【００５６】つぎの発明にかかるプログラムは、上記の
いずれかひとつに記載された方法をコンピュータに実行
させるプログラムが得られるという効果を奏する。The program according to the next invention has the effect of obtaining a program for causing a computer to execute the method described in any one of the above.
【図１】 この発明にかかる顔画像検索装置の実施の形
態１の構成を示す機能ブロック図である。FIG. 1 is a functional block diagram showing a configuration of a first embodiment of a face image search device according to the present invention.
【図２】 実施の形態１および２における登録モード時
の処理を示すフローチャートである。FIG. 2 is a flowchart showing processing in a registration mode according to the first and second embodiments.
【図３】 実施の形態１および２における顔パーツ抽出
処理を示すフローチャートである。FIG. 3 is a flowchart showing face part extraction processing according to the first and second embodiments.
【図４】 実施の形態１および２における特徴量抽出処
理を示すフローチャートである。FIG. 4 is a flowchart showing a feature amount extraction process in the first and second embodiments.
【図５】 実施の形態１および２における評価モード時
の処理を示すフローチャートである。FIG. 5 is a flowchart showing processing in an evaluation mode according to the first and second embodiments.
【図６】 図１の画像撮像部が撮像した顔画像を示す図
である。FIG. 6 is a diagram showing a face image captured by the image capturing section of FIG. 1.
【図７】 図６に示す顔画像から、肌色領域および髪領
域を検出した顔領域画像を示す図である。7 is a diagram showing a face area image in which a skin color area and a hair area are detected from the face image shown in FIG.
【図８】 顔領域から鼻の位置を抽出するために、図６
の画像から切り出した画像を示す図である。FIG. 8 is a schematic diagram for extracting a nose position from a face area.
It is a figure which shows the image cut out from the image of FIG.
【図９】 鼻領域に横エッジを強調処理した画像および
この画像の輝度値を横方向に射影した結果を示す図であ
る。FIG. 9 is a diagram showing an image in which lateral edges are emphasized in a nose region and a result of horizontally projecting luminance values of the image.
【図１０】 図６に示す画像から目、鼻および口の位置
を特定した結果を示す図である。10 is a diagram showing a result of specifying the positions of eyes, a nose, and a mouth from the image shown in FIG.
【図１１】 図６に示す画像の髪領域の輝度値を縦およ
び横方向に加算した結果を示す図である。11 is a diagram showing a result of adding the luminance values of the hair region of the image shown in FIG. 6 in the vertical and horizontal directions.
【図１２】 図６に示す画像から顔パーツの配置の特徴
量を得るために抽出した領域と、その領域の輝度値を横
方向に加算した結果を示す図である。FIG. 12 is a diagram showing a region extracted from the image shown in FIG. 6 for obtaining a feature amount of the arrangement of face parts and a result of horizontally adding luminance values of the region.
【図１３】 図３に示す画像から抽出した鼻および口の
画像を示す図である。13 is a diagram showing images of a nose and a mouth extracted from the image shown in FIG.
【図１４】 この発明にかかる顔画像検索装置の実施の
形態２の構成を示す機能ブロック図である。FIG. 14 is a functional block diagram showing the configuration of the second embodiment of the face image search device according to the present invention.
【図１５】 画像撮像時の目および口の合わせ位置およ
び肌色情報の抽出位置を示す図である。FIG. 15 is a diagram showing eye and mouth alignment positions and skin color information extraction positions during image capturing.
１０ 顔画像検索装置、１１ 画像撮像部、１２ 顔領
域検出部、１３ 顔パーツ抽出部、１４ 特徴料抽出
部、１５ データベース、１６ 評価処理部、２１ 画
像表示部、３１ 顔画像、３２ 肌色領域、３３ 髪領
域、３４ 鼻領域、３５ 鼻領域横エッジ強調処理画
像、３６ 鼻領域輝度値横方向射影波形、３７ 両目の
位置、３８ 口の位置、３９ 鼻の位置、４０ 髪縦方
向ヒストグラム、４１ 髪横方向ヒストグラム、４２
顔パーツ領域、４３ 顔パーツ横方向ヒストグラム、４
４ 鼻の画像、４５ 口の画像、４６ 目および口の合
わせ位置、４７ 肌色情報の抽出位置。10 face image search device, 11 image capturing unit, 12 face region detecting unit, 13 face part extracting unit, 14 feature charge extracting unit, 15 database, 16 evaluation processing unit, 21 image display unit, 31 face image, 32 skin color region, 33 hair region, 34 nose region, 35 nose region horizontal edge enhancement image, 36 nose region brightness value horizontal projection waveform, 37 both eye positions, 38 mouth position, 39 nose position, 40 hair vertical histogram, 41 hair Horizontal histogram, 42
Face parts area, 43 face parts horizontal histogram, 4
4 Nose image, 45 mouth image, 46 Eye / mouth alignment position, 47 Skin color information extraction position.
───────────────────────────────────────────────────── フロントページの続き (72)発明者 鹿毛 裕史 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 Ｆターム(参考） 5B057 DA11 DB02 DB06 DC16 DC19 DC22 DC25 DC34 DC36 DC39 5B075 ND08 NK07 NK37 UU08 5L096 AA02 AA06 CA02 FA06 FA34 FA36 FA69 GA38 HA09 JA03 JA11 KA15 ─────────────────────────────────────────────────── ─── Continued front page (72) Inventor Hiroshi Kage 2-3 2-3 Marunouchi, Chiyoda-ku, Tokyo Inside Ryo Electric Co., Ltd. F term (reference) 5B057 DA11 DB02 DB06 DC16 DC19 DC22 DC25 DC34 DC36 DC39 5B075 ND08 NK07 NK37 UU08 5L096 AA02 AA06 CA02 FA06 FA34 FA36 FA69 GA38 HA09 JA03 JA11 KA15
Claims (11)
を比較することにより撮像された顔画像に最も相関の高
い登録済の顔画像を検索する顔画像検索装置において、 顔画像を撮像する画像撮像手段と、 前記画像撮像手段によって撮像された顔画像から人物の
顔領域を検出する顔領域検出手段と、 前記顔領域検出手段より目や口などの顔のパーツを抽出
する顔パーツ抽出手段と、 前記顔パーツ抽出手段の結果に基づき顔の特徴量を抽出
する特徴量抽出手段と、 複数の顔画像に基づいた情報を保持する情報保持手段
と、 前記特徴量抽出手段により得られた特徴量に基づき、撮
像した顔画像と前記情報保持手段により保持されている
登録済の顔画像との類似度を求める評価処理手段と、 を備えたことを特徴とする顔画像検索装置。1. A face image retrieving apparatus for retrieving a registered face image having the highest correlation with the captured face image by comparing the captured face image with the registered face image, Image capturing means for capturing an image, face area detecting means for detecting a face area of a person from the face image captured by the image capturing means, and face parts for extracting face parts such as eyes and mouth from the face area detecting means. Extraction means, feature amount extraction means for extracting a face feature amount based on the result of the face part extraction means, information holding means for holding information based on a plurality of face images, and the feature amount extraction means A face image search apparatus comprising: an evaluation processing unit that obtains a degree of similarity between the captured face image and the registered face image held by the information holding unit based on the feature amount.
を表示する画像表示手段を備え、撮像時に顔の合わせ位
置を表示することを特徴とする請求項１に記載の顔画像
検索装置。2. The face image search device according to claim 1, further comprising image display means for displaying an image picked up by said image pick-up means, and displaying a face matching position at the time of picking up.
手段により検出された顔領域内の髪領域を縦、横各方向
に射影した波形を特徴量として抽出することを特徴とす
る請求項１または２に記載の顔画像検索装置。3. The feature quantity extracting means extracts a waveform obtained by projecting a hair area in the face area detected by the face area detecting means in each of vertical and horizontal directions as a feature quantity. The face image search device according to 1 or 2.
出手段により抽出された顔パーツを切り出した画像を特
徴量として抽出することを特徴とする請求項１〜３のい
ずれか一つに記載の顔画像検索装置。4. The feature quantity extracting means extracts an image obtained by cutting out the face parts extracted by the face part extracting means as a feature quantity. Face image retrieval device.
出手段により抽出された顔パーツの位置関係を特徴量と
して抽出することを特徴とする請求項１〜４のいずれか
一つに記載の顔画像検索装置。5. The feature amount extraction means extracts the positional relationship of the face parts extracted by the face part extraction means as a feature amount, according to any one of claims 1 to 4. Face image search device.
を比較することにより撮像された顔画像に最も相関の高
い登録済の顔画像を検索する顔画像検索方法において、 顔画像を撮像する画像撮像工程と、 前記画像撮像工程によって撮像された画像から人物の顔
領域を検出する顔領域検出工程と、 前記顔領域検出工程より目や口などの顔のパーツを抽出
する顔パーツ抽出工程と、 前記顔パーツ抽出工程の結果に基づき顔の特徴量を抽出
する特徴量抽出工程と、 複数の顔画像に基づいた情報を保持する情報保持工程
と、 前記特徴抽出工程により得られた特徴量に基づき、撮像
した顔画像と前記情報保持工程により保持されている登
録済の顔画像との類似度を求める評価処理工程と、 を備えたことを特徴とする顔画像検索方法。6. A face image search method for searching a registered face image having the highest correlation with the captured face image by comparing the captured face image with the registered face image, An image capturing step for capturing an image, a face area detecting step for detecting a face area of a person from the image captured by the image capturing step, and a face part extracting for extracting face parts such as eyes and mouths from the face area detecting step. Process, a feature amount extraction process for extracting a face feature amount based on the result of the face part extraction process, an information holding process for holding information based on a plurality of face images, and a feature obtained by the feature extraction process. A face image search method comprising: an evaluation processing step of obtaining a degree of similarity between the captured face image and the registered face image held in the information holding step based on the amount.
を表示する画像表示工程を備え、撮像時に顔の合わせ位
置を表示することを特徴とする請求項６に記載の顔画像
検索方法。7. The face image search method according to claim 6, further comprising an image display step of displaying an image captured by the image capturing step, and displaying a face alignment position at the time of image capturing.
部により検出された顔領域内の髪領域を縦、横各方向に
射影した波形を特徴量として抽出することを特徴とする
請求項６または７に記載の顔画像検索方法。8. The feature quantity extracting step extracts a waveform obtained by projecting a hair area in the face area detected by the face area detecting unit in each of vertical and horizontal directions as a feature quantity. The face image search method according to 6 or 7.
出工程により抽出された顔パーツを切り出した画像を特
徴量として抽出することを特徴とする請求項６〜８のい
ずれか一つに記載の顔画像検索方法。9. The feature amount extracting step extracts an image obtained by cutting out the face parts extracted in the face part extracting step as a feature amount. Face image search method.
抽出工程により抽出された顔パーツの位置関係を特徴量
として抽出することを特徴とする請求項６〜９のいずれ
か一つに記載の顔画像検索方法。10. The feature amount extraction step extracts the positional relationship of the face parts extracted by the face part extraction step as a feature amount. Face image search method.
された方法をコンピュータに実行させるプログラム。11. A program for causing a computer to execute the method according to any one of claims 6 to 10.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001379136A JP2003178304A (en) | 2001-12-12 | 2001-12-12 | Face image retrieving device, face image retrieving method and program for executing method on computer |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001379136A JP2003178304A (en) | 2001-12-12 | 2001-12-12 | Face image retrieving device, face image retrieving method and program for executing method on computer |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003178304A true JP2003178304A (en) | 2003-06-27 |
Family
ID=19186636
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001379136A Pending JP2003178304A (en) | 2001-12-12 | 2001-12-12 | Face image retrieving device, face image retrieving method and program for executing method on computer |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003178304A (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006092957A1 (en) * | 2005-03-01 | 2006-09-08 | Osaka Prefecture University Public Corporation | Document/image searching method and program, and document/image recording and searching device |
| US7545983B2 (en) * | 2004-06-10 | 2009-06-09 | Fujifilm Corporation | Person image retrieval apparatus |
| JP2009169518A (en) * | 2008-01-11 | 2009-07-30 | Kddi Corp | Area identification apparatus and content identification apparatus |
| JP2009237618A (en) * | 2008-03-25 | 2009-10-15 | Seiko Epson Corp | Detection of face area in image |
| KR100922693B1 (en) * | 2008-03-12 | 2009-10-20 | 엔에이치엔(주) | System and method for searching person |
| US8036497B2 (en) | 2005-03-01 | 2011-10-11 | Osaka Prefecture University Public Corporation | Method, program and apparatus for storing document and/or image using invariant values calculated from feature points and method, program and apparatus for retrieving document based on stored document and/or image |
| US8314948B2 (en) | 2007-10-03 | 2012-11-20 | Canon Kabushiki Kaisha | Image forming system utilizing network camera |
| JP2013055668A (en) * | 2012-10-10 | 2013-03-21 | Olympus Imaging Corp | Image reproduction device and image reproduction method |
| US9117111B2 (en) | 2009-06-16 | 2015-08-25 | Canon Kabushiki Kaisha | Pattern processing apparatus and method, and program |
| US9449215B2 (en) | 2012-04-27 | 2016-09-20 | Rakuten, Inc. | Information processing apparatus, information processing method and information processing program |
-
2001
- 2001-12-12 JP JP2001379136A patent/JP2003178304A/en active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7545983B2 (en) * | 2004-06-10 | 2009-06-09 | Fujifilm Corporation | Person image retrieval apparatus |
| US7869633B2 (en) * | 2004-06-10 | 2011-01-11 | Fujifilm Corporation | Person image retrieval apparatus |
| WO2006092957A1 (en) * | 2005-03-01 | 2006-09-08 | Osaka Prefecture University Public Corporation | Document/image searching method and program, and document/image recording and searching device |
| US8036497B2 (en) | 2005-03-01 | 2011-10-11 | Osaka Prefecture University Public Corporation | Method, program and apparatus for storing document and/or image using invariant values calculated from feature points and method, program and apparatus for retrieving document based on stored document and/or image |
| US8314948B2 (en) | 2007-10-03 | 2012-11-20 | Canon Kabushiki Kaisha | Image forming system utilizing network camera |
| JP2009169518A (en) * | 2008-01-11 | 2009-07-30 | Kddi Corp | Area identification apparatus and content identification apparatus |
| KR100922693B1 (en) * | 2008-03-12 | 2009-10-20 | 엔에이치엔(주) | System and method for searching person |
| JP2009237618A (en) * | 2008-03-25 | 2009-10-15 | Seiko Epson Corp | Detection of face area in image |
| US9117111B2 (en) | 2009-06-16 | 2015-08-25 | Canon Kabushiki Kaisha | Pattern processing apparatus and method, and program |
| US9449215B2 (en) | 2012-04-27 | 2016-09-20 | Rakuten, Inc. | Information processing apparatus, information processing method and information processing program |
| JP2013055668A (en) * | 2012-10-10 | 2013-03-21 | Olympus Imaging Corp | Image reproduction device and image reproduction method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100480781B1 (en) | Method of extracting teeth area from teeth image and personal identification method and apparatus using teeth image | |
| CN105930709B (en) | Face recognition technology is applied to the method and device of testimony of a witness consistency check | |
| CN104933414B (en) | A kind of living body faces detection method based on WLD-TOP | |
| WO2019033572A1 (en) | Method for detecting whether face is blocked, device and storage medium | |
| CN102945366B (en) | A kind of method and device of recognition of face | |
| US8027521B1 (en) | Method and system for robust human gender recognition using facial feature localization | |
| US8934679B2 (en) | Apparatus for real-time face recognition | |
| WO2019071664A1 (en) | Human face recognition method and apparatus combined with depth information, and storage medium | |
| WO2019033574A1 (en) | Electronic device, dynamic video face recognition method and system, and storage medium | |
| WO2019033571A1 (en) | Facial feature point detection method, apparatus and storage medium | |
| KR101781358B1 (en) | Personal Identification System And Method By Face Recognition In Digital Image | |
| KR20080060265A (en) | Determining a particular person from a collection | |
| JP2001216515A (en) | Method and device for detecting face of person | |
| CN108846306A (en) | A kind of identity card Compare System and method based on deep learning recognition of face | |
| JP2008504606A (en) | Multi-biometric system and method based on a single image | |
| CN106548148A (en) | The recognition methodss of unknown face and system in video | |
| US11682231B2 (en) | Living body detection method and device | |
| WO2019033570A1 (en) | Lip movement analysis method, apparatus and storage medium | |
| US11315360B2 (en) | Live facial recognition system and method | |
| JP4206053B2 (en) | User interface device and user interface program | |
| CN112364827A (en) | Face recognition method and device, computer equipment and storage medium | |
| CN106991448A (en) | A kind of portrait compares processing method | |
| CN109657627A (en) | Auth method, device and electronic equipment | |
| JP2003178304A (en) | Face image retrieving device, face image retrieving method and program for executing method on computer | |
| JPH04101280A (en) | Face picture collating device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041210 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070625 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070807 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080422 |