JP6975882B2 - 照合装置および照合結果表示方法 - Google Patents
照合装置および照合結果表示方法 Download PDFInfo
- Publication number
- JP6975882B2 JP6975882B2 JP2018532917A JP2018532917A JP6975882B2 JP 6975882 B2 JP6975882 B2 JP 6975882B2 JP 2018532917 A JP2018532917 A JP 2018532917A JP 2018532917 A JP2018532917 A JP 2018532917A JP 6975882 B2 JP6975882 B2 JP 6975882B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- collation
- face
- region
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
Description
[1.構成]
図1は、実施の形態に係る照合装置100の全体構成を示すブロック図である。照合装置100は、例えば、施設等に設置された監視カメラが撮像した画像から取得される複数の顔画像(以下、母集団顔画像と呼ぶ)と、検索対象となる人物の顔画像(以下、検索顔画像と呼ぶ)とを照合し、母集団顔画像の中から検索顔画像を検索することにより、検索対象となる人物が当該施設に出入りしたか否かの管理を行う入退場管理システム等に適用される。
次に、照合装置100のプロセッサ101によって実行される照合処理の流れについて図2を参照して説明する。図2は、照合処理の一例を示すフローチャートである。なお、図2を参照して説明する各処理の詳細については、後述する。
次に、図2のステップS1に示した顔登録処理について、図3を参照して説明する。図3は、顔登録処理の一例を示すフローチャートである。
次に、図3のステップS12に示した特徴量計算処理について図4を参照して説明する。図4は、特徴量計算処理の一例を示すフローチャートである。
次に、図3のステップS13に示した異常値判定処理について図5を参照して説明する。図5は、異常値判定処理の一例を示すフローチャートである。図3を参照して説明したように、異常値判定処理は、特徴量計算処理の後に実行される。
前述した、顔登録処理により、プロセッサ101は、N2枚の登録顔画像それぞれにおいて、次元数N1の特徴量を計算し、次元数N1の特徴量それぞれにおいて、異常値であるか否かの判定を実行する。この顔登録処理によって得られるデータベースの一例について、図6を参照して説明する。図6は、登録顔画像のデータベースの一例を示す図である。
次に、図2のステップS2に示した検索顔特徴量計算処理について図7を参照して説明する。図7は、検索顔特徴量計算処理の一例を示すフローチャートである。
次に、図2のステップS4に示した顔検索処理について説明する。前述の通り、顔検索処理は、領域パターンPi毎に実行される。まずは、領域パターンについて、図8、図9を参照して説明する。
図2のステップS5に示したように、領域パターンPiにおける顔検索処理によって得られる領域パターンPi毎の顔検索結果、つまり、類似度が高い順にソートされた登録顔画像は、領域パターンPi毎に表示される。顔検索結果の表示例について、図11を参照して説明する。
従来、登録された顔画像と、検索対象である顔画像との間で行われる顔検索において、それぞれの顔画像から得られる顔全体の特徴量同士の類似度等の照合スコアの高さを基準に照合が行われる。しかしながら、サングラスおよび/またはマスク等の顔を遮蔽する物体(遮蔽物)の影響、あるいは、極端な照明環境による白飛びや黒つぶれ等の影響により、特徴量に異常値が発生する場合がある。このような場合、顔画像の一部の領域の情報が損なわれてしまうことにより照合スコアが適切に算出されないため、顔検索の精度が劣化してしまう可能性がある。
101 プロセッサ
102 記憶部
103 入力部
104 表示部
105 撮影部
106 バス
Claims (15)
- 少なくとも1つのプロセッサと、複数の登録顔画像と顔全体からそれぞれ異なる領域を除いた領域である複数の領域パターンとを記憶する記憶部とを有し、
前記プロセッサは、
前記登録顔画像における前記領域パターンに対応する領域である第1の対象領域の特徴量と、検索対象である検索顔画像における前記領域パターンに対応する領域である第2の対象領域の特徴量とを照合する部分照合を実行し、
前記部分照合の結果を前記部分照合に用いた領域パターンを示す情報とともに表示させる、
照合装置。 - 前記プロセッサは、前記検索顔画像における領域全体の特徴量と、前記登録顔画像における領域全体の特徴量とを照合する全体照合を実行し、
前記部分照合の結果と区別して前記全体照合の結果を表示させる、
請求項1に記載の照合装置。 - 前記プロセッサは、前記複数の登録顔画像のうち、前記全体照合の結果として表示させた前記登録顔画像以外の前記登録顔画像を、前記部分照合の結果として表示させる、請求項2に記載の照合装置。
- 前記プロセッサは、
前記複数の登録顔画像それぞれにおける異常値を含まない領域を判定し、
前記複数の領域パターンのうち、前記判定した領域が、前記複数の登録顔画像の中で最も多い領域に対応する領域パターンを前記第1の対象領域として選択することにより、前記異常値を含む領域を前記部分照合の対象から除外する、
請求項1に記載の照合装置。 - 前記プロセッサは、
前記複数の領域パターンのどれを用いても前記異常値を含む領域を前記部分照合の対象から除外できない場合、前記顔全体について照合を行い、
前記顔画像全体についての照合の結果を表示させる、
請求項4に記載の照合装置。 - 前記複数の領域パターンは、それぞれ、少なくとも1つの顔のパーツを含む、
請求項4に記載の照合装置。 - 前記複数の領域パターンそれぞれにおいて除かれる領域は、少なくとも1つの顔パーツを含む所定の大きさの領域である、
請求項4に記載の照合装置。 - 前記複数の領域パターンは、顔の領域を上下に2分割した上部分の領域、前記顔の領域を上下に2分割した下部分の領域、前記顔の領域を左右に2分割した左部分の領域、および、前記顔の領域を左右に2分割した右部分の領域のうち、少なくとも1つを含む、
請求項7に記載の照合装置。 - 前記プロセッサは、前記登録顔画像から顔のパーツを検出し、前記異常値を含む領域を前記部分照合の対象から除外する前に、前記顔のパーツの検出結果に基づいて前記登録顔画像を正規化し、
前記領域パターンは、前記正規化後の登録顔画像に対応する領域である、
請求項4に記載の照合装置。 - 前記プロセッサは、前記部分照合に用いた領域パターンごとに区分して、前記部分照合の結果が示す類似度が高い順に前記登録顔画像を一列に表示させる、
請求項4に記載の照合装置。 - 前記プロセッサは、前記部分照合に用いた領域パターンを示す情報を、前記登録顔画像と共に表示させる、
請求項10に記載の照合装置。 - 前記プロセッサは、前記部分照合の結果が示す類似度が高い順に前記登録顔画像を一列に表示させる、
請求項1に記載の照合装置。 - 前記プロセッサは、前記登録顔画像を多くとも1回表示させる、請求項1に記載の照合装置。
- 前記領域パターンの示す領域は、顔の領域を上下に2分割した上部分の領域、前記顔の領域を上下に2分割した下部分の領域、前記顔の領域を左右に2分割した左部分の領域、および、前記顔の領域を左右に2分割した右部分の領域のうち、少なくとも1つの領域である、
請求項1に記載の照合装置。 - 複数の登録顔画像と顔全体からそれぞれ異なる領域を除いた領域である複数の領域パターンとを取得し、
前記登録顔画像における前記領域パターンに対応する領域である第1の対象領域の特徴量と、検索対象である検索顔画像における前記領域パターンに対応する領域である第2の対象領域の特徴量とを照合する部分照合を実行し、
前記部分照合の結果を前記部分照合に用いた領域パターンを示す情報とともに表示させる、
照合結果表示方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016155835 | 2016-08-08 | ||
JP2016155835 | 2016-08-08 | ||
PCT/JP2017/026618 WO2018030129A1 (ja) | 2016-08-08 | 2017-07-24 | 照合装置および照合結果表示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018030129A1 JPWO2018030129A1 (ja) | 2019-06-06 |
JP6975882B2 true JP6975882B2 (ja) | 2021-12-01 |
Family
ID=61162020
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018532917A Active JP6975882B2 (ja) | 2016-08-08 | 2017-07-24 | 照合装置および照合結果表示方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10956717B2 (ja) |
EP (1) | EP3499455A4 (ja) |
JP (1) | JP6975882B2 (ja) |
WO (1) | WO2018030129A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4220544A4 (en) * | 2020-09-23 | 2023-11-22 | NEC Corporation | COMPARISON DEVICE, COMPARISON METHOD AND PROGRAM |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000306095A (ja) | 1999-04-16 | 2000-11-02 | Fujitsu Ltd | 画像照合・検索システム |
JP3575679B2 (ja) * | 2000-03-31 | 2004-10-13 | 日本電気株式会社 | 顔照合方法と該照合方法を格納した記録媒体と顔照合装置 |
JP4161659B2 (ja) * | 2002-02-27 | 2008-10-08 | 日本電気株式会社 | 画像認識システム及びその認識方法並びにプログラム |
JP2005149370A (ja) | 2003-11-19 | 2005-06-09 | Matsushita Electric Ind Co Ltd | 画像撮影装置、個人認証装置及び画像撮影方法 |
JP5669082B2 (ja) * | 2010-04-19 | 2015-02-12 | パナソニックIpマネジメント株式会社 | 照合装置 |
JP5444137B2 (ja) * | 2010-06-18 | 2014-03-19 | 株式会社東芝 | 顔画像検索装置および顔画像検索方法 |
US8705813B2 (en) * | 2010-06-21 | 2014-04-22 | Canon Kabushiki Kaisha | Identification device, identification method, and storage medium |
JP6026119B2 (ja) * | 2012-03-19 | 2016-11-16 | 株式会社東芝 | 生体情報処理装置 |
JP6150491B2 (ja) | 2012-10-26 | 2017-06-21 | セコム株式会社 | 顔認証装置 |
JP6013241B2 (ja) * | 2013-03-18 | 2016-10-25 | 株式会社東芝 | 人物認識装置、及び方法 |
JP6470503B2 (ja) * | 2014-05-20 | 2019-02-13 | キヤノン株式会社 | 画像照合装置、画像検索システム、画像照合方法、画像検索方法およびプログラム |
US10572766B2 (en) * | 2015-07-06 | 2020-02-25 | Nippon Telegraph And Telephone Corporation | Image collation device, image collation method, and program |
-
2017
- 2017-07-24 WO PCT/JP2017/026618 patent/WO2018030129A1/ja unknown
- 2017-07-24 US US16/319,904 patent/US10956717B2/en active Active
- 2017-07-24 EP EP17839202.3A patent/EP3499455A4/en active Pending
- 2017-07-24 JP JP2018532917A patent/JP6975882B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
US20190266389A1 (en) | 2019-08-29 |
EP3499455A4 (en) | 2019-07-10 |
WO2018030129A1 (ja) | 2018-02-15 |
US10956717B2 (en) | 2021-03-23 |
JPWO2018030129A1 (ja) | 2019-06-06 |
EP3499455A1 (en) | 2019-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9626551B2 (en) | Collation apparatus and method for the same, and image searching apparatus and method for the same | |
JP4241763B2 (ja) | 人物認識装置及びその方法 | |
US8005767B1 (en) | System and method of classifying events | |
WO2020139743A1 (en) | Computer-executed method and apparatus for assessing vehicle damage | |
JP5899179B2 (ja) | 人物認識装置、人物認識方法、人物認識プログラムおよびその記録媒体 | |
US20170154209A1 (en) | Image identification apparatus and image identification method | |
JP5424819B2 (ja) | 画像処理装置、画像処理方法 | |
Connaughton et al. | Fusion of face and iris biometrics | |
US8442279B2 (en) | Assessing biometric sample quality using wavelets and a boosted classifier | |
US11380010B2 (en) | Image processing device, image processing method, and image processing program | |
US20120230553A1 (en) | Apparatus and method for detecting eye state | |
US8842880B2 (en) | Information processing apparatus, method of controlling information processing apparatus, and storage medium | |
JP6822482B2 (ja) | 視線推定装置、視線推定方法及びプログラム記録媒体 | |
US9704024B2 (en) | Object discriminating apparatus and method | |
Gupta et al. | Identification of age, gender, & race SMT (scare, marks, tattoos) from unconstrained facial images using statistical techniques | |
CN111914748A (zh) | 人脸识别方法、装置、电子设备及计算机可读存储介质 | |
JP2016099835A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
Porto et al. | Automatic cephalometric landmarks detection on frontal faces: An approach based on supervised learning techniques | |
JP2007048172A (ja) | 情報分類装置 | |
JP6975882B2 (ja) | 照合装置および照合結果表示方法 | |
Hasan et al. | Improving alignment of faces for recognition | |
US9367768B2 (en) | Image processing device, image processing method, and storage medium computer-readably storing program therefor | |
Campadelli et al. | Eye localization for face recognition | |
JP7103443B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US20240144646A1 (en) | Learning apparatus, inference apparatus, inference system, learning method, inference method, and non-transitory computer-readable storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A527 Effective date: 20181029 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20190124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200609 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200609 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210608 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210705 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210921 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211004 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6975882 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |