JP6073858B2 - 顔の位置検出 - Google Patents
顔の位置検出 Download PDFInfo
- Publication number
- JP6073858B2 JP6073858B2 JP2014506970A JP2014506970A JP6073858B2 JP 6073858 B2 JP6073858 B2 JP 6073858B2 JP 2014506970 A JP2014506970 A JP 2014506970A JP 2014506970 A JP2014506970 A JP 2014506970A JP 6073858 B2 JP6073858 B2 JP 6073858B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- face
- face position
- surface model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 34
- 238000000034 method Methods 0.000 claims description 38
- 238000012545 processing Methods 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 238000003672 processing method Methods 0.000 claims 1
- 230000003287 optical effect Effects 0.000 description 8
- 238000012549 training Methods 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000003325 tomography Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
Claims (16)
- 顔の位置が検出される画像処理方法において、
場面の測定値から3Dの表面モデルを得るステップ、
前記3Dの表面モデルから角度データの2D画像を生成するステップであり、前記2D画像は角度データを表し、前記2D画像における夫々の像点に対する前記角度データは、仮想の照明方向から得られる入射方向と、前記像点において前記2D画像で見られる、3D表面上の点における当該3D表面の法線との間の角度に依存して選択されている、前記生成するステップ、及び
前記2D画像に2Dの顔の位置検出アルゴリズムを適用するステップ、
を有する方法。 - 夫々の仮想の照明方向に対する前記角度データを夫々表す複数の夫々の2D画像を前記3Dの表面モデルから生成するステップ、
前記夫々の2D画像に前記2Dの顔の位置検出アルゴリズムを適用するステップ、及び
前記夫々の2D画像から検出される顔の位置を結合するステップ、
を有する請求項1に記載の方法。 - 前記夫々の仮想の照明方向に対し、同じ視方向に対する複数の前記夫々の2D画像を生成するステップを有する、請求項2に記載の方法。
- 異なる視方向から、夫々複数の前記夫々の2D画像を生成するステップであり、前記夫々複数とは複数の互いに異なる夫々の仮想の照明方向に対する夫々の2D画像を有する、請求項3に記載の方法。
- 前記複数の夫々の2D画像に対する平均的な検出される2Dの位置を決めるステップ、及び前記3Dの表面モデルに従って、前記平均的な検出される2Dの位置と関連付けられる3D表面の位置を決めるステップ、を有する請求項3に記載の方法。
- 前記2Dの顔の位置検出アルゴリズムを適用するステップは、
前記画像の夫々の範囲にわたり複数の前記角度の合計を決めるステップ、
前記合計をしきい値と比較するステップ、及び
前記比較の結果を結合するステップ
を有する請求項1に記載の方法。 - 夫々の検出される2Dの顔の位置と関連付けられる夫々の3D表面の位置を、前記3Dの表面モデルに従って決めるステップ、及び前記夫々の3D表面の位置の平均を決めるステップ、を有する請求項2に記載の方法。
- 前記3Dの表面モデルは、前記場面から入力される光からなる1つ以上の他の2D画像からの情報を用いて得られる、請求項1に記載の方法。
- 構造化光を用いて前記場面を照明するステップを有する請求項8に記載の方法。
- 前記夫々の2D画像は、前記場面から入力される光からなる前記1つ以上の他の2D画像の視方向に一致する視方向に対し生成される、請求項8に記載の方法。
- 前記夫々の2D画像は、もしあれば前記3D表面上の点と関連付けられる光反射特性とは関係なく生成される、請求項8に記載の方法。
- 前記検出した顔の位置に見ることができる3D表面上の点の3D位置を決めるために、前記2Dの顔の位置検出アルゴリズム及び前記3Dの表面モデルにより検出される顔の位置を使用するステップ、を有する請求項1に記載の方法。
- プログラム可能な処理器により実施されるとき、請求項1乃至12の何れか一項に記載の方法を前記プログラム可能な処理器に行わせる、前記プログラム可能な処理器への命令からなるプログラムを有する、コンピュータプログラム。
- ある場面に対し得られる3Dの表面モデルから2D画像を生成するように構成される2D画像生成器であり、前記2D画像は角度データを表し、前記2D画像における夫々の像点に対する角度データは、仮想の照明方向から得られる入射方向と、前記像点において前記画像で見られる、3D表面上の点における当該3D表面の法線との間の角度に依存して選択されている、2D画像生成器、及び
前記夫々の2D画像に2Dの顔の位置検出アルゴリズムを適用するように構成される2Dの顔の位置検出器、
を有する画像処理システム。 - 請求項14に記載の画像処理システムにおいて、
前記2D画像生成器は、前記3Dの表面モデルから複数の夫々の2D画像を生成するように構成され、前記夫々の2D画像は夫々の仮想の照明方向に対する前記角度データを夫々表し、前記画像処理システムは、前記複数の夫々の2D画像から2Dの顔の位置検出器により検出された顔の位置の検出結果を結合するように構成されるデータ結合器を有する、画像処理システム。 - カメラと、当該カメラからの画像データを用いて前記3Dの表面モデルを生成するように構成される3Dモデル生成器とを有する、請求項14に記載の画像処理システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP11164162.7 | 2011-04-28 | ||
EP11164162 | 2011-04-28 | ||
PCT/IB2012/052038 WO2012147027A1 (en) | 2011-04-28 | 2012-04-23 | Face location detection |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014517380A JP2014517380A (ja) | 2014-07-17 |
JP2014517380A5 JP2014517380A5 (ja) | 2015-05-21 |
JP6073858B2 true JP6073858B2 (ja) | 2017-02-01 |
Family
ID=46062679
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014506970A Active JP6073858B2 (ja) | 2011-04-28 | 2012-04-23 | 顔の位置検出 |
Country Status (6)
Country | Link |
---|---|
US (2) | US9582706B2 (ja) |
EP (1) | EP2702533A1 (ja) |
JP (1) | JP6073858B2 (ja) |
CN (1) | CN103562934B (ja) |
AU (3) | AU2012247147A1 (ja) |
WO (1) | WO2012147027A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9396587B2 (en) | 2012-10-12 | 2016-07-19 | Koninklijke Philips N.V | System for accessing data of a face of a subject |
JP6297675B2 (ja) | 2013-05-10 | 2018-03-20 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 3d患者インターフェイスデバイス選択システム及び方法 |
US9020213B1 (en) | 2013-10-17 | 2015-04-28 | Daon Holdings Limited | Methods and systems for detecting biometric characteristics in an image |
KR101619661B1 (ko) * | 2014-12-08 | 2016-05-10 | 현대자동차주식회사 | 운전자의 얼굴 방향 검출 방법 |
JP6669444B2 (ja) * | 2015-06-29 | 2020-03-18 | 株式会社ミツトヨ | 造形装置、及び造形方法 |
US10586379B2 (en) | 2017-03-08 | 2020-03-10 | Ebay Inc. | Integration of 3D models |
WO2019192744A1 (en) * | 2018-04-06 | 2019-10-10 | Siemens Aktiengesellschaft | Object recognition from images using cad models as prior |
US11727656B2 (en) | 2018-06-12 | 2023-08-15 | Ebay Inc. | Reconstruction of 3D model with immersive experience |
CN109146962B (zh) * | 2018-09-07 | 2020-06-09 | 百度在线网络技术(北京)有限公司 | 检测脸部角度的方法、装置、存储介质和终端设备 |
KR102151851B1 (ko) * | 2018-09-12 | 2020-09-03 | 한양대학교 산학협력단 | 적외선 영상 기반 얼굴 인식 방법 및 이를 위한 학습 방법 |
US11051001B2 (en) * | 2019-05-29 | 2021-06-29 | Avigilon Corporation | Method and system for generating a two-dimensional and a three-dimensional image stream |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IL113496A (en) | 1995-04-25 | 1999-09-22 | Cognitens Ltd | Apparatus and method for recreating and manipulating a 3d object based on a 2d projection thereof |
US6137896A (en) | 1997-10-07 | 2000-10-24 | National Research Council Of Canada | Method of recognizing faces using range images |
US7660444B2 (en) * | 2000-02-24 | 2010-02-09 | Nokia Corporation | Method and apparatus for user recognition using CCD cameras |
US7155036B2 (en) * | 2000-12-04 | 2006-12-26 | Sony Corporation | Face detection under varying rotation |
US7221809B2 (en) | 2001-12-17 | 2007-05-22 | Genex Technologies, Inc. | Face recognition system and method |
JP3627058B2 (ja) * | 2002-03-01 | 2005-03-09 | 独立行政法人科学技術振興機構 | ロボット視聴覚システム |
US6947579B2 (en) | 2002-10-07 | 2005-09-20 | Technion Research & Development Foundation Ltd. | Three-dimensional face recognition |
EP1590762A4 (en) * | 2003-01-16 | 2007-07-25 | Intelitrac Inc | METHOD AND / OR SYSTEM FOR AUTOMATED FACE RECOGNITION AND AUTOMATED FACE COMPARISON USING MULTIPLE 2D FACE PICTURES PAINTED FROM A RECORDED 3D FACE IMAGE |
US20040223631A1 (en) | 2003-05-07 | 2004-11-11 | Roman Waupotitsch | Face recognition based on obtaining two dimensional information from three-dimensional face shapes |
EP1510973A3 (en) | 2003-08-29 | 2006-08-16 | Samsung Electronics Co., Ltd. | Method and apparatus for image-based photorealistic 3D face modeling |
KR100816607B1 (ko) * | 2003-10-21 | 2008-03-24 | 닛본 덴끼 가부시끼가이샤 | 화상 대조 시스템, 화상 대조 방법 및 컴퓨터로 판독가능한 기록 매체 |
US7436988B2 (en) | 2004-06-03 | 2008-10-14 | Arizona Board Of Regents | 3D face authentication and recognition based on bilateral symmetry analysis |
SE528068C2 (sv) | 2004-08-19 | 2006-08-22 | Jan Erik Solem Med Jsolutions | Igenkänning av 3D föremål |
US8660319B2 (en) | 2006-05-05 | 2014-02-25 | Parham Aarabi | Method, system and computer program product for automatic and semi-automatic modification of digital images of faces |
WO2008130906A1 (en) | 2007-04-17 | 2008-10-30 | Mikos, Ltd. | System and method for using three dimensional infrared imaging to provide psychological profiles of individuals |
JP4946730B2 (ja) | 2007-08-27 | 2012-06-06 | ソニー株式会社 | 顔画像処理装置及び顔画像処理方法、並びにコンピュータ・プログラム |
JP4655235B2 (ja) * | 2008-03-14 | 2011-03-23 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
JP2010277242A (ja) * | 2009-05-27 | 2010-12-09 | Mitsubishi Electric Corp | 画像処理装置 |
US9390317B2 (en) * | 2011-03-21 | 2016-07-12 | Hewlett-Packard Development Company, L.P. | Lip activity detection |
-
2012
- 2012-04-23 EP EP12720652.2A patent/EP2702533A1/en not_active Ceased
- 2012-04-23 US US14/114,213 patent/US9582706B2/en active Active
- 2012-04-23 WO PCT/IB2012/052038 patent/WO2012147027A1/en active Application Filing
- 2012-04-23 CN CN201280025930.1A patent/CN103562934B/zh active Active
- 2012-04-23 JP JP2014506970A patent/JP6073858B2/ja active Active
- 2012-04-23 AU AU2012247147A patent/AU2012247147A1/en not_active Abandoned
-
2017
- 2017-01-24 US US15/413,718 patent/US9740914B2/en active Active
- 2017-07-18 AU AU2017206169A patent/AU2017206169A1/en not_active Abandoned
-
2019
- 2019-06-05 AU AU2019203928A patent/AU2019203928B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN103562934A (zh) | 2014-02-05 |
JP2014517380A (ja) | 2014-07-17 |
US9582706B2 (en) | 2017-02-28 |
AU2019203928A1 (en) | 2019-06-27 |
US9740914B2 (en) | 2017-08-22 |
US20140056510A1 (en) | 2014-02-27 |
EP2702533A1 (en) | 2014-03-05 |
US20170132454A1 (en) | 2017-05-11 |
AU2019203928B2 (en) | 2020-08-20 |
CN103562934B (zh) | 2017-05-10 |
WO2012147027A1 (en) | 2012-11-01 |
AU2017206169A1 (en) | 2017-09-07 |
AU2012247147A1 (en) | 2013-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6073858B2 (ja) | 顔の位置検出 | |
JP4284664B2 (ja) | 三次元形状推定システム及び画像生成システム | |
JP6799155B2 (ja) | 情報処理装置、情報処理システム、および被写体情報特定方法 | |
JP2008537190A (ja) | 赤外線パターンを照射することによる対象物の三次元像の生成 | |
JP2008198193A (ja) | 顔認証システム、方法及びプログラム | |
JP6799154B2 (ja) | 情報処理装置および材質特定方法 | |
JP6515039B2 (ja) | 連続的な撮影画像に映り込む平面物体の法線ベクトルを算出するプログラム、装置及び方法 | |
JP6541920B1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
US20220277512A1 (en) | Generation apparatus, generation method, system, and storage medium | |
Hernandez et al. | Near laser-scan quality 3-D face reconstruction from a low-quality depth stream | |
JP6762570B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP5419757B2 (ja) | 顔画像合成装置 | |
US20130194254A1 (en) | Image processing apparatus, image processing method and program | |
JP7298687B2 (ja) | 物体認識装置及び物体認識方法 | |
JP5419773B2 (ja) | 顔画像合成装置 | |
JP5419777B2 (ja) | 顔画像合成装置 | |
KR102538685B1 (ko) | 다시점 정보를 이용하여 3d 정보를 복원하는 방법 및 이를 위한 장치 | |
JP2006227739A (ja) | 画像処理装置及び画像処理方法 | |
WO2019016879A1 (ja) | 物体検出装置、及び、物体検出手法 | |
JP5865092B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP4623320B2 (ja) | 三次元形状推定システム及び画像生成システム | |
WO2022213364A1 (zh) | 图像处理方法、图像处理装置、终端及可读存储介质 | |
WO2014017095A1 (en) | Low cost, non-intrusive, high accuracy head tracking apparatus and method | |
Wang | Quality enhancement of 3D models reconstructed by RGB-D camera systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150401 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150401 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160714 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161011 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161209 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170105 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6073858 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |