JP4718491B2 - 画像における主光源の方向を求めるための方法 - Google Patents
画像における主光源の方向を求めるための方法 Download PDFInfo
- Publication number
- JP4718491B2 JP4718491B2 JP2006549741A JP2006549741A JP4718491B2 JP 4718491 B2 JP4718491 B2 JP 4718491B2 JP 2006549741 A JP2006549741 A JP 2006549741A JP 2006549741 A JP2006549741 A JP 2006549741A JP 4718491 B2 JP4718491 B2 JP 4718491B2
- Authority
- JP
- Japan
- Prior art keywords
- albedo
- matrix
- intensity
- illumination
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Collating Specific Patterns (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
図1に示すように、本発明は、一般3D形状モデル101およびランバートモデルまたは拡散反射照明モデル102を使用して、たとえば、顔といった対象物の画像を測光法で正規化する。照明モデル102の拡散反射率は、一定の双方向反射率分布関数(BRDF)を有する。これらのモデルは、対象物の識別に使用される。本発明を説明するのに使用される用途の例は、顔識別および/または顔検証である。その点で、問題は、未知の顔画像を既知の顔画像のデータベースにおける画像と照合することである。
具体的には、図2に示すように、本発明では、入力画像I(x,y)201のすべての非ゼロの値を「スタック」することによってピクセル強度の列強度ベクトルI(→)211を構成する(210)。なお、(→)は、かっこの前の記号の上部に→が付されていることを意味している。対象物が、主光源103によってのみ照明されると仮定する場合、すなわち、周囲光がないと仮定する場合、ゼロ強度ピクセルは、おそらく影に存在する。したがって、これらのピクセルは、レイキャスティングが光源の位置を突き止めるのに使用されない限り、主光源への方向を示すことができない。実際の用途では、ある量の周囲光が常に存在する。したがって、本発明では、ピクセルを選択するための所定の非ゼロのしきい値または所定のマスクを使用して、強度ベクトルI(→)にスタックすることができる。
図3に示すように、入力画像201における指向性照明の推定s*251が与えられると、本発明では、顔のアルベド311または拡散皮膚テキスチャを推定すること(310)によって、照明を近似的に「取り消す」ことができ、次いで、一般形状モデル101と組み合わせて、たとえば、正面照明または純粋な拡散照明といった所望のどの照明の下でも、この特定のアルベドを再照明すること(320)ができる。
また、パラメータcによって表されるような任意の周囲照明をモデル化することも可能である。代表的な一組のN個のトレーニング画像を使用することによって、本発明では、下式(6)の最適性基準を使用して周囲照明の成分を数値的に推定することができる。
本発明は、測光法で較正されていない顔等の対象物の入力画像における主光源の方向を推定するための簡単でかつ実用的な方法を提供する。対象物の正確な形状およびアルベド(表面テクスチャ)は未知であるが、対象物のクラスの一般的な形状およびアルベドは既知である。さらに、この方法は、照明不変テンプレート照合および対象物識別のために、入力画像を測光法で正規化する。必要な計算は、入力画像の各ピクセルについて5つのドット積よりも少なくてすむ。
Claims (12)
- 画像における主光源の方向を求めるための方法であって、
未知の方向sから主光源によって照明される対象物であり、ピクセルの配列で構成され、各ピクセルが強度I(x,y)を有する入力画像Iを、カメラを用いて取得することと、
前記入力画像における非ゼロの強度をスタックすることで、前記入力画像の前記強度から強度ベクトルI(→)を構成することと、
前記対象物のアルベドマップρを定義することと、
前記アルベドマップに対応するベクトル化されたアルベドマップからアルベドベクトルρ(→)を構成することと、
前記対象物の形状行列Nを生成することと、
形状アルベド行列Aを得るために、前記アルベドベクトルρ(→)に前記形状行列Nを乗算することと、
前記強度ベクトルI(→)、前記アルベドベクトルρ(→)、および前記形状アルベド行列Aから、前記主光源への推定された方向s*を、最適化
を含み、
ここで、αは前記カメラの強度ゲイン、cは、相対周囲照明成分であり、
前記対象物は、前記形状行列Nによって表されるような一般形状モデルにより表される対象物のクラスに属し、
前記一般形状モデルの面法線をスタックすることによって、前記形状行列を生成し、
前記乗算することは、要素ごとのアダマール行列積o、すなわち、
画像における主光源の方向を求めるための方法。 - 前記対象物は、顔である請求項1に記載の方法。
- パラメータcによって表されるような任意の周囲照明によって前記対象物を照明することをさらに含む請求項1に記載の方法。
- 所定のしきい値に従って前記非ゼロの強度を選択することをさらに含む請求項1に記載の方法。
- マスクに従って前記非ゼロの強度を選択することをさらに含む請求項1に記載の方法。
- 拡散テキスチャから前記アルベドベクトルρ(→)を構成することをさらに含む請求項1に記載の方法。
- 特定のピクセルの前記強度が0である場合に、該特定のピクセルに平均アルベドを割り当てることをさらに含む請求項1に記載の方法。
- 行列P=A(ATA)−1を定義することと、
前記行列Pの等価な直交基底を推定し、QR因子分解P=QRを適用することと
をさらに含み、
前記ユニタリ行列Qは、前記行列Pのような部分空間にわたる3つの正規直交列を有し、R−1は、誤差共分散の行列平方根であるので、3×3の上三角行列Rは、前記推定の品質を定義する請求項2に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/057,828 US7324688B2 (en) | 2005-02-14 | 2005-02-14 | Face relighting for normalization of directional lighting |
US11/057,828 | 2005-02-14 | ||
PCT/JP2006/302398 WO2006085629A2 (en) | 2005-02-14 | 2006-02-06 | Method for determining direction of principal light source in image |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008530628A JP2008530628A (ja) | 2008-08-07 |
JP4718491B2 true JP4718491B2 (ja) | 2011-07-06 |
Family
ID=36649046
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006549741A Expired - Fee Related JP4718491B2 (ja) | 2005-02-14 | 2006-02-06 | 画像における主光源の方向を求めるための方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US7324688B2 (ja) |
EP (1) | EP1776656B1 (ja) |
JP (1) | JP4718491B2 (ja) |
CN (1) | CN100555309C (ja) |
DE (1) | DE602006006888D1 (ja) |
WO (1) | WO2006085629A2 (ja) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7227977B1 (en) * | 2003-01-10 | 2007-06-05 | L-I Identity Solutions, Inc. | Lighting correction for the outdoor environment with extension to the self adjusting algorithm for general lighting conditions |
US20110102553A1 (en) * | 2007-02-28 | 2011-05-05 | Tessera Technologies Ireland Limited | Enhanced real-time face models from stereo imaging |
WO2008085815A1 (en) * | 2007-01-05 | 2008-07-17 | Objectvideo, Inc. | Video-based sensing for lighting controls |
JP5049356B2 (ja) | 2007-02-28 | 2012-10-17 | デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド | テクスチャ空間分解に基づく統計的顔モデリングにおける指向性照明変動性の分離 |
US8009880B2 (en) * | 2007-05-11 | 2011-08-30 | Microsoft Corporation | Recovering parameters from a sub-optimal image |
US20090172756A1 (en) * | 2007-12-31 | 2009-07-02 | Motorola, Inc. | Lighting analysis and recommender system for video telephony |
US8463072B2 (en) * | 2008-08-29 | 2013-06-11 | Adobe Systems Incorporated | Determining characteristics of multiple light sources in a digital image |
US8457389B2 (en) * | 2008-09-03 | 2013-06-04 | Nec Corporation | Image processing device, image processing method and image processing program |
KR101375186B1 (ko) | 2009-07-14 | 2014-04-01 | 삼성테크윈 주식회사 | 감시 카메라 교란 검출 방법 |
US8194072B2 (en) * | 2010-03-26 | 2012-06-05 | Mitsubishi Electric Research Laboratories, Inc. | Method for synthetically relighting images of objects |
CN101872491B (zh) * | 2010-05-21 | 2011-12-28 | 清华大学 | 基于光度立体的自由视角重光照方法和*** |
CN101917637B (zh) * | 2010-06-24 | 2012-10-10 | 清华大学 | 基于自由视角光照传输矩阵的重光照方法及*** |
US9224233B2 (en) * | 2012-05-24 | 2015-12-29 | Google Inc. | Blending 3D model textures by image projection |
CN110363840A (zh) * | 2014-05-13 | 2019-10-22 | 河谷控股Ip有限责任公司 | 通过反照率模型、***和方法的增强现实内容渲染 |
CN104331919B (zh) * | 2014-11-02 | 2017-04-19 | 北京理工大学 | 光动力治疗中投光方向的优化方法 |
CN104639843B (zh) * | 2014-12-31 | 2017-12-05 | 小米科技有限责任公司 | 图像处理方法及装置 |
US9866816B2 (en) * | 2016-03-03 | 2018-01-09 | 4D Intellectual Properties, Llc | Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis |
CN106407977B (zh) * | 2016-09-05 | 2020-01-03 | 广东小天才科技有限公司 | 目标内容的定位搜索的方法和装置 |
US10491808B1 (en) * | 2017-06-27 | 2019-11-26 | Amazon Technologies, Inc. | Detecting sunlight in images |
JP7084616B2 (ja) * | 2018-06-20 | 2022-06-15 | 国立大学法人 筑波大学 | 画像処理装置、画像処理方法、及び画像処理プログラム |
RU2697627C1 (ru) | 2018-08-01 | 2019-08-15 | Самсунг Электроникс Ко., Лтд. | Способ корректировки освещенности объекта на изображении в последовательности изображений и вычислительное устройство пользователя, реализующее упомянутый способ |
WO2020056693A1 (zh) * | 2018-09-20 | 2020-03-26 | 太平洋未来科技(深圳)有限公司 | 一种图片合成方法、装置及电子设备 |
TWI767179B (zh) * | 2019-01-24 | 2022-06-11 | 宏達國際電子股份有限公司 | 混合實境中偵測真實世界光源的方法、混合實境系統及記錄媒體 |
US11532400B2 (en) | 2019-12-06 | 2022-12-20 | X Development Llc | Hyperspectral scanning to determine skin health |
CN112102462B (zh) | 2020-09-27 | 2023-07-21 | 北京百度网讯科技有限公司 | 图像的渲染方法、装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6947579B2 (en) * | 2002-10-07 | 2005-09-20 | Technion Research & Development Foundation Ltd. | Three-dimensional face recognition |
US7319467B2 (en) * | 2005-03-29 | 2008-01-15 | Mitsubishi Electric Research Laboratories, Inc. | Skin reflectance model for representing and rendering faces |
US7609859B2 (en) * | 2005-06-14 | 2009-10-27 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for generating bi-linear models for faces |
KR20080059157A (ko) * | 2005-08-12 | 2008-06-26 | 릭 비. 예거 | 인간의 피부의 시각적 매력을 강화하기 위하여 반사율변형제를 가하는 시스템 및 방법 |
CN101523408B (zh) * | 2006-01-23 | 2013-11-20 | 数字标记公司 | 一种识别物品的方法 |
-
2005
- 2005-02-14 US US11/057,828 patent/US7324688B2/en not_active Expired - Fee Related
-
2006
- 2006-02-06 EP EP06713540A patent/EP1776656B1/en not_active Expired - Fee Related
- 2006-02-06 DE DE602006006888T patent/DE602006006888D1/de active Active
- 2006-02-06 JP JP2006549741A patent/JP4718491B2/ja not_active Expired - Fee Related
- 2006-02-06 CN CNB2006800006035A patent/CN100555309C/zh not_active Expired - Fee Related
- 2006-02-06 WO PCT/JP2006/302398 patent/WO2006085629A2/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
EP1776656A2 (en) | 2007-04-25 |
DE602006006888D1 (de) | 2009-07-02 |
JP2008530628A (ja) | 2008-08-07 |
CN100555309C (zh) | 2009-10-28 |
US20060182367A1 (en) | 2006-08-17 |
CN101006451A (zh) | 2007-07-25 |
WO2006085629A3 (en) | 2006-10-19 |
EP1776656B1 (en) | 2009-05-20 |
US7324688B2 (en) | 2008-01-29 |
WO2006085629A2 (en) | 2006-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4718491B2 (ja) | 画像における主光源の方向を求めるための方法 | |
Chen et al. | Deep photometric stereo for non-lambertian surfaces | |
Peng et al. | Optimized 3D lighting environment estimation for image forgery detection | |
US8090160B2 (en) | Automated method for human face modeling and relighting with application to face recognition | |
Kakadiaris et al. | 3D-2D face recognition with pose and illumination normalization | |
Sheikh et al. | Exploring the space of a human action | |
US7593019B2 (en) | Method and apparatus for collating object | |
Knorr et al. | Real-time illumination estimation from faces for coherent rendering | |
Wu et al. | Simultaneous localization and appearance estimation with a consumer RGB-D camera | |
US20070080967A1 (en) | Generation of normalized 2D imagery and ID systems via 2D to 3D lifting of multifeatured objects | |
WO2010026983A1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
Han et al. | 3D face texture modeling from uncalibrated frontal and profile images | |
Malassiotis et al. | Robust face recognition using 2D and 3D data: Pose and illumination compensation | |
Zhao et al. | Minimizing illumination differences for 3D to 2D face recognition using lighting maps | |
Kumar et al. | Non-Lambertian reflectance modeling and shape recovery of faces using tensor splines | |
Lee et al. | A practical face relighting method for directional lighting normalization | |
Ono et al. | Practical BRDF reconstruction using reliable geometric regions from multi-view stereo | |
Singh et al. | Face liveness detection through face structure analysis | |
Fanfani et al. | FISH: Face intensity-shape histogram representation for automatic face splicing detection | |
Ibikunle et al. | Face recognition using line edge mapping approach | |
Seuffert et al. | Towards forensic exploitation of 3-D lighting environments in practice | |
Kakadiaris et al. | Face recognition using 3D images | |
Mazumdar et al. | Estimation of lighting environment for exposing image splicing forgeries | |
Shim | Probabilistic approach to realistic face synthesis with a single uncalibrated image | |
Riess | Physical Integrity |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090123 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110329 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110331 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140408 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |