JP2018147046A - 顔検出装置およびその制御方法 - Google Patents
顔検出装置およびその制御方法 Download PDFInfo
- Publication number
- JP2018147046A JP2018147046A JP2017038616A JP2017038616A JP2018147046A JP 2018147046 A JP2018147046 A JP 2018147046A JP 2017038616 A JP2017038616 A JP 2017038616A JP 2017038616 A JP2017038616 A JP 2017038616A JP 2018147046 A JP2018147046 A JP 2018147046A
- Authority
- JP
- Japan
- Prior art keywords
- image
- partial image
- face
- face detection
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000008569 process Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 12
- 230000008901 benefit Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】暗い画像や明暗関係が逆転した画像に対する顔検出の成功率を向上させるための技術を提供する。
【解決手段】画像に対し探索ウィンドウを走査しながら、前記探索ウィンドウ内の部分画像における局所領域間の明暗差に基づく画像特徴を用いて当該部分画像が顔の画像であるか否かを判定する識別器を有する顔検出装置において、前記探索ウィンドウ内の部分画像が低輝度画像であるか否かを判定し、前記部分画像が低輝度画像であると判定された場合、前記部分画像の代わりに、前記部分画像における所定位置のピクセルの輝度を変更した変更部分画像を用いて、前記識別器による判定を行う。
【選択図】図2
【解決手段】画像に対し探索ウィンドウを走査しながら、前記探索ウィンドウ内の部分画像における局所領域間の明暗差に基づく画像特徴を用いて当該部分画像が顔の画像であるか否かを判定する識別器を有する顔検出装置において、前記探索ウィンドウ内の部分画像が低輝度画像であるか否かを判定し、前記部分画像が低輝度画像であると判定された場合、前記部分画像の代わりに、前記部分画像における所定位置のピクセルの輝度を変更した変更部分画像を用いて、前記識別器による判定を行う。
【選択図】図2
Description
本発明は、画像から顔を検出する顔検出装置に関する。
近年、画像から顔を自動検出する顔検出技術が、デジタルカメラのオートフォーカス、監視カメラなどをはじめとする様々なアプリケーションに実装されている。顔検出技術の最も実用的なアルゴリズムの一つに、局所領域間の明暗差に基づいて画像の顔らしさを評価する方法がある。顔画像においては、例えば、目の領域は鼻や頬の領域に比べて暗い、口の領域は顎の領域に比べて暗い、額の領域は目の領域に比べて明るいなどの傾向があり、このような傾向は性別や人種を問わず共通している。この傾向に着目して、局所領域間の明暗差に基づく画像特徴を用いて顔か非顔かの判定を行うのである。画像特徴としては、Haar−like特徴がよく用いられる。
しかしながら、局所領域間の明暗差を用いるアルゴリズムは、入力画像が全体的に暗い画像であったり逆光で撮影された画像であったりした場合に、顔検出の成功率が低下するおそれがある。暗い画像や逆光画像の場合は、局所領域間の明暗差が小さかったり、局所領域間の明暗関係が逆転してしまい(例えば目の領域が鼻の領域に比べて明るくなるなど)、顔の画像特徴をうまく抽出できないからである。特許文献1には、入力画像が低輝度である場合に、ガンマ変換によって入力画像を高輝度化してから顔検出を行うことで、顔検出精度を向上させる方法が提案されている。特許文献1の方法は非常に効果的ではあるものの、万能ではない。特に、局所領域間の明暗差がきわめて小さい画像や、明暗関係が逆転している画像に対しては、ガンマ変換による方法では顔検出の成功率向上は期待できない。
本発明は、上記実情に鑑みなされたものであって、暗い画像や明暗関係が逆転した画像に対する顔検出の成功率を向上させるための技術を提供することを目的とする。
上記目的を達成するために、本発明では、暗い画像や明暗関係が逆転した画像の場合は、画像における所定位置のピクセルの輝度を変更(小さく/大きく)した画像を用いて顔検出を行う、という方法を採用する。
具体的には、本発明の第一態様は、画像に対し探索ウィンドウを走査しながら、前記探索ウィンドウ内の部分画像における局所領域間の明暗差に基づく画像特徴を用いて当該部分画像が顔の画像であるか否かを判定する識別器を有する顔検出装置であって、前記探索ウィンドウ内の部分画像が低輝度画像であるか否かを判定する低輝度画像判定部をさらに有し、前記低輝度画像判定部により前記部分画像が低輝度画像であると判定された場合に、前記部分画像の代わりに、前記部分画像における所定位置のピクセルの輝度を変更した変更部分画像を用いて、前記識別器による判定を行うことを特徴とする顔検出装置を提供する。
前記所定位置は、顔の画像の中で相対的に暗くあるべき領域であり、前記変更部分画像は、前記所定位置のピクセルの輝度を小さい値に変更した画像であることが好ましい。また、前記所定位置は、前記部分画像が顔の画像であると仮定した場合における目の位置であるとよい。また、前記変更部分画像は、前記部分画像における前記所定位置のピクセルの輝度を所定値に置き換えた画像であるとよい。前記所定値は、最小の輝度値であることが好ましい。
上記構成によれば、探索ウィンドウ内の部分画像が低輝度画像である場合に、部分画像の代わりに変更部分画像を用いて顔検出(識別器による顔/非顔判定)を行うので、従来方法に比べて、暗い画像や明暗関係が逆転した画像に対する顔検出の成功率を向上することができる。また、本発明の構成はシンプルであるとともに、通常処理の場合(低輝度画像でない場合)と同じ識別器を利用できるため、既存の顔検出装置への実装が容易であるという利点もある。
なお、本発明は、上記構成ないし機能の少なくとも一部を有する顔検出装置として捉えることができる。また、本発明は、上記処理の少なくとも一部を含む、顔検出装置の制御方法又は顔検出方法や、これらの方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。
本発明によれば、暗い画像や明暗関係が逆転した画像に対する顔検出の成功率を向上することができる。
本発明は、画像から顔を自動で検出するための顔検出アルゴリズムに関する。本発明は、画像センシング、コンピュータビジョン、ロボットビジョン等における要素技術として利用可能であり、具体的なアプリケーションとしては、監視カメラにおける人の検出及び追跡、デジタルカメラやスマートフォンの組み込みカメラにおけるオートフォーカス、家電製品における人の検出、顔認証システムにおける顔検出エンジンなど、様々な分野への応用が可能である。
以下、図面を参照して本発明を実施するための好ましい形態の一例を説明する。ただし、以下の実施形態に記載されている装置の構成や動作は一例であり、本発明の範囲をそれらのみに限定する趣旨のものではない。
(顔検出装置の構成)
図1を参照して、本発明の実施形態に係る顔検出装置の構成を説明する。図1は、顔検出装置1の機能構成を模式的に示すブロック図である。
図1を参照して、本発明の実施形態に係る顔検出装置の構成を説明する。図1は、顔検出装置1の機能構成を模式的に示すブロック図である。
顔検出装置1は、主な機能として、画像入力部10、部分画像取得部11、低輝度画像判定部12、部分画像変更部13、識別器14、誤検出除去部15、出力部16を有する。この顔検出装置1は、例えば、CPU(プロセッサ)、メモリ、ストレージ(HDD、
SSDなど)、入力デバイス(キーボード、マウス、タッチパネルなど)、出力デバイス(ディスプレイなど)、通信インタフェースを具備する汎用のコンピュータにより構成することができる。その場合、図1に示される機能は、ストレージ又はメモリに格納されたプログラムをCPUが実行することにより実現される。ただし、顔検出装置1の具体的構成はこの例に限られない。例えば、複数台のコンピュータによる分散コンピューティングを行ってもよいし、上記機能の一部をクラウドサーバにより実行してもよい。あるいは、顔検出装置1の全部又はその機能の一部をASICやFPGAのような回路で構成してもよい。
SSDなど)、入力デバイス(キーボード、マウス、タッチパネルなど)、出力デバイス(ディスプレイなど)、通信インタフェースを具備する汎用のコンピュータにより構成することができる。その場合、図1に示される機能は、ストレージ又はメモリに格納されたプログラムをCPUが実行することにより実現される。ただし、顔検出装置1の具体的構成はこの例に限られない。例えば、複数台のコンピュータによる分散コンピューティングを行ってもよいし、上記機能の一部をクラウドサーバにより実行してもよい。あるいは、顔検出装置1の全部又はその機能の一部をASICやFPGAのような回路で構成してもよい。
画像入力部10は、外部装置から処理対象となる画像(以下「入力画像」と呼ぶ)を取得する機能である。外部装置としては、デジタルカメラやデジタルビデオカメラなどの撮像装置、画像データを記憶する記憶装置、撮像装置や記憶装置を具備する他のコンピュータなどが想定される。入力画像はモノクロ画像でもカラー画像でもよく、また画像フォーマットは特に限定されない。
部分画像取得部11は、入力画像に対し探索ウィンドウの走査を行う機能である。探索ウィンドウとは、入力画像内の一部のエリア(顔か非顔かの判定処理に供される部分画像)を示す枠である。部分画像取得部11は、探索ウィンドウの位置を例えば1ピクセルずつ移動させながら、各位置における部分画像を後段の低輝度画像判定部12及び識別器14に順に入力する。画像内に含まれる顔のサイズが不定の場合は、探索ウィンドウのサイズ及び/又は入力画像の解像度を変えて走査及び顔/非顔判定を繰り返すことにより、任意のサイズの顔を検出することができる。
低輝度画像判定部12は、部分画像(ないし入力画像の全体)が低輝度画像であるか否かを判定する機能である。低輝度画像の判定方法はどのようなものでもよい。例えば、部分画像内の輝度の代表値(平均値、中間値、最頻値、最大値など)を計算し、その代表値が所定の閾値より小さい場合に、当該部分画像が低輝度画像であると判定してもよい。あるいは、入力画像が撮影されたときの撮影条件(例えば照度センサで測定した被写体の明るさ、露出設定など)を入力画像とともに取得し、当該撮影条件に基づいて入力画像が低輝度画像かどうかを判定してもよい。
部分画像変更部13は、部分画像が低輝度画像である場合に、当該部分画像の一部のピクセルの輝度を変更する機能である。詳しい処理については後述する。
識別器14は、部分画像における局所領域間の明暗差に基づく画像特徴を用いて当該部分画像が顔の画像であるか否かを判定する顔/非顔判定を行う機能である。本実施形態では、画像特徴としてHaar−like特徴を利用し、複数の弱識別器により構成されるカスケード構造型識別器を利用する。ただし、識別器14の構成及び用いる画像特徴はこれらに限られず、どのようなものを利用してもよい。
誤検出除去部15は、識別器14により「顔」と判定された部分画像に対し、識別器14とは異なる簡易な判定ロジックによる顔/非顔判定を行うことで、識別器14の誤検出を除去するための機能である。詳しい判定ロジックについては後述する。
出力部16は、顔検出の結果を出力する機能である。出力される結果としては、例えば、入力画像から検出された顔の数、検出された顔の位置・サイズ・向きなどである。
(顔検出処理)
図2及び図3を参照して、本実施形態の顔検出装置1による顔検出処理について説明する。図2は顔検出処理のフローチャートであり、図3は画像の一例である。
図2及び図3を参照して、本実施形態の顔検出装置1による顔検出処理について説明する。図2は顔検出処理のフローチャートであり、図3は画像の一例である。
ステップS20において、画像入力部10が、外部装置から入力画像30を取得する。ステップS21では、部分画像取得部11が、入力画像30に対し探索ウィンドウ31を設定し、探索ウィンドウ31内の部分画像32を取得する。ステップS21で取得された部分画像32を、以後の説明では「注目部分画像32」と呼ぶ。
ステップS22では、低輝度画像判定部12が、注目部分画像32が低輝度画像であるか否かを判定する。本実施形態の低輝度画像判定部12は、注目部分画像32内の輝度の平均値を計算し、その平均値が閾値より小さい場合に低輝度画像と判定する。このような判定ロジックによれば、入力画像30の撮影時の環境が暗かった場合、撮影時の露出が十分でなかった場合、逆光で撮影された場合などは、被写体(つまり人の顔)が暗く写るので、低輝度画像と判定される。
ステップS22で注目部分画像32が低輝度画像でないと判定された場合、ステップS23へ進み、注目部分画像32が識別器14に入力される。識別器14は、注目部分画像32から予め決められた複数種類のHaar−like特徴を抽出し、それらの画像特徴の値に基づいて注目部分画像32が顔の画像であるか否かを判定する。
他方、ステップS22で注目部分画像32が低輝度画像であると判定された場合は、次のような例外処理(低輝度処理)へと進む。ステップS24では、部分画像変更部13が、注目部分画像32の所定位置のピクセルの輝度を変更する。具体的には、図3に示すように、注目部分画像32が顔の画像であると仮定した場合における目の位置にあたる複数個のピクセルの輝度を所定値に置き換える。「所定値」は十分に小さい(低輝度な)値であればよく、本実施形態では輝度の最小値(例えば、画像の輝度値が0(暗)〜255(明)の値域を有する場合は0)とする。そして、輝度変更後の注目部分画像32が、変更部分画像33として、識別器14に入力される。ステップS25では、識別器14は、変更部分画像33から予め決められた複数種類のHaar−like特徴を抽出し、それらの画像特徴の値に基づいて変更部分画像33が顔の画像であるか否かを判定する。このステップS25の処理はステップS23の処理と基本的に同じである(つまり、用いる画像特徴、識別器などは同じであり、ステップS25とステップS23の違いは部分画像の一部のピクセルが変更されている点のみである。)。
図4A〜図4Cを参照して低輝度処理の効果を説明する。図4Aは低輝度画像でない部分画像40から抽出される画像特徴の例を示し、図4Bは低輝度画像である部分画像41から抽出される画像特徴の例を示す。図4Aの部分画像40では、目の領域40Eの輝度が25、鼻の領域40Nの輝度が60であり、目の領域40Eと鼻の領域40Nの間の明暗差は35と、明りょうな画像特徴が抽出できる。しかし、図4Bの部分画像41では、画像が全体的に暗く、目の領域41Eの輝度が25、鼻の領域41Nの輝度が30であり、2つの領域41E、41Nの間の明暗差は5と、きわめて小さくなっている。したがって、図4Bの部分画像41を識別器14にそのまま入力しても、顔検出に失敗する可能性が高い。
図4Cは変更部分画像42から抽出される画像特徴の例を示す。変更部分画像42は、図4Bの部分画像41の目の領域41Eのピクセルの輝度を0にした画像である。したがって、変更部分画像42では、目の領域42Eの輝度が0、鼻の領域42Nの輝度が30となり、2つの領域42E、42Nの間の明暗差は30と、明りょうな画像特徴が抽出できることがわかる。
このように、本実施形態の低輝度処理では、顔の中で相対的に暗くあるべき領域(例えば、目の領域、口の領域、眉の領域など)の輝度を強制的に小さくすることにより、低輝
度画像においても領域間の明暗差が明りょうに現れる。また、明暗の逆転が起きている場合でも、本来暗くあるべき領域の輝度を強制的に最小値にしてしまうことで、明暗の関係を通常の状態に戻すことができる(例えば、目の領域の輝度が35、鼻の領域の輝度が25のように逆転していても、目の領域の輝度を0に変更することで、目の領域よりも鼻の領域が明るく、且つ、明暗差が25という画像特徴が得られる。)。それゆえ、低輝度画像の場合には、(部分画像41の代わりに)変更部分画像42を識別器14に与えることで、顔検出の成功率向上を期待できる。
度画像においても領域間の明暗差が明りょうに現れる。また、明暗の逆転が起きている場合でも、本来暗くあるべき領域の輝度を強制的に最小値にしてしまうことで、明暗の関係を通常の状態に戻すことができる(例えば、目の領域の輝度が35、鼻の領域の輝度が25のように逆転していても、目の領域の輝度を0に変更することで、目の領域よりも鼻の領域が明るく、且つ、明暗差が25という画像特徴が得られる。)。それゆえ、低輝度画像の場合には、(部分画像41の代わりに)変更部分画像42を識別器14に与えることで、顔検出の成功率向上を期待できる。
ところで、上記の低輝度処理は、暗い画像や明暗関係が逆転した画像に対する顔検出の成功率を向上できるというメリットがある一方で、入力画像の一部分(図4Cの例では目の部分)の画像情報を無視して顔/非顔判定を行っているため、誤検出(非顔の画像を顔と判定すること)が増える可能性があるというデメリットもある。そこで本実施形態では、低輝度処理の場合に誤検出除去部15による簡易誤検出除去を行う。
具体的には、図2のステップS25で「顔」と判定された部分画像に対し、誤検出除去部15が、識別器14とは異なる判定ロジックによる顔/非顔判定を行い、「非顔」と判定された場合はステップS25の顔検出結果を破棄する(ステップS26)。誤検出除去部15の判定ロジックはどのようなものを用いてもよいが、処理の高速化のため、できるだけ簡易で計算量の少ないロジックを用いることが望ましい。以下に判定ロジックの一例を挙げる。
(1)部分画像内で、隣接ピクセルとの輝度差が所定値より大きいピクセルの個数が所定範囲外であれば、「非顔」と判定する。
(2)部分画像内で、隣接ピクセル4点のいずれよりも暗い又は明るいピクセルの個数が所定範囲外であれば、「非顔」と判定する。
(3)部分画像内で、極端に明るいピクセルの個数が所定数以上の場合は、「非顔」と判定する。低輝度ないし逆光の照明条件下で撮影された場合、顔部分は全体的に暗くなり、顔画像のなかに白飛びのような極端に明るい箇所は含まれないからである。例えば、輝度値185を超えるピクセルの数が部分画像全体の10%以上である場合に「非顔」と判定してもよい。
(4)部分画像における目領域の輝度が鼻領域の輝度より大きい(明るい)場合、「非顔」と判定する。
(5)部分画像における口領域の輝度が鼻領域の輝度より大きい(明るい)場合、「非顔」と判定する。
(6)部分画像における口領域の輝度が口の周辺領域の輝度より大きい(明るい)場合、「非顔」と判定する。
(7)部分画像における目領域の輝度が左右の目の間の領域の輝度より大きい(明るい)場合、「非顔」と判定する。
(2)部分画像内で、隣接ピクセル4点のいずれよりも暗い又は明るいピクセルの個数が所定範囲外であれば、「非顔」と判定する。
(3)部分画像内で、極端に明るいピクセルの個数が所定数以上の場合は、「非顔」と判定する。低輝度ないし逆光の照明条件下で撮影された場合、顔部分は全体的に暗くなり、顔画像のなかに白飛びのような極端に明るい箇所は含まれないからである。例えば、輝度値185を超えるピクセルの数が部分画像全体の10%以上である場合に「非顔」と判定してもよい。
(4)部分画像における目領域の輝度が鼻領域の輝度より大きい(明るい)場合、「非顔」と判定する。
(5)部分画像における口領域の輝度が鼻領域の輝度より大きい(明るい)場合、「非顔」と判定する。
(6)部分画像における口領域の輝度が口の周辺領域の輝度より大きい(明るい)場合、「非顔」と判定する。
(7)部分画像における目領域の輝度が左右の目の間の領域の輝度より大きい(明るい)場合、「非顔」と判定する。
上記(1)〜(7)のうち1つの判定ロジックのみで誤検出除去を行ってもよいし、2つ以上の判定ロジックを用いて誤検出除去を行ってもよい。
ステップS27では、入力画像の探索が完了したか否かを判定する。探索が完了していない場合は、ステップS21に戻り、探索ウィンドウ31を次の位置に移動した後、ステップS22以降の処理を繰り返す。入力画像全体の探索が完了したら、ステップS28において、出力部16が顔検出の結果を出力し、顔検出処理を終了する。
以上述べた本実施形態の顔検出によれば、暗い画像や明暗関係が逆転した画像の場合は低輝度処理が実施されるので、従来方法に比べて、暗い画像や明暗関係が逆転した画像に対する顔検出の成功率を向上することができる。また、低輝度処理を実施した場合は、識
別器14とは異なる判定ロジックによる誤検出除去を行い、低輝度処理に起因する誤検出を排除するよう構成したので、全体としての判定精度の向上も期待できる。しかも、本実施形態の低輝度処理は、部分画像の一部のピクセルの輝度を所定値に置き換える、というシンプルな方法であり、通常処理の場合と同じ識別器14を利用できる。したがって、本実施形態の低輝度処理は既存の顔検出装置への追加実装が容易であるという利点もある。
別器14とは異なる判定ロジックによる誤検出除去を行い、低輝度処理に起因する誤検出を排除するよう構成したので、全体としての判定精度の向上も期待できる。しかも、本実施形態の低輝度処理は、部分画像の一部のピクセルの輝度を所定値に置き換える、というシンプルな方法であり、通常処理の場合と同じ識別器14を利用できる。したがって、本実施形態の低輝度処理は既存の顔検出装置への追加実装が容易であるという利点もある。
<その他>
上記の実施形態の説明は、本発明を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば、上記実施形態では、部分画像内の目領域のピクセルの輝度を最小値に置き換えたが、低輝度処理の方法はこれに限られない。顔画像の中で相対的に暗くあるべき領域としては、目領域以外にも、口領域、眉領域などがあり、これらの領域の輝度を強制的に小さくしてもよい。また、置き換え後の輝度は最小値である必要はなく、十分に小さい値であればよい。さらには、顔画像の中で相対的に明るくあるべき領域(鼻領域、顎領域、額領域など)の輝度を強制的に大きくすることでも、同様の効果を得られる。
上記の実施形態の説明は、本発明を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば、上記実施形態では、部分画像内の目領域のピクセルの輝度を最小値に置き換えたが、低輝度処理の方法はこれに限られない。顔画像の中で相対的に暗くあるべき領域としては、目領域以外にも、口領域、眉領域などがあり、これらの領域の輝度を強制的に小さくしてもよい。また、置き換え後の輝度は最小値である必要はなく、十分に小さい値であればよい。さらには、顔画像の中で相対的に明るくあるべき領域(鼻領域、顎領域、額領域など)の輝度を強制的に大きくすることでも、同様の効果を得られる。
1:顔検出装置
10:画像入力部、11:部分画像取得部、12:低輝度画像判定部、13:部分画像変更部、14:識別器、15:誤検出除去部、16:出力部
30:入力画像、31:探索ウィンドウ、32:注目部分画像、33:変更部分画像
40:低輝度画像でない部分画像、40E:目領域、40N:鼻領域
41:低輝度画像である部分画像、41E:目領域、41N:鼻領域
42:変更部分画像、42E:目領域、42N:鼻領域
10:画像入力部、11:部分画像取得部、12:低輝度画像判定部、13:部分画像変更部、14:識別器、15:誤検出除去部、16:出力部
30:入力画像、31:探索ウィンドウ、32:注目部分画像、33:変更部分画像
40:低輝度画像でない部分画像、40E:目領域、40N:鼻領域
41:低輝度画像である部分画像、41E:目領域、41N:鼻領域
42:変更部分画像、42E:目領域、42N:鼻領域
Claims (7)
- 画像に対し探索ウィンドウを走査しながら、前記探索ウィンドウ内の部分画像における局所領域間の明暗差に基づく画像特徴を用いて当該部分画像が顔の画像であるか否かを判定する識別器を有する顔検出装置であって、
前記探索ウィンドウ内の部分画像が低輝度画像であるか否かを判定する低輝度画像判定部をさらに有し、
前記低輝度画像判定部により前記部分画像が低輝度画像であると判定された場合に、前記部分画像の代わりに、前記部分画像における所定位置のピクセルの輝度を変更した変更部分画像を用いて、前記識別器による判定を行う
ことを特徴とする顔検出装置。 - 前記所定位置は、顔の画像の中で相対的に暗くあるべき領域であり、
前記変更部分画像は、前記所定位置のピクセルの輝度を小さい値に変更した画像であることを特徴とする請求項1に記載の顔検出装置。 - 前記所定位置は、前記部分画像が顔の画像であると仮定した場合における目の位置である
ことを特徴とする請求項1又は2に記載の顔検出装置。 - 前記変更部分画像は、前記部分画像における前記所定位置のピクセルの輝度を所定値に置き換えた画像である
ことを特徴とする請求項1〜3のうちいずれか1項に記載の顔検出装置。 - 前記所定値は、最小の輝度値である
ことを特徴とする請求項4に記載の顔検出装置。 - 画像に対し探索ウィンドウを走査しながら、前記探索ウィンドウ内の部分画像における局所領域間の明暗差に基づく画像特徴を用いて当該部分画像が顔の画像であるか否かを判定する識別器を有する顔検出装置の制御方法であって、
前記探索ウィンドウ内の部分画像が低輝度画像であるか否かを判定するステップと、
前記部分画像が低輝度画像であると判定された場合、前記部分画像の代わりに、前記部分画像における所定位置のピクセルの輝度を変更した変更部分画像を用いて、前記識別器による判定を行うステップと、
を含むことを特徴とする顔検出装置の制御方法。 - 請求項6に記載の顔検出装置の制御方法の各ステップをコンピュータに実行させるためのプログラム。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017038616A JP6399122B2 (ja) | 2017-03-01 | 2017-03-01 | 顔検出装置およびその制御方法 |
US16/467,706 US20200005021A1 (en) | 2017-03-01 | 2017-11-28 | Face detection device, control method thereof, and program |
KR1020197015890A KR20190072643A (ko) | 2017-03-01 | 2017-11-28 | 얼굴 검출 장치 및 그 제어 방법, 그리고 프로그램 |
CN201780075051.2A CN110073406A (zh) | 2017-03-01 | 2017-11-28 | 面部检测装置及其控制方法、以及程序 |
PCT/JP2017/042514 WO2018159037A1 (ja) | 2017-03-01 | 2017-11-28 | 顔検出装置およびその制御方法、並びにプログラム |
DE112017007162.3T DE112017007162T5 (de) | 2017-03-01 | 2017-11-28 | Gesichtsermittlungsvorrichtung, dazugehöriges Steuerungsverfahren und Programm |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017038616A JP6399122B2 (ja) | 2017-03-01 | 2017-03-01 | 顔検出装置およびその制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018147046A true JP2018147046A (ja) | 2018-09-20 |
JP6399122B2 JP6399122B2 (ja) | 2018-10-03 |
Family
ID=63369885
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017038616A Active JP6399122B2 (ja) | 2017-03-01 | 2017-03-01 | 顔検出装置およびその制御方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20200005021A1 (ja) |
JP (1) | JP6399122B2 (ja) |
KR (1) | KR20190072643A (ja) |
CN (1) | CN110073406A (ja) |
DE (1) | DE112017007162T5 (ja) |
WO (1) | WO2018159037A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230097076A (ko) | 2020-10-28 | 2023-06-30 | 혼다 기켄 고교 가부시키가이샤 | 기동 장치, 축전 장치 및 전력 장치 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111192241B (zh) * | 2019-12-23 | 2024-02-13 | 深圳市优必选科技股份有限公司 | 一种人脸图像的质量评估方法、装置及计算机存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009025894A (ja) * | 2007-07-17 | 2009-02-05 | Toyota Motor Corp | 顔画像検出方法及び顔画像処理装置 |
JP2010257324A (ja) * | 2009-04-27 | 2010-11-11 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
JP2016167681A (ja) * | 2015-03-09 | 2016-09-15 | オムロン株式会社 | 画像生成装置および画像生成方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100791372B1 (ko) * | 2005-10-14 | 2008-01-07 | 삼성전자주식회사 | 인물 이미지 보정 장치 및 방법 |
WO2010012448A2 (en) * | 2008-07-30 | 2010-02-04 | Fotonation Ireland Limited | Automatic face and skin beautification using face detection |
TWI556194B (zh) * | 2012-06-29 | 2016-11-01 | 希科母股份有限公司 | 對象檢出裝置、對象檢出方法及對象檢出用電腦程式 |
JP6108562B2 (ja) * | 2012-10-29 | 2017-04-05 | 大学共同利用機関法人情報・システム研究機構 | 顔検出防止具 |
JP6074254B2 (ja) * | 2012-12-18 | 2017-02-01 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
RU2518939C1 (ru) * | 2013-03-05 | 2014-06-10 | Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Самарский государственный университет путей сообщения" (СамГУПС) | Способ и устройство распознавания рельефности изображения лица |
-
2017
- 2017-03-01 JP JP2017038616A patent/JP6399122B2/ja active Active
- 2017-11-28 KR KR1020197015890A patent/KR20190072643A/ko active IP Right Grant
- 2017-11-28 CN CN201780075051.2A patent/CN110073406A/zh active Pending
- 2017-11-28 DE DE112017007162.3T patent/DE112017007162T5/de not_active Withdrawn
- 2017-11-28 WO PCT/JP2017/042514 patent/WO2018159037A1/ja active Application Filing
- 2017-11-28 US US16/467,706 patent/US20200005021A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009025894A (ja) * | 2007-07-17 | 2009-02-05 | Toyota Motor Corp | 顔画像検出方法及び顔画像処理装置 |
JP2010257324A (ja) * | 2009-04-27 | 2010-11-11 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
JP2016167681A (ja) * | 2015-03-09 | 2016-09-15 | オムロン株式会社 | 画像生成装置および画像生成方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230097076A (ko) | 2020-10-28 | 2023-06-30 | 혼다 기켄 고교 가부시키가이샤 | 기동 장치, 축전 장치 및 전력 장치 |
Also Published As
Publication number | Publication date |
---|---|
JP6399122B2 (ja) | 2018-10-03 |
KR20190072643A (ko) | 2019-06-25 |
US20200005021A1 (en) | 2020-01-02 |
DE112017007162T5 (de) | 2019-11-28 |
WO2018159037A1 (ja) | 2018-09-07 |
CN110073406A (zh) | 2019-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11948282B2 (en) | Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data | |
US10506174B2 (en) | Information processing apparatus and method for identifying objects and instructing a capturing apparatus, and storage medium for performing the processes | |
KR102399017B1 (ko) | 이미지 생성 방법 및 장치 | |
US9390511B2 (en) | Temporally coherent segmentation of RGBt volumes with aid of noisy or incomplete auxiliary data | |
KR20200023651A (ko) | 미리보기 사진 블러링 방법 및 장치 및 저장 매체 | |
JP6157165B2 (ja) | 視線検出装置及び撮像装置 | |
JP2012118817A (ja) | 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 | |
US10733423B2 (en) | Image processing apparatus, image processing method, and storage medium | |
CN111444555B (zh) | 一种测温信息显示方法、装置及终端设备 | |
WO2017061106A1 (ja) | 情報処理装置、画像処理システム、画像処理方法及びプログラム記録媒体 | |
CN112598677B (zh) | 用于图像分析的方法和设备 | |
JP6365355B2 (ja) | 画像生成装置および画像生成方法 | |
JP6399122B2 (ja) | 顔検出装置およびその制御方法 | |
JP6798609B2 (ja) | 映像解析装置、映像解析方法およびプログラム | |
US9323981B2 (en) | Face component extraction apparatus, face component extraction method and recording medium in which program for face component extraction method is stored | |
Zou et al. | Statistical analysis of signal-dependent noise: application in blind localization of image splicing forgery | |
JP2002269545A (ja) | 顔画像処理方法及び顔画像処理装置 | |
US9842406B2 (en) | System and method for determining colors of foreground, and computer readable recording medium therefor | |
US11507768B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP2013029996A (ja) | 画像処理装置 | |
US9135687B2 (en) | Threshold setting apparatus, threshold setting method and recording medium in which program for threshold setting method is stored | |
KR101143555B1 (ko) | 얼굴 색상 필터링 및 모폴로지 연산을 이용한 얼굴 검출 시스템 및 방법 | |
US20240171863A1 (en) | Information processing apparatus, information processing method, and storage medium | |
JP2017034608A (ja) | 画像処理装置、画像処理方法及びプログラム | |
US20170083781A1 (en) | System and method for determining colors of foreground, and computer readable recording medium therefor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180730 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180807 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180820 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6399122 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |