JP4412929B2 - 顔検知装置 - Google Patents
顔検知装置 Download PDFInfo
- Publication number
- JP4412929B2 JP4412929B2 JP2003203775A JP2003203775A JP4412929B2 JP 4412929 B2 JP4412929 B2 JP 4412929B2 JP 2003203775 A JP2003203775 A JP 2003203775A JP 2003203775 A JP2003203775 A JP 2003203775A JP 4412929 B2 JP4412929 B2 JP 4412929B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- unit
- region
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、画像中に顔が写っていることを、画像処理により検知する顔検知装置及び、顔検知機能を備えたインターホン装置に関する。
【0002】
【従来の技術】
録画機能付きカメラインターホン装置(以降、単に「インターホン」と記す)がある。このインターホンは、門柱など屋外に取り付ける子機と、屋内に取り付ける親機とから成り立っている。子機にはカメラが内蔵されており、来訪者が子機の呼び出しボタンを押下げると、カメラで撮影した画像が親機側で表示されると共に、親機に接続された録画ユニットに、呼び出しボタン押下時の撮像画像が保存される。
【0003】
このようなインターホンにおいて、来訪者が子機のカメラの画角外から呼び出しボタンを押したり、顔を覆面などで覆った状態でボタンを押したりすることがある。このような場合でも、親機においては、家人に対して通常通りに呼び出しが行われ、撮影画像の保存が行われる。このため、家人は親機に表示されている画像を確認するまで正常な来訪者か否かが判別ができない上、証拠としての用を成さない画像も録画されてしまう可能性がある。
【0004】
一方、画像中に顔が写っていることを、画像処理により検知する技術がある(特許文献1参照)。この技術では、画像から顔の特徴部分(例、目、鼻)を検出し、各特徴部分の検出度合いから画面中における顔の有無を判定する。
【0005】
【特許文献1】
特許第2648054号公報
【0006】
【発明が解決しようとする課題】
しかし、このような装置では、顔の特徴部分を検出するために、顔の部分が精細に写っている必要があり、高精細なカメラを必要とし、撮影画角を狭くする必要がある。
更に、特徴部分を抽出する画像処理には多くの計算量が必要となる。このため、高性能なCPUが必要となる。また、特徴部分の検出度合いの算出には、光の当り方による影響があるため、屋外で使用する際などには、日照や人工照明による環境の変動への対策が必要となる。
【0007】
本発明は、環境が変化する屋外などで撮影した画像に対しても、誤検知することなく、安定して顔の存在を検知可能な顔検知装置を得ることを目的とする。
また、本発明は、上記顔検知装置を備えたインターホン装置を得ることを目的とする。
【0008】
【課題を解決するための手段】
本発明は、上記目的を達成するためになされたものである。本発明の顔検知装置は、撮影された画像から動き領域を抽出して顔画像の有無を判定する顔検知装置であって、顔が映っている領域が示す画像特徴である顔情報と撮影環境により異なる輝度値の分布特徴である環境情報とを互いに対応させて予め記憶する記憶部と、前記動き領域の画像における画像特徴と前記記憶部に記憶されている顔情報とを比較して顔らしさの類似度となる第一の類似度を算出する顔類似算出手段と、撮影された画像の輝度値の分布と前記記憶部に記憶されている環境情報とを比較して撮影環境の類似度となる第二の類似度を算出する環境類似算出手段と、互いに対応関係にある顔情報及び環境情報から算出した第一及び第二の類似度を統合して顔画像の有無を判定する判定部とを具備する。
【0009】
本発明の顔検知装置によれば、あらかじめ複数の顔画像の特徴と撮影環境の情報とを備えておくことにより、単純な比較処理のみによって顔画像の有無を判別することが可能となり、安価な装置であっても処理速度を向上させることができる。また、撮影環境ごとの比較評価値を備えて環境変化を考慮して処理を行うため、環境変化への追従性を向上し誤検出を低減することができる。
【0010】
本発明の顔検知装置においては、前記環境情報は、前記撮影された画像を平滑化して得られた画像と前記撮影された画像との差分画素の割合に基づく照度情報であるものとすることもできる。
これにより、特別なハードウェアを用いることなく、画像処理のみで低照度度合いを検出することが可能となり、装置の小型化及びコストの削減を実現することができる。
【0011】
本発明の顔検知装置の別の態様においては、撮像画像を参照パターンで走査して頭部候補領域を抽出する頭部抽出部と、前記頭部候補領域内に対称軸を設定し該対称軸に対し対象となる画素の輝度値を比較し高輝度となる一方の画素の輝度値を他方の画素に代入して合成画像を生成する対象画像生成部と、前記合成画像の下部中央をX方向に伸張して頭部候補画像を生成する頭部画像処理部と、前記頭部候補領域が顔画像を含んでいるか否かを判定する判定部と、前記判定部の判定結果に基づき出力する出力部とから顔検知装置を構成することもできる。
【0012】
この態様によれば、頭部画像を線対象画像として、且つ、ほぼ矩形に得ることができ、安価な装置であっても処理速度を向上させることができる。
【0013】
本発明のインターホンは、呼び出し釦を備えたインターホン子機と、前記呼び出し釦の操作に応じて呼び出し音を報知する鳴動部を備えたインターホン親機とからなるものであって、前記インターホン子機前面の画像を入力する画像入力部と、前記呼び出し釦操作時の入力画像から動き領域を抽出する動き領域抽出部と、抽出された顔候補領域の特徴量を算出する特徴評価部と、前記動き領域が顔画像を含んでいるか否かを判定する判定部と、前記判定部の判定結果に応じて異なる呼び出し音を前記鳴動部に出力する制御部とを備える。
そして、前記動き領域抽出部にて抽出された動き領域が所定量以下の場合、更に異なる呼び出し音を前記鳴動部に出力することを特徴とする。
【0014】
本発明のインターホンによれば、顔の一部を隠蔽するなどしていて、正常な顔画像と判定されなかった来訪者と、正常な顔画像が判定された来訪者とで呼出音を切替えることができ、利用者の使い勝手が向上する。さらに、いたずらで画像入力部の画角外から呼び出し釦が操作された際に呼び出し音を切り替えることができ、利用者の使い勝手が向上する。
【0015】
本発明のインターホンにおいては、前記撮像画像中の輝線ノイズを検出する信頼度判定部を備え、前記信頼度判定部は、輝線ノイズを検出すると前記判定部の判定結果を書換えて撮像画像に顔画像が含まれるという判定結果を出力するようにできる。
【0016】
これにより、スミアやブルーミングなどによる輝線ノイズが含まれる画像に対して顔画像の検出精度が低下することを考慮して、画像中に輝線ノイズが検出された際は、顔画像の存在を強制的に判定させることにより、正規の来客による呼び出し釦操作時の検出漏れを低減することができる。
【0017】
更に、本発明のインターホンにおいては、前記インターホン子機正面に設けられた穿設孔と、該穿設孔内部に配設される目印部材とを備え、前記動き領域抽出部にて抽出された動き領域が所定量以下の場合及び、前記判定部が前記撮像画像は顔画像を含まないと判定した場合に、前記インターホン子機は前記目印部材が視認できる位置で再度操作を行うよう報知出力するようにできる。
これにより、訪問者に対して適切な操作を促すことができ、操作性利便性が向上する。
【0018】
【発明の実施の形態】
以下、本発明の実施形態について、図を用いて説明する。
図1を用いて、顔検知機能を有するインターホンの構成を説明する。
インターホンは、玄関近辺の屋外に設置されたインターホン子機150と、屋内に設置されたインターホン親機100により構成される。インターホン子機150とインターホン親機100は通信線140にて接続される。
【0019】
インターホン子機150の構成を説明する。
制御部160は、CPUなどにより構成され、各部の動作や信号の流れを制御する。制御部160には、画像入力部152、マイク154、スピーカ156、呼び出し釦158、通信部162が接続される。
【0020】
画像入力部152は、CCDカメラ、増幅器、A/D変換器などで構成される。画像入力部152は、訪問者の顔画像を含む画像を撮像し、入力された映像をデジタル化し、画像データ(以下、入力画像テータと称する)として出力する。
マイク154は、訪問者の音声を集音して音声信号として出力する。
スピーカ156は、インターホン親機100から送信された音声信号を訪問者に報知する。
【0021】
呼び出し釦158は、訪問者が操作(押し下げ)することにより起動信号を出力する。
通信部162は、インターホン親機100へ、画像信号、音声信号、起動信号を送信し、インターホン親機100から、音声信号を受信する。
【0022】
図6に、インターホン子機150の外観を示す。
正面に、画像入力部152、マイク154、スピーカ156、呼び出し釦158が配置される。更に、画像入力部152の近傍に穿設孔が設けられ、この穿設孔の内部にLED604が配置される。LED604は穿設孔内部に配置されるため、画像入力部152と対面する箇所からのみ認識することができる。このLED604を認識できる箇所に来客者が位置することにより、画像入力部152に、来客者の正面を撮像した画像が入力されることになる。
【0023】
図1に戻り、インターホン親機100の構成を説明する。
制御部124は、CPU、マイコン、DSPなどのプロセッサ及びSRAM、DRAMなどのメモリなどを用いて構成され、各処理部の動作及び、各信号の流れを制御する。
【0024】
制御部124には、楕円領域抽出部102、環境評価値算出部104、頭部候補領域前処理部106、特徴画像生成部108、特徴量抽出部110、距離算出部112、画像記憶部114、テンプレート記憶部116、信頼度判定部118、顔判定部120、動き領域抽出部126、表示部130、スピーカ132、通話部134、記憶部136、通信部138が接続される。
【0025】
特徴画像生成部108は、入力画像データから縦エッジ画像及び横エッジ画像、肌色度合い画像を生成し出力する。
画像記憶部114は、入力画像データ、縦エッジ画像、横エッジ画像、動き領域抽出部126が生成する背景画像データ、特徴画像生成部108が生成する特徴画像データを記憶する。
【0026】
動き領域抽出部126は、画像記憶部114から入力画像と背景画像を読み出し、背景差分法によって人物等の動きのある領域を抽出する。
環境評価値算出部104は、入力画像データを基に順光、逆光、日陰、夕暮れ、夜間などといった撮影環境を表す評価値(以下、環境評価値と称する)を出力する。
【0027】
楕円領域抽出部102は、縦エッジ画像および横エッジ画像から、楕円形状の特徴を有する領域を抽出する。また、抽出した楕円領域の個数、各位置、各大きさを出力する。
環境評価値算出部104は、入力画像データを基に、順光、逆光、日陰、夕暮れ、夜間などといった撮影環境を表す評価値(以下、環境評価値と称する)を出力する。
【0028】
頭部候補領域前処理部106は、楕円領域を、画像処理に適するよう再設定した上で、顔検知精度が向上するような前処理を施す。ここで、頭部候補領域202を設定する。
特徴量抽出部110は、頭部候補領域の画像を分析し、顔検知のために後述する特徴量を算出し出力する。
【0029】
テンプレート記憶部116は、顔検知の基準となるテンプレートを記憶する。
距離算出部112は、頭部候補領域ごとに、特徴量とテンプレートとを比較して、顔検知のための距離値を計算し出力する。距離値は頭部候補領域とテンプレートとの差異を表す尺度である。
【0030】
顔判定部120は、頭部候補領域ごとに計算された距離値を予め定めたしきい値と比較し、入力画像中に顔が存在するか否かを判定する。
信頼度判定部118は、顔判定結果が信頼できるものであるかを検証してその度合いを表す信頼度を出力する。
記憶部136は、音声ガイダンスや呼び出し音といった音データを記憶する。
【0031】
スピーカ132は、インターホン子機150から入力される起動信号に基づき発生された呼び出し音を鳴動させる。記憶部136に記憶された音データを再生することで、複数種類の呼び出し音を鳴動させることができる。
表示部130は、画像入力部152から送られてきた画像を可視化して利用者に提示する手段であり、液晶モニタあるいはCRTなどで構成される。
通話部134は、インターホン子機150のマイク154、スピーカ156を介して、訪問者との通話を可能とする。
【0032】
インターホン親機100の応対者(家人)は、呼び出し音が出力されると、表示画像を参照し、訪問者に応対するか否かを判断する。応対をする場合は、送受話器としての通話部134を使用して、訪問者と通話をする。
【0033】
図1に示したインターホン装置の各部の詳細な動作を説明する。
特徴画像生成部108は、入力画像データの輝度情報を用い輝度エッジ画像として縦エッジ画像及び横エッジ画像を生成し、また、色情報を用いて肌色度合い画像を生成し出力する。
輝度情報から計算したエッジは、輝度値の明るい部分と暗い部分の境界を示す。輝度エッジ画像とは、入力された画像における画素毎に、明るさの境界であるかどうかを周辺の画素との比較によりその度合い(明るさの変化度合い=エッジ強度)を計算し、全画素についての計算結果を画像として示したものである。
【0034】
境界の明るさの差が大きい場合(境界である場合)には、輝度エッジ画像の画素の値(=エッジ強度)が大きくなり、差が小さい場合(境界でない場合)には、輝度エッジ画像の画素の値は小さくなる。
通常、この明るさの境界に方向(どちらの方向に明るくなっているか)を持たせることが多い。一般的には、縦方向と横方向に分けて上記の計算を行う。左から右(または右から左)にどの程度明るさが変化しているかを計算した結果を縦エッジ画像といい、上から下(または下から上)にどの程度明るさが変化しているかを計算した結果を横エッジ画像という。
【0035】
一般的に、下記のような3×3のPrewittフィルタを用いてそのエッジ強度を算出する。
−1 0 +1 −1 −1 −1
−1 0 +1 0 0 0
−1 0 +1 +1 +1 +1
縦エッジ計算用フィルタ 横エッジ計算用フィルタ
【0036】
この他にもガウシアンフィルタを用いたエッジ抽出手法なども知られている。
肌色度合い画像は、画像中の各画素において肌色らしさを計算した結果を画像として示すものであり、肌色度合いが強いほど、その画素値を高くする。例えば、肌色らしさは次のようにして計算する。
【0037】
入力画像がRGB表色系(各RGBの値は0〜255)の場合では、下記のような公知の式により各画素をHSV表色系に変換(各HSVの値は0〜255)すると、その色相(H)成分が30付近にある場合に肌色であることが知られている。
【0038】
したがって、(255−2X|H−30|)の絶対値をその肌色度合いの計算値としても良いし、
20≦H≦40の場合:肌色度合い=255
それ以外の場合:肌色度合い=(255−2X|H−30|)の絶対値
等のようにしてもよい。
以下に、RGBからHSVへの変換式(式1)〜(式3)を示す。
【0039】
【数1】
【0040】
画像記憶部114は、画像入力部152が出力する入力画像データ、動き領域抽出部126が生成する背景画像及び、特徴画像生成部108が生成する特徴画像データを記憶する。
動き領域抽出部126は、画像記憶部114から入力画像と背景画像を読み出し、背景差分法によって人物などの動きのある領域を抽出し、抽出結果を出力する。
【0041】
また、動き領域抽出部126は、抽出した動き領域の面積を予め定めたしきい値と比較し、動き領域の面積がしきい値より小さい場合はその旨を出力する。この出力により、入力画像内に人物画像が存在しないという判断がなされる。また、動き領域抽出部126は、入力画像と背景画像とを加重平均して新たな背景画像を生成し、該背景画像で画像記憶部114に記憶されている背景画像を更新する。
【0042】
環境評価値算出部104は、入力画像を基に、順光、逆光、日陰、夕暮れ、夜間などといった環境評価値を出力する。本例では、環境評価値として、輝度値の分布に基づき逆光度合いe1、暗闇度合いe2、低照度度合いe3の3つの値を算出する。
【0043】
まず、環境評価値算出部104は、入力画像中の所定領域から動き領域抽出部126が抽出した動き領域を除いた領域を、環境評価領域として切り出す。環境変動として最も重要である日照が適切に反映され、かつ、影などの影響を受けにくいように、前記所定領域を空に相当する領域に設定するのが望ましく、例えば入力画像の上部4分の1などとする。また、動き領域を除くことも環境評価値算出の精度を向上させる。
【0044】
次に、環境評価値算出部104は、前記環境評価領域において輝度が所定の値以上となる画素の割合を求めることで逆光度合いe1を算出する。同様に、環境評価値算出部104は、前記環境評価領域において輝度が所定の値以下となる画素が占める割合を求めることで暗闇度合いe2を算出する。
【0045】
また、環境評価値算出部104は、画像のノイズの多さに基づき、低照度度合いe3を算出する。低照度状態では、カメラの自動感度調整が働いた結果感度が高くなり、信号を増幅する。このため、低照度状態で撮像した画像はノイズが多くなる。そこで、撮像された画像からノイズ成分を抽出し、ノイズの多さを評価することで低照度度合いe3とする。
【0046】
図8を用いて、低照度度合いe3を評価する具体的な処理を説明する。図8において、入力画像800にローパスフィルタによる平滑化802を施して、平滑化画像を作成し、入力画像と平滑化画像の差分画像804をしきい値処理することで、平滑化画像と大きく異なる輝度値を示すノイズ画素を検知する。また、入力画像からエッジ強度画像作成810により、エッジ強度画像を作成し、2値化812によりエッジ画素806を検知する。エッジ画素以外の画素の中でのノイズ画素808の割合を計算し、これを低照度度合とする。平滑化802で用いるローパスフィルタとしては、例えばメディアンフィルタなどが好適である。
【0047】
楕円領域抽出部102は、画像記憶部114に記憶された縦エッジ画像および横エッジ画像から楕円形状の特徴を有する領域を抽出し、抽出した楕円領域の個数、各位置、各大きさを出力する。頭部の輪郭形状は略楕円形状であることから、ここで抽出する楕円領域は頭部候補領域を意味する。楕円領域抽出部102が抽出する楕円領域の数は、0個であっても1個であっても複数個であっても良い。
【0048】
ただし、動き領域抽出部126によって一定以上の面積の動き領域が抽出されたにもかかわらず、楕円領域抽出部102が抽出した楕円の数が0個の場合は異常であるとの判断がなされる。
前記抽出処理は例えば、楕円形状の参照パターンを用いて前記エッジ画像内を探索することで実現可能である。
【0049】
この場合、エッジ画像内に参照パターンと同じ大きさの候補領域を設定して、参照パターンと該候補領域の類似度を計算するという処理を、候補領域を移動させながら行い、計算された類似度が予め定めたしきい値より大きい場合に、処理対象となった候補領域を楕円領域とする。
【0050】
ここで探索する範囲は、動き領域抽出部126が抽出した動き領域に限定する。こうすることで、計算量を少なくすることができる上に背景に含まれる楕円形状を誤って抽出することがなくなる。なお、前記抽出処理はHough変換で実現することもできる。
【0051】
頭部候補領域前処理部106は、楕円領域抽出部102で抽出した楕円領域を画像処理に適するよう再設定した上で、顔検知精度が向上するような前処理を施した画像データを出力する。
図2−図4を用いて、頭部候補領域前処理部106が行う前処理を説明する。まず、楕円領域200の外接矩形を設定し、この外接矩形を頭部候補領域202とする。楕円領域よりも矩形領域の方がCPUなどの処理に適しており、処理を高速化できる利点がある。
【0052】
図3に示すように、頭部候補領域前処理部106は、頭部領域画像300の各画素について、X方向の中心を対称軸として左右対称な位置関係にある画素同士の輝度値を比較し、両者のより高い輝度値を示す一方の画素値を他方に代入することで合成画像302を生成する。輝度値を基準にして比較を行う代わりに肌色度合いを基準にして比較を行っても良い。
【0053】
頭部候補領域画像300のように被写体の片側に影が生じているような場合は、顔検知の精度は低下することが多いが、合成画像302を用いることにより顔検知精度を向上させることができる。
なお、合成画像302を生成する処理は、頭部候補領域202の左右の平均輝度値の比が所定の値以上の時のみ行うようにしても良い。また、被写体に傾きがある場合、合成画像302は被写体本来の形状とは若干異なったものとなるが、本発明の顔判定処理においては後述のように目、鼻、口などの単位での処理を行わないため、顔検知精度への影響は小さい。
【0054】
更に、頭部候補領域前処理部106は、前記合成画像302に対して、座標系400を座標系402に変換するような非線形伸縮処理を施す。矩形領域で表される頭部領域404は、画像の左下と右下の三角の領域406に背景を含むことが多く、顔検知の精度を低下させる。これら三角の領域406を除いた六角形の領域を処理することも考えられるが、その後の画像処理が煩雑になる。なお、合成画像302の生成は省略することができる。図4は、頭部候補領域画像300に非線形伸縮処理を施した例を示す。
【0055】
これに対し、非線形変換処理によって三角の領域406のデータを除くことで、背景の影響を除いて顔検知の精度の低下を抑えることができる上に、処理領域を矩形に保つことができるので、その後の画像処理の高速化が可能である。図4において、三角形の高さY3と矩形の高さY0の比、および、三角形の幅X2と矩形の幅X0の比は予め決めておけば良く、例えばY3/Y0=0.4,X2/X0=0.25などとすれば良い。変換画像408は前記設定を用いて画像404を変換した結果である。
【0056】
特徴量抽出部110では、頭部候補領域前処理部106から入力される各頭部候補領域の画像を分析し、顔検知のために後述する特徴量を算出し出力する。
まず、頭部候補領域202(図2)の中央部に顔候補領域204を設定する。顔候補領域204は、頭部候補領域202を示す矩形領域を予め定めた比率でX方向、Y方向に縮小した矩形領域などとする。
【0057】
頭部候補領域202から顔候補領域204を切り出す際に、上下左右の一部分を切り捨てるが、左右で切り捨てる部分の幅X1と、頭部候補領域202の横幅X0との比、上側で切り捨てる部分の高さY1と頭部候補領域202の高さY0の比、下側で切り捨てる部分の高さY2と頭部候補領域202の高さY0の比は、それぞれあらかじめ決めておけば良く、例えばX1/X0=0.05,Y1/Y0=0.2,Y2/Y0=0.1などとすれば良い。
【0058】
次に、特徴量抽出部110は、頭部候補領域202と顔候補領域204の縦エッジ強度、横エッジ強度、輝度、肌色度合いを用いて、平均値、標準偏差などの統計量に基づいて画像の特徴量を計算し、これらの特徴量を要素とする特徴ベクトルCを出力する。
特徴ベクトルCは例えば、以下に示すような16種類の特徴量により構成される。
【0059】
C=〔c1,c2,…,c16〕 (式4)
c1 :頭部候補領域202内の縦エッジ強度の平均値
c2 :頭部候補領域202内の横エッジ強度の平均値
c3 :頭部候補領域202内の輝度の平均値
c4 :頭部候補領域202内の輝度の標準偏差
c5 :頭部候補領域202内の肌色度合いの平均値
c6 :頭部候補領域202内の横エッジ強度の平均値と縦エッジ強度の平均値の比
c7 :頭部候補領域202内の肌色度合いが所定値以上である画素数と全画素数の比
c8 :頭部候補領域202内の肌色度合いが所定値以上である画素数が所定値以上存在する横ライン数と全横ライン数の比
c9 :頭部領域202内の横エッジ強度が頭部領域202内の横エッジ強度の平均値より大きい画素数と全画素数の比
c10:顔候補領域204内の縦エッジ強度の平均値
c11:顔候補領域204内の横エッジ強度の平均値
c12:顔候補領域204内の輝度の平均値
c13:顔候補領域204内の輝度の標準偏差
c14:顔候補領域204内の肌色度合いの平均値
c15:顔候補領域204内の肌色度合いの平均値と頭部候補領域202内の肌色度合いの平均値の比
c16:顔候補領域204内の輝度の標準偏差と頭部候補領域202内の輝度の標準偏差の比
【0060】
テンプレート記憶部116は、顔検知の基準となるテンプレートを記憶する記憶手段である。
図7に、テンプレートの作成方法を示す。
テンプレートは順光、逆光、日陰、夕暮れ、夜間などの想定される代表的な環境ごとに用意し、各テンプレートは、前述の特徴ベクトルCと同じ大きさの平均ベクトルA(j)と標準偏差ベクトルS(j)とからなる。ただし、jは前記環境を識別する変数である。
A(j)=〔a1(j),a2(j),…,a16(j)〕 (式5)
S(j)=〔s1(j),s2(j),…,s16(j)〕 (式6)
【0061】
テンプレートは、顔が映っている領域の画像特徴としてあらかじめ作成して記憶しておく。各環境下毎に多数収集した頭部領域サンプルから前述の特徴ベクトルCを算出し、これら特徴ベクトルの各要素の平均値から平均ベクトルA(j)を、各要素の標準偏差から標準偏差ベクトルS(j)を作成する。
【0062】
また、テンプレート記憶部116は、テンプレートごとに環境評価値E1(j),E2(j),E3(j)、重みベクトルW(j)をも記憶する。環境評価値は、輝度値の分布に基づき環境jを表現するパラメータであり、E1(j)は暗闇度合い、E2(j)は逆光度合い、E3(j)は低照度度合いである。順光、逆光、日陰、夕暮れ、夜間などの代表的な環境下で、前述のe1,e2,e3と同様の計算方法で計算しておく。
【0063】
顔検知に用いる特徴量は、撮影環境によって顔検知に適したものと適さないものとがあり、これらが特徴ベクトルCに混在しているため、各テンプレートと共に記憶されている重みベクトルW(j)によって各特徴量の重みを変えることにより、特徴量を環境に応じた最適な配分で顔判定に用いる必要がある。
重みベクトルW(j)は、テンプレート作成時に、顔とそれ以外のものを最も良く区別できるように設定する。
【0064】
テンプレート作成時に、前記各環境下で、顔を撮影した頭部領域サンプルを多数用意し、前記平均ベクトルA(j)と標準偏差ベクトルS(j)を算出する。また、このとき、同じ環境で顔(素顔)以外の部位を頭部領域サンプルと見立てた画像を多数用意し、これら画像と前記頭部領域サンプルとの差異に基づき、各環境下で顔と顔以外のサンプルとを最適に区別できるように重みベクトルW(j)を設定しておく。
【0065】
一例として、順光の環境では顔の肌色が正しく撮影されるので、特徴ベクトルcのうち肌色に関わる特徴量c5(j),c7(j),c8(j),c14(j),c15(j)の係数として重みベクトルw(j)はw5(j)、w7(j)、w8(j)、w14(j)、w15(j)が相対的に大きな値をとる。一方、逆光や夜間の環境では、顔に当る光が弱いため、色が正しく再現されず、肌色を正しく撮影できない場合が多いので、肌色に関わる特徴量の係数は相対的に小さな値となり、特徴ベクトルcのうちエッジに関わる特徴量の顔数w1(j)、w2(j)、w6(j)、w9(j)、w10(j)、w11(j)が相対的に大きな値となる。
【0066】
重みベクトルW(j)は、A(j)やS(j)と同じ大きさのベクトルであり、後述の距離計算によって得られる距離値の分布が顔検知に適したものとなるように設定しておく。
W(j)=〔w1(j),w2(j),…,w16(j)〕 (式7)
【0067】
距離算出部112は、頭部候補領域毎に環境評価値算出部104、特徴量抽出部110で算出した特徴量とをテンプレート記憶部116に記憶されているテンプレートと比較して顔検知のための距離値を計算し出力する。距離値は頭部候補領域とテンプレートとの差異を表す尺度である。
【0068】
テンプレート記憶部116から読み出すテンプレートには、図7に示すように、c1からc16の各特徴量に対応する平均値a1からa16と、標準偏差s1からs16と重み係数w1からw16とが含まれている。距離算出部112は、c1からc16の各特徴量を、a1からa16、s1からs16で規定される変換関数fによって変換し、変換結果のw1からw16による重み付け和として、次式によって距離値Dを計算する。この距離値Dは環境j毎に算出される。
【0069】
D(j)=w1(j)・f(c1,a1(j),s1(j))
+w2(j)・f(c2,a2(j),s2(j))+…
+w16(j)・f(c16,a16(j),s16(j)) (式8)
【0070】
図5は、c1に関する変換の様子を示すものである。このときの変換関数f(c,a1,s1)は、図5に示すようにテンプレート作成に用いた多数のサンプルによるc1の分布を適切に表現し、かつ、c1がa1と等しい場合に0を算出し、c1とa1との差が大きいほど1に近い値を算出するような非線形変換関数として構成する。前記分布はガウス分布とする。c2からc16に関する変換処理もc1と同様である。
【0071】
次に、距離算出部112は、特徴量以外の情報を基にして、前記距離値を補正する以下の処理を行う。ここでは距離値にペナルティを与える3つの処理を説明する。
第一の処理は、環境評価値を基に行う処理である。入力画像について環境評価値算出部104で算出した環境評価値e1,e2,e3と環境j毎にテンプレート記憶部116に記憶された環境評価値E1(j),E2(j),E3(j)との差が大きいほど大きな値のペナルティを算出するような関数g1を定義しておき、前記距離値Dにg1(e1,e2,e3,E1,E2,E3)を加算する。関数g1は例えば式9に示す数式で表される。
【0072】
【数2】
【0073】
(式8)による距離値Dは、顔が存在しない頭部候補領域であっても、入力画像域の撮像環境と異なる環境で作成したテンプレートに対して、小さな値となる場合がある。例えば、頭部候補領域が明るい環境で撮影した黒い覆面をかぶった頭部である場合に、頭部候補領域の輝度値が低いことから夜間の環境で作成したテンプレートとの距離値Dが小さくなる。このような場合でも、g1によるペナルティを与えることで、撮影環境である明るい環境を表す環境評価値と、テンプレート作成時の環境である暗い環境を表す環境評価値との違いによって距離値Dを大きくすることができ、黒い覆面をかぶった頭部を顔として検出しないようにすることができる。
【0074】
第二の処理は、頭部候補領域のY座標に基づく処理である。最も上方に位置する頭部候補領域のY座標y0と、処理対象となる頭部候補領域のY座標yとの差が大きいほど大きな値のペナルティを算出するような関数g2を定義しておき、前記距離値Dにg2(y,y0)を加算する。楕円領域抽出部102は、頭部の他に手や衣服などを抽出することがあり得るが、この処理は、画像のより上方に位置する頭部候補領域が頭部の確度が高いとみなすことを意味し、画像入力部152を固定して設置するインターホンにおいて、特に、顔検知精度を向上させることができる。
【0075】
関数g2は、例えば、次の式10で表される。
g2(y,y0)=K1×(y0−y) (式10)
ただし、式10で、記号K1は、カメラの画素数と、カメラから被写体までの想定される距離と、カメラの画角と、顔判定部で用いるしきい値とから求められる係数である。
【0076】
第三の処理は、画像入力部152となるカメラの近くにボタンなどの操作部を有し、操作の際に手が入力画像に含まれる場合に、操作を行う手の確度が高いと推定される頭部候補領域にペナルティを与える処理である。
【0077】
図9を用いて、頭部候補領域にペナルティを与える処理を説明する。入力画像900上で呼び出し釦158に近い位置にエリア902を設定する。エリア902は、画像上でx座標がXB0≦x≦XB1を満たし、かつy座標が0≦y≦YB0を満たす領域とする。XB0,XB1,YB0は、カメラの画素数と画角と、カメラと呼び出し釦158の位置関係から決まる定数である。
【0078】
横エッジが少なく(特徴量c2が小さい)、且つ、輝度が高い(特徴量c3が大きい)場合に大きな値のペナルティを算出するような関数g3を定義しておき、処理対象となる頭部候補領域の中心座標(x,y)が前記エリア902内にある場合に、前記距離値Dに式11に示すg3(c2,c3)を加算する。式11の係数K2は、多数の学習サンプルにより適切な値を求めることが好ましい。
【0079】
【数3】
【0080】
横エッジが少ない場合にg3が大きな値を算出するようにすることは、まっすぐに手を出して指でボタンを押すと、自然と手の甲が上を向き、中指から小指が下を向くため、指のエッジが縦方向となるという人間工学的知見に基づいている。
【0081】
また、輝度が高い場合にg3が大きな値を算出するようにすることは、手が肌色であり、一般的に明るい色合いであることと、夜間などの暗い環境で本装置を使用する場合、被写体を照らす照明により明るく写るという知見に基づく。
【0082】
前述のように、テンプレート記憶部116には、代表的な環境ごとにテンプレートが記憶されている。距離算出部112は記憶されている全てのテンプレートに対して上記処理を行って距離値を算出し、これらの距離値の最小値を頭部領域候補とテンプレートの間の距離として出力する。
【0083】
顔判定部120は、距離算出部112で頭部候補領域ごとに計算された距離値の最小値を予め定めたしきい値と比較し、前記距離値が前記しきい値より小さかった場合に、入力画像中に顔が存在すると判定する。
顔判定部120は、存在の有無と前記最小の距離値を算出した頭部候補領域の位置と大きさを特定する情報とを出力する。
【0084】
信頼度判定部118は、顔判定部120の顔判定結果が信頼できるものであるかを検証して、その度合いを表す信頼度を出力する。具体的には、頭部領域候補と輝線ノイズとの画像上の位置関係から信頼度を算出する。信頼できる場合は信頼度1、信頼できない場合は信頼度0と表す。
まず、信頼度判定部118は、画像記憶部114から縦エッジ画像を読み出して輝線ノイズとなるスミアやブルーミングの有無を検出する。
【0085】
スミアとは、CCD撮像素子を使用して撮像する際に、画像中に例えば太陽など、特に明るい光源が写っている場合に、その上下に明るい直線が発生する現象である。この現象は、極端に強い光があたることによってCCD撮像素子の電荷があふれだし、CCDの電荷転送方向である縦方向に輝度が飽和した明るい画素が直線上にあらわれるものである。また、このようなときには、光源の周囲に大きく円形状、又は放射状に白く光る領域が発生することもあり、この現象はブルーミングと呼ばれる。
【0086】
スミアやブルーミングが発生している領域では、本来写っている被写体像を塗りつぶしているため、顔領域にスミアやブルーミングが影響している場合には、正しく顔検知ができない可能性が高い。そこで、本例では、スミアやブルーミングの影響で顔判定が正しくできない状態を検知した場合に信頼度0を出力する。
ここでは、説明の為にスミアが縦方向に生じるものとして説明しているが、CCD撮像素子を例えば90度傾けて設置すればスミアは横方向に生じることになる。この場合、信頼度判定部118は画像記憶部114から横エッジ画像を読み出してスミアを検出すればよい。
【0087】
信頼度判定部118は、画像記憶部114の輝度値画像と、縦エッジ画像を用いてスミアを検知する。画面内で一つの縦のラインに注目すると、縦エッジ強度が第1のしきい値を超えた画素が、縦方向に第2のしきい値以上ある場合に、このラインはスミアエッジ候補となる。次に、このラインで縦エッジ強度が第1のしきい値を超えた画素の数と、左右両隣の画素の輝度がいずれも第3のしきい値を超えた画素の数を合算し、この値が第4のしきい値以上であれば、このラインをスミアエッジと判断する。ただし、第2のしきい値<第4のしきい値であり、スミアが生じていても周囲が明るい場合は縦エッジが検出されない場合もあるため、上記のような2段階の判定を行う。
【0088】
以上の処理でスミアエッジが検知されるが、スミアが発生していれば、スミアの左右両端に同じようにスミアエッジが検出されるので、同様な処理を継続し、スミアエッジが2本検出された時点でスミアが検出されたものとする。
また、ここでは、スミア検出に、各ラインで縦方向にエッジ強度の高い画素を数える手法を説明したが、例えばHough変換により縦エッジ強度の強い直線を検出するなどの手法を用いることも可能である。
【0089】
前記処理によりスミアが検出された場合、信頼度判定部118は、頭部候補領域とスミアとの位置関係を基に信頼度を求める。このときに顔判定部120で顔が含まれると判定された頭部候補領域の有無によって、信頼度の算出の仕方は異なる。顔が存在すると判定した場合は、顔の含まれる頭部候補領域とスミアとの画像上の距離が所定値以下であれば信頼度を0とする。顔が含まれると判定された頭部候補領域が存在しない場合であっても、スミアとの画像上の距離が所定値以下の頭部候補領域が1つでも存在すれば信頼度を0とする。それ以外の場合は信頼度を1とする。
【0090】
顔判定部120において、顔が存在しないと判定したが信頼度が0である場合、スミアやブルーミングの影響により顔判定が正しく行われなかったことが考えられるため、顔が存在している可能性がある。このことを考慮して信頼度0の場合顔判定結果を顔が存在するという結果に書き換えて出力する。
【0091】
記憶部136は、音声ガイダンス、呼び出し音といった音データを記憶する。これらの音データは、必要に応じて読み出され、スピーカ132で再生され、また、インターホン子機150のスピーカ156で再生される。呼び出し音の音データは、少なくとも、通常の呼び出し音、異常を意味する呼び出し音、判定不能を意味する呼び出し音などがあらかじめ用意される。
【0092】
以下、インターホン装置の動作についてフローチャートを用いて説明するが、その前に、本例の概略の動作を説明する。
本例においては、頭部候補領域として画像中から楕円領域を抽出し、この楕円領域を画像処理して、顔の存在を判定することにより、異なる出力を行うものである。
【0093】
また、楕円領域の外接矩形領域を頭部候補領域とし、頭部候補領域の内側に顔候補領域として別途矩形領域を設定し、これら2つの候補領域内を画像処理して複数の種類の特徴量を算出し、これらの特徴量を要素とする特徴ベクトルと予め記憶しているテンプレートとを比較することにより顔検知を行う。
【0094】
また、代表的な環境を複数想定し、その環境下毎に撮影した多数の頭部領域のサンプルから算出された特徴量の平均を要素とするベクトル及び、前記特徴量の標準偏差を要素とするベクトルをテンプレートとして保持する。入力画像の頭部候補領域と顔候補領域とから求めた特徴量と、各テンプレートの特徴量との重み付け距離を算出する。
【0095】
また、テンプレートを作成した際の撮影環境を表す環境評価値を各テンプレートに対応付けて保持し、該環境評価値と入力画像の環境評価値との差によって重み付け距離を補正することでテンプレート作成時の環境との違いを吸収する。
そして、最も距離が小さくなるテンプレートとの距離値に基づき顔検知判定を行う。
環境評価値のうち、逆光度合いと暗闇度合いの算出では、画面の上部からある一定の割合の領域中で、かつ背景差分法で求められた領域内において算出することを特徴とする。
【0096】
また、低照度状態で発生するノイズ画素に着目して、環境評価値のひとつである低照度度合いを画像処理によって算出する。
また、画像にスミアが発生していることを検出し、スミア検出結果と、顔検知結果と、頭部候補楕円領域とスミアの画像上での位置関係とから、顔検知結果の信頼度を判定し、顔検知結果に信頼度を考慮した出力を生成する。したがって、スミアの影響により顔検知に失敗しても、利用者に確認を促すことを可能とする。
【0097】
図10、図11のフローチャートを用いて、インターホン装置の動作を説明する。
呼び出し釦158が操作されるまでの間、呼び出し釦158の操作を監視する(s700)。同時に、一定時間間隔で背景画像の更新を行う。この間の動作は次のようなものである。
【0098】
画像入力部152により生成された入力画像データが、通信線140を介してインターホン親機100に送られる。特徴画像生成部108は、送られてきた入力画像からエッジ画像を生成する。動き領域抽出部102が、該エッジ画像を用いて背景画像の更新を行う。
【0099】
呼び出し釦158が操作される(S700のYes)と、起動信号が通信線140を介してインターホン親機100の制御部124に送られる。このときに、画像入力部152が出力する入力画像データが画像記憶部114に記憶され、以下に示す顔検知処理と応答動作が実行される。
【0100】
まず、特徴画像生成部108が、画像記憶部114に記憶された入力画像データを読み出して、縦エッジ画像と横エッジ画像を生成する。動き領域抽出部126が、前記エッジ画像と画像記憶部114から背景画像とを用いて背景差分法によって動き領域を抽出する(S701)。
【0101】
このときに抽出された動き領域が、予め定められたしきい値以上であるか否かが判定される(S702)。ここでしきい値より小さい場合、制御部124入力画像中に人物画像が存在しないものと判断する。また、この場合は、親機100のスピーカ156は無音のまま(S734)で、家人に、いたずらであるか否かを確認する作業が発生しないようにする。
【0102】
このとき、インターホン親機100の制御部124は記憶部136から「LEDが見える位置で操作してください」という音声データを読み出して、該音声データを通信線140を介してインターホン子機150に送る。
インターホン子機150の制御部160では、送られてきた音声データをスピーカ156によって再生する。この動作により、いたずらなどを行う者に対する牽制をする。
【0103】
S702で動き領域がしきい値以上の場合、楕円領域抽出部102は、エッジ画像中の動き領域から楕円領域を抽出する(S703)。抽出された楕円領域の数をIとし、各楕円領域に0から(I−1)の通し番号を与える。ここでI個の楕円領域のうち、最上部に位置する楕円領域に重心のy座標をy0に代入しておく。
【0104】
Iが0であるか否かが判定される(S704)。Iが0の場合、制御部124は、記憶部136から異常を意味する呼び出し音の音データを読み出して、スピーカ132で再生し、表示部130に入力画像を表示する(S740)。
ここでの動作は、呼び出し釦158が操作され、人物程度の面積を持つ領域が抽出されたにもかかわらず、頭部領域候補(楕円領域)が存在しないという異常を検出したことを家人に知らせることを意味する。
【0105】
更に、インターホン子機150において、S734と同様に、「LEDが見える位置で操作してください」という音声データをスピーカ156に再生する。
S704で、Iが0より大きい場合、処理はS706へと進む。
【0106】
環境評価値算出部104は、画像記憶部114から入力画像データを読み出し、入力画像中の背景領域の上方4分の1の領域を用いて、暗闇度合いと逆光度合いを算出し、また前述の処理によって低照度度合いを計算する(S706)。
制御部124は、楕円領域数に関するループ回数をカウントするiを0に初期化し(S708)、iに関するループ処理を開始する。
【0107】
頭部候補領域前処理部106は、iで識別される楕円領域の外接矩形領域を頭部候補領域として設定し、合成画像302を生成し、該合成画像302に非線形変換処理を施して変換画像408を生成する。変換画像の平均輝度値が低い場合は、輝度補正処理を行う。これらの前処理を施した後、頭部候補領域前処理部106は、頭部候補領域の画像データ(以下、前処理済み画像と称する)を画像記憶部114に記憶する。(S710)
【0108】
特徴画像生成部108は、画像記憶部114から頭部候補領域の前処理済み画像を読出し、同じ大きさの縦エッジ画像、横エッジ画像、肌色度合い画像を生成し、画像記憶部114に記憶する(S712)。
特徴量抽出部110は、画像記憶部114に記憶された頭部候補領域の前処理済み画像、縦エッジ画像、横エッジ画像、肌色度合い画像を読み出して、前述のc1からc16の特徴量を計算する(S714)。
【0109】
テンプレート記憶部116にはJ個のテンプレートが記憶されており、各テンプレートには0から(J−1)の識別番号が与えられているものとする。距離算出部112は、テンプレートの個数に関するループ回数をカウントするjを0に初期化し、jに関するループ処理を開始する(S716)。
【0110】
距離算出部112は、まず、テンプレート記憶部116から読み出したjで識別されるテンプレートと前記特徴量とから、式8によって距離値Dを算出する。次に、距離算出部112は、前記環境評価値とペナルティ関数g1とから、計算したペナルティを距離値に加算する。
【0111】
また、距離算出部112は、前述のy0と処理対象である頭部候補領域の重心のy座標とペナルティ関数g2とから計算したペナルティを距離値に加算する。更に、距離算出部112は、頭部候補距離の重心の座標(x,y)と特徴量c2,c3とペナルティ関数g3とから計算したペナルティを距離値に加算する。こうして算出された距離値をd(i,j)とする。(S718)
【0112】
距離算出部112は、jを1だけ増加させて更新し(S720)、更新したjがJに達すると、全てのテンプレートに対する処理を終えたとして処理をS724に進める。jがJに達していない場合は、再びS718へ処理を戻し新たなテンプレートに対して処理を行う。(S722)
【0113】
距離算出部112の処理が終わると、制御部124は、iを1だけ増加させて更新し(S724)、更新したiがIに達すると、全ての楕円領域に対する処理を終えたとして処理をS728に進める。iがIに達していない場合は、再びS710へ処理を戻し新たな楕円領域に対し処理を行う(S726)。
顔判定部120は、算出した距離値D(i,j)の最小値dを予め定めたしきい値Tと比較し、画像中に顔が存在するか否かを判定する(S728)。ここで、d<Tであれば、入力画像中の距離値dを算出した頭部候補領域内に顔が存在すると判定する。
【0114】
顔が存在すると判定された場合及び存在しないと判定された場合、いずれも、信頼度判定部118は、画像記憶部114に記憶された入力画像データと縦エッジ画像とを読み出し、スミアの存在の有無とその画像中に占める位置を検出し、顔判定結果と頭部候補領域の位置情報を合わせて信頼度を算出する(S730)。
【0115】
顔判定結果と信頼度判定結果が算出されると、制御部124は、これらの結果に基づいた以下のような動作を行う。
顔が存在し信頼度が1であるか否かが判定される(S732)。顔が存在し信頼度が1である場合、制御部124は、記憶部136から通常の呼び出し音の音データを読み出してスピーカ132で再生すると共に、表示部130に入力画像データを表示する(S736)。
【0116】
顔が存在せず信頼度が1である場合、制御部124は、前述のIが0の場合と同様にして、スピーカ132で異常を意味する呼び出し音の音データを再生し、表示部130に入力画像データを表示し、インターホン子機150のスピーカ156で「LEDが見える位置で操作してください」という音声データを再生する(S740)。この動作は、動き領域及び楕円領域が抽出されたにも拘らず顔が検出できないという判定結果に基づくものであり、顔を隠蔽するなどした不審者の来訪の可能性を家人に知らせることを意味する。
【0117】
信頼度が0である場合は、制御部124は、記憶部136から通常の呼び出し音の音データを読み出してスピーカ132で再生すると共に、表示部130に入力画像データを表示する(S738)。この動作は、顔の検出漏れを防ぐためのものである。スミアやブルーミングの影響で実際には顔が存在するにもかかわらず顔が存在しないと判定され出力されてしまうような不具合を防止する。
【0118】
なお、家人の好みによって、人物不在と判定された場合に所定の呼び出し音を鳴動するよう設定でき、異常の場合に呼び出し音が鳴動しないように設定できるようにしても良いし、信頼度が0のときの呼び出し音を通常のものと区別して、判定不能呼び出し音が鳴動するように設定できるようにしても良い。また、信頼度が0のときに表示部130に判定不能である旨を表示するように設定できるようにしても良い。
【0119】
また、本実施形態では複数の代表的な撮影環境毎に特徴量と環境評価値とを用意しておく例について説明したが、照明点灯時や日中など、ある特定の一つの撮影環境のときのみ顔画像の存在を判定したい場合等においては、特定の撮影環境における特徴量と環境評価値のみを用意しておく構成としてもよい。これにより、特定の撮影環境と異なる環境時には顔画像が存在すると判定されることがない。
【0120】
以上説明した実施形態の効果を列挙すると以下のようになる。
従来装置のように、目、口、耳などといった顔の部位ではなく、頭部候補領域と該頭部候補領域内に設定した顔候補領域との各領域の統計量を特徴量として用いて顔検知を行うので、高精細なカメラや高性能のプロセッサを必要とせず、安価に装置を構成することができる。
【0121】
想定される代表的な撮影環境ごとに特徴量を用意するので、最も近い特徴量を用いて顔検知を行うことができると共に、環境を表す評価値そのものの違いを考慮して顔検知を行うので、環境変化に強い顔検知が可能である。
顔検知結果に基づいて呼び出し音などの出力を変化させることによって、利用者が悪戯を確認する手間を無くしたり、不審人物の来訪に備えたりすることが可能なインターホン装置を提供する。
【0122】
信頼度を算出し、顔検知結果と信頼度とから出力を生成するので、スミアやブルーミングの影響によって顔検知が正しく行われなかった場合にも、利用者に確認を促すことが可能となる。
画像データのみで低照度状態を検知することができるため、汎用のカメラを用いて安価に装置を構成することができる。
【0123】
楕円形状を有する領域を抽出し、該楕円に外接する矩形領域を顔検知処理対象とするので、楕円領域を処理するより高速に処理が可能である。
頭部候補領域内の左右対称な位置関係にある画素同士を比較して、輝度値あるいは肌色度合いのより高い方の画素値を他方に代入する。これにより生成される合成画像を顔検知に用いることにより、被写体の片側に影が生じている場合でも、安定した顔検知を行うことができる。
【0124】
頭部候補領域に非線形な座標変換を施して頬付近に相当する領域の背景の影響を除くと共に、頭部候補領域を矩形に保つことにより、高速な処理を可能としながらも顔検知精度を維持することができる。
頭部候補領域同士の位置関係を考慮して顔検知を行うので、手や衣服などを誤って検知しにくい顔検知が可能である。
【0125】
【発明の効果】
本発明によれば、環境が変化する屋外などで撮影した画像に対しても、誤検知することなく、安定して顔の存在を検知可能な顔検知装置を得ることができる。また、本発明によれば、上記顔検知装置を含むインターホン装置を得ることができる。
【図面の簡単な説明】
【図1】本発明を適用した顔検知機能を有するインターホン装置の概略の構成を表す図である。
【図2】図1の頭部候補領域前処理部106が行う前処理(その1)を示す図である。
【図3】図1の頭部候補領域前処理部106が行う前処理(その2)を示す図である。
【図4】図1の頭部候補領域前処理部106が行う前処理(その3)を示す図である。
【図5】本発明における特徴ベクトルの変換方法を示す図である。
【図6】図1のインターホン子機の外観を示す図である。
【図7】図1の装置で使用されるテンプレートの作成方法を示す図である。
【図8】本発明における、低照度度合いe3を評価する処理を示す図である。
【図9】本発明における、頭部候補領域に対する処理を示す図である。
【図10】図1のインターホン装置の動作を示すフローチャート(その1)である。
【図11】図1のインターホン装置の動作を示すフローチャート(その2)である。
【符号の説明】
100…インターホン親機
102…楕円領域抽出部
104…環境評価値算出部
106…頭部候補領域前処理部
108…特徴画像生成部
110…特徴量抽出部
112…距離算出部
114…画像記憶部
116…テンプレート記憶部
118…信頼度判定部
120…顔判定部
124…制御部
126…動き領域抽出部
130…表示部
132…スピーカ
134…通話部
136…記憶部
138…通信部
140…通信線
150…インターホン子機
152…画像入力部
154…マイク
156…スピーカ
158…呼び出し釦
160…制御部
162…通信部
200…楕円領域
202…頭部候補領域
204…顔候補領域
300…頭部領域画像
302…合成画像
400…座標系
402…座標系
404…頭部領域
406…三角の領域
604…LED
800…入力画像
802…平滑化
804…差分画像
806…エッジ画素
808…ノイズ画素
810…エッジ強度画像作成
812…2値化
900…入力画像
902…エリ
Claims (3)
- 撮影された画像から動き領域を抽出して顔画像の有無を判定する顔検知装置であって、
複数の異なる撮影環境ごとに、顔が映っている領域が示す画像特徴である顔情報と画像中の輝度値の分布特徴である環境情報とを、対応させて予め記憶する記憶部と、
前記動き領域の画像における画像特徴と前記記憶部に記憶されている複数の顔情報とを比較して、顔情報ごとに顔らしさの類似度となる第一の類似度を算出する顔類似算出手段と、
撮影された画像の輝度値の分布と前記記憶部に記憶されている複数の環境情報とを比較して、環境情報ごとに撮影環境の類似度となる第二の類似度を算出する環境類似算出手段と、
前記記憶部に記憶された全ての顔情報及び環境情報を用いて算出された複数の前記第一及び第二の類似度において同じ撮影環境に対応した顔情報及び環境情報から算出した第一及び第二の類似度を加算した統合類似度のうち、最も顔らしさの類似度が高い統合類似度を選択し、選択された統合類似度に基づいて顔画像の有無を判定する判定部と、
を具備することを特徴とした顔検知装置。 - 前記環境情報は、前記撮影された画像を平滑化して得られた画像と前記撮影された画像との差分画像において所定しきい値以上の輝度値となる画素が、前記撮影された画像中のエッジ画素を除いた画素数に占める割合を照度情報として含む請求項1に記載の顔検知装置。
- さらに、
前記動き領域の画像を参照パターンで走査して頭部候補領域を抽出する頭部抽出部と、
前記頭部候補領域内に対称軸を設定し該対称軸に対し対称となる画素の輝度値を比較し高輝度となる一方の画素の輝度値を他方の画素に代入して合成画像を生成する対称画像生成部と、
前記合成画像の下部中央を左右方向に伸張して頭部候補画像を生成する頭部画像処理部と、
を備え、
前記顔類似度算出手段は、前記頭部候補画像における前記画像特徴と前記記憶部に記憶されている顔情報とを比較して前記第一の類似度を算出する請求項1または2に記載の顔検知装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003203775A JP4412929B2 (ja) | 2003-07-30 | 2003-07-30 | 顔検知装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003203775A JP4412929B2 (ja) | 2003-07-30 | 2003-07-30 | 顔検知装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009159994A Division JP4741019B2 (ja) | 2009-07-06 | 2009-07-06 | インターホン装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005049979A JP2005049979A (ja) | 2005-02-24 |
JP4412929B2 true JP4412929B2 (ja) | 2010-02-10 |
Family
ID=34263005
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003203775A Expired - Fee Related JP4412929B2 (ja) | 2003-07-30 | 2003-07-30 | 顔検知装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4412929B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009223916A (ja) * | 2009-07-06 | 2009-10-01 | Secom Co Ltd | インターホン装置 |
KR101737619B1 (ko) * | 2016-11-30 | 2017-05-19 | 윈스로드(주) | 얼굴 인식 장치 및 방법 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4738203B2 (ja) * | 2006-02-20 | 2011-08-03 | 学校法人同志社 | 画像から音楽を生成する音楽生成装置 |
JP4924041B2 (ja) * | 2007-01-09 | 2012-04-25 | トヨタ自動車株式会社 | 画像処理装置 |
JP4845796B2 (ja) * | 2007-04-10 | 2011-12-28 | キヤノン株式会社 | 撮像装置及び撮像装置の制御方法 |
JP5390943B2 (ja) * | 2008-07-16 | 2014-01-15 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP5568166B2 (ja) * | 2008-07-16 | 2014-08-06 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP5277986B2 (ja) * | 2009-01-23 | 2013-08-28 | 株式会社ニコン | 演算装置、演算プログラム、面形状測定装置、及び面形状測定方法 |
JP4825909B2 (ja) * | 2009-12-11 | 2011-11-30 | セコム株式会社 | 顔検知装置 |
JP6904346B2 (ja) * | 2016-06-22 | 2021-07-14 | ソニーグループ株式会社 | 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム |
CN109313806A (zh) * | 2016-06-22 | 2019-02-05 | 索尼公司 | 图像处理装置、图像处理***、图像处理方法和程序 |
CN114236885B (zh) * | 2021-11-10 | 2023-09-12 | 云南电网有限责任公司 | 一种电能表液晶显示机器视觉检测***和方法 |
-
2003
- 2003-07-30 JP JP2003203775A patent/JP4412929B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009223916A (ja) * | 2009-07-06 | 2009-10-01 | Secom Co Ltd | インターホン装置 |
KR101737619B1 (ko) * | 2016-11-30 | 2017-05-19 | 윈스로드(주) | 얼굴 인식 장치 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP2005049979A (ja) | 2005-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4448304B2 (ja) | 顔検知装置 | |
KR101926490B1 (ko) | 이미지 처리 장치 및 방법 | |
KR101554403B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 제어 프로그램이 기록된 기억 매체 | |
US10304164B2 (en) | Image processing apparatus, image processing method, and storage medium for performing lighting processing for image data | |
JP3879732B2 (ja) | 物体検出装置、物体検知方法、およびコンピュータプログラム | |
US20110150280A1 (en) | Subject tracking apparatus, subject region extraction apparatus, and control methods therefor | |
JP4412929B2 (ja) | 顔検知装置 | |
JP3018914B2 (ja) | 階調補正装置 | |
US20090002509A1 (en) | Digital camera and method of controlling same | |
KR100845969B1 (ko) | 동적객체 영역 추출방법 및 장치 | |
JP5271742B2 (ja) | サングラス着用検出装置 | |
JPH11288459A (ja) | 顔のような領域を検出する方法および装置、ならびに観察者トラッキングディスプレイ | |
JP4825909B2 (ja) | 顔検知装置 | |
US10013632B2 (en) | Object tracking apparatus, control method therefor and storage medium | |
JP2017504017A (ja) | 計測機器、システム、及びプログラム | |
JP4741019B2 (ja) | インターホン装置 | |
JP2009123081A (ja) | 顔検出方法及び撮影装置 | |
JP5395650B2 (ja) | 被写体領域抽出装置およびその制御方法、被写体追跡装置、並びにプログラム | |
JP4865328B2 (ja) | 画像センサ | |
WO2021147650A1 (zh) | 拍照方法、装置、存储介质及电子设备 | |
JP5215775B2 (ja) | ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法 | |
JPH1021408A (ja) | 画像抽出装置および方法 | |
JP2005025568A (ja) | 頭部領域抽出装置 | |
JP2006074498A (ja) | 画像処理装置及び撮像装置 | |
CN115147868A (zh) | 客流相机的人体检测方法、客流相机、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060526 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090519 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090706 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090804 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090925 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091020 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091117 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121127 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4412929 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121127 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131127 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |