JPH0935070A

JPH0935070A - 顔画像処理装置

Info

Publication number: JPH0935070A
Application number: JP7179036A
Authority: JP
Inventors: Tomoko Okumura; 知子奥村
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1995-07-14
Filing date: 1995-07-14
Publication date: 1997-02-07
Anticipated expiration: 2015-07-14
Also published as: JP3355068B2

Abstract

(57)【要約】【課題】運転者の２値化された顔画像領域の重心と顔
画像の代表点を通る直線の傾きより運転者の顔画像の傾
きを求め、更に、傾き角度に基づいて顔画像の回転処理
を行い、傾きのない顔画像を得る。【解決手段】運転者の顔画像を入力する顔画像入力手
段と、顔画像より目、鼻、口等の顔の特徴点の候補領域
を抽出する特徴候補領域抽出手段と、特徴候補領域を２
値化する２値化手段と、２値化画像において顔を含む領
域の重心を算出する顔領域重心算出手段と、顔部分領域
の代表点を算出する部分領域代表点算出手段と、前記重
心と部分領域代表点の２点を通る直線と一定の基準線と
のなす角度を顔の傾き角度として検出する傾き角度検出
手段とを備えている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は画像処理を用いて
顔画像の傾きを検出・判定し、顔画像を傾きの無い位置
に補正する機能を備えた顔画像処理装置に関するもので
ある。

【０００２】

【従来の技術】従来の運転者の顔画像処理装置として
は、例えば特開平６−２２７２７８号公報に示されたも
のがある。図２９は従来装置の構成を示すブロック図で
ある。画像入力手段５５により装置に取り込んだ画像デ
ータは２値化手段５０にによって２値化され、眼球存在
領域設定手段５７によって顔画像中の眼球存在領域が設
定される。運転者状態判定手段５９では開閉眼検出手段
５８検出された眼球存在領域中の開閉眼のパターンに基
づいて運転者の状態を判断する構成になっている。また
開閉眼検出手段５８の検出結果は誤検出判定手段６１に
も送られ、誤検出と判断されたならば再設定手段６０に
て眼球存在領域の再設定を行う。眼球存在領域の設定
は、横幅、縦幅の順で行われる。

【０００３】図３０はその横幅設定における画像走査の
説明図、図３１はその縦幅設定における画像走査の説明
図である。図３２の走査開始ライン（画像のＸ座標の中
央）６２を境にした左右領域で左右方向の連続白色画素
数から判断して横幅を設定し、図３３の黒色画素６３、
６４を検索して縦幅を設定する。図３４の破線部６５は
図３０及び図３１の画像走査方法で横幅及び縦幅が設定
された眼球存在領域である。横幅設定方法は図３０のフ
ローチャートで説明されるように、顔のほぼ中心より上
方に向けて顔横方向の白色画素の連続数をカウントす
る。

【０００４】次に、カウント最大時のＸ座標（顔の横方
向座標）を記憶する。縦方向に向けて顔横方向の白色画
素をカウントした結果、左右の白色画素の連続数の和が
例えば２００以上であれば、記憶されたカウント最大時
のＸ座標より眼球存在領域の横方向を設定する。しか
し、連続数の和が２００以下の場合は更に上方に向けて
横方向の白色画素の連続数をカウントする。

【０００５】眼球存在領域の縦幅設定は図３１のフロー
チャートに示すように、縦方向の黒色領域を黒色画素数
より検索する。この時、最初に一番目の黒色領域の画素
数の最大値を記憶する。以降、眉毛の間に向けて縦方向
に黒色領域の画素の最大値を記憶し、前回の最大値と比
較して行く。従って、縦方向の黒色領域の検索が眉毛の
間に至ると、黒色領域が無くなりるため、一番目の最大
値の座標値と眉毛の間に至る直前の最大値の座標値の間
が眼球存在領域の縦方向として設定される。この結果、
図３４に示すように左右の眼球存在領域が設定される。

【０００６】

【発明が解決しようとする課題】従来の顔画像処理装置
は、以上のように運転者の顔を常に一定の位置に置き、
その顔の画像より眼球の位置を捉えようとしているが、
運転者は常に同じ姿勢で運転するわけではなく、顔が傾
く姿勢で運転することもしばしばある。ところが、上記
の従来の運転者の顔画像処理装置では顔画像の傾きを補
正する機能はなく、そのため、大きく傾いた顔画像を処
理して眼球存在領域を検出しようとすると、検出された
眼球存在領域は、実際の位置とはずれた位置に設定され
てしてしまう可能性が高い。

【０００７】その結果、眼球存在領域にある眼球画像を
処理して目の開閉判断を行っても正確な目の開閉判断が
行えず、開閉状態検出を誤ってしまうこともあるため、
眼球画像の処理結果より居眠り検出を行っても誤検出さ
れてしまうという問題点があった。

【０００８】従って、頭部の動きを認識する事は必要不
可欠となってくるが、図２８に示されるように人間の頭
部を球としたとき、Ｘ軸を顔の横軸方向、Ｙ軸を顔の縦
軸方向、そしてＺ軸を顔の前後軸方向とした場合、顔を
Ｘ軸を中心に回転（例えば、うつむき加減）、或いはＹ
軸を中心に回転（顔を左右に向ける）に対する顔の方向
を画像処理で検出するのが一般的であった。（信学会春
季全大Ｄ−５４１，１９９０等を参照）

【０００９】しかし、ｚ軸まわりの回転（顔を左右に傾
ける）に対する顔の傾き検出方法はあまりみられず、目
の開閉状態の誤検出を解消するには至らなかった。

【００１０】この発明は、上記のような問題点を解決す
るためになされたもので、眼球存在領域を設定する前
に、顔画像の傾きを検出・判断し、その傾きを補正して
傾きのない顔画像を得ることができる顔画像処理装置を
提供するものである。

【００１１】

【課題を解決するための手段】請求項１の発明に係る顔
画像処理装置は、運転者の顔画像を入力する顔画像入力
手段、入力した運転者の顔画像内における眉、目、鼻、
口等の顔の特徴点の候補領域を抽出する特徴候補領域抽
出手段、特徴候補領域を抽出した画像を２値化する２値
化手段、２値画像内での顔を含む領域に対する重心
（ｘ，ｙ）を算出する顔領域重心算出手段、算出された
顔領域の重心を基に顔の一部分を含む領域を設定する顔
部分領域設定手段、顔部分領域に対する代表点を算出す
る部分領域代表点算出手段、前記の顔領域重心（ｘ，
ｙ）と部分領域代表点の２点を通る直線と一方の画像軸
のなす角度を顔の傾きとして検出する傾き検出手段を備
えたものである。

【００１２】請求項２の発明に係る顔画像処理装置は、
運転者の顔画像を入力する顔画像入力手段、入力した運
転者の顔画像内における眉、目、鼻、口等の顔の特徴点
の候補領域を抽出する特徴候補領域抽出手段、特徴候補
領域を抽出した画像を２値化する２値化手段、２値画像
内での顔を含む領域に対する重心（ｘ，ｙ）を算出する
顔領域重心算出手段、上記顔領域重心算出手段により算
出された顔領域重心（ｘ，ｙ）の横軸方向重心ｘを基
に、顔縦方向上部領域を設定する顔部分領域設定手段、
設定された顔縦方向上部領域の重心を算出し、それを代
表点とする部分領域代表点算出手段、前記の顔領域重心
（ｘ，ｙ）と部分領域代表点の２点を通る直線と一方の
画像軸のなす角度を顔の傾きとして検出する傾き検出手
段を備えたものである。

【００１３】請求項３の発明に係る顔画像処理装置は、
運転者の顔画像を入力する顔画像入力手段、入力した運
転者の顔画像内における眉、目、鼻、口等の顔の特徴点
の候補領域を抽出する特徴候補領域抽出手段、特徴候補
領域を抽出した画像を２値化する２値化手段、２値画像
内での顔を含む領域に対する重心（ｘ，ｙ）を算出する
顔領域重心算出手段、上記顔領域重心算出手段により算
出された顔領域重心（ｘ，ｙ）の横軸方向重心ｘを基
に、顔縦方向上部領域を設定し、さらに顔縦方向上部領
域を顔領域重心（ｘ，ｙ）の縦軸方向重心ｙを基に分割
して顔上部左右領域を設定する顔部分領域設定手段、設
定された顔上部左領域、顔上部右領域それぞれの重心を
算出し、その中点を代表点とする部分領域代表点算出手
段、前記の顔領域重心（ｘ，ｙ）と部分領域代表点の２
点を通る直線と一方の画像軸のなす角度を顔の傾きとし
て検出する傾き検出手段を備えたものである。

【００１４】請求項４の発明に係る顔画像処理装置は、
運転者の顔画像を入力する顔画像入力手段、入力した運
転者の顔画像内における眉、目、鼻、口等の顔の特徴点
の候補領域を抽出する特徴候補領域抽出手段、特徴候補
領域を抽出した画像を２値化する２値化手段、２値画像
内での特徴候補領域をグループ化する特徴候補領域グル
ープ化手段、特徴候補領域グループ内で鼻孔領域を抽出
する鼻孔領域抽出手段、鼻孔領域内の各鼻孔に対する重
心を算出する鼻孔領域重心算出手段、算出された鼻孔領
域の各鼻孔に対する重心を通る直線と一方の画像軸のな
す角度を顔の傾きとして検出する傾き検出手段を備えた
ものである。

【００１５】請求項５の発明に係る顔画像処理装置は、
運転者の顔画像を入力する顔画像入力手段、入力した運
転者の顔画像内における眉、目、鼻、口等の顔の特徴点
の候補領域を抽出する特徴候補領域抽出手段、特徴候補
領域を抽出した画像を２値化する２値化手段、２値画像
内での特徴候補領域をグループ化する特徴候補領域グル
ープ化手段、特徴候補領域グループ内で鼻孔領域を抽出
する鼻孔領域抽出手段、各特徴候補領域グループに対す
る重心を算出する特徴領域重心算出手段、前記特徴領域
重心算出手段により算出された重心の内、鼻孔領域抽出
手段により設定された領域に対する重心を鼻孔間の中心
とする鼻孔間中心設定手段、前記鼻孔領域を除く各特徴
候補領域の重心と鼻孔間中心との２点を通る直線と一方
の画像軸のなす角度の平均を顔の傾きとして検出する傾
き検出手段を備えたものである。

【００１６】請求項６の発明に係る顔画像処理装置は、
運転者の顔画像を入力する顔画像入力手段、入力した運
転者の顔画像内における眉、目、鼻、口等の顔の特徴点
の候補領域を抽出する特徴候補領域抽出手段、特徴候補
領域を抽出した画像を２値化する２値化手段、２値画像
内での顔を含む領域に対する重心（ｘ，ｙ）を算出する
顔領域重心算出手段、２値画像内での特徴候補領域をグ
ループ化する特徴候補領域グループ化手段、特徴候補領
域グループ内で鼻孔領域を抽出する鼻孔領域抽出手段、
抽出された鼻孔領域の鼻孔間の中心を算出する鼻孔間中
心算出手段、前記鼻孔間中心と顔領域重心（ｘ，ｙ）の
２点を通る直線と一方の画像軸のなす角度を顔の傾きと
して検出する傾き検出手段を備えたものである。

【００１７】請求項７の発明に係る顔画像処理装置は、
請求項１ないし６のいずれかに記載の顔画像処理装置に
おいて、上記傾き検出手段により検出された顔の傾き補
正のための顔画像の回転中心を設定する回転中心設定手
段、前記回転中心設定手段により設定した回転中心を基
準に回転により顔画像の傾きを補正する回転手段を備え
たものである。

【００１８】請求項８の発明に係る顔画像処理装置は、
請求項７に記載の顔画像処理装置において、回転中心設
定手段は、２値画像における顔領域重心（ｘ，ｙ）を回
転中心と設定するものである。

【００１９】請求項９の発明に係る顔画像処理装置は、
請求項７に記載の顔画像処理装置において、回転中心設
定手段は、鼻孔間中心を回転中心と設定するものであ
る。

【００２０】請求項１０の発明に係る顔画像処理装置
は、請求項７に記載の顔画像処理装置において、顔画像
が傾いているか否かを判定する傾き判定手段を備え、顔
画像が傾いていないと判断されるまで前記回転手段によ
る画像回転処理を続けるものである。

【００２１】請求項１１の発明に係る顔画像処理装置
は、請求項１０に記載の顔画像処理装置において、傾き
判定手段は、２値画像内での顔横方向を画像縦（ｙ）
軸、顔縦方向を画像横（ｘ）軸とし、画像横軸方向の各
座標における画像縦軸方向に存在する黒色画素数を示す
画像縦軸方向ヒストグラムを作成し、その画像縦軸方向
ヒストグラムの形状およびピーク数から顔画像が傾いて
いる否かを判定するものである。

【００２２】請求項１２の発明に係る顔画像処理装置
は、請求項１０に記載の顔画像処理装置において、傾き
判定手段は、２値画像内での顔横方向を画像縦（ｙ）
軸、顔縦方向を画像横（ｘ）軸とし、画像縦軸上の各座
標において画像横軸方向に存在する黒色画素数を示す画
像横軸方向ヒストグラムを作成し、その画像横軸方向ヒ
ストグラムの対称性から顔画像が傾いているか否かを判
定するものである。

【００２３】請求項１３の発明に係る顔画像処理装置
は、請求項１０に記載の顔画像処理装置において、傾き
判定手段は、２値画像内での特徴候補領域重心算出手段
により得られた各特徴候補領域グループに対する重心
（ｘｉ，ｙｉ）の横軸方向重心ｘｉの並びから顔画像が
傾いている否かを判定するものである。

【００２４】請求項１４の発明に係る顔画像処理装置
は、請求項１０に記載の顔画像処理装置において、上記
傾き検出手段により検出された角度θに応じて、顔画像
を回転させる角度を設定する回転角度設定手段、前記回
転角度の限界角度を設定する回転限界角度設定手段を備
え、上記回転手段で顔画像を回転させると共に上記傾き
判定手段により顔画像が傾いていないと判定された時、
或いは前記回転限界角度に達するまで上記回転手段によ
る画像回転処理を続けるものである。

【００２５】

【発明の実施の形態】発明の実施の形態は以下のようで
ある。１．運転者の２値化された顔画像領域の重心と顔画像の
代表点を通る直線の傾きを求め、この傾きに基づいて顔
画像の回転処理を行って傾きのない顔画像を得る。

【００２６】２．運転者の２値化された顔画像領域の重
心とこの重心を境に設定した顔画像領域の顔縦方向上部
領域に代表点を求め、重心と代表点を通る直線の傾きに
基づいて顔画像の回転処理を行い傾きのない顔画像を得
る。

【００２７】３．運転者の２値化された顔画像領域の重
心と、この重心を境に設定した顔画像領域の顔上部左領
域と右領域の重心間の中点を代表点とし、重心と代表点
を通る直線の傾きに基づいて顔画像の回転処理を行い傾
きのない顔画像を得る。

【００２８】４．運転者の顔画像領域より抽出されて２
値化された鼻孔領域内の各鼻孔に対する重心を算出し、
各重心を通る直線の傾きに基づいて顔画像の回転処理を
行う。

【００２９】５．運転者の顔画像領域より顔の各特徴点
の候補領域を抽出して特徴候補領域を２値化してグルー
プ化した後に、鼻孔を含む特徴候補領域では算出された
重心を鼻孔間の中心点とし、この中心点と他の各特徴候
補領域で算出された重心とを通る直線の傾きの平均に基
づいて顔画像の回転処理を行う。

【００３０】６．２値化された顔領域の重心を算出する
と共に、運転者の顔画像領域より顔の各特徴点の候補領
域を抽出して特徴候補領域を２値化してグループ化した
後に、鼻孔を含む特徴候補領域では算出された重心を鼻
孔間の中心点とし、この中心点と算出された重心とを通
る直線の傾きに基づいて顔画像の回転処理を行う。

【００３１】７．所定の座標位置を顔画像の回転中心位
置とし、この回転中心位置を基準として顔画像を直線の
傾き角度だけ傾き方向と逆方向に回転させる。

【００３２】８．回転中心位置を顔領域の重心とし、こ
の重心を基準として顔画像を直線の傾き角度だけ傾き方
向と逆方向に回転させる。

【００３３】９．回転中心位置を鼻孔間の中心とし、こ
の中心を基準として顔画像を直線の傾き角度だけ傾き方
向と逆方向に回転させる。

【００３４】１０．傾き判断手段で顔画像が傾いている
かいないかを判定し、顔画像が傾いていないと判断され
るまで前記回転手段による画像回転処理を続ける。

【００３５】１１．２値画像内での顔横方向を画像縦
（ｙ）軸、顔縦方向を画像横（ｘ）軸とし、画像横軸方
向の各座標における画像縦軸方向に存在する黒色画素数
を示す画像縦軸方向ヒストグラムを作成し、その画像縦
軸方向ヒストグラムの形状およびピーク数から顔画像が
傾いている否かを判定する

【００３６】１２．２値画像内での顔横方向を画像縦
（ｙ）軸、顔縦方向を画像横（ｘ）軸とし、画像横軸方
向の各座標における画像横軸方向に存在する黒色画素数
を示す画像横軸方向ヒストグラムを作成し、その画像横
軸方向ヒストグラムの対称性から顔画像が傾いている否
かを判定する。

【００３７】１３．２値画像内での特徴候補領域重心算
出手段により得られた各特徴候補領域グループに対する
重心（ｘｉ，ｙｉ）の横軸方向重心ｘｉの並びから顔画
像が傾いている否かを判定する。

【００３８】１４．回転手段で顔画像を回転させると共
に上記傾き判定手段により顔画像が傾いていないと判定
された時、或いは前記回転限界角度に達するまで上記回
転手段による画像回転処理を続ける。

【００３９】以下、各実施の形態を詳細に説明する。実施の形態１．以下、本実施の形態を図に従って説明す
る。図１は本実施の形態における顔画像処理装置の構成
を示すブロック図である。本実施の形態の顔画像処理装
置は、運転者の顔画像を撮影するＣＣＤカメラ１と、Ｃ
ＣＤカメラ１から出力された顔画像の画像データを記憶
する画像メモリ２と、画像メモリ２のデータを基に画像
処理を行うＣＰＵ３で構成される。図２は図１における
ＣＰＵ３の画像処理の概要を示すフローチャートであ
る。

【００４０】まず、図２のフローチャートを沿って画像
処理の概要を説明する。ＣＰＵ３は顔画像入力手段４で
画像メモリ２より運転者の顔画像の画像データを入力
し、入力された顔画像の特徴点の候補領域を特徴候補領
域抽出手段５で抽出する。特徴候補領域抽出手段５で抽
出された顔画像の候補領域は２値化手段６で２値化され
る。

【００４１】２値化された顔画像内の顔を含む候補領域
の重心は顔領域重心算出手段７で算出された後、顔領域
重心をもとに顔部分領域設定手段８により顔領域内で新
たに顔部分領域を設定する。部分領域代表点算出手段９
では設定された顔部分領域における代表点と顔領域重心
を結ぶ直線と、一方の画像軸とがなす角度を傾き検出手
段１０で求め、回転により顔領域の傾きを補正する。回
転中心は回転中心設定手段１１により設定し、回転は回
転手段１２により行う。

【００４２】以下、図２のフローチャートに示した各手
段を、各図にて詳細に説明する。図３は運転者の顔画像
であり、同図（ａ）はＣＣＤカメラ１により撮影された
運転者の顔画像１３を示したものである。同図（ｂ）は
特徴候補領域抽出手段５、２値化手段６による処理を行
った後の顔画像１４であり、特徴候補領域が２値化され
ている。図５（ａ）、（ｂ）は本実施の形態における特
徴候補領域抽出手段５、２値化手段６の説明図である。
また、図４（ａ）、（ｂ）、（ｃ）は特徴候補領域抽出
手段５に用いるｍａｘ／ｍｉｎフィルタの説明図であ
る。

【００４３】まず、ｍａｘ／ｍｉｎフィルタについて説
明する。図４（ａ）にある入力画像の一部分の画像信号
１５にｍａｘフィルタをかけた後の画像信号が１６であ
り、この画像信号１６にｍｉｎフィルタをかけた後の画
像信号を１７で示す。図４（ｂ）の１８〜２０は画像信
号１５〜１７の輝度値をそれぞれ模式化した画素に対応
させたものを示す。ここでは輝度値を囲む１枠は１画素
を表し、簡単のため輝度値を０〜２０までの値とした。

【００４４】最初に入力画像にｍａｘフィルタをかける
が、ｍａｘフィルタは所定の長さ（画素数ａ、以下フィ
ルターサイズとする）をもち、フィルタ中央の画素の輝
度値をフィルタ内の最大輝度値に変換するものである。
例えば画素数ａを５とし、図４（ｂ）１８の□部分にｍ
ａｘフィルタをかけると、ここでは最大輝度は１０であ
るのでフィルタの中央にある画素１８ｂの輝度値は８か
ら１０に変換される。

【００４５】１画素ずつ右にシフトして同様にｍａｘフ
ィルタをかけると、図４（ｂ）の１８は同（ｂ）の１９
のように変換される。次に、ｍａｘフィルタ処理後の画
像にｍｉｎフィルタをかける。ｍｉｎフィルタもｍａｘ
フィルタと同様のフィルターサイズ（画素数ａ）をも
ち、フィルタ中央の画素の輝度値をフィルタ内の最小輝
度値に変換するものである。

【００４６】前記ｍａｘフィルタ処理後の図４（ｂ）の
１９の□部分にｍｉｎフィルタをかけると、ここでは最
小輝度値は１０であるのでフィルタの中央にある画素１
９ｃの輝度値は１２から１０に変換される。１画素ずつ
右にシフトして同様にｍｉｎフィルタをかけると図４
（ｂ）の１９の□部分は２０のように変換される。

【００４７】ただし、ｍａｘフィルタ、ｍｉｎフィルタ
は共に、最初にかけたフィルタの中央位置から変換がは
じまり、最後にかけたフィルタの中央位置で変換が終わ
る。つまり、ｍａｘフィルタ処理後のデータは図４
（ｂ）の１９ｄ〜１９ｅ、ｍｉｎフィルタ処理後のデー
タは図４の（ｂ）２０ｆ〜２０ｇであり、ｍａｘ／ｍｉ
ｎフィルタ処理後の画像は結局、処理開始位置、処理終
了位置よりそれぞれａ−１画素ずつ小さくなる。

【００４８】このようにして得られたｍａｘ／ｍｉｎフ
ィルタ処理後の画像から入力画像をひくと所定長以下の
輝度の低い領域が抽出される。図４（ｂ）の２０から１
８をひくと図４（ｄ）が得られる。画像信号になおすと
同図（ｃ）のようになる。

【００４９】上記の方法は特徴領域を抽出するのに用い
られる。本実施の形態では、画像横軸（Ｘ軸）にそって
一行ずつ処理を行う（処理方向：図３（ａ）の矢印２３
の方向）。図５（ａ）の２１は入力画像に特徴領域の幅
に対応した長さのｍａｘ／ｍｉｎフィルタをかけた後の
画像信号である。顔の特徴領域は周囲との輝度差が大き
いため、差分後の輝度値が大きくなる（２１ａ）。

【００５０】それに対し、影や衣服などは周囲との輝度
差が小さい（２１ｂ）。そこで図５（ａ）の２２のよう
に差分後の結果に対して閾値を設定し、これをもとに２
値化を行う。図５（ｂ）は２値化後の信号である。以上
の処理によって得られた画像を示したものが図３（ｂ）
である。

【００５１】図６（ａ）、（ｂ）、（ｃ）は顔領域重心
設定手段７、顔部分領域設定手段８、部分領域代表点算
出手段９の説明図である。顔領域重心設定手段７では、
まず図６（ａ）に示す画像１４の全領域に対する重心２
４を算出する。重心算出は画像１４の黒領域（ｘｊ，ｙ
ｊ）の全画素数をｔｏｔａｌ、全ｙｊの画素数の和をＹ
ｔ、全ｘｊの画素数の和をＸｔとすると重心２４の座標
点（Ｘ，Ｙ）は以下の（１）式で求められる。

【００５２】

【数１】

【００５３】重心２４を算出後、顔部分領域設定手段８
はこの座標点（Ｘ，Ｙ）を基に顔を含む領域２５を設定
する（以下、顔を含む領域は顔領域という）。顔領域２
５は入力画像に対する顔の占める割合が大きいことと、
顔の重心はほぼ顔中心で鼻と目の間にあるということを
考慮し、顔領域２５は顔の特徴量（少なくとも目と鼻）
を含むような長方形とする。顔領域２５に対する顔領域
重心２６（座標（ａ，ｂ））は重心２４と同様に上記
（１）式を用いて算出する。

【００５４】次に、顔部分領域設定手段８について説明
する。算出した顔領域重心２６の座標（ａ，ｂ）のａを
基に顔領域２５を顔縦方向上部（少なくとも目を含む）
領域と顔縦方向下部領域に分割する。ここでは上部領域
を顔部分領域２７として採用する。顔部分領域代表点算
出手段９による処理は顔部分領域２７に対して行う。本
実施の形態では顔部分領域代表点２８（座標（ｃ，
ｄ））は図６（ｃ）に示すように、上記（１）式により
求めた顔部分領域２７に対する重心とする。

【００５５】図７は傾き検出手段１０の説明図である。
傾き検出手段１０は、上記のような処理を実行して得ら
れた顔領域重心２６（ａ，ｂ）と顔部分領域代表点２８
（ｃ，ｄ）を通る直線２９を求め、一方の座標軸、本実
施の形態ではＸ軸、となす角度θを求める。角度θは以
下の（２）式で求められる。

【００５６】

【数２】

【００５７】図８は回転後の２値画像を示す。回転中心
設定手段１１により顔領域重心２６を回転中心とおき、
顔領域２５を回転手段１２により反時計回りにθ回転さ
せる。この場合、黒地で表した長方形の領域は回転前の
顔領域２５であり、顔領域２５の各画素の座標は全体的
に（ｅ，ｆ）で表される。中間色で表した長方形の領域
は回転後の顔領域２５であり、顔領域２５の各画素の座
標は全体的に（Ｅ，Ｆ）で表される。顔領域２５の回転
処理には（３）式を利用する。ただし、回転後の座標
（Ｅ，Ｆ）が画像から出る部分（図８の３０ａ）はカッ
トし、回転前の座標（ｅ，ｆ）が存在しない部分（図８
の３０ｂ）は輝度値０とする。

【００５８】

【数３】

【００５９】実施の形態２．上記、実施の形態１では顔
領域の重心を含む顔部分領域の上部領域に顔部分領域代
表点を求め、この顔部分領域代表点と重心とを結ぶ直線
と、座標軸とがなす角度θを顔領域の補正回転角度とし
たが、顔部分領域代表点を大まかに決めた画像データに
ノイズ等が乗ると変位する可能性があるので、本実施の
形態では更に精度良く顔部分領域代表点を求めるため
に、部分領域設定手段８および部分領域代表点算出手段
９を以下のように変更する。

【００６０】変更した顔部分領域設定手段８について説
明する。本実施の形態では、上記顔領域重心算出手段７
で算出した顔領域重心２６（ａ，ｂ）のａを基に設定し
た顔部分領域２７を、更にｂを境に図９に示す顔左右領
域３１、３２に分割する。この顔左右領域３１、３２の
２つの領域を顔部分領域として採用する。顔部分領域代
表点算出手段９による処理は顔左右領域３１、３２に対
して行う。本実施の形態では顔部分領域代表点は図９に
示すように、上記（１）式により求めた、領域３１、３
２それぞれに対する重心３３ａ、３３ｂの中点３４
（ｅ，ｆ）とする。

【００６１】このように、顔部分領域代表点３４が求め
られたならば、図示しないが顔領域重心２６と顔部分領
域代表点３４とを結ぶ直線と、一方の座標軸、本実施の
形態ではＸ軸、となす角度θを求める。角度θは上記の
（２）式で求められる。そして、回転中心設定手段１１
により顔領域重心２６を回転中心とおき、顔領域２５を
回転手段１２により反時計回りにθ回転させる。

【００６２】実施の形態３．図１０のフローチャートを
もとに実施の形態３の処理の概要を説明する。本実施の
形態は特徴候補領域の中で最も精度高く座標値化できる
２点の鼻孔の領域を特徴候補領域とするものである。Ｃ
ＰＵ３は顔画像入力手段４で画像メモリ２より画像デー
タを入力し、入力された顔画像の特徴候補領域を特徴候
補領域抽出手段５で抽出する。特徴候補領域で抽出され
た画像は２値化手段６で２値化される。２値化された画
像内で特徴候補領域を特徴候補領域グループ化手段３５
で図１３に示すように複数にグループ化する。

【００６３】グループ化された特徴候補領域グループの
中から鼻孔領域抽出手段３６で鼻孔を抽出する。そし
て、鼻孔領域重心算出手段３７で各鼻孔領域の重心を算
出する。鼻孔領域重心２点を通る直線と、一方の画像軸
のなす角度を傾き検出手段１０で求め、回転により傾き
を補正する。回転中心は回転中心設定手段１１により各
鼻孔領域重心の中点に設定し、この回転中心を基準に回
転手段１２は顔領域２５の回転を、顔領域の傾き方向と
逆方向に行う。

【００６４】以下、図１０のフローチャートに示した各
手段について詳細に説明する。顔画像入力手段４、特徴
候補領域抽出手段５、２値化手段６は上記実施の形態１
で説明したので省き、特徴候補領域グループ化手段３５
から説明する。図１１（ａ），（ｂ），（ｃ）は特徴候
補領域グループ化手段３５の動作を説明する図、図１２
（ａ），（ｂ）は鼻孔領域抽出手段３６の動作を説明す
る図、図１４（ａ），（ｂ）は鼻孔領域重心算出手段３
７の説明図である。また、図１３は特徴候補領域グルー
プ化手段３６の処理後の画像である。

【００６５】特徴候補領域グループ化手段３５は２値化
後の顔画像に対して画像縦軸方向の黒色画素数を各Ｘ座
標についてカウントし、図１１（ａ）に示すような縦軸
が黒色画素数で横軸がＸ座標の画像縦軸方向ヒストグラ
ムを作成する。次にヒストグラムの内から図１１（ｂ）
に示すように黒色画素数の極大点が３８ａ以上のピーク
を探し、各ピークに対し、黒色画素数が３８ｅ以上で極
大点からの距離が３８ｂ以下のピーク開始位置３８ｃ
ｉ、ピーク終了位置３８ｄｉを設定する。

【００６６】今度は設定したピーク開始位置３８ｃｉか
らピーク終了位置３８ｄｉまでの帯状領域３９ａｉそれ
ぞれに対し、画像横軸方向の黒色画素数を各Ｙ座標につ
いてカウントし、図１２（ａ）に示すような縦軸がＹ座
標で横軸が黒色画素数の画像横方向ヒストグラムを作成
する。画像横方向のヒストグラムでは上記特徴候補領域
抽出手段５の特性上、所定長以下の領域のみ抽出される
ため、場合によっては目の一部、眉の一部がカットされ
ることがある。

【００６７】そこで、図１２（ｂ）に示すような距離３
９ｃ以上黒色画素数３９ｂ以下の部分を除いた、３９ｃ
ｉと３９ｄｉで囲まれる部分でかつ同じ帯状領域３９ａ
ｉに属するものを特徴候補領域グループ４０ｉとする。

【００６８】鼻孔領域抽出手段３６では、特徴候補領域
グループ４０ｉのなかで図１４（ａ）に示すようにほぼ
同じ幅のグループが２つ並び、その間とグループの幅が
他に比べて狭いものを鼻孔領域４２とする。鼻孔領域重
心算出手段３７では、図１４（ｂ）に示す鼻孔領域４２
の２つのグループ内の各黒領域に対する重心４３ａ
（ａ，ｂ）、４３ｂ（ｃ，ｄ）を上記（３）式によって
求める。

【００６９】次に図１５に示すように、傾き検出手段１
０において、上記のような処理を実行して得られた鼻孔
領域重心４３ａ（ａ，ｂ）、４３ｂ（ｃ，ｄ）を通る直
線４４を求め、一方の座標軸、本実施の形態ではＹ軸と
なす角度θを求める。角度θは上記（２）式で求められ
る。回転中心設定手段１１により鼻孔領域重心４３ａ、
４３ｂの中点４５を回転中心とおき、顔領域を回転手段
１２により反時計回りにθ回転させる。回転手段１２は
実施の形態１と同様で、上記（３）式を利用する。

【００７０】実施の形態４．上記、実施の形態３では特
徴候補領域グループの１つである鼻孔領域の重心を通る
単一の直線の傾き角度をもとに顔領域を回転させて傾き
を補正した。本実施の形態では、実施の形態３で求めた
中点と各特徴候補領域の重心を結ぶ各直線の傾き角度求
めて傾き角度の平均値を算出して回転角度θとする。図
１６のフローチャートをもとに本実施の形態の処理の概
要を説明する。

【００７１】ＣＰＵ３は顔画像入力手段４で画像メモリ
２より画像データを入力し、入力した画像データ中の顔
画像の特徴候補領域を特徴候補領域抽出手段５で抽出す
る。特徴候補領域で抽出された顔画像は２値化手段６で
２値化される。２値化された顔画像内で特徴候補領域を
特徴候補領域グループ化手段３５によりグループ化す
る。グループ化された特徴候補領域グループの中から鼻
孔を鼻孔領域抽出手段３６で抽出する。

【００７２】特徴領域重心算出手段４６は特徴候補領域
グループ化手段３５により設定した各グループの重心を
算出する。鼻孔間中心設定手段４７で設定した鼻孔間中
心と鼻孔領域を除く各特徴候補領域重心の２点を通る直
線と、一方の画像軸のなす角度の平均を傾き検出手段１
０で求める。回転中心は回転中心設定手段１１により設
定する。顔画像は設定された回転中心を基準に回転手段
１２により平均角度だけ回転させて傾きを補正する。

【００７３】以下で図１６のフローチャートに示した各
手段について、詳細を説明する。顔画像入力手段４、特
徴候補領域抽出手段５、２値化手段６、特徴候補領域グ
ループ化手段３５、鼻孔領域抽出手段３６は上記実施の
形態１、および実施の形態３で説明したので省き、特徴
領域重心算出手段４６から説明する。特徴領域重心算出
手段４６では、図１７に示すような、同一帯状領域３９
ａｉ（ｉ：１〜５）に存在するグループ４０ｉ内の黒領
域に対する重心４８ｉ（ｃｉ，ｄｉ）を求める。重心算
出には上記（１）式を用いる。

【００７４】鼻孔間中心設定手段４７では鼻孔領域抽出
手段３６により、予め求めてある鼻孔領域４２に対する
特徴候補領域重心４８ｉを鼻孔間中心４９（ａ，ｂ）と
する。

【００７５】次に図１８に示すように、傾き検出手段１
０において、上記のような処理を実行して得られた各特
徴候補領域重心４８ｉ（ｃｉ，ｄｉ）と鼻孔間中心４９
（ａ，ｂ）の２点を通る直線と、一方の座標軸、本実施
の形態ではＸ軸となす角度を求め、その平均値を角度θ
とする。角度θは下記の（４）式で求められる。回転中
心設定手段１１により鼻孔間中心４９（ａ，ｂ）を回転
中心とおき、回転手段１２により反時計回りにθ回転さ
せる。回転手段１２は実施の形態１と同様で、上記
（３）式を利用する。

【００７６】

【数４】

【００７７】実施の形態５．上記、実施の形態１４では
グループ化された各特徴候補領域において重心を求めて
鼻孔間中心と直線で結んだが、処理を簡素化するために
鼻孔間中心と顔領域の重心を結んだ直線の傾き角度で傾
き補正角度を決めても良い。図１９のフローチャートを
もとに本実施の形態の処理の概要を説明する。ＣＰＵ３
は顔画像入力手段４で画像メモリ２より画像データを入
力し、入力された画像データ中の顔画像の特徴候補領域
を特徴候補領域抽出手段５で抽出する。特徴候補領域で
抽出された顔画像を２値化手段６で２値化する。２値化
された顔画像内の顔を含む領域に対する重心を顔領域重
心算出手段７で算出した後、２値化された顔画像内の特
徴候補領域を特徴候補領域グループ化手段３５によりグ
ループ化する。グループ化された特徴候補領域グループ
の中から鼻孔を鼻孔領域抽出手段３６で抽出する。

【００７８】抽出した鼻孔領域に対し鼻孔間中心算出手
段５０で鼻孔間中心を算出する。鼻孔間中心と顔領域重
心の２点を通る直線と、一方の画像軸のなす角度を傾き
検出手段１０で求める。回転中心設定手段１１により設
定された回転中心を基準に顔画像を回転手段１２で回転
させ、顔画像の傾き補正を行う。

【００７９】以下で図１９のフローチャートに示した各
手段について、詳細を説明する。顔画像入力手段４、特
徴候補領域抽出手段５、２値化手段６、顔領域重心設定
手段７、特徴候補領域グループ化手段３５、鼻孔領域抽
出手段３６の各手段については上記実施の形態１、およ
び実施の形態３で説明したので省き、鼻孔間中心算出手
段５０から説明する。ただし、算出された顔領域重心２
６は実施の形態１においては（ａ，ｂ）としたが本実施
の形態では説明上（ｃ，ｄ）としておく。

【００８０】鼻孔間中心算出手段５０では、図２０に示
すような、鼻孔領域抽出手段３６によって抽出された同
一帯状領域に存在する鼻孔領域グループ内の黒領域に対
する重心５１（ａ，ｂ）を求める。重心算出には上記
（１）式を用いる。

【００８１】次に、傾き検出手段１０において、上記の
ような処理を実行して得られた顔領域重心２６（ｃ，
ｄ）と鼻孔間中心５１（ａ，ｂ）の２点を通る直線と、
一方の座標軸、本実施の形態ではＸ軸、となす角度θを
求める。角度θは上記（２）式で求められる。回転中心
設定手段１１により鼻孔間中心５１（ａ，ｂ）を回転中
心とおき、回転手段１２により反時計回りにθ回転させ
る。回転手段１２は実施の形態１と同様で、上記（２）
式を利用する。

【００８２】実施の形態６．上記、実施の形態１〜５で
は顔領域の傾き判定を顔領域重心と代表点を算出した結
果に基づいて行ったが、処理を簡略するために２値化し
た特徴候補領域の黒色画素数のヒストグラムより直接顔
領域の傾きを判定し、傾きが判定されなければそこで全
ての処理を停止する。傾きが判定されれば上記各実施の
形態と同様の処理を行い顔画像の回転処理を行う。

【００８３】図２１は本実施の形態の処理の概要を説明
したフローチャートである。図中、図２のフローチャー
トと同一ステップ番号は同一処理を示す。図において、
ステップ５２は傾き判定手段５２であり、２値化した特
徴候補領域の黒色画素数のヒストグラムより直接顔領域
の傾きの有無を判定する。そして、傾き有りと判定され
たならば顔領域重心算出手段７に進み、傾き無しと判定
されたならば全ての処理を停止する。

【００８４】傾き判定手段５２では、２値化後の画像に
対して顔横方向を画像縦（ｙ）軸、顔縦方向を画像横
（ｘ）軸とし、画像縦軸方向の黒色画素数を各Ｘ座標に
ついてカウントし、縦軸が黒色画素数で横軸がＸ座標の
画像縦軸方向ヒストグラムを作成する。図２２（ａ）は
傾いていない顔画像の画像縦軸方向ヒストグラムであ
り、図２２（ｂ）は傾いた顔画像の画像縦軸方向ヒスト
グラムである。

【００８５】図からも分かるように傾いていない顔画像
はヒストグラムのピークがはっきりし、かつ黒色画素数
はほぼ顔の特徴領域の数と同じである（通常、まゆ・目
・鼻・口の４ピーク）。それに対して、傾いる画像のヒ
ストグラムはピークがはっきりせず、ピーク数は顔の特
徴領域の数と一致しない。以上、ヒストグラムの形状、
およびピーク数から傾いているかいないかを判定する。

【００８６】実施の形態７．上記、実施の形態６では画
像縦軸方向の黒色画素数を各Ｘ座標についてカウントし
てヒストグラムを作成し、ピークの明確さから顔画像の
非傾きを判定したが、人間の顔は縦の中心線を境に左右
対称であることから、画像横軸方向の黒色画素数を各Ｙ
座標についてカウントしてヒストグラムを作成し、ピー
ク値が等しい左右対称のピーク出現から顔画像の非傾き
を判定することができる。

【００８７】図２３（ａ）、（ｂ）は判定基準を変更し
た傾き判定手段５２の説明図である。傾き判定手段５２
では、２値化後の画像に対して顔横方向を画像縦（ｙ）
軸、顔縦方向を画像横（ｘ）軸とし、画像横軸方向の黒
色画素数を各Ｙ座標についてカウントし、縦軸が黒色画
素数で横軸がＹ座標の画像横軸方向ヒストグラムを作成
する。図２３（ａ）は傾いていない画像の画像横軸方向
ヒストグラムであり、図２３（ｂ）は傾いた画像の画像
横軸方向ヒストグラムである。

【００８８】図からもわかるように傾いていない画像は
ヒストグラムのピークがはっきりし、かつほぼ左右対称
である（通常、顔の中央で左右対称）。それに対して、
傾いている画像のヒストグラムはピークがはっきりせ
ず、左右対称でない。以上、ヒストグラムの形状、およ
び対称性から、顔画像が傾いているかいないかを判定す
る。

【００８９】実施の形態８．図２４は本実施の形態によ
る顔画像処理を説明するフローチャートである。図２５
（ａ）、（ｂ）は本実施の形態による傾き判定手段５２
の説明図である。図２４に示すように実施の形態４の特
徴領域重心算出手段４６の後に傾き判定手段５２を追加
し、判定の結果が傾きなしであれば全ての処理を停止
し、鼻孔間中心設定手段４７から回転手段１２までの処
理後、再び特徴候補領域抽出手段５にもどり、以下同じ
処理を繰り返す。

【００９０】傾き判定手段５２では、特徴領域重心算出
手段４６で算出した重心の並びにより傾いているかいな
いかを判定する。図２５（ａ）は傾いていない画像の重
心の並びであり、図２５（ｂ）は傾いた画像の重心の並
びである。図からもわかるように傾いていない画像は重
心がほぼ顔の縦方向中心線上に並ぶ。それに対して、傾
いる画像の重心は並びが一定でない。以上、特徴領域重
心の並びから傾いているかいないかを判定する。

【００９１】実施の形態９．図２７は本実施の形態にお
ける回転角度設定手段５３ａ、回転限界角度設定手段５
３ｂの説明図である。図２６に示すように実施の形態６
〜８の回転手段１２の前に回転角度設定手段５３ａ、回
転限界角度設定手段５３ｂを追加し、検出角度θに応
じ、最低限回転させる角度βと最大限回転させることが
できる回転限界角度（θ＋α）を設定する。

【００９２】ただし、図２７に示すように回転させる角
度βは回転限界角度（θ＋α）を越えないもので、回転
限界角度（θ＋α）は検出角度θを基に設定する。回転
手段１２までの処理後、再び特徴候補領域抽出手段５に
もどり、以下同じ処理を繰り返す。繰り返す際は、回転
限界角度（θ＋α）は常に一定にする。回転させる角度
βは特に一定でなくともよいが、検出角度θに近いほど
回転角度を小さくし、かつ、回転回数を多くする方が正
確な補正ができるものと思われる。以上の処理は傾き判
定手段５２で画像が傾いていないと判断されるか、回転
限界角度（θ＋α）に達するまで処理を続ける。

【００９３】この発明によれば以下のような効果があ
る。１．運転者の顔画像を入力する顔画像入力手段、入力し
た運転者の顔画像内における眉、目、鼻、口等の顔の特
徴点の候補領域を抽出する特徴候補領域抽出手段、特徴
候補領域を抽出した画像を２値化する２値化手段、２値
画像内での顔を含む領域に対する重心（ｘ，ｙ）を算出
する顔領域重心算出手段、算出された顔領域の重心を基
に顔の一部分を含む領域を設定する顔部分領域設定手
段、顔部分領域に対する代表点を算出する部分領域代表
点算出手段、前記の顔領域重心（ｘ，ｙ）と部分領域代
表点の２点を通る直線と一方の画像軸のなす角度を顔の
傾きとして検出する傾き検出手段を備えたので、容易に
精度高く、且つ、高速に傾き角度を検出できると共に、
顔画像の傾きの補正精度が向上するという効果がある。

【００９４】２．運転者の顔画像を入力する顔画像入力
手段、入力した運転者の顔画像内における眉、目、鼻、
口等の顔の特徴点の候補領域を抽出する特徴候補領域抽
出手段、特徴候補領域を抽出した画像を２値化する２値
化手段、２値画像内での顔を含む領域に対する重心
（ｘ，ｙ）を算出する顔領域重心算出手段、上記顔領域
重心算出手段により算出された顔領域重心（ｘ，ｙ）の
横軸方向重心ｘを基に、顔縦方向上部領域を設定する顔
部分領域設定手段、設定された顔縦方向上部領域の重心
を算出し、それを代表点とする部分領域代表点算出手
段、前記の顔領域重心（ｘ，ｙ）と部分領域代表点の２
点を通る直線と一方の画像軸のなす角度を顔の傾きとし
て検出する傾き検出手段を備えたので、傾き角度を検出
するための直線を顔領域重心と共に通す部分領域代表点
を精度良く、しかも容易で高速に求めることができると
いう効果がある。

【００９５】３．運転者の顔画像を入力する顔画像入力
手段、入力した運転者の顔画像内における眉、目、鼻、
口等の顔の特徴点の候補領域を抽出する特徴候補領域抽
出手段、特徴候補領域を抽出した画像を２値化する２値
化手段、２値画像内での顔を含む領域に対する重心
（ｘ，ｙ）を算出する顔領域重心算出手段、上記顔領域
重心算出手段により算出された顔領域重心（ｘ，ｙ）の
横軸方向重心ｘを基に、顔縦方向上部領域を設定し、さ
らに顔縦方向上部領域を顔領域重心（ｘ，ｙ）の縦軸方
向重心ｙを基に分割して顔上部左右領域を設定する顔部
分領域設定手段、設定された顔上部左領域、顔上部右領
域それぞれの重心を算出し、その中点を代表点とする部
分領域代表点算出手段、前記の顔領域重心（ｘ，ｙ）と
部分領域代表点の２点を通る直線と一方の画像軸のなす
角度を顔の傾きとして検出する傾き検出手段を備えたの
で、傾き角度を検出するための直線を顔領域重心と共に
通す部分領域代表点を更に精度良く、しかも容易で高速
に求めることができるという効果がある。

【００９６】４．運転者の顔画像を入力する顔画像入力
手段、入力した運転者の顔画像内における眉、目、鼻、
口等の顔の特徴点の候補領域を抽出する特徴候補領域抽
出手段、特徴候補領域を抽出した画像を２値化する２値
化手段、２値画像内での特徴候補領域をグループ化する
特徴候補領域グループ化手段、特徴候補領域グループ内
で鼻孔領域を抽出する鼻孔領域抽出手段、鼻孔領域内の
各鼻孔に対する重心を算出する鼻孔領域重心算出手段、
算出された鼻孔領域の各鼻孔に対する重心を通る直線と
一方の画像軸のなす角度を顔の傾きとして検出する傾き
検出手段を備え、顔画像において位置が変わることない
２つの鼻孔を通る直線の傾き角度に基づいて顔画像の回
転処理をして画像補正行うため補正精度が向上するとい
う効果がある。

【００９７】５．運転者の顔画像を入力する顔画像入力
手段、入力した運転者の顔画像内における眉、目、鼻、
口等の顔の特徴点の候補領域を抽出する特徴候補領域抽
出手段、特徴候補領域を抽出した画像を２値化する２値
化手段、２値画像内での特徴候補領域をグループ化する
特徴候補領域グループ化手段、特徴候補領域グループ内
で鼻孔領域を抽出する鼻孔領域抽出手段、各特徴候補領
域グループに対する重心を算出する特徴領域重心算出手
段、前記特徴領域重心算出手段により算出された重心の
内、鼻孔領域抽出手段により設定された領域に対する重
心を鼻孔間の中心とする鼻孔間中心設定手段、前記鼻孔
領域を除く各特徴候補領域の重心と鼻孔間中心との２点
を通る直線と一方の画像軸のなす角度の平均を顔の傾き
として検出する傾き検出手段を備えたので、傾き角度検
出精度が向上するという効果がある。

【００９８】６．運転者の顔画像を入力する顔画像入力
手段、入力した運転者の顔画像内における眉、目、鼻、
口等の顔の特徴点の候補領域を抽出する特徴候補領域抽
出手段、特徴候補領域を抽出した画像を２値化する２値
化手段、２値画像内での顔を含む領域に対する重心
（ｘ，ｙ）を算出する顔領域重心算出手段、２値画像内
での特徴候補領域をグループ化する特徴候補領域グルー
プ化手段、特徴候補領域グループ内で鼻孔領域を抽出す
る鼻孔領域抽出手段、抽出された鼻孔領域の鼻孔間の中
心を算出する鼻孔間中心算出手段、前記鼻孔間中心と顔
領域重心（ｘ，ｙ）の２点を通る直線と一方の画像軸の
なす角度を顔の傾きとして検出する傾き検出手段を備え
たので、精度高くしかも容易に傾き角度を検出できると
いう効果がある。

【００９９】７．請求項１ないし６のいずれかに記載の
顔画像処理装置において、上記傾き検出手段により検出
された顔の傾き補正のために顔画像の回転中心を設定す
る回転中心設定手段、前記回転中心設定手段により設定
した回転中心を基準に回転により顔画像の傾きを補正す
る回転手段を備えたので、請求項１ないし６のいずれか
に記載の顔画像処理装置の効果に加えて、顔画像を傾き
のない顔画像に補正して処理するため画像処理品質が向
上するという効果がある。

【０１００】８．請求項７に記載の顔画像処理装置にお
いて、回転中心設定手段は、２値画像における顔領域重
心（ｘ，ｙ）を回転中心と設定するようにしたので、請
求項７の効果に加えて回転中心設定が容易になるという
効果がある。

【０１０１】９．請求項７に記載の顔画像処理装置にお
いて、回転中心設定手段は、鼻孔間中心を回転中心と設
定するようにしたので、請求項７の効果に加えて回転中
心設定が容易にになると共に、中心設定精度が向上する
という効果がある。

【０１０２】１０．請求項７に記載の顔画像処理装置に
おいて、顔画像が傾いているか否かを判定する傾き判定
手段を備え、顔画像が傾いていないと判断されるまで前
記回転手段による画像回転処理を続けるようにしたの
で、請求項７の効果に加えてキメ細かい傾き補正処理が
行え、補正精度が向上するという効果がある。

【０１０３】１１．請求項１０に記載の顔画像処理装置
において、傾き判定手段は、２値画像内での顔横方向を
画像縦（ｙ）軸、顔縦方向を画像横（ｘ）軸とし、画像
横軸方向の各座標における画像縦軸方向に存在する黒色
画素数を示す画像縦軸方向ヒストグラムを作成し、その
画像縦軸方向ヒストグラムの形状およびピーク数から顔
画像が傾いている否かを判定するようにしたので、傾き
判定処理が簡易化されるという効果がある。

【０１０４】１２．請求項１０に記載の顔画像処理装置
において、傾き判定手段は、２値画像内での顔横方向を
画像縦（ｙ）軸、顔縦方向を画像横（ｘ）軸とし、画像
縦軸上の各座標において画像横軸方向に存在する黒色画
素数を示す画像横軸方向ヒストグラムを作成し、その画
像横軸方向ヒストグラムの対称性から顔画像が傾いてい
るか否かを判定するようにしたので、視覚的に傾き判定
が行えるため傾き判定処理が更に簡易化されるという効
果がある。

【０１０５】１３．請求項１０に記載の顔画像処理装置
において、傾き判定手段は、２値画像内での特徴候補領
域重心算出手段により得られた各特徴候補領域グループ
に対する重心（ｘｉ，ｙｉ）の横軸方向重心ｘｉの並び
から顔画像が傾いている否かを判定するようにしたの
で、傾き判定処理が簡易化されるとう効果がある。

【０１０６】１４．請求項１０に記載の顔画像処理装置
において、上記傾き検出手段により検出された角度θに
応じて、顔画像を回転させる角度を設定する回転角度設
定手段、前記回転角度の限界角度を設定する回転限界角
度設定手段を備え、上記回転手段で顔画像を回転させる
と共に上記傾き判定手段により顔画像が傾いていないと
判定された時、或いは前記回転限界角度に達するまで上
記回転手段による画像回転処理を続けるようにしたの
で、傾き補正をするための回転範囲を限定できるため、
無駄な回転を抑え、且つ、大きな誤回転を回避できると
いう効果がある。

【図面の簡単な説明】

【図１】この発明の一実施の形態の構成を示す図であ
る。

【図２】実施の形態１、２の処理の流れを示すフロー
チャートである。

【図３】画像処理した顔の図である。

【図４】ｍａｘ／ｍｉｎフィルタの説明図である。

【図５】２値化処理の説明図である。

【図６】実施の形態１の処理の流れの一部を示す図で
ある。

【図７】傾き検出手段、回転中心設定手段、回転手段
の説明図である。

【図８】傾き補正後の顔画像である。

【図９】実施の形態２の処理の流れの一部を示す図で
ある。

【図１０】実施の形態３の処理の流れを示すフローチ
ャートである。

【図１１】画像縦軸方向ヒストグラムの説明図であ
る。

【図１２】画像横軸方向ヒストグラムの説明図であ
る。

【図１３】特徴候補領域グループ化処理後の顔画像で
ある。

【図１４】鼻孔領域抽出手段の説明図である。

【図１５】実施の形態３の傾き検出手段、回転中心設
定手段、回転手段の説明図である。

【図１６】実施の形態４の処理の流れを示すフローチ
ャートである。

【図１７】特徴領域重心算出手段手段の説明図であ
る。

【図１８】実施の形態４の傾き検出手段、回転中心設
定手段、回転手段の説明図である。

【図１９】実施の形態５の処理の流れを示すフローチ
ャートである。

【図２０】鼻孔間中心算出手段の説明図である。

【図２１】実施の形態６、７の処理の流れを示すフロ
ーチャートである。

【図２２】画像の画像縦軸方向ヒストグラムである。

【図２３】画像の画像横軸方向ヒストグラムである。

【図２４】実施の形態８の処理の流れを示すフローチ
ャートである。

【図２５】画像の重心の並びを示す図である。

【図２６】実施の形態９の処理の流れを示すフローチ
ャートである。

【図２７】回転角度設定出手段の説明図である。

【図２８】顔の傾く方向を座標で表現した図である。

【図２９】従来例の構成を示すブロック図である。

【図３０】従来例の眼球存在領域横方向設定の流れを
示すフローチャートである。

【図３１】従来例の眼球存在領域縦方向設定の流れを
示すフローチャートである。

【図３２】従来例の眼球存在領域の処理の流れの一部
を示した図である。

【図３３】従来例の眼球存在領域の処理の流れの一部
を示した図である。

【図３４】従来例の眼球存在領域の処理の流れの一部
を示した図である。

【符号の説明】

１カメラ、２画像メモリ、３ＣＰＵ、４顔画像
入力手段、５特徴候補領域抽出手段、６２値化手
段、７顔領域重心算出手段、８顔部分領域設定手
段、９部分領域代表点算出手段、１０傾き検出手
段、１１回転中心設定手段、１２回転手段。

Claims

【特許請求の範囲】

【請求項１】運転者の顔画像を入力する顔画像入力手
段、入力した運転者の顔画像内における眉、目、鼻、口
等の顔の特徴点の候補領域を抽出する特徴候補領域抽出
手段、特徴候補領域を抽出した画像を２値化する２値化手段、２値画像内での顔を含む領域に対する重心（ｘ，ｙ）を
算出する顔領域重心算出手段、算出された顔領域の重心を基に顔の一部分を含む領域を
設定する顔部分領域設定手段、顔部分領域に対する代表点を算出する部分領域代表点算
出手段、前記の顔領域重心（ｘ，ｙ）と部分領域代表点の２点を
通る直線と一方の画像軸のなす角度を顔の傾きとして検
出する傾き検出手段を備えたことを特徴とする顔画像処
理装置。
【請求項２】運転者の顔画像を入力する顔画像入力手
段、入力した運転者の顔画像内における眉、目、鼻、口等の
顔の特徴点の候補領域を抽出する特徴候補領域抽出手
段、特徴候補領域を抽出した画像を２値化する２値化手段、２値画像内での顔を含む領域に対する重心（ｘ，ｙ）を
算出する顔領域重心算出手段、上記顔領域重心算出手段により算出された顔領域重心
（ｘ，ｙ）の横軸方向重心ｘを基に、顔縦方向上部領域
を設定する顔部分領域設定手段、設定された顔縦方向上部領域の重心を算出し、それを代
表点とする部分領域代表点算出手段、前記の顔領域重心（ｘ，ｙ）と部分領域代表点の２点を
通る直線と一方の画像軸のなす角度を顔の傾きとして検
出する傾き検出手段を備えたことを特徴とする顔画像処
理装置。
【請求項３】運転者の顔画像を入力する顔画像入力手
段、入力した運転者の顔画像内における眉、目、鼻、口等の
顔の特徴点の候補領域を抽出する特徴候補領域抽出手
段、特徴候補領域を抽出した画像を２値化する２値化手段、２値画像内での顔を含む領域に対する重心（ｘ，ｙ）を
算出する顔領域重心算出手段、上記顔領域重心算出手段により算出された顔領域重心
（ｘ，ｙ）の横軸方向重心ｘを基に、顔縦方向上部領域
を設定し、さらに顔縦方向上部領域を顔領域重心（ｘ，
ｙ）の縦軸方向重心ｙを基に分割して顔上部左右領域を
設定する顔部分領域設定手段、設定された顔上部左領域、顔上部右領域それぞれの重心
を算出し、その中点を代表点とする部分領域代表点算出
手段、前記の顔領域重心（ｘ，ｙ）と部分領域代表点の２点を
通る直線と一方の画像軸のなす角度を顔の傾きとして検
出する傾き検出手段を備えたことを特徴とする顔画像処
理装置。
【請求項４】運転者の顔画像を入力する顔画像入力手
段、入力した運転者の顔画像内における眉、目、鼻、口等の
顔の特徴点の候補領域を抽出する特徴候補領域抽出手
段、特徴候補領域を抽出した画像を２値化する２値化手段、２値画像内での特徴候補領域をグループ化する特徴候補
領域グループ化手段、特徴候補領域グループ内で鼻孔領域を抽出する鼻孔領域
抽出手段、鼻孔領域内の各鼻孔に対する重心を算出する鼻孔領域重
心算出手段、算出された鼻孔領域の各鼻孔に対する重心を通る直線と
一方の画像軸のなす角度を顔の傾きとして検出する傾き
検出手段を備えたことを特徴とする顔画像処理装置。
【請求項５】運転者の顔画像を入力する顔画像入力手
段、入力した運転者の顔画像内における眉、目、鼻、口等の
顔の特徴点の候補領域を抽出する特徴候補領域抽出手
段、特徴候補領域を抽出した画像を２値化する２値化手段、２値画像内での特徴候補領域をグループ化する特徴候補
領域グループ化手段、特徴候補領域グループ内で鼻孔領域を抽出する鼻孔領域
抽出手段、各特徴候補領域グループに対する重心を算出する特徴領
域重心算出手段、前記特徴領域重心算出手段により算出された重心の内、
鼻孔領域抽出手段により設定された領域に対する重心を
鼻孔間の中心とする鼻孔間中心設定手段、前記鼻孔領域を除く各特徴候補領域の重心と鼻孔間中心
との２点を通る直線と一方の画像軸のなす角度の平均を
顔の傾きとして検出する傾き検出手段を備えたことを特
徴とする顔画像処理装置。
【請求項６】運転者の顔画像を入力する顔画像入力手
段、入力した運転者の顔画像内における眉、目、鼻、口等の
顔の特徴点の候補領域を抽出する特徴候補領域抽出手
段、特徴候補領域を抽出した画像を２値化する２値化手段、２値画像内での顔を含む領域に対する重心（ｘ，ｙ）を
算出する顔領域重心算出手段、２値画像内での特徴候補領域をグループ化する特徴候補
領域グループ化手段、特徴候補領域グループ内で鼻孔領域を抽出する鼻孔領域
抽出手段、抽出された鼻孔領域の鼻孔間の中心を算出する鼻孔間中
心算出手段、前記鼻孔間中心と顔領域重心（ｘ，ｙ）の２点を通る直
線と一方の画像軸のなす角度を顔の傾きとして検出する
傾き検出手段を備えたことを特徴とする顔画像処理装
置。
【請求項７】上記傾き検出手段により検出された顔の
傾き補正のための顔画像の回転中心を設定する回転中心
設定手段、前記回転中心設定手段により設定した回転中心を基準に
回転により顔画像の傾きを補正する回転手段を備えたこ
とを特徴とする請求項１ないし６のいずれかに記載の顔
画像処理装置。
【請求項８】回転中心設定手段は、２値画像における
顔領域重心（ｘ，ｙ）を回転中心と設定することを特徴
とする請求項７に記載の顔画像処理装置。
【請求項９】回転中心設定手段は、鼻孔間中心を回転
中心と設定することを特徴とする請求項７に記載の顔画
像処理装置。
【請求項１０】顔画像が傾いている否かを判定する傾
き判定手段を備え、顔画像が傾いていないと判断される
まで前記回転手段による画像回転処理を続けることを特
徴とする請求項７に記載の顔画像処理装置。
【請求項１１】傾き判定手段は、２値画像内での顔横
方向を画像縦（ｙ）軸、顔縦方向を画像横（ｘ）軸と
し、画像横軸方向の各座標における画像縦軸方向に存在
する黒色画素数を示す画像縦軸方向ヒストグラムを作成
し、その画像縦軸方向ヒストグラムの形状およびピーク
数から顔画像が傾いている否かを判定することを特徴と
する請求項１０に記載の顔画像処理装置。
【請求項１２】傾き判定手段は、２値画像内での顔横
方向を画像縦（ｙ）軸、顔縦方向を画像横（ｘ）軸と
し、画像縦軸上の各座標において画像横軸方向に存在す
る黒色画素数を示す画像横軸方向ヒストグラムを作成
し、その画像横軸方向ヒストグラムの対称性から顔画像
が傾いているか否かを判定することを特徴とする請求項
１０に記載の顔画像処理装置。
【請求項１３】傾き判定手段は、２値画像内での特徴
候補領域重心算出手段により得られた各特徴候補領域グ
ループに対する重心（ｘｉ，ｙｉ）の横軸方向重心ｘｉ
の並びから顔画像が傾いている否かを判定することを特
徴とする請求項１０に記載の顔画像処理装置。
【請求項１４】上記傾き検出手段により検出された角
度θに応じて、顔画像を回転させる角度を設定する回転
角度設定手段、前記回転角度の限界角度を設定する回転
限界角度設定手段を備え、上記回転手段で顔画像を回転
させると共に上記傾き判定手段により顔画像が傾いてい
ないと判定された時、或いは前記回転限界角度に達する
まで上記回転手段による画像回転処理を続けることを特
徴とする請求項１０に記載の顔画像処理装置。