JP4765363B2

JP4765363B2 - 乗員検出装置及び乗員検出方法

Info

Publication number: JP4765363B2
Application number: JP2005086980A
Authority: JP
Inventors: 直子大久保
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2005-03-24
Filing date: 2005-03-24
Publication date: 2011-09-07
Anticipated expiration: 2025-03-24
Also published as: JP2006268565A

Description

本発明は、画像処理によって車内の乗員の位置や状態を検出する乗員検出装置及び乗員検出方法に関する。

従来より、時間差を設けて乗員を含む車内空間の画像を２枚撮像し、撮像された２枚の画像それぞれのエッジ画像を作成し、２枚のエッジ画像の差分画像形状に基づいて乗員の位置や状態を検出する乗員検出装置が知られている（例えば、特許文献１参照）。
特開２０００−１１３１６４号公報

しかしながら、従来の乗員検出装置は、エッジ画像の差分画像形状から乗員の位置や状態を検出する構成になっているため、撮像面における形状が乗員の頭部と同じような形状を有し、且つ、移動している乗員以外の被写体が撮像領域内に存在する場合、その被写体を乗員として誤検出してしまうことがある。また、この被写体が乗員の頭部と撮像面との間に存在する場合には、撮像画像内では被写体が乗員の頭部を部分的に隠してしまうために、乗員の頭部領域と認識できる特徴的な形状が得られず、乗員を検出できないことがある。

本発明は上記の点に鑑みてなされたもので、撮像面における形状が乗員の頭部と同じような形状を有し、且つ、移動している乗員以外の被写体が撮像領域内に存在する場合や、障害物によって乗員の顔領域の映像が部分的に隠れている場合においても、乗員を正確に検出することが可能な乗員検出装置及び乗員検出方法を提供することを目的とする。

上述の課題を解決するために、本発明に係る乗員検出装置及び乗員検出方法は、車内の遠赤外線画像から遠赤外線画像の温度分布の境目を示すエッジ画像を生成し、エッジ画像に挟まれる領域を候補領域として抽出し、候補領域に隣接する画素の画素値と候補領域の画素値の差分値が所定範囲内であるか否かを判別し、差分値が所定範囲内である場合、候補領域に隣接する画素を候補領域に統合して候補領域を更新し、候補領域が車内の乗員の顔に対応する画像領域であるか否かを判定する。

本発明に係る乗員検出装置及び乗員検出方法によれば、撮像面における形状が乗員の頭部と同じような形状を有し、且つ、移動している乗員以外の被写体が撮像領域内に存在する場合や、障害物によって乗員の顔領域の映像が部分的に隠れている場合においても、乗員を正確に検出することができる。

以下に本発明の実施形態について、図面とともに詳述する。

〔乗員検出装置の構成〕
始めに、図１を参照して、本発明の実施例となる乗員検出装置の構成について説明する。

本発明の実施例となる乗員検出装置１は、図１に示すように、車両に搭載され、主として、撮像部２と、演算部３と、記憶部４とを備える。撮像部２は、遠赤外線カメラ（IRカメラ）等の撮影機器により構成され、図２に示すように、マップランプ部やセンタークラスター部等の位置に設置される。なお、撮像部２の設置場所は、乗員の顔を撮影可能な位置であれば任意の位置で構わない。

演算部３は、周知の情報処理装置により構成され、内部CPU(Central Processing Unit：中央演算処理装置)がプログラムを実行することにより、後述する顔領域抽出処理を実現する。なお、演算部３は、本発明に係るエッジ画像生成手段、候補領域抽出手段、候補領域更新手段及び領域種別判定手段として機能する。記憶部４は、RAM（Random access memory）等の記憶装置により構成され、後述する顔領域抽出処理で抽出される候補領域及び更新候補領域のデータ（画素値）を一時記憶する。

このような構成を有する乗員検出装置１は以下に示す顔領域抽出処理を実行することにより、撮像面における形状が乗員の頭部と同じような形状を有し、且つ、移動している乗員以外の被写体が撮像領域内に存在する場合や、障害物によって乗員の顔領域の映像が部分的に隠れている場合においても、乗員を正確に検出する。以下、図３に示すフローチャートを参照して、この顔領域抽出処理を実行する際の乗員検出装置１の動作について説明する。

〔顔領域抽出処理〕
図３に示すフローチャートは、車両のエンジンが始動、若しくは乗員検出装置１の電源がオンになるのに応じて開始となり、ステップS1に進む。

ステップS1の処理では、演算部３が、後段の処理で利用する変数を初期化する。初期化が終了すると、次のステップS2に進む。

ステップS2の処理では、演算部３が、車室内の乗員の顔を含む遠赤外線画像を原画像として撮像部２より取得する。原画像を取得後に、次のステップS3に進む。

ステップS3の処理では、演算部３が、本発明に係るエッジ画像生成手段として機能し、ステップS2で取得した原画像のエッジ画像を生成する。具体的には、図４に示すように、原画像41に被写体42，43及び背景44が含まれている場合、演算部３は、ソーベル(Sobel)フィルタを用いてこの原画像41の水平方向の温度勾配を抽出することで縦ソーベル画像を生成し、縦ソーベル画像中の画素iの画素値Siを次に示す数式１によってラベル画像Eiに変換することにより、エッジ画像を生成する。なお、原画像41は遠赤外線画像であるので、画素値Siは温度勾配に相当し、数式１中のTHPは正の値である所定の閾値であり、THMは負の値である所定の閾値である。

すなわち、被写体42，43の温度が背景44よりも高い場合、被写体42，43に対応する画素値は背景44の画素値よりも高くなる。また、被写体43の温度が被写体42の温度よりも高い場合、被写体43に対応する画素値は被写体42の画素値よりも高くなる。従って、これらの画像に対してエッジ画像生成を行うと、背景44と被写体42，43との境目にエッジが抽出され、図５に示されるようなエッジ画像51が生成される。エッジ画像51中のエッジ52，53はラベル画像Ei＝１の正のエッジであり、エッジ54，55はラベル画像Ei =−１の負のエッジである。また、それ以外の画像領域はラベル画像Ei =０と定義する。なお、エッジ画像51の生成方法は上記方法に限られるものではなく、例えば、ソーベルフィルタ以外のフィルタを利用してもよい。また、エッジ強度の正負が判別されるのであれば、エッジ画像の画素値は温度以外の値であっても構わない。エッジ画像51が検出されると、次のステップS4に進む。

ステップS4の処理では、演算部３が、本発明に係る候補領域抽出手段として機能し、ステップS3の処理で得られたエッジ画像51中のエッジに挟まれる画像領域を候補領域として抽出し、抽出した候補領域のデータを記憶部４に記憶する。具体的には、演算部３は、ステップS3の処理で得られたエッジ画像51を横方向に走査し、走査線上で正の値の画素から負の値の画素に終わるライン上の画素値を１、それ以外の画素値を０に変換する。すなわち、演算部３は、図６に示すように、エッジ画像51を横方向に走査したラインL上で、正のエッジ52から始まり負のエッジ55で終わるライン上の領域Aの画素値を１とする。また同様に、演算部３は、正のエッジ53から始まり負のエッジ54で終わるラインL上の範囲Aの画素値を１とする。なお、演算部３は、それ以外のライン上の画素値を０に変換する。この結果、図７に示すように、画素値が１である候補領域72，73と画素値が０である背景領域74の画像が得られる。この処理の際、演算部３は、後述の処理のために抽出された候補領域72，73及び背景領域74に識別番号n（n = 1、2、3、・・・、N ： Nは候補領域の総数）を割り当て、記憶部４に一時保存する。候補領域の抽出が終わると、次のステップS5に進む。

ステップS5の処理では、演算部３が、本発明に係る候補領域更新手段として機能し、候補領域に隣接する画素が候補領域の画素値と同じ値をとる画素であるか否かを判定し、同じ値をとる画素であれば、その画素を注目する候補領域に統合し、記憶部４に記憶されている候補領域データを更新する。具体的には、演算部３は、原画像における識別番号ｎの候補領域に属する画素の画素値Ti（iは候補領域ｎに存在する画素）の平均値TAnを算出する。次に、演算部３は、識別番号nの候補領域に属する画素の画素値TAnと識別番号nの候補領域に隣接している画素の画素値Tjとの差分の絶対値が次の数式２に示されるように所定の閾値THA以下であるか否かを判別し、差分の絶対値が所定の閾値以下である場合、識別番号nの候補領域に隣接している画素Tjを注目する候補領域に統合する。なお、所定の閾値THAは、エッジを跨いで画素を統合してしまうことを避けるために、数式１で設定された閾値THP及びTHMの絶対値よりも小さい値が望ましい。画素の統合が完了すると、次のステップS6に進む。

ステップS6の処理では、演算部３が、ステップS5で更新された識別番号nの候補領域nに対して、新規に隣接する画素値jが数式２を満たすか否かの判定を行い、数式２を満たさなければ、更新を終了し次のステップS7に進む。また、満たすのであればステップS5に戻る。ここで、図７、図８及び図９を参照して、ステップS4からステップS6までの処理を詳述すると、図７に示されるステップS4の処理で得られた候補領域72，73と図４に示される原画像41とを重畳させると、図８に示す重畳画像81が得られる。このとき、候補領域72は、図４に示される被写体42の一部分であるので、被写体42の領域と重複していることになる。そこで、ステップS5により、候補領域72と等しい画素値の領域を抽出し、ステップS6で等しい画素値をもつ領域を候補領域72に統合することにより、図９に示すように、被写体42と重畳するように更新された候補領域94が得られる。なお、ここまでが候補領域抽出処理工程であり、ステップS1からステップS6の工程で、エッジに基づく簡便な領域抽出を行った後に、隣接する画素の画素値が近い場合には、その画素が同じ領域に所属するとして領域の更新を行い、最終的な領域抽出を行っている。また、この処理によれば、画面上の全部の画素について領域分割を行う一般的な領域分割手法、例えば領域拡張法と比較して、乗員の画像領域がどの領域に含まれるかの判別を行う回数が削減され、大幅に演算負荷を減らすことができる。

次のステップS7からステップS14の処理では、演算部３及び記憶部４が、本発明に係る領域種別判定手段として機能し、複数の候補領域の中から乗員の顔領域に対応するものを抽出する。具体的には、ステップS7の処理では、演算部３が、抽出された各候補領域の形状特徴量を算出する。例えば、演算部３は、経路候補の形状特徴量として、候補領域の円形度、候補領域の面積、候補領域に外接する矩形領域のアスペクト比の３つを算出する。なお、形状特徴量は上記３つに限られるものではなく、検出したい被写体の形状を適切に表現できる形状特徴量であればどのような値でもよい。各候補領域の形状特徴量を算出すると、次のステップS8に進む。

ステップS8の処理では、演算部３が、ステップS7で算出した候補領域の形状特徴量に基づいて、注目する候補領域が乗員の顔領域に相当しない蓋然性が高い領域を判定する。具体的には、演算部３は、注目する候補領域の形状特徴量が、全て所定の閾値範囲内という条件を満たせば次のステップS9に進み、注目する候補領域の形状特徴量が一つでも所定の閾値範囲内でなければ、注目する候補領域は乗員の顔以外であると判定し、ステップS2に戻る。

ステップS9の処理では、演算部３が、注目する候補領域の画素値特徴量を算出し、画素値特徴量が所定の範囲内であるか否かの判定を行う。具体的には、演算部３は、注目する候補領域内の画素値の分散値を画素値特徴量として算出する。ここで、画素値特徴量として分散値を適用する理由は、例えば、顔領域以外の候補領域が暖かい缶ジュース飲料等の場合、候補領域内の温度変化が少ないので画素値の分散が小さい。一方、顔領域内は目、口、鼻の影響によって、候補領域内に温度のムラが生じるため分散が大きくなる傾向がある。そこで、分散値が所定の閾値範囲内であれば、その候補領域は顔領域以外の領域であると判定できる。注目する候補領域の画素値特徴量が所定の閾値範囲内であればステップS10に進み、注目する候補領域の画素値特徴量が所定の閾値範囲内でなければステップS2に戻る。なお、本実施例では、画素特徴量として候補領域内の分散値を算出したが、演算部３は、領域内の画素値分布の規則性を画素特徴量として算出しても良い。具体的には、顔領域内の温度分布は、目、口、鼻によって発生し、画像上での画素値の分布に規則性があるので、画素値分布の平均的なテンプレートを予め準備しておき、テンプレートとの相関値を規則性の指標として画素特徴量を算出する。

ステップS10の処理では、演算部３が、ステップS9までの処理工程を終えた画像を記憶部３に記憶する。記憶されると、次のステップS11に進む。

ステップS11の処理では、演算部３が、注目する候補領域の異なる２つの時刻における画像上での移動量を算出し、２つの時刻間における移動量が所定の範囲内であるか否かの判定を行い、所定の範囲内であれば顔領域と判定し、所定の範囲内でなければ顔領域以外と判定する。ここで、図１０を参照して、この判定処理の根拠について説明する。被写体102が乗員の顔101と同等の大きさに撮像される場合、カメラ103の取り付け位置にもよるが被写体102と撮像面104間の距離は、乗員の顔101と撮像面104間の距離の半分程度になる。そして、この距離において、被写体102が乗員の手によって動かされた場合、撮像面104における移動が発生するが、その移動量は、一般的には、着座した乗員の顔101を動かした際に画面で発生する移動量よりも大きくなる。これは、実空間において着座している乗員の場合、顔を動かす速度と比べて手を動かす速度の方が一般的に速くなりえることと、顔は手に比べて撮像面104から遠い距離に存在するため実空間における移動速度が同じであれば、画像中における顔領域の移動量の方が小さくなることによる。従って、この判定処理によれば、候補領域が顔領域に対応するか否かを正確に判定することができる。

ステップS12の処理では、演算部３が、複数の候補領域が存在した場合、複数の候補領域の前後方向の位置関係を求める。具体的には、演算部３は、各領域のトラッキング処理を行い、候補領域が画面上で重なった場合に、領域の形状が変化しない方が手前に存在すると判断する。前後関係を求めると次のステップS13の処理に進む。

ステップS13の処理では、演算部３が、ステップS12の処理で後方の領域と判断した候補領域を顔領域として抽出する。ここで、図１０を参照して、後方の領域を顔領域と判定する根拠を説明する。被写体102は被写体101よりも撮像面104よりも近い距離に存在するため、乗員の顔101は被写体102に隠されて撮像面104での形状が変化する現象が発生する。そして、被写体102が乗員が手に持った温かい飲料等であるとすると、被写体102が乗員の顔領域101よりも後方に移動する頻度は低いため、手前に存在する被写体102は顔以外の領域であるとみなすことができる。演算部３が、候補領域を顔領域として抽出すると、次のステップS14の処理に進む。

ステップS14の処理では、演算部３が、顔領域抽出処理工程を終了するか否かの判定を行う。顔領域抽出処理を終了するのであれば、顔領域抽出処理を終了し、顔領域抽出処理を終了しないのであれば、ステップS2に戻る。

なお、本実施例における顔領域抽出処理では、撮像手段によって取得される原画像として遠赤外線画像を使用している。なぜならば、顔領域を抽出するときに、顔領域内部に生じるの温度差と顔領域と背景との温度差に比べれば、顔領域内部の温度差は小さく、また、可視画像のように目、鼻、口等の輪郭がエッジを生じないため、顔の輪郭のみがエッジとして生じ、顔領域全体を効率よく抽出することができる。換言すると、ある被写体の部位による温度変化が小さい場合は、その被写体を面として捕らえることが可能であり、被写体表面上に模様が存在していたとしても、可視光のように模様を捉えることがないため、被写体の輪郭だけを求めたい場合に、遠赤外線画像は適している。

以上の説明から明らかなように、本発明の実施例による乗員検出装置１では、撮像部２が、車両乗員を含む原画像を撮像し、演算部３が、原画像からエッジ画像を生成し、抽出されたエッジに挟まれる領域を候補領域として抽出する。次に、演算部３が、抽出された候補領域と所定の条件に合致する隣接する画素とを統合し、候補領域を統合して更新し、記憶部４に記憶する。次に、演算部３が、更新された候補領域の特徴量を算出し、候補領域の中から顔領域である蓋然性の高い、注目する候補領域を抽出する。そして、演算部３及び記憶部４が、注目する候補領域に対して、一定時間における画面上での移動量及び前後関係を判定し、顔領域を抽出する。従って、本発明の実施例による乗員検出装置１によれば、撮像面における形状が乗員の頭部と同じような形状を有し、且つ、移動している乗員以外の被写体が撮像領域内に存在する場合や、障害物によって乗員の顔領域の映像が部分的に隠れている場合においても、乗員を正確に検出することができる。

以上、本発明者によってなされた発明を適用した実施例について説明したが、この実施例による本発明の開示の一部をなす論述及び図面により本発明は限定されることはない。すなわち、上記実施例の形態に基づいて当業者等によりなされる他の実施例、実施例及び運用技術等は全て本発明の範疇に含まれることを付け加えておく。

本発明の実施例に係る乗員検出装置のブロック図である。撮像部の取り付け例を示す図である。本発明の実施例に係る顔領域抽出処理の流れを示すフローチャート図である。撮像部によって撮像された原画像を示す図である。図４に示す現画像から得られたエッジ画像を示す図である。候補領域抽出の方法を説明するための図である。図５に示すエッジ画像から得られた候補領域を示す図である。候補領域と原画像を重畳表示した図である。更新された候補領域を示す図である。複数の候補領域の前後方向の位置関係を求める方法を説明するための図である。

符号の説明

１：乗員検出装置
２：撮像部
３：演算部
４：記憶部
41：原画像
72，73：候補領域
94：更新された候補領域

Claims

車内の遠赤外線画像を撮像する撮像手段と、
前記撮像手段により撮像された遠赤外線画像から空間微分フィルタにより温度勾配を抽出し、抽出した温度勾配と正の温度勾配閾値と負の温度勾配閾値とを用いて前記遠赤外線画像の温度分布の境目を示すエッジ画像を生成するエッジ画像生成手段と、
前記エッジ画像生成手段によって生成されたエッジ画像に挟まれる画像領域を候補領域として抽出する候補領域抽出手段と、
前記候補領域抽出手段によって抽出された候補領域に隣接する画素の画素値と候補領域の画素値の差分値が所定範囲内であるか否かを判別し、当該差分値が所定範囲内である場合、候補領域に隣接する画素を候補領域に統合して候補領域を更新する候補領域更新手段と、
前記候補領域更新手段による処理後の候補領域が車内の乗員の顔に対応する画像領域であるか否かを判定する領域種別判定手段と
を有することを特徴とする乗員検出装置。
前記領域種別判定手段は、前記候補領域更新手段による処理後の候補領域の縦横比、円形度、及び大きさのうちの少なくとも一つが所定の範囲内である場合、候補領域は車内の乗員の顔に対応する画像領域であると判定することを特徴とする請求項１に記載の乗員検出装置。
前記領域種別判定手段は、前記候補領域更新手段による処理後の候補領域の移動量を算出し、移動量が所定時間継続して所定の閾値範囲外である場合、候補領域は乗員の顔以外の画像領域であると判定することを特徴とする請求項１又は請求項２に記載の乗員検出装置。
前記領域種別判定手段は、前記候補領域更新手段による処理後の候補領域が複数存在する場合、前記撮像手段が前記乗員を正面から撮像し、複数の候補領域毎に候補領域に対応する被写体と前記撮像手段との距離の大小を比較し、前記撮像手段との距離が最も大きい被写体に対応する候補領域が車内の乗員の顔に対応する画像領域であると判定することを特徴とする請求項１乃至請求項３のうち、いずれか１項に記載の乗員検出装置。
前記領域種別判定手段は、前記候補領域更新手段による処理後の候補領域内の画素値の均一性が所定の閾値範囲内である場合、候補領域が車内の乗員の顔に対応する画像領域であると判定することを特徴とする請求項１乃至請求項４のうち、いずれか１項に記載の乗員検出装置。
前記領域種別判定手段は、前記前記候補領域更新手段による処理後の候補領域の形状又は位置が、所定時間以上、且つ、所定値以上変化しない場合、候補領域は乗員の顔以外の画像領域であると判定することを特徴とする請求項１乃至請求項５のうち、いずれか１項に記載の乗員検出装置。
車内の遠赤外線画像から空間微分フィルタにより温度勾配を抽出し、抽出した温度勾配と正の温度勾配閾値と負の温度勾配閾値とを用いて前記遠赤外線画像の温度分布の境目を示すエッジ画像を生成する生成ステップと、
前記エッジ画像に挟まれる領域を候補領域として抽出する抽出ステップと、
前記候補領域に隣接する画素の画素値と候補領域の画素値の差分値が所定範囲内であるか否かを判別する判別ステップと、
前記差分値が所定範囲内である場合、候補領域に隣接する画素を候補領域に統合して候補領域を更新する更新ステップと、
前記判別及び更新ステップ後の候補領域が車内の乗員の顔に対応する画像領域であるか否かを判定するステップと
を有することを特徴とする乗員検出方法。