JP3790680B2

JP3790680B2 - 画像処理システム及びこれを用いた運転支援システム

Info

Publication number: JP3790680B2
Application number: JP2001156914A
Authority: JP
Inventors: 真由美湯浅; 和広福井; 修山口
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2001-05-25
Filing date: 2001-05-25
Publication date: 2006-06-28
Anticipated expiration: 2021-05-25
Also published as: US7065230B2; US20060115125A1; US7346192B2; US20030039378A1; JP2002352228A

Description

【０００１】
【発明の属する技術分野】
本発明は、主として車両中の運転者の状態を検出する画像処理システム及び検出された状態に応じて、自動車運転の支援をする運転支援システムに関する。
【０００２】
【従来の技術】
自動車等の運転者の状態を検出することは、運転者が安全に運転できる状態であるか否かの判断をすることができるため、居眠り運転やわき見運転を防ぐなど、交通事故防止のために有効な手段である。特に視線は運転者の意識状態を明確に表すため、視線を検出する技術は非常に有効である。
【０００３】
従来、人間の視線方向を検出する方法としては、赤外線照射の眼球による反射像を利用した方法と画像処理による方法が提案されている。
【０００４】
前者としては、例えば特開平６−２６１８６３号で示されている方法があるが、発光ダイオードにより眼球に赤外線を直接照射するため、利用者に大きな負担が生じる。
【０００５】
画像処理に視線を検出する方法としては、例えば特開平４−２２５４７８号において示されているような瞳のエッジを検出し、瞳の中心座標から視線を求める方法があるが、照明変動に対して安定していないという問題と、顔の向きや位置を別の手段で求める必要が生じていた。
【０００６】
画像処理における先の問題点を解決する方法として、特開平１１−１７５２４６号に示された顔領域及び瞳領域のパターンを用いた方法が存在する。このような方法によれば、照明変動や頭部位置の変動に対して頑強な視線検出方法が実現可能となった。ところが、このような方法にも依然、顔領域や瞳位置が検出できないときには視線方向を求めることができないという問題が存在した。
【０００７】
【発明が解決しようとする課題】
本発明は、上記の問題を解決して、例えば、車両やコンピュータなどの機械を操作している対象者の視線、視点、または、顔向きを簡単に、かつ、正確に検出する画像処理システム及びこれを用いた運転支援システムを提供する。
【０００８】
【課題を解決するための手段】
請求項１の発明は、対象者の視線、視点、または、顔向きを検出する画像処理装置であって、前記対象者の視線、視点、または、顔向きを特定できる領域の少なくとも一部を含む画像を入力する画像入力手段と、前記入力された画像から照合を行うための入力パターンを生成するパターン生成手段と、前記対象者の視線、視点、または、顔向きの特定が可能な辞書パターンを登録した辞書手段と、前記辞書パターンと前記入力パターンを照合して、両者の類似度を求めるパターン照合手段と、前記求めた類似度に基づいて前記対象者の視線、視点、または、顔向きを検出する視線検出手段と、を有し、前記辞書手段における前記辞書パターンは複数枚の画像から生成された部分空間であり、前記部分空間は、複数のクラスからなり、前記各クラスは前記対象者の相異なる視線方向もしくは視点位置に対応し、また、前記辞書手段は、前記異なるクラス間における差分部分空間を生成し、前記パターン生成手段における前記入力パターンは１枚あるいは複数枚の画像から生成した部分空間であり、前記パターン照合手段は、（１）前記入力パターンの部分空間及び前記各クラスの辞書パターンの部分空間を前記差分辞書部分空間へ射影して差分部分空間を生成し、（２）異なる時刻に取得した前記対象者の画像から生成した部分空間の差分空間である自己変動部分空間を生成し、（３）前記差分部分空間と前記自己変動部分空間とから制約部分空間を生成し、（４）前記制約部分空間から前記類似度を求めることを特徴とする画像処理装置である。
【０００９】
請求項２の発明は、車両の運転者の運転支援装置であって、前記運転者の視線、視点、または、顔向きを特定できる領域の少なくとも一部を含む画像を入力する画像入力手段と、前記入力された画像から照合を行うための入力パターンを生成するパターン生成手段と、前記運転者の視線、視点、または、顔向きの特定が可能な辞書パターンを登録した辞書手段と、前記辞書パターンと前記入力パターンを照合して、両者の類似度を求めるパターン照合手段と、前記求めた類似度に基づいて前記運転者の視線、視点、または、顔向きを検出する視線検出手段と、前記検出された前記運転者の視線、視点、または、顔向きに基づく視界以外の領域を、前記車両に対する障害物を検知するための障害物検出領域として設定する障害物検出領域設定手段と、前記設定された障害物検出領域内で障害物を検知する障害物検知手段と、を有し、前記辞書手段における前記辞書パターンは複数枚の画像から生成された部分空間であり、前記部分空間は、複数のクラスからなり、前記各クラスは前記運転者の相異なる視線方向もしくは視点位置に対応し、また、前記辞書手段は、前記異なるクラス間における差分部分空間を生成し、前記パターン生成手段における前記入力パターンは１枚あるいは複数枚の画像から生成した部分空間であり、前記パターン照合手段は、（１）前記入力パターンの部分空間及び前記各クラスの辞書パターンの部分空間を前記差分辞書部分空間へ射影して差分部分空間を生成し、（２）異なる時刻に取得した前記運転者の画像から生成した部分空間の差分空間である自己変動部分空間を生成し、（３）前記差分部分空間と前記自己変動部分空間とから制約部分空間を生成し、（４）前記制約部分空間から前記類似度を求めることを特徴とする運転支援装置である。
【００１９】
【発明の実施の形態】
本発明に係る実施例を図面にしたがって説明する。
【００２０】
（第１の実施例）
本発明に係る画像処理装置を適用した運転者状態検出装置の第１の実施例を説明する。
【００２１】
本実施例は、運転者の顔もしくは顔の一部を含む頭部領域を撮像するように運転者自身がコントロール可能なカメラにより撮影した画像を元に、パターン認識により運転者の視線を検出する装置に関するものである。
【００２２】
本実施例の運転者状態検出装置の構成を図１に示す。
【００２３】
運転者状態検出装置は、画像入力部１、パターン生成部２、パターン照合部３、辞書部４、視線検出部５から構成される。
【００２４】
このうちパターン生成部２、パターン照合部３、辞書部４、視線検出部５の各機能は、コンピュータに記録されたプログラムによって実現ができる。
【００２５】
（ａ）画像入力部１
画像入力部１の構成図を図２に示す。
【００２６】
画像入力部１はビデオカメラ６、画像表示部７及びカメラコントロール部８から構成される。
【００２７】
（ａ−１）ビデオカメラ６
ビデオカメラ６は、車内において常に運転者の顔もしくは顔の一部を含む頭部領域を撮像できる位置に設置する。
【００２８】
ここでは入力画像としては時系列の動画像であって、運転者の顔画像を用いるが、視線を特定できるものであれば他の部位であっても差し支えない。
【００２９】
（ａ−２）画像表示部７
画像表示部７は、ビデオカメラ６によって撮影された画像を表示する液晶表示装置などのディスプレーより構成される。通常は運転者の顔領域を表示し、運転者が容易に見ることができ、かつ運転の妨げにならない位置に設置する。
【００３０】
なお、画像表示部７は、カーナビゲーションシステムなど、運転者に対する情報の提示を目的とした表示装置と兼ねることも可能である。
【００３１】
（ａ−３）カメラコントロール部８
カメラコントロール部８は、レバーやタッチパネル上のカーソルなどからなり、運転者の操作によりビデオカメラ６の方向などのパラメータを設定することが可能である。
【００３２】
（ａ−４）動作内容
具体的な動作について説明する。
【００３３】
運転者は運転をはじめる前に、準備として以下の動作を行う。画像表示部７を見ながら、表示された画像中に自らの顔領域が含まれ、かつ画像中の顔以外の領域がなるべく少なくなるようにカメラコントロール部８により、ビデオカメラ６の方向を調整する。
【００３４】
このように画像入力部１において、簡単な動作により入力画像中に、顔画像が含まれかつ、顔画像以外の部分があまり含まれないように設定することができ、この結果、以降の処理を大幅に軽減することが可能となる。
【００３５】
（ｂ）パターン生成部２
パターン生成部２においては、画像入力部１により入力された動画像の各画像データを辞書部４において蓄積された辞書パターンとの照合を行えるパターンに変換する。
【００３６】
通常入力した画像データはデジタルデータまたはアナログ信号をデジタルに変換したものを用いるが、画像データそのものは、パターン照合を行うには情報が大きすぎる。
【００３７】
そのため、適宜代表画素の取り出し、もしくは平均化処理を行うことにより、パターン照合に適切なデータに変換する。
【００３８】
例えば、画面全体を１５×１５の区画に分割し、各分割領域において、領域内の画素値の平均値を求め、それらの集合を入力パターンとして用いる。この操作をモザイク化と呼ぶ。
【００３９】
（ｃ）パターン照合部３
パターン照合部３においては、パターン生成部２において生成される入力パターンと辞書部４において作成した各辞書パターンとの照合を行う。この辞書パターンについては、後から詳しく述べる。
【００４０】
ここでは、予め登録されている全ての指標とのパターン類似度を、下記で説明する部分空間法（エルッキ・オヤ著、小川英光、佐藤誠訳、「パターン認識と部分空間法」、産業図書、１９８６）を用いて計算する。
【００４１】
この類似度が、運転者がその指標をどれだけ見ているかという評価値となる。
【００４２】
（ｃ−１）部分空間法の適用
部分空間法は、画像パターンをｎ×ｎ次元のベクトルと見なすと、ｎ×ｎ次元の特徴空間中で、あるカテゴリの部分空間が複数の基底ベクトルが張る線形部分空間で表現できる。ここで入力ベクトル（入力パターン）を、あるカテゴリを表す部分空間に投影した時の角度θは、入力ベクトルがそのカテゴリにどれだけ類似しているか表している。入力ベクトルと全てのカテゴリの部分空間との角度θを求め、最も小さい角度θが得られた部分空間に該当するクラスを入力ベクトル（入力パターン）が属するクラスと決定する。
【００４３】
具体的には、角度θは以下の式から求まる。
【００４４】
【数１】

ここでＬは部分空間を形成する固有ベクトルの数、（ｖｅｃｔ．ｅｉｇｅｎｖｅｃｔ_ｉ）は入力ベクトルと第ｉ番目の固有ベクトルとの内積である。
【００４５】
（ｃ−２）相互部分空間法の適用
この部分空間法による処理は入力パターンを複数利用する相互部分空間法（前田賢一、渡辺貞一：“局所的構造を導入したパターン・マッチング法”．信学論（Ｄ）．ｖｏｌ．Ｊ６８−Ｄ．Ｎｏ．３．ｐｐ．３４５３５２（１９８５））に置き換えることにより、より安定した視線検出が可能である。
【００４６】
相互部分空間法は入力側も辞書側と同様に部分空間で表現する。類似度は、入力部分空間と辞書部分空間の成す角度θのｃｏｓ^２θとして求まる。具体的には以下の式で定義される。
【００４７】
【数２】

【数３】

【数４】

ＱＰＱの固有値問題は以下の式で表される。
【００４８】
【数５】

【数６】

と表現できる。式（４）の左辺は、式（５）を代入して、
【数７】

となる。一方、右辺は、式（２），（３）を代入して、
【数８】

となる。更に計算の順序を変えて整理すると、
【数９】

となる。式（６）と式（８）の同じψ_ｋについて見ると、
【数１０】

が成立する。ここで、
【数１１】

【数１２】

【数１３】

と置くと、式（９）は、
【数１４】

という行列Ｘの固有値問題となる。
【００４９】
Ｘの最大固有値が求める最小角度θ_１のｃｏｓ^２θ_１となる。第２固有値は、最大角に直交する方向に計った角度のｃｏｓ^２θ_２、以下同様にＮ個のｃｏｓ^２θ_ｉが順次求まる。これらのＮ個の角度θは、２つの部分空間が成す「正準角」として知られている。
【００５０】
（ｃ−３）制約相互部分空間法の適用
また、相互部分空間法を制約相互部分空間法（福井和広他．“制約相互部分空間法を用いた環境変動にロバストな顔画像認識”．信学論（ＤII）．ｖｏｌ．Ｊ８２ＤII，Ｎｏ．４．ｐｐ．６１３−６２０）に置き換えることにより、さらに安定した視線検出が可能となる。
【００５１】
上記文献においては、人物認証において制約部分空間法を利用しているが、各人物を本実施例における視線方向の指標に置き換える。この場合は予め辞書部４において、各指標間の差分辞書空間及び各指標内での自己変動空間を作成し、それらから制約空間を作成しておく必要がある。
【００５２】
（ｄ）辞書部４
辞書部４においては、予め設定した視線方向の指標となる各位置を運転者が見たときの画像を収集し、それらの画像から辞書を作成したものを保持する。
【００５３】
ここで、上記で説明した制約相互部分空間法を用いた場合の認識方法及び辞書の作成方法について述べる。
【００５４】
まず、予め視線の指標となるターゲットを定める。例えば、図３におけるＡからＤのようなものである。この図では、Ａは左側のサイドミラー、Ｂはバックミラー、Ｃはメータ、Ｄは右側のサイドミラーである。例えばこのような４つの指標に対してそれぞれ辞書部分空間を作成する。
【００５５】
辞書部分空間の作成は以下の手順で行う。
【００５６】
第１ステップにおいて、各指標を見ていることが推定される画像サンプルを収集する。
【００５７】
第２ステップにおいて、それらの画像サンプルから例えば１５×１５の画像を作成する。ここでは先に述べたように、入力画像をモザイク化することにより作成することができる。このモザイク化した画像を正規化画像と呼ぶ。
【００５８】
第３ステップにおいて、これらの正規化画像に対して必要に応じてヒストグラム平坦化処理、微分処理、エンボス化処理、あるいはフーリエ変換などを施した後、それらの正規化画像の画素を順に並べたものを特徴ベクトルとする。
【００５９】
第４ステップにおいて、各指標に対応する特徴ベクトルに対してＫＬ展開を適用して固有値と固有ベクトルを求める。
【００６０】
第５ステップにおいて、こうして求めた固有値の大きい方から上位幾つかの固有値に対応する固有ベクトルを基底ベクトルとしたときに、これらの基底ベクトルが張る部分空間を辞書部分空間とする。この次元の数は例えば１０とする。
【００６１】
第６ステップにおいて、隣り合う指標に対応する２つの辞書部分空間の差分部分空間を生成する。隣り合う指標間においては、そこを見ている場合のパターンに差が少なく、差分部分空間は各指標間のパターンの差異を強調する空間となっている。
【００６２】
差分部分空間を以下の様に定義する。
【００６３】
Ｍ次元部分空間ＰとＮ次元部分空間Ｑに対してＮ（＝＜Ｍ）個の正準角θ_ｉが求まる。ここで正準角θ_ｉを形成する２つのベクトルｕ_ｉ，ｖ_ｉの差分ベクトルをｄ_ｉとする。Ｎ個の差分ベクトルｄ_ｉはお互いに直交している。Ｎ個の内でＤ番目までの差分ベクトルを長さを１．０に正規化して、Ｄ次元差分部分空間Ｄ_ＰＱの基底ベクトルとする。
【００６４】
【数１５】

【数１６】

【数１７】

ここで係数ｃｕ_ｉは、式（１４）の固有値問題から求まる固有ベクトルである。また係数ｃｖ_ｉは、式（１３）においてφとψを入れ換えて式（１４）から求まる固有ベクトルである。
【００６５】
ここでは、具体的な差分部分空間を作成する組み合わせとしてＡとＢ、ＡとＣ、ＢとＣ、ＣとＤなど、空間的に隣接する組み合わせのみを利用する方法を採用する。
【００６６】
この他に全ての指標の組み合わせを利用する方法などが考えられる。これらの差分部分空間を指標間差分部分空間ｄと呼ぶことにする。
【００６７】
こうして得られた複数の指標間差分部分空間ｄを統合して１つの指標間差分部分空間ｄ_ａｌｌとする。
【００６８】
指標間差分部分空間ｄ_ａｌｌは、差分空間の共通部分空間として求めることができる。今、Ｎ個の指標間差分部分空間の共通部分空間の算出を考える。ｋ番目の指標差分部分空間の射影行列をＰ_ｋとし、各射影行列を加重和した生成行列をＧとする。
【００６９】
【数１８】

また、各指標を見た時の見方のばらつきを抑制するために、自己変動に基づく制約空間を作成する。これによって時間が経つと同じ人が同じ指標を見た場合にもパターンに変化が現れてしまうのを防ぐことができる。具体的には、異なる時刻に取得した画像から生成した部分空間の差分空間を生成し、これを自己変動部分空間ｓと呼ぶことにする。
【００７０】
各指標に対応する自己変動部分空間ｓの共通部分空間を算出し、それを自己変動部分空間ｓ_ａｌｌとする。
【００７１】
異なる指標を表す辞書部分空間の差を強調し、同じ指標を表す辞書部分空間の変動部分を抑えるためには、前記指標間差分部分空間ｄ_ａｌｌから前記自己変動部分空間ｓ_ａｌｌを取り除き、それを制約部分空間ｃとすればよい。
【００７２】
具体的には、指標間差部分空間と自己変動部分空間に対して、以下の評価基準ｆを最大とする部分空間を制約部分空間として求める。基準ｆはクラス間分散とクラス内分散の比を最大にするＦｉｓｈｅｒの判別基準に対して、指標間差部分空間（Ｎ１次元）の射影成分から自己変動部分空間（Ｎ２次元）の射影成分を差し引いた評価量となっている。ここで求めるべき制約部分空間の正規基底ベクトルを列とする行列をＣとする。
【００７３】
【数１９】

式（１９）の第１項は指標間差部分空間のｉ番目の基底ベクトルｂ_ｉ（ｄ次元）を部分空間へ射影した際に、その射影長Ｃｂ_ｉの総和ができるだけ大きいことを要請している。一方、第２項は自己変動部分空間の基底ベクトルｓ_ｉを部分空間へ射影した場合に、射影長Ｃｓ_ｉの総和ができるだけ小さくすることを要請している。
【００７４】
【数２０】

【数２１】

【数２２】

【数２３】

【数２４】

したがって基準量ｆを最大にするＣを求めることは、Ｃ^ＴＣ＝１という制約条件下でｔｒ（Ｃ^ＴΩＣ）を最大にするＣを求める以下の変分問題に帰着する。
【００７５】
【数２５】

ここでΛはｄ次元対角行列、Ω＝Ｐ_Ｂ−Ｐ_ｓとする。上式をＣで偏微分して０とおくと、
【数２６】

したがって、
【数２７】

となり、ＣはΩを対角化する行列である。Ωの固有値で大きい方からｄ個をλ_ｉ（λ_１＞＝λ_２…＞＝λ_ｄ）とすれば、
【数２８】

したがって、求める制約部分空間は上記ｄ個の固有値に対応する固有ベクトルが張る部分空間となる。
【００７６】
また、パターン照合の際の処理としては、入力部分空間を前記制約部分空間に射影することによって、先に述べた特徴を持つ部分空間に変換することができ、視線検出の精度が向上する。
【００７７】
例えば、隣り合う指標（Ａ，Ｂ）に対応する２つの辞書部分空間の類似度を考えたときに、隣り合う指標間においては、そこを見ている場合の入力部分空間のパターンの差が少ないため、その類似度の差も少なくなくなる。そのため、その類似度の差も小さく識別が困難となる。
【００７８】
しかし、差部分空間に射影することにより、各指標間のパターンの差異を強調できるので、指標Ａを見たときの指標Ａの辞書部分空間に対する類似度と指標Ｂの辞書部分空間に対する類似度の差が大きくなり、識別が容易となる。
【００７９】
（ｇ）視線検出部５
視線検出部５においては、パターン照合部３において照合した結果（類似度など）が最も高い辞書パターンに対応する指標の位置を見ていると判断し、その結果を出力する。
【００８０】
もしくは、複数の指標における結果から視線位置を推定し、その結果を出力する。複数の指標における結果から視線位置を推定する方法としては例えば、複数の指標のうち、照合結果が上位にあるものをその結果に応じて内挿するという方法がある。
【００８１】
また、前記のように線形に内挿する以外にも、ニューラルネットを用いてもよい。
【００８２】
（第２の実施例）
本発明に係る運転者状態検出装置の第２の実施例を説明する。
【００８３】
本実施例は、運転者の顔もしくは顔の一部を含む頭部領域を撮像するように運転者自身が設定する必要がなく、カメラ方向、位置、焦点距離などのパラメータを自動的に決定したカメラにより撮影した画像を元にパターン認識により運転者の視線を検出する装置に関するものである。
【００８４】
第２の実施例の運転者状態検出装置の構成は、図１に示す第１の実施例の構成図と同様である。
【００８５】
画像入力部１の構成図を図４に示す。画像入力部１はビデオカメラ６、カメラ自動制御部９から構成される。
【００８６】
カメラ自動制御部９においては、ビデオカメラ６で撮像された画像中から運転者の一部を検出し、その位置を元に、運転者の顔画像があることが予測される位置にカメラの方向などのパラメータを変更する。
【００８７】
そのような処理を入力画像に運転者の画像が的確に撮像されるようになるまで繰り返す。
【００８８】
運転者の顔画像が撮像されているかを確かめる方法としては、予め、人物の顔画像のテンプレートを作っておき、それとの照合を行うことで可能となる。一度顔が検出されれば、それを追跡することで、容易にカメラパラメータの変更が可能である。
【００８９】
パターン生成部２以下の処理は、第１の実施例と同様である。
【００９０】
（第３の実施例）
本発明に係る運転者状態検出装置の第３の実施例を説明する。
【００９１】
本実施例は、運転者視線検出結果を利用して車外の障害物検出を効率的に行うものである。
【００９２】
第３の実施例の運転者状態検出装置の構成を図５に示す。
【００９３】
画像入力部１、パターン生成部２、パターン照合部３、辞書部４、視線検出部５、第２の画像入力部１０、障害物検出部１１から構成される。
【００９４】
画像入力部１、パターン生成部２、パターン照合部３、辞書部４、視線検出部５については、第１または第２の実施例と同様である。
【００９５】
第２の画像入力部１０においては、車外の画像、すなわち道路や他の自動車、歩行者等を撮像する。
【００９６】
障害物検出部１１においては、第２の画像入力部１０において入力された画像を基に以下の処理を行う。
【００９７】
視線検出部５において提示された視線方向を基に、その視線方向が向いていない領域、すなわち、運転者の視界の外側における領域部分のみ、障害物検出を行う。
【００９８】
障害物検出の方法としては、例えば特開平９−２５０２８２号において開示されている方法が使用できる。
【００９９】
処理領域を変える方法としては、第２の画像入力部１０において入力する画像領域を変更する方法と、入力する画像は同じであるが、その画像中の処理領域を変更する方法の２通りが考えられる。どちらも有効であるが、カメラを可動にしなくていい分、後者の方が有効である。
【０１００】
別の手段により運転者の状態、例えば居眠りなどが検出された場合には、全領域を処理するなど、組み合わせることも可能である。
【０１０１】
（変更例１）
本発明はここにあげた実施例に限定されるものではない。
【０１０２】
第１、２の実施例において、パターン生成部２においては、特に顔領域に限定せずに画像全体をそのままモザイク化してパターン生成に用いた。
【０１０３】
しかし、本変更例では、例えば背景差分やフレーム間差分等または顔パターンを利用した検出等により予め顔らしい領域を検出し、その部分のみを利用するということも可能である。
【０１０４】
この場合、検出にかかるコストや誤検出した場合の対応など、処理に負担がかかることがあるが、もし成功すれば、より精度の高い視線の検出が可能となる。
【０１０５】
また、目鼻などの顔の特徴点の検出（例えば、福井、山口：“形状抽出とパターン照合の組合せによる顔特徴点抽出”．信学論（Ｄ−II）ｖｏｌ．Ｊ８０ＤII．ｎｏ．９．ｐｐ．２１７０２１７７．Ａｕｇ．１９９７）を用いればさらに精度よく検出することが可能となる。その場合には特開平１１−１７５２４６号に開示された視線検出方法が適用可能である。
【０１０６】
（変更例２）
第１の実施例のカメラコントロール部８、もしくは第２の実施例におけるカメラ自動制御部９において、運転者が誰であるかを手動または自動で識別する部を有する場合においては、運転者の顔または頭部の位置は、運転者が識別できれば、その身長や座り方の癖などの情報から適切なカメラ方向等のパラメータを容易に推測可能であることから、カメラコントロール部８またはカメラ自動制御部９における処理を軽減することが可能である。
【０１０７】
（変更例３）
第１、２の実施例のパターン生成部２においては、単純に画像をモザイク化したものを入力パターンとして採用した。
【０１０８】
本変更例では、そのパターンをフーリエ変換したもの、微分したもの、エンボス処理を加えたもの、他に得られる情報を基にアフィン変換を施したものなども考えられる。
【０１０９】
特に、フーリエ変換により求まるフーリエスペクトルは、平行移動に対して不変となっているため、頭部位置の変動にロバストな視線検出が可能となる。
【０１１０】
これらの特徴を適用する場合には、制約部分空間もこれらの特徴量から生成する必要がある。
【０１１１】
フーリエ変換を利用する場合には、予め画像をモザイク化したパターンに対してフーリエ変換を行ってもよいし、予めフーリエ変換を行った画像に対してモザイク化を行ってもよい。
【０１１２】
また、高速フーリエ変換を行うためには、フーリエ変換を施す前の画像のサイズは２の巾乗（べきじょう）であることが望ましい。また、フーリエ変換を行う前後に適宜ノイズ除去などの処理を加えても差し支えない。
【０１１３】
（変更例４）
第１、２、３の実施例において、辞書部における辞書パターンは予め作成しておくこととしたが、カメラの調整を行う都度行っても構わない。
【０１１４】
その場合には、画像表示装置における視覚または音声などにより指標の位置を見るよう指示を提示し、運転者はその指示にしたがってそれぞれの指標を見ることにより各指標を見た時の画像を収集することができ、それらの画像により辞書が作成できる。
【０１１５】
辞書はその都度新たに作ることもできるし、既存の辞書に追加することもできる。またこれらの処理は運転者の移動時のみならず、ミラーなどの指標位置に変化があったときにも同様に行うことが有効である。
【０１１６】
（変更例５）
第１、２、３の実施例においては、カメラを制御する部を具備していたが、予めカメラの位置や方向などを適切な位置に固定して設置することができ、かつ運転者の身長や姿勢等に大きな変化がないと予想される場合には、そのような制御部は必ずしも必要ではない。
【０１１７】
（変更例６）
第１、２、３の実施例においては、カメラを１台の場合について述べたが、カメラは複数台あっても差し支えない。
【０１１８】
例えば、複数台のカメラから得られた画像を結合することにより、同様の処理で視線検出が可能であり、しかもカメラ全体としての視野が広くなるため、より精度の高い視線検出が可能となる。
【０１１９】
また、それぞれのカメラ毎に独立に処理を行い、それらの結果を統合しても差し支えない。また、検出するものは「視線」としてきたが、これを「顔向き」と置き換えても差し支えない。
【０１２０】
（変更例７）
第１、２、３の実施例においては、高感度カメラ、高ダイナミックレンジカメラ、あるいは赤外線照明を用いることで夜間における安定な動作が可能となる。
【０１２１】
（変更例８）
第１、２、３の実施例においては、車内における運転者を対象にしたが、本発明は様々な場面にも適用可能である。
【０１２２】
例えば、運転者を通常のオフィスなどでパーソナルコンピュータなどの機械を操作している人物に置き換えることで、ポインティングデバイスとして利用可能であり、メニュー選択やマウス操作のサポートを実現できる。
【０１２３】
また、携帯電話を始めとする情報端末の搭載されるカメラを用いて、顔向きによるポインティングデバイスが実現できる。
【０１２４】
（変更例９）
第１、２、３の実施例において、常時視線を検出する方法について述べたが、本発明は例えば蛇角センサやシートにおける圧力センサなどと連動し、必要なときのみ検出を行っても差し支えない。
【０１２５】
例えば、蛇角センサによって、運転者がハンドル操作を行っているかどうかが判定できるため、ハンドル操作を行っているときは視線の検出を行わないといった処理が可能である。
【０１２６】
（変更例１０）
上記実施例では、ビデオカメラ６からの動画像をもとに視線などを検出したが、これに代えて顔などが撮影された静止画像を用いてもよい。
【０１２７】
【発明の効果】
本発明によれば、対象者の視線、視点、または、顔向きを特定できる領域を写した入力パターンと辞書パターンとを照合することにより、照明条件や頭部位置の変動に強く、対象者の視線を検出する画像処理システム及びそれを利用した運転支援システムが実現可能となる。
【図面の簡単な説明】
【図１】第１の実施例の構成を表す図である。
【図２】画像入力部の構成を表す図である。
【図３】視線の指標となるターゲットの例を表す図である。
【図４】第２の実施例の画像入力部の構成を表す図である。
【図５】第３の実施例の構成を表す図である。
【符号の説明】
１画像入力部
２パターン生成部
３パターン照合部
４辞書部
５視線検出部
６ビデオカメラ
７画像表示部
８カメラコントロール部
９カメラ自動制御部
１０第２の画像入力部
１１障害物検出部

Claims

対象者の視線、視点、または、顔向きを検出する画像処理装置であって、
前記対象者の視線、視点、または、顔向きを特定できる領域の少なくとも一部を含む画像を入力する画像入力手段と、
前記入力された画像から照合を行うための入力パターンを生成するパターン生成手段と、
前記対象者の視線、視点、または、顔向きの特定が可能な辞書パターンを登録した辞書手段と、
前記辞書パターンと前記入力パターンを照合して、両者の類似度を求めるパターン照合手段と、
前記求めた類似度に基づいて前記対象者の視線、視点、または、顔向きを検出する視線検出手段と、
を有し、
前記辞書手段における前記辞書パターンは複数枚の画像から生成された部分空間であり、前記部分空間は、複数のクラスからなり、前記各クラスは前記対象者の相異なる視線方向もしくは視点位置に対応し、また、前記辞書手段は、前記異なるクラス間における差分部分空間を生成し、
前記パターン生成手段における前記入力パターンは１枚あるいは複数枚の画像から生成した部分空間であり、
前記パターン照合手段は、
（１）前記入力パターンの部分空間及び前記各クラスの辞書パターンの部分空間を前記差分辞書部分空間へ射影して差分部分空間を生成し、
（２）異なる時刻に取得した前記対象者の画像から生成した部分空間の差分空間である自己変動部分空間を生成し、
（３）前記差分部分空間と前記自己変動部分空間とから制約部分空間を生成し、
（４）前記制約部分空間から前記類似度を求める
ことを特徴とする画像処理装置。
車両の運転者の運転支援装置であって、
前記運転者の視線、視点、または、顔向きを特定できる領域の少なくとも一部を含む画像を入力する画像入力手段と、
前記入力された画像から照合を行うための入力パターンを生成するパターン生成手段と、
前記運転者の視線、視点、または、顔向きの特定が可能な辞書パターンを登録した辞書手段と、
前記辞書パターンと前記入力パターンを照合して、両者の類似度を求めるパターン照合手段と、
前記求めた類似度に基づいて前記運転者の視線、視点、または、顔向きを検出する視線検出手段と、
前記検出された前記運転者の視線、視点、または、顔向きに基づく視界以外の領域を、前記車両に対する障害物を検知するための障害物検出領域として設定する障害物検出領域設定手段と、
前記設定された障害物検出領域内で障害物を検知する障害物検知手段と、
を有し、
前記辞書手段における前記辞書パターンは複数枚の画像から生成された部分空間であり、前記部分空間は、複数のクラスからなり、前記各クラスは前記運転者の相異なる視線方向もしくは視点位置に対応し、また、前記辞書手段は、前記異なるクラス間における差分部分空間を生成し、
前記パターン生成手段における前記入力パターンは１枚あるいは複数枚の画像から生成した部分空間であり、
前記パターン照合手段は、
（１）前記入力パターンの部分空間及び前記各クラスの辞書パターンの部分空間を前記差分辞書部分空間へ射影して差分部分空間を生成し、
（２）異なる時刻に取得した前記運転者の画像から生成した部分空間の差分空間である自己変動部分空間を生成し、
（３）前記差分部分空間と前記自己変動部分空間とから制約部分空間を生成し、
（４）前記制約部分空間から前記類似度を求める
ことを特徴とする運転支援装置。
対象者の視線、視点、または、顔向きを検出する画像処理方法であって、
前記対象者の視線、視点、または、顔向きを特定できる領域の少なくとも一部を含む画像を入力する画像入力ステップと、
前記入力された画像から照合を行うための入力パターンを生成するパターン生成ステップと、
前記対象者の視線、視点、または、顔向きの特定が可能な辞書パターンを登録した辞書ステップと、
前記辞書パターンと前記入力パターンを照合して、両者の類似度を求めるパターン照合ステップと、
前記求めた類似度に基づいて前記対象者の視線、視点、または、顔向きを検出する視線検出ステップと、
を有し、
前記辞書ステップにおける前記辞書パターンは複数枚の画像から生成された部分空間であり、前記部分空間は、複数のクラスからなり、前記各クラスは前記対象者の相異なる視線方向もしくは視点位置に対応し、また、前記辞書ステップは、前記異なるクラス間における差分部分空間を生成し、
前記パターン生成ステップにおける前記入力パターンは１枚あるいは複数枚の画像から生成した部分空間であり、
前記パターン照合ステップは、
（１）前記入力パターンの部分空間及び前記各クラスの辞書パターンの部分空間を前記差分辞書部分空間へ射影して差分部分空間を生成し、
（２）異なる時刻に取得した前記対象者の画像から生成した部分空間の差分空間である自己変動部分空間を生成し、
（３）前記差分部分空間と前記自己変動部分空間とから制約部分空間を生成し、
（４）前記制約部分空間から前記類似度を求める
ことを特徴とする画像処理方法。
車両の運転者の運転支援方法であって、
前記運転者の視線、視点、または、顔向きを特定できる領域の少なくとも一部を含む画像を入力する画像入力ステップと、
前記入力された画像から照合を行うための入力パターンを生成するパターン生成ステップと、
前記運転者の視線、視点、または、顔向きの特定が可能な辞書パターンを登録した辞書ステップと、
前記辞書パターンと前記入力パターンを照合して、両者の類似度を求めるパターン照合ステップと、
前記求めた類似度に基づいて前記運転者の視線、視点、または、顔向きを検出する視線検出ステップと、
前記検出された前記運転者の視線、視点、または、顔向きに基づく視界以外の領域を、前記車両に対する障害物を検知するための障害物検出領域として設定する障害物検出領域設定ステップと、
前記設定された障害物検出領域内で障害物を検知する障害物検知ステップと、
を有し、
前記辞書ステップにおける前記辞書パターンは複数枚の画像から生成された部分空間であり、前記部分空間は、複数のクラスからなり、前記各クラスは前記運転者の相異なる視線方向もしくは視点位置に対応し、また、前記辞書ステップは、前記異なるクラス間における差分部分空間を生成し、
前記パターン生成ステップにおける前記入力パターンは１枚あるいは複数枚の画像から生成した部分空間であり、
前記パターン照合ステップは、
（１）前記入力パターンの部分空間及び前記各クラスの辞書パターンの部分空間を前記差分辞書部分空間へ射影して差分部分空間を生成し、
（２）異なる時刻に取得した前記運転者の画像から生成した部分空間の差分空間である自己変動部分空間を生成し、
（３）前記差分部分空間と前記自己変動部分空間とから制約部分空間を生成し、
（４）前記制約部分空間から前記類似度を求める
ことを特徴とする運転支援方法。
対象者の視線、視点、または、顔向きを検出する画像処理方法をコンピュータによって実現するプログラムであって、
前記対象者の視線、視点、または、顔向きを特定できる領域の少なくとも一部を含む画像を入力する画像入力機能と、
前記入力された画像から照合を行うための入力パターンを生成するパターン生成機能と、
前記対象者の視線、視点、または、顔向きの特定が可能な辞書パターンを登録した辞書機能と、
前記辞書パターンと前記入力パターンを照合して、両者の類似度を求めるパターン照合機能と、
前記求めた類似度に基づいて前記対象者の視線、視点、または、顔向きを検出する視線検出機能と、
を実現し、
前記辞書機能における前記辞書パターンは複数枚の画像から生成された部分空間であり、前記部分空間は、複数のクラスからなり、前記各クラスは前記対象者の相異なる視線方向もしくは視点位置に対応し、また、前記辞書機能は、前記異なるクラス間における差分部分空間を生成し、
前記パターン生成機能における前記入力パターンは１枚あるいは複数枚の画像から生成した部分空間であり、
前記パターン照合機能は、
（１）前記入力パターンの部分空間及び前記各クラスの辞書パターンの部分空間を前記差分辞書部分空間へ射影して差分部分空間を生成し、
（２）異なる時刻に取得した前記対象者の画像から生成した部分空間の差分空間である自己変動部分空間を生成し、
（３）前記差分部分空間と前記自己変動部分空間とから制約部分空間を生成し、
（４）前記制約部分空間から前記類似度を求める
ことを特徴とする画像処理方法のプログラム。
車両の運転者の運転支援方法をコンピュータによって実現するプログラムであって、
前記運転者の視線、視点、または、顔向きを特定できる領域の少なくとも一部を含む画像を入力する画像入力機能と、
前記入力された画像から照合を行うための入力パターンを生成するパターン生成機能と、
前記運転者の視線、視点、または、顔向きの特定が可能な辞書パターンを登録した辞書機能と、
前記辞書パターンと前記入力パターンを照合して、両者の類似度を求めるパターン照合機能と、
前記求めた類似度に基づいて前記運転者の視線、視点、または、顔向きを検出する視線検出機能と、
前記検出された前記運転者の視線、視点、または、顔向きに基づく視界以外の領域を、前記車両に対する障害物を検知するための障害物検出領域として設定する障害物検出領域設定機能と、
前記設定された障害物検出領域内で障害物を検知する障害物検知機能と、
を実現し、
前記辞書機能における前記辞書パターンは複数枚の画像から生成された部分空間であり、前記部分空間は、複数のクラスからなり、前記各クラスは前記運転者の相異なる視線方向もしくは視点位置に対応し、また、前記辞書機能は、前記異なるクラス間における差分部分空間を生成し、
前記パターン生成機能における前記入力パターンは１枚あるいは複数枚の画像から生成した部分空間であり、
前記パターン照合機能は、
（１）前記入力パターンの部分空間及び前記各クラスの辞書パターンの部分空間を前記差分辞書部分空間へ射影して差分部分空間を生成し、
（２）異なる時刻に取得した前記運転者の画像から生成した部分空間の差分空間である自己変動部分空間を生成し、
（３）前記差分部分空間と前記自己変動部分空間とから制約部分空間を生成し、
（４）前記制約部分空間から前記類似度を求める
ことを特徴とする運転支援方法のプログラム。