JP2004177315A

JP2004177315A - 視線方向判定装置及びそれを利用した対話システムならびに運転支援システム

Info

Publication number: JP2004177315A
Application number: JP2002345451A
Authority: JP
Inventors: Tsutomu Sato; 勤佐藤; Satoshi Kodama; 聡児玉
Original assignee: Alpine Electronics Inc
Current assignee: Alpine Electronics Inc
Priority date: 2002-11-28
Filing date: 2002-11-28
Publication date: 2004-06-24

Abstract

【課題】安価な装置によって運転者等の対象者の視線方向を判定することができる視線方向判定装置を提供する。
【解決手段】互いに離間して配置されたカメラＡ、Ｂを備え、カメラＡ、Ｂにより対象者の顔１６を撮像しそれぞれ撮像情報を出力する撮像部１１、１２と、予め対象者の顔の画像情報を記憶するメモリ１４と、撮像部１１からの撮像情報およびメモリからの画像情報に基づき対象者についての第１の顔認識度を求め、かつ撮像部１２からの撮像情報およびメモリ１４からの画像情報に基づき対象者の第２の顔認識度を求める顔認識部１３と、第１の顔認識度と第２の顔認識度とを比較することで対象者の視線方向を判定する視線判定部１５とを有する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、運転者等の視線方向を判定する視線方向判定装置に関し、さらに視線方向判定装置を用いた対話システムおよび運転支援システムに関する。
【０００２】
【従来の技術】
従来より人の視線を検出し、その検出結果に応じて電子機器等の入力あるいは命令等を行うシステムが開発されている。視線検出システムを車両に応用したものに、例えば特許文献１に開示された「運転支援システム」がある。この運転支援システムは、運転者の視線を検出し、視線方向の交通状況等の情報を運転者からの要求スイッチに応じて提供するものである。
【０００３】
視線方向を検出する原理には、眼球の黒目と白目の反射率の差を利用した強膜反射法や画像処理による解析を用いた方法がある。後者の方法を用いたシステムは、通常２台のカメラと専用の画像処理ソフトを搭載したコンピュータを用い、２台のカメラによって撮像された被験者の顔の画像から目の輪郭画像を切り出し、その映像の中から瞳孔の中心位置を求めて視線方向を計算処理するものである。
【０００４】
【特許文献１】
特開平６−２５１２８７号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、このような従来の視線検出システムは、視線方向を検出するために高度な画像処理あるいは画像解析を必要とし、そのためにシステムが非常に高価となってしまう。その結果、視線検出システムを車両に搭載するにはコスト的に高くなってしまう。一方、上記公報の運転支援システムでは、運転者の視線方向の交通情報を提示するのに運転者による情報要求スイッチの操作を必要とするため、運転者は、車両の走行中に運転以外の操作をしなければならず、少なからず安全運転の注意が損なわれる惧がある。
【０００６】
そこで本発明は、上記従来の課題を解決し安価な装置で運転者等の対象者の視線方向を判定することができる視線方向判定装置を提供することを目的とする。
さらに本発明の他の目的は、視線方向判定装置を用い運転者との対話を開始させる話システムを提供する。
さらに本発明の他の目的は、視線方向判定装置を用い運転者に必要な支援情報を提供する運転支援システムを提供する。
【０００７】
【課題を解決するための手段】
本発明による視線方向判定装置は、互いに離間して配置された少なくとも第１、第２の撮像部を備え、前記第１、第２の撮像部は対象者の顔を撮像しそれぞれ第１、第２の撮像情報を出力する撮像手段と、予め対象者の顔の画像情報を記憶する記憶手段と、前記第１の撮像情報および前記画像情報に基づき対象者についての第１の顔認識度を求め、かつ前記第２の撮像情報および前記画像情報に基づき対象者の第２の顔認識度を求める顔認識手段と、前記第１の顔認識度と前記第２の顔認識度とを比較し対象者の視線方向を判定する判定手段とを有する。
【０００８】
本発明では、「視線方向」と「顔の向き」とが実質的に同等であることを利用し、例えば第１の撮像部による顔の認識度が第２の撮像部による顔の認識度よりも高ければ、対象者の顔が第１の撮像部の方を向いていることとなるから、対象者の視線方向が第１の撮像部の方を向いていると判定する。撮像部によって得られた撮像情報と記憶部に記憶された顔の画像情報とを比較しあるいはマッチングさせる手法は従来より安価なシステムとして提供されている。このため、本発明による視線方向判定装置を低コストにて提供することができる。
【０００９】
本発明による対話システムは、対象者の顔を撮像する複数の撮像部を備え、各撮像部によって撮像された撮像情報から対象者の顔の認識度を求めることで対象者の視線方向を判定する判定装置と、前記判定装置により対象者の視線方向が一定の方向を向いたことが判定されたとき、対象者との対話を開始させる対話手段とを有する。上記したように安価な視線方向判定手段を用いることで、対話システムも低コストにて提供することが可能である。対象者の顔の向きが一旦ある方向に向けられれば、それがトリガー（あるいは入力スイッチ）となって対話が開始される。例えば、表示画面上に擬人化されたエージェントを表示させ、対象者との対話を自動的に開始するようにしても良い。このような対話システムは、車載用のみならずゲーム装置や他の装置にも適用することができる。
【００１０】
本発明の運転支援システムは、運転者の顔を撮像する複数の撮像部を備え、各撮像部によって撮像された撮像情報から運転者の顔の認識度を求めることで運転者の視線方向を判定する視線判定装置と、画像表示を行う画像表示手段と、音声入出力機能を備えた音声入出力手段と、前記画像表示手段、前記音声入出力手段および車両に搭載された他の電子機器を制御する制御手段とを有する。そして、前記制御手段は、前記視線判定装置により運転者の視線方向が一定の方向を向いたことが判定されたとき、運転者に対して運転支援に必要な情報を前記画像表示手段に表示させる。運転者が顔を一定の方向に一旦向けるだけで、それがトリガーあるいは入力スイッチとなって、運転者に必要な情報を提供することができるので、運転者の安全運転を極力損なわせるがなく、運転者に快適な運転環境を提供することができる。さらに、視線方向判定装置は、運転者の顔認識度から運転者の本人確認を行うことも可能であり、運転者が本人でないことが判定されて場合には、制御手段は一定の警告を出すようにしても良い。
【００１１】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。図１は本発明による視線方向判定装置の構成を示すブロック図である。視線方向判定装置１は、撮像部１１、１２と、撮像部１１、１２に接続されたそこから撮像信号を受け取り対象者の顔を認識する顔認識部１３と、対象者の顔についての画像情報を予め保存するメモリ１４と、顔認識部１３の認識結果から対象者の視線方向を判定する視線判定部１５とを含む。
【００１２】
撮像部１１、１２は、図２に示すように対象者の顔１６を撮像するＣＣＤカメラＡ、Ｂを備えている。ＣＣＤカメラＡ、Ｂは互いに離間され、対象者の顔１６を中心としたとき、それぞれ角度αだけ離されている。カメラＡ、Ｂは、対象者の顔１６を撮像し、これによって得られた撮像信号は、撮像部１１、１２においてデジタル信号に変換され、デジタル化された撮像信号が顔認識部１３に出力される。
【００１３】
顔認識部１３は、撮像部１１、１２からの撮像信号とメモリ１４に記憶された顔の画像情報との相似度を計算し対象者の顔の認識度を求める。顔認識のアルゴリズムは、例えば、目や鼻の位置や大きさ、唇の形状や大きさ、顔の輪郭、額の形等の相似度を求める。このため、メモリ１４には対象者の顔の輪郭、目、鼻、口等の特徴部分の位置や大きさ等の画像情報が記憶されている。
【００１４】
図３は顔認識部１３における顔の認識度を示すもので、図中、曲線ａはカメラＡからの撮像信号による顔の相似度と顔の向きの関係を示し、曲線ｂはカメラＢからの撮像信号による顔の相似度と顔の向きの関係を示す。以下の顔認識度の数値は、現在市販されている入手可能な顔認識ソフトを用いたときの例である。対象者の顔１６がカメラＡのほぼ真正面のとき、曲線ａはほぼ１００％に近い顔の相似度を示す。このとき、対象者の顔の正面方向とカメラＢとの成す角はαであり、曲線ｂの顔の相似度は２０％以下となる。反対に、対象者の顔がカメラＢの正面を向くと、曲線ａの顔の相似度は２０％以下となり、曲線ｂの顔の相似度がほぼ１００％に近い値となる。このように、離間されたカメラＡ、Ｂにより対象者の顔を撮像すると、その顔の向きに応じて一方のカメラによる顔認識度が、他方のカメラによる顔認識度よりも大きく（または小さく）なることを利用して、本発明は対象者の視線方向を判定する。また、対象者の顔の正面方向とカメラＡまたはＢが成す角度が±１５度以内であれば、曲線ａ、ｂによる顔の相似度はおよそ７０％程度となるため、視線方向の判定とともにこのような出力値を利用して本人確認を合わせて行うようにしてもよい。
【００１５】
視線判定部１５は、顔認識部１３の顔認識結果から、カメラＡによる顔認識度（曲線ａ）とカメラＢによる顔認識度（曲線ｂ）とを比較し、顔認識度の高い方のカメラに対象者の顔が向けられていると判定する。そして、顔の方向と視線方向とはおおよそ一致することを前提に、対象者の視線方向は、顔認識度の高いカメラの方向にあると判定する。
【００１６】
さらに視線判定部１５は、図３に示す曲線ａと曲線ｂの関係を予め記憶しておくことで、顔認識度の割合から対象者の顔がカメラに対してどれくらいの角度にあるかを判定することができる。例えば、カメラＡによる顔認識部１３が約７０％であり、カメラＢによる顔認識度は約２０％であるとすると、視線判定部１５は、これらの顔認識度を比較し、対象者の顔の向きがカメラＡの方向であり、かつカメラＡに対して±１５度の範囲内にあると判定する。
【００１７】
図４は視線方向を判定する動作フローを示す図である。先ず初めに、カメラＡ、Ｂにより対象者の顔を撮像する（ステップＳ１０１）。カメラＡ、Ｂにより撮像された撮像信号が顔認識部１３に供給され、これらの撮像信号とメモリ１４に記憶された画像情報とを比較し、カメラＡにより撮像された撮像信号についての顔認識度と、カメラＢにより撮像された撮像信号についての顔認識度とを算出する（ステップＳ１０２）。次に、視線判定部１５は、カメラＡによる顔認識度とカメラＢによる顔認識度とを比較し、顔認識度の高い方に対象者の視線が向けられていると判定する。
【００１８】
本実施の態様による視線方向判定装置は、例えばコンピュータ装置にＣＣＤカメラＡ、Ｂを接続し、さらに図４に示す視線判定の動作フローを実行するプログラムをコンピュータ装置に搭載させることで簡単にかつ安価に得ることができる。
【００１９】
本実施の態様では２台のカメラを用いて視線方向の判定を行ったが、これに限らず複数台のカメラを用いることが可能である。複数台のカメラを配置させると、図３に示す曲線がカメラの台数分だけ得られ、それに応じてピーク値（もっとも相似度が高い値）が現れる。これを検出することにより、対象者の顔の向きをカメラの台数に応じて多段階で検出することができ、その結果、視線方向の角度の判定もより詳細なものとすることができる。
【００２０】
さらに上記視線方向判定装置により本人確認を同時に行うことも可能である。顔認識部１３において、顔の相似度または認識度の割合が所定値以上のときに本人であることを確認し、視線方向の判定を行うようにしても良い。本人であるか否かを決定する相似度の割合は、顔認識アルゴリズムや精度に応じて適宜選択される。
【００２１】
次に本発明の第２の実施の形態に係る運転支援システムを図５に示す。本実施の態様は、図１の視線方向判定装置を車両に適用したものであり、図中、図１に示すものと同一構成については同一参照番号を付してある。
【００２２】
運転支援システム２０は、図１に示す視線方向判定装置に加え、ナビゲーション装置２１、テレビチューナ装置２２、空調装置２３、その他の電子機器２４、ディスプレイ２５、音声入出力部２６及び制御部２７とを含む。
【００２３】
ナビゲーション装置２１は、運転者が目的の位置に到達することができるように車両の走行案内を行うもので、自立航法センサやＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）受信機を用いて車両の現在位置を検出し、その近傍の地図データを記録媒体から読み出してディスプレイ２５上に表示するとともに、自車位置を示す車両マークを重ねて表示する。そして、車両の移動によりディスプレイ２５上で車両マークを移動させたり地図をスクロールさせ、車両が現在どこを走行しているのかを分かるようにしてある。さらに、ナビゲーション装置２１は、目的地までの経路を誘導する経路誘導機能も搭載されている。
【００２４】
テレビチューナ装置２２は、テレビジョン信号を受信してその映像をディスプレイ２５に表示するとともに音声入出力部２６を介して音声を出力する。テレビチューナ装置２２は、必ずしもナビゲーション装置２１と個別である必要はなく、ナビゲーション装置２１がテレビチューナ機能を包含していても良い。
【００２５】
空調装置（エアーコンディショナー）２３は車両内の温度を制御し、または車両内の空気の給排気を行う。その他の電子機器２４は、車両の室内灯、パワーウインドウ装置あるいはヘッドライト装置等の車両に取り付けられる機器である。ディスプレイ２５は、ナビゲーション装置２１の地図を表示したり、これ以外にも制御部２７の指示により運転者に対する運転支援に必要な情報を表示する。音声入出力部２６は、スピーカを介してナビゲーション装置２１やテレビチューナ２３の音声を出力したり、これ以外にも制御部２７の指示により運転者の運転支援に必要な音声を出力したり、あるいは運転者による音声入力を認識し、これを制御部２７へ伝達する。制御部２７は、視線判定部１５の判定結果に応じて、ナビゲーション装置２１を含む各部を制御し、運転者の運転を支援する。
【００２６】
図６は図５に示す運転視線システムを車両に搭載した例を示す図である。車両のダッシュボード３１上にカメラＡ、Ｂが取り付けられる。ダッシュボード３１の下部にはディスプレイ２５が設けられる。ディスプレイ２５には、車両の速度や燃料の残量等を示す情報が表示されても良い。運転席は、カメラＡのほぼ正面に配置されており、運転者が車両を走行させているときは、前方を見ていることが多いため、通常はカメラＡが運転者の顔をほぼ正面から撮像している。カメラＢはダッシュボード３１のほぼ中央に配され、運転者が前方を見ているとき、運転者の顔を斜め方向から撮像する。カメラＣは必ずしも必要ではないが、カメラＣを設けることで運転者の顔の向きを多段階で判定することが可能である。
【００２７】
次に図７に運転支援システムの動作フローを示す。本例では、車両が走行中であることを前提とする。先ず、カメラＡ、Ｂにより運転者の顔が撮像され（ステップＳ２０１）、運転者の視線方向が判定される（ステップＳ２０２）。運転者が前方を見ているとき、運転者の顔はカメラＡのほぼ正面にあり、カメラＡによる顔認識度がカメラＢによる顔認識度よりも高く、運転者の視線方向は前方（あるいはカメラＡの方向）であると判定される。運転者がカメラＢの方向を向くと、カメラＢの顔認識度がカメラＡの顔認識度よりも高くなるため、運転者の視線方向がカメラＢの方向にあると判定される。制御部２７は、視線判定部１５の判定結果に基づき、運転者の視線方向がカメラＢの方向あるいは前方から一定の角度を越えたと判断した場合（ステップＳ２０３）、ディスプレイ２５上に擬人化されたエージェントを表示させ（ステップＳ２０４）、エージェントによる音声を出力させ、運転者とエージェントの対話を開始可能にさせる（ステップＳ２０５）。このとき、エージェントは運転者に対して、例えば「対話可能です」等の合図を音声にて出力する。そして、運転者は、エージェントに対してナビゲーション装置２１をはじめとする電子機器類の操作の指示を音声により行う（ステップＳ２０６）。例えば、ディスプレイ２５上にナビゲーションの地図を表示させたい場合には「ナビオン」であるとか、空調装置２３を作動させたい場合には「エアコンオン」であるとかの音声による指示を出す。運転者の音声は音声入出力部２６により音声認識され、その認識結果がデジタル信号として制御部２７へ伝達され、制御部２７はその指示を実行する（ステップＳ２０７）。エージェントは、運転者に対してさらに指示があるか否かを音声により質問する（ステップＳ２０８）。指示が継続される場合にはステップＳ２０６、Ｓ２０７が繰り返され、運転者から指示終了の合図があれば、支援システムが終了される。
【００２８】
このように運転者の視線方向を判定し、それが一定の方向を向いたと判断された場合、それがトリガーまたは入力スイッチとなって、運転者とエージェントとの対話が可能となる。勿論、運転者が顔をカメラＢの方向に一旦向ければ十分であり、その後、運転者は顔をカメラＡの方向に瞬時に戻してよい。
【００２９】
以上、本発明の好ましい実施の形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【００３０】
上記実施の態様では、ディスプレイ２５上に現実味を出すために擬人化されたエージェントを表示させ、運転者とエージェントとの音声対話を行わせたが、必ずしもディスプレイ２５にエージェントを表示させる必要はなく、例えば、電子機器の操作メニューを表示させるものでもよい。要するに運転者の視線方向が一定の方向を向いたときに、それを入力手段として用い、運転者に対して運転を支援するための視覚的な出力あるいは聴覚的な出力を行うものであっても良い。
【００３１】
さらに、運転者の視線方向が一定の方向にかつ一定時間以上向けられていると制御部２７が判断した場合には、ディスプレイ２５や音声入出力部２６を介して運転者に対して注意を促す警告を発するようにしてもよい。
【００３２】
さらに、図６に示すカメラＣを搭載した場合、運転者の視線方向を少なくともカメラＡ、カメラＢおよびカメラＣの方向にあることを判定することが可能となる。このため、ディスプレイ２５の表示画面をカメラＡ、Ｂ、Ｃの位置に対応するように３分割し、運転者の視線方向がカメラＡ、Ｂ、Ｃのいずれの方向にあるかに応じて対応する表示画面に運転支援情報等を表示させてもよい。画像表示とともに音声出力を行うことも勿論可能である。さらに、３分割された表示画面に、それぞれ異なる電子機器の操作メニューを表示させても良い。例えば、カメラＡに対応する表示画面にナビゲーション装置２１の操作メニューを表示させ、カメラＢに対応する表示画面にテレビチューナ装置２２の操作メニューを表示させ、カメラＣに対応する表示画面に空調装置２３の操作メニューを表示させても良い。
【００３３】
【発明の効果】
本発明の視線方向判定装置によれば、対象者の顔を認識することで対象者の視線方向を判定するようにしたので、従来と比較して装置を安価に簡単に構成することができる。さらに本発明による運転支援システムによれば、安価な視線方向判定装置を車両に搭載することで、安価で簡単な装置構成で運転支援システムを提供することができるとともに、運転支援のための情報を運転者の安全運転に支障をきたさないような状態で提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る視線方向判定装置の構成を示すブロック図である。
【図２】図１のカメラの配置を示す図である。
【図３】顔の相似度と顔の向きとの関係を示す図である。
【図４】図１の視線方向判定のフローチャートを示す図である。
【図５】本発明の第２の実施の形態に係る運転支援システムの構成を示すブロック図である。
【図６】図５に示す運転支援システムを車両に実装した状態を示す図である。
【図７】運転支援システムの動作を示すフローチャートである。
【符号の説明】
１視線方向判定装置、１１、１２撮像部、
１３顔認識部、１４メモリ、
１５視線判定部、１６顔、
２０運転視線システム、２１ナビゲーション装置、
２２テレビチューナ装置、２３空調装置、
２４その他の電子装置、２５ディスプレイ、
２６音声入出力装置、２７制御部、
３１ダッシュボード、３２運転席、
Ａ、Ｂカメラ。

Claims

互いに離間して配置された少なくとも第１、第２の撮像部を備え、前記第１、第２の撮像部は対象者の顔を撮像しそれぞれ第１、第２の撮像情報を出力する撮像手段と、
予め対象者の顔の画像情報を記憶する記憶手段と、
前記撮像手段からの前記第１の撮像情報および前記記憶手段からの前記画像情報に基づき対象者についての第１の顔認識度を求め、かつ前記撮像手段からの第２の撮像情報および前記記憶手段からの前記画像情報に基づき対象者の第２の顔認識度を求める顔認識手段と、
前記第１の顔認識度と前記第２の顔認識度とを比較し対象者の視線方向を判定する判定手段とを有する、視線方向判定装置。
前記判定手段は、前記第１の顔認識度が前記第２の顔認識度よりも大きいとき、対象者の視線方向が第１の撮像部に向けられていると判定し、その判定結果を出力する、請求項１に記載の視線方向判定装置。
互いに離間して配置された複数の撮像部を備え、前記複数の撮像部は対象者の顔を撮像しそれぞれ撮像情報を出力する撮像手段と、
予め対象者の顔の画像情報を登録する記憶手段と、
前記撮像手段からの複数の撮像情報と前記記憶手段からの前記画像情報に基づき撮像部の数に対応する数の顔認識度をそれぞれ求める顔認識手段と、
前記複数の顔認識度をそれぞれ比較し対象者の視線方向を判定する、視線方向判定装置。
前記判定手段は、前記複数の顔認識度の中で最も高い顔認識度を有する撮像部の方向に対象者の視線方向が向けられていると判定し、その結果を出力する、請求項３に記載の視線方向判定装置。
対象者の顔を撮像する複数の撮像部を備え、各撮像部によって撮像された撮像情報から対象者の顔の認識度を求めることで対象者の視線方向を判定する判定装置と、
前記判定装置により対象者の視線方向が一定の方向を向いたことが判定されたとき、対象者との対話を開始させる対話手段とを有する、対話システム。
前記対話手段は、対象者に対して音声を出力し、また対象者から入力された音声を認識する音声入出力部を含む、請求項５に記載の対話システム。
前記対話手段は、対象者との対話を開始するときに、擬人化されたエージェントを表示する画像表示部を含む、請求項５または６に記載の対話システム。
前記対話手段は、対象者からの音声入力に応答して他の電子機器を制御する、請求項６または７に記載の対話システム。
運転者の顔を撮像する複数の撮像部を備え、各撮像部によって撮像された撮像情報から運転者の顔の認識度を求めることで運転者の視線方向を判定する視線判定装置と、
画像表示を行う画像表示手段と、
音声入出力機能を備えた音声入出力手段と、
前記画像表示手段、前記音声入出力手段および車両に搭載された他の電子機器を制御する制御手段とを有し、
前記制御手段は、前記視線判定装置により運転者の視線方向が一定の方向を向いたことが判定されたとき、運転者に対して運転支援に必要な情報を前記音声入出力部または前記画像表示手段により提供する、運転支援システム。
前記制御手段は、運転支援に必要な情報として前記画像表示手段に電子機器を操作するための操作メニューを表示させる、請求項９記載の運転支援システム。
前記制御手段は、前記操作メニューを前記音声入出力手段を介して音声により出力させる、請求項１０に記載の運転支援システム。
前記制御手段は、前記操作メニューに応答して運転者からの音声による入力指示を前記音声入出力手段を介して受けたとき、当該入力指示を実行する、請求項１１に記載の運転支援システム。
前記制御手段は、前記画像表示手段にナビゲーション用の画像を表示させる、請求項９に記載の運転支援システム。
前記視線判定装置により運転者の視線方向が一定の基準値を超えた場合には、前記画像表示手段または前記音声入出力手段を介して警告の合図を出力させる、請求項９に記載の運転支援システム。
前記視線判定装置は、運転者の顔の認識度から運転者が本人であるか否かを判定する、請求項９に記載の運転支援システム。
前記制御手段は、前記視線判定装置により運転者が本人でないことを判定した場合には、前記画像表示手段または前記音声入出力手段を介して警告を出力する、請求項１５に記載の運転支援システム。
前記複数の撮像部は運転席と対向するダッシュボード上に互いに離間して取り付けられ、少なくとも１つの撮像部が運転席のほぼ真正面に配置され、また前記画像表示手段は車両のインスツルメントパネル内に設けられる、請求項９ないし１６いずれかに記載の運転支援システム。