JP2007272877A - 情報処理装置および方法、プログラム、並びに記録媒体 - Google Patents
情報処理装置および方法、プログラム、並びに記録媒体 Download PDFInfo
- Publication number
- JP2007272877A JP2007272877A JP2007055891A JP2007055891A JP2007272877A JP 2007272877 A JP2007272877 A JP 2007272877A JP 2007055891 A JP2007055891 A JP 2007055891A JP 2007055891 A JP2007055891 A JP 2007055891A JP 2007272877 A JP2007272877 A JP 2007272877A
- Authority
- JP
- Japan
- Prior art keywords
- face image
- person
- image
- pixel data
- data constituting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Processing (AREA)
- Burglar Alarm Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】顔画像認識の技術を利用してより快適に自動車を利用することができるようにする。
【解決手段】画像認識部201は、画像センサにより撮像された画像に含まれる顔画像のデータの特徴量が、自動車の所有者の顔画像のデータの特徴量と一致するか否かを判定し、両者が一致すると判定された場合、顔画像が存在する領域を特定するための情報などを動き分析部202に供給する。動き分析部202は、顔画像の動きを分析して、当該顔画像に対応する人物が、通り過ぎたのか、近づいてくるのかを判定する。インタフェース制御部203は、動き分析部202の分析結果に基づいて、必要に応じて自動車のエアコン、パワーシートなどの操作を行うための制御信号などを出力させる。
【選択図】図5
【解決手段】画像認識部201は、画像センサにより撮像された画像に含まれる顔画像のデータの特徴量が、自動車の所有者の顔画像のデータの特徴量と一致するか否かを判定し、両者が一致すると判定された場合、顔画像が存在する領域を特定するための情報などを動き分析部202に供給する。動き分析部202は、顔画像の動きを分析して、当該顔画像に対応する人物が、通り過ぎたのか、近づいてくるのかを判定する。インタフェース制御部203は、動き分析部202の分析結果に基づいて、必要に応じて自動車のエアコン、パワーシートなどの操作を行うための制御信号などを出力させる。
【選択図】図5
Description
本発明は、情報処理装置および方法、プログラム、並びに記録媒体に関し、特に、顔画像認識の技術を利用してより快適に自動車を利用することができるようにする情報処理装置および方法、プログラム、並びに記録媒体に関する。
人物を検出する技術としては、画像処理、遠赤外線センサ、静電容量式、音波式、電波式、光学式物体検出センサ、光学式レーダ、電波式レーダ、ドップラセンサなど様々な方式があり、接近してくる物体が予め登録された人物であるか否かを識別することも可能である。接近してくる物体を自動的に判定する技術も提案されている(例えば、特許文献1参照)。
また、近年、例えば、自動車の盗難防止システム、ユーザの利便性向上システム、事故防止システムとして、カメラで撮像した車両運転者の顔画像を利用して運転者を認識するシステムが提案されている。
例えば、カメラが撮像した運転者の顔画像から画像の特徴量を抽出し、抽出した特徴量と、あらかじめ登録された特徴量とを照合し、両者が一致した場合、エンジンの始動が許可されたり、車載機器等の環境がそのユーザに合わせた環境に設定されたりする。
また、このような顔画像認識による運転者の外観認証を複数行うシステムであって、赤外線照射手段の長寿命化を可能とする技術も提案されている(例えば、特許文献2参照)。
しかしながら、従来の技術では、例えば人物と自動車との距離が徐々に小さくなったときに、その人物が自動車に接近しようとしているのか、または自動車の近くを通過しているのかを判定することはできなかった。
また、顔画像認識では、事前に登録された顔画像の特徴と一致しているかの確認をあまり厳密に行うと、例えば体調や装置のコンディションなどにより本人であるにもかかわらず、本人ではないと判定されてしまうことがあるので、事前に登録された顔画像の特徴と一致していると判断される条件をある程度緩やかにし、幅を持たせる必要がある。その結果、他人であるのに所有者本人と判定されてしまう確率をゼロにすることは困難であり、セキュリティが重視されるドアロックの解除、エンジンの始動などの処理を、顔画像認識のみに基づいて実行することは望ましいとは言えない。
また、近年では、自動車から離れたところから、ドアの開け閉めが可能な、いわゆるキーレスエントリーシステムの普及も目覚しく、今後キーレスエントリーシステムのセキュリティ面も一段と改善されることが予想される。
一方、エアコンの始動、ナビゲーション装置、オーディオ装置など電子装置の起動、シートポジションの調整などを運転者が自動車に乗り込むのに先立って行っておけば、自動車に乗り込んだときに、すぐに利用を開始することができ、利用を開始するときに望ましい状態にすることができる。
本発明は、このような状況に鑑みてなされたものであり、顔画像認識の技術を利用してより快適に自動車を利用することができるようにするものである。
本発明による情報処理装置は、予め定められた場所の画像を撮像する撮像手段と、撮像手段により撮像された画像に含まれる人物の顔画像を構成する画素のデータを抽出するとともに、顔画像を構成する画素のデータの特徴量が予め記憶されている特徴量と一致するか否かを判定する顔画像判定手段と、顔画像判定部より、顔画像を構成する画素のデータの特徴量が予め記憶されている特徴量と一致すると判定された場合、予め設定された時間内の撮像手段により撮像される画像の中での顔画像の動きを分析して分析結果を表す情報を出力する動き分析手段と、動き分析手段の分析結果に基づいて、顔画像に対応する人物が自分に対して接近してくるか否かを判定する接近判定手段と、接近判定手段により顔画像に対応する人物が自分に対して接近してくると判定された場合、所定の信号を出力する信号出力手段とを備える情報処理装置である。
本発明の情報処理装置においては、予め定められた場所の画像を撮像する撮像手段により撮像された画像に含まれる人物の顔画像を構成する画素のデータが抽出されるとともに、顔画像を構成する画素のデータの特徴量が予め記憶されている特徴量と一致するか否かが判定され、顔画像を構成する画素のデータの特徴量が予め記憶されている特徴量と一致すると判定された場合、予め設定された時間内の撮像手段により撮像される画像の中での顔画像の動きが分析されて分析結果を表す情報が出力され、分析結果に基づいて、顔画像に対応する人物が自分に対して接近してくるか否かが判定され、顔画像に対応する人物が自分に対して接近してくると判定された場合、所定の信号が出力される。
したがって、認識された顔画像の人物が近づいてきた場合に所定の処理を実行させることができる。
前記動き分析手段は、予め設定された時間内の撮像手段により撮像される画像の中での顔画像の中心位置の変化と、顔画像を構成する領域の面積の変化に基づいて動きを分析するようにすることができる。
したがって、顔画像の人物が接近してくる場合と、通り過ぎる場合、または遠ざかっている場合とを確実に区別することができる。
前記動き分析手段は、顔画像に対応する人物が自分に対して接近してくるか否か、または顔画像に対応する人物が自分に対して接近して立ち止まったか否かを表す情報を分析結果として出力するようにすることができる。
自動車に取り付けられ、顔画像判定手段は、顔画像を構成する画素のデータの特徴量が予め記憶されている自動車の所有者の顔画像を構成する画素のデータの特徴量と一致するか否かを判定するようにすることができる。
前記信号出力手段は、前記自動車に取り付けられた機器のうち、電気信号により制御可能な機器に対して、前記自動車の所有者にとって好適な状態となるように、前記機器を動作させるための制御信号を出力する
したがって、自動車の所有者が自動車に搭乗するのに先立って、エアコンやパワーシートなどを調整しておくことが可能となる。
前記信号出力手段は、自動車の所有者にとって好適な状態となるように、機器を動作させるための制御信号を出力した後、予め設定された時間が経過しても自動車に所有者が搭乗しなかったと判定された場合、機器の動作を解除させる制御信号をさらに出力するようにすることができる。
したがって、所有者の顔画像が誤認識された場合、エアコンやパワーシートなどの設定をキャンセルすることができる。
本発明による情報処理方法は、予め定められた場所の画像を撮像する撮像手段により撮像された画像に含まれる人物の顔画像を構成する画素のデータを抽出するとともに、顔画像を構成する画素のデータの特徴量が予め記憶されている特徴量と一致するか否かを判定し、顔画像を構成する画素のデータの特徴量が予め記憶されている特徴量と一致すると判定された場合、予め設定された時間内の撮像手段により撮像される画像の中での顔画像の動きを分析して分析結果を表す情報を出力し、分析結果に基づいて、顔画像に対応する人物が自分に対して接近してくるか否かを判定し、顔画像に対応する人物が自分に対して接近してくると判定された場合、所定の信号を出力するステップを含む情報処理方法である。
本発明によるプログラムは、予め定められた場所の画像を撮像する撮像手段により撮像された画像に含まれる人物の顔画像を構成する画素のデータを抽出するとともに、顔画像を構成する画素のデータの特徴量が予め記憶されている特徴量と一致するか否かの判定を制御し、顔画像を構成する画素のデータの特徴量が予め記憶されている特徴量と一致すると判定された場合、予め設定された時間内の撮像手段により撮像される画像の中での顔画像の動きを分析して分析結果を表す情報の出力を制御し、分析結果に基づいて、顔画像に対応する人物が自分に対して接近してくるか否かの判定を制御し、顔画像に対応する人物が自分に対して接近してくると判定された場合、所定の信号の出力を制御するステップを含むコンピュータが読み取り可能なプログラムである。
本発明による記録媒体は、予め定められた場所の画像を撮像する撮像手段により撮像された画像に含まれる人物の顔画像を構成する画素のデータを抽出するとともに、顔画像を構成する画素のデータの特徴量が予め記憶されている特徴量と一致するか否かの判定を制御し、顔画像を構成する画素のデータの特徴量が予め記憶されている特徴量と一致すると判定された場合、予め設定された時間内の撮像手段により撮像される画像の中での顔画像の動きを分析して分析結果を表す情報の出力を制御し、分析結果に基づいて、顔画像に対応する人物が自分に対して接近してくるか否かの判定を制御し、顔画像に対応する人物が自分に対して接近してくると判定された場合、所定の信号の出力を制御するステップを含むコンピュータが読み取り可能なプログラムが記録されている記録媒体である。
本発明の情報処理方法およびプログラムにおいては、予め定められた場所の画像を撮像する撮像手段により撮像された画像に含まれる人物の顔画像を構成する画素のデータが抽出されるとともに、顔画像を構成する画素のデータの特徴量が予め記憶されている特徴量と一致するか否かが判定され、顔画像を構成する画素のデータの特徴量が予め記憶されている特徴量と一致すると判定された場合、予め設定された時間内の撮像手段により撮像される画像の中での顔画像の動きが分析されて分析結果を表す情報が出力され、分析結果に基づいて、顔画像に対応する人物が自分に対して接近してくるか否かが判定され、顔画像に対応する人物が自分に対して接近してくると判定された場合、所定の信号が出力される。
本発明によれば、顔画像認識の技術を利用してより快適に自動車を利用することができる
以下に、本発明の実施の形態について図面を参照して説明する。
図1は、本発明の車両制御装置10の一実施の形態に係る構成例を示すブロック図である。同図に示されるように、車両制御装置10は、マイコン31、画像センサ32、コントロールインタフェース33、および各部を相互に接続するバス34により構成されている。この車両制御装置10は、自動車に取り付けられ、後述するように自動車の所有者を認識して、所有者が自動車に乗車するのに先立って所定の処理を実行するように構成されている。
画像センサ32は、CCD(Charge-Coupled Devices)イメージセンサなどの撮像素子を用いて構成され、例えば、運転席付近に取り付けられたレンズを介して入射した光に対応して撮像素子から出力される信号に基づいて画像を撮像する。画像センサ32は、レンズの取付位置、焦点位置、絞りなどの調整が適当になされることにより、自動車の外にいる人の顔画像を撮像することが可能となるようになされている。
コントロールインタフェース33は、自動車の電子制御部品などと接続され、マイコン31の制御に応じて、所定の信号などを送受信する。例えば、コントロールインタフェース33は、自動車のドアロックが解除されているか否かを表す信号を受信したり、自動車のエアコンの操作を行う制御信号を出力したり、自動車の運転席の位置を、電気モータなどを用いて調整する装置であるパワーシートの操作を行う制御信号を出力したりする。
マイコン31は、内部にプロセッサ、メモリなどを有する小型のコンピュータとして構成され、実装されたプログラムなどのソフトウェアなどによりバス34を介して画像センサ32、およびコントロールインタフェース33を制御する。マイコン31は、例えば、画像センサ32から供給される画像信号に基づいて、所定の特徴量を検出して自動車の所有者の顔画像を認識したり、認識された顔画像の動きを分析したりする処理を実行する。
図2は、画像センサ32のレンズの取り付け位置と、画像センサにより撮像される画像の位置を説明する図である。同図において、画像センサのレンズ32aは、自動車100のステアリングホイール101の付近であって、運転席の周辺に取り付けられており、画像センサ32は、例えば、運転席から自動車の窓越しに、点線a1とa2に挟まれる範囲内の物体を撮像する。
上述したように、マイコン31は、例えば、画像センサ32から供給される画像信号に基づいて、所定の特徴量を検出して自動車の所有者の顔画像を認識する。したがって、点線a1とa2に挟まれる範囲内に人が入ってきた場合、マイコン31は、画像センサ32から供給される画像に基づいて、画像に含まれる顔画像の部分の特徴量を検出し、予め登録されている自動車100の所有者の顔画像の特徴量と比較することにより、その顔画像が自動車の所有者であるか否かを識別する。
車両制御装置10は、自動車の所有者を認識して、所有者が自動車に乗車するのに先立って、例えば、エアコンを稼動させて車内の温度の上げ下げを行ったり、パワーシートを制御して運転席の位置(シートポジション)を、所有者に最も適した位置に移動させたりする処理を実行する。
しかしながら、自動車の所有者の顔画像が認識された場合、すなわち自動車の所有者が点線a1とa2に挟まれる範囲内に入ってきたからといって、その後、所有者が自動車100を運転するとは限らず、所有者は自動車100の近辺をただ通り過ぎただけという場合もある。このため、自動車の所有者の顔画像が認識された場合、常に、エアコンを稼動させて車内の温度の上げ下げを行ったり、パワーシートを制御して運転席の位置を移動させたりする処理を実行してしまうと、バッテリーの消耗などにつながる恐れがある。
そこで、本発明の車両制御装置10においては、認識された顔画像の動きが分析され、その分析結果に基づいて、エアコンを稼動させて車内の温度の上げ下げを行ったり、パワーシートを制御して運転席の位置を移動させたりする処理を実行する。
すなわち、図3に示されるように、画像センサ32により撮像された画像において、所有者の顔151の画像が認識され、その画像が所定の時間の間に、自動車100の側面を、図中下側から上側に通り過ぎるように動いていると分析された場合は、エアコンや、パワーシートの制御などの処理は実行されないようにする。
一方、図4に示されるように、画像センサ32により撮像された画像において、所有者の顔151の画像が認識され、その画像が所定の時間の間に、自動車100の運転席に向かって近づいてくる(図中右下側から左上側に動いてくる)と分析された場合は、エアコンや、パワーシートの制御などの処理が実行されるようにする。
図5は、図1のマイコン31に実装されるソフトウェアの機能的構成例を示すブロック図である。
図5において、画像認識部201は、画像センサ32により撮像された画像のデータに対して予め定められた処理を施すなどして画像の中に人の顔の画像(顔画像)が含まれているか否かを判定し、画像の中に顔画像が含まれている場合、その顔画像を構成する画素のデータから特徴量を抽出し、予め記憶されている自動車100の所有者の顔画像のデータの特徴量と比較する。
画像認識部201は、画像センサ32により撮像された画像に含まれる顔画像のデータの特徴量が、自動車100の所有者の顔画像のデータの特徴量と一致するか否かを判定し、両者が一致すると判定された場合、例えば、所有者の顔画像が認識されたことを表す情報と、画像の中で顔画像が存在する領域を特定するための情報などを動き分析部202に供給する。
なお、上述した顔画像の特徴量の比較において、予め記憶された顔画像の特徴量と一致しているかの確認をあまり厳密に行うと、例えば体調や装置のコンディションなどにより本人であるにもかかわらず、本人ではないと判定されてしまうことがある。このため、画像認識部201による顔画像の特徴量の一致の判定は、例えば、特徴量の値が正確に一致した場合のみに一致したと判定されるものではなく、一致していると判定される条件をある程度緩やかにし、例えば、特徴量の値が所定の範囲内であれば一致していると判定されるなど、幅を持たせた状態で判定される。
動き分析部202は、画像認識部201から供給される顔画像が存在する領域を特定するための情報に基づいて、後述するように顔画像の動きを分析する。そして、動き分析部202は、顔画像の動きの分析結果に基づいて、当該顔画像に対応する人物(自動車100の所有者)が、通り過ぎたのか、近づいてくるのかを判定する。
インタフェース制御部203は、動き分析部202の分析結果に基づいて、コントロールインタフェース33を制御し、必要に応じて自動車100のエアコン、パワーシートなどの操作を行うための制御信号などを出力させる。なお、自動車100のどの部分(例えば、エアコン、パワーシートなど)を、どの程度(例えば、設定温度、移動量など)操作するかは、予めマイコン31の内部のメモリなどに記憶されているようにしてもよいし、あるいはまた、自動車100の周囲の温度などの情報を取得し、その情報に基づいてプログラムなどにより最適な操作が特定されるようにしてもよい。
次に、車両制御装置10による、自動車の所有者を認識して、所有者が自動車に乗車するのに先立って行われる処理である運転準備処理について、図6のフローチャートを参照して説明する。ここでは、所有者が自動車に乗車するのに先立って、自動車のエアコンを稼動させる例について説明する。
ステップS101において、画像認識部201は、自動車100の所有者の顔画像を検出したか否かを判定し、検出したと判定されるまで待機する。ステップS101において、所有者の顔画像が検出されたと判定された場合、処理は、ステップS102に進む。
ステップS102において、動き分析部202は、図7を参照して後述する動き分析処理を実行する。これにより、ステップS101の処理で検出された顔画像に対応する人物(自動車100の所有者)が自動車100に接近しているのか否かが判定される。
ここで、図7のフローチャートを参照して、図6のステップS102の動き分析処理の詳細について説明する。
ステップS121において、動き分析部202は、ステップS101の処理で検出された顔画像の領域の中で、中心となる位置の座標(中心座標)P1を取得する。
ステップS122において、動き分析部202は、ステップS101の処理で検出された顔画像の面積S1を計算して取得する。
ステップS123において、動き分析部202は、予め設定された所定の時間(例えば、1秒)経過したか否かを判定し、所定の時間が経過したと判定されるまで待機する。ステップS123において、所定の時間が経過したと判定された場合、処理は、ステップS124に進む。
ステップS124において、動き分析部202は、現在の顔画像の中心座標P2を取得する。なお、画像認識部201は、自動車100の所有者の顔画像を検出した場合、顔画像の移動に伴って、画像の中で顔画像が存在する領域を特定するための情報を、あらためて動き分析部202に供給する処理を繰り返すものとする。すなわち、ステップS124においては、ステップS121の時刻から所定の時間(例えば、1秒)経過したときの顔画像の中心座標が取得されることになる。
ステップS125において、動き分析部202は、現在の顔画像の面積S2を計算して取得する。
ステップS126において、動き分析部202は、予め設定された所定の時間(例えば、1秒)経過したか否かを判定し、所定の時間が経過したと判定されるまで待機する。ステップS126において、所定の時間が経過したと判定された場合、処理は、ステップS127に進む。
ステップS127において、動き分析部202は、現在の顔画像の中心座標P3を取得する。このとき、ステップS124からさらに所定の時間(例えば、1秒)が経過したときの顔画像の中心座標が取得される。すなわち、ステップS127においては、ステップS121の時刻から、例えば、2秒経過したときの顔画像の中心座標が取得されることになる。
ステップS128において、動き分析部202は、現在の顔画像の面積S3を計算して取得する。
ステップS129において、動き分析部202は、図8を参照して後述する接近判定処理を実行する。
ここで、図8のフローチャートを参照して、図7のステップS129の接近判定処理の詳細について説明する。
ステップS151において、動き分析部202は、座標P1乃至P3に対応する各点間の距離を演算する。ここでは、座標P1とP2間の距離、座標P1とP3間の距離、および座標P2とP3間の距離がそれぞれ演算されることになる。
ステップS152において、動き分析部202は、ステップS151の処理で演算された距離(いまの場合、3通りの距離)は、すべて閾値以下であるか否かを判定する。
時間の経過に伴って移動した顔画像の中心座標(P1乃至P3)間の距離が大きい場合、その顔画像に対応する人物の動きは、例えば、図3に示されるように、点線a1とa2に挟まれた領域内を通りすぎているものと考えられる。すなわち、図4に示されるように、顔画像に対応する人物が接近してくる場合、時間の経過に伴って移動した顔画像の中心座標間の距離は、小さいものになると考えられ、ステップS151の処理で演算された距離のいずれかが閾値を超えている場合、顔画像に対応する人物が接近してくるとは考え難い。
図9は、図3に示されるように人物が自動車の側面と通り過ぎるとき、画像センサ32により撮像される、点線a1とa2に挟まれた領域内の画像250の例を示す図である。図9においては、画像250の中に顔画像251−1乃至251−3が示されており、顔画像251−2は、顔画像251−1が撮像された時刻から、例えば1秒経過したとき撮像された顔画像とされ、顔画像251−3は、顔画像251−2が撮像された時刻から、例えば、さらに1秒経過したとき撮像された顔画像とされる。
これに対して、図4に示されるように、人物が自動車(運転席)に接近してくるとき、画像センサ32により撮像される、点線a1とa2に挟まれた領域内の画像260は、例えば、図10に示されるようになる。図10においては、画像260の中に顔画像261−1乃至261−3が示されており、顔画像261−2は、顔画像261−1が撮像された時刻から、例えば1秒経過したとき撮像された顔画像とされ、顔画像261−3は、顔画像261−2が撮像された時刻から、例えば、さらに1秒経過したとき撮像された顔画像とされる。
図9のように人物が自動車の側面と通り過ぎる場合の画像においては、時間の経過に伴って移動した顔画像の中心座標P1乃至P3間の距離は、図10のように人物が接近してくる場合の画像と比較して、充分大きいものになる。
ステップS152において、ステップS151の処理で演算された距離がすべて閾値以下ではないと判定された場合、顔画像に対応する人物が接近してこないと考えられるので、接近判定処理は終了される。
ステップS152において、ステップS151の処理で演算された距離がすべて閾値以下であると判定された場合、処理は、ステップS153に進み、動き分析部202は、面積S1乃至S3の大きさを比較する。
ステップS154において、動き分析部202は、面積S1乃至S3の大きさが、次式を満たす関係であるか否かを判定する。
S1≦S2≦S3
例えば、図10に示されるように、顔画像に対応する人物が接近してくる場合、時間の経過に伴って移動した顔画像の面積は、序々に大きくなるものと考えられる。すなわち、図10においては、顔画像251−1の面積より顔画像251−2の面積は大きくなっており、顔画像251−2の面積より顔画像251−3の面積はさらに大きくなっている。換言すれば、時間の経過に伴って移動した顔画像の中心座標P1乃至P3間の距離が閾値以下であっても、顔画像の面積が序々に大きくなっていなければ、人物は立ち止まっていたり、遠ざかっていたりする可能性が高い。
ステップS154において、面積S1乃至S3の大きさが、上述した式を満たす関係ではないと判定された場合、顔画像に対応する人物が接近してこないと考えられるので、接近判定処理は終了される。
一方、ステップS154において、面積S1乃至S3の大きさが、上述した式を満たす関係であると判定された場合、処理は、ステップS155に進み、動き分析部202は、顔画像に対応する人物が接近してくることを表す接近フラグをONに設定する。
なお、接近しているか否かの判定はさらに詳細に行われるようにすることも可能である。例えば、自動車100がワンボックスカーであり、Bピラー上部であって、人の平均的な身長よりも高い位置に水平よりも少し下に向けて画像センサ32のレンズが取り付けられている場合、運転席に乗り込もうとする人物の顔画像は、乗り込む動作とともに、画像左下の領域に向かって大きく移動する動きが検出されることになる。このように、乗り込もうとする動作に伴って検出される顔画像の特徴的な動きを検出し、例えば、ステップS154での判定に加えてさらに、上述した顔画像の特徴的な動きが検出されたか否かを判定することで顔画像に対応する人物が接近しているか否かの判定がさらに詳細に行われるようにしてもよい。
このような場合、画像センサ32のレンズの取付位置と、レンズが向けられる方向に応じて上述した顔画像の特徴的な動きを予め登録しておくようにすればよい。
このようにして、顔画像に対応する人物の接近が検知される。なお、図7と図8を参照して説明した処理は、動き分析処理の一例であって、必ずしもこの方式で顔画像の動きが分析されなければないないわけではない。要は、認識された顔画像に対応する人物が、自動車に接近してくることを確実に検出できればよい。
例えば、レーダなどを用いて物体との間の距離を検出する距離検出装置を設けて、顔画像に対応する人物と自動車との間の距離を測定し、顔画像に対応する人物が、自動車に接近してくることを検出してもよい。あるいはまた、自動車の所有者にRFIDなどの小型の無線通信装置を携行させ、無線通信により自動車の所有者の接近がより正確に検知されるようにしてもよい。
図6に戻って、ステップS102の処理の後、処理は、ステップS103に進み、インタフェース制御部203は、自動車100の所有者が接近してくるのか否かを判定する。接近の判定は、上述した接近フラグに基づいて行われる。
ステップS103において、自動車100の所有者が接近してくると判定された場合、インタフェース制御部203は、自動車100のエアコンをONにする。
ステップS105において、インタフェース制御部203は、自動車100のドアロックが解除されたか否かを判定し、ドアロックが解除されていないと判定された場合、処理は、ステップS106に進む。
ステップS106において、インタフェース制御部203は、ステップS104の処理が実行されてから所定の時間が経過したか否かを判定し、まだ、所定の時間が経過していないと判定された場合、ステップS105に戻る。
顔画像に対応する人物が接近してくる場合であっても、ステップS101における所有者の顔画像の検出は、上述したように、特徴量が一致していると判定される条件をある程度緩やかにして行われるので、例えば、自動車100の所有者ではない人物を、誤って検出している可能性がある。このような場合、ステップS104の処理によるエアコンの稼動も取り消す必要がある。仮に、ステップS101の処理で、自動車100の所有者ではない人物を、誤って検出していた場合、その人物は、自動車100の鍵を持っていないはずなので、ドアロックが解除されることはない。
したがって、ステップS106において、ステップS104の処理が実行されてから所定の時間が経過してもドアロックが解除されないと判定された場合、処理は、ステップS107に進み、インタフェース制御部203は、エアコンをOFFにする。
なお、ステップS103の処理で、自動車100の所有者(顔画像の人物)が接近していないと判定された場合、または、ステップS105においてドアロックが解除されたと判定された場合、処理は終了する。
このようにして、自動車の所有者を認識して、所有者が自動車に乗車するのに先立ってエアコンがONに設定される。これにより、自動車の所有者は、快適に運転を開始することが可能となる。
例えば、顔画像に基づいて所有者を認識することにより、ドアロックを解除することも技術的には可能である。しかしながら、所有者の顔画像の検出は、特徴量が一致していると判定される条件をある程度緩やかにして行われるので、例えば、自動車100の所有者ではない人物を、誤って検出している可能性がある。このような、顔画像の認識に基づいてドアロックを解除してしまうことには、多くのユーザが違和感をもつ可能性がある。
また、近年では、自動車から離れたところから、ドアの開け閉めが可能な、いわゆるキーレスエントリーシステムの普及も目覚しく、今後キーレスエントリーシステムのセキュリティ面も一段と改善されることが予想される。
一方で、より快適に自動車を利用したいというニーズは高く、例えば、真夏や真冬に自動車に乗り込むときの、暑い、寒いといった不快感を和らげることができれば、ユーザにとっての利便性が充分に向上したと考えられる。
そこで、本発明においては、顔画像認識により自動車の所有者を認識して、所有者が自動車に乗車するのに先立って、例えば、エアコンをONに設定するなどの処理が実行され、ドアロックの解除は、この処理とは別の方式で行われる。これにより、自動車の所有者は、安心して自動車を所有することができるとともに、快適に運転を開始することが可能となる。
以上においては、自動車の所有者の顔画像を認識する例について説明したが、例えば、所有者以外の人物の顔画像のデータの特徴量も予め記憶しておき、その人物が接近してくることが検出された場合、その人物に対応したパワーシートの調整などが行われるようにすることも可能である。あるいはまた、例えば、登録手配者情報などにより手配者(例えば、車上荒らしの常習者など)の顔画像のデータを得て予め記憶しておき、不審者を検出して警告音を発したり、警告の電子メールなどが自動的に通知されるようにしてもよい。
また、以上においては、自動車に接近する人物を検出して所定の処理を行う例について説明したが、家やビルの入口に接近する人物を検出して所定の処理を行うようにしてもよいし、携帯電話やパーソナルコンピュータに接近する人物を検出して所定の処理を行うようにしてもよい。
ところで、以上においては、図7と図8を参照して上述した処理により、人物が自動車100に接近してくること検出するようにしたが、例えば、接近した人物がさらに立ち止まったことが検出されるようにしてもよい。
例えば、自動車100の所有者が、一旦自動車100に接近したものの、直ぐに遠ざかってしまった場合などは、ドアロックが解除されたり、エアコンがONにされたりすることは望ましくない。しかし、例えば、接近した所有者がさらに立ち止まったことが検出できれば、所有者が自動車100に乗ろうとする意思のあることを、より確実に検出することが可能となる。
接近した人物がさらに立ち止まったことが検出されるようにする場合、例えば、図8の接近判定処理に代えて、図11の接近立ち止まり判定処理が実行されるようにすればよい。ここで、図11のフローチャートを参照して、接近立ち止まり処理の例について説明する。この処理は、図7のステップS129の処理として実行される。
図11のステップS181乃至S184の処理は、図8のステップS151乃至S154の処理と同様なので、詳細な説明は省略する。
ステップS184において、面積S1乃至S3の大きさが、上述した式(S1≦S2≦S3)を満たす関係であると判定された場合、処理は、ステップS185に進む。
ステップS185において、動き分析部202は、座標P2とP3間の距離は、充分に小さいか否かを判定する。ここでは、例えば、ステップS182の判定に用いられた閾値とは異なる、さらに小さい値の閾値と、座標P2とP3間の距離とが比較され、座標P2とP3間の距離がその閾値より小さい場合、座標P2とP3間の距離は、充分に小さいと判定される。
ステップS185において、距離は充分に小さいと判定された場合、処理は、ステップS186に進む。
ステップS186において、動き分析部202は、面積S2とS3の大きさがほぼ等しいか否かを判定する。ここでは、例えば、面積S3とS2の差分値が演算され、その差分値が予め設定された所定の値より小さい場合、面積S2とS3の大きさがほぼ等しいと判定される。
ステップS184で、面積S1乃至S3の大きさが、上述した式(S1≦S2≦S3)を満たす関係であると判定されたことにより、人物が接近していることが分かる。そして、ステップS185で、座標P2とP3間の距離は充分に小さいと判定されたことにより、人物は、例えば、ほぼ画像センサ32のレンズに入射する光軸に近い傾きの線(例えば、図4において矢印で示されている線)上に存在していることが分かる。さらに、ステップS186で、面積S2とS3の大きさがほぼ等しいと判定されたことにより、人物は、座標P2が取得された時刻から、座標P3が取得された時刻まで、その場所をほとんど移動していないことが分かる。
従って、自動車100に接近した人物が、さらに立ち止まったと考えられる。
ステップS186において、面積S2とS3の大きさがほぼ等しいと判定された場合、処理は、ステップS187に進み、動き分析部202は、接近立ち止まりフラグをONにする。
一方、ステップS185において、座標P2とP3間の距離は充分に小さくないと判定された場合、またはステップS187において、面積S2とS3の大きさがほぼ等しくないと判定された場合、人物は、接近してきたものの、立ち止まってはいないと考えられるので、処理は、ステップS188に進み、顔画像(例えば、座標P3を取得した時刻の顔画像)を記録する。
例えば、人物が自動車に接近してきたものの、立ち止まらずに去って行くなどの場合、その人物は不審者であることも考えられるので、そのときの顔画像が記録される。なお、ステップS188の処理はスキップされるようにしてもよい。
ステップS184で、面積S1乃至S3の大きさが、上述した式を満たす関係ではないと判定された場合、ステップS187の処理の後、またはステップS188の処理の後、接近立ち止まり処理は終了され、同時に図7の動き分析処理も終了されて、処理は、図6のステップS103に進むことになる。いまの場合、ステップS103では、接近立ち止まりフラグがONであるか否かが判定されるようにすればよい。
このようにすることで、接近した人物がさらに立ち止まったことが検出でき、例えば、所有者が自動車100に乗ろうとする意思のあることを、より確実に検出することが可能となる。
なお、図11では、座標P2とP3間の距離、面積S2とS3の大きさに基づいて、人物が立ち止まったか否かが判定される例について説明したが、例えば、図7の処理において、座標P3が取得され、面積S3が取得された後、さらに所定の時間の経過後に座標P4が取得され、面積S4が取得されるようにし、座標P3とP4間の距離、面積S3とS4の大きさに基づいて、人物が立ち止まったか否かが判定されるようにしてもよい。
図7と図8を参照して説明した処理、または図7と図11を参照して上述した処理を実行することにより、自らの意思で不規則に移動する人間が、自動車に乗るなどのために接近してくる行為を確実に検出することができる。
人間は、自らの意思で不規則に移動するので、例えば、自動車の横を通過することもあるし、自動車の周辺を歩き回ることもある。例えば、電磁波の強度やカメラで撮影された画像の特徴などに基づいて、自動車が走行中に接近してくる物体を単純に検出するなどの技術は、従来より実現されている。走行中の自動車などに対して接近してくる物体の運動は、通常、自動車に対して同じ方向に(いわば一直線に)、ほぼ同じ速度で接近してくるから、例えば、物体から発せられる所定の信号などの強度を検出することで、物体が接近してきたことをほぼ特定することができる。
これに対して、人間は、上述したように、自動車の横を通過することもあるし、自動車の周辺を歩き回ることもあるし、一旦近づいてきても、再び去っていってしまうこともある。このような不規則な運動の中から、自動車に乗るなどのために接近してくる行為のみを検出することは、従来の技術では困難であった。
本発明によれば、人間が、例えば自動車に乗るなど目的をもって接近してくる行為を確実に検出することができる。例えば、図8のステップS152、または図11のステップS182の処理で用いられる閾値を適切に設定しておけば、ほぼ一直線に近づいてくる人物も検出できるし、ジグザグに近づいてくる人物も検出できる。また、例えば、図7のステップS123またはステップS126の判定で用いられる所定の時間を適切に設定しておけば、ほぼ同じ速度で近づいてくる人物も検出できるし、最初は走って、途中からゆっくり歩いて近づいてくる人物も検出できる。
あるいはまた、自動車100の複数の位置にそれぞれレンズと画像センサを取り付け、個々の画像センサ毎に、図6を参照して上述した処理が実行されるようにしてもよい。
この場合、例えば、図6のステップS104、またはステップS107に対応する処理を、複数の画像センサ毎に異なる処理とする。
例えば、自動車100の運転席付近に取り付けられたレンズに対応する画像センサにより取得された画像に基づいて、図6の処理を実行する場合、ステップS104では、運転席のパワーシートの調整が行われてシートポジションが適切に設定されるようにし、自動車100の後部座席付近に取り付けられたレンズに対応する画像センサにより取得された画像に基づいて、図6の処理を実行する場合、ステップS104では、自動車100の後部の室内灯が点等するようにする。
すなわち、人物が自動車100のどの位置に向かって、接近してきたか(または接近して立ち止まったか)が判定され、その判定結果に基づく処理がなされるようにすることができる。
このようにすることで、ユーザの利便性をより高めることが可能となる。
なお、上述した一連の処理をハードウェアで実現するか、ソフトウェアで実現するかは問わない。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図12に示されるような汎用のパーソナルコンピュータ500などに、ネットワークや記録媒体からインストールされる。
図12において、CPU(Central Processing Unit)501は、ROM(Read Only Memory)502に記憶されているプログラム、または記憶部508からRAM(Random Access Memory)503にロードされたプログラムに従って各種の処理を実行する。RAM503にはまた、CPU501が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU501、ROM502、およびRAM503は、バス504を介して相互に接続されている。このバス504にはまた、入出力インタフェース505も接続されている。
入出力インタフェース505には、キーボード、マウスなどよりなる入力部506、CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部507、ハードディスクなどより構成される記憶部508、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部509が接続されている。通信部509は、インターネットを含むネットワークを介しての通信処理を行う。
入出力インタフェース505にはまた、必要に応じてドライブ510が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア511が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部508にインストールされる。
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア511などからなる記録媒体からインストールされる。
なお、この記録媒体は、図12に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク(フロッピディスク(登録商標)を含む)、光ディスク(CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク(MD(Mini-Disk)(登録商標)を含む)、もしくは半導体メモリなどよりなるリムーバブルメディア511により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM502や、記憶部508に含まれるハードディスクなどで構成されるものも含む。
また、本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
10 車両制御装置,
31 マイコン,
32 画像センサ,
33 コントロールインタフェース,
100 自動車,
201 画像認識部,
202 動き分析部,
203 インタフェース制御部,
501 CPU,
502 ROM,
508 記憶部,
511 リムーバブルメディア
31 マイコン,
32 画像センサ,
33 コントロールインタフェース,
100 自動車,
201 画像認識部,
202 動き分析部,
203 インタフェース制御部,
501 CPU,
502 ROM,
508 記憶部,
511 リムーバブルメディア
Claims (9)
- 予め定められた場所の画像を撮像する撮像手段と、
前記撮像手段により撮像された画像に含まれる人物の顔画像を構成する画素のデータを抽出するとともに、前記顔画像を構成する画素のデータの特徴量が予め記憶されている特徴量と一致するか否かを判定する顔画像判定手段と、
前記顔画像判定部より、前記顔画像を構成する画素のデータの特徴量が予め記憶されている特徴量と一致すると判定された場合、予め設定された時間内の前記撮像手段により撮像される画像の中での前記顔画像の動きを分析して分析結果を表す情報を出力する動き分析手段と、
前記動き分析手段の分析結果に基づいて、前記顔画像に対応する人物が自分に対して接近してくるか否かを判定する接近判定手段と、
前記接近判定手段により前記顔画像に対応する人物が自分に対して接近してくると判定された場合、所定の信号を出力する信号出力手段と
を備える情報処理装置。 - 前記動き分析手段は、予め設定された時間内の前記撮像手段により撮像される画像の中での前記顔画像の中心位置の変化と、前記顔画像を構成する領域の面積の変化に基づいて動きを分析する
請求項1に記載の情報処理装置。 - 前記動き分析手段は、
前記顔画像に対応する人物が自分に対して接近してくるか否か、または前記顔画像に対応する人物が自分に対して接近して立ち止まったか否かを表す情報を前記分析結果として出力する
請求項2に記載の情報処理装置。 - 自動車に取り付けられ、
前記顔画像判定手段は、前記顔画像を構成する画素のデータの特徴量が予め記憶されている前記自動車の所有者の顔画像を構成する画素のデータの特徴量と一致するか否かを判定する
請求項1に記載の情報処理装置。 - 前記信号出力手段は、
前記自動車に取り付けられた機器のうち、電気信号により制御可能な機器に対して、前記自動車の所有者にとって好適な状態となるように、前記機器を動作させるための制御信号を出力する
請求項4に記載の情報処理装置。 - 前記信号出力手段は、
前記自動車の所有者にとって好適な状態となるように、前記機器を動作させるための制御信号を出力した後、予め設定された時間が経過しても前記自動車に前記所有者が搭乗しなかったと判定された場合、前記機器の動作を解除させる制御信号をさらに出力する
請求項5に記載の情報処理装置。 - 予め定められた場所の画像を撮像する撮像手段により撮像された画像に含まれる人物の顔画像を構成する画素のデータを抽出するとともに、前記顔画像を構成する画素のデータの特徴量が予め記憶されている特徴量と一致するか否かを判定し、
前記顔画像を構成する画素のデータの特徴量が予め記憶されている特徴量と一致すると判定された場合、予め設定された時間内の前記撮像手段により撮像される画像の中での前記顔画像の動きを分析して分析結果を表す情報を出力し、
前記分析結果に基づいて、前記顔画像に対応する人物が自分に対して接近してくるか否かを判定し、
前記顔画像に対応する人物が自分に対して接近してくると判定された場合、所定の信号を出力するステップ
を含む情報処理方法。 - 予め定められた場所の画像を撮像する撮像手段により撮像された画像に含まれる人物の顔画像を構成する画素のデータを抽出するとともに、前記顔画像を構成する画素のデータの特徴量が予め記憶されている特徴量と一致するか否かの判定を制御し、
前記顔画像を構成する画素のデータの特徴量が予め記憶されている特徴量と一致すると判定された場合、予め設定された時間内の前記撮像手段により撮像される画像の中での前記顔画像の動きを分析して分析結果を表す情報の出力を制御し、
前記分析結果に基づいて、前記顔画像に対応する人物が自分に対して接近してくるか否かの判定を制御し、
前記顔画像に対応する人物が自分に対して接近してくると判定された場合、所定の信号の出力を制御するステップ
を含むコンピュータが読み取り可能なプログラム。 - 予め定められた場所の画像を撮像する撮像手段により撮像された画像に含まれる人物の顔画像を構成する画素のデータを抽出するとともに、前記顔画像を構成する画素のデータの特徴量が予め記憶されている特徴量と一致するか否かの判定を制御し、
前記顔画像を構成する画素のデータの特徴量が予め記憶されている特徴量と一致すると判定された場合、予め設定された時間内の前記撮像手段により撮像される画像の中での前記顔画像の動きを分析して分析結果を表す情報の出力を制御し、
前記分析結果に基づいて、前記顔画像に対応する人物が自分に対して接近してくるか否かの判定を制御し、
前記顔画像に対応する人物が自分に対して接近してくると判定された場合、所定の信号の出力を制御するステップ
を含むコンピュータが読み取り可能なプログラムが記録されている記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007055891A JP2007272877A (ja) | 2006-03-06 | 2007-03-06 | 情報処理装置および方法、プログラム、並びに記録媒体 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006059252 | 2006-03-06 | ||
JP2007055891A JP2007272877A (ja) | 2006-03-06 | 2007-03-06 | 情報処理装置および方法、プログラム、並びに記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007272877A true JP2007272877A (ja) | 2007-10-18 |
Family
ID=38675573
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007055891A Withdrawn JP2007272877A (ja) | 2006-03-06 | 2007-03-06 | 情報処理装置および方法、プログラム、並びに記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007272877A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018537332A (ja) * | 2015-10-27 | 2018-12-20 | 浙江吉利控股集団有限公司Zhejiang Geely Holding Group Co.,Ltd. | 人物の顔認証に基づく車両制御システム |
WO2019026925A1 (ja) * | 2017-08-01 | 2019-02-07 | パナソニックIpマネジメント株式会社 | 個人認証装置 |
JP7514739B2 (ja) | 2020-11-16 | 2024-07-11 | 株式会社デンソーテン | 乗降判定装置および乗降判定方法 |
-
2007
- 2007-03-06 JP JP2007055891A patent/JP2007272877A/ja not_active Withdrawn
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018537332A (ja) * | 2015-10-27 | 2018-12-20 | 浙江吉利控股集団有限公司Zhejiang Geely Holding Group Co.,Ltd. | 人物の顔認証に基づく車両制御システム |
WO2019026925A1 (ja) * | 2017-08-01 | 2019-02-07 | パナソニックIpマネジメント株式会社 | 個人認証装置 |
JPWO2019026925A1 (ja) * | 2017-08-01 | 2020-07-30 | パナソニックIpマネジメント株式会社 | 個人認証装置 |
US11677900B2 (en) | 2017-08-01 | 2023-06-13 | Panasonic Intellectual Property Management Co., Ltd. | Personal authentication device |
JP7514739B2 (ja) | 2020-11-16 | 2024-07-11 | 株式会社デンソーテン | 乗降判定装置および乗降判定方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108454564B (zh) | 在持续存在下打开的自动动力车门 | |
CN103935324B (zh) | 用于车辆门禁控制的方法和装置 | |
JP5895201B2 (ja) | 車両開閉体制御装置 | |
EP3551510B1 (en) | User authentication activation systems and methods | |
JP5131546B2 (ja) | ドア制御装置および方法、並びに、プログラム | |
JP2006264400A (ja) | 移動体のドライバー認証装置 | |
JP2003138817A (ja) | 車両のキーレスエントリーシステム、個人識別方法及び個人識別システム | |
KR101512394B1 (ko) | 후방카메라를 이용한 차량의 핸즈프리 리프트 게이트 개방시스템 및 방법 | |
US20200193005A1 (en) | Authentication system for vehicle | |
WO2002086825A1 (en) | Automatic access to an automobile via biometrics | |
JP2006248364A (ja) | 移動体のドライバー認証装置 | |
CN111845631A (zh) | 一种车辆启动方法、装置、设备及存储介质 | |
CN113516034B (zh) | 一种车辆无钥匙进入***及方法 | |
CN110566081A (zh) | 一种后备箱开闭控制方法及装置 | |
JP2016033327A (ja) | 自動車及びこの自動車に使用される鍵無しロック解除システム、並びに自動車の鍵無しロック解除方法 | |
KR101673161B1 (ko) | 주위 환경에 강건한 지정맥 패턴인식에 의한 차량용 사용자 인증시스템 및 그 인증 방법 | |
JP2007272877A (ja) | 情報処理装置および方法、プログラム、並びに記録媒体 | |
KR101859761B1 (ko) | 차량용 얼굴인증 장치 및 방법 | |
JP2010214990A (ja) | 車両用制御装置および方法、並びにプログラム | |
JP2009137434A (ja) | 車両用防犯装置 | |
CN114575701A (zh) | 一种车门启闭的控制方法、***、车辆及存储介质 | |
CN113799730A (zh) | 车辆控制***及车辆控制方法 | |
JP2004265232A (ja) | 通行制御装置 | |
JP2004330979A (ja) | 車両の駆動制御装置 | |
US11390249B2 (en) | Vehicle vision system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20100511 |