JP4712043B2 - 自動車両内で画像を基礎にして運転者を識別するための方法 - Google Patents

自動車両内で画像を基礎にして運転者を識別するための方法 Download PDF

Info

Publication number
JP4712043B2
JP4712043B2 JP2007531636A JP2007531636A JP4712043B2 JP 4712043 B2 JP4712043 B2 JP 4712043B2 JP 2007531636 A JP2007531636 A JP 2007531636A JP 2007531636 A JP2007531636 A JP 2007531636A JP 4712043 B2 JP4712043 B2 JP 4712043B2
Authority
JP
Japan
Prior art keywords
driver
image
face image
recording
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007531636A
Other languages
English (en)
Other versions
JP2008513859A (ja
Inventor
シュテファン ヴァイトハース
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of JP2008513859A publication Critical patent/JP2008513859A/ja
Application granted granted Critical
Publication of JP4712043B2 publication Critical patent/JP4712043B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20Means to switch the anti-theft system on or off
    • B60R25/25Means to switch the anti-theft system on or off using biometry
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/305Detection related to theft or to other events relevant to anti-theft systems using a camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Collating Specific Patterns (AREA)

Description

本発明は、カメラを用いて少なくとも1つの2次元運転者顔画像を記録(撮影)すること、記録された運転者顔画像を中間記憶すること、及び、中間記憶された運転者顔画像を、自動車両(モータビークル)の多数の可能な運転者からそれぞれの可能な運転者の2次元基準画像と比較することにより、自動車両内で画像を基礎にして運転者を識別するための方法に関する。
光学的な顔認識を基礎にした人物の識別は、出入り制限/利用制限を伴うシステムにおいて頻繁に使用される。例として、建物内の安全性を重視する領域に対する出入りや自動車両の利用が挙げられる。更に特に自動車両の分野では、所定の運転者のための快適性設定が、顔認識を用いて行われた運転者の識別後、自動的に成されるというコンセプトが知られている。
目標人物、特に自動車両の運転者を、画像を基礎にして顔認識するためには、どの場合にもカメラにより顔の少なくとも一画像が記録されなくてはならない。引き続き、目標人物の顔画像が、記憶されている即ち典型的にはデータベース内に保管されている様々な可能な目標人物の基準画像とコンピュータ支援式で比較される。この比較は、純粋な画像データを基礎にし、又は画像から抜き出された特徴を基礎にして行われ得る。引き続き、目標人物の同一性が、画像或いはその特徴の比較時に確定された合致の度合いに基づいて判定される。
原則的に良好な認識性能のためには、互いに比較される画像が、ほぼ同じ記録角度である、即ち記録を行うカメラと目標人物の顔法線との間で同じ角度を有すると有利である。更に、周知の複数の顔認識システムの機能原理では、顔の本質的な特徴が光学的に正面記録時に最善の状態で検知され得るという仮定が基礎を成している。
それにより、大部分の周知のシステムでは正面記録だけが基準画像としてデータベース内に保管される。また目標人物の顔画像の記録時には、カメラの対応的な配置により及び/又は目標人物に対する対応的な指示により、実質的に正面から記録される顔画像が生成され得ることが保証される。しかしこの目的のためのカメラの配置は高い技術手間と結び付いている。目標人物が頭部の位置決め及び/又は頭部の方向付けに関する指示を守る必要性は、目標人物の快適性を制限してしまう。特に自動車両の運転者にとってそのような方法は持続的に有効なものではない。
様々な新たな方法が、記録された顔画像と基準画像で互いに異なった記録角度に対し、顔認識を耐性のあるものにするという課題に従事している。従って顔認識は、特に正面からの顔画像の使用可能性に依存せずに実現されるべきである。この際、特徴を基礎にした方法は、全般的に、純粋に画像データの評価を基礎にする方法(例えばテンプレートマッチング)に対し、より高い耐性により傑出している。しかし特徴を基礎にした方法でも、合致する記録角度を有する画像の比較時、特に正面記録の比較時において最善の認識性能が期待される。
特許文献1からは、正面からではない記録角度で記録された顔画像が、幾何学的モデルを基礎にする計算演算により正面画像に換算されるという方法が知られている。しかし変換のための高い計算手間は、自動車両内では是認可能な時間内では実行されない又は高いコストをもってのみ実行されるもので、そのような方法の本質的な短所として見なくてはならない。更に、正面からではなく記録された顔画像の、モデルを基礎にした変換の品質は、正面から記録された画像の品質に対し、高いモデル品質をもっても絶対的に劣っている。
記録された顔画像と基準画像で互いに異なった記録角度に対する耐性を意図する方法において、そのような耐性が、誤った識別に関するシステムの信頼性の低下を必然的に伴っているということを一般的に理解しておくべきである。例えば自動車両内におけるように、場合により、顔認識システムに対して権限のない目標人物の持続的な及び/又は反復されるアクセスが可能である使用時において、そのような信頼性の低下を許容することはできない。
記録された多数の画像から目標人物の顔の3次元モデルを算出する方法は、自動車両ではそのような方法と結び付いている高い計算手間のために排除される。以下、目標人物の2次元顔画像と2次元基準画像の処理から出発する。
記録された目標人物の顔画像の未定義の記録角度の問題を解決するための他のアプローチは、目標人物について様々な記録角度から複数の顔画像を記録すること、及び/又は、データベース内に可能な各目標人物のために様々な記録角度から複数の基準画像を保管することにある。それぞれの基準画像との顔画像の可能な全ての組み合わせを引き続いて比較することは、ほとんど合致する記録角度を有する組み合わせを見出す確率を増加させる。
合致する記録角度を有する組み合わせを目的に合わせて選択することはそのような方法において通常では可能ではなく、その理由は、少なくとも記録された顔画像のために記録角度自体が周知ではないためである。従って増加する組み合わせの多様性により、履行すべき計算手間が、記録された顔画像或いは保管された基準画像の数が増えることで極めて増加する。それ故、そのような方法は自動車両内の使用には適していない。
比較演算のための計算手間は、記録角度を検知するための手段が方法において使用可能である場合に低下され得る。しかし記録された2次元顔画像自体から記録角度を決定することは極めてエラーと結び付いていて、固有の計算手間を要求する。顔認識のための方法で必要な記録角度を検知するために用いられる装置を設けることは多大な技術手間と結び付いている。従って両方の解決策アプローチは自動車両内の使用において条件付でのみ有用である。
米国特許第6681032号明細書
本発明の課題は、追加的な装置を設けることなく僅かな計算手間で実行可能な、顔認識により自動車両の運転者の識別を確定するための低インタラクションで信頼性のある方法を創作することである。
前記の課題は、現在の記録角度が、画像を基礎にした運転者識別のために用いられるものではない自動車両内に既存の装置により提供されることによって解決される。従って記録角度は、追加的な装置を設けることなく周知であると前提される。
更に前記の課題は、現在の記録角度が所定の設定値に達する場合に運転者顔画像の記録が正確に作動されることにより解決される。それにより、運転者顔画像が、実質的に設定値に対応する記録角度をもって記録され、中間記録され得て、基準画像との比較のために援用され得ることが保証される。
最も簡単な場合では、唯一の設定値として、正面からの記録角度が固定され、正面からの記録角度に達する場合に運転者顔画像が記録され、この運転者顔画像が中間記憶され、基準画像との比較のために援用される。
好ましくは、本発明に従う方法において、運転者顔画像は、実質的に同じ記録角度を有する基準画像とだけ比較される。従って上記の最も簡単な場合、正面から記録された運転者顔画像は、正面から記録された基準画像とだけ比較される。
実質的に同じであり理想的には正面からの記録角度を有する運転者顔画像と基準画像との比較により、良好な認識性能が全体的に保証される。顔認識のための本発明に従う方法の信頼性を更に向上させるため、或いはこのような方法の実行可能性を保証するために、以下の実施形態及び更なる構成が提案される。
本発明に従う方法の様々な有利な実施形態に従い、運転者顔画像の記録のために複数の設定値が固定される。それに引き続き、本発明の実施形態に応じ、記録された運転者顔画像の全て又は一部分だけが中間記憶され、引き続いて更に中間記憶された運転者顔画像の全て又は一部分だけが基準画像との比較のために援用される。
本発明に従う方法は、できるだけ低インタラクションで、即ち使用者の頭部の位置決め又は頭部の方向付けに関する使用者に対する指示を伴わずに進行すべきであるので、記録角度のための設定値が実際に達せられるかについては予報され得ない。それにより、先ずは準最適の記録角度を有する運転者顔画像も中間記憶し、これらの運転者顔画像を、より良く活用できる即ちより高い信頼性レベルでの基準画像との比較の実行のために適している運転者顔画像がより後の時点で記録され且つ中間記憶され得たのであれば、後で基準画像との比較のために援用しないことが有意義であり得る。このようにして一方では不必要な比較演算のための計算手間が節約され、他方では、やむを得ない場合には顔認識を準最適の運転者顔画像を基礎にしてスタートするという可能性が維持されている。
また、中間記憶される運転者顔画像のための中間記憶部内の追加的な記憶スペースを節約するためには、設定値として固定されたよりもより少数の運転者顔画像を中間記憶することが有意義であり得る。第一の方式として、準最適の設定値に対する運転者顔画像の中間記憶又は既にそれらの記録が、より早い時点で既により良く活用できる運転者顔画像が記録され且つ中間記憶され得たのであれば不実行とされ得る。他方では中間記憶部内の既に中間記憶された準最適の運転者顔画像がより良く活用できる運転者顔画像により上書き又は置き換えられ得る。
また、各設定値に対して運転者顔画像がまだ記録され得なかったにもかかわらず、例えばタイマーの経過(終了)のような所定の事象により作動され、顔認識のための比較演算の実行が開始されることからの結果として、設定値の数よりも少ない数の中間記憶された運転者顔画像が生じ得る。
中間記憶部内に中間記憶された運転者顔画像の上書き又は置き換えの具体的な経過は、例えば、設定値にそれぞれ優先度が割り当てられ、中間記憶された運転者顔画像が、より後の時点に記録され且つその設定値により高い優先度が割り当てられている運転者顔画像により置き換えられることにより制御され得る。
比較可能な方式では、中間記憶されたどの運転者顔画像が比較のために援用されるかという選択が優先度制御式で行なわれ得る。そのためには固有の優先度が固定され得る、又は中間記憶のために記録された運転者顔画像の優先度が使用され得る。
設定値の数、設定値自体、及びその優先度の固定、また、中間記憶される運転者顔画像の数の固定、及び比較のために援用される運転者顔画像の数の固定は、この際、方法の開始時に行われ得る、及び/又は、方法の経過時、特に個々の運転者顔画像の記録又は中間記憶の後、変更された状況に適合(マッチング)され得る。
この固定及び適合により、運転者顔画像の記録、中間記憶、及び評価が行われるべきほぼ任意の方法規定が実現され得る。
可能な全ての記録角度から自動車両の可能な全ての運転者の基準画像を有する完全なデータベースを常に出発点とすることはできないので、実現すべき方法規定の定義は、合目的には、使用可能な基準画像の記録角度の配分(ディストリビューション)に対応して行われる。そのためには基準画像の記録角度も周知とされ、基準画像に割り当てられる必要がある。
基礎となる方法規定に依存し、基準画像との比較のための中間記憶された複数の運転者顔画像の援用が様々な基礎を有し得る。
一方では、基準画像に関する不完全なデータベースに原因があり得る。例えば、データベースが記録角度A且つ記録角度Bのために自動車両の可能な全ての運転者の基準画像をもつことはないが、可能な各運転者に関し、両方の記録角度の一方からの少なくとも1つの基準画像が含まれているという場合があり得る。この場合には、好ましくは、記録角度Aを有する運転者顔画像と、記録角度Bを有する運転者顔画像が比較のために援用される。
他方では、本発明に従う方法の信頼性を増加させるためには、異なる記録角度からの複数の運転者顔画像が同一の可能な運転者のそれぞれの基準画像と比較され、比較結果が互いに結合されるということは有意義であり得る。その結合(コネクション)は、最も簡単な場合、例えば、最大の合致又は最小の合致を有する比較結果を選択するということにある。選択肢として、個々の比較結果の、結合の各任意形式、数学的なフィルタリング、又は統計的な評価(例えば、平均値形成、中央値の形成など)が実行され得る。
本発明に従う方法は、目標人物、ここでは自動車両の運転者が、頭部を有限時間間隔内で少なくとも一時的に所定の方向に方向付け、この方向が実質的に走行方向に対応するという特に自動車両内で有効な仮定を基礎としている。
まだ走行開始以前で自動車両内に搭乗した後の時間内でも、走行方向の頭部方向付けは既に運転者座席の方向付けにより容易とされる。運転者の顔法線が実質的に走行方向に方向付けられている場合、所定の記録角度がセットされるように自動車両内にカメラが装着されていると、対応的に明確にされた設定値について有限時間内で運転者顔画像が記録され得る。この前提は、多くの現代自動車両において、画像を基礎にした運転者識別のためには主として用いられない自動車両内に既存の装置に付属するカメラにより満たされている。走行方向に運転者の頭部方向付けがある場合の記録角度の狭い周辺部内に位置する全ての記録角度の発生も、運転者の自然な頭部の動きにより高い確率をもって予期されなくてはならない。
本発明の他の長所は、通常では運転者に対する要求が出される必要はなく、運転者の着座位置、頭部姿勢及び/又は体姿勢により所定の記録角度がもたらされるということにあることから得られる。
しかしながら例外状況においても運転者の識別を実行し得るために、本発明の他の構成に従い、予め定められた時間間隔の経過(終了)後、又は所定の事象の発生時に、十分な信頼性レベルで顔認識を実行するために必要な全ての運転者顔画像がまだ使用可能でないのであれば、所定の着座位置、頭部姿勢及び/又は体姿勢をとることにより運転者識別を支援するという要求が運転者に与えられる。
添付の図面に基づき、本発明を更に説明する。
以下の実施例の枠内で自動車両(モータビークル)の運転者は、自動車両の可能な多数の運転者のもと、画像を基礎にした運転者識別のための本発明に従う方法により識別されるものとする。そのために本方法ではカメラを用いて2次元運転者顔画像が記録(撮影)される。記録された運転者顔画像の全て又は一部分は中間記憶部(一時メモリ)内に中間記憶される。中間記憶された全ての又は一部分の運転者顔画像は、それぞれの可能な運転者の2次元基準画像と比較される。基準画像との比較のために援用される各運転者顔画像は、実質的に運転者顔画像と同じ記録角度を有する基準画像とだけ比較される。
カメラと運転者の顔法線との間の現在の記録角度はいつでも周知である。この記録角度は、その他では画像を基礎にした運転者識別のためには用いられない装置、ここでは、自動車両の運転者に関する注意認識のための装置により決定され、画像を基礎にした運転者識別のための方法へと転送される。注意認識のための装置は、自動車両内で、記録角度の転送を別とし、画像を基礎にした運転者識別のための方法から機能的に分離されて設けられている。更に本発明の有利な実施形態に従い、注意認識のための装置の他の部分(例えばカメラ及び/又は計算ユニット)は、画像を基礎にした運転者識別のための本発明に従う方法を実行するために共通リソースとして利用される。
図1は、画像を基礎にした運転者識別のための本発明に従う方法の本質的な方法部分間の信号フローを概要として示している。方法部分1では、基準画像を有する使用可能なデータベース6が、このデータベース6内に含まれている基準画像の記録角度の配分に関して分析される。分析の結果として、後続する顔認識のために様々な方法規定が固定される。これらの方法規定を実現するために方法パラメータが固定され、別の方法部分2、3、4へと引き渡される。この引き渡しは信号7、8、9により行われる。この際、方法パラメータの固定は、例えばタイマーの経過(終了)のような外部からの事象の発生に依存する。このような外部からの事象は、方法部分1内に入力される信号5内に含まれている。
例えば、データベースにおいて可能な各運転者のために正面画像が使用可能であることが確定されると、運転者について正確に正面画像が記録されなくてはならなく、この画像が中間記録されなくてはならなく、更に基準画像との比較のために援用されなくてはならないというように方法規定及び方法パラメータが固定される。結果として簡単な方法パラメータが得られる:
設定値の数N=1、設定値V=0°、設定値の優先度P(V)=1、中間記憶すべき運転者顔画像の数N=1、比較のために援用すべき運転者顔画像の数N=1、比較結果のための結合演算R=<なし>
それに対し、データベース6において可能な全ての運転者については正面から記録された基準画像が存在しないが、残りの可能な運転者のために、それぞれ、記録角度+10°を有する基準画像が存在することが確定されると、0°からも+10°からも運転者顔画像が記録され、それらの両方が中間記憶され、比較のためにはそれらの両方の一方だけが援用され、両方の基準画像が使用可能な場合には0°からの運転者顔画像が援用されるように方法規則と方法パラメータが固定され得る。この際の方法パラメータは、例えば次のようなものである:
=2、V=0°、V=+10°、N=2、N=1、P(V)=1、P(V)=0.5、R=<なし>
上記の両方の例に関し、本方法の進行過程を次に詳細に説明する。より複雑な方法規定のための進行過程が論理的に得られる。より複雑な方法規定は、同様に方法パラメータの固定及び方法の経過内でのそれらの適合により実現され、次のとおりとなる:
可能な各運転者に対し:

基準画像0°が使用可能な場合:

基準画像0°と運転者顔画像0°を比較する;
比較結果を認識確定に引き渡す;

それ以外の場合:

基準画像−10°及び+10°が使用可能な場合:

基準画像−10°と運転者顔画像−10°を比較する;
基準画像+10°と運転者顔画像+10°を比較する;
比較結果の平均値を認識確定に引き渡す;

それ以外の場合:

タイマーが経過(終了)している場合:

同じ記録角度を有する基準画像が使用可能である
という最上の優先度を有する運転者顔画像を
その基準画像と比較する;
比較結果を認識確定に引き渡す;



図1に従う方法部分2では、注意認識のための装置から転送された記録角度10の監視と、方法パラメータ7の固定によって特に設定値に「要求された」運転者顔画像の記録とが行われる。
図2は、記録角度のための固定された設定値に従う、運転者顔画像の記録の時間経過を示す図である。曲線101は、例として、画像を基礎にした運転者認識のための本方法へと転送された記録角度の時間経過状況を示している。上記の第一の例(N=1)に従うならば0°でのみ運転者顔画像が記録される。時点102は、記録が行われる時点を特徴付けている。上記の第二の例(N=2)に従うならば0°における時点102においても既にそれ以前の+10°における時点103においても各々の運転者顔画像が記録される。
方法部分2で記録された運転者顔画像は方法部分3に引き渡される(信号11)。全ての「要求された」運転者顔画像がまだ記録されていない場合、方法部分2は更にアクティブに留まる。
方法部分3では、記録された運転者顔画像が、受信された方法パラメータ8に応じて中間記憶される。上記の第一の例では、方法部分3において、記録された唯一の運転者顔画像が中間記憶される(N=1)。第二の例では、記録された両方の運転者顔画像が中間記憶される(N=2)。
別の場合には、受信された個々の運転者顔画像11が方法規則及び方法パラメータ8に従って中間記憶されないことも起こり得る。それに対応する方法規則は、例えば「4つの設定値について運転者顔画像を記録する、以前に記録された全ての運転者顔画像の最上の優先度を有する運転者顔画像を中間記憶する」というものである。しかし多くの場合、対応する方法規則は、既に行われた記録と中間記憶に依存し、次に説明する方法パラメータの適合(マッチング)により、より効果的に実現され得る。
それに関し、所定の設定値に対する運転者顔画像の記録又は中間記憶が方法部分1に通知される。図1に従い、中間記憶の通知は信号12を介して行われる。それに基づき、方法部分1では、方法パラメータ及び方法規則が、既に中間記憶された運転者顔画像に依存して適合される。例えば最も簡単な場合の適合により、既に記録された又は中間記憶された運転者顔画像に対する設定値が不要とされる。多くの場合、既に記録された又は中間記憶されたより低い優先度を有する運転者顔画像の設定値に対して付されている設定値も除去され得る。より複雑な結合の場合、全ての部分規則、従って同様に複数の設定値が排除され得る、或いは設定値のための優先度の設定が廃止され得る。
図1に従う信号13を介し、中間記憶された運転者顔画像が方法部分4に対して使用可能とされる。ここではデータベース6からの基準画像との比較が行われる。方法パラメータ9に従い、場合によっては、中間記憶された運転者顔画像の一部分だけが比較のために援用される。
上記の第一の例では、中間記憶された唯一の運転者顔画像だけが比較のために援用される。第二の例では、可能な各運転者に関し、同様に中間記憶された1つの運転者顔画像だけが比較のために援用される。しかし運転者顔画像に付属する設定値の優先度に従い、どの運転者顔画像が優先的に使用されるかが決定される。その例ではP(V)>P(V)が該当する。それに対応し、V及びVに対する基準画像が使用可能な場合にはVに対する運転者顔画像が使用される。
より複雑な方法規則を実現する場合には複数の運転者顔画像が、同一の可能な運転者のそれぞれマッチする基準画像と比較される。引き続き、個々の比較結果が例えば平均値形成により結合される(参照:最初の両方の例では結合演算がない)。
引き続き、運転者の認識が、同様にまだ方法部分4内で周知の方式により、比較のために援用された自動車両の可能な運転者の基準画像と、比較のために援用された運転者顔画像の合致のための程度をそれぞれに表す比較結果或いはそれらの結合から検出され、信号14として出力される。
上記の実施形は唯一の記録角度を考慮することに関している。実際ではこの記録角度は、特に、鉛直軸の回りにおける運転者の顔法線とカメラとの間の捩れ角度である。しかし、成された考察は、少なくとも1つの他の空間角度の追加的な考慮へと対応的に拡張され得る。
画像を基礎にした運転者識別のための本発明に従う方法の本質的な方法部分間の信号フローを示す図である。 記録角度のための固定された設定値に従う、運転者顔画像の記録の時間経過を示す図である。
符号の説明
1 方法部分
2 方法部分
3 方法部分
4 方法部分
5 信号(外部からの事象)
6 データベース
7 信号(方法パラメータ)
8 信号(方法パラメータ)
9 信号(方法パラメータ)
10 信号(記録角度)
11 信号(運転者顔画像)
12 信号(中間記憶の通知)
13 信号(中間記憶された運転者顔画像)
14 信号(運転者の認識)
101 記録角度の時間経過状況
102 記録の行われる時点
103 記録の行われる時点

Claims (10)

  1. カメラを用いて少なくとも1つの2次元運転者顔画像を記録すること、記録された運転者顔画像を中間記憶すること、及び、中間記憶された運転者顔画像を、自動車両の多数の可能な運転者からそれぞれの可能な運転者の2次元基準画像と比較することにより、自動車両内で画像を基礎にして運転者を識別するための方法において、
    カメラと運転者の顔法線との間の現在の記録角度が画像を基礎にした運転者識別のための方法へと転送され、その際、上記記録角度は、記録角度の転送を別として画像を基礎にした運転者識別のための方法から機能的に分離されて設けられている装置により決定されること、及び
    現在の記録角度が所定の設定値に達する場合に運転者顔画像の記録が作動されることを特徴とする方法。
  2. 基準画像との比較のために援用される中間記憶された各運転者顔画像が運転者顔画像と同じ記録角度を有する基準画像とだけ比較されることを特徴とする、請求項1に記載の方法。
  3. 基準画像との比較のために援用される中間記憶された運転者顔画像の数が、中間記憶される全ての運転者顔画像の数よりも少ないことを特徴とする、請求項1又は2に記載の方法。
  4. 中間記憶される運転者顔画像の数が、固定された設定値の数よりも少ないことを特徴とする、請求項1〜3のいずれか一項に記載の方法。
  5. 設定値にそれぞれ優先度が割り当てられ、記録された運転者顔画像の中間記憶、及び/又は、基準画像との比較のための中間記憶された運転者顔画像の選択が、優先度を基礎にして行なわれることを特徴とする、請求項3又は4に記載の方法。
  6. 設定値の数、設定値、設定値の優先度、中間記憶される運転者顔画像の数、比較のために援用される運転者顔画像の数というパラメータの少なくとも1つが、使用可能な基準画像の記録角度の配分に対応して選択されることを特徴とする、請求項1〜5のいずれか一項に記載の方法。
  7. 設定値の数、設定値、設定値の優先度、中間記憶される運転者顔画像の数、比較のために援用される運転者顔画像の数というパラメータの少なくとも1つが、本方法の経過時運転者顔画像の記録又は中間記憶の後、記録された又は中間記憶された運手者顔画像の記録角度の数及び配分に対応して適合されることを特徴とする、請求項1〜6のいずれか一項に記載の方法。
  8. 比較のために援用される少なくとも2つの運転者顔画像が、同一の可能な運転者のそれぞれの基準画像と比較され、比較結果が互いに結合されることを特徴とする、請求項1〜7のいずれか一項に記載の方法。
  9. 正に1つの運転者顔画像が、実質的に正面からの記録角度をもって記録されることを特徴とする、請求項1又は2に記載の方法。
  10. 所定の事象の発生後、使用可能な運転者顔画像が確実な運転者識別のために十分でないのであれば、運転者の着座位置、頭部姿勢及び/又は体姿勢を介して所定の記録角度を生じさせるための要求が運転者に与えられることを特徴とする、請求項1〜9のいずれか一項に記載の方法。
JP2007531636A 2004-09-16 2005-09-06 自動車両内で画像を基礎にして運転者を識別するための方法 Expired - Fee Related JP4712043B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102004044771A DE102004044771B4 (de) 2004-09-16 2004-09-16 Verfahren zur bildbasierten Fahreridentifikation in einem Kraftfahrzeug
DE102004044771.3 2004-09-16
PCT/EP2005/009544 WO2006029739A1 (de) 2004-09-16 2005-09-06 Verfahren zur bildbasierten fahreridentifikation in einem kraftfahrzeug

Publications (2)

Publication Number Publication Date
JP2008513859A JP2008513859A (ja) 2008-05-01
JP4712043B2 true JP4712043B2 (ja) 2011-06-29

Family

ID=35207762

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007531636A Expired - Fee Related JP4712043B2 (ja) 2004-09-16 2005-09-06 自動車両内で画像を基礎にして運転者を識別するための方法

Country Status (6)

Country Link
US (1) US8005269B2 (ja)
EP (1) EP1789906B1 (ja)
JP (1) JP4712043B2 (ja)
DE (2) DE102004044771B4 (ja)
ES (1) ES2332233T3 (ja)
WO (1) WO2006029739A1 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10878646B2 (en) 2005-12-08 2020-12-29 Smartdrive Systems, Inc. Vehicle event recorder systems
US20070150138A1 (en) 2005-12-08 2007-06-28 James Plante Memory management in event recording systems
US9201842B2 (en) 2006-03-16 2015-12-01 Smartdrive Systems, Inc. Vehicle event recorder systems and networks having integrated cellular wireless communications systems
US8996240B2 (en) 2006-03-16 2015-03-31 Smartdrive Systems, Inc. Vehicle event recorders with integrated web server
US8989959B2 (en) 2006-11-07 2015-03-24 Smartdrive Systems, Inc. Vehicle operator performance history recording, scoring and reporting systems
US8649933B2 (en) 2006-11-07 2014-02-11 Smartdrive Systems Inc. Power management systems for automotive video event recorders
US8868288B2 (en) 2006-11-09 2014-10-21 Smartdrive Systems, Inc. Vehicle exception event management systems
US8161454B2 (en) 2007-01-22 2012-04-17 Ford Motor Company Software architecture for developing in-vehicle software applications
US8239092B2 (en) 2007-05-08 2012-08-07 Smartdrive Systems Inc. Distributed vehicle event recorder systems having a portable memory data transfer system
DE102008040513B4 (de) 2008-07-17 2010-08-26 BAM Bundesanstalt für Materialforschung und -prüfung Verwendung einer langwellig emittierenden Cyaninverbindung als NIR-Fluoreszenzstandard und Kit zur Kalibrierung von Photolumineszenzmesssystemen
US11410438B2 (en) * 2010-06-07 2022-08-09 Affectiva, Inc. Image analysis using a semiconductor processor for facial evaluation in vehicles
US8744642B2 (en) 2011-09-16 2014-06-03 Lytx, Inc. Driver identification based on face data
KR101805716B1 (ko) * 2011-09-21 2017-12-07 현대모비스 주식회사 얼굴인식형 운전자 인증 장치 및 방법
US9728228B2 (en) 2012-08-10 2017-08-08 Smartdrive Systems, Inc. Vehicle event playback apparatus and methods
US9311544B2 (en) * 2012-08-24 2016-04-12 Jeffrey T Haley Teleproctor reports use of a vehicle and restricts functions of drivers phone
US9501878B2 (en) 2013-10-16 2016-11-22 Smartdrive Systems, Inc. Vehicle event playback apparatus and methods
US9610955B2 (en) 2013-11-11 2017-04-04 Smartdrive Systems, Inc. Vehicle fuel consumption monitor and feedback systems
US8892310B1 (en) 2014-02-21 2014-11-18 Smartdrive Systems, Inc. System and method to detect execution of driving maneuvers
US10366487B2 (en) * 2014-03-14 2019-07-30 Samsung Electronics Co., Ltd. Electronic apparatus for providing health status information, method of controlling the same, and computer-readable storage medium
CA2888173A1 (en) 2014-04-17 2015-10-17 Navagation Solutions, Llc Rotatable camera
US9663127B2 (en) 2014-10-28 2017-05-30 Smartdrive Systems, Inc. Rail vehicle event detection and recording system
US11069257B2 (en) 2014-11-13 2021-07-20 Smartdrive Systems, Inc. System and method for detecting a vehicle event and generating review criteria
US9679420B2 (en) 2015-04-01 2017-06-13 Smartdrive Systems, Inc. Vehicle event recording system and method
CN105128814B (zh) * 2015-07-31 2017-11-21 小米科技有限责任公司 一种发送报警消息的方法和装置
KR20170074740A (ko) * 2015-12-22 2017-06-30 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량
US10115029B1 (en) * 2015-10-13 2018-10-30 Ambarella, Inc. Automobile video camera for the detection of children, people or pets left in a vehicle
WO2017123226A1 (en) * 2016-01-14 2017-07-20 Ford Global Technologies, Llc Driver-identification system and method
US9707911B1 (en) 2016-03-21 2017-07-18 Ford Global Technologies, Llc Identifying a driver of a vehicle
KR101892009B1 (ko) * 2016-07-21 2018-08-27 엘지전자 주식회사 사용자 인식 장치 및 그 방법
US10173643B2 (en) * 2017-02-20 2019-01-08 Ford Global Technologies, Llc Object detection for vehicles
US10507798B1 (en) 2017-11-07 2019-12-17 Nick Sebastian Automobile security system
CN108491784B (zh) * 2018-03-16 2021-06-22 南京邮电大学 面向大型直播场景的单人特写实时识别与自动截图方法
CN108388885B (zh) * 2018-03-16 2021-06-08 南京邮电大学 面向大型直播场景的多人特写实时识别与自动截图方法
US11281920B1 (en) * 2019-05-23 2022-03-22 State Farm Mutual Automobile Insurance Company Apparatuses, systems and methods for generating a vehicle driver signature

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000227813A (ja) * 1999-02-05 2000-08-15 Yis Corporation Co Ltd 作動許否判定装置
JP2001338296A (ja) * 2000-03-22 2001-12-07 Toshiba Corp 顔画像認識装置および通行制御装置
JP2002288670A (ja) * 2001-03-22 2002-10-04 Honda Motor Co Ltd 顔画像を使用した個人認証装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6772057B2 (en) * 1995-06-07 2004-08-03 Automotive Technologies International, Inc. Vehicular monitoring systems using image processing
US6181805B1 (en) * 1993-08-11 2001-01-30 Nippon Telegraph & Telephone Corporation Object image detecting method and system
US5729619A (en) * 1995-08-08 1998-03-17 Northrop Grumman Corporation Operator identity, intoxication and drowsiness monitoring system and method
US6400835B1 (en) * 1996-05-15 2002-06-04 Jerome H. Lemelson Taillight mounted vehicle security system employing facial recognition using a reflected image
DE19819961A1 (de) * 1998-05-05 1999-11-11 Dirk Kukulenz Automatische Blickpunktanalyse mit Methoden der Bilderkennung zur Computersteuerung
US6292575B1 (en) * 1998-07-20 2001-09-18 Lau Technologies Real-time facial recognition and verification system
JP4526639B2 (ja) * 2000-03-02 2010-08-18 本田技研工業株式会社 顔認識装置およびその方法
US6724920B1 (en) * 2000-07-21 2004-04-20 Trw Inc. Application of human facial features recognition to automobile safety
JP3790680B2 (ja) * 2001-05-25 2006-06-28 株式会社東芝 画像処理システム及びこれを用いた運転支援システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000227813A (ja) * 1999-02-05 2000-08-15 Yis Corporation Co Ltd 作動許否判定装置
JP2001338296A (ja) * 2000-03-22 2001-12-07 Toshiba Corp 顔画像認識装置および通行制御装置
JP2002288670A (ja) * 2001-03-22 2002-10-04 Honda Motor Co Ltd 顔画像を使用した個人認証装置

Also Published As

Publication number Publication date
JP2008513859A (ja) 2008-05-01
EP1789906B1 (de) 2009-11-04
ES2332233T3 (es) 2010-01-29
DE102004044771A1 (de) 2006-04-06
DE502005008452D1 (de) 2009-12-17
US20070183635A1 (en) 2007-08-09
US8005269B2 (en) 2011-08-23
EP1789906A1 (de) 2007-05-30
DE102004044771B4 (de) 2006-08-24
WO2006029739A1 (de) 2006-03-23

Similar Documents

Publication Publication Date Title
JP4712043B2 (ja) 自動車両内で画像を基礎にして運転者を識別するための方法
WO2019047596A1 (zh) 一种用于驾驶模式切换的方法和装置
KR20180126044A (ko) 승객 관리 장치 및 승객 관리 방법
US20200001892A1 (en) Passenger assisting apparatus, method, and program
CN110901632A (zh) 一种自动泊车控制方法及装置
CN110103878B (zh) 用于控制无人车的方法和装置
WO2017072955A1 (ja) 駐車支援装置及び駐車支援方法
EP3514760B1 (en) Method and system for privacy compliant data recording
CN114183031B (zh) 一种充电口盖开启方法、装置、***及车辆
JP2007134948A (ja) 駐車車両搭乗者撮像装置
CN110855934A (zh) 疲劳驾驶识别方法、装置、***、车载终端及服务器
US20240040352A1 (en) Information processing system, program, and information processing method
WO2019181429A1 (ja) 障害物認識支援装置、障害物認識支援方法、記憶媒体
JP7013776B2 (ja) 車両制御装置、車両、及び自動配車方法
JP5012589B2 (ja) 画像情報を用いた人物追跡システム
CN107187420B (zh) 无人驾驶汽车及其启动方法、计算机可读介质
CN114312580B (zh) 确定车辆内乘员的座位及车辆控制方法及装置
JP7071847B2 (ja) 自動運転車両を制御するためのシステム、方法、及びプログラム
US20210286973A1 (en) Facial recognition system for a vehicle technical field
KR20140069529A (ko) 차량 탑승자 안면 추적 프로세스에서의 유실된 특징점 복원 방법
WO2020194837A1 (ja) 記録制御装置、記録制御方法、およびプログラム
JP2020123050A (ja) 駐車管理サーバ
JP7339636B1 (ja) 車内放置検出システム及びサーバ
JP2019211863A (ja) 情報処理装置、認証プログラム及び認証方法
CN110322700A (zh) 多乘员专用车道管控方法及相关产品

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080812

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100824

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101122

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101130

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101222

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110105

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110121

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110128

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110223

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110322

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees