JP4469508B2 - シーン内の物体の位置を求めるための方法および装置 - Google Patents

Description

【０００１】
本発明は、シーン内の物体の位置、例えば車両における助手席乗員の頭部の位置を求めるための方法および装置に関する。
【０００２】
最近、自動車における事故の際の怪我を回避するためのエアバッグシステムは浸透しかつ全体として真価を発揮している。エアバッグが普及するにつれて、エアバッグのために殊に助手席にいる乗員が怪我をするという事例が明らかになっている。その理由は大抵、エアバッグシステムが助手席乗員の位置に関する信頼できる情報を使用できていないということにある。エアバッグの膨張過程は、極端な状況に対して設計され、すなわち成人した、シートベルトを締めている人員が事故の際にインストルメンタルパネルに激突するようなことがあってはならない。しかし助手席乗員の頭が膨張時点にインストルメンタルパネルに非常に密接していると（アウト・オブ・ポジション）、エアバッグシステムのこの設計では助手席乗員が重傷をおう可能性がある。このような問題を解決しようという数多くのシステムが開発中である。例えば、三角測量配置されたレーザセンサを用いてその都度検査される車室内における平均距離を測定し、場合によっては超音波を用いてそこから、助手席乗員ないし助手席乗員の頭の位置を求めるようにされる。その場合助手席乗員の頭をその他の物体から確実に区別することはできないという点に困難がある。
【０００３】
公開されていないドイツ連邦共和国特許出願第１９８０９２１０．５号明細書から、上述した問題点を解決しようという方法が公知である。この方法では、車室内は光源によって照明されかつ照明されたシーンは画像生成カメラによって撮影される。その際照明は個々の密に束化された光線からの光束によって行われるので、２次元の点像が発生される。それぞれの撮影された２次元の点像から、現点像の点と最初に撮影され、記憶されている参照像の相応の点との距離を求めることによって、助手席乗員の位置が求められる。この方法は実施に当たり比較的コスト高につく。というのは、光束の発生は煩雑であるからである。更に、コントラストの乏しい像の場合は殊に、例えば助手席乗員の頭の位置とこれに対応する画素とを対応付けることが困難である。
【０００４】
本発明の課題は、物体、殊に移動する助手席乗員のような動く物体の位置を正確にかつ簡単に実施可能な方法で求めることができるようにした方法および装置を提供することである。
【０００５】
この課題は請求項１に記載の方法によって解決される。
【０００６】
本発明の方法では、位置について求めるべき物体の輪郭が物体が動いたときにのみ現れる差分画像が生成される。この手法で、シーンにおいて自動的に、動きのある物体のみが捕捉され、このために画像評価が著しく簡単になりかつ同時に一層確実になる。
【０００７】
請求項２には本発明の方法の１つの有利な実施例が記載されている。
【０００８】
請求項３には、本発明の課題を解決する装置の基本構成が示されている。
【０００９】
本発明の装置は用途に応じて、必ずしも外部光源によって動作する必要はなく、例えば日の光を利用することができる。
【００１０】
物体の位置は、連続して撮影された画像の評価によって適当な評価ソフトウェアを用いて求めればよい。複雑な光源は必要とされない。
【００１１】
請求項４および５は、物体の位置算出にごく一般的に適している装置の有利な形態に関している。
【００１２】
請求項６ないし９は、本発明の装置を車両の助手席乗員の頭部の位置を求めるために使用するのに殊に適している形態である。
【００１３】
本発明の利点は殊に、信頼できる結果を供給する評価方法のロバストさにある。
【００１４】
次に本発明を例示されている図面に基づき一層詳細に説明する。
【００１５】
その際：
図１は、運転者および助手席乗員のいる車両室内の平面略図および本発明の装置のブロック線図であり、
図２は、本発明のシーケンスの線図である。
【００１６】
図１に示されているように、車両の運転者の左上方に、車体の上側のガイドバー（Lenkholm）の領域に、ＣＣＤまたはＣＭＯＳカメラ２が取り付けられている。カメラは広角対物レンズ４を備えている。カメラ２の光軸Ａ（２点鎖線で示されている）は次のように配向されている：助手席乗員の頭６がほぼヘッドレスト８に当てつけられている最も後方または真っ直ぐな位置から助手席乗員が全体としてみると前方に動くまたはインストルメンタルパネル１０の方向に前方に屈んだときに助手席乗員の頭６が普通は移動する平面に対して光軸が垂直に交差する。カメラ２の視野。従ってその画像領域（鎖線で示されている）はヘッドレスト８からインストルメンタルパネル１０まで達し、従って助手席乗員ないしその頭部６の運動領域全体を捕捉している。
【００１７】
カメラ２の視野が図示されていない運転者用サンバイザーによっても、運転者によっても遮られないように取り付けられていることは当然である。更にカメラ２はできるだけ高く、場合によってはルーフ平面に多少内側にずらされて取り付けられている。
【００１８】
ソフトウェア的にはカメラ２の画像メモリに測定フィールドが前以て定義される。測定フィールドは図１に示されているように、助手席のヘッドレスト８の前方にある。この測定フィールドに後で説明するようにテンプレートが作成されかつ輪郭追跡がスタートされる。
【００１９】
ＣＭＯＳカメラはＣＣＤカメラに対して、測定ボックスにおける画像情報を読み出しさえすればよいという利点を有しており、これにより読み出し時間を数ミリ秒に低減することができる。
【００２０】
夜間走行のために、カメラ２の他に、夜間走行の際に照明のために用いられる赤外線光源１２が取り付けられている。有利には対物レンズは、近赤外線領域がより有効に働くようにしかつ可視光線のスペクトル領域を排除するためのエッジフィルタを備えている。
【００２１】
赤外線光源１２はカメラ２によって線路１４を介してトリガされる。画像伝送のために、カメラのメモリは制御装置１６に接続されている。制御装置には必要なソフトウェアがファイルされている。制御装置は画像メモリ１８を使用することができ、ここには少なくとも５つの画像をファイルしておくことができる。制御装置１６の出力側にはエアバック制御装置２０が接続されている。制御装置１６の別の入力側２２は制動圧力発生器またはＡＢＳ制御装置に接続されている。
【００２２】
図１においてＤ_０は、助手席乗員の頭部６が前方に移動したときの、頭部とヘッドレストとの間の臨界距離を表している。Ｄ１およびＤ２は、頭部６とインストルメンタルパネル１０との間の２つの臨界距離である。
【００２３】
本発明の装置において実行されるステップの有利なフローチャートが図２に示されており、次に説明する：
静的な情景ないし単一画像の解析とは異なって、本発明の方法は変化する情景、すなわち画像列の解析に基づいている。その主たる理由は、静的な情景の場合、誤って分類される割合が大きいことが予測されるからである。単一画像では、物体の輪郭を類別する（例えば髪の毛の付いた頭と顔を横顔にまとめかつヘッドレスト、座席および窓枠から区別する）ことは難しい。単一画像から例えば情報「インストルメンタルパネルの近傍に頭部サイズの楕円形発見」が抽出されたときですら、誤分類のおそれは依然として高い。それは、助手席乗員の膝の上のサッカーボールであるかもしれない。
【００２４】
図２に基づいて例として説明する方法は完全に別の手法である。解析の基礎はいつも、直接連続する単一画像Ｅの差分画像ＤＢである。
【００２５】
次式が成り立つ：
DB(ｉ,ｊ,)＝ABS(Ｅ_{（ｎ - １）}（ｉ,ｊ）-Ｅ_（ｎ）（ｉ,ｊ)）；
ここでｉ，ｊは画素の２次元の座標であり、当該画素の強度はＥである。
【００２６】
物体が移動するときにだけ、差分画像での輪郭は際立ち、それから容易にセグメント化される。この方法は、助手席乗員の頭部６が大抵の時間は通常位置、すなわちヘッドレスト８の近傍にあることから出発している。頭部６がインストルメンタルパネル１０の方向に移動すると、頭部の輪郭は追跡されかつインストルメンタルパネルに対する距離が計算される。その際時間を節約しもしくはコストを低減するために、頭部を中心として頭部サイズのほぼ２倍の大きさの測定ウィンドウだけが調べられる。輪郭追跡の主要な特徴は請求項２および３に記載されている。これらから、助手席乗員の頭部が危険領域内に移動するとき一層正確な輪郭追跡に移行することが分かる。
【００２７】
図２のステップは、有利な実施例の詳細を示すものである：
ステップ５０においてスタート画像を読み込む；ステップ５１においてカメラによって撮影された現画像を読み込む。ステップ５２において上に示した式に従って差分画像の画素を計算する（ＡＢＳ（Ａｌｔ（前）−Ａｋｔ（現））。ステップ５３において差分画像から輪郭を抽出ないし導出する。ステップ５４においてテンプレートを計算する。
【００２８】
テンプレートとは、輪郭を上下に重ね合わせるもしくは平均化することによって生成される画像ないし型紙である。現輪郭の、テンプレートとの比較は申し分ない一致ということでなければならない、そうでない場合には輪郭は追跡されない。例えば現輪郭が手であり、テンプレートが頭部であるとき、手は追跡されない。このようにしてテンプレートはますますよいものができる。
【００２９】
プログラムスタート後の第１のテンプレートとして、ステップ５４において第１の輪郭が取られる。その場合第１の距離（ステップ５５）は当然零である。引き続くサイクルではステップ５４においてテンプレートに対して相対的な現輪郭のずれが突き止められて、平均化されかつテンプレートが計算ないし更新される（ステップ５４）かつこのずれがステップ５５において更新された距離として採用される。
【００３０】
テンプレートを求める際に有利には次のことが実施される：第１の輪郭がスタートテンプレートとして採用される。後に続くテンプレートに対する次の輪郭を平均化する際に、スタートテンプレートおよび輪郭は同じ重みを有している（０．５：０．５）。例えば１０００番目のステップの後、このようにしてその都度のテンプレートは、輪郭の重み１に対して１０００の重みを有している。現時点の新しい輪郭が時間が経つにつれて意味を持たなくなるのを妨げるために、新しい輪郭に固定の重みを与えることができる。こうすることによって、新しい輪郭は新しいテンプレートの算出に関連付けられる。
【００３１】
ステップ５６において、現画像が旧画像として記憶される。ステップ５７においてこの距離がヘッドレストからの前以て決められている臨界距離Ｄ_０（図１）より短いかどうかが求められる。イエスであれば、５１で次のサイクルが始まり、この場合ステップ５２においてステップ５８で記憶された画像と現画像との差分画像が求められる。
【００３２】
判断ステップ５７において距離が臨界距離Ｄ_０より長いことが、すなわち頭部６がヘッドレスト８から前以て決められている距離より離れているものと判定されると、ステップ５８において計数器がｎ＝０にセットされる。更にステップ５９において変数“ｆｉｒｓｔ”がＷＡＨＲ（トゥルー）にセットされる。ステップ６０において現画像が読み込まれかつステップ６１において現画像とステップ５６において記憶された画像との差分画像が計算される。それからステップ６２において輪郭が抽出される。
【００３３】
それからステップ５１ないし５７のサイクルとは異なって、ステップ６３において頭部の輪郭の一層正確な追跡のために、輪郭とテンプレートとの間の相互相関ないし交差相関が位置特定のために実施される。その際輪郭がテンプレートに関してシフトされかつすべての画素に関するグレー値の積和が形成される。輪郭およびテンプレートは、この値が絶対最大値をとったとき、最適には重なる。必要なシフトから新しい位置が突き止められる。その際使用される定式はそれ自体公知であるので説明しない。
【００３４】
ステップ６４において相関度が計算ないし求められる。
【００３５】
ステップ６５において求められるのだが、相関度が前以て決められている値Ｇより大きいとき、ステップ６６において測定フィールドの位置が更新もしくは追従される。ステップ６７においてインストルメンタルパネル１０に対する距離の計算が行われる。システムはこの距離を画像評価または外部の入力によって知る。ステップ６８において求められるのだが、この距離が第１の臨界距離Ｄ_１より下方にあれば、ステップ６９において警報段階１が発せされることになり、このことはエアバッグ制御装置２０（図１）に通報される。システムは引き続いてステップ７０に行く。
【００３６】
ステップ６８において距離が臨界値Ｄ_１を下回っていなければ、ステップ７１において、この距離が臨界値Ｄ_２以下にあるかどうかが求められる。イエスであれば、ステップ７２において警報段階２がトリガされかつエアバッグ制御装置に通報される。これに続いてシステムはステップ７０に進む。距離がＤ_２を下回っていないと、システムは警報段階をトリガすることなくステップ７０に進む。
【００３７】
ステップ７０において現画像は旧画像として記憶され、これに基づいてステップ７３においてテンプレートが現輪郭によって置換される。ステップ７４において変数“ｆｉｒｓｔ”は値ＦＡＬＳＣＨ（フォールス）に割り当てられる。引き続いてステップ７５において計数器も零にセットされる。引き続いてステップ７６において開始位置ないし出発位置に対する間隔が計算される。ステップ７７において求められるのだが、この距離がＤ_０より短ければ、システムはステップ５１にジャンプする。ノーであれば、システムはステップ６０にジャンプする。
【００３８】
相関度が十分でない場合（ステップ６５）システムはステップ７８に行き、変数“ｆｉｒｓｔ”が値ＷＡＨＲであったかどうかを検査する。イエスであれば、システムはステップ５１にジャンプする。ノーであれば、ステップ７９において、計数器状態が前以て決められている状態Ｎより上にあるかどうかが検査される。イエスであれば、システムはステップ５１にジャンプする。ノーであれば、計数器状態はステップ８０において１だけ高められる。ステップ８１において変数は値ＦＡＬＳＣＨに割り当てられかつシステムはステップ６０から続けられる。
【００３９】
ステップ６５における相関の検査によって次のことが実現される：
相関度が前以て決められている基準を上回っているとき、例えば腕または手ではなくて頭が画像を横切るように移動したことから出発することができる。この場合測定フィールドは現輪郭にセンタリングされかつテンプレートは現輪郭によって置換される。そうでない場合には最初のスキャン（ｎ＝０）においてただちに始点（ステップ５１）にジャンプする。輪郭はこのループで既に上手く追跡され、かつ測定ウィンドウには信号がなければ、頭部は静止している。それから前以て決められているサイクル数（Ｎ）においてステップ６０にジャンプする。このことは現位置での待機に相応する。従ってＮはスキャンの最大数、すなわちこの数の間は、測定フィールドが出発位置にリセットされるように、測定フィールドにおいて相次いで頭部輪郭を測定する必要はないという数である。従ってシステムはしばらくの間、頭部の動きを待っている。この動きが生じないとき漸く、出発位置にジャンプして戻る。
【００４０】
本発明の方法はロバストであるという利点を有している。それは尤もらしい始めを仮定してスタートされる。頭部は、ヘッドレスト近傍の測定ウィンドウにおける最も高い身体部分である。輪郭がこの領域からインストルメンタルパネルの方向に移動しかつこの輪郭が初期フェーズにおいてテンプレートに相応するとき、情報はエアバッグ制御装置に転送される。これにより、頭部と例えば助手席乗員の膝の上のサッカーボールと間違えることは排除されている。スタチックな解析とは異なって個々に誤測定があっても、エアバッグが遮断されるもしくはエアバッグのトリガが変更されることにはならない。ある個所での一連の解析が、例えばアルゴリズムが追跡すべき輪郭を見失うまたは別の障害が発生するなどして途切れると、エアバッグのデフォルトのトリガを選択することができ、すなわち事故の場合にエアバッグを車両またはエアバッグ製造業者が定めた特性を以てトリガする。これにより、車室内監視がなくとも既存のシステムの性能がおちることはないことが保証されている。
【００４１】
制御装置１６にある画像メモリには、説明してきた方法の場合には少なくとも５つの画像の容量が必要である。すなわち、現画像、現輪郭、先行画像、差分画像およびテンプレート。
【００４２】
有利には、制御装置１６は、図１に入力側２２で示されているように、緊急制動に関する情報が入力されるようになっている。こうして、付加的に緊急制動の情報を要求することによって、エアバッグの遮断を引き起こす条件を一層厳しくすることができる。緊急制動の場合、頭部は確実に動くことになる。この動作は、助手席乗員が頭をエアバッグの方に垂れて（アウト・オブ・ポジション）、例えば靴を結ぶとか、ものを探すとかする場合とは異なっている。システムのアルゴリズムが誤って例えば手の輪郭を追跡するという起こりそうもない自体が生じたとしたら、エアバッグは誤って遮断されることになる。エアバッグの遮断はいつも、エアバッグが誤機能によって誤って遮断されかつその場合助手席乗員が、エアバッグをトリガすれば回避できたであろう怪我を蒙ることになるという危険性と結び付いている。従って、緊急制動に関する情報によって誤遮断に対する安全性が高められる。
【００４３】
差分画像法を、説明してきた評価アルゴリズムとは別のアルゴリズムによっても実施できることは勿論である。同様に、カメラは説明してきた個所とは別の車両個所に取り付けられていてもよい、例えば車両の屋根の室内ミラーの近傍、この場合も光軸は助手席乗員の頭部の運動方向に対してできるだけ垂直方向にあるようにしたい。
【００４４】
本発明の方法ないし本発明の装置は、頭部の検出された軌道曲線および計算された頭部の動き速度から、頭部が何時危険領域に突入するかかつそもそも突入するのかという予測が計算されるようにまで補充することができる。すなわち、危険領域に達する前の数ミリ秒に相応のメッセージをエアバッグ制御装置に送出することができる。
【図面の簡単な説明】
【図１】運転者および助手席乗員のいる車両の室内の平面図および本発明の装置のブロック線図である。
【図２Ａ】本発明の方法のシーケンスのチャート図である。
【図２Ｂ】本発明の方法のシーケンスのチャート図である。
【図２Ｃ】本発明の方法のシーケンスのチャート図である。

Claims (9)

1. シーン内の可動物体の位置、例えば車両における助手席乗員の頭部の位置を求めるための方法であって、
   シーンの画像列をカメラによって撮影しかつ該画像列の画像の電子評価によって物体の現位置を計算する
   形式の方法において、
   現時点で撮影された画像を画像列のその前に記憶された画像と比較することによって差分画像を生成し、該差分画像には物体に動きがある場合にだけ物体の輪郭が現れるようになっており、かつ
   物体の位置の計算を前記差分画像に基づいて行い、
   物体が前以て決められている領域内にある場合、次のステップを順に実施する：
   ａ１） 現差分画像を計算する、
   ｂ１） 物体の現輪郭を現差分画像から抽出する、
   ｃ１） 開始後最初の輪郭である場合：該輪郭をスタートテンプレートとして採用し、
   その他すべての輪郭の場合：引き続き現輪郭を重み付けて前記テンプレートに関連付け、
   ｄ１） ａ１）に行く
   ことを特徴とする方法。
2. 物体が前以て決められている領域から外に出るとき、次のステップを順に実施する：
   ａ２） 現差分画像を計算する、
   ｂ２） 現輪郭を現差分画像から抽出する、
   ｃ２） 現輪郭と請求項１に記載のように生成されたテンプレートとの相互相関を用いて物***置を計算し、
   ｄ２） 相関度が前以て決められている基準を上回るとき：測定ウィンドウを現輪郭にセンタリングし、前記テンプレートを現輪郭によって置換しかつｅ２）に記載のように先に進み；
   その他の場合：ａ１）にジャンプし；
   差分画像がない場合：ａ２）にジャンプし、
   ｅ２） 輪郭が再び前以て決められている領域内にあるとき；ａ１）にジャンプし、
   ｆ２） 輪郭が前以て決められている警報領域に移動するとき、警報信号を出力し、
   ｈ２） ａ２）にジャンプする
   請求項１記載の方法。
3. シーン内の可動の物体（６）の位置、例えば車両における助手席乗員の頭部の位置を求めるための装置であって、
   定められた画像繰り返し時間を有するカメラ（２）と、
   計算機ユニットを備えた制御装置（１６）と、
   画像メモリ（１８）と、
   評価ソフトウェアと
   を含んでいる形式のものにおいて、
   評価ソフトウェアは請求項１または２記載の通り動作する
   ことを特徴とする装置。
4. 画像メモリ（１８）は少なくとも５つの画像を記憶するための容量を有している
   請求項３記載の装置。
5. カメラはＣＣＤまたはＣＭＯＳカメラである
   請求項３記載の装置。
6. カメラの光軸が、助手席乗員の動きが助手席とインストルメンタルパネル（１０）との間に普通はある平面に対してほぼ垂直に配向されておりかつカメラの光学系が助手席乗員とインストルメンタルパネルとの間の領域を少なくとも近似的に捕捉するようにカメラ（２）が配置されている
   車両における助手席乗員の頭部（６）の位置を求めるための請求項３から５までのいずれか１項記載の装置。
7. 赤外線光源（１２）が設けられており、かつ
   カメラ（２）が、近赤外線光スペクトル領域の下方の波長を取り除くフィルタを備えている
   請求項３から６までのいずれか１項記載の装置。
8. 制御装置（１６）には緊急制動時に緊急制動信号が供給される
   請求項３から６までのいずれか１項記載の装置。
9. 頭部（６）の軌道曲線および頭部の動く速度から頭部が危険領域に突入するのを予測しかつエアバッグ制御装置（２０）を相応に活性化する
   請求項６記載の装置。

Images