JP2020530608A - 車両のカメラによって取得された画像シーケンスを用いてオプティカルフローを求めるための方法および装置 - Google Patents

Abstract

本発明は、車両（１００）のカメラ（１０４）によって取得された画像シーケンスに基づいてオプティカルフローを求めるための方法に関する。この場合、前記車両（１００）の少なくとも１つのセンサ（１１０）を用いて検知された車両周囲および／または前記車両（１００）の走行状況、および／または前記オプティカルフローの事前の算出結果を表す少なくとも１つの入力信号（１０８）、および前記画像シーケンスを表す画像信号（１０６）が受信される。前記入力信号（１０８）を用いてタイムラグ値が決定される。前記画像信号（１０６）を用いて、前記画像シーケンスの前記タイムラグ値だけ互いにずらされた少なくとも２つの個別画像が選択される。最後に、一致するピクセルを用いて前記オプティカルフローを求めるために、前記個別画像内の一致するピクセルが検出される。【選択図】 図１０

Description

本発明は、独立請求項の前提部に記載した方法または装置に関する。本発明の対象は、コンピュータプログラムでもある。

最近の車両は、運転者支援または自動運転を目的としてビデオカメラを装備していてよい。ビデオカメラによって取得された画像シーケンスは、例えばオプティカルフローを演算するために処理され得る。

このような背景から、ここに紹介された提案により、車両のカメラによって取得された画像シーケンスに基づいてオプティカルフローを求めるための方法、この方法を用いた装置、並びに最後に独立請求項に記載した相応のコンピュータプログラムが紹介される。従属請求項に記載した措置によって、独立請求項に記載した装置の好適な発展形態および改良が可能である。

車両のカメラによって取得された画像シーケンスに基づいてオプティカルフローを求めるための方法が提案されており、この場合、この方法は、
車両の少なくとも１つのセンサを用いて検知された車両周囲および／または車両の走行状況、および／またはオプティカルフローの事前の算出結果を表す少なくとも１つの入力信号、および画像シーケンスを表す画像信号を受信するステップと、
入力信号を用いてタイムラグ値を決定するステップと、
画像信号を用いて、画像シーケンスのタイムラグ値だけ互いにずらされた少なくとも２つの個別画像を選択するステップと、
一致するピクセルを用いてオプティカルフローを求めるために、個別画像内の一致するピクセルを検出するステップと、
を有している。

オプティカルフローとは、画像シーケンスの２つの個別画像間の画像平面内のまたはステレオカメラの左の画像と右の画像との間の画像平面内のピクセルの運動の記述と解釈されてよい。この場合、オプティカルフローは、個別画像間のそれぞれの時間的な間隔に依存している。センサは、例えばカメラ、加速度センサ、ステアリングホイール回転センサ、ホイール回転数センサ、レーダセンサ、ライダーセンサ、超音波センサ、ＧＰＳセンサ、光センサまたは雨センサであってよい。走行状況とは、例えば速度、加速度、ピッチレートまたはロールレート等の所定の車両パラメータによって特徴付けられた車両の状態であると解釈されてよい。入力信号は、例えば車両の運転者支援機能またはオプティカルフローの事前の演算との直接的または間接的なフィードバックによって生成されてよい。入力信号は、例えば従属するまたは独立した信号であるか、または少なくとも１つの従属する信号と独立した信号との組み合わせであってよい。従属する信号は、例えばそのフィードバックに基づいて閉ループ制御回路に達し、この閉ループ制御回路において、時点ｔでのオプティカルフローの結果が、時点ｔ＋Δｔで結果に影響を及ぼす。タイムラグ値とは、特にミリ秒範囲の時間長さであると解釈されてよい。画像シーケンスとは、少なくとも２つの個別画像の連続であると解釈されてよい。ピクセルとは、個別画像の画素であると解釈されてよい。２つの個別画像間の１つのピクセルの運動は、オプティカルフローを表すフローベクトルとして算出され得る。２つの個別画像間の複数のピクセルの運動は、それぞれ複数のフローベクトルから例えば少なくとも１つのフローフィールドの形で算出され得る。この場合、フローベクトルの長さは同じであるかまたは異なっていてよい。

ここで紹介された提案は、車両カメラによって取得された画像シーケンスのオプティカルフローが、状況に応じて可変な時間ベースで算出され得る、という認識に基づいている。

取得されたシーンの内容およびカメラの固有運動の内容とは無関係に、オプティカルフローの演算時に一定のタイムラグが用いられる、従来の方法とは異なり、ここで紹介された提案を用いて、所定の入力信号の量に基づいて複数のカメラ画像間の時間的なずれを選択することによって、より高いダイナミックスを有するシーンにおけるオプティカルフローの損失の発生は避けられる。それと同時に、固有運動推定時の精度ポテンシャルが、僅かな変化を有するカメラポーズおよびシーンにおいて完全に利用し尽くされる。従って、静的なタイムラグの代わりに動的なタイムラグを用いることによって、状況に応じて可能な限り最高のフローデータが得られる。

一実施例によれば、決定するステップで、入力信号が、車両の検知された自動式の非常ブレーキングを表す場合に若しくは、追加的にまたは選択的に閾値を上回る車両のピッチレートを表す場合に、初期値を小さくすることによってタイムラグ値が決定される。これによって、高いダイナミックスを有する走行状況におけるオプティカルフローの損失は避けることができる。

この場合、決定するステップで、初期値を半分にすることによってタイムラグ値が決定され得る。これによって、特別に安価な演算コストでタイムラグ値を低下させることができる。

別の実施例によれば、決定するステップで、タイムラグ値を車両のロールレートまたは、追加的にまたは選択的に、車両と少なくとも１つの別の車両との間の相対速度に依存して決定するために、入力信号が用いられる。これによって、揺れ動く車両または揺れ動くカメラにおいてオプティカルフローの損失は避けられ、例えば低い相対速度においても、個別画像の十分に精確な走査が保証され得る。

この方法は、画像信号を取得するために、タイムラグ値を用いてカメラの画像再現率を変更するステップを有していてよい。これによって、タイムラグ値に依存する画像再現率を有する画像シーケンスの個別画像が取得され得る。

変更するステップで、画像シーケンスの個別画像がタイムラグ値だけ互いにずらされるように、画像再現率が変更されれば特に好適である。これによって、オプティカルフローを求めるための演算コストをできるだけ安価に維持することができる。

また、検出するステップで、一致するピクセルを検出するために、個別画像の部分セクションが検索されれば有利である。部分セクションとは、初期点を包囲する局所的に制限された検索範囲を描く検索窓と解釈されてよい。これによって、ピクセルの一致後に完全な個別画像が検索されることは避けられる。従って、一方ではリソース消費が低減され、他方では、一致の明確な検出が保証され得る。またこれによって、大抵は上方に向かって制限されている画像内容の運動に関する幾何学的な予備知識が、画像内の対象物の運動およびカメラの固有運動に依存して加えられる。

別の実施例に従って、決定するステップで、タイムラグ値とは異なる少なくとも１つの別のタイムラグ値が、入力信号を用いて決定され得る。選択するステップで、別のタイムラグ値だけ互いにずらされた、画像シーケンスの別の少なくとも２つの個別画像が選択され得る。それに対応して、検出するステップで、一致する別のピクセルを用いてオプティカルフローを求めるために、別の個別画像内の一致する別のピクセルが検出される。これによって、それぞれ１つの別の時間ベースを有する様々なフローフィールド内で、与えられたシナリオ内のオプティカルフローを求めることができる。

この場合、評価のステップで、車両周囲の第１の領域内のオプティカルフローを求めるために個別画像が評価され、車両周囲の第２の領域内のオプティカルフローを求めるために別の個別画像が用いられる。これによって、オプティカルフローを、それぞれの領域に適合されたそれぞれ１つの別の時間ベースを有する車両周囲の様々な領域内で同時に求めることができる。

この方法は、例えばソフトウエアまたはハードウエア、またはソフトウエアとハードウエアとの混合形で、例えばコントロールユニットにより実行されてよい。

ここに紹介された提案はさらに、ここに紹介された方法の変化のステップを相応のデバイスで実施し、制御し若しくは実行に移すために構成された装置を提供する。本発明のこのような装置の形の変化実施例によっても、本発明に基づく課題を迅速かつ効果的に解決することができる。

このために、この装置は、信号またはデータを処理するための少なくとも１つの演算装置、信号またはデータを記憶するための少なくとも１つの記憶装置、センサとのまたはセンサのセンサ信号を読み取るためのまたはデータ信号若しくは制御信号をアクチュエータにアウトプットするためのアクチュエータとの少なくとも１つのインターフェース、および／またはデータを読み取りまたはアウトプットするための、通信プロトコル内に埋め込まれた少なくとも１つの通信インターフェースを有していてよい。演算装置は、例えば信号処理装置、マイクロコントローラ等であってよく、この場合、記憶装置は、フラッシュメモリー、ＥＰＲＯＭまたは磁気記憶装置であってよい。通信インターフェースは、データを無線誘導および／または有線誘導で読み取りまたはアウトプットするために構成されていてよく、この場合、有線誘導されたデータを読み取るかまたはアウトプットすることができる通信インターフェースは、これらのデータを例えば電気式または光学式に、対応するデータ伝送ケーブルから読み取るかまたは対応するデータ伝送ケーブルにアウトプットすることができる。

装置とは、ここでは、センサ信号を処理し、かつそれに応じて制御信号および／またはデータ信号をアウトプットする電気機器と解釈されてよい。装置はインターフェースを有していてよく、このインターフェースはハードウエア的および／またはソフトウエア的に構成されていてよい。ハードウエア的な構成においては、インターフェースは、装置の様々な機能を含む、例えばいわゆるシステムＡＳＩＣの部分であってよい。しかしインターフェースは、固有の集積回路であるかまたは少なくとも部分的に離散素子より成っていることも可能である。ソフトウエア的な構成においては、インターフェースは、例えば別のソフトウエアモジュールの隣のマイクロコントローラに設けられたソフトウエアモジュールであってよい。

好適な実施形態では、装置によって車両の制御が行われる。このために、装置は例えば、加速度信号、圧力信号、ステアリングアングル信号または周辺センサ信号等のセンサ信号にアクセスすることができる。制御は、車両のブレーキアクチュエータまたはステアリングアクチュエータまたはエンジンコントロールユニット等のアクチュエータを介して行われる。

機械読み取り可能な担体または記憶媒体、例えば半導体記憶装置、ハードディスク、または光学式記憶装置に記憶され、特にプログラム製品またはプログラムがコンピュータまたは装置で実行されるときに、前記実施例のいずれか１つによる方法のステップを実施、実行および／または制御するために使用されるプログラムコードを有するコンピュータプログラムまたはコンピュータプログラム製品も有利である。

一実施例による装置を備えた車両の概略図である。 図１による装置の概略図である。 一実施例による方法の流れを説明するためのブロック図である。 一実施例による方法のフローチャートである。 図１のカメラによって取得された２つの個別画像におけるオプティカルフローの概略図である。 図１のカメラによって取得された２つの個別画像におけるオプティカルフローの概略図である。 図１のカメラによって取得された２つの個別画像におけるオプティカルフローの概略図である。 図１のカメラによって取得された１つの個別画像のオプティカルフローの概略図である。 図１のカメラによって取得された１つの個別画像のオプティカルフローの概略図である。 図１のカメラによって取得された２つの個別画像におけるオプティカルフローの概略図である。

本発明の実施例が図面に示されていて、以下に詳しく説明されている。

以下に記載した本発明の好適な実施例では、様々な図面に示された類似の作用を有する要素には同じまたは類似の符号が付けられており、この場合、これらの要素の繰り返しの説明は省かれる。

図１は、一実施例による装置１０２を備えた車両１００の概略図を示す。この装置１０２は、車両１００のカメラ１０４に接続されている。カメラ１０４は、車両１００の車両周囲の複数の個別画像から成る画像シーケンスを表す画像信号１０６を、装置１０２に伝送するために構成されている。さらに、装置１０２は、適切なインターフェースを介して少なくとも１つの入力信号１０８を受信する。この入力信号１０８は、図１では例として車両１００のホイール回転数センサ１１０によって提供され、従って車両１００のホイール回転数若しくは速度を表す。実施例に従って、入力信号１０８は、以下に詳しく説明されているように、車両１００の様々なセンサを用いて提供された、車両周囲または車両１００の走行状況を検知するための信号である。選択的にまたは追加的に、入力信号１０８はカメラ１０４の画像データの事前の評価より成る一時記憶されたデータも表す。装置１０２は、入力信号１０８を使用して、画像シーケンスに基づいてオプティカルフローを求めるためのタイムラグを決定するために構成されている。装置１０２は、事前に決定されたタイムラグと時間的な間隔が同じである画像シーケンスから少なくとも２つの個別画像を選択し、これに一致するピクセルを探し出す。一致したピクセルに基づいて装置１０２は画像シーケンスのオプティカルフローを算出し、相応のフローデータ１１２の形式でオプティカルフローを提供する。フローデータ１１２は、例えば車両１００のコントロールユニットによって様々な運転者支援機能を制御するために評価される。

一実施例によれば、装置１０２は、入力信号１０８に基づいて決定されたタイムラグを用いてカメラ１０４の画像再現率を変えるために構成されている。つまり時間的な画像再現率は可変に調節可能である。この場合、特に装置１０２は、画像信号１０６によって表された画像シーケンスの個別画像がタイムラグに相当する相互の時間的な間隔を有するように、画像再現率を調整する。オプティカルフローを求めるために、過去の所定数のビデオ画像が記憶されていて、これらの画像のそれぞれへのアクセスが自主的に行われるようになっていれば好適である。

従って、タイムラグのダイナミックな適合によってオプティカルフローを求める際に、車両１００の様々な状況が考慮され得る。

時間間隔が大きければ大きい程、画像の動きは大きくなるが、対応する画素の割当てもより困難になる。大きい時間間隔において、例えば車両１００の停止状態において、ゆっくりと動く対象物、例えば歩行者が検知され得る。車両１００が複数レーンの車道、例えば高速道路を別の車両と共に同じ方向に移動するケースでは、別の車両はオプティカルフローによって検出することができるが、これに対して背景の運動はもはや検出可能ではない。追加的に、通常は、時間間隔が比較的大きい場合、フローベクトルの大きさおよびひいてはその信号雑音比（ＳＮＲ）は増大するが、これは例えば固有運動推定の際に利点である。

時間間隔が小さければ小さい程、高い固有速度を有する対象物が検出される確率が高くなる。これは、例えば並進運動または回転によってカメラ１０４の位置が高速で変化する場合にもあてはまる。強い制動、狭いカーブ走行またはでこぼこの地面上の走行時におけるような強いダイナミックスを伴う走行シナリオでは、装置１０２は、好適な形式でより短い時間間隔を選択する。従って、オプティカルフローの損失は避けられる。オプティカルフローを求めるための単数または複数の様々なタイムラグを選択する際の様々な基準、若しくはタイムラグを導き出すための規定を、以下に詳しく説明する。

図２は、図１に示した装置１０２の概略図を示す。装置１０２は、入力信号１０８または様々な入力信号１０８の量並びに画像信号１０６をも受信するための受信ユニット２１０を有している。評価ユニット２２０で、タイムラグを表すタイムラグ値を決定するための入力信号１０８の評価、並びに画像信号１０６によって表された画像シーケンスの、タイムラグ値だけ互いにずらされた少なくとも２つの個別画像を選択するための画像信号１０６の評価が行われる。さらに、評価ユニット２２０は、タイムラグ値だけ互いにずらされた個別画像を一致し合うピクセルかどうかを調べるために、かつこのピクセルに基づいて画像シーケンスのオプティカルフローを求めるために構成されている。この場合、演算コストをできるだけ安価に保つために、例えば個別画像の当該の部分セクションだけが一致し合うピクセルであるかどうか調べられる。この評価の結果として、評価ユニット２２０は、フローデータ１１２をさらに処理するためにアウトプットする。

図３は、一実施例による方法の流れを説明するためのブロック図を示す。図３に示された流れは、例えば図１および図２を用いて既に説明した装置によって実行される方法の流れに相当する。

独立した入力信号を表すブロック３０２、並びに従属する入力信号を表すブロック３０４が示されている。独立したおよび従属する入力信号は、ブロック３０６で評価され、最適なタイムラグΔｔ_１…ｎを決定するために用いられる。別のブロック３０８で、画像ｌ_ｔと画像ｌ_ｔ−Δｔとの間のオプティカルフローの演算が行われる。この場合、“ｔ”は、一般的に最新の画像を表し、ｔ−Δｔは事前の画像を表す。演算結果は、例えばブロック３１０で車両の様々な測定プログラムまたは機能によってさらに処理される。測定プログラムの結果並びにオプティカルフローの統計は、再び入力信号として使用され得る。この場合、測定プログラムの結果は間接的なフィードバックを介してブロック３０６にインプットされ、これに対してブロック３０８で実行された演算の結果は、例えば統計の形で、直接的なフィードバックを介してブロック３０６にインプットされる。直接的若しくは間接的なフィードバックは、破線によって示されている。

独立した入力信号は、例えば次の情報を表す：
−例えば分類による、歩行者、自転車通行者、車両またはその他の対象物の検出；
−（ステレオ−）深度情報；
−外部の運動センサ、例えば加速度センサ、ステアリング回転センサまたはホイール回転数センサによって算出された車両の固有運動；
−画像情報、例えば画像相関関係によって算出されているが、オプティカルフローに基づいていない車両の固有運動；
−外部のセンサ、例えばレーダセンサ、ライダーセンサ、超音波センサ、ＧＰＳセンサ、光センサまたは雨センサによって算出された車両の固有運動；
−画像に基づく車線検知；
−校正結果の提供可能な精度、例えば焦点距離または画像中心点等のカメラの固有の内部パラメータ、ワールド座標を基準にした外部のパラメータ、相対的な外部のパラメータ（２つのカメラの相対関係）または関心領域；
−露出制御；
−ブラインドネス検知
−交通標識検知（速度制限を検知すると車両が自動的に制動される）

従属する入力信号は、例えば次の情報を表す：
−オプティカルフローの事前の演算から成る統計；
−フローに基づく固有運動推定；
−フローに基づく対象物検知；
−フローに基づく表面推定。

結合された入力信号は例えば：
―不一致およびオプティカルフローに基づく、後から分類された危険なステレオ対象物のための自動的な非常ブレーキ機能のＡＥＢ信号；
−より迅速な非常ブレーキの起動のためのブレーキ準備用のプレフィル信号。

このような形式の方法は、オプティカルフローを求めるための、状況に応じた単数または複数の最適なタイムラグを決定することを可能にする。この場合、最適なタイムラグは、次の測定プログラムの要求を考慮して、オプティカルフローの利用可能性が保証されている可能な最長の時間として規定されている。従って、例えば高ダイナミックスな状況において、画像内容の高周波の変化を受信するためには、最適なタイムラグは短い。これに対して、連続的な低速の直進走行においては、より精確な固有運動推定を実施するためには、より長いタイムラグがより適している。

リソースが限定されている場合、すべての可能なオプティカルフローが算出されるのではなく、入力信号に基づいて特に期待が持てるとみなされるオプティカルフローだけが算出されるべきである。このような形式で、演算時間およびハードウエアリソースは低減され得る。その結果、より多くの時間がその他の演算のために残され、熱の発生はより僅かであり、より好都合なハードウエアを使用することができる。

必要なタイムラグΔｔ_１…ｉの量は、次のように規定され得る：

この場合、含有された要素および演算子は次のように記載され、規定されている：
ａ ｋ要素を有する入力値のベクトル
Ｗ 入力値を重み付けするためのｊ×ｋ重み付けマトリックス、この場合、ｊは要求された条件の数である。
Ｉ Ｗａを行毎に合計するための複数のｋ１を有するベクトル
ｔ フロー演算のための所定のタイムラグを各行に配分するｊ値を有するベクトル、
閾値（ａ，Ｔ_ｌ，Ｔ_ｕ） 閾値ベクトルＴ_ｌおよびＴ_ｕを要素毎にａに適用し、Ｔ_ｌ，ｉ＜ａ_ｉ＜Ｔ_ｕ，ｉおよび０とは異なるときに、要素が１である２進ベクトルを取り消す。
○ アダマール積（要素毎の乗算）
unique(γ) ベクトルγ内のゼロではないすべての単一の要素を取り消す。

オプティカルフローは、連続的な入力信号のために例えば次のように計算される。

速度が例えば９０ｋｍ／ｈより高い場合、Δｔ＝３３ｍｓを有するフローが算出され、そうでなければ、Δｔ＝６６ｍｓを有するフローが算出される。しかしながら、少なくとも１つの検知された車両が画像内に存在すると、追加的にΔｔ＝２００ｍｓを有するフローが算出されるが、ピッチレートが数値的に１．５°／ｓよりも小さい場合に限られる。このことから次のように結論される：

この場合、
ａ_１＝［０．２５０］（速度）
ａ_２∈{０，１}（２進法にされた値：車両が検知された：イエス／ノー）
ａ_３＝[−∞，∞]（ピッチレート、理論上は上方および下方に無限である）

重み付けマトリックスは、速度のための２つの条件を２回評価するべきであり（重み付けマトリックスの最初の２行が、９０ｋｍ／ｈよりも高い場合および低い場合のために）、従って次のように選択される。第３の行は、対象物の存在およびピッチレートを第３の条件に導入するべきであることを意味する。

閾値は次のように選択される：

例えばａ_１＝１１５ｋｍ／ｈの速度が与えられるべきである場合。別の車両が検知されており、従って、ａ_２＝１である。最新のピッチレートはａ_３＝−０．７°／ｓである。

閾値関数ｒａｎｇｅ（（Ｗａ）ｌ，Ｔ_ｌ，Ｔ_ｕ）を用いると、次のような範囲が得られる：

ｒａｎｇｅ（（Ｗａ）ｌ，Ｔ_ｌ，Ｔ_ｕ）の用語は、ゼロおよび１を有するベクトルを提供し、これは、Ｗのそれぞれの行の条件が満たされているかまたは満たされていないかを意味する。この例では、速度が０〜９０ｋｍ／ｈの間であるという条件が満たされていない。９０ｋｍ／ｈよりも高いという条件が事実であり、車両の存在と同時にピッチレートが僅かであるということが同様に事実である。

要素毎にｔを乗算することによって、１を有するベクトル書き込みにそれぞれのタイムラグが割り当てられる：

最後のステップで、ベクトル内の２重の書き込みおよびゼロが取り除かれ、時間量が取り消される。

２進入力信号のための演算例
２進入力信号が使用されると、幾つかの簡略化が得られる。下方の閾値は、例えば少なくとも必要な信号の数に減少される。

目的：自動式のまたは手動式のブレーキングの際に、Δｔ＝３３ｍｓであるか、さもなければΔｔ＝６６ｍｓでなければならない。このことから次のことが結論される：

この場合、
ａ_１∈{０，１}（自動式のブレーキング、イエス／ノー）および
ａ_２∈{０，１}（手動式のブレーキング、イエス／ノー）

重み付けマトリックスは、２つの条件だけを含有するべきである。
１．ゼロではない要素の合計が１より大きいかまたは１と同じである？
２．ゼロではない要素の合計が１より小さい？

例えば自動式の非常ブレーキが実行され、運転者が手動で制動しない場合、重み付けマトリックスと入力信号との積から次の結果が得られる：

閾値が次のように選択されるので、条件のうちの少なくとも１つが事実でなければならない（閾値が０．５である場合）。追加的に、上側の閾値は無限であるので、実条件の最大数は存在しない。

閾値の評価は次の結果を提供する：

タイムラグベクトルを要素毎に乗算すると、ゼロとは異なる値だけが得られる：

最後のステップで、ベクトル内の２重の書き込みが取り除かれ、時間量が取り消される：

数学的表記法の代わりに、論理的表記法も考えられる。核心となる考え方は、複数の入力値が論理操作によって関連付けられるという点にある。２進法ではない入力値の場合、追加的に下側および上側の閾値が規定され、次いで閾値の結果が論理操作と関連付けられるべきである。

目的は、オプティカルフローのタイムラグを路面状態および最後のオプティカルフローの統計に適合させるということである。

路面の平滑性のための連続的な信号が与えられるべきである（０は非常に滑らかな路面、１は非常に凸凹の路面）。

並びに、３１ピクセルの最大長さに達したフローベクトルの数（このための基準は、タイムラグが長すぎるということである）。

まず連続的な入力値が２進数値に移行される：

値の例として、
ａ_１＝０．３およびａ_２＝６３４

２進値を有する次のベクトルが得られる：

考えられ得る論理的表示法においては、２つの入力値が第１のケースではアンド（＆）にされ、第２のケースではオア（ｌ）にされ、これに対して第３のケースでは２つの条件の失敗がキャッチされる。これは例えば次のとおりである。

従って、具体的なケースでは、次の値が得られる。

および

図４は、一実施例による方法４００のフローチャートを示す。オプティカルフローを求めるための方法４００は、例えば、図１〜３を用いて記載した前記装置によって実行され得る。この場合、ステップ４１０で入力信号および画像信号が受信される。ステップ４２０でタイムラグ値が入力信号を用いて決定される。別のステップ４３０で、画像シーケンスの、タイムラグ値だけ互いにずらされた少なくとも２つの個別画像が画像信号を用いて選択される。ステップ４４０で、個別画像内の一致するピクセルが検出され、オプティカルフローを求めるために使用される。

図５は、図１に示したカメラによって取得された２つの個別画像５００，５０２内のオプティカルフローの概略図を示す。個別画像５００，５０２は、車道５０４を横断する子供５０６をそれぞれ示す。より良い比較のために、個別画像５００，５０２が隣り合って並んで示されており、この場合、左の個別画像５００がΔｔ＝６６ｍｓ（ｔ−４からｔ−３）のタイムラグにおけるオプティカルフローを示し、右の個別画像５０２がΔｔ＝３３ｍｓ（ｔ−３からｔ−２）のタイムラグにおけるオプティカルフローを示す。２つのフローフィールドは有用である。フローベクトルの数は概ね同じである。個別画像５００内のフローベクトルの長さは、個別画像５０２内のフローベクトルの長さの概ね半分である。

オプティカルフローは、個別画像５００，５０２内のハッチングを施した領域によって概略的に示されている。

図６は、図１に示したカメラによって取得された２つの個別画像６００，６０２内のオプティカルフローの概略図を示す。オプティカルフローは、図５におけるよりも遅れた時間ステップを示す。左の個別画像６００は、Δｔ＝６６ｍｓ（ｔ−２からｔ）におけるオプティカルフローを示す。右の個別画像６０２には、Δｔ＝３３ｍｓ（ｔ−１からｔ）におけるオプティカルフローが示されている。図６に示されているように、タイムラグが大きすぎると対象物上のオプティカルフローが失われる。より短いタイムラグへの早期の切替えによって著しく良好な特性がもたらされる。

図７は、図１に示したカメラによって取得された２つの個別画像７００，７０２内のオプティカルフローの概略図を示す。ピッチレートが高い車両における車道５０４の撮影画面を示す。左の個別画像７００（Δｔ＝６６ｍｓ）のフローフィールド内では、検索範囲の外側に位置する大きすぎるフローベクトルに基づいて画像の下部が欠けている。右側の個別画像７０２（Δｔ＝３３ｍｓ）のフローフィールドは完全に存在している。映像化において比較的不十分な視覚的印象は、比較的短いフローベクトルによって説明される。

図８は、図１に示したカメラによって取得された個別画像８００内のオプティカルフローの概略図を示す。オプティカルフローは、図８に示された個別画像８００内の画像中央に集中している。個別画像８００の時間的な周辺において、車両の強いローリング運動に基づいてオプティカルフローは欠けている。

図９は、図１に示したカメラによって取得された個別画像９００内のオプティカルフローの概略図を示す。個別画像９００は、車両に先行する車両９０４が存在する道路９０２を示す。道路９０２上のフローベクトルは大きく、これに対して先行する車両９０４上のフローベクトルは短い。先行する車両９０４に割り当てられた、より大きいタイムラグを有する別のフローフィールドは、ここでは、２つの車両間の相対速度のより精確な演算をもたらす。

図１０は、図１に示したカメラによって取得された２つの個別画像１０００，１００２内のオプティカルフローの概略図を示す。図１０から分かるように、所定の画像範囲内のオプティカルフローが失われており、従って車両の大きすぎる固有運動を前提としている。

例えば、左の画像１０００から、子供ダミーに対する非常ブレーキング中に発生したフローフィールドが明らかである。このような、前に計算されたフローフィールドと比較して、隣の画像１００２では、子供ダミーが存在する画像中央の箇所においてそれぞれのフローの結果が欠けている。この場合、長さがゼロのフローベクトルが問題なのではなく、フロー測定の、存在しない検出が問題となる。従って、対象物の相対運動がオプティカルフローの検索範囲のためには大きすぎるということが推論される。この場合、前記本発明の一実施例に従って、異なるタイムラグを有する２つのフローフィールドへの分割が行われる。

次に、ここに提案された方法の様々な応用ケースについて説明する。

例えば、オプティカルフローは、子供ダミーに対する非常ブレーキング中に、所定の状況において近傍範囲内で失われ得る。これには２つの理由がある。

第１に、子供ダミーは、比較的小さい子供ダミーに自車が接近することによって画像中でよりいっそう下方に移動する。従って、その結果として生じるフローベクトルは、よりいっそう強く下方を指す。

それに加えて、非常ブレーキの起動後に、画像内容全体を垂直方向で移動させる車両のピッチング運動が生じる。最初のピッチング後に上方に向かう対向運動が生じ、この対向運動はダミー上のフローベクトルをさらに長くし、フローベクトルがもはや技術的な理由から著しく限定された検索範囲内に一致しなくなり、それによって子供ダミー上のフロー検出が失敗する。画像間のタイムラグを半分に、例えば６６ｍｓから３３ｍｓにすることによって、フロー結果は著しく改善される。しかしながら一般的に、３３ｍｓをベースにしてすべての測定を実行することは望ましくない。従って、例えば相応の非常ブレーキ信号に基づく自動式の非常ブレーキの場合にだけ、このような時間ベースの切替えが実行される。この場合、非常ブレーキ信号は、不一致およびフローの評価によって検知され、かつ分類器で、例えば画像に基づく後分類によって、ブレーキに関わる対象物、例えば乗用車、トラック、歩行者または自転車に乗る人として確認された対象物の状況分析に基づいている。

車両の画像に基づくピッチレートは、例えばオプティカルフローとは無関係に算出される。ピッチレートが非常に大きければ、時間ベースは縮小されるので、運動の高いダイナミックスが補正される。

特に、トラックのような高い車両においては、例えば穴ぼこによる凸凹の路面上で高いロールレートが発生する。これは、画像の周辺におけるフローフィールドの消失を生ぜしめる。何故ならば、オプティカルフローが検索範囲から離れるからである。しかしながら画像の中央では、ロールレートも推定され得るフローがまだ見いだされる。このような場合、例えばロールレートおよび検索範囲の既知の大きさに基づいて、オプティカルフローの演算のための最も有意義なタイムラグが求められる。

車両センサおよび、オプティカルフローとは無関係に決定されたカメラの回転が、僅かな結果を提供し、それと同時に車両の速度が低い場合、スムーズな走行が推論されてよい。この場合、タイムベースは、フローに基づく固有運動推定の精度を高めるために、例えば延長される。

高速道路走行中は、ホイール回転数センサに基づく高い速度が検知されている。それと同時に、分類器によってオプティカルフローとは無関係に、自車の前方および隣の別の車両が検知される。この場合、固有運動推定および表面推定のための路面上のオプティカルフローを算出するために、例えば短いタイムラグΔｔ_１が決定される。追加的に、より長い第２のタイムラグΔｔ_２が導き出され、この第２のタイムラグΔｔ_２を用いて、自車と先行車両との間の相対速度がフローに基づいて非常に精確に推定される。

バックギヤに入れられると、駐車操作が開始される。ここでは、オプティカルフローのタイムベースとして、例えば平均的な値が設定され、これは同時に、固有運動推定の妥当な精度、およびフロー結果の入力までの十分に短い待ち時間を保証する。

オプティカルフローに依存する、画像に基づく表面推定が、凸凹の路面を記述すると、高いダイナミズムをキャッチするために、タイムラグは例えば短く選定される。しかしながら同時に、凸凹の表面を補正するためにサスペンションのアダプティブ制御が、マジックカーペット“Magic Carpet”とも呼ばれるようにアクティブであれば、タイムラグは再び相応に延長される。

一実施例が、第１の特徴と第２の特徴との間で「および／または」接続を有している場合、これは、この実施例が、一実施形態に従って第１の特徴も第２の特徴も有しており、また別の実施形態に従って第１の特徴だけまたは第２の特徴だけを有している、と読み取られるべきである。

１００ 車両
１０２ 装置
１０４ カメラ
１０６ 画像信号
１０８ 入力信号
１１０ ホイール回転数センサ
１１２ フローデータ
２１０ 受信ユニット
２２０ 評価ユニット
３０２，３０４，３０６，３０８，３１０ ブロック
４００ 方法
４１０，４２０、４３０，４４０ ステップ
５００，５０２，６００，６０２，７００，７０２，８００，９００，１０００，１００２ 個別画像
５０４ 車道
５０６ 子供
９０２ 第１の領域、道路
９０４ 先行する車両
ｌ_ｔ，ｌ_ｔ−Δｔ 画像
Δ_ｔ…ｎ タイムラグ

Claims (12)

1. 車両（１００）のカメラ（１０４）によって取得された画像シーケンスに基づいてオプティカルフローを求めるための方法（４００）であって、前記方法（４００）が、
   前記車両（１００）の少なくとも１つのセンサ（１１０）を用いて検知された車両周囲および／または前記車両（１００）の走行状況、および／または前記オプティカルフローの事前の算出結果を表す少なくとも１つの入力信号（１０８）、および前記画像シーケンスを表す画像信号（１０６）を受信するステップ（４１０）と、
   前記入力信号（１０８）を用いてタイムラグ値（Δｔ）を決定するステップ（４２０）と、
   前記画像信号（１０６）を用いて、前記画像シーケンスの前記タイムラグ値（Δｔ）だけ互いにずらされた少なくとも２つの個別画像（５０２；６０２；７０２；９００）を選択するステップ（４３０）と、
   一致するピクセルを用いて前記オプティカルフローを求めるために、前記個別画像（５０２；６０２；７０２；９００）内の一致するピクセルを検出するステップ（４４０）と、
   を含む、車両（１００）のカメラ（１０４）によって取得された画像シーケンスに基づいてオプティカルフローを求めるための方法（４００）。
2. 前記決定するステップ（４２０）で、前記入力信号（１０８）が、前記車両（１００）の検知された自動式の非常ブレーキングを表し、かつ／または閾値を上回る前記車両（１００）のピッチレートを表す場合に、初期値を小さくすることによって前記タイムラグ値（Δｔ）を決定する、請求項１に記載の方法（４００）。
3. 前記決定するステップ（４２０）で、前記初期値を半分にすることによって前記タイムラグ値（Δｔ）を決定する、請求項２に記載の方法（４００）。
4. 前記決定するステップ（４２０）で、前記タイムラグ値（Δｔ）を前記車両（１００）のロールレートおよび／または前記車両（１００）と少なくとも１つの別の車両との間の相対速度に依存して決定するために、前記入力信号（１０８）を用いる、請求項１から３までのいずれか１項に記載の方法（４００）。
5. 前記画像信号（１０６）を取得するために、前記タイムラグ値（Δｔ）を用いて前記カメラ（１０４）の画像再現率を変更するステップを有している、請求項１から４までのいずれか１項に記載の方法（４００）。
6. 前記変更するステップで、前記画像シーケンスの前記個別画像（５０２；６０２；７０２；９００）が前記タイムラグ値（Δｔ）だけ互いにずらされるように、前記画像再現率を変更する、請求項５に記載の方法（４００）。
7. 前記検出するステップ（４４０）で、前記一致するピクセルを検出するために、前記個別画像（５０２；６０２；７０２；９００）の部分セクションを検索する、請求項１から６までのいずれか１項に記載の方法（４００）。
8. 前記決定するステップ（４２０）で、前記タイムラグ値（Δｔ）とは異なる少なくとも１つの別のタイムラグ値を、前記入力信号（１０８）を用いて決定し、この際に、前記選択するステップ（４３０）で、前記別のタイムラグ値だけ互いにずらされた、前記画像シーケンスの少なくとも２つの別の個別画像を選択し、この際に、前記検出するステップ（４４０）で、一致する別のピクセルを用いてオプティカルフローを求めるために、前記別の個別画像内の一致する別のピクセルを検出する、請求項１から７までのいずれか１項に記載の方法（４００）。
9. 評価のステップで、車両周囲の第１の領域（９０２）内の前記オプティカルフローを求めるために前記個別画像（５０２；６０２；７０２；９００）を評価し、前記車両周囲の第２の領域（９０４）内のオプティカルフローを求めるために別の個別画像を用いる、請求項８に記載の方法（４００）。
10. 請求項１から９までのいずれか１項に記載の方法（４００）を実行しかつ／または制御するために構成されたユニット（２１０，２２０）を備えた装置（１０２）。
11. 請求項１から９までのいずれか１項に記載の方法（４００）を実行するために構成されたコンピュータプログラム。
12. 請求項１１に記載のコンピュータプログラムが記憶された、機械読み取り可能な記憶媒体。

Images