JP2020516093A - 車両の周辺領域を認識するカメラ装置および方法 - Google Patents

Abstract

本発明は、車両（１）の周辺領域（７）を認識するカメラ装置（２）に関する。カメラ装置は、周辺領域（７）の画像シーケンスを撮影するように構成される光電子装置を有し、光電子装置（３）は広角レンズと高分解能画像撮影センサを含む。光電子装置（３）は、特に、ピクセルビニングにより、画像シーケンスの画像の解像度を交互に異なって非対称的に低減するように構成される。

Description

本発明は、車両の周辺領域を認識するカメラ装置および方法に関する。また、本発明はそのようなカメラ装置を備える車両に関する。

例えば道路標識認識又は車線維持支援といった運転支援装置を実現するには、カメラシステムは約５０°の水平画角と約３０°の垂直画角が必要である。しかし、最前列での停車時のクロストラフィック認識または交通信号認識などの新規機能は、まさに発車する際に画像の周辺領域に存在するオブジェクトを認識できるように、さらに大幅に大きな画角を必要とする。その一方、例えば高度自動運転又は車線維持支援には、オブジェクトや車線構造を遠く離れたところからも認識することが必要であり、そのためには対応する分解能が必要とされる。

画像処理組み込みプロセッサはまた、中期で約８００万画素の高解像度を直接的に、つまりリアルタイムでは処理できないため、解像度の低減が必要である。この課題を解決するために、４画素ごとに結合する（ピクセルビニング）ことにより十分なＦＯＶ（視野）を画像の解像度を半分にして得る方法が知られている。また、単純に視野の切り抜きを十分な解像度でそれぞれスキャンしてもよい。その結果、イメージャのフレームレート（例えば毎秒３３フレーム（ｆｐｓ））から生じる各時間刻みにおいて、これらの画像のうちのつねに１つしかスキャンできないことになる。したがって、大きな水平方向のＦＯＶが高解像度で必要とされる場合（例えば田舎道における横断状況）、その構成要素（つまり例えば左側部分画像、右側部分画像）が１つずつスキャンされるため、より時間がかかることになる。その一方、中央のビニングされていない画像は例示の状況において十分な大きさのＦｏＶを提供しないため、半分のフレームレートおよび半分の解像度を有するビニングされた画像しか用いることができない。両方の方法によると、検出に接続されているシステム（例えば非常ブレーキシステム）のレイテンシが大きくなるため、そのパフォーマンスに影響を及ぼす。

したがって、本発明の課題は、イメージャの十分な解像度を同時に使用しながら可能な限り小さなレイテンシで、状況に応じて必要なＦＯＶを可能にするカメラ装置および上記のような方法を提供することにあると見てとることができる。

課題は、独立請求項の主題により解決される。好ましい実施形態が独立請求項、下記の記載および図面の対象である。

本発明の第１態様によると、車両の周辺領域を認識するカメラ装置が提供される。

車両の周辺領域を認識するカメラ装置は、広角レンズおよび高分解能画像撮影センサを有し、特に広角レンズおよび高分解能画像撮影センサからなる光電子装置と、光電子装置を制御する制御ユニットとを備え、車両の外部周辺の画像シーケンスを撮影するように構成される。ここで、車両の外部周辺の画像シーケンスは、時間的に連続して撮影される多数の画像を含む。特に、画像シーケンスは以下詳細に説明される第１画像、第２画像、第３画像および第４画像を含む。周辺領域とは、例えば自車両の走行方向の前方、側方および／または後方の周辺領域に関する。

好ましくは、広角レンズは光軸に関して例えば少なくとも＋／−５０°、特に少なくとも＋／−７０°および／または最大で＋／−８０°の水平画角および／または垂直画角を有して構成される。広角レンズを用いることで、例えば、横断する交通参加者が早期にオブジェクト評価される横断領域といった周辺領域が認識可能である。画角はカメラ装置の視野（Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ、ＦＯＶ）を決定する。

さらに、光電子装置は高分解能画像撮影センサを備える。高分解能画像撮影センサを用いることで、特に、例えば遠方領域の道路標識又は車線の評価、すなわち特に自車両から少なくとも５０メートルの離隔領域におけるオブジェクト評価が可能になる。高分解能画像撮影センサとは、特に、複数のメガピクセル、例えば少なくとも５メガピクセル、好ましくは少なくとも７メガピクセル、特に少なくとも１０メガピクセルの画素数を有する画像撮影センサであってよい。好ましくは、画像撮影センサは均一な画素／ｃｍ分解能を有する。

光電子装置および／またはそれに接続される画像処理プロセッサは、画像シーケンスの第１画像の解像度を低減し、低減された解像度を有する第１画像を出力するように構成され、第１画像全体の解像度が低減される。

また、光電子装置およびそれを制御する制御ユニットは、続いて撮影される、画像シーケンスの第２画像において、中央画像領域と第１側方外側領域を含む第１部分領域を選択し、第１部分領域のみを出力するように構成され、出力された第１部分領域の解像度が低減されない。

光電子装置は、画像シーケンスの第３画像の解像度を低減し、低減された解像度を有する第３画像を出力するように構成され、第３画像全体の解像度が低減さる。

光電子装置およびそれを制御する制御ユニットは、続いて撮影される、画像シーケンスの第４画像において、中央画像領域と第２側方外側領域を含む第２部分領域を選択し、第２部分領域のみを出力するように構成され、出力された第２部分領域の解像度が低減されない。

中央領域は幅と高さを有し、好ましくは長方形または正方形であり、画像シーケンスの該当する画像（第２画像および第３画像）の中心点に関して対称に延在する。中央領域の形状と大きさは、第２画像および第３画像において好ましくは同一に、または相異して定義されてもよい。

第１側方外側領域は、例えば、第２画像の左側または右側側方外側領域であってよい一方、第２側方外側領域は、例えば、第４画像の右側または左側、つまり補完的な、側方外側領域であってよい。特に、その解像度が低減されていない、特に、ビニングされていない画像領域は、その解像度が低減された、特に、ビニングされた画像領域の（両方の画像周縁合計で）つねに半分の高さと半分の幅を有してよい。しかし、これは決して拘束的なものではない。高解像度画像ストライプは、多くの場合、１：２ではない比率を有してよい。ただ、解像度は（４画素ごとのビニングにおいて）どの場合においても２：１の比率を有する。

第１側方外側領域は、側方において中央領域の一方側で中央領域にシームレスに接続し、第２側方外側領域は、中央領域の他方側で中央領域にシームレスに接続する。したがって、分離した中央領域は存在しない。画像ストライプは、それぞれ中央領域を有するが、これは各高解像度ストライプの統合された構成要素である。この場合、第１側方外側領域および第２側方外側領域は、好ましくは画像シーケンスの該当する画像の側方周縁の一方まで延在することで、第２画像および第４画像において、水平方向に非常に幅広のＦＯＶを十分な解像度で出力することができる。

好ましくは、第１〜４画像に関して上述した操作が複数回順番に、特に好ましくは連続して順番に実施されるように構成される。

横断状況に関連する、画像の外側領域は、本発明においてはつねにフレームレート上限の７５％（例えばフレームレート上限の３３ｆｐｓに対する２５ｆｐｓ）で認識されてよい。したがって、関連する外側領域は、入れ替わりにまた高解像度で認識される。中央領域は、フレームレート上限で入れ替わりにまた高解像度で認識される。これにより、重要な画像内容が十分に高いフレームレートで認識され、検出範囲を最大に維持することが可能になり、これにより画像処理プロセッサを過度に使用することはない。これにより、動作中の安全システムのレイテンシを低下させることができる。

特に、解像度の低減が行われない高解像度画像領域は、解像度が低減された画像よりも高い解像度を有する。好ましくは、高解像度画像領域において水平および／または垂直画角の解像度は、１°あたり少なくとも４０画素、特に１°あたり少なくとも５０画素である。例えば、高解像度画像領域は、光電子装置により用いることができる最高解像度で出力することができる。

例えば、上記の解像度の低減が行われる解像度が低減された画像領域は、それぞれ少なくとも部分的に例えば１°あたり最大３０画素、特に１°あたり最大２０画素の水平および／または垂直画角の解像度を有する。好ましくは、解像度が低減された画像領域は、少なくとも略同一の画素数および／または均一、特に対称的に配列された画素サイズ配列を有する。また、非線形の歪曲収差特性を有する光学系が使用される。したがって、画素サイズはイメージャにおいて対称的でありえるが、画素が示す画像領域は角度に関してそのサイズが変化する（一般に、画素／°の解像度は画像外側にわたって低下する）。

また、好ましい態様によると、第２画像および／または第４画像の上部外側領域は選択されず、出力されなくてよい。この場合、上部外側領域は、第２画像および／または第４画像において水平方向に中央領域の上側で、好ましくは当該画像の幅全体にわたって延在する。これにより、システムにとって、高解像度認識にはいわゆる「利益にならない」領域（例えば空を示す画像領域）を省き、必要な処理能力を合理的に限定する。

同様に、さらなる好ましい態様によると、第２画像および／または第４画像の下部外側領域は選択されず、出力されなくてよい。この場合、下部外側領域は、第２画像および／または第４画像において水平方向に中央領域の下側で、好ましくは当該画像の幅全体にわたって延在する。これにより、システムにとって、高解像度認識にはいわゆる「利益にならない
」領域を省き、必要な処理出力を合理的に限定する。

上部外側領域および下部外側領域は、低減された解像度を有するストライプ状の画像領域であってよく、これらの画像領域は車両の外部周辺の領域を示しているが、そのために大きな検出領域が必要とされないのは、そこに存在するオブジェクト（例えば頭上の標識）は低減された解像度でも十分に認識可能だからである。また、例えば横断状況の評価にあたりこれらの領域は、中央領域および側方外側領域で示される、車両の外部周辺の領域よりも重要度が低い場合がある。したがって、この画像領域を選ばず選択しないことで処理出力を低減することができ、特に、動作中の安全システムのレイテンシをさらに低く保つことができる。

好ましい実施形態によると、画像撮影センサまたは画像編集装置は、第１画像および第３画像の解像度をピクセルビニングにより低減するように構成される。画像編集装置は、光電子装置の構成要素であってよい。しかしここでは、特に、画像編集装置は、画像撮影センサの一部ではないので、光電子装置の構成要素ではない。この場合、画像編集装置は、光電子装置と接続されているプロセッサユニットに属する。そして、画像撮影センサは、特に高解像度画像のみを有する画像シーケンスを撮影するように構成されてよい。特に、ピクセルビニングにおいて、それぞれ撮影された画像の例えば行および／もしくは列内または例えば長方形状の部分領域において隣接する画像を結合し、新しい画素に分類してよい。したがって、特に、解像度が低減された画像の得られる画素行列は、属する撮影画像よりも低い解像度を有する。

さらに、カメラ装置は、好ましくは、例えば他の交通参加者（車両、歩行者）を認識し分類するかまたは車線マーキングを認識する、少なくとも１つの検出機能を含む。

また、カメラ装置は、好ましくは、例えば車線維持支援装置または方向転換支援装置などの少なくとも１つの運転支援装置を含み、これと接続可能である。特に、走行支援装置は、少なくとも１つの評価された目標オブジェクトに応じて、少なくとも１つの受動的および／または能動的運転支援機能、例えば車間警告、非常ブレーキまたは自動回避操縦を実施するように構成される。

本発明の第２態様によると、本発明の第１態様によるカメラ装置を備える車両が提供される。車両とは、特に、例えば乗用車、トラック、公共用車両またはバスなどの原動機付車両に関する。

本発明の第３態様によると、車両の周辺領域を認識する方法が提供される。方法は、本発明の第２態様による車両を供給することを含む。また、車両の外部周辺の画像シーケンスの撮影が実施される。

画像シーケンスの第１画像において、解像度が低減され、低減された解像度を有する第１画像が出力され、第１画像全体の解像度が低減される。また、続いて撮影される、画像シーケンスの第２画像において、中央画像領域と第１側方外側領域が選択され、中央画像領域と第１側方外側領域のみ出力され、中央画像領域と第１側方外側領域の解像度は低減されない。

さらに、画像シーケンスの第３画像において、解像度が低減され、低減された解像度を有する第３画像が出力され、第３画像全体の解像度が低減される。

また、続いて撮影される、画像シーケンスの第４画像において、中央画像領域と第２側方外側領域が選択され、中央画像領域と第２側方外側領域のみ出力され、中央画像領域と第２側方外側領域の解像度は低減されない。

本発明の方法の１つの実施形態によると、好ましくは、第２および／または第４画像の上部および／または下部外側領域は選択されず、出力されないように構成される。

また、好ましくは、光電子装置の画像撮影センサを用いて、または画像編集装置を用いて、第１画像および第３画像の解像度はピクセルビニングにより低減されるように構成される。画像編集装置は、光電子装置の構成要素であってよい。しかしここでは、特に、画像編集装置は、画像撮影センサの一部ではないので、光電子装置の構成要素ではない。この場合、画像編集装置は、光電子装置と接続されているプロセッサユニットに属する。

本発明の第４態様によると、プログラム素子がプロセッサで実行される場合、プロセッサに対し、本発明の第３態様による方法の方法ステップを実行するように指示する、プログラム素子が提供され、カメラ装置を備える車両の提供に応じて構成される方法プロセスのすべてが実行される。

本発明の第５態様によると、プログラム素子が保存されるコンピュータ可読媒体において、コンピュータ可読媒体がプロセッサで実行される場合、プロセッサに対し、本発明の第３態様による方法ステップを実行するように指示する、コンピュータ可読媒体が提供され、カメラ装置を備える車両の提供に応じて構成される方法プロセスのすべてが実行される。

以下、本発明の実施形態例を概略図に基づいてさらに詳細に説明する。

本発明によるカメラ装置の実施形態例を用いた車両の側面図である。 図１のカメラ装置により生成された画像シーケンスを示す図である。

図１は、自動車の形態を有する車両１を示す。車両１は、車両１の周辺領域７を認識するカメラ装置２を含み、他方では、カメラ装置２は、広角レンズおよび高分解能画像撮影センサを有する光電子装置３を含む。また、光電子装置３は、画像編集装置４を含んでよい。後述されるビニングがイメージャにより実行される場合、これはハードウェアで実行されるものであり、パラメータ化されるだけであってよい。この場合、ソフトウェア実装は、光電子装置３においては可能ではなく、イメージャと接続されているプロセッサユニットにおいてのみ可能である。光電子装置３は、特に、光学系とイメージャのみを含む。プロセッサユニットで実行されるプログラムは、光電子装置では実行できない。これは、接続されているメモリチップを備える実際のプロセッサユニットに任されている。

カメラ装置２は車両１の内部空間５内、つまり、車両１のウインドスクリーン６の後ろに配置される。しかし、このことは例示に過ぎない。同様に、例えば、車両１のリアウィンドウに取り付けて視野方向を後方にして構成されてもよい。光電子装置３を用いて、ウインドスクリーンを通して、車両１の周辺領域７の複数の外部撮影、つまり画像が撮影されてよく、複数の画像は時間的に連続して行われ、車両１の周辺領域７の画像シーケンスを形成する。

図２は、第１画像８、第２画像９、第３画像１０および第４画像１１を示す。これらの４つの画像８〜１１は、カメラシステム２の光電子装置３を用いて撮影された。画像８〜１１の内容は簡略化のため図示されていない。

第１画像８は第１時点（０ｍｓ）で撮影され、続いて第２画像９は第２時点（３０ｍｓ）で撮影され、続いて第３画像１０は第３時点（６０ｍｓ）で撮影され、続いて第４画像１１は第４時点（９０ｍｓ）で撮影された。それぞれ３０ｍｓの時間間隔で画像８〜１１それぞれの長さが撮影された。基本的に、当然他の周期も可能であり、３０ｍｓとは具体例に過ぎない。時間間隔の長さからフレームレートが得られ、図示の実施形態例では３３ｆｐｓである（１秒が毎秒３３画像で割られるのは、時間間隔が２つの連続する画像間において約３０秒であることによる）。

光電子装置３またはそれと接続されている画像編集装置４を用いて、第１画像８の解像度が低減されてよく、低減された解像度を有する第１画像８が出力されてよく、第１画像８全体の解像度が低減される。これにより、十分な認識領域（ＦＯＶ）を有する第１画像８全体が出力される。

また、光電子装置３を用いて、第２画像９の中央領域１２と第２画像９の左側外側領域１３が選択され、中央画像領域１２と左側外側領域１３のみ出力されてよい。一方、第２画像９の右側外側領域１４、上部外側領域１５および下部外側領域１６は選択されず、出力されない。

中央領域１２は、第２画像９、つまり十分な認識領域（ＦＯＶ）の中心点Ａに関して対称に延在する。中央領域１２の幅は、例えば３２°の水平画角に対応してよい（中心点Ａの右側と左側にそれぞれ１６°；＋−１６°）。中央領域１２と左側外側領域１３は合わせて、３５°よりも大きい水平画角に対応する幅を有してよい（中心点Ａの右側１６°の場合に加えて中心点Ａの左側３５°以上「＜−３５°」）。

また、光電子装置３またはそれと接続されている画像編集装置４を用いて、第３画像１０の解像度が低減されてよく、低減された解像度を有する第３画像１０が出力されてよく、第３画像１０全体の解像度が低減される。これにより、十分な認識領域（ＦＯＶ）を有する第３画像１０全体が出力される。

また、光電子装置３を用いて、第４画像１１において中央領域１２と右側側方外側領域１４が選択され、中央領域１２と右側側方外側領域１４のみ出力されてよい。一方、第４画像１１の左側外側領域１３、上部外側領域１５および下部外側領域１６は選択されず、出力されない。

中央領域１２の幅は、例えば３２°の水平画角に対応してよい（中心点Ａの右側と左側にそれぞれ１６°；＋−１６°）。中央領域１２と右側外側領域１４は合わせて、３５°よりも大きい水平画角に対応する幅を有してよい（中心点Ａの左側１６°の場合に加えて中心点Ａの右側３５°以上「＞＋３５°」）。

第４画像１１の中央領域１２、左側外側領域１３、右側外側領域１４、上部外側領域１５および下部外側領域１６は、図２に示される実施形態例においては、第２画像９の対応する領域１２〜１６と同一である。

上述した、画像８〜１１の解像度の低減は、ピクセルビニングにより達成され、そのために特に画像撮影センサまたは画像編集装置４を使用してよい。

図２には、１２０ｍｓ後に光電子装置３により撮影された第５画像１７も示されている。第５画像１７は、上述の、４つの画像８〜１１を撮影し、画像８〜１１の解像度を（部分的に）低減する周期が、さらなる画像１７の撮影とともに新たに開始することを示している。

Claims (10)

1. 車両（１）の周辺領域（７）を認識するカメラ装置（２）において、前記カメラ装置（２）は、広角レンズおよび高分解能画像撮影センサからなる光電子装置（３）と、前記光電子装置を制御する制御ユニットとを備え、前記車両（１）の外部周辺（７）の画像シーケンスを撮影するように構成され、
   −前記光電子装置（３）は、前記画像シーケンスの第１画像（８）の解像度を低減し、前記低減された解像度を有する前記第１画像（８）を出力するように構成され、前記第１画像（８）全体の解像度が低減され、
   −前記光電子装置（３）およびそれを制御する前記制御ユニットは、続いて撮影される、前記画像シーケンスの第２画像（９）において、中央画像領域（１２）と第１側方外側領域（１３）を含む第１部分領域を選択し、前記第１部分領域のみを出力するように構成され、出力された前記第１部分領域の解像度が低減されず、
   −前記光電子装置（３）は、前記画像シーケンスの第３画像（１０）の解像度を低減し、前記低減された解像度を有する前記第３画像（１０）を出力するように構成され、前記第３画像（１０）全体の解像度が低減され、
   −前記光電子装置（３）およびそれを制御する前記制御ユニットは、続いて撮影される、前記画像シーケンスの第４画像（１１）において、前記中央画像領域（１２）と第２側方外側領域（１４）を含む第２部分領域を選択し、前記第２部分領域のみを出力するように構成され、出力された前記第２部分領域の解像度が低減されない、カメラ装置（２）。
2. 前記第２画像（９）および／または前記第４画像（１１）の上部外側領域（１５）は選択されず、出力されない、請求項１に記載のカメラ装置（２）。
3. 前記第２画像（９）および／または前記第４画像（１１）の下部外側領域（１６）は選択されず、出力されない、請求項１または２に記載のカメラ装置（２）。
4. 前記光電子装置（３）の前記画像撮影センサまたは画像編集装置（４）は、前記第１画像（８）および前記第３画像（１１）の解像度をピクセルビニングにより低減するように構成される、請求項１〜３のいずれか１項に記載のカメラ装置（２）。
5. 請求項１〜４のいずれか１項に記載のカメラ装置（２）を備える車両（１）。
6. 車両（１）の周辺領域（７）を認識する方法において、
   −請求項５に記載の車両（１）を供給するステップと、
   −前記車両（１）の外部周辺（７）の画像シーケンスを撮影するステップと、
   −前記画像シーケンスの第１画像（８）の解像度を低減し、前記低減された解像度を有する前記第１画像（８）を出力するステップであって、前記第１画像（８）全体の解像度が低減されるステップと、
   −続いて撮影される、前記画像シーケンスの第２画像（９）において、中央画像領域（１２）と第１側方外側領域（１３）を選択して前記中央画像領域（１２）と前記第１側方外側領域（１３）のみを出力するステップであって、前記中央画像領域（１２）と前記第１側方外側領域（１３）の解像度が低減されないステップと、
   −前記画像シーケンスの第３画像（１０）の解像度を低減し、前記低減された解像度を有する前記第３画像（１０）を出力するステップであって、前記第３画像（１０）全体の解像度が低減されるステップと、
   −続いて撮影される、前記画像シーケンスの第４画像（１１）において、前記中央画像領域（１２）と第２側方外側領域（１４）を選択して前記中央画像領域（１２）と前記第２側方外側領域（１４）のみを出力するステップであって、前記中央画像領域（１２）と前記第２側方外側領域（１４）の解像度が低減されないステップと、を備える方法。
7. 前記第２および／または前記第４画像（９、１１）の上部および／または下部外側領域（１５、１６）は選択されず、出力されない、請求項６に記載の方法。
8. 前記光電子装置（３）の前記画像撮影センサを用いて、または画像編集装置（４）を用いて、前記第１画像（８）および前記第３画像（１１）の解像度はピクセルビニングにより低減される、請求項６または７に記載の方法。
9. プログラム素子がプロセッサで実行される場合、前記プロセッサに対し、請求項６〜８のいずれか１項に記載の方法の方法ステップを実行するように指示する、プログラム素子。
10. プログラム素子が保存されるコンピュータ可読媒体において、前記コンピュータ可読媒体がプロセッサで実行される場合、前記プロセッサに対し、請求項６〜８のいずれか１項に記載の方法の方法ステップを実行するように指示する、コンピュータ可読媒体。

Images