JP6416085B2 - 適用可能な被写界深度を使用するゲーテッド撮像 - Google Patents

Description

本発明は、一般に、適用可能な被写界深度を使用するゲーテッド撮像システムにより昼間及び夜間の画像を向上させる分野に関し、特に、車両使用に適用可能な撮像システム及びそのようなシステムで実施される操作方法に関する。

短パルスレーザー照明及び撮像用ゲーテッドカメラを使用する車両のための、「暗視撮像システムを備えた車両及び方法」という名称の米国特許No. 7,733,462 B2 や「アクティブな暗視システム」という名称の米国特許No. 6,730,913 B2 では、ゲーテッド撮像に基づき、低視野環境（夜間、又は雨、雪等のような低視程の夜間）の間、自動車の視野条件を改善させる装置が説明されている。しかしながら、上記引用されたいずれの文献も視聴者が被写界深度に基づき画像を向上させることについて開示していない。

幾つかの実施の形態によれば、適用可能な被写界深度を使用してゲーテッド撮像を成し遂げる方法がここに提供されている。その方法は、シーンにおいて予備の被写界深度（ＤＯＦ）と関連する境界条件を取得する段階と、光源のパラメータを制御することにより、特定の前記境界条件に基づきパルス光ビームで光源を使用して前記シーンを照らす段階と、前記境界条件に基づきセンサーアレイのパラメータを制御する段階と、前記パルス光ビームと同期する１以上の露光に基づき、前記ＤＯＦのパラメータと関連する前記境界条件に従って前記シーンのゲーテッド画像を達成するように、前記センサーアレイを使用して１以上の前記シーンの画像を捕える段階と、更新されたＤＯＦのパラメータを生み出すためにデータ処理アルゴリズムを使用して前記捕えた少なくとも１つの画像を分析する段階と、前記更新されたＤＯＦのパラメータと更新された境界条件とに基づき、更新されたセンサーアレイのパラメータと更新された光源のパラメータの少なくとも１つにより、前記照らすこと、前記制御すること、及び前記捕えることを繰り返す段階と、を備えている。

本発明は、添付図面と関連させて詳細に説明される実施の形態からより容易に理解されるだろう。
本発明による車両に取り付けられるゲーテッド撮像システムの一般図の平面図である。 本発明の好適な実施の形態によるゲーテッド撮像システムの一実施の形態の一例を概略的に示す図である。 本発明の実施の形態によるゲーテッド撮像システムの被写界深度の一実施の形態の一例を概略的に示す図である。 本発明の実施の形態によるゲーテッド撮像システムの自動障害物検出の一実施の形態を示すフローチャートである。 本発明の実施の形態によるゲーテッド撮像システムの自動障害物検出の一実施の形態の例を示している。 本発明の実施の形態によるゲーテッド撮像システムの自動障害物検出の一実施の形態の例を示している。 本発明の実施の形態によるゲーテッド撮像システムの曲線部検出の出力例を示している。 本発明の実施の形態によるゲーテッド撮像システムの各種被写界深度画像の例を示している。 本発明の実施の形態によるゲーテッド撮像システムの各種被写界深度画像の例を示している。 本発明の実施の形態によるゲーテッド撮像システムの各種被写界深度画像の例を示している。 本発明の実施の形態によるゲーテッド撮像システムの目標範囲の推定の一実施の形態の一例を概略的に示す図である。 本発明の実施の形態によるゲーテッド撮像システムの目標範囲の推定の一実施の形態の一例を概略的に示す図である。 本発明の実施の形態による昼間におけるゲーテッド撮像システムの被写界深度の使用例を示している。 本発明の幾つかの実施の形態による典型的な実施例のシミュレーションで使用される式及び単位を示している。 本発明の幾つかの実施の形態による典型的な実施例のシミュレーションで使用される式及び単位を示している。 本発明の幾つかの実施の形態による典型的な実施例のシミュレーションで使用される式及び単位を示している。 本発明の幾つかの実施の形態による典型的な実施例のシミュレーションで使用される式及び単位を示している。 本発明の幾つかの実施の形態による典型的な実施例のシミュレーションで使用される式及び単位を示している。 本発明の実施の形態による夜間におけるゲーテッド撮像システムの被写界深度の使用例を示している。 本発明の実施の形態による昼間における交通標識調節光源の例を示している。 本発明の実施の形態によるシステムゲーテッド光源のないゲーテッド撮像システムのゲーティング領域の一実施の形態の一例を概略的に示している。 本発明の実施の形態によるシステムゲーテッド光源を有する場合とその光源を有しない場合のゲーテッド撮像システムのゲーティング領域の一実施の形態の一例を概略的に示している。 本発明の実施の形態によるゲーテッド撮像システムの複数の照明光源フィールドと複数の被写界深度の一実施の形態の一例を概略的に示している。 本発明の実施の形態によるゲーテッド撮像システムの適用可能な被写界深度（「スライス」）の決定の一実施の形態を示すフローチャートである。

ゲーテッド撮像システムは、昼間の条件、夜間の条件、光変調物体の撮像（例えば、交通標識等のような高繰返し光点滅）、及び低視程の条件である。さらに、蓄積された目標物に関して自動警報機構の条件でリアルタイムに選択的な被写界深度（以下において「スライス」と呼ぶことがある）に基づき、目標物（すなわち、自動車、オートバイ、歩行者等のような物体の種類）の検出を可能にする。ゲーテッド撮像システムは、携帯され、静止及び又は移動プラットフォームに取り付けられてもよい。ゲーテッド撮像システムは、水中プラットフォーム、地上プラットフォーム又は空中プラットフォームで使用されてもよい。ここでは、ゲーテッド撮像システムのための好適なプラットフォームは車両である。ゲーテッド撮像システムは、「暗視撮像システムを備えた車両及び方法」という名称の米国特許No. 7,733,462 B2 のような従来技術で説明されている。（自由空間における）光源パルスは、ＴLaser＝２×{（Ｒ0−Ｒmin）／ｃ｝として定義され、それらのパラメータは以下のインデックスで定義されている。（自由空間における）ゲーテッドカメラのオン時間は、ＴII＝２×{(Ｒmax−Ｒmin）／ｃ｝として定義される。（自由空間における）ゲーテッドカメラのオフ時間は、ＴOff＝（２×Ｒmin）／ｃとして定義され、ｃは光速、Ｒ0，Ｒmin及びＲmaxは特定の範囲である。ゲーテッド撮像は、ＴLaser，ＴII及びＴOffの時間同期による範囲の関数として感度を作るために利用される。

以下において、単一の「ゲート」（すなわち、単一の光源パルス照明の後にセンサー読み出し毎の少なくとも単一のセンサーの露光）は、上記定義された特定のＴLaser，ＴII及びＴOffのタイミングを利用する。以下において、「ゲーティング」（すなわち、単一の光源パルス照明の後に単一のセンサーの露光、及び単一の光源パルス照明の後に一連のセンサー読み出しを終える単一のセンサーの露光）は、上記定義された各順の特定のＴLaser，ＴII及びＴOffのタイミングを利用する。以下において、被写界深度（「スライス」）は、見えたシーンの特定の蓄積された像を供給する少なくとも単一のゲート又はゲーティングを利用する。各ＤＯＦは少なくとも以下のＲ0，Ｒmin及びＲmaxを含む一定のＤＯＦパラメータを有していてもよい。

図１は、例えば、車両の前方の環境を照らすため、非可視スペクトル（例えば、ＬＥＤ及び又はレーザー源によるＮＩＲ）のゲーテッド光源１０を含むゲーテッド撮像システム６０を備えた車両２０を示している。ゲーテッド撮像システム６０は、画像ゲーティングのために設けられるカメラ（センサーアレイ）４０を含み、例えば、好適なゲーテッドカメラはゲーテッド相補型金属酸化物半導体（ＧＣＭＯＳ）であってもよい。ゲーテッド撮像システム６０はシステムコントロール３０を備え、ディスプレイ、音声型警報及び触覚型警報のようなヒューマン・マシン・インターフェース（ＨＭＩ）を動作させてもよい。

図２は開示された実施の形態に関するゲーテッド撮像システム６０の内部モジュールを示している。すなわち、ゲーテッド撮像カメラ（センサーアレイ）４０はゲーテッドカメラ／センサー７２を備えている。ゲーテッドカメラ／センサーの光学モジュール７１はゲーテッド光源１０により供給されるものに等しい電磁波長を操作及び検出するように設けられている。ゲーテッドカメラ／センサーの光学モジュール７１はさらにゲーテッドカメラ／センサー７２の光に敏感な領域に入射光の焦点を合わせるように設けられている。ゲーテッドカメラ／センサーの光学モジュール７１はさらに一定の波長のスペクトルを濾過するために設けられ、バンドパスフィルタによって実行され、及び又は、各種変更を濾過するように設けられている。さらに、ゲーテッドカメラ／センサー７２は、電磁気変調を検出可能に設けられ、ゲーテッド又は変調光源１０から発生する電磁気信号を検出するために設けられる同期機構を含んでいる。ゲーテッド撮像カメラ（センサーアレイ）４０はさらに、画像及び信号処理７５、ゲーテッド撮像制御３０（ゲーテッド撮像カメラ４０とは別に配置されてもよい）、及び電気インターフェース３５を含んでいる。ゲーテッド撮像制御３０は、起動及び制御７７を介してゲーテッド光源１０のパルスに対してカメラゲーティング／露光のゲーティングの同期化を（制御７３を介して）供給すると共に、画像及び信号処理７５に対して（７４を介して）システムパラメータを供給する。画像及び信号処理７５に供給されるシステムパラメータは、車両パラメータ（例えば、車速、ワイパー操作等）及び又はパラメータ（例えば、フレーム毎のパルス／露光の数、カメラ／センサーのゲイン、タイミング等）を含んでいてもよい。画像及び信号処理７５は、カメラ／センサー７２からの画像及び又は８５のビデオを介する外部センサーからのさらなる画像を結合（連合）してもよい。画像及び信号処理７５はさらに、ＡＤＡＳの特徴（例えば、歩行者検出、車線逸脱警報、交通標識認識、物体範囲推定等）のようなリアルタイム処理（コンピュータ認識）を供給する。さらなるインターフェースは、車両通信バス３５、データインターフェース８７を介して、ゲーテッド撮像システムのドライバーＨＭＩ７０及びビデオ出力端子８６に、ＡＤＡＳ特徴のように、出力を供給される。ビデオ出力端子８６は、ＡＤＡＳ特徴のオーバーレイのハイライト化を有する（例えば、歩行者検出警報のために接する長方形、車線逸脱警報のための車線の重なり等）。（車両の電気供給路８４を介して供給される）電源７６はゲーテッド撮像カメラ４０及び制御３０に所望の電圧を供給する。

別の実施の形態では、視覚を基本とするようなＨＭＩ７０は、幾何学的な考慮及び又はゲーテッド画像に基づき（すなわち、ゲーテッド撮像カメラ４０及びゲーテッド光源１０の特定のゲーティング／露光時間に基づき）カメラの視野（ＦＯＶ）の画像目標に対する範囲の推定を含んでいる。さらに、ゲーテッド画像の視覚表示は車両２０の速度に基づいても良く、表示画像はより高速（例えば、時速５０ｋｍ超）で拡大され、より低速（例えば、時速５０ｋｍ以下）で縮小される。

図２は、偏光を投影及び又は濾過するために設けられる光源の光学モジュール８２を含む、不可視スペクトル（すなわち、７５０〜２，０００ｎｍ）の少なくとも単一のゲーテッド光源１０を示している。光源の光学モジュール８２はさらに、光を拡散させる（例えば、ホログラフィックディフューザ、光学レンズ等）と共に１以上の照明面（ＦＯＤ）を投影させるように設けられている。ゲーテッド光源１０はパルス及び又は変調光源８１（例えば、ＬＥＤ、レーザー、フラッシュランプ等）をさらに含み、パルス照明又は変調照明を供給する。ゲーテッド光源１０は、電気的方法（例えば、熱電クーラー）、及び又は当業者であれば分かるような、適切な機械的方法及び又は照明の波長を安定化させるための光学的方法及び装置に基づく、光源の波長コントローラ８０を含んでいても良い。ゲーテッド光源１０は、光源コントローラ７８と、車両の電気供給路８４を介して供給する電源７９とをさらに含んでいる。光源コントローラ７８は、パルス又は変調照明を駆動するように設けられ、光源の波長コントローラ８０を制御すると共にゲーテッド撮像コントロール３０から起動信号を受信するように設けられている。ゲーテッド光源１０は組み込みテストを制御及び供給するように設けられる車両通信バス８３への通信インターフェース３５をさらに含んでいても良い。光源１０のパルスパラメータは、パルスの振幅、パルスの期間、パルスの周波数、パルスの形状、パルスの位相、及びパルスのデューティサイクルを含んでいても良い。

図３は特定の距離１２０で車両に取り付けられるＦＯＶ１５０を有するゲーテッドカメラ（センサーアレイ）４０を示している。ゲーテッド光源１０（図示せず）はゲーテッドカメラ４０に同期する視認画像（１３０及び１００で輪郭を描く）を示し、ゲーティング（前記で定義）を供給する。ゲーテッドカメラ（センサーアレイ）４０は完全な被写界深度（１３０及び１００で輪郭を描く）の反射したゲーテッド光源エネルギーを吸収する。ゲーテッドカメラ（センサーアレイ）４０はまた、不可視のゲーテッド光源からの、少なくとも単一の選択的に照らされたシーンの被写界深度（「スライス」）（１３０，１００及び１１０で輪郭を描かれる１４０）を蓄積しても良い。次表は各被写界深度の必要なタイミングの例を提供する。

ゲーテッド撮像システムはリアルタイムで蓄積画像を処理し、（追加のセンサーを有する及び又は有しない）画像を融合し、視認画像の関連のある物体（例えば、車両の軌跡の歩行者、交通標識の生成、道路の穴等）に自動的に警報を出し、及び又は強調する。ゲーテッド撮像システムはまた、そのシステムの処理及び又は未処理の画像を表示するディスプレイ装置及び又はシステム画像の処理された特徴のための音声警報を含んでいても良い。

ゲーテッドカメラＦＯＶ及び又はゲーテッド光源は観察されたシーンの関数として操作中に移動されても良い。例えば、観察された道路が上向きのシーンでは、ゲーテッドシステムは上向きに回転され、右に曲がる道路では、ゲーテッドシステムは道路の曲がりと同様の角度で右に回転される。ゲーテッドシステムの回転は、機械的構造、電子機械的エンジン、電子工学的構造を介して制御されても良い。

図４は、夜間及び厳しい天候条件（例えば、雨、雪等）の夜間におけるゲーテッド撮像システムの高い検出確率（ＰＯＤ）及び低い誤警報率（ＦＡＲ）の自動障害物検出のフローチャートを示している。以下の自動障害物検出は２０個の有効な目標物のカメラ画素以下の低いカメラの目標物の解像度に適用可能である（例えば、システム及び約１５の有効な目標物の画素を供給するカメラＩＦＯＶ≒０．４mrad から１５０ｍに立っている１ｍの高さの歩行者のような目標物）。フローチャートの入力はゲーテッド撮像システムで撮られる少なくとも２つの画像である。第１の画像（図４の画像＃１，２０２）はシーンの完全な被写界深度（ＤＯＦ）画像であり、連続する第２の画像（図４の画像＃２，２０１）はシーンの選択的なＤＯＦ（「スライス」）画像である。動作検出処理ブロック（２０３）は、歩行者の歩行、自転車乗り等のような垂直及び又は水平の目標物の動作を検出する。動作検出処理ブロックは、観察されたシーンに関してゲーテッド撮像プラットフォーム（例えば、車両）の「エゴモーション（Egomotion）」（すなわち、不動のシーンに関するカメラの動作を推定することに関する）動作を考慮に入れても良い。候補検出処理ブロック（２０４）は所定の特徴により目標物を抽出する。例えば、歩行者は垂直エッジに応答するフィルターにより抽出される垂直の特徴を有している。主に、車線検出処理ブロックにより供給される道路及びその近くの道路の縁に（すなわち、ゲーテッドシステムの軌跡の関連の目標物だけ）注意が向けられる。上記した３つの処理ブロックの出力を結合することは、関連する目標物だけを供給する候補スクリーニング処理ブロック（２０６）で行われる。図４の画像＃２は動作及び候補検出処理ブロックの入力であり、選択的なＤＯＦ／「スライス」（例えば、観察された画像の所定のセグメント）に基づき、さらなる目標物のスクリーニングを行う。図４の画像＃１（完全なＤＯＦ）は完全なシーン画像による画像＃２（選択的なＤＯＦ／「スライス」）に関して車線検出処理ブロック（２０５）の入力であることが好ましく、低い誤検出の高い検出確率で車線検出を可能にする。歩行者の検出のフローチャートの幾つかの処理ブロックの出力例が図５に示されている。この処理画像の入力は完全なＤＯＦ画像である（例えば、画像＃１は上述した処理ブロックの入力である）。２つの境界線は、紫色（車線検出ブロックの出力）、青色／黄色の長方形（候補検出ブロックの出力）、及び黄色の長方形（候補スクリーニングブロックの出力だが動作検出ブロックを実行しない）のアルゴリズムにより示されており、車線検出の外側の候補は除外される。歩行者検出のフローチャートの幾つかの処理ブロックの別の出力例は図６に示されている。上側の処理画像の入力は選択的なＤＯＦ／「スライス」画像であり（例えば、画像＃２は上述した処理ブロックの入力である）、下側の処理画像の入力は完全なＤＯＦ画像である（例えば、画像＃１は上述した処理ブロックの入力である）。１つは候補スクリーニング処理ブロックの入力に関してＤＯＦ／「スライス」の上側画像の利点に気付くことができる。図４のフローチャートに戻ると、特徴抽出処理ブロック（２０７）は別の目標物スクリーニング層を供給するように実行される。このブロックは各目標物のタイプの特徴に具体的に設計されている。例えば、歩行者は典型的な幅／高さ比、Ｃｙが多数のセグメントのＹ中心であるＣｙ／長さ比、セグメントの２つの部分の間のセグメントの下側部分の最大差である交差する脚の差を有し、或いは、歩行者が歩行している場合にその脚は逆「Ｖ」形状を形成する。障害物認識処理ブロック（２０８）は特徴抽出処理ブロックと一致する目標物だけを抽出し、ドライバーＨＭＩに最終の強調及び又は表明される高いＰＯＤ及び低いＦＡＲ目標物検出入力を障害物検出処理ブロック（２０９）に供給する。

図４の車線検出処理ブロックはまた、ゲーテッド画像（完全なＤＯＦ又は選択的なＤＯＦ）に基づき道路の曲線部を検出する。この検出された情報（道路の曲線部の角度及び又は道路の曲線部の距離）は車両のヘッドランプの照射及び又はヘッドランプの照射形状を移動させ、図６Ａに示されているように運転者が運転経路を予測するのを助けることができる。

ゲーテッド撮像システムＦＯＶにおける目標物の検出は、夜間及び厳しい気候条件（例えば、雨、雪等）における画像センサー及び光源のタイミング領域（ゲーティング）に関連する選択的なＤＯＦ（「スライス」）により行われる。例えば、「スライス」（例えば、観察画像のセグメント）の実施は目標物が関連のＤＯＦでのみ蓄積される仮想スキャナとして動作する。その「スライス」画像は、シーンに対してクラッターの削減及び物体のコントラスト向上により、物体の検出のため（例えば、システム画像処理、運転者の肉眼等）、完全なＤＯＦ画像に対して、より良好な信号雑音比を可能にする。クラッターは探索中の目標物に関してシーンのテクスチャとして考えられる。（歩行者に対して）強烈なクラッターは多数の車両、ポール等の都会の風景であることがある。例として、システムの完全なＤＯＦ画像は２５ｍから２５０ｍまでで、所望なＤＯＦ（「スライス」）は１５０ｍから２５０ｍであり、別の実施例は、システムの完全なＤＯＦが２５ｍから２５０ｍで、所望なＤＯＦ（「スライス」）が２５ｍから１００ｍである。

図７はゲーテッド撮像システムにより撮られた画像を示しており、上側の画像は２５ｍから２５０ｍの完全なＤＯＦ画像で撮られており、下側に連続する画像は１５０ｍから２００ｍの所望なＤＯＦ（「スライス」）で撮られている。道路の右側の歩行者は療法の画像で目立っているが、歩行者の前のクラッター（すなわち、１５０ｍ以下）及び歩行者の後ろのクラッター（すなわち、２００ｍ以上）は完全なＤＯＦ（すなわち、２５ｍから２５０ｍまで）に対して所望なＤＯＦ（「スライス」）画像において低くなっている。

図８はゲーテッド撮像システムにより撮られた画像を示しており、上側の画像は２５ｍから２５０ｍの完全なＤＯＦ画像で撮られており、下側に連続する画像は１５０ｍから２００ｍの所望なＤＯＦ（「スライス」）で撮られている。傘を持っている歩行者が約７５ｍの距離で道路を渡っており、完全なＤＯＦ画像でのみ目立っている。この例では、所望なＤＯＦ（「スライス」）画像は仮想スキャナとして動作し、目標物（この例では、歩行者）は、目標物が関連するＤＯＦで照らされていない（例えば、目立っている）事実によって、（図４のフローチャートに示されているように）自動目標物検知により表されていない。

図９はゲーテッド撮像システムにより撮られた画像を示しており、上側の画像は１０ｍから２００ｍの完全なＤＯＦ画像により撮られており、下側に連続する画像は１０ｍから５０ｍの所望なＤＯＦ（「スライス」）で撮られている。歩行者は約２５ｍの距離で画像の右側を走っており、両方の画像でのみ目立っている。この例では、所望なＤＯＦ（「スライス」）画像は、自動又は非自動の歩行者検出方法により単純な画像入力を与える、連続する完全なＤＯＦ画像より非常に少ないクラッター（すなわち、背景のデータ）を有する。選択的なＤＯＦ（「スライス」）による目標物検出はクラッターに基づいており、よって、ゲーテッド撮像の最大ＳＮＲ画像が夜間及び厳しい天候条件（例えば、雨、雪等）において受信される時、「スライス」からの目標物の最適な反射信号が蓄積されるであろう。この方法は以下のステップにより行われる。

・ステップ１：目標物は上述及び図４に示されているように自動的に検出され、或いは幾つかの他の方法によって検出される。例えば、目標物はカメラフレーム＃Ｎで検出される。

・ステップ２：「スライス」の同期のタイミング（すなわち、Ｔ_Laser，Ｔ_II及びＴ_Offのようなゲーテッド光源のタイミングとゲーテッドカメラのタイミングの関数であるパラメータ）は目標物があるＤＯＦの特定のセグメントを蓄積するように設定される。ゲーテッドカメラのＦＯＶにおける目標物の寸法及び又は位置の幾何学的な考察は「スライス」のタイミングのための「一次」距離の推定を提供する。
・ステップ３：ステップ２から蓄積される「スライス」の画像における目標物（すなわち、カメラフレーム＃Ｎで検出される目標物）のＳＮＲを計算する。

・ステップ４：Ｔ_Laser，Ｔ_II及びＴ_Offのような「スライス」の同期タイミングのパラメータを調整し、「スライス」の深度を短くすることにより及び又はＲ₀を増加させ及び又はＲ_minを増加させ及び又はＲ_maxを減少させることにより、次の「スライス」の蓄積された画像においてより良い目標物のＳＮＲを達成する。例えば、目標物がステップ１で検出された場合である。「スライス」はステップ２で説明されているように１００ｍから２００ｍの距離から反射された照明信号を蓄積するように定義される。計算された目標物のＳＮＲ（ステップ３）がステップ１の以前の目標物のＳＮＲより小さい場合、次の「スライス」を調整し、１００ｍから１５０ｍ又は１５０ｍから２００ｍ等の距離から反射される照明信号を蓄積する。
・ステップ５：ステップ３等に戻る。

ゲーテッド撮像システムは、車速及び又は観察される風景の道路の幾何学的なもの及び又は道路状態に関連する所望なＤＯＦ（「スライス」）でのみ目標物を処理及び又は表示及び又は検出する。車速はＧＰＳにより及び又は車両通信バスを介して及び又は蓄積された画像間のゲーテッド撮像システムの画像の変化に基づいて与えられる。道路の幾何学的なものは図４のフローチャートで示されているように曲線部の検出及び又は地図に関連するＧＰＳの位置により与えられる。例えば、夜間及び厳しい天候条件（例えば、雨、雪等）の夜間の道路の幾何学的なＤＯＦ（「スライス」）に従属する場合には、直線道路でＤＯＦ（「スライス」）が１５０ｍから２５０ｍで、曲線道路でＤＯＦ（「スライス」）が２５ｍから１５０ｍであろう。別の例では、道路条件のＤＯＦ（「スライス」）に従属する場合には、乾燥した道路でＤＯＦ（「スライス」）が１５０ｍから２５０ｍで、濡れた道路でＤＯＦ（「スライス」）が２５ｍから１５０ｍであろう。濡れた道路及び又はオイル漏れは、鏡の反射率の性状により又は（濡れた道路に適用可能な）車両の雨センサーのような他の外部の兆候及び又は（濡れた道路に適用可能な）天候放送から検出される。この方法は運転者及び又はシステム撮像処理に対する不適切なクラッター（データ）を削減することができ、運転者への潜在的な危険性を強調することができる。

図１０及び図１１は夜間及び厳しい天候条件（例えば、雨、雪等）におけるゲーテッド撮像システムによる目標物の距離の推定方法を示している。ゲーテッド撮像システムは各蓄積されたフレームの少なくとも１つの選択的なＤＯＦ（「スライス」）を処理し、観察及び照らされた風景の物体の距離を推定し、それはゲーテッドカメラ及びゲーテッド光源の同期のタイミング領域（ゲーティング）に関連する。例えば、特定のゲーティングのシーケンスは特定の選択的なＤＯＦ（「スライス」）に直接関連している。距離の推定は光源のパルスの上昇及び降下時間及びゲーテッドカメラのＧＣＭＯＳの遮蔽特性（オン及びオフ期間）に基づき、そのため、これらのパラメータが早くなると距離の推定はより正確になる。

図１０は上側部分において、単一フレーム／画像の単一ＤＯＦ（「スライス」、４００）における２つの物体（目標物４０１及び４０２）を示している。下側部分には、異なる単一フレーム／画像の２つの異なるＤＯＦ（「スライス」、４０１及び４０２）における同じ２つの物体（目標物４０１及び４０２）を示している。図１１は複数の異なるＤＯＦ（「スライス」、４５０、４６０及び４７０）における単一の物体（目標物４０３）を示している。各ＤＯＦの特定の同期タイミングに基づき、Ｒ₀及び又はＲ_min及び又はＲ_maxが抽出される。例えば、５０ナノ秒の次数のゲートのオン／オフ時間のゲーテッドカメラで畳み込まれる５０ナノ秒の次数の上昇／降下時間の光源は±１５ｍの次数のＤＯＦ範囲を推定する。

ゲーテッド撮像システムは昼間及び又は夜間及び又は低視程状態の間に物体の距離及び又はタイプを検出及び又は推定する。これは、読み出しフレーム毎の少なくとも単一の光源のパルス及びゲートのシーケンスに基づき、選択的なＤＯＦ（「スライス」）を有する可能性に直接関係する。この方法は観察された風景における高強度の照明光源のピーク電力の反射を利用する。高反射物体（すなわち、ランベルトのような拡散性のない目標物）は、交通標識の再帰反射器、車両の再帰反射光及び又は再帰反射ステッカー、交通照明の再帰反射器等のようなこの技術で検出される。再帰反射器からの強い照明は拡散性反射器より３段階の次数であり、昼間光の状態でさえ背景の信号比に対して良好なゲーテッド撮像システムの信号を可能にする（すなわち、太陽による高照度）。この方法は、背景から「強調する（Highlighting）」関連の目標物を供給し、幾何学的考察及び又は他の方法に基づき、関連する距離の推定をより迅速かつ簡単に行うことができる。その方法は（図１３に示されている計算例によって）以下のように行われる。

・フレーム「＃１（活動型フレーム）：単一読み出しフレーム毎の少なくとも単一の光源パルス及びカメラのゲートシーケンス（ゲーティング）である。少なくとも単一の光源パルス及びカメラのゲートシーケンス（ゲーティング）はフレーム＃１の終わりにできるだけ近い期間に行われる。少なくとも単一の光源パルスは関連波長における周囲の放射照度おり高いピーク電力でなければならない。このフレーム＃１の例は図１２に示されている。

フレーム＃２（受動型フレーム）：フレーム＃１に連続する単一の読み出しフレーム毎の光パルスのない単一のカメラゲートである。光パルスのない単一ゲートはフレーム＃２の初期にできるだけ近い期間に行われる。この方法により、フレーム＃１（活動型フレーム）及びフレーム＃２（受動型フレーム）は、カメラのゲート期間が両フレームで同一の場合に同様の周囲の光を蓄積する。このフレーム＃２の例は図１２に示されている。

・フレーム＃３（「強調する（Highlighting）」非常に反射する物体）：フレーム＃１をフレーム＃２から引いて信号の閾値を設定する。この方法は風景において非常に反射する物体を露光する周囲の光の背景を除去する。フレーム＃１のセンサーのゲート／光のパルス及びフレーム＃２のセンサーのゲートのタイミング（すなわち、各フレームの位置）は、各フレームにおいて比較的同様に蓄積される背景の信号を供給するこれらの事象の近くのためより良い目標物ＳＮＲを供給する。このフレーム＃３の例は図１２に示されている。

画像におけるこの取得されたデータを結合することにより背景から「強調する（Highlighting）」関連の目標物（すなわち、風景において非常に反射する物体）である。例えば、交通標識、車両照明の再帰反射器、車両のプレートナンバー等である。フレーム＃３における「強調する（Highlighting）」関連の目標物の例は図１２に示されている。
・目標物のタイプの検出：これは目標物の反射率の動作に基づき、目標物のタイプは推測される（ランベルト、再帰反射器又は周囲の光源）。

目標物の範囲の推定：「強調された」目標物の領域においてのみ範囲推定アルゴリズムを実行する。幾何学的考察に基づく範囲推定アルゴリズムは車両の再帰反射器の間の予め公知な距離及び又は車両のプレートのサイズ及び又は後方車両の照明の間の距離等に基づいている。図１２に示されているフレーム＃３の「強調された」車両後部の再帰反射器の検出例に基づき、その範囲は４２．８ｍと推定される（測定値から５％以下の誤差）。この範囲推定のさらなるパラメータは、車両後部の再帰反射器の間の距離が１．１ｍで、ゲーテッドカメラＩＦＯＶ≒０．４５mrad である。

ゲーテッド撮像システムは夜間及び又は夜間の低視程条件における物体の距離及びタイプを検出及び又は推定する。これは、センサーの読み出しフレーム毎の少なくとも単一の光源パルス及びゲートシーケンス（ゲーティング）に基づき選択的にＤＯＦ（「スライス」）を有する可能性に直接関係する。この方法は観察された風景において高強度の照明光源のピーク電力の反射を利用する。非常に反射する物体（すなわち、ランベルトのように拡散しない目標物）は、交通標識の再帰反射器、車両の再帰反射ライト及び又は再帰反射器のステッカー、交通ライトの再帰反射器等のようなこの技術において検出される。再帰反射器からの強い照射は拡散反射より３等級の次数であり、良好なゲーテッドシステムの信号雑音比（ＳＮＲ）とすることができる。この方法は、背景から「強調する」関連の目標物を供給し、幾何学的考察及び又は他の方法に基づき、より迅速且つ簡単に関連する距離を推定することができる。その方法は図１４に示されている。

・フレーム＃１（名目のフレーム）：読み出しフレーム毎の少なくとも単一の光源パルス及びカメラのゲートシーケンス（ゲーティング）である。通常、この画像は１０００ゲートの次数における単一の読み出しフレーム毎に幾つかのゲートシーケンスに基づいている。フレーム＃１の例は図１４に示されている。

・フレーム＃２（活動型フレーム）：フレーム＃１に連続する単一の読み出しフレーム毎の少なくとも単一の光源パルス及びカメラのゲートシーケンス（ゲーティング）である。少なくとも単一の光源パルス及びゲートシーケンス（ゲーティング）はフレーム＃１の終わりにできるだけ近い期間に行われる。通常、この画像は１０ゲートの次数における単一の読み出しフレーム毎に幾つかのゲートシーケンスに基づいている。このフレーム＃２の例は図１４に示されている。

・フレーム＃３（受動型フレーム）：フレーム＃２に連続する単一の読み出しフレーム毎の光パルスのない単一のカメラゲートである。光パルスのない単一ゲートはフレーム＃２の初期にできるだけ近い期間に行われる。この方法により、フレーム＃２（活動型フレーム）及びフレーム＃３（受動型フレーム）は、両方の画像において同様の像を蓄積する。このフレーム＃３の例は図１４に示されている。

・目標物のタイプの検出：目標物のタイプは目標物（フレーム＃２及びフレーム＃３）の反射率の作用に基づき、推測される（ランベルト、再帰反射器目標物又は周囲の光源）。異なる目標物の例は図１４に示されている。

・目標物の範囲の推定：これは、ランベルト目標物、再帰反射器目標物又は周囲の光源目標物のような予め定義された特性を有する領域のみで範囲推定アルゴリズムを実行する。幾何学的考察に基づく範囲推定アルゴリズムは車両の再帰反射器の間の予め公知な距離及び又は車両のプレートのサイズ及び又は後方車両の照明間の距離等に基づいている。図１２の例に基づき、反対側車両に対する範囲推定は１１０ｍと推定される（測定値から５％以下の誤差）。この範囲推定のさらなるパラメータは、反対側車両のヘッドランプの間の距離が１．５ｍで、ゲーテッドカメラＩＦＯＶ≒０．４５mrad である。

図１５は昼間において非ゲーテッドカメラで撮られた４枚の連続画像を示している。これらの画像は光パルス幅変調（ＰＷＭ）による各画像において光変調された目標物の異なる部分（この場合には画像の上側部分の交通標識）を取得する問題を示している。ゲーテッド撮像システムはゲーテッド撮像カメラＦＯＶにおいて光変調又はパルスの物体の像（例えば、光の明滅を頻繁に繰り返す交通標識等）を写す。

図１６はゲーテッド光源の必要がないゲーテッド撮像カメラ４０を利用する技術を示している。変調周波数で「ロックする（locking）」（例えば、特定のゲートを開放し、光源の変調周波数に直接関係する信号を調べる）こと、及び又はセンサーフレーム（３２０）の読み出し毎に異なるタイミングシーケンス（３３０，３５０及び３７０）において異なる時間長の露光３４０，３６０及び３８０で（すなわち、光源の変調周波数を「知る」ことなく）システムのカメラの複数のゲート（「Ｇ」で示す）による。印３１０はゲーテッドカメラ４０のサイクルにおけるあるタイミングシーケンスを示している。

図１７はゲーテッド撮像システム６０がシステムから及び又はシステムの光源の照射なしに及び又は追加の撮像センサー（例えば、熱センサー、ＣＭＯＳ，ＣＣＤ等）で得られる少なくとも２枚の画像（フレーム）から融合される画像を処理及び又は融合及び又は表示する方法を示している。図１７のフレーム＃１は光源を使用しない受動型フレーム（図１４のフレーム＃３と同様）であり、図１７のフレーム＃２は活動型フレーム（図１４のフレーム＃１又はフレーム＃２と同様）である。活動型フレームはタイミングシーケンスを有し、照射パルスの後にセンサーの露光の一定の遅れ（よって、上記定義されるゲーティング）が続く。照射パルス（「Ｌ」で示す）は異なる期間（２３５，２５５及び２６５）の後に遅れ（２３７，２５７及び２６７）が続く。センサーフレーム（２４０）の読み出し毎にＮサイクルまで異なるタイミングシーケンス（２３０，２５０及び６７０）においてセンサーの異なる露光期間（３４５、３６５及び３８５）となる。印３１０はゲーテッドカメラ４０のサイクルにおける一定のタイミングシーケンスを示している。ヒュージング受動型フレーム及び活動型フレームは改善された画像の融合フレームを提供する。

ＧＣＭＯＳ等に基づくもののようなゲーテッドカメラ、ゲーティング（光蓄積）のタイミングは各画素と別のものとが異なり或いは各アレイ（幾つかの画素又は画素群）とがＧＣＭＯＳの別のものと異なる。この方法は各ゲーテッド画素（又はゲーテッドアレイ）に異なるＤＯＦ（「スライス」）を蓄積させることができる。これは各画素又は画素群の起動機構を制御することにより達成される。

そのようなゲーテッド撮像システムは、フレームの読み出し毎にゲート数を下げること及び又はゲート時間長を制限すること及び又はゲーテッドカメラを再び下げることに直接関係するゲーテッドカメラの短いゲート（すなわち、露光時間／光蓄積）により、高強度の周囲の光レベルの間（すなわち、昼間、夜間に車両に入ってくる高い又は低いフロントヘッドライト等）の撮像センサーのブルーミングの問題を克服する。ブルーミングはまた、各画素と別のものとの間の高いアンチブルーミング比により、ＧＣＭＯＳ等のように、ゲーテッドカメラで処理される（すなわち、画素から隣の画素への信号拡散の流出を減少させる）。例えば、最初のフレームが５０ナノ秒の単一の露光を有し、連続するフレームが１６ミリ秒の単一の露光を有する場合、最初のフレームと連続するフレームとの間に１１０ｄＢのダイナミックレンジを可能にする。

ゲーテッド光源１０は、例えば、閉ゲーテッド撮像距離（例えば、水平２４度、垂直８度で１００ｍまで照射するＦＯＩ）のための広いＦＯＩ／開度（１３０及び１００で輪郭が描かれている）及び長ゲーテッド撮像距離（例えば、水平８度、垂直８度で１００ｍから２００ｍまで照射するＦＯＩ）のための２番目の狭いＦＯＩ／開度に示されているように、ＦＯＶ１５０の少なくとも一つのゲーテッドカメラ４０を有する１つの照明場（ＦＯＩ）／開度以上である。上記例に戻ると、２００ｍまで照射する単一の広いＦＯＩを有するものはデュアルＦＯＩより約４００％のエネルギーを要求する。この方法は単一のＦＯＩ照明に関してゲーテッド光源の電力消費を削減させ、上述したような短く長い距離の各種機能を保持する。各ＦＯＩ（開度）は少なくとも単一の異なるＤＯＦを利用し、例えば、狭いＦＯＩは１５０ｍから２５０ｍのＤＯＦ（１９０，１７０及び１８０で輪郭を描かれている１６０）を有し、広いＦＯＩ（１３０，１１０及び１００で輪郭を描かれている１４０）は１０ｍから１００ｍのＤＯＦを有している。この技術は視聴者及び又はシステムの自動検出に対してＦＯＩが一定であり及び又はＤＯＦが単一のＦＯＩに限定される他の画像システムと比較する利点を与える。さらに、各ゲーテッド撮像ＦＯＩは、異なるスペクトル幅及び又は異なる偏光及び又は異なるゲーティングのタイミング（すなわち、Ｔ_Laser，Ｔ_II及びＴ_Off）及び又はゲーテッド光源パルスの形状（すなわち、上昇／降下時間）のような異なる電子光学パラメータを有している。これにより、観察された標識の蓄積されたデータ／信号の別の層をゲーテッドシステムに与えることができる。

図１９はゲーテッド撮像システムの適応可能なＤＯＦ処理のフローチャート（５００）を示している。ステップ５１０では、シーンにおける予備的なＤＯＦパラメータ（すなわち、一定のＲ0，Ｒmin及びＲmax）を伴う（プラットフォームの速度、地形幾何学、地形学、シーンの視界、ＤＯＦでの検出に要求される物体のタイプ等のような）境界条件を得る。ステップ５２０及びステップ５３０では、特定のＤＯＦ（単一の読み出しセンサーアレイフレーム毎に１つ以上）がゲーテッド光源のパラメータ（例えば、開度及び、パルスの振幅、パルスの期間、パルスの周波数、パルスの形状、パルスの位相、及びパルスのデューティサイクル等のようなパルスのパラメータ）及びゲーテッドカメラ（センサーアレイ）のパラメータ（例えば、ゲイン、露光の期間、露光の周波数、露光の上昇／降下時間、蓄積されたパルスの偏光、及び露光のデューティサイクル）を制御することにより、設定される（ＴLaser，ＴII及びＴOff）。ステップ５４０では、少なくとも単一のゲーテッド画像がＤＯＦパラメータを伴う境界条件に従ってゲーテッドカメラ（センサーアレイ）で取得される。ステップ５５０では、特定のＤＯＦ（「スライス」）が分析された取得画像の少なくとも１つ及び又は（変更される）境界条件に基づき調整／更新される。

Claims (19)

1. 移動プラットフォームからリアルタイムでシーンを撮像する方法であって、
   シーンの予備被写界深度（ＤＯＦ）のパラメータと関連する、プラットフォームの速度を含む境界条件を取得することと、
   光源のパラメータを制御することにより、前記境界条件に基づきパルス光ビームで光源を使用して前記シーンを照らし、前記光源は少なくとも１番目と２番目の照明場（ＦＯＩ）を有し、該各ＦＯＩは少なくとも一つの異なるＤＯＦを利用することと、
   前記境界条件に基づきセンサーアレイの各画素又は画素群のパラメータを制御することと、
   前記パルス光ビームと同期する１以上の露光に基づき、前記ＤＯＦのパラメータと関連する前記境界条件に従って前記シーンの１以上のゲーテッド画像を達成するように、前記センサーアレイを使用して１以上の前記シーンの画像を捕えることと、
   更新されたＤＯＦのパラメータを生み出すためにデータ処理アルゴリズムを使用して前記捕えた少なくとも１つの画像を分析することと、
   前記更新されたＤＯＦのパラメータと更新された境界条件とに基づき、前記センサーアレイの各画素又は画素群の更新されたパラメータと更新された光源のパラメータの少なくとも１つにより、前記照らすこと、前記制御すること、及び前記捕えることを繰り返すことと、
   前記センサーアレイの異なる画素又は画素群に異なるＤＯＦ（スライス）を蓄積することと、
   を備えていることを特徴とする方法。
2. 前記光源のパラメータは、前記パルス光ビームとその開度のパルスのパラメータを備えている請求項１に記載の方法。
3. 前記境界条件は、地形幾何学、地形、シーンの視認性、及び検出されることが要求される物体の種類の少なくとも１つを備えている請求項１に記載の方法。
4. 前記パルスのパラメータは、パルスの振幅、パルスの期間、パルスの周波数、パルスの形状、パルスの位相、及びパルスのデューティサイクルの少なくとも１つを備えている請求項２に記載の方法。
5. 前記センサーアレイの各画素又は画素群のパラメータは、ゲイン、露光の期間、露光の回数、露光の立ち上がり／立ち下がり時間、蓄積されたパルスの偏光、及び露光のデューティサイクルの少なくとも１つを備えている請求項１に記載の方法。
6. 昼間に実行され、前記光源の前記パルス光ビームの強さレベルは昼光レベルに打ち勝つのに十分であり、前記シーンのＤＯＦによる物体からの反射が分析で区別可能となっている請求項１に記載の方法。
7. 前記分析することは、前記シーンのＤＯＦ内の少なくとも１つの特定の物体に向けられる前記パルス光ビームの強さレベル及び開度を考慮して前記特定の物体からの反射を分析することにより、前記センサーアレイからの前記特定の物体の距離を推定することをさらに含んでいる請求項３に記載の方法。
8. 前記照らすことは、狭角と広角の少なくとも２つの光ビームを使用して前記シーンを照らすことにより行われる請求項１に記載の方法。
9. 前記照らすことは、同一のフレームで捕えられる狭角と広角の少なくとも２つの光ビームを使用して前記シーンを照らすことにより行われる請求項１に記載の方法。
10. 前記捕えることは、２以上の異なるＤＯＦのパラメータで実行される請求項１に記載の方法。
11. 前記シーンの物体の少なくとも幾つかは再帰反射性であり、前記シーンの物体の少なくとも幾つかは拡散反射性であり、前記分析することは、物体から反射の強さ及び幾何学的な特徴の閾値を設定すると共に該閾値と比較することにより、前記再帰反射性の物体と前記拡散反射性の物体とを区別するように行われる請求項１に記載の方法。
12. 移動プラットフォームからリアルタイムでシーンの画像を生成するためのゲーテッド撮像システムであって、
    少なくとも１番目と２番目の照明場（ＦＯＩ）を有し、該各ＦＯＩが少なくとも一つの異なるＤＯＦを利用するパルス光源と、
    センサーアレイと、
    コンピュータプロセッサーと、
    を備え、前記パルス光源は、パルス光ビームとその開度のパルスのパラメータを制御することにより、プラットフォームの速度を含む特定の境界条件に基づき、前記シーンの被写界深度（ＤＯＦ）のための前記特定の境界条件を受け取ると共に、前記パルス光ビームで前記シーンを照らすように構成されており、
    前記コンピュータプロセッサーは、前記特定の境界条件に基づき前記センサーアレイの各画素又は画素群のパラメータを制御するように構成され、
    前記センサーアレイは前記シーンの１以上の画像を捕え、前記捕えることは、前記パルス光ビームと同期する１以上の露光に基づいており、前記特定の境界条件で前記シーンのゲーテッド画像を達成し、
    前記コンピュータプロセッサーは、データ処理アルゴリズムを使用して少なくとも１つの捕えられた画像を分析し、分析されたスライスパラメータを生み出すように構成され、
    前記パルス光源、前記センサーアレイ、及び前記コンピュータプロセッサーは、前記分析されたスライスパラメータ及び更新された境界条件に基づき、更新されたパラメータで前記照らすこと、前記制御すること、及び前記捕える事を繰り返すように構成され、前記センサーアレイの各画素又は画素群のパラメータは各画素又は画素群が異なるＤＯＦ（スライス）を蓄積するように制御されることを特徴とするシステム。
13. 前記特定の境界条件は、地形幾何学、地形、シーンの視認性、及び前記スライスの物体の種類の少なくとも１つをさらに備えている請求項１２に記載のシステム。
14. 前記パルスのパラメータは、パルスの振幅、パルスの期間、パルスの周波数、パルスの形状、パルスの位相、及びパルスのデューティサイクルの少なくとも１つを備えている請求項１２に記載のシステム。
15. 前記シーンの少なくとも幾つかの物体は再帰反射性であり、前記シーンの少なくとも幾つかの物体は拡散反射性であり、前記分析することは、前記物体から反射の強さ及び幾何学的な特徴の閾値を設定すると共に該閾値と比較することにより、前記再帰反射性の物体と前記拡散反射性の物体とを区別するように行われる請求項１２に記載のシステム。
16. シーンの少なくとも幾つかの物体が再帰反射性で、前記シーンの少なくとも幾つかの物体が拡散反射性であり、少なくとも１番目と２番目の照明場（ＦＯＩ）を有し、該各ＦＯＩが少なくとも一つの異なるＤＯＦを利用するパルス光でシーンを照らすことと、
    前記照らすことでセンサーアレイを同期させ、前記シーンのゲーテッド画像を生成することと、
    前記物体から反射の強さ及び幾何学的な特徴の閾値を設定すると共に該閾値と比較することにより、前記再帰反射性の物体と前記拡散反射性の物体とを区別するように前記ゲーテッド画像を分析することと、
    を備え、
    前記ゲーテッド画像からの前記ＤＯＦのパラメータは得られた境界条件と関連し、前記境界条件に基づき前記センサーアレイの各画素又は画素群のパラメータを制御することをさらに備え、前記センサーアレイの各画素又は画素群のパラメータは各画素又は画素群が異なるＤＯＦ（スライス）を蓄積するように制御されることを特徴とするゲーテッド撮像方法。
17. 前記異なるＤＯＦは、少なくとも閉ゲーテッド撮像距離のための広いＦＯＩと長ゲーテッド撮像距離のための狭いＦＯＩを供給する請求項１〜１１のいずれか１の請求項に記載の方法。
18. 前記異なるＤＯＦは、少なくとも閉ゲーテッド撮像距離のための広いＦＯＩと長ゲーテッド撮像距離のための狭いＦＯＩを供給する請求項１２〜１５のいずれか１の請求項に記載のシステム。
19. 前記異なるＤＯＦは、少なくとも閉ゲーテッド撮像距離のための広いＦＯＩと長ゲーテッド撮像距離のための狭いＦＯＩを供給する請求項１６に記載のゲーテッド撮像方法。

Images