JP2019526846A - ビークルのための受動光学検出方法およびシステム - Google Patents

Abstract

１または複数のビークルの存在を１または複数のカメラを用いて検出する受動光学カメラベースシステムのためのシステム、方法、および装置が説明される。検出アルゴリズムは、ビークルからの散光および／または反射光の光強度の変動を検出するため、１または複数の撮像プロセッサおよび１または複数のカメラを使用して、１または複数のビークルの存在を認識するために適用される。それらの散光および／または反射光は、１または複数のカメラからのフレームの組に含まれる画像にキャプチャされる。

Description

関連出願
本出願は、その開示全体が参照により本明細書に組み込まれている、２０１６年７月７日に出願された「Ｏｐｔｉｃａｌ ｍｅｔｈｏｄ ｆｏｒ ｄｅｔｅｃｔｉｏｎ ｏｆ ｕｎｍａｎｎｅｄ ａｅｒｉａｌ ｖｅｈｉｃｌｅｓ」という名称の米国仮特許出願第６２／３５９，５５８号の利益および優先権を米国特許法第１１９条の下で主張する、２０１７年７月６日に出願された米国特許出願第１５／６４３，３１５号への優先権を主張する。

政府の許認可権
本発明は、国防総省国防高等研究事業局によって授与された契約番号ＨＲ００１１−１５−Ｃ−０１４８の下で政府支援により行われた。政府は、本発明において、一定の権利を有する。

著作権の表示
本特許出願の開示の一部分は、著作権保護を受ける資料を含む。著作権の所有者は、ソフトウェアエンジンおよびそのモジュールの何人による複写に対しても、それが米国特許商標局の包袋または記録に現れるとき異議はないが、それ以外の場合、どんなものであれすべての著作権を留保する。

分野
本明細書に提供する設計の実施形態は、一般に、受動光学検出システムに関する。

ドローン検出システムの位置を表し、動作するのにより電力を費やす能動ドローン検出システムが存在している。他の何らかの技法は、（１）脅威の位置を特定するために複数のセンサを必要とし、他の雑音源（交通、航空機、工場騒音、昆虫雑音など）からの干渉の影響を受けやすく、有効範囲が限定される音声技法と、（２）能動ＲＦ放射技法であり、大型で、高価で、商用ビークル（ｖｅｈｉｃｌｅ）などの小型で大部分は非金属の物体を検出するその能力が限定されるレーダーと、（３）運動または外観ベースの物体検出だけに頼り、鳥類、航空機、および他の飛行物体からの誤報の影響を受けやすく、典型的にはドローンが一点でホバリングするのではなく移動することを必要とし、雑然とした風景において関心のある物体を確実に識別することができない光学技法とを含む。

本明細書に提供するのは、受動光学カメラベースシステムのための様々な方法、装置、およびシステムである。

一実施形態において、受動光学カメラベースシステムが、１または複数のビークルの存在を１または複数のカメラを用いて検出することができる。受動光学カメラベースシステムは、１または複数のビークルからの散光および／または反射光から光強度の変動を検出するために１または複数の撮像プロセッサおよび１または複数のカメラを使用して、そのビークルの存在を認識するための検出アルゴリズムを適用することができる。それらの散光および／または反射光は、１または複数のカメラからのフレームの組に含まれる画像にキャプチャされ、それらは検出アルゴリズムおよび撮像プロセッサによって処理される。受動光学カメラベースシステムからの能動放射の欠如により、検出アルゴリズムおよび撮像プロセッサは、受動光学カメラベースシステムの存在を表すことなく１または複数のビークルの存在を検出することが可能になることに留意されたい。ソフトウェアに実装された検出アルゴリズムの任意の部分は、実行可能な形式でメモリに記憶し、１または複数のプロセッサによって実行することができる。

本明細書に提供される設計のこれらのおよび他の特徴は、図面、明細書、および特許請求の範囲を参照して、よりよく理解することができ、それらのすべては本特許出願の開示を形成する。

図面は、本明細書に提供する設計のいくつかの実施形態を表す。

１または複数のビークルの存在を１または複数のカメラを用いて検出するように構成された受動光学カメラベースシステムの一実施形態を示すブロック図である。

検出結果を実時間で表示画面上に表示し、検出結果が風景（ｓｃｅｎｅ）の画像上に重ね合わされた合成画像を生成するグラフィカルユーザインターフェースの一実施形態を示す図である。

検出アルゴリズムの一実施形態を示すブロック図である。

追跡アルゴリズムの一実施形態を示すブロック図である。

システムに装着された２つ以上のカメラの一実施形態を示すブロック図であって、各カメラが、対象範囲を最大化するために空の指定領域をスキャンするように構成され、追跡アルゴリズムおよび／または検出アルゴリズムによって指示されたとき、潜在的検出ビークル上にとどまり（ｄｗｅｌｌ ｏｎ）、ビークル検出候補の距離を決定するためのステレオデータを得るために潜在的検出ビークルに集中する（ｃｏｎｖｅｒｇｅ ｏｎ）ように複数のカメラを調整する、ブロック図である。

より大きな地形エリアの対象範囲を得るために互いにネットワークで結ばれ、同時に使用される２つ以上のカメラの一実施形態を示すブロック図である。

ｉ）第１のカメラの運動を測定する慣性測定ユニットからのデータを組み合わせ、ｉｉ）次いで、フレームの組にキャプチャされたデータを補正する運動補償データを生成する実時間デジタル画像安定化プログラムを有する受動光学カメラベースシステムの一実施形態を示すブロック図である。

ビークルを検出する受動光学カメラベースシステムの一実施形態を示すフロー図である。

ビークルを検出する受動光学カメラベースシステムの一実施形態を示すフロー図である。

受動光学カメラベースシステムの一部であることができる１または複数のコンピューティングデバイス９００の一実施形態を示す図である。

設計は様々な変更形態、等価形態、および代替形態に従うが、その具体的な実施形態を図面における例により示しており、次に詳細に説明する。設計は、開示する特定の実施形態に限定されず、それどころか、本発明は、具体的な実施形態を使用してすべての変更形態、等価形態、および代替形態を包含するものとすることを意図することを理解されたい。

以下の説明において、本設計の完全な理解をもたらすために具体的なデータ信号、名前付き構成要素、フレーム数などの例など、数多くの具体的な詳細を記載する。しかし、本設計がこれらの具体的な詳細なしで実施できることは当業者には明らかであろう。他の事例において、よく知られた構成要素または方法は、不必要に本設計を曖昧にすることを避けるために詳細には説明しておらず、むしろブロック図で説明している。さらに、第１のコンピューティングデバイスなどの具体的な数値参照を行うことができる。しかし、具体的な数値参照は、文字どおりの順番と解釈すべきではなく、むしろ、第１のコンピューティングデバイスが第２のコンピューティングデバイスと異なると解釈すべきである。したがって、記載した具体的な詳細は、単に例示にすぎない。具体的な詳細は、本設計の精神および範囲と異なり得るものの、それでも本設計の精神および範囲内にあると企図することができる。「結合される（ｃｏｕｐｌｅｄ）」という用語は、構成要素に直接または構成要素に別の構成要素を通して間接的に、のいずれかで接続されることを意味すると定義される。

概して、受動光学カメラベースシステムの１または複数の実施形態を説明する。

図１は、１または複数のビークルの存在を１または複数のカメラを用いて検出するように構成された受動光学カメラベースシステムの一実施形態のブロック図を示す。

受動光学カメラベースシステム１００は、複数のカメラと、慣性測定ユニットと、ビークル特性情報を含む様々な情報を記憶するデータベースと、検出アルゴリズムを実行するメモリおよび１または複数のプロセッサを含む計算モジュールと、追跡アルゴリズムと、表示画面と、ユーザデバイスインターフェースと、他の入力ポートおよび出力ポートと、経路予測論理回路と、多くの他の同様の構成要素とを含むことができる。

受動光学カメラベースシステム１００は、１または複数のビークルの存在を１または複数のカメラを用いて検出する。ビークルは、回転翼またはプロペラ駆動ビークルを含むことができる（例えば、ホバークラフト、エアボート、飛行機、ヘリコプタ、ビークル、外部ファンを有する任意の地上車両）。カメラは、それらのレンズと、ＣＭＯＳ画素画像センサなどの撮像センサとを用いて撮像データを収集する。計算モジュールはシステムを制御することができる。１または複数の処理ユニットは、データを処理することを受け持つ。アルゴリズムは、ビークルの実際の検出および追跡を実施することができる。したがって、受動光学カメラベースシステム１００は、ＦＰＧＡ、ＧＰＵ、ＣＰＵなどの１または複数の撮像プロセッサを使用して１または複数のビークルの存在を認識するために検出アルゴリズムを適用し、そのビークルからの広範な散光および／または反射光から光強度の微細な変動を検出するために１または複数のカメラを適用することができる。計算モジュールにおける検出アルゴリズムは、ａ）ビークルの回転翼またはｂ）ビークルの他の移動または振動部分ｉ）からの反射光および／またはｉｉ）からの光の散乱から光強度の変動を直接測定することによってビークルの存在を識別し、特徴付けることができる。したがって、検出アルゴリズムは、１）雑音帯域よりも大きい光強度の変動を有する画素を各フレームにおいて見つけ、ならびに２）これらの画素は、光強度の変動も含む連結画素を用いてグループ化される。次に、検出アルゴリズムは、画素の連結グループを可能なビークル検出候補に分類する。例えば、検出結果を実時間で表示画面上に表示し、検出結果が表示画面上の初期風景画像において、検出されたビークルに対して強調表示される合成画像を生成するグラフィカルユーザインターフェースを示す図２を参照されたい。検出アルゴリズムの例については図３参照。検出された光は、可視光ならびに赤外線（ＩＲ）を含む他の種類の光を含むことに留意されたい。

モニタ、ヘルメット上のヘッドアップ表示装置、デジタル眼鏡、スマートフォン、タブレットなどの表示画面が、結果を実時間でユーザまたは操作者に提示する。システム１００は、表示画面上に強調表示／指示されたドローンの位置を表示画面上に実時間で表示することができる。一実施形態において、表示された検出結果は、風景（ｓｃｅｎｅ）画像において、検出されたビークルに対して検出結果が強調表示され、または他の方法で指示されるグラフィックユーザインターフェースにおける生成された合成画像である。一実施形態において、ｉ）白黒色が風景画像に使用され、ｉｉ）強調表示された緑色を、十分な統計的有意性基準スコアを有し、偽のまたは誤った周波数スパイクに対するビークルの陽性検出としての経時的持続性について確認された、検出されたビークルのオーバーレイに使用することができる。代替実施形態において、検出結果は、他の色で強調表示し、または他のやり方で強調することができる。

撮像検出センサは、ビークルの存在の早期検出をユーザまたは操作者に供給するために光強度の変動を使用する。例えば、ビークルからの光強度の変動を検出する図２、図５、および図６を参照されたい。システム１００は、最大１キロメートルまでのまたは１キロメートル超の距離におけるクワッドコプターなどの小型の、すぐ利用できるビークルを受動的に検出し、農村および都市環境において移動プラットフォーム上で作業することができる。

説明したように、受動光学カメラベースシステム１００は、画像における調光の周波数成分を検出するために、光強度の変動による撮像を使用し、毎秒５００フレーム以上などの高フレームレートの撮像装置および特有の処理を使用する。周波数情報は、表面振動または移動機械的特徴（すなわち、プロペラ、回転翼など）によって生じた光変調を直接測定することによって得ることができる。システム１００は、光強度の変動情報と、初期（いくつかの実施形態においては「生の」とみなすことができる）画像とを組み合わせた合成画像を構築する。システム１００は、時変光源の周波数成分を空間的に配置し、分離することができ、したがって、ビークルが同等の分解能を有する他の撮像センサによって識別可能になる前に、ビークルの回転翼周波数の検出および測定が可能になる。したがって、このシステム１００は、小型のビークルと、鳥類、飛行機、および任意の他の飛行物体とを区別することができる。

一実施形態において、システム１００は、１または複数の撮像センサと、電動パン／チルトマウントと、データ処理用のコンピュータとを含む。処理パイプラインの第１のステップは、高速カメラ画像ストリームの時間軸に沿って実時間高速フーリエ変換（ＦＦＴ）を計算することによってＰＳＤ推定（パワースペクトル密度）を実施することである。周波数空間において、スペクトルピークが、各画素に対して識別され、統計的有意性スコアが割り当てられる。次いで、隣接した画素の主要周波数が、空間クラスタリングを使用して検出事象にグループ化される、より高い忠実性のスペクトルに組み合わされる（例えば、ヒストグラムが閾値に対して見つかったものを示す場合の風景に対する割り当てられた統計的有意性スコアのヒストグラム２０３の例を示す、図２の表示装置の底部を参照されたい）。検出事象は、検出をオブジェクトトラックに累積するためにカルマンフィルタまたは他の追跡アルゴリズムを使用する追跡アルゴリズムに渡される（例えば、追跡アルゴリズム例については図４参照）。追跡されたビークルの座標は、表示画面および経路予測論理回路に送ることができる。

経路予測論理回路は、１または複数のドローンの運動を３Ｄで予測し、および／または予測座標を別のシステムに提供する。

通知モジュールが、ビークル検出事象の通告を計算モジュールから受け取ることができる。通知モジュールは、指定されたユーザのスマートフォンおよび／またはコンピュータなどの１または複数の電子デバイスに対して通信回路を通ってネットワークを介して検出通知をプッシュすることができる。

ユーザデバイスインターフェースにより、ｉ）表示画面上の検出事象に対する位置特定データを制御し、ｉｉ）表示装置上の表示された風景におけるビークル検出候補に焦点を合わせるためにカメラのズームの量を制御し、ｉｉｉ）ネットワークを介してシステムに接続されたユーザのデバイスの表示画面上にビークル検出候補のライブビューをユーザが要求することが可能になり、ｉｖ）ビークル検出候補に対する検出トラックの拡張現実オーバーレイを表示し、ｖ）通知が他の人に送られることを要求するなど、ユーザはシステムに対する動作を制御することが可能になり得る。システムは、検出トラックの拡張現実オーバーレイを作り出すためにスマートフォンのＩＭＵおよびカメラの視野を使用できることに留意されたい。

説明したように、処理結果の表示は、風景の画像上のビークルオーバーレイの検出を示す。別個のズームレンズを固定レンズのそれぞれと互いに位置合せして、ユーザデバイスインターフェースを介して興味のある検出に関する質問の追加を許容することができる。特徴ベースまたは変更ベースの検出は、検出を確認するために使用され得り、または視野にわたって急速移動するビークルのより迅速な追跡を可能にすることができる。複数のビークルのアウトライン（Ｏｕｔｌｉｎｅ）をそれぞれ風景の画像上に重ね合わせたそれ自体の四角形内に示して、ユーザに対して実時間で表示された潜在的なドローン候補を識別することができる。例えば、ビークル２０１の周りの中抜きの四角形については図２を参照されたい。手漕ぎボート２０７および鳥２０９のビークルは、正しい操作の窓における光強度の変動の欠如により強調表示されないことに留意されたい。表示された画面におけるビークルが占有する画素の量により、物体が鳥または他の物体と比較して実際にビークルであるかどうかを識別することが視覚的に可能でないが、経時的な光強度の変動およびその持続性が潜在的なビークルの存在を示しているときでも、システムは、検出されたビークルを強調表示することができる。

データベース（ＤＢ）は、多くの異なる種類の情報を記憶することができる。記憶された情報の一部は、実際のビークルの周知の特性である。システムは、ビークル認識特性を構築することができ、可能なビークル検出候補をビークル認識特性と比較して、１または複数のビークルの存在を確認する比較器を有することができる。実際のビークルの光強度の変動情報の周知の特性は、例えば、ビークルの回転翼周波数および／または移動によってもたらされる。代替実施形態において、システムは、周知の特性を別のシステムまたはデバイスから受け取ることができる。

受動光学カメラベースシステム１００は、光強度の変動を検出して、遠距離にいるビークルからの固有の回転翼周波数変調を識別するために撮像プロセッサを使用する。このシステム１００は、全面的に受動光学技法であり得、したがって、電力消費を増加させ、可能な防衛策および軍隊の位置に関する情報を提供し、または商用に対する認定および／またはＦＣＣの認証を必要とし得る不要な放射（ＲＦまたは他の方法で）を有しない。さらに、システム１００は、大量の音響または無線周波数雑音を有する環境に影響を受けない。

高分解能光学技法により、ターゲットの仰角および方位角の精密な特定が可能となり、ならびに風景のコンテキストにおける検出を強調表示した高解像度ビデオ画像が提供される。電動式ズームレンズを用いて、システム１００は、検出事象を動的に拡大撮影して、ターゲットの確認およびより詳細な表示を提供することもできる。システム１００は、検出されたデバイスの画像に加えて時間的および空間的情報を提供するので、ビークルは、それらの回転翼信号の周波数成分により鳥類および飛行機と区別される。特性の比較について説明したように、操縦パターンおよび外観に基づいて追加分類を採用することができる。関心のあるターゲットがビークルでない場合、より大きいドローン、航空機、回転翼航空機、地上車両、機械、および光強度の変動に対して狭帯域特性を有する他の発生源を選択し、検出するように同じ分類戦略を拡大することができる。

２つ以上のカメラを組み合わせて検出器セットにすることにより、三角測量および立体視技法を使用して、距離および３Ｄ追跡機能を提供することが可能になる。（例えば、複数のカメラを用いた実装形態については図５および図６を参照されたい）。実時間デジタル画像安定化により、センサは移動プラットフォームに装着されて、例えば、１分隊の兵士とともに移動することが可能となり、または民生適用例の場合にモバイル保護ユニットを提供することが可能となる（例えば、実時間デジタル画像安定化の実装形態に関するより詳しい説明については図７参照を参照されたい）。

最終的に、処理のすべては、組込みプロセッサ上に、ならびにサイズおよび重量がそれ自体のビークル、またはビークルに付けるくらいに、または、さらには一人で持ち運べるほど小さいカメラシステム上に組み込むことができる。

図３は、検出アルゴリズムの一実施形態のブロック図を示す。検出アルゴリズム３００は、画像を取得し、統計的有意性基準を適用して、可能な有意性の画像における画素を識別し、次いで、追跡アルゴリズムと協同して、後処理を適用し、それによって、可能な有意性の候補画素間の一貫性について確認する。

一実施形態において、検出アルゴリズム３００は、ｉ）回転翼またはプロペラによって生じた光変動および／またはｉｉ）ビークルの他の部分の回転または振動を検出するために、フレームの組に対して実時間高速フーリエ変換（ＦＦＴ）などの変換アルゴリズムを実施して、１または複数のカメラによってキャプチャされたカメラ画像の時間軸に沿った周波数領域に経時的な光強度の変動を変換することができる。カメラ画像からのデータに対して実施される変換アルゴリズムは、１または複数の処理技法と組み合わされる。処理技法は、１または複数のカメラによってキャプチャされた空のスキャン領域におけるビークル検出候補の特異性および検出距離を改善するために、ａ）持続性追跡と、ｂ）ビニングと、ｃ）局所ヒストグラムと、ｄ）連結領域クラスタリングとを含む。システムは、画像における調光の周波数成分を検出するために、例えば、毎秒５００フレーム超のフレームレートを有する高速カメラおよび独特な処理を使用することができる。周波数情報は、表面振動または移動機械的特徴（すなわち、プロペラ、回転翼など）によって生じた光変調を直接測定することによって得られる。

検出アルゴリズム３００は、フレームの組からフレームグラバに読み込まれたデータを評価することができる。次いで、検出アルゴリズム３００は、ＦＦＴなどの変換アルゴリズムを含む、一般化尤度比基準（ＧＬＲＴ：Ｇｅｎｅｒａｌｉｚｅｄ Ｌｉｋｅｌｉｈｏｏｄ Ｒａｔｉｏ Ｔｅｓｔ）などの統計的有意性基準をフレームの組に対して実施することによって画像にキャプチャされた適切な光変動を見つけて、ｉ）経時的な光強度の変動を変換して、それによって各画素に対して最も大きなエネルギーを有する周波数を見つけ、ｉｉ）雑音帯域におけるよりも大きく設定された候補画素に対する最小閾値を適用し、ｉｉｉ）周波数空間における有意性を計算し、ｉｖ）各画素に対するスペクトルピークを識別し、ｖ）統計的有意性スコアを各候補画素に割り当て、次いで、ｖｉ）隣接した画素の主要周波数を相関させ、次いで、それらは組み合わされて、より高い忠実性のスペクトルにされ、空間クラスタリングを使用して検出事象にグループ化され得る。

一実施形態において、統計的有意性基準は、フレームバッファに記憶された２５６フレーム、５１２フレームなどの、撮像装置からの最新のフレームの組に対して実施されたＧＬＲＴである。統計的有意性基準は、最新のフレームの組における連続フレームのグループに対して高速フーリエ変換アルゴリズムを実施する。次いで、検出アルゴリズム３００は、フーリエ変換結果を空間的にグループ化する（例えば、ビニングする）。局所最強力基準（ＬＭＰＴ）、一様最強力基準、単純統計的有意性、または最適階調検出アルゴリズムなどの追加の統計的有意性基準を適用することができる。

ＧＬＲＴ基準の変形を採用することができる。
取得

検出アルゴリズム３００は、十分に高いサンプルレートおよび総フレーム量でキャプチャ画像を取得して、ビークルからの散光および／または反射光から光強度の変動を検出する。検出アルゴリズム３００は、生の画像のストリームをＧＰＵのメモリ内にキャプチャすることができる。新たなフレームが、例えば、毎秒１０２４フレームで書き込まれる。フレームレートは、高い信号対雑音比に望まれる最高期待度数の少なくとも２倍でもよい。背景スレッドが、カメラフレームをフレームグラバからＣＰＵのメモリに、次いで、ＣＰＵのメモリからＧＰＵのメモリに連続して複写することができる。
検出

検出アルゴリズム３００は、候補画素閾値を雑音帯域よりも高く設定する統計的有意性基準を実施し、次いで、部分的にビークルの動作の予測可能周波数帯における信号強度に基づいてそれぞれのそのような候補画素にスコアを割り当てる。

ＧＰＵまたは任意の他のプロセッサが、約２０ｆｐｓのハードウェアの制限された更新レートに対するメモリにおける最新のフレームの組、２５６フレーム、５１２フレームに対して、ＧＬＲＴなどの統計的有意性基準を連続して計算する。代替実施形態において、ハードウェア制限は、ハードウェア技術が更新されるにつれて経時的に変化する。検出アルゴリズム３００は、最新の２５６または５１２の画像（１／４秒または１／２秒）などのカメラからの連続フレームのグループに対してフーリエ変換を実施する。検出アルゴリズム３００は、フーリエ変換結果を空間的にグループ化する（例えば、ビニングする）。例えば、水平分解能を犠牲にして２（水平）ｘ１（垂直）ビニングをより高い信号対雑音比に使用することができる。

検出アルゴリズム３００は、一般化尤度比基準のスコアおよび各画素位置におけるそれらの対応する周波数を計算する。ＧＬＲＴ例は、ｓｕｍ（Ｘ）／（ｓｕｍ（Ｘ）−ｍａｘ（Ｘ））であり、ここで、Ｘは所与の画素に対するＦＦＴの大きさの２乗の２５６の要素のベクトルである。雑音および信号帯域の外側の周波数におけるＦＦＴの大きさが、それぞれ、ｓｕｍ（Ｘ）およびｍａｘ（Ｘ）の計算から省略されることに留意されたい。ＦＦＴの大きさは１／Ｆ関数を用いてスケーリングして、異なる周波数における異なる雑音フロアを補償できることにも留意されたい。

したがって、検出アルゴリズム３００は、背景雑音よりも有意なものを観察するために、周波数が周波数の閾値量にわたって統計的に有意な量であるかどうかを決定する。検出アルゴリズム３００は、送電網からの整流したＡＣ６０Ｈｚの電力からの共通の１２０Ｈｚ高調波などの周知の周波数を有する電球などの反復周波数およびパターンを有する共通品目を除去するためにフィルタリングすることもできる。これらの周波数は、振幅をゼロに設定することによって周波数領域において自明にフィルタリングすることができる。検出アルゴリズム３００は、閾値およびフィルタにわたって統計的に有意な量である周波数を有する各画素にスコアを割り当て／送電周波数で動作する電球などの分析の周波数帯域における任意の周知の光発振源を除去する。例えば、風景に対する割り当てられた統計的有意性スコアおよびキャプチャしたフレームにおけるビークルの画素に対応する有意なスコアのより高い大きさの棒グラフ２０３の例については、図２の表示装置の底部を参照されたい。
後処理

検出アルゴリズム３００は、互いに近接した画素検出を一緒にグループ化する。次いで、隣接した画素の主要周波数を、組み合わせて、より高い忠実性のスペクトルとし、それを空間クラスタリングを使用して検出事象にグループ化する。検出事象は、持続性一貫性について確認するために追跡アルゴリズムに渡される。検出アルゴリズム３００は、取得間の高スコアを有する候補画素の持続性一貫性について確認する。検出アルゴリズム３００は、スコアを検出閾値と比較し、前のＧＬＲＴデータを検討して、新たなおよび反復されたビークルの検出を追跡する。検出アルゴリズム３００は、隣接した画素の主要周波数を相関させる。検出アルゴリズム３００は、時間の経過におけるフレームの組の取得間の持続性一貫性を確認する。例えば、アルゴリズムは、前の統計的有意性データを新たなおよび反復されたビークル検出に対して検討し、いくつかの実施形態において、検出アルゴリズム３００は、この情報を追跡アルゴリズムから受け取ることができる。

図４は追跡アルゴリズムの一実施形態のブロック図を示す。

検出事象は追跡アルゴリズム４０２に渡され、追跡アルゴリズム４０２は、例えば、最新の統計的有意性基準からの追跡された新たなおよび反復された検出事象と比較された前の統計的有意性基準からのデータを検討するために経時的に追跡される検出事象をオブジェクトトラック内に経時的に累積するカルマンフィルタを使用する。経時的な前の追跡されたオブジェクトトラックと新たな追跡されたオブジェクトトラックとの対応は、ビークル検出候補を風景に存在する実際のビークルとして認識する際にカルマンフィルタの信頼スコアを増加させる。したがって、アルゴリズムは、追跡された新たなおよび反復されたビークルの検出と比較された前のＧＬＲＴデータを検討するために、検出候補を合計して、経時的に物体を追跡し、経時的なこの対応を通してカルマンフィルタの信頼度を増加させる。信頼度閾値が渡されたとき、そのオブジェクトトラック上のビークルが、ｉ）システムから外部デバイスに送られた生成された通知、およびｉｉ）受動光学カメラベースシステムの表示画面上の表示のいずれかを介してユーザに報告される。

一実施形態において、追跡アルゴリズム４０２は、十分なＧＬＲＴスコアを有する追跡されたビークルの前の位置を記録してもよい。追跡アルゴリズム４０２は、最寄りの追跡された位置にグループ化される検出を関連付けてもよい。いくつかの検出は、遠すぎる場合、関連付けられないままである。追跡アルゴリズム４０２は、位置および速度推定値を更新してもよい。各トラックの位置および速度推定値は、それらの検出された位置により更新される（例えば、カルマンフィルタを介して）。トラックが任意の検出に関連付けられていなかった場合、追跡アルゴリズム４０２は、追跡された位置および速度を保持し、次いで、関連付けられていない検出の新たなトラックを初期化する。

追跡アルゴリズム４０２は、いくつかのフレームに対する検出に関連付けられていない任意のトラックを除去してもよい。追跡アルゴリズム４０２は、次のトラック位置を予測してもよい。

一実施形態において、検出アルゴリズムは、追跡アルゴリズム４０２からフィードバックを受け取ってもよい。検出アルゴリズムは、一般化尤度比基準スコアのスペクトルをより大きい画素領域（例えば、必要とする関心のある分解能および距離により、ビニングされた４ｘ２画素領域）の周波数の関数として計算して、信号対雑音比を増加させ、移動するターゲットから複数の画素にわたって広がる光強度変動エネルギーを回収する。次いで、アルゴリズムは、処理ユニット内の検出および追跡処理のために前のステップからの配列をＣＰＵのメモリに複写してもよい。ＧＰＵ（またはフィールドプログラマブルゲートアレイなどの他の処理ユニット）は、背景における次のチャンクの画像データに対するＦＦＴおよび統計的有意性基準を計算する検出ステップに直ちに戻る。この場合も、高ＧＬＲＴ画素領域のクラスターが、結合されたアルゴリズムを使用して可能な検出事象として識別される。検出事象はカルマンフィルタに供給され、そこで、それらは新たなトラックを生じるか、または既存のトラックに追加されるかのいずれかがされる。アルゴリズムは、グラフィックユーザインターフェースにおける生の画像上の信頼度閾値よりも高い信頼度を用いてトラックを重ね合わせる。トラックは、典型的には、完全検出として登録される必要がある信頼度閾値を、それが少なくとも０．１秒間存続した後、通過させ、ＧＬＲＴ更新フレームの５０％超が新たな検出をトラックにも与える。次いで、アルゴリズムは、注釈付きの追跡された検出を用いてＧＵＩ画面上にＧＬＲＴ合成画像を描く。アルゴリズムは、ＧＰＵが次のＧＬＲＴ計算の完了を信号で知らせるのを待ち、次いで、ＧＵＩを再度更新する。

追跡アルゴリズム４０２は、３Ｄオブジェクトトラックを構築してもよい。一実施形態において、追跡アルゴリズム４０２は、カメラの向きを使用して３Ｄオブジェクトトラックを方位角および仰角で構築してもよい。追跡アルゴリズム４０２は、検出された物体の周波数、機首方位、速度、およびスナップショット画像を用いてトラックに注釈を付け、これをＧＵＩに送ってもよい。

一実施形態において、ＧＵＩは、ＧＰＵから渡されたＧＬＲＴデータ上に単純な検出および追跡アルゴリズムを実装し、検出結果を初期風景画像上に重ね合わせる。ＧＵＩは、表示装置上に合成画像を生成する。白黒色が風景画像に使用され、緑または黄色が経時的に一貫性のある十分なＧＬＲＴスコアを有する画素の重ね合わせた強調表示に使用される。

本明細書において、アルゴリズムはソフトウェアそれ自体で、ハードウェアブール論理それ自体で、または両方の何らかの組合せで実装することができることに留意されたい。ソフトウェアに実装されたアルゴリズムの任意の部分は、実行可能な形式でメモリの一部分に記憶することができ、１または複数のプロセッサによって実行される。

一実施形態において、グラフィカルユーザインターフェースは、検出結果を実時間で表示画面上に表示するように構成される認識アルゴリズムを実装してもよい。合成画像は、グラフィカルユーザインターフェースにおいて生成される。検出結果は、検出されたビークルに対して生の風景画像で表示画面上に強調表示され、または他の方法で示される。（例えば、図２参照）。グラフィカルユーザインターフェースの認識アルゴリズムは、ｉ）設定閾値よりも高い十分なスコアを生成し、単一の偽のまたは誤った周波数スパイクに対するビークルの陽性検出としての経時的持続性についても確認された散光および／または反射光に対して統計的有意性基準を使用して、検出アルゴリズムからのデータ結果に基づいて１または複数の検出されたビークルを決定する。

図５は、システムに装着された２つ以上のカメラの一実施形態のブロック図を示しており、各カメラが、対象範囲を最大化するために空の指定領域をスキャンするように構成され、追跡アルゴリズムおよび／または検出アルゴリズムによって指示されたとき、潜在的検出ビークル上にとどまり、ビークル検出候補までの距離を決定するためのステレオデータを得るために潜在的検出ビークルに集中するように複数のカメラを調整するようになっている。第１のカメラ５０６が、空の第１の領域をスキャンしてもよく、第２のカメラ５０８が、空または他のエリアの第２の別個の領域の画像をスキャンしてもよい。ビークル５０１を、第１のカメラ５０６からのフレームの組に含まれる画像にキャプチャされた散光および／または反射光を介して検出してもよく、それらは検出アルゴリズムおよび撮像プロセッサによって処理される。次いで、追跡アルゴリズムおよび／または検出アルゴリズムは、スキャニングを停止し、潜在的検出ビークル５０１が検出された具体的な領域上に一時的にとどまるように第１のカメラ５０６に求めてもよい。次いで、アルゴリズムは、スキャニングを停止し、ビークル検出候補５０１までの距離を決定するためのステレオデータを得るために潜在的検出ビークルに集中するように第２のカメラ５０８に求めてもよい。検出アルゴリズムは、ビークル検出候補５０１までの距離を決定するために、立体視および／または三角測量のいずれかを用いてステレオデータを得ることができる。したがって、アルゴリズムは、検出された物体上に集中し、それを確認する要求があり次第、２つのカメラの掃引／スキャンを中断させるのに十分に長く、潜在的検出ビークル上にとどまる。概して、両方のカメラは、独立してスキャンすることができるが、ビークルが一方のカメラからのフレームに検出されたとき、第２のカメラには、距離の三角測量またはステレオ計算をするために同じ方向を狙うように求めることができる。ステレオデータを得た後、独立スキャニングが再開される。追跡アルゴリズムは、ビークル検出候補の３Ｄ軌跡を描画し、記憶するようにさらに構成される。

受動光学カメラベースシステムからの能動放射の欠如により、検出アルゴリズムおよび撮像プロセッサは、受動光学カメラベースシステムの存在を表すことなく１または複数のビークルの存在を検出することが可能になることに留意されたい。

図６は、より大きな地形エリアの対象範囲を得るために互いにネットワークで結ばれ、同時に使用される２つ以上のカメラの一実施形態のブロック図を示す。各カメラ６０６、６０８、６１０は、空の完全なおよび一定の対象範囲を得るのに必要な時間を低減するために空の指定領域を同時にスキャンするように構成される。カメラ６０６、６０８、６１０のうちの少なくとも２つが時間的および空間的に同期されたとき、それらは、検出されたビークルまでの距離を計算するのに使用してもよい。ネットワーク内の各カメラノード６０６、６０８、６１０は、画像フレームにキャプチャされた潜在的なビークルからの散光および／または反射光から調光の周波数成分を検出するためにそのカメラによってキャプチャされたフレームの組の局所処理を収集し、実施するように符号化することができる。局所コンピューティングは、これらの画像からデータをキャプチャしてから、このデータをマスターコンピュータに送り、データをネットワーク内のノードのすべてからのデータと合体させる。したがって、個々のセンサ／タブレットの組は、すべてのデータをすべてのセンサから局所的に収集し、必要な処理をすることができる。次いで、記憶および調整のためにネットワークを介してデータをメインコンピュータに送ることができる。システムは、ネットワークで結ばれたセンサを介して、検出された物体に対するスキャンパターンおよび測距を調整する。センサは固定位置に配置することができ、またはそれらは典型的には歩行速度で移動するビークルに取り付けることができる。様々なセンサをワイヤレスネットワークで互いに結合してもよい。距離を計算するのに複数のセンサの三角測量を使用してもよい。

検出アルゴリズムに関して、ドローンが、フレームの途中で光強度が変動する画素が検出アルゴリズムには隣接した画素とはみなされないくらいにただ速く飛んでもよいことに留意されたい。図６において、第１のドローンの画素６０１は、第２のドローンの画素６０７に関連付けられない。使用された追跡は、検出間隔に沿った一貫性について確認する。追跡アルゴリズムは、その後の処理間隔の間の検出されたターゲットの相対運動を推定する。これはターゲットが静止しているかまたは移動していることを意味することができることに留意されたい。その後の処理間隔において、ターゲットが前に検出されたターゲットの予測エリアの外側で検出された場合、それは新たな別個のターゲットとみなされる。図６において、第１のドローンが静止していた場合、それが第１のドローンの予想領域の外側にあるので、第２のドローンの外観は第１のドローンと相関しない。

システムの特性情報を含むデータベースが、システムの一部であってもよい。システムは、デバイス分類の記述子を含むデータベースを含んでもよい。可能な記述子は、変動周波数、変動強度、変動空間パターン（すなわち、回転翼の数および回転翼間隔）、飛翔行動、および外観を含む。外観ベースの記述子は、変動特性が観察されると、ズームレンズを使用して収集して、ターゲットの接写画像を収集することができる。これらの記述子は、ＵＡＶのサイズおよび商標ならびにＵＡＶがペイロードを搬送しているのかどうかを分類するのに使用することができる。さらに、それらは鳥類または点滅光などの可能な紛らわしい物体に対する検出の特異性を改善することができる。システムは、ｉ）実際のビークルの周知の特性に対するビークル検出候補の光強度の変動に関する情報を組み合わせた合成画像からなるビークル認識特性を構築する。鳥類、点滅光などに対する風景におけるビークルの存在を確認するビークル認識特性の精度を上げるために、ビークルに対応する周知の可能な光強度の変動は、ｉｉ）初期画像におけるビークルの外観、およびｉｉｉ）フレームの組にわたって追跡されたビークルの飛行操縦パターンのうちの１または複数と結合させてもよい。これらの２つ以上の要因により、フレームの組にキャプチャされた背景の物体に対してビークルが視覚的に容易に認識されないときでも、ビークルの認識が可能となる。

システムは、経路予測論理回路を含んでもよい。経路予測論理回路は、１または複数のビークルの運動を３Ｄで予測してもよい。検出されたビークルの座標は、１または複数のビークルの運動を３Ｄで予測する経路予測論理回路に渡される。システムは、少なくとも、ｉ）予測座標を別のシステムに提供し、および／またはｉｉ）表示画面上に、表示画面上に強調表示されたビークルの位置を実時間で提供してもよい。実時間では、これは１秒未満でもよい。予測されたターゲットの変位は、静止物体の場合のようにおよそゼロの最小から、ターゲットの速度をフレーム間で経過した時間で乗算して求めた最大まで変動することがある。複数のセンサ間の共有された予測座標は、風景における関心のあるビークルの距離を計算し、数および位置の３Ｄ状況認識を開発するのに使用される。

システムの様々な構成は、
固定プラットフォームに装着された１つのカメラ、移動プラットフォームに装着された１つのカメラ、移動プラットフォームに装着された複数のカメラおよび少なくとも１つ、それぞれ、それら自体の移動プラットフォームに装着された複数のカメラ、ならびに、それぞれ、それら自体の固定プラットフォームに装着された複数のカメラを含み得ることに留意されたい。

図７は、ｉ）第１のカメラの運動を測定する慣性測定ユニットからのデータを組み合わせ、ｉｉ）次いで、フレームの組にキャプチャされたデータを補正する運動補償データを生成する実時間デジタル画像安定化プログラムを有する受動光学カメラベースシステムの一実施形態のブロック図を示す。受動光学カメラベースシステム７００は、慣性測定ユニット（ＩＭＵ）データをイメージスタビライザに供給するＩＭＵと、画像データをイメージスタビライザに供給するカメラ撮像装置とを含んでもよい。イメージスタビライザは、その機能を実施し、次いで、その運動補償データを検出アルゴリズムによるスペクトル処理のために送る。検出アルゴリズムと追跡アルゴリズムとは、画像データ、ビークル検出位置、ならびに信号周波数および強度を含む他の情報をユーザの表示装置に送るために組み合わせることができる。

一実施形態において、ソフトウェアベースの実時間デジタル画像安定化プログラムは、ｉ）カメラの運動を測定する慣性測定ユニットからのデータを組み合わせ、ｉｉ）次いで、撮像プロセッサによる画像処理の前に、フレームの組にキャプチャされたデータを補正する運動補償データを実時間で生成してもよい。慣性測定ユニットは、カメラ指示方向を追跡してもよい。デジタル画像安定化プログラムおよび慣性測定ユニットは、１または複数の移動プラットフォーム上に装着された１または複数のカメラを、カメラの運動が検出アルゴリズムに干渉するのを防止することが可能となるようにしてもよい。移動プラットフォームのＩＭＵ補償データにより、検出事象の位置をグローバル座標で正確に特定することができることが確実になり、運動からの変動特徴の拡散を低減することによってＳＮＲが改善される。いくつかの実施形態において、機械ベースの実時間デジタル画像安定化を使用できることにも留意されたい。カメラはビークル上に、例えば、乗用車または無人地上車両（ＵＭＧ）上に装着して、ドローンの活動を懸念する移動チームと一緒に移動することができる。

１または複数のカメラは、毎秒５００フレーム超のフレームレートを有する高速カメラでもよいことに留意されたい。フレームは、２５０ヘルツ以下の回転翼周波数を有する第１のビークルを検出アルゴリズムによって容易に検出することができるようにフレームグラバ内に読み込まれる。システムは、ＣｏａＸＰｒｅｓｓなどの高速カメラインターフェースを使用して、データをカメラからフレームバッファに伝達する。フレームバッファは、キャプチャされた生のカメラ画素データを第１のプロセッサによる連続処理のためにこの円形バッファ内に記憶する。背景スレッドは、カメラフレームを処理のためにフレームグラバからＣＰＵのメモリに、次いで、処理のためにＣＰＵのメモリからＧＰＵのメモリに連続して複写する。

受動光学カメラベースシステム７００の必要性が存在する。小型の無人飛行体（ビークル）またはドローンが、当たり前になりつつあり、市販品としてすぐに利用でき、軍事目標および商用目標の両方を脅威にさらしている。これらのビークルは、検出するのが困難であり、操作者へのビデオ監視の実時間伝送のためのカメラを装備しており、爆発物または他の材料を容易に輸送し、供給することができる。それらは、高分解能ビデオカメラを有する不要なドローンが人々の庭に飛来することに対して不満がますます高まり、個人のプライバシーも脅威にさらしている。受動光学技術は、ドローンから保護される必要がある任意の領域に近接して飛来するドローンを検出するための監視ツールを提供することができる。システムは、より大きい航空機、トラックなどを含む、光学ベースのビークル特性を有する様々なビークルを検出することもできる。

ビークルは、遠隔で監視し、または簡易爆発物もしくは他の材料を供給するためにテロリストおよび他のグループによって使用されることがある。小型のビークルは、それらが破壊または損害を生じるのに十分に近接する前に具体的なターゲットに近づくので、検出する必要性が増大している。軍隊、競技場、大きな集会、空港などのターゲットは、ビークルを検出し、次いで、一連の行動を決定する機能を必要とする。十分に早期に検出された場合、ビークルは、意図するターゲットへの損傷の距離外で無効にされ得る。システムは、ビークルの検出を１キロメートル以上の距離で示すことができる。小型のビークルがより一般的となるにつれて、信頼性のある検出技法の必要性が増大する。商用適用例は、プライバシーを保護することに関心のある個人から、産業スパイを懸念する大きな商用事業体、公共の安全を懸念するスポーツイベントまでの範囲にわたることがある。

複数のセンサを空のより大きな対象範囲を得るのに使用することができ、完全なおよび一定の対象範囲を得るのに必要な時間を低減することができる。また、センサは、より大きな地形エリアの対象範囲を得るために同時に使用することができ、時間的および空間的に同期させた場合、距離を計算するのに使用することができる。センサは、固定位置に配置することができ、またはそれらは移動式プラットフォームに取り付けることができる。実時間デジタル画像安定化は、検出アルゴリズムに干渉するセンサの運動を防止する。組込み処理を使用することによって、センサは、人が持ち運びできるくらいに十分に小さく製作でき、したがって、例えば、１分隊の兵士、または緊急の際の対応チームは、すべてつながれ、ネットワーク内の他の者が何を見ているかを相互に認識することができる。

次いで、センサのそのようなネットワークは、モバイルアドホックネットワークにおいて使用することができる。そのようなシステムは、緊急の際に迅速に配備することができ、ネットワークインフラストラクチャがまだ通常は存在していないか、または何らかの事象によって取り外されている場合、状況認識をもたらすことができる。データは、方位角、仰角および距離データまたはＡｎｄｒｏｉｄ Ｔａｃｔｉｃａｌ Ａｓｓａｕｌｔ Ｋｉｔ（ＡＴＡＫ）、グーグルマップ、もしくはデータを共有するための他の地図作成アプリケーションなどの統合スマートデバイス地図作成アプリケーションとして共有することができる。

図２は、検出結果を実時間で表示画面２９１上に表示し、検出結果が表示画面２９１上の初期風景画像における検出されたビークル２０１に対して強調表示される合成画像を生成するグラフィカルユーザインターフェースの一実施形態を示す。ビークル２０１は強調表示される。対応する統計的スコアは、画面の底部の棒グラフ２０３上に示される。風景は樹木、鳥類、家、湖、およびビークルを示す。

１または複数のカメラは、ｉ）高速センサ、ｉｉ）赤外線センサ、またはｉｉｉ）両方と協働して、システムが暗視および低光量適用例に使用され、それによって、１または複数のビークルの存在を認識することを可能としてもよいことに留意されたい。したがって、高速センサおよび／または赤外線センサは、光強度の変動を得るために暗視および低光量適用例に使用することができる。

一実施形態において、検出アルゴリズムを有する受動光学カメラベースシステムは、潜在的ターゲットを識別し、次いで、変動ベースの検出戦略を採用して、検出および識別の信頼度を改善することによって、検出方式に基づいて従来の変化検出または物体認識を高める。関心のある物体として識別された、風景における領域に変動検出だけを適用することによって、満足のいく検出対象範囲を実現するのに必要なカメラの機能および処理能力を低減することができる。さらに、高速移動物体を識別し、次いで、関心のある物体に対応する各カメラフレームの一部を移動させ、位置合せすることによって、変動検出アルゴリズムのＳＮＲを実質的に改善することができる。

図８Ａ〜８Ｂは、ビークルを検出する受動光学カメラベースシステムの一実施形態の流れ図を示す。以下のステップは、論理的に可能な場合、任意の順序で実施してもよいことに留意されたい。

ステップ８０２において、受動光学カメラベースシステムは、１または複数のビークルの存在を受動光学カメラベースシステムにおける１または複数のカメラを用いて検出する。

ステップ８０４において、受動光学カメラベースシステムは、ビークルからの散光および／または反射光から光強度の変動を検出するために１または複数の撮像プロセッサおよび１または複数のカメラを使用して、１または複数のビークルの存在を認識する検出アルゴリズムを適用する。それらの散光および／または反射光は、１または複数のカメラからのフレームの組に含まれる画像にキャプチャされる。

ステップ８０６において、受動光学カメラベースシステムは、フレームの組からフレームグラバに読み込まれたデータを評価するために検出アルゴリズムを使用する。

ステップ８０８において、受動光学カメラベースシステムは、変換アルゴリズムを含む統計的有意性基準をフレームの組に対して実施して、ｉ）経時的な光強度の変動を変換し、それによって、各画素に対して最も大きなエネルギーを有する１または複数の周波数を見つけ、ｉｉ）雑音帯域よりも大きく設定された候補画素に対する最小閾値を適用し、ｉｉｉ）周波数空間における顕著なピークの統計的有意性を計算し、ｉｖ）隣接した画素に対する結果を合計し、ｖ）統計的有意性スコアを各候補画素に割り当て、ｖｉ）隣接した画素の主要周波数を相関させ、ｖｉｉ）経時的なそれらの検出事象を追跡することによって、画像にキャプチャされた散光および／または反射光を見つけるために検出アルゴリズムを使用する。

ステップ８１０において、受動光学カメラベースシステムは、ｉ）設定閾値よりも高い十分なスコアを生成し、ｉｉ）単一の誤った周波数スパイクに対するビークルの陽性検出としての経時的持続性についても確認された散光および／または反射光に対して統計的有意性基準を使用して、検出アルゴリズムからのデータ結果に基づいて１または複数の検出されたビークルを決定する。

ステップ８１２において、受動光学カメラベースシステムは、検出結果を実時間で表示画面上に表示するためにグラフィカルユーザインターフェースを使用する。合成画像が、グラフィカルユーザインターフェースにおいて生成され、検出結果は、表示画面上の風景画像における検出されたビークルの周りの強調表示されたアウトラインである。

ステップ８１４において、受動光学カメラベースシステムは、対象範囲を増強するために空の指定領域をスキャンするように各カメラが構成されている、システムに装着された２つ以上のカメラを使用する。システムは、ビークル検出候補までの距離を決定するために、少なくとも２つのカメラのスキャンを中断させ、潜在的検出ビークル上にとどまり、立体視および／または三角測量のいずれかのステレオデータを得るために、潜在的検出ビークルに集中するように少なくとも２つのカメラを調整する。

ステップ８１６において、受動光学カメラベースシステムは、ビークル検出候補の３Ｄ軌跡を描画し、記憶する。

ステップ８１８において、受動光学カメラベースシステムは、１または複数のビークルの運動を３Ｄで予測するために経路予測論理回路を使用する。検出されたビークルの座標は、１または複数のビークルの運動を３Ｄで予測し、ならびにｉ）予測座標を別のシステムに提供し、およびｉｉ）表示画面上に、表示画面上に強調表示されたビークルの位置を実時間で提供する、のうちの少なくとも一方をする経路予測論理回路に渡される。

図９は、受動光学カメラベースシステムの一部であることができる１または複数のコンピューティングデバイス９００の一実施形態を示す。コンピューティングデバイスは、命令を実行する１または複数のプロセッサまたは処理ユニット９２０と、情報を記憶する１または複数のメモリ９３０〜９３２と、コンピューティングデバイス９００のユーザから入力されたデータを受け取る１または複数のデータ入力構成要素９６０〜９６３と、管理モジュールを含む１または複数のモジュールと、コンピューティングデバイスの外部の他のコンピューティングデバイスと通信するために通信リンクを確立するネットワークインターフェース通信回路９７０と、センサからの出力が、具体的なトリガ条件を感知し、次いで、それに応じて１または複数の前もってプログラムされた動作を生成するのに使用される１または複数のセンサと、１または複数のメモリ９３０〜９３２に記憶された情報の少なくとも一部を表示する表示画面９９１と、他の構成要素とを含むことができる。ソフトウェア９４４、９４５、９４６に実装された受動光学カメラベースシステムの部分は、１または複数のメモリ９３０〜９３２に記憶され、１または複数のプロセッサ９２０によって実行されることに留意されたい。

コンピューティングシステム９００の構成要素は、１または複数の処理コアを有する処理ユニット９２０と、システムメモリ９３０と、システムメモリ９３０を含む様々なシステム構成要素を処理ユニット９２０に結合するシステムバス９２１とを含んでもよいが、それらに限定されない。システムバス９２１は、メモリバス、相互接続ファブリック、周辺機器用バス、及び様々なバス構造のいずれかを用いた局所（Ｌｏｃａｌ）バスから選択されるいくつかのバス構造のいずれかであってもよい。

コンピューティングシステム９００は、典型的には様々なコンピューティングマシン可読媒体を含む。コンピューティングマシン可読媒体は、コンピューティングシステム９００によってアクセスすることができる任意の利用可能な媒体であることができ、揮発性および不揮発性媒体、ならびに取外し可能および取外し不可能媒体の両方を含む。限定ではなく例により、コンピューティングマシン可読媒体の用途は、コンピュータ可読命令、データ構造、他の実行可能ソフトウェア、または他のデータなどの情報の記憶を含む。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）もしくは他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、または所望の情報を記憶するのに使用することができ、コンピューティングデバイス９００によってアクセスすることができる任意の他の有形媒体を含むが、それらに限定されない。ワイヤレスチャネルなどの一時的媒体は、マシン可読媒体に含まれない。通信媒体は、典型的には、コンピュータ可読命令、データ構造、他の実行可能ソフトウェア、または他の搬送機構を具現化し、任意の情報配信媒体を含む。

システムメモリ９３０は、読出し専用メモリ（ＲＯＭ）９３１およびランダムアクセスメモリ（ＲＡＭ）９３２など、揮発性および／または不揮発性メモリの形態でコンピュータ記憶媒体を含む。起動時など、コンピューティングシステム９００内の要素間で情報を転送するのを助ける基本ルーチンを含む基本入力／出力システム９３３（ＢＩＯＳ）は、典型的にはＲＯＭ９３１に記憶される。ＲＡＭ９３２は、典型的には、処理ユニット９２０に直ちにアクセス可能であり、および／または現在処理ユニット９２０によって動作されているデータおよび／またはソフトウェアを含む。限定ではなく例により、ＲＡＭ９３２は、オペレーティングシステム９３４、アプリケーションプログラム９３５、他の実行可能ソフトウェア９３６、およびプログラムデータ９３７の一部分を含むことができる。

コンピューティングシステム９００は、他の取外し可能／取外し不可能揮発性／不揮発性コンピュータ記憶媒体を含むこともできる。例だけにより、図９は固体メモリ９４１を示す。動作環境例において使用することができる他の取外し可能／取外し不可能、揮発性／不揮発性コンピュータ記憶媒体は、ＵＳＢドライブおよびデバイス、フラッシュメモリカード、固体ＲＡＭ、固体ＲＯＭなどを含むがそれらに限定されない。固体メモリ９４１は、典型的には、インターフェース９４０などの取外し不可能メモリインターフェースを通してシステムバス９２１に接続され、ＵＳＢドライブ９５１は、典型的には、インターフェース９５０などの取外し可能メモリインターフェースを経由してシステムバス９２１に接続される。

上記に説明し、図９に示すドライブおよびそれらの関連したコンピュータ記憶媒体は、コンピューティングシステム９００のコンピュータ可読命令、データ構造、他の実行可能ソフトウェア、および他のデータの記憶を行う。例えば、図９において、固体メモリ９４１は、オペレーティングシステム９４４、アプリケーションプログラム９４５、他の実行可能ソフトウェア９４６、およびプログラムデータ９４７を記憶するものとして示される。これらの構成要素は、オペレーティングシステム９３４、アプリケーションプログラム９３５、他の実行可能ソフトウェア９３６、およびプログラムデータ９３７と同じか、または異なるかのいずれかであることができることに留意されたい。オペレーティングシステム９４４、アプリケーションプログラム９４５、他の実行可能ソフトウェア９４６、およびプログラムデータ９４７は、最低でもそれらが異なる複製品であることを示すために、本明細書では異なる番号が与えられている。

ユーザは、キーボード、タッチ画面、またはソフトウェアもしくはハードウェア入力ボタン９６２などの入力デバイス、マイクロホン９６３、ポインティングデバイスおよび／またはマウス、トラックボールもしくはタッチパッドなどのスクローリング入力構成要素を通してコンピューティングシステム９００にコマンドおよび情報を入力することができる。マイクロホン９６３は、音声認識ソフトウェアと協働することができる。これらのおよび他の入力デバイスは、しばしば、システムバス９２１に結合されたユーザ入力インターフェース９６０を通して処理ユニット９２０に接続されるが、パラレルポート、ゲームポート、またはユニバーサルシリアルバス（ＵＳＢ）などの他のインターフェースおよびバス構造を経由して接続することができる。表示モニタ９９１または他の種類の表示画面デバイスも、表示インターフェース９９０などのインターフェースを介してシステムバス９２１に接続される。モニタ９９１に加えて、コンピューティングデバイスは、出力周辺インターフェース９９５を通して接続することができる、スピーカ９９７、振動器９９９、および他の出力デバイスなどの他の周辺出力デバイスを含んでもよい。

コンピューティングシステム９００は、遠隔コンピューティングシステム９８０などの１または複数の遠隔コンピュータ／クライアントデバイスとの論理接続部を使用して、ネットワークで結ばれた環境で動作することができる。遠隔コンピューティングシステム９８０は、パーソナルコンピュータ、モバイルコンピューティングデバイス、サーバ、ルータ、ネットワークＰＣ、ピアデバイスまたは他の共通ネットワークノードであることができ、典型的には、コンピューティングシステム９００に対して上記に説明した要素のうちの多くをまたはすべてを含む。図９に示す論理接続部は、パーソナルエリアネットワーク（ＰＡＮ）９７２（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標））、ローカルエリアネットワーク（ＬＡＮ）９７１（例えば、Ｗｉ−Ｆｉ）、およびワイドエリアネットワーク（ＷＡＮ）９７３（例えば、セルラーネットワーク）を含むことができるが、パーソナルエリアネットワーク（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標））などの他のネットワークを含むこともできる。そのようなネットワーク環境は、会社、企業規模のコンピュータネットワーク、イントラネットおよびインターネットにおいては当たり前である。ブラウザアプリケーションは、コンピューティングデバイス上に常駐し、メモリに記憶されてもよい。

ＬＡＮネットワーク環境で使用されたとき、コンピューティングシステム９００は、ネットワークインターフェース９７０を通してＬＡＮ９７１に接続され、ネットワークインターフェース９７０は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ−Ｆｉアダプタであることができる。ＷＡＮネットワーク環境（例えば、インターネット）で使用されたとき、コンピューティングシステム９００は、典型的には、ＷＡＮ９７３にわたって通信を確立する何らかの手段を含む。例えば、モバイル通信技術に関して、無線インターフェースは、内部または外部であることができるが、ネットワークインターフェース９７０または他の適切な機構を介してシステムバス９２１に接続することができる。ネットワークで結ばれた環境において、コンピューティングシステム９００またはその一部分に対して示す他のソフトウェアは、遠隔メモリ記憶デバイスに記憶してもよい。限定ではなく例により、図９は、遠隔アプリケーションプログラム９８５を遠隔コンピューティングデバイス９８０上に常駐するものとして示す。図示するネットワーク接続部は、使用することができるコンピューティングデバイス間で通信リンクを確立する例および他の手段であることが理解されよう。

説明したように、コンピューティングシステム９００は、処理ユニット９２０と、メモリ（例えば、ＲＯＭ９３１、ＲＡＭ９３２など）と、コンピューティングデバイスに給電する内蔵型電池と、電池を充電するＡＣ電源入力部と、表示画面と、ネットワークに接続された遠隔コンピューティングデバイスとワイヤレスで通信する埋め込みＷｉ−Ｆｉ回路とを含むことができる。

本設計は、図９に対して説明したものなどのコンピューティングシステム上で実行することができることに留意されたい。しかし、本設計は、サーバ、メッセージ処理専用コンピューティングデバイス、または本設計の異なる部分が分散コンピューティングシステムの異なる部分上で実行される分散システム上で実行することができる。

バス９２１に結合することができる別のデバイスは、ＤＣ電力供給装置（例えば、電池）またはＡＣアダプタ回路などの電力供給装置である。上記に説明したように、ＤＣ電力供給装置は、電池、燃料電池、または周期的に再充電する必要がある同様のＤＣ電源でもよい。ワイヤレス通信モジュールは、ワイヤレスアプリケーションプロトコルを採用して、ワイヤレス通信チャネルを確立することができる。ワイヤレス通信モジュールは、ワイヤレスネットワーク規格を実装することができる。

いくつかの実施形態において、本明細書に説明するアルゴリズムを容易にするのに使用されるソフトウェアは、非一時的マシン可読媒体上に具現化することができる。マシン可読媒体は、マシン（例えば、コンピュータ）によって可読の形態で情報を記憶する任意の機構を含む。例えば、非一時的マシン可読媒体は、読出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイス、デジタル多用途ディスク（ＤＶＤ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、磁気もしくは光カード、または電子命令を記憶するのに適切な任意の種類の媒体を含むことができる。

本明細書に説明するアプリケーションは、ソフトウェアアプリケーションと、モバイルアプリケーションと、オペレーティングシステムアプリケーションの一部であるプログラムとを含むが、それらに限定されないことに留意されたい。この説明のいくつかの部分は、コンピュータメモリ内のデータビットに基づく動作のアルゴリズムおよび記号表現の観点から提示される。これらのアルゴリズム的記述および表現は、データ処理技術分野の当業者によってそれらの作業の実体を他の当業者に最も効果的に伝達するために使用される手段である。アルゴリズムは、本明細書では、および一般に、所望の結果に至るステップの自己無撞着シーケンスであると考えられている。ステップは、物理量の物理的処置を必要とするものである。通常、必ずしもではないが、これらの量は、記憶し、転送し、組み合わせ、比較し、および他の方法で操作することができる電気または磁気信号の形態をとる。これらの信号をビット、値、要素、記号、文字、用語、または数などとして表すことは、主として共通使用の理由によって、時には便利であると証明されている。これらのアルゴリズムは、Ｃ、Ｃ＋、ＨＴＴＰ、Ｊａｖａ（登録商標）などのいくつかの異なるソフトウェアプログラミング言語、または他の同様の言語で書くことができる。また、アルゴリズムは、命令行を用いてソフトウェアに、構成された論理ゲートを用いてソフトウェアに、または両方の組合せを用いて、実装することができる。一実施形態において、論理回路は、ブール論理の法則に従う電子回路、命令のパターンを含むソフトウェア、または両方の任意の組合せからなる。

しかし、これらのおよび同様の用語のすべては、適切な物理量に関連付けられるものとし、これらの量に貼付される単に便利なラベルにすぎないことを心に留めておかれたい。上記の説明から明らかなように特に他の記述がない限り、説明全体を通して、「処理（ｐｒｏｃｅｓｓｉｎｇ）」または「コンピューティング（ｃｏｍｐｕｔｉｎｇ）」または「計算（ｃａｌｃｕｌａｔｉｎｇ）」または「決定（ｄｅｔｅｒｍｉｎｉｎｇ）」または「表示（ｄｉｓｐｌａｙｉｎｇ）」などの用語を利用した説明は、コンピュータシステムのレジスタおよびメモリ内の物理（電子）量として表されたデータを操作し、コンピュータシステムメモリもしくはレジスタ、または他のそのような情報記憶、伝送もしくは表示デバイス内の物理量として同様に表された他のデータに変換するコンピュータシステムまたは同様の電子コンピューティングデバイスの動作および処理を表すことが理解される。

電子ハードウェア構成要素によって実施される多くの機能は、ソフトウェアエミュレーションによって重複して行うことができる。したがって、それらの同じ機能を達成するために書かれたソフトウェアプログラムは、入力出力回路においてハードウェア構成要素の機能をエミュレートすることができる。したがって、本明細書に提供するのは、前述のシステムのコンピューティングデバイス上の１または複数のプロセッサによって実行されたとき、コンピューティングデバイスに、本明細書に説明したように概説される動作を実施させる命令およびデータを記憶するように構成された１または複数の非一時的マシン可読媒体である。

前述の設計およびその実施形態をかなり詳細に提供しているが、本明細書に提供した設計および実施形態が限定的であることは出願人の意図ではない。追加の 適合および／または変更が可能であり、より広い観点から、これらの適合および／または変更も包含される。したがって、以下の特許請求の範囲によって提供される範囲から逸脱することなく、前述の設計および実施形態からの逸脱を行うことができ、特許請求の範囲は、適切に解釈されたとき、特許請求の範囲によってのみ限定される。

Claims (20)

1. １または複数のビークルの存在を１または複数のカメラを用いて検出するように構成された受動光学カメラベースシステムを備え、前記受動光学カメラベースシステムは、１または複数のビークルからの散光および／または反射光から光強度の変動を検出するために１または複数の撮像プロセッサおよび前記１または複数のカメラを使用して前記ビークルの存在を認識するための検出アルゴリズムを適用するように構成され、それらの散光および／または反射光は、前記１または複数のカメラからのフレームの組に含まれる画像においてキャプチャされ前記検出アルゴリズムおよび撮像プロセッサによって処理され、ソフトウェアに実装された前記検出アルゴリズムの任意の部分が、実行可能な形式でメモリに記憶され１または複数のプロセッサによって実行される、システム。
2. 前記検出アルゴリズムは、ａ）前記ビークルの回転翼またはｂ）前記ビークルの他の動作部分もしくは振動部分ｉ）からの反射光、ｉｉ）からの放射、ｉｉｉ）による背景光の遮断、および／またはｉｖ）からの光の散乱から光強度の変動を直接測定することによって前記ビークルの存在を識別し特徴付けるように構成され、したがって、前記検出アルゴリズムは、各フレームにおいて、１）雑音帯域よりも大きい前記光強度の変動を有する画素を見つけるように構成され、ならびに２）これらの画素が、前記雑音帯域よりも大きいこれらの光強度の変動を有する連結された２以上の画素のグループの一部であり、次いで、前記検出アルゴリズムは、前記連結された前記画素のグループを、潜在的なビークル検出候補に分類するように構成され、前記システムは、前記１または複数のビークルの存在を確認するために、ビークル認識特性を構築し、前記潜在的なビークル検出候補を前記ビークル認識特性と比較する比較器を有するように構成される、請求項１に記載のシステム。
3. 前記システムは、ｉ）実際のビークルの既知の特性に対する前記ビークル検出候補の前記光強度の変動に関する情報と、１又は複数のｉｉ）初期画像における前記ビークルの外観、およびｉｉｉ）前記フレームの組にわたって追跡された前記ビークルの移動パターン、を組み合わせた合成画像からなる前記ビークル認識特性を構築するものであり、それにより、前記フレームの組にキャプチャされた１または複数の背景の物体に対して前記１または複数のビークルが直ちに視覚的に識別されないときであっても前記１または複数のビークルの認識を可能とする、請求項２に記載のシステム。
4. 前記検出アルゴリズムが、ｉ）回転翼光強度変動および／またはｉｉ）前記ビークルの他の部分の回転または振動を検出するために、変換アルゴリズムを前記フレームの組に対して実施して、光強度の変動を前記１または複数のカメラによってキャプチャされたカメラ画像の経時的スペクトルに変換するように構成され、前記カメラ画像からのデータに対して実施された前記変換アルゴリズムが、前記１または複数のカメラによってキャプチャされたスキャン領域におけるビークル検出候補の特異性および検出距離を改善するために、ａ）持続性追跡と、ｂ）ビニングと、ｃ）局所ヒストグラムと、ｄ）連結領域クラスタリングとからなるグループから選択される１または複数を含む処理技法と組み合わされる、請求項１に記載のシステム。
5. ｉ）第１のカメラの運動を測定する慣性測定ユニットからのデータを組み合わせ、ｉｉ）次いで、画像処理の前に実時間で前記フレームの組にキャプチャされたデータを補正する運動補償データを生成する、ソフトウェアベースの実時間デジタル画像安定化アプリケーションをさらに備え、前記慣性測定ユニットは、カメラ指示方向を追跡するように構成され、前記デジタル画像安定化アプリケーションおよび前記慣性測定ユニットは、動作または振動プラットフォーム上に装着された前記１または複数のカメラが前記カメラの運動が前記検出アルゴリズムに干渉するのを防止することを可能とするように構成される、請求項１に記載のシステム。
6. 前記検出アルゴリズムが、前記フレームの組からのデータを評価するように構成され、前記検出アルゴリズムが、ｉ）経時的な光強度の変動を変換し、各画素に対して最も大きなエネルギーを有する周波数を見つけ、ｉｉ）雑音帯域よりも大きく設定された候補画素に対する最小閾値を適用し、ｉｉｉ）周波数空間における有意性を計算し、ｉｖ）統計的有意性スコアを各候補画素に割り当てる変換アルゴリズムによって前記フレームの組に対して統計的有意性基準を実施することによって、前記画像にキャプチャされた前記散光および／または反射光を見つけるように構成される、請求項１に記載のシステム。
7. 前記検出事象は、現在の統計的有意性基準からの追跡された新たなおよび反復された検出事象と比較された前の統計的有意性基準からのデータを検討するため、経時的に追跡される前記検出事象をオブジェクトトラック内に経時的に累積するために追跡アルゴリズムに渡され、前の追跡されたオブジェクトトラックから経時的に新たな追跡されたオブジェクトトラックまでの間のこの対応を通してビークル検出候補を現在のビークルとして認識する信頼スコアが増加し、信頼度閾値が渡されたとき、前記受動光学カメラベースシステムからの能動放射の欠如は前記受動光学カメラベースシステムの存在を表すことなく前記検出アルゴリズムおよび撮像プロセッサが前記１または複数のビークルの存在を検出することを可能とする、請求項６に記載のシステム。
8. ビークルのそのオブジェクトトラック上の存在が、ｉ）前記システムから外部デバイスに送られた生成された通知、およびｉｉ）表示画面上の表示のいずれかを介してユーザに報告される、請求項１に記載のシステム。
9. 検出結果を実時間で表示画面上に表示するように構成された認識アルゴリズムを実装するユーザインターフェースをさらに備え、合成画像が、前記グラフィカルユーザインターフェースにおいて生成され、前記検出結果が、前記表示画面上の初期風景画像における検出されたビークルに対して強調表示されまたは他の方法で指示され、前記グラフィカルユーザインターフェースのための前記認識アルゴリズムが、ｉ）設定閾値よりも高い十分なスコアを生成し、およびｉｉ）単一の誤った周波数スパイクに対するビークルの肯定的検出としての経時的持続性についても確認された、前記散光および／または反射光に対して統計的有意性基準を使用して、前記検出アルゴリズムからのデータ結果に基づいて１または複数の検出されたビークルを決定する、請求項１に記載のシステム。
10. １または複数のビークルの運動を３Ｄで予測するように構成された経路予測論理回路をさらに備え、検出されたビークルの座標は前記経路予測論理回路に渡され、前記路予測論理回路は、前記１または複数のビークルの運動を３Ｄで予測し、ならびにｉ）予測座標を別のシステムに提供すること、およびｉｉ）表示画面上に、前記表示画面上に示された前記ビークルの位置を実時間で提供すること、のうちの少なくとも一方を行う、請求項１に記載のシステム。
11. 前記追跡アルゴリズムが、カメラの向きおよびレンズの歪みを補償することによって３Ｄオブジェクトトラックを絶対座標で構築するように構成される、請求項７に記載のシステム。
12. ２つ以上のカメラが、前記システムに装着され、それにより各カメラが対象範囲を増強するように指定領域をスキャンするよう構成され、追跡アルゴリズムによって指示された場合、前記ビークルの距離を決定するために、潜在的検出ビークル上にとどまり、立体視および／または三角測量のいずれかのステレオデータを得るために前記潜在的検出ビークルに集中するように複数のカメラを調整し、前記追跡アルゴリズムが、前記ビークルの３Ｄ軌跡を描画し記憶するようにさらに構成される、請求項１に記載のシステム。
13. 前記１または複数のカメラが、ｉ）高感度センサ、ｉｉ）赤外線センサ、またはｉｉｉ）両方と協働して、前記システムが前記１または複数のビークルの存在を検出し追跡するために暗視および低光量応用に使用されることを可能にするように構成される、請求項１に記載のシステム。
14. ビークル検出事象の通告を受け取るように構成された通知モジュールであって、通信回路を通ってネットワークを介して１または複数の電子デバイスに検出通知を送るように構成される、通知モジュールと、
    ｉ）表示画面上の検出事象に対する位置特定データを制御し、ｉｉ）ビークル検出候補に対する第１のカメラのズームの量を制御し、ｉｉｉ）ネットワークを介して前記システムに接続されたユーザのデバイスの前記表示画面上に前記ビークル検出候補のライブビューを前記ユーザが要求することを可能にし、ｉｖ）前記ビークル検出候補に対する検出トラックの拡張現実オーバーレイを表示させること、からなるグループから選択された前記システムに対する動作を前記ユーザが制御することを許容するよう構成されたユーザデバイスインターフェースと、をさらに備える、請求項１に記載のシステム。
15. ２つ以上のカメラは前記システムに装着され、それにより、各カメラが、一定の対象範囲を提供するのに必要な時間を低減するよう空の指定領域を同時にスキャンするよう構成され、前記２つ以上のカメラは、互いにネットワークを形成しより大きな地形の領域の対象範囲を提供するよう同時に使用され、前記カメラのうちの少なくとも２つが時間的および空間的に同期されたとき、それらは検出されたビークルの距離を計算するのに使用され、各カメラは、前記ネットワーク内のノードとして働き、前記ネットワーク内の前記ノードのすべてからのデータを合体させるためにこのデータをコンピュータに送る前に、各ノードは、前記フレームの組の局所処理を収集して実施し、前記ビークルからの前記散光および／または反射光から調光の周波数成分を検出するよう符号化され、データを合体させるための前記コンピュータは、前記ノードのすべてからの前記データを処理し、前記合体されたデータを評価し、次いで、そのノードにおける局所カメラユニットにフィードバックを送る、請求項１に記載のシステム。
16. 受動光学カメラベースシステムのための方法であって、
    １または複数のビークルの存在を前記受動光学カメラベースシステムにおける１または複数のカメラを用いて検出する、ステップと、
    ビークルからの散光および／または反射光から光強度の変動を検出するために１または複数の撮像プロセッサおよび前記１または複数のカメラを使用して前記１または複数のビークルの存在を認識する検出アルゴリズムを適用するステップであって、それらの散光および／または反射光が、前記１または複数のカメラからのフレームの組に含まれる画像にキャプチャされる、ステップと、を含む、方法。
17. 対象範囲を増強するために空の指定領域をスキャンするように各カメラが構成されるよう、前記システムに装着された２つ以上のカメラを使用する、ステップと、
    前記ビークル検出候補までの距離を決定するために、少なくとも２つのカメラのスキャンを中断させ、潜在的検出ビークル上にとどまり、立体視および／または三角測量のいずれかのステレオデータを得るために前記潜在的検出ビークルに集中するように前記少なくとも２つのカメラを調整する、ステップと、
    前記ビークル検出候補の３Ｄ軌跡を描画し記憶する、ステップと、をさらに含む、請求項１６に記載の方法。
18. １または複数のビークルの運動を３Ｄで予測するために経路予測論理回路を使用するステップであって、検出されたビークルの座標が前記経路予測論理回路に渡され、前記経路予測論理回路が、１または複数のビークルの運動を３Ｄで予測し、ならびにｉ）予測座標を別のシステムに提供すること、およびｉｉ）表示画面上に、表示画面上に強調表示された前記ビークルの位置を実時間で提供することのうちの少なくとも一方を行う、ステップをさらに含む請求項１６に記載の方法。
19. 検出結果を実時間で前記表示画面上に表示するためにグラフィカルユーザインターフェースを使用するステップであって、合成画像は、前記グラフィカルユーザインターフェースにおいて生成され、前記検出結果は、前記表示画面上の風景画像における検出されたビークルの周りの強調表示されたアウトラインである、ステップと、
    ｉ）設定閾値よりも高い十分なスコアを生成し、ｉｉ）単一の誤った雑音スパイクに対するビークルの肯定的検出としての経時的持続性についても確認された、前記散光および／または反射光に対して統計的有意性基準を使用して、前記検出アルゴリズムからのデータ結果に基づいて１または複数の検出されたビークルを決定するステップと、をさらに含む、請求項１８に記載の方法。
20. フレームグラバに読み込まれた前記フレームの組からのデータを評価するために前記検出アルゴリズムを使用するステップと、
    変換アルゴリズムを含む統計的有意性基準を前記フレームの組に対して実施して、ｉ）経時的な光強度の変動を変換し各画素に対して最も大きなエネルギーを有する周波数を見つけ、ｉｉ）雑音帯域よりも大きく設定された候補画素に対する最小閾値を適用し、ｉｉｉ）周波数空間における有意性を計算し、ｉｖ）統計的有意性スコアを各候補画素に割り当て、次いで、ｖ）隣接した画素の主要周波数を相関させ、前記画像にキャプチャされた前記散光および／または反射光を見つける前記検出アルゴリズムを使用するステップと、をさらに含む、請求項１６に記載の方法。

Images