JP7282186B2 - 状況認識監視 - Google Patents

Description

本発明は、環境内の状況認識監視を行うシステム及び方法に関し、特定の一実施例においては、環境内を移動する物体に対して状況認識監視を実行するシステム及び方法に関する。

本明細書において、何らかの先行文献（又はこれに由来する情報）、或いは何らかの公知内容に言及した際に、先行文献（又はこれに由来する情報）或いは何らかの公知内容が、本明細書に関連する技術分野で共通の一般的知識の一部をなすことを承認するか、若しくは了承するか、又は何らかの形式で示唆するものと解釈してはならない。

状況認識とは、時間又は空間に関する環境要素及び事象の知覚、それらの意味の理解、及びそれらの将来の状況の予想である。状況認識はある範囲、特に人と設備との交錯が生じ、負傷又はその他の望ましくない結果に至る恐れがある状況の範囲における意思決定に重要であると理解されている。その一例が工場内であり、人と設備との交錯により負傷又は死に至る潜在的可能性がある。

状況認識監視を行う多くの試みがなされてきた。例えば、米国特許第８，２５３，７９２号明細書に作業空間領域における安全監視システムを記述している。作業空間領域は、自動可動設備を有する領域に関係している。視覚に基づく複数の撮像装置が作業空間領域を占める時間同期された画像データを取得する。各々の視覚に基づく撮像装置は、他の各々の視覚に基づく撮像装置とは顕著に異なる各々の視点から、時間同期された作業空間領域を占める画像を繰り返し取得する。時間同期された画像データを視覚処理ユニットが解析する。視覚処理ユニットは取得された画像データを処理して、作業空間領域内で人ではない物体から人を識別する。視覚処理ユニットは更に人と自動可動機器との潜在的交錯を判定する。視覚処理ユニットは更に、作業空間領域内で人と自動可動機器が交錯する可能性に基づいて自動可動機器の動的再設定を可能にする制御信号を生成する。

しかし、このシステムは、据え置き型ロボットで使用するように構成され、高価な機械視覚カメラを用いるため、大規模な配備には適していない。

米国特許第７，９２９，０１７号明細書に、統一的方式、融合技術、時空間制約、方法論、及びシステムアーキテクチャが提供されている。統一された方式は、単眼及び立体視ビデオトラッカ、ＲＦＩＤ及びローカライゼーションシステム並びに生体識別システムの出力を融合するものである。様々なセンサノイズ及び曖昧さに対処するように厳密な不確実性解析を行って異種ソースから検出された情報を共通の座標系に変換することに基づく融合技術が提供されている。時空間制約は、位置及び速度情報を用いて異なるセンサを融合するのに用いられる。利点として、広大な領域内で複数の人をその素性とともに連続的に追跡する能力が含まれる。方法は一般的であるため、他のセンサをシステムに組み込むことができる。システムアーキテクチャは、基礎をなすセンサの実時間処理を行うべく提供されている。

米国特許第８，２８９，３９０号明細書に、立体カメラのネットワークを用いたオフィスビル、ターミナル、又は他の囲まれた箇所等の乱雑且つ混雑した環境の検出、追跡、及び没入型視覚化を結合する直感システムを記述している。警備員が、複数のビデオストリームを用いて異なる方向から更新されるライブ３Ｄモデルを用いてサイトを監視する。人がカメラの視野内を移動するにつれて、システムはその移動を検出して当人の経路を追跡し、当人がカメラの視野から外れたならば次のカメラに追跡を引き継ぐ。複数の人を複数のカメラ個々で、又は複数のカメラを切り替えつつ同時に追跡しながら、追跡の様子を地図ディスプレイに表示することができる。追跡システムは、全ての動いている物体の追跡を最新の追跡履歴とともに示す追跡地図ブラウザ、及び追跡されている人の実況没入型ビデオを表示するビデオフラッシュビューアを含んでいる。

しかし、これらの解決策は特に人を追跡するように構成され、高価な立体ビデオトラッカを必要とするため、大規模な配備には適していない。

米国特許出願公開第２０１５／０１７２５４５号明細書に、複数のセンサからのビデオデータをデータプロセッサに送信するステップ、プロセッサを用いて各々のセンサからのビデオデータを単一のパノラマ画像に統合するステップを含む、パノラマ画像を表示する方法を記述している。画像のフォーカスビューが定義され、フォーカスビューがディスプレイの中心となるようにパノラマ画像がスクロールされる。画像のフォーカスビューの中心に対応する線に沿って高解像度カメラが照準を定め、カメラにより生成された画像がパノラマ像に統合される。画像データにマッピング関数を適用してデータを圧縮することにより、画像の側端に隣接する領域内での画像の少なくとも水平解像度が低下する。

国際公開第２０１４／１４９１５４号パンフレットに、天気、電力、サイバー、及び／又はソーシャルメディアソースからのマルチドメインデータを統合して状況認識を大幅に向上させて電力グリッド等の基盤環境の信頼性、持続性、及び効率の評価をより正確に推進する監視システムを記述している。開示する技術の一例において、一方法は、基盤システムに関連する２つ以上の異なる領域から実時間データを受信し、実時間データを基盤システムに関連する統一された表現に集約して、統一された表現を１つ以上のカスタマイズ可能なグラフィカルユーザーインターフェースに提供するステップを含んでいる。

広い意味で、本発明の態様は、環境内の状況認識監視を行うシステムを提供することを目的としており、システムは、環境内の物体の画像を取得するように構成された複数の撮像装置であって、当該複数の撮像装置の少なくともいくつかが少なくとも部分的に重なり合う視野を有するように環境内に配置されている複数の撮像装置の各々から複数の取得画像を含む画像ストリームを受信し、異なる画像ストリームの重複画像であって、重なり合う視野を有する撮像装置により取得された画像である重複画像を識別し、重複画像を解析して環境内の物体の位置を判定し、時間経過に伴う物体の位置の変化を解析して環境内の物体の移動を判定し、物体の移動を状況認識ルールと比較して、比較の結果を用いて状況認識事象を識別するように構成された１つ以上の処理装置を含んでいる。

一実施形態において、重複画像は、ほぼ同時に取得された同期重複画像である。

一実施形態において、１つ以上の処理装置が、各取得画像の取得時刻を判定し、取得時刻を用いて同期画像を識別するように構成されている。

一実施形態において、１つ以上の処理装置が、撮像装置により生成された取得時刻、各画像に関連付けられた受信時刻であって、１つ以上の処理装置が受信した時刻を表す受信時刻、及び画像内の画像コンテンツの比較のうち少なくとも１つを用いて、取得時刻を判定するように構成されている。

一実施形態において、１つ以上の処理装置が、各画像ストリームからの画像を解析して、物体を含む画像である物体画像を識別し、及び、同一物体を含む物体画像として重複画像を識別するように構成されている。

一実施形態において、１つ以上の処理装置が、撮像装置の位置合わせに少なくとも部分的に基づいて重複画像を識別するように構成されている。

一実施形態において、１つ以上の処理装置が、画像ストリームからの多数の画像を解析して静止画像領域を識別し、及び、非静止画像領域を含む画像として物体画像を識別するように構成されている。

一実施形態において、複数の画像のうち少なくとも１つは背景基準画像である。

一実施形態において、１つ以上の処理装置が、画像ストリーム内の画像間での画像領域の外観の変化の程度を判定し、変化の程度に少なくとも部分的に基づいて物体を識別するように構成されている。

一実施形態において、１つ以上の処理装置が、変化の程度を分類閾値と比較し、比較の結果に基づいて画像領域を分類し、及び画像領域の分類に基づいて物体を識別するように構成されている。

一実施形態において、１つ以上の処理装置が、画像領域を、変化の程度が分類閾値を下回る場合は静止画像領域として、又は変化の程度が分類閾値を上回る場合は非静止画像領域として分類するように構成されている。

一実施形態において、１つ以上の処理装置が、非静止画像領域を解析して物体を識別するように構成されている。

一実施形態において、１つ以上の処理装置が、分類閾値を動的に調整するように構成されている。

一実施形態において、１つ以上の処理装置が、移動を停止した物体を含む物体画像領域を識別し、画像領域を非静止画像領域として分類するために必要な変化の程度を減少させるよう物体画像領域の分類閾値を修正するように構成されている。

一実施形態において、１つ以上の処理装置が、視覚的効果を含む画像を識別し、視覚的効果に従い画像を処理することにより物体を識別するように構成されている。

一実施形態において、１つ以上の処理装置が、視覚的効果を含む画像領域を識別し、及び、視覚的効果を含む画像領域を除外することと、及び視覚的効果の要因である画像領域を分類することとの少なくとも一方を行うように構成されている。

一実施形態において、１つ以上の処理装置が、識別された視覚的効果に基づいて分類閾値を調整するように構成されている。

一実施形態において、１つ以上の処理装置が、１つ以上の照明センサからの信号を用いること、１つ以上の基準画像を用いること、環境情報に従うこと、照明領域の手動識別に基づくこと、及び規定された照明特性に従い画像を解析することのうち少なくとも１つにより視覚的効果を識別するように構成されている。

一実施形態において、１つ以上の処理装置が、視体積交差技術、画像内のフィデューシャルマーキングの検出、複数の三角形分割された画像内のフィデューシャルマーキングの検出のうち少なくとも１つを用いて物体の位置を判定するように構成されている。

一実施形態において、１つ以上の処理装置が、重複画像内の対応画像すなわち環境内の容積の画像である対応画像の領域を識別し、及び、対応画像領域を解析して、容積内の物体を識別するように構成されている。

一実施形態において、対応画像領域は非静止画像領域である。

一実施形態において、１つ以上の処理装置が、対応画像領域を解析し候補物体を識別し、環境内の物体の位置を表すモデルを生成し、モデルを解析して潜在的オクルージョンを識別して、潜在的オクルージョンを用いて候補物体の妥当性を確認するように構成されている。

一実施形態において、１つ以上の処理装置が、画像領域が潜在的オクルージョンを含む場合、オクルージョンされた画像領域として分類し、識別されたオクルージョン画像領域を用いて候補物体の妥当性を確認するように構成されている。

一実施形態において、１つ以上の処理装置が、オクルージョンされた画像領域を除く対応画像領域を解析するように構成されている。

一実施形態において、１つ以上の処理装置が、対応画像領域に関連付けられた物体スコアであって対応画像領域内の物体の検出に関連付けられた確実度を表す物体スコアを計算し、物体スコアを用いて物体を識別するように構成されている。

一実施形態において、１つ以上の処理装置が、対応画像領域の各々に対して画像領域スコアを生成し、及び、画像領域スコアを用いて物体スコアを計算することと、対応画像領域を解析して各々の対応画像領域の画像領域スコアに応じて容積内の物体を識別することと、各々の対応画像領域の画像領域スコアを重み付けとして用いて視体積交差技術を実行することと、のうち少なくとも１つを実行するように構成されている。

一実施形態において、画像領域スコアは、画像領域分類、画像領域分類の寿命、画像領域分類の過去の変化、視覚的効果の存在又は可能性、画像ストリーム内の画像間の画像領域の外観の変化の程度、画像領域に関連するカメラジオメトリ、画像取得時刻、及び画質のうち少なくとも１つに基づいている。

一実施形態において、１つ以上の処理装置が、較正データに従い画像を解釈するように構成されている。

一実施形態において、較正データは、各撮像装置の撮像特性を表す内因的較正データ、及び環境内における撮像装置の相対位置を表す外因的較正データのうち少なくとも１つを含んでいる。

一実施形態において、１つ以上の処理装置が、撮像装置を用いて異なる位置から取得された規定されたパターンの画像を受信すること、及び画像を解析して撮像装置の画像取得特性を表す較正データを生成することにより、較正処理の実行中に較正データを生成するように構成されている。

一実施形態において、１つ以上の処理装置が、環境内の目標の取得画像を受信すること、取得画像を解析して、異なる撮像装置により取得された同一目標を表す画像を識別すること、及び識別された画像を解析して撮像装置の相対位置及び向きを表す較正データを生成することにより、較正処理の実行中に較正データを生成するように構成されている。

一実施形態において、１つ以上の処理装置が、少なくとも１つの物体について物体属性を判定し、物体属性を少なくとも部分的に用いて物体の移動を状況認識ルールと比較するように構成されている。

一実施形態において、物体属性は、物体の種類を表すもの、及び物体を一意に表すものの少なくとも一方である。

一実施形態において、１つ以上の処理装置が、物体属性に応じて１つ以上の状況認識ルールを選択し、及び、物体の移動を選択された状況認識ルールと比較するように構成されている。

一実施形態において、１つ以上の処理装置が、移動パターンを解析することにより物体属性を判定するように構成されている。

一実施形態において、１つ以上の処理装置が、画像認識を用いて物体属性を判定するように構成されている。

一実施形態において、物体は、物体属性を表す機械可読符号化データに関連付けられていて、１つ以上の処理装置は機械可読符号化データを用いて物体属性を判定するように構成されている。

一実施形態において、機械可読符号化データは可視データであり、１つ以上の処理装置は画像を解析して機械可読符号化データを検出するように構成されている。

一実施形態において、機械可読符号化データは物体に関連付けられたタグにコード化されていて、１つ以上の処理装置はタグ読取器から機械可読符号化データを表す信号を受信するように構成されている。

一実施形態において、タグは、短距離無線通信プロトコルタグ、ＲＦＩＤタグ、Ｂｌｕｅｔｏｏｔｈタグのうち少なくとも１つである。

一実施形態において、１つ以上の処理装置が、物体の移動を用いて予想される物体の移動を判定し、及び、予想される物体の移動を状況認識ルールと比較するように構成されている。

一実施形態において、物体の移動は物体の移動経路を表す。

一実施形態において、状況認識ルールは、許可された物体の移動経路、許可された物体の移動、異なる物体に許可された接近限度、物体に許可されたゾーン、及び、物体に禁止されたゾーンのうち少なくとも１つを表す。

一実施形態において、１つ以上の処理装置が、物体の移動が物体に対して規定されている許可された物体の移動経路から逸脱している、物体の移動が物体に許可された物体の移動から逸脱している、２つの物体が物体に許可された接近限度内にある、２つの物体が物体に許可された近接限度に近づいている、２つの物体が物体に許可された接近限度内にあることが予想される、２つの物体の予想される移動経路が交差している、物体が物体に許可されたゾーンの外側にある、物体が物体に許可されたゾーンから退出している、物体が物体に禁止されたゾーンの内側にある、物体が物体に禁止されたゾーン内に進入している、のうち少なくとも１つが真ならば状況認識事象を識別するように構成されている。

一実施形態において、１つ以上の処理装置が環境モデルを生成するように構成され、環境モデルは、環境、環境内における撮像装置の位置、物体の現在位置、物体の移動、予想される物体の位置、及び予想される物体の移動のうち少なくとも１つを表している。

一実施形態において、１つ以上の処理装置が、環境モデルのグラフ表現を生成するように構成されている。

一実施形態において、状況認識事象の識別に応答して、１つ以上の処理装置は、状況認識事象の徴候を記録すること、状況認識事象を示す通知を生成すること、出力装置に状況認識事象を示す出力を生成させること、警報を起動すること、及び物体の動作を制御させることのうち少なくとも１つを実行するように構成されている。

一実施形態において、撮像装置は、セキュリティ撮像装置、モノスコープ撮像装置、非コンピュータ視覚に基づく撮像装置、及び内因的較正情報が関連つけられていない撮像装置のうち少なくとも１つである。

一実施形態において、物体は、人、物品、遠隔制御車両、手動制御車両、半自律車両、自律車両、自律誘導車両のうち少なくとも１つを含んでいる。

一実施形態において、１つ以上の処理装置が、ほぼ実時間で状況認識事象を識別し、及びほぼ実時間で処置を実行するように構成されている。

広範な意味において、本発明の態様は、環境内の状況認識監視方法を目的とし、方法は、１つ以上の処理装置において、環境内の物体の画像を取得するように構成された複数の撮像装置であって、当該複数の撮像装置の少なくともいくつかが少なくとも部分的に重なり合う視野を有するように環境内に配置された複数の撮像装置の各々から複数の取得画像を含む画像ストリームを受信するステップ、異なる画像ストリーム内の重複画像であって、重なり合う視野を有する撮像装置により取得された画像である重複画像を識別するステップ、重複画像を解析して環境内の物体の位置を判定するステップ、時間経過に伴う物体の位置の変化を解析して環境内の物体の移動を判定するステップ、物体の移動を状況認識ルールと比較するステップ、比較の結果を用いて状況認識事象を識別するステップを含んでいる。

１つの広範な形態において、本発明の一態様は、環境内の状況認識監視に用いるコンピュータプログラム製品を目的とし、コンピュータプログラム製品はコンピュータ実行可能コードを含み、コンピュータ実行可能コードは、１つ以上の適切にプログラムされた処理装置により実行された場合、処理装置に、環境内の物体の画像を取得するように構成された複数の撮像装置であって、当該複数の撮像装置の少なくともいくつかが少なくとも部分的に重なり合う視野を有するように環境内に配置された複数の撮像装置の各々から複数の取得画像を含む画像ストリームを受信させ、異なる画像ストリーム内の重複画像であって、重なり合う視野を有する撮像装置によりほぼ同時に取得された画像である重複画像を識別させ、重複画像を解析して環境内の物体の位置を判定させ、時間経過に伴う物体の位置の変化を解析して環境内の物体の移動を判定させ、物体の移動を状況認識ルールと比較させ、比較の結果を用いて状況認識事象を識別させる。

本発明の広範な形式及びそれら各々の特徴を連携させて、及び／又は独立に用いることができ、且つ個々の広範な形式への言及は限定を意図していないことが認識されよう。更に、本システム又は装置を用いて本方法の特徴を実行できること、及び本方法を用いて本システム又は装置の特徴を実装できることが認識されよう。

以下に本発明の各種の例及び実施形態を添付の図面を参照しながら記述する。

環境内の状況認識監視システムの一例の模式図である。 環境内の状況認識監視方法の一例のフロー図である。 分散型コンピュータシステムの一例の模式図である。 処理システムの一例の模式図である。 クライアント装置の一例の模式図である。 環境内の状況認識監視方法の更なる例のフロー図である。 環境内の状況認識監視システムで用いる較正方法の一例のフロー図である。 環境内の状況認識監視方法の特定の例のフロー図である。 状況認識監視方法の一部としての物体識別方法の一例のフロー図である。 状況認識モデルのグラフ表現の一例の模式図である。 画像領域分類処理の一例のフロー図である。 オクルージョン緩和処理の一例のフロー図である。 重み付き物体検出処理の一例のフロー図である。

以下に、環境内の状況認識監視を実行するシステムの一例について図１を参照しながら記述する。

この例において、１つ以上の物体１０１、１０２、１０３が存在する環境Ｅ内の状況認識監視が実行される。この例では３個の物体を示しているが、これは説明目的に過ぎず、処理は任意の数の物体に対して実行できる。

環境Ｅの性質は、好適な実装に応じて異なっていてよく、状況認識監視の実行が必要な任意の空間が含まれていてよい。特定の例として、工場、倉庫、貯蔵環境等が含まれるが、技術がより広範に適用することができ、屋内及び／又は屋外環境で用いられてよいことが認識されよう。同様に、物体は広範な種類の物体であってよく、特に人、動物、車両等の動いている物体、自動誘導車両（ＡＧＶ）等の自律又は半自律車両であってよい。特定の一実施例において、状況認識監視は特に、ＡＧＶ又は他のロボットシステム或いは車両が半自動化工場と同様に人と並んで働いている状況で有用である。しかしこの場合も限定を意図していない。

状況認識監視を実行するシステムは典型的に、環境Ｅ内の物体１０１、１０２、１０３の画像を取得可能にするように環境Ｅに配置された撮像装置１２０からの画像ストリームを受信するように構成された１つ以上の電子処理装置１１０を含んでいる。

説明目的のため、１つ以上電子処理装置が、以下により詳細に述べるように、ネットワークアーキテクチャを介して、携帯電話、ポータブルコンピュータ、タブレット等の１つ以上のクライアント装置に接続されていてよい１つ以上の処理システム、例えばコンピュータシステム、サーバ等の一部を形成するものと仮定する。更に、説明を容易にするように、以降の記述は１つの処理装置に言及しているが、必要に応じて複数の処理装置が用いて、処理装置間で処理が分散されていてよく、単数への言及は複数の構成を含み、その逆も成り立つことが認識されよう。

撮像装置１２０の性質は好適な実装に応じて異なるが、一例において撮像装置は非コンピュータ視覚モノスコープ型カメラ等の低コスト撮像装置である。特定の一例において、防犯カメラが用いてよいが、以下の記述から明らかになるように、ウェブカメラ等、他の低コストカメラを追加的及び／又は代替的に用いてもよい。広範な異なる撮像装置１２０が用いることも可能であり、複数の撮像装置１２０が同様の種類又はモデルである必要はない。

複数の撮像装置１２０は典型的に、環境Ｅの全範囲をカバーするように配置されていて、環境Ｅ内の任意の物体が２つ以上の撮像装置により随時好適に撮像されるように、複数のカメラの少なくともいくつかが少なくとも部分的に重なり合う視野を含んでいる。撮像装置は典型的に環境内に静的に配置されていて、完全にカバーするように異なる位置の範囲に設けられていてよい。例えば、撮像装置は異なる高さに配置されていてよく、異なる角度から環境の光景を撮像するように構成され、床、壁及び／又は天井に載置されたカメラの組み合わせを含んでいてよい。

以下、システムの動作について図２を参照しながらより詳細に説明する。

この例において、処理装置１１０はステップ２００で各撮像装置１２０からの画像ストリームを受信し、画像ストリームは複数の取得画像を含み、且つ環境Ｅ内の物体１０１、１０２、１０３の画像を含んでいる。

ステップ２１０において、処理装置１１０は異なる画像ストリーム内の重複画像を識別する。この点に関して、重複画像は、視野が重なり合う撮像装置により取得された重複画像であるため、物体の画像は、異なる撮像により少なくとも２つの異なる方向で取得されている。また、重なり合う視野は典型的に、環境Ｅ内における撮像装置１２０の相対位置に関する知識に基づいて決定されるが、代替的に、以下により詳細に述べるように画像の解析を用いて実現できる。

ステップ２２０において、１つ以上の処理装置が重複画像を解析して環境内の物体の位置を判定する。具体的には、撮像位置に関する知識を用いて物体の位置が三角形分割されている状態で、画像が解析されて異なる重複画像の物体の位置を識別する。これは任意の適当な技術を用いて実現することができ、一例において、例えばＡ．Ｌａｕｒｅｎｔｉｎｉ（１９９４年２月）「Ｔｈｅ ｖｉｓｕａｌ ｈｕｌｌ ｃｏｎｃｅｐｔ ｆｏｒ ｓｉｌｈｏｕｅｔｔｅ－ｂａｓｅｄ ｉｍａｇｅ ｕｎｄｅｒｓｔａｎｄｉｎｇ」ＩＥＥＥ Ｔｒａｎｓ．Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ ｐｐ．１５０－１６２に記述されているように、視体積交差法を用いて実現される。しかし、このようなフィデューシャルマーキングの画像解析等、他の方法を用いてもよい。好適な一例において、重複画像と合わせてフィデューシャルマーキングを用いることにより、物体の位置をより高い精度で判定することができるが、これは必須でないことが認識されよう。

ステップ２３０において、１つ以上の処理装置が物体の位置の時間経過に伴う変化を解析して環境Ｅ内における物体１０１、１０２、１０３の移動に対応する物体の移動を判定する。具体的には、各物体１０１、１０２、１０３の移動を判定するように物体の位置のシーケンスを用いて、重複画像のシーケンスを解析して一連の物体の位置を判定する。物体の移動は任意の形式の移動であってよいが、一例では環境Ｅ内における物体１０１、１０２、１０３の移動経路である。

ステップ２４０において、物体の移動を状況認識ルールと比較する。状況認識ルールは、環境Ｅ内における物体１０１、１０２、１０３の望ましい及び／又は潜在的に危険又は他の望ましくない移動を表す基準を定めている。状況認識ルール及び基準の性質は、好適な実装、状況認識監視処理を用いる状況、監視する物体の性質等の要因により異なる。例えば、ルールは、物体の近接度、物体の将来的に予想の近接度、移動経路の妨害、特定の領域に出入りする特定の物体等に関していてよく、これらの例について以下により詳細に説明する。

ステップ２５０において、比較の結果を用いて、典型的には状況認識ルールの違反又は潜在的な違反に対応する何らかの状況認識事象が生じているかを識別する。従って、例えば、状況認識ルールに違反した場合、これは潜在的な危険を表すと言え、次いでこれを用いて処置を取ることができる。処置の性質及びこれを実行する仕方は、好適な実装に応じて異なる。

例えば、処置は単に状況認識事象の詳細の記録を含んでいてよく、これにより次の監査目的での記録が可能になる。追加的に、及び／又は代替的に、処置は、例えば通知又は可聴及び／又は可視的な警報を発することにより個人に警告するために、危険な状況を試みて防止するように取ることができる。これを用いて、例えば個人に現在の移動又は位置を、例えばＡＧＶの経路から外れるように調整させることにより、環境内の個人に警告して対応策を取ることができる。また、自律又は半自律車両の場合、これは、例えば車両に経路の変更又は停止を指示することにより、車両を制御して、事故の発生を防止することを含んでいてよい。

従って、上述の構成が工場、倉庫、鉱山等の環境を監視して、ＡＧＶ、人等の物体、又は他の物体の移動を追跡することができるシステムを提供することが認識されよう。これを状況認識ルールと共に用いて、ＡＧＶ又は他の車両が人に接触又は接近しそうである、又はその逆の場合のような望ましくない状況が生じたことを確認する。一例において、本システムにより修正処置を自動的に実行する、例えば車両の動作を修正する、又は車両が接近している事実を人に警告することができる。

これを実現するために、システムは環境Ｅ内に設けられた複数の撮像装置を用いて、物体の位置を識別するように重なり合う視野における画像を利用するように動作する。これにより、物体がＲＦＩＤタグ等の検出可能な特徴を備えている必要はなくなるが、以下により詳細に述べるように、そのようなタグの使用は除外されない。更に、この処理は防犯カメラ等の低コストの撮像装置を用いて実行できるため、他のシステムよりも商業的価値が優れている。利点としては、カメラが入手し易く、よく知られていて、低コストであるとともに、通信し且つ電力を供給する単一のイーサネットケーブルに接続できることである。これは次いで、標準的な市販のＰＯＥイーサネットスイッチ及び標準的な電力供給調整に接続することができる。従って、このようなシステムの設置及び設定コストを大幅に減らすことができ、高価な立体又はコンピュータ視覚カメラを利用する必要がなくなり、多くの場合に既存の防犯カメラインフラを状況認識監視に利用することができる。

また、処理装置は、物体追跡、状況認識事象の識別、又は処置をほぼ実時間で実行するように構成されていてよい。従って、例えば、画像取得と処置の実行との間に要する時間を約１秒未満、約５００ｍｓ未満、約２００ｍｓ未満、又は約１００ｍｓ未満とすることができる。これにより、本システムは例えば車両を制御することにより環境内の個人に対し効果的に警告及び／又は修正処置を行うことが可能になるため、衝突又は負傷等の事象を避けることができる。

多数の更なる特徴について以下に記述する。

一例において、重複画像は、ほぼ同時に取得される点で同期重複画像である。この点に関して、画像をほぼ同時に取得するための要件は、物体が顕著に動いてしまう時間区間よりも短い時間区間内に画像を取得することを意味する。従ってこれは物体の移動の速度に依存するが、時間区間は典型的に約１秒未満、約５００ｍｓ未満、約２００ｍｓ未満、又は約１００ｍｓ未満である。

同期重複画像を識別するように、処理装置は典型的に、画像に付与されたタイムスタンプ及び／又は撮像装置からの画像の受信時刻等の情報を典型的に用いて画像ストリームを同期させるべく構成されている。これにより画像を典型的に処理装置と時間的に同期されたコンピュータ視覚装置以外の撮像装置から受信することができる。従って、これは、通常はハードウェアで実行される全てのカメラフィード間の正確な時間同期を保証するように追加的な機能を処理装置に実装することを必要とする。

一例において、処理装置は、各取得画像の取得時刻を判定し、次いで取得時刻を用いて同期画像を識別するように構成されている。これが典型的に必要とされる理由は、撮像装置には、大多数のコンピュータ視覚カメラに存在する、防犯カメラ等、より安価な基盤としての既存技術を用いて本システムを実装できるようにする同期化機能が組み込まれていないからである。

各取得画像について取得時刻を判定する方法は好適な実装により異なる。例えば、撮像装置は、多数の防犯カメラのように、タイムスタンプのような取得時刻を生成することができる。この場合、デフォルト設定でタイムスタンプを取得時刻として用いることができる。追加的及び／又は代替的に、取得時刻は処理装置が受信した時刻を示す受信時刻に基づいていてよい。これは任意に、較正又は他の設定処理の間に確立され得る撮像装置と処理装置の間の通信遅延を考慮する。好適な一例において、２つの技術を連携して用いることにより、画像の受信時刻を用いて画像に付与されたタイムスタンプの妥当性を確認し、それにより、判定された取得時刻を追加的なレベルで検証して、取得時刻が検証されなかった場合に対応策を取ることができる。

しかし、同期画像の使用は必須でなく、好適な実装に応じて非同期画像又は他のデータを用いてもよいことが認識されよう。例えば、物体の画像が非同期的に取得されたことで、画像間で物体の位置が変化し得る。しかし、これは重み付き画像等の適当な技術により対処できるため、以下により詳細に述べるように、非同期的に取得された画像は、物体の位置を識別する際に時間的重み付きが付与される。物体へのファジー境界及び／又は位置等の割り当て等、他の技術を用いてもよい。

一例において、処理装置は、各画像ストリームからの画像を解析して物体を含む画像である物体画像を識別するように構成されている。物体画像を識別したならば、これらを解析して重複画像を同一物体の画像を含む物体画像として識別することができる。これは、画像認識処理に基づいて実行できるが、より典型的には撮像装置の相対位置、及び特に視野に関する知識に基づいて実行される。これはまた、画像内の物体の位置を考慮することができ、これを用いて異なる撮像装置間の重なり合う視野を絞り込むことにより重複画像の位置を特定することができる。このような情報は、以下により詳細に述べるように較正処理の実行中に決定することができる。

一例において、１つ以上の処理装置は、画像ストリームからの多数の画像を解析して静止画像領域を識別し、次いで非静止画像領域を含む画像として物体画像を識別するように構成されている。これは特に、一連の又は後続する画像を比較して画像間で生じる移動を識別し、画像内の動く要素が移動する物体の結果であると評価するステップを含んでいる。これは、環境の大部分が静的なままであり、且つ一般に画像間で動くのは物体だけであるという事実による。従って、これにより物体を識別する簡単な機構が得られ、内部の物体を検出するように画像を解析するのに要する時間が短縮される。

物体が静止している場合、連続する画像間で比較が実行されたならば、この技術により検出できないことがある。しかし、これは背景と前景に異なる学習レートを適用することにより対処できる。例えば、直前の画像とは逆に、背景基準画像に対して減算を実行して、環境に物体が存在しない背景基準画像を決定することができる。好適な一方式において、背景基準画像が周期的に更新されて環境内での変化を考慮する。従って、この方式により静止物体を識別又は追跡することができる。また、以下により詳細に述べるように、物体が再び移動始めたときに追跡を再開できるように、静止物体の位置の記録を維持する環境モデルを利用して静止物体の追跡を実行できることも認識されよう。

従って、１つ以上の処理装置は、画像ストリーム内の画像間の画像領域の外観の変化の程度を判定し、次いで変化の程度に基づいて物体を識別するように構成されていてよい。画像は、一連の画像及び／又は時間的に間隔を空けた画像であってよく、変化の程度は変化の大きさ及び／又は速度である。画像領域の大きさと形状は変動し得て、好適な実装に応じてピクセル等のサブセットを含んでいてよい。いずれの場合も、画像領域がほぼ静止している場合、物体が動いていることを表す外観の顕著な変化が画像領域に生じている場合よりも、物体が画像領域内に存在する可能性が低いことが認識されよう。

特定の一例において、これは画像領域を静止又は非静止画像領域（背景及び前景画像領域とも称する）に分類することにより実現され、非静止画像領域は環境内での移動、従って物体を示している。分類は、任意の適当な仕方で実行できるが、一例において、これは変化の程度を分類閾値と比較し、次いで比較の結果に基づいて画像領域を分類する、例えば変化の程度が分類閾値を上回れば画像領域を非静止として、又は変化の程度が分類閾値を下回れば静止と分類することにより実現される。

これに続いて、例えば非静止画像領域を解析して物体を識別することにより、画像領域の分類に基づいて物体を識別することができる。一例において、これは画像領域を用いてマスクを決定することにより実現される、次いでマスクを用いて例えば後続の解析を実行し、前景マスクは物体の識別及び追跡に用いられるのに対し、背景マスクは処理要件を減らするように除外される。

また、識別力を向上させるべく、処理装置は、例えば物体の移動、環境効果等の変化を考慮するために分類閾値を動的に調整するように構成されていてよい。

例えば、物体が移動をやめた場合、画像領域がたとえ物体を含んでいても、静止していると再分類されてしまう場合がある。従って、一例において、これは先に移動していた物体を含む物体画像領域を処理装置に識別させ、次いで画像領域を非静止画像領域として分類させるのに必要な変化の程度を減少させるように、物体画像領域の分類閾値を変更するものであると説明可能である。これは実際に、上述のように領域における学習率を変化させる。画像領域の外見の変化を累積的に評価できるため、領域内の移動が止まった時点から領域が静止画像領域であると分類され、従って物体を含まないと評価された時点までの持続期間を延ばすことができる。その結果、物体が比較的短い期間だけ移動を停止した場合、領域の再分類が回避されるため、物体をより正確に追跡できるようになる。

別の例において、処理装置は、視覚的効果を含む画像を識別し、次いで視覚的効果に従い物体を識別することにより画像を処理するように構成されていてよい。この点に関して、視覚的効果から同一シーンの画像間で外観の変化が生じる可能性があり、これを潜在的な物体として識別することができる。例えば、ＡＧＶは車両前方の照明を含んでいる可能性があり、時間経過に伴い動く外観の変化をもたらすため、これをＡＧＶとは別個の物体として誤って検出する恐れがある。同様の問題が、周辺照明の他の変化、例えば室内での日光の変化、ディスプレイ又はモニタ等の視覚提示機器装置の存在により生じる。

一例において、視覚的効果に対処するように、処理装置は、視覚的効果を含む画像領域を識別し、次いで視覚的効果を含む画像領域を除外及び／又は視覚的効果の原因である画像領域を分類するように構成されていてよい。従って、例えば分類閾値を大きくすることにより、視覚外観の変化が検出された場合に画像領域が非静止画像領域として分類される可能性を下げることにより、これを用いて識別された視覚的効果に基づいて分類閾値を調整することができる。

視覚的効果の検出は、好適な実装、使用できるセンサ及び視覚的効果の性質に応じて種々の技術を用いて実現できる。例えば、視覚的効果が照明の変化である場合、１つ以上の照明センサからの信号を用いて視覚的効果を検出することができる。代替的に、１つ以上の基準画像を用いて、背景照明が日中に変化する様子の解析等、環境内で定常的に生じる視覚的効果を識別して考慮することができる。これはまた、天気予報、現在時刻に関する情報等の環境情報と合わせて環境内で生じる可能性が高い照明の予想に用いることができる。更なる代替策として、例えば照明の変化に影響され得る、及び／又はモニタ又はディスプレイ等を含む環境の一部をユーザーに指定させることにより、手動識別を実行できる。

別の例において、視覚的効果は、規定された特性に応じて画像を解析して、これらの特性を満たす領域を除外できるようにすることにより識別できる。例えば、これは既知の波長及び／又はスペクトル特性を有する、例えば車両警告灯に対応する照明を識別し、次いでそのような領域を解析から除外するステップを含んでいてよい。

一般に、処理装置は、同期重複画像を解析して物体の位置を判定するように構成されている。一例において、これはシルエットから形状への３Ｄ復元技術である視体積交差技術を用いて実行される。特に、このような視体積交差技術は、画像内の物体のシルエットを識別し、これらを用いて実際の物体を含む逆射影された一般化円錐（「シルエット円錐」として知られる）を形成するステップを含む。異なる視点から取得された画像からのシルエット円錐を用いて実際の３Ｄ物体の境界ジオメトリである視体積交差を形成する２つ以上の円錐の交線を判定する。次いでこれを用いて撮像装置の既知の視点に基づいて位置を識別することができる。従って、異なる視点から取得された画像を比較することにより環境Ｅ内の物体の位置を判定することができる。

しかし、いくつかの例において、このような視体積交差法は必要でない。例えば、物体が、ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ（ＩＣＲＡ）の議事録，２０１１においてＥｄｗｉｎ Ｏｌｓｏｎによる「ＡｐｒｉｌＴａｇ：Ａ ｒｏｂｕｓｔ ａｎｄ ｆｌｅｘｉｂｌｅ ｖｉｓｕａｌ ｆｉｄｕｃｉａｌ ｓｙｓｔｅｍ」に記述されたフィデューシャルマーカー、又はエイプリルタグ等の機械可読視覚的符号化データを含んでいる場合、取得画像のフィデューシャルマーカーの視覚的解析により位置を導くことができる。

好適な一例において、方式は、フィデューシャルマーキングと複数の画像の組み合わせを用いることにより、フィデューシャルマーキングを含む異なる画像の三角形分割を可能にして、フィデューシャルマーキング、従って物体の位置をより高い精度で計算することができる。

一例において、特に視体積交差又は同様の技術を用いる場合、処理装置は、環境内のある容積を占める画像である重複画像の対応画像領域を識別し、次いで対応画像領域を解析して容積内の物体を識別するように構成されていてよい。具体的には、これは典型的に、異なる視点から取得された同一容積を占める非静止画像領域である対応画像領域を識別するステップを含んでいる。次いで例えば視体積交差技術を用いて非静止領域を解析して候補物体を識別することができる。

カメラの密度が充分高い場合、及び／又は環境内で物体が疎らに配置されている場合、この処理は比較的直接的であるのに対し、カメラが疎らに、及び／又は物体が高密度に配置及び／又は互いに接近している場合、処理はより複雑になる。特に、この状況において、物体は往々にして完全に又は部分的にオクルージョンされており、これはいくつかの撮像装置を用いても物体の形状を正確に取得できない可能性があることを意味する。これは従って物体又はそれらの大きさ、形状又は位置の誤認識に至る恐れがある。

従って、一例において、候補物体が識別されたならば、これらを環境の３次元モデルに組み込むことができ、このようなモデルの例について以下により詳細に述べる。次いで本モデルを解析して、例えば物体と撮像装置の間に別の物体が位置する場合に、３次元モデルから物体を撮像装置の２Ｄ撮像面に逆射影することにより、潜在的オクルージョンを識別することができる。識別されたならば、次いで潜在的オクルージョンを用いて、例えばオクルージョンを考慮して視体積交差処理を実行可能にして候補物体の妥当性を確認することができる。これらの事項の例がＬｉ Ｇｕａｎ、Ｓｕｄｉｐｔａ Ｓｉｎｈａ、Ｈｅａｎ－Ｓｅｂａｓｉｔｅｎ Ｆｒａｎｃｏ、Ｍａｒｃ Ｐｏｌｌｅｆｅｙｓによる「Ｖｉｓｕａｌ Ｈｕｌｌ Ｃｏｎｓｔｒｕｃｔｉｏｎ ｉｎ ｔｈｅ Ｐｒｅｓｅｎｃｅ ｏｆ Ｐａｒｔｉａｌ Ｏｃｃｌｕｓｉｏｎ」に記述されている。

一例において、画像領域が潜在的オクルージョンを含む場合、物体を識別する際にこのことを考慮するオクルージョンされた画像領域として処理装置に分類させることにより、潜在的オクルージョンに対処できる。これはオクルージョンされた画像領域を解析から単に除外するステップを含んでいるが、この方式では典型的に、意味のある情報が失われる結果、物体の識別及び／又は位置特定が不正確になる恐れがある。従って、別の例において、対応画像のうち異なるものに重み付けすることにより実現でき、現れ得るオクルージョンの影響、従って結果的に得られる物体検出の精度の評価に重み付けを用いている。

同様の重み付け処理を用いて他の事項を考慮することもできる。従って、一例において、対応画像領域に関連付けられた物体スコアであって対応画像領域内の物体の検出に関連付けられた確実度を表す物体スコアが計算される。物体スコアが計算されたならば、物体の識別に用いて、例えばスコアが閾値を上回れば物体が正確に識別されたと評価することができる。

物体スコアを各種の仕方で利用できることが認識されよう。例えば、物体スコアが低過ぎる場合、単に物体は解析から除外すればよい。しかしより有用なのは、これを用いて物体の位置が知られる程度に制約を課すことができるため、物体のスコアが低ければ位置が不確実である可能性が高くなり、状況認識を評価する際にこれを考慮することができる。

一例において、各々の対応画像領域の画像領域スコアを生成し、次いで各々の対応画像の画像領域に対する画像領域スコアを用いて物体スコアを計算することにより、物体スコアが計算される。従って、特定の容積を占める画像領域を取得する各撮像装置に対して画像領域スコアが計算され、これらを組み合わせて容積全体のスコアを求める。

追加的及び／又は代替的に、個々の画像領域スコアを用いて、物体を正確に識別するように使用する画像領域に対する潜在的信頼性を評価することができる。従って、ある特定の画像領域の精度が低い、例えば顕著なオクルージョン等が存在する場合、どのような解析においても低い重みが与えられ、後続の解析に悪影響を及ぼす可能性は低いため、これが結果的に得られる物体の位置に過度に影響を及ぼす可能性が減る。

上述のように、この方式はオクルージョンに用いることができるが、他の広範な要因にも用いることができる。例えば、スコアは、画像領域の分類、又は画像ストリーム内の画像間での画像領域の外観上の変化の程度に基づいていてよいため、物体を含む可能性が低い静止画像領域のスコアは低いのに対し、非静止領域はより高いスコアを有している場合がある。

同様に、この方式は、画像領域の長寿命な分類又は画像領域の分類の過去の変化を考慮することができる。従って、画像領域の分類が頻繁に変化する場合、領域が正しく分類されていないことを示唆することがあり、従って低い信頼度スコアが与えられ得るのに対し、定常的な分類は、正確な分類である旨の信頼度が高い、従ってより高いスコアが示唆される。

同様に、スコアは、視覚的効果の存在又は可能性に基づいて割り当てることができ、物体を識別する際に視覚的効果を考慮することができる。別の例において、注目する容積に関するカメラジオメトリを用いてよいため、容積から離れて、又は斜めに配置されたカメラにより取得された画像はより低い重み付けが与えられる。

要因は、画像取得時刻も考慮することができるため、非同期的なデータ収集の利用可能にする際に役立ち得る。この例において、重複画像の１つが他の画像とは大幅に異なる時刻で取得された場合、物体が画像間で動いた可能性がある前提で物体識別の観点からより低い重み付けが与えられる場合がある。

同様に、解像度、焦点、露光等、画質に関する他の要因も考慮することができる。

従って、各撮像装置により取得された画像に対するスコアの計算を用いて各画像に重み付けすることができるため、物体検出処理全体で画像に依存する程度は、画質、オクルージョン、視覚的効果、物体の撮像の巧拙等の要因を考慮することができ、これにより物体の検出をより正確に実行できるようになることが認識されよう。

物体を検出する仕方に依らず、物体の位置の判定は典型的に環境内における撮像装置の位置合わせに関する知識を必要とするため、処理装置は画像装置の既知の位置に応じて画像を解釈するように構成されている。これを実現するように、一例において、画像の解釈に用いる較正データに位置情報が取り入れられている。特定の一例において、較正データは、各撮像装置の撮像特性を表す内因的較正データ、及び環境Ｅ内における撮像装置の相対位置を表す外因的較正データを含んでいる。これにより処理装置は、取得された画像に何らかの撮像歪みがあれば画像を修正して対処し、環境Ｅに相対的な撮像装置の位置を占めることができる。

較正データは典型的に較正処理の実行中に生成される。例えば、撮像装置を用いて異なる位置から取得された規定パターンの画像に基づいて内因的較正データを生成することができる。規定パターンは、任意の適当な形式であってよく、ドット等のパターン、フィデューシャルマーカー等を含んでいてよい。画像を解析して画像内で規定パターンの歪みがあれば識別し、次いでこれを用いて撮像装置の画像取得特性を表す較正データを生成することができる。このような画像取得特性は、被写界深度、レンズアパーチャ、レンズの歪み等を含んでいてよい。

対照的に、環境内の目標の取得画像を受信し、取得された画像を解析して同一目標を表す異なる撮像装置により取得された画像を識別し、識別された画像を解析して撮像装置の相対位置と向きを表す較正データを生成することにより外因的較正データを生成することができる。この処理はまた、環境内の複数の目標の位置合わせを行い、次いで、どの撮像装置を用いてどの目標が取得されたかを識別することにより実行できる。これはユーザー入力に基づいて手動で実行、又は一意な目標を用いて自動的に実行できるため異なる目標及び異なる位置を容易に識別することができる。このことからエイプリルタグ等のフィデューシャルマーカーをこの目的に利用できることが認識されよう。

状況認識ルールの性質は好適な実装、且つ環境及び環境内の物体の性質に応じて変動する。一例において、状況認識ルールは、許可された物体の移動経路、許可された物体の移動、異なる物体同士の許可された接近限度、物体の許可されたゾーン、又は物体の禁止されたゾーンのうち１つ以上を示している。この例において、状況認識事象が生じたと判定できるのは、物体の移動が許可された物体の移動経路から逸脱した場合、物体の移動が許可された物体の移動から逸脱した場合、２つの物体が物体の所定の近接限度内にある場合、２つの物体が物体に許可された近接限度に接近している場合、２つの物体の予想される移動経路が交差する場合、物体が物体に許可されたゾーンの外側にある場合、物体が物体に許可されたゾーンから退出している場合、物体が物体に禁止されたゾーンの内側にある場合、物体が物体の禁止されたゾーンに進入している場合等である。しかしながら、広範な異なる状況認識事象を識別するように広範な異なる状況認識ルールを規定することができ、上述の例が説明目的に過ぎないことが認識されよう。

このようなルールは、各種の技術を用いて生成できるが、環境内での物体の動作及び交錯の理解により典型的には手動で生成される。別の例において、ルールエンジンを用いて作業を少なくとも部分的に自動化することができる。ルールエンジンは典型的に、ルール文書を受信し、自然言語処理を用いて構文解析を行うことにより論理表現及び物体の種類を識別するように動作する。次いで各物体の種類毎に物体識別子を、物体の種類に基づいて取得するか又は必要に応じて生成することにより決定する。次いで論理表現を用いて、論理表現をタグにアップロードする前にトリガー事象及び処置に変換することにより物体ルールを生成する。例えば、論理表現は往々にして「・・・ならば・・・」宣言文としてルールテキスト内で指定され、これをトリガー及び処置に変換することができる。これはテンプレートを用いて行うことができ、例えば「・・・ならば・・・」宣言文からのテキストを用いてテンプレートに書き込むことにより標準的な仕方でルールを生成し、これらを矛盾なく解釈することができる。

ルールが生成されたならば、ルール違反に応答してなされた処置も規定することができ、この情報はルールデータとしてルールデータベースに保存されている。

上の記述から、異なる物体及び／又は物体の種類に対して異なるルールが典型的に規定されることが認識されよう。従って、例えば個人に対して１組のルールを規定するのに対し、ＡＧＶに対して別のルールを規定することができる。同様に、異なる仕方で動作する異なるＡＧＶに対して異なるルールを規定することができる。また、いくつかの例においてルールが物体同士の交錯に関係し、その場合ルールは複数の物体の物体属性に依存することが認識されよう。

従って、一例において、ルールを構築する場合、物体の種類を表すことできる、及び／又は特定の物体を一意に表すことができる１つ以上の物体属性がルールに関連付けられことにより、異なる種類の物体又は異なる個々の物体に対して物体状況認識ルールを規定することができる。これにより処理装置は次いで環境内の物体の物体属性に基づいて関連ルールを取得することができる。従って、一例において、１つ以上の処理装置は、少なくとも１つの物体に対して物体属性を判定し、次いで物体属性を少なくとも部分的に用いて物体の移動を状況認識ルールと比較するように構成されている。従って、処理装置は、物体属性に応じて１つ以上の状況認識ルールを選択し、次いで物体の移動を選択された状況認識ルールと比較することができる。

物体属性は、例えば好適な実装及び／又は物体の性質に応じて多くの異なる技術を用いて判定することができる。例えば、物体がコード化された識別子のいかなる形状も含まない場合、これは画像認識技術を用いて実行できる。例えば人を識別する場合、人はほぼ似たような外観を有し、一般にＡＧＶの外観は全く異なるため、１つ以上の画像に対して実行された画像認識技術を用いて人を識別することができる。これは必ずしも異なる個人の区別を必要としないが、ある場合には実行されてよいことに注意されたい。

追加的及び／又は代替的に、属性、特に物体の種類は移動の解析を通じて識別することができる。例えば、ＡＧＶの移動は典型的に所定のパターンに追随する傾向があり、及び／又は典型的に一定の速度及び／又は方向の変化等の特徴を有している。これとは対照的に、個人の移動はより無計画な傾向にあり、方向及び／又は速度が変化するため、移動パターンの解析に基づいてＡＧＶと人を区別することができる。

別の例において、物体は物体属性を表す機械可読コードデータに関連付けることができる。この例において、処理装置は機械可読符号化データを用いて物体属性を判定するように構成されていてよい。機械可読符号化データは、好適な実装に応じて多くの方法のうち任意のものを用いてコード化することができる。一例において、これはバーコード、ＱＲコード（登録商標）又はより典型的にはエイプリルタグ等の視覚的符号化データを用いて実現することができ、画像解析によりデータを検出し画像の可視機械可読符号化データを識別して処理装置による復号化が可能になる。しかし別の例では、物体には短距離無線通信プロトコルタグ、ＲＦＩＤ（無線周波数識別）タグ、Ｂｌｕｅｔｏｏｔｈタグ等のタグが関連付けられていてよく、その場合機械可読符号化データを適当なタグ読取器から取得することができる。

複数の識別方式を連携して使用できることも認識されよう。例えば物体は、適当な読取器を通過する際の機械可読符号化データの検出により一意に識別することができる。この例において、物体が識別されたならば、この属性は物体が環境内を移動するにつれて物体の情報を追跡し続けることにより維持することができる。これは物体を識別するために再び読取器を通す必要がないことを意味し、このことは例えば個人が入室するためにアクセスカードを用いる場合に生じるように、領域への進入等、物体が制限された場合でのみ識別される状況で特に有用である。

一例において、１つ以上の処理装置は、物体の移動を用いて予想される物体の移動を判定するように構成されている。これは、例えば直線的に移動する物体が少なくとも短時間直線的に移動し続けると仮定して、例えば過去の移動パターンを時間的に先送りして外挿することにより実行できる。機械学習技術を用いた特定の物体又は類似種類の物体の移動パターンの解析等、各種の技術を利用し、これを規定された予定移動経路等、将来の物体の移動を予想するように他の利用可能な情報と組み合わせてこのような予想を実行できることが認識されよう。次いで、潜在的状況認識事象を予め識別するように、予想された物体の移動を状況認識ルールと比較することができる。これは用いて例えば将来のある時点でＡＧＶと人が交錯するか否かを識別することができるため、何らかの交錯が生じる前に警報又は警告を生成することができる。

一例において、１つ以上の処理装置は、環境、環境内の撮像装置の位置、警報を出しているビーコン等のクライアント装置の位置、物体の現在位置、物体の移動、物体の予想位置、物体の予想される移動等を表す環境モデルを生成するように構成されている。環境モデルを用いて近過去の移動の記録を維持することができ、これを用いて一時的に静止している物体の追跡を支援するとともに、状況認識事象をより正確に識別することができる。

環境モデルはメモリに保管され、必要に応じて処理装置及び／又はリモートなコンピュータシステム等の他の処理装置からアクセスすることができる。別の例において、処理装置は、現時点又は過去の時点における環境モデルのグラフ表現を生成するように構成されていてよい。これを用いてオペレータ又はユーザーが現在又は過去の環境状況を見ることができるため、事象の生起等につながる状況の組の確認等、状況認識事象に関連付けられた問題を確認することができる。これはヒートマップの表示、環境内の物体の移動の提示を含み、次いでこれを用いてボトルネック、又は状況認識事象を引き起こし得る他の問題を強調することができる。

上述のように、状況認識事象の識別に応答して処置を行うことができる。これは状況認識事象の徴候の記録、状況認識事象を示す通知の生成、出力装置に状況認識事象を示す出力を生成させること、音声及び／又は視覚出力の生成、警報の起動、又は物体を制御させる動作の実行を含むが、これらに限定されない。従って、統括する管理者又はオペレータに通知を出すことができ、差し迫った衝突の可能性等の潜在的状況認識事象を人に知らせるべく警報を環境内で生成することができる、又はこれを用いてＡＧＶ等の自律又は半自律車両を制御することができ、車両制御システムが車両を停止させる、及び／又は他の何らかの仕方で車両の動作を変えることができ、これにより事故又は他の事象が避けることができる。

撮像装置は、任意の１つ以上のセキュリティ撮像装置、モノスコープ型撮像装置、非コンピュータ視覚に基づく撮像装置又は内因的較正情報を有していない撮像装置から選択することができる。更に、方式は、較正データの使用を通じて異なる撮像装置を扱い、撮像装置の構成に依存せず、単一システム内で異なる種類及び／又はモデルの撮像装置を用いることができるため、状況認識監視システムの実装に使用できる設備の柔軟性が高まる。

上述のように、一例において、処理は分散アーキテクチャの一部として動作する１つ以上の処理システム及びクライアント装置により実行され、その一例について図３を参照しながら以下に記述する。

この例において、多数の処理システム３１０がインターネット及び／又は１つ以上のローカルエリアネットワーク（ＬＡＮ）等の通信ネットワーク３４０を介して多数のクライアント装置３３０及び撮像装置３２０に結合されている。ネットワーク３４０の構成は例示目的に過ぎず、実際には処理システム３１０、撮像装置３２０及びクライアント装置３３０が、例えばモバイルネットワーク、８０２．１１ネットワーク等のプライベートネットワーク、インターネット、ＬＡＮ、ＷＡＮ等を含むがこれらに限定されない有線又は無線接続を介して、並びにＢｌｕｅｔｏｏｔｈ等の直接又はポイントツーポイント接続を介して任意の適当な機構を介して通信可能であることが認識されよう。

一例において、処理システム３１０は、撮像装置からの画像ストリームを受信し、画像ストリームを解析して状況認識事象を識別するように構成されている。処理システム３１０はまた、クライアント装置又は他のハードウェアを介して任意に表示される通知及び／又は警報の生成等の処置を実行し、ＡＧＶ等の動作を制御し、又は環境モデルへのアクセスを構築及び提供するように構成されていてよい。処理システム３１０を単一の実体として示しているが、例えばクラウドベースの環境の一部として提供される処理システム３１０及び／又はデータベースを用いて、処理システム３１０が多数の地理的に分かれた位置にわたり分散していてもよいことが認識されよう。しかし、上述の構成は必須ではなく、他の適当な構成を用いてもよい。

適当な処理システム３１０の一例について図４に示す。

この例において、処理システム３１０は少なくとも１つのマイクロプロセッサ４１１、メモリ４１２、キーボード及び／又はディスプレイ等の任意の入出力装置４１３、及び図示するようにバス４１５を介して相互接続された外部インターフェース４１４を含んでいる。この例において、外部インターフェース４１４を用いて処理システム３１０を通信ネットワーク３４０、データベース、他の記憶装置等の周辺装置に接続することができる。単一の外部インターフェース４１４を示しているが、これは例示目的に過ぎず、実際には各種の方法（例：イーサネット、シリアル、ＵＳＢ、無線等）を用いて複数のインターフェースは提供することができる。

使用中、マイクロプロセッサ４１１は、必要な処理を実行できるようにメモリ４１２に保存されたアプリケーションソフトウェアの形式で命令を実行する。アプリケーションソフトウェアは１つ以上のソフトウエアモジュールを含んでいてよく、オペレーティングシステム環境等の適当な実行環境で実行されてよい。

従って、処理システム３１０が任意の適当な処理システム、例えば適当にプログラムされたクライアント装置、ＰＣ、ウェブサーバ、ネットワークサーバ等から形成されていてよいことが認識されよう。特定の一例において、処理システム３１０は、インテルアーキクチャに基づく処理システム等の標準処理システムであって、不揮発性（例：ハードディスク）記憶装置に保存されたソフトウェアアプリケーションを実行するが、これは必須でない。しかし、処理システムが任意の電子処理装置、例えばマイクロプロセッサ、マイクロチッププロセッサ、論理ゲート構成、ＦＰＧＡ（フィールドプログラム可能ゲートアレイ）等の実装論理に任意に関連付けられたファームウェア、又は他の任意の電子機器、システム又は構成であってよいことも理解されよう。

適当なクライアント装置３３０の一例について図５に示す。

一例において、クライアント装置３３０は少なくとも１つのマイクロプロセッサ５３１、メモリ５３２、キーボード及び／又はディスプレイ等の入出力装置５３３、図示するようにバス５３５を介して相互接続された外部インターフェース５３４を含んでいる。この例において、外部インターフェース５３４を用いてクライアント装置３３０を通信ネットワーク３４０、データベース、他の記憶装置等の周辺装置に接続することができる。単一の外部インターフェース５３４が示しているが、これは例示目的に過ぎず、実際には各種の方法（例：イーサネット、シリアル、ＵＳＢ、無線等）を用いて複数のインターフェースは提供することができる。

使用中、マイクロプロセッサ５３１は、メモリ５３２に保存されたアプリケーションソフトウェアの形式で命令を実行して処理システム３１０との通信を可能にする、例えば通知等の受信を可能にする及び／又は環境モデルへのアクセスを提供する。

従って、クライアント装置３３０が任意の適当な処理システム、例えば適当にプログラムされたＰＣ、インターネット端末、ラップトップ、又はハンドヘルドＰＣから形成され、好適な一例においてタブレット又はスマートフォンのいずれか等であってよいことが認識されよう。従って、一例において、クライアント装置３３０は、インテルアーキクチャに基づく処理システム等の標準処理システムであって、不揮発性（例：ハードディスク）記憶装置に保存されたソフトウェアアプリケーションを実行するが、これは必須でない。しかし、クライアント装置３３０が任意の電子処理装置、例えばマイクロプロセッサ、マイクロチッププロセッサ、論理ゲート構成、ＦＰＧＡ（フィールドプログラム可能ゲートアレイ）等の実装論理に任意に関連付けられたファームウェア、又は他の任意の電子機器、システム又は構成であってよいことも理解されよう。

状況認識監視を実行する処理の一例について以下により詳細に説明する。これらの例の目的のために、１つ以上の処理システム３１０が画像装置３２０からの画像ストリームを監視し、画像ストリームを解析して状況認識事象を識別し、次いで必要に応じて求められる処置を実行する役割を果たすものと仮定する。クライアント装置３３０を介して提供されるユーザー入力に基づいて、ユーザーとの対話を実行でき、結果として生じるモデル視覚化の通知がクライアント装置３３０により表示されている。一例において、異なるオペレーティングシステムを使用して異なる処理能力を有するクライアント装置３３０を用いてプラットフォームに容易にアクセス可能にして、プラットフォームを意識させることなくモデル視覚化を行うには、ウェブページを介してクライアント装置３３０から入力データ及びコマンドを受信し、結果として、クライアント装置３３０により実行されるブラウザアプリケーション、又は他の類似アプリケーションにより、視覚化を局所的に実現する。

処理システム３１０は従って典型的に、利用できる特定のネットワークインフラに応じて通信ネットワーク３４０等を介してクライアント装置３３０と通信するサーバ（以下サーバと称する）である。

上記を実現するように、サーバ３１０は典型的に、画像を解析するアプリケーションソフトウェアを実行するとともに、データの保存及び処理を含む他の必要なタスクを実行し、アプリケーションソフトとしてメモリ４１２に保存された命令及び／又は入出力装置４１３を介してユーザーから受信した入力コマンド、又はクライアント装置３３０から受信したコマンドに応じてプロセッサ４１１により処置が実行されている処理システム３１０により実行される。またユーザーは、サーバ３１０に直接又はクライアント装置３３０に提示されたＧＵＩ（グラフィカルユーザーインターフェース）等を介して、特定の一例ではサーバ３１０をホストとするウェブページを表示するブラウザアプリケーション、又はサーバ３１０が提供するデータを表示するＡｐｐを介してサーバ３１０と対話するものと仮定する。クライアント装置３３０が実行する処置は、アプリケーションソフトウェアとしてメモリ５３２に保存された命令及び／又は入出力装置５３３を介してユーザーから受信した入力コマンドに応じてプロセッサ５３１により実行される。

しかし、以下の例のために仮定された上述の構成は必須ではなく、他の複数の構成を用いてもよいことが認識されよう。また、特定の実施に応じて、クライアント装置３３０とサーバ３１０の間での機能分担は変化し得ることも認識されよう。

状況認識を監視する処理の一例について図６を参照しながら以下に記述する。

この例において、サーバ３１０はステップ６００で撮像装置３２０から複数の画像ストリームを取得する。サーバ３１０は典型的にステップ６１０で各画像ストリームを解析して画像ストリーム内の移動を識別することにより画像ストリーム内の物体を識別するように動作する。物体を識別したならば、サーバ３１０はステップ６２０で異なる撮像装置の相対位置に関する情報を用いて同期重複画像を識別するように動作する。

サーバ３１０はステップ６３０で視体積交差解析を用いて環境内の物体の位置を特定し、ステップ６４０でこの情報を用いて環境モデルを更新する。この点に関して、環境モデルは、環境内を物体の現在及び任意に過去の位置に関する情報を含む環境のモデルである。次いでこれを用いてステップ６５０で物体の移動及び／又は位置を追跡することができる。

物体の移動及び／又は静止物体の位置が分かったならば、ステップ６６０で移動又は位置を状況認識ルールと比較することにより、ルール違反等の状況認識事象を識別することができる。この情報は、ステップ６７０であらゆる必要な処置、例えば警報の生成又は通知、ＡＧＶの制御等を実行するために用いられる。

上述のように、上の方式は典型的に較正処理に依存しており、これは内因的には撮像装置の特性を判定するように、且つ外因的には環境内を撮像装置の位置を考慮するように撮像装置３２０を較正するステップを含んでいる。このような較正処理の一例について図７を参照しながら以下に記述する。

この例において、ステップ７００で複数の撮像装置を用いて複数のパターンの画像を取得する。パターンは典型的に、所定の既知の形式であって、ドットのパターン、エイプリルタグ等の機械可読符号化データを含んでいてよい。パターンの画像は典型的に異なる角度の範囲から取得される。

ステップ７１０において、取得画像を既知のパターンの意図された外観を表す基準画像と比較することにより画像を解析し、比較の結果を用いて特定の撮像装置の特徴に起因する歪みその他の視覚的効果の有無を判定することができる。判定結果を用いてステップ７２０で撮像装置に内因的較正データを導き、次いで較正データの一部として保存することにより、較正データを用いて各撮像装置が取得した画像を修正して修正済み画像を生成することができる。

ステップ７００～７２０は、使用する個々の撮像装置に繰り返され、その場で、又は設置前に実行できることが認識されよう。

ステップ７３０において、上記が実行済みでないことを仮定して、カメラ及び１つ以上の目標を環境に配置する。目標は、任意の適当な形式であってよく、ドット、エイプリルタグ等フィデューシャルマーキングを含んでいてよい。

ステップ７４０において、撮像装置３２０が複数の目標の画像を取得し、画像はステップ７５０で解析用にサーバ３１０に提供される。解析は異なる撮像装置３２０により異なる角度から取得された目標を識別するように実行され、これにより撮像装置３２０の相対位置を判定することができる。この処理は、例えば異なる画像内の共通の目標をユーザーに強調させることにより手動で実行できるため、画像を取得した撮像装置の位置を三角形分割を用いて計算することができる。代替的に、これは撮像技術を少なくとも部分的に用いて、例えば環境全体にわたり配置された異なる目標を認識し、次いで再び三角形分割を用いてカメラ位置を導くことにより実行できる。この処理はまた、例えば環境モデル内でこれらを指定することにより、カメラの凡その位置をユーザーに識別させることにより支援することができる。

ステップ７６０において、撮像装置の相対位置を表す外因的較正データを較正データの一部として保存する。

状況監視を実行する処理の一例について図８Ａ～８Ｃを参照しながら以下により詳細に説明する。

この例において、撮像装置３１０はステップ８００で複数の画像ストリームを取得し、ステップ８０２でサーバ３１０にアップロードする。ステップ８００及び８０２は、画像ストリームがサーバ３１０にほぼ実時間で提示されるようほぼ連続的に繰り返される。

ステップ８０４で画像ストリームをサーバ３１０が受信し、ステップ８０６でサーバは典型的には各撮像装置３２０により付与されて各画像に関連付けられたタイムスタンプに基づいて画像ストリームの各画像の画像取得時刻を識別するように動作する。この時刻は、次いでステップ８０８において任意に、予想される送信遅延を考慮に入れ、例えばタイムスタンプされた取得時刻とサーバ３１０による画像の受信時刻とをサーバ３１０に比較させてこれらの時刻が所定の許容誤差内にあることを保証することにより、妥当性が確認される。時刻の妥当性が確認されなかった場合、問題を調査するようにエラーを発生させることができる。

一方、ステップ８１０において、サーバ３１０は一連の画像を解析し、ステップ８１２で画像から静止領域を除外するように動作する。これを用いて、環境内で移動している物体に対応するとみなされる各画像内で移動している要素を識別する。

ステップ８１４において、同期重複画像は、ほぼ同時に取得されて異なる視点から取得された物体を含む異なる画像ストリームからの画像を識別することにより識別される。重複画像の識別は、外因的較正データを用いて実行できるため、視野が重なり合うカメラを識別することができ、且つ物体を含む画像を解析して異なる画像内の同一物体を識別することを含んでいてよい。これは、画像内のエイプリルタグ等、機械可読符号化データの存在を調べること、又は認識技術を用いて物体の色、サイズ、形状等、物体の特徴を識別することができる。

ステップ８１６において、画像を解析してステップ８１８で物体の位置を識別する。これは、符号化フィデューシャルマーキングを用いて、又はこのようなマーキングが利用できない場合は視体積交差解析を実行することにより実行できる。解析を実行するには外因的及び内因的較正データを考慮に入れて、画像歪み等があれば撮像装置の特性に関して画像を修正し、次いで視体積交差解析を実行する場合に物体の位置及び／又は粗い形状を解釈するために、更に各撮像装置の相対位置に関する知識を利用する必要があることが認識されよう。

物体の位置を判定したならば、ステップ８２０において、サーバ３１０は物体属性を判定するように動作する。この点に関して、物体を識別する仕方は物体の性質及び何らかの識別データに応じて異なり、識別処理の一例について図９を参照しながら以下により詳細に説明する。

この例において、サーバ３１０はステップ９００で撮像技術を用いて物体の１つ以上の画像を解析し、ステップ９０５で画像がエイプリルタグ等の視覚的符号化データを含むか否かを識別する。サーバがエイプリルタグその他の視覚的符号化データを識別した場合、ステップ９１０で解析して物体に関連付けられた識別子を判定する。識別子と物体間の関連付けは典型的に、例えばエイプリルタグが物体に取り付けられたセットアップ処理の実行中に、最初に符号化データが物体に割り当てられた際にデータベースの物体データとして保存される。従って、機械可読符号化データから識別子を復号化することにより、保存された物体データから物体の属性を取得できるため、ステップ９１５で物体を識別することができる。

視覚的符号化データが存在しない場合、サーバ３１０はステップ９２０で、物体がＢｌｕｅｔｏｏｔｈ又はＲＦＩＤタグ読取器等の読取器と一致しているか否かを判定する。その場合、ステップ９２５でタグ読取器に問い合わせて、物体に関連付けられたタグからタグ付きデータが検出されているか否かを識別する。その場合、ステップ９１０でタグデータを解析して識別子を判定し、上述と同様の仕方で保存された物体データを用いて、ステップ９１５で識別子を用いて物体を識別することができる。

タグデータが検出されなかった、又は物体が読取器と一致していない場合、ステップ９３５で画像認識技術を用いて視覚的解析を実行して、ステップ９４０で物体の識別を試みることができる。これが充分なのは人物等の種類の物体を識別する場合に限られ、同種物体間の区別ができない恐れがあることが認識されよう。また、いくつかの状況では物体の識別ができず、その場合物体に未知の属性が割り当てられてしまう恐れがある。

ステップ８２２において、サーバ３１０は既存の環境モデルにアクセスし、検出された物体が新規物体であるか否かをステップ８２４で判定する。例えば、新規の識別子が検出されたならば新規物体を表す。代替的に、識別子がない物体に対して、サーバ３１０は物体がモデル内の既存物体に近接している、すなわち物体が既に移動した既存物体であるか否かを判定することができる。この点に関して、画像間の移動に基づいて物体が識別されるため、上述のような検出を実行した仕方に応じて、長期間にわたり静止したままの物体が画像内で検出されない恐れがあることに注意されたい。しかし、静止物体は既知の最新位置に基づいて環境モデル内に存在し続けるため、物体が移動を再開し、且つ画像内に位置している場合、物体を環境モデル内の静止物体と、複数物体の一致する位置に基づいてマッチングすることができるが、このマッチングは物体を検出する仕方によっては必須ではないことがあり得ると認識されよう。

物体が新規物体であると判定された場合、ステップ８２６で物体を環境モデルに追加する。物体が新規物体ではない、例えば物体が移動した既存物体を表す場合、ステップ８２８で物体の位置及び／又は移動を更新することができる。

いずれの場合も、ステップ８３０において、物体の移動があれば将来の物体の移動を予想するように外挿することができる。従って、これは過去の移動パターンにおける傾向を調べ、傾向を用いて短期間に生じ得る将来の移動を予想することにより、サーバ３１０は物体がどこに存在するかを直前に予想することができる。上述のように、これは物体又は類似種類の物体の以前の移動、及び他の情報、例えば規定された予定移動経路を考慮しながら、機械学習技術等を用いて実行できる。

ステップ８３２において、サーバ３１０は各々の物体属性を用いて環境モデル内の各物体に関連付けられたルールを取得する。ルールは典型的に、各物体に生じ得る各種の状況認識事象を特定し、且つ許可及び／又は禁止された移動の詳細を含んでいてよい。これらは絶対的であってよく、例えばＡＧＶの移動を予めプログラムされた移動経路と比較して物体が移動経路から過度に離れて移動しているか否かを識別する、又は個人の移動を比較して許可されたゾーン内にいるか、又は禁止されたゾーンの外側にいるかを識別する。状況認識ルールはまた、例えば２つの物体が互いから特定の距離以内にいるか、又は交差する予想される移動経路にいるか等の相対的な基準を規定することができる。

上述のように、ルールは典型的に、特定の環境及び環境内の物体の要件の理解に基づいて規定されている。ルールは典型的に、特定の物体、物体の種類又は複数の物体に対して規定されているため、異なるルールを用いて異なる物体について状況認識を評価することができる。状況認識ルールは典型的に、関連付けられた物体属性とともに、特定の物体識別子又は指定された物体種類のいずれかの形式で、ルールデータとして保存されるため、環境内で検出された各物体について各ルールを取得することができる。

ステップ８３４において、物体の位置、移動又は各物体に関連付けられた予想される移動にルールを適用し、ルールに違反があったために事象が生起しているか否かをステップ８３６で判定する。

ステップ８３６でルール違反があったと評価された場合、サーバ３１０は、ルールデータから処置を取得することにより、ステップ８３８で何らかの処置が必要であると判定して、ステップ８４０で処置を開始することができる。この点に関して、関連する処置が典型的にルールの一部として指定されるため、異なる物体及び異なる状況認識事象に関連付けられて異なる処置を規定することができる。これにより特定の事象に適した各種の処置を規定することができ、事象の記録、警報又は通知の生成、又は自律又は半自律車両の制御が含まれるが、これらに限定されない。

一例において、携帯電話等のクライアント装置３３０を用いて警報を表示することにより、環境内の関係者に警報をブロードキャストすることができる。これは任意の利用可能なクライアント装置３３０へプッシュされたブロードキャスト通知が含んでいても、又は特定のユーザーに関連付けられた特定のクライアント装置３３０を通知宛先とすることを含んでいてもよい。例えば、車両が関わる事象が生じた場合、車両の操作者及び／又は管理者に通知を提供することができる。更なる例において、クライアント装置３３０はディスプレイ又は音声及び／又は視覚警報を発するように構成されたビーコン等、他の出力装置を含んでいてよく、環境内の特定の規定位置に配置されていても、又はＡＧＶ等の物体に関連付けられていてもよい。この場合、ＡＧＶ又はその他の物体との衝突が差し迫っていれば、物体上のビーコンを起動して予想される衝突を個人に警告することにより、衝突を回避することができる。

更なる例において、クライアント装置３３０は自律又は半自律車両等の物体の制御システムの一部を形成、又は結合されているため、サーバ３１０はクライアント装置３３０に対し、例えば状況認識事象が緩和されるまで物体の移動を停止させる等、物体を制御するように命令できる。

上記からクライアント装置３３０が各物体に関連付けられていても、又は環境内に配置されていてもよく、これがセットアップ処理の一部として規定されることが認識されよう。例えば、物体に関連付けられたクライアント装置３３０を物体データで識別することができるため、各物体に関連付けられた処置が実行された場合に物体データを用いて、関連付けられたクライアント装置の詳細事項を取得することにより、各クライアント装置に通知をプッシュすることができる。同様に、静止クライアント装置の詳細事項を環境モデルの一部として保存でき、詳細事項は必要に応じて同様に取得されている。

いずれの場合も、処置が開始されたか否かに依らず、処理はステップ８０４に戻って監視を継続することができる。

状況認識監視を実行し、上述のように処置を実行することに加えて、サーバ３１０は環境モデルを維持してグラフ表現を通じて見られるようにもする。これは例えばクライアント装置３３０を介して実現でき、管理者又はその他の個人は環境内の処置の概要を把握して、潜在的に生じ得る状況認識事象の監視を続けることもできる。環境モデルのグラフ表現の一例について図１０を参照しながら以下により詳細に説明する。

この例において、グラフ表現１０００は環境Ｅ、例えば建物等の内部計画を含んでいる。建物のグラフ表現は建築計画に基づいて、及び／又は環境の走査又は撮像により導けることが認識されよう。モデルは、撮像装置３２０の位置を表すアイコン１０２０、物体の位置を表すアイコン１００１、１００２、１００３及び１００４、並びに音声及び／又は視覚的警報の生成に用いるビーコン等のクライアント装置３３０の位置を表すアイコン１０３０を含んでいる。

撮像装置３２０の位置合わせは上述の較正処理の一部として実行でき、ユーザーに手操作でアイコンを凡その位置に配置させ、較正が行われるに従い配置の精度を高めることを含んでいてよい。同様に、クライアント装置の位置合わせも静止クライアント装置３２０の場合は手動で、及び／又はクライアント装置３２０に物体を関連付けることにより実行できるため、環境内で物体が検出されたならばクライアント装置位置がモデルに追加される。

この例において、上述の表現は物体に関連付けられた追加的な詳細事項も表示する。この場合、物体１００１は矩形をなしており、物体の種類、例えばＡＧＶの表記に用いることができ、アイコンは実際の物理的ＡＧＶの占有面積と同等のサイズを有している。物体１００１は、図示するように、検出された物体の属性に対応する関連識別子ＩＤ１００１を有している。この場合、物体には、ＡＧＶが辿ると予想される経路である予めプログラムされた移動経路１００１．１が関連付けられているのに対し、クライアント装置アイコン１０３０．１を物体１００１に関連付けられた状態で示し、クライアント装置がＡＧＶに設けられていることを表している。

この例において、物体１００２は人物であり、従って物体１００１とは異なる形状、例えば円で表記されており、同じく人物と同等の占有面積を有している。物体にはこれが人物であることを示す物体識別子ＩＤＰｅｒ２が関連付けられていて、数字を用いて異なる人物を区別している。物体１００２は環境内の物体１００２の過去の移動を表す移動経路１００２．２を有している。

物体１００３は再び人物であり、物体１００２と区別するように物体識別子ＩＤＰｅｒ３を含んでいる。この場合、物体は静止しているため、点線で示されている。

物体１００４は第２のＡＧＶであり、この場合、ＩＤ？？？で表された未知の識別子を有している。ＡＧＶ１００４は、過去の移動経路１００４．２及び予想される移動経路１００４．３を有している。この場合、予想される移動経路がＡＧＶ１００１の所定経路１００１．１と交差し、領域１００４．４に交差が生じ得ることが予想され、潜在的問題として強調表示されている。

最後に、いかなる物体も進入が許されない禁止領域１００５は規定されていて、アイコン１０３０．５で表記するように関連クライアント装置３３０が設けられており、禁止領域に物体が接近したならば警報を発することができる。

上述のように、画像領域は、画像領域が環境の静止部分であるか、又は移動を含む環境の一部であるかを判定するように分類され、次いで分類を用いて物体を識別する。画像領域を分類する処理の一例について図１１を参照しながらより詳細に説明する。

ステップ１１００において、画像領域を識別する。画像領域は、例えば分割グリッド等に基づいて、又は先行画像内での移動の検出に基づいて各画像を分割することにより、任意に規定することができる。画像領域が識別されたならば、サーバはステップ１１１０で任意に画像領域の履歴を評価し、これは画像領域が最近非静止と評価されたか否かを識別するように実行されてよく、最近移動を停止した物体の識別にも役立つ。

ステップ１１２０において、視覚的効果を識別することができる。視覚的効果は、視覚的効果の性質及び好適な実装に応じて任意の適当な仕方で識別することができる。例えば、これは照明センサから信号を解析して背景又は周囲照明の変化を識別するステップを含んでいてよい。代替的に、これは環境内の視覚的効果位置に関する情報であって例えば環境内における画面又はディスプレイの位置を指定することにより較正処理の実行中に規定できる情報を取得するステップを含んでいてよい。これはまた、視覚的効果の識別、例えば特定の照明光源等の視覚的効果に対応することが分かっているスペクトル応答を含む画像の部分を識別するように画像を解析するステップを含んでいてよい。この処理は、視覚的効果の要因を把握してこれらが移動する物体であると不正確に識別されないことを保証するように実行される。

ステップ１１３０において、分類閾値を設定して、画像領域が静止又は非静止かの判定に用いる。分類閾値は既定値であってよく、画像領域履歴及び／又は識別された視覚的効果に基づいて必要に応じて修正される。例えば、個々の領域履歴が、画像領域が非静止であると以前に又は最近分類された旨を示す場合、物体が最近移動を停止していれば分類閾値を既定レベルから上げて画像領域が静止していると分類される可能性を下げることができる。これは実際、各画像領域の変化の評価を学習する時間を増やし、一時的に静止している物体の追跡に有用である。同様に、領域内に視覚的効果が存在する場合、脅威分類閾値を修正して画像領域を誤分類する可能性を減らすことができる。

分類閾値が判定されたならば、ステップ１１４０で画像領域の変化を解析する。これは典型的に、画像ストリームの複数の画像に跨る同一画像領域を比較することにより実行される。複数の画像は一連の画像であってよいが、これは必須でなく、時間的に間隔を空けた任意の画像を評価してよい。これに続いて、ステップ１１５０で画像領域の変化を閾値と比較し、ステップ１１６０で比較結果を用いて画像領域を分類する、例えば移動の程度が分類閾値を下回れば領域が静止していると定義する。

上述のように、物体が撮像装置から少なくとも部分的にオクルージョンされているオクルージョンが生じる場合があり、オクルージョンを検出及び緩和する処理の一例について以下に図１２を参照しながら記述する。

この例において、ステップ１２００で複数の重複画像内の対応画像領域を識別する。この点に関して、対応画像領域は、１つ以上のボクセル等のように、環境内の共通な容積を占める複数の重複画像からの画像領域である。ステップ１２１０で例えば視体積交差技術を用いて１つ以上の候補物体を識別する。

ステップ１２２０において、任意の候補物体が３次元モデル、例えば図１０に関して上で述べたものと同様のモデルに追加される。ステップ１２３０において、候補物体は、候補物体の画像を取得した撮像装置の撮像面に逆射影される。これは、候補物体が重なっているためにオクルージョンが生じているか否かを識別するために実行される。

潜在的なオクルージョンが識別されたならば、サーバはステップ１２４０でこの情報を用いて候補物体の妥当性を確認することができる。例えば、オクルージョンされていない候補物体の場合、これらは検出された物体に受け入れられる。逆に、オクルージョンが検出された場合、オクルージョンを考慮しながら視体積交差処理を繰り返すことができる。これは、オクルージョンを含んでいる画像領域を視体積交差処理から除去することにより、又はより典型的には、例えば以下により詳細に述べるように重み付け処理等を用いてオクルージョンの存在を考慮しながら実現することができる。

物体識別のための重み付け処理の一例について、図１３を参照しながら以下に説明する。

この例において、ステップ１３００で対応画像領域を、ステップ１２００を参照しながら記述したものと同様の仕方で識別する。

ステップ１３１０で各画像領域を評価し、評価を用いて物体の検出可能性が正確であることを確認する。この点に関して、物体の検出成功は、画像解像度又は歪み等の画質、カメラ距離及び角度等のカメラジオメトリ、画像領域が以前は静止又は非静止のいずれであったか等の画像領域履歴、オクルージョン又は視覚的効果の有無、重複画像の取得時刻の差異等の収集したデータ間の非対称性の程度等を含む要因の範囲により影響を受けることが認識されよう。

従って、この処理は、各要因に基づいて値を割り当て、ステップ１３２０でこれを用いて画像領域スコアを判定することによりこれらの要因を考慮しようと試みる。例えば、各要因の値は典型的に、要因が物体の検出成功に肯定的又は否定的に影響するか否かを表し、オクルージョンが存在すれば－１の値を用いることができ、オクルージョンが存在しなければ＋１の値を用いることができ、オクルージョンが存在する場合よりも物体の検出が正確である可能性が高いことを表す。

計算されたならば、画像領域スコアを物体の識別に用いることができる。

一例において、ステップ１３３０で画像領域スコアを重み付けとして用いて視体積交差処理を実行する。従って、この場合、画像領域スコアが低い画像領域は物体を正確に撮像した可能性が低く、視体積交差処理で低い重み付けが付与される。従って、物体検出処理に及ぼす影響が少なくなるため、処理は、より高い画像領域ソースを有する画像領域の方へ、より強くバイアスをかけられる。追加的及び／又は代替的に、ステップ１３４０で各々の対応画像領域の画像領域スコアを組み合わせることにより合成物体スコアを計算することができ、結果的に得られた値をステップ１３５０で閾値と比較し、これを用いてステップ１３６０で物体が首尾よく識別されたか否かを判定する。

従って、上述のシステムは環境内の物体の移動を追跡するように動作し、これは低コストセンサを用いて実現することができることが認識されよう。物体の移動及び／又は位置を規定された状況認識ルールと比較してルール違反を識別できるため、事故又はその他のコンプライアンス事象の発生を防止するように、違反の通知及び／又はＡＧＶの制御等の処置を行うことができる。

本明細書及び後述する請求項の全体にわたり、別途文脈から要求されない限り、単語「含む（ｃｏｍｐｒｉｓｅ）」、及び「含む（ｃｏｍｐｒｉｓｅｓ）」又は「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」等の変化形は、宣言された整数又は整数のグループ或いはステップの包含を意味するが、他の一切の整数又は整数のグループの除外を示唆していないと理解されたい。本明細書で用いる用語「ほぼ」は、別途記載しない限り、±２０％を意味する。

当業者には多くの変型例及び修正例が明らかになろう。当業者に明らかになる全てのそのような変型例及び修正例は、上に概略的に記述した本発明の趣旨及び範囲に含まれるものとみなされるべきである。

Claims (15)

1. 環境内の状況認識監視を行うシステムであって、
   ａ）前記環境内の物体の画像を取得するように構成された複数の撮像装置であって、当該複数の撮像装置の少なくともいくつかが少なくとも部分的に重なり合う視野を有するように前記環境内に配置されている複数の撮像装置の各々から複数の取得画像を含む画像ストリームを受信し、
   ｂ）異なる画像ストリーム内の重複画像であって、重なり合う視野を有する撮像装置により取得された画像である重複画像を識別し、
   ｃ）前記重複画像を解析して前記環境内の物体の位置を判定し、
   ｄ）時間経過に伴う前記物体の位置の変化を解析して前記環境内の物体の移動を判定し、
   ｅ）少なくとも１つの物体について物体の種類を表す物体属性を判定し、
   ｆ）ｉ）前記物体属性に応じて１つ以上の状況認識ルールを選択し、
   ｉｉ）前記物体の移動を前記選択された状況認識ルールと比較する
   ことによって、前記物体属性を少なくとも部分的に用いて前記物体の移動を状況認識ルールと比較し、
   ｇ）前記比較の結果を用いて状況認識事象を識別する
   ように構成された１つ以上の処理装置を含む、システム。
2. 前記重複画像が、ほぼ同時に取得された同期重複画像であり、
   前記１つ以上の処理装置が、
   ａ）ｉ）前記撮像装置により生成された取得時刻、
   ｉｉ）各画像に関連付けられた受信時刻であって、前記１つ以上の処理装置が受信した時刻を示す受信時刻、及び
   ｉｉｉ）前記画像の画像コンテンツの比較
   のうちの少なくとも１つを用いて、取得された各画像の取得時刻を判定し、
   ｂ）前記取得時刻を用いて同期画像を識別する、
   ように構成されている、請求項１に記載のシステム。
3. 前記１つ以上の処理装置が、
   ａ）各画像ストリームからの画像を解析して、物体を含む画像である物体画像を識別し、
   ｂ）前記撮像装置の位置合わせに少なくとも部分的に基づいて、同一物体を含む物体画像として重複画像を識別する
   ように構成されている、請求項１または２に記載のシステム。
4. 前記１つ以上の処理装置が、
   ａ）画像ストリームからの多数の画像を解析して静止画像領域を識別し、
   ｂ）非静止画像領域を含む画像として物体画像を識別する
   ように構成されている、請求項１～３のいずれか１項に記載のシステム。
5. 前記１つ以上の処理装置が、
   ａ）画像ストリーム内の画像間での画像領域の外観の変化の程度を判定し、
   ｂ）ｉ）前記変化の程度を分類閾値と比較し、
   ｉｉ）前記比較の結果に基づいて前記画像領域を分類し、
   ｉｉｉ）前記画像領域の分類に基づいて物体を識別することによって、
   前記変化の程度に少なくとも部分的に基づいて物体を識別する
   ように構成されている、請求項１～４のいずれか１項に記載のシステム。
6. 前記１つ以上の処理装置が、
   ａ）視体積交差技術、
   ｂ）前記画像内のフィデューシャルマーキングの検出、及び
   ｃ）複数の三角形分割された画像内のフィデューシャルマーキングの検出、
   のうち少なくとも１つを用いて物体の位置を判定するように構成されている、請求項１～５のいずれか１項に記載のシステム。
7. 前記１つ以上の処理装置が、
   ａ）重複画像内の対応画像であって、前記環境内の容積の画像である対応画像の領域を識別し、
   ｂ）前記対応画像領域を解析して前記容積内の物体を識別する
   ように構成されている、請求項１～６のいずれか１項に記載のシステム。
8. 前記１つ以上の処理装置が、
   ａ）対応画像領域に関連付けられた物体スコアであって前記対応画像領域内の物体の検出に関連付けられた確実度を表す物体スコアを計算し、
   ｂ）前記物体スコアを用いて物体を識別する
   ように構成されている、請求項７に記載のシステム。
9. 前記１つ以上の処理装置が、
   ａ）ｉ）画像領域分類、
   ｉｉ）画像領域分類の寿命、
   ｉｉｉ）画像領域分類の過去の変化、
   ｉｖ）視覚的効果の存在又は可能性、
   ｖ）画像ストリーム内の画像間の画像領域の外観の変化の程度、
   ｖｉ）画像領域に関連するカメラジオメトリ、
   ｖｉｉ）画像の取得時刻、及び
   ｖｉｉｉ）画質
   の少なくとも１つを用いて前記対応画像領域の各々に対して画像領域スコアを生成し、
   ｂ）ｉ）前記画像領域スコアを用いて物体スコアを計算することと、
   ｉｉ）前記対応画像領域を解析して各々の対応画像領域の前記画像領域スコアに応じて前記容積内の物体を識別することと、
   ｉｉｉ）各々の対応画像領域の前記画像領域スコアを重み付けとして用いて視体積交差技術を実行することと
   のうち少なくとも１つを実行する
   ように構成されている、請求項７または８に記載のシステム。
10. 前記１つ以上の処理装置が、較正データに従い前記画像を解釈するように構成されており、
    前記較正データが、
    ａ）各撮像装置の撮像特性を表す内因的較正データ、及び
    ｂ）前記環境内における前記撮像装置の相対位置を表す外因的較正データ
    のうち少なくとも１つを含んでおり、
    前記１つ以上の処理装置が、
    ｉ）撮像装置を用いて異なる位置から取得された規定パターンの画像を受信して、前記画像を解析して前記撮像装置の画像取得特性を表す較正データを生成すること、および、
    ｉｉ）前記環境内の目標の取得画像を受信して、前記取得画像を解析して異なる撮像装置により取得された同一目標を表す画像を識別し、識別された画像を解析して前記撮像装置の相対位置及び向きを表す較正データを生成すること、
    の少なくとも１つにより、較正処理の実行中に較正データを生成するように構成されている、請求項１～９のいずれか１項に記載のシステム。
11. ｉ）前記物体属性が、
    （１）移動パターンを解析すること、
    （２）画像認識を用いること、
    （３）機械可読符号化データを用いること、
    の少なくとも１つによって判定され、ここで、機械可読符号化データを用いる場合には、物体が、物体属性を表す機械可読符号化データに関連付けられており、
    （ａ）前記機械可読符号化データが可視データであり、前記１つ以上の処理装置が前記画像を解析して前記機械可読符号化データを検出するように構成されている、および／または、
    （ｂ）前記機械可読符号化データが前記物体に関連付けられたタグにコード化されていて、前記１つ以上の処理装置がタグ読取器から前記機械可読符号化データを表す信号を受信するように構成されている、
    請求項１～１０のいずれか１項に記載のシステム。
12. 前記１つ以上の処理装置が、
    ａ）物体の移動を用いて予想される物体の移動を判定し、
    ｂ）前記予想される物体の移動を前記状況認識ルールと比較する
    ように構成されており、前記状況認識ルールが、
    ｉ）許可された物体の移動経路、
    ｉｉ）許可された物体の移動、
    ｉｉｉ）異なる物体に許可された接近限度、
    ｉｖ）物体に許可されたゾーン、及び
    ｖ）物体に禁止されたゾーン
    のうち少なくとも１つを表し、
    前記１つ以上の処理装置が、
    ｃ）ｉ）物体の移動が前記物体に対して規定されている許可された物体の移動経路から逸脱している、
    ｉｉ）物体の移動が前記物体に許可された物体の移動から逸脱している、
    ｉｉｉ）２つの物体が前記物体に許可された接近限度内にある、
    ｉｖ）２つの物体が前記物体に許可された接近限度に近づいている、
    ｖ）２つの物体が前記物体に許可された接近限度にあることが予想される、
    ｖｉ）２つの物体の予想される移動経路が交差している、
    ｖｉｉ）物体が前記物体に許可されたゾーンの外側にある、
    ｖｉｉｉ）物体が前記物体に許可されたゾーンから退出している、
    ｉｘ）物体が前記物体に禁止されたゾーンの内側にある、及び
    ｘ）物体が前記物体に禁止されたゾーンに進入している、
    のうち少なくとも１つが真ならば状況認識事象を識別するように構成されている、請求項１～１１のいずれか１項に記載のシステム。
13. 前記１つ以上の処理装置が
    ａ）環境モデルを生成するように構成され、前記環境モデルが、
    ｉ）前記環境、
    ｉｉ）前記環境内における撮像装置の位置、
    ｉｉｉ）物体の現在位置、
    ｉｖ）物体の移動、
    ｖ）予想される物体の位置、及び
    ｖｉ）予想される物体の移動、
    のうち少なくとも１つを表し、
    前記１つ以上の処理装置が、
    ｂ）前記環境モデルのグラフ表現を生成するように構成されている、
    請求項１～１２のいずれか１項に記載のシステム。
14. 状況認識事象の識別に応答して、前記１つ以上の処理装置が、
    ａ）前記状況認識事象の徴候を記録すること、
    ｂ）前記状況認識事象を示す通知を生成すること、
    ｃ）出力装置に前記状況認識事象を示す出力を生成させること、
    ｄ）警報を起動すること、及び
    ｅ）物体の動作を制御させること
    のうち少なくとも１つを実行するように構成されている、請求項１～１３のいずれか１項に記載のシステム。
15. 環境内の状況認識監視方法であって、１つ以上の処理装置において、
    ａ）前記環境内の物体の画像を取得するように構成された複数の撮像装置であって、当該複数の撮像装置の少なくともいくつかが少なくとも部分的に重なり合う視野を有するように前記環境内に配置された複数の撮像装置の各々から複数の取得画像を含む画像ストリームを受信するステップ、
    ｂ）異なる画像ストリーム内の重複画像であって、重なり合う視野を有する撮像装置により取得された画像である重複画像を識別するステップ、
    ｃ）前記重複画像を解析して前記環境内の物体の位置を判定するステップ、
    ｄ）時間経過に伴う前記物体の位置の変化を解析して前記環境内の物体の移動を判定するステップ、
    ｅ）少なくとも１つの物体について物体の種類を表す物体属性を判定するステップ、
    ｆ）ｉ）前記物体属性に応じて１つ以上の状況認識ルールを選択し、
    ｉｉ）前記物体の移動を前記選択された状況認識ルールと比較する
    ことによって、前記物体属性を少なくとも部分的に用いて前記物体の移動を状況認識ルールと比較するステップ、及び
    ｇ）前記比較の結果を用いて状況認識事象を識別するステップ
    を含む、方法。

Images