JP2020119494A - 分散型画像解析システム - Google Patents

Abstract

【課題】複数のビデオ解析装置とクラスタ管理装置とを備える分散型画像解析システムを提供する。【解決手段】ビデオ解析装置がビデオストリームのビデオ解析を実行するが単独ではそれを完了することができないとき、ビデオストリームのビデオ解析を完了するために、ビデオストリームのビデオ解析のタスクの少なくとも一部はクラスタ管理装置を介して他のビデオ解析装置に分散される。【選択図】図1

Description

本発明は画像解析システムに関し、より詳細には、分散型画像解析システムに関する。

従来の画像解析装置は特定の画像解析機能のために設計されるのが一般的であり、大きな演算能力を要する画像解析を実行するときにハードウェアの制約による制限を受ける。その結果、従来の画像解析装置は、大きな演算能力を要する複雑なビデオストリームを解析することができない。加えて、画像解析装置のコストはまだ高過ぎて、また、従来のビデオ記録装置はビデオの記録および再生になお焦点を合わせている。たとえ従来のビデオ記録装置に画像解析能力を有するものがあったとしても、システムサポートの不足が原因で、その装置を複雑なビデオストリームを解析するために用いることはそれでも難しい。

そのため、当業界においては、大きな演算効率を要する複雑なビデオストリームを解析することができる分散型画像解析システムを提供する必要がある。

本発明の1つの目的は、複雑なビデオストリームの解析を完了するために、複数の画像解析装置が相互にサポートして複数の画像解析装置のリソースを十分に活用できるようにすることが可能な分散型画像解析システムを提供し、それによってシステムのコストを低減させることである。本発明の文脈において、複雑なビデオストリームの解析とは、単一の画像解析装置によっては完了され得ないビデオストリームの解析を指す。

一実施形態において分散型画像解析システムが開示され、この分散型画像解析システムは、ビデオストリームを解析するための複数の画像解析装置と、この複数の画像解析装置に接続されたクラスタ管理装置とを備え、複数の画像解析装置の第1の画像解析装置がビデオストリームの解析を実行するが単独ではそのビデオストリームの解析を完了することができないとき、ビデオストリームの解析を完了するために、ビデオストリームの解析のタスクの少なくとも一部がクラスタ管理装置および/または複数の画像解析装置の少なくとも1つの第2の画像解析装置に転送される。

一実施形態では、ビデオストリームの解析を完了するために、クラスタ管理装置は少なくとも1つの第2の画像解析装置にビデオストリームの解析のタスクの少なくとも一部を転送し、クラスタ管理装置は第1の画像解析装置にビデオストリームの解析のタスクの少なくとも一部の実行結果を返送する。

一実施形態では、クラスタ管理装置はクラウド解析サービス装置に接続され、ビデオストリームの解析のタスクの少なくとも一部が画像解析タスクを含み、かつ、複数の画像解析装置が前記画像解析タスクを実行する能力を有さないとき、ビデオストリームの解析を完了するために、クラスタ管理装置は実行のためにクラウド解析サービス装置に画像解析タスクを転送し、画像解析タスクの実行結果はクラウド解析サービス装置から第1の画像解析装置に返送される。

一実施形態では、クラウド解析サービス装置は、クラスタ管理装置を介して第1の画像解析装置に画像解析タスクの実行結果を返送する。

一実施形態では、クラウド解析サービス装置は、直接に第1の画像解析装置に画像解析タスクの実行結果を返送する。

一実施形態では、第1の画像解析装置が画像の解析においてイベントを検出するとき、第1の画像解析装置は画像が異常状態を含んでいるという可能性スコアを判定するためにクラウド解析サービス装置に画像を転送し、クラウド解析サービス装置は第1の画像解析装置に可能性スコアを返送する。

一実施形態では、第1の画像解析装置は画像の予備的解析を実行することによってイベントを検出し、このイベントは予備的解析の結果がトリガ条件を満たすとき検出される。

一実施形態では、イベントを検出するために、第1の画像解析装置は検出装置からメッセージを受信する。

一実施形態では、異常状態は画像が危険物または火災現場を含むときに検出される。

一実施形態では、トリガ条件は物体の動きである。

一実施形態では、検出装置は温度検出装置である。

一実施形態において分散型画像解析システムが開示され、この分散型画像解析システムは、ビデオストリームを解析するための複数の画像解析装置と、この複数の画像解析装置に接続されたクラスタ管理装置とを備え、複数の画像解析装置の第1の画像解析装置がビデオストリームの解析を実行するが単独ではそのビデオストリームの解析を完了することができないとき、ビデオストリームの解析を完了するために、ビデオストリームの解析のタスクの少なくとも一部がクラスタ管理装置を介してクラウド解析サービス装置および/または複数の画像解析装置の少なくとも1つの第2の画像解析装置に転送される。

一実施形態において分散型画像解析システムが開示され、この分散型画像解析システムはクラウド解析サービス装置に接続された画像解析装置を備え、複数の画像解析装置の画像解析装置がビデオストリームの解析を実行するが単独ではそのビデオストリームの解析を完了することができないとき、ビデオストリームの解析を完了するために、ビデオストリームの解析のタスクの少なくとも一部がクラウド解析サービス装置に転送され、クラウド解析サービス装置は画像解析装置にビデオストリームの解析のタスクの少なくとも一部の結果を返送する。

一実施形態では、画像解析装置が画像中にイベントを検出するとき、画像解析装置は画像が異常状態を含んでいるという可能性スコアを判定するためにクラウド解析サービス装置に画像を転送し、クラウド解析サービス装置は画像解析装置に可能性スコアを返送する。

一実施形態では、画像解析装置は画像の予備的解析によってイベントを検出し、このイベントは予備的解析がトリガ条件を満たすとき検出される。

一実施形態では、イベントを検出するために、画像解析装置は検出装置からメッセージを受信する。

一実施形態では、異常状態は画像が危険物または火災現場を含むときに検出される。

一実施形態では、トリガ条件は物体の動きである。

一実施形態では、検出装置は温度検出装置である。

上述の態様および本発明の付随する利点の多くは、このことが添付の図面と併せて以下の詳細な記述を参照することによってよりよく理解されるようになるのに伴って、より容易に認識されるようになるであろう。

本発明の一実施形態における画像解析システムを示す概略図である。 本発明の一実施形態における画像解析システムを示す概略図である。 本発明の一実施形態における画像解析システムを示す概略図である。 本発明の一実施形態における画像解析システムを示す概略図である。

上述の記載および本発明の他の技術内容、特徴および効果は、図面の好ましい実施形態を参照して、以下の詳細な記述から明らかになるであろう。しかしながら、以下の実施形態は本発明を制限する意図ではないことに留意されたい。

図1は、本発明の一実施形態による分散型画像解析システム100Aを示し、この画像解析システム100Aは、ビデオストリームを解析するための複数の画像解析装置102と、この複数の画像解析装置102に接続されたクラスタ管理装置101とを備え、複数の画像解析装置102の第1の画像解析装置がビデオストリームの解析を実行するが単独ではそのビデオストリームの解析を完了することができないとき、ビデオストリームの解析のタスクの少なくとも一部を実行するために、第1の画像解析装置は、ビデオストリームの解析のタスクの少なくとも一部をクラスタ管理装置101に転送し、かつ/または、このクラスタ管理装置101を介して少なくとも1つの第2の画像解析装置に転送する。クラスタ管理装置101は次に、ビデオストリームの解析を完了するために第1の画像解析装置がビデオストリームの解析のタスクの少なくとも一部の実行結果を統合できるように、画像解析装置にビデオストリームの解析のタスクの少なくとも一部の実行結果を返送する。本発明は、画像解析装置がビデオストリームを受信する方法に限定されるわけではないことに留意されたい。画像解析装置102はインターネットを介してカメラ装置に接続されてよく、もしくは画像解析装置102は局所的にカメラ装置に直接に接続されてもよく、または画像解析装置102は他の適切な手段によってビデオストリームを取得することも可能である。

一実施形態では、クラスタ管理装置101は画像解析能力を有し、クラスタ管理装置101はビデオストリームの解析のタスクの少なくとも一部を実行することができる。

一実施形態では、クラスタ管理装置は画像解析能力を有さない。

一実施形態では、画像解析装置のリソースは、少なくとも1つの中央処理ユニット(CPU)を含む。

一実施形態では、画像解析装置のリソースは、少なくとも1つのCPU、および少なくとも1つのグラフィックス処理ユニット(GPU)または画像処理ハードウェアアクセラレータを含む。

一実施形態では、画像解析装置のリソースは、少なくとも1つのCPU、および少なくとも1つの画像処理ハードウェアアクセラレータを含む。

一実施形態では、タスクの少なくとも一部はビデオストリームの解析の複数のタスクを含み、クラスタ管理装置101はビデオストリームの解析の複数のタスクを実行するために少なくとも2つの画像解析装置にビデオストリームの解析の複数のタスクを転送し、少なくとも2つの各画像解析装置は実行されたタスクの結果をクラスタ管理装置101にそれぞれ返送する。クラスタ管理装置101は次に、ビデオストリームの解析を完了するために画像解析装置が実行されたタスクの結果をさらに統合できるように、実行されたタスクの結果を画像解析装置に返送する。

一実施形態では、タスクの少なくとも一部はビデオストリームの解析の複数のタスクを含み、クラスタ管理装置101はビデオストリームの解析の複数のタスクを実行するために少なくとも2つの画像解析装置にビデオストリームの解析の複数のタスクを転送し、少なくとも2つの各画像解析装置は、ビデオストリームの解析を完了するために画像解析装置が実行されたタスクの結果をさらに統合できるように、実行されたタスクの結果を画像解析装置にそれぞれ返送する。

図2は、本発明の一実施形態による分散型画像解析システム100Bを示し、この画像解析システム100Bは、ビデオストリームを解析するための複数の画像解析装置102と、この複数の画像解析装置102に接続されたクラスタ管理装置101とを備える。クラスタ管理装置101は、クラウド解析サービス装置103に接続され、複数の画像解析装置の第1の画像解析装置がビデオストリームの解析を実行するが単独ではそのビデオストリームの解析を完了することができないとき、ビデオストリームの解析のタスクの少なくとも一部を実行するために、第1の画像解析装置は、ビデオストリームの解析のタスクの少なくとも一部をクラスタ管理装置101を介してクラウド解析サービス装置103および/または少なくとも1つの第2の画像解析装置に転送する。クラスタ管理装置101は次に、第1の画像解析装置にビデオストリームの解析のタスクの少なくとも一部の実行結果を返送し、第1の画像解析装置は、ビデオストリームの解析を完了するためにビデオストリームの解析のタスクの少なくとも一部の実行結果をさらに統合する。

一実施形態では、ビデオストリームの解析のタスクの少なくとも一部はクラウド解析サービス装置103の第1のタスクを含む。クラスタ管理装置101は実行のためにクラウド解析サービス装置103に第1のタスクを転送し、クラスタ管理装置101は画像解析装置に第1のタスクの実行結果を返送する。別法として、クラウド解析サービス装置103は、クラスタ管理装置101を介することなく第1の画像解析装置に第1のタスクの実行結果を返送する。一実施形態では、ビデオストリームの解析のタスクの少なくとも一部は実行のためにクラウド解析サービス装置103に転送された第1のタスクを含み、第2のタスクは実行のために第2の画像解析装置に転送される。クラスタ管理装置101は、実行のためにクラウド解析サービス装置103に第1のタスクを転送する。クラスタ管理装置101は、実行のために第2の画像解析装置に第2のタスクを転送する。クラスタ管理装置101は次に、クラウド解析サービス装置103によって実行された第1のタスクの実行結果および第2の画像解析装置によって実行された第2のタスクの実行結果を第1の画像解析装置に返送する。一実施形態では、クラウド解析サービス装置103は、クラスタ管理装置101を経由することなく直接に画像解析装置に第1のタスクの実行結果を返送することができる。第2の画像解析装置もまた、クラスタ管理装置101を経由することなく直接に第1の画像解析装置に第2のタスクの実行結果を返送することができる。

一実施形態では、第1の画像解析装置の処理能力は、たとえばリアルタイムの解析結果を要する重要人物(VIP)の顔認識または駐車場におけるナンバープレート認識など、ビデオストリームの一部のリアルタイムの解析を実行することができる。

一実施形態では、ローカル画像解析装置の処理能力は、リアルタイムの解析結果を要しない、すなわちビデオストリームの解析結果が時間遅延を許容し得るビデオストリームの解析を実行することができる。ローカル画像解析装置の演算能力が十分でない場合、タスクの一部はクラスタ管理装置を介して他の画像解析装置に転送され得、その結果はクラスタ管理装置を介して、またはクラスタ管理装置を経由することなくローカル画像解析装置に返送され得る。たとえば、大勢の人を含むリアルタイムのビデオの画像解析、顔の特徴の抽出および解析等は、リアルタイムのアラートを生成する必要なく準リアルタイムの方法で人々を調べるために実行され得る。この場合、ローカル画像解析装置は、ビデオストリーミング、タスクの受信および顔検出タスクを実行して人の顔をキャプチャすることができる。クラスタ管理装置は次に、顔の特徴の抽出および解析のために、他の画像解析装置に人の顔の情報を分散することができる。最後に、顔の特徴の抽出および解析の結果はローカル画像解析装置によって統合される。ローカル画像解析装置がビデオストリームを解析する能力のすべてを提供することができない場合、タスクの一部はクラスタ管理装置を介してクラウド解析サービス装置に転送され得、次にタスクの前記一部の実行結果はクラスタ管理装置を介してローカル画像解析装置に返送され得、またはクラスタ解析装置を経由することなく直接にローカル画像解析装置に返送され得る。たとえば、複雑なシーンを含むリアルタイムの画像がある場合、準リアルタイムのアラートを生成するため、そのリアルタイムの画像中の異常状態を検出するための画像解析を実行することが望ましい。ビッグデータの学習および解析はかなりの量の演算能力またはリソースを要するので、ローカル画像解析装置は、そのような複雑なシーンを解析する能力を有さない。クラウド解析サービス装置は複雑な演算を実行して、そのような複雑なシーンを解析することができる。この場合、ローカル画像解析装置はビデオストリームを受信し、そのシーンを表し得る画像を見つける。ローカル画像解析装置は次に、そのシーンを表す画像を直接またはクラスタ管理装置を介してクラウド解析サービス装置に送信することができ、クラウド解析サービス装置は最終的に、異常状態が発見された場合にアラートを生成するため、その結果をローカル画像解析装置に返送する。

一実施形態では、画像解析装置は一時的に保存されたビデオストリームを用いてオフラインで画像解析を実行することができ、または、ビデオファイルを用いて非リアルタイムの方法で解析結果を生成することができる。この動作メカニズムは前述した準リアルタイムのビデオストリームの解析と同一であるが、応答時間は要求されず、スケジューリングの優先度は低い。

一実施形態では、画像解析の結果の統計を生成して傾向または予測を取得するための長期間に亘る画像解析のために、画像解析装置はリアルタイムのビデオストリームまたは一時的に保存されたビデオストリームもしくはビデオファイルを用いることができ、画像解析の結果の統計はクラウド解析サービス装置によって生成され得る。

図3は、本発明の一実施形態による分散型画像解析システム100Cを示し、画像解析装置102は、カメラ装置104によってキャプチャされるビデオストリームを取得するためにカメラ装置104に接続される。画像解析装置がシーンを表す画像中にイベントを検出するとき、そのシーンを表す画像が危険物、炎や火災等の異常状態を含んでいるという可能性スコアを判定するために、そのシーンを表す画像の画像解析はクラウド解析サービス装置103に転送される。クラウド解析サービス装置は次に、アラートを生成するため、画像解析装置に可能性スコアを返送する。

一実施形態では、本発明の画像解析装置は、たとえばドアが開けられるとき、窓が割られるとき、アラームが作動するとき、異常温度上昇等、環境変化を検知するための検出装置に接続されてよく、演算能力を浪費しないように、また、誤ったアラームを減少させるように、環境変化のトリガ条件が満たされたときにのみ画像解析装置がトリガされてシーンの画像解析を実行する。たとえば、そのシーンがサーバルームの中であり、このサーバルームの温度を検出するために温度検知装置が用いられ、この温度検知装置によって画像解析装置はサーバルームの温度を監視する。温度検知装置によってサーバルーム内で異常温度上昇が検出された場合、画像解析装置がそのシーンの画像解析を実行できるように、温度検知装置は画像解析装置にメッセージを送信する。一実施形態では、サーバルームのシーンを表す画像は、シーンを表す画像中に火災があるという可能性スコアを判定するために、クラウド解析サービス装置に転送され得る。クラウド解析サービス装置は次に、アラートを生成するため、画像解析装置に可能性スコアを返送する。一実施形態では、可能性スコアは既存データベースのパターンにマッチすることによって取得されてよい。

一実施形態では、画像解析装置はシーンの予備的画像解析を実行することができる。物体の動きが検出される、人が存在する、侵入が発生する等のトリガ条件が満たされたとき、演算能力を節約し、また、誤ったアラームを減少させるために、そのシーンについてさらなる画像解析が実行され得る。たとえば、シーンが銀行のロビーにおけるもので、そのシーンの予備的画像解析が銀行のロビーに新たな人物が入ってきたことを検出する場合、画像解析装置はトリガされて、その人物およびその人物の周囲をキャプチャし、その人物が銃やナイフ等の危険物を携行しているという可能性スコアを判定するために、その人物およびその人物の周囲の画像がクラウド解析サービス装置に転送され得る。クラウド解析サービス装置は次に、アラートを生成するため、画像解析装置に可能性スコアを返送する。

図4は、本発明の一実施形態による画像解析システム100Dを示し、この画像解析システム100Dは、クラウド解析サービス装置103に接続された画像解析装置102を備え、画像解析装置102がビデオストリームの画像解析を実行するがシーンを解析することができないとき、そのシーンを解析するため、画像解析装置102はクラウド解析サービス装置103にシーンを表す画像を転送する。クラウド解析サービス装置103は次に、ビデオストリームの解析を完了するために、画像解析装置102にシーンの画像解析結果を返送する。段落［００４２］および［００４３］における記述は、図4にも適用され得る。

上記記述は、本発明の範囲を制限する意図は無く、単に本発明の例示的実施形態を表すにすぎない。本発明の特許請求の範囲に基づくさまざまな同等の変更形態、代替形態または修正形態は、すべてその結果として、本発明の範囲によって包含されるものと見なされる。

100A 分散型画像解析システム
100B 分散型画像解析システム
100C 分散型画像解析システム
100D 画像解析システム
101 クラスタ管理装置
102 画像解析装置
103 クラウド解析サービス装置
104 カメラ装置

Claims (19)

1. 分散型画像解析システムであって、
   ビデオストリームを解析するための複数の画像解析装置と、
   前記複数の画像解析装置に接続されたクラスタ管理装置と、を備え、
   前記複数の画像解析装置の第1の画像解析装置がビデオストリームの解析を実行するが単独では前記ビデオストリームの解析を完了することができないとき、前記ビデオストリームの解析を完了するために、前記ビデオストリームの解析のタスクの少なくとも一部が前記クラスタ管理装置および/または前記複数の画像解析装置の少なくとも1つの第2の画像解析装置に転送される、分散型画像解析システム。
2. 前記ビデオストリームの解析を完了するために、前記クラスタ管理装置は、前記少なくとも1つの第2の画像解析装置に前記ビデオストリームの解析のタスクの少なくとも一部を転送し、前記クラスタ管理装置は、前記第1の画像解析装置に前記ビデオストリームの解析のタスクの少なくとも一部の実行結果を返送する、請求項1に記載のシステム。
3. 前記クラスタ管理装置はクラウド解析サービス装置に接続され、前記ビデオストリームの解析のタスクの少なくとも一部が画像解析タスクを含み、かつ、前記複数の画像解析装置が前記画像解析タスクを実行する能力を有さないとき、前記ビデオストリームの解析を完了するために、前記クラスタ管理装置は実行のために前記クラウド解析サービス装置に前記画像解析タスクを転送し、前記画像解析タスクの実行結果は前記クラウド解析サービス装置から前記第1の画像解析装置に返送される、請求項1に記載のシステム。
4. 前記クラウド解析サービス装置は、前記クラスタ管理装置を介して前記第1の画像解析装置に前記画像解析タスクの前記実行結果を返送する、請求項3に記載のシステム。
5. 前記クラウド解析サービス装置は、直接に前記第1の画像解析装置に前記画像解析タスクの前記実行結果を返送する、請求項3に記載のシステム。
6. 前記第1の画像解析装置が画像の解析においてイベントを検出するとき、前記第1の画像解析装置は前記画像が異常状態を含んでいるという可能性スコアを判定するために前記クラウド解析サービス装置に前記画像を転送し、前記クラウド解析サービス装置は前記第1の画像解析装置に前記可能性スコアを返送する、請求項3に記載のシステム。
7. 前記第1の画像解析装置は前記画像の予備的解析を実行することによって前記イベントを検出し、前記イベントは前記予備的解析の結果がトリガ条件を満たすとき検出される、請求項6に記載のシステム。
8. 前記イベントを検出するために、前記第1の画像解析装置は検出装置からメッセージを受信する、請求項6に記載のシステム。
9. 前記異常状態は前記画像が危険物または火災現場を含むときに検出される、請求項6に記載のシステム。
10. 前記トリガ条件は物体の動きである、請求項7に記載のシステム。
11. 前記検出装置は温度検出装置である、請求項8に記載のシステム。
12. 分散型画像解析システムであって、
    ビデオストリームを解析するための複数の画像解析装置と、
    前記複数の画像解析装置に接続されたクラスタ管理装置と、を備え、
    前記複数の画像解析装置の第1の画像解析装置がビデオストリームの解析を実行するが単独では前記ビデオストリームの解析を完了することができないとき、前記ビデオストリームの解析を完了するために、前記ビデオストリームの解析のタスクの少なくとも一部が前記クラスタ管理装置を介してクラウド解析サービス装置および/または前記複数の画像解析装置の少なくとも1つの第2の画像解析装置に転送される、分散型画像解析システム。
13. 分散型画像解析システムであって、
    クラウド解析サービス装置に接続された画像解析装置を備え、
    前記画像解析装置がビデオストリームの解析を実行するが単独では前記ビデオストリームの解析を完了することができないとき、前記ビデオストリームの解析を完了するために、前記ビデオストリームの解析のタスクの少なくとも一部が前記クラウド解析サービス装置に転送され、前記クラウド解析サービス装置は前記画像解析装置に前記ビデオストリームの解析のタスクの少なくとも一部の結果を返送する、分散型画像解析システム。
14. 前記画像解析装置が画像中にイベントを検出するとき、前記画像解析装置は画像が異常状態を含んでいるという可能性スコアを判定するために前記クラウド解析サービス装置に前記画像を転送し、前記クラウド解析サービス装置は前記画像解析装置に前記可能性スコアを返送する、請求項13に記載のシステム。
15. 前記画像解析装置は前記画像の予備的解析によって前記イベントを検出し、前記イベントは前記予備的解析がトリガ条件を満たすとき検出される、請求項14に記載のシステム。
16. 前記イベントを検出するために、前記画像解析装置は検出装置からメッセージを受信する、請求項14に記載のシステム。
17. 前記異常状態は前記画像が危険物または火災現場を含むときに検出される、請求項14に記載のシステム。
18. 前記トリガ条件は物体の動きである、請求項15に記載のシステム。
19. 前記検出装置は温度検出装置である、請求項16に記載のシステム。

Images