JP4761029B2 - 画像解析システム - Google Patents

Description

本発明は、カメラを介して取り込んだ画像を解析する画像解析システムに関する。

例えば、危険や異常の発生を監視する監視システムや、製造工程を監視する生産システムにおいて、カメラにより取り込んだ画像に対し画像解析を用いる方法が適用されている。このような方法によれば、カメラにより取り込んだ画像を目視により常に監視する必要がなくなる。

カメラにより取り込んだ画像に対して画像解析を行う装置の例としては、次のようなものがある。

特開平０９−０９３４７２号公報

画像解析による監視を行う場合、カメラから離れた場所で画像解析を行いたい場合がある。また、複数のカメラを用いる場合に、１台の装置で集約して画像解析を行えればコスト面でも有利である。

しかし、カメラで捉えた画像を画像解析装置に転送する場合、画像データが膨大なために、通信上の負担となるおそれがある。とくに、他のシステムと通信回線を共有したい場合等には、通信データ量が制限され、画像データを転送することは困難となる。

本発明の目的は、通信上の負担を低減できる画像解析システムを提供することにある。

本発明の画像解析システムは、カメラを介して取り込んだ画像を解析する画像解析システムにおいて、画像を取り込むカメラと、前記カメラにより取り込まれた前記画像に基づく画像解析を実行する前段解析手段と、前記前段解析手段による解析結果に基づく画像解析を実行する後段解析手段と、前記前段解析手段による前記解析結果を、複数の装置を接続可能な共通回線を介して前記前段解析手段から前記後段解析手段に向けて送信する送信手段と、を備え、前記前段解析手段は、前記画像解析として、前記画像を構成する画像フレームに対して輪郭抽出処理を実行し、前記解析結果として輪郭抽出処理の結果を出力し、前記後段解析手段は前記輪郭抽出処理の結果における画像フレーム間の相違に基づく画像解析を実行することを特徴とする。
この画像解析システムによれば、前段解析手段による前記解析結果を、前記前段解析手段から前記後段解析手段に向けて送信するので、共通回線を用いた通信上の負担を低減できる。

本発明の画像解析システムは、カメラを介して取り込んだ画像を解析する画像解析システムにおいて、独立した画像をそれぞれ取り込む第１のカメラおよび第２のカメラと、前記第１のカメラにより取り込まれた前記画像に基づく画像解析を実行する第１の前段解析手段と、前記第２のカメラにより取り込まれた前記画像に基づく画像解析を実行する第２の前段解析手段と、前記第１の前段解析手段による解析結果および前記第２の前段解析手段による解析結果に基づく画像解析を実行する後段解析手段と、前記第１の前段解析手段による前記解析結果および前記第２の前段解析手段による前記解析結果を、通信回線を介して前記第１の前段解析手段および前記第２の前段解析手段から前記後段解析手段に向けて、それぞれ送信する送信手段と、を備え、前記第１の前段解析手段および前記第２の前段解析手段は、それぞれ、前記画像解析として、前記画像を構成する画像フレームに対して輪郭抽出処理を実行し、前記解析結果として輪郭抽出処理の結果を出力し、前記後段解析手段は前記輪郭抽出処理の結果における画像フレーム間の相違に基づく画像解析を実行し、前記第１の前段解析手段、前記第２の前段解析手段および前記後段解析手段は、互いに異なるコンピュータにより構成されることを特徴とする。

この画像解析システムによれば、前段解析手段による前記解析結果を、前記前段解析手段から前記後段解析手段に向けて送信するので、通信上の負担を低減できる。また、後段解析手段により複数の前段解析手段による解析結果に基づく画像解析を実行するので、カメラごとに独立した画像解析装置を用いる場合と比較してコストを低減できる。

本発明の画像解析システムは、カメラを介して取り込んだ画像を解析する画像解析システムにおいて、画像を取り込むカメラと、前記カメラにより取り込まれた前記画像に基づく画像解析を実行する前段解析手段と、前記前段解析手段による解析結果に基づく画像解析を実行する第１の後段解析手段と、前記前段解析手段による解析結果に基づく画像解析を実行する第２の後段解析手段と、前記前段解析手段による前記解析結果を、通信回線を介して前記前段解析手段から前記第１の後段解析手段および前記第２の後段解析手段に向けて、それぞれ送信する送信手段と、を備え、前記前段解析手段は、前記画像解析として、前記画像を構成する画像フレームに対して輪郭抽出処理を実行し、前記解析結果として輪郭抽出処理の結果を出力し、前記第１の後段解析手段および前記第２の後段解析手段は、それぞれ、前記輪郭抽出処理の結果における画像フレーム間の相違に基づく画像解析を実行し、前記前段解析手段、前記第１の後段解析手段および前記第２の後段解析手段は、互いに異なるコンピュータにより構成されることを特徴とする。

この画像解析システムによれば、前段解析手段による前記解析結果を、前記前段解析手段から前記後段解析手段に向けて送信するので、通信上の負担を低減できる。また、複数の後段解析手段を設けているので、単一の画像に対して複数種類の画像解析を実行できる。

前記通信回線は複数の装置を接続可能な共通回線であってもよい。

前記解析結果は前記カメラにより取り込まれた画像の圧縮データであってもよい。
圧縮の方式は制限されず、データ量を抑制でき、かつ、後段解析手段に必要な情報を含むような圧縮データであればよい。圧縮データには、例えば、オブジェクトの位置を示す情報、オブジェクトの輪郭の位置を示す情報、輪郭等を示すベクトル情報、色分類、２値化した画像データ等が含まれる。また、圧縮データは、画像フレーム内の処理のみで生成されたデータに限定されず、複数の画像フレームに基づいて生成されたものでもよい。

前記解析結果は前記カメラにより取り込まれた画像から得たオブジェクト抽出情報であってもよい。
オブジェクト抽出情報には、例えば、人等のオブジェクトの有無、個数あるいは位置を示す情報が含まれ、画像の圧縮データに該当するもの、および該当しないものの双方を含む。また、オブジェクト抽出情報には、オブジェクトの輪郭の位置を示す情報、輪郭等を示すベクトル情報、色分類、境界検知の結果等が含まれる。また、オブジェクト抽出情報は、画像フレーム内の処理のみで生成されたデータに限定されず、複数の画像フレームに基づいて生成されたものでもよい。

前記後段解析手段は前記輪郭抽出処理の結果における画像フレーム間の相関を解析する処理を実行してもよい。
例えば、前段解析手段では、画像フレーム内の処理によってオブジェクトを抽出し、後段解析手段ではオブジェクトの移動の様子を解析することで、オブジェクトの移動の様子に基づいて所定の事象、例えば危険な状態の発生を認識する処理を実行してもよい。

本発明の画像解析システムによれば、前段解析手段による前記解析結果を、前記前段解析手段から前記後段解析手段に向けて送信するので、共通回線を用いた通信上の負担を低減できる。

本発明の画像解析システムによれば、前段解析手段による前記解析結果を、前記前段解析手段から前記後段解析手段に向けて送信するので、通信上の負担を低減できる。また、後段解析手段により複数の前段解析手段による解析結果に基づく画像解析を実行するので、カメラごとに独立した画像解析装置を用いる場合と比較してコストを低減できる。

本発明の画像解析システムによれば、前段解析手段による前記解析結果を、前記前段解析手段から前記後段解析手段に向けて送信するので、通信上の負担を低減できる。また、複数の後段解析手段を設けているので、単一の画像に対して複数種類の画像解析を実行できる。

以下、図１〜図７を参照して、本発明による画像解析システムの実施形態について説明する。

以下、図１および図２を参照して、本発明による画像解析システムの実施例１について説明する。

図１は本実施例の画像解析システムの構成を示すブロック図である。

図１に示すように、本実施例の画像解析システムは、動画画像を取り込むカメラ１と、カメラ１により取り込まれた画像に基づく画像解析を実行する前段解析装置２と、前段解析装置２による解析結果に基づく画像解析を実行するサーバ３と、サーバ３による画像解析の結果やカメラ１により取り込まれた画像を適宜表示する画像表示装置４と、を備える。図１に示すように、前段解析装置２、サーバ３および画像表示装置４は、複数の装置を接続可能な共通回線５、例えば、イーサネット（登録商標）を介して互いに通信可能に接続されている。

図２は本実施例の画像解析システムにおける処理の手順を示すフローチャートである。

ステップＳ１〜ステップＳ４は、前段解析装置２における処理の手順を示している。

図２のステップＳ１では、カメラ１により取り込まれたフレームの画像に基づき、画像の背景を除去する画像解析処理を実行する。次に、ステップＳ２では、オブジェクト、例えば人間の輪郭を抽出する画像解析処理を実行する。

ステップＳ３では、サーバ３からのデータ送信の要求を待って、ステップＳ４へ進む。ステップＳ４では、ステップＳ２の処理により得た解析結果、すなわちオブジェクトの輪郭を示す情報を、イーサネットを介してサーバ３に向けて送信する。その後、ステップＳ１へ戻り、上記処理を繰り返す。

このように、前段解析装置２ではカメラ１により取り込まれた画像に対し、画像フレームごとの画像解析処理を実行し、解析結果をサーバ３に送信する。

図２のステップＳ１１〜ステップＳ１３は、サーバ３における処理の手順を示している。

図２のステップＳ１１では、前段解析装置２に対し、上記解析結果の送信を要求する。ステップＳ１２では、前段解析装置２からの上記解析結果の受信を待って、ステップＳ１３へ進む。ステップＳ１３では、受信された上記解析結果に基づく所定事象の認識処理（画像解析処理）を実行する。その後、ステップＳ１１へ戻り、上記手順を繰り返す。

サーバ３には画像解析処理のためのソフトウェアが実装されており、上記認識処理（ステップＳ１３）はこのソフトウェアに従って実行される。この処理では、例えば、画像フレーム間におけるオブジェクトの位置関係に基づいて、例えば人の流れ等を検知し、危険な状態の発生の有無を認識する。

本実施例では、前段解析装置２から輪郭抽出処理により得られた解析結果をサーバ３に送信している。この解析結果は、サーバ３における画像解析処理に必要な情報を含んでいるが、カメラ１で取り込んだ画像の画像データよりも大幅にデータ量が少ない。このため、通信上の負担を軽減できる。

本実施例において、前段解析装置２は画像フレームごとの輪郭抽出を繰り返し実行している。このような同一処理の繰り返しは、ハードウェア化された装置で実行可能であるため、前段解析装置２をハードウェア化された装置として構成してもよい。ハードウェア化により処理速度を向上させることができる。

また、前段解析装置２をカメラ１に内包された機能を利用して構成することもでき、この場合、コストを低減できる。

前段解析装置２を、画像解析処理のためのソフトウェアを実装したコンピュータとして構成してもよい。

以下、図３を参照して、本発明による画像解析システムの実施例２について説明する。
図３は本実施例の画像解析システムの構成を示すブロック図である。実施例１と同一構成要素には、同一符号を付している。

図３に示すように、本実施例の画像解析システムは、互いに独立した動画画像を取り込む４台のカメラ１と、カメラ１により取り込まれた画像に基づく画像解析をそれぞれ実行する４台の前段解析装置２と、前段解析装置２による解析結果に基づく画像解析を実行するサーバ３１と、サーバ３１による画像解析の結果やカメラ１により取り込まれた画像を適宜表示する画像表示装置４と、を備える。図３に示すように、前段解析装置２、サーバ３１および画像表示装置４は、複数の装置を接続可能な共通回線５、例えば、イーサネットを介して互いに通信可能に接続されている。

本実施例の画像解析システムにおける処理の手順は、実施例１と実質的に同一である。しかし、サーバ３１は、前段解析装置２によるそれぞれの解析結果に基づく画像解析を実行する４台分の画像解析装置として動作する。

本実施例によれば、例えば、カメラ１が設置された複数の箇所を１台のサーバ３１により常時監視することが可能となる。例えば、駅のプラットホームに複数のカメラを設置した場合、１台のサーバで複数箇所を同時に監視できる。

本実施例では、前段解析装置２から輪郭抽出処理により得られた解析結果をサーバ３１に送信している。この解析結果はカメラ１で取り込んだ画像の画像データよりも大幅にデータ量が少ないため、通信上の負担を軽減できる。

また、本実施例では、前段解析装置２によるそれぞれの解析結果に基づく画像解析を１台のサーバ３１において集約して実行している。このため、それぞれのカメラ１ごとに独立した装置で画像解析を行う場合と比較してコストを抑制できる。

以下、図４を参照して、本発明による画像解析システムの実施例３について説明する。

図４は本実施例の画像解析システムの構成を示すブロック図である。実施例１と同一構成要素には、同一符号を付している。

図４に示すように、本実施例の画像解析システムは、動画画像を取り込むカメラ１と、カメラ１により取り込まれた画像に基づく画像解析を実行する前段解析装置２と、前段解析装置２による解析結果に基づく画像解析を実行するサーバ３２と、前段解析装置２による解析結果に基づく画像解析を実行するサーバ３３と、サーバ３２あるいはサーバ３３による画像解析の結果等を表示する画像表示装置４と、を備える。図４に示すように、前段解析装置２、サーバ３２、サーバ３３および画像表示装置４は、複数の装置を接続可能な共通回線５、例えば、イーサネットを介して互いに通信可能に接続されている。

本実施例の画像解析システムにおける処理の手順は、実施例１と実質的に同一である。しかし、サーバ３２およびサーバ３３は、前段解析装置２による同一の解析結果に基づき、互いに異なる画像解析を実行する。それぞれの画像解析のロジックは画像解析の目的に応じて異なっている。なお、両者の画像解析に基づいて、最終的な解析結果を判断する機能をサーバ３２、サーバ３３、あるいは画像表示装置４に備えるようにしてもよい。

また、複雑な画像解析を実行する場合に、サーバ３２およびサーバ３３に処理の負荷を分散し、両者のサーバで実質的に単一の画像解析を実行してもよい。

またこれとは逆に、同一の解析結果に基づく複数の異なる処理を、１台のサーバにおいて実行してもよい。

本実施例によれば、例えば、前段解析装置２による同一の解析結果に基づき、複数の事象について同時に監視することが可能となる。例えば、同一箇所における危険な状態の発生の有無を複数の観点から検知できる。

本実施例では、前段解析装置２から輪郭抽出処理により得られた解析結果をサーバ３２およびサーバ３３に送信している。この解析結果はカメラ１で取り込んだ画像の画像データよりも大幅にデータ量が少ないため、通信上の負担を軽減できる。

以下、図５を参照して、本発明による画像解析システムの実施例４について説明する。

図５は本実施例の画像解析システムの構成を示すブロック図である。実施例１と同一構成要素には、同一符号を付している。

図５に示すように、本実施例の画像解析システムは、互いに独立した動画像を取り込む４台のカメラ１と、カメラ１により取り込まれた画像に基づく画像解析をそれぞれ実行する４台の前段解析装置２と、前段解析装置２による解析結果に基づく画像解析を実行するサーバ３４と、前段解析装置２による解析結果に基づく別の画像解析を実行するサーバ３５と、サーバ３４あるいはサーバ３５による画像解析の結果等を表示する画像表示装置４と、を備える。図５に示すように、前段解析装置２、サーバ３４、サーバ３５および画像表示装置４は、複数の装置を接続可能な共通回線５、例えば、イーサネットを介して互いに通信可能に接続されている。

本実施例の画像解析システムにおける処理の手順は、実施例１と実質的に同一である。しかし、サーバ３４およびサーバ３５は、前段解析装置２によるそれぞれの解析結果に基づく画像解析を実行する４台分の画像解析装置として、それぞれ動作する。

本実施例では、前段解析装置２から輪郭抽出処理により得られた解析結果をサーバ３４およびサーバ３５に送信している。この解析結果はカメラ１で取り込んだ画像の画像データよりも大幅にデータ量が少ないため、通信上の負担を軽減できる。

また、本実施例では、前段解析装置２によるそれぞれの解析結果に基づく画像解析を１台のサーバ３４およびサーバ３５において集約して実行している。このため、それぞれのカメラ１ごとに独立した装置で画像解析を行う場合と比較してコストを抑制できる。

本発明の適用範囲は上記実施例に限定されることはない。本発明は、カメラを介して取り込んだ画像を解析する画像解析システムに対し、広く適用することができる。

実施例１の画像解析システムの構成を示すブロック図。 実施例１の画像解析システムにおける処理の手順を示すフローチャート。 実施例２の画像解析システムの構成を示すブロック図。 実施例３の画像解析システムの構成を示すブロック図。 実施例４の画像解析システムの構成を示すブロック図。

符号の説明

１ カメラ
２ 前段解析装置（前段解析手段、送信手段）
３，３１，３２，３３，３４，３５ サーバ（後段解析手段）
５ 共通回線（通信回線）

Claims (5)

1. カメラを介して取り込んだ画像を解析する画像解析システムにおいて、
   画像を取り込むカメラと、
   前記カメラにより取り込まれた前記画像に基づく画像解析を実行する前段解析手段と、
   前記前段解析手段による解析結果に基づく画像解析を実行する後段解析手段と、
   前記前段解析手段による前記解析結果を、複数の装置を接続可能な共通回線を介して前記前段解析手段から前記後段解析手段に向けて送信する送信手段と、
   を備え、
   前記前段解析手段は、前記画像解析として、前記画像を構成する画像フレームに対して輪郭抽出処理を実行し、前記解析結果として輪郭抽出処理の結果を出力し、
   前記後段解析手段は前記輪郭抽出処理の結果における画像フレーム間の相違に基づく画像解析を実行することを特徴とする画像解析システム。
2. カメラを介して取り込んだ画像を解析する画像解析システムにおいて、
   独立した画像をそれぞれ取り込む第１のカメラおよび第２のカメラと、
   前記第１のカメラにより取り込まれた前記画像に基づく画像解析を実行する第１の前段解析手段と、
   前記第２のカメラにより取り込まれた前記画像に基づく画像解析を実行する第２の前段解析手段と、
   前記第１の前段解析手段による解析結果および前記第２の前段解析手段による解析結果に基づく画像解析を実行する後段解析手段と、
   前記第１の前段解析手段による前記解析結果および前記第２の前段解析手段による前記解析結果を、通信回線を介して前記第１の前段解析手段および前記第２の前段解析手段から前記後段解析手段に向けて、それぞれ送信する送信手段と、
   を備え、
   前記第１の前段解析手段および前記第２の前段解析手段は、それぞれ、前記画像解析として、前記画像を構成する画像フレームに対して輪郭抽出処理を実行し、前記解析結果として輪郭抽出処理の結果を出力し、
   前記後段解析手段は前記輪郭抽出処理の結果における画像フレーム間の相違に基づく画像解析を実行し、
   前記第１の前段解析手段、前記第２の前段解析手段および前記後段解析手段は、互いに異なるコンピュータにより構成されることを特徴とする画像解析システム。
3. カメラを介して取り込んだ画像を解析する画像解析システムにおいて、
   画像を取り込むカメラと、
   前記カメラにより取り込まれた前記画像に基づく画像解析を実行する前段解析手段と、
   前記前段解析手段による解析結果に基づく画像解析を実行する第１の後段解析手段と、
   前記前段解析手段による解析結果に基づく画像解析を実行する第２の後段解析手段と、
   前記前段解析手段による前記解析結果を、通信回線を介して前記前段解析手段から前記第１の後段解析手段および前記第２の後段解析手段に向けて、それぞれ送信する送信手段と、
   を備え、
   前記前段解析手段は、前記画像解析として、前記画像を構成する画像フレームに対して輪郭抽出処理を実行し、前記解析結果として輪郭抽出処理の結果を出力し、
   前記第１の後段解析手段および前記第２の後段解析手段は、それぞれ、前記輪郭抽出処理の結果における画像フレーム間の相違に基づく画像解析を実行し、
   前記前段解析手段、前記第１の後段解析手段および前記第２の後段解析手段は、互いに異なるコンピュータにより構成されることを特徴とする画像解析システム。
4. 前記通信回線は複数の装置を接続可能な共通回線であることを特徴とする請求項２または３に記載の画像解析システム。
5. 前記後段解析手段は前記輪郭抽出処理の結果における画像フレーム間の相関を解析する処理を実行することを特徴とする請求項１〜４のいずれか１項に記載の画像解析システム。

Images