JP6363130B2 - 監視カメラシステムにおける監視方法、差分画像作成方法、画像復元方法、及び差分検出装置 - Google Patents

Description

本発明は、防犯や管理等のために、撮影した画像やデータをサーバに転送し、蓄積させる監視カメラシステムにおける監視方法と、差分画像作成方法、画像転送方法、及び画像転送に適した差分検出装置、また、転送されたデータについて端末で表示できる画像に復元する画像復元方法に関する。

従来、防犯や調査あるいは管理といった目的で、集合住宅などの建物の出入口や店頭あるいは街頭、工場や配送センター等、監視対象となるポイントを監視用カメラにより適時監視し、監視結果を、インターネットその他電気通信回線を介して、ユーザ端末のモニターに送出し、モニターするカメラシステムが導入されている。静止画を撮影して、サーバで取得した画像を圧縮してから端末に表示するカメラシステムも開発されているが（例えば、特許文献１参照）、一般には、カメラで撮影した動画を記録するシステムの方が知られている（例えば、特許文献２参照）。

特開２０１３−５１５３４号公報 特開２００２−７７８８２号公報

しかし、従来のシステムでは、サーバにおいては画像圧縮ができるが、監視カメラからサーバまでの転送では、転送容量が大きく、特に動画の場合に顕著であるという問題があった。

また、監視カメラからサーバまでの転送容量を小さくするには、撮影間隔を長くして転送するフレーム数を減らすか、解像度を下げて撮影することが必要となるという問題があった。

したがって、本発明の第１の目的は、上記した課題を解決し、録画サーバへの転送フレーム数を落とさず、また解像度も落とさずに、録画サーバへの転送容量の削減を可能とする差分画像作成方法、及びこれを用いた画像転送方法と、差分検出装置、並びに監視カメラシステムにおける監視方法を提供することにある。また、本発明の第２の目的は、かかる方法で転送されたデータについて端末で表示できる画像に復元する画像復元方法を提供することにある。

本発明の第１の態様は、上記目的を達成するため、第１の全画像と、前記第１の全画像の次に連続して取得した第２の全画像に基づき、前記第１の全画像と前記第２の全画像の差分画像であって、前記第１の全画像と前記第２の全画像とが相違しないエリアをマスクエリアとした第１の差分画像を作成するステップ、
前記第２の全画像から前記第１の差分画像との差分画像であって、前記第１の差分画像のマスクエリア以外については第２の全画像の対応部分とし、第１の差分画像のマスクエリアについては透明色情報を設定した第２の差分画像を作成するステップ、
を含むことを特徴とする差分画像作成方法を提供する。

本発明の第１の態様によれば、後で元の全画像を復元でき容量が小さい差分画像を作成できるので、画像データをサーバへ転送する際に、録画サーバへの転送フレーム数を落とさず、また解像度も落とさずに、録画サーバへの転送容量の削減を可能とする。転送容量の点から、仮に全画像２枚で１秒１コマの画像取得が限界であった場合でも、本態様によれば、１秒３コマの画像取得が実現できる。

なお、「画像」は、静止画像と動画像の両方の意味を含む言葉であるが、本願においては、特に区別するときには、静止画像を「画像」、動画像を「映像」と表示する。

本発明の第２の態様は、上述した本発明の第１の態様の差分画像作成方法によって作成された差分画像の復元方法であって、前記第１の全画像に前記第２の差分画像を合成するステップを含むことを特徴とする画像復元方法を提供する。

本発明の第２の態様によれば、解像度の高い画像を復元できるので、高解像度の動画を再生できる。

本発明の第３の態様は、動画を撮影するカメラ群及び／又は静止画を撮影するカメラ群の各カメラに接続され、ルータとインターネットとを介して録画サーバに接続され、画像を保存するフォルダを有する差分検出装置であって、
一定時間毎又は前記録画サーバからの全画像要求を受信する毎に、前記カメラから全画像を取得し、全画像転送用の全画像とし、前記フォルダに前記全画像転送用の全画像を保存するとともに、前記録画サーバに前記全画像転送用の全画像を転送する全画像転送手段、
前記一定時間中の所定時間毎又は前記録画サーバからの差分画像要求を受信する毎に、前記カメラから全画像を取得し、差分画像転送用の全画像とする差分画像用全画像取得手段、
前記フォルダに保存されている全画像を抽出する抽出手段、
前記抽出手段で抽出された全画像と前記差分画像用全画像取得手段で取得された差分画像転送用の全画像との差分画像であって、前記抽出手段で抽出された全画像と前記差分画像用全画像取得手段で取得された差分画像転送用の全画像とが相違しないエリアをマスクエリアとした第１の差分画像を作成する第１の差分画像作成手段、
前記差分画像用全画像取得手段で取得された差分画像転送用の全画像から前記第１の差分画像との差分画像であって、前記第１の差分画像のマスクエリア以外については、前記差分画像用全画像取得手段で取得された差分画像転送用の全画像の対応部分とし、前記第１の差分画像のマスクエリアについては透明色情報を設定した第２の差分画像を作成する第２の差分画像作成手段、
前記録画サーバに前記第２の差分画像を転送する差分画像転送手段、
前記フォルダに保存されている全画像を前記差分画像用全画像取得手段で取得された差分画像転送用の全画像に置き換える全画像置換手段、
を有することを特徴とする差分検出装置を提供する。

本発明の第３の態様によれば、カメラ群から画像データを録画サーバへ転送する際に、録画サーバへの転送フレーム数を落とさず、また解像度も落とさずに、録画サーバへの転送容量の削減を可能とする。

本発明の第４の態様は、動画を撮影するカメラ群及び／又は静止画を撮影するカメラ群と、前記カメラ群のカメラに接続され画像を保存するフォルダを有する差分検出装置と、前記差分検出装置にルータ及びインターネットを介して接続された録画サーバと、を有する監視カメラシステムにおける監視方法であって、
一定時間毎又は前記録画サーバからの全画像要求を受信する毎に、前記差分検出装置が、前記カメラから全画像を取得し、全画像転送用の全画像とし、前記フォルダに前記全画像転送用の全画像を保存するとともに、前記録画サーバに前記全画像転送用の全画像を転送する全画像転送ステップを含み、
かつ、
前記一定時間中の所定時間毎又は前記録画サーバからの差分画像要求を受信する毎に、
前記差分検出装置が、前記カメラから全画像を取得し、差分画像転送用の全画像とする差分画像用全画像取得ステップと、
前記差分検出装置が、前記フォルダに保存されている全画像を抽出する抽出ステップと、
前記差分検出装置が、前記抽出ステップで抽出された全画像と前記差分画像用全画像取得ステップで取得された差分画像転送用の全画像との差分画像であって、前記抽出ステップで抽出された全画像と前記差分画像用全画像取得手段で取得された差分画像転送用の全画像とが相違しないエリアをマスクエリアとした第１の差分画像を作成する第１の差分画像作成ステップと、
前記差分検出装置が、前記差分画像用全画像取得抽出ステップで取得された差分画像転送用の全画像から前記第１の差分画像との差分画像であって、前記第１の差分画像のマスクエリア以外については、前記差分画像用全画像取得ステップで取得された差分画像転送用の全画像の対応部分とし、前記第１の差分画像のマスクエリアについては透明色情報を設定した第２の差分画像を作成する第２の差分画像作成ステップと、
前記差分検出装置が、前記録画サーバに前記第２の差分画像を転送する差分画像転送ステップと、
前記差分検出装置が、前記フォルダに保存されている全画像を前記差分画像用全画像取得ステップで取得された差分画像転送用の全画像に置き換える全画像置換ステップ、
の各ステップを順に繰り返すことを含み、
かつ、
前記録画サーバが、前記差分検出装置から取得した全画像を保存する全画像保存ステップ、
前記録画サーバが、前記差分検出装置から取得した差分画像をその一つ前の時点の全画像に合成して全画像として保存する差分画像変換ステップを含むことを特徴とする監視カメラシステムにおける監視方法を提供する。

本発明の第４の態様によれば、録画サーバへの転送フレーム数を落とさず、また解像度も落とさずに、録画サーバへの転送容量の削減を可能とするうえ、録画サーバにおいて解像度の高い画像を復元できるので、高解像度の動画を再生できる。また、ローカルネットワーク以外にも動画カメラを設置してインターネット網を介したデータ取得が可能となる。また、互いにインターネット網を介して接続されたカメラからサーバに画像を送信する際に、所定のタイミングでの全画像の他、データ量が小さく差分画像より前の画像と組みわせて元の画像に復元可能な差分データを作成してから転送できるので、インターネット網を流れる転送容量を削減することができる。

さらに、前記全画像転送ステップ及び前記差分画像用全画像取得ステップにおいて、前記カメラから全画像を取得した後、前記フォルダに保存されている全画像と画像の色構成を比較し、光量変化によるノイズを除去してから保存することが好ましい。

屋外等での太陽の光の影響や、屋内での照明の点灯消灯の影響等で生じる画像の色調の変化による差分量を軽減できるので、外部環境の画像がすこしずつ変化するような箇所に設置された監視用カメラでも差分を小さくできるので転送量を削減できる。

本発明において、「ネットワーク」には、ＬＡＮやインターネット、Ｗｉ−Ｆｉ回線、３Ｇ／ＬＴＥ回線、専用線等の通信網及びそれらの組合せから構成されるネットワークを含む。前記カメラ群は、静止画を撮影するカメラ群及び動画を撮影するカメラ群のいずれか又は両方であって、前記カメラ群に撮影させる画像が、静止画及び動画のいずれか又は両方であってもよい。各カメラは、出力機能と、静止画撮影機能及び／又は動画撮影機能を有する。カメラはＩＰカメラであることが好ましいが、アナログカメラでも可能である。静止画を撮影するカメラ群から取得した画像について、動画への圧縮形式は、現時点で高圧縮であるＨ．２６４であることがさらに好ましい。軽量で、ハードウェア、ソフトウェアいずれであっても実装が容易である。また、本態様においては、前記カメラ群のうち、動画を撮影するカメラは、前記録画サーバとＬＡＮネットワークで接続される必要がなく、３Ｇ／ＬＴＥ回線を介してインターネットに接続された動画の監視用カメラであっても、復元して解像度の高い動画を再生できるデータを録画サーバに転送でき、動画の監視用カメラを置ける範囲が広くなる。なお、録画サーバはクラウドサーバであってもよい。

本発明によれば、録画サーバへの転送フレーム数を落とさず、また解像度も落とさずに、録画サーバへの転送容量の削減を可能とする。

本発明の差分画像作成方法の実施例１を利用する監視カメラシステムのシステム構成の一例を示す図である。 本発明の差分画像作成方法の実施例１の録画サーバの構成図である。 本発明の差分画像作成方法の実施例１の差分検出装置の構成図である。 本発明の差分画像作成方法の実施例１の端末（モバイル）の構成図である。 本発明の差分画像作成方法の実施例１の端末（ＰＣ）の構成図である。 本発明の差分画像作成方法の実施例１における監視用カメラから録画サーバへのデータ送信のイメージ図である。 本発明の差分画像作成方法の実施例における差分抽出方法及び本発明の差分画像作成方法の実施例により作成された差分画像からの画像復元方法の説明図である。 本発明の差分画像作成方法の実施例１における監視用カメラ（静止画用）と録画サーバとの接続から一次画像データ書き込みまでの手順概要を示すフロー図である。 本発明の差分画像作成方法の実施例１におけるカメラ（動画撮影）と録画サーバとの接続から一次画像データ書き込みまでの手順概要を示すフロー図である。 本発明の差分画像作成方法の実施例１における画像の変換方法を示すイメージ図である。

以下、本発明について、実施例を用いて本発明を具体的に説明するが、本発明はこれらに限定されるものではない。

実施例１の差分画像作成方法は、ネットワークを介して録画サーバで監視用カメラを作動させて、録画サーバが動画及び静止画のカメラ画像を撮影・収集・編集・保存し、録画サーバがユーザの端末に端末からの要求に応じてネットワークを介してモニターする画像を送信する監視カメラシステムにおける監視方法に用いる差分画像作成方法である。実施例１の差分画像作成方法に用いる実施例１の差分検出装置と、上記監視カメラシステムにおける実施例１の監視カメラの画像転送方法と実施例１の画像復元方法についても合わせて説明する。

上記監視カメラシステムは、実施例１の画像復元方法によって復元された画像を端末等に送信して、ライブ画像の再生・巻戻し・早送りもリライブ再生も行うものである。また、上記監視カメラシステムは、復元された画像を圧縮して保存し、画像を端末等に送信して、過去の画像の再生・巻戻し・早送りも行うものである。本実施例では、静止画像の差分転送により、カメラから録画サーバへの転送容量を少なくでき、現地に録画サーバを設置せずにクラウドサーバ等での静止画像収集が可能となる。また、単純な静止画像収集に比べて、フレーム数の増加、もしくは解像度の拡大が可能となる。

｛構成｝
図１は、本発明の差分画像作成方法の実施例１を利用する監視カメラシステムのシステム構成の一例を示す図である。ＬＡＮやインターネット、Ｗｉ−Ｆｉ回線、３Ｇ／ＬＴＥ回線、専用線等の通信網の組み合わせから構成されるネットワーク５００上には、（１）画像を撮影するカメラとして、複数台の監視用カメラ（動画用）７００Ａ〜Ｃと複数台の監視用カメラ（静止画用）７０１Ａ〜Ｃ、（２）監視用カメラ（動画用）７００Ｂ、Ｃ・監視用カメラ（静止画用）７０１Ｂ、Ｃのそれぞれに接続されており、監視用カメラで撮影した画像を取得して録画サーバ１００に転送する差分検出装置４００Ａ〜Ｄ、（２）差分検出装置４００にルータ６００Ａ〜Ｄ及びインターネットを介して接続され、差分検出装置４００から画像データを取得し蓄積し端末に送信する録画サーバ１００、（３）ネットワーク５００を介して録画サーバ１００と接続され、録画サーバ１００からの画像データを受信して表示する端末として、スマートフォンなどのモバイル端末２００Ａ、Ｂや、デスクトップＰＣ（パーソナルコンピュータ）やノートＰＣなどの閲覧ＰＣ３００Ａ〜Ｃが接続されている。録画サーバ１００にはＬＡＮを介して監視用カメラ（動画用）７００Ａと監視用カメラ（静止画用）７０１Ａにも接続されているが、本実施例の差分画像作成方法は、録画サーバ１００とＬＡＮ上で接続されたカメラについては対象としていないため、以下で述べるカメラには、録画サーバ１００とＬＡＮ上で接続されたカメラ（図１では監視用カメラ（動画用）７００Ａと監視用カメラ（静止画用）７０１Ａで例示される）を含まない。図１中では、監視用カメラ（動画用）で撮影された動画（ストリーム動画）の流れを点線矢印で図示している。なお、以下、モバイル端末と閲覧ＰＣとをまとめるときは、「端末」又は「Ｖｉｅｗｅｒ」という。

録画サーバ１００は、監視用カメラ（動画用）７００Ｂ、Ｃ及び監視用カメラ（静止画用）７０１Ｂ、Ｃとは、インターネットを含むネットワーク５００を介して接続されている。本実施例では、録画サーバ１００と同じＬＡＮ以外のネットワーク上にも、静止画を撮影する監視用カメラのみならず、動画を撮影する監視用カメラを設けることができる。監視用カメラ（動画用）７００Ｂ、Ｃ、監視用カメラ（静止画用）７０１Ｂ、Ｃには、それぞれ差分検出装置４００Ｄ、Ｃ、Ｂ、Ａが接続されている。録画サーバ１００が接続されたＬＡＮとルータ６００Ａを介して接続されたインターネット網には、３Ｇ／ＬＴＥ回線が接続され、またルータ６００Ｃを介して別のＬＡＮが接続されている。差分検出装置４００Ｄは、ルータ６００Ｄと３Ｇ／ＬＴＥ回線を介してインターネット網に接続されており、差分検出装置４００Ｂは、ルータ６００Ｂと３Ｇ／ＬＴＥ回線を介してインターネット網に接続されている。差分検出装置４００Ａ、Ｃは、録画サーバ１００とは異なるＬＡＮに接続されている。図１は、監視用カメラ（動画用）及び監視用カメラ（静止画用）や閲覧ＰＣやモバイル端末を、録画サーバと複数のネットワークを介して接続した接続例を示すものであり、これに限定されない。本実施例では、監視用カメラ（静止画用）４０１と録画サーバ１００との通信及び監視用カメラ（動画用）４００と録画サーバ１００との通信は、セッションを確立してから通信を開始する信頼性の高いＴＣＰで行うが、セッションを確立しないでデータを送信する早くてリアルタイム性に優れたＵＤＰでもよく、ＴＣＰ、ＵＤＰどちらのプロトコルでも画像を取得できる。

監視用カメラ（動画用）や監視用カメラ（静止画用）は、本実施例ではＩＰカメラであるが、アナログカメラでもよい。ただし、アナログの場合、変換器を要する。画像表示用の端末である閲覧ＰＣ３００も、録画サーバ１００と同じＬＡＮ内に存在する場合に限らず、インターネットやＬＡＮやＷｉ-Ｆｉ回線等、複数のネットワークを介して接続されていてもよい。画像表示用の端末であるモバイル端末２００についても、ＬＡＮ、インターネット、携帯電話用ネットワーク（Ｗｉ−Ｆｉ回線や３Ｇ／ＬＴＥ回線等）等、複数のネットワークを介して接続されていてもよい。なお、ＬＡＮとインターネット間や、監視用カメラ（動画用）及び監視用カメラ（静止画用）とインターネット間は、ルータ６００を介する。

１台の録画サーバ１００は、複数台の監視用カメラ（動画用）７００からカメラ動画を、また複数台の監視用カメラ（静止画用）７０１からカメラ静止画を取得することができる。本実施例では、録画サーバ１００側がネットワークトラフィックを自動的に分散させるので、ネットワーク設計が不要で、カメラをポートに繋ぐだけで済むため、作業が非常に簡便となる。また、通信が不通になった場合にも再開が容易である。

なお、本実施例と異なるが、録画サーバから差分検出装置にアクセスせずに、差分検出装置から録画サーバに画像を転送する方式（変形例）でも良い。かかる変形例の場合は、通信が不通になったときに録画サーバ側で状況把握できない一方、ルータのポート変更の必要がないというメリットがある。変形例での処理としては、差分検出装置内のタイマーで、１秒などのタイミングで画像取得を行い録画サーバに転送し、転送が正常に終わってから、１秒等の設定時間でスリープをする。

従来のＩＰカメラシステムでは、動画を取得する監視用カメラは、録画サーバと同じＬＡＮ上に置かないとネットワークへの負担が過大となったが、本実施例では、録画サーバへの転送フレーム数を落とさず、また解像度も落とさずに、録画サーバへの転送容量の削減を可能とするので、インターネット上、また、携帯端末等、３Ｇ／ＬＴＥ回線上にも動画用の監視用カメラを設けることができるため、自由度が非常に高くなる。

図２は、本発明の差分画像作成方法の実施例１の録画サーバの構成図である。録画サーバ１００は、キャッシュメモリであるメモリ１０２を伴うＣＰＵ１０１やデバイスドライバ等を有する制御・演算装置と、ＤＲＡＭ等の主記憶装置やハードディスク等の補助記憶装置を有する記憶装置１１０と、ネットワークインターフェース１０４等の通信制御装置や表示装置としてのディスプレイ１０３、キーボード１０５、マウス１０６等で構成される入出力装置とを備えている。記憶装置１１０には、一次画像フォルダ１１１と二次映像フォルダとプログラム１１３と認証用データベースと環境設定フォルダ等の他、オペレーティングシステム１１４が格納されている。プログラム１１３は、通常、記憶装置１１０の補助記憶装置に格納されており、実行時には主記憶装置にロードされる。一次画像フォルダ１１１には、差分検出装置４００から取得した、全画像と、差分画像から作成された全画像と、で構成される全画像のみからなる動画を一次データとして蓄積し、二次映像フォルダには、一次画像フォルダ１１１内に蓄積された一定時間分の一次データを動画圧縮変換して二次データとして蓄積する。プログラム１１３には、撮影・収集・編集プログラムや送信プログラム等、各種プログラムを含む。認証用データベースには、ＩＤ、パスワード、各監視用カメラ７００、７０１やモバイル端末２００や閲覧ＰＣ３００のポート番号とＩＰアドレス、ＩＰアドレスのない端末では個体識別情報（ＵＩＤ）が蓄積されている。本実施例では、録画サーバ１００は、録画サーバと端末が一体となっており、自ら画像を表示する端末の役割も果たすため、また、メンテナンスや管理のため、ディスプレイ１０３、また入力手段としてのキーボード１０５やマウス１０６を有している。録画サーバでカメラ画像の再生を要しない場合は、画像表示装置としての端末機能はなくてもよい。環境設定フォルダには、各差分検出装置からの画像取得タイミング、一次データや二次データの作成間隔、圧縮条件等が蓄積されている。録画サーバ１００は、設置型のサーバであるが、クラウドサーバであってもよい。

録画サーバ１００は、インターネットを介して接続された監視用カメラ（静止画用）７０１には、差分検出装置４００に画像要求することにより、静止画で画像を取得させて、監視用カメラ毎の差分検出装置４００において、全画像のまま或いは差分画像に変換して録画サーバ１００に送信させる。録画サーバ１００は、インターネットを介して接続された監視用カメラ（動画用）７００には、差分検出装置４００に画像要求することにより、動画で画像を取得させて、監視用カメラ毎の差分検出装置４００において、全画像のまま或いは差分画像に変換して録画サーバ１００に送信させる。

録画サーバ１００は、ＣＰＵ１０１が、撮影・収集・編集プログラムをメモリ１０２にロードして実行することにより本実施例の差分画像作成方法を利用する監視方法における差分検出装置からの画像取得から編集保存までが可能なコンピュータの機能を実現する。録画サーバ１００は、ＣＰＵ１０１が、送信プログラムをメモリ１０２にロードして実行することにより端末への画像送出処理が可能なコンピュータの機能を実現する。ＣＰＵ１０１は、通常のコンピュータに搭載する演算処理装置であり、各種プログラムを実行し、各種制御等を行う。

録画サーバ１００は、１台のサーバとする他、複数の録画サーバからなるサーバ群であってもよい。例えば、二次映像フォルダについて、一定期間（例えば２４時間）経過後の二次データについては、保存先を、カメラ画像を取得する録画サーバと別の録画サーバに設けた二次映像フォルダとしてもよい。頻繁には再生しない過去の保存データを別にすることで、さらに多くの台数のカメラを同一ネットワーク上で監視可能となる。

撮影・収集・編集プログラムは、コンピュータに、（１）差分検出装置との接続を行う差分検出装置接続機能、（２）一定時間（例えば１秒）毎に、接続した差分検出装置に画像を録画サーバに入力させる画像取得機能、（３）差分検出装置から取得した画像が差分画像かを判断する差分画像判断機能、差分検出装置から取得した全画像を保存する全画像保存機能、（４）差分検出装置から取得した差分画像をその一つ前の時点の全画像に合成して全画像として保存する差分画像変換機、（５）取得又は合成した全画像を次回画像生成までメモリに保持する画像保持機能、（６）取得又は合成した全画像を一次データとして一次画像フォルダに蓄積する一次データ作成機能を実現させるためのプログラムである。

本実施例では、撮影・収集・編集プログラムは、より好ましい態様として、さらに、コンピュータに、一次データを、一定時間分（例えば１０分分）毎に結合させタイムスタンプを付して動画形式で圧縮した二次データに変換する二次データ作成機能をも実現させるためのプログラムである。一次データは、全て全画像（カメラ画像が動画の場合はＩフレーム（イントラフレーム））であり、二次データは、カメラ画像が静止画の場合でも動画形式に圧縮し、カメラ画像が動画の場合、例えば、Ｉフレームを２００フレームにつき１枚の割合とし、Ｐフレーム（予測インターフレーム）だけでなくＢフレーム（双方向予測インターフレーム）を組み合わせて挿入し、劣化せずに容量を削減する。本実施例では、未来のＩフレームを参照することができるので、Ｂフレームを挿入できる。Ｂフレームは前後比較差分であるので、Ｐフレームよりも小さくなる。

送信プログラムは、コンピュータに、端末との接続を行う端末接続機能、端末にカメラ一覧を表示して端末からのカメラの選択を受け付ける画像選択受付機能、選択されたカメラについて一次データの画像をライブ画像として端末に送信するライブ画像送信機能、端末よりライブ画像からの巻戻し要求を受け付けるライブ画像巻戻し受付機能、巻戻し要求毎に、端末に前回送信した画像より一定時間分（例えば１秒分）過去の時点の一次データを抽出して巻戻しライブ画像として端末に送信する巻戻しライブ画像送信機能、端末より巻戻しライブ画像からの早送り要求を受け付ける巻戻しライブ画像早送り受付機能、早送り要求毎に、現時点の画像に達するまでは、端末に前回送信した画像より一定時間分（例えば１秒分）未来の時点の一次データを抽出して早送りライブ画像として端末に送信する早送りライブ画像送信機能をも実現させるためのプログラムである。「現時点の画像」とは、差分検出装置から取得した最新の画像を意味する。したがって、現時点の画像は、差分検出装置からの画像が録画サーバに入力される度に、新しい画像に変わる。

送信プログラムは、さらに、コンピュータに、端末より巻戻しライブ画像からのリライブ画像要求を受け付けるリライブ画像受付機能、リライブ画像要求毎に、端末に前回送信した画像より一定時間分、詳細には、差分検出装置４００から録画サーバ１００への画像取得間隔分、未来の時点の一次データを抽出して早送りライブ画像として端末に送信するリライブ画像送信機能をも実現させるためのプログラムである。なお、ここで「リライブ画像」は、ライブ画像から過去へ巻き戻しての再生画像を指す。

本実施例では、端末２００、３００と録画サーバ１００との接続もＴＣＰ／ＩＰ方式で行い、ユーザＩＤとパスワードで認証を行って、端末が録画サーバに登録してある端末であることを確認してから画像送信を行う。認証は、録画サーバ上の認証用データベースによる認証が好ましい。

端末が同じＬＡＮ上になくても録画サーバがルータを介してネットワークで繋がっていれば、接続するルータのＩＰアドレスとルータに割り振られたポート番号で録画サーバから画像（全画像若しくは圧縮画像）の取得を行う。端末の接続には、端末認証時に登録したＵＩＤを利用して端末の認証を行う。

録画サーバ１００は、モバイル端末２００の接続開始時にＵＩＤを用いた端末固有情報を元に端末を特定するため、ユーザＩＤとパスワードの認証及び端末固有情報の一致により画像表示を可能とする。

図３は、本発明の差分画像作成方法の実施例１の差分検出装置の構成図である。差分検出装置４００は、メモリ４０２を伴うＣＰＵ４０１やデバイスドライバ等を有する制御・演算装置と、ＤＲＡＭ等の主記憶装置やハードディスク等の補助記憶装置を有する記憶装置４１０と、ネットワークインターフェース４０４等の通信制御装置や、メンテナンス時のみ接続して用いる表示装置としてのディスプレイ４０３、キーボード４０５、マウス４０６等で構成される入出力装置とを備えている。記憶装置４１０には、蓄積フォルダ４１１や環境設定フォルダや差分検出プログラム４１３やオペレーティングシステム４１４が格納されている。蓄積フォルダ４１１は、画像を保存するフォルダであって、蓄積フォルダ４１１には、監視用カメラ（動画用）７００及び監視用カメラ（静止画用）７０１から取得したカメラ画像の全画像と、先に記憶した全画像と次に記憶した差分画像転送用の全画像とが相違しないエリアをマスクエリアとした第１の差分画像と、第１の差分画像のマスクエリア以外については差分画像転送用の全画像の対応部分とし第１の差分画像のマスクエリアについては透明色情報を設定した第２の差分画像と、を蓄積する。環境設定フォルダには、ノイズ除去条件や、全画像を保存するカメラ画像か差分画像を保存するカメラ画像かを判断する条件等が蓄積されている。

差分検出装置４００は、録画サーバ１００とインターネットを介して接続された監視用カメラ（動画用）７００及び監視用カメラ（静止画用）７０１に、一台につき一台ずつ接続されている。

差分検出装置４００は、本実施例では、録画サーバ１００によって、差分検出装置４００が接続している監視用カメラ（動画用）７００或いは監視用カメラ（静止画用）７０１への接続要求及びカメラ画像要求を制御され、監視用カメラ（動画用）７００や監視用カメラ（静止画用）７０１から取得したカメラ画像を所定の画像にして録画サーバ１００に送信する。

差分検出装置４００は、ＣＰＵ４０１が、差分検出プログラム４１３をメモリ４０２にロードして実行することにより本実施例の差分画像作成方法を利用する監視方法におけるカメラ画像取得から編集保存、そして録画サーバへの送信までが可能なコンピュータの機能を実現する。ＣＰＵ４０１は、通常のコンピュータに搭載する演算処理装置であり、各種プログラムを実行し、各種制御等を行う。

差分検出プログラム４１３は、コンピュータに、（１）録画サーバからの監視用カメラとの接続要求を受信する毎に、監視用カメラとの接続を行うカメラ接続機能、（２）録画サーバからの全画像要求を受信する毎に、接続した監視用カメラ（動画用）或いは監視用カメラ（静止画用）から全画像を取得し、全画像転送用の全画像とし、蓄積フォルダに全画像転送用の全画像を保存するとともに、録画サーバに全画像転送用の全画像を転送する全画像転送機能、（３）録画サーバからの差分画像要求を受信する毎に、接続した監視用カメラ（動画用）或いは監視用カメラ（静止画用）から全画像を取得し、差分画像転送用の全画像とする差分画像用全画像取得機能、（４）蓄積フォルダに保存されている全画像を抽出する抽出機能、（５）抽出機能により抽出された全画像と差分画像用全画像取得機能により取得された差分画像転送用の全画像との差分画像であって、抽出機能により抽出された全画像と差分画像用全画像取得機能により取得された差分画像転送用の全画像とが相違しないエリアをマスクエリアとした第１の差分画像を作成する第１の差分画像作成機能、（６）差分画像用全画像取得機能により取得された差分画像転送用の全画像から第１の差分画像との差分画像であって、第１の差分画像のマスクエリア以外については、差分画像用全画像取得機能により取得された差分画像転送用の全画像の対応部分とし、第１の差分画像のマスクエリアについては透明色情報を設定した第２の差分画像を作成する第２の差分画像作成機能、（７）録画サーバに第２の差分画像を転送する差分画像転送機能、（８）蓄積フォルダに保存されている全画像を差分画像用全画像取得機能により取得された差分画像転送用の全画像に置き換える全画像置換機能、を実現させるためのプログラムである。

なお、録画サーバからの全画像要求や差分画像要求を受信する毎にカメラから全画像を取得する代わりに、一定時間（例えば１秒）毎に、接続した監視用カメラ（動画用）或いは監視用カメラ（静止画用）から全画像を取得するものであってもよい。

なお、差分画像用全画像取得機能は、本実施例においては、さらに、監視用カメラ（動画用）又は監視用カメラ（静止画用）から全画像を取得した後、蓄積フォルダに保存されている全画像と画像の色構成を比較し、光量変化によるノイズを除去してから保存する機能を含む。

本実施例では、差分検出装置を介しての監視用カメラと録画サーバとの接続はＴＣＰ／ＩＰ方式で行い、監視用カメラを特定するため、録画サーバ側で設定したユーザＩＤとパスワードで認証を行ってからカメラ画像の撮影等の要求を行う。認証は、録画サーバ上の認証用データベースによる認証が好ましい。

カメラが同じＬＡＮ上になくてもルータを介してネットワークで繋がっていれば、接続するルータのＩＰアドレスとルータに割り振られたポート番号で差分検出装置から画像（全画像若しくは差分画像）の取得を行う。グローバルＩＰを持たない環境で接続されているときは、差分検出装置から録画サーバに向けて画像（全画像若しくは差分画像）転送を行う。この際は、録画サーバ側ルータのポート番号を開放し、録画サーバにポート転送する。

録画サーバ１００は、ローカル環境（例えば、同じＬＡＮ上）にある監視用カメラ接続開始時にＩＰアドレス及びポート番号を用いた接続によって接続相手を特定でき、ユーザＩＤとパスワードで認証する。録画サーバ１００は、インターネット網を介する等、遠隔環境にある監視用カメラとの接続では、ルータのポート転送（ポートフォワーディングなどとも表現される）を用いることで、グローバルＩＰアドレス及びポート番号を用いて接続相手を特定する。

図４は、本発明の差分画像作成方法の実施例１の端末（モバイル）の構成図である。モバイル端末２００は、メモリ２０２を伴うＣＰＵ２０１やデバイスドライバ等を有する制御・演算装置と、記憶装置２１０、データの送受信等を行う通信制御装置、表示装置としてのディスプレイ２０３、操作ボタンあるいはタッチパネル等の入出力装置を備えている。記憶装置２１０には、画像表示プログラム２１３やオペレーティングシステム２１４が格納されている。モバイル端末２００は、例えばスマートフォン等の携帯電話等であり、ＣＰＵ２０１が画像表示プログラム２１３をメモリ２０２にロードして実行することにより本発明の画像表示が可能なコンピュータの機能を実現する。ＣＰＵ２０１は、通常のモバイル端末に搭載する演算処理装置であり、各種プログラムを実行し、各種制御等を行う。

図５は、本発明の差分画像作成方法の実施例１の端末（ＰＣ）の構成図である。閲覧ＰＣ３００は、メモリ３０２を伴うＣＰＵ３０１やデバイスドライバ等を有する制御・演算装置と、ＤＲＡＭ等の主記憶装置やハードディスク等の補助記憶装置を有する記憶装置３１０と、ネットワークインターフェース３０４等の通信制御装置や表示装置としてのディスプレイ３０３、キーボード３０５、マウス３０６等で構成される入出力装置とを備えている。記憶装置３１０には、画像表示プログラム３１３やオペレーティングシステム３１４が格納されている。閲覧ＰＣ３００は、例えばデスクトップＰＣやノートＰＣ、タブレット端末等であり、ＣＰＵ３０１が画像表示プログラム３１３をメモリ３０２にロードして実行することにより本発明の画像表示が可能なコンピュータの機能を実現する。ＣＰＵ３０１は、通常のＰＣに搭載する演算処理装置であり、各種プログラムを実行し、各種制御等を行う。

画像表示プログラムは、コンピュータに、録画サーバとの接続を行う端末接続機能、録画サーバから送信された画像を表示する画像表示機能を実現させるためのプログラムである。

画像表示プログラムは、より好ましい態様として、さらに、コンピュータに、ライブ画像表示中に、監視用カメラから録画サーバへのカメラ画像取得間隔毎に、ライブ画像を録画サーバに要求するライブ画像要求機能、ライブ画像表示中に、巻戻し要求の入力を受け付け、巻戻しライブ画像を録画サーバに要求する巻戻し開始要求機能、巻戻しライブ画像表示中に、ライブ画像の要求間隔より短い一定時間（例えば０．２秒）毎に、巻戻しライブ画像を録画サーバに要求する巻戻し継続要求機能、巻戻しライブ画像表示中に、ユーザからの早送り要求の入力を受け付け、早送りライブ画像を録画サーバに要求する巻戻しライブ画像早送り開始要求機能、早送りライブ画像表示中に、ライブ画像の要求間隔より短い一定時間（例えば０．２秒）毎に、早送りライブ画像を録画サーバに要求する巻戻しライブ画像早送り継続要求機能をも実現させるためのプログラムである。

本実施例では、画像表示プログラムは、より好ましい態様として、さらに、コンピュータに、巻戻しライブ画像表示中に、リライブ画像要求の入力を受け付け、リライブ画像を録画サーバに要求するリライブ画像開始要求機能、リライブ画像表示中に、カメラから録画サーバへのカメラ画像取得間隔毎に、リライブ画像を録画サーバに要求するリライブ画像継続要求機能をも実現させるためのプログラムである。

本実施例においては、録画サーバ１００と閲覧ＰＣ３００と差分検出装置４００とは、ともにパーソナルコンピュータとして構成され、通常のパーソナルコンピュータが有するクロック機能等を備えている。モバイル端末２００もクロック機能等を備えている。

本実施例の差分検出方法では、実施例１の差分検出装置４００は、動画を撮影するカメラ群と静止画を撮影するカメラ群の各カメラ（監視用カメラ（動画用）７００・監視用カメラ（静止画用）７０１）に接続され、ルータ６００とインターネットを含むネットワーク５００とを介して録画サーバ１００に接続され、画像を保存する蓄積フォルダ４１１を有する差分検出装置であって、（１）録画サーバ１００からの監視用カメラ（動画用）７００又は監視用カメラ（静止画用）７０１との接続要求を受信する毎に、監視用カメラ（動画用）７００又は監視用カメラ（静止画用）７０１との接続を行うカメラ接続手段、（２）一定時間毎又は録画サーバ１００からの全画像要求を受信する毎に、差分検出装置４００が接続している監視用カメラ（動画用）７００或いは監視用カメラ（静止画用）７０１から全画像を取得し、全画像転送用の全画像とし、蓄積フォルダ４１１に全画像転送用の全画像を保存するとともに、録画サーバ１００に前記全画像転送用の全画像を転送する全画像転送手段、（３）一定時間中の所定時間毎又は録画サーバ１００からの差分画像要求を受信する毎に、差分検出装置４００が接続している監視用カメラ（動画用）７００或いは監視用カメラ（静止画用）７０１から全画像を取得し、差分画像転送用の全画像とする差分画像用全画像取得手段、（４）蓄積フォルダ４１１に保存されている全画像を抽出する抽出手段、（５）抽出手段で抽出された全画像と差分画像用全画像取得手段で取得された差分画像転送用の全画像との差分画像であって、抽出手段で抽出された全画像と差分画像用全画像取得手段で取得された差分画像転送用の全画像とが相違しないエリアをマスクエリアとした第１の差分画像を作成する第１の差分画像作成手段、（６）差分画像用全画像取得手段で取得された差分画像転送用の全画像から第１の差分画像との差分画像であって、第１の差分画像のマスクエリア以外については、差分画像用全画像取得手段で取得された差分画像転送用の全画像の対応部分とし、第１の差分画像のマスクエリアについては透明色情報を設定した第２の差分画像を作成する第２の差分画像作成手段、（７）録画サーバ１００に第２の差分画像を転送する差分画像転送手段、（８）蓄積フォルダ４１１に保存されている全画像を差分画像用全画像取得手段で取得された差分画像転送用の全画像に置き換える全画像置換手段、を設けてある。本実施例では、差分画像用全画像取得手段は、さらに、監視用カメラ（動画用）７００又は監視用カメラ（静止画用）７０１から全画像を取得した後、蓄積フォルダ４１１に保存されている全画像と画像の色構成を比較し、光量変化によるノイズを除去してから保存する。

差分検出装置４００は、前述のハードウェア構成と差分検出プログラム４１３によって、（１）〜（８）の手段として機能する。

本実施例の差分検出方法では、録画サーバ１００は、（１）差分検出装置との接続を行う差分検出装置接続手段、（２）一定時間（例えば１秒）毎に、接続した差分検出装置に画像を録画サーバに入力させる画像取得手段、（３）差分検出装置から取得した画像が差分画像かを判断する差分画像判断手段、差分検出装置から取得した全画像を保存する全画像保存手段、（４）差分検出装置から取得した差分画像をその一つ前の時点の全画像に合成して全画像として保存する差分画像変換手段、（５）取得又は合成した全画像を次回画像生成までメモリに保持する画像保持手段、（６）取得又は合成した全画像を一次データとして一次画像フォルダに蓄積する一次データ作成手段、（６）一次データを、一定時間分（例えば１０分分）毎に結合させタイムスタンプを付して動画形式で圧縮した二次データに変換する二次データ作成手段を設けてある。

録画サーバ１００は、前述のハードウェア構成と撮影・収集・編集プログラムによって、（１）〜（６）の手段として機能する。また、録画サーバ１００は、前述のハードウェア構成と送信プログラムによって、端末へのライブ画像やリライブ画像やそれらの画像の巻戻しや早送り等の画像送信手段として機能する。

また、端末２００、３００に、（１）監視権限のある１又は複数の監視用カメラ７００についてカメラ動画のライブ再生を録画サーバ１００に要求するライブ再生要求手段、（２）録画サーバ１００から送信された一次データを表示するライブ再生表示手段、（３）監視権限のある１又は複数の監視用カメラ７００について過去のカメラ動画の再生を録画サーバ１００に要求する過去映像再生要求手段、（４）録画サーバ１００から送信された二次データを表示する過去映像再生表示手段を設けてある。端末は、前述のハードウェア構成と画像表示プログラム２１３、３１３によって、（１）〜（４）の手段として機能する。

なお、カメラ画像データを圧縮して作成された一次データは、一定時間毎に録画サーバで二次データに変換されているので、端末は、ライブ画像の巻戻しや巻戻し後の早送り以外に、従来の録画再生装置で可能な、過去のカメラ画像の再生や巻戻し、早送りも可能である。高画質でありながらデータ量が小さく、巻戻しライブ合成画像や早送りライブ合成画像は、一次的な保存用に圧縮した一次データを使用するため、高画質ながらデータ量が小さい。頻繁には使用しない、二次データ作成単位以上に過去分の再生や早送り巻戻しは、圧縮変換した動画ファイルである二次データを使用するため、動画ながら保存に要するデータ量が小さくて済む。また、ライブ合成画像の巻戻し後の再生が可能となる。

上述した監視用カメラと差分検出装置と録画サーバと端末とによって構成される監視用カメラシステムは、実施例１の差分画像作成方法と、かかる差分画像作成方法を利用した実施例１の画像転送方法と、かかる画像転送方法によって転送された画像の復元方法である実施例１の画像復元方法を実現する監視カメラシステムであり、差分検出装置から録画サーバへの送信データ量が小さく、ローカル環境以外に動画撮影用カメラを設けてもデータ遅延等の問題が生じにくく、また、録画サーバから端末への送信データ量も小さく、解像度が高く高画質ながらネットワークにかかる負荷が小さい監視システムを実現できる。すなわち、録画サーバへの転送フレーム数を落とさず、また解像度も落とさずに、録画サーバへの転送容量の削減を可能とする。ネットワーク上に同時に流れるデータ量が少なくなるので、一般のインターネット回線などを通じてカメラ画像を録画サーバに流すことができ、また、一般のインターネット回線などにも、ネットワークカメラ情報を流すことができる。さらに、インターネット回線（ＷＡＮ）越しのクラウドサーバでのデータ蓄積を可能にする。

｛手順｝
本発明の差分画像作成方法の実施例１の差分画像作成手順について次に説明する。本手順では、上述した監視用カメラと差分検出装置と録画サーバと端末とによって構成される監視カメラシステムを使用する。

図６は、本発明の差分画像作成方法の実施例１における監視用カメラから録画サーバへのデータ送信のイメージ図である。監視用カメラ（動画用）であるストリームＩＰカメラも、監視用カメラ（静止画用）である静止画ＩＰカメラも、ネットワークＨＵＢを介して差分検出装置に接続されており、差分検出装置は、ネットワークＨＵＢを介してインターネット網に接続されており、録画サーバであるサーバ機は、インターネット網に接続されている。

録画サーバから差分検出装置へ全画像要求や差分画像要求が送信され、差分検出装置は、録画サーバから受信した要求に基づいて監視用カメラ（動画用）や、監視用カメラ（静止画用）に画像要求する。差分検出装置からの要求に基づいて、監視用カメラ（動画用）はストリーム動画を差分検出装置に送信し、監視用カメラ（静止画用）は静止画像を差分検出装置に送信する。差分検出装置に送信されたストリーム動画や静止画像は、差分検出装置において、静止画像である全画像又は差分画像に編集して録画サーバに送信する。したがって、インターネット網には静止画像のみ流れることになり、しかも差分画像では全画像よりデータ量が小さくなるので、ネットワークへの負荷が小さくて済む。

図７は、本発明の差分画像作成方法の実施例における差分抽出方法及び本発明の差分画像作成方法の実施例により作成された差分画像からの画像復元方法の説明図である。

本実施例の差分画像作成方法では、（１）第１の全画像（図７における「Ａ画像」）と、第１の全画像の次に連続して取得した第２の全画像（図７における「Ｂ画像」）に基づき、第１の全画像と第２の全画像の差分画像であって、第１の全画像と第２の全画像とが相違しないエリアをマスクエリアとした第１の差分画像（図７における「Ａ画像とＢ画像の差分」）を作成するステップ、（２）第２の全画像から第１の差分画像との差分画像であって、第１の差分画像のマスクエリア以外については第２の全画像の対応部分とし、第１の差分画像のマスクエリアについては透明色情報を設定した第２の差分画像（図７における「Ｂ画像から差分発生エリアを抽出」＝「差分画像」）を作成するステップ、を含む。図７における「Ａ画像とＢ画像の差分」の絵において、マスクエリアは黒く塗りつぶした部分である。図７における「Ｂ画像から差分発生エリアを抽出」の絵において、黒く塗りつぶした部分は、αチャンネルとし透明色を扱えるフォーマットに変換して、透明色情報を設定したエリアである。これにより、画像容量を削減できる。

上述した差分画像作成方法によって作成された差分画像の復元方法では、第１の全画像（図７における「Ａ画像」）に第２の差分画像（図７における「Ｂ画像から差分発生エリアを抽出」＝「差分画像」）を合成するステップを含む。第１の全画像に第２の差分画像を重ね合わせると第２の全画像（図７における「Ａ画像に差分画像のみを描画」＝「Ｂ画像」）を復元できる。

本実施例の差分画像作成方法では、特に定点で設置する監視カメラのシステムにおいては、差分が小さいので、転送容量の縮小に極めて効果的である。

本実施例の差分画像作成方法を含む監視カメラの画像転送方法は、動画を撮影するカメラ群と静止画を撮影するカメラ群と、カメラ群の各カメラ（監視用カメラ（動画用）・監視用カメラ（静止画用））に接続され画像を保存するフォルダを有する差分検出装置と、差分検出装置にルータ及びインターネットを介して接続された録画サーバと、を有する監視カメラシステムにおける画像転送方法であって、（１）一定時間毎又は録画サーバからの全画像要求を受信する毎に、差分検出装置が、カメラから全画像を取得し、全画像転送用の全画像とし、蓄積フォルダに全画像転送用の全画像を保存するとともに、録画サーバに全画像転送用の全画像を転送する全画像転送ステップを含み、かつ、一定時間中の所定時間毎又は録画サーバからの差分画像要求を受信する毎に、（２）差分検出装置が、前記カメラから全画像を取得し、差分画像転送用の全画像とする差分画像用全画像取得ステップと、（３）差分検出装置が、蓄積フォルダに保存されている全画像を抽出する抽出ステップと、（４）差分検出装置が、抽出ステップで抽出された全画像と差分画像用全画像取得ステップで取得された差分画像転送用の全画像との差分画像であって、抽出ステップで抽出された全画像と差分画像用全画像取得抽出ステップで取得された差分画像転送用の全画像とが相違しないエリアをマスクエリアとした第１の差分画像を作成する第１の差分画像作成ステップと、（５）差分検出装置が、差分画像用全画像取得ステップで取得された差分画像転送用の全画像から第１の差分画像との差分画像であって、第１の差分画像のマスクエリア以外については、差分画像用全画像取得ステップで取得された差分画像転送用の全画像の対応部分とし、第１の差分画像のマスクエリアについては透明色情報を設定した第２の差分画像を作成する第２の差分画像作成ステップと、（６）差分検出装置が、録画サーバに第２の差分画像を転送する差分画像転送ステップと、（７）差分検出装置が、蓄積フォルダに保存されている全画像を差分画像用全画像取得ステップで取得された差分画像転送用の全画像に置き換える全画像置換ステップの（２）〜（７）の各ステップを順に繰り返すことを含み、かつ、（８）録画サーバが、差分検出装置から取得した全画像を保存する全画像保存ステップ、（９）録画サーバが、差分検出装置から取得した差分画像をその一つ前の時点の全画像に合成して全画像として保存する差分画像変換ステップを含む。また、上述した全画像転送ステップ及び差分画像用全画像取得ステップにおいて、本実施例においては、カメラから全画像を取得した後、蓄積フォルダに保存されている全画像と画像の色構成を比較し、光量変化によるノイズを除去してから保存する。ノイズの除去は、第１の全画像と第２の全画像のそれぞれから差分量を減らすために行うものであって、大きく画像の色構成が変更されたタイミング（屋外日中、屋外夜間、屋内蛍光灯、屋内照明なしなど）の数枚の静止画像を用いて差分量の少なくなる調整をノイズ除去強度を変化割り出しして行う。

撮影・収集・編集プログラムと、差分検出プログラムとを有する監視カメラシステムのプログラムは、これらのステップをコンピュータに実行させるものである。図を用いて、さらに具体的に説明する。

図８は、本発明の差分画像作成方法の実施例１における監視用カメラ（静止画用）と録画サーバとの接続から一次画像データ書き込みまでの手順概要を示すフロー図である。まず、録画サーバは、ＴＣＰ／ＩＰ方式で差分検出装置に接続を要求する。差分検出装置は、かかる接続要求を受けて監視用カメラ（静止画用）に接続要求をする。監視用カメラ（静止画用）は１又は複数台で構成され、各カメラと録画サーバは、差分検出装置を介して、ユーザＩＤ及びパスワードで認証を行う。差分検出装置が各カメラからの接続応答を受けて、録画サーバの認証用データベースを参照して認証に成功すると、接続状態となる。

次に、録画サーバから差分検出装置に、画像要求を行う。差分検出装置は、かかる画像要求を受けて、監視用カメラ（静止画用）に、静止画を撮影し撮影したカメラ画像をＪＰＥＧ形式で差分検出装置に送信することを要求（画像要求）する。監視用カメラ（静止画用）は、画像要求を受けて、スナップショット（静止画）を撮影して、撮影して得られた静止画をＪＰＥＧ形式でカメラ画像としてＴＣＰ／ＩＰ方式で差分検出装置に送信する。本実施例では、録画サーバ側で一定時間毎に二次データに動画圧縮変換するため、静止画を撮影するカメラに動画フォーマットの機能が備わっている必要がない。

差分検出装置は、静止画のカメラ画像を受信すると、上述のようにノイズ除去を行い、録画サーバから全画像要求が送信されてから監視用カメラ（静止画用）から送信された画像（１枚目）かを判断する。１枚目である場合は、全画像転送用の全画像とし、蓄積フォルダに全画像転送用の全画像として保存するとともに、録画サーバに全画像転送用の全画像を転送する全画像転送を行う。録画サーバから差分画像要求が送信されてから監視用カメラ（静止画用）から送信された画像である（１枚目でない）場合は、差分画像転送用の全画像とし、蓄積フォルダに保存されている全画像との差分から、上述のようにして透明色情報を設定した第２の差分画像を作成し、録画サーバに第２の差分画像を転送する差分画像転送を行う。差分検出装置は、蓄積フォルダに保存されている全画像を上述した差分画像転送用の全画像（第２の全画像）に置き換える。録画サーバから画像要求が送信される毎にこれらのステップを繰り返す。

録画サーバは、差分検出装置から画像を取得すると、画像復元を行う。まずは、取得した画像が差分画像かを判断し、取得した画像が差分画像の場合は、その一つ前の時点の全画像に合成して全画像を生成し、取得した画像が全画像の場合は、そのままとし、いずれの場合も、画像をメモリに展開し、次の画像生成まで保持する。そして、保持した画像を一次データとして、一次画像フォルダに蓄積する。その後、一次データを動画圧縮変換して二次映像フォルダに蓄積する。

図９は、本発明の差分画像作成方法の実施例１におけるカメラ（動画撮影）と録画サーバとの接続から一次画像データ書き込みまでの手順概要を示すフロー図である。まず、録画サーバは、ＴＣＰ／ＩＰ方式で差分検出装置に接続を要求する。差分検出装置は、かかる接続要求を受けて監視用カメラ（動画用）に接続要求をする。監視用カメラ（動画用）は１又は複数台で構成され、各カメラと録画サーバは、差分検出装置を介して、ユーザＩＤ及びパスワードで認証を行う。差分検出装置が各カメラからの接続応答を受けて、差分検出装置は、監視用カメラ（動画用）に、動画を撮影し撮影したストリーム動画のカメラ画像を差分検出装置に送信することを要求（画像要求）する。

監視用カメラ（動画用）は、画像要求を受けて、動画を連続撮影して、撮影して得られた動画をストリーム方式でＨ．２６４ベースラインプロファイルの動画のカメラ画像として差分検出装置に送信する。差分検出装置は、動画のカメラ画像を受信すると、接続応答を録画サーバに送信し、録画サーバの認証用データベースを参照して認証に成功すると、接続状態となる。

次に、録画サーバから差分検出装置に、画像要求を行う。差分検出装置は、かかる画像要求を受けて、受信済の動画のカメラ画像から所定の間隔で静止画像を抽出し、ノイズを除去する。受信済の動画のカメラ画像から抽出した１枚目の静止画像は、全画像転送用の全画像とし、蓄積フォルダに全画像転送用の全画像として保存するとともに、録画サーバに全画像転送用の全画像を転送する全画像転送を行う。２枚目以降の静止画像は、差分画像転送用の全画像とし、蓄積フォルダに保存されている全画像との差分から、上述のようにして透明色情報を設定した第２の差分画像を作成し、録画サーバに第２の差分画像を転送する差分画像転送を行う。差分検出装置は、蓄積フォルダに保存されている全画像を上述した差分画像転送用の全画像（第２の全画像）に置き換える。録画サーバから画像要求が送信される毎にこれらのステップを繰り返す。

録画サーバは、差分検出装置から画像を取得すると、画像復元を行う。まずは、取得した画像が差分画像かを判断し、取得した画像が差分画像の場合は、その一つ前の時点の全画像に合成して全画像を生成し、取得した画像が全画像の場合は、そのままとし、いずれの場合も、画像をメモリに展開し、次の画像生成まで保持する。そして、保持した画像を一次データとして、一次画像フォルダに蓄積する。その後、一次データを動画圧縮変換して二次映像フォルダに蓄積する。

図１０は、本発明の差分画像作成方法の実施例１における画像の変換方法を示すイメージ図である。図１０は、監視用カメラ（動画用）から取得した画像に基づいて差分検出装置が作成した全画像（Ｉフレーム）と差分画像（Ｗフレーム）を録画サーバに送信する状態を示しており、Ｗフレームは透明色を含む差分画像である。録画サーバの一次画像フォルダに蓄積される一次データは、全フレームがＩフレームであって、二次映像フォルダに蓄積される二次データは、一次データからＩフレームを２００フレームに１枚の割合まで減少させ、ＢフレームとＰフレームとを含む圧縮した動画ファイルである。

本実施例は、防犯や管理等のための監視用カメラシステムに利用できる差分画像作成方法であって、撮影した画像やデータをサーバに転送し、蓄積させる。これを用いた画像転送方法によって録画サーバに転送されたデータは、上述した画像復元方法により、端末で表示できる画像に復元される。

｛効果｝
本実施例によれば、録画サーバへの転送フレーム数を落とさず、また解像度も落とさずに、録画サーバへの転送容量の削減を可能とする。

また、インターネット回線等を経由してクラウドサーバでのデータ蓄積も可能となる。単純な静止画像収集に比べて、フレーム数の増加、若しくは解像度の拡大が可能である。例えば、従来、Ｉフレームのみで１秒１コマの画像取得が限界であった場合でもＩフレームとＷフレームとすることで、１秒３コマの画像取得が可能となり、したがって、一定時間に対するフレーム数を上げることが可能となる。同じ条件で解像度を上げた場合は、１枚目は遅延が発生するものの、それ以降は差分となり容量が減るので、オンタイムをキープできるようになる。

カメラから端末へデータを送信する際にパケット紛失が起きにくく、データ転送量が少なくて済む。したがって、インターネット回線（ＷＡＮ）越しのクラウドサーバでのデータ蓄積が可能となる。

なお、本発明は、上記実施の形態に限定されず、その発明の趣旨を逸脱しない範囲で種々と変形実施が可能である。また、上記各実施の形態の構成要素を発明の趣旨を逸脱しない範囲で任意に組み合わせることができる。

１００ 録画サーバ
１０１ ＣＰＵ
１０２ メモリ
１０３ ディスプレイ
１０４ ネットワークインターフェース
１０５ キーボード
１０６ マウス
１１０ 記憶装置
１１１ 一次画像フォルダ
１１３ 撮影・収集・編集プログラム
１１４ オペレーティングシステム
２００ モバイル端末
２０１ ＣＰＵ
２０２ メモリ
２０３ ディスプレイ
２１０ 記憶装置
２１３ 画像表示プログラム
２１４ オペレーティングシステム
３００ 閲覧ＰＣ
３０１ ＣＰＵ
３０２ メモリ
３０３ ディスプレイ
３０４ ネットワークインターフェース
３０５ キーボード
３０６ マウス
３１０ 記憶装置
３１３ 画像表示プログラム
３１４ オペレーティングシステム
４００ 差分検出装置
４０１ ＣＰＵ
４０２ メモリ
４０３ ディスプレイ
４０４ ネットワークインターフェース
４０５ キーボード
４０６ マウス
４１０ 記憶装置
４１１ 蓄積フォルダ
４１３ 撮影・差分検出・送信プログラム
４１４ オペレーティングシステム
５００ ネットワーク
６００ ルータ
７００ 監視用カメラ（動画用）
７０１ 監視用カメラ（静止画用）

Claims (6)

1. 動画を撮影するカメラ群及び／又は静止画を撮影するカメラ群の各カメラに接続され、ネットワークを介して画像復元装置に接続されている差分検出装置であって、
   一定時間毎又は前記画像復元装置からの全画像要求を受信する毎に、前記カメラから全画像を全画像転送用の全画像として取得し、前記画像復元装置に前記全画像転送用の全画像を転送する全画像転送手段、
   前記一定時間中の所定時間毎又は前記画像復元装置からの差分画像要求を受信する毎に、前記カメラから全画像を差分画像転送用の全画像として取得する差分画像用全画像取得手段、
   前記全画像転送用の全画像と前記差分画像用全画像取得手段で取得された差分画像転送用の全画像との差分画像であって、前記全画像転送用の全画像と前記差分画像用全画像取得手段で取得された差分画像転送用の全画像とが相違しないエリアをマスクエリアとした第１の差分画像を作成する第１の差分画像作成手段、
   前記差分画像用全画像取得手段で取得された差分画像転送用の全画像から前記第１の差分画像との差分画像であって、前記第１の差分画像のマスクエリア以外については、前記差分画像用全画像取得手段で取得された差分画像転送用の全画像の対応部分とし、前記第１の差分画像のマスクエリアについては透明色情報を設定した第２の差分画像を作成する第２の差分画像作成手段、
   前記画像復元装置に前記第２の差分画像を転送する差分画像転送手段、
   を有することを特徴とする差分検出装置。
2. 前記全画像転送手段は、記憶装置に前記全画像転送用の全画像を保存し、
   前記記憶装置に保存されている全画像を抽出する抽出手段を更に有し、
   前記第１の差分画像作成手段は、前記抽出手段で抽出された全画像と前記差分画像用全画像取得手段で取得された差分画像転送用の全画像から第１の差分画像を作成し、
   前記記憶装置に保存されている全画像を前記差分画像用全画像取得手段で取得された差分画像転送用の全画像に置き換える全画像置換手段を更に有する請求項１に記載の差分検出装置。
3. 動画を撮影するカメラ群及び／又は静止画を撮影するカメラ群の各カメラに接続され、ネットワークを介して画像復元装置に接続されている差分検出装置が実行する差分実行方法であって、
   一定時間毎又は前記画像復元装置からの全画像要求を受信する毎に、前記カメラから全画像を全画像転送用の全画像として取得し、前記画像復元装置に前記全画像転送用の全画像を転送する全画像転送ステップ、
   前記一定時間中の所定時間毎又は前記画像復元装置からの差分画像要求を受信する毎に、前記カメラから全画像を差分画像転送用の全画像として取得する差分画像用全画像取得ステップ、
   前記全画像転送用の全画像と前記差分画像用全画像取得ステップで取得された差分画像転送用の全画像との差分画像であって、前記全画像転送用の全画像と前記差分画像用全画像取得ステップで取得された差分画像転送用の全画像とが相違しないエリアをマスクエリアとした第１の差分画像を作成する第１の差分画像作成ステップ、
   前記差分画像用全画像取得ステップで取得された差分画像転送用の全画像から前記第１の差分画像との差分画像であって、前記第１の差分画像のマスクエリア以外については、前記差分画像用全画像取得ステップで取得された差分画像転送用の全画像の対応部分とし、前記第１の差分画像のマスクエリアについては透明色情報を設定した第２の差分画像を作成する第２の差分画像作成ステップ、
   前記画像復元装置に前記第２の差分画像を転送する差分画像転送ステップ、
   を有することを特徴とする差分検出方法。
4. 動画を撮影するカメラ群及び／又は静止画を撮影するカメラ群の各カメラに接続され、ネットワークを介して画像復元装置に接続されているコンピュータに、
   一定時間毎又は前記画像復元装置からの全画像要求を受信する毎に、前記カメラから全画像を全画像転送用の全画像として取得し、前記画像復元装置に前記全画像転送用の全画像を転送する全画像転送ステップ、
   前記一定時間中の所定時間毎又は前記画像復元装置からの差分画像要求を受信する毎に、前記カメラから全画像を差分画像転送用の全画像として取得する差分画像用全画像取得ステップ、
   前記全画像転送用の全画像と前記差分画像用全画像取得ステップで取得された差分画像転送用の全画像との差分画像であって、前記全画像転送用の全画像と前記差分画像用全画像取得ステップで取得された差分画像転送用の全画像とが相違しないエリアをマスクエリアとした第１の差分画像を作成する第１の差分画像作成ステップ、
   前記差分画像用全画像取得ステップで取得された差分画像転送用の全画像から前記第１の差分画像との差分画像であって、前記第１の差分画像のマスクエリア以外については、前記差分画像用全画像取得ステップで取得された差分画像転送用の全画像の対応部分とし、前記第１の差分画像のマスクエリアについては透明色情報を設定した第２の差分画像を作成する第２の差分画像作成ステップ、
   前記画像復元装置に前記第２の差分画像を転送する差分画像転送ステップ、
   を実行させるための差分検出プログラム。
5. 動画を撮影するカメラ群及び／又は静止画を撮影するカメラ群と、前記カメラ群のカメラに接続されている差分検出装置と、前記差分検出装置にネットワークを介して接続された画像復元装置と、を有する監視カメラシステムにおける監視方法であって、
   一定時間毎又は前記画像復元装置からの全画像要求を受信する毎に、前記差分検出装置が、前記カメラから全画像を全画像転送用の全画像として取得し、前記画像復元装置に前記全画像転送用の全画像を転送する全画像転送ステップを含み、
   かつ、
   前記一定時間中の所定時間毎又は前記画像復元装置からの差分画像要求を受信する毎に、前記差分検出装置が、前記カメラから全画像を差分画像転送用の全画像として取得する差分画像用全画像取得ステップと、
   前記差分検出装置が、前記全画像転送用の全画像と前記差分画像用全画像取得ステップで取得された差分画像転送用の全画像との差分画像であって、前記全画像転送用の全画像と前記差分画像用全画像取得ステップで取得された差分画像転送用の全画像とが相違しないエリアをマスクエリアとした第１の差分画像を作成する第１の差分画像作成ステップと、
   前記差分検出装置が、前記差分画像用全画像取得ステップで取得された差分画像転送用の全画像から前記第１の差分画像との差分画像であって、前記第１の差分画像のマスクエリア以外については、前記差分画像用全画像取得ステップで取得された差分画像転送用の全画像の対応部分とし、前記第１の差分画像のマスクエリアについては透明色情報を設定した第２の差分画像を作成する第２の差分画像作成ステップと、
   前記差分検出装置が、前記画像復元装置に前記第２の差分画像を転送する差分画像転送ステップと、
   の各ステップを順に繰り返すことを含み、
   かつ、
   前記画像復元装置が、前記差分検出装置から取得した全画像を保存する全画像保存ステップ、
   前記画像復元装置が、前記差分検出装置から取得した差分画像をその一つ前の時点の全画像に合成して全画像として保存する差分画像変換ステップを含むことを特徴とする監視カメラシステムにおける監視方法。
6. 前記全画像転送ステップにおいて、記憶装置に前記全画像転送用の全画像を保存し、
   さらに、前記全画像転送ステップまたは前記差分画像用全画像取得ステップにおいて、前記カメラから全画像を取得した後、当該取得した全画像と前記記憶装置に保存されている全画像との間で画像の色構成を比較し、光量変化によるノイズを除去することを特徴とする請求項５に記載の監視カメラシステムにおける監視方法。

Images