JP4856712B2 - 監視映像蓄積システム - Google Patents

Description

本発明は、符号化された動画像データである監視映像を蓄積する監視映像蓄積システムに関し、特に、移動する被写体を、複数のカメラユニットを切替えながら記録する場合の映像蓄積技術に関する。

従来から、建物内に複数の監視カメラを設置し、建物内を監視することが行われている。例えば、それら監視カメラからの映像をモニタ画面に表示し、そのモニタ画面を監視員が見張る。そして、不審者等を発見した場合には、不審者の動画像を記録する。
この際、不審者等がモニタ画面から外れる場合、すなわち、不審者が１台の監視カメラの撮影範囲を超えて移動する場合には、監視員が手動で、モニタ画面を順に指定して不審者の動画像を記録することが行われる。このようにすることにより、指定して切替えられたモニタ画面の映像のみが記録され、記録を再生すれば不審者を追尾できることになる。

また、動画像のデータ量を小さくするために、画面間の相関を利用する画面間予測符号化技術が開発されており、近年では、監視カメラから送信される動画像データも同技術により符号化されたデータとなっている。
予測符号化技術としては、例えば、ＭＰＥＧ（Moving Picture Experts Group）−２規格や、より高圧縮率の実現を目標とするＨ．２６４／ＭＰＥＧ−４ＡＶＣ（Advanced Video Codec）などがある。これらの予測符号化技術は、画面間の相関を利用するものであることから、基本的には、ある画面を復号化するためには参照する他の画面（以下、「参照画面」という。）を必要とする。

従って、監視カメラから送信されてくる動画像データを、監視員がモニタ画面を切替えたときから記録し始めたとすると、切替え直後の映像が再生できない場合が生ずる。すなわち、記録されている動画像データには、参照画面が記録されない場合が生じ得るためであり、切替え直後の画面は参照画面が存在せず復号化できないからである。
ここで、切替え直後に復号化できない画面が生ずる理由を、図３を用いて説明する。

カメラユニット０１からカメラユニット０２に切替えて、圧縮データを蓄積ユニットに蓄積する場合を説明する。
矩形はピクチャを表し、その中の「Ｉ」、「Ｐ」、「Ｂ」等は、それぞれピクチャのタイプ「Ｉピクチャ」、「Ｐピクチャ」、「Ｂピクチャ」を示すものとする。ここでは、「Iピクチャ」が画面内予測で符号化されたピクチャであり、「Ｐピクチャ」、「Ｂピクチャ」は、画面間予測で符号化されたピクチャとする。

また、実線の矩形は、カメラユニット０１が送信するピクチャを、点線の矩形は、カメラユニット０２が送信するピクチャを示すものとし、斜線の引かれた矩形（ピクチャ１１１等）は、正しく復号化できないピクチャを示すものとする。
矢印は画面間の参照関係を表しているものとし、例えば、カメラユニット０１の表示順序「１」のＰピクチャは、表示順序「０」のＩピクチャを参照する（矢印１００参照）。また、カメラユニット０２の表示順序「７」のＢピクチャ１０１は、表示順序「５」のＩピクチャ１０２と表示順序「８」のＰピクチャとを参照する。

ここで、カメラユニット０１の表示順序「６」まで蓄積した時点で、カメラユニット０２に切替わった場合を想定する。
下段の蓄積ユニットには、表示順序「６」までカメラユニット０１のピクチャが、表示順序「７」からはカメラユニット０２のピクチャが蓄積される。
この蓄積ユニットの蓄積データを再生しようとした場合、ピクチャ１１１は、参照画面であるピクチャ１０２が蓄積されていないので正しく復号化することができない（矢印１１０参照）。次のIピクチャ１１２が来るまでは、正しく再生できない画面が存在することになる。

このような記録されている不審者の映像が切れてしまうことを防止するために応用できる技術が提案されている。
１つは複数テレビカメラの映像のスイッチングに伴う遅延時間を短縮することを目的とする技術である（特許文献１）。簡単に説明すると、切替えられたことを検知したテレビカメラは、まず参照画面を必要としない画面内予測を用いて符号化された画面データを生成し、その画面データから送信を開始する。

この技術を監視カメラに適用した場合、切替えを通知した後すぐに画面内予測を用いて符号化された画面データが送信されてくることから、切換え後すぐに参照画面の不要な画面データを受信して記録することができ、それ以降の画面の再生は可能となる。尚、切替後の画面データは、切替前の画面を参照しないものとする。
２つめとして、動画像データを符号化する場合に生成される動きベクトルに基づいて、被写体の動きを予測する技術がある（特許文献２）。この技術を監視カメラ映像の蓄積に適用し、被写体を撮影している現在の監視カメラの映像と、次に映るであろう監視カメラの映像との２つの映像を記録することで、記録映像に被写体の動きの一部が記録されていないことを防ぐことは可能となる。
特開平７−３２７２２８号公報 特開２０００−３２４３５号公報

しかしながら、モニタ画面を指定することにより監視カメラが指定されたこと、すなわち、自監視カメラに切替えられたことを検知してすぐに、画面内予測を用いて符号化された画面データから送信を開始したとしても、記録されている動画像データから復号化できない画面データを無くすことはできない。
記録されている動画像データから復号化できない画面データを無くすことはできないことを、図４を用いて説明する。

図４は、モニタ画面で、蓄積するカメラユニットを切替えた場合を示す図である。切替えられたカメラユニットがすぐにIピクチャを生成したとしても間に合わないことを示している。本図では、矩形の中の数字が表示順序を、「Ｉ」はＩピクチャであることを示している。
また、基地局のモニタ画面には、カメラユニット０１とカメラユニット０２が撮影した映像が表示されているものとする。このモニタ画面に表示される画面は、カメラユニットが撮影した画面が数ピクチャ分遅れて表示される。本図では、２ピクチャ分遅れて表示されるものとする（矢印２００参照）。遅れるのは、符号化処理、通信、復号化処理等に時間を要するからである。

まず、カメラユニット０１の映像が蓄積されているものとする。監視者は、モニタ画面に表示されたカメラユニット０１の表示順序「５」のピクチャを見てカメラユニットを切替える（処理２２０参照）。表示順序「６」のピクチャとして、カメラユニット０２のピクチャ２２１が蓄積される。
切替えた時に、基地局から、切替えられたカメラユニット０２に、画面内予測で符号化を開始する旨の指示が送られ（処理２１０参照）表示順序「９」のピクチャ２３０がIピクチャとして生成され、送信される（矢印２０１参照）。

従って、蓄積データを再生した場合、カメラユニット０２に切替えられて蓄積されたピクチャは、表示順序「９」のピクチャ２３１から正しく復号化できることになり、表示順序「６」〜「８」のピクチャは、復号化できない場合が生ずる。
すなわち、切替えられたカメラユニットがすぐにIピクチャを生成したとしても、監視員が見ているモニタ画面は、今撮影している映像から若干遅れているので、どんなに早く指示を送信したとしても蓄積データには復号化できない画面が生ずることは避けられない。

そこで、本発明は、複数の監視カメラを切替えながら、移動物体の動画像データを記録した場合であっても、監視カメラの切替え後の動画像が欠落することなく再生できる監視映像蓄積システムの提供を目的とする。

上記目的を達成するために、本発明に係る監視映像蓄積システムは、相互にデータの送受信を行うことができる、複数の監視カメラユニットと映像蓄積ユニットとから成る監視映像蓄積システムであって、前記映像蓄積ユニットは、前記複数の監視カメラユニットから、１監視カメラユニットを選択する選択手段と、前記選択手段により選択されたときから、予測符号化方式に従って符号化された動画像データを当該選択された監視カメラユニットから受信して蓄積する蓄積手段とを備え、前記各監視カメラユニットは、撮影した被写体の動画像データを予測符号化方式に従って符号化する符号化手段と、前記符号化手段で符号化された動画像データを、前記映像蓄積ユニットに送信する動画像データ送信手段と、前記符号化手段で符号化された動画像データに基づいて、前記被写体を撮影する可能性の高い１又は複数の監視カメラユニットを特定し、当該１又は複数の監視カメラユニットに、特定されたことを示す特定情報を送信する特定手段とを備え、前記符号化手段は、特定情報を受信したとき、撮影した被写体の動画像データの符号化を、画面内予測のみを用いた符号化方式に従って開始することを特徴とする。

上記構成の監視映像蓄積システムは、次に被写体が撮影範囲に入ってくるであろうと予測された監視カメラユニットで画面内予測のみを用いた符号化を開始するので、その監視カメラユニットが選択されて動画像データの蓄積をすぐに開始したとしても、画面内予測符号化された画面データから蓄積することが可能となる。
従って、予測された監視カメラユニットが選択されさえすれば、蓄積された動画像データを再生した場合に、すべての動画像データを再生することが可能となる。

また、前記映像蓄積ユニットの前記選択手段は、更に、前記選択手段で選択した１監視カメラユニットに、選択された旨を示す選択情報を送信し、前記１監視カメラユニットの前記符号化手段は、選択情報を受信したとき、撮影した被写体の動画像データの符号化を、画面内予測及び画面間予測のいずれか一方を選択的に用いた符号化方式に従って開始することとしてもよい。

これにより、次に被写体が撮影範囲に入ってくるであろうと予測された監視カメラユニットが選択されて動画像データの蓄積が開始されたときに、通常の予測符号化処理に戻るので、全体として蓄積するデータ量を少なくすることが可能となる。
すなわち、画面内予測のみを用いて符号化した場合のデータ量は、画面間予測も用いて符号化した場合に比べ、格段に多いからである。

更に、データ転送に必要なバンド幅を低減することも可能となる。
また、前記特定手段は、前記符号化された動画像データに含まれる動きベクトルに基づいて被写体の動作方向を特定し、前記被写体を撮影する可能性の高い１又は複数の監視カメラユニットを特定することとしてもよい。
これにより、次に被写体が撮影範囲に入ってくるであろうと予測される監視カメラユニットを決定するために、動画像データを符号化する際に検出する動きベクトルを用いるので、今ある情報だけで監視カメラユニットを決定することが可能となる。すなわち、新たに、被写体の動きを検知するため手段を設ける必要がないという利点がある。

また、本発明に係る監視カメラユニットは、撮影した被写体の動画像データを予測符号化方式に従って符号化する符号化手段と、前記符号化手段で符号化された動画像データを、自カメラユニット外に送信する動画像データ送信手段とを備え、前記符号化手段は、自カメラユニットの外部からの指示に応じて、画面内予測のみを用いる符号化または画面内予測及び画面間予測のいずれか一方を選択的に用いる符号化を行うことを特徴とすることとしてもよい。

これにより、本監視映像蓄積システムの構築を容易にすることが可能となる。

＜実施形態＞
＜概要＞
本発明に係る監視映像蓄積システムは、被写体が移動するであろう方向を予測して、その方向を撮影している監視カメラ（以下、「予測カメラ」という。）に、その予測カメラの撮影した動画像データが蓄積される前から画面内予測のみによる符号化を始めさせておくものである。

すなわち、監視員が見ているモニタ画面は、今撮影している映像画面から若干遅れているデータであるので、モニタ画面と今撮影している映像画面との時間差を埋めるために、予測カメラに、何時蓄積されてもいいように画面内予測のみによる符号化画面を生成しておくのである。
従って、予測カメラの撮影画面が表示されているモニタ画面が指定されたときには、画面内予測符号化された画面データが記録されることとなり、復号化できない画面は記録されないこととなる。つまり、記録を再生した場合、映像が切れることなく再生できることになる。

以下、指定されて映像が蓄積されている監視カメラを「蓄積カメラ」と、符号化された動画像データを「圧縮データ」というものとする。
本発明に係る監視映像蓄積システムを説明する前に、図５を用いて本発明の要点を説明する。
＜本発明の要点＞
図５は、本発明において、モニタ画面で、蓄積するカメラユニットを切替えた場合を示す図である。図３等と同様に、矩形はピクチャを表し、その中の「Ｉ」は、それぞれピクチャのタイプ「Ｉピクチャ」を示すものとする。記載していないものは、「Ｉピクチャ」「Ｐピクチャ」「Ｂピクチャ」のいずれかとする。また、実線の矩形は、カメラユニット０１が送信するピクチャを、点線の矩形は、カメラユニット０２が送信するピクチャを示すものとする。

図４と同様の場合を想定して説明する。本発明にかかる監視映像蓄積システムでは、カメラユニット０１のデータが蓄積されている間に、次に被写体がカメラユニット０２に移動するであろうと予測して、カメラユニット０２に画面内予測のみで符号化するよう指示を出す（矢印３００参照）。
この予測カメラの決定方法は、図６を用いて後で説明する。尚、ここでのＩピクチャは、後続するピクチャは自分より前のピクチャを参照することは無いようなピクチャとする。

本図の場合、カメラユニット０２の表示順序「５」のピクチャからIピクチャとして生成されるため、カメラユニットが切替えられて（処理２２０参照）、表示順序「６」のピクチャから蓄積されたとしても、復号処理が可能となる。
その後、切替えられた旨の通知を受け取って（処理３１０参照）、表示順序「９」のピクチャからは、通常の復号化を行なう。ここでは、表示順序「９」のピクチャは、例えば、表示順序「８」のＩピクチャを参照するＰピクチャ３３０として生成され送信され、表示順序「９」のＰピクチャ３３１として蓄積される。

従って、蓄積ユニットに蓄積されているデータを再生した場合、表示順序「５」まではカメラユニット０１の映像が再生され、途切れなく、カメラユニット０２の映像が表示順序「６」のＩピクチャ３２１から再生される。
また、予測カメラは、切替えられて蓄積カメラとなったときに、画面内予測のみの符号化処理から、画面内予測と画面間予測との双方を用いた通常の符号化処理へと戻すことで、符号化処理や通信の負荷の増加を抑えることが可能となる。

通常の符号化処理に戻すタイミングは、様々あるが、本実施形態では、自又は他のいずれかの監視カメラが指定されたことを検知したら、画面内予測のみの符号化処理から通常の符号化処理に戻すこととする。
＜予測カメラの決定方法＞
図６は、予測カメラの決定方法を示す図である。

予測カメラを決定する方法は、数々ある。例えば、動く被写体を追尾してアングルを変えるカメラであれば、カメラの動きから次のカメラを予測できるなどである。
ここでは画面間予測符号化を行う際に検出する動きベクトルを利用する例を説明する。
ここでは、符号化はカメラユニット各々が行うことから、カメラユニットが予測カメラを決定するものとする。

図６（ａ）は、予測の方法を示す概念図であり、図６（ｂ）は、具体例である。ピクチャ１からピクチャ２へと時間が進むものとする。画面は、符号化の単位である複数のマクロブロックで構成され、そのサイズは、例えば、縦１６画素×横１６画素である。
まず、図６（ａ）のピクチャ１の斜線で示した領域４０１を構成するマクロブロック４００の動きベクトルが、左に向かう動きベクトル４１０であり、ピクチャ２でも、左に向かう動きベクトル４１１である場合には、被写体は右に移動しているものと推測できる。従って、本ピクチャの撮影範囲の右側の範囲を撮影しているカメラユニットを予測カメラと決定する。

この領域４０１は、右側に抜けるであろうことを推測するための領域であり、同様の領域が、上下左右にあるものとする。例えば、画面上部の領域では被写体が上へ移動することを推測するなどである。
具体例としては、図６（ｂ）のピクチャ１とピクチャ２が示すように、ボール５１０は画面左から右に移動してボール５１１となり、画面の右側に抜けることが予測される。

利用する動きベクトルは動きベクトルの総和等であってもよく、その方向等から、被写体の移動方向と移動速度を求め、予測カメラに指示を出すタイミングを決める。
また、予測カメラは１つである必要はなく、複数であってもよい。例えば、被写体の動きが直線的でない場合や、斜めに移動していると予想される場合などには、複数の予測カメラを決定して被写体を追尾する必要があるからである。

以下、本発明の実施形態における監視映像蓄積システムについて、図面を用いて説明する。尚、本実施形態では、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ規格で作成された動画像データを記憶する場合について説明する。
＜機能＞
図１は、監視映像蓄積システムの概略図を示す図である。

本監視映像蓄積システムは、ネットワーク２０で接続されている基地局１０と４台のカメラユニット（１０００、２０００、３０００、４０００）で構成される。
また、基地局１０は、モニタ３０と蓄積ユニット５０００を備えている。モニタ３０は、カメラユニット（１０００〜４０００）それぞれが撮影して送信してくる映像をそれぞれのモニタ画面に表示し、蓄積ユニット５０００は、カメラユニット（１０００〜４０００）のうちの１つのカメラユニットからの動画像データを記録する。

蓄積ユニット５０００が、カメラユニット（１０００〜４０００）のうち、どのカメラユニットの映像を記録するかは、モニタ３０を監視しているオペレータ（図示していない。）によって指定されるものとする。
図２は、カメラユニット（１０００、２０００）と蓄積ユニット５０００の構成を示す機能ブロック図である。

本図では、説明の便宜上、図１に示す４台のカメラユニット（１０００〜４０００）のうち、カメラユニット１０００とカメラユニット２０００の２台を記載する。また、以下、カメラユニット１０００を「カメラユニット０１」、カメラユニット２０００を「カメラユニット０２」、カメラユニット３０００を「カメラユニット０３」、カメラユニット４０００を「カメラユニット０４」というものとする。また、ネットワーク２０は、説明の便宜上、送受信されるデータの種類に応じて、３つの点線（２１、２２、２３）で記載している。

まず、カメラユニット（１０００〜４０００）の構成から説明する。
カメラユニット（１０００〜４０００）は、それぞれ同様の構成を有する。例えば、カメラユニット０１の撮像部１１００とカメラユニット０２の撮像部２１００とは同様の機能を有する。
従って、ここではカメラユニット１０００、すなわち、カメラユニット０１のみ説明する。

カメラユニット０１は、撮像部１１００、符号化部１２００、動画像送信部１３００、予測カメラ決定部１４００、予測カメラ送受信部１５００及び切替指示受信部１６００とで構成される。
まず、撮像部１１００は、レンズやＣＣＤ（Charge Couple Device）等を含み、レンズによって集光された撮影対象からの反射光をＣＣＤ（Charge Couple Device）によって電気信号に変換し、更に、デジタル信号に変換し、各種信号処理を施して動画像データを生成する機能を有する。生成した動画像データは、符号化部１２００に出力する。

符号化部１２００は、撮像部１１００で生成された動画像データを符号化する機能を有する。すなわち、圧縮データを生成する。
本符号化部１２００は、２種類の圧縮データを生成する。１つは、画面内予測符号化された画面データのみで構成された圧縮データであり、他の１つは、画面内予測符号化された画面データと画面間予測符号化された画面データとで構成された圧縮データである。

前者は、予測カメラとなっている場合に生成する圧縮データであり、後者は、その他の場合、すなわち、蓄積カメラとなっている場合と予測カメラにも蓄積カメラにもなっていない場合とに生成する圧縮データである。
どちらの圧縮データを生成するか、すなわち、予測カメラとなっているか否かは、後述する予測カメラ送受信部１５００又は切替指示受信部１６００からの通知で判断する。

本符号化部１２００は、生成した圧縮データを動画像送信部１３００と予測カメラ決定部１４００とに出力する。但し、予測カメラ決定部１４００に出力するのは、自カメラユニットの撮影している映像が蓄積されている場合、すなわち蓄積カメラとなっている場合のみである。
尚、符号化に必要なフレームメモリ等は、符号化部１２００の内部に有しているものとし、現在の蓄積カメラのカメラユニット番号は、内部の作業メモリに記憶しているものとする。

動画像送信部１３００は、圧縮データを基地局１０の蓄積ユニット５０００に送信する機能を有する（ネットワーク２２参照）。
また、予測カメラ決定部１４００は、符号化部１２００から入力した圧縮データから、次に切替指示されるカメラユニットを予測する機能を有する。すなわち、被写体が次にどの方向に移動するかを予測し、被写体が撮影範囲に入るであろうカメラユニット、すなわち、予測カメラを決定する。決定方法の詳細は、図６を用いて後で説明する。

予測カメラ送受信部１５００は、予測カメラ決定部１４００が決定したカメラユニットに、予測カメラに決定された旨を通知する機能を有する（ネットワーク２１参照）。
また、本予測カメラ送受信部１５００は、他のカメラユニットから予測カメラとして決定された旨の通知を受信する機能も有し、予測カメラと決定された旨を受信した場合には、その旨を符号化部１２００に通知する。

切替指示受信部１６００は、蓄積ユニット５０００から、次に記録するモニタ画面として指定されたカメラユニットを受信する機能を有し（ネットワーク２３参照）、その旨を符号化部１２００に通知する。また、指定されたカメラユニットが自カメラユニットである場合、すなわち、蓄積カメラとなった場合は、その旨も符号化部１２００に通知する。
次に、蓄積ユニット５０００の構成を説明する。

蓄積ユニット５０００は、動画像受信部５１００、切替指示送信部５２００、カメラ切替部５３００、蓄積部５４００、復号化部５５００及び表示部５６００で構成される。
まず、動画像受信部５１００は、各カメラユニット（１０００〜４０００）から送信される圧縮データを受信する機能を有する。白ぬき矢印は、複数のカメラユニットからのデータを示している。受信した圧縮データは、復号化部５５００に出力する。

また、本動画像受信部５１００は、蓄積カメラから受信した圧縮データを、蓄積部５４００に出力する機能も有する。蓄積カメラは、後述する切替指示送信部５２００から通知され、通知された蓄積カメラを識別する情報は、内部メモリに記憶しておくものとする。
切替指示送信部５２００は、オペレータによって指定されたモニタ画面の映像を撮影しているカメラユニット、すなわち、蓄積カメラを全カメラユニットに通知する機能を有する（ネットワーク２３参照）。また、どのカメラユニットからの圧縮データを蓄積部５４００に蓄積させるかを動画像受信部５１００に通知する。

カメラ切替部５３００は、オペレータの操作を受付けて、どのモニタ画面の映像を蓄積するかを切替指示送信部５２００に通知する機能を有する。
蓄積部５４００は、動画像受信部５１００から出力される圧縮データを蓄積する機能を有する。
次に、復号化部５６００は、動画像受信部５１００から受信した複数の圧縮データをそれぞれ復号化し、表示部５６００に送信する機能を有する。

表示部５６００は、復号化部５６００から受信した復号化されている動画像データを、モニタ３０の各画面にそれぞれ表示させる機能を有する。
＜動作＞
以下、本発明に係る監視映像蓄積システムの動作について図７を用いて説明する。
図７は、カメラユニットの映像送信処理と、蓄積ユニットの監視映像の蓄積処理を表すフローチャートである。各カメラユニットは同様の機能を有し、同様の処理を行うので、異なるカメラユニットの処理であっても同じフローチャートを用いて説明する。

ここでは、カメラユニット０１からカメラユニット０２に切替えられる場合を想定して説明する。まず最初は、カメラユニット０１が蓄積カメラとなっているものとする。
まず、蓄積ユニット５０００の蓄積処理について説明する。
オペレータは、モニタ３０を監視している。モニタ３０には、全カメラユニットが撮影している監視映像が表示されており、蓄積カメラとしてカメラユニット０１が指定されている。

具体的には、動画像受信部５１００が、各カメラユニットから送信されてくる圧縮データを受信し、蓄積カメラ、すなわち、カメラユニット０１からの圧縮データを蓄積部５４００に出力し、蓄積する（ステップＳ２００：なし、ステップＳ２２０）。
また、動画像受信部５１００は、受信した各カメラユニットからの圧縮データを復号化部５５００に出力し、圧縮データを入力した復号化部５５００は、それぞれ復号化を行い（ステップＳ２３０）、表示部５６００を介してモニタ３０に表示する（ステップＳ２４０）。

オペレータにより監視映像の撮影終了の指示があるまで、蓄積処理を行う（ステップＳ２５０）。
オペレータは、カメラユニット０１の画面に不審者を発見し、不審者が移動してカメラユニット０２の画面に入ったので、映像を蓄積するカメラユニットをカメラユニット０１からカメラユニット０２に切替える操作を行う。

オペレータの操作を検知したカメラ切替部５３００は、切替指示送信部５２００に蓄積カメラが指定された旨を通知する（ステップＳ２００：あり）。この際、カメラ切替部５３００は、蓄積カメラのカメラユニット番号を通知するものとする。ここでは、カメラユニット０２のカメラユニット番号「０２」を通知する。
蓄積カメラのカメラユニット番号を受け取った切替指示送信部５２００は、切替指示として、蓄積カメラのカメラユニット番号を、全カメラユニットに送信する（ステップＳ２１０）。全カメラユニットに送信するのは、予測カメラが複数あった場合に、蓄積カメラとならなかったカメラユニットの画面内符号化処理を通常の符号化処理に戻すためである。

その後、切替指示送信部５２００は、蓄積カメラのカメラユニット番号「０２」を、動画像受信部５１００に通知する。
通知を受けた動画像受信部５１００は、受け取った蓄積カメラのカメラユニット番号「０２」を作業メモリに記憶し、受信している各カメラユニットから送信されてくる圧縮データのうち、蓄積カメラ、すなわち、カメラユニット０２からの圧縮データのみを蓄積部５４００に出力し、蓄積部５４００が蓄積する（ステップＳ２２０）。

また、動画像受信部５１００は、受信した全カメラユニットからの圧縮データを復号化部５５００に出力し、復号化部５５００は圧縮データを復号化し（ステップＳ２３０）、表示部５６００を介してモニタ３０に、各カメラユニットの画面を表示する（ステップＳ２４０）。
オペレータによるカメラユニットの切替があるまで、ステップ２２０〜ステップＳ２４０の処理が繰り返され、モニタ３０に各カメラユニットの映像が表示されることになる。

次に、カメラユニット０１等が行う映像送信処理について説明する。
まず、蓄積カメラであるカメラユニット０１から説明する。
カメラユニット０１の撮像部１１００は、撮影した動画像データを符号化部１２００に出力する（ステップＳ１００）。
動画像データを入力した符号化部１２００は、入力した動画像データを符号化して圧縮データを生成し（ステップＳ１２０：指示なし、ステップＳ１２０）、動画像送信部１３００を介して蓄積ユニット５０００に送信する（ステップＳ１４０）。

また、符号化部１２００は、自カメラユニットが蓄積カメラであるので（ステップＳ１５０：ＹＥＳ）、圧縮データを予測カメラ決定部１４００にも出力する。
符号化部１２００は、作業メモリに現在の蓄積カメラのカメラユニット番号を記憶してあり、その番号が自カメラユニットの番号と同じであれば自カメラユニットが蓄積カメラであると判断する。

圧縮データを入力した予測カメラ決定部１４００は、圧縮データ内の動きベクトルから予測カメラを決定する（図６参照）。
その後、予測カメラ送受信部１５００を介して、予測カメラとして決定されたカメラユニットに対して、予測カメラに決定された旨の予測指示を送信する（ステップＳ１６０）。ここでは、カメラユニット０２に予測指示を送信する。

その後、オペレータにより監視映像の撮影終了の指示があるまで、映像送信処理を行う（ステップＳ１７０）。
次に、予測指示を受信したカメラユニット０２の処理を説明する。
カメラユニット０２も、カメラユニット０１と同様に、撮影した映像の圧縮データを蓄積ユニットに送信している（ステップＳ１００、ステップＳ１２０：指示なし、ステップＳ１２０、ステップＳ１４０）。

ここで、カメラユニット０２の予測カメラ送受信部２５００は、カメラユニット０１から予測指示を受信すると（ステップＳ１１０：予測指示）、その旨符号化部２２００に通知する。
通知を受けた符号化部２２００は、画面内予測のみによる符号化処理を開始する（ステップＳ１３０）。さらに、符号化部２２００は、符号化処理で生成した圧縮データを、動画像送信部２３００を介して蓄積ユニット５０００に送信する。符号化部２２００は、次に切替指示があるまで、画面内予測のみによる符号化処理を行う。

カメラユニット０２は蓄積カメラ（現在はカメラユニット０１）ではないので（ステップＳ１５０：ＮＯ）、符号化部２２００は予測カメラ決定部２４００に圧縮データを送信せずに、撮影を続ける（ステップＳ１００）。
その後、オペレータにより、カメラユニット０２が指定され、切替指示が全カメラユニットに対して送信され（ステップＳ２１０）、その切替指示を切替処理受信部２６００が受信すると（ステップＳ１１０：切替指示）、その旨とカメラユニット番号「０２」とを符号化部２２００に通知する。

切替指示を受信した旨の通知を受けた符号化部２２００は、画面間予測と画面内予測による符号化処理を行う（ステップＳ１２０）。
また、符号化部２２００は、受け取ったカメラユニット番号「０２」を蓄積カメラの番号として作業メモリに記憶する。この際、受け取ったカメラユニット番号「０２」が自カメラユニット番号であるので、自カメラユニットが蓄積カメラとなったことを認識し、圧縮データを予測カメラ決定部２４００に出力するようにする。

その後、カメラユニット０２は、予測カメラを決定し、予測指示を出す（ステップＳ１６０）。
一方、オペレータにより、カメラユニット０２が指定され、切替指示が全カメラユニットに対して送信され（ステップＳ２１０）、その切替指示を受信したカメラユニット０３等は（ステップＳ１１０：切替指示）、画面間予測と画面内予測による通常の符号化処理を行うようにする（ステップＳ１２０）。

尚、カメラユニット０３は、蓄積カメラ（現在はカメラユニット０２）ではないので（ステップＳ１５０：ＮＯ）、符号化部は予測カメラ決定部に圧縮データを送信せずに、撮影を続ける（ステップＳ１００）。
＜補足＞
以上、本発明の実施形態について説明したが、本発明は上記形態に限らず、以下のようにしてもよい。
（１）実施形態では、予測カメラの決定を蓄積カメラで行うこととしているが、他の装置で行うこととしても良い。例えば、圧縮データを受信する蓄積ユニットで予測カメラを決定し、通知することとしても良い。
（２）実施形態では、監視カメラはフレームレートや解像度を固定として撮影しているが、予測カメラや蓄積カメラになっているときと、その他のときとでフレームレート等を変えることとしても良い。例えば、予測カメラや蓄積カメラに指定されたときからは、より高いフレームレートや解像度で撮影して送信することとしてもよい。このようにすることにより、通信負荷を軽減しつつより高画質な映像を蓄積することが可能となる。
（３）実施形態では、予測カメラは、蓄積カメラが指定されるまで画面内予測符号化を行うこととしているが、蓄積カメラが指定されない場合は、所定時間を経過したら通常の符号化に戻すこと等としてもよい。

蓄積カメラが指定されない場合とは、例えば、予測カメラを決定して通知を行ったが、被写体は現在の蓄積カメラの撮影範囲内に留まっている場合である。この場合には、蓄積カメラが指定されないので画面内予測符号化が続いてしまうからである。
（４）監視映像蓄積システムは、図２の各構成要素の全部又は一部を、１チップ又は複数チップの集積回路で実現してもよい。
（５）監視映像蓄積システムは、図２の各構成要素の全部又は一部を、コンピュータのプログラムで実現してもよいし、その他どのような形態で実施してもよい。

コンピュータプログラムの場合、メモリカード、ＣＤ−ＲＯＭなどいかなる記録媒体に書き込まれたものをコンピュータに読み込ませて実行させる形にしてもよいし、ネットワークを経由してプログラムをダウンロードして実行させる形にしてもよい。
＜従来技術の詳細と考察＞
複数の監視カメラを切替えて記録されている映像が、切れてしまうことを防止するために応用できる技術の詳細について説明する。

１つ目の複数テレビカメラの映像のスイッチングに伴う遅延時間を短縮することを目的とする技術を、図８を用いて説明する。
図８は特許文献１に記載された従来のディジタル符号化・伝送システムの構成を示す。
図８において、４００―１〜４００―ｎはカメラ・伝送ユニットであり、４００―１を第１番目のカメラ・伝送ユニット，４００―ｎを第ｎ番目のカメラ・伝送ユニットとする。

各カメラ・伝送ユニット４００はカメラからの映像および音声をディジタル符号化して伝送するためのカメラ側送り出しエンコード・伝送ブロック（以下、第１ブロックと呼ぶ）４１０と基地局からの制御コマンド信号データを受信して制御フラグを発生するための受信・データデコード・制御フラグ発生ブロック（以下、第２ブロックと呼ぶ）４２０とを有する。

第１ブロック４１０は映像および音声の送り出しエンコード機４１１と伝送装置４１２から成る。
第２ブロック４２０は、ユニット切替えを指示する制御コマンド信号データを受信する受信装置４２１，制御コマンド信号データをデコードするデータデコード機４２２および制御コマンドにより自身のユニットが選択されたと判断した場合に制御フラグ（符号化標識フラグ）を発生する制御フラグ発生器４２３から成る。

エンコード機４１１はその制御フラグに応じてモニタ用として行っていた符号化エンコードシーケンスを中断し、Ｉピクチャ（画面内符号化ピクチャ）をスタートとする符号化（エンコード）動作を開始し、Ｉピクチャから再スタートして基地局へ伝送する。
４３０は各テレビカメラ側ユニット４００と基地局間のデータ伝送を行うための有線または無線の伝送路である。

４４０は中継車または中継点に配置される基地局（スイッチングセンタとも称する）の中継装置であり、基地での各カメラからの映像および音声データ等の受信とデコード等を行うデータ受信・データデコードブロック（以下、第３ブロックと呼ぶ）４５０と、各中継カメラへの制御コマンド信号データのエンコードと伝送を行うエンコード・伝送ブロック（以下、第４ブロックと呼ぶ）４６０とを有する。

第３ブロック４５０は伝送路４３０を通じて映像および音声を入力する基地局側受信装置４５１，映像および音声データのデコードを行うデータデコード機４５２および複数のモニタも備えた本線・ネクストスイッチャ４５３から成る。
第４ブロック４６０はモニタに映し出されている複数の映像の中から放送用映像を選択切替えするためのスイッチャコントロール選択卓４６１、選択されたカメラ・伝送ユニットを指示する制御コマンド信号データをエンコードする制御コマンド信号データエンコード機４６２およびエンコードされた制御コマンド信号データを伝送路４３０を通じて伝送する制御コマンド信号データ伝送装置４６３から成る。

４７０は本線・ネクストスイッチャ４５３の出力側に接続する放送本線（以下、本線と呼ぶ）である。
まず、カメラからの映像および音声信号は送り出しエンコード機４１１によりディジタル圧縮符号化される。当該カメラが本線出力として使用されない時は、モニタ用として通常のエンコードシーケンスを送出するよう送り出しエンコード機４１１がエンコードを実施する。例えば、Ｉ−Ｐ−Ｂ−Ｂ−Ｐ−Ｂ−Ｂ−のピクチャタイプの並びとなる。

一方、当該カメラが本線出力として使用される制御コマンドを受信装置４２１およびデータデコード機４２２で受けると、制御フラグ発生器４２３が制御フラグを発生する。この制御フラグは送り出しエンコード機４１１においてこれまで行われてきたエンコードシーケンスを中断して、エンコードを画面内符号化（Ｉピクチャ）で行う処理に変更することを当該送り出しエンコード機４１１に対して指示する。

引き続き、制御フラグはＩピクチャをスタートするエンコード動作が行われたことをデコード側に指示するために符号化タイプをIピクチャに変更するようにエンコード機４１１に対して指示する。
このように、各カメラ・伝送ユニットは、基地局から選択されたとき、放送用の映像データをディジタル符号化のＩピクチャから常に送出する。このような符号化制御を行うことにより、通常、Iピクチャが挿入される間隔よりも早いタイミングでIピクチャを挿入することにより、カメラ切替前後の符号化ストリームの切替を円滑に行える。

また、２つ目の、動画像を符号化する場合の動きベクトルに基づいて、被写体の動きを予測する技術（特許文献２）について説明する。
特許文献２に記載された監視システムとしては、複数のカメラが伝送ラインを通じてモニタと結合しているシステムにおいて、モニタはカメラから送られる動きベクトルに基づいて、動く被写体を自動追尾し、複数のカメラを順に切替え、モニタのいずれかの画面には追尾している被写体が常に映し出される。

モニタはカメラから送られる動きベクトルにより、次に切替えるべきカメラがあらかじめ予測され、そのカメラアングルが被写体が出現すべき位置に設定されるとともに、現在のカメラ画像と次に切替えるべきカメラが撮像する画像が二つのモニタ画面に同時に映し出される。即ち、動く被写体を自動追尾し、複数のカメラを順に切替える制御を行う機能を有している。

１つ目の技術を、本願のような監視映像蓄積システムに適用したとしても、図４で説明したように、監視員がモニタ画面を指定して記録を始めた画面データは、今撮影している映像画面から若干遅れているデータであるので、復号出来ない画面を無くすことはできない。
従って、モニタ画面と現在撮影している画面との時間差を埋める技術が必要ととなる。

また、２つ目の技術では、被写体の動きを予測して、予測した方向を撮影範囲とするカメラの映像も記録している。すまわち、現在被写体を撮影しているカメラの映像と、予測した方向を撮影しているカメラの映像との２つの映像を合わせて、被写体を追尾した映像となる。従って、被写体が映っていない動画像データも記録されており、被写体を追尾する動画像データのみを取得したい場合は、編集等を行う必要があるという不都合がある。

本発明は、画面間予測符号化による符号化データを送出する複数のカメラからの映像を、切替えながら記録するシステムに適用することができる。

監視映像蓄積システムの概略図を示す図である。 カメラユニット（１０００、２０００）と蓄積ユニット５０００の構成を示す機能ブロック図である。 カメラユニットを切替えて、予測符号化を用いて符号化された動画像データを蓄積する場合を示す図である。 モニタ画面で、蓄積するカメラユニットを切替えた場合を示す図である。 本発明において、モニタ画面で、蓄積するカメラユニットを切替えた場合を示す図である。 予測カメラの決定方法を示す図である。 カメラユニットの映像送信処理と、蓄積ユニットの監視映像の蓄積処理を表すフローチャートである。 特許文献１に記載された従来のディジタル符号化・伝送システムの構成を示す図である。

１０ 基地局
２０ ネットワーク
３０ モニタ画面
１０００ ２０００ ３０００ ４０００ カメラユニット
１１００ ２１００ 撮像部
１２００ ２２００ 符号化部
１３００ ２３００ 動画像送信部
１４００ ２４００ 予測カメラ決定部
１５００ ２５００ 予測カメラ送受信部
１６００ ２６００ 切替指示受信部
５０００ 蓄積ユニット
５１００ 動画像受信部
５２００ 切替指示送信部
５３００ カメラ切替部
５４００ 蓄積部
５５００ 復号化部
５６００ 表示部

Claims (5)

1. 相互にデータの送受信を行うことができる、複数の監視カメラユニットと映像蓄積ユニットとから成る監視映像蓄積システムであって、
   前記複数の監視カメラユニットから、特定の被写体を撮影している１監視カメラユニットを逐次選択する選択手段と、
   前記選択手段により選択されたときから、予測符号化方式に従って符号化された動画像データを当該選択された監視カメラユニットから受信して前記映像蓄積ユニットに蓄積する蓄積手段と、
   前記選択手段で選択された１監視カメラユニットから受信した動画像データに基づいて、当該１監視カメラユニット以外の監視カメラユニットであって、現在選択されている監視カメラユニットの次に前記特定の被写体を撮影する可能性の高い１又は複数の監視カメラユニットを特定し、特定した監視カメラユニットに、特定されたことを示す特定情報を送信する特定手段を備え、
   前記各監視カメラユニットは、
   前記特定情報を受信する特定情報受信手段と、
   撮影した被写体の動画像データを予測符号化方式に従って符号化する符号化手段であって、前記特定情報受信手段が特定情報を受信したときには、撮影した被写体の動画像データの符号化を、画面内予測のみを用いた符号化方式に従って開始する符号化手段と、
   前記符号化手段で符号化された動画像データを、前記映像蓄積ユニットに送信する動画像データ送信手段とを備える
   ことを特徴とする監視映像蓄積システム。
2. 前記選択手段は、更に、
   前記選択手段で選択した１監視カメラユニットに、選択された旨を示す選択情報を送信し、
   前記各監視カメラユニットは、更に、
   前記選択情報を受信する選択情報受信手段を備え、
   前記符号化手段は、
   前記選択情報受信手段で選択情報を受信したときには、撮影した被写体の動画像データの符号化を、画面内予測及び画面間予測のいずれか一方を選択的に用いた符号化方式に従って開始する
   ことを特徴とする請求項１記載の監視映像蓄積システム。
3. 前記特定手段は、前記選択手段で選択された１監視カメラユニットから受信した動画像データに含まれる動きベクトルに基づいて前記特定の被写体の動作方向を特定し、現在選択されている監視カメラユニットの次に前記特定の被写体を撮影する可能性の高い１又は複数の監視カメラユニットを特定する
   ことを特徴とする請求項１記載の監視映像蓄積システム。
4. 特定情報を受信する特定情報受信手段と、
   選択情報を受信する選択情報受信手段と、
   撮影した被写体の動画像データを予測符号化方式に従って符号化する符号化手段であって、前記選択情報受信手段で選択情報を受信したときには、画面内予測及び画面間予測のいずれか一方を選択的に用いる符号化を行い、前記特定情報取得手段で特定情報を受信したときには、画面内予測のみを用いる符号化を行う符号化手段と、
   前記符号化手段で符号化された動画像データを、自カメラユニット外に送信する動画像データ送信手段と、
   前記選択情報受信手段で選択情報を受信したときには、送信している動画像データに基づいて、自監視カメラユニット以外の監視カメラユニットであって、自監視カメラユニットの次に前記被写体を撮影する可能性の高い１又は複数の監視カメラユニットを特定し、特定した監視カメラユニットに、特定されたことを示す特定情報を送信する特定手段と
   を備えることを特徴とする監視カメラユニット。
5. 相互にデータの送受信を行うことができる、複数の監視カメラユニットと映像蓄積ユニットとから成る監視映像蓄積システムで用いられる監視映像蓄積方法であって、
   前記複数の監視カメラユニットから、特定の被写体を撮影している１監視カメラユニットを逐次選択する選択ステップと、
   前記選択ステップにより選択されたときから、予測符号化方式に従って符号化された動画像データを当該選択された監視カメラユニットから受信して前記映像蓄積ユニットに蓄積する蓄積ステップと、
   前記選択ステップで選択された１監視カメラユニットから受信した動画像データに基づいて、当該１監視カメラユニット以外の監視カメラユニットであって、現在選択されている監視カメラユニットの次に前記特定の被写体を撮影する可能性の高い１又は複数の監視カメラユニットを特定し、特定した監視カメラユニットに、特定されたことを示す特定情報を送信する特定ステップと、
   前記各監視カメラユニットが前記特定情報を受信する特定情報受信ステップと、
   前記各監視カメラユニットが撮影した被写体の動画像データを予測符号化方式に従って符号化する符号化ステップであって、前記特定情報受信ステップで特定情報を受信したときには、撮影した被写体の動画像データの符号化を、画面内予測のみを用いた符号化方式に従って開始する符号化ステップと、
   前記各監視カメラユニットが前記符号化ステップで符号化された動画像データを、前記映像蓄積ユニットに送信する動画像データ送信ステップとを含む
   ことを特徴とする監視映像蓄積方法。

Images