JP4767729B2 - 監視システムおよび映像蓄積配信装置 - Google Patents

監視システムおよび映像蓄積配信装置 Download PDF

Info

Publication number
JP4767729B2
JP4767729B2 JP2006073121A JP2006073121A JP4767729B2 JP 4767729 B2 JP4767729 B2 JP 4767729B2 JP 2006073121 A JP2006073121 A JP 2006073121A JP 2006073121 A JP2006073121 A JP 2006073121A JP 4767729 B2 JP4767729 B2 JP 4767729B2
Authority
JP
Japan
Prior art keywords
video
event
stored
monitoring
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006073121A
Other languages
English (en)
Other versions
JP2007251646A (ja
Inventor
純一 横里
邦夫 柴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2006073121A priority Critical patent/JP4767729B2/ja
Publication of JP2007251646A publication Critical patent/JP2007251646A/ja
Application granted granted Critical
Publication of JP4767729B2 publication Critical patent/JP4767729B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

この発明は、複数の監視映像を遠隔で監視する監視システムおよびイベント発生前の映像を集信装置から入手して監視端末に配信する映像蓄積配信装置に関するものである。
監視システムの一般的な構成形態として、複数の監視先に多数の監視カメラを設置し、各カメラで撮影した映像をネットワークで接続された遠隔の監視センタに送信して、センタに設置された複数の監視端末により集中的に監視するようにしたものがある。このような監視システムでは、監視先において事故や災害、犯罪の発生タイミングを予知できるようにはなっておらず、発生時のライブ映像や発生前後の蓄積映像を確認可能とするためには、監視先に設定された全てのカメラの映像を遠隔の監視センタで常時受信できるようにしておく必要がある。そのためには、ネットワークの帯域を監視カメラの全映像を受信可能にする大容量ネットワークが必要であり、また、全映像を蓄積する蓄積装置が要求されるが、これに対応することは現実的には難しい。
上記課題に対応する方法として、次のような技術が提案されている(例えば、特許文献1、特許文献2参照)。特許文献1の技術では、カメラが接続された映像入力配信装置内に映像をエンドレス蓄積するようにリングバッファが設けられている。この映像入力配信装置は、伝送路を介して映像監視サーバに接続されており、この映像監視サーバのリクエストに対応して、リングバッファにエンドレス蓄積した任意の部分をマルチキャスト送信する。映像監視サーバでは、受信した映像を蓄積し、同時に、映像監視サーバに接続された映像監視端末でそのマルチキャスト映像を閲覧できるようにしている。映像監視サーバは蓄積した映像を配信する機能も有している。この技術によれば、例えば監視センタでは、イベントが発生した際に関連するカメラが接続されている映像入力配信装置に対してイベント発生前後の映像をダウンロードする命令を送信することにより、イベントの発生状況を撮影した重要映像のみを監視センタに蓄積することが可能になる。したがって、全てのカメラの映像を遠隔の監視センタで受信する必要がなく、イベントに関連した重要な映像のみを監視センタに蓄積することが可能になる。
一方、特許文献2の技術によれば、映像配信装置に蓄積されている映像データを管理単位のブロックに分割して映像受信再生装置側に配信して閲覧できるようにするシステムを備えている。この映像受信再生装置では、既に過去に受信した映像データに関しては内部に蓄積しておき、映像を再生する際に、再生する映像の管理ブロックが内部に蓄積されている場合にはその映像を再生し、一方、該当する管理ブロックが内部に蓄積されていない場合には映像配信装置から映像を受信して再生を行うようにしている。
特開2003−153165号公報 特開2002−262267号公報
上記特許文献1の技術を用いた監視システムの場合、イベントが発生した時にはカメラ側に蓄積した映像ファイルをイベント前後で切り出して遠隔の監視センタに送信することが考えられる。例えばイベント前後n分間の映像を切り出す場合、映像はn分前の映像から受信する必要があり、映像はデータ容量が大きいため、一番重要なイベント発生時の映像の到着が遅れリアルタイムで無くなるという問題がある。また、イベント発生時に、イベント発生直後を指定して映像受信した場合には、監視映像は映像監視端末でほぼリアルタイムに表示可能となるが、ライブ映像の表示後にイベント発生前の映像を表示する際に、監視員がイベント発生前の時間を指定して明示的にリクエストを行うことでイベント発生前の映像を受信する必要があり、操作が煩雑になるという問題がある。一方、上記特許文献2の技術においては、映像コンテンツの配信を主なアプリケーションとして考えているため、映像監視におけるイベントデータに基づいて映像の再生を制御することができないという問題がある。
この発明は、上記問題点を解決するためになされたもので、簡単なイベントデータ指定によるイベント発生前後の蓄積された監視映像のシームレスな表示を可能にする監視システムおよび映像蓄積配信装置を得ることを目的とする。
この発明に係る監視システムは、監視先でイベントの発生がない通常時において、監視先に設置した監視カメラで撮影した映像をイベント前映像として一次蓄積映像データベースに蓄積しておき、監視先でイベントが発生した場合において、当該イベントに対応する監視カメラのライブ映像を、イベント後映像としてイベント後再生時間を指定して蓄積映像データベースに蓄積し、ライブ映像の蓄積後で、発生履歴のあるイベントを指定して受信許可を与えた監視端末から蓄積映像送信要求が出された場合において、イベント前再生時間を指定することにより、一次蓄積映像データベースから指定イベントに対応するイベント前映像のイベント前再生時間分を取得し、取得した当該イベント前映像と蓄積映像データベースに蓄積されている指定イベントに対応するイベント後映像とを、最後に受信したイベント前映像のパケットの次に来るパケットをイベント後映像の配信開始パケット切り替え、連続するストリームにして蓄積映像送信要求を出した監視端末に配信するものである。
この発明によれば、複数のカメラで撮影した映像をネットワークで接続された遠隔の監視センタの監視端末で集中監視する監視システムに適用して、大容量ネットワークを必要とせず、また全映像を蓄積する蓄積装置を必要とすることなく、監視先の事故、災害、犯罪等のイベントが発生した場合に、そのイベント発生前後の蓄積映像を確認できるようにしている。特に、蓄積された監視映像を閲覧する際には、ユーザが監視端末でイベントデータを指定するだけで、再生する時間、時刻を意識することなく、イベント発生前後のシームレスな映像の閲覧を可能にする。
実施の形態1.
この実施の形態1では、監視先でイベントが発生していない通常状態にある時に監視映像をイベント発生前の映像(以下、イベント前映像とする)として蓄積していき、イベントが発生した場合にはその後のライブ映像を監視端末で閲覧できるようにすると同時に、そのライブ映像をイベント発生後の映像(以下、イベント後映像とする)として蓄積しておき、その後、任意の監視端末からの要求に応じて蓄積されたイベント前後の映像を閲覧できるようにすることについて説明する。
ここでは、以下映像を主体とした蓄積、配信について説明するが、音声等の他のメディアについても同様であるものとする。映像はMPEG−4 Simple Profileを例にして説明する。また、映像の配信については、例えばIETF(Internet Engineering Task Force)のRFC3550で規定されているRTP(Real-Time Transport Protocol)を用い、MPEG−4ペイロード形式はIETFのRFC3016を用いる。ビデオ配信制御については、主にIETFのRFC2326で規定されているRTSP(Real Time Streaming Protocol)を用いた方式について説明を行う。
図1はこの発明の実施の形態1による監視システムの機能構成を示すブロック図である。
この監視システムでは、複数の監視先にそれぞれ監視カメラC1〜Cn(n≧1)とイベント発生装置E1〜En(n≧1)が設置されている。監視カメラC1〜Cnとイベント発生装置E1〜Enは、カメラネットワーク8を介して集信装置3に接続されている。また、集信装置3は、一次蓄積映像DB(一次蓄積映像データベース)4に接続されており、ネットワーク5を介して監視センタ6に接続されている。監視センタ(監視センタ装置)6は、映像蓄積配信装置1、蓄積映像DB(蓄積映像データベース)2および複数の監視端末T1〜Tm(m≧1)を備えている。なお、ネットワーク5,8には、例えばIPネットワークが使用されるが、カメラネットワーク8は必ずしもIPネットワークである必要はなく、接続により映像データが送信できればどのようなものを使用してもよい。なお、図1の例は、監視カメラ、イベント発生装置、一次蓄積映像DBおよび集信装置から成る一つの監視先グループ(監視先グループ装置)について示しているが、同様な組み合わせの他の監視先グループが存在する場合には、同様にネットワーク5を介して監視センタ6に接続されるものとする。
なお、この例の監視システムに接続されている機器は、時刻サーバあるいはGPS等により時刻同期されているものとする。
監視カメラC1〜Cnは、それぞれが設置された監視先を撮影し、得られた映像信号をデジタル化した後、符号化を施し、RTPパケットの映像データにして予め登録されている集信装置3のアドレスに対して送信する手段である。イベント発生装置E1〜Enは、監視カメラC1〜Cnの各監視先における予め設定された条件に基づいてイベントが発生した際に所定のイベントデータを生成し映像蓄積配信装置1に送信する手段である。一次蓄積映像DB4は、監視カメラC1〜Cnのそれぞれに対応した映像のファイル化されたRTPパケットデータを個別にリングバッファに格納し管理する手段である。集信装置3は、監視カメラC1〜Cnで撮影したイベント前映像をそれぞれ順次に一次蓄積映像DB4に蓄積し、イベント発生後に映像蓄積配信装置1からの映像送信要求に従って、イベントに対応する監視カメラからのライブ映像または一次蓄積した映像を映像蓄積配信装置1に対して配信する手段である。蓄積映像DB2は、イベント発生後に映像蓄積配信装置1が受信したライブ映像をイベント後映像として蓄積する手段である。映像蓄積配信装置1は、イベントが発生した際に、該当するイベント発生装置から受信したイベントデータに基づいて対応する監視カメラで撮影されるライブ映像の受信許可を監視端末T1〜Tmのいずれかに対して与えると共に、当該ライブ映像を蓄積映像DB2に蓄積し、また、イベント発生後において監視端末T1〜Tmのいずれかから映像送信要求があった場合に、集信装置3に要求して一次蓄積映像DB4に一次蓄積されたイベント前映像を取得し、このイベント前映像と蓄積映像DB2から読み出した対応するイベント後映像をつなげて、要求があった監視端末に配信する手段である。監視端末T1〜Tmは、イベント発生時に映像蓄積配信装置1から受信許可を受けた場合に、集信装置3から配信された監視カメラのライブ映像を受信再生し、また、蓄積映像送信要求を映像蓄積配信装置1に送信した場合に、イベント発生前に一次蓄積されたイベント前映像とイベント発生後に蓄積されたイベント後映像の連続した映像を再生する手段である。
次に、図1の監視システムの全体動作について説明する。
先ず、各監視カメラからの映像の一次蓄積、イベント発生後のライブ映像の閲覧、およびそのイベント発生後の映像の蓄積について説明する。これらの一連動作は図2に表される。
監視カメラC1〜Cnでは、それぞれの監視対象となる領域を撮影し、その映像信号をデジタル化してMPEG−4に符号化した後、RTPパケット化された映像データに生成し、カメラネットワーク8を介して予め登録された集信装置3に対して送信する。集信装置3では、イベントが発生していない通常時において、受信した監視カメラC1〜Cnからの映像データを、それぞれファイル化してRTPパケットに生成して順次に一次蓄積映像DB4の個別のリングバッファに蓄積していく。
イベント発生装置E1〜Enの一つでイベントが発生したとすると、そのイベント発生装置は後述する図4に示すデータ構成のイベントデータを生成して映像蓄積配信装置1へ送信する。映像蓄積配信装置1では、受信したイベントデータに基づいて当該イベントデータを送信したイベント発生装置に対応する監視カメラと集信装置を指定してイベント発生後のライブ映像の送信要求(以下、ライブ映像送信要求とする)を、該当する集信装置(この例では集信装置3)へ送信する。ここで、ライブ映像送信要求は、実際には図3に例示されているものと同様な複数のリクエストで構成され、かつそれらへの応答処理も伴うが、ここではこれらの一連の手続きを一つにまとめて単に「ライブ映像送信要求」として説明する。また、映像蓄積配信装置1は、この時受信したイベントデータに基づいて形成されたイベント発生通知を監視端末T1〜Tmに対して送信する。監視端末T1〜Tmでは、イベント発生通知を受信すると、受信したイベントデータ発生通知のデータを蓄積する共に、イベントに対応する映像データの受信可否を映像蓄積配信装置1へ応答する。映像蓄積配信装置1は、映像データを受信可能とする監視端末から受信可能応答を受信した場合には、その最初に応答した監視端末Ty(1≦y≦m)に対して映像受信許可を与える。
集信装置3では、ライブ映像送信要求を受信すると、イベント発生のあったイベント発生装置に対応する監視カメラからのライブ映像の一次蓄積映像DB4への蓄積を休止し、代わってイベント発生後のライブ映像を、ネットワーク5を介して映像蓄積配信装置1と映像受信許可を受けた監視端末Tyにマルチキャスト送信する。この場合、再送中の該当映像の一次蓄積は、映像蓄積配信装置1へ配信を開始した数秒後に停止される。ここで、イベント発生に関連する監視カメラからの映像で、一次蓄積映像DB4へ蓄積されている映像データは当該イベント発生前の映像(すなわち、イベント前映像)であり、再送中の映像データは当該イベント発生後のライブ映像(すなわち、イベント後映像)ということになる。
映像受信許可が与えられた監視端末Tyでは、イベント発生後に送られてくるライブ映像を受信復号して表示手段で再生する。この受信したライブ映像の再生は、受信開始から予め設定された一定時間経過するまでの間、あるいは受信開始から映像停止ボタンがユーザインタフェースで押下される時点まで行われる。このことにより、イベント発生後の監視対象の領域の現状を把握することができる。
一方、映像蓄積配信装置1では、集信装置3から再送されたイベント発生後のライブ映像を受信すると、予め設定されたイベント後再生時間分だけ蓄積映像DB2に蓄積する。これにより、蓄積映像DB2には、一次蓄積映像DB4へ蓄積されているイベント前映像に対応するイベント後映像が蓄積されたことになる。
一定量のイベント発生後の映像が蓄積映像DB2に蓄積され、かつ監視端末Tyがライブ映像の再生を終了した場合、集信装置3に対して映像蓄積配信装置1から送信終了通知が与えられる。送信終了通知を受信すると、集信装置3では、上記イベントに関連した監視カメラからの映像の一次蓄積のための受信を再開する。しかし、この時、一次蓄積映像DB4において、イベント発生前の一定時間の映像が蓄積されているブロックに対してファイルのロックを行って、上書き不可としておく。
次に、蓄積されたイベント前映像とイベント後映像の配信・再生についての動作を説明する。これらの一連の動作は図3に表される。なお、図3において複数のリクエストとそれらへの応答が記載されているが、個々については後述する映像蓄積配信装置、映像蓄積配信装置および監視端末の詳細動作で説明しているので、ここでは、これらの手続きを一つにまとめて「蓄積映像送信要求」として説明するものとする。
ライブ再生終了後、監視端末T1〜Tmの一台(Tyとする)において、ユーザが発生イベントの一つの閲覧を選択したとする。この場合の選択は、これまでの発生イベントのライブ映像閲覧に関してイベントデータ発生通知を保存しているので、そのイベントIDを指定して用いて行うことになる。監視端末Tyは、この選択されたイベントIDに関する蓄積映像送信要求を映像蓄積配信装置1に対して送信する。
映像蓄積配信装置1では、受信した蓄積映像送信要求を、イベントIDに対応する監視カメラの映像を管理する集信装置3に対して送信する。このときの蓄積映像送信要求には、要求するイベント前映像に対して、イベント発生時刻から予め設定されたイベント前再生時間分前の時刻が読み出し開始時刻(または送信開始時刻)として指定される。
集信装置3では、映像蓄積配信装置1から蓄積映像送信要求を受信すると、一次蓄積映像DB4に蓄積されている該当イベントに対応した監視カメラからのイベント前映像のデータを指定され時刻から読み出して、映像蓄積配信装置1へ送信する。この場合の送信は、指定され時刻からイベント発生時刻までの長さ分のストリーミングで行い、蓄積されているRTPタイムスタンプのタイミングで送信される。
映像蓄積配信装置1では、集信装置3からイベント前映像を受信すると、蓄積映像送信要求の送信を行った監視端末Tyに対して配信する。映像蓄積配信装置1は、監視端末Tyに送信しているイベント前映像のデータがイベント発生時刻に達すると、次に蓄積映像DB2中の当該イベントに対応するイベント後映像を読み出して配信を開始する。この場合、配信されるイベント後映像のデータは、前述したように、蓄積時に指定したイベント発生時刻からイベント後再生時間分の長さとなる。また、このときのイベント前後の映像の切り替えは、最後に受信したイベント前映像のRTPパケットの次のRTPパケットよりイベント後映像の送信を開始することで、イベント発生前後の映像データはシームレスに連続したものとなる。蓄積映像送信要求を送信した監視端末Tyでは、映像蓄積配信装置1からのイベント発生前後の連続した映像データを受信すると、それを復号して映像表示を行う。
以上のように、映像蓄積配信装置1が、集信装置3側と映像蓄積配信装置1側にそれぞれ蓄積されている発生イベントに関するイベント前映像とイベント後映像の切り替えをシームレスにとなるようにして配信しているため、蓄積映像の閲覧機能に限れば、監視装置TyはRTSPに対応したMPEG−4を復号可能な一般的な再生装置であれば特に特別な機能は無くてもよく、映像蓄積配信装置1にアクセスするだけでシームレスに蓄積映像を閲覧することが可能である。
次に、図1に示されるイベント発生装置E1〜En、集信装置3、一次蓄積映像DB4、蓄積映像DB2および監視端末T1〜Tmの構成および動作の詳細について説明する。
(1)イベント発生装置E1〜En
イベント発生装置E1〜Enは、周囲の条件等に応じてイベントを発生する装置であり、例えば温度センサを搭載しており、温度が設定されている閾値以上になった場合にイベントを発生するものである。また、イベント発生装置の他の例として、人感センサを搭載し、感知領域に入った人間を感知するとイベントを発生させるものもあり、映像変化を分析して異常を検出する監視カメラと一体化したものもある。イベント発生装置E1〜Enでは、イベントが発生すると予め設定されている映像蓄積配信装置1のアドレスとポート番号に対して、ネットワーク8,5を介して、図4に示すような構成のイベントデータを送信する。このイベントデータの構成は、イベント発生装置ID300、イベント種別ID301、イベント発生時刻302、付属データ303等を含んでいる。イベント発生装置ID300にはイベントを発生させた装置のIDが格納される。イベント種別ID301には、発生したイベントの種類を示すIDが格納される。イベント発生時刻302には、イベントの発生した日時が格納される。付属データ303には、イベント種別ID301ごとに格納されるデータ内容が規定されており、例えば高温イベントであれば、イベント発生させた際の温度の情報が格納される。
(2)集信装置3
集信装置3は、図5に示すように、DB入力部(データベース入力部)101、リクエスト送受信部102、再送信部103、蓄積ストリーム送信部104、カメラ属性DB(カメラ属性データベース)160、受信部R1〜Rn(n≧1)およびファイルデータ化部F1〜Fn(n≧1)を備えている。
(2−1)イベントが発生していない通常時における監視カメラC1〜Cn毎の映像データを一次蓄積する際の詳細動作
受信部R1〜Rnは、常時、監視カメラC1〜Cn毎の映像データを受信する。これら受信部R1〜Rnには、それぞれが受信対象とする監視カメラのカメラIDが割り当てられており、予め登録されているポート番号で映像のRTPパケットを待ち受けている。受信部R1〜Rnは、先頭パケットが到着すると、その受信時刻(日付及び時刻)を蓄積開始時刻とし、蓄積開始時刻をファイルデータ化部F1〜Fnに出力すると共に、受信したRTPパケットを次々にファイルデータ化部F1〜Fnに出力する。また、受信部R1〜Rnは、RTPパケットの順序の入れ替わり等の補正を内部に有するバッファを用いて行っている。
ファイルデータ化部F1〜Fnは、入力された各映像のRTPパケットをファイルに蓄積する形式のデータに変換する。この場合、ファイルデータ化部F1〜Fnは、受信部R1〜Rnから蓄積開始時刻を受け取った場合、時間情報をリセットし、受け取ったRTPパケットの先頭にパケット長を付与し、パケットを時間順に結合する。このような映像データを後述する一次蓄積DBのリングバッファのブロックに納まる一定サイズ分まとめると、その先頭パケットを受信した時刻、最終パケットを受信した時刻、およびカメラIDをDB入力部101に対して出力する。DB入力部101では、ファイルデータ化部F1〜Fnにおいてファイル化された各データを一次蓄積映像DB4に蓄積する。ここで、先頭パケットを受信した時刻は、受信開始時刻を受信部R1〜Rnから受け取った場合には、その時刻とし、受け取らなかった場合には、以前受信した時刻にRTPパケットのタイムスタンプから換算した時間を足した時刻により作成する。最終パケット時刻も同様にして、先頭パケット受信時刻を基に最後に受信したRTPパケットのタイムスタンプにより計算を行う。
(2−2)イベント発生後のライブ映像を再送信(転送)する際の詳細動作
イベントが発生した際、映像蓄積配信装置1からライブ映像送信要求がある。ここで、ライブ映像送信要求は、DESCRIBEリクエスト、SETUPリクエスト、PLAYリクエストとこれらのリクエストに対するそれぞれの応答からなる。
リクエスト送受信部102では、イベント発生直後に映像蓄積配信装置1からDESCRIBEリクエストを受信した場合、カメラ属性DB160を検索し、リクエストされた監視カメラの属性情報を抽出する。カメラ属性DB160には、各監視カメラの属性情報がSDP(Session Description Protocol)のメディア記述の形式で格納されている。リクエスト送受信部102では、抽出したSDPのメディア記述をSDPのメディア部分に格納することで監視カメラに対応した映像の属性情報を生成する。MPEG−4の場合、主に格納される情報としてはプロファイルレベルIDとDCI(Decoder Configuration Information:MPEG−4規格ISO/IEC14496−2AnnexKに定義)となる。リクエスト送受信部102は、抽出した監視カメラの属性情報をSDPにより格納するDESCRIBE応答を映像蓄積配信装置1に送信する。
また、リクエスト送受信部102は、DESCRIBE応答を送信することで映像蓄積配信装置1から送信されるSETUPリクエストを受信すると、予めカメラ毎に決められた送信先のマルチキャストアドレスと、ポート番号を検索し、その情報をSETUP応答に格納して映像蓄積配信装置1に対して送信する。さらに、リクエスト送受信部102では、SETUP応答を送信することで映像蓄積配信装置1から送信されるPLAYリクエストを受信すると、再送信部103のスレッドを生成し、PLAYリクエストの内容である、送信対象とするカメラ番号および送信先のマルチキャストアドレスとポート番号を再送信部103に通知する。なお、再送信部103は、リクエストが同時に複数発生した場合には複数起動し、複数の送信先(監視端末)への再送信を行うものとする。
再送信部103では、PLAYリクエストで要求されたカメラ番号に対応する受信部Rx(RxはR1〜Rnのうちで該当イベントに対応する受信部とする)で受信しているライブ映像のRTPパケットを映像蓄積配信装置1に対して送信する。再送信部103では、要求されたカメラからのRTPパケットを、フレームの切り替わりのタイミングで、PLAYリクエストで指定されたマルチキャストアドレスとポート番号に対して送信する。この場合の再送を行うライブ映像は、監視センタ6側で蓄積されるので、一次蓄積映像DB4への蓄積は不要となる。そのため、該当映像の一次蓄積は映像蓄積配信装置1への再送を開始した数秒後に対応する受信部により停止される。
リクエスト送受信部102は、映像の再送を行っている時に、映像蓄積配信装置1からTEARDOWNリクエストを受信すると、再送信部103に対して終了の命令を送信する。再送信部103は、送信するRTPパケットをコピーする受信部Rxに対して送信終了通知を与えて、自身のスレッドを終了する。一方、送信終了通知を受信した受信部Rxは、一次蓄積のための受信を再開する。この時、一次蓄積映像DB4において、イベント発生前の一定時間の映像が蓄積されているブロックに対してファイルのロックを行い、上書き不可とする。再送終了処理が完了すると、リクエスト送受信部102は、映像蓄積配信装置1に対してTEARDOWNの応答を返す。
なお、一次蓄積のための受信を再開する時にイベント発生前の一定時間の映像が蓄積されているブロックのファイルをロックしているが、別の方法として、イベント専用のリングバッファや他の専用の記憶手段を設け、そこにイベント発生前の一定時間の映像を移し替えておいて、読み出せるようにしてもよい。
(2−3)一次蓄積したイベント発生前の映像を送信する際の詳細動作
イベント発生後にイベント発生前後の映像を閲覧する場合、任意の監視端末Trから蓄積映像送信要求が映像蓄積配信装置1に対して送信される。ここで、蓄積映像送信要求は、図3に示すように、DESCRIBEリクエスト、SETUPリクエスト、PLAYリクエストとこれらのリクエストに対するそれぞれの応答からなる。
リクエスト送受信部102は、監視端末TrからのSETUPリクエストを映像蓄積配信装置1から受信した場合(図3 SQ4)、該当するカメラIDの映像のファイルが一次蓄積映像DB4に蓄積されているかを調べ、存在する場合には、映像蓄積配信装置1に対して、その送信ポート情報と共にSETUP応答を返す(図3 SQ5)。リクエスト送受信部102では、送信した上記SETUP応答に対して、予め設定されたイベント前再生時間分前の時刻を読み出し開始時刻(または送信開始時刻)として指定したPLAYリクエストを映像蓄積配信装置1から受信すると(図3 SQ8)、蓄積ストリーム送信部104のスレッドを起動し、カメラIDと送信開始時刻と映像蓄積配信装置1のアドレスと送信先ポートを蓄積ストリーム送信部104に通知する。蓄積ストリーム送信部104は、一次蓄積映像DB4内のファイル管理テーブル205の該当するカメラIDのテーブルを検索し、指定された送信開始時刻が格納されているブロックのファイル位置を特定する。そして、そのファイル位置にアクセスし、先頭パケットのRTPパケットと受信開始時刻の関係から、必要な送信開始時刻より前で一番近いRTPパケットを抽出し、そのパケットを送信開始パケットとする。ここで、送信開始パケットを選択する際に、送信開始時刻より前で一番近いイントラフレームの先頭パケットを選択することも可能である。そのために、ここでは監視カメラC1〜Cnから送信される映像には定期的にイントラフレームが挿入されているものとする。
送信開始パケットを特定した蓄積ストリーム送信部104は、リクエスト送受信部102に対して、通知された送信開始時刻とその時間の映像が格納されているRTPパケットのタイムスタンプを返す。ここで、送信開始時刻とそれに対応するRTPパケットのタイムスタンプのペアにより、蓄積した時刻情報と、各RTPパケットで送信する映像データの時刻情報とを対応付けることが可能となる。リクエスト送受信部102は、この時刻情報とタイムスタンプの対応付け情報を格納したPLAY応答を映像蓄積配信装置1に対して送信する(図3 SQ9)。また、リクエスト送受信部102は、PLAY応答の送信が終了すると、蓄積ストリーム送信部104に対してストリームの送信開始通知を行う。なお、蓄積ストリーム送信部104は、複数同時に送信する場合には、複数起動されるものとする。
ストリーム送信開始通知を受け取ると、蓄積ストリーム送信部104は、一次蓄積映像DB4に蓄積しているRTPパケットを、特定した送信開始位置から映像蓄積配信装置1に対して送信する(図3 SQ11)。送信はストリーミングで行い、RTPタイムスタンプのタイミングで送信するものとする。ただし、同一のVOP(Video Object Plane:MPEG4規格ISO/IEC14496−2に定義されたビデオのフレーム)のパケットはすべて同一のタイムスタンプが付与されるため、VOP間の時間間隔でビットレートが平滑化されるよう計算して送信する。送信中にリングバッファのブロックが終了したら、受信開始時刻を検索し、時間的に連続するブロックの先頭から送信を継続する。その後、リクエスト送受信部102は、映像蓄積配信装置1からのTEARDOWNを受信すると(図3 SQ15)、蓄積ストリーム送信部104に終了通知を行ってストリーム送信を終了させた後、TEARDOWN応答を映像蓄積配信装置1へ送信する(図3 SQ16)。
(3)一次蓄積映像DB4
一次蓄積映像DB4は、ハードディスク等のストレージ装置で構成され、図6に示すように、各監視カメラからの映像のRTPパケットデータを個別に格納するリングバッファB1〜Bnを備えている。リングバッファB1〜Bnは、周知のように、一定量以上のデータを受信すると一番古いデータから、次に与えられるデータを上書きする構成になっており、エンドレスに一定量の映像データを蓄積していくことができるものである。リングバッファに蓄積するファイルの蓄積形式を図7に示す。ファイルは、図7(a)に示すようにパケット長201とRTPパケット202で構成されている。管理に用いるファイル管理テーブルは、図7(b)に示すように、カメラID210、ブロック番号211、ファイル位置212、先頭パケット受信時刻213および終了パケット受信時刻214で構成されている。
一次蓄積映像DB4において、ファイル化されたRTPパケットデータはリングバッファB1〜Bnの中のカメラIDに対応したバッファに書き込まれる。バッファにはパケット長201、RTPパケット202が連続して格納される。リングバッファは一定サイズのX個のブロックから構成されている。このようなリングバッファに書き込むために、集信装置3のファイルデータ化部F1〜Fnでは、このブロックサイズ以下のデータにして結合した映像データを生成している。映像データがブロックに書き込まれると同時に、該当するカメラID210のファイル管理テーブル205のブロックID211の行に、そのブロックのファイル位置を示すファイル位置212、先頭パケット受信時刻213および終了パケット受信時刻214が記録される。一巡してすべてのブロックにデータが蓄積されると、一番古いデータが格納されたブロックに上書きされることで受信データをエンドレスに蓄積していく。
(4)映像蓄積配信装置
映像蓄積配信装置1は、図8に示すように、イベント受信部400、蓄積ストリームリクエスト部401、ストリーム受信部402、ストリーム蓄積部403、イベントデータ管理部404、映像配信管理部405、ストリーム送信部406、配信ストリーム受信部407、イベント・映像対応DB(イベント・映像対応データベース)450、イベントDB(イベントデータベース)451、イベント映像再生時間DB(イベント映像再生時間データベース)452、監視端末管理DB(監視端末管理データベース)453を備えている。
(4−1)イベント発生後のライブ映像を監視端末へ与え、かつそのライブ映像を蓄積する際の詳細動作
イベント受信部400では、例えばイベント発生装置E1〜Enの一つから図4に示すイベントデータを受信した場合、そのイベントデータを蓄積ストリームリクエスト部401に出力する。蓄積ストリームリクエスト部401では、そのイベントデータに含まれているイベント発生装置IDに基づいてイベント・映像対応DB450を検索し、イベントデータを送信したイベント発生装置に関連したカメラID、集信装置ID、集信装置アドレスを抽出する。イベント・映像対応DB450のデータ構成は、図9に示すように、イベント発生装置ID500、集信装置ID501、集信装置アドレス502およびカメラID503を含んでいる。例えば図1で示されたイベント発生装置E1〜En、監視カメラC1〜Cn、およびこれらに関わる集信装置3の関係が映像対応DB450で予め設定される。ここで、集信装置アドレス502は集信装置のIPアドレスを表している。
蓄積ストリームリクエスト部401がイベント発生装置IDに関連する集信装置ID、集信装置アドレス、カメラIDを抽出すると、イベントデータ管理部404は受信したイベントデータの内容をイベントDB451へ登録する。イベントDB451のデータ構成は、図10に示すように、受信したイベントデータの内容であるイベント発生装置ID901、イベント種別ID902、発生時刻903、付属データ904およびそのイベントに対して設定したイベントID900を含んでいる。イベントデータ管理部404は、設定したイベントID900を蓄積ストリームリクエスト部401に送る。すると、蓄積ストリームリクエスト部401は、イベントに対応する集信装置アドレス502の予め決められているポート番号に対して、ライブ映像送信要求を送信する。ライブ映像送信要求にはRTSPが使用される。集信装置3には複数の監視カメラC1〜Cnが接続されているため、RTSPリクエストを行うURLによりカメラ映像に対するリクエストを行う。ここでは、「rtsp://集信装置のIPアドレス/live/カメラID」を使用することで集信装置3に対し、カメラIDで指定した監視カメラのライブ映像送信要求を行う。このライブ映像送信要求中の集信装置のIPアドレスとカメラIDには対応するデータが記入されることになる。
ライブ映像送信要求は、DESCRIBEリクエスト、SETUPリクエスト、PLAYリクエスト等の複数の命令とこれらのリクエストに対する応答で構成されている。蓄積ストリームリクエスト部401は、始めに、DESCRIBEリクエストを集信装置3に送信する。蓄積ストリームリクエスト部401は、送信したDESCRIBEリクエストに対するDESCRIBE応答を集信装置3から受信すると、そのDESCRIBE応答に格納されたリクエストした監視カメラに対応した映像の属性情報を取り出して記憶すると共に、SETUPリクエストを生成して集信装置3に対して送信する。蓄積ストリームリクエスト部401は、送信したSETUPリクエストに対するSETUP応答を集信装置3から受信すると、SETUP応答に含まれたマルチキャストアドレスとポート番号を取り出し、ストリーム受信部402のスレッドを生成して、受信したマルチキャストアドレスとポート番号をストリーム受信部402に通知した後、集信装置3に対してPLAYリクエストを送信する。ストリーム受信部402では、通知されたマルチキャストアドレスとポート番号に対して受信を開始し、RTPパケットの到着を待機する。
また、蓄積ストリームリクエスト部401では、上記PLAYリクエストの送信と平行して、全監視端末T1〜Tmに対して、イベントデータ発生通知を送信する。この場合、監視端末管理DB453に全監視端末T1〜Tmの端末IDとIPアドレス情報が予め登録されており、監視端末管理DB453を検索することにより、抽出した各監視端末のIPアドレスに対してイベントデータ発生通知の送信を行うことになる。イベントデータ発生通知は、図11に示すように、イベントID700、イベント発生装置ID701、イベント種別ID702、発生時刻703、付属データ704、集信装置ID705、集信装置アドレス706、マルチキャストアドレス707、ポート番号708および映像属性情報709を含んでいる。イベントID700は、映像蓄積配信装置1内で採番したイベントを識別するIDである。イベント発生装置ID701、イベント種別ID702および発生時刻703は、イベント発生装置E1〜Enが発信するイベントデータ(図4)と同一である。集信装置ID705は、映像を配信する集信装置3のIDである。集信装置アドレス706は、集信装置3のIPアドレスである。マルチキャストアドレス707とポート番号708は、イベントに関連した映像が配信されるマルチキャストアドレスとポート番号である。映像の属性情報709は、プロファイルレベルIDとDCIの情報を含んでいる。
蓄積ストリームリクエスト部401では、送信したイベントデータ発生通知に対する各監視端末からの応答を受信すると、最初に到着した受信可能応答に対応する監視端末(これをTyとする)に対して映像受信許可を送信し、その後に受信可能応答を受信した他の監視端末に対しては再生不許可のメッセージを送信する。これにより、イベント発生後の対応する監視カメラからのライブ映像の再生を行う監視端末Tyが決定する。この場合、集信装置1を経由するライブ映像のRTPパケットはネットワーク5を介して監視端末T1〜Tmに送られるようになっているが、映像受信許可が与えられた監視端末Tyのみがそのライブ映像を受信することになる。
一方、ストリーム受信部402では、集信装置3からライブ映像のRTPパケットの受信を開始すると、一定時間バッファリングすることで、パケットの順序の入れ替わりを補正し、RTPパケットデータをストリーム蓄積部403に出力する。ストリーム蓄積部403では、蓄積ストリームリクエスト部401から映像属性情報であるDCI情報とイベントIDを予め受信しておき、ストリーム受信部402から入力されたライブ映像のRTPパケットを蓄積映像DB2に蓄積する。映像の蓄積フォーマットはどのようなフォーマットでもよいが、この実施の形態1では図7に示したフォーマットで蓄積するものとする。
イベント映像再生時間DB452では、各イベントに対応する映像について、イベント発生前後に再生する時間を設定している。このデータ構成は、図12に示すように、イベント前再生時間1000とイベント後再生時間1001からなる。ストリーム蓄積部403ではイベント発生後のライブ映像のRTPパケットを蓄積映像DB2に蓄積する動作を行うが、その際、映像配信管理部405は、このライブ映像を、イベント発生時刻からイベント映像再生時間DB452で設定したイベント後再生時間1001の時間長にして蓄積するよう蓄積映像DB2を制御する。そして、映像配信管理部405は、このイベント後映像の蓄積を行うと、その蓄積内容を表す映像管理テーブル810を生成して蓄積映像DB2に格納すると共に、蓄積ストリームリクエスト部401からTEARDOWNメッセージを集信装置3に対して送信する。これに対して集信装置3からTEARDOWNの応答を受け取ると、蓄積ストリームリクエスト部401はストリーム受信部402とストリーム蓄積部403に対して通知し、蓄積動作を終了させる。上記映像管理テーブル810は、図14に示すように、蓄積したイベント後映像に対応する、イベントID800、蓄積ファイルID801、DCI802および蓄積時間803のデータで構成されている。ここで、蓄積時間とは、蓄積映像DB2に蓄積されたイベント後映像の時間長を表しており、イベント映像再生時間DB452で設定したイベント後再生時間1001に該当する。
(4−2)イベント発生前に一次蓄積した映像とイベント発生後に蓄積した映像を監視端末Tyへ配信する際の詳細動作
イベント発生後のライブ映像の送信と蓄積が終了した後、任意の監視端末(例えばTyとする)から蓄積映像送信要求が送信される。映像配信管理部405は、監視端末TyからDESCRIBEリクエストを受信した場合(図3 SQ1)、そのDESCRIBEリクエストから、後述するようなリクエストURLのイベントIDを取り出す。イベントデータ管理部404では、映像配信管理部405が取り出したイベントIDに基づいて図10に示されるイベントDB451を検索し、対応するイベント発生装置ID901、イベント種別ID902、発生時刻903および付属データ904を抽出して映像配信管理部405に与える。映像配信管理部405は、このイベントデータを受け取ると、図9に示すイベント・映像対応DB450を検索し、イベント発生装置ID901に対応する集信装置ID501、集信装置アドレス502およびカメラID503を抽出し、続けて、蓄積映像DB2内の図14に示す映像管理テーブル810から、リクエストを受けたイベントIDに対応する蓄積ファイルID801とDCI802を抽出して、SDPに格納するプロファイルレベルIDとDCI情報を生成し、DESCRIBE応答として、DESCRIBEリクエストを送信した監視端末Tyに対して返信する(図3 SQ2)。
ここで、図13にMPEG−4のSDPの例1900を示す。下線部分に関しては、実際のSDPでは数値やバイト列が記述される。ビットレート1901は、伝送する映像のビットレートを示す。URL1902は、伝送する映像のURL示す。再生時間1903は、映像の再生時間を示し、予め設定されているイベント映像再生時間DB452内のイベント前再生時間1000とイベント後再生時間1001を加算した時間を格納している。PT値1904は、ペイロードタイプ値を格納しており、RTPでMPEG−4用に割り当てたペイロードタイプを記述する。通常MPEG−4のRTP伝送におけるペイロードタイプは、96から割り当てられているダイナミックレンジの一つを使用する。プロファイルレベルID1905は、送信するMPEG−4映像のプロファイルレベルIDを格納している。プロファイルレベルIDはDCI802から作成可能である。DCI1906には、送信するMPEG―4のDCI802が格納される。デコーダはDCI1906から、符号化された映像データの復号を行うパラメータを取得することが可能となる。
DESCRIBE応答に対してSETUPリクエストを監視端末Tyから受信すると(図3 SQ3)、映像配信管理部405では、該当イベントに対応するイベント前映像を蓄積管理している集信装置3のIPアドレスに対して、このSETUPリクエストを送信する(図3 SQ4)。この場合の送信先となる集信装置3では、DESCRIBEリクエスト受信時に検索した情報を使用するため、集信装置3に対しては、リクエストURLとして、
rtsp://集信装置アドレス/file/カメラID
を使用する。ここで、集信装置アドレスとカメラIDには、対応するデータが記入される。
SETUPリクエストの送信先の集信装置3から、対応する一次蓄積ファイルが存在することを表すSETUP応答を受信すると(図3 SQ5)、映像配信管理部405は、配信ストリーム受信部407のスレッドを起動し、蓄積映像の送信元になる集信装置3のアドレスと受信ポート番号を指定することで、RTPパケットの受信準備を開始すると共に、ストリーム送信部406のスレッドを起動し、送信先のポート番号と監視端末Tyのアドレス情報を指定する。なお、配信ストリーム受信部407およびストリーム送信部406は、複数の配信を行う場合には複数のスレッドの起動を行うものとする。その後、監視端末Tyに対して送信先のポート番号を格納したSETUP応答を送信する(図3 SQ6)。このSETUP応答に対するPLAYリクエストを監視端末Tyから受信すると(図3 SQ7)、映像配信管理部405は、イベント発生時刻に対してイベント映像再生時間DB452で設定したイベント前再生時間1000分前の時刻を指定したPLAYリクエストを集信装置3に対して送信する(図3 SQ8)。
映像配信管理部405では、送信したPLAYリクエストに対するPLAY応答を集信装置3から受信すると(図3 SQ9)、そのPLAY応答メッセージから時刻情報とタイムスタンプの関係を示す情報を取り出し、図14に示すような蓄積映像DB2内の映像管理テーブル810を検索して、イベントデータに対応する映像データのファイルIDを特定し、同時にPLAY応答を監視端末Tyに対して送信する(図3 SQ10)。ここでは、検索したファイルIDをオープンし、先頭RTPパケットのタイムスタンプを読み出し、これを集信装置3から受信した時刻情報とタイムスタンプの関係情報から時刻情報に変換し、イベント発生時の時刻情報をストリーム送信部406に通知する。同時にRTPタイムスタンプと時刻情報の関係情報も送信する。ここで、一次蓄積映像DB4と蓄積映像DB2に蓄積しているRTPパケットはもともと同じストリームの前後を蓄積したものであるため、タイムスタンプ情報の変換は必要ない。配信ストリーム受信部407は、集信装置3から送信されるイベント前映像を受信し(図3 SQ11)、RTPパケットの形式でストリーム送信部406に対して入力する。ストリーム送信部406では、ストリーム受信部407から入力されたRTPパケットのタイムスタンプを時刻情報に変換して、時刻情報が次に送信するイベント後映像の開始時刻に達していないかの確認を行う。達していない場合には、入力されたRTPパケットを監視端末Tyに対して送信する(図3 SQ12)。
一方、ストリーム送信部406は、時刻情報がイベント後映像の開始時刻に達した場合には、映像配信管理部405にイベント時刻到達通知を行う。このイベント時刻到達通知を受けた映像配信管理部405は、ストリーム送信部406に対して、蓄積映像DB2の配信対象とする映像ファイルの蓄積ファイルID801を通知すると共に、集信装置3に対して、RTSPのTEARDOWNリクエストを送信し、イベント前映像の送信の終了を行わせる(図3 SQ15)。ストリーム送信部406は、通知されたファイルIDの映像ファイルをオープンし、先頭から時間情報をチェックし、最後に受信したイベント前映像のRTPパケットの次のRTPパケットよりイベント後映像の送信を開始する(図3 SQ14)。ここで、集信装置3からのイベント前映像と同様にRTPタイムスタンプに合わせて監視端末Tyに対してストリーム配信を行う。したがって、イベント前映像とイベント後映像をシームレスにして配信することができる。そして、ストリーム送信部405は、イベント映像再生時間DB452で設定されているイベント後再生時間1001のイベント後映像を送信すると、配信を終了する。
(5)蓄積映像DB2
蓄積映像DB2は、映像蓄積配信装置1で受信したイベント発生後のライブ映像をイベント後映像として蓄積する手段である。詳しくは、映像蓄積配信装置1で説明したように、予め設定されているイベント後再生時間1001の長さの映像が蓄積される。この蓄積映像DB2には、図14に示す映像管理テーブル810も格納される。前述したように、映像管理テーブル810のデータである、イベントID800、蓄積ファイルID801、DCI802および蓄積時間803は、映像蓄積配信装置1において、蓄積ストリームリクエスト部401から蓄積終了通知を受け取ったストリーム蓄積部403が映像ファイルをクローズしたときに生成され格納される。
(6)監視端末T1〜Tm
監視端末Ty(1≦y≦m)は、図15に示すように、リクエスト送受信部600、映像受信部601、映像復号部602、表示部603、イベント一覧管理部604およびイベントDB(イベントデータベース)605を備えている。
(6−1)イベント発生後のライブ映像を受信再生する際の詳細動作
リクエスト送受信部600は、映像蓄積配信装置1からイベントデータ発生通知を受信した場合、イベント一覧管理部604に通知すると共に、現在の監視映像(ライブ映像)を再生可能である場合には受信可能応答を、また、例えば既に他のイベントが発生した映像を再生している場合などで再生不可である場合には受信不可能応答を映像蓄積配信装置1に送信する。これらの受信可能応答と受信不可能応答には、イベントIDと受信可能・不可能を示すフラグが格納されている。また、イベント一覧管理部604は、受信したイベントデータ発生通知のデータをイベントDB605のイベント一覧に蓄積する。このイベントDB605の構成は、映像蓄積配信装置1のイベントDB451と同様である。
リクエスト送受信部600は、送信した受信可能応答に対する映像受信許可を映像蓄積配信装置1から受信すると、映像受信部601、映像復号部602および表示部603のスレッドを起動し、映像受信部601にマルチキャストアドレスとポート番号を通知し、また映像復号部602に対して映像属性情報であるプロファイルレベルIDとDCIを通知する。映像受信部601は、受信を開始して集信装置3からネットワーク5を経由して与えられるライブ映像のRTPパケットを受信すると、一定時間バッファリングを行うことで到着順序の補正を行った後、RTPパケットのタイムスタンプとRTPペイロードに格納されている映像符号データを映像復号部602に入力する。映像復号部602では、映像データの復号を行い、RTPタイムスタンプ情報とそれに対応する復号映像を表示部603へ送信する。表示部603では、RTPタイムスタンプのタイミングに合わせて、ライブ映像を再生表示する。
(6−2)イベント発生前に一次蓄積した映像とイベント発生後に蓄積した映像の連続映像を受信再生する際の詳細動作
イベント発生後のライブ再生の終了後において、イベントDB605で管理している発生イベントの中の一つをユーザが選択した場合、イベント一覧管理部604は選択されたイベントIDをリクエスト送受信部600に通知する。リクエスト送受信部600は、通知されたイベントIDに関する蓄積映像送信要求を映像蓄積配信装置1に対して送信する。この蓄積映像送信要求にはRTSPを使用する。DESCRIBEリクエストにするURLは、
rtsp://映像蓄積配信装置のIPアドレス/イベントID
とする。ここで、映像蓄積配信装置のIPアドレスとイベントIDには、対応するデータが記入される。
リクエスト送受信部600は、始めに、映像蓄積配信装置1に対して上記リクエストURLでDESCRIBEリクエストを送信する(図3 SQ1)。このDESCRIBEリクエストに対するDESCRIBE応答を映像蓄積配信装置1から受信すると(図3 SQ2)、リクエスト送受信部600は、SDP1900(図13)内に格納されているDCI1906と再生時間1903を取り出し記憶した後、SETUPリクエストを映像蓄積配信装置1に対して送信する(図3 SQ3)。このSETUPリクエストに対するSETUP応答を映像蓄積配信装置1から受信すると(図3 SQ6)、リクエスト送受信部600は、このSETUP応答に格納されているポート番号を映像受信部601に通知し、ポートを開いて待機させる。その後、映像蓄積配信装置1に対してPLAYリクエスト(図3 SQ7)を送信する。PLAYリクエストに対するPLAY応答を映像蓄積配信装置1から受信すると(図3 SQ10)、リクエスト送受信部600は映像受信部601、映像復号部602、表示部603を起動して、映像のRTPパケットの受信に待機させる。
映像受信部601は、集信装置3が一次蓄積映像DB4から読み出したイベント前映像と映像蓄積配信装置1が蓄積映像DBから読み出したイベント前映像の連続映像をストリーム受信すると(図3 SQ12、SQ14)、受信したRTPパケットをバッファで一定時間バッファリングし、パケットの入れ替わりを修正した後、1VOP単位毎にRTPタイムスタンプと共に映像復号部602に入力する。映像復号部602は、入力された映像データを復号し、復号映像とRTPタイムスタンプを表示部603に出力し再生映像を得る。
以上のように、この実施の形態1によれば、イベントが発生していない通常状態において、監視カメラC1〜Cnの各映像をイベント前映像として集信装置3により一次蓄積映像DB4に蓄積しておき、イベントが発生した場合には対応する監視カメラのライブ映像をイベント後映像として映像蓄積配信装置1によりイベント後再生時間を指定して蓄積映像DB2に蓄積すると共に、イベント発生後のライブ映像を許可した監視端末で再生するようにしたので、イベント発生時刻を境に前後のイベントに対応する映像を確保できると共に、このときのネットワーク5で使用する映像データはイベント発生後のライブ映像だけとなる。また、任意の監視端末で発生履歴のあるイベントデータを指定することで、集信装置3が一次蓄積映像DB4に蓄積されているイベント前映像を設定したイベント前再生時間分蓄積監視装置1に配信し、映像蓄積配信装置1において、このイベント前映像と蓄積映像DB2に蓄積されているイベント後映像を、イベント発生時刻を境に切り替えて連続して蓄積映像送信要求を出した監視端末に対して配信するようにしたので、シームレスのイベント前後の蓄積映像を閲覧することが可能となる。
実施の形態2.
この実施の形態2では、実施の形態1で説明した映像蓄積装置において、イベント時間再生DB内の再生時間データを変更設定することを可能にする機能について説明する。
図16はこの発明の実施の形態2に係る映像蓄積配信装置の機能構成を示すブロック図である。図において、図8に相当する部分には同一符号を付して示す。この実施の形態2の映像蓄積配信装置11では、図8の構成に対して、新たにイベント映像再生時間設定部1101が設けられており、また、イベント映像再生時間DB452に代わって、異なるデータ構成のイベント映像再生時間DB1200が設けられている。
イベント映像再生時間設定部1101は、イベント映像再生時間DB1200内のイベント前再生時間1000および/もしくはイベント後再生時間1001の値を変更する手段である。
イベント映像再生時間DB1200は、図17に示すように、イベント種別ID201、イベント前再生時間1202およびイベント後再生時間1203で構成されている。図12のイベント映像再生時間DB452の場合にはイベントの種類に係わらずイベント再生時間が一律に設定されているのに対し、この実施の形態2の動作で用いるイベント映像再生時間DB1200は、イベント再生時間をイベント種別ID毎に異なる値に設定可能とするデータ構成となっている。
イベント発生装置として、例えばカード操作で入退出を行う入退出管理システムを考えた場合、カード操作時にイベントが発生することになるので、入退出者を監視するためのイベント前後の映像は、10〜数10秒程度の設定で十分である。また、イベント発生装置が監視先の異常温度検出に対応するものである場合、発生したイベントデータが意味する背景として、温度上昇が徐々に起こり高温に達した可能性もある。そのような場合には、イベント前映像の時間長を状況に応じて、例えば5分程度に設定しておくことが望まれる。そのため、イベント再生時間DB1200において、イベント前再生時間1202および/もしくはイベント後再生時間1203をイベント種別ID毎に設定するようにしておくことにより、イベント特性に合わせたイベント種類毎の再生時間を得ることが可能となる。これらに対応するために、イベント映像再生時間設定部1101では、イベント映像再生時間DB1200におけるイベント種別毎にイベント前後の再生時間の変更設定を行う。この場合、映像配信管理部405では、イベントデータ管理部404より受信したイベントデータにあるイベント種別IDに基づいてイベント映像再生時間DB1200を検索し、そのイベント種別に対応するイベント前再生時間1202とイベント後再生時間1203を抽出する。そして、集信装置3から配信してもらうイベント前映像の頭出し位置(すなわち、イベント発生時刻に対してイベント前再生時間1202分前の時刻)を指定し、また、映像蓄積DB2に蓄積するイベント後映像の頭出し位置と時間長(すなわち、イベント発生時刻からイベント後再生時間1203分前の時刻)設定する。これにより、イベント種別毎に異なるイベント映像の再生時間でイベント前映像とイベント後映像の再生を行うことが可能となる。
上記例では、イベント前再生時間および/もしくはイベント後再生時間の設定を、イベント種別毎に行う方法について述べたが、これに限定されるものではない。例えば、イベント発生装置ID毎による設定、集信装置ID毎による設定、カメラID毎による設定としてもよい。その場合、例えば建物外部あるいは建物外部に通じる入り口に設置されている機器についてはイベント前再生時間やイベント後再生時間を長めに設定しておき、一方、建物内部に設置されている機器についてはイベント前再生時間やイベント後再生時間を短く設定しておくことが好ましい。
上記のように、イベント映像再生時間DB1200の内容を変更できるようにした場合、蓄積時と再生時でイベント再生時間DB1200の値が異なる場合が発生する。そのため、映像配信管理部405では、映像蓄積配信装置11から監視端末Tyに対して返信するDESCRIBE応答に格納する再生時間を作成する際に、図14に示す映像管理テーブル810中のイベントIDに対応する映像ファイルの蓄積時間803と、図17に示すイベント映像再生時間DB1200のイベント後再生時間1203とを比較して短い時間の方を選択し、イベント映像再生時間DB1200のイベント前再生時間と加算した値を再生時間として設定する。また、映像蓄積配信装置11がイベント後映像に切り替えて、監視端末Tyに対して映像を配信している際の映像配信の終了時間の決定も、前記と同様に、映像管理テーブル810の蓄積時間803と、イベント映像再生時間DB452のイベント後再生時間1001とを比較して短い方の時間を選択し、配信時間とする。これにより、例えば監視員が複数人で監視を行っている時間帯には、イベント前映像、イベント後映像を長めに設定して、詳細を確認できるようにし、また、監視員が少数で監視を行っている時間帯にはイベント前映像、イベント後映像を短めに設定して、効率的に監視を行えるようにすることが可能となる。
以上のように、この実施の形態2によれば、蓄積映像に対するイベント前再生時間および/もしくはイベント後再生時間を設定変更する手段を設けているので、イベントの種類別毎に応じて、あるいは監視状況に合わせて、最適な時間帯の蓄積映像を再生することができる。
実施の形態3.
この実施の形態3では、イベント発生後のライブ映像の映像蓄積配信装置内への蓄積開始や監視端末への配信開始をイントラフレームから行うようにする例について述べる。
図18はこの発明の実施の形態3に係る映像蓄積配信装置の機能構成を示すブロック図である。図において、図8に相当する部分には同一符号を付して示す。この実施の形態3の映像蓄積配信装置13では、図8の構成に対して、図8の蓄積ストリームリクエスト部401、ストリーム受信部402、イベント・映像対応DB450の代わりに、一部動作が異なる蓄積ストリームリクエスト部1301、ストリーム受信部1302、イベント・映像対応DB1350がそれぞれ設けられ、また、ストリーム受信部1302に対して、新たにイントラ判定部1303が設けられている。
映像蓄積配信装置13がイベントデータを受信する部分までの動作は実施の形態1と同様とする。蓄積ストリームリクエスト部1301は、イベント発生時に図4に示したイベントデータを受信すると、イベント発生装置ID300をキーにして、図19に示されるデータ構成を持つイベント・映像対応DB1350を検索し、一致するするイベント発生装置ID500に関連する集信装置ID501、集信装置アドレス502、カメラID503、カメラアドレス1400を抽出する。そして、抽出したカメラアドレス1400に対応するカメラCz(1≦z≦n)に対して、イントラフレーム要求メッセージを送信する。このイントラフレーム要求メッセージはライブ映像送信要求のPLAYリクエストに添付されて集信装置3系由でカメラCzに渡される。映像蓄積配信装置13からイントラフレーム要求メッセージを受けたカメラCzは、登録されている一定時間の間に、指定された間隔で、イントラフレームを発生する。
映像蓄積配信装置13から集信装置3、監視端末T1〜Tmに対する通信動作は実施の形態1と同様とする。次に、映像蓄積配信装置13では、RTSPのPLAYリクエストを送信することにより、集信装置3から送られてきた映像データをストリーム受信部1302で受信する。ストリーム受信部1302では、RTPパケットのタイムスタンプが一つ前のパケットと異なるRTPパケットを受信すると、イントラ判定部1303に対してRTPパケットデータのコピーを送信する。イントラ判定部1303では、受信したRTPパケット内のペイロードに格納されているVOPヘッダを解析し、「vop_coding_type」の値からイントラフレームか否かを判定し、その判定結果をストリーム受信部1302に返す。ストリーム受信部1302では、判定結果が、受信したRTPパケットがイントラフレームであることを示した場合には、そのRTPパケットをストリーム蓄積部403に出力して蓄積映像DB2への蓄積を開始する。一方、判定結果がイントラフレームでない場合には、受信したRTPパケットを削除し、蓄積は開始せず、次のパケットの状態を待つ。
以上のように、この実施の形態3によれば、ライブ映像送信要求の送信時に、発生イベントに対応する監視カメラに対してイントラフレーム要求メッセージを送信し、蓄積映像DB2に蓄積するイベント発生後のライブ映像の先頭画像を、前記イントラフレーム要求メッセージに従って前記監視カメラが出力するイントラフレーム(Iフレーム)とするようにしたので、図12に示すイベント映像再生時間DB452でイベント前再生時間が0に設定されていた場合でも、イントラフレームから映像配信を開始することが可能となる。
実施の形態4.
上記実施の形態1においても、集信装置3からの一次蓄積されたイベント前映像の配信はイントラフレームから開始することも可能であることについて記述した。そのような場合において、蓄積映像DB2に蓄積されているイベント後映像がイントラフレームから蓄積されておらず、かつイベント映像再生時間DB452のイベント前再生時間が0に設定される場合に、蓄積映像の配信時に常にイントラフレームから配信できる例について説明する。
図20はこの発明の実施の形態4に係る映像蓄積配信装置の機能構成を示すブロック図である。図において、図8に相当する部分には同一符号を付して示す。この実施の形態4の映像蓄積配信装置15では、図8の映像配信管理部405の代わりに、一部動作が異なる映像配信管理部1502が設けられ、この映像配信管理部1502に対して、新たにイントラ判定部1501が設けられている。
映像蓄積配信装置15に対して監視端末Tyからのイベントの指定による蓄積映像送信要求を送信する動作については実施の形態1と同様とする。図12に示すイベント映像再生時間DB452のイベント前再生時間が0に設定されていた場合、映像配信管理部1502は、蓄積映像DB2に蓄積されているイベント後映像の配信を行う際、蓄積映像DB2から該当ファイルを検索し、イントラ判定部1501に出力する。イントラ判定部1501では、VOPヘッダ中の「vop_codeing_type」を検索することにより、そのパケットがイントラフレームか否かを判定する。判定結果がイントラフレームでなかった場合、実施の形態1と同様に、蓄積映像送信要求のPLAYリクエスト時には送信開始時間としてイベント発生時刻を指定して、当該イベントデータに対応する集信装置3に対して、一次蓄積映像のイントラフレームからの配信を要求する。なお、この場合の集信装置3は、実施の形態1で説明したイントラフレームからの一次蓄積映像の配信を開始する設定になっているものとする。集信装置3は、蓄積映像送信要求で送信開始時間としてイベント発生時刻が指定されている場合にはイベント発生時刻近傍のイベント前映像をイントラフレームから映像蓄積配信装置15に送信する。映像蓄積配信装置15は、イントラフレームからのイベント前映像を受信すると、実施の形態1と同一の処理により監視端末Tyに対して配信を開始する。その後は、映像蓄積配信装置15は、イベント発生時刻のタイミングで蓄積映像DB2に蓄積している対応したイベント後再生時間長のイベント後映像のデータに切り替えて配信する。
以上のように、この実施の形態4によれば、集信装置3は、蓄積映像送信要求で送信開始時間としてイベント発生時刻が指定されている場合には、一次蓄積映像DB4に蓄積されたイベント発生時刻近傍のイベント前映像をイントラフレームから送信するようにし、映像蓄積配信装置15は、受信したイベント発生時刻近傍のイントラフレームで開始されるイベント前映像に続けて蓄積映像DB2に蓄積された対応するイベント後映像を、蓄積映像送信要求を送信した監視端末Trに配信するようにしたので、イベント後映像について、蓄積時には特にイントラフレームを意識せずに行った場合においても、蓄積映像の配信時には常にイントラフレームから配信することができる。特に、イベント映像再生時間DB452でイベント前再生時間が0に設定されている場合、蓄積映像送信要求のイベントデータに対応する蓄積映像DB2に蓄積されているイベント後映像がイントラフレームで再生開始されなくても、補足されたイントラフレームからの映像データを配信することができるので、監視端末Tyでは、イントラフレームから表示を開始することが可能となる。
実施の形態5.
実施の形態5では、複数の関連するイベントデータの蓄積映像を連携させて配信する例について説明する。
図21はこの発明の実施の形態5に係る映像蓄積配信装置の機能構成を示すブロック図である。図において、図8に相当する部分には同一符号を付して示す。この実施の形態5の映像蓄積配信装置16では、図8の映像配信管理部405、イベントデータ管理部404、ストリーム送信部406の代わりに、一部動作が異なる映像配信管理部1602、イベントデータ管理部1603、ストリーム送信部1604がそれぞれ設けられ、また、映像配信管理部1602に対して新たに配信スケジュール管理部1601が設けられている。
映像蓄積配信装置16におけるイベント発生後の映像の蓄積処理は実施の形態1と同様とする。監視端末Tyから実施の形態1と同様にイベントIDを指定した蓄積映像送信要求が映像配信管理部1602に到着した場合、映像配信管理部1602では、イベント映像再生時間DB452から設定されたイベント前後の再生時間(イベント前再生時間とイベント後再生時間)を取得する。次に、映像配信管理部1602は、イベントデータ管理部1603に対して、イベントIDとイベント前後の再生時間を渡す。イベントデータ管理部1603は、受信したイベントIDをキーにしてイベントDB451を検索し、対応するイベントデータを抽出すると共に、上記イベント前後の再生時間内に発生した別のイベントのイベントデータを抽出する。このように関連付けた両イベントデータが抽出された場合には、イベントデータ管理部1603は、両イベントデータを映像配信管理部1602に返す。
次に、上記関連付けた両イベントデータを受信した場合、映像配信管理部1602は、配信スケジュール管理部1601に対して、関連付けた両イベントデータおよびイベント映像再生時間DB452から得たイベント前再生時間とイベント後再生時間を出力する。配信スケジュール管理部1601では、入力された両イベントデータおよびイベント前再生時間とイベント後再生時間に基づいて、対応するそれぞれの映像を連続して再生するためのスケジュール情報を生成する。このスケジュール情報は、各イベントデータを発生時刻順に整列し、その順に再生する映像のスケジュールを示す情報である。なお、イベントデータ管理部1603による検索で関連付けたイベントデータが抽出されなかった場合には、実施の形態1と同様な方法で蓄積映像が配信される。
配信スケジュール管理部1601おけるスケジュール情報の生成方法は図22に示される。図22は、時間軸1713に対して、イベント1とそれに関連するイベント2の発生状況と、それぞれのイベントに対応した蓄積映像を再生するスケジュール情報1702を表している。
まず、イベント1の発生タイミング1704とイベント映像再生時間DB452からのイベント1のイベント前再生時間1703に基づいて、イベント1の映像開始タイミングを決定する。次に、イベント2の発生タイミング1707とイベント2のイベント前再生時間1706に基づいて、イベント1とイベント2に対応して蓄積された映像の再生切り替え時間を決定する。次に、イベント1とイベント2の両者のイベント後再生時間の関係から終了時間を決定する。さらに、各イベントの発生タイミングにおいて一次蓄積映像DB4中のイベント前映像から蓄積映像DB2中のイベント後映像に切替えを行うための切り替えポイントを決定する。
イベント1の発生タイミング1704において、一次蓄積映像DB4に蓄積されているイベント1前映像1709から蓄積映像DB2に蓄積されているイベント1後映像に切り替える。同様に、イベント2の発生タイミング1707において、イベント2前映像1711からイベント2後映像1712に切り替える。これによりスケジュール情報1702が得られる。
なお、イベント1とイベント2に対応する映像の切り替え時間が、イベント1の発生タイミング1704より時間的に先になる場合には、イベント2に対応する映像はイベント2の発生タイミング1707で切り替えることとする。
スケジュール情報の構成を図23に示す。スケジュール情報1800は、イベント数1801、イベントID1802、フラグ1803、イベント前映像開始時刻1804およびイベント後映像開始時刻1805から成る。イベント数1801は、スケジュールデータに格納されているイベントの数を示すデータである。イベントID1802からはイベントの表示順序を認識することが可能となる。フラグ1803は、続くイベント前映像開始時刻が有効か否かを示すフラグであり、前述したイベント同士の発生タイミングの関係によりイベント前映像を配信しない場合に使用する。イベント前映像開始時刻1804は、イベントIDに対応して集信装置3に対してリクエストを行うイベント前映像の時刻を示すものである。ここでいう時刻には、撮影された日付と時刻を示す。イベント後映像開始時刻1805は、同様に蓄積映像DB2に蓄積されているイベントIDに対応した映像の開始時刻であり、同様に撮影された日付と時刻を示している。
映像配信管理部1602は、配信スケジュール管理部1601からスケジュール情報を受けると、そのスケジュール情報に従って監視端末Trに対してイベント前後の蓄積映像の配信を開始する。このときの映像配信の方法について図22を例に説明すると、イベント1前映像1709とイベント1後映像1710の配信に関しては、スケジュール情報に従って配信を行うが、基本的には実施の形態1と同様の方式で配信することになる。イベント1後映像1710の配信後、イベント2前映像1711に切り替える部分については、次のようにする。映像配信管理部1602は、ストリーム送信部1604に対して予めイベント1後映像1710からイベント2前映像1711に切り替えるタイミング情報を通知しておく。ストリーム送信部1604では、イベント1後映像1710の送信中に、次の配信対象のイベント2前映像1711の配信開始時刻とイベント1後映像1710の配信中の時刻を比較し、その差が予め設定されている閾値よりも小さくなったときに、映像配信管理部1602に通知する。映像配信管理部1602では、イベント2前映像を蓄積管理している集信装置3に対してRTSPを使用して映像のリクエストを送信する。ここで、上記予め設定されている閾値は、リクエスト送受信に要する時間や映像の伝送遅延などを考慮し、設定されるものとする。
集信装置3への映像のリクエストから配信ストリーム受信部407が映像を受信し始めるまでの処理は、イベント1前映像1709の受信リクエストからその映像を受信するまでの処理と同様である。ここで、映像配信管理部1602は、PLAYリクエスト送信時に受信した集信装置3からの先頭パケットの時刻情報を配信ストリーム受信部407に通知しておく。映像受信を行った配信ストリーム受信部407はストリーム送信部1604に対して、受信した映像のRTPパケットを入力する。この実施の形態5のストリーム送信部1604はバッファを有しており、現在送信しているイベント1後映像1710が、スケジュール情報1702におけるイベント2映像前映像の先頭時刻になるまでイベント1後映像1710のバッファリングを行い、先頭時刻になった時点で、送信する映像をイベント1後映像1710からイベント2前映像1711に切り替える。ここで、イベント1後映像1710の最終RTPパケットはVOPの最終で切り替えることとする。切り替え後のRTPパケットは、切り替え前のRTPパケットと別ストリームになるため、シーケンス番号およびタイムスタンプを、切り替え前のイベント1後映像1710の最終パケットから連続的に変化するように付け替えて送信する。ここで、受信側の監視端末Tyが切り替わりポイントを認識する必要がある場合には、RTPパケットのSSRCを利用して認識を行うことが可能となる。また、イベント1映像とイベント2映像は、映像を復号するための情報であるDCIは同一であるとした。切り替え後は同一イベントの映像配信になるので、実施の形態1で述べたと同様に行うことになる。
上記例では、特定されたイベントの蓄積映像に対するイベント前後の再生時間内に発生した別のイベントを関連付けるイベントとして説明したが、他の方法でイベントの関連付けを行ってもよい。例えば、同一イベント種別IDを有するイベント同士、あるいはイベント種別ID毎に決められている付属データが同一であるイベント同士がある。後者に該当する例としては、IDカードと暗証番号を用いる入退出管理システムがある。このケースでは、暗証番号を規定回誤ったことをイベント種別IDとして表し、付属データとしてはその際に使用しているIDカードの個人IDとする。もしイベント前後の再生時間内に同一のイベント種別IDで、同一の個人IDを有しているイベントが存在した場合には関連イベントとして抽出すればよい。これにより、複数の入り口で同一のIDカードにより不正な暗証番号を利用する不審人物の存在が効率的に確認可能となる。また、同一フロア、同一建物などのカメラレイアウト情報と関連づけてもよい。
また、上記例では特定のイベントに関連付けられたイベントが一つの場合について説明したが、関連付ける別のイベントが複数の場合でも同じように処理することは可能である。
以上のように、この実施の形態5によれば、映像蓄積配信装置16は、関連付けたイベント同士の情報を管理しており、監視端末Trからの蓄積映像送信要求で指定された特定のイベントに関連付けられる一つ以上のイベントが存在した場合に、それぞれのイベントのイベントデータ、イベント前再生時間とイベント後再生時間に基づいて上記関連付けられたイベントの蓄積映像を配信するスケジュール情報を生成し、生成されたスケジュール情報に基づいて全ての関連付けられたイベントの蓄積映像をイベントの発生順に並べて切り替え、蓄積映像送信要求を送信した監視端末に対して配信するようにしたので、監視先で生じた事象に対する多角的な把握が容易となる。また、ユーザが一度の操作でそれらの連続映像を閲覧できるため、映像監視業務を効率化することができる。
この発明の実施の形態1による監視システムの全体構成を示すブロック図である。 この発明の実施の形態1に係るイベントに関連する映像を蓄積する際の動作を示すシーケンス図である。 この発明の実施の形態1に係るイベントに関連する蓄積映像を閲覧する際の動作順序を示すシーケンス図である。 この発明の実施の形態1に係るイベント発生装置が出すイベントデータ構成を示す説明図である。 この発明の実施の形態1に係る集信装置の機能構成を示すブロック図である。 この発明の実施の形態1に係る一次蓄積映像DBの構成を示す説明図である。 この発明の実施の形態1に係る一次蓄積映像DBに蓄積するファイルの蓄積形式を示す説明図である。 この発明の実施の形態1に係る映像蓄積配信装置の機能構成を示すブロック図である。 この発明の実施の形態1に係るイベント・映像対応DBのデータ構成を示す説明図である。 この発明の実施の形態1に係るイベントデータDBのデータ構成を示す説明図である。 この発明の実施の形態1に係るイベントデータ発生通知のデータ構成を示す説明図である。 この発明の実施の形態1に係るイベント映像再生時間DBのデータ構成を示す説明図である。 MPEG−4のSDPの例を示す説明図である。 この発明の実施の形態1に係る蓄積映像DB内の映像管理テーブルの構成を示す説明図である。 この発明の実施の形態1に係る監視端末の機能構成を示すブロック図である。 この発明の実施の形態2による映像蓄積配信装置の機能構成を示すブロック図である。 この発明の実施の形態2に係るイベント映像再生時間DBのデータ構成を示す説明図である。 この発明の実施の形態3に係る映像蓄積配信装置の機能構成を示すブロック図である。 この発明の実施の形態3に係るイベント・映像対応DBのデータ構成を示す説明図である。 この発明の実施の形態4に係る映像蓄積配信装置の機能構成を示すブロック図である。 この発明の実施の形態5に係る映像蓄積配信装置の機能構成を示すブロック図である。 この発明の実施の形態5に係る配信スケジュール管理部のスケジュール情報生成方法について示す説明図である。 この発明の実施の形態5に係るスケジュール情報のデータ構成を示す説明図である。
符号の説明
1,11,13,15,16 映像蓄積配信装置、2 蓄積映像DB、3 集信装置、4 一次蓄積映像DB、5,8 ネットワーク、6 監視センタ、8 カメラネットワーク、C1〜Cn 監視カメラ、E1〜En イベント発生装置、T1〜Tm 監視端末。

Claims (15)

  1. 監視先でイベントの発生がない通常時において、監視先に設置した監視カメラで撮影した映像をイベント前映像として一次蓄積映像データベースに蓄積しておき、
    監視先でイベントが発生した場合において、当該イベントに対応する監視カメラのライブ映像を、イベント後映像としてイベント後再生時間を指定して蓄積映像データベースに蓄積し、
    前記ライブ映像の蓄積後で、発生履歴のあるイベントを指定して受信許可を与えた監視端末から蓄積映像送信要求が出された場合において、イベント前再生時間を指定することにより、前記一次蓄積映像データベースから前記指定イベントに対応するイベント前映像の前記イベント前再生時間分を取得し、取得した当該イベント前映像と前記蓄積映像データベースに蓄積されている前記指定イベントに対応するイベント後映像とを、最後に受信したイベント前映像のパケットの次に来るパケットをイベント後映像の配信開始パケットに切り替え、連続するストリームにして前記蓄積映像送信要求を出した監視端末に配信することを特徴とする監視システム。
  2. 蓄積映像に対するイベント前再生時間および/もしくはイベント後再生時間を、イベントデータの種別毎に設定変更することを特徴とする請求項1から請求項3のうちのいずれか1項記載の監視システム。
  3. 蓄積映像送信要求により送信開始時間が指定されている場合には、一次蓄積映像データベースに蓄積された前記送信開始時間近傍のイベント前映像をイントラフレームから取得し、この取得した前記送信開始時間近傍のイントラフレームで開始されるイベント前映像に続けて、蓄積映像データベースに蓄積された対応するイベント後映像を、前記蓄積映像送信要求を出した監視端末に対して配信することを特徴とする請求項1記載の監視システム。
  4. 関連付けたイベント同士の情報を管理しており、監視端末からの蓄積映像送信要求で指定された特定のイベントに関連付けられる一つ以上のイベントが存在した場合に、それぞれのイベントのイベントデータ、イベント前再生時間とイベント後再生時間に基づいて関連付けられたイベントの蓄積映像を配信するスケジュール情報を生成し、生成されたスケジュール情報に基づいて全ての関連付けられたイベントの蓄積映像をイベントの発生順に並べて切り替え、蓄積映像送信要求を出した監視端末に対して配信することを特徴とする請求項1記載の監視システム。
  5. 監視カメラの映像の一次蓄積およびライブ映像と一次蓄積映像の送信を行う少なくとも一組の監視先グループ装置と、当該監視先グループ装置からネットワークを介して送信されたライブ映像の再生と蓄積および蓄積映像の再生を行う監視センタ装置とからなる監視システムであって、
    前記監視先グループ装置は、
    監視先に設置され撮影した映像の符号化したストリームを送信する監視カメラと、
    前記監視カメラが設置された監視先に設置され、監視先毎の予め設定された条件に基づいてイベントが発生した際にイベント発生装置ID、イベントID、イベント発生時刻を含むイベントデータをそれぞれ生成して前記監視センタ装置に送信するイベント発生装置と、
    複数の映像のファイル化されたパケットデータを、個別に格納し管理する一次蓄積映像データベースと、
    イベント発生前における前記監視カメラで撮影した映像を、イベント前映像として前記一次蓄積映像データベースに蓄積し、イベント発生後に前記監視センタ装置から受信するライブ映像送信要求に基づいて当該発生イベントに対応する監視カメラからのライブ映像を前記監視センタ装置に再送信し、また、前記ライブ映像の再送信後において前記監視センタ装置から受信する蓄積映像送信要求に基づいて、該当イベントに対応する蓄積されたイベント前映像の指定されたイベント前再生時間分を前記監視センタ装置に配信する集信装置を備え、
    前記監視センタ装置は、
    イベント発生時に通知されたイベントデータに関連する情報を登録し、また、イベント発生後においてイベントを指定して蓄積映像送信要求を送信することにより受信した対応する蓄積映像を再生する少なくとも一つの監視端末と、
    前記集信装置から配信された監視カメラのイベント発生後のライブ映像を蓄積する蓄積映像データベースと、
    前記イベント発生装置からイベントデータを受信した場合に、当該イベントデータに関連する情報を前記監視端末のいずれかに対して通知すると共に、ライブ映像送信要求を生成して前記集信装置に送信することにより前記集信装置から配信されたイベント発生後の監視カメラのライブ映像の予め設定されたイベント後再生時間分を、イベント後映像として前記蓄積映像データベースに蓄積し、また、前記蓄積映像データベースへの映像蓄積後に前記監視端末のいずれかからイベントを指定した蓄積映像送信要求を受信した場合に、前記集信装置から前記一次蓄積映像データベースに蓄積された対応するイベント前映像の予め設定されたイベント前再生時間分を取得し、この取得したイベント前映像と前記蓄積映像データベースから読み出した対応するイベント後映像とを、前記集信装置から最後に受信したイベント前映像のパケットの次に来るパケットをイベント後映像の配信開始パケットに切り替え、連続するストリームにして前記蓄積映像送信要求を出した監視端末に配信する映像蓄積配信装置を備えたことを特徴とする監視システム。
  6. 映像蓄積配信装置は、蓄積映像に対するイベント前再生時間および/もしくはイベント後再生時間を、イベントデータの種別毎に設定変更することを特徴とする請求項記載の監視システム。
  7. 映像蓄積配信装置は、ライブ映像送信要求の送信時に、発生イベントに対応する監視カメラに対してイントラフレーム要求メッセージを送信し、蓄積映像データベースに蓄積するイベント発生後のライブ映像の先頭画像を、前記イントラフレーム要求メッセージに従って前記監視カメラが出力するイントラフレームとするようにしたことを特徴とする請求項記載の監視システム。
  8. 集信装置は、蓄積映像送信要求で送信開始時間が指定されている場合には、一次蓄積映像データベースに蓄積された前記送信開始時間近傍のイベント前映像をイントラフレームから送信するようにし、
    映像蓄積配信装置は、受信した前記送信開始時間近傍のイントラフレームで開始されるイベント前映像に続けて蓄積映像データベースに蓄積された対応するイベント後映像を、前記蓄積映像送信要求を送信した監視端末に対して配信することを特徴とする請求項記載の監視システム。
  9. 映像蓄積配信装置は、関連付けたイベント同士の情報を管理しており、監視端末からの蓄積映像送信要求で指定された特定のイベントに関連付けられる一つ以上のイベントが存在した場合に、それぞれのイベントのイベントデータ、イベント前再生時間とイベント後再生時間に基づいて関連付けられたイベントの蓄積映像を配信するスケジュール情報を生成し、生成されたスケジュール情報に基づいて全ての関連付けられたイベントの蓄積映像をイベントの発生順に並べて切り替え、蓄積映像送信要求を送信した監視端末に対して配信することを特徴とする請求項記載の監視システム。
  10. 集信装置は、イベント発生前において、監視先に設置された監視カメラで撮影した映像を、イベント前映像として一次蓄積映像データベースに蓄積し、イベント発生後において、前記監視センタ装置内の映像蓄積配信装置から受信するライブ映像送信要求に基づいて当該発生イベントに対応する監視カメラからのライブ映像を前記監視センタ装置内の前記映像蓄積配信装置と受信許可された監視端末に再送信し、また、前記ライブ映像の再送信後において、前記映像蓄積配信装置から受信する蓄積映像送信要求に基づいて、該当イベントに対応する蓄積されたイベント前映像の指定されたイベント前再生時間分を前記映像蓄積配信装置に配信することを特徴とする請求項5記載の監視システム。
  11. 監視カメラの映像の一次蓄積およびライブ映像と一次蓄積映像の送信を行う監視先グループ装置と、当該監視先グループ装置からネットワークを介して送信されたライブ映像の再生と蓄積および蓄積映像の再生を行う監視センタ装置とからなる監視システムの監視センタ装置に適用される映像蓄積配信装置であって、
    監視カメラが設置された各監視先に設置されたイベント発生装置からイベント発生装置ID、イベントID、イベント発生時刻を含むイベントデータを受信した場合に、当該イベントデータに関する情報を監視端末に与えると共に、ライブ映像送信要求を生成して前記監視先グループ装置の集信装置に送信することにより前記集信装置から配信されたイベント発生後の監視カメラのライブ映像の予め設定されたイベント後再生時間分を、イベント後映像として前記監視センタ装置内の蓄積映像データベースに蓄積し、また、前記蓄積映像データベースへの映像蓄積後に前記監視端末からイベントを指定した蓄積映像送信要求を受信した場合に、前記集信装置から前記監視先グループ装置の一次蓄積映像データベースに蓄積された対応するイベント前映像の予め設定されたイベント前再生時間分を取得し、この取得したイベント前映像と前記蓄積映像データベースから読み出した対応するイベント後映像とを、前記集信装置から最後に受信したイベント前映像のパケットの次に来るパケットをイベント後映像の配信開始パケットに切り替え、連続するストリームにして前記蓄積映像送信要求を出した監視端末に配信することを特徴とする映像蓄積配信装置。
  12. 蓄積映像に対するイベント前再生時間および/もしくはイベント後再生時間を、イベントデータの種別毎に設定変更することを特徴とする請求項11記載の映像蓄積配信装置。
  13. ライブ映像送信要求の送信時に、発生イベントに対応する監視カメラに対してイントラフレーム要求メッセージを送信し、蓄積映像データベースに蓄積するイベント発生後のライブ映像の先頭画像を、前記イントラフレーム要求メッセージに従って前記監視カメラが出力するイントラフレームとするようにしたことを特徴とする請求項11記載の映像蓄積配信装置。
  14. 蓄積映像送信要求で送信開始時間としてイベント発生時刻を指定し、集信装置からイベント発生時刻近傍のイベント前映像をイントラフレームから受信できる場合において、受信したイントラフレームで開始されるイベント発生時刻近傍のイベント前映像に続けて蓄積映像データベースに蓄積された対応するイベント後映像を、前記蓄積映像送信要求を送信した監視端末に配信することを特徴とする請求項11記載の映像蓄積配信装置。
  15. 関連付けたイベント同士の情報を管理しており、監視端末からの蓄積映像送信要求で指定された特定のイベントに関連付けられる一つ以上のイベントが存在した場合に、それぞれのイベントのイベントデータ、イベント前再生時間とイベント後再生時間に基づいて前記関連付けられたイベントの蓄積映像を配信するスケジュール情報を生成し、生成されたスケジュール情報に基づいて全ての関連付けられたイベントの蓄積映像をイベントの発生順に並べて切り替え、蓄積映像送信要求を送信した監視端末に対して配信することを特徴とする請求項11記載の映像蓄積配信装置。
JP2006073121A 2006-03-16 2006-03-16 監視システムおよび映像蓄積配信装置 Expired - Fee Related JP4767729B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006073121A JP4767729B2 (ja) 2006-03-16 2006-03-16 監視システムおよび映像蓄積配信装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006073121A JP4767729B2 (ja) 2006-03-16 2006-03-16 監視システムおよび映像蓄積配信装置

Publications (2)

Publication Number Publication Date
JP2007251646A JP2007251646A (ja) 2007-09-27
JP4767729B2 true JP4767729B2 (ja) 2011-09-07

Family

ID=38595472

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006073121A Expired - Fee Related JP4767729B2 (ja) 2006-03-16 2006-03-16 監視システムおよび映像蓄積配信装置

Country Status (1)

Country Link
JP (1) JP4767729B2 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009093558A (ja) * 2007-10-11 2009-04-30 Toray International Inc 入退域管理システム
JP5128362B2 (ja) * 2008-05-01 2013-01-23 株式会社タイテック 監視システム
WO2010073905A1 (ja) * 2008-12-25 2010-07-01 シャープ株式会社 動画像視聴装置
JP5201056B2 (ja) * 2009-03-31 2013-06-05 富士通株式会社 映像受信装置、映像送受信システム
JP5762145B2 (ja) * 2011-06-02 2015-08-12 キヤノン株式会社 再生システム及びその処理方法及びプログラム
EP2541356B1 (en) * 2011-06-30 2013-08-28 Axis AB Processing monitoring data in a monitoring system
JP6091079B2 (ja) * 2012-04-26 2017-03-08 キヤノン株式会社 制御装置、制御方法及びプログラム
JP5984707B2 (ja) * 2013-02-13 2016-09-06 三菱電機ビルテクノサービス株式会社 映像データ配信装置、映像データ配信システム及びプログラム
JP6257183B2 (ja) * 2013-06-21 2018-01-10 日本放送協会 送受信システム、送信装置及び受信装置
JP6476571B2 (ja) * 2014-03-26 2019-03-06 富士通株式会社 映像データ管理装置、映像データ管理プログラム及び映像データ管理方法
DE102014220372A1 (de) * 2014-10-08 2016-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zum schneiden von mehreren kodierten videoströmen ohne vorherige dekodierung
JP6509092B2 (ja) * 2015-10-22 2019-05-08 エヌ・ティ・ティ・コミュニケーションズ株式会社 画像蓄積システム、画像蓄積方法及びコンピュータプログラム
JP6644372B2 (ja) * 2015-11-10 2020-02-12 株式会社日立ビルシステム 映像監視システム
JP6682326B2 (ja) * 2016-03-31 2020-04-15 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP7218198B2 (ja) 2019-02-08 2023-02-06 キヤノン株式会社 動画再生装置、動画再生方法及びプログラム
CN111160771A (zh) * 2019-12-30 2020-05-15 龙岩龙安安全科技有限公司 一种******及其控制方法
US20230306833A1 (en) * 2020-09-14 2023-09-28 Konica Minolta, Inc. Safety monitoring device, safety monitoring method, and program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3759660B2 (ja) * 1997-02-21 2006-03-29 三菱電機株式会社 データ収集方法および監視装置
JP2000295572A (ja) * 1999-04-12 2000-10-20 Mitsubishi Electric Corp 連続データの記録方法および連続データの記録装置
JP4474063B2 (ja) * 2001-02-28 2010-06-02 株式会社日立製作所 ディジタル監視カメラシステムおよび制御装置
JP4346371B2 (ja) * 2003-07-11 2009-10-21 三洋電機株式会社 監視カメラシステム

Also Published As

Publication number Publication date
JP2007251646A (ja) 2007-09-27

Similar Documents

Publication Publication Date Title
JP4767729B2 (ja) 監視システムおよび映像蓄積配信装置
AU2019240571B2 (en) Reduced latency server-mediated audio-video communication
WO2023024834A1 (zh) 一种游戏数据处理方法、装置及存储介质
US10972519B2 (en) Real-time video streaming to client video element
US8245264B2 (en) Methods and systems to reduce channel selection transition delay in a digital network
US8160129B2 (en) Image pickup apparatus and image distributing method
TWI760328B (zh) 動畫分割裝置及監視方法
JP5854194B2 (ja) 監視カメラシステム及び監視方法
WO2005062614A1 (ja) 映像データ処理方法および映像データ処理装置
KR101712102B1 (ko) Rtsp 세션에 기초해 스트리밍 데이터를 송수신하는 방법 및 장치
CN106817628B (zh) 一种网络直播平台
CN110460898B (zh) 一种视频处理方法及***、装置、机器可读介质
JP2009171294A (ja) 映像配信システム、映像中継装置、及び映像中継方法
JP7021842B2 (ja) 映像配信システム及び映像配信方法
JP4629330B2 (ja) 映像蓄積配信装置および映像配信システム
CN111641846A (zh) 一种安防监控视频即时播放的方法、装置和***
JP6357188B2 (ja) 監視カメラシステム及び監視カメラデータ保存方法
JP6363130B2 (ja) 監視カメラシステムにおける監視方法、差分画像作成方法、画像復元方法、及び差分検出装置
JP6034113B2 (ja) 映像コンテンツ配信装置
US20240187675A1 (en) Originating Client Buffered Streaming
JP2007193690A (ja) ストリームデータ配信システム、中継装置及び受信装置
JP5896438B2 (ja) 監視カメラシステム及び監視方法
KR101340368B1 (ko) 방송 시스템에서 방송 서비스를 제공하는 시스템 및 방법
JP2006211524A (ja) 映像表示装置、映像処理装置の制御方法、プログラム、及び記憶媒体
JP2009100410A (ja) データ配信装置及びデータ配信システム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070921

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080630

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081006

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110322

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110519

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110607

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110615

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140624

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees