JP4270623B2 - 時系列データ蓄積配信システム - Google Patents
時系列データ蓄積配信システム Download PDFInfo
- Publication number
- JP4270623B2 JP4270623B2 JP696799A JP696799A JP4270623B2 JP 4270623 B2 JP4270623 B2 JP 4270623B2 JP 696799 A JP696799 A JP 696799A JP 696799 A JP696799 A JP 696799A JP 4270623 B2 JP4270623 B2 JP 4270623B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- data
- distribution
- series data
- temporary recording
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
- Information Transfer Between Computers (AREA)
- Computer And Data Communications (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、映像または計測制御データなどの時系列データを蓄積し、ユーザからの要求に応じて蓄積したデータを配信するキャッシュ装置を有するシステムに関するもので、特にネットワークを使ったプラント監視またはセキュリティ監視、また、遠隔医療支援またはビデオ・オンデマンドシステムなど、特定の映像およびデータが反復して要求配信される分野に適した時系列データ蓄積配信システムに関するものである。
【０００２】
【従来の技術】
例えば、プラント設備監視またはセキュリティ監視では、建物や設備といった現場の状況を複数の監視カメラで撮影し、現場と離れた監視センタにて必要な映像を随時切り替えて表示する映像監視が行われている。この映像監視ではライブ映像によって現時点の状況を確認する以外に、ＶＴＲ（Ｖｉｄｅｏ Ｔａｐｅ Ｒｅｃｏｒｄｅｒ）やハードディスクなどの記録装置に監視映像を記録しておき、事件発生前後の映像を繰り返し表示して詳細に分析するといった作業が行われる。
最近では映像をディジタル化してハードディスクに蓄積しておき、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や公衆回線網を介して監視センタヘ配信する配信機能を持った記録配信装置（以後、単に配信装置と呼ぶ）が製品化されている。
例えば、プラントにて事故が発生した場合には、複数の監視センタが事故映像を保持する配信装置へほぼ同時に映像配信を要求する輻輳状態に陥いってしまい、配信装置やその接続網の過負荷が発生するため映像を配信できない場合がある。このような配信装置とその接続網への負荷を分散するために、配信装置と監視センタ間の配信経路中にキャッシュ装置が設けられる。キャッシュ装置は、配信装置が配信した映像データを中継するとともに蓄積しておき、複数の異なる配信要求に対して、今までに蓄積済みの映像データが要求された場合には、配信装置に代わって配信することによって、配信装置の負荷と配信装置とキャッシュ装置間の網の負荷を抑えている。
【０００３】
図１４は例えば文献「Ａ ｎｏｖｅｌ ｄｙｎａｍｉｃ ｃａｃｈｉｎｇ ｆｏｒ ｈｉｅｒａｒｃｈｉｃａｌｌｙ ｄｉｓｔｒｉｂｕｔｅｄ ｖｉｄｅｏ−ｏｎｄｅｍａｎｄ ｓｙｓｔｅｍｓ」（ＳＰＩＥ Ｖｏｌ．３２２８，Ｐａｇｅ１３５−１４６ Ｎｏｖ．１９９７）に示されたビデオオンデマンドにおける従来の時系列データ蓄積配信システムを示す構成図であり、図において、１１０はプログラム名の付いたビデオデータを保持し、要求によりビデオデータを配信する配信装置、１２０はビデオデータの配信を要求し、データの受信再生を行う再生装置、１３０は配信装置１１０から再生装置１２０ヘビデオデータを中継すると共にそのデータを蓄積するキャッシュ装置である。
キャッシュ装置１３０内部には、ビデオデータを蓄積する一時記録領域１３６と、その一時記録領域１３６に蓄積されたデータの時刻情報やアクセス履歴を記録するインデックステーブル１３５がある。このシステムでは、一時記録領域１３６内のビデオデータは、図１４に示すように、例えば１０分といった、ある時間を単位としてスロット化されて記録されている。
【０００４】
次に動作について説明する。
再生装置１２０は、配信を要求するプログラム名と再生開始時刻位置を指定した配信要求をキャッシュ装置１３０へ送信する。キャッシュ装置１３０は、再生装置１２０からの配信要求を受けると、要求された時間帯のビデオデータが一時記録領域１３６に存在するかどうか、インデックステーブル１３５を検索する。この検索結果により、下記の（１）または（２）を実行する。
（１）データが存在する場合は、配信要求で指定された時刻位置からのデータを順々に読み出して再生装置１２０へ配信する。
（２）データが存在しない場合は、その時刻位置からのデータ配信を配信装置１１０へ要求し、配信装置１１０から送られてくるデータを順々に再生装置１２０へそのまま中継すると同時に、中継したデータの時間長が１つのスロットを完全に満たせば、そのデータを一時記録領域１３６に記録し、インデックステーブル１３５を更新する。ここで記録の際に、一時記録領域１３６が一杯であれば、最後に配信した時刻が一時記録領域１３６内で最も古いデータを削除し、受信したデータを新たに蓄積する。
キャッシュ装置１３０は、ビデオデータの配信中は各スロット毎に、そのスロットにデータが存在するかどうかインデックステーブルを検索し、上記の（１）または（２）を実行する。
【０００５】
【発明が解決しようとする課題】
従来の時系列データ蓄積配信システムは以上のように構成されているので、一連の時系列データを一まとめにしたスロット単位によってのみデータを蓄積および削除していた。このため従来のキャッシュ装置１３０では、スロット内の各データを、さらに時刻や詳細度毎で分けて蓄積したり削除することができず、任意の時間区間でデータを蓄積したり、データの時間間隔、あるいはデータ毎に詳細度を変えて、一時記録領域１３６に蓄積できないという課題があった。
また、従来のキャッシュ装置１３０では、過去の配信履歴のみを参考にして受信データの削除を行っており、データの時刻情報や内容情報などの属性情報、詳細度などを参考にし、用途に応じて長期的にキャッシュ装置１３０にデータを残すことを考慮していないなどの課題があった。
さらに、再生装置１２０が要求するデータの配信品質に対して、配信装置１１０とキャッシュ装置１３０間の伝送速度が十分でない場合には、再生装置１２０からの要求に対して、一時記録領域１３６でデータが不足すると、配信装置１１０からのデータ受信速度が遅いために、再生装置１２０は要求した品質でデータを受け取れないなどの課題があった。
【０００６】
この発明は上記のような課題を解決するためになされたもので、従来と比べて、時刻や詳細度といったより細かな単位で時系列データの蓄積削除を行い、必要に応じて一時記録領域に蓄積する時系列データを間引き、不足する時系列データのみを配信装置から取得することによって、一時記録領域を節約しつつ、配信装置の負荷と配信装置とキャッシュ装置間の網の負荷を抑える時系列データ蓄積配信システムを得ることを目的とする。
また、この発明は、設定した時系列データ単位やそれらの属性などに対して優先度をそれぞれ設け、再配信される可能性のある時系列データを優先的に一時記録領域に記録することによって、一時記録領域を節約しつつ、蓄積された時系列データの再利用率を高める時系列データ蓄積配信システムを得ることを目的とする。
さらに、この発明は、配信装置からの受信時系列データを、そのまま再生装置に配信するだけではなく、一時記録装置に蓄積しつつ、配信開始時刻を調整することにより、再生装置で再生する時系列データの品質を高める時系列データ蓄積配信システムを得ることを目的とする。
さらに、この発明は、再生装置から要求される時系列データを予測し、あらかじめその時系列データを配信装置から取得し、一時記録領域に蓄積しておくことにより、再生装置で再生する時系列データの品質を高める時系列データ蓄積配信システムを得ることを目的とする。
【０００７】
【課題を解決するための手段】
この発明に係る時系列データ蓄積配信システムは、時系列データを保持する保持領域と、要求された時間区間で上記保持領域に保持された時系列データを配信すると共に、それら各時系列データまたはそれら各時系列データの集合に時刻情報または属性情報を合わせて配信する配信処理手段とを有する配信装置と、再生したい上記時系列データの時間区間を指定した配信要求を発行するデータ要求手段と、上記時系列データを受信し再生する受信再生手段とを有する再生装置と、上記配信装置および上記再生装置に接続され、その配信装置から配信された時系列データを保持する一時記録領域と、上記一時記録領域に保持された各時系列データまたはそれら各時系列データの集合に関する時刻情報または属性情報、および優先度を記録したインデックステーブルと、上記再生装置からの配信要求に応じて上記インデックステーブルを参照し、その配信要求された時系列データが上記一時記録領域内に存在する場合は、その時系列データをその一時記録領域から読み出してその再生装置へ配信し、存在しない場合は、上記配信装置へ要求してその時系列データを受信しその再生装置へ中継する検索中継手段と、上記検索中継手段が受信した時系列データの時刻情報または属性情報に応じてそれら時系列データに優先度を設定する優先度設定手段と、上記優先度設定手段により設定された優先度に応じて受信した時系列データを上記一時記録領域に保持またはその一時記録領域から時系列データを削除すると共に上記インデックステーブルを更新する蓄積削除手段とを有するキャッシュ装置とを備え、上記キャッシュ装置の上記優先度設定手段は、属性情報に基づいて、特定の時間区間における重要時刻を決定し、その重要時刻周辺の時系列データに高い優先度を与えるものである。
【００１５】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１による時系列データ配信蓄積システムを示す構成図であり、この例では、時系列データとして映像フレームを扱っている。図１において、１０は要求に応じて映像を配信する映像配信装置（以後、単に配信装置と呼ぶ）、２０は映像データの配信を要求し、そのデータを受信して再生する映像再生装置（以後、単に再生装置と呼ぶ）、３０は映像データを一時記録しておき、記録した映像データヘの要求に対してデータを配信し、記録していないデータヘの要求に対しては、配信装置１０からデータを中継して蓄積するキャッシュ装置である。
キャッシュ装置３０内部には、映像データを蓄積する一時記録領域３６と、その一時記録領域３６に蓄積されている映像データに対して、時刻情報、優先度、および解像度、さらに、映像内容やカメラ角度といった属性情報などをフレーム毎に記録したインデックステーブル３５とがある。
【００１６】
次に動作について説明する。
まず、上記配信装置１０と上記再生装置２０について説明する。図２は配信装置と再生装置の動作を示す動作説明図であり、配信装置１０は、階層的に符号化された映像の原データを保持する保持領域１１と、キャッシュ装置３０から要求された映像データをキャッシュ装置３０へ配信する配信処理手段１２とから構成される。また、再生装置２０は、キャッシュ装置３０へ映像配信を要求するデータ要求手段２１と要求した映像データを受信して再生する受信再生手段２２とから構成される。
配信装置１０では、キャッシュ装置３０から映像配信の要求を受けた配信処理手段１２が、要求された時間区間、フレームレートおよび解像度に対応する映像データを保持領域１１から読み出し、一フレーム毎にそのフレームの時刻情報、内容や撮影場所などの属性情報、解像度などのフレーム情報を付加してキャッシュ装置３０に配信する。
再生装置２０では、データ要求手段２１が、映像データの時間区間、フレームレートおよび解像度を指定してキャッシュ装置３０に映像配信を要求する。一方、受信再生手段２２は、キャッシュ装置３０から配信されてきた映像データを受信し、復号した後、表示する。
【００１７】
次に、上記キャッシュ装置３０について説明する。図３はキャッシュ装置の動作を示す動作説明図であり、キャッシュ装置３０は、上記に述べたインデックステーブル３５と一時記録領域３６に加えて、インデックステーブル３５の検索と、一時記録領域３６からのデータ読み出しと、データの送受信とを行う検索中継手段３１と、配信装置１０から受信した各データに優先度を設定する優先度設定手段３２と、一時記録領域３６にデータを記録したり、一時記録領域３６からデータを削除し、これらのデータヘのインデックステーブル３５を更新する蓄積削除手段３３とから構成される。
検索中継手段３１は、再生装置２０から映像データ配信の要求を受けて、インデックステーブル３５を参照し、要求された時間区間、フレームレートおよび解像度を満たして、一時記録領域３６からデータを配信できるかどうか判断する。
要求された条件で、データを配信可能であれば、検索中継手段３１は、そのデータを一時記録領域３６から読み出して、再生装置２０へ配信する。また、配信を要求されたデータが、一時記録領域３６に不足していれば、検索中継手段３１は、配信装置１０に不足するデータの配信を要求し、データを受信した後、再生装置２０へ中継する。
このとき、優先度設定手段３２は、受信したデータのフレーム情報を参照し、時刻情報、フレームレートおよび解像度などによって、このデータの優先度を設定する。この優先度の設定は、予め優先度設定手段３２において、所定の時刻、あるいは所定のフレームレートの優先度が高くなるように設定しておいたり、再生装置２０からの要求により設定されるなど、様々な設定方式であってよい。
そして、その優先度にしたがって蓄積削除手段３３が、一時記録領域３６からデータを削除したり、一時記録領域３６へ受信したデータを新たに記録する。また、蓄積削除手段３３は、削除または記録したデータに関するインデックステーブル３５を更新する。
【００１８】
上記のような構成において、例えば、検索中継手段３１において、映画やドラマのような動画像プログラムを受信した場合、このようなプログラムでは開始部分への配信要求が多いことから、優先度設定手段３２が、開始時刻およびその周辺時刻を時刻情報として持つデータに高い優先度を与え、これらのデータを優先的に一時記録領域３６に残すことにより、一時記録領域３６を検索したときに、検索したデータが存在する確率（以後、ヒット率と呼ぶ）を高めることができる。
図４は時刻情報を基に優先度付けを行った場合を示す説明図であり、この図４では、検索中継手段３１が、“Ａ”という名前の映像プログラムを、時刻１０：１１：００から１０：１２：００まで受信し、このプログラムの先頭部分のみを保存している例を示す。
また、上記のような開始時刻だけではなく、中間のある特定の時刻に対する要求が強い動画像であれば、その時刻に高い優先度を与えることにより、同様の効果を得ることができる。
【００１９】
また、映像内容のような属性情報によってデータに優先度付けを行う例としては、サッカーのゴールシーンのような配信要求が多い映像に対し、高い優先度を与えておき、一時記録領域３６のヒット率を上げることができる。
また、配信装置１０で、ある特定の映像に対し、何らかの注釈または印をフレーム情報に付けて、映像を配信したい場合がある。例えば、プラントなどの監視分野では、映像だけでなく、センサーを使って監視する場合が多い。このような場合、映像配信の際のフレーム情報に、センサーデータの値や機器の正常／異常を伝える属性情報を付加することにより、異常時の映像を特定することができる。この属性情報で特定された映像フレームに対し、高い優先度を与えておくことにより、一時記録領域３６のヒット率を上げることができる。また、時刻情報と組み合わせることにより、異常発生時前後の映像を優先的に保存することができる。
【００２０】
以上のように、この実施の形態１によれば、データの時刻情報または属性情報によってデータに優先度を設定し、優先度によってデータを記録しておき、再生装置２０からの要求に応じてデータを配信することにより、配信装置１０の負荷を低減すると同時に、配信装置１０とキャッシュ装置３０間の伝送路負荷を低減させることができる。
【００２１】
実施の形態２．
上記実施の形態１では、データの優先度設定をその時刻情報または属性情報から設定していたが、この実施の形態２では、時刻情報を基にして束ねられたデータの集合に対し、優先度を設定する場合について説明する。
【００２２】
次に動作について説明する。
図５はこの発明の実施の形態２によるフレームレートを基に優先度付けを行った場合を示す説明図であり、この図５では、検索中継手段３１が、時刻１０：１１：００から１０：１２：００までの映像データを３０ｆｐｓ（Ｆｒａｍｅ／Ｓｅｃ）のフレームレートで受信し、受信したデータのうち、奇数フレームに高い優先度、偶数フレームには低い優先度を設定している。この例では、優先度の低い偶数フレームを棄却し、優先度の高い奇数フレームのみを一時記録領域３６に記録しているため、映像品質を１５ｆｐｓに落とし、一時記録領域３６を節約しつつ蓄積している。
このように時刻情報を基にしたデータ集合に対して優先度を設けることによって、例えば、より多くのフレームレートに対して、その映像ストリームの構成要素となるフレームに高い優先度を与えるなど、様々なフレームレートに対応しつつ、一時記録領域３６のヒット率を高めることができる。
【００２３】
以上のように、この実施の形態２によれば、時系列データが、時刻情報を基にした部分集合に分割され、この部分集合によってデータの優先度を設定し、優先度によってデータを記録しておくことにより、キャッシュ装置３０に蓄積するデータの時間長を延長することができ、キャッシュ装置３０において記録されているデータの再利用回数を増やし、配信装置１０の負荷を低減すると同時に、配信装置１０とキャッシュ装置３０間の伝送路負荷を低減させることができる。
【００２４】
実施の形態３．
実施の形態１の構成において、例えば、複数のカメラで複数の場所を撮影しており、センサがある場所に異常や不具合を検知したとすると、その時刻を重要時刻と設定することにより、その場所を撮影しているカメラのその時刻の映像と、他の場所を撮影したカメラのその時刻の映像やその時のセンサデータとを、キャッシュ装置３０内のインデックステーブル３５で連動して扱うことができる。
【００２５】
次に動作について説明する。
図６はこの発明の実施の形態３による重要時刻を基に優先度付けを行った場合を示す説明図であり、この図６では、配信装置Ｂのカメラにセンサを設け、そのカメラによる映像と共に、そのセンサによる属性情報を保持領域１１に保持しておき、キャッシュ装置３０の検索中継手段３１を介した再生装置２０からの配信要求に応じて、配信装置Ａに保持されたデータと共に、配信装置Ｂに保持された属性情報が付加されたデータをキャッシュ装置３０に配信する。その時、キャッシュ装置３０の優先度設定手段３２では、配信装置Ｂからの属性情報から重要時刻を判断し、配信装置Ａ，Ｂからのデータのうちその重要時刻のデータを優先的に高いフレームレートで記録する。図６では、配信装置Ｂからの属性情報のうち内容、“爆発”の優先度を高くして配信装置Ａ，Ｂ双方のデータを記録している。
このようなデータの蓄積を行うことにより、一時記録領域３６のヒット率を高めることができる。
また、再生装置２０から配信を要求された時間区間のデータを、重要時刻（の集合）と見なし、その優先度を上げることにより、配信予定であるデータを削除してしまう無駄が少なくなる。
【００２６】
以上のように、この実施の形態３によれば、属性情報に基づいて重要時刻を設定し、その重要時刻に応じた優先度によってデータを記録しておくことにより、ある特定時間のデータを優先的にキャッシュ装置３０に蓄積して、キャッシュ装置３０において記録されているデータの再利用回数を増やし、配信装置１０の負荷を低減すると同時に、配信装置１０とキャッシュ装置３０間の伝送路負荷を低減させることができる。
【００２７】
実施の形態４．
上記実施の形態１では、データの優先度設定をその時刻情報または属性情報から設定していたが、この実施の形態４では、映像データの解像度（詳細度）を基にして優先度を設定する場合について説明する。
【００２８】
次に動作について説明する。
例えば、階層的に符号化されている映像フレームに対して、（フレームサイズが小さい）解像度の低い低層部分に、より高い優先度を与えて一時記録領域３６に記録し、必要に応じて解像度を高めて記録／配信することにより、一時記録領域３６を節約しつつ、一時記録領域３６のヒット率を高めることができる。
また、上記実施の形態１から実施の形態３において、フレームレートを変化させて記録した代わりに、解像度を変化させて記録する、あるいはそれらの組み合わせにより記録することにより、一時記録領域３６を節約しつつ、一時記録領域３６のヒット率を高めることができる。
【００２９】
以上のように、この実施の形態４によれば、解像度によって優先度を設定し、その優先度によってデータを記録しておくことにより、必要に応じてデータサイズを変更してキャッシュ装置３０に蓄積し、キャッシュ装置３０において記録されているデータの再利用回数を増やし、配信装置１０の負荷を低減すると同時に、配信装置１０とキャッシュ装置３０間の伝送路負荷を低減させることができる。
【００３０】
実施の形態５．
この実施の形態４では、過去に再生装置２０から受け取った配信要求に関する属性を記述した配信属性情報により、優先度を設定する場合について説明する。
キャッシュ装置３０のインデックステーブル３５には、今までに再生装置２０から受け取った配信要求に関する属性を記述した配信属性情報が設けられており、検索中継手段３１は、再生装置２０から受け取った配信要求に応じてその配信属性情報を作成および更新し、優先度設定手段３２は、その配信属性情報に応じて時系列データの優先度を設定するものである。
【００３１】
次に動作について説明する。
図７はこの発明の実施の形態５による再生装置からの配信要求の配信属性情報を基に優先度付けを行った場合を示す説明図であり、この図７では、一時記録領域３６に再生装置Ａから要求されたデータが蓄積されていたが、重要度の低い再生装置Ａから要求されたデータであるため、優先度が低く、優先度の高い再生装置Ｂが要求した映像データが、優先的に一時記録装置３６に記録されている。
また、このような例は、端末に優先度を設けるだけでなく、そのデータを使用するユーザに設けることもできる。このように、再生端末やユーザ、またはその要求により優先度を設けて蓄積することにより、特定の端末やユーザに対して、一時記録領域３６を節約しつつ、一時記録領域３６のヒット率を高めることができる。
【００３２】
以上のように、この実施の形態５によれば、今までに再生装置２０から受け取った属性を記述した配信属性情報により、優先度を設定し、その優先度によってデータを記録しておくことにより、再生装置２０の要求に応じてキャッシュ装置３０に蓄積し、キャッシュ装置３０において記録されているデータの再利用回数を増やし、配信装置１０の負荷を低減すると同時に、配信装置１０とキャッシュ装置３０間の伝送路負荷を低減させることができる。
【００３３】
実施の形態６．
図８はこの発明の実施の形態６による時系列データ配信蓄積システムを示す構成図であり、この例では、配信装置１０とキャッシュ装置３０間の伝送路に低速公衆網を使っている。図８において、図１と比べて配信装置１０とキャッシュ装置３０間の伝送路が変更されただけであるので、各構成部についての説明は省略する。
【００３４】
次に動作について説明する。
従来例および実施の形態１では、一時記録領域３６に再生装置２０から要求された映像データが不足していた場合、配信装置１０から不足データを受信した後、データを即時再生装置２０へ中継していた。しかし、図９に示すように、再生装置２０の要求するデータの配信速度が、配信装置１０とキャッシュ装置３０間の伝送速度よりも大きい場合、一時記録領域３６の蓄積状況によっては、再生装置２０への配信データが不足し、配信速度が一定せずに再生装置２０では要求した映像品質で再生できなかったり、データ受信までの待ち時間が大きくなる可能性がある。
そこで例えば、図１０に示すように、一時記録領域３６にデータが不足していれば、要求区間内の不足データを、配信装置１０から時間方向に順に取り寄せて蓄積する。要求されたレートで配信できる程度にデータが蓄積されるまで待って、それから配信を開始する。
具体的には、再生装置２０から要求された時間区間に応じた時系列データ量と、現在の一時記録領域３６に保持されている関連する時系列データ量および分布状況と、配信装置１０から一時記録領域３６への配信伝送速度と、一時記録領域３６から再生装置２０への配信伝送速度とに基づいて、一時記録領域３６から再生装置２０への時系列データの配信時期を設定する。
これにより、配信装置１０との伝送路が低速であっても、再生装置２０から要求された映像品質で、再生装置２０にデータを配信することができる。
【００３５】
以上のように、この実施の形態６によれば、再生装置２０から要求された時間区間に応じた時系列データ量と、現在の一時記録領域３６に保持されている関連する時系列データ量および分布状況と、配信装置１０から一時記録領域３６への配信伝送速度と、一時記録領域３６から再生装置２０への配信伝送速度とに基づいて、一時記録領域３６から再生装置２０への時系列データの配信時期を設定するので、配信装置１０との伝送路が低速であっても、再生装置２０から要求された映像品質で、再生装置２０にデータを配信することができる。
【００３６】
実施の形態７．
図１１はこの発明の実施の形態７によるキャッシュ装置の動作を示す動作説明図であり、上記実施の形態６では、キャッシュ装置３０において、要求されたフレームレート、解像度で配信できるまでデータ配信の開始時間を遅らせたが、この実施の形態７では、配信の要求を受けてから短い待ち時間で配信開始ができるように、中継が途切れない程度まで映像品質を下げて配信し、配信の要求が増えるに従い一時記録領域３６から再生装置２０へのフレームレートまたは解像度を段階的に高めて中継するものである。
【００３７】
次に動作について説明する。
再生装置からの要求に対し、配信するデータが一時記録領域に不足する場合、低フレームレートや低解像度による配信に必要となるデータから再生装置へ要求し、まず低品質のデータを再生装置へ配信する。配信する間に不足するデータを補間し、繰り返しその映像を見ることによって、フレームレートまたは解像度を段階的に高めて再生装置２０に配信する。これにより、キャッシュ装置３０は高い応答性を持ちつつ、繰り返しデータの配信を要求することにより高品質のデータを配信することができる。
【００３８】
以上のように、この実施の形態７によれば、配信装置１０との伝送路が低速であっても、配信の要求を受けてからのレスポンス性を高めつつ、繰り返し配信要求することにより再生装置２０から要求された映像品質で、再生装置２０にデータを配信することができる。
【００３９】
実施の形態８．
図１２はこの発明の実施の形態８によるキャッシュ装置の動作を示す動作説明図であり、図のように、要求された時間区間の終端時刻から時間軸と逆方向に、配信装置１０ヘデータの配信を要求していき、このデータを受信および蓄積しつつ、再生装置２０ヘデータの配信を開始する。配信開始直後は、映像データの品質は落ちるかも知れないが、いずれは配信要求された映像品質で配信できるようになる。これにより，再生装置２０は、従来例と比べて良い品質で、映像データを受け取ることができる。
【００４０】
以上のように、この実施の形態８によれば、要求された時間区間の終端時刻から時間軸と逆方向に、配信装置１０ヘデータの配信を要求していき、このデータを受信および蓄積しつつ、再生装置２０ヘデータの配信を開始するので、従来例と比べて良い品質で、再生装置２０にデータを配信することができる。
【００４１】
実施の形態９．
実施の形態１の構成において、配信装置１０が、図２で示した保持領域１１を持たず、例えば、カメラからの入力を直接配信し、蓄積機能をキャッシュ装置３０で持たせるようなシステムの場合には、カメラで撮影した映像データをキャッシュ装置３０で設定したフレームレートまたは解像度で蓄積することができる。これにより、配信装置１０において、保持領域１１を持たなくても、一時的に映像データを記録することができる。
【００４２】
実施の形態１０．
図１３はこの発明の実施の形態１０によるキャッシュ装置の動作を示す動作説明図であり、この実施の形態１０では、キャッシュ装置３０の検索中継手段３１により、再生装置２０からの配信要求が無くても、インデックステーブル３５内の情報に基づいて一時記録領域３６に追加する時系列データを決定し、配信装置１０に要求するものである。
【００４３】
次に動作について説明する。
この実施の形態１０では、検索中継手段３１が、図１３（ｂ）においては、インデックステーブル３５内の時刻情報と属性情報によって定義された重要時刻を基に、重要時刻と重要時刻の狭間のデータ、あるいは周辺時刻におけるデータは、要求される可能性が高いと判断し、その時刻のデータ追加を行っている。また、図１３（ｃ）では、例えば、サッカーのゴールシーンのような特定の映像内容を基に、再生装置２０から要求されるデータを予想し、一時記録領域３６にデータを追加している。このように、あらかじめ配信が予想されるデータを一時記録領域３６に蓄積しておくことにより、再生装置２０がデータ配信を要求してから、データを受信するまでの待ち時間を少なくすることができる。また、配信装置１０とキャッシュ装置３０との伝送網の空き時間を利用して、予想したデータの配信を要求することにより、配信装置１０の負荷と、網の負荷を分散することができる。
【００４４】
以上のように、この実施の形態１０によれば、キャッシュ装置３０の検索中継手段３１により、再生装置２０からの配信要求が無くても、インデックステーブル３５内の情報に基づいて一時記録領域３６に追加する時系列データを決定し、配信装置１０に要求するので、再生装置２０がデータ配信を要求してから、データを受信するまでの待ち時間を少なくすることができる。また、配信装置１０の負荷と、網の負荷を分散することができる。
【００４５】
尚、実施の形態１から実施の形態９において、データの属性情報に時間の経過と共に減少していく重み係数を設け、必要に応じてデータの優先度にこの重み係数を乗算し、時刻の経過と共に優先度を落として、一時記録領域３６からデータを削除することにより、一時記録領域３６を節約でき、ヒット率を上げることができる。
また、実施の形態１から実施の形態１０では、映像データに限定して説明を行ったが、これらの例は、映像データのみを対象としたものではなく、計測データや制御データなど他の時系列データにも適用される。
【００４６】
【発明の効果】
以上のように、この発明によれば、時系列データを保持する保持領域と、要求された時間区間で上記保持領域に保持された時系列データを配信すると共に、それら各時系列データまたはそれら各時系列データの集合に時刻情報または属性情報を合わせて配信する配信処理手段とを有する配信装置と、再生したい上記時系列データの時間区間を指定した配信要求を発行するデータ要求手段と、上記時系列データを受信し再生する受信再生手段とを有する再生装置と、上記配信装置および上記再生装置に接続され、その配信装置から配信された時系列データを保持する一時記録領域と、上記一時記録領域に保持された各時系列データまたはそれら各時系列データの集合に関する時刻情報または属性情報、および優先度を記録したインデックステーブルと、上記再生装置からの配信要求に応じて上記インデックステーブルを参照し、その配信要求された時系列データが上記一時記録領域内に存在する場合は、その時系列データをその一時記録領域から読み出してその再生装置へ配信し、存在しない場合は、上記配信装置へ要求してその時系列データを受信しその再生装置へ中継する検索中継手段と、上記検索中継手段が受信した時系列データの時刻情報または属性情報に応じてそれら時系列データに優先度を設定する優先度設定手段と、上記優先度設定手段により設定された優先度に応じて受信した時系列データを上記一時記録領域に保持またはその一時記録領域から時系列データを削除すると共に上記インデックステーブルを更新する蓄積削除手段とを有するキャッシュ装置とを備えるように構成したので、優先度によって時系列データを記録しておき、再生装置からの要求に応じて時系列データを配信することにより、配信装置の負荷を低減すると同時に、配信装置とキャッシュ装置間の伝送路負荷を低減することができる効果がある。
また、この発明によれば、キャッシュ装置の優先度設定手段は、属性情報に基づいて、特定の時間区間における重要時刻を決定し、その重要時刻周辺の時系列データに高い優先度を与えるように構成したので、その重要時刻に応じた優先度によって時系列データを記録することにより、ある特定の時間区間の時系列データを優先的にキャッシュ装置に蓄積して、キャッシュ装置において記録されている時系列データの再利用回数を増やし、配信装置の負荷を低減すると同時に、配信装置とキャッシュ装置間の伝送路負荷を低減することができる効果がある。
【図面の簡単な説明】
【図１】 この発明の実施の形態１による時系列データ配信蓄積システムを示す構成図である。
【図２】 配信装置と再生装置の動作を示す動作説明図である。
【図３】 キャッシュ装置の動作を示す動作説明図である。
【図４】 時刻情報を基に優先度付けを行った場合を示す説明図である。
【図５】 この発明の実施の形態２によるフレームレートを基に優先度付けを行った場合を示す説明図である。
【図６】 この発明の実施の形態３による重要時刻を基に優先度付けを行った場合を示す説明図である。
【図７】 この発明の実施の形態５による再生装置からの配信要求の配信属性情報を基に優先度付けを行った場合を示す説明図である。
【図８】 この発明の実施の形態６による時系列データ配信蓄積システムを示す構成図である。
【図９】 従来例と実施の形態６との動作の違いを示す説明図である。
【図１０】 この発明の実施の形態６によるキャッシュ装置の動作を示す動作説明図である。
【図１１】 この発明の実施の形態７によるキャッシュ装置の動作を示す動作説明図である。
【図１２】 この発明の実施の形態８によるキャッシュ装置の動作を示す動作説明図である。
【図１３】 この発明の実施の形態１０によるキャッシュ装置の動作を示す動作説明図である。
【図１４】 従来の時系列データ蓄積配信システムを示す構成図である。
【符号の説明】
１０ 配信装置、１１ 保持領域、１２ 配信処理手段、２０ 再生装置、２１ データ要求手段、２２ 受信再生手段、３０ キャッシュ装置、３１ 検索中継手段、３２ 優先度設定手段、３３ 蓄積削除手段、３５ インデックステーブル、３６ 一時記録領域。
【発明の属する技術分野】
この発明は、映像または計測制御データなどの時系列データを蓄積し、ユーザからの要求に応じて蓄積したデータを配信するキャッシュ装置を有するシステムに関するもので、特にネットワークを使ったプラント監視またはセキュリティ監視、また、遠隔医療支援またはビデオ・オンデマンドシステムなど、特定の映像およびデータが反復して要求配信される分野に適した時系列データ蓄積配信システムに関するものである。
【０００２】
【従来の技術】
例えば、プラント設備監視またはセキュリティ監視では、建物や設備といった現場の状況を複数の監視カメラで撮影し、現場と離れた監視センタにて必要な映像を随時切り替えて表示する映像監視が行われている。この映像監視ではライブ映像によって現時点の状況を確認する以外に、ＶＴＲ（Ｖｉｄｅｏ Ｔａｐｅ Ｒｅｃｏｒｄｅｒ）やハードディスクなどの記録装置に監視映像を記録しておき、事件発生前後の映像を繰り返し表示して詳細に分析するといった作業が行われる。
最近では映像をディジタル化してハードディスクに蓄積しておき、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や公衆回線網を介して監視センタヘ配信する配信機能を持った記録配信装置（以後、単に配信装置と呼ぶ）が製品化されている。
例えば、プラントにて事故が発生した場合には、複数の監視センタが事故映像を保持する配信装置へほぼ同時に映像配信を要求する輻輳状態に陥いってしまい、配信装置やその接続網の過負荷が発生するため映像を配信できない場合がある。このような配信装置とその接続網への負荷を分散するために、配信装置と監視センタ間の配信経路中にキャッシュ装置が設けられる。キャッシュ装置は、配信装置が配信した映像データを中継するとともに蓄積しておき、複数の異なる配信要求に対して、今までに蓄積済みの映像データが要求された場合には、配信装置に代わって配信することによって、配信装置の負荷と配信装置とキャッシュ装置間の網の負荷を抑えている。
【０００３】
図１４は例えば文献「Ａ ｎｏｖｅｌ ｄｙｎａｍｉｃ ｃａｃｈｉｎｇ ｆｏｒ ｈｉｅｒａｒｃｈｉｃａｌｌｙ ｄｉｓｔｒｉｂｕｔｅｄ ｖｉｄｅｏ−ｏｎｄｅｍａｎｄ ｓｙｓｔｅｍｓ」（ＳＰＩＥ Ｖｏｌ．３２２８，Ｐａｇｅ１３５−１４６ Ｎｏｖ．１９９７）に示されたビデオオンデマンドにおける従来の時系列データ蓄積配信システムを示す構成図であり、図において、１１０はプログラム名の付いたビデオデータを保持し、要求によりビデオデータを配信する配信装置、１２０はビデオデータの配信を要求し、データの受信再生を行う再生装置、１３０は配信装置１１０から再生装置１２０ヘビデオデータを中継すると共にそのデータを蓄積するキャッシュ装置である。
キャッシュ装置１３０内部には、ビデオデータを蓄積する一時記録領域１３６と、その一時記録領域１３６に蓄積されたデータの時刻情報やアクセス履歴を記録するインデックステーブル１３５がある。このシステムでは、一時記録領域１３６内のビデオデータは、図１４に示すように、例えば１０分といった、ある時間を単位としてスロット化されて記録されている。
【０００４】
次に動作について説明する。
再生装置１２０は、配信を要求するプログラム名と再生開始時刻位置を指定した配信要求をキャッシュ装置１３０へ送信する。キャッシュ装置１３０は、再生装置１２０からの配信要求を受けると、要求された時間帯のビデオデータが一時記録領域１３６に存在するかどうか、インデックステーブル１３５を検索する。この検索結果により、下記の（１）または（２）を実行する。
（１）データが存在する場合は、配信要求で指定された時刻位置からのデータを順々に読み出して再生装置１２０へ配信する。
（２）データが存在しない場合は、その時刻位置からのデータ配信を配信装置１１０へ要求し、配信装置１１０から送られてくるデータを順々に再生装置１２０へそのまま中継すると同時に、中継したデータの時間長が１つのスロットを完全に満たせば、そのデータを一時記録領域１３６に記録し、インデックステーブル１３５を更新する。ここで記録の際に、一時記録領域１３６が一杯であれば、最後に配信した時刻が一時記録領域１３６内で最も古いデータを削除し、受信したデータを新たに蓄積する。
キャッシュ装置１３０は、ビデオデータの配信中は各スロット毎に、そのスロットにデータが存在するかどうかインデックステーブルを検索し、上記の（１）または（２）を実行する。
【０００５】
【発明が解決しようとする課題】
従来の時系列データ蓄積配信システムは以上のように構成されているので、一連の時系列データを一まとめにしたスロット単位によってのみデータを蓄積および削除していた。このため従来のキャッシュ装置１３０では、スロット内の各データを、さらに時刻や詳細度毎で分けて蓄積したり削除することができず、任意の時間区間でデータを蓄積したり、データの時間間隔、あるいはデータ毎に詳細度を変えて、一時記録領域１３６に蓄積できないという課題があった。
また、従来のキャッシュ装置１３０では、過去の配信履歴のみを参考にして受信データの削除を行っており、データの時刻情報や内容情報などの属性情報、詳細度などを参考にし、用途に応じて長期的にキャッシュ装置１３０にデータを残すことを考慮していないなどの課題があった。
さらに、再生装置１２０が要求するデータの配信品質に対して、配信装置１１０とキャッシュ装置１３０間の伝送速度が十分でない場合には、再生装置１２０からの要求に対して、一時記録領域１３６でデータが不足すると、配信装置１１０からのデータ受信速度が遅いために、再生装置１２０は要求した品質でデータを受け取れないなどの課題があった。
【０００６】
この発明は上記のような課題を解決するためになされたもので、従来と比べて、時刻や詳細度といったより細かな単位で時系列データの蓄積削除を行い、必要に応じて一時記録領域に蓄積する時系列データを間引き、不足する時系列データのみを配信装置から取得することによって、一時記録領域を節約しつつ、配信装置の負荷と配信装置とキャッシュ装置間の網の負荷を抑える時系列データ蓄積配信システムを得ることを目的とする。
また、この発明は、設定した時系列データ単位やそれらの属性などに対して優先度をそれぞれ設け、再配信される可能性のある時系列データを優先的に一時記録領域に記録することによって、一時記録領域を節約しつつ、蓄積された時系列データの再利用率を高める時系列データ蓄積配信システムを得ることを目的とする。
さらに、この発明は、配信装置からの受信時系列データを、そのまま再生装置に配信するだけではなく、一時記録装置に蓄積しつつ、配信開始時刻を調整することにより、再生装置で再生する時系列データの品質を高める時系列データ蓄積配信システムを得ることを目的とする。
さらに、この発明は、再生装置から要求される時系列データを予測し、あらかじめその時系列データを配信装置から取得し、一時記録領域に蓄積しておくことにより、再生装置で再生する時系列データの品質を高める時系列データ蓄積配信システムを得ることを目的とする。
【０００７】
【課題を解決するための手段】
この発明に係る時系列データ蓄積配信システムは、時系列データを保持する保持領域と、要求された時間区間で上記保持領域に保持された時系列データを配信すると共に、それら各時系列データまたはそれら各時系列データの集合に時刻情報または属性情報を合わせて配信する配信処理手段とを有する配信装置と、再生したい上記時系列データの時間区間を指定した配信要求を発行するデータ要求手段と、上記時系列データを受信し再生する受信再生手段とを有する再生装置と、上記配信装置および上記再生装置に接続され、その配信装置から配信された時系列データを保持する一時記録領域と、上記一時記録領域に保持された各時系列データまたはそれら各時系列データの集合に関する時刻情報または属性情報、および優先度を記録したインデックステーブルと、上記再生装置からの配信要求に応じて上記インデックステーブルを参照し、その配信要求された時系列データが上記一時記録領域内に存在する場合は、その時系列データをその一時記録領域から読み出してその再生装置へ配信し、存在しない場合は、上記配信装置へ要求してその時系列データを受信しその再生装置へ中継する検索中継手段と、上記検索中継手段が受信した時系列データの時刻情報または属性情報に応じてそれら時系列データに優先度を設定する優先度設定手段と、上記優先度設定手段により設定された優先度に応じて受信した時系列データを上記一時記録領域に保持またはその一時記録領域から時系列データを削除すると共に上記インデックステーブルを更新する蓄積削除手段とを有するキャッシュ装置とを備え、上記キャッシュ装置の上記優先度設定手段は、属性情報に基づいて、特定の時間区間における重要時刻を決定し、その重要時刻周辺の時系列データに高い優先度を与えるものである。
【００１５】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１による時系列データ配信蓄積システムを示す構成図であり、この例では、時系列データとして映像フレームを扱っている。図１において、１０は要求に応じて映像を配信する映像配信装置（以後、単に配信装置と呼ぶ）、２０は映像データの配信を要求し、そのデータを受信して再生する映像再生装置（以後、単に再生装置と呼ぶ）、３０は映像データを一時記録しておき、記録した映像データヘの要求に対してデータを配信し、記録していないデータヘの要求に対しては、配信装置１０からデータを中継して蓄積するキャッシュ装置である。
キャッシュ装置３０内部には、映像データを蓄積する一時記録領域３６と、その一時記録領域３６に蓄積されている映像データに対して、時刻情報、優先度、および解像度、さらに、映像内容やカメラ角度といった属性情報などをフレーム毎に記録したインデックステーブル３５とがある。
【００１６】
次に動作について説明する。
まず、上記配信装置１０と上記再生装置２０について説明する。図２は配信装置と再生装置の動作を示す動作説明図であり、配信装置１０は、階層的に符号化された映像の原データを保持する保持領域１１と、キャッシュ装置３０から要求された映像データをキャッシュ装置３０へ配信する配信処理手段１２とから構成される。また、再生装置２０は、キャッシュ装置３０へ映像配信を要求するデータ要求手段２１と要求した映像データを受信して再生する受信再生手段２２とから構成される。
配信装置１０では、キャッシュ装置３０から映像配信の要求を受けた配信処理手段１２が、要求された時間区間、フレームレートおよび解像度に対応する映像データを保持領域１１から読み出し、一フレーム毎にそのフレームの時刻情報、内容や撮影場所などの属性情報、解像度などのフレーム情報を付加してキャッシュ装置３０に配信する。
再生装置２０では、データ要求手段２１が、映像データの時間区間、フレームレートおよび解像度を指定してキャッシュ装置３０に映像配信を要求する。一方、受信再生手段２２は、キャッシュ装置３０から配信されてきた映像データを受信し、復号した後、表示する。
【００１７】
次に、上記キャッシュ装置３０について説明する。図３はキャッシュ装置の動作を示す動作説明図であり、キャッシュ装置３０は、上記に述べたインデックステーブル３５と一時記録領域３６に加えて、インデックステーブル３５の検索と、一時記録領域３６からのデータ読み出しと、データの送受信とを行う検索中継手段３１と、配信装置１０から受信した各データに優先度を設定する優先度設定手段３２と、一時記録領域３６にデータを記録したり、一時記録領域３６からデータを削除し、これらのデータヘのインデックステーブル３５を更新する蓄積削除手段３３とから構成される。
検索中継手段３１は、再生装置２０から映像データ配信の要求を受けて、インデックステーブル３５を参照し、要求された時間区間、フレームレートおよび解像度を満たして、一時記録領域３６からデータを配信できるかどうか判断する。
要求された条件で、データを配信可能であれば、検索中継手段３１は、そのデータを一時記録領域３６から読み出して、再生装置２０へ配信する。また、配信を要求されたデータが、一時記録領域３６に不足していれば、検索中継手段３１は、配信装置１０に不足するデータの配信を要求し、データを受信した後、再生装置２０へ中継する。
このとき、優先度設定手段３２は、受信したデータのフレーム情報を参照し、時刻情報、フレームレートおよび解像度などによって、このデータの優先度を設定する。この優先度の設定は、予め優先度設定手段３２において、所定の時刻、あるいは所定のフレームレートの優先度が高くなるように設定しておいたり、再生装置２０からの要求により設定されるなど、様々な設定方式であってよい。
そして、その優先度にしたがって蓄積削除手段３３が、一時記録領域３６からデータを削除したり、一時記録領域３６へ受信したデータを新たに記録する。また、蓄積削除手段３３は、削除または記録したデータに関するインデックステーブル３５を更新する。
【００１８】
上記のような構成において、例えば、検索中継手段３１において、映画やドラマのような動画像プログラムを受信した場合、このようなプログラムでは開始部分への配信要求が多いことから、優先度設定手段３２が、開始時刻およびその周辺時刻を時刻情報として持つデータに高い優先度を与え、これらのデータを優先的に一時記録領域３６に残すことにより、一時記録領域３６を検索したときに、検索したデータが存在する確率（以後、ヒット率と呼ぶ）を高めることができる。
図４は時刻情報を基に優先度付けを行った場合を示す説明図であり、この図４では、検索中継手段３１が、“Ａ”という名前の映像プログラムを、時刻１０：１１：００から１０：１２：００まで受信し、このプログラムの先頭部分のみを保存している例を示す。
また、上記のような開始時刻だけではなく、中間のある特定の時刻に対する要求が強い動画像であれば、その時刻に高い優先度を与えることにより、同様の効果を得ることができる。
【００１９】
また、映像内容のような属性情報によってデータに優先度付けを行う例としては、サッカーのゴールシーンのような配信要求が多い映像に対し、高い優先度を与えておき、一時記録領域３６のヒット率を上げることができる。
また、配信装置１０で、ある特定の映像に対し、何らかの注釈または印をフレーム情報に付けて、映像を配信したい場合がある。例えば、プラントなどの監視分野では、映像だけでなく、センサーを使って監視する場合が多い。このような場合、映像配信の際のフレーム情報に、センサーデータの値や機器の正常／異常を伝える属性情報を付加することにより、異常時の映像を特定することができる。この属性情報で特定された映像フレームに対し、高い優先度を与えておくことにより、一時記録領域３６のヒット率を上げることができる。また、時刻情報と組み合わせることにより、異常発生時前後の映像を優先的に保存することができる。
【００２０】
以上のように、この実施の形態１によれば、データの時刻情報または属性情報によってデータに優先度を設定し、優先度によってデータを記録しておき、再生装置２０からの要求に応じてデータを配信することにより、配信装置１０の負荷を低減すると同時に、配信装置１０とキャッシュ装置３０間の伝送路負荷を低減させることができる。
【００２１】
実施の形態２．
上記実施の形態１では、データの優先度設定をその時刻情報または属性情報から設定していたが、この実施の形態２では、時刻情報を基にして束ねられたデータの集合に対し、優先度を設定する場合について説明する。
【００２２】
次に動作について説明する。
図５はこの発明の実施の形態２によるフレームレートを基に優先度付けを行った場合を示す説明図であり、この図５では、検索中継手段３１が、時刻１０：１１：００から１０：１２：００までの映像データを３０ｆｐｓ（Ｆｒａｍｅ／Ｓｅｃ）のフレームレートで受信し、受信したデータのうち、奇数フレームに高い優先度、偶数フレームには低い優先度を設定している。この例では、優先度の低い偶数フレームを棄却し、優先度の高い奇数フレームのみを一時記録領域３６に記録しているため、映像品質を１５ｆｐｓに落とし、一時記録領域３６を節約しつつ蓄積している。
このように時刻情報を基にしたデータ集合に対して優先度を設けることによって、例えば、より多くのフレームレートに対して、その映像ストリームの構成要素となるフレームに高い優先度を与えるなど、様々なフレームレートに対応しつつ、一時記録領域３６のヒット率を高めることができる。
【００２３】
以上のように、この実施の形態２によれば、時系列データが、時刻情報を基にした部分集合に分割され、この部分集合によってデータの優先度を設定し、優先度によってデータを記録しておくことにより、キャッシュ装置３０に蓄積するデータの時間長を延長することができ、キャッシュ装置３０において記録されているデータの再利用回数を増やし、配信装置１０の負荷を低減すると同時に、配信装置１０とキャッシュ装置３０間の伝送路負荷を低減させることができる。
【００２４】
実施の形態３．
実施の形態１の構成において、例えば、複数のカメラで複数の場所を撮影しており、センサがある場所に異常や不具合を検知したとすると、その時刻を重要時刻と設定することにより、その場所を撮影しているカメラのその時刻の映像と、他の場所を撮影したカメラのその時刻の映像やその時のセンサデータとを、キャッシュ装置３０内のインデックステーブル３５で連動して扱うことができる。
【００２５】
次に動作について説明する。
図６はこの発明の実施の形態３による重要時刻を基に優先度付けを行った場合を示す説明図であり、この図６では、配信装置Ｂのカメラにセンサを設け、そのカメラによる映像と共に、そのセンサによる属性情報を保持領域１１に保持しておき、キャッシュ装置３０の検索中継手段３１を介した再生装置２０からの配信要求に応じて、配信装置Ａに保持されたデータと共に、配信装置Ｂに保持された属性情報が付加されたデータをキャッシュ装置３０に配信する。その時、キャッシュ装置３０の優先度設定手段３２では、配信装置Ｂからの属性情報から重要時刻を判断し、配信装置Ａ，Ｂからのデータのうちその重要時刻のデータを優先的に高いフレームレートで記録する。図６では、配信装置Ｂからの属性情報のうち内容、“爆発”の優先度を高くして配信装置Ａ，Ｂ双方のデータを記録している。
このようなデータの蓄積を行うことにより、一時記録領域３６のヒット率を高めることができる。
また、再生装置２０から配信を要求された時間区間のデータを、重要時刻（の集合）と見なし、その優先度を上げることにより、配信予定であるデータを削除してしまう無駄が少なくなる。
【００２６】
以上のように、この実施の形態３によれば、属性情報に基づいて重要時刻を設定し、その重要時刻に応じた優先度によってデータを記録しておくことにより、ある特定時間のデータを優先的にキャッシュ装置３０に蓄積して、キャッシュ装置３０において記録されているデータの再利用回数を増やし、配信装置１０の負荷を低減すると同時に、配信装置１０とキャッシュ装置３０間の伝送路負荷を低減させることができる。
【００２７】
実施の形態４．
上記実施の形態１では、データの優先度設定をその時刻情報または属性情報から設定していたが、この実施の形態４では、映像データの解像度（詳細度）を基にして優先度を設定する場合について説明する。
【００２８】
次に動作について説明する。
例えば、階層的に符号化されている映像フレームに対して、（フレームサイズが小さい）解像度の低い低層部分に、より高い優先度を与えて一時記録領域３６に記録し、必要に応じて解像度を高めて記録／配信することにより、一時記録領域３６を節約しつつ、一時記録領域３６のヒット率を高めることができる。
また、上記実施の形態１から実施の形態３において、フレームレートを変化させて記録した代わりに、解像度を変化させて記録する、あるいはそれらの組み合わせにより記録することにより、一時記録領域３６を節約しつつ、一時記録領域３６のヒット率を高めることができる。
【００２９】
以上のように、この実施の形態４によれば、解像度によって優先度を設定し、その優先度によってデータを記録しておくことにより、必要に応じてデータサイズを変更してキャッシュ装置３０に蓄積し、キャッシュ装置３０において記録されているデータの再利用回数を増やし、配信装置１０の負荷を低減すると同時に、配信装置１０とキャッシュ装置３０間の伝送路負荷を低減させることができる。
【００３０】
実施の形態５．
この実施の形態４では、過去に再生装置２０から受け取った配信要求に関する属性を記述した配信属性情報により、優先度を設定する場合について説明する。
キャッシュ装置３０のインデックステーブル３５には、今までに再生装置２０から受け取った配信要求に関する属性を記述した配信属性情報が設けられており、検索中継手段３１は、再生装置２０から受け取った配信要求に応じてその配信属性情報を作成および更新し、優先度設定手段３２は、その配信属性情報に応じて時系列データの優先度を設定するものである。
【００３１】
次に動作について説明する。
図７はこの発明の実施の形態５による再生装置からの配信要求の配信属性情報を基に優先度付けを行った場合を示す説明図であり、この図７では、一時記録領域３６に再生装置Ａから要求されたデータが蓄積されていたが、重要度の低い再生装置Ａから要求されたデータであるため、優先度が低く、優先度の高い再生装置Ｂが要求した映像データが、優先的に一時記録装置３６に記録されている。
また、このような例は、端末に優先度を設けるだけでなく、そのデータを使用するユーザに設けることもできる。このように、再生端末やユーザ、またはその要求により優先度を設けて蓄積することにより、特定の端末やユーザに対して、一時記録領域３６を節約しつつ、一時記録領域３６のヒット率を高めることができる。
【００３２】
以上のように、この実施の形態５によれば、今までに再生装置２０から受け取った属性を記述した配信属性情報により、優先度を設定し、その優先度によってデータを記録しておくことにより、再生装置２０の要求に応じてキャッシュ装置３０に蓄積し、キャッシュ装置３０において記録されているデータの再利用回数を増やし、配信装置１０の負荷を低減すると同時に、配信装置１０とキャッシュ装置３０間の伝送路負荷を低減させることができる。
【００３３】
実施の形態６．
図８はこの発明の実施の形態６による時系列データ配信蓄積システムを示す構成図であり、この例では、配信装置１０とキャッシュ装置３０間の伝送路に低速公衆網を使っている。図８において、図１と比べて配信装置１０とキャッシュ装置３０間の伝送路が変更されただけであるので、各構成部についての説明は省略する。
【００３４】
次に動作について説明する。
従来例および実施の形態１では、一時記録領域３６に再生装置２０から要求された映像データが不足していた場合、配信装置１０から不足データを受信した後、データを即時再生装置２０へ中継していた。しかし、図９に示すように、再生装置２０の要求するデータの配信速度が、配信装置１０とキャッシュ装置３０間の伝送速度よりも大きい場合、一時記録領域３６の蓄積状況によっては、再生装置２０への配信データが不足し、配信速度が一定せずに再生装置２０では要求した映像品質で再生できなかったり、データ受信までの待ち時間が大きくなる可能性がある。
そこで例えば、図１０に示すように、一時記録領域３６にデータが不足していれば、要求区間内の不足データを、配信装置１０から時間方向に順に取り寄せて蓄積する。要求されたレートで配信できる程度にデータが蓄積されるまで待って、それから配信を開始する。
具体的には、再生装置２０から要求された時間区間に応じた時系列データ量と、現在の一時記録領域３６に保持されている関連する時系列データ量および分布状況と、配信装置１０から一時記録領域３６への配信伝送速度と、一時記録領域３６から再生装置２０への配信伝送速度とに基づいて、一時記録領域３６から再生装置２０への時系列データの配信時期を設定する。
これにより、配信装置１０との伝送路が低速であっても、再生装置２０から要求された映像品質で、再生装置２０にデータを配信することができる。
【００３５】
以上のように、この実施の形態６によれば、再生装置２０から要求された時間区間に応じた時系列データ量と、現在の一時記録領域３６に保持されている関連する時系列データ量および分布状況と、配信装置１０から一時記録領域３６への配信伝送速度と、一時記録領域３６から再生装置２０への配信伝送速度とに基づいて、一時記録領域３６から再生装置２０への時系列データの配信時期を設定するので、配信装置１０との伝送路が低速であっても、再生装置２０から要求された映像品質で、再生装置２０にデータを配信することができる。
【００３６】
実施の形態７．
図１１はこの発明の実施の形態７によるキャッシュ装置の動作を示す動作説明図であり、上記実施の形態６では、キャッシュ装置３０において、要求されたフレームレート、解像度で配信できるまでデータ配信の開始時間を遅らせたが、この実施の形態７では、配信の要求を受けてから短い待ち時間で配信開始ができるように、中継が途切れない程度まで映像品質を下げて配信し、配信の要求が増えるに従い一時記録領域３６から再生装置２０へのフレームレートまたは解像度を段階的に高めて中継するものである。
【００３７】
次に動作について説明する。
再生装置からの要求に対し、配信するデータが一時記録領域に不足する場合、低フレームレートや低解像度による配信に必要となるデータから再生装置へ要求し、まず低品質のデータを再生装置へ配信する。配信する間に不足するデータを補間し、繰り返しその映像を見ることによって、フレームレートまたは解像度を段階的に高めて再生装置２０に配信する。これにより、キャッシュ装置３０は高い応答性を持ちつつ、繰り返しデータの配信を要求することにより高品質のデータを配信することができる。
【００３８】
以上のように、この実施の形態７によれば、配信装置１０との伝送路が低速であっても、配信の要求を受けてからのレスポンス性を高めつつ、繰り返し配信要求することにより再生装置２０から要求された映像品質で、再生装置２０にデータを配信することができる。
【００３９】
実施の形態８．
図１２はこの発明の実施の形態８によるキャッシュ装置の動作を示す動作説明図であり、図のように、要求された時間区間の終端時刻から時間軸と逆方向に、配信装置１０ヘデータの配信を要求していき、このデータを受信および蓄積しつつ、再生装置２０ヘデータの配信を開始する。配信開始直後は、映像データの品質は落ちるかも知れないが、いずれは配信要求された映像品質で配信できるようになる。これにより，再生装置２０は、従来例と比べて良い品質で、映像データを受け取ることができる。
【００４０】
以上のように、この実施の形態８によれば、要求された時間区間の終端時刻から時間軸と逆方向に、配信装置１０ヘデータの配信を要求していき、このデータを受信および蓄積しつつ、再生装置２０ヘデータの配信を開始するので、従来例と比べて良い品質で、再生装置２０にデータを配信することができる。
【００４１】
実施の形態９．
実施の形態１の構成において、配信装置１０が、図２で示した保持領域１１を持たず、例えば、カメラからの入力を直接配信し、蓄積機能をキャッシュ装置３０で持たせるようなシステムの場合には、カメラで撮影した映像データをキャッシュ装置３０で設定したフレームレートまたは解像度で蓄積することができる。これにより、配信装置１０において、保持領域１１を持たなくても、一時的に映像データを記録することができる。
【００４２】
実施の形態１０．
図１３はこの発明の実施の形態１０によるキャッシュ装置の動作を示す動作説明図であり、この実施の形態１０では、キャッシュ装置３０の検索中継手段３１により、再生装置２０からの配信要求が無くても、インデックステーブル３５内の情報に基づいて一時記録領域３６に追加する時系列データを決定し、配信装置１０に要求するものである。
【００４３】
次に動作について説明する。
この実施の形態１０では、検索中継手段３１が、図１３（ｂ）においては、インデックステーブル３５内の時刻情報と属性情報によって定義された重要時刻を基に、重要時刻と重要時刻の狭間のデータ、あるいは周辺時刻におけるデータは、要求される可能性が高いと判断し、その時刻のデータ追加を行っている。また、図１３（ｃ）では、例えば、サッカーのゴールシーンのような特定の映像内容を基に、再生装置２０から要求されるデータを予想し、一時記録領域３６にデータを追加している。このように、あらかじめ配信が予想されるデータを一時記録領域３６に蓄積しておくことにより、再生装置２０がデータ配信を要求してから、データを受信するまでの待ち時間を少なくすることができる。また、配信装置１０とキャッシュ装置３０との伝送網の空き時間を利用して、予想したデータの配信を要求することにより、配信装置１０の負荷と、網の負荷を分散することができる。
【００４４】
以上のように、この実施の形態１０によれば、キャッシュ装置３０の検索中継手段３１により、再生装置２０からの配信要求が無くても、インデックステーブル３５内の情報に基づいて一時記録領域３６に追加する時系列データを決定し、配信装置１０に要求するので、再生装置２０がデータ配信を要求してから、データを受信するまでの待ち時間を少なくすることができる。また、配信装置１０の負荷と、網の負荷を分散することができる。
【００４５】
尚、実施の形態１から実施の形態９において、データの属性情報に時間の経過と共に減少していく重み係数を設け、必要に応じてデータの優先度にこの重み係数を乗算し、時刻の経過と共に優先度を落として、一時記録領域３６からデータを削除することにより、一時記録領域３６を節約でき、ヒット率を上げることができる。
また、実施の形態１から実施の形態１０では、映像データに限定して説明を行ったが、これらの例は、映像データのみを対象としたものではなく、計測データや制御データなど他の時系列データにも適用される。
【００４６】
【発明の効果】
以上のように、この発明によれば、時系列データを保持する保持領域と、要求された時間区間で上記保持領域に保持された時系列データを配信すると共に、それら各時系列データまたはそれら各時系列データの集合に時刻情報または属性情報を合わせて配信する配信処理手段とを有する配信装置と、再生したい上記時系列データの時間区間を指定した配信要求を発行するデータ要求手段と、上記時系列データを受信し再生する受信再生手段とを有する再生装置と、上記配信装置および上記再生装置に接続され、その配信装置から配信された時系列データを保持する一時記録領域と、上記一時記録領域に保持された各時系列データまたはそれら各時系列データの集合に関する時刻情報または属性情報、および優先度を記録したインデックステーブルと、上記再生装置からの配信要求に応じて上記インデックステーブルを参照し、その配信要求された時系列データが上記一時記録領域内に存在する場合は、その時系列データをその一時記録領域から読み出してその再生装置へ配信し、存在しない場合は、上記配信装置へ要求してその時系列データを受信しその再生装置へ中継する検索中継手段と、上記検索中継手段が受信した時系列データの時刻情報または属性情報に応じてそれら時系列データに優先度を設定する優先度設定手段と、上記優先度設定手段により設定された優先度に応じて受信した時系列データを上記一時記録領域に保持またはその一時記録領域から時系列データを削除すると共に上記インデックステーブルを更新する蓄積削除手段とを有するキャッシュ装置とを備えるように構成したので、優先度によって時系列データを記録しておき、再生装置からの要求に応じて時系列データを配信することにより、配信装置の負荷を低減すると同時に、配信装置とキャッシュ装置間の伝送路負荷を低減することができる効果がある。
また、この発明によれば、キャッシュ装置の優先度設定手段は、属性情報に基づいて、特定の時間区間における重要時刻を決定し、その重要時刻周辺の時系列データに高い優先度を与えるように構成したので、その重要時刻に応じた優先度によって時系列データを記録することにより、ある特定の時間区間の時系列データを優先的にキャッシュ装置に蓄積して、キャッシュ装置において記録されている時系列データの再利用回数を増やし、配信装置の負荷を低減すると同時に、配信装置とキャッシュ装置間の伝送路負荷を低減することができる効果がある。
【図面の簡単な説明】
【図１】 この発明の実施の形態１による時系列データ配信蓄積システムを示す構成図である。
【図２】 配信装置と再生装置の動作を示す動作説明図である。
【図３】 キャッシュ装置の動作を示す動作説明図である。
【図４】 時刻情報を基に優先度付けを行った場合を示す説明図である。
【図５】 この発明の実施の形態２によるフレームレートを基に優先度付けを行った場合を示す説明図である。
【図６】 この発明の実施の形態３による重要時刻を基に優先度付けを行った場合を示す説明図である。
【図７】 この発明の実施の形態５による再生装置からの配信要求の配信属性情報を基に優先度付けを行った場合を示す説明図である。
【図８】 この発明の実施の形態６による時系列データ配信蓄積システムを示す構成図である。
【図９】 従来例と実施の形態６との動作の違いを示す説明図である。
【図１０】 この発明の実施の形態６によるキャッシュ装置の動作を示す動作説明図である。
【図１１】 この発明の実施の形態７によるキャッシュ装置の動作を示す動作説明図である。
【図１２】 この発明の実施の形態８によるキャッシュ装置の動作を示す動作説明図である。
【図１３】 この発明の実施の形態１０によるキャッシュ装置の動作を示す動作説明図である。
【図１４】 従来の時系列データ蓄積配信システムを示す構成図である。
【符号の説明】
１０ 配信装置、１１ 保持領域、１２ 配信処理手段、２０ 再生装置、２１ データ要求手段、２２ 受信再生手段、３０ キャッシュ装置、３１ 検索中継手段、３２ 優先度設定手段、３３ 蓄積削除手段、３５ インデックステーブル、３６ 一時記録領域。
Claims (1)
- 時系列データを保持する保持領域と、要求された時間区間で上記保持領域に保持された時系列データを配信すると共に、それら各時系列データまたはそれら各時系列データの集合に時刻情報または属性情報を合わせて配信する配信処理手段とを有する配信装置と、再生したい上記時系列データの時間区間を指定した配信要求を発行するデータ要求手段と、上記時系列データを受信し再生する受信再生手段とを有する再生装置と、上記配信装置および上記再生装置に接続され、その配信装置から配信された時系列データを保持する一時記録領域と、上記一時記録領域に保持された各時系列データまたはそれら各時系列データの集合に関する時刻情報または属性情報、および優先度を記録したインデックステーブルと、上記再生装置からの配信要求に応じて上記インデックステーブルを参照し、その配信要求された時系列データが上記一時記録領域内に存在する場合は、その時系列データをその一時記録領域から読み出してその再生装置へ配信し、存在しない場合は、上記配信装置へ要求してその時系列データを受信しその再生装置へ中継する検索中継手段と、上記検索中継手段が受信した時系列データの時刻情報または属性情報に応じてそれら時系列データに優先度を設定する優先度設定手段と、上記優先度設定手段により設定された優先度に応じて受信した時系列データを上記一時記録領域に保持またはその一時記録領域から時系列データを削除すると共に上記インデックステーブルを更新する蓄積削除手段とを有するキャッシュ装置とを備え、
上記キャッシュ装置の上記優先度設定手段は、属性情報に基づいて、特定の時間区間における重要時刻を決定し、その重要時刻周辺の時系列データに高い優先度を与えることを特徴とする時系列データ蓄積配信システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP696799A JP4270623B2 (ja) | 1999-01-13 | 1999-01-13 | 時系列データ蓄積配信システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP696799A JP4270623B2 (ja) | 1999-01-13 | 1999-01-13 | 時系列データ蓄積配信システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000209258A JP2000209258A (ja) | 2000-07-28 |
| JP4270623B2 true JP4270623B2 (ja) | 2009-06-03 |
Family
ID=11652985
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP696799A Expired - Lifetime JP4270623B2 (ja) | 1999-01-13 | 1999-01-13 | 時系列データ蓄積配信システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4270623B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018014711A1 (zh) * | 2016-07-19 | 2018-01-25 | 杭州海康威视数字技术股份有限公司 | 一种录像播放方法及装置 |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7006099B2 (en) | 2000-08-15 | 2006-02-28 | Aware, Inc. | Cache system and method for generating uncached objects from cached and stored object components |
| JP4505977B2 (ja) * | 2000-11-10 | 2010-07-21 | ソニー株式会社 | データ蓄積装置およびその方法、ならびに記録媒体 |
| US7697815B2 (en) | 2001-02-28 | 2010-04-13 | Kddi Corporation | Video playback unit, video delivery unit and recording medium |
| JP4667639B2 (ja) * | 2001-05-10 | 2011-04-13 | パナソニック株式会社 | 映像プロクシサーバ |
| JP2003046969A (ja) * | 2001-07-30 | 2003-02-14 | Sony Corp | 情報処理装置および方法、記録媒体、並びにプログラム |
| JP4934922B2 (ja) * | 2001-07-30 | 2012-05-23 | ソニー株式会社 | 情報処理装置および方法、記録媒体、並びにプログラム |
| JP4150951B2 (ja) * | 2002-02-19 | 2008-09-17 | ソニー株式会社 | 動画配信システム、動画配信装置および方法、並びにプログラム |
| US20040190607A1 (en) * | 2002-04-03 | 2004-09-30 | Koji Wakimoto | Video relay device, video distribution system, video relay method |
| JP4718122B2 (ja) | 2004-04-06 | 2011-07-06 | 株式会社日立製作所 | メディア配信装置 |
| JP4773770B2 (ja) * | 2005-08-18 | 2011-09-14 | 株式会社リコー | 画像処理システム、画像処理方法、プログラムおよび記録媒体 |
| JPWO2009119394A1 (ja) * | 2008-03-28 | 2011-07-21 | 日本電気株式会社 | 映像取得方法、映像取得装置、映像取得システム及び映像取得用プログラム |
| JP2008282428A (ja) * | 2008-08-11 | 2008-11-20 | Murata Mach Ltd | コンテンツデータ提供装置およびネットワークシステム |
| JP5188348B2 (ja) * | 2008-09-25 | 2013-04-24 | 三菱電機株式会社 | データアクセス装置 |
| US20110238927A1 (en) * | 2008-11-21 | 2011-09-29 | Hiroyuki Hatano | Contents distribution device , contents distribution control method, contents distribution control program and cache control device |
| EP2653971A1 (en) * | 2010-12-13 | 2013-10-23 | Nec Corporation | Data management device, system, program, and method |
| EP2487609A1 (en) * | 2011-02-07 | 2012-08-15 | Alcatel Lucent | A cache manager for segmented multimedia and corresponding method for cache management |
| JP5348167B2 (ja) * | 2011-03-30 | 2013-11-20 | ブラザー工業株式会社 | 情報処理装置、情報処理方法及びプログラム |
| WO2013070228A2 (en) | 2011-11-10 | 2013-05-16 | Empire Technology Development, Llc | Speculative rendering using historical player data |
| US9313083B2 (en) | 2011-12-09 | 2016-04-12 | Empire Technology Development Llc | Predictive caching of game content data |
-
1999
- 1999-01-13 JP JP696799A patent/JP4270623B2/ja not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018014711A1 (zh) * | 2016-07-19 | 2018-01-25 | 杭州海康威视数字技术股份有限公司 | 一种录像播放方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000209258A (ja) | 2000-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4270623B2 (ja) | 時系列データ蓄積配信システム | |
| US7433576B2 (en) | Video data recording/reproducing apparatus and video data management method for use in the same | |
| US6108728A (en) | Continuous recording system, method, and recording medium recording continuous recording program and capable of being read by computer | |
| US8015586B2 (en) | Image display method, image display device, and image display program | |
| DE602004007199T2 (de) | Aufzeichnungs- und Wiedergabesystem und -verfahren für Videodaten mit einer Aufnahmepositionsinformation | |
| JP2005151546A (ja) | マルチメディアデータ記録装置、モニタシステム、およびマルチメディアデータ記録方法 | |
| CN1417791A (zh) | 带有网络接口的个人录像机 | |
| JP2003134435A (ja) | 映像データ送信方法及び映像データ受信方法、並びに映像監視システム | |
| CN102244774A (zh) | 具有直接数据库服务存储器的监视*** | |
| KR20040103418A (ko) | 순환기록장치 및 화상축적배신시스템 | |
| JP3490298B2 (ja) | 連続映像の記録・再生装置 | |
| JP3374355B2 (ja) | 映像管理表示装置 | |
| EP0786718A2 (en) | Device for distributing data in response to a plurality of requests for the same file | |
| US20030053792A1 (en) | Management of digital memory during playback of moving images | |
| JPWO2003084225A1 (ja) | 映像中継装置及び映像配信システム及び映像中継方法 | |
| US20060104607A1 (en) | Apparatus and method of storing video data | |
| JP2011130106A (ja) | 記録装置及び記録方法 | |
| WO2008129544A1 (en) | A novel interface for previewing records of a network video recorder | |
| US8401374B2 (en) | Apparatus and method of managing data stored in a data storage unit to ensure a storage space | |
| EP1777959A1 (en) | System and method for capturing audio/video material | |
| JP2008271016A (ja) | 映像監視装置 | |
| JP4438945B2 (ja) | 監視システム | |
| US9253432B2 (en) | Information processing system, recording apparatus, portable device, information processing method, and program | |
| JP2006139682A (ja) | 映像検索システム、映像検索方法及びプログラム | |
| JP3098491B2 (ja) | ライブ再生装置，これを用いたビデオサーバおよびライブ再生プログラムを記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051018 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070906 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070925 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071119 Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20071119 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071119 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071119 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080603 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080709 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080804 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090203 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090224 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120306 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120306 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130306 Year of fee payment: 4 |