JP2004015600A - System for storing/distributing image and method for controlling server device of the system - Google Patents

System for storing/distributing image and method for controlling server device of the system Download PDF

Info

Publication number
JP2004015600A
JP2004015600A JP2002168267A JP2002168267A JP2004015600A JP 2004015600 A JP2004015600 A JP 2004015600A JP 2002168267 A JP2002168267 A JP 2002168267A JP 2002168267 A JP2002168267 A JP 2002168267A JP 2004015600 A JP2004015600 A JP 2004015600A
Authority
JP
Japan
Prior art keywords
image data
image
time
server
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002168267A
Other languages
Japanese (ja)
Inventor
Noboru Kudo
工藤　昇
Atsushi Masuko
益子　淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Advanced Digital Inc
Original Assignee
Hitachi Advanced Digital Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Advanced Digital Inc filed Critical Hitachi Advanced Digital Inc
Priority to JP2002168267A priority Critical patent/JP2004015600A/en
Publication of JP2004015600A publication Critical patent/JP2004015600A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image storage/distribution system using an image server that stores image data (motion JPEG, etc.) with visibility in one frame unit, which is transmitted from a camera device provided with a communication function connected to a network and then distributes the image data to a user device at a fixed reproducing speed without depending on a network transmission speed. <P>SOLUTION: An image server 201 receives the image data with visibility in frame units from a camera 101 and stores the image data in a storing part 202 while a time relation specifying means 203 keeps a received time relation. When the image data is requested from terminal devices 211 and 213, a transmission synchronizing means 204 reproduces the same time interval as that of recording the image data, and the image data is transmitted from the image server 201 to each of the user terminal devices. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明が属する技術分野】
本発明はネットワークを介して、カメラなどの画像取得装置によって撮影された画像データをサーバに蓄積し、それを遠隔地にあるクライアント端末へネットワークを介して配信する画像蓄積及び画像配信システム並びにこれに用いられるサーバ装置の制御方法に関するものである。
【０００２】
【従来の技術】
図５は、インターネット等の通信ネットワークを介して、動画配信をするための画像配信システムの一例を示すものである。同図において５０１は画像を撮影し画像データを作成し、ネットワークを介してサーバと通信する機能を持つカメラ、５０２は通信回線５０４から取得した画像データを通信回線５０５へ送出・配信する機能を有するサーバ、５０３は画像データを表示するクライアント端末である。
【０００３】本システムにおいてはカメラ５０１が自発的に画像データをサーバ５０２へ送出する。サーバ５０２はこれをクライアント端末５０３へ送出する。これによりカメラ５０１の画像がクライアント端末５０３に表示される。
【０００４】特に図５におけるサーバ５０２とクライアント端末５０３間における伝送速度が遅い場合について、サーバ５０２からクライアント端末５０３へ向けて画像を配信した時点とその画像によってクライアント端末５０３からデータの受信を確認する信号がサーバに返信されるまでの時間を用いてネットワークの混雑程度を類推することによって、画像の間引き処置を施す動画配信技術が特開平１０−４２１８５号公報によって既に知られている。
【０００５】
【発明が解決しようとする課題】
しかしながら上記の技術では、カメラで撮影した画像をクライアント端末へリアルタイムに配信する方式については述べているが、カメラから送られてきた動画像をサーバ内に蓄積した後、その蓄積画像を実時間と同期させてクライアント端末へ向けて動画配信する事に関しては、全く触れてはいない。
【０００６】つまり、通信回線５０４の伝送速度が通信回線５０５より低速な場合、カメラ５０１からサーバ５０２へ例えば１０秒を必要として送った１０秒分の画像データが、サーバ５０２からクライアント端末５０３へは１０秒よりも短い時間で送られてしまい、その結果クライアント端末５０３では１０秒よりも短い時間で表示されてしまう問題がある。同様に通信速度が逆の場合は、１０秒よりも長い時間で表示されてしまい、結局カメラ５０１で撮影した際の時間関係を保つのは困難である。
【０００７】さらに、従来の方式では、通信回線５０４、５０５の伝送速度が一定しないベストエフォート形となる場合について述べていない。仮に、通信回線５０５の伝送速度が通信回線５０４より低速でかつ伝送速度が一定だったとしても、通信回線５０４の伝送速度が一定しない場合、カメラ５０１からサーバ５０２へ送られる画像データの伝送速度が一定しないため動画像内各フレーム間の時間間隔は一定しない事になる。そのため、これをクライアント端末５０３で表示しても時間間隔が一定しないぎくしゃくした動画となってしまう。逆に通信回線５０４の伝送速度が一定でも、通信回線５０５の伝送速度が一定でなければ、やはり同様にぎくしゃくした画像になってしまう。
【０００８】このような課題を解決するために本発明では、カメラ装置と画像サーバ間および画像サーバとクライアント端末装置間における通信網の伝送速度が異なる場合、及び各通信網の伝送速度が一定か否かに関わらず、カメラから画像サーバに転送した時間関係を保ったままで画像データをクライアント端末へ配信ができる画像蓄積・配信システムを提供することを目的とする。
【０００９】また同様にカメラで撮影して画像サーバに蓄積した画像データについて、カメラから画像サーバに転送した時間関係を保ったままで画像データをクライアント端末へ配信ができる画像蓄積・配信システムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記の目的を達成するため請求項１の発明では、フレーム単位で可視性のある連続する画像データをネットワークへ送出する画像送出装置と、ネットワークを介して該画像データを受信し記憶する記憶装置を備えるサーバ装置と、該サーバ装置に対してネットワークを介して該画像データの送出を要求し該サーバ装置から該画像データを受信して表示する手段を備えた端末装置とからなる画像蓄積・配信システムであって、該サーバ装置は、連続する該画像データについて各フレーム相互の時間関係を特定する時刻関係特定手段と記憶部を備え、該時刻関係特定手段による時刻関係特定情報を該画像データと合わせて該記憶部に格納し、該端末装置から該サーバ装置に画像送出要求があった場合、該記憶部に格納されている該時刻関係特定情報に基づき該画像データの送出時刻および送出する該画像データを調整する送出同期手段を備えたことを特徴としている。
【００１１】また請求項２の発明では、請求項１の画像蓄積・配信システムであって、該時刻関係特定手段は、各フレーム単位の連続する該画像データの受信時刻によって各フレーム画像データ相互の時間関係を特定するものであることを特徴としている。
【００１２】また請求項３の発明では、請求項１の画像蓄積・配信システムであって、該サーバ装置は、各フレーム単位の連続する画像データの受信時刻を時刻関係特定情報として該画像データの各ファイル名に適用することを特徴としている。
【００１３】また請求項４の発明では、請求項１から３記載の画像蓄積・配信システムであって、該送出同期手段は、該端末装置から２枚目のフレーム以降の画像データ送出要求があった場合、２枚目以降のフレーム画像データ送出要求を受けた各時刻と１枚目のフレーム画像データを送出した時刻の差分と、該記憶部に格納した該時刻関係特定情報により１枚目のフレーム画像データを受信した時刻と送出要求を受けたフレーム画像データおよび該フレーム画像データに連続する画像データを受信した各時刻の差分を比較演算し、該サーバ装置が受信した時間間隔にて該端末装置で各画像データが再生されるように送出する該画像データおよび該画像データを送出する時刻を調整することを特徴としている。
【００１４】また請求項５の発明では、フレーム単位で可視性のある連続する画像データを撮影しネットワークへ送出する画像送出装置と、ネットワークを介して該画像データを受信し記憶する記憶装置を備えるサーバ装置と、該サーバ装置に対してネットワークを介して該画像データの送出を要求し該サーバから該画像データを受信して表示する手段を備えた端末装置とからなる画像蓄積・配信システムの画像サーバ装置の制御方法であって、該画像送出装置からネットワークを介して受信したフレーム単位の該画像データを受信した時刻を特定する情報を各画像データと関連付けして記憶部に格納するステップと、一連の該画像データについて画像サーバが受信した順番に特定する番号を設定するステップと、該番号に割当てるように該端末装置からのフレーム単位の要求信号に基づき該記憶部から読み出して一時保存するステップと、前記一連の各画像データについて画像サーバが受信した時刻を特定する情報を相互に比較するステップと、
該端末装置から受信した一連のフレーム単位の画像データに係る要求信号について受信した時刻を特定する情報と、最初に要求着信して端末装置へ送出した画像データの送出時刻とを相互に比較するステップと、前記各比較データに基づき、該画像サーバが一連の該画像データを受信した時間間隔と略等しい時間間隔にて該端末装置で該画像データが表示されるように、該画像サーバが送信する画像データについて該画像データを特定する番号を用いて調整し、合わせて該画像データを送出する時刻を調整するステップとを備えたことを特徴としている。
【００１５】
【発明の実施の形態】
図１は本発明に係る一実施形態の構成を示す図である。図１において１０１は通信網に接続しフレーム単位で可視性のある連続する画像データを撮影可能な機能を備える画像送出装置としてのカメラ、１０４はカメラと画像サーバを接続する通信回線、２０１は本発明に係る手段を内包した画像サーバで、その内部に記憶装置２０２、時刻関係特定手段２０３、及び送出同期手段２０４を含んで構成する。２１０は画像サーバ２０１の配信側通信回線、２１１は低速通信端末装置で、例えば公衆電話回線などの比較的低速な通信回線２１２に接続される。また２１３は高速通信端末装置で、ＡＤＳＬ（ａｓｙｍｍｅｔｒｉｃ　ｄｉｇｉｔａｌ　ｓｕｂｓｃｒｉｂｅｒ　ｌｉｎｅ）などの比較的高速な通信回線２１４に接続される。各通信回線１０４、２１２、２１４はベストエフォート形の通信回線で必ずしも常時一定の伝送速度は保証されないものとする。２１５はインターネット網である。
【００１６】同図においてカメラ１０１から動画像データが画像サーバ２０１へ送られる場合の動作を説明する。カメラ１０１から送られてくる動画像データはフレーム間相関のない、１フレーム単位で可視性のある圧縮されたいわゆるモーションＪＰＥＧ形式である。カメラ１０１からモーションＪＰＥＧ形式の画像データが画像サーバ２０１へ送られると、時刻特定手段２０３にて動画像データを構成する各フレーム画像データを受信した時刻をファイル名称としたフレーム単位のファイルを作成し、記憶装置２０２へ格納する。
【００１７】例えば西暦２００２年３月１日９時１０分１０秒に受信した画像フレームデータは「２００２０３０１０９１０１０．ｊｐｇ」とファイル名がつけられて、その画像フレームデータが記憶装置２０２へ格納される。これに続けて受信した画像フレームデータが西暦２００２年３月１日９時１０分１１秒であれば、そのデータは「２００２０３０１０９１０１１．ｊｐｇ」とファイル名をつけて格納する。同様に引き続き送られてくる各フレームはその受信時刻をファイル名としてデータを格納することにより、画像サーバがカメラから動画像を構成する各画像フレームデータを受信した時刻を受信時刻情報として特定できることになる。なお図示した範囲では「２００２０３０１０９１０１０．ｊｐｇ」から「２００２０３０１０９１０１７．ｊｐｇ」まで６枚のＪＰＥＧ画像を受信している。ここで通信回線１０４はベストエフォート形のため、送られてくる間隔は必ずしも一定せず、したがって時刻を表すファイル名も、常に一定の時間間隔となるわけではない。
【００１８】次に時刻特定手段の一実施形態について図２を用いて説明する。同図において２２１は時刻計時領域、２２２は画像データ受信時刻保存領域、２２３はファイル名設定手段である。なお各図において前出の図面と同一部分には同一符号を付してある。
一例として時刻特定手段は図示しないが画像サーバのＣＰＵに付属ないし接続する半導体メモリとして実現することができる。本図では前記半導体メモリの内部において時刻計時領域２２１と画像データ受信時刻保存領域２２２とファイル名設定手段２２３を備えるものである。
【００１９】時刻計時領域２２１は常に現在時刻を計時するデータ領域である。画像サーバを運用する地域の標準時間情報を出力可能な計時装置から時刻情報を得ても良いし、画像サーバの基本ソフトにおける計時演算領域から時刻情報を得ても良い。また当該時刻情報は画像サーバ起動時に、時刻情報を書き込み、以降経過時間を加算し時刻計時領域に保存しても良い。
【００２０】画像データ受信時刻保存領域２２２は、画像サーバがカメラから１フレームの画像データを受信したタイミング情報を得たとき、同時に前記時刻計時領域から時刻情報を得て一時保存するものである。
【００２１】ファイル名設定手段２２３は画像データ受信時刻保存領域に保存した時刻情報を参照して当該１フレームの画像データにファイル名称を自動的に設定するものである。受信時刻保存領域に保存した時刻情報をファイル名称として設定した画像データは、画像サーバ内の記憶部へ転送し蓄積する。このとき各フレーム画像データをカメラが設定したファイル名称や一時的なファイル名称を設定して記憶部に保存した後、受信時刻保存領域に保存した時刻情報を参照してファイル名称を書き換えるようにしても良い。
【００２２】またカメラから送出される画像データのサイズ、解像度、転送速度などの条件によりさらに１秒間あたりのフレーム画像データを増加させる必要がある場合、ファイル名はさらに細かく１０分の１秒単位もしくはそれ以下の時刻情報を時刻計時領域で設定すればよい。
なお記憶部２０２は不揮発性メモリやハードディスク装置により実現できる。
【００２３】前述の図１においては、低速型端末装置２１１で画像サーバ内の６枚のＪＰＥＧ画像を動画として見る場合、最初の画像データの送信要求を画像サーバ２０１へ送る。同様に高速型端末装置２１３で動画を見る場合も最初の画像データの送信要求を画像サーバ２０１へ送る。各端末からの送信要求は各通信回線やインターネット網を介して画像サーバへ送信される。
【００２４】次に送出同期手段について説明する。送出同期手段は、ユーザ端末装置から画像データ送出要求があった場合、所定の演算処理により、サーバ装置が受信した時間間隔に準じて端末装置で各画像データが再生されるように送出する画像データと該当する画像データ送出する時刻を調整するように動作する。
【００２５】次に送出同期手段の一実施形態について図３を用いて説明する。同図（ａ）において２３０は送出同期制御手段、２３１は時刻計時領域、２３２は画像ポインタ・カウンタ領域、２３３はポインタ退避領域、２３４は画像データ送信要求受信時刻領域、２３５は画像ポインタに割当てた画像データの受信時刻領域、２３６は一時記憶領域、２３７は演算処理領域、２３８は通信部、２４０は基点Ａ、２４０は基点Ｂである。なお同図において前出の図面と同一部分には同一符号を付してある。
【００２６】送出同期手段２０４は大別して送出同期手段全体を制御する送出同期制御部２３０と各ユーザ端末と通信回線等を介してデータ通信を行なう通信部２３８とからなる。一例として送出同期制御部２３０は図示しないが画像サーバのＣＰＵに付属ないし接続する半導体メモリとして実現することができる。本図では前記半導体メモリの内部において、時刻計時領域２３１、画像ポインタ・カウンタ領域２３２、ポインタ退避領域２３３、画像データ送信要求受信時刻領域２３４、画像ポインタに割当てた画像データの受信時刻領域２３５、一時記憶領域２３６、演算処理領域２３７とを備えるものである。
【００２７】通信部２３８は各ユーザ端末ないしインターネット網と接続する各種通信回線および送出同期手段２０４等サーバ内部の制御等に対応するインタフェースを備える通信カードなどで実現できる。
【００２８】時刻計時領域２３１は常に現在時刻を計時するデータ領域である。画像サーバを運用する地域の標準時間情報を出力可能な計時装置から時刻情報を得ても良いし、画像サーバの基本ソフトにおける計時演算領域から時刻情報を得ても良い。また当該時刻情報は画像サーバ起動時に、時刻情報を書き込み、以降経過時間を加算し時刻計時領域に保存しても良い。
【００２９】画像ポインタ・カウンタ領域２３２は、画像サーバが端末装置から画像データの送出を要求する信号の着信を受けて初期化され、例えば１を設定し、この番号に対応する画像データを管理する番号として使用し、以降１づつ同ポインタを繰り上げて同ポインタの順番に対応するフレーム単位の画像データを特定するのに用いる。
【００３０】ポインタ退避領域２３３は、送出同期手段の各制御段階における時点毎の画像ポインタ値を一時格納する領域であり、演算過程においてポインタ退避領域を参照して適宜該当する画像データに係る端末装置からの要求信号の着信時刻や画像サーバの受信時刻を参照ないし読み出すため、または送信すべき画像データを特定するために用いる。
【００３１】画像データ送信要求受信時刻領域２３４は、画像サーバが端末装置より２枚目以降の画像データ送出を要求する信号を着信した時刻を格納する。但し、所定の演算処理により当該画像ポインタに割当てられた画像データの送出が終了した後に初期化され、次に画像サーバが端末装置より画像データ送出を要求する信号を着信した時刻を改めて格納する。
【００３２】画像ポインタに割当てた画像データの受信時刻領域２３５は、ポインタ退避領域に格納した画像ポインタに割当てた画像データを画像サーバが受信した時刻を格納する領域である。但し、所定の演算処理により当該画像ポインタに割当てられた画像データの送出が終了した後に初期化され、画像ポインタを１繰り上げて該当する画像データを画像サーバが受信した受信時刻を改めて格納する。
【００３３】一時記憶領域２３６は、少なくとも一連の画像データを送信し終えるまでの演算処理に用いる基本となる時刻情報を常に記憶する領域である。一時記憶領域には、最初の画像データを端末装置へ送出した時刻を基点Ａ２４０として、画像サーバが最初の画像データを受信した時刻を基点Ｂ２４１として、各々格納する。
【００３４】演算処理領域２３７は、上記画像データ送信要求受信時刻領域２３４、画像ポインタに割当てた画像データの受信時刻領域２３５、一時記憶領域２３６中の基点Ａ２４０および基点Ｂ２４１に各々格納した時刻データを読み出して所定の演算を行ない、この演算結果に基づき画像データ送出処理を行なう。
【００３５】演算処理領域の所定の演算とは、端末装置の要求により１枚目のフレーム画像データを送出した後、送出同期手段がユーザ端末装置から２枚目以降のフレーム画像データに係る送出要求があった場合、２枚目以降のフレーム画像データ送出要求を受けた各時刻と１枚目のフレーム画像データを送出した時刻の差分と、記憶部に格納した時刻関係特定情報により１枚目のフレーム画像データを受信した時刻と送出要求を受けたフレーム画像データおよびフレーム画像データに連続する画像データを受信した各時刻の差分を比較演算し、サーバ装置が受信した時間間隔に準じて端末装置で各画像データが再生されるように送出する画像データおよび該当する画像データ送出する時刻を調整するように制御するものである。
【００３６】図３（ｂ）は画像データテーブルであり、サーバ装置の記憶部に蓄積された画像データのなかから、送信要求された一連の画像データを読出して、フレーム単位で画像ポインタ毎に対応させ配列したものである。同図において画像ポインタ１から順番に同ポインタ毎に画像フレーム単位で割当て、各画像データのファイル名称と、前記画像ファイル名称より読み出した各画像データの受信時刻と、各画像ポインタの画像データ受信時刻から１フレーム前の画像データを受信した時刻との差分による時間間隔とを示している。このような画像データテーブルを一時記憶領域等に作成して、既存データを整理しておき演算処理してもよい。
【００３７】次に画像サーバ２０１内における送出同期手段２０４の制御動作について図４を用いて説明する。図４は送出同期手段２０４の動作を表す問題分析図：ＰＡＤ図（ＩＳＯ８６３１）である。
【００３８】先ず送出同期手段２０４では、ユーザ端末から画像サーバ宛てに発信される画像送信を要求する要求信号を受信したか否かを判定する。（ステップ１＝Ｓ１、以下ステップはＳと略す）要求信号を着信した場合、（Ｓ３）へ進む。もし受信していなければ（Ｓ２）へ進む。
（Ｓ２）は要求待ちのループであり、再度（Ｓ１）の処理へ戻り同様の判定を行なう。もし要求信号の着信が無ければこのループを繰り返す。
【００３９】要求信号を着信すると、送出すべき画像ファイルを特定するための画像ポインタを初期化し、要求信号に基づき一連の画像データの中から最初のフレームに相当する画像データを記憶部２０２から読出し、画像ポインタ番号に割当てるように設定する。（Ｓ３）
【００４０】次に画像ポインタにより指定した画像データ、すなわち一連の画像データの中から最初のフレームに相当する画像データをユーザ端末宛てに送出する。（Ｓ４）
ここで１枚目の画像を送出した時刻＝Ｓ４の処理時刻を基点Ａとして記憶する。（Ｓ５）
【００４１】さらに送出した最初の画像のファイル名から得られる画像サーバが同ファイルを受信した時刻を基点Ｂとして記憶する。（Ｓ６）
次に画像ポインタを１つ進め、一連の画像データの中から第２番目のフレーム画像データを読出して割当てるように設定する。（Ｓ７）
【００４２】次に（Ｓ９）から（Ｓ２０）の処理を所定の条件により反復する（Ｓ８）へ進む。ここでは（Ｓ１６）で当該画像ポインタが存在する場合、（Ｓ１７）へ進み、（Ｓ８）へと回帰する。（Ｓ１６）で当該画像ポインタが存在しない場合、言い換えれば端末からの要求に基づく一連の画像データを送信し終えた場合（Ｓ２０）へ進み、処理を終了する。
【００４３】以下に（Ｓ９）から（Ｓ２０）の処理を説明する。
次に再度端末から次の画像要求を待ち受ける状態に入り（Ｓ９）、次の要求信号を受信していなければ（Ｓ１０）へ進む。
（Ｓ１０）は要求待ちのループであり、再度（Ｓ９）の処理へ戻り同様の判定を行なう。もし要求信号の着信が無ければこのループを繰り返す。
【００４４】次の要求信号を着信する（Ｓ９）と要求信号の着信時刻をデータとして保存し（図示せず）、現在の画像ポインタ（ここでは第２番目）に割当てられたフレーム画像データの送出処理の準備に入る。
【００４５】１枚目の画像データを送出した時刻（基点Ａ）から次の要求を受けた時刻までの経過時間と、１枚目の画像データを記憶部に保存した時刻（基点Ｂ）から現在、画像ポインタに割当てた画像データを記憶部に保存した時刻（ここでは２枚目の画像データを記憶部に保存した時刻）までの経過時間を比較する。（Ｓ１１）
【００４６】もし端末側が低速な通信回線を使用している場合、画像サーバが２枚目の要求信号を受信した時点において、カメラから受信し記憶部に保存した画像データの１枚目の受信時刻と２枚目の受信時刻との差分時間を超過することが想定される。図１に示す事例においては、１枚目から起算して２枚目の着信時間差は１秒、１枚目から起算して３枚目の着信時間差は３秒、１枚目から起算して４枚目の着信時間差は５秒と仮定している。
【００４７】もし端末からの２枚目の要求が１枚目の送出から４秒後だとすると、（Ｓ１１）の「次の要求着信時刻」−「基点Ａ」が４秒であり、これに対して「現在（ここでは２枚目）の画像ポインタの受信時刻」−「基点Ｂ」が１秒であり、両者を比較演算して「次の要求着信時刻」−「基点Ａ」が大きいので、処理１（Ｓ１２）に分岐し進む。
【００４８】この事例では１枚目送出後すでに４秒経過しているので、画像サーバから端末へ単純に２枚目のフレーム画像データ（１秒後）を送ると低速な通信回線によりカメラから記録したタイミングに較べて間延びしたタイミングで再生されてしまう。そこで、ユーザ端末側でカメラから記録したタイミングを再現するために、低速な通信回線を考慮し、不要な画像は間引いて直近の画像を送るべくその検索を行なう。
【００４９】すなわち、「次の要求着信時刻」−「基点Ａ」の時間と、「現在（ここでは２枚目）の画像ポインタの受信時刻」−「基点Ｂ」を比較演算して「次の要求着信時刻」−「基点Ａ」が大きい場合、（Ｓ１３）に進み現在の画像ポインタを１進めてもう一度（Ｓ１２）の演算を行なう。（Ｓ１２）の不等式が成立するまで（Ｓ１３）を繰り返す。この事例では端末からの２枚目の要求が１枚目の送出から４秒後だとするので、画像ポインタを１進めながら演算を行い最初の画像データから４秒以上経過して受信した画像データを検索し、画像ポインタを４まで進める。
【００５０】つぎに４秒を超えない直近の画像データを見つけるため画像ポインタを１つ戻し、当該画像データを読み出す。（Ｓ１４）上述の例では画像ポインタ＝３（３枚目の画像データ）がそれに相当する。
【００５１】つぎに（Ｓ１４）の時の画像ポインタ、画像ポインタ＝３の画像データを端末へ送出する。（Ｓ１５）
さらに当該画像データが一連の画像データのうち最終フレーム画像データか否かの判断を行なう。（Ｓ１６）
【００５２】（Ｓ１６）では例えば、画像ポインタを１繰り上げて該当する画像ファイルが、要求された一連の画像データについて図３（ｂ）のような画像データテーブルないし記憶部に存在するか否かを判定する。あるいは画像ファイル名＝画像受信時刻が比較的規則的に並んでいる場合、記憶部に格納した画像データのファイル名から時刻情報を参照して演算を行ない連続する画像が存在するか想定しても良い。
【００５３】もし最終フレーム画像データでなければ画像ポインタを１つ進めて（Ｓ１７）、前述のように次の画像要求を待つ。（Ｓ９）このように端末側が低速な場合は、ユーザ端末から要求信号を着信した時刻を元に常に直近の画像を送出することができる。
また逆に端末側が高速な通信回線を使用している場合について以下説明する。この場合、２枚目以降の画像データ送信要求が、蓄積してある各フレーム画像データの時間間隔よりも短い間隔で来ることになる。よって、（Ｓ１０）までの処理は低速の場合と同じであるが、ユーザ端末から２枚目の画像要求が来た時点では、２枚目までの時間間隔である１秒経過していないと想定される。よって、（Ｓ１１）の判定式により判断して（Ｓ１８）へ分岐して進む。
【００５４】（Ｓ１８）ではカメラから受信し記憶部に保存した画像データの１枚目の受信時刻と２枚目の受信時刻との差分時間＝１秒以上経過するまで時間待ちの処理を行なう。
【００５５】もし上記差分時間が１秒に満たない場合、（Ｓ１９）のループ処理を行なう。（Ｓ１９）では設定した時間間隔が経過するまでカウントし、（Ｓ１８）へ戻す。例えば、数十ミリ秒をカウントした後（Ｓ１８）の処理を再度行ない、上記差分時間が１秒以上になるまで演算を繰り返す。
【００５６】（Ｓ１８）と（Ｓ１９）の処理により約１秒経過して後、ここでは（Ｓ７）における画像ポインタである画像ポインタ２の２枚目の画像データを送出することになる。（Ｓ１５）
【００５７】以降の処理は低速の場合と同様であり、一連の画像データを端末からの要求に応じて自動的に送信し、最後の画像フレームまで送信し終えたら（Ｓ２０）を経て終了する。
【００５８】以上の処理により、端末側が高速な場合でも、必要な時間待ちの処理を行うことで対応できる。これらの動作により、画像を記録する速度に対して低速な場合、及び高速な場合どちらに対しても、記録した時間と同じ時間をかけてサーバから送出することが可能になる。
【００５９】さらに、記録側、配信側ともに回線速度が一定でなくても、記録側の時刻に同期した形での送出が可能であり、記録中、送出中に回線速度が変化する可能性のあるベストエフォート形に対しても、それに見合った送出ができることになる。
また一度本発明の画像サーバに一連の画像データをフレーム単位で蓄積すれば、ユーザ端末において画像を記録した速度に対応した適切なタイミングにて画像を再生することができる。
【００６０】なお以上の例では時刻関係特定手段２０３として、記録する際の時刻をファイル名とする例で説明したが、これに限るものではない。例えば、ファイル名は任意とし、それを記録時刻と関係付けたデータベースによって管理することや、ファイル名と記録時刻を対応付けるファイルを別途設けることなどによっても実現できることは言うまでもない。
【００６１】また画像データとしてモーションＪＰＥＧを例に説明したが、圧縮されている必要はなく、フレーム相関のない、フレーム単位で可視性のある形式の画像データであれば本発明が適用可能であることも言うまでもない。
【００６２】
【発明の効果】
以上説明したように、本発明によれば、カメラ装置と画像サーバ間及び画像サーバとクライアント端末装置間を各々接続するネットワークの伝送速度が相違したり一定か否かに関わらず、クライアント端末装置においてカメラから画像サーバに転送したタイミングに応じた動画再生が可能な画像蓄積・配信システムを提供できる。
【００６３】また同様にカメラで撮影して画像サーバに蓄積した画像データについて、カメラから画像サーバに転送した時間関係を保ったままで画像データをクライアント端末へ配信が可能な画像蓄積・配信システムを提供できる。
【００６４】
【図面の簡単な説明】
【図１】本発明による動画配信サーバ・システムの一実施形態を示すブロック図
【図２】本発明による時刻特定手段の一実施形態を示すブロック図
【図３】本発明による送出同期手段の一実施形態を示すブロック図
【図４】送出同期手段の制御動作を説明するＰＡＤ図
【図５】従来の動画配信システム構成図
【符号の説明】
１０１…カメラ、１０４…通信回線、２０１…画像サーバ、２０２…記憶部、２０３…時刻特定手段、２０４…送出同期手段、２１０…通信回線、２１１…通信端末（低速型）、２１２…通信回線（低速型）、２１３…通信端末（高速型）、２１４…通信回線（高速型）、２１５…インターネット網、２２１…時刻計時領域、２２２…画像データ受信時刻領域、２２３…ファイル名設定領域、２３０…送出同期制御手段、２３１…時刻計時領域、２３２…画像ポインタ・カウンタ領域、２３３…ポインタ退避領域、２３４…画像データ送信要求受信時刻領域、２３５…画像ポインタに割当てた画像データの受信時刻領域、２３６…一時記憶領域、２３７…演算処理領域、２３８…通信部、２４０…基点Ａ、２４０…基点Ｂ、５０１…カメラ、５０２…画像サーバ、５０３…クライアント端末、５０４、５０５…通信回線[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image storage and image distribution system for storing image data captured by an image acquisition device such as a camera in a server via a network, and distributing the image data to a client terminal at a remote location via the network, The present invention relates to a method for controlling a server device used.
[0002]
[Prior art]
FIG. 5 shows an example of an image distribution system for distributing a moving image via a communication network such as the Internet. Referring to FIG. 5, reference numeral 501 denotes a camera having a function of capturing an image to generate image data and communicating with a server via a network; and 502, a function of transmitting and delivering image data obtained from the communication line 504 to the communication line 505. A server 503 is a client terminal that displays image data.
In this system, a camera 501 spontaneously sends image data to a server 502. The server 502 sends this to the client terminal 503. As a result, the image of the camera 501 is displayed on the client terminal 503.
In particular, in the case where the transmission speed between the server 502 and the client terminal 503 in FIG. 5 is low, the time when an image is distributed from the server 502 to the client terminal 503 and the reception of data from the client terminal 503 are confirmed based on the image. Japanese Patent Application Laid-Open No. H10-42185 has already disclosed a moving image distribution technique for performing thinning-out processing of an image by estimating the degree of network congestion using the time until a signal is returned to the server.
[0005]
[Problems to be solved by the invention]
However, in the above-mentioned technology, although a method of distributing an image captured by a camera to a client terminal in real time is described, after storing a moving image transmitted from a camera in a server, the stored image is stored in real time. There is no mention of synchronizing video distribution to client terminals.
In other words, when the transmission speed of the communication line 504 is lower than that of the communication line 505, image data for 10 seconds sent from the camera 501 to the server 502, for example, requiring 10 seconds, is transmitted from the server 502 to the client terminal 503. The message is sent in less than 10 seconds, and as a result, there is a problem that the message is displayed on the client terminal 503 in less than 10 seconds. Similarly, when the communication speed is reversed, the image is displayed in a time longer than 10 seconds, and it is difficult to maintain the time relationship when the image is taken by the camera 501 after all.
Further, the conventional system does not describe a case where the transmission speed of the communication lines 504 and 505 is a non-constant best effort type. Even if the transmission speed of the communication line 505 is lower than that of the communication line 504 and the transmission speed is constant, if the transmission speed of the communication line 504 is not constant, the transmission speed of the image data sent from the camera 501 to the server 502 is reduced. Since it is not constant, the time interval between each frame in the moving image is not constant. For this reason, even if this is displayed on the client terminal 503, the moving image becomes a jerky moving image whose time interval is not constant. Conversely, even if the transmission speed of the communication line 504 is constant, if the transmission speed of the communication line 505 is not constant, the image will be similarly jerky.
In order to solve such a problem, according to the present invention, when the transmission speed of a communication network between a camera device and an image server and between an image server and a client terminal device is different, and whether the transmission speed of each communication network is constant. It is an object of the present invention to provide an image storage / distribution system capable of distributing image data to a client terminal while maintaining a time relationship transferred from a camera to an image server regardless of whether or not the image data is transferred.
Also, an image storage / distribution system is provided which can distribute image data to a client terminal while maintaining the time relationship between the image data captured by the camera and stored in the image server while transferring the image data from the camera to the image server. The purpose is to:
[0010]
[Means for Solving the Problems]
In order to achieve the above object, according to the first aspect of the present invention, there is provided an image transmitting apparatus for transmitting continuous image data having visibility in frame units to a network, and a storage device for receiving and storing the image data via the network. Image storage / distribution system comprising a server device provided with a terminal device having a means for requesting the server device to transmit the image data via a network and receiving and displaying the image data from the server device Wherein the server device includes a time relation specifying means for specifying a time relation between the respective frames with respect to the continuous image data, and a storage unit, and matches the time relation specifying information by the time relation specifying means with the image data. When the terminal device sends an image transmission request to the server device, the time relationship specifying information stored in the storage device is stored. It is characterized by having a sending synchronization means for adjusting the image data to be transmission time and transmission of the image data based on.
According to a second aspect of the present invention, in the image storage / distribution system according to the first aspect, the time relationship specifying means determines the mutual relationship between the respective frame image data based on the reception time of the continuous image data in each frame unit. It is characterized by specifying a time relationship.
According to a third aspect of the present invention, in the image storage / distribution system according to the first aspect, the server device uses the reception time of the continuous image data of each frame unit as time-related identification information as the time-related identification information. It is characterized in that it is applied to each file name.
According to a fourth aspect of the present invention, in the image storage / distribution system according to any one of the first to third aspects, the transmission synchronizing means receives the image data transmission request for the second and subsequent frames from the terminal device. In this case, the difference between the time at which the second and subsequent frame image data transmission requests are received and the time at which the first frame image data is transmitted and the time relationship specifying information stored in the storage unit determine the first frame image data. A difference between the time at which the frame image data was received and the time at which the frame image data received the transmission request and the time at which the image data continuous with the frame image data was received is calculated and compared, and the terminal device receives the time interval at which the server device received the time. The apparatus is characterized in that the image data to be sent out and the time to send out the image data are adjusted so that each image data is reproduced by the device.
According to a fifth aspect of the present invention, there is provided an image transmitting device for photographing continuous image data having visibility in frame units and transmitting the image data to a network, and a storage device for receiving and storing the image data via the network. An image storage / distribution system comprising: a server device; and a terminal device having means for requesting the server device to transmit the image data via a network and receiving and displaying the image data from the server. A method of controlling a server device, wherein information identifying a time at which the image data is received in frame units from the image sending device via a network is stored in a storage unit in association with each image data, Setting a number that specifies the order in which the image server has received the series of image data; and setting the number to be assigned to the number. Comparing and storing temporarily read from the storage unit based on a request signal of the frame from the end device, information identifying the time at which the image server receives the said sequence of the image data to each other,
Comparing the information specifying the time of reception of the request signal relating to the series of frame-based image data received from the terminal device with the transmission time of the image data initially transmitted to the terminal device upon receiving the request; The image server transmits the image data so that the image data is displayed on the terminal device at a time interval substantially equal to the time interval at which the image server receives the series of the image data based on the comparison data. Adjusting the image data using a number specifying the image data, and adjusting the time at which the image data is transmitted.
[0015]
BEST MODE FOR CARRYING OUT THE INVENTION
FIG. 1 is a diagram showing a configuration of an embodiment according to the present invention. In FIG. 1, reference numeral 101 denotes a camera as an image transmission device having a function of connecting a communication network and capable of capturing continuous image data having visibility in frame units; 104, a communication line connecting the camera to an image server; An image server including the means according to the present invention includes a storage device 202, a time relation specifying means 203, and a transmission synchronizing means 204 therein. Reference numeral 210 denotes a distribution communication line of the image server 201, and 211 denotes a low-speed communication terminal device, which is connected to a relatively low-speed communication line 212 such as a public telephone line. Reference numeral 213 denotes a high-speed communication terminal device, which is connected to a relatively high-speed communication line 214 such as an ADSL (asymmetric digital subscriber line). Each of the communication lines 104, 212, and 214 is a best-effort communication line, and a constant transmission speed is not always guaranteed. 215 is an Internet network.
An operation in the case where moving image data is transmitted from the camera 101 to the image server 201 will be described with reference to FIG. The moving image data sent from the camera 101 is in a so-called motion JPEG format in which there is no inter-frame correlation and visibility is provided for each frame. When image data in the motion JPEG format is transmitted from the camera 101 to the image server 201, the time specifying unit 203 creates a file in frame units with the time when each frame image data constituting the moving image data is received as a file name. , In the storage device 202.
For example, the image frame data received at 9:10:10 on March 1, 2002 AD is given a file name of “200203010991010.jpg”, and the image frame data is stored in the storage device 202. Subsequently, if the received image frame data is 9:10:11 on March 1, 2002, the data is stored with a file name of “20020301091011.jpg”. Similarly, by storing the data of each successively transmitted frame using the reception time as a file name, the time at which the image server receives each image frame data constituting the moving image from the camera can be specified as reception time information. Become. In the illustrated range, six JPEG images from “200203010991010.jpg” to “200203010991017.jpg” are received. Here, since the communication line 104 is the best-effort type, the interval at which it is sent is not always constant, and therefore the file name indicating the time is not always at a constant time interval.
Next, an embodiment of the time specifying means will be described with reference to FIG. In the figure, reference numeral 221 denotes a time counting area; 222, an image data reception time storage area; and 223, a file name setting unit. In the respective drawings, the same parts as those in the previous drawings are denoted by the same reference numerals.
As an example, although not shown, the time specifying means can be realized as a semiconductor memory attached to or connected to the CPU of the image server. In the figure, a time keeping area 221, an image data reception time saving area 222 and a file name setting means 223 are provided inside the semiconductor memory.
The time clock area 221 is a data area for clocking the current time at all times. The time information may be obtained from a clock device capable of outputting standard time information of a region where the image server is operated, or the time information may be obtained from a clock calculation area in the basic software of the image server. Further, the time information may be written at the time of starting the image server, and thereafter, the elapsed time may be added and stored in the time counting area.
The image data reception time storage area 222 is for temporarily storing the time information obtained from the time measurement area when the image server obtains the timing information of receiving one frame of image data from the camera.
The file name setting means 223 refers to the time information stored in the image data reception time storage area and automatically sets a file name in the image data of the one frame. The image data in which the time information stored in the reception time storage area is set as a file name is transferred to and stored in the storage unit in the image server. At this time, each frame image data is set to a file name set by the camera or a temporary file name and stored in the storage unit, and then the file name is rewritten by referring to the time information stored in the reception time storage area. Is also good.
If it is necessary to further increase the frame image data per second depending on conditions such as the size, resolution, and transfer speed of the image data sent from the camera, the file name should be further finely divided into tenths of a second or Time information less than that may be set in the timekeeping area.
The storage unit 202 can be realized by a nonvolatile memory or a hard disk device.
In FIG. 1 described above, when six low-speed terminal devices 211 view six JPEG images in the image server as moving images, the first image data transmission request is sent to the image server 201. Similarly, when a moving image is viewed on the high-speed terminal device 213, a first image data transmission request is sent to the image server 201. A transmission request from each terminal is transmitted to the image server via each communication line or the Internet network.
Next, the sending synchronization means will be described. The transmission synchronizing means is configured to, when receiving an image data transmission request from the user terminal device, perform image processing to transmit the image data so that the terminal device reproduces each image data according to a time interval received by the server device by a predetermined arithmetic processing. To adjust the time at which the corresponding image data is transmitted.
Next, an embodiment of the transmission synchronization means will be described with reference to FIG. In FIG. 8A, reference numeral 230 denotes a transmission synchronization control means, 231 denotes a time counting area, 232 denotes an image pointer / counter area, 233 denotes a pointer saving area, 234 denotes an image data transmission request reception time area, and 235 denotes an image pointer. The image data reception time area, 236 is a temporary storage area, 237 is an operation processing area, 238 is a communication unit, 240 is a base point A, and 240 is a base point B. In this figure, the same parts as those in the previous drawings are denoted by the same reference numerals.
The transmission synchronization means 204 is roughly divided into a transmission synchronization control section 230 for controlling the entire transmission synchronization means, and a communication section 238 for performing data communication with each user terminal via a communication line or the like. As an example, although not shown, the transmission synchronization control unit 230 can be realized as a semiconductor memory attached to or connected to the CPU of the image server. In the figure, in the semiconductor memory, a time keeping area 231, an image pointer / counter area 232, a pointer saving area 233, an image data transmission request receiving time area 234, a receiving time area 235 for image data assigned to the image pointer, It has a storage area 236 and an arithmetic processing area 237.
The communication section 238 can be realized by various communication lines connected to each user terminal or the Internet network, and a communication card having an interface corresponding to control inside the server such as the transmission synchronization means 204 and the like.
The time counting area 231 is a data area for always counting the current time. The time information may be obtained from a clock device capable of outputting standard time information of a region where the image server is operated, or the time information may be obtained from a clock calculation area in the basic software of the image server. Further, the time information may be written at the time of starting the image server, and thereafter, the elapsed time may be added and stored in the time counting area.
The image pointer / counter area 232 is initialized when the image server receives a signal requesting transmission of image data from the terminal device, and sets, for example, 1 to manage image data corresponding to this number. The number is used as a number, and thereafter, the pointer is incremented by one and used to specify image data in frame units corresponding to the order of the pointer.
The pointer save area 233 is an area for temporarily storing an image pointer value for each time point in each control stage of the sending synchronization means. It is used to refer to or read the arrival time of a request signal from the server or the reception time of the image server, or to specify image data to be transmitted.
The image data transmission request reception time area 234 stores the time at which the image server has received a signal requesting transmission of the second and subsequent image data from the terminal device. However, the initialization is performed after the transmission of the image data assigned to the image pointer has been completed by a predetermined arithmetic processing, and the time when the image server next received a signal requesting the image data transmission from the terminal device is stored again.
The image data reception time area 235 assigned to the image pointer is an area for storing the time at which the image server receives the image data assigned to the image pointer stored in the pointer save area. However, the initialization is performed after the transmission of the image data assigned to the image pointer by the predetermined arithmetic processing is completed, the image pointer is advanced by one, and the reception time at which the image server receives the corresponding image data is stored again.
The temporary storage area 236 is an area for always storing at least basic time information used in the arithmetic processing until the transmission of a series of image data is completed. In the temporary storage area, the time when the first image data is transmitted to the terminal device is stored as a base point A240, and the time when the image server receives the first image data is stored as a base point B241.
The arithmetic processing area 237 stores the image data transmission request reception time area 234, the image data reception time area 235 assigned to the image pointer, and the time data stored in the base points A240 and B241 in the temporary storage area 236, respectively. The read operation is performed and a predetermined operation is performed, and image data transmission processing is performed based on the operation result.
The predetermined calculation of the calculation processing area means that after transmitting the first frame image data in response to a request from the terminal device, the transmission synchronizing means transmits a transmission request relating to the second and subsequent frame image data from the user terminal device. When the first frame image data transmission request is received and the difference between the time at which the first frame image data is transmitted and the time at which the first frame image data is transmitted, and the time relation specifying information stored in the storage unit, the first frame image data is transmitted. The difference between the time at which the frame image data was received and the time at which the frame image data received the transmission request and the time at which the image data continuous with the frame image data was received is compared and calculated by the terminal device according to the time interval received by the server device. Control is performed to adjust the image data to be transmitted so that each image data is reproduced and the time to transmit the corresponding image data.
FIG. 3B shows an image data table, which reads a series of image data requested to be transmitted from the image data stored in the storage unit of the server device, and corresponds to each image pointer for each frame. It is an arrangement. In the figure, a file name of each image data, a reception time of each image data read from the image file name, and an image data reception time of each image pointer are sequentially allocated from the image pointer 1 to each image pointer for each image pointer. And the time interval based on the difference from the time when the image data of one frame before is received. Such an image data table may be created in a temporary storage area or the like, and existing data may be arranged and processed.
Next, the control operation of the transmission synchronization means 204 in the image server 201 will be described with reference to FIG. FIG. 4 is a PAD diagram (ISO8631) illustrating the operation of the sending synchronization means 204.
First, the sending synchronization means 204 determines whether or not a request signal for requesting image transmission transmitted from the user terminal to the image server has been received. (Step 1 = S1, hereinafter step is abbreviated as S) When a request signal arrives, the process proceeds to (S3). If not received, the process proceeds to (S2).
(S2) is a loop waiting for a request, and returns to the process of (S1) again to make a similar determination. If no request signal is received, this loop is repeated.
When a request signal is received, an image pointer for specifying an image file to be transmitted is initialized, and image data corresponding to the first frame is read out of the storage unit 202 from a series of image data based on the request signal. , Image pointer numbers. (S3)
Next, the image data designated by the image pointer, that is, the image data corresponding to the first frame from the series of image data is transmitted to the user terminal. (S4)
Here, the processing time of the time when the first image is transmitted = S4 is stored as the base point A. (S5)
Further, the time when the image server, which is obtained from the file name of the first transmitted image, receives the file is stored as a base point B. (S6)
Next, the image pointer is advanced by one, and a setting is made so that the second frame image data is read out from the series of image data and assigned. (S7)
Next, the process proceeds from (S9) to (S20) where the processes from (S20) are repeated under predetermined conditions. Here, if the image pointer exists in (S16), the process proceeds to (S17) and returns to (S8). If the image pointer does not exist in (S16), in other words, if a series of image data based on the request from the terminal has been transmitted (S20), the process proceeds to (S20), and the process ends.
The processing from (S9) to (S20) will be described below.
Next, the terminal enters a state of waiting for the next image request from the terminal again (S9), and if the next request signal has not been received, the process proceeds to (S10).
(S10) is a loop waiting for a request, and returns to the process of (S9) again to make the same determination. If no request signal is received, this loop is repeated.
When the next request signal arrives (S9), the arrival time of the request signal is stored as data (not shown), and the frame image data assigned to the current image pointer (here, the second) is transmitted. Prepare for processing.
The elapsed time from the time at which the first image data was sent (base point A) to the time at which the next request was received, and the time from when the first image data was stored in the storage unit (base point B) to the current Then, the elapsed time until the time when the image data assigned to the image pointer is stored in the storage unit (here, the time when the second image data is stored in the storage unit) is compared. (S11)
If the terminal uses a low-speed communication line, the time when the image server receives the second request signal, the time when the first image data received from the camera and stored in the storage unit is received. It is assumed that the time difference between the reception time of the second image and the second image is exceeded. In the example shown in FIG. 1, the arrival time difference of the second sheet counted from the first sheet is 1 second, the arrival time difference of the third sheet counted from the first sheet is 3 seconds, and the arrival time difference of the first sheet is 4 seconds. It is assumed that the arrival time difference of the sheet is 5 seconds.
If the second request from the terminal is 4 seconds after the transmission of the first sheet, the "next request arrival time"-"base point A" in (S11) is 4 seconds, and Since the “reception time of the current (here, the second image pointer)” − “base point B” is 1 second, the two are compared and the “request time of next request” − “base point A” is large. Branching to 1 (S12).
In this case, since four seconds have already passed after the first frame has been sent, simply sending the second frame image data (one second later) from the image server to the terminal will cause the camera to record the data through the low-speed communication line. It will be played back at a timing that is delayed compared to the timing at which it was performed. Therefore, in order to reproduce the timing recorded from the camera on the user terminal side, a low-speed communication line is taken into consideration, and unnecessary images are thinned out and searched to send the latest image.
That is, the time of “the next request arrival time” − “base point A” is compared with the “reception time of the current (here, second image) image pointer” − “base point B”, and the next calculation is performed. If "requested arrival time"-"base point A" is large, the process proceeds to (S13), the current image pointer is advanced by one, and the operation of (S12) is performed again. (S13) is repeated until the inequality in (S12) is satisfied. In this case, since the request for the second image from the terminal is 4 seconds after the transmission of the first image, the arithmetic operation is performed while the image pointer is advanced by 1, and the image data received 4 seconds or more after the first image data is received. And advance the image pointer to 4.
Next, the image pointer is returned by one in order to find the latest image data not exceeding 4 seconds, and the image data is read. (S14) In the above example, the image pointer = 3 (third image data) corresponds to this.
Next, the image data at the time of (S14) and the image pointer = 3 are sent to the terminal. (S15)
Further, it is determined whether or not the image data is the last frame image data in the series of image data. (S16)
In (S16), for example, the image pointer is advanced by one, and it is determined whether or not the corresponding image file exists in the image data table or the storage unit as shown in FIG. 3B for a series of requested image data. judge. Alternatively, when the image file name = image reception time is relatively regularly arranged, it is assumed that there is a continuous image by performing an operation by referring to the time information from the file name of the image data stored in the storage unit. good.
If it is not the last frame image data, the image pointer is advanced by one (S17), and the next image request is waited for as described above. (S9) When the terminal is at a low speed, the latest image can always be transmitted based on the time at which the request signal is received from the user terminal.
Conversely, a case where the terminal uses a high-speed communication line will be described below. In this case, the second and subsequent image data transmission requests come at intervals shorter than the time intervals of the accumulated frame image data. Therefore, the processing up to (S10) is the same as the low-speed processing, but it is assumed that one second, which is the time interval until the second image, has not elapsed at the time when the second image request is received from the user terminal. Is done. Therefore, it is determined by the determination formula of (S11) and the process branches to (S18).
In (S18), a time waiting process is performed until a difference time of 1 second or more between the reception time of the first image and the reception time of the second image data received from the camera and stored in the storage unit has elapsed.
If the difference time is less than one second, the loop processing of (S19) is performed. In (S19), counting is performed until the set time interval elapses, and the process returns to (S18). For example, after counting several tens of milliseconds (S18), the processing is performed again, and the calculation is repeated until the difference time becomes 1 second or more.
After about one second has passed by the processing of (S18) and (S19), the second image data of the image pointer 2 which is the image pointer in (S7) is transmitted here. (S15)
Subsequent processing is the same as in the case of low speed, and a series of image data is automatically transmitted in response to a request from the terminal, and when transmission to the last image frame is completed, the processing is terminated via (S20).
According to the above processing, even when the terminal side is at high speed, it is possible to cope by performing the necessary time waiting processing. With these operations, it is possible to transmit the image from the server in the same time as the recording time in both cases where the image recording speed is low and high speed.
Further, even if the line speed is not constant on both the recording side and the distribution side, transmission can be performed in synchronization with the time on the recording side, and there is a possibility that the line speed changes during recording and transmission. Even for a certain best effort type, transmission corresponding to the best effort type can be performed.
Further, once a series of image data is stored in the image server of the present invention in frame units, the image can be reproduced at an appropriate timing corresponding to the speed at which the image was recorded in the user terminal.
In the above example, the time relation specifying means 203 is described as an example in which the time at the time of recording is used as the file name, but the present invention is not limited to this. For example, it is needless to say that the file name can be arbitrarily set and managed by a database correlated with the recording time, or a file for associating the file name with the recording time is separately provided.
Although motion JPEG has been described as an example of image data, the present invention can be applied to any image data that does not need to be compressed and has no frame correlation and is visible in frame units. Needless to say.
[0062]
【The invention's effect】
As described above, according to the present invention, regardless of whether the transmission speeds of the networks connecting the camera device and the image server and between the image server and the client terminal device are different or constant, the client terminal device It is possible to provide an image storage / distribution system capable of reproducing a moving image according to the timing of transfer from the camera to the image server.
In addition, an image storage / distribution system capable of distributing image data to a client terminal while maintaining the time relationship between the image data captured by the camera and stored in the image server and transferred from the camera to the image server is provided. it can.
[0064]
[Brief description of the drawings]
FIG. 1 is a block diagram showing an embodiment of a moving image distribution server system according to the present invention.
FIG. 2 is a block diagram showing an embodiment of a time specifying unit according to the present invention.
FIG. 3 is a block diagram showing an embodiment of a transmission synchronization unit according to the present invention.
FIG. 4 is a PAD diagram for explaining the control operation of the transmission synchronization means.
FIG. 5 is a configuration diagram of a conventional moving image distribution system.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 101 ... Camera, 104 ... Communication line, 201 ... Image server, 202 ... Storage part, 203 ... Time specifying means, 204 ... Transmission synchronization means, 210 ... Communication line, 211 ... Communication terminal (low speed type), 212 ... Communication line ( Low-speed type), 213 communication terminal (high-speed type), 214 communication line (high-speed type), 215 Internet network, 221 time clock area, 222 image data reception time area, 223 file name setting area, 230 Transmission synchronization control means, 231, time measurement area, 232, image pointer / counter area, 233, pointer save area, 234, image data transmission request reception time area, 235, image data reception time area assigned to the image pointer, 236 .. Temporary storage area, 237 arithmetic processing area, 238 communication section, 240 base point A, 240 base point B, 501 camera 02 ... image server, 503 ... client terminal, 504, 505 ... communication line

Claims (5)

フレーム単位で可視性のある連続する画像データを撮影しネットワークへ送出する画像送出装置と、ネットワークを介して該画像データを受信し記憶する記憶装置を備えるサーバ装置と、該サーバ装置に対してネットワークを介して該画像データの送出を要求し該サーバ装置から該画像データを受信して表示する手段を備えた端末装置とからなる画像蓄積・配信システムであって、
該サーバ装置は、連続する該画像データについて各フレーム相互の時間関係を特定する時刻関係特定手段と記憶部を備え、該時刻関係特定手段による時刻関係特定情報を該画像データと合わせて該記憶部に格納し、
該端末装置から該サーバ装置に画像送出要求があった場合、該記憶部に格納されている該時刻関係特定情報に基づき該画像データの送出時刻および送出する該画像データを調整する送出同期手段を備えたことを特徴とする画像蓄積・配信システム。An image transmission device that captures continuous image data having visibility in frame units and transmits the image data to a network; a server device including a storage device that receives and stores the image data via the network; An image storage and distribution system comprising a terminal device having a means for requesting transmission of the image data via the server and receiving and displaying the image data from the server device,
The server device includes a time relationship specifying unit and a storage unit that specify a time relationship between the respective frames with respect to the continuous image data, and stores the time relationship specifying information by the time relationship specifying unit together with the image data in the storage unit. Stored in
When there is an image transmission request from the terminal device to the server device, transmission synchronization means for adjusting the transmission time of the image data and the image data to be transmitted based on the time relationship specifying information stored in the storage unit. An image storage / distribution system characterized by comprising: 該時刻関係特定手段は、各フレーム単位の連続する該画像データの受信時刻によって各フレーム画像データ相互の時間関係を特定することを特徴とする請求項１記載の画像蓄積・配信システム。2. The image storage / distribution system according to claim 1, wherein said time relation specifying means specifies a time relation between the respective frame image data based on a reception time of the continuous image data in each frame unit. 該サーバ装置は、各フレーム単位の連続する画像データの受信時刻を時刻関係特定情報として該画像データの各ファイル名に適用することを特徴とする請求項１記載の画像蓄積・配信システム。2. The image storage / distribution system according to claim 1, wherein the server device applies the reception time of the continuous image data of each frame unit as time relation specifying information to each file name of the image data. 請求項１から３記載の画像蓄積・配信システムであって、
該送出同期手段は、該端末装置から２枚目のフレーム以降の画像データ送出要求があった場合、２枚目以降のフレーム画像データ送出要求を受けた各時刻と１枚目のフレーム画像データを送出した時刻の差分と、
該記憶部に格納した該時刻関係特定情報により１枚目のフレーム画像データを受信した時刻と送出要求を受けたフレーム画像データおよび該フレーム画像データに連続する画像データを受信した各時刻の差分を比較演算し、
該サーバ装置が受信した時間間隔にて該端末装置で各画像データが再生されるように送出する該画像データおよび該画像データを送出する時刻を調整することを特徴とする画像蓄積・配信システム。4. The image storage and distribution system according to claim 1, wherein:
When the terminal device requests image data transmission for the second and subsequent frames, the transmission synchronization means synchronizes each time when the second and subsequent frame image data transmission requests are received with the first frame image data. The difference between the sending times and
Based on the time relationship specifying information stored in the storage unit, the difference between the time at which the first frame image data was received and the time at which the transmission request received frame image data and the time at which the image data continuous with the frame image data were received was obtained. Perform a comparison operation,
An image storage / distribution system which adjusts the image data to be transmitted so that each of the image data is reproduced by the terminal device at a time interval received by the server device and the time at which the image data is transmitted. フレーム単位で可視性のある連続する画像データを撮影しネットワークへ送出する画像送出装置と、ネットワークを介して該画像データを受信し記憶する記憶装置を備えるサーバ装置と、該サーバ装置に対してネットワークを介して該画像データの送出を要求し該サーバから該画像データを受信して表示する手段を備えた端末装置とからなる画像蓄積・配信システムの画像サーバ装置の制御方法であって、
該画像送出装置からネットワークを介して受信したフレーム単位の該画像データを受信した時刻を特定する情報を各画像データと関連付けして記憶部に格納するステップと、
一連の該画像データについて画像サーバが受信した順番に特定する番号を設定するステップと、
該番号に割当てるように該端末装置からのフレーム単位の要求信号に基づき該記憶部から読み出して一時保存するステップと、
前記一連の各画像データについて画像サーバが受信した時刻を特定する情報を相互に比較するステップと、
該端末装置から受信した一連のフレーム単位の画像データに係る要求信号について受信した時刻を特定する情報と、最初に要求着信して端末装置へ送出した画像データの送出時刻とを相互に比較するステップと、
前記各比較データに基づき、該画像サーバが一連の該画像データを受信した時間間隔と略等しい時間間隔にて該端末装置で該画像データが表示されるように、該画像サーバが送信する画像データについて該画像データを特定する番号を用いて調整し、合わせて該画像データを送出する時刻を調整するステップとを備えたことを特徴とする画像サーバ装置の制御方法。An image transmission device that captures continuous image data having visibility in frame units and transmits the image data to a network; a server device including a storage device that receives and stores the image data via the network; A method of controlling the image server device of an image storage / distribution system including a terminal device having a means for requesting transmission of the image data through the server and receiving and displaying the image data from the server,
Storing information specifying a time at which the image data of each frame received from the image transmission device via a network is received in a storage unit in association with each image data;
Setting a number that specifies the order in which the image server received the series of image data;
Reading from the storage unit and temporarily storing based on a request signal in frame units from the terminal device so as to be assigned to the number,
Comparing each other with information specifying the time received by the image server for each of the series of image data,
Comparing the information specifying the time of reception of the request signal relating to the series of frame-based image data received from the terminal device with the transmission time of the image data initially transmitted to the terminal device upon receiving the request; When,
The image data transmitted by the image server so that the image data is displayed on the terminal device at a time interval substantially equal to the time interval at which the image server receives the series of image data based on the comparison data. And adjusting the time at which the image data is transmitted together with a number that specifies the image data.
JP2002168267A 2002-06-10 2002-06-10 System for storing/distributing image and method for controlling server device of the system Pending JP2004015600A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002168267A JP2004015600A (en) 2002-06-10 2002-06-10 System for storing/distributing image and method for controlling server device of the system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002168267A JP2004015600A (en) 2002-06-10 2002-06-10 System for storing/distributing image and method for controlling server device of the system

Publications (1)

Publication Number Publication Date
JP2004015600A true JP2004015600A (en) 2004-01-15

Family

ID=30435225

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002168267A Pending JP2004015600A (en) 2002-06-10 2002-06-10 System for storing/distributing image and method for controlling server device of the system

Country Status (1)

Country Link
JP (1) JP2004015600A (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010020865A (en) * 2008-07-14 2010-01-28 Panasonic Corp Formatting apparatus, formatting method, and program
US8784937B2 (en) 2010-09-14 2014-07-22 Applied Nanostructured Solutions, Llc Glass substrates having carbon nanotubes grown thereon and methods for production thereof
US8815341B2 (en) 2010-09-22 2014-08-26 Applied Nanostructured Solutions, Llc Carbon fiber substrates having carbon nanotubes grown thereon and processes for production thereof
US8951631B2 (en) 2007-01-03 2015-02-10 Applied Nanostructured Solutions, Llc CNT-infused metal fiber materials and process therefor
US8951632B2 (en) 2007-01-03 2015-02-10 Applied Nanostructured Solutions, Llc CNT-infused carbon fiber materials and process therefor
US8969225B2 (en) 2009-08-03 2015-03-03 Applied Nano Structured Soultions, LLC Incorporation of nanoparticles in composite fibers
US9005755B2 (en) 2007-01-03 2015-04-14 Applied Nanostructured Solutions, Llc CNS-infused carbon nanomaterials and process therefor
KR101549665B1 (en) * 2013-06-27 2015-10-26 주식회사 미디어네이처 Providing system for virtual reality image and providing method therefor
US10138128B2 (en) 2009-03-03 2018-11-27 Applied Nanostructured Solutions, Llc System and method for surface treatment and barrier coating of fibers for in situ CNT growth

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8951631B2 (en) 2007-01-03 2015-02-10 Applied Nanostructured Solutions, Llc CNT-infused metal fiber materials and process therefor
US8951632B2 (en) 2007-01-03 2015-02-10 Applied Nanostructured Solutions, Llc CNT-infused carbon fiber materials and process therefor
US9005755B2 (en) 2007-01-03 2015-04-14 Applied Nanostructured Solutions, Llc CNS-infused carbon nanomaterials and process therefor
US9574300B2 (en) 2007-01-03 2017-02-21 Applied Nanostructured Solutions, Llc CNT-infused carbon fiber materials and process therefor
US9573812B2 (en) 2007-01-03 2017-02-21 Applied Nanostructured Solutions, Llc CNT-infused metal fiber materials and process therefor
JP2010020865A (en) * 2008-07-14 2010-01-28 Panasonic Corp Formatting apparatus, formatting method, and program
US10138128B2 (en) 2009-03-03 2018-11-27 Applied Nanostructured Solutions, Llc System and method for surface treatment and barrier coating of fibers for in situ CNT growth
US8969225B2 (en) 2009-08-03 2015-03-03 Applied Nano Structured Soultions, LLC Incorporation of nanoparticles in composite fibers
US8784937B2 (en) 2010-09-14 2014-07-22 Applied Nanostructured Solutions, Llc Glass substrates having carbon nanotubes grown thereon and methods for production thereof
US8815341B2 (en) 2010-09-22 2014-08-26 Applied Nanostructured Solutions, Llc Carbon fiber substrates having carbon nanotubes grown thereon and processes for production thereof
KR101549665B1 (en) * 2013-06-27 2015-10-26 주식회사 미디어네이처 Providing system for virtual reality image and providing method therefor

Similar Documents

Publication Publication Date Title
JP3787498B2 (en) Imaging apparatus and imaging system
JP3202606B2 (en) Imaging server and its method and medium
JP6010958B2 (en) Data output method, data output program, and terminal device
US20050015808A1 (en) Camera server and image distribution method
JP2004015600A (en) System for storing/distributing image and method for controlling server device of the system
JP4976654B2 (en) Communication apparatus and computer program
JP2008306355A (en) Image reproduction processing device, image reproduction processing method, program, and recording medium
US8102425B2 (en) Electronic camera and image transfer method adopted in electronic camera
JP2007013697A (en) Image receiver and image receiving method
JP2004032012A (en) Multi-viewpoint image recording apparatus, method of synchronous processing for multi-viewpoint image frame, and computer program
JP2005323268A (en) Method, device, and program for content reproduction and record medium
KR100859654B1 (en) Image pickup apparatus, method and system for recording image
JP7099693B2 (en) Video monitoring method and server and video monitoring system
JP2003264790A (en) Moving image transmitting and recording device
JP4006142B2 (en) VOD system
JP2005176233A (en) Communication apparatus and communication system
JP4147767B2 (en) Continuous information recording method and recording apparatus
JP2003134342A (en) Picture processor, and method therefor and program thereof
JP2006340147A (en) Image reproduction device
US11076197B1 (en) Synchronization of multiple video-on-demand streams and methods of broadcasting and displaying multiple concurrent live streams
WO2024067428A1 (en) High-resolution high-frame-rate photographing method, and image processing apparatus
JP3648829B2 (en) COMMUNICATION DEVICE AND METHOD, RECORDING DEVICE AND METHOD, AND RECORDING MEDIUM
JP2003304502A (en) Special reproducing device and special reproducing method
JP2003158705A (en) Picture processor, picture processing system, picture processing method, storage medium, and its program
JP2928881B1 (en) Video transfer method