JP4244113B2 - 画像表示プログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、遠隔地、多地点における侵入物体の監視や定点観測などにおけるカメラからの画像データを配信する監視装置および配信の画像データを受信、表示する端末装置とがネットワークに接続されたネットワーク対応監視システムに関するものである。
【０００２】
【従来の技術】
従来技術の監視装置では、カメラからの画像データを入力し、データ変換（符号化（圧縮））もしくは非圧縮のデータとして伝送路を介して要求の他の端末（たとえば専用端末やパーソナルコンピュータなどが挙げられるが、以下端末装置と称する）へ伝送すると共に、一部または全部を自装置内の記録媒体に記録する。
【０００３】
一方、端末装置では、受信画像データを逆変換（復号化（圧縮データの場合））して表示手段としてのモニタに表示する。
【０００４】
ここで、従来技術においては、画像データの変換においては国際標準符号化方式であるＪＰＥＧやＭＰＥＧ方式などが採用されている。伝送路としての有線回線や無線による電話回線の公衆回線網、インターネット、無線ＬＡＮなどで構築したネットワークにより、遠隔地、多地点からの画像データの伝送が監視装置から端末装置へ行われる。記録媒体としては、メモリやハードディスクなどが使用される。また、画像データの記録データは、監視装置に有する配信サーバ機能により、要求元の端末装置へ配信が行われる。
【０００５】
【発明が解決しようとする課題】
遠隔地、多地点からの画像データの伝送が、有線回線や無線による電話回線の公衆回線網、インターネット、無線ＬＡＮなどで構築したネットワークを介して行われると、他のトラフィックの変動によりネットワーク上の所要伝送帯域の確保ができなかったり、輻輳の発生によりデータ・ロス、ジッタなどが発生して、端末装置側の受信画像データの再生映像では所要の画質を得ることができなくなる。また、端末装置の処理能力の不足によっても、所望の再生映像を得ることができない。
【０００６】
従来技術では、このように所望の再生映像の画質が得られない場合は、ボトルネックとなっている要因を特定するため、専用の高価な評価用機器を使用して、ネットワークのトラフィックを監視したり、再生映像をＶＴＲなどに録画し、これをコマ送り再生するなどして、再生描画枚数や画質を確認する方法があった。このような方法では、要因を特定するために、多大な時間を要していた。
【０００７】
【課題を解決するための手段】
上記改題を解決するために、
被写体のカメラからの映像信号を入力して画像データに変換して出力する画像データ処理部と、ネットワークに接続された少なくとも一つの端末装置との間で該画像データを含むデータの授受を行うネットワーク制御部と、前記画像データ処理部およびネットワーク制御部を制御するＣＰＵ部、および前記各部を接続するバスとから成る監視装置において、
前記端末装置が前記画像データの送信要求を前記監視装置に送信してから受信し表示されるまでの時間計測をし該計測時間を表示する計測プログラムを記録する記録部を有して、前記端末装置からの前記計測プログラムの送信要求を受け取ると前記計測プログラムを前記端末装置に送信し、続いて該端末装置からの前記画像データの送信要求を受け取ると送信開始を行うようにしたものである。
【０００８】
また、被写体のカメラからの映像信号を入力し画像データに変換してネットワークに送信する少なくとも一つの監視装置からの前記画像データを含むデータの授受を行うネットワーク制御部と、前記受信した画像データを映像データとして出力するデータ処理部と、該映像データを記憶するメモリと、該メモリに記憶された映像データを所定のタイミングで読み出して映像信号を出力する映像処理部と、該映像信号を表示するモニタとから成る端末装置において、
前記データ処理部は、前記画像データを送信する前記監視装置から、前記端末装置が前記画像データの送信要求を前記監視装置に送信してから受信し表示されるまでの時間計測をし該計測時間を表示する計測プログラムを受信し、該計測プログラムを実行して前記画像データの送信要求を前記監視装置に送信し前記時間計測を行うようにしたものである。
【０００９】
そして、前記監視装置が少なくとも一つと、前記端末装置の少なくとも一つとがネットワークに接続され、前記監視装置からの画像データまたは前記計測プログラムを前記端末装置が受信して、該端末装置が前記受信した画像データを表示し、あるいは前記計測プログラムの実行で計測された計測時間を表示することができるネットワーク対応監視システムとしたものである。
【００１０】
さらに、前記端末装置は、前記計測プログラムの実行で計測された計測時間に応じて、前記画像データを送信する前記監視装置に画像データ量を制御する制御パラメータのデータを前記監視装置に送信する。一方、該監視装置は、前記制御パラメータのデータを前記ネットワークを介して受信すると、該受信した制御パラメータのデータに基づいて前記送信する画像データ量を制御して画像データを前記端末装置に送信するようにしたものである。
【００１１】
ここで、前記時間計測の内容は、前記端末装置が前記計測プログラムの実行後に、前記監視装置への画像データの送信要求を開始してから該画像データの受信完了までに要した受信時間、該画像データのモニタに表示できる映像データへの展開に要した展開時間、そして該展開された映像データがモニタに表示されるまでに一時的に記憶手段へ記憶するに要した描画時間である。計測される各時間は、所定の計測周期の平均値として計測される。
【００１２】
また、前記計測時間に応じて、前記端末装置から前記監視装置に送信される制御パラメータのデータは、画像データの発生量の制御に関するもので、映像信号を画像データに変換するときの圧縮率、解像度、あるいはフレームレートなどの制御情報である。
【００１３】
【発明の実施の形態】
以下、本発明の一実施例を図１〜図５により説明する。
【００１４】
本発明の監視装置、端末装置、および複数の各装置がネットワークに接続されたネットワーク対応システムの構成を図２、図３、および図４に示す。
【００１５】
本発明のネットワーク対応監視システムの構成を示す図４では、３０３（３０３ａ、３０３ｂ、…、３０３ｎ）は被写体の映像信号を生成するカメラ、３００（３００ａ、３００ｂ、…、３００ｎ）は本発明の監視装置でカメラ３０３からの映像信号の画像データと、または後述する端末装置３０１が前記画像データの送信要求を監視装置３００に送信してから受信し表示するまでの時間計測をし該計測時間を表示する計測プログラムを端末装置３０１からの送信要求で、ネットワーク３０２を介して送信する。３０２は、公衆回線網、インターネット、あるいは無線ＬＡＮなどの伝送路から成るネットワークである。
【００１６】
最初に、図２で、監視装置３００の構成ブロックの一例を示す。
ＣＰＵ部２００は、バス２０１を介して接続されている、以下に述べる各部を制御して監視装置３００の機能を実現する。メモリ２０７には監視装置３００のプログラムが実行可能な状態で格納され、逐次読み出されて各部の機能が実現される。
【００１７】
画像データ処理部２０２は、カメラ３０３からの映像信号を変換処理（たとえば圧縮（符号化））して画像データを生成する。生成される画像データ量は、たとえば１秒当たりのフレーム数３０で解像度が３２０ｘ２４０画素で１０ｋｂｙｔｅｓ、６４０ｘ２４０画素で２０ｋｂｙｔｅｓ、あるいは６４０ｘ４８０画素で４０ｋｂｙｔｅｓなどの目標値となるように圧縮率が予め調整されている。また、生成される画像データ量を制御する圧縮率の他に解像度やフレームレートなどの制御パラメータを任意に指定することで、画像データの発生量の変更が可能となっている。
【００１８】
ネットワーク制御部２０９は、ネットワーク３０２のプロトコル（たとえば、ＴＣＰ／ＩＰ）を認識し、ネットワーク３０２を介してデータ送受信を行う。
【００１９】
記録部２１０は、画像データや監視装置３００で扱う各種情報の記録を行う。
【００２０】
また、記録部２１０には、後述する端末装置３０１が前記画像データの送信要求を監視装置３００に送信してから受信し表示するまでの時間計測をし該計測時間を表示する計測プログラムが記録されている。端末装置からの計測プログラムの送信要求を受け取ると、ＣＰＵ部２００は記録部２１０から計測プログラムを読み出してネットワーク制御部２０９を介してネットワーク３０２に送信して、計測プログラムを端末装置３０１に送信する。ここで、計測プログラムを監視装置３００に記録しているのは、端末装置３０１側で必要なときにだけダウンロードすることで、計測プログラムの変更に対処する必要がないこと、あるいは端末装置３０１が携帯端末装置のように実行環境に制限があるような場合にも計測プログラムの実行時のみに実行環境を変更して実行環境の制限に対処できるようにするためである。
【００２１】
また、ＣＰＵ部２００の要求により、記録部２１０に記録されている画像データ、各種情報や計測プログラムのデータが選択的に読み出される。記録部２１０としては、ハードディスクやDVD、メモリなどランダムアクセスが可能な媒体であれば何であってもよい。
２１１は入力部である。以下では入力部２１１や表示される選択メニューついては言及しないが、入力部２１１で監視装置３００の各モードの切り替えなどの設定・指示を行う。
【００２２】
次に、監視装置３００への画像データの送信要求で受信した画像データを表示すると共に、送信要求をして受信した計測プログラムを実行して計測時間を表示する端末装置３０１の構成ブロックの一例を図３で説明する。
【００２３】
端末装置３０１としては、ネットワーク３０２を介して監視装置３００からの画像データの処理および計測プログラムの実行、および画像データおよび文字データの表示が可能であれば、一般的なパーソナルコンピュータ、あるいは携帯情報端末などには限定されない。
【００２４】
そして、このような端末装置３０１の構成は、図３に示すように、ネットワーク３０２を介してデータの送受信するネットワーク制御部６０４と、画像データおよび計測プログラムの送信要求を行い受信の画像データを表示手段としてのモニタ６０３で表示できる映像データに展開して出力すると共に受信した計測プログラムを実行し計測時間の表示データを生成して出力するデータ処理部６０１と、データ処理部６０１から出力された映像データおよび計測時間の表示データを表示手段としてのモニタ６０３に表示されるまで一時的に記憶するメモリ６０２と、メモリ６０２から映像データを所定のタイミングで読み出し映像信号として出力する映像処理部６０６と、映像信号を受けてカメラ３０３の監視映像を表示するモニタ６０３と、前記の各部およびメモリ６０２と間のデータの授受が行われるバス６０５とから成るものである。
【００２５】
以下、本発明の動作について説明する。
まず最初に、ネットワーク対応監視システムの通常運用時の動作について説明する。端末装置３０１（３０１ａ、３０１ｂ、…、３０１ｍ）は、監視装置３００からの画像データの送信要求、受信、展開、描画を実行する通常プログラムを監視装置３００内の記録部２１０からダウンロードして実行を開始するか、あるいは予め自端末装置３０１内のデータ処理部６０１に予め記憶された前記と同一の通常プログラムで実行を開始してもよい。以下では通常プログラムを監視装置３００からダウンロードして、画像データの送信要求、受信、展開、描画が行われるものとする。
【００２６】
ここで、通常運用において監視装置３００の画像データを受信するには、端末装置３０１において、監視装置３００から通常プログラムをダウンロードしてデータ処理部６０１内に登録する。そして、データ処理部６０１は、登録された通常プログラムの実行開始をして、監視装置３００からの画像データの受信、展開、描画の処理の準備を完了する。
【００２７】
データ処理部６０１は、通常プログラムで実行されるプロトコル（たとえばＴＣＩ／ＩＰ）で所定の周期で画像データの送信要求を監視装置３００へ送出する。監視装置３００のＣＰＵ部２００は、画像データの送信要求を受け付けると、画像データ処理部２０２で生成されたカメラ３０３からのライブ映像信号の画像データあるいは既に記録部２１０に記録されている画像データをネットワーク制御部２０９を介してネットワーク３０２へ送信する。端末装置３１０のデータ処理部６０１は、ネットワーク制御部６０４を介して受信した画像データを展開して映像データとしてメモリ６０２に一時的に記憶する。そして、メモリ６０２に記憶された映像データは、所定のタイミングで読み出されて、映像処理部６０６で映像信号としてモニタ６０３へ出力されて、カメラ３０３でとらえられた監視映像としてモニタ６０３に表示される。
【００２８】
ところで、前述したように、他のトラフィックの変動によりネットワーク３０２で所要伝送帯域の確保ができなかったり、輻輳の発生によりデータ・ロス、ジッタなどが発生して、端末装置３０３で受信した画像データにはデータの欠落があったり、所定の期間内に画像データが受信されなくなったり、画像データへのエラー混入で正常に展開できなくなったり、あるいは展開できても映像がみだれ、不自然な映像の表示となって所定の画質の表示の確保できなくなる状態となる。
【００２９】
また、このような所定の画質の監視映像の表示が得られない場合として、端末装置３０１においては、画像データを映像データに展開するデータ処理部６０１の処理能力の不足、あるいは展開した映像データのメモリ６０２への転送、記憶されるまでの描画能力の不足がある。
【００３０】
このような状態をモニタ上に表示された監視映像から確認された場合にオペレータは、このような状態を発生させている要因を特定するために計測プログラムを監視装置３００からダウンロードして、端末装置３０１のデータ処理部６０１内に登録して実行を開始する。すると、図１に示すような一例のレイアウトの画面がモニタ６０３上に表示される。１０１は受信した画像データの展開した映像データの監視映像が表示される映像表示部、１０２は計測時間（受信時間１０４、展開時間１０５、描画時間１０６）を含む各種情報を表示する情報表示部である。情報表示部１０２には、１秒間の映像フレームの表示の状態（ここでは、正常な受信状態では１秒間に３０フレーム（描画枚数）が表示される。“−”は当該フレームの受信画像データの監視映像を表示できなかったことを、また“１”は表示できたことを表している）を表すインジケータ１０３、および監視装置３００への画像データの送信要求から画像データの受信完了するまでに要した時間を示す受信時間１０４、この受信した画像データの映像データへの展開に要した時間を示す展開時間１０５、さらに展開した映像データをメモリ６０２へ記憶するに要した時間を示す描画時間１０６の計測時間が表示されている。
【００３１】
ここで、端末装置３０１の計測プログラムによる処理を図５により説明する。
【００３２】
端末装置３０１は、計測プログラムを監視装置３００からダウンロードすると、データ処理部６０１に登録し画像データの受信が開始される（ステップ４０１）。まず、監視装置３００に対して画像データの送信要求を発行する（ステップ４０２）。同時に、一連の各処理の経過時間の計測を開始する（ステップ４０３）。監視装置３００からの画像データの受信が完了すると（ステップ４０４）、画像データの受信完了に要した時間の算出を行う（ステップ４０５）。次に、受信した画像データの展開を開始する（ステップ４０６）。展開が終了した時点で（ステップ４０７）、展開に要した時間の算出を行う（ステップ４０８）。最後に、画像データの展開した映像データをメモリ６０２に記憶する描画処理を開始する（ステップ４０９）。描画が完了した時点で（ステップ４１０）、映像データの描画に要した時間を算出する（ステップ４１１）。
【００３３】
以上の処理を経過時間が１秒間になるまで繰り返す（ステップ４１３）。
処理時間が１秒間となった場合には、これまで計測した計測時間の平均値を算出してメモリ６０２に文字データとして記憶し、映像データと共に所定のタイミングで読み出されて映像信号としてモニタ６０３に出力されて情報表示部１０２に表示される（ステップ４１２）。
【００３４】
ここで、算出した計測時間が、予め定めた基準値に入っていない場合（ステップ４１４）には、基準値に入っていない計測時間を表示している文字や箇所の色付けの変更やメッセージの表示を行う（ステップ４１５）。
【００３５】
なお、算出した計測時間が判定値に入っているか否かの基準値は、たとえば、ネットワークのトラフィックの統計データから推定される伝送帯域、および予め基準とするデータ処理部６０１（端末装置３００がパーソナルコンピュータであればそのＣＰＵの処理速度）やバス６０５の転送速度あるいはメモリ６０２の書き込み速度などが異なる複数の端末装置３００を用いて性能を評価しておき性能評価の結果から得られた値を元に作成する。
【００３６】
図１の情報表示部１０２には、付属情報として、時間計測の周期を示す「計測周期」１１８、計測周期１１８内に監視装置３００に対して画像データを要求した回数を示す「要求回数」１０７、計測周期内に描画が行われた映像フレームの回数を示す「描画枚数」１０８、監視装置３００に接続し画像データを要求し始めてからの経過時間を示す「接続時間」１０９、計測周期内に受信した画像データの平均画像データのサイズを表示する「平均画像サイズ」１１０、同じく受信した画像データの中で最大のデータ量を示す「最大画像サイズ」１１１、同様に最小のデータ量を示す「最小画像サイズ」１１２、が表示される。また、１１３には、現在受信している画像データの解像度が示されている。これらの情報も、同様に算出され表示される（計測プログラムの処理フローを示す図５では図示していない）。
【００３７】
なお、１１５では、１秒間の映像フレームの表示の状態を表すインジケータ１０３に対して、視認性を良くするために５フレーム毎に色分けを施した場合の例を示している。
【００３８】
また、１１６では、後述する方法で特定された、表示された監視映像の画質の劣化となっているボトルネックの要因である現象に対して視認性を良くするために色付け表示を行っている一例である。
【００３９】
さらに、１１７では、後述する方法で、監視装置に対して、映像信号を画像データに変換するときの圧縮率、解像度、あるいはフレームレートなどを制御する制御パラメータのデータを送信していることを示すメッセージ表示の一例を示している。
ここで、例として図１で示している表示状態は、画像データの受信時間１０４に２０（ｍｓ）、受信画像データの展開時間１０５に１５（ｍｓ）、描画時間１０６に１０（ｍｓ）要しており、合計で４５（ｍｓ）要している。これは、日本におけるテレビジョン信号のＮＴＳＣ規格である、３０（フレーム／秒）の映像表示における、１フレーム当りの処理に許容される時間である３３（ｍｓ）を超えている。そして、この例では描画枚数は２２（フレーム／秒）（１０８）となっている。
【００４０】
そして、端末装置３０１は表示された監視映像の画質の劣化となっているボトルネックの要因を特定する基準値との比較の結果、受信時間１０４がかかっていると判定するとネットワーク３０２のトラフィックが大きいと推定されるので、自動調整モード１１４が指定されていると（ステップ４１７）、監視装置３００に対して、映像信号を画像データに変換するときの圧縮率、解像度、あるいはフレームレートなどを制御する制御パラメータのデータを送信して（ステップ４１６）、送信データ量を減らすようにする。図１の例では、制御パラメータのデータの内で圧縮率の変更の情報が送信されている場合のメッセージ１１７が表示されている。
【００４１】
また、展開時間あるいは描画時間が大きいと判定されたならば、端末装置３０１の性能が不足しているためであり、処理速度が高い端末装置３０１を導入することが解決策となり得え、あるいは監視装置３００に対して、映像信号を画像データに変換するときの圧縮率、解像度、あるいはフレームレートなどを制御する制御パラメータのデータを送信することで、端末装置３０１の処理すべき画像データ量を少なくして展開時間あるいは描画時間を短くなるようにして、所望の画質の監視映像の表示が得られるようにする。
【００４２】
なお、計測時間内で受信時間に基づいて、ネットワーク３０２のトラフィックに余裕があると推定されたならば、監視装置３００に圧縮率を下げたり、画像データの解像度を上げたりする制御パラメータのデータを送信することで、端末装置３０１で表示される監視映像の画質をあげることができることは言うまでもない。
【００４３】
【発明の効果】
監視装置に端末装置で画像データの受信時間、展開時間、および描画時間を計測する計測プログラムを記憶して、端末装置が計測プログラムをダウンロードして実行して得た計測時間から、受信画像データの表示から画質の劣化の要因がネットワーク、データ処理能力、および描画能力であるか否かを特定することができるようになるので、専用の高価な評価用機器などを使用することなく、ネットワーク対応監視システムや端末装置の運用が容易となる。
【００４４】
また、端末装置は、計測時間に基づいて監視装置の画像データ量を制御する圧縮率、解像度、あるいはフレームレートなどの制御パラメータを送信することができるので、ネットワークのトラフィックの状況や画像データを表示する端末装置の処理能力に応じて、所望の画質の監視映像を表示できるようになる。
【図面の簡単な説明】
【図１】 本発明の端末装置における計測プログラム実行時のモニタ表示内容の一例を示す図
【図２】 本発明の監視装置の構成の一例を示す図
【図３】 本発明の端末装置の構成の一例を示す図
【図４】 本発明のネットワーク対応監視システムの構成の一例を示す図
【図５】 本発明の端末装置における計測プログラムの処理フロー内容の一例を示す図
【符号の説明】
１００：表示画面、１０１：映像表示部、１０２：情報表示部、１０３：インジケータ、１０４：受信時間、１０５：展開時間、１０６：描画時間、１１４：自動調整モードボタン、１１７：メッセージ表示部、２００：ＣＰＵ部、２０１:バス、２０２:画像データ処理部、２０７:メモリ、２０９:ネットワーク制御部、２１０:記録部、２１１:入力部、３００、３００ａ、３００ｂ、…、３００ｎ：監視装置、３０１、３０１ａ、３０１ｂ、…、３０１ｍ：端末装置、３０２：ネットワーク、３０３、３０３ａ、３０３ｂ、…、３０３ｎ：カメラ、６０１：データ処理部、６０２：メモリ、６０３：モニタ、６０４：ネットワーク制御部、６０５：バス、６０６：映像処理部

Claims (4)

1. カメラからの映像信号を入力して画像データに変換してネットワークに送信する少なくとも一つの監視装置と、前記画像データを受信して前記映像信号として表示する少なくとも一つの端末装置とから成るネットワーク監視システムに用いる画像表示プログラムにおいて、
   前記端末装置から前記監視装置への画像データの送信要求から画像データの受信完了までに要する受信時間を計測する受信時間計測機能と、
   前記受信した画像データを展開するまでに要する展開時間を計測する展開時間計測機能と、
   前記展開した画像データを描画するまでに要する描画時間を計測する描画時間計測機能と、
   を備え、
   前記受信時間計測機能は、端末装置から監視装置への画像データの送信要求がされ、これを受信した監視装置から所望の画像データが送信され、これを当該端末装置が受信するまでの時間を計測する機能であって、
   前記展開時間計測機能は、当該端末装置が受信した画像データの少なくとも圧縮率、解像度、フレームレートの何れかのパラメータに応じて当該端末装置が映像表示のための画像データの展開が実行され、前記画像データを受信してから当該画像データの展開が実行される時間を計測する機能であって、
   前記描画時間計測機能は、前記画像データが展開されてから、当該端末装置が前記画像データの展開がされてこれが表示部に表示される描画が実行されるまでの時間を計測する機能であって、
   前記計測した受信時間と展開時間と描画時間とを前記画像データと同一の画面に表示する計測時間表示機能を備えたことを特徴とするネットワーク監視システムに用いる画像表示プログラム。
2. 請求項１に記載の画像表示プログラムにおいて、
   前記受信時間又は前記展開時間又は前記描画時間の少なくともいずれか１つと所定の基準値との比較に基づいて、前記画像データを生成する際の少なくとも圧縮率、解像度、フレームレートの何れかのパラメータに応じて前記監視装置に対してパラメータの変更を要求するパラメータ変更機能を備え、
   前記パラメータの変更の要求に応じて監視装置は当該要求のあった端末装置に送信する画像データを所定のパラメータに応じて変更することを特徴とするネットワーク監視システムに用いる画像表示プログラム。
3. 請求項１に記載の画像表示プログラムにおいて、
   前記受信時間又は前記展開時間又は前記描画時間の少なくともいずれか１つが所定の基準値に入っていない場合には、当該時間を表示している文字又は箇所の色付けの変更を行う、或いは、メッセージの表示を行う機能を備えたことを特徴とするネットワーク監視システムに用いる画像表示プログラム。
4. 請求項１乃至請求項３に記載の画像表示プログラムを前記監視装置が備え、
   前記少なくとも１つの端末装置からの当該画像表示プログラムのダウンロードの要求に従って当該要求のあった端末装置に当該画像表示プログラムを送信し、
   これを受信した端末装置は、該受信した画像表示プログラムを実行することを特徴とするネットワーク監視システム。

Images