JP6415387B2 - 表示制御装置、表示制御方法及びプログラム - Google Patents

表示制御装置、表示制御方法及びプログラム Download PDF

Info

Publication number
JP6415387B2
JP6415387B2 JP2015109088A JP2015109088A JP6415387B2 JP 6415387 B2 JP6415387 B2 JP 6415387B2 JP 2015109088 A JP2015109088 A JP 2015109088A JP 2015109088 A JP2015109088 A JP 2015109088A JP 6415387 B2 JP6415387 B2 JP 6415387B2
Authority
JP
Japan
Prior art keywords
display
video
unit
video distribution
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015109088A
Other languages
English (en)
Other versions
JP2016225758A (ja
Inventor
吉孝 長尾
吉孝 長尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015109088A priority Critical patent/JP6415387B2/ja
Publication of JP2016225758A publication Critical patent/JP2016225758A/ja
Application granted granted Critical
Publication of JP6415387B2 publication Critical patent/JP6415387B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、適切なタイミングで映像を表示する技術に関する。
従来、複数の監視カメラ等の撮影装置で撮影対象物等を撮影し、表示装置で表示する場合、表示装置が予め定めた間隔ごとに撮影装置からの映像を順次、切り換えて表示し、ライブ映像の監視を行っている。このとき、複数の撮影装置の映像データを常時、表示装置に送信する。そして、表示装置が必要な映像を選択して、表示に使用するシステム等がある。しかし、撮影装置から表示装置までの回線の帯域には限界があり、多くの撮影装置の映像を表示しようとすると、画像サイズを小さくしたり、表示フレーム数や映像品質を落としたりして、ビットレートを低くする必要があった。
このため、常時、表示するのではなく、表示が必要になるタイミングに応じて、表示装置から撮影装置へ映像配信開始コマンドを送る。そして、撮影装置は、映像配信開始コマンドを受け取ると、表示装置へ映像配信を行う。表示装置は、表示が終了し、映像を受信する必要がなくなった場合、撮影装置へ映像配信終了コマンドを送って、撮影装置からの映像配信を停止する。このようにすることにより回線の帯域を有効に利用することが提案されている。
基準フレーム(Iフレーム)と差分フレーム(Pフレーム)とから構成された圧縮された映像を、所定間隔で表示切り換えを行う場合、Iフレームが受信されるまで、映像の復号化が行えない。そのため、特許文献1では、Iフレーム間隔分に基づいて定められる所定時間前に映像取得指令を出すことが提案されている。
特開2006−186708号公報
しかしながら、撮影装置のなかには、映像取得指令により映像を送信させると、Iフレーム挿入を行うものがある。この場合、Iフレーム間隔分の所定時間前に映像取得指令を行うと映像データを送出するのが早すぎることがあり、多くの撮影装置を使用している場合は、ネットワークの帯域に負荷がかかり、不利に働くことがある。また、図9のようにカメラや、例えば、フレームレート等、Iフレーム間隔以外の設定値によっても映像取得指令から映像を受信して表示できるまでの時間が異なる場合もある。このため、図10(a)及び(b)のように、カメラの表示タイミングに合わせて、単純にIフレーム間隔を基準に定めた時間だけ前に映像取得指令を出して表示切り換えを行ったとしても、表示できない期間がある。特に図10(c)のように複数のカメラの映像を1画面に表示している場合には、それぞれの表示切換タイミングが異なり、まばらに表示が始まり、表示しない時間が生じることがあり、監視できる期間が異なり、適切な監視ができないことがある。
この現象は複数のカメラを切り換えるときだけでなく、録画再生装置と撮影装置とを切り換えるときにも起こり得る。
本発明は、挙動や性質の異なる撮影装置や映像再生装置等の映像配信装置に応じて、適切なタイミングで映像を表示することを目的とする。
本発明は、映像を配信することを要求する情報である要求情報を映像配信装置へ送信する通信部と、前記要求情報が送信された時刻から、前記要求情報において要求した映像を表示可能となる時刻までの時間である表示準備時間を計測する計測手段と、前記映像配信装置から配信される映像を表示部に表示させる場合に、前記通信部から前記映像配信装置へ前記要求情報を送信させる制御手段とを有し、前記制御手段は、所定の表示タイミングに基づいて前記映像配信装置から配信される映像を前記表示部に表示させる場合、前記表示準備時間に基づいて、前記所定の表示タイミングよりも前に、前記通信部から前記映像配信装置へ前記要求情報を送信させることを特徴とする表示制御装置である。
本発明によれば、挙動や性質の異なる撮影装置や映像再生装置等の映像配信装置に応じて、適切なタイミングで映像を表示することができる。
監視システムのシステム構成等の一例を示す図である。 撮影装置及び表示装置のハードウェア構成の一例を示す図である。 本実施形態の監視システムの表示等を説明するための図である。 実施形態1のシーケンス図である。 実施形態1のシーケンス図である。 実施形態1のフローチャートである。 実施形態2のシーケンス図である。 実施形態2のフローチャートである。 実施形態3のフローチャートである。 従来の技術を説明するための図(その1)である。 従来の技術を説明するための図(その2)である。
以下、本発明の実施形態について図面に基づいて説明する。
<実施形態1>
図1は、監視システムのシステム構成等の一例を示す図である。
監視システムは、撮影装置101、表示装置102、及び録画再生装置(映像再生装置)103がネットワーク104を介して相互に接続されて構成されている。表示装置102は、撮影装置101が撮影する画像を表示し、撮影装置101で撮影する撮影条件を指示するためのユーザーインタフェースを提供する。録画再生装置103は、撮影装置101が撮影する画像データを記録する。ネットワーク104は、LANやインターネット等のIPベースの通信が可能な通信回線である。このネットワーク104は、有線/無線の形態を問わず、用途や目的に応じて、必要な形態の通信回線が実装される。撮影装置101は、指定された撮影条件に従って映像を撮影し、その映像をネットワーク104経由で配信することができる。
撮影装置101は、機能構成として、撮影部105、制御部106、及び通信部107を有している。
撮影部105は、撮影装置101に接続されるカメラ等の撮影デバイスを有している。撮影デバイスは、レンズ等の光学系の部材や、CMOSイメージセンサ(Complementary Metal Oxide Semiconductor Image Sensor)やCCDイメージセンサ(Charge Coupled Device Image Sensor)を有しており、被写体を撮影して、映像を取得する。撮影部105では、例えば、1秒間に30フレーム分の画像を取得して、30fpsの動画像を取得することができる。本実施形態では、撮影部105は、撮影デバイスから取得したビデオ画像をH.264等のネットワーク配信可能なデジタル画像データに変換する(コーディングする)機能も提供する。以降の説明において、「映像」又は「画像データ」は、撮影部105によって生成された画像データであるものとして説明する。
制御部106は、ユーザーの指示に応じて、撮影部105の画角や撮影方向、1秒あたりのフレーム数、取得する画像の種類等の撮影条件を調整する。ユーザーの指示は、ネットワーク104を介して表示装置102から行ってもよいし、直接、撮影装置101に接続したコンソール端末によって行うこともできる。また、制御部106による撮影条件の調整は、撮影装置101に予め記憶された設定値に応じて行うこともできる。また、制御部106は、表示装置から送信される命令に応じて、撮像部に画像データの生成を開始させたり、終了させたりする。
通信部107は、撮影部105が取得した画像データをネットワーク104経由で表示装置102や、録画再生装置103に送信する。また、通信部107は、表示装置102や、録画再生装置103で設定された、撮影部105を制御するための設定情報や命令を受信する。制御部106は、前記設定情報や前記命令に従って撮影装置101の動作を制御する。
表示装置102は、機能構成として、通信部110、表示部111、入力部112、表示制御部113、及び撮影制御部114を有している。
通信部110は、撮影装置101から送信される画像データを受信する。また、通信部110は、ユーザーが表示装置102を使用して設定した設定情報や制御情報、各種の要求を示す情報等を撮影装置101に送信する。例えば、通信部110は、映像を配信することを要求する情報である要求情報を撮影装置101へ送信する。
表示部111は、撮影装置101から配信された画像データを表示する。入力部112は、撮影装置101の設定を変更するための入力を行う。撮影装置101を複数台接続したり、録画再生装置を接続したりする場合、入力部112は、1画面で複数台分の撮影画像データを表示部111に表示するための指示の入力を行うことができる。また、入力部112は、1つの撮影画像データを選択して、その撮影画像を表示部111に表示するための指示の入力を行うことができる。
表示制御部113は、撮影装置101から送信された画像や設定画面を表示部111に表示する制御を行う。また、表示制御部113は、複数の撮影装置や録画再生装置から送信される映像を所定間隔で順次切り換えて表示する制御を行うことができる。また、このために、表示制御部113は、圧縮された画像データをデコードすることもできる。また、表示制御部113は、タイマーを有しており、後述する表示準備時間を計測する機能も有するものとする。この計測機能は、表示制御部113とは別体とすることもできる。
撮影制御部114は、入力部112で設定された設定情報に応じて、撮影装置101の撮影方向や画角を含む撮影条件を算出して、撮影装置101の撮影を制御する。また、撮影制御部114は、撮影装置101の画像のコーディング方法や毎秒あたりのフレーム数、通信等の各種制御パラメータ、画像配信制御命令についても指示することができる。また、撮影制御部114は、このような指示を出したり、表示を切り換えたりするために、通信部110から撮影装置101へ情報を送信させることもできる。
表示制御部113及び撮影制御部114は、CPU等のプロセッサで実現することができ、単一の制御手段としてもよいし、本実施形態のように複数の制御手段としてもよい。
ネットワーク104には、必要に応じて、録画再生装置や、複数の表示装置102、撮影装置等を接続することができる。
図2は、撮影装置101及び表示装置102のハードウェア構成の一例を示す図である。
CPU201は、撮影装置101を統括制御する制御装置である。ROM202は、プログラム等を記憶する。撮影装置101は、ROM202に代えて、二次記憶装置を有する構成であってもよい。RAM203は、CPU201がROM202から読み出したプログラムを展開し、処理を実行するためのメモリである。また、RAM203は、一時記憶メモリとして各種処理の対象となるデータを一時記憶するための記憶領域としても使用される。CPU201が、ROM202等に記憶されているプログラムに基づき処理を実行することにより、撮影装置101の上述した機能構成や後述する撮影装置に係るシーケンス図の処理、フローチャートの処理等が実現される。
ネットワークインタフェース204は、ネットワーク104を介して通信を行う回路である。ネットワークインタフェース204は、例えば、表示装置102への画像データや設定情報、エラー情報の送信、及び表示装置102からの設定情報、画像配信制御命令の受信のために使用される。撮影デバイス205は、ライブ画像を動画及び静止画として撮影する画像センサを有するデバイスである。撮影デバイス205は、画角や撮影方向等の撮影条件を自動調整することもできる。また、撮影デバイス205は、パン、チルト及びズーム機構を有し、CPU201の制御によって、パン、チルト及びズーム(望遠制御/広角制御)動作を実行する。
撮影装置101は、一般的にネットワークカメラが使用できる。また、アナログカメラの場合には、エンコードやネットワーク接続をするための機器を接続して使用することがきできる。
表示装置102において、CPU210は、表示装置102を統括制御する制御装置である。二次記憶装置211は、プログラム等を記憶する。RAM212は、二次記憶装置211から読み出したプログラムを展開し、処理を実行するためのメモリである。また、RAM212は、一時記憶メモリとして各種処理の対象となるデータを一時記憶するための記憶領域としても使用される。
ネットワークインタフェース213は、ネットワーク104を介して通信を行う回路である。ネットワークインタフェース213は、例えば、撮影装置101からの画像データや設定情報の受信、及び撮影装置101への設定情報の送信のために使用される。表示デバイス214は、画像データや表示枠を表示するディスプレイ等のデバイスである。入力装置215は、数値入力用のキーボード及び表示デバイス214の表示領域の特定の表示位置を指示するためのポインティングデバイスであり、マウスやタッチパネル等が用いられる。
CPU210が、二次記憶装置211等に記憶されているプログラムに基づき処理を実行することにより、表示装置102の上述した機能構成や後述する表示装置102に係るシーケンス図の処理、フローチャートの処理等が実現される。なお、CPUに限らず、デジタルシグナルプロセッサや、マイクロプロセッサ、FPGA(field-programmable gate array)等の制御装置を用いてもよい。
また、録画再生装置103についても、表示装置102と同様に構成できる。録画再生装置103は、画像を記録するために二次記憶装置は、容量が大きいものが好ましい。二次記憶装置は、筐体内に内蔵されるものや筐体外部でUSB接続やネットワーク接続をするもの等を選択することができる。録画再生装置103のCPUや録画再生装置103の二次記憶装置等に記憶されているプログラムに基づき処理を実行することによって、録画再生装置103の機能等が実現される。
表示装置102と録画再生装置103とは同一のPCで構成して、表示と録画との両方の機能を持つ構成にすることができる。また、録画再生装置103に表示制御や撮影制御の機能を盛り込んで、この中で表示用のデータを生成し、表示装置は、そのデータを表示させるのみの構成にすることもできる。
次に図3と図4とを用いて、表示装置102が撮影装置101の映像を表示する際のシーケンスを説明する。
図3(a)及び(b)のように、表示装置301が、撮影装置302と撮影装置303との2台のカメラの映像を一定間隔で表示するものとする。その際、図4のように、まず、表示装置301の通信部110は、撮影装置302に対して、映像を配信することを要求する映像配信開始コマンド(要求情報)を送信し(SC410)、映像配信を要求する。撮影装置302は、映像配信を開始し(SC411)、映像配信停止コマンドを受け取るまで、映像配信処理(SC412)を行う。映像配信された表示装置301は、配信された画像データのデコード等、必要な処理を行い、表示(SC413)を行う。所定時間の表示を行ったあと、撮影装置303の映像に切れ目なく切り換え表示を行うためには、表示装置301は、映像配信開始コマンドを表示切換タイミングより表示準備時間Tだけ早く撮影装置303に送信する(SC415)。そして、撮影装置303による映像配信の開始(SC416)と表示装置301による表示(SC418)の開始とを表示切換タイミングより前に行う。次に、監視システムが表示装置301に表示する映像を撮影装置302の映像に切り換えるときも同様の処理を行う。
この表示準備時間Tは、撮影装置302及び撮影装置303ごとに異なるため、表示切り換えを行うより前に算出する必要があり、この算出方法を、図5A及び図5Bを用いて説明する。
図5Aは、H.264で符号化した映像データをRTPで伝送するために、表示装置と撮影装置との間の通信制御をRTSPに基づき行った場合のタイムチャートを示したものである。ここで、RTPは、Real−time Transport Protocolの略である。また、RTSPは、Real−time Transport Streaming Protocolの略である。
表示装置と撮影装置との間で行う映像配信開始処理(SC410)として、最初に表示装置301の通信部110は、DESCRIBE(接続情報の要求)命令510を撮影装置302に送信する(S501)。H.264で符号化した映像データをRTPで伝送する場合は、このDESCRIBE(接続情報の要求)命令510が要求情報である。要求情報となる命令は伝送方式等によって異なるが、映像の配信を開始するために行う処理において、最初に送信する情報であればよい。
撮影装置302は、この命令を正常に受け取った応答(RTSP OK)と共に、映像データやオーディオデータを受信するのに必要な情報511とを表示装置301へ送信する(S502)。この情報は、SDP(Session Description Protocol)で記述される。表示装置301は、受信したこの情報(SDPデータ)を基にSETUP(セッション確立要求)命令を出し(S503)、正常に受け取った応答を得る(S504)。その後、表示装置301は、続いてPLAY(プレイ)命令を発行する(S505)。すると、撮影装置302は、応答送信した(S506)後、映像データの送信を開始する(SC411)される。この映像データは、一般的なカメラは、最初にIフレームが、複数のパケットに分割されて送出され、表示装置301でIフレームが含まれる最後のパケットを取得する(S507〜S509)と表示可能な状態となる。
本実施形態では、表示装置301は、図5B(b1)のフローチャートに示すような、処理を実行し、表示準備時間Tを計測する。即ち、表示装置301は、映像配信開始処理のスタートとなるDESCRIBE命令(要求情報)を発行した時刻t1を取得する(S510)。次に、表示装置301は、映像表示準備が完了するIフレームの最後のパケットを受信する時刻t2を取得する(S511)。そして、表示装置301は、時刻t1から時刻t2までの時間T(=t2−t1)を、表示準備時間Tとする(S512)。表示装置301は、撮影装置情報が登録、又は設定される際に、撮影装置ごとに図5B(b1)の処理を行う。また、表示装置301と撮影装置との接続が確立された後に表示準備時間Tを計測してもよい。
なお、表示装置301の表示制御部113は記憶機能を有しており、計測機能によって計測した表示準備時間Tを記憶する。表示装置301は、撮影装置ごとに表示準備時間Tを計測し、各撮影装置と各表示準備時間Tとを関連付けて記憶する。
また、表示装置301は、撮影装置が配信する映像の種類ごとに表示準備時間Tを計測して、撮影装置と、映像の種類と、表示準備時間Tとを関連付けて記憶してもよい。映像の種類とは、例えば、映像のビットレート、フレームレート、解像度等である。
次に、表示装置301は、図5B(b2)のフローチャートに示すような、処理を実行し、映像表示を切り換える。
表示装置301は、次に表示する撮影装置の表示準備時間Tが計測済みの場合、その表示準備時間Tを取得する(S513)。そして、表示装置301の表示制御部113は、表示切換タイミングよりもTだけ早く、映像配信開始処理をスタートさせる(S514)。
なお、表示制御部113は、表示切換タイミングよりも、表示準備時間Tに1以上の係数をかけた時間だけ早く、映像配信開始処理をスタートさせてもよい。また、表示制御部113は、表示切換タイミングよりも、複数回計測した表示準備時間Tの平均値だけ早く、映像配信開始処理をスタートさせてもよい。
表示装置301は、表示切換のタイミングが来たら、次に表示する撮影装置の映像を表示し(S515)、これまで表示していた映像配信を停止する処理を実施する(S516)。表示装置301は、これらのステップを表示したい撮影装置に対して、例えば、撮影装置302→撮影装置303→撮影装置302→撮影装置303→・・・と順次繰り返して行っていく。
本実施形態では、撮影装置を順次切り換えて1台ずつ表示する例を示した。しかし、図3(c)のように1台の表示デバイスの画面を分割して複数の撮影装置の映像を表示する場合でも、表示装置は、複数の撮影装置に対し、同時に同様の処理を行えばよい。また、本実施形態では、表示準備時間Tの算出を、映像配信開始処理のスタートからIフレームの最後のパケットを受信するまでとした。しかし、表示装置は、映像配信開始処理のスタートから受信したIフレームのデコードを完了するまでの時間やIフレームの表示を完了するまでの時間を計測して、表示準備時間Tを算出してもよい。
更に、表示装置は、表示準備期間Tの算出を、撮影装置の登録・設定時に行うとしたが、表示切り換え時に測定・算出し、次回以降の切り換え時に、その値を設定できるようにしてもよい。
以上説明したように、本実施形態の処理によれば、所望の映像配信装置の映像の表示を開始する際に、表示準備時間Tに基づいて、表示タイミングより前に映像開始処理を始め、表示期間が終了後に映像終了処理を行うことができる。このことで、前の表示から切れ目がなく表示することができ、ユーザーが監視できない期間がなく、有効な監視をすることができ、かつ、ネットワークの帯域を有効に利用することができる。
<実施形態2>
本実施形態では、実施形態1と同様の構成で、表示装置301が、撮影装置302と撮影装置303との2台のカメラの映像を所定の間隔で繰り返し、表示するものとする。
図6は、表示装置102が撮影装置101の映像を表示する際のシーケンスを示すシーケンス図である。
最初に、表示装置301は、撮影装置302と撮影装置303に対して、映像配信開始処理を行い、映像配信を要求する(SC601、SC602)。つまり、表示装置301の通信部110は、映像を配信することを要求する情報である要求情報を撮影装置302及び撮影装置303へ送信する。
このとき、表示装置301は、まだ、映像の表示はしないものとする。また、表示装置301は、撮影装置302、303が送出するデータのビットレートが少なくなるように、解像度やフレームレート等が低い、画質の低い映像が配信される設定(低ビットレート配信設定)とする。その他にも、圧縮方式を変えてビットレートを低くしてもよい。例えば、表示装置301は、低いビットレートでの配信を要求する旨のコマンドを撮影装置302、303に送信する。なお、解像度やフレームレートを低くすることに限らず、後述するビットレートが高い映像よりも、ビットレートが低い映像が配信される設定であればよい。
撮影装置302、303は、前記コマンドに基づき、低いビットレートで配信を行う旨の設定を行う。撮影装置302や撮影装置303は、この設定に応じて、映像配信処理を行い(SC603、604)、表示装置301に低ビットレートで映像配信を始める(SC605、SC606)。低いビットレートの映像は、第1の映像の一例である。このように、撮影装置302が配信する映像が表示部111に表示されない期間である非表示期間では、基本的に低い画質で映像を配信する。
次に、表示装置301は、撮影装置302の映像に表示を切り換えるタイミング(SC610)より、撮影装置302で必要な表示準備時間Tだけ前に、撮影装置302に対し、配信映像変更手順を実施する(SC607)。つまり、表示装置301の通信部110は、ビットレートの高い映像を配信することを要求する要求情報を撮影装置302へ送信する。この要求情報によって、撮影装置302は、第1の映像の配信に換えて、第1の映像よりもビットレートが高い、第2の映像を配信することとなる。
実際に表示デバイスに表示するために、要求情報に応じて、撮影装置302が配信する映像が表示部111に表示されない期間である非表示期間よりもビットレートが高い(例えばフレームレートや解像度が高い)映像を配信するように撮影装置302の設定が変更される。このような設定では、前述した低いビットレートの映像よりも、基本的に高い画質となる。
そして、撮影装置302は、必要な映像配信処理を行う(SC608)と共に、変更後の映像配信を開始する(SC609)。表示装置301は、撮影装置302の映像を表示する(SC610)。
表示装置301は、撮影装置302の映像を所定時間表示した後、撮影装置303の映像に表示を切り換える(SC614)。しかし、表示装置301は、この切り換えのタイミングより、撮影装置303で必要な表示準備時間Tだけ前に、撮影装置303に対し、配信映像変更処理を実施する(SC611)。
つまり、表示装置301の通信部110は、画質の高い映像を配信することを要求する要求情報を撮影装置303へ送信する。この要求情報によって、撮影装置303は、第1の映像の配信に換えて、第1の映像よりも画質が高い、第2の映像を配信することとなる。
実際に表示デバイスに表示するために、非表示期間より画質の高い(例えばフレームレートや解像度が高い)映像を配信するように撮影装置303の設定が変更される。そして、撮影装置303は、必要な映像配信処理を行う(SC612)と共に、変更後の映像配信を開始する(SC613)。表示装置301は、撮影装置303の映像を表示する(SC614)。
表示装置301は、撮影装置303の映像に切り替わった場合、撮影装置302に対し、送出するデータのビットレートが少なくなるように、解像度やフレームレート等が低い、画質の低い映像が配信される設定にするための処理を行う(SC615)。
つまり、表示装置301の通信部110は、ビットレートが低い映像を配信することを要求する要求情報を撮影装置302へ送信する。この要求情報によって、撮影装置302は、第2の映像の配信に換えて、第2の映像よりもビットレートが低い、第1の映像を配信することとなる。
撮影装置302は、要求情報に応じて、必要な映像配信処理を行う(SC616)と共に、変更後の映像配信を開始する(SC617)。
撮影装置303の映像を所定時間表示した後、次に撮影装置302の映像が表示されるが、上記と同様の処理が行われる(SC618〜SC625)。
図7は、表示装置301における処理の一例を示すフローチャートである。
本実施形態では、まず、表示装置301は、順次、切り換えて表示しようとしている撮影装置(例えば、撮影装置302、303)に対し、低ビットレートの映像を配信する設定で、映像配信開始処理を行う(S701)。
その後、表示装置301は、次に表示対象となる撮影装置(例えば、撮影装置302)の表示準備時間Tを取得する(S702)。このとき、表示装置301は、それまでに表示準備時間Tを算出していなかった場合、Tを予め設定された初期値で示される時間にしてもよい。初期値は0秒でもよいし、数秒程度でもよい。
所定の表示切換タイミングよりTだけ前になった場合、表示装置301は、以下の処理を実行する。即ち、表示装置301の計測手段は、次に表示対象となる撮影装置(例えば、撮影装置302)に対し、映像配信変更処理を実施し、このとき、高ビットレート配信設定とすると同時に表示準備時間Tを算出するために計測するタイマーをスタートさせる(S703)。この映像配信変更処理は、上述したSC607や、SC611で説明した処理である。
表示装置301は、所定の表示切換タイミングで、次に表示する撮影装置(例えば、撮影装置302)の映像に切り換えると共に、次に表示する撮影装置から高ビットレートの映像データを受信したらタイマーを停止させる。そして、表示装置301は、計測された時間から表示準備時間Tを算出する(S704)。なお、事前に表示時間Tを計測していれば、必ずしも毎回計測しなくてもよい。
表示装置301は、表示する映像の切り換えが終了した場合、それまで表示していた撮影装置(例えば、撮影装置303)に対し、低ビットレートの配信を行うように映像配信変更処理を実施する(S705)。この映像配信変更処理は、上述したSC615や、SC622で説明した処理である。
表示装置301は、表示する処理を終了するか否か判定する(S706)。表示装置301は、表示する処理を終了すると判定した場合、図7に示す処理を終了し、表示する処理を終了しないと判定した場合、S702の処理に戻る。例えば、表示装置301は、入力装置215等を介して処理を終了する旨の操作等を受け取った場合、表示する処理を終了すると判定する。
以上説明したように、本実施形態の処理によれば、表示不要な期間は、低ビットレートの映像の配信をさせておく。そして、所定の時間ごとに表示を切り換える際に、表示切換タイミングより映像準備時間Tだけ前に、高ビットレートの映像を表示するための映像配信変更処理の実施を始め、表示期間が終了した後に、低ビットレートになるように映像配信変更処理を実施する。即ち、表示の必要な期間のみ高ビットレートの画像を表示することで、ネットワークの帯域を有効に利用しつつ、仮にネットワークの遅延や映像装置の負荷増大等で、表示に必要な画像データの配信が遅れたとしても、低ビットレートの映像を受信しているため、この低ビットレートの映像を表示することができる。そのため、前に表示されていた撮影装置の映像から切れ目がなく表示切り換えをすることができ、監視カメラに適用した場合は、ユーザーが監視できない期間がなく、有効な監視をすることができる。
本実施形態では、高ビットレートの期間と低ビットレートの期間とを切り換えて表示する例を説明した。しかし、表示装置301は、表示すべき期間が終了した後、一旦、撮影装置に配信停止処理を実施し、表示切換タイミングより表示準備時間Tだけ前より更に前(例えば、所定時間前)に、低ビットレートの配信を開始する処理を実施するようにしてもよい。そして、表示装置301は、表示切換タイミングより表示準備時間Tだけ前になった場合、前記撮影装置の映像の配信を低ビットレートから高ビットレートの配信に変更するようにしてもよい。即ち、表示装置301は、実施形態1と実施形態2とを組み合わせても実施してもよい。
<実施形態3>
本実施形態では、実施形態1と同様の構成で、表示装置301が、撮影装置302と撮影装置303との2台の撮影装置の映像を所定の間隔で切り換えて、表示するものとする。表示装置301が、映像表示切り換え時に映像配信開始処理を予め設定された表示切換タイミングより表示準備期間だけ前に開始し、実際の映像表示準備完了に応じて表示切り換えタイミングを微調整する動作について図8のフローチャートを使って説明する。
まず、表示装置301は、次に表示対象となる撮影装置の表示準備時間Tを取得する(S801)。このとき、表示装置301は、それまでに表示準備時間Tを算出していなかった場合、前述のように、Tを予め設定された初期値で示す時間としてもよい。
所定の切換タイミングよりTだけ前になった場合、表示装置301は、次に表示対象となる撮影装置に対し、映像配信変更処理を実施する。つまり、表示装置301の通信部110は、次に表示対象となる撮影装置に対して、要求情報を送信する。このとき、表示装置301は、高ビットレートで配信する設定とすると共に、表示準備時間Tを算出するために計測するタイマーをスタートさせる(S802)。
表示装置301は、次に表示する撮影装置の映像データが受信でき、表示可能な状態になった場合、タイマーを停止させ、この計測された時間Tを表示準備時間Tとして記憶する(S803)。また、表示装置301は、その表示可能な状態が、所定の表示切換タイミング後になっていた場合、映像表示を切り換える(S804)。言い換えると、表示装置301は、表示切換タイミングにおいて、要求情報で要求した映像が表示可能となっていない場合は、表示切換タイミングより前に表示していた映像を、表示切換タイミング以降(表示タイミング以降)も表示部111に表示させ、要求情報で要求した映像が表示可能となると、表示を切り換える。
更に、表示装置301は、表示切り換え前の撮影装置に対し、映像配信停止処理を実施する(S805)。
表示装置301は、映像を表示する処理を終了するか否か判定する(S806)。表示装置301は、表示する処理を終了すると判定した場合、図8に示す処理を終了し、表示する処理を終了しないと判定した場合、S801の処理に戻る。例えば、表示装置301は、入力装置215等を介して処理を終了する旨の操作等を受け取った場合、表示する処理を終了すると判定する。
本実施形態では、表示装置301は、表示切換の際に毎回、映像表示準備にかかる時間Tを計測した。しかし、表示装置301は、どの撮影装置を使用するかを登録されたときや、撮影装置から配信される映像に係る画像サイズ、映像品位、ビットレート、フレームレート等の指定が行われたときに、時間Tを測定して表示準備時間Tとしてもよい。
以上説明したように、本実施形態の処理によれば、所定の時間ごとに切り換える際に、その表示準備時間Tだけ、表示切換タイミングより前に映像開始処理を始め、所望の映像データが届いてから表示し、表示期間が終了後に映像終了処理を行う。このことで、予期しないネットワークの遅延等がその表示切替時にあっても、表示から切れ目がなく表示することができ、また、監視カメラに適用した場合、映像の切り換え間隔がほぼ設定通りとなり、有効な監視をすることができ、かつ、ネットワークの帯域を有効に利用することができる。
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。例えば、録画再生装置に録画された映像を表示装置に表示していて、撮影装置からの映像に切り換える場合にも適用できるし、映像配信装置として録画再生装置のみを用いてシステムに適用することもできる。また、録画機能を有していない映像再生装置を用いたシステムにも適用することができる。
以上、上述した各実施形態の処理によれば、ネットワーク帯域に負荷をかけず、挙動や性質の異なる撮影装置や録画再生装置等の映像配信装置に応じて、適切なタイミングで映像を受信し表示することができる。
102 表示装置
110 通信部
114 撮影制御部
113 表示制御部
210 CPU
214 表示デバイス

Claims (16)

  1. 映像を配信することを要求する情報である要求情報を映像配信装置へ送信する通信部と、
    前記要求情報が送信された時刻から、前記要求情報において要求した映像を表示可能となる時刻までの時間である表示準備時間を計測する計測手段と、
    前記映像配信装置から配信される映像を表示部に表示させる場合に、前記通信部から前記映像配信装置へ前記要求情報を送信させる制御手段と
    を有し、
    前記制御手段は、所定の表示タイミングに基づいて前記映像配信装置から配信される映像を前記表示部に表示させる場合、前記表示準備時間に基づいて、前記所定の表示タイミングよりも前に、前記通信部から前記映像配信装置へ前記要求情報を送信させる
    ことを特徴とする表示制御装置。
  2. 前記表示準備時間は、前記映像配信装置が前記要求を受信したことに応じて配信する最初のフレームの映像データを前記通信部が受信するまでの時間である
    ことを特徴とする請求項1記載の表示制御装置。
  3. 前記映像配信装置から配信される映像データをデコードするデコード手段を有し、
    前記表示準備時間は、前記映像配信装置が前記要求を受信したことに応じて配信する最初のフレームの映像データを前記通信部が受信し、前記デコード手段が前記最初のフレームの映像データをデコードするまでの時間である
    ことを特徴とする請求項1又は2に記載の表示制御装置。
  4. 前記計測手段は、前記配信装置と前記通信部との通信が確立したタイミングにおいて、前記表示準備時間を計測する
    ことを特徴とする請求項1〜3のいずれか1項に記載の表示制御装置。
  5. 前記制御手段は、複数の映像配信装置が配信する映像を、予め定められた切換タイミングで、順次、切り換えて表示させ、
    前記所定の表示タイミングは、前記切換タイミングである
    ことを特徴とする請求項1〜4のいずれか1項に記載の表示制御装置。
  6. 前記制御手段は、前記所定の表示タイミングに基づいて前記映像配信装置から配信される映像を前記表示部に表示させる場合において、前記計測手段によって前記表示準備時間が計測されていないときは、前記所定の表示タイミングよりも、予め定められた初期値で示される時間前に、前記通信部に前記要求を送信させる
    ことを特徴とする請求項1〜5のいずれか1項に記載の表示制御装置。
  7. 前記映像配信装置は、第1の映像と、前記第1の映像よりビットレートが高い第2の映像とを配信可能である
    ことを特徴とする請求項1〜6のいずれか1項に記載の表示制御装置。
  8. 前記計測手段は、前記第1の映像における前記表示準備時間と、前記第2の映像における前記表示準備時間とを計測する
    ことを特徴とする請求項7記載の表示制御装置。
  9. 前記制御手段は、前記映像配信装置が前記所定の表示タイミングよりも前に前記第1の映像を配信している場合、前記表示準備時間に基づいて、前記所定の表示タイミングよりも前に、前記第1の映像の配信に換えて前記第2の映像を配信することを要求する要求情報を、前記通信部から前記映像配信装置へ送信させる
    ことを特徴とする請求項7又は8に記載の表示制御装置。
  10. 前記制御手段は、前記所定の表示タイミングにおいて、前記要求情報で要求した映像が表示可能となっていない場合は、前記所定の表示タイミングより前に表示していた映像を、前記所定の表示タイミング以降も前記表示部に表示させる
    ことを特徴とする請求項1〜9のいずれか1項に記載の表示制御装置。
  11. 前記制御手段は、複数の映像配信装置が配信する映像を前記表示部に表示させることが可能であり、
    前記計測手段は、複数の映像配信装置それぞれにおける前記表示準備時間を計測する
    ことを特徴とする請求項1〜10のいずれか1項に記載の表示制御装置。
  12. 前記通信部は、前記所定の表示タイミングより前に前記表示部に表示されるとともに、前記所定の表示タイミングより後に前記表示部に表示されない映像を配信していた映像配信装置に対して、映像の配信を停止することを要求する情報を送信する
    ことを特徴とする請求項1〜11のいずれか1項に記載の表示制御装置。
  13. 前記通信部は、前記所定の表示タイミングより前に前記表示部に表示されるとともに、前記所定の表示タイミングより後に前記表示部に表示されない映像を配信していた映像配信装置に対して、配信する映像の画質を低くすることを要求する情報を送信する
    ことを特徴とする請求項1〜12のいずれか1項に記載の表示制御装置。
  14. 前記映像配信装置は、撮影装置、又は映像再生装置である
    ことを特徴とする請求項1〜13のいずれか1項に記載の表示制御装置。
  15. 映像を配信することを要求する情報である要求情報を通信部から映像配信装置へ送信する通信工程と、
    前記要求情報が送信された時刻から、前記要求情報において要求した映像を表示可能となる時刻までの時間である表示準備時間を計測する計測工程と、
    前記映像配信装置から配信される映像を表示部に表示させる場合に、前記通信部から前記映像配信装置へ送信させる表示制御工程と
    を有し、
    前記表示制御工程では、所定の表示タイミングに基づいて前記映像配信装置から配信される映像を前記表示部に表示させる場合、前記表示準備時間に基づいて、前記所定の表示タイミングよりも前に、前記通信部から前記映像配信装置へ前記要求情報を送信させる
    ことを特徴とする表示制御方法。
  16. コンピュータを、請求項1〜14のいずれか1項に記載の表示制御装置の計測手段及び制御手段として機能させるためのプログラム。
JP2015109088A 2015-05-28 2015-05-28 表示制御装置、表示制御方法及びプログラム Active JP6415387B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015109088A JP6415387B2 (ja) 2015-05-28 2015-05-28 表示制御装置、表示制御方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015109088A JP6415387B2 (ja) 2015-05-28 2015-05-28 表示制御装置、表示制御方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2016225758A JP2016225758A (ja) 2016-12-28
JP6415387B2 true JP6415387B2 (ja) 2018-10-31

Family

ID=57746726

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015109088A Active JP6415387B2 (ja) 2015-05-28 2015-05-28 表示制御装置、表示制御方法及びプログラム

Country Status (1)

Country Link
JP (1) JP6415387B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7077557B2 (ja) * 2017-09-26 2022-05-31 ソニーグループ株式会社 表示制御装置および表示制御方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4355931B2 (ja) * 2004-03-31 2009-11-04 サクサ株式会社 監視警報装置および送信先切り換え制御方法
JP4024794B2 (ja) * 2004-12-28 2007-12-19 株式会社日立国際電気 映像復号化装置及びプログラム
JP2006246384A (ja) * 2005-03-07 2006-09-14 Fujitsu Ltd デコードプログラム、デコード方法およびデコーダ
JP2007052621A (ja) * 2005-08-18 2007-03-01 Nippon Telegr & Teleph Corp <Ntt> ファイル転送時間推定装置と方法およびプログラム
JP2014017554A (ja) * 2012-07-05 2014-01-30 Canon Inc 画像符号化装置
JP2014143496A (ja) * 2013-01-22 2014-08-07 Canon Inc 送信装置、送信装置の制御方法およびプログラム

Also Published As

Publication number Publication date
JP2016225758A (ja) 2016-12-28

Similar Documents

Publication Publication Date Title
TWI669941B (zh) 視訊編碼方法及視訊編碼器系統
WO2013132828A1 (ja) 通信システムおよび中継装置
KR20110124139A (ko) 카메라 제어부, 컨트롤러, 카메라 제어 방법, 카메라 원격 제어 방법 및 비일시적인 컴퓨터 판독가능한 기억 장치
US9344678B2 (en) Information processing apparatus, information processing method and computer-readable storage medium
KR101514910B1 (ko) 영상 처리 장치, 영상 처리 시스템, 및 영상 처리 방법
JP2018026676A (ja) マルチカメラシステム、カメラ、カメラの処理方法、確認装置および確認装置の処理方法
US10154188B2 (en) Camera system, master camera device, and slave camera device
US9332308B2 (en) Image communication apparatus and control method therefor
JP2018022967A (ja) 撮像装置、撮影モード制御方法、及びプログラム
TWI655865B (zh) 用於組態自數位視訊攝影機輸出之視訊串流之方法
JP2008109364A (ja) カメラサーバシステム、データの処理方法、およびカメラサーバ
JP6466638B2 (ja) 動き変化量に応じて撮影動画像のフレームを間引く端末、システム、プログラム及び方法
JP6415387B2 (ja) 表示制御装置、表示制御方法及びプログラム
JP2015019397A (ja) 画像合成装置、画像合成方法、及びプログラム
US20150326828A1 (en) System and method of precision remote ptz control of ip cameras
US11284094B2 (en) Image capturing device, distribution system, distribution method, and recording medium
US20150373073A1 (en) Image pickup apparatus, control method and recording medium
JP2005323379A (ja) データ転送に応じるシステムおよび方法
KR20140111324A (ko) 비디오 감시 방법, 관련 시스템, 관련 감시 서버, 및 관련 감시 카메라
JP2017535172A (ja) ビデオカメラシステムにおけるデータレートの設定
JP6339832B2 (ja) 記録装置およびその制御方法
WO2020172809A1 (zh) 拍摄装置的视频回放方法和拍摄装置
JP6455121B2 (ja) 情報処理装置、情報処理方法およびプログラム
TW201824850A (zh) 監視攝影機系統
KR101165616B1 (ko) 카메라 영상 처리 시스템, 영상처리장치 및 카메라 영상 처리 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181002

R151 Written notification of patent or utility model registration

Ref document number: 6415387

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151