JP4024794B2

JP4024794B2 - 映像復号化装置及びプログラム

Info

Publication number: JP4024794B2
Application number: JP2004378643A
Authority: JP
Inventors: 拓郎神谷
Original assignee: Hitachi Kokusai Electric Inc
Current assignee: Hitachi Kokusai Electric Inc
Priority date: 2004-12-28
Filing date: 2004-12-28
Publication date: 2007-12-19
Anticipated expiration: 2024-12-28
Also published as: JP2006186708A

Description

本発明は、復号化対象となる映像の復号化を行う映像復号化装置及びプログラムに関し、特に、復号化対象となる映像の切り換えを効果的に行う映像復号化装置及びプログラムに関する。

従来、例えば河川の水位、道路の混雑状況、あるいは防犯・防災等を監視する目的で監視カメラを設置し、この監視カメラで撮影した映像を伝送回線（ネットワーク）により送信装置から受信装置に伝送して遠隔監視するネットワーク型の遠隔監視システムが用いられている（例えば、特許文献１参照。）。このようなシステムを用いれば、現場に監視員を常駐又は派遣しなくても、道路における事故や渋滞の状況、河川の増水や氾濫等の状況を、受信装置側において集中的に迅速かつ的確に把握することが可能となる。

また、このようなシステムにおいては、例えば、受信装置に接続される表示装置に対して複数の監視カメラからの映像を順次切り換えて表示させる制御が行われる場合がある。
特開２００１−３６９０５号公報

ネットワーク型の遠隔監視システムにおいて、複数の監視カメラからの映像の切り換え表示を行う場合、映像の切り換え時に受信装置は、切り換え先の監視カメラの映像の配信を行うＷｅｂエンコーダ等の送信装置に対して映像要求のパケットを出力し、その時点で初めて受信装置に切り換え先の映像パケットが伝送されてくる。

ここで、映像の符号化方式としてＪＰＥＧ（Joint Photographic Experts Group）を用いる場合、切り換え時から次のＪＰＥＧ画像を取得するまでの時間は切り換えのタイミングに依存しない。

しかし、映像の符号化方式として、例えば、ＭＰＥＧ−４（Moving Picture Experts Group phase 4）を用いる場合、図５Ａに示すようにフレームはＩ−ＶＯＰやＰ−ＶＯＰから構成されているため、図５Ｂに示すように切り換え時に受信装置が一番初めに受け取るフレームがＰ−ＶＯＰの場合、次のＩ−ＶＯＰを受信するまで映像の復号化が行えず、映像を正しく表示できないという問題があった。

つまり、映像の切り換えのタイミングによって、直前のＩ−ＶＯＰを逃してしまった場合、最大でＩ−ＶＯＰの周期分だけ、映像が正しく表示されない状態が続いてしまう。なお、ここで、Ｉ−ＶＯＰとは、イントラ符号化（フレーム間符号化とも言う。）されたピクチャであり、イントラ符号化では、一般に、他のピクチャの情報を使用せずに、それ自身のピクチャのみの情報で符号化が行われる。また、Ｐ−ＶＯＰは、一般に、過去のピクチャを参照して予測符号化（フレーム間符号化とも言う。）されたものである。なお、過去と将来のピクチャを参照して双方向予測符号化されたＢ−ＶＯＰも考えられるが、ここでは、説明の簡単化のため、Ｂ−ＶＯＰについては省略する。

また、受信装置の制御により映像を順次切り換えて表示装置に表示させる場合に、受信装置が表示対象となっている映像以外の他の映像（その時点においては表示対象となっていない映像）についても常にネットワークを介して送信装置から取得しておく構成とした場合には、ネットワークの伝送帯域の負荷が大きくなったり、映像の復号化処理等、受信装置の処理負荷が大きくなってしまうという問題があった。

本発明は、このような従来の事情に鑑み為されたもので、復号化対象となる映像の切り換えを効果的に行う映像復号化装置及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明に係る映像復号化装置は、ネットワークを介して送信装置からフレーム内符号化とフレーム間符号化を用いた映像符号化方式により符号化された映像を受信し、該受信した映像の復号を行うと共に、表示装置に対して出力する映像を所定の時間間隔に基づいて定められる映像切り換えタイミングで異なる映像に切り換える映像復号化装置であって、切り換え先の映像を取得するための指令を前記映像切り換えタイミングよりフレーム内符号化が行われる周期に基づいて定められる所定時間前に前記送信装置に対して送信する映像取得指令送信手段と、前記指令に基づいて前記送信装置から受信した映像の復号を行う映像復号化手段と、前記映像切り換えタイミングになった場合に、前記映像復号化手段により復号された切り換え先の映像データを前記表示装置に対して出力する映像出力手段とを備える。

ここで、フレーム内符号化やフレーム間符号化の手法としては、種々な手法が用いられてもよい。また、所定の時間間隔としては、種々な値が用いられてもよい。また、フレーム内符号化が行われる周期としては、種々な値が用いられてもよい。

また、上記目的を達成するため、本発明に係るプログラムは、ネットワークを介して送信装置からフレーム内符号化とフレーム間符号化とを用いた映像符号化方式により符号化された映像を受信し、該受信した映像の復号を行うと共に、表示装置に対して出力する映像を所定の時間間隔に基づいて定められる映像切り換えタイミングで異なる映像に切り換える映像復号化装置を構成するコンピュータに実行させるプログラムであって、切り換え先の映像を取得するための指令を前記映像切り換えタイミングよりフレーム内符号化が行われる周期に基づいて定められる所定時間前に前記送信装置に対して送信する機能と、前記指令に基づいて前記送信装置から受信した映像の復号を行う機能と、前記映像切り換えタイミングになった場合に、前記映像復号化手段により復号された切り換え先の映像データを前記表示装置に対して出力する機能を、当該コンピュータにより実現する。

以上説明したように、本発明に係る映像復号化装置及びプログラムによると、切り換え先の映像を取得するための指令を映像切り換えタイミングよりフレーム内符号化が行われる周期に基づいて定められる所定時間前に送信装置に対して送信するようにしたため、復号化対象となる映像の効果的な切り換えを実現することができる。

以下、本発明の実施の形態について、図面を参照しながら説明する。
図１には、本発明の一実施例に係る映像配信システムの構成例を示してある。
本実施例の映像配信システムは、カメラ１Ａ、１Ｂ（カメラを総称する場合は１で代表するものとする）と、映像符号化装置２Ａ、２Ｂ（映像符号化装置を総称する場合は２で代表するものとする）と、ネットワーク３と、映像復号化装置４と、表示装置５からなり、映像符号化装置２Ａ、２Ｂと、映像復号化装置４とがネットワーク３を介して接続して構成されている。なお、ここでは簡単化のために、１つの映像符号化装置２に対応して１台のカメラ１を接続するものと仮定するが、映像符号化装置２とカメラ台数との組み合わせは任意に選択できる。また、カメラ１と映像符号化装置２の機能が一体化された装置を用いる等、映像配信システムは以上の実施例に限られるものではない。

図１に示される映像配信システムにおいて、カメラ１は、撮影した映像のアナログ映像信号を映像符号化装置２に対して出力する。映像符号化装置２は、カメラ１から入力されるアナログ映像信号をデジタル映像の信号へ変換した後、ＭＰＥＧ−４符号化方式を使用してデジタル映像信号の映像の符号化を行い、符号化されたデジタル映像信号をＩＰパケットとしてネットワーク３へ出力する。

映像復号化装置４は、ネットワーク３を介して受け取ったデジタル映像信号の復号化を行い、復号化されたデジタル映像信号を表示装置５に対して出力する。表示装置５は、映像復号化装置４から入力された映像を表示画面に表示する。

ここで、本実施例に係る映像復号化装置４は、映像符号化装置２Ａから配信されるカメラ１Ａの映像と、映像符号化装置２Ｂから配信されるカメラ１Ｂの映像とを予め設定された所定の時間間隔毎に順次切り換えて表示装置５に表示するよう制御する機能を備えている。

図２には、本発明の一実施例に係る映像復号化装置４の構成例を示してある。
映像復号化装置４は、その内部機能ブロックとして、ネットワークインタフェイス部４１と、映像バッファ部４２Ａ、４２Ｂ（映像バッファ部を総称する場合は４２で代表するものとする）と、デコード部４３Ａ、４３Ｂ（デコード部を総称する場合は４３で代表するものとする）と、タイマー部４４と、映像切換部４５と、出力部４６を備えている。

映像復号化装置４により行われる概略的な動作の一例を示す。
ネットワークインタフェイス部４１は、ネットワーク３を経由して受け取ったＩＰパケットについて、当該ＩＰパケットのヘッダ部と、ペイロード部を分離し、分離したペイロード部を連結して符号化されたデジタル映像信号に戻して、デジタル映像信号を映像バッファ部４２に一時的に格納する。なお、ここでは、映像符号化装置２Ａから受信したカメラ１Ａの映像を映像バッファ部４２Ａに格納し、映像符号化装置２Ｂから受信したカメラ１Ｂの映像を映像バッファ部４２Ｂに格納するものとする。

また、ネットワークインタフェイス部４１は、ネットワーク３を介して映像符号化装置２Ａ、２Ｂに対して、カメラ１Ａ、１Ｂの映像要求をＩＰパケットとして出力する。映像符号化装置２Ａ、２Ｂは、映像要求に応じてそれぞれカメラ１Ａ、１Ｂの映像の配信を行う。

デコード部４３Ａ、４３Ｂは、それぞれ映像バッファ部４２Ａ、４２Ｂに格納されているデジタル映像信号の復号化を行う。
タイマー部４４は、時間経過を把握するタイマー機能を備えており、予め設定された所定の時間間隔に基づいて定められる映像切り換えタイミングになった場合には、映像切り換え部４５へ制御信号を出力する。例えば、予め切り換えの時間間隔として３０秒が設定されていた場合には、タイマー部４４は３０秒おきに映像切り換え部に制御信号を出力する。また、タイマー部４４は、後述するように映像切り換えタイミングの所定時間前（L秒前）になった場合には、ネットワークインタフェイス部４１に対して切り換え先の映像を取得するためのリクエスト信号を出力する。また、タイマー部４４は、映像切り換えタイミングになった場合には、ネットワークインタフェイス部４１に対して切り換えにより不要となる切り換え元の映像の取得を取り止めるためのキャンセル信号を出力する。

映像切換部４５は、タイマー部４４から入力される制御信号に基づいて、出力部４６へ入力される映像の入力元を切り換える。本実施例では、映像切換部４５は所定の時間間隔毎にデコード部４３Ａの出力端と、デコード部４３Ｂの出力端とが交互に出力部４６の入力端と接続されるように信号経路を切り換える。

出力部４６は、デコード部４３から入力されるデジタル映像信号を表示装置５に合わせたフォーマットに変換して表示装置５に対して出力する。
次に、タイマー部４４がネットワークインタフェイス部４１に対してリクエスト信号を出力するタイミングを規定する所定時間Lについて説明する。この所定時間Lは、映像符号化装置２A、２BでのMPEG−４方式による映像符号化におけるI−VOPの挿入周期、即ち、フレーム内符号化が行われる周期と同じ値に設定する。ここでは、説明の簡単化のために通信による遅延時間を０と仮定し、また、現在、映像復号化装置４は映像符号化装置２Ａからの映像のみを受信しており、映像符号化装置２Ａから受信したカメラ１Ａの映像を表示装置５に対して出力しているものとする。

この場合において、映像復号化装置４は、表示装置５に対して出力する映像をカメラ１Ａの映像からカメラ１Ｂの映像に切り換えるタイミング（映像切り換えタイミング）よりＬ秒前からは、切り換え先の映像の配信元である映像符号化装置２Ｂからも映像を受信し、受信した映像の復号を行うようにするため、映像切り換えタイミングまでには必ず映像符号化装置２Ｂから送信される映像のI−ＶＯＰを取得しておくことが可能となる。従って、映像切り換えタイミングのＬ秒前から映像符号化装置２Ａ、２Ｂの両方から映像を受信して復号化を行うことにより、映像切り換えタイミングの直後に切り換え先の映像が正しく表示されないという事態を回避することができる。

なお、一般的にＩ−ＶＯＰが挿入される周期は、例えば、５秒に１回といった形式で予め映像符号化装置２側に設定されており、その値と同じ値を所定時間Ｌとして映像復号化装置４に設定しておけばよいが、映像符号化装置２におけるＩ−ＶＯＰの挿入周期が変更された場合には、その都度、変更後の設定値を映像復号化装置４に通知する等して、映像復号化装置４における所定時間Ｌの値を変更するようにすればよい。

図３には、本発明の一実施例に係る映像復号化装置４の動作の一例をタイムチャートで示してある。なお、図３においては、横軸が時間経過を表している。
まず、時刻ｔ０では、映像復号化装置４のネットワークインタフェイス部４１は、映像符号化装置２Ａに対して映像要求Ａを行い、カメラ１Ａの映像Ａを取得している。デコード部４３Ａでは、取得した映像Ａの復号化を行い、映像切換部４５の制御により復号化した映像Ａが出力部４６に入力される。映像復号化装置４では、時刻ｔ１になるまでこの状態が継続される。

次に、映像切り換えタイミングである時刻ｔ２のＬ秒前である時刻ｔ１になった場合には、タイマー部４４からのリクエスト信号に基づいてネットワークインタフェイス部４１は、映像符号化装置２Ｂに対して映像要求Ｂを行い、カメラ１Ｂの映像Ｂを取得する。この際、映像符号化装置２Ａに対する映像要求Ａは引き続き行われ、カメラ１Ａの映像Ａも取得する。そのため、時刻ｔ１からは、デコード部４３Ａにおいて映像Ａの復号化が行われ、デコード部４３Ｂにおいて映像Ｂの復号化が行われる。なお、時刻ｔ１から映像復号化装置４は映像Ａと映像Ｂの２つの映像の復号化を行うが、映像切り換えタイミングである時刻ｔ２になるまでは出力部４６に入力される映像はデコード部４３Ａからの映像Ａのままである。

次に、映像切り換えタイミングである時刻ｔ２になった場合には、ネットワークインタフェイス部４１は、タイマー部４４からのキャンセル信号に基づいて映像符号化装置２Ａに対する映像要求Ａを終了し、映像符号化装置２Ｂに対する映像要求Ｂのみが継続する。この際、映像復号化装置４における復号化処理は、デコード部４３Ｂで行われる映像Ｂに対するもののみとなる。そして、時刻ｔ２では、タイマー部４４からの制御信号に基づいて映像切換部４５は、出力部４６への入力映像をそれまでの映像Ａからデコード部４３Ｂからの最新の映像Ｂに切り換える。以後、映像復号化装置４では、次の映像切り換えタイミングである時刻ｔ４のＬ秒前である時刻ｔ３になるまでこの状態が継続される。

以後、同様に、映像切り換えタイミングである時刻ｔ４のＬ秒前である時刻ｔ３になった場合には、映像復号化装置４は、再び映像符号化装置２Ａ及び映像符号化装置２Ｂの両方に対して映像要求を行い両方の映像を取得し、映像切り換えタイミングである時刻ｔ４になった場合には、出力部４６に入力する映像をデコード部４３Ａからの映像Ａに切り換え、切り換えにより不要となる映像符号化装置２Ｂに対する映像要求Ｂを終了する。

従って、本実施例の映像配信システムでは、ネットワークの伝送帯域の負荷を抑えることや、映像復号化装置の処理負荷を抑えることを実現することができ、効率のよい映像切り換え処理を実現することができる。

次に、本発明の他の実施例について説明する。上述した実施例では、通信による遅延時間を０と仮定したが、ここでは遅延時間をｄ（秒）と仮定し、遅延時間ｄを考慮した映像配信システムを考える。この場合、映像復号化装置４は映像を切り換えるタイミングよりＬ＋ｄ(秒)前に映像符号化装置２に対して切り換え先の映像を要求するようにすれば、通信による遅延時間がある場合においても映像切り換えタイミングまでには必ず切り換え先の映像のI−ＶＯＰを取得しておくことが可能となる。なお、ここで、遅延時間とは、例えば、映像復号化装置４が映像符号化装置２に対して映像要求パケットを送り出してから、初めの映像データのＩＰパケットを受け取るまでの時間のことを言う。

この遅延時間ｄを考慮したシステムとしては、以下の実現方法が考えられる。
（１）ネットワーク３がローカルな環境を用いて構成されており、遅延時間が無視できるほど小さいと考えられる場合；
この場合は、ｄは考慮しなくてもよい。

（２）ネットワーク３が公衆回線を用いて構成されており、遅延時間ｄは無視できるほど小さくはなく、かつ公衆回線の混雑状況はダイナミックに変化するため、遅延時間もダイナミックに変化する場合；
この場合は、映像復号化装置４が映像符号化装置２に対して映像要求パケットを送り出してから、映像を受け取るまでの遅延時間をログとして映像復号化装置４の記憶部（不図示）に記憶しておく。そして、このログを参照し、例えば、最近のｘ件のログの中から１番長い遅延時間を遅延時間ｄとして設定する。

この時、図４Ａに示すように、ｘを大きくすれば、蓄積されるログも多くなり、その中で一番長い遅延時間をｄとして設定することになるので、結果的に遅延時間ｄは大きくなり、図３に示したように、映像符号化装置２Ａと映像符号化装置２Ｂの両方からの映像を同時にデコードしている時間は長くなる。このような設定では、映像切り換えタイミングまでに切り換え先の映像のＩ−ＶＯＰを逃す確率が低くなる反面、映像切り換えタイミングの直前にはネットワーク３が混雑し、映像復号化装置４の処理負荷も大きくなる。従って、この設定方法は、遅延時間がほぼ一定である場合に有効である。

なお、図４Ｂに示すように、ｘが小さければ、蓄積されたログは少なくなるので、図４Ａに示す場合と比べれば、遅延時間ｄは小さくなる。そのため、図４Ａに示す場合より、ネットワーク３の混雑や映像復号化装置４に対する負荷が減り、また、ｄが周期的に変化する場合には比較的最近のログだけでｄを決定することができるという効果がある。なお、遅延時間ｄを考慮することや、ｘとしてどのような値を用いるか等は、ネットワークの環境を考慮し、最適なものを設定することが可能である。

ここで、本実施例では、ＭＰＥＧ−４に適用した場合を示したが、これに限らず、ＭＰＥＧ−２等のように、他の映像符号化方式にも適用することが可能であり、また、映像（画像）に限らず、音声等にも適用することも可能である。

また、本実施例では、２台のカメラを用いた映像配信システムについて示したが、カメラ等の台数は種々な値が用いられてもよい。また、本実施例では、カメラの映像を１種類ずつ順次切り換えていく場合を示したが、例えば、４台のカメラの映像を同時に表示する４分割表示を順次切り換えていくような構成を用いてもよい。また、映像を切り換える時間間隔についてもすべて同じ値を用いる他、例えば、カメラ１Ａの映像からカメラ１Ｂの映像に切り換える時間間隔は３０秒とし、カメラ１Ｂの映像からカメラ１Ａの映像に切り換える時間間隔は１分とする等、異なる値を用いるようにしてもよい。

なお、本実施例の映像復号化装置４では、ネットワークインタフェイス部４１の機能により映像取得指令送信手段が構成されており、デコード部４３の機能により映像復号化手段が構成されており、映像切換部４５や出力部４６の機能により映像出力手段が構成されている。

ここで、本発明に係る映像配信システムや映像復号化装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。また、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記録する記録媒体などとして提供することも可能であり、また、種々な装置やシステムとして提供することも可能である。

また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係る映像配信システムや映像復号化装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。

また、本発明は上記の制御プログラムを格納したフロッピー（登録商標）ディスクやＣＤ（ＣｏｍｐａｃｔＤｉｓｃ）−ＲＯＭ等のコンピュータにより読み取り可能な記録媒体や当該プログラム（自体）として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。

本発明の一実施例に係る映像配信システムの構成例を示す図である。本発明の一実施例に係る映像復号化装置の構成例を示す図である。本発明の一実施例に係る映像復号化装置の動作の一例を示す図である。本発明の一実施例に係る遅延時間を説明するための図である。本発明の一実施例に係る遅延時間を説明するための図である。符号化された映像の構成を説明するための図である。映像の切り換えによる表示の様子を説明するための図である。

符号の説明

１：カメラ、２：映像符号化装置、３：ネットワーク、４：映像復号化装置、５：表示装置。

Claims

ネットワークを介して送信装置からフレーム内符号化とフレーム間符号化を用いた映像符号化方式により符号化された映像を受信し、該受信した映像の復号を行うと共に、表示装置に対して出力する映像を所定の時間間隔に基づいて定められる映像切り換えタイミングで異なる映像に切り換える映像復号化装置であって、
切り換え先の映像を取得するための指令を前記映像切り換えタイミングよりフレーム内符号化が行われる周期に基づいて定められる所定時間前に前記送信装置に対して送信する映像取得指令送信手段と、
前記指令に基づいて前記送信装置から受信した映像の復号を行う映像復号化手段と、
前記映像切り換えタイミングになった場合に、前記映像復号化手段により復号された切り換え先の映像データを前記表示装置に対して出力する映像出力手段と、
を備えたことを特徴とする映像復号化装置。
ネットワークを介して送信装置からフレーム内符号化とフレーム間符号化とを用いた映像符号化方式により符号化された映像を受信し、該受信した映像の復号を行うと共に、表示装置に対して出力する映像を所定の時間間隔に基づいて定められる映像切り換えタイミングで異なる映像に切り換える映像復号化装置を構成するコンピュータに実行させるプログラムであって、
切り換え先の映像を取得するための指令を前記映像切り換えタイミングよりフレーム内符号化が行われる周期に基づいて定められる所定時間前に前記送信装置に対して送信する機能と、
前記指令に基づいて前記送信装置から受信した映像の復号を行う機能と、
前記映像切り換えタイミングになった場合に、前記映像復号化手段により復号された切り換え先の映像データを前記表示装置に対して出力する機能を、
当該コンピュータにより実現することを特徴とするプログラム。