JP3883438B2

JP3883438B2 - Image transmission method and remote image monitoring system

Info

Publication number: JP3883438B2
Application number: JP2002015316A
Authority: JP
Inventors: 雄一大波
Original assignee: Hitachi Kokusai Electric Inc
Current assignee: Hitachi Kokusai Electric Inc
Priority date: 2002-01-24
Filing date: 2002-01-24
Publication date: 2007-02-21
Anticipated expiration: 2022-01-24
Also published as: JP2003219402A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像を圧縮して伝送する装置に関するものである。
【０００２】
【従来の技術】
遠隔画像監視システムでは、インターネットに代表されるように、伝送路のデジタル化が現在急速に進んでいることから、画像をデジタル化して伝送する装置のニーズが拡大している。
一方画像をデジタル化した場合、その情報量は膨大な情報量となるため、必ず動画像の圧縮技術が必要になる。ここで、必要となる動画像の圧縮方式は、そのほとんどがＭＰＥＧ−２，ＭＰＥＧ−４などの世界標準方式であり、多少の圧縮劣化が発生するが、その圧縮率は、約１／１００〜１／１０００程度の高効率な圧縮方式である。
一般的な遠隔画像監視システムでは、受信側映像モニタで遠隔地の状況を監視する。ここで、前述したように、ＭＰＥＧ−２，ＭＰＥＧ−４による圧縮劣化が受信した画像に発生するが、遠隔地の状況を把握するには、通常問題の無いレベルの劣化である。
つまり、この圧縮劣化は、圧縮率とのトレードオフの関係にあるため、最適な遠隔画像監視システムでは、極力高い圧縮率で、かつ遠隔地の状況把握に支障の無い限界の劣化となる圧縮率となっている。これは、限られた伝送容量の伝送路を使用して、より多くの遠隔地の監視をするための必然的なバランスにより成り立っている。
【０００３】
一方、遠隔画像監視システムでは、特定の状況変化が発生すると、その時点でより高精細な画像が必要となる。一例として、コンビニエンス・ストアの各店舗における監視では、通常は店内の状況把握をしているが、強盗犯人の進入などの特定の変化が発生すると、その犯人像を明確にするためには、より高精細な画像が求められる。この画像は、前述のバランスにより得られる圧縮率の画像では、圧縮劣化が問題となり不十分である。その具体例として、最近のニュース等で、事件の犯人逮捕のために監視画像を公開するケースがあるが、その劣化した画像から犯人の人相などを明確にすることは不可能であることがわかる。
また、イベント会場、商店街、観光地などの監視や宣伝用動画像配信などで、受信側から遠隔地にあるカメラアングルを制御して、特定の場所の画像を高精細な画像で、詳細に見たいなどのニーズもあるが、この場合も状況把握程度の画質では不十分である。
このように、遠隔画像監視システム(前述の宣伝用動画像配信システムも含む)では、圧縮動画像と、特定の状況変化における高精細画像の両方を受信側で表示または、記録する要求がある。特に記録された高精細画像は、別途画像処理をして、より多くの情報を得るのに使用される。犯人捜査の例では、記録された画像内の注目領域を拡大して詳細部分を調査したり、コントラストを上げて暗部の様子を明瞭にしたりして、犯人を特定するに必要な情報を得るために使用されることが多い。なお、一般にＭＰＥＧ−２，ＭＰＥＧ−４等の圧縮符号化方式で圧縮された画像は、それ自身に圧縮劣化が存在しており、前述のように拡大やコントラスト処理をすると、その圧縮劣化が目立つため使用することは、困難であることが常識である。
従って、ここでの高精細画像とは、圧縮劣化の無い非圧縮の画像か、それに準ずる程度の圧縮劣化しか発生し得ない、非常に低い圧縮率の画像を指す。また、上記圧縮動画像は、圧縮劣化がある程度許容可能な画像であり、ＭＰＥＧ−２，ＭＰＥＧ−４などによる画像であり、ここでは以後、圧縮動画像と呼ぶ。
【０００４】
ここで、圧縮動画像と高精細画像を表示／記録する遠隔画像監視システムの従来の技術による構成を図２に示す。図２では、画像送信部Ｔｘはカメラ２−１、ビデオ入力メモリ部２−４、圧縮動画像符号化部２−６、伝送インターフェース部２−１０から構成される。
画像受信部Ｒｘは、伝送インターフェース部２−１３、圧縮動画像復号化部２−１７、ビデオ表示メモリ部２−１９、映像モニタ２−２１、高精細画像伝送開始指示器２−２３、記録部２−２４から構成される。図２の構成では、画像送信部Ｔｘと画像受信部Ｒｘは、双方向の伝送路で接続されている。
図２の構成で、通常の圧縮動画像伝送では、カメラ２−１からの映像信号２−２が、信号２−３として出力されるよう切り替え部２−５０が制御されており、ビデオ入力メモリ部２−４に入力される。ビデオ入力メモリ部２−４は、信号２−３をバッファし、データ２−５として動画像圧縮符号化部２−６に出力する。動画像圧縮符号化部２−６は、データ２−５を圧縮符号化し、圧縮動画像データ２−７を出力する。この時データ２−８には、圧縮動画像データ２−７が接続されるように、切り替え部２−５１は制御されている。伝送インターフェース部２−１０は、データ２−８を伝送路のデータ２−１１として出力する。
【０００５】
受信部Ｒｘでは、伝送インターフェース部２−１３で伝送路のデータ２−１１をデータ２−１４として取り込む。
このデータ２−１４は、前記圧縮動画像データ２−７と同様のデータである。このデータ２−１４は、圧縮動画像データ２−１６として出力されるように切り替え部２−５２は制御されている。圧縮動画像データ２−１６は、圧縮動画像復号化部２−１７と記録部２−２４へ入力される。
圧縮動画像復号化部２−１７は、圧縮動画像データ２−１６を復号化し、データ２−２５として出力する。また、データ２−２５はデータ２−１８として出力されるように、切り替え部２−５３は制御されている。データ２−１８は、基本的に前記データ２−５に相当する画像データであるが、データ２−１８には圧縮劣化が発生している。ビデオ表示メモリ部２−１９は、データ２−１８をバッファして、映像信号２−２０とし、映像表示モニタ２−２１に表示する。一方、記録部２−２４は、圧縮動画像データ２−１６を所定のエリアヘ記録し続ける。
以上が、圧縮動画像伝送中の動作であり、ここで表示されている映像モニタ２−２１の画質は、前述したように、状況把握可能な程度の画質である。ここで、映像モニタ２−２１を見ている監視員が、表示されている映像の高精細な画像が必要と判断した時、高精細画像伝送開始指示器２−２３を操作する。
【０００６】
以下、高精細画像を伝送する動作について説明する。高精細画像伝送開始指示器２−２３からは、高精細画像伝送開始指示を表すデータ２−２２が出力され、伝送インターフェース部２−１３に入力され、伝送路の信号２−１２として出力され、画像送信部Ｔｘの伝送インターフェース部２−１０へ入力される。
伝送路インターフェース部２−１０は、信号２−１２をデータ２−９として出力する。データ２−９は、切り替え部２−５０を制御し、データ２−３に映像信号２−２が入力されないようにする。また、データ２−９は、切り替え部２−５１を制御し、データ２−８にデータ２−５が接続されるようにする。
これにより、伝送インターフェース部２−１０には、非圧縮のデータ（圧縮符号化されないデータ）が入力されることになる。このデータは伝送路の信号２−１１により画像受信部へ伝送される。
画像受信部Ｒｘでは、伝送インターフェース部２−１３が、伝送路の信号２−１１をデータ２−１４として出力する。このデータは、前記データ２−５と同様の、圧縮劣化の全く無い画像データである。
前記高精細画像伝送開始指示を表すデータ２−２２により、切り替え部２−５２は、データ２−１４がデータ２−１５に接続されるように制御され、切り替え部２−５３はデータ２−１８にデータ２−１５が接続されるように制御される。これにより、ビデオ表示メモリ部２−１９には非圧縮の画像データが入力されることになり、映像モニタ２−２１には圧縮劣化の全く無い高精細な画像が表示される。また、前記データ２−１５は、記録部２−２４へ入力され、高精細画像として記録され、必要な時点で利用される。
以上が従来の技術による、圧縮動画像から任意の高精細画像を伝送する動作である。
【０００７】
ここで、図２では高精細画像の例として非圧縮画像データとして説明したが、非圧縮であることから、そのデータ量は膨大なデータ量となる。このため、一般には圧縮動画像を伝送しているのと同一の伝送路(伝送容量)を使用することから、この１フレームの高精細画像を伝送するには、リアルタイムのフレーム時間のより長い時間が必ず必要となる。
従って、高精細画像は、動画像の伝送が困難であり静止画像となる。しかし、前述したように、この高精細画像を必要とする場合は、ある特定のシーンとなるため、動画像である必要性は無いので、問題無い。
逆に問題となるのは、この高精細画像を伝送中に、本来の圧縮動画像の伝送が完全に中断されることである。つまり、図２の記録部２−２４に記録される圧縮動画像データには、前記中断による不連続な状態の圧縮動画像データしか記録できないことになる。無論、映像モニタ２−２１でも、高精細画像伝送中には何も見ることが出来ない。
【０００８】
この従来技術による問題を、さらに具体的に図３で説明する。図３は、高精細画像伝送開始指示器２−２３で操作した時の、伝送路の信号２−１１の状態を示している。このように、高精細画像データ伝送中には、完全に圧縮動画像データが中断してしまい、記録部２−２４に記録されないことになる。前述した様に、高精細画像データを要求する時は、監視対象に注目すべきこと（強盗犯人進入など）が発生したためであり、この時点の動画像が中断されることは、実際の運用上も深刻な問題である。
図３には、圧縮符号化方式としてＭＰＥＧ−２，ＭＰＥＧ−４を使用したシステムに対する前記中断時間(１フレームの高精細画像伝送時間)も示した。基本的に、この時間は、１フレームの高精細画像データの量を伝送路容量で割り算して算出している。ただし、高精細画像データの量と伝送路容量は、ＭＰＥＧ−２，ＭＰＥＧ−４のそれぞれにおける代表的な値としている。
ＭＰＥＧ−２：伝送容量４Ｍｂｐｓ：中断時間１．４秒
ＭＰＥＧ−４：伝送容量３８４ｋｂｐｓ：中断時間４．２秒
【０００９】
【発明が解決しようとする課題】
従来の技術では、遠隔画像監視システムにおいて、高精細画像データ伝送中は圧縮動画像データの伝送が中断されるため、画像監視が不可能になり、さらに、不連続な圧縮動画像データしか記録ができないという欠点がある。
本発明は、上記問題に鑑み、画像送信部において高精細画像用のビデオキャプチャメモリ部を設け、かつ圧縮動画像符号化部の圧縮率を、高精細画像データの伝送レートに適応した制御とすることで、高精細画像データと圧縮動画像データを同時に伝送可能し、上記欠点を解決する遠隔画像監視システムを提供することを目的とするものである。
【００１０】
【課題を解決するための手段】
本発明は上記の目的を達成するため、画像送信部から伝送路を介し伝送される圧縮動画像を画像受信部で受信、復号して監視する遠隔画像監視システムにおいて、上記画像受信部から高精細画像の伝送要求があった場合、上記画像送信部で、上記圧縮動画像データの伝送レートを上記伝送路の伝送容量の所定割合の伝送レートに下げ、これにより空いた上記伝送路の残りの割合の伝送レートにより所定の高精細画像データを伝送するようにしたものである。
また、画像送信部から伝送路を介し伝送される圧縮動画像を画像受信部で受信、復号して監視する遠隔画像監視システムにおいて、上記画像送信部に、上記画像受信部からの高精細画像伝送要求信号により、上記圧縮動画像データの伝送レートを上記伝送路の伝送容量の所定割合の伝送レートに下げて生成、出力する手段と、上記伝送路の残りの割合の伝送レートとした所定の高精細画像データを生成、出力する手段と、上記画像受信部からの高精細画像伝送要求信号により当該２つのデータ出力を所定の比率で切り替え上記伝送路へ出力する手段を有する構成としたものである。
また、上記画像受信部に、上記画像送信部へ高精細画像伝送要求信号を出力する手段と、当該高精細画像伝送要求信号に基づき上記画像送信部から伝送される上記２つのデータ出力を受信し、上記圧縮動画像データと上記所定の高精細画像データを切り替え出力する手段を有する構成としたものである。
また、上記画像送信部を、入力映像信号をバッファして出力するビデオ入力メモリ部と、上記高精細画像をバッファするための高精細画像メモリ部と、上記ビデオ入力メモリ部から所定の画像データを上記高精細画像メモリ部へ転送するビデオデータ転送部と、上記高精細画像伝送要求信号に基づき圧縮率を変えて上記ビデオ入力メモリ部からの出力を符号化する圧縮動画像符号化部と、該圧縮動画像符号化部の出力と上記高精細画像メモリ部の出力を所定の比率で切り替える出力制御部と、当該切り替えられたデータと上記出力制御部のデータを入力し、上記伝送路へ出力する伝送インターフェース部を有する構成としたものである。
【００１１】
即ち、本発明は、遠隔画像監視システムにおいて、高精細画像の伝送に対しては瞬時性を必要としないことと、圧縮動画像データはデータレートが１０％程度減少しても、画質が極端に劣化することが無いことに着目し、高精細画像データと圧縮動画像データを同時に伝送することを可能としたものである。
具体的には、高精細画像伝送要求がされた場合、伝送路の伝送容量の所定割合のレートで圧縮動画像データを伝送し、残りの割合のレートで高精細画像データを伝送するようにしたものである。
これにより、高精細画像データの伝送時間を、従来より長い時間必要となるが、圧縮動画像データの伝送を中断することなく、続けることが可能となる。これにより、画像受信部では、監視対象に特別な変化が発生した部分においても、必要な高精細画像と連続した圧縮動画像データの表示及び記録のできる遠隔画像監視システムを実現できる。
【００１２】
【発明の実施の形態】
以下、本発明による遠隔画像監視システムの一実施例の構成を図１に示し、詳細に説明する。
画像送信部Ｔｘではカメラ２−１の映像信号２−２がビデオ入力メモリ部２−４へ入力され、ビデオ入力メモリ部２−４のデータ２−５が圧縮動画像符号化部１−７０に入力される。ビデオ入力メモリ部２−４のデータ２−２は、ビデオデータ転送部１−１に入力され、ビデオデータ転送部１−１のデータ１−３は、高精細画像メモリ部１−４へ入力される。圧縮動画像符号化部１−７０のデータ１−７と高精細画像メモリ部１−４のデータ１−５は、切り替え部１−６０に入力される。切り替え部１−６０のデータ１−３１は伝送インターフェース部１−１２に入力される。また、出力制御部１−８のデータ１−９は、切り替え部１−６０へも入力される。伝送インターフェース部１−１２のデータ１−６は、出力制御部１−８、圧縮動画像符号化部１−７０，ビデオデータ転送部１−１に入力される。伝送インターフェース部１−１２では、伝送路の信号１−１０を出力し、伝送路の信号１−１１を入力する。
【００１３】
画像受信部Ｒｘでは、伝送インターフェース部１−１３へ伝送路の信号１−１０が入力され、信号１−１１が出力される。伝送インターフェース部１−１３のデータ１−１５は切り替え部１−６１に入力される。切り替え部１−６１のデータ１−１６は動画像圧縮復号化部２−１７、記録部１−１８に入力される。切り替え部１−６１のデータ１−１７は切り替え部１−６２、記録部１−１８に入力される。動画像圧縮復号化部２−１７のデータ１−２５は切り替え部１−６２に入力される。
切り替え部１−６２のデータ１−２３は、ビデオ表示メモリ部２−１９へ入力される。また、切り替え部１−６２へは表示切替え信号１−５０も入力される。ビデオ表示メモリ部２−１９の信号１−２２は、映像モニタ２−２１に入力される。高精細画像伝送開始指示器１−１９の高精細画像伝送開始指示を表すデータ１−２０は、伝送インターフェース部１−１３へ入力される。
【００１４】
以下、図１の動作について説明する。高精細画像を伝送しない期間の動作は、図２で説明した従来の技術と同様である。カメラ２−１、ビデオ入力メモリ部２−４、圧縮動画像符号化部１−７０により出力される、圧縮動画像データであるデータ１−７は、切り替え部１−６０でデータ１−３１として出力され、伝送インターフェース部１−１２に入力される。
そして、伝送路の信号１−１０により画像受信部Ｒｘの伝送インターフェース部１−１３に入力される。伝送インターフェース部１−１３からは、圧縮動画像データであるデータ１−１５が切り替え部１−６１でデータ１−１６として出力されて、動画像圧縮復号化部２−１７に入力される。動画像圧縮復号化部２−１７のデータ１−２５が、切り替え部１−６２でデータ１−２３として出力され、ビデオ表示メモリ部２−１９に入力されて映像モニタ２−２１に圧縮動画像データの画像が表示される。
ここで、映像モニタ２−２１を監視している監視員が、高精細画像伝送開始指示器１−１９で、高精細画像伝送を要求した場合の動作について説明する。高精細画像伝送開始指示器１−１９からのデータ１−２０は、伝送インターフェース部１−１３に入力され、伝送路の信号１−１１で、画像送信部Ｔｘの伝送インターフェース部１−１２に入力される。
【００１５】
伝送インターフェース部１−１２から、データ１−６として出力され、ビデオデータ転送部１−１へ、高精細画像伝送の要求を通知する。ここでビデオデータ転送部１−１は、伝送している圧縮動画像の対象となっているビデオ入力メモリ部２−４内部の１フレームのデータを、高精細画像メモリ部１−４へデータ１−３として転送する。
高精細画像メモリ部１−４にバッファされた高精細画像データは、所定の伝送レートでデータ１−５として出力する。この所定の伝送レートの例として、ここでは伝送路信号１−１０の伝送容量の１０％とする。
切り替え部１−６０は、このデータ１−５の伝送レートに応じた切り替えで、データ１−３１として、伝送インターフェース部１−１２に入力する。これにより、伝送路の信号１−１０の伝送路容量の１０％が、高精細画像データに占有されることになる。
【００１６】
一方、圧縮動画像符号化部１−７０にも、データ１−６が入力され、高精細画像データの伝送要求が通知される。これにより、圧縮動画像符号化部１−７０は、伝送路容量の１００％から９０％に相当する伝送レートになるように、圧縮動画像符号化データであるデータ１−７の生成を制御する。同様に切り替え部１−６０で、データ１−７の伝送レートに応じた切り替えをし、データ１−３１とし、伝送インターフェース部１−１２に入力する。これにより、伝送路の信号１−１０には、その伝送容量に対し、１０％の高精細画像データと９０％の圧縮動画像データが伝送されることになる。
ここで、インターネット等の伝送路の場合は、信号１−１０にはパケット単位の時分割多重がされることになる。一例としては、１０パケットの内、１パケットの高精細画像データと９パケットの圧縮動画像データとなる構成で伝送される。また、伝送路がこのようなパケット単位の時分割多重の場合は、切り替え部１−６０の切り替えで多重を実現するのが自然である。つまり、データ１−３１が、伝送路のパケット単位の時分割多重データとなる。そして、これを制御するのが、出力制御部１−８になる。
【００１７】
次に、画像受信部Ｒｘでの動作について説明する。伝送インターフェース部１−１３から出力されるデータ１−１５は、高精細画像データと圧縮動画像データが多重されたデータとなる。これをパケット単位に切り替え部１−６１で切り替えをすることで、高精細画像データはデータ１−１７として出力され、圧縮動画像データはデータ１−１６として出力されるようになる。
このとき、切り替え部１−６１は、データ１−１５のパケットのヘッダ情報などで、データが高精細画像データか、圧縮動画像データかを判断し切り替える。高精細画像データであるデータ１−１７は、記録部１−１８に入力され記録されるとともに、切り替え部１−６２に入力される。
本発明では、高精細画像を伝送中も、中断することなく圧縮動画像データの伝送が可能なため、通常は切り替え部１−６２は、データ１−２５とデータ１−２３が接続されるように切り替えており、映像モニタ２−２１には圧縮動画像データの画像が表示されている。ここで、映像モニタ２−２１を監視している監視員が、意識的に高精細画像伝送データの表示をしたい場合も、表示切替え信号１−５０により、切り替え部１−６２において、データ１−１７とデータ１−２３が接続されるように制御することで、容易に実現できる。
なお、画像送信部Ｔｘの圧縮動画像符号化部１−７０、出力制御部１−８は、転送された高精細画像メモリ部１−４内の対象高精細画像データの伝送が終了すると、自動的に通常の圧縮動画像データ伝送状態に制御が戻るものとする。
【００１８】
図４に、本発明における伝送路の信号１−１０の状態を示す。このように高精細画像データ伝送中は、圧縮動画像データの伝送レートが、例えば９０％に下がり、空いた１０％の部分で高精細画像データが伝送される。
また、図４に、１フレームの高精細画像データを伝送するのに要する時間を、図３と同様にＭＰＥＧ−２，ＭＰＥＧ−４の場合において示した。
ＭＰＥＧ−２：伝送容量４Ｍｂｐｓ：高精細画像データ伝送時間１４秒
ＭＰＥＧ−４：伝送容量３８４ｋｂｐｓ：高精細画像データ伝送時間４２秒
この時間は、従来の技術より長いが、基本的に高精細画像は、記録部に記録しておいて、後で画像処理などをして時間をかけて使用するためであることから、実害は全く無い。（例えば犯人画像の顔部分の拡大処理による特徴調査など）。
さらに、前述の例では高精細画像データの伝送レートと圧縮動画像の伝送レートの比率を１０：９０としたが、この比率は任意に変更して問題ない。例えば、２０：８０にすれば、圧縮動画像の劣化が多少増加するが、高精細画像データの伝送時間が１／２に短縮できる。
また、図１の説明では、高精細画像データを非圧縮画像データとして説明したが、圧縮劣化の発生しないロスレス符号化方式で符号化したデータでも、本発明としては可能である。さらに、高精細画像の利用目的によっては、少ないレベルの劣化が許容できる場合も考えられるが、この場合は、静止画符号化方式であるＪＰＥＧにより低圧縮率で符号化したデータとしても、本発明を適用できる。
【００１９】
【発明の効果】
本発明では、高精細画像伝送要求がされた場合、伝送路の伝送容量の内、任意の割合のレートで高精細画像データを伝送し、残りの割合の伝送容量で圧縮動画像データを伝送するように制御することで、高精細画像データ伝送中にも、画像受信部では全く支障無く圧縮動画像の記録／表示が可能となる。これによって、遠隔画像監視システムにおいて、特別な状況変化に対する高精細画像と関連のある重要な動画像部分も表示／記録をしたいという、多くのニーズに対し、十分に対応することが出来る。
【図面の簡単な説明】
【図１】本発明による遠隔画像監視システムの一実施例の構成を示すブロック図
【図２】従来技術による遠隔画像監視システムの一例の構成を示すブロック図
【図３】従来技術の伝送路上の信号２−１１の状態を示す模式図
【図４】本発明の伝送路上の信号１−１１の状態を示す模式図
【符号の説明】
１−１：ビデオデータ転送郁、１−４：高精細画像メモリ部、１−７０：圧縮動画像符号化部。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an apparatus for compressing and transmitting an image.
[0002]
[Prior art]
In remote image monitoring systems, as represented by the Internet, the digitization of transmission paths is currently progressing rapidly, and the need for devices that digitize and transmit images is expanding.
On the other hand, when an image is digitized, the amount of information becomes a huge amount of information, and therefore a moving image compression technique is always required. Here, most of the required moving image compression schemes are world standard schemes such as MPEG-2 and MPEG-4, and some compression degradation occurs, but the compression ratio is about 1/100 to This is a highly efficient compression method of about 1/1000.
In a general remote image monitoring system, the situation of a remote place is monitored by a receiving side video monitor. Here, as described above, compression degradation due to MPEG-2 and MPEG-4 occurs in the received image. However, in order to grasp the situation at a remote place, the degradation is usually at a level that causes no problem.
In other words, since this compression degradation is in a trade-off relationship with the compression rate, the optimal remote image surveillance system has a compression rate that is as high as possible and that degrades to a limit that does not interfere with grasping the situation in remote locations. It has become. This consists of the inevitable balance to monitor more remote locations using a limited transmission capacity transmission line.
[0003]
On the other hand, in a remote image monitoring system, when a specific situation change occurs, a higher definition image is required at that time. As an example, surveillance at each store of a convenience store usually grasps the situation inside the store. High definition images are required. In the case of an image having a compression ratio obtained by the above-described balance, this image is insufficient due to compression degradation. As a specific example, there is a case where a surveillance image is released for the arrest of the criminal of the case in recent news, etc., but it is impossible to clarify the criminal's personality etc. from the deteriorated image Recognize.
In addition, monitoring of event venues, shopping streets, sightseeing spots, etc. and distribution of moving images for advertisements, etc., control the camera angle at a remote location from the receiving side, so that images of specific places are detailed with high definition There are also needs such as wanting to see, but in this case too, the image quality of the situation grasp is insufficient.
As described above, in the remote image monitoring system (including the above-described promotional moving image distribution system), there is a request to display or record both the compressed moving image and the high-definition image in a specific change in the situation on the receiving side. In particular, a recorded high-definition image is used to obtain more information by performing separate image processing. In the criminal investigation example, in order to obtain the information necessary to identify the criminal by enlarging the attention area in the recorded image and investigating the details, or increasing the contrast and clarifying the dark part Often used for. In general, an image compressed by a compression encoding method such as MPEG-2 or MPEG-4 has its own compression deterioration. When the enlargement or contrast processing is performed as described above, the compression deterioration is conspicuous. Therefore, it is common sense that it is difficult to use.
Therefore, the high-definition image here refers to an uncompressed image with no compression deterioration or an image with a very low compression rate that can generate only a compression deterioration equivalent thereto. The compressed moving image is an image whose compression deterioration is tolerable to some extent and is an image according to MPEG-2, MPEG-4, or the like, and is hereinafter referred to as a compressed moving image.
[0004]
Here, FIG. 2 shows a conventional configuration of a remote image monitoring system for displaying / recording a compressed moving image and a high-definition image. In FIG. 2, the image transmission unit Tx includes a camera 2-1, a video input memory unit 2-4, a compressed moving image encoding unit 2-6, and a transmission interface unit 2-10.
The image receiving unit Rx includes a transmission interface unit 2-13, a compressed video decoding unit 2-17, a video display memory unit 2-19, a video monitor 2-21, a high-definition image transmission start indicator 2-23, and a recording unit. 2-24. In the configuration of FIG. 2, the image transmission unit Tx and the image reception unit Rx are connected by a bidirectional transmission path.
In the configuration of FIG. 2, in normal compressed video transmission, the switching unit 2-50 is controlled so that the video signal 2-2 from the camera 2-1 is output as the signal 2-3, and the video input memory Input to part 2-4. The video input memory unit 2-4 buffers the signal 2-3 and outputs it as data 2-5 to the moving image compression encoding unit 2-6. The moving image compression encoding unit 2-6 performs compression encoding on the data 2-5 and outputs compressed moving image data 2-7. At this time, the switching unit 2-51 is controlled so that the compressed moving image data 2-7 is connected to the data 2-8. The transmission interface unit 2-10 outputs the data 2-8 as the transmission line data 2-11.
[0005]
In the reception unit Rx, the transmission interface unit 2-13 captures the data 2-11 on the transmission path as data 2-14.
This data 2-14 is the same data as the compressed moving image data 2-7. The switching unit 2-52 is controlled so that this data 2-14 is output as compressed moving image data 2-16. The compressed moving image data 2-16 is input to the compressed moving image decoding unit 2-17 and the recording unit 2-24.
The compressed moving image decoding unit 2-17 decodes the compressed moving image data 2-16 and outputs it as data 2-25. The switching unit 2-53 is controlled so that the data 2-25 is output as the data 2-18. The data 2-18 is basically image data corresponding to the data 2-5, but compression degradation has occurred in the data 2-18. The video display memory unit 2-19 buffers the data 2-18 and displays it as a video signal 2-20 on the video display monitor 2-21. On the other hand, the recording unit 2-24 continues to record the compressed moving image data 2-16 in a predetermined area.
The above is the operation during compressed moving image transmission, and the image quality of the video monitor 2-21 displayed here is an image quality that can grasp the situation as described above. Here, when the monitor watching the video monitor 2-21 determines that a high-definition image of the displayed video is necessary, the high-definition image transmission start indicator 2-23 is operated.
[0006]
Hereinafter, an operation for transmitting a high-definition image will be described. From the high-definition image transmission start indicator 2-23, data 2-22 representing a high-definition image transmission start instruction is output, input to the transmission interface unit 2-13, and output as a transmission path signal 2-12. The data is input to the transmission interface unit 2-10 of the image transmission unit Tx.
The transmission path interface unit 2-10 outputs the signal 2-12 as data 2-9. The data 2-9 controls the switching unit 2-50 so that the video signal 2-2 is not input to the data 2-3. The data 2-9 controls the switching unit 2-51 so that the data 2-5 is connected to the data 2-8.
Thereby, uncompressed data (data not subjected to compression encoding) is input to the transmission interface unit 2-10. This data is transmitted to the image receiving unit by a signal 2-11 on the transmission path.
In the image receiving unit Rx, the transmission interface unit 2-13 outputs a signal 2-11 on the transmission path as data 2-14. This data is image data having no compression deterioration, similar to the data 2-5.
The switching unit 2-52 is controlled by the data 2-22 representing the high-definition image transmission start instruction so that the data 2-14 is connected to the data 2-15, and the switching unit 2-53 is controlled by the data 2-18. It is controlled so that data 2-15 is connected to. As a result, uncompressed image data is input to the video display memory unit 2-19, and a high-definition image having no compression deterioration is displayed on the video monitor 2-21. The data 2-15 is input to the recording unit 2-24, recorded as a high-definition image, and used when necessary.
The above is the operation of transmitting an arbitrary high-definition image from a compressed moving image according to the conventional technique.
[0007]
Here, FIG. 2 has been described as non-compressed image data as an example of a high-definition image, but since it is non-compressed, the amount of data becomes a huge amount of data. For this reason, in general, the same transmission path (transmission capacity) as that for transmitting the compressed moving image is used. Therefore, in order to transmit the high-definition image of one frame, a longer time of the real-time frame time is used. Is absolutely necessary.
Therefore, a high-definition image is difficult to transmit a moving image and becomes a still image. However, as described above, when this high-definition image is required, there is no problem because there is no need for a moving image because it is a specific scene.
On the contrary, the problem is that the transmission of the original compressed moving image is completely interrupted during the transmission of the high-definition image. That is, only the compressed moving image data in a discontinuous state due to the interruption can be recorded in the compressed moving image data recorded in the recording unit 2-24 in FIG. Of course, even the video monitor 2-21 cannot see anything during high-definition image transmission.
[0008]
The problem with this prior art will be described more specifically with reference to FIG. FIG. 3 shows the state of the signal 2-11 on the transmission line when operated with the high-definition image transmission start indicator 2-23. Thus, during transmission of high-definition image data, the compressed moving image data is completely interrupted and is not recorded in the recording unit 2-24. As described above, when requesting high-definition image data, it is because something that should be watched (such as the entry of a burglar) has occurred. Is also a serious problem.
FIG. 3 also shows the interruption time (one frame high-definition image transmission time) for a system using MPEG-2 or MPEG-4 as a compression encoding system. Basically, this time is calculated by dividing the amount of high-definition image data of one frame by the transmission path capacity. However, the amount of high-definition image data and the transmission path capacity are typical values in MPEG-2 and MPEG-4, respectively.
MPEG-2: Transmission capacity 4 Mbps: Interruption time 1.4 seconds MPEG-4: Transmission capacity 384 kbps: Interruption time 4.2 seconds
[Problems to be solved by the invention]
In the conventional technology, in the remote image monitoring system, transmission of compressed moving image data is interrupted during transmission of high-definition image data, so that image monitoring becomes impossible and only discontinuous compressed moving image data is recorded. There is a disadvantage that it can not.
In view of the above problems, the present invention provides a video capture memory unit for high-definition images in the image transmission unit, and controls the compression rate of the compressed video encoding unit to be adapted to the transmission rate of high-definition image data. Accordingly, an object of the present invention is to provide a remote image monitoring system capable of simultaneously transmitting high-definition image data and compressed moving image data and solving the above-described drawbacks.
[0010]
[Means for Solving the Problems]
In order to achieve the above object, the present invention provides a remote image monitoring system in which a compressed moving image transmitted from an image transmission unit via a transmission path is received by an image reception unit, decoded, and monitored. When there is an image transmission request, the image transmission unit lowers the transmission rate of the compressed moving image data to a transmission rate of a predetermined ratio of the transmission capacity of the transmission path, and thereby the remaining ratio of the vacant transmission path The predetermined high-definition image data is transmitted at the transmission rate.
Further, in a remote image monitoring system in which a compressed moving image transmitted from an image transmission unit via a transmission path is received, decoded, and monitored, a high-definition image transmission from the image reception unit to the image transmission unit In response to the request signal, means for generating and outputting the transmission rate of the compressed moving image data by reducing it to a transmission rate of a predetermined ratio of the transmission capacity of the transmission line, and a predetermined high value which is the transmission rate of the remaining ratio of the transmission line It has a configuration having means for generating and outputting fine image data and means for switching the two data outputs at a predetermined ratio and outputting them to the transmission line in response to a high-definition image transmission request signal from the image receiving unit. .
In addition, the image receiving unit receives means for outputting a high-definition image transmission request signal to the image transmitting unit, and the two data outputs transmitted from the image transmitting unit based on the high-definition image transmission request signal. The apparatus includes a means for switching and outputting the compressed moving image data and the predetermined high-definition image data.
In addition, the image transmission unit includes a video input memory unit for buffering and outputting an input video signal, a high-definition image memory unit for buffering the high-definition image, and predetermined image data from the video input memory unit. A video data transfer unit that transfers to the high-definition image memory unit, a compressed moving image encoding unit that changes the compression rate based on the high-definition image transmission request signal and encodes the output from the video input memory unit, An output control unit that switches the output of the compressed video encoding unit and the output of the high-definition image memory unit at a predetermined ratio, and the switched data and the data of the output control unit are input and output to the transmission path The transmission interface unit is included.
[0011]
That is, according to the present invention, in a remote image monitoring system, instantaneousness is not required for transmission of high-definition images, and even if the data rate of compressed moving image data is reduced by about 10%, the image quality is extremely low. Focusing on the fact that there is no deterioration, high-definition image data and compressed moving image data can be transmitted simultaneously.
Specifically, when a high-definition image transmission request is made, compressed moving image data is transmitted at a rate of a predetermined ratio of the transmission capacity of the transmission path, and high-definition image data is transmitted at a rate of the remaining ratio. Is.
As a result, the transmission time of high-definition image data requires a longer time than before, but the transmission of compressed moving image data can be continued without interruption. Thereby, the image receiving unit can realize a remote image monitoring system capable of displaying and recording the necessary high-definition image and the compressed moving image data continuously even in a portion where a special change occurs in the monitoring target.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
The configuration of an embodiment of a remote image monitoring system according to the present invention will be described in detail with reference to FIG.
In the image transmission unit Tx, the video signal 2-2 of the camera 2-1 is input to the video input memory unit 2-4, and the data 2-5 of the video input memory unit 2-4 is input to the compressed video encoding unit 1-70. Entered. Data 2-2 in the video input memory unit 2-4 is input to the video data transfer unit 1-1, and data 1-3 in the video data transfer unit 1-1 is input to the high-definition image memory unit 1-4. The Data 1-7 of the compressed video encoding unit 1-70 and data 1-5 of the high definition image memory unit 1-4 are input to the switching unit 1-60. Data 1-31 of the switching unit 1-60 is input to the transmission interface unit 1-12. The data 1-9 of the output control unit 1-8 is also input to the switching unit 1-60. Data 1-6 of the transmission interface unit 1-12 is input to the output control unit 1-8, the compressed moving image encoding unit 1-70, and the video data transfer unit 1-1. The transmission interface unit 1-12 outputs a transmission line signal 1-10 and inputs a transmission line signal 1-11.
[0013]
In the image receiving unit Rx, the transmission path signal 1-10 is input to the transmission interface unit 1-13, and the signal 1-11 is output. Data 1-15 of the transmission interface unit 1-13 is input to the switching unit 1-61. Data 1-16 of the switching unit 1-61 is input to the moving image compression decoding unit 2-17 and the recording unit 1-18. Data 1-17 of the switching unit 1-61 is input to the switching unit 1-62 and the recording unit 1-18. Data 1-25 of the moving image compression decoding unit 2-17 is input to the switching unit 1-62.
Data 1-23 of the switching unit 1-62 is input to the video display memory unit 2-19. The display switching signal 1-50 is also input to the switching unit 1-62. The signal 1-22 of the video display memory unit 2-19 is input to the video monitor 2-21. Data 1-20 representing a high-definition image transmission start instruction from the high-definition image transmission start indicator 1-19 is input to the transmission interface unit 1-13.
[0014]
Hereinafter, the operation of FIG. 1 will be described. The operation during the period when the high-definition image is not transmitted is the same as that of the conventional technique described with reference to FIG. Data 1-7 which is compressed moving image data output from the camera 2-1, video input memory unit 2-4, and compressed moving image encoding unit 1-70 is converted into data 1-31 by the switching unit 1-60. Is output and input to the transmission interface unit 1-12.
Then, the signal 1-10 on the transmission path is input to the transmission interface unit 1-13 of the image receiving unit Rx. From the transmission interface unit 1-13, data 1-15 that is compressed moving image data is output as data 1-16 by the switching unit 1-61 and input to the moving image compression decoding unit 2-17. The data 1-25 of the moving image compression decoding unit 2-17 is output as the data 1-23 by the switching unit 1-62, is input to the video display memory unit 2-19, and is compressed to the video monitor 2-21. An image of the data is displayed.
Here, the operation when the monitoring person who is monitoring the video monitor 2-21 requests high-definition image transmission with the high-definition image transmission start indicator 1-19 will be described. Data 1-20 from the high-definition image transmission start indicator 1-19 is input to the transmission interface unit 1-13, and is input to the transmission interface unit 1-12 of the image transmission unit Tx as a transmission path signal 1-11. Is done.
[0015]
The data is output as data 1-6 from the transmission interface unit 1-12 and notifies the video data transfer unit 1-1 of a request for high-definition image transmission. Here, the video data transfer unit 1-1 transfers one frame of data in the video input memory unit 2-4, which is a target of the compressed moving image being transmitted, to the high-definition image memory unit 1-4 as data 1 -3.
The high-definition image data buffered in the high-definition image memory unit 1-4 is output as data 1-5 at a predetermined transmission rate. As an example of the predetermined transmission rate, it is assumed here that the transmission capacity of the transmission line signal 1-10 is 10%.
The switching unit 1-60 inputs the data 1-31 to the transmission interface unit 1-12 by switching according to the transmission rate of the data 1-5. As a result, 10% of the transmission path capacity of the signal 1-10 on the transmission path is occupied by the high-definition image data.
[0016]
On the other hand, data 1-6 is also input to the compressed video encoding unit 1-70, and a transmission request for high-definition image data is notified. As a result, the compressed video encoding unit 1-70 controls the generation of the data 1-7 that is the compressed video encoded data so that the transmission rate corresponds to 100% to 90% of the transmission path capacity. . Similarly, the switching unit 1-60 performs switching according to the transmission rate of the data 1-7 to obtain data 1-31, which is input to the transmission interface unit 1-12. As a result, 10% high-definition image data and 90% compressed moving image data are transmitted to the transmission signal 1-10.
Here, in the case of a transmission line such as the Internet, the signal 1-10 is time-division multiplexed in units of packets. As an example, of 10 packets, 1 packet of high-definition image data and 9 packets of compressed moving image data are transmitted. In addition, when the transmission path is such time division multiplexing in units of packets, it is natural to realize multiplexing by switching the switching unit 1-60. That is, the data 1-31 is time division multiplexed data in units of packets on the transmission path. The output control unit 1-8 controls this.
[0017]
Next, the operation in the image receiving unit Rx will be described. Data 1-15 output from the transmission interface unit 1-13 is data in which high-definition image data and compressed moving image data are multiplexed. By switching this in packet units by the switching unit 1-61, high-definition image data is output as data 1-17, and compressed moving image data is output as data 1-16.
At this time, the switching unit 1-61 determines whether or not the data is high-definition image data or compressed moving image data based on the header information of the packet of the data 1-15. Data 1-17, which is high-definition image data, is input to the recording unit 1-18 and recorded, and is also input to the switching unit 1-62.
In the present invention, since compressed moving image data can be transmitted without interruption even during transmission of a high-definition image, the switching unit 1-62 normally connects the data 1-25 and the data 1-23. The image of the compressed moving image data is displayed on the video monitor 2-21. Here, even if the monitoring person who is monitoring the video monitor 2-21 wants to display the high-definition image transmission data consciously, the switching unit 1-62 causes the data 1- 17 and data 1-23 can be easily realized by controlling the connection.
Note that the compressed moving image encoding unit 1-70 and the output control unit 1-8 of the image transmission unit Tx automatically complete the transmission of the transferred target high-definition image data in the high-definition image memory unit 1-4. Assume that control returns to the normal compressed moving image data transmission state.
[0018]
FIG. 4 shows the state of the signal 1-10 on the transmission line in the present invention. As described above, during transmission of high-definition image data, the transmission rate of compressed moving image data is reduced to, for example, 90%, and high-definition image data is transmitted at a 10% free portion.
FIG. 4 shows the time required to transmit one frame of high-definition image data in the case of MPEG-2 and MPEG-4 as in FIG.
MPEG-2: Transmission capacity 4 Mbps: High-definition image data transmission time 14 seconds MPEG-4: Transmission capacity 384 kbps: High-definition image data transmission time 42 seconds This time is longer than the prior art, but basically high-definition images Since it is recorded in the recording unit and used later by performing image processing and the like, there is no actual harm. (For example, feature investigation by enlarging the face part of the criminal image).
Furthermore, in the above-described example, the ratio of the transmission rate of the high-definition image data and the transmission rate of the compressed moving image is 10:90, but this ratio can be arbitrarily changed without any problem. For example, if the ratio is 20:80, the deterioration of the compressed moving image slightly increases, but the transmission time of high-definition image data can be shortened to ½.
In the description of FIG. 1, high-definition image data has been described as non-compressed image data. However, data encoded by a lossless encoding method that does not cause compression deterioration can be used as the present invention. Furthermore, depending on the purpose of use of the high-definition image, there may be a case where a small level of deterioration can be tolerated. In this case, the present invention can be applied to data encoded at a low compression rate by JPEG, which is a still image encoding method. Can be applied.
[0019]
【The invention's effect】
In the present invention, when a high-definition image transmission request is made, high-definition image data is transmitted at an arbitrary rate within the transmission capacity of the transmission line, and compressed moving image data is transmitted at the remaining transmission capacity. By controlling in this way, even during transmission of high-definition image data, the image receiving unit can record / display a compressed moving image without any problem. Thus, in the remote image monitoring system, it is possible to sufficiently cope with many needs for displaying / recording an important moving image portion related to a high-definition image with respect to a special situation change.
[Brief description of the drawings]
FIG. 1 is a block diagram showing the configuration of an embodiment of a remote image monitoring system according to the present invention. FIG. 2 is a block diagram showing the configuration of an example of a remote image monitoring system according to the prior art. FIG. 4 is a schematic diagram showing the state of the signal 2-11. FIG. 4 is a schematic diagram showing the state of the signal 1-11 on the transmission line of the present invention.
1-1: Video data transfer IV, 1-4: High-definition image memory unit, 1-70: Compressed moving image encoding unit.

Claims

画像送信部から伝送路を介し伝送される圧縮動画像を画像受信部で受信、復号して監視する遠隔画像監視システムにおいて、上記画像受信部から高精細画像の伝送要求があった場合、上記画像送信部で、上記圧縮動画像データの伝送レートを上記伝送路の伝送容量の所定割合の伝送レートに下げ、これにより空いた上記伝送路の残りの割合の伝送レートにより所定の高精細画像データを伝送するようにしたことを特徴とする画像伝送方法。In a remote image monitoring system in which a compressed moving image transmitted from an image transmitting unit via a transmission path is received, decoded, and monitored by the image receiving unit, if there is a transmission request for a high-definition image from the image receiving unit, the image In the transmission unit, the transmission rate of the compressed moving image data is lowered to a transmission rate of a predetermined ratio of the transmission capacity of the transmission path, and thereby predetermined high-definition image data is transferred by the transmission rate of the remaining transmission path. An image transmission method characterized by being transmitted.

画像送信部から伝送路を介し伝送される圧縮動画像を画像受信部で受信、復号して監視する遠隔画像監視システムにおいて、上記画像送信部に、上記画像受信部からの高精細画像伝送要求信号により、上記圧縮動画像データの伝送レートを上記伝送路の伝送容量の所定割合の伝送レートに下げて生成、出力する手段と、上記伝送路の残りの割合の伝送レートとした所定の高精細画像データを生成、出力する手段と、上記画像受信部からの高精細画像伝送要求信号により当該２つのデータ出力を所定の比率で切り替え上記伝送路へ出力する手段を有することを特徴とする遠隔画像監視システム。In a remote image monitoring system in which a compressed moving image transmitted from an image transmission unit via a transmission path is received, decoded, and monitored, a high-definition image transmission request signal from the image reception unit is sent to the image transmission unit To reduce the transmission rate of the compressed moving image data to a transmission rate of a predetermined ratio of the transmission capacity of the transmission path, and to generate and output, and a predetermined high-definition image having a transmission rate of the remaining ratio of the transmission path Remote image monitoring comprising: means for generating and outputting data; and means for switching the two data outputs at a predetermined ratio and outputting them to the transmission path in response to a high-definition image transmission request signal from the image receiving unit system.

請求項２に記載の遠隔画像監視システムにおいて、上記画像受信部に、上記画像送信部へ高精細画像伝送要求信号を出力する手段と、当該高精細画像伝送要求信号に基づき上記画像送信部から伝送される上記２つのデータ出力を受信し、上記圧縮動画像データと上記所定の高精細画像データを切り替え出力する手段を有することを特徴とする遠隔画像監視システム。3. The remote image monitoring system according to claim 2, wherein means for outputting a high-definition image transmission request signal to the image transmission unit and transmission from the image transmission unit based on the high-definition image transmission request signal to the image reception unit. A remote image monitoring system having means for receiving the two data outputs and switching and outputting the compressed moving image data and the predetermined high-definition image data.

請求項２に記載の遠隔画像監視システムにおいて、上記画像送信部を、入力映像信号をバッファして出力するビデオ入力メモリ部と、上記高精細画像をバッファするための高精細画像メモリ部と、上記ビデオ入力メモリ部から所定の画像データを上記高精細画像メモリ部へ転送するビデオデータ転送部と、上記高精細画像伝送要求信号に基づき圧縮率を変えて上記ビデオ入力メモリ部からの出力を符号化する圧縮動画像符号化部と、該圧縮動画像符号化部の出力と上記高精細画像メモリ部の出力を所定の比率で切り替える出力制御部と、当該切り替えられたデータと上記出力制御部のデータを入力し、上記伝送路へ出力する伝送インターフェース部を有する構成としたことを特徴とする遠隔画像監視システム。3. The remote image monitoring system according to claim 2, wherein the image transmission unit includes a video input memory unit that buffers and outputs an input video signal, a high-definition image memory unit that buffers the high-definition image, and the A video data transfer unit for transferring predetermined image data from the video input memory unit to the high-definition image memory unit, and encoding the output from the video input memory unit by changing the compression rate based on the high-definition image transmission request signal A compressed video encoding unit, an output control unit that switches the output of the compressed video encoding unit and the output of the high-definition image memory unit at a predetermined ratio, the switched data, and the data of the output control unit A remote image monitoring system comprising a transmission interface unit that inputs and outputs to the transmission path.