JP4104577B2 - Image transmission apparatus, image transmission method, transmission system, and video surveillance system - Google Patents
Image transmission apparatus, image transmission method, transmission system, and video surveillance system Download PDFInfo
- Publication number
- JP4104577B2 JP4104577B2 JP2004151409A JP2004151409A JP4104577B2 JP 4104577 B2 JP4104577 B2 JP 4104577B2 JP 2004151409 A JP2004151409 A JP 2004151409A JP 2004151409 A JP2004151409 A JP 2004151409A JP 4104577 B2 JP4104577 B2 JP 4104577B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- efficiency encoding
- circuit
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、撮像装置から出力される画像信号に高能率符号化を施してデータ量を削減し、Ｅｔｈｅｒｎｅｔ（イーサネット）や無線ＬＡＮなどを介して伝送するネットワーク環境下において、伝送されてきた高能率符号化の施された画像データに基づく表示画像を見ながら、撮像装置の水平（パン）、垂直（チルト）、及び拡大（ズーム）などの制御を遠隔操作する際に使用される画像伝送装置及び画像伝送方法に関する。 The present invention performs high-efficiency encoding on an image signal output from an imaging apparatus to reduce the amount of data, and has been transmitted in a network environment where the data is transmitted via Ethernet (Ethernet) or a wireless LAN. An image transmission device used when remotely controlling a horizontal (pan), vertical (tilt), and enlargement (zoom) control of an imaging device while viewing a display image based on encoded image data, and The present invention relates to an image transmission method.
近年のＣＰＵやシステムＬＳＩの高性能化及び低価格化に伴い、あらゆるアナログ信号処理がデジタル化されつつある。画像信号も例外ではなく、ＤＶＤプレイヤー／レコーダやデジタル放送などに採用されているＭＰＥＧ２（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ２）方式においては、ＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）画像を数Ｍｂｐｓ程度に圧縮することができる。なお、ＭＰＥＧ２は、ＩＴＵ−Ｔの勧告Ｈ．２２２．０（ＩＳＯ／ＩＥＣ１３８１８−１）“ＧＥＮＥＲＩＣ ＣＯＤＩＮＧ ＯＦ ＭＯＶＩＮＧ ＰＩＣＴＵＲＥＳ ＡＮＤ ＡＳＳＯＣＩＡＴＥＤ ＡＵＤＩＯ ＩＮＦＯＲＭＡＴＩＯＮ”により規定されている。映像監視システムに使用される画像伝送装置においては、伝送路の有効活用及びコスト低減のために、画像圧縮技術（高能率符号化技術）は必須な技術である。特に、多数の監視カメラを用いた映像監視システムにおいては、ＭＰＥＧ２方式の画像圧縮技術を用いることにより、１本のＥｔｈｅｎｅｔを用いて複数の監視カメラからの映像を伝送することができる。 All analog signal processing is being digitized along with recent high performance and low price of CPU and system LSI. An image signal is not an exception, and an SD (Standard Definition) image can be compressed to about several Mbps in the MPEG2 (Motion Picture Experts Group 2) method employed in DVD players / recorders, digital broadcasting, and the like. MPEG2 is an ITU-T recommendation H.264. 222.0 (ISO / IEC 13818-1) “GENERIC CODING OF MOVING PICTURES AND ASSOCIATED AUDIO INFORMATION”. In an image transmission apparatus used in a video surveillance system, an image compression technique (high-efficiency encoding technique) is an indispensable technique for effective use of a transmission path and cost reduction. In particular, in a video surveillance system using a large number of surveillance cameras, video from a plurality of surveillance cameras can be transmitted using a single Ethernet using an MPEG2 image compression technique.
一般に、映像監視システムでは、複数の監視カメラより出力される画像データを監視用の集中管理室の監視モニターによって監視する。そして、監視画面上に不審人物を見つけた場合は、監視者は監視モニターを見ながら監視カメラの向きなどを遠隔操作して、不審人物の確認を行う。その際、従来のアナログ映像を用いた映像監視システムでは、画像データがほとんど遅延無しに伝送されてくるため、監視モニターを見ながら、監視カメラに対するパン、チルト、及びズームなどの遠隔操作を良好に行うことができる。 In general, in a video monitoring system, image data output from a plurality of monitoring cameras is monitored by a monitoring monitor in a central control room for monitoring. Then, when a suspicious person is found on the monitoring screen, the monitoring person confirms the suspicious person by remotely controlling the direction of the monitoring camera while looking at the monitoring monitor. At that time, in the conventional video surveillance system using analog video, image data is transmitted with almost no delay, so that remote operation such as panning, tilting and zooming on the surveillance camera can be performed well while watching the surveillance monitor. It can be carried out.
一方、例えば、ＭＰＥＧ２を利用した画像圧縮方式では、高画質に画像データを圧縮するため時間・空間的な相関を利用する。従って、ＭＰＥＧ２を用いた映像監視システムでは、画像圧縮、画像伸張、及びネットワーク系で発生するジッタなどを取り除く制御を実施するため、監視カメラで撮像した画像は１秒以上遅れて監視モニター上に表示される。よって、監視モニターを見ながら、監視カメラに対するパン、チルト、及びズームなどの遠隔操作をする場合、上述した画像の遅延時間が操作性を非常に悪くする。 On the other hand, for example, an image compression method using MPEG2 uses a temporal / spatial correlation to compress image data with high image quality. Therefore, in the video monitoring system using MPEG2, image compression, image expansion, and control for removing jitter generated in the network system are performed, so that the image captured by the monitoring camera is displayed on the monitoring monitor with a delay of 1 second or more. Is done. Therefore, when performing remote operations such as panning, tilting, and zooming on the surveillance camera while looking at the surveillance monitor, the delay time of the image described above makes the operability very poor.
以下に、圧縮画像を利用した従来の映像監視システムについて説明する。図１９は、従来の映像監視システム１９ａを示すブロック構成図である。図１９に示されるように、従来の映像監視システム１９ａは、監視カメラ１と、この監視カメラ１の向きなどを制御する電動雲台２と、画像伝送装置７ａ及びこれに通信ケーブル９で接続された画像受信装置１４ａからなる伝送システム１８ａと、監視カメラ１により撮影された画像を表示する監視モニター１５と、監視カメラ１及び電動雲台２を伝送システム１８ａを介して制御するための操作パネル１６とから構成されている。以下の説明においては、説明を簡単にするため、図１９に示されるように、同一ネットワーク上に画像伝送装置７ａと画像受信装置１４ａが一対一で接続されているものとして説明するが、実際の映像監視システムでは、同一ネットワーク上に画像伝送装置７ａ及び画像受信装置１４ａがそれぞれ複数台接続される。
A conventional video monitoring system using a compressed image will be described below. FIG. 19 is a block diagram showing a conventional video monitoring system 19a. As shown in FIG. 19, the conventional video surveillance system 19 a is connected to the
図１９に示されるように、画像伝送装置７ａは、画像圧縮回路３、通信モジュール４、ＣＰＵ５、及びＣＰＵバス６により構成される。画像圧縮回路３は、監視カメラ１より入力される画像信号をデジタル信号に変換し、この変換されたデジタル画像信号に高能率符号化を施し伝送データ量を削減する。通信モジュール４は、画像圧縮回路３により圧縮された画像データの送信、電動雲台２の向きなどを制御する制御信号の受信、及び監視カメラ１のズーム制御などを実施する制御信号の受信を行う。ＣＰＵ５は、監視カメラ１のズーム、或いは電動雲台２の向きなどを制御する制御信号８を監視カメラ１及び電動雲台２に出力する。また、図１９に示されるように、画像受信装置１４ａは、通信モジュール１０、画像伸張回路１１、ＣＰＵ１２、及びＣＰＵバス１３により構成される。通信モジュール１０は、画像伝送装置７ａより出力される圧縮された画像データの受信、並びに、ＣＰＵ１２より出力される電動雲台２の制御信号及び監視カメラ１の制御信号の送信を行う。画像伸張回路１１は、画像圧縮回路３にて圧縮された画像データを伸張し元の画像データを復元する。監視カメラ１のズーム、或いは電動雲台２の向きなどを制御するための操作は操作パネル１６により行われる。
As shown in FIG. 19, the
以下に、図１９を用いて従来の映像監視システム１９ａの動作を説明する。監視カメラ１より出力されるアナログの画像信号は、画像圧縮回路３内でデジタル信号に変換された後、ＭＰＥＧ２による画像圧縮が施されトランスポートストリーム（以下「ＴＳ」と記す。）が生成される。画像圧縮回路３内で生成されたＴＳは、ＣＰＵ５にてＴＳの先頭にヘッダ情報などが付加され、ＴＳパケットとして通信モジュール４に入力される。上述したように、一般的な映像監視システム１９ａにおいては、画像伝送装置７ａ及び画像受信装置１４ａが、同一ネットワーク上に複数台接続される。従って、ＣＰＵ５では、どの画像伝送装置７ａからどの画像受信装置１４ａに出力されたＴＳパケットかを判断するための情報などをヘッダに付加する。なお、この従来例では、ヘッダ情報としては、画像データと監視カメラ１の制御情報を識別するための情報を付加し、また、通信プロトコルとしてはＴＣＰ／ＩＰを使用するものとする。通信モジュール４は、ＴＣＰ／ＩＰヘッダの付加されたＴＳパケットが入力されると、通信ケーブル９を介して画像受信装置１４ａ内の通信モジュール１０にＴＳパケットを送信する。
The operation of the conventional video monitoring system 19a will be described below with reference to FIG. The analog image signal output from the
画像伝送装置７ａの通信モジュール４から画像受信装置１４ａの通信モジュール１０にＴＳパケットが入力されると、画像受信装置１４ａのＣＰＵ１２は、ヘッダ情報を解析する。ＣＰＵ１２は、ＴＣＰ／ＩＰのヘッダ情報を解析し、そのＴＳパケットが自分宛のものであった場合、ヘッダ情報を削除し、ＴＳを画像伸張回路１１に入力する。なお、この従来例では、画像伝送装置７ａからはＴＳパケットのみ受信するものとして説明を行う（実際は、監視カメラ１の制御信号を送出した際はそのＴＣＰ／ＩＰのＡＣＫ（確認通知）などを受信する。）。画像伸張回路１１は、入力されたＴＳより元の画像データを復元して監視モニター１５に出力する。
When a TS packet is input from the
次に、監視者が不審人物を確認し監視カメラ１の向きなどを変える場合のカメラ制御信号の流れについて説明する。監視者が不審人物を確認し操作パネル１６を用いて監視カメラ１の向きなどの制御を開始すると、操作パネル１６より監視カメラ１の制御信号がＣＰＵ１２へ入力される。ＣＰＵ１２は、監視カメラ１の制御信号１７が入力されると、制御信号１７にヘッダ情報を付加し通信モジュール１０に出力する。なお、ＣＰＵ１２は、制御信号１７にＴＣＰ／ＩＰヘッダも付加する。通信モジュール１０は、ＣＰＵ１２より監視カメラ１の制御信号パケットが入力されると、この制御信号パケットを通信ケーブル９を介して画像伝送装置７ａ内の通信モジュール４に送信する。一方、画像伝送装置７ａ内の通信モジュール４は、通信モジュール１０より監視カメラ１の制御信号パケットの受信を完了すると、ＣＰＵ５に対して割り込みを発生する。ＣＰＵ５は、通信モジュール４より割り込みが入力されると、受信データを通信モジュール４より読み出しヘッダ情報を解析する。ヘッダ情報を解析した結果、受信パケットが自分宛のものであった場合、ヘッダ情報を解析し、どのような情報を受信したか判断する。この判断結果が監視カメラ１の制御情報であった場合、ヘッダ情報を削除し、この制御情報を電動雲台２へ出力する。実際には、監視カメラ１の向きを制御するパン及びチルト制御の情報は電動雲台２へ、また、ズーム、フォーカスなどの監視カメラ１自体の制御信号は監視カメラ１へ出力されるが、この従来例では、説明を簡単にするため、図１９に示されるように、いずれの制御信号も電動雲台２へ出力されるものとする。
Next, the flow of the camera control signal when the supervisor confirms the suspicious person and changes the orientation of the
画像伝送装置７ａ内のＣＰＵ５より監視カメラ１の制御信号８が入力されると、入力された制御情報に基づき、電動雲台２は監視カメラ１の向きなどを制御し、監視カメラ１はズームなどの制御を実施する。しかし、ＭＰＥＧ２などのフレーム相関を利用した画像圧縮方式を採用した場合には、監視カメラ１で撮像した画像が画像受信装置１４ａに接続された監視モニター１５に表示されるまでに、およそ１秒程度かかる。従って、画像信号を圧縮してデジタルで伝送する従来の映像監視システム１０ａでは、監視カメラ１の向きを変えるよう監視者が操作パネル１６を操作しても、監視モニター１５の表示画像が反応するまでに１秒程度の遅れがあり、操作が非常に難しいという問題点があった。この問題点を改善する一手法として、監視カメラ１を制御する際の画像の圧縮方式を、フレーム相関を利用した画像圧縮方式から、遅延時間の少ない圧縮方式に切り替える方式が提案されている（例えば、特許文献１参照）。
When the
以下に、上記特許文献１に記載されている従来の画像伝送装置の動作について説明する。上記特許文献１では、圧縮処理時の時間を短くするために、入力画像の解像度を軽減させた間引き画像を表示する手法を使用するか、又は、画像圧縮モードとして通常監視時の高画質ＩＰＢモード（双方向予測を使用）から遅延時間の短いＩモード（フレーム内符号化を使用）若しくはＩＰモード（片方向予測を使用）に切り換えるよう制御することにより、画像の遅延時間を短縮させている。
The operation of the conventional image transmission apparatus described in
しかしながら、上記手法は以下のような問題点を有する。まず、入力画像の解像度を軽減させ画像圧縮処理時間を短くする手法は、ＭＰＥＧ２を用いた圧縮手法では、ＩＰＢモードを使用した場合、少なくとも画像圧縮時及び画像伸張時にそれぞれ４フレームの遅延が発生する。この場合、入力画像の解像度を軽減させているので画像の演算処理時間及びネットワーク上での伝送時間は軽減されるが、操作性はさほど改善されない。 However, the above method has the following problems. First, the method of reducing the resolution of an input image and shortening the image compression processing time is a compression method using MPEG2, and when using the IPB mode, a delay of 4 frames occurs at least during image compression and image expansion. . In this case, since the resolution of the input image is reduced, the image processing time and the transmission time on the network are reduced, but the operability is not improved so much.
一方、監視カメラ１を制御する際、遅延時間の短いＩモード又はＩＰモードを使用する場合は、大きく分けて以下の３つ問題点を有する。
On the other hand, when the
１つ目の問題点は、制御開始時の際の遅延時間である。上記手法では、監視者が監視画面上に不審人物を確認した後、実際の遅延時間の短いＩモード或いはＩＰモードに移行するまでの時間が１秒以上かかる点にある。これは、画像データがシリアルに連続的に伝送されてくるため発生する。従って、監視者が被写体に対してカメラ制御を開始しても、遅延時間の少ない画像に切り替わるまでに若干の遅延時間が発生し、それが動く人物などの場合、初期反応が遅れてしまう問題点がある。また、一般に市販されているＭＰＥＧ２デコーダでは、ＩＰＢモードからＩモード或いはＩＰモードへの変換時に、画像受信装置１４ａ内の遅延量を短くするため、一旦画像伸張回路１１をリセットする必要がある。その際、数フレーム画像が止まる、若しくは数フレーム表示されなくなる可能性がある。また、Ｉモード或いはＩＰモードからＩＰＢモードへの移行に関しても、同様に、一旦画像伸張回路１１をリセットする必要があり、その場合、次の画像が表示されるまでに、１秒程度画像が出ない可能性があるという問題点があった。すなわち、ストリームを乗り換えるため１秒程度画像が出ない可能性があるという問題点があった。
The first problem is the delay time at the start of control. In the above-described method, it takes 1 second or more after the monitor confirms the suspicious person on the monitor screen until the monitor shifts to the I mode or IP mode with a short actual delay time. This occurs because image data is continuously transmitted serially. Therefore, even if the supervisor starts camera control on the subject, there is a slight delay time before switching to an image with a short delay time, and in the case of a person who moves it, the initial reaction is delayed. There is. In addition, in a commercially available MPEG2 decoder, it is necessary to reset the
２つ目の問題点は、画像伝送装置７ａと画像受信装置１４ａとの間のクロック同期制御である。一般に、Ｅｔｈｅｒｎｅｔ等を用いたネットワークでは、伝送装置と受信装置間のクロック同期は取れない。具体的には、画像圧縮回路３のマスタークロックと画像伸張回路１１のマスタークロックでは、たとえ同じ２７ＭＨｚの水晶発振子を使用していた場合でも、水晶発振子の周波数偏差分だけ、各々のマスタークロックは周波数が異なる。また、Ｅｔｈｅｒｎｅｔ等を用いたネットワークでは、パケットの送受信時にジッタが発生する。ＭＰＥＧ２システムでは、画像圧縮回路３と画像伸張回路１１の間でクロックの同期を取るためＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）が挿入されている。このＰＣＲは、画像伸張回路１１で時刻の基準となるＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）の値を画像圧縮回路３側で意図した値に設定するための情報である。従って、ＰＣＲが画像伸張回路１１に入力されるタイミングは、画像圧縮回路３で意図したタイミングである必要がある。この規定はＭＰＥＧ２のシステム仕様により取り決められており、ＰＣＲに関してはＴＳの場合少なくとも１００ｍｓに１回は伝送する必要がある。更に、ＰＣＲを含むＴＳに関しては、そのジッタを数十μｓ以下（例えば、５０μｓ）に抑える必要がある。
The second problem is clock synchronization control between the
上記クロック同期制御及びジッタ抑圧制御に関しては、この改善策としてＡＴＭ（Ａｓｙｎｃｒｏｎｏｕｓ Ｔｒａｎｆｅｒ Ｍｏｄｅ）を用いたものがある（例えば、特許文献２参照）。 As for the clock synchronization control and jitter suppression control, there is one using ATM (Asynchronous Transfer Mode) as an improvement measure (see, for example, Patent Document 2).
上記特許文献２では、ＳＲＴＳ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｒｅｓｉｄｕａｌ Ｔｉｍｅ Ｓｔａｍｐ：同期残差タイムスタンプ）法による通信方式と適応クロック法による通信方式について述べられている。ＳＲＴＳ法は通信を行う送信側と受信側の共通クロックを参照できる場合に使用する方式である。送信側でＮビットごとの固定データ転送速度情報の間隔で共通クロックを計測し、計測値の中で送信クロック周波数変動により値が変わる部分だけを同期タイムスタンプ残差情報としてパケットに挿入して送信する。受信側では、送られてきた同期タイムスタンプ残差情報と共通クロックとからＮビットの固定速度情報の間隔を再生し、この間隔を元に送信側のクロックを再生する。一方、適応クロック法は、受信側において受信したパケットに格納されている固定速度情報をバッファに格納し、格納した情報量が基準値を保持するようにバッファの読み出しクロック情報を制御する方式である。
また、上記ＳＲＴＳ法及び適応クロック法を組み合わせた方式では、バッファに格納される情報量があらかじめ設定された基準値に達した後はＳＲＴＳ法によりクロックを再生する。その後バッファに格納される情報量があらかじめ設定した上限値、或いは下限値に達すると適応クロック法によりクロックを再生し、バッファの情報量を基準値に戻す。バッファ量の情報量が基準値に戻った後は再びＳＲＴＳ法に基づきクロックを再生する。この場合、通信側と送信側でクロックが参照できない場合でも、受信側のバッファのオーバーフロー、或いはアンダーフローは発生することなくＳＲＴＳ法によるクロック再生を利用することができることになる。 In the method combining the SRTS method and the adaptive clock method, the clock is regenerated by the SRTS method after the amount of information stored in the buffer reaches a preset reference value. Thereafter, when the amount of information stored in the buffer reaches a preset upper limit value or lower limit value, the clock is regenerated by the adaptive clock method, and the information amount of the buffer is returned to the reference value. After the information amount of the buffer amount returns to the reference value, the clock is reproduced again based on the SRTS method. In this case, even if the communication side and the transmission side cannot refer to the clock, the SRTS method clock recovery can be used without causing overflow or underflow of the buffer on the reception side.
しかしながら、上記特許文献１に記載のシステムでは、監視カメラ１を制御する際、ＭＰＥＧ２による符号化方式が変更されるので、伝送されるＴＳパケットの伝送レートが通常監視時と異なると予想される。従って、上記特許文献１に記載のシステムについて、ＳＲＴＳ法、適応クロック法、或いは両者の組み合わせによるクロック同期制御及びジッタ抑圧制御を行うこと非常に難しいという問題点があった。すなわち、上記特許文献２の手法は、入力されるパケットデータが一定のレートで入力されてくる場合にのみ使用されるものであり、上記特許文献１に記載のシステムに適用することが難しいという問題点があった。
However, in the system described in
さらに、３つ目の問題点は、監視カメラ１を制御する際のＴＳパケットの到達遅延時間の問題である。一般に、Ｅｔｈｅｒｎｅｔ等を用いたネットワークでは、ネットワーク上を流れるパケットはすべて平等である。先にも述べたが、一般的な映像監視システムでは、同一ネットワーク上に複数の画像伝送装置７ａ及び画像受信装置１４ａが接続されている。このようなネットワークでは、通常、ネットワーク上で発生するジッタを抑圧するため、画像受信装置１４ａ側にＴＳパケットを一次記憶するメモリを配置する。しかし、この従来例に示すような映像監視システムでは、監視カメラ１を制御する際の画像の遅延時間を小さく抑えるため上記メモリサイズを非常に小さくするしなければならない。しかし、メモリサイズを小さくした場合、ネットワーク上で発生するジッタを十分に吸収しきれず、画像を途切れなく伝送することが非常に難しいという問題点があった。
Further, the third problem is a problem of the arrival delay time of the TS packet when the
そこで、本発明は、上述のような従来技術の課題を解決するためになされたものであり、圧縮画像信号を用いた映像監視システムにおいて監視カメラを制御する際、監視モニターに表示される画像の遅れ時間を短縮すると共に、監視カメラの制御開始時及び制御終了時においてもスムーズに画像切り替えが実施でき、また、通常監視時及び監視カメラ操作時のいずれにおいても画像を途切れることなく表示することができる画像伝送装置及び画像伝送方法を得ることを目的とする。 Therefore, the present invention has been made to solve the above-described problems of the prior art. When a surveillance camera is controlled in a video surveillance system using a compressed image signal, an image displayed on the surveillance monitor is displayed. The delay time can be shortened, images can be switched smoothly at the start and end of control of the surveillance camera, and images can be displayed without interruption during normal surveillance and surveillance camera operation. An object of the present invention is to obtain an image transmission apparatus and an image transmission method.
本発明の画像伝送装置は、撮像装置から入力される画像データに高能率符号化を施し、上記高能率符号化の施された画像データを復元し表示装置に出力する画像受信装置に対して、送信する画像伝送装置において、上記撮像装置から入力される画像データに第１の高能率符号化を施す第１の高能率符号化手段と、上記撮像装置から入力される画像データに第２の高能率符号化を施す第２の高能率符号化手段と、上記第１の高能率符号化の施された画像データ及び上記第２の高能率符号化の施された画像データを上記画像受信装置に送信する送信手段と、上記撮像装置の撮像位置又はズームの少なくとも一方を含む撮像条件を変更するための撮像条件変更要求信号を受信する受信手段と、上記撮像条件変更要求信号に基づく撮像条件制御信号を上記撮像装置に対して出力する撮像条件制御手段とを有し、上記第１の高能率符号化を施す際の画像データの遅延量は、上記第２の高能率符号化を施す際の画像データの遅延量よりも少なく、上記撮像条件制御手段が上記撮像条件制御信号を出力するときにおける上記第２の高能率符号化手段の画像データの圧縮率を、上記撮像条件制御手段が上記撮像条件制御信号を出力するとき以外における上記第２の高能率符号化手段の画像データの圧縮率よりも高く制御するとともに、上記撮像条件制御手段が上記撮像条件制御信号を出力するときには、上記送信手段より送信される信号に関して、上記第１の高能率符号化の施された画像データの優先度を上記第２の高能率符号化の施された画像データの優先度よりも高く設定し、上記第１の高能率符号化の施された画像データを優先的に送信するよう上記送信手段を制御することを特徴としている。
Image transmission apparatus of the present invention performs a high efficiency coding on the image data input from the imaging device, the image receiving apparatus which outputs the restored display image data subjected to the above-described high efficiency encoding, In the transmitting image transmission apparatus, a first high-efficiency encoding unit that performs first high-efficiency encoding on the image data input from the imaging apparatus, and a second high-efficiency unit for the image data input from the imaging apparatus. a second high-efficiency coding means for applying efficiency coding, the image data subjected to the above-described first high-efficiency encoding of applied image data and the second high efficiency encoding to the image receiving apparatus Transmitting means for transmitting; receiving means for receiving an imaging condition change request signal for changing an imaging condition including at least one of an imaging position or zoom of the imaging apparatus; and an imaging condition control signal based on the imaging condition change request signal The An imaging condition control means for outputting to the imaging device, and the delay amount of the image data when the first high-efficiency encoding is performed is the image data when the second high-efficiency encoding is performed less than the amount of delay, the compression ratio of the image data of the second high-efficiency encoding means at the time when the upper Symbol imaging condition control means outputs the image pickup condition control signal, the imaging condition control means the imaging condition with a high Ku system to control than the compression ratio of the image data of the second high-efficiency encoding means in addition when outputting a control signal, when the imaging condition control means outputs the image pickup condition control signal, the transmission For the signal transmitted from the means, the priority of the image data subjected to the first high-efficiency encoding is set higher than the priority of the image data subjected to the second high-efficiency encoding, First high efficiency It is characterized by controlling the transmission means to transmit the image data subjected to the No. of priority.
本発明の画像伝送装置又は画像伝送方法においては、例えば、撮像位置やズーム等の撮像条件を変更する際に、少なくとも表示装置に表示する画像を第１の高能率符号化手段により高能率符号化の施された画像データに切り換えると共に、第２の高能率符号化手段で符号化する画像データの圧縮率を、撮像条件を変更する場合と比較し高く制御するよう構成するので、撮像装置を遠隔操作するとき画像データの遅延時間を短くすることができる。また、撮像装置操作時には第１の高能率符号化が施された画像データを表示装置に表示させるが、第２の高能率符号化手段による画像データも伝送し続けるので、画像受信装置側のクロック同期制御等を第２の高能率符号化手段より出力される画像データを用いて実施することができ、撮像装置制御終了後、表示装置上に表示する画像を第２の高能率符号化手段による画像データに切り換えた場合でも画像データが乱れることなくスムーズに表示画像を切り換える（例えば、切り換えた直後１秒程度表示画像がフリーズすることなどが無い）ことができるという効果がある。 In the image transmission apparatus or the image transmission method of the present invention, for example, when changing imaging conditions such as the imaging position and zoom, at least an image to be displayed on the display device is encoded by the first high efficiency encoding means. And the compression rate of the image data encoded by the second high-efficiency encoding means is controlled to be higher than when the imaging condition is changed. When operating, the delay time of image data can be shortened. Further, the image data subjected to the first high-efficiency encoding is displayed on the display device when the image pickup apparatus is operated, but the image data by the second high-efficiency encoding means is also continuously transmitted. Synchronous control or the like can be performed using image data output from the second high-efficiency encoding unit, and after the imaging device control is finished, an image displayed on the display device is output by the second high-efficiency encoding unit. Even when the image data is switched, there is an effect that the display image can be smoothly switched without disturbing the image data (for example, the display image does not freeze for about 1 second immediately after the switching).
以下に、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
実施の形態１．
図１は、本発明の実施の形態１における映像監視システムの一構成例を示す図である。図１に示されるように、実施の形態１における映像監視システム１９は、監視カメラ１と、監視カメラ１の向きなどを制御する電動雲台２と、画像伝送装置７と、この画像伝送装置７に通信ケーブル９（ネットワーク）により接続された画像受信装置１４と、監視カメラ１により撮影された画像を表示する監視モニター１５と、監視カメラ１及び電動雲台２を制御するための操作パネル１６とから構成されている。図１に示されるように、画像伝送装置７と画像受信装置１４は、伝送システム１８を構成している。また、監視カメラ１と電動雲台２は、撮像装置（監視カメラ装置）を構成している。実施の形態１においては、説明を簡単にするため、図１に示されるように、同一ネットワーク上に画像伝送装置７と画像受信装置１４が一対一で接続されている場合を説明するが、実際の映像監視システムでは、同一ネットワーク上に画像伝送装置７及び画像受信装置１４がそれぞれ複数台接続される。
Hereinafter, the present invention will be specifically described with reference to the drawings showing embodiments thereof.
FIG. 1 is a diagram illustrating a configuration example of a video monitoring system according to
図１に示されるように、画像伝送装置７は、画像圧縮回路２０、通信モジュール４、ＣＰＵ５、及びＣＰＵバス６により構成される。画像圧縮回路２０は、監視カメラ１より入力される画像信号をデジタル信号に変換し、この変換されたデジタル画像信号に高能率符号化を施し伝送データ量を削減する。通信モジュール４は、画像圧縮回路２０により圧縮された画像データの送信、電動雲台２の向きを制御する制御信号の受信、及び監視カメラ１のズーム制御などを実施する制御信号の受信などを行う。ＣＰＵ５は、監視カメラ１のズーム或いは電動雲台２の向きなどを制御する制御信号８を監視カメラ１及び電動雲台２に出力する。
As shown in FIG. 1, the
図１に示されるように、画像受信装置１４は、通信モジュール１０、画像伸張回路２１、ＣＰＵ１２、及びＣＰＵバス１３により構成される。通信モジュール１０は、画像伝送装置７より出力される圧縮された画像データの受信、並びに、ＣＰＵ１２より出力される電動雲台２の制御信号及び監視カメラ１の制御信号の送信などを行う。画像伸張回路２１は、画像圧縮回路２０にて圧縮された画像データを伸張し元の画像データを復元する。監視カメラ１のズーム或いは電動雲台２の向きなどを制御するための操作は、操作パネル１６により行われる。
As shown in FIG. 1, the
図２は、図１に示される画像圧縮回路２０のブロック構成図である。図２に示されるように、画像圧縮回路２０は、ＮＴＳＣデコーダ３２、ＭＰＥＧ２符号回路３３、ＪＰＥＧ符号回路３４、画像圧縮制御回路３５、タイムスタンプ生成回路３６、ＴＳパケット生成回路３７、ＪＰＥＧパケット生成回路３８、ＴＳ記憶メモリ３９、及びＪＰＥＧパケット記憶メモリ４０により構成される。ＮＴＳＣデコーダ３２は、監視カメラ１より入力端子３１を介して入力されたコンポジットの画像信号をデコードして、輝度信号及び２つの色差信号に変換する。ＭＰＥＧ２符号回路３３は、ＮＴＳＣデコーダ３２から出力される輝度信号及び２つの色差信号に、ＭＰＥＧ２符号化を施す。ＪＰＥＧ符号回路３４は、ＮＴＳＣデコーダ３２より出力される輝度信号及び２つの色差信号に、ＪＰＥＧ符号化を施す。画像圧縮制御回路３５は、ＭＰＥＧ２符号回路３３及びＪＰＥＧ符号回路３４を制御する。タイムスタンプ生成回路３６は、ＭＰＥＧ２符号回路３３より出力されるＴＳに付加するタイムスタンプを生成する。ＴＳパケット生成回路３７は、ＭＰＥＧ２符号回路３３より出力されるＴＳにタイムスタンプ生成回路３６で生成されたタイムスタンプ情報を付加しＴＳパケットを生成する。ＪＰＥＧパケット生成回路３８は、ＪＰＥＧ符号回路３４より出力されるＪＰＥＧ符号化の施されたデータを通信モジュールで伝送する際のパケットフォーマットに変換する。ＴＳ記憶メモリ３９は、ＴＳパケット生成回路３７より出力されるＴＳパケットを記憶する。ＪＰＥＧパケット記憶メモリ４０は、ＪＰＥＧパケット生成回路３８で生成されたＪＰＥＧパケットを記憶する。
FIG. 2 is a block diagram of the
図３は、図１に示される画像伸張回路２１のブロック構成図である。図３に示されるように、画像伸張回路２１は、ＭＰＥＧＴＳメモリ制御回路５０、ＭＰＥＧＴＳ用メモリ５１、ＭＰＥＧ２復号回路５２、ＴＶ同期発生回路５３、画像復号制御回路５４、ＪＰＥＧ復号回路５５、ＪＰＥＧ用メモリ５６、ＪＰＥＧ用メモリ制御回路５７、スイッチ５８、及びＮＴＳＣエンコーダ５９により構成される。ＭＰＥＧＴＳメモリ制御回路５０は、受信したＴＳパケットのＭＰＥＧＴＳ用メモリ５１への書き込み制御、及びＭＰＥＧＴＳ用メモリ５１からの読み出し制御を行う。また、ＭＥＰＧＴＳメモリ制御回路５０は、受信したパケットよりＪＰＥＧパケットを分離し、ＪＰＥＧ復号回路５５へ入力するパケット分離も実施する。ＭＰＥＧＴＳ用メモリ５１は、ＴＳパケットを記憶する。ＭＰＥＧ２復号回路５２は、ＭＰＥＧＴＳ用メモリ５１より出力されるＴＳを復号する。ＴＶ同期発生回路５３は、ＭＰＥＧ２復号回路５２より出力される制御信号を元に出力する画像データのＴＶ同期（水平同期信号及び垂直同期信号のタイミング）を発生する。画像復号制御回路５４は、ＭＰＥＧ２復号回路５２及びＪＰＥＧ復号回路５５を制御する。ＪＰＥＧ復号回路５５は、ＭＰＥＧＴＳメモリ制御回路５０で分離されたＪＰＥＧ圧縮された画像データを復号する。ＪＰＥＧ用メモリ５６は、ＪＰＥＧ復号回路５５で復号された１フィールド、或いは１フレームの画像データを記憶する。ＪＰＥＧ用メモリ制御回路５７は、ＪＰＥＧ用メモリ５６を制御する。スイッチ５８は、ＭＰＥＧ２復号回路５８より出力される画像データとＪＰＥＧ用メモリ５６より出力される画像データを切り換える。ＮＴＳＣエンコーダ５９は、スイッチ５８から出力されたＭＰＥＧ２復号回路５８からの画像データ又はＪＰＥＧ用メモリ５６からの画像データをエンコードして、出力端子６０を介して監視モニター１５に出力する。
FIG. 3 is a block diagram of the
図４（ａ）乃至（ｃ）は、通信ケーブル９を介してＴＳを伝送する際に発生するジッタを説明するための図である。図４（ａ）乃至（ｃ）において、横軸は時間軸である。図４（ａ）は、画像圧縮回路２０内のＭＰＥＧ２符号回路３３（図２）より出力されるＴＳの出力タイミングを示す。また、図４（ａ）乃至（ｃ）においてハッチングを施したＴＳ（０番目、５番目、及び１２番目のＴＳパケット）は、ＰＣＲが含まれるＴＳとする。上述した課題を解決するための手段の欄において説明したように、ＭＰＥＧＴＳを復号する場合、ＰＣＲを含むＴＳジッタは数十μｓ以下に抑える必要がある。しかし、通信ケーブル９では、ジッタが発生する。実施の形態１では、通信方式としてＥｔｈｅｒｎｅｔを使用した場合について説明するが、Ｅｔｈｅｎｅｔを使用した通信方式では、一般に伝送されるパケットの優先度は対等である。従って、ネットワーク上にパケットを送出する際に他のパケットと競合した場合は、パケット送出を待たされる場合がある。また、Ｅｔｈｅｒｎｅｔを使用した場合の最大伝送レートは、１００ＢＡＳＥを使用した場合で、１００Ｍｂｐｓ程度となり、実行のスループットは、その半分程度になる。よって、図４（ａ）に示すようなＶＢＲ（可変ビットレート）にて符号化されたデータを伝送する場合は、データ送信の際の競合、及び入力されるＴＳの瞬間の伝送レートと通信ケーブル９のデータ伝送帯域の差により、図４（ｂ）に示されるように、各ＴＳが入力されたタイミングとは異なるタイミングで通信ケーブル９上を流れる。例えば、図４（ａ）に示されるように、０番目から３番目までの４つのＴＳが連続してＭＰＥＧ２符号回路３３より入力された後、しばらくＴＳが受信されず、その後、４番目から７番目までの４つのＴＳが入力され、さらにその後、８番目及び９番目の２つのＴＳが入力される。このように、ＭＰＥＧ２符号回路３３から入力されるＴＳは、一定の間隔で入力されるとは限らない。
FIGS. 4A to 4C are diagrams for explaining jitter generated when a TS is transmitted via the
一方、上記課題を解決するための手段の欄で述べたように、ＴＳには、画像圧縮回路２０内のＭＰＥＧ２符号回路３３（図２）と画像伸張回路２１内のＭＰＥＧ２復号回路５２（図３）との間でクロックの同期を取るため、ＰＣＲが挿入されている。このＰＣＲは、ＭＰＥＧ２復号回路５２で時刻の基準となるＳＴＣの値を送信側で意図した値に設定するための情報である。従って、ＰＣＲがＭＰＥＧ２復号回路５２に入力されるタイミングは、送信側で意図したタイミングである必要がある。この規定はＭＰＥＧ２のシステム仕様により取り決められており、ＰＣＲに関してはＴＳの場合少なくとも１００ｍｓに１回は伝送する必要がある。更に、ＰＣＲを含むＴＳに関しては、そのジッタを数十μｓ以下（例えば、５０μｓ）に抑える必要がある。従って、ＭＰＥＧ２復号回路５２へは、図４（ｃ）に示すように、各ＴＳは入力されたＴＳに対して一定の遅延量で入力される必要がある。
On the other hand, as described in the section of means for solving the above problems, the TS includes an MPEG2 encoding circuit 33 (FIG. 2) in the
図５は、本発明の実施の形態１における画像伝送装置７から送信されるＴＳパケットの構成を示す図である。実施の形態１では、１８８バイトのＴＳの先頭に、通信ケーブル９で発生するジッタを補正するため４バイトのタイムスタンプを付加し、ＴＳパケットを構成する。
FIG. 5 is a diagram showing a configuration of a TS packet transmitted from the
図６は、本発明の実施の形態１における画像伝送装置７から送信されるＪＰＥＧパケットの構成を示す図である。実施の形態１では、ＪＰＥＧパケットを図５に示されるＴＳパケットと同様に、１９２バイトで構成する。
FIG. 6 is a diagram showing a configuration of a JPEG packet transmitted from the
図７は、本発明の実施の形態１における画像受信装置７内で発生するクロックジッタによるＭＰＥＧＴＳ用メモリ５１内のＭＰＥＧＴＳパケットの記憶容量がどのように変化するかを説明するための図である。
FIG. 7 is a diagram for explaining how the storage capacity of the MPEGTS packet in the
以下に、図１から図７までを用いて、実施の形態１における映像監視システム１９の動作を説明する。まずはじめ、通常の監視を実施している場合（監視カメラ１の向き、ズームなどの制御を行っていないとき、すなわち、監視カメラ１の撮影位置や撮影範囲などの撮影条件の変更動作を行っていないとき）の動作を説明する。監視カメラ１より撮像された監視画像は、画像伝送装置７内の画像圧縮回路２０に入力される。なお、実施の形態１では、監視カメラ１からはＮＴＳＣ信号（コンポジット信号）が出力されるものとして説明する。以下に、図２を用いて画像圧縮回路２０の動作を説明する。入力端子３１を介して入力された監視画像は、ＮＴＳＣデコーダ３２に入力され、輝度信号及び２つの色差信号に変換され、ＭＰＥＧ２符号回路３３及びＪＰＥＧ符号回路３４に入力される。その際、ＮＴＳＣデコーダ３２では、入力される監視画像より水平同期信号及び垂直同期信号を分離し、この分離された水平同期信号及び垂直同期信号も、ＭＰＥＧ２符号回路３３及びＪＰＥＧ符号回路３４に入力する。
The operation of the video monitoring system 19 in the first embodiment will be described below with reference to FIGS. First, when normal monitoring is performed (when the direction of the
また、画像圧縮制御回路３５は、ＣＰＵ５より出力される指令に基づき、ＭＰＥＧ２符号回路３３及びＪＰＥＧ符号回路３４の制御を行う。具体的には、実施の形態１では、画像圧縮制御回路３５は、ＭＰＥＧ２符号回路３３及びＪＰＥＧ符号回路３４の初期化、並びに、伝送する画像データの伝送レートの設定などを行う。なお、実施の形態１においては、通常撮像時には、ＪＰＥＧ符号回路３４による監視画像の符号化は行わない（ＪＰＥＧ圧縮は実施しない）ものとして説明する。
The image
ＭＰＥＧ２符号回路３３に入力された監視画像は、ＩＰＢモードで符号化され、ＴＳの形式でＴＳパケット生成回路３７に入力される。また、ＭＰＥＧ２符号回路３３は、上記ＴＳを出力する際、その先頭を指し示す制御信号をタイムスタンプ生成回路３６に出力する。タイムスタンプ生成回路３６は、画像伝送装置７内のシステムクロックを元に画像伝送装置７の基準時間を計測しており、上記ＴＳの先頭を指し示す制御信号がＭＰＥＧ２符号回路３３より出力されると、その時刻（タイムスタンプ）をＴＳパケット生成回路３７に出力する。実施の形態１では、タイムスタンプ情報は、図５に示されるように、４バイトで構成するものとする。ＴＳパケット生成回路３７は、ＭＰＥＧ２符号回路３３より入力されるＴＳの先頭にタイムスタンプ生成回路３６より出力されるタイプスタンプを付加し、図５に示すＴＳパケットを生成する。ＴＳパケット生成回路３７より出力されるＴＳパケットは、ＴＳ記憶メモリ３９へ一旦記憶される。
The monitoring image input to the
一方、ＣＰＵ５は、ＴＳ記憶メモリ３９内に所定量のＴＳパケット（実施の形態１では、７ＴＳパケットとする。）が記憶されると、それを連続してＴＳ記憶メモリ３９より読み出し、その先頭に伝送するあて先情報、パケットデータの種別（制御データ、ＭＰＥＧＴＳ、ＪＰＥＧなどを識別する情報）、及びその優先順位（優先順位に関しては後述する。）などの情報を付加した後、Ｅｔｈｅｒｎｅｔ用のヘッダ情報を付加して通信モジュール４に送る。上記ヘッダ情報の付加されたパケットデータが入力されると、通信モジュール４は、他に競合しているパケットが無いかを確認し、もし競合しているパケットが無い場合は、入力されたパケットデータを通信ケーブル９に送出する。
On the other hand, when a predetermined amount of TS packets (7 TS packets in the first embodiment) are stored in the
次に、図３を用いて通常の監視を行っている場合の画像受信装置１４（図３）の動作を説明する。通信ケーブル９を介して通信モジュール１０に入力されたパケットデータは、ＣＰＵ１２にてヘッダ情報が確認され、パケットデータのあて先、種別などが判別される。そして、パケットデータが自分宛の制御データであった場合は、制御データを元に所定の処理を実施する。一方、パケットデータがＭＰＥＧＴＳであった場合は、そのデータを画像伸張回路２１内のＭＰＥＧＴＳメモリ制御回路５０に出力する。その際、ＭＰＥＧＴＳかＪＰＥＧパケットかの識別情報も出力する。
Next, the operation of the image receiving apparatus 14 (FIG. 3) when normal monitoring is performed will be described with reference to FIG. The packet data input to the
ＭＰＥＧＴＳメモリ制御回路５０では、タイムスタンプを含むＭＰＥＧＴＳパケットが入力されると、このパケットをＭＰＥＧＴＳ用メモリ５１へ書き込むためのアドレスなどの制御信号を発生し、上記ＭＰＥＧＴＳパケットをＭＰＥＧＴＳ用メモリ５１に書き込む。ＭＰＥＧＴＳ用メモリ５１に記憶されたＭＰＥＧＴＳパケットは、ＭＰＥＧＴＳメモリ制御回路５０より出力される読み出しアドレスなどの読み出し制御信号に基づき読み出され、ＭＰＥＧ２復号回路５２へ入力される。
When an MPEGTS packet including a time stamp is input to the MPEGTS
以下に、ＭＰＥＧＴＳメモリ制御回路５０のＭＰＥＧＴＳパケット読み出し動作の詳細を説明する。ＭＰＥＧＴＳメモリ制御回路５０は、画像伝送装置７より出力される先頭のＭＰＥＧＴＳパケットがＭＰＥＧＴＳ用メモリ５１に記憶されると、はじめに、上記ＭＰＥＧＴＳパケットの先頭に付加されているタイムスタンプ情報をＭＰＥＧＴＳ用メモリ５１より読み出し、その後は、ＭＰＥＧＴＳ用メモリ５１内に所定量のＭＰＥＧＴＳパケットが記憶されるまで、ＭＰＥＧＴＳパケットの読み出し動作を開始せず、待機する。そして、所定量のＭＰＥＧＴＳパケットがＭＰＥＧＴＳ用メモリ５１に記憶されると、ＭＰＥＧＴＳメモリ制御回路５０内のＭＰＥＧＴＳパケット読み出し制御用タイマー（図示せず）の初期値として上記先頭のＭＰＥＧＴＳパケットに付加されていたタイムスタンプ情報をセットすると共に、上記先頭のＭＰＥＧＴＳパケットをＭＰＥＧＴＳ用メモリ５１から読み出すための制御信号を生成する。上記先頭のＭＰＥＧＴＳパケットの読み出しが完了すると、次のＭＰＥＧＴＳパケットの先頭に付加されているタイムスタンプ情報を読み出す。そして、読み出し制御用タイマーの数値とＭＰＥＧＴＳ用メモリ５１から読み出されたタイムスタンプ値が一致、或いは読み出し制御用タイマー値のほうが大きい場合、ＭＰＥＧＴＳパケットをＭＰＥＧＴＳ用メモリ５１から読み出すアドレスなどの制御信号を発生する。そして、１ＴＳ分のデータの読み出しが完了すると、次のＭＰＥＧＴＳパケットの先頭に付加されているタイムスタンプを読み出し、それ以降、上記要領でＭＰＥＧＴＳパケットのＭＰＥＧＴＳ用メモリ５１からの読み出し制御を実施する。
Details of the MPEGTS packet read operation of the MPEGTS
一般に、画像伝送装置７と画像受信装置１４内の基準クロック周波数は同期していない。以下に、画像伝送装置７と画像受信装置１４の基準クロックの周波数の差をクロックジッタと記す。従って、タイムスタンプ生成回路３６内の基準時刻とＭＰＥＧＴＳメモリ制御回路５０内の読み出し制御タイマーは同期しない。よって、画像受信装置１４内の基準クロックの周波数が画像伝送装置７内の基準クロックより若干早かった場合は、ＭＰＥＧＴＳメモリ制御回路５０内の読み出し制御タイマーが早く進むため、何も制御しない場合はＭＰＥＧＴＳ用メモリ５１内のＭＰＥＧＴＳパケットの読み出しが、書き込みより若干早くなるため、ＭＰＥＧＴＳ用メモリ５１はアンダーフローし、上述したＴＳジッタの抑圧ができなくなる。図７に、ＭＰＥＧＴＳ用メモリ５１内に記憶されているＭＰＥＧＴＳパケットの量と時間の関係を示す。なお、図７では、説明を簡単にするために、ＭＰＥＧＴＳ用メモリ５１内に記憶されているＭＰＥＧＴＳパケットの量が一定の割合で変化する場合（すなわち、一定のレートでＭＰＥＧ２符号化が実施された場合）を示した。図７において、斜線を示した部分が上記クロックジッタによるメモリ記憶量の変化を示す。一方、画像受信装置１４内の基準クロックの周波数が画像伝送装置７内の基準クロックより若干遅かった場合は、ＭＰＥＧＴＳメモリ制御回路５０内の読み出し制御タイマーが遅く進むため、何も制御しない場合はＭＰＥＧＴＳ用メモリ５１内のＭＰＥＧＴＳパケットの読み出しが書き込みより若干遅くなり、ＭＰＥＧＴＳ用メモリ５１はオーバーフローする。
In general, the reference clock frequencies in the
以上より、実施の形態１では、ＭＰＥＧＴＳ用メモリ５１がオーバーフロー或いはアンダーフローを起こさないようにするため、ＭＰＥＧＴＳ用メモリ５１内に記憶されているＭＰＥＧＴＳパケットの量（メモリ記憶容量）が巨視的に見て一定（例えば、１秒間の平均メモリ記憶容量がほぼ一定）になるように、ＭＰＥＧＴＳメモリ制御回路５０内の読み出し制御タイマーの時刻を定期的に補正するよう構成するものとする。具体的には、巨視的に見た上記メモリ記憶容量が増加する場合は、読み出し制御タイマーの進み方が遅いと判断してタイマー値を定期的に進めるように構成し、反対に、巨視的に見た上記メモリ記憶容量が減少する場合は、読み出し制御タイマーの進み方が早いと判断してタイマー値を定期的に戻すように構成する。上述のように、ＭＰＥＧＴＳパケットの読み出しを制御（タイムスタンプを基準としたＭＰＥＧＴＳパケットの読み出し、及びメモリ記憶容量を用いた読み出し制御用タイマーの時刻制御）することにより、図４（ｃ）に示すように、通信ケーブル９上で発生するＴＳジッタを吸収することができる。
As described above, in the first embodiment, in order to prevent the
上記要領により通信ケーブル９上で発生するＴＳジッタの吸収されたＭＰＥＧＴＳは、ＭＰＥＧ２復号回路５２へ入力される。なお、ＭＰＥＧＴＳパケットの先頭に付加されていたタイムスタンプは、ＭＰＥＧＴＳ用メモリ５１より読み出される際に除去されるものとする。ＭＰＥＧ２復号回路５２に入力されたＭＰＥＧＴＳは復号され、画像信号が復元される。また、ＴＶ同期発生回路５３は、ＭＰＥＧ２復号回路５２から出力される制御信号を元に画像信号の垂直同期信号及び水平同期信号を発生する。ＭＰＥＧ２復号回路５２より出力される画像信号は、ＴＶ同期発生回路５３より出力される垂直同期信号及び水平同期信号に同期して出力される。スイッチ５８は、通常監視時にはＭＰＥＧ２復号回路５８より出力される画像信号を選択するよう構成する。よって、ＭＰＥＧ２復号回路５２より出力される復号された画像信号は、スイッチ５８を介してＮＴＳＣエンコーダに入力される。ＮＴＳＣエンコーダ５９は、ＴＶ同期発生回路５３より出力される垂直同期信号及び水平同期信号を元に、ＭＰＥＧ２復号回路５２より出力される画像信号をＮＴＳＣ信号（コンポジット信号）に変換し出力する。ＮＴＳＣエンコーダ５９の出力は監視モニター１５に表示される。
The MPEGTS in which TS jitter generated on the
次に、監視カメラ１を操作する場合の動作を図１から図１４までを用いて説明する。図８は、実施の形態１における各データを送信する際の優先度を示す図である。また、図９は、実施の形態１における監視カメラ１制御時の画像伝送装置７の動作を示すフローチャートであり、図１０は、実施の形態１における監視カメラ１制御時の画像受信装置１４の動作を示すフローチャートである。また、図１１は、実施の形態１における監視カメラ１制御開始時のクロックジッタ補正動作を示すフローチャートであり、図１２は、実施の形態１における監視カメラ１制御開始時のクロックジッタ補正動作を説明するための図である。さらにまた、図１３は、実施の形態１における監視カメラ１制御終了時のクロックジッタ補正動作を示すフローチャートであり、図１４は、実施の形態１における監視カメラ１制御終了時のクロックジッタ補正動作を説明するための図である。
Next, the operation when the
以下に、監視カメラ１の制御開始時の動作を説明する。監視者が監視モニター１６の画面上で不審人物を見つけ、操作パネル１６を操作して監視カメラ１のパン、チルト、ズームなどの撮影条件の制御を実施する場合について説明する。まずはじめ、監視カメラ１の制御開始時の画像受信装置１４の動作を説明する。監視者が操作パネル１６の操作を開始すると、操作パネル１６は画像受信装置１４内のＣＰＵ１２に操作内容を通知する。図１０に示されるように、監視が開始されると、ＣＰＵ１２は、操作パネル１６からの監視カメラ１の制御要求の入力が入るまで待機する（ステップＳ３１）。操作パネル１６から監視カメラ１の制御要求が入力されると、ＣＰＵ１２は監視カメラ１の制御を開始する（ステップＳ３２）。ＣＰＵ１２は、監視カメラ１制御が開始されると、画像伝送装置７に監視カメラ１制御開始コマンドを送信する（ステップＳ３３）。
Below, the operation | movement at the time of the control start of the
実施の形態１においては、画像受信装置１４は監視カメラ１制御コマンド送信後、画像伝送装置７より１フィールドのＪＰＥＧ画像のデコードが完了するまで、操作パネル１６より出力される制御信号を画像伝送装置７には送出しない。これは、以下の理由による。通常監視時は上述したようにＭＰＥＧ２復号回路５２より出力される高品質なＭＰＥＧ２復号画像で監視を行う。しかし、ＭＰＥＧ２復号画像は、ＭＰＥＧ２符号、画像伝送、クロックジッタ補正、及びＭＰＥＧ２復号などにより、約１秒程度遅れた画像になっている。一方、ＪＰＥＧ復号画像は、ＪＰＥＧ符号にて２フィールド、ＪＰＥＧ復号にて２フィールド、及び画像伝送などによる遅延が０．１秒以下となる。従って、ＭＰＥＧ２復号画像からＪＰＥＧ復号画像に画面を切り換えた瞬間、０．９秒程度（ＭＰＥＧ２復号画像の遅延（約１秒）とＪＰＥＧ復号画像の遅延（０．１秒以下）の差に相当する時間）監視モニター１５上に表示される表示画像は一気に進む。その際、人物など動きのあるものを追従する場合、画面が切り替わった監視カメラ１の制御方向と人物の動きが異なっていた場合、操作がスムーズに行えないことがある。よって、実施の形態１では、監視モニター１５上の表示画像が切り替わるまで、監視カメラ１の制御動作を画像受信装置７側でマスクする構成とする。このように構成することにより、実施の形態１においては、画像切り換え時に、監視カメラ１の操作をスムーズに行うことができるという効果がある。
In the first embodiment, the
１フィールド分のＪＰＥＧ復号が完了（ステップＳ３４）すると、画像受信装置１４は監視モニター１５に表示する監視画像をＪＰＥＧ用メモリ５６より出力される画像に切り換えると共に、監視者に対して監視画像が切り替わったことを通知する。具体的には、図３に示すスイッチ５８をＪＰＥＧ用メモリ５６の出力に切り換える（ステップＳ３５）。通知方法に関しては、監視モニター１５上にその旨を通知する、或いは操作パネル１６上のＬＥＤなどを発光させるなどの方法で通知する。監視モニター１５の表示画像の切り替えが終了すると、ＣＰＵ１２は操作パネル１６から入力される監視カメラ１の制御信号を通信モジュール１０へ出力する（ステップＳ３６）。通信モジュール１０は、ＣＰＵ１２より監視カメラ１の制御信号を受信すると、通信ケーブル９を介して画像伝送装置７へ伝送する。
When JPEG decoding for one field is completed (step S34), the
次に、監視カメラ１の制御開始時の画像伝送装置７の動作を、図９を用いて説明する。監視動作を開始すると、画像受信装置７内のＣＰＵ５は、画像受信装置１４より出力される監視カメラ１制御開始コマンドが受信されるまで、監視カメラ１の制御を待機する（ステップＳ１０）。そして、この監視カメラ１制御開始コマンドが受信されると、ＣＰＵ５は、まず通信モジュール４に対して各送信データの優先度を切り換えるよう指令を発行する（ステップＳ１１）。以下に、簡単に各送信データの優先度について説明する。一般に、インターネットなどのネットワークでは、データを送信する際、どのようなデータであっても送信される優先度は平等である。従って、画像データ、或いは音声データなどのリアルタイム性を要求されるデータであっても、ネットワーク上に配信される際は、静止画像データ、或いはホームページなどのデータと同等の優先度で送信されるためリアルタイム通信を確保することは非常に難しい。一方、ＩＰｖ６（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ Ｖｅｒｓｉｏｎ ６）などの次世代のＩＰ規格で検討が進められており、データ送信の際の優先度制御は、上記リアルタイム性を要求されるデータと、リアルタイム性を要求されないデータを区別し、各データに優先度を付加しデータを伝送する。これにより、Ｅｔｈｅｒｎｅｔなどの通信モジュール、或いは中継ルータなどで優先度の高いデータは優先的に処理され、ネットワーク上に排出される。
Next, the operation of the
実施の形態１は、上述した送信データの優先度を監視カメラ１の制御時と通常監視時で変えるよう構成する。図８に実施の形態１における各送信データ（送信パケット）の優先度を示す。通常監視時は上述したがＭＰＥＧＴＳパケットと監視カメラ１制御用の監視カメラ１制御信号が通信ケーブル９上を流れる。その際の各パケットの優先度は、図８に示すように、監視カメラ１制御信号を一番優先順位の高い第１番に、ＭＰＥＧＴＳパケットを次に優先度の高い第２番に、最後にＪＰＥＧパケットを優先度の低い第３番にセットする。なお、図８中の優先度は値が小さいほど優先度が高いものとする（データ送出の際に優先的にネットワーク上にデータが送出される。）。上記優先度にする理由は以下の通りである。一番優先度の高い監視カメラ１制御信号は、監視カメラ１操作時のみ出力されるので、データが通信ケーブル９上に送出される機会は少なく、また、そのデータ長も非常に短い。一方、ＭＰＥＧＴＳパケットはリアルタイム性を要求されるが、データ長が長いため、例えば、優先度を一番高くすると、監視者から監視カメラ１の制御要求があった場合、優先度が低いため、なかなかそのパケットが画像受信装置７に送出されないような場合が発生する。特に、実施の形態１では、説明をわかりやすくするため、画像伝送装置７と画像受信装置１４は一対一で接続した場合を例に説明しているが、通常の映像監視を実施する場合は、複数の画像伝送装置７と複数の画像受信装置１４が同一ネットワーク上に配置される。このようなシステムでは、監視カメラ１制御信号の優先度を上げておかないと、なかなかネットワーク上に配信できない場合が発生する。また、上述したように監視カメラ１制御信号はデータ長が短いため、優先度を上げてもネットワーク負荷を圧迫しない。よって、実施の形態１では、監視カメラ１制御信号の優先度を、ＭＰＥＧＴＳパケットの優先度より上げている。これにより、監視カメラ１制御開始コマンドの送信を速やかに行なえ、監視カメラ１の制御モードへの移行をスムーズに行うことができると共に、監視カメラ１操作時に関しても同様の優先度に設定することにより監視カメラ１の制御をスムーズに行うことができる効果がある。
The first embodiment is configured such that the priority of the transmission data described above is changed between control of the
次に、監視カメラ１制御時の各送信データの優先度を説明する。監視カメラ１制御時はＪＰＥＧパケット、ＭＰＥＧＴＳパケット、及び監視カメラ１制御用の監視カメラ１制御信号が通信ケーブル９上を流れる。その際の各パケットの優先度は、図８に示すように、監視カメラ１制御信号を１番優先順位の高い第１番の優先度に、ＪＰＥＧパケットを次に優先順位が次に高い第２番の優先度に、最後にＭＰＥＧＴＳパケットを優先順位の低い第３番の優先度にセットする。ＪＰＥＧパケットは静止画像であるためリアルタイム性はあまり要求されないが、実施の形態１では、監視カメラ１制御信号の次の優先度に設定する。これは、以下の理由による。監視カメラ１制御信号の優先度を高く設定する理由は、上述したように、データ長が短く優先度を上げてもあまりネットワーク負荷を上昇させないこと、及び監視カメラ１の制御をスムーズに実施できるようにするためである。一方、ＪＰＥＧパケットの優先度をＭＰＥＧＴＳパケットの優先度より高く設定した理由は、ＪＰＥＧは静止画像ではあるが、実施の形態１では、監視カメラ１のパン、チルト、及びズーム制御を行う際、監視モニター１５に表示されるＪＰＥＧ復号画像を見て制御を行う。そのため、監視モニター１５上へはなるべく少ない遅延量で画像データを送信する必要がある。よって、実施の形態１では、ＪＰＥＧパケットの優先度を、ＭＰＥＧＴＳパケットの優先度と比較して上げることにより、通信ケーブル９上でのＪＰＥＧパケットの遅延量を抑える構成としている。上記構成により、ＪＰＥＧパケットの通信ケーブル９上での遅延量を最小限に抑えることができるので、監視モニター１５上には遅延量の小さい画像を表示することができ、監視カメラ１の制御をスムーズに実施できる効果がある。
Next, the priority of each transmission data when the
なお、実施の形態１では、図８に示す優先順位をつけたが、本発明はこれに限定されるものではない。例えば、優先度を３段階以上で設定できる場合は、通常監視時の優先度を、監視カメラ１制御信号を第１番、ＭＰＥＧＴＳパケットの優先度を第３番、ＪＰＥＧパケットの優先度を第４番に設定し、監視カメラ１制御時は監視カメラ１制御信号を第１番、ＪＰＥＧパケットの優先度を第２番、ＭＰＥＧＴＳパケットの優先度を第４番に設定してもよい。このように設定することにより、同一ネットワーク上に複数の画像伝送装置７及び画像受信装置１４が配置される映像監視システムにおいても、監視カメラ１の制御を実施している画像伝送装置７及び画像受信装置１４は、監視カメラ１制御時の優先度を設定し、また、通常監視を行っている画像伝送装置７及び画像受信装置１４は、通常監視時の優先度を設定すれば、上述のようなネットワーク系でもＪＰＥＧパケットのネットワーク上での遅延量を最小限に抑えることができるので、監視モニター１５上には遅延量の小さい画像を表示することができ、監視カメラ１の制御をスムーズに実施できる効果がある。
In the first embodiment, the priorities shown in FIG. 8 are given, but the present invention is not limited to this. For example, when the priority can be set in three or more stages, the priority at the time of normal monitoring is the first, the
優先度の切り換えを終了すると、ＣＰＵ５は画像圧縮制御回路３５に対してＪＰＥＧ符号回路３４を初期化し、画像圧縮開始の制御命令を出力する（ステップＳ１２）。ＣＰＵ５よりこの制御命令が入力されると、画像圧縮制御回路３５は、ＪＰＥＧ符号回路３４の初期化を実施すると共に、入力画像の画像符号化を開始するようＪＰＥＧ符号回路３４にＪＰＥＧ符号化開始信号を出力する。ＪＰＥＧ符号回路３４は、このＪＰＥＧ符号化開始信号が入力されると入力された画像データにＪＰＥＧ符号化を施し、ＪＰＥＧ符号化された画像データをＪＰＥＧパケット生成回路３８に出力する。また、画像圧縮制御回路３５は、上記制御命令が入力されると、ＭＰＥＧ２符号回路３３より出力される制御信号を元にイントラフレームを検出する（ステップＳ１３）。イントラフレームを検出すると、画像圧縮制御回路３５は、ＭＰＥＧ２符号回路３３に対してＭＰＥＧ２符号時の符号量（データレート）の目標値を切り換える（ステップＳ１４）。具体的には、通常監視時に画像伝送装置７が使用していたＭＰＥＧＴＳの画像伝送レートと、監視カメラ１制御時のＭＰＥＧＴＳとＪＰＥＧ圧縮画像の伝送レートの和がほぼ等しくなるよう目標値を切り換える。より具体的には、通常監視時に１２Ｍｂｐｓ程度のＭＰＥＧＴＳを送信していたとした場合、監視カメラ１制御時は、ＪＰＥＧの伝送レートとして６Ｍｂｐｓ程度、ＭＰＥＧＴＳの伝送レートとして６Ｍｂｐｓ程度として画像を伝送するものとする。
When the priority switching is completed, the
これは、以下の理由による。監視カメラ１制御時はＪＰＥＧ画像を表示するのでこの画像のみを伝送した場合、画像伝送装置７と画像受信装置１４のクロック同期をＪＰＥＧパケットのみで制御することはできない。これは、上述したが、監視カメラ１を制御する場合は、監視モニター１５に表示する監視画像の遅延量を短くするため、画像受信装置１４内にＪＰＥＧパケットを用いてクロック同期を実現する大容量のメモリなどは配置しない。同様に、監視カメラ１制御時は監視モニター１５上の監視画像の画像品質よりも画像の遅延量が最小になるよう制御する必要がある。従って、ＪＰＥＧ圧縮画像は目標物の認識ができる程度の画像品質であればよい。よって、通信ケーブル９上でのデータ遅延量を小さくするためＪＰＥＧ圧縮画像の伝送はなるべくデータ量を少なく抑えて伝送する。また、ＭＰＥＧＴＳを同時に伝送する理由は、画像伝送装置７と画像受信装置１４のクロック同期を補償するためである。なお、監視カメラ１制御時のクロックジッタ抑制に関しては後述する。なお、通常監視時及び監視カメラ１制御時の各圧縮画像データの符号量は、上述した符号量に限るものではなく、映像監視システム全体の画像伝送帯域に応じて設定すればよい。監視カメラ１制御時、上述したように画像伝送装置７を制御するので、ＪＰＥＧ画像送信時にも画像伝送装置７と画像受信装置１４とのクロック同期を受信したＭＰＥＧＴＳによりとるよう構成するので、特に監視カメラ１制御モードから通常監視に切り換えた際に、監視モニター１５に表示されている画像が止まるなど表示画像が乱れることなくスムーズに画面切り替えることができるという効果がある。ＭＰＥＧ２の符号量の目標値の切り替えを終了すると、画像受信装置１４から伝送される監視カメラ１の制御信号８を電動雲台２及び監視カメラ１に出力する。
This is due to the following reason. When the
次に、監視カメラ１制御時の動作を説明する。監視カメラ１を介して入力される画像信号は、画像圧縮回路２０に入力される。画像の入力端子３１を介して入力された画像信号は、ＮＴＳＣデコーダ３２に入力され、輝度信号及び２つの色差信号に変換される。ＮＴＳＣデコーダ３２の出力は、ＭＰＥＧ２符号回路３３及びＪＰＥＧ符号回路３４に入力される。その際、ＮＴＳＣデコーダ３２では、入力される監視画像より水平同期信号及び垂直同期信号を分離し、この分離された水平同期信号及び垂直同期信号もＭＰＥＧ２符号回路３３及びＪＰＥＧ符号回路３４に入力する。ＭＰＥＧ２符号回路３３は、監視カメラ１制御時は、図９に示されるフローに従い、符号量の目標値が切り換えられ符号化が行われる。同様に、ＪＰＥＧ符号回路３４は、監視カメラ１制御時に、入力された輝度信号及び２つの色差信号にＪＰＥＧ符号化を施し出力する。
Next, the operation at the time of controlling the
ＭＰＥＧ２符号回路３３は、上記ＴＳを出力する際、その先頭を指し示す制御信号をタイムスタンプ生成回路３６に出力する。タイムスタンプ生成回路３６は、この制御信号に基づきタイムスタンプを生成し、ＴＳパケット生成回路３６に出力する。ＴＳパケット生成回路３７は、ＭＰＥＧ２符号回路３３より入力されるＴＳの先頭にタイムスタンプ生成回路３６より出力されるタイプスタンプを付加し、ＴＳパケットを生成する。ＴＳパケット生成回路３７より出力されるＴＳパケットは、ＴＳ記憶メモリ３９へ一旦記憶される。同様に、ＪＰＥＧパケット生成回路３８は、ＪＰＥＧ符号回路３４より出力されるＪＰＥＧデータを、図６に示すように１９２バイト集めてＪＰＥＧパケットを生成する。ＪＰＥＧパケット生成回路３８で生成されたＪＰＥＧパケットは、一旦ＪＰＥＧパケット記憶メモリ４０に記憶される。
When outputting the TS, the
一方、ＣＰＵ５は、ＴＳ記憶メモリ３９内に所定量のＴＳパケット（実施の形態１では、７ＴＳパケットとする。）が記憶されると、それを連続してＴＳ記憶メモリ３９より読み出し、その先頭に伝送するあて先情報、パケットデータの種別、及びその優先度（実施の形態１では、第３番の優先度）などの情報を付加した後、Ｅｔｈｅｒｎｅｔ用のヘッダ情報を付加して通信モジュール４に送る。同様に、ＣＰＵ５は、ＪＰＥＧパケット記憶メモリ４０内に所定量のＪＰＥＧパケット（実施の形態１では、３ＴＳパケットとする。）が記憶されると、それを連続してＪＰＥＧパケット記憶メモリ４０より読み出し、その先頭に伝送するあて先情報、パケットデータの種別、及びその優先度（実施の形態１では、第２番の優先度）などの情報を付加した後、Ｅｔｈｅｒｎｅｔ用のヘッダ情報を付加して通信モジュール４に送る。なお、実施の形態１では、通信ケーブル９に送出する伝送パケットのサイズを、ＭＰＥＧＴＳパケットを伝送する場合とＪＰＥＧパケットを伝送する場合で異なるように構成した。これは以下の理由による。上述したように、監視カメラ１制御時には、ＪＰＥＧ符号化、伸張、及び伝送時の遅延量をなるべく小さく設定する必要がある。そのため、ＪＰＥＧパケットは、ＭＰＥＧＴＳと比較して１回で伝送するパケット量を小さくするよう構成した。これにより、ＪＰＥＧパケット記憶メモリ４０などで発生する遅延量を小さくすることができるので、監視モニター１５上には遅延量の小さい画像を表示することができ、監視カメラ１の制御をスムーズに実施できる効果がある。なお、１回で伝送するパケット量を小さくすると送受信のオーバヘッドが大きくなるので、パケットサイズは映像監視システムの構成に応じて変えてもよい。
On the other hand, when a predetermined amount of TS packets (7 TS packets in the first embodiment) are stored in the
上記ヘッダ情報の付加されたＭＰＥＧＴＳパケット、或いはＪＰＥＧパケットデータが入力されると、通信モジュール４は、他に競合しているパケットが無いかを確認した後、もしも競合しているパケットが無い場合は、入力されたパケットデータを通信ケーブル９に送出する。その際、ＭＰＥＧＴＳパケットとＪＰＥＧパケットの両データの送信要求があった場合は、優先度に応じた順序でパケットデータを送出する。上述したように、実施の形態１では、監視カメラ１制御時は、ＪＰＥＧパケットの優先度がＭＰＥＧＴＳパケットより優先度より高いので、ＪＰＥＧパケットを先に通信ケーブル９に送出する。
When the MPEGTS packet or JPEG packet data to which the header information is added is input, the
次に、監視カメラ１の制御を行っている場合の画像受信装置１４の動作を説明する。通信ケーブル９を介して通信モジュール１０に入力されたパケットデータは、ＣＰＵ１２にてヘッダ情報が確認され、パケットデータのあて先、種別などが判別される。そして、自分宛の制御データであった場合は、制御データを元に所定の処理を実施する。一方、ＭＰＥＧＴＳ、或いはＪＰＥＧパケットであった場合は、そのデータを画像伸張回路２１内のＭＰＥＧＴＳメモリ制御回路５０に出力する。その際、ＭＰＥＧＴＳかＪＰＥＧパケットかの識別情報も出力する。
Next, the operation of the
ＭＰＥＧＴＳメモリ制御回路５０は、受信したデータがＭＰＥＧＴＳであった場合は、通常監視の際と同様に、そのタイムスタンプを含むＭＰＥＧＴＳパケットをＭＰＥＧＴＳ用メモリ５１に書き込む。一方、ＭＰＥＧＴＳメモリ制御回路５０は、受信したデータがＪＰＥＧパケットであった場合は、ＪＰＥＧパケットをＪＰＥＧ復号回路５５に入力する。以下に、ＪＰＥＧパケット処理について説明する。ＭＰＥＧＴＳメモリ制御回路５０よりＪＰＥＧ復号回路５５にＪＰＥＧパケットが入力されると、ＪＰＥＧ復号回路５５は、ＪＰＥＧ復号を施し元の画像データを復元する。ＪＰＥＧ復号回路５５で復元された画像データは、ＪＰＥＧ用メモリ５６に入力され１フィールドの画像データが構成される。ＪＰＥＧ用メモリ５６への画像データの書き込み制御、及び画像データの読み出し制御は、ＪＰＥＧ用メモリ制御回路５７で生成され出力される。具体的には、ＪＰＥＧ用メモリ制御回路５７は、ＪＰＥＧ復号回路５５より出力される復号画像データの垂直同期基準信号及び水平同期基準信号に基づき、上記書き込みアドレスなどの書き込み制御信号を発生すると共に、ＴＶ同期発生回路５３より出力される垂直同期信号及び水平同期信号を基準に読み出し制御信号を発生する。また、画像復号制御回路５４は、ＪＰＥＧ復号回路５５より出力される１フィールド目の画像復号完了信号を用い、ＴＶ同期発生回路５３より出力される垂直同期信号に同期して、スイッチ５８の切り換え信号を出力する。スイッチ５８より出力される画像データは、ＮＴＳＣエンコーダ５９でコンポジットのＮＴＳＣ信号に変換され、出力端子６０を介して監視モニター１５に出力される。なお、ＮＴＳＣエンコーダ５９の動作は、通常監視時と同一である。具体的には、現在表示を行っているＭＰＥＧ復号画像の１フィールド分の画像データ出力完了後、ＪＰＥＧ画像を出力するよう切り換える。上述のように構成することにより、ＭＰＥＧ２復号画像からＪＰＥＧ復号画像に切り換えた場合でも、監視モニター１５上の表示画像を乱すことなく切り換えることができる効果がある。
When the received data is MPEGTS, the MPEGTS
次に、ＭＰＥＧＴＳパケットの処理を説明する。通常監視の場合と同様、監視カメラ１制御時には、ＭＰＥＧＴＳメモリ制御回路５０は、ＭＰＥＧＴＳパケットの先頭に付加されているタイムスタンプを基準にＭＰＥＧＴＳ用メモリ５１からＭＰＥＧＴＳを読み出し、ＭＰＥＧ２復号回路５２へ出力する。なお、ＭＰＥＧＴＳメモリ制御回路５０のＭＰＥＧＴＳパケットの書き込み動作は、上述した通常監視時の制御と同一である。また、ＭＰＥＧＴＳメモリ制御回路５０のＭＰＥＧＴＳパケットの読み出し制御も、通常監視制御と同一である。
Next, MPEGTS packet processing will be described. As in the case of the normal monitoring, when the
以下に、監視カメラ１制御開始時のクロックジッタ制御に関して説明する。実施の形態１では、上述したように、監視カメラ１制御終了時、監視モニター１５に表示される画像をスムーズに切り換えるため、ＭＰＥＧＴＳを監視モニター１５上に表示しないにもかかわらず伝送する。これは、以下の理由による。監視カメラ１の制御時もＭＰＥＧＴＳパケットを受信し復号することにより、監視モニター１５に出力する画像信号の同期を監視カメラ１より出力される画像信号の同期に合わせて出力できると共に、画像受信装置１４内の基準時刻を画像伝送装置７内の基準時刻に合わせることができる。これにより、監視カメラ１の制御終了後、監視モニター１５に表示する画像をＪＰＥＧ圧縮画像からＭＰＥＧ２圧縮画像に切り換える際、表示画像が一時止まってしまう、或いは表示画像が乱れるなどの弊害を生じさせること無く、スムーズに表示画像を切り換えることができる効果がある。
Hereinafter, clock jitter control at the start of
以下に、図１１及び図１２を用いて監視カメラ１の制御開始時のクロックジッタ補正制御を説明する。クロックジッタ補正の制御は、通常撮像時の動作で説明したが、基本的には、ＭＰＥＧＴＳ用メモリ５１内に記憶されているＭＰＥＧＴＳパケットの量（メモリ記憶容量）が巨視的に見て一定（例えば、１秒間の平均メモリ記憶容量がほぼ一定）になるようにＭＰＥＧＴＳメモリ制御回路５０内の読み出し制御タイマーの時刻を定期的に補正するよう構成する。しかし、ＭＰＥＧＴＳのデータ伝送レートが変化するとＭＰＥＧＴＳ用メモリ５１内のＴＳの記憶容量は、図１２に示すように、通常監視時の目標値に対して、監視カメラ１制御時の目標値は小さくなる。これは、以下の理由による。画像受信装置１４がＭＰＥＧＴＳパケットを受信してからＭＰＥＧ２復号回路５２に出力するまで、上述したクロックジッタの補正のため、例えば、０．３秒程度分の画像データをＭＰＥＧＴＳ用メモリ５１内に記憶し、その記憶容量がほぼ一定になるようにクロックジッタ補正制御を実施する。従って、受信したＭＰＥＧＴＳパケットの平均受信レートが１２Ｍｂｐｓから６Ｍｂｐｓに変化した場合、図１２に示すように、上記０．３秒間は記憶されているＭＰＥＧＴＳパケットは１２Ｍｂｐｓの平均レートでＭＰＥＧＴＳ用メモリ５１から読み出されるのに対して、書き込まれるＭＰＥＧＴＳパケットの平均レートは６Ｍｂｐｓであるためメモリ記憶容量は減少する。従って、監視カメラ１制御開始時に上記クロックジッタ補正制御を実施するとクロック同期が外れる。よって、実施の形態１では、監視カメラ１制御開始時、クロックジッタ補正制御を止めるように構成する。
Hereinafter, clock jitter correction control at the start of control of the
以下に、図１１に示されるフローチャートを用いてクロックジッタ補正制御動作について説明する。監視カメラ１制御が開始されると、ＣＰＵ１２はクロック同期制御（クロックジッタ補正制御）を停止する（ステップＳ５０）。そして、画像受信装置１４に入力されるＭＰＥＧＴＳパケットの平均レートが監視カメラ１制御時のレートになったかを確認する（ステップＳ５１）。そして、入力されるＭＰＥＧＴＳパケットの平均レートが監視カメラ１制御時の平均レート（実施の形態１では、６Ｍｂｐｓ）になったことを確認すると、次にＭＰＥＧＴＳ用メモリ５１内のメモリ記憶容量（メモリ残量）がほぼ一定に収束したかを判断する（ステップＳ５２）。収束していた場合、クロックジッタ補正制御目標値を現在のメモリ記憶容量に再設定する。そして、クロックジッタ補正制御を再開する。実施の形態１では、監視カメラ１制御開始時、上述のようにクロックジッタ補正制御を実施するので、ＭＰＥＧＴＳパケットの受信レートが変化した場合であっても、クロック同期制御をはずすことなく制御することができる。よって、監視カメラ１制御開始時においても、監視モニター１５に表示される表示画像を乱すことなくスムーズに表示画像の切り換え制御などを実施することができる効果がある。
The clock jitter correction control operation will be described below using the flowchart shown in FIG. When the
次に、監視カメラ１制御終了時の動作を説明する。図１０に示されるように、画像受信装置１４は監視カメラ１の制御完了を検出する（ステップＳ３７）と、画像伝送装置７に対して監視カメラ制御１終了コマンドを出力する（ステップＳ３８）。実施の形態１では、操作パネル１６より入力される監視カメラ１の制御信号を監視し所定の時間、制御信号が入力されなかった場合、監視カメラ１制御が終了したものと判断する。なお、操作パネル１６より直接監視カメラ１制御終了を通知するよう構成してもよい。その後、画像復号制御回路５４は、画像伝送装置７より入力されるＭＰＥＧＴＳパケットのイントラフレームを検出する（ステップＳ３９）。そして、イントラフレーム検出すると、スイッチ５８に対してＭＰＥＧ２復号回路５２の出力を選択するよう制御信号を出力する。なお、制御信号の切り換えのタイミングは、監視カメラ１制御開始時と同様に、ＴＶ同期発生回路５３より出力される垂直同期信号に同期して実施する。上述のように構成することで、監視カメラ１制御終了時も、ＪＰＥＧ復号画像とＭＰＥＧ２復号画像を監視モニター１５上の表示画像を乱すことなくスムーズに切り替えを実施できる効果がある。
Next, the operation at the end of the
一方、図９に示されるように、画像伝送装置７では、上記監視カメラ１制御終了コマンドを受信すると（ステップＳ１６）、画像圧縮制御回路３５は、ＭＰＥＧ２符号時のイントラフレームの検出を実施する。そして、イントラフレームを検出すると、画像圧縮制御回路３５は、ＭＰＥＧ２符号化時の目標符号量を通常監視時の目標量（実施の形態１では、１２Ｍｂｐｓ）に切り換える（ステップＳ１８）。そして、送信データの優先度を通常監視時の優先度（図８参照）に切り換える（ステップＳ１９）。そして、ＪＰＥＧ符号回路３４に対してＪＰＥＧ符号動作を停止するよう制御信号を出力する。
On the other hand, as shown in FIG. 9, when the
次に、監視カメラ１制御終了時の動作を説明する。監視カメラ１を介して入力される画像信号は、入力端子３１を介してＮＴＳＣデコーダ３２に入力され、ＮＴＳＣデコーダ３２で輝度信号及び２つの色差信号に変換される。その際、通常監視時と同様に、垂直同期信号及び水平同期信号の分離が実施され、出力はＭＰＥＧ２符号回路３３及びＪＰＥＧ符号回路３４に入力される。一方、画像受信装置１４より通信ケーブル９を介して監視カメラ１制御終了コマンドを受信すると、ＣＰＵ５は画像圧縮制御回路３５に対してその旨を通知する。画像圧縮制御回路３５は、監視カメラ１制御の終了が通知されると、ＭＰＥＧ２符号回路３３より出力される情報を元にイントラフレームを検出する。イントラフレームを検出すると、画像圧縮制御回路３５は、ＭＰＥＧ２符号化時の目標符号量を通常監視時の符号量になるようセットする。一方、ＣＰＵ５は、画像圧縮制御回路３５に対して監視カメラ１制御が終了したことを通知すると、次に送信時の各データの優先度を通常監視時の優先度に切り換える（図８参照）。一方、画像圧縮制御回路３５は、ＭＰＥＧ２符号化時の目標符号量の切り換えを終了すると、次にＪＰＥＧ符号回路３４に対してＪＰＥＧ符号動作を停止するよう制御信号を出力する。ＪＰＥＧ符号回路３４では、この停止命令を受信すると現在符号化中の画像データの処理終了後、ＪＰＥＧ圧縮動作を停止する。
Next, the operation at the end of the
なお、ＪＰＥＧ符号回路３４でのＪＰＥＧ符号化終了のタイミングは、画像受信装置１４内で監視モニター１５への表示画像がＪＰＥＧ画像からＭＰＥＧ画像に切り替わったことを確認した後、ＪＰＥＧ符号回路３４の動作を停止するように構成してもよい。また、以降のＭＰＥＧ２符号回路３３、タイムスタンプ生成回路３６、ＴＳパケット生成回路３７、及びＴＳ記憶メモリ３９の動作、並びに、通信モジュール４の動作は、通常監視時と同一である。
It should be noted that the
次に、監視カメラ１の制御終了時の画像受信装置１４の動作を説明する。操作パネル１６からの制御信号の入力が所定の期間無いことを確認すると、ＣＰＵ１２は、監視カメラ１制御終了コマンドを通信モジュール１０に出力する。通信モジュール１０は、入力された監視カメラ１制御終了コマンドを画像伝送装置７に通信ケーブル９を介して出力する。上記監視カメラ１制御終了コマンドの送出を完了すると、ＣＰＵ１２は、画像復号制御回路５４に対して監視カメラ１制御が終了したことを通知する。画像復号制御回路５４は、監視カメラ１制御が終了したことを通知されると、ＭＰＥＧ２イントラフレームの検出を実施する。具体的には、画像復号制御回路５４は、ＭＰＥＧ２復号回路５２より出力される画像復号情報を元に、イントラフレームの検出を実施する。画像復号制御回路５４は、イントラフレームを検出すると、スイッチ５８の入力をＭＰＥＧ２復号回路５２の出力を選択するよう制御信号を出力する。なお、このスイッチ５８の入力を切り換える制御信号は、ＴＶ同期発生回路５３より出力される垂直同期信号に同期して出力される。そして、スイッチ５８の切り替え制御が完了すると、画像復号制御回路５４は、ＪＰＥＧ復号回路５５に対して、ＪＰＥＧ復号動作を中止するよう制御信号を出力する。その際、ＪＰＥＧ用メモリ制御回路５７に対しても同様に、ＪＰＥＧ用メモリ５６の制御を中止するよう制御信号を出力する。スイッチ５８より出力される復号画像データは、ＮＴＳＣエンコーダに入力され、ＮＴＳＣコンポジット信号として出力端子６０を介して監視モニター１５に出力される。
Next, the operation of the
次に、監視カメラ１制御終了時のクロックジッタ制御に関して説明する。実施の形態１では、上述したが、監視カメラ１制御終了時、監視モニター１５に表示される画像をスムーズに切り換えるため、ＭＰＥＧＴＳを監視モニター１５上に表示しないにもかかわらず伝送する。従って、監視カメラ１を、ＪＰＥＧ画像を用いて制御しているにもかかわらず上述したように、ＭＰＥＧＴＳを用いて画像伝送装置７と画像受信装置１４間のクロック同期を補償することができる。これにより、上述したように監視カメラ１の制御終了後、監視モニター１５に表示する画像をＪＰＥＧ圧縮画像からＭＰＥＧ２圧縮画像に切り換える際、表示画像が一時止まってしまう、或いは表示画像が乱れるなどの弊害を生じさせること無く、スムーズに表示画像を切り換えることができる効果がある。
Next, clock jitter control at the end of
以下に、図１３及び図１４を用いて監視カメラ１の制御終了時のクロックジッタ補正制御動作を説明する。クロックジッタ補正の制御は、上述したように基本的には、ＭＰＥＧＴＳ用メモリ５１内に記憶されているＭＰＥＧＴＳパケットの量（メモリ記憶容量）が巨視的に見て一定（例えば、１秒間の平均メモリ記憶容量がほぼ一定）になるようにＭＰＥＧＴＳメモリ制御回路５０内の読み出し制御タイマーの時刻を定期的に補正するよう構成する。しかし、ＭＰＥＧＴＳのデータ伝送レートが変化すると、ＭＰＥＧＴＳ用メモリ５１内のＴＳの記憶容量は、図１４に示すように、監視カメラ１制御時の目標値は通常監視時の目標値に対して小さくなる。これは、監視カメラ１制御開始時に説明したように、ＭＰＥＧＴＳの伝送データレートが６Ｍｂｐｓから１２Ｍｂｐｓに増加した場合、図１４に示すように、ＭＰＥＧＴＳ用メモリ５１内に記憶されている平均データレートが６ＭｂｐｓのＭＰＥＧＴＳがすべて読み出されるまで、このＭＰＥＧＴＳ用メモリのデータ記憶容量は増加する。従って、監視カメラ１制御終了時に上記クロックジッタ補正制御を実施すると、クロック同期が外れる。よって、実施の形態１では、監視カメラ１制御終了時も、クロックジッタ開始時と同様に、クロックジッタ補正制御を止めるように構成する。
The clock jitter correction control operation at the end of the control of the
以下に、図１３に示されるフローチャートを用いてクロックジッタ補正制御動作について説明する。監視カメラ１制御の終了を検出すると、ＣＰＵ１２は、クロック同期制御（クロックジッタ補正制御）を停止する（ステップＳ６０）。そして、ＣＰＵ１２は、監視モニター１５の表示画面の切り換えを確認（ステップＳ６１）した後、画像受信装置１４に入力されるＭＰＥＧＴＳパケットの平均レートが通常監視時のレートになったかを確認する（ステップＳ６２）。そして、ＣＰＵ１２は、入力されるＭＰＥＧＴＳパケットの平均レートが通常監視時の平均レート（実施の形態１では、１２Ｍｂｐｓ）になったことを確認すると、次にＭＰＥＧＴＳ用メモリ５１内のメモリ記憶容量（メモリ残量）がほぼ一定に収束したかを判断する（ステップＳ６３）。収束していた場合、ＣＰＵ１２は、クロックジッタ補正制御目標値を現在のメモリ記憶容量に再設定する。そして、ＣＰＵ１２は、クロックジッタ補正制御を再開させる。実施の形態１では、監視カメラ１制御終了時、上述のようにクロックジッタ補正制御を実施するので、ＭＰＥＧＴＳパケットの受信レートが変化した場合でも、クロック同期制御をはずすことなく制御ができる。よって、監視カメラ１制御終了時においても、監視モニター１５に表示される表示画像を乱すことなくスムーズに表示画像の切り換え制御などを実施することができる効果がある。
The clock jitter correction control operation will be described below using the flowchart shown in FIG. When detecting the end of the
実施の形態１は上述のように構成されているので、監視カメラ１制御時は、遅延量の少ない画像圧縮手段を用いて圧縮した画像を伝送し、監視モニター１５上に表示すると共に、画像伝送装置７と画像受信装置１４のクロック同期をとるため、画像の遅延量は大きいが高画質に圧縮できるＭＰＥＧ２などのストリームを同時配信するように構成しているので、特に監視カメラ１制御終了時に、監視モニター１５上の表示画像を乱すことなくスムーズに通常監視画像に切り換えることができる効果がある。
Since the first embodiment is configured as described above, when monitoring
また、実施の形態１では、ネットワーク上を流すデータの優先度を、通常監視時と監視カメラ１制御時で切り換えることにより、それぞれの状態で最適な画像の表示を行うことができる効果がある。具体的には、監視カメラ１制御時は、ＪＰＥＧパケットの優先順位を上げるよう構成したので、ネットワーク上でのＪＰＥＧパケットの遅延量を最小限に抑えることができると共に、通常監視時は、ＭＰＥＧＴＳパケットの優先度を上げるのでリアルタイムでＭＰＥＧＴＳを復号することができる効果がある。
In the first embodiment, the priority of the data flowing on the network is switched between the normal monitoring time and the
また、実施の形態１では、ＭＰＥＧ２符号回路３３での符号量の切り換えをＧＯＰの先頭で行うように構成した。これは、以下の理由による。例えば、ＧＯＰの途中で符号量を切り換えた場合（１２Ｍｂｐｓから６Ｍｂｐｓに）は、イントラフィールドが全体の２０％程度の符号量を占めるとすると、符号量が切り換えられた後のＰフレーム、或いはＢフレームに割り当てられる符号量が非常に小さくなる、或いは切り換え時点で目標符号量を大きく超えているなどＭＰＥＧ２の符号量制御に大きなインパクトを与える。よって、実施の形態１に示すように、符号量の目標値の切り替えをＧＯＰの先頭で行うことにより、スムーズな符号量切り替えが行え、画像受信装置１４でのクロックジッタ制御、或いはＭＰＥＧ２復号回路５２での復号動作、ＴＶ同期発生回路５３におけるＴＶ同期発生動作をスムーズに行うことができ、目標符号量切り換え時に、例えば、ＴＶ同期が外れて同期が乱れ、監視モニター１５への出力画像が乱れるなどを抑制できる効果がある。
In the first embodiment, the code amount is switched in the
実施の形態２．
以下に、本発明の実施の形態２について図を用いて説明する。一般に、監視カメラ１の方向、或いはズーム制御を実施する場合、通常の画像解像度は必要ない。従って、実施の形態２では、監視カメラ１制御時、画像データにＪＰＥＧ符号化を実施する際の前処理として画像の解像度を落として処理する場合について説明する。ＪＰＥＧなど同一の面内の相関を利用した画像圧縮では、圧縮時の画像サイズにより画像符号化時間が決まる。具体的には、１フィールドの画像データをメモリに記憶した後にＪＰＥＧ圧縮を施すが、その際の演算量は圧縮する画像の面積に比例して多くなる。また、伝送する画像データのデータ量も上記圧縮する画像の面積に比例して多くなる。従って、実施の形態２では、ＪＰＥＧ圧縮の際の前処理として、例えば、水平方向及び垂直方向の画素数をそれぞれ半分にして伝送する場合について説明する。
The second embodiment of the present invention will be described below with reference to the drawings. In general, when the direction of the
図１５は、本発明の実施の形態２における画像伝送装置内の画像圧縮回路において使用されるＪＰＥＧ符号回路３４を示すブロック構成図である。図１５に示されるように、ＪＰＥＧ符号回路３４は、入力された画像信号の水平方向及び垂直方向の画素数を半分に縮小する画像縮小回路７０と、画像縮小回路７０から出力される水平方向及び垂直方向の画素数が半分に削減された画像データにＪＰＥＧ符号化を施す第２のＪＰＥＧ符号回路７１とから構成される。図１６には、水平方向、或いは垂直方向の画素を半分に間引く際に使用するＬＰＦの一構成例が示されている。図１６に示されるＬＰＦは、１画素遅延する遅延回路７２，７３と、データに０．２５を乗じる乗算回路７４，７６と、データに０．５を乗じる乗算回路７５と、加算回路７７とから構成されている。なお、図１５に示す構成で垂直方向のＬＰＦを構成する際は、遅延回路７２及び７３を１ライン遅延するよう構成する。また、実施の形態２では、図１６に示すように、水平方向及び垂直方向のＬＰＦは３タップのフィルターで構成する場合について説明する。なお、水平方向及び垂直方向のＬＰＦの構成は、図１６に限定されるものではない。
FIG. 15 is a block diagram showing a
図１７は、本発明の実施の形態２における画像受信装置内の画像伸張回路において使用されるＪＰＥＧ復号回路５５を示すブロック構成図である。図１７に示されるように、ＪＰＥＧ復号回路５５は、入力されたＪＰＥＧパケットデータを復号する第２のＪＰＥＧ復号回路８０と、第２のＪＰＥＧ復号回路８０より入力される画像データを水平方向及び垂直方向に各々２倍に拡大する画像拡大回路８１とから構成される。また、図１８は、水平方向、或いは垂直方向の画素を２倍に拡大する際に使用する画素補間回路のブロック構成図である。図１８に示される画素補間回路は、画素数が半分にされ入力された画像データを１クロック遅延する遅延回路８２と、加算回路８３と、入力されたデータに０．５を乗じる乗算回路８４と、スイッチ８５とから構成される。なお、図１７に示す構成で垂直方向の画素補間回路を構成する際は、遅延回路８２を１ライン遅延するよう構成する。
FIG. 17 is a block configuration diagram showing a
以下に、本発明の実施の形態２の動作を説明する。なお、通常監視時の動作は実施の形態１の動作と同一である。監視カメラ１制御時の動作を説明する。実施の形態１と同様に、監視カメラ１を介して入力される画像信号は、画像圧縮回路２０内のＮＴＳＣデコーダ３２に入力され、輝度信号及び２つの色差信号に変換される。ＮＴＳＣデコーダ３２の出力（水平同期信号及び垂直同期信号を含む）は、ＭＰＥＧ２符号回路３３及びＪＰＥＧ符号回路３４に入力される。ＭＰＥＧ２符号回路３３は、監視カメラ１制御時は、実施の形態１と同様に、図９に示されるフローに従い、符号量の目標値が切り換えられ符号化が行われる。なお、実施の形態２では、監視カメラ１制御時に使用するＪＰＥＧ画像の画像サイズを小さくすることにより、画像の符号時間及び復号時間の短縮を図ると共に、通信ケーブル９上に流す画像データ量を少なくするよう構成するので、ＭＰＥＧ２符号化時の符号量の目標値は、実施の形態１より大きくなる。実施の形態２では、ＭＰＥＧ２符号化時の目標符号量を９Ｍｂｐｓとして説明を続ける。ＭＰＥＧ２符号回路３３より出力されるＴＳは、実施の形態１と同様に、ＴＳパケット生成回路３７でＴＳの先頭にタイムスタンプ生成回路３６で生成されたタイムスタンプが付加され、ＴＳ記憶メモリ３９へ記憶される。なお、以降の画像伝送装置７のＴＳパケットの処理動作は、実施の形態１と同一である。
The operation of the second embodiment of the present invention will be described below. The operation during normal monitoring is the same as that in the first embodiment. The operation at the time of
一方、ＪＰＥＧ符号回路３４は、監視カメラ１制御時、入力された輝度信号及び２つの色差信号の水平方向及び垂直方向の画素数を半分にしてからＪＰＥＧ符号化を施し出力する。以下に、図１５及び図１６を用いてＪＰＥＧ符号回路３４の動作を説明する。ＮＴＳＣデコーダ３２より画像信号が入力されると、画像縮小回路７０は、水平方向及び垂直方向の画素を半分に間引き、画像サイズを縮小する。以下に、図１６を用いて水平方向の画素間引き動作を説明する。入力された画素データは、遅延回路７２及び乗算回路７４に入力される。遅延回路７２では、入力された画素を１クロック遅延する。また、乗算回路７４は、入力されたデータに０．２５を乗算する。遅延回路７２の出力は、遅延回路７３及び乗算回路７５に入力される。遅延回路７３では、入力された画素を１クロック遅延する。また、乗算回路７５は、入力されたデータに０．５を乗算する。そして、遅延回路７３の出力は、乗算回路７６で０．２５が乗算される。乗算回路７４、７５、及び７６の出力は、加算回路７７で加算され水平方向の帯域が落とされ出力される。なお、その際、例えば、水平方向の偶数画素が間引かれ出力される。上記要領で、水平方向の画素が間引かれた画像は、垂直方向のＬＰＦにて垂直方向の帯域が落とされた後、例えば、偶数ラインが間引かれ、画像縮小回路７０から出力される。なお、垂直方向のＬＰＦの動作は、図１６中の遅延回路７２及び７３が１ライン遅延のラインメモリに置き変わるだけで、動作は同一である。画像縮小回路７０の出力は、第２のＪＰＥＧ符号回路７１にＪＰＥＧ符号化が施されＪＰＥＧパケット生成回路３８に入力される。なお、以降の画像伝送装置７のＪＰＥＧパケットの処理動作は、実施の形態１と同一である。
On the other hand, when the
次に、監視カメラ１の制御を行っている場合の画像受信装置１４の動作を説明する。通信ケーブル９を介して通信モジュール１０に入力されたパケットデータは、ＣＰＵ１２にてヘッダ情報が確認され、パケットデータのあて先、種別などが判別される。そして、自分宛の制御データであった場合は、制御データを元に所定の処理を実施する。一方、ＭＰＥＧＴＳ、或いはＪＰＥＧパケットであった場合は、そのデータを画像伸張回路２１内のＭＰＥＧＴＳメモリ制御回路５０に出力する。その際、ＭＰＥＧＴＳかＪＰＥＧパケットかの識別情報も出力する。
Next, the operation of the
ＭＰＥＧＴＳメモリ制御回路５０では、受信したデータがＭＰＥＧＴＳであった場合は、実施の形態１と同様に、通常監視の際と同様にそのタイムスタンプを含むＭＰＥＧＴＳパケットをＭＰＥＧＴＳ用メモリ５１に書き込む。なお、ＭＰＥＧＴＳパケットの処理に関しては実施の形態１と同一である。一方、受信したデータがＪＰＥＧパケットであった場合は、ＪＰＥＧ復号回路５５に入力する。以下に、ＪＰＥＧパケット処理について説明する。ＭＰＥＧＴＳメモリ制御回路５０よりＪＰＥＧパケットが入力されると、第２のＪＰＥＧ復号回路８０は、ＪＰＥＧ復号を施し元の画像データを復元する。第２のＪＰＥＧ復号回路８０で復元された画像データは、画像拡大回路８１に入力される。画像拡大回路８１では、水平方向及び垂直方向の画素補間が行われ元の画像サイズが復元される。以下に、図１８を用いて水平方向の画素補間動作を説明する。第２のＪＰＥＧ復号回路８０で復元された画像データは、遅延回路８２、加算回路８３、及びスイッチ８５に入力される。遅延回路８２では、入力された画像を１クロック遅延する（なお、１クロックは第２のＪＰＥＧ復号回路８２より出力される画素クロックに同期するものとする。）。加算回路８３では、第２のＪＰＥＧ復号回路８０の出力と遅延回路３２の出力を加算し、乗算回路８３に入力する。乗算回路８４では、入力されたデータに０．５を乗算し補間画像データを生成する。乗算回路８４の出力は、スイッチ８５に入力される。スイッチ８５は、第２のＪＰＥＧ復号回路８２より出力される画素クロックの２倍周波数のクロックで駆動され、第２のＪＰＥＧ復号回路８０の出力と、乗算回路８４の出力を切り換え水平方向の画素補間を実施する。なお、垂直方向の補間動作は、図１８中の遅延回路８２が１ライン遅延のラインメモリに置き変わるだけで、動作は同一である。ＪＰＥＧ復号回路５５で復元された画像データは、ＪＰＥＧ用メモリ５６に入力され、１フィールドの画像データが構成される。これ以降の動作は実施の形態１と同一である。
In the MPEGTS
実施の形態２で上述したような構成をとる理由について説明する。上述したが、監視カメラ１の水平方向、垂直方向の位置制御、或いはズーム制御などを実施する場合は、画像の解像度が低下しても画像の遅延時間を短くする必要がある。画像の遅延時間は、ＪＰＥＧを用いた場合は、一般に、符号化時には１フィールドの画像データをメモリに記憶した後に、メモリ内に記憶されている１フィールドの画像データに対してＪＰＥＧ符号化を施す。また、ＪＰＥＧ符号化時の符号化時間は、符号化する画像のサイズ（面積）に比例して長くなる。よって、実施の形態２に示すように、画像サイズを水平方向及び垂直方向共に半分にすることにより、符号化時間は実施の形態１と比較して１／４になる。同様に復号にもＪＰＥＧ復号の時間が実施の形態１と比較して１／４になるので、画像の遅延時間をより短くすることができる効果がある。
The reason why the above-described configuration is adopted in the second embodiment will be described. As described above, when performing horizontal position control, vertical position control, or zoom control of the
また、ＪＰＥＧパケットのデータ量も実施の形態１と比較し１／４程度になるので、ＭＰＥＧ２符号化時の符号量を大きくすることができる（実施の形態２では、９Ｍｂｐｓとした。）。映像監視システムでは、監視カメラ１から出力される画像データを監視レコーダなどに記録することが非常に多い。その際、実施の形態１及び実施の形態２で説明したシステムでは、監視カメラ１制御時においてもＭＰＥＧ２のＴＳストリームを伝送するように構成したので、画質は若干劣化するものの、監視カメラ１より出力される撮像画像を連続的に（途切れることなく）監視レコーダに記憶することができる効果がある。
Further, since the data amount of the JPEG packet is about ¼ compared with the first embodiment, the code amount at the time of MPEG2 encoding can be increased (9 Mbps in the second embodiment). In a video surveillance system, the image data output from the
また、実施の形態２では、ＪＰＥＧパケットのデータ伝送レートが少なくなった分をＭＰＥＧ２のＴＳのデータ伝送レートに振り替えたので、監視レコーダに監視映像を記録する際の監視カメラ１制御時の監視映像は、実施の形態１と比較してより高画質に記録できる効果がある。
In the second embodiment, since the data transmission rate of the JPEG packet is reduced to the data transmission rate of the MPEG2 TS, the monitoring video when controlling the
他の利用形態．
実施の形態１及び実施の形態２においては、図４に示すように、１８８バイトのＴＳの先頭にタイムスタンプを４バイト付加し伝送する場合について説明したが、本発明はこれに限定されるものではない。例えば、タイムスタンプを２バイト付加する、或いは無線伝送の際に発生するランダム誤りを訂正するためにリード・ソロモン符号などの誤り訂正符号を図３に示す１９２バイトの伝送データの後に付加して、伝送してもよい。また、上記誤り訂正符号はＴＳのみ、或いはタイムスタンプとＴＳの両者に対して付加してもよい。
Other forms of use.
In the first embodiment and the second embodiment, as shown in FIG. 4, a case has been described in which a 4-byte time stamp is added to the beginning of a 188-byte TS, but the present invention is limited to this. is not. For example, a time stamp is added by 2 bytes, or an error correction code such as a Reed-Solomon code is added after the 192-byte transmission data shown in FIG. 3 in order to correct a random error occurring during wireless transmission. It may be transmitted. Further, the error correction code may be added only to the TS or to both the time stamp and the TS.
また、実施の形態１及び実施の形態２においては、ＪＰＥＧパケットのサイズをＴＳパケットと同一とした場合を説明したが、本発明はこれに限定されるものではない。 In the first and second embodiments, the case where the size of the JPEG packet is the same as that of the TS packet has been described. However, the present invention is not limited to this.
さらに、実施の形態１及び実施の形態２においては、ネットワークとしてＥｔｈｅｒｎｅｔを用いた有線系のネットワークの場合について説明したが、本発明はこれに限定されるものではない。例えば、ＩＥＥＥ８０２．１１などの無線ＬＡＮ、ＵＷＢ（超広帯域：Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）などの無線ネットワーク、高速電力線通信（ＰＬＣ：Ｐｏｗｅｒ Ｌｉｎｅ Ｃｏｎｔｒｏｌ）などの電灯線を用いたネットワーク、ピアツーピア（ＰｔｏＰ）のネットワーク、又はＵＳＢなどを用いた通信方式などにおいては、同様の効果が得られる。
Furthermore, in
さらにまた、実施の形態１及び実施の形態２においては、監視カメラ１制御時、ＪＰＥＧ画像に切り替わるまで監視カメラ１制御をマスクするよう構成したが、その際、監視カメラ１の制御をマスクしている旨をユーザに伝えるよう構成してもよく、その場合には、更に操作性が向上する。具体的には、監視モニター１５上に監視カメラ１の制御がアクティブになったことを表示する、或いは操作パネル１６上のＬＥＤを点灯するなどのそのアプリケーションに合わせて構成すればよい。上述のように構成することにより、ユーザが監視カメラ１を制御しても画像が動かないなどと言うことがなくなるため、操作性が非常に悪くなるといったことがなくなり、スムーズに監視カメラ１を制御できる効果がある。
Furthermore, in the first and second embodiments, when the
また、実施の形態１及び実施の形態２においては、ＭＰＥＧ２システムのＴＳを用いてクロックジッタを吸収する場合について説明したが、本発明はこれに限定されるものではない。例えば、他の圧縮方式で伝送されるビデオデータ、或いはＭＰＥＧ２システムのＰＥＳフォーマット、電話などの音声データ、或いはＣＤなどから再生されたデジタルオーディオデータなどリアルタイム性を要求されるデータを用いてクロックジッタ吸収するように構成しても同様の効果を有する。 In the first and second embodiments, the case where the clock jitter is absorbed using the TS of the MPEG2 system has been described. However, the present invention is not limited to this. For example, clock jitter absorption using video data transmitted by other compression methods, MPEG2 system PES format, audio data such as telephones, or digital audio data reproduced from a CD or the like, which requires real-time characteristics. Even if configured, the same effect is obtained.
また、実施の形態１及び実施の形態２においては、画像伝送装置７内での高能率符号化方式として、通常監視時にはＭＰＥＧ２を使用し、監視カメラ１制御時はＪＰＥＧ符号化を用いた場合について説明したが、本発明はこれに限定されるものではない。例えば、通常監視時にＭＰＥＧ４を使用してもよい。また、ＪＰＥＧ符号化の代わりに画像の解像度（画像サイズを１／４、色数を２５６階調）を削減して伝送しても同様の効果を奏する。
In the first and second embodiments, as a high-efficiency encoding method in the
１ 監視カメラ、 ２ 電動雲台、 ４ 通信モジュール、 ５ ＣＰＵ、 ７ 画像伝送装置、 ９ 通信ケーブル、 １０ 通信モジュール、 １２ ＣＰＵ、 １５ 監視モニター、 １６ 操作パネル、 １８ 伝送システム、 １９ 映像監視システム、 ２０ 画像圧縮回路、 ２１ 画像伸張回路、 ３２ ＮＴＳＣデコーダ、 ３３ ＭＰＥＧ２符号回路、 ３４ ＪＰＥＧ符号回路、 ３５ 画像圧縮制御回路、 ３６ タイムスタンプ生成回路、 ３７ ＴＳパケット生成回路、 ３８ ＪＰＥＧパケット生成回路、 ３９ ＴＳ記憶メモリ、 ４０ ＪＰＥＧパケット記憶メモリ、 ５０ ＭＰＥＧＴＳメモリ制御回路、 ５１ ＭＰＥＧＴＳ用メモリ、 ５２ ＭＰＥＧ２復号回路、 ５３ ＴＶ同期発生回路、 ５４ 画像復号制御回路、 ５５ ＪＰＥＧ復号回路、 ５６ ＪＰＥＧ用メモリ、 ５７ ＪＰＥＧ用メモリ制御回路、 ５８ スイッチ、 ５９ ＮＴＳＣエンコーダ、 ７０ 画像縮小回路、 ７１ 第２のＪＰＥＧ符号回路、 ８０ 第２のＪＰＥＧ復号回路、 ８１ 画像拡大回路。
DESCRIPTION OF
Claims (11)
上記撮像装置から入力される画像データに第１の高能率符号化を施す第１の高能率符号化手段と、
上記撮像装置から入力される画像データに第２の高能率符号化を施す第２の高能率符号化手段と、
上記第１の高能率符号化の施された画像データ及び上記第２の高能率符号化の施された画像データを上記画像受信装置に送信する送信手段と、
上記撮像装置の撮像位置又はズームの少なくとも一方を含む撮像条件を変更するための撮像条件変更要求信号を受信する受信手段と、
上記撮像条件変更要求信号に基づく撮像条件制御信号を上記撮像装置に対して出力する撮像条件制御手段とを有し、
上記第１の高能率符号化を施す際の画像データの遅延量は、上記第２の高能率符号化を施す際の画像データの遅延量よりも少なく、上記撮像条件制御手段が上記撮像条件制御信号を出力するときにおける上記第２の高能率符号化手段の画像データの圧縮率を、上記撮像条件制御手段が上記撮像条件制御信号を出力するとき以外における上記第２の高能率符号化手段の画像データの圧縮率よりも高く制御するとともに、上記撮像条件制御手段が上記撮像条件制御信号を出力するときには、上記送信手段より送信される信号に関して、上記第１の高能率符号化の施された画像データの優先度を上記第２の高能率符号化の施された画像データの優先度よりも高く設定し、上記第１の高能率符号化の施された画像データを優先的に送信するよう上記送信手段を制御する
ことを特徴とする画像伝送装置。 Subjected to high-efficiency coding on the image data input from the imaging device, the image receiving apparatus which outputs the restored display image data subjected to the above-described high efficiency encoding, in the image transmission apparatus for transmitting,
First high-efficiency encoding means for applying first high-efficiency encoding to image data input from the imaging device;
Second high efficiency encoding means for performing second high efficiency encoding on image data input from the imaging device;
Transmission means for transmitting said first high efficiency encoding image data and the image data subjected to the above second high-efficiency encoding has been subjected to reduction to the image receiving apparatus,
Receiving means for receiving an imaging condition change request signal for changing an imaging condition including at least one of an imaging position or a zoom of the imaging device;
Imaging condition control means for outputting an imaging condition control signal based on the imaging condition change request signal to the imaging apparatus;
The delay amount of the image data when performing a first high-efficiency encoding is less than the delay amount of the image data when carrying out the second high-efficiency encoding, the upper Symbol imaging condition control means the imaging condition the compression ratio of the image data of the second high-efficiency encoding means at the time for outputting a control signal, the second high-efficiency encoding means in addition when the imaging condition control means outputs the image pickup condition control signal with a high Ku system to control than the compression ratio of the image data, when the imaging condition control means outputs the image pickup condition control signal, with respect to the signal transmitted from said transmitting means, the first high efficiency encoding The priority of the applied image data is set higher than the priority of the image data subjected to the second high-efficiency encoding, and the image data subjected to the first high-efficiency encoding is preferentially set. Send above to send Image transmission apparatus characterized by controlling means.
上記撮像装置から入力される画像データに第１の高能率符号化を施すステップと、
上記撮像装置から入力される画像データに第２の高能率符号化を施すステップと、
上記第１の高能率符号化の施された画像データ及び上記第２の高能率符号化の施された画像データを送信手段から上記画像受信装置に送信するステップと、
上記撮像装置の撮像位置又はズームの少なくとも一方を含む撮像条件を変更するための撮像条件変更要求信号を受信するステップと、
上記撮像条件変更要求信号に基づく撮像条件制御信号を上記撮像装置に対して出力するステップとを有し、
上記第１の高能率符号化を施す際の画像データの遅延量は、上記第２の高能率符号化を施す際の画像データの遅延量よりも少なく、上記撮像条件変更要求信号が受信され、上記撮像条件制御信号を出力するときにおける上記第２の高能率符号化ステップにおける画像データの圧縮率を、上記撮像条件制御信号を出力するとき以外における上記第２の高能率符号化ステップにおける画像データの圧縮率よりも高く制御するとともに、上記撮像条件変更要求信号が受信され、上記撮像条件制御信号を出力するときには、上記送信手段より送信される信号に関して、上記第１の高能率符号化の施された画像データの優先度を上記第２の高能率符号化の施された画像データの優先度よりも高く設定し、上記第１の高能率符号化の施された画像データを優先的に送信するよう上記送信手段を制御する
ことを特徴とする画像伝送方法。 Subjected to high efficiency coding on the image data input from the imaging device, the image receiving apparatus which outputs the restored display image data subjected to the above-described high efficiency encoding, an image transmission method for transmitting,
Applying first high efficiency encoding to image data input from the imaging device;
Applying second high efficiency encoding to image data input from the imaging device;
And transmitting to the image receiving apparatus the first high-efficiency encoding of applied image data and the second high efficiency encoding image data subjected to the reduction was from the transmitting means,
Receiving an imaging condition change request signal for changing an imaging condition including at least one of an imaging position or a zoom of the imaging device;
Outputting an imaging condition control signal based on the imaging condition change request signal to the imaging device,
The delay amount of the image data when performing the first high efficiency encoding is smaller than the delay amount of the image data when performing the second high efficiency encoding, and the imaging condition change request signal is received, image in the second high-efficiency encoding step in except when a compression rate of the image data in the second high-efficiency encoding step at the time of outputting the image pickup condition control signal, and outputs the upper Symbol imaging condition control signal as well as high rather controlled than the compression rate of the data, the imaging condition changing request signal is received, when outputting the image pickup condition control signal, with respect to the signal transmitted from said transmitting means, said first high efficiency encoding Is set higher than the priority of the image data subjected to the second high-efficiency encoding, and the image data subjected to the first high-efficiency encoding is set to Image transmission method characterized by controlling the transmission means to transmit earlier manner.
上記画像伝送装置が、
上記撮像装置から入力される画像データに第１の高能率符号化を施す第１の高能率符号化手段と、上記撮像装置から入力される画像データに第２の高能率符号化を施す第２の高能率符号化手段と、上記第１の高能率符号化の施された画像データ及び上記第２の高能率符号化の施された画像データを上記画像受信装置に送信する送信手段と、上記撮像装置の撮像位置又はズームの少なくとも一方を含む撮像条件を変更するための撮像条件変更要求信号を受信する受信手段と、上記撮像条件変更要求信号に基づく撮像条件制御信号を上記撮像装置に対して出力する撮像条件制御手段とを有し、
上記第１の高能率符号化を施す際の画像データの遅延量は、上記第２の高能率符号化を施す際の画像データの遅延量よりも少なく、上記撮像条件制御手段が上記撮像条件制御信号を出力するときにおける上記第２の高能率符号化手段の画像データの圧縮率を、上記撮像条件制御手段が上記撮像条件制御信号を出力するとき以外における上記第２の高能率符号化手段の画像データの圧縮率よりも高く制御するとともに、少なくとも上記第２の高能率符号化手段は上記撮像条件制御信号の有無にかかわらず、上記第２の高能率符号化の施された画像データを、上記画像受信装置に送信するとともに、上記画像受信装置では、上記第２の高能率符号化手段にて符号化された画像データを元に、該第２の高能率符号化手段にて使用している基準クロックの周波数と、上記画像受信装置内で上記第２の高能率符号化手段で符号化されたデータを復号する際に使用する基準クロックの差を推定し、該基準クロックの周波数の差を上記画像受信装置内で吸収するように制御する
ことを特徴とする伝送システム。
In a transmission system having an image transmission device that performs high-efficiency encoding on image data input from an imaging device and transmits the image data that has been subjected to the high-efficiency encoding and outputs the image data to a display device ,
The image transmission apparatus is
First high-efficiency encoding means for applying first high-efficiency encoding to image data input from the imaging apparatus, and second for applying second high-efficiency encoding to image data input from the imaging apparatus The high-efficiency encoding means, the transmission means for transmitting the image data subjected to the first high-efficiency encoding and the image data subjected to the second high-efficiency encoding to the image receiving apparatus, and A receiving means for receiving an imaging condition change request signal for changing an imaging condition including at least one of an imaging position or a zoom of the imaging device, and an imaging condition control signal based on the imaging condition change request signal to the imaging device Imaging condition control means for outputting,
The delay amount of the image data when the first high-efficiency encoding is performed is smaller than the delay amount of the image data when the second high-efficiency encoding is performed, and the imaging condition control means controls the imaging condition control. The compression rate of the image data of the second high-efficiency encoding means when the signal is output is the same as that of the second high-efficiency encoding means other than when the imaging condition control means outputs the imaging condition control signal. While controlling higher than the compression rate of the image data, at least the second high-efficiency encoding means outputs the image data subjected to the second high-efficiency encoding regardless of the presence or absence of the imaging condition control signal . In addition to transmitting to the image receiving device, the image receiving device uses the second high-efficiency encoding unit based on the image data encoded by the second high-efficiency encoding unit. Standard clock And a difference between the reference clock used in decoding the data encoded by the second high-efficiency encoding means in the image receiving apparatus, and the difference between the frequencies of the reference clock A transmission system that is controlled so as to be absorbed in a receiving apparatus .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004151409A JP4104577B2 (en) | 2004-05-21 | 2004-05-21 | Image transmission apparatus, image transmission method, transmission system, and video surveillance system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004151409A JP4104577B2 (en) | 2004-05-21 | 2004-05-21 | Image transmission apparatus, image transmission method, transmission system, and video surveillance system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005333520A JP2005333520A (en) | 2005-12-02 |
| JP4104577B2 true JP4104577B2 (en) | 2008-06-18 |
Family
ID=35487845
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004151409A Expired - Fee Related JP4104577B2 (en) | 2004-05-21 | 2004-05-21 | Image transmission apparatus, image transmission method, transmission system, and video surveillance system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4104577B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11100691B2 (en) | 2014-03-31 | 2021-08-24 | Nec Corporation | Image processing system, image processing method and program, and device |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4781816B2 (en) * | 2005-12-28 | 2011-09-28 | パナソニック株式会社 | Image coding apparatus and image coding method |
| US20070195539A1 (en) * | 2006-02-21 | 2007-08-23 | Karl Storz Gmbh & Co. Kg | Ultra wide band wireless optical endoscopic device |
| JP2009060261A (en) * | 2007-08-30 | 2009-03-19 | Toshiba Corp | Video monitoring system |
| JP2010279234A (en) * | 2009-06-01 | 2010-12-09 | Sumitomo Electric Ind Ltd | Photovoltaic power generator |
| JP5945519B2 (en) * | 2013-04-23 | 2016-07-05 | オリンパス株式会社 | Operation terminal and remote shooting system |
| KR102040940B1 (en) * | 2013-09-04 | 2019-11-05 | 한화테크윈 주식회사 | Apparatus and method for synchronizating time |
| JP2018107655A (en) * | 2016-12-27 | 2018-07-05 | 株式会社Ｎｅｘｐｏｉｎｔ | Monitoring camera system |
-
2004
- 2004-05-21 JP JP2004151409A patent/JP4104577B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11100691B2 (en) | 2014-03-31 | 2021-08-24 | Nec Corporation | Image processing system, image processing method and program, and device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005333520A (en) | 2005-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1786209B1 (en) | Content receiver, video-audio output timing control method, and content providing system | |
| US20090109988A1 (en) | Video Decoder with an Adjustable Video Clock | |
| JP5043096B2 (en) | Channel changing method and digital video apparatus | |
| EP1956848A2 (en) | Image information transmission system, image information transmitting apparatus, image information receiving apparatus, image information transmission method, image information transmitting method, and image information receiving method | |
| US20080104644A1 (en) | Video Transferring Apparatus and Method | |
| JP4331835B2 (en) | Image data transmission method | |
| JP4983923B2 (en) | Decoder device and decoding method | |
| JP2001204035A (en) | Digital video decoding system, method for sequentially displaying a plurality of video programs and method for predicting succeeding channel selected by user | |
| JP2006508574A (en) | Inserting I images upon request | |
| US7983525B2 (en) | Recording apparatus and method and program | |
| JP2008118271A (en) | Remote control system of imaging apparatus | |
| JP4104577B2 (en) | Image transmission apparatus, image transmission method, transmission system, and video surveillance system | |
| US20060161676A1 (en) | Apparatus for IP streaming capable of smoothing multimedia stream | |
| US6061403A (en) | Computer program product for selectively reducing bandwidth of real-time video data | |
| JP5330015B2 (en) | Video transmission terminal | |
| US7558323B2 (en) | Video data transmission method for changing transmission data amounts in accordance with a transmission speed and a transmission system therefor | |
| JP4255685B2 (en) | Image transmission method and image transmission apparatus | |
| JP2004158929A (en) | Moving picture processing method, moving picture processor, and moving picture transmitter | |
| JP4289055B2 (en) | Transcoder and recording / reproducing apparatus using the same | |
| JP6464647B2 (en) | Moving image processing method, moving image transmission apparatus, moving image processing system, and moving image processing program | |
| JP4892541B2 (en) | Image transmission method and image transmission system | |
| EP1615439A2 (en) | Network receiving apparatus and network transmitting apparatus | |
| JP2004349743A (en) | Video stream switching system, method, and video image monitoring and video image distribution system including video stream switching system | |
| WO2021140768A1 (en) | Transmission device and transmission method | |
| JP2012004898A (en) | Storage device, encoding device, encoding method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071011 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071016 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071204 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080108 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080229 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080325 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080325 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110404 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120404 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120404 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130404 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130404 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140404 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |