JP2002034037A - Method for encoding animation by jpeg - Google Patents

Abstract

PROBLEM TO BE SOLVED: To improve video transmission and storage efficiency of animation encoding method by omitting the compression of no-changing videos. SOLUTION: On the encoding side, a JPEG file containing header information is outputted by compressing all MCUs at outputting of a refresh frame, and the MCU designated from an MCU designating means is compressed and the MCU number, MCU data, and intra-MCU code rate of the compressed MCU are outputted at outputting of an inter-frame. On the decoding side, the JPEG file of the refresh frame is reproduced by means of a JPEG decoder, and is also stored in a memory for buffer upon receiving the file. Upon receiving the data of the inter-frame, in addition, the MCU number, intra-MCU code rate, and code data are read out and the corresponding data are decoded by replacing the data, by referring to a buffered pointer.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は、監視用途向けに、
JPEGにより動画像を圧縮して、伝送または蓄積する方法
に関する。FIELD OF THE INVENTION The present invention relates to a monitoring system,
The present invention relates to a method for compressing a moving image by JPEG and transmitting or storing the compressed image.

【０００２】[0002]

【従来の技術】従来、JPEGにより動画像を圧縮して伝送
または蓄積する方法としては、図１０に示すものがあ
る。これは、撮像手段１から入力された画像信号が、A/
D変換手段２でディジタル化され、JPEG MCU符号化部３
で符号化される。JPEG MCU符号化部からの出力は、各MC
U（Minimum Coded Unit 最小符号化単位）の符号化デー
タが連続して出力される。画像の解像度・サンプリング
比などの情報は、JPEGヘッダ生成部８で生成され、ヘッ
ダ情報として付加されてJPEGファイルが生成される。生
成されたJPEGファイルは、ネットワークI/F９，１０を
介して、受信端末１５へ送信され、ソフトウェアによる
デコード部１１により再生される。2. Description of the Related Art Conventionally, there is a method shown in FIG. 10 for compressing a moving image by JPEG and transmitting or storing it. This is because the image signal input from the imaging means 1 is A / A
It is digitized by the D conversion means 2 and is encoded by the JPEG MCU encoding unit 3
. The output from the JPEG MCU encoder is
U (Minimum Coded Unit) encoded data is continuously output. Information such as the resolution and sampling ratio of the image is generated by the JPEG header generation unit 8 and added as header information to generate a JPEG file. The generated JPEG file is transmitted to the receiving terminal 15 via the network I / Fs 9 and 10, and is reproduced by the decoding unit 11 using software.

【０００３】[0003]

【発明が解決しようとする課題】しかしながら、従来の
JPEG方式を監視用途向けに利用した映像伝送及び映像蓄
積システムの場合は、フレーム内のすべての映像が圧縮
される。つまり、映像の変化がほとんど発生しない背景
部分の情報も、一律にすべて圧縮されるため、伝送及び
蓄積が非効率的になるという問題があった。そこで、本
発明は、変化のない映像の圧縮を省略して映像の伝送及
び蓄積の効率の向上を可能にしたJPEGによる動画像符号
化方法を提案することを解決課題とした。SUMMARY OF THE INVENTION However, the conventional
In the case of a video transmission and video storage system using the JPEG method for surveillance use, all video in a frame is compressed. In other words, there is a problem that the information in the background portion where the change of the video hardly occurs is uniformly compressed, so that transmission and accumulation become inefficient. Accordingly, an object of the present invention is to propose a moving image encoding method using JPEG, which can improve the efficiency of video transmission and storage by omitting compression of a video that does not change.

【０００４】[0004]

【課題を解決するための手段】上記課題を解決するため
に、請求項１の発明は、符号化側においては、MCU毎に
独立して圧縮するために、各MCU符号データの最後にJPE
GリスタートコードRSTを挿入し、JPEGファイルヘッダ生
成部が、画像のサンプリング、フォーマット、量子化テ
ーブルやHuffmanテーブル等のヘッダを生成するととも
に、アプリケーションで利用できるAPP領域にJPEGファ
イル内の各MCUが位置するポインタ情報を書き込み、定
期的に画像をリフレッシュするリフレッシュフレームの
出力時に、全てのMCUを圧縮して、ヘッダ情報を含めたJ
PEGファイルを出力し、リフレッシュフレームの間のイ
ンターフレームの出力時に、MCU指定手段により指定さ
れたMCUを圧縮し、圧縮されたMCU番号とMCUデータとMCU
内符号量を出力し、復号化側においては、リフレッシュ
フレームのJPEGファイルが入力されるとJPEGデコーダで
復号化すると共にバッファ用メモリに蓄積し、次いで、
インターフレームのデータが入力されるとMCU番号と符
号量と符号データを読み出し、バッファリングしている
JPEGファイルのAPP領域のポインタを参照して、対応す
る全てのデータを入れ替えるとともに、自身のAPP領域
のポインタ情報を更新して、JPEGファイルを再構成した
後、JPEGデコーダにより復号化することを特徴とする。In order to solve the above-mentioned problem, according to the first aspect of the present invention, on the encoding side, JPE is added to the end of each MCU code data in order to independently compress each MCU.
G Restart code RST is inserted, and the JPEG file header generation unit generates headers such as image sampling, format, quantization table and Huffman table, and each MCU in the JPEG file is stored in the APP area that can be used by the application. When writing the pointer information that is located and outputting a refresh frame that periodically refreshes the image, all MCUs are compressed to include J
Outputs a PEG file, compresses the MCU specified by the MCU specifying means when outputting an inter-frame between refresh frames, and stores the compressed MCU number, MCU data, and MCU.
Outputs the inner code amount, and on the decoding side, when a JPEG file of a refresh frame is input, the JPEG file is decoded by a JPEG decoder and stored in a buffer memory,
When the inter-frame data is input, the MCU number, code amount, and code data are read and buffered.
Refers to the pointer of the APP area of the JPEG file, replaces all corresponding data, updates the pointer information of its own APP area, reconstructs the JPEG file, and then decodes it with the JPEG decoder And

【０００５】請求項２の発明は、符号化側においては、
JPEGファイルヘッダ生成部が、画像のサンプリング、フ
ォーマット、量子化テーブルやHuffmanテーブル等のヘ
ッダを生成し、先頭フレームの出力時には、全てのMCU
を圧縮し、MCUの符号データが収まる固定長領域を各MCU
に割当て各MCUの符号データを対応するMCU領域部に挿入
し、データの不足分についてはフィルバイトを挿入して
ヘッダ情報を含めたJPEGファイルを出力し、以降のフレ
ームの出力時には、MCU指定手段により指定されたMCUを
圧縮し、圧縮されたMCU番号とMCUデータとMCU内符号量
を出力し、復号化側においては、先頭フレームのJPEGフ
ァイルが入力されるとJPEGデコーダにより復号化すると
共にバッファ用メモリに蓄積し、次いで、以降のフレー
ムのデータが入力されるとMCU番号をもとにMCUポインタ
を計算しバッファリングされているJPEGファイルの対応
するMCUデータを入れ替えてJPEGファイルを再構成した
後、JPEGデコーダにより復号化することを特徴とする。According to a second aspect of the present invention, on the encoding side,
The JPEG file header generation unit generates image sampling, format, headers such as quantization tables and Huffman tables, and outputs all MCUs when the first frame is output.
And the fixed length area in which the code data of
Inserts the code data of each MCU into the corresponding MCU area, inserts fill bytes for missing data and outputs a JPEG file including header information.When outputting the subsequent frames, the MCU specification means Compresses the MCU specified by, outputs the compressed MCU number, MCU data, and the amount of code in the MCU.On the decoding side, when the JPEG file of the first frame is input, the JPEG file is decoded by the JPEG decoder and buffered. When the data of the subsequent frame is input, the MCU pointer is calculated based on the MCU number and the corresponding MCU data of the buffered JPEG file is replaced to reconstruct the JPEG file. Thereafter, decoding is performed by a JPEG decoder.

【０００６】請求項３の発明は、請求項１または２記載
の発明において、MCU指定手段は、カメラ設置時、注目
領域および背景領域を人手により指定することでMCUを
指定することを特徴とする。According to a third aspect of the present invention, in the first or second aspect, the MCU designating means designates the MCU by manually designating the attention area and the background area when the camera is installed. .

【０００７】請求項４の発明は、請求項１または２記載
の発明において、MCU指定手段は、MCU毎に前フレームか
らの画像変化を検出し、変化の検出されたMCUを指定す
ることを特徴とする。According to a fourth aspect of the present invention, in the first or second aspect, the MCU designating means detects a change in image from the previous frame for each MCU and designates the MCU in which the change has been detected. And

【０００８】請求項５の発明は、請求項２または４記載
の発明において、MCUの固定長サイズを予め通知しまた
は先頭フレームのAPP領域により通知するとともに、出
力側では先頭フレームへのフィルデータの挿入は行わず
にデコーダ側でフィルデータの挿入を行うことを特徴と
する。According to a fifth aspect of the present invention, in accordance with the second or fourth aspect of the present invention, the fixed length size of the MCU is notified in advance or is notified by an APP area of the first frame, and the output side is provided with the fill data of the first frame. It is characterized in that fill data is inserted on the decoder side without insertion.

【０００９】[0009]

【発明の実施の形態】以下、図に沿って本発明の実施形
態を説明する。図１は請求項１の発明の実施形態を示す
ブロック図である。カメラからなる撮像手段１から入力
された画像は、A/D変換手段２を経由してJPEG MCU符号
化部３へ入力される。MCU指定部６は、画面内の注目領
域および背景領域を指定するもので、JPEG MCU符号化部
３に対して、MCU単位で画像を圧縮する/しないの指示を
与える。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing an embodiment of the present invention. The image input from the imaging means 1 comprising a camera is input to the JPEG MCU encoding unit 3 via the A / D conversion means 2. The MCU designating unit 6 designates an attention area and a background area in the screen, and gives an instruction to the JPEG MCU encoding unit 3 whether or not to compress an image in MCU units.

【００１０】リフレッシュフレームストリーム生成部１
３におけるリフレッシュフレームの圧縮時は、JPEGヘッ
ダ生成部８により、画像のサンプリングやフォーマッ
ト、量子化テーブルやHuffmanテーブルなどのヘッダを
生成するとともに、各MCUの符号量から各MCUが配置され
るポインタを計算し、アプリケーションで利用できるAP
P領域に書き込み、ネットワークインターフェース９へ
送る。インターフレーム以降ストリーム生成部１４にお
けるインターフレームの圧縮時は、MCU指定部６により
指定されたMCUのみの圧縮を行い、圧縮したMCUの番号と
MCUデータとMCU内符号量とをユニット化してネットワー
クインターフェース９へ送る。すなわち、インターフレ
ームの送信データは、指定されたMCUデータのみが送信
される。Refresh frame stream generator 1
When the refresh frame is compressed in step 3, the JPEG header generation unit 8 generates a header such as an image sampling and format, a quantization table and a Huffman table, and determines a pointer in which each MCU is located based on the code amount of each MCU. APs that can be calculated and used in the application
Write to P area and send to network interface 9. When compressing an inter frame in the stream generation unit 14 after the inter frame, only the MCU specified by the MCU specifying unit 6 is compressed, and the number of the compressed MCU and
The MCU data and the code amount in the MCU are unitized and sent to the network interface 9. That is, only the specified MCU data is transmitted as the interframe transmission data.

【００１１】ネットワークインターフェース９は、圧縮
されたリフレッシュフレームおよびインターフレーム
を、伝送路上へ送信する。PC等の受信端末１５は、ネッ
トワークインターフェース１０にリフレッシュフレーム
を受信すると、一旦バッファメモリ１６に蓄積した後、
JPEGデコード部１２により再生される。同じく、インタ
ーフレームを受信すると、MCU入替え部１１が、MCU番号
をもとにJPEGヘッダAPPのMCUポインタを参照して、バッ
ファメモリ１６の対応するMCUを一旦削除して、受信し
たMCUを挿入する処理を行い、APP領域のMCUポインタを
更新する。フレーム内の全てのMCUを更新した後、JPEG
デコード部１２により再生される。The network interface 9 transmits the compressed refresh frame and the inter frame to the transmission path. When receiving the refresh frame on the network interface 10, the receiving terminal 15 such as a PC temporarily stores the refresh frame in the buffer memory 16,
The data is reproduced by the JPEG decoding unit 12. Similarly, upon receiving the inter frame, the MCU replacement unit 11 refers to the MCU pointer of the JPEG header APP based on the MCU number, temporarily deletes the corresponding MCU in the buffer memory 16, and inserts the received MCU. Performs processing and updates the MCU pointer in the APP area. After updating all MCUs in the frame, JPEG
The data is reproduced by the decoding unit 12.

【００１２】図２は、図１の実施形態で圧縮されて再生
される監視画像の一例を示すものである。図では、以後
の説明の簡略化のため、画面を上下に二分して、画面上
はビル・空等の背景領域、画面下は車が走行する道路を
注目領域として、MCUの指定をしたものである。すなわ
ち、画面上の画像は、常時伝送しないで一定周期でリフ
レッシュする。画面下の画像は、監視対象の領域として
MCUの指定をして、常に伝送するようにする。これらの
設定は、カメラの設置時に人手により行われ、その手段
が請求項２の発明に記載のMCU指定手段である。FIG. 2 shows an example of a monitoring image compressed and reproduced in the embodiment of FIG. In the figure, for simplicity of the following explanation, the screen is divided into upper and lower parts, and the MCU is specified with the background area such as buildings and sky on the screen as the attention area and the road where the car runs below the screen as the attention area. It is. That is, the image on the screen is refreshed at a constant cycle without being constantly transmitted. The image at the bottom of the screen is the area to be monitored
Specify the MCU and always transmit. These settings are manually performed when the camera is installed, and the means is the MCU specifying means according to the second aspect of the present invention.

【００１３】図３は、図２の画像の分離と合成のタイミ
ングを示す説明図である。○のタイミングはリフレッシ
ュフレームの出力される時刻を示し、△のタイミングは
インターフレームの出力される時刻を示す。リフレッシ
ュフレームの出力される時刻では、画面上部に位置する
ビル・空等の背景領域と、画面下部に位置する道路の注
目領域との両方を圧縮して送信し、インターフレームの
出力される時刻では、注目領域のみの送信を行う。これ
らを受信する受信側では受信したストリームを合成して
JPEGストリームを再構成する。FIG. 3 is an explanatory diagram showing the timing of separation and synthesis of the image of FIG. The timing of ○ indicates the time at which the refresh frame is output, and the timing of △ indicates the time at which the inter frame is output. At the time when the refresh frame is output, both the background area such as a building or sky located at the top of the screen and the attention area of the road located at the bottom of the screen are compressed and transmitted. , Only the attention area is transmitted. The receiving side that receives them synthesizes the received stream
Reconstruct the JPEG stream.

【００１４】図４は、図１の実施形態のJPEGストリーム
フォーマットを示す図である。SOI（Start of Image）
でJPEGファイルの始まりを示し、EOI（End of Image）
で終わりを示す。内部は、ヘッダと圧縮データ部により
構成される。ヘッダとして、APP（Reserved for APPli
cation Segments）、DHT（Define Huffman Table）、DQ
T（Define Quantization Table）、DRI（Define Restar
t Interval）、SOF（Start of Frame）、SOS（Start of
Scan）が定義される。続いて、圧縮データ部にMCUのデ
ータが順次配置される。各MCU符号データの最後には、M
CU毎に独立して圧縮するためのJPEGリスタートコードRS
Tが挿入されている。FIG. 4 is a diagram showing the JPEG stream format of the embodiment shown in FIG. SOI (Start of Image)
Indicates the beginning of the JPEG file, EOI (End of Image)
Indicates the end. The inside is composed of a header and a compressed data part. APP (Reserved for APPli)
cation segments), DHT (Define Huffman Table), DQ
T (Define Quantization Table), DRI (Define Restar
t Interval), SOF (Start of Frame), SOS (Start of Frame)
Scan) is defined. Subsequently, the data of the MCU is sequentially arranged in the compressed data section. At the end of each MCU code data, M
JPEG restart code RS for independent compression for each CU
T is inserted.

【００１５】また、ヘッダ部のAPP領域には、MCUポイン
タが定義され、各MCUのデータの位置を示している。MCU
は、符号化の最小単位であり、輝度および色差成分毎に
圧縮されている。各MCUのデータサイズは、対応する各
小領域画面の周波数成分により異なり、サイズは可変長
である。そこで、ヘッダのAPP領域にMCUポインタを定義
することにより、容易にMCUの位置を知るようにした。In the APP area of the header section, an MCU pointer is defined, and indicates a data position of each MCU. MCU
Is the minimum unit of encoding, and is compressed for each luminance and color difference component. The data size of each MCU differs depending on the frequency component of each corresponding small area screen, and the size is variable. Therefore, by defining an MCU pointer in the APP area of the header, the position of the MCU can be easily known.

【００１６】図５は、図１の実施形態において、圧縮デ
ータを受信して映像表示するデコーダ側の処理を示すフ
ローチャートである。リフレッシュフレームが受信され
ると（Ｓ１）、一旦JPEGストリームバッファ２０に蓄積
された後、JPEGデコーダでデコード処理され（Ｓ２）、
画像再生される（Ｓ３）。デコーダ端末は、パソコン等
で実現され、デコード処理は、ソフトウェアまたはハー
ドウェアで実現される。FIG. 5 is a flowchart showing processing on the decoder side for receiving compressed data and displaying an image in the embodiment of FIG. When a refresh frame is received (S1), it is temporarily stored in the JPEG stream buffer 20 and then decoded by a JPEG decoder (S2).
The image is reproduced (S3). The decoder terminal is realized by a personal computer or the like, and the decoding process is realized by software or hardware.

【００１７】インターフレームのデータは、注目領域の
みのMCUデータで構成され、各MCUデータはMCU番号・MCU
内符号量・MCUのデータがユニット化されている。その
ためインターフレームが受信されると（Ｓ４）、受信し
たユニット内のMCU番号により、蓄積済みJPEGストリー
ムバッファからMCUポインタを取り出し（Ｓ５）、次い
で、ポインタ情報をもとに対応するJPEGストリームバッ
ファのMCUを削除して、受信したMCUデータを挿入する
（Ｓ６）。以上の処理をインターフレームの全てのユニ
ットが終了するまで行い（Ｓ７Ｙｅｓ）、JPEGストリー
ムの更新を行う。更新されたJPEGストリームは、リフレ
ッシュフレームと同じデコーダでデコード処理され（Ｓ
２）、画像再生される（Ｓ３）。The data of the inter frame is composed of MCU data of only the region of interest, and each MCU data is composed of an MCU number and an MCU.
The inner code amount / MCU data is unitized. Therefore, when the inter frame is received (S4), the MCU pointer is taken out of the stored JPEG stream buffer by the MCU number in the received unit (S5), and then the MCU of the corresponding JPEG stream buffer is obtained based on the pointer information. Is deleted, and the received MCU data is inserted (S6). The above processing is performed until all the units of the inter frame are completed (S7 Yes), and the JPEG stream is updated. The updated JPEG stream is decoded by the same decoder as the refresh frame (S
2) The image is reproduced (S3).

【００１８】なお、図１の実施形態は、定期的なリフレ
ッシュフレームの処理により、フレーム内の全てを圧縮
するため、ビット誤り等が発生しても、次のリフレッシ
ュフレームからは正常に再生される。また、請求項３の
発明は、上述した構成において、カメラ設置時、注目領
域および背景領域のMCUを人手により指定して、リフレ
ッシュフレームの圧縮送信時には注目領域および背景領
域のMCUを送信し、インターフレームの圧縮送信時には
注目領域のみのMCUを送信するようにしたものである。
このため、従来例と比べた場合、同一の伝送レートでよ
り多くのフレーム数を表示することが可能となる。In the embodiment shown in FIG. 1, since all the frames in the frame are compressed by the processing of the periodic refresh frame, even if a bit error or the like occurs, the frame is normally reproduced from the next refresh frame. . Further, according to the third aspect of the present invention, when the camera is installed, the MCU of the attention area and the background area is manually designated when the camera is installed, and the MCU of the attention area and the background area is transmitted during the compression transmission of the refresh frame. When compressing and transmitting a frame, the MCU of only the region of interest is transmitted.
Therefore, as compared with the conventional example, it is possible to display a larger number of frames at the same transmission rate.

【００１９】図６は請求項２の発明の実施形態を示すブ
ロック図である。この実施形態は図１の実施形態に比べ
て、前フレームメモリ４、現フレームメモリ５、MCU変
化検出部７を追加したものであり、MCU変化検出部７か
らの検出情報がMCU指定部６に入力される。前フレーム
メモリ４には、前回圧縮した画面データが蓄積され、現
フレームメモリ５には現時刻に圧縮する画面データが蓄
積される。MCU変化検出部７は、前フレームと現フレー
ムの輝度および色差の変化を所定の閾値と比較する等の
処理により検出して、その検出結果をMCU指定部６へ送
る。FIG. 6 is a block diagram showing an embodiment of the second aspect of the present invention. This embodiment is different from the embodiment of FIG. 1 in that a previous frame memory 4, a current frame memory 5, and an MCU change detection unit 7 are added, and the detection information from the MCU change detection unit 7 is added to the MCU designation unit 6. Is entered. The previous frame memory 4 stores the previously compressed screen data, and the current frame memory 5 stores the screen data to be compressed at the current time. The MCU change detection unit 7 detects a change in luminance and color difference between the previous frame and the current frame by a process such as comparing with a predetermined threshold, and sends the detection result to the MCU designation unit 6.

【００２０】MCU指定部６は、JPEG MCU符号化部３に対
して、変化のあった画像をMCU単位で圧縮する指示を与
える。その結果、ストリーム生成部１３は、初回に全画
像のMCUについて圧縮をし、次回からは、変化のあった
部分の画像のMCUだけを圧縮して送る。また、受信端末
１５は、最初に送られた画像データをバッファメモリ１
６に蓄えた後、次に送られた変化のあった画像部分だ
け、MCU入替え部１１が画像データを入替えるようにし
たものである。The MCU designating unit 6 gives an instruction to the JPEG MCU encoding unit 3 to compress the changed image in MCU units. As a result, the stream generation unit 13 compresses the MCUs of all the images for the first time, and then compresses and sends only the MCUs of the changed image from the next time. The receiving terminal 15 stores the first sent image data in the buffer memory 1.
After the data is stored in the memory 6, the MCU replacement unit 11 replaces the image data only in the changed image portion transmitted next.

【００２１】このように、請求項２の発明は、前回圧縮
した画面と現時刻の圧縮する画面をフレームメモリに蓄
積し、対応するMCUの変化を検出して、変化検出されたM
CUのみ圧縮伝送し、デコーダ側でJPEGストリームを再構
成する。その結果、監視用の映像のように、フレーム間
の変化が極端に小さい用途では、伝送効率をより一層向
上することが可能となる。As described above, according to the second aspect of the present invention, the previously-compressed screen and the current-compressed screen are stored in the frame memory, and a change in the corresponding MCU is detected.
Only the CU is compressed and transmitted, and the JPEG stream is reconstructed on the decoder side. As a result, in applications where the change between frames is extremely small, such as monitoring video, the transmission efficiency can be further improved.

【００２２】図７は図６の実施形態のJPEGストリームフ
ォーマットを示す図である。図４と異なるところは、JP
EGヘッダのAPP領域にMCUポインタの定義がないことと、
また、各MCUのサイズはMCUの符号データが必ず収まる固
定長領域を各MCUに割当て、データの不足部分について
はフィルバイトとしていることである。ネットワーク上
へ送信するデータは、1stフレームでは図７のJPEGスト
リームフォーマットで全MCUのデータを送信し、2ndフレ
ーム以降は指定されたMCUデータのみを送信する。2ndフ
レーム以降のMCUデータにはフィルデータは含まず、受
信側でフィルデータを挿入するものとする。FIG. 7 is a diagram showing the JPEG stream format of the embodiment of FIG. The difference from Fig. 4 is JP
That no MCU pointer is defined in the APP area of the EG header,
The size of each MCU is such that a fixed-length area in which the code data of the MCU always fits is allocated to each MCU, and a lack portion of data is filled with fill bytes. In the data to be transmitted on the network, the data of all the MCUs is transmitted in the JPEG stream format shown in FIG. 7 in the first frame, and only the specified MCU data is transmitted in the second and subsequent frames. The fill data is not included in the MCU data of the second and subsequent frames, and the fill data is inserted on the receiving side.

【００２３】ここで、1stフレームは、図７のJPEGスト
リームフォーマットでフィルデータも含めた送信となる
が、1stフレーム送信前にエンコーダ・デコーダ間でネ
ゴシエーションすることにより、1stフレームのフィル
データの送信を不要として、MCUデータのみの送信を行
い、デコーダ側でフィルデータを挿入することも可能で
ある。Here, the first frame is transmitted in the JPEG stream format shown in FIG. 7 including the fill data. By transmitting a negotiation between the encoder and the decoder before transmitting the first frame, the transmission of the first frame fill data is performed. As unnecessary, it is also possible to transmit only MCU data and insert fill data on the decoder side.

【００２４】2ndフレーム以降のデータは、2ndフレーム
であることを示すフレームスタートコードの後、指定さ
れたMCUデータが続き、最後にフレームの終了コードで
構成される。MCUデータはMCUの番号とMCU符号データ・M
CU内符号量で構成される。JPEGストリームバッファの各
MCUが固定長であることから、受信したMCU番号でJPEGス
トリームバッファの更新位置が判別できる。The data after the second frame is composed of a frame start code indicating the second frame, followed by designated MCU data, and finally includes a frame end code. MCU data is the MCU number and MCU code data
It consists of the code amount in CU. Each of the JPEG stream buffers
Since the MCU has a fixed length, the update position of the JPEG stream buffer can be determined from the received MCU number.

【００２５】図８は、図６の実施形態において、圧縮デ
ータを受信して映像表示するデコーダ側の処理を示すフ
ローチャートである。1stフレームを受信すると（Ｓ１
１）、JPEGストリームバッファ２０に格納された後、JP
EGデコーダでデコード処理される（Ｓ１２）。2ndフレ
ームが受信されると（Ｓ１４）、受信したMCU番号でJPE
Gストリームバッファの更新位置を判別して、対応する
位置のMCUデータを書き替える（Ｓ１５）。このときデ
ータの不足部分はフィルデータとする。MCUの入替え処
理をフレームの最後まで行うと（Ｓ１６Ｙｅｓ）、JPEG
ストリームの更新が終了し、JPEGデコーダでデコード処
理が行われ（Ｓ１２）、画像再生される（Ｓ１３）。FIG. 8 is a flowchart showing processing on the decoder side for receiving compressed data and displaying an image in the embodiment of FIG. When the first frame is received (S1
1) After being stored in the JPEG stream buffer 20, JP
The decoding process is performed by the EG decoder (S12). When the second frame is received (S14), JPE is performed using the received MCU number.
The update position of the G stream buffer is determined, and the MCU data at the corresponding position is rewritten (S15). At this time, the missing part of the data is assumed to be fill data. When the MCU replacement processing is performed up to the end of the frame (S16 Yes), the JPEG
After the updating of the stream is completed, decoding processing is performed by the JPEG decoder (S12), and the image is reproduced (S13).

【００２６】図９は、図６の実施形態において、フレー
ム間で画像が変化した場合のMCUの検出例を示す図であ
る。図では、左から右に自動車が動いている例であり、
画面上の小さい区画がMCUを表し、フレーム間で違いの
あるMCUを色付けしている。MCUの検出手段は、輝度およ
び色差のフレーム間の差分を所定の閾値と比較すること
により実現できる。この場合、送信されるMCUは色付け
した領域となる。なお、輝度および色差のフレーム間の
差分を所定の閾値と比較することによりMCUの変化を検
出する手段が、請求項４の発明のMCU指定手段に相当す
る。FIG. 9 is a diagram showing an example of MCU detection when an image changes between frames in the embodiment of FIG. In the figure, the car is moving from left to right,
The small section on the screen represents the MCU, and the MCUs that differ between frames are colored. The detecting means of the MCU can be realized by comparing the difference between the luminance and color difference frames with a predetermined threshold value. In this case, the MCU to be transmitted is a colored area. The means for detecting a change in the MCU by comparing the difference between the luminance and chrominance frames with a predetermined threshold value corresponds to the MCU specifying means of the invention.

【００２７】図１の実施形態と図６の実施形態を比較し
てみると、図１の実施形態では、ストリームフォーマッ
トから、APP領域のMCUポインタによりMCUの位置を判別
し、書き替え処理を行うが、この書き替えは、対応する
MCUデータを書き替えた後、以降のデータをファイル内
でシフトする必要があり、シフト処理とポインタの書き
替えが発生して、処理の負担増となる。これに対して、
図６の実施形態の場合、対応するMCUのみの書き替えで
すみ、以降のデータには影響を与えないため、デコーダ
側の処理が軽減できる利点がある。Comparing the embodiment of FIG. 1 with the embodiment of FIG. 6, in the embodiment of FIG. 1, the position of the MCU is determined from the stream format by the MCU pointer in the APP area, and the rewriting process is performed. But this rewrite corresponds
After rewriting the MCU data, it is necessary to shift the subsequent data in the file, and the shift processing and the rewriting of the pointer occur, which increases the processing load. On the contrary,
In the case of the embodiment of FIG. 6, only the corresponding MCU needs to be rewritten, and the subsequent data is not affected. Therefore, there is an advantage that the processing on the decoder side can be reduced.

【００２８】[0028]

【発明の効果】以上述べたように、本発明を伝送システ
ムに用いた場合、インターフレームまたは2ndフレーム
以降の送信データは、予め指定されたMCU、またはフレ
ーム間の変化を検出したMCUのみを送信して、デコーダ
側でJPEGストリームを再構成して、デコード処理する。
このため、ネットワーク回線上には、背景または動きの
少ない部分のデータが削減され、注目領域または画面内
の変化を検出した領域のデータがより多く送出されるこ
とになる。As described above, when the present invention is used in a transmission system, the transmission data of the inter-frame or the second frame or later is transmitted only to the MCU specified in advance or the MCU that detects a change between frames. Then, the JPEG stream is reconstructed and decoded on the decoder side.
For this reason, the data of the background or the portion with little motion is reduced on the network line, and the data of the attention area or the area in which the change in the screen is detected is transmitted more.

【００２９】それにより、同一の回線レートでは、より
多くのフレームデータを送信することが可能となり、１
秒間に表示するフレーム枚数が増えることになる。ま
た、同一の回線レートで、同一のフレーム枚数である場
合、圧縮レートによる画質を向上することが可能にな
る。上記効果は、伝送システムを対象に記載している
が、蓄積メディアを対象とすると、画像１枚あたりの蓄
積容量が削減され、同じ容量のメディアに対しては、よ
り多くの画像の蓄積が可能になる。As a result, it is possible to transmit more frame data at the same line rate.
The number of frames displayed per second increases. Further, in the case of the same line rate and the same number of frames, it is possible to improve the image quality by the compression rate. The above effects are described for transmission systems. However, for storage media, the storage capacity per image is reduced and more images can be stored on media of the same capacity. become.

【図面の簡単な説明】[Brief description of the drawings]

【図１】請求項１の発明の実施形態を示すブロック図で
ある。FIG. 1 is a block diagram showing an embodiment of the present invention.

【図２】図１の実施形態で圧縮・再生される監視画像の
一例を示す。FIG. 2 shows an example of a monitoring image compressed and reproduced in the embodiment of FIG.

【図３】図２の画像の分離と合成のタイミングを示す説
明図である。FIG. 3 is an explanatory diagram showing timings of separation and synthesis of the image in FIG. 2;

【図４】図１の実施形態のJPEGストリームフォーマット
を示す図である。FIG. 4 is a diagram showing a JPEG stream format of the embodiment of FIG.

【図５】図１の実施形態のデコーダ側の処理を示すフロ
ーチャートである。FIG. 5 is a flowchart showing processing on the decoder side in the embodiment of FIG. 1;

【図６】請求項３の発明の実施形態を示すブロック図で
ある。FIG. 6 is a block diagram showing an embodiment of the third invention.

【図７】図６の実施形態のJPEGストリームフォーマット
を示す図である。FIG. 7 is a diagram showing a JPEG stream format of the embodiment in FIG. 6;

【図８】図６の実施形態のデコーダ側の処理を示すフロ
ーチャートである。FIG. 8 is a flowchart showing processing on the decoder side in the embodiment of FIG. 6;

【図９】図６の実施形態のMCUの検出例を示す図であ
る。FIG. 9 is a diagram illustrating an example of detection of an MCU according to the embodiment of FIG. 6;

【図１０】従来例を示すブロック図である。FIG. 10 is a block diagram showing a conventional example.

【符号の説明】[Explanation of symbols]

１ 撮像手段 ２ A/D変換手段 ３ JPEG MCU符号化部 ４ 前フレームメモリ ５ 現フレームメモリ ６ MCU指定部 ７ MCU変化検出部 ８ JPEGヘッダ生成部 ９，１０ ネットワークインターフェース １１ MCU入替え部 １３，１４ ストリーム生成部 １５ 受信端末 １６ バッファメモリ DESCRIPTION OF SYMBOLS 1 Imaging means 2 A / D conversion means 3 JPEG MCU encoding part 4 Previous frame memory 5 Current frame memory 6 MCU designation part 7 MCU change detection part 8 JPEG header generation part 9, 10 Network interface 11 MCU replacement part 13, 14 Stream Generation unit 15 Receiving terminal 16 Buffer memory

Claims (5)

【特許請求の範囲】[Claims] 【請求項１】 符号化側においては、 最小符号化単位MCU（Minimum Coded Unit）毎に独立し
て圧縮するために、各MCU符号データの最後にJPEGリス
タートコードRSTを挿入し、 JPEGファイルヘッダ生成部が、画像のサンプリング、フ
ォーマット、量子化テーブルやHuffmanテーブル等のヘ
ッダを生成するとともに、アプリケーションで利用でき
るAPP領域にJPEGファイル内の各MCUが位置するポインタ
情報を書き込み、 定期的に画像をリフレッシュするリフレッシュフレーム
の出力時に、全てのMCUを圧縮して、ヘッダ情報を含め
たJPEGファイルを出力し、 リフレッシュフレームの間のインターフレームの出力時
に、MCU指定手段により指定されたMCUを圧縮し、圧縮さ
れたMCU番号とMCUデータとMCU内符号量を出力し、 復号化側においては、 リフレッシュフレームのJPEGファイルが入力されるとJP
EGデコーダで復号化すると共にバッファ用メモリに蓄積
し、 次いで、インターフレームのデータが入力されるとMCU
番号と符号量と符号データとを読み出し、バッファリン
グしているJPEGファイルのAPP領域のポインタを参照し
て、対応する全てのデータを入れ替えるとともに、自身
のAPP領域のポインタ情報を更新して、JPEGファイルを
再構成した後、JPEGデコーダにより復号化する、 ことを特徴とするJPEGによる動画像符号化方法。1. On the encoding side, a JPEG restart code RST is inserted at the end of each MCU coded data in order to compress independently for each minimum coded unit MCU (Minimum Coded Unit). The generation unit generates image sampling, format, headers such as quantization tables and Huffman tables, and also writes pointer information for each MCU in the JPEG file in the APP area that can be used by the application, and periodically generates images. When outputting a refresh frame to be refreshed, all the MCUs are compressed and a JPEG file including header information is output. The compressed MCU number, MCU data, and the amount of code in the MCU are output. On the decoding side, the JPEG file of the refresh frame is output. JP is entered when the file is entered
The data is decoded by the EG decoder and stored in the buffer memory.
The number, the code amount, and the code data are read out, referring to the pointer of the APP area of the buffered JPEG file, all the corresponding data are replaced, and the pointer information of the own APP area is updated, and the JPEG file is updated. A moving image encoding method using JPEG, wherein a file is reconstructed and then decoded by a JPEG decoder. 【請求項２】 符号化側においては、 JPEGファイルヘッダ生成部が、画像のサンプリング、フ
ォーマット、量子化テーブルやHuffmanテーブル等のヘ
ッダを生成し、 先頭フレームの出力時には、全てのMCUを圧縮し、MCUの
符号データが収まる固定長領域を各MCUに割当て各MCUの
符号データを対応するMCU領域部に挿入し、データの不
足分についてはフィルバイトを挿入してヘッダ情報を含
めたJPEGファイルを出力し、 以降のフレームの出力時には、MCU指定手段により指定
されたMCUを圧縮し、圧縮されたMCU番号とMCUデータとM
CU内符号量を出力し、 復号化側においては、 先頭フレームのJPEGファイルが入力されるとJPEGデコー
ダにより復号化すると共にバッファ用メモリに蓄積し、 次いで、以降のフレームのデータが入力されるとMCU番
号をもとにMCUポインタを計算しバッファリングされて
いるJPEGファイルの対応するMCUデータを入れ替えてJPE
Gファイルを再構成した後、JPEGデコーダにより復号化
する、 ことを特徴とするJPEGによる動画像符号化方法。2. On the encoding side, a JPEG file header generation unit generates headers such as an image sampling and format, a quantization table and a Huffman table, and compresses all MCUs when outputting the first frame. Allocate a fixed length area to accommodate the MCU's code data to each MCU, insert the code data of each MCU into the corresponding MCU area, insert fill bytes for data shortage, and output a JPEG file including header information However, when outputting subsequent frames, the MCU specified by the MCU specifying means is compressed, and the compressed MCU number, MCU data, and M
Outputs the amount of code in the CU, and on the decoding side, when the JPEG file of the first frame is input, it is decoded by the JPEG decoder and stored in the buffer memory. Calculates the MCU pointer based on the MCU number and replaces the corresponding MCU data in the buffered JPEG file with JPE
A moving image encoding method using JPEG, wherein a G file is reconstructed and then decoded by a JPEG decoder. 【請求項３】 請求項１または２記載の動画像符号化方
法において、 MCU指定手段は、カメラ設置時、注目領域および背景領
域を人手により指定することでMCUを指定することを特
徴とするJPEGによる動画像符号化方法。3. The JPEG encoding method according to claim 1, wherein the MCU designation means designates the MCU by manually designating the attention area and the background area when the camera is installed. Moving image encoding method according to the present invention. 【請求項４】 請求項１または２記載の動画像符号化方
法において、 MCU指定手段は、MCU毎に前フレームからの画像変化を検
出し、変化の検出されたMCUを指定することを特徴とす
るJPEGによる動画像符号化方法。4. The moving picture coding method according to claim 1, wherein the MCU designating means detects a picture change from a previous frame for each MCU, and designates the detected MCU. Video encoding method using JPEG. 【請求項５】 請求項２または４記載の動画像符号化方
法において、 MCUの固定長サイズを予め通知しまたは先頭フレームのA
PP領域により通知するとともに、出力側では先頭フレー
ムへのフィルデータの挿入は行わずにデコーダ側でフィ
ルデータの挿入を行うことを特徴とするJPEGによる動画
像符号化方法。5. The moving picture coding method according to claim 2, wherein the fixed length size of the MCU is notified in advance or A of the first frame is notified.
A moving image encoding method using JPEG, in which a notification is made by a PP area and fill data is inserted on the decoder side without inserting fill data into the first frame on the output side.