JP4845869B2 - Image output apparatus, computer program, and image output method - Google Patents

Image output apparatus, computer program, and image output method Download PDF

Info

Publication number
JP4845869B2
JP4845869B2 JP2007334922A JP2007334922A JP4845869B2 JP 4845869 B2 JP4845869 B2 JP 4845869B2 JP 2007334922 A JP2007334922 A JP 2007334922A JP 2007334922 A JP2007334922 A JP 2007334922A JP 4845869 B2 JP4845869 B2 JP 4845869B2
Authority
JP
Japan
Prior art keywords
image data
output
compressed
image
compression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007334922A
Other languages
Japanese (ja)
Other versions
JP2009159288A (en
Inventor
政史 中尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eizo Nanao Corp
Original Assignee
Eizo Nanao Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eizo Nanao Corp filed Critical Eizo Nanao Corp
Priority to JP2007334922A priority Critical patent/JP4845869B2/en
Publication of JP2009159288A publication Critical patent/JP2009159288A/en
Application granted granted Critical
Publication of JP4845869B2 publication Critical patent/JP4845869B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、画像データを圧縮して出力する画像出力装置に関し、特に、伝送帯域が制限されている場合でも遅延及び画質の劣化を低減させることができる画像出力装置、コンピュータプログラム及び画像出力方法に関する。   The present invention relates to an image output apparatus that compresses and outputs image data, and more particularly to an image output apparatus, a computer program, and an image output method capable of reducing delay and image quality degradation even when a transmission band is limited. .

コンピュータ装置の処理能力の向上及びネットワーク環境の整備により、動画像データの送受信が様々な場面で行なわれている。しかしながら、無線通信技術を利用して画像データを送受信する場合等、伝送帯域が制限される場合がある。したがって、画像データを圧縮してデータ量をでき得る限り抑えることが望ましいが、画質の向上とデータ量の抑制とはトレードオフの関係にある。   With the improvement of the processing capability of computer devices and the improvement of the network environment, transmission / reception of moving image data is performed in various situations. However, there are cases where the transmission band is limited, such as when image data is transmitted and received using wireless communication technology. Therefore, it is desirable to reduce the amount of data by compressing image data as much as possible, but there is a trade-off between improving image quality and reducing the amount of data.

ＭＰＥＧ、Ｈ．２６４等の動画像のフレーム間予測を利用した符号化技術では、符号化後のデータ量を抑えつつ高画質を実現する技術が種々提案されている。   MPEG, H.M. Various encoding techniques using inter-frame prediction of moving images such as H.264 have been proposed for realizing high image quality while suppressing the amount of data after encoding.

また、テレビ会議のために画像データを送受信する場合、遠隔の装置の操作画面を画像データとして送受信する場合、シンクライアントの画面を画像データとして送受信する場合等、画像の内容によっては、即時性が厳格に求められる場合がある。この場合、ＭＰＥＧ、Ｈ．２６４等の動画像データでは即時性が不足する可能性があるので、静止画の符号化技術であるＪＰＥＧにより各画像データを圧縮して順次送信するMotion-JPEGの技術を利用して実現される例がある。   Depending on the content of the image, such as when transmitting and receiving image data for a video conference, when transmitting and receiving an operation screen of a remote device as image data, when transmitting and receiving a thin client screen as image data, etc. May be strictly required. In this case, MPEG, H.264. Since moving image data such as H.264 may lack immediacy, it is realized by using the Motion-JPEG technology that compresses each image data by JPEG, which is a still image encoding technology, and sequentially transmits the data. There is an example.

Motion-JPEGを利用して実現する場合、画像データは各フレーム又はフィールド毎に個別に符号化されるので、データ量は各画像の内容によって様々となる可能性がある。十分な伝送帯域が確保された理想的な状態では、各画像データはそのデータ量の多少によらずフレームレートと同様の速度で送信が完了し、遅延が生じない。しかしながら、伝送帯域が制限されている場合、データ量が多い画像は１フレーム分の時間内に送信が完了せず、遅延が生じる。    When realizing using Motion-JPEG, the image data is individually encoded for each frame or field, so the amount of data may vary depending on the content of each image. In an ideal state in which a sufficient transmission band is secured, transmission of each image data is completed at the same speed as the frame rate regardless of the amount of data, and no delay occurs. However, when the transmission band is limited, transmission of an image with a large amount of data is not completed within a time corresponding to one frame, causing a delay.

これに対し、動画像データの符号化に関し、伝送帯域が制限されている場合には間引き（駒落とし）を行なうことにより、送信が完了するまでの間に送信待ちのバッファに記憶されている画像データのデータ量が所定の上限を超えないように制御する技術が開示されている。   On the other hand, with regard to encoding of moving image data, when the transmission band is limited, by performing thinning (frame dropping), images stored in a buffer waiting for transmission until transmission is completed. A technique for controlling the amount of data so as not to exceed a predetermined upper limit is disclosed.

特許文献１には、データ量を抑えつつも滑らかな表示を実現することができる技術が開示されている。この技術では、動画像データを符号化して出力するに際し、一旦符号化後の画像データをバッファに保持してバッファから符号化画像データを読み出して出力する構成とする。そして、バッファの残存データ量に応じて符号化する画像データを間引きする処理（コマ落とし）の開始及び停止を制御するが、残存データ量に対して上限値と上限値よりも少ない目標値とを設定することにより、間引きの処理の開始と停止とが頻繁に繰り返され、動画像データを再生した際の滑らかさが失われることを回避させる。   Patent Document 1 discloses a technique that can realize smooth display while suppressing the amount of data. In this technology, when moving image data is encoded and output, the encoded image data is once held in a buffer, and the encoded image data is read from the buffer and output. Then, the start and stop of the process (frame dropping) for thinning out the image data to be encoded according to the remaining data amount of the buffer is controlled. An upper limit value and a target value smaller than the upper limit value are set for the remaining data amount. By setting, the start and stop of the thinning process are frequently repeated, and it is possible to avoid the loss of smoothness when moving image data is reproduced.

特許文献２には、フレーム毎の圧縮の際の量子化ステップ幅を参照して符号化したフレーム画像の画質を評価し、高画質で符号化した場合には以降の符号化時に間引き数を増加させることによってデータ量を抑えつつ、画質に応じてフレームレートを適宜変化させて動きの滑らかさを保つ技術が開示されている。
特開平３−２５０８８４号公報 特開平９−２６１６３８号公報 In Patent Document 2, the image quality of a frame image encoded with reference to a quantization step width at the time of compression for each frame is evaluated, and when the image is encoded with high image quality, the number of thinnings is increased during subsequent encoding. Thus, there is disclosed a technique for keeping the smoothness of movement by appropriately changing the frame rate according to the image quality while suppressing the data amount.
Japanese Patent Laid-Open No. 3-250884 JP-A-9-261638

特許文献１に開示されている技術により、頻繁に間引きが行なわれることを回避して滑らかな表示を実現することができる。しかしながら、伝送バッファの残存データ量に応じて間引きを実行するか否かを判断し、一連の動画像の滑らかさとしての画質が劣化することを回避する構成であり、フレーム毎の画質については考慮されていない。   With the technique disclosed in Patent Document 1, it is possible to avoid a frequent thinning out and realize a smooth display. However, it is a configuration that determines whether or not to perform thinning according to the amount of remaining data in the transmission buffer, and avoids deterioration of the image quality as the smoothness of a series of moving images. It has not been.

特許文献２に開示されている技術により、データ量を抑えることができる。しかしながら、別のフレーム（前のフレーム）の画質に応じて後のフレームの間引きを実行するか否かを判断するので、フレーム毎の画像データの画質を考慮した最適な間引き処理は困難である。   The amount of data can be suppressed by the technique disclosed in Patent Document 2. However, since it is determined whether to perform thinning out of the subsequent frame according to the image quality of another frame (previous frame), it is difficult to perform optimal thinning processing in consideration of the image quality of the image data for each frame.

本発明は斯かる事情に鑑みてなされたものであり、時系列に取得される画像データを圧縮して順次出力するに際し、出力中の圧縮画像データの画質が所定の画質を満たすまでは出力を続行する構成とすることにより、伝送帯域が制限されている場合であっても遅延及び画質の劣化を低減させることができる画像出力装置、コンピュータ装置を前記画像出力装置として機能させるコンピュータプログラム及び画像出力方法を提供することを目的とする。   The present invention has been made in view of such circumstances, and when compressing and sequentially outputting image data acquired in time series, output is performed until the image quality of the compressed image data being output satisfies a predetermined image quality. An image output apparatus capable of reducing delay and deterioration in image quality even when the transmission band is limited, and a computer program for causing a computer apparatus to function as the image output apparatus and image output It aims to provide a method.

本発明の他の目的は、一の画像データの圧縮画像データの画質を維持するために出力を続行する場合、出力タイミングが待機させられることとなる後の画像データの圧縮画像データを破棄して間引く構成とすることにより、遅延及び画質の劣化を低減させることができる画像出力装置を提供することにある。   Another object of the present invention is to discard the compressed image data of the image data after the output timing will be waited when the output is continued in order to maintain the image quality of the compressed image data of one image data. An object of the present invention is to provide an image output apparatus capable of reducing delay and deterioration of image quality by adopting a thinning configuration.

また本発明の他の目的は、一の画像データの圧縮画像データの画質を維持するために出力を続行する場合であっても、続行期間に上限を設ける構成とすることにより、過度に遅延、又は後の画像データの間引きが行なわれないように制御して遅延及び画質の劣化を低減させることができる画像出力装置を提供することにある。   In addition, another object of the present invention is to excessively delay by providing an upper limit in the continuation period even when output is continued to maintain the image quality of the compressed image data of one image data. Another object of the present invention is to provide an image output apparatus capable of reducing delay and deterioration of image quality by controlling so that subsequent image data is not thinned out.

本発明の他の目的は、更に、前の画像データとの差分画像を圧縮する構成とすることにより、データ量を更に抑えて遅延及び画質の劣化を低減させることができる画像出力装置を提供することにある。   Another object of the present invention is to provide an image output apparatus capable of further reducing the amount of data and reducing delay and deterioration of image quality by adopting a configuration for compressing a difference image from previous image data. There is.

本発明の他の目的は、前の画像データとの差分量の多少又は間引きの有無若しくは間引き数に応じて、差分画像データを圧縮して出力するか否かを選択する構成とすることにより、データ量を適切に抑えて遅延及び画質の劣化を低減させることができる画像出力装置を提供することにある。   Another object of the present invention is to select whether or not to compress and output the difference image data according to the amount of difference from the previous image data, the presence or absence of thinning, or the number of thinnings. An object of the present invention is to provide an image output apparatus capable of appropriately suppressing the amount of data and reducing delay and deterioration of image quality.

本発明の他の目的は、一連の処理を分割された複数の画像データ毎に個別に行なう構成とすることにより、効率的に遅延及び画質の劣化を低減させることができる画像出力装置を提供することにある。   Another object of the present invention is to provide an image output apparatus capable of efficiently reducing delay and image quality deterioration by adopting a configuration in which a series of processing is individually performed for each of a plurality of divided image data. There is.

本発明の他の目的は、画像データの圧縮には階層符号化を利用する構成とすることにより、出力するデータ量を抑えつつ画質を維持し、遅延及び画質の劣化を低減させることができる画像出力装置を提供することにある。   Another object of the present invention is to use a hierarchical coding for compressing image data, thereby maintaining image quality while reducing the amount of data to be output, and reducing delay and deterioration in image quality. To provide an output device.

第１発明に係る画像出力装置は、時系列に画像データを取得する手段と、階層符号化方式を利用して画像データを圧縮する圧縮手段と、該圧縮手段が圧縮した圧縮画像データを順次出力する手段とを備える画像出力装置において、圧縮画像データの出力の開始及び終了を制御する出力制御手段と、出力中の一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化する否かを判断する判断手段と、前記一の画像データの圧縮画像データを出力中に後の画像データの圧縮画像データを出力すべきタイミングが到来するか否かを判断する手段とを備え、前記出力制御手段は、後の画像データの圧縮画像データを出力すべきタイミングが到来すると判断した場合に、前記判断手段が出力中の前記一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化すると判断したとき、前記一の画像データの圧縮画像データの出力を続行するようにしてあり、後の画像データの圧縮画像データを出力すべきタイミングが到来すると判断した場合に、前記判断手段が出力中の前記一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化しないと判断したとき、前記一の画像データの圧縮画像データの出力を終了するようにしてあることを特徴とする。
An image output apparatus according to a first aspect of the present invention sequentially outputs means for acquiring image data in time series, compression means for compressing image data using a hierarchical encoding method, and compressed image data compressed by the compression means. An output control means for controlling the start and end of output of compressed image data, and the compressed image data of one image data being output and the one image data before compression are compared. And determining means for determining whether or not the image quality deteriorated by the compression is deteriorated from the predetermined image quality, and outputting the compressed image data of the subsequent image data while outputting the compressed image data of the one image data Means for determining whether or not timing has arrived, and when the output control means determines that the timing for outputting compressed image data of subsequent image data has arrived, When the means determines that the image quality deteriorated by the compression is deteriorated from the predetermined image quality by comparing the compressed image data of the one image data being output and the one image data before compression. When the output of the compressed image data of the data is continued and it is determined that the timing to output the compressed image data of the subsequent image data has arrived, the determination means compresses the one image data being output Comparing the image data with the one image data before compression, when it is determined that the image quality deteriorated by the compression does not deteriorate below a predetermined image quality, the output of the compressed image data of the one image data is terminated. It is characterized by that.

第２発明に係る画像出力装置は、前記出力制御手段は、前記後の画像データの圧縮画像データを出力すべきタイミングの経過後、前記判断手段が出力中の前記一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化しないと判断した時点で前記一の画像データの圧縮画像データの出力を終了し、前記後の画像データの圧縮画像データの出力を開始するようにしてあることを特徴とする。
In the image output apparatus according to a second aspect of the present invention, the output control means is a compressed image data of the one image data that is being output by the judging means after the timing at which the compressed image data of the subsequent image data should be output. The output of the compressed image data of the one image data is terminated when it is determined that the image quality deteriorated by the compression does not deteriorate below a predetermined image quality by comparing the image data before compression and the one image data before compression. The output of the compressed image data of the image data is started.

第３発明に係る画像出力装置は、前記出力制御手段は、前記一の画像データの圧縮画像データの出力を続行する場合、前記後の画像データの圧縮画像データを破棄するようにしてあることを特徴とする。   In the image output apparatus according to a third aspect of the invention, the output control means discards the compressed image data of the subsequent image data when continuing to output the compressed image data of the one image data. Features.

第４発明に係る画像出力装置は、前記出力制御手段は、前記一の画像データの圧縮画像データの出力を続行する場合、前記後の画像データよりも更に後の画像データの圧縮画像データを出力すべきタイミングまでに前記一の画像データの圧縮画像データの出力を終了しないとき、前記一の画像データよりも後であって且つ前記更に後の画像データよりも前の画像データの圧縮画像データを破棄するようにしてあることを特徴とする。   In the image output device according to a fourth aspect of the present invention, when the output control means continues to output the compressed image data of the one image data, it outputs the compressed image data of the image data further after the subsequent image data. When the output of the compressed image data of the one image data is not finished by the timing to be performed, the compressed image data of the image data which is after the one image data and before the further image data is obtained. It is characterized by being discarded.

第５発明に係る画像出力装置は、前記出力制御手段は、前記一の画像データの圧縮画像データの出力を続行した場合、前記一の画像データの圧縮画像データの出力タイミングから所定時間が経過するまでに前記判断手段が出力中の前記一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化すると判断したとき、前記一の画像データの圧縮画像データの出力を終了するようにしてあることを特徴とする。
In the image output device according to a fifth aspect of the present invention, when the output control means continues to output the compressed image data of the one image data, a predetermined time elapses from the output timing of the compressed image data of the one image data. By comparing the compressed image data of the one image data being output and the one image data before compression by the determination means , it is determined that the image quality deteriorated by the compression is deteriorated from the predetermined image quality . In this case, the output of the compressed image data of the one image data is terminated.

第６発明に係る画像出力装置は、画像データを複数に分割する手段を備え、前記圧縮手段は分割された画像データ夫々を圧縮するようにしてあり、前記出力制御手段は、画像データ夫々の圧縮画像データの出力の開始及び終了を制御するようにしてあることを特徴とする。
An image output apparatus according to a sixth aspect of the invention comprises means for dividing image data into a plurality of parts, the compression means compresses each of the divided image data, and the output control means compresses each of the image data. The start and end of image data output are controlled.

第７発明に係る画像出力装置は、前記圧縮手段が圧縮した圧縮画像データを夫々、一旦記憶する圧縮画像記憶手段を備え、前記出力制御手段は、圧縮画像データを出力させるに際し、前記圧縮画像記憶手段に記憶される圧縮画像データの内の、既に出力済み分の圧縮画像データからの差分量がより多い圧縮画像データを優先的に出力する手段を備えることを特徴とする。
An image output apparatus according to a seventh aspect of the invention comprises compressed image storage means for temporarily storing the compressed image data compressed by the compression means, and the output control means stores the compressed image data when outputting the compressed image data. Means for preferentially outputting compressed image data having a larger difference amount from the compressed image data already output among the compressed image data stored in the means.

第８発明に係る画像出力装置は、前記圧縮手段は、プログレッシブＪＰＥＧ又はＪＰＥＧ２０００における符号化方法を利用して画像を圧縮するようにしてあることを特徴とする。
An image output apparatus according to an eighth invention is characterized in that the compression means compresses an image using an encoding method in progressive JPEG or JPEG2000.

第９発明に係るコンピュータプログラムは、画像データを受け付けるコンピュータに、時系列に取得させた画像データを階層符号化方式を利用して圧縮させ、圧縮した圧縮画像データを順次出力させるコンピュータプログラムにおいて、コンピュータを、圧縮画像データの出力の開始及び終了を制御する出力制御手段、出力中の一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化するか否かを判断する判断手段、及び、前記一の画像データの圧縮画像データを出力中に後の画像データの圧縮画像データを出力すべきタイミングが到来するか否かを判断する手段、並びに、前記一の画像データの圧縮画像データを出力中に後の画像データの圧縮画像データを出力すべきタイミングが到来すると判断した場合に、前記判断手段が出力中の前記一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化すると判断したとき、前記一の画像データの圧縮画像データの出力を続行する手段、及び、一の画像データの圧縮画像データを出力中に後の画像データの圧縮画像データを出力すべきタイミングが到来すると判断した場合に、前記判断手段が出力中の前記一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化しないと判断したとき、前記一の画像データの圧縮画像データの出力を終了する手段として機能させることを特徴とする。
A computer program according to a ninth aspect of the present invention is a computer program for causing a computer that receives image data to compress image data acquired in time series using a hierarchical encoding method and sequentially output the compressed image data. Output control means for controlling the start and end of the output of compressed image data, the image quality deteriorated by compression by comparing the compressed image data of one image data being output with the one image data before compression Means for determining whether or not the image quality is deteriorated from a predetermined image quality, and whether or not the timing for outputting the compressed image data of the subsequent image data during the output of the compressed image data of the one image data has arrived And outputting compressed image data of the subsequent image data while outputting the compressed image data of the one image data When it is determined that the timing should be reached, the determination unit compares the compressed image data of the one image data being output with the one image data before compression, so that the image quality deteriorated by the compression is a predetermined value. When it is judged that the image quality is deteriorated, the means for continuing to output the compressed image data of the one image data and the compressed image data of the subsequent image data should be output while the compressed image data of the one image data is being output. When it is determined that the timing has arrived, the determination unit compares the compressed image data of the one image data being output with the one image data before the compression, so that the image quality deteriorated by the compression is a predetermined image quality. When it is determined that there is no further deterioration, it functions as means for terminating the output of the compressed image data of the one image data.

第１０発明に係る画像出力方法は、画像データを時系列に取得し、取得した画像データを階層符号化方式を利用して圧縮した圧縮画像データを順次出力する画像出力方法において、出力中の一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化するか否かを判断し、一の画像データの圧縮画像データを出力中に後の画像データの圧縮画像データを出力すべきタイミングが到来するか否かを判断し、後の画像データの圧縮画像データを出力すべきタイミングが到来すると判断した場合に、出力中の前記一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化すると判断したとき、前記一の画像データの圧縮画像データの出力を続行し、後の画像データの圧縮画像データを出力すべきタイミングが到来すると判断した場合に、出力中の前記一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化しないと判断したとき、前記一の画像データの圧縮画像データの出力を終了することを特徴とする。 An image output method according to a tenth aspect of the present invention is an image output method for acquiring image data in time series, and sequentially outputting compressed image data obtained by compressing the acquired image data using a hierarchical encoding method. By comparing the compressed image data of the image data and the one image data before compression, it is determined whether or not the image quality deteriorated by the compression is deteriorated from the predetermined image quality, and the compressed image data of the one image data When it is determined whether it is time to output the compressed image data of the subsequent image data during output, and when it is determined that the timing to output the compressed image data of the subsequent image data has arrived, When the compressed image data of the one image data is compared with the one image data before compression, it is determined that the image quality deteriorated by the compression is deteriorated from the predetermined image quality. When the output of the compressed image data of the image data is continued and it is determined that the timing for outputting the compressed image data of the subsequent image data has arrived, the compressed image data of the one image data being output and the pre-compressed image data The output of the compressed image data of the one image data is terminated when it is determined that the image quality deteriorated by the compression does not deteriorate from the predetermined image quality by comparing with the one image data.

本発明では、時系列に取得された画像データは圧縮されて圧縮画像データとして順次出力されるが、その際、各画像データの圧縮画像データは所定の画質以上を満たしてない場合、後の画像データの圧縮画像データを出力すべきタイミングが到来していても出力が続行され、画質が所定の画質を満たしている場合には一の画像データ分の圧縮画像データの出力が完了していなくとも出力が終了される。   In the present invention, the image data acquired in time series is compressed and sequentially output as compressed image data. At this time, if the compressed image data of each image data does not satisfy a predetermined image quality or higher, the subsequent image The output is continued even when the timing for outputting the compressed image data of the data has arrived. If the image quality satisfies the predetermined image quality, the output of the compressed image data for one image data may not be completed. Output is terminated.

本発明では、一の画像データの圧縮画像データの出力が続行され、後の画像データの圧縮画像データを出力すべきタイミングが経過した後、所定の画質が満たされた時点で当該一の画像データ分の圧縮画像データの出力が完了していなくとも出力が終了される。これにより、画質を所定の画質以上に保障しつつ、後の画像データの出力タイミングのずれこみが低減される。   In the present invention, the output of the compressed image data of one image data is continued, and when the predetermined image quality is satisfied after the timing at which the compressed image data of the subsequent image data should be output has passed, the one image data The output is completed even if the output of the compressed image data of the minute is not completed. Thereby, the deviation of the output timing of the subsequent image data is reduced while the image quality is guaranteed to be higher than the predetermined image quality.

本発明では、一の画像データの圧縮画像データの出力が続行された場合には、後の画像データの圧縮画像データは破棄されて間引きされる。これによりデータ量が抑えられ、出力タイミングの後続へのずれこみの連鎖が回避される。   In the present invention, when the output of the compressed image data of one image data is continued, the compressed image data of the subsequent image data is discarded and thinned out. As a result, the amount of data is suppressed, and a chain of deviations in the output timing is avoided.

本発明では、一の画像データの圧縮画像データの出力が続行され、後の画像データよりも更に後の画像データの圧縮画像データの出力タイミングまでに出力が終了しない場合に、出力が待機されている後の画像データの圧縮画像データは破棄されて間引きされる。これにより、出力タイミングの後続へのずれこみの連鎖が回避される。   In the present invention, the output of the compressed image data of one image data is continued, and when the output does not end by the output timing of the compressed image data of the image data further later than the subsequent image data, the output is awaited. The compressed image data of the subsequent image data is discarded and thinned out. As a result, a chain of deviation to the subsequent output timing is avoided.

本発明では、一の画像データの圧縮画像データの出力が続行された場合、所定時間が経過しても所定の画質を満たさない場合は出力を終了させる。   In the present invention, when the output of the compressed image data of one image data is continued, the output is terminated when the predetermined image quality is not satisfied even after the predetermined time has elapsed.

本発明では、前の画像データとの差分画像データを圧縮した圧縮画像データを利用することで、後の画像データが前の画像データと比して変化がない場合にデータ量の抑制が期待される。これにより、前の画像データの圧縮画像データの出力が後の画像データを出力すべきタイミング以降でも続行され、前記前の画像データの出力終了後に後の画像データの圧縮画像データを出力する場合であっても、更に後の画像データの出力タイミングまでに圧縮画像データの出力が完了する可能性が高くなる。   In the present invention, by using compressed image data obtained by compressing difference image data from the previous image data, the amount of data is expected to be suppressed when the subsequent image data is not changed compared to the previous image data. The Thereby, the output of the compressed image data of the previous image data is continued even after the timing at which the subsequent image data should be output, and the compressed image data of the subsequent image data is output after the output of the previous image data is completed. Even if it exists, possibility that the output of compressed image data will be completed by the output timing of the later image data becomes high.

本発明では、差分画像データを圧縮した圧縮画像データを出力するか否かが、前の画像データとの差分量の大小に応じて選択されることにより、データ量を抑えつつ画質の劣化を低減させることが可能となる。   In the present invention, whether to output compressed image data obtained by compressing difference image data is selected according to the amount of difference from the previous image data, thereby reducing image quality deterioration while suppressing the data amount. It becomes possible to make it.

本発明では、所定時間が経過する限界まで一の画像データの圧縮画像データの出力を続行させて複数の画像データの圧縮画像データを間引きする場合には、次に出力する後の画像データは、改めて差分でない画像を圧縮した圧縮画像データが出力される。   In the present invention, when the compressed image data of a plurality of image data is thinned out by continuing the output of the compressed image data of one image data up to the limit at which the predetermined time elapses, the image data after the next output is The compressed image data obtained by compressing the non-difference image is output again.

また、本発明では、分割された画像データが夫々一の画像データとして扱われ、分割された画像データに対し夫々圧縮、出力の開始及び終了が個別に制御され、更に、差分画像データを圧縮するか否かの選択、間引きが行なわれる場合には夫々個別に行なわれる。   In the present invention, the divided image data is handled as one piece of image data, the compression and output start and end of the divided image data are individually controlled, and the difference image data is further compressed. When selecting whether or not, thinning is performed individually.

本発明では、圧縮画像データは出力される際に一旦記憶され、記憶された圧縮画像データの内から、既に出力された圧縮画像データに対する差分量がより多い圧縮画像データが優先的に出力される。階層符号化を利用する場合、既に出力済みの圧縮画像データに対する差分量がより多い圧縮画像データは追加する情報量が多く、より画質を向上させる。   In the present invention, the compressed image data is temporarily stored when it is output, and the compressed image data having a larger difference amount with respect to the compressed image data that has already been output is preferentially output from the stored compressed image data. . When using hierarchical encoding, compressed image data with a larger amount of difference with respect to compressed image data that has already been output has a larger amount of information to be added, and the image quality is further improved.

本発明では、階層符号化を利用した圧縮方法、例えばプログレッシブＪＰＥＧ又はＪＰＥＧ２０００の圧縮方法を利用することにより、低画質階層データから順に高画質階層データを追加するように出力され、途中で出力が中断しても画像の表示が可能となる。   In the present invention, by using a compression method using hierarchical coding, for example, a progressive JPEG or JPEG2000 compression method, output is performed so that high-quality hierarchical data is added in order from low-quality hierarchical data, and output is interrupted in the middle Even in this case, the image can be displayed.

本発明による場合、時系列に画像データを１フレーム毎又は１フィールド毎に圧縮して順次出力して遅延をより少なくする構成に加え、各画像データの圧縮画像データの出力に際し、出力が完了する前に後の画像データの圧縮画像データを出力すべきタイミングが到来しても、出力中の圧縮画像データの画質が所定の画質を満たすまでは出力が続行される。ただし、所定の画質を満たしている場合には出力が未完了でも終了される。これにより、画質を所定の画質以上に維持しつつ過度の遅延を防止することができる。   According to the present invention, in addition to a configuration in which image data is compressed in time series for each frame or field and sequentially output to reduce the delay, the output is completed when the compressed image data of each image data is output. Even when the timing to output the compressed image data of the subsequent image data comes, the output is continued until the image quality of the compressed image data being output satisfies the predetermined image quality. However, if the predetermined image quality is satisfied, the process is terminated even if the output is not completed. Thereby, an excessive delay can be prevented while maintaining the image quality at or above the predetermined image quality.

本発明による場合、各画像データの圧縮画像データは、所定の画質を満たしたときには出力が終了されて、後の画像データの出力の後ろへのずれこみの連鎖が回避されるので、伝送帯域が制限されている場合であっても遅延及び画質の劣化を低減させることができる。   In the case of the present invention, the output of compressed image data of each image data is terminated when a predetermined image quality is satisfied, and a chain of shifts behind the output of subsequent image data is avoided, so that the transmission band is reduced. Even in the limited case, delay and degradation of image quality can be reduced.

本発明による場合、出力タイミングが待機させられる後の画像データは間引きされることにより全体のデータ量が減少し、また、更に後の画像データへ出力タイミングのずれこみの連鎖が回避されるので、遅延を防ぐことができると共に画質を維持することができる。   In the case of the present invention, since the image data after the output timing is made to wait is thinned out, the total data amount is reduced, and further, the chain of deviation of the output timing to the subsequent image data is avoided. Delay can be prevented and image quality can be maintained.

本発明による場合、後の画像データよりも更に後の画像データの出力タイミングまでに出力タイミングが待機させられるときには、出力中の圧縮画像データの画像データ以降の画像データのいずれかは破棄されて間引かれるので、より後の画像データへの出力タイミングのずれこみの連鎖が回避されて遅延を防ぐことができると共に、画質を維持することができる。   In the case of the present invention, when the output timing is made to wait until the output timing of the later image data than the later image data, any of the image data after the image data of the compressed image data being output is discarded. Therefore, a chain of output timing shifts to later image data is avoided, delay can be prevented, and image quality can be maintained.

本発明による場合、画質が所定の画質を満たすまで出力が続行される時間に上限を設けることにより、過度な間引が回避され、遅延及び画質の劣化を低減させることができる。   According to the present invention, by setting an upper limit on the time during which output is continued until the image quality satisfies the predetermined image quality, excessive thinning can be avoided, and delay and degradation of image quality can be reduced.

本発明による場合は更に、各画像データを圧縮するに際し、前の画像データとの差分画像を圧縮することによりデータ量を更に抑えることができる。これにより、後の画像データの出力タイミングがずれこんだ場合であっても出力が完了する可能性が高くなり、即時性が損なわれることを回避して遅延を低減することができる。   Further, according to the present invention, when each image data is compressed, the data amount can be further suppressed by compressing the difference image from the previous image data. Thereby, even when the output timing of the subsequent image data is deviated, there is a high possibility that the output will be completed, and the delay can be reduced by avoiding the loss of immediacy.

本発明による場合、各画像データを圧縮するに際し、差分画像データを圧縮するか否かを前の画像データとの差分量の多少に応じて選択することにより、画像の内容が大きく変化した場合等、差分でない画像データを圧縮して出力すべき場合に差分画像データを圧縮した圧縮画像データが出力されることを回避することができる。これにより、画質が劣化しない範囲でデータ量を適切に抑えることができる。   According to the present invention, when each image data is compressed, whether or not the difference image data is to be compressed is selected according to the amount of difference from the previous image data, so that the content of the image changes greatly. When the image data that is not the difference is to be compressed and output, it is possible to avoid the output of the compressed image data obtained by compressing the difference image data. As a result, the amount of data can be appropriately suppressed within a range where the image quality does not deteriorate.

本発明による場合、複数の画像データを間引きする場合、次に出力する後の画像データについては差分でない画像データの圧縮画像データが出力されて画質の低下が回避されるので、データ量の抑制のための差分の使用を適切にし、画質の劣化を低減させることができる。   According to the present invention, when thinning out a plurality of image data, since the compressed image data of the image data that is not the difference is output for the image data after the next output, the deterioration of the image quality is avoided. Therefore, it is possible to appropriately use the difference for reducing image quality degradation.

本発明による場合、一の画像データを複数の画像データに分割して夫々を個別に画像データとして扱い、画像データの圧縮、及び出力制御、並びに差分画像データの取得、選択を個別に行なう。したがって、同一フレームの画像データ内であっても前の画像データと比較して変化が大きい部分と小さい部分とがあるときに、変化量が大きい部分に多くのデータ量を割り振ることができ、変化量の小さい部分にはデータ量を減らすことができる。このように、画像データを分割して部分毎に効率的にデータ量を配分してデータ量を抑え、遅延及び画質の劣化を低減させることができる。   According to the present invention, one piece of image data is divided into a plurality of pieces of image data, each of which is handled individually as image data, and compression and output control of image data and acquisition and selection of difference image data are individually performed. Therefore, even within the image data of the same frame, when there are a part with a large change and a part with a small change compared to the previous image data, a large amount of data can be allocated to the part with a large change amount. The amount of data can be reduced in a small amount portion. In this way, the image data can be divided and the data amount can be efficiently distributed for each part to suppress the data amount, thereby reducing delay and image quality degradation.

本発明による場合、圧縮された圧縮画像データが出力されるに際し、各画像データの圧縮画像データの内、より画質を向上させる情報量が多いデータから優先的に出力される。これにより、復号側で元の画像データへ復号して画像を表示するか、又は画像形成装置等の他の装置へ出力するに際し、圧縮画像データから元の一の画像データを再構成する場合に、画質の向上が求められる部分から優先的に且つ全体としてプログレッシブに元の画像データを表示又は出力することが可能となると共に、優先的に画質を向上させることができる。   According to the present invention, when compressed compressed image data is output, the compressed image data of each image data is preferentially output from data having a larger amount of information for improving the image quality. Accordingly, when the decoding side displays the image by decoding it to the original image data or outputs it to another device such as an image forming device, the original image data is reconstructed from the compressed image data. Thus, it is possible to display or output the original image data preferentially and as a whole from the portion where improvement in image quality is required, and to improve the image quality preferentially.

本発明による場合、階層符号化を利用した圧縮方法、具体的にはプログレッシブＪＰＥＧ又はＪＰＥＧ２０００の方法を復号側でも適用しておくことにより、一フレーム分の画像データの全データが受信できなくとも画像の表示が可能である。したがって、圧縮画像データの出力を、所定の画質が保障される時点で終了させた場合であっても画質を維持することができ、遅延及び画質の劣化を低減させることができる。なお、復号側で階層符号化に適応していない場合、途中までの圧縮画像データの利用方法は任意である。途中までの圧縮画像データであっても、更に前の画像データを利用して補間して表示してもよいし、途中までの圧縮画像データは破棄するようにしてもよい。   In the case of the present invention, by applying a compression method using hierarchical coding, specifically, a progressive JPEG or JPEG2000 method on the decoding side, an image can be received even if all the image data for one frame cannot be received. Can be displayed. Therefore, even when the output of the compressed image data is terminated when the predetermined image quality is guaranteed, the image quality can be maintained, and the delay and deterioration of the image quality can be reduced. If the decoding side is not adapted to hierarchical encoding, the method of using compressed image data up to the middle is arbitrary. Even the compressed image data up to the middle may be displayed by interpolation using the previous image data, or the compressed image data up to the middle may be discarded.

以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。   Hereinafter, the present invention will be specifically described with reference to the drawings showing embodiments thereof.

図１は、本実施の形態における画像出力装置の構成を示すブロック図である。画像出力装置１は、画像信号を受け付けてフレーム単位で画像データを取得する画像取得部１１と、取得した画像データを一又は複数のブロック画像データに分割する画像分割部１２と、前の画像データとの差分画像データを生成する差分画像生成部１３と、差分画像生成部１３が参照する画像データが記憶される参照画像記憶部１４と、差分画像データと差分でない画像データとのいずれを出力するかを選択する選択部１５と、画像データを符号化して圧縮する圧縮部１６と、圧縮部１６によって圧縮された圧縮画像データが記憶される圧縮画像記憶部１７と、圧縮画像データを外部へ出力する出力部１８と、圧縮画像データの出力の開始及び終了を制御する出力制御部１９とを含んで構成される。   FIG. 1 is a block diagram illustrating a configuration of an image output apparatus according to the present embodiment. The image output apparatus 1 includes an image acquisition unit 11 that receives an image signal and acquires image data in units of frames, an image division unit 12 that divides the acquired image data into one or a plurality of block image data, and previous image data The difference image generation unit 13 that generates the difference image data, the reference image storage unit 14 that stores the image data referred to by the difference image generation unit 13, and the difference image data and the image data that is not the difference are output. A selection unit 15 that selects the image data, a compression unit 16 that encodes and compresses the image data, a compressed image storage unit 17 that stores the compressed image data compressed by the compression unit 16, and outputs the compressed image data to the outside And an output control unit 19 that controls the start and end of output of compressed image data.

図１中の太線で表わされる矢印は分割されていない画像信号及び画像データの流れを表わし、白矢印は画像分割部１２により分割された画像データの流れを表わす。また、実線で表わされる矢印は、制御信号の入出力を表わしている。画像出力装置１はＡＳＩＣ（Application Specific Integrated Circuit：特定用途集積回路）で構成されており、各構成部における処理はパイプライン式に順次行なわれる。   1 indicate the flow of image signals and image data that are not divided, and the white arrow indicates the flow of image data divided by the image dividing unit 12. In addition, arrows indicated by solid lines represent input / output of control signals. The image output apparatus 1 is configured by an ASIC (Application Specific Integrated Circuit), and processing in each component is sequentially performed in a pipeline manner.

画像取得部１１は、画像信号を受け付け、受け付けた画像信号から１秒間に例えば６０フレームのフレームレートで画像データを取得し、画像分割部１２へフレーム単位で入力する。このとき、画像取得部１１から画像分割部１２へ入力される画像データは、画素毎の輝度値、色差、色成分毎の強度等を表わす値の二次元配列データである。   The image acquisition unit 11 receives an image signal, acquires image data at a frame rate of, for example, 60 frames per second from the received image signal, and inputs the image data to the image division unit 12 in units of frames. At this time, the image data input from the image acquisition unit 11 to the image division unit 12 is two-dimensional array data of values representing the luminance value, color difference, intensity for each color component, and the like for each pixel.

画像分割部１２は、画像取得部１１から取得した画像データを複数のブロック（任意の画素数）に分割する。本実施の形態では以下、分割された複数の画像データ夫々をブロック画像と呼ぶ。なお、本実施の形態ではブロックは矩形ブロックとし、画像分割部１２は一の画像データを９つのブロック画像に分割する。画像分割部１２は分割したブロック画像を夫々、差分画像生成部１３、参照画像記憶部１４及び選択部１５へ順に入力する。   The image dividing unit 12 divides the image data acquired from the image acquiring unit 11 into a plurality of blocks (arbitrary number of pixels). In the present embodiment, each of the plurality of divided image data is referred to as a block image. In this embodiment, the block is a rectangular block, and the image dividing unit 12 divides one image data into nine block images. The image division unit 12 inputs the divided block images to the difference image generation unit 13, the reference image storage unit 14, and the selection unit 15 in order.

差分画像生成部１３は、画像分割部１２から入力されるブロック画像毎に、参照画像記憶部１４に記憶されている対応参照ブロック画像との差分ブロック画像を生成して選択部１５へ入力する。差分画像生成部１３により生成される差分ブロック画像は、各画素毎の値の差分の二次元配列データからなる画像でもよいし、動き補償のアルゴリズムを利用し、いずれかの参照ブロック画像からの動きベクトルによって表わされる差分画像でもよい。また、差分画像生成部１３は、参照ブロック画像との差分量を表わす差分値を出力制御部１９へ出力する。なお、差分画像生成部１３から出力される差分値は、ブロック画像毎の、全画素又は一部画素のＳＡＤ（Sum of Absolute Difference）に対応する値（以下ＳＡＤ値）でもよいし、動き補償のアルゴリズムを利用した動きベクトルの大きさに対応する値でもよい。   The difference image generation unit 13 generates a difference block image with the corresponding reference block image stored in the reference image storage unit 14 for each block image input from the image division unit 12 and inputs the difference block image to the selection unit 15. The difference block image generated by the difference image generation unit 13 may be an image made up of two-dimensional array data of the difference in value for each pixel, or motion from any reference block image using a motion compensation algorithm. It may be a difference image represented by a vector. Further, the difference image generation unit 13 outputs a difference value representing the difference amount from the reference block image to the output control unit 19. The difference value output from the difference image generation unit 13 may be a value corresponding to SAD (Sum of Absolute Difference) of all pixels or a part of each block image (hereinafter referred to as SAD value), or motion compensation. A value corresponding to the magnitude of a motion vector using an algorithm may be used.

参照画像記憶部１４は、ＲＡＭ（Random Access Memory）を利用した記憶領域である。参照画像記憶部１４は、画像分割部１２から入力されるブロック画像を参照ブロック画像として記憶するが、出力制御部１９から有効信号、即ちリフレッシュ要求を表わす制御信号が入力された場合にのみ記憶されているブロック画像を書き換える。有効信号が入力されていない場合には入力されるブロック画像は記憶されない。なお、有効信号はブロック画像毎に入力される。   The reference image storage unit 14 is a storage area using a RAM (Random Access Memory). The reference image storage unit 14 stores the block image input from the image dividing unit 12 as a reference block image, but is stored only when a valid signal, that is, a control signal indicating a refresh request is input from the output control unit 19. Rewrite the block image. If no valid signal is input, the input block image is not stored. The valid signal is input for each block image.

選択部１５は、差分画像生成部１３から入力されている差分ブロック画像、又は画像分割部１２から入力されている差分でないブロック画像を受け付け、いずれを圧縮部１６へ入力するかを選択する。選択部１５は、出力制御部１９から入力される選択信号による指示に従って、差分ブロック画像又はブロック画像のいずれかを圧縮部１６へ入力する。一のフレームの画像データが分割されたブロック画像であっても夫々個別に処理が行なわれるので、差分ブロック画像が圧縮部１６へ入力される場合と、差分でないブロック画像が圧縮部１６へ入力される場合とがある。   The selection unit 15 receives a difference block image input from the difference image generation unit 13 or a block image that is not a difference input from the image division unit 12 and selects which to input to the compression unit 16. The selection unit 15 inputs either the difference block image or the block image to the compression unit 16 according to the instruction by the selection signal input from the output control unit 19. Even if the block image is obtained by dividing the image data of one frame, the processing is performed individually. Therefore, when the difference block image is input to the compression unit 16, the block image that is not the difference is input to the compression unit 16. There is a case.

圧縮部１６は、ＪＰＥＧ２０００の静止画圧縮符号化方式を用い、入力される差分又は差分でないブロック画像を圧縮した圧縮ブロック画像データを出力する。圧縮部１６による圧縮符号化の方式は、ＪＰＥＧ２０００に限られず、プログレッシブＪＰＥＧの他、スケーラブル符号化、階層符号化が適用される方式であればよい。本実施の形態では、圧縮部１６はＪＰＥＧ２０００の符号化方式におけるスケーラブル符号化技術を用いる。圧縮部１６は差分ブロック画像又は差分でないブロック画像を、各画素の値のビットプレーン毎に符号化する。そして圧縮部１６は基本的に、ＭＳＢ（Most Significant Bit）のビットプレーンを符号化した圧縮ブロック画像データから、ＬＳＢ（Least Significant Bit）のビットプレーンを符号化した圧縮ブロック画像データまで、下位に向かって順に出力し、圧縮画像記憶部１７に記憶させる。スケーラブル符号化技術を用いることにより、ＭＳＢのビットプレーンを符号化した圧縮ブロック画像データのみでも、低画質ではあるものの一のブロック画像として復号することが可能であり、復号側で順次追加されるデータを加える毎に復号画像データの画質を向上させることができる。   The compression unit 16 outputs compressed block image data obtained by compressing an input difference or non-difference block image using a JPEG 2000 still image compression encoding method. The compression encoding method by the compression unit 16 is not limited to JPEG2000, and any method may be used as long as scalable encoding and hierarchical encoding are applied in addition to progressive JPEG. In the present embodiment, the compression unit 16 uses a scalable encoding technique in the JPEG2000 encoding method. The compression unit 16 encodes the difference block image or the block image that is not the difference for each bit plane of the value of each pixel. The compression unit 16 basically proceeds from the compressed block image data obtained by encoding the MSB (Most Significant Bit) bit plane to the compressed block image data obtained by encoding the LSB (Least Significant Bit) bit plane. Are sequentially output and stored in the compressed image storage unit 17. By using scalable coding technology, even compressed block image data obtained by encoding the MSB bit plane can be decoded as a single block image with low image quality, and data that is sequentially added on the decoding side. The image quality of the decoded image data can be improved every time.

なお、圧縮部１６は圧縮ブロック画像データをその出力順にパケット化して出力する。各パケットのヘッダ部には、含まれる圧縮ブロック画像データが先行して出力されたデータに対しどれだけ圧縮前のブロック画像データの画質から劣化が低減されるかを示す画質向上度が含まれる。画質向上度として、具体的には圧縮ブロック画像データと圧縮前のブロック画像データの比較から求められる量子化されたウェーブレット係数のＳＡＤに対応する値が用いられる。
The compression unit 16 packetizes the compressed block image data in the output order and outputs the packet. The header portion of each packet includes the image quality improvement degree indicating whether the deterioration is reduced from the compressed block image data Shi pair data outputted in advance how much of the uncompressed block image data quality included . As the image quality improvement degree, specifically a value corresponding to the SAD of the wavelet coefficients quantized obtained from the comparison of the block image data before compression and the block image data is used.

圧縮画像記憶部１７は、ＲＡＭを用いた記憶領域であり、圧縮部１６から入力される圧縮ブロック画像データを記憶する。圧縮画像記憶部１７は、分割されたブロック画像毎に記憶領域が区別されており、圧縮部１６は圧縮ブロック画像データを夫々対応する記憶領域へ記憶する。圧縮画像記憶部１７に記憶される圧縮ブロック画像データは、各ブロック画像の記憶領域毎にＦＩＦＯ（First In First Out）で読み書きされる。   The compressed image storage unit 17 is a storage area using a RAM, and stores the compressed block image data input from the compression unit 16. The compressed image storage unit 17 distinguishes storage areas for each of the divided block images, and the compression unit 16 stores the compressed block image data in the corresponding storage areas. The compressed block image data stored in the compressed image storage unit 17 is read and written by FIFO (First In First Out) for each storage area of each block image.

出力部１８は、圧縮画像記憶部１７に記憶される圧縮ブロック画像データを、所定のレートに従うタイミングで読み出して出力する。そして本実施の形態における出力部１８は、出力制御部１９からの出力の開始、終了を制御する制御信号に従い、圧縮画像記憶部１７に記憶されているブロック画像毎の圧縮ブロック画像データを読み出し、ＲＴＰ（Real-time Transfer Protocol）パケットに含めて出力する。なお、上述のように圧縮画像記憶部１７に記憶されている圧縮ブロック画像データはパケット化されており、当該パケットには画質向上度を表わす値が含まれている。出力部１８は、ブロック画像毎に区別された記憶領域夫々の圧縮ブロック画像データのパケットヘッダを読み出し、各記憶領域の圧縮ブロック画像データの内の、最も画質向上度を表わす値が大きいパケットのデータからパケット単位で読み出して出力する。このとき、元の画像データに対する各ブロック画像の配置を識別可能にパケットヘッダに付加することが望ましい。出力部１８から出力される圧縮ブロック画像データは、ブロック画像毎に順に出力されるのではなく、各ブロック画像の圧縮ブロック画像データが混在して画質向上度が高い順に優先的に出力される。なお、復号側では画質向上度を表わす値は不要であるので、パケット量削減のために画質向上度を表わす値を削除して出力することが望ましい。また、出力部１８が圧縮ブロック画像データを出力する際のプロトコルはＲＴＰに限定されず、他の方式であってもよい。   The output unit 18 reads out and outputs the compressed block image data stored in the compressed image storage unit 17 at a timing according to a predetermined rate. The output unit 18 in the present embodiment reads the compressed block image data for each block image stored in the compressed image storage unit 17 in accordance with a control signal for controlling the start and end of the output from the output control unit 19, It is included in an RTP (Real-time Transfer Protocol) packet and output. Note that the compressed block image data stored in the compressed image storage unit 17 is packetized as described above, and the packet includes a value representing the degree of improvement in image quality. The output unit 18 reads the packet header of the compressed block image data of each storage area distinguished for each block image, and packet data having the largest value representing the degree of improvement in image quality among the compressed block image data of each storage area. Read out in packets and output. At this time, it is desirable that the arrangement of each block image with respect to the original image data is added to the packet header in an identifiable manner. The compressed block image data output from the output unit 18 is not output in order for each block image, but is output preferentially in the order in which the compressed block image data of each block image is mixed and the image quality improvement degree is high. Note that since the value indicating the image quality improvement degree is not necessary on the decoding side, it is desirable to delete the value indicating the image quality improvement degree and output it in order to reduce the amount of packets. Further, the protocol used when the output unit 18 outputs the compressed block image data is not limited to RTP, and other methods may be used.

出力制御部１９は、出力部１８が出力中の圧縮ブロック画像データの画質をブロック画像毎に評価する。具体的には、圧縮画像記憶部１７にブロック画像毎に区別されて記憶されている圧縮ブロック画像データのパケットヘッダに含まれている画質向上度を表わす値を読み出して取得し、画質向上度を表わす値が所定値以下である場合に画質が所定の画質を満たすと判断する。画質向上度を表わす値が、上位のビットプレーンに対するＳＡＤである場合、ＳＡＤが小さいほど上位のビットプレーンからの大きな変化がないからである。なお、出力制御部１９は、各ブロック画像の出力済みの圧縮ブロック画像データの画質向上度を表わす値を圧縮画像記憶部１７からブロック画像毎に読み出すのみならず、出力済みの各圧縮ブロック画像データのブロック画像毎の画質向上度を表わす値が出力部１８から通知され、出力制御部１９はこれを受け付けて取得するようにしてもよい。   The output control unit 19 evaluates the image quality of the compressed block image data being output by the output unit 18 for each block image. Specifically, a value representing the degree of image quality improvement included in the packet header of the compressed block image data stored in the compressed image storage unit 17 separately for each block image is read out and acquired, and the degree of image quality improvement is determined. When the value to be expressed is less than or equal to the predetermined value, it is determined that the image quality satisfies the predetermined image quality. This is because when the value representing the degree of improvement in image quality is SAD for the upper bit plane, the smaller the SAD, the smaller the change from the upper bit plane. Note that the output control unit 19 not only reads out the value indicating the image quality improvement degree of the compressed block image data that has been output for each block image from the compressed image storage unit 17 for each block image, but also outputs each compressed block image data that has been output. A value representing the image quality improvement degree for each block image may be notified from the output unit 18, and the output control unit 19 may receive and acquire the value.

出力制御部１９は、ブロック画像毎に画質が所定の画質を満たすか否かを判断し、満たすと判断したブロック画像については読み出し及び出力を終了させる制御信号を出力部１８へ入力する。一方、画質を満たさないと判断した場合には、次のフレームのブロック画像を出力するタイミングであっても、次のフレームの圧縮ブロック画像データを読み出させず、そのまま出力中の圧縮ブロック画像データの読み出し及び出力を続行させる。   The output control unit 19 determines whether or not the image quality satisfies a predetermined image quality for each block image, and inputs to the output unit 18 a control signal for reading out and outputting the block image determined to be satisfied. On the other hand, if it is determined that the image quality is not satisfied, the compressed block image data being output as it is without being read out, even if the block image of the next frame is output. Continue reading and outputting.

また出力制御部１９は、一のフレームの圧縮ブロック画像データを出力中に、次のフレームの圧縮ブロック画像データを出力するタイミングであっても一のフレームの圧縮ブロック画像データの出力を続行し、更に次、又は次々フレームの圧縮ブロック画像データの出力タイミングが到来しても続行する場合がある。この場合、出力制御部１９は、前記一のフレーム及び次のフレーム、場合によっては次々フレームの圧縮ブロック画像データまでを圧縮画像記憶部１７から破棄、即ち削除する。次のフレーム、次々フレームの圧縮ブロック画像データまでは読み出さないように指示する制御信号を出力部１８へ入力するようにしてもよい。これにより、ブロック画像毎にフレームの間引きが行なわれる。   Further, the output control unit 19 continues outputting the compressed block image data of one frame at the timing of outputting the compressed block image data of the next frame while outputting the compressed block image data of one frame. Furthermore, there is a case where it continues even when the output timing of the compressed block image data of the next frame or the next frame arrives. In this case, the output control unit 19 discards, that is, deletes, from the compressed image storage unit 17, the one frame and the next frame, and in some cases, the compressed block image data of the next frame. A control signal for instructing not to read out the compressed block image data of the next frame and the frame after the frame may be input to the output unit 18. Thereby, frame thinning is performed for each block image.

なお出力制御部１９は、一のフレームの圧縮ブロック画像データの出力を開始してからの経過時間を、内蔵する図示しないクロック等の計時部により計測するようにしてある。出力制御部１９は、一のフレームの圧縮ブロック画像データの出力を次のフレーム及び次々フレームの出力タイミング到来後も続行する場合、計測している経過時間が所定時間、例えば所定のレートの周期３フレーム分を経過するときには、出力を終了させる制御信号を出力部１８へ入力する。このとき出力制御部１９は、出力中の圧縮ブロック画像データの画質向上度を表わす値が所定値よりも大きく、画質が所定の画質を満たしていないときでも出力を終了させる。そして出力制御部１９は、所定時間が経過するまでの間に出力タイミングが到来していたフレームの圧縮画像データについては破棄させる。   The output control unit 19 measures the elapsed time from the start of outputting the compressed block image data of one frame by a built-in time measuring unit such as a clock (not shown). When the output control unit 19 continues to output the compressed block image data of one frame even after the output timing of the next frame and the next frame arrives, the measured elapsed time is a predetermined time, for example, a cycle 3 of a predetermined rate. When the frame has elapsed, a control signal for terminating the output is input to the output unit 18. At this time, the output control unit 19 ends the output even when the value indicating the image quality improvement degree of the compressed block image data being output is larger than a predetermined value and the image quality does not satisfy the predetermined image quality. Then, the output control unit 19 discards the compressed image data of the frame whose output timing has arrived before the predetermined time elapses.

出力制御部１９は、差分画像生成部１３から出力される差分値を受け付け、差分値の大小によって選択部１５に選択信号を入力する。出力制御部１９は、差分値が所定値以下である場合には差分画像を圧縮部１６に圧縮させるため、差分画像生成部１３から入力される差分ブロック画像を圧縮部１６に入力するように指示する選択信号を選択部１５に入力する。逆に出力制御部１９は、差分値が所定値よりも大きい場合には、画像分割部１２から入力される差分でないブロック画像を圧縮部１６に入力するように指示する選択信号を選択部１５に入力する。また、出力制御部１９は、差分でないブロック画像を圧縮部１６に入力するように指示する選択信号を選択部１５に入力する場合、参照画像記憶部１４に有効信号を入力し、当該差分でないブロック画像が参照ブロック画像として記憶されるように制御する。   The output control unit 19 receives the difference value output from the difference image generation unit 13 and inputs a selection signal to the selection unit 15 depending on the magnitude of the difference value. The output control unit 19 instructs the compression unit 16 to input the difference block image input from the difference image generation unit 13 in order to cause the compression unit 16 to compress the difference image when the difference value is equal to or less than a predetermined value. The selection signal to be input is input to the selection unit 15. Conversely, when the difference value is larger than the predetermined value, the output control unit 19 provides the selection unit 15 with a selection signal that instructs the compression unit 16 to input a block image that is not the difference input from the image dividing unit 12. input. Further, when the selection signal that instructs the compression unit 16 to input a block image that is not a difference is input to the selection unit 15, the output control unit 19 inputs a valid signal to the reference image storage unit 14 and blocks that are not the difference. Control is performed so that the image is stored as a reference block image.

次に、圧縮画像記憶部１７に記憶され、圧縮画像記憶部１７から読み出されて出力部１８から出力されるデータの構成について説明する。   Next, the configuration of data stored in the compressed image storage unit 17, read from the compressed image storage unit 17, and output from the output unit 18 will be described.

図２は、本実施の形態における画像出力装置１の圧縮画像記憶部１７に記憶される圧縮ブロック画像データの概要を示す説明図である。図２（ａ）は、フレーム単位の一の画像データを示し、破線により一の画像データが９つのＢ０ からＢ８ までのブロック画像に分割される例を示している。本実施の形態では、１フレーム分の画像データを左上から水平方向に順にＢ０ からＢ８ までの９つのブロックに分割する。図２（ｂ）は、図２（ａ）に示したように分割される各ブロック画像毎に、圧縮画像記憶部１７に記憶される圧縮ブロック画像データを示している。各矩形は圧縮ブロック画像データのビットプレーン毎の単位を示し、矩形中の数字は画質向上度を表わす値の例を示している。画質向上度を表わす値は、圧縮ブロック画像データのパケットヘッダに含まれている。前述の通り画質向上度は、圧縮ブロック画像データと圧縮前のブロック画像データの比較から求められるＳＡＤ値などが用いられるが、図２（ｂ）では便宜上、劣化の少ない圧縮ブロック画像データから順に１０、９、８、７…と単純な整数で記載してある。なお、圧縮部１６は図２（ｂ）の説明図中の左側を先頭に、右方向へ向かって順に圧縮ブロック画像データを圧縮画像記憶部１７に記憶する。以下に、出力部１８による圧縮ブロック画像データの読み出し順序について説明する。
FIG. 2 is an explanatory diagram showing an outline of compressed block image data stored in the compressed image storage unit 17 of the image output apparatus 1 according to the present embodiment. FIG. 2A shows one piece of image data in frame units, and shows an example in which one piece of image data is divided into nine block images from B0 to B8 by broken lines. In the present embodiment, image data for one frame is divided into nine blocks B0 to B8 in the horizontal direction from the upper left. FIG. 2B shows compressed block image data stored in the compressed image storage unit 17 for each block image divided as shown in FIG. Each rectangle represents a unit for each bit plane of the compressed block image data, the numbers in the rectangles show examples of values representing the image quality improvement degree. Value representing the image quality improvement degree is included in the packet header of the compressed block image data. As described above, the SAD value obtained from the comparison between the compressed block image data and the uncompressed block image data is used as the image quality improvement degree. However, in FIG. , 9, 8, 7... The compression unit 16 stores the compressed block image data in the compressed image storage unit 17 in order from the left side in the explanatory diagram of FIG. Hereinafter, the reading order of the compressed block image data by the output unit 18 will be described.

図２（ｂ）に示すように、圧縮ブロック画像データは圧縮画像記憶部１７のブロック画像毎に区別された領域に夫々記憶される。出力部１８は、圧縮画像記憶部１７からブロック画像毎に圧縮ブロック画像データを読み出す場合、各領域の先頭の圧縮ブロック画像データのパケットヘッダに含まれている画質向上度を表わす値を読み出し、値が最も大きい圧縮ブロック画像データから順に読み出して出力する。   As shown in FIG. 2 (b), the compressed block image data is stored in an area distinguished for each block image in the compressed image storage unit 17, respectively. When reading the compressed block image data for each block image from the compressed image storage unit 17, the output unit 18 reads a value representing the image quality improvement level included in the packet header of the first compressed block image data in each area, Are sequentially read and output from the compressed block image data having the largest.

図２（ｂ）に示すように圧縮ブロック画像データが記憶されている例では、出力部１８は以下のような順序で圧縮ブロック画像データを読み出して出力する。以下の説明では、ブロック画像Ｂ0 ，Ｂ1 ，Ｂ2 ，Ｂ3 の圧縮ブロック画像データについて説明し、他のブロック画像Ｂ4 からＢ8 までについては同様であるので詳細な説明を省略する。 In the example in which the compressed block image data is stored as shown in FIG. 2B, the output unit 18 reads and outputs the compressed block image data in the following order. In the following description, the compressed block image data of the block images B 0 , B 1 , B 2 , and B 3 will be described, and the other block images B 4 to B 8 are the same, and detailed description thereof will be omitted.

まず、出力部１８はブロック画像Ｂ0 ，Ｂ1 ，Ｂ2 ，Ｂ3 の先頭の圧縮ブロック画像データのパケットヘッダから夫々、画質向上度を表わす値「１０」，「１０」，「１０」，「８」を読み出す。出力部１８は最も画質向上度を表わす値が大きい圧縮ブロック画像データから読み出す。この場合、ブロック画像Ｂ0 ，Ｂ1 ，Ｂ2 の画質向上度を表わす値が同値である。出力部１８は、ブロック画像Ｂ0 ，Ｂ1 ，Ｂ2 の画質向上度を表わす値がいずれも「１０」の圧縮ブロック画像データを任意の順序で読み出し、ＲＴＰパケットに含めて出力する。出力部１８は圧縮画像記憶部１７から圧縮ブロック画像データをＦＩＦOで読み出すので、圧縮画像記憶部１７のブロック画像Ｂ0 ，Ｂ1 ，Ｂ2 ，Ｂ3 の次の圧縮ブロック画像データのパケットヘッダに含まれる画質向上度を表わす値は夫々、「９」，「８」，「９」，「８」となる。 First, the output unit 18 is a block image B 0, B 1, B 2 , B respectively from the first packet header of the compressed block image data of 3 s, the value "10" indicating the image quality enhancement degree, "10", "10", Read “8”. The output unit 18 reads out from the compressed block image data having the largest value representing the image quality improvement degree. In this case, the values representing the degree of image quality improvement of the block images B 0 , B 1 , B 2 are the same value. The output unit 18 reads compressed block image data whose values representing the image quality improvement degrees of the block images B 0 , B 1 and B 2 are all “10” in an arbitrary order, and outputs the compressed block image data included in the RTP packet. Since the output unit 18 reads the compressed block image data from the compressed image storage unit 17 by FIFO, the output unit 18 uses the packet header of the next compressed block image data of the block images B 0 , B 1 , B 2 , B 3 of the compressed image storage unit 17. The values representing the image quality improvement level included are “9”, “8”, “9”, and “8”, respectively.

次も出力部１８は、最も画質向上度を表わす値が大きい圧縮ブロック画像データから読み出す。したがって出力部１８は、ブロック画像Ｂ0 ，Ｂ2 の画質向上度を表わす値がいずれも「９」の圧縮ブロック画像データを任意の順序で読み出し、ＲＴＰパケットに含めて出力する。同様にして次に出力部１８は、ブロック画像Ｂ0 ，Ｂ1 ，Ｂ2 ，Ｂ3 の画質向上度を表わす値がいずれも「８」の圧縮ブロック画像データを任意の順序で読み出し、ＲＴＰパケットに含めて出力する。 Next, the output unit 18 reads out from the compressed block image data having the largest value indicating the image quality improvement degree. Therefore, the output unit 18 reads the compressed block image data in which the values indicating the image quality improvement degrees of the block images B 0 and B 2 are both “9” in an arbitrary order, and outputs the compressed block image data included in the RTP packet. Similarly, the output unit 18 reads out the compressed block image data whose values representing the image quality improvement degrees of the block images B 0 , B 1 , B 2 , and B 3 are all “8” in an arbitrary order, and outputs the RTP packet. To output.

圧縮部１６がＪＰＥＧ２０００により圧縮符号化する場合、圧縮画像記憶部１７には、圧縮ブロック画像データの階層符号化されたパケットがＬＲＣＰ（Layer-resolution level-component-position）の順に、重要度の高い並びで記憶される。したがって、出力部１８が複数の圧縮ブロック画像データの内の、画質向上度が大きいデータから順に出力することが、容易な構成で実現可能である。そして出力部１８が、分割されたブロック画像の圧縮ブロック画像データを例えばブロック画像Ｂ0 からＢ8 まで順に出力するのではなく、分割されたブロック画像夫々について均等に画質向上度が大きい圧縮ブロック画像データから出力する。これにより、復号側で一のフレーム全体の画像データをブロック画像の順に出力するのではなく、全体としてプログレッシブに出力することが可能となる。 When the compression unit 16 performs compression encoding using JPEG2000, the compressed image storage unit 17 stores the hierarchically encoded packets of compressed block image data in the order of LRCP (Layer-resolution level-component-position). Memorized in line. Therefore, it is possible to realize the output unit 18 with a simple configuration in which a plurality of compressed block image data are output in order from the data with the highest image quality improvement degree. Then, the output unit 18 does not output the compressed block image data of the divided block images in order, for example, from the block images B 0 to B 8, but the compressed block images having a high image quality improvement level equally for each of the divided block images. Output from data. As a result, the image data of the entire frame can be output progressively as a whole rather than being output in the order of block images on the decoding side.

なお、圧縮部１６がＪＰＥＧ２０００を利用して符号化する場合は、圧縮部１６がブロック画像を夫々を圧縮するに際し、ブロック画像を複数のタイルに分割し、各タイルについてビットプレーン毎に符号化処理を行なう。したがって、同一ブロック画像内でも複数のタイルの内の、より画質向上度が大きいタイルがより先に出力されて圧縮画像記憶部１７に記憶されている。即ち、より細かい単位で画質向上度が大きいデータから先に出力される。   When the compression unit 16 encodes using JPEG2000, when the compression unit 16 compresses each block image, the block image is divided into a plurality of tiles, and each tile is encoded for each bit plane. To do. Therefore, tiles having a higher image quality improvement degree among a plurality of tiles in the same block image are output earlier and stored in the compressed image storage unit 17. That is, data with a higher image quality improvement degree is output first in smaller units.

そして出力部１８は、出力制御部１９から入力される制御信号に従い、上述に示した圧縮画像記憶部１７からの圧縮ブロック画像データの読み出し、並びに、出力処理の開始及び終了をブロック画像毎に行なう。本実施の形態における画像出力装置１で圧縮ブロック画像データの出力の開始、終了が制御される処理について、フローチャートを参照して説明する。   The output unit 18 reads out the compressed block image data from the compressed image storage unit 17 and starts and ends the output process for each block image in accordance with the control signal input from the output control unit 19. . Processing for controlling the start and end of output of compressed block image data in the image output apparatus 1 according to the present embodiment will be described with reference to flowcharts.

図３は、本実施の形態における画像出力装置１で圧縮ブロック画像データの出力が制御される処理手順の一例を示すフローチャートである。以下の処理は、分割されたブロック画像夫々を対象として行なわれる。   FIG. 3 is a flowchart illustrating an example of a processing procedure for controlling the output of the compressed block image data in the image output apparatus 1 according to the present embodiment. The following processing is performed for each of the divided block images.

出力制御部１９は、圧縮画像記憶部１７を参照し、対象ブロック画像の圧縮ブロック画像データの有無を判断する（ステップＳ１１）。出力制御部１９は、圧縮画像記憶部１７に圧縮ブロック画像データが無いと判断した場合（Ｓ１１：ＮＯ）、処理をステップＳ１１へ戻し、圧縮ブロック画像データが圧縮部１６により書き込まれるまで待機する。出力制御部１９は、圧縮画像記憶部１７に圧縮ブロック画像データがあると判断した場合（Ｓ１１：ＹＥＳ）、出力部１８により、圧縮画像記憶部１７からの対象ブロック画像についての圧縮ブロック画像データの読み出し及び出力を開始させる（ステップＳ１２）。   The output control unit 19 refers to the compressed image storage unit 17 and determines whether or not there is compressed block image data of the target block image (step S11). If the output control unit 19 determines that there is no compressed block image data in the compressed image storage unit 17 (S11: NO), the process returns to step S11 and waits until the compressed block image data is written by the compression unit 16. When the output control unit 19 determines that there is compressed block image data in the compressed image storage unit 17 (S11: YES), the output unit 18 causes the output unit 18 to store the compressed block image data for the target block image from the compressed image storage unit 17. Reading and outputting are started (step S12).

出力制御部１９は、一のフレームの対象ブロック画像について圧縮ブロック画像データの出力が開始されてからの時間ｔの計測を開始し（ステップＳ１３）、時間ｔが所定時間Ｔ２以上であるかを判断する（ステップＳ１４）。このときの所定時間Ｔ２は例えば、フレームレートの逆数、即ちフレーム当たりの時間、又は当該フレーム当たりの時間よりも所定時間（例えば、一フレーム当たりの時間を、ブロック画像を構成するタイルの数で除算した単位時間の２．５単位時間分）短い時間である。   The output control unit 19 starts measuring time t after the output of the compressed block image data for the target block image of one frame is started (step S13), and determines whether the time t is equal to or greater than the predetermined time T2. (Step S14). The predetermined time T2 at this time is, for example, the reciprocal of the frame rate, that is, the time per frame, or a predetermined time (for example, the time per frame divided by the number of tiles constituting the block image). The unit time is 2.5 unit hours).

出力制御部１９は、時間ｔが所定時間Ｔ２未満であると判断した場合（Ｓ１４：ＮＯ）、処理をステップＳ１４へ戻す。このとき、出力部１８では圧縮画像記憶部１７からの対象ブロック画像についての圧縮ブロック画像データの読み出し及び出力が続行される。   When the output control unit 19 determines that the time t is less than the predetermined time T2 (S14: NO), the process returns to step S14. At this time, the output unit 18 continues to read and output the compressed block image data for the target block image from the compressed image storage unit 17.

出力制御部１９は、時間ｔが所定時間Ｔ２以上であると判断した場合（Ｓ１４：ＹＥＳ）、時間ｔが所定時間Ｔ１を経過しているか否かを判断する（ステップＳ１５）。このとき所定時間Ｔ１は例えば、Ｔ１＝３×Ｔ２、即ちフレーム当たりの時間の３フレーム分である。   When the output control unit 19 determines that the time t is equal to or longer than the predetermined time T2 (S14: YES), the output control unit 19 determines whether the time t has passed the predetermined time T1 (step S15). At this time, the predetermined time T1 is, for example, T1 = 3 × T2, that is, three frames of time per frame.

出力制御部１９は、時間ｔが所定時間Ｔ１を経過していないと判断した場合（Ｓ１５：ＮＯ）、即ち、所定時間Ｔ１は経過していないものの、次のフレームの圧縮ブロック画像データの出力タイミングが到来する場合、出力中の圧縮ブロック画像データの画質が所定の画質を満たすか否かを判断する（ステップＳ１６）。具体的には、出力制御部１９は圧縮画像記憶部１７に記憶されている対象ブロック画像の圧縮ブロック画像データの内、その時点で先頭に記憶されている圧縮ブロック画像データのパケットヘッダに含まれている画質向上度を表わす値が、所定値以下であるか否かを判断する。また、出力部１８から出力済みの圧縮ブロック画像データのパケットヘッダに含まれていた画質向上度を表わす値の通知を受け付けて判断してもよい。   When the output control unit 19 determines that the time t has not passed the predetermined time T1 (S15: NO), that is, although the predetermined time T1 has not passed, the output timing of the compressed block image data of the next frame Is determined, whether or not the image quality of the compressed block image data being output satisfies a predetermined image quality (step S16). Specifically, the output control unit 19 is included in the packet header of the compressed block image data stored at the beginning of the compressed block image data of the target block image stored in the compressed image storage unit 17 at that time. It is determined whether or not the value indicating the image quality improvement level is equal to or less than a predetermined value. Further, it may be determined by receiving a notification of a value representing the degree of image quality improvement included in the packet header of the compressed block image data that has been output from the output unit 18.

出力制御部１９は、画質が所定の画質を満たしていないと判断した場合（Ｓ１６：ＮＯ）、処理をステップＳ１４へ戻す。これにより、次のフレームの圧縮ブロック画像データの出力タイミングが到来している場合であっても、出力部１８では出力中のフレームの圧縮ブロック画像データの圧縮画像記憶部１７からの読み出し及び出力が続行される。   If the output control unit 19 determines that the image quality does not satisfy the predetermined image quality (S16: NO), the process returns to step S14. Thereby, even when the output timing of the compressed block image data of the next frame has arrived, the output unit 18 reads and outputs the compressed block image data of the frame being output from the compressed image storage unit 17. To continue.

出力制御部１９はステップＳ１６において画質が所定の画質を満たすと判断した場合（Ｓ１６：ＹＥＳ）、対象ブロック画像について残りの圧縮ブロック画像データが圧縮画像記憶部１７に記憶されているときでも出力部１８へ出力の終了を示す制御信号を入力し、出力中のフレームの圧縮ブロック画像データの出力を終了させる（ステップＳ１７）。この場合、対象ブロック画像について残りの圧縮ブロック画像データが圧縮画像記憶部１７に記憶されているとき、出力制御部１９は圧縮画像記憶部１７から当該残りの圧縮ブロック画像データを削除するようにしてもよい。   When the output control unit 19 determines that the image quality satisfies the predetermined image quality in step S <b> 16 (S <b> 16: YES), even when the remaining compressed block image data is stored in the compressed image storage unit 17 for the target block image, the output unit A control signal indicating the end of output is input to 18, and the output of the compressed block image data of the frame being output is ended (step S17). In this case, when the remaining compressed block image data is stored in the compressed image storage unit 17 for the target block image, the output control unit 19 deletes the remaining compressed block image data from the compressed image storage unit 17. Also good.

また、出力制御部１９は、時間ｔが所定時間Ｔ１を経過していると判断した場合（Ｓ１５：ＹＥＳ）、ステップＳ１６による画質が所定の画質を満たしているか否かの判断処理を行なうことなしに、出力を終了させる（Ｓ１７）。このとき同様に、出力制御部１９は圧縮画像記憶部１７から当該残りの圧縮ブロック画像データを削除するようにしてもよい。   Further, when the output control unit 19 determines that the time t has passed the predetermined time T1 (S15: YES), the output control unit 19 does not perform a determination process as to whether or not the image quality in step S16 satisfies the predetermined image quality. Then, the output is terminated (S17). At this time, similarly, the output control unit 19 may delete the remaining compressed block image data from the compressed image storage unit 17.

そして出力制御部１９は、対象ブロック画像の圧縮ブロック画像データの出力を終了させた場合（Ｓ１７）、時間ｔの計測を終了し（ステップＳ１８）、処理をステップＳ１１へ戻し、次の対象ブロック画像の圧縮ブロック画像データの出力の開始及び終了を制御する。   When the output control unit 19 ends the output of the compressed block image data of the target block image (S17), the output control unit 19 ends the measurement of the time t (step S18), returns the processing to step S11, and returns to the next target block image. The start and end of the output of the compressed block image data are controlled.

図３のフローチャートに示した処理手順は、画像出力装置１が起動している間、繰り返される。画像出力装置１へ電力供給がされなくなった場合に処理が終了される。   The processing procedure shown in the flowchart of FIG. 3 is repeated while the image output apparatus 1 is activated. The process ends when power is not supplied to the image output apparatus 1.

なお、ステップＳ１４及びステップＳ１５の処理手順は、圧縮ブロック画像データの出力を開始してからの時間ｔと所定時間との比較に基づいて、次のフレームの圧縮ブロック画像データの出力タイミングが到来するか否かを判断する構成とした。しかしながら、本発明はこれに限らず、本来のフレーム出力周期の開始時点からの時間を計測する構成としてもよい。これにより、一のフレームの圧縮ブロック画像データの出力を開始するタイミングが、前のフレームの圧縮ブロック画像データの出力が続行されたことによりずれ込んだ場合に、当該一のフレームの本来のフレーム期間の終了時点で所定の画質を満たしているときには出力を終了させ、次のフレームの圧縮ブロック画像データの出力の即時性を高めることが可能となる。   Note that the processing procedure of step S14 and step S15 is based on the comparison between the time t after the start of outputting compressed block image data and a predetermined time, and the output timing of the compressed block image data of the next frame arrives. It was set as the structure which judges whether or not. However, the present invention is not limited to this, and the time from the start of the original frame output cycle may be measured. As a result, when the output of the compressed block image data of one frame is shifted due to the continued output of the compressed block image data of the previous frame, the original frame period of the one frame is When the predetermined image quality is satisfied at the end time, the output is ended, and the immediacy of the output of the compressed block image data of the next frame can be improved.

本実施の形態における画像出力装置１では、図３のフローチャートに示した処理手順により一のフレームの対象ブロック画像の圧縮ブロック画像データの出力が続行されて、後のフレームの圧縮ブロック画像データの出力タイミングが待機される場合、データ量を抑えるためにフレームの間引き処理が行なわれる。また、本実施の形態における画像出力装置１では、差分でないブロック画像を圧縮するか、又は差分ブロック画像を圧縮するかが、前の画像データとの差分量に応じて選択される。   In the image output apparatus 1 in the present embodiment, the output of the compressed block image data of the target block image of one frame is continued by the processing procedure shown in the flowchart of FIG. 3, and the output of the compressed block image data of the subsequent frame is output. When the timing is awaited, frame thinning processing is performed in order to reduce the amount of data. Further, in the image output apparatus 1 according to the present embodiment, whether to compress a block image that is not a difference or to compress a difference block image is selected according to the amount of difference from the previous image data.

図４は、本実施の形態における画像出力装置１で、フレームの間引き処理及び圧縮対象となる画像の選択処理の手順の一例を示すフローチャートである。以下に示す処理手順についても、分割されたブロック画像夫々を対象として行なわれる。   FIG. 4 is a flowchart illustrating an example of a procedure of frame thinning processing and selection processing of an image to be compressed in the image output apparatus 1 according to the present embodiment. The following processing procedure is also performed for each of the divided block images.

出力制御部１９は、初期状態として差分でないブロック画像を圧縮部１６で圧縮するように選択する（ステップＳ２０１）。具体的には、出力制御部１９は初期状態で、対象ブロック画像について差分でないブロック画像を圧縮部１６へ入力させるように選択部１５に選択信号を入力する。   The output control unit 19 selects the compression unit 16 to compress a block image that is not a difference as an initial state (step S201). Specifically, the output control unit 19 inputs a selection signal to the selection unit 15 so that a block image that is not a difference with respect to the target block image is input to the compression unit 16 in the initial state.

出力制御部１９は、画像出力装置１の各構成部による動作が開始して、差分画像生成部１３及び画像分割部１２から選択部１５へブロック画像が入力されたか否かを判断する（ステップＳ２０２）。選択部１５へブロック画像が入力されるタイミングは例えば、各フレームの出力タイミングよりも所定時間前（例えば、一フレーム当たりの時間を、ブロック画像を構成するタイルの数で除算した単位時間の２．５単位時間分前）のタイミングとなるように構成されている。   The output control unit 19 determines whether the operation of each component of the image output apparatus 1 has started and a block image has been input to the selection unit 15 from the difference image generation unit 13 and the image division unit 12 (step S202). ). The timing at which the block image is input to the selection unit 15 is, for example, 2.2 of a unit time obtained by dividing the time per frame by a predetermined time before the output timing of each frame (for example, the time per frame divided by the number of tiles constituting the block image. It is configured to be at a timing of 5 unit hours).

出力制御部１９は、選択部１５へブロック画像が入力されていないと判断した場合（Ｓ２０２：ＮＯ）、処理をステップＳ２０２へ戻す。出力制御部１９は、選択部１５へブロック画像が入力されたと判断した場合（Ｓ２０２：ＹＥＳ）、その時点で出力部１８により一つ前のフレームの対象ブロック画像の圧縮ブロック画像データを出力中であるか否かを判断する（ステップＳ２０３）。   If the output control unit 19 determines that no block image is input to the selection unit 15 (S202: NO), the process returns to step S202. When the output control unit 19 determines that a block image has been input to the selection unit 15 (S202: YES), the output unit 18 is currently outputting the compressed block image data of the target block image of the previous frame at that time. It is determined whether or not there is (step S203).

出力制御部１９は、一つ前のフレームの対象ブロック画像の圧縮ブロック画像データを出力中でないと判断した場合（Ｓ２０３：ＮＯ）、更に前のフレームの対象ブロック画像の圧縮画像データの出力が続行されているので、当該一つ前のフレームの対象ブロック画像の圧縮ブロック画像データは圧縮画像記憶部１７から破棄する（ステップＳ２０４）。この場合、出力制御部１９は、破棄したフレームの対象ブロック画像との差分ブロック画像を差分画像生成部１３で取得していたときには、差分ブロック画像を再取得しておく（ステップＳ２０５）。   When the output control unit 19 determines that the compressed block image data of the target block image of the previous frame is not being output (S203: NO), the output of the compressed image data of the target block image of the previous frame continues. Therefore, the compressed block image data of the target block image of the previous frame is discarded from the compressed image storage unit 17 (step S204). In this case, when the difference image generation unit 13 has acquired a difference block image with the target block image of the discarded frame, the output control unit 19 reacquires the difference block image (step S205).

また出力制御部１９は、一つ前のフレームの対象ブロック画像の圧縮ブロック画像データを出力中であると判断した場合（Ｓ２０３：ＹＥＳ）、処理を次のステップＳ２０６へ進める。   If the output control unit 19 determines that the compressed block image data of the target block image of the previous frame is being output (S203: YES), the process proceeds to the next step S206.

次に出力制御部１９は、差分画像生成部１３から入力される差分値が所定値よりも大きいか否かを判断する（ステップＳ２０６）。出力制御部１９は、差分値が所定値よりも大きいと判断した場合（Ｓ２０６：ＹＥＳ）、差分でないブロック画像を圧縮部１６へ入力するように選択信号を選択部１５へ入力し（ステップＳ２０７）、有効信号を参照画像記憶部１４に入力することにより、対象ブロック画像を参照画像として記憶し直すように参照画像記憶部１４へリフレッシュ要求を行なう（ステップＳ２０８）。   Next, the output control unit 19 determines whether or not the difference value input from the difference image generation unit 13 is greater than a predetermined value (step S206). When the output control unit 19 determines that the difference value is larger than the predetermined value (S206: YES), the output control unit 19 inputs a selection signal to the selection unit 15 so as to input a block image that is not a difference to the compression unit 16 (step S207). Then, by inputting a valid signal to the reference image storage unit 14, a refresh request is made to the reference image storage unit 14 so that the target block image is stored again as a reference image (step S208).

出力制御部１９は、選択部１５から差分ブロック画像又は差分でないブロック画像のいずれかを圧縮部１６へ入力させて圧縮を開始させ（ステップＳ２０９）、処理をステップＳ２０２へ戻して次のフレームの対象ブロック画像が入力されるまで待機する。   The output control unit 19 inputs either the difference block image or the non-difference block image from the selection unit 15 to the compression unit 16 to start compression (step S209), returns the processing to step S202, and processes the next frame. Wait until a block image is input.

なお、ステップＳ２０６において差分値が所定値以下であると判断した場合（Ｓ２０６：ＮＯ）、出力制御部１９は、ステップＳ２０３において判断した出力中の圧縮ブロック画像データは、３つ前以前のフレームの画像データの圧縮ブロック画像データであるか否かを判断する（ステップＳ２１０）。出力制御部１９は、出力中の圧縮ブロック画像データは、３つ前以前のフレームの画像データの圧縮ブロック画像データであると判断した場合（Ｓ２１０：ＹＥＳ）、差分値が所定値以下であっても差分でないブロック画像を圧縮するように選択信号を選択部１５へ入力する（Ｓ２０７）。出力制御部１９は、出力中の圧縮ブロック画像データが、２つ前以降のフレームの画像データの圧縮ブロック画像データであると判断した場合（Ｓ２１０：ＮＯ）、差分値が所定値以下であるので差分ブロック画像を圧縮部１６へ入力するように選択信号を選択部１５へ入力し（ステップＳ２１１）、圧縮を開始させる（Ｓ２０９）。   When it is determined in step S206 that the difference value is equal to or smaller than the predetermined value (S206: NO), the output control unit 19 determines that the compressed block image data being output determined in step S203 is the frame of the previous three frames. It is determined whether the image data is compressed block image data (step S210). When the output control unit 19 determines that the compressed block image data being output is the compressed block image data of the image data of the previous three frames (S210: YES), the difference value is equal to or less than a predetermined value. A selection signal is input to the selection unit 15 so as to compress a block image that is not a difference (S207). When the output control unit 19 determines that the compressed block image data being output is the compressed block image data of the image data of the second and subsequent frames (S210: NO), the difference value is equal to or less than a predetermined value. A selection signal is input to the selection unit 15 so as to input the difference block image to the compression unit 16 (step S211), and compression is started (S209).

図４のフローチャートに示した処理により、出力部１８によって順次読み出される圧縮ブロック画像データは、ブロック画像毎に自動的に間引き処理、選択処理が行なわれる。なお、図４のフローチャートに示した処理手順の内、ステップＳ２０６において、差分値が略ゼロであると判断される場合には、圧縮部１６による圧縮処理さえも省略するようにしてもよい。この場合、圧縮画像記憶部１７への書き込みも行なわれず、出力部１８は圧縮画像記憶部１７に既に書き込まれている、前のフレームの圧縮ブロック画像データを出力する。これにより、出力されるデータ量をより削減し、各フレームの即時性を高めることができる。   With the processing shown in the flowchart of FIG. 4, the compressed block image data sequentially read by the output unit 18 is automatically subjected to thinning processing and selection processing for each block image. Note that, in the processing procedure shown in the flowchart of FIG. 4, even when the difference value is determined to be substantially zero in step S <b> 206, even the compression processing by the compression unit 16 may be omitted. In this case, writing to the compressed image storage unit 17 is not performed, and the output unit 18 outputs the compressed block image data of the previous frame already written to the compressed image storage unit 17. Thereby, the amount of data to be output can be further reduced, and the immediacy of each frame can be increased.

次に、画像出力装置１の各構成部の動作により図３及び図４のフローチャートに示した処理が行なわれる結果、出力部１８から出力される圧縮ブロック画像データについて具体例を挙げて説明する。   Next, the compressed block image data output from the output unit 18 will be described with a specific example as a result of the processing shown in the flowcharts of FIGS. 3 and 4 being performed by the operation of each component of the image output apparatus 1.

図５は、本実施の形態における画像出力装置１の出力部１８から出力される圧縮ブロック画像データの出力タイミングを示す説明図である。図５中の上段に示す矩形は１フレーム分の画像が複数のブロック画像に分割される例を示している。本実施の形態における画像出力装置１を構成する画像分割部１２は、図２（ａ）の説明図に示したように１フレーム分の画像を左上から水平方向に順にＢ0 からＢ8 までの９つのブロック画像に分割する。 FIG. 5 is an explanatory diagram showing the output timing of the compressed block image data output from the output unit 18 of the image output apparatus 1 according to the present embodiment. The rectangle shown in the upper part of FIG. 5 shows an example in which an image for one frame is divided into a plurality of block images. As shown in the explanatory diagram of FIG. 2A, the image dividing unit 12 included in the image output apparatus 1 according to the present embodiment sequentially outputs images for one frame from B 0 to B 8 in the horizontal direction from the upper left. Divide into 9 block images.

図５中の中段に示す５つの矩形は夫々、画像取得部１１によって取得される１フレーム分の画像データを示している。図５の左から右へ向かって時間の経過を示し、各画像データは＃０のフレームから順に＃４のフレームへ至るように内容が変移していることを示している。なお、図５中の中段に示す５つの矩形におけるブロック画像は破線により区切られ、図５中の上段で示した各ブロック画像Ｂ0 からＢ8 までに対応している。＃０のフレームは平坦な画像データであるが、＃１のフレームではブロック画像Ｂ1 、Ｂ2 、Ｂ4 、Ｂ5 に相当する部分に矩形が現われ、＃２のフレームではブロック画像Ｂ4 、Ｂ5 、Ｂ7 、Ｂ8 に相当する部分に楕円形が現われ、＃３のフレームではブロックＢ7 、Ｂ8 に相当する部分に線分が現われ、＃４のフレームでは＃３のフレームからほぼ変化がないことが示されている。 Each of the five rectangles shown in the middle part of FIG. 5 represents image data for one frame acquired by the image acquisition unit 11. FIG. 5 shows the passage of time from the left to the right, and shows that the contents of each image data are shifted from the # 0 frame to the # 4 frame in order. Note that the block images in the five rectangles shown in the middle stage in FIG. 5 are separated by broken lines and correspond to the block images B 0 to B 8 shown in the upper stage in FIG. The # 0 frame is flat image data, but in the # 1 frame, a rectangle appears in the portion corresponding to the block images B 1 , B 2 , B 4 , and B 5 , and in the # 2 frame, the block image B 4 , An ellipse appears in the portion corresponding to B 5 , B 7 , and B 8 , a line segment appears in the portion corresponding to the blocks B 7 and B 8 in the # 3 frame, and almost the same as the # 3 frame in the # 4 frame. It is shown that there is no change.

図５中の下段には各フレームの出力タイムチャートが示されており、左から右へ時間の経過を示している。フレーム期間は、例えば毎秒６０フレームのフレームレートで出力される場合の＃０から＃４まで夫々の１フレーム当たりの期間である。図５の下段に示す例では、所定時間Ｔ２は１フレーム期間、所定時間Ｔ１は３フレーム分のフレーム期間とするが、夫々１フレーム期間又は３フレーム分のフレーム期間よりも若干短い時間でもよい。図５中の下段に示す各矩形は各ブロック画像の圧縮ブロック画像データの出力期間を表わしており、白抜きの矩形は差分でないブロック画像を圧縮した圧縮ブロック画像データであり、網掛けの矩形は差分ブロック画像を圧縮した圧縮ブロック画像データを表わしている。   In the lower part of FIG. 5, an output time chart of each frame is shown, showing the passage of time from left to right. The frame period is a period per frame from # 0 to # 4 when output at a frame rate of 60 frames per second, for example. In the example shown in the lower part of FIG. 5, the predetermined time T2 is one frame period and the predetermined time T1 is a frame period of three frames, but may be slightly shorter than one frame period or a frame period of three frames, respectively. Each rectangle shown in the lower part of FIG. 5 represents the output period of the compressed block image data of each block image. The white rectangle is compressed block image data obtained by compressing a block image that is not a difference. It represents compressed block image data obtained by compressing a differential block image.

図５中の下段に示す例ではまず、ブロック画像Ｂ１ に注目した場合、＃１のフレームの圧縮ブロック画像データを出力中に、＃１のフレームの圧縮ブロック画像データの出力開始から時間ｔが所定時間Ｔ２以上となり、次の＃２のフレームの圧縮ブロック画像データの出力タイミングとなったときに出力済みの＃１のフレームにおける圧縮ブロック画像データと圧縮前のブロック画像データとの画質が評価され、所定の画質を満たすか否か、すなわち圧縮前のブロック画像データからの劣化が許容できる範囲か否かが判断される。図５の説明図に示す例では、＃２のフレームの圧縮ブロック画像データの出力タイミングの時点では所定の画質を満たさないと判断されて出力が続行されている。そして、＃３のフレームの圧縮ブロック画像データの出力タイミング（Ｔ１＞時間ｔ≧Ｔ２）でも同様に、所定の画質を満たさないと判断されて出力が続行されている。したがって、＃３のフレームの圧縮ブロック画像データの出力タイミングの前に、＃３のフレームの差分ブロック画像及び差分でないブロック画像が選択部１５に入力され、いずれを圧縮するかの選択がされる場合、１つ前の＃２のフレームの画像の圧縮ブロック画像データの出力中ではないので、＃２のフレームの圧縮ブロック画像データは圧縮画像記憶部１７から削除されて破棄される。＃３のフレームのブロック画像については差分値は所定値よりも小さいと判断されて差分ブロック画像（＃１との差分）を圧縮するように選択される。そして、＃１のフレームの圧縮ブロック画像データの出力開始から時間ｔ１１が経過した時点（Ｔ１＞ｔ１１≧Ｔ２）で所定の画質を満たすと判断されて出力が終了される。この時点で＃２のフレームの圧縮ブロック画像データは破棄されているので、次には＃３のフレームの圧縮ブロック画像データの出力が開始されている。 In the example shown in the lower part of FIG. 5, first, when the block image B1 is focused, the time t from the start of the output of the compressed block image data of the # 1 frame is output while the compressed block image data of the # 1 frame is being output. When the time T2 is reached and the output timing of the compressed block image data of the next # 2 frame is reached , the image quality of the compressed block image data and the pre-compressed block image data in the output # 1 frame is evaluated. It is determined whether or not a predetermined image quality is satisfied , that is, whether or not deterioration from the block image data before compression is acceptable . In the example shown in the explanatory diagram of FIG. 5, it is determined that the predetermined image quality is not satisfied at the output timing of the compressed block image data of the frame # 2, and the output is continued. Similarly, at the output timing (T1> time t ≧ T2) of the compressed block image data of the frame # 3, it is determined that the predetermined image quality is not satisfied, and the output is continued. Accordingly, before the output timing of the compressed block image data of the # 3 frame, the differential block image of the # 3 frame and the non-difference block image are input to the selection unit 15 and selection of which to compress is performed. Since the compressed block image data of the image of the previous # 2 frame is not being output, the compressed block image data of the # 2 frame is deleted from the compressed image storage unit 17 and discarded. For the block image of the frame # 3, it is determined that the difference value is smaller than the predetermined value, and the difference block image (difference from # 1) is selected to be compressed. Then, when the time t11 has elapsed from the start of outputting the compressed block image data of the # 1 frame (T1> t11 ≧ T2), it is determined that the predetermined image quality is satisfied, and the output ends. At this time, since the compressed block image data of the # 2 frame has been discarded, the output of the compressed block image data of the # 3 frame is started next.

次に、ブロック画像Ｂ2 に注目した場合、＃１のフレームの圧縮ブロック画像データを出力中、次の＃２のフレームの圧縮ブロック画像データの出力タイミング（時間ｔ≧Ｔ２）で所定の画質を満たさないと判断されて出力が続行されている。そして、時間ｔ21（Ｔ１＞ｔ21≧Ｔ２）が経過した時点で所定の画質を満たすと判断されて出力が終了され、＃２のフレームの圧縮ブロック画像データの出力が開始されている。また、＃３のフレームの圧縮ブロック画像データの出力タイミングの前に、＃３のフレームの差分ブロック画像及び差分でないブロック画像が選択部１５に入力され、いずれを圧縮するかの選択がされる。この場合、判断がされる時点で１つ前の＃２のフレームの圧縮ブロック画像データの出力中であり、差分値は所定値よりも小さいと判断されて差分ブロック画像を圧縮するように選択される。したがって、＃２のフレームの圧縮ブロック画像データの出力の終了後は、＃３のフレームの差分ブロック画像（＃１又は＃２との差分）が圧縮符号化された圧縮ブロック画像データの出力が開始されている。 Next, when attention is paid to the block image B 2, in the output compressed block image data # 1 of the frame, a predetermined image quality in the output timing of the compressed block image data of the next # 2 of the frame (time t ≧ T2) Output is determined to be not satisfied and output continues. Then, when the time t 21 (T1> t 21 ≧ T2) has passed, it is determined that the predetermined image quality is satisfied, the output is terminated, and the output of the compressed block image data of the # 2 frame is started. Also, before the output timing of the compressed block image data of the # 3 frame, the difference block image and the non-difference block image of the # 3 frame are input to the selection unit 15 to select which one to compress. In this case, the compressed block image data of the previous # 2 frame is being output at the time of determination, and it is determined that the difference value is smaller than the predetermined value and the difference block image is selected to be compressed. The Therefore, after the output of the compressed block image data of the # 2 frame is finished, the output of the compressed block image data in which the differential block image of the # 3 frame (difference from # 1 or # 2) is compression-encoded is started. Has been.

また、ブロック画像Ｂ4 に注目した場合、＃１のフレームの圧縮ブロック画像データを出力中、次の＃２のフレームの圧縮ブロック画像データの出力タイミング（時間ｔ≧Ｔ２）で同様に所定の画質を満たさないと判断されて出力が続行されている。その後、＃２のフレームの圧縮ブロック画像データの出力がされているが、次の＃３、更に後の＃４及び＃５のフレームの圧縮ブロック画像データの出力タイミング（Ｔ１＞時間ｔ≧Ｔ２）でも所定の画質を満たさないと判断されて出力が続行されている。ただし、出力開始からの時間ｔが所定時間Ｔ１を超える時点（ｔ42＞Ｔ１）で、画質が所定の画質を満たすか否かに拘わらず、＃２のフレームの圧縮ブロック画像データの出力は終了される。この場合、＃４のフレームの圧縮ブロック画像データの出力タイミングの前に、各フレームの差分ブロック画像及び差分でないブロック画像が選択部１５に入力され、いずれを圧縮するかの選択がされるが、１つ前より前の＃２のフレームの圧縮ブロック画像データの出力中であるので、＃３のフレームの圧縮ブロック画像データは圧縮画像記憶部１７から削除されて破棄される。＃５のフレームの差分ブロック画像及び差分でないブロック画像が選択部１５に入力されていずれを圧縮するかの選択がされる場合も、＃２のフレームの圧縮ブロック画像データの出力中であるので＃４のフレームの圧縮ブロック画像データは圧縮画像記憶部１７から削除されて破棄され、＃５のフレームのブロック画像は、差分値が所定値よりも小さいときであっても、差分でないブロック画像が圧縮部１６に入力されて圧縮されるように選択される。 Also, when attention is paid to the block image B 4, in the output compressed block image data # 1 of the frame, a predetermined image quality in the same manner at the output timing of the compressed block image data of the next # 2 of the frame (time t ≧ T2) Output is continued because it is determined that the condition is not satisfied. After that, the compressed block image data of the # 2 frame is output, but the output timing of the compressed block image data of the next # 3 and the subsequent # 4 and # 5 frames (T1> time t ≧ T2) However, it is determined that the predetermined image quality is not satisfied, and output is continued. However, when the time t from the start of output exceeds the predetermined time T1 (t 42 > T1), the output of the compressed block image data of the frame # 2 ends regardless of whether the image quality satisfies the predetermined image quality or not. Is done. In this case, before the output timing of the compressed block image data of the # 4 frame, the difference block image and the non-difference block image of each frame are input to the selection unit 15 to select which one to compress. Since the compressed block image data of the # 2 frame before the previous one is being output, the compressed block image data of the # 3 frame is deleted from the compressed image storage unit 17 and discarded. Even when the difference block image of the frame # 5 and the block image that is not the difference are input to the selection unit 15 and selection of which to compress is performed, the compressed block image data of the frame # 2 is being output. The compressed block image data of frame 4 is deleted from the compressed image storage unit 17 and discarded, and the block image of frame # 5 is compressed by a block image that is not a difference even when the difference value is smaller than a predetermined value. The data is input to the unit 16 and selected to be compressed.

同様に、ブロック画像Ｂ5 では、＃１のフレームの圧縮ブロック画像データを出力中、次の＃２のフレームの圧縮ブロック画像データの出力タイミング（時間ｔ≧Ｔ２）で所定の画質を満たさないと判断されて出力が続行されている。同様に＃２のフレームの圧縮ブロック画像データを出力中、次の＃３のフレームの圧縮ブロック画像データの出力タイミング（時間ｔ≧Ｔ２）で所定の画質を満たさないと判断されて出力が続行されている。そして、＃３のフレームの圧縮ブロック画像データが破棄され、次に出力されるのは更に後の＃４のフレームの圧縮ブロック画像データであることが示されている。 Similarly, in block image B 5 , while the compressed block image data of the # 1 frame is being output, the predetermined image quality must be satisfied at the output timing (time t ≧ T2) of the compressed block image data of the next # 2 frame. Judgment is made and output continues. Similarly, while outputting the compressed block image data of the # 2 frame, it is determined that the predetermined image quality is not satisfied at the output timing (time t ≧ T2) of the compressed block image data of the next # 3 frame, and the output is continued. ing. Then, it is shown that the compressed block image data of the # 3 frame is discarded, and the next output is the compressed block image data of the subsequent # 4 frame.

このように、本実施の形態における画像出力装置１は、それまでに出力した過去のフレームではなく、出力中のフレームの圧縮ブロック画像データの画質に基づいて、出力されるタイミングを一定とせずに変動させてフレームレートを制御する。これにより、画質を所定の画質以上に維持すると共にデータ量を抑えることができ、遅延及び画質の劣化を低減させることができる。また、各画像データをブロック画像に分割し、ブロック画像毎にフレームレートを適切に制御することで変化の大きい部分と、変化の小さい部分とで適切にデータ量を割り振り、データ量を効率的に抑えて画質を維持することが可能になる。   As described above, the image output device 1 according to the present embodiment does not make the output timing constant based on the image quality of the compressed block image data of the frame that is being output, not the past frame that has been output so far. Vary the frame rate. As a result, the image quality can be maintained at a predetermined image quality or higher, the amount of data can be suppressed, and delay and image quality degradation can be reduced. In addition, each image data is divided into block images, and by appropriately controlling the frame rate for each block image, the data amount is allocated appropriately between the portion with large change and the portion with small change, thereby efficiently reducing the data amount. It is possible to suppress and maintain the image quality.

なお、図５中の網掛けの矩形に相当する圧縮ブロック画像データについては、差分ブロック画像を圧縮したデータであるので、夫々フレーム期間よりも短い時間で出力が完了する可能性が高い。例えばブロック画像Ｂ2 に注目した場合、図５に示す例では＃２から＃５までのフレームの圧縮ブロック画像データの出力期間は夫々フレーム期間と同様の期間を示している。しかしながら、各フレームの圧縮ブロック画像データの出力を開始してからの時間が所定時間Ｔ２を経過する前に、データが終了する場合又は所定の画質を満たす場合にはその時点で出力を終了するようにする。これにより、各出力期間は夫々フレーム期間よりも短くなることが期待され、＃２から＃５までのフレームの圧縮ブロック画像データの出力タイミングは夫々、手前に繰り上がり即時性が更に高められる。 Since the compressed block image data corresponding to the shaded rectangle in FIG. 5 is data obtained by compressing the difference block image, it is highly likely that the output is completed in a time shorter than the frame period. For example, when attention is paid to the block image B 2, in the example shown in FIG. 5 output period of the compressed block image data of the frame from # 2 to # 5 indicates a period similar to the respective frame periods. However, if the data ends or the predetermined image quality is satisfied before the predetermined time T2 elapses after the output of the compressed block image data of each frame starts, the output ends at that time. To. As a result, each output period is expected to be shorter than the frame period, and the output timing of the compressed block image data of the frames # 2 to # 5 is advanced forward to further improve the immediacy.

また、差分ブロック画像を圧縮する際、差分値が略ゼロである場合には出力が省略される構成としてもよい。図５に示した例では、例えば＃０のフレームと＃１のフレームのフレームとではブロック画像Ｂ0 、Ｂ3 、Ｂ6 、Ｂ7 、Ｂ8 では変化がないので、これらのブロックのデータの出力を省略することによってデータ量を削減し、無線技術を利用して画像を伝送する場合等の伝送帯域に制限がある場合であっても即時性を高めてリアルタイムに画像でデータを出力することを可能とする。 Further, when the difference block image is compressed, the output may be omitted if the difference value is substantially zero. In the example shown in FIG. 5, for example, there is no change in the block images B 0 , B 3 , B 6 , B 7 , B 8 between the # 0 frame and the # 1 frame. Reduce the amount of data by omitting output, and increase the immediacy and output data in real time even when the transmission band is limited, such as when transmitting images using wireless technology Is possible.

また、差分ブロック画像を圧縮する際に差分値が略ゼロである場合には、圧縮部１６による圧縮処理が省略される構成としてもよい。この場合、圧縮画像記憶部１７への書き込みも行なわれず、既に書き込まれている圧縮画像データが出力部１８により出力される。図５に示した例においてブロック画像Ｂ1 に注目した場合、＃１のフレームと＃３から＃５までのフレームとでは変化がないので、＃３から＃５までのフレーム期間も、＃１のフレームの圧縮ブロック画像データが出力される。即ち、網掛けの矩形に相当する圧縮ブロック画像データは、全て＃１のフレームの圧縮ブロック画像データとなる。同様にブロック画像Ｂ2、ブロック画像Ｂ3及びブロック画像Ｂ5でも、網掛けの矩形に相当する圧縮画像データはその前に出力されていた圧縮ブロック画像データとなり、夫々＃１のフレーム、＃０のフレーム及び＃２のフレームの圧縮ブロック画像データが出力される。 Further, when the difference block image is compressed when the difference value is substantially zero, the compression processing by the compression unit 16 may be omitted. In this case, writing to the compressed image storage unit 17 is not performed, and the already written compressed image data is output by the output unit 18. When attention is paid to the block image B 1 in the example shown in FIG. 5, since there is no change between the # 1 frame and the # 3 to # 5 frames, the frame period from # 3 to # 5 is also the # 1 frame. The compressed block image data of the frame is output. That is, all the compressed block image data corresponding to the shaded rectangle is the compressed block image data of the # 1 frame. Similarly, in the block image B 2 , the block image B 3, and the block image B 5 , the compressed image data corresponding to the shaded rectangle becomes the compressed block image data output before that, and the # 1 frame and # 0 respectively. The compressed block image data of frame # 2 and frame # 2 are output.

なお、本実施の形態では処理をフレーム毎に行なう構成としたが、フィールド毎に行なうようにしてもよい。   In the present embodiment, the process is performed for each frame, but may be performed for each field.

また、本実施の形態では、画像出力装置１は差分画像生成部１３、参照画像生成部１４及び選択部１５を備え、差分値が所定値以上であるか否か、又は、一の画像データの圧縮ブロック画像データの出力経過時間が所定時間Ｔ１を経過したことによって出力を終了させたか否かによって差分でないブロック画像又は差分ブロック画像のいずれを圧縮して出力するかを選択する構成とした。出力制御部１９は他に、差分でないブロック画像を圧縮させてからのフレーム数が所定数以上であるか否か等の判断によって選択部１５へ選択信号を入力するようにしてもよい。なお、本発明は差分ブロック画像を圧縮することは必須ではなく、したがって差分画像生成部１３、参照画像生成部１４及び選択部１５が備えられない構成でもよい。この場合、圧縮部に１６は常に、差分でないブロック画像が入力される。   In the present embodiment, the image output apparatus 1 includes the difference image generation unit 13, the reference image generation unit 14, and the selection unit 15, and whether or not the difference value is equal to or greater than a predetermined value or one image data. It is configured to select whether to output a block image that is not a difference or a difference block image depending on whether or not the output has been terminated when the output elapsed time of the compressed block image data has passed a predetermined time T1. In addition, the output control unit 19 may input a selection signal to the selection unit 15 by determining whether or not the number of frames after compressing a block image that is not a difference is greater than or equal to a predetermined number. In the present invention, it is not essential to compress the difference block image. Therefore, the difference image generation unit 13, the reference image generation unit 14, and the selection unit 15 may be omitted. In this case, a block image that is not a difference is always input to the compression unit 16.

さらに、本実施の形態では一の画像データを画像分割部１２によって分割し、ブロック画像夫々について個別に処理を行なう構成としたが、画像分割部１２を備えない構成としてもよい。この場合、画像取得部１１で取得した一の画像データを分割せずに圧縮し、圧縮された圧縮画像データの出力の開始、終了を圧縮画像データの画質に応じて出力制御部１９が制御する。   Furthermore, in the present embodiment, one image data is divided by the image dividing unit 12 and processing is performed for each block image. However, the image dividing unit 12 may be omitted. In this case, one image data acquired by the image acquisition unit 11 is compressed without being divided, and the output control unit 19 controls the start and end of the output of the compressed image data compressed according to the image quality of the compressed image data. .

また、圧縮部１６はＪＰＥＧ２０００による符号化を行なうとは限らず、追加データによって画質が向上する方式の符号化であれば、他の方式を利用する構成としてもよい。   In addition, the compression unit 16 does not always perform encoding by JPEG2000, and may be configured to use another method as long as the image quality is improved by additional data.

本実施の形態における画像出力装置１を例えばパーソナルコンピュータ（ＰＣ：Personal Computer）装置に備えられるビデオカードに適用し、ＲＴＰパケットに含めた圧縮ブロック画像データを無線により送信可能な構成とし、更に、液晶パネルを用いたディスプレイ等の表示装置で圧縮ブロック画像データを復号して一の画像データを表示させることが可能な構成とすることにより、コンピュータ装置の画面を無線通信を利用してリアルタイムに表示させることができる。この場合勿論、無線により送信する構成とは限られない。   The image output apparatus 1 according to the present embodiment is applied to, for example, a video card provided in a personal computer (PC) apparatus, and the compressed block image data included in the RTP packet can be transmitted wirelessly. By displaying the compressed block image data on a display device such as a display using a panel so that one image data can be displayed, the screen of the computer device is displayed in real time using wireless communication. be able to. In this case, of course, the configuration is not limited to wireless transmission.

遠隔地にあるコンピュータ装置間で画像を送受信してテレビ会議を行なう場合に本実施の形態における画像出力装置１を用いることにより、低遅延で且つ高画質な画像の送受信が可能となる。また近年では、情報の機密性、安全性を考慮して大容量の記憶手段を備えないＰＣを用い、ＰＣから接続されるサーバ装置で各種アプリケーションプログラム等の処理を実行させ、処理の結果に基づいて作成、更新される画面が転送されることにより、ユーザが実行結果を把握するシンクライアント（thin client）システムが普及している。ユーザの操作性を考慮した場合、画面の送受信の即時性が求められるが、本実施の形態における画像出力装置１をシンクライアントシステムのサーバ装置に適用し、クライアント装置へ画面の画像データを転送する構成とすることにより、遅延を低減し且つ高画質を実現することができる。   When a video conference is performed by transmitting and receiving images between computer devices at remote locations, the image output device 1 in this embodiment can be used to transmit and receive high-quality images with low delay. In recent years, considering the confidentiality and security of information, a PC that does not have a large-capacity storage means is used, and processing such as various application programs is executed on a server device connected from the PC. A thin client system in which a user grasps an execution result by transferring a screen that is created and updated in this manner has become widespread. In consideration of user operability, immediacy of screen transmission / reception is required. However, the image output device 1 according to the present embodiment is applied to a server device of a thin client system, and screen image data is transferred to the client device. With this configuration, it is possible to reduce delay and realize high image quality.

本実施の形態における画像出力装置の構成を示すブロック図である。It is a block diagram which shows the structure of the image output device in this Embodiment. 本実施の形態における画像出力装置の圧縮画像記憶部に記憶される圧縮ブロック画像データの概要を示す説明図である。It is explanatory drawing which shows the outline | summary of the compression block image data memorize | stored in the compression image memory | storage part of the image output device in this Embodiment. 本実施の形態における画像出力装置で圧縮ブロック画像データの出力が制御される処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the process sequence by which the output of compression block image data is controlled by the image output apparatus in this Embodiment. 本実施の形態における画像出力装置で、フレームの間引き処理及び圧縮対象となる画像の選択処理の手順の一例を示すフローチャートである。6 is a flowchart illustrating an example of a procedure of frame thinning processing and selection processing of an image to be compressed in the image output apparatus according to the present embodiment. 本実施の形態における画像出力装置の出力部から出力される圧縮ブロック画像データの出力タイミングを示す説明図である。It is explanatory drawing which shows the output timing of the compression block image data output from the output part of the image output device in this Embodiment.

符号の説明Explanation of symbols

１ 画像出力装置
１１ 画像取得部
１２ 画像分割部
１３ 差分画像生成部
１５ 選択部
１６ 圧縮部
１７ 圧縮画像記憶部
１８ 出力部
１９ 出力制御部 DESCRIPTION OF SYMBOLS 1 Image output device 11 Image acquisition part 12 Image division part 13 Difference image generation part 15 Selection part 16 Compression part 17 Compressed image memory | storage part 18 Output part 19 Output control part

Claims (10)

時系列に画像データを取得する手段と、階層符号化方式を利用して画像データを圧縮する圧縮手段と、該圧縮手段が圧縮した圧縮画像データを順次出力する手段とを備える画像出力装置において、
圧縮画像データの出力の開始及び終了を制御する出力制御手段と、
出力中の一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化するか否かを判断する判断手段と、
前記一の画像データの圧縮画像データを出力中に後の画像データの圧縮画像データを出力すべきタイミングが到来するか否かを判断する手段と
を備え、
前記出力制御手段は、
後の画像データの圧縮画像データを出力すべきタイミングが到来すると判断した場合に、前記判断手段が出力中の前記一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化すると判断したとき、前記一の画像データの圧縮画像データの出力を続行するようにしてあり、
後の画像データの圧縮画像データを出力すべきタイミングが到来すると判断した場合に、前記判断手段が出力中の前記一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化しないと判断したとき、前記一の画像データの圧縮画像データの出力を終了するようにしてあること
を特徴とする画像出力装置。
In an image output apparatus comprising: means for acquiring image data in time series; compression means for compressing image data using a hierarchical encoding method ; and means for sequentially outputting compressed image data compressed by the compression means.
Output control means for controlling the start and end of output of compressed image data;
Determining means for determining whether or not the image quality deteriorated by the compression is deteriorated from a predetermined image quality by comparing the compressed image data of the one image data being output and the one image data before compression;
Means for determining whether or not it is time to output the compressed image data of the subsequent image data while outputting the compressed image data of the one image data;
The output control means includes
When it is determined that it is time to output the compressed image data of the subsequent image data, the determination unit compares the compressed image data of the one image data being output with the one image data before the compression. Thus, when it is determined that the image quality deteriorated by the compression is deteriorated from the predetermined image quality, the output of the compressed image data of the one image data is continued,
When it is determined that it is time to output the compressed image data of the subsequent image data, the determination unit compares the compressed image data of the one image data being output with the one image data before the compression. Thus, when it is determined that the image quality deteriorated by the compression does not deteriorate from the predetermined image quality, the output of the compressed image data of the one image data is terminated.
前記出力制御手段は、
前記後の画像データの圧縮画像データを出力すべきタイミングの経過後、前記判断手段が出力中の前記一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化しないと判断した時点で前記一の画像データの圧縮画像データの出力を終了し、前記後の画像データの圧縮画像データの出力を開始するようにしてあること
を特徴とする請求項１に記載の画像出力装置
The output control means includes
After the elapse of the timing to output the compressed image data of the subsequent image data, the determination unit compares the compressed image data of the one image data being output with the one image data before the compression, When it is determined that the image quality deteriorated by the compression does not deteriorate from the predetermined image quality, the output of the compressed image data of the one image data is finished, and the output of the compressed image data of the subsequent image data is started. The image output apparatus according to claim 1, wherein
前記出力制御手段は、前記一の画像データの圧縮画像データの出力を続行する場合、前記後の画像データの圧縮画像データを破棄するようにしてあること
を特徴とする請求項１に記載の画像出力装置。
The image according to claim 1, wherein the output control means discards the compressed image data of the subsequent image data when continuing to output the compressed image data of the one image data. Output device.
前記出力制御手段は、前記一の画像データの圧縮画像データの出力を続行する場合、前記後の画像データよりも更に後の画像データの圧縮画像データを出力すべきタイミングまでに前記一の画像データの圧縮画像データの出力を終了しないとき、前記一の画像データよりも後であって且つ前記更に後の画像データよりも前の画像データの圧縮画像データを破棄するようにしてあること
を特徴とする請求項３に記載の画像出力装置。
When the output control means continues to output the compressed image data of the one image data, the one image data by the timing at which the compressed image data of the later image data should be output. When the output of the compressed image data is not finished, the compressed image data of the image data after the one image data and before the further image data is discarded. The image output apparatus according to claim 3.
前記出力制御手段は、
前記一の画像データの圧縮画像データの出力を続行した場合、前記一の画像データの圧縮画像データの出力タイミングから所定時間が経過するまでに前記判断手段が出力中の前記一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化すると判断したとき、前記一の画像データの圧縮画像データの出力を終了するようにしてあること
を特徴とする請求項１乃至４のいずれかに記載の画像出力装置。
The output control means includes
When the output of the compressed image data of the one image data is continued, the compression of the one image data being output by the determination means until a predetermined time elapses from the output timing of the compressed image data of the one image data When it is determined that the image quality deteriorated by the compression is deteriorated from the predetermined image quality by comparing the image data with the one image data before compression, the output of the compressed image data of the one image data is terminated. The image output device according to claim 1, wherein the image output device is an image output device.
画像データを複数に分割する手段を備え、
前記圧縮手段は分割された画像データ夫々を圧縮するようにしてあり、
前記出力制御手段は、画像データ夫々の圧縮画像データの出力の開始及び終了を制御するようにしてあること
を特徴とする請求項１乃至５のいずれかに記載の画像出力装置。
Means for dividing the image data into a plurality of parts,
The compression means compresses each of the divided image data;
The image output apparatus according to any one of claims 1 to 5 , wherein the output control means controls the start and end of output of compressed image data of each image data.
前記圧縮手段が圧縮した圧縮画像データを夫々、一旦記憶する圧縮画像記憶手段を備え、
前記出力制御手段は、圧縮画像データを出力させるに際し、
前記圧縮画像記憶手段に記憶される圧縮画像データの内の、既に出力済み分の圧縮画像データからの差分量がより多い圧縮画像データを優先的に出力する手段を備えること
を特徴とする請求項１乃至６のいずれかに記載の画像出力装置。
Each of the compressed image data compressed by the compression means comprises a compressed image storage means for temporarily storing,
The output control means, when outputting the compressed image data,
The compressed image data stored in the compressed image storage means includes means for preferentially outputting compressed image data having a larger difference amount from the already outputted compressed image data. The image output apparatus according to any one of 1 to 6 .
前記圧縮手段は、プログレッシブＪＰＥＧ又はＪＰＥＧ２０００における符号化方法を利用して画像を圧縮するようにしてあること
を特徴とする請求項１乃至７のいずれかに記載の画像出力装置。
It said compression means, the image output apparatus according to any one of claims 1 to 7, characterized in that by using the coding method in progressive JPEG or JPEG2000 are so as to compress the image.
画像データを受け付けるコンピュータに、時系列に取得させた画像データを階層符号化方式を利用して圧縮させ、圧縮した圧縮画像データを順次出力させるコンピュータプログラムにおいて、
コンピュータを、
圧縮画像データの出力の開始及び終了を制御する出力制御手段、
出力中の一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化するか否かを判断する判断手段、及び、
前記一の画像データの圧縮画像データを出力中に後の画像データの圧縮画像データを出力すべきタイミングが到来するか否かを判断する手段、
並びに、
前記一の画像データの圧縮画像データを出力中に後の画像データの圧縮画像データを出力すべきタイミングが到来すると判断した場合に、前記判断手段が出力中の前記一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化すると判断したとき、前記一の画像データの圧縮画像データの出力を続行する手段、及び、
一の画像データの圧縮画像データを出力中に後の画像データの圧縮画像データを出力すべきタイミングが到来すると判断した場合に、前記判断手段が出力中の前記一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化しないと判断したとき、前記一の画像データの圧縮画像データの出力を終了する手段
として機能させることを特徴とするコンピュータプログラム。
In a computer program for causing a computer that receives image data to compress image data acquired in time series using a hierarchical encoding method, and sequentially outputting the compressed image data compressed,
Computer
Output control means for controlling the start and end of output of compressed image data;
A determination means for determining whether the image quality deteriorated by the compression is deteriorated from a predetermined image quality by comparing the compressed image data of the one image data being output and the one image data before the compression; and
Means for determining whether or not it is time to output compressed image data of subsequent image data while outputting compressed image data of the one image data;
And
When it is determined that it is time to output compressed image data of the subsequent image data while outputting the compressed image data of the one image data, the compressed image data of the one image data being output by the determining means Comparing the one image data before compression and the one image data before compression, when it is determined that the image quality deteriorated by the compression is deteriorated from a predetermined image quality, and means for continuing output of the compressed image data of the one image data; and
When it is determined that it is time to output the compressed image data of the subsequent image data while outputting the compressed image data of one image data, the compressed image data of the one image data being output by the determining means Comparing with the one image data before compression, when it is determined that the image quality deteriorated by the compression is not deteriorated from the predetermined image quality, it functions as means for terminating the output of the compressed image data of the one image data A computer program characterized by the above.
画像データを時系列に取得し、取得した画像データを階層符号化方式を利用して圧縮した圧縮画像データを順次出力する画像出力方法において、
出力中の一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化するか否かを判断し、
前記一の画像データの圧縮画像データを出力中に後の画像データの圧縮画像データを出力すべきタイミングが到来するか否かを判断し、
一の画像データの圧縮画像データを出力すべきタイミングが到来すると判断した場合に、出力中の前記一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化すると判断したとき、前記一の画像データの圧縮画像データの出力を続行し、
一の画像データの圧縮画像データを出力すべきタイミングが到来すると判断した場合に、出力中の前記一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化しないと判断したとき、前記一の画像データの圧縮画像データの出力を終了する
ことを特徴とする画像出力方法。 In an image output method for acquiring image data in time series and sequentially outputting compressed image data obtained by compressing the acquired image data using a hierarchical encoding method.
By comparing the compressed image data of one image data being output with the one image data before compression, it is determined whether or not the image quality deteriorated by the compression is deteriorated from a predetermined image quality,
Determining whether it is time to output the compressed image data of the subsequent image data while outputting the compressed image data of the one image data;
When it is determined that it is time to output compressed image data of one image data, compression is performed by comparing the compressed image data of the one image data being output with the one image data before compression. When it is determined that the image quality deteriorated due to is deteriorated from the predetermined image quality, the output of the compressed image data of the one image data is continued,
When it is determined that it is time to output compressed image data of one image data, compression is performed by comparing the compressed image data of the one image data being output with the one image data before compression. When it is determined that the image quality deteriorated due to the above does not deteriorate below the predetermined image quality, the output of the compressed image data of the one image data is terminated.
JP2007334922A 2007-12-26 2007-12-26 Image output apparatus, computer program, and image output method Expired - Fee Related JP4845869B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007334922A JP4845869B2 (en) 2007-12-26 2007-12-26 Image output apparatus, computer program, and image output method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007334922A JP4845869B2 (en) 2007-12-26 2007-12-26 Image output apparatus, computer program, and image output method

Publications (2)

Publication Number Publication Date
JP2009159288A JP2009159288A (en) 2009-07-16
JP4845869B2 true JP4845869B2 (en) 2011-12-28

Family

ID=40962812

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007334922A Expired - Fee Related JP4845869B2 (en) 2007-12-26 2007-12-26 Image output apparatus, computer program, and image output method

Country Status (1)

Country Link
JP (1) JP4845869B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101968889A (en) * 2009-07-28 2011-02-09 日电（中国）有限公司 Methods and systems for forming picture and preprocessing picture
JP2013081020A (en) * 2011-10-03 2013-05-02 Sumitomo Electric Ind Ltd Data distribution method and data distribution system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3154254B2 (en) * 1990-02-28 2001-04-09 ソニー株式会社 Image data encoding device
JPH0832974A (en) * 1994-07-13 1996-02-02 Kokusai Electric Co Ltd Picture transmission method
JP3152148B2 (en) * 1996-03-25 2001-04-03 松下電器産業株式会社 Image coding device
JP2001320707A (en) * 2000-05-10 2001-11-16 Mega Chips Corp Image transmission system

Also Published As

Publication number Publication date
JP2009159288A (en) 2009-07-16

Similar Documents

Publication Publication Date Title
US9445107B2 (en) Low latency rate control system and method
CN109618179B (en) Rapid play starting method and device for ultra-high definition video live broadcast
US6850564B1 (en) Apparatus and method for dynamically controlling the frame rate of video streams
US7415160B2 (en) Terminal and method for transporting still picture
JP2005260935A (en) Method and apparatus for increasing average image refresh rate in compressed video bitstream
JP2004529553A (en) Adaptive bandwidth footprint matching for multiple compressed video streams in fixed bandwidth networks
US20080175475A1 (en) Method of image frame compression
US20180184089A1 (en) Target bit allocation for video coding
US20020054635A1 (en) Image transmitting method and apparatus and image receiving method and apparatus
GB2514540A (en) Resource for encoding a video signal
US9226003B2 (en) Method for transmitting video signals from an application on a server over an IP network to a client device
TW512635B (en) System for controlling data output to a network
US20060120449A1 (en) Method of coding and decoding moving picture
JP4845869B2 (en) Image output apparatus, computer program, and image output method
US8095955B2 (en) Methods and systems for improving network response during channel change
US20110317758A1 (en) Image processing apparatus and method of processing image and video
WO2011108146A1 (en) Image coding device, image coding/decoding system, image coding method, and image display method
US20230142944A1 (en) Image data transfer apparatus, image display system, and image transfer method
EP1841237B1 (en) Method and apparatus for video encoding
JP2003309847A (en) Image transmission method and image transmission apparatus
JP6332039B2 (en) Screen encoding device, screen decoding device, screen encoding transmission system
JP4892541B2 (en) Image transmission method and image transmission system
JP3812155B2 (en) Video decoder
CN104702970A (en) Video data synchronization method, device and system
Nakao et al. 66.3: High Quality Image Compression System for Low Delay and Real‐Time Wireless Transmission

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100727

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110607

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110801

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20110801

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111011

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111011

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141021

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141021

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees