JP4845869B2

JP4845869B2 - 画像出力装置、コンピュータプログラム及び画像出力方法

Info

Publication number: JP4845869B2
Application number: JP2007334922A
Authority: JP
Inventors: 政史中尾
Original assignee: Eizo Nanao Corp
Current assignee: Eizo Nanao Corp
Priority date: 2007-12-26
Filing date: 2007-12-26
Publication date: 2011-12-28
Anticipated expiration: 2027-12-26
Also published as: JP2009159288A

Description

本発明は、画像データを圧縮して出力する画像出力装置に関し、特に、伝送帯域が制限されている場合でも遅延及び画質の劣化を低減させることができる画像出力装置、コンピュータプログラム及び画像出力方法に関する。

コンピュータ装置の処理能力の向上及びネットワーク環境の整備により、動画像データの送受信が様々な場面で行なわれている。しかしながら、無線通信技術を利用して画像データを送受信する場合等、伝送帯域が制限される場合がある。したがって、画像データを圧縮してデータ量をでき得る限り抑えることが望ましいが、画質の向上とデータ量の抑制とはトレードオフの関係にある。

ＭＰＥＧ、Ｈ．２６４等の動画像のフレーム間予測を利用した符号化技術では、符号化後のデータ量を抑えつつ高画質を実現する技術が種々提案されている。

また、テレビ会議のために画像データを送受信する場合、遠隔の装置の操作画面を画像データとして送受信する場合、シンクライアントの画面を画像データとして送受信する場合等、画像の内容によっては、即時性が厳格に求められる場合がある。この場合、ＭＰＥＧ、Ｈ．２６４等の動画像データでは即時性が不足する可能性があるので、静止画の符号化技術であるＪＰＥＧにより各画像データを圧縮して順次送信するMotion-JPEGの技術を利用して実現される例がある。

Motion-JPEGを利用して実現する場合、画像データは各フレーム又はフィールド毎に個別に符号化されるので、データ量は各画像の内容によって様々となる可能性がある。十分な伝送帯域が確保された理想的な状態では、各画像データはそのデータ量の多少によらずフレームレートと同様の速度で送信が完了し、遅延が生じない。しかしながら、伝送帯域が制限されている場合、データ量が多い画像は１フレーム分の時間内に送信が完了せず、遅延が生じる。

これに対し、動画像データの符号化に関し、伝送帯域が制限されている場合には間引き（駒落とし）を行なうことにより、送信が完了するまでの間に送信待ちのバッファに記憶されている画像データのデータ量が所定の上限を超えないように制御する技術が開示されている。

特許文献１には、データ量を抑えつつも滑らかな表示を実現することができる技術が開示されている。この技術では、動画像データを符号化して出力するに際し、一旦符号化後の画像データをバッファに保持してバッファから符号化画像データを読み出して出力する構成とする。そして、バッファの残存データ量に応じて符号化する画像データを間引きする処理（コマ落とし）の開始及び停止を制御するが、残存データ量に対して上限値と上限値よりも少ない目標値とを設定することにより、間引きの処理の開始と停止とが頻繁に繰り返され、動画像データを再生した際の滑らかさが失われることを回避させる。

特許文献２には、フレーム毎の圧縮の際の量子化ステップ幅を参照して符号化したフレーム画像の画質を評価し、高画質で符号化した場合には以降の符号化時に間引き数を増加させることによってデータ量を抑えつつ、画質に応じてフレームレートを適宜変化させて動きの滑らかさを保つ技術が開示されている。
特開平３−２５０８８４号公報特開平９−２６１６３８号公報

特許文献１に開示されている技術により、頻繁に間引きが行なわれることを回避して滑らかな表示を実現することができる。しかしながら、伝送バッファの残存データ量に応じて間引きを実行するか否かを判断し、一連の動画像の滑らかさとしての画質が劣化することを回避する構成であり、フレーム毎の画質については考慮されていない。

特許文献２に開示されている技術により、データ量を抑えることができる。しかしながら、別のフレーム（前のフレーム）の画質に応じて後のフレームの間引きを実行するか否かを判断するので、フレーム毎の画像データの画質を考慮した最適な間引き処理は困難である。

本発明は斯かる事情に鑑みてなされたものであり、時系列に取得される画像データを圧縮して順次出力するに際し、出力中の圧縮画像データの画質が所定の画質を満たすまでは出力を続行する構成とすることにより、伝送帯域が制限されている場合であっても遅延及び画質の劣化を低減させることができる画像出力装置、コンピュータ装置を前記画像出力装置として機能させるコンピュータプログラム及び画像出力方法を提供することを目的とする。

本発明の他の目的は、一の画像データの圧縮画像データの画質を維持するために出力を続行する場合、出力タイミングが待機させられることとなる後の画像データの圧縮画像データを破棄して間引く構成とすることにより、遅延及び画質の劣化を低減させることができる画像出力装置を提供することにある。

また本発明の他の目的は、一の画像データの圧縮画像データの画質を維持するために出力を続行する場合であっても、続行期間に上限を設ける構成とすることにより、過度に遅延、又は後の画像データの間引きが行なわれないように制御して遅延及び画質の劣化を低減させることができる画像出力装置を提供することにある。

本発明の他の目的は、更に、前の画像データとの差分画像を圧縮する構成とすることにより、データ量を更に抑えて遅延及び画質の劣化を低減させることができる画像出力装置を提供することにある。

本発明の他の目的は、前の画像データとの差分量の多少又は間引きの有無若しくは間引き数に応じて、差分画像データを圧縮して出力するか否かを選択する構成とすることにより、データ量を適切に抑えて遅延及び画質の劣化を低減させることができる画像出力装置を提供することにある。

本発明の他の目的は、一連の処理を分割された複数の画像データ毎に個別に行なう構成とすることにより、効率的に遅延及び画質の劣化を低減させることができる画像出力装置を提供することにある。

本発明の他の目的は、画像データの圧縮には階層符号化を利用する構成とすることにより、出力するデータ量を抑えつつ画質を維持し、遅延及び画質の劣化を低減させることができる画像出力装置を提供することにある。

第１発明に係る画像出力装置は、時系列に画像データを取得する手段と、階層符号化方式を利用して画像データを圧縮する圧縮手段と、該圧縮手段が圧縮した圧縮画像データを順次出力する手段とを備える画像出力装置において、圧縮画像データの出力の開始及び終了を制御する出力制御手段と、出力中の一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化する否かを判断する判断手段と、前記一の画像データの圧縮画像データを出力中に後の画像データの圧縮画像データを出力すべきタイミングが到来するか否かを判断する手段とを備え、前記出力制御手段は、後の画像データの圧縮画像データを出力すべきタイミングが到来すると判断した場合に、前記判断手段が出力中の前記一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化すると判断したとき、前記一の画像データの圧縮画像データの出力を続行するようにしてあり、後の画像データの圧縮画像データを出力すべきタイミングが到来すると判断した場合に、前記判断手段が出力中の前記一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化しないと判断したとき、前記一の画像データの圧縮画像データの出力を終了するようにしてあることを特徴とする。

第２発明に係る画像出力装置は、前記出力制御手段は、前記後の画像データの圧縮画像データを出力すべきタイミングの経過後、前記判断手段が出力中の前記一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化しないと判断した時点で前記一の画像データの圧縮画像データの出力を終了し、前記後の画像データの圧縮画像データの出力を開始するようにしてあることを特徴とする。

第３発明に係る画像出力装置は、前記出力制御手段は、前記一の画像データの圧縮画像データの出力を続行する場合、前記後の画像データの圧縮画像データを破棄するようにしてあることを特徴とする。

第４発明に係る画像出力装置は、前記出力制御手段は、前記一の画像データの圧縮画像データの出力を続行する場合、前記後の画像データよりも更に後の画像データの圧縮画像データを出力すべきタイミングまでに前記一の画像データの圧縮画像データの出力を終了しないとき、前記一の画像データよりも後であって且つ前記更に後の画像データよりも前の画像データの圧縮画像データを破棄するようにしてあることを特徴とする。

第５発明に係る画像出力装置は、前記出力制御手段は、前記一の画像データの圧縮画像データの出力を続行した場合、前記一の画像データの圧縮画像データの出力タイミングから所定時間が経過するまでに前記判断手段が出力中の前記一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化すると判断したとき、前記一の画像データの圧縮画像データの出力を終了するようにしてあることを特徴とする。

第６発明に係る画像出力装置は、画像データを複数に分割する手段を備え、前記圧縮手段は分割された画像データ夫々を圧縮するようにしてあり、前記出力制御手段は、画像データ夫々の圧縮画像データの出力の開始及び終了を制御するようにしてあることを特徴とする。

第７発明に係る画像出力装置は、前記圧縮手段が圧縮した圧縮画像データを夫々、一旦記憶する圧縮画像記憶手段を備え、前記出力制御手段は、圧縮画像データを出力させるに際し、前記圧縮画像記憶手段に記憶される圧縮画像データの内の、既に出力済み分の圧縮画像データからの差分量がより多い圧縮画像データを優先的に出力する手段を備えることを特徴とする。

第８発明に係る画像出力装置は、前記圧縮手段は、プログレッシブＪＰＥＧ又はＪＰＥＧ２０００における符号化方法を利用して画像を圧縮するようにしてあることを特徴とする。

第９発明に係るコンピュータプログラムは、画像データを受け付けるコンピュータに、時系列に取得させた画像データを階層符号化方式を利用して圧縮させ、圧縮した圧縮画像データを順次出力させるコンピュータプログラムにおいて、コンピュータを、圧縮画像データの出力の開始及び終了を制御する出力制御手段、出力中の一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化するか否かを判断する判断手段、及び、前記一の画像データの圧縮画像データを出力中に後の画像データの圧縮画像データを出力すべきタイミングが到来するか否かを判断する手段、並びに、前記一の画像データの圧縮画像データを出力中に後の画像データの圧縮画像データを出力すべきタイミングが到来すると判断した場合に、前記判断手段が出力中の前記一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化すると判断したとき、前記一の画像データの圧縮画像データの出力を続行する手段、及び、一の画像データの圧縮画像データを出力中に後の画像データの圧縮画像データを出力すべきタイミングが到来すると判断した場合に、前記判断手段が出力中の前記一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化しないと判断したとき、前記一の画像データの圧縮画像データの出力を終了する手段として機能させることを特徴とする。

第１０発明に係る画像出力方法は、画像データを時系列に取得し、取得した画像データを階層符号化方式を利用して圧縮した圧縮画像データを順次出力する画像出力方法において、出力中の一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化するか否かを判断し、一の画像データの圧縮画像データを出力中に後の画像データの圧縮画像データを出力すべきタイミングが到来するか否かを判断し、後の画像データの圧縮画像データを出力すべきタイミングが到来すると判断した場合に、出力中の前記一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化すると判断したとき、前記一の画像データの圧縮画像データの出力を続行し、後の画像データの圧縮画像データを出力すべきタイミングが到来すると判断した場合に、出力中の前記一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化しないと判断したとき、前記一の画像データの圧縮画像データの出力を終了することを特徴とする。

本発明では、時系列に取得された画像データは圧縮されて圧縮画像データとして順次出力されるが、その際、各画像データの圧縮画像データは所定の画質以上を満たしてない場合、後の画像データの圧縮画像データを出力すべきタイミングが到来していても出力が続行され、画質が所定の画質を満たしている場合には一の画像データ分の圧縮画像データの出力が完了していなくとも出力が終了される。

本発明では、一の画像データの圧縮画像データの出力が続行され、後の画像データの圧縮画像データを出力すべきタイミングが経過した後、所定の画質が満たされた時点で当該一の画像データ分の圧縮画像データの出力が完了していなくとも出力が終了される。これにより、画質を所定の画質以上に保障しつつ、後の画像データの出力タイミングのずれこみが低減される。

本発明では、一の画像データの圧縮画像データの出力が続行された場合には、後の画像データの圧縮画像データは破棄されて間引きされる。これによりデータ量が抑えられ、出力タイミングの後続へのずれこみの連鎖が回避される。

本発明では、一の画像データの圧縮画像データの出力が続行され、後の画像データよりも更に後の画像データの圧縮画像データの出力タイミングまでに出力が終了しない場合に、出力が待機されている後の画像データの圧縮画像データは破棄されて間引きされる。これにより、出力タイミングの後続へのずれこみの連鎖が回避される。

本発明では、一の画像データの圧縮画像データの出力が続行された場合、所定時間が経過しても所定の画質を満たさない場合は出力を終了させる。

本発明では、前の画像データとの差分画像データを圧縮した圧縮画像データを利用することで、後の画像データが前の画像データと比して変化がない場合にデータ量の抑制が期待される。これにより、前の画像データの圧縮画像データの出力が後の画像データを出力すべきタイミング以降でも続行され、前記前の画像データの出力終了後に後の画像データの圧縮画像データを出力する場合であっても、更に後の画像データの出力タイミングまでに圧縮画像データの出力が完了する可能性が高くなる。

本発明では、差分画像データを圧縮した圧縮画像データを出力するか否かが、前の画像データとの差分量の大小に応じて選択されることにより、データ量を抑えつつ画質の劣化を低減させることが可能となる。

本発明では、所定時間が経過する限界まで一の画像データの圧縮画像データの出力を続行させて複数の画像データの圧縮画像データを間引きする場合には、次に出力する後の画像データは、改めて差分でない画像を圧縮した圧縮画像データが出力される。

また、本発明では、分割された画像データが夫々一の画像データとして扱われ、分割された画像データに対し夫々圧縮、出力の開始及び終了が個別に制御され、更に、差分画像データを圧縮するか否かの選択、間引きが行なわれる場合には夫々個別に行なわれる。

本発明では、圧縮画像データは出力される際に一旦記憶され、記憶された圧縮画像データの内から、既に出力された圧縮画像データに対する差分量がより多い圧縮画像データが優先的に出力される。階層符号化を利用する場合、既に出力済みの圧縮画像データに対する差分量がより多い圧縮画像データは追加する情報量が多く、より画質を向上させる。

本発明では、階層符号化を利用した圧縮方法、例えばプログレッシブＪＰＥＧ又はＪＰＥＧ２０００の圧縮方法を利用することにより、低画質階層データから順に高画質階層データを追加するように出力され、途中で出力が中断しても画像の表示が可能となる。

本発明による場合、時系列に画像データを１フレーム毎又は１フィールド毎に圧縮して順次出力して遅延をより少なくする構成に加え、各画像データの圧縮画像データの出力に際し、出力が完了する前に後の画像データの圧縮画像データを出力すべきタイミングが到来しても、出力中の圧縮画像データの画質が所定の画質を満たすまでは出力が続行される。ただし、所定の画質を満たしている場合には出力が未完了でも終了される。これにより、画質を所定の画質以上に維持しつつ過度の遅延を防止することができる。

本発明による場合、各画像データの圧縮画像データは、所定の画質を満たしたときには出力が終了されて、後の画像データの出力の後ろへのずれこみの連鎖が回避されるので、伝送帯域が制限されている場合であっても遅延及び画質の劣化を低減させることができる。

本発明による場合、出力タイミングが待機させられる後の画像データは間引きされることにより全体のデータ量が減少し、また、更に後の画像データへ出力タイミングのずれこみの連鎖が回避されるので、遅延を防ぐことができると共に画質を維持することができる。

本発明による場合、後の画像データよりも更に後の画像データの出力タイミングまでに出力タイミングが待機させられるときには、出力中の圧縮画像データの画像データ以降の画像データのいずれかは破棄されて間引かれるので、より後の画像データへの出力タイミングのずれこみの連鎖が回避されて遅延を防ぐことができると共に、画質を維持することができる。

本発明による場合、画質が所定の画質を満たすまで出力が続行される時間に上限を設けることにより、過度な間引が回避され、遅延及び画質の劣化を低減させることができる。

本発明による場合は更に、各画像データを圧縮するに際し、前の画像データとの差分画像を圧縮することによりデータ量を更に抑えることができる。これにより、後の画像データの出力タイミングがずれこんだ場合であっても出力が完了する可能性が高くなり、即時性が損なわれることを回避して遅延を低減することができる。

本発明による場合、各画像データを圧縮するに際し、差分画像データを圧縮するか否かを前の画像データとの差分量の多少に応じて選択することにより、画像の内容が大きく変化した場合等、差分でない画像データを圧縮して出力すべき場合に差分画像データを圧縮した圧縮画像データが出力されることを回避することができる。これにより、画質が劣化しない範囲でデータ量を適切に抑えることができる。

本発明による場合、複数の画像データを間引きする場合、次に出力する後の画像データについては差分でない画像データの圧縮画像データが出力されて画質の低下が回避されるので、データ量の抑制のための差分の使用を適切にし、画質の劣化を低減させることができる。

本発明による場合、一の画像データを複数の画像データに分割して夫々を個別に画像データとして扱い、画像データの圧縮、及び出力制御、並びに差分画像データの取得、選択を個別に行なう。したがって、同一フレームの画像データ内であっても前の画像データと比較して変化が大きい部分と小さい部分とがあるときに、変化量が大きい部分に多くのデータ量を割り振ることができ、変化量の小さい部分にはデータ量を減らすことができる。このように、画像データを分割して部分毎に効率的にデータ量を配分してデータ量を抑え、遅延及び画質の劣化を低減させることができる。

本発明による場合、圧縮された圧縮画像データが出力されるに際し、各画像データの圧縮画像データの内、より画質を向上させる情報量が多いデータから優先的に出力される。これにより、復号側で元の画像データへ復号して画像を表示するか、又は画像形成装置等の他の装置へ出力するに際し、圧縮画像データから元の一の画像データを再構成する場合に、画質の向上が求められる部分から優先的に且つ全体としてプログレッシブに元の画像データを表示又は出力することが可能となると共に、優先的に画質を向上させることができる。

本発明による場合、階層符号化を利用した圧縮方法、具体的にはプログレッシブＪＰＥＧ又はＪＰＥＧ２０００の方法を復号側でも適用しておくことにより、一フレーム分の画像データの全データが受信できなくとも画像の表示が可能である。したがって、圧縮画像データの出力を、所定の画質が保障される時点で終了させた場合であっても画質を維持することができ、遅延及び画質の劣化を低減させることができる。なお、復号側で階層符号化に適応していない場合、途中までの圧縮画像データの利用方法は任意である。途中までの圧縮画像データであっても、更に前の画像データを利用して補間して表示してもよいし、途中までの圧縮画像データは破棄するようにしてもよい。

以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。

図１は、本実施の形態における画像出力装置の構成を示すブロック図である。画像出力装置１は、画像信号を受け付けてフレーム単位で画像データを取得する画像取得部１１と、取得した画像データを一又は複数のブロック画像データに分割する画像分割部１２と、前の画像データとの差分画像データを生成する差分画像生成部１３と、差分画像生成部１３が参照する画像データが記憶される参照画像記憶部１４と、差分画像データと差分でない画像データとのいずれを出力するかを選択する選択部１５と、画像データを符号化して圧縮する圧縮部１６と、圧縮部１６によって圧縮された圧縮画像データが記憶される圧縮画像記憶部１７と、圧縮画像データを外部へ出力する出力部１８と、圧縮画像データの出力の開始及び終了を制御する出力制御部１９とを含んで構成される。

図１中の太線で表わされる矢印は分割されていない画像信号及び画像データの流れを表わし、白矢印は画像分割部１２により分割された画像データの流れを表わす。また、実線で表わされる矢印は、制御信号の入出力を表わしている。画像出力装置１はＡＳＩＣ（Application Specific Integrated Circuit：特定用途集積回路）で構成されており、各構成部における処理はパイプライン式に順次行なわれる。

画像取得部１１は、画像信号を受け付け、受け付けた画像信号から１秒間に例えば６０フレームのフレームレートで画像データを取得し、画像分割部１２へフレーム単位で入力する。このとき、画像取得部１１から画像分割部１２へ入力される画像データは、画素毎の輝度値、色差、色成分毎の強度等を表わす値の二次元配列データである。

画像分割部１２は、画像取得部１１から取得した画像データを複数のブロック（任意の画素数）に分割する。本実施の形態では以下、分割された複数の画像データ夫々をブロック画像と呼ぶ。なお、本実施の形態ではブロックは矩形ブロックとし、画像分割部１２は一の画像データを９つのブロック画像に分割する。画像分割部１２は分割したブロック画像を夫々、差分画像生成部１３、参照画像記憶部１４及び選択部１５へ順に入力する。

差分画像生成部１３は、画像分割部１２から入力されるブロック画像毎に、参照画像記憶部１４に記憶されている対応参照ブロック画像との差分ブロック画像を生成して選択部１５へ入力する。差分画像生成部１３により生成される差分ブロック画像は、各画素毎の値の差分の二次元配列データからなる画像でもよいし、動き補償のアルゴリズムを利用し、いずれかの参照ブロック画像からの動きベクトルによって表わされる差分画像でもよい。また、差分画像生成部１３は、参照ブロック画像との差分量を表わす差分値を出力制御部１９へ出力する。なお、差分画像生成部１３から出力される差分値は、ブロック画像毎の、全画素又は一部画素のＳＡＤ（Sum of Absolute Difference）に対応する値（以下ＳＡＤ値）でもよいし、動き補償のアルゴリズムを利用した動きベクトルの大きさに対応する値でもよい。

参照画像記憶部１４は、ＲＡＭ（Random Access Memory）を利用した記憶領域である。参照画像記憶部１４は、画像分割部１２から入力されるブロック画像を参照ブロック画像として記憶するが、出力制御部１９から有効信号、即ちリフレッシュ要求を表わす制御信号が入力された場合にのみ記憶されているブロック画像を書き換える。有効信号が入力されていない場合には入力されるブロック画像は記憶されない。なお、有効信号はブロック画像毎に入力される。

選択部１５は、差分画像生成部１３から入力されている差分ブロック画像、又は画像分割部１２から入力されている差分でないブロック画像を受け付け、いずれを圧縮部１６へ入力するかを選択する。選択部１５は、出力制御部１９から入力される選択信号による指示に従って、差分ブロック画像又はブロック画像のいずれかを圧縮部１６へ入力する。一のフレームの画像データが分割されたブロック画像であっても夫々個別に処理が行なわれるので、差分ブロック画像が圧縮部１６へ入力される場合と、差分でないブロック画像が圧縮部１６へ入力される場合とがある。

圧縮部１６は、ＪＰＥＧ２０００の静止画圧縮符号化方式を用い、入力される差分又は差分でないブロック画像を圧縮した圧縮ブロック画像データを出力する。圧縮部１６による圧縮符号化の方式は、ＪＰＥＧ２０００に限られず、プログレッシブＪＰＥＧの他、スケーラブル符号化、階層符号化が適用される方式であればよい。本実施の形態では、圧縮部１６はＪＰＥＧ２０００の符号化方式におけるスケーラブル符号化技術を用いる。圧縮部１６は差分ブロック画像又は差分でないブロック画像を、各画素の値のビットプレーン毎に符号化する。そして圧縮部１６は基本的に、ＭＳＢ（Most Significant Bit）のビットプレーンを符号化した圧縮ブロック画像データから、ＬＳＢ（Least Significant Bit）のビットプレーンを符号化した圧縮ブロック画像データまで、下位に向かって順に出力し、圧縮画像記憶部１７に記憶させる。スケーラブル符号化技術を用いることにより、ＭＳＢのビットプレーンを符号化した圧縮ブロック画像データのみでも、低画質ではあるものの一のブロック画像として復号することが可能であり、復号側で順次追加されるデータを加える毎に復号画像データの画質を向上させることができる。

なお、圧縮部１６は圧縮ブロック画像データをその出力順にパケット化して出力する。各パケットのヘッダ部には、含まれる圧縮ブロック画像データが先行して出力されたデータに対しどれだけ圧縮前のブロック画像データの画質から劣化が低減されるかを示す画質向上度が含まれる。画質向上度として、具体的には圧縮ブロック画像データと圧縮前のブロック画像データの比較から求められる量子化されたウェーブレット係数のＳＡＤに対応する値が用いられる。

圧縮画像記憶部１７は、ＲＡＭを用いた記憶領域であり、圧縮部１６から入力される圧縮ブロック画像データを記憶する。圧縮画像記憶部１７は、分割されたブロック画像毎に記憶領域が区別されており、圧縮部１６は圧縮ブロック画像データを夫々対応する記憶領域へ記憶する。圧縮画像記憶部１７に記憶される圧縮ブロック画像データは、各ブロック画像の記憶領域毎にＦＩＦＯ（First In First Out）で読み書きされる。

出力部１８は、圧縮画像記憶部１７に記憶される圧縮ブロック画像データを、所定のレートに従うタイミングで読み出して出力する。そして本実施の形態における出力部１８は、出力制御部１９からの出力の開始、終了を制御する制御信号に従い、圧縮画像記憶部１７に記憶されているブロック画像毎の圧縮ブロック画像データを読み出し、ＲＴＰ（Real-time Transfer Protocol）パケットに含めて出力する。なお、上述のように圧縮画像記憶部１７に記憶されている圧縮ブロック画像データはパケット化されており、当該パケットには画質向上度を表わす値が含まれている。出力部１８は、ブロック画像毎に区別された記憶領域夫々の圧縮ブロック画像データのパケットヘッダを読み出し、各記憶領域の圧縮ブロック画像データの内の、最も画質向上度を表わす値が大きいパケットのデータからパケット単位で読み出して出力する。このとき、元の画像データに対する各ブロック画像の配置を識別可能にパケットヘッダに付加することが望ましい。出力部１８から出力される圧縮ブロック画像データは、ブロック画像毎に順に出力されるのではなく、各ブロック画像の圧縮ブロック画像データが混在して画質向上度が高い順に優先的に出力される。なお、復号側では画質向上度を表わす値は不要であるので、パケット量削減のために画質向上度を表わす値を削除して出力することが望ましい。また、出力部１８が圧縮ブロック画像データを出力する際のプロトコルはＲＴＰに限定されず、他の方式であってもよい。

出力制御部１９は、出力部１８が出力中の圧縮ブロック画像データの画質をブロック画像毎に評価する。具体的には、圧縮画像記憶部１７にブロック画像毎に区別されて記憶されている圧縮ブロック画像データのパケットヘッダに含まれている画質向上度を表わす値を読み出して取得し、画質向上度を表わす値が所定値以下である場合に画質が所定の画質を満たすと判断する。画質向上度を表わす値が、上位のビットプレーンに対するＳＡＤである場合、ＳＡＤが小さいほど上位のビットプレーンからの大きな変化がないからである。なお、出力制御部１９は、各ブロック画像の出力済みの圧縮ブロック画像データの画質向上度を表わす値を圧縮画像記憶部１７からブロック画像毎に読み出すのみならず、出力済みの各圧縮ブロック画像データのブロック画像毎の画質向上度を表わす値が出力部１８から通知され、出力制御部１９はこれを受け付けて取得するようにしてもよい。

出力制御部１９は、ブロック画像毎に画質が所定の画質を満たすか否かを判断し、満たすと判断したブロック画像については読み出し及び出力を終了させる制御信号を出力部１８へ入力する。一方、画質を満たさないと判断した場合には、次のフレームのブロック画像を出力するタイミングであっても、次のフレームの圧縮ブロック画像データを読み出させず、そのまま出力中の圧縮ブロック画像データの読み出し及び出力を続行させる。

また出力制御部１９は、一のフレームの圧縮ブロック画像データを出力中に、次のフレームの圧縮ブロック画像データを出力するタイミングであっても一のフレームの圧縮ブロック画像データの出力を続行し、更に次、又は次々フレームの圧縮ブロック画像データの出力タイミングが到来しても続行する場合がある。この場合、出力制御部１９は、前記一のフレーム及び次のフレーム、場合によっては次々フレームの圧縮ブロック画像データまでを圧縮画像記憶部１７から破棄、即ち削除する。次のフレーム、次々フレームの圧縮ブロック画像データまでは読み出さないように指示する制御信号を出力部１８へ入力するようにしてもよい。これにより、ブロック画像毎にフレームの間引きが行なわれる。

なお出力制御部１９は、一のフレームの圧縮ブロック画像データの出力を開始してからの経過時間を、内蔵する図示しないクロック等の計時部により計測するようにしてある。出力制御部１９は、一のフレームの圧縮ブロック画像データの出力を次のフレーム及び次々フレームの出力タイミング到来後も続行する場合、計測している経過時間が所定時間、例えば所定のレートの周期３フレーム分を経過するときには、出力を終了させる制御信号を出力部１８へ入力する。このとき出力制御部１９は、出力中の圧縮ブロック画像データの画質向上度を表わす値が所定値よりも大きく、画質が所定の画質を満たしていないときでも出力を終了させる。そして出力制御部１９は、所定時間が経過するまでの間に出力タイミングが到来していたフレームの圧縮画像データについては破棄させる。

出力制御部１９は、差分画像生成部１３から出力される差分値を受け付け、差分値の大小によって選択部１５に選択信号を入力する。出力制御部１９は、差分値が所定値以下である場合には差分画像を圧縮部１６に圧縮させるため、差分画像生成部１３から入力される差分ブロック画像を圧縮部１６に入力するように指示する選択信号を選択部１５に入力する。逆に出力制御部１９は、差分値が所定値よりも大きい場合には、画像分割部１２から入力される差分でないブロック画像を圧縮部１６に入力するように指示する選択信号を選択部１５に入力する。また、出力制御部１９は、差分でないブロック画像を圧縮部１６に入力するように指示する選択信号を選択部１５に入力する場合、参照画像記憶部１４に有効信号を入力し、当該差分でないブロック画像が参照ブロック画像として記憶されるように制御する。

次に、圧縮画像記憶部１７に記憶され、圧縮画像記憶部１７から読み出されて出力部１８から出力されるデータの構成について説明する。

図２は、本実施の形態における画像出力装置１の圧縮画像記憶部１７に記憶される圧縮ブロック画像データの概要を示す説明図である。図２（ａ）は、フレーム単位の一の画像データを示し、破線により一の画像データが９つのＢ０からＢ８までのブロック画像に分割される例を示している。本実施の形態では、１フレーム分の画像データを左上から水平方向に順にＢ０からＢ８までの９つのブロックに分割する。図２（ｂ）は、図２（ａ）に示したように分割される各ブロック画像毎に、圧縮画像記憶部１７に記憶される圧縮ブロック画像データを示している。各矩形は圧縮ブロック画像データのビットプレーン毎の単位を示し、矩形中の数字は画質向上度を表わす値の例を示している。画質向上度を表わす値は、圧縮ブロック画像データのパケットヘッダに含まれている。前述の通り画質向上度は、圧縮ブロック画像データと圧縮前のブロック画像データの比較から求められるＳＡＤ値などが用いられるが、図２（ｂ）では便宜上、劣化の少ない圧縮ブロック画像データから順に１０、９、８、７…と単純な整数で記載してある。なお、圧縮部１６は図２（ｂ）の説明図中の左側を先頭に、右方向へ向かって順に圧縮ブロック画像データを圧縮画像記憶部１７に記憶する。以下に、出力部１８による圧縮ブロック画像データの読み出し順序について説明する。

図２（ｂ）に示すように、圧縮ブロック画像データは圧縮画像記憶部１７のブロック画像毎に区別された領域に夫々記憶される。出力部１８は、圧縮画像記憶部１７からブロック画像毎に圧縮ブロック画像データを読み出す場合、各領域の先頭の圧縮ブロック画像データのパケットヘッダに含まれている画質向上度を表わす値を読み出し、値が最も大きい圧縮ブロック画像データから順に読み出して出力する。

図２（ｂ）に示すように圧縮ブロック画像データが記憶されている例では、出力部１８は以下のような順序で圧縮ブロック画像データを読み出して出力する。以下の説明では、ブロック画像Ｂ₀，Ｂ₁，Ｂ₂，Ｂ₃の圧縮ブロック画像データについて説明し、他のブロック画像Ｂ₄からＢ₈までについては同様であるので詳細な説明を省略する。

まず、出力部１８はブロック画像Ｂ₀，Ｂ₁，Ｂ₂，Ｂ₃の先頭の圧縮ブロック画像データのパケットヘッダから夫々、画質向上度を表わす値「１０」，「１０」，「１０」，「８」を読み出す。出力部１８は最も画質向上度を表わす値が大きい圧縮ブロック画像データから読み出す。この場合、ブロック画像Ｂ₀，Ｂ₁，Ｂ₂の画質向上度を表わす値が同値である。出力部１８は、ブロック画像Ｂ₀，Ｂ₁，Ｂ₂の画質向上度を表わす値がいずれも「１０」の圧縮ブロック画像データを任意の順序で読み出し、ＲＴＰパケットに含めて出力する。出力部１８は圧縮画像記憶部１７から圧縮ブロック画像データをＦＩＦOで読み出すので、圧縮画像記憶部１７のブロック画像Ｂ₀，Ｂ₁，Ｂ₂，Ｂ₃の次の圧縮ブロック画像データのパケットヘッダに含まれる画質向上度を表わす値は夫々、「９」，「８」，「９」，「８」となる。

次も出力部１８は、最も画質向上度を表わす値が大きい圧縮ブロック画像データから読み出す。したがって出力部１８は、ブロック画像Ｂ₀，Ｂ₂の画質向上度を表わす値がいずれも「９」の圧縮ブロック画像データを任意の順序で読み出し、ＲＴＰパケットに含めて出力する。同様にして次に出力部１８は、ブロック画像Ｂ₀，Ｂ₁，Ｂ₂，Ｂ₃の画質向上度を表わす値がいずれも「８」の圧縮ブロック画像データを任意の順序で読み出し、ＲＴＰパケットに含めて出力する。

圧縮部１６がＪＰＥＧ２０００により圧縮符号化する場合、圧縮画像記憶部１７には、圧縮ブロック画像データの階層符号化されたパケットがＬＲＣＰ（Layer-resolution level-component-position）の順に、重要度の高い並びで記憶される。したがって、出力部１８が複数の圧縮ブロック画像データの内の、画質向上度が大きいデータから順に出力することが、容易な構成で実現可能である。そして出力部１８が、分割されたブロック画像の圧縮ブロック画像データを例えばブロック画像Ｂ₀からＢ₈まで順に出力するのではなく、分割されたブロック画像夫々について均等に画質向上度が大きい圧縮ブロック画像データから出力する。これにより、復号側で一のフレーム全体の画像データをブロック画像の順に出力するのではなく、全体としてプログレッシブに出力することが可能となる。

なお、圧縮部１６がＪＰＥＧ２０００を利用して符号化する場合は、圧縮部１６がブロック画像を夫々を圧縮するに際し、ブロック画像を複数のタイルに分割し、各タイルについてビットプレーン毎に符号化処理を行なう。したがって、同一ブロック画像内でも複数のタイルの内の、より画質向上度が大きいタイルがより先に出力されて圧縮画像記憶部１７に記憶されている。即ち、より細かい単位で画質向上度が大きいデータから先に出力される。

そして出力部１８は、出力制御部１９から入力される制御信号に従い、上述に示した圧縮画像記憶部１７からの圧縮ブロック画像データの読み出し、並びに、出力処理の開始及び終了をブロック画像毎に行なう。本実施の形態における画像出力装置１で圧縮ブロック画像データの出力の開始、終了が制御される処理について、フローチャートを参照して説明する。

図３は、本実施の形態における画像出力装置１で圧縮ブロック画像データの出力が制御される処理手順の一例を示すフローチャートである。以下の処理は、分割されたブロック画像夫々を対象として行なわれる。

出力制御部１９は、圧縮画像記憶部１７を参照し、対象ブロック画像の圧縮ブロック画像データの有無を判断する（ステップＳ１１）。出力制御部１９は、圧縮画像記憶部１７に圧縮ブロック画像データが無いと判断した場合（Ｓ１１：ＮＯ）、処理をステップＳ１１へ戻し、圧縮ブロック画像データが圧縮部１６により書き込まれるまで待機する。出力制御部１９は、圧縮画像記憶部１７に圧縮ブロック画像データがあると判断した場合（Ｓ１１：ＹＥＳ）、出力部１８により、圧縮画像記憶部１７からの対象ブロック画像についての圧縮ブロック画像データの読み出し及び出力を開始させる（ステップＳ１２）。

出力制御部１９は、一のフレームの対象ブロック画像について圧縮ブロック画像データの出力が開始されてからの時間ｔの計測を開始し（ステップＳ１３）、時間ｔが所定時間Ｔ２以上であるかを判断する（ステップＳ１４）。このときの所定時間Ｔ２は例えば、フレームレートの逆数、即ちフレーム当たりの時間、又は当該フレーム当たりの時間よりも所定時間（例えば、一フレーム当たりの時間を、ブロック画像を構成するタイルの数で除算した単位時間の２．５単位時間分）短い時間である。

出力制御部１９は、時間ｔが所定時間Ｔ２未満であると判断した場合（Ｓ１４：ＮＯ）、処理をステップＳ１４へ戻す。このとき、出力部１８では圧縮画像記憶部１７からの対象ブロック画像についての圧縮ブロック画像データの読み出し及び出力が続行される。

出力制御部１９は、時間ｔが所定時間Ｔ２以上であると判断した場合（Ｓ１４：ＹＥＳ）、時間ｔが所定時間Ｔ１を経過しているか否かを判断する（ステップＳ１５）。このとき所定時間Ｔ１は例えば、Ｔ１＝３×Ｔ２、即ちフレーム当たりの時間の３フレーム分である。

出力制御部１９は、時間ｔが所定時間Ｔ１を経過していないと判断した場合（Ｓ１５：ＮＯ）、即ち、所定時間Ｔ１は経過していないものの、次のフレームの圧縮ブロック画像データの出力タイミングが到来する場合、出力中の圧縮ブロック画像データの画質が所定の画質を満たすか否かを判断する（ステップＳ１６）。具体的には、出力制御部１９は圧縮画像記憶部１７に記憶されている対象ブロック画像の圧縮ブロック画像データの内、その時点で先頭に記憶されている圧縮ブロック画像データのパケットヘッダに含まれている画質向上度を表わす値が、所定値以下であるか否かを判断する。また、出力部１８から出力済みの圧縮ブロック画像データのパケットヘッダに含まれていた画質向上度を表わす値の通知を受け付けて判断してもよい。

出力制御部１９は、画質が所定の画質を満たしていないと判断した場合（Ｓ１６：ＮＯ）、処理をステップＳ１４へ戻す。これにより、次のフレームの圧縮ブロック画像データの出力タイミングが到来している場合であっても、出力部１８では出力中のフレームの圧縮ブロック画像データの圧縮画像記憶部１７からの読み出し及び出力が続行される。

出力制御部１９はステップＳ１６において画質が所定の画質を満たすと判断した場合（Ｓ１６：ＹＥＳ）、対象ブロック画像について残りの圧縮ブロック画像データが圧縮画像記憶部１７に記憶されているときでも出力部１８へ出力の終了を示す制御信号を入力し、出力中のフレームの圧縮ブロック画像データの出力を終了させる（ステップＳ１７）。この場合、対象ブロック画像について残りの圧縮ブロック画像データが圧縮画像記憶部１７に記憶されているとき、出力制御部１９は圧縮画像記憶部１７から当該残りの圧縮ブロック画像データを削除するようにしてもよい。

また、出力制御部１９は、時間ｔが所定時間Ｔ１を経過していると判断した場合（Ｓ１５：ＹＥＳ）、ステップＳ１６による画質が所定の画質を満たしているか否かの判断処理を行なうことなしに、出力を終了させる（Ｓ１７）。このとき同様に、出力制御部１９は圧縮画像記憶部１７から当該残りの圧縮ブロック画像データを削除するようにしてもよい。

そして出力制御部１９は、対象ブロック画像の圧縮ブロック画像データの出力を終了させた場合（Ｓ１７）、時間ｔの計測を終了し（ステップＳ１８）、処理をステップＳ１１へ戻し、次の対象ブロック画像の圧縮ブロック画像データの出力の開始及び終了を制御する。

図３のフローチャートに示した処理手順は、画像出力装置１が起動している間、繰り返される。画像出力装置１へ電力供給がされなくなった場合に処理が終了される。

なお、ステップＳ１４及びステップＳ１５の処理手順は、圧縮ブロック画像データの出力を開始してからの時間ｔと所定時間との比較に基づいて、次のフレームの圧縮ブロック画像データの出力タイミングが到来するか否かを判断する構成とした。しかしながら、本発明はこれに限らず、本来のフレーム出力周期の開始時点からの時間を計測する構成としてもよい。これにより、一のフレームの圧縮ブロック画像データの出力を開始するタイミングが、前のフレームの圧縮ブロック画像データの出力が続行されたことによりずれ込んだ場合に、当該一のフレームの本来のフレーム期間の終了時点で所定の画質を満たしているときには出力を終了させ、次のフレームの圧縮ブロック画像データの出力の即時性を高めることが可能となる。

本実施の形態における画像出力装置１では、図３のフローチャートに示した処理手順により一のフレームの対象ブロック画像の圧縮ブロック画像データの出力が続行されて、後のフレームの圧縮ブロック画像データの出力タイミングが待機される場合、データ量を抑えるためにフレームの間引き処理が行なわれる。また、本実施の形態における画像出力装置１では、差分でないブロック画像を圧縮するか、又は差分ブロック画像を圧縮するかが、前の画像データとの差分量に応じて選択される。

図４は、本実施の形態における画像出力装置１で、フレームの間引き処理及び圧縮対象となる画像の選択処理の手順の一例を示すフローチャートである。以下に示す処理手順についても、分割されたブロック画像夫々を対象として行なわれる。

出力制御部１９は、初期状態として差分でないブロック画像を圧縮部１６で圧縮するように選択する（ステップＳ２０１）。具体的には、出力制御部１９は初期状態で、対象ブロック画像について差分でないブロック画像を圧縮部１６へ入力させるように選択部１５に選択信号を入力する。

出力制御部１９は、画像出力装置１の各構成部による動作が開始して、差分画像生成部１３及び画像分割部１２から選択部１５へブロック画像が入力されたか否かを判断する（ステップＳ２０２）。選択部１５へブロック画像が入力されるタイミングは例えば、各フレームの出力タイミングよりも所定時間前（例えば、一フレーム当たりの時間を、ブロック画像を構成するタイルの数で除算した単位時間の２．５単位時間分前）のタイミングとなるように構成されている。

出力制御部１９は、選択部１５へブロック画像が入力されていないと判断した場合（Ｓ２０２：ＮＯ）、処理をステップＳ２０２へ戻す。出力制御部１９は、選択部１５へブロック画像が入力されたと判断した場合（Ｓ２０２：ＹＥＳ）、その時点で出力部１８により一つ前のフレームの対象ブロック画像の圧縮ブロック画像データを出力中であるか否かを判断する（ステップＳ２０３）。

出力制御部１９は、一つ前のフレームの対象ブロック画像の圧縮ブロック画像データを出力中でないと判断した場合（Ｓ２０３：ＮＯ）、更に前のフレームの対象ブロック画像の圧縮画像データの出力が続行されているので、当該一つ前のフレームの対象ブロック画像の圧縮ブロック画像データは圧縮画像記憶部１７から破棄する（ステップＳ２０４）。この場合、出力制御部１９は、破棄したフレームの対象ブロック画像との差分ブロック画像を差分画像生成部１３で取得していたときには、差分ブロック画像を再取得しておく（ステップＳ２０５）。

また出力制御部１９は、一つ前のフレームの対象ブロック画像の圧縮ブロック画像データを出力中であると判断した場合（Ｓ２０３：ＹＥＳ）、処理を次のステップＳ２０６へ進める。

次に出力制御部１９は、差分画像生成部１３から入力される差分値が所定値よりも大きいか否かを判断する（ステップＳ２０６）。出力制御部１９は、差分値が所定値よりも大きいと判断した場合（Ｓ２０６：ＹＥＳ）、差分でないブロック画像を圧縮部１６へ入力するように選択信号を選択部１５へ入力し（ステップＳ２０７）、有効信号を参照画像記憶部１４に入力することにより、対象ブロック画像を参照画像として記憶し直すように参照画像記憶部１４へリフレッシュ要求を行なう（ステップＳ２０８）。

出力制御部１９は、選択部１５から差分ブロック画像又は差分でないブロック画像のいずれかを圧縮部１６へ入力させて圧縮を開始させ（ステップＳ２０９）、処理をステップＳ２０２へ戻して次のフレームの対象ブロック画像が入力されるまで待機する。

なお、ステップＳ２０６において差分値が所定値以下であると判断した場合（Ｓ２０６：ＮＯ）、出力制御部１９は、ステップＳ２０３において判断した出力中の圧縮ブロック画像データは、３つ前以前のフレームの画像データの圧縮ブロック画像データであるか否かを判断する（ステップＳ２１０）。出力制御部１９は、出力中の圧縮ブロック画像データは、３つ前以前のフレームの画像データの圧縮ブロック画像データであると判断した場合（Ｓ２１０：ＹＥＳ）、差分値が所定値以下であっても差分でないブロック画像を圧縮するように選択信号を選択部１５へ入力する（Ｓ２０７）。出力制御部１９は、出力中の圧縮ブロック画像データが、２つ前以降のフレームの画像データの圧縮ブロック画像データであると判断した場合（Ｓ２１０：ＮＯ）、差分値が所定値以下であるので差分ブロック画像を圧縮部１６へ入力するように選択信号を選択部１５へ入力し（ステップＳ２１１）、圧縮を開始させる（Ｓ２０９）。

図４のフローチャートに示した処理により、出力部１８によって順次読み出される圧縮ブロック画像データは、ブロック画像毎に自動的に間引き処理、選択処理が行なわれる。なお、図４のフローチャートに示した処理手順の内、ステップＳ２０６において、差分値が略ゼロであると判断される場合には、圧縮部１６による圧縮処理さえも省略するようにしてもよい。この場合、圧縮画像記憶部１７への書き込みも行なわれず、出力部１８は圧縮画像記憶部１７に既に書き込まれている、前のフレームの圧縮ブロック画像データを出力する。これにより、出力されるデータ量をより削減し、各フレームの即時性を高めることができる。

次に、画像出力装置１の各構成部の動作により図３及び図４のフローチャートに示した処理が行なわれる結果、出力部１８から出力される圧縮ブロック画像データについて具体例を挙げて説明する。

図５は、本実施の形態における画像出力装置１の出力部１８から出力される圧縮ブロック画像データの出力タイミングを示す説明図である。図５中の上段に示す矩形は１フレーム分の画像が複数のブロック画像に分割される例を示している。本実施の形態における画像出力装置１を構成する画像分割部１２は、図２（ａ）の説明図に示したように１フレーム分の画像を左上から水平方向に順にＢ₀からＢ₈までの９つのブロック画像に分割する。

図５中の中段に示す５つの矩形は夫々、画像取得部１１によって取得される１フレーム分の画像データを示している。図５の左から右へ向かって時間の経過を示し、各画像データは＃０のフレームから順に＃４のフレームへ至るように内容が変移していることを示している。なお、図５中の中段に示す５つの矩形におけるブロック画像は破線により区切られ、図５中の上段で示した各ブロック画像Ｂ₀からＢ₈までに対応している。＃０のフレームは平坦な画像データであるが、＃１のフレームではブロック画像Ｂ₁、Ｂ₂、Ｂ₄、Ｂ₅に相当する部分に矩形が現われ、＃２のフレームではブロック画像Ｂ₄、Ｂ₅、Ｂ₇、Ｂ₈に相当する部分に楕円形が現われ、＃３のフレームではブロックＢ₇、Ｂ₈に相当する部分に線分が現われ、＃４のフレームでは＃３のフレームからほぼ変化がないことが示されている。

図５中の下段には各フレームの出力タイムチャートが示されており、左から右へ時間の経過を示している。フレーム期間は、例えば毎秒６０フレームのフレームレートで出力される場合の＃０から＃４まで夫々の１フレーム当たりの期間である。図５の下段に示す例では、所定時間Ｔ２は１フレーム期間、所定時間Ｔ１は３フレーム分のフレーム期間とするが、夫々１フレーム期間又は３フレーム分のフレーム期間よりも若干短い時間でもよい。図５中の下段に示す各矩形は各ブロック画像の圧縮ブロック画像データの出力期間を表わしており、白抜きの矩形は差分でないブロック画像を圧縮した圧縮ブロック画像データであり、網掛けの矩形は差分ブロック画像を圧縮した圧縮ブロック画像データを表わしている。

図５中の下段に示す例ではまず、ブロック画像Ｂ１に注目した場合、＃１のフレームの圧縮ブロック画像データを出力中に、＃１のフレームの圧縮ブロック画像データの出力開始から時間ｔが所定時間Ｔ２以上となり、次の＃２のフレームの圧縮ブロック画像データの出力タイミングとなったときに出力済みの＃１のフレームにおける圧縮ブロック画像データと圧縮前のブロック画像データとの画質が評価され、所定の画質を満たすか否か、すなわち圧縮前のブロック画像データからの劣化が許容できる範囲か否かが判断される。図５の説明図に示す例では、＃２のフレームの圧縮ブロック画像データの出力タイミングの時点では所定の画質を満たさないと判断されて出力が続行されている。そして、＃３のフレームの圧縮ブロック画像データの出力タイミング（Ｔ１＞時間ｔ≧Ｔ２）でも同様に、所定の画質を満たさないと判断されて出力が続行されている。したがって、＃３のフレームの圧縮ブロック画像データの出力タイミングの前に、＃３のフレームの差分ブロック画像及び差分でないブロック画像が選択部１５に入力され、いずれを圧縮するかの選択がされる場合、１つ前の＃２のフレームの画像の圧縮ブロック画像データの出力中ではないので、＃２のフレームの圧縮ブロック画像データは圧縮画像記憶部１７から削除されて破棄される。＃３のフレームのブロック画像については差分値は所定値よりも小さいと判断されて差分ブロック画像（＃１との差分）を圧縮するように選択される。そして、＃１のフレームの圧縮ブロック画像データの出力開始から時間ｔ１１が経過した時点（Ｔ１＞ｔ１１≧Ｔ２）で所定の画質を満たすと判断されて出力が終了される。この時点で＃２のフレームの圧縮ブロック画像データは破棄されているので、次には＃３のフレームの圧縮ブロック画像データの出力が開始されている。

次に、ブロック画像Ｂ₂に注目した場合、＃１のフレームの圧縮ブロック画像データを出力中、次の＃２のフレームの圧縮ブロック画像データの出力タイミング（時間ｔ≧Ｔ２）で所定の画質を満たさないと判断されて出力が続行されている。そして、時間ｔ₂₁（Ｔ１＞ｔ₂₁≧Ｔ２）が経過した時点で所定の画質を満たすと判断されて出力が終了され、＃２のフレームの圧縮ブロック画像データの出力が開始されている。また、＃３のフレームの圧縮ブロック画像データの出力タイミングの前に、＃３のフレームの差分ブロック画像及び差分でないブロック画像が選択部１５に入力され、いずれを圧縮するかの選択がされる。この場合、判断がされる時点で１つ前の＃２のフレームの圧縮ブロック画像データの出力中であり、差分値は所定値よりも小さいと判断されて差分ブロック画像を圧縮するように選択される。したがって、＃２のフレームの圧縮ブロック画像データの出力の終了後は、＃３のフレームの差分ブロック画像（＃１又は＃２との差分）が圧縮符号化された圧縮ブロック画像データの出力が開始されている。

また、ブロック画像Ｂ₄に注目した場合、＃１のフレームの圧縮ブロック画像データを出力中、次の＃２のフレームの圧縮ブロック画像データの出力タイミング（時間ｔ≧Ｔ２）で同様に所定の画質を満たさないと判断されて出力が続行されている。その後、＃２のフレームの圧縮ブロック画像データの出力がされているが、次の＃３、更に後の＃４及び＃５のフレームの圧縮ブロック画像データの出力タイミング（Ｔ１＞時間ｔ≧Ｔ２）でも所定の画質を満たさないと判断されて出力が続行されている。ただし、出力開始からの時間ｔが所定時間Ｔ１を超える時点（ｔ₄₂＞Ｔ１）で、画質が所定の画質を満たすか否かに拘わらず、＃２のフレームの圧縮ブロック画像データの出力は終了される。この場合、＃４のフレームの圧縮ブロック画像データの出力タイミングの前に、各フレームの差分ブロック画像及び差分でないブロック画像が選択部１５に入力され、いずれを圧縮するかの選択がされるが、１つ前より前の＃２のフレームの圧縮ブロック画像データの出力中であるので、＃３のフレームの圧縮ブロック画像データは圧縮画像記憶部１７から削除されて破棄される。＃５のフレームの差分ブロック画像及び差分でないブロック画像が選択部１５に入力されていずれを圧縮するかの選択がされる場合も、＃２のフレームの圧縮ブロック画像データの出力中であるので＃４のフレームの圧縮ブロック画像データは圧縮画像記憶部１７から削除されて破棄され、＃５のフレームのブロック画像は、差分値が所定値よりも小さいときであっても、差分でないブロック画像が圧縮部１６に入力されて圧縮されるように選択される。

同様に、ブロック画像Ｂ₅では、＃１のフレームの圧縮ブロック画像データを出力中、次の＃２のフレームの圧縮ブロック画像データの出力タイミング（時間ｔ≧Ｔ２）で所定の画質を満たさないと判断されて出力が続行されている。同様に＃２のフレームの圧縮ブロック画像データを出力中、次の＃３のフレームの圧縮ブロック画像データの出力タイミング（時間ｔ≧Ｔ２）で所定の画質を満たさないと判断されて出力が続行されている。そして、＃３のフレームの圧縮ブロック画像データが破棄され、次に出力されるのは更に後の＃４のフレームの圧縮ブロック画像データであることが示されている。

このように、本実施の形態における画像出力装置１は、それまでに出力した過去のフレームではなく、出力中のフレームの圧縮ブロック画像データの画質に基づいて、出力されるタイミングを一定とせずに変動させてフレームレートを制御する。これにより、画質を所定の画質以上に維持すると共にデータ量を抑えることができ、遅延及び画質の劣化を低減させることができる。また、各画像データをブロック画像に分割し、ブロック画像毎にフレームレートを適切に制御することで変化の大きい部分と、変化の小さい部分とで適切にデータ量を割り振り、データ量を効率的に抑えて画質を維持することが可能になる。

なお、図５中の網掛けの矩形に相当する圧縮ブロック画像データについては、差分ブロック画像を圧縮したデータであるので、夫々フレーム期間よりも短い時間で出力が完了する可能性が高い。例えばブロック画像Ｂ₂に注目した場合、図５に示す例では＃２から＃５までのフレームの圧縮ブロック画像データの出力期間は夫々フレーム期間と同様の期間を示している。しかしながら、各フレームの圧縮ブロック画像データの出力を開始してからの時間が所定時間Ｔ２を経過する前に、データが終了する場合又は所定の画質を満たす場合にはその時点で出力を終了するようにする。これにより、各出力期間は夫々フレーム期間よりも短くなることが期待され、＃２から＃５までのフレームの圧縮ブロック画像データの出力タイミングは夫々、手前に繰り上がり即時性が更に高められる。

また、差分ブロック画像を圧縮する際、差分値が略ゼロである場合には出力が省略される構成としてもよい。図５に示した例では、例えば＃０のフレームと＃１のフレームのフレームとではブロック画像Ｂ₀、Ｂ₃、Ｂ₆、Ｂ₇、Ｂ₈では変化がないので、これらのブロックのデータの出力を省略することによってデータ量を削減し、無線技術を利用して画像を伝送する場合等の伝送帯域に制限がある場合であっても即時性を高めてリアルタイムに画像でデータを出力することを可能とする。

また、差分ブロック画像を圧縮する際に差分値が略ゼロである場合には、圧縮部１６による圧縮処理が省略される構成としてもよい。この場合、圧縮画像記憶部１７への書き込みも行なわれず、既に書き込まれている圧縮画像データが出力部１８により出力される。図５に示した例においてブロック画像Ｂ₁に注目した場合、＃１のフレームと＃３から＃５までのフレームとでは変化がないので、＃３から＃５までのフレーム期間も、＃１のフレームの圧縮ブロック画像データが出力される。即ち、網掛けの矩形に相当する圧縮ブロック画像データは、全て＃１のフレームの圧縮ブロック画像データとなる。同様にブロック画像Ｂ₂、ブロック画像Ｂ₃及びブロック画像Ｂ₅でも、網掛けの矩形に相当する圧縮画像データはその前に出力されていた圧縮ブロック画像データとなり、夫々＃１のフレーム、＃０のフレーム及び＃２のフレームの圧縮ブロック画像データが出力される。

なお、本実施の形態では処理をフレーム毎に行なう構成としたが、フィールド毎に行なうようにしてもよい。

また、本実施の形態では、画像出力装置１は差分画像生成部１３、参照画像生成部１４及び選択部１５を備え、差分値が所定値以上であるか否か、又は、一の画像データの圧縮ブロック画像データの出力経過時間が所定時間Ｔ１を経過したことによって出力を終了させたか否かによって差分でないブロック画像又は差分ブロック画像のいずれを圧縮して出力するかを選択する構成とした。出力制御部１９は他に、差分でないブロック画像を圧縮させてからのフレーム数が所定数以上であるか否か等の判断によって選択部１５へ選択信号を入力するようにしてもよい。なお、本発明は差分ブロック画像を圧縮することは必須ではなく、したがって差分画像生成部１３、参照画像生成部１４及び選択部１５が備えられない構成でもよい。この場合、圧縮部に１６は常に、差分でないブロック画像が入力される。

さらに、本実施の形態では一の画像データを画像分割部１２によって分割し、ブロック画像夫々について個別に処理を行なう構成としたが、画像分割部１２を備えない構成としてもよい。この場合、画像取得部１１で取得した一の画像データを分割せずに圧縮し、圧縮された圧縮画像データの出力の開始、終了を圧縮画像データの画質に応じて出力制御部１９が制御する。

また、圧縮部１６はＪＰＥＧ２０００による符号化を行なうとは限らず、追加データによって画質が向上する方式の符号化であれば、他の方式を利用する構成としてもよい。

本実施の形態における画像出力装置１を例えばパーソナルコンピュータ（ＰＣ：Personal Computer）装置に備えられるビデオカードに適用し、ＲＴＰパケットに含めた圧縮ブロック画像データを無線により送信可能な構成とし、更に、液晶パネルを用いたディスプレイ等の表示装置で圧縮ブロック画像データを復号して一の画像データを表示させることが可能な構成とすることにより、コンピュータ装置の画面を無線通信を利用してリアルタイムに表示させることができる。この場合勿論、無線により送信する構成とは限られない。

遠隔地にあるコンピュータ装置間で画像を送受信してテレビ会議を行なう場合に本実施の形態における画像出力装置１を用いることにより、低遅延で且つ高画質な画像の送受信が可能となる。また近年では、情報の機密性、安全性を考慮して大容量の記憶手段を備えないＰＣを用い、ＰＣから接続されるサーバ装置で各種アプリケーションプログラム等の処理を実行させ、処理の結果に基づいて作成、更新される画面が転送されることにより、ユーザが実行結果を把握するシンクライアント（thin client）システムが普及している。ユーザの操作性を考慮した場合、画面の送受信の即時性が求められるが、本実施の形態における画像出力装置１をシンクライアントシステムのサーバ装置に適用し、クライアント装置へ画面の画像データを転送する構成とすることにより、遅延を低減し且つ高画質を実現することができる。

本実施の形態における画像出力装置の構成を示すブロック図である。本実施の形態における画像出力装置の圧縮画像記憶部に記憶される圧縮ブロック画像データの概要を示す説明図である。本実施の形態における画像出力装置で圧縮ブロック画像データの出力が制御される処理手順の一例を示すフローチャートである。本実施の形態における画像出力装置で、フレームの間引き処理及び圧縮対象となる画像の選択処理の手順の一例を示すフローチャートである。本実施の形態における画像出力装置の出力部から出力される圧縮ブロック画像データの出力タイミングを示す説明図である。

符号の説明

１画像出力装置
１１画像取得部
１２画像分割部
１３差分画像生成部
１５選択部
１６圧縮部
１７圧縮画像記憶部
１８出力部
１９出力制御部

Claims

時系列に画像データを取得する手段と、階層符号化方式を利用して画像データを圧縮する圧縮手段と、該圧縮手段が圧縮した圧縮画像データを順次出力する手段とを備える画像出力装置において、
圧縮画像データの出力の開始及び終了を制御する出力制御手段と、
出力中の一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化するか否かを判断する判断手段と、
前記一の画像データの圧縮画像データを出力中に後の画像データの圧縮画像データを出力すべきタイミングが到来するか否かを判断する手段と
を備え、
前記出力制御手段は、
後の画像データの圧縮画像データを出力すべきタイミングが到来すると判断した場合に、前記判断手段が出力中の前記一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化すると判断したとき、前記一の画像データの圧縮画像データの出力を続行するようにしてあり、
後の画像データの圧縮画像データを出力すべきタイミングが到来すると判断した場合に、前記判断手段が出力中の前記一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化しないと判断したとき、前記一の画像データの圧縮画像データの出力を終了するようにしてあること
を特徴とする画像出力装置。
前記出力制御手段は、
前記後の画像データの圧縮画像データを出力すべきタイミングの経過後、前記判断手段が出力中の前記一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化しないと判断した時点で前記一の画像データの圧縮画像データの出力を終了し、前記後の画像データの圧縮画像データの出力を開始するようにしてあること
を特徴とする請求項１に記載の画像出力装置
前記出力制御手段は、前記一の画像データの圧縮画像データの出力を続行する場合、前記後の画像データの圧縮画像データを破棄するようにしてあること
を特徴とする請求項１に記載の画像出力装置。
前記出力制御手段は、前記一の画像データの圧縮画像データの出力を続行する場合、前記後の画像データよりも更に後の画像データの圧縮画像データを出力すべきタイミングまでに前記一の画像データの圧縮画像データの出力を終了しないとき、前記一の画像データよりも後であって且つ前記更に後の画像データよりも前の画像データの圧縮画像データを破棄するようにしてあること
を特徴とする請求項３に記載の画像出力装置。
前記出力制御手段は、
前記一の画像データの圧縮画像データの出力を続行した場合、前記一の画像データの圧縮画像データの出力タイミングから所定時間が経過するまでに前記判断手段が出力中の前記一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化すると判断したとき、前記一の画像データの圧縮画像データの出力を終了するようにしてあること
を特徴とする請求項１乃至４のいずれかに記載の画像出力装置。
画像データを複数に分割する手段を備え、
前記圧縮手段は分割された画像データ夫々を圧縮するようにしてあり、
前記出力制御手段は、画像データ夫々の圧縮画像データの出力の開始及び終了を制御するようにしてあること
を特徴とする請求項１乃至５のいずれかに記載の画像出力装置。
前記圧縮手段が圧縮した圧縮画像データを夫々、一旦記憶する圧縮画像記憶手段を備え、
前記出力制御手段は、圧縮画像データを出力させるに際し、
前記圧縮画像記憶手段に記憶される圧縮画像データの内の、既に出力済み分の圧縮画像データからの差分量がより多い圧縮画像データを優先的に出力する手段を備えること
を特徴とする請求項１乃至６のいずれかに記載の画像出力装置。
前記圧縮手段は、プログレッシブＪＰＥＧ又はＪＰＥＧ２０００における符号化方法を利用して画像を圧縮するようにしてあること
を特徴とする請求項１乃至７のいずれかに記載の画像出力装置。
画像データを受け付けるコンピュータに、時系列に取得させた画像データを階層符号化方式を利用して圧縮させ、圧縮した圧縮画像データを順次出力させるコンピュータプログラムにおいて、
コンピュータを、
圧縮画像データの出力の開始及び終了を制御する出力制御手段、
出力中の一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化するか否かを判断する判断手段、及び、
前記一の画像データの圧縮画像データを出力中に後の画像データの圧縮画像データを出力すべきタイミングが到来するか否かを判断する手段、
並びに、
前記一の画像データの圧縮画像データを出力中に後の画像データの圧縮画像データを出力すべきタイミングが到来すると判断した場合に、前記判断手段が出力中の前記一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化すると判断したとき、前記一の画像データの圧縮画像データの出力を続行する手段、及び、
一の画像データの圧縮画像データを出力中に後の画像データの圧縮画像データを出力すべきタイミングが到来すると判断した場合に、前記判断手段が出力中の前記一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化しないと判断したとき、前記一の画像データの圧縮画像データの出力を終了する手段
として機能させることを特徴とするコンピュータプログラム。
画像データを時系列に取得し、取得した画像データを階層符号化方式を利用して圧縮した圧縮画像データを順次出力する画像出力方法において、
出力中の一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化するか否かを判断し、
前記一の画像データの圧縮画像データを出力中に後の画像データの圧縮画像データを出力すべきタイミングが到来するか否かを判断し、
一の画像データの圧縮画像データを出力すべきタイミングが到来すると判断した場合に、出力中の前記一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化すると判断したとき、前記一の画像データの圧縮画像データの出力を続行し、
一の画像データの圧縮画像データを出力すべきタイミングが到来すると判断した場合に、出力中の前記一の画像データの圧縮画像データと圧縮前の前記一の画像データとを比較することで、圧縮により劣化する画質が所定の画質より劣化しないと判断したとき、前記一の画像データの圧縮画像データの出力を終了する
ことを特徴とする画像出力方法。