JP2010220156A - 映像再生装置および方法並びにプログラム - Google Patents

Abstract

【課題】表示遅延の増大やフレームドロップを回避しながら、適応的に画質を改善可能な映像再生装置を提供すること。
【解決手段】画像生成手段１３１は、映像データの受信ないし復号によってフレーム画像を生成する。画質改善時間推定手段１３５は、フレーム画像について画質改善処理に要する時間を推定する。画質改善適用判定手段１３４は、現在時刻からフレーム画像の表示予定時刻までの空き時間と、フレーム画像について推定された画質改善処理に要する時間との比較結果に従って、フレーム画像に対する画質改善処理の適用可否を決定する。画質改善手段１３３は、適用可と決定されたフレーム画像に対して画質改善処理を行う。画像出力手段１３２は、フレーム画像の表示予定時刻に同期してフレーム画像を出力する。
【選択図】図１

Description

本発明は静止画や動画像の映像を再生する装置に関し、特に滑らかな映像再生が行えるように画質改善を行う映像再生装置に関する。

映像データを圧縮符号化する方式が多種開発されている。

現在主流となっている映像符号化規格として、たとえばMPEG（Moving Picture Experts Group）が挙げられる。MPEGは、映像を８画素×８画素などのブロック単位で符号化する。

圧縮処理では、ブロックごとに周波数変換を行い、高周波成分を切り捨てることによって、視覚的な品質劣化を抑えながらデータ量を小さくする方式が用いられている。

しかし、こうした高周波成分の切り捨ては非可逆の演算であるため、再生側では元の映像信号を完全に再現することはできず、再生映像に歪みが発生する。

たとえば、圧縮率が高くなり、切り捨てられる高周波成分が多くなると、隣接ブロック間の輝度連続性が確保できなくなり、ブロック境界の輝度不連続性が歪みとして知覚される（ブロックノイズが発生する）ようになる。

また、切り捨てられる成分が比較的少ない場合であっても、強いエッジの付近にもやもやとしたノイズ（モスキートノイズ）が知覚される場合がある。

これらのノイズは、再生側の後処理（ポストフィルタ）によって緩和できることが知られており、様々な方法が提案されている。

たとえば特許文献１には、ブロック歪みが発生しているブロック境界にのみ、輝度変化を滑らかにする画像処理（デブロックフィルタ）を適用する方式が開示されている。

また、特許文献２に記載されるように、映像中の動き領域や輪郭のボケを抑えながらノイズ成分だけを選択的にぼかすような、適応型ノイズリダクションフィルタを用いることにより、モスキートノイズを緩和することができる。

画質を改善する他の方式としては、特許文献３で開示されているような、超解像という手法もある。

これは、位置ずれを含む複数の低解像度画像を元に、高解像度の信号を推定し復元するという方法である。超解像は複雑な演算を伴うため処理時間が長いが、データ量の小さい低解像度の映像データを元に、高解像度の映像を再生することができるという利点がある。

以上で符号化規格の例として挙げたMPEGは、主にビデオカメラ映像のような自然動画像を対象とした圧縮方式であるが、一方、コンピュータ画面のような人工的に生成された映像信号を符号化するための圧縮方式もある。

例えば、特許文献４には、画面の映像データをサーバ装置からクライアント装置へネットワークを経由して送受信するシンクライアント・システムが記載されている。

シンクライアント・システムのサーバ装置における映像伝送装置では、画像のうち更新された領域を含む矩形領域の画像データを符号化して送信する方式が多く用いられる。

この送信方式によれは、画像中の一部の領域しか更新されていない場合に、画像全体を全て符号化して送信する必要がなくなり、一部領域の画像データのみを符号化して送信すればよいので、送信データ量を減らすことができる。特に、シンクライアント・システムのような用途では、一部領域のみが更新される場合が多いため有効である。

また、こうしたコンピュータ画面のような映像に対しても、各更新領域に対してMPEG同様の非可逆圧縮を施すことで、視覚的な品質劣化を抑えながらデータ量を小さくすることができる。

また、この際に生じた歪みや画質劣化は、再生側で各更新矩形に対してポストフィルタを適用することによって緩和することができる。

またこうした画質改善方式のうち、単一フレーム内で完結する方式については、動画像以外にも、デジタルカメラの画像ビューアのような、静止画像を表示するような用途にも適用でき、実際に応用されている。

他方、特許文献５に、通常再生時には通常のフィルタ処理（通常の画質改善処理）、高速再生などの特殊再生時には簡易なフィルタ処理（簡易な画質改善処理）を行う発明が記載されている。

特許第4105218号 特開2005-176388号公報 特許第4126378号 特表2004-503862号公報 特開2007-135080号公報

高度なポストフィルタや超解像といった複雑な画質改善処理は、能力の低いプロセッサでは処理時間がかかるため、映像の表示期間内（秒間60フレームの動画像であれば、約16ミリ秒）に画質改善処理を完了できない場合がある。

特に、圧縮データを復号しながら再生する装置において、復号処理をソフトウェアで行う場合には、符号量や動き補償演算の精度などに応じて復号処理に要する時間が大きく変動する。

このため、復号時間が長い時には表示期間内に画質改善処理を完了できなくなり、結果として、フレームドロップなどの品質低下が発生してしまう場合がある。

また、復号処理をハードウェアで行う場合においても、映像の符号データを通信回線経由で受信しながら再生するような装置では、パケット到達時刻の揺らぎ（ジッター）による時間変動が存在する。

これにより、画質改善処理に費やすことのできる時間が変動し、画質改善処理が表示期間に間に合わない状況が生じうる。

また、シンクライアント・システムのような、コンピュータ画面を伝送・表示するような装置においては、平均的な画面遷移（画面の一部分のみ更新・符号化される状況）を想定して受信側の装置の仕様が決定される場合が多い。

このため、更新領域の面積が非常に大きい場合には、画質改善処理の適用が間に合わなくなる場合がある。

また、動画像だけでなく、デジタルカメラ画像などの静止画像をスライドショー表示する際にも、画質改善処理を適用したことによって表示が遅延することは望ましくない。

特に、多くの写真を高速にブラウズしている状況では、画質改善処理によって連続表示にひっかかりが出ることは避けたいが、その一方で、表示に引っかかりが出ない範囲では、できるだけ良い品質の画像を見たいという要求がある。

特許文献５に記載の発明では、画質改善処理に費やせる時間の大小に応じて、通常の画質改善処理と簡易な画質改善処理とを使い分けている。しかし、通常再生時は、通常の画質改善処理が常に行える時間的余裕があることを前提とし、また、特殊再生時は、簡易な画質改善処理が常に行える時間的余裕があることを前提としている。このため、復号時間が予想より長くかかる等の状況が生じると、画質改善処理が表示期間に間に合わない状況が発生する。

本発明の目的は、表示遅延の増大やフレームドロップを回避しながら、適応的に画質を改善可能な映像再生装置を提供することにある。

本発明の映像再生装置は、映像データの受信ないし復号によってフレーム画像を生成する画像生成手段と、前記フレーム画像に対して画質改善処理を行う画質改善手段と、前記フレーム画像の表示予定時刻に同期して前記フレーム画像を出力する画像出力手段と、前記フレーム画像について前記画質改善手段による画質改善処理に要する時間を推定する画質改善時間推定手段と、現在時刻から前記フレーム画像の表示予定時刻までの空き時間と、前記フレーム画像について前記画質改善時間推定手段で推定された画質改善処理に要する時間との比較結果に従って、前記フレーム画像に対する画質改善処理の適用可否を決定する画質改善適用判定手段とを備える。

本発明によれば、表示遅延の増大やフレームドロップを回避しながら、適応的に画質を改善可能な映像再生装置を提供することができる。

本発明の第１の実施の形態のブロック図である。 本発明の第１の実施の形態の処理の流れを示すフローチャートである。 本発明の第２の実施の形態のブロック図である。 本発明の第２の実施の形態におけるタスクスケジュール手段の動作の説明図である。 本発明の第２の実施の形態の処理の流れを示すフローチャートである。 本発明の第２の実施の形態におけるタスクスケジュール手段の処理の流れを示すフローチャートである。 本発明の第３の実施の形態のブロック図である。 本発明の第３の実施の形態におけるタスクスケジュール手段の動作の説明図である。 本発明の第３の実施の形態の処理の流れを示すフローチャートである。 本発明の第３の実施の形態におけるタスクスケジュール手段の処理の流れを示すフローチャートである。 本発明の第４の実施の形態のブロック図である。 本発明の第４の実施の形態の処理の流れを示すフローチャートである。 本発明の第５の実施の形態におけるタスクスケジュール手段の処理の流れを示すフローチャートである。 本発明の第６の実施の形態におけるタスクスケジュール手段の処理の流れを示すフローチャートである。

次に、本発明を実施するための形態について図面を参照して詳細に説明する。

［第１の実施の形態］
図１を参照すると、本発明の第１の実施の形態に係る映像再生装置は、データ入力装置１１と、データ記憶装置１２と、プログラム制御により動作するデータ処理装置１３と、時刻計測装置１４と、画像出力装置１５とから構成されている。

データ入力装置１１は、再生対象となる静止画または動画像の映像データを入力する装置である。

データ記憶装置１２は、一つ以上の画像を格納できる画像メモリ１２１と、画像表示予定時刻メモリ１２２と、画質改善推定時間メモリ１２３とを備える。

画像メモリ１２１は、映像データに対して必要に応じて復号処理を行って得られた静止画像または動画像のフレーム（以下、まとめてフレーム画像と表記する）を保持するために使用される。

画像表示予定時刻メモリ１２２は、画像メモリ１２１に格納されたフレーム画像を画像出力装置１５に表示する予定時刻を保持するために使用される。

画質改善推定時間メモリ１２３は、画像メモリ１２１に格納されたフレーム画像に対して画質改善処理を行うのに要する時間を保持するために使用される。

時刻計測装置１４は、現在の時刻を計測するマスタ時計である。時刻計測装置１４で計測されている現在時刻は、データ処理装置１３から取り出せるようになっている。

データ処理装置１３は、画像生成手段１３１と、画像出力手段１３２と、画質改善手段１３３と、画質改善適用判定手段１３４と、画質改善時間推定手段１３５とを備える。

画像生成手段１３１は、映像データに対して、必要に応じて復号処理を行ってフレーム画像を生成する機能を有する。また、画像生成手段１３１は、フレーム画像の生成が完了した時点で、そのフレーム画像の表示予定時刻を画像表示予定時刻メモリ１２２に格納し、さらに画質改善時間推定手段１３５に対して、推定処理の開始を指示する。この推定処理の開始の指示には、今回生成したフレーム画像のサイズ情報が添えられる。

画像出力手段１３２は、画像表示予定時刻メモリ１２２から表示予定時刻を読み出し、時刻計測装置１４から現在時刻を読み出し、現在時刻が表示予定時刻に達していたならば、画像メモリ１２１からフレーム画像を読み出し、画像出力装置１５に出力する機能を有する。

画質改善時間推定手段１３５は、画像メモリ１２１に格納されたフレーム画像に対して画質改善処理を行うのに要する時間を推定し、推定した時間を画質改善推定時間メモリ１２３に格納する機能を有する。画質改善時間推定手段１３５は、推定の際には、当該フレーム画像に対して要する最長の処理時間を推定値として採用する。

たとえば、適応型ノイズリダクションフィルタのような画質改善処理は、オブジェクトの輪郭付近にはフィルタ処理を適用しないため、画像内のエッジの多寡によって実際の処理時間が変動する。急峻なエッジが多い画像ではフィルタがほとんど適用されず処理時間が短くなり、急峻なエッジが少ない画像では多くの画素に対してフィルタが適用されるため処理時間が長くなる。このため、画質改善処理に要する時間を正確に推定するためには、画像中のエッジを検出する必要があるが、そのための負荷は大きい。そこで、本実施の形態の画質改善時間推定手段１３５は、全画素に対してフィルタが適用される場合（最も処理時間が長くなる場合）の処理時間を求め、これを推定値とする。具体的には、フィルタを適用する場合の１画素あたりの処理サイクル数と、フレーム画像の画素数（これは、画像生成手段１３１から通知されるフレーム画像のサイズ情報から計算される）とを乗じて、当該フレーム画像に対する最長処理時間の推定値とする。これによって、エッジの多寡等の条件によらずに実際の画質改善処理が推定時間内に完了することが保証される。

画質改善適用判定手段１３４は、画像表示予定時刻メモリ１２２から表示予定時刻を、時刻計測装置１４から現在時刻を、画質改善推定時間メモリ１２３から画質改善推定時間を、それぞれ読み出し、現在時刻に画質改善推定時間を加算し、得られた時刻が表示予定時刻を超えていない場合に限り、画質改善処理を行うものと判定し、画質改善手段１３３へ処理開始を通知する。

画像改善手段１３３は、画質改善適用判定手段１３４から処理開始の通知があると、画像メモリ１２１からフレーム画像を読み出して画質改善処理を適用し、画質改善処理適用後のフレーム画像を画像メモリ１２１に格納する。画質改善処理の種類は任意である。例えば、適応型ノイズリダクションフィルタのような画質改善処理を行うことができる。

画像出力装置１５は、再生画像を出力するディスプレイ装置などで構成される。

次に、本実施の形態の動作を説明する。

画像生成手段１３１は、データ入力装置１１から映像データを入力し（図２のＳ１０１）、必要に応じてデータの復号処理を行ってフレーム画像を生成し、画像メモリ１２１に格納する（Ｓ１０２）。次に、画像生成手段１３１は、当該フレーム画像を表示すべき時刻である画像表示予定時刻を画像表示予定時刻メモリ１２２に格納する（Ｓ１０３）。さらに画像生成手段１３１は、画質改善時間推定手段１３５に対して推定処理の開始を通知する。

画質改善時間推定手段１３５は、画像生成手段１３１から推定処理の開始の通知を受けると、画像メモリ１２１に格納されているフレーム画像に対して画質改善処理を適用するために要する最長の処理時間を推定し、推定された処理時間を画質改善推定時間メモリ１２３に書き込む（Ｓ１０４）。画質改善時間推定手段１３５は、推定処理を完了すると、その旨を画質改善適用判定手段１３４に通知する。

画質改善適用判定手段１３４は、画質改善時間推定手段１３５から通知を受けると、画質改善処理を適用するか否かの判定を行う（Ｓ１０５）。具体的には、画質改善適用判定手段１３４は、時刻計測装置１４から読み出した現時刻に、画質改善推定時間メモリ１２３から読み出した画質改善推定時間を加算することにより、画質改善処理を行ったと仮定した場合の画質改善処理終了時刻を計算し、この画質改善処理終了時刻と、画像表示予定時刻メモリ１２２から読み出した表示予定時刻とを比較する。そして、画質改善処理終了時刻が表示予定時刻を超えていない場合には、画質改善処理を行うものと判定し、画質改善手段１３３へ処理開始を通知する。他方、画質改善処理終了時刻が表示予定時刻を超えている場合、画質改善手段１３３へは処理開始を通知しない。

画質改善手段１３３は、画質改善適用判定手段１３４から処理開始の通知があると、画像メモリ１２１からフレーム画像を読み出して画質改善処理を適用し、適用後のフレーム画像を画像メモリ１２１に格納する（Ｓ１０６）。

画像出力手段１３２は、時刻計測装置１４で計測される現在時刻が、画像表示予定時刻メモリ１２２から読み出した表示予定時刻に達するのを監視しており（Ｓ１０７）、現在時刻が画像表示予定時刻に達したならば、画像メモリ１２１からフレーム画像を読み出し、画像出力装置１５に出力する（Ｓ１０８）。

本実施の形態の効果について説明する。

本実施の形態による映像再生装置は、連続表示される静止画像や動画像の表示期間を維持しながら、それらに画質改善処理を適用することができるため、滑らかかつ高画質な画像・動画再生が可能となる。

たとえば、通信路からデータを受信しながら30フレーム/秒の動画が再生されている場合には、各フレームの復号完了時刻は、画像の複雑さや圧縮率、通信遅延等の要因によって変動する。しかし、本実施の形態では表示予定時刻に間に合うと見込まれる場合にのみ画質改善処理を適用するため、表示予定時刻まで十分な時間がある場合には画質を改善することができ、表示予定時刻まで余裕がない場合には画質改善処理の適用を省略してフレームドロップの発生を回避することができる。

［第２の実施の形態］
図３を参照すると、本発明の第２の実施の形態に係る映像再生装置は、データ入力装置２１と、データ記憶装置２２と、プログラム制御により動作するデータ処理装置２３と、時刻計測装置２４と、画像出力装置２５とから構成されている。

データ入力装置２１は、再生対象となる静止画または動画像の映像データを入力する装置である。本実施の形態の場合、データ入力装置２１は、フレーム画像のうち更新された領域を含む矩形領域の映像データを入力する。本実施の形態をシンクライアント・システムのクライアント装置における映像再生装置に適用する場合、データ入力装置２１は、図示しないネットワークを介してサーバ端末装置から送られてくる符号データを受信し、データ処理装置２３へ出力する通信装置で構成される。

データ記憶装置２２は、一つ以上のフレーム画像を格納できる画像メモリ２２１と、画像表示予定時刻メモリ２２２と、画質改善推定時間メモリ２２３と、タスク予定メモリ２２４とを備える。

画像メモリ２２１は、映像データに対して必要に応じて復号処理を行って得られたフレーム画像を保持するために使用される。画像メモリ２２１に保持されたフレーム画像内の部分領域の画像を書き換えることによって、フレーム画像を更新することができる。図３中の画像メモリ２２１に描いたimg1,img2,img3は、同時に更新対象となった複数の部分領域の画像を示している。

画像表示予定時刻メモリ２２２は、画像メモリ２２１に格納されたフレーム画像を画像出力装置２５に表示する予定時刻を保持するために使用される。図３中の画像表示予定時刻メモリ２２２には、予定時刻の例として、00時00分00.033秒が描かれている。

画質改善推定時間メモリ２２３は、画像メモリ２２１に格納されたフレーム画像に対して画質改善処理を行うのに要する時間を、更新対象となる部分領域ごとに保持するために使用される。図３中の画質改善推定時間メモリ２２３には、推定時間の例として、画像img1は8ms、画像img2は5ms、画像img3は10msが描かれている。

タスク予定メモリ２２４は、画質改善処理タスクのスケジューリング情報を保持するために使用される。図３中のタスク予定メモリ２２４には、２つのスケジューリング情報が例示されている。１つは、部分領域img3に対して画質改善処理を行うタスクのスケジューリング情報であり、そのタスクの開始時刻は00時00分00.012秒、終了時刻は00時00分00.022秒とされている。もう１つは、部分領域img1に対して画質改善処理を行うタスクのスケジューリング情報であり、そのタスクの開始時刻は00時00分00.022秒、終了時刻は00時00分00.030秒とされている。

時刻計測装置２４は、現在の時刻を計測するマスタ時計である。時刻計測装置２４で計測されている現在時刻は、データ処理装置２３から取り出せるようになっている。

データ処理装置２３は、画像生成手段２３１と、画像出力手段２３２と、画質改善手段２３３と、画質改善適用判定手段２３４と、画質改善時間推定手段２３５とを備える。

画像生成手段２３１は、フレーム画像の更新に関する映像データを入力し、必要に応じて復号処理を行ってフレーム画像を生成する機能を有する。画像生成手段２３１は、複数の部分領域がフレームの更新対象となる場合は、それら複数の部分領域の画像を全て復号して、画像メモリ２２１へ書き込むことにより、フレーム画像を更新する。また、画像生成手段２３１は、全ての部分領域の画像を復号し、画像メモリ２２１のフレーム画像を更新した時点で、そのフレーム画像の表示予定時刻を画像表示予定時刻メモリ２２２に格納し、さらに画質改善時間推定手段２３５に対して、推定処理の開始を指示する。この推定処理の開始の指示には、今回復号した部分領域の画像のサイズ情報が添えられる。

画像出力手段２３２は、画像表示予定時刻メモリ２２２から表示予定時刻を読み出し、時刻計測装置２４から現在時刻を読み出し、現在時刻が表示予定時刻に達していたならば、画像メモリ２２１からフレーム画像を読み出し、画像出力装置２５に出力する機能を有する。

画質改善時間推定手段２３５は、画像メモリ２２１に格納されたフレーム画像の各部分領域の画像に対して画質改善処理を行うのに要する時間を推定し、推定した時間を画質改善推定時間メモリ２２３に格納する機能を有する。画質改善時間推定手段２３５は、推定の際には、第１の実施の形態における画質改善時間推定手段２３５と同様に、対象画像に対して要する最長の処理時間を推定値として採用する。すなわち、画質改善時間推定手段２３５は、たとえば画質改善処理に適応型ノイズリダクションフィルタを用いる場合、そのフィルタを適用するときの１画素あたりの処理サイクル数と、部分領域の画像の画素数（これは、画像生成手段２３１から通知される部分領域の画像のサイズ情報から計算される）とを乗じて、当該部分領域の画像に対する最長処理時間を推定する。

画質改善適用判定手段２３４は、画像メモリ２２１に格納されたフレーム画像の各部分領域の画像ごとに、画質改善処理を行うか否かを決定し、画質改善処理を行う部分領域の画像についてはさらに画質改善処理のスケジュールを決定する機能を有する。画質改善適用判定手段２３４は、現在時刻からフレーム画像の表示予定時刻までの期間に十分な空き時間があれば、全ての部分領域の画像についての画質改善処理をスケジュールし、空き時間が不足していれば、一部の部分領域に限定して画質改善処理をスケジュールする。そのために画質改善適用判定手段２３４は、優先順位付け手段２３４１とタスクスケジュール手段２３４２とを備えている。

優先順位付け手段２３４１は、画質改善処理の対象とする複数の部分領域の画像に対して、処理の優先順位を付ける機能を有する。優先順位付け手段２３４１は、それぞれの部分領域の画像ごとに、その画像の画質改善効果の指標を算出し、算出した指標どうしを比較することにより、画質改善効果のより高い画像ほど優先順位がより高くなるように優先順位付けを行う。

画質改善効果の指標としては、例えば、部分領域の面積（画素数）を用いることができる。この場合、指標（部分領域の面積）がより大きいほど画質改善効果がより高くなり、優先順位が上がる。部分領域の面積を画質改善効果の指標に用いることができる理由は以下の通りである。

コンピュータ画面に表示されるような映像では、マウスカーソルやアイコンのような小さな更新領域と、動画再生ウィンドウのような大きな更新領域とが混在するが、ユーザが画質改善を望むのは動画再生ウィンドウのような大領域である可能性が高い。このため、面積の大きい部分領域を優先して画質改善すれば、ユーザにとっての主観品質が向上しやすい。仮に面積の小さい領域を優先すると、面積が大きい領域に割り当て可能な処理時間が小領域の数や合計面積によって変動するため、フレームによって、大領域に対する画質改善処理が適用される場合と適用されない場合とが生じる可能性がある。この結果、動画再生ウィンドウなどにおいて、フレームごとに歪みの大きさが大きく変動し、主観品質の低下を招く可能性がある。動画ウィンドウの面積は連続するフレームでは一定である場合が多いため、面積の大きい部分領域を優先することによって、こうした不安定さが抑制される。

画質改善効果の指標の他の例として、部分領域中の、同一色が空間的に連続して現れる領域（単一色領域）を除いた、非単一色領域の面積（画素数）を用いることができる。この場合、指標（非単一色領域の面積）がより大きいほど画質改善効果がより高くなり、優先順位が上がる。一般に（コンピュータ画面などで頻出する、白一色などの）単一色領域に対しては、ポストフィルタによる画質改善効果が得られない場合が多い。このため、非単一色領域の面積を指標値とすることで、より実質的な画質改善効果を反映した指標が得られる。

画質改善効果の指標のさらに別の例として、部分領域の画像の圧縮に関する品質情報（例えば、圧縮率や、ＪＰＥＧにおける量子化粒度のパラメータなど）を用いることができる。この場合、指標（画像圧縮に関する品質情報）がより低品質を示すほど、劣化が大きいと考えられるので、画質改善効果がより高くなり、優先順位が上がる。

以上挙げた指標は一例であり、その他、部分領域内の画像の種類（自然画像か文字画像かなど）なども指標に用いることができ、以上挙げた指標を複数組み合わせて使用することも可能である。

タスクスケジュール手段２３４２は、優先順位付け手段２３４１によって付与された優先順位のより高い部分領域の画像から順に、画質改善処理タスクの割り当て処理を行う機能を有する。具体的には、以下のタスク割り当て処理を、優先順位の最も高い部分領域の画像から優先順位の最も低い部分領域の画像まで順に、全ての部分領域の画像に対して実行する。

まず、画質改善推定時間メモリ２２３から当該部分領域の画像の画質改善推定時間を読み出す。また、画像表示予定時刻メモリ２２２から表示予定時刻を、時刻計測装置２４から現在時刻をそれぞれ読み出す。次に、タスク予定メモリ２２４にスケジュール情報が記録されていればそれを参照し、現在時刻から表示予定時刻までの間に、当該画像に対する画質改善推定時間を割り当て可能な空き時間が存在するか否かを判定し、割り当て可能な空き時間が存在する場合には、タスク予定メモリ２２４に対して、その画像に対する画質改善処理のタスクに関するスケジュール情報を追記する。つまり、現在時刻から表示予定時刻の間で、タスクが未割り当てとなっている期間を検索し、それらの期間の合計が当該画像の推定処理時間以上であれば、それらの期間の前方（現在時刻に近い側）から、推定処理時間分の時間帯をタスクの実行時間として割り当てるわけである。

タスクスケジュール手段２３４２の機能を図４を参照してより具体的に説明する。図４において、横方向に引いた矢印は時間軸t、dtはフレーム画像の表示予定時刻、ctは現在時刻を示す。今、部分領域の画像として、img1,img2,img3の３つの画像があり、その優先順位は画像img3が一番高く、次に画像img1が高く、画像img2は一番低いものとする。タスクスケジュール手段２３４２は、最初に画像img3について、タスクの割り当てが可能か否かを判定する。図４（ａ）に示すように、現在時刻ctから表示予定時刻dtまでに１つもタスクがスケジュールされていない場合、画像img3に対する画質改善処理の推定処理時間が、時間dt-ct以下であれば、画像img3に対するタスクの割り当ては可能、そうでなければ不可能となる。図４（ｂ）の例は、画像img3に対してタスクが割り当てられた場合を示しており、現在時刻を開始時刻としてスケジュールされている。

次にタスクスケジュール手段２３４２は、優先順位が次に高い画像img1について、タスクの割り当てが可能か否かを判定する。図４（ｂ）に示すように、現在時刻ctから表示予定時刻dtまでに画像img3のタスクがスケジュールされている場合、画像img1に対する画質改善処理の推定処理時間が、「時間dt-ct-img3推定処理時間」以下であれば、画像img1に対するタスクの割り当ては可能、そうでなければ不可能となる。図４（ｃ）の例は、画像img1に対してタスクが割り当てられた場合を示しており、既にスケジュールされている画像img3の終了時刻を開始時刻としてスケジュールされている。

次にタスクスケジュール手段２３４２は、優先順位が一番低い画像img2について、タスクの割り当てが可能か否かを判定する。図４（ｃ）に示すように、現在時刻ctから表示予定時刻dtまでに画像img3と画像img1のタスクがスケジュールされている場合、画像img2に対する画質改善処理の推定処理時間が、「時間dt-ct-img3推定処理時間-img1推定処理時間」以下であれば、画像img2に対するタスクの割り当ては可能、そうでなければ不可能となる。図４の例は、画像img2に対してタスクが割り当てられなかった場合を示している。

画質改善適用判定手段２３４は、タスクスケジュール手段２３４２によって１以上のタスクのスケジュール情報をタスク予定メモリ２２４に記録した場合、タスクの開始タイミングの到来を監視する機能を有する。つまり、時刻計測装置２４から現在時刻を取得するとともにタスク予定メモリ２２４を参照して、各画像のタスクの開始時刻に達しているかどうかを判定する。そして、タスクの開始時刻に達すると、画質改善適用判定手段２３４は、画質改善手段２３３に対して、画質改善対象となる部分領域の画像を指定して、その画像に対する処理開始の通知を行う。

画像改善手段２３３は、画質改善適用判定手段２３４から処理開始の通知があると、画像メモリ２２１から該当する部分領域の画像を読み出して画質改善処理を適用し、画質改善処理適用後の画像を画像メモリ２２１の元の部分領域に格納する。画質改善処理の種類は任意である。例えば、適応型ノイズリダクションフィルタのような画質改善処理を行うことができる。

画像出力装置２５は、再生画像を出力するディスプレイ装置などで構成される。本実施の形態をシンクライアント・システムのクライアント装置における映像再生装置に適用する場合、画像出力装置２５は、クライアント装置のディスプレイに相当する。

次に、本実施の形態の動作を説明する。

画像生成手段２３１は、データ入力装置２１からフレーム画像の更新に関する映像データを入力し（図５のＳ２０１）、必要に応じてデータの復号処理を行って、得られた画像を画像メモリ２２１の該当する領域に格納することによりフレーム画像を生成する（Ｓ２０２）。複数の部分領域がフレームの更新対象となる場合は、それら複数の部分領域の画像を全て入力・復号して、画像メモリ２２１のフレームの該当領域へ書き込む。これによりフレーム画像を更新する。

画像生成手段２３１は、或るフレームについて、全ての部分領域の画像を復号し、画像メモリ２２１のフレーム画像を更新すると、当該フレーム画像を表示すべき時刻である画像表示予定時刻を画像表示予定時刻メモリ２２２に格納する（Ｓ２０３）。さらに画像生成手段２３１は、画質改善時間推定手段２３５に対して、個々の部分領域の画像のサイズ情報を添えて、推定処理の開始を通知する。

画質改善時間推定手段２３５は、画像生成手段２３１から推定処理の開始の通知を受けると、画像メモリ２２１に格納されているフレーム画像中の個々の部分領域の画像に対して画質改善処理を適用するために要する最長の処理時間を推定し、この推定した処理時間を画質改善推定時間メモリ２２３に書き込む（Ｓ２０４）。画質改善時間推定手段２３５は、全ての部分領域の画像についての画質改善時間の推定処理を完了すると、その旨を画質改善適用判定手段２３４に通知する。

画質改善適用判定手段２３４は、画質改善時間推定手段２３５から通知を受けると、まず、優先順位付け手段２３４１により、各部分領域の画像について画質改善効果の指標を算出し、この算出した指標どうしを比較することにより、各部分領域の画像に対して画質改善処理の優先順位付けを行う（Ｓ２０５）。次に、画質改善適用判定手段２３４は、タスクスケジュール手段２３４２により、優先順位のより高い部分領域の画像から順に、画質改善処理タスクの割り当て処理を行う（Ｓ２０６）。

ステップＳ２０６の詳細を図６に示す。タスクスケジュール手段２３４２は、優先順位のより高いものから順に１つの部分領域の画像を選択する（Ｓ２２１）。次に、ステップＳ２２２を経由してステップＳ２２３に進み、当該部分領域の画像について、画質改善処理タスクの割り当てが可能か否かを判定する。そして、割り当て可能ならば、画質改善処理タスクのスケジュール情報をタスク予定メモリ２２４に記録し、ステップＳ２２１の処理へと戻る。また、割り当て不可能ならば、ステップＳ２２４の処理をスキップしてステップＳ２２１の処理へと戻る。以上の処理を繰り返し、優先順位の最も低い部分領域の画像を対象とした処理を完了した時点で（ステップＳ２２２でＹＥＳ）、図６の処理を終える。

画質改善適用判定手段２３４は、タスクスケジュール手段２３４２によって１以上のタスクのスケジュール情報をタスク予定メモリ２２４に記録した場合（Ｓ２０７でＹＥＳ）、タスクの開始タイミングの到来を監視する（Ｓ２０８）。そして、或るタスクの開始時刻に達すると、画質改善適用判定手段２３４は、画質改善手段２３３に対して、画質改善対象となる部分領域の画像を指定して、その画像に対する処理開始の通知を行う。画質改善手段２３３は、画像メモリ２２１から該当する部分領域の画像を読み出して画質改善処理を適用し、画質改善処理適用後の画像を画像メモリ２２１の元の部分領域に格納する（Ｓ２０９）。

画質改善処理を終えたタスクのスケジュール情報は、タスク予定メモリ２２４から削除される。タスク予定メモリに設定された全てのタスクによる画質改善処理が完了すると（Ｓ２０７でＮＯ）、データ処理装置２３は、画像生成手段２３１によるステップＳ２０１の処理へと戻る。

他方、画像出力手段２３２は、時刻計測装置２４で計測される現在時刻が、画像表示予定時刻メモリ２２２から読み出した表示予定時刻に達するのを監視しており（Ｓ２１０）、現在時刻が画像表示予定時刻に達したならば、画像メモリ２２１からフレーム画像を読み出し、画像出力装置２５に出力する（Ｓ２１１）。

本実施の形態の効果について説明する。

本実施の形態によれば、第１の実施の形態と同様の効果が得られると同時に、画像生成から画像表示までに十分な空き時間がなく、フレーム全体に対する画質改善処理が間に合わない状況であっても、いくつかの部分領域に対する画質改善処理が間に合う場合には、当該部分領域に対しては画質改善処理を適用することができる。

またその場合、画質改善効果が大きいと思われる領域に対して優先的に画質改善処理を適用することができる。特にコンピュータ画面に表示される映像の場合、フレーム内の更新領域はそれぞれ面積（画素数）が異なり、また、自然画や文字画といった画像特性にも違いがあるため、圧縮歪みが知覚されやすいかどうか（画質改善処理による効果が大きいかどうか）にも違いがある。これを利用して、画質改善効果が大きいと思われる領域に対して優先的に画質改善処理を適用することによって、ユーザの主観品質を向上させることができる。

［第２の実施の形態の変形例］

上記説明では、フレームごとに、当該フレームで更新された全ての部分領域に対して画質改善処理を適用するか否かの判定を行うこととしたが、当該フレームの全ての部分領域に加えて、過去に更新されたまま上書きされずに残っている部分領域のうち、まだ画質改善処理が適用されていない領域についても同様に、画質改善処理を適用するか否かを判定してもよい。

たとえばコンピュータ画面のような映像では、「前フレームでは多くの領域が更新されたため、全領域に画質改善処理を適用できなかったが、次のフレームではマウスカーソル程度の小領域しか更新されず、処理時間が余ってしまう」ような状況がしばしば発生する。こうした状況においては、上記手法によって、前フレームまでに適用できなかった部分領域に対しても画質改善処理を適用できるようになり、更なる画質改善効果が得られる。

また、一定期間データ入力が無い場合に、過去に更新された部分領域のうち、まだ画質改善処理が適用されていない領域のみを対象として、画質改善処理を適用するか否かを判定してもよい。この場合、現在時刻から一定時間後に仮の画像表示予定時刻を設定し、その表示予定時刻に間に合うようタスクスケジュールを行うものとする。また、画質改善処理を行っている間にデータ入力があった場合には、それ以降新たな画質改善処理を開始せず、画像生成処理に切り替えるようにしてもよい。

たとえばコンピュータ画面のような映像では、数フレーム以上にわたって画面が更新されずに静止しているような状況がしばしば発生する。こうした無更新期間においては入力データが送信されてこないため、受信側のプロセッサリソースに空きが生じる。こうした状況においては、上記手法によって、過去に画質改善処理を適用できなかった部分領域に対して画質改善処理を行うことができるようになり、更なる画質改善効果が得られる。

［第３の実施の形態］
図７を参照すると、本発明の第３の実施の形態に係る映像再生装置は、データ入力装置３１と、データ記憶装置３２と、プログラム制御により動作するデータ処理装置３３と、時刻計測装置３４と、画像出力装置３５とから構成されている。

データ入力装置３１は、再生対象となる動画像の映像データを入力する装置である。

データ記憶装置３２は、画像表示予定時刻の連続する複数のフレーム画像を格納できる画像メモリ３２１と、画像表示予定時刻メモリ３２２と、画質改善推定時間メモリ３２３と、タスク予定メモリ３２４とを備える。

画像メモリ３２１は、映像データに対して必要に応じて復号処理を行って得られたフレーム画像を複数保持するために使用される。図７中の画像メモリ３２１に描いたframe1,frame2,frame3は、画像表示予定時刻の異なる複数のフレーム画像を示している。

画像表示予定時刻メモリ３２２は、画像メモリ３２１に格納されたフレーム画像を画像出力装置３５に表示する予定時刻をフレーム画像ごとに保持するために使用される。図７中の画像表示予定時刻メモリ３２２には、予定時刻の例として、フレーム画像frame1については00時00分00.033秒、フレーム画像frame2については00時00分00.067秒、フレーム画像frame3については00時00分00.100秒とする例が描かれている。

画質改善推定時間メモリ３２３は、画像メモリ３２１に格納されたフレーム画像に対して画質改善処理を行うのに要する時間をフレーム画像ごとに保持するために使用される。図７中の画質改善推定時間メモリ３２３には、推定時間の例として、フレーム画像frame1は30ms、フレーム画像frame2は40ms、フレーム画像frame3は30msとする例が描かれている。

タスク予定メモリ３２４は、画質改善処理タスクのスケジューリング情報を保持するために使用される。図７中のタスク予定メモリ３２４には、２つのスケジューリング情報が例示されている。１つは、フレーム画像frame2に対して画質改善処理を行うタスクのスケジューリング情報であり、そのタスクの開始時刻は00時00分00.020秒、終了時刻は00時00分00.060秒とされている。もう１つは、フレーム画像frame3に対して画質改善処理を行うタスクのスケジューリング情報であり、そのタスクの開始時刻は00時00分00.060秒、終了時刻は00時00分00.090秒とされている。

時刻計測装置３４は、現在の時刻を計測するマスタ時計である。時刻計測装置３４で計測されている現在時刻は、データ処理装置３３から取り出せるようになっている。

データ処理装置３３は、画像生成手段３３１と、画像出力手段３３２と、画質改善手段３３３と、画質改善適用判定手段３３４と、画質改善時間推定手段３３５とを備える。

画像生成手段３３１は、動画像の映像データを入力し、必要に応じて復号処理を行ってフレーム画像を生成する機能を有する。画像生成手段３３１は、所定のフレーム数のデータ入力と復号が完了すると、それらのフレーム画像の表示予定時刻を画像表示予定時刻メモリ３２２に格納し、さらに画質改善時間推定手段３３５に対して、推定処理の開始を指示する。この推定処理の開始の指示には、今回復号したフレーム画像のそれぞれについてのサイズ情報が添えられる。

画像出力手段３３２は、画像表示予定時刻メモリ３２２に格納された各フレーム画像の表示予定時刻のうち最も早い表示予定時刻を読み出し、時刻計測装置３４から現在時刻を読み出し、現在時刻が画像表示予定時刻に達していたならば、画像メモリ３２１から該当するフレーム画像を読み出し、画像出力装置３５に出力する機能を有する。画像出力手段３３２は、画像メモリ３２１から読み出して出力したフレーム画像の表示予定時刻の情報は、画像表示予定時刻メモリ１２２から削除する。

画質改善時間推定手段３３５は、画像メモリ３２１に格納されたフレーム画像に対して画質改善処理を行うのに要する時間を推定し、推定した時間を画質改善推定時間メモリ３２３に格納する機能を有する。画質改善時間推定手段３３５は、推定の際には、第１の実施の形態における画質改善時間推定手段１３５と同様に、対象画像に対して要する最長の処理時間を推定値として採用する。すなわち、画質改善時間推定手段３３５は、たとえば画質改善処理に適応型ノイズリダクションフィルタを用いる場合、そのフィルタを適用するときの１画素あたりの処理サイクル数と、フレーム画像の画素数（これは、画像生成手段３３１から通知されるフレーム画像のサイズ情報から計算される）とを乗じて、当該フレーム画像に対する最長処理時間を推定する。

画質改善適用判定手段３３４は、画像メモリ３２１に格納された複数のフレーム画像のそれぞれについて、画質改善処理を行うか否かを決定し、画質改善処理を行うフレーム画像についてはさらに画質改善処理のスケジュールを決定する機能を有する。画質改善適用判定手段３３４は、表示予定時刻の連続する複数のフレーム画像に対して、それらの間で画質改善処理の時間を融通しながら、最も画質改善効果の高いフレーム画像から順に画質改善処理を適用するようにスケジューリングを行う。そのために画質改善適用判定手段３３４は、優先順位付け手段３３４１とタスクスケジュール手段３３４２とを備えている。

優先順位付け手段３３４１は、画質改善処理の対象とする複数のフレーム画像に対して、処理の優先順位を付ける機能を有する。優先順位付け手段３３４１は、それぞれのフレーム画像ごとに、その画像の画質改善効果の指標を算出し、算出した指標どうしを比較することにより、画質改善効果のより高い画像ほど優先順位がより高くなるように優先順位付けを行う。

画質改善効果の指標としては、例えばフレーム画像の画像属性を用いることができる。フレーム画像の画像属性の例としては、MPEGなどの動画形式におけるピクチャ種別がある。MPEGのビデオ符号化では、I,P,Bというピクチャ種別が規定されている。ピクチャ種別を画質改善効果の指標に用いることができる理由は以下の通りである。なお、ピクチャ種別がIのフレームをIフレーム、ピクチャ種別がPのフレームをPフレーム、ピクチャ種別がBのフレームをBフレームと呼ぶ。

MPEGでは、I,P,Bピクチャへの符号量配分は、動画全体のPSNR(Peak Signal to Noise Ratio)が最も高くなるよう、経験的に定められた配分値が利用される。こうした配分にすると、IフレームとPフレームは他のピクチャの参照元として使われるため元々高画質に符号化される。これに対してBフレームは他のピクチャの参照元として使われることがないため粗く量子化され、ピクチャとしてはブロックなどの歪みが最も出やすくなる。したがって、ポストフィルタをかける場合は、IフレームとPフレームよりもBフレームに対してノイズ除去処理を適用した方が同一の処理時間での効果は大きいものと推定される。また、Bピクチャの次にPピクチャの画質が悪く、最後にIピクチャの順となるため、画質改善効果もこの順に大きいものと推定される。

画質改善効果の指標としてフレーム画像の画像属性を用いる場合、画像属性と優先順位との対応関係をテーブルとして格納しておけばよい。具体的には、MPEGなどの動画形式の場合、I,P,Bというピクチャ種別と、各ピクチャ種別に応じた優先順位との対応関係をテーブル化しておく。この場合、Bピクチャ＝優先度高、Pピクチャ＝優先度中、Iピクチャ＝優先度低としておく。

画質改善効果の指標の他の例として、フレーム画像の圧縮に関する品質情報（例えば、量子化粒度のパラメータなど）を用いることができる。このように実際の品質情報を画質改善効果の指標に用いることにより、品質改善効果をより精度よく推定でき、従って優先順位付けを正しく行うことができる。この場合、指標（画像圧縮に関する品質情報）がより低品質を示すほど、劣化が大きいと考えられるので、画質改善効果がより高くなり、優先順位が上がる。

以上挙げた指標は一例であり、その他、フレーム画像の種類（自然画像か文字画像かなど）なども指標に用いることができ、以上挙げた指標を複数組み合わせて使用することも可能である。例えば、ピクチャ種別による指標と、フレーム画像の圧縮に関する品質情報による指標とを組み合わせれば、判定すべきフレーム群に同種のピクチャが含まれている場合（例えば、I→B→B→Pのような４フレームに対して判定する場合）、同種のフレーム（前記の例では２枚のBピクチャ）に対する適用優先度を判定することができるようになる。

タスクスケジュール手段３３４２は、優先順位付け手段３３４１によって付与された優先順位のより高いフレーム画像から順に、画質改善処理タスクの割り当て処理を行う機能を有する。具体的には、以下のタスク割り当て処理を、優先順位の最も高いフレーム画像から優先順位の最も低いフレーム画像まで順に、全てのフレーム画像に対して実行する。

まず、画質改善推定時間メモリ３２３から当該フレーム画像の画質改善推定時間を読み出す。また、画像表示予定時刻メモリ３２２から当該フレーム画像の表示予定時刻を、時刻計測装置３４から現在時刻をそれぞれ読み出す。次に、タスク予定メモリ３２４にスケジュール情報が記録されていればそれを参照し、現在時刻から画像表示予定時刻までの間に、当該フレーム画像に対する画質改善推定時間を割り当て可能な空き時間が存在するか否かを判定し、割り当て可能な空き時間が存在する場合には、タスク予定メモリ３２４に対して、そのフレーム画像に対する画質改善処理のタスクに関するスケジュール情報を追記する。つまり、現在時刻から画像表示予定時刻の間で、タスクが未割り当てとなっている期間を検索し、それらの期間の合計が当該フレーム画像の推定処理時間以上であれば、それらの期間の後方（表示予定時刻に近い側）から、推定処理時間分の時間帯をタスクの実行時間として割り当てるわけである。

タスクスケジュール手段３３４２の機能を図８を参照してより具体的に説明する。図８において、横方向に引いた矢印は時間軸t、dt1,dt2,dt3はフレーム画像frame1,frame2,frame3の表示予定時刻、ctは現在時刻を示す。今、フレーム画像frame2の優先順位が一番高く、次にフレーム画像frame3が高く、フレーム画像frame1は一番低いものとする。タスクスケジュール手段３３４２は、最初にフレーム画像frame2について、タスクの割り当てが可能か否かを判定する。図８（ａ）に示すように、現在時刻ctからフレーム画像frame2の表示予定時刻dt2までに１つもタスクがスケジュールされていない場合、フレーム画像frame2に対する画質改善処理の推定処理時間が、「時間dt2-ct」以下であれば、フレーム画像frame2に対するタスクの割り当ては可能、そうでなければ不可能となる。図８（ｂ）の例は、フレーム画像frame2に対してタスクが割り当てられた場合を示しており、表示予定時刻dt2を終了時刻としてスケジュールされている。

次にタスクスケジュール手段３３４２は、優先順位が次に高いフレーム画像frame3について、タスクの割り当てが可能か否かを判定する。図８（ｂ）に示すように、現在時刻ctからフレーム画像frame3の表示予定時刻dt3までにフレーム画像frame2のタスクがスケジュールされている場合、フレーム画像frame3に対する画質改善処理の推定処理時間が、「時間dt3-ct-フレーム画像frame2推定処理時間」以下であれば、フレーム画像frame3に対するタスクの割り当ては可能、そうでなければ不可能となる。図４（ｃ）の例は、フレーム画像frame3に対してタスクが割り当てられた場合を示しており、表示予定時刻dt3を終了時刻としてスケジュールされている。

次にタスクスケジュール手段３３４２は、優先順位が一番低いフレーム画像frame1について、タスクの割り当てが可能か否かを判定する。図４（ｃ）に示すように、現在時刻ctからフレーム画像frame1の表示予定時刻dt1までにフレーム画像frame2のタスクの一部がスケジュールされている場合、フレーム画像frame1に対する画質改善処理の推定処理時間が、「時間dt1-ct-d」（dは、フレーム画像frame2のタスクの時間のうち、dt1-ctの期間と重複している時間）以下であれば、フレーム画像frame1に対するタスクの割り当ては可能、そうでなければ不可能となる。図８の例は、フレーム画像frame1に対してタスクが割り当てることができなかった場合を示している。

なお、タスクスケジュール手段３３４２は、全タスクに対する割り当て処理完了後に、割り当てられた全タスクを現在時刻側へ詰めるよう再配置する機能を持っていてもよい。すなわち、タスク予定メモリ３２４上で、プロセッサのリソースに空きが生じている時間帯があり、その後に実行されるべきタスクがある場合には、タスクの実行開始時間を前倒しして、プロセッサの空きを埋めるように再配置する。例えば図８（ｃ）の状態に対して再配置を行うと、図８（ｄ）に示す状態となる。これによって、仮に画質改善時間の推定に誤差があり、処理完了が予測より遅れた場合においても、前倒しした分の時間猶予によって、表示予定時刻に間に合う可能性が高くなる。

画質改善適用判定手段３３４は、タスクスケジュール手段３３４２によって１以上のタスクのスケジュール情報をタスク予定メモリ３２４に記録した場合、タスクの開始タイミングの到来を監視する機能を有する。つまり、時刻計測装置３４から現在時刻を取得するとともにタスク予定メモリ３２４を参照して、各フレーム画像のタスクの開始時刻に達しているかどうかを判定する。そして、タスクの開始時刻に達すると、画質改善適用判定手段３３４は、画質改善手段３３３に対して、画質改善対象となるフレーム画像を指定して、その画像に対する処理開始の通知を行う。

画像改善手段３３３は、画質改善適用判定手段３３４から処理開始の通知があると、画像メモリ３２１から該当するフレーム画像を読み出して画質改善処理を適用し、画質改善処理適用後のフレーム画像を画像メモリ３２１に格納する。画質改善処理の種類は任意である。例えば、適応型ノイズリダクションフィルタのような画質改善処理を行うことができる。

画像出力装置３５は、再生画像を出力するディスプレイ装置などで構成される。

次に、本実施の形態の動作を説明する。

画像生成手段３３１は、データ入力装置３１から動画像にかかる映像データを入力し（Ｓ３０１）、必要に応じてデータの復号処理を行って、得られたフレーム画像を画像メモリ３２１に格納する（Ｓ３０２）。画像生成手段３３１は、所定のフレーム数のデータ入力と復号が完了すると（Ｓ３０３でＹＥＳ）、それらのフレーム画像を表示すべき時刻である画像表示予定時刻を画像表示予定時刻メモリ３２２に格納する（Ｓ３０４）。さらに画像生成手段３３１は、画質改善時間推定手段３３５に対して、個々のフレーム画像のサイズ情報を添えて、画質改善時間の推定処理の開始を通知する。

画質改善時間推定手段３３５は、画像生成手段３３１から推定処理の開始の通知を受けると、画像メモリ３２１に格納されているフレーム画像ごとに、そのフレーム画像に対して画質改善処理を適用するために要する最長の処理時間を推定し、推定された処理時間を画質改善推定時間メモリ３２３に書き込む（Ｓ３０５）。画質改善時間推定手段３３５は、全てのフレーム画像についての画質改善時間の推定処理を完了すると、その旨を画質改善適用判定手段３３４に通知する。

画質改善適用判定手段３３４は、画質改善時間推定手段３３５から通知を受けると、まず、優先順位付け手段３３４１により、各フレーム画像について画質改善効果の指標を算出し、この算出した指標どうしを比較することにより、複数のフレーム画像に対して画質改善処理の優先順位付けを行う（Ｓ３０６）。次に、画質改善適用判定手段３３４は、タスクスケジュール手段３３４２により、優先順位のより高いフレーム画像から順に、画質改善処理タスクの割り当て処理を行う（Ｓ３０７）。

ステップＳ３０６の詳細を図１０に示す。タスクスケジュール手段３３４２は、優先順位のより高いものから順に１つのフレーム画像を選択する（Ｓ３２１）。次に、ステップＳ３２２を経由してステップＳ３２３に進み、当該フレーム画像について、画質改善処理タスクの割り当てが可能か否かを判定する。そして、割り当て可能ならば、画質改善処理タスクのスケジュール情報をタスク予定メモリ３２４に記録し、ステップＳ３２１の処理へと戻る。また、割り当て不可能ならば、ステップＳ３２４の処理をスキップしてステップＳ３２１の処理へと戻る。以上の処理を繰り返し、優先順位の最も低いフレーム画像を対象とした処理を完了した時点で（ステップＳ３２２でＹＥＳ）、図１０の処理を終える。

画質改善適用判定手段３３４は、タスクスケジュール手段３３４２によって１以上のタスクのスケジュール情報をタスク予定メモリ３２４に記録した場合（Ｓ３０８でＹＥＳ）、タスクの開始タイミングの到来を監視する（Ｓ３０９）。そして、或るタスクの開始時刻に達すると、画質改善適用判定手段３３４は、画質改善手段３３３に対して、画質改善対象となるフレーム画像を指定して、その画像に対する処理開始の通知を行う。画質改善手段３３３は、画像メモリ３２１から該当するフレーム画像を読み出して画質改善処理を適用し、画質改善処理適用後のフレーム画像を画像メモリ３２１に格納する（Ｓ３１０）。

画質改善処理を終えたタスクのスケジュール情報は、タスク予定メモリ３２４から削除される。タスク予定メモリに設定された全てのタスクによる画質改善処理が完了すると（Ｓ３０８でＮＯ）、データ処理装置３３は、画像生成手段３３１によるステップＳ３０１の処理へと戻る。

他方、画像出力手段３３２は、時刻計測装置３４で計測される現在時刻が、画像表示予定時刻メモリ３２２から読み出した画像表示予定時刻に達するのを監視しており（Ｓ３１１）、現在時刻が画像表示予定時刻に達したならば、画像メモリ３２１から該当するフレーム画像を読み出し、画像出力装置３５に出力する（Ｓ３１２）。

本実施の形態の効果について説明する。

本実施の形態によれば、第１の実施の形態と同様の効果が得られると同時に、１フレーム毎に処理した場合には実行できなかったような重い画質改善処理であっても、他フレームの状況によっては適用することができるようになる。その理由は、表示時刻の異なる複数のフレーム画像に対して、それらの間で画質改善処理の時間を融通しながら、最も効果の高い画像から順に画質改善処理を適用するためである。

たとえば、第１の実施の形態では、１フレームの表示期間が33msecである場合、１フレームあたり40msecかかる画質改善処理は適用できない。これに対して、本実施の形態では、たとえば３フレーム（100msec）を一度に復号し、その復号処理時間が20msecであれば、残りの時間（80msec）で２フレームに対して40msecの画質改善処理を適用することができる。

また、こうした複数フレームを一度に復号するという動作は、動画像符号化方式では一般的に行われているため、その動作との親和性も高い。たとえば、MPEGのビデオ符号化ではI,P,Bというピクチャ種別が規定されており、Bピクチャの復号には、その前後フレームのI,Pピクチャのデコードが必要となる。このため、フレームframe1がIピクチャ、フレームframe2がBピクチャ、フレームframe3がPピクチャであったとしても、デコードの順序はI→P→Bとなる。このため、必然的に複数フレームがメモリに蓄積されることになる。本実施の形態では、こうして蓄積された複数フレームに対して画質改善適用判定を行うため、動画像の復号処理と組み合わせて利用することが容易である。

［第４の実施の形態］
図１１を参照すると、本発明の第４の実施の形態に係る映像再生装置は、図１に示した第１の実施の形態にかかる映像再生装置と比較して、画質改善手段１３３が複数の画質改善手段１３３−１〜１３３−ｎに、画質改善適用判定手段１３４が画質改善適用判定手段１３６に、画質改善時間推定手段１３５が画質改善時間推定手段１３７にそれぞれ置き換えられている点で相違する。

複数の画質改善手段１３３−１〜１３３−ｎは、それぞれ異なる画質改善手法によって画質の改善を行う手段である。複数の画質改善手段１３３−１〜１３３−ｎには、予め適用優先度が設定されている。具体的には、画質改善効果のより高い画質改善手段ほど、より高い適用優先度が設定されている。

例えば、輝度と色差の全成分に対してノイズ除去処理を適用する画質改善手段と、輝度成分のみに対してノイズ除去処理を適用する画像改善手段とがある場合、前者の画像改善手段の適用優先度は、後者の画像改善手段の適用優先度より高く設定されている。また、８画素×８画素ブロック間の境界のブロック歪みの除去を行う画質改善手段と、１６画素×１６画素ブロック間の境界のブロック歪みの除去を行う画質改善手段とがある場合、前者の画像改善手段の適用優先度は、後者の画像改善手段の適用優先度より高く設定されている。ただし、画質改善効果のより高い画質改善手段ほど、負荷がより大きくなるため処理時間は長くなる。

画質改善時間推定手段１３７は、画像生成手段１３１で生成されたフレーム画像について画質改善処理を行うのに要する最長の処理時間を画質改善手段１３３−１〜１３３−ｎごとに推定し、画質改善推定時間メモリ１２３に格納する機能を有する。例えば、８画素×８画素ブロック間の境界のブロック歪みの除去を行う画質改善手段の場合、単位ブロック数当たりに要する処理サイクル数と、フレーム画像に含まれる単位ブロック数とを乗じて、当該フレーム画像に対する最長処理時間の推定値とする。フレーム画像に含まれる単位ブロック数は、画像生成手段１３１から通知されるフレーム画像のサイズと、単位ブロックのサイズとから計算することができる。図１１中の画質改善推定時間メモリ１２３には、推定時間の例として、画質改善手段Ａは10ms、画質改善手段Ｂは20ms、画質改善手段Ｃは30msとする例が描かれている。

画質改善適用判定手段１３６は、画像生成手段１３１で生成されたフレーム画像に対する画質改善処理の適用の可否と適用する場合の画質改善手段の種類を決定する機能を有する。画質改善適用判定手段１３６は、適用優先度が高い順に、画質改善手段１３３−１〜１３３−ｎの適用可能性を判定する。具体的には、画質改善適用判定手段１３６は、画像表示予定時刻メモリ１２２から表示予定時刻を、時刻計測装置１４から現在時刻を、画質改善推定時間メモリ１２３から注目中の画質改善手段１３３−ｉ（ｉ＝１〜ｎ）の画質改善推定時間をそれぞれ読み出す。次に画質改善適用判定手段１３６は、読み出した現在時刻に画質改善推定時間を加算し、得られた時刻が表示予定時刻を超えていない場合には、画質改善手段１３３−ｉによる画質改善処理を行うものと判定し、画質改善手段１３３−ｉへ処理開始を通知する。他方、得られた時刻が表示予定時刻を超える場合には、画質改善手段１３３−ｉによる画質改善処理は行わないものとし、より優先度の低い画質改善手段があれば、それについても同様に適用可能性の判定を行う。

次に、本実施の形態の動作を説明する。

画像生成手段１３１は、データ入力装置１１から映像データを入力し（Ｓ４０１）、必要に応じてデータの復号処理を行ってフレーム画像を生成し、画像メモリ１２１に格納する（Ｓ４０２）。次に、画像生成手段１３１は、当該フレーム画像を表示すべき時刻である画像表示予定時刻を画像表示予定時刻メモリ１２２に格納する（Ｓ４０３）。さらに画像生成手段１３１は、画質改善時間推定手段１３７に対して推定処理の開始を通知する。

画質改善時間推定手段１３７は、画像生成手段１３１から推定処理の開始の通知を受けると、画像メモリ１２１に格納されているフレーム画像に対して画質改善処理を適用するために要する最長の処理時間を、画質改善手段１３３−１〜１３３−ｎごとに推定し、推定された処理時間を画質改善推定時間メモリ１２３に書き込む（Ｓ４０４）。画質改善時間推定手段１３５は、推定処理を完了すると、その旨を画質改善適用判定手段１３６に通知する。

画質改善適用判定手段１３６は、画質改善時間推定手段１３７から通知を受けると、画質改善処理を適用するか否かの判定を適用優先度の最も高い画質改善手段から順に行う。具体的には、まず最初に画質改善適用判定手段１３６は、適用優先度の最も高い画質改善手段を選択する（Ｓ４０５）。次に、時刻計測装置１４から読み出した現在時刻に、画質改善推定時間メモリ１２３から読み出した当該画質改善手段による画質改善推定時間を加算することにより、画質改善処理を行ったと仮定した場合の画質改善処理終了時刻を計算し、この画質改善処理終了時刻と、画像表示予定時刻メモリ１２２から読み出した画像表示予定時刻とを比較する（Ｓ４０７）。そして、画質改善処理終了時刻が表示予定時刻を超えていない場合には、当該画質改善手段による画質改善処理を行うものと判定し、当該画質改善手段へ処理開始を通知する。他方、画質改善処理終了時刻が表示予定時刻を超えている場合（Ｓ４０７でＮＯ）、ステップＳ４０５の処理に戻り、次に適用優先度の高い画質改善手段を選択し、上述した処理と同様の処理を繰り返す。若し、適用優先度の最も低い画質改善手段の判定でも適用不可と判定された場合（Ｓ４０６でＹＥＳ）、当該フレーム画像に対しては画質改善処理は実施されないことになる。

画質改善適用判定手段１３６から処理開始の通知を受けた画質改善手段１３３−ｉは、画像メモリ１２１からフレーム画像を読み出して画質改善処理を適用し、適用後のフレーム画像を画像メモリ１２１に格納する（Ｓ４０８）。

画像出力手段１３２は、時刻計測装置１４で計測される現在時刻が、画像表示予定時刻メモリ１２２から読み出した表示予定時刻に達するのを監視しており（Ｓ４０９）、現在時刻が表示予定時刻に達したならば、画像メモリ１２１からフレーム画像を読み出し、画像出力装置１５に出力する（Ｓ４１０）。

本実施の形態の効果について説明する。

本実施の形態によれば、時間的に余裕があればあるほど、より画質改善効果の高い画質改善処理を施すことが可能になる。その理由は、複数の画質改善手段について、画質改善効果の高い手段から順に適用可能性を判定し、表示時刻に間に合うもののうち最も効果の高い手段を選択して適用するためである。

これに対して、第１の実施の形態では、画質改善手段１３３が画質改善効果の高い手段であれば、画質改善処理の負荷が高くなって処理時間が長くなるため、表示予定時刻に間に合う確率が低くなり、結果として、画質改善処理が全く適用されずに表示される状況が多発する。逆に、画質改善手段１３３が画質改善効果の低い手段であれば、画質改善処理の負荷が低くなって処理時間が短くなるため、表示時刻に間に合う確率は高くなるが、高度な画質改善処理を適用できないため、画質改善の効果は小さくなる。これに対して、本実施の形態では、表示時刻までの残時間の範囲内で、可能な限り高い画質改善効果を得ることができる。

第４の実施の形態は、第１の実施の形態における画質改善手段１３３を複数化した実施の形態であるが、第２の実施の形態における画質改善手段２３３を複数化した第５の実施の形態、第３の実施の形態における画質改善手段３３３を複数化した第６の実施の形態も考えられる。

［第５の実施の形態］
第５の実施の形態においては、画質改善時間推定手段２３５が、部分領域の画像ごとに、画質改善手段ごとの改善処理時間を推定して画質改善推定時間メモリ２２３に格納する。また、タスクスケジュール手段２３４２は、優先度の高い部分領域の画像から順に、適用可能な画質改善手段を選択する。具体的には、タスクの空き時間に収まる範囲内で、できるだけ高い画質改善効果が得られる画質改善手段を選択する。以上の処理を、優先度の最も高い部分領域の画像から、優先度の最も低い部分領域の画像まで順に行う。この場合のタスクスケジュール手段２３４２の処理例を図１３に示す。

図１３を参照すると、第５の実施の形態におけるタスクスケジュール手段２３４２は、優先順位のより高いものから順に１つの部分領域の画像を選択する（Ｓ５０１）。次に、ステップＳ５０２を経由してステップＳ５０３に進み、適用優先度のより高いものから順に１つの画質改善手段を選択する。次に、ステップＳ５０４を経由してステップＳ５０５に進み、当該部分領域の画像について、当該画質改善手段による画質改善処理タスクの割り当てが可能か否かを判定する。そして、割り当て可能ならば、画質改善処理タスクのスケジュール情報をタスク予定メモリ２２４に記録し、ステップＳ５０１の処理へ戻って、優先順位の次に高い部分領域の画像を選択し、上述した処理と同様の処理を繰り返す。また、割り当て不可能ならば、ステップＳ５０３の処理へ戻り、適用優先度の次に高い画質改善手段を選択し、上述した処理と同様の処理を繰り返す。若し、適用優先度の最も低い画質改善手段によるタスクも割り当て不可能となったならば（Ｓ５０４でＹＥＳ）、当該部分領域の画像についての画質改善処理は断念し、ステップＳ５０１に戻る。

この第５の実施の形態では、画像群全体のPSNRという観点では最適解とはならないが、判定処理が単純であるというメリットがある。また、部分領域の画像の優先順位をその画像の面積（画素数）がより大きいほどより高く設定した場合には、面積の大きな部分領域（動画ウィンドウなど）の歪み量の変動を抑えられるというメリットがある。その理由は、若し逆に、面積の小さい領域から順に判定した場合は、面積が大きい領域に割くことができる時間が、小さい領域の数や面積によって変動することになり、結果として、面積の大きい領域の歪みの変動量が大きくなってしまうためである。

動画ウィンドウでは、フレームごとに歪みの大きさが大きく変動すると主観品質が低下するため、上記のような判定順序によって面積の大きな更新領域の画質改善性能を安定させることが好ましい。

［第６の実施の形態］
第６の実施の形態においては、画質改善時間推定手段３３５が、表示時刻の異なるフレーム画像ごとに、画質改善手段ごとの改善処理時間を推定して画質改善推定時間メモリ３２３に格納する。また、タスクスケジュール手段３３４２は、優先度の高いフレーム画像から順に、適用可能な画質改善手段を選択する。具体的には、タスクの空き時間に収まる範囲内で、できるだけ高い画質改善効果が得られる画質改善手段を選択する。以上の処理を、優先度の最も高いフレーム画像から、優先度の最も低いフレーム画像まで順に行う。この場合のタスクスケジュール手段３３４２の処理例を図１４に示す。

図１４を参照すると、第６の実施の形態におけるタスクスケジュール手段３３４２は、優先順位のより高いものから順に１つのフレーム画像を選択する（Ｓ６０１）。次に、ステップＳ６０２を経由してステップＳ６０３に進み、適用優先度のより高いものから順に１つの画質改善手段を選択する。次に、ステップＳ６０４を経由してステップＳ６０５に進み、当該フレーム画像について、当該画質改善手段による画質改善処理タスクの割り当てが可能か否かを判定する。そして、割り当て可能ならば、画質改善処理タスクのスケジュール情報をタスク予定メモリ３２４に記録し、ステップＳ６０１の処理へ戻って、優先順位の次に高いフレーム画像を選択し、上述した処理と同様の処理を繰り返す。また、割り当て不可能ならば、ステップＳ６０３の処理へ戻り、適用優先度の次に高い画質改善手段を選択し、上述した処理と同様の処理を繰り返す。若し、適用優先度の最も低い画質改善手段によるタスクも割り当て不可能となったならば（Ｓ６０４でＹＥＳ）、当該フレーム画像についての画質改善処理は断念し、ステップＳ６０１に戻る。

この第６の実施の形態では、画像群全体のPSNRという観点では最適解とはならないが、判定処理が単純であるというメリットがある。

以上本発明の実施の形態について説明したが、本発明は以上の実施の形態にのみ限定されず、その他各種の付加変更が可能である。また、本発明の映像再生装置は、その有する機能をハードウェア的に実現することは勿論、コンピュータとプログラムとで実現することができる。プログラムは、磁気ディスクや半導体メモリ等のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータを前述した各実施の形態における映像再生装置として機能させる。

本発明の映像再生装置によれば、低性能・低コストなプロセッサを用いて、常に一定の期間内に表示可能で、かつ、プロセッサに余裕のある際には画質改善を図ることのできる画質再生処理を実現することができる。

１１、２１、３１…データ入力装置
１２、２２、３２…データ記憶装置
１３、２３、３３…データ処理装置
１４、２４、３４…時刻計測装置
１５、２５、３５…画像出力装置
１２１、２２１、３２１…画像メモリ
１２２、２２２、３２２…画像表示予定時刻メモリ
１２３、２２３、３２３…画質改善推定時間メモリ
１３１、２３１、３３１…画像生成手段
１３２、２３２、３３２…画像出力手段
１３３、２３３、３３３…画質改善手段
１３４、２３４、３３４…画質改善適用判定手段
１３５、２３５、３３５…画質改善時間推定手段
２２４…タスク予定メモリ

Claims (18)

1. 映像データの受信ないし復号によってフレーム画像を生成する画像生成手段と、
   前記フレーム画像に対して画質改善処理を行う画質改善手段と、
   前記フレーム画像の表示予定時刻に同期して前記フレーム画像を出力する画像出力手段と、
   前記フレーム画像について前記画質改善手段による画質改善処理に要する時間を推定する画質改善時間推定手段と、
   現在時刻から前記フレーム画像の表示予定時刻までの空き時間と、前記フレーム画像について前記画質改善時間推定手段で推定された画質改善処理に要する時間との比較結果に従って、前記フレーム画像に対する画質改善処理の適用可否を決定する画質改善適用判定手段と、
   を備えることを特徴とする映像再生装置。
2. 映像データの受信ないし復号によってフレーム画像を生成する画像生成手段と、
   前記フレーム画像に対して画質改善処理を行う画質改善効果の相違する複数の画質改善手段であって、画質改善効果のより高いものほどより高い適用優先度を設定した複数の画質改善手段と、
   前記フレーム画像の表示予定時刻に同期して前記フレーム画像を出力する画像出力手段と、
   前記フレーム画像に対する画質改善処理に要する時間を前記画質改善手段ごとに推定する画質改善時間推定手段と、
   現在時刻から前記フレーム画像の表示予定時刻までの空き時間と、前記フレーム画像について前記画質改善時間推定手段で推定された前記画質改善手段ごとの画質改善処理に要する時間との比較結果に従って、前記フレーム画像に対する画質改善処理の適用可否と前記フレーム画像に対して適用する最も適用優先度の高い画質改善手段の種類とを決定する画質改善適用判定手段と、
   を備えることを特徴とする映像再生装置。
3. 前記画質改善適用判定手段は、
   表示予定時刻の連続する複数のフレーム画像に対して画質改善効果による優先順位付けを行う優先順位付け手段と、
   優先順位付けされた複数のフレーム画像について、優先順位の高いフレーム画像から順に、画質改善処理の適用可否と適用可能な場合の適用スケジュールとを決定するタスクスケジュール手段と、
   を備えることを特徴とする請求項１または２に記載の映像再生装置。
4. 前記優先順位付け手段は、フレーム画像の画像属性、画像圧縮に関する品質情報の何れか一方または双方を品質改善効果の指標とし、指標をフレーム画像間で比較することにより、複数のフレーム画像に対して画質改善効果による優先順位付けを行う、
   ことを特徴とする請求項３に記載の映像再生装置。
5. 前記画質改善適用判定手段は、
   同じフレーム画像を構成する複数の部分領域の画像に対して画質改善効果による優先順位付けを行う優先順位付け手段と、
   優先順位付けされた複数の部分領域の画像について、優先順位の高い部分領域の画像から順に、画質改善処理の適用可否と適用可能な場合の適用スケジュールとを決定するタスクスケジュール手段と、
   を備えることを特徴とする請求項１または２に記載の映像再生装置。
6. 前記優先順位付け手段は、部分領域の画像の面積、部分領域の画像内の非単一色領域の面積、画像圧縮に関する品質情報の何れか１つまたは複数を品質改善効果の指標とし、指標を部分領域の画像間で比較することにより、複数の部分領域の画像に対して画質改善効果による優先順位付けを行う、
   ことを特徴とする請求項５に記載の映像再生装置。
7. ａ）画像生成手段が、映像データの受信ないし復号によってフレーム画像を生成するステップと、
   ｂ）画質改善時間推定手段が、前記フレーム画像について画質改善処理に要する時間を推定するステップと、
   ｃ）画質改善適用判定手段が、現在時刻から前記フレーム画像の表示予定時刻までの空き時間と、前記フレーム画像について推定された画質改善処理に要する時間との比較結果に従って、前記フレーム画像に対する画質改善処理の適用可否を決定するステップと、
   ｄ）画質改善手段が、適用可と決定されたフレーム画像に対して画質改善処理を行うステップと、
   ｅ）画像出力手段が、前記フレーム画像の表示予定時刻に同期して前記フレーム画像を出力するステップと、
   を含むことを特徴とする映像再生方法。
8. ａ）画像生成手段が、映像データの受信ないし復号によってフレーム画像を生成するステップと、
   ｂ）画質改善時間推定手段が、前記フレーム画像に対する画質改善処理に要する時間を、前記フレーム画像に対して画質改善処理を行う画質改善効果の相違する複数の画質改善手段であって画質改善効果のより高いものほどより高い適用優先度を設定した複数の画質改善手段ごとに推定するステップと、
   ｃ）画質改善適用判定手段が、現在時刻から前記フレーム画像の表示予定時刻までの空き時間と、前記フレーム画像について推定された前記画質改善手段ごとの画質改善処理に要する時間との比較結果に従って、前記フレーム画像に対する画質改善処理の適用可否と前記フレーム画像に対して適用する最も適用優先度の高い画質改善手段の種類とを決定するステップと、
   ｄ）画質改善手段が、適用可と決定されたフレーム画像に対して画質改善処理を行うステップと、
   ｅ）画像出力手段が、前記フレーム画像の表示予定時刻に同期して前記フレーム画像を出力するステップと、
   を含むことを特徴とする映像再生方法。
9. 前記ステップｃは、
   ｃ−１）優先順位付け手段が、表示予定時刻の連続する複数のフレーム画像に対して画質改善効果による優先順位付けを行うステップと、
   ｃ−２）タスクスケジュール手段が、優先順位付けされた複数のフレーム画像について、優先順位の高いフレーム画像から順に、画質改善処理の適用可否と適用可能な場合の適用スケジュールとを決定するステップと、
   を含むことを特徴とする請求項７または８に記載の映像再生方法。
10. 前記ステップｃ−１では、前記優先順位付け手段が、フレーム画像の画像属性、画像圧縮に関する品質情報の何れか一方または双方を品質改善効果の指標とし、指標をフレーム画像間で比較することにより、複数のフレーム画像に対して画質改善効果による優先順位付けを行う、
    ことを特徴とする請求項９に記載の映像再生方法。
11. ｃ−１）優先順位付け手段が、同じフレーム画像を構成する複数の部分領域の画像に対して画質改善効果による優先順位付けを行うステップと、
    ｃ−２）タスクスケジュール手段が、優先順位付けされた複数の部分領域の画像について、優先順位の高い部分領域の画像から順に、画質改善処理の適用可否と適用可能な場合の適用スケジュールとを決定するステップと、
    を含むことを特徴とする請求項７または８に記載の映像再生方法。
12. 前記ステップｃ−１では、前記優先順位付け手段が、部分領域の画像の面積、部分領域の画像内の非単一色領域の面積、画像圧縮に関する品質情報の何れか１つまたは複数を品質改善効果の指標とし、指標を部分領域の画像間で比較することにより、複数の部分領域の画像に対して画質改善効果による優先順位付けを行う、
    ことを特徴とする請求項１１に記載の映像再生方法。
13. コンピュータを、
    映像データの受信ないし復号によってフレーム画像を生成する画像生成手段と、
    前記フレーム画像に対して画質改善処理を行う画質改善手段と、
    前記フレーム画像の表示予定時刻に同期して前記フレーム画像を出力する画像出力手段と、
    前記フレーム画像について前記画質改善手段による画質改善処理に要する時間を推定する画質改善時間推定手段と、
    現在時刻から前記フレーム画像の表示予定時刻までの空き時間と、前記フレーム画像について前記画質改善時間推定手段で推定された画質改善処理に要する時間との比較結果に従って、前記フレーム画像に対する画質改善処理の適用可否を決定する画質改善適用判定手段と、
    して機能させるためのプログラム。
14. コンピュータを、
    映像データの受信ないし復号によってフレーム画像を生成する画像生成手段と、
    前記フレーム画像に対して画質改善処理を行う画質改善効果の相違する複数の画質改善手段であって、画質改善効果のより高いものほどより高い適用優先度を設定した複数の画質改善手段と、
    前記フレーム画像の表示予定時刻に同期して前記フレーム画像を出力する画像出力手段と、
    前記フレーム画像に対する画質改善処理に要する時間を前記画質改善手段ごとに推定する画質改善時間推定手段と、
    現在時刻から前記フレーム画像の表示予定時刻までの空き時間と、前記フレーム画像について前記画質改善時間推定手段で推定された前記画質改善手段ごとの画質改善処理に要する時間との比較結果に従って、前記フレーム画像に対する画質改善処理の適用可否と前記フレーム画像に対して適用する最も適用優先度の高い画質改善手段の種類とを決定する画質改善適用判定手段と、
    として機能させるためのプログラム。
15. 前記画質改善適用判定手段は、
    表示予定時刻の連続する複数のフレーム画像に対して画質改善効果による優先順位付けを行う優先順位付け手段と、
    優先順位付けされた複数のフレーム画像について、優先順位の高いフレーム画像から順に、画質改善処理の適用可否と適用可能な場合の適用スケジュールとを決定するタスクスケジュール手段と、
    を備えることを特徴とする請求項１３または１４に記載のプログラム。
16. 前記優先順位付け手段は、フレーム画像の画像属性、画像圧縮に関する品質情報の何れか一方または双方を品質改善効果の指標とし、指標をフレーム画像間で比較することにより、複数のフレーム画像に対して画質改善効果による優先順位付けを行う、
    ことを特徴とする請求項１５に記載のプログラム。
17. 前記画質改善適用判定手段は、
    同じフレーム画像を構成する複数の部分領域の画像に対して画質改善効果による優先順位付けを行う優先順位付け手段と、
    優先順位付けされた複数の部分領域の画像について、優先順位の高い部分領域の画像から順に、画質改善処理の適用可否と適用可能な場合の適用スケジュールとを決定するタスクスケジュール手段と、
    を備えることを特徴とする請求項１３または１４に記載のプログラム。
18. 前記優先順位付け手段は、部分領域の画像の面積、部分領域の画像内の非単一色領域の面積、画像圧縮に関する品質情報の何れか１つまたは複数を品質改善効果の指標とし、指標を部分領域の画像間で比較することにより、複数の部分領域の画像に対して画質改善効果による優先順位付けを行う、
    ことを特徴とする請求項１７に記載のプログラム。

Images