JP2010220156A - 映像再生装置および方法並びにプログラム - Google Patents
映像再生装置および方法並びにプログラム Download PDFInfo
- Publication number
- JP2010220156A JP2010220156A JP2009067470A JP2009067470A JP2010220156A JP 2010220156 A JP2010220156 A JP 2010220156A JP 2009067470 A JP2009067470 A JP 2009067470A JP 2009067470 A JP2009067470 A JP 2009067470A JP 2010220156 A JP2010220156 A JP 2010220156A
- Authority
- JP
- Japan
- Prior art keywords
- image
- quality improvement
- image quality
- frame
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
Abstract
【課題】表示遅延の増大やフレームドロップを回避しながら、適応的に画質を改善可能な映像再生装置を提供すること。
【解決手段】画像生成手段131は、映像データの受信ないし復号によってフレーム画像を生成する。画質改善時間推定手段135は、フレーム画像について画質改善処理に要する時間を推定する。画質改善適用判定手段134は、現在時刻からフレーム画像の表示予定時刻までの空き時間と、フレーム画像について推定された画質改善処理に要する時間との比較結果に従って、フレーム画像に対する画質改善処理の適用可否を決定する。画質改善手段133は、適用可と決定されたフレーム画像に対して画質改善処理を行う。画像出力手段132は、フレーム画像の表示予定時刻に同期してフレーム画像を出力する。
【選択図】図1
【解決手段】画像生成手段131は、映像データの受信ないし復号によってフレーム画像を生成する。画質改善時間推定手段135は、フレーム画像について画質改善処理に要する時間を推定する。画質改善適用判定手段134は、現在時刻からフレーム画像の表示予定時刻までの空き時間と、フレーム画像について推定された画質改善処理に要する時間との比較結果に従って、フレーム画像に対する画質改善処理の適用可否を決定する。画質改善手段133は、適用可と決定されたフレーム画像に対して画質改善処理を行う。画像出力手段132は、フレーム画像の表示予定時刻に同期してフレーム画像を出力する。
【選択図】図1
Description
本発明は静止画や動画像の映像を再生する装置に関し、特に滑らかな映像再生が行えるように画質改善を行う映像再生装置に関する。
映像データを圧縮符号化する方式が多種開発されている。
現在主流となっている映像符号化規格として、たとえばMPEG(Moving Picture Experts Group)が挙げられる。MPEGは、映像を8画素×8画素などのブロック単位で符号化する。
圧縮処理では、ブロックごとに周波数変換を行い、高周波成分を切り捨てることによって、視覚的な品質劣化を抑えながらデータ量を小さくする方式が用いられている。
しかし、こうした高周波成分の切り捨ては非可逆の演算であるため、再生側では元の映像信号を完全に再現することはできず、再生映像に歪みが発生する。
たとえば、圧縮率が高くなり、切り捨てられる高周波成分が多くなると、隣接ブロック間の輝度連続性が確保できなくなり、ブロック境界の輝度不連続性が歪みとして知覚される(ブロックノイズが発生する)ようになる。
また、切り捨てられる成分が比較的少ない場合であっても、強いエッジの付近にもやもやとしたノイズ(モスキートノイズ)が知覚される場合がある。
これらのノイズは、再生側の後処理(ポストフィルタ)によって緩和できることが知られており、様々な方法が提案されている。
たとえば特許文献1には、ブロック歪みが発生しているブロック境界にのみ、輝度変化を滑らかにする画像処理(デブロックフィルタ)を適用する方式が開示されている。
また、特許文献2に記載されるように、映像中の動き領域や輪郭のボケを抑えながらノイズ成分だけを選択的にぼかすような、適応型ノイズリダクションフィルタを用いることにより、モスキートノイズを緩和することができる。
画質を改善する他の方式としては、特許文献3で開示されているような、超解像という手法もある。
これは、位置ずれを含む複数の低解像度画像を元に、高解像度の信号を推定し復元するという方法である。超解像は複雑な演算を伴うため処理時間が長いが、データ量の小さい低解像度の映像データを元に、高解像度の映像を再生することができるという利点がある。
以上で符号化規格の例として挙げたMPEGは、主にビデオカメラ映像のような自然動画像を対象とした圧縮方式であるが、一方、コンピュータ画面のような人工的に生成された映像信号を符号化するための圧縮方式もある。
例えば、特許文献4には、画面の映像データをサーバ装置からクライアント装置へネットワークを経由して送受信するシンクライアント・システムが記載されている。
シンクライアント・システムのサーバ装置における映像伝送装置では、画像のうち更新された領域を含む矩形領域の画像データを符号化して送信する方式が多く用いられる。
この送信方式によれは、画像中の一部の領域しか更新されていない場合に、画像全体を全て符号化して送信する必要がなくなり、一部領域の画像データのみを符号化して送信すればよいので、送信データ量を減らすことができる。特に、シンクライアント・システムのような用途では、一部領域のみが更新される場合が多いため有効である。
また、こうしたコンピュータ画面のような映像に対しても、各更新領域に対してMPEG同様の非可逆圧縮を施すことで、視覚的な品質劣化を抑えながらデータ量を小さくすることができる。
また、この際に生じた歪みや画質劣化は、再生側で各更新矩形に対してポストフィルタを適用することによって緩和することができる。
またこうした画質改善方式のうち、単一フレーム内で完結する方式については、動画像以外にも、デジタルカメラの画像ビューアのような、静止画像を表示するような用途にも適用でき、実際に応用されている。
他方、特許文献5に、通常再生時には通常のフィルタ処理(通常の画質改善処理)、高速再生などの特殊再生時には簡易なフィルタ処理(簡易な画質改善処理)を行う発明が記載されている。
高度なポストフィルタや超解像といった複雑な画質改善処理は、能力の低いプロセッサでは処理時間がかかるため、映像の表示期間内(秒間60フレームの動画像であれば、約16ミリ秒)に画質改善処理を完了できない場合がある。
特に、圧縮データを復号しながら再生する装置において、復号処理をソフトウェアで行う場合には、符号量や動き補償演算の精度などに応じて復号処理に要する時間が大きく変動する。
このため、復号時間が長い時には表示期間内に画質改善処理を完了できなくなり、結果として、フレームドロップなどの品質低下が発生してしまう場合がある。
また、復号処理をハードウェアで行う場合においても、映像の符号データを通信回線経由で受信しながら再生するような装置では、パケット到達時刻の揺らぎ(ジッター)による時間変動が存在する。
これにより、画質改善処理に費やすことのできる時間が変動し、画質改善処理が表示期間に間に合わない状況が生じうる。
また、シンクライアント・システムのような、コンピュータ画面を伝送・表示するような装置においては、平均的な画面遷移(画面の一部分のみ更新・符号化される状況)を想定して受信側の装置の仕様が決定される場合が多い。
このため、更新領域の面積が非常に大きい場合には、画質改善処理の適用が間に合わなくなる場合がある。
また、動画像だけでなく、デジタルカメラ画像などの静止画像をスライドショー表示する際にも、画質改善処理を適用したことによって表示が遅延することは望ましくない。
特に、多くの写真を高速にブラウズしている状況では、画質改善処理によって連続表示にひっかかりが出ることは避けたいが、その一方で、表示に引っかかりが出ない範囲では、できるだけ良い品質の画像を見たいという要求がある。
特許文献5に記載の発明では、画質改善処理に費やせる時間の大小に応じて、通常の画質改善処理と簡易な画質改善処理とを使い分けている。しかし、通常再生時は、通常の画質改善処理が常に行える時間的余裕があることを前提とし、また、特殊再生時は、簡易な画質改善処理が常に行える時間的余裕があることを前提としている。このため、復号時間が予想より長くかかる等の状況が生じると、画質改善処理が表示期間に間に合わない状況が発生する。
本発明の目的は、表示遅延の増大やフレームドロップを回避しながら、適応的に画質を改善可能な映像再生装置を提供することにある。
本発明の映像再生装置は、映像データの受信ないし復号によってフレーム画像を生成する画像生成手段と、前記フレーム画像に対して画質改善処理を行う画質改善手段と、前記フレーム画像の表示予定時刻に同期して前記フレーム画像を出力する画像出力手段と、前記フレーム画像について前記画質改善手段による画質改善処理に要する時間を推定する画質改善時間推定手段と、現在時刻から前記フレーム画像の表示予定時刻までの空き時間と、前記フレーム画像について前記画質改善時間推定手段で推定された画質改善処理に要する時間との比較結果に従って、前記フレーム画像に対する画質改善処理の適用可否を決定する画質改善適用判定手段とを備える。
本発明によれば、表示遅延の増大やフレームドロップを回避しながら、適応的に画質を改善可能な映像再生装置を提供することができる。
次に、本発明を実施するための形態について図面を参照して詳細に説明する。
[第1の実施の形態]
図1を参照すると、本発明の第1の実施の形態に係る映像再生装置は、データ入力装置11と、データ記憶装置12と、プログラム制御により動作するデータ処理装置13と、時刻計測装置14と、画像出力装置15とから構成されている。
図1を参照すると、本発明の第1の実施の形態に係る映像再生装置は、データ入力装置11と、データ記憶装置12と、プログラム制御により動作するデータ処理装置13と、時刻計測装置14と、画像出力装置15とから構成されている。
データ入力装置11は、再生対象となる静止画または動画像の映像データを入力する装置である。
データ記憶装置12は、一つ以上の画像を格納できる画像メモリ121と、画像表示予定時刻メモリ122と、画質改善推定時間メモリ123とを備える。
画像メモリ121は、映像データに対して必要に応じて復号処理を行って得られた静止画像または動画像のフレーム(以下、まとめてフレーム画像と表記する)を保持するために使用される。
画像表示予定時刻メモリ122は、画像メモリ121に格納されたフレーム画像を画像出力装置15に表示する予定時刻を保持するために使用される。
画質改善推定時間メモリ123は、画像メモリ121に格納されたフレーム画像に対して画質改善処理を行うのに要する時間を保持するために使用される。
時刻計測装置14は、現在の時刻を計測するマスタ時計である。時刻計測装置14で計測されている現在時刻は、データ処理装置13から取り出せるようになっている。
データ処理装置13は、画像生成手段131と、画像出力手段132と、画質改善手段133と、画質改善適用判定手段134と、画質改善時間推定手段135とを備える。
画像生成手段131は、映像データに対して、必要に応じて復号処理を行ってフレーム画像を生成する機能を有する。また、画像生成手段131は、フレーム画像の生成が完了した時点で、そのフレーム画像の表示予定時刻を画像表示予定時刻メモリ122に格納し、さらに画質改善時間推定手段135に対して、推定処理の開始を指示する。この推定処理の開始の指示には、今回生成したフレーム画像のサイズ情報が添えられる。
画像出力手段132は、画像表示予定時刻メモリ122から表示予定時刻を読み出し、時刻計測装置14から現在時刻を読み出し、現在時刻が表示予定時刻に達していたならば、画像メモリ121からフレーム画像を読み出し、画像出力装置15に出力する機能を有する。
画質改善時間推定手段135は、画像メモリ121に格納されたフレーム画像に対して画質改善処理を行うのに要する時間を推定し、推定した時間を画質改善推定時間メモリ123に格納する機能を有する。画質改善時間推定手段135は、推定の際には、当該フレーム画像に対して要する最長の処理時間を推定値として採用する。
たとえば、適応型ノイズリダクションフィルタのような画質改善処理は、オブジェクトの輪郭付近にはフィルタ処理を適用しないため、画像内のエッジの多寡によって実際の処理時間が変動する。急峻なエッジが多い画像ではフィルタがほとんど適用されず処理時間が短くなり、急峻なエッジが少ない画像では多くの画素に対してフィルタが適用されるため処理時間が長くなる。このため、画質改善処理に要する時間を正確に推定するためには、画像中のエッジを検出する必要があるが、そのための負荷は大きい。そこで、本実施の形態の画質改善時間推定手段135は、全画素に対してフィルタが適用される場合(最も処理時間が長くなる場合)の処理時間を求め、これを推定値とする。具体的には、フィルタを適用する場合の1画素あたりの処理サイクル数と、フレーム画像の画素数(これは、画像生成手段131から通知されるフレーム画像のサイズ情報から計算される)とを乗じて、当該フレーム画像に対する最長処理時間の推定値とする。これによって、エッジの多寡等の条件によらずに実際の画質改善処理が推定時間内に完了することが保証される。
画質改善適用判定手段134は、画像表示予定時刻メモリ122から表示予定時刻を、時刻計測装置14から現在時刻を、画質改善推定時間メモリ123から画質改善推定時間を、それぞれ読み出し、現在時刻に画質改善推定時間を加算し、得られた時刻が表示予定時刻を超えていない場合に限り、画質改善処理を行うものと判定し、画質改善手段133へ処理開始を通知する。
画像改善手段133は、画質改善適用判定手段134から処理開始の通知があると、画像メモリ121からフレーム画像を読み出して画質改善処理を適用し、画質改善処理適用後のフレーム画像を画像メモリ121に格納する。画質改善処理の種類は任意である。例えば、適応型ノイズリダクションフィルタのような画質改善処理を行うことができる。
画像出力装置15は、再生画像を出力するディスプレイ装置などで構成される。
次に、本実施の形態の動作を説明する。
画像生成手段131は、データ入力装置11から映像データを入力し(図2のS101)、必要に応じてデータの復号処理を行ってフレーム画像を生成し、画像メモリ121に格納する(S102)。次に、画像生成手段131は、当該フレーム画像を表示すべき時刻である画像表示予定時刻を画像表示予定時刻メモリ122に格納する(S103)。さらに画像生成手段131は、画質改善時間推定手段135に対して推定処理の開始を通知する。
画質改善時間推定手段135は、画像生成手段131から推定処理の開始の通知を受けると、画像メモリ121に格納されているフレーム画像に対して画質改善処理を適用するために要する最長の処理時間を推定し、推定された処理時間を画質改善推定時間メモリ123に書き込む(S104)。画質改善時間推定手段135は、推定処理を完了すると、その旨を画質改善適用判定手段134に通知する。
画質改善適用判定手段134は、画質改善時間推定手段135から通知を受けると、画質改善処理を適用するか否かの判定を行う(S105)。具体的には、画質改善適用判定手段134は、時刻計測装置14から読み出した現時刻に、画質改善推定時間メモリ123から読み出した画質改善推定時間を加算することにより、画質改善処理を行ったと仮定した場合の画質改善処理終了時刻を計算し、この画質改善処理終了時刻と、画像表示予定時刻メモリ122から読み出した表示予定時刻とを比較する。そして、画質改善処理終了時刻が表示予定時刻を超えていない場合には、画質改善処理を行うものと判定し、画質改善手段133へ処理開始を通知する。他方、画質改善処理終了時刻が表示予定時刻を超えている場合、画質改善手段133へは処理開始を通知しない。
画質改善手段133は、画質改善適用判定手段134から処理開始の通知があると、画像メモリ121からフレーム画像を読み出して画質改善処理を適用し、適用後のフレーム画像を画像メモリ121に格納する(S106)。
画像出力手段132は、時刻計測装置14で計測される現在時刻が、画像表示予定時刻メモリ122から読み出した表示予定時刻に達するのを監視しており(S107)、現在時刻が画像表示予定時刻に達したならば、画像メモリ121からフレーム画像を読み出し、画像出力装置15に出力する(S108)。
本実施の形態の効果について説明する。
本実施の形態による映像再生装置は、連続表示される静止画像や動画像の表示期間を維持しながら、それらに画質改善処理を適用することができるため、滑らかかつ高画質な画像・動画再生が可能となる。
たとえば、通信路からデータを受信しながら30フレーム/秒の動画が再生されている場合には、各フレームの復号完了時刻は、画像の複雑さや圧縮率、通信遅延等の要因によって変動する。しかし、本実施の形態では表示予定時刻に間に合うと見込まれる場合にのみ画質改善処理を適用するため、表示予定時刻まで十分な時間がある場合には画質を改善することができ、表示予定時刻まで余裕がない場合には画質改善処理の適用を省略してフレームドロップの発生を回避することができる。
[第2の実施の形態]
図3を参照すると、本発明の第2の実施の形態に係る映像再生装置は、データ入力装置21と、データ記憶装置22と、プログラム制御により動作するデータ処理装置23と、時刻計測装置24と、画像出力装置25とから構成されている。
図3を参照すると、本発明の第2の実施の形態に係る映像再生装置は、データ入力装置21と、データ記憶装置22と、プログラム制御により動作するデータ処理装置23と、時刻計測装置24と、画像出力装置25とから構成されている。
データ入力装置21は、再生対象となる静止画または動画像の映像データを入力する装置である。本実施の形態の場合、データ入力装置21は、フレーム画像のうち更新された領域を含む矩形領域の映像データを入力する。本実施の形態をシンクライアント・システムのクライアント装置における映像再生装置に適用する場合、データ入力装置21は、図示しないネットワークを介してサーバ端末装置から送られてくる符号データを受信し、データ処理装置23へ出力する通信装置で構成される。
データ記憶装置22は、一つ以上のフレーム画像を格納できる画像メモリ221と、画像表示予定時刻メモリ222と、画質改善推定時間メモリ223と、タスク予定メモリ224とを備える。
画像メモリ221は、映像データに対して必要に応じて復号処理を行って得られたフレーム画像を保持するために使用される。画像メモリ221に保持されたフレーム画像内の部分領域の画像を書き換えることによって、フレーム画像を更新することができる。図3中の画像メモリ221に描いたimg1,img2,img3は、同時に更新対象となった複数の部分領域の画像を示している。
画像表示予定時刻メモリ222は、画像メモリ221に格納されたフレーム画像を画像出力装置25に表示する予定時刻を保持するために使用される。図3中の画像表示予定時刻メモリ222には、予定時刻の例として、00時00分00.033秒が描かれている。
画質改善推定時間メモリ223は、画像メモリ221に格納されたフレーム画像に対して画質改善処理を行うのに要する時間を、更新対象となる部分領域ごとに保持するために使用される。図3中の画質改善推定時間メモリ223には、推定時間の例として、画像img1は8ms、画像img2は5ms、画像img3は10msが描かれている。
タスク予定メモリ224は、画質改善処理タスクのスケジューリング情報を保持するために使用される。図3中のタスク予定メモリ224には、2つのスケジューリング情報が例示されている。1つは、部分領域img3に対して画質改善処理を行うタスクのスケジューリング情報であり、そのタスクの開始時刻は00時00分00.012秒、終了時刻は00時00分00.022秒とされている。もう1つは、部分領域img1に対して画質改善処理を行うタスクのスケジューリング情報であり、そのタスクの開始時刻は00時00分00.022秒、終了時刻は00時00分00.030秒とされている。
時刻計測装置24は、現在の時刻を計測するマスタ時計である。時刻計測装置24で計測されている現在時刻は、データ処理装置23から取り出せるようになっている。
データ処理装置23は、画像生成手段231と、画像出力手段232と、画質改善手段233と、画質改善適用判定手段234と、画質改善時間推定手段235とを備える。
画像生成手段231は、フレーム画像の更新に関する映像データを入力し、必要に応じて復号処理を行ってフレーム画像を生成する機能を有する。画像生成手段231は、複数の部分領域がフレームの更新対象となる場合は、それら複数の部分領域の画像を全て復号して、画像メモリ221へ書き込むことにより、フレーム画像を更新する。また、画像生成手段231は、全ての部分領域の画像を復号し、画像メモリ221のフレーム画像を更新した時点で、そのフレーム画像の表示予定時刻を画像表示予定時刻メモリ222に格納し、さらに画質改善時間推定手段235に対して、推定処理の開始を指示する。この推定処理の開始の指示には、今回復号した部分領域の画像のサイズ情報が添えられる。
画像出力手段232は、画像表示予定時刻メモリ222から表示予定時刻を読み出し、時刻計測装置24から現在時刻を読み出し、現在時刻が表示予定時刻に達していたならば、画像メモリ221からフレーム画像を読み出し、画像出力装置25に出力する機能を有する。
画質改善時間推定手段235は、画像メモリ221に格納されたフレーム画像の各部分領域の画像に対して画質改善処理を行うのに要する時間を推定し、推定した時間を画質改善推定時間メモリ223に格納する機能を有する。画質改善時間推定手段235は、推定の際には、第1の実施の形態における画質改善時間推定手段235と同様に、対象画像に対して要する最長の処理時間を推定値として採用する。すなわち、画質改善時間推定手段235は、たとえば画質改善処理に適応型ノイズリダクションフィルタを用いる場合、そのフィルタを適用するときの1画素あたりの処理サイクル数と、部分領域の画像の画素数(これは、画像生成手段231から通知される部分領域の画像のサイズ情報から計算される)とを乗じて、当該部分領域の画像に対する最長処理時間を推定する。
画質改善適用判定手段234は、画像メモリ221に格納されたフレーム画像の各部分領域の画像ごとに、画質改善処理を行うか否かを決定し、画質改善処理を行う部分領域の画像についてはさらに画質改善処理のスケジュールを決定する機能を有する。画質改善適用判定手段234は、現在時刻からフレーム画像の表示予定時刻までの期間に十分な空き時間があれば、全ての部分領域の画像についての画質改善処理をスケジュールし、空き時間が不足していれば、一部の部分領域に限定して画質改善処理をスケジュールする。そのために画質改善適用判定手段234は、優先順位付け手段2341とタスクスケジュール手段2342とを備えている。
優先順位付け手段2341は、画質改善処理の対象とする複数の部分領域の画像に対して、処理の優先順位を付ける機能を有する。優先順位付け手段2341は、それぞれの部分領域の画像ごとに、その画像の画質改善効果の指標を算出し、算出した指標どうしを比較することにより、画質改善効果のより高い画像ほど優先順位がより高くなるように優先順位付けを行う。
画質改善効果の指標としては、例えば、部分領域の面積(画素数)を用いることができる。この場合、指標(部分領域の面積)がより大きいほど画質改善効果がより高くなり、優先順位が上がる。部分領域の面積を画質改善効果の指標に用いることができる理由は以下の通りである。
コンピュータ画面に表示されるような映像では、マウスカーソルやアイコンのような小さな更新領域と、動画再生ウィンドウのような大きな更新領域とが混在するが、ユーザが画質改善を望むのは動画再生ウィンドウのような大領域である可能性が高い。このため、面積の大きい部分領域を優先して画質改善すれば、ユーザにとっての主観品質が向上しやすい。仮に面積の小さい領域を優先すると、面積が大きい領域に割り当て可能な処理時間が小領域の数や合計面積によって変動するため、フレームによって、大領域に対する画質改善処理が適用される場合と適用されない場合とが生じる可能性がある。この結果、動画再生ウィンドウなどにおいて、フレームごとに歪みの大きさが大きく変動し、主観品質の低下を招く可能性がある。動画ウィンドウの面積は連続するフレームでは一定である場合が多いため、面積の大きい部分領域を優先することによって、こうした不安定さが抑制される。
画質改善効果の指標の他の例として、部分領域中の、同一色が空間的に連続して現れる領域(単一色領域)を除いた、非単一色領域の面積(画素数)を用いることができる。この場合、指標(非単一色領域の面積)がより大きいほど画質改善効果がより高くなり、優先順位が上がる。一般に(コンピュータ画面などで頻出する、白一色などの)単一色領域に対しては、ポストフィルタによる画質改善効果が得られない場合が多い。このため、非単一色領域の面積を指標値とすることで、より実質的な画質改善効果を反映した指標が得られる。
画質改善効果の指標のさらに別の例として、部分領域の画像の圧縮に関する品質情報(例えば、圧縮率や、JPEGにおける量子化粒度のパラメータなど)を用いることができる。この場合、指標(画像圧縮に関する品質情報)がより低品質を示すほど、劣化が大きいと考えられるので、画質改善効果がより高くなり、優先順位が上がる。
以上挙げた指標は一例であり、その他、部分領域内の画像の種類(自然画像か文字画像かなど)なども指標に用いることができ、以上挙げた指標を複数組み合わせて使用することも可能である。
タスクスケジュール手段2342は、優先順位付け手段2341によって付与された優先順位のより高い部分領域の画像から順に、画質改善処理タスクの割り当て処理を行う機能を有する。具体的には、以下のタスク割り当て処理を、優先順位の最も高い部分領域の画像から優先順位の最も低い部分領域の画像まで順に、全ての部分領域の画像に対して実行する。
まず、画質改善推定時間メモリ223から当該部分領域の画像の画質改善推定時間を読み出す。また、画像表示予定時刻メモリ222から表示予定時刻を、時刻計測装置24から現在時刻をそれぞれ読み出す。次に、タスク予定メモリ224にスケジュール情報が記録されていればそれを参照し、現在時刻から表示予定時刻までの間に、当該画像に対する画質改善推定時間を割り当て可能な空き時間が存在するか否かを判定し、割り当て可能な空き時間が存在する場合には、タスク予定メモリ224に対して、その画像に対する画質改善処理のタスクに関するスケジュール情報を追記する。つまり、現在時刻から表示予定時刻の間で、タスクが未割り当てとなっている期間を検索し、それらの期間の合計が当該画像の推定処理時間以上であれば、それらの期間の前方(現在時刻に近い側)から、推定処理時間分の時間帯をタスクの実行時間として割り当てるわけである。
タスクスケジュール手段2342の機能を図4を参照してより具体的に説明する。図4において、横方向に引いた矢印は時間軸t、dtはフレーム画像の表示予定時刻、ctは現在時刻を示す。今、部分領域の画像として、img1,img2,img3の3つの画像があり、その優先順位は画像img3が一番高く、次に画像img1が高く、画像img2は一番低いものとする。タスクスケジュール手段2342は、最初に画像img3について、タスクの割り当てが可能か否かを判定する。図4(a)に示すように、現在時刻ctから表示予定時刻dtまでに1つもタスクがスケジュールされていない場合、画像img3に対する画質改善処理の推定処理時間が、時間dt-ct以下であれば、画像img3に対するタスクの割り当ては可能、そうでなければ不可能となる。図4(b)の例は、画像img3に対してタスクが割り当てられた場合を示しており、現在時刻を開始時刻としてスケジュールされている。
次にタスクスケジュール手段2342は、優先順位が次に高い画像img1について、タスクの割り当てが可能か否かを判定する。図4(b)に示すように、現在時刻ctから表示予定時刻dtまでに画像img3のタスクがスケジュールされている場合、画像img1に対する画質改善処理の推定処理時間が、「時間dt-ct-img3推定処理時間」以下であれば、画像img1に対するタスクの割り当ては可能、そうでなければ不可能となる。図4(c)の例は、画像img1に対してタスクが割り当てられた場合を示しており、既にスケジュールされている画像img3の終了時刻を開始時刻としてスケジュールされている。
次にタスクスケジュール手段2342は、優先順位が一番低い画像img2について、タスクの割り当てが可能か否かを判定する。図4(c)に示すように、現在時刻ctから表示予定時刻dtまでに画像img3と画像img1のタスクがスケジュールされている場合、画像img2に対する画質改善処理の推定処理時間が、「時間dt-ct-img3推定処理時間-img1推定処理時間」以下であれば、画像img2に対するタスクの割り当ては可能、そうでなければ不可能となる。図4の例は、画像img2に対してタスクが割り当てられなかった場合を示している。
画質改善適用判定手段234は、タスクスケジュール手段2342によって1以上のタスクのスケジュール情報をタスク予定メモリ224に記録した場合、タスクの開始タイミングの到来を監視する機能を有する。つまり、時刻計測装置24から現在時刻を取得するとともにタスク予定メモリ224を参照して、各画像のタスクの開始時刻に達しているかどうかを判定する。そして、タスクの開始時刻に達すると、画質改善適用判定手段234は、画質改善手段233に対して、画質改善対象となる部分領域の画像を指定して、その画像に対する処理開始の通知を行う。
画像改善手段233は、画質改善適用判定手段234から処理開始の通知があると、画像メモリ221から該当する部分領域の画像を読み出して画質改善処理を適用し、画質改善処理適用後の画像を画像メモリ221の元の部分領域に格納する。画質改善処理の種類は任意である。例えば、適応型ノイズリダクションフィルタのような画質改善処理を行うことができる。
画像出力装置25は、再生画像を出力するディスプレイ装置などで構成される。本実施の形態をシンクライアント・システムのクライアント装置における映像再生装置に適用する場合、画像出力装置25は、クライアント装置のディスプレイに相当する。
次に、本実施の形態の動作を説明する。
画像生成手段231は、データ入力装置21からフレーム画像の更新に関する映像データを入力し(図5のS201)、必要に応じてデータの復号処理を行って、得られた画像を画像メモリ221の該当する領域に格納することによりフレーム画像を生成する(S202)。複数の部分領域がフレームの更新対象となる場合は、それら複数の部分領域の画像を全て入力・復号して、画像メモリ221のフレームの該当領域へ書き込む。これによりフレーム画像を更新する。
画像生成手段231は、或るフレームについて、全ての部分領域の画像を復号し、画像メモリ221のフレーム画像を更新すると、当該フレーム画像を表示すべき時刻である画像表示予定時刻を画像表示予定時刻メモリ222に格納する(S203)。さらに画像生成手段231は、画質改善時間推定手段235に対して、個々の部分領域の画像のサイズ情報を添えて、推定処理の開始を通知する。
画質改善時間推定手段235は、画像生成手段231から推定処理の開始の通知を受けると、画像メモリ221に格納されているフレーム画像中の個々の部分領域の画像に対して画質改善処理を適用するために要する最長の処理時間を推定し、この推定した処理時間を画質改善推定時間メモリ223に書き込む(S204)。画質改善時間推定手段235は、全ての部分領域の画像についての画質改善時間の推定処理を完了すると、その旨を画質改善適用判定手段234に通知する。
画質改善適用判定手段234は、画質改善時間推定手段235から通知を受けると、まず、優先順位付け手段2341により、各部分領域の画像について画質改善効果の指標を算出し、この算出した指標どうしを比較することにより、各部分領域の画像に対して画質改善処理の優先順位付けを行う(S205)。次に、画質改善適用判定手段234は、タスクスケジュール手段2342により、優先順位のより高い部分領域の画像から順に、画質改善処理タスクの割り当て処理を行う(S206)。
ステップS206の詳細を図6に示す。タスクスケジュール手段2342は、優先順位のより高いものから順に1つの部分領域の画像を選択する(S221)。次に、ステップS222を経由してステップS223に進み、当該部分領域の画像について、画質改善処理タスクの割り当てが可能か否かを判定する。そして、割り当て可能ならば、画質改善処理タスクのスケジュール情報をタスク予定メモリ224に記録し、ステップS221の処理へと戻る。また、割り当て不可能ならば、ステップS224の処理をスキップしてステップS221の処理へと戻る。以上の処理を繰り返し、優先順位の最も低い部分領域の画像を対象とした処理を完了した時点で(ステップS222でYES)、図6の処理を終える。
画質改善適用判定手段234は、タスクスケジュール手段2342によって1以上のタスクのスケジュール情報をタスク予定メモリ224に記録した場合(S207でYES)、タスクの開始タイミングの到来を監視する(S208)。そして、或るタスクの開始時刻に達すると、画質改善適用判定手段234は、画質改善手段233に対して、画質改善対象となる部分領域の画像を指定して、その画像に対する処理開始の通知を行う。画質改善手段233は、画像メモリ221から該当する部分領域の画像を読み出して画質改善処理を適用し、画質改善処理適用後の画像を画像メモリ221の元の部分領域に格納する(S209)。
画質改善処理を終えたタスクのスケジュール情報は、タスク予定メモリ224から削除される。タスク予定メモリに設定された全てのタスクによる画質改善処理が完了すると(S207でNO)、データ処理装置23は、画像生成手段231によるステップS201の処理へと戻る。
他方、画像出力手段232は、時刻計測装置24で計測される現在時刻が、画像表示予定時刻メモリ222から読み出した表示予定時刻に達するのを監視しており(S210)、現在時刻が画像表示予定時刻に達したならば、画像メモリ221からフレーム画像を読み出し、画像出力装置25に出力する(S211)。
本実施の形態の効果について説明する。
本実施の形態によれば、第1の実施の形態と同様の効果が得られると同時に、画像生成から画像表示までに十分な空き時間がなく、フレーム全体に対する画質改善処理が間に合わない状況であっても、いくつかの部分領域に対する画質改善処理が間に合う場合には、当該部分領域に対しては画質改善処理を適用することができる。
またその場合、画質改善効果が大きいと思われる領域に対して優先的に画質改善処理を適用することができる。特にコンピュータ画面に表示される映像の場合、フレーム内の更新領域はそれぞれ面積(画素数)が異なり、また、自然画や文字画といった画像特性にも違いがあるため、圧縮歪みが知覚されやすいかどうか(画質改善処理による効果が大きいかどうか)にも違いがある。これを利用して、画質改善効果が大きいと思われる領域に対して優先的に画質改善処理を適用することによって、ユーザの主観品質を向上させることができる。
[第2の実施の形態の変形例]
上記説明では、フレームごとに、当該フレームで更新された全ての部分領域に対して画質改善処理を適用するか否かの判定を行うこととしたが、当該フレームの全ての部分領域に加えて、過去に更新されたまま上書きされずに残っている部分領域のうち、まだ画質改善処理が適用されていない領域についても同様に、画質改善処理を適用するか否かを判定してもよい。
たとえばコンピュータ画面のような映像では、「前フレームでは多くの領域が更新されたため、全領域に画質改善処理を適用できなかったが、次のフレームではマウスカーソル程度の小領域しか更新されず、処理時間が余ってしまう」ような状況がしばしば発生する。こうした状況においては、上記手法によって、前フレームまでに適用できなかった部分領域に対しても画質改善処理を適用できるようになり、更なる画質改善効果が得られる。
また、一定期間データ入力が無い場合に、過去に更新された部分領域のうち、まだ画質改善処理が適用されていない領域のみを対象として、画質改善処理を適用するか否かを判定してもよい。この場合、現在時刻から一定時間後に仮の画像表示予定時刻を設定し、その表示予定時刻に間に合うようタスクスケジュールを行うものとする。また、画質改善処理を行っている間にデータ入力があった場合には、それ以降新たな画質改善処理を開始せず、画像生成処理に切り替えるようにしてもよい。
たとえばコンピュータ画面のような映像では、数フレーム以上にわたって画面が更新されずに静止しているような状況がしばしば発生する。こうした無更新期間においては入力データが送信されてこないため、受信側のプロセッサリソースに空きが生じる。こうした状況においては、上記手法によって、過去に画質改善処理を適用できなかった部分領域に対して画質改善処理を行うことができるようになり、更なる画質改善効果が得られる。
[第3の実施の形態]
図7を参照すると、本発明の第3の実施の形態に係る映像再生装置は、データ入力装置31と、データ記憶装置32と、プログラム制御により動作するデータ処理装置33と、時刻計測装置34と、画像出力装置35とから構成されている。
図7を参照すると、本発明の第3の実施の形態に係る映像再生装置は、データ入力装置31と、データ記憶装置32と、プログラム制御により動作するデータ処理装置33と、時刻計測装置34と、画像出力装置35とから構成されている。
データ入力装置31は、再生対象となる動画像の映像データを入力する装置である。
データ記憶装置32は、画像表示予定時刻の連続する複数のフレーム画像を格納できる画像メモリ321と、画像表示予定時刻メモリ322と、画質改善推定時間メモリ323と、タスク予定メモリ324とを備える。
画像メモリ321は、映像データに対して必要に応じて復号処理を行って得られたフレーム画像を複数保持するために使用される。図7中の画像メモリ321に描いたframe1,frame2,frame3は、画像表示予定時刻の異なる複数のフレーム画像を示している。
画像表示予定時刻メモリ322は、画像メモリ321に格納されたフレーム画像を画像出力装置35に表示する予定時刻をフレーム画像ごとに保持するために使用される。図7中の画像表示予定時刻メモリ322には、予定時刻の例として、フレーム画像frame1については00時00分00.033秒、フレーム画像frame2については00時00分00.067秒、フレーム画像frame3については00時00分00.100秒とする例が描かれている。
画質改善推定時間メモリ323は、画像メモリ321に格納されたフレーム画像に対して画質改善処理を行うのに要する時間をフレーム画像ごとに保持するために使用される。図7中の画質改善推定時間メモリ323には、推定時間の例として、フレーム画像frame1は30ms、フレーム画像frame2は40ms、フレーム画像frame3は30msとする例が描かれている。
タスク予定メモリ324は、画質改善処理タスクのスケジューリング情報を保持するために使用される。図7中のタスク予定メモリ324には、2つのスケジューリング情報が例示されている。1つは、フレーム画像frame2に対して画質改善処理を行うタスクのスケジューリング情報であり、そのタスクの開始時刻は00時00分00.020秒、終了時刻は00時00分00.060秒とされている。もう1つは、フレーム画像frame3に対して画質改善処理を行うタスクのスケジューリング情報であり、そのタスクの開始時刻は00時00分00.060秒、終了時刻は00時00分00.090秒とされている。
時刻計測装置34は、現在の時刻を計測するマスタ時計である。時刻計測装置34で計測されている現在時刻は、データ処理装置33から取り出せるようになっている。
データ処理装置33は、画像生成手段331と、画像出力手段332と、画質改善手段333と、画質改善適用判定手段334と、画質改善時間推定手段335とを備える。
画像生成手段331は、動画像の映像データを入力し、必要に応じて復号処理を行ってフレーム画像を生成する機能を有する。画像生成手段331は、所定のフレーム数のデータ入力と復号が完了すると、それらのフレーム画像の表示予定時刻を画像表示予定時刻メモリ322に格納し、さらに画質改善時間推定手段335に対して、推定処理の開始を指示する。この推定処理の開始の指示には、今回復号したフレーム画像のそれぞれについてのサイズ情報が添えられる。
画像出力手段332は、画像表示予定時刻メモリ322に格納された各フレーム画像の表示予定時刻のうち最も早い表示予定時刻を読み出し、時刻計測装置34から現在時刻を読み出し、現在時刻が画像表示予定時刻に達していたならば、画像メモリ321から該当するフレーム画像を読み出し、画像出力装置35に出力する機能を有する。画像出力手段332は、画像メモリ321から読み出して出力したフレーム画像の表示予定時刻の情報は、画像表示予定時刻メモリ122から削除する。
画質改善時間推定手段335は、画像メモリ321に格納されたフレーム画像に対して画質改善処理を行うのに要する時間を推定し、推定した時間を画質改善推定時間メモリ323に格納する機能を有する。画質改善時間推定手段335は、推定の際には、第1の実施の形態における画質改善時間推定手段135と同様に、対象画像に対して要する最長の処理時間を推定値として採用する。すなわち、画質改善時間推定手段335は、たとえば画質改善処理に適応型ノイズリダクションフィルタを用いる場合、そのフィルタを適用するときの1画素あたりの処理サイクル数と、フレーム画像の画素数(これは、画像生成手段331から通知されるフレーム画像のサイズ情報から計算される)とを乗じて、当該フレーム画像に対する最長処理時間を推定する。
画質改善適用判定手段334は、画像メモリ321に格納された複数のフレーム画像のそれぞれについて、画質改善処理を行うか否かを決定し、画質改善処理を行うフレーム画像についてはさらに画質改善処理のスケジュールを決定する機能を有する。画質改善適用判定手段334は、表示予定時刻の連続する複数のフレーム画像に対して、それらの間で画質改善処理の時間を融通しながら、最も画質改善効果の高いフレーム画像から順に画質改善処理を適用するようにスケジューリングを行う。そのために画質改善適用判定手段334は、優先順位付け手段3341とタスクスケジュール手段3342とを備えている。
優先順位付け手段3341は、画質改善処理の対象とする複数のフレーム画像に対して、処理の優先順位を付ける機能を有する。優先順位付け手段3341は、それぞれのフレーム画像ごとに、その画像の画質改善効果の指標を算出し、算出した指標どうしを比較することにより、画質改善効果のより高い画像ほど優先順位がより高くなるように優先順位付けを行う。
画質改善効果の指標としては、例えばフレーム画像の画像属性を用いることができる。フレーム画像の画像属性の例としては、MPEGなどの動画形式におけるピクチャ種別がある。MPEGのビデオ符号化では、I,P,Bというピクチャ種別が規定されている。ピクチャ種別を画質改善効果の指標に用いることができる理由は以下の通りである。なお、ピクチャ種別がIのフレームをIフレーム、ピクチャ種別がPのフレームをPフレーム、ピクチャ種別がBのフレームをBフレームと呼ぶ。
MPEGでは、I,P,Bピクチャへの符号量配分は、動画全体のPSNR(Peak Signal to Noise Ratio)が最も高くなるよう、経験的に定められた配分値が利用される。こうした配分にすると、IフレームとPフレームは他のピクチャの参照元として使われるため元々高画質に符号化される。これに対してBフレームは他のピクチャの参照元として使われることがないため粗く量子化され、ピクチャとしてはブロックなどの歪みが最も出やすくなる。したがって、ポストフィルタをかける場合は、IフレームとPフレームよりもBフレームに対してノイズ除去処理を適用した方が同一の処理時間での効果は大きいものと推定される。また、Bピクチャの次にPピクチャの画質が悪く、最後にIピクチャの順となるため、画質改善効果もこの順に大きいものと推定される。
画質改善効果の指標としてフレーム画像の画像属性を用いる場合、画像属性と優先順位との対応関係をテーブルとして格納しておけばよい。具体的には、MPEGなどの動画形式の場合、I,P,Bというピクチャ種別と、各ピクチャ種別に応じた優先順位との対応関係をテーブル化しておく。この場合、Bピクチャ=優先度高、Pピクチャ=優先度中、Iピクチャ=優先度低としておく。
画質改善効果の指標の他の例として、フレーム画像の圧縮に関する品質情報(例えば、量子化粒度のパラメータなど)を用いることができる。このように実際の品質情報を画質改善効果の指標に用いることにより、品質改善効果をより精度よく推定でき、従って優先順位付けを正しく行うことができる。この場合、指標(画像圧縮に関する品質情報)がより低品質を示すほど、劣化が大きいと考えられるので、画質改善効果がより高くなり、優先順位が上がる。
以上挙げた指標は一例であり、その他、フレーム画像の種類(自然画像か文字画像かなど)なども指標に用いることができ、以上挙げた指標を複数組み合わせて使用することも可能である。例えば、ピクチャ種別による指標と、フレーム画像の圧縮に関する品質情報による指標とを組み合わせれば、判定すべきフレーム群に同種のピクチャが含まれている場合(例えば、I→B→B→Pのような4フレームに対して判定する場合)、同種のフレーム(前記の例では2枚のBピクチャ)に対する適用優先度を判定することができるようになる。
タスクスケジュール手段3342は、優先順位付け手段3341によって付与された優先順位のより高いフレーム画像から順に、画質改善処理タスクの割り当て処理を行う機能を有する。具体的には、以下のタスク割り当て処理を、優先順位の最も高いフレーム画像から優先順位の最も低いフレーム画像まで順に、全てのフレーム画像に対して実行する。
まず、画質改善推定時間メモリ323から当該フレーム画像の画質改善推定時間を読み出す。また、画像表示予定時刻メモリ322から当該フレーム画像の表示予定時刻を、時刻計測装置34から現在時刻をそれぞれ読み出す。次に、タスク予定メモリ324にスケジュール情報が記録されていればそれを参照し、現在時刻から画像表示予定時刻までの間に、当該フレーム画像に対する画質改善推定時間を割り当て可能な空き時間が存在するか否かを判定し、割り当て可能な空き時間が存在する場合には、タスク予定メモリ324に対して、そのフレーム画像に対する画質改善処理のタスクに関するスケジュール情報を追記する。つまり、現在時刻から画像表示予定時刻の間で、タスクが未割り当てとなっている期間を検索し、それらの期間の合計が当該フレーム画像の推定処理時間以上であれば、それらの期間の後方(表示予定時刻に近い側)から、推定処理時間分の時間帯をタスクの実行時間として割り当てるわけである。
タスクスケジュール手段3342の機能を図8を参照してより具体的に説明する。図8において、横方向に引いた矢印は時間軸t、dt1,dt2,dt3はフレーム画像frame1,frame2,frame3の表示予定時刻、ctは現在時刻を示す。今、フレーム画像frame2の優先順位が一番高く、次にフレーム画像frame3が高く、フレーム画像frame1は一番低いものとする。タスクスケジュール手段3342は、最初にフレーム画像frame2について、タスクの割り当てが可能か否かを判定する。図8(a)に示すように、現在時刻ctからフレーム画像frame2の表示予定時刻dt2までに1つもタスクがスケジュールされていない場合、フレーム画像frame2に対する画質改善処理の推定処理時間が、「時間dt2-ct」以下であれば、フレーム画像frame2に対するタスクの割り当ては可能、そうでなければ不可能となる。図8(b)の例は、フレーム画像frame2に対してタスクが割り当てられた場合を示しており、表示予定時刻dt2を終了時刻としてスケジュールされている。
次にタスクスケジュール手段3342は、優先順位が次に高いフレーム画像frame3について、タスクの割り当てが可能か否かを判定する。図8(b)に示すように、現在時刻ctからフレーム画像frame3の表示予定時刻dt3までにフレーム画像frame2のタスクがスケジュールされている場合、フレーム画像frame3に対する画質改善処理の推定処理時間が、「時間dt3-ct-フレーム画像frame2推定処理時間」以下であれば、フレーム画像frame3に対するタスクの割り当ては可能、そうでなければ不可能となる。図4(c)の例は、フレーム画像frame3に対してタスクが割り当てられた場合を示しており、表示予定時刻dt3を終了時刻としてスケジュールされている。
次にタスクスケジュール手段3342は、優先順位が一番低いフレーム画像frame1について、タスクの割り当てが可能か否かを判定する。図4(c)に示すように、現在時刻ctからフレーム画像frame1の表示予定時刻dt1までにフレーム画像frame2のタスクの一部がスケジュールされている場合、フレーム画像frame1に対する画質改善処理の推定処理時間が、「時間dt1-ct-d」(dは、フレーム画像frame2のタスクの時間のうち、dt1-ctの期間と重複している時間)以下であれば、フレーム画像frame1に対するタスクの割り当ては可能、そうでなければ不可能となる。図8の例は、フレーム画像frame1に対してタスクが割り当てることができなかった場合を示している。
なお、タスクスケジュール手段3342は、全タスクに対する割り当て処理完了後に、割り当てられた全タスクを現在時刻側へ詰めるよう再配置する機能を持っていてもよい。すなわち、タスク予定メモリ324上で、プロセッサのリソースに空きが生じている時間帯があり、その後に実行されるべきタスクがある場合には、タスクの実行開始時間を前倒しして、プロセッサの空きを埋めるように再配置する。例えば図8(c)の状態に対して再配置を行うと、図8(d)に示す状態となる。これによって、仮に画質改善時間の推定に誤差があり、処理完了が予測より遅れた場合においても、前倒しした分の時間猶予によって、表示予定時刻に間に合う可能性が高くなる。
画質改善適用判定手段334は、タスクスケジュール手段3342によって1以上のタスクのスケジュール情報をタスク予定メモリ324に記録した場合、タスクの開始タイミングの到来を監視する機能を有する。つまり、時刻計測装置34から現在時刻を取得するとともにタスク予定メモリ324を参照して、各フレーム画像のタスクの開始時刻に達しているかどうかを判定する。そして、タスクの開始時刻に達すると、画質改善適用判定手段334は、画質改善手段333に対して、画質改善対象となるフレーム画像を指定して、その画像に対する処理開始の通知を行う。
画像改善手段333は、画質改善適用判定手段334から処理開始の通知があると、画像メモリ321から該当するフレーム画像を読み出して画質改善処理を適用し、画質改善処理適用後のフレーム画像を画像メモリ321に格納する。画質改善処理の種類は任意である。例えば、適応型ノイズリダクションフィルタのような画質改善処理を行うことができる。
画像出力装置35は、再生画像を出力するディスプレイ装置などで構成される。
次に、本実施の形態の動作を説明する。
画像生成手段331は、データ入力装置31から動画像にかかる映像データを入力し(S301)、必要に応じてデータの復号処理を行って、得られたフレーム画像を画像メモリ321に格納する(S302)。画像生成手段331は、所定のフレーム数のデータ入力と復号が完了すると(S303でYES)、それらのフレーム画像を表示すべき時刻である画像表示予定時刻を画像表示予定時刻メモリ322に格納する(S304)。さらに画像生成手段331は、画質改善時間推定手段335に対して、個々のフレーム画像のサイズ情報を添えて、画質改善時間の推定処理の開始を通知する。
画質改善時間推定手段335は、画像生成手段331から推定処理の開始の通知を受けると、画像メモリ321に格納されているフレーム画像ごとに、そのフレーム画像に対して画質改善処理を適用するために要する最長の処理時間を推定し、推定された処理時間を画質改善推定時間メモリ323に書き込む(S305)。画質改善時間推定手段335は、全てのフレーム画像についての画質改善時間の推定処理を完了すると、その旨を画質改善適用判定手段334に通知する。
画質改善適用判定手段334は、画質改善時間推定手段335から通知を受けると、まず、優先順位付け手段3341により、各フレーム画像について画質改善効果の指標を算出し、この算出した指標どうしを比較することにより、複数のフレーム画像に対して画質改善処理の優先順位付けを行う(S306)。次に、画質改善適用判定手段334は、タスクスケジュール手段3342により、優先順位のより高いフレーム画像から順に、画質改善処理タスクの割り当て処理を行う(S307)。
ステップS306の詳細を図10に示す。タスクスケジュール手段3342は、優先順位のより高いものから順に1つのフレーム画像を選択する(S321)。次に、ステップS322を経由してステップS323に進み、当該フレーム画像について、画質改善処理タスクの割り当てが可能か否かを判定する。そして、割り当て可能ならば、画質改善処理タスクのスケジュール情報をタスク予定メモリ324に記録し、ステップS321の処理へと戻る。また、割り当て不可能ならば、ステップS324の処理をスキップしてステップS321の処理へと戻る。以上の処理を繰り返し、優先順位の最も低いフレーム画像を対象とした処理を完了した時点で(ステップS322でYES)、図10の処理を終える。
画質改善適用判定手段334は、タスクスケジュール手段3342によって1以上のタスクのスケジュール情報をタスク予定メモリ324に記録した場合(S308でYES)、タスクの開始タイミングの到来を監視する(S309)。そして、或るタスクの開始時刻に達すると、画質改善適用判定手段334は、画質改善手段333に対して、画質改善対象となるフレーム画像を指定して、その画像に対する処理開始の通知を行う。画質改善手段333は、画像メモリ321から該当するフレーム画像を読み出して画質改善処理を適用し、画質改善処理適用後のフレーム画像を画像メモリ321に格納する(S310)。
画質改善処理を終えたタスクのスケジュール情報は、タスク予定メモリ324から削除される。タスク予定メモリに設定された全てのタスクによる画質改善処理が完了すると(S308でNO)、データ処理装置33は、画像生成手段331によるステップS301の処理へと戻る。
他方、画像出力手段332は、時刻計測装置34で計測される現在時刻が、画像表示予定時刻メモリ322から読み出した画像表示予定時刻に達するのを監視しており(S311)、現在時刻が画像表示予定時刻に達したならば、画像メモリ321から該当するフレーム画像を読み出し、画像出力装置35に出力する(S312)。
本実施の形態の効果について説明する。
本実施の形態によれば、第1の実施の形態と同様の効果が得られると同時に、1フレーム毎に処理した場合には実行できなかったような重い画質改善処理であっても、他フレームの状況によっては適用することができるようになる。その理由は、表示時刻の異なる複数のフレーム画像に対して、それらの間で画質改善処理の時間を融通しながら、最も効果の高い画像から順に画質改善処理を適用するためである。
たとえば、第1の実施の形態では、1フレームの表示期間が33msecである場合、1フレームあたり40msecかかる画質改善処理は適用できない。これに対して、本実施の形態では、たとえば3フレーム(100msec)を一度に復号し、その復号処理時間が20msecであれば、残りの時間(80msec)で2フレームに対して40msecの画質改善処理を適用することができる。
また、こうした複数フレームを一度に復号するという動作は、動画像符号化方式では一般的に行われているため、その動作との親和性も高い。たとえば、MPEGのビデオ符号化ではI,P,Bというピクチャ種別が規定されており、Bピクチャの復号には、その前後フレームのI,Pピクチャのデコードが必要となる。このため、フレームframe1がIピクチャ、フレームframe2がBピクチャ、フレームframe3がPピクチャであったとしても、デコードの順序はI→P→Bとなる。このため、必然的に複数フレームがメモリに蓄積されることになる。本実施の形態では、こうして蓄積された複数フレームに対して画質改善適用判定を行うため、動画像の復号処理と組み合わせて利用することが容易である。
[第4の実施の形態]
図11を参照すると、本発明の第4の実施の形態に係る映像再生装置は、図1に示した第1の実施の形態にかかる映像再生装置と比較して、画質改善手段133が複数の画質改善手段133−1〜133−nに、画質改善適用判定手段134が画質改善適用判定手段136に、画質改善時間推定手段135が画質改善時間推定手段137にそれぞれ置き換えられている点で相違する。
図11を参照すると、本発明の第4の実施の形態に係る映像再生装置は、図1に示した第1の実施の形態にかかる映像再生装置と比較して、画質改善手段133が複数の画質改善手段133−1〜133−nに、画質改善適用判定手段134が画質改善適用判定手段136に、画質改善時間推定手段135が画質改善時間推定手段137にそれぞれ置き換えられている点で相違する。
複数の画質改善手段133−1〜133−nは、それぞれ異なる画質改善手法によって画質の改善を行う手段である。複数の画質改善手段133−1〜133−nには、予め適用優先度が設定されている。具体的には、画質改善効果のより高い画質改善手段ほど、より高い適用優先度が設定されている。
例えば、輝度と色差の全成分に対してノイズ除去処理を適用する画質改善手段と、輝度成分のみに対してノイズ除去処理を適用する画像改善手段とがある場合、前者の画像改善手段の適用優先度は、後者の画像改善手段の適用優先度より高く設定されている。また、8画素×8画素ブロック間の境界のブロック歪みの除去を行う画質改善手段と、16画素×16画素ブロック間の境界のブロック歪みの除去を行う画質改善手段とがある場合、前者の画像改善手段の適用優先度は、後者の画像改善手段の適用優先度より高く設定されている。ただし、画質改善効果のより高い画質改善手段ほど、負荷がより大きくなるため処理時間は長くなる。
画質改善時間推定手段137は、画像生成手段131で生成されたフレーム画像について画質改善処理を行うのに要する最長の処理時間を画質改善手段133−1〜133−nごとに推定し、画質改善推定時間メモリ123に格納する機能を有する。例えば、8画素×8画素ブロック間の境界のブロック歪みの除去を行う画質改善手段の場合、単位ブロック数当たりに要する処理サイクル数と、フレーム画像に含まれる単位ブロック数とを乗じて、当該フレーム画像に対する最長処理時間の推定値とする。フレーム画像に含まれる単位ブロック数は、画像生成手段131から通知されるフレーム画像のサイズと、単位ブロックのサイズとから計算することができる。図11中の画質改善推定時間メモリ123には、推定時間の例として、画質改善手段Aは10ms、画質改善手段Bは20ms、画質改善手段Cは30msとする例が描かれている。
画質改善適用判定手段136は、画像生成手段131で生成されたフレーム画像に対する画質改善処理の適用の可否と適用する場合の画質改善手段の種類を決定する機能を有する。画質改善適用判定手段136は、適用優先度が高い順に、画質改善手段133−1〜133−nの適用可能性を判定する。具体的には、画質改善適用判定手段136は、画像表示予定時刻メモリ122から表示予定時刻を、時刻計測装置14から現在時刻を、画質改善推定時間メモリ123から注目中の画質改善手段133−i(i=1〜n)の画質改善推定時間をそれぞれ読み出す。次に画質改善適用判定手段136は、読み出した現在時刻に画質改善推定時間を加算し、得られた時刻が表示予定時刻を超えていない場合には、画質改善手段133−iによる画質改善処理を行うものと判定し、画質改善手段133−iへ処理開始を通知する。他方、得られた時刻が表示予定時刻を超える場合には、画質改善手段133−iによる画質改善処理は行わないものとし、より優先度の低い画質改善手段があれば、それについても同様に適用可能性の判定を行う。
次に、本実施の形態の動作を説明する。
画像生成手段131は、データ入力装置11から映像データを入力し(S401)、必要に応じてデータの復号処理を行ってフレーム画像を生成し、画像メモリ121に格納する(S402)。次に、画像生成手段131は、当該フレーム画像を表示すべき時刻である画像表示予定時刻を画像表示予定時刻メモリ122に格納する(S403)。さらに画像生成手段131は、画質改善時間推定手段137に対して推定処理の開始を通知する。
画質改善時間推定手段137は、画像生成手段131から推定処理の開始の通知を受けると、画像メモリ121に格納されているフレーム画像に対して画質改善処理を適用するために要する最長の処理時間を、画質改善手段133−1〜133−nごとに推定し、推定された処理時間を画質改善推定時間メモリ123に書き込む(S404)。画質改善時間推定手段135は、推定処理を完了すると、その旨を画質改善適用判定手段136に通知する。
画質改善適用判定手段136は、画質改善時間推定手段137から通知を受けると、画質改善処理を適用するか否かの判定を適用優先度の最も高い画質改善手段から順に行う。具体的には、まず最初に画質改善適用判定手段136は、適用優先度の最も高い画質改善手段を選択する(S405)。次に、時刻計測装置14から読み出した現在時刻に、画質改善推定時間メモリ123から読み出した当該画質改善手段による画質改善推定時間を加算することにより、画質改善処理を行ったと仮定した場合の画質改善処理終了時刻を計算し、この画質改善処理終了時刻と、画像表示予定時刻メモリ122から読み出した画像表示予定時刻とを比較する(S407)。そして、画質改善処理終了時刻が表示予定時刻を超えていない場合には、当該画質改善手段による画質改善処理を行うものと判定し、当該画質改善手段へ処理開始を通知する。他方、画質改善処理終了時刻が表示予定時刻を超えている場合(S407でNO)、ステップS405の処理に戻り、次に適用優先度の高い画質改善手段を選択し、上述した処理と同様の処理を繰り返す。若し、適用優先度の最も低い画質改善手段の判定でも適用不可と判定された場合(S406でYES)、当該フレーム画像に対しては画質改善処理は実施されないことになる。
画質改善適用判定手段136から処理開始の通知を受けた画質改善手段133−iは、画像メモリ121からフレーム画像を読み出して画質改善処理を適用し、適用後のフレーム画像を画像メモリ121に格納する(S408)。
画像出力手段132は、時刻計測装置14で計測される現在時刻が、画像表示予定時刻メモリ122から読み出した表示予定時刻に達するのを監視しており(S409)、現在時刻が表示予定時刻に達したならば、画像メモリ121からフレーム画像を読み出し、画像出力装置15に出力する(S410)。
本実施の形態の効果について説明する。
本実施の形態によれば、時間的に余裕があればあるほど、より画質改善効果の高い画質改善処理を施すことが可能になる。その理由は、複数の画質改善手段について、画質改善効果の高い手段から順に適用可能性を判定し、表示時刻に間に合うもののうち最も効果の高い手段を選択して適用するためである。
これに対して、第1の実施の形態では、画質改善手段133が画質改善効果の高い手段であれば、画質改善処理の負荷が高くなって処理時間が長くなるため、表示予定時刻に間に合う確率が低くなり、結果として、画質改善処理が全く適用されずに表示される状況が多発する。逆に、画質改善手段133が画質改善効果の低い手段であれば、画質改善処理の負荷が低くなって処理時間が短くなるため、表示時刻に間に合う確率は高くなるが、高度な画質改善処理を適用できないため、画質改善の効果は小さくなる。これに対して、本実施の形態では、表示時刻までの残時間の範囲内で、可能な限り高い画質改善効果を得ることができる。
第4の実施の形態は、第1の実施の形態における画質改善手段133を複数化した実施の形態であるが、第2の実施の形態における画質改善手段233を複数化した第5の実施の形態、第3の実施の形態における画質改善手段333を複数化した第6の実施の形態も考えられる。
[第5の実施の形態]
第5の実施の形態においては、画質改善時間推定手段235が、部分領域の画像ごとに、画質改善手段ごとの改善処理時間を推定して画質改善推定時間メモリ223に格納する。また、タスクスケジュール手段2342は、優先度の高い部分領域の画像から順に、適用可能な画質改善手段を選択する。具体的には、タスクの空き時間に収まる範囲内で、できるだけ高い画質改善効果が得られる画質改善手段を選択する。以上の処理を、優先度の最も高い部分領域の画像から、優先度の最も低い部分領域の画像まで順に行う。この場合のタスクスケジュール手段2342の処理例を図13に示す。
第5の実施の形態においては、画質改善時間推定手段235が、部分領域の画像ごとに、画質改善手段ごとの改善処理時間を推定して画質改善推定時間メモリ223に格納する。また、タスクスケジュール手段2342は、優先度の高い部分領域の画像から順に、適用可能な画質改善手段を選択する。具体的には、タスクの空き時間に収まる範囲内で、できるだけ高い画質改善効果が得られる画質改善手段を選択する。以上の処理を、優先度の最も高い部分領域の画像から、優先度の最も低い部分領域の画像まで順に行う。この場合のタスクスケジュール手段2342の処理例を図13に示す。
図13を参照すると、第5の実施の形態におけるタスクスケジュール手段2342は、優先順位のより高いものから順に1つの部分領域の画像を選択する(S501)。次に、ステップS502を経由してステップS503に進み、適用優先度のより高いものから順に1つの画質改善手段を選択する。次に、ステップS504を経由してステップS505に進み、当該部分領域の画像について、当該画質改善手段による画質改善処理タスクの割り当てが可能か否かを判定する。そして、割り当て可能ならば、画質改善処理タスクのスケジュール情報をタスク予定メモリ224に記録し、ステップS501の処理へ戻って、優先順位の次に高い部分領域の画像を選択し、上述した処理と同様の処理を繰り返す。また、割り当て不可能ならば、ステップS503の処理へ戻り、適用優先度の次に高い画質改善手段を選択し、上述した処理と同様の処理を繰り返す。若し、適用優先度の最も低い画質改善手段によるタスクも割り当て不可能となったならば(S504でYES)、当該部分領域の画像についての画質改善処理は断念し、ステップS501に戻る。
この第5の実施の形態では、画像群全体のPSNRという観点では最適解とはならないが、判定処理が単純であるというメリットがある。また、部分領域の画像の優先順位をその画像の面積(画素数)がより大きいほどより高く設定した場合には、面積の大きな部分領域(動画ウィンドウなど)の歪み量の変動を抑えられるというメリットがある。その理由は、若し逆に、面積の小さい領域から順に判定した場合は、面積が大きい領域に割くことができる時間が、小さい領域の数や面積によって変動することになり、結果として、面積の大きい領域の歪みの変動量が大きくなってしまうためである。
動画ウィンドウでは、フレームごとに歪みの大きさが大きく変動すると主観品質が低下するため、上記のような判定順序によって面積の大きな更新領域の画質改善性能を安定させることが好ましい。
[第6の実施の形態]
第6の実施の形態においては、画質改善時間推定手段335が、表示時刻の異なるフレーム画像ごとに、画質改善手段ごとの改善処理時間を推定して画質改善推定時間メモリ323に格納する。また、タスクスケジュール手段3342は、優先度の高いフレーム画像から順に、適用可能な画質改善手段を選択する。具体的には、タスクの空き時間に収まる範囲内で、できるだけ高い画質改善効果が得られる画質改善手段を選択する。以上の処理を、優先度の最も高いフレーム画像から、優先度の最も低いフレーム画像まで順に行う。この場合のタスクスケジュール手段3342の処理例を図14に示す。
第6の実施の形態においては、画質改善時間推定手段335が、表示時刻の異なるフレーム画像ごとに、画質改善手段ごとの改善処理時間を推定して画質改善推定時間メモリ323に格納する。また、タスクスケジュール手段3342は、優先度の高いフレーム画像から順に、適用可能な画質改善手段を選択する。具体的には、タスクの空き時間に収まる範囲内で、できるだけ高い画質改善効果が得られる画質改善手段を選択する。以上の処理を、優先度の最も高いフレーム画像から、優先度の最も低いフレーム画像まで順に行う。この場合のタスクスケジュール手段3342の処理例を図14に示す。
図14を参照すると、第6の実施の形態におけるタスクスケジュール手段3342は、優先順位のより高いものから順に1つのフレーム画像を選択する(S601)。次に、ステップS602を経由してステップS603に進み、適用優先度のより高いものから順に1つの画質改善手段を選択する。次に、ステップS604を経由してステップS605に進み、当該フレーム画像について、当該画質改善手段による画質改善処理タスクの割り当てが可能か否かを判定する。そして、割り当て可能ならば、画質改善処理タスクのスケジュール情報をタスク予定メモリ324に記録し、ステップS601の処理へ戻って、優先順位の次に高いフレーム画像を選択し、上述した処理と同様の処理を繰り返す。また、割り当て不可能ならば、ステップS603の処理へ戻り、適用優先度の次に高い画質改善手段を選択し、上述した処理と同様の処理を繰り返す。若し、適用優先度の最も低い画質改善手段によるタスクも割り当て不可能となったならば(S604でYES)、当該フレーム画像についての画質改善処理は断念し、ステップS601に戻る。
この第6の実施の形態では、画像群全体のPSNRという観点では最適解とはならないが、判定処理が単純であるというメリットがある。
以上本発明の実施の形態について説明したが、本発明は以上の実施の形態にのみ限定されず、その他各種の付加変更が可能である。また、本発明の映像再生装置は、その有する機能をハードウェア的に実現することは勿論、コンピュータとプログラムとで実現することができる。プログラムは、磁気ディスクや半導体メモリ等のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータを前述した各実施の形態における映像再生装置として機能させる。
本発明の映像再生装置によれば、低性能・低コストなプロセッサを用いて、常に一定の期間内に表示可能で、かつ、プロセッサに余裕のある際には画質改善を図ることのできる画質再生処理を実現することができる。
11、21、31…データ入力装置
12、22、32…データ記憶装置
13、23、33…データ処理装置
14、24、34…時刻計測装置
15、25、35…画像出力装置
121、221、321…画像メモリ
122、222、322…画像表示予定時刻メモリ
123、223、323…画質改善推定時間メモリ
131、231、331…画像生成手段
132、232、332…画像出力手段
133、233、333…画質改善手段
134、234、334…画質改善適用判定手段
135、235、335…画質改善時間推定手段
224…タスク予定メモリ
12、22、32…データ記憶装置
13、23、33…データ処理装置
14、24、34…時刻計測装置
15、25、35…画像出力装置
121、221、321…画像メモリ
122、222、322…画像表示予定時刻メモリ
123、223、323…画質改善推定時間メモリ
131、231、331…画像生成手段
132、232、332…画像出力手段
133、233、333…画質改善手段
134、234、334…画質改善適用判定手段
135、235、335…画質改善時間推定手段
224…タスク予定メモリ
Claims (18)
- 映像データの受信ないし復号によってフレーム画像を生成する画像生成手段と、
前記フレーム画像に対して画質改善処理を行う画質改善手段と、
前記フレーム画像の表示予定時刻に同期して前記フレーム画像を出力する画像出力手段と、
前記フレーム画像について前記画質改善手段による画質改善処理に要する時間を推定する画質改善時間推定手段と、
現在時刻から前記フレーム画像の表示予定時刻までの空き時間と、前記フレーム画像について前記画質改善時間推定手段で推定された画質改善処理に要する時間との比較結果に従って、前記フレーム画像に対する画質改善処理の適用可否を決定する画質改善適用判定手段と、
を備えることを特徴とする映像再生装置。 - 映像データの受信ないし復号によってフレーム画像を生成する画像生成手段と、
前記フレーム画像に対して画質改善処理を行う画質改善効果の相違する複数の画質改善手段であって、画質改善効果のより高いものほどより高い適用優先度を設定した複数の画質改善手段と、
前記フレーム画像の表示予定時刻に同期して前記フレーム画像を出力する画像出力手段と、
前記フレーム画像に対する画質改善処理に要する時間を前記画質改善手段ごとに推定する画質改善時間推定手段と、
現在時刻から前記フレーム画像の表示予定時刻までの空き時間と、前記フレーム画像について前記画質改善時間推定手段で推定された前記画質改善手段ごとの画質改善処理に要する時間との比較結果に従って、前記フレーム画像に対する画質改善処理の適用可否と前記フレーム画像に対して適用する最も適用優先度の高い画質改善手段の種類とを決定する画質改善適用判定手段と、
を備えることを特徴とする映像再生装置。 - 前記画質改善適用判定手段は、
表示予定時刻の連続する複数のフレーム画像に対して画質改善効果による優先順位付けを行う優先順位付け手段と、
優先順位付けされた複数のフレーム画像について、優先順位の高いフレーム画像から順に、画質改善処理の適用可否と適用可能な場合の適用スケジュールとを決定するタスクスケジュール手段と、
を備えることを特徴とする請求項1または2に記載の映像再生装置。 - 前記優先順位付け手段は、フレーム画像の画像属性、画像圧縮に関する品質情報の何れか一方または双方を品質改善効果の指標とし、指標をフレーム画像間で比較することにより、複数のフレーム画像に対して画質改善効果による優先順位付けを行う、
ことを特徴とする請求項3に記載の映像再生装置。 - 前記画質改善適用判定手段は、
同じフレーム画像を構成する複数の部分領域の画像に対して画質改善効果による優先順位付けを行う優先順位付け手段と、
優先順位付けされた複数の部分領域の画像について、優先順位の高い部分領域の画像から順に、画質改善処理の適用可否と適用可能な場合の適用スケジュールとを決定するタスクスケジュール手段と、
を備えることを特徴とする請求項1または2に記載の映像再生装置。 - 前記優先順位付け手段は、部分領域の画像の面積、部分領域の画像内の非単一色領域の面積、画像圧縮に関する品質情報の何れか1つまたは複数を品質改善効果の指標とし、指標を部分領域の画像間で比較することにより、複数の部分領域の画像に対して画質改善効果による優先順位付けを行う、
ことを特徴とする請求項5に記載の映像再生装置。 - a)画像生成手段が、映像データの受信ないし復号によってフレーム画像を生成するステップと、
b)画質改善時間推定手段が、前記フレーム画像について画質改善処理に要する時間を推定するステップと、
c)画質改善適用判定手段が、現在時刻から前記フレーム画像の表示予定時刻までの空き時間と、前記フレーム画像について推定された画質改善処理に要する時間との比較結果に従って、前記フレーム画像に対する画質改善処理の適用可否を決定するステップと、
d)画質改善手段が、適用可と決定されたフレーム画像に対して画質改善処理を行うステップと、
e)画像出力手段が、前記フレーム画像の表示予定時刻に同期して前記フレーム画像を出力するステップと、
を含むことを特徴とする映像再生方法。 - a)画像生成手段が、映像データの受信ないし復号によってフレーム画像を生成するステップと、
b)画質改善時間推定手段が、前記フレーム画像に対する画質改善処理に要する時間を、前記フレーム画像に対して画質改善処理を行う画質改善効果の相違する複数の画質改善手段であって画質改善効果のより高いものほどより高い適用優先度を設定した複数の画質改善手段ごとに推定するステップと、
c)画質改善適用判定手段が、現在時刻から前記フレーム画像の表示予定時刻までの空き時間と、前記フレーム画像について推定された前記画質改善手段ごとの画質改善処理に要する時間との比較結果に従って、前記フレーム画像に対する画質改善処理の適用可否と前記フレーム画像に対して適用する最も適用優先度の高い画質改善手段の種類とを決定するステップと、
d)画質改善手段が、適用可と決定されたフレーム画像に対して画質改善処理を行うステップと、
e)画像出力手段が、前記フレーム画像の表示予定時刻に同期して前記フレーム画像を出力するステップと、
を含むことを特徴とする映像再生方法。 - 前記ステップcは、
c−1)優先順位付け手段が、表示予定時刻の連続する複数のフレーム画像に対して画質改善効果による優先順位付けを行うステップと、
c−2)タスクスケジュール手段が、優先順位付けされた複数のフレーム画像について、優先順位の高いフレーム画像から順に、画質改善処理の適用可否と適用可能な場合の適用スケジュールとを決定するステップと、
を含むことを特徴とする請求項7または8に記載の映像再生方法。 - 前記ステップc−1では、前記優先順位付け手段が、フレーム画像の画像属性、画像圧縮に関する品質情報の何れか一方または双方を品質改善効果の指標とし、指標をフレーム画像間で比較することにより、複数のフレーム画像に対して画質改善効果による優先順位付けを行う、
ことを特徴とする請求項9に記載の映像再生方法。 - c−1)優先順位付け手段が、同じフレーム画像を構成する複数の部分領域の画像に対して画質改善効果による優先順位付けを行うステップと、
c−2)タスクスケジュール手段が、優先順位付けされた複数の部分領域の画像について、優先順位の高い部分領域の画像から順に、画質改善処理の適用可否と適用可能な場合の適用スケジュールとを決定するステップと、
を含むことを特徴とする請求項7または8に記載の映像再生方法。 - 前記ステップc−1では、前記優先順位付け手段が、部分領域の画像の面積、部分領域の画像内の非単一色領域の面積、画像圧縮に関する品質情報の何れか1つまたは複数を品質改善効果の指標とし、指標を部分領域の画像間で比較することにより、複数の部分領域の画像に対して画質改善効果による優先順位付けを行う、
ことを特徴とする請求項11に記載の映像再生方法。 - コンピュータを、
映像データの受信ないし復号によってフレーム画像を生成する画像生成手段と、
前記フレーム画像に対して画質改善処理を行う画質改善手段と、
前記フレーム画像の表示予定時刻に同期して前記フレーム画像を出力する画像出力手段と、
前記フレーム画像について前記画質改善手段による画質改善処理に要する時間を推定する画質改善時間推定手段と、
現在時刻から前記フレーム画像の表示予定時刻までの空き時間と、前記フレーム画像について前記画質改善時間推定手段で推定された画質改善処理に要する時間との比較結果に従って、前記フレーム画像に対する画質改善処理の適用可否を決定する画質改善適用判定手段と、
して機能させるためのプログラム。 - コンピュータを、
映像データの受信ないし復号によってフレーム画像を生成する画像生成手段と、
前記フレーム画像に対して画質改善処理を行う画質改善効果の相違する複数の画質改善手段であって、画質改善効果のより高いものほどより高い適用優先度を設定した複数の画質改善手段と、
前記フレーム画像の表示予定時刻に同期して前記フレーム画像を出力する画像出力手段と、
前記フレーム画像に対する画質改善処理に要する時間を前記画質改善手段ごとに推定する画質改善時間推定手段と、
現在時刻から前記フレーム画像の表示予定時刻までの空き時間と、前記フレーム画像について前記画質改善時間推定手段で推定された前記画質改善手段ごとの画質改善処理に要する時間との比較結果に従って、前記フレーム画像に対する画質改善処理の適用可否と前記フレーム画像に対して適用する最も適用優先度の高い画質改善手段の種類とを決定する画質改善適用判定手段と、
として機能させるためのプログラム。 - 前記画質改善適用判定手段は、
表示予定時刻の連続する複数のフレーム画像に対して画質改善効果による優先順位付けを行う優先順位付け手段と、
優先順位付けされた複数のフレーム画像について、優先順位の高いフレーム画像から順に、画質改善処理の適用可否と適用可能な場合の適用スケジュールとを決定するタスクスケジュール手段と、
を備えることを特徴とする請求項13または14に記載のプログラム。 - 前記優先順位付け手段は、フレーム画像の画像属性、画像圧縮に関する品質情報の何れか一方または双方を品質改善効果の指標とし、指標をフレーム画像間で比較することにより、複数のフレーム画像に対して画質改善効果による優先順位付けを行う、
ことを特徴とする請求項15に記載のプログラム。 - 前記画質改善適用判定手段は、
同じフレーム画像を構成する複数の部分領域の画像に対して画質改善効果による優先順位付けを行う優先順位付け手段と、
優先順位付けされた複数の部分領域の画像について、優先順位の高い部分領域の画像から順に、画質改善処理の適用可否と適用可能な場合の適用スケジュールとを決定するタスクスケジュール手段と、
を備えることを特徴とする請求項13または14に記載のプログラム。 - 前記優先順位付け手段は、部分領域の画像の面積、部分領域の画像内の非単一色領域の面積、画像圧縮に関する品質情報の何れか1つまたは複数を品質改善効果の指標とし、指標を部分領域の画像間で比較することにより、複数の部分領域の画像に対して画質改善効果による優先順位付けを行う、
ことを特徴とする請求項17に記載のプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009067470A JP2010220156A (ja) | 2009-03-19 | 2009-03-19 | 映像再生装置および方法並びにプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009067470A JP2010220156A (ja) | 2009-03-19 | 2009-03-19 | 映像再生装置および方法並びにプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010220156A true JP2010220156A (ja) | 2010-09-30 |
Family
ID=42978459
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009067470A Withdrawn JP2010220156A (ja) | 2009-03-19 | 2009-03-19 | 映像再生装置および方法並びにプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010220156A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012081079A1 (ja) * | 2010-12-13 | 2012-06-21 | 富士通株式会社 | 情報処理装置、電力制御方法、および電力制御プログラム |
WO2021111793A1 (ja) * | 2019-12-04 | 2021-06-10 | ソニーセミコンダクタソリューションズ株式会社 | 信号処理装置、画像表示装置、および信号処理方法 |
-
2009
- 2009-03-19 JP JP2009067470A patent/JP2010220156A/ja not_active Withdrawn
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012081079A1 (ja) * | 2010-12-13 | 2012-06-21 | 富士通株式会社 | 情報処理装置、電力制御方法、および電力制御プログラム |
JP5505517B2 (ja) * | 2010-12-13 | 2014-05-28 | 富士通株式会社 | 情報処理装置、電力制御方法、および電力制御プログラム |
US8966504B2 (en) | 2010-12-13 | 2015-02-24 | Fujitsu Limited | Information processing apparatus, electrical power control method, and computer product |
WO2021111793A1 (ja) * | 2019-12-04 | 2021-06-10 | ソニーセミコンダクタソリューションズ株式会社 | 信号処理装置、画像表示装置、および信号処理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2778896B1 (en) | Information processor, cloud platform, information processing method, and computer program thereof | |
US8107527B1 (en) | Progressive block encoding using region analysis | |
US10498786B2 (en) | Method and apparatus for adaptively providing multiple bit rate streaming media in server | |
US9351007B1 (en) | Progressive block encoding using region analysis | |
US9124813B2 (en) | Information processing device using compression ratio of still and moving image data | |
US20130155075A1 (en) | Information processing device, image transmission method, and recording medium | |
US9204086B2 (en) | Method and apparatus for transmitting and using picture descriptive information in a frame rate conversion processor | |
KR101557327B1 (ko) | 동영상 데이터 생성장치, 동영상 표시장치, 동영상 데이터 생성방법, 동영상 표시방법, 및 동영상 파일의 데이터 구조 | |
US20100166081A1 (en) | Video stream processing apparatus and control method, program and recording medium for the same | |
US8798162B2 (en) | Encoding method, decoding method, encoder, and decoder | |
US10848770B2 (en) | Moving picture coding apparatus, moving picture coding method and recording medium on which program for moving picture coding is recorded | |
CN113747240B (zh) | 视频处理方法、设备和存储介质 | |
CN110956683A (zh) | 信息处理***、终端装置及计算机可读介质 | |
US9001131B2 (en) | Information processing device, image transmission method and image transmission program | |
CN111183640A (zh) | 发送装置、发送方法和程序 | |
JP2010220156A (ja) | 映像再生装置および方法並びにプログラム | |
US8818180B2 (en) | Video reproducing apparatus, video reproducing method, and program | |
US20190007698A1 (en) | Flexible frame referencing for display transport | |
JP5471328B2 (ja) | 動画像再生装置及び動画像再生方法並びにプログラム | |
US10129551B2 (en) | Image processing apparatus, image processing method, and storage medium | |
CN116132719A (zh) | 视频处理方法、装置、电子设备及可读存储介质 | |
US20090304089A1 (en) | Reproduction processing apparatus, reproduction processing method, and computer program | |
US10135896B1 (en) | Systems and methods providing metadata for media streaming | |
CN114827668B (zh) | 基于解码能力的视频档位选择方法、装置及设备 | |
CN115118921B (zh) | 一种云会议中视频合屏自适应输出的方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20120605 |