JP4530671B2 - 画像再生装置および画像再生方法 - Google Patents

Description

本発明は、符号化された画像データを再生する画像再生装置、および画像再生方法に関するものである。

近年、静止画像や、動画像をメモリカード等のリムーバブル・メディアに記録し、該メディアをＰＤＡ（Personal Digital Assistants）等の携帯情報機器や、液晶ＴＶなどのＦＰＤ（Flat Panel Display）を使用したＴＶなどに、接続して再生する用途が生じている。これらの機器では、画像を表示するためのディスプレイとして、液晶ディスプレイなどの固定画素型の表示デバイスが使用される。画像データはそのままでは非常にサイズが大きいため、メモリカードなどのリムーバブル・メディアへ画像を記録する場合には、圧縮技術を使用して、データサイズを大幅に減らして保存されることが一般的に行われている。このような画像の圧縮を目的として、さまざまな符号化方式が提案されている。これらの符号化方式として、静止画の圧縮方式としてＪＰＥＧ方式が、動画の圧縮方式として、ＭＰＥＧ−１，ＭＰＥＧ−２，ＭＰＥＧ−４などの方式が、国際標準として標準化されており、多くの機器で使用されている。

このような圧縮された画像を復号して表示する機器で画像の表示時において表示画面内での復号した画像を表示するサイズが異なる表示の方法が考えられており、例えば図６の（ａ）に示すように、表示画面内の部分に、拡大も縮小も行わずに復号画像と同じ画素数で表示する等倍表示や、図６の(ｂ)のように、復号画像が表示画面のサイズと等しいサイズで表示されるようにする全画面表示や、図６の（ｃ）に示すような表示画面内の所定のサイズに復号画像が等しくなるように拡大あるいは縮小を行って表示する方法等がある。以下ではこれらを表示方法と呼ぶ。

これらの複数の表示方法が可能な端末において、表示方法の選択は例えば、特許文献１に示されるように、リモコン等の手段によって、ユーザーの操作によって切り替える方法があった。
特願２００２−２８３３１１号公報

図７は、このようにメモリカード等の記録手段を備えて、符号化された画像データを、複数の表示方法からひとつの方法を選択して表示する画像再生装置の構成を示すブロック図である。
同図において、１０１は記録メディアであって、符号化された画像やそれ以外の情報が格納される。１０２はファイル処理部であって、記録メディア１０１に格納されているファイルのうち、指定されたファイルの全体または指定された部分を読み出し、読み出した情報を画像復号部１０３に対し出力する。１０３は、画像復号部であって、入力された符号化画像を復号し、復号画像を出力する。

１０４は、画像スケーラであって、指定した倍率で復号画像の拡大あるいは縮小を行うスケーリング手段である。画像スケーラ１０４は、倍率を指定することにより、画像復号部１０３から復号画像が入力される度に、表示切替部１０５から指定された倍率で、入力された復号画像を拡大あるいは縮小処理を行い、画像表示部１０７へ出力する。１０５は表示切替部であって、復号画像の画素数と表示装置の画素数と指定された表示方法から、拡大あるいは縮小処理を行うための倍率を算出し、画像スケーラ１０４に対しその倍率を設定する。

１０６は、操作部であって、スイッチなどの使用者が操作を行うためのインタフェースに接続され、使用者の操作が行われたかどうかと操作の種類を検出し、その結果によって決まる装置の動作の種別により、装置内のブロックの動作を、各ブロックに対し通知することにより、装置内の動作ブロックの動作を変更する。例えば、操作部１０６により全画面表示が選択された時には、表示切替部１０５は、画像復号部１０３から取得した復号画像の画素数と、表示方法によってきまる表示画像の画素数から、画像スケーラに設定する倍率を算定し、画像スケーラに設定を行う。画像スケーラに設定する倍率は、復号画像の画素数と表示画像の画素数から算出する。以下では、全画面表示の場合を例として、算出の手順を説明する。なお全画面表示とは、復号画像の全画素が表示され且つ最大の表示面積になる倍率を用いて拡大あるいは縮小し表示することを指す。この倍率は例えば以下の方法で算出可能である。全画面表示時の横方向の表示画素数をＷｄ、縦方向の表示画素数をＨｄとし、符号化画像の横方向の画素数をＷｐ、縦方向の画素数をＨｐとする（図６参照）。それぞれのアスペクト比である、Ｗｄ／ＨｄとＷｐ／Ｈｐを比較し、Ｗｄ／Ｈｄ＞Ｗｐ／Ｈｐであれば、全画面表示時の倍率ＳａはＨｄ／Ｈｐとなる。それ以外の場合は、全画面表示時の倍率ＳａをＷｄ／Ｗｐとなる。

上記の手順で算定した倍率を画像スケーラに設定することで、ディスプレイ１０８では、図６の(ｂ)の表示画像のように全画面に画像が表示される。また操作部１０６によって、例えば等倍表示が選択された時には、画像スケーラに倍率を１に設定する。この場合は、図６の（ａ）のような画面の一部に、復号画像と同じ画素数で表示される。また全画面表示や等倍表示以外に、図６（ｃ）のように所定の画面サイズに拡大あるいは縮小して表示する方法も可能である。１０７は、画像表示部であって、内部にフレームメモリを持ち、一定の周期で、フレームメモリの内容をディスプレイ１０８のへ出力する。画像スケーラ１０４によって、復号された画像が拡大あるいは縮小されて、画像表示部１０７内部のフレームメモリへ書き込まれる。

また画像スケーラ１０４は、スケーリング処理後の画像が表示画面のサイズに満たない場合に、フレームメモリへの書込み時に画像の外側部分への書込みをスキップする。このことにより、スケーリング処理後の画像の外側部分はフレームメモリに元から書き込まれている内容が表示されるため、図６の（ａ）で示されるような表示となる。なお、図６の(ａ)では、画面の中央に表示した場合を例示しているが、必ずしも中央である必要はない。１０８は、ディスプレイであって、入力される時系列信号を元に画像を表示する。一般的にはＣＲＴやＬＣＤなどのデバイスが使用される。

上記のような装置で、低解像度・高圧縮率で圧縮された画像を高解像度の表示全画面表示する場合に、表示部の画素数と同一画素数になるように、復号画像の拡大処理を行うと、圧縮によるノイズも拡大されるため、等倍表示では見えなかった劣化が認識されるという問題が生じる。
また、ユーザーの操作により表示方法を切り替える方法では、全画面表示に十分な画質の画像が、全画面表示以外の表示方法で表示された場合や、あるいは、全画面表示では画質の劣化が目立つ画像が全画面表示された場合に、ユーザーは表示を切り替える操作を行う必要があるため、操作が煩雑になるという問題がある。

本発明は上記のような問題を解決し、再生する符号化画像を全画面表示した場合の画質を判定する手段を設け、符号化による画質劣化の目立たない表示方法に自動的に切り替えることが可能な画像再生装置を提供することを目的とする。

本発明は、上記課題を解決するために、符号化された画像を復号画像として復号する画像復号部と、前記復号画像を表示画面に表示画像として表示する画像表示部と、を備えた画像再生装置において、前記符号化された画像の復号画像が前記表示画面に全画面表示されるように、前記符号化された画像の画素数と、前記表示画像の画素数との大小関係に基づいて、復号画像を拡大又は縮小して表示するための倍率を判定する表示倍率判定部と、前記表示倍率判定部により判定された倍率に基づいて復号画像を拡大又は縮小する画像スケーラ部と、を更に備え、前記画像スケーラ部は、前記表示倍率判定部により判定された倍率が閾値の倍率以下で、かつ、復号画像の圧縮率が所定の圧縮率以下の場合には、前記表示倍率判定部により判定された倍率にて拡大又は縮小し、それ以外の場合には、閾値の倍率より小さい所定の倍率にて拡大又は縮小し、前記画像表示部は、前記画像スケーラ部で拡大又は縮小された画像を表示することを特徴とする。

また、本発明において、前記表示画像の画素数は、前記表示画面の画素数であることを特徴とする。

また、本発明は、符号化された画像を復号画像として復号し、拡大又は縮小して表示画面に表示する画像再生方法において、前記符号化された画像の復号画像が前記表示画面に全画面表示されるように、前記符号化された画像の画素数と、前記表示画面の画素数との大小関係に基づいて、復号画像を拡大又は縮小して表示するための倍率を判定するステップと、前記判定された倍率が所定の閾値の倍率以下の場合で、かつ、復号画像の圧縮率が所定の圧縮率以下の場合には、前記判定された倍率にて拡大又は縮小し、それ以外の場合には、閾値の倍率より小さい所定の倍率にて拡大又は縮小するステップと、を有することを特徴とする。

本発明によれば、再生する符号化画像を拡大表示する場合の画質を、再生前に判定し、判定結果により、自動的に劣化の目立たない拡大倍率を選択して再生が可能な画像再生装置を提供することが実現できる。

以下、本発明の実施の形態について、図面を参照しながら説明する。
〔第１の実施形態〕
図１は、本発明における動画像記録再生装置の実施形態を示すブロック図である。図７と同一の番号を付したブロックは従来例と同一の機能を有する。したがって同一番号を付したブロックの詳細な説明は省略する。

同図において、１０９は表示倍率判定部であって、表示を行いたい符号化データの一部とファイルの情報をファイル処理部１０２から取得し、画質と相関の高い数値を、取得した情報を元に算出する。画質と相関の高い数値を基づいて、複数の倍率における表示画像の画質を評価して選択し出力をおこなう。

スケーリング後の画質と相関の高い数値は、例えば画像を拡大する場合、復号画像に含まれるノイズや符号化によって生じる符号化ひずみなども拡大されるため、等倍時には、視認が困難であった画質の劣化が視認される。またぼけなどが生じるため、これも劣化として認識される。これらは倍率が大きいほど視認されやすくになるため、拡大の倍率は、スケーリング後の画質と相関をもつ。また符号化において、圧縮画像のデータ量に対する原画像のデータ量の比率である圧縮率が大きいほど、符号によって生じる符号化ひずみが大きくなるため、圧縮率も表示の画質と相関を持つ。このようなスケーリング後の画質と相関の高い数値を使用して表示画像の画質を判定し、倍率を決定する。

復号画像の画素数と表示部の画素数を元に、全画面表示時に必要な倍率を計算可能である。ここで、全画面表示とは、復号画像の全画素が表示され且つ最大の表示面積になる倍率を用いて拡大あるいは縮小し表示することを指す。この倍率は例えば以下の方法で算出可能である。全画面表示時の横方向の表示画素数をＷｄ、縦方向の表示画素数をＨｄとし、符号化画像の横方向の画素数をＷｐ、縦方向の画素数をＨｐとする（図６参照）。それぞれのアスペクト比である、Ｗｄ／ＨｄとＷｐ／Ｈｐを比較し、Ｗｄ／Ｈｄ＞Ｗｐ／Ｈｐであれば、全画面表示時の倍率Ｓaは、Ｈｄ／Ｈｐとする。それ以外の場合は、全画面表示時の倍率Ｓaは、Ｗｄ／Ｗｐとする。

表示倍率判定部１０９は、前記で求めた倍率Ｓａと所定の閾値Ｓｔと比較をおこなうことで、全画面表示を行った場合の劣化を判定しても良い。以下では、図２に示すフロー図に従って、表示倍率判定部１０９の動作を説明する。

表示倍率判定部１０９は、倍率Ｓａと所定の閾値Ｓｔを比較し、Ｓａ≦Ｓｔかどうかを判定する（Ｓ４）。Ｓａ＞Ｓｔの場合には、画像スケーラに設定する倍率ＳをＳｔより小さい所定の値Ｓｃとする（Ｓ５）。この値は、例えば１すなわち等倍表示を指定してもよい。また予め使用者により選択設定された数値を使用してもよい。Ｓａ≦Ｓｔであれば、画像スケーラに設定する倍率ＳをＳａとする（Ｓ６）。これはすなわち全画面表示を意味する。

上記と同等の判定は、以下のように行ってもよい。
Ｗｔ＝Ｗｄ／Ｓｔ、Ｈｔ＝Ｈｄ／Ｓｔとする。Ｗｔ，Ｈｔは、計算に必要な値である、Ｗｄ，Ｓｔ，Ｈｄがわかっているため、事前に計算しておくことが可能である。したがって単純に、画素数Ｗｐ，Ｈｐとの比較で判定が可能となる。この時に、Ｗｐ≧ＷｔまたはＨｐ≧Ｈｔであれば、全画面表示とし、そうでなければ、等倍表示やユーザーの設定した表示方法を選択するようにすることで、上記と同等の動作となる。表示倍率判定部１０９により決定された倍率Ｓが、表示切替部１０５に入力され、表示切替部１０５によって、画像スケーラ１０４に設定される。

以上で説明した手順に従って、画像スケーラ１０４に設定する倍率を決定することにより、装置は、全画面表示に必要な倍率が所定の値以上となる場合に、全画面表示をしないように動作する。これにより全画面表示による画質劣化が目立つ現象を抑えることができる。また全画面表示による画質劣化が目立たないと判断される画像に対しては、自動的に全画面表示に切り替えることが可能となる。これによりユーザーに対し簡便な操作を提供できるようになる。

前記の図２で示された判定方法では、全画面表示に必要な倍率のみで判定を行っているが、画像の劣化は、圧縮率とも相関があり、倍率だけで判定するのは不十分な場合がある。したがって以下に述べるような判定手順を用いても良い。圧縮後の符号化画像のデータ量で、圧縮前の画像のデータ量を除することで、圧縮率Ｒが求められる。なお動画などにおいては時間当たりの情報量であるビットレートを用いて判定しても良い。ただしビットレートを用いる場合には、ビットレートと圧縮率Ｒとは反比例の関係にあるため、以下で説明する閾値との大小の判定はすべて逆にする必要がある。

以下、図３に示すフロー図にしたがって説明する。
Ｒと所定の閾値Ｒｔと比較を行い（Ｓ５）、Ｓａ≦ＳｔかつＲ≦Ｒｔである場合に、Ｓ＝Ｓａとし（Ｓ７）、そうでない場合には、上記の判定方法でＳａ＞Ｓｔであると同様に、Ｓを所定の定数Ｓｃとする（Ｓ６）。このことにより、画像のサイズが同じ場合でも、圧縮による劣化を考慮した判定が行われるため、より劣化が視認されにくくなる。また、上記では説明を簡略にするために閾値がひとつの場合で説明しているが、圧縮率Ｒを複数の閾値で判定して、領域を決定しそれぞれの領域毎に、異なった閾値で倍率を決定しても良い。

その場合の決定の手順を、図４のフロー図にしたがって説明する。
圧縮率Ｒを判定するためのＮ−１個の閾値Ｒｔｎ（ｎは、１からＮ−１の整数）を設ける。この例では、Ｒｔｎは昇順であらかじめソートされているものとする。n＝１からＮ−１まで、順に閾値Ｒｔｎと比較し、Ｒ≦Ｒｔｎとなる最大のｎを求める（Ｓ２〜Ｓ４）。ｎをもとめたら、閾値ＳｔｎとＳａを比較し、Ｓａ＜Ｓｔｎである場合に倍率をＳａとし（Ｓ７）、Ｓａ＞Ｓｔｎである場合に、倍率ＳをＳｃｎとする（Ｓ６）。このようにすることで倍率Ｓが決定される。

また、装置によっては、記録する画像のサイズや圧縮率の組み合わせを、モードとして定義し、そのモードを符号化データと関連付けた形態で、ファイルへ記録しているものがある。そのような装置において、表示倍率判定部１０９は、ファイル処理部１０２に対し、記録メディア１０１にファイルとして記録されているモード情報の読み取りを要求して、ファイルの記録されたモードを取得する。モードが分かれば、対応する画像サイズおよび圧縮率が決まるため、あらかじめモードに対する倍率を決定しておくことが可能である。

したがって、表示倍率判定部１０９は、モード情報に対し一対一で倍率Ｓが対応させることができる。モード情報から、倍率Ｓを求めるには、例えば、図５に示すようなテーブルを用意し、テーブル参照を行うことで、モードから直接倍率Ｓが得られる。ユーザーの選択にしたがって、テーブル内の倍率の書き換えを行えば、ユーザーの選択を反映させることも可能である。

以上で説明した実施形態では、表示方法が２つの場合で説明を行っているが、表示方法が３つ以上あっても良い。この場合は、表示方法ごとに所定の優先順位を設けておき、優先順位の高いほうから順番に上記と同等の判定を行う。すなわち、まず第１優先度の表示方法１と第２番目の優先度である表示方法２との間で、上記の実施形態と同等の判定を行う。優先度の高い表示方法が選択された場合には、その表示方法を使用する。優先度の低い表示方法が選択された場合には、選択された表示方法と、次に優先度の高い表示方法と同じ判定を行う。使用する表示方法が決定されるか、最低の優先度に達するまで同等の判定を繰り返すことにより、表示方法を決定する。

本発明の実施形態の画像再生装置を示すブロック図である。 本発明における第一の表示倍率判定手段の動作を示すフロー図である。 本発明における第二の表示倍率判定手段の動作を示すフロー図である。 本発明における第三の表示倍率判定手段の動作を示すフロー図である。 本発明における第四の表示倍率判定手段で使用するテーブルを示す図である 従来および本発明の実施形態における復号画像と、画像の表示方法の関係の例を示す図である。 従来の画像再生装置の形態を示すブロック図である。

符号の説明

１０１ 記録メディア
１０２ ファイル処理部
１０３ 画像復号部
１０４ 画像スケーラ
１０５ 表示切替部
１０６ 操作部
１０７ 表示コントローラ
１０８ ディスプレイ
１０９ 表示倍率判定部

Claims (3)

1. 符号化された画像を復号画像として復号する画像復号部と、前記復号画像を表示画面に表示画像として表示する画像表示部と、を備えた画像再生装置において、
   前記符号化された画像の復号画像が前記表示画面に全画面表示されるように、前記符号化された画像の画素数と、前記表示画像の画素数との大小関係に基づいて、復号画像を拡大又は縮小して表示するための倍率を判定する表示倍率判定部と、
   前記表示倍率判定部により判定された倍率に基づいて復号画像を拡大又は縮小する画像スケーラ部と、
   を更に備え、
   前記画像スケーラ部は、前記表示倍率判定部により判定された倍率が閾値の倍率以下で、かつ、復号画像の圧縮率が所定の圧縮率以下の場合には、前記表示倍率判定部により判定された倍率にて拡大又は縮小し、それ以外の場合には、閾値の倍率より小さい所定の倍率にて拡大又は縮小し、
   前記画像表示部は、前記画像スケーラ部で拡大又は縮小された画像を表示することを特徴とする画像再生装置。
2. 前記表示画像の画素数は、前記表示画面の画素数であることを特徴とする請求項１に記載の画像再生装置。
3. 符号化された画像を復号画像として復号し、拡大又は縮小して表示画面に表示する画像再生方法において、
   前記符号化された画像の復号画像が前記表示画面に全画面表示されるように、前記符号化された画像の画素数と、前記表示画面の画素数との大小関係に基づいて、復号画像を拡大又は縮小して表示するための倍率を判定するステップと、
   前記判定された倍率が所定の閾値の倍率以下の場合で、かつ、復号画像の圧縮率が所定の圧縮率以下の場合には、前記判定された倍率にて拡大又は縮小し、それ以外の場合には、閾値の倍率より小さい所定の倍率にて拡大又は縮小するステップと、
   を有することを特徴とする画像再生方法。

Images