JPWO2008047865A1 - 画質評価方法、画質評価システム及び画質評価用プログラム - Google Patents
画質評価方法、画質評価システム及び画質評価用プログラム Download PDFInfo
- Publication number
- JPWO2008047865A1 JPWO2008047865A1 JP2008539865A JP2008539865A JPWO2008047865A1 JP WO2008047865 A1 JPWO2008047865 A1 JP WO2008047865A1 JP 2008539865 A JP2008539865 A JP 2008539865A JP 2008539865 A JP2008539865 A JP 2008539865A JP WO2008047865 A1 JPWO2008047865 A1 JP WO2008047865A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- component value
- pixel
- encoded
- pixel component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
第1の画像との差から第2の画像の画質を評価する画質評価方法であって、一方の画像の画像フレームから、該画像フレーム内画素を代表する画素成分値を示す代表画素成分値と、前記代表画素成分値が出現する画素位置を示す画素位置情報とを特徴量として抽出し、前記画像の特徴量である代表画素成分値と画素位置情報とを用い、他方の画像の画像フレーム内の、前記画素位置情報で示される画素位置における画素成分値と、前記代表画素成分値との差に基づいて、前記第2の画像全体における前記第1の画像との差を推定することを特徴とする。
Description
本発明は、画質を評価する画質評価方法、画質評価システム及びそれに用いる画像送出装置、画像受信装置並びに画質評価用プログラムに関し、特に、伝送された画像の画質を評価する画質評価方法、画質評価システム及びそれに用いる画像送出装置、画像受信装置並びに画質評価用プログラムに関する。
伝送された画像(以下、伝送画像という)の画質を客観的に評価する方法は大きく3種類に分類される。第1の評価方法は、原画像と伝送画像とを直接比較して画質を評価する方法である。第2の評価方法は、伝送画像のみから画質を評価する方法である。第3の評価方法は、原画像の特徴量を用いて画質を評価する方法である。
第1の評価方法は、非特許文献1に記載されているように、具体的な方法がITU−T(国際電気通信連合 電気通信標準化部門)によって勧告化されている。第1の評価方法では、伝送画像の画質を評価しようとした場合、評価を行う受信端末側に原画像(伝送される前の画像)が必要となる。しかしながら、原画像をそのままの画質で受信端末側に伝送することは、伝送路の通信帯域の上限により不可能である。従って、受信端末側で第1の評価方法を用いて伝送画像の画質を評価することはできない。
これに対し、第2の評価方法は、受信端末側で単独で画質評価を行えるため理想的ではある。しかしながら、第2の評価方法を用いて伝送画像の画質を評価しようとした場合には、画像本来の特徴と画質劣化によって生じた特徴との切り分けが難しく実現が困難である。
最後に、第3の評価方法では、原画像の特徴量を受信端末側に伝送すれば、受信端末側で画像本来の特徴と画質劣化によって生じた特徴とを切り分けることができる。従って、適切な特徴量を伝送することができれば、伝送画像について高精度な画質評価が期待できる。
特許文献1には、原画像の特徴量を伝送することで、第3の評価方法を用いて画質を評価する伝送画質監視装置が記載されている。特許文献1に記載されている伝送画質監視装置では、入力画像を任意のサイズのブロックに分割し、ブロック内の映像を直交変換し、直交変換の任意の周波数成分値を取り出し特徴量として伝送することで、これら特徴量の差分から画質劣化を推定している。なお、特許文献1では、劣化による影響を各周波数成分に均等にばらつかせるために、+1と−1とがランダムに発生する系列(PN系列)を乗算したのち直交変換する方法が開示されている。また、局所的に劣化した画像に対応するために、直交変換した後にPN系列を乗算する方法も開示されている。
しかしながら、特許文献1に記載されている伝送画質監視装置では、抽出した周波数成分1つごとにその周波数成分情報を符号化して伝送するため、限られた伝送路帯域の場合には、画像1フレームあたりに抽出できる特徴量(周波数成分の数)が少なくなり、画質劣化の推定精度が低下するという問題がある。
そこで、本発明は、少ない情報量の原画像の特徴量で、高精度に伝送画像の画質劣化を推定することのできる画質評価方法、画質評価システム及びそれに用いる画像送出装置、画像受信装置並びに画質評価用プログラムを提供することを目的とする。
本発明による画質評価方法は、第1の画像との差から第2の画像の画質を評価する画質評価方法であって、一方の画像の画像フレームから、該画像フレーム内画素を代表する画素成分値を示す代表画素成分値と、前記代表画素成分値が出現する画素位置を示す画素位置情報とを特徴量として抽出し、前記画像の特徴量である代表画素成分値と画素位置情報とを用い、他方の画像の画像フレーム内の、前記画素位置情報で示される画素位置における画素成分値と、前記代表画素成分値との差に基づいて、前記第2の画像全体における前記第1の画像との差を推定することを特徴とする。
また、画質評価方法は、第1の画像である原画像を符号化した符号化画像を、送信先で復号して得られる第2の画像である復号画像の画質を評価する画質評価方法であって、前記原画像の画像フレームから、代表画素成分値と画素位置情報とを前記原画像の特徴量として抽出し、前記抽出された原画像の特徴量を符号化し、前記符号化された原画像の特徴量を、前記符号化画像の送信先に送信し、前記符号化された原画像の特徴量を受信すると、受信した前記符号化された原画像の特徴量を復号し、復号して得られた前記原画像の特徴量である代表画素成分値と画素位置情報と、前記復号画像の画像情報とに基づいて、前記復号画像の画質劣化の度合いとして前記原画像との差を推定してもよい。
また、画質評価方法は、第1の画像である原画像を符号化した符号化画像を、送信先で復号して得られる第2の画像である復号画像の画質を評価する画質評価方法であって、前記復号画像の画像フレームから、代表画素成分値と画素位置情報とを前記復号画像の特徴量として抽出し、前記抽出された復号画像の特徴量を符号化し、前記符号化された復号画像の特徴量を、前記符号化画像の送信元に送信し、前記符号化された復号画像の特徴量を受信すると、受信した前記符号化された復号画像の特徴量を復号し、復号して得られた前記復号画像の特徴量である代表画素成分値と画素位置情報と、前記原画像の画像情報とに基づいて、前記復号画像の画質劣化の度合いとして前記原画像との差を推定してもよい。
また、画素位置情報を、各画素に対して、代表画素成分値であるか否かを0か1で示した二値情報で表現してもよい。
また、対象とする画像フレームを複数の小領域に分割し、画素位置情報を、各小領域内に代表画素成分値が出現するか否かを0か1で示した二値情報と、代表画素成分値が出現した小領域に対して、該小領域内の各画素に対して代表画素成分値であるか否かを0か1で示した二値情報とで表現してもよい。
また、二値情報で表現された画素位置情報を可逆符号化してもよい。
また、可逆符号化の方法が、算術符号化であってもよい。
また、可逆符号化の方法が、二値画像符号化方法であるJBIG符号化であってもよい。
また、対象とする画像フレーム内において、偏らずに均等な位置に出現する画素成分値を選択することによって、代表画素成分値を抽出してもよい。
また、対象とする画像フレームを複数の小領域に分割し、各小領域における画素成分値の標準偏差を求め、前記標準偏差の中央値に近い値の標準偏差をもつ小領域内から順に選択し、選択した小領域内において画素成分値の出現確率が該画素成分値の取りうる値の幅分の1に最も近い画素成分値を選択することによって、代表画素成分値を抽出してもよい。
また、代表画素成分値を抽出する際に、画素成分値の下限値と上限値とを定めておき、下限値よりも小さい画素成分値および上限値より大きい画素成分値を代表画素成分値の候補から除外してもよい。
また、代表画素成分値が出現する画素位置を抽出する画素数、または代表画素成分値が出現する画素位置を抽出する領域を制限してもよい。
また、代表画素成分値を、対象とする画像フレームを複数の領域に分割した分割領域毎に抽出してもよい。
また、画素成分値として、輝度値を用いてもよい。
また、本発明による画質評価システムは、第1の画像との差から第2の画像の画質を評価する画質評価システムであって、一方の画像の画像フレームから、該画像フレーム内画素を代表する画素成分値を示す代表画素成分値と、前記代表画素成分値が出現する画素位置を示す画素位置情報とを特徴量として抽出する特徴量抽出手段と、前記特徴量抽出手段によって抽出された前記画像の特徴量である代表画素成分値と画素位置情報とを用い、他方の画像の画像フレーム内の、前記画素位置情報で示される画素位置における画素成分値と、前記代表画素成分値との差に基づいて、第2の画像全体における第1の画像との差を推定する誤差推定手段とを備えたことを特徴とする。
また、画質評価システムは、第1の画像である原画像を符号化した符号化画像を、送信先で復号して得られる第2の画像である復号画像の画質を評価する画質評価システムであって、入力された原画像を符号化して送信する画像送出装置(例えば、画像送出装置1)と、前記画像送出装置から符号化画像を受信する画像受信装置(例えば、エンドユーザ端末3)とを備え、画像送出装置は、前記原画像の画像フレームから、代表画素成分値と画素位置情報とを前記原画像の特徴量として抽出する特徴量抽出手段(例えば、特徴量抽出装置11)と、前記特徴量抽出手段によって抽出された原画像の特徴量を符号化する特徴量符号化手段(例えば、特徴量符号化装置104)と、前記特徴量符号化手段によって符号化された原画像の特徴量を、前記画像受信装置に送信する特徴量送信手段(例えば、画像送出装置1が備える通信制御装置)とを有し、画像受信装置は、前記符号化された原画像の特徴量を受信する特徴量受信手段(例えば、エンドユーザ端末3が備える通信制御装置)と、前記特徴量受信手段が受信した前記符号化された原画像の特徴量を復号する特徴量復号手段(例えば、特徴量復号化装置302)と、復号して得られた前記原画像の特徴量である代表画素成分値と画素位置情報と、前記復号画像の画像情報とに基づいて、前記復号画像の画質劣化の度合いとして前記原画像との差を推定する誤差推定手段(例えば、誤差推定装置303)とを有していてもよい。
また、画質評価システムは、第1の画像である原画像を符号化した符号化画像を、送信先で復号して得られる第2の画像である復号画像の画質を評価する画質評価システムであって、入力された原画像を符号化して送信する画像送出装置と、前記画像送出装置から符号化画像を受信する画像受信装置とを備え、画像受信装置は、前記復号画像の画像フレームから、代表画素成分値と画素位置情報とを前記復号画像の特徴量として抽出する特徴量抽出手段(例えば、エンドユーザ端末3が備える特徴量抽出装置11)と、前記特徴量抽出手段によって抽出された復号画像の特徴量を符号化する特徴量符号化手段(例えば、エンドユーザ端末3が備える特徴量符号化装置104)と、前記特徴量符号化手段によって符号化された復号画像の特徴量を、前記画像送出装置に送信する特徴量送信手段(例えば、エンドユーザ端末3が備える通信制御装置)とを有し、画像送出装置は、前記符号化された復号画像の特徴量を受信する特徴量受信装置(例えば、画像送出装置1が備える通信制御装置)と、前記特徴量受信手段が受信した前記符号化された復号画像の特徴量を復号する特徴量復号手段(例えば、画像送出装置1が備える特徴量復号化装置302)と、復号して得られた前記復号画像の特徴量である代表画素成分値と画素位置情報と、前記原画像の画像情報とに基づいて、前記復号画像の画質劣化の度合いとして前記原画像との差を推定する誤差推定手段(例えば、画像送出装置1が備える誤差推定装置303)とを有していてもよい。
また、本発明による画像送出装置は、原画像を符号化した符号化画像を、送信先で復号して得られる復号画像の画質を評価する画質評価システムに適用される画像送出装置であって、入力された原画像を符号化して送信する符号化画像送信手段と、入力された前記原画像の画像フレームから、該画像フレーム内画素を代表する画素成分値を示す代表画素成分値と、前記代表画素成分値が出現する画素位置を示す画素位置情報とを前記原画像の特徴量として抽出する特徴量抽出手段と、前記特徴量抽出手段によって抽出された原画像の特徴量を符号化する特徴量符号化手段と、前記特徴量符号化手段によって符号化された原画像の特徴量を、前記符号化画像の送信先である画像受信装置に送信する特徴量送信手段とを備えたことを特徴とする。
また、画像送出装置は、入力された原画像を符号化して送信する符号化画像送信手段と、前記復号画像の特徴量として、前記復号画像の画像フレーム内画素を代表する画素成分値を示す代表画素成分値と、前記代表画素成分値が出現する画素位置を示す画素位置情報とを符号化した情報を受信する特徴量受信手段と、特徴量受信手段が受信した前記符号化された復号画像の特徴量を復号する特徴量復号手段と、復号して得られた前記復号画像の特徴量である代表画素成分値と画素位置情報とを用い、前記原画像の画像フレーム内の、前記画素位置情報で示される画素位置における画素成分値と、前記代表画素成分値との差に基づいて、前記復号画像の画質劣化の度合いとして前記原画像との差を推定する誤差推定手段とを備えていてもよい。
また、本発明による画像受信装置は、原画像を符号化した符号化画像を、送信先で復号して得られる復号画像の画質を評価する画質評価システムに適用される画像受信装置であって、原画像を符号化した符号化画像を受信する符号化画像受信手段と、前記原画像の特徴量として、前記原画像の画像フレーム内画素を代表する画素成分値を示す代表画素成分値と、前記代表画素成分値が出現する画素位置を示す画素位置情報とを符号化した情報を受信する特徴量受信手段と、特徴量受信手段が受信した前記符号化された原画像の特徴量を復号する特徴量復号手段と、復号して得られた前記原画像の特徴量である代表画素成分値と画素位置情報とを用い、前記符号化画像を復号して得られた復号画像の画像フレーム内の、前記画素位置情報で示される画素位置における画素成分値と、前記代表画素成分値との差に基づいて、前記復号画像の画質劣化の度合いとして前記原画像との差を推定する誤差推定手段とを備えたことを特徴とする。
また、画像受信装置は、原画像を符号化した符号化画像を受信する符号化画像受信手段と、前記符号化画像を受信すると、前記符号化画像を復号して得られた復号画像の画像フレームから、該画像フレーム内画素を代表する画素成分値を示す代表画素成分値と、前記代表画素成分値が出現する画素位置を示す画素位置情報とを前記復号画像の特徴量として抽出する特徴量抽出手段と、前記特徴量抽出手段によって抽出された復号画像の特徴量を符号化する特徴量符号化手段と、前記特徴量符号化手段によって符号化された復号画像の特徴量を、前記符号化画像の送信元である画像送出装置に送信する特徴量送信手段とを備えていてもよい。
また、本発明による画質評価用プログラムは、第1の画像との差から第2の画像の画質を評価するための画質評価用プログラムであって、少なくとも一方の画像の画像情報が入力されるコンピュータに、入力された画像情報で示される画像の画像フレームから、該画像フレーム内画素を代表する画素成分値を示す代表画素成分値と、前記代表画素成分値が出現する画素位置を示す画素位置情報とを該画像の特徴量として抽出する処理、および前記抽出された特徴量を符号化して出力する処理を実行させることを特徴とする。
また、画質評価用プログラムは、少なくとも一方の画像の画像情報と、他方の画像の特徴量として、該画像の画像フレーム内画素を代表する画素成分値を示す代表画素成分値と、前記代表画素成分値が出現する画素位置を示す画素位置情報とが符号化された情報とが入力されるコンピュータに、特徴量として入力された符号化された情報を復号して代表画素成分値と画素位置情報とに復元する処理、および復元された前記代表画素成分値と前記画素位置情報とを用い、入力された画像情報で示される画像の画像フレーム内の、前記画素位置情報で示される画素位置における画素成分値と、前記代表画素成分値との差に基づいて、前記第2の画像全体における前記第1の画像との差を推定する処理を実行させてもよい。
本発明によれば、一方の画像の画像フレームから、該画像フレーム内画素を代表する画素成分値を示す代表画素成分値と、代表画素成分値が出現する画素位置を示す画素位置情報とを特徴量として抽出し、他方の画像の画像フレーム内の、抽出された画素位置情報で示される画素位置における画素成分値と、代表画素成分値との差に基づいて、画像全体における差を推定するので、少ない情報量の原画像の特徴量で多くの画素についての情報を伝えることができ、高精度に伝送画像の画質を評価することができる。
1 画像送出装置
101 画像符号化装置
102 代表輝度値決定装置
103 代表輝度値位置抽出装置
104 特徴量符号化装置
2 伝送路
3 エンドユーザ端末
301 画像復号化装置
302 特徴量復号化装置
303 誤差推定装置
101 画像符号化装置
102 代表輝度値決定装置
103 代表輝度値位置抽出装置
104 特徴量符号化装置
2 伝送路
3 エンドユーザ端末
301 画像復号化装置
302 特徴量復号化装置
303 誤差推定装置
以下、本発明による実施の形態について図面を参照して説明する。
実施の形態1.
図1は、第1の実施の形態における画質評価システムの構成例を示すブロック図である。図1に示すように、画質評価システムは、画像と合わせてその画像の原画像における特徴量を送信する画像送出装置1と、画像を受信した際に画像と合わせて受信した原画像の特徴量から、原画像からの画質劣化を推定するエンドユーザ端末3とを備える。また、画像送出装置1とエンドユーザ端末3とが伝送路2によって通信可能に接続されている。
図1は、第1の実施の形態における画質評価システムの構成例を示すブロック図である。図1に示すように、画質評価システムは、画像と合わせてその画像の原画像における特徴量を送信する画像送出装置1と、画像を受信した際に画像と合わせて受信した原画像の特徴量から、原画像からの画質劣化を推定するエンドユーザ端末3とを備える。また、画像送出装置1とエンドユーザ端末3とが伝送路2によって通信可能に接続されている。
画像送出装置1は、画像符号化装置101と、特徴量抽出装置11と、特徴量符号化装置104とを備える。また、特徴量抽出装置11は、代表輝度値決定装置102と代表輝度値位置抽出装置103とを含む。画像送出装置1は、例えば、動画や静止画を配信するサーバ装置である。なお、図示していないが、画像送出装置1は、伝送路2を介して各種情報を送受信するための通信制御装置を備えているものとする。
また、エンドユーザ端末3は、画像復号化装置301と、特徴量復号化装置302と、誤差推定装置303とを備える。エンドユーザ端末3は、例えば、ネットワーク通信機能を有する携帯端末機やパーソナルコンピュータである。なお、図示していないが、エンドユーザ端末3は、伝送路2を介して各種情報を送受信するための通信制御装置を備えているものとする。
画像符号化装置101は、入力された画像(原画像)を符号化する。なお、ここでいう画像には、静止画だけでなく動画も含んでいる。代表輝度値決定装置102は、入力された画像の各フレーム(画像フレーム)において、代表となる輝度値(以下、代表輝度値という。)を決定する。なお、静止画の場合には、画像フレームは1フレームのみとなる。代表輝度値位置抽出装置103は、代表輝度値決定装置102が決定した代表輝度値に基づいて、そのフレーム内において代表輝度値が出現する画素位置を抽出する。従って、特徴量抽出装置11では、各画像フレームにおいて、代表輝度値とその代表輝度値が出現する画素位置を特徴量として抽出する。特徴量符号化装置104は、特徴量抽出装置11が抽出した特徴量を符号化する。
画像符号化装置101,代表輝度値決定装置102,代表輝度値位置抽出装置103,特徴量符号化装置104は、具体的には、画像送出装置1が備えるCPU等、プログラムに従って動作する情報処理装置によって実現される。なお、画像符号化装置101は、エンコーダ装置等のハードウェア装置によって実現してもよい。
画像復号化装置301は、受信した画像(原画像を符号化した符号化画像)を復号する。特徴量復号化装置302は、受信した特徴量(原画像の特徴量を符号化した符号化特徴量)を復号する。誤差推定装置303は、復号した画像(伝送画像)およびその伝送画像の原画像における特徴量から原画像との誤差(画質劣化)を推定する。
画像復号化装置301,特徴量復号化装置302,誤差推定装置303は、具体的には、エンドユーザ端末3が備えるCPU等、プログラムに従って動作する情報処理装置によって実現される。なお、画像復号化装置301は、デコーダ装置等のハードウェア装置によって実現してもよい。
次に、図2および図3を参照して本実施の形態における画質評価システムの動作について説明する。ここでは、画像送出装置1が、エンドユーザ端末3からの要求に従って、要求された画像をエンドユーザ端末3に伝送路2を介して伝送する場合を例にして説明する。図2は、画像送出装置1の動作の一例を示すフローチャートである。図3は、エンドユーザ端末3の動作の一例を示すフローチャートである。なお、エンドユーザ端末3に伝送する画像(原画像)は、必要に応じて画像送出装置1に入力するようにしてもよいし、予め画像送出装置1が備える記憶装置に記憶しておいてもよい。
まず、画像送出装置1の動作について説明する。図2に示すように、原画像が入力されると、画像符号化装置101は、入力された原画像を符号化する(ステップS101)。画像符号化装置101は、例えば、画像を表現するための画像情報を、予め決められた符号化方式に従い、所定の変換式で変換したり、所定の演算式で計算することによって、伝送可能に圧縮された画像情報を生成する。より具体的には、フレームの分離や差分データの取得、量子化、多重化等の処理を行う場合もある。なお、予め決められる符号化方式の例として、例えば、MPEG−2やH.264(MPEG−4 AVC)等がある。そして、画像送出装置1は、画像符号化装置101によって符号化された原画像を伝送路2を介してエンドユーザ端末3に伝送する(ステップS102)。すなわち、画像送出装置1(より具体的には、画像送出装置1が備える通信制御装置(図示せず。))は、画像符号化装置101による原画像の符号化によって得た画像情報をエンドユーザ端末3に伝送する。
画像送出装置1では、この画像伝送処理と並行して、伝送される画像(符号化画像)の原画像における特徴量も伝送する。画像符号化装置101に入力された原画像は、特徴量抽出装置11にも入力される。特徴量抽出装置11の代表輝度値決定装置102は、入力された原画像の各フレームにおいて、代表する輝度値を決定(抽出)する(ステップS103)。具体的には、代表輝度値決定装置102は、各フレームにおいて、所定の条件に従って、そのフレーム内にまばらに(偏らずに均等な位置に散らばって)出現する輝度値を代表輝度値として選択する。
例えば、代表輝度値決定装置102は、次のように代表輝度値を決定すればよい。まず、1フレームを例えば16×16画素の小ブロックに分割する。そして、分割した各ブロックに含まれる画素の輝度値について、標準偏差を算出する。そして、フレーム内における各ブロックにおける輝度値標準偏差のメジアンを求めて、このメジアンに近い標準偏差をもつブロックのみを用いて代表輝度値を決定してもよい。なお、分割するブロックの画素数は上記例の16×16画素以外であってもよい。代表輝度値は、その輝度が偏らずにフレーム全体に均等に出現していることが求められる。具体的には、全ブロックの中から輝度標準偏差のメジアンから近い順に抽出(選択)した半数のブロックにおいて、出現確率が1/256(輝度値の階調数が256である場合)に最も近い輝度値を選択すればよい。
輝度標準偏差が小さいブロックでは画質劣化が目に付きやすいため、符号化時に細かく量子化されることが一般的である。また、輝度標準偏差が大きいブロックでは画質劣化が目に付きにくいため、符号化時に粗く量子化されることが一般的である。これらのブロック内に生じる画質劣化の度合いは、画像全体の平均画質劣化の度合いとかけ離れている傾向になることが考えられるので、これらのブロックを除外できることが好ましい。従って、上記の例では、標準偏差のメジアンから遠い標準偏差のブロックを用いずに標準偏差のメジアンに近い標準偏差を持つブロックから代表輝度値を選択するようにしている。なお、選択に用いるブロックの数を必ずしも半数にする必要はなく、画質劣化の度合いがかけ離れる可能性のあるブロックを除外できればよい。またブロック数で判断せずに、輝度標準偏差の値で判断してもよい。
また、輝度値標準偏差のメジアンを中心にブロックを抽出することは、標準偏差を基準に各ブロックをソートする過程を含むので、結果として場所的に散らばったブロックを抽出することにもなる。従って、このように抽出されたブロックから出現確率を元に代表輝度値を選べば、結果として、フレーム全体に偏らずに均等に出現している輝度値を代表輝度値として選択することができる。
また、全階調の輝度値のうち、低輝度値および高輝度値は、黒つぶれや白とびなど輝度値が飽和している部分で発生しやすい。このような輝度値は、その周囲も同様の輝度値になりやすく、その輝度値が偏って出現しがちになる。偏って出現した輝度値を代表輝度値にすると劣化推定の精度が低下するため、このような輝度値を代表輝度値にしないようにすることが好ましい。具体的には、閾値を2つ用意して、最小輝度値を規定する第1の閾値よりも小さい輝度値、および最大輝度値を規定する第2の閾値よりも大きい輝度値を代表輝度値の候補から除外すればよい。例えば、上記方法において、輝度値の出現確率を元に代表輝度値を選ぶ際に、第1の閾値よりも小さい輝度値、および第2の閾値よりも大きい輝度値については、出現確率に関わらず代表輝度値として選択されないようにすればよい。これにより、256階調のうち、例えば、輝度値32〜220のみを代表輝度値の候補とすることができる。
また、システムの構成(または稼働させるアプリケーション)によっては、伝送する特徴量の伝送レートに制限がある場合がある。このような場合には、特徴量の情報量を小さくするために、代表輝度値を抽出するブロック数もしくは代表輝度値の出現率に制限を加えてもよい。例えば、全ブロックのうち、上記輝度標準偏差のメジアンを中心とした12分の1のブロックからのみ代表輝度値を抽出する、または代表輝度値の出現数が500を超えないようにするなどの制限を加えればよい。
代表輝度値が決定すると、次に、代表輝度値位置抽出装置103が、そのフレームにおいて代表輝度値が出現した画素位置(以下、代表輝度値位置という)を抽出する(ステップS104)。具体的には、代表輝度値位置抽出装置103は、画像フレーム内の画素を順番に走査し、各画素の輝度値が代表輝度値であるか否かを判断し、そのフレーム内で代表輝度値が出現する画素位置を集計することによって、代表輝度値位置を抽出する。代表輝度値位置抽出装置103は、例えば、代表輝度値位置を示す情報として、フレーム内の各画素と、その画素が代表輝度値であるか否かを示す情報とを対応づけた情報を生成することによって、代表輝度値位置を抽出してもよい。また、例えば、予め各画素に識別子を割り当てておき、代表輝度値である画素の識別子を集合させた情報を生成することによっても、代表輝度値位置を抽出することも可能である。
図4および図5は、代表輝度値位置の抽出例を示す説明図である。図4は、水平12×垂直6画素の画像フレームにおける各画素の輝度値の一例を示している。また、図5は、図4に示す画像フレームにおいて、代表輝度値が「32」である場合の代表輝度値位置を二値情報化した例を示している。図5に示す例では、図4に示す画像フレーム内の各画素について、その画素が代表輝度値であれば1、そうでなければ0に二値情報化している。図5では、例えば、(x,y)=(0,0)に位置する画素の輝度値が代表輝度値でないことや、(x,y)=(0,1)に位置する画素の輝度値が代表輝度値であることが示されている。ここでは、画像フレームの水平方向をx、垂直方向をyとし、左下の画素を(x,y)=(0,0)として表現している。
次に、代表輝度値決定装置102および代表輝度値位置抽出装置103によって特徴量が抽出されると、特徴量符号化装置104は、抽出された特徴量(具体的には、代表輝度値と代表輝度値位置)を圧縮符号化する(ステップS105)。ここで、代表輝度値位置の符号化としては、非可逆な圧縮率の高い符号化方法を用いてもよいし、可逆符号化方法を用いてもよい。可逆符号化方法の例としては、算術符号化や二値画像符号化の国際標準であるJBIG符号化がある。なお、代表輝度値は、可逆圧縮による符号化方式を用いて符号化してもよいが、代表輝度値を示す情報はそのままでも情報量が多くないので、データ圧縮せずにそのまま伝送することも可能である。
特徴量符号化装置104は、代表輝度値位置の可逆圧縮による符号化において、次のように符号化することでさらなる情報量の削減を行ってもよい。まず、特徴量符号化装置104は、フレーム内の全ブロックのうち、代表輝度値が存在するブロック(有効ブロック)の情報を集計する。ブロック内に代表輝度値が存在すれば1、そうでなければ0としてブロックの位置情報を二値情報化する。例えば、720×480画素のSDTVの画像情報を16×16画素のブロックに分割した場合、分割ブロック数は1350である。この場合における有効ブロックの位置情報は、二値情報化すると、1350bitの情報量で表現できる。
その後、有効ブロックについて、ブロック内に出現する代表輝度値の画素位置(以下、ブロック内代表輝度値位置という。)を圧縮符号化する。上記例では、1ブロックにつき256bitの情報量に符号化できることになる。また、ブロック内代表輝度値位置を示す情報は、代表輝度値が存在するブロック(有効ブロック)の数だけあればよい。従って、1フレームにおける代表輝度値位置を示す情報として、例えば、どのような順番でブロックを並べるかを予め決めておいた上で、有効ブロックの位置情報と、それに続く、有効ブロック数分のブロック内代表輝度値位置を示す情報とに圧縮符号化することによって、特徴量の情報量を更に少なくすることができる。
図6は、有効ブロック内代表輝度値位置を用いて720×480画素の画像フレームの特徴量を圧縮符号化した例を示している。図6上段に示すように、特徴量のうち代表輝度値位置を示す情報は、有効ブロックの位置を示す二値情報(1350bit)と、それに続く、有効ブロック数分のブロック内代表輝度値位置を示す二値可逆符号化した情報(有効ブロック数×256bit)とで表現できる。この場合における特徴量の全情報量は、図6下段に示すように、代表輝度値の情報量(8bit)+圧縮符号化した代表輝度値位置情報の符号量(1350+(有効ブロック数×256)bit)となる。なお、ブロックサイズや有効ブロックの情報など、代表輝度値位置情報の圧縮符号化に必要な情報は、代表輝度値決定装置102や代表輝度値位置抽出装置103が特徴量を抽出する過程で集計し、特徴量符号化装置104に入力することも可能である。また、代表輝度値位置抽出装置103が、特徴量符号化装置104を兼ね、代表輝度値の画素位置を抽出するとともに、圧縮符号化するように動作してもよい。
そして、画像送出装置1は、圧縮符号化された特徴量を、伝送路2を介してエンドユーザ端末3に伝送する(ステップS106)。特徴量の伝送は、例えば、1フレーム分の画像データが伝送される毎にそのフレームの特徴量が伝送されるようにするなど、画像データと同期して伝送されることが好ましい。なお、必ずしもフレーム単位で同期させる必要はなく、画像データを送信する前や後に、その画像の全フレーム分の特徴量を送信するようにしてもよい。また、一定時間分のフレーム(例えば、1秒分のフレームとして30フレーム)の特徴量をまとめて、一定時間(1秒)ごとに送信するようにしてもよい。なお、特徴量を伝送する際には、どの画像のどのフレームの特徴量かを示す識別情報を合わせて送信してもよい。
例えば、画像送出装置1は、画像符号化装置101から所定のフレーム数分の画像情報が入力されると、入力された画像情報に、特徴量符号化装置104から入力された特徴量のうち、対応するフレームの特徴量を付加して送信するようにしてもよい。また、例えば、画像送出装置1は、先に全フレーム数分の特徴量を抽出、符号化させ、画像符号化装置101からの符号化完了の通知を受けたら、まず全フレーム数分の特徴量を送信し、続いて全フレーム数分の画像情報を送信するようにしてもよい。
次に、エンドユーザ端末3の動作について説明する。エンドユーザ端末3は、画像送出装置1から伝送された画像情報(符号化された画像情報)とその原画像における特徴量(符号化特徴量)とを受信する。図3に示すように、エンドユーザ端末3の画像復号化装置301は、符号化された画像情報を受信すると、受信した画像情報を復号する(ステップS301)。画像復号化装置301は、具体的には、符号化された画像情報を、符号化に用いられた符号化方式に対応した復号化方式(例えば、MPEG−2に対応した復号化方式,H.264(MPEG−4 AVC)に対応した復号化方式)に従い、所定の変換式で変換したり、所定の演算式で計算することによって、符号化される前の画像情報に復元する。すなわち、符号化前に表現されていた原画像と同じ画像を表現するための画像情報を生成する。なお、多くの符号化方式では、符号化によって圧縮された情報が完全には復元できず、画質が劣化した劣化画像に復号される。
エンドユーザ端末3では、この画像情報の復号処理と並行して、特徴量の復号処理も行う。エンドユーザ端末3の特徴量復号化装置302は、符号化された特徴量を受信すると、受信した特徴量を復号する(ステップS302)。特徴量復号化装置302は、例えば、特徴量符号化装置104が行った符号化方式に対応する復号化方式に従い、所定の返還式で変換したり、所定の演算式で計算することによって、符号化される前の特徴量(代表輝度値と代表輝度値位置を示す情報と)に復元する。すなわち、符号化される前に示されていた特徴量と同じ特徴量を示す情報を生成する。なお、特徴量符号化装置104が可逆符号化方式(例えば、JBIG符号化方式)を用いた場合には、適応算術復号等の演算を行うことによって、符号化前と完全に一致する情報に復元することができる。
受信した画像フレームと、そのフレームの原画像における特徴量とが復元されると、誤差推定装置303は、復元された情報から、そのフレームにおける伝送画像の画質劣化を推定する(ステップS303)。誤差推定装置303は、例えば、原画像の代表輝度値位置における伝送画像の代表輝度値との差分を集計して、原画像と伝送画像の誤差(すなわち、画質劣化)を推定する。誤差推定は、例えば、二乗誤差やS/N比などにより求めることが可能である。
例えば、原画像における代表輝度値をY、代表輝度値の1フレーム内の画素数をN、原画像の代表輝度値位置における伝送画像の輝度値をYiとすると、そのフレームにおける推定二乗誤差Eは次に示す式(1)によって求めることができる。
そして、推定S/Nは、次に示す式(2)として計算できる。なお、式(2)において定数である「255」は、8bitサンプリングされたディジタル画像における画素階調幅(すなわち、輝度値の階調数−1)を示している。
このように、推定された原画像と伝送画像との誤差を画像全体の差とみなすことによって、画質劣化の度合いとし、伝送画像の画質を評価する。例えば、推定された誤差の大きさをもとに、5段階の画質評価値を決定するなどして、画質の善し悪しを判定すればよい。なお、複数フレームからなる動画において、全てのフレームの評価を総合して動画全体の画質評価値とすることも可能である。また、例えば、各フレームを個別に評価して評価の悪かったフレームの再送(または別伝送路による再送、別方式による符号化後の再送)を依頼するような使い方をしてもよい。また、例えば、最初のフレームの画質を評価して、以降のフレームを受信するか否かを判定するような使い方をしてもよい。
以上のように、本実施の形態によれば、フレーム内(またはブロック内)にまばらに出現する輝度値を代表輝度値として抽出し、抽出した代表輝度値と、代表輝度値のフレーム内画素位置を示す代表輝度値位置情報とを特徴量として抽出することによって、例えば各周波数成分を個別に伝送する場合と比べて、同一情報量で、より多くの原画像の画素についての情報を伝送することができる。従って、少ない情報量の原画像の特徴量で、高精度に伝送画像の画質劣化を推定することができる。
また、本実施の形態によれば、代表輝度値位置情報を二値可逆圧縮することによって、さらに少ない情報量で、高精度に伝送画像の画質劣化を推定することができる。
また、本実施の形態では、伝送する度に特徴量を抽出する例を説明したが、特徴量抽出装置11に予め配信予定の動画像の各フレームにおける特徴量を抽出させておくことも可能である。そのような場合には、画像送出装置1は、動画と予め抽出させておいたその動画の特徴量とを対応づけて記憶しておき、エンドユーザ端末3からの要求に応じて記憶しておいた動画とその特徴量とを伝送すればよい。
また、本実施の形態では、画像送出装置1が原画像の特徴量を抽出して伝送し、エンドユーザ端末3が伝送画像との差を集計して伝送画像の画質劣化を推定する場合を例に説明したが、これとは逆に、送信側で伝送画像の画質を評価することも可能である。このような場合には、エンドユーザ端末3が代表輝度値決定装置102と代表輝度値位置抽出装置103と特徴量符号化装置104とを備え、伝送画像から特徴量を抽出して伝送すればよい。そして、画像送出装置1が特徴量復号化装置302と誤差推定装置303とを備え、原画像との差を集計して伝送画像の画質劣化を推定すればよい。なお、この場合、エンドユーザ端末3が備える代表輝度値決定装置102による代表輝度値決定動作や、代表輝度値位置抽出装置103による代表輝度値位置抽出動作、特徴量符号化装置104による特徴量符号化動作は、既に説明した動作と同様である。また、画像送出装置1が備える特徴量復号化装置302による特徴量復号動作や、誤差推定装置303による劣化推定動作も、既に説明した動作と同様である。また、特徴量の伝送は、エンドユーザ端末3が備える通信制御装置(図示せず。)によって行われることとなる。なお、画像送出装置1とエンドユーザ端末3がそれぞれに伝送画質の画質劣化を推定してもよい。
また、本実施の形態では、輝度値を対象に誤差を推定しているが、輝度値に限定されず、例えば色差成分値やRGB値等の画素成分を対象にすることも可能である。そのような場合には、輝度値と同じように、代表となる画素成分値を抽出し、抽出した画素成分値とその画素位置とからなる特徴量を伝送し、伝送画像の画素成分値との差を集計すればよい。
実施の形態2.
次に、本発明の第2の実施の形態について説明する。本実施の形態では、代表輝度値決定装置102において、画像フレームを複数の領域に分割し、分割した各領域で代表輝度値を抽出する。図7は、画像フレームを4分割した場合の代表輝度値の抽出例を示す説明図である。図7に示すように、代表輝度値決定装置102は、例えば、左上の領域からは輝度値「32」を第1の代表輝度値として決定する。また、右上の領域からは輝度値「20」を第2の代表輝度値として決定する。また、左下の領域からは輝度値「64」を第3の代表輝度値として決定する。また、右下の領域からは輝度値「48」を第4の代表輝度値として決定する。なお、各領域における代表輝度値の決定方法は、第1の実施の形態と同様である。
次に、本発明の第2の実施の形態について説明する。本実施の形態では、代表輝度値決定装置102において、画像フレームを複数の領域に分割し、分割した各領域で代表輝度値を抽出する。図7は、画像フレームを4分割した場合の代表輝度値の抽出例を示す説明図である。図7に示すように、代表輝度値決定装置102は、例えば、左上の領域からは輝度値「32」を第1の代表輝度値として決定する。また、右上の領域からは輝度値「20」を第2の代表輝度値として決定する。また、左下の領域からは輝度値「64」を第3の代表輝度値として決定する。また、右下の領域からは輝度値「48」を第4の代表輝度値として決定する。なお、各領域における代表輝度値の決定方法は、第1の実施の形態と同様である。
次に、代表輝度値位置抽出装置103は、代表輝度値決定装置102によって決定された各領域における代表輝度値(第1〜第4の代表輝度値)がそれぞれの領域内において出現する画素位置を、代表輝度値位置として抽出する。なお、代表輝度位置の抽出方法は、第1の実施の形態と同様である。すなわち、本実施の形態では、フレームを複数に分割した際の各領域における代表輝度値と、それぞれの領域内における代表輝度値位置とからなる情報を特徴量として抽出している。
次に、特徴量符号化装置104は、各領域における代表輝度値と、それぞれの領域内における代表輝度値位置とからなる特徴量を、圧縮符号化する。圧縮符号化の方法としては、第1の実施の形態と同様である。例えば、特徴量の全情報量は、各領域における代表輝度値の情報量(8bit×フレーム分割数)+二値可逆符号化した代表輝度値位置の符号量となる。
以上のように、本実施の形態では、1フレーム全体として見た場合に適切な代表輝度値を抽出できないような場合であっても、特徴量の情報量として、フレーム分割数分の代表輝度値を付加するだけの増加量のみで、高い精度の画質評価が維持できる。
実施の形態3.
次に、本発明の第3の実施の形態について説明する。本実施の形態では、上述した第1の実施の形態における各装置を、コンピュータシステムにより実行する。図8は、本実施の形態における画像送出システムの構成例を示すブロック図である。実施の形態における画像送出システムは、第1の実施の形態における画像送出装置1に相当する。また、図9は、本実施の形態におけるエンドユーザ端末システムの構成例を示すブロック図である。本実施の形態におけるエンドユーザ端末システムは、第1の実施の形態におけるエンドユーザ端末3に相当する。
次に、本発明の第3の実施の形態について説明する。本実施の形態では、上述した第1の実施の形態における各装置を、コンピュータシステムにより実行する。図8は、本実施の形態における画像送出システムの構成例を示すブロック図である。実施の形態における画像送出システムは、第1の実施の形態における画像送出装置1に相当する。また、図9は、本実施の形態におけるエンドユーザ端末システムの構成例を示すブロック図である。本実施の形態におけるエンドユーザ端末システムは、第1の実施の形態におけるエンドユーザ端末3に相当する。
図8に示す画像送出装置システムには、プログラム制御プロセッサ601が装備されている。そして、プログラム制御プロセッサ601には、入力データバッファ611と出力データバッファ612の他に、画像を送出する側において第1の実施の形態による画質評価に必要な処理を実行するためのプログラムを格納したプログラムメモリ602が接続されている。
入力データバッファ611は、プログラム制御プロセッサ601に入力する各種データを記憶するためのバッファである。出力データバッファ612は、プログラム制御プロセッサ601が出力する各種データを記憶し、また必要に応じてプログラム制御プロセッサ601に入力するためのバッファである。
プログラムメモリ602に格納されるプログラムモジュールは、メインプログラム603の他に、画像符号化処理モジュール613と、代表輝度値決定処理モジュール614と、代表輝度値位置抽出処理モジュール615と、特徴量符号化処理モジュール616とを含む。メインプログラム603は、画像を送出する側において第1の実施の形態による画質評価に必要な処理を取りまとめて実行するための主プログラムである。また、画像符号化処理モジュール613、代表輝度値決定処理モジュール614、代表輝度値位置抽出処理モジュール615、特徴量符号化処理モジュール616は、それぞれ第1の実施の形態における画像符号化装置101、代表輝度値決定装置102、代表輝度値位置抽出装置103、特徴量符号化装置104を機能的に実現するための処理モジュールである。なお、プロセッサ601が、メインプログラム603に従って各処理モジュール613〜616を呼び出すことによって、第1の実施の形態における各装置101〜104と同様の動作を行う。
また、図9に示すエンドユーザ端末システムには、プログラム制御プロセッサ701が装備されている。そして、プログラム制御プロセッサ701には、入力データバッファ711と出力データバッファ712の他に、画像を受信する側において第1の実施の形態による画質評価に必要な処理を実行するためのプログラムを格納したプログラムメモリ702が接続されている。
入力データバッファ711は、プログラム制御プロセッサ701に入力する各種データを記憶するためのバッファである。出力データバッファ712は、プログラム制御プロセッサ701が出力する各種データを記憶し、また必要に応じてプログラム制御プロセッサ701に入力するためのバッファである。
プログラムメモリ702に格納されるプログラムモジュールは、メインプログラム703の他に、画像復号化処理モジュール713と、特徴量復号化処理モジュール714と、誤差推定処理モジュール715とを含む。メインプログラム703は、画像を受信する側において第1の実施の形態による画質評価に必要な処理を取りまとめて実行するための主プログラムである。画像復号化処理モジュール713、特徴量復号化処理モジュール714、誤差推定処理モジュール715は、それぞれ第1の実施の形態における画像復号化装置301、特徴量復号化装置302、誤差推定装置303を機能的に実現するための処理モジュールである。なお、プロセッサ701が、メインプログラム703に従って各処理モジュール713〜715を呼び出すことによって、第1の実施の形態における各装置301〜303と同様の動作を行う。
本実施の形態では、画像送出装置システムおよびエンドユーザ端末システムのプログラム制御プロセッサ601,701が、それぞれメインプログラム602,702に従い、各種処理モジュール613〜616,713〜715を実行することで、第1の実施の形態における画質評価処理を実行する。
なお、プログラムメモリ602,702が、それぞれ第2の実施の形態による画質評価に必要な処理を実行するためのプログラムを格納することによって、第2の実施の形態における画質評価処理を実行することも可能である。
また、画像送出装置システム側で伝送画像の画質を評価することも可能である。このような場合には、エンドユーザ端末システムが、代表輝度値決定処理モジュール614,代表輝度値位置抽出処理モジュール615,特徴量符号化処理モジュール616と、処理モジュール614〜616を呼び出して伝送画像から特徴量を抽出し伝送する処理を実行させるメインプログラム703とを含むプログラムモジュールをプログラムメモリ702に格納すればよい。また、画像送出装置システムが、特徴量復号化処理モジュール714,誤差推定処理モジュール715と、処理モジュール714〜715を呼び出して受信した伝送画像の特徴量から原画像との差を集計して伝送画像の画質劣化を推定する処理を実行させるメインプログラム603とを含むプログラムモジュールをプログラムメモリ602に格納すればよい。
なお、この場合、エンドユーザ端末システムが備えるプログラム制御プロセッサ701が行う特徴量抽出動作および特徴量符号化動作は、画像送出装置システムが備えるプログラム制御プロセッサ601が行う特徴量抽出動作および特徴量符号化動作(すなわち、既に説明した代表輝度値決定装置102,代表輝度値位置抽出装置103,特徴量符号化装置104による動作)と同様である。また、画像送出装置システムが備えるプログラム制御プロセッサ601が行う特徴量復号化動作および誤差推定動作は、エンドユーザ端末システムが備えるプログラム制御プロセッサ701が行う特徴量復号化動作および誤差推定動作(すなわち、既に説明した特徴量復号化装置302,誤差推定装置303による動作)と同様である。
次に、具体的な実施例を用いて本発明を実施するための形態の動作を説明する。本実施例は、第1の実施の形態に対応している。ここでは、画像送出装置1として動作する動画処理装置に入力した画像を、エンドユーザ端末3に伝送する場合を例にして説明する。
まず、SDTVサイズ(水平720×垂直480画素、1秒あたり29.97フレーム)の動画像を動画処理装置に入力する。動画処理装置の画像符号化装置101は、MPEG−2符号化方式で画像を符号化する。
また、動画処理装置の特徴量抽出装置11は、入力された動画像の各フレームの特徴量を抽出する。具体的には、代表輝度値決定装置102において、まず、対象とする1フレームを16×16がその小ブロックに分割する。そして、各ブロックでの輝度値標準偏差値を計算する。代表輝度値決定装置102は、各ブロックの輝度値標準偏差値を大きさの順に並び替え、そのメジアンを求める。そして、求めたメジアンを中心とした半数のブロックにおいて出現確率が1/256に最も近くなる輝度値を代表輝度値に決定する。ここでは、対象フレームにおいて、輝度値「32」が代表輝度値として決定されたとする。
次いで、代表輝度値位置抽出装置103において、対象フレーム内で代表輝度値が出現する画素位置を抽出する。代表輝度値位置抽出装置103は、まず、代表輝度値決定装置102が分割した各ブロック内において、代表輝度値「32」が出現するブロックの情報を集計する。例えば、代表輝度値位置抽出装置103は、位置情報に関して、各ブロック毎に代表輝度値が出現するか否かを判定し、ブロック位置に対応づけたビット位置に、出現していれば1を、出現していなければ0を割り当てる。すなわち、代表輝度値位置抽出装置103は、720×480画素の1フレームに対し、有効ブロックの位置を示す情報として、1350bitからなる二値系列を生成することとなる。ここでは、対象フレームにおいて、200個のブロック内に、代表輝度値「32」が合計500個出現しているものとする。従って、代表輝度値位置抽出装置103は、有効ブロックの位置を示す情報として、1350bitのうち200bitが1となっている二値系列を生成する。
次に、代表輝度値位置抽出装置103は、有効ブロックについて、256個からなるブロック内画素について、ラスタースキャン順に走査し、代表輝度値が出現しているか否かを判定する。そして、ブロック内画素位置に対応づけたビット位置に、出現していれば1を、出現していなければ0を割り当てる。すなわち、代表輝度値位置抽出装置103は、256画素の1ブロックに対し、ブロック内代表輝度値位置を示す情報として、256bitからなる二値系列を生成することとなる。そして、全有効ブロックのブロック内代表輝度値位置を示す情報として、有効ブロック数(200)×256bitからなる二値系列を生成することとなる。なお、有効ブロック数(200)×256bitのうち、500bitが1となっているはずである。
次に、特徴量符号化装置104は、このように抽出された代表輝度値位置情報(1350bit+256bit×有効ブロック数(200)から構成される二値系列)をJBIG方式で可逆圧縮する。そして、先頭に代表輝度値「32」を示す8bitの情報を付加し、これを対象フレームにおける原画像の特徴量とする。
そして、対象フレームにおける符号化された原画像の特徴量(符号化特徴量)は、伝送路2を介して、原画像を符号化して得た符号化画像の対象フレームと同期するようにエンドユーザ端末3に伝送される。
符号化画像と符号化特徴量とを受信したエンドユーザ端末3では、画像復号化装置301において、MPEG−2方式で符号化された符号化画像に対しMPEG−2方式に対応した復号処理を行い、原画像の対象フレームの内容と同一になるような画像フレームを生成する。復元された画像フレームは、誤差推定装置303に送られる。
また、特徴量復号化装置302では、受信した符号化特徴量に対し、特徴量符号化装置104による符号化方式に対応した復号処理を行い、特徴量符号化装置104によって符号化される前の特徴量の内容と同一になるような特徴量を示す情報を生成する。具体的には、数学的に特徴量符号化装置104が行った処理と逆の処理を行えばよい。ここでは、特徴量符号化装置104は、原画像の特徴量として、代表輝度値を示す情報と、原画像において代表輝度値が出現していた画素位置を示す代表輝度値位置情報とに復元する。具体的には、代表輝度値「32」を示す情報と、有効ブロックの位置を示す情報としての二値系列と、各有効ブロック内における代表輝度値が出現していた画素位置を示す情報としての二値系列とを得る。復元された特徴量は、誤差推定装置303に送られる。
誤差推定装置303では、復元された情報を元に、伝送画像の画質劣化を推定する。誤差推定装置303は、伝送画像の画像フレームについて、原画像において代表輝度値「32」が出現していた画素位置と同じ画素位置の輝度値を集計する。ここでは、受信し復元した伝送画像における対象フレームにおいて、原画像において代表輝度値「32」が出現していたカ所と同じカ所である500カ所のうち、輝度値が「32」となっていた画素が100カ所、「31」となっていた画素が100カ所、「30」となっていた画素が100カ所、「29」となっていた画素が100カ所、「33」となっていた画素が100カ所であったことが集計されたとする。
誤差推定装置303は、推定二乗誤差として、(100×0+100×1+100×4+100×9+100×1)÷500=3を求める。
本出願は、2006年10月19日に出願された特願2006−285290号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
本発明は、受信側での符号化による画質劣化の評価に限らず、限られた情報量で2つの画像の差分を評価するような画質評価システムであれば、好適に適用可能である。
Claims (23)
- 第1の画像との差から第2の画像の画質を評価する画質評価方法であって、
一方の画像の画像フレームから、該画像フレーム内画素を代表する画素成分値を示す代表画素成分値と、前記代表画素成分値が出現する画素位置を示す画素位置情報とを特徴量として抽出し、
前記画像の特徴量である代表画素成分値と画素位置情報とを用い、他方の画像の画像フレーム内の、前記画素位置情報で示される画素位置における画素成分値と、前記代表画素成分値との差に基づいて、前記第2の画像全体における前記第1の画像との差を推定する
ことを特徴とする画質評価方法。 - 第1の画像である原画像を符号化した符号化画像を、送信先で復号して得られる第2の画像である復号画像の画質を評価する画質評価方法であって、
前記原画像の画像フレームから、代表画素成分値と画素位置情報とを前記原画像の特徴量として抽出し、
前記抽出された原画像の特徴量を符号化し、
前記符号化された原画像の特徴量を、前記符号化画像の送信先に送信し、
前記符号化された原画像の特徴量を受信すると、受信した前記符号化された原画像の特徴量を復号し、
復号して得られた前記原画像の特徴量である代表画素成分値と画素位置情報と、前記復号画像の画像情報とに基づいて、前記復号画像の画質劣化の度合いとして前記原画像との差を推定する
ことを特徴とする請求項1に記載の画質評価方法。 - 第1の画像である原画像を符号化した符号化画像を、送信先で復号して得られる第2の画像である復号画像の画質を評価する画質評価方法であって、
前記復号画像の画像フレームから、代表画素成分値と画素位置情報とを前記復号画像の特徴量として抽出し、
前記抽出された復号画像の特徴量を符号化し、
前記符号化された復号画像の特徴量を、前記符号化画像の送信元に送信し、
前記符号化された復号画像の特徴量を受信すると、受信した前記符号化された復号画像の特徴量を復号し、
復号して得られた前記復号画像の特徴量である代表画素成分値と画素位置情報と、前記原画像の画像情報とに基づいて、前記復号画像の画質劣化の度合いとして前記原画像との差を推定する
ことを特徴とする請求項1に記載の画質評価方法。 - 画素位置情報を、各画素に対して、代表画素成分値であるか否かを0か1で示した二値情報で表現することを特徴とする請求項2または請求項3に記載の画質評価方法。
- 対象とする画像フレームを複数の小領域に分割し、
画素位置情報を、各小領域内に代表画素成分値が出現するか否かを0か1で示した二値情報と、代表画素成分値が出現した小領域に対して、該小領域内の各画素に対して代表画素成分値であるか否かを0か1で示した二値情報とで表現する
ことを特徴とする請求項2から請求項4のいずれかに記載の画質評価方法。 - 二値情報で表現された画素位置情報を可逆符号化することを特徴とする請求項4または請求項5に記載の画質評価方法。
- 可逆符号化の方法が、算術符号化であることを特徴とする請求項6に記載の画質評価方法。
- 可逆符号化の方法が、二値画像符号化方法であるJBIG符号化であることを特徴とする請求項6に記載の画質評価方法。
- 対象とする画像フレーム内において、偏らずに均等な位置に出現する画素成分値を選択することによって、代表画素成分値を抽出することを特徴とする請求項1から請求項8のいずれかに記載の画質評価方法。
- 対象とする画像フレームを複数の小領域に分割し、各小領域における画素成分値の標準偏差を求め、前記標準偏差の中央値に近い値の標準偏差をもつ小領域内から順に選択し、
選択した小領域内において、画素成分値の出現確率が該画素成分値の取りうる値の幅分の1に最も近い画素成分値を選択することによって、代表画素成分値を抽出する
ことを特徴とする請求項1から請求項9のいずれかに記載の画質評価方法。 - 代表画素成分値を抽出する際に、画素成分値の下限値と上限値とを定めておき、下限値よりも小さい画素成分値および上限値より大きい画素成分値を代表画素成分値の候補から除外することを特徴とする請求項1から請求項10のいずれかに記載の画質評価方法。
- 代表画素成分値が出現する画素位置を抽出する画素数、または代表画素成分値が出現する画素位置を抽出する領域を制限することを特徴とする請求項1から請求項11のいずれかに記載の画質評価方法。
- 代表画素成分値を、対象とする画像フレームを複数の領域に分割した分割領域毎に抽出することを特徴とする請求項1から請求項12のいずれかに記載の画質評価方法。
- 画素成分値として、輝度値を用いることを特徴とする請求項1から請求項13のいずれかに記載の画素評価方法。
- 第1の画像との差から第2の画像の画質を評価する画質評価システムであって、
一方の画像の画像フレームから、該画像フレーム内画素を代表する画素成分値を示す代表画素成分値と、前記代表画素成分値が出現する画素位置を示す画素位置情報とを特徴量として抽出する特徴量抽出手段と、
前記特徴量抽出手段によって抽出された前記画像の特徴量である代表画素成分値と画素位置情報とを用い、他方の画像の画像フレーム内の、前記画素位置情報で示される画素位置における画素成分値と、前記代表画素成分値との差に基づいて、第2の画像全体における第1の画像との差を推定する誤差推定手段と
を備えたことを特徴とする画質評価システム。 - 第1の画像である原画像を符号化した符号化画像を、送信先で復号して得られる第2の画像である復号画像の画質を評価する画質評価システムであって、
入力された原画像を符号化して送信する画像送出装置と、前記画像送出装置から符号化画像を受信する画像受信装置とを備え、
画像送出装置は、
前記原画像の画像フレームから、代表画素成分値と画素位置情報とを前記原画像の特徴量として抽出する特徴量抽出手段と、
前記特徴量抽出手段によって抽出された原画像の特徴量を符号化する特徴量符号化手段と、
前記特徴量符号化手段によって符号化された原画像の特徴量を、前記画像受信装置に送信する特徴量送信手段とを有し、
画像受信装置は、
前記符号化された原画像の特徴量を受信する特徴量受信手段と、
前記特徴量受信手段が受信した前記符号化された原画像の特徴量を復号する特徴量復号手段と、
復号して得られた前記原画像の特徴量である代表画素成分値と画素位置情報と、前記復号画像の画像情報とに基づいて、前記復号画像の画質劣化の度合いとして前記原画像との差を推定する誤差推定手段とを有する
請求項15に記載の画質評価システム。 - 第1の画像である原画像を符号化した符号化画像を、送信先で復号して得られる第2の画像である復号画像の画質を評価する画質評価システムであって、
入力された原画像を符号化して送信する画像送出装置と、前記画像送出装置から符号化画像を受信する画像受信装置とを備え、
画像受信装置は、
前記復号画像の画像フレームから、代表画素成分値と画素位置情報とを前記復号画像の特徴量として抽出する特徴量抽出手段と、
前記特徴量抽出手段によって抽出された復号画像の特徴量を符号化する特徴量符号化手段と、
前記特徴量符号化手段によって符号化された復号画像の特徴量を、前記画像送出装置に送信する特徴量送信手段とを有し、
画像送出装置は、
前記符号化された復号画像の特徴量を受信する特徴量受信装置と、
前記特徴量受信手段が受信した前記符号化された復号画像の特徴量を復号する特徴量復号手段と、
復号して得られた前記復号画像の特徴量である代表画素成分値と画素位置情報と、前記原画像の画像情報とに基づいて、前記復号画像の画質劣化の度合いとして前記原画像との差を推定する誤差推定手段と
を有することを特徴とする請求項15に記載の画質評価システム。 - 原画像を符号化した符号化画像を、送信先で復号して得られる復号画像の画質を評価する画質評価システムに適用される画像送出装置であって、
入力された原画像を符号化して送信する符号化画像送信手段と、
入力された前記原画像の画像フレームから、該画像フレーム内画素を代表する画素成分値を示す代表画素成分値と、前記代表画素成分値が出現する画素位置を示す画素位置情報とを前記原画像の特徴量として抽出する特徴量抽出手段と、
前記特徴量抽出手段によって抽出された原画像の特徴量を符号化する特徴量符号化手段と、
前記特徴量符号化手段によって符号化された原画像の特徴量を、前記符号化画像の送信先である画像受信装置に送信する特徴量送信手段と
を備えたことを特徴とする画像送出装置。 - 原画像を符号化した符号化画像を、送信先で復号して得られる復号画像の画質を評価する画質評価システムに適用される画像送出装置であって、
入力された原画像を符号化して送信する符号化画像送信手段と、
前記復号画像の特徴量として、前記復号画像の画像フレーム内画素を代表する画素成分値を示す代表画素成分値と、前記代表画素成分値が出現する画素位置を示す画素位置情報とを符号化した情報を受信する特徴量受信手段と、
特徴量受信手段が受信した前記符号化された復号画像の特徴量を復号する特徴量復号手段と、
復号して得られた前記復号画像の特徴量である代表画素成分値と画素位置情報とを用い、前記原画像の画像フレーム内の、前記画素位置情報で示される画素位置における画素成分値と、前記代表画素成分値との差に基づいて、前記復号画像の画質劣化の度合いとして前記原画像との差を推定する誤差推定手段と
を備えたことを特徴とする画像送出装置。 - 原画像を符号化した符号化画像を、送信先で復号して得られる復号画像の画質を評価する画質評価システムに適用される画像受信装置であって、
原画像を符号化した符号化画像を受信する符号化画像受信手段と、
前記原画像の特徴量として、前記原画像の画像フレーム内画素を代表する画素成分値を示す代表画素成分値と、前記代表画素成分値が出現する画素位置を示す画素位置情報とを符号化した情報を受信する特徴量受信手段と、
特徴量受信手段が受信した前記符号化された原画像の特徴量を復号する特徴量復号手段と、
復号して得られた前記原画像の特徴量である代表画素成分値と画素位置情報とを用い、前記符号化画像を復号して得られた復号画像の画像フレーム内の、前記画素位置情報で示される画素位置における画素成分値と、前記代表画素成分値との差に基づいて、前記復号画像の画質劣化の度合いとして前記原画像との差を推定する誤差推定手段と
を備えたことを特徴とする画像受信装置。 - 原画像を符号化した符号化画像を、送信先で復号して得られる復号画像の画質を評価する画質評価システムに適用される画像受信装置であって、
原画像を符号化した符号化画像を受信する符号化画像受信手段と、
前記符号化画像を受信すると、前記符号化画像を復号して得られた復号画像の画像フレームから、該画像フレーム内画素を代表する画素成分値を示す代表画素成分値と、前記代表画素成分値が出現する画素位置を示す画素位置情報とを前記復号画像の特徴量として抽出する特徴量抽出手段と、
前記特徴量抽出手段によって抽出された復号画像の特徴量を符号化する特徴量符号化手段と、
前記特徴量符号化手段によって符号化された復号画像の特徴量を、前記符号化画像の送信元である画像送出装置に送信する特徴量送信手段と
を備えたことを特徴とする画像受信装置。 - 第1の画像との差から第2の画像の画質を評価するための画質評価用プログラムであって、
少なくとも一方の画像の画像情報が入力されるコンピュータに、
入力された画像情報で示される画像の画像フレームから、該画像フレーム内画素を代表する画素成分値を示す代表画素成分値と、前記代表画素成分値が出現する画素位置を示す画素位置情報とを該画像の特徴量として抽出する処理と、
前記抽出された特徴量を符号化して出力する処理と
を実行させるための画質評価用プログラム。 - 第1の画像との差から第2の画像の画質を評価するための画質評価用プログラムであって、
少なくとも一方の画像の画像情報と、他方の画像の特徴量として、該画像の画像フレーム内画素を代表する画素成分値を示す代表画素成分値と、前記代表画素成分値が出現する画素位置を示す画素位置情報とが符号化された情報とが入力されるコンピュータに、
特徴量として入力された符号化された情報を復号して代表画素成分値と画素位置情報とに復元する処理と、
復元された前記代表画素成分値と前記画素位置情報とを用い、入力された画像情報で示される画像の画像フレーム内の、前記画素位置情報で示される画素位置における画素成分値と、前記代表画素成分値との差に基づいて、前記第2の画像全体における前記第1の画像との差を推定する処理と
を実行させるための画質評価用プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006285290 | 2006-10-19 | ||
JP2006285290 | 2006-10-19 | ||
PCT/JP2007/070344 WO2008047865A1 (fr) | 2006-10-19 | 2007-10-18 | Procédé, système et programme d'évaluation de qualité d'image |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2008047865A1 true JPWO2008047865A1 (ja) | 2010-02-25 |
Family
ID=39314083
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008539865A Pending JPWO2008047865A1 (ja) | 2006-10-19 | 2007-10-18 | 画質評価方法、画質評価システム及び画質評価用プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US8249358B2 (ja) |
JP (1) | JPWO2008047865A1 (ja) |
WO (1) | WO2008047865A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5544764B2 (ja) * | 2009-06-09 | 2014-07-09 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
JP5434621B2 (ja) * | 2010-01-19 | 2014-03-05 | ソニー株式会社 | 情報処理装置、情報処理方法、及びそのプログラム |
JP5605608B2 (ja) * | 2010-03-30 | 2014-10-15 | ソニー株式会社 | 送信装置及び方法、並びにプログラム |
KR101416265B1 (ko) * | 2013-02-28 | 2014-07-09 | 연세대학교 산학협력단 | 하이브리드 방식 기반 영상의 화질을 평가하기 위한 장치 및 그 방법 |
CN103841411B (zh) * | 2014-02-26 | 2015-10-28 | 宁波大学 | 一种基于双目信息处理的立体图像质量评价方法 |
US20170249521A1 (en) * | 2014-05-15 | 2017-08-31 | Arris Enterprises, Inc. | Automatic video comparison of the output of a video decoder |
US11064204B2 (en) | 2014-05-15 | 2021-07-13 | Arris Enterprises Llc | Automatic video comparison of the output of a video decoder |
JP6423680B2 (ja) * | 2014-10-08 | 2018-11-14 | 日本放送協会 | 画質改善装置、画質改善システム、及び画質改善プログラム |
CN105469384B (zh) * | 2015-10-13 | 2018-09-25 | 南京邮电大学 | 车牌图像质量的综合评价方法 |
CN108109145A (zh) * | 2018-01-02 | 2018-06-01 | 中兴通讯股份有限公司 | 图像质量检测方法、装置、存储介质和电子装置 |
EP3834409A1 (en) * | 2018-09-10 | 2021-06-16 | Huawei Technologies Co., Ltd. | Hybrid video and feature coding and decoding |
CN111724295B (zh) * | 2019-03-18 | 2024-05-14 | 芯原微电子(成都)有限公司 | 一种外部存储器的协同访问方法及***、协同访问架构 |
US20220060887A1 (en) * | 2020-08-18 | 2022-02-24 | Qualcomm Incorporated | Encoding a data set using a neural network for uplink communication |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5699458A (en) * | 1995-06-29 | 1997-12-16 | Intel Corporation | Efficient browsing of encoded images |
US6246435B1 (en) * | 1998-09-08 | 2001-06-12 | Tektronix, Inc. | In-service realtime picture quality analysis |
JP3835683B2 (ja) | 2001-04-16 | 2006-10-18 | Kddi株式会社 | 伝送画質監視装置 |
JP2003134535A (ja) | 2001-10-30 | 2003-05-09 | Nec Eng Ltd | 画質劣化検知システム |
JP3893344B2 (ja) * | 2002-10-03 | 2007-03-14 | 松下電器産業株式会社 | 画像符号化方法および画像符号化装置 |
-
2007
- 2007-10-18 US US12/446,368 patent/US8249358B2/en active Active
- 2007-10-18 JP JP2008539865A patent/JPWO2008047865A1/ja active Pending
- 2007-10-18 WO PCT/JP2007/070344 patent/WO2008047865A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
US20100303364A1 (en) | 2010-12-02 |
WO2008047865A1 (fr) | 2008-04-24 |
US8249358B2 (en) | 2012-08-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPWO2008047865A1 (ja) | 画質評価方法、画質評価システム及び画質評価用プログラム | |
US7613345B2 (en) | Image coding apparatus and image decoding apparatus and their control methods, and computer program and computer-readable storage medium | |
US10063883B2 (en) | Methods and apparatuses for coding and decoding depth map | |
CN109842803B (zh) | 一种图像压缩的方法及装置 | |
EP2211553A1 (en) | Encoder and decoder | |
US9014268B2 (en) | Video encoder and its decoder | |
CN101507277A (zh) | 图像编码/解码方法和设备 | |
RU2007106081A (ru) | Способ и устройство для преобразования с повышением частоты кадров с помощью кодера (ea-fruc) для сжатия видеоизображения | |
JP5218784B2 (ja) | 画質評価システム、それに用いる装置、方法およびプログラム | |
JP2013500661A (ja) | 画像シーケンスを表す符号化されたデータのストリームを復号する方法および画像シーケンスを符号化する方法 | |
EP2536148A1 (en) | Predictive coding method for motion vector, predictive decoding method for motion vector, video coding device, video decoding device, and programs therefor | |
KR20140123071A (ko) | 안정성 정보 및 트랜션트/확률적 정보의 구별되는 인코딩 및 디코딩 | |
US9986239B2 (en) | Image encoding apparatus, image encoding method, and recording medium | |
KR101346942B1 (ko) | 벡터 임베디드 그래픽 코딩 | |
CN110996127B (zh) | 图像编解码方法、设备及*** | |
US20150264345A1 (en) | Method for Coding Videos and Pictures Using Independent Uniform Prediction Mode | |
US20130163671A1 (en) | Reduction of spatial predictors in video compression | |
Kumar et al. | Enhanced block truncation coding for gray scale image | |
WO2022252567A1 (zh) | 基于相关度比较确定视频编解码优先顺序的方法及装置 | |
US8396308B2 (en) | Image coding based on interpolation information | |
JP2005064679A (ja) | 画像特徴量抽出方式および画質評価方式 | |
US6898322B2 (en) | Coding method, coding apparatus, decoding method and decoding apparatus using subsampling | |
US20170064331A1 (en) | Adaptive Content Dependent Intra Prediction Mode Coding | |
JP2007049312A (ja) | 画像復号装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体 | |
JP6373681B2 (ja) | 客観画質評価装置、客観画質評価方法、およびプログラム |