JP5113479B2 - 画像信号処理装置及び画像信号処理方法 - Google Patents

Description

本発明は、画像信号を高解像度化する画像信号処理装置及び画像信号処理方法に係り、特に符号化された画像信号を復号化し、復号化された画像を高解像度化する際に好適な画像処理技術に関する。

最近のテレビ受像機は大画面化が進んでおり、例えば横１９２０画素、縦１０８０画素の高精細画像を表示可能となっている。一方、放送や通信、蓄積媒体などにおける画像では、例えば横７２０画素、縦４８０画素といった従来の標準方式に基づく画像信号が扱われている。そこで、これらの入力画像信号をそのまま大画面に表示するのではなく、デジタル信号処理によって水平・垂直方向の画素数を増やして表示する技術が要求されている。高解像度化技術としては、次のような提案がなされている。

例えば特許文献１には、入力された複数の画像フレーム（以下、単にフレームとも呼ぶ）を合成して１枚のフレームとすることにより、高解像度化しながら画素数を増やす技術が開示されている。その際、標本化位置の異なる複数組のデータを用いて、標本化によって生じた折り返し成分を打ち消し、画像信号の高周波成分を復元することが記載されている。なお、特許文献１に記載される高解像度化処理は「超解像処理」とも呼ばれており（例えば非特許文献１参照）、本明細書では他の技術と区別するために「超解像処理」と呼ぶことにする。

また特許文献２には、基準フレームの画素と目標フレームの画素に基づいて基準フレームへの追加画素の値を決定して、基準フレームの高解像度化を実現する技術が開示されている。特にＭＰＥＧ方式に基づいて符号化された画像において、ＭＰＥＧビットストリーム内に存在する動作ベクトル情報を用いて、基準フレームに対応する目標フレーム内の画素を検出することが記載されている。

特開平８−３３６０４６号公報 特表２００２−５３１０１８号公報 青木伸：複数のデジタル画像データによる超解像処理、Ｒｉｃｏｈ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ、ｐｐ．１９−２５、Ｎｏ．２４、Ｎｏｖｅｍｂｅｒ、１９９８

上記特許文献１の超解像処理では、（１）位置推定、（２）広帯域補間、（３）加重和、の３つの処理により高解像度化を行う。ここで、（１）の位置推定では、入力された複数の画像フレームの各画像データを用いて、各画像データのサンプリング位相（標本化位置）の差を推定する。（２）の広帯域補間では、各画像データを折り返し成分も含め、原信号の高周波成分をすべて透過する帯域の広いローパスフィルタを用いて画素数（サンプリング点）を補間して増やし、画像データを高密度化する。（３）の加重和では、各高密度化データのサンプリング位相に応じた重み係数により加重和をとることによって、画素サンプリングの際に生じた折り返し成分を打ち消して除去するとともに、同時に原信号の高周波成分を復元するものである。

この超解像処理では、（１）の位置推定において複数の画像フレームについて各画素の位相差、即ちフレーム間の位相差（動き）を求めるために、多くの演算が必要となる。この点に関し、上記特許文献２に記載のＭＰＥＧビットストリーム内に存在する動作ベクトル情報を用いれば、フレーム間での対応する画素を検出する演算量を軽減することができる。しかし特許文献２では、高解像度化のための追加画素の値を双線補間法により求めており、超解像処理の（２）（３）の処理とは原理的に異なるものである。

また、特許文献１の超解像処理において、レーム間の位相差を求めた結果フレーム間の位相差がゼロの場合には高解像度化ができないという問題がある。以下、この問題について詳細に説明する。

図７は、超解像処理の概要を示したものである。図７（ａ）に示すように、異なる時間軸上のフレーム＃１（符号７０１）、フレーム＃２（符号７０２）、フレーム＃３（符号７０３）が入力され、これらを合成して出力フレーム７０６を得ることを想定する。簡単のため、被写体が矢印７０４で示す水平方向に移動した場合に、水平線７０５上の１次元の信号処理によって高解像度化することを考える。

図７（ｂ）はフレーム＃２の信号波形で、画素７０８でサンプリングされた値を示す。図７（ｄ）は、フレーム＃１の信号波形で、フレーム＃２とフレーム＃１では、被写体の移動量（矢印７０４）に相当する信号波形の位置ずれが生じる。超解像処理では、上記（１）の位置推定によってこの位置ずれ量を求め、両者の位相ずれがなくなるようにフレーム＃２に対し動き補償７０７を行い、図７（ｃ）に示す動き補償後のフレーム＃２’を得る。

そして、フレーム＃１の画素のサンプリング位相７０９とフレーム＃２’の画素のサンプリング位相７１０との位相差θ（符号７１１）を求める。なお、同一フレーム内で隣接する画素間の位相差θは２π（＝１／ｆｓ）（ｆｓはサンプリング周波数）である。この位相差θに基づき、上記（２）の広帯域補間および（３）の加重和を求める処理を行う。その結果、図７（ｅ）に示すように、元の画素７０８の丁度中間（位相差θ＝π）の位置に新規画素７１２を生成することにより、高解像画像を合成するものである。

ここで位相差θがゼロである場合には、フレーム＃１とフレーム＃２’の被写体に対するサンプリング位置が同一であることから、新規画素７１２を生成することができない。すなわち、超解像処理による高解像度化は不可能となる。このような状況は、被写体が静止している場合だけでなく、動きがあってもフレーム間での移動量が画素間の間隔あるいはその整数倍に等しいときに位相差θがゼロになる。

本発明は、画像フレーム間のサンプリング位相差がゼロとなる場合でも高解像度化を実現し、またそのための演算量を削減することを目的とする。

本発明の画像信号処理装置は、符号化された符号化画像データを復号化する画像復号化部と、画像復号化部より出力される各画像フレームについて、隣接する複数の画像フレームの対応する画素を用いて画素数を増加させ高解像度化する第１の解像度変換部と、画像復号化部より出力される各画像フレームについて、同一の画像フレーム内の画素を用いて画素数を増加させ高解像度化する第２の解像度変換部と、第１の解像度変換部からの画像フレームと第２の解像度変換部からの画像フレームのいずれか一方を選択して出力する切替部とを備え、切替部は、符号化画像データ内に含まれる動き情報と残差情報を用いて出力する画像フレームを選択する。

ここに前記切替部は、動き情報が小数精度の情報を含み、あるいは残差情報が０でない時には前記第１の解像度変換部からの画像フレームを選択し、動き情報が全て整数精度の情報で、かつ残差情報が０の時には前記第２の解像度変換部からの画像フレームを選択する。また前記第１の解像度変換部では、符号化画像データ内に含まれる動き情報に基づいて、隣接する複数の画像フレームの対応する画素を探索する。

本発明の画像信号処理方法は、符号化された符号化画像データを復号化するステップと、符号化画像データ内に含まれる動き情報と残差情報を抽出するステップと、復号化された各画像フレームについて、隣接する複数の画像フレームの対応する画素を用いて画素数を増加させ高解像度化する第１のステップと、復号化された各画像フレームについて、同一の画像フレーム内の画素を用いて画素数を増加させ高解像度化する第２のステップと、動き情報と残差情報を用いて、第１のステップまたは第２のステップにより高解像度化した画像フレームを選択して出力するステップとを備える。

本発明によれば、画像フレーム間のサンプリング位相差の有無に影響されず、安定して画像の高解像度化を実現できる。また高解像度化のための演算量を削減できる。

以下、本発明の各実施形態を説明する。

図１は、本発明の画像信号処理装置の一実施例を示す構成ブロック図である。
画像信号処理装置１００は、入力部１０１、画像復号化部１０２、第１の解像度変換部１０３、第２の解像度変換部１０４、バッファ部１０５、切替部１０６、出力部１０６を備える。上記の各部はハードウェアによって構成されてもよいし、ソフトウェアによって構成されていてもよい。また、ハードウェアとソフトウェアを組み合わせたモジュールであってもよい。

入力部１０１に入力される画像データ１５０は符号化された符号化画像データである。画像復号化部１０２は、上記符号化画像データを復号化して復号画像１５１を生成する。バッファ部１０５は復号画像１５１を格納する。第１の解像度変換部１０３は、画像復号化部１０２より抽出した動き情報１５３に基づいてバッファ部１０５より参照画像１５２を読み出し、該参照画像を用いて復号画像１５１の高解像度化処理を行う。この高解像度化処理は、複数の画像フレームを合成して画素数を増やし１枚の高解像フレームを作成する「超解像処理」である。一方第２の解像度変換部１０４は、画像復号化部１０２より出力される復号画像１５１を同一フレーム内の画像を用いて高解像度化処理を行う。この高解像度化処理は、同一フレーム内で内挿処理といった画素補間により画素数を増やす高解像度化処理である。

切替部１０６は、画像復号化部１０２より抽出した動き情報１５３および残差情報１５４に基づいて、第１の解像度変換部１０３からの出力と第２の解像度変換部１０４からの出力のいずれか一方を選択する。すなわち、動き情報１５３が小数精度の情報を含み、あるいは残差情報１５４が０でない時には第１の解像度変換部１０３を選択する。動き情報１５３が全て整数精度の情報で、かつ残差情報１５４が０の時には第２の解像度変換部１０４を選択する。出力部１０７は、切替部１０６にて選択された画像を出力画像１５５として出力する。

以下、画像信号処理装置１００の各部の動作を詳細に説明する。本実施例の画像信号処理装置１００は、符号化画像データ１５０を入力し、動き情報１５３および残差情報１５４を利用するものである。よって、まず符号化画像データ１５０から説明する。

図２は、符号化画像データを生成する画像符号化装置２００の構成例を示すブロック図である。入力画像２５０はブロック分割部２０９によってブロックに分割される。分割された入力画像ブロック２５１は、減算器２００において、後述の動き探索部２０８より出力される予測画像ブロック２５５との減算処理が行われ、これにより入力画像ブロックの値と予測画像ブロックの値の差分情報（差分画像信号）２５２が生成される。ＤＣＴ部２０１は、減算器２００から出力される差分画像信号２５２を画像ブロック毎に離散コサイン変換（ＤＣＴ変換：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）して量子化部２０２に出力する。量子化部２０２は、入力されたＤＣＴ変換データを量子化する。量子化部２０２で生成された量子化データ２５３は、可変長符号化部２０３に入力される。可変長符号化部２０３は、入力データを可変長符号化し伝送回線に合わせて符号化画像データ１５０を出力する。

一方、量子化部２０２によって生成された量子化データ２５３は、逆量子化部２０４にて逆量子化される。逆量子化された画像ブロックデータは、逆ＤＣＴ部２０５にて逆ＤＣＴ変換され、差分ブロックとして復元される。加算器２０６は、復元された差分ブロックと動き探索部２０８からの予測画像ブロック２５５を加算して、局部復号画像を生成しフレームメモリ２０７に格納する。フレームメモリ２０７に格納された局部復号画像は、次に入力される画像信号を符号化する際に参照画像２５６として読み出される。動き探索部２０８は、フレームメモリ２０７から読み出した参照画像２５６に対して動き探索を行い、入力画像２５１との差が最小となる予測画像を求め、これを予測画像ブロック２５５として減算器２１０に出力する。同時に動き探索部２０８は、上記予測画像を求めた時の動き情報２５４を可変長符号化部２０３に出力する。可変長符号化部２０３は、量子化部２０２から出力される量子化データ２５３とともに上記動き情報２５４を可変長符号化して出力する。

このように、画像符号化装置２００から出力される符号化画像データ１５０には、画像フレーム間の差分情報２５２とともに動き情報２５４が含まれている。さらにこの差分情報と動き情報を、どのように生成するかを説明する。

図４は、図２のブロック分割部２０９の行うブロック分割の例を示したものである。符号４００は入力画像フレームを示し、この例では、入力画像４００を、横方向ｂｘ画素、縦方向ｂｙ画素を単位とした小ブロック４０１に分割した場合である。よって、図２の画像符号化装置では上記の小ブロック４０１を単位として処理を行う。

図５は、図２の動き探索部２０８の行う動き探索動作の例を示したものである。図２の入力画像２５０としてＮフレーム目の画像５００が入力し、これを符号化対象フレームとする。また（Ｎ−１）フレーム目の画像５０１は、画像５００よりも時間的に先行する（１つ前の）フレームであり、既に符号化が終了して図２のフレームメモリ２０７に蓄積されている。画像５００が小ブロックに分割され、その中のブロック５０２を図２の入力画像ブロック２５１として処理する場合を述べる。動き探索部２０８は、フレームメモリから読み出した参照画像（先行する画像５０１）の中で、ブロック５０２と比較して画像が最も類似している領域を探索する。探索の結果、この例では画像５０１中のブロック５０３が類似領域として選択されたことを示し、選択されたブロック５０３からブロック５０２への位置ずれ量を矢印５０４で示し、これを動きベクトル（動き情報）と呼ぶ。動き探索部２０８は、選択したブロック５０３を予測画像ブロックとして出力する。図２の減算器２１０は、入力画像であるブロック５０２と動き探索部２０８からの予測画像ブロック５０３とを比較し、その差分画像信号２５２を計算する。図２において、以降のＤＣＴ部２０１と量子化部２０２等では上記の差分画像信号２５２に対して処理を行い、最終的にはこの差分情報が符号化画像データ１５０として出力される。

図６は、動き探索処理において特に小数精度の動き探索処理の動作例を示したものである。小数精度とは、動きベクトルを画素間隔の整数倍よりも高精度に小数画素単位で検出する処理である。（ａ）は参照画像（図５の画像５０１）を、（ｂ）は入力画像の単位ブロック（図５の符号化対象ブロック５０２）を示す。

説明の簡略化のため、（ｂ）に示すように入力画像のブロックサイズを２×２とし、これに含まれる画素値をｃ_００、ｃ_０１、ｃ_１０、ｃ_１１とする。また、（ａ）に示すように参照画像中の既存の画素値をａ_ｉｊ（ｉ＝０，２，４、ｊ＝０，２，４）とし、入力画像のブロックサイズと同サイズの領域を６０１，６０２，６０３，６０４と設定する。この時、図５の動き探索処理では、図６（ｂ）の入力画像と図６（ａ）の各領域との類似度を評価する。（１）式は類似度評価式の一例であり、対応する位置での画素値の差分絶対値の和を算出する。例えば領域６０１については、次のように算出する。
評価値＝｜ｃ_００−ａ_００｜＋｜ｃ_０１−ａ_０２｜＋｜ｃ_１０−ａ_２０｜＋｜ｃ_１１−ａ_２２｜
・・・（１）

同様に、領域６０２、６０３、６０４についても評価値を算出する。そして、算出した評価値が最小となる領域を最も類似した領域として決定する。この場合、各領域６０１〜６０４を構成する画素は、参照画像中の既存の画素（画素値ａ_ｉｊ）で構成しているので、入力画像の位置とこれに最も類似した領域の位置とのずれ量は画素間隔の整数倍となる。すなわち、動き探索の精度は、画素間隔を単位として整数精度となる。

これに対し、動き探索の精度を、画素間隔を単位として小数精度で行う方法を説明する。この場合、参照画像内に、元々存在しない画素を補間して生成し、該生成した補間画素を用いて動き探索を行うものである。図６（ａ）の参照画像において、符号ｂ_ｉｊ（ｉ＝０〜４、ｊ＝０〜４）が補間画素である。補間画素ｂ_ｉｊは次の演算で生成する。

例えば、図６における画素ａ_００とａ_０２の水平方向の中間位置（１／２画素の位置）に当たる画素をｂ_０１とするとき、画素値ｂ_０１は（２）式により求める。
ｂ_０１＝（ａ_００＋ａ_０２）／２ ・・・（２）
同様に画素ａ_００とａ_２０の垂直方向の中間位置に当たる補間画素ｂ_１０についても、（３）式から求める。
ｂ_１０＝（ａ_００＋ａ_２０）／２ ・・・（３）
さらに、水平方向、垂直方向いずれも中間位置となる画素ｂ_１１は、２つの補間画素ｂ_０１、ｂ_２１から、（４）式のように算出する。
ｂ_１１＝（ｂ_０１＋ｂ_２１）／２
＝（ａ_００＋ａ_０２＋ａ_２０＋ａ_２２）／４ ・・・（４）

上記した１／２画素位置での補間画素の生成は、水平方向、垂直方向ともに２タップフィルタによって実現可能である。さらにタップ数を増やすことでこれを拡張すれば、さらに高精度の１／４、１／８、１／１６精度での補間画素を生成することが可能である。

このようにして生成した補間画素を用いることで、（１）の評価値の算出は小数画素精度で行うことができる。例えば図６（ａ）の領域６０５は、１／２精度の補間画素ｂ_１１、ｂ_１３、ｂ_３１、ｂ_３３で構成した領域であり、その評価値は（５）式で算出する。
評価値＝｜ｃ_００−ｂ_１１｜＋｜ｃ_０１−ｂ_１３｜＋｜ｃ_１０−ｂ_３１｜＋｜ｃ_１１−ｂ_３３｜
・・・（５）
このように、小数画素精度での動き探索評価を行うことにより、整数精度での動き予測と比べて更に動き探索時の予測精度を向上することが可能となる。

次に、図５を用いて、図２の動き探索部２０８から可変長符号化部２０３に出力する動き情報２５４について説明する。符号化対象ブロック５０２の左上端におけるアドレスを（ｘｃ，ｙｃ）とする。また、前記した評価値算出の結果、参照画像５０１の中で最も類似度の高い予測画像として選択されたブロック５０３の左上端におけるアドレスを（ｘｐ，ｙｐ）とする。上記アドレスは、画面内の左上端を基点（０、０）とした時の水平方向、垂直方向の位置を表す。ここで、動き情報はブロック５０３の左上端からブロック５０２の左上端を結ぶベクトル５０４のことであり、その水平ベクトル成分（ｍｖｘ）と垂直ベクトル成分（ｍｖｙ）は、（６）式で求められる。
ｍｖｘ＝ｘｃ−ｘｐ，
ｍｖｙ＝ｙｃ−ｙｐ ・・・（６）

そして、図２の動き探索部２０８は（６）式によって算出したｍｖｘ、ｍｖｙを示す動き情報２５４を可変長符号化部２０３に出力する。

以上のように、画像符号化装置２００では、符号化が終了した画像を復号化して参照画像とし、次に符号化する入力画像と参照画像との差分情報２５２と、参照画像の空間位置を特定する動き情報２５４とを符号化して出力するものであり、本実施例の画像信号処理装置１００ではこれらを利用する。

次に図３は、図１の画像信号処理装置における画像復号化部１０２の構成例を示すブロック図である。入力した符号化画像データ１５０は、可変長復号化部３００にて可変長復号し量子化データを得る。その際、データに含まれている符号化時の動き情報１５３（図２の動き情報２５４に相当）と、残差情報１５４（図２の差分情報２５２に相当）を抽出して出力する。

逆量子化部３０１は、量子化データを逆量子化して画像ブロックデータとし、逆ＤＣＴ部３０２は、画像ブロックデータを逆ＤＣＴ変換して差分ブロックデータ３５１を生成する。動き補償部３０５は、可変長復号化部３００から動き情報３５３を取得し、該動き情報に該当する参照画像をフレームメモリ３０４から読み出して加算器３０３に出力する。加算器３０３では、差分ブロックデータ３５１と参照画像３５２とを加算し復号画像を生成する。生成された復号画像は復号画像データ１５１として出力されるとともに、次の符号化データの参照画像として使用されるためフレームメモリ３０４に入力される。

これを上記の図５の動作例に当てはめると、図３の逆ＤＣＴ部３０２より出力される差分ブロックデータ３５１は、図５において画像ブロック５０２と画像ブロック５０３との差分情報に相当する。可変長復号化部３００より取得される動き情報３５３は、図５における動き情報５０４に相当する。動き補償部３０５より加算器３０３に出力される参照画像３５２は、図５における画像ブロック５０３に相当する。

次に、図１における第１の解像度変換部１０３の動作について、図５の画像例に当てはめて説明する。図１の画像復号化部１０２から復号画像１５１として図５の画像５００が出力され、このうちのブロック５０２について高解像度化を行う場合の動作を説明する。この時、画像復号化部１０２から動き情報１５３として画像ブロック５０２に対応する動き情報５０４が読み出される。この動き情報１５３（５０４）に対応する参照画像１５２として、バッファ部１０５より画像ブロック５０３が読み出され、第１の解像度変換部１０２に入力する。ここに動き情報１５３（５０４）は、画像ブロック５０２に対する動き情報であり、画像ブロック５０２に含まれる各画素それぞれに対する動き情報として考えることができる。第１の解像度変換部１０３は、画像ブロック５０２に含まれる各画素に対して、少なくとも参照画像である画像ブロック５０３を含む１枚以上の参照画像と動き情報１５３を用いて、超解像処理により高解像度化された画像を生成する。超解像処理においては、例えば非特許文献１などに記載された技術を用いることで、画素数を増加させることが可能である。その際、本実施例では符号化画像データに含まれる動き情報を用いることにより、フレーム間の位相差を用いた超解像処理に必要となる動き探索処理を簡略化し、演算量を削減することを可能となる。但し後述のように、動き情報１５３と残差情報１５４の値によっては超解像処理が不可能になる場合が生じるので、それを判定して適用を制御する。

一方、図１における第２の解像度変換部１０４の動作について説明する。第２の解像度変換部１０４は、画像復号化部１０２より出力される復号画像１５１について、同一フレーム内の画素を用いて画素数を増やす処理を行うものである。その方法として、例えば前記図６（ａ）に示した画素の内挿処理といった補間技術を用いることが可能である。

次に、図１の切替部１０６の動作について説明する。切替部１０６は、第１の解像度変換部１０３より出力される画像と第２の解像度変換部１０４より出力される画像のいずれか一方を選択して出力する。上記の切り替えを行うに当り、画像復号化部１０２より取得した動き情報１５３および残差情報１５４を用いる。解像度変換を行う対象ブロックについて、符号化データ中の動き情報１５３が小数精度の情報を含み、あるいは残差情報１５４が０でない時には第１の解像度変換部１０３を選択する。動き情報１５３が全て整数精度の情報で、かつ残差情報１５４が０の時には第２の解像度変換部１０４を選択する。ここで動き情報が整数精度とは、動きの起点となる画素ブロックが、図６の領域６０１〜６０４のように参照画像内の既存の画素ａ_ｉｊで構成される場合である。小数精度とは、動きの起点となる画素ブロックが、領域６０５のように補間画素ｂ_ｉｊで構成される場合である。小数値としては、１／２、１／４、１／８、１／１６などを組み合せた値となる。

以下、この選択処理について、図３と図５の動作例に当てはめて説明する。
解像度変換を行う対象ブロックを図５の画像ブロック５０２、解像度変換に用いる参照画像を図５の画像ブロック５０３とする。ここで、動き情報１５３が全て整数精度の場合とは、参照画像ブロック５０３が整数精度の動き予測によって算出された場合であり、図７（ｅ）において位相差θ（７１１）が０であることを意味する。また残差情報１５４は、図５において画像ブロック５０２とその参照画像ブロック５０３との差分情報を示す。差分情報が０の時には、図３において逆量子化部３０１および逆ＤＣＴ変換部３０２を経た差分情報３５１は同じく０となる。加算器３０３では、逆ＤＣＴ部３０２より出力される差分情報（＝０）と、動き補償部３０５より出力される参照画像（画像ブロック５０３）の加算を行った結果、図５の画像ブロック５０２の復号画像として、画像ブロック５０３と同一の画像データが生成される。

このような場合、画像ブロック５０２と画像ブロック５０３が完全に一致するため、第１の解像度変換部１０３ではフレーム間の位相差に基づいた超解像処理が行えないことになる。本実施例では、このような場合には、第２の解像度変換部１０４によるフレーム間の位相差を利用しない解像度変換画像を出力画像として選択する。これにより、上記のように動き（位相差）のない画像領域に対しても解像度変換を実現することが可能となる。

図８は、切替部１０６の切替制御を示すフローチャートである。ステップ８０１では、まず動き情報１５３が小数精度の情報を含むかどうかを判定する。判定の結果小数精度の情報を含む場合には、ステップ８０３に進み、第１の解像度変換部１０３からの出力（超解像処理後の出力）を選択する。判定の結果小数精度の情報を含まない（すなわち全て整数精度である）場合には、ステップ８０２に進む。

ステップ８０２では、残差情報１５４が０（ゼロ）であるかどうかを判定する。判定の結果残差情報が０である場合には、ステップ８０４に進み、第２の解像度変換部１０４からの出力を選択する。判定の結果残差情報が０でない場合には、ステップ８０３に進み、第１の解像度変換部１０３からの出力を選択する。

以上のように、本実施例の画像信号処理装置では、符号化画像信号を復号した復号画像信号に対して解像度変換を行う際に、符号化画像データに含まれる動き情報を用いることでフレーム間の位相差を用いた解像度変換に必要となる動き探索処理を簡略化し、演算量を削減することを可能にする。また、符号化画像データに含まれる残差情報および動き情報を用いることで、フレーム間の動き（位相差）の有無を検出し、動きのない画像領域については画面内の解像度変換処理を選択することで動き（位相差）のない画像領域についても解像度変換を実現することが可能となる。

図９は、実施例１の画像信号処理装置を適用した画像表示装置の例を示す構成図である。ここでは、画像信号処理部９０４が実施例１の画像信号処理装置１００に相当する。

画像表示装置９００は、録画機能付きのテレビジョン装置で、例えば、プラズマテレビ、液晶テレビ、ブラウン管テレビ、プロジェクションテレビなどである。入力部９０１は、テレビジョン放送やネットワークを介して伝送された映像（画像）音声コンテンツを入力するもので、チューナ、ＬＡＮ用コネクタ、ＵＳＢコネクタなどを備える。さらに、映像音声信号をデジタル入力する端子を備えたものでもよく、ワイヤレスでデータを受信する受信部でもよい。ここで映像（画像）コンテンツは、所定の符号化方式で符号化された符号化画像信号である。入力部９０１から入力されたコンテンツは、録画再生部９０２によりコンテンツ蓄積部９０３に録画（蓄積）し、また蓄積部９０３から再生する。蓄積部９０３には、ハードディスクドライブ、リムーバブルメディアディスクドライブ、フラッシュメモリなどを用いる。画像信号処理部９０４は、録画再生部９０２により再生した画像信号に対し実施例１で述べた高解像度化の画像信号処理を行う。表示部９０５は、画像信号処理部９０４にて高解像度化された画像信号を表示するもので、プラズマパネルモジュール、ＬＣＤモジュール、プロジェクタ用デバイスなどを用いる。一方音声出力部９０６は、録画再生部９０２が再生した音声信号を出力するスピーカ等である。制御部９０７は画像表示装置９００の各構成部を制御し、ユーザインタフェース部９０８はユーザの操作を受け付ける。なお、画像信号処理部９０４の機能は、制御部９０７とソフトウェアで実現することもできる。

本実施例の画像表示装置９００は、高解像度化処理を行う画像信号処理部９０４を備えることで、入力部９０１に入力された画像信号、あるいはそれがコンテンツ蓄積部９０３に録画され再生された画像信号を、より高解像度で高画質な画像信号として表示部９０５に表示することができる。よって、入力された画像信号が表示部９０５の解像度性能より低い場合でも、表示部９０５の性能に合わせて高解像度化して表示を行うことが可能となる。

高解像度化処理の一例として、入力画像が標準解像度画像（横７２０画素×縦４８０画素）である場合に、高精細解像度画像（横１９２０画素×縦１０８０画素）に解像度変換して表示することが可能となる。その際、画像の動き（サンプリング位相差）の有無に関わらず、高精細解像を安定して表示することが可能となる。

本実施例の構成では、画像信号処理部９０４を録画再生部９０２よりも後段に配置したので、コンテンツ蓄積部９０３に蓄積されるデータ量を増加させることなく、表示部９０５にて高解像度画像を表示できる。すなわち、コンテンツ蓄積部９０３への負担を軽減することができる。

図１０は、実施例１の画像信号処理装置を適用した画像録画装置の例を示す構成図である。ここでは、画像信号処理部１００２が実施例１の画像信号処理装置１００に相当する。

画像録画装置１０００は、例えば、ＨＤＤレコーダ、ＤＶＤレコーダなどのように大容量記憶媒体を備えた装置である。入力部１００１は、テレビジョン放送やネットワークを介して伝送された映像（画像）音声コンテンツを入力するもので、チューナ、ＬＡＮ用コネクタ、ＵＳＢコネクタなどを備える。さらに、映像音声信号をデジタル入力する端子を備えたものでもよく、ワイヤレスでデータを転送する受信部でもよい。ここで映像（画像）コンテンツは、所定の符号化方式で符号化された符号化画像信号である。画像信号処理部１００２は、入力部１００１から入力した画像コンテンツに対し実施例１で述べた高解像度化の画像信号処理を行う。高解像度化された画像と音声のコンテンツは、録画再生部１００３によりコンテンツ蓄積部１００４に録画（蓄積）し、また蓄積部１００４から再生する。蓄積部１００４には、ハードディスクドライブ、リムーバブルメディアディスクドライブ、フラッシュメモリなどを用いる。画像信号出力部１００５は、録画再生部１００３にて再生された画像信号を外部装置に出力する。音声信号出力部１００６は、録画再生部１００３にて再生した音声信号を外部装置に出力する。制御部１００７は画像録画装置１０００の各構成部を制御し、ユーザインタフェース部１００８はユーザの操作を受け付ける。なお、画像信号処理部１００２の機能は、制御部１００７とソフトウェアで実現することもできる。

画像信号出力部１００５は、画像信号をデジタル出力する端子、またはコンポジット端子やコンポーネント端子などのアナログ出力端子を備えたものである。あるいはＬＡＮ用コネクタ、ＵＳＢコネクタを備えたものでもよく、ワイヤレスでデータを転送する送信部でもよい。音声信号出力部１００６に関しても、画像信号出力部１００５と同様である。また、画像映像出力部１００５と音声信号出力部１００６とは、一体化して共通のケーブルで出力するコネクタ形状としてもよい。

本実施例の画像録画装置１０００は、高解像度化処理を行う画像信号処理部１００２を備えることで、入力部１００１に入力された画像コンテンツをより高解像度で高画質な画像信号として、コンテンツ蓄積部１００４に録画（蓄積）することができる。そして、コンテンツ蓄積部１００４に蓄積された高解像度で高画質な画像コンテンツを再生して、直ちに外部装置に出力することができる。よって、入力された画像コンテンツが外部装置の解像度性能より低い場合でも、外部装置の性能に合わせて高解像度化した信号を出力することが可能となる。

本実施例の構成では、画像信号処理部１００２を録画再生部１００３よりも前段に配置したので、再生時には高解像度化処理を行う必要がないため、再生時の処理負荷が軽減する。

さらに、上記実施例２の画像表示装置９００と実施例３の画像録画装置１０００において、それぞれの入力部９０１，１００１に、デジタルカメラ、ビデオカメラ、監視カメラなどのカメラ装置を接続して、カメラで撮影した画像の表示装置や録画装置とすることもできる。カメラ装置では、撮像光学系にて撮影対象を受光素子上に撮像し、受光素子から出力される信号を基に画像データを生成して、入力部９０１，１００１に入力する。その場合、入力部９０１，１００１において入力した画像データを所定の符号化方式にて符号化し、録画再生部９０２または画像信号処理部１００２へ出力する。画像信号処理部９０４，１００２では撮影画像の高解像度化を行い、表示部９０５にて表示、またはコンテンツ蓄積部１００４に録画する。

この実施例の場合、カメラの撮影解像度以上の解像度を有する高画質画像データを得ることができる。すなわち、カメラの受光素子の解像度を越えた解像度を有する高画質画像データや、撮影した画像データを用いて高画質なスチル画像データを得ることが可能となる。

本発明の画像信号処理装置の一実施例を示す構成ブロック図。 符号化画像データを生成する画像符号化装置の構成例を示すブロック図。 図１の画像復号化部１０２の構成例を示すブロック図。 図２のブロック分割部２０９の行うブロック分割の例を示す図。 図２の動き探索部２０８の行う動き探索動作の例を示す図。 動き探索処理において小数精度の動き探索処理の動作例を示す図。 超解像処理の概要を示す図。 切替部１０６の切替制御を示すフローチャート。 図１の画像信号処理装置を適用した画像表示装置の例を示す構成図。 図１の画像信号処理装置を適用した画像録画装置の例を示す構成図。

符号の説明

１００…画像信号処理装置
１０１…入力部
１０２…画像復号化部
１０３…第１の解像度変換部（超解像処理）
１０４…第２の解像度変換部
１０５…バッファ部
１０６…切替部
１０７…出力部
１５３，２５４，３５３，５０４…動き情報
１５４…残差情報
２００…画像符号化装置
２０８…動き探索部
２５２…差分画像信号
７１１…サンプリング位相差θ
９００…画像表示装置
９０４…画像信号処理部
９０５…表示部
１０００…画像録画装置
１００２…画像信号処理部
１００３…録画再生部
１００４…コンテンツ蓄積部。

Claims (6)

1. 画像信号を高解像度化する画像信号処理装置において、
   符号化された符号化画像データを復号化する画像復号化部と、
   該画像復号化部より出力される各画像フレームについて、隣接する複数の画像フレームの対応する画素を用いて画素数を増加させ高解像度化する第１の解像度変換部と、
   上記画像復号化部より出力される各画像フレームについて、同一の画像フレーム内の画素を用いて画素数を増加させ高解像度化する第２の解像度変換部と、
   上記第１の解像度変換部からの画像フレームと上記第２の解像度変換部からの画像フレームのいずれか一方を選択して出力する切替部とを備え、
   上記切替部は、上記符号化画像データ内に含まれる動き情報と残差情報を用いて出力する画像フレームを選択するものであって、上記動き情報が小数精度の情報を含み、あるいは上記残差情報が０でない時には上記第１の解像度変換部からの画像フレームを選択し、上記動き情報が全て整数精度の情報で、かつ上記残差情報が０の時には上記第２の解像度変換部からの画像フレームを選択することを特徴とする画像信号処理装置。
2. 請求項１に記載の画像信号処理装置において、
   前記第１の解像度変換部では、前記符号化画像データ内に含まれる動き情報に基づいて、隣接する複数の画像フレームの対応する画素を探索することを特徴とする画像信号処理装置。
3. 請求項１または２に記載の画像信号処理装置において、
   前記第１の解像度変換部では、複数の画像フレームの標本化位置の異なる画素データを用いて、画像信号の高周波成分を復元する超解像処理を実行し、
   前記第２の解像度変換部では、同一画像フレーム内の複数の画素を用いて新たな画素を補間して作成する処理を実行することを特徴とする画像信号処理装置。
4. 画像信号を高解像度化する画像信号処理方法において、
   符号化された符号化画像データを復号化するステップと、
   上記符号化画像データ内に含まれる動き情報と残差情報を抽出するステップと、
   復号化された各画像フレームについて、隣接する複数の画像フレームの対応する画素を用いて画素数を増加させ高解像度化する第１のステップと、
   復号化された各画像フレームについて、同一の画像フレーム内の画素を用いて画素数を増加させ高解像度化する第２のステップと、
   上記動き情報と残差情報を用いて、上記第１のステップまたは上記第２のステップにより高解像度化した画像フレームを選択して出力するステップとを備え、
   上記動き情報が小数精度の情報を含み、あるいは上記残差情報が０でない時には上記第１のステップにより高解像度化した画像フレームを選択し、上記動き情報が全て整数精度の情報で、かつ上記残差情報が０の時には上記第２のステップにより高解像度化した画像フレームを選択することを特徴とする画像信号処理方法。
5. 請求項４に記載の画像信号処理方法において、
   前記第１のステップでは、前記符号化画像データ内に含まれる動き情報に基づいて、隣接する複数の画像フレームの対応する画素を探索することを特徴とする画像信号処理方法。
6. 請求項４または５に記載の画像信号処理方法において、
   前記第１のステップでは、複数の画像フレームの標本化位置の異なる画素データを用いて、画像信号の高周波成分を復元する超解像処理を実行し、
   前記第２のステップでは、同一画像フレーム内の複数の画素を用いて新たな画素を補間して作成する処理を実行することを特徴とする画像信号処理方法。

Images