JP2010278898A - 超解像画像処理装置、超解像画像処理方法及びｉｐモジュールデータ - Google Patents

Abstract

【課題】超解像を利用して任意の目標倍率で解像度を拡大するための演算量と電力消費を低減する。
【解決手段】目標倍率を得るのに超解像によらない第１演算処理(１２)と超解像による第２演算処理（１１）を併用し、第２演算処理で指定可能な倍率の種類を第１演算処理で指定可能な倍率の種類よりも少なくする。例えば第２演算処理で指定可能な倍率の種類を２倍等の固定倍率とし、第１演算処理で指定可能な倍率を任意とする。これにより、任意の目標倍率による解像度データを超解像処理だけで実現する場合に比べて演算量を低減でき、電力消費を減らすことができる。
【選択図】図１

Description

本発明は、超解像を用いて画像データの解像度を拡大するための技術に関し、例えば、携帯電話、ディジタルカメラ、ディジタルビデオカメラ、ＤＶＤ／ＨＤＤ（ディジタル・ビデオ・ディスク／ハード・ディスク・ドライブ）レコーダ、ディジタルテレビ、カーナビゲーションシステムなどの画像表示を行なう装置やデータ処理システムに適用して有効な技術に関する。

低解像度から高解像度の画像を生成する技術として超解像の技術がある。特許文献１には超解像度画像を生成する技術について記載がある。これに記載の技術は、モニタに予め表示させなくてもむらのない最大の倍率を有する超解像度画像を自動的に生成することを目的とするものであり、第１の解像度を有する第１の画像が入力され、第１の画像を用いて第１の解像度よりも高い第２の解像度を有する第２の画像を生成する超解像度化部と、超解像度化部によって生成された第２の画像が入力され、第２の画像における部分領域ごとの鮮鋭度を計算する鮮鋭度計算部と、鮮鋭度計算部により計算された部分領域ごとの鮮鋭度が入力され、鮮鋭度を画像として表示するための値に変換したものを部分領域ごとに持つ第３の画像を生成する鮮鋭度画像生成部と、第１の画像及び前記第３の画像が入力され、第１の画像及び第３の画像を合成して第４の画像を生成する合成部を採用するものである。ここでは、超解像により縦横任意の倍率で画像データを高解像度化することが必要とされる。

特開２００８−９７１１０号公報

超解像とは、画像に含まれる情報のうち入力画像の標本化周波数で決定されるナイキスト周波数よりも高い周波数成分を復元する技術である。例えばこの超解像による処理ではバイ・キュービック（bi-cubic）方式のように輪郭強調処理又は先鋭化処理を伴って解像度の拡大を行い、バイ・リニア（bi-linear）方式のような単なる線形補間に比べて演算量が格段に増える。超解像による演算処理では、拡大する画素の演算には倍率に応じて異なるパラメータを用い、演算に用いる周囲の標本点の画素数も倍率に応じて相違される。したがって、任意倍率で超解像による画像の拡大を行う場合には演算量が増え、それ見合う高い処理能力を持ったプロセッサ等も必要になり、結局、電力消費量や演算処理時間の増大を招くことになる。機器組み込み用途、一般コンシューマ向け機器、バッテリ駆動される携帯電話やその他ＰＤＡ等の携帯端末などではその問題点が特に顕在化する。

本発明の目的は、超解像を利用して任意の目標倍率で解像度を拡大するための演算量と電力消費を低減することができる超解像画像処理装置を提供することを目的とする。

本発明の別の目的は、超解像を利用して任意の目標倍率で解像度を拡大するための演算量と電力消費を低減することができる超解像画像処理方法を提供することを目的とする。

本発明の更に別の目的は、超解像を利用して任意の目標倍率で解像度を拡大するための演算量と電力消費の低減に資する超解像画像処理装置を半導体集積回路として容易に実現可能にするＩＰモジュールデータを提供することにある。

本発明の前記並びにその他の目的と新規な特徴は本明細書の記述及び添付図面から明らかになるであろう。

本願において開示される発明のうち代表的なものの概要を簡単に説明すれば下記の通りである。

すなわち、目標倍率を得るのに超解像によらない第１演算処理と超解像による第２演算処理を併用し、第２演算処理で指定可能な倍率の種類を第１演算処理で指定可能な倍率の種類よりも少なくする。例えば第２演算処理で指定可能な倍率の種類を２倍等の固定倍率とし、第１演算処理で指定可能な倍率を任意とする。これにより、任意の目標倍率による解像度データを超解像処理だけで実現する場合に比べて演算量を低減でき、電力消費を減らすことができる。

本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記のとおりである。すなわち、超解像を利用して任意の目標倍率で解像度を拡大するための演算量と電力消費の低減に資することができる。

図１は本発明に係る超解像画像処理装置の一例である任意倍率超解像部の原理的な構成を例示するブロック図である。 図２は本発明に係る超解像画像処理装置の一例である任意倍率超解像部を適用したデータ処理システムのブロック図である。 図３は任意倍率超解像部のＩＰモジュールデータの構成を例示する説明図である。 図４はエッジ量を考慮して解像度の拡大を制御する任意倍率超解像処理部を例示するブロック図である。 図５はノイズ量を考慮して解像度の拡大を制御する任意倍率超解像処理部を例示するブロック図である。 図６はノイズ量を考慮して解像度の拡大を制御する別の任意倍率超解像処理部を例示するブロック図である。 図７は目標倍率の変更に際して超解像と非超解像の加重平均を行うことが可能な任意倍率超解像処理部を例示するブロック図である。 図８はディジタルズームに図７の任意倍率超解像処理部を適用したときの動作タイミング図である。 図９は画像の色成分ごとに超解像処理を活性／非活性に制御可能な任意倍率超解像処理部を例示するブロック図である。 図１０は画素毎の透過情報を保有する画像データに対応する任意倍率超解像処理部を例示するブロック図である。 図１１Ａは本発明に係る超解像画像処理装置の一例である動画像高画質化処理部の構成を例示するブロック図である。 図１１Ｂは本発明に係る超解像画像処理装置の別の例である動画像高画質化処理部の構成を例示するブロック図である。 図１２Ａは本発明に係る超解像画像処理装置の一例である動画像高画質化処理部の別の構成を例示するブロック図である。 図１２Ｂは本発明に係る超解像画像処理装置の別の例である動画像高画質化処理部の別の構成を例示するブロック図である。

１．実施の形態の概要
先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。

〔１〕本発明の代表的な実施の形態に係る超解像画像処理装置（４）は、複数の倍率の中から選択された第１の倍率で画像データに対して超解像によらずに解像度の拡大又は縮小を行う第１演算処理部（1２)と、前記複数の倍率よりも種類の少ない倍率の中の第２の倍率で画像データに対して超解像による解像度の拡大を行う第２演算処理部（１１）と、前記第１演算処理部及び第２演算処理部を用いて解像度の拡大を行うとき前記第１の倍率と第２の倍率の積が目標倍率（Ｎ）になるように前記第１演算処理部及び第２演算処理部に指示を与える制御部（１３）と、を有する。これにより、任意の目標倍率による解像度データを超解像処理だけで実現する場合に比べて演算量を低減でき、電力消費を減らすことができる。

〔２〕＜整数倍率の超解像＞項１の超解像画像処理装置において、前記第２の倍率は整数倍率である。小数倍率に比べて第２演算処理部により超解像の演算処理が軽くなる。

〔３〕＜２のべき乗数の超解像＞項２の超解像画像処理装置において、前記第２の倍率は２のべき乗数の倍率である。第２演算処理部により超解像の演算処理は更に軽くなる。

〔４〕＜固定倍率の超解像＞項１乃至３の何れかの超解像画像処理装置において、前記第２の倍率は固定倍率である。第２演算処理部により超解像の演算処理は複数倍率の中から選択可能にする場合に比べて処理プログラム又はハードウェアロジックの規模を最小にすることができる。

〔５〕＜可変倍率の超解像＞項１乃至３の何れかの超解像画像処理装置において、前記第２の倍率は複数種類の倍率から選択された倍率である。前記第２の倍率を固定倍率に限定する場合に比べて超解像による効果の度合いに柔軟性を得ることができる。

〔６〕＜ハードウェア・ソフトウェア＞項１乃至５の何れかの超解像画像処理装置において、前記第１の演算処理部及び前記制御部は中央処理装置（１）とそれが実行する動作プログラム（３０）から成り、前記第２の演算処理部は前記中央処理装置によってその動作の指示が行われるソフトウェア・アクセラレータ（３１）とそれが実行する動作プログラム（３２）から成る。

〔７〕項１乃至５の何れかの超解像画像処理装置において、前記制御部は中央処理装置とそれが実行する動作プログラムから成り、前記第１の演算処理部及び第２の演算処理部は前記中央処理装置によって動作の指示が行われるソフトウェア・アクセラレータとそれが実行する動作プログラムから成る。

〔８〕項１乃至５の何れかの超解像画像処理装置において、前記制御部は中央処理装置とそれが実行する動作プログラムから成り、前記第１の演算処理部及び第２の演算処理部は前記中央処理装置によって動作の指示が行われる夫々個別のハードウェア・アクセラレータ（３３）から成る。

〔９〕項１乃至５の何れかの超解像画像処理装置において、前記第１の演算処理部及び前記制御部は中央処理装置とそれが実行する動作プログラムから成り、前記第２の演算処理部はハードウェア・アクセラレータから成る。

〔１０〕項６乃至９の何れかの超解像画像処理装置において、前記制御部は前記中央処理装置に代えてハードウェアロジックにより構成される。

〔１１〕＜エッジ量を考慮＞項１乃至１０の何れかの超解像画像処理装置（４Ａ）において、前記制御部（１３Ａ）は、解像度を拡大すべき画像データの特性として1つのフレーム内における画像の明るさの変化の度合いが小さいときは前記第２演算処理部を非活性とし前記第１演算処理部だけで目標倍率になるように指示を与える。画像の明るさの変化の度合いが小さい場合には超解像を採用することによる画像の鮮明化の効果は薄れるから、その場合には超解像の演算処理を省けば、画像の劣化を抑えて演算量と消費電力を削減することができる。

〔１２〕項１１の超解像画像処理装置において、前記制御部は、前記画像データの特性として輪郭検出（４０）によって得られる局所的なエッジ量を入力し、入力したエッジ量が所定の閾値を超えていなければ前記第１演算処理部だけで目標倍率になるように、また、前記エッジ量が所定の閾値を超えたときは前記第１の倍率と第２の倍率の積が目標倍率になるように、前記第１の演算処理部及び第２の演算処理部に指示を与える。

〔１３〕項１２の超解像画像処理装置において、前記輪郭検出によって得られる局所的なエッジ量は前記画像データにおける複数画素単位とされ、前記制御部は前記第１の演算処理部及び第２の演算処理部への指示を前記複数画素単位で行う。

〔１４〕＜ノイズ量を考慮＞項１乃至１０の何れかの超解像画像処理装置（４Ｂ）において、前記制御部（１３Ｂ）は、第１演算処理部及び第２演算処理部を用いて解像度の拡大を行うとき解像度を拡大すべき画像データの特性として画像データにおけるノイズ量に応じて第１演算処理部による拡大処理を最初に行なうか前記第２演算処理部による拡大処理を最初に行なうかの指示を第１演算処理部及び第２演算処理部に与える。ノイズ量が多いときに超解像による解像度の拡大を行えば不所望にノイズが強調される虞があり、先に超解像によらない解像度の拡大を行えばノイズの緩和を期待できる場合があり、何れを先にするかによってノイズの拡大を回避することが可能になる。

〔１５〕項１４の超解像画像処理装置において、前記制御部は、前記画像データの特性としてノイズ量を暗黙的に示す情報（５６）を入力し、入力した情報によってノイズ量が多いと判別したときは第１演算処理部による拡大処理を最初に行ない、入力した情報によってノイズ量が少ないと判別したときは前記第２演算処理部による拡大処理を最初に行なうように指示を与える。

〔１６〕項１５の超解像画像処理装置（４Ｃ）において、前記制御部（１３Ｃ）は、前記ノイズ量が多いと判別したときは第１演算処理部による拡大処理を前記第２演算処理部による拡大処理の前後で２回に分けて行ない、前記第２演算処理部による拡大処理の前後で夫々行なう第１演算処理部による拡大処理の倍率を前記ノイズ量の暗黙的指示情報と目標倍率とに基づいて決めるように指示を与える。解像度の拡大によってノイズを増大させない制御の精度を高くすることが可能になる。最初に大きな倍率で超解像によらずに解像度の拡大を行ってしまうと、その後の超解像による効果が期待できなくなる場合があり、そのようなときに超解像の前後で超解像によらない処理を分けることにより、超解像による効果を維持しながらノイズを低減することができる。

〔１７〕項１５又は１６の超解像画像処理装置において、前記ノイズ量を暗黙的に示す情報は画像データのビットレート情報又は符号化データの復号に用いた量子化パラメータである。

〔１８〕＜超解像と非超解像の加重平均＞項１乃至１０の何れかの超解像画像処理装置はさらに、画像データに対して超解像によらずに前記第２の倍率で解像度の拡大行う第３演算処理部（６０）と、前記第２演算処理部で処理された画像データと前記第３演算処理部で処理された画像データとの加重平均を行う第４演算処理部（６１，６２，６３）と、を有する。前記制御部（１３Ｄ）は、前記第１演算処理部と第２演算処理部による解像度の拡大途中で前記第１の倍率を大きくするとき、前記第２演算処理部で処理された画像データに対する加重平均の重みを０から１に漸増し、且つ、前記第３演算処理部で処理された画像データに対する加重平均の重みを１から０に漸減して、前記目標倍率を実現する指示を与える。これにより、解像度の拡大途中で超解像によらない画像から超解像による画像への急激な変化を抑制でき、滑らかに解像度を拡大遷移させることができる。

〔１９〕項１８の超解像画像処理装置において、前記制御部は、前記第１演算処理部と第２演算処理部により拡大された解像度の縮小途中で前記第１の倍率を小さくするとき、前記第２演算処理部で処理された画像データに対する加重平均の重みを１から０に漸減し、且つ、前記第３演算処理部で処理された画像データに対する加重平均の重みを０から１に漸増して、前記目標倍率を実現する指示を与える。これにより、解像度の縮小途中で超解像による画像から超解像によらない画像への急激な変化を抑制でき、滑らかに解像度を縮小遷移させることができる。

〔２０〕＜画素成分毎の超解像処理＞項１乃至１０の何れかの超解像画像処理装置（４Ｅ）において、前記第２の演算処理部（１１＿Ｒ,１１＿Ｇ,１１＿Ｂ）は画素成分毎に超解像による解像度の拡大を行い、前記第１の演算処理部は画素成分毎に超解像によらない解像度の拡大を行う。前記制御部は、解像度を拡大すべき画像データにおける画素成分毎の特性として画像の1つのフレーム内における明るさの変化の度合いが小さな画素成分に対して前記第２演算処理部では超解像による解像度の拡大処理を非活性にすると共に、前記第１演算処理部では超解像による解像度の拡大処理が非活性にされた画素成分に対して前記第１演算処理部だけで目標倍率になるように指示を与える。項１１で説明したと同様の、画像の劣化を抑えて演算量と消費電力を削減することができる、という効果を、ＲＧＢやＣｒ，Ｙ，Ｃｂのような画素成分毎に得ることができる。

〔２１〕項２０の超解像画像処理装置において、前記制御部は、前記画像データにおける画素成分毎の特性として輪郭検出によって得られる局所的なエッジ量（４１）を入力し、入力したエッジ量が所定の閾値を超えていなければ対応する画素成分に対して前記第１演算処理部だけで目標倍率になるように、また、前記エッジ量が所定の閾値を超えたときは対応する画素成分に対して前記第１の倍率と第２の倍率の積が目標倍率になるように、前記第１の演算処理部及び第２の演算処理部に指示を与える。

〔２２〕＜α値の拡大/縮小＞項１乃至１０の何れかの超解像画像処理装置（４Ｆ）において、画像データが画素毎の透過情報（α）を保有するとき前記第１の演算処理部及び第２の演算処理部は透過情報も画素情報と同様に拡大又は縮小の演算対象とする。透過情報についても解像度の拡大に整合させることができる。

〔２３〕＜フレームレートの制御＞項１乃至１０の何れかの超解像画像処理装置（９０）は更に、画像データのフレームレートを変換するフレームレート変換部（８０＿Ａ）を有する。更に、フレームレート変換部（８０＿Ａ）には、画像解像度を拡大する機能は無いため、フレームレート変換部の前段あるいは後段に前記第１の画像処理部及び第２の画像処理部による解像度と同じ解像度へ変換するための任意倍率拡大処理部（８０＿Ｂ）を有する。この任意倍率拡大処理部（８０＿Ｂ）は超解像を伴わない。前記制御部（８１，１３）は画像データにおける動きの大小を示す情報を入力し、入力した情報によって動き量が多いと判別したときは前記第１の画像処理部及び第２の画像処理部による解像度の拡大に代えてフレームレート変換部及び任意倍率拡大処理部によりフレームレートを増加し、また、前記入力した情報によって動き量が少ないと判別したときはフレームレート変換部によるフレームレートの増加に代えて前記第１の画像処理部及び第２の画像処理部により解像度を拡大するように指示を与える。動き量が大きいときは超解像による画像鮮明化を期待できず、フレームレートを増やすことによって画像を鮮明にすることができる。逆に動き量が小さいときはフレームレートを増やしても画像を鮮明にすることはできず、超解像による解像度の拡大によって画像を鮮明にすることができる。

〔２４〕項１乃至１０の何れかの超解像画像処理装置（９０Ａ）は更に、画像データのフレームレートを変換するフレームレート変換部（８０＿Ａ）を有する。更に、フレームレート変換部（８０＿Ａ）には、画像解像度を拡大する機能は無いため、フレームレート変換部の前段あるいは後段に前記第１の画像処理部及び第２の画像処理部による解像度と同じ解像度へ変換するための任意倍率拡大処理部（８０＿Ｂ）を有する。この任意倍率拡大処理部（８０＿Ｂ）は超解像を伴わない。前記制御部（８１Ａ，１３）は画像データにおける動きの大小を示す情報を入力し、入力した情報によって動き量が多いと判別したときは前記第１の画像処理部及び第２の画像処理部による解像度の拡大に代えてフレームレート変換部及び任意倍率拡大処理部によりフレームレートを増加し、前記入力した情報によって動き量が普通であると判別したときはフレームレート変換部によるフレームレートの増加と共に、フレームレートが増加された画像データに対して前記第１の画像処理部及び第２の画像処理部により解像度を拡大するように指示を与え、前記入力した情報によって動き量が少ないと判別したときはフレームレート変換部によるフレームレートの増加に代えて前記第１の画像処理部及び第２の画像処理部により解像度を拡大するように指示を与える。動き量の大中小三段階に応じた上記制御態様により超解像とフレームレート増大による効果の度合いに柔軟性を得ることができる。

〔２５〕請求項２３又は２４の超解像画像処理装置において、前記動きの大小を示す情報は符号化データの復号に用いた動きベクトル（８４）である。

〔２６〕本発明の代表的な別の実施の形態に係る超解像画像処理方法は、複数の倍率の中から選択された第１の倍率で画像データに対して超解像によらずに解像度の拡大又は縮小を行う第１演算処理と、前記複数の倍率よりも種類の少ない倍率の中の第２の倍率で画像データに対して超解像による解像度の拡大を行う第２演算処理と、前記第１演算処理及び第２演算処理を用いて解像度の拡大を行うとき前記第１の倍率と第２の倍率の積が目標倍率になるように前記第１演算処理及び第２演算処理を指示する制御処理と、を有する。

〔２７〕＜エッジ量を考慮＞請求項２６記載の超解像画像処理方法において、前記制御処理は、輪郭検出処理によって得られる画像データの特性としての局所的なエッジ量が所定の閾値を超えていなければ前記第１演算処理だけで目標倍率になるように、また、前記エッジ量が所定の閾値を超えたときは前記第１の倍率と第２の倍率の積が目標倍率になるように、前記第１の演算処理及び第２の演算処理を指示する。

〔２８〕＜ノイズ量を考慮＞請求項２６記載の超解像画像処理方法において、前記制御処理は、画像データの特性としてノイズ量を暗黙的に示す入力情報によってノイズ量が多いと判別したときは第１演算処理による拡大処理を最初に行ない、入力した情報によってノイズ量が少ないと判別したときは前記第２演算処理による拡大処理を最初に行なうように、前記第１の演算処理及び第２の演算処理を指示する。

〔２９〕請求項２８記載の超解像画像処理方法において、前記制御処理は、前記ノイズ量が多いと判別したときは第１演算処理による解像度拡大を前記第２演算処理による解像度拡大の前後で２回に分けて行ない、前記第２演算処理による解像度拡大の前後で夫々行なう第１演算処理による解像度拡大の倍率を入力パラメータに基づいて決めるように指示を与える。

〔３０〕＜超解像と非超解像の加重平均＞請求項２６記載の超解像画像処理方法は更に、画像データに対して超解像によらずに前記第２の倍率で解像度の拡大を行う第３演算処理と、前記第２演算処理で処理された画像データと前記第３演算処理で処理された画像データとの加重平均を行う第４演算処理とを有する。前記制御処理は、前記第１演算処理と第２演算処理による解像度の拡大途中で前記第１の倍率を大きくするとき、前記第２演算処理で処理された画像データに対する加重平均の重みを０から１に漸増し、且つ、前記第３演算処理で処理された画像データに対する加重平均の重みを１から０に漸減して、前記目標倍率を実現させる。

〔３１〕請求項３０記載の超解像画像処理方法において、前記制御処理は、前記第１演算処理と第２演算処理により拡大された解像度の縮小途中で前記第１の倍率を小さくするとき、前記第２演算処理で処理された画像データに対する加重平均の重みを１から０に漸減し、且つ、前記第３演算処理で処理された画像データに対する加重平均の重みを０から１に漸増して、前記目標倍率を実現させる。

〔３２〕＜画素成分毎の超解像処理＞請求項２６記載の超解像画像処理方法において、前記第２の演算処理は画素成分毎に超解像による解像度の拡大を行い、前記第１の演算処理は画素成分毎に超解像によらない解像度の拡大を行い、前記制御処理は、前記画像データにおける画素成分毎の特性として輪郭検出処理によって得られる局所的なエッジ量が所定の閾値を超えていなければ対応する画素成分に対して前記第１演算処理だけで目標倍率になるように、また、前記エッジ量が所定の閾値を超えたときは対応する画素成分に対して前記第１の倍率と第２の倍率の積が目標倍率になるように、前記第１の演算処理及び第２の演算処理を指示する。

〔３３〕＜α値の拡大/縮小＞請求項２６記載の超解像画像処理方法において、画像データが画素毎の透過情報を保有するとき前記第１の演算処理及び第２の演算処理は透過情報も画素情報と同様に拡大又は縮小の演算対象とする。

〔３４〕＜フレームレートの制御＞請求項２６記載の超解像画像処理方法は更に、画像データのフレームレートを変換するフレームレート変換処理を有する。項２３で説明した通りフレームレートの変換だけでは画像解像度を拡大する機能が無いため、ここで言うフレームレート変換処理には超解像によらない任意倍率拡大機能を伴う。前記制御処理は、画像データにおける動きの大小を示す入力情報によって動き量が多いと判別したときは前記第１の画像処理及び第２の画像処理による解像度の拡大に代えてフレームレート変換処理によりフレームレートを増加し、また、前記入力情報によって動き量が少ないと判別したときはフレームレート変換処理によりフレームレートの増加に代えて前記第１の画像処理及び第２の画像処理による解像度の拡大を指示する。

〔３５〕請求項２６記載の超解像画像処理方法は更に、画像データのフレームレートを変換するフレームレート変換処理を有する。項３４と同様に、フレームレートの変換だけでは画像解像度を拡大する機能が無いため、ここで言うフレームレート変換処理には超解像によらない任意倍率拡大機能を伴う。前記制御処理は、画像データにおける動きの大小を示す入力情報によって動き量が多いと判別したときは前記第１の画像処理及び第２の画像処理による解像度の拡大に代えてフレームレート変換部によりフレームレートを増加し、前記入力情報によって動き量が普通であると判別したときはフレームレート変換部によりフレームレートを増加し、且つ、フレームレートが増加された画像データに対して前記第１の画像処理及び第２の画像処理による解像度の拡大を指示し、前記入力情報によって動き量が少ないと判別したときはフレームレート変換処理によりフレームレートの増加に代えて前記第１の画像処理及び第２の画像処理により解像度の拡大を指示する。

〔３６〕＜ＩＰモジュールデータ＞本発明の代表的な別の実施の形態に係るＩＰモジュールデータ（２０）は、半導体集積回路の設計支援プログラムを実行するコンピュータ装置が入力することによって前記半導体集積回路の設計対象データとして処理されるデータであって、複数の倍率の中から選択された第１の倍率で画像データに対して超解像によらずに解像度の拡大又は縮小を行う第１演算処理部の設計データ（２２）と、前記複数の倍率よりも種類の少ない倍率の中の第２の倍率で画像データに対して超解像による解像度の拡大を行う第２演算処理部の設計データ（２１）と、前記第１演算処理部及び第２演算処理部を用いて解像度の拡大を行うとき前記第１の倍率と第２の倍率の積が目標倍率になるように前記第１演算処理部及び第２演算処理部に指示を与える制御部の設計データ（２３）と、を有する。前記第１の演算処理部の設計データ及び前記制御部の設計データは中央処理装置が実行するための動作プログラム記述（３０）である。前記第２の演算処理部の設計データは前記中央処理装置によってその動作の指示が行われるソフトウェア・アクセラレータの回路パターンデータ又は回路記述データ（３１）とそれが実行する動作プログラム記述（３２）である。

〔３７〕本発明の代表的な別の実施の形態に係るＩＰモジュールデータは、半導体集積回路の設計支援プログラムを実行するコンピュータ装置が入力することによって前記半導体集積回路の設計対象データとして処理されるデータであって、複数の倍率の中から選択された第１の倍率で画像データに対して超解像によらずに解像度の拡大又は縮小を行う第１演算処理部の設計データと、前記複数の倍率よりも種類の少ない倍率の中の第２の倍率で画像データに対して超解像による解像度の拡大を行う第２演算処理部の設計データと、前記第１演算処理部及び第２演算処理部を用いて解像度の拡大を行うとき前記第１の倍率と第２の倍率の積が目標倍率になるように前記第１演算処理部及び第２演算処理部に指示を与える制御部の設計データと、を有する。前記制御部の設計データは中央処理装置が実行する動作プログラム記述である。前記第１の演算処理部の設計データ及び第２の演算処理部の設計データは前記中央処理装置によって動作の指示が行われるソフトウェア・アクセラレータの回路パターンデータ又は回路記述データとそれが実行する動作プログラム記述である。

〔３８〕本発明の代表的な別の実施の形態に係るＩＰモジュールデータは、半導体集積回路の設計支援プログラムを実行するコンピュータ装置が入力することによって前記半導体集積回路の設計対象データとして処理されるデータであって、複数の倍率の中から選択された第１の倍率で画像データに対して超解像によらずに解像度の拡大又は縮小を行う第１演算処理部の設計データと、前記複数の倍率よりも種類の少ない倍率の中の第２の倍率で画像データに対して超解像による解像度の拡大を行う第２演算処理部の設計データと、前記第１演算処理部及び第２演算処理部を用いて解像度の拡大を行うとき前記第１の倍率と第２の倍率の積が目標倍率になるように前記第１演算処理部及び第２演算処理部に指示を与える制御部の設計データと、を有する。前記制御部の設計データは中央処理装置が実行する動作プログラム記述である。前記第１の演算処理部の設計データ及び第２の演算処理部の設計データは前記中央処理装置によって動作の指示が行われる夫々個別のハードウェア・アクセラレータの設計データ（３３）である。

〔３９〕本発明の代表的な別の実施の形態に係るＩＰモジュールデータは、半導体集積回路の設計支援プログラムを実行するコンピュータ装置が入力することによって前記半導体集積回路の設計対象データとして処理されるデータであって、複数の倍率の中から選択された第１の倍率で画像データに対して超解像によらずに解像度の拡大又は縮小を行う第１演算処理部の設計データと、前記複数の倍率よりも種類の少ない倍率の中の第２の倍率で画像データに対して超解像による解像度の拡大を行う第２演算処理部の設計データと、前記第１演算処理部及び第２演算処理部を用いて解像度の拡大を行うとき前記第１の倍率と第２の倍率の積が目標倍率になるように前記第１演算処理部及び第２演算処理部に指示を与える制御部の設計データと、を有する。前記第１の演算処理部の設計データ及び前記制御部の設計データは中央処理装置が実行する動作プログラム記述である。前記第２の演算処理部の設計データはハードウェア・アクセラレータの設計データである。

〔４０〕項３６乃至３９の何れかのＩＰモジュールデータにおいて、前記制御部の設計データは、前記中央処理装置が実行するプログラム記述に代えてハードウェアロジックの設計データとさる。

２．実施の形態の詳細
実施の形態について更に詳述する。

《超解像画像処理を適用したデータ処理システム》
図２には本発明に係る超解像画像処理を適用したデータ処理システムが例示される。同図に示されるデータ処理システムは、例えば、地上波ディジタル放送であるワンセグの受信から表示までを行うシステムであり、例えばワンセグチューナを備えた携帯電話などである。データ処理システムは、特に制限されないが、中央処理装置（ＣＰＵ）１、符号化圧縮動画像復号部２、画像処理部３、発明に係る超解像画像処理を適用した任意倍率超解像部４、画像表示部５及びメモリ等６がバス７を共有し、符号化圧縮動画像復号部２には受信装置９が接続され、画像表示部５には液晶ディスプレイ（ＬＣＤ）などの表示装置８が接続されて構成される。

図２のデータ処理システムにおいて、ワンセグによるデータの受信及び受信データの表示動作では、まずワンセグ放送のビットストリームを受信装置９で受信し、例えばＨ．２６４に規格に準拠した符号化圧縮動画像復号処理部２によって画像へ復号する。復号された画像データ（たとえばＱＶＧＡサイズとされる）はメモリ等６によって次の処理を行う装置あるいはソフトウェアへ渡されることになる。復号された画像データはそのままでは表示に適さないため、ターゲットとなる表示デバイスへ合わせて色空間変換、回転処理、サイズ変換などを画像処理部３で行なう。このときに行うサイズ変換が拡大処理を伴う場合、画像の輪郭がボケてしまい、通常これは人間の目には画質劣化として認知される。このボケを避けるために、任意倍率超解像部４を用いることで様々なサイズがある表示デバイスの表示サイズへ超解像により解像度の拡大を行い、輪郭のボケを防いだ高画質な表示画像データを生成する。図２ではＱＶＧＡサイズがＷＶＧＡサイズに解像度が拡大されている。

図２に示される符号化圧縮動画像復号部２、画像処理部３、及び任意倍率超解像部４は、ハードウェア・アクセラレータとして、ソフトウェア・アクセラレータのデータ処理機能として、或いはＣＰＵ１のデータ処理機能によって実現されてよい。したがって、例えばＣＰＵ１とは別の機能ブロックとして図示された回路任意倍率超解像部４はその全部又は一部の機能がＣＰＵ１とその動作プログラムによって実現されてもよい。また、図２のデータ処理システムにおいて、単数又は複数の回路基板上に形成され、参照符号１乃至６で示される機能ブロックは任意の組合せによって或いは個別に、単数又は複数の半導体集積回路デバイス等によって構成されればよい。

《任意倍率超解像部の原理的な構成》
図１には任意倍率超解像部４の原理的な構成が例示される。本発明の代表的な実施の形態に係る任意倍率超解像処理部４は、複数の倍率の中から指定された第１の倍率で画像データに対して超解像によらずに解像度の拡大又は縮小を行う第１演算処理部としての任意倍率拡大／縮小処理部１２と、前記複数の倍率よりも種類の少ない倍率の中の第２の倍率で画像データに対して超解像による解像度の拡大を行う第２演算処理部としての倍率限定超解像処理部１１と、任意倍率拡大／縮小処理部１２及び倍率限定超解像処理部１１を用いて解像度の拡大を行うとき前記第１の倍率と第２の倍率の積が目標倍率になるように任意倍率拡大／縮小処理部１２及び倍率限定超解像処理部１１に指示を与える制御部１３と、を有する。

図１において１４は目標倍率を指定する信号、１５は倍率限定超解像処理部１１の解像度拡大処理の活性／非活性等を指示する制御信号、１６は第１の倍率を指定するとともに任意倍率拡大／縮小処理部１２の活性／非活性等を指示する制御信号である。

第２の倍率には、整数倍率、２のべき乗数の倍率、又は整数に限らない固定倍率を採用することができ、更に、第2の倍率はそれらの内の複数倍率から所望に選択される倍率あってもよい。ここでは第２の倍率を例えば固定倍率の２倍とする。例えば信号１４によって制御部１３に指示される目標倍率をN倍とすれば、制御部１３が信号１６によって任意倍率拡大／縮小処理部１２に指示する倍率はＮ／２倍とされる。

任意倍率超解像処理部４に信号１４によって倍率Ｎと低解像度の画像データ１７が入力される。制御部１３は倍率限定超解像処理部１１が持つ倍率（第２の倍率、例えば２倍）と入力された倍率から、任意倍率拡大／縮小処理部１２へ指示する倍率（第１の倍率、例えばＮ／２倍）を計算し、信号１５によって倍率限定超解像処理部１１に画像データ１７を超解像で解像度を２倍に拡大する処理を指示し、信号１６によって任意倍率拡大／縮小処理部１２には倍率限定超解像処理部１１で処理された画像データに超解像によらずに解像度をＮ／２倍に拡大する処理を指示する。倍率限定超解像処理部１１には例えば輪郭強調処理又は先鋭化処理を伴って処理量が大きくなるが高画質である公知のバイ・キュービック（bi-cubic）方式、或いはその他の超解像手法を採用すればよい。任意倍率拡大／縮小処理部１２には単なる線形補間の用に処理量が少ない公知のバイ・リニア（bi-linear）方式を採用すればよい。

このように倍率制御される任意倍率超解像部４を採用することにより、倍率限定超解像処理部１１によって一定の倍率（図２の例では２倍）へ高解像度化された画像データは、任意倍率拡大／縮小処理部１２によって任意のサイズ（図２の例ではＮ／２倍）へ解像度変換され、目標倍率（図２の例ではＮ倍）が得られる。限定された倍率を機能として持つ倍率限定超解像処理部１１と任意倍率拡大/縮小処理機能を有する任意倍率拡大／縮小処理部１２を目標倍率を得るように制御することで、任意倍率への超解像処理に容易に対応であるとともに、演算処理量を削減することが可能となる。直接任意の目標倍率で超解像を行う従来手法の場合には、拡大する画素の演算には倍率に応じて異なるパラメータを用い、演算に用いる周囲の標本点の画素数も倍率に応じて相違されるから、何れの倍率が指定されても対応できるようにそのパラメータを予め用意したりその都度演算で求めたり、夫々異なる演算シーケンスを実現するためのハードウェア又はソフトウェアを全て備えていなければならない。限定的な倍率だけで超解像を行う場合にはそのハードウェア又はソフトウェアの規模は格段に縮小される。これにより、任意倍率拡大／縮小処理部１２、倍率限定超解像処理部１１及び制御部１３をハードウェア実装する場合は回路規模が削減され、またそれらをソフトウェアで実装する場合にはＣＰＵの処理サイクル数が削減でき、以って、システムの消費電力を低減することができる。

一方、画質に関しては、倍率限定超解像処理部１１による超解像処理で高画質化および高精細化された画像をベースに後段の任意倍率拡大／縮小処理部１２で拡大縮小処理を実施するために、バイ・リニア方式によるような任意拡大のみの処理に比べて画質が格段に向上する。特に、目標倍率に対して超解像処理の倍率（固定倍率）が近い数値の場合、後段の任意倍率拡大/縮小処理の倍率が１倍に近くなり（例えば、1.25倍、0.8倍等）、任意倍率拡大/縮小処理による画像の劣化（ボケ）の度合いが小さくなるため、結果として、本発明による任意倍率超解像部４は直接任意の目標倍率で超解像を行った場合に近い高画質な画像を得ることができる。

第２の倍率について、整数倍率にすれば小数倍率に比べて超解像の演算処理が軽くなる。第２の倍率を２のべき乗数の倍率にすれば超解像の演算処理は更に軽くなる。また、第２の倍率を固定倍率とすれば、複数倍率の中から選択可能にする場合に比べて倍率限定超解像処理部１１のハードウェア若しくはソフトウェアに規模を縮小することができる。第２の倍率を、任意よりも限定的なある範囲、例えば２倍、４倍、又は８倍の範囲で選択可能とすれば第２の倍率を固定倍率に限定する場合に比べて、ハードウェア若しくはソフトウェアの規模はある程度拡大するが、超解像による効果の度合いに柔軟性を得ることが容易になる。

《任意倍率超解像部のハードウェア／ソフトウェア構成の切り分け》
次に、倍率限定超解像処理部１１、任意倍率拡大／縮小処理部１２及び制御部１３をハードウェア的に構成する場合とソフトウェア的に構成する場合の代表的な態様について説明する。

第１の態様は、任意倍率拡大／縮小処理部１２及び制御部１３を中央処理装置１とそれが実行する動作プログラムによって構成し、倍率限定超解像処理部１１を前記中央処理装置１によってその動作の指示が行われるソフトウェア・アクセラレータとそれが実行する動作プログラムによって構成する。ソフトウェア・アクセラレータとはそのデータ処理機能が特定のデータ処理に、ここでは限定的倍率による超解像処理に、専用化されたプログラム処理装置である。

第２の態様は、制御部１３を中央処理装置１とそれが実行する動作プログラムによって構成し、任意倍率拡大／縮小処理部１２及び倍率限定超解像処理部１１を前記中央処理装置１によってその動作の指示が行われるソフトウェア・アクセラレータとそれが実行する動作プログラムによって構成する。ソフトウェア・アクセラレータは、ここでは限定的倍率による超解像処理と任意倍率拡大／縮小処理とに専用化されたプログラム処理装置である。

第３の態様は、制御部１３を中央処理装置１とそれが実行する動作プログラムによって構成し、任意倍率拡大／縮小処理部１２及び倍率限定超解像処理部１１を前記中央処理装置１によってその動作の指示が行われる夫々個別のハードウェア・アクセラレータによって構成する。ハードウェア・アクセラレータとはソフトウェアに依存せずに特定のデータ処理を行なうハードウェアロジック回路である。

第４の態様は、任意倍率拡大／縮小処理部１２及び制御部１３を中央処理装置１とそれが実行する動作プログラムによって構成し、倍率限定超解像処理部１１を前記中央処理装置１によってその動作の指示が行われるハードウェア・アクセラレータによって構成する。

尚、上記各態様において前記中央処理装置１に代えてハードウェアロジックにより前記制御部１３を構成することも可能である。

《任意倍率超解像部のＩＰモジュールデータ》
図３には任意倍率超解像部４のＩＰモジュールデータの構成が例示される。ＩＰモジュールデータとは、半導体集積回路の設計支援プログラムを実行するコンピュータ装置が入力することによって前記半導体集積回路の設計対象データとして処理されるデータであって、コンピュータ読み取り可能な記録媒体あるいはコンピュータネットワークなどを介して提供される。

ＩＰモジュールデータ２０は前記第１演算処理部としての任意倍率拡大／縮小処理部１２の設計データ２２と、前記第２演算処理部としての倍率限定超解像処理部１１の設計データ２１と、前記制御部１３の設計データ２３と、デバッグ用情報２４とを有する。デバッグ用情報２４は、ＩＰモジュールデータ２０用いて設計した半導体集積回路の評価に際して任意倍率超解像部４の評価に用いるシミュレーション制御情報やエミュレーション制御情報などが含まれる。設計データ２１，２２，２３の夫々は、第１乃至第３の形態の何れかによって提供される。

設計データの第１の形態は、中央処理装置１が実行するための動作プログラム記述３０である。プログラム記述はＣ言語のような高級言語で記述されたソースプログラム、或いは特定のアーキテクチャを有する中央処理装置のための機械語プログラム記述であってよい。

設計データの第２の形態は、ソフトウェア・アクセラレータの回路パターンデータ又は回路記述データ３１と、ソフトウェア・アクセラレータのプログラム記述３２である。回路パターンデータとは半導体集積回路のマスクパターンデータであり、所謂ハードＩＰを構成するデータである。回路記述データとはハードウェア記述言語などによって回路構成や回路動作タイミングを規定した所謂ソフトＩＰを構成する記述データである。ソフトウェア・アクセラレータのプログラム記述は、ソフトＩＰで構成されるソフトウェア・アクセラレータに実行させるプログラムを高級言語で記述したもの、或いはハードＩＰで構成されるソフトウェア・アクセラレータに実行させるプログラムを特定機械語で記述したものである。

設計データの第３の形態は、ハードウェア・アクセラレータの回路パターンデータ又は回路記述データ３３である。回路パターンデータとは半導体集積回路で構成されるハードウェアロジックのマスクパターンデータであり、所謂ハードＩＰを構成するデータである。回路記述データとはハードウェア記述言語などによってハードウェアロジックの回路構成や回路動作タイミングを規定した所謂ソフトＩＰを構成する記述データである。

ＩＰモジュールデータ２０を構成する設計データの態様は種々の組合せが可能である。例えば、第１の組み合わせ態様は、前記制御部１３の設計データ２３を、中央処理装置１の動作プログラム記述３０とし、任意倍率拡大／縮小処理部１２の設計データ２２及び倍率限定超解像処理部１１の設計データ２１を、中央処理装置１によって動作の指示が行われソフトウェア・アクセラレータの回路パターンデータ又は回路記述データ３１とそれが実行する動作プログラム記述３２とする。第２の組合せ態様は、前記制御部１３の設計データ２３を、中央処理装置１の動作プログラム記述３０とし、任意倍率拡大／縮小処理部１２の設計データ２２及び倍率限定超解像処理部１１の設計データ２１を、中央処理装置１によって動作の指示が行われる夫々個別のハードウェア・アクセラレータの設計データ３３とする。第３の組合せ態様は、任意倍率拡大／縮小処理部１２の設計データ及び制御部１３の設計データを中央処理装置１の動作プログラム記述３０とし、倍率限定超解像処理部１１の設計データをハードウェア・アクセラレータの設計データ３３とする。上記制御部１３の設計データには、中央処理装置１のプログラム記述に代えてハードウェアロジックの回路パターンデータ又は回路記述データを採用してもよい。

《任意倍率超解像部におけるエッジ量の考慮》
図４にはエッジ量を考慮して解像度の拡大を制御する任意倍率超解像処理部４Ａが例示される。任意倍率超解像処理部４Ａにおいて、制御部１３Ａは、解像度を拡大すべき画像データの特性として画像の1つのフレーム内における明るさの変化の度合いが小さいときは倍率限定超解像処理部１１を非活性とし任意倍率拡大／縮小処理部１２だけで目標倍率になるように指示を与える。更に詳しくは、前記制御部１３は、前記画像データの特性として輪郭検出部４０による輪郭検出によって得られる局所的なエッジ量４１を入力し、入力したエッジ量４１が所定の閾値を超えていなければ任意倍率拡大／縮小処理部１２だけで目標倍率になるように、また、前記エッジ量４１が所定の閾値を超えたときは図１に基づいて説明したように前記第１の倍率と第２の倍率の積が目標倍率になるように、前倍率限定超解像処理部１１及び任意倍率拡大／縮小処理部１２に指示を与える。切換え制御信号４２と切換えスイッチ４３は前者の動作と後者の動作において入力画像データ１７の供給経路を切換えるための手段をハードウェア的に示したものである。

輪郭検出部４０による輪郭検出には例えば２次元ラプラシアンフィルタを用いればよい。輪郭検出部４０は、図２のシステムで説明したように動画像を復号した画像データ１７を入力する場合、画素の相関を周波数的に示したＤＣＴ係数を復号部２から取得し、そのＤＣＴ係数からマクロブロックと呼ばれる例えば１６画素×１６画素の領域ごとにエッジの量を判定することも有効である。要するに、前記輪郭検出部４０により画像データにおける複数画素単位で局所的なエッジ量を取得し、制御部１３は当該複数画素単位で前記前倍率限定超解像処理部１１及び任意倍率拡大／縮小処理部１２に対する動作の指示を与える。

その他の構成は図１等に基づいて説明した通りであるからその詳細な説明は省略する。輪郭検出部４０の機能は制御部１３Ａの機能に取り込んでもよい
このように輪郭検出部による制御を行うことで超解像効果が得られにくい画像領域、即ち、1つのフレーム内における画像の明るさの変化の度合いが小さい場所、例えば、もともと輪郭がない画像領域や動きが激しい場所などでは、超解像処理を行わずに単純に任意倍率拡大/縮小処理部１２で拡大する。これに対して超解像効果が得られやすい領域では倍率限定超解像処理部１１による超解像処理を適用する。このような判定を行い画像の一部領域のみへ超解像処理を行うことで、処理量を削減し、消費電力を削減して、超解像処理を実行することができる。

《任意倍率超解像部におけるノイズ量の考慮》
図５にはノイズ量を考慮して解像度の拡大を制御する任意倍率超解像処理部４Ｂが例示される。任意倍率超解像処理部４Ｂにおいて、制御部１３Ｂは、任意倍率拡大/縮小処理部１２及び倍率限定超解像処理部１１を用いて解像度の拡大を行うとき解像度を拡大すべき画像データの特性として画像データにおけるノイズ量に応じて倍率限定超解像処理部１１による拡大処理を最初に行なうか任意倍率拡大/縮小処理部１２による拡大処理を最初に行なうかを制御する。ノイズ量が多いときに超解像による解像度の拡大を行えば不所望にノイズが強調される虞があり、先に超解像によらない解像度の拡大を行えばノイズの緩和を期待できる場合があり、何れを先にするかによってノイズの拡大を回避することが可能になる。ワンセグなどの圧縮された動画像の場合には、符号化歪などのノイズが重畳されている。このノイズの量が一定量以上含まれていると、超解像の処理によってノイズが本来の輪郭より強調されてしまうことがある。例えばマクロブロック毎の境界が格子状に現れることがある。そのため、ノイズ量を暗黙的に示す情報５６として、例えば符号化圧縮動画像を復号するときの情報（ビットレート情報又は符号化データの復号に用いた量子化パラメータ）によって重畳されているノイズの量を推測し、ノイズ量が多いときには倍率限定超解像処理部１１による超解像処理の前に任意倍率拡大/縮小処理部１２による拡大処理を行って、入力画像データに重畳されているノイズや符号化歪が最初に先鋭化若しくは強調されるのを抑制する。換言すれば、超解像によって先鋭化若しくは強調される先鋭化の成分を単なる解像度拡大処理によって小さくしてから、超解像処理を行う。これにより、超解像処理時にノイズや符号化歪による誤処理を防止することができる。

図５において切換え制御信号５０，５２，５４と切換えスイッチ５１，５３，５５は任意倍率拡大/縮小処理部１２と倍率限定超解像処理部１１との実行順序を入れ替えるための手段をハードウェア的に示したものである。倍率限定超解像処理部１１による処理を行ってから任意倍率拡大/縮小処理部１２による処理を行う場合には画像データの経路は５１，１１，５３，１２，５５の順番とされる。任意倍率拡大/縮小処理部１２による処理を先に行ってから倍率限定超解像処理部１１による処理を行う場合には画像データの経路は５３，１２，５１，１１，５３，５５の順番とされる。その他の構成は図１等に基づいて説明した通りであるからその詳細な説明は省略する。ここでは、ノイズの含まれる量の推測のために、ビットレート、量子化パラメータ値などの符号化情報を例として説明したが、局所領域における画素値の偏差を用いるなど、ノイズが予測できる手段であれば何でもよい。

図６にはノイズ量を考慮して解像度の拡大を制御する別の任意倍率超解像処理部４Ｃが例示される。任意倍率超解像処理部４Ｃでは、任意倍率拡大/縮小処理部１２による拡大処理を倍率限定超解像処理部１１による拡大処理の前後で２回に分けて行なうことが可能にされる。ここでは、便宜上、任意倍率拡大/縮小処理部１２を倍率限定超解像処理部１１の前後に１２＿Ｆ，１２＿Ｓとして別々に図示し、制御信号も１６＿Ｆ，１６＿Ｓとして別々に図示してある。

任意倍率超解像処理部４Ｃにおいて、制御部１３Ｃは、ビットレート情報又は量子化パラメータなどのノイズ量を暗黙的に示す情報５６によって推測されるノイズ量が多いと判別したときは任意倍率拡大/縮小処理部１２_Ｆ，１２_Ｓによる拡大処理を倍率限定超解像処理部１１による拡大処理の前後で２回に分けて行ない、前記倍率限定超解像処理部１１による拡大処理の前後で夫々行なう１２＿Ｆ，１２＿Ｓによる拡大処理の夫々の倍率を、目標倍率１４及び情報５６に基づいて決めるように制御する。夫々の倍率は信号２１６＿Ｆ，１６＿Ｓのよって任意倍率拡大/縮小処理部１２_Ｆ，１２_Ｓに与えられる。

任意倍率超解像処理部４Ｃによれば、画像データに重畳されているノイズを増大させないようにする上記制御の精度を高くすることが可能になる。すなわち、最初に大きな倍率で超解像によらずに解像度の拡大を行ってしまうと、その後の超解像による効果が期待できなくなる場合があり、そのようなときに超解像の前後で超解像によらない処理を分けることにより、超解像による効果を維持しながらノイズを低減することができる。図６の任意倍率超解像処理部４Ｃは図５の構成と比較して、超解像効果の度合いを任意に調整できるという特徴がある。倍率限定超解像処理部１１の前段での拡大率を抑えて後段での倍率を大きくすれば、超解像の効果が強まる。また、逆に前段での拡大率を大きくし、後段での倍率を小さくすれば超解像の効果が弱まる。図５で説明したような符号化情報などの情報５６を使用する制御を採用することによって超解像効果の強弱を調整することができるため、ノイズなどによって劣化した画像を超解像処理する場合に、その劣化度合いに応じて超解像の強弱を適切に変化させることができる。そのためノイズが多く含まれるような画像に対しても最適な画質の任意超解像処理を行うことが可能になる。

任意倍率超解像処理部４Ｃにおいて、任意倍率拡大/縮小処理部１２_Ｆ及び１２_Ｓによる処理を並列化することを要しない場合には、任意倍率拡大/縮小処理部は１２_Ｆ及び１２_Ｓのように夫々個別に配置しなくてもよい。例えばソフトウェア・アクセラレータとその動作プログラムによって同一の構成を採用すればよい。パイプライン的に処理を行おうとする場合には個別化したほうがよい。また、任意倍率超解像処理部４Ｃの機能は図５に示される構成でも実現することができる。すなわち、図５の構成において出力を一度メモリなどへ格納し、それを再び図５の構成に与えて任意倍率拡大/縮小処理部１２で拡大するようにすればよい。ただし、１枚の画像を処理するために任意倍率超解像処理部１２を２回動作しなければならないため、処理時間を多く必要とする。特に動画像の表示シーケンスにおいては、フレーム毎にパイプライン処理することが必要になってくるため、図６に示したように任意倍率拡大/縮小処理部を１２_Ｆと１２_Ｓのように個別化することにより、性能のみでなくアプリケーション全体の制御方式も簡素化することができる。したがって、図６に示されるような処理形態を採用することにより、図５の構成に比べて高性能化と制御の単純化の双方で優位となる。

その他の構成は図１等に基づいて説明した通りであるからその詳細な説明は省略する。

《超解像と非超解像の加重平均》
図７には目標倍率の変更に際して超解像と非超解像の加重平均を行うことが可能な任意倍率超解像処理部４Ｄが例示される。図１の構成に対して任意倍率超解像処理部４Ｄは、画像データに対して超解像によらずに前記倍率限定超解像処理部１１と同じ第２の倍率で解像度の拡大行う第３演算処理部としての倍率限定拡大処理部６０を更に備えると共に、倍率限定超解像処理部１１で処理された画像データと倍率限定拡大処理部６０で処理された画像データとの加重平均を行う第４演算処理部として乗算器６１，６２及び加算器６３を有する。乗算器６２は倍率限定超解像処理部１１の出力に加重平均の重みβを乗算する。乗算器６１は倍率限定拡大処理部６０の出力に加重平均の重み１−βを乗算する。加算器６３は乗算器６１と６２の出力を加算して、倍率限定超解像処理部１１で処理された画像データと倍率限定拡大処理部６０で処理された画像データとの加重平均の結果を得る。切換え制御信号６４と切換えスイッチ６５は、加算器６３の出力（経路３）、倍率限定超解像処理部１１の出力（経路２）、又は入力画像データ１７（経路１）を選択して任意倍率拡大/縮小処理部１２に供給するための手段をハードウェア的に示したものである。制御部１３Ｄは、任意倍率拡大/縮小処理部１２及び倍率限定超解像処理部１１を用いた解像度の拡大途中で前記信号１６により任意倍率拡大/縮小処理部１２に指示する倍率（第１の倍率）を大きくするとき、倍率限定超解像処理部１１で処理された画像データ（乗算器６２への入力データ）に対する加重平均の重みβを０から１に漸増し、且つ、前記倍率限定拡大処理部６０で処理された画像データ（乗算器６１への入力データ）に対する加重平均の重み１−βを１から０に漸減して、目標倍率を実現するように制御する。これにより、解像度の拡大途中で超解像によらない画像から超解像による画像への急激な変化を抑制でき、滑らかに解像度を拡大遷移させることができる。また、前記制御部１３Ｄは、任意倍率拡大/縮小処理部１２及び倍率限定超解像処理部１１を用いた拡大された解像度の縮小途中で前記信号１６により任意倍率拡大/縮小処理部１２に指示する倍率（第１の倍率）を小さくするとき、倍率限定超解像処理部１１で処理された画像データに対する加重平均の重みβを１から０に漸減し、且つ、前記倍率限定拡大処理部６０で処理された画像データに対する加重平均の重み１−βを０から１に漸増して、前記目標倍率を実現する指示を与える。これにより、解像度の縮小途中で超解像による画像から超解像によらない画像への急激な変化を抑制でき、滑らかに解像度を縮小遷移させることができる。

このように、経路１として入力画像データ１７、経路２として倍率限定超解像処理部１１の処理データ、経路３として倍率限定超解像処理部１１及び倍率限定拡大処理部６０の拡大処理結果に対する重みβを用いた加重平均結果のデータを求め、経路１乃至３の中からから1つの経路を選択し、選択した経路からのデータを任意倍率拡大縮小処理部１２へ供給する。これによって、経路１では超解像処理を行わず、経路２では超解像処理がもっとも強く効く処理が行われ、経路３では超解像の効果をβ値によって調節できる、構造となっている。この構造の利点は、例えば、なんらの外部的要因により超解像処理をオフにする場合に、あるフレームを境に超解像処理を非活性にすると映像の解像感が急激に変化して好ましくない。超解像を非活性するときに、図７の構成において、あるフレームからその後の所定フレーム数の期間の間に、βの値を０から徐々に１に移行することにより超解像を活性化するときに、βの値を１から徐々に０に移行することにより超解像を非活性化するときに、超解像のOFF/ONによる画質の急激な変化を防止し、視聴者の不快感を軽減することができる。

例えばディジタルズームを行う場合にも、ズームの度合いに応じて画像がぼける度合いが変化する。このとき、あるズーム倍率のときに超解像処理の強度を変化させると映像の解像感が急激に変化し好ましくない。この場合にも、経路３によってβの値を１から徐々に０に移行し、また０から徐々に１に移行することにより、超解像ＯＦＦ／ＯＮによる画質の急激な変化を防止して、視聴者の不快感を軽減できる。図８の例は５倍以上のディジタルズームに任意倍率超解像処理部４Ｄを用いる。時刻ｔ０からｔ２までは経路１を選択し、時刻ｔ２で経路３に切換え、βを０から１に漸増しながら任意倍率拡大/縮小処理部１２の倍率を漸増する。少なくとも時刻ｔ２から倍率限定（２倍限定）拡大処理部６０と倍率限定（２倍限定）超改造処理部１１が活性化されていて、加算回路路６３から出力される２倍に拡大された画像データに占める超解像の効果はβの漸増に比例して増加し、時刻ｔ３で１００％になる。要するに、ディジタルズームが高倍率になるとき超解像適用へのスムースな切換えが可能になる。一方、時刻ｔ４からディジタルズームの倍率を徐々に下げると、時刻ｔ５からβを１から０に漸減開始し、且つ、任意倍率拡大/縮小処理部１２の倍率を１以下に漸減し、時刻ｔ６でβが０になったところで経路３から経路１に切換える。これにより、加算回路路６３から出力される２倍に拡大された画像データに占める超解像の効果は時刻５から始まるβの漸減に比例して減少し、時刻ｔ６で０％になる。要するに、ディジタルズームが低倍率になるとき超解像不適用へのスムースな遷移が可能になる。特に、倍率減少に伴う超解像不適用への遷移では任意倍率拡大/縮小処理部１２の倍率を１より小さくなるまで漸減して超解像不適用になるタイミングを極力遅延させるように制御（ヒステリシス制御）した。特に図示はしないが、ディジタルズームの倍率を上げるときも任意倍率拡大/縮小処理部１２による倍率が２倍になる前からβを漸増するようにして超解像が適用になるタイミングを早めるように制御（ヒステリシス制御）することも可能である。

このように、光学ズームとディジタルズームの併用時には、光学ズームからディジタルズームに変化すると急激に画像がぼけ始めるから、このときに、本発明の任意倍率超解像処理部４Ｄを用いて、図８に例示されるような制御を行うことにより、非常にスムースな光学ズームからディジタルズームへの切り替えが実現できる。尚、図８に示すヒステリシス制御は制御特性によっては必ずしも必須ではない。

その他の構成は図１等に基づいて説明した通りであるからその詳細な説明は省略する。

《画素成分毎の超解像処理》
図９には画像の色成分ごとに超解像処理を活性／非活性に制御可能な任意倍率超解像処理部４Ｅが例示される。倍率限定超改造処理部１１は画像の各入力成分であるＲ成分、Ｇ成分、Ｂ成分、或いはＣｒ成分、Ｙ成分、Ｃｂ成分毎に超解像処理を活性／非活性に制御可能にされる。１１＿ＲはＲ成分又はＣｒ成分に対して倍率限定（例えば２倍限定）で超解像による解像度の拡大を行う倍率限定超改造処理部、１１＿ＧはＧ成分又はＹ成分に対して倍率限定（例えば２倍限定）で超解像による解像度の拡大を行う倍率限定超改造処理部、１１＿ＢはＢ成分又はＣｂ成分に対して倍率限定（例えば２倍限定）で超解像による解像度の拡大を行う倍率限定超改造処理部である。１５＿Ｒは倍率限定超改造処理部１１＿Ｒに対する解像度拡大動作の活性／非活性などを指示する信号、１５＿Ｇは倍率限定超改造処理部１１＿Ｇに対する解像度拡大動作の活性／非活性などを指示する信号、１５＿Ｂは倍率限定超改造処理部１１＿Ｂに対する解像度拡大動作の活性／非活性などを指示する信号である。

制御部１３Ｅは、解像度を拡大すべき画像データにおける画素成分毎の特性として画像の1つのフレーム内における明るさの変化の度合いが小さな画素成分に対応する倍率限定超改造処理部では超解像による解像度の拡大処理を非活性にすると共に、任意倍率拡大/縮小処理部１２では超解像による解像度の拡大処理が非活性にされた画素成分に対して任意倍率拡大/縮小処理部１２だけで目標倍率になるように指示を与える。具体的には、画像データにおける画素成分毎の特性として輪郭検出によって得られる局所的なエッジ量を入力し、入力したエッジ量が所定の閾値を超えていなければ対応する画素成分に対して任意倍率拡大/縮小処理部１２だけで目標倍率になるように、また、前記エッジ量が所定の閾値を超えたときは対応する画素成分に対して倍率限定超改造処理部１１による倍率と任意倍率拡大/縮小処理部１２による倍率との積が目標倍率になるように、任意倍率拡大/縮小処理部１２及び倍率限定超改造処理部１１（１１＿Ｒ，１１＿Ｇ，１１＿Ｂ）を制御する。

これによれば、ある画像に含まれる色成分の輪郭量が少ない場合、その色成分の超解像による拡大処理を非活性に制御することで、演算処理量を大幅に削減することができる。各色成分毎の輪郭量の抽出は前述と同様の輪郭抽出部４０で行えば良い。或いは、図２に示したように前段に位置する画像処理部３などで行い、ここで抽出した輪郭量（たとえば微分フィルタによる検出エッジの総和や全画素値の偏差）がある閾値よりも多きい輪郭量を持つ色成分は超解像処理を活性とし、ある閾値よりも少ない輪郭量しか持たない色成分は超解像処理を非活性とすればよい。

その他の構成は図１等に基づいて説明した通りであるからその詳細な説明は省略する。

《α値の拡大/縮小》
図１０には画素毎の透過情報を保有する画像データに対応する任意倍率超解像処理部４Ｆが例示される。任意倍率超解像処理部４Ｆは今までに述べてきた構造の任意倍率超解像に加えて、透過情報としてのα値を拡大できる構成を備える。α値を持った画像が超解像処理によって高解像度化されると、その画像のα値が持つ解像度とは異なるものになってしまうため、超解像処理以降、透過情報αがまったく使用できなくなる。任意倍率超解像処理部４Ｆはこれを解決するために、α値に対して超解像と同じ倍率に限定した倍率限定α値拡大処理部７１によって拡大し、その後段の任意倍率拡大/縮小部７２によって画像解像度と同じ解像度へ拡大/縮小する。これによって、α値を持つ画像データ１７Ｆに対しても超解像処理を行うことができる。α値を拡大するには、画素値と同様に、任意倍率拡大/縮小部７２にはBi-linear方式などを、倍率限定α値拡大処理部７１にはBi-Cubic方式などを使用することができる。透過情報についても解像度の拡大に整合させることができる。その他の構成は図１等に基づいて説明した通りであるからその詳細な説明は省略する。

《フレームレートの制御》
図１１Ａ、図１１Ｂには本発発明に係る超解像画像処理装置としての動画像高画質化処理部の構成が例示される。同図に示される動画像高画質化処理部９０は、任意倍率超解像処理部４に代表される今まで説明した何れかの構成を備えた任意倍率超解像処理部の構成の他に、画像データのフレームレートを変換するフレームレート変換部８０＿Ａ、及びそのフレームレート変換部の前段または後段に超解像画像処理装置と同じ解像度へ変換するための任意倍率拡大処理装置８０＿Ｂを有する。任意倍率拡大処理装置８０＿Ｂは信号１５，１６による任意倍率超解像処理部４の倍率と同一倍率に制御される。超解像/フレームレート変換・判定処理部８１は、画像データにおける動きの大小を示す情報を入力し、入力した情報によって動き量が多いと判別したときは任意倍率超解像処理部４の前記任意倍率拡大/縮小処理部１２及び倍率限定超改造処理部１１による解像度の拡大に代えてフレームレート変換部８０＿Ａによりフレームレートを増加し且つ任意倍率拡大処理装置８０＿Ｂで拡大を行ない、また、前記入力した情報によって動き量が少ないと判別したときはフレームレート変換部８０＿Ａによるフレームレートの増加に代えて任意倍率超解像処理部４の前記任意倍率拡大/縮小処理部１２及び倍率限定超改造処理部１１により解像度を拡大するように指示を与える。切換え制御信号８２と切換えスイッチ８３は前者の動作と後者の動作において出力画像データを選択するための手段をハードウェア的に示したものである。特に図示はしないが、超解像/フレームレート変換・判定処理部８１は任意倍率超解像処理部４における制御部１３と一体的に構成されればよい。

超解像/フレームレート変換・判定処理部８１では、圧縮動画像の復号過程で生成される動きベクトル値の情報８４を使用し、１フレーム全体を見て動きベクトルの総量が大きい、あるいは局所的でも一定の閾値を越えた動きベクトル値があるなどいった情報から、そのフレームにおける動きの大小を判定する。動きが大きい画像領域では人間の視覚特性上、画像がぼけて見えるという特徴をから超解像の効果が薄い。そのため、大きな動きを滑らかに見せるためにフレームレート変換部８０＿Ｂでフレームレート変換処理を行う。また動きが少ない領域は人間の視覚における解像度が上がるという特性のために、任意倍率超解像処理部４を用いて解像感の向上を実現する。このように動き情報を利用してフレームレート変換と任意倍率超解像処理を制御することで、動画像の中で動きが大きい領域のなめらかさ向上と、動きが少ない領域の解像感向上を少ない処理量で実現できる。特に、超解像処理とフレームレート変換をいずれもソフトウェアで実現している場合、これら２つの処理を排他的に行うことにより、２つの処理を同時に実施する場合に比べて、CPUリソース（CPU周波数及びメモリ等）を低減・削減することができる。特にＣＰＵの周波数を低減した場合は、機器の消費電力を削減することができ、バッテリ動作時には機器の動作時間を長くすることができる。

図１２Ａ及び１２Ｂには本発発明に係る超解像画像処理装置としての動画像高画質化処理部の別の構成９０Ａが例示される。図１２Ａ、図１２Ｂは各々図１１Ａ、図１１Ｂの構成（経路２）に対して経路１と３を拡張したもので、図１１Ａ、図１１Ｂで説明したように動きが大きい場合は経路１を選択する。しかし一定の動きはあるが動きの量がそれほど大きくない場合には、経路３を選択することでフレームレート変換処理と任意倍率超解像処理の両方を適用し、動きの滑らかさと解像感の両方を向上させることが可能である。これらの経路選択は、本発明に入力される動き情報８４を参照して超解像/フレームレート変換・判定処理部８１Ａが行う。即ち、超解像/フレームレート変換・判定処理部８１Ａは画像データにおける動きの大小を示す情報８４を入力し、入力した情報によって動き量が多いと判別したときは任意倍率超解像処理部４の任意倍率拡大/縮小処理部１２及び倍率限定超改造処理部１１による解像度の拡大に代えてフレームレート変換部８０＿Ａおよび任意倍率拡大処理部８０_Ｂによりフレームレートの増加と解像度の拡大を行う。このときの任意倍率拡大処理部８０_Ｂによる解像度の拡大率は任意倍率超解像処理部４による解像度の倍率と同一にされる。前記入力した情報８４によって動き量が普通であると判別したときはフレームレート変換部８０＿Ａによりフレームレートを増加し、且つ、フレームレートが増加された画像データに対して任意倍率超解像処理部４の任意倍率拡大/縮小処理部１２及び倍率限定超改造処理部１１により解像度を拡大するように指示を与える。特に図１２Ｂの場合は切り替えスイッチ８７の入力の前にフレームレート変換部８０＿Ａおよび任意倍率拡大処理部８０_Ｂが配置されるから、任意倍率拡大処理部８０_Ｂおよび任意倍率超解像処理部４による解像度の倍率は併せて目的倍率になるようにう前記制御部１３等によって制御される。前記入力した情報８４によって動き量が少ないと判別したときはフレームレート変換部８０＿Ａによりフレームレートの増加に代えて任意倍率超解像処理部４の任意倍率拡大/縮小処理部１２及び倍率限定超改造処理部１１により解像度を拡大するように制御する。動き量の大中小三段階に応じた上記制御態様により超解像とフレームレート増大による効果の度合いに柔軟性を得ることができる。

切換え制御信号８６と切換えスイッチ８７は任意倍率超解像処理部４への入力を経路２又は経路３に切換えるための手段をハードウェア的に示したものである。特に図示はしないが、超解像/フレームレート変換・判定処理部８１Ａは任意倍率超解像処理部４における制御部１３と一体的に構成されればよい。その他の構成は図１等に基づいて説明した通りであるからその詳細な説明は省略する。尚、経路選択の基準としては、経路が選択できれば必ずしも動き情報である必要はない。

以上説明した幾つかの任意倍率超解像処理部、更には動画像高画質化処理部として機能向上された任意倍率超解像処理部によれば、超解像の処理量を大幅に削減可能であり、任意の解像度を持つ高解像度化画像へ容易に対応可能である。これにより、近年普及している携帯電話、ディジタルカメラ、ディジタルビデオカメラ、ＤＶＤ/ＨＤＤレコーダ、ディジタルテレビ、カーナビゲーションシステムなどで要求される多種多様なアプリケーションにおいて、少ない演算量で多種多様な解像度に対応した高解像度画像を生成することが可能となる。低消費電力化と高画質化を両立した画像処理機能を持つ必要があるＬＳＩ（半導体集積回路）などに適用して有効である。

以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。

例えば、倍率限定超解像処理部１１、任意倍率拡大／縮小処理部１２及び制御部１３等をハードウェア的に構成する場合とソフトウェア的に構成する場合の代表的な態様は上記第１乃至第４の態様に限定されず、適宜変更可能である。また、図１１及び図１２では4Ｆ,4Ｇを動画像高画質化処理部として機能向上された任意倍率超解像処理部として説明したが、その名称には限定されない。フレームレート変換部及び超解像/フレームレート変換判定処理部を参照符号４で代表される任意倍率超解像処理部とは異なる機能モジュールに分けて構成することも可能である。

１ 中央処理装置（ＣＰＵ）
２ 符号化圧縮動画像復号部
３ 画像処理部
４、４Ａ〜４Ｆ 任意倍率超解像部
５ 画像表示部
６ メモリ等
７ バス
８ 表示装置
９ 受信装置
１２，１２＿Ｆ，１２＿Ｓ 第１演算処理部としての任意倍率拡大／縮小処理部
１１ 第２演算処理部としての倍率限定超解像処理部
１３，１３Ａ〜１３Ｆ 制御部
１４ 目標倍率の指示信号
１５ 倍率限定超解像処理部の解像度拡大処理の活性／非活性等を指示する制御信号
１６，１６＿Ｆ，１６＿Ｓ 第１の倍率を指定するとともに任意倍率拡大／縮小処理部の活性／非活性等を指示する制御信号
２０ ＩＰモジュールデータ
２２ 前記第１演算処理部としての任意倍率拡大／縮小処理部１２の設計データ
２１ 前記第２演算処理部としての倍率限定超解像処理部１１の設計データ
２３ 前記制御部１３の設計データ
２４ デバッグ用情報
３０ 中央処理装置１が実行するための動作プログラム記述
３１ ソフトウェア・アクセラレータの回路パターンデータ又は回路記述データ
３２ ソフトウェア・アクセラレータのプログラム記述
３３ ハードウェア・アクセラレータの回路パターンデータ又は回路記述データ
４０ 輪郭検出部
４１ 局所的なエッジ量
５６ ノイズ量を暗黙的に示す情報
６０ 第３演算処理部としての倍率限定拡大処理部
６１，６２ 加重平均を行う第４演算処理部として乗算器
β，１−β 加重平均の重み
６３ 加算回路路
１１＿Ｒ Ｒ成分又はＣｒ成分に対して倍率限定（例えば２倍限定）で超解像による解像度の拡大を行う倍率限定超改造処理部
１１＿Ｇ Ｇ成分又はＹ成分に対して倍率限定（例えば２倍限定）で超解像による解像度の拡大を行う倍率限定超改造処理部
１１＿Ｂ Ｂ成分又はＣｂ成分に対して倍率限定（例えば２倍限定）で超解像による解像度の拡大を行う倍率限定超改造処理部
１５＿Ｒ 倍率限定超改造処理部１１＿Ｒに対する解像度拡大動作の活性／非活性などを指示する信号
１５＿Ｇ 倍率限定超改造処理部１１＿Ｇに対する解像度拡大動作の活性／非活性などを指示する信号
１５＿Ｂ 倍率限定超改造処理部１１＿Ｂに対する解像度拡大動作の活性／非活性などを指示する信号
７１ 倍率限定α値拡大処理部
７２ 任意倍率拡大/縮小部
８０＿Ａ フレームレート変換部
８０＿Ｂ 任意倍率拡大処理部
８１，８１Ａ 超解像/フレームレート変換・判定処理部
８４ 圧縮動画像の復号過程で生成される動きベクトル値の情報
９０，９０Ａ 動画像高画質化処理部として機能向上された任意倍率超解像処理部

Claims (40)

1. 複数の倍率の中から選択された第１の倍率で画像データに対して超解像によらずに解像度の拡大又は縮小を行う第１演算処理部と、
   前記複数の倍率よりも種類の少ない倍率の中の第２の倍率で画像データに対して超解像による解像度の拡大を行う第２演算処理部と、
   前記第１演算処理部及び第２演算処理部を用いて解像度の拡大を行うとき前記第１の倍率と第２の倍率の積が目標倍率になるように前記第１演算処理部及び第２演算処理部に指示を与える制御部と、を有する超解像画像処理装置。
2. 前記第２の倍率は整数倍率である、請求項１記載の超解像画像処理装置。
3. 前記第２の倍率は２のべき乗数の倍率である、請求項２記載の超解像画像処理装置。
4. 前記第２の倍率は固定倍率である、請求項１乃至３の何れか１項記載の超解像画像処理装置。
5. 前記第２の倍率は複数種類の倍率から選択された倍率である、請求項１乃至３の何れか１項記載の超解像画像処理装置。
6. 前記第１の演算処理部及び前記制御部は中央処理装置とそれが実行する動作プログラムから成り、前記第２の演算処理部は前記中央処理装置によってその動作の指示が行われるソフトウェア・アクセラレータとそれが実行する動作プログラムから成る、請求項１乃至５の何れか１項記載の超解像画像処理装置。
7. 前記制御部は中央処理装置とそれが実行する動作プログラムから成り、前記第１の演算処理部及び第２の演算処理部は前記中央処理装置によって動作の指示が行われるソフトウェア・アクセラレータとそれが実行する動作プログラムから成る、請求項１乃至５の何れか１項記載の超解像画像処理装置。
8. 前記制御部は中央処理装置とそれが実行する動作プログラムから成り、前記第１の演算処理部及び第２の演算処理部は前記中央処理装置によって動作の指示が行われる夫々個別のハードウェア・アクセラレータから成る、請求項１乃至５の何れか１項記載の超解像画像処理装置。
9. 前記第１の演算処理部及び前記制御部は中央処理装置とそれが実行する動作プログラムから成り、前記第２の演算処理部はハードウェア・アクセラレータから成る、請求項１乃至５の何れか１項記載の超解像画像処理装置。
10. 前記制御部は前記中央処理装置に代えてハードウェアロジックにより構成される、請求項６乃至９の何れか１項記載の超解像画像処理装置。
11. 前記制御部は、解像度を拡大すべき画像データの特性として1つのフレーム内における画像の明るさの変化の度合いが小さいときは前記第２演算処理部を非活性とし前記第１演算処理部だけで目標倍率になるように指示を与える、請求項１乃至１０の何れか１項記載の超解像画像処理装置。
12. 前記制御部は、前記画像データの特性として輪郭検出によって得られる局所的なエッジ量を入力し、入力したエッジ量が所定の閾値を超えていなければ前記第１演算処理部だけで目標倍率になるように、また、前記エッジ量が所定の閾値を超えたときは前記第１の倍率と第２の倍率の積が目標倍率になるように、前記第１の演算処理部及び第２の演算処理部に指示を与える、請求項１１記載の超解像画像処理装置。
13. 前記輪郭検出によって得られる局所的なエッジ量は前記画像データにおける複数画素単位とされ、
    前記制御部は前記第１の演算処理部及び第２の演算処理部への指示を前記複数画素単位で行う、請求項１２記載の超解像化画像処理装置。
14. 前記制御部は、第１演算処理部及び第２演算処理部を用いて解像度の拡大を行うとき解像度を拡大すべき画像データの特性として画像データにおけるノイズ量に応じて第１演算処理部による拡大処理を最初に行なうか前記第２演算処理部による拡大処理を最初に行なうかの指示を第１演算処理部及び第２演算処理部に与える、請求項１乃至１０の何れか１項記載の超解像画像処理装置。
15. 前記制御部は、前記画像データの特性としてノイズ量を暗黙的に示す情報を入力し、入力した情報によってノイズ量が多いと判別したときは第１演算処理部による拡大処理を最初に行ない、入力した情報によってノイズ量が少ないと判別したときは前記第２演算処理部による拡大処理を最初に行なうように指示を与える、請求項１４記載の超解像画像処理装置。
16. 前記制御部は、前記ノイズ量が多いと判別したときは第１演算処理部による拡大処理を前記第２演算処理部による拡大処理の前後で２回に分けて行ない、前記第２演算処理部による拡大処理の前後で夫々行なう第１演算処理部による拡大処理の倍率を前記ノイズ量の暗黙的指示情報と目標倍率とに基づいて決めるように指示を与える、請求項１５記載の超解像画像処理装置。
17. 前記ノイズ量を暗黙的に示す情報は符号化画像データの動画像圧縮に使用されたビットレート情報又は量子化パラメータである、請求項１５又は１６記載の超解像画像処理装置。
18. ＜超解像と非超解像の加重平均＞
    画像データに対して超解像によらずに前記第２の倍率で解像度の拡大行う第３演算処理部と、
    前記第２演算処理部で処理された画像データと前記第３演算処理部で処理された画像データとの加重平均を行う第４演算処理部と、を更に有し、
    前記制御部は、前記第１演算処理部と第２演算処理部による解像度の拡大率を逐次上げていく途中段階で前記第１の倍率を大きくするとき、前記第２演算処理部で処理された画像データに対する加重平均の重みを０から１に漸増し、且つ、前記第３演算処理部で処理された画像データに対する加重平均の重みを１から０に漸減して、前記目標倍率を実現する指示を与える、請求項１乃至１０の何れか１項記載の超解像画像処理装置。
19. 前記制御部は、前記第１演算処理部と第２演算処理部により拡大された解像度の縮小率を下げていく途中段階で前記第１の倍率を小さくするとき、前記第２演算処理部で処理された画像データに対する加重平均の重みを１から０に漸減し、且つ、前記第３演算処理部で処理された画像データに対する加重平均の重みを０から１に漸増して、前記目標倍率を実現する指示を与える、請求項１８記載の超解像画像処理装置。
20. 前記第２の演算処理部は画素成分毎に超解像による解像度の拡大を行い、
    前記第１の演算処理部は画素成分毎に超解像によらない解像度の拡大を行い、
    前記制御部は、解像度を拡大すべき画像データにおける画素成分毎の特性として1つのフレーム内における画像の明るさの変化の度合いが小さな画素成分に対して前記第２演算処理部では超解像による解像度の拡大処理を非活性にすると共に、前記第１演算処理部では超解像による解像度の拡大処理が非活性にされた画素成分に対して前記第１演算処理部だけで目標倍率になるように指示を与える、請求項１乃至１０の何れか１項記載の超解像画像処理装置。
21. 前記制御部は、前記画像データにおける画素成分毎の特性として輪郭検出によって得られる局所的なエッジ量を入力し、入力したエッジ量が所定の閾値を超えていなければ対応する画素成分に対して前記第１演算処理部だけで目標倍率になるように、また、前記エッジ量が所定の閾値を超えたときは対応する画素成分に対して前記第１の倍率と第２の倍率の積が目標倍率になるように、前記第１の演算処理部及び第２の演算処理部に指示を与える、請求項２０記載の超解像画像処理装置。
22. 画像データが画素毎の透過情報を保有するとき前記第１の演算処理部及び第２の演算処理部は透過情報も画素情報と同様に拡大又は縮小の演算対象とする、請求項１乃至１０の何れか１項記載の超解像画像処理装置。
23. 画像データのフレームレートを変換するフレームレート変換部とこれに直列された任意拡大処理部を更に有し、
    前記制御部は画像データにおける動きの大小を示す情報を入力し、入力した情報によって動き量が多いと判別したときは前記第１の画像処理部及び第２の画像処理部による解像度の拡大に代えてフレームレート変換部および任意拡大処理部によりフレームレートを増加し、また、前記入力した情報によって動き量が少ないと判別したときはフレームレート変換部によるフレームレートの増加に代えて前記第１の画像処理部及び第２の画像処理部により解像度を拡大するように指示を与える、請求項１乃至１０の何れか１項記載の超解像画像処理装置。
24. 画像データのフレームレートを変換するフレームレート変換部とこれに直列された任意拡大処理部を更に有し、
    前記制御部は画像データにおける動きの大小を示す情報を入力し、入力した情報によって動き量が多いと判別したときは前記第１の画像処理部及び第２の画像処理部による解像度の拡大に代えてフレームレート変換部および任意拡大処理部によりフレームレートを増加し、前記入力した情報によって動き量が普通であると判別したときはフレームレート変換部によりフレームレートを増加し、且つ、フレームレートが増加された画像データに対して前記第１の画像処理部及び第２の画像処理部により解像度を拡大するように指示を与え、前記入力した情報によって動き量が少ないと判別したときはフレームレート変換部によりフレームレートの増加に代えて前記第１の画像処理部及び第２の画像処理部により解像度を拡大するように指示を与える、請求項１乃至１０の何れか１項記載の超解像画像処理装置。
25. 前記動きの大小を示す情報は符号化画像データの復号に用いた動きベクトルである、請求項２３又は２４記載の超解像画像処理装置。
26. 複数の倍率の中から選択された第１の倍率で画像データに対して超解像によらずに解像度の拡大又は縮小を行う第１演算処理と、
    前記複数の倍率よりも種類の少ない倍率の中の第２の倍率で画像データに対して超解像による解像度の拡大を行う第２演算処理と、
    前記第１演算処理及び第２演算処理を用いて解像度の拡大を行うとき前記第１の倍率と第２の倍率の積が目標倍率になるように前記第１演算処理及び第２演算処理を指示する制御処理と、を有する超解像画像処理方法。
27. 前記制御処理は、輪郭検出処理によって得られる画像データの特性としての局所的なエッジ量が所定の閾値を超えていなければ前記第１演算処理だけで目標倍率になるように、また、前記エッジ量が所定の閾値を超えたときは前記第１の倍率と第２の倍率の積が目標倍率になるように、前記第１の演算処理及び第２の演算処理を指示する、請求項２６記載の超解像画像処理方法。
28. 前記制御処理は、画像データの特性としてノイズ量を暗黙的に示す入力情報によってノイズ量が多いと判別したときは第１演算処理による拡大処理を最初に行ない、入力した情報によってノイズ量が少ないと判別したときは前記第２演算処理による拡大処理を最初に行なうように、前記第１の演算処理及び第２の演算処理を指示する、請求項２６記載の超解像画像処理方法。
29. 前記制御処理は、前記ノイズ量が多いと判別したときは第１演算処理による解像度拡大を前記第２演算処理による解像度拡大の前後で２回に分けて行ない、前記第２演算処理による解像度拡大の前後で夫々行なう第１演算処理による解像度拡大の倍率を入力パラメータに基づいて決めるように指示を与える、請求項２８記載の超解像画像処理方法。
30. 画像データに対して超解像によらずに前記第２の倍率で解像度の拡大行う第３演算処理と、
    前記第２演算処理で処理された画像データと前記第３演算処理で処理された画像データとの加重平均を行う第４演算処理と、を更に有し、
    前記制御処理は、前記第１演算処理と第２演算処理による解像度の拡大途中で前記第１の倍率を大きくするとき、前記第２演算処理で処理された画像データに対する加重平均の重みを０から１に漸増し、且つ、前記第３演算処理で処理された画像データに対する加重平均の重みを１から０に漸減して、前記目標倍率を実現させる、請求項２６記載の超解像画像処理方法。
31. 前記制御処理は、前記第１演算処理と第２演算処理により拡大された解像度の縮小途中で前記第１の倍率を小さくするとき、前記第２演算処理で処理された画像データに対する加重平均の重みを１から０に漸減し、且つ、前記第３演算処理で処理された画像データに対する加重平均の重みを０から１に漸増して、前記目標倍率を実現させる、請求項３０記載の超解像画像処理方法。
32. 前記第２の演算処理は画素成分毎に超解像による解像度の拡大を行い、
    前記第１の演算処理は画素成分毎に超解像によらない解像度の拡大を行い、
    前記制御処理は、前記画像データにおける画素成分毎の特性として輪郭検出処理によって得られる局所的なエッジ量が所定の閾値を超えていなければ対応する画素成分に対して前記第１演算処理だけで目標倍率になるように、また、前記エッジ量が所定の閾値を超えたときは対応する画素成分に対して前記第１の倍率と第２の倍率の積が目標倍率になるように、前記第１の演算処理及び第２の演算処理を指示する、請求項２６記載の超解像画像処理方法。
33. 画像データが画素毎の透過情報を保有するとき前記第１の演算処理及び第２の演算処理は透過情報も画素情報と同様に拡大又は縮小の演算対象とする、請求項２６記載の超解像画像処理方法。
34. 画像データのフレームレートを変換すると共に解像度の拡大を行うフレームレート変換処理を更に有し、
    前記制御処理は、画像データにおける動きの大小を示す入力情報によって動き量が多いと判別したときは前記第１の画像処理及び第２の画像処理による解像度の拡大に代えてフレームレート変換処理によりフレームレートを増加し、また、前記入力情報によって動き量が少ないと判別したときはフレームレート変換処理によりフレームレートの増加に代えて前記第１の画像処理及び第２の画像処理による解像度の拡大を指示する、請求項２６記載の超解像画像処理方法。
35. 画像データのフレームレートを変換すると共に解像度の拡大を行うフレームレート変換処理を更に有し、
    前記制御処理は、画像データにおける動きの大小を示す入力情報によって動き量が多いと判別したときは前記第１の画像処理及び第２の画像処理による解像度の拡大に代えてフレームレート変換部によりフレームレートを増加し、前記入力情報によって動き量が普通であると判別したときはフレームレート変換部によりフレームレートを増加し、且つ、フレームレートが増加された画像データに対して前記第１の画像処理及び第２の画像処理による解像度の拡大を指示し、前記入力情報によって動き量が少ないと判別したときはフレームレート変換処理によりフレームレートの増加に代えて前記第１の画像処理及び第２の画像処理により解像度の拡大を指示する、請求項２６記載の超解像画像処理方法。
36. 半導体集積回路の設計支援プログラムを実行するコンピュータ装置が入力することによって前記半導体集積回路の設計対象データとして処理されるＩＰモジュールデータであって、
    複数の倍率の中から選択された第１の倍率で画像データに対して超解像によらずに解像度の拡大又は縮小を行う第１演算処理部の設計データと、
    前記複数の倍率よりも種類の少ない倍率の中の第２の倍率で画像データに対して超解像による解像度の拡大を行う第２演算処理部の設計データと、
    前記第１演算処理部及び第２演算処理部を用いて解像度の拡大を行うとき前記第１の倍率と第２の倍率の積が目標倍率になるように前記第１演算処理部及び第２演算処理部に指示を与える制御部の設計データと、を有し、
    前記第１の演算処理部の設計データ及び前記制御部の設計データは中央処理装置が実行するための動作プログラム記述であり、
    前記第２の演算処理部の設計データは前記中央処理装置によってその動作の指示が行われるソフトウェア・アクセラレータの回路パターンデータ又は回路記述データとそれが実行する動作プログラム記述である、ＩＰモジュールデータ。
37. 半導体集積回路の設計支援プログラムを実行するコンピュータ装置が入力することによって前記半導体集積回路の設計対象データとして処理されるＩＰモジュールデータであって、
    複数の倍率の中から選択された第１の倍率で画像データに対して超解像によらずに解像度の拡大又は縮小を行う第１演算処理部の設計データと、
    前記複数の倍率よりも種類の少ない倍率の中の第２の倍率で画像データに対して超解像による解像度の拡大を行う第２演算処理部の設計データと、
    前記第１演算処理部及び第２演算処理部を用いて解像度の拡大を行うとき前記第１の倍率と第２の倍率の積が目標倍率になるように前記第１演算処理部及び第２演算処理部に指示を与える制御部の設計データと、を有し、
    前記制御部の設計データは中央処理装置が実行する動作プログラム記述であり、
    前記第１の演算処理部の設計データ及び第２の演算処理部の設計データは前記中央処理装置によって動作の指示が行われソフトウェア・アクセラレータの回路パターンデータ又は回路記述データとそれが実行する動作プログラム記述である、ＩＰモジュールデータ。
38. 半導体集積回路の設計支援プログラムを実行するコンピュータ装置が入力することによって前記半導体集積回路の設計対象データとして処理されるＩＰモジュールデータであって、
    複数の倍率の中から選択された第１の倍率で画像データに対して超解像によらずに解像度の拡大又は縮小を行う第１演算処理部の設計データと、
    前記複数の倍率よりも種類の少ない倍率の中の第２の倍率で画像データに対して超解像による解像度の拡大を行う第２演算処理部の設計データと、
    前記第１演算処理部及び第２演算処理部を用いて解像度の拡大を行うとき前記第１の倍率と第２の倍率の積が目標倍率になるように前記第１演算処理部及び第２演算処理部に指示を与える制御部の設計データと、を有し、
    前記制御部の設計データは中央処理装置が実行する動作プログラム記述であり、
    前記第１の演算処理部の設計データ及び第２の演算処理部の設計データは前記中央処理装置によって動作の指示が行われる夫々個別のハードウェア・アクセラレータの設計データである、ＩＰモジュールデータ。
39. 半導体集積回路の設計支援プログラムを実行するコンピュータ装置が入力することによって前記半導体集積回路の設計対象データとして処理されるＩＰモジュールデータであって、
    複数の倍率の中から選択された第１の倍率で画像データに対して超解像によらずに解像度の拡大又は縮小を行う第１演算処理部の設計データと、
    前記複数の倍率よりも種類の少ない倍率の中の第２の倍率で画像データに対して超解像による解像度の拡大を行う第２演算処理部の設計データと、
    前記第１演算処理部及び第２演算処理部を用いて解像度の拡大を行うとき前記第１の倍率と第２の倍率の積が目標倍率になるように前記第１演算処理部及び第２演算処理部に指示を与える制御部の設計データと、を有し、
    前記第１の演算処理部の設計データ及び前記制御部の設計データは中央処理装置が実行する動作プログラム記述であり、
    前記第２の演算処理部の設計データはハードウェア・アクセラレータの設計データである、ＩＰモジュールデータ。
40. 前記制御部の設計データは、前記中央処理装置が実行するプログラム記述に代えてハードウェアロジックの設計データとさる、請求項３６乃至３９の何れか1項記載のＩＰモジュールデータ。

Images