JP2010278898A - 超解像画像処理装置、超解像画像処理方法及びipモジュールデータ - Google Patents
超解像画像処理装置、超解像画像処理方法及びipモジュールデータ Download PDFInfo
- Publication number
- JP2010278898A JP2010278898A JP2009131112A JP2009131112A JP2010278898A JP 2010278898 A JP2010278898 A JP 2010278898A JP 2009131112 A JP2009131112 A JP 2009131112A JP 2009131112 A JP2009131112 A JP 2009131112A JP 2010278898 A JP2010278898 A JP 2010278898A
- Authority
- JP
- Japan
- Prior art keywords
- resolution
- processing unit
- magnification
- super
- arithmetic processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012545 processing Methods 0.000 title claims abstract description 741
- 238000000034 method Methods 0.000 title claims description 128
- 230000008569 process Effects 0.000 claims description 111
- 238000013461 design Methods 0.000 claims description 96
- 230000009467 reduction Effects 0.000 claims description 90
- 238000004364 calculation method Methods 0.000 claims description 86
- 238000006243 chemical reaction Methods 0.000 claims description 64
- 230000033001 locomotion Effects 0.000 claims description 59
- 239000004065 semiconductor Substances 0.000 claims description 24
- 238000003672 processing method Methods 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 claims description 12
- 230000003247 decreasing effect Effects 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 6
- 238000013139 quantization Methods 0.000 claims description 5
- 230000006835 compression Effects 0.000 claims 1
- 238000007906 compression Methods 0.000 claims 1
- 238000004148 unit process Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 description 22
- 230000006870 function Effects 0.000 description 18
- 238000007634 remodeling Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 13
- 230000004913 activation Effects 0.000 description 8
- 230000002779 inactivation Effects 0.000 description 6
- 230000015556 catabolic process Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 230000009849 deactivation Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000003292 diminished effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Television Systems (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
Abstract
【課題】超解像を利用して任意の目標倍率で解像度を拡大するための演算量と電力消費を低減する。
【解決手段】目標倍率を得るのに超解像によらない第1演算処理(12)と超解像による第2演算処理(11)を併用し、第2演算処理で指定可能な倍率の種類を第1演算処理で指定可能な倍率の種類よりも少なくする。例えば第2演算処理で指定可能な倍率の種類を2倍等の固定倍率とし、第1演算処理で指定可能な倍率を任意とする。これにより、任意の目標倍率による解像度データを超解像処理だけで実現する場合に比べて演算量を低減でき、電力消費を減らすことができる。
【選択図】図1
【解決手段】目標倍率を得るのに超解像によらない第1演算処理(12)と超解像による第2演算処理(11)を併用し、第2演算処理で指定可能な倍率の種類を第1演算処理で指定可能な倍率の種類よりも少なくする。例えば第2演算処理で指定可能な倍率の種類を2倍等の固定倍率とし、第1演算処理で指定可能な倍率を任意とする。これにより、任意の目標倍率による解像度データを超解像処理だけで実現する場合に比べて演算量を低減でき、電力消費を減らすことができる。
【選択図】図1
Description
本発明は、超解像を用いて画像データの解像度を拡大するための技術に関し、例えば、携帯電話、ディジタルカメラ、ディジタルビデオカメラ、DVD/HDD(ディジタル・ビデオ・ディスク/ハード・ディスク・ドライブ)レコーダ、ディジタルテレビ、カーナビゲーションシステムなどの画像表示を行なう装置やデータ処理システムに適用して有効な技術に関する。
低解像度から高解像度の画像を生成する技術として超解像の技術がある。特許文献1には超解像度画像を生成する技術について記載がある。これに記載の技術は、モニタに予め表示させなくてもむらのない最大の倍率を有する超解像度画像を自動的に生成することを目的とするものであり、第1の解像度を有する第1の画像が入力され、第1の画像を用いて第1の解像度よりも高い第2の解像度を有する第2の画像を生成する超解像度化部と、超解像度化部によって生成された第2の画像が入力され、第2の画像における部分領域ごとの鮮鋭度を計算する鮮鋭度計算部と、鮮鋭度計算部により計算された部分領域ごとの鮮鋭度が入力され、鮮鋭度を画像として表示するための値に変換したものを部分領域ごとに持つ第3の画像を生成する鮮鋭度画像生成部と、第1の画像及び前記第3の画像が入力され、第1の画像及び第3の画像を合成して第4の画像を生成する合成部を採用するものである。ここでは、超解像により縦横任意の倍率で画像データを高解像度化することが必要とされる。
超解像とは、画像に含まれる情報のうち入力画像の標本化周波数で決定されるナイキスト周波数よりも高い周波数成分を復元する技術である。例えばこの超解像による処理ではバイ・キュービック(bi-cubic)方式のように輪郭強調処理又は先鋭化処理を伴って解像度の拡大を行い、バイ・リニア(bi-linear)方式のような単なる線形補間に比べて演算量が格段に増える。超解像による演算処理では、拡大する画素の演算には倍率に応じて異なるパラメータを用い、演算に用いる周囲の標本点の画素数も倍率に応じて相違される。したがって、任意倍率で超解像による画像の拡大を行う場合には演算量が増え、それ見合う高い処理能力を持ったプロセッサ等も必要になり、結局、電力消費量や演算処理時間の増大を招くことになる。機器組み込み用途、一般コンシューマ向け機器、バッテリ駆動される携帯電話やその他PDA等の携帯端末などではその問題点が特に顕在化する。
本発明の目的は、超解像を利用して任意の目標倍率で解像度を拡大するための演算量と電力消費を低減することができる超解像画像処理装置を提供することを目的とする。
本発明の別の目的は、超解像を利用して任意の目標倍率で解像度を拡大するための演算量と電力消費を低減することができる超解像画像処理方法を提供することを目的とする。
本発明の更に別の目的は、超解像を利用して任意の目標倍率で解像度を拡大するための演算量と電力消費の低減に資する超解像画像処理装置を半導体集積回路として容易に実現可能にするIPモジュールデータを提供することにある。
本発明の前記並びにその他の目的と新規な特徴は本明細書の記述及び添付図面から明らかになるであろう。
本願において開示される発明のうち代表的なものの概要を簡単に説明すれば下記の通りである。
すなわち、目標倍率を得るのに超解像によらない第1演算処理と超解像による第2演算処理を併用し、第2演算処理で指定可能な倍率の種類を第1演算処理で指定可能な倍率の種類よりも少なくする。例えば第2演算処理で指定可能な倍率の種類を2倍等の固定倍率とし、第1演算処理で指定可能な倍率を任意とする。これにより、任意の目標倍率による解像度データを超解像処理だけで実現する場合に比べて演算量を低減でき、電力消費を減らすことができる。
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記のとおりである。すなわち、超解像を利用して任意の目標倍率で解像度を拡大するための演算量と電力消費の低減に資することができる。
1.実施の形態の概要
先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。
先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。
〔1〕本発明の代表的な実施の形態に係る超解像画像処理装置(4)は、複数の倍率の中から選択された第1の倍率で画像データに対して超解像によらずに解像度の拡大又は縮小を行う第1演算処理部(12)と、前記複数の倍率よりも種類の少ない倍率の中の第2の倍率で画像データに対して超解像による解像度の拡大を行う第2演算処理部(11)と、前記第1演算処理部及び第2演算処理部を用いて解像度の拡大を行うとき前記第1の倍率と第2の倍率の積が目標倍率(N)になるように前記第1演算処理部及び第2演算処理部に指示を与える制御部(13)と、を有する。これにより、任意の目標倍率による解像度データを超解像処理だけで実現する場合に比べて演算量を低減でき、電力消費を減らすことができる。
〔2〕<整数倍率の超解像>項1の超解像画像処理装置において、前記第2の倍率は整数倍率である。小数倍率に比べて第2演算処理部により超解像の演算処理が軽くなる。
〔3〕<2のべき乗数の超解像>項2の超解像画像処理装置において、前記第2の倍率は2のべき乗数の倍率である。第2演算処理部により超解像の演算処理は更に軽くなる。
〔4〕<固定倍率の超解像>項1乃至3の何れかの超解像画像処理装置において、前記第2の倍率は固定倍率である。第2演算処理部により超解像の演算処理は複数倍率の中から選択可能にする場合に比べて処理プログラム又はハードウェアロジックの規模を最小にすることができる。
〔5〕<可変倍率の超解像>項1乃至3の何れかの超解像画像処理装置において、前記第2の倍率は複数種類の倍率から選択された倍率である。前記第2の倍率を固定倍率に限定する場合に比べて超解像による効果の度合いに柔軟性を得ることができる。
〔6〕<ハードウェア・ソフトウェア>項1乃至5の何れかの超解像画像処理装置において、前記第1の演算処理部及び前記制御部は中央処理装置(1)とそれが実行する動作プログラム(30)から成り、前記第2の演算処理部は前記中央処理装置によってその動作の指示が行われるソフトウェア・アクセラレータ(31)とそれが実行する動作プログラム(32)から成る。
〔7〕項1乃至5の何れかの超解像画像処理装置において、前記制御部は中央処理装置とそれが実行する動作プログラムから成り、前記第1の演算処理部及び第2の演算処理部は前記中央処理装置によって動作の指示が行われるソフトウェア・アクセラレータとそれが実行する動作プログラムから成る。
〔8〕項1乃至5の何れかの超解像画像処理装置において、前記制御部は中央処理装置とそれが実行する動作プログラムから成り、前記第1の演算処理部及び第2の演算処理部は前記中央処理装置によって動作の指示が行われる夫々個別のハードウェア・アクセラレータ(33)から成る。
〔9〕項1乃至5の何れかの超解像画像処理装置において、前記第1の演算処理部及び前記制御部は中央処理装置とそれが実行する動作プログラムから成り、前記第2の演算処理部はハードウェア・アクセラレータから成る。
〔10〕項6乃至9の何れかの超解像画像処理装置において、前記制御部は前記中央処理装置に代えてハードウェアロジックにより構成される。
〔11〕<エッジ量を考慮>項1乃至10の何れかの超解像画像処理装置(4A)において、前記制御部(13A)は、解像度を拡大すべき画像データの特性として1つのフレーム内における画像の明るさの変化の度合いが小さいときは前記第2演算処理部を非活性とし前記第1演算処理部だけで目標倍率になるように指示を与える。画像の明るさの変化の度合いが小さい場合には超解像を採用することによる画像の鮮明化の効果は薄れるから、その場合には超解像の演算処理を省けば、画像の劣化を抑えて演算量と消費電力を削減することができる。
〔12〕項11の超解像画像処理装置において、前記制御部は、前記画像データの特性として輪郭検出(40)によって得られる局所的なエッジ量を入力し、入力したエッジ量が所定の閾値を超えていなければ前記第1演算処理部だけで目標倍率になるように、また、前記エッジ量が所定の閾値を超えたときは前記第1の倍率と第2の倍率の積が目標倍率になるように、前記第1の演算処理部及び第2の演算処理部に指示を与える。
〔13〕項12の超解像画像処理装置において、前記輪郭検出によって得られる局所的なエッジ量は前記画像データにおける複数画素単位とされ、前記制御部は前記第1の演算処理部及び第2の演算処理部への指示を前記複数画素単位で行う。
〔14〕<ノイズ量を考慮>項1乃至10の何れかの超解像画像処理装置(4B)において、前記制御部(13B)は、第1演算処理部及び第2演算処理部を用いて解像度の拡大を行うとき解像度を拡大すべき画像データの特性として画像データにおけるノイズ量に応じて第1演算処理部による拡大処理を最初に行なうか前記第2演算処理部による拡大処理を最初に行なうかの指示を第1演算処理部及び第2演算処理部に与える。ノイズ量が多いときに超解像による解像度の拡大を行えば不所望にノイズが強調される虞があり、先に超解像によらない解像度の拡大を行えばノイズの緩和を期待できる場合があり、何れを先にするかによってノイズの拡大を回避することが可能になる。
〔15〕項14の超解像画像処理装置において、前記制御部は、前記画像データの特性としてノイズ量を暗黙的に示す情報(56)を入力し、入力した情報によってノイズ量が多いと判別したときは第1演算処理部による拡大処理を最初に行ない、入力した情報によってノイズ量が少ないと判別したときは前記第2演算処理部による拡大処理を最初に行なうように指示を与える。
〔16〕項15の超解像画像処理装置(4C)において、前記制御部(13C)は、前記ノイズ量が多いと判別したときは第1演算処理部による拡大処理を前記第2演算処理部による拡大処理の前後で2回に分けて行ない、前記第2演算処理部による拡大処理の前後で夫々行なう第1演算処理部による拡大処理の倍率を前記ノイズ量の暗黙的指示情報と目標倍率とに基づいて決めるように指示を与える。解像度の拡大によってノイズを増大させない制御の精度を高くすることが可能になる。最初に大きな倍率で超解像によらずに解像度の拡大を行ってしまうと、その後の超解像による効果が期待できなくなる場合があり、そのようなときに超解像の前後で超解像によらない処理を分けることにより、超解像による効果を維持しながらノイズを低減することができる。
〔17〕項15又は16の超解像画像処理装置において、前記ノイズ量を暗黙的に示す情報は画像データのビットレート情報又は符号化データの復号に用いた量子化パラメータである。
〔18〕<超解像と非超解像の加重平均>項1乃至10の何れかの超解像画像処理装置はさらに、画像データに対して超解像によらずに前記第2の倍率で解像度の拡大行う第3演算処理部(60)と、前記第2演算処理部で処理された画像データと前記第3演算処理部で処理された画像データとの加重平均を行う第4演算処理部(61,62,63)と、を有する。前記制御部(13D)は、前記第1演算処理部と第2演算処理部による解像度の拡大途中で前記第1の倍率を大きくするとき、前記第2演算処理部で処理された画像データに対する加重平均の重みを0から1に漸増し、且つ、前記第3演算処理部で処理された画像データに対する加重平均の重みを1から0に漸減して、前記目標倍率を実現する指示を与える。これにより、解像度の拡大途中で超解像によらない画像から超解像による画像への急激な変化を抑制でき、滑らかに解像度を拡大遷移させることができる。
〔19〕項18の超解像画像処理装置において、前記制御部は、前記第1演算処理部と第2演算処理部により拡大された解像度の縮小途中で前記第1の倍率を小さくするとき、前記第2演算処理部で処理された画像データに対する加重平均の重みを1から0に漸減し、且つ、前記第3演算処理部で処理された画像データに対する加重平均の重みを0から1に漸増して、前記目標倍率を実現する指示を与える。これにより、解像度の縮小途中で超解像による画像から超解像によらない画像への急激な変化を抑制でき、滑らかに解像度を縮小遷移させることができる。
〔20〕<画素成分毎の超解像処理>項1乃至10の何れかの超解像画像処理装置(4E)において、前記第2の演算処理部(11_R,11_G,11_B)は画素成分毎に超解像による解像度の拡大を行い、前記第1の演算処理部は画素成分毎に超解像によらない解像度の拡大を行う。前記制御部は、解像度を拡大すべき画像データにおける画素成分毎の特性として画像の1つのフレーム内における明るさの変化の度合いが小さな画素成分に対して前記第2演算処理部では超解像による解像度の拡大処理を非活性にすると共に、前記第1演算処理部では超解像による解像度の拡大処理が非活性にされた画素成分に対して前記第1演算処理部だけで目標倍率になるように指示を与える。項11で説明したと同様の、画像の劣化を抑えて演算量と消費電力を削減することができる、という効果を、RGBやCr,Y,Cbのような画素成分毎に得ることができる。
〔21〕項20の超解像画像処理装置において、前記制御部は、前記画像データにおける画素成分毎の特性として輪郭検出によって得られる局所的なエッジ量(41)を入力し、入力したエッジ量が所定の閾値を超えていなければ対応する画素成分に対して前記第1演算処理部だけで目標倍率になるように、また、前記エッジ量が所定の閾値を超えたときは対応する画素成分に対して前記第1の倍率と第2の倍率の積が目標倍率になるように、前記第1の演算処理部及び第2の演算処理部に指示を与える。
〔22〕<α値の拡大/縮小>項1乃至10の何れかの超解像画像処理装置(4F)において、画像データが画素毎の透過情報(α)を保有するとき前記第1の演算処理部及び第2の演算処理部は透過情報も画素情報と同様に拡大又は縮小の演算対象とする。透過情報についても解像度の拡大に整合させることができる。
〔23〕<フレームレートの制御>項1乃至10の何れかの超解像画像処理装置(90)は更に、画像データのフレームレートを変換するフレームレート変換部(80_A)を有する。更に、フレームレート変換部(80_A)には、画像解像度を拡大する機能は無いため、フレームレート変換部の前段あるいは後段に前記第1の画像処理部及び第2の画像処理部による解像度と同じ解像度へ変換するための任意倍率拡大処理部(80_B)を有する。この任意倍率拡大処理部(80_B)は超解像を伴わない。前記制御部(81,13)は画像データにおける動きの大小を示す情報を入力し、入力した情報によって動き量が多いと判別したときは前記第1の画像処理部及び第2の画像処理部による解像度の拡大に代えてフレームレート変換部及び任意倍率拡大処理部によりフレームレートを増加し、また、前記入力した情報によって動き量が少ないと判別したときはフレームレート変換部によるフレームレートの増加に代えて前記第1の画像処理部及び第2の画像処理部により解像度を拡大するように指示を与える。動き量が大きいときは超解像による画像鮮明化を期待できず、フレームレートを増やすことによって画像を鮮明にすることができる。逆に動き量が小さいときはフレームレートを増やしても画像を鮮明にすることはできず、超解像による解像度の拡大によって画像を鮮明にすることができる。
〔24〕項1乃至10の何れかの超解像画像処理装置(90A)は更に、画像データのフレームレートを変換するフレームレート変換部(80_A)を有する。更に、フレームレート変換部(80_A)には、画像解像度を拡大する機能は無いため、フレームレート変換部の前段あるいは後段に前記第1の画像処理部及び第2の画像処理部による解像度と同じ解像度へ変換するための任意倍率拡大処理部(80_B)を有する。この任意倍率拡大処理部(80_B)は超解像を伴わない。前記制御部(81A,13)は画像データにおける動きの大小を示す情報を入力し、入力した情報によって動き量が多いと判別したときは前記第1の画像処理部及び第2の画像処理部による解像度の拡大に代えてフレームレート変換部及び任意倍率拡大処理部によりフレームレートを増加し、前記入力した情報によって動き量が普通であると判別したときはフレームレート変換部によるフレームレートの増加と共に、フレームレートが増加された画像データに対して前記第1の画像処理部及び第2の画像処理部により解像度を拡大するように指示を与え、前記入力した情報によって動き量が少ないと判別したときはフレームレート変換部によるフレームレートの増加に代えて前記第1の画像処理部及び第2の画像処理部により解像度を拡大するように指示を与える。動き量の大中小三段階に応じた上記制御態様により超解像とフレームレート増大による効果の度合いに柔軟性を得ることができる。
〔25〕請求項23又は24の超解像画像処理装置において、前記動きの大小を示す情報は符号化データの復号に用いた動きベクトル(84)である。
〔26〕本発明の代表的な別の実施の形態に係る超解像画像処理方法は、複数の倍率の中から選択された第1の倍率で画像データに対して超解像によらずに解像度の拡大又は縮小を行う第1演算処理と、前記複数の倍率よりも種類の少ない倍率の中の第2の倍率で画像データに対して超解像による解像度の拡大を行う第2演算処理と、前記第1演算処理及び第2演算処理を用いて解像度の拡大を行うとき前記第1の倍率と第2の倍率の積が目標倍率になるように前記第1演算処理及び第2演算処理を指示する制御処理と、を有する。
〔27〕<エッジ量を考慮>請求項26記載の超解像画像処理方法において、前記制御処理は、輪郭検出処理によって得られる画像データの特性としての局所的なエッジ量が所定の閾値を超えていなければ前記第1演算処理だけで目標倍率になるように、また、前記エッジ量が所定の閾値を超えたときは前記第1の倍率と第2の倍率の積が目標倍率になるように、前記第1の演算処理及び第2の演算処理を指示する。
〔28〕<ノイズ量を考慮>請求項26記載の超解像画像処理方法において、前記制御処理は、画像データの特性としてノイズ量を暗黙的に示す入力情報によってノイズ量が多いと判別したときは第1演算処理による拡大処理を最初に行ない、入力した情報によってノイズ量が少ないと判別したときは前記第2演算処理による拡大処理を最初に行なうように、前記第1の演算処理及び第2の演算処理を指示する。
〔29〕請求項28記載の超解像画像処理方法において、前記制御処理は、前記ノイズ量が多いと判別したときは第1演算処理による解像度拡大を前記第2演算処理による解像度拡大の前後で2回に分けて行ない、前記第2演算処理による解像度拡大の前後で夫々行なう第1演算処理による解像度拡大の倍率を入力パラメータに基づいて決めるように指示を与える。
〔30〕<超解像と非超解像の加重平均>請求項26記載の超解像画像処理方法は更に、画像データに対して超解像によらずに前記第2の倍率で解像度の拡大を行う第3演算処理と、前記第2演算処理で処理された画像データと前記第3演算処理で処理された画像データとの加重平均を行う第4演算処理とを有する。前記制御処理は、前記第1演算処理と第2演算処理による解像度の拡大途中で前記第1の倍率を大きくするとき、前記第2演算処理で処理された画像データに対する加重平均の重みを0から1に漸増し、且つ、前記第3演算処理で処理された画像データに対する加重平均の重みを1から0に漸減して、前記目標倍率を実現させる。
〔31〕請求項30記載の超解像画像処理方法において、前記制御処理は、前記第1演算処理と第2演算処理により拡大された解像度の縮小途中で前記第1の倍率を小さくするとき、前記第2演算処理で処理された画像データに対する加重平均の重みを1から0に漸減し、且つ、前記第3演算処理で処理された画像データに対する加重平均の重みを0から1に漸増して、前記目標倍率を実現させる。
〔32〕<画素成分毎の超解像処理>請求項26記載の超解像画像処理方法において、前記第2の演算処理は画素成分毎に超解像による解像度の拡大を行い、前記第1の演算処理は画素成分毎に超解像によらない解像度の拡大を行い、前記制御処理は、前記画像データにおける画素成分毎の特性として輪郭検出処理によって得られる局所的なエッジ量が所定の閾値を超えていなければ対応する画素成分に対して前記第1演算処理だけで目標倍率になるように、また、前記エッジ量が所定の閾値を超えたときは対応する画素成分に対して前記第1の倍率と第2の倍率の積が目標倍率になるように、前記第1の演算処理及び第2の演算処理を指示する。
〔33〕<α値の拡大/縮小>請求項26記載の超解像画像処理方法において、画像データが画素毎の透過情報を保有するとき前記第1の演算処理及び第2の演算処理は透過情報も画素情報と同様に拡大又は縮小の演算対象とする。
〔34〕<フレームレートの制御>請求項26記載の超解像画像処理方法は更に、画像データのフレームレートを変換するフレームレート変換処理を有する。項23で説明した通りフレームレートの変換だけでは画像解像度を拡大する機能が無いため、ここで言うフレームレート変換処理には超解像によらない任意倍率拡大機能を伴う。前記制御処理は、画像データにおける動きの大小を示す入力情報によって動き量が多いと判別したときは前記第1の画像処理及び第2の画像処理による解像度の拡大に代えてフレームレート変換処理によりフレームレートを増加し、また、前記入力情報によって動き量が少ないと判別したときはフレームレート変換処理によりフレームレートの増加に代えて前記第1の画像処理及び第2の画像処理による解像度の拡大を指示する。
〔35〕請求項26記載の超解像画像処理方法は更に、画像データのフレームレートを変換するフレームレート変換処理を有する。項34と同様に、フレームレートの変換だけでは画像解像度を拡大する機能が無いため、ここで言うフレームレート変換処理には超解像によらない任意倍率拡大機能を伴う。前記制御処理は、画像データにおける動きの大小を示す入力情報によって動き量が多いと判別したときは前記第1の画像処理及び第2の画像処理による解像度の拡大に代えてフレームレート変換部によりフレームレートを増加し、前記入力情報によって動き量が普通であると判別したときはフレームレート変換部によりフレームレートを増加し、且つ、フレームレートが増加された画像データに対して前記第1の画像処理及び第2の画像処理による解像度の拡大を指示し、前記入力情報によって動き量が少ないと判別したときはフレームレート変換処理によりフレームレートの増加に代えて前記第1の画像処理及び第2の画像処理により解像度の拡大を指示する。
〔36〕<IPモジュールデータ>本発明の代表的な別の実施の形態に係るIPモジュールデータ(20)は、半導体集積回路の設計支援プログラムを実行するコンピュータ装置が入力することによって前記半導体集積回路の設計対象データとして処理されるデータであって、複数の倍率の中から選択された第1の倍率で画像データに対して超解像によらずに解像度の拡大又は縮小を行う第1演算処理部の設計データ(22)と、前記複数の倍率よりも種類の少ない倍率の中の第2の倍率で画像データに対して超解像による解像度の拡大を行う第2演算処理部の設計データ(21)と、前記第1演算処理部及び第2演算処理部を用いて解像度の拡大を行うとき前記第1の倍率と第2の倍率の積が目標倍率になるように前記第1演算処理部及び第2演算処理部に指示を与える制御部の設計データ(23)と、を有する。前記第1の演算処理部の設計データ及び前記制御部の設計データは中央処理装置が実行するための動作プログラム記述(30)である。前記第2の演算処理部の設計データは前記中央処理装置によってその動作の指示が行われるソフトウェア・アクセラレータの回路パターンデータ又は回路記述データ(31)とそれが実行する動作プログラム記述(32)である。
〔37〕本発明の代表的な別の実施の形態に係るIPモジュールデータは、半導体集積回路の設計支援プログラムを実行するコンピュータ装置が入力することによって前記半導体集積回路の設計対象データとして処理されるデータであって、複数の倍率の中から選択された第1の倍率で画像データに対して超解像によらずに解像度の拡大又は縮小を行う第1演算処理部の設計データと、前記複数の倍率よりも種類の少ない倍率の中の第2の倍率で画像データに対して超解像による解像度の拡大を行う第2演算処理部の設計データと、前記第1演算処理部及び第2演算処理部を用いて解像度の拡大を行うとき前記第1の倍率と第2の倍率の積が目標倍率になるように前記第1演算処理部及び第2演算処理部に指示を与える制御部の設計データと、を有する。前記制御部の設計データは中央処理装置が実行する動作プログラム記述である。前記第1の演算処理部の設計データ及び第2の演算処理部の設計データは前記中央処理装置によって動作の指示が行われるソフトウェア・アクセラレータの回路パターンデータ又は回路記述データとそれが実行する動作プログラム記述である。
〔38〕本発明の代表的な別の実施の形態に係るIPモジュールデータは、半導体集積回路の設計支援プログラムを実行するコンピュータ装置が入力することによって前記半導体集積回路の設計対象データとして処理されるデータであって、複数の倍率の中から選択された第1の倍率で画像データに対して超解像によらずに解像度の拡大又は縮小を行う第1演算処理部の設計データと、前記複数の倍率よりも種類の少ない倍率の中の第2の倍率で画像データに対して超解像による解像度の拡大を行う第2演算処理部の設計データと、前記第1演算処理部及び第2演算処理部を用いて解像度の拡大を行うとき前記第1の倍率と第2の倍率の積が目標倍率になるように前記第1演算処理部及び第2演算処理部に指示を与える制御部の設計データと、を有する。前記制御部の設計データは中央処理装置が実行する動作プログラム記述である。前記第1の演算処理部の設計データ及び第2の演算処理部の設計データは前記中央処理装置によって動作の指示が行われる夫々個別のハードウェア・アクセラレータの設計データ(33)である。
〔39〕本発明の代表的な別の実施の形態に係るIPモジュールデータは、半導体集積回路の設計支援プログラムを実行するコンピュータ装置が入力することによって前記半導体集積回路の設計対象データとして処理されるデータであって、複数の倍率の中から選択された第1の倍率で画像データに対して超解像によらずに解像度の拡大又は縮小を行う第1演算処理部の設計データと、前記複数の倍率よりも種類の少ない倍率の中の第2の倍率で画像データに対して超解像による解像度の拡大を行う第2演算処理部の設計データと、前記第1演算処理部及び第2演算処理部を用いて解像度の拡大を行うとき前記第1の倍率と第2の倍率の積が目標倍率になるように前記第1演算処理部及び第2演算処理部に指示を与える制御部の設計データと、を有する。前記第1の演算処理部の設計データ及び前記制御部の設計データは中央処理装置が実行する動作プログラム記述である。前記第2の演算処理部の設計データはハードウェア・アクセラレータの設計データである。
〔40〕項36乃至39の何れかのIPモジュールデータにおいて、前記制御部の設計データは、前記中央処理装置が実行するプログラム記述に代えてハードウェアロジックの設計データとさる。
2.実施の形態の詳細
実施の形態について更に詳述する。
実施の形態について更に詳述する。
《超解像画像処理を適用したデータ処理システム》
図2には本発明に係る超解像画像処理を適用したデータ処理システムが例示される。同図に示されるデータ処理システムは、例えば、地上波ディジタル放送であるワンセグの受信から表示までを行うシステムであり、例えばワンセグチューナを備えた携帯電話などである。データ処理システムは、特に制限されないが、中央処理装置(CPU)1、符号化圧縮動画像復号部2、画像処理部3、発明に係る超解像画像処理を適用した任意倍率超解像部4、画像表示部5及びメモリ等6がバス7を共有し、符号化圧縮動画像復号部2には受信装置9が接続され、画像表示部5には液晶ディスプレイ(LCD)などの表示装置8が接続されて構成される。
図2には本発明に係る超解像画像処理を適用したデータ処理システムが例示される。同図に示されるデータ処理システムは、例えば、地上波ディジタル放送であるワンセグの受信から表示までを行うシステムであり、例えばワンセグチューナを備えた携帯電話などである。データ処理システムは、特に制限されないが、中央処理装置(CPU)1、符号化圧縮動画像復号部2、画像処理部3、発明に係る超解像画像処理を適用した任意倍率超解像部4、画像表示部5及びメモリ等6がバス7を共有し、符号化圧縮動画像復号部2には受信装置9が接続され、画像表示部5には液晶ディスプレイ(LCD)などの表示装置8が接続されて構成される。
図2のデータ処理システムにおいて、ワンセグによるデータの受信及び受信データの表示動作では、まずワンセグ放送のビットストリームを受信装置9で受信し、例えばH.264に規格に準拠した符号化圧縮動画像復号処理部2によって画像へ復号する。復号された画像データ(たとえばQVGAサイズとされる)はメモリ等6によって次の処理を行う装置あるいはソフトウェアへ渡されることになる。復号された画像データはそのままでは表示に適さないため、ターゲットとなる表示デバイスへ合わせて色空間変換、回転処理、サイズ変換などを画像処理部3で行なう。このときに行うサイズ変換が拡大処理を伴う場合、画像の輪郭がボケてしまい、通常これは人間の目には画質劣化として認知される。このボケを避けるために、任意倍率超解像部4を用いることで様々なサイズがある表示デバイスの表示サイズへ超解像により解像度の拡大を行い、輪郭のボケを防いだ高画質な表示画像データを生成する。図2ではQVGAサイズがWVGAサイズに解像度が拡大されている。
図2に示される符号化圧縮動画像復号部2、画像処理部3、及び任意倍率超解像部4は、ハードウェア・アクセラレータとして、ソフトウェア・アクセラレータのデータ処理機能として、或いはCPU1のデータ処理機能によって実現されてよい。したがって、例えばCPU1とは別の機能ブロックとして図示された回路任意倍率超解像部4はその全部又は一部の機能がCPU1とその動作プログラムによって実現されてもよい。また、図2のデータ処理システムにおいて、単数又は複数の回路基板上に形成され、参照符号1乃至6で示される機能ブロックは任意の組合せによって或いは個別に、単数又は複数の半導体集積回路デバイス等によって構成されればよい。
《任意倍率超解像部の原理的な構成》
図1には任意倍率超解像部4の原理的な構成が例示される。本発明の代表的な実施の形態に係る任意倍率超解像処理部4は、複数の倍率の中から指定された第1の倍率で画像データに対して超解像によらずに解像度の拡大又は縮小を行う第1演算処理部としての任意倍率拡大/縮小処理部12と、前記複数の倍率よりも種類の少ない倍率の中の第2の倍率で画像データに対して超解像による解像度の拡大を行う第2演算処理部としての倍率限定超解像処理部11と、任意倍率拡大/縮小処理部12及び倍率限定超解像処理部11を用いて解像度の拡大を行うとき前記第1の倍率と第2の倍率の積が目標倍率になるように任意倍率拡大/縮小処理部12及び倍率限定超解像処理部11に指示を与える制御部13と、を有する。
図1には任意倍率超解像部4の原理的な構成が例示される。本発明の代表的な実施の形態に係る任意倍率超解像処理部4は、複数の倍率の中から指定された第1の倍率で画像データに対して超解像によらずに解像度の拡大又は縮小を行う第1演算処理部としての任意倍率拡大/縮小処理部12と、前記複数の倍率よりも種類の少ない倍率の中の第2の倍率で画像データに対して超解像による解像度の拡大を行う第2演算処理部としての倍率限定超解像処理部11と、任意倍率拡大/縮小処理部12及び倍率限定超解像処理部11を用いて解像度の拡大を行うとき前記第1の倍率と第2の倍率の積が目標倍率になるように任意倍率拡大/縮小処理部12及び倍率限定超解像処理部11に指示を与える制御部13と、を有する。
図1において14は目標倍率を指定する信号、15は倍率限定超解像処理部11の解像度拡大処理の活性/非活性等を指示する制御信号、16は第1の倍率を指定するとともに任意倍率拡大/縮小処理部12の活性/非活性等を指示する制御信号である。
第2の倍率には、整数倍率、2のべき乗数の倍率、又は整数に限らない固定倍率を採用することができ、更に、第2の倍率はそれらの内の複数倍率から所望に選択される倍率あってもよい。ここでは第2の倍率を例えば固定倍率の2倍とする。例えば信号14によって制御部13に指示される目標倍率をN倍とすれば、制御部13が信号16によって任意倍率拡大/縮小処理部12に指示する倍率はN/2倍とされる。
任意倍率超解像処理部4に信号14によって倍率Nと低解像度の画像データ17が入力される。制御部13は倍率限定超解像処理部11が持つ倍率(第2の倍率、例えば2倍)と入力された倍率から、任意倍率拡大/縮小処理部12へ指示する倍率(第1の倍率、例えばN/2倍)を計算し、信号15によって倍率限定超解像処理部11に画像データ17を超解像で解像度を2倍に拡大する処理を指示し、信号16によって任意倍率拡大/縮小処理部12には倍率限定超解像処理部11で処理された画像データに超解像によらずに解像度をN/2倍に拡大する処理を指示する。倍率限定超解像処理部11には例えば輪郭強調処理又は先鋭化処理を伴って処理量が大きくなるが高画質である公知のバイ・キュービック(bi-cubic)方式、或いはその他の超解像手法を採用すればよい。任意倍率拡大/縮小処理部12には単なる線形補間の用に処理量が少ない公知のバイ・リニア(bi-linear)方式を採用すればよい。
このように倍率制御される任意倍率超解像部4を採用することにより、倍率限定超解像処理部11によって一定の倍率(図2の例では2倍)へ高解像度化された画像データは、任意倍率拡大/縮小処理部12によって任意のサイズ(図2の例ではN/2倍)へ解像度変換され、目標倍率(図2の例ではN倍)が得られる。限定された倍率を機能として持つ倍率限定超解像処理部11と任意倍率拡大/縮小処理機能を有する任意倍率拡大/縮小処理部12を目標倍率を得るように制御することで、任意倍率への超解像処理に容易に対応であるとともに、演算処理量を削減することが可能となる。直接任意の目標倍率で超解像を行う従来手法の場合には、拡大する画素の演算には倍率に応じて異なるパラメータを用い、演算に用いる周囲の標本点の画素数も倍率に応じて相違されるから、何れの倍率が指定されても対応できるようにそのパラメータを予め用意したりその都度演算で求めたり、夫々異なる演算シーケンスを実現するためのハードウェア又はソフトウェアを全て備えていなければならない。限定的な倍率だけで超解像を行う場合にはそのハードウェア又はソフトウェアの規模は格段に縮小される。これにより、任意倍率拡大/縮小処理部12、倍率限定超解像処理部11及び制御部13をハードウェア実装する場合は回路規模が削減され、またそれらをソフトウェアで実装する場合にはCPUの処理サイクル数が削減でき、以って、システムの消費電力を低減することができる。
一方、画質に関しては、倍率限定超解像処理部11による超解像処理で高画質化および高精細化された画像をベースに後段の任意倍率拡大/縮小処理部12で拡大縮小処理を実施するために、バイ・リニア方式によるような任意拡大のみの処理に比べて画質が格段に向上する。特に、目標倍率に対して超解像処理の倍率(固定倍率)が近い数値の場合、後段の任意倍率拡大/縮小処理の倍率が1倍に近くなり(例えば、1.25倍、0.8倍等)、任意倍率拡大/縮小処理による画像の劣化(ボケ)の度合いが小さくなるため、結果として、本発明による任意倍率超解像部4は直接任意の目標倍率で超解像を行った場合に近い高画質な画像を得ることができる。
第2の倍率について、整数倍率にすれば小数倍率に比べて超解像の演算処理が軽くなる。第2の倍率を2のべき乗数の倍率にすれば超解像の演算処理は更に軽くなる。また、第2の倍率を固定倍率とすれば、複数倍率の中から選択可能にする場合に比べて倍率限定超解像処理部11のハードウェア若しくはソフトウェアに規模を縮小することができる。第2の倍率を、任意よりも限定的なある範囲、例えば2倍、4倍、又は8倍の範囲で選択可能とすれば第2の倍率を固定倍率に限定する場合に比べて、ハードウェア若しくはソフトウェアの規模はある程度拡大するが、超解像による効果の度合いに柔軟性を得ることが容易になる。
《任意倍率超解像部のハードウェア/ソフトウェア構成の切り分け》
次に、倍率限定超解像処理部11、任意倍率拡大/縮小処理部12及び制御部13をハードウェア的に構成する場合とソフトウェア的に構成する場合の代表的な態様について説明する。
次に、倍率限定超解像処理部11、任意倍率拡大/縮小処理部12及び制御部13をハードウェア的に構成する場合とソフトウェア的に構成する場合の代表的な態様について説明する。
第1の態様は、任意倍率拡大/縮小処理部12及び制御部13を中央処理装置1とそれが実行する動作プログラムによって構成し、倍率限定超解像処理部11を前記中央処理装置1によってその動作の指示が行われるソフトウェア・アクセラレータとそれが実行する動作プログラムによって構成する。ソフトウェア・アクセラレータとはそのデータ処理機能が特定のデータ処理に、ここでは限定的倍率による超解像処理に、専用化されたプログラム処理装置である。
第2の態様は、制御部13を中央処理装置1とそれが実行する動作プログラムによって構成し、任意倍率拡大/縮小処理部12及び倍率限定超解像処理部11を前記中央処理装置1によってその動作の指示が行われるソフトウェア・アクセラレータとそれが実行する動作プログラムによって構成する。ソフトウェア・アクセラレータは、ここでは限定的倍率による超解像処理と任意倍率拡大/縮小処理とに専用化されたプログラム処理装置である。
第3の態様は、制御部13を中央処理装置1とそれが実行する動作プログラムによって構成し、任意倍率拡大/縮小処理部12及び倍率限定超解像処理部11を前記中央処理装置1によってその動作の指示が行われる夫々個別のハードウェア・アクセラレータによって構成する。ハードウェア・アクセラレータとはソフトウェアに依存せずに特定のデータ処理を行なうハードウェアロジック回路である。
第4の態様は、任意倍率拡大/縮小処理部12及び制御部13を中央処理装置1とそれが実行する動作プログラムによって構成し、倍率限定超解像処理部11を前記中央処理装置1によってその動作の指示が行われるハードウェア・アクセラレータによって構成する。
尚、上記各態様において前記中央処理装置1に代えてハードウェアロジックにより前記制御部13を構成することも可能である。
《任意倍率超解像部のIPモジュールデータ》
図3には任意倍率超解像部4のIPモジュールデータの構成が例示される。IPモジュールデータとは、半導体集積回路の設計支援プログラムを実行するコンピュータ装置が入力することによって前記半導体集積回路の設計対象データとして処理されるデータであって、コンピュータ読み取り可能な記録媒体あるいはコンピュータネットワークなどを介して提供される。
図3には任意倍率超解像部4のIPモジュールデータの構成が例示される。IPモジュールデータとは、半導体集積回路の設計支援プログラムを実行するコンピュータ装置が入力することによって前記半導体集積回路の設計対象データとして処理されるデータであって、コンピュータ読み取り可能な記録媒体あるいはコンピュータネットワークなどを介して提供される。
IPモジュールデータ20は前記第1演算処理部としての任意倍率拡大/縮小処理部12の設計データ22と、前記第2演算処理部としての倍率限定超解像処理部11の設計データ21と、前記制御部13の設計データ23と、デバッグ用情報24とを有する。デバッグ用情報24は、IPモジュールデータ20用いて設計した半導体集積回路の評価に際して任意倍率超解像部4の評価に用いるシミュレーション制御情報やエミュレーション制御情報などが含まれる。設計データ21,22,23の夫々は、第1乃至第3の形態の何れかによって提供される。
設計データの第1の形態は、中央処理装置1が実行するための動作プログラム記述30である。プログラム記述はC言語のような高級言語で記述されたソースプログラム、或いは特定のアーキテクチャを有する中央処理装置のための機械語プログラム記述であってよい。
設計データの第2の形態は、ソフトウェア・アクセラレータの回路パターンデータ又は回路記述データ31と、ソフトウェア・アクセラレータのプログラム記述32である。回路パターンデータとは半導体集積回路のマスクパターンデータであり、所謂ハードIPを構成するデータである。回路記述データとはハードウェア記述言語などによって回路構成や回路動作タイミングを規定した所謂ソフトIPを構成する記述データである。ソフトウェア・アクセラレータのプログラム記述は、ソフトIPで構成されるソフトウェア・アクセラレータに実行させるプログラムを高級言語で記述したもの、或いはハードIPで構成されるソフトウェア・アクセラレータに実行させるプログラムを特定機械語で記述したものである。
設計データの第3の形態は、ハードウェア・アクセラレータの回路パターンデータ又は回路記述データ33である。回路パターンデータとは半導体集積回路で構成されるハードウェアロジックのマスクパターンデータであり、所謂ハードIPを構成するデータである。回路記述データとはハードウェア記述言語などによってハードウェアロジックの回路構成や回路動作タイミングを規定した所謂ソフトIPを構成する記述データである。
IPモジュールデータ20を構成する設計データの態様は種々の組合せが可能である。例えば、第1の組み合わせ態様は、前記制御部13の設計データ23を、中央処理装置1の動作プログラム記述30とし、任意倍率拡大/縮小処理部12の設計データ22及び倍率限定超解像処理部11の設計データ21を、中央処理装置1によって動作の指示が行われソフトウェア・アクセラレータの回路パターンデータ又は回路記述データ31とそれが実行する動作プログラム記述32とする。第2の組合せ態様は、前記制御部13の設計データ23を、中央処理装置1の動作プログラム記述30とし、任意倍率拡大/縮小処理部12の設計データ22及び倍率限定超解像処理部11の設計データ21を、中央処理装置1によって動作の指示が行われる夫々個別のハードウェア・アクセラレータの設計データ33とする。第3の組合せ態様は、任意倍率拡大/縮小処理部12の設計データ及び制御部13の設計データを中央処理装置1の動作プログラム記述30とし、倍率限定超解像処理部11の設計データをハードウェア・アクセラレータの設計データ33とする。上記制御部13の設計データには、中央処理装置1のプログラム記述に代えてハードウェアロジックの回路パターンデータ又は回路記述データを採用してもよい。
《任意倍率超解像部におけるエッジ量の考慮》
図4にはエッジ量を考慮して解像度の拡大を制御する任意倍率超解像処理部4Aが例示される。任意倍率超解像処理部4Aにおいて、制御部13Aは、解像度を拡大すべき画像データの特性として画像の1つのフレーム内における明るさの変化の度合いが小さいときは倍率限定超解像処理部11を非活性とし任意倍率拡大/縮小処理部12だけで目標倍率になるように指示を与える。更に詳しくは、前記制御部13は、前記画像データの特性として輪郭検出部40による輪郭検出によって得られる局所的なエッジ量41を入力し、入力したエッジ量41が所定の閾値を超えていなければ任意倍率拡大/縮小処理部12だけで目標倍率になるように、また、前記エッジ量41が所定の閾値を超えたときは図1に基づいて説明したように前記第1の倍率と第2の倍率の積が目標倍率になるように、前倍率限定超解像処理部11及び任意倍率拡大/縮小処理部12に指示を与える。切換え制御信号42と切換えスイッチ43は前者の動作と後者の動作において入力画像データ17の供給経路を切換えるための手段をハードウェア的に示したものである。
図4にはエッジ量を考慮して解像度の拡大を制御する任意倍率超解像処理部4Aが例示される。任意倍率超解像処理部4Aにおいて、制御部13Aは、解像度を拡大すべき画像データの特性として画像の1つのフレーム内における明るさの変化の度合いが小さいときは倍率限定超解像処理部11を非活性とし任意倍率拡大/縮小処理部12だけで目標倍率になるように指示を与える。更に詳しくは、前記制御部13は、前記画像データの特性として輪郭検出部40による輪郭検出によって得られる局所的なエッジ量41を入力し、入力したエッジ量41が所定の閾値を超えていなければ任意倍率拡大/縮小処理部12だけで目標倍率になるように、また、前記エッジ量41が所定の閾値を超えたときは図1に基づいて説明したように前記第1の倍率と第2の倍率の積が目標倍率になるように、前倍率限定超解像処理部11及び任意倍率拡大/縮小処理部12に指示を与える。切換え制御信号42と切換えスイッチ43は前者の動作と後者の動作において入力画像データ17の供給経路を切換えるための手段をハードウェア的に示したものである。
輪郭検出部40による輪郭検出には例えば2次元ラプラシアンフィルタを用いればよい。輪郭検出部40は、図2のシステムで説明したように動画像を復号した画像データ17を入力する場合、画素の相関を周波数的に示したDCT係数を復号部2から取得し、そのDCT係数からマクロブロックと呼ばれる例えば16画素×16画素の領域ごとにエッジの量を判定することも有効である。要するに、前記輪郭検出部40により画像データにおける複数画素単位で局所的なエッジ量を取得し、制御部13は当該複数画素単位で前記前倍率限定超解像処理部11及び任意倍率拡大/縮小処理部12に対する動作の指示を与える。
その他の構成は図1等に基づいて説明した通りであるからその詳細な説明は省略する。輪郭検出部40の機能は制御部13Aの機能に取り込んでもよい
このように輪郭検出部による制御を行うことで超解像効果が得られにくい画像領域、即ち、1つのフレーム内における画像の明るさの変化の度合いが小さい場所、例えば、もともと輪郭がない画像領域や動きが激しい場所などでは、超解像処理を行わずに単純に任意倍率拡大/縮小処理部12で拡大する。これに対して超解像効果が得られやすい領域では倍率限定超解像処理部11による超解像処理を適用する。このような判定を行い画像の一部領域のみへ超解像処理を行うことで、処理量を削減し、消費電力を削減して、超解像処理を実行することができる。
このように輪郭検出部による制御を行うことで超解像効果が得られにくい画像領域、即ち、1つのフレーム内における画像の明るさの変化の度合いが小さい場所、例えば、もともと輪郭がない画像領域や動きが激しい場所などでは、超解像処理を行わずに単純に任意倍率拡大/縮小処理部12で拡大する。これに対して超解像効果が得られやすい領域では倍率限定超解像処理部11による超解像処理を適用する。このような判定を行い画像の一部領域のみへ超解像処理を行うことで、処理量を削減し、消費電力を削減して、超解像処理を実行することができる。
《任意倍率超解像部におけるノイズ量の考慮》
図5にはノイズ量を考慮して解像度の拡大を制御する任意倍率超解像処理部4Bが例示される。任意倍率超解像処理部4Bにおいて、制御部13Bは、任意倍率拡大/縮小処理部12及び倍率限定超解像処理部11を用いて解像度の拡大を行うとき解像度を拡大すべき画像データの特性として画像データにおけるノイズ量に応じて倍率限定超解像処理部11による拡大処理を最初に行なうか任意倍率拡大/縮小処理部12による拡大処理を最初に行なうかを制御する。ノイズ量が多いときに超解像による解像度の拡大を行えば不所望にノイズが強調される虞があり、先に超解像によらない解像度の拡大を行えばノイズの緩和を期待できる場合があり、何れを先にするかによってノイズの拡大を回避することが可能になる。ワンセグなどの圧縮された動画像の場合には、符号化歪などのノイズが重畳されている。このノイズの量が一定量以上含まれていると、超解像の処理によってノイズが本来の輪郭より強調されてしまうことがある。例えばマクロブロック毎の境界が格子状に現れることがある。そのため、ノイズ量を暗黙的に示す情報56として、例えば符号化圧縮動画像を復号するときの情報(ビットレート情報又は符号化データの復号に用いた量子化パラメータ)によって重畳されているノイズの量を推測し、ノイズ量が多いときには倍率限定超解像処理部11による超解像処理の前に任意倍率拡大/縮小処理部12による拡大処理を行って、入力画像データに重畳されているノイズや符号化歪が最初に先鋭化若しくは強調されるのを抑制する。換言すれば、超解像によって先鋭化若しくは強調される先鋭化の成分を単なる解像度拡大処理によって小さくしてから、超解像処理を行う。これにより、超解像処理時にノイズや符号化歪による誤処理を防止することができる。
図5にはノイズ量を考慮して解像度の拡大を制御する任意倍率超解像処理部4Bが例示される。任意倍率超解像処理部4Bにおいて、制御部13Bは、任意倍率拡大/縮小処理部12及び倍率限定超解像処理部11を用いて解像度の拡大を行うとき解像度を拡大すべき画像データの特性として画像データにおけるノイズ量に応じて倍率限定超解像処理部11による拡大処理を最初に行なうか任意倍率拡大/縮小処理部12による拡大処理を最初に行なうかを制御する。ノイズ量が多いときに超解像による解像度の拡大を行えば不所望にノイズが強調される虞があり、先に超解像によらない解像度の拡大を行えばノイズの緩和を期待できる場合があり、何れを先にするかによってノイズの拡大を回避することが可能になる。ワンセグなどの圧縮された動画像の場合には、符号化歪などのノイズが重畳されている。このノイズの量が一定量以上含まれていると、超解像の処理によってノイズが本来の輪郭より強調されてしまうことがある。例えばマクロブロック毎の境界が格子状に現れることがある。そのため、ノイズ量を暗黙的に示す情報56として、例えば符号化圧縮動画像を復号するときの情報(ビットレート情報又は符号化データの復号に用いた量子化パラメータ)によって重畳されているノイズの量を推測し、ノイズ量が多いときには倍率限定超解像処理部11による超解像処理の前に任意倍率拡大/縮小処理部12による拡大処理を行って、入力画像データに重畳されているノイズや符号化歪が最初に先鋭化若しくは強調されるのを抑制する。換言すれば、超解像によって先鋭化若しくは強調される先鋭化の成分を単なる解像度拡大処理によって小さくしてから、超解像処理を行う。これにより、超解像処理時にノイズや符号化歪による誤処理を防止することができる。
図5において切換え制御信号50,52,54と切換えスイッチ51,53,55は任意倍率拡大/縮小処理部12と倍率限定超解像処理部11との実行順序を入れ替えるための手段をハードウェア的に示したものである。倍率限定超解像処理部11による処理を行ってから任意倍率拡大/縮小処理部12による処理を行う場合には画像データの経路は51,11,53,12,55の順番とされる。任意倍率拡大/縮小処理部12による処理を先に行ってから倍率限定超解像処理部11による処理を行う場合には画像データの経路は53,12,51,11,53,55の順番とされる。その他の構成は図1等に基づいて説明した通りであるからその詳細な説明は省略する。ここでは、ノイズの含まれる量の推測のために、ビットレート、量子化パラメータ値などの符号化情報を例として説明したが、局所領域における画素値の偏差を用いるなど、ノイズが予測できる手段であれば何でもよい。
図6にはノイズ量を考慮して解像度の拡大を制御する別の任意倍率超解像処理部4Cが例示される。任意倍率超解像処理部4Cでは、任意倍率拡大/縮小処理部12による拡大処理を倍率限定超解像処理部11による拡大処理の前後で2回に分けて行なうことが可能にされる。ここでは、便宜上、任意倍率拡大/縮小処理部12を倍率限定超解像処理部11の前後に12_F,12_Sとして別々に図示し、制御信号も16_F,16_Sとして別々に図示してある。
任意倍率超解像処理部4Cにおいて、制御部13Cは、ビットレート情報又は量子化パラメータなどのノイズ量を暗黙的に示す情報56によって推測されるノイズ量が多いと判別したときは任意倍率拡大/縮小処理部12_F,12_Sによる拡大処理を倍率限定超解像処理部11による拡大処理の前後で2回に分けて行ない、前記倍率限定超解像処理部11による拡大処理の前後で夫々行なう12_F,12_Sによる拡大処理の夫々の倍率を、目標倍率14及び情報56に基づいて決めるように制御する。夫々の倍率は信号216_F,16_Sのよって任意倍率拡大/縮小処理部12_F,12_Sに与えられる。
任意倍率超解像処理部4Cによれば、画像データに重畳されているノイズを増大させないようにする上記制御の精度を高くすることが可能になる。すなわち、最初に大きな倍率で超解像によらずに解像度の拡大を行ってしまうと、その後の超解像による効果が期待できなくなる場合があり、そのようなときに超解像の前後で超解像によらない処理を分けることにより、超解像による効果を維持しながらノイズを低減することができる。図6の任意倍率超解像処理部4Cは図5の構成と比較して、超解像効果の度合いを任意に調整できるという特徴がある。倍率限定超解像処理部11の前段での拡大率を抑えて後段での倍率を大きくすれば、超解像の効果が強まる。また、逆に前段での拡大率を大きくし、後段での倍率を小さくすれば超解像の効果が弱まる。図5で説明したような符号化情報などの情報56を使用する制御を採用することによって超解像効果の強弱を調整することができるため、ノイズなどによって劣化した画像を超解像処理する場合に、その劣化度合いに応じて超解像の強弱を適切に変化させることができる。そのためノイズが多く含まれるような画像に対しても最適な画質の任意超解像処理を行うことが可能になる。
任意倍率超解像処理部4Cにおいて、任意倍率拡大/縮小処理部12_F及び12_Sによる処理を並列化することを要しない場合には、任意倍率拡大/縮小処理部は12_F及び12_Sのように夫々個別に配置しなくてもよい。例えばソフトウェア・アクセラレータとその動作プログラムによって同一の構成を採用すればよい。パイプライン的に処理を行おうとする場合には個別化したほうがよい。また、任意倍率超解像処理部4Cの機能は図5に示される構成でも実現することができる。すなわち、図5の構成において出力を一度メモリなどへ格納し、それを再び図5の構成に与えて任意倍率拡大/縮小処理部12で拡大するようにすればよい。ただし、1枚の画像を処理するために任意倍率超解像処理部12を2回動作しなければならないため、処理時間を多く必要とする。特に動画像の表示シーケンスにおいては、フレーム毎にパイプライン処理することが必要になってくるため、図6に示したように任意倍率拡大/縮小処理部を12_Fと12_Sのように個別化することにより、性能のみでなくアプリケーション全体の制御方式も簡素化することができる。したがって、図6に示されるような処理形態を採用することにより、図5の構成に比べて高性能化と制御の単純化の双方で優位となる。
その他の構成は図1等に基づいて説明した通りであるからその詳細な説明は省略する。
《超解像と非超解像の加重平均》
図7には目標倍率の変更に際して超解像と非超解像の加重平均を行うことが可能な任意倍率超解像処理部4Dが例示される。図1の構成に対して任意倍率超解像処理部4Dは、画像データに対して超解像によらずに前記倍率限定超解像処理部11と同じ第2の倍率で解像度の拡大行う第3演算処理部としての倍率限定拡大処理部60を更に備えると共に、倍率限定超解像処理部11で処理された画像データと倍率限定拡大処理部60で処理された画像データとの加重平均を行う第4演算処理部として乗算器61,62及び加算器63を有する。乗算器62は倍率限定超解像処理部11の出力に加重平均の重みβを乗算する。乗算器61は倍率限定拡大処理部60の出力に加重平均の重み1−βを乗算する。加算器63は乗算器61と62の出力を加算して、倍率限定超解像処理部11で処理された画像データと倍率限定拡大処理部60で処理された画像データとの加重平均の結果を得る。切換え制御信号64と切換えスイッチ65は、加算器63の出力(経路3)、倍率限定超解像処理部11の出力(経路2)、又は入力画像データ17(経路1)を選択して任意倍率拡大/縮小処理部12に供給するための手段をハードウェア的に示したものである。制御部13Dは、任意倍率拡大/縮小処理部12及び倍率限定超解像処理部11を用いた解像度の拡大途中で前記信号16により任意倍率拡大/縮小処理部12に指示する倍率(第1の倍率)を大きくするとき、倍率限定超解像処理部11で処理された画像データ(乗算器62への入力データ)に対する加重平均の重みβを0から1に漸増し、且つ、前記倍率限定拡大処理部60で処理された画像データ(乗算器61への入力データ)に対する加重平均の重み1−βを1から0に漸減して、目標倍率を実現するように制御する。これにより、解像度の拡大途中で超解像によらない画像から超解像による画像への急激な変化を抑制でき、滑らかに解像度を拡大遷移させることができる。また、前記制御部13Dは、任意倍率拡大/縮小処理部12及び倍率限定超解像処理部11を用いた拡大された解像度の縮小途中で前記信号16により任意倍率拡大/縮小処理部12に指示する倍率(第1の倍率)を小さくするとき、倍率限定超解像処理部11で処理された画像データに対する加重平均の重みβを1から0に漸減し、且つ、前記倍率限定拡大処理部60で処理された画像データに対する加重平均の重み1−βを0から1に漸増して、前記目標倍率を実現する指示を与える。これにより、解像度の縮小途中で超解像による画像から超解像によらない画像への急激な変化を抑制でき、滑らかに解像度を縮小遷移させることができる。
図7には目標倍率の変更に際して超解像と非超解像の加重平均を行うことが可能な任意倍率超解像処理部4Dが例示される。図1の構成に対して任意倍率超解像処理部4Dは、画像データに対して超解像によらずに前記倍率限定超解像処理部11と同じ第2の倍率で解像度の拡大行う第3演算処理部としての倍率限定拡大処理部60を更に備えると共に、倍率限定超解像処理部11で処理された画像データと倍率限定拡大処理部60で処理された画像データとの加重平均を行う第4演算処理部として乗算器61,62及び加算器63を有する。乗算器62は倍率限定超解像処理部11の出力に加重平均の重みβを乗算する。乗算器61は倍率限定拡大処理部60の出力に加重平均の重み1−βを乗算する。加算器63は乗算器61と62の出力を加算して、倍率限定超解像処理部11で処理された画像データと倍率限定拡大処理部60で処理された画像データとの加重平均の結果を得る。切換え制御信号64と切換えスイッチ65は、加算器63の出力(経路3)、倍率限定超解像処理部11の出力(経路2)、又は入力画像データ17(経路1)を選択して任意倍率拡大/縮小処理部12に供給するための手段をハードウェア的に示したものである。制御部13Dは、任意倍率拡大/縮小処理部12及び倍率限定超解像処理部11を用いた解像度の拡大途中で前記信号16により任意倍率拡大/縮小処理部12に指示する倍率(第1の倍率)を大きくするとき、倍率限定超解像処理部11で処理された画像データ(乗算器62への入力データ)に対する加重平均の重みβを0から1に漸増し、且つ、前記倍率限定拡大処理部60で処理された画像データ(乗算器61への入力データ)に対する加重平均の重み1−βを1から0に漸減して、目標倍率を実現するように制御する。これにより、解像度の拡大途中で超解像によらない画像から超解像による画像への急激な変化を抑制でき、滑らかに解像度を拡大遷移させることができる。また、前記制御部13Dは、任意倍率拡大/縮小処理部12及び倍率限定超解像処理部11を用いた拡大された解像度の縮小途中で前記信号16により任意倍率拡大/縮小処理部12に指示する倍率(第1の倍率)を小さくするとき、倍率限定超解像処理部11で処理された画像データに対する加重平均の重みβを1から0に漸減し、且つ、前記倍率限定拡大処理部60で処理された画像データに対する加重平均の重み1−βを0から1に漸増して、前記目標倍率を実現する指示を与える。これにより、解像度の縮小途中で超解像による画像から超解像によらない画像への急激な変化を抑制でき、滑らかに解像度を縮小遷移させることができる。
このように、経路1として入力画像データ17、経路2として倍率限定超解像処理部11の処理データ、経路3として倍率限定超解像処理部11及び倍率限定拡大処理部60の拡大処理結果に対する重みβを用いた加重平均結果のデータを求め、経路1乃至3の中からから1つの経路を選択し、選択した経路からのデータを任意倍率拡大縮小処理部12へ供給する。これによって、経路1では超解像処理を行わず、経路2では超解像処理がもっとも強く効く処理が行われ、経路3では超解像の効果をβ値によって調節できる、構造となっている。この構造の利点は、例えば、なんらの外部的要因により超解像処理をオフにする場合に、あるフレームを境に超解像処理を非活性にすると映像の解像感が急激に変化して好ましくない。超解像を非活性するときに、図7の構成において、あるフレームからその後の所定フレーム数の期間の間に、βの値を0から徐々に1に移行することにより超解像を活性化するときに、βの値を1から徐々に0に移行することにより超解像を非活性化するときに、超解像のOFF/ONによる画質の急激な変化を防止し、視聴者の不快感を軽減することができる。
例えばディジタルズームを行う場合にも、ズームの度合いに応じて画像がぼける度合いが変化する。このとき、あるズーム倍率のときに超解像処理の強度を変化させると映像の解像感が急激に変化し好ましくない。この場合にも、経路3によってβの値を1から徐々に0に移行し、また0から徐々に1に移行することにより、超解像OFF/ONによる画質の急激な変化を防止して、視聴者の不快感を軽減できる。図8の例は5倍以上のディジタルズームに任意倍率超解像処理部4Dを用いる。時刻t0からt2までは経路1を選択し、時刻t2で経路3に切換え、βを0から1に漸増しながら任意倍率拡大/縮小処理部12の倍率を漸増する。少なくとも時刻t2から倍率限定(2倍限定)拡大処理部60と倍率限定(2倍限定)超改造処理部11が活性化されていて、加算回路路63から出力される2倍に拡大された画像データに占める超解像の効果はβの漸増に比例して増加し、時刻t3で100%になる。要するに、ディジタルズームが高倍率になるとき超解像適用へのスムースな切換えが可能になる。一方、時刻t4からディジタルズームの倍率を徐々に下げると、時刻t5からβを1から0に漸減開始し、且つ、任意倍率拡大/縮小処理部12の倍率を1以下に漸減し、時刻t6でβが0になったところで経路3から経路1に切換える。これにより、加算回路路63から出力される2倍に拡大された画像データに占める超解像の効果は時刻5から始まるβの漸減に比例して減少し、時刻t6で0%になる。要するに、ディジタルズームが低倍率になるとき超解像不適用へのスムースな遷移が可能になる。特に、倍率減少に伴う超解像不適用への遷移では任意倍率拡大/縮小処理部12の倍率を1より小さくなるまで漸減して超解像不適用になるタイミングを極力遅延させるように制御(ヒステリシス制御)した。特に図示はしないが、ディジタルズームの倍率を上げるときも任意倍率拡大/縮小処理部12による倍率が2倍になる前からβを漸増するようにして超解像が適用になるタイミングを早めるように制御(ヒステリシス制御)することも可能である。
このように、光学ズームとディジタルズームの併用時には、光学ズームからディジタルズームに変化すると急激に画像がぼけ始めるから、このときに、本発明の任意倍率超解像処理部4Dを用いて、図8に例示されるような制御を行うことにより、非常にスムースな光学ズームからディジタルズームへの切り替えが実現できる。尚、図8に示すヒステリシス制御は制御特性によっては必ずしも必須ではない。
その他の構成は図1等に基づいて説明した通りであるからその詳細な説明は省略する。
《画素成分毎の超解像処理》
図9には画像の色成分ごとに超解像処理を活性/非活性に制御可能な任意倍率超解像処理部4Eが例示される。倍率限定超改造処理部11は画像の各入力成分であるR成分、G成分、B成分、或いはCr成分、Y成分、Cb成分毎に超解像処理を活性/非活性に制御可能にされる。11_RはR成分又はCr成分に対して倍率限定(例えば2倍限定)で超解像による解像度の拡大を行う倍率限定超改造処理部、11_GはG成分又はY成分に対して倍率限定(例えば2倍限定)で超解像による解像度の拡大を行う倍率限定超改造処理部、11_BはB成分又はCb成分に対して倍率限定(例えば2倍限定)で超解像による解像度の拡大を行う倍率限定超改造処理部である。15_Rは倍率限定超改造処理部11_Rに対する解像度拡大動作の活性/非活性などを指示する信号、15_Gは倍率限定超改造処理部11_Gに対する解像度拡大動作の活性/非活性などを指示する信号、15_Bは倍率限定超改造処理部11_Bに対する解像度拡大動作の活性/非活性などを指示する信号である。
図9には画像の色成分ごとに超解像処理を活性/非活性に制御可能な任意倍率超解像処理部4Eが例示される。倍率限定超改造処理部11は画像の各入力成分であるR成分、G成分、B成分、或いはCr成分、Y成分、Cb成分毎に超解像処理を活性/非活性に制御可能にされる。11_RはR成分又はCr成分に対して倍率限定(例えば2倍限定)で超解像による解像度の拡大を行う倍率限定超改造処理部、11_GはG成分又はY成分に対して倍率限定(例えば2倍限定)で超解像による解像度の拡大を行う倍率限定超改造処理部、11_BはB成分又はCb成分に対して倍率限定(例えば2倍限定)で超解像による解像度の拡大を行う倍率限定超改造処理部である。15_Rは倍率限定超改造処理部11_Rに対する解像度拡大動作の活性/非活性などを指示する信号、15_Gは倍率限定超改造処理部11_Gに対する解像度拡大動作の活性/非活性などを指示する信号、15_Bは倍率限定超改造処理部11_Bに対する解像度拡大動作の活性/非活性などを指示する信号である。
制御部13Eは、解像度を拡大すべき画像データにおける画素成分毎の特性として画像の1つのフレーム内における明るさの変化の度合いが小さな画素成分に対応する倍率限定超改造処理部では超解像による解像度の拡大処理を非活性にすると共に、任意倍率拡大/縮小処理部12では超解像による解像度の拡大処理が非活性にされた画素成分に対して任意倍率拡大/縮小処理部12だけで目標倍率になるように指示を与える。具体的には、画像データにおける画素成分毎の特性として輪郭検出によって得られる局所的なエッジ量を入力し、入力したエッジ量が所定の閾値を超えていなければ対応する画素成分に対して任意倍率拡大/縮小処理部12だけで目標倍率になるように、また、前記エッジ量が所定の閾値を超えたときは対応する画素成分に対して倍率限定超改造処理部11による倍率と任意倍率拡大/縮小処理部12による倍率との積が目標倍率になるように、任意倍率拡大/縮小処理部12及び倍率限定超改造処理部11(11_R,11_G,11_B)を制御する。
これによれば、ある画像に含まれる色成分の輪郭量が少ない場合、その色成分の超解像による拡大処理を非活性に制御することで、演算処理量を大幅に削減することができる。各色成分毎の輪郭量の抽出は前述と同様の輪郭抽出部40で行えば良い。或いは、図2に示したように前段に位置する画像処理部3などで行い、ここで抽出した輪郭量(たとえば微分フィルタによる検出エッジの総和や全画素値の偏差)がある閾値よりも多きい輪郭量を持つ色成分は超解像処理を活性とし、ある閾値よりも少ない輪郭量しか持たない色成分は超解像処理を非活性とすればよい。
その他の構成は図1等に基づいて説明した通りであるからその詳細な説明は省略する。
《α値の拡大/縮小》
図10には画素毎の透過情報を保有する画像データに対応する任意倍率超解像処理部4Fが例示される。任意倍率超解像処理部4Fは今までに述べてきた構造の任意倍率超解像に加えて、透過情報としてのα値を拡大できる構成を備える。α値を持った画像が超解像処理によって高解像度化されると、その画像のα値が持つ解像度とは異なるものになってしまうため、超解像処理以降、透過情報αがまったく使用できなくなる。任意倍率超解像処理部4Fはこれを解決するために、α値に対して超解像と同じ倍率に限定した倍率限定α値拡大処理部71によって拡大し、その後段の任意倍率拡大/縮小部72によって画像解像度と同じ解像度へ拡大/縮小する。これによって、α値を持つ画像データ17Fに対しても超解像処理を行うことができる。α値を拡大するには、画素値と同様に、任意倍率拡大/縮小部72にはBi-linear方式などを、倍率限定α値拡大処理部71にはBi-Cubic方式などを使用することができる。透過情報についても解像度の拡大に整合させることができる。その他の構成は図1等に基づいて説明した通りであるからその詳細な説明は省略する。
図10には画素毎の透過情報を保有する画像データに対応する任意倍率超解像処理部4Fが例示される。任意倍率超解像処理部4Fは今までに述べてきた構造の任意倍率超解像に加えて、透過情報としてのα値を拡大できる構成を備える。α値を持った画像が超解像処理によって高解像度化されると、その画像のα値が持つ解像度とは異なるものになってしまうため、超解像処理以降、透過情報αがまったく使用できなくなる。任意倍率超解像処理部4Fはこれを解決するために、α値に対して超解像と同じ倍率に限定した倍率限定α値拡大処理部71によって拡大し、その後段の任意倍率拡大/縮小部72によって画像解像度と同じ解像度へ拡大/縮小する。これによって、α値を持つ画像データ17Fに対しても超解像処理を行うことができる。α値を拡大するには、画素値と同様に、任意倍率拡大/縮小部72にはBi-linear方式などを、倍率限定α値拡大処理部71にはBi-Cubic方式などを使用することができる。透過情報についても解像度の拡大に整合させることができる。その他の構成は図1等に基づいて説明した通りであるからその詳細な説明は省略する。
《フレームレートの制御》
図11A、図11Bには本発発明に係る超解像画像処理装置としての動画像高画質化処理部の構成が例示される。同図に示される動画像高画質化処理部90は、任意倍率超解像処理部4に代表される今まで説明した何れかの構成を備えた任意倍率超解像処理部の構成の他に、画像データのフレームレートを変換するフレームレート変換部80_A、及びそのフレームレート変換部の前段または後段に超解像画像処理装置と同じ解像度へ変換するための任意倍率拡大処理装置80_Bを有する。任意倍率拡大処理装置80_Bは信号15,16による任意倍率超解像処理部4の倍率と同一倍率に制御される。超解像/フレームレート変換・判定処理部81は、画像データにおける動きの大小を示す情報を入力し、入力した情報によって動き量が多いと判別したときは任意倍率超解像処理部4の前記任意倍率拡大/縮小処理部12及び倍率限定超改造処理部11による解像度の拡大に代えてフレームレート変換部80_Aによりフレームレートを増加し且つ任意倍率拡大処理装置80_Bで拡大を行ない、また、前記入力した情報によって動き量が少ないと判別したときはフレームレート変換部80_Aによるフレームレートの増加に代えて任意倍率超解像処理部4の前記任意倍率拡大/縮小処理部12及び倍率限定超改造処理部11により解像度を拡大するように指示を与える。切換え制御信号82と切換えスイッチ83は前者の動作と後者の動作において出力画像データを選択するための手段をハードウェア的に示したものである。特に図示はしないが、超解像/フレームレート変換・判定処理部81は任意倍率超解像処理部4における制御部13と一体的に構成されればよい。
図11A、図11Bには本発発明に係る超解像画像処理装置としての動画像高画質化処理部の構成が例示される。同図に示される動画像高画質化処理部90は、任意倍率超解像処理部4に代表される今まで説明した何れかの構成を備えた任意倍率超解像処理部の構成の他に、画像データのフレームレートを変換するフレームレート変換部80_A、及びそのフレームレート変換部の前段または後段に超解像画像処理装置と同じ解像度へ変換するための任意倍率拡大処理装置80_Bを有する。任意倍率拡大処理装置80_Bは信号15,16による任意倍率超解像処理部4の倍率と同一倍率に制御される。超解像/フレームレート変換・判定処理部81は、画像データにおける動きの大小を示す情報を入力し、入力した情報によって動き量が多いと判別したときは任意倍率超解像処理部4の前記任意倍率拡大/縮小処理部12及び倍率限定超改造処理部11による解像度の拡大に代えてフレームレート変換部80_Aによりフレームレートを増加し且つ任意倍率拡大処理装置80_Bで拡大を行ない、また、前記入力した情報によって動き量が少ないと判別したときはフレームレート変換部80_Aによるフレームレートの増加に代えて任意倍率超解像処理部4の前記任意倍率拡大/縮小処理部12及び倍率限定超改造処理部11により解像度を拡大するように指示を与える。切換え制御信号82と切換えスイッチ83は前者の動作と後者の動作において出力画像データを選択するための手段をハードウェア的に示したものである。特に図示はしないが、超解像/フレームレート変換・判定処理部81は任意倍率超解像処理部4における制御部13と一体的に構成されればよい。
超解像/フレームレート変換・判定処理部81では、圧縮動画像の復号過程で生成される動きベクトル値の情報84を使用し、1フレーム全体を見て動きベクトルの総量が大きい、あるいは局所的でも一定の閾値を越えた動きベクトル値があるなどいった情報から、そのフレームにおける動きの大小を判定する。動きが大きい画像領域では人間の視覚特性上、画像がぼけて見えるという特徴をから超解像の効果が薄い。そのため、大きな動きを滑らかに見せるためにフレームレート変換部80_Bでフレームレート変換処理を行う。また動きが少ない領域は人間の視覚における解像度が上がるという特性のために、任意倍率超解像処理部4を用いて解像感の向上を実現する。このように動き情報を利用してフレームレート変換と任意倍率超解像処理を制御することで、動画像の中で動きが大きい領域のなめらかさ向上と、動きが少ない領域の解像感向上を少ない処理量で実現できる。特に、超解像処理とフレームレート変換をいずれもソフトウェアで実現している場合、これら2つの処理を排他的に行うことにより、2つの処理を同時に実施する場合に比べて、CPUリソース(CPU周波数及びメモリ等)を低減・削減することができる。特にCPUの周波数を低減した場合は、機器の消費電力を削減することができ、バッテリ動作時には機器の動作時間を長くすることができる。
図12A及び12Bには本発発明に係る超解像画像処理装置としての動画像高画質化処理部の別の構成90Aが例示される。図12A、図12Bは各々図11A、図11Bの構成(経路2)に対して経路1と3を拡張したもので、図11A、図11Bで説明したように動きが大きい場合は経路1を選択する。しかし一定の動きはあるが動きの量がそれほど大きくない場合には、経路3を選択することでフレームレート変換処理と任意倍率超解像処理の両方を適用し、動きの滑らかさと解像感の両方を向上させることが可能である。これらの経路選択は、本発明に入力される動き情報84を参照して超解像/フレームレート変換・判定処理部81Aが行う。即ち、超解像/フレームレート変換・判定処理部81Aは画像データにおける動きの大小を示す情報84を入力し、入力した情報によって動き量が多いと判別したときは任意倍率超解像処理部4の任意倍率拡大/縮小処理部12及び倍率限定超改造処理部11による解像度の拡大に代えてフレームレート変換部80_Aおよび任意倍率拡大処理部80_Bによりフレームレートの増加と解像度の拡大を行う。このときの任意倍率拡大処理部80_Bによる解像度の拡大率は任意倍率超解像処理部4による解像度の倍率と同一にされる。前記入力した情報84によって動き量が普通であると判別したときはフレームレート変換部80_Aによりフレームレートを増加し、且つ、フレームレートが増加された画像データに対して任意倍率超解像処理部4の任意倍率拡大/縮小処理部12及び倍率限定超改造処理部11により解像度を拡大するように指示を与える。特に図12Bの場合は切り替えスイッチ87の入力の前にフレームレート変換部80_Aおよび任意倍率拡大処理部80_Bが配置されるから、任意倍率拡大処理部80_Bおよび任意倍率超解像処理部4による解像度の倍率は併せて目的倍率になるようにう前記制御部13等によって制御される。前記入力した情報84によって動き量が少ないと判別したときはフレームレート変換部80_Aによりフレームレートの増加に代えて任意倍率超解像処理部4の任意倍率拡大/縮小処理部12及び倍率限定超改造処理部11により解像度を拡大するように制御する。動き量の大中小三段階に応じた上記制御態様により超解像とフレームレート増大による効果の度合いに柔軟性を得ることができる。
切換え制御信号86と切換えスイッチ87は任意倍率超解像処理部4への入力を経路2又は経路3に切換えるための手段をハードウェア的に示したものである。特に図示はしないが、超解像/フレームレート変換・判定処理部81Aは任意倍率超解像処理部4における制御部13と一体的に構成されればよい。その他の構成は図1等に基づいて説明した通りであるからその詳細な説明は省略する。尚、経路選択の基準としては、経路が選択できれば必ずしも動き情報である必要はない。
以上説明した幾つかの任意倍率超解像処理部、更には動画像高画質化処理部として機能向上された任意倍率超解像処理部によれば、超解像の処理量を大幅に削減可能であり、任意の解像度を持つ高解像度化画像へ容易に対応可能である。これにより、近年普及している携帯電話、ディジタルカメラ、ディジタルビデオカメラ、DVD/HDDレコーダ、ディジタルテレビ、カーナビゲーションシステムなどで要求される多種多様なアプリケーションにおいて、少ない演算量で多種多様な解像度に対応した高解像度画像を生成することが可能となる。低消費電力化と高画質化を両立した画像処理機能を持つ必要があるLSI(半導体集積回路)などに適用して有効である。
以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。
例えば、倍率限定超解像処理部11、任意倍率拡大/縮小処理部12及び制御部13等をハードウェア的に構成する場合とソフトウェア的に構成する場合の代表的な態様は上記第1乃至第4の態様に限定されず、適宜変更可能である。また、図11及び図12では4F,4Gを動画像高画質化処理部として機能向上された任意倍率超解像処理部として説明したが、その名称には限定されない。フレームレート変換部及び超解像/フレームレート変換判定処理部を参照符号4で代表される任意倍率超解像処理部とは異なる機能モジュールに分けて構成することも可能である。
1 中央処理装置(CPU)
2 符号化圧縮動画像復号部
3 画像処理部
4、4A〜4F 任意倍率超解像部
5 画像表示部
6 メモリ等
7 バス
8 表示装置
9 受信装置
12,12_F,12_S 第1演算処理部としての任意倍率拡大/縮小処理部
11 第2演算処理部としての倍率限定超解像処理部
13,13A〜13F 制御部
14 目標倍率の指示信号
15 倍率限定超解像処理部の解像度拡大処理の活性/非活性等を指示する制御信号
16,16_F,16_S 第1の倍率を指定するとともに任意倍率拡大/縮小処理部の活性/非活性等を指示する制御信号
20 IPモジュールデータ
22 前記第1演算処理部としての任意倍率拡大/縮小処理部12の設計データ
21 前記第2演算処理部としての倍率限定超解像処理部11の設計データ
23 前記制御部13の設計データ
24 デバッグ用情報
30 中央処理装置1が実行するための動作プログラム記述
31 ソフトウェア・アクセラレータの回路パターンデータ又は回路記述データ
32 ソフトウェア・アクセラレータのプログラム記述
33 ハードウェア・アクセラレータの回路パターンデータ又は回路記述データ
40 輪郭検出部
41 局所的なエッジ量
56 ノイズ量を暗黙的に示す情報
60 第3演算処理部としての倍率限定拡大処理部
61,62 加重平均を行う第4演算処理部として乗算器
β,1−β 加重平均の重み
63 加算回路路
11_R R成分又はCr成分に対して倍率限定(例えば2倍限定)で超解像による解像度の拡大を行う倍率限定超改造処理部
11_G G成分又はY成分に対して倍率限定(例えば2倍限定)で超解像による解像度の拡大を行う倍率限定超改造処理部
11_B B成分又はCb成分に対して倍率限定(例えば2倍限定)で超解像による解像度の拡大を行う倍率限定超改造処理部
15_R 倍率限定超改造処理部11_Rに対する解像度拡大動作の活性/非活性などを指示する信号
15_G 倍率限定超改造処理部11_Gに対する解像度拡大動作の活性/非活性などを指示する信号
15_B 倍率限定超改造処理部11_Bに対する解像度拡大動作の活性/非活性などを指示する信号
71 倍率限定α値拡大処理部
72 任意倍率拡大/縮小部
80_A フレームレート変換部
80_B 任意倍率拡大処理部
81,81A 超解像/フレームレート変換・判定処理部
84 圧縮動画像の復号過程で生成される動きベクトル値の情報
90,90A 動画像高画質化処理部として機能向上された任意倍率超解像処理部
2 符号化圧縮動画像復号部
3 画像処理部
4、4A〜4F 任意倍率超解像部
5 画像表示部
6 メモリ等
7 バス
8 表示装置
9 受信装置
12,12_F,12_S 第1演算処理部としての任意倍率拡大/縮小処理部
11 第2演算処理部としての倍率限定超解像処理部
13,13A〜13F 制御部
14 目標倍率の指示信号
15 倍率限定超解像処理部の解像度拡大処理の活性/非活性等を指示する制御信号
16,16_F,16_S 第1の倍率を指定するとともに任意倍率拡大/縮小処理部の活性/非活性等を指示する制御信号
20 IPモジュールデータ
22 前記第1演算処理部としての任意倍率拡大/縮小処理部12の設計データ
21 前記第2演算処理部としての倍率限定超解像処理部11の設計データ
23 前記制御部13の設計データ
24 デバッグ用情報
30 中央処理装置1が実行するための動作プログラム記述
31 ソフトウェア・アクセラレータの回路パターンデータ又は回路記述データ
32 ソフトウェア・アクセラレータのプログラム記述
33 ハードウェア・アクセラレータの回路パターンデータ又は回路記述データ
40 輪郭検出部
41 局所的なエッジ量
56 ノイズ量を暗黙的に示す情報
60 第3演算処理部としての倍率限定拡大処理部
61,62 加重平均を行う第4演算処理部として乗算器
β,1−β 加重平均の重み
63 加算回路路
11_R R成分又はCr成分に対して倍率限定(例えば2倍限定)で超解像による解像度の拡大を行う倍率限定超改造処理部
11_G G成分又はY成分に対して倍率限定(例えば2倍限定)で超解像による解像度の拡大を行う倍率限定超改造処理部
11_B B成分又はCb成分に対して倍率限定(例えば2倍限定)で超解像による解像度の拡大を行う倍率限定超改造処理部
15_R 倍率限定超改造処理部11_Rに対する解像度拡大動作の活性/非活性などを指示する信号
15_G 倍率限定超改造処理部11_Gに対する解像度拡大動作の活性/非活性などを指示する信号
15_B 倍率限定超改造処理部11_Bに対する解像度拡大動作の活性/非活性などを指示する信号
71 倍率限定α値拡大処理部
72 任意倍率拡大/縮小部
80_A フレームレート変換部
80_B 任意倍率拡大処理部
81,81A 超解像/フレームレート変換・判定処理部
84 圧縮動画像の復号過程で生成される動きベクトル値の情報
90,90A 動画像高画質化処理部として機能向上された任意倍率超解像処理部
Claims (40)
- 複数の倍率の中から選択された第1の倍率で画像データに対して超解像によらずに解像度の拡大又は縮小を行う第1演算処理部と、
前記複数の倍率よりも種類の少ない倍率の中の第2の倍率で画像データに対して超解像による解像度の拡大を行う第2演算処理部と、
前記第1演算処理部及び第2演算処理部を用いて解像度の拡大を行うとき前記第1の倍率と第2の倍率の積が目標倍率になるように前記第1演算処理部及び第2演算処理部に指示を与える制御部と、を有する超解像画像処理装置。 - 前記第2の倍率は整数倍率である、請求項1記載の超解像画像処理装置。
- 前記第2の倍率は2のべき乗数の倍率である、請求項2記載の超解像画像処理装置。
- 前記第2の倍率は固定倍率である、請求項1乃至3の何れか1項記載の超解像画像処理装置。
- 前記第2の倍率は複数種類の倍率から選択された倍率である、請求項1乃至3の何れか1項記載の超解像画像処理装置。
- 前記第1の演算処理部及び前記制御部は中央処理装置とそれが実行する動作プログラムから成り、前記第2の演算処理部は前記中央処理装置によってその動作の指示が行われるソフトウェア・アクセラレータとそれが実行する動作プログラムから成る、請求項1乃至5の何れか1項記載の超解像画像処理装置。
- 前記制御部は中央処理装置とそれが実行する動作プログラムから成り、前記第1の演算処理部及び第2の演算処理部は前記中央処理装置によって動作の指示が行われるソフトウェア・アクセラレータとそれが実行する動作プログラムから成る、請求項1乃至5の何れか1項記載の超解像画像処理装置。
- 前記制御部は中央処理装置とそれが実行する動作プログラムから成り、前記第1の演算処理部及び第2の演算処理部は前記中央処理装置によって動作の指示が行われる夫々個別のハードウェア・アクセラレータから成る、請求項1乃至5の何れか1項記載の超解像画像処理装置。
- 前記第1の演算処理部及び前記制御部は中央処理装置とそれが実行する動作プログラムから成り、前記第2の演算処理部はハードウェア・アクセラレータから成る、請求項1乃至5の何れか1項記載の超解像画像処理装置。
- 前記制御部は前記中央処理装置に代えてハードウェアロジックにより構成される、請求項6乃至9の何れか1項記載の超解像画像処理装置。
- 前記制御部は、解像度を拡大すべき画像データの特性として1つのフレーム内における画像の明るさの変化の度合いが小さいときは前記第2演算処理部を非活性とし前記第1演算処理部だけで目標倍率になるように指示を与える、請求項1乃至10の何れか1項記載の超解像画像処理装置。
- 前記制御部は、前記画像データの特性として輪郭検出によって得られる局所的なエッジ量を入力し、入力したエッジ量が所定の閾値を超えていなければ前記第1演算処理部だけで目標倍率になるように、また、前記エッジ量が所定の閾値を超えたときは前記第1の倍率と第2の倍率の積が目標倍率になるように、前記第1の演算処理部及び第2の演算処理部に指示を与える、請求項11記載の超解像画像処理装置。
- 前記輪郭検出によって得られる局所的なエッジ量は前記画像データにおける複数画素単位とされ、
前記制御部は前記第1の演算処理部及び第2の演算処理部への指示を前記複数画素単位で行う、請求項12記載の超解像化画像処理装置。 - 前記制御部は、第1演算処理部及び第2演算処理部を用いて解像度の拡大を行うとき解像度を拡大すべき画像データの特性として画像データにおけるノイズ量に応じて第1演算処理部による拡大処理を最初に行なうか前記第2演算処理部による拡大処理を最初に行なうかの指示を第1演算処理部及び第2演算処理部に与える、請求項1乃至10の何れか1項記載の超解像画像処理装置。
- 前記制御部は、前記画像データの特性としてノイズ量を暗黙的に示す情報を入力し、入力した情報によってノイズ量が多いと判別したときは第1演算処理部による拡大処理を最初に行ない、入力した情報によってノイズ量が少ないと判別したときは前記第2演算処理部による拡大処理を最初に行なうように指示を与える、請求項14記載の超解像画像処理装置。
- 前記制御部は、前記ノイズ量が多いと判別したときは第1演算処理部による拡大処理を前記第2演算処理部による拡大処理の前後で2回に分けて行ない、前記第2演算処理部による拡大処理の前後で夫々行なう第1演算処理部による拡大処理の倍率を前記ノイズ量の暗黙的指示情報と目標倍率とに基づいて決めるように指示を与える、請求項15記載の超解像画像処理装置。
- 前記ノイズ量を暗黙的に示す情報は符号化画像データの動画像圧縮に使用されたビットレート情報又は量子化パラメータである、請求項15又は16記載の超解像画像処理装置。
- <超解像と非超解像の加重平均>
画像データに対して超解像によらずに前記第2の倍率で解像度の拡大行う第3演算処理部と、
前記第2演算処理部で処理された画像データと前記第3演算処理部で処理された画像データとの加重平均を行う第4演算処理部と、を更に有し、
前記制御部は、前記第1演算処理部と第2演算処理部による解像度の拡大率を逐次上げていく途中段階で前記第1の倍率を大きくするとき、前記第2演算処理部で処理された画像データに対する加重平均の重みを0から1に漸増し、且つ、前記第3演算処理部で処理された画像データに対する加重平均の重みを1から0に漸減して、前記目標倍率を実現する指示を与える、請求項1乃至10の何れか1項記載の超解像画像処理装置。 - 前記制御部は、前記第1演算処理部と第2演算処理部により拡大された解像度の縮小率を下げていく途中段階で前記第1の倍率を小さくするとき、前記第2演算処理部で処理された画像データに対する加重平均の重みを1から0に漸減し、且つ、前記第3演算処理部で処理された画像データに対する加重平均の重みを0から1に漸増して、前記目標倍率を実現する指示を与える、請求項18記載の超解像画像処理装置。
- 前記第2の演算処理部は画素成分毎に超解像による解像度の拡大を行い、
前記第1の演算処理部は画素成分毎に超解像によらない解像度の拡大を行い、
前記制御部は、解像度を拡大すべき画像データにおける画素成分毎の特性として1つのフレーム内における画像の明るさの変化の度合いが小さな画素成分に対して前記第2演算処理部では超解像による解像度の拡大処理を非活性にすると共に、前記第1演算処理部では超解像による解像度の拡大処理が非活性にされた画素成分に対して前記第1演算処理部だけで目標倍率になるように指示を与える、請求項1乃至10の何れか1項記載の超解像画像処理装置。 - 前記制御部は、前記画像データにおける画素成分毎の特性として輪郭検出によって得られる局所的なエッジ量を入力し、入力したエッジ量が所定の閾値を超えていなければ対応する画素成分に対して前記第1演算処理部だけで目標倍率になるように、また、前記エッジ量が所定の閾値を超えたときは対応する画素成分に対して前記第1の倍率と第2の倍率の積が目標倍率になるように、前記第1の演算処理部及び第2の演算処理部に指示を与える、請求項20記載の超解像画像処理装置。
- 画像データが画素毎の透過情報を保有するとき前記第1の演算処理部及び第2の演算処理部は透過情報も画素情報と同様に拡大又は縮小の演算対象とする、請求項1乃至10の何れか1項記載の超解像画像処理装置。
- 画像データのフレームレートを変換するフレームレート変換部とこれに直列された任意拡大処理部を更に有し、
前記制御部は画像データにおける動きの大小を示す情報を入力し、入力した情報によって動き量が多いと判別したときは前記第1の画像処理部及び第2の画像処理部による解像度の拡大に代えてフレームレート変換部および任意拡大処理部によりフレームレートを増加し、また、前記入力した情報によって動き量が少ないと判別したときはフレームレート変換部によるフレームレートの増加に代えて前記第1の画像処理部及び第2の画像処理部により解像度を拡大するように指示を与える、請求項1乃至10の何れか1項記載の超解像画像処理装置。 - 画像データのフレームレートを変換するフレームレート変換部とこれに直列された任意拡大処理部を更に有し、
前記制御部は画像データにおける動きの大小を示す情報を入力し、入力した情報によって動き量が多いと判別したときは前記第1の画像処理部及び第2の画像処理部による解像度の拡大に代えてフレームレート変換部および任意拡大処理部によりフレームレートを増加し、前記入力した情報によって動き量が普通であると判別したときはフレームレート変換部によりフレームレートを増加し、且つ、フレームレートが増加された画像データに対して前記第1の画像処理部及び第2の画像処理部により解像度を拡大するように指示を与え、前記入力した情報によって動き量が少ないと判別したときはフレームレート変換部によりフレームレートの増加に代えて前記第1の画像処理部及び第2の画像処理部により解像度を拡大するように指示を与える、請求項1乃至10の何れか1項記載の超解像画像処理装置。 - 前記動きの大小を示す情報は符号化画像データの復号に用いた動きベクトルである、請求項23又は24記載の超解像画像処理装置。
- 複数の倍率の中から選択された第1の倍率で画像データに対して超解像によらずに解像度の拡大又は縮小を行う第1演算処理と、
前記複数の倍率よりも種類の少ない倍率の中の第2の倍率で画像データに対して超解像による解像度の拡大を行う第2演算処理と、
前記第1演算処理及び第2演算処理を用いて解像度の拡大を行うとき前記第1の倍率と第2の倍率の積が目標倍率になるように前記第1演算処理及び第2演算処理を指示する制御処理と、を有する超解像画像処理方法。 - 前記制御処理は、輪郭検出処理によって得られる画像データの特性としての局所的なエッジ量が所定の閾値を超えていなければ前記第1演算処理だけで目標倍率になるように、また、前記エッジ量が所定の閾値を超えたときは前記第1の倍率と第2の倍率の積が目標倍率になるように、前記第1の演算処理及び第2の演算処理を指示する、請求項26記載の超解像画像処理方法。
- 前記制御処理は、画像データの特性としてノイズ量を暗黙的に示す入力情報によってノイズ量が多いと判別したときは第1演算処理による拡大処理を最初に行ない、入力した情報によってノイズ量が少ないと判別したときは前記第2演算処理による拡大処理を最初に行なうように、前記第1の演算処理及び第2の演算処理を指示する、請求項26記載の超解像画像処理方法。
- 前記制御処理は、前記ノイズ量が多いと判別したときは第1演算処理による解像度拡大を前記第2演算処理による解像度拡大の前後で2回に分けて行ない、前記第2演算処理による解像度拡大の前後で夫々行なう第1演算処理による解像度拡大の倍率を入力パラメータに基づいて決めるように指示を与える、請求項28記載の超解像画像処理方法。
- 画像データに対して超解像によらずに前記第2の倍率で解像度の拡大行う第3演算処理と、
前記第2演算処理で処理された画像データと前記第3演算処理で処理された画像データとの加重平均を行う第4演算処理と、を更に有し、
前記制御処理は、前記第1演算処理と第2演算処理による解像度の拡大途中で前記第1の倍率を大きくするとき、前記第2演算処理で処理された画像データに対する加重平均の重みを0から1に漸増し、且つ、前記第3演算処理で処理された画像データに対する加重平均の重みを1から0に漸減して、前記目標倍率を実現させる、請求項26記載の超解像画像処理方法。 - 前記制御処理は、前記第1演算処理と第2演算処理により拡大された解像度の縮小途中で前記第1の倍率を小さくするとき、前記第2演算処理で処理された画像データに対する加重平均の重みを1から0に漸減し、且つ、前記第3演算処理で処理された画像データに対する加重平均の重みを0から1に漸増して、前記目標倍率を実現させる、請求項30記載の超解像画像処理方法。
- 前記第2の演算処理は画素成分毎に超解像による解像度の拡大を行い、
前記第1の演算処理は画素成分毎に超解像によらない解像度の拡大を行い、
前記制御処理は、前記画像データにおける画素成分毎の特性として輪郭検出処理によって得られる局所的なエッジ量が所定の閾値を超えていなければ対応する画素成分に対して前記第1演算処理だけで目標倍率になるように、また、前記エッジ量が所定の閾値を超えたときは対応する画素成分に対して前記第1の倍率と第2の倍率の積が目標倍率になるように、前記第1の演算処理及び第2の演算処理を指示する、請求項26記載の超解像画像処理方法。 - 画像データが画素毎の透過情報を保有するとき前記第1の演算処理及び第2の演算処理は透過情報も画素情報と同様に拡大又は縮小の演算対象とする、請求項26記載の超解像画像処理方法。
- 画像データのフレームレートを変換すると共に解像度の拡大を行うフレームレート変換処理を更に有し、
前記制御処理は、画像データにおける動きの大小を示す入力情報によって動き量が多いと判別したときは前記第1の画像処理及び第2の画像処理による解像度の拡大に代えてフレームレート変換処理によりフレームレートを増加し、また、前記入力情報によって動き量が少ないと判別したときはフレームレート変換処理によりフレームレートの増加に代えて前記第1の画像処理及び第2の画像処理による解像度の拡大を指示する、請求項26記載の超解像画像処理方法。 - 画像データのフレームレートを変換すると共に解像度の拡大を行うフレームレート変換処理を更に有し、
前記制御処理は、画像データにおける動きの大小を示す入力情報によって動き量が多いと判別したときは前記第1の画像処理及び第2の画像処理による解像度の拡大に代えてフレームレート変換部によりフレームレートを増加し、前記入力情報によって動き量が普通であると判別したときはフレームレート変換部によりフレームレートを増加し、且つ、フレームレートが増加された画像データに対して前記第1の画像処理及び第2の画像処理による解像度の拡大を指示し、前記入力情報によって動き量が少ないと判別したときはフレームレート変換処理によりフレームレートの増加に代えて前記第1の画像処理及び第2の画像処理により解像度の拡大を指示する、請求項26記載の超解像画像処理方法。 - 半導体集積回路の設計支援プログラムを実行するコンピュータ装置が入力することによって前記半導体集積回路の設計対象データとして処理されるIPモジュールデータであって、
複数の倍率の中から選択された第1の倍率で画像データに対して超解像によらずに解像度の拡大又は縮小を行う第1演算処理部の設計データと、
前記複数の倍率よりも種類の少ない倍率の中の第2の倍率で画像データに対して超解像による解像度の拡大を行う第2演算処理部の設計データと、
前記第1演算処理部及び第2演算処理部を用いて解像度の拡大を行うとき前記第1の倍率と第2の倍率の積が目標倍率になるように前記第1演算処理部及び第2演算処理部に指示を与える制御部の設計データと、を有し、
前記第1の演算処理部の設計データ及び前記制御部の設計データは中央処理装置が実行するための動作プログラム記述であり、
前記第2の演算処理部の設計データは前記中央処理装置によってその動作の指示が行われるソフトウェア・アクセラレータの回路パターンデータ又は回路記述データとそれが実行する動作プログラム記述である、IPモジュールデータ。 - 半導体集積回路の設計支援プログラムを実行するコンピュータ装置が入力することによって前記半導体集積回路の設計対象データとして処理されるIPモジュールデータであって、
複数の倍率の中から選択された第1の倍率で画像データに対して超解像によらずに解像度の拡大又は縮小を行う第1演算処理部の設計データと、
前記複数の倍率よりも種類の少ない倍率の中の第2の倍率で画像データに対して超解像による解像度の拡大を行う第2演算処理部の設計データと、
前記第1演算処理部及び第2演算処理部を用いて解像度の拡大を行うとき前記第1の倍率と第2の倍率の積が目標倍率になるように前記第1演算処理部及び第2演算処理部に指示を与える制御部の設計データと、を有し、
前記制御部の設計データは中央処理装置が実行する動作プログラム記述であり、
前記第1の演算処理部の設計データ及び第2の演算処理部の設計データは前記中央処理装置によって動作の指示が行われソフトウェア・アクセラレータの回路パターンデータ又は回路記述データとそれが実行する動作プログラム記述である、IPモジュールデータ。 - 半導体集積回路の設計支援プログラムを実行するコンピュータ装置が入力することによって前記半導体集積回路の設計対象データとして処理されるIPモジュールデータであって、
複数の倍率の中から選択された第1の倍率で画像データに対して超解像によらずに解像度の拡大又は縮小を行う第1演算処理部の設計データと、
前記複数の倍率よりも種類の少ない倍率の中の第2の倍率で画像データに対して超解像による解像度の拡大を行う第2演算処理部の設計データと、
前記第1演算処理部及び第2演算処理部を用いて解像度の拡大を行うとき前記第1の倍率と第2の倍率の積が目標倍率になるように前記第1演算処理部及び第2演算処理部に指示を与える制御部の設計データと、を有し、
前記制御部の設計データは中央処理装置が実行する動作プログラム記述であり、
前記第1の演算処理部の設計データ及び第2の演算処理部の設計データは前記中央処理装置によって動作の指示が行われる夫々個別のハードウェア・アクセラレータの設計データである、IPモジュールデータ。 - 半導体集積回路の設計支援プログラムを実行するコンピュータ装置が入力することによって前記半導体集積回路の設計対象データとして処理されるIPモジュールデータであって、
複数の倍率の中から選択された第1の倍率で画像データに対して超解像によらずに解像度の拡大又は縮小を行う第1演算処理部の設計データと、
前記複数の倍率よりも種類の少ない倍率の中の第2の倍率で画像データに対して超解像による解像度の拡大を行う第2演算処理部の設計データと、
前記第1演算処理部及び第2演算処理部を用いて解像度の拡大を行うとき前記第1の倍率と第2の倍率の積が目標倍率になるように前記第1演算処理部及び第2演算処理部に指示を与える制御部の設計データと、を有し、
前記第1の演算処理部の設計データ及び前記制御部の設計データは中央処理装置が実行する動作プログラム記述であり、
前記第2の演算処理部の設計データはハードウェア・アクセラレータの設計データである、IPモジュールデータ。 - 前記制御部の設計データは、前記中央処理装置が実行するプログラム記述に代えてハードウェアロジックの設計データとさる、請求項36乃至39の何れか1項記載のIPモジュールデータ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009131112A JP2010278898A (ja) | 2009-05-29 | 2009-05-29 | 超解像画像処理装置、超解像画像処理方法及びipモジュールデータ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009131112A JP2010278898A (ja) | 2009-05-29 | 2009-05-29 | 超解像画像処理装置、超解像画像処理方法及びipモジュールデータ |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010278898A true JP2010278898A (ja) | 2010-12-09 |
Family
ID=43425416
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009131112A Withdrawn JP2010278898A (ja) | 2009-05-29 | 2009-05-29 | 超解像画像処理装置、超解像画像処理方法及びipモジュールデータ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010278898A (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012156667A (ja) * | 2011-01-25 | 2012-08-16 | Ricoh Co Ltd | 撮像装置および撮像方法 |
JP2013090204A (ja) * | 2011-10-19 | 2013-05-13 | Oki Electric Ind Co Ltd | 画像処理装置及びプログラム |
JP2013115651A (ja) * | 2011-11-29 | 2013-06-10 | Canon Inc | 画像処理装置、画像処理方法およびコンピュータプログラム |
WO2014156669A1 (ja) * | 2013-03-29 | 2014-10-02 | コニカミノルタ株式会社 | 画像処理装置および画像処理方法 |
CN105282402A (zh) * | 2014-06-19 | 2016-01-27 | 中国航天科工集团第三研究院第八三五七研究所 | 一种基于多相机提高图像帧频和分辨率的方法 |
CN105959521A (zh) * | 2016-05-31 | 2016-09-21 | 中国科学院长春光学精密机械与物理研究所 | 基于双相机***分光成像提高图像帧频的方法及*** |
WO2019167597A1 (ja) * | 2018-02-28 | 2019-09-06 | 富士フイルム株式会社 | 超解像処理装置、方法及びプログラム |
WO2021193649A1 (ja) * | 2020-03-25 | 2021-09-30 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置およびサーバ |
WO2022264622A1 (ja) * | 2021-06-18 | 2022-12-22 | シャープ株式会社 | 動画像符号化装置、動画像復号装置 |
-
2009
- 2009-05-29 JP JP2009131112A patent/JP2010278898A/ja not_active Withdrawn
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012156667A (ja) * | 2011-01-25 | 2012-08-16 | Ricoh Co Ltd | 撮像装置および撮像方法 |
JP2013090204A (ja) * | 2011-10-19 | 2013-05-13 | Oki Electric Ind Co Ltd | 画像処理装置及びプログラム |
JP2013115651A (ja) * | 2011-11-29 | 2013-06-10 | Canon Inc | 画像処理装置、画像処理方法およびコンピュータプログラム |
US9626740B2 (en) | 2013-03-29 | 2017-04-18 | Konica Minolta, Inc. | Image processing apparatus and image processing method |
WO2014156669A1 (ja) * | 2013-03-29 | 2014-10-02 | コニカミノルタ株式会社 | 画像処理装置および画像処理方法 |
CN105282402A (zh) * | 2014-06-19 | 2016-01-27 | 中国航天科工集团第三研究院第八三五七研究所 | 一种基于多相机提高图像帧频和分辨率的方法 |
CN105959521A (zh) * | 2016-05-31 | 2016-09-21 | 中国科学院长春光学精密机械与物理研究所 | 基于双相机***分光成像提高图像帧频的方法及*** |
WO2019167597A1 (ja) * | 2018-02-28 | 2019-09-06 | 富士フイルム株式会社 | 超解像処理装置、方法及びプログラム |
JPWO2019167597A1 (ja) * | 2018-02-28 | 2021-02-04 | 富士フイルム株式会社 | 超解像処理装置、方法及びプログラム |
JP7083015B2 (ja) | 2018-02-28 | 2022-06-09 | 富士フイルム株式会社 | 超解像処理装置、方法及びプログラム |
US11423512B2 (en) | 2018-02-28 | 2022-08-23 | Fujifilm Corporation | Super-resolution processing apparatus, method, and program |
WO2021193649A1 (ja) * | 2020-03-25 | 2021-09-30 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置およびサーバ |
JPWO2021193649A1 (ja) * | 2020-03-25 | 2021-09-30 | ||
WO2022264622A1 (ja) * | 2021-06-18 | 2022-12-22 | シャープ株式会社 | 動画像符号化装置、動画像復号装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010278898A (ja) | 超解像画像処理装置、超解像画像処理方法及びipモジュールデータ | |
US9204086B2 (en) | Method and apparatus for transmitting and using picture descriptive information in a frame rate conversion processor | |
JP5008431B2 (ja) | 画像処理装置及び画像処理方法 | |
EP2161687B1 (en) | Video signal processing device, video signal processing method, and video signal processing program | |
JP2015122553A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2011035655A (ja) | フレームレート変換装置、およびそれを搭載した表示装置 | |
CN112862659B (zh) | 借助于合成器生成一系列帧方法和装置 | |
JP6485068B2 (ja) | 画像処理方法および画像処理装置 | |
US20100026737A1 (en) | Video Display Device | |
JP5490236B2 (ja) | 画像処理装置および方法、画像表示装置および方法 | |
EP3132608B1 (en) | Fallback detection in motion estimation | |
US20150213581A1 (en) | Method and apparatus for image quality enhancement using phase modulation of high frequency elements | |
JP4552691B2 (ja) | 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム | |
JP2009111969A (ja) | 分割映像処理装置および方法、または制御因子計算装置 | |
JP2009239698A (ja) | 映像変換装置及び映像変換方法 | |
JP6135937B2 (ja) | 画像処理方法および画像処理装置 | |
JP6575742B2 (ja) | 画像処理方法および画像処理装置 | |
JP2017228898A (ja) | 画像処理装置及び画像処理方法、コンピュータプログラム | |
JP5820213B2 (ja) | 画像処理装置及びその方法、撮像装置 | |
JP2009217658A (ja) | 表示装置および画像処理回路 | |
US20090161978A1 (en) | Halo Artifact Removal Method | |
JP2009290710A (ja) | 画像処理装置および表示装置 | |
JP2011082899A (ja) | 画像処理装置及びその制御方法 | |
JP5399277B2 (ja) | 画像圧縮装置、オーサリングシステムおよび画像圧縮方法 | |
JP2009124547A (ja) | 画像処理装置および画像録画再生装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20120807 |