JP2013235594A - 低解像度の入力データ構造の超解像度バージョンを生成する方法及び装置 - Google Patents
低解像度の入力データ構造の超解像度バージョンを生成する方法及び装置 Download PDFInfo
- Publication number
- JP2013235594A JP2013235594A JP2013099876A JP2013099876A JP2013235594A JP 2013235594 A JP2013235594 A JP 2013235594A JP 2013099876 A JP2013099876 A JP 2013099876A JP 2013099876 A JP2013099876 A JP 2013099876A JP 2013235594 A JP2013235594 A JP 2013235594A
- Authority
- JP
- Japan
- Prior art keywords
- data structure
- input data
- low
- resolution
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000010606 normalization Methods 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 23
- 238000001914 filtration Methods 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 10
- 230000000295 complement effect Effects 0.000 claims description 8
- 230000008878 coupling Effects 0.000 claims description 2
- 238000010168 coupling process Methods 0.000 claims description 2
- 238000005859 coupling reaction Methods 0.000 claims description 2
- 238000013213 extrapolation Methods 0.000 abstract description 7
- 238000005070 sampling Methods 0.000 abstract description 2
- 230000008901 benefit Effects 0.000 description 14
- 230000015572 biosynthetic process Effects 0.000 description 14
- 238000003786 synthesis reaction Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 238000001228 spectrum Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000013459 approach Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 241000898323 Microtus irani Species 0.000 description 6
- 230000001965 increasing effect Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 230000010339 dilation Effects 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012432 intermediate storage Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003472 neutralizing effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000009131 signaling function Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
【解決手段】本発明は、単一の低解像度信号が利用可能である場合、規則的にサンプリングされた多次元信号の解像度のアップサンプリングにおける改善されたロバスト性に関する。これらの方法は、用例に基づく超解像度又は単一画像の超解像度と呼ばれる。単一画像を超解像度にする方法は、3つのステージを含む。入力画像の補間に基づくアップスケーリングが実行され、続いて、輪郭領域における局所的なノイズの除去が行われる。第二のステージは、クロススケールブロックマッチングを通した外挿を含み、同じ輪郭領域における正規化を通してノイズが除去された外挿された高周波帯域が得られる。第三のステージは、高解像度画像の低周波帯域と外挿された高周波帯域の寄与を加えることを含む。
【選択図】図12
Description
本発明は、単一の低解像度信号が利用可能である、規則的にサンプリングされた多次元信号の解像度を改善する方法に関するものである。画像処理の文献では、これらの方法は、用例ベースの超解像度、又はより詳細には、単一画像の超解像度と一般に呼ばれる。本明細書で開示される方法は、一般的なものであって、異なる次元の信号に適用することができ、以下では、2D画像の超解像度のケースに焦点を当てる。
これらのルールを念頭において、設計すべき第一のフィルタは、高解像度の補間フィルタFl,1である。低解像度フィルタFl,0について所望の次数N、有理数のアップスケーリングファクタn/d、及び前のパラグラフからの設計ルールが与えられると、不足しているパラメータは、(既知のサンプル間で挿入されるn個のゼロに対処するため)スケーリングσ1、高解像度フィルタの次数N1及びその遮断正規化周波数Ω1である。これらのパラメータは、σ1=n,N1=N0n及びΩ1=min(1/n,1/d)=1/nである。遮断周波数は、既存のサンプル間のゼロの挿入により生じるスペクトルレプリカを除去する要件に従う。
この場合、既存のサンプル間にゼロが導入されず、このフィルタの振幅はσ0=1である。フィルタの次数は、任意に定義され、遮断周波数は、Ω0=d/nに設定される。この値は、高解像度画像に適用される補間フィルタ後の間引きを補償する。
フィルタFh,1は、第一のステージにおけるフィルタFl,0,Fl,1と同じやり方で設計される。この場合、目標は、遮断周波数Ω1,h=d/max(n,d)=d/nをもつ高域通過フィルタを得ることである。その次数は、低解像度のフィルタの次数N1,h=round(N0n/d)及びその振幅σ1,h=1のスケーリングされたバージョンに設定される。個別の高域通過フィルタの最終的な係数は、同じ遮断周波数をもつ相補的な低域通過フィルタの係数をハミング窓の中央から引いて揃えられるクロネッカーデルタに設定される。すなわち、高域通過フィルタは、全域通過フィルタ(係数のセットはクロネッカーデルタに等しい)から、所望の高域通過フィルタと同じ遮断周波数を持つ低域通過フィルタを引いたものとして定義される。これは、図8bにグラフで示されており、この場合、左手側は、高域通過フィルタの所望の周波数応答HPであり、右手側は、全域通過フィルタAP及び上述された低域通過フィルタLPの応答の差である。
このステージの目標は、高いコントラストをもつ画素を発見して、輪郭領域の一部として局所的な近傍における全ての画素を選ぶことである。1実施の形態では、高いコントラストは、画像の微分係数に対する一次近似として測定される。領域セレクタブロック1205は、後続のステージにノイズ除去マスクMを提供する。
このステージでは、垂直方向及び水平方向の画像の微分係数を得るために、2つのSobel一次微分係数推定器が使用される。次いで、所定の閾値(例えば0.1)を超える水平又は垂直の微分係数をもつ全ての画素は、輪郭画素として選択され、後部細線化ステージは、1画素幅の輪郭を提供する。この技術は、画像処理において標準的である。他の実施の形態では、このステージは、専用のエリアシング検出器として実現されるか、又は両方法の組み合わせとして実現される。
別の標準的な技術として、(例えば輪郭画素の両側に向かって3画素といった)輪郭について予め定義された幅を設定するため、形態学的膨張が適用される。これは、後続のステージにおいて処理されることとなる、潜在的なアーチファクトをもつ領域を定義し、特にエリアシングが導出したアーチファクトをもつ領域を定義する。残りの計算は、最終的な超解像度画像に対応するスケールをもつ画像(又はサブ画像)において行われるので、拡張された輪郭は、超解像度画像の解像度に整合するようにアップスケーリングされる。
以下の計算では、X1を入力の低解像度画像I0により得られる超解像度画像の補間されたLF帯域とする(すなわち、図12においてX1はLl,nに対応し、I0はS0に対応する)。次いで、SR画像のLF帯域のエリアシングのない推定を得ることが望まれる。エリアシングアーチファクトの構造、すなわち小スケールの高周波の変動を知ることで、エリアシング除去の問題を、領域セレクタ1205において選択された関心のある領域におけるノイズ除去の問題に変換する。モデルは、以下のように定義される。
<外1>
が所定の所与の閾値以下になったとき又は繰り返しの最大数に到達したときは何時でも終了する。
局所的なノイズ除去ブロック1220に類似して、エリアシングは、輪郭の周辺で高いコントラストをもつ領域におけるHF情報の存在としてモデル化される。従って、非輪郭領域では、高周波帯域におけるそれぞれの画素の値は、上述されたように、Nc個のオーバラップするパッチからの寄与の平均として生成され、この寄与は、超解像度画像におけるエリアシングの伝搬を中和させるか、又は少なくとも低減するため、選択された領域(すなわち輪郭領域)で正規化される。
M.Irani及びS.Peleg“Super Resolution from Image Sequences”(Int. Conf. on Pattern Recognition, 1990)
Z.Lin及びH.Y.Shum“Fundamental Limits of Recognition-Based Superresolution Algorithm under Local Translation”(IEEE Trans. On Pattern Analys is and Machine Intelligence, 2004)
W.T.Freeman,T.R.Jones及びE.C.Pasztor“Example-based super-resolution”(IEEE Computer Graphics and Applications, 2002)
D.Glasner,S.Bagon及びM.Irani“Super-Resolution from a Single Image”(IEEE Int. Conf. on Computer Vision, 2009)
O.Shahar,A.Faktor及びM.Irani“Space-Time Super-Resolution from a Single Video”(IEEE Conf. on Computer Vision and Pattern Recognition, 2011)
G.Freeman及びR.Fatal“Image and Video Upscaling from Local Self-Examples”(ACM Trans. On Graphics, 2010)
1205:ノイズ除去マスクMを領域セレクタで生成する段階
1260:輪郭検出段階
1270:拡張及びスケーリング段階
1210:入力データ構造S0から、雑音の多い低周波のアップスケールされたデータ構造Ll,nを補間する段階
1220:ノイズ除去Mにより輪郭領域として示される領域において雑音の多い低周波のアップサンプルされたデータ構造Ll,nを局所的にノイズ除去して、局所的にノイズ除去された低周波のアップサンプルされたデータ構造L1を得る段階
1240:正規化された高周波のアップスケールされたデータ構造Hl,nを得る段階
1250:正規化された高周波のアップスケールされたデータ構造Hl,nを局所的にノイズ除去する段階
1270:入力データ構造S0を、低周波の入力データ構造L0と、低周波の入力データ構造L0に相補的な高周波の入力データ構造H0とに分離又は分割する段階
1280:高域通過フィルタリングされた局所的にノイズ除去された正規化された高周波のアップスケールされたデータ構造H1を得る段階
1290:超解像度のデータ構造S1を得る段階
Claims (16)
- デジタル1次元、2次元又は3次元データの低解像度の入力データ構造の超解像度処理を行う方法であって、
エリアシングが生じる可能性が高い低解像度の入力データ構造における1以上の領域を検出して、前記低解像度の入力データ構造において検出された1以上の領域を示すノイズ除去マスクを生成する段階と、
第一の低域通過フィルタを使用して、前記入力データ構造を、低周波の入力データ構造と、前記低周波の入力データ構造に相補的な高周波の入力データ構造に分割する段階と、
前記入力データ構造をアップスケールし、アップスケールされた入力データ構造を第二の低域通過フィルタを使用してフィルタリングして、低周波のアップスケールされたデータ構造を得る段階と、
前記ノイズ除去マスクに従って前記低周波のアップスケールされたデータ構造における1以上の領域に局所的にノイズの除去を行い、局所的にノイズが除去された低周波のアップスケールされたデータ構造を得る段階と、
前記局所的にノイズが除去された低周波のアップスケールされたデータ構造と、前記低周波の入力データ構造との間の対応を使用し、クロススケールブロックマッチング及び正規化を実行して、前記高周波の入力データ構造を外挿することで、正規化された高周波のアップスケールされたデータ構造を生成する段階と、
局所的な正規化において正規化された高周波のアップスケールされたデータ構造を局所的にノイズ除去する段階と、局所的なノイズの除去は、前記ノイズ除去マスクに従って前記1以上の領域において実行され、局所的にノイズが除去された正規化された高周波のアップサンプルされたデータ構造が得られ、
高域通過フィルタリングが施された正規化された高周波のアップスケールされたデータ構造を前記局所的にノイズが除去された低周波のアップスケールされたデータ構造に加えて、超解像度のデータ構造を得る段階と、
を含む方法。 - 前記正規化された高周波のアップスケールされたデータ構造を生成する前記段階は、
前記局所的にノイズが除去された低周波のアップスケールされたデータ構造において、第一の位置にある第一のパッチを決定する段階と、
前記低周波の入力データ構造において、前記第一のパッチに最良に整合する第一のブロックをサーチし、前記低周波の入力データ構造における前記第一のブロックの位置を決定する段階と、
決定された位置にある前記高周波の入力データ構造における第二のブロックを選択する段階と、
選択された第二のブロックの画素データを、前記第一の位置にある高周波のアップスケールされたデータ構造におけるパッチである第二のパッチに累積する段階と、
前記局所的にノイズが除去された低周波のアップスケールされたデータ構造において新たなパッチを決定する段階、前記選択されたパッチに最良に整合するブロックを前記低周波の入力データ構造においてサーチする段階、前記高周波の入力データ構造における対応するブロックを選択する段階、及び、選択された対応するブロックの画素データを、前記新たなパッチの位置にある前記高周波のアップスケールされたデータ構造におけるパッチに累積する段階、を繰り返す段階と、
前記高周波のアップスケールされたデータ構造における累積された画素値を正規化して、正規化された高周波のアップスケールされたデータ構造を得る段階と、
を含む請求項1記載の方法。 - 前記局所的にノイズが除去された低周波のアップスケールされたデータ構造におけるそれぞれの新たなパッチは、少なくとも1つの前に処理されたパッチとオーバラップする、
請求項2記載の方法。 - 前記低周波の入力データ構造において第一のサーチ窓を決定する段階を更に含み、
前記第一のサーチ窓は、前記高周波のアップスケールされたデータ構造における前記第一の位置に対応する位置にあるブロックの周りの領域をカバーし、
前記低周波の入力データ構造においてサーチする前記段階は、前記第一のサーチ窓においてのみ実行され、
前記低周波の入力データ構造においてサーチ窓を決定する前記段階は、前記局所的にノイズが除去された低周波のアップスケールされたデータ構造におけるそれぞれのパッチについて繰り返される、
請求項2又は3記載の方法。 - 前記高周波のアップスケールされたデータ構造における画素当たりの寄与の数をカウントする段階を更に含み、
正規化する前記段階は、前記寄与の数により画素当たりの前記累積された値を割ることを含む、
請求項2乃至4の何れか記載の方法。 - エリアシングが生じる可能性がある前記低解像度の入力データ構造における1以上の領域を検出する前記段階は、輪郭を検出する段階を含む、
請求項1乃至5の何れか記載の方法。 - 前記低解像度の入力データ構造における1以上の領域を検出する前記段階は、拡張及びスケーリングの段階を更に含み、
前記輪郭の検出において検出された少なくとも1つの輪郭は拡大され、
拡大された輪郭は、超解像度のデータ構造のスケールにスケーリングされる、
請求項6記載の方法。 - 前記低周波のアップスケールされたデータ構造における前記1以上の領域に局所的にノイズの除去を行う前記段階は、エリアシングが生じる可能性がある領域として前記ノイズ除去マスクにより示された前記1以上の輪郭の領域に全変動の正規化を適用する段階を含む、
請求項1乃至7の何れか記載の方法。 - 前記低周波のアップスケールされたデータ構造における前記1以上の領域に局所的なノイズの除去を行う前記段階、前記正規化された高周波のアップスケールされたデータ構造に局所的なノイズの除去を行う前記段階の少なくとも1つは、エリアシングが生じる可能性がある領域として前記ノイズ除去マスクにより示された前記1以上の輪郭の領域に全変動の正規化を適用する段階を含む、
請求項1乃至8の何れか記載の方法。 - 前記低周波のアップスケールされたデータ構造における前記1以上の領域に局所的なノイズ除去を行う前記段階では、全変動の正規化は、前記低解像度の入力データ構造の画素からの前記局所的にノイズが除去された正規化された高周波のアップスケールされたデータ構造の画素を合成する、
請求項1乃至9の何れか記載の方法。 - 前記低周波のアップスケールされたデータ構造は、アップスケーリングファクタnにより前記入力データ構造をアップスケーリングし、アップスケールされた入力データ構造を前記第二の低域通過フィルタによりフィルタリングし、n>dとして、フィルタリングされたアップスケールされた入力データ構造をダウンスケーリングファクタdによりダウンスケールすることで得られ、最終的な非整数のアップスケーリングファクタn/dが得られる、
請求項1乃至10の何れか記載の方法。 - 前記正規化された高周波のアップスケールされたデータ構造をフィルタリングする前記段階は、正規化された遮断周波数Ω1,h=d/n、次数N1,h=round(N0*n/d)及び振幅σ1,h=1を有する高域通過フィルタにより実行される、
請求項1乃至11記載の方法。 - 前記入力データ構造は、デジタル2Dデータを有し、それぞれのブロック及びそれぞれのパッチは、少なくとも5×5の値を有し、サーチ窓は、少なくとも9×9の値をカバーし、それぞれのパッチは、少なくとも2つの値だけ少なくとも前に処理されたパッチにオーバラップする、
請求項1乃至12の何れか記載の方法。 - デジタルデータの低解像度の入力データ構造の超解像度処理を行う装置であって、
エリアシングが生じる可能性がある低解像度の入力データ構造における1以上の領域を示すノイズ除去マスクを生成するノイズ除去マスク生成手段と、
第一の低域通過フィルタを使用して、前記入力データ構造を、低周波の入力データ構造と、前記低周波の入力データ構造に相補的な高周波の入力データ構造に分割する分割モジュールと、
前記入力データ構造をアップスケールするアップスケール手段と、
アップスケールされた入力データ構造をフィルタリングして、低周波のアップスケールされたデータ構造を得る第二の低域通過フィルタと、
前記低周波のアップスケールされたデータ構造における、前記ノイズ除去マスクにより示される前記1以上の領域に局所的にノイズの除去を行い、局所的にノイズが除去された低周波のアップスケールされたデータ構造を得る局所的なノイズ除去手段と、
前記局所的にノイズが除去された低周波のアップスケールされたデータ構造と、前記低周波の入力データ構造との間の対応を使用して、前記高周波の入力データ構造を外挿し、外挿された高周波のアップスケールされたデータ構造を正規化することで、正規化された高周波のアップスケールされたデータ構造を生成するクロススケールブロックマッチングモジュールと、
前記正規化された高周波のアップスケールされたデータ構造における、前記ノイズ除去マスクにより示される前記1以上の領域に局所的なノイズの除去を行い、局所的にノイズが除去された正規化された高周波のアップサンプルされたデータ構造を得る局所的な正規化手段と、
前記局所的にノイズが除去された正規化された高周波のアップスケールされたデータ構造をフィルタリングして、高域通過フィルタリングが施された正規化された高周波のアップスケールされたデータ構造を得る高域通過フィルタと、
高域通過フィルタリングが施された正規化された高周波のアップスケールされたデータ構造を前記局所的にノイズが除去された低周波のアップスケールされたデータ構造に加えて、超解像度のデータ構造を得る結合手段と、
を備える装置。 - 前記クロススケールブロックマッチングモジュールは、
前記局所的にノイズが除去された低周波のアップスケールされたデータ構造において、第一の位置にある第一のパッチを決定する第一決定ユニットと、
前記低周波の入力データ構造において、前記第一のパッチに最良に整合する第一のブロックをサーチするサーチユニットと、
前記低周波の入力データ構造における前記第一のブロックの位置を決定する第二決定ユニットと、
決定された位置にある前記高周波の入力データ構造における第二のブロックを選択する選択ユニットと、
選択された第二のブロックの画素データを、前記第一の位置にある高周波のアップスケールされたデータ構造におけるパッチである第二のパッチに累積する累積ユニットと、
前記低周波のアップスケールされたデータ構造において複数のパッチの処理の繰り返しを制御する制御ユニットと、
前記高周波のアップスケールされたデータ構造における累積された画素値を正規化して、正規化された高周波のアップサンプルされたデータ構造を得る正規化ユニットとを備え、
前記ノイズ除去マスク生成手段は、高いコントラストの輪郭を検出するモジュールと、拡張及びスケーリングモジュールとを有する、
請求項14記載の低解像度の入力データ構造の超解像度処理を実行する装置。 - コンピュータで実行されたとき、コンピュータに、請求項1乃至13の何れか記載の方法を実行させる実行可能な命令を記録したコンピュータ読み取り可能な記録媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP12305519.6A EP2662824A1 (en) | 2012-05-10 | 2012-05-10 | Method and device for generating a super-resolution version of a low resolution input data structure |
EP12305519.6 | 2012-05-10 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013235594A true JP2013235594A (ja) | 2013-11-21 |
JP2013235594A5 JP2013235594A5 (ja) | 2016-06-23 |
Family
ID=48184114
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013099876A Ceased JP2013235594A (ja) | 2012-05-10 | 2013-05-10 | 低解像度の入力データ構造の超解像度バージョンを生成する方法及び装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9105086B2 (ja) |
EP (2) | EP2662824A1 (ja) |
JP (1) | JP2013235594A (ja) |
KR (1) | KR20130126551A (ja) |
CN (1) | CN103426148A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5705391B1 (ja) * | 2014-06-24 | 2015-04-22 | 三菱電機株式会社 | 画像処理装置及び画像処理方法 |
WO2015198368A1 (ja) * | 2014-06-24 | 2015-12-30 | 三菱電機株式会社 | 画像処理装置及び画像処理方法 |
US9607359B2 (en) | 2014-12-29 | 2017-03-28 | Kabushiki Kaisha Toshiba | Electronic device, method, and computer program product |
JP2019500667A (ja) * | 2016-01-19 | 2019-01-10 | グーグル エルエルシー | 画像アップスケーリング |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9984440B2 (en) * | 2013-06-18 | 2018-05-29 | Adobe Systems Incorporated | Iterative patch-based image upscaling |
US9123138B2 (en) | 2013-06-18 | 2015-09-01 | Adobe Systems Incorporated | Adaptive patch-based image upscaling |
US9483840B1 (en) * | 2013-09-25 | 2016-11-01 | Pixelworks, Inc. | Low power patch matching in self-similarity based single frame super-resolution |
CN103839242A (zh) * | 2014-01-15 | 2014-06-04 | 中国科学院电子学研究所 | 一种基于高维索引的图像快速超分辨率增强方法 |
CN103780863B (zh) * | 2014-01-17 | 2017-08-25 | Tcl集团股份有限公司 | 一种高分辨率图像生成方法及装置 |
WO2015113826A1 (en) * | 2014-01-30 | 2015-08-06 | Thomson Licensing | Method and device for enhancing quality of an image |
US9734601B2 (en) * | 2014-04-04 | 2017-08-15 | The Board Of Trustees Of The University Of Illinois | Highly accelerated imaging and image reconstruction using adaptive sparsifying transforms |
TWI543586B (zh) * | 2014-05-30 | 2016-07-21 | 國立交通大學 | 影像增強的方法及其影像處理裝置與電腦程式產品 |
CN104123722B (zh) * | 2014-07-08 | 2017-02-01 | 东北大学 | 一种核磁图像超分辨率的***及方法 |
KR101651741B1 (ko) * | 2014-09-30 | 2016-08-26 | 한국전자통신연구원 | 영상의 영역 별로 선명화하는 고해상도 영상 생성 장치 및 방법 |
CN104506869B (zh) * | 2015-01-12 | 2017-10-13 | 深圳市江机实业有限公司 | 基于块匹配在不同分辨率下视频序列的运动估计方法 |
CN104732480B (zh) * | 2015-03-03 | 2017-12-22 | 中国空间技术研究院 | 一种基于非局部正则化模型的遥感图像超分辨方法 |
CN104794679B (zh) * | 2015-05-05 | 2016-04-27 | 中国人民解放军国防科学技术大学 | 一种对噪声鲁棒的图像相似性判别方法 |
CN104835127B (zh) * | 2015-05-19 | 2019-04-26 | 中国农业科学院农业信息研究所 | 一种自适应平滑滤波方法 |
CN104899830B (zh) * | 2015-05-29 | 2017-09-29 | 清华大学深圳研究生院 | 一种图像超分辨方法 |
CN105205782B (zh) | 2015-09-06 | 2019-08-16 | 京东方科技集团股份有限公司 | 超解像方法和***、服务器、用户设备及其方法 |
EP3166069A1 (en) * | 2015-11-06 | 2017-05-10 | Thomson Licensing | Method for denoising an image and apparatus for upscaling an image |
CN107133921B (zh) * | 2016-02-26 | 2020-03-06 | 北京大学 | 基于多层次邻域嵌入的图像超分辨率重建方法及*** |
KR102552589B1 (ko) * | 2016-11-29 | 2023-07-10 | 주식회사 엘엑스세미콘 | 초해상화 방법 |
CN107680043B (zh) * | 2017-09-29 | 2020-09-22 | 杭州电子科技大学 | 基于图模型的单幅图像超分辨率输出方法 |
CN110322400B (zh) * | 2018-03-30 | 2021-04-27 | 京东方科技集团股份有限公司 | 图像处理方法及装置、图像处理***及其训练方法 |
CN108550348B (zh) * | 2018-04-02 | 2020-04-03 | 深圳市华星光电技术有限公司 | 显示装置的图像处理方法 |
CN109087243B (zh) * | 2018-06-29 | 2023-05-05 | 中山大学 | 一种基于深度卷积生成对抗网络的视频超分辨率生成方法 |
CN110896492B (zh) * | 2018-09-13 | 2022-01-28 | 阿里巴巴(中国)有限公司 | 图像处理方法、装置及存储介质 |
EP3857447A4 (en) | 2018-09-30 | 2022-06-29 | BOE Technology Group Co., Ltd. | Apparatus and method for image processing, and system for training neural network |
CN109584164B (zh) * | 2018-12-18 | 2023-05-26 | 华中科技大学 | 基于二维影像迁移学习的医学图像超分辨率三维重建方法 |
CN109949221B (zh) * | 2019-01-30 | 2022-05-17 | 深圳大学 | 一种图像处理方法及电子设备 |
US11935185B2 (en) * | 2020-03-18 | 2024-03-19 | Intel Corporation | Content based anti-aliasing for image downscale |
CN111340711B (zh) * | 2020-05-21 | 2020-09-08 | 腾讯科技(深圳)有限公司 | 一种超分辨率重建方法、装置、设备和存储介质 |
CN112183325B (zh) * | 2020-09-27 | 2021-04-06 | 哈尔滨市科佳通用机电股份有限公司 | 基于图像对比的公路车辆检测方法 |
CN112288629B (zh) * | 2020-10-27 | 2024-03-01 | 河南威虎智能科技有限公司 | 一种跨尺度图神经网络的超分辨率方法 |
US20230237620A1 (en) * | 2022-01-27 | 2023-07-27 | Sonic Star Global Limited | Image processing system and method for processing image |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010122502A1 (en) * | 2009-04-20 | 2010-10-28 | Yeda Research And Development Co. Ltd. | Super-resolution from a single signal |
JP2011188478A (ja) * | 2010-02-09 | 2011-09-22 | Panasonic Corp | 超解像処理装置及び超解像処理方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6307569B1 (en) * | 1999-03-18 | 2001-10-23 | Sharp Laboratories Of America, Inc. | POCS-based method for digital image interpolation |
CN1842820A (zh) * | 2003-08-28 | 2006-10-04 | 皇家飞利浦电子股份有限公司 | 用于视频帧的空间放大的方法 |
CN1655620B (zh) * | 2004-02-09 | 2010-09-22 | 三洋电机株式会社 | 图像显示装置 |
KR100655040B1 (ko) * | 2005-11-24 | 2006-12-06 | 주식회사 휴맥스 | 디지털 영상신호 스케일링 방법 |
KR20110065089A (ko) * | 2009-12-09 | 2011-06-15 | 삼성전자주식회사 | 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치 |
KR20130001213A (ko) * | 2010-01-28 | 2013-01-03 | 이섬 리서치 디벨러프먼트 컴파니 오브 더 히브루 유니버시티 오브 예루살렘 엘티디. | 입력 이미지로부터 증가된 픽셀 해상도의 출력 이미지를 생성하는 방법 및 시스템 |
-
2012
- 2012-05-10 EP EP12305519.6A patent/EP2662824A1/en not_active Withdrawn
-
2013
- 2013-05-06 EP EP13166627.3A patent/EP2662825B1/en active Active
- 2013-05-08 US US13/889,460 patent/US9105086B2/en active Active
- 2013-05-10 JP JP2013099876A patent/JP2013235594A/ja not_active Ceased
- 2013-05-10 KR KR1020130053381A patent/KR20130126551A/ko not_active Application Discontinuation
- 2013-05-10 CN CN2013102819164A patent/CN103426148A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010122502A1 (en) * | 2009-04-20 | 2010-10-28 | Yeda Research And Development Co. Ltd. | Super-resolution from a single signal |
JP2011188478A (ja) * | 2010-02-09 | 2011-09-22 | Panasonic Corp | 超解像処理装置及び超解像処理方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5705391B1 (ja) * | 2014-06-24 | 2015-04-22 | 三菱電機株式会社 | 画像処理装置及び画像処理方法 |
WO2015198368A1 (ja) * | 2014-06-24 | 2015-12-30 | 三菱電機株式会社 | 画像処理装置及び画像処理方法 |
US9607359B2 (en) | 2014-12-29 | 2017-03-28 | Kabushiki Kaisha Toshiba | Electronic device, method, and computer program product |
JP2019500667A (ja) * | 2016-01-19 | 2019-01-10 | グーグル エルエルシー | 画像アップスケーリング |
US10929952B2 (en) | 2016-01-19 | 2021-02-23 | Google Llc | Image upscaling |
Also Published As
Publication number | Publication date |
---|---|
EP2662825A1 (en) | 2013-11-13 |
US20130301933A1 (en) | 2013-11-14 |
EP2662824A1 (en) | 2013-11-13 |
KR20130126551A (ko) | 2013-11-20 |
CN103426148A (zh) | 2013-12-04 |
US9105086B2 (en) | 2015-08-11 |
EP2662825B1 (en) | 2016-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2013235594A (ja) | 低解像度の入力データ構造の超解像度バージョンを生成する方法及び装置 | |
US9245326B2 (en) | Method and device for generating a super-resolution version of a low resolution input data structure | |
US9258518B2 (en) | Method and apparatus for performing super-resolution | |
Siu et al. | Review of image interpolation and super-resolution | |
KR101795271B1 (ko) | 영상의 선명화를 위한 전처리를 수행하는 영상 처리 장치 및 방법 | |
JP5655108B2 (ja) | 周波数アンラッピングによる画像リサンプリング | |
WO2014154773A1 (en) | Method and apparatus for generating a super-resolved image from a single image | |
KR101348931B1 (ko) | 이산 웨이블릿 변환 기반 초고해상도 영상 획득 방법 | |
Zheng et al. | Wavelet based nonlocal-means super-resolution for video sequences | |
KR100860968B1 (ko) | 해상도 향상 장치 및 방법 | |
JP2011237998A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
Jeong et al. | Multi-frame example-based super-resolution using locally directional self-similarity | |
Jindal et al. | A novel image zooming technique using wavelet coefficients | |
Purkait et al. | Morphologic gain-controlled regularization for edge-preserving super-resolution image reconstruction | |
Zhao et al. | Single depth image super-resolution with multiple residual dictionary learning and refinement | |
Bratsolis et al. | Comparison of optimized mathematical methods in the improvement of raster data and map display resolution of Sentinel-2 images | |
Panda et al. | An efficient image interpolation using edge-error based sharpening | |
Takeda et al. | Locally adaptive kernel regression for space-time super-resolution | |
Panda et al. | A novel image upscaling method using high order error sharpening | |
Georgis et al. | Single-image super-resolution using low complexity adaptive iterative back-projection | |
KR101434530B1 (ko) | 적응적 가중치 보간 및 이산 웨이블릿 변환 기반 초해상도 영상 생성 방법 | |
Sorrentino et al. | Storage-efficient quasi-newton algorithms for image super-resolution | |
Prathyusha | An improved Wavelet Lifting based Image Super Resolution | |
Lee et al. | Self-synthesis based super-resolution for a natural image | |
Chang et al. | A content-adaptive image enlargement scheme based on iterative back-projection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160509 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160509 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170221 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170228 |
|
A045 | Written measure of dismissal of application [lapsed due to lack of payment] |
Free format text: JAPANESE INTERMEDIATE CODE: A045 Effective date: 20170627 |