JP4837615B2 - Image processing method and image processing apparatus - Google Patents
Image processing method and image processing apparatus Download PDFInfo
- Publication number
- JP4837615B2 JP4837615B2 JP2007099932A JP2007099932A JP4837615B2 JP 4837615 B2 JP4837615 B2 JP 4837615B2 JP 2007099932 A JP2007099932 A JP 2007099932A JP 2007099932 A JP2007099932 A JP 2007099932A JP 4837615 B2 JP4837615 B2 JP 4837615B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- resolution
- pixel
- value
- update
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 156
- 238000003672 processing method Methods 0.000 title claims description 18
- 238000000034 method Methods 0.000 claims description 194
- 230000008569 process Effects 0.000 claims description 161
- 230000033001 locomotion Effects 0.000 claims description 135
- 238000011156 evaluation Methods 0.000 claims description 27
- 230000007717 exclusion Effects 0.000 claims description 11
- 230000007423 decrease Effects 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 4
- 239000004065 semiconductor Substances 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 description 30
- 238000012804 iterative process Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 18
- 239000013598 vector Substances 0.000 description 10
- 230000008859 change Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 230000003252 repetitive effect Effects 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 4
- 230000000593 degrading effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 238000002939 conjugate gradient method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Description
本発明は、複数の低解像度画像を入力として画像の解像度を拡大する画像処理方法および画像処理装置に関する。 The present invention relates to an image processing method and an image processing apparatus for enlarging the resolution of an image using a plurality of low resolution images as input.
デジタルスチルカメラなどで撮影した静止画を高解像度化して、より鮮明な画像を取得するための取り組みが盛んに行われている。その一つとして、互いに位置ずれを有する複数の画像を合成して高周波数成分を復元する方法が、原画像に近い鮮明な高解像度画像を取得する方法として注目されている。この方法によれば、動画像において時間的に連続する複数枚の画像を利用して高解像度化することも可能であり、ビデオカメラで撮影した動画像を高解像度化するなど幅広い用途が見込まれる。以降、複数の低解像度画像から高解像度画像を生成する処理を、超解像と呼ぶ。 There are many efforts to increase the resolution of still images taken with a digital still camera to obtain clearer images. As one of such methods, a method of synthesizing a plurality of images having positional shifts to restore a high frequency component has attracted attention as a method of acquiring a clear high resolution image close to the original image. According to this method, it is possible to increase the resolution by using a plurality of temporally continuous images in a moving image, and a wide range of applications such as increasing the resolution of a moving image taken with a video camera is expected. . Hereinafter, the process of generating a high resolution image from a plurality of low resolution images is referred to as super-resolution.
超解像の手法についても多数あるが、安定して高画質な高解像度画像を得るために、反復処理により高解像度画像の画素値を逐次更新する再構成型の超解像が広く利用されている。再構成型の超解像は、複数枚の低解像度画像個別の位置合わせ処理と、高解像度画像の画素値を求めるための更新処理を繰り返し行なう反復処理とからなる。しかしながら、再構成型の超解像は、複数枚の低解像度画像の位置合わせが必要であり、また、反復処理を用いることから処理にかかる演算量が多く、実用化を進めるためには演算量の削減が必要である。一例として、特許文献1では、反復処理時の評価関数のパラメータ値を最適化することにより反復回数を削減する方法が提案されている。
There are many super-resolution techniques, but reconfigurable super-resolution, which sequentially updates pixel values of high-resolution images by iterative processing, is widely used to obtain high-resolution images with high image quality stably. Yes. The reconstruction type super-resolution includes an alignment process for each of a plurality of low-resolution images and an iterative process in which an update process for obtaining pixel values of a high-resolution image is repeated. However, reconstruction-type super-resolution requires alignment of multiple low-resolution images, and because it uses iterative processing, the amount of processing involved is large. Reduction is necessary. As an example,
再構成型の超解像において、画質を低下させることなく演算量を削減するための従来技術として、再構成型の超解像処理であるMAP(Maximum A Posteriori)法について以下に述べる。 The following describes a MAP (Maximum A Posteriori) method, which is a reconstruction-type super-resolution process, as a conventional technique for reducing the amount of calculation without degrading image quality in reconstruction-type super-resolution.
MAP法は、バイキュービック法やニアレストネイバー法により生成した高解像度画像を初期値として、観測画像である複数の低解像度画像を条件としたときの事後確率を最大にする高解像度画像を求める方法である。事後確率は評価関数により示され、評価関数は誤差項と収束項から成る。誤差項は、撮像モデルを仮定した場合に、高解像度画像から撮像モデルを元に推定される画素値と、位置合わせされた低解像度画像の画素値との2乗誤差を示し、収束項は、画像は至るところで滑らかであるという仮定に基づいた事前情報を示す。評価関数の例を(式1)に示す。 The MAP method uses a high-resolution image generated by the bicubic method or the nearest neighbor method as an initial value, and obtains a high-resolution image that maximizes the posterior probability when multiple low-resolution images that are observed images are used as conditions. It is. The posterior probability is expressed by an evaluation function, and the evaluation function includes an error term and a convergence term. The error term indicates a square error between the pixel value estimated based on the imaging model from the high resolution image and the pixel value of the aligned low resolution image when the imaging model is assumed, and the convergence term is The image shows prior information based on the assumption that it is smooth everywhere. An example of the evaluation function is shown in (Formula 1).
ここで、(式1)のh_vec(i)は高解像度画像の画素値のベクトル表現(以下ではn回目の更新後のh_vec(i)をHR(n)と記す)、fiは位置合わせ後の低解像度画像の画素値、b_vec(i)はfiの画素位置に対応する撮像モデルを示すカーネルの要素、Cは滑らかさの事前情報を示す関数、αは誤差項と収束項との重み、Nlはh_vec(i)の更新に使用する低解像度画像の画素の数を示す。なお、Σは0番目からNl-1番目までの、Nl個の要素の総和(位置合わせされた低解像度画像の総画素数)、| |は2次のノルム、*はベクトルの内積を示す。 Here, h_vec (i) in (Equation 1) is a vector representation of the pixel value of the high-resolution image (hereinafter h_vec (i) after the nth update is denoted as HR (n)), and fi is the value after alignment Pixel value of low-resolution image, b_vec (i) is a kernel element indicating the imaging model corresponding to the pixel position of fi, C is a function indicating prior information of smoothness, α is a weight between the error term and the convergence term, Nl Indicates the number of pixels of the low-resolution image used for updating h_vec (i). Note that Σ is the sum of Nl elements from 0th to (Nl-1) th (the total number of pixels of the aligned low-resolution image), || is the second-order norm, and * is the inner product of the vectors.
反復計算時には、(式1)の評価関数Iを最小化するが、その際には最急降下法や共役勾配法などの最適化計算が利用できる。これらの方法では、評価関数Iの勾配I'(式2)を求める必要がある。 At the time of iterative calculation, the evaluation function I of (Equation 1) is minimized, and at that time, optimization calculation such as the steepest descent method or the conjugate gradient method can be used. In these methods, it is necessary to obtain the gradient I ′ (Equation 2) of the evaluation function I.
ここで、∇は要素の微分を示す。
(式2)から明らかなように、勾配I'を求める際には、Nlに依存した画素単位の演算が必要であり、Nlは高解像度画像の画素数と同等のオーダーであることが望ましいため、演算量は非常に大きくなる。
Here, ∇ indicates the differentiation of the element.
As apparent from (Equation 2), when calculating the gradient I ′, calculation in units of pixels depending on Nl is necessary, and Nl is preferably in the same order as the number of pixels of the high-resolution image. The amount of calculation becomes very large.
また、fiを求める際の位置合わせには、超解像の対象画像と参照画像との間でブロック単位、あるいは画素単位の動き量を推定する必要があるが、動き量の推定にかかる演算量も参照画像の枚数に依存して増加する。 In addition, it is necessary to estimate the amount of motion in block units or pixel units between the super-resolution target image and the reference image for alignment when obtaining fi. Also increases depending on the number of reference images.
図1A、図1Bは、MAP法の動画像への適用例を示す。ここで、適用先は動画像に限定されず、例えば、同一の被写体を複数の位置から撮影した際の(マルチビュー)、各撮影位置における静止画像を利用した超解像が可能である。なお、動画像でない場合には、以下の説明における動き量は各画像間の位置ずれ量に、動き推定は位置ずれ量の推定に対応する。図1Aは、k番目のピクチャが超解像の対象ピクチャであり、時間的に連続する前後のピクチャが参照ピクチャであることを示す。ここで、1ピクチャは、1フレームあるいは1フィールドに対応する。図1B(a)、図1B(b)は、それぞれ、超解像の対象ピクチャと参照ピクチャの画素を示し、これらのピクチャの間で動き推定を行って位置合わせした結果が図1B(c)のようになる。図1B(c)は、高解像度画像の画素位置に対して、超解像の対象ピクチャと参照ピクチャの画素を位置合わせした結果であり、図1B(c)における灰色の丸と白丸が(式1)あるいは(式2)におけるfiに、灰色の丸と白丸の数の合計がNlに相当する。図1B(d)は、高解像度画像の画素と、位置合わせ後の低解像度画像の画素との関係を示し、黒丸が高解像度画像の画素位置に相当する。ここで、超解像の対象ピクチャを位置合わせした灰色の丸は、図1B(d)における高解像度画像の画素である黒丸と同一の位置にある。なお、高解像度画像の初期画像は、図1B(a)に示す超解像の対象画像をバイキュービック法により補間するなどして生成する。(式2)の誤差項は、白丸(および灰色の丸)の画素値と、周辺の黒丸の画素値から白丸(および灰色の丸)の画素値を推定した値との差分値に基づいて計算され、(式2)の収束項は、黒丸の画素値から計算される。反復処理においては、黒丸の画素値が順次更新される。 1A and 1B show an application example of the MAP method to moving images. Here, the application destination is not limited to a moving image. For example, when the same subject is photographed from a plurality of positions (multiview), super-resolution using still images at each photographing position is possible. In the case of not a moving image, the amount of motion in the following description corresponds to the amount of positional deviation between the images, and the motion estimation corresponds to estimation of the amount of positional deviation. FIG. 1A shows that the kth picture is a super-resolution target picture, and the pictures before and after the temporal succession are reference pictures. Here, one picture corresponds to one frame or one field. FIGS. 1B (a) and 1B (b) show the pixels of the target picture and the reference picture to be super-resolved, respectively, and the result of performing the motion estimation between these pictures is shown in FIG. 1B (c). become that way. FIG. 1B (c) shows the result of aligning the pixel of the super-resolution target picture and the reference picture with respect to the pixel position of the high-resolution image. The gray circle and the white circle in FIG. The total number of gray circles and white circles corresponds to Nl in fi in 1) or (Formula 2). FIG. 1B (d) shows the relationship between the pixels of the high resolution image and the pixels of the low resolution image after alignment, and the black circle corresponds to the pixel position of the high resolution image. Here, the gray circle in which the super-resolution target picture is aligned is in the same position as the black circle that is a pixel of the high-resolution image in FIG. 1B (d). Note that the initial image of the high resolution image is generated by interpolating the super-resolution target image shown in FIG. 1B (a) by the bicubic method. The error term in (Equation 2) is calculated based on the difference between the pixel value of the white circle (and gray circle) and the value obtained by estimating the pixel value of the white circle (and gray circle) from the pixel value of the surrounding black circle. Then, the convergence term of (Expression 2) is calculated from the pixel value of the black circle. In the iterative process, the pixel values of the black circles are updated sequentially.
以上より、MAP法においては、位置合わせと反復処理にかかる演算が大部分を占め、これら2つの処理の演算量削減が重要であることが分かった。 From the above, in the MAP method, it has been found that the operations for alignment and iterative processing occupy most, and it is important to reduce the amount of calculation of these two processes.
図2は、従来の再構成型の超解像処理を行う画像処理装置500の構成を示すブロック図である。画像処理装置500は、画像入力部501、動き推定部502、位置合わせ部503、初期画像決定部504、再構成部505、メモリ510とから構成される。画像入力部501は、入力画像データをメモリ510に格納する。動き推定部502は、動き推定に必要な画像データをメモリ510から取得して、動き推定を実施し、取得した動きベクトル情報511を位置合わせ部503に入力する。続いて、位置合わせ部503は、動きベクトル情報511に基づいて位置合わせを行い、その結果を位置情報512として出力する。初期画像決定部504は指定された倍率に従って、高解像度画像の初期画像513を生成する。さらに、再構成部505は、位置情報512と初期画像513に基づいて反復処理を行って再構成画像データを生成し、出力する。
FIG. 2 is a block diagram showing a configuration of an
図3は、再構成部505の構成を示すブロック図である。再構成部505は、更新演算部601と、ピクチャ単位更新判定部602とから構成される。更新演算部601は、ピクチャ単位更新判定部602から入力される更新指示611により更新が指示されると、位置情報512と初期画像513に基づいて、高解像度画像の全画素について画素値を更新する。ピクチャ単位更新判定部602は、高解像度画像の更新結果612から、反復処理を終了するかどうか判定し、終了すると判定した場合には高解像度画像データを出力し、終了せずに反復処理を続行すると判定した場合には、更新指示611により更新演算部601に対して高解像度画像の更新を指示する。
FIG. 3 is a block diagram illustrating a configuration of the
図4は、従来の再構成型の超解像処理の動作を示すフローチャートである。ステップS001からステップS004において位置合わせを行い、ステップS005において高解像度画像の初期画像を生成し、ステップS006において反復処理により高解像度画像を再構成する。以下、各ステップの詳細について順に説明する。まず、ステップS001では、超解像の対象ピクチャとN枚の参照ピクチャの画像データを入力する。ここで、Nは予め定めた所定の枚数であるとする。次に、ステップS002においてN枚の参照ピクチャ全てについて動き推定、および位置合わせが終了したかどうかを判定する。全参照ピクチャに対して処理が終了した場合には、ステップS005に進み、終了していなければステップS003に進む。ステップS003では、超解像の対象ピクチャpic_curと参照ピクチャpic_ref(k)との間で動き推定を行い、取得した動き量に基づいて、ステップS004において位置合わせを行う。ここで、kは1以上N以下の整数であるとする。続いて、ステップS005では超解像の対象ピクチャpic_curの画素値をもとに、指定された倍率に従って、高解像度画像の初期画像513を生成する。ステップS006では、反復処理により初期画像513を更新し、再構成画像を出力する。 FIG. 4 is a flowchart showing the operation of a conventional reconstruction type super-resolution process. Position alignment is performed from step S001 to step S004, an initial image of a high resolution image is generated in step S005, and a high resolution image is reconstructed by iterative processing in step S006. Hereinafter, details of each step will be described in order. First, in step S001, image data of a super-resolution target picture and N reference pictures are input. Here, N is assumed to be a predetermined number. Next, in step S002, it is determined whether motion estimation and alignment have been completed for all N reference pictures. If processing has been completed for all reference pictures, the process proceeds to step S005, and if not completed, the process proceeds to step S003. In step S003, motion estimation is performed between the super-resolution target picture pic_cur and the reference picture pic_ref (k), and alignment is performed in step S004 based on the acquired motion amount. Here, k is an integer of 1 or more and N or less. Subsequently, in step S005, an initial image 513 of a high-resolution image is generated according to the specified magnification based on the pixel value of the super-resolution target picture pic_cur. In step S006, the initial image 513 is updated by iterative processing, and a reconstructed image is output.
ステップS003における動き推定処理と、ステップS006における反復処理について更に説明する。 The motion estimation process in step S003 and the iterative process in step S006 will be further described.
図5は、ステップS003における動き推定処理の動作を示すフローチャートである。なお、動き推定はブロック単位で行うものとし、そのサイズは任意に設定可能である。まず、ステップS0031において、ブロックを指定するインデックス番号の組である(i, j)を共に0にセットする。次に、ステップS0032において超解像の対象ピクチャpic_cur内の全ブロックについて動き推定が終了したかどうか判定し、全ブロックについて動き推定が終了した場合には動き推定処理を終了する。終了していなければ、ステップS0033に進み、(i, j)番目のブロックについて、k番目の参照ピクチャpic_ref(k)との間で動き推定を実施する。その後、ステップS0034において(i, j)を更新してステップS0032に戻る。このように、従来の動き推定処理においては、超解像の対象ピクチャpic_cur内の全ブロックについて、必ずN枚の参照ピクチャとの間で動き推定を実施している。 FIG. 5 is a flowchart showing the operation of the motion estimation process in step S003. In addition, motion estimation shall be performed per block and the size can be set arbitrarily. First, in step S0031, (i, j), which is a set of index numbers for designating a block, is both set to zero. Next, in step S0032, it is determined whether or not motion estimation has been completed for all blocks in the super-resolution target picture pic_cur. If motion estimation has been completed for all blocks, the motion estimation process is terminated. If not completed, the process proceeds to step S0033, and motion estimation is performed between the (i, j) th block and the kth reference picture pic_ref (k). Thereafter, (i, j) is updated in step S0034, and the process returns to step S0032. As described above, in the conventional motion estimation processing, motion estimation is always performed between all the blocks in the super-resolution target picture pic_cur and N reference pictures.
図6は、ステップS006における反復処理の動作を示すフローチャートである。まず、ステップS0061において、反復回数nを0にセットする。ステップS0062では、反復処理の終了判定を行う。このとき、評価関数の勾配I'の2次のノルムが所定の閾値εより小さければ反復処理を終了して、ステップS0065に進み、高解像度画像HR(n+1)を再構成画像として出力する。閾値ε以上であればステップS0063に進む。ステップS0063では、高解像度画像HR(n)の全画素値を更新し、更新後の高解像度画像HR(n+1)を生成する。ここで、高解像度画像HR(0)は、ステップS005で生成した高解像度画像の初期画像513と一致する。続いて、ステップS0064では、反復回数nに1を加算し、ステップS0062に戻る。このように、従来の反復処理においては、高解像度画像HR(n)の全画素を必ず更新していた。
従来の再構成型の超解像における動き推定処理においては、超解像の対象ピクチャ内の全ブロックについて、必ずN枚の参照ピクチャとの間で動き推定を実施している。しかしながら、高解像度画像の更新に必要なだけの低解像度画像が位置合わせされれば、参照ピクチャの枚数がN枚より少なくても、画質を落とすことなく超解像処理を行える。図7は、従来の動き推定処理の課題を示す例である。ここで、参照ピクチャの枚数は8枚に設定されたとする。図7の(a)、(b)、(c)は、それぞれ参照枚数が2枚、4枚、8枚である各段階における、低解像度画像の位置合わせ結果を示す。白丸は位置合わせされた低解像度画像の画素位置を示し、黒丸は高解像度画像の画素位置を示す。ここで、ブロックAでは、図7の(b)の時点で高解像度画像の更新に必要なだけの低解像度画像の画素が揃っているにも関わらず、動き推定処理が続行される。一方で、ブロックBでは図7の(b)の時点では十分な数の低解像度画像の画素が揃っておらず、図7の(c)の時点で初めて高解像度画像の更新に必要なだけの低解像度画像の画素が揃う。このように、従来の動き推定処理においては、ブロックAのように、動き推定処理を終了しても問題のない領域についても、参照枚数が所定の枚数に達するまで動き推定処理が続行されており、結果として演算量が増大するという第1の課題がある。 In the motion estimation process in the conventional reconfiguration-type super-resolution, motion estimation is always performed between all the blocks in the super-resolution target picture and N reference pictures. However, if the low-resolution images necessary for updating the high-resolution image are aligned, the super-resolution processing can be performed without degrading the image quality even if the number of reference pictures is less than N. FIG. 7 is an example showing a problem of conventional motion estimation processing. Here, it is assumed that the number of reference pictures is set to eight. (A), (b), and (c) of FIG. 7 show the alignment results of the low-resolution image at each stage where the reference number is 2, 4, and 8, respectively. White circles indicate pixel positions of the aligned low-resolution image, and black circles indicate pixel positions of the high-resolution image. Here, in the block A, the motion estimation process is continued although the pixels of the low-resolution image necessary for the update of the high-resolution image are prepared at the time of FIG. On the other hand, the block B does not have a sufficient number of low-resolution image pixels at the time of FIG. 7B, and is only necessary for updating the high-resolution image at the time of FIG. 7C. The pixels of the low resolution image are aligned. As described above, in the conventional motion estimation process, the motion estimation process is continued until the reference number reaches a predetermined number even in an area where there is no problem even if the motion estimation process is finished, as in the block A. As a result, there is a first problem that the amount of calculation increases.
また、従来の再構成型の超解像における反復処理においては、高解像度画像HR(n)の全画素を必ず更新している。しかしながら、画素値の更新量が少ない画素については、画素値が収束したとみなしてもよい。図8は、従来の反復処理の課題を示す例である。図8の(a)は、反復回数の増加と、高解像度画像の画素値が更新される領域との関係を示し、図8の(b)は、反復回数の増加と、画素値の更新量が所定の閾値REP_STOPを超える領域との関係を示す。図8(a)と(b)から示されるように、画素値の更新量が所定の閾値REP_STOPを超える領域は反復回数の増加に伴って減少するにも関わらず、高解像度画像の画素値が更新される領域は反復回数とは無関係に常に一定である。ここで、画素値の更新量が所定の閾値REP_STOP以下である画素については、画素値が収束したとみなせるため、更新を継続しても画質は向上せず、以降の反復処理においては画素値を更新しなくともよい。このように、従来の反復処理においては、画素値が収束したとみなせる画素についても更新処理を継続していたために演算量が増大するという第2の課題がある。 In the repetitive processing in the conventional reconstruction type super-resolution, all the pixels of the high-resolution image HR (n) are always updated. However, it may be considered that the pixel value has converged for a pixel with a small update amount of the pixel value. FIG. 8 is an example showing a problem of conventional iterative processing. FIG. 8A shows the relationship between the increase in the number of iterations and the region in which the pixel value of the high-resolution image is updated, and FIG. 8B shows the increase in the number of iterations and the update amount of the pixel value. Indicates a relationship with a region where the value exceeds a predetermined threshold value REP_STOP. As shown in FIGS. 8A and 8B, the pixel value of the high-resolution image is reduced in the region where the update amount of the pixel value exceeds the predetermined threshold value REP_STOP as the number of repetitions increases. The updated region is always constant regardless of the number of iterations. Here, for pixels whose pixel value update amount is less than or equal to the predetermined threshold value REP_STOP, the pixel value can be considered to have converged, so the image quality does not improve even if the update is continued, and the pixel value is not changed in the subsequent iterative processing. There is no need to update. As described above, in the conventional iterative process, there is a second problem that the amount of calculation increases because the update process is continued even for the pixel whose pixel value is considered to have converged.
そこで、本発明は上記の事情に鑑みてなされたものであり、超解像後の画質を低下させることなく、演算量を削減することができる画像処理装置および画像処理方法を提供することを目的とする。 Therefore, the present invention has been made in view of the above circumstances, and an object thereof is to provide an image processing apparatus and an image processing method capable of reducing the amount of calculation without deteriorating the image quality after super-resolution. And
上記目的を達成するため、本発明に係る画像処理装置は、第1解像度の代表画像とそれに関連する第1解像度の複数の参照画像を用いて、第1解像度よりも高い第2解像度の高解像度画像を生成する画像処理装置であって、参照画像を切り換えながら位置合わせ処理を繰り返す第1繰り返し処理手段と、前記位置合わせ処理の繰り返し完了後に、求めるべき高解像度画像の画素値を更新する更新処理を繰り返す第2繰り返し処理手段とを備え、前記位置合わせ処理は、前記代表画像に対する参照画像の位置ずれ量を推定し、推定した位置ずれ量に基づいて当該参照画像の画素を、前記代表画像を拡大した高解像度画像のサブピクセル位置に配置することであり、前記更新処理は、前記位置合わせされた低解像度画像の画素値と求めるべき高解像度画像の画素値との差分値を変数として含む評価関数の値を減少させるように、前記高解像度画像の画素値を更新することであり、前記第1繰り返し処理手段および第2繰り返し処理手段の少なくとも1つは、位置合わせ処理または更新処理の結果から終了条件を満たす画素を判定する判定手段と、終了条件を満たすと判定された画素を前記位置合わせ処理または前記更新処理から除外する除外手段とを備える。この構成によれば、終了条件を満たす画素を以降の位置合わせ処理または更新処理から除外することにより、繰り返えされる位置合わせ処理または更新処理に要する演算量を削減し、除外される画素は終了条件を満たすので画質の低下を防止することができる。 In order to achieve the above object, an image processing apparatus according to the present invention uses a representative image of a first resolution and a plurality of reference images of a first resolution related thereto, and a high resolution of a second resolution higher than the first resolution. An image processing apparatus for generating an image, wherein a first iterative processing unit that repeats alignment processing while switching a reference image, and update processing that updates pixel values of a high-resolution image to be obtained after completion of the alignment processing A second repetitive processing unit that repeats the above, and the registration processing estimates a reference image misregistration amount with respect to the representative image, and determines the reference image pixel based on the estimated misregistration amount. The update processing is arranged at a sub-pixel position of the enlarged high-resolution image, and the update processing includes a pixel value of the aligned low-resolution image and a high solution to be obtained. Updating the pixel value of the high-resolution image so as to reduce the value of the evaluation function including the difference value with the pixel value of the image as a variable, the first iteration processing means and the second iteration processing means At least one is a determination unit that determines a pixel that satisfies the end condition from the result of the alignment process or the update process, and an exclusion unit that excludes the pixel determined to satisfy the end condition from the alignment process or the update process. Is provided. According to this configuration, by excluding pixels that satisfy the end condition from the subsequent alignment process or update process, the amount of calculation required for repeated alignment process or update process is reduced, and the excluded pixel ends. Since the condition is satisfied, deterioration in image quality can be prevented.
ここで、前記第1繰り返し処理手段は、前記代表画像のブロック毎に、前記代表画像に対する参照画像の動きを推定する動き推定手段と、前記高解像度画像を前記高解像度画像の画素に対応する複数グリッドに分割し、推定された動きに従って、前記ブロック毎に参照画像の画素を高解像度画像のサブピクセル位置に配置する位置合わせ手段と、ブロック内の全グリッドに対する、参照画像の画素を1つ以上含むグリッドの割合が所定の値を超えている場合は、当該ブロックが前記終了条件を満たすと判定する前記判定手段と、前記終了条件を満たすと判定されたブロックの画素を位置合わせ処理から除外する前記除外手段とを備えてもよい。この構成によれば、終了条件により更新処理で高い画質を得る十分な参照画素数を位置合わせし、かつ位置合わせ処理における演算量を削減することができる。 Here, the first iterative processing means includes, for each block of the representative image, motion estimation means for estimating the motion of the reference image with respect to the representative image, and a plurality of the high resolution images corresponding to the pixels of the high resolution image. An alignment means for dividing the reference image pixel into sub-pixel positions of the high-resolution image for each block according to the estimated motion, and one or more reference image pixels for all the grids in the block When the ratio of the grid to include exceeds a predetermined value, the determination unit that determines that the block satisfies the end condition and the pixel of the block that is determined to satisfy the end condition are excluded from the alignment process. You may provide the said exclusion means. According to this configuration, it is possible to align a sufficient number of reference pixels for obtaining high image quality by the update process according to the end condition, and to reduce the calculation amount in the alignment process.
ここで、前記判定手段は、前記代表画像のブロック毎に動きを推定し、前記位置合わせ手段は、前記高解像度画像を前記高解像度画像の画素に対応する複数グリッドに分割し、推定された動きに従って、前記ブロック毎に参照画像の画素を高解像度画像のサブピクセル位置に配置する位置合わせし、前記判定手段は、前記高解像度画像内の全グリッドに対する、参照画像の画素を1つ以上含むグリッドの割合が所定の値を超えている場合は、当該参照画像が前記終了条件を満たすと判定し、前記除外手段は、前記終了条件を満たすと判定されたとき、残りの参照画像の画素を位置合わせ処理から除外するようにしてもよい。 Here, the determination unit estimates a motion for each block of the representative image, and the alignment unit divides the high-resolution image into a plurality of grids corresponding to pixels of the high-resolution image, and the estimated motion In accordance with the above, for each block, the pixels of the reference image are aligned at the sub-pixel positions of the high-resolution image, and the determination unit is a grid including one or more pixels of the reference image with respect to all the grids in the high-resolution image If the ratio exceeds the predetermined value, it is determined that the reference image satisfies the end condition, and the exclusion unit positions pixels of the remaining reference image when it is determined that the end condition is satisfied. You may make it exclude from a matching process.
ここで、前記判定手段は、さらに前記高解像度画像中の全ブロック数に対する前記終了条件を満たすと判定されたブロックの数の割合が、第2の所定値を超えた場合に、残りの参照画像の画素を位置合わせ処理から除外するようにしてもよい。 Here, when the ratio of the number of blocks determined to satisfy the termination condition with respect to the total number of blocks in the high-resolution image further exceeds a second predetermined value, the determination unit further determines the remaining reference images. These pixels may be excluded from the alignment process.
ここで、前記動き推定手段は、前記代表画像と表示順が近い参照画像から順に動きを推定するようにしてもよい。 Here, the motion estimation means may estimate motion in order from a reference image having a display order close to that of the representative image.
ここで、前記画像処理装置は、さらに、参照画像が前記代表画像と同じシーンに属するか異なるシーンに属するかを判断する判断手段を備え、前記動き推定手段は、異なるシーンに属する参照画像を動き推定から除外するようにしてもよい。 Here, the image processing apparatus further includes determination means for determining whether the reference image belongs to the same scene as the representative image or a different scene, and the motion estimation means moves the reference image belonging to a different scene. You may make it exclude from estimation.
ここで、前記第2繰り返し処理手段は、前記評価関数の値を減少させるように画素値を更新する更新手段と、更新前の画素値と更新後の画素値の差である更新量がしきい値である場合、当該画素が前記終了条件を満たすと判定する前記判定手段と、前記終了条件を満たすと判定された画素を更新処理から除外する前記除外手段とを備えるようにしてもよい。この構成によれば、上記終了条件は更新処理における高解像度の画素推定値を十分に収束させるので画質を低下させない。また、更新処理の演算量を削減することができる。 Here, the second iterative processing means updates the pixel value so as to decrease the value of the evaluation function, and an update amount which is a difference between the pixel value before the update and the pixel value after the update. When the value is a value, the determination unit may determine that the pixel satisfies the end condition, and the exclusion unit may exclude the pixel determined to satisfy the end condition from the update process. According to this configuration, the termination condition sufficiently converges the high-resolution pixel estimation value in the update process, so that the image quality is not deteriorated. In addition, the calculation amount of the update process can be reduced.
ここで、前記しきい値は、予め定めた値でもよい。
ここで、前記しきい値は、前記高解像度画像の全画素数に対する、判定手段により除外されていない画素数の割合が所定の値以下となるように決定されてもよい。
Here, the threshold value may be a predetermined value.
Here, the threshold value may be determined such that a ratio of the number of pixels not excluded by the determination unit to the total number of pixels of the high-resolution image is equal to or less than a predetermined value.
ここで、前記更新手段は、判定手段により除外されていない画素の画素値のみを用いて前記評価関数の勾配値を算出し、前記勾配値に基づいて前記高解像度画像の画素推定値を更新してもよい。 Here, the updating unit calculates a gradient value of the evaluation function using only pixel values of pixels not excluded by the determining unit, and updates the pixel estimated value of the high-resolution image based on the gradient value. May be.
ここで、前記更新手段は、判定手段により除外されていない画素についての前記差分値の総和の減少割合が、一定値以下となった場合に、全画素についての画素推定値の更新を終了してもよい。 Here, the updating unit ends updating of the pixel estimated values for all the pixels when the reduction ratio of the sum of the difference values for the pixels not excluded by the determining unit is equal to or less than a predetermined value. Also good.
また、本発明の画像処理方法、プログラムおよび半導体集積回路は、上記と同様の手段を有する。 The image processing method, program, and semiconductor integrated circuit of the present invention have the same means as described above.
以上のように、本発明によれば、位置合わせした低解像度画像の画素配置に基づいて、高解像度画像において動き推定が必要な領域を選択的に決定する、あるいは、高解像度画像全体として動き推定処理を終了してよいかどうかを決定することにより、超解像後の画質を低下させることなく動き推定処理に係る演算量を削減することができ、その実用的価値が高い。 As described above, according to the present invention, based on the pixel arrangement of the aligned low-resolution image, a region requiring motion estimation is selectively determined in the high-resolution image, or motion estimation is performed for the entire high-resolution image. By deciding whether or not to end the processing, the amount of calculation related to the motion estimation processing can be reduced without degrading the image quality after super-resolution, and its practical value is high.
以下、本発明の実施の形態について、図面を参照しながら説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(実施の形態1)
まず本発明の実施の形態1に係る画像処理装置100の概要について説明する。
(Embodiment 1)
First, an overview of the
画像処理装置100は、超解像の対象ピクチャにおいて動き推定を行うブロックを選択的に決定する点において、従来の画像処理装置と異なる。
The
本実施の形態における画像処理装置は、第1解像度の代表画像と第1解像度の複数の参照画像を用いて、第1解像度よりも高い第2解像度の高解像度画像を生成する画像処理装置であって、参照画像を切り換えながら位置合わせ処理を繰り返す第1繰り返し処理手段と、求めるべき高解像度画像の画素推定値を更新する更新処理を繰り返す第2繰り返し処理手段とを備える。 The image processing apparatus according to the present embodiment is an image processing apparatus that generates a high-resolution image having a second resolution higher than the first resolution by using a representative image having the first resolution and a plurality of reference images having the first resolution. Thus, a first iterative processing unit that repeats the alignment process while switching the reference image and a second iterative processing unit that repeats the update process for updating the pixel estimation value of the high-resolution image to be obtained are provided.
ここで、前記第1繰り返し処理手段は、位置合わせ処理または更新処理の結果から終了条件を満たす画素を判定する判定手段と、終了条件を満たすと判定された画素を以降の位置合わせ処理または更新処理から除外する除外手段とを備える。 Here, the first iterative processing means includes a determination means for determining a pixel satisfying the end condition from the result of the alignment process or the update process, and a subsequent alignment process or update process for the pixel determined to satisfy the end condition. And excluding means for excluding from.
このように、位置合わせ処理は、全ての参照画像について代表画像の全ブロックを対象に行なわれるのではなく、除外手段によって除外されて残る画素を含むブロックのみを対象に行なわれる。これにより、終了条件を満たす画素を以降の位置合わせ処理から除外することにより、繰り返えされる位置合わせ処理に要する演算量を削減している。除外される画素は終了条件を満たすので画質の低下を防止することができる。なお、本実施形態において、終了条件には、ピクチャの終了条件とブロックの終了条件の2つがある。 As described above, the alignment process is not performed on all blocks of the representative image for all the reference images, but only on a block including pixels that are excluded by the exclusion unit. As a result, the amount of calculation required for repeated alignment processing is reduced by excluding pixels that satisfy the end condition from the subsequent alignment processing. Since the excluded pixels satisfy the end condition, it is possible to prevent the image quality from being deteriorated. In the present embodiment, there are two end conditions: a picture end condition and a block end condition.
図9は、画像処理装置100の構成を示すブロック図である。画像処理装置100は、画像入力部101、動き推定部102、位置合わせ部103、参照画像決定部104、初期画像決定部105、再構成部106、およびメモリ110から構成される。
FIG. 9 is a block diagram illustrating a configuration of the
画像入力部101は、入力画像データをメモリ110に格納する。動き推定部102は、動き推定に必要な画像データをメモリ110から取得して、動き推定を実施し、取得した動きベクトル情報111を位置合わせ部103に入力する。続いて、位置合わせ部103は、動きベクトル情報111に基づいて位置合わせを行い、その結果を位置情報112として出力する。参照画像決定部104は、位置合わせ部103から入力された低解像度画像の位置合わせ後の画素位置情報114に基づいて、参照ピクチャの決定、および、超解像の対象となるピクチャにおいて動き推定を実施する領域を決定し、これらの情報を推定指示115として動き推定部102に入力する。従って、動き推定部102は、推定指示115に従って、動き推定を実施する。初期画像決定部105は指定された倍率に従って、高解像度画像の初期画像113を生成する。さらに、再構成部106は、位置情報112と初期画像113に基づいて反復処理を行って再構成画像データを生成し、出力する。
The
ここで、参照画像決定部104は、対象ピクチャがピクチャの終了条件を満たさない場合、残りの参照ピクチャから次の参照ピクチャを1つ決定し、対象ピクチャがピクチャの終了条件を満たす場合、残りの参照ピクチャは動き推定から除外される。また、参照画像決定部104は、ブロックの終了条件を満たさないブロックを、動き推定を実施する領域として決定し、ブロックの終了条件を満たすブロックを、動き推定を実施する領域として除外する。
Here, the reference
図10は、画像処理装置100の動作を示すフローチャートである。ここで、低解像度画像の位置合わせ終了後の処理であるステップS005とステップS006における動作は、従来の画像処理装置500と同一であるため、同一の符号を附し説明を省略する。なお、参照ピクチャ毎のピクチャ終了フラグ、ブロック毎のブロック終了フラグの初期値は0にリセットされているものとする。ピクチャ終了フラグは、当該ピクチャがピクチャの終了条件を満たしたか否かを示す。ブロック終了フラグは、当該ブロックがブロックの終了条件を満たしたか否かを示す。
FIG. 10 is a flowchart showing the operation of the
まず、ステップS101では、超解像の対象ピクチャとN枚の参照ピクチャの画像データを入力する。ここで、Nは予め定めた所定の枚数であるとし、表示順が超解像の対象ピクチャに近いピクチャから順に、N枚のピクチャを参照ピクチャとする。次に、ステップS105において、超解像の対象ピクチャpic_curが動き推定の終了条件を満たすかどうか判定する。この判定は、参照ピクチャ毎に設けられたピクチャ終了フラグが1にセットされているかどうかによる。対象ピクチャpic_curに対応するピクチャ終了フラグが1の場合、つまり動き推定の終了条件を満たす場合には、動き推定および位置合わせ処理を終了してステップS005に進む。超解像の対象ピクチャpic_curが動き推定の終了条件を満たすかどうかは、後段のステップS103における出力結果に従うが、ループの初回においては、必ずステップS102に進むとする。動き推定の終了条件を満たさなければ、ステップS102に進み、N枚の参照ピクチャ全てについて動き推定、および位置合わせが終了したかどうかを判定する。全参照ピクチャに対して処理が終了した場合には、ステップS005に進み、終了していなければステップS103に進む。ステップS103では、超解像の対象ピクチャpic_curと参照ピクチャpic_ref(k)との間で動き推定を行い、取得した動き量に基づいて、ステップS104において位置合わせを行う。このとき、動き推定、および位置合わせは、高解像度画像を更新するために必要な条件を満たすだけの低解像度画像の画素が揃ったかどうかに基づいて、選択的に行う。ここで、kは1以上N以下の整数であるとする。 First, in step S101, image data of a super-resolution target picture and N reference pictures are input. Here, N is a predetermined number of pictures, and N pictures are used as reference pictures in order from the picture whose display order is closest to the super-resolution target picture. Next, in step S105, it is determined whether the super-resolution target picture pic_cur satisfies the motion estimation termination condition. This determination depends on whether the picture end flag provided for each reference picture is set to 1. If the picture end flag corresponding to the target picture pic_cur is 1, that is, if the end condition for motion estimation is satisfied, the motion estimation and alignment process is terminated and the process proceeds to step S005. Whether or not the super-resolution target picture pic_cur satisfies the motion estimation termination condition depends on the output result in the subsequent step S103. However, in the first loop, it is assumed that the process proceeds to step S102. If the motion estimation end condition is not satisfied, the process proceeds to step S102, and it is determined whether or not motion estimation and alignment have been completed for all N reference pictures. If the process has been completed for all reference pictures, the process proceeds to step S005, and if not completed, the process proceeds to step S103. In step S103, motion estimation is performed between the super-resolution target picture pic_cur and the reference picture pic_ref (k), and alignment is performed in step S104 based on the acquired motion amount. At this time, motion estimation and alignment are selectively performed based on whether or not the pixels of the low-resolution image that satisfy the conditions necessary for updating the high-resolution image are prepared. Here, k is an integer of 1 or more and N or less.
図11は、ステップS103における動き推定動作の詳細を示すフローチャートである。まず、ステップS1031において、動き推定を行うブロックを識別するためのインデックス番号であるiとjを共に0にセットする。次に、ステップS1032では、超解像の対象ピクチャpic_curの全ブロックについてステップS1033とステップS1034の処理が終了したかどうかを判定し、終了したと判定された場合にはステップS1036に進む。終了していないと判定されると、ステップS1033に進み、(i,j)番目のブロックが動き推定の終了条件を満たすかどうか判定する。 FIG. 11 is a flowchart showing details of the motion estimation operation in step S103. First, in step S1031, i and j, which are index numbers for identifying a block for motion estimation, are both set to 0. Next, in step S1032, it is determined whether or not the processing in steps S1033 and S1034 has been completed for all blocks of the super-resolution target picture pic_cur. If it is determined that the processing has been completed, the process proceeds to step S1036. If it is determined that the processing has not ended, the process proceeds to step S1033, and it is determined whether the (i, j) -th block satisfies the motion estimation end condition.
図12A〜図12Dは、低解像度画像の解像度を2倍に拡大する際の、動き推定の終了条件を示す例である。図12Aは、超解像の対象ピクチャpic_curにおけるブロック位置を示し、灰色で示す部分は(4,4)番目のブロックに相当し、×印は超解像の対象ピクチャpic_curの画素を示す。図12Bは、高解像度画像における画素位置を示し、黒丸が高解像度画像の画素に相当する。ここでは、解像度を2倍に拡大するため、元の超解像の対象ピクチャpic_curの画素は、×印で示されるように、水平方向と垂直方向共に、1画素おきに存在することになる。また、領域Cに示すように、高解像度画像の1画素を複数のグリッドに分割する。ここでは、1画素に対応する領域を2×2のグリッドに分割した例を示す。図12Cと図12Dは、図12Bと同一領域において、参照ピクチャを位置合わせ後の様子を示し、白丸は位置合わせ済みの参照ピクチャの画素を示す。図12Cは、位置合わせ後に、各グリッドが、超解像の対象ピクチャpic_cur、あるいは参照ピクチャpic_refの画素を1つ以上含むケースであり、このとき、(4,4)番目のブロックについての動き推定の終了条件を満たすとする。一方、図12Dは、超解像の対象ピクチャpic_cur、あるいは参照ピクチャpic_refの画素を含まないグリッドが存在するケースであり、このとき、(4,4)番目のブロックについての動き推定の終了条件は満たさない。 FIG. 12A to FIG. 12D are examples illustrating conditions for ending motion estimation when the resolution of a low-resolution image is doubled. FIG. 12A shows the block position in the super-resolution target picture pic_cur, the portion shown in gray corresponds to the (4, 4) -th block, and the x mark indicates the pixel of the super-resolution target picture pic_cur. FIG. 12B shows the pixel positions in the high-resolution image, and the black circles correspond to the pixels in the high-resolution image. Here, in order to increase the resolution by a factor of 2, the pixels of the original super-resolution target picture pic_cur exist every other pixel in both the horizontal direction and the vertical direction, as indicated by the x mark. Further, as shown in region C, one pixel of the high resolution image is divided into a plurality of grids. Here, an example in which an area corresponding to one pixel is divided into 2 × 2 grids is shown. 12C and 12D show a state after the reference picture is aligned in the same area as FIG. 12B, and white circles indicate the pixels of the reference picture that have been aligned. FIG. 12C shows a case where, after alignment, each grid includes one or more pixels of the super-resolution target picture pic_cur or reference picture pic_ref. At this time, motion estimation for the (4, 4) -th block It is assumed that the termination condition is satisfied. On the other hand, FIG. 12D shows a case where there is a grid that does not include pixels of the super-resolution target picture pic_cur or the reference picture pic_ref. At this time, the motion estimation termination condition for the (4, 4) -th block is I do not meet.
このように、超解像の対象ピクチャpic_curの(i, j)番目のブロックに対応する高解像度画像のブロックにおいて、全画素内の全グリッドが、位置合わせ後に1つ以上の低解像度画像の画素で埋まっていれば、(i, j)番目のブロックについて動き推定を終了すると判定する。 In this way, in the high-resolution image block corresponding to the (i, j) -th block of the super-resolution target picture pic_cur, all the grids in all the pixels are one or more low-resolution image pixels after alignment. If it is filled with, it is determined that the motion estimation ends for the (i, j) -th block.
ステップS1033において、(i, j)番目のブロックの動き推定を終了すると判定された際には、ブロック毎に設けられたブロック終了フラグのうち、当該ブロックに対応するブロック終了フラグを1にセットしてからステップS1032に戻り、終了しないと判定された場合にはステップS1034に進む。ステップS1034では、(i, j)番目のブロックについて、参照ピクチャpic_ref(k)との間で動き推定処理を実施する。動き推定の手法としては、ブロックマッチング法や位相限定相関法などが適用できる。そして、ステップS1035に進み、(i, j)を更新した後にステップS1032に戻る。続いて、ステップS1036では、全ブロックが動き推定の終了条件を満たしたかどうかを判定し、ピクチャの終了条件を満たす場合にはステップS1038に進み、超解像の対象ピクチャpic_curの動き推定処理を終了すると判定する。この判定の結果、対象ピクチャpic_curに対応するピクチャ終了フラグを1にセットする。ピクチャの動き推定の終了条件を満たさないブロックが存在する場合には、ステップS1037に進み、超解像の対象ピクチャpic_curの動き推定処理を終了しないと判定する。この判定の結果、対象ピクチャpic_curに対応するピクチャ終了フラグは0のままである。 When it is determined in step S1033 that the motion estimation of the (i, j) -th block is to be ended, the block end flag corresponding to the block is set to 1 among the block end flags provided for each block. Then, the process returns to step S1032, and if it is determined not to end, the process proceeds to step S1034. In step S1034, motion estimation processing is performed with respect to the reference picture pic_ref (k) for the (i, j) -th block. A block matching method, a phase only correlation method, or the like can be applied as a motion estimation method. Then, the process proceeds to step S1035. After updating (i, j), the process returns to step S1032. Subsequently, in step S1036, it is determined whether all blocks satisfy the motion estimation end condition. If the picture end condition is satisfied, the process proceeds to step S1038, and the motion estimation process for the super-resolution target picture pic_cur is ended. Judge that. As a result of this determination, the picture end flag corresponding to the target picture pic_cur is set to 1. If there is a block that does not satisfy the picture motion estimation termination condition, the process advances to step S1037 to determine that the motion estimation process for the super-resolution target picture pic_cur is not terminated. As a result of this determination, the picture end flag corresponding to the target picture pic_cur remains 0.
ここで、ステップS1033における終了条件は、高解像度画像の各画素のグリッドが全て埋まっているかどうかに限定されず、例えば以下1から4のいずれかにしてもよい。 Here, the termination condition in step S1033 is not limited to whether or not the grids of the pixels of the high resolution image are all filled, and may be any one of 1 to 4 below, for example.
1.高解像度画像の各画素に対応するグリッドのうち、所定の割合以上のグリッドが1つ以上の低解像度画像の画素で埋まっている。例えば、高解像度画像の画素を4×4のグリッドに分割すると、全てのグリッドを埋めるには、最低でも16枚の参照ピクチャが必要となる。参照ピクチャが増加すると演算量が増加するだけでなく、参照ピクチャの格納に必要なメモリも増加すること、また、所定の割合以上のグリッドが埋まっていれば高解像度画像の再構成時に十分な画質が得られることから、本方法は特に有効である。 1. Among the grids corresponding to each pixel of the high resolution image, a grid of a predetermined ratio or more is filled with one or more pixels of the low resolution image. For example, if pixels of a high resolution image are divided into 4 × 4 grids, at least 16 reference pictures are required to fill all the grids. If the number of reference pictures increases, not only will the amount of computation increase, but the memory required to store the reference pictures will also increase, and if a grid with a predetermined ratio or more is filled, sufficient image quality will be obtained when a high-resolution image is reconstructed. Thus, this method is particularly effective.
さらに、ブロック内の画像の性質に応じて前記所定の割合を切り替えてもよい。例えば、エッジなど高周波成分が多く含まれる部分では、高周波成分の少ない平坦な領域に比べて、埋まっているグリッドの数の増加に依存した画質向上の効果が大きい。従って、ブロック内でエッジ検出などを行った結果に基づいて、エッジなどの高周波成分が存在する、あるいは高周波成分の割合が大きい場合には、より多くのグリッドが埋まるまで動き推定を継続することにしてもよい。 Furthermore, the predetermined ratio may be switched according to the property of the image in the block. For example, in a portion containing a lot of high-frequency components such as edges, the effect of improving the image quality depending on the increase in the number of buried grids is greater than in a flat region with few high-frequency components. Therefore, based on the results of edge detection in the block, if there are high-frequency components such as edges or the ratio of high-frequency components is large, motion estimation will continue until more grids are filled. May be.
2.高解像度画像の各画素に対応するグリッドのうち、または高解像度画像の画素位置に近いグリッドのうち、所定の割合以上のグリッドが1つ以上の低解像度画像の画素で埋まっている。例えば、高解像度画像の画素位置を含むグリッドに隣接するグリッドが埋まっているかどうかで判定してもよい。 2. Of the grid corresponding to each pixel of the high resolution image or the grid close to the pixel position of the high resolution image, a grid of a predetermined ratio or more is filled with one or more pixels of the low resolution image. For example, the determination may be made based on whether a grid adjacent to the grid including the pixel position of the high-resolution image is filled.
3.高解像度画像の各画素に対応するグリッドのうち、高解像度画像の画素位置に隣接するグリッドなど特定のグリッドが、N個以上の低解像画像の画素で埋まっている。 3. Among the grids corresponding to each pixel of the high resolution image, a specific grid such as a grid adjacent to the pixel position of the high resolution image is filled with N or more pixels of the low resolution image.
4.高解像度画像の各画素に対応するグリッドのうち、1つ以上の低解像度画像の画素で埋まっているグリッドの割合の増加量が所定の条件を満たす。例えば、前記増加量の大きさ、あるいは、1つ以上の低解像度画像の画素で埋まっているグリッドの総数に対する、新規に埋まったグリッドの数の割合、などが一定量以下となった際には、他のグリッドを埋めるような動きをもつ参照ピクチャが存在しないとみなし、動き推定を終了する。 4). Of the grid corresponding to each pixel of the high resolution image, an increase amount of the ratio of the grid filled with one or more pixels of the low resolution image satisfies a predetermined condition. For example, when the size of the increase amount or the ratio of the number of newly filled grids to the total number of grids filled with pixels of one or more low-resolution images is less than a certain amount The motion estimation is terminated assuming that there is no reference picture having a motion that fills another grid.
また、グリッドの形状は矩形でなくてもよい。例えば、高解像度画像の画素位置からの距離に応じて同心円状にグリッドを設定してもよい。 Further, the shape of the grid may not be rectangular. For example, the grid may be set concentrically according to the distance from the pixel position of the high resolution image.
また、ステップS101では参照可能な全てのピクチャを前もって入力したが、ステップS105およびステップS102において、新規の参照ピクチャが必要であると判定された場合に、順次参照ピクチャを入力してもよい。図13は、必要な参照ピクチャを順次入力する際の動作を示すフローチャートである。本動作においては、まず、ステップS106において超解像の対象ピクチャpic_curを入力し、参照ピクチャの入力はステップS107において行う。ステップS107では、次に参照するピクチャが未取得であるかどうか判定し、未取得であれば当該参照ピクチャを入力する。動画像のピクチャを順に超解像するようなケースでは、超解像済みのピクチャにおいて参照ピクチャとして使用したピクチャがメモリに保持されており、これらのピクチャは、後続ピクチャを超解像する際にも参照ピクチャとして利用できる。従って、次に参照するピクチャが未取得である場合にのみ、参照ピクチャを入力すればよい。なお、参照ピクチャは、表示順が超解像の対象ピクチャpic_curに近いピクチャから順に取得する。 In step S101, all the pictures that can be referred to are input in advance. However, if it is determined in steps S105 and S102 that a new reference picture is necessary, the reference pictures may be input sequentially. FIG. 13 is a flowchart illustrating an operation when sequentially inputting necessary reference pictures. In this operation, first, the super-resolution target picture pic_cur is input in step S106, and the reference picture is input in step S107. In step S107, it is determined whether or not the next reference picture has not been acquired. If it has not been acquired, the reference picture is input. In the case of super-resolution of moving pictures, the pictures used as reference pictures in the super-resolved pictures are stored in the memory, and these pictures are used when super-resolution of subsequent pictures. Can also be used as a reference picture. Therefore, it is only necessary to input a reference picture when the next reference picture is not acquired. Note that the reference pictures are acquired in order from the picture whose display order is close to the super-resolution target picture pic_cur.
図14は、本実施の形態の画像処理方法の効果を説明する図である。図14の(a)、(b)、(c)は、それぞれ図7の(a)、(b)、(c)に対応する。図7に示すように、従来の方法では、ブロックAのように、動き推定処理を終了してよい領域についても、参照枚数が所定の枚数に達するまで動き推定処理を続行していた。しかしながら、本実施の形態の方法によれば、ブロックAにおいては、図14(b)で4枚の参照ピクチャによる位置合わせを終了した段階で、動き推定の終了条件を満たすため、以降、ブロックAについては動き推定処理は行われない。結果として、5枚目の参照ピクチャから8枚目の参照ピクチャに対するブロックAの動き推定処理を削減できる。 FIG. 14 is a diagram for explaining the effect of the image processing method of the present embodiment. (A), (b), and (c) in FIG. 14 correspond to (a), (b), and (c) in FIG. 7, respectively. As shown in FIG. 7, in the conventional method, the motion estimation process is continued until the reference number reaches a predetermined number even for an area where the motion estimation process may be terminated, as in block A. However, according to the method of the present embodiment, in block A, since the end condition for motion estimation is satisfied at the stage where the alignment with the four reference pictures is completed in FIG. No motion estimation process is performed for. As a result, it is possible to reduce the motion estimation process of block A from the fifth reference picture to the eighth reference picture.
以下に、本実施の形態の変形例について述べる。
ステップS103における動き推定は、低解像度画像を補間処理により高解像度化した後に実施してもよい。一例として、超解像の対象ピクチャpic_curと参照ピクチャpic_refとを、それぞれバイキュービック法、あるいは0次ホールド法により補間した後に動き推定を行う。
Below, the modification of this Embodiment is described.
The motion estimation in step S103 may be performed after increasing the resolution of the low-resolution image by interpolation processing. As an example, motion estimation is performed after interpolating the target picture pic_cur and the reference picture pic_ref of the super-resolution by the bicubic method or the 0th-order hold method, respectively.
さらに、ステップS103における動き推定の終了判定は、ピクチャ単位のみで行ってもよい。このとき、ステップS1034では、ステップS1033における(i, j)番目のブロックの動き推定の終了判定の結果に関わらず、動き推定を実施する。 Furthermore, the motion estimation end determination in step S103 may be performed only in units of pictures. At this time, in step S1034, the motion estimation is performed regardless of the result of the motion estimation end determination of the (i, j) -th block in step S1033.
また、ステップS1036においては、全てのブロックが動き推定の終了条件を満たすかどうかにより終了判定を行ったが、一定割合以上のブロックが動き推定の終了条件を満たす、あるいは、エッジや高周波成分を多く含むブロックが動き推定の終了条件を満たす、などの条件を満たせば、超解像の対象ピクチャpic_curに対する動き推定処理を終了するとしてもよい。 In step S1036, the end determination is performed based on whether or not all the blocks satisfy the motion estimation end condition.However, more than a certain percentage of the blocks satisfy the motion estimation end condition, or there are many edges and high-frequency components. The motion estimation process for the super-resolution target picture pic_cur may be terminated if the included block satisfies a condition such as a motion estimation termination condition.
また、動き推定は、超解像の対象ピクチャにおけるブロックを基準として行ったが、参照ピクチャ内のブロックを基準として行ってもよい。このときは、超解像の対象ピクチャにおいて動き推定の終了条件を満たすかどうかに基づいた選択的な動き推定処理は行えないため、動き推定の終了判定はピクチャ単位のみで行う。 In addition, the motion estimation is performed on the basis of a block in the super-resolution target picture, but may be performed on the basis of a block in the reference picture. At this time, since the selective motion estimation processing based on whether or not the motion estimation end condition is satisfied in the super-resolution target picture cannot be performed, the motion estimation end determination is performed only in units of pictures.
また、上記では、ブロック単位での動き推定について説明したが、オブジェクトを抽出した後に、オブジェクト単位で動き推定を行ってもよい。 In the above description, motion estimation in units of blocks has been described. However, motion estimation may be performed in units of objects after objects are extracted.
また、ステップS101では、参照ピクチャの枚数の最大値をNに固定したが、適応的に切り替えてもよい。例えば、動画像のストリームにおけるピクチャを順に超解像するケースでは、必要な参照ピクチャの枚数として、直前のピクチャにおいて使用した参照ピクチャの枚数を設定してもよい。 In step S101, the maximum value of the number of reference pictures is fixed to N, but may be switched adaptively. For example, in the case of sequentially super-resolving pictures in a moving picture stream, the number of reference pictures used in the immediately preceding picture may be set as the number of necessary reference pictures.
また、ステップS105における超解像の初期画像113の生成は、動き推定処理を実施するステップよりも前の段階、あるいは、参照ピクチャを取得するよりも前の段階で行ってもよい。 In addition, the generation of the super-resolution initial image 113 in step S105 may be performed at a stage before the step of performing the motion estimation process or at a stage before acquiring the reference picture.
また、参照ピクチャpic_refは、同一シーン内のピクチャとすることが望ましい。これは、シーンが切替わると、切替わり前のシーンと切替わり後のシーンとで画像の相関がなくなる可能性が高く、参照ピクチャとしての重要度が低下するためである。図15は、ステップS107において、シーンの切替わり(シーンチェンジ)を考慮して参照ピクチャを決定する際の動作を示すフローチャートである。ここで、超解像の対象ピクチャpic_curの表示順はk番目であるとする。まず、ステップS201において、変数k_minusとk_plusを共に0にセットする。次に、ステップS202では、表示順がk番目に近いピクチャから順に参照対象にすると決定する。ステップS203では、ステップS202で決定した結果に基づき、次に参照対象とするピクチャを決定する。ステップS204では、参照対象のピクチャにおいてシーンチェンジを検出したかどうか判定する。シーンチェンジは、DVなどにおいてビデオストリームに付加されたシーンチェンジの情報、あるいは、MPEGなどの符号化ストリームにおけるGOP(Group of Pictures)などのランダムアクセス単位の開始位置、あるいは、ストリームを再生するためのナビゲーションデータを参照するなどして検出できる。ステップS204においてシーンチェンジが検出されなければ、ステップS205に進み、参照対象のピクチャの画像を入力して処理を終了する。シーンチェンジが検出されれば、ステップS206に進む。ステップS206では、現在の参照対象ピクチャは参照ピクチャとしないと決定し、ステップS207に進む。ステップS207では、現在の参照対象ピクチャの表示順がk番目よりも後であるかどうか判定し、表示順が前であればステップS208に進み、表示順が後であればステップS209に進む。ステップS208では、表示順がk+1番目以降(k+1番目を含む)のピクチャのみを参照対象にすると決定し、ステップS210に進んでk_plusを1にセットする。ステップS209では、表示順がk-1番目以前(k-1番目を含む)のピクチャのみを参照対象にすると決定し、ステップS211に進んでk_minusを1にセットする。ステップS210あるいはステップS211の終了後は、ステップS212に進む。ステップS212では、k_plusとk_minusが共に1であるかどうか判定し、共に1であれば処理を終了し、少なくともどちらか一方が0であれば、ステップS203に戻る。なお、動画像におけるストリームの先頭部分や終端部分などにおいて、参照対象のピクチャが取得できなくなった場合には、その時点で処理を終了する。なお、ステップS202は、超解像処理の開始時にのみ行ってもよい。また、図10のステップS101のように、参照対象となるN枚のピクチャを一度に入力する際には、N枚の参照ピクチャが決定するまでS201からステップS212までの処理を繰り返す。なお、N枚の参照ピクチャが決定するまで処理を続行せずに、N枚の参照対象ピクチャに対しての処理が終了した時点で、つまり、N枚のピクチャに対してステップS203からステップS212までの処理が終了した時点で、参照ピクチャの入力処理を打ち切ってもよい。さらに、MPEG-2ビデオにおける双方向予測ピクチャや、MPEG-4 AVC(Advanced Video Coding)における双予測ピクチャのように、復号順と表示順が異なるピクチャを含む符号化ストリームを扱う際には、各ピクチャの表示順を予め取得しておく。 The reference picture pic_ref is preferably a picture in the same scene. This is because when a scene is switched, there is a high possibility that there is no correlation between images in the scene before switching and the scene after switching, and the importance as a reference picture decreases. FIG. 15 is a flowchart illustrating an operation when determining a reference picture in consideration of scene switching (scene change) in step S107. Here, it is assumed that the display order of the super-resolution target picture pic_cur is k-th. First, in step S201, variables k_minus and k_plus are both set to 0. Next, in step S202, it is determined that the display target is the reference object in order from the kth closest picture. In step S203, the next reference target picture is determined based on the result determined in step S202. In step S204, it is determined whether a scene change has been detected in the reference target picture. A scene change is a scene change information added to a video stream in DV or the like, a start position of a random access unit such as GOP (Group of Pictures) in an encoded stream such as MPEG, or a stream playback It can be detected by referring to the navigation data. If no scene change is detected in step S204, the process proceeds to step S205, the image of the reference target picture is input, and the process ends. If a scene change is detected, the process proceeds to step S206. In step S206, it is determined that the current reference target picture is not a reference picture, and the process proceeds to step S207. In step S207, it is determined whether or not the display order of the current reference target picture is after the k-th. If the display order is before, the process proceeds to step S208. If the display order is after, the process proceeds to step S209. In step S208, it is determined that only pictures whose display order is k + 1 and after (including k + 1) are to be referred to, and the process proceeds to step S210 where k_plus is set to 1. In step S209, it is determined that only pictures whose display order is before the k−1th (including the k−1th) are to be referenced, and the process proceeds to step S211 where k_minus is set to 1. After step S210 or step S211 ends, the process proceeds to step S212. In step S212, it is determined whether k_plus and k_minus are both 1. If both are 1, the process ends. If at least one of them is 0, the process returns to step S203. If the reference target picture can no longer be acquired at the beginning or end of the stream in the moving image, the process ends at that point. Note that step S202 may be performed only at the start of the super-resolution processing. Also, as in step S101 in FIG. 10, when N pictures to be referred to are input at a time, the processes from S201 to S212 are repeated until N reference pictures are determined. It should be noted that the processing is not continued until N reference pictures are determined, and the processing for N reference target pictures is completed, that is, for N pictures from step S203 to step S212. When the above process is completed, the reference picture input process may be terminated. Furthermore, when handling an encoded stream including pictures with different decoding order and display order, such as bi-predictive pictures in MPEG-2 video and bi-predictive pictures in MPEG-4 AVC (Advanced Video Coding), The display order of pictures is acquired in advance.
また、画像の再構成には反復処理を用いたが、再サンプリング処理後に逆フィルタをかけるなど反復処理とは異なる方法により高解像度画像を生成してもよい。 Further, although iterative processing is used for image reconstruction, a high-resolution image may be generated by a method different from the iterative processing, such as applying an inverse filter after resampling processing.
また、参照画像として低解像度画像を使用したが、超解像後の画像を参照画像として使用してもよい。特に、動画のストリームを順に超解像する際には、超解像済みの画像を参照画像として使用できる。 Further, although the low resolution image is used as the reference image, an image after super-resolution may be used as the reference image. In particular, when super-resolving a moving image stream in sequence, a super-resolution image can be used as a reference image.
また、必ず位置合わせを行う参照画像の枚数を予め設定しておき、設定枚数を超える参照画像については、参照するかどうかを選択的に判定してもよい。例えば、最低4枚の参照画像については位置合わせを行い、5枚目以降の参照画像については本実施の形態の方法により参照するかどうかを判定する。こうすることで、位置合わせに必要な最低限の参照画像については、動き推定の終了判定に係る処理を省略することができる。 In addition, the number of reference images for which alignment is always performed may be set in advance, and it may be selectively determined whether or not to reference a reference image that exceeds the set number. For example, alignment is performed for at least four reference images, and it is determined whether or not the fifth and subsequent reference images are referred to by the method of the present embodiment. By doing so, it is possible to omit the process related to the determination of the end of motion estimation for the minimum reference image necessary for alignment.
以上のように、本実施の形態の画像処理方法では、各参照画像に対する動き推定および位置合わせ処理を終了するかどうかをブロック単位、あるいはピクチャ単位で判定するステップS105を備えたことにより、参照画像の位置合わせが必要な領域においてのみ、動き推定および位置合わせ処理を行うことができ、演算負荷が大きい処理である動き推定に係る演算量を削減できる。さらに、必要な参照画像を逐次入力することにより参照画像の保持に必要なメモリを削減できると共に、位置合わせが有効となる同一シーン内のピクチャを容易に選択できる。 As described above, the image processing method according to the present embodiment includes step S105 for determining whether to end the motion estimation and alignment processing for each reference image in units of blocks or in units of pictures. Motion estimation and alignment processing can be performed only in the region where the above-mentioned alignment is necessary, and the amount of calculation related to motion estimation, which is a processing with a large calculation load, can be reduced. Furthermore, by sequentially inputting the necessary reference images, it is possible to reduce the memory necessary for holding the reference images, and it is possible to easily select the pictures in the same scene where the alignment is effective.
(実施の形態2)
本実施の形態における画像処理装置200は、実施の形態1と比較して、さらに、第2繰り返し処理手段は、更新処理の結果から終了条件を満たす画素を判定する判定手段と、終了条件を満たすと判定された画素を以降の更新処理から除外する除外手段とを備える。このように、更新処理は高解像度画像の全ての画素を対象に行なわれるのではなく、除外手段によって除外されて残る画素を対象に行なわれる。終了条件を満たす画素を更新処理から除外することにより、繰り返えされる更新処理に要する演算量を削減し、除外される画素は終了条件を満たすので画質の低下を防止することができる。
(Embodiment 2)
Compared with the first embodiment, the
図16は、画像処理装置200の構成を示すブロック図である。画像処理装置200は、画像入力部101、動き推定部102、位置合わせ部103、参照画像決定部104、初期画像決定部105、再構成部206、およびメモリ110から構成される。
FIG. 16 is a block diagram illustrating a configuration of the
画像入力部101は、入力画像データをメモリ110に格納する。動き推定部102は、動き推定に必要な画像データをメモリ110から取得して、動き推定を実施し、取得した動きベクトル情報111を位置合わせ部103に入力する。続いて、位置合わせ部103は、動きベクトル情報111に基づいて位置合わせを行い、その結果を位置情報112として出力する。初期画像決定部105は指定された倍率に従って、高解像度画像の初期画像113を生成する。さらに、再構成部206は、位置情報112と初期画像113に基づいて反復処理を行い、高解像度画像の画素値を選択的に更新し、再構成画像データを生成し、出力する。
The
図17は、再構成部206の構成を示すブロック図である。再構成部206は、更新演算部211、ピクチャ単位更新判定部212、およびピクセル単位更新判定部213とから構成される。更新演算部211は、ピクチャ単位更新判定部212から入力されるピクチャ単位の更新指示情報311、および、ピクセル単位更新判定部213から入力されるピクセル単位の更新指示315に従い、位置情報112と初期画像113に基づいて高解像度画像の画素値を更新する。ピクチャ単位更新判定部212は、高解像度画像の更新結果312から、反復処理を終了するかどうか判定し、終了すると判定した場合には高解像度画像データを出力し、終了せずに反復処理を続行すると判定した場合には、更新指示情報311により更新演算部211に対して高解像度画像の更新を指示する。また、ピクセル単位更新判定部213は、更新演算部211から入力される高解像度画像の画素単位の更新情報314に基づいて、画素単位で更新を終了するかどうか判定し、更新指示315を更新演算部211に入力する。
FIG. 17 is a block diagram illustrating a configuration of the
次に本発明の実施の形態2に係る画像処理装置200の動作について説明する。画像処理装置200は、ステップS005において反復処理により高解像度画像の画素値を更新する際に、画素値を更新する画素を選択的に決定する点において、画像処理装置100と異なる。
Next, the operation of the
図18は、画像処理装置200における反復処理の動作を示すフローチャートである。まず、ステップS0061において、反復回数nを0にセットする。ステップS3062では反復処理の終了判定を行う。このとき、評価関数の勾配I'の2次のノルムが所定の閾値εより小さければ反復処理を終了して、ステップS0065に進み、高解像度画像HR(n+1)を再構成画像として出力する。評価関数の勾配I'の2次のノルムが閾値ε以上であればステップS3063に進む。ステップS3063では、高解像度画像HR(n)において所定の条件を満たす画素のみ画素値を更新し、更新後の高解像度画像HR(n+1)を生成する。ここで、高解像度画像HR(0)は、ステップS005で生成した高解像度画像の初期画像113と一致する。続いて、ステップS0064では、反復回数nに1を加算し、ステップS3062に戻る。
FIG. 18 is a flowchart showing the operation of the iterative process in the
上記ステップS3063において、所定の条件を満たす画素は、画素毎に設けられた更新終了フラグRepFlag(i, j)が0に対応する画素である。また、ステップS3063における更新処理では、更新終了フラグRepFlag(i, j)が1に対応する画素データ、つまり更新の終了条件を満たす画素データは、(式2)のh_vec(i)のベクトルの要素から除外される。これにより更新処理の演算量を大幅に削減している。 In step S3063, the pixel that satisfies the predetermined condition is a pixel whose update end flag RepFlag (i, j) provided for each pixel corresponds to zero. In the update process in step S3063, the pixel data corresponding to the update end flag RepFlag (i, j) of 1, that is, the pixel data that satisfies the update end condition is the vector element of h_vec (i) in (Expression 2). Excluded from. As a result, the calculation amount of the update process is greatly reduced.
図19は、ステップS3063の動作の詳細を示すフローチャートである。動作は大きく2つのパートから構成され、評価関数I(式1)の勾配I'(式2)を計算するステップ(ステップS4001からステップS4005)と、求めた勾配I'に基づいて高解像度画像の画素値を更新するステップ(ステップS4006からステップS4012)とから成る。 FIG. 19 is a flowchart showing details of the operation in step S3063. The operation is mainly composed of two parts. A step (step S4001 to step S4005) for calculating the gradient I ′ (formula 2) of the evaluation function I (formula 1) and a high-resolution image based on the obtained gradient I ′. And updating the pixel value (from step S4006 to step S4012).
まず、評価関数Iの勾配I'を求める部分について説明する。ステップS4001において、高解像度画像HR(n)の各画素を示すインデックス番号であるiとjを共に0にセットすると共に、全画素に対する更新終了フラグRepFlag(i, j)の値を全て0にセットする。次に、ステップS4002において、高解像度画像HR(n)の全画素の処理が終了したかどうか判定し、全画素の処理が終了したと判定された場合にはステップS4006に進み、終了していないと判定された場合にはステップS4003に進む。ステップS4003では、HR(n)の画素(i, j)において、画素値の更新を終了するかどうかを示す更新終了フラグRepFlag(i, j)が1であるかどうか判定し、1であればステップS4005に進み、0であればステップS4004に進む。ステップS4004では、HR(n)の画素(i, j)の画素値を用いて、評価関数I(式1)の勾配I'(式2)の値を更新し、ステップS4005に進む。ステップS4005では、(i, j)を更新し、ステップS4002に戻る。 First, the part for obtaining the gradient I ′ of the evaluation function I will be described. In step S4001, both i and j, which are index numbers indicating each pixel of the high-resolution image HR (n), are set to 0, and the values of the update end flags RepFlag (i, j) for all the pixels are set to 0. To do. Next, in step S4002, it is determined whether or not the processing of all the pixels of the high resolution image HR (n) has been completed. If it is determined that the processing of all the pixels has been completed, the process proceeds to step S4006 and has not ended. If it is determined, the process proceeds to step S4003. In step S4003, it is determined whether or not the update end flag RepFlag (i, j) indicating whether or not to end the update of the pixel value is 1 in the pixel (i, j) of HR (n). The process proceeds to step S4005, and if it is 0, the process proceeds to step S4004. In step S4004, the value of the gradient I ′ (expression 2) of the evaluation function I (expression 1) is updated using the pixel value of the pixel (i, j) of HR (n), and the process proceeds to step S4005. In step S4005, (i, j) is updated, and the process returns to step S4002.
続いて、求めた勾配I'に基づいて高解像度画像の画素値を更新する。まず、ステップS4006において、i、jを共に0にセットする。次に、ステップS4007において、高解像度画像HR(n)の全画素の処理が終了したかどうか判定し、終了したと判定された場合には、HR(n)についての画素値の更新処理を終了する。終了していないと判定されれば、ステップS4008に進み、HR(n)の画素(i, j)における更新終了フラグRepFlag(i, j)が1であるかどうか判定し、1であればステップS4012に進み、0であればステップS4009に進む。ステップS4009では、勾配I'に基づいて画素(i, j)の画素値を更新して、更新後の画素値HR(n+1).(i, j)を取得した後にステップS4010に進む。ステップS4010では、更新後の画素値HR(n+1).(i, j)と更新前の画素値HR(n).(i, j)との差分の絶対値が、画素値の更新を終了するかどうかを示す閾値REP_STOPよりも大きいかどうか判定し、閾値REP_STOPよりも大きければステップS4012に進み、閾値REP_STOP以下であればステップS4011に進む。ここで、閾値REP_STOPの値は予め定めた値であるとする。ステップS4011では、更新終了フラグRepFlag(i, j)を1にセットしてステップS4012に進む。最後に、ステップS4012において(i, j)を更新し、ステップS4007に戻る。 Subsequently, the pixel value of the high resolution image is updated based on the obtained gradient I ′. First, in step S4006, i and j are both set to 0. Next, in step S4007, it is determined whether or not the processing of all the pixels of the high-resolution image HR (n) has been completed. If it is determined that the processing has ended, the pixel value update processing for HR (n) is terminated. To do. If it is determined that the update has not ended, the process advances to step S4008 to determine whether or not the update end flag RepFlag (i, j) in the pixel (i, j) of HR (n) is 1. The process proceeds to S4012, and if it is 0, the process proceeds to Step S4009. In step S4009, the pixel value of the pixel (i, j) is updated based on the gradient I ′ to obtain the updated pixel value HR (n + 1). (I, j), and then the process proceeds to step S4010. In step S4010, the absolute value of the difference between the updated pixel value HR (n + 1). (I, j) and the updated pixel value HR (n). (I, j) is updated to the pixel value. It is determined whether or not the threshold value REP_STOP is larger than the threshold value REP_STOP. If it is larger than the threshold value REP_STOP, the process proceeds to step S4012. Here, it is assumed that the threshold value REP_STOP is a predetermined value. In step S4011, the update end flag RepFlag (i, j) is set to 1 and the process proceeds to step S4012. Finally, (i, j) is updated in step S4012, and the process returns to step S4007.
なお、上記では、評価関数I(式1)の勾配I'(式2)の計算が全画素について終了した後に、画素値の更新を行っているが、高解像度画像HR(n)の画素(i, j)に影響を及ぼす画素について勾配I'の計算が終了した時点で、高解像度画像HR(n)の画素(i, j)の画素値を更新してもよい。高解像度画像HR(n)の画素(i, j)に影響を及ぼす画素は、(式1)において、撮像モデルを示すカーネルb_vec(i)のサイズにより決定される。例えば、カーネルb_vec(i)のサイズが7×7であれば、(i, j)の周辺7×7画素について勾配I'の更新が終了すれば、高解像度画像HR(n)の画素(i, j)の画素値を更新できる。このように、順次画素値を更新することで、勾配I'の計算処理と画素値の更新処理とを並列化できる。 In the above description, the pixel value is updated after the calculation of the gradient I ′ (Equation 2) of the evaluation function I (Equation 1) is completed for all pixels, but the pixel ( The pixel value of the pixel (i, j) of the high-resolution image HR (n) may be updated when the calculation of the gradient I ′ is completed for the pixels that affect i, j). The pixel that affects the pixel (i, j) of the high-resolution image HR (n) is determined by the size of the kernel b_vec (i) indicating the imaging model in (Equation 1). For example, if the size of the kernel b_vec (i) is 7 × 7, the update of the gradient I ′ for the 7 × 7 pixels around (i, j) is completed, and then the pixel (i , j) can be updated. Thus, by sequentially updating the pixel values, the calculation process of the gradient I ′ and the update process of the pixel values can be parallelized.
図20は、本実施の形態の画像処理方法の効果を説明する図である。図20の(a)と(b)は、それぞれ図8の(a)と(b)に対応する。図8(a)に示すように、従来の方法では、反復回数に関わらず、高解像度画像の全画素について画素値を更新していた。しかしながら、本実施の形態の方法では、図20(a)に示すように、反復毎に、画素値の更新が必要な画素を決定するため、反復回数の増加に伴い、画素値を更新する画素が減少する。このため、従来の方法と比較すると、画素値の更新が不要な部分(図20(a)における白塗りの領域)についての画素値の更新に係る演算が削減できる。 FIG. 20 is a diagram for explaining the effect of the image processing method of the present embodiment. 20A and 20B correspond to FIGS. 8A and 8B, respectively. As shown in FIG. 8A, in the conventional method, the pixel values are updated for all the pixels of the high-resolution image regardless of the number of iterations. However, in the method of the present embodiment, as shown in FIG. 20 (a), the pixel whose pixel value needs to be updated is determined for each iteration, and therefore the pixel whose pixel value is updated as the number of iterations increases. Decrease. For this reason, as compared with the conventional method, it is possible to reduce the calculation related to the update of the pixel value for the portion where the pixel value does not need to be updated (the white area in FIG. 20A).
以下に、本実施の形態の変形例について述べる。
ステップS4010において、画素値の更新を終了するかどうかを示す閾値REP_STOPは予め定めた固定値としたが、例えば以下の1から3のように動的に設定してもよい。
Below, the modification of this Embodiment is described.
In step S4010, the threshold value REP_STOP indicating whether or not to end the update of the pixel value is a predetermined fixed value, but may be dynamically set as 1 to 3 below, for example.
1.M回目(Mは1以上の整数)の反復処理において、高解像度画像の画素において画素値が更新される画素の割合が所定値付近となるように閾値REP_STOPを設定する。例えば、2回目の反復処理において更新される画素の割合が80%以下となるように設定する。閾値の設定は、反復処理内では固定としてもよいし、反復処理のループ毎に切り替えてもよい。また、同一シーン内では同一の閾値を用いて、シーンの切替わりに応じて閾値を再設定してもよい。さらに、高解像度画像内で高周波成分の多い領域においては、前記所定の割合を高めに設定するなど、画像の性質に応じて設定方法を切り替えてもよい。このように、画素値を更新する画素の割合を制限することにより、演算量が効果的に削減できる。 1. In the Mth iteration (M is an integer of 1 or more), the threshold value REP_STOP is set so that the ratio of the pixels whose pixel values are updated in the pixels of the high resolution image is close to a predetermined value. For example, the ratio of pixels updated in the second iterative process is set to be 80% or less. The setting of the threshold value may be fixed within the iterative process or may be switched for each loop of the iterative process. In addition, the same threshold value may be used in the same scene, and the threshold value may be reset according to scene switching. Furthermore, the setting method may be switched according to the property of the image, such as setting the predetermined ratio higher in a region having a high frequency component in the high resolution image. Thus, the amount of calculation can be effectively reduced by limiting the ratio of the pixels whose pixel values are updated.
2.再構成画像の画質に応じて切り替える。例えば、高画質モードと標準画質モードがある場合に、高画質モードにおいては低画質よりも閾値REP_STOPの値を小さくする。 2. Switch according to the quality of the reconstructed image. For example, when there are a high image quality mode and a standard image quality mode, the threshold value REP_STOP is made smaller than the low image quality in the high image quality mode.
3.画像の性質に応じて切り替える。例えば、高周波成分の多い画像においては、高周波成分の少ない画像よりも閾値REP_STOPの値を小さくする。なお、切り替えの単位は、画像毎、あるいは画像内の領域毎のどちらでもよい。 3. Switch according to the nature of the image. For example, in an image having a high frequency component, the threshold REP_STOP is made smaller than an image having a low frequency component. Note that the unit of switching may be either for each image or for each region in the image.
また、ステップS3062では、評価関数の勾配I'の2次のノルムが所定の閾値εよりも小さければ反復を終了するとしたが、更新後の高解像度画像HR(n)と更新前の高解像度画像HR(n-1)との差分値、すなわち更新量の変化量に基づいて反復を終了するかどうか判定してもよい。ここで、最低1回は反復処理を実行するものとするため、nは1以上となる。図11は、更新量の変化量に基づいて判定する動作例を示すフローチャートである。まず、ステップS5001において、変数i、j、DIFF、SUMを全て0にセットする。ステップS5002では、高解像度画像HR(n)の全画素の処理が終了したかどうか判定し、終了したと判定した場合にはステップS5006に進み、終了していないと判定した場合にはステップS5003に進む。ステップS5003では、高解像度画像HR(n)の画素(i, j)における更新終了フラグRepFlag(i, j)が1であるかどうか判定し、更新終了フラグRepFlag(i, j)が1であればステップS5005に進み、更新終了フラグRepFlag(i, j)が0であればステップS5004に進む。続いて、ステップS5004では、変数DIFFに、更新後の高解像度画像の画素値HR(n).(i, j)と更新前の高解像度画像の画素値HR(n-1).(i, j)の差分値の絶対値を加算し、変数SUMに更新前の高解像度画像の画素値HR(n-1).(i, j)を加算して、ステップS5005に進む。ステップS5005では、(i, j)を更新してステップS5002に戻る。次に、ステップS5006において、DIFFをSUMで割った結果が閾値REP_THRよりも大きいかどうか判定し、閾値REP_THRよりも大きければステップS5008に進み、ピクチャ単位の反復処理を続けると決定し、閾値REP_THR以下であればステップS5007に進み、ピクチャ単位の反復処理を終了すると決定する。ここで、閾値REP_THRは予め定めた値であるとする。なお、本方法では、変数DIFFを変数SUMで割った結果と閾値REP_THRを比較することにより、更新前の高解像度画像の画素値HR(n-1).(i, j)に対する画素値の更新量の割合が一定値以下となった場合に反復処理を打ち切ったが、変数DIFFの値が所定の閾値以下となった場合に反復処理を打ち切ってもよい。こうすることで、更新前の高解像度画像の画素値HR(n-1).(i, j)に依存せずに、反復の終了判定を行える。 In step S3062, the iteration is terminated if the quadratic norm of the gradient I ′ of the evaluation function is smaller than the predetermined threshold ε. However, the high-resolution image HR (n) after the update and the high-resolution image before the update are displayed. Whether to end the iteration may be determined based on a difference value from HR (n-1), that is, a change amount of the update amount. Here, since iterative processing is executed at least once, n is 1 or more. FIG. 11 is a flowchart illustrating an operation example of determination based on the change amount of the update amount. First, in step S5001, variables i, j, DIFF, and SUM are all set to zero. In step S5002, it is determined whether or not the processing of all the pixels of the high resolution image HR (n) has been completed. If it is determined that the processing has ended, the process proceeds to step S5006. If it is determined that the processing has not ended, the process proceeds to step S5003. move on. In step S5003, it is determined whether or not the update end flag RepFlag (i, j) in the pixel (i, j) of the high-resolution image HR (n) is 1, and if the update end flag RepFlag (i, j) is 1. If the update end flag RepFlag (i, j) is 0, the process proceeds to step S5004. Subsequently, in step S5004, the pixel value HR (n). (I, j) of the updated high resolution image and the pixel value HR (n-1). The absolute value of the difference value of j) is added, and the pixel value HR (n−1). (i, j) of the high-resolution image before update is added to the variable SUM, and the process proceeds to step S5005. In step S5005, (i, j) is updated, and the process returns to step S5002. Next, in step S5006, it is determined whether the result of dividing DIFF by SUM is greater than the threshold value REP_THR. If so, the process proceeds to step S5007, and it is determined to end the iterative process for each picture. Here, it is assumed that the threshold value REP_THR is a predetermined value. In this method, the pixel value is updated with respect to the pixel value HR (n-1). (I, j) of the high-resolution image before the update by comparing the result of dividing the variable DIFF by the variable SUM with the threshold REP_THR. The iterative process is discontinued when the ratio of the quantity is equal to or less than a certain value. However, the iterative process may be discontinued when the value of the variable DIFF is equal to or less than a predetermined threshold. In this way, it is possible to determine the end of the iteration without depending on the pixel value HR (n−1). (I, j) of the high-resolution image before update.
なお、図21の方法では、変数DIFFおよび変数SUMの計算において、更新終了フラグRepFlag(i, j)が0である画素のみを使用したが、RepFlag(i, j)が1である画素の情報を反映してもよい。このとき、RepFlag(i, j)が0である画素に対して、勾配I'の誤差項に関連する部分を計算すると演算量が増加するため、これらの画素については、RepFlag(i, j)が1になる直前の画素値、および画素値の更新量を使用できる。本方法は、ステップS3063における勾配I'の更新時にも適用できる。 In the method of FIG. 21, only the pixels whose update end flag RepFlag (i, j) is 0 are used in the calculation of the variable DIFF and the variable SUM. However, the information on the pixels whose RepFlag (i, j) is 1 is used. May be reflected. At this time, if the portion related to the error term of the gradient I ′ is calculated for pixels whose RepFlag (i, j) is 0, the amount of calculation increases. Therefore, for these pixels, RepFlag (i, j) The pixel value immediately before 1 becomes 1 and the update amount of the pixel value can be used. This method can also be applied when updating the gradient I ′ in step S3063.
また、(式1)および(式2)は、位置合わせ後の全ての画素について誤差項を計算しているが、高解像度画像の画素間を区切ったグリッド単位で計算してもよい。このとき、各グリッド内に位置合わせされた低解像度画像の画素値の平均値などを、当該グリッドの画素値の代表値とする。更に、グリッドの中心などをグリッドの画素位置の代表値として、画素値の代表位置に対応するb_vec(i)のカーネルを高解像度画像の画素値のベクトルh_vec(i)に作用させた結果と、画素値の代表値との差分値から、誤差項の各要素を計算する。 In (Equation 1) and (Equation 2), error terms are calculated for all the pixels after alignment, but may be calculated in units of grids in which the pixels of the high-resolution image are partitioned. At this time, an average value or the like of the pixel values of the low-resolution image aligned in each grid is used as a representative value of the pixel value of the grid. Furthermore, with the center of the grid as a representative value of the pixel position of the grid, the result of applying the b_vec (i) kernel corresponding to the representative position of the pixel value to the vector h_vec (i) of the pixel value of the high resolution image, Each element of the error term is calculated from the difference value between the pixel value and the representative value.
また、画素値の更新が必要かどうかを示す更新フラグRepFlagの情報は、画素単位ではなく、ブロック単位、あるいはオブジェクト単位で保持してもよい。このとき、当該領域内で画素値の更新が必要かどうかは、領域内の画素値におけるDIFF/SUM(変数DIFFを変数SUMで割った値)の総和、あるいは、DIFFの総和などから判別する。このように、領域毎に更新情報を保持することで、更新情報の保持に必要なメモリ量を削減できる。 Further, the information of the update flag RepFlag indicating whether or not the pixel value needs to be updated may be held not in pixel units but in block units or object units. At this time, whether or not the pixel value needs to be updated in the area is determined from the sum of DIFF / SUM (the value obtained by dividing the variable DIFF by the variable SUM) or the sum of the DIFF. In this way, by holding update information for each area, it is possible to reduce the amount of memory necessary for holding update information.
また、反復処理に用いるMAP法とは異なる方式であってもよい。つまり、評価関数は(式1)の形式に限られるものではない。例えば、ML(Maximum Likelihood)法であってもよく、この場合の評価関数としては、(式1)の誤差項のみを利用する。あるいは、(式1)の誤差項に対して重み付けをしてもよい。 Further, a method different from the MAP method used for the iterative process may be used. That is, the evaluation function is not limited to the form of (Formula 1). For example, the ML (Maximum Likelihood) method may be used. In this case, only the error term of (Expression 1) is used as the evaluation function. Or you may weight with respect to the error term of (Formula 1).
以上のように、本実施の形態の画像処理方法では、画素単位で反復処理を終了するかどうかを判定するステップS3063を備えたことにより、画素値が収束したとみなせる画素については画素値の更新を順次終了できるため、再構成画像の画質を低下させることなく反復処理に係る処理量を削減できる。 As described above, the image processing method according to the present embodiment includes the step S3063 for determining whether or not to end the iterative process in units of pixels, so that the pixel value is updated for pixels that can be regarded as having converged. Therefore, it is possible to reduce the processing amount related to the iterative processing without degrading the image quality of the reconstructed image.
以下に、実施の形態1および実施の形態2に関する変形例について述べる。
まず、実施の形態1および実施の形態2において、低解像度画像と高解像度画像の解像度は同一であってもよい。このとき、拡大率は1倍となり解像度は向上しないが、再構成処理により高周波成分が復元し、画質が向上する。
Below, the
First, in the first embodiment and the second embodiment, the resolution of the low resolution image and the high resolution image may be the same. At this time, the enlargement ratio is 1 and the resolution is not improved, but the high frequency component is restored by the reconstruction process, and the image quality is improved.
また、実施の形態1の動き推定および位置合わせ方法と、実施の形態2の反復処理方法とを組み合わせて使用してもよい。 In addition, the motion estimation and alignment method of the first embodiment and the iterative processing method of the second embodiment may be used in combination.
また、実施の形態1および実施の形態2においては、超解像の対象ピクチャの画素を補間して高解像度画像の初期画像を生成したが、参照ピクチャを位置合わせした後に、位置合わせ後の画素を補間して高解像度画像の初期画像を生成してもよい。位置合わせの精度が高ければ、位置合わせ後の画素を使用することで、より元の高解像度画像に近い画像を初期値とできるため、反復回数が削減できる。
Further, in
また、適用先は動画像に限定されず、例えば、同一の被写体を複数の位置から撮影した際の(マルチビュー)、各撮影位置における静止画像を利用した超解像が可能である。なお、動画像でない場合には、上記の説明における動き量は各画像間の位置ずれ量に、動き推定は位置ずれ量の推定に対応する。 The application destination is not limited to a moving image. For example, when the same subject is photographed from a plurality of positions (multiview), super-resolution using still images at each photographing position is possible. When the image is not a moving image, the amount of motion in the above description corresponds to the amount of displacement between images, and the motion estimation corresponds to estimation of the amount of displacement.
(実施の形態3)
さらに、上記各実施の形態で示した画像処理方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
(Embodiment 3)
Further, by recording a program for realizing the image processing method shown in each of the above embodiments on a recording medium such as a flexible disk, the processing shown in each of the above embodiments can be performed by an independent computer. It can be easily implemented in the system.
図22A〜図22Cは、上記各実施の形態の画像処理方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。 22A to 22C are explanatory diagrams when the image processing method of each of the above embodiments is implemented by a computer system using a program recorded on a recording medium such as a flexible disk.
図22B は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図22Aは、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクFDはケースF内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックTrが形成され、各トラックは角度方向に16のセクタSeに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクFD上に割り当てられた領域に、上記プログラムが記録されている。 FIG. 22B shows an appearance, a cross-sectional structure, and a flexible disk as viewed from the front of the flexible disk, and FIG. 22A shows an example of a physical format of the flexible disk that is a recording medium body. The flexible disk FD is built in the case F, and on the surface of the disk, a plurality of tracks Tr are formed concentrically from the outer periphery toward the inner periphery, and each track is divided into 16 sectors Se in the angular direction. ing. Therefore, in the flexible disk storing the program, the program is recorded in an area allocated on the flexible disk FD.
また、図22Cは、フレキシブルディスクFDに上記プログラムの記録再生を行うための構成を示す。画像処理方法を実現する上記プログラムをフレキシブルディスクFDに記録する場合は、コンピュータシステムCsから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより画像処理方法を実現する上記画像処理方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。 FIG. 22C shows a configuration for recording and reproducing the program on the flexible disk FD. When the program for realizing the image processing method is recorded on the flexible disk FD, the program is written from the computer system Cs via the flexible disk drive. When the image processing method for realizing the image processing method by the program in the flexible disk is constructed in the computer system, the program is read from the flexible disk by the flexible disk drive and transferred to the computer system.
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ICカード、ROMカセット等、プログラムを記録できるものであれば同様に実施することができる。 In the above description, a flexible disk is used as the recording medium, but the same can be done using an optical disk. Further, the recording medium is not limited to this, and any recording medium such as an IC card or a ROM cassette capable of recording a program can be similarly implemented.
以上、本発明に係る画像処理装置および画像処理方法について、上記各実施の形態に基づいて説明したが、本発明は、これら実施の形態に限定されるものではない。本発明の主旨を逸脱しない範囲内で、当業者が思いつく変形を本実施の形態に施したものも、本発明に含まれる。 The image processing apparatus and the image processing method according to the present invention have been described based on the above embodiments, but the present invention is not limited to these embodiments. The present invention also includes modifications made to the present embodiment by those skilled in the art without departing from the scope of the present invention.
例えば、本実施の形態における画像処理装置を備える光ディスク記録装置、動画像送信装置、デジタルテレビ放送送出装置、Webサーバ、通信装置、携帯情報端末等や、本実施の形態における画像処理装置を備える動画像受信装置、動画像記録装置、静止画記録装置、デジタルテレビ放送受信装置、通信装置、携帯情報端末等も、本発明に含まれるのは言うまでもない。ここで、動画像記録装置とはカムコーダやWebなどを含み、静止画記録装置とはデジタルスチルカメラなどを含む。 For example, an optical disk recording apparatus, a moving image transmission apparatus, a digital television broadcast transmission apparatus, a Web server, a communication apparatus, a portable information terminal, and the like that include the image processing apparatus according to the present embodiment, and a moving image that includes the image processing apparatus according to the present embodiment. Needless to say, an image receiving device, a moving image recording device, a still image recording device, a digital television broadcast receiving device, a communication device, a portable information terminal, and the like are also included in the present invention. Here, the moving image recording device includes a camcorder, Web, and the like, and the still image recording device includes a digital still camera and the like.
なお、ブロック図(図9、図16及び図17など)の各機能ブロックは典型的には集積回路であるLSI(Large Scale Integration)として実現される。これらは個別に1チ
ップ化されても良いし、一部又は全てを含むように1チップ化されても良い。例えばメモリ以外の機能ブロック(図9、図16においては、図中の破線で囲まれた部分)が1チップ化されていても良い。
Note that each functional block in the block diagrams (FIGS. 9, 16, 17 and the like) is typically realized as an LSI (Large Scale Integration) which is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them. For example, functional blocks other than the memory (in FIGS. 9 and 16, a portion surrounded by a broken line in the figure) may be integrated into one chip.
ここでは、LSIとしたが、集積度の違いにより、IC(Integrated Circuit)、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。 Although referred to as LSI here, it may be called IC (Integrated Circuit), system LSI, super LSI, or ultra LSI depending on the degree of integration.
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。 Further, the method of circuit integration is not limited to LSI, and implementation with a dedicated circuit or a general-purpose processor is also possible. An FPGA (Field Programmable Gate Array) that can be programmed after manufacturing the LSI or a reconfigurable processor that can reconfigure the connection and setting of the circuit cells inside the LSI may be used.
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。 Further, if integrated circuit technology comes out to replace LSI's as a result of the advancement of semiconductor technology or a derivative other technology, it is naturally also possible to carry out function block integration using this technology. Biotechnology can be applied.
また、各機能ブロックのうち、画像処理の対象となるデータを格納する手段だけ1チップ化せずに別構成としても良い。 Further, among the functional blocks, only the means for storing the data to be subjected to image processing may be configured separately instead of being integrated into one chip.
本発明によれば、超解像処理により高画質な高解像度画像を得るための演算量を削減できるため、低解像度で記録した動画像を超解像処理により高解像度化して再生することが容易になるなど、その有効性は高い。 According to the present invention, it is possible to reduce the amount of computation for obtaining a high-resolution and high-resolution image by super-resolution processing, so it is easy to reproduce a moving image recorded at a low resolution with high-resolution by super-resolution processing. The effectiveness is high.
100、200 画像処理装置
101 画像入力部
102 動き推定部
103 位置合わせ部
104 参照画像決定部
105 初期画像決定部
106、206 再構成部
110 メモリ
114 画素位置情報
115 推定指示
211 更新演算部
212 ピクチャ単位更新判定部
213 ピクセル単位更新判定部
DESCRIPTION OF SYMBOLS 100,200
Claims (18)
参照画像を切り換えながら位置合わせ処理を繰り返す第1繰り返し処理手段と、
前記位置合わせ処理の繰り返し完了後に、求めるべき高解像度画像の画素値を更新する更新処理を繰り返す第2繰り返し処理手段とを備え、
前記位置合わせ処理は、前記代表画像に対する参照画像の位置ずれ量を推定し、推定した位置ずれ量に基づいて当該参照画像の画素を、前記代表画像を拡大した高解像度画像のサブピクセル位置に配置することであり、
前記更新処理は、前記位置合わせされた低解像度画像の画素値と求めるべき高解像度画像の画素値との差分値を変数として含む評価関数の値を減少させるように、前記高解像度画像の画素値を更新することであり、
前記第1繰り返し処理手段および第2繰り返し処理手段の少なくとも1つは、
位置合わせ処理または更新処理の結果から終了条件を満たす画素を判定する判定手段と、
終了条件を満たすと判定された画素を前記位置合わせ処理または前記更新処理から除外する除外手段と
を備えることを特徴とする画像処理装置。 An image processing apparatus that generates a high-resolution image having a second resolution higher than the first resolution by using a representative image having the first resolution and a plurality of reference images having the first resolution related thereto,
First iterative processing means for repeating the alignment process while switching the reference image;
A second iterative processing unit that repeats an update process for updating a pixel value of a high-resolution image to be obtained after the completion of the alignment process;
The alignment process estimates a positional deviation amount of the reference image with respect to the representative image, and arranges pixels of the reference image at subpixel positions of the high-resolution image obtained by enlarging the representative image based on the estimated positional deviation amount. Is to do
The update process is such that the pixel value of the high-resolution image is reduced so as to reduce the value of the evaluation function including the difference value between the pixel value of the aligned low-resolution image and the pixel value of the high-resolution image to be obtained as a variable. Is to update
At least one of the first iteration processing means and the second iteration processing means is:
Determination means for determining a pixel that satisfies the end condition from the result of the alignment process or the update process;
An image processing apparatus comprising: an excluding unit that excludes a pixel determined to satisfy an end condition from the alignment process or the update process.
前記代表画像のブロック毎に、前記代表画像に対する参照画像の動きを推定する動き推定手段と、
前記高解像度画像を前記高解像度画像の画素に対応する複数グリッドに分割し、推定された動きに従って、前記ブロック毎に参照画像の画素を高解像度画像のサブピクセル位置に配置する位置合わせ手段と、
ブロック内の全グリッドに対する、参照画像の画素を1つ以上含むグリッドの割合が所定の値を超えている場合は、当該ブロックが前記終了条件を満たすと判定する前記判定手段と、
前記終了条件を満たすと判定されたブロックの画素を位置合わせ処理から除外する前記除外手段と
を備えることを特徴とする請求項1記載の画像処理装置。 The first iterative processing means includes
Motion estimation means for estimating the motion of a reference image with respect to the representative image for each block of the representative image;
Alignment means for dividing the high-resolution image into a plurality of grids corresponding to the pixels of the high-resolution image, and arranging pixels of the reference image at sub-pixel positions of the high-resolution image for each block according to the estimated motion;
The determination means for determining that the block satisfies the end condition when a ratio of a grid including one or more pixels of the reference image with respect to all grids in the block exceeds a predetermined value;
The image processing apparatus according to claim 1, further comprising: an exclusion unit that excludes a pixel of a block determined to satisfy the end condition from the alignment process.
前記評価関数の値を減少させるように画素値を更新する更新手段と、
更新前の画素値と更新後の画素値の差である更新量がしきい値である場合、当該画素が前記終了条件を満たすと判定する前記判定手段と、
前記終了条件を満たすと判定された画素を更新処理から除外する前記除外手段と
を備えることを特徴とする請求項1記載の画像処理装置。 The second iterative processing means includes
Updating means for updating the pixel value so as to decrease the value of the evaluation function;
The determination means for determining that the pixel satisfies the end condition when an update amount that is a difference between the pixel value before update and the pixel value after update is a threshold value;
The image processing apparatus according to claim 1, further comprising: an exclusion unit that excludes a pixel determined to satisfy the termination condition from the update process.
参照画像を切り換えながら位置合わせ処理を繰り返す第1繰り返し処理手段と、
前記位置合わせ処理の繰り返し完了後に、求めるべき高解像度画像の画素推定値を更新する更新処理を繰り返す第2繰り返し処理手段とを備え、
前記位置合わせ処理は、前記代表画像に対する参照画像の位置ずれ量を推定し、推定した位置ずれ量に基づいて当該参照画像の画素を、前記代表画像を拡大した高解像度画像のサブピクセル位置に配置することであり、
前記更新処理は、前記位置合わせされた低解像度画像の画素値と、求めるべき高解像度画像モデルの画素値との差分値を変数として含む評価関数の値を減少させるように、前記高解像度画像の画素値を更新することであり、
前記第1繰り返し処理手段は、
前記代表画像に対する参照画像の動きを推定する動き推定手段と、
推定された動きに従って、参照画像の画素を高解像度画像のサブピクセル位置に配置する位置合わせ手段と、
位置合わせ処理の結果から終了条件を満たす画素を判定する判定手段と、
前記終了条件を満たすと判定された画素を位置合わせ処理から除外する前記除外手段と
を備えることを特徴とする画像処理装置。 An image processing apparatus that generates a high-resolution image having a second resolution higher than the first resolution by using a representative image having the first resolution and a plurality of reference images having the first resolution related thereto,
First iterative processing means for repeating the alignment process while switching the reference image;
A second iterative processing unit that repeats an update process for updating a pixel estimation value of a high-resolution image to be obtained after the completion of the alignment process;
The alignment process estimates a positional deviation amount of the reference image with respect to the representative image, and arranges pixels of the reference image at subpixel positions of the high-resolution image obtained by enlarging the representative image based on the estimated positional deviation amount. Is to do
The update processing is performed so that a value of an evaluation function including a difference value between a pixel value of the aligned low-resolution image and a pixel value of the high-resolution image model to be obtained as a variable is reduced. Update the pixel values,
The first iterative processing means includes
Motion estimation means for estimating the motion of a reference image with respect to the representative image;
Alignment means for arranging pixels of the reference image at sub-pixel positions of the high-resolution image according to the estimated movement;
Determination means for determining pixels satisfying the end condition from the result of the alignment processing;
An image processing apparatus comprising: the exclusion unit that excludes a pixel determined to satisfy the termination condition from the alignment process.
前記位置合わせ手段は、前記高解像度画像を前記高解像度画像の画素に対応する複数グリッドに分割し、推定された動きに従って、前記ブロック毎に参照画像の画素を高解像度画像のサブピクセル位置に配置する位置合わせし、
前記判定手段は、前記高解像度画像内の全グリッドに対する、参照画像の画素を1つ以上含むグリッドの割合が所定の値を超えている場合は、当該参照画像が前記終了条件を満たすと判定し、
前記除外手段は、前記終了条件を満たすと判定されたとき、残りの参照画像の画素を位置合わせ処理から除外する
ことを特徴とする請求項4記載の画像処理装置。 The determination means estimates a motion for each block of the representative image,
The alignment unit divides the high-resolution image into a plurality of grids corresponding to the pixels of the high-resolution image, and arranges the reference image pixels at the sub-pixel positions of the high-resolution image for each block according to the estimated motion. Align and
The determination unit determines that the reference image satisfies the end condition when a ratio of a grid including one or more pixels of the reference image to a total grid in the high-resolution image exceeds a predetermined value. ,
The image processing apparatus according to claim 4, wherein when it is determined that the termination condition is satisfied, the exclusion unit excludes the remaining reference image pixels from the alignment process.
前記位置合わせ手段は、前記高解像度画像を前記高解像度画像の画素に対応する複数グリッドに分割し、推定された動きに従って、前記ブロック毎に参照画像の画素を高解像度画像のサブピクセル位置に配置する位置合わせし、
前記判定手段は、ブロック内の全グリッドに対する、参照画像の画素を1つ以上含むグリッドの割合が第1の所定値を超えている場合は、当該ブロックが前記終了条件を満たすと判定し、
前記除外手段は、前記終了条件を満たすと判定されたブロックの画素を以降の次の繰り返しにおける位置合わせ処理から除外する
ことを特徴とする請求項4記載の画像処理装置。 The determination means estimates a motion for each block of the representative image,
The alignment unit divides the high-resolution image into a plurality of grids corresponding to the pixels of the high-resolution image, and arranges the reference image pixels at the sub-pixel positions of the high-resolution image for each block according to the estimated motion. Align and
The determination unit determines that the block satisfies the end condition when a ratio of a grid including one or more pixels of the reference image with respect to all grids in the block exceeds a first predetermined value;
The image processing apparatus according to claim 4, wherein the excluding unit excludes a pixel of a block that is determined to satisfy the end condition from the alignment process in a subsequent next iteration.
前記高解像度画像中の全ブロック数に対する前記終了条件を満たすと判定されたブロックの数の割合が、第2の所定値を超えた場合に、残りの参照画像の画素を位置合わせ処理から除外する
ことを特徴とする請求項6記載の画像処理装置。 The determination means further determines the remaining reference image pixels when the ratio of the number of blocks determined to satisfy the end condition to the total number of blocks in the high-resolution image exceeds a second predetermined value. The image processing apparatus according to claim 6, wherein the image processing apparatus is excluded from the alignment processing.
ことを特徴とする請求項1記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the motion estimation unit estimates motion in order from a reference image whose display order is close to that of the representative image.
参照画像が前記代表画像と同じシーンに属するか異なるシーンに属するかを判断する判断手段を備え、
前記動き推定手段は、異なるシーンに属する参照画像を動き推定から除外する
ことを特徴とする請求項1記載の画像処理方法。 The image processing apparatus further includes:
A determination means for determining whether a reference image belongs to the same scene as the representative image or a different scene;
The image processing method according to claim 1, wherein the motion estimation unit excludes reference images belonging to different scenes from motion estimation.
参照画像を切り換えながら位置合わせ処理を繰り返す第1繰り返し処理手段と、
前記位置合わせ処理の繰り返し完了後に、求めるべき高解像度画像の画素推定値を更新する更新処理を繰り返す第2繰り返し処理手段とを備え、
前記位置合わせ処理は、前記代表画像に対する参照画像の位置ずれ量を推定し、推定した位置ずれ量に基づいて当該参照画像の画素を、前記代表画像を拡大した高解像度画像のサブピクセル位置に配置することであり、
前記更新処理は、前記位置合わせされた低解像度画像の画素値と、求めるべき高解像度画像モデルの画素値との差分値を変数として含む評価関数の値を減少させるように、前記高解像度画像の画素値を更新することであり、
前記第2繰り返し処理手段は、
前記評価関数の値を減少させるように画素推定値を更新する更新手段と、
前記更新処理の結果から終了条件を満たす画素を判定する判定手段と、
前記終了条件を満たすと判定された画素を次の更新処理から除外する前記除外手段と
を備えることを特徴とする画像処理装置。 An image processing apparatus that generates a high-resolution image having a second resolution higher than the first resolution by using a representative image having the first resolution and a plurality of reference images having the first resolution related thereto,
First iterative processing means for repeating the alignment process while switching the reference image;
A second iterative processing unit that repeats an update process for updating a pixel estimation value of a high-resolution image to be obtained after the completion of the alignment process;
The alignment process estimates a positional deviation amount of the reference image with respect to the representative image, and arranges pixels of the reference image at subpixel positions of the high-resolution image obtained by enlarging the representative image based on the estimated positional deviation amount. Is to do
The update processing is performed so that a value of an evaluation function including a difference value between a pixel value of the aligned low-resolution image and a pixel value of the high-resolution image model to be obtained as a variable is reduced. Update the pixel values,
The second iterative processing means includes
Updating means for updating the pixel estimated value so as to decrease the value of the evaluation function;
Determination means for determining a pixel that satisfies an end condition from a result of the update process;
An image processing apparatus comprising: the excluding unit that excludes a pixel determined to satisfy the end condition from a next update process.
ことを特徴とする請求項10記載の画像処理装置。 The said determination means determines that the said pixel satisfy | fills the said completion | finish conditions, when the update amount which is the difference of the pixel value before update and the pixel value after update is a threshold value. Image processing apparatus.
ことを特徴とする請求項11記載の画像処理装置。 The image processing apparatus according to claim 11, wherein the threshold value is a predetermined value.
を特徴とする請求項11記載の画像処理装置。 12. The image according to claim 11, wherein the threshold is determined so that a ratio of the number of pixels not excluded by the determination unit to a total number of pixels of the high-resolution image is equal to or less than a predetermined value. Processing equipment.
ことを特徴とする請求項10記載の画像処理装置。 The update unit calculates a gradient value of the evaluation function using only pixel values of pixels not excluded by the determination unit, and updates a pixel estimated value of the high-resolution image based on the gradient value. The image processing apparatus according to claim 10.
ことを特徴とする請求項10記載の画像処理装置。 The updating means ends updating of the pixel estimated values for all pixels when the reduction ratio of the sum of the difference values for the pixels not excluded by the determining means is equal to or less than a certain value. The image processing apparatus according to claim 10.
参照画像を切り換えながら位置合わせ処理を繰り返す第1ステップと、
前記位置合わせ処理の繰り返し後に、求めるべき高解像度画像の画素推定値を更新する更新処理を繰り返す第2ステップとを有し、
前記位置合わせ処理は、前記代表画像に対する参照画像の位置ずれ量を推定し、推定した位置ずれ量に基づいて当該参照画像の画素を、前記代表画像を拡大した高解像度画像のサブピクセル位置に配置することであり、
前記更新処理は、前記位置合わせされた低解像度画像の画素値と求めるべき高解像度画像モデルの画素値との差分値を変数として含む評価関数の値を減少させるように、前記高解像度画像の画素値を更新することであり、
前記第1ステップおよび第2ステップの少なくとも1つは、
位置合わせ処理または更新処理の結果から終了条件を満たす画素を判定する第1サブステップと、
終了条件を満たすと判定された画素を前記位置合わせ処理または前記更新処理から除外する第2サブステップと
を有することを特徴とする画像処理方法。 An image processing method for generating a high-resolution image of a second resolution higher than the first resolution using a representative image of the first resolution and a plurality of reference images of the first resolution related thereto,
A first step of repeating the alignment process while switching the reference image;
A second step of repeating an updating process for updating a pixel estimation value of a high-resolution image to be obtained after repeating the alignment process;
The alignment process estimates a positional deviation amount of the reference image with respect to the representative image, and arranges pixels of the reference image at subpixel positions of the high-resolution image obtained by enlarging the representative image based on the estimated positional deviation amount. Is to do
The update processing is performed such that the value of the evaluation function including a difference value between the pixel value of the aligned low-resolution image and the pixel value of the high-resolution image model to be obtained as a variable is reduced. Is to update the value,
At least one of the first step and the second step is:
A first sub-step for determining a pixel satisfying an end condition from a result of the alignment process or the update process;
And a second sub-step of excluding a pixel determined to satisfy an end condition from the alignment process or the update process.
参照画像を切り換えながら位置合わせ処理を繰り返す第1繰り返し処理手段と、
前記位置合わせ処理の繰り返し完了後に、求めるべき高解像度画像の画素推定値を更新する更新処理を繰り返す第2繰り返し処理手段とを備え、
前記位置合わせ処理は、前記代表画像に対する参照画像の位置ずれ量を推定し、推定した位置ずれ量に基づいて当該参照画像の画素を、前記代表画像を拡大した高解像度画像のサブピクセル位置に配置することであり、
前記更新処理は、前記位置合わせされた低解像度画像の画素値と、求めるべき高解像度画像の画素値との差分値を変数として含む評価関数の値を減少させるように、前記高解像度画像の画素値を更新することであり、
前記第1繰り返し処理手段および第2繰り返し処理手段の少なくとも1つは、
位置合わせ処理または更新処理の結果から終了条件を満たす画素を判定する判定手段と、
終了条件を満たすと判定された画素を前記位置合わせ処理または前記更新処理から除外する除外手段と
を備えることを特徴とする半導体集積回路。 A semiconductor integrated circuit that generates a high-resolution image having a second resolution higher than the first resolution by using a representative image having the first resolution and a plurality of reference images having the first resolution related thereto,
First iterative processing means for repeating the alignment process while switching the reference image;
A second iterative processing unit that repeats an update process for updating a pixel estimation value of a high-resolution image to be obtained after the completion of the alignment process;
The alignment process estimates a positional deviation amount of the reference image with respect to the representative image, and arranges pixels of the reference image at subpixel positions of the high-resolution image obtained by enlarging the representative image based on the estimated positional deviation amount. Is to do
The update processing is performed so that a pixel value of the high-resolution image is reduced so that a value of an evaluation function including a difference value between a pixel value of the aligned low-resolution image and a pixel value of the high-resolution image to be obtained as a variable is reduced. Is to update the value,
At least one of the first iteration processing means and the second iteration processing means is:
Determination means for determining a pixel that satisfies the end condition from the result of the alignment process or the update process;
A semiconductor integrated circuit comprising: exclusion means for excluding a pixel determined to satisfy an end condition from the alignment process or the update process.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007099932A JP4837615B2 (en) | 2006-04-11 | 2007-04-05 | Image processing method and image processing apparatus |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006109190 | 2006-04-11 | ||
JP2006109182 | 2006-04-11 | ||
JP2006109190 | 2006-04-11 | ||
JP2006109182 | 2006-04-11 | ||
JP2007099932A JP4837615B2 (en) | 2006-04-11 | 2007-04-05 | Image processing method and image processing apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007305113A JP2007305113A (en) | 2007-11-22 |
JP4837615B2 true JP4837615B2 (en) | 2011-12-14 |
Family
ID=38838942
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007099932A Expired - Fee Related JP4837615B2 (en) | 2006-04-11 | 2007-04-05 | Image processing method and image processing apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4837615B2 (en) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100053166A1 (en) * | 2008-08-29 | 2010-03-04 | Kabushiki Kaisha Toshiba | Information processing apparatus, and super-resolution achievement method and program |
JP2010108161A (en) * | 2008-10-29 | 2010-05-13 | Pioneer Electronic Corp | Image processing apparatus and method, and computer program |
JP5181345B2 (en) * | 2008-12-03 | 2013-04-10 | 国立大学法人東京工業大学 | Image processing apparatus and image processing method |
WO2010093040A1 (en) * | 2009-02-13 | 2010-08-19 | 国立大学法人静岡大学 | Motion blur control device, method and program |
JP5645051B2 (en) | 2010-02-12 | 2014-12-24 | 国立大学法人東京工業大学 | Image processing device |
JP5645052B2 (en) | 2010-02-12 | 2014-12-24 | 国立大学法人東京工業大学 | Image processing device |
JP5743615B2 (en) | 2010-03-11 | 2015-07-01 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | Image processing method, image processing apparatus, integrated circuit, and program |
JP5463250B2 (en) * | 2010-09-07 | 2014-04-09 | 日本放送協会 | Image reconstruction device, encoding device, decoding device, and program |
KR101756841B1 (en) * | 2011-06-07 | 2017-07-11 | 삼성전자주식회사 | Method and apparatus for block-based converting image resolution |
JP5892755B2 (en) * | 2011-09-26 | 2016-03-23 | 株式会社東芝 | Image processing apparatus and image processing method |
WO2015005163A1 (en) | 2013-07-12 | 2015-01-15 | 三菱電機株式会社 | High-resolution image generation device, high-resolution image generation method, and high-resolution image generation program |
KR101868203B1 (en) * | 2015-01-28 | 2018-07-20 | 한국전자통신연구원 | Method and apparatus for processing stream |
JP6596286B2 (en) * | 2015-09-25 | 2019-10-23 | 株式会社Fuji | Image high resolution system and high resolution method |
CN110111251B (en) * | 2019-04-22 | 2023-04-28 | 电子科技大学 | Image super-resolution reconstruction method combining depth supervision self-coding and perception iterative back projection |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2828138B2 (en) * | 1996-08-28 | 1998-11-25 | 日本電気株式会社 | Image composition method and image composition device |
JP3444281B2 (en) * | 2000-09-29 | 2003-09-08 | ミノルタ株式会社 | IMAGE PROCESSING SYSTEM, IMAGING DEVICE, IMAGE PROCESSING METHOD, AND RECORDING MEDIUM CONTAINING PROCESSING PROGRAM OF THE METHOD |
CN100498835C (en) * | 2003-09-08 | 2009-06-10 | 日本电气株式会社 | Image combining system, image combining method |
CN100440944C (en) * | 2003-11-11 | 2008-12-03 | 精工爱普生株式会社 | Image processing device, image processing method, program thereof, and recording medium |
JP4429816B2 (en) * | 2004-06-10 | 2010-03-10 | オリンパス株式会社 | Imaging apparatus and method for increasing image resolution |
-
2007
- 2007-04-05 JP JP2007099932A patent/JP4837615B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007305113A (en) | 2007-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4837615B2 (en) | Image processing method and image processing apparatus | |
US7957610B2 (en) | Image processing method and image processing device for enhancing the resolution of a picture by using multiple input low-resolution pictures | |
CA3131447C (en) | Encoding and decoding method and device, encoder side apparatus and decoder side apparatus | |
US9258518B2 (en) | Method and apparatus for performing super-resolution | |
JP2006174415A (en) | Image decoding apparatus, image decoding program, image decoding method, image encoding apparatus, image encoding program, and image encoding method | |
KR101756841B1 (en) | Method and apparatus for block-based converting image resolution | |
US10425656B2 (en) | Method of inter-frame prediction for video encoding and decoding | |
JP5313326B2 (en) | Image decoding apparatus, method and program, and image encoding apparatus, method and program | |
Shimano et al. | Video temporal super-resolution based on self-similarity | |
JP2024081785A (en) | Encoding and decoding method, apparatus and device | |
US8514932B2 (en) | Content adaptive and art directable scalable video coding | |
JP2013519296A (en) | Method and apparatus for reducing vector quantization error through patch shifting | |
JP2024045191A (en) | Encoding and decoding method, apparatus, and device | |
EP2953357A1 (en) | Video encoding method, decoding method and apparatus | |
JP4410172B2 (en) | Motion vector estimation method, motion vector estimation device, motion vector estimation program, and motion vector estimation program recording medium | |
JP2000354244A (en) | Image processing unit, its method and computer-readable storage medium | |
Kokaram et al. | Moving Image Frame Interpolation: Neural Networks and Classical Toolsets Compared | |
KR20100035342A (en) | Movie change system and method for efficient save of high-resolution movie |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100204 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110818 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110830 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110928 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141007 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4837615 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |