JP2016167736A - Image conversion device, image conversion method and image conversion program - Google Patents
Image conversion device, image conversion method and image conversion program Download PDFInfo
- Publication number
- JP2016167736A JP2016167736A JP2015046830A JP2015046830A JP2016167736A JP 2016167736 A JP2016167736 A JP 2016167736A JP 2015046830 A JP2015046830 A JP 2015046830A JP 2015046830 A JP2015046830 A JP 2015046830A JP 2016167736 A JP2016167736 A JP 2016167736A
- Authority
- JP
- Japan
- Prior art keywords
- image
- point spread
- spread function
- function
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 16
- 230000006870 function Effects 0.000 claims abstract description 141
- 230000003287 optical effect Effects 0.000 claims abstract description 26
- 230000010354 integration Effects 0.000 claims description 38
- 239000011159 matrix material Substances 0.000 description 24
- 238000004088 simulation Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000015556 catabolic process Effects 0.000 description 5
- 238000006731 degradation reaction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、画像変換技術に関し、特に画像の解像度を変換する技術に関する。 The present invention relates to an image conversion technique, and more particularly to a technique for converting the resolution of an image.
撮影された画像を拡大する解像度変換処理の際、バイリニア法などの既存の拡大手法では、画像を撮影した光学系や撮像センサの特性により失われた成分を復元することは難しく、結果的にぼけた拡大画像になる。劣化成分を復元する手法として、再構成型超解像処理がある。再構成型超解像処理では、観測された低解像度画像から初期の高解像度画像を推定し、推定された高解像度画像から劣化モデルに基づき観測画像である低解像度画像を推定した「シミュレーション画像」を生成する。シミュレーション画像と実際の観測された低解像度画像の誤差を最小にするように高解像度画像を更新する。収束するまでこの更新処理を繰り返すことにより、最終的な高解像度画像を求める。この再構成型超解像処理の古典的な手法として逆投影法が広く知られている。 When performing resolution conversion processing for enlarging a captured image, it is difficult to restore components lost due to the characteristics of the optical system or image sensor that captured the image using existing magnification methods such as the bilinear method, resulting in blurring. Enlarged image. As a method for restoring the degradation component, there is a reconstruction type super-resolution process. In the reconstruction-type super-resolution processing, the initial high-resolution image is estimated from the observed low-resolution image, and the low-resolution image that is the observed image is estimated based on the degradation model from the estimated high-resolution image. Is generated. The high resolution image is updated to minimize the error between the simulation image and the actual observed low resolution image. By repeating this updating process until convergence, a final high-resolution image is obtained. The back projection method is widely known as a classic method of the reconstruction type super-resolution processing.
再構成型超解像処理の場合、劣化モデルにもとづくシミュレーション画像と実際の観測された低解像度画像との誤差分を逆投影することで、画像の先鋭化によるぼけ除去が可能である。しかし、想定した劣化モデルが実際の撮像光学特性を正確に反映していない場合、充分な効果が期待できない。劣化モデルにおいて最も重要な要素は、光学系の伝達関数を表す「点広がり関数」（Point Spreading Function）である。画像における点広がり関数は、ある点光源を撮影したときに、その点がどれだけ広がるかを示すものであり、二次元の係数行列により表すことができる。 In the case of the reconstruction type super-resolution processing, blurring can be removed by sharpening the image by back-projecting the error between the simulation image based on the degradation model and the actually observed low-resolution image. However, if the assumed deterioration model does not accurately reflect actual imaging optical characteristics, a sufficient effect cannot be expected. The most important element in the degradation model is a “Point Spreading Function” that represents the transfer function of the optical system. A point spread function in an image indicates how much the point spreads when a certain point light source is photographed, and can be represented by a two-dimensional coefficient matrix.
一般に、低コストの光学系の伝達関数を表す点広がり関数は点光源の像の広がりが大きく、それを表現する係数行列の要素数も大きくなる。畳み込み積分は要素数分の積和算に相当し、点広がり関数の係数行列が大きくなれば、畳み込み積分のための乗算器の数が増加し、処理規模が大きくなるという問題が生じる。更に、再構成型超解像処理の場合、点広がり関数と同じ大きさ、若しくはそれ以上の大きさの逆投影関数との畳み込み積分も必要となるため、こちらの処理も同様に畳み込み積分のための乗算器の数を増やす必要がある。 In general, the point spread function representing the transfer function of a low-cost optical system has a large spread of the image of the point light source, and the number of elements of the coefficient matrix representing it is also large. Convolution integration corresponds to product-sum operation for the number of elements. If the coefficient matrix of the point spread function increases, the number of multipliers for convolution integration increases, resulting in a problem that the processing scale increases. Furthermore, in the case of reconstruction-type super-resolution processing, it is necessary to perform convolution integration with a backprojection function of the same size as the point spread function or larger, so this processing is also for convolution integration. It is necessary to increase the number of multipliers.
本発明はこうした状況に鑑みてなされたものであり、その目的は、畳み込み積分に必要な乗算回数を削減し、処理規模の増大を回避することのできる画像変換技術を提供することにある。 The present invention has been made in view of such circumstances, and an object of the present invention is to provide an image conversion technique capable of reducing the number of multiplications necessary for convolution and avoiding an increase in processing scale.
上記課題を解決するために、本発明のある態様の画像変換装置は、光学系により撮影された観測画像をメモリに格納する画像入力部と、前記光学系の伝達関数を示す点広がり関数との畳み込み積分を利用して前記観測画像を超解像処理し、前記観測画像よりも解像度の高い高解像度画像を生成する超解像処理部とを含む。前記超解像処理部は、前記点広がり関数と入力画像とを畳み込み積分する際、前記点広がり関数の回転対称性にもとづいて前記入力画像において回転対称の位置にある画素値の和を求める加算手段と、前記加算手段により得られた画素値の和と前記点広がり関数の回転対称の位置にある係数値とを乗算する乗算手段とを用いて、前記点広がり関数と前記入力画像の畳み込み積分を算出する。 In order to solve the above problems, an image conversion apparatus according to an aspect of the present invention includes an image input unit that stores an observation image captured by an optical system in a memory, and a point spread function that indicates a transfer function of the optical system. A super-resolution processing unit that performs super-resolution processing on the observed image using convolution integration and generates a high-resolution image having a higher resolution than the observed image. The super-resolution processing unit, when convolving and integrating the point spread function and the input image, adds to obtain a sum of pixel values at rotationally symmetric positions in the input image based on the rotational symmetry of the point spread function And a multiplication means for multiplying a sum of pixel values obtained by the adding means and a coefficient value at a rotationally symmetric position of the point spread function, and convolution integration of the point spread function and the input image Is calculated.
本発明の別の態様は、画像変換方法である。この方法は、光学系により撮影された観測画像をメモリに格納する画像入力ステップと、前記光学系の伝達関数を示す点広がり関数との畳み込み積分を利用して前記観測画像を超解像処理し、前記観測画像よりも解像度の高い高解像度画像を生成する超解像処理ステップとを含む。前記超解像処理ステップは、前記点広がり関数と入力画像とを畳み込み積分する際、前記点広がり関数の回転対称性にもとづいて前記入力画像において回転対称の位置にある画素値の和を求める加算手段と、前記加算手段により得られた画素値の和と前記点広がり関数の回転対称の位置にある係数値とを乗算する乗算手段とを用いて、前記点広がり関数と前記入力画像の畳み込み積分を算出する。 Another aspect of the present invention is an image conversion method. In this method, the observation image is super-resolved using a convolution integral between an image input step of storing an observation image taken by the optical system in a memory and a point spread function indicating a transfer function of the optical system. And a super-resolution processing step of generating a high-resolution image having a higher resolution than the observed image. The super-resolution processing step is an addition for obtaining a sum of pixel values at rotationally symmetric positions in the input image based on rotational symmetry of the point spread function when convolving and integrating the point spread function and the input image. And a multiplication means for multiplying a sum of pixel values obtained by the adding means and a coefficient value at a rotationally symmetric position of the point spread function, and convolution integration of the point spread function and the input image Is calculated.
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。 It should be noted that any combination of the above-described constituent elements and a conversion of the expression of the present invention between a method, an apparatus, a system, a recording medium, a computer program, etc. are also effective as an aspect of the present invention.
本発明によれば、畳み込み積分に必要な乗算回数を削減し、処理規模の増大を回避することができる。 According to the present invention, the number of multiplications necessary for convolution integration can be reduced, and an increase in processing scale can be avoided.
本発明の実施の形態を説明するにあたり、最初に再構成型超解像処理のアルゴリズムについて簡単に説明した上で、再構成型超解像処理の畳み込み積分の乗算回数を削減する方法を説明する。その後、当該方法を利用した実施例を説明する。 In describing the embodiment of the present invention, first, the algorithm of the reconstruction super-resolution processing will be briefly described, and then a method of reducing the number of multiplications of the convolution integral of the reconstruction super-resolution processing will be described. . Then, the Example using the said method is described.
光学系を通した撮影により得られる観測画像ｇは、式（１）のようにモデル化することができる。 An observation image g obtained by photographing through the optical system can be modeled as shown in Expression (1).
ここで、ｆは正解の高解像度画像であり、ｇからｆを復元することが超解像処理の目的となる。ｈは光学系の劣化に起因する演算子で、一般的には点広がり関数を意味する。σはセンサによる標本化を示すダウンサンプリング演算子である。ｎは加法性ノイズ項である。 Here, f is a correct high-resolution image, and the purpose of super-resolution processing is to restore f from g. h is an operator caused by deterioration of the optical system, and generally means a point spread function. σ is a downsampling operator indicating sampling by the sensor. n is an additive noise term.
この劣化モデルを用いて、式（２）に示すように、第ｎ回目の再構成反復結果の高解像度画像ｆ（ｎ）から観測画像を推定したシミュレーション画像ｇ（ｎ）を生成する。 Using this degradation model, as shown in Expression (2), a simulation image g (n) in which an observation image is estimated from the high-resolution image f (n) obtained as a result of the n-th reconstruction iteration is generated.
ここで、↓ｓは１／ｓにダウンサンプリングすることを示す演算子であり、＊は点広がり関数ｈとの畳み込み積分を示す。式（２）は高解像度画像ｆ（ｎ）に対し、ｈで光学系のぼけを加味し、センサの解像度にまでダウンサンプリングした結果であり、撮影光学系をシミュレーションした結果が得られる。従って、式（２）で用いた演算子が完全に撮影光学系を表現していた場合、ｆ（ｎ）が正解の高解像度画像ならば、式（３）が成り立つ。 Here, ↓ s is an operator indicating downsampling to 1 / s, and * indicates a convolution integral with the point spread function h. Expression (2) is a result of down-sampling the high resolution image f (n) with the blur of the optical system at h and down to the sensor resolution, and a result of simulating the imaging optical system is obtained. Therefore, when the operator used in Expression (2) completely represents the photographing optical system, Expression (3) is established if f (n) is a correct high-resolution image.
次に、第ｎ回目の反復再構成処理は、シミュレーション画像と実際の観測画像の誤差を最小にするように高解像度画像を更新することであり、式（４）の漸化式で与えられる。 Next, the n-th iterative reconstruction process is to update the high-resolution image so as to minimize the error between the simulation image and the actual observation image, and is given by the recurrence formula of Equation (4).
ここで↑ｓはｓ倍にアップサンプリングすることを示す演算子であり、ｐは逆投影関数であり、一般的には点広がり関数から計算できる。式（４）に示すように、第ｎ回反復結果である高解像度画像ｆ（ｎ）から求めたシミュレーション画像ｇ（ｎ）と観測画像ｇとの誤差（ｇ−ｇ（ｎ））をアップサンプリングして、逆投影関数ｐと畳み込み積分する処理が必要になる。 Here, ↑ s is an operator indicating upsampling by s times, p is a back projection function, and can be generally calculated from a point spread function. As shown in equation (4), the error (g−g (n)) between the simulation image g (n) and the observed image g obtained from the high-resolution image f (n) as the nth iteration result is upsampled. Thus, a process for convolution integration with the backprojection function p is required.
式（２）および式（４）を収束するまで繰り返すことにより、最終的な高解像度画像ｆが得られる。このように、再構成型超解像処理では、式（２）において点広がり関数ｈとの畳み込み積分が必要であり、式（４）において逆投影関数ｐとの畳み込み積分が必要である。 By repeating Expression (2) and Expression (4) until convergence, a final high-resolution image f is obtained. As described above, in the reconfiguration type super-resolution processing, the convolution integration with the point spread function h is necessary in the equation (2), and the convolution integration with the back projection function p is necessary in the equation (4).
ここで、点広がり関数と画像信号との畳み込み積分について説明する。説明を簡略するためここでは一次元の畳み込み積分を説明する。一次元画像ｆのｘの位置の画素値をｆ（ｘ）で表すとすると、画像ｆ（ｘ）と点広がり関数ｈ（ｎ）の畳み込み積分は式（５）で与えられる。 Here, the convolution integral of the point spread function and the image signal will be described. In order to simplify the description, a one-dimensional convolution integral will be described here. If the pixel value at the position x in the one-dimensional image f is represented by f (x), the convolution integral of the image f (x) and the point spread function h (n) is given by equation (5).
ここで要素数５の点広がり関数ｈ（ｎ）を式（６）で表す。 Here, the point spread function h (n) having 5 elements is expressed by Expression (6).
式（６）の画像ｆ（ｘ）と点広がり関数ｈの畳み込み積分（ｆ＊ｈ）は式（７）で与えられる。 The convolution integral (f * h) of the image f (x) of the equation (6) and the point spread function h is given by the equation (7).
ここで、要素数５の点広がり関数ｈが式（８）のように中心に関して対称である場合を考える。 Here, let us consider a case where the point spread function h having 5 elements is symmetric with respect to the center as shown in equation (8).
式（８）の点広がり関数ｈの場合、式（７）の畳み込み積分（ｆ＊ｈ）は式（９）のように変形することができる。 In the case of the point spread function h in Expression (8), the convolution integral (f * h) in Expression (7) can be modified as in Expression (9).
式（９）からわかるように、点広がり関数ｈを表現する係数行列が対称性をもち、同じ係数値がある場合、先に和を取ってから乗算することができることから、乗算回数を削減することができる。乗算回数を減らすと、畳み込み積分をソフトウェアで実現する場合は計算時間を短くすることができ、畳み込み積分をハードウェアで実現する場合は回路規模を小さくすることができる。 As can be seen from equation (9), when the coefficient matrix expressing the point spread function h has symmetry and the same coefficient value, multiplication can be performed after the sum is taken first, so that the number of multiplications is reduced. be able to. When the number of multiplications is reduced, the calculation time can be shortened when the convolution integration is realized by software, and the circuit scale can be reduced when the convolution integration is realized by hardware.
ここでは簡単のため、一次元の畳み込み積分を説明したが、二次元の畳み込み積分の場合も同様である。 Here, for the sake of simplicity, one-dimensional convolution integration has been described, but the same applies to two-dimensional convolution integration.
一般に光学系のぼけ特性を示す点広がり関数を表現する係数行列はガウシアン系の同心円状の係数パターンを取るため、係数行列は回転対称である。ここで「回転対称」とは、同心円上の係数値は同じ値を取ることを意味する。一般に光学系では点光源の像は光源の位置を中心として回転対称となることから、点広がり関数を表現する係数行列の係数値も回転対称となる。 In general, a coefficient matrix expressing a point spread function indicating the blur characteristic of an optical system takes a Gaussian concentric coefficient pattern, and thus the coefficient matrix is rotationally symmetric. Here, “rotational symmetry” means that the coefficient values on concentric circles have the same value. In general, in an optical system, an image of a point light source is rotationally symmetric about the position of the light source, so that the coefficient value of a coefficient matrix expressing a point spread function is also rotationally symmetric.
上記では一次元の畳み込み積分において点広がり関数の係数行列の回転対称性を利用した計算の簡略化を説明した。これを画像に合わせた二次元の畳み込み積分にも適用することで、画像に対しても畳み込み積分の乗算回数を削減した再構成型超解像処理を実現することができる。 In the above, we explained the simplification of the calculation using the rotational symmetry of the coefficient matrix of the point spread function in the one-dimensional convolution integration. By applying this to a two-dimensional convolution integral that matches the image, it is possible to realize a reconfigurable super-resolution process that reduces the number of multiplications of the convolution integral for the image.
以上は、点広がり関数ｈとの畳み込み積分を説明したが、逆投影関数ｐとの畳み込み積分の場合も同様に乗算回数を削減することができる。 The convolution integration with the point spread function h has been described above. However, the number of multiplications can be reduced in the same way in the case of the convolution integration with the backprojection function p.
逆投影関数ｐは点広がり関数ｈの逆関数として与えられる。一般に回転対称の関数の逆関数もまた回転対称であり、ノイズの影響を考慮し、定数値を加えるウイナーフィルタ型の逆関数の場合も回転対称性は保持される。 The backprojection function p is given as an inverse function of the point spread function h. In general, the inverse function of a rotationally symmetric function is also rotationally symmetric, and the rotational symmetry is maintained even in the case of a Wiener filter type inverse function to which a constant value is added in consideration of the influence of noise.
また、式（１０）に示すように、点広がり関数ｈを表現する係数行列の各係数値を二乗することで、点広がり関数ｈの逆関数である逆投影関数ｐの係数行列を近似することがよく用いられている。 Further, as shown in Expression (10), by approximating each coefficient value of the coefficient matrix expressing the point spread function h, the coefficient matrix of the backprojection function p that is an inverse function of the point spread function h is approximated. Is often used.
この場合も点広がり関数ｈが回転対称ならば、近似逆関数ｐも回転対称となる。 Also in this case, if the point spread function h is rotationally symmetric, the approximate inverse function p is also rotationally symmetric.
このように、点広がり関数ｈの逆関数である逆投影関数ｐを表現する係数行列の係数値も回転対称となることから、式（９）と同様に、逆投影関数ｐとの畳み込み積分の場合も、同じ係数値の場合は、先に和を取ってから乗算することで乗算回数を削減できる。 As described above, since the coefficient values of the coefficient matrix expressing the back projection function p that is the inverse function of the point spread function h are also rotationally symmetric, the convolution integral of the back projection function p with the back projection function p is performed as in the equation (9). Even in the case where the coefficient values are the same, the number of multiplications can be reduced by multiplying the sum after first taking the sum.
上述の畳み込み積分の乗算回数を削減する方法を利用した実施例を詳しく説明する。 An embodiment using the above-described method of reducing the number of multiplications of convolution integration will be described in detail.
図１は、本実施の形態に係る画像変換装置１００の構成図である。画像変換装置１００は、画像入力部１０と、記憶部２０と、超解像処理部３０と、表示部４０とを含む。これらの構成は、ハードウェア、ソフトウェア、またはそれらの組合せにより実現される。
FIG. 1 is a configuration diagram of an
画像入力部１０は、静止画像または動画像を取得し、記憶部２０に格納する。入力される画像は、たとえばカメラなどにより撮影された画像であり、光学系や撮像センサの特性により劣化した観測画像である。
The
超解像処理部３０は、記憶部２０に格納された観測画像に対して超解像処理を施し、観測画像よりも解像度の高い高解像度画像に変換し、記憶部２０に格納する。表示部４０は、記憶部２０に格納された高解像度画像を表示する。
The
超解像処理部３０は、入力された観測画像に対して、再構成型の超解像処理を行い、高解像画像に変換する。具体的には、ｎ回目の高解像度画像から点広がり関数を用いて「シミュレーション画像」を算出し、シミュレーション画像と観測画像の誤差を逆投影関数を用いてｎ回目の高解像度画像に逆投影することにより（ｎ＋１）回目の高解像度画像に更新する。この処理を繰り返して高解像度画像を再構成する。
The
ここで、超解像処理部３０は、点広がり関数を中心に関して回転対称の形状に限定することで、点広がり関数との畳み込み積分および逆投影関数との畳み込み積分に必要な乗算器の個数を削減する。
Here, the
ここでは、一例として、縦３画素、横３画素の点広がり関数および逆投影関数との畳み込み積分を用いた再構成型超解像処理において、本実施の形態の畳み込み積分の構成例を説明するが、一般に縦Ｎ画素、横Ｎ画素（Ｎは自然数）の場合にも同様の構成を適用することができる。 Here, as an example, a configuration example of convolution integration according to the present embodiment will be described in reconstruction super-resolution processing using convolution integration with a point spread function and back projection function of three vertical pixels and three horizontal pixels. However, in general, the same configuration can be applied to vertical N pixels and horizontal N pixels (N is a natural number).
図２は、比較のため、点広がり関数の係数行列による一般的な畳み込み積分の構成例を示す図である。 FIG. 2 is a diagram illustrating a configuration example of a general convolution integral using a coefficient matrix of a point spread function for comparison.
３×３の点広がり関数Ａの係数行列は９個の係数値Ａ０〜Ａ８で与えられる（符号２００）。３×３の入力画像Ｂは９個の画素値Ｂ０〜Ｂ８で与えられる（符号２１０）。 The coefficient matrix of the 3 × 3 point spread function A is given by nine coefficient values A0 to A8 (reference numeral 200). The 3 × 3 input image B is given by nine pixel values B0 to B8 (reference numeral 210).
ここで入力画像Ｂは、式（２）の第ｎ回目の再構成反復結果の高解像度画像である。 Here, the input image B is a high-resolution image obtained as a result of the n-th reconstruction iteration of Equation (2).
畳み込み積分の乗算を並列に行う場合、点広がり関数の係数行列の係数の個数分、すなわち９個の乗算器が必要となる（符号２２０）。各乗算器は係数値Ａｎと画素値Ｂｎの乗算を行い、乗算の結果Ｘｎ＝Ａｎ×Ｂｎ（ｎ＝０，１，２，…８）を出力する。 When performing the multiplication of the convolution integral in parallel, the number of coefficients of the coefficient matrix of the point spread function, that is, nine multipliers are required (reference numeral 220). Each multiplier performs multiplication of the coefficient value An and the pixel value Bn, and outputs a multiplication result Xn = An × Bn (n = 0, 1, 2,... 8).
加算器２３０は、９個の乗算器の出力値Ｘｎ（ｎ＝０，１，２，…８）の総和ΣＸｎを計算し、点広がり関数Ａと入力画像Ｂの畳み込み積分Ａ＊Ｂとして出力する。
The
図３は、回転対称の点広がり関数の係数行列の係数値を説明する図である。３×３の点広がり関数Ａが中心について回転対称である場合、９個の係数値Ａ０〜Ａ８（符号３０００）について、第１の同心円３０１上の４個の係数値Ａ０、Ａ２、Ａ６、Ａ８は同じ値であり、第２の同心円３０２上の４個の係数値Ａ１、Ａ３、Ａ５、Ａ７は同じ値であり、中心３０３の係数はＡ４である。よって、３×３の回転対称の点広がり関数Ａの係数行列の係数値は以下の３種類の値をもつことになる。
Ａ０＝Ａ２＝Ａ６＝Ａ８、
Ａ１＝Ａ３＝Ａ５＝Ａ７、および
Ａ４
FIG. 3 is a diagram illustrating coefficient values of a coefficient matrix of a rotationally symmetric point spread function. When the 3 × 3 point spread function A is rotationally symmetric about the center, four coefficient values A0, A2, A6, A8 on the first
A0 = A2 = A6 = A8,
A1 = A3 = A5 = A7, and A4
図４は、回転対称の点広がり関数の係数行列による畳み込み積分の構成例を示す図である。 FIG. 4 is a diagram illustrating a configuration example of convolution integration using a coefficient matrix of a rotationally symmetric point spread function.
３×３の点広がり関数Ａの係数行列は９個の係数値Ａ０〜Ａ８で与えられる（符号３００）が、第１の同心円３０１上の４個の係数値についてＡ０＝Ａ２＝Ａ６＝Ａ８が成り立ち、第２の同心円３０２上の４個の係数値についてＡ１＝Ａ３＝Ａ５＝Ａ７が成り立つ。
The coefficient matrix of the 3 × 3 point spread function A is given by nine coefficient values A0 to A8 (symbol 300). For the four coefficient values on the first
３×３の入力画像Ｂは９個の画素値Ｂ０〜Ｂ８で与えられる（符号３１０）。入力画像Ｂの第１の同心円３１１は、点広がり関数Ａの第１の同心円３０１に対応し、入力画像Ｂの第２の同心円３１２は、点広がり関数Ａの第２の同心円３０２に対応し、入力画像Ｂの中心３１３は、点広がり関数Ａの中心３０３に対応する。
The 3 × 3 input image B is given by nine pixel values B0 to B8 (reference numeral 310). The first
第１の加算器３３０は、入力画像Ｂの９個の画素値の内、第１の同心円３１１上の４個の画素値Ｂ０、Ｂ２、Ｂ６、Ｂ８の和（Ｂ０＋Ｂ２＋Ｂ６＋Ｂ８）を求めて出力する。第２の加算器３４０は、入力画像Ｂの９個の画素値の内、第２の同心円３１２上の４個の画素値Ｂ１、Ｂ３、Ｂ５、Ｂ７の和（Ｂ１＋Ｂ３＋Ｂ５＋Ｂ７）を求めて出力する。
The
点広がり関数の係数行列の回転対称性を利用する場合、畳み込み積分の乗算を並列に行うために、３個の乗算器で足りる（符号３２０）。 When the rotational symmetry of the coefficient matrix of the point spread function is used, three multipliers are sufficient in order to perform convolution integral multiplication in parallel (reference numeral 320).
第１の乗算器３２１は、中心３０３の係数値Ａ４と、中心３１３の画素値Ｂ４の乗算を行い、乗算の結果Ｘ０＝Ａ４×Ｂ４を出力する。
The
第２の乗算器３２２は、第１の同心円３０１上の４個の等しい係数値の内、一つの係数値（たとえばＡ８）と、第１の加算器３３０の出力値、すなわち第１の同心円３１１上の４個の画素値Ｂ０、Ｂ２、Ｂ６、Ｂ８の和（Ｂ０＋Ｂ２＋Ｂ６＋Ｂ８）との乗算を行い、乗算の結果Ｘ１＝Ａ８×（Ｂ０＋Ｂ２＋Ｂ６＋Ｂ８）を出力する。
The
第３の乗算器３２３は、第２の同心円３０２上の４個の等しい係数値の内、一つの係数値（たとえばＡ５）と、第２の加算器３４０の出力値、すなわち第２の同心円３１２上の４個の画素値Ｂ１、Ｂ３、Ｂ５、Ｂ７の和（Ｂ１＋Ｂ３＋Ｂ５＋Ｂ７）との乗算を行い、乗算の結果Ｘ２＝Ａ５×（Ｂ１＋Ｂ３＋Ｂ５＋Ｂ７）を出力する。
The
第３の加算器３５０は、第１の乗算器３２１の出力Ｘ０、第２の乗算器３２２の出力Ｘ１、および第３の乗算器３２３の出力Ｘ２の和Σ（Ｘ０＋Ｘ１＋Ｘ２）を計算し、点広がり関数Ａと入力画像Ｂの畳み込み積分Ａ＊Ｂとして出力する。
The
このように等しい係数値が乗算される画素値の総和を先にとることで、乗算器は係数値の種類分の個数に削減することができる。３×３の点広がり関数の場合、乗算器は９個から３個に削減することができる。 By taking the sum of the pixel values multiplied by the same coefficient value in this way, the multiplier can be reduced to the number of types of coefficient values. In the case of a 3 × 3 point spread function, the number of multipliers can be reduced from nine to three.
上記の畳み込み積分を電子回路で実現する場合は、上記の方法により乗算器の電子回路の個数を削減すれば、回路規模を小さくすることができる。上記の畳み込み積分はソフトウェアにより実現してもよい。乗算器による乗算や加算器による加算をプログラムで実行する場合は、上記の方法により乗算回数を減らすことができ、計算にかかる時間を減らすことができる。 When the above convolution integration is realized by an electronic circuit, the circuit scale can be reduced by reducing the number of electronic circuits of the multiplier by the above method. The above convolution integration may be realized by software. When multiplication by a multiplier and addition by an adder are executed by a program, the number of multiplications can be reduced by the above method, and the time required for calculation can be reduced.
上記の実施例では、３×３の点広がり関数の例で説明したが、高画質映像を前提とする場合、たとえば４×４〜１０×１０といった要素数の多い点広がり関数を用いることになるため、乗算器の削減効果は非常に大きなものとなる。 In the above embodiment, an example of a 3 × 3 point spread function has been described. However, when a high-quality image is assumed, a point spread function having a large number of elements such as 4 × 4 to 10 × 10 is used. Therefore, the reduction effect of the multiplier is very large.
点広がり関数の逆関数である逆投影関数も回転対称であることから、本構成を逆投影関数の畳み込み積分処理にも使うことができる。その場合、逆投影画像と畳み込み積分される入力画像Ｂは、式（４）の第ｎ回再構成反復結果の高解像度画像から求めたシミュレーション画像と観測画像との誤差である。 Since the inverse projection function, which is the inverse function of the point spread function, is also rotationally symmetric, this configuration can also be used for convolution integration processing of the inverse projection function. In this case, the input image B that is convolutionally integrated with the backprojection image is an error between the simulation image and the observation image obtained from the high-resolution image that is the result of the n-th reconstruction iteration of Equation (4).
点広がり関数との畳み込み積分と、逆投影画像との畳み込み積分の両方において、上記の方法で乗算器の個数を削減すれば、超解像処理全体として処理コストを削減できる。この場合、点広がり関数との畳み込み積分と、逆投影関数との畳み込み積分とを並列に実行するために、それぞれの畳み込み積分用に３個の乗算器を用意してもよい。あるいは、点広がり関数との畳み込み積分と、逆投影関数との畳み込み積分とで同じ３個の乗算器を共有することで、再構成型の超解像処理全体の乗算器の個数を減らしてもよい。 In both the convolution integration with the point spread function and the convolution integration with the back projection image, if the number of multipliers is reduced by the above method, the processing cost can be reduced as a whole super-resolution processing. In this case, in order to execute the convolution integration with the point spread function and the convolution integration with the back projection function in parallel, three multipliers may be prepared for each convolution integration. Alternatively, the same three multipliers are shared by the convolution integral with the point spread function and the convolution integral with the backprojection function, so that the number of multipliers in the entire reconstruction type super-resolution processing can be reduced. Good.
以上述べたように、本発明の実施の形態によれば、光学系の点広がり関数を中心に関して回転対称形状に限定することにより、点広がり関数との畳み込み積分に必要な乗算器の個数を削減することができる。さらに、点広がり関数の逆関数である逆投影関数も点広がり関数と同様に回転対称となることから、同様に逆投影関数との畳み込み積分に必要な乗算器の個数を削減することができる。これにより、要素数の大きい点広がり関数を持つ低コストの光学系をモデル化する場合であっても、処理規模の増大を回避しながら、充分なぼけ回復効果のある良好な解像度変換画像を得ることができる。 As described above, according to the embodiment of the present invention, the number of multipliers required for convolution integration with the point spread function is reduced by limiting the point spread function of the optical system to a rotationally symmetric shape with respect to the center. can do. Furthermore, since the inverse projection function, which is an inverse function of the point spread function, is also rotationally symmetric like the point spread function, the number of multipliers necessary for convolution integration with the inverse projection function can be reduced in the same manner. As a result, even when modeling a low-cost optical system having a point spread function with a large number of elements, a good resolution-converted image having a sufficient blur recovery effect can be obtained while avoiding an increase in processing scale. be able to.
また、点広がり関数の逆関数である逆投影関数を近似的に求める方法として、点広がり関数を表す係数行列の対応する各要素を２乗して逆投影関数を表す係数行列の対応する要素を求める方法がある。この近似方法による場合でも、逆投影関数は点広がり関数と同様に回転対称となることから、逆投影関数との畳み込み積分に必要な乗算器の個数を削減することができる。 In addition, as a method of approximately obtaining a back projection function that is an inverse function of the point spread function, each corresponding element of the coefficient matrix representing the point spread function is squared to obtain a corresponding element of the coefficient matrix representing the back projection function. There is a way to ask. Even in this approximation method, the backprojection function is rotationally symmetric like the point spread function, so that the number of multipliers necessary for convolution integration with the backprojection function can be reduced.
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 The present invention has been described based on the embodiments. The embodiments are exemplifications, and it will be understood by those skilled in the art that various modifications can be made to combinations of the respective constituent elements and processing processes, and such modifications are within the scope of the present invention. .
１０ 画像入力部、 ２０ 記憶部、 ３０ 超解像処理部、 ４０ 表示部、 ３２１ 第１の乗算器、 ３２２ 第２の乗算器、 ３２３ 第３の乗算器、 ３３０ 第１の加算器、 ３４０ 第２の加算器、 ３５０ 第３の加算器。 10 image input unit, 20 storage unit, 30 super-resolution processing unit, 40 display unit, 321 first multiplier, 322 second multiplier, 323 third multiplier, 330 first adder, 340 first 2 adders, 350 third adder.
Claims (4)
前記光学系の伝達関数を示す点広がり関数との畳み込み積分を利用して前記観測画像を超解像処理し、前記観測画像よりも解像度の高い高解像度画像を生成する超解像処理部とを含み、
前記超解像処理部は、前記点広がり関数と入力画像とを畳み込み積分する際、前記点広がり関数の回転対称性にもとづいて前記入力画像において回転対称の位置にある画素値の和を求める加算手段と、前記加算手段により得られた画素値の和と前記点広がり関数の回転対称の位置にある係数値とを乗算する乗算手段とを用いて、前記点広がり関数と前記入力画像の畳み込み積分を算出することを特徴とする画像変換装置。 An image input unit that stores observation images captured by the optical system in a memory;
A super-resolution processing unit that performs super-resolution processing on the observed image using a convolution integral with a point spread function indicating a transfer function of the optical system, and generates a high-resolution image having a higher resolution than the observed image; Including
The super-resolution processing unit, when convolving and integrating the point spread function and the input image, adds to obtain a sum of pixel values at rotationally symmetric positions in the input image based on the rotational symmetry of the point spread function And a multiplication means for multiplying a sum of pixel values obtained by the adding means and a coefficient value at a rotationally symmetric position of the point spread function, and convolution integration of the point spread function and the input image An image conversion device characterized by calculating
前記光学系の伝達関数を示す点広がり関数との畳み込み積分を利用して前記観測画像を超解像処理し、前記観測画像よりも解像度の高い高解像度画像を生成する超解像処理ステップとを含み、
前記超解像処理ステップは、前記点広がり関数と入力画像とを畳み込み積分する際、前記点広がり関数の回転対称性にもとづいて前記入力画像において回転対称の位置にある画素値の和を求める加算手段と、前記加算手段により得られた画素値の和と前記点広がり関数の回転対称の位置にある係数値とを乗算する乗算手段とを用いて、前記点広がり関数と前記入力画像の畳み込み積分を算出することを特徴とする画像変換方法。 An image input step of storing an observation image captured by the optical system in a memory;
A super-resolution processing step of super-resolution processing the observed image using a convolution integral with a point spread function indicating a transfer function of the optical system, and generating a high-resolution image having a higher resolution than the observed image; Including
The super-resolution processing step is an addition for obtaining a sum of pixel values at rotationally symmetric positions in the input image based on rotational symmetry of the point spread function when convolving and integrating the point spread function and the input image. And a multiplication means for multiplying a sum of pixel values obtained by the adding means and a coefficient value at a rotationally symmetric position of the point spread function, and convolution integration of the point spread function and the input image An image conversion method characterized by calculating.
前記光学系の伝達関数を示す点広がり関数との畳み込み積分を利用して前記観測画像を超解像処理し、前記観測画像よりも解像度の高い高解像度画像を生成する超解像処理ステップとをコンピュータに実行させ、
前記超解像処理ステップは、前記点広がり関数と入力画像とを畳み込み積分する際、前記点広がり関数の回転対称性にもとづいて前記入力画像において回転対称の位置にある画素値の和を求める加算手段と、前記加算手段により得られた画素値の和と前記点広がり関数の回転対称の位置にある係数値とを乗算する乗算手段とを用いて、前記点広がり関数と前記入力画像の畳み込み積分を算出することを特徴とする画像変換プログラム。 An image input step of storing an observation image captured by the optical system in a memory;
A super-resolution processing step of super-resolution processing the observed image using a convolution integral with a point spread function indicating a transfer function of the optical system, and generating a high-resolution image having a higher resolution than the observed image; Let the computer run,
The super-resolution processing step is an addition for obtaining a sum of pixel values at rotationally symmetric positions in the input image based on rotational symmetry of the point spread function when convolving and integrating the point spread function and the input image. And a multiplication means for multiplying a sum of pixel values obtained by the adding means and a coefficient value at a rotationally symmetric position of the point spread function, and convolution integration of the point spread function and the input image An image conversion program characterized by calculating.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015046830A JP2016167736A (en) | 2015-03-10 | 2015-03-10 | Image conversion device, image conversion method and image conversion program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015046830A JP2016167736A (en) | 2015-03-10 | 2015-03-10 | Image conversion device, image conversion method and image conversion program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016167736A true JP2016167736A (en) | 2016-09-15 |
Family
ID=56898770
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015046830A Pending JP2016167736A (en) | 2015-03-10 | 2015-03-10 | Image conversion device, image conversion method and image conversion program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016167736A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109945955A (en) * | 2019-04-10 | 2019-06-28 | 郑州楷源仪表有限公司 | A kind of water meter vision online test method and its system |
| CN111402142A (en) * | 2020-03-25 | 2020-07-10 | 中国计量大学 | Single image super-resolution reconstruction method based on depth recursive convolutional network |
-
2015
- 2015-03-10 JP JP2015046830A patent/JP2016167736A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109945955A (en) * | 2019-04-10 | 2019-06-28 | 郑州楷源仪表有限公司 | A kind of water meter vision online test method and its system |
| CN111402142A (en) * | 2020-03-25 | 2020-07-10 | 中国计量大学 | Single image super-resolution reconstruction method based on depth recursive convolutional network |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kundur et al. | Blind image deconvolution | |
| Gao et al. | Zernike-moment-based image super resolution | |
| CN105469363B (en) | Method and apparatus based on blurred picture generation clear image | |
| US8620109B2 (en) | Image processing apparatus, image processing method and image processing program | |
| Bannore et al. | Iterative-interpolation super-resolution (iisr) | |
| WO2018216207A1 (en) | Image processing device, image processing method, and image processing program | |
| Farsiu et al. | Fast and robust super-resolution | |
| JP2013518336A (en) | Method and system for generating an output image with increased pixel resolution from an input image | |
| KR101839617B1 (en) | Method and apparatus for removing non-uniform motion blur using multiframe | |
| JP2011237998A (en) | Image processing device, and image processing method and program | |
| JP2020053062A (en) | Modification of homography | |
| Xu et al. | Exploiting raw images for real-scene super-resolution | |
| CN108257108A (en) | A kind of super-resolution image reconstruction method and system | |
| Bowen et al. | Real-time image super resolution using an FPGA | |
| US20210334939A1 (en) | Method and architecture for blind image deconvolution | |
| JP2013542495A (en) | System and method for obtaining a focused image from a plurality of images acquired using a handheld camera | |
| JP2016167736A (en) | Image conversion device, image conversion method and image conversion program | |
| Zomet et al. | Super-resolution from multiple images having arbitrary mutual motion | |
| Lavatelli et al. | A motion blur compensation algorithm for 2D DIC measurements of deformable bodies | |
| JP2017072954A (en) | Image conversion device and image conversion method | |
| JP5846048B2 (en) | Image processing apparatus and imaging apparatus | |
| Yap et al. | A Nonlinear $ L _ {1} $-Norm Approach for Joint Image Registration and Super-Resolution | |
| CN116071279A (en) | Image processing method, device, computer equipment and storage medium | |
| Hansen et al. | Rotational image deblurring with sparse matrices | |
| JP7497145B2 (en) | Machine learning device, machine learning method and program, information processing device, and radiation imaging system |