JP5717548B2 - Super-resolution auxiliary information generation device, encoding device, decoding device, and programs thereof - Google Patents
Super-resolution auxiliary information generation device, encoding device, decoding device, and programs thereof Download PDFInfo
- Publication number
- JP5717548B2 JP5717548B2 JP2011129499A JP2011129499A JP5717548B2 JP 5717548 B2 JP5717548 B2 JP 5717548B2 JP 2011129499 A JP2011129499 A JP 2011129499A JP 2011129499 A JP2011129499 A JP 2011129499A JP 5717548 B2 JP5717548 B2 JP 5717548B2
- Authority
- JP
- Japan
- Prior art keywords
- reference frame
- image
- resolution
- super
- auxiliary information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000354 decomposition reaction Methods 0.000 claims description 96
- 239000013598 vector Substances 0.000 claims description 90
- 238000001514 detection method Methods 0.000 claims description 87
- 238000000034 method Methods 0.000 claims description 39
- 230000000295 complement effect Effects 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 24
- 230000009467 reduction Effects 0.000 claims description 24
- 238000001914 filtration Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000015556 catabolic process Effects 0.000 claims description 4
- 238000006731 degradation reaction Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 33
- 238000010586 diagram Methods 0.000 description 25
- 238000004364 calculation method Methods 0.000 description 19
- 238000013139 quantization Methods 0.000 description 18
- 238000003860 storage Methods 0.000 description 16
- 239000006185 dispersion Substances 0.000 description 14
- 238000005070 sampling Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、原画像列を縮小した縮小画像列から超解像画像を生成する際に用いる超解像補助情報を生成する超解像補助情報生成装置、超解像補助情報生成装置を用いた符号化装置、符号化装置から送信される符号化データを復号する復号装置、及びこれらのプログラムに関するものである。 The present invention uses a super-resolution auxiliary information generation device and a super-resolution auxiliary information generation device that generate super-resolution auxiliary information used when generating a super-resolution image from a reduced image sequence obtained by reducing an original image sequence. The present invention relates to an encoding device, a decoding device that decodes encoded data transmitted from the encoding device, and these programs.
近年、撮像装置及び表示装置の高精細化が進んでおり、超解像(Super-Resolution)と称される動画像の高解像化技術が研究されている(例えば、特許文献1参照)。いわゆる8Kシステムと呼ばれるスーパーハイビジョン(SHV)のような超高精細映像、又は4Kシステムと呼ばれるデジタルシネマのような高精細映像は、従来のハイビジョン(HDTV)映像の4倍ないし16倍の高解像度を有するに至っている。 2. Description of the Related Art In recent years, high definition of imaging devices and display devices has progressed, and a high resolution technology for moving images called super-resolution has been studied (see, for example, Patent Document 1). Ultra-high definition video such as Super Hi-Vision (SHV) called 8K system, or high-definition video like Digital Cinema called 4K system has 4 to 16 times higher resolution than conventional high-definition (HDTV) video. It has come to have.
そこで、2枚の画像を利用して超解像を行う際、シーンチェンジ検出や画素の位置合わせに適さない画素領域のマスク処理などの前処理を行った後、画素再構成処理により超解像画像を作成する技法が知られている(例えば、特許文献2参照)。 Therefore, when super-resolution is performed using two images, after pre-processing such as scene change detection and pixel area mask processing that is not suitable for pixel alignment, super-resolution is performed by pixel reconstruction processing. A technique for creating an image is known (see, for example, Patent Document 2).
一方、ある動画像の1つの画面に対して異なる解像度の画像データを階層的に複数設定して、ある解像度の画像データについて動き量のための評価値を求めるとともに、この解像度とは異なる画像データについて動き量のための評価値を求め、各評価値を加算して得られる値から最終的な動き量を決定する技法が知られている(例えば、特許文献3参照)。 On the other hand, a plurality of image data with different resolutions are hierarchically set for one screen of a certain moving image, and an evaluation value for the motion amount is obtained for the image data with a certain resolution, and image data different from this resolution is obtained. A technique is known in which an evaluation value for the amount of motion is obtained and a final amount of motion is determined from values obtained by adding the evaluation values (see, for example, Patent Document 3).
また、ある動画像の1つの画面に対して空間方向に複数階のウェーブレット変換を施して、高周波成分の領域を多く含む階数の優先度を低くする輪郭情報を抽出するとともに、動画像の1つの画面をブロック分割し、輪郭情報で示されるブロックにおけるアクティビティ(画像の局所的性質)が小さいほど優先度を高くなるように、輪郭情報で示されるブロックに同一の優先度を設定して、優先度が低いブロックから順に切り捨て処理を行って符号化データ量を制御する技法が知られている(例えば、特許文献4参照)。 In addition, wavelet transformation of a plurality of floors is performed in a spatial direction on one screen of a certain moving image to extract contour information that lowers the priority of the rank including a lot of high-frequency component regions. Divide the screen into blocks, and set the same priority to the block indicated by the contour information so that the priority is higher as the activity (local nature of the image) in the block indicated by the contour information is smaller. A technique is known in which the amount of encoded data is controlled by performing a truncation process in order from the lowest block (see, for example, Patent Document 4).
SHV画面の映像フォーマットは、水平7680画素、垂直4320ライン、時間60フレーム/秒であり、HDTV画面の映像フォーマットと比較して、水平及び垂直標本化周波数が、時間標本化周波数に対して相対的に増大している。したがって、SHV画面の動領域は、同じ画角で撮像された動画像で比較した場合、HDTV画面と比較して大きな動き量(フレーム単位の動きを示す画素数:画素/フレーム)を示し、動領域ではフレーム間の相関が低くなり時間方向の高周波領域のパワーが高くなることが想定されるとともに、動領域のボケ量が大きくなり、空間方向の高周波領域のパワーが低くなることが想定される。符号化処理や超解像処理における複数フレーム間での動き量を推定するには、これらの想定に基づく処理が有効となる。尚、HDTV標準の動画像の動き量は、一般的に数画素/フレーム〜数十画素/フレーム程度であることが知られている。
The video format of the SHV screen is horizontal 7680 pixels, vertical 4320 lines,
一般に、空間高周波成分の多い絵柄は、小さいブロックサイズ(例えば、8×8画素)を用いた動きベクトル検出が適している。一方、空間高周波成分が少ない絵柄は、小さいブロックサイズでは誤った動きベクトル検出となる可能性が高くなるため、大きなブロックサイズ(例えば、32×32画素)を用いた動きベクトル検出が有効である。更に、大きなブロックサイズを用いた動きベクトル検出では、大きな動きによるボケの影響も考えられるため、大きな動き探索範囲が要求される。 In general, a motion vector detection using a small block size (for example, 8 × 8 pixels) is suitable for a pattern with many spatial high-frequency components. On the other hand, since a pattern with few spatial high-frequency components has a high possibility of erroneous motion vector detection at a small block size, motion vector detection using a large block size (for example, 32 × 32 pixels) is effective. Furthermore, in motion vector detection using a large block size, a large motion search range is required because the influence of blur due to large motion can be considered.
一方、このような符号化処理や超解像処理における複数フレーム間での動き量の推定において、特許文献3の技法を適用しても、時空間周波領域のパワーに基づいて階層化するものではなく予め規定した階層数で処理を行うために、処理負担が大きくなり、且つ時間方向のボケの影響が反映された動き量を検出することができない。
On the other hand, even if the technique of
また、このような符号化処理や超解像処理における複数フレーム間での動き量の推定において、特許文献4の技法を適用しても、高周波成分の領域を多く含む階数に依存して符号化データ量を取捨選択するためのブロックの優先度を決定することができるが、時空間周波領域のパワーに基づいて階層化するものではないので、動きベクトルを高精度化させることができない。
In addition, even if the technique of
そこで、時間方向の高周波領域のパワーの割合及び/又は空間方向の低周波領域のパワーの割合を検出して分解能の値を決定し、決定した分解能の値に対応するブロックサイズ及び動き探索範囲の大きさの階層から動きベクトル検出を開始して、次第に該ブロックサイズよりも小さいブロックサイズ及び該動き探索範囲の大きさよりも小さい動き探索範囲の大きさの階層での動きベクトル検出へと移行する階層型の動きベクトル検出を行う技法が知られている(例えば、特許文献5参照)。 Therefore, the resolution value is determined by detecting the power ratio in the high frequency region in the time direction and / or the power ratio in the low frequency region in the spatial direction, and the block size and motion search range corresponding to the determined resolution value are determined. Hierarchy in which motion vector detection is started from a size hierarchy, and gradually moves to motion vector detection in a hierarchy having a block size smaller than the block size and a size of the motion search range smaller than the size of the motion search range. A technique for performing type motion vector detection is known (see, for example, Patent Document 5).
符号化処理や超解像処理における複数フレーム間での動き量の推定において、特許文献5の技法を適用することで、動きベクトルの検出精度が高い場合には真に近い空間周波数成分を再現することができる。しかしながら、動きベクトルの検出精度が低い場合には、アーティファクトが発生し、画質が低下してしまうという課題があった。 In estimating the amount of motion between a plurality of frames in encoding processing and super-resolution processing, the technique of Patent Document 5 is applied to reproduce a spatial frequency component close to true when the motion vector detection accuracy is high. be able to. However, when the motion vector detection accuracy is low, there is a problem in that artifacts occur and the image quality deteriorates.
本発明は、上述の課題を鑑みてなされたものであり、動きベクトル情報とは別に、高画質の超解像画像を生成する際に必要となる補助情報を生成することが可能な超解像補助情報生成装置、符号化装置、復号装置、及びこれらのプログラムを提供することを目的とする。 The present invention has been made in view of the above-described problems, and in addition to motion vector information, super-resolution capable of generating auxiliary information necessary for generating a high-quality super-resolution image. An object is to provide an auxiliary information generation device, an encoding device, a decoding device, and a program thereof.
上記課題を解決するために、本発明に係る超解像補助情報生成装置は、原画像列を縮小した縮小画像列から超解像画像を生成する際に用いる超解像補助情報を生成する超解像補助情報生成装置であって、原画像列の基準フレームについて、所定サイズのブロックごとに、前記原画像列の複数の参照フレームとの間の動きベクトルを検出する動きベクトル検出部と、前記原画像列を所定の縮小率で縮小した縮小画像列を生成する画像縮小部と、前記画像縮小部により生成された、前記基準フレームの縮小画像に対し、複数の第1補助情報を用いて、第1補助情報ごとに超解像画像を生成し、前記基準フレームを該超解像画像と同一サイズに縮小した画像との差分値が最小となる超解像画像を基準フレーム超解像画像として選択し、該基準フレーム超解像画像の生成に用いた第1補助情報を基準フレーム超解像補助情報として出力する基準フレーム超解像部と、前記画像縮小部により生成された、前記複数の参照フレームの縮小画像列に対し、複数の第2補助情報を用いて、第2補助情報ごとに超解像画像列を生成し、該第2補助情報ごとの参照フレーム超解像画像列として出力する参照フレーム超解像部と、前記基準フレーム超解像画像に対して、前記動きベクトル及び前記第2補助情報ごとの参照フレーム超解像画像列を用いて画素補完を行って前記第2補助情報ごとの補完画像を生成し、前記基準フレームとの差分値が最小となる補完画像の生成に用いた第2補助情報を参照フレーム超解像補助情報として出力する複数フレーム再構成判定部と、を備え、前記基準フレーム超解像補助情報と、前記参照フレーム超解像補助情報とを、前記超解像補助情報として出力することを特徴とする。 In order to solve the above problems, a super-resolution auxiliary information generating apparatus according to the present invention generates super-resolution auxiliary information used when generating a super-resolution image from a reduced image sequence obtained by reducing an original image sequence. a resolution supplementary information generating apparatus, the reference frame of the original image sequence, for each block of a predetermined size, a motion vector detecting section for detecting a motion vector between the plurality of reference frames of the original image sequence, the an image reducing unit that generates the reduced image sequence obtained by reducing the original image sequence with a predetermined reduction ratio, generated by the image reducing unit, with respect to the reduced image of the reference frame, using a plurality of first auxiliary information, A super-resolution image is generated for each first auxiliary information, and a super-resolution image having a minimum difference value from an image obtained by reducing the reference frame to the same size as the super-resolution image is defined as a reference frame super-resolution image. Select the reference frame A reference frame super resolution unit for outputting a first auxiliary information used for generating the super-resolution image as a reference frame super-resolution assist information generated by the image reduction unit, a reduced image column of the plurality of reference frames On the other hand, using a plurality of second auxiliary information, a super-resolution image sequence is generated for each second auxiliary information and is output as a reference frame super-resolution image sequence for each second auxiliary information. A complementary image for each of the second auxiliary information by performing pixel interpolation on the reference frame super-resolution image using the reference frame super-resolution image sequence for each of the motion vector and the second auxiliary information. produced, and a plurality of frames reconstructed determination unit difference value is output as the reference frame super-resolution assist information a second auxiliary information used to generate the smallest complementary image of the reference frame, the reference frame Super resolution And a co information and the reference frame super resolution supplementary information, and outputs to said Rukoto as the super-resolution auxiliary information.
さらに、本発明の超解像補助情報生成装置において、前記複数フレーム再構成判定部は、前記基準フレーム超解像画像に対して、前記参照フレーム超解像画像列を前記動きベクトル用いて位置合わせすることで画素補完を行って前記第2補助情報ごとの位置合わせ画像を生成する位置合わせ処理部と、前記第2補助情報ごとの位置合わせ画像を、点広がり関数を用いて前記原画像列の各フレームと同一サイズとなるように画素補完し、前記第2補助情報ごとの補完画像を生成する画像補完処理部と、前記第2補助情報ごとの補完画像と前記基準フレームとの差分値を算出し、該差分値が最小となる補完画像の生成に用いた第2補助情報を参照フレーム超解像補助情報として出力する参照フレーム超解像補助情報決定部と、を備えることを特徴とする。 Further, in the super-resolution auxiliary information generation device of the present invention, the multiple-frame reconstruction determination unit aligns the reference frame super-resolution image sequence with the motion vector with respect to the reference frame super-resolution image. an alignment processing unit that performs pixel interpolation for generating a positioned image of each of the second auxiliary information by, the positioned image of each of the second auxiliary information, of the original image sequence with the point spread function Pixel complementation is performed so that each frame has the same size, and an image complement processing unit that generates a supplementary image for each second auxiliary information, and a difference value between the complementary image for each second auxiliary information and the reference frame is calculated. And a reference frame super-resolution auxiliary information determining unit that outputs the second auxiliary information used for generating the complementary image that minimizes the difference value as reference frame super-resolution auxiliary information. To.
さらに、本発明の超解像補助情報生成装置において、前記基準フレーム超解像部は、前記画像縮小部にて前記原画像列のオクターブ分解により生成された分解階数nの前記基準フレームの縮小画像をオクターブ分解して、分解階数n+1における水平、垂直、斜め方向の高周波領域成分の基準フレーム分解画像を生成する基準フレームオクターブ分解部と、前記基準フレームオクターブ分解部により生成された水平、垂直、斜め方向の高周波領域成分の基準フレーム分解画像の各々を空間低周波領域成分とし、同じサイズのゼロ行列を空間高周波領域成分に設定した画像に対してオクターブ再構成処理を施して、分解階数nにおける水平、垂直、斜め方向の各高周波領域成分の基準フレーム再構成画像を生成する基準フレームオクターブ再構成部と、前記基準フレーム再構成画像に対して、前記第1補助情報を用いたフィルタリング処理を行ってフィルタリング画像を生成し、該フィルタリング画像を高周波成分に設定し前記基準フレームの縮小画像を低周波成分に設定した画像に対してオクターブ再構成処理を施して分解階数n−1における基準フレームフィルタ適用再構成画像を前記第1補助情報ごとに生成する基準フレームフィルタ適用オクターブ再構成部と、前記基準フレームフィルタ適用再構成画像の低周波成分と、前記画像縮小部にて前記原画像列のオクターブ分解により生成された分解階数n−1の基準フレームの縮小画像の低周波成分との差分値を算出し、該差分値が最小となる分解階数n−1における再構成画像の低周波成分を前記基準フレーム超解像画像とする基準フレーム超解像画像・超解像補助情報決定部と、を備えることを特徴とする。 Further, the super-resolution assist information generating apparatus of the present invention, the reference frame super resolution unit, the reduced image of the reference frame of the decomposition rank n generated by the octave decomposition of the original image sequence by the image reduction unit The reference frame octave decomposition unit that generates the reference frame decomposition image of the high-frequency region components in the horizontal, vertical, and diagonal directions in the decomposition rank n + 1, and the horizontal, vertical, and diagonal generated by the reference frame octave decomposition unit Each of the reference frame decomposition images of the high frequency region component in the direction is set as the spatial low frequency region component, and the image having the zero matrix of the same size set as the spatial high frequency region component is subjected to octave reconstruction processing to obtain horizontal in the decomposition rank n Reference frame octave reconstruction for generating reference frame reconstructed images of high frequency components in vertical, diagonal directions And a filtering process using the first auxiliary information to generate a filtered image on the reference frame reconstructed image, set the filtered image as a high frequency component, and convert the reduced image of the reference frame to a low frequency A reference frame filter applied octave reconstruction unit that performs octave reconstruction processing on an image set as a component to generate a reference frame filter applied reconstructed image for each decomposition order n-1 for each of the first auxiliary information; calculating a low-frequency component of the frame filter application reconstructed image, a difference value between the low-frequency component of the reduced image degradation rank n-1 reference frame generated by the octave decomposition of the original image sequence by the image reduction unit Then, the low-frequency component of the reconstructed image at the resolution rank n−1 that minimizes the difference value is defined as the reference frame super-resolution image. Characterized in that it comprises a reference frame super-resolution image, the super-resolution auxiliary information determining unit.
さらに、本発明の超解像補助情報生成装置において、前記参照フレーム超解像部は、前記画像縮小部にて前記原画像列のオクターブ分解により生成された分解階数nの前記複数の参照フレームの縮小画像列をオクターブ分解して、分解階数n+1における水平、垂直、斜め方向の高周波領域成分の分解画像を生成する参照フレームオクターブ分解部と、前記参照フレームオクターブ分解部により生成された水平、垂直、斜め方向の高周波領域成分の参照フレーム分解画像の各々を空間低周波領域成分とし、同じサイズのゼロ行列を空間高周波領域成分に設定した画像に対してオクターブ再構成処理を施して、分解階数nにおける水平、垂直、斜め方向の各高周波領域成分の参照フレーム再構成画像を生成する参照フレームオクターブ再構成部と、前記参照フレーム再構成画像に対して、前記第2補助情報を用いたフィルタリング処理を行ってフィルタリング画像を生成し、該フィルタリング画像を高周波成分に設定し前記複数の参照フレームの縮小画像列を低周波成分に設定した画像に対してオクターブ再構成処理を施して分解階数n−1における参照フレームフィルタ適用再構成画像を前記第2補助情報ごとに生成し、該生成した第2補助情報ごとの参照フレームフィルタ適用再構成画像を前記参照フレーム超解像画像列とする参照フレームフィルタ適用オクターブ再構成部と、を備えることを特徴とする。 Further, the super-resolution assist information generating apparatus of the present invention, the reference frame super resolution unit at the image reduction unit of the plurality of reference frames of the decomposition rank n generated by the octave decomposition of the original image sequence A reference frame octave decomposition unit that generates a decomposed image of high-frequency region components in the horizontal, vertical, and oblique directions in the decomposition rank n + 1 by octave decomposition of the reduced image sequence, and horizontal, vertical, and vertical generated by the reference frame octave decomposition unit, Each of the reference frame decomposition images of the high-frequency region component in the diagonal direction is set as a spatial low-frequency region component, and an octave reconstruction process is performed on an image in which a zero matrix of the same size is set as the spatial high-frequency region component. Reference frame octave reconstruction unit that generates a reference frame reconstruction image of each high-frequency region component in the horizontal, vertical, and diagonal directions , Relative to the reference frame reconstructed image, the second to generate a filtered image by performing the filtering process using the auxiliary information, the filtered image set to a high-frequency component of the reduced image column of the plurality of reference frames Low An octave reconstruction process is performed on the image set as the frequency component to generate a reference frame filter applied reconstructed image in the decomposition rank n−1 for each of the second auxiliary information, and a reference for each of the generated second auxiliary information A reference frame filter applied octave reconstruction unit that uses a frame filter applied reconstructed image as the reference frame super-resolution image sequence.
さらに、本発明の超解像補助情報生成装置において、前記第1補助情報及び前記第2補助情報は、ガウシアンフィルタの分散値であることを特徴とする。 Furthermore, in the super-resolution auxiliary information generating apparatus according to the present invention, the first auxiliary information and the second auxiliary information are variance values of a Gaussian filter.
さらに、本発明の超解像補助情報生成装置において、前記動きベクトル検出部は、前記原画像列における複数フレームにわたる時間方向の高周波領域のパワーの割合が大きいほど大きなブロックサイズ及び大きな動き探索範囲の大きさとなるように階層的に規定した分解能、又は動画像における1フレームの空間方向の低周波領域のパワーの割合が大きいほど大きなブロックサイズ及び大きな動き探索範囲の大きさとなるように階層的に規定した分解能のテーブルを保持しており、当該時間方向の高周波領域のパワーの割合又は空間方向の低周波領域のパワーの割合を検出して分解能の値を決定する分解能決定部と、前記テーブルを参照して、前記分解能の値に対応するブロックサイズ及び動き探索範囲の大きさの階層から動きベクトル検出を開始して、次第に該ブロックサイズよりも小さいブロックサイズ及び該動き探索範囲の大きさよりも小さい動き探索範囲の大きさの階層での動きベクトル検出へと移行する階層型動きベクトル検出部と、を備えることを特徴とする。 Further, the super-resolution assist information generating apparatus of the present invention, the motion vector detecting section, the original time direction over a plurality of frames in the image sequence of the power of the high frequency region percentage is too large for a large block size and a large motion estimation range Hierarchically defined to have a larger block size and larger motion search range as the resolution defined hierarchically to be large or the ratio of power in the low-frequency region in the spatial direction of one frame in a moving image increases. A resolution determination unit that determines a resolution value by detecting a power ratio of the high frequency region in the time direction or a power ratio of the low frequency region in the spatial direction, and the above table. Then, motion vector detection is performed from a hierarchy of block size and motion search range corresponding to the resolution value. A hierarchical motion vector detection unit that starts and gradually shifts to motion vector detection in a layer having a block size smaller than the block size and a size of the motion search range smaller than the size of the motion search range. It is characterized by that.
また、上記課題を解決するため、本発明に係る符号化装置は、上述した超解像補助情報生成装置を備え、前記動きベクトル検出部により検出された動きベクトルの情報、前記画像縮小部により生成された縮小画像列、前記基準フレーム超解像部により生成された基準フレーム超解像補助情報、及び前記複数フレーム再構成判定部により生成された参照フレーム超解像補助情報を符号化した符号化データを生成することを特徴とする。 In order to solve the above-described problem, an encoding apparatus according to the present invention includes the above-described super-resolution auxiliary information generation apparatus, and information on motion vectors detected by the motion vector detection unit, generated by the image reduction unit. reduced image sequence, the reference frame reference frame super resolution supplementary information generated by the super-resolution unit, and coding obtained by encoding the reference frame super-resolution assist information generated by the plurality of frames reconstructed determination unit It is characterized by generating data.
また、上記課題を解決するため、本発明に係る復号装置は、上記符号化装置から前記動きベクトルの情報、前記縮小画像列、前記基準フレーム超解像補助情報、及び前記参照フレーム超解像補助情報の符号化データを取得し、前記縮小画像列の超解像画像を生成することを特徴とする。
In order to solve the above-described problem, the decoding apparatus according to the present invention provides the motion vector information, the reduced image sequence , the reference frame super-resolution auxiliary information, and the reference frame super-resolution auxiliary from the encoding apparatus. The encoded data of information is acquired, and a super-resolution image of the reduced image sequence is generated.
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上述した超解像補助情報生成装置、符号化装置、又は復号装置として機能させることを特徴とする。 In order to solve the above problems, a program according to the present invention causes a computer to function as the above-described super-resolution auxiliary information generation device, encoding device, or decoding device.
本発明によれば、動きベクトル情報とは別に、高画質の超解像画像を生成する際に必要となる補助情報を生成することができる。本発明では、基準フレームを超解像処理した基準フレーム超解像画像を生成し、基準フレーム超解像画像に基づいて参照フレーム超解像補助情報を生成しているため、単一フレームのみ、あるいは複数フレームのみを用いて超解像を行う場合よりも、高画質の超解像画像を生成することができる。さらに、原画像との差分が最小となるように補助情報を決定しているため、高画質の超解像画像を生成することができる。 According to the present invention, it is possible to generate auxiliary information necessary for generating a high-resolution super-resolution image separately from the motion vector information. In the present invention, a reference frame super-resolution image obtained by super-resolution processing of the reference frame is generated, and reference frame super-resolution auxiliary information is generated based on the reference frame super-resolution image. Alternatively, it is possible to generate a super-resolution image with higher image quality than when super-resolution is performed using only a plurality of frames. Furthermore, since the auxiliary information is determined so that the difference from the original image is minimized, a high-resolution super-resolution image can be generated.
以下、図面を参照して、本発明による一実施例を詳細に説明する。 Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
[超解像補助情報生成装置]
図1は、本発明による一実施例の超解像補助情報生成装置のブロック図である。超解像補助情報生成装置1は、動きベクトル検出部10と、画像縮小部20と、基準フレーム超解像部30と、参照フレーム超解像部40と、複数フレーム再構成判定部50とを備える。
[Super-resolution auxiliary information generator]
FIG. 1 is a block diagram of a super-resolution auxiliary information generating apparatus according to an embodiment of the present invention. The super-resolution auxiliary
動きベクトル検出部10は、原画像列(フレーム画像列)を入力し、入力される原画像列の基準フレームを、予め定めたブロック領域分割サイズに分割する。そして、分割された基準フレームと参照フレーム(例えば、基準フレームの前フレーム、及び/又は基準フレームの後フレーム)との間で動きベクトルを検出し、検出した動きベクトルの情報を複数フレーム再構成判定部50に出力する。動きベクトル検出部10の詳細は、図2から図7を参照して後述する。
The motion
画像縮小部20は、原画像列を入力し、入力される原画像列のフレームを予め定めた縮小率で縮小して、基準フレームの縮小画像(基準フレーム縮小画像)を基準フレーム超解像部30に出力し、参照フレームの縮小画像(参照フレーム縮小画像)を参照フレーム超解像部40に出力する。本実施例では、原画像列(フレーム画像列)の縮小画像をウェーブレット分解により生成する例について説明する。
The
画像縮小部20は、原画像Fをウェーブレット分解してダウンサンプリングし、低解像度の基準フレーム縮小画像CAm (n)を出力する。ここで、nは分解階数を示し、mは基準フレームのフレーム数を示す。なお、以下の説明では添え字のmを適宜省略する。ウェーブレット分解階数は縮小したいサイズにより決定される。
The
ダウンサンプリング処理に用いるウェーブレットをwavelet_nとし、分解階数がn階の水平低周波・垂直低周波の周波数成分をCA(n)(χ,ψ)、水平高周波・垂直低周波成分をCH(n)(χ,ψ)、水平低周波・垂直高周波成分をCV(n)(χ,ψ)、水平高周波・垂直高周波成分をCD(n)(χ,ψ)とする。なお、解像度を変換すると、縦、横とも標本が半分になるため、水平と垂直の(x,y)を(χ,ψ)と表示している。なお、以下の説明では(χ,ψ)を適宜省略する。 The wavelet used for the downsampling process is wavelet_n, the horizontal low frequency / vertical low frequency component of decomposition rank n is CA (n) (χ, ψ), and the horizontal high frequency / vertical low frequency component is CH (n) ( χ, ψ), horizontal low frequency / vertical high frequency component is CV (n) (χ, ψ), and horizontal high frequency / vertical high frequency component is CD (n) (χ, ψ). Note that when the resolution is converted, the sample is halved both vertically and horizontally, and (x, y) in the horizontal and vertical directions is displayed as (χ, ψ). In the following description, (χ, ψ) is omitted as appropriate.
画像縮小部20は、原画像F(x,y,t)に対し、n階離散ウェーブレット分解DWT(n)(F(x,y,t),wavelet_n)を用いて、式(1)のように分解する。tは時間を示す。
The
[CA(n),CH(n),CV(n),CD(n)]=DWT(n)(F(x,y,t),wavelet_n) (1) [CA (n) , CH (n) , CV (n) , CD (n) ] = DWT (n) (F (x, y, t), wavelet_n) (1)
基準フレーム超解像部30は、画像縮小部20から入力される基準フレーム縮小画像CAm (n)を、予め定めた拡大率で超解像処理を施し、生成した基準フレーム超解像画像GExCAm (n-1)を複数フレーム再構成判定部50に出力する。基準フレーム超解像部30の詳細は、図8から図10を参照して後述する。
The reference frame super resolving
参照フレーム超解像部40は、画像縮小部20から入力される参照フレーム縮小画像列CAm’ (n)を、予め定めた補助情報ごとに、予め定めた拡大率で超解像処理を施し、生成した補助情報ごとの参照フレーム超解像画像GExCAm’ (n-1)を複数フレーム再構成判定部50に出力する。ここで、m’は参照フレームのフレーム数を示す。これにより、参照フレームの各々の縮小画像において、予め定めた補助情報ごとに、複数の参照フレーム超解画像が得られる。参照フレーム超解像部40の詳細は、図11及び図12を参照して後述する。
The reference frame super resolving
複数フレーム再構成判定部50は、基準フレーム超解像部30から入力される基準フレーム超解像画像GExCAm (n-1)に対して、動きベクトル検出部10から入力される動きベクトルの情報、及び参照フレーム超解像部40から入力される補助情報ごとの参照フレーム超解像画像GExCAm’ (n-1)を用いて、動きベクトル検出部10にて設定されるブロック領域分割サイズにより分割したブロックごとに位置合わせを行い、基準フレーム超解像画像GExCAm (n-1)の画素補完を行って原画像と同サイズの再構成画像を生成する。そして、生成した再構成画像と原画像との差分値が最小となる補助情報を求める。複数フレーム再構成判定部50の詳細は、図13及び図14を参照して後述する。
The multi-frame
[動きベクトル検出部の第1の例]
次に、超解像補助情報生成装置1における動きベクトル検出部10の第1の例について説明する。図2は、動きベクトル検出部10の第1の例の構成を示すブロック図である。第1の例の動きベクトル検出部10は、ブロック分割部101と、ブロックマッチング処理部102とを備える。
[First example of motion vector detection unit]
Next, a first example of the motion
ブロック分割部101は、入力される原画像列のうちの被処理フレーム位置の原画像を基準フレーム画像として、基準フレーム画像を所定のブロックサイズに分割し、ブロックマッチング処理部102に出力する。なお、ブロックサイズは、記憶部(図示せず)に格納して読み出すようにしてもよい。
The
ブロックマッチング処理部102は、ブロック分割部101から入力されるブロック分割された基準フレーム画像に対して、基準フレームの参照フレームの原画像を参照フレーム画像としてブロックマッチングを行い、ブロックごとに、基準フレームと参照フレームとの間の動きベクトルを検出し、動きベクトル情報(位置合わせ情報)を出力する。ブロックマッチングは、例えばSSD(Sum of Squared Difference)法やSAD(Sum of Absolute intensity Difference)法を用いる。また、ブロックマッチングは、例えば式(2)に示すパラボラフィッティング関数を用いた処理により、小数画素精度で行う。
The block
ここで、探索位置における画素位置をxとしたとき、SSD(x)は、画素位置におけるSSD値を表し、より具体的には、SSD(0)は中心位置(SSD値を最小とする位置)におけるSSD値、SSD(−1)は中心位置から−x方向又は−y方向の隣接画素の位置におけるSSD値、SSD(1)は中心位置から+x方向又は+y方向の隣接画素の位置におけるSSD値を表す。式(2)から、水平又は垂直方向の小数画素精度の画素位置(小数画素位置)をそれぞれ算出することができる。 Here, when the pixel position at the search position is x, SSD (x) represents the SSD value at the pixel position, and more specifically, SSD (0) is the center position (position where the SSD value is minimized). SSD (−1) is the SSD value at the position of the adjacent pixel in the −x direction or −y direction from the center position, and SSD (1) is the SSD value at the position of the adjacent pixel in the + x direction or + y direction from the center position. Represents. From equation (2), pixel positions (decimal pixel positions) with decimal pixel precision in the horizontal or vertical direction can be calculated respectively.
[動きベクトル検出部の第2の例]
次に、超解像補助情報生成装置1における動きベクトル検出部10の第2の例について説明する。図3は、動きベクトル検出部10の第2の例の構成を示すブロック図である。第2の例の動きベクトル検出部10は、分解能決定部16と、階層型動き検出部15とを備える。なお、各構成要素で処理するのに必要な画像データは、動きベクトル検出部10が備える記憶部(図示せず)に適宜格納して読み出すようにしてもよい。
[Second example of motion vector detection unit]
Next, a second example of the motion
分解能決定部16は、原画像における複数フレームにわたる時間方向の高周波領域のパワーの割合が大きいほど大きなブロックサイズ及び大きな動き探索範囲の大きさとなるように階層的に規定した分解能、及び/又は動画像における1フレームの空間方向の低周波領域のパワーの割合が大きいほど大きなブロックサイズ及び大きな動き探索範囲の大きさとなるように階層的に規定した分解能のテーブルを保持しており、当該時間方向の高周波領域のパワーの割合及び/又は空間方向の低周波領域のパワーの割合を検出して分解能の値を決定する。具体的には、分解能決定部16は、時間方向高周波領域パワー算出部11と、空間分解階数決定部12と、空間方向低周波領域パワー算出部13と、動き検出開始分解能決定部14とを備える。
The
時間方向高周波領域パワー算出部11は、動きベクトルの検出を行う基準フレームF(tC)及び動き探索に用いる参照フレームF(tR)を含む、時刻t=t0…tmにおける複数フレームのフレーム画像列F(t0),…,F(tC),…,F(tR),…,F(tm)を入力し、基準フレームF(tC)における全画素について、この複数フレームを時間方向に予め規定した最大階数の周波領域に分解した後、全画素における時間方向の周波数帯域ごとのパワーを算出し、算出した全画素における時間方向の周波数帯域別のパワーから時間方向の高周波領域のパワーの割合を算出して空間分解階数決定部12に送出する。
Temporal high-frequency range
例えば、図4に示すように、時間方向高周波領域パワー算出部11は、基準フレームF(tC)及び参照フレームF(tR)を含む、時刻t=t0…tmにおけるフレーム画像列F(t0),…,F(tC),…,F(tR),…,F(tm)を入力し、基準フレームF(tC)の全画素について時間方向に予め規定したNmax階(例えば、4階)の離散ウェーブレット分解を行う時間方向1次元Nmax階離散ウェーブレット分解処理部111と、基準フレームF(tC)の全画素における時間方向の周波数帯域ごとのパワーを算出し、算出した全画素における時間方向の周波数帯域別のパワーから時間方向の高周波領域のパワーの割合を算出して空間分解階数決定部12に送出する時間方向周波数帯域別パワー算出部112とから構成することができる。
For example, as illustrated in FIG. 4, the time-direction high-frequency domain
空間分解階数決定部12は、時間方向高周波領域パワー算出部11によって算出した時間方向の高周波領域のパワーの割合から、時間方向の高周波領域のパワーの割合が大きいほど、動領域面積が大きく、且つ動き量が大きいと判断し、時間方向の高周波領域のパワーの割合に応じて空間周波数の分解階数Ns(即ち、空間方向の分解能)を決定し、決定した空間周波数の分解階数Nsの情報を空間方向低周波領域パワー算出部13に送出する。
The spatial resolution
例えば、表1に示すように、時間方向の高周波領域のパワーの割合と空間周波数の分解階数Nsとの間で規定されるテーブルを予め保持しておく。 For example, as shown in Table 1, a table defined in advance between the power ratio in the high frequency region in the time direction and the resolution rank Ns of the spatial frequency is held in advance.
空間方向低周波領域パワー算出部13は、基準フレームF(tC)及び参照フレームF(tR)と空間周波数の分解階数Nsの情報とを入力し、空間周波数の分解階数Nsに基づいて、基準フレームF(tC)及び/又は参照フレームF(tR)に対して空間Ns階離散ウェーブレット分解を実行し、当該フレームにおける空間周波数帯域ごとのパワーを算出し、算出した空間周波数帯域ごとのパワーから当該フレームにおける空間方向の低周波領域のパワーの割合を算出し、算出した空間方向の低周波領域のパワーの割合と空間Ns階離散ウェーブレット分解したデータを動き検出開始分解能決定部14に送出する。
The spatial direction low frequency region
なお、基準フレームF(tC)及び参照フレームF(tR)の双方に対して空間Ns階離散ウェーブレット分解を実行することは、後の処理として、固定のブロックサイズ及び探索範囲の大きさで階層型動きベクトル検出を行う際のウェーブレット再構成を階層的に行うことにより、元画像に対して可変のブロックサイズ及び探索範囲の大きさとする階層型動きベクトル検出を行うことができる点で有利であり、特に、動きベクトル検出を階層的に行うための分解能の決定のためには、基準フレームF(tC)及び参照フレームF(tR)のうちの空間方向の低周波領域のパワーの割合が大きいほうを選定するのが好適となる。以下の説明では、基準フレームF(tC)及び参照フレームF(tR)の双方について空間Ns階離散ウェーブレット分解を行う例を説明する。 Note that performing the spatial Ns-order discrete wavelet decomposition on both the base frame F (t C ) and the reference frame F (t R ) requires a fixed block size and a search range size as later processing. It is advantageous in that hierarchical motion vector detection with variable block size and search range size can be performed on the original image by hierarchically performing wavelet reconstruction when performing hierarchical motion vector detection. In particular, in order to determine resolution for hierarchical motion vector detection, the ratio of the power in the low frequency region in the spatial direction of the reference frame F (t C ) and the reference frame F (t R ) It is preferable to select the larger one. In the following description, an example will be described in which spatial Ns-order discrete wavelet decomposition is performed on both the base frame F (t C ) and the reference frame F (t R ).
例えば、図5に示すように、空間方向低周波領域パワー算出部13は、基準フレームF(tC)及び参照フレームF(tR)を入力し、空間分解階数決定部12によって決定した空間周波数の分解階数Nsに基づいて、基準フレームF(tC)及び参照フレームF(tR)の各々の全画素に対して空間Ns階離散ウェーブレット分解を行う空間方向2次元Ns階離散ウェーブレット分解処理部131と、基準フレームF(tC)及び参照フレームF(tR)の各々における空間周波数帯域ごとのパワーを算出し、算出した空間周波数帯域ごとのパワーから基準フレームF(tC)及び参照フレームF(tR)の各々における空間方向の低周波領域のパワーの割合を算出し、算出した基準フレームF(tC)及び参照フレームF(tR)の各々における空間方向の低周波領域のパワーの割合の大きいほうの情報を動き検出開始分解能決定部14に送出する空間方向周波数帯域別パワー算出部132とから構成することができる。
For example, as illustrated in FIG. 5, the spatial direction low frequency region
動き検出開始分解能決定部14は、空間方向低周波領域パワー算出部13によって算出した空間方向の低周波領域のパワーの割合の情報から、空間方向の低周波領域のパワーの割合が大きいほど(空間方向の高周波領域のパワーの割合が小さいほど)、動領域面積が大きく、且つ動き量が大きいと判断し、動きベクトル検出を階層的に開始するための分解能(以下、「動き検出開始分解能」と称する)が小さい値(即ち、低解像度画像)となるように、空間方向の低周波領域のパワーの割合に応じて動き検出開始分解能を決定し、決定した階層的な動き検出開始分解能の情報を階層型動き検出部15に送出する。例えば、動き検出開始分解能決定部14は、空間方向の低周波領域のパワーの割合が大きいほど、動きベクトル検出を開始する階数(以下、「動き検出開始階数」と称する)nsが大きな値となるように、空間方向の低周波領域のパワーの割合に応じて動き検出開始階数nsを決定し、決定した動き検出開始階数nsの情報を階層型動き検出部15に送出する。ただし、ns≦Nsである。
The motion detection start resolution determination unit 14 determines that the power ratio of the low frequency region in the spatial direction is larger from the information on the power ratio of the low frequency region in the spatial direction calculated by the spatial direction low frequency region power calculation unit 13 (space The resolution for starting motion vector detection hierarchically (hereinafter referred to as “motion detection start resolution”) is determined as the dynamic region area is large and the amount of motion is large as the power ratio of the high frequency region in the direction is small. The motion detection start resolution is determined according to the ratio of the power in the low frequency region in the spatial direction, and information on the determined hierarchical motion detection start resolution is obtained. It is sent to the
例えば、表2に示すように、空間方向の低周波領域のパワーの割合と動き検出開始分解能(又は動き検出開始階数ns)との間で規定されるテーブルを予め保持しておく。なお、動き検出開始階数nsが大きくなるにつれて、元の画像が低解像度化することを意味しており、元の画像に対して相対的にブロックサイズ及び動き探索範囲の大きさが増大することを意味している。ここで、例えば、空間分解能1/16は、元の画像における水平標本化周波数Hs及び垂直標本化周波数Vsにおいて、16画素を1画素として標本化する低解像度化を意味する。 For example, as shown in Table 2, a table defined between the power ratio of the low frequency region in the spatial direction and the motion detection start resolution (or motion detection start floor ns) is held in advance. As the motion detection start floor number ns increases, this means that the original image has a lower resolution, and the block size and the size of the motion search range increase relative to the original image. I mean. Here, for example, the spatial resolution of 1/16 means a reduction in resolution in which 16 pixels are sampled as one pixel at the horizontal sampling frequency Hs and the vertical sampling frequency Vs in the original image.
つまり、図6に示すように、空間方向の低周波領域のパワーの割合によって、動き検出開始階数nsを関連付けることができる。例えば、Ns=4のとき、低周波領域(LL4)及び高周波領域(LL4以外)のそれぞれのパワーを算出して、全体における低周波領域(LL4)の割合が、99.5%以上であれば、動き検出開始階数ns=4として4階層の低周波領域のみの画像を再構成することができる(図6(d)参照)。同様に、全体における低周波領域(LL4)の割合が、98.0%以上99.5%未満であれば、3階層の低周波領域(LL3)のみの画像を再構成でき(図6(c)参照)、全体における低周波領域(LL4)の割合が、95.0%以上98.0%未満であれば、2階層の低周波領域(LL2)のみの画像を再構成でき(図6(b)参照)、全体における低周波領域(LL4)の割合が、95.0%未満であれば、1階層の低周波領域(LL1)のみの画像を再構成することができる(図6(a)参照)。 That is, as shown in FIG. 6, the motion detection start rank ns can be associated with the power ratio of the low frequency region in the spatial direction. For example, when Ns = 4, the respective powers of the low frequency region (LL 4 ) and the high frequency region (other than LL 4 ) are calculated, and the ratio of the low frequency region (LL 4 ) in the whole is 99.5% or more. If so, it is possible to reconstruct an image of only the low-frequency region of the four layers with the motion detection start rank ns = 4 (see FIG. 6D). Similarly, if the ratio of the low frequency region (LL 4 ) in the whole is 98.0% or more and less than 99.5%, an image of only three layers of the low frequency region (LL 3 ) can be reconstructed (FIG. 6). (C)), if the ratio of the low frequency region (LL 4 ) in the whole is 95.0% or more and less than 98.0%, it is possible to reconstruct an image of only the low frequency region (LL 2 ) of two layers. (Refer to FIG. 6B.) If the ratio of the low frequency region (LL 4 ) in the whole is less than 95.0%, an image of only one layer of the low frequency region (LL 1 ) may be reconstructed. (See FIG. 6A).
階層型動き検出部15は、動き検出開始階数nsに応じた空間方向に低周波領域の基準フレームF(tC)及び参照フレームF(tR)の画像を生成するために、基準フレームF(tC)及び参照フレームF(tR)の空間方向2次元Ns階離散ウェーブレット分解したデータに対して、動き検出開始階数nsに応じた空間ns階ウェーブレットの再構成を行い、予め定めたブロックサイズ及び探索範囲の大きさで動きベクトル検出を実行し、続いて空間ns−1階ウェーブレットの再構成を行い、当該予め定めたブロックサイズ及び探索範囲の大きさで動きベクトル検出を再度実行し、最上位の階層(即ち、元の画像レベル)にて当該予め定めたブロックサイズ及び探索範囲の大きさで動きベクトル検出を行うまで階数をデクリメントして繰り返す。この階層型動きベクトル検出の動作は、基準フレームF(tC)及び参照フレームF(tR)を入力し、動き検出開始分解能に基づいて、基準フレームF(tC)に対して順次ブロックサイズ及び探索範囲の大きさを縮小しながら動きベクトル検出を行うことと類似した処理となる。ただし、空間ns階ウェーブレット分解及び再構成を経て順次繰り返すことによる階層型動きベクトル検出によれば、階層に応じて順次可変にすべきブロックサイズ及び探索範囲の大きさを用意する必要がなく固定とすることができ、且つ画像シーンに応じた動き検出開始階数nsに応じた動きベクトル検出を行うため、高精度化が期待できる。
The hierarchical
例えば、図7に示すように、階層型動き検出部15は、動き検出開始階数nsに応じた空間方向に低周波領域の基準フレームF(tC)及び参照フレームF(tR)の画像を生成するために動き検出開始階数nsに応じた空間ns階ウェーブレットの再構成を行い、予め定めたブロックサイズ及び探索範囲の大きさで小数画素精度のブロックマッチングによる動きベクトル検出を行う動き検出部151と、この動きベクトル検出の処理を最上位の階数に対応する元の画像レベルとなるまで階数をデクリメントして繰り返すために、空間方向低周波領域パワー算出部13によって算出した空間Ns階離散ウェーブレット分解データに対して動き検出開始階数nsよりも上位の階数の画像となるように空間方向に1階上位のウェーブレット再構成を実行して動き検出部151に送出する空間1階ウェーブレット再構成部152とから構成することができる。したがって、動き検出部151は、空間1階ウェーブレット再構成部152から得られる基準フレームF(tC)及び参照フレームF(tR)の再構成画像を用いて、動きベクトル検出の処理を階層的に繰り返し、最終的な動きベクトルを決定して出力することができる。
For example, as illustrated in FIG. 7, the hierarchical
動きベクトル検出は、2次関数近似による小数画素位置のブロックマッチング法を用いて行うのは、最上位の階数(即ち、1階)でのみ行うのが好適である。例えば式(2)に示したパラボラフィッティングにより小数画素位置を算出する。 It is preferable that the motion vector detection is performed only with the highest rank (that is, the first floor) using the block matching method of the decimal pixel position by quadratic function approximation. For example, the decimal pixel position is calculated by parabolic fitting shown in Expression (2).
[基準フレーム超解像部]
次に、超解像補助情報生成装置1における基準フレーム超解像部30について説明する。図8は、基準フレーム超解像部30の構成を示すブロック図である。基準フレーム超解像部30は、基準フレームウェーブレット分解部(基準フレームオクターブ分解部)31と、基準フレームウェーブレット再構成部(基準フレームオクターブ再構成部)32と、基準フレーム用分散値記憶部33と、基準フレームフィルタ適用ウェーブレット再構成部(基準フレームフィルタ適用オクターブ再構成部)34と、基準フレーム超解像画像・補助情報決定部35とを備える。
[Reference frame super-resolution part]
Next, the reference
図9は、基準フレーム超解像部30の処理の概要を示す図である。図10は基準フレーム超解像部30の処理により生成される画像を示す図である。以下、図8から図10を参照して、基準フレーム超解像部30について説明する。まず、基準フレームウェーブレット分解部31は、分解階数nの基準フレーム縮小画像CAm (n)(図10(a)参照)を画像縮小部20から取得する(ステップS11)。そして、基準フレームウェーブレット分解部31は、分解階数nの低周波領域成分CAm (n)に対して1階離散ウェーブレット分解して、分解階数n+1における水平、垂直、斜め方向の各高周波領域成分の基準フレーム分解画像CHm (n+1),CVm (n+1),CDm (n+1)(図10(b)参照)を生成する(ステップS12)。
FIG. 9 is a diagram showing an outline of the processing of the reference frame super resolving
基準フレームウェーブレット再構成部32は、水平、垂直、斜め方向の各高周波領域成分の基準フレーム分解画像CHm (n+1),CVm (n+1),CDm (n+1)の各々を空間低周波領域成分とし、同じサイズのゼロ行列を空間高周波領域成分に設定する(図10(c)参照)(ステップS13)。そして、基準フレームウェーブレット再構成部32は、空間高周波成分にゼロ行列を設定した画像に対し、1階離散ウェーブレット再構成により、水平、垂直方向に2倍拡大し、水平、垂直、斜め方向の各高周波領域成分の基準フレーム再構成画像ExCHm (n),ExCVm (n),ExCDm (n)(図10(d)参照)を生成する(ステップS14)。式(3)に、CHm (n+1)を空間低周波領域成分、同じサイズのゼロ行列を空間高周波領域成分として1階離散ウェーブレット再構成した式を示す。0はゼロ行列を示す。
The reference frame
ExCH(n)=IDWT(1)(CH(n+1),0,0,0,wavelet_n) (3) ExCH (n) = IDWT (1) (CH (n + 1) , 0,0,0, wavelet_n) (3)
基準フレーム用分散値記憶部33は、複数の基準フレーム用補助情報(第1補助情報)を記憶する。具体的には、複数のガウシアンフィルタの分散値(以下、単に分散値と称する)σCH (n),σCV (n),σCD (n)を、例えば初期値をσCH (n)=0.1,σCV (n)=0.1,σCD (n)=0.1として、それぞれ0.5刻みで20.1まで記憶する。あるいは、分散値σCH (n),σCV (n),σCD (n)を、初期値を0.1として所定の範囲内で変化させるように制御してもよい。基準フレーム用分散値記憶部33が記憶する分散値の一例を表3に示す。
The reference frame variance
基準フレームフィルタ適用ウェーブレット再構成部34は、基準フレーム用分散値記憶部33から分散値σCH (n),σCV (n),σCD (n)を取得する(ステップS15)。そして、基準フレームフィルタ適用ウェーブレット再構成部34は、再構成画像ExCHm (n),ExCVm (n),ExCDm (n)に対して、分散値σCH(n),σCV(n),σCD(n)を用いたガウシアンフィルタによるフィルタリング処理を行い、フィルタリング画像GExCHm (n),GExCVm (n),GExCDm (n)(図10(e)参照)を生成する(ステップS16)。 The reference frame filter applied wavelet reconstruction unit 34 acquires the dispersion values σ CH (n) , σ CV (n) , σ CD (n) from the reference frame dispersion value storage unit 33 (step S15). The reference frame filter applied wavelet reconstruction unit 34 then uses the variance values σCH (n) , σCV (n) , σCD for the reconstructed images ExCH m (n) , ExCV m (n) , ExCD m (n) . A filtering process using a Gaussian filter using (n) is performed to generate filtered images GExCH m (n) , GExCV m (n) , GExCD m (n) (see FIG. 10E) (step S16).
具体的には、基準フレームフィルタ適用ウェーブレット再構成部34は、斜め方向高周波領域成分ExCDm (n)に対して、式(4)に示すガウシアンフィルタを用いて、式(5)に示すフィルタリング処理を行い、フィルタリング画像GExCDm (n)を生成する。 Specifically, the reference frame filter applied wavelet reconstruction unit 34 uses the Gaussian filter shown in Equation (4) for the diagonal high frequency region component ExCD m (n) to perform the filtering process shown in Equation (5). To generate a filtered image GExCD m (n) .
Gauss(x,y,σCD (n))=exp(−(x2+y2)/2{σCD (n)}2) (4)
ここで、σ2は分散を表す。
Gauss (x, y, σ CD (n) ) = exp (− (x 2 + y 2 ) / 2 {σ CD (n) } 2 ) (4)
Here, σ 2 represents dispersion.
また、基準フレームフィルタ適用ウェーブレット再構成部34は、垂直方向高周波領域成分ExCHm (n)に対して、式(6)に示す方向性拡張したガウシアンフィルタを用いて、式(7)に示すフィルタリング処理を行い、フィルタリング画像GExCHm (n)を生成する。 Further, the reference frame filter applied wavelet reconstruction unit 34 uses the Gaussian filter expanded in the directionality shown in Equation (6) for the vertical high-frequency region component ExCH m (n) to perform the filtering shown in Equation (7). Processing is performed to generate a filtered image GExCH m (n) .
ExGauss(x,σCH (n))=exp(−x2/2{σCH (n)}2) (6) ExGauss (x, σ CH (n )) = exp (-x 2/2 {σ CH (n)} 2) (6)
同様に、基準フレームフィルタ適用ウェーブレット再構成部34は、水平方向高周波領域成分ExCVm (n)に対して、式(8)に示す方向性拡張したガウシアンフィルタを用いて、式(9)に示す処理を行い、フィルタリング画像GExCVm (n)を生成する。 Similarly, the reference frame filter applied wavelet reconstruction unit 34 uses the Gaussian filter expanded in the directionality shown in the equation (8) for the horizontal high-frequency region component ExCV m (n) , as shown in the equation (9). Processing is performed to generate a filtered image GExCV m (n) .
ExGauss(y,σCV (n))=exp(−y2/2{σCV (n)}2) (8)
ExGauss (y, σ CV (n )) = exp (-
次に、基準フレームフィルタ適用ウェーブレット再構成部34は、画像縮小部20から入力される分解階数nの基準フレーム縮小画像CAm (n)を低周波成分とし、ステップS15にて得られたフィルタリング画像GExCDm (n),GExCHm (n),GExCVm (n)を高周波成分に設定する(図10(f)参照)(ステップS17)。そして、基準フレームフィルタ適用ウェーブレット再構成部34は、ステップS17にて設定した画像に対し、1階離散ウェーブレット再構成を行い、基準フレームフィルタ適用再構成画像GExCAm (n-1)(図10(g)参照)を生成する(ステップS18)。
Next, the reference frame filter applied wavelet reconstruction unit 34 uses the decomposition frame n reference frame reduced image CA m (n) input from the
基準フレーム超解像画像・補助情報決定部35は、基準フレームフィルタ適用ウェーブレット再構成部34から入力される基準フレームフィルタ適用再構成画像GExCAm (n−1)と、画像縮小部20から入力される、分解階数がn−1階の基準フレーム縮小画像CAm (n−1)との差分値を算出する(ステップS19)。ここで、差分値として、差の絶対値の和、差の絶対値の積、差の絶対値の最小値、又は差の二乗和など、種々の値を用いることができる。また、式(10)に示すように、縮小画像CAm (n−1)の領域と基準フレームフィルタ適用再構成画像GExCAm (n−1)の領域における平均二乗誤差(RMS)の計算を行い、RMS(CAm (n−1))及びRMS(GExCAm (n−1))を得て、その差分値を計算するようにしてもよい。
The reference frame super-resolution image / auxiliary
Diff_rms(σCH(n),σCV(n),σCD(n))
=RMS(CA(n−1)(σCH(n),σCV(n),σCD(n)))
−RMS(GExCA(n−1)(σCH(n),σCV(n),σCD(n)) (10)
Diff_rms (σCH (n) , σCV (n) , σCD (n) )
= RMS (CA (n-1) (σCH (n) , σCV (n) , σCD (n) ))
-RMS (GExCA (n-1) (σCH (n) , σCV (n) , σCD (n) ) (10)
基準フレームフィルタ適用ウェーブレット再構成部34は、ステップS15からステップS18の処理を分散値σCH (n),σCV (n),σCD (n)の値を変化させながら行い、基準フレーム超解像画像・補助情報決定部35は、Diff_rms(σCH(n),σCV(n),σCD(n))が最小となる分散値を求め、該分散値及び、該分散値を用いて得られる基準フレームフィルタ適用再構成画像GExCA(n-1)を基準フレーム超解像画像として出力する。
The reference frame filter applied wavelet reconstruction unit 34 performs the processing from step S15 to step S18 while changing the values of the variance values σ CH (n) , σ CV (n) , and σ CD (n) , and performs the reference frame super solution. The image / auxiliary
なお、本実施例では、GExCAm (n−1)とCAm (n−1)とを比較することにより、分散値σCH (n),σCV (n),σCD (n)を決定するようにしたが、CHm (n)とGExCHm (n)、CVm (n)とGExCVm (n)、及びCDm (n)とGExCDm (n)のそれぞれを比較することにより、分散値を決定するようにしてもよい。 In this embodiment, the dispersion values σ CH (n) , σ CV (n) , and σ CD (n) are determined by comparing GExCA m (n−1) and CA m (n−1). By comparing each of CH m (n) and GExCH m (n) , CV m (n) and GExCV m (n) , and CD m (n) and GExCD m (n) , The variance value may be determined.
[参照フレーム超解像部]
次に、超解像補助情報生成装置1における参照フレーム超解像部40について説明する。図11は、参照フレーム超解像部40の構成を示すブロック図である。参照フレーム超解像部40は、参照フレームウェーブレット分解部(参照フレームオクターブ分解部)41と、参照フレームウェーブレット再構成部(参照フレームオクターブ再構成部)42と、参照フレーム用分散値記憶部43と、参照フレームフィルタ適用ウェーブレット再構成部(参照フレームフィルタ適用オクターブ再構成部)44とを備える。
[Reference frame super-resolution part]
Next, the reference
図12は、参照フレーム超解像部40の処理の概要を示す図である。以下、参照フレーム超解像部40について、図10から図12を参照して説明する。まず、参照フレームウェーブレット分解部41は、分解階数nの参照フレーム縮小画像CAm’ (n)(図10(a)参照)を画像縮小部20から取得する(ステップS21)。なお、図12では、基準フレームの前後のフレームを参照フレームとして図示しており、この場合、m’はm±1を意味する。
FIG. 12 is a diagram illustrating an outline of processing of the reference frame super resolving
参照フレームウェーブレット分解部41は、分解階数nの参照フレーム縮小画像CAm’ (n)に対して1階離散ウェーブレット分解して、分解階数n+1における水平、垂直、斜め方向の各高周波領域成分の参照フレーム分解画像CHm’ (n+1),CVm’ (n+1),CDm’ (n+1)(図10(b)参照)を生成する(ステップS22)。
The reference frame wavelet decomposition unit 41 performs first-order discrete wavelet decomposition on the reference frame reduced image CA m ′ (n) of decomposition rank n, and refers to the respective high-frequency region components in the horizontal, vertical, and diagonal directions in decomposition
参照フレームウェーブレット再構成部42は、水平、垂直、斜め方向の各高周波領域成分の参照フレーム分解画像CHm’ (n+1),CVm’ (n+1),CDm’ (n+1)の各々を空間低周波領域成分とし、同じサイズのゼロ行列を空間高周波領域成分に設定し(図10(c)参照)(ステップS23)、1階離散ウェーブレット再構成により、水平、垂直方向に2倍拡大し、参照フレーム再構成画像ExCHm’ (n),ExCVm’ (n),ExCDm’ (n)(図10(d)参照)を生成する(ステップS24)。
The reference frame
参照フレーム用分散値記憶部43は、複数の参照フレーム用補助情報(第2補助情報)を記憶する。具体的には、基準フレーム用分散値記憶部33と同様に、表3に例示したような複数のガウシアンフィルタの分散値σCH (n),σCV (n),σCD (n)を記憶する。
The reference frame variance
参照フレームフィルタ適用ウェーブレット再構成部44は、参照フレーム用分散値記憶部43から分散値σCH (n),σCV (n),σCD (n)を取得し(ステップS25)、参照フレーム再構成画像ExCHm’ (n),ExCVm’ (n),ExCDm’ (n)に対して、分散値σCH(n),σCV(n),σCD(n)を用いたガウシアンフィルタによるフィルタリング処理を行い、フィルタリング画像GExCHm’ (n),GExCVm’ (n),GExCDm’ (n)(図10(e)参照)を生成する(ステップS26)。具体例については、ステップS16と同様であるため省略する。
The reference frame filter applied
続いて、参照フレームフィルタ適用ウェーブレット再構成部44は、画像縮小部20から入力される分解階数nの参照フレーム縮小画像CAm’ (n)を低周波成分とし、ステップS15にて得られたフィルタリング画像GExCDm’ (n),GExCHm’ (n),GExCVm’ (n)を高周波成分に設定する(図10(f)参照)(ステップS27)。そして、参照フレームフィルタ適用ウェーブレット再構成部44は、ステップS16にて設定した画像に対し、1階離散ウェーブレット再構成を行い、参照フレームフィルタ適用再構成画像GExCAm’ (n-1)(図10(g)参照)を生成する(ステップS28)。ここで、基準フレーム超解像部30の基準フレームフィルタ適用ウェーブレット再構成部34は、分解階数がn−1階の基準フレーム縮小画像CAm (n−1)との差分値が最小となる分散値を用いて得られる1つの基準フレーム超解像画像GExCA(n-1)を出力するが、参照フレームフィルタ適用ウェーブレット再構成部44は、参照フレーム用分散値記憶部43に記憶された補助情報(分散値)ごとの複数の参照フレームフィルタ適用再構成画像GExCAm’ (n-1)を参照フレーム超解像画像列として出力する。
Subsequently, the reference frame filter applied
[複数フレーム再構成判定部]
次に、超解像補助情報生成装置1における複数フレーム再構成判定部50について説明する。図13は、複数フレーム再構成判定部50の構成を示すブロック図である。複数フレーム再構成判定部50は、位置合わせ処理部51と、画像補完処理部52と、参照フレーム超解像補助情報決定部53とを備える。図14は、複数フレーム再構成判定部50の処理の概要を示す図である。以下、図13及び図14を参照して、複数フレーム再構成判定部50について説明する。
[Multi-frame reconstruction determination unit]
Next, the multi-frame
位置合わせ処理部51は、基準フレーム超解像部30から入力される基準フレーム超解像画像に対して、動きベクトル検出部10から入力される動きベクトル情報、及び参照フレーム超解像部40から入力される参照フレーム超解像画像列を用いて位置合わせ(レジストレーション)を行う(ステップS31)。つまり、基準フレーム超解像画像の画素間の画像を、参照フレーム超解像画像を動きベクトルを用いて位置合わせすることにより画素補完を行う。基準フレーム超解像画像の画素間の画像を補完することにより、基準フレーム超解像画像を拡大することができる。しかし、全ての画素間の画像を補完することができない場合(例えば、静止領域)があるため、さらに画像補完処理部52により補完処理を行う。
The alignment processing unit 51 receives the motion vector information input from the motion
画像補完処理部52は、位置合わせ処理部51から入力される補助情報ごとの位置合わせ後の画像を、点広がり関数を用いて原画像と同一サイズとなるように画素補完し、補助情報ごとの補完画像を参照フレーム超解像補助情報決定部53に出力する。点広がり関数を用いて画素補完を行う方法として、従来からのMAP法を用いることができる。点広がり関数を用いて画素補完を行うことにより、静止領域についても画素補完をすることができるようになる。
The image
従来からのMAP法は、xを高解像度な画像復元されたフレーム画像ベクトル、yを低解像度な超解像元フレーム画像ベクトル、Nを入力フレーム数とした時の事後確率p(x|y1,y2,・・・,yN)を最大にする高解像度フレーム画像を推定する方法である。 In the conventional MAP method, the posterior probability p (x | y 1 when x is a frame image vector obtained by restoring a high resolution image, y is a super resolution original frame image vector having a low resolution, and N is the number of input frames. , Y 2 ,..., Y N ) is a method for estimating a high-resolution frame image.
従来からのMAP法によれば、誤差分布を正規分布と仮定した場合、推定される高解像度フレーム画像x(^)は、式(11)で計算される。 According to the conventional MAP method, when the error distribution is assumed to be a normal distribution, the estimated high-resolution frame image x (^) is calculated by Expression (11).
式(12)に、動き量適応型点広がり関数カーネルE・Bkを用いたMAP再構成処理式を示す。 Formula (12) shows a MAP reconstruction processing formula using the motion amount adaptive type point spread function kernel E · B k .
式(12)より、2次元のガウス関数は、式(14)のようになる。ここで、水平方向の基準位置はx0、垂直方向の基準位置はy0となる。 From Equation (12), the two-dimensional Gaussian function is as shown in Equation (14). Here, the horizontal reference position is x 0 , and the vertical reference position is y 0 .
参照フレーム超解像補助情報決定部53は、画像補完処理部52から入力される補助情報ごとの補完画像と原画像との差分値をブロックごとに算出する。そして、補助情報ごとの補完画像のうち、原画像との差分値が最も小さい補完画像をブロックごとに選択し、該補完画像の生成に用いた補助情報を参照フレーム超解像補助情報と決定し、外部に出力する(ステップS31)。なお、補完画像と縮小画像を単純拡大した画像との差分値が最小となるように参照フレーム超解像補助情報を決定することも可能であるが、原画像を比較対象とすることにより、より原画像に近い高画質の超解像画像を生成することができるようになる。ここで、差分値として、差の絶対値の和、差の絶対値の積、差の絶対値の最小値、又は差の二乗和など、種々の値を用いることができる。また、ブロック単位で、補完画像と原画像の平均二乗誤差(RMS)を求め、両者の差分値を算出するようにしてもよい。
The reference frame super-resolution auxiliary
なお、上述した超解像補助情報生成装置1として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、超解像補助情報生成装置1の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのCPU(中央演算処理装置)によってこのプログラムを読み出して実行させることで実現することができる。
It should be noted that a computer can be suitably used to function as the above-described super-resolution auxiliary
このように、超解像補助情報生成装置1及びそのプログラムによれば、高画質の超解像画像を生成する際に必要となる超解像補助情報を生成することができるようになる。また、複数フレーム再構成判定部50にて点広がり関数を用いて画素補完を行うことにより、静止領域についても超解像画像を生成することができるようになる。
As described above, according to the super-resolution auxiliary
[符号化装置]
次に、上述した超解像補助情報生成装置1を用いた符号化装置について説明する。図15は、本発明による一実施例の符号化装置の構成を示すブロック図である。符号化装置60は、超解像補助情報生成装置1と、減算部61と、量子化部62と、可変長符号化部63と、逆量子化部64と、超解像画像生成部65と、加算部66と、フレームメモリ67と、動き補償部68とを備える。
[Encoding device]
Next, an encoding apparatus using the super-resolution auxiliary
減算部61は、原画像と動き補償部68から入力される予測画像との差分画像を生成して超解像補助情報生成装置1に出力する。
The
超解像補助情報生成装置1を符号化装置60に適用する場合には、超解像補助情報生成装置1は、動きベクトル情報、基準フレーム超解像補助情報、及び参照フレーム超解像補助情報に加えて、画像縮小部20にて生成した基準フレーム縮小画像CAm (n)も外部に出力する。超解像補助情報生成装置1は、減算部61から入力される差分画像に対して、上述した超解像補助情報生成処理を行い、基準フレーム縮小画像を量子化部62に出力し、動きベクトル情報を可変長符号化部63及び動き補償部68に出力し、動きベクトル情報、基準フレーム超解像補助情報、及び参照フレーム超解像補助情報を可変長符号化部63に出力する。
When the super-resolution auxiliary
量子化部62は、超解像補助情報生成装置1から入力される基準フレーム縮小画像に対して量子化処理を行い、可変長符号化部63及び逆量子化部64に出力する。
The
可変長符号化部63は、量子化部62から入力される基準フレーム縮小画像の量子化データと、超解像補助情報生成装置1から入力される動きベクトル情報、基準フレーム超解像補助情報、及び参照フレーム超解像補助情報に対して可変長符号化処理を行い、符号化データのビットストリームを生成し、復号側に出力する。
The variable
逆量子化部64は、量子化部62から入力される基準フレーム縮小画像の量子化データに対して逆量子化処理を行い、超解像画像生成部65に出力する。
The
超解像画像生成部65は、超解像補助情報生成装置1から入力される基準フレーム縮小画像、動きベクトル情報、基準フレーム超解像補助情報、及び参照フレーム超解像補助情報を用いて超解像画像を生成し、加算部66に出力する。
The super-resolution
図16は、超解像画像生成部65の構成を示すブロック図である。超解像画像生成部65は、超解像部651と、複数フレーム再構成部652とを備える。超解像部651は、基準フレームウェーブレット分解部6511と、基準フレームウェーブレット再構成部6512と、基準フレームフィルタ適用ウェーブレット再構成部6513と、メモリ6514と、参照フレームウェーブレット分解部6515と、参照フレームウェーブレット再構成部6516と、参照フレームフィルタ適用ウェーブレット再構成部6517とを備える。複数フレーム再構成部652は、位置合わせ処理部6521と、画像補完処理部6522とを備える。
FIG. 16 is a block diagram illustrating a configuration of the super-resolution
基準フレームウェーブレット分解部6511、基準フレームウェーブレット再構成部6512、及び基準フレームフィルタ適用ウェーブレット再構成部6513の処理は、基準フレーム超解像部30の基準フレームウェーブレット分解部31、基準フレームウェーブレット再構成部32、及び基準フレームフィルタ適用ウェーブレット再構成部33の処理と同様である。ただし、基準フレームフィルタ適用ウェーブレット再構成部6513は、入力される基準フレーム超解像補助情報を用いてフィルタリング処理を行う。
The processes of the reference frame
メモリ6514は基準フレーム縮小画像を蓄える。参照フレームウェーブレット分解部6515と、参照フレームウェーブレット再構成部6516と、参照フレームフィルタ適用ウェーブレット再構成部6517の処理は、参照フレーム超解像部40の参照フレームウェーブレット分解部41、参照フレームウェーブレット再構成部42、及び参照フレームフィルタ適用ウェーブレット再構成部43の処理と同様である。ただし、参照フレームウェーブレット分解部6515はメモリ6514から参照フレーム縮小画像を取得し、参照フレームフィルタ適用ウェーブレット再構成部6517は、入力される参照フレーム超解像補助情報を用いてフィルタリング処理を行う。
The
位置合わせ処理部6521は、位置合わせ処理部51と同様に、基準フレームフィルタ適用ウェーブレット再構成部6513から入力される基準フレーム超解像画像に対して、入力される動きベクトル情報、及び参照フィルタ適用ウェーブレット再構成部6517から入力される参照フレーム超解像画像を用いて位置合わせ(レジストレーション)を行う。画像補完処理部6522は、画像補完処理部52と同様に、位置合わせ処理部6521から入力される位置合わせ後の画像を、点広がり関数を用いて画素補完し、原画像と同じサイズの基準フレーム超解像画像を生成する。
Similar to the alignment processing unit 51, the
加算部66は、超解像画像生成部65から入力される基準フレーム超解像画像と、動き補償部68から得られる予測画像とを加算処理して復号画像を生成し、フレームメモリ67に出力する。
The
動き補償部68は、フレームメモリ67に格納された参照フレーム超解像画像に対し、超解像補助情報生成装置1から入力される動きベクトル情報を用いて動き補償を行って予測画像を生成し、予測画像を減算部61に出力する。
The
なお、上述した符号化装置60として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、符号化装置60の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのCPUによってこのプログラムを読み出して実行させることで実現することができる。
Note that a computer can be suitably used to cause the above-described
[復号装置]
次に、上述した超解像補助情報生成装置1を用いた復号装置について説明する。図17は、本発明による一実施例の復号装置の構成を示すブロック図である。復号装置70は、可変長復号部71と、逆量子化部72と、超解像画像生成部73と、加算部74と、フレームメモリ75と、動き補償部76とを備える。
[Decoding device]
Next, a decoding device using the super-resolution auxiliary
可変長復号部71は、符号化装置60から入力される符号化データに対して可変長復号処理を施し、基準フレーム縮小画像の量子化データを逆量子化部72に出力し、基準フレーム超解像補助情報及び参照フレーム超解像補助情報を超解像画像生成部73に出力し、動きベクトル情報を超解像画像生成部73及び動き補償部76に出力する。
The variable
逆量子化部72は、可変長復号部71から入力される基準フレーム縮小画像の量子化データに対して逆量子化処理を行い、超解像画像生成部73に出力する。
The
超解像画像生成部73は、逆量子化部72から入力される基準フレーム縮小画像と、可変長復号部71から入力される動きベクトル情報、基準フレーム超解像補助情報、及び参照フレーム超解像補助情報とを用いて、基準フレーム超解像画像を生成し、加算部74に出力する。超解像画像生成部73の詳細な構成は図16に示した超解像画像生成部65と同様であるため、説明を省略する。
The super-resolution
加算部74は、超解像画像生成部73から入力される基準フレーム超解像画像と、動き補償部76から入力される予測画像とを加算して画像を復元し、復号画像をフレームメモリ75及び外部に出力する。
The
動き補償部76は、フレームメモリ75に格納された参照フレーム超解像画像に対し、可変長復号部71から入力される動きベクトル情報を用いて動き補償を行って予測画像を生成し、予測画像を加算部74に出力する。
The
なお、上述した復号装置70として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、復号装置70の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのCPUによってこのプログラムを読み出して実行させることで実現することができる。
Note that a computer can be suitably used to cause the above-described
このように、符号化装置60及びそのプログラムによれば、超解像補助情報生成装置1にて生成した基準フレームの縮小画像及び超解像補助情報を符号化して伝送することができる。また、復号装置70及びそのプログラムによれば、基準フレームの縮小画像及び超解像補助情報から高画質の超解像画像を復号することができるようになる。
Thus, according to the
上述の実施例は、代表的な例として説明したが、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施例ではウェーブレット分解によりダウンサンプリングを行っているが、オクターブ分解するものであれば、ウェーブレット分解には限定されない。 Although the above-described embodiments have been described as representative examples, the present invention should not be construed as being limited by the above-described embodiments, and various modifications and changes may be made without departing from the scope of the claims. Is possible. For example, in the embodiment, downsampling is performed by wavelet decomposition, but it is not limited to wavelet decomposition as long as octave decomposition is performed.
本発明は、超解像画像、例えばスーパーハイビジョン(SHV)のような超高精細映像を生成する用途に有用である。 The present invention is useful for generating a super-resolution image, for example, an ultra-high definition video such as Super Hi-Vision (SHV).
1 超解像補助情報生成装置
10 動きベクトル検出部
11 時間方向高周波領域パワー算出部
12 空間分解階数決定部
13 空間方向低周波領域パワー算出部
14 動き検出開始分解能決定部
15 階層型動き検出部
16 分解能決定部
20 画像縮小部
30 基準フレーム超解像部
31,6511 基準フレームウェーブレット分解部
32,6512 基準フレームウェーブレット再構成部
33 基準フレーム用分散値記憶部
34,6513 基準フレームフィルタ適用ウェーブレット再構成部
35 基準フレーム超解像画像・補助情報決定部
40 参照フレーム超解像部
41,6515 参照フレームウェーブレット分解部
42,6516 参照フレームウェーブレット再構成部
43 参照フレーム用分散値記憶部
44,6517 参照フレームフィルタ適用ウェーブレット再構成部
50 複数フレーム再構成判定部
51,6521 位置合わせ処理部
52,6522 画像補完処理部
53 参照フレーム超解像補助情報決定部
61 減算部
62 量子化部
63 可変長符号化部
64,72 逆量子化部
65,73 超解像画像生成部
66,74 加算部
67,75 フレームメモリ
68,76 動き補償部
71 可変長復号部
101 ブロック分割部
102 ブロックマッチング処理部
111 時間方向1次元Nmax階離散ウェーブレット分解処理部
112 時間方向周波数帯域別パワー算出部
131 空間方向2次元Ns階離散ウェーブレット分解処理部
132 空間方向周波数帯域別パワー算出部
151 動き検出部
152 空間1階ウェーブレット再構成部
651 超解像部
652 複数フレーム再構成部
DESCRIPTION OF SYMBOLS 1 Super-resolution auxiliary | assistant information generation apparatus 10 Motion vector detection part 11 Time direction high frequency domain power calculation part 12 Spatial decomposition rank determination part 13 Spatial direction low frequency area power calculation part 14 Motion detection start resolution determination part 15 Hierarchical motion detection part 16 Resolution determination unit 20 Image reduction unit 30 Reference frame super-resolution unit 31, 6511 Reference frame wavelet decomposition unit 32, 6512 Reference frame wavelet reconstruction unit 33 Reference frame variance value storage unit 34, 6513 Reference frame filter applied wavelet reconstruction unit 35 Reference frame super-resolution image / auxiliary information determination unit 40 Reference frame super-resolution unit 41, 6515 Reference frame wavelet decomposition unit 42, 6516 Reference frame wavelet reconstruction unit 43 Reference frame variance value storage unit 44, 6517 Reference frame frame Filtering wavelet reconstruction unit 50 Multiple frame reconstruction determination unit 51, 6521 Registration processing unit 52, 6522 Image interpolation processing unit 53 Reference frame super-resolution auxiliary information determination unit 61 Subtraction unit 62 Quantization unit 63 Variable length coding unit 64, 72 Inverse quantization unit 65, 73 Super-resolution image generation unit 66, 74 Addition unit 67, 75 Frame memory 68, 76 Motion compensation unit 71 Variable length decoding unit 101 Block division unit 102 Block matching processing unit 111 Time direction 1 Dimensional Nmax-order discrete wavelet decomposition processing unit 112 Power calculation unit by time direction frequency band 131 Spatial direction two-dimensional Ns-order discrete wavelet decomposition processing unit 132 Power calculation unit by spatial direction frequency band 151 Motion detection unit 152 Spatial first-order wavelet reconstruction unit 651 Super-resolution part 652 Multiple frames Reconstruction unit
Claims (11)
原画像列の基準フレームについて、所定サイズのブロックごとに、前記原画像列の複数の参照フレームとの間の動きベクトルを検出する動きベクトル検出部と、
前記原画像列を所定の縮小率で縮小した縮小画像列を生成する画像縮小部と、
前記画像縮小部により生成された、前記基準フレームの縮小画像に対し、複数の第1補助情報を用いて、第1補助情報ごとに超解像画像を生成し、前記基準フレームを該超解像画像と同一サイズに縮小した画像との差分値が最小となる超解像画像を基準フレーム超解像画像として選択し、該基準フレーム超解像画像の生成に用いた第1補助情報を基準フレーム超解像補助情報として出力する基準フレーム超解像部と、
前記画像縮小部により生成された、前記複数の参照フレームの縮小画像列に対し、複数の第2補助情報を用いて、第2補助情報ごとに超解像画像列を生成し、該第2補助情報ごとの参照フレーム超解像画像列として出力する参照フレーム超解像部と、
前記基準フレーム超解像画像に対して、前記動きベクトル及び前記第2補助情報ごとの参照フレーム超解像画像列を用いて画素補完を行って前記第2補助情報ごとの補完画像を生成し、前記基準フレームとの差分値が最小となる補完画像の生成に用いた第2補助情報を参照フレーム超解像補助情報として出力する複数フレーム再構成判定部と、を備え、
前記基準フレーム超解像補助情報と、前記参照フレーム超解像補助情報とを、前記超解像補助情報として出力することを特徴とする超解像補助情報生成装置。 A super-resolution auxiliary information generating device that generates super-resolution auxiliary information used when generating a super-resolution image from a reduced image sequence obtained by reducing an original image sequence,
The reference frame of the original image sequence, for each block of a predetermined size, a motion vector detecting section for detecting a motion vector between the plurality of reference frames of the original image sequence,
An image reducing unit that generates the reduced image sequence obtained by reducing the original image sequence with a predetermined reduction ratio,
Said it generated by the image reduction unit, with respect to the reduced image of the reference frame, using a plurality of first auxiliary information, each first auxiliary information to generate a super-resolution image, ultra resolution the reference frame The super-resolution image having the smallest difference value between the image and the image reduced to the same size is selected as the reference frame super-resolution image, and the first auxiliary information used for generating the reference frame super-resolution image is used as the reference frame. A reference frame super-resolution part to be output as super-resolution auxiliary information;
The image reducing unit is generated by, with respect to the reduced image sequence of the plurality of reference frames by using a plurality of second auxiliary information for each second auxiliary information to generate a super-resolution image sequence, the second auxiliary A reference frame super-resolution unit that outputs a reference frame super-resolution image sequence for each information ;
For the base frame super-resolution image, pixel interpolation is performed using the motion vector and a reference frame super-resolution image sequence for each second auxiliary information to generate a complementary image for each second auxiliary information, and a plurality of frames reconstructed determination unit difference value is output as the reference frame super-resolution assist information a second auxiliary information used to generate the smallest complementary image of the reference frame,
It said reference frame and super-resolution assist information, and the reference frame super resolution supplementary information, the super-resolution assist information generating apparatus according to claim also be output from the super-resolution auxiliary information.
前記基準フレーム超解像画像に対して、前記参照フレーム超解像画像列を前記動きベクトル用いて位置合わせすることで画素補完を行って前記第2補助情報ごとの位置合わせ画像を生成する位置合わせ処理部と、
前記第2補助情報ごとの位置合わせ画像を、点広がり関数を用いて前記原画像列の各フレームと同一サイズとなるように画素補完し、前記第2補助情報ごとの補完画像を生成する画像補完処理部と、
前記第2補助情報ごとの補完画像と前記基準フレームとの差分値を算出し、該差分値が最小となる補完画像の生成に用いた第2補助情報を参照フレーム超解像補助情報として出力する参照フレーム超解像補助情報決定部と、
を備えることを特徴とする、請求項1に記載の超解像補助情報生成装置。 The multi-frame reconstruction determination unit
Alignment for generating a registration image for each of the second auxiliary information by performing pixel interpolation by aligning the reference frame super-resolution image sequence with the motion vector with respect to the reference frame super-resolution image A processing unit;
Alignment image for each of the second auxiliary information, an image complementary to the aforementioned pixel interpolation so that the frame and the same size of the original image sequence with the point spread function to generate a complementary image of each of the second auxiliary information A processing unit;
The difference value between the complementary image for each of the second auxiliary information and the reference frame is calculated, and the second auxiliary information used to generate the complementary image that minimizes the difference value is output as reference frame super-resolution auxiliary information. A reference frame super-resolution auxiliary information determination unit;
The super-resolution auxiliary information generation device according to claim 1, comprising:
前記画像縮小部にて前記原画像列のオクターブ分解により生成された分解階数nの前記基準フレームの縮小画像をオクターブ分解して、分解階数n+1における水平、垂直、斜め方向の高周波領域成分の基準フレーム分解画像を生成する基準フレームオクターブ分解部と、
前記基準フレームオクターブ分解部により生成された水平、垂直、斜め方向の高周波領域成分の基準フレーム分解画像の各々を空間低周波領域成分とし、同じサイズのゼロ行列を空間高周波領域成分に設定した画像に対してオクターブ再構成処理を施して、分解階数nにおける水平、垂直、斜め方向の各高周波領域成分の基準フレーム再構成画像を生成する基準フレームオクターブ再構成部と、
前記基準フレーム再構成画像に対して、前記第1補助情報を用いたフィルタリング処理を行ってフィルタリング画像を生成し、該フィルタリング画像を高周波成分に設定し前記基準フレームの縮小画像を低周波成分に設定した画像に対してオクターブ再構成処理を施して分解階数n−1における基準フレームフィルタ適用再構成画像を前記第1補助情報ごとに生成する基準フレームフィルタ適用オクターブ再構成部と、
前記基準フレームフィルタ適用再構成画像の低周波成分と、前記画像縮小部にて前記原画像列のオクターブ分解により生成された分解階数n−1の基準フレームの縮小画像の低周波成分との差分値を算出し、該差分値が最小となる分解階数n−1における再構成画像の低周波成分を前記基準フレーム超解像画像とする基準フレーム超解像画像・超解像補助情報決定部と、
を備えることを特徴とする、請求項1又は2に記載の超解像補助情報生成装置。 The reference frame super-resolution part is
Wherein a reduced image of the reference frame of the decomposition rank n generated by the octave decomposition of the original image sequence by the image reduction unit and octave exploded, horizontal in the degradation rank n + 1, the vertical reference frame in an oblique direction of the high-frequency domain components A reference frame octave decomposition unit for generating a decomposition image;
Each of the reference frame decomposition images of the horizontal, vertical, and diagonal high frequency region components generated by the reference frame octave decomposition unit is a spatial low frequency region component, and an image in which a zero matrix of the same size is set as the spatial high frequency region component A reference frame octave reconstruction unit that performs octave reconstruction processing on the decomposition rank n to generate a reference frame reconstructed image of each high-frequency region component in the horizontal, vertical, and diagonal directions;
The reference frame reconstructed image is filtered using the first auxiliary information to generate a filtered image, the filtered image is set as a high frequency component, and the reduced image of the reference frame is set as a low frequency component A reference frame filter applied octave reconstruction unit that performs an octave reconstruction process on the generated image and generates a reference frame filter applied reconstructed image in decomposition rank n-1 for each of the first auxiliary information;
Wherein the low-frequency component of the reference frame filter application reconstructed image, a difference value between the low-frequency component of the reduced image degradation rank n-1 reference frame generated by the octave decomposition of the original image sequence by the image reduction unit A reference frame super-resolution image / super-resolution auxiliary information determination unit that uses the low-frequency component of the reconstructed image in the decomposition rank n−1 that minimizes the difference value as the reference frame super-resolution image,
The super-resolution auxiliary information generation device according to claim 1, comprising:
前記画像縮小部にて前記原画像列のオクターブ分解により生成された分解階数nの前記複数の参照フレームの縮小画像列をオクターブ分解して、分解階数n+1における水平、垂直、斜め方向の高周波領域成分の分解画像を生成する参照フレームオクターブ分解部と、
前記参照フレームオクターブ分解部により生成された水平、垂直、斜め方向の高周波領域成分の参照フレーム分解画像の各々を空間低周波領域成分とし、同じサイズのゼロ行列を空間高周波領域成分に設定した画像に対してオクターブ再構成処理を施して、分解階数nにおける水平、垂直、斜め方向の各高周波領域成分の参照フレーム再構成画像を生成する参照フレームオクターブ再構成部と、
前記参照フレーム再構成画像に対して、前記第2補助情報を用いたフィルタリング処理を行ってフィルタリング画像を生成し、該フィルタリング画像を高周波成分に設定し前記複数の参照フレームの縮小画像列を低周波成分に設定した画像に対してオクターブ再構成処理を施して分解階数n−1における参照フレームフィルタ適用再構成画像を前記第2補助情報ごとに生成し、該生成した第2補助情報ごとの参照フレームフィルタ適用再構成画像を前記参照フレーム超解像画像列とする参照フレームフィルタ適用オクターブ再構成部と、
を備えることを特徴とする、請求項1〜3のいずれか一項に記載の超解像補助情報生成装置。 The reference frame super-resolution unit is
Wherein the plurality of reduced images sequence of the reference frame by octave exploded, horizontal in the degradation rank n + 1, vertical, diagonal direction high-frequency domain components of the decomposition rank n generated by the octave decomposition of the original image sequence by the image reduction unit A reference frame octave decomposition unit for generating a decomposition image of
Each of the horizontal, vertical, and diagonal high-frequency region component reference frame decomposition images generated by the reference frame octave decomposition unit is a spatial low-frequency region component, and an image in which a zero matrix of the same size is set as the spatial high-frequency region component A reference frame octave reconstruction unit that performs octave reconstruction processing on the decomposition rank n to generate reference frame reconstructed images of horizontal, vertical, and diagonal high-frequency region components;
The reference frame reconstructed image is subjected to a filtering process using the second auxiliary information to generate a filtered image, the filtered image is set as a high frequency component, and the reduced image sequence of the plurality of reference frames is set to a low frequency An octave reconstruction process is performed on the image set as the component to generate a reference frame filter applied reconstructed image in decomposition rank n−1 for each of the second auxiliary information, and a reference frame for each of the generated second auxiliary information A reference frame filter application octave reconstruction unit that uses the filter application reconstructed image as the reference frame super-resolution image sequence;
The super-resolution auxiliary information generation device according to claim 1, comprising:
前記原画像列における複数フレームにわたる時間方向の高周波領域のパワーの割合が大きいほど大きなブロックサイズ及び大きな動き探索範囲の大きさとなるように階層的に規定した分解能、又は動画像における1フレームの空間方向の低周波領域のパワーの割合が大きいほど大きなブロックサイズ及び大きな動き探索範囲の大きさとなるように階層的に規定した分解能のテーブルを保持しており、
当該時間方向の高周波領域のパワーの割合又は空間方向の低周波領域のパワーの割合を検出して分解能の値を決定する分解能決定部と、
前記テーブルを参照して、前記分解能の値に対応するブロックサイズ及び動き探索範囲の大きさの階層から動きベクトル検出を開始して、次第に該ブロックサイズよりも小さいブロックサイズ及び該動き探索範囲の大きさよりも小さい動き探索範囲の大きさの階層での動きベクトル検出へと移行する階層型動きベクトル検出部と、
を備えることを特徴とする、請求項1〜5のいずれか一項に記載の超解像補助情報生成装置。 The motion vector detection unit
Spatial direction of a frame in said hierarchically defining the resolution so that the size of a large block size and a large motion estimation range ratio of power in the time direction of the high-frequency region over a plurality of frames is large in the original image sequence, or a moving image A table of resolutions defined hierarchically so that the larger the power ratio in the low frequency region is, the larger the block size and the larger the motion search range is,
A resolution determination unit that determines a resolution value by detecting a power ratio of the high-frequency region in the time direction or a power ratio of the low-frequency region in the spatial direction;
With reference to the table, motion vector detection is started from the hierarchy of the block size and the motion search range corresponding to the resolution value, and the block size and the motion search range are gradually smaller than the block size. A hierarchical motion vector detection unit that shifts to motion vector detection in a hierarchy of a size of a motion search range smaller than
The super-resolution auxiliary information generation device according to claim 1, comprising:
前記動きベクトル検出部により検出された動きベクトルの情報、前記画像縮小部により生成された縮小画像列、前記基準フレーム超解像部により生成された基準フレーム超解像補助情報、及び前記複数フレーム再構成判定部により生成された参照フレーム超解像補助情報を符号化した符号化データを生成することを特徴とする符号化装置。 The super-resolution auxiliary information generating device according to any one of claims 1 to 6,
Information on the motion vector detected by the motion vector detection unit, a reduced image sequence generated by the image reduction unit, reference frame super-resolution auxiliary information generated by the reference frame super-resolution unit, An encoding apparatus that generates encoded data obtained by encoding reference frame super-resolution auxiliary information generated by a configuration determination unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011129499A JP5717548B2 (en) | 2011-06-09 | 2011-06-09 | Super-resolution auxiliary information generation device, encoding device, decoding device, and programs thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011129499A JP5717548B2 (en) | 2011-06-09 | 2011-06-09 | Super-resolution auxiliary information generation device, encoding device, decoding device, and programs thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012257120A JP2012257120A (en) | 2012-12-27 |
JP5717548B2 true JP5717548B2 (en) | 2015-05-13 |
Family
ID=47528247
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011129499A Active JP5717548B2 (en) | 2011-06-09 | 2011-06-09 | Super-resolution auxiliary information generation device, encoding device, decoding device, and programs thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5717548B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5921469B2 (en) * | 2013-03-11 | 2016-05-24 | 株式会社東芝 | Information processing apparatus, cloud platform, information processing method and program thereof |
WO2016185598A1 (en) * | 2015-05-21 | 2016-11-24 | オリンパス株式会社 | Image pickup device, image processing apparatus, image processing method, image processing program, and storage medium |
JP7002213B2 (en) * | 2017-05-01 | 2022-01-20 | 日本放送協会 | Spatial / gradation super-resolution device and program |
WO2021112652A1 (en) * | 2019-12-05 | 2021-06-10 | 한국전자통신연구원 | Method, apparatus, and recording medium for region-based differential image encoding/decoding |
CN112565767B (en) * | 2020-06-04 | 2022-04-01 | 腾讯科技(深圳)有限公司 | Video decoding method, video encoding method and related equipment |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006174415A (en) * | 2004-11-19 | 2006-06-29 | Ntt Docomo Inc | Image decoding apparatus, image decoding program, image decoding method, image encoding apparatus, image encoding program, and image encoding method |
JP4874175B2 (en) * | 2006-06-28 | 2012-02-15 | パナソニック株式会社 | Image enlargement method, image enlargement apparatus, integrated circuit, and program |
JP5098081B2 (en) * | 2007-07-19 | 2012-12-12 | オリンパス株式会社 | Image processing method and image processing apparatus |
EP2144432A1 (en) * | 2008-07-08 | 2010-01-13 | Panasonic Corporation | Adaptive color format conversion and deconversion |
JP2010218271A (en) * | 2009-03-17 | 2010-09-30 | Tokyo Institute Of Technology | Parameter control processing apparatus and image processing apparatus |
JP5140638B2 (en) * | 2009-06-22 | 2013-02-06 | 日本放送協会 | Spatial downsampling processing device, spatial upsampling processing device, encoding device, decoding device, and program |
JP5331643B2 (en) * | 2009-10-05 | 2013-10-30 | 日本放送協会 | Motion vector detection apparatus and program |
-
2011
- 2011-06-09 JP JP2011129499A patent/JP5717548B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012257120A (en) | 2012-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5727873B2 (en) | Motion vector detection device, encoding device, and program thereof | |
JP5717548B2 (en) | Super-resolution auxiliary information generation device, encoding device, decoding device, and programs thereof | |
JP2006521048A (en) | Method and apparatus for encoding and decoding an image sequence by motion / texture decomposition and wavelet encoding | |
JP5140638B2 (en) | Spatial downsampling processing device, spatial upsampling processing device, encoding device, decoding device, and program | |
JP6462372B2 (en) | Super-resolution device and program | |
JP2014521275A (en) | Adaptive upsampling method, program and computer system for spatially scalable video coding | |
Harikrishna et al. | Satellite image resolution enhancement using dwt technique | |
Lama et al. | Interpolation using wavelet transform and discrete cosine transform for high resolution display | |
JP5514132B2 (en) | Image reduction device, image enlargement device, and program thereof | |
JP5829898B2 (en) | Image space super-resolution apparatus and program | |
US20060284891A1 (en) | Method for spatial up-scaling of video frames | |
JP5331643B2 (en) | Motion vector detection apparatus and program | |
JP5498970B2 (en) | Image reduction device, image enlargement device, and program thereof | |
Lama et al. | Image interpolation for high-resolution display based on the complex dual-tree wavelet transform and hidden Markov model | |
JP5894422B2 (en) | Spatio-temporal low correlation image super-resolution device, image space super-resolution device, and program thereof | |
KR20110017336A (en) | Method and apparatus for reconstructing high-resolution image by using multi-layer low-resolution image | |
JP5419795B2 (en) | Image coding apparatus and program | |
JP5140637B2 (en) | Spatiotemporal downsampling processing device, spatiotemporal upsampling processing device, encoding device, decoding device, and program | |
Lama et al. | New interpolation method based on combination of discrete cosine transform and wavelet transform | |
JP5570448B2 (en) | Image region dividing apparatus and program | |
JP5463250B2 (en) | Image reconstruction device, encoding device, decoding device, and program | |
JP6388476B2 (en) | Encoding apparatus and program | |
JP5520687B2 (en) | Motion estimation apparatus and program | |
JP2007174285A (en) | Video signal hierarchical encoding apparatus, video signal hierarchical encoding method, and video signal hierarchical encoding program | |
Jarande et al. | Comparative analysis of image enhancement techniques |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140109 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150217 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150317 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5717548 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |