JP5436371B2 - Video encoding system, video encoding device, video decoding device, video encoding method, video encoding program, and video decoding program - Google Patents
Video encoding system, video encoding device, video decoding device, video encoding method, video encoding program, and video decoding program Download PDFInfo
- Publication number
- JP5436371B2 JP5436371B2 JP2010188879A JP2010188879A JP5436371B2 JP 5436371 B2 JP5436371 B2 JP 5436371B2 JP 2010188879 A JP2010188879 A JP 2010188879A JP 2010188879 A JP2010188879 A JP 2010188879A JP 5436371 B2 JP5436371 B2 JP 5436371B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- super
- encoding
- resolution
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、映像符号化システム及び映像符号化装置及び映像復号装置及び映像符号化方法及び映像符号化プログラム及び映像復号プログラムに係り、特に、撮影された映像を超解像復元により高解像度化するための映像符号化システム及び映像符号化装置及び映像復号装置及び映像符号化方法及び映像符号化プログラム及び映像復号プログラムに関する。 The present invention relates to a video encoding system, a video encoding device, a video decoding device, a video encoding method, a video encoding program, and a video decoding program, and in particular, increases the resolution of a captured video by super-resolution restoration. The present invention relates to a video encoding system, a video encoding device, a video decoding device, a video encoding method, a video encoding program, and a video decoding program.
高精細な映像（画像）が医療、セキュリティ、リモートセンシング、マルチメディアなどの分野で求められている。高価な撮像素子はコストが高く、いずれ性能限界を迎える。そこで、ソフトウェアによる高解像度化、特に、超解像技術が注目されている。「超解像復元」は、複数枚の観測画像から１枚の高解像度画像を推定する画像処理技術である。 High-definition images (images) are required in fields such as medical care, security, remote sensing, and multimedia. Expensive image sensors are expensive and will eventually reach their performance limits. Therefore, high resolution by software, in particular, super-resolution technology has attracted attention. “Super-resolution restoration” is an image processing technique for estimating one high-resolution image from a plurality of observation images.
一方、一般にカメラで撮影された画像や動画像は伝送コストやストレージコストを減らすために圧縮される。映像の圧縮符号化は伝送コスト、ストレージコストを小さくするために不可欠な処理である。しかし、その際に発生する量子化ノイズの影響で超解像の精度が低下し、高精細な映像を得ることができない。 On the other hand, images and moving images taken with a camera are generally compressed to reduce transmission costs and storage costs. Video compression encoding is an indispensable process for reducing transmission costs and storage costs. However, the super-resolution accuracy is lowered due to the influence of quantization noise generated at that time, and a high-definition image cannot be obtained.
ここでは、最初に、映像符号化と超解像復元の両分野にまたがる先行研究の従来技術を説明する。映像符号化と超解像復元の両分野にまたがる先行研究は、「圧縮された映像に対する超解像復元」と「超解像を利用した高効率圧縮」の２つに分類される。 Here, first, the prior art of the prior research that covers both the fields of video coding and super-resolution restoration will be described. Prior research that spans both the field of video coding and super-resolution decompression can be divided into two categories: “super-resolution decompression for compressed video” and “high-efficiency compression using super-resolution”.
（１）圧縮された映像に対する超解像復元
圧縮による量子化ノイズを含む複数枚の低解像度画像から１枚の高解像度画像を推定する方法がある（例えば、非特許文献１参照）。この方法は、通常の超解像復元よりも問題が複雑化し、また、高解像度画像の推定精度は低下する。また、量子化によって失われた周波数帯域を復元することは極めて困難である。
(1) Super-resolution restoration for compressed video There is a method for estimating one high-resolution image from a plurality of low-resolution images including quantization noise due to compression (for example, see Non-Patent Document 1). This method is more complicated than normal super-resolution restoration, and the accuracy of high-resolution image estimation is reduced. In addition, it is extremely difficult to restore a frequency band lost due to quantization.
（２）超解像を利用した高効率圧縮
映像の圧縮効率を高めるために超解像復元を利用する方法がある（例えば、非特許文献２，３，４，５参照）。この方法は、エンコーダ側で映像の全フレーム（あるいは一部）をダウンサンプルし、デコーダ側で超解像復元を行うことにより元の高精細映像に近い映像を出力することができる。
(2) High-efficiency compression using super-resolution There is a method that uses super-resolution restoration in order to increase the compression efficiency of video (for example, see Non-Patent Documents 2, 3, 4, and 5). This method can output a video close to the original high-definition video by down-sampling all frames (or a part) of the video on the encoder side and performing super-resolution restoration on the decoder side.
上記のように、本来、「映像の高圧縮」と「超解像復元の精度維持」とでは、その目的が相反するため、超解像復元の精度を維持したまま対象の映像を高圧縮することが困難であった。 As described above, because the objectives of “high compression of video” and “maintaining accuracy of super-resolution restoration” are contradictory to each other, the target video is highly compressed while maintaining the accuracy of super-resolution restoration. It was difficult.
本発明は、上記の点に鑑みなされたもので、「映像の高圧縮」と「超解像復元の精度維持」を両立させることが可能な映像符号化システム及び映像符号化装置及び映像復号装置及び映像符号化方法及び映像符号化プログラム及び映像復号プログラムを提供することを目的とする。 The present invention has been made in view of the above points, and is a video encoding system, a video encoding device, and a video decoding device capable of achieving both “high compression of video” and “maintaining accuracy of super-resolution restoration”. Another object of the present invention is to provide a video encoding method, a video encoding program, and a video decoding program.
上記の課題を解決するため、本発明（請求項１）は、撮影された複数枚の観測画像から１枚の高解像度画像を推定する超解像復元に適した領域ごとの映像符号化システムであって、
映像符号化装置と復号装置からなり、
前記映像符号化装置は、
符号化の対象とする画像の圧縮符号化を行う符号化手段と、
前記符号化手段の前段に、動き領域のうち動きが並進近似できる超解像可能領域、並進近似できない特異領域、平坦・静止領域に領域分割し、分割した結果をサイド情報として前記復号装置に送出する領域分割手段と、を有する。
In order to solve the above problems, the present invention (Claim 1) is a video coding system for each region suitable for super-resolution restoration that estimates one high-resolution image from a plurality of taken observation images. There,
It consists of a video encoding device and a decoding device,
The video encoding device includes:
Encoding means for compressing and encoding an image to be encoded;
Before the encoding means, the motion region is divided into a super-resolvable region in which motion can be approximated in translation, a singular region in which motion cannot be approximated, and a flat / static region, and the divided result is sent to the decoding device as side information. And an area dividing means for performing.
また、本発明（請求項２）は、請求項１の前記領域分割手段において、
主成分分析により求められた主成分画像に対してブロック毎に閾値処理を行うことにより動き領域を決定する動き領域判別手段と、
フーリエ振幅スペクトルの主成分分析を行い、主成分スペクトルで所定の値より大きな値を持つブロックを特異領域とする特異領域判別手段と、
前記動き領域判別手段により決定された前記動き領域と前記特異領域判別手段で決定された特異領域の差分を超解像可能領域と判定する超解像可能領域判定手段と、を含む。
The present invention (Claim 2) is the area dividing means according to Claim 1,
A motion region discriminating means for determining a motion region by performing threshold processing for each block on a principal component image obtained by principal component analysis;
A singular region discriminating means for performing a principal component analysis of the Fourier amplitude spectrum and setting a block having a value larger than a predetermined value in the principal component spectrum as a singular region;
Super-resolvable area determination means for determining a difference between the motion area determined by the movement area determination means and the specific area determined by the specific area determination means as a super-resolution area.
また、本発明（請求項３）は、請求項１の前記符号化手段において、
前記領域分割手段にて前記超解像可能領域と判定された該領域内のマクロブロックに対して、フレーム間誤差をサブピクセル位置ずれ量に基づいて低減するインター符号化を行う手段を含む。
The present invention (Claim 3) is the encoding means according to Claim 1,
Comprising means for performing inter-coding to reduce the basis with respect to the region dividing means in the super resolution region and the determined within that region of the macroblock, a difference erroneous inter-frame into sub-pixel position shift amount.
また、本発明（請求項４）は、請求項１の前記復号装置において、
前記符号化装置で符号化されたブロックが入力されると、該符号化装置の前記領域分割手段から取得した前記サイド情報に基づいて、各ブロック毎に前記超解像可能領域、前記特異領域、前記平坦・静止領域に分類し、該超解像可能領域に対しては、複数枚の観測画像から１枚の高解像度画像を推定する超解像復元を行い、他の領域については補間を行う復号手段を有する。
The present invention (Claim 4) is the decoding apparatus according to Claim 1,
When a block encoded by the encoding device is input, based on the side information acquired from the region dividing unit of the encoding device, the super-resolvable region for each block, the singular region , the classified into flat-stationary region, for the super resolution region, performs a super-resolution reconstruction of estimating one high-resolution image from a plurality of observation images, performs interpolation for the other region It has a decoding means.
また、本発明（請求項５）は、撮影された複数枚の観測画像から１枚の高解像度画像を推定する超解像復元に適した領域毎に符号化を行う映像符号化装置であって、
符号化の対象とする画像の圧縮符号化を行う符号化手段と、
前記符号化手段の前段に、動き領域のうち動きが並進近似できる超解像可能領域、並進近似できない特異領域、平坦・静止領域に領域分割し、分割した結果をサイド情報として前記復号装置に送出する領域分割手段と、を有する。
The present invention (Claim 5) is a video encoding apparatus that performs encoding for each region suitable for super-resolution restoration in which one high-resolution image is estimated from a plurality of captured observation images. ,
Encoding means for compressing and encoding an image to be encoded;
Before the encoding means, the motion region is divided into a super-resolvable region in which motion can be approximated in translation, a singular region in which motion cannot be approximated, and a flat / static region, and the divided result is sent to the decoding device as side information. And an area dividing means for performing.
また、本発明（請求項６）は、請求項５の前記領域分割手段において、
主成分分析により求められた主成分画像に対してブロック毎に閾値処理を行うことにより動き領域を決定する動き領域判別手段と、
フーリエ振幅スペクトルの主成分分析を行い、主成分スペクトルで所定の値より大きな値を持つブロックを特異領域とする特異領域判別手段と、
前記動き領域判別手段により決定された前記動き領域と前記特異領域判別手段で決定された特異領域の差分を超解像可能領域と判定する超解像可能領域判定手段と、を含む。
The present invention (Claim 6) is the area dividing means according to Claim 5,
A motion region discriminating means for determining a motion region by performing threshold processing for each block on a principal component image obtained by principal component analysis;
A singular region discriminating means for performing a principal component analysis of the Fourier amplitude spectrum and setting a block having a value larger than a predetermined value in the principal component spectrum as a singular region;
Super-resolvable area determination means for determining a difference between the motion area determined by the movement area determination means and the specific area determined by the specific area determination means as a super-resolution area.
また、本発明（請求項７）は、請求項５または６の前記符号化手段において、
前記領域分割手段にて前記超解像可能領域と判定された該領域内のマクロブロックに対して、フレーム間誤差をサブピクセル位置ずれ量に基づいて低減するインター符号化を行う手段を含む。
The present invention (Claim 7) is the encoding means according to Claim 5 or 6,
Comprising means for performing inter-coding to reduce the basis with respect to the region dividing means in the super resolution region and the determined within that region of the macroblock, a difference erroneous inter-frame into sub-pixel position shift amount.
また、本発明（請求項８）は、撮影された複数枚の観測画像から１枚の高解像度画像を推定する超解像復元に適した領域毎に符号化を行う映像符号化装置から入力されたデータを復号する映像復号装置であって、
前記符号化装置で符号化されたブロックが入力されると、該符号化装置から入力された領域分割の結果であるサイド情報に基づいて、各ブロック毎に、動き領域のうち動きが並進近似できる超解像可能領域、並進近似できない特異領域、平坦・静止領域に分類し、該超解像可能領域に対しては、複数枚の観測画像から１枚の高解像度画像を推定する超解像復元を行い、他の領域については補間を行う復号手段を有する。
The present invention (Claim 8) is input from a video encoding device that performs encoding for each region suitable for super-resolution restoration in which one high-resolution image is estimated from a plurality of captured observation images. A video decoding device for decoding the received data,
When a block encoded by the encoding device is input , the motion of the motion region can be approximated by translation for each block based on the side information that is the result of region division input from the encoding device. super resolution region, can not translate approximate singular region, classified into Tan Taira still region, for the ultra-resolvable area, super-resolution to estimate one high-resolution image from a plurality of observation images Decoding means for performing image restoration and interpolating for other regions is provided.
また、本発明（請求項９）は、撮影された複数枚の観測画像から１枚の高解像度画像を推定する超解像復元に適した領域毎に符号化及び復号化を行う映像符号化・復号化方法であって、
映像符号化装置と復号装置からなるシステムにおいて、
前記映像符号化装置は、
符号化を行う前処理として、動き領域のうち動きが並進近似できる超解像可能領域、並進近似できない特異領域、平坦・静止領域に領域分割し、分割した結果をサイド情報として前記復号装置に送出する領域分割ステップと、
符号化の対象とする画像の圧縮符号化を行う符号化ステップと、を行い、
前記復号装置は、
前記符号化装置で符号化されたブロックが入力されると、該符号化装置から取得した前記サイド情報に基づいて、各ブロック毎に前記超解像可能領域、前記特異領域、前記平坦・静止領域に分類し、該超解像可能領域に対しては、複数枚の観測画像から１枚の高解像度画像を推定する超解像復元を行い、他の領域については補間を行う復号ステップを行う。
Further, the present invention (Claim 9) is a video encoding / decoding unit that performs encoding and decoding for each region suitable for super-resolution restoration in which one high-resolution image is estimated from a plurality of captured images. A decryption method comprising:
In a system consisting of a video encoding device and a decoding device,
The video encoding device includes:
As pre-processing for encoding, the motion region is divided into a super-resolvable region in which motion can be approximated in translation, a singular region in which motion cannot be approximated, and a flat / static region, and the divided result is sent to the decoding device as side information. A region segmentation step to be performed;
An encoding step for performing compression encoding of an image to be encoded, and
The decoding device
When encoded block by the coding device is inputted, on the basis of the side information obtained from the coding device, the super-resolution region in each block, said specific region, the flat-stationary region classified into, for the super resolution region, it performs a super-resolution reconstruction of estimating one high-resolution image from a plurality of observation images, for other regions performs decoding step of performing an interpolation.
また、本発明（請求項１０）は、請求項９の前記領域分割ステップにおいて、
主成分分析により求められた主成分画像に対してブロック毎に閾値処理を行うことにより動き領域を決定する動き領域判別ステップと、
フーリエ振幅スペクトルの主成分分析を行い、主成分スペクトルで所定の値より大きな値を持つブロックを特異領域とする特異領域判別ステップと、
前記動き領域判別ステップで決定された前記動き領域と前記特異領域判別ステップで決定された特異領域の差分を超解像可能領域と判定する超解像可能領域判定ステップと、を行う。
Moreover, this invention (Claim 10) is the area dividing step of Claim 9,
A motion region determination step for determining a motion region by performing threshold processing for each block on the principal component image obtained by principal component analysis;
Performing a principal component analysis of the Fourier amplitude spectrum, and determining a singular region with a block having a value larger than a predetermined value in the principal component spectrum as a singular region;
Performing a super-resolvable region determination step of determining a difference between the motion region determined in the motion region determination step and the specific region determined in the specific region determination step as a super-resolvable region.
また、本発明（請求項１１）は、請求項９または１０の前記領域分割ステップにおいて、
前記領域分割ステップにて前記超解像可能領域と判定された該領域内のマクロブロックに対して、フレーム間誤差をサブピクセル位置ずれ量に基づいて低減するインター符号化を行う。
Moreover, this invention (Claim 11), in the region dividing step of Claim 9 or 10,
To the super-resolution region and the determined within that region of the macro block in said area dividing step performs inter encoding to reduce the basis of differences erroneous inter-frame into sub-pixel position shift amount.
また、本発明（請求項１２）は、請求項５乃至７のいずれか１項に記載の映像符号化装置を構成する各手段としてコンピュータを機能させるための映像符号化プログラムである。 The present invention (Claim 12) is a video encoding program for causing a computer to function as each means constituting the video encoding apparatus according to any one of Claims 5 to 7.
また、本発明（請求項１３）は、請求項８に記載の映像復号装置を構成する各手段としてコンピュータを機能させるための映像復号プログラムである。 The present invention (Claim 13) is a video decoding program for causing a computer to function as each means constituting the video decoding apparatus according to Claim 8.
上記のように、本発明によれば、並進に近い動き領域を検出することで高解像度化が可能な領域を推定することができ、超解像度画像の復元画像の品質を向上させることが可能となる。 As described above, according to the present invention, it is possible to estimate a region capable of high resolution by detecting a motion region close to translation, and to improve the quality of a restored image of a super-resolution image. Become.
さらに、本発明による中間データを経由したインター符号化は、映像の高圧縮と超解像復元の精度維持を両立する優れた効果を奏する。 Furthermore, the inter coding via the intermediate data according to the present invention has an excellent effect of achieving both high compression of video and maintaining the accuracy of super-resolution restoration.
以下図面と共に、本発明の実施の形態を説明する。 Embodiments of the present invention will be described below with reference to the drawings.
本発明は、超解像復元にFarisuらの文献１「S. Farsiu, M. D. Robinson, M. Elad and P. Milanfar, "Fast and robust multi-frame super-resolution," IEEE Transactions on Image Proc. vol. 13, no. 10, pp. 1327-1344, 2004」の手法を用いることを前提にした符号化である。この手法により「映像の高圧縮」と「超解像復元の精度維持」を両立させることができる。 The present invention is based on Farisu et al., “S. Farsiu, MD Robinson, M. Elad and P. Milanfar,“ Fast and robust multi-frame super-resolution, ”IEEE Transactions on Image Proc. Vol. 13, no. 10, pp. 1327-1344, 2004 ”. By this method, it is possible to achieve both “high compression of video” and “maintaining accuracy of super-resolution restoration”.
［第１の実施の形態］
従来の超解像復元は複数枚の観測画像をサブピクセル精度で位置合わせた後、MAP(Maximum a posteriori:最大事後確率)推定や最尤推定など計算コストの高い処理により高解像度画像を推定する。Farisuらの文献１の手法は、この計算コストの高い過程を「fusion」と「ぼけ除去＋補間」の２つに分ける。これらの処理はそれぞれ高速に行うことができる。
[First Embodiment]
In conventional super-resolution reconstruction, multiple observation images are aligned with sub-pixel accuracy, and then high-resolution images are estimated by high-cost processing such as MAP (Maximum a posteriori) estimation and maximum likelihood estimation. . The technique of Farisu et al.'S document 1 divides this high-cost process into “fusion” and “blur removal + interpolation”. Each of these processes can be performed at high speed.
以下に詳細に説明する。 This will be described in detail below.
「fusion」は、複数枚の観測画像を高解像度格子に位置合わせを行った際に、格子点ごとに位置合わせで重なる画素値のメディアン（中央値）をとる処理である。この画像を本発明では「中間データ」と定義する。 “Fusion” is a process of taking a median (median value) of pixel values that overlap each other for each lattice point when aligning a plurality of observation images with a high-resolution lattice. In the present invention, this image is defined as “intermediate data”.
図１は、複数枚の観測画像（２×２ピクセル）を２倍の高解像度格子に位置合わせさせる様子を表す。「ボケ除去＋補間」では、「fusion」で求まった中間データに対しMAP推定を行う。ボケの除去と同時に「fusion」で画素が位置合わせできなかった格子点の画素を推定する。なお、１枚の中間データから１枚の高解像度画像を推定するMAP推定の計算コストは小さい。 FIG. 1 shows a state where a plurality of observation images (2 × 2 pixels) are aligned with a double high-resolution grid. In “blur removal + interpolation”, MAP estimation is performed on the intermediate data obtained by “fusion”. Simultaneously with the removal of the blur, the pixel of the lattice point where the pixel cannot be aligned by “fusion” is estimated. Note that the calculation cost of MAP estimation for estimating one high-resolution image from one piece of intermediate data is small.
次に、映像の取得から高解像度映像出力までの従来の方法と本発明のフローを図２に示し、図３に本発明の符号化システムの構成を示す。 Next, FIG. 2 shows a conventional method from video acquisition to high-resolution video output and the flow of the present invention, and FIG. 3 shows the configuration of the coding system of the present invention.
従来の方法では、MPEG-2及びH.264等で符号化された映像を復号後、Farisuらの文献１に示される解像復元を行う。符号化はイントラ符号化とインター符号化に分けることができる。 In the conventional method, after decoding a video encoded with MPEG-2, H.264, or the like, resolution restoration shown in reference 1 of Farisu et al. Is performed. Coding can be divided into intra coding and inter coding.
インター符号化には、動き推定、動き補償、DCT(Discrete cosine Transform)変換、量子化、エントロピー符号化等が含まれる。 Inter coding includes motion estimation, motion compensation, DCT (Discrete cosine Transform) conversion, quantization, entropy coding, and the like.
図３に示す符号化システムのエンコーダ側（符号化装置１００）は、領域分割部１１０、動き推定部１２０、符号化部A１３０、符号化部B１４０から構成される。デコーダ側（復号装置２００）は、復号部２１０、超解像復元部２２０、補間部２２０から構成される。 The encoder side (encoding device 100) of the encoding system shown in FIG. 3 includes an area dividing unit 110, a motion estimation unit 120, an encoding unit A130, and an encoding unit B140. The decoder side (decoding device 200) includes a decoding unit 210, a super-resolution restoration unit 220, and an interpolation unit 220.
以下に、図３に示すシステムの動作を説明する。 The operation of the system shown in FIG. 3 will be described below.
図４は、本発明の第１の実施の形態における動作のフローチャートである。 FIG. 4 is a flowchart of the operation in the first embodiment of the present invention.
ステップ１０１） 符号化装置１００は、取得した映像に対して、領域分割部１１０において、GOP（Group Of Pictures）毎に、領域の分割を行い、動きが存在し、高解像度化が見込める領域である「超解像可能領域」、動きが存在するが高解像度化が見込めない領域である「特異領域」、及び、「静止・平坦領域」の３つに分類する。分類方法については後述する。領域分割の結果をサイド情報として、符号化部Ａ１３０，符号化部Ｂ１４０，復号装置２００の復号部２１０に送出する。 Step 101) The encoding apparatus 100 divides the area for each GOP (Group Of Pictures) in the area dividing unit 110 with respect to the acquired video, and there is a motion and an area where high resolution can be expected. The area is classified into “super-resolvable area”, “single area” which is an area where motion exists but high resolution cannot be expected, and “still / flat area”. The classification method will be described later. The result of area division is sent as side information to encoding section A 130, encoding section B 140, and decoding section 210 of decoding apparatus 200.
ステップ１０２） 動き推定部１２０は、サイド情報に基づいて、「超解像可能領域」及び「特異領域」に対して動き補償を行い、動き補償が施された「超解像可能領域」は符号化部A１３０に出力し、動き補償が行われた「特異領域」は符号化部B１４０に出力する。一方、「静止・平坦領域」は符号化部B１４０に出力する。 Step 102) The motion estimation unit 120 performs motion compensation on the “super-resolvable region” and the “singular region” based on the side information, and the “super-resolvable region” subjected to the motion compensation is a code. The “singular region” that has been output to the encoding unit A130 and subjected to motion compensation is output to the encoding unit B140. On the other hand, the “still / flat region” is output to the encoding unit B140.
ステップ１０３） 符号化部A１３０は、「超解像可能領域」に対してインターフレーム符号化を行い、その符号化データAを、符号化部B１４０は「特異領域」「静止・平坦領域」に対して従来の方法による符号化を行い、その符号化データBを、それぞれデコード側（復号装置２００）に送出する。 Step 103) The encoding unit A130 performs inter-frame encoding on the “super-resolvable region”, and the encoding unit B140 outputs the encoded data A to the “singular region” and “stationary / flat region”. Then, encoding is performed by a conventional method, and the encoded data B is sent to the decoding side (decoding device 200).
ステップ１０４） 復号装置２００の復号部２１０は、サイド情報に基づいて、符号化装置２００から入力された符号化データA及び符号化データBを復号し、復号された超解像可能領域のデータについては超解像復元部２２０において超解像復元して出力する。一方、復号された超解像可能領域以外のデータについては補間を行うことにより高解像度映像を出力する。 Step 104) Based on the side information, the decoding unit 210 of the decoding device 200 decodes the encoded data A and the encoded data B input from the encoding device 200, and the decoded data of the super-resolvable area Are super-resolution restored by the super-resolution restoration unit 220 and output. On the other hand, high-resolution video is output by performing interpolation on the data other than the decoded super-resolvable area.
以下に、各構成要素の動作を詳細に説明する。 Hereinafter, the operation of each component will be described in detail.
＜領域分割部１１０＞
次に、上記の領域分割部１１０における領域分割法について説明する。
<Region Dividing Unit 110>
Next, the region dividing method in the region dividing unit 110 will be described.
本発明は、画面全体にわたって高精細化することを考える。超解像復元はサブピクセルであるにしろ、動きが存在する領域に対して適用することができるが、いかなる領域でも高解像度化できるわけではない。超解像を行っても補間法による結果があまり変わらない場合、また、超解像復元を行うことでかえってノイズを発生させてしまうことが起こり得る。よって映像の中から動きが存在し、かつ高解像度化が期待できる「超解像可能領域」を抽出することが必要となる。デコーダ側の処理において、高解像度化が期待できない「特異領域」や「静止・平坦領域」に対しては補間法を適用することで、画面全体に対する処理量を小さくすることができ、また、上記のようなノイズ発生による劣化を防ぐことができる。さらに領域分割を符号化の前処理として行うことにより、領域毎に適した符号化を行うことが可能になる。 The present invention considers high definition over the entire screen. Although super-resolution restoration can be applied to an area where there is motion, although it is a sub-pixel, it does not mean that the resolution can be increased in any area. If the result of the interpolation method does not change much even when super-resolution is performed, it may occur that noise is generated by performing super-resolution restoration. Therefore, it is necessary to extract a “super-resolvable region” in which motion is present and high resolution can be expected. In the processing on the decoder side, the amount of processing for the entire screen can be reduced by applying an interpolation method to “singular regions” and “still / flat regions” for which high resolution cannot be expected. It is possible to prevent deterioration due to noise generation. Further, by performing region division as preprocessing for encoding, it is possible to perform encoding suitable for each region.
（１）超解像可能領域：
「超解像可能領域」とは、高解像度化が見込める領域であり、具体的には小領域毎に動きが並進で近似できる領域と定義する。その理由を以下に説明する。
(1) Super-resolution area:
The “super-resolvable region” is a region where high resolution can be expected, and specifically, is defined as a region where the motion can be approximated by translation for each small region. The reason will be described below.
単純な並進だけでなく、アフィン変換あるいは射影変換のような動きに対しても超解像復元による高解像化は可能である。しかし、実際の映像には線形変換で表すことのできない複雑な動きが存在し、そのような映像に超解像復元を適用するとかえってノイズが発生してしまう。複雑な動きは、例えば非剛体の動きやオクルージョンである。 Not only simple translation but also high resolution by super-resolution restoration is possible for movements such as affine transformation or projective transformation. However, there are complex motions that cannot be expressed by linear transformation in an actual video, and noise is generated when super-resolution restoration is applied to such video. The complicated movement is, for example, a non-rigid body movement or occlusion.
一般的に線形変換は、アフィン変換や射影変換であっても小領域毎に見ると並進で近似できる領域を「超解像可能領域」と定義し、近似できない動き領域を「特異領域」と定義する。 In general, in linear transformation, even if it is affine transformation or projective transformation, a region that can be approximated by translation is defined as a “super-resolvable region” and a motion region that cannot be approximated is defined as a “singular region”. To do.
（２）超解像可能領域判別：
領域分割部１１０は、超解像可能領域判別を以下の手順で行う。
(2) Super-resolvable area discrimination:
The area dividing unit 110 performs super-resolvable area determination according to the following procedure.
（ａ）動き領域の判別
（ｂ）特異領域の判別
（ｃ）上記の（ａ）、（ｂ）より動き領域から特異領域を引いて残った領域が超解像可能領域とする。
(A) Discrimination of motion region (b) Discrimination of singular region (c) The region remaining after subtracting the singular region from the motion region from the above (a) and (b) is set as a super-resolvable region.
以下に詳細に説明する。 This will be described in detail below.
図５は、本発明の一実施の形態における領域分割の例を示す。 FIG. 5 shows an example of area division according to an embodiment of the present invention.
（ａ）動き領域判別：
領域分割部１１０は、動き領域の判別にはBarretoらの非特許文献２に記載の手法を用いる。GOP（Group OF Picture）に含まれるＫ枚の画像ｆk（ｋ＝１，…，Ｋ）に対して、画像認識の分野で用いられる主成分分析（PCA）を行う（例えば、文献２「Gunturk, B. Batur, A, Altunbasak, Y. Hayes, M& Mersereau, R."Eigenface-domain super-resolution for face recognition" IEEE Transactions on Image Proc. 12, 597-606, 2003」を参照）。その第１成分を主成分画像ｐｃとすると、
(A) Motion region discrimination:
The area dividing unit 110 uses the technique described in Non-Patent Document 2 of Barreto et al. Principal component analysis (PCA) used in the field of image recognition is performed on K images f k (k = 1,..., K) included in a GOP (Group OF Picture) (for example, reference 2 “Gunturk”). B. Batur, A, Altunbasak, Y. Hayes, M & Mersereau, R. See "Eigenface-domain super-resolution for face recognition" IEEE Transactions on Image Proc. 12, 597-606, 2003 "). If the first component is the principal component image pc,
（ｂ）特異領域判別：
特異領域判別には、フーリエ振幅スペクトルの主成分分析を行う。フーリエ変換は式（２）のように信号の時間推移が周波数推移に相当する性質を持つ。
(B) Singular region discrimination:
For singular region discrimination, principal component analysis of the Fourier amplitude spectrum is performed. The Fourier transform has the property that the time transition of the signal corresponds to the frequency transition as shown in Equation (2).
その第１主成分を主成分スペクトルFpcとすると、 If the first principal component is the principal component spectrum F pc ,
主成分スペクトルで大きな値を持つブロックは特異領域である。なぜなら、各ブロック内の動きが並進に近ければ振幅スペクトルはほぼ等しく、主成分の値は小さいからである。 A block having a large value in the principal component spectrum is a singular region. This is because if the motion in each block is close to translation, the amplitude spectrum is almost equal and the value of the principal component is small.
なお、高速フーリエ変換を行う前に境界付近の影響を避けるためハニング窓をかけ、周波数分解能をあげるためにゼロパディングを行う。さらに主成分分析を行う前に、スペクトル画像Ａkの各ブロックＡBk（ω１，ω２）（−π≦ω１，ω２≦π）に対して、以下の式（５）のように直流成分付近の振幅スペクトル値を０にした後、全体の値を０〜１に正規化する。 Before performing the fast Fourier transform, a Hanning window is applied to avoid the influence near the boundary, and zero padding is performed to increase the frequency resolution. Further, before performing principal component analysis, for each block A Bk (ω1, ω2) (−π ≦ ω1, ω2 ≦ π) of the spectrum image A k , a DC component near the DC component is expressed as in the following equation (5). After the amplitude spectrum value is set to 0, the entire value is normalized to 0-1.
＜符号化部Ａ１３０＞
本発明の符号化装置１００の符号化部Ａ１３０では、中間データを利用したインター符号化を行っている。
<Encoding unit A130>
The encoding unit A130 of the encoding apparatus 100 according to the present invention performs inter encoding using intermediate data.
MPEG-2, H. 264のインタフレーム符号化では動き推定後、それぞれ１／２画素、１／４画素精度の動き補償が行われる。サブピクセル精度の動き補償によりフレーム間誤差を小さくすることができるが、量子化に伴い映像にブロックノイズやモスキートノイズが生じてしまう。また、動き保障の参照フレームはMPEG-2ではＰまたはＢピクチャ、H.264ではブロック毎に任意のフレーム選択することが許されている。しかし、MPEG-2におけるPまたはＢピクチャや、H.264における参照フレームを決定する方法は特に定められていない。フレーム符号化では、超解像可能領域と判定された領域内のマクロブロックに対してインター符号化を行う。 In MPEG-2 and H.264 inter-frame coding, after motion estimation, motion compensation with ½ pixel and ¼ pixel accuracy is performed. Although the inter-frame error can be reduced by sub-pixel precision motion compensation, block noise and mosquito noise are generated in the video as a result of quantization. As a reference frame for ensuring motion, it is allowed to select an arbitrary frame for each block in MPEG-2 with a P or B picture and with H.264. However, there is no specific method for determining a P or B picture in MPEG-2 or a reference frame in H.264. In frame coding, inter coding is performed on a macroblock in an area determined to be a super-resolvable area.
本発明の符号化部Ａ１３０におけるインター符号化は、中間データを経由したフレーム間誤差の低減と、その際の参照フレームをサブピクセル位置ずれ量に応じて決定する。 The inter coding in the coding unit A130 of the present invention reduces the inter-frame error via the intermediate data and determines the reference frame at that time according to the sub-pixel positional deviation amount.
以下にその手順を示す。図６は、本発明の一実施の形態におけるインター符号化のフローチャートである。 The procedure is shown below. FIG. 6 is a flowchart of inter coding according to an embodiment of the present invention.
ステップ２０１） 符号化部Ａ１３０は、まず、既存技術により動き推定を行う。解像度をＭ倍にする場合、位置ずれ量は１／Ｍ画素精度で求める必要がある。 Step 201) The encoding unit A130 first performs motion estimation using an existing technique. When the resolution is increased to M times, it is necessary to obtain the positional deviation amount with 1 / M pixel accuracy.
ステップ２０２） GOPに含まれるＫ枚の画素列fｋ（k＝１，…，Ｋ）の中で超解像可能領域のマクロブロックを利用してＫ枚の中間データを生成する。このとき、あるフレームを基準に高解像度格子に位置合わせされる位置はＭ２通り存在する。どこに位置合わせされたかはｘ方向とｙ方向の位置ずれ量ｄｘ，ｄｙの組み合わせによって決まり、［１，２，…，Ｍ２］のインデックスを付ける。なお、簡略化のため、イントラ符号化であるkeyフレームを基準とし、key、フレームに「１」のインデックスを割り当てる。図７にＭ＝２の時の位置ずれ量とインデックスの関係を示す。 Step 202) Using the macroblocks in the super-resolution area in the K pixel rows f k (k = 1,..., K) included in the GOP, K intermediate data are generated. At this time, there are M 2 positions that are aligned with the high resolution grid with reference to a certain frame. Where the position is aligned is determined by a combination of the positional deviation amounts dx and dy in the x direction and the y direction, and is indexed with [1, 2,..., M 2 ]. For simplification, an index “1” is assigned to a key and a frame with reference to a key frame that is intra-coded. FIG. 7 shows the relationship between the amount of misalignment and the index when M = 2.
ステップ２０３） 再び、動き情報を用いて中間データをダウンサンプリングし、元の映像の解像度に戻す。こうしてダウンサンプルされた映像 Step 203) Again, the intermediate data is down-sampled using the motion information and returned to the original video resolution. Video downsampled in this way
ステップ２０４） 同じインデックスを持つブロックを参照ブロックとし、ピクセル精度の動き補償を行う。これにより、ブロックの境界部分を除いてフレーム間誤差をゼロにすることができる。なお、［２，…，Ｍ２］のインデックスを持つブロックの内、１つはKeyフレームとのインター符号化を行う必要がある。例えば、中間データ生成時に重なったブロック（同じインデックスを持つ）が４枚あるとき、１枚はイントラ符号化であるKeyフレームと１／Ｍ画素精度の動き補償を行い、残りの３枚は最初に選択したフレームとピクセル精度の動き補償を行う。図８に２倍に高解像度化する際の流れの例を示す。フレーム間誤差がほぼゼロになることで符号化効率を大きく向上させることができ、そのため量子化の程度を小さくすることができる。 Step 204) A block having the same index is set as a reference block, and motion compensation with pixel accuracy is performed. As a result, the inter-frame error can be made zero except for the boundary portion of the block. Of the blocks having indexes [2,..., M 2 ], one of the blocks needs to be inter-encoded with the Key frame. For example, when there are four overlapping blocks (with the same index) at the time of generating intermediate data, one frame performs intra-encoded Key frame and 1 / M pixel precision motion compensation, and the remaining three frames first performing motion compensation of the selected frame and pixel accuracy. FIG. 8 shows an example of the flow when the resolution is doubled. Since the interframe error is substantially zero, the coding efficiency can be greatly improved, and therefore the degree of quantization can be reduced.
＜復号装置２００＞
復号装置２００は、符号化装置１００からブロックが入力されると、符号化装置１００の領域分割部１１０から送信された領域分割情報であるサイド情報（「超解像可能領域」、「特異領域」、「平坦・静止領域」）に基づいて、ブロックを復号する。具体的には、サイド情報が「超解像可能領域」となっているブロックに対しては超解像復元部２１０において、超解像復元を行い、「特異領域」、「平坦・静止領域」のブロックに対しては、補間部２２０において補間を行う。
<Decoding device 200>
When a block is input from the encoding device 100, the decoding device 200 receives side information (“ super-resolvable region”, “ singular region ”) that is region division information transmitted from the region dividing unit 110 of the encoding device 100. , “Flat / static region”). Specifically, the super-resolution restoration unit 210 performs super-resolution restoration for the block whose side information is “ super-resolution possible area”, and performs “ singular area ” and “flat / still area”. The interpolation unit 220 performs interpolation for these blocks.
［本発明の領域分割と従来技術との比較］
（ａ）複雑な動きに対する対処法：
複雑な動きに対する従来の方法の対処法では、１画素毎に超解像復元に使用するか否かを判断する画素選択（文献２「矢口陽一、田中正行、奥富正敏、"オクルージョンや明るさ変化にロバストな超解像処理"情報処理学会研究報告（コンピュータビジョンとイメージメディア2007-CVIM-159）、Vol.2007, No.42, pp.51-56, May, 2007」参照）がある。外れ値除去も同様であり、様々な手法が存在する。また、位置合わせ誤差に応じて、画素（あるいは領域）毎にMAP推定の評価関数の重みを変化させる手法（文献３「O.A. Omer and T. Tanaka, "Multiframe image and video super-resolution algorithm with inaccurate motion registration errors rejection," Visual Communications and Image Processing (VCIP) 2008, San Jose, CA, Jan. 2007」、文献４「O. A. Omer and T. Tanaka, "Region-based Super-Resolution for Video Sequences considering Registration Error", Proc. of the 3rd Pacific-Rim Symposium on Image and Video Technology, 2009」参照）が存在する。これらの手法は全て厳密な動き推定後に行う手法で計算コストが高いため圧縮の前処理には向いていない。
[Comparison of Area Division of the Present Invention and Conventional Technology]
(A) Coping with complex movement:
In the conventional method for dealing with complex movements, pixel selection for determining whether to use for super-resolution restoration for each pixel (reference 2 “Yoichi Yaguchi, Masayuki Tanaka, Masatoshi Okutomi,“ Occlusion and brightness change. In addition, there is a robust super-resolution processing "Report on Information Processing Society of Japan (Computer Vision and Image Media 2007-CVIM-159), Vol.2007, No.42, pp.51-56, May, 2007"). The outlier removal is the same, and there are various methods. In addition, a method of changing the weight of the evaluation function of MAP estimation for each pixel (or region) according to the alignment error (Reference 3 “OA Omer and T. Tanaka,“ Multiframe image and video super-resolution algorithm with inaccurate motion registration errors rejection, "Visual Communications and Image Processing (VCIP) 2008, San Jose, CA, Jan. 2007", Reference 4, "OA Omer and T. Tanaka," Region-based Super-Resolution for Video Sequences considering Registration Error ", Proc. of the 3 rd Pacific- Rim Symposium on Image and Video Technology, 2009 "reference) is present. These methods are all performed after strict motion estimation and are not suitable for pre-processing of compression because of high calculation cost.
それに対して、本発明の領域分割部１１０の手法は動き推定の結果を必要とせず、映像の動きが並進で近似できるが否かを高速に判定することができる。 On the other hand, the method of the region dividing unit 110 of the present invention does not require the result of motion estimation, and can determine at high speed whether or not the motion of the video can be approximated by translation.
（ｂ）領域分割のサイド情報とデコーダ側の処理：
本発明の復号装置２００での復号部２１０では、超解像可能領域に対しては超解像復元、その他の領域に対しては単純な補間を行う。
(B) Side information of region division and processing on the decoder side:
In the decoding unit 210 in the decoding apparatus 200 of the present invention, super-resolution restoration is performed for the super-resolution possible area, and simple interpolation is performed for the other areas.
これに対し、非特許文献２のBarretoらの研究は、超解像復元を利用した高効率圧縮であるが、同じ用に領域分割の情報をサイド情報としている。ブロックごとに「動き領域」、「テクスチャ」「平坦領域」に分類し、「動き領域」に対しては超解像復元、残りの領域に対しては補間などにより単純な処理を行っている。しかし、当該手法では、複雑な動きを含む場合には、映像はかえって劣化してしまう。 On the other hand, the research of Barreto et al. In Non-Patent Document 2 is high-efficiency compression using super-resolution restoration, but uses the information of area division as side information for the same purpose. Each block is classified into “motion region”, “texture”, and “flat region”, and “motion region” is subjected to simple processing by super-resolution restoration, and the remaining regions are interpolated. However, in this method, when a complicated motion is included, the video is deteriorated.
これに対し、本発明は、そのような劣化を防ぐことができる。 In contrast, the present invention can prevent such deterioration.
本発明の目的は、低ビットレートで無圧縮の中間データに近い画像を復元することである。これにより、低ビットレートで高精度の超解像復元を行うことができるので、「映像の高圧縮」と「超解像復元の精度維持」を両立させることができる。 An object of the present invention is to restore an image close to uncompressed intermediate data at a low bit rate. As a result, high-precision super-resolution restoration can be performed at a low bit rate, so that both “high compression of video” and “maintaining accuracy of super-resolution restoration” can be achieved.
なお、上記の図３に示す符号化装置及び復号装置の構成要素の動作をプログラムとして構築し、符号化装置及び復号装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。 The operation of the components of the encoding device and decoding device shown in FIG. 3 is constructed as a program and installed in a computer used as the encoding device and decoding device, or distributed via a network. It is possible to make it.
また、構築されたプログラムを、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。 Further, the constructed program can be stored in a portable storage medium such as a hard disk, a flexible disk, or a CD-ROM, and can be installed or distributed in a computer.
本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。 The present invention is not limited to the above-described embodiments, and various modifications and applications can be made within the scope of the claims.
１００ 符号化装置
１１０ 領域分割部
１２０ 動き推定部
１３０ 符号化部Ａ
１４０ 符号化部Ｂ
２００ 復号装置
２１０ 超解像復元部
２２０ 補間部
100 Coding device 110 Region segmentation unit 120 Motion estimation unit 130 Coding unit A
140 Coding part B
200 Decoding Device 210 Super Resolution Restoring Unit 220 Interpolating Unit
Claims (13)
映像符号化装置と復号装置からなり、
前記映像符号化装置は、
符号化の対象とする画像の圧縮符号化を行う符号化手段と、
前記符号化手段の前段に、動き領域のうち動きが並進近似できる超解像可能領域、並進近似できない特異領域、平坦・静止領域に領域分割し、分割した結果をサイド情報として前記復号装置に送出する領域分割手段と、
を有することを特徴とする映像符号化システム。 A video coding system for each region suitable for super-resolution restoration that estimates one high-resolution image from a plurality of observed images taken,
It consists of a video encoding device and a decoding device,
The video encoding device includes:
Encoding means for compressing and encoding an image to be encoded;
Before the encoding means, the motion region is divided into a super-resolvable region in which motion can be approximated in translation, a singular region in which motion cannot be approximated, and a flat / static region, and the divided result is sent to the decoding device as side information. Area dividing means to perform,
A video encoding system comprising:
主成分分析により求められた主成分画像に対してブロック毎に閾値処理を行うことにより動き領域を決定する動き領域判別手段と、
フーリエ振幅スペクトルの主成分分析を行い、主成分スペクトルで所定の値より大きな値を持つブロックを特異領域とする特異領域判別手段と、
前記動き領域判別手段により決定された前記動き領域と前記特異領域判別手段で決定された特異領域の差分を超解像可能領域と判定する超解像可能領域判定手段と、
を含む請求項１記載の映像符号化システム。 The region dividing means includes
A motion region discriminating means for determining a motion region by performing threshold processing for each block on a principal component image obtained by principal component analysis;
A singular region discriminating means for performing a principal component analysis of the Fourier amplitude spectrum and setting a block having a value larger than a predetermined value in the principal component spectrum as a singular region;
A super-resolvable region determination unit that determines a difference between the motion region determined by the motion region determination unit and the specific region determined by the specific region determination unit as a super-resolvable region;
The video encoding system according to claim 1, comprising:
前記領域分割手段にて前記超解像可能領域と判定された該領域内のマクロブロックに対して、フレーム間誤差をサブピクセル位置ずれ量に基づいて低減するインター符号化を行う手段を含む
請求項１または２記載の映像符号化システム。 The encoding means includes
And a means for performing inter coding for reducing an inter-frame error based on a sub-pixel positional deviation amount for a macroblock in the area determined as the super-resolution area by the area dividing means. 3. The video encoding system according to 1 or 2.
前記符号化装置で符号化されたブロックが入力されると、該符号化装置の前記領域分割手段から取得した前記サイド情報に基づいて、各ブロック毎に前記超解像可能領域、前記特異領域、前記平坦・静止領域に分類し、該超解像可能領域に対しては、複数枚の観測画像から１枚の高解像度画像を推定する超解像復元を行い、他の領域については補間を行う復号手段を有する
請求項１記載の映像符号化システム。 The decoding device
When a block encoded by the encoding device is input, based on the side information acquired from the region dividing unit of the encoding device, the super-resolvable region for each block, the singular region, Classification into the flat / static regions, and for the super-resolution possible region, super-resolution restoration is performed by estimating one high-resolution image from a plurality of observation images, and interpolation is performed for other regions. The video encoding system according to claim 1, further comprising decoding means.
符号化の対象とする画像の圧縮符号化を行う符号化手段と、
前記符号化手段の前段に、動き領域のうち動きが並進近似できる超解像可能領域、並進近似できない特異領域、平坦・静止領域に領域分割し、分割した結果をサイド情報として前記復号装置に送出する領域分割手段と、
を有することを特徴とする映像符号化装置。 A video encoding device that performs encoding for each region suitable for super-resolution restoration that estimates one high-resolution image from a plurality of captured images,
Encoding means for compressing and encoding an image to be encoded;
Before the encoding means, the motion region is divided into a super-resolvable region in which motion can be approximated in translation, a singular region in which motion cannot be approximated, and a flat / static region, and the divided result is sent to the decoding device as side information. Area dividing means to perform,
A video encoding device comprising:
主成分分析により求められた主成分画像に対してブロック毎に閾値処理を行うことにより動き領域を決定する動き領域判別手段と、
フーリエ振幅スペクトルの主成分分析を行い、主成分スペクトルで所定の値より大きな値を持つブロックを特異領域とする特異領域判別手段と、
前記動き領域判別手段により決定された前記動き領域と前記特異領域判別手段で決定された特異領域の差分を超解像可能領域と判定する超解像可能領域判定手段と、
を含む請求項５記載の映像符号化装置。 The region dividing means includes
A motion region discriminating means for determining a motion region by performing threshold processing for each block on a principal component image obtained by principal component analysis;
A singular region discriminating means for performing a principal component analysis of the Fourier amplitude spectrum and setting a block having a value larger than a predetermined value in the principal component spectrum as a singular region;
A super-resolvable region determination unit that determines a difference between the motion region determined by the motion region determination unit and the specific region determined by the specific region determination unit as a super-resolvable region;
The video encoding device according to claim 5, comprising:
前記領域分割手段にて前記超解像可能領域と判定された該領域内のマクロブロックに対して、フレーム間誤差をサブピクセル位置ずれ量に基づいて低減するインター符号化を行う手段を含む
請求項５または６記載の映像符号化装置。 The encoding means includes
And a means for performing inter coding for reducing an inter-frame error based on a sub-pixel positional deviation amount for a macroblock in the area determined as the super-resolution area by the area dividing means. 5. The video encoding device according to 5 or 6.
前記符号化装置で符号化されたブロックが入力されると、該符号化装置から入力された領域分割の結果であるサイド情報に基づいて、各ブロック毎に、動き領域のうち動きが並進近似できる超解像可能領域、並進近似できない特異領域、平坦・静止領域に分類し、該超解像可能領域に対しては、複数枚の観測画像から１枚の高解像度画像を推定する超解像復元を行い、他の領域については補間を行う復号手段を有する
ことを特徴とする映像復号装置。 A video decoding apparatus that decodes data input from a video encoding apparatus that performs encoding for each region suitable for super-resolution restoration that estimates a single high-resolution image from a plurality of captured observation images. ,
When a block encoded by the encoding device is input , the motion of the motion region can be approximated by translation for each block based on the side information that is the result of region division input from the encoding device. super resolution region, can not translate approximate singular region, classified into Tan Taira still region, for the ultra-resolvable area, super-resolution to estimate one high-resolution image from a plurality of observation images A video decoding apparatus comprising decoding means for performing image restoration and performing interpolation for other regions.
映像符号化装置と復号装置からなるシステムにおいて、
前記映像符号化装置は、
符号化を行う前処理として、動き領域のうち動きが並進近似できる超解像可能領域、並進近似できない特異領域、平坦・静止領域に領域分割し、分割した結果をサイド情報として前記復号装置に送出する領域分割ステップと、
符号化の対象とする画像の圧縮符号化を行う符号化ステップと、を行い、
前記復号装置は、
前記符号化装置で符号化されたブロックが入力されると、該符号化装置から取得した前記サイド情報に基づいて、各ブロック毎に前記超解像可能領域、前記特異領域、前記平坦・静止領域に分類し、該超解像可能領域に対しては、複数枚の観測画像から１枚の高解像度画像を推定する超解像復元を行い、他の領域については補間を行う復号ステップを行う
ことを特徴とする映像符号化方法。 A video encoding / decoding method for performing encoding and decoding for each region suitable for super-resolution restoration for estimating one high-resolution image from a plurality of observed images taken,
In a system consisting of a video encoding device and a decoding device,
The video encoding device includes:
As pre-processing for encoding, the motion region is divided into a super-resolvable region in which motion can be approximated in translation, a singular region in which motion cannot be approximated, and a flat / static region, and the divided result is sent to the decoding device as side information. A region segmentation step to be performed;
An encoding step for performing compression encoding of an image to be encoded, and
The decoding device
When a block encoded by the encoding device is input, based on the side information acquired from the encoding device, the super-resolvable region, the singular region, and the flat / static region for each block In the super-resolvable region, a super-resolution restoration is performed in which one high-resolution image is estimated from a plurality of observation images, and a decoding step for performing interpolation is performed for the other regions. A video encoding method characterized by the above.
主成分分析により求められた主成分画像に対してブロック毎に閾値処理を行うことにより動き領域を決定する動き領域判別ステップと、
フーリエ振幅スペクトルの主成分分析を行い、主成分スペクトルで所定の値より大きな値を持つブロックを特異領域とする特異領域判別ステップと、
前記動き領域判別ステップにより決定された前記動き領域と前記特異領域判別ステップで決定された特異領域の差分を超解像可能領域と判定する超解像可能領域判定ステップと、
を行う請求項９記載の映像符号化方法。 In the region dividing step,
A motion region determination step for determining a motion region by performing threshold processing for each block on the principal component image obtained by principal component analysis;
Performing a principal component analysis of the Fourier amplitude spectrum, and determining a singular region with a block having a value larger than a predetermined value in the principal component spectrum as a singular region;
A super resolvable region determining step for determining a difference between the moving region determined in the moving region determining step and the specific region determined in the specific region determining step as a super resolvable region;
The video encoding method according to claim 9, wherein:
前記領域分割ステップにて前記超解像可能領域と判定された該領域内のマクロブロックに対して、フレーム間誤差をサブピクセル位置ずれ量に基づいて低減するインター符号化を行う
請求項９または１０記載の映像符号化方法。 In the encoding step,
The inter coding for reducing an inter-frame error based on a sub-pixel positional deviation amount is performed on a macroblock in the area determined as the super-resolution area in the area dividing step. The video encoding method described.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010188879A JP5436371B2 (en) | 2010-08-25 | 2010-08-25 | Video encoding system, video encoding device, video decoding device, video encoding method, video encoding program, and video decoding program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010188879A JP5436371B2 (en) | 2010-08-25 | 2010-08-25 | Video encoding system, video encoding device, video decoding device, video encoding method, video encoding program, and video decoding program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012049747A JP2012049747A (en) | 2012-03-08 |
| JP5436371B2 true JP5436371B2 (en) | 2014-03-05 |
Family
ID=45904138
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010188879A Expired - Fee Related JP5436371B2 (en) | 2010-08-25 | 2010-08-25 | Video encoding system, video encoding device, video decoding device, video encoding method, video encoding program, and video decoding program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5436371B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10944995B2 (en) | 2016-04-15 | 2021-03-09 | Samsung Electronics Co., Ltd. | Encoding apparatus, decoding apparatus, and control methods therefor |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5484378B2 (en) * | 2011-02-23 | 2014-05-07 | 日本電信電話株式会社 | Encoding apparatus, encoding and decoding system, encoding method, and encoding and decoding method |
| JP5860337B2 (en) * | 2012-04-25 | 2016-02-16 | 日本電信電話株式会社 | Video encoding method and apparatus |
| JPWO2013191193A1 (en) * | 2012-06-20 | 2016-05-26 | 株式会社日立国際電気 | Video compression transmission system |
| JP6875800B2 (en) * | 2016-08-04 | 2021-05-26 | 日本放送協会 | Super-resolution frame selection device, super-resolution device, and program |
| CN110111251B (en) * | 2019-04-22 | 2023-04-28 | 电子科技大学 | Image super-resolution reconstruction method combining depth supervision self-coding and perception iterative back projection |
| US20230128106A1 (en) * | 2020-03-25 | 2023-04-27 | Sony Interactive Entertainment Inc. | Image processing apparatus and server |
| US20230141157A1 (en) * | 2020-03-25 | 2023-05-11 | Sony Interactive Entertainment Inc. | Image processing apparatus and server |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08186817A (en) * | 1994-12-28 | 1996-07-16 | Sony Corp | Moving image compressor and its method |
| US6307964B1 (en) * | 1999-06-04 | 2001-10-23 | Mitsubishi Electric Research Laboratories, Inc. | Method for ordering image spaces to represent object shapes |
| JP2008091979A (en) * | 2006-09-29 | 2008-04-17 | Hitachi Ltd | Image quality improving device, method thereof, and image display device |
| JP2009010795A (en) * | 2007-06-29 | 2009-01-15 | Hitachi Ltd | Video processor for forming high resolution image |
| JP5113479B2 (en) * | 2007-10-15 | 2013-01-09 | 株式会社日立製作所 | Image signal processing apparatus and image signal processing method |
| JP2009116421A (en) * | 2007-11-02 | 2009-05-28 | Hitachi Ltd | Video playback device |
| JP2009218965A (en) * | 2008-03-11 | 2009-09-24 | Sanyo Electric Co Ltd | Image processor, imaging device mounted with the same and image reproduction device |
| JP2009225253A (en) * | 2008-03-18 | 2009-10-01 | Toshiba Corp | Image processing apparatus and its method |
-
2010
- 2010-08-25 JP JP2010188879A patent/JP5436371B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10944995B2 (en) | 2016-04-15 | 2021-03-09 | Samsung Electronics Co., Ltd. | Encoding apparatus, decoding apparatus, and control methods therefor |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012049747A (en) | 2012-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5436371B2 (en) | Video encoding system, video encoding device, video decoding device, video encoding method, video encoding program, and video decoding program | |
| Agustsson et al. | Scale-space flow for end-to-end optimized video compression | |
| Katsaggelos et al. | Super resolution of images and video | |
| JP2022008296A (en) | Apparatus for encoding and decoding image by using skip encoding and method of the same | |
| JP5521202B2 (en) | Multi-view image encoding method, multi-view image decoding method, multi-view image encoding device, multi-view image decoding device, multi-view image encoding program, and multi-view image decoding program | |
| EP1639829B1 (en) | Optical flow estimation method | |
| JP4906864B2 (en) | Scalable video coding method | |
| US20100272184A1 (en) | System and Method for Real-Time Super-Resolution | |
| JP2010524383A (en) | Video signal processing method and apparatus | |
| JP2008507190A (en) | Motion compensation method | |
| JP2009510869A5 (en) | ||
| Trocan et al. | Compressed-sensing recovery of multiview image and video sequences using signal prediction | |
| Xiong et al. | Sparse spatio-temporal representation with adaptive regularized dictionary learning for low bit-rate video coding | |
| JP5860337B2 (en) | Video encoding method and apparatus | |
| Zhu et al. | Video coding with spatio-temporal texture synthesis and edge-based inpainting | |
| CN114531596A (en) | Image processing method and device | |
| JP5484378B2 (en) | Encoding apparatus, encoding and decoding system, encoding method, and encoding and decoding method | |
| Dolly et al. | Performance enhanced spatial video compression using global affine frame reconstruction | |
| JP6313614B2 (en) | Video encoding apparatus and control method thereof | |
| Shen et al. | Low-power video acquisition with super-resolution reconstruction for mobile devices | |
| JP5484377B2 (en) | Decoding device and decoding method | |
| Haghighat et al. | Lifting-based illumination adaptive transform (LIAT) using mesh-based illumination modelling | |
| Shen et al. | Down-sampling based video coding with super-resolution technique | |
| Lee et al. | The video spatial error concealment algorithm using separately-directional interpolation technique | |
| Li et al. | An adaptive error concealment algorithm based on partition model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20121029 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121106 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20121029 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130527 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130604 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130805 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130917 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131118 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131203 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131210 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5436371 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |