JP5860337B2 - Video encoding method and apparatus - Google Patents
Video encoding method and apparatus Download PDFInfo
- Publication number
- JP5860337B2 JP5860337B2 JP2012100484A JP2012100484A JP5860337B2 JP 5860337 B2 JP5860337 B2 JP 5860337B2 JP 2012100484 A JP2012100484 A JP 2012100484A JP 2012100484 A JP2012100484 A JP 2012100484A JP 5860337 B2 JP5860337 B2 JP 5860337B2
- Authority
- JP
- Japan
- Prior art keywords
- resolution
- resolution image
- image sequence
- low
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、映像符号化方法及び装置に係り、特に、ダウンサンプリングを利用した符号化方式において超解像復元画像の復元精度を高め、符号化効率を高めるための映像符号化方法及び装置に関する。 The present invention relates to a video encoding method and apparatus, and more particularly, to a video encoding method and apparatus for improving the reconstruction efficiency of a super-resolution reconstructed image and enhancing the coding efficiency in a coding method using downsampling.
近年、通信やデータ蓄積などにおける多くのアプリケーションにおいて、映像符号化技術の向上が要求されている。特に、無線通信などの帯域幅やストレージコストが限定されているモバイルマルチメディア分野において、その需要性が高まっている。現在までにMPEG-4やH.264/AVCなどの映像符号化方式が規格化されている。それらの手法はエンコーダとデコーダが規定されているが、事前処理や事後処理などを任意に拡張することが可能である。 In recent years, improvement in video encoding technology has been demanded in many applications in communication and data storage. In particular, in the mobile multimedia field where bandwidth and storage cost are limited, such as wireless communication, the demand is increasing. To date, video encoding methods such as MPEG-4 and H.264 / AVC have been standardized. In these methods, an encoder and a decoder are defined, but it is possible to arbitrarily extend pre-processing and post-processing.
これらの事前処理と事後処理を組み込んだ符号化方式として、符号化を行う前にダウンサンプリングを行い、復号化の際に元の解像度に復元する符号化方式が研究されており、低ビットレートにおいて高い符号化効率が得られることが知られている。この方式に基づく従来法の多くは超解像技術を利用し、デコーダでの超解像復元画像の精度向上に重点を置いている。しかし、ダウンサンプリングした画像列間でサブピクセルシフトがない場合に、超解像復元画像の復元精度を維持することができていない。 As an encoding method incorporating these pre-processing and post-processing, an encoding method that performs down-sampling before encoding and restores the original resolution at the time of decoding has been studied. It is known that high coding efficiency can be obtained. Many of the conventional methods based on this method use super-resolution technology, and focus on improving the accuracy of the super-resolution restored image in the decoder. However, when there is no subpixel shift between the down-sampled image sequences, the restoration accuracy of the super-resolution restoration image cannot be maintained.
次に、一般的な映像符号化と超解像処理技術について概説し、次に、超解像処理技術を利用した映像符号化について説明する。 Next, general video encoding and super-resolution processing technology will be outlined, and then video encoding using the super-resolution processing technology will be described.
従来技術１．映像符号化：
近年、高精細テレビ（HDTV）やマルチメディア機器の普及によって扱う情報量が増大している。特に、帯域が制限されているモバイルネットワークの分野においては高い符号化効率が要求される。圧縮技術には大きく分けて、
１）可逆圧縮
２）非可逆圧縮
の２種類に分類できる。１）可逆圧縮はオリジナルの信号を完全に復元することができるが、圧縮率の限界が存在する。一方で、非可逆圧縮は可逆圧縮よりも情報量を削減することができるが、いくらかの誤差を伴うため、完全に復元することはできない。圧縮率を高くすることで情報量を減らすことが可能だが、画質は低下する。つまり、情報量の削減と画質の維持はトレードオフの関係にある。現在までにMPEG-４やH.264/AVCなどの映像符号化方式が標準化されている。本発明では、非可逆圧縮を対象とする。
Prior art Video encoding:
In recent years, the amount of information handled has increased due to the spread of high-definition television (HDTV) and multimedia equipment. In particular, high coding efficiency is required in the field of mobile networks where bandwidth is limited. The compression technology can be broadly divided into
1) Reversible compression 2) Can be classified into two types of lossy compression. 1) The lossless compression can completely restore the original signal, but there is a limit on the compression rate. On the other hand, lossy compression can reduce the amount of information compared to lossless compression, but cannot be completely restored because it involves some error. Although it is possible to reduce the amount of information by increasing the compression rate, the image quality is reduced. That is, there is a trade-off between reducing the amount of information and maintaining image quality. To date, video encoding methods such as MPEG-4 and H.264 / AVC have been standardized. The present invention is intended for lossy compression.
画像符号化は、図１に示すように、符号器（エンコーダ）１０と復号器（デコーダ）２０で構成され、フレーム内（Intra）符号化とフレーム間（Inter）符号化を組み合わせた"ハイブリッド符号化"によって情報量を削減する。Intra符号化は画面内の画素が持つ空間的冗長度を削減することで圧縮を行い、DCT(Discrete Cosine Transform)などの技術を利用する。Inter符号化は画像間の時間的な冗長度を削減することで圧縮を行い、動き補償フレーム間予測を利用する。 As shown in FIG. 1, the image coding is composed of an encoder (encoder) 10 and a decoder (decoder) 20, and is a “hybrid code combining intra-frame (Intra) coding and inter-frame (Inter) coding. To reduce the amount of information. Intra coding performs compression by reducing the spatial redundancy of pixels in the screen, and uses techniques such as DCT (Discrete Cosine Transform). Inter coding performs compression by reducing temporal redundancy between images and uses motion-compensated interframe prediction.
従来技術２．超解像技術：
現在多くの画像処理アプリケーションにおいて、高解像度の画像や映像の需要が高まっている。解像度が高いほど、物体のエッジやテクスチャ部分を正確に表現することができるからである。需要のある分野は、MRIやX線CTなどの医療画像、衛星画像などのリモートセンシング、監視カメラやナンバープレート認識などのセキュリティ、そしてマルチメディアなどが挙げられる。
Prior art 2. Super-resolution technology:
Currently, there is an increasing demand for high-resolution images and videos in many image processing applications. This is because the higher the resolution, the more accurately the edges and texture portions of the object can be expressed. Areas in demand include medical images such as MRI and X-ray CT, remote sensing such as satellite images, security such as surveillance cameras and license plate recognition, and multimedia.
高解像度画像の獲得は、1970年以降CCDカメラやCMOSカメラにより実現し現在のも性能は向上し続けているが、それらの光学素子の大きさには限界がある。これらはハードウェアの性能の向上には限界があることを意味し、またコスト面の問題からも実用的ではない。そこで、低コストかつ限界のないソフトウェア的なアプローチが期待されており、既に取得された画像をより高解像度な画像に変換する超解像復元（Super Resolution、以下「SR」と略記）技術が注目されている。 The acquisition of high-resolution images has been realized by CCD cameras and CMOS cameras since 1970, and the performance continues to improve. However, the size of these optical elements is limited. These mean that there is a limit to the improvement in hardware performance, and it is not practical from the viewpoint of cost. Therefore, a low-cost and unlimited software approach is expected, and super-resolution restoration (Super Resolution) (hereinafter abbreviated as “SR”) technology that converts already acquired images into higher-resolution images is attracting attention. Has been.
SR法は、観測された低解像度（Low Resolution、以下「LR」と略記）画像間のサブピクセル単位の位置ずれを利用して、高解像度（High Resolution、以下「HR」と略記）画像を推定する技術である。高解像度映像を得たい場合、これらのLR画像列はビデオカメラによる連続フレームから獲得できる。SR法は幾つかの種類に分けることができるが、画像の劣化モデルにぼけ処理やノイズがない場合は単純な補間処理によって高解像度画像を得ることが可能である。 The SR method estimates the high-resolution (High Resolution) (hereinafter abbreviated as “HR”) image by using the sub-pixel unit displacement between the observed low-resolution (Low Resolution, LR) images. Technology. If you want to get high resolution video, these LR image sequences can be acquired from consecutive frames by video camera. The SR method can be divided into several types. If the image degradation model has no blur processing or noise, a high-resolution image can be obtained by simple interpolation processing.
主なSR法として、再構成型超解像が精度が高いとされ、主な研究対象となっている。再構成型超解像は一般に空間領域のアプローチであり、その中でもMAP(Maximum A-posteriori Probability)推定方法がよく利用されている。MAP推定は画像の先験情報を利用して事後確率を最大化することで高解像度化を行う手法であり、安定的に高解像度画像を推定することができる。その他にも画像取得モデルに圧縮プロセスを組み込むことで、圧縮された動画像へ適用した研究や、SR法に必要な画像の位置合わせを行わずに高解像度化する方法も報告されている（例えば、非特許文献1参照）。図２にSR法の概念を示す。 As the main SR method, reconstruction-based super-resolution is considered to be highly accurate and is the main research target. Reconstruction-type super-resolution is generally a spatial domain approach, and a MAP (Maximum A-posteriori Probability) estimation method is often used. MAP estimation is a technique for increasing the resolution by maximizing the posterior probability using the a priori information of the image, and can stably estimate the high resolution image. In addition, research that has been applied to compressed moving images by incorporating a compression process into the image acquisition model, and methods for increasing the resolution without performing image alignment necessary for the SR method have also been reported (for example, Non-patent document 1). Fig. 2 shows the concept of the SR method.
今までに行われてきたSR法は、画像の取得プロセスを仮定し、未知の高解像度画像を推定していた。しかし、本発明では、既に高解像度の映像を取得しており、画像の劣化プロセスが全て既知であるという点が既存研究の問題設定とは異なっている。すなわち、高解像度の映像を既知の劣化プロセスに通し、それを元の解像度に戻すというSR問題を対象とする。 The SR method performed so far has assumed an image acquisition process and estimated an unknown high-resolution image. However, the present invention is different from the problem setting in the existing research in that a high-resolution video is already acquired and the image degradation process is already known. That is, the SR problem of passing a high-resolution video through a known degradation process and returning it to the original resolution is targeted.
従来技術３.超解像技術を用いた映像符号化：
近年、映像の圧縮効率向上を目的として、SR法を利用する符号化/復号化システムが研究されている。このシステムでは、動画を符号化する前に解像度を落としてから符号化を行い、復号化する際に、SR法を利用して元の解像度に復元する。解像度を低下（ダウンサンプリング）させると情報量を減らすことが可能だが、高周波数成分が消失してしまう。しかし、高周波数成分がない、あるいは、少ない領域では、ダウンサンプリングを行っても補間によって十分復元が行える。また、消失してしまった高周波数成分を超解像技術によって時間方向の相関を利用して復元することにより更なる符号化効率の向上が期待される。特に、低ビットレートにおいては圧縮によって高周波数成分がなくなってしまうため、ダウンサンプリングを行ない、低周波数成分に情報量を多く割り当てたシステムが有効となる。
Prior art 3. Video coding using super-resolution technology:
In recent years, an encoding / decoding system using the SR method has been studied for the purpose of improving video compression efficiency. In this system, encoding is performed after reducing the resolution before encoding the moving image, and the original resolution is restored using the SR method when decoding. Decreasing the resolution (downsampling) can reduce the amount of information, but the high frequency components will be lost. However, in a region where there is no or a high frequency component, sufficient restoration can be performed by interpolation even if downsampling is performed. Further, it is expected that the encoding efficiency is further improved by restoring the lost high frequency component using the correlation in the time direction by the super-resolution technique. In particular, since a high frequency component disappears due to compression at a low bit rate, a system in which downsampling is performed and a large amount of information is allocated to the low frequency component is effective.
これらのエンコーダで映像を低解像度画像にしてから圧縮を施し、デコーダで拡大処理を施すことにより元の解像のまま圧縮する場合よりも高画質な映像を維持できることは、解析的に証明されている。これまで、いくつかの従来技術が提案されている。 It has been analytically proven that these encoders can maintain high-quality video compared to the original resolution by compressing the video after converting it to a low-resolution image and then performing enlargement processing with the decoder. Yes. Until now, several conventional techniques have been proposed.
エンコーダでPピクチャのダウンサンプリングを行い、デコーダでは解像度を小さくしていないIピクチャを利用した学習型SR法により、元の解像度の映像を復元する方法がある（例えば、非特許文献２参照）。また、映像の偶数番目のフレームの解像度を小さくして、このストリームを基本階層、そして偶数番目のフレームを拡張階層とし、これらの２つの階層に対してスケーラブル符号化を行い、解像度とフレームレートに対するスケーラビリティを実現する方法がある（例えば、非特許文献３参照）。この方法では拡張階層の映像を利用したSR法を用いて基本階層の解像度を上げることにより、元の映像と同じ解像度、フレームレートを持つ映像を復元している。しかし、これらはデコーダにおける計算コストが高いという問題がある。 There is a method of restoring video of the original resolution by a learning SR method using an I picture whose resolution is not reduced in the decoder by down-sampling the P picture with the encoder (for example, see Non-Patent Document 2). In addition, the resolution of the even-numbered frame of the video is reduced, this stream is set as the basic layer, and the even-numbered frame is set as the extension layer. There is a method for realizing scalability (for example, see Non-Patent Document 3). In this method, the SR with the enhancement layer video is used to increase the resolution of the base layer, thereby restoring the video having the same resolution and frame rate as the original video. However, these have a problem that the calculation cost in the decoder is high.
エンコーダにおいて領域分割を行い、ダウンサンプリングとデコーダのアップサンプリング処理を領域別に行う手法も提案されている（例えば、非特許文献４参照）。この方法では、ダウンサンプリングを行った映像とこれらの領域に関するサイド情報を伝送し、デコーダではSR法が効果的である領域に対してSR法、その他の領域に対しては補間法などの単純な処理を行っている。また、時間方向の情報は利用せず、フレーム毎に処理する方法もある。大きく２つの方法があり、１つはオープンループシステムで、エンコーダでダウンサンプリングした映像をPOCSアルゴリズムを用いてデコーダで繰り返し計算を行い再構成する方法、もう１つは、エンコーダでアップサンプリング行列を構成し、サイド情報として送信する方法である。後者はエンコーダ側でオリジナルの映像を利用して最適化を行うクローズドループシステムとなっている。その他にも、ダウンサンプリングを利用した符号化の枠組みの中では、ビットレートに合わせた最適なダウンサンプリング率を設定する手法や、マクロブロックごとにダウンサンプリング率を適応的に変化させる手法なども提案されている。 There has also been proposed a method of performing region division in an encoder and performing downsampling and decoder upsampling processing for each region (see, for example, Non-Patent Document 4). In this method, down-sampled video and side information about these areas are transmitted, and in the decoder, the SR method is effective for areas where the SR method is effective, and the interpolation method is used for other areas. Processing is in progress. There is also a method of processing for each frame without using information in the time direction. There are two main methods: one is an open loop system, and the method is to reconstruct the video downsampled by the encoder using the POCS algorithm, and the other is to construct the upsampling matrix by the encoder. And it is the method of transmitting as side information. The latter is a closed loop system that performs optimization using the original video on the encoder side. In addition, within the framework of coding using downsampling, a method for setting an optimal downsampling rate according to the bit rate and a method for adaptively changing the downsampling rate for each macroblock are also proposed. Has been.
しかしながら、上記従来方法には以下のような問題がある。 However, the conventional method has the following problems.
従来のダウンサンプリングに基づく超解像技術を用いた映像符号化では、デコーダでのSR法の精度向上に重点を置いているが、低解像度化してしまった映像の復元には限界がある。超解像復元に必要となる低解像度画像列間のサブピクセルシフトは、フレーム列をダウンサンプリングする際にフレーム同士で同じサンプリング点を取った場合には生じない。特に、全てのフレームを固定したダウンサンプリングの格子パターンで行った場合、背景などの動きのない領域に関しては低解像度画像列間で似たような情報を持ってしまうため、超解像処理を有効に生かせない。そこで、動きのない領域に関して周期的に異なるダウンサンプリングの格子パターンを適用し、低解像度画像列間のサブピクセルシフトが残るような方法（例えば、D. Barreto, L. D. Alvarez, R. Molina, A. K. Katsaggelos, "Region-based super-resolution for compression," MSSP, Springer Netherlands, 2007.）も提案されているが、カメラの動きにより背景が少しでも動くような映像には適用不可能である。したがって、ダウンサンプリングの格子パターンを固定してしまうと、SR復元に必要な低解像度画像列間のサブピクセルシフトが生じない場合には、SR法の精度を維持できないという問題がある。 In conventional video encoding using super-resolution technology based on downsampling, emphasis is placed on improving the accuracy of the SR method in the decoder, but there is a limit to the restoration of video that has been reduced in resolution. The sub-pixel shift between low-resolution image sequences necessary for super-resolution restoration does not occur when the same sampling point is taken between frames when down-sampling the frame sequence. In particular, when using a downsampling grid pattern with all frames fixed, super-resolution processing is effective because areas with no movement, such as the background, have similar information between low-resolution image sequences. I can't save it. Therefore, a method of applying periodically different down-sampling grid patterns for regions with no motion, and leaving subpixel shifts between low-resolution image sequences (for example, D. Barreto, LD Alvarez, R. Molina, AK Katsaggelos , "Region-based super-resolution for compression," MSSP, Springer Netherlands, 2007.) has also been proposed, but it cannot be applied to images where the background moves as much as possible due to camera movement. Therefore, if the grid pattern of downsampling is fixed, there is a problem that the accuracy of the SR method cannot be maintained unless a subpixel shift between low-resolution image sequences necessary for SR restoration occurs.
本発明は、上記の点に鑑みなされたもので、超解像復元したときの欠損が最小となるダウンサンプリングの格子パターンを選択可能とし、従来よりも高い復元精度を達成することが可能な映像符号化方法及び装置を提供することを目的とする。 The present invention has been made in view of the above points, and enables the selection of a down-sampling lattice pattern that minimizes the loss when super-resolution restoration is performed, and can achieve higher restoration accuracy than before. It is an object to provide an encoding method and apparatus.
上記の課題を解決するため、本発明は、超解像処理を用いた映像符号化装置及び映像復号化装置を有するシステムにおける映像符号化装置であって、
入力された高解像度画像列に対して、Group of Pictures(GOP)内でIntraフレームとInterフレーム間の動きベクトルを計算する動きベクトル推定手段と、
前記動きベクトルに基づいて、前記高解像度画像列を高解像度空間に再配置した際の欠損数が最小となるように全フレームのダウンサンプリング格子パターンを決定するダウンサンプリング格子パターン決定手段と、
前記ダウンサンプリング格子パターンで画像列を平均し、低解像度画像列を平均化し、低解像度画像列を取得する低解像度画像列生成手段と、
前記低解像度画像列を符号化して前記映像復号化装置に送信する符号化手段と、
前記映像復号化装置におけるSR処理後のフィルタリングのためのフィルタの係数を最適化し、サイド情報として該映像復号化装置に送信するパラメータ生成手段と、を有する。
In order to solve the above problems, the present invention is a video encoding device in a system having a video encoding device and a video decoding device using super-resolution processing,
A motion vector estimation means for calculating a motion vector between an Intra frame and an Inter frame in the Group of Pictures (GOP) for the input high-resolution image sequence;
Down-sampling grid pattern determining means for determining the down-sampling grid pattern of all the frames based on the motion vector so as to minimize the number of defects when the high-resolution image sequence is rearranged in the high-resolution space;
Low resolution image sequence generation means for averaging the image sequence with the downsampling grid pattern, averaging the low resolution image sequence, and acquiring the low resolution image sequence;
Encoding means for encoding the low resolution image sequence and transmitting it to the video decoding device;
Parameter generating means for optimizing the coefficient of the filter for filtering after the SR processing in the video decoding device and transmitting it to the video decoding device as side information.
上記のように、GOP内のIntraフレームとInterフレーム間の動きベクトルに基づいて各フレームのダウンサンプリング位置を決定することにより、超解像復元したときの欠損が最小となるダウンサンプリングの格子パターンを選択することができ、その結果、従来よりも高い復元精度を達成することができる。 As described above, by determining the downsampling position of each frame based on the motion vector between the Intra frame and Inter frame in the GOP, the downsampling lattice pattern that minimizes the loss when super-resolution restoration is performed can be obtained. As a result, it is possible to achieve higher restoration accuracy than before.
以下、図面と共に本発明の実施の形態を説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
［第１の実施の形態］
以下に、映像符号化／復号化システムについて説明する。
[First Embodiment]
The video encoding / decoding system will be described below.
図３は、本発明の第１の実施の形態におけるシステム構成を示す。当該システムは、Group of Pictures(GOP)毎に適用する。 FIG. 3 shows a system configuration in the first embodiment of the present invention. This system is applied for each Group of Pictures (GOP).
同図に示すエンコーダ１００は、動きベクトル推定部１１０、ダウンサンプリング部１２０、ＬＲ画像生成部１３０、符号器１４０、パラメータ最適化部１５０から構成される。 The encoder 100 shown in the figure includes a motion vector estimation unit 110, a downsampling unit 120, an LR image generation unit 130, an encoder 140, and a parameter optimization unit 150.
デコーダ２００は、復号器２１０、SR処理部２２０、フィルタ２３０から構成される。 The decoder 200 includes a decoder 210, an SR processing unit 220, and a filter 230.
上記のエンコーダ１００の手順を以下に示す。 The procedure of the encoder 100 will be described below.
Ａ：エンコーダ１００の処理：
Ａ−１） 動きベクトル推定部１１０は、入力高解像度画像列に対して、ブロック毎にIntraフレームとの間で動きベクトル推定を行う。
A: Processing of encoder 100:
A-1) The motion vector estimation unit 110 performs motion vector estimation between the input high-resolution image sequence and an Intra frame for each block.
Ａ−２） ダウンサンプリング部１２０は、各フレームに対してダウンサンプリング格子パターンを決定する。当該処理は、ダウンサンプリングの格子パターンをコントロールすることで高解像度画像の譲歩を可能な限り維持するために行う。Ａ−１で求めた動きベクトルに基づいて、低解像度画像列を高解像度空間に再配置した際の欠損数が最小となるように全フレームのダウンサンプリング格子パターンを決定する。これにより、低解像度画像列同士が適切なサブピクセルシフトをもつため、SR法の復元精度が向上する。詳細については第２の実施の形態で詳述する。 A-2) The downsampling unit 120 determines a downsampling grid pattern for each frame. This processing is performed in order to maintain the concession of the high-resolution image as much as possible by controlling the downsampling grid pattern. Based on the motion vector obtained in A-1, the down-sampling grid pattern of all frames is determined so that the number of defects when the low-resolution image sequence is rearranged in the high-resolution space is minimized. Thereby, since the low resolution image sequences have appropriate sub-pixel shifts, the restoration accuracy of the SR method is improved. Details will be described in the second embodiment.
Ａ−３） ＬＲ画像生成部１３０は、それぞれのダウンサンプリング格子パターンで画像列を平均し、低解像度画像列を得る。当該処理は、デコーダ２００のSR処理部２２０において、SR復元で生じる誤差を予め最小限するために行う処理であり、上記Ａ−１において、ダウンサンプリングを行う前に、動きベクトル推定部１１０によってGOP毎に高解像度画像列をIntraフレームに位置合わせし、その後、ＬＲ画像生成部１３０にて平均化処理を施すものである。 A-3) The LR image generation unit 130 averages the image sequences with the respective downsampling grid patterns to obtain a low-resolution image sequence. This process is a process performed in advance in the SR processing unit 220 of the decoder 200 in order to minimize an error caused by the SR restoration. In the above A-1, the GOP is performed by the motion vector estimation unit 110 before downsampling. The high-resolution image sequence is aligned with the Intra frame every time, and thereafter, the LR image generation unit 130 performs an averaging process.
Ａ−４） 符号器１４０は、低解像度画像列を従来の符号化方式（H.264/AVC等）で圧縮し、ビットストリームをデコーダ２００に送信する。 A-4) The encoder 140 compresses the low-resolution image sequence using a conventional encoding method (H.264 / AVC or the like), and transmits the bit stream to the decoder 200.
Ａ−５） パラメータ最適化部１５０は、各フレームでWienerフィルタ係数を求め、サイド情報としてデコーダ２００へ伝送する。当該処理は、デコーダ２００のフィルタ２３０におけるノイズ除去のためのWienerフィルタの係数をエンコーダ１００側で最適化するための処理である。 A-5) The parameter optimization unit 150 obtains a Wiener filter coefficient in each frame and transmits it to the decoder 200 as side information. This process is a process for optimizing the coefficient of the Wiener filter for removing noise in the filter 230 of the decoder 200 on the encoder 100 side.
Ｂ：デコーダ２００の処理：
Ｂ−１） 復号器２１０は、エンコーダ１００から取得した低解像度画像列を復号化する。
B: Processing of decoder 200:
B-1) The decoder 210 decodes the low-resolution image sequence acquired from the encoder 100.
Ｂ−２） SR処理部２２０は、復号化された低解像度画像列に対してSR法を適用し、再構成高解像度画像列を得る。なお、SR法については第４の実施の形態にて詳述する。 B-2) The SR processing unit 220 applies the SR method to the decoded low-resolution image sequence to obtain a reconstructed high-resolution image sequence. The SR method will be described in detail in the fourth embodiment.
Ｂ−３） フィルタ２３０は、各フレームに対して、エンコーダ１００から取得したサイド情報のフィルタ係数を用いてフィルタリングする。 B-3) The filter 230 filters each frame using the filter coefficient of the side information acquired from the encoder 100.
［第２の実施の形態］
本実施の形態では、超解像に適したダウンサンプリングについて説明する。
[Second Embodiment]
In this embodiment, downsampling suitable for super-resolution will be described.
まず、超解像に必要な格子パターンについて説明する。 First, the lattice pattern necessary for super-resolution will be described.
低解像度画像をｒ倍に高解像度化するためには、１／ｒ[pixel]のサブピクセル精度で位置ずれした低解像度画像列が最低でも、ｒ2枚必要である。例えば、ｒ＝２の場合は、図４に示すように、お互いのフレームで輝度値間を補間し合うことで高解像度画像が得られる。しかし、実際にはサブピクセルシフトの組み合わせが完全に揃うことは稀であるため、図５のように欠損部分が生じる。これを回避するためにはフレーム数を増やしてサブピクセルシフトの組み合わせを可能な限り揃えればよいが、フレーム数には限界があるため、必ずしも全ての組み合わせが得られるわけではない。特に、背景のように動きのない領域は1パターンしか得られないため高解像度化できない。また、動きベクトルの計算時間が増大するという問題もある。 In order to increase the resolution of a low-resolution image to r times, at least r 2 low-resolution image sequences whose positions are shifted with a sub-pixel accuracy of 1 / r [pixel] are required. For example, when r = 2, as shown in FIG. 4, a high-resolution image can be obtained by interpolating between luminance values in each frame. However, in practice, since it is rare that the combination of subpixel shifts is completely aligned, a defective portion is generated as shown in FIG. In order to avoid this, it is only necessary to increase the number of frames and arrange the combinations of sub-pixel shifts as much as possible. However, since there is a limit to the number of frames, not all combinations can be obtained. In particular, since only one pattern can be obtained in a non-moving area such as the background, the resolution cannot be increased. There is also a problem that the calculation time of the motion vector increases.
上記の問題を解決するために、ダウンサンプリング格子パターンのコントロールが必要となる。本発明では、ダウンサンプリング部１２０において、ダウンサンプリング格子パターンをコントロールすることにより、高解像度化に必要な低解像度画像列間のサブピクセルシフトの全組み合わせを獲得する。このようにすることで、動きの有無に関わらず高解像度化を行うことが可能となり、フレーム数が最低限のｒ2枚でも十分な再構成を行うことができる。また、超解像に用いるフレーム数をGOPと同じ枚数にし、符号化時に求める動きベクトルを利用することで、従来のSR法の前処理として行われている動き推定を新たに行う必要がなくなる。 In order to solve the above problem, it is necessary to control the downsampling grid pattern. In the present invention, the downsampling unit 120 controls the downsampling grid pattern to acquire all combinations of subpixel shifts between low resolution image sequences necessary for high resolution. By doing so, it is possible to increase the resolution regardless of the presence or absence of motion, and sufficient reconstruction can be performed even with r 2 frames having the minimum number of frames. In addition, the number of frames used for super-resolution is the same as the number of GOPs, and the motion vector obtained at the time of encoding is used, so that it is not necessary to newly perform motion estimation that is performed as preprocessing of the conventional SR method.
ダウンサンプリング格子パターンの決定は、図６に示すように、全フレームを高解像度化した時の欠損数をコストとした最小経路問題を解くことで求める。経路探索中にコストが０になった場合は探索を中止し、その経路を最小経路とする。全探索を用いた場合の探索回数は超解像に用いるフレーム数をＮとすると2Ｎ回であるが、N≧r2である場合は境界を除いてコストが０になる経路の1つが任意に決められるため、以下のように探索せず高速に求めることが可能である。以下に提案するダウンサンプリング格子パターンの選定手順を説明する。 As shown in FIG. 6, the downsampling grid pattern is determined by solving a minimum path problem with the number of defects when the resolution of all frames is increased as a cost. If the cost becomes 0 during the route search, the search is stopped and the route is set as the minimum route. The number of searches when the full search is used is 2N, where N is the number of frames used for super-resolution. However, when N ≧ r 2 , one of the paths whose cost is zero except for the boundary is arbitrary. Therefore, it is possible to obtain at high speed without searching as follows. The proposed procedure for selecting a downsampling grid pattern is described below.
図７には、r＝2の場合の例を示した。 FIG. 7 shows an example in the case of r = 2.
[ダウンサンプリング格子パターンの選定]
ステップ１） 動きベクトル推定部１１０において、GOP内でIntraフレームとInterフレーム間の動きベクトルを計算する。
[Selection of downsampling grid pattern]
Step 1) The motion vector estimation unit 110 calculates a motion vector between the Intra frame and the Inter frame within the GOP.
ステップ２） ダウンサンプリング部１２０は、ｋ番目のフレームのダウンサンプリング位置を
(mk+dx,k，nk+dy,k) k=1,…,N (1)
として決定する。ここで、（ｍk，ｎk）は位置合わせしたｋ番目のフレームのマクロブロック単位のインデックスであり、次のように表される。
Step 2) The downsampling unit 120 determines the downsampling position of the kth frame.
(m k + d x, k , n k + d y, k ) k = 1,…, N (1)
Determine as. Here, (m k , n k ) is a macroblock unit index of the k-th frame that has been aligned, and is expressed as follows.
上記のように、ダウンサンプリングの格子パターンをコントロールすることで、高解像度の画像の情報を可能な限り維持する。これにより、低解像度画像列同士が適切なサブピクセルシフトを持つため、SR法の復元精度が向上する。また、従来技術１とは異なり、動きのある部分にも適用可能である。 As described above, the information of the high-resolution image is maintained as much as possible by controlling the downsampling grid pattern. Thereby, since the low resolution image sequences have appropriate sub-pixel shifts, the restoration accuracy of the SR method is improved. Further, unlike the prior art 1, it can also be applied to a moving part.
［第３の実施の形態］
本実施の形態では、ＬＲ画像生成部１３０における、超解像に適した低解像度画像列の生成について説明する。
[Third Embodiment]
In the present embodiment, generation of a low-resolution image sequence suitable for super-resolution in the LR image generation unit 130 will be described.
本実施の形態では、第２の実施の形態で求められたダウンサンプリング格子パターンに基づいて、ＬＲ画像生成部１３０において、平均画像を生成し、その画像から低解像度画像列を取得することで再構成時の誤差を低減する。 In the present embodiment, based on the downsampling grid pattern obtained in the second embodiment, the LR image generation unit 130 generates an average image and obtains a low-resolution image sequence from the image, thereby regenerating the image. Reduce configuration errors.
図１０及び以下に、k枚の低解像度画像の生成手順を示す。 FIG. 10 and the following show the procedure for generating k low-resolution images.
ステップ１） ＬＲ画像生成部１３０は、動きベクトル推定部１１０で推定された動きベクトルを用いてGOP内の全フレームをIフレーム格子上に配置する。 Step 1) The LR image generation unit 130 arranges all frames in the GOP on the I frame lattice using the motion vector estimated by the motion vector estimation unit 110.
ステップ２） 格子内で重複しているピクセルを平均する。 Step 2) Average the overlapping pixels in the grid.
ステップ３） 第２の実施の形態においてダウンサンプリング部１２０で求めた（mk+dx,k，nk+dy,k）の位置で各フレームをダウンサンプリングする。 Step 3) Each frame is down-sampled at the position (m k + d x, k , n k + d y, k ) obtained by the down-sampling unit 120 in the second embodiment.
上記のように、ダウンサンプリングを行う前に、GOPごとに高解像度画像列をIntraフレームに位置合わせし、平均化処理を施しておくことで、SR復元で生じる誤差を予め最小限にする。 As described above, before down-sampling, the high-resolution image sequence is aligned with the Intra frame for each GOP, and an averaging process is performed, so that errors caused by SR restoration are minimized in advance.
［第４の実施の形態］
本実施の形態では、SR法の処理について説明する。
[Fourth Embodiment]
In the present embodiment, the processing of the SR method will be described.
本発明のシステムでは、SR法をエンコーダ１００、デコーダ２００で適用するが、本実施の形態で示すSR法は低解像度画像列を高解像度格子に配置する処理と動き補償処理の単純な処理で行うため、計算負荷が少ない。以下に処理手順を示す。 In the system of the present invention, the SR method is applied by the encoder 100 and the decoder 200, but the SR method shown in this embodiment is performed by a simple process of arranging a low resolution image sequence on a high resolution grid and a motion compensation process. Therefore, the calculation load is small. The processing procedure is shown below.
以下の処理では、エンコーダ１００において、第２の実施の形態で示した処理が行なわれていることを前提とする。 In the following processing, it is assumed that the processing shown in the second embodiment is performed in the encoder 100.
ステップ１） Intraフレームの再構成：
デコーダ２００のSR処理部２２０は、サブピクセル精度の動きベクトルを利用して、復号化したGOP内の低解像度画像列を高解像度格子上に配置する。埋まらなかったピクセルは補間する。
Step 1) Intra frame reconstruction:
The SR processing unit 220 of the decoder 200 arranges the decoded low-resolution image sequence in the GOP on the high-resolution grid using the sub-pixel precision motion vector. Interpolate pixels that are not filled.
ステップ２） Interフレームの再構成：
ステップ１で再構成したIntraフレームの動き補償として再構成する。
Step 2) Inter frame reconstruction:
Reconstructed as motion compensation of the Intra frame reconstructed in step 1.
［第５の実施の形態］
本実施の形態では、ポストフィルタリングについて説明する。
[Fifth Embodiment]
In this embodiment, post filtering will be described.
デコーダ２００では、SR法で再構成した後に、圧縮や動き推定の誤差によって発生したノイズを除去するために、フィルタリングを行う。ここで想定するフィルタ２３０は線形フィルタで図１２にようにカーネル（フィルタ係数）を画素毎に畳み込む。境界部分は境界の画素値を対称拡張させて計算を行う。 In the decoder 200, after reconstructing by the SR method, filtering is performed in order to remove noise generated by an error in compression or motion estimation. The filter 230 assumed here is a linear filter and convolves a kernel (filter coefficient) for each pixel as shown in FIG. The boundary portion is calculated by symmetrically extending the boundary pixel value.
エンコーダ１００のパラメータ最適化部１５０では、デコーダ２００におけるフィルタ２３０として、Wienerフィルタを利用し、最小化する評価関数を以下のように定義する。 In the parameter optimization unit 150 of the encoder 100, a Wiener filter is used as the filter 230 in the decoder 200, and an evaluation function to be minimized is defined as follows.
＜オープンループシステム＞
デコーダ２００で施すフィルタ係数を別の動画像を用いて予めレート別に設計しておき、そのフィルタ係数を用いてフィルタリングを行う。
<Open loop system>
The filter coefficient applied by the decoder 200 is designed for each rate in advance using another moving image, and filtering is performed using the filter coefficient.
＜クローズドループシステム＞
入力動画像をそのまま用いて、エンコーダ１００のパラメータ最適化部１５０で事前にフィルタ係数を最適化しておき、サイド情報としてデコーダ２００へ送信する。デコーダ２００ではそのフィルタ係数を用いてフィルタリングを行う。この方式はオープンループと違い、入力動画像に適合したフィルタを設計することが可能である。フィルタ係数の設計は式(5)と同様に行うが、計算量の削減のため、はじめのIntraフレームのみで設計し、２フレーム目移行は同じフィルタ係数を利用する。また、送信するフィルタ係数の情報量は動画像当り（M×数ビット）であるため、無視できる範囲である。
<Closed loop system>
Using the input moving image as it is, the parameter optimization unit 150 of the encoder 100 optimizes the filter coefficient in advance and transmits it to the decoder 200 as side information. The decoder 200 performs filtering using the filter coefficient. Unlike the open loop, this method can design a filter suitable for the input moving image. The filter coefficient is designed in the same manner as in equation (5). However, in order to reduce the amount of calculation, the filter coefficient is designed using only the first Intra frame, and the same filter coefficient is used for the second frame transition. Further, the information amount of the filter coefficient to be transmitted is per moving image (M × several bits), and is in a negligible range.
上記のように、デコーダ２００でSR処理後に行うノイズ除去のためのWienerフィルタの係数をエンコーダ１００で最適化しておき、サイド情報をとしてデコーダ２００に送信することで、デコーダ２００で最適な復元を行うことが可能となる。 As described above, the coefficient of the Wiener filter for noise removal performed after the SR processing by the decoder 200 is optimized by the encoder 100 and is transmitted to the decoder 200 as side information, whereby the decoder 200 performs optimum restoration. It becomes possible.
本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。 The present invention is not limited to the above-described embodiments, and various modifications and applications are possible within the scope of the claims.
１０ エンコーダ
２０ デコーダ
１００ エンコーダ
１１０ 動きベクトル推定部
１２０ ダウンサンプリング部
１３０ ＬＲ画像生成部
１４０ 符号器
１５０ パラメータ最適化部
２００ デコーダ
２１０ 復号器
２２０ SR処理部
２３０ フィルタ
DESCRIPTION OF SYMBOLS 10 Encoder 20 Decoder 100 Encoder 110 Motion vector estimation part 120 Downsampling part 130 LR image generation part 140 Encoder 150 Parameter optimization part 200 Decoder 210 Decoder 220 SR process part 230 Filter
Claims (2)
入力された高解像度画像列に対して、Group of Pictures(GOP)内でIntraフレームとInterフレーム間の動きベクトルを計算する動きベクトル推定手段と、
前記動きベクトルに基づいて、前記高解像度画像列に対する低解像度画像列を高解像度空間に再配置した際の欠損数が最小となるように全フレームのダウンサンプリング格子パターンを決定するダウンサンプリング格子パターン決定手段と、
前記ダウンサンプリング格子パターンに前記GOP内の全フレームを配置して格子内で重複しているピクセルを平均して、前記低解像度画像列を取得する低解像度画像列生成手段と、
前記低解像度画像列を符号化して前記映像復号化装置に送信する符号化手段と、
前記映像復号化装置における超解像処理後のフィルタリングのためのフィルタの係数を最適化し、サイド情報として該映像復号化装置に送信するパラメータ生成手段と、
を有することを特徴とする映像符号化装置。 A video encoding apparatus in a system having movies picture coding apparatus and a video decoding device,
A motion vector estimation means for calculating a motion vector between an Intra frame and an Inter frame in the Group of Pictures (GOP) for the input high-resolution image sequence;
Downsampling grid pattern determination that determines the downsampling grid pattern of all frames so that the number of defects when the low resolution image sequence for the high resolution image sequence is rearranged in the high resolution space is minimized based on the motion vector Means,
A low-resolution image sequence generating means for obtaining the low-resolution image sequence by arranging all the frames in the GOP in the down-sampling grid pattern and averaging pixels overlapping in the grid ;
Encoding means for encoding the low resolution image sequence and transmitting it to the video decoding device;
Parameter generating means for optimizing the coefficient of the filter for filtering after the super-resolution processing in the video decoding device, and transmitting to the video decoding device as side information;
A video encoding device comprising:
動きベクトル推定手段が、入力された高解像度画像列に対して、Group of Pictures(GOP)内でIntraフレームとInterフレーム間の動きベクトルを計算する動きベクトル推定ステップと、
ダウンサンプリング格子パターン決定手段が、前記動きベクトルに基づいて、前記高解像度画像列に対する低解像度画像列を高解像度空間に再配置した際の欠損数が最小となるように全フレームのダウンサンプリング格子パターンを決定するダウンサンプリング格子パターン決定ステップと、
低解像度画像列生成手段が、前記ダウンサンプリング格子パターンに前記GOP内の全フレームを配置して格子内で重複しているピクセルを平均して、前記低解像度画像列を取得する低解像度画像列生成ステップと、
符号化手段が、前記低解像度画像列を符号化して前記映像復号化装置に送信する符号化ステップと、
パラメータ生成手段が、前記映像復号化装置における超解像処理後のフィルタリングのためのフィルタの係数を最適化し、サイド情報として該映像復号化装置に送信するパラメータ生成ステップと、
を行うことを特徴とする映像符号化方法。
A video encoding method in a system having movies picture coding apparatus and a video decoding device,
A motion vector estimating step in which a motion vector estimating means calculates a motion vector between an Intra frame and an Inter frame in a Group of Pictures (GOP) for the input high-resolution image sequence;
The downsampling grid pattern determining means for all frames so that the number of defects when the downsampling grid pattern determining means rearranges the low resolution image sequence for the high resolution image sequence in the high resolution space based on the motion vector is minimized. Downsampling grid pattern determination step to determine,
Low-resolution image sequence generation means for obtaining the low-resolution image sequence by arranging all the frames in the GOP in the down-sampling grid pattern and averaging pixels overlapping in the grid Steps,
An encoding step for encoding and transmitting the low-resolution image sequence to the video decoding device;
A parameter generating step for optimizing a coefficient of a filter for filtering after the super-resolution processing in the video decoding device, and transmitting to the video decoding device as side information;
A video encoding method characterized by:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012100484A JP5860337B2 (en) | 2012-04-25 | 2012-04-25 | Video encoding method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012100484A JP5860337B2 (en) | 2012-04-25 | 2012-04-25 | Video encoding method and apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013229768A JP2013229768A (en) | 2013-11-07 |
| JP5860337B2 true JP5860337B2 (en) | 2016-02-16 |
Family
ID=49676998
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012100484A Expired - Fee Related JP5860337B2 (en) | 2012-04-25 | 2012-04-25 | Video encoding method and apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5860337B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111937385B (en) * | 2018-04-13 | 2024-04-16 | 皇家Kpn公司 | Video coding based on frame-level super resolution |
| CN110800297B (en) * | 2018-07-27 | 2022-10-04 | 深圳市大疆创新科技有限公司 | Video encoding method and apparatus, and computer-readable storage medium |
| CN109451323A (en) * | 2018-12-14 | 2019-03-08 | 上海国茂数字技术有限公司 | A kind of lossless image coding method and device |
| CN110111251B (en) * | 2019-04-22 | 2023-04-28 | 电子科技大学 | Image super-resolution reconstruction method combining depth supervision self-coding and perception iterative back projection |
| US11778223B2 (en) * | 2021-08-19 | 2023-10-03 | Huawei Technologies Co., Ltd. | Method, device, and medium for generating super-resolution video |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4552691B2 (en) * | 2004-05-18 | 2010-09-29 | ソニー株式会社 | Moving picture conversion apparatus, moving picture restoration apparatus and method, and computer program |
| JP2006174415A (en) * | 2004-11-19 | 2006-06-29 | Ntt Docomo Inc | Image decoding apparatus, image decoding program, image decoding method, image encoding apparatus, image encoding program, and image encoding method |
| JP4993403B2 (en) * | 2006-06-02 | 2012-08-08 | 富士ゼロックス株式会社 | Image processing apparatus, image encoding apparatus, image decoding apparatus, image processing system, and program |
| WO2009133844A1 (en) * | 2008-04-30 | 2009-11-05 | 株式会社 東芝 | Video encoding and decoding method and device equipped with edge-referenced filtering function |
| EP2141927A1 (en) * | 2008-07-03 | 2010-01-06 | Panasonic Corporation | Filters for video coding |
| JP5436371B2 (en) * | 2010-08-25 | 2014-03-05 | 日本電信電話株式会社 | Video encoding system, video encoding device, video decoding device, video encoding method, video encoding program, and video decoding program |
-
2012
- 2012-04-25 JP JP2012100484A patent/JP5860337B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013229768A (en) | 2013-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102668077B1 (en) | Apparatus and method for image coding and decoding | |
| US20100272184A1 (en) | System and Method for Real-Time Super-Resolution | |
| KR101915425B1 (en) | Methods and apparatus for video imaging pruning | |
| JP5529293B2 (en) | A method for edge enhancement for time scaling with metadata | |
| JP5623640B2 (en) | Video coding using high resolution reference frames | |
| JP5860337B2 (en) | Video encoding method and apparatus | |
| JP5436371B2 (en) | Video encoding system, video encoding device, video decoding device, video encoding method, video encoding program, and video decoding program | |
| TW201132131A (en) | Global motion parameter estimation using block-based motion vectors | |
| US20100086048A1 (en) | System and Method for Video Image Processing | |
| US8170110B2 (en) | Method and apparatus for zoom motion estimation | |
| JP2005513968A (en) | Improving temporary consistency in improving image definition | |
| JP5484378B2 (en) | Encoding apparatus, encoding and decoding system, encoding method, and encoding and decoding method | |
| CN106060567A (en) | Wavelet domain distributed multi-view video coding based on layered WZ frame | |
| JP5484377B2 (en) | Decoding device and decoding method | |
| Anantrasirichai et al. | Spatiotemporal super-resolution for low bitrate H. 264 video | |
| KR100801155B1 (en) | A spatial error concealment method with low complexity in h. 264/avc video coding | |
| JP2009278473A (en) | Image processing device, imaging apparatus mounting the same, and image reproducing device | |
| Sugiyama et al. | Related pre and post-processing for all-intra and inter-picture coding | |
| Klepko et al. | Combining distributed video coding with super-resolution to achieve H. 264/AVC performance | |
| John | Motion compensation based multiple inter frame interpolation | |
| Baruffa et al. | Performance assessment of JPEG 2000 based MCTF and H. 264 FRExt for digital cinema compression | |
| CN117082252A (en) | Video coding method combining HEVC (high efficiency video coding) coding information and time/space domain super-resolution reconstruction | |
| Zhong-qiang et al. | Compressed video super-resolution reconstruction based on regularized algorithm | |
| Fishbain et al. | Real-time turbulent video super-resolution using MPEG-4 | |
| Klepko et al. | Achieving H. 264/AVC performance using distributed video coding combined with super-resolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141121 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20141121 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20141121 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150924 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151006 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151117 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151215 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151218 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5860337 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |