JP2017092868A - Video encoding device and program - Google Patents
Video encoding device and program Download PDFInfo
- Publication number
- JP2017092868A JP2017092868A JP2015224175A JP2015224175A JP2017092868A JP 2017092868 A JP2017092868 A JP 2017092868A JP 2015224175 A JP2015224175 A JP 2015224175A JP 2015224175 A JP2015224175 A JP 2015224175A JP 2017092868 A JP2017092868 A JP 2017092868A
- Authority
- JP
- Japan
- Prior art keywords
- super
- resolution
- video
- unit
- video encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 80
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 description 43
- 230000006835 compression Effects 0.000 description 10
- 238000007906 compression Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、映像符号化装置およびプログラムに関する。 The present invention relates to a video encoding device and a program.
映像の圧縮技術として、超解像技術を利用する方式が開示されている（例えば、特許文献１）。特許文献１の手法では、送信側で入力映像は、解像度を一旦削減される。そして、解像度が削減された映像は、既存の映像符号化方式による符号化装置によって符号化圧縮されて、ビット列として伝送される。一方、受信側では、受信したビット列は、既存の映像符号化方式による復号装置によって復号される。この復号により得られた映像信号は、超解像処理によって元の解像度に復元される。 As a video compression technique, a method using a super-resolution technique is disclosed (for example, Patent Document 1). In the technique of Patent Document 1, the resolution of the input video is temporarily reduced on the transmission side. Then, the video with reduced resolution is encoded and compressed by an encoding apparatus using an existing video encoding method, and transmitted as a bit string. On the other hand, on the receiving side, the received bit string is decoded by a decoding device using an existing video encoding method. The video signal obtained by this decoding is restored to the original resolution by super-resolution processing.
このとき、送信側でも超解像処理を試行し、入力映像を参照しつつ超解像処理をする際に用いる超解像パラメータが算出される。算出された超解像パラメータは、補助情報として送信側から受信側へ伝送され、受信側における超解像処理に用いられる。このように、受信側の超解像処理においても、解像度が削減されていない入力映像を参照して算出された超解像パラメータを用いているので、高画質な映像伝送を実現できる。すなわち、特許文献１の手法においては、送信側に高解像映像が入力され、これを低解像化して伝送し、受信側で高解像化する処理が行われることにより、画質の改善を得ている。 At this time, super-resolution processing is also attempted on the transmission side, and super-resolution parameters used when performing super-resolution processing while referring to the input video are calculated. The calculated super-resolution parameter is transmitted as auxiliary information from the transmission side to the reception side, and is used for the super-resolution processing on the reception side. As described above, in the super-resolution processing on the receiving side, the super-resolution parameter calculated with reference to the input video whose resolution is not reduced is used, so that high-quality video transmission can be realized. That is, in the method of Patent Document 1, a high-resolution video is input to the transmission side, is transmitted with a low resolution, and a process for high resolution is performed on the reception side, thereby improving the image quality. It has gained.
しかしながら、特許文献１に記載の手法においては、送信側において、超解像パラメータを算出する際に、入力映像として、伝送する映像よりも高解像な映像が必要であるという問題がある。 However, the technique described in Patent Document 1 has a problem that, when the super-resolution parameter is calculated on the transmission side, an input video requires a higher resolution video than the video to be transmitted.
本発明は、このような事情に鑑みてなされたもので、送信側において、超解像パラメータを算出する際に、伝送する映像よりも高解像な映像を必要としない映像符号化装置およびプログラムを提供する。 The present invention has been made in view of such circumstances, and a video encoding device and a program that do not require a higher-resolution video than a video to be transmitted when calculating a super-resolution parameter on the transmission side. I will provide a.
（１）この発明は上述した課題を解決するためになされたもので、本発明の一態様は、入力映像を、第一の超解像方法で超解像する第一超解像部と、前記入力映像を、前記第一の超解像方法とは異なる複数の第二の超解像方法で超解像する第二超解像部と、前記第一超解像部により超解像された映像と、前記複数の第二の超解像方法各々で超解像された映像とを比較して、前記複数の第二の超解像方法のうち、一つを選択する選択部と、前記選択部が選択した前記第二の超解像方法を表す補助情報を出力する情報出力部とを備える映像符号化装置である。 (1) The present invention has been made to solve the above-described problems, and one aspect of the present invention includes a first super-resolution unit that super-resolutions an input video by a first super-resolution method, The input video is super-resolved by a second super-resolution unit for super-resolution by a plurality of second super-resolution methods different from the first super-resolution method, and the first super-resolution unit. A selection unit that selects one of the plurality of second super-resolution methods by comparing the image and the images super-resolved by each of the plurality of second super-resolution methods; And an information output unit that outputs auxiliary information representing the second super-resolution method selected by the selection unit.
（２）また、本発明の他の態様は、（１）に記載の映像符号化装置であって、前記第一の超解像方法は、前記複数の第二の超解像方法のいずれよりも、演算量が大きい。 (2) According to another aspect of the present invention, there is provided the video encoding device according to (1), wherein the first super-resolution method is any of the plurality of second super-resolution methods. However, the calculation amount is large.
（３）また、本発明の他の態様は、（１）に記載の映像符号化装置であって、前記入力映像を、非可逆圧縮する映像符号化部と、前記映像符号化部により非可逆圧縮された映像を復号する映像復号部とを備え、前記第二超解像部が前記複数の第二の超解像方法で超解像する前記入力映像は、前記映像復号部が復号した映像である。 (3) According to another aspect of the present invention, there is provided the video encoding device according to (1), wherein the input video is irreversibly compressed by a video encoding unit that performs irreversible compression on the input video. A video decoding unit that decodes the compressed video, and the input video that the second super-resolution unit performs super-resolution using the plurality of second super-resolution methods is a video that is decoded by the video decoding unit. It is.
（４）また、本発明の他の態様は、（１）に記載の映像符号化装置であって、前記情報出力部は、前記補助情報を圧縮符号化して出力する。 (4) According to another aspect of the present invention, there is provided the video encoding apparatus according to (1), wherein the information output unit compresses and encodes the auxiliary information.
（５）また、本発明の他の態様は、コンピュータを、入力映像を、第一の超解像方法で超解像する第一超解像部、前記入力映像を、前記第一の超解像方法とは異なる複数の第二の超解像方法で超解像する第二超解像部、前記第一超解像部により超解像された映像と、前記複数の第二の超解像方法各々で超解像された映像とを比較して、前記複数の第二の超解像方法のうち、一つを選択する選択部、前記選択部が選択した前記第二の超解像方法を示す情報を出力する情報出力部として機能させるためのプログラムである。 (5) According to another aspect of the present invention, there is provided a computer, a first super-resolution unit that super-resolutions an input video by a first super-resolution method, and the input video that is the first super-resolution. A second super-resolution unit that performs super-resolution using a plurality of second super-resolution methods different from the imaging method, a video that is super-resolved by the first super-resolution unit, and the plurality of second super-resolutions. A selection unit that selects one of the plurality of second super-resolution methods by comparing the images super-resolved by each of the image methods, and the second super-resolution selected by the selection unit It is a program for making it function as an information output part which outputs the information which shows a method.
この発明によれば、超解像パラメータを算出する際に、伝送する映像よりも高解像な映像を必要としない。 According to the present invention, when calculating the super-resolution parameter, an image having a higher resolution than the image to be transmitted is not required.
以下、図面を参照して、本発明の実施の形態について説明する。図１は、この発明の一実施形態による映像伝送システムの構成を示す概略ブロック図である。映像伝送システム１００は、映像符号化装置１、映像復号装置２、第一伝送手段９、第二伝送手段１０を含む。映像符号化装置１と映像復号装置２とは第一伝送手段９と第二伝送手段１０を通じて接続されている。
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a schematic block diagram showing the configuration of a video transmission system according to an embodiment of the present invention. The
映像符号化装置１は、入力された低解像映像Ｌ（入力映像）を圧縮符号化することで、符号化データを生成する。さらに、映像符号化装置１は、映像復号装置２における超解像処理に関するパラメータである補助情報を生成する。第一伝送手段９は、映像符号化装置１が生成した符号化データを、映像復号装置２に伝送する。第二伝送手段１０は、映像符号化装置１が生成した補助情報を、映像復号装置２に伝送する。映像復号装置２は、第一伝送手段９により伝送された符号化データを復号し、さらに、この復号により得られた映像を、第二伝送手段１０により伝送された補助情報を用いて超解像することで、超解像映像Ｈを生成する。超解像映像Ｈは、映像復号装置２の出力映像であり、低解像映像Ｌは、映像符号化装置１の入力画像である。超解像映像Ｈは、低解像映像Ｌよりも解像度の高い映像である。
The video encoding device 1 generates encoded data by compressing and encoding the input low-resolution video L (input video). Furthermore, the video encoding device 1 generates auxiliary information that is a parameter related to super-resolution processing in the
映像符号化装置１は、映像符号化手段３、第一超解像手段４、映像復号手段５、第二超解像手段６、選択手段７、補助情報符号化手段８を含む。第二超解像手段６は、候補超解像手段６−１〜６−Ｎを含む。なお、Ｎは、２以上の整数である。映像符号化手段３（映像符号化部）は、入力された低解像映像Ｌを圧縮してビット列に変換する。映像符号化手段３によるビット列への変換には、映像の符号化圧縮のための任意の方式を用いることができる。符号化圧縮のための方式は、可逆圧縮でも、非可逆圧縮でもよく、例えば、公知の映像符号化方式であるＨ．２６１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４、ＭＰＥＧ−Ｈ ＨＥＶＣ／Ｈ．２６５、Ｍｏｔｉｏｎ ＪＰＥＧ、Ｍｏｔｉｏｎ ＪＰＥＧ２０００、ＶＣ−１などを用いることができる。なお、可逆圧縮である場合は、映像復号手段５による復号結果は、低解像映像Ｌと同じになるので、映像復号手段５は不要である。
The video encoding device 1 includes a video encoding unit 3, a first super-resolution unit 4, a
第一超解像手段４（第一超解像部）は、低解像映像Ｌを第一の超解像方法で超解像することで、低解像映像Ｌの各フレームの解像度を増加させる。第一超解像手段４における超解像方法（第一の超解像方法）は、第二超解像手段６（第二超解像部）、すなわち候補超解像手段６−１から６−Ｎによる複数の超解像方法（複数の第二の超解像方法）とは異なる。第一超解像手段４における超解像方法は、第二超解像手段６のいずれよりも演算コスト（演算量）が大きい手法を用いることが好ましい。これは、演算コストが大きい手法の方が、より原画像に近い映像や、より美しい映像が得られることがある、すなわち、より高性能なためである。例えば、候補超解像手段６−１〜６−Ｎにはウェーブレット超解像などの単一フレーム超解像技術を用いるのに対し、第一超解像手段４には再構成型の複数フレーム超解像技術を用いる。あるいは、第一超解像手段４として、複数の解像度変換手法（例えば、自己合同型超解像、複数フレーム超解像、内挿補間など）を、低解像映像Ｌの画像特徴（エッジであるか平坦部であるか、動領域であるか否か、人物顔領域であるか否かなど）に応じてフレームや部分領域単位で切り替えて出力すべき映像を生成する手法を用いることも可能である。 The first super-resolution means 4 (first super-resolution unit) increases the resolution of each frame of the low-resolution video L by super-resolution of the low-resolution video L by the first super-resolution method. Let The super-resolution method (first super-resolution method) in the first super-resolution means 4 is the second super-resolution means 6 (second super-resolution part), that is, candidate super-resolution means 6-1 to 6-6. It is different from a plurality of super-resolution methods by -N (a plurality of second super-resolution methods). As the super-resolution method in the first super-resolution means 4, it is preferable to use a method having a higher calculation cost (computation amount) than any of the second super-resolution means 6. This is because a method having a higher calculation cost may obtain a video closer to the original image or a more beautiful video, that is, higher performance. For example, a single-frame super-resolution technique such as wavelet super-resolution is used for the candidate super-resolution means 6-1 to 6-N, whereas the first super-resolution means 4 has a reconfigurable multiple frame. Use super-resolution technology. Alternatively, as the first super-resolution means 4, a plurality of resolution conversion methods (for example, self-congruent super-resolution, multi-frame super-resolution, interpolation interpolation, etc.) are used. It is also possible to use a method of generating video to be output by switching in units of frames or partial areas according to whether it is a flat part, whether it is a moving area, whether it is a human face area, etc. It is.
具体的には、第一超解像手段４には、特許第５４０５３８９号の手法を用い、候補超解像手段６−１〜６−Ｎには、特開２０１４−１１９９４９号公報の手法を用いるようにしてもよい。あるいは、第一超解像手段４と、候補超解像手段６−１〜６−Ｎとは、同じアルゴリズムであるが、超解像における、いずれかの繰り返し処理の繰り返し回数が第一超解像手段４の方が多くなるようにしていてもよい。 Specifically, the technique of Japanese Patent No. 5405389 is used for the first super-resolution means 4, and the technique of Japanese Patent Application Laid-Open No. 2014-119949 is used for the candidate super-resolution means 6-1 to 6-N. You may do it. Alternatively, the first super-resolution means 4 and the candidate super-resolution means 6-1 to 6-N are the same algorithm, but the number of repetitions of any one of the iterative processes in the super-resolution is the first super-resolution. The number of image means 4 may be increased.
映像復号手段５（映像復号部）は、映像符号化手段３で符号化されたビット列を復号することで、復号映像データを得る。映像復号手段５には、映像符号化手段３と同じ方式であって対をなす映像復号方式を用いる。
なお、映像符号化手段３が局部復号手段（ローカルデコーダ）を内部に備え、かつ局部復号（ローカルデコード）の結果を出力可能なものである場合には、映像復号手段５を省略し、映像復号手段５の出力（復号映像データ）の代わりに映像符号化手段３の局部復号の出力（局部復号映像データ）を利用しても構わない。
The video decoding unit 5 (video decoding unit) obtains decoded video data by decoding the bit string encoded by the video encoding unit 3. The video decoding means 5 uses the same video decoding system as the video encoding means 3 and a pair.
If the video encoding means 3 includes a local decoding means (local decoder) and can output the result of local decoding (local decoding), the video decoding means 5 is omitted and the video decoding is performed. Instead of the output of the means 5 (decoded video data), the local decoding output (local decoded video data) of the video encoding means 3 may be used.
候補超解像手段６−１〜６−Ｎの各々は、映像復号手段５が復号した復号映像データが表す復号映像を超解像することで、復号映像の各フレーム（または、映像符号化手段３からの局部復号出力映像フレーム、以下同じ）の解像度を増加させる。候補超解像手段６−１〜６−Ｎは、互いに異なる超解像の方式を用いる、あるいは、互いに値の異なるパラメータを用いる。これにより、同じフレームに対して、候補超解像手段６−１〜６−Ｎ毎に、異なる超解像結果が得られる。 Each of the candidate super-resolution means 6-1 to 6-N super-resolves the decoded video represented by the decoded video data decoded by the video decoding means 5, so that each frame (or video encoding means) of the decoded video is displayed. 3), the resolution of the locally decoded output video frame from 3 (hereinafter the same) is increased. Candidate super-resolution means 6-1 to 6-N use different super-resolution methods or use parameters having different values. Thereby, a different super-resolution result is obtained for each candidate super-resolution means 6-1 to 6-N for the same frame.
なお、本実施形態では、第二超解像手段６は、候補超解像手段６−１〜６−Ｎを有することで、互いに異なる複数の超解像方式を用いた超解像処理を行う、あるいは、互いに値の異なる複数のパラメータを用いた超解像処理を行うことができる。これに限らず、第二超解像手段６が有する一つの実行部が、超解像方式を切り替えたり、使用するパラメータを切り替えたりすることで、それぞれ異なる超解像方式を用いた複数の超解像処理を行う、あるいは、それぞれ異なる値のパラメータを用いた複数の超解像処理を行うようにしてもよい。
In the present embodiment, the second super resolving
選択手段７（選択部）は、第一超解像手段４および第二超解像手段６による超解像結果の画像各々が入力される。選択手段７は、第一超解像手段４による超解像結果を参照して、第二超解像手段６による超解像結果の中から、すくなくとも一つを選択する。選択手段７は、選択した超解像結果が、候補超解像手段６−１〜６−Ｎのうち、いずれによる超解像結果であるかを示す情報を、補助情報として補助情報符号化手段８に入力する。なお、補助情報は、選択手段７が選択した超解像結果の生成に用いられた超解像方式を示す情報であってもよいし、該超解像結果の生成に用いられたパラメータの値を示す情報であってもよい。
The selection unit 7 (selection unit) receives images of super-resolution results from the first super-resolution unit 4 and the
選択手段７は、超解像結果の選択を、映像フレーム単位で行ってもよいし、映像フレームを分割した部分領域（例えば、ブロック）単位で行ってもよいし、あるいは複数フレームをまとめた画像列（例えば、映像符号化手段３におけるＧｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ（ＧＯＰ））単位で行ってもよい。 The selection unit 7 may select the super-resolution result in units of video frames, may be performed in units of partial areas (for example, blocks) obtained by dividing the video frame, or an image in which a plurality of frames are combined. The processing may be performed in units of columns (for example, Group of Pictures (GOP) in the video encoding means 3).
図１のように、第二超解像手段６が複数の候補超解像手段（図１では、候補超解像手段６−１から候補超解像手段６−Ｎ）を有している形態では、選択手段７は候補超解像手段６−１から候補超解像手段６−Ｎのうちいずれの超解像結果が最も第一超解像手段４の出力画像に最も近いかを判定する。そして、選択手段７は、例えば候補超解像手段６−ｎ（ｎは一以上Ｎ以下の整数）が最も近いときは、候補超解像手段６−ｎを示す識別子ｎを補助情報として出力する。
なお、選択手段７は、選択した超解像結果を得るための超解像処理を、映像復号装置２において実行できるようにするための情報を補助情報として出力すればよく、選択した超解像結果に用いられた超解像方式や、パラメータを示す情報であってもよい。
As shown in FIG. 1, the second super resolving
Note that the selection unit 7 may output information for enabling the
選択手段７は、画像同士（または、画像の部分領域同士）の近さを判定する際の判定基準としては、例えば、誤差や構造類似性、画像特徴量、あるいはこれらの線形結合または非線形結合を用いることができる。誤差としては、例えば、候補超解像手段６−１から６−Ｎ各々の出力と第一超解像手段４の出力との二乗誤差和や絶対値誤差和を用いる。構造類似性としては、例えば、候補超解像手段６−１から６−Ｎ各々の出力と第一超解像手段４の出力との出力の間の構造類似性指標（Structural Similarity; SSIM）を用いる。また、画像特徴量としては、例えば、候補超解像手段６−１から６−Ｎ各々の出力の全変動（トータルバリエーション）値を用いる。 The selection means 7 uses, for example, an error, a structural similarity, an image feature amount, or a linear combination or non-linear combination thereof as a determination criterion when determining the closeness between images (or image partial areas). Can be used. As the error, for example, a square error sum or an absolute value error sum between the outputs of the candidate super-resolution means 6-1 to 6-N and the output of the first super-resolution means 4 is used. As the structural similarity, for example, a structural similarity index (Structural Similarity; SSIM) between the outputs of each of the candidate super-resolution means 6-1 to 6-N and the output of the first super-resolution means 4 is used. Use. Further, as the image feature amount, for example, the total variation (total variation) value of each output of the candidate super-resolution means 6-1 to 6-N is used.
補助情報符号化手段８（情報出力部）は、選択手段７の出力した判定結果を符号化圧縮し、符号化圧縮により得られたビット列を補助情報として出力する。補助情報符号化手段８の圧縮方式は任意であるが、可逆圧縮であることが好ましい。例えば、前記判定結果をビット列として表したものに対し、ハフマン符号化や算術符号化を適用したり、Lempel-Ziv-Welch法を適用する方式によることができる。 The auxiliary information encoding unit 8 (information output unit) encodes and compresses the determination result output from the selection unit 7 and outputs a bit string obtained by the encoding compression as auxiliary information. Although the compression method of the auxiliary information encoding means 8 is arbitrary, reversible compression is preferable. For example, Huffman coding or arithmetic coding may be applied to the determination result expressed as a bit string, or the Lempel-Ziv-Welch method may be applied.
第一伝送手段９は、映像符号化手段３の出力するビット列を伝送するための伝送路である。第二伝送手段１０は、補助情報符号化手段８の出力するビット列を伝送するための伝送路である。第一伝送手段９と第二伝送手段１０とは別々の伝送路であっても構わないし、同一の伝送路であっても構わない。また、第一伝送手段９と第二伝送手段１０とで同一の伝送路を共有する場合であっても、映像符号化手段３の出力するビット列と補助情報符号化手段８の出力するビット列とを別ストリームで伝送しても構わないし、これらを多重化して伝送しても構わない。
The first transmission unit 9 is a transmission path for transmitting the bit string output from the video encoding unit 3. The second transmission means 10 is a transmission path for transmitting the bit string output from the auxiliary information encoding means 8. The first transmission means 9 and the second transmission means 10 may be separate transmission paths or the same transmission path. Even if the first transmission unit 9 and the
第一伝送手段９および第二伝送手段１０としては、例えば、デジタル放送、インターネットなど有線、無線のいずれを用いても構わず、ＩＰ（Internet Protocol）、ＩＳＤＢ（Integrated Services Digital Broadcasting）各種方式などプロトコルや方式も問わない。また、第一伝送手段９および第二伝送手段１０は、Ｂｌｕ−ｒａｙ（登録商標）などの可搬媒体による伝送手段であってもよい。
As the first transmission means 9 and the second transmission means 10, for example, any of wired and wireless such as digital broadcasting and the Internet may be used. Protocols such as IP (Internet Protocol) and ISDB (Integrated Services Digital Broadcasting) various systems Any system is acceptable. The first transmission unit 9 and the
また、映像符号化手段３の出力するビット列と補助情報符号化手段８の出力するビット列とを多重化をする場合であっても、ＭＰＥＧ−２ＴＳ（Transport Stream）やＭＭＴ（MPEG Multimedia Transport）などその方式は任意である。ただし、第一伝送手段９および第二伝送手段１０で送られる各ビット列のタイミングは同期が確保できるものとする。前記同期は、例えば第一伝送手段９および第二伝送手段１０で送られる両ビット列に時刻情報を付加することで実現できるほか、特開２０１４−１３２７３０号公報で開示されているようなハッシュ値を用いる手法によっても実現可能である。あるいは、前記同期はＭＭＴのような多重化技術を用いることによっても実現可能である。 Even when the bit string output from the video encoding unit 3 and the bit string output from the auxiliary information encoding unit 8 are multiplexed, MPEG-2 TS (Transport Stream), MMT (MPEG Multimedia Transport), etc. The method is arbitrary. However, it is assumed that the timing of each bit string sent by the first transmission means 9 and the second transmission means 10 can ensure synchronization. The synchronization can be realized, for example, by adding time information to both bit strings sent by the first transmission means 9 and the second transmission means 10, and a hash value as disclosed in Japanese Patent Application Laid-Open No. 2014-132730. It can also be realized by the method used. Alternatively, the synchronization can be realized by using a multiplexing technique such as MMT.
続いて、映像復号装置２の構成について説明する。図１に記載の映像復号装置２は、映像復号手段１１と、第三超解像手段１２と、補助情報復号手段１３と、切替手段１４とを含む。第三超解像手段は、候補超解像手段１２−１〜１２−Nを含む。映像復号手段１１は、映像符号化手段３と対をなす復号手段であり、映像符号化手段３から出力され、第一伝送手段９を通じて受信したビット列を復号し映像信号を出力する。映像復号手段１１の動作は映像復号手段５と同様である。
Next, the configuration of the
候補超解像手段１２−１〜１２−Ｎの各々は、映像復号手段１１が復号した復号映像データが表す復号映像を超解像することで、復号映像の各フレームの解像度を増加させる。候補超解像手段１２−１〜１２−Ｎは、それぞれ候補超解像手段６−１〜６−Ｎと同じ超解像処理を行う。したがって、同じフレームに対して、候補超解像手段１２−１〜１２−Ｎ毎に、異なる超解像結果が得られる。なお、第三超解像手段１２も、第二超解像手段６と同様に、第三超解像手段１２が有する一つの実行部が、超解像方式を切り替えたり、使用するパラメータを切り替えたりすることで、それぞれ異なる超解像方式を用いた複数の超解像処理を行う、あるいは、それぞれ異なる値のパラメータを用いた複数の超解像処理を行うようにしてもよい。また、第三超解像手段１２は、候補超解像手段６−１〜６−Ｎそれぞれと同じ超解像処理を行う方が好ましいが、類似した結果が得られればよく、全く同じでなくても良い。
Each of the candidate super-resolution means 12-1 to 12-N increases the resolution of each frame of the decoded video by super-resolution of the decoded video represented by the decoded video data decoded by the video decoding means 11. Candidate super-resolution means 12-1 to 12-N perform the same super-resolution processing as candidate super-resolution means 6-1 to 6-N, respectively. Therefore, different super-resolution results are obtained for each candidate super-resolution means 12-1 to 12-N for the same frame. Note that the third super resolving
補助情報復号手段１３は、補助情報符号化手段８と対をなす復号処理を行う。補助情報復号手段１３は、補助情報符号化手段８で生成され、第二伝送手段１０を経由して伝送されてきた補助情報に関するビット列を復号し、このビット列から復号された補助情報を出力する。例えば、補助情報符号化手段８がハフマン符号化により情報圧縮を行った場合には、補助情報復号手段１３は、補助情報符号化手段８で使用した符号木（ハフマン木）を用いて復号処理を行う。
The auxiliary
切替手段１４は、補助情報復号手段１３で復号された補助情報（選択手段７における判定結果）に従って候補超解像手段１２−１から１２−Ｎの出力を切り替えつつ、出力用の超解像映像Ｈを構成して出力する。切替手段１４の切り替えの単位は、選択手段７における制御状態の判定の単位と一致させる。例えば、選択手段７がブロック単位で最適な制御状態の判定を行った場合には、切替手段１４も同じブロック単位で切り替えを行う。 The switching unit 14 switches the outputs of the candidate super-resolution units 12-1 to 12-N according to the auxiliary information decoded by the auxiliary information decoding unit 13 (determination result in the selection unit 7), and outputs super-resolution video for output. Configure H and output. The switching unit of the switching unit 14 is matched with the control state determination unit in the selection unit 7. For example, when the selection unit 7 determines the optimal control state in units of blocks, the switching unit 14 also performs switching in units of the same blocks.
なお、本実施形態において、切替手段１４は、候補超解像手段１２−１〜１２−Ｎの後段に接続されており、候補超解像手段１２−１〜１２−Ｎの超解像結果のうちの一つを出力しているが、これに限らない。例えば、切替手段１４が、候補超解像手段１２−１〜１２−Ｎの前段に接続されており、映像復号手段１１の復号結果を入力する候補超解像手段を、補助情報に従い切り替えるようにしてもよい。このようにすることで、同じフレームに対して複数の候補超解像手段による処理を行う必要がなくなるので、より演算量を削減することができる。 In the present embodiment, the switching unit 14 is connected to the subsequent stage of the candidate super resolving units 12-1 to 12-N, and the super resolving result of the candidate super resolving units 12-1 to 12-N is displayed. One of them is output, but it is not limited to this. For example, the switching unit 14 is connected to the preceding stage of the candidate super-resolution units 12-1 to 12-N, and the candidate super-resolution unit that inputs the decoding result of the video decoding unit 11 is switched according to the auxiliary information. May be. By doing so, it is not necessary to perform processing by a plurality of candidate super-resolution means for the same frame, so that the amount of calculation can be further reduced.
また、本実施形態において、映像符号化装置１に入力される低解像映像Ｌは圧縮符号化されていないが、圧縮符号化されていてもよい。その場合、映像符号化装置１は、映像符号化手段３を有していなくても良く、映像復号手段５は、入力された低解像映像Ｌを復号し、映像復号手段５の復号結果は、第二超解像手段６に加えて、第一超解像手段４にも入力されてもよい。また、第一伝送手段９が伝送するのは、映像符号化装置１に入力された低解像映像Ｌとしてもよい。
In this embodiment, the low-resolution video L input to the video encoding device 1 is not compression-encoded, but may be compression-encoded. In that case, the video encoding device 1 may not have the video encoding unit 3, and the
このように、選択手段７は、第一超解像手段４により超解像された映像と、複数の第二の超解像方法各々で超解像された映像とを比較して、複数の第二の超解像方法のうち、一つを選択する。これにより、伝送する映像よりも高解像な映像を映像符号化装置１に入力しなくても、受信機側（映像復号装置２側）において、より高性能な超解像の手法に近い超解像結果を得ることができる。
さらに、候補超解像手段６−１〜６−Ｎ各々の演算量は、第一超解像手段４による演算量よりも少ない。これにより、より少ない演算量で、より高性能な超解像の結果を得ることができる。
As described above, the selection unit 7 compares the video super-resolved by the first super-resolution unit 4 with the video super-resolved by each of the plurality of second super-resolution methods, One of the second super-resolution methods is selected. Accordingly, even if a video having a higher resolution than the video to be transmitted is not input to the video encoding device 1, the receiver side (
Further, the amount of calculation of each of the candidate super-resolution means 6-1 to 6-N is smaller than the amount of calculation by the first super-resolution means 4. As a result, a higher-performance super-resolution result can be obtained with a smaller amount of computation.
また、図１における各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより映像符号化装置１、映像復号装置２を実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
1 is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed, thereby executing the video encoding apparatus 1. The
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。 The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory in a computer system serving as a server or a client in that case, and a program that holds a program for a certain period of time are also included. The program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.
また、上述した図１における映像符号化装置１、映像復号装置２の各機能ブロックは個別にチップ化してもよいし、一部、または全部を集積してチップ化してもよい。また、集積回路化の手法はＬＳＩに限らず、専用回路、または汎用プロセッサで実現しても良い。ハイブリッド、モノリシックのいずれでも良い。一部は、ハードウェアにより、一部はソフトウェアにより機能を実現させても良い。
また、半導体技術の進歩により、ＬＳＩに代替する集積回路化等の技術が出現した場合、当該技術による集積回路を用いることも可能である。
Each functional block of the video encoding device 1 and the
In addition, when a technology such as an integrated circuit that replaces an LSI appears due to progress in semiconductor technology, an integrated circuit based on the technology can be used.
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes design changes and the like within a scope not departing from the gist of the present invention.
１…映像符号化装置、２…映像復号装置、３…映像符号化手段、４…第一超解像手段、５…映像復号手段、６…第二超解像手段、７…選択手段、８…補助情報符号化手段、９…第一伝送手段、１０…第二伝送手段、１１…映像復号手段、１２…第三超解像手段、１３…補助情報復号手段、１４…切替手段 DESCRIPTION OF SYMBOLS 1 ... Video encoding apparatus, 2 ... Video decoding apparatus, 3 ... Video encoding means, 4 ... 1st super-resolution means, 5 ... Video decoding means, 6 ... 2nd super-resolution means, 7 ... Selection means, 8 ... Auxiliary information encoding means, 9 ... first transmission means, 10 ... second transmission means, 11 ... video decoding means, 12 ... third super-resolution means, 13 ... auxiliary information decoding means, 14 ... switching means
Claims (5)
前記入力映像を、前記第一の超解像方法とは異なる複数の第二の超解像方法で超解像する第二超解像部と、
前記第一超解像部により超解像された映像と、前記複数の第二の超解像方法各々で超解像された映像とを比較して、前記複数の第二の超解像方法のうち、一つを選択する選択部と、
前記選択部が選択した前記第二の超解像方法を表す補助情報を出力する情報出力部と
を備える映像符号化装置。 A first super-resolution unit that super-resolutions the input video by the first super-resolution method;
A second super-resolution unit that super-resolutions the input video by a plurality of second super-resolution methods different from the first super-resolution method;
The plurality of second super-resolution methods by comparing the image super-resolved by the first super-resolution unit with the images super-resolved by each of the plurality of second super-resolution methods. A selection unit for selecting one of them,
A video encoding device comprising: an information output unit that outputs auxiliary information representing the second super-resolution method selected by the selection unit.
前記映像符号化部により非可逆圧縮された映像を復号する映像復号部と
を備え、
前記第二超解像部が前記複数の第二の超解像方法で超解像する前記入力映像は、前記映像復号部が復号した映像である、請求項１に記載の映像符号化装置。 A video encoding unit for irreversibly compressing the input video;
A video decoding unit that decodes the video that has been irreversibly compressed by the video encoding unit,
2. The video encoding device according to claim 1, wherein the input video that is super-resolved by the second super-resolution unit by the plurality of second super-resolution methods is a video decoded by the video decoding unit.
入力映像を、第一の超解像方法で超解像する第一超解像部、
前記入力映像を、前記第一の超解像方法とは異なる複数の第二の超解像方法で超解像する第二超解像部、
前記第一超解像部により超解像された映像と、前記複数の第二の超解像方法各々で超解像された映像とを比較して、前記複数の第二の超解像方法のうち、一つを選択する選択部、
前記選択部が選択した前記第二の超解像方法を示す情報を出力する情報出力部
として機能させるためのプログラム。 Computer
A first super-resolution unit that super-resolutions the input video by the first super-resolution method,
A second super-resolution unit that super-resolutions the input video by a plurality of second super-resolution methods different from the first super-resolution method;
The plurality of second super-resolution methods by comparing the image super-resolved by the first super-resolution unit with the images super-resolved by each of the plurality of second super-resolution methods. A selection part for selecting one of them,
A program for functioning as an information output unit that outputs information indicating the second super-resolution method selected by the selection unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015224175A JP6614935B2 (en) | 2015-11-16 | 2015-11-16 | Video encoding apparatus and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015224175A JP6614935B2 (en) | 2015-11-16 | 2015-11-16 | Video encoding apparatus and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017092868A true JP2017092868A (en) | 2017-05-25 |
| JP6614935B2 JP6614935B2 (en) | 2019-12-04 |
Family
ID=58770924
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015224175A Active JP6614935B2 (en) | 2015-11-16 | 2015-11-16 | Video encoding apparatus and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6614935B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019186917A (en) * | 2018-03-30 | 2019-10-24 | 香港商科科串流股▲フン▼有限公司ＫＫＳｔｒｅａｍ Ｌｉｍｉｔｅｄ | Video optimization processing system and method |
| TWI701946B (en) * | 2018-03-30 | 2020-08-11 | 香港商科科串流股份有限公司 | Video optimization processing system and method |
| WO2023274404A1 (en) * | 2021-07-01 | 2023-01-05 | Beijing Bytedance Network Technology Co., Ltd. | Application of super resolution |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140177706A1 (en) * | 2012-12-21 | 2014-06-26 | Samsung Electronics Co., Ltd | Method and system for providing super-resolution of quantized images and video |
| JP2014168150A (en) * | 2013-02-28 | 2014-09-11 | Mitsubishi Electric Corp | Image encoding device, image decoding device, image encoding method, image decoding method, and image encoding/decoding system |
-
2015
- 2015-11-16 JP JP2015224175A patent/JP6614935B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140177706A1 (en) * | 2012-12-21 | 2014-06-26 | Samsung Electronics Co., Ltd | Method and system for providing super-resolution of quantized images and video |
| JP2014168150A (en) * | 2013-02-28 | 2014-09-11 | Mitsubishi Electric Corp | Image encoding device, image decoding device, image encoding method, image decoding method, and image encoding/decoding system |
Non-Patent Citations (2)
| Title |
|---|
| 三須他３名: "超解像復元技術を用いる４Ｋ１２ビット実時間映像符号化システム", FIT2015 第14回情報科学技術フォーラム 講演論文集, vol. 第3分冊, JPN6019027716, 24 August 2015 (2015-08-24), pages 291 - 294, ISSN: 0004077747 * |
| 三須他４名: "複数フレーム参照によるフレーム内挿法とその映像符号化への応用", FIT2012 第11回情報科学技術フォーラム 講演論文集, vol. 第3分冊, JPN6019027719, 21 August 2012 (2012-08-21), pages 289 - 292, ISSN: 0004077748 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019186917A (en) * | 2018-03-30 | 2019-10-24 | 香港商科科串流股▲フン▼有限公司ＫＫＳｔｒｅａｍ Ｌｉｍｉｔｅｄ | Video optimization processing system and method |
| TWI701946B (en) * | 2018-03-30 | 2020-08-11 | 香港商科科串流股份有限公司 | Video optimization processing system and method |
| WO2023274404A1 (en) * | 2021-07-01 | 2023-01-05 | Beijing Bytedance Network Technology Co., Ltd. | Application of super resolution |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6614935B2 (en) | 2019-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116723315B (en) | Video decoding method and device, video encoding method and device, and storage medium | |
| RU2612600C2 (en) | Method for content adaptive entropy coding of data on operating conditions and reference types for next generation video | |
| CN113330749B (en) | Video encoding and decoding method and device | |
| JP6165798B2 (en) | Video coding using intra prediction | |
| TWI542219B (en) | Frequency domain sample adaptive offset (sao) | |
| JP4991699B2 (en) | Scalable encoding and decoding methods for video signals | |
| RU2417518C2 (en) | Efficient coding and decoding conversion units | |
| CN113424541B (en) | Video encoding and decoding method and device | |
| TW201540047A (en) | Method and apparatus for encoding/decoding video by oblong intra prediction | |
| TW201108743A (en) | 4x4 transform for media coding | |
| KR20130033968A (en) | Signaling of prediction size unit in accordance with video coding | |
| KR20130033966A (en) | (adaptive loop filtering in accordance with video coding | |
| JP2017513311A (en) | Quantization process for residual differential pulse code modulation | |
| CN110944173B (en) | Video decoding method, device, electronic equipment and storage medium | |
| CN105474642A (en) | Re-encoding image sets using frequency-domain differences | |
| KR20130107861A (en) | Method and apparatus for inter layer intra prediction | |
| KR101853998B1 (en) | Video image decoding device | |
| CN113228649B (en) | Video decoding method, device and storage medium | |
| KR20220136969A (en) | Method and apparatus for parallel entropy encoding/decoding | |
| CN1726644B (en) | Apparatus and method for multiple description encoding | |
| JP6614935B2 (en) | Video encoding apparatus and program | |
| JPWO2013145021A1 (en) | Image decoding method and image decoding apparatus | |
| JPWO2007063612A1 (en) | Video encoding device, video decoding device | |
| KR101880325B1 (en) | Video image encoding device | |
| WO2020114356A1 (en) | Inter-frame prediction method and related device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181001 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181026 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190621 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190723 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190911 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191008 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191105 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6614935 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |