JP2020017894A - Encoder and program - Google Patents
Encoder and program Download PDFInfo
- Publication number
- JP2020017894A JP2020017894A JP2018140531A JP2018140531A JP2020017894A JP 2020017894 A JP2020017894 A JP 2020017894A JP 2018140531 A JP2018140531 A JP 2018140531A JP 2018140531 A JP2018140531 A JP 2018140531A JP 2020017894 A JP2020017894 A JP 2020017894A
- Authority
- JP
- Japan
- Prior art keywords
- block
- unit
- encoding
- image
- blur
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、符号化装置及びプログラムに関する。 The present invention relates to an encoding device and a program.
フォーカルスタック（focal stuck）とは、同じ被写体を同じ視点から異なる焦点で撮影した画像群である。フォーカルスタックは、特殊な変換後にレイヤ型Light Field Displayへ入力することにより裸眼３Ｄ画像を表示する（例えば、非特許文献１参照）、焦点範囲が広い単一の画像を生成する、といった用途に使用される。フォーカルスタックを伝送しようとした場合、スタックされている画像枚数分だけデータ量が増加するため、データ圧縮が課題となる。 The focal stack is a group of images of the same subject photographed from the same viewpoint at different focal points. The focal stack is used for applications such as displaying an autostereoscopic 3D image by inputting to a layer-type Light Field Display after a special conversion (for example, see Non-Patent Document 1) and generating a single image with a wide focal range. Is done. When trying to transmit a focal stack, the amount of data increases by the number of stacked images, and data compression becomes a problem.
フォーカルスタックの特徴として、同じ被写体を同じ視点から撮影しているために画像間の相関が高いこと、被写体が動かないので各画像の同じ位置には同じ被写体が写っていること、フォーカルスタック単位で処理を行うために個々の画像を単体で取り出す必要が無いこと、映像符号化と異なり画像群の符号化順序に制約が無いことが挙げられる。 The features of the focal stack are that the same subject is photographed from the same viewpoint, so the correlation between images is high, the subject does not move, so the same subject is shown at the same position in each image, and the focal stack unit There is no need to take out individual images alone to perform processing, and there is no restriction on the encoding order of image groups unlike video encoding.
フォーカルスタックは従来、通常の画像圧縮技術により、各画像が独立に符号化されていた。また、フォーカルスタックを構成する画像群を動画とみなし、映像符号化技術を用いて圧縮する検討がなされている（例えば、非特許文献１参照）。 Conventionally, in the focal stack, each image is independently encoded by a normal image compression technique. In addition, studies have been made to consider a group of images constituting a focal stack as a moving image and compress the image stack using a video encoding technique (for example, see Non-Patent Document 1).
一方で、従来の映像向け符号化技術において、参照画像にぼかし処理を施すことで予測画像を生成する検討がなされている（例えば、非特許文献２参照）。参照画像は、通常の符号化と同様に参照構造によって指定され、ぼかし処理は画像全体に均一に施される。用途としては、映像効果による画面全体のぼかしや、グローバルモーションによる動きボケの補償が想定されている。 On the other hand, in a conventional video coding technique, studies have been made to generate a predicted image by performing a blurring process on a reference image (for example, see Non-Patent Document 2). The reference image is specified by a reference structure as in the case of ordinary encoding, and the blurring process is performed uniformly on the entire image. Applications include blurring of the entire screen due to video effects and compensation for motion blur due to global motion.
フォーカルスタックの各画像を独立に符号化する従来手法では、フォーカルスタック特有の画像間での高い相関を利用することが出来ないため、効率的とはいえないという課題がある。また、フォーカルスタックの符号化に映像符号化技術を用いる従来手法を用いた場合、符号化対象画像と参照画像とで焦点距離が異なるため、ボケている被写体を参照してボケていない被写体を予測したり、またその逆を行うことになってしまい、予測が当たらないという課題がある。映像符号化技術を用いる従来手法に、ボケ補償のための従来手法を組み合わせた場合、参照画像内で比較的ボケていない箇所の符号化には有効である。しかし、参照画像内で比較的ボケている箇所を符号化する際には、ボケている被写体からボケていない被写体を予測することになり、予測が当たらずに符号化効率が悪化する。フォーカルスタックではその用途上、画像内にボケている箇所とボケていない箇所が混在しており、参照画像を一枚に決めた場合には、必ず符号化効率の悪い箇所が存在する。 The conventional method of independently encoding each image of the focal stack has a problem that it cannot be said to be efficient because a high correlation between images specific to the focal stack cannot be used. In addition, when a conventional method using video encoding technology is used for encoding a focal stack, since the focal length is different between an encoding target image and a reference image, a non-blurred subject is predicted by referring to a blurred subject. And vice versa, and there is a problem that prediction is not correct. When a conventional method for blur compensation is combined with a conventional method using video coding technology, it is effective for coding a relatively unblurred portion in a reference image. However, when coding a relatively blurred portion in the reference image, a non-blurred subject is predicted from a blurred subject, and the coding efficiency is deteriorated because prediction is not performed. In the focal stack, blurred portions and non-blurred portions are mixed in an image due to its use, and when the number of reference images is determined to be one, there is always a portion having poor coding efficiency.
上記事情に鑑み、本発明は、符号化効率良くフォーカルスタックを符号化することができる符号化装置及びプログラムを提供することを目的としている。 In view of the above circumstances, an object of the present invention is to provide an encoding device and a program capable of encoding a focal stack with high encoding efficiency.
本発明の一態様は、同じ被写体を異なる焦点で撮影した複数の画像を符号化する符号化装置であって、符号化対象の前記画像である符号化対象画像をブロックに分割するブロック分割部と、前記ブロックを符号化するために参照される参照ブロックが、前記符号化対象画像とは異なる前記画像である参照画像に含まれる領域である場合、前記符号化対象画像における前記ブロックの領域と、前記参照画像における前記参照ブロックの領域とが同じになるように前記参照ブロックを決定する参照ブロック決定部と、前記ブロックとの残差が小さくなるように前記参照ブロックにぼかし処理を施すぼかし処理部と、前記ブロックを、前記ぼかし処理が施された前記参照ブロックを参照して符号化する符号化部と、を備える。 One embodiment of the present invention is an encoding device that encodes a plurality of images of the same subject captured at different focuses, and a block division unit that divides an encoding target image that is the image to be encoded into blocks. In the case where the reference block referred to for encoding the block is an area included in a reference image that is the image different from the encoding target image, an area of the block in the encoding target image, A reference block determining unit that determines the reference block so that the area of the reference block in the reference image is the same, and a blur processing unit that performs blur processing on the reference block so that a residual from the block is reduced. And an encoding unit that encodes the block with reference to the reference block that has been subjected to the blurring processing.
本発明の一態様は、上述の符号化装置であって、前記参照ブロック決定部は、複数の前記画像それぞれにおいて同じ領域にある前記ブロックからなるブロック群ごとに、前記ブロック群に含まれる複数の前記ブロックのうち一の前記ブロックのみを、当該ブロック群に含まれる他の全ての前記ブロックそれぞれを符号化するために参照される前記参照ブロックに決定する。 One embodiment of the present invention is the above-described encoding device, wherein the reference block determination unit is configured to include, for each block group including the blocks in the same area in each of the plurality of images, a plurality of blocks included in the block group. Only one of the blocks is determined as the reference block referred to for encoding each of all the other blocks included in the block group.
本発明の一態様は、上述の符号化装置であって、前記参照ブロック決定部は、複数の前記画像それぞれにおいて同じ領域の前記ブロックからなるブロック群ごとに、前記ブロック群に含まれる複数の前記ブロックそれぞれを符号化するために参照される前記参照ブロックが異なるように、前記参照ブロックを決定する。 One embodiment of the present invention is the above-described encoding device, wherein the reference block determination unit is configured to include, for each block group including the blocks in the same area in each of the plurality of images, a plurality of the plurality of blocks included in the block group. The reference block is determined such that the reference block referred to for encoding each block is different.
本発明の一態様は、上述の符号化装置であって、複数の前記画像のうち前記参照ブロックが得られる前記参照画像は、複数の前記画像を撮影した撮影機から前記ブロックにおける前記被写体までの距離と、複数の前記画像それぞれの前記撮影機から前記焦点までの距離との差である距離差に基づき選択される。 One embodiment of the present invention is the above-described encoding device, wherein the reference image from which the reference block is obtained among the plurality of images is obtained from a photographing machine that has captured the plurality of images to the subject in the block. The selection is made based on a distance difference that is a difference between a distance and a distance from the photographing device to the focus of each of the plurality of images.
本発明の一態様は、上述の符号化装置であって、前記ぼかし処理部は、前記ブロック群に含まれる複数の前記ブロックそれぞれの符号化のために前記参照ブロックに施す前記ぼかし処理の強度を探索する探索処理を、前記参照ブロックと前記焦点の距離が小さい前記ブロックから順に、かつ、探索済みの前記強度を参照して行う。 One embodiment of the present invention is the above-described encoding device, wherein the blur processing unit is configured to reduce an intensity of the blur process performed on the reference block for encoding each of the plurality of blocks included in the block group. A search process for searching is performed in ascending order of the distance between the reference block and the focal point and with reference to the searched intensity.
本発明の一態様は、上述の符号化装置であって、前記ぼかし処理部は、前記ブロックの符号化のために前記参照ブロックに施す前記ぼかし処理の強度を探索する探索処理を、前記ブロックと同じ前記ブロック群に属し、かつ、前記ブロックよりも前記参照ブロックと前記焦点の距離が小さい他の前記ブロックについて探索済みの前記強度よりも大きな強度を探索対象として行う。 One embodiment of the present invention is the above-described encoding device, wherein the blur processing unit performs a search process for searching for an intensity of the blur process to be performed on the reference block for coding the block, with the block and For the other blocks belonging to the same block group and having a smaller distance between the reference block and the focal point than the block, an intensity larger than the already searched intensity is set as a search target.
本発明の一態様は、上述の符号化装置であって、前記ぼかし処理部は、前記符号化対象画像の前記ブロックの符号化のために前記参照ブロックに施す前記ぼかし処理の強度を探索する探索処理を、前記参照ブロックと同じ前記参照画像から得られる他の前記参照ブロックを参照する前記符号化対象画像の他の前記ブロックについて探索済みの前記強度に基づく範囲を探索対象として行う。 One embodiment of the present invention is the above-described encoding device, wherein the blurring processing unit searches for an intensity of the blurring processing performed on the reference block for encoding the block of the image to be encoded. The processing is performed as a search target in a range based on the strength searched for another block of the encoding target image that refers to another reference block obtained from the same reference image as the reference block.
本発明の一態様は、コンピュータを、上述したいずれかの符号化装置として機能させるためのプログラムである。 One embodiment of the present invention is a program for causing a computer to function as any of the above-described encoding devices.
本発明により、符号化効率良くフォーカルスタックを符号化することが可能となる。 According to the present invention, it is possible to encode a focal stack with high encoding efficiency.
以下、図面を参照しながら本発明の実施形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
（第１の実施形態）
図１は、本発明の第１の実施形態による符号化装置１の構成を示すブロック図であり、本実施形態と関係する機能ブロックのみを抽出して示してある。符号化装置１は、ブロック分割部１１と、ブロックスタックメモリ１２と、参照構造生成部１３と、符号化部１４と、符号化結果メモリ１５と、ＲＤ効率推定部１６と、ＲＤ効率メモリ１７と、ＲＤ効率比較部１８と、エントロピー符号化部１９とを備える。
(First embodiment)
FIG. 1 is a block diagram illustrating a configuration of an
ブロック分割部１１は、符号化装置１に入力されたフォーカルスタックに含まれる画像群に対しブロック分割を行う。各画像には、画像を一意に特定する情報である画像インデックスが付与されている。ブロックスタックメモリ１２は、ブロック分割部１１により分割された画像群のブロックを、同じブロック位置ごとに格納する。画像群における同じ位置のブロックをブロックスタックと記載する。
The
参照構造生成部１３は、各ブロックスタックの参照構造を生成する。参照構造は、符号化を行う際に参照するブロック間の関係を表す。参照構造は、イントラ符号化ブロックと、インター符号化ブロックと、インター符号化ブロックが参照する他のブロックとを表す。１つのブロックスタックでは、１つのブロックがイントラ符号化ブロックであり、他のブロックはインター符号化ブロックである。イントラ符号化ブロックは、他のブロックの情報を使用せずにイントラ符号化を行うブロックである。インター符号化ブロックは、他の画像のブロックを参照して予測符号化を行うブロックである。予測符号化の際に参照されるブロックを参照ブロックと記載する。本実施形態では、ブロックスタック内において、全てのインター符号化ブロックは、イントラ符号化ブロックを参照する。よって、参照構造は、イントラ符号化ブロックを特定する情報であればよく、例えば、イントラ符号化ブロックの画像インデックス（以下、イントラ画像インデックスとも記載する）により示すことができる。
The reference
符号化部１４は、ブロックスタック単位で参照構造生成部１３が生成した参照構造に従って符号化を行う。符号化結果メモリ１５は、符号化部１４によるブロックスタック単位の符号化結果を、参照構造ごとに格納する。ＲＤ効率推定部１６は、符号化結果メモリ１５に記憶される符号化結果を用いて、各ブロックスタックの参照構造ごとのＲＤ効率を推定する。ＲＤ効率は、符号化効率の一例である。ＲＤ効率メモリ１７は、各ブロックスタックの参照構造ごとに、ＲＤ効率推定部１６が推定したＲＤ効率を格納する。ＲＤ効率比較部１８は、ＲＤ効率メモリ１７に記憶される参照構造ごとのＲＤ効率を比較し、ブロックスタックごとに最もＲＤ効率が良い参照構造の符号化結果を最終的な符号化結果として選択する。エントロピー符号化部１９は、フォーカルスタックから得られた各ブロックスタックの最終的な符号化結果にエントロピー符号化を行う。
The
図２は、符号化装置１の処理を示すフロー図である。まず、符号化装置１のブロック分割部１１は、フォーカルスタックを構成する画像群を入力する（ステップＳ１０５）。ブロック分割部１１は、入力したフォーカルスタックを構成する各画像をブロック単位に分割する（ステップＳ１１０）。図３を用いて、ステップＳ１１０の処理を説明する。
FIG. 2 is a flowchart showing the processing of the
図３は、ブロック分割部１１におけるフォーカルスタックの分割を示す図である。フォーカルスタックは、Ｎ枚（Ｎは２以上の整数）の画像から構成される。フォーカルスタックに含まれるＮ枚の画像を、画像Ｇ１〜ＧＮと記載する。同図は、Ｎ＝３の場合の例である。各画像Ｇ１〜ＧＮには、ｌｏｇ２Ｎビット長（小数点以下は切り上げ）の画像インデックスが付与されている。画像インデックスは、焦点面が撮影機器に近い順から昇順に付与される。画像インデックスの付与順は、焦点距離が遠い順でもよく、焦点距離が中央にあるものから順に付与されてもよく、ランダムでもよい。ただし、焦点距離の順序を用いることで後段処理の効率を高めることが可能であるため、規則的に付与されており、なおかつ後段の処理手法と適応していることが望ましい。
FIG. 3 is a diagram illustrating division of the focal stack in the
ブロック分割部１１は、画像Ｇ１〜ＧＮを、例えばラスタスキャン順に、固定の分割サイズのブロック単位で分割する。なお、ブロック分割の順番はイントラ符号化に適したものであればよい。例えば、ラスタスキャン順を転置させた順でもよく、渦巻状の順番でもよい。またブロック間での参照を行わないという前提があれば、任意の順番で取り出してもよい。
The
ブロック分割部１１は、各画像Ｇ１〜ＧＮにおいて同じ位置にあるブロックをまとめたブロックスタックをブロックスタックメモリ１２に格納する。ブロック分割部１１は、ブロックスタックに、ラスタスキャン順でどの位置であるかを示す位置インデックスを付与する。位置インデックスは、例えば、行と列の座標により表記すればよい。画像Ｇｎ（ｎは１以上Ｎ以下の整数）における位置インデックスｉのブロックをブロックＢｎ−ｉと記載する。同じ位置インデックスｉのブロックＢ１−ｉ〜Ｂ３−ｉはそれぞれ、画像Ｇ１〜Ｇ３において同一の領域であり、一つのブロックスタックを構成する。
The
符号化装置１は、ブロックスタック単位で符号化を実施する。そこでまず、図２に示すように、参照構造生成部１３は、まだ符号化を行っていないブロックスタックの中から符号化対象のブロックスタック（以下、「符号化対象ブロックスタック」と記載）を、例えば、ブロック分割の順番に従って選択する（ステップＳ１１５）。参照構造生成部１３は、特定した符号化対象ブロックスタックの画像インデックス及び位置インデックスをブロックスタックメモリ１２から取得し、当該符号化対象ブロックスタックを符号化するための参照構造を生成する（ステップＳ１２０）。
The
図４は、参照構造生成部１３による参照構造の生成イメージを示す図である。同図に示すフォーカルスタックは画像Ｇ１、画像Ｇ２及び画像Ｇ３からなる。画像Ｇ１、画像Ｇ２及び画像Ｇ３には、同一の被写体ａ、被写体ｂ、被写体ｃが写っている。フォーカルスタックの撮影機からの距離は、被写体ａが最も近く、次に被写体ｂが近く、被写体ｃが最も遠い。画像Ｇ１の焦点面は被写体ａの付近であり、画像Ｇ２の焦点は被写体ｂの付近であり、画像Ｇ３の焦点は被写体ｃの付近である。
FIG. 4 is a diagram illustrating a generation image of the reference structure by the reference
本実施形態の参照構造は、同一のブロックスタック内の全てのインター符号化ブロックが、当該ブロックスタックにおける同一の１枚のイントラ符号化ブロックのみを参照する構造である。インター符号化ブロックは、画像インデックスの順に符号化される。そのため、参照構造は、ブロックスタックを構成するブロックのうち、どのブロックをイントラ符号化するかによって一意に定まる。同図の場合、位置インデックスｊのブロックスタックでは、ブロックＢ１−ｊがイントラ符号化ブロックであり、ブロックＢ２−ｊ及びＢ３−ｊはブロックＢ１−ｊを参照するインター符号化ブロックである。インター符号化ブロックについては、ブロックＢ２−ｊ、ブロックＢ３−ｊの順に符号化される。また、位置インデックスｋのブロックスタックでは、ブロックＢ２−ｋがイントラ符号化ブロックであり、ブロックＢ１−ｋ及びＢ３−ｋはブロックＢ２−ｋを参照するインター符号化ブロックである。インター符号化ブロックについては、ブロックＢ１−ｋ、ブロックＢ３−ｋの順に符号化される。また、位置インデックスｌのブロックスタックでは、ブロックＢ３−ｌがイントラ符号化ブロックであり、ブロックＢ１−ｌ及びＢ２−ｌはブロックＢ３−ｌを参照するインター符号化ブロックである。インター符号化ブロックについては、ブロックＢ１−ｌ、ブロックＢ２−ｌの順に符号化される。
The reference structure according to the present embodiment is a structure in which all inter-coded blocks in the same block stack refer to only the same one intra-coded block in the block stack. The inter-coded blocks are coded in the order of the image index. Therefore, the reference structure is uniquely determined by which of the blocks constituting the block stack is to be intra-coded. In the case of the drawing, in the block stack of the position index j, the block B1-j is an intra-coded block, and the blocks B2-j and B3-j are inter-coded blocks that refer to the block B1-j. The inter-coded blocks are coded in the order of block B2-j and block B3-j. In the block stack having the position index k, the block B2-k is an intra-coded block, and the blocks B1-k and B3-k are inter-coded blocks that refer to the block B2-k. The inter-coded blocks are coded in order of block B1-k and block B3-k. In the block stack having the
図２に示す処理フローでは、ステップＳ１１５〜ステップＳ１４０のループ処理ごとに、参照構造生成部１３は、ステップＳ１２０において、符号化対象ブロックスタック内でイントラ符号化ブロックとなるブロックを変えるように参照構造を生成する。参照構造の生成後、ブロックスタックメモリ１２は、符号化対象ブロックスタックと、当該ブロックスタックについて参照構造生成部１３が生成した参照構造とを符号化部１４に出力する。符号化部１４は、参照構造に従って符号化対象ブロックスタックの符号化を行う（ステップＳ１２５）。符号化部１４は、ブロックスタックの参照構造と、その参照構造を用いた符号化結果とを対応付けて符号化結果メモリ１５に格納する。ＲＤ効率推定部１６は、符号化結果メモリ１５に記憶される符号化結果を用いてＲＤ効率を推定し、推定したＲＤ効率を参照構造と対応付けてＲＤ効率メモリ１７に書き込む（ステップＳ１３０）。ＲＤ効率は、符号量Ｒと符号化歪量Ｄとを線形結合した指標であり、Ｄ＋λＲ（λは係数）により算出される。
In the processing flow illustrated in FIG. 2, for each loop processing of steps S115 to S140, the reference
ＲＤ効率比較部１８は、現在のループ処理のステップＳ１３０において推定されたＲＤ効率と、ＲＤ効率メモリ１７に記憶される、現在の符号化対象ブロックスタックの他の参照構造のＲＤ効率とを比較し、最適なＲＤ効率の符号化結果が得られたか否かを判定する（ステップＳ１３５）。ＲＤ効率比較部１８が、最適なＲＤ効率の符号化結果を得ていないと判定した場合（ステップＳ１３５：ＮＯ）、参照構造生成部１３は、符号化対象ブロックスタックの新たな参照構造を生成するステップＳ１２０からの処理を繰り返す。
The RD
そして、ＲＤ効率比較部１８が、最適なＲＤ効率の符号化結果を得たと判定した場合（ステップＳ１３５：ＹＥＳ）、参照構造生成部１３又は符号化部１４は、フォーカルスタック全体を符号化したか否かを判定する（ステップＳ１４０）。参照構造生成部１３又は符号化部１４が、まだフォーカルスタック全体を符号化していないと判定した場合（ステップＳ１４０：ＮＯ）、ステップＳ１１５の処理に戻り、参照構造生成部１３は、まだ符号化を行っていないブロックスタックの中から新たな符号化対象ブロックスタックを選択する。
When the RD
そして、参照構造生成部１３又は符号化部１４が、フォーカルスタック全体を符号化したと判定した場合（ステップＳ１４０：ＮＯ）、エントロピー符号化部１９は、各ブロックスタックの符号化結果を符号化結果メモリ１５から取得する。エントロピー符号化部１９が符号化結果メモリ１５から取得する各ブロックスタックの符号化結果は、各ブロックスタックについて最適なＲＤ効率であると判断された参照構造を用いて符号化された結果である。エントロピー符号化部１９は、各ブロックスタックの符号化結果をエントロピー符号化する（ステップＳ１４５）。符号化結果は、予測残差及び予測パラメータと、参照構造を表す情報と、符号化の際に用いたぼかしフィルタパラメータとを含む。ぼかしフィルタパラメータは、インター符号化ブロックを符号化する際に、参照ブロックにぼけ補償を行うために用いたぼかしフィルタのぼけ強度を表す。エントロピー符号化部１９は、ステップＳ１３０におけるＲＤ効率推定の前にブロックスタック単位でエントロピー符号化を行ってもよい。エントロピー符号化部１９は、ステップＳ１４５におけるエントロピー符号化を出力する（ステップＳ１５０）。
When the reference
次に、参照構造生成部１３の詳細を説明する。図５は、参照構造生成部１３の詳細な構成を示すブロック図である。参照構造生成部１３は、ブロックスタックインデックス取得部１３１と、イントラブロック決定部１３２と、選択済みブロックインデックスメモリ１３３とを備える。
Next, details of the reference
ブロックスタックインデックス取得部１３１は、ブロックスタックメモリ１２から、符号化対象ブロックスタックの画像インデックスを取得する。イントラブロック決定部１３２は、符号化対象ブロックスタックを構成するブロック群のうち、いずれの画像のブロックをイントラ符号化ブロックにするかを選択する。イントラブロック決定部１３２は、イントラ符号化ブロックとして選択したブロックの画像インデックスを表す参照構造インデックスを出力する。選択済みブロックインデックスメモリ１３３は、イントラ符号化ブロックとして選択されたブロックの画像インデックスを保存する。イントラブロック決定部１３２は、選択済みブロックインデックスメモリ１３３に保存された、イントラ符号化ブロックとして選択済みのブロックの情報と、符号化結果メモリ１５から出力される符号化結果を元に、次にイントラ符号化ブロックとするブロックの選択を行う。
The block stack
図６は、参照構造最適化処理を示すフロー図である。同図は、図２のステップＳ１２０〜ステップＳ１３５の処理の詳細を示す。まず、ブロックスタックインデックス取得部１３１は、ブロックスタックメモリ１２から、符号化対象ブロックスタックの画像インデックス及び位置インデックスを取得する。イントラブロック決定部１３２は、符号化対象ブロックスタックに対し、イントラ符号化ブロックとして選択する画像インデックスの初期化を行う（ステップＳ２０５）。
FIG. 6 is a flowchart showing the reference structure optimizing process. This figure shows the details of the processing of steps S120 to S135 in FIG. First, the block stack
この初期化の処理において、イントラブロック決定部１３２は、初期値として０（最も小さい画像インデックス）を選択すればよい。本実施形態では、フォーカルスタックを構成する画像に対して、焦点距離の近い順に画像インデックスが付与されている。そのため、初期値を０とすることにより、最も近い焦点距離の画像のブロックが初期値のイントラ符号化ブロックとして選択される。例えば、図４に示すフォーカルスタックの場合、最も焦点距離が近い画像Ｇ１の画像インデックスが、イントラ符号化ブロックとして選択する画像インデックス（イントラ画像インデックス）の初期値となる。イントラブロック決定部１３２は、イントラ画像インデックスを示す参照構造インデックスを、参照構造を表す情報としてブロックスタックメモリ１２に出力する。符号化部１４は、イントラブロック決定部１３２が出力した参照構造インデックスにより示される参照構造に基づいて、符号化対象ブロックスタックの符号化を実施する（ステップＳ２１５）。符号化部１４は、符号化対象ブロックスタックの位置インデックスと、参照構造インデックスと、符号化結果とを対応付けて符号化結果メモリ１５に格納する。
In this initialization process, the intra
ＲＤ効率推定部１６は、符号化結果メモリ１５に記憶される符号化結果を用いて、ＲＤ効率を推定し、参照構造インデックスと対応付けてＲＤ効率メモリ１７に書き込む。ＲＤ効率比較部１８は、現在の参照構造インデックスを用いた符号化対象ブロックの符号化結果のＲＤ効率と、ＲＤ効率メモリ１７に記憶される他の参照構造インデックスを用いた符号化対象ブロックのＲＤ効率とを比較する（ステップＳ２２０）。
The RD
ＲＤ効率推定部１６は、現在の参照構造インデックスを用いた符号化のＲＤコストが、他の参照構造インデックスを用いた符号化のＲＤコストと比較して悪化したか否かを判定する（ステップＳ２２５）。ＲＤ効率推定部１６が、ＲＤコストは悪化していないと判定した場合（ステップＳ２２５：ＮＯ）、イントラブロック決定部１３２は、イントラ符号化ブロックとして選択する画像インデックスを１増加させる（ステップＳ２３０）。イントラブロック決定部１３２は、ステップＳ２１０の処理に戻り、増加させた画像インデックスを示す参照構造インデックスを出力する（ステップＳ２１０）。例えば、図４に示すフォーカルスタックの場合、参照構造インデックスが画像Ｇ１の画像インデックスから、画像Ｇ２の画像インデックスに変更される。
The RD
イントラブロック決定部１３２は、現在の参照構造インデックスを用いた符号化のＲＤコストが他の参照構造インデックスを用いた符号化のＲＤコストと比較して悪化するまでこの探索を行う。イントラブロック決定部１３２は、ＲＤコストの悪化を判定した場合（ステップＳ２２５：ＹＥＳ）、前回の最も良かった参照構造インデックスを出力する（ステップＳ２３５）。
The intra
一般に画像のぼけは、画像撮影時の焦点距離と被写体の深度（撮影機と被写体との距離）との差が大きいほど強くなる。ボケ補償予測の構成上、最もぼけの少ないブロックをイントラ符号化ブロックに選択すると、最もＲＤ効率が良いと考えられる。そのため、本実施形態のようにＲＤコストの悪化が起こった段階で探索を打ち切っても、全体の符号化効率低下にはつながらないと期待される。例えば、図４に示す例の場合、画像Ｇ１、Ｇ２、Ｇ３に含まれるブロックの順にイントラ符号化ブロックが選択される。被写体ａが写っている位置インデックスｊのブロックスタックでは、被写体ａに最も焦点面が近い画像Ｇ１に含まれるブロックＢ１−ｊをイントラ符号化ブロックとして選択したときが最もＲＤ効率が良く、ブロックＧ２−ｊをイントラ符号化ブロックと選択したときのＲＤ効率は低下する。この場合、ブロックＧ３−ｊをイントラ符号化ブロックとして選択したときのＲＤ効率の算出を行わず、ＲＤ効率が低下したときの直前に選択されたブロックＢ１−ｊをイントラ符号化ブロックとする。なお、探索順は上記と逆順にしてもよいし、画像インデックスを２以上の間隔で増やすことで粗い探索を実施した後に細かい探索を実施することで高速化してもよいし、真ん中の画像インデックスから選択してもよい。 In general, the blur of an image increases as the difference between the focal length at the time of image capturing and the depth of the subject (the distance between the photographing machine and the subject) increases. Due to the configuration of the blur compensation prediction, selecting the block with the least blur as the intra-coded block is considered to have the best RD efficiency. Therefore, even if the search is terminated at the stage where the RD cost has deteriorated as in the present embodiment, it is expected that the entire coding efficiency will not be reduced. For example, in the case of the example illustrated in FIG. 4, the intra-coded blocks are selected in the order of the blocks included in the images G1, G2, and G3. In the block stack of the position index j in which the subject a is shown, when the block B1-j included in the image G1 whose focal plane is closest to the subject a is selected as the intra-coded block, the RD efficiency is highest and the block G2- The RD efficiency when j is selected as an intra-coded block is reduced. In this case, the RD efficiency when the block G3-j is selected as the intra-coded block is not calculated, and the block B1-j selected immediately before the RD efficiency is reduced is set as the intra-coded block. Note that the search order may be reverse to the above, or the image index may be increased at intervals of 2 or more to perform a coarse search and then a fine search to increase the speed. You may choose.
ブロックスタックメモリ１２は、ステップＳ２３５においてイントラブロック決定部１３２が出力した参照構造インデックスを受取ると、符号化対象ブロックスタックと合わせて符号化部１４に入力する。符号化部１４は、参照構造インデックスが示す参照構造に従って符号化対象ブロックスタックの符号化を行う。
Upon receiving the reference structure index output by the intra
続いて、符号化部１４の詳細を説明する。図７は、符号化部１４の詳細な構成を示すブロック図である。符号化部１４は、予測残差生成部１４０と、ＤＣＴ（Discrete Cosine Transform：離散コサイン変換）部１４１と、量子化部１４２と、逆量子化部１４３と、Ｉｎｖ−ＤＣＴ（Inverse Discrete Cosine Transform：逆離散コサイン変換）部１４４と、復号信号生成部１４５と、参照用ブロックメモリ１４６と、イントラ予測部１４７と、ボケ補償予測部１４８と、モード判定部１４９とを備える。
Next, details of the
予測残差生成部１４０は、符号化対象ブロックと、モード判定部１４９が出力した予測ブロックとの差分である予測残差を生成する。ＤＣＴ部１４１は、予測残差に対して離散コサイン変換を行う。量子化部１４２は、離散コサイン変換された予測残差に対して量子化処理を行う。量子化部１４２は、量子化された予測残差と予測パラメータを出力する。逆量子化部１４３は、量子化された予測残差に対し、逆量子化処理を行う。Ｉｎｖ−ＤＣＴ部１４４は、逆量子化処理が行われた予測残差に対して逆離散コサイン変換を行う。復号信号生成部１４５は、Ｉｎｖ−ＤＣＴ部１４４が逆離散コサイン変換した予測残差と、モード判定部１４９が出力した予測ブロックとを加算して生成した参照ブロックを、参照用ブロックメモリ１４６に格納する。
The prediction
イントラ予測部１４７は、参照用ブロックメモリ１４６から読み出した参照ブロックに、画面内予測処理を実行することによって、符号化対象ブロックの予測ブロックを生成する。イントラ予測部１４７は、Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）におけるイントラ予測により符号化を行う。あるいは、イントラ予測部１４７は、Ｈ．２６４／ＡＶＣのような他の映像圧縮規格におけるイントラ予測により符号化を行ってもよい。なお、符号化部１４は、ＪＰＥＧのように、予測符号化を行わずイントラ符号化ブロックに直接ＤＣＴ変換を施してもよい。ボケ補償予測部１４８は、参照用ブロックメモリ１４６に格納された符号化済みのイントラ符号化ブロックである参照ブロックにボケ補償を行ってインター符号化ブロックの予測ブロックを生成し、出力する。モード判定部１４９は、イントラ予測部１４７が生成した予測ブロックと、ボケ補償予測部１４８が生成した予測ブロックとのいずれかを出力する。
The
図８は、符号化部１４における符号化処理を示すフロー図である。同図は、図２のステップＳ１２５及び図６のステップＳ２１５における処理の詳細を示す。符号化部１４は、符号化対象ブロックスタック及び参照構造インデックスを入力する（ステップＳ３０５）。符号化部１４は、まずイントラ符号化ブロックの符号化を行う。そこで、符号化部１４は、符号化対象ブロックスタックの中から参照構造インデックスが示すブロックをイントラ符号化ブロックとして抽出し、イントラ予測部１４７に入力する。
FIG. 8 is a flowchart showing an encoding process in the
イントラ予測部１４７は、参照用ブロックメモリ１４６に格納された符号化済みブロックの画素値を参照してイントラ符号化ブロックの予測を行う。ここでの符号化済みブロックは、イントラ符号化ブロックが属する画像からのみ取得されてもよいし、それ以外の画像から取得されてもよいし、複数の画像を平均化して生成した画素値を用いてもよい。参照画素として適当なのは符号化対象ブロックと同じ被写体を映した画素であるが、他の画像は焦点距離が異なり予測に適さないため、基本的には同じ画像から取得するのが効率的である。イントラ予測部１４７は、予測ブロックと、予測パラメータをモード判定部１４９に出力する。
The
予測残差生成部１４０は、イントラ符号化ブロックとモード判定部１４９が出力した予測ブロックとの差分である予測残差を生成する。ＤＣＴ部１４１は、予測残差にＤＣＴを施す。量子化部１４２は、ＤＣＴが施された予測残差に量子化を施す（ステップＳ３１０）。逆量子化部１４３は、量子化された予測残差に逆量子化処理を行い、Ｉｎｖ−ＤＣＴ部１４４は、逆量子化処理が行われた予測残差に対して逆離散コサイン変換を行う。復号信号生成部１４５は、逆離散コサイン変換された予測残差と、モード判定部１４９が出力した予測ブロックとを加算して、参照用ブロックメモリ１４６に入力する（ステップＳ３１５）。
The prediction
次に、符号化部１４は、インター符号化ブロックの符号化を行う。符号化対象のインター符号化ブロック（インター符号化対象ブロック）がボケ補償予測部１４８及びイントラ予測部１４７に入力される。さらに、符号化済みのイントラ符号化ブロックである符号化済みブロックが参照用ブロックメモリ１４６からボケ補償予測部１４８に入力され、符号化対象のイントラ符号化ブロックと同じ画像の符号化済みブロックが参照用ブロックメモリ１４６からイントラ予測部１４７に入力される（ステップＳ３２０）。ボケ補償予測部１４８及びイントラ予測部１４７はそれぞれ、予測ブロックを出力する。すなわち、ボケ補償予測部１４８は、後述する図１０の処理により符号化済みブロックにボケ補償を行った予測ブロックを生成する（ステップＳ３２５）。モード判定部１４９は、ボケ補償予測部１４８が生成した予測ブロックと、符号化対象のインター符号化ブロックとの差分値を計算する（ステップＳ３３０）。一方、イントラ予測部１４７は、符号化済みブロックの画素値を参照してインター符号化ブロックにイントラ予測を行い、予測ブロックを出力する（ステップＳ３３５）。モード判定部１４９は、イントラ予測部１４７が生成した予測ブロックと、符号化対象のインター符号化ブロックとの差分値を計算する（ステップＳ３４０）。
Next, the
モード判定部１４９は、ステップＳ３３０において算出した差分値と、ステップＳ３４０において算出した差分値とのそれぞれについてＲＤ効率を推定する（ステップＳ３４５）。モード判定部１４９は、推定結果に基づいてよりボケ補償予測とイントラ予測のいずれがより効率的であるかを判断する（ステップＳ３５０）。
The
モード判定部１４９は、ボケ補償予測のほうが効率的と判断した場合（ステップＳ３５０：ボケ補償予測）、ボケ補償予測部１４８が出力した予測ブロックを予測残差生成部１４０に入力する。符号化部１４は、ボケ補償予測部１４８が生成したボケ補償予測の予測ブロックを用いてインター符号化を行う（ステップＳ３５５）。一方、モード判定部１４９は、イントラ予測のほうが効率的と判断した場合（ステップＳ３５０：イントラ予測）、イントラ予測部１４７が出力した予測ブロックを予測残差生成部１４０に入力する。符号化部１４は、イントラ予測部１４７が生成した予測ブロックを用いてイントラ符号化を行う（ステップＳ３６０）。すなわち、ステップＳ３５５、ステップＳ３６０において、予測残差生成部１４０は、インター符号化ブロックとモード判定部１４９が出力した予測ブロックとの予測残差を生成する。ＤＣＴ部１４１は、予測残差にＤＣＴを施す。量子化部１４２は、ＤＣＴが施された予測残差に量子化を施す。逆量子化部１４３は、量子化された予測残差に逆量子化処理を行い、Ｉｎｖ−ＤＣＴ部１４４は、逆量子化処理が行われた予測残差に対して逆離散コサイン変換を行う。復号信号生成部１４５は、逆離散コサイン変換された予測残差と、モード判定部１４９が出力した予測ブロックとを加算して、参照用ブロックメモリ１４６に入力する。
When determining that the blur compensation prediction is more efficient (step S350: blur compensation prediction), the
符号化部１４は、符号化対象のインター符号化ブロックのうちまだ符号化していないものがあると判定した場合（ステップＳ３６５：ＮＯ）、次のインター符号化ブロックについてステップＳ３２０からの処理を繰り返す。そして、符号化部１４は、符号化対象の全てのインター符号化ブロックの符号化を行ったと判定した場合（ステップＳ３６５：ＹＥＳ）、符号化された予測残差と予測パラメータを出力する（ステップＳ３７０）。
When the
図９は、符号化部１４が備えるボケ補償予測部１４８の詳細な構成を示すブロック図である。ボケ補償予測部１４８は、ぼかしフィルタパラメータ生成部２０１と、ぼかし処理部２０２と、差分生成部２０３と、ＲＤ効率推定部２０４と、ＲＤ効率メモリ２０５と、ＲＤ効率比較部２０６とを備える。
FIG. 9 is a block diagram illustrating a detailed configuration of the blur
ぼかしフィルタパラメータ生成部２０１は、ぼかしフィルタに用いられるパラメータであるぼかしフィルタパラメータの値を決定する。ぼかし処理部２０２は、ぼかしフィルタパラメータ生成部２０１が生成したぼかしフィルタパラメータ値を用いたぼかしフィルタを符号化済みブロックに施し、予測ブロックを生成する。差分生成部２０３は、符号化対象ブロックと、ぼかし処理部２０２が生成した予測ブロックとの差分を生成する。
The blur filter
ＲＤ効率推定部２０４は、差分生成部２０３が生成した差分のＲＤ効率を推定する。ＲＤ効率メモリ２０５は、ＲＤ効率推定部２０４が推定したＲＤ効率をぼかしフィルタパラメータ値ごとに記憶する。ＲＤ効率比較部２０６は、ＲＤ効率メモリ２０５に記憶されるＲＤ効率を比較し、最も良いＲＤ効率のぼかしフィルタパラメータ値を選択する。ぼかし処理部２０２は、ＲＤ効率比較部２０６が選択したぼかしフィルタパラメータ値を用いたぼかしフィルタを施して生成した予測ブロックと、選択したぼかしフィルタパラメータの値を出力する。
The RD
図１０は、ボケ補償予測部１４８のボケ補償処理を示すフロー図である。ぼかし処理部２０２は、符号化対象ブロックスタックのイントラ符号化ブロックを符号化した符号化済みブロックを参照用ブロックメモリ１４６から入力する（ステップＳ４０５）。ぼかしフィルタパラメータ生成部２０１は、初期値のぼかしフィルタパラメータ値を生成する（ステップＳ４１０）。ぼかし処理部２０２は、ステップＳ４０５において入力した符号化済みブロックに、ステップＳ４１０において生成されたぼかしフィルタパラメータ値を用いたぼかしフィルタを適用し、予測ブロックを生成する（ステップＳ４１５）。
FIG. 10 is a flowchart showing the blur compensation processing of the blur
差分生成部２０３は、符号化対象のインター符号化ブロックである符号化対象ブロックと、ステップＳ４１５においてぼかし処理部２０２が生成した予測ブロックとの差分を生成する（ステップＳ４２０）。ＲＤ効率推定部２０４は、ステップＳ４２０において差分生成部２０３が生成した差分に対してＲＤ効率の推定を行い、推定結果をＲＤ効率メモリ２０５に格納する（ステップＳ４２５）。ＲＤ効率比較部２０６は、ＲＤ効率メモリ２０５に記憶されるＲＤ効率を比較し、最適なＲＤ効率が得られたか否かを判定する（ステップＳ４３０）。
The
ＲＤ効率比較部２０６は、最適なＲＤ効率が得られていないと判断した場合（ステップＳ４３０：ＮＯ）、ステップＳ４１０からの処理を繰り返す。すなわち、ぼかしフィルタパラメータ生成部２０１は、ＲＤ効率の推定結果を元にしてぼかしフィルタパラメータ値を更新する（ステップＳ４１０）。ぼかし処理部２０２は、ぼかしフィルタパラメータ生成部２０１が更新したぼかしフィルタパラメータ値を用いたぼかしフィルタにより、符号化済みブロックにぼかし処理を施して予測ブロックを生成する（ステップＳ４１５）。差分生成部２０３は、符号化対象ブロックと予測ブロックとの差分を生成し（ステップＳ４２０）、ＲＤ効率推定部２０４は、この差分に対して推定したＲＤ効率をＲＤ効率メモリ２０５に格納する（ステップＳ４２５）。ＲＤ効率比較部２０６は、最適なＲＤ効率が得られたか否かを判定する（ステップＳ４３０）。
When determining that the optimal RD efficiency has not been obtained (step S430: NO), the RD
ＲＤ効率比較部２０６が、最適なＲＤ効率が得られたと判定した場合（ステップＳ４３０：ＮＯ）、最終的にＲＤ効率が最も良かったぼかしフィルタパラメータの値を選択する。ぼかし処理部２０２は、最もＲＤ効率の良かった予測ブロック及びぼかしフィルタパラメータの値を出力する（ステップＳ４３５）。
When the RD
ぼかしフィルタパラメータ生成部２０１の詳細を説明する。図１１は、ぼかしフィルタパラメータ生成部２０１の詳細な構成を示すブロック図である。ぼかしフィルタパラメータ生成部２０１は、ぼかしフィルタパラメータ初期化部２１１と、ぼかしフィルタパラメータメモリ２１２と、ぼかしフィルタ生成部２１３と、ぼかしフィルタパラメータ更新処理決定部２１４と、ぼかしフィルタパラメータ更新処理部２１５とを備える。
The details of the blur filter
ぼかしフィルタパラメータ初期化部２１１は、ぼかしフィルタパラメータ値を初期化する。ぼかしフィルタパラメータ値は、ボケ強度を表す。ぼかしフィルタパラメータメモリ２１２は、ぼかしフィルタパラメータ値を記憶する。ぼかしフィルタ生成部２１３は、ぼかしフィルタパラメータ値を用いたぼかしフィルタを生成する。ぼかしフィルタパラメータ更新処理決定部２１４は、ぼかしフィルタパラメータ値の更新処理を行うか否かを決定する。ぼかしフィルタパラメータ更新処理部２１５は、ぼかしフィルタパラメータ更新処理決定部２１４がぼかしフィルタパラメータ値の更新処理を行うと決定した場合、現在のぼかしフィルタパラメータ値を更新する。
The blur filter
ぼかしフィルタには、例えばガウシアンブラーフィルタが用いられる。ガウシアンブラーフィルタを用いた場合、ぼかしフィルタパラメータは標準偏差σで表され、フィルタ係数は下記のように計算される。座標（ｉ,ｊ）の入力画素をＡ［ｉ,ｊ］としたとき、フィルタ適用後の画素値Ｂ［ｉ,ｊ］は下の式（１）で表される。 For example, a Gaussian blur filter is used as the blur filter. When a Gaussian blur filter is used, a blur filter parameter is represented by a standard deviation σ, and a filter coefficient is calculated as follows. Assuming that the input pixel at the coordinates (i, j) is A [i, j], the pixel value B [i, j] after applying the filter is represented by the following equation (1).
ここでフィルタ係数Ｇσ（ｘ，ｙ）は下の式（２）で表される。 Here, the filter coefficient G σ (x, y) is represented by the following equation (2).
ただし実装上、フィルタ長が有限となるようｘ,ｙを一定の範囲Ｚにとどめるか、フィルタ係数Ｇσが一定の値以下になる場合は０とすることが望ましい。標準偏差０の場合はぼかしフィルタを適用しないと定める。上記の定義より、標準偏差σを大きくするほどぼかしフィルタによるぼけの強度が強くなる。ぼかしフィルタパラメータ生成部２０１による標準偏差の更新は、初期値を０として１ずつ増加させていけばよい。これは、ボケ強度を強くしていくことに相当する。このとき標準偏差の最大値を予め決めておき、それ以上は探索を行わないとするのが望ましい。また更新幅を１より大きくしてもよく、初めは大きな更新幅により更新して粗く探索を行った後に細かい探索と段階的に行うことで探索時間の短縮を図ってもよい。
However, in implementation, it is desirable to keep x and y within a fixed range Z so that the filter length becomes finite, or to set it to 0 when the filter coefficient Gσ is equal to or less than a certain value. When the standard deviation is 0, it is determined that the blur filter is not applied. According to the above definition, the larger the standard deviation σ, the higher the intensity of the blur caused by the blur filter. The update of the standard deviation by the blur filter
図１２は、ぼかしフィルタパラメータ生成部２０１のぼかしフィルタパラメータ生成処理を示すフロー図である。同図に示す処理は、図１０におけるステップＳ４１０〜ステップＳ４３０の処理に相当する。ぼかしフィルタパラメータ生成処理によって、与えられた参照構造の中でＲＤ効率を最適化できるようなボケ強度を探索する。
FIG. 12 is a flowchart showing the blur filter parameter generation processing of the blur filter
まず、ぼかしフィルタパラメータ初期化部２１１は、ぼかしフィルタパラメータ値を初期化する。例えば、ぼかしフィルタパラメータ初期化部２１１は、ぼかしフィルタパラメータとして用いる標準偏差σを０に初期化する。ぼかしフィルタパラメータメモリ２１２は、初期化されたぼかしフィルタパラメータ値を記憶する。ぼかしフィルタ生成部２１３は、初期化されたぼかしフィルタパラメータ値を入力する（ステップＳ５０５）。ぼかしフィルタ生成部２１３は、初期化されたぼかしフィルタパラメータ値を用いたぼかしフィルタを生成し（ステップＳ５１０）、ぼかし処理部２０２に出力する（ステップＳ５１５）。
First, the blur filter
ボケ補償予測部１４８は、ぼかしフィルタパラメータ生成部２０１が生成したぼかしフィルタに基づいて、ぼけ補償による符号化を実施する。すなわち、ぼかし処理部２０２は、ぼかしフィルタにより符号化済みブロックにぼかし処理を施して予測ブロックを生成する。差分生成部２０３は、符号化対象ブロックと予測ブロックとの差分をとり、ＲＤ効率推定部２０４は、この差分に対してＲＤ効率を推定する。ＲＤ効率比較部２０６は、現在のＲＤ効率と、前回のＲＤ効率とを比較する（ステップＳ５２０）。
The blur
ＲＤ効率比較部２０６が、今回のＲＤ効率は前回から悪化していないと判断した場合（ステップＳ５２５：ＮＯ）、ぼかしフィルタパラメータ更新処理決定部２１４は、ぼかしフィルタパラメータ値の更新を決定する。ぼかしフィルタパラメータ更新処理部２１５は、現在のぼかしフィルタパラメータ値を１増加させ、ぼかしフィルタパラメータメモリ２１２に記憶する。ぼかしフィルタ生成部２１３は、更新されたぼかしフィルタパラメータ値を入力する（ステップＳ５３０）。ぼかしフィルタパラメータ生成部２０１は、ステップＳ５１０からの処理を繰り返す。
When the RD
そして、ＲＤ効率比較部２０６が、今回のＲＤ効率は前回から悪化したと判断した場合（ステップＳ５２５：ＮＯ）、ぼかしフィルタパラメータ更新処理決定部２１４は、ぼかしフィルタパラメータ値を更新しないと決定する。ぼかしフィルタパラメータメモリ２１２は、前回のぼかしフィルタパラメータ値をぼかし処理部２０２に出力する（ステップＳ５３５）。
When the RD
図１２の処理は、ボケ強度が被写体の深度と焦点距離との差に応じて純増することを利用して、差分が最小になる箇所を探索している。画像インデックスは、撮影機から焦点面の距離が近い順に付与され、インター符号化ブロックは画像インデックスの順に符号化される。これを利用し、符号化部１４は、参照ブロックであるイントラ符号化ブロックに近いほうから（又は遠い方から）探索を行い、ぼかしフィルタパラメータ初期化部２１１は、遠い方（又は近い方）のブロックでは探索するボケ強度の初期値を、近い（又は遠い）ブロックでの推定値によって定めるようにしてもよい。
The process of FIG. 12 searches for a location where the difference is minimum, utilizing the fact that the blur intensity is purely increased according to the difference between the depth of the subject and the focal length. The image index is assigned in ascending order of the focal plane distance from the camera, and the inter-coded blocks are encoded in the order of the image index. Utilizing this, the
例えば、図４に示す例の場合、位置インデックスｊのブロックスタックでは、画像Ｇ１をイントラ符号化ブロックとする参照構造の場合、ブロックＢ２−ｊ及びブロックＢ３−ｊがインター符号化ブロックとなる。このとき、より画像Ｇ１と焦点距離が近い画像Ｇ２に含まれるブロックＢ２−ｊのぼけ補償予測のためにブロックＢ１−ｊに適用するぼかしフィルタパラメータ値（ボケ強度）を決定する。そして、次に画像Ｇ２よりも画像Ｇ１との焦点距離が遠い画像Ｇ３に含まれるブロックＧ３−ｊのぼけ補償予測のためにブロックＢ１−ｊに適用するぼかしフィルタパラメータ値（ボケ強度）を決定する。ブロックＢ１−ｊより焦点距離が遠いブロックＧ３−ｊのほうが、ブロックＢ１−ｊに適用するボケ強度が強いと考えられる。そこで、ブロックＧ３−ｊがインター符号化ブロックであるときのぼかしフィルタパラメータ値の初期値を、ブロックＧ２−ｊがインター符号化ブロックであるときについてすでに算出されたぼかしフィルタパラメータ値とし、その初期値よりもボケ強度を強くしていきながらＲＤ効率が最適なぼかしフィルタパラメータ値を探索する。つまり、ブロックＧ２−ｊがインター符号化ブロックであるときのぼかしフィルタパラメータ値よりも小さいボケ強度については探索の対象としない。なお、ブロックＧ３−ｊがインター符号化ブロックであるときのぼかしフィルタパラメータ値の初期値を、ブロックＧ２−ｊがインター符号化ブロックであるときのぼかしフィルタパラメータ値に所定だけ変動させた値としてもよい。 For example, in the example shown in FIG. 4, in the block stack of the position index j, in the case of the reference structure in which the image G1 is an intra-coded block, the blocks B2-j and B3-j are inter-coded blocks. At this time, a blur filter parameter value (blur intensity) to be applied to the block B1-j for blur compensation prediction of the block B2-j included in the image G2 whose focal length is closer to the image G1 is determined. Then, a blur filter parameter value (blur intensity) to be applied to the block B1-j for blur compensation prediction of the block G3-j included in the image G3 having a longer focal length with the image G1 than the image G2 is determined. . It is considered that the blur intensity applied to the block B1-j is higher in the block G3-j whose focal length is farther than the block B1-j. Therefore, the initial value of the blur filter parameter value when the block G3-j is an inter-coded block is defined as the blur filter parameter value already calculated when the block G2-j is an inter-coded block, and the initial value A blur filter parameter value with the optimum RD efficiency is searched for while increasing the blur intensity more than the blur intensity. That is, a blur intensity smaller than the blur filter parameter value when the block G2-j is an inter-coded block is not searched. Note that the initial value of the blur filter parameter value when the block G3-j is an inter-coded block may be set to a value obtained by changing the blur filter parameter value by a predetermined amount when the block G2-j is an inter-coded block. Good.
また、ぼかしフィルタパラメータ初期化部２１１は、イントラ符号化ブロックのぼかしフィルタパラメータの初期値として、参照構造が同じ隣接ブロックのぼかしフィルタパラメータの値に基づく値を設定してもよい。例えば、位置インデックスｊのブロックスタックにおいて、ブロックＢ１−ｊをイントラ符号化ブロックとする参照構造のときに、ブロックＢ２−ｊのぼけ補償予測のためにブロックＢ１−ｊに適用するぼかしフィルタパラメータ値（又は、その値を所定だけ変動させた値）を、位置インデックスｊに隣接する位置インデックス（ｊ＋１）のブロックスタックにおいて、ブロックＢ１−（ｊ＋１）をイントラ符号化ブロックとする参照構造のときに、ブロックＢ２−（ｊ＋１）のぼけ補償予測のためにブロックＢ１−（ｊ＋１）に適用するぼかしフィルタパラメータの初期値とする。そして、初期値を中心として、ボケ強度を増やした場合と減らした場合とによって、ぼかしフィルタパラメータの値を探索する。
Further, the blur filter
次に、エントロピー符号化部１９の詳細を説明する。図１３は、エントロピー符号化部１９の詳細な構成を示すブロック図である。エントロピー符号化部１９は、インデックス分離部１９１と、予測残差二値化部１９２と、予測パラメータ二値化部１９３と、参照構造インデックス二値化部１９４と、算術符号化部１９５とを備える。
Next, details of the
インデックス分離部１９１は、符号化結果として入力されたデータを、予測残差、予測パラメータ、及び、参照構造インデックスに分離する。予測残差二値化部１９２は、量子化部１４２が量子化した予測残差をＨＥＶＣと同様に二値化する。予測パラメータ二値化部１９３は、予測パラメータをＨＥＶＣと同様に二値化する。参照構造インデックス二値化部１９４は、参照構造インデックスを二値化する。算術符号化部１９５は、予測残差二値化部１９２が二値化した予測残差、予測パラメータ二値化部１９３が二値化した予測パラメータ、及び、参照構造インデックスが二値化した参照構造インデックスを算術符号化する。算術符号化部１９５は、ＨＥＶＣと同様にＣＡＢＡＣ（Context Adaptive Binary Arithmetic Coding）を用いて算術符号化を行う。算術符号化部１９５として、他の算術符号化器を用いてもよい。
The
図１４は、参照構造インデックス二値化部１９４の参照構造インデックス二値化処理を示すフロー図である。本実施形態において参照構造インデックスは、各ブロックスタックにおけるイントラ画像インデックスと等しい。また、同じ位置インデックスを持つブロックのうち、最もぼけの少ないブロックがイントラ符号化ブロックとなることが期待される。ここでは、隣接したブロックは同じ被写体を映している可能性が高く、したがって参照構造も近い傾向があることを利用し、参照構造インデックスの効率的な二値化を行う。参照構造インデックス二値化部１９４は、各ブロックスタックについて同図に示す処理を行う。
FIG. 14 is a flowchart showing the reference structure index binarization processing of the reference structure
まず、参照構造インデックス二値化部１９４は、ブロックスタックの位置インデックスをインデックス分離部１９１から入力する（ステップＳ６０５）。位置インデックスで示される位置のブロックを「対象ブロック」と記載し、「対象ブロック」に隣接するブロックを「隣接ブロック」と記載する。参照構造インデックス二値化部１９４は、対象ブロックの上方向に隣接ブロックが存在するか否かを判定する（ステップＳ６１０）。参照構造インデックス二値化部１９４は、上方向に隣接ブロックが存在すると判断した場合（ステップＳ６１０：ＹＥＳ）、対象ブロックの参照構造インデックスが、真上の隣接ブロックの参照構造インデックスと一致するか否かを判定する（ステップＳ６１５）。
First, the reference structure
参照構造インデックス二値化部１９４は、対象ブロックの参照構造インデックスが、真上の隣接ブロックの参照構造インデックスと一致すると判断した場合（ステップＳ６１５：ＹＥＳ）、「０」を出力する（ステップＳ６２０）。
When determining that the reference structure index of the target block matches the reference structure index of the immediately adjacent block (step S615: YES), the reference structure
参照構造インデックス二値化部１９４は、対象ブロックの参照構造インデックスが、真上の隣接ブロックの参照構造インデックスと一致しないと判定した場合（ステップＳ６１５：ＮＯ）、真上の隣接ブロックのイントラ画像インデックスを除いて、対象ブロックの参照構造インデックスを改めて付与する（ステップＳ６２５）。参照構造インデックス二値化部１９４は、「１」と再付与した参照構造インデックスとを出力する（ステップＳ６３０）。
If the reference structure
参照構造インデックス二値化部１９４は、対象ブロックの上方向に隣接ブロックが存在しないと判定した場合（ステップＳ６１０：ＮＯ）、左隣のブロックを用いて同様の二値化を行う。すなわち、参照構造インデックス二値化部１９４は、対象ブロックの左方向に隣接ブロックが存在するか否かを判定する（ステップＳ６３５）。参照構造インデックス二値化部１９４は、左方向に隣接ブロックが存在すると判断した場合（ステップＳ６３５：ＹＥＳ）、対象ブロックの参照構造インデックスが、左方向の隣接ブロックの参照構造インデックスと一致するか否かを判定する（ステップＳ６４０）。
When determining that there is no adjacent block in the upward direction of the target block (step S610: NO), the reference structure
参照構造インデックス二値化部１９４は、対象ブロックの参照構造インデックスが、左方向の隣接ブロックの参照構造インデックスと一致すると判断した場合（ステップＳ６４０：ＹＥＳ）、「０」を出力する（ステップＳ６４５）。
When the reference structure
参照構造インデックス二値化部１９４は、対象ブロックの参照構造インデックスが、左方向の隣接ブロックの参照構造インデックスと一致しないと判定した場合（ステップＳ６４０：ＮＯ）、左方向の隣接ブロックのイントラ画像インデックスを除いて、対象ブロックの参照構造インデックスを改めて付与する（ステップＳ６５０）。参照構造インデックス二値化部１９４は、「１」と再付与した参照構造インデックスとを出力する（ステップＳ６３０）。
If the reference structure
参照構造インデックス二値化部１９４は、対象ブロックの左方向にも隣接ブロックが存在しないと判定した場合（ステップＳ６３５：ＮＯ）、そのまま対象ブロックの参照構造インデックスを出力する（ステップＳ６５５）。
When determining that there is no adjacent block in the left direction of the target block (step S635: NO), the reference structure
参照構造インデックスの二値化の例を説明する。画像Ｇ１、Ｇ２、Ｇ３の画像インデックスをそれぞれ、００、０１、１０とする。上述したように、参照構造インデックスには、イントラ画像インデックスが用いられる。 An example of binarization of the reference structure index will be described. The image indexes of the images G1, G2, and G3 are set to 00, 01, and 10, respectively. As described above, the intra image index is used as the reference structure index.
対象ブロックが左上ブロックである場合、上にも左にも隣接ブロックが無い。よって、参照構造インデックス二値化部１９４は、左上ブロックについては、参照構造インデックス（イントラ画像インデックス）をそのまま伝送する。
If the target block is the upper left block, there is no adjacent block on either the top or the left. Therefore, the reference structure
対象ブロックの参照構造インデックスが「０１」（画像Ｂ）であり、真上の隣接ブロックの参照構造インデックスも「０１」（画像Ｂ）である場合（ステップＳ６１０：ＹＥＳ、ステップＳ６１５：ＹＥＳ）、参照構造インデックス二値化部１９４は、「０」を出力する（ステップＳ６２０）。
When the reference structure index of the target block is “01” (image B) and the reference structure index of the immediately adjacent block is also “01” (image B) (step S610: YES, step S615: YES), the reference is made. The structure
対象ブロックの参照構造インデックスが「０１」（画像Ｂ）であり、真上の隣接ブロックの参照構造インデックスが「００」（画像Ａ）である場合（ステップＳ６１０：ＹＥＳ、ステップＳ６１５：ＮＯ）、参照構造インデックス二値化部１９４は、画像Ｂを除き、画像Ａ及び画像Ｃに画像インデックスを再付与する。参照構造インデックス二値化部１９４は、付与対象の画像が２枚のため、画像インデックス長を１ビットとし、画像Ａに画像インデックス「０」を、画像Ｃに画像インデックス「１」を付与する。参照構造インデックス二値化部１９４は、ビット「１」と、イントラ符号化ブロックである画像Ａに再付与された画像インデックス「０」とを結合した「１０」を伝送する（ステップＳ６３０）。
When the reference structure index of the target block is “01” (image B) and the reference structure index of the immediately adjacent block is “00” (image A) (step S610: YES, step S615: NO), reference is made. The structure
対象ブロックの真上の隣接ブロックが存在せず（ステップＳ６１０：ＮＯ）、左方向の隣接ブロックが存在する場合（ステップＳ６３５：ＹＥＳ）、参照構造インデックス二値化部１９４は、真上の隣接ブロックスタックに代えて左方向の隣接ブロックを用いて上記と同様に動作する。
When there is no adjacent block directly above the target block (step S610: NO) and when there is a leftward adjacent block (step S635: YES), the reference structure
自然画像の場合被写体の深度は縦方向に一致している場合が多いため真上の隣接ブロックの参照構造インデックスの利用を優先するのが望ましいが、左方向の隣接ブロックを優先してもよい。また、図１５に示すように、参照構造インデックスを左方向の隣接ブロックから取るか真上の隣接ブロックから取るかを１ｂｉｔのインデックスにより表してもよい。 In the case of a natural image, the depth of a subject often coincides in the vertical direction, so that it is desirable to prioritize the use of the reference structure index of an immediately adjacent block. As shown in FIG. 15, whether the reference structure index is taken from the left neighboring block or the immediately above neighboring block may be represented by a 1-bit index.
図１５は、参照構造インデックスの符号例を示す図である。同図は、参照構造インデックスを左方向の隣接ブロックから取るか真上の隣接ブロックから取るかを１ｂｉｔのインデックスにより表す場合の例を示す。同図において、対象ブロックの真上の隣接ブロックの参照構造インデックスは１であり、左方向の隣接ブロックの参照構造インデックスは０である。参照構造インデックス二値化部１９４は、真上又は左方向の隣接ブロックの参照構造インデックスを参照する場合は１ビット目に「０」を設定し、２ビット目には左方向の隣接ブロックの参照構造インデックスを参照する場合は「０」を、真上の隣接ブロックの参照構造インデックスを参照する場合は「１」を設定する。また、参照構造インデックス二値化部１９４は、隣接ブロックの参照構造インデックスを参照しない場合、先頭ビットに「１」を設定し、２ビット目以降にイントラ画像インデックス又は再付与した画像インデックスを設定する。
FIG. 15 is a diagram illustrating a code example of the reference structure index. The figure shows an example in which whether the reference structure index is taken from the left neighboring block or the immediately above neighboring block is represented by a 1-bit index. In the figure, the reference structure index of the adjacent block immediately above the target block is 1, and the reference structure index of the adjacent block in the left direction is 0. The reference structure
（第２の実施形態）
第１の実施形態においては、ブロックスタック内において、インター符号化ブロック全てが、同一のイントラ符号化ブロック（ピントの合っている画像のブロック）を参照する１対Ｎ型の参照構造を用いており、符号化効率が高い。本実施形態は、ブロックスタック内において、チェーン型の参照構造を用いる。チェーン型は、ブロックスタック内において直前に符号化したブロックを参照して予測を行う。そのため、直前に符号化したブロックは、ピントの合っていない場合もある。本実施形態では、符号化効率は落ちるが、ぼけフィルタのタップ長を小さくすることで、処理速度を向上させ、処理量の削減を図ることができる。以下では、第１の実施形態との差分を中心に説明する。
(Second embodiment)
In the first embodiment, in the block stack, all the inter-coded blocks use a one-to-N type reference structure that refers to the same intra-coded block (a block of a focused image). , Coding efficiency is high. This embodiment uses a chain-type reference structure in a block stack. In the chain type, prediction is performed with reference to the block coded immediately before in the block stack. Therefore, the block encoded immediately before may not be in focus. In the present embodiment, although the coding efficiency decreases, the processing speed can be improved and the processing amount can be reduced by reducing the tap length of the blur filter. In the following, the description will focus on differences from the first embodiment.
図１６は、第２の実施形態による符号化装置１ａの構成を示すブロック図である。同図において、図１に示す第１の実施形態による符号化装置１と同一の部分には同一の符号を付し、その説明を省略する。同図に示す符号化装置１ａが、図１に示す符号化装置１と異なる点は、参照構造生成部１３に代えて、参照構造生成部５１を備える点である。参照構造生成部５１は、チェーン型の参照構造を生成する。すなわち、本実施形態の参照構造は、他のブロックの情報を使用せずにイントラ符号化を行うイントラ符号化ブロック１枚と、直前に符号化した符号化済みブロックを参照して予測符号化を行うインター符号化ブロックからなる。符号化部１４は、参照構造の順に従ってイントラ符号化ブロック、インター符号化ブロックの順に符号化を行う。そのため、符号化部１４のボケ補償予測部１４８が参照用ブロックメモリ１４６から入力する符号化済みブロックは、参照構造において示される、符号化対象のインター符号化ブロックと同一のブロックスタックにおいて直前に符号化された符号化済みブロックである。
FIG. 16 is a block diagram illustrating a configuration of an encoding device 1a according to the second embodiment. In the figure, the same parts as those of the
符号化装置１ａの処理は、図２に示す第１の実施形態の処理と同様である。ただし、ステップＳ１２０において、参照構造生成部５１は、チェーン型の参照構造を生成する。
The processing of the encoding device 1a is the same as the processing of the first embodiment shown in FIG. However, in step S120, the reference
図１７は、参照構造生成部５１による参照構造の生成イメージを示す図である。同図に示すフォーカルスタックは、図４に示すフォーカルスタックと同様である。同図の場合、位置インデックスｊのブロックスタックでは、ブロックＢ１−ｊがイントラ符号化ブロックであり、ブロックＢ２−ｊはブロックＢ１−ｊを参照するインター符号化ブロック、ブロックＢ３−ｊはブロックＢ２−ｊを参照するインター符号化ブロックである。また、位置インデックスｋのブロックスタックでは、ブロックＢ２−ｋがイントラ符号化ブロックであり、ブロックＢ３−ｋはブロックＢ２−ｋを参照するインター符号化ブロック、ブロックＢ１−ｋはブロックＢ３−ｋを参照するインター符号化ブロックである。また、位置インデックスｌのブロックスタックでは、ブロックＢ３−ｌがイントラ符号化ブロックであり、ブロックＢ２−ｌはブロックＢ３−ｌを参照するインター符号化ブロック、ブロックＢ１−ｌはブロックＢ２−ｌを参照するインター符号化ブロックである。
FIG. 17 is a diagram illustrating a generation image of the reference structure by the reference
図１８は、参照構造生成部５１の詳細な構成を示すブロック図である。参照構造生成部５１は、ブロックスタックインデックス取得部５１１と、画像インデックス列生成部５１２と、参照構造インデックス生成部５１３とを備える。ブロックスタックインデックス取得部５１１は、ブロックスタックメモリ１２から、符号化対象ブロックスタックに含まれる全画像それぞれの画像インデックスを取得する。画像インデックス列生成部５１２は、画像インデックスの並びを生成する。参照構造を表すこの画像インデックスの並びを、画像インデックス数列とも記載する。参照構造インデックス生成部５１３は、画像インデックス数列それぞれに、参照構造インデックスを付与する。
FIG. 18 is a block diagram illustrating a detailed configuration of the reference
図１９は、参照構造生成部５１の参照構造生成処理を示すフロー図である。同図に示す参照構造生成処理は、画像のボケは焦点距離が被写体の深度から離れるほど強くなっていくことに基づき、符号化対象ブロックが自身よりも強くボケている符号化済みブロックを参照してしまうような参照構造を除外するよう設計されている。
FIG. 19 is a flowchart showing the reference structure generation processing of the reference
ブロックスタックインデックス取得部５１１は、ブロックスタックメモリ１２から、符号化対象ブロックスタックの全ての画像インデックスを取得し、画像インデックス列生成部５１２に入力する（ステップＳ７０５）。画像インデックス列生成部５１２は、入力された画像インデックスの並びを全通り生成し、生成した画像インデックスの並びをそれぞれ、画像インデックス数列とする（ステップＳ７１０）。画像インデックス列生成部５１２は、以下の二つの条件を満たさない画像インデックス数列を候補から除外する（ステップＳ７１５）。１つ目の条件は、先頭インデックスより小さなインデックスが降順になっていないことであり、２つ目の条件は、先頭インデックスより大きなインデックスが昇順になっていないことである。
The block stack
画像インデックス列生成部５１２は、残った画像インデックス数列を辞書順（昇順）にソートする。参照構造インデックス生成部５１３は画像インデックス数列それぞれに、ソート順に参照構造インデックスを付与する（ステップＳ７２０）。参照構造インデックス生成部５１３は、画像インデックス数列（参照構造）と、各画像インデックス数列の参照構造インデックスとをブロックスタックメモリ１２に出力する（ステップＳ７２５）。ステップＳ７１５において除外処理を行うことで、符号化部１４が実行する符号化処理における計算時間削減と、ステップＳ７２０において付与する参照構造インデックスの符号量の削減を期待できる。なお、ステップＳ７１５の除外処理は行わなくてもよい。
The image index
図２０は、本実施形態の参照構造の例を示す図である。同図は、参照構造を表す画像インデックス数列と参照構造インデックスの例を示している。同図では、画像インデックスが０、１、２、３の４枚（Ｎ＝４）の画像の参照構造に参照構造インデックスが付与されている。焦点距離が小さい順に、小さい値の画像インデックスが付与されている。画像インデックス列生成部５１２は、全通りの画像インデックス数列から、ステップＳ７１５の処理に示す除外処理を行った結果得られた参照構造の候補に対して、参照画像インデックスを付与している。参照画像インデックスは、画像インデックス数列の先頭が示すイントラ符号化ブロックの画像インデックスが小さい順に付与されている。また、複数の画像インデックス数列において１〜ｉ（ｉは１以上Ｎ−１以下の整数）番目までの画像インデックスの並びが同じある場合には、ｉ＋１番目の画像インデックスの数が小さい順に参照画像インデックスが付与されている。
FIG. 20 is a diagram illustrating an example of a reference structure according to the present embodiment. This figure shows an example of an image index sequence representing a reference structure and a reference structure index. In the figure, a reference structure index is assigned to a reference structure of four images (N = 4) of
符号化部１４は、画像インデックス列生成部５１２が生成した各参照構造が表す画像インデックス数列を用いて、図８に示す第１の実施形態と同様に各ブロックスタックを符号化する。また、ボケ補償予測部１４８のボケ補償処理は、図１０に示す第１の実施形態と同様である。ただし、図８のステップＳ３２０、又は、図１０のステップＳ４０５においてボケ補償予測部１４８に入力される符号化済みブロックは、参照構造により示される、符号化対象のインター符号化ブロックの直前が符号化順の符号化済みブロックである。これにより、イントラ符号化ブロックを直接参照したときと比較して、インター符号化ブロックと参照画像までの深度距離が短くなることによりボケ補償処理で用いるぼかしフィルタの強度を下げ、計算量およびメモリ消費を削減することが期待できる。なお、ボケ補償予測部１４８は、他の符号化済みブロックを入力してもよく、複数の符号化済みブロックを入力してもよい。
The
エントロピー符号化部１９の構成は、図１３に示す第１の実施形態と同様である。予測残差二値化部１９２、予測パラメータ二値化部１９３、及び、参照構造インデックス二値化部１９４における予測二値化、ならびに、算術符号化部１９５における算術符号化は、ＨＥＶＣと同様にｋ次指数ゴロム二値化、トランケーテッド・ユーナリー二値化、固定長二値化、ＣＡＢＡＣといった手法を組み合わせて行う。また、ＣＡＢＡＣは、他の算術符号化器でもよい。
The configuration of the
本実施形態によれば、フォーカルスタックを従来の符号化方式よりも効率的に圧縮できる。特にインター符号化ブロックに、参照構造で直前にあるブロックを参照させることで、ボケ補償におけるフィルタ長を縮小しデコーダの計算量を低くできる。 According to the present embodiment, the focal stack can be compressed more efficiently than the conventional encoding method. In particular, by making the inter-coded block refer to the block immediately before in the reference structure, the filter length in blur compensation can be reduced, and the amount of calculation by the decoder can be reduced.
上述した実施形態によれば、符号化装置は、フォーカルスタックの各画像をブロック分割し、同一位置にある各画像のブロック群に対して参照構造を構築する。符号化装置は、選択された参照構造に従いブロック群を符号化し、符号化効率の観点から参照構造及び符号化パラメータを最適化する。符号化装置は、ブロック単位で参照構造を決定し、インター符号化においては、ボケ補償予測を行って、ＲＤ最適化を実施する。これにより、データ量を低減するように、フォーカルスタックを効率的に符号化することができる。 According to the above-described embodiment, the encoding device divides each image of the focal stack into blocks, and constructs a reference structure for a block group of each image at the same position. The encoding device encodes the block group according to the selected reference structure, and optimizes the reference structure and the encoding parameters from the viewpoint of encoding efficiency. The coding apparatus determines a reference structure in block units, and performs inter-coding by performing blur compensation prediction and performing RD optimization. Thereby, the focal stack can be efficiently encoded so as to reduce the data amount.
上述した実施形態における符号化装置１の機能をコンピュータで実現するようにしてもよい。また、符号化装置１の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。符号化装置１の機能をコンピュータで実現する場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
The functions of the
以上説明した実施形態によれば、符号化装置は、同じ被写体を異なる焦点で撮影した複数の画像からなるフォーカルスタックを符号化する。符号化装置は、ブロック分割部と、参照ブロック決定部と、ぼかし処理部と、符号化部とを備える。ブロック分割部は、フォーカルスタックに含まれる複数の画像のうち符号化対象の画像である符号化対象画像をブロックに分割する。参照ブロック決定部は、符号化対象画像のブロックを符号化するために参照される参照ブロックが、フォーカルスタックに含まれる複数の画像のうち符号化対象画像とは異なる画像である参照画像に含まれる領域である場合、符号化対象画像におけるブロックの領域と、参照画像における参照ブロックの領域とが同じになるように参照ブロックを決定する。参照ブロック決定部は、例えば、参照構造生成部１３、５１に相当する。ぼかし処理部は、ブロックとの残差が小さくなるように参照ブロックにぼかし処理を施す。符号化部は、ブロックを、ぼかし処理が施された参照ブロックを参照して符号化する。
According to the embodiment described above, the encoding device encodes a focal stack including a plurality of images of the same subject captured at different focal points. The encoding device includes a block division unit, a reference block determination unit, a blur processing unit, and an encoding unit. The block dividing unit divides an encoding target image, which is an encoding target image, out of a plurality of images included in the focal stack into blocks. The reference block determination unit is configured such that the reference block referred to for encoding the block of the encoding target image is included in a reference image that is an image different from the encoding target image among a plurality of images included in the focal stack. If it is a region, the reference block is determined so that the region of the block in the encoding target image is the same as the region of the reference block in the reference image. The reference block determination unit corresponds to, for example, the reference
参照ブロック決定部は、フォーカルスタックを構成する複数の画像それぞれにおいて同じ領域にあるブロックからなるブロック群（ブロックスタック）ごとに、同一のブロック群に含まれる複数のブロックのうち一のブロックのみを、当該ブロック群に含まれる他の全てのブロックそれぞれを符号化するために参照される参照ブロックに決定する。あるいは、参照ブロック決定部は、フォーカルスタックを構成する複数の画像それぞれにおいて同じ領域にあるブロックからなるブロック群（ブロックスタック）ごとに、同一のブロック群に含まれる複数のブロックそれぞれを符号化するために参照される参照ブロックが異なるように、参照ブロックを決定してもよい。 The reference block determination unit determines, for each block group (block stack) composed of blocks in the same area in each of the plurality of images constituting the focal stack, only one of the plurality of blocks included in the same block group. All other blocks included in the block group are determined as reference blocks to be referred to for encoding. Alternatively, the reference block determination unit encodes each of a plurality of blocks included in the same block group for each block group (block stack) including blocks in the same area in each of the plurality of images forming the focal stack. The reference block may be determined so that the reference block referred to by the reference is different.
フォーカルスタックを構成する複数の画像のうち参照ブロックが得られる参照画像は、それら複数の画像を撮影した撮影機からブロックにおける被写体までの距離と、それら複数の画像それぞれの撮影機から焦点までの距離との差である距離差に基づき選択される。ぼかし処理部は、参照ブロックに施すぼかし処理の強度を距離差が大きいほど大きくなるように決定してもよい。 The reference image from which the reference block is obtained among the plurality of images constituting the focal stack is the distance from the photographing machine that has photographed the plurality of images to the subject in the block, and the distance from each photographing machine to the focal point of each of the plurality of images. Is selected based on the distance difference that is the difference from the distance. The blurring processing unit may determine the intensity of the blurring processing to be performed on the reference block such that the strength increases as the distance difference increases.
ぼかし処理部は、上記のブロック群に含まれる複数のブロックそれぞれの符号化のために参照ブロックに施すぼかし処理の強度を探索する探索処理を、参照ブロックと焦点の距離が小さいブロックから順に、かつ、探索済みの強度を参照して行ってもよい。例えば、ぼかし処理部は、参照ブロックと焦点の距離が小さいブロックについて探索処理を行って得られた強度に基づいて、そのブロックよりも参照ブロックと焦点の距離が大きいブロックの探索処理を行う際の初期値を決定する。 The blur processing unit performs a search process for searching for the intensity of the blur process to be performed on the reference block for encoding each of the plurality of blocks included in the block group, in order from a block having a small distance between the reference block and the focal point, and , May be performed with reference to the searched intensity. For example, based on the intensity obtained by performing a search process on a block having a small distance between the reference block and the focus, the blur processing unit may perform a search process on a block having a larger distance between the reference block and the focus than that block. Determine the initial value.
また、ぼかし処理部は、ブロックの符号化のために参照ブロックに施すぼかし処理の強度を探索する探索処理を、符号化対象のブロックと同じブロック群に属し、かつ、当該ブロックよりも参照ブロックと焦点の距離が小さい他のブロックについて探索済みの強度よりも大きな強度を探索対象として行ってもよい。 Further, the blur processing unit performs a search process of searching for the intensity of the blur process to be performed on the reference block for coding the block, belonging to the same block group as the block to be coded, and using the reference block more than the block. An intensity larger than the intensity already searched for another block having a short focal distance may be set as a search target.
また、ぼかし処理部は、符号化対象画像のブロックの符号化のために参照ブロックに施すぼかし処理の強度を探索する探索処理を、当該参照ブロックと同じ参照画像から得られる他の参照ブロックを参照する当該符号化対象画像の他のブロックについて探索済みの強度に基づく値を初期値に使用するなどして参照して行ってもよい。 Further, the blur processing unit performs a search process for searching for the intensity of the blur process performed on the reference block for coding of the block of the coding target image with reference to another reference block obtained from the same reference image as the reference block. The value based on the searched intensity of another block of the current image to be encoded may be referred to as the initial value.
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 As described above, the embodiments of the present invention have been described in detail with reference to the drawings. However, the specific configuration is not limited to the embodiments and includes a design and the like within a range not departing from the gist of the present invention.
１、１ａ…符号化装置， １１…ブロック分割部， １２…ブロックスタックメモリ， １３、５１…参照構造生成部， １４…符号化部， １５…符号化結果メモリ， １６…ＲＤ効率推定部， １７…ＲＤ効率メモリ， １８…ＲＤ効率比較部， １９…エントロピー符号化部， １３１、５１１…ブロックスタックインデックス取得部， １３２…イントラブロック決定部， １３３…選択済みブロックインデックスメモリ， １４０…予測残差生成部， １４１…ＤＣＴ部， １４２…量子化部， １４３…逆量子化部， １４４…Ｉｎｖ−ＤＣＴ部， １４５…復号信号生成部， １４６…参照用ブロックメモリ， １４７…イントラ予測部， １４８…ボケ補償予測部， １４９…モード判定部， １９１…インデックス分離部， １９２…予測残差二値化部， １９３…予測パラメータ二値化部， １９４…参照構造インデックス二値化部， １９５…算術符号化部， ２０１…ぼかしフィルタパラメータ生成部， ２０２…ぼかし処理部， ２０３…差分生成部， ２０４…ＲＤ効率推定部， ２０５…ＲＤ効率メモリ， ２０６…ＲＤ効率比較部， ２１１…ぼかしフィルタパラメータ初期化部， ２１２…ぼかしフィルタパラメータメモリ， ２１３…ぼかしフィルタ生成部， ２１４…ぼかしフィルタパラメータ更新処理決定部， ２１５…ぼかしフィルタパラメータ更新処理部， ５１２…画像インデックス列生成部， ５１３…参照構造インデックス生成部
1, 1a: coding device, 11: block division unit, 12: block stack memory, 13, 51: reference structure generation unit, 14: coding unit, 15: coding result memory, 16: RD efficiency estimation unit, 17 ... RD efficiency memory, 18 ... RD efficiency comparison unit, 19 ... entropy coding unit, 131, 511 ... block stack index acquisition unit, 132 ... intra block determination unit, 133 ... selected block index memory, 140 ... prediction
Claims (8)
符号化対象の前記画像である符号化対象画像をブロックに分割するブロック分割部と、
前記ブロックを符号化するために参照される参照ブロックが、前記符号化対象画像とは異なる前記画像である参照画像に含まれる領域である場合、前記符号化対象画像における前記ブロックの領域と、前記参照画像における前記参照ブロックの領域とが同じになるように前記参照ブロックを決定する参照ブロック決定部と、
前記ブロックとの残差が小さくなるように前記参照ブロックにぼかし処理を施すぼかし処理部と、
前記ブロックを、前記ぼかし処理が施された前記参照ブロックを参照して符号化する符号化部と、
を備える符号化装置。 An encoding device that encodes a plurality of images of the same subject captured at different focuses,
A block division unit that divides the encoding target image, which is the image to be encoded, into blocks.
When the reference block referred to for encoding the block is a region included in a reference image that is the image different from the encoding target image, the region of the block in the encoding target image, A reference block determination unit that determines the reference block so that the region of the reference block in a reference image is the same,
A blur processing unit that performs a blur process on the reference block so that a residual from the block is reduced,
An encoding unit that encodes the block with reference to the reference block that has been subjected to the blur processing;
An encoding device comprising:
請求項１に記載の符号化装置。 The reference block determining unit includes, for each block group including the blocks in the same area in each of the plurality of images, including only one of the plurality of blocks included in the block group in the block group. Determine the reference block to be referenced to encode each of all other blocks that are
The encoding device according to claim 1.
請求項１に記載の符号化装置。 The reference block determination unit is configured such that, for each block group including the blocks in the same region in each of the plurality of images, the reference block referred to for encoding each of the plurality of blocks included in the block group is different. Determining the reference block,
The encoding device according to claim 1.
請求項２又は請求項３に記載の符号化装置。 The reference image from which the reference block is obtained among the plurality of images is a distance from the photographing machine that photographed the plurality of images to the subject in the block, and from the photographing machine to the focus of each of the plurality of images Selected based on the distance difference that is the difference from the distance of
The encoding device according to claim 2 or 3.
請求項４に記載の符号化装置。 The blur processing unit performs a search process of searching for the intensity of the blur process performed on the reference block for encoding each of the plurality of blocks included in the block group, where the distance between the reference block and the focal point is small. Performed in order from the block, and with reference to the searched intensity.
The encoding device according to claim 4.
請求項４に記載の符号化装置。 The blur processing unit performs a search process for searching for the intensity of the blur process performed on the reference block for encoding the block, belonging to the same block group as the block, and the reference block more than the block. Performing as a search target an intensity larger than the intensity already searched for the other blocks having a smaller distance of the focal point,
The encoding device according to claim 4.
請求項４に記載の符号化装置。 The blur processing unit performs a search process for searching for the intensity of the blur process to be performed on the reference block for coding the block of the coding target image, using another search obtained from the same reference image as the reference block. Perform as a search target a range based on the intensity that has been searched for the other blocks of the encoding target image that refers to the reference block,
The encoding device according to claim 4.
請求項１から請求項７のいずれか一項に記載の符号化装置として機能させるためのプログラム。 Computer
A program for functioning as the encoding device according to any one of claims 1 to 7.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018140531A JP6936990B2 (en) | 2018-07-26 | 2018-07-26 | Coding device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018140531A JP6936990B2 (en) | 2018-07-26 | 2018-07-26 | Coding device and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020017894A true JP2020017894A (en) | 2020-01-30 |
| JP6936990B2 JP6936990B2 (en) | 2021-09-22 |
Family
ID=69580628
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018140531A Active JP6936990B2 (en) | 2018-07-26 | 2018-07-26 | Coding device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6936990B2 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014029528A (en) * | 2012-07-19 | 2014-02-13 | Sony Corp | Method and apparatus for compressing z-stack microscopy images |
| JP2015008387A (en) * | 2013-06-25 | 2015-01-15 | キヤノン株式会社 | Image processing apparatus, method and program for image processing and imaging apparatus |
| JP2015103872A (en) * | 2013-11-21 | 2015-06-04 | キヤノン株式会社 | Image encoding apparatus, image decoding apparatus and control method for them |
| JP2016533686A (en) * | 2013-08-30 | 2016-10-27 | クアルコム，インコーポレイテッド | Method and apparatus for generating an omnifocal image |
| WO2017042133A1 (en) * | 2015-09-07 | 2017-03-16 | Thomson Licensing | Method and device for encoding and decoding a light field based image, and corresponding computer program product |
| JP2018074215A (en) * | 2016-10-25 | 2018-05-10 | キヤノン株式会社 | Image processing apparatus |
-
2018
- 2018-07-26 JP JP2018140531A patent/JP6936990B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014029528A (en) * | 2012-07-19 | 2014-02-13 | Sony Corp | Method and apparatus for compressing z-stack microscopy images |
| JP2015008387A (en) * | 2013-06-25 | 2015-01-15 | キヤノン株式会社 | Image processing apparatus, method and program for image processing and imaging apparatus |
| JP2016533686A (en) * | 2013-08-30 | 2016-10-27 | クアルコム，インコーポレイテッド | Method and apparatus for generating an omnifocal image |
| JP2015103872A (en) * | 2013-11-21 | 2015-06-04 | キヤノン株式会社 | Image encoding apparatus, image decoding apparatus and control method for them |
| WO2017042133A1 (en) * | 2015-09-07 | 2017-03-16 | Thomson Licensing | Method and device for encoding and decoding a light field based image, and corresponding computer program product |
| JP2018074215A (en) * | 2016-10-25 | 2018-05-10 | キヤノン株式会社 | Image processing apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6936990B2 (en) | 2021-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6492147B2 (en) | Video decoding method | |
| JP6646019B2 (en) | Video encoding method and apparatus | |
| JP6181246B2 (en) | Video encoding method and apparatus using offset adjustment by pixel classification, and video decoding method and apparatus | |
| RU2696229C2 (en) | Video signal decoding method | |
| JP5917746B2 (en) | Entropy encoding method and apparatus using data unit of hierarchical structure, and decoding method and apparatus | |
| JP5668149B2 (en) | Reference unit determination method and apparatus | |
| JP2014523186A (en) | Entropy encoding / decoding method and apparatus | |
| CN103718554A (en) | Coding of transform coefficients for video coding | |
| KR101260369B1 (en) | Scalable video encoding method, scalable video encoding apparatus, scalable video encoding program, and computer readable recording medium storing the program | |
| JP5423469B2 (en) | Quantization apparatus, program and method, and moving picture encoding apparatus | |
| JP6248783B2 (en) | Moving picture coding apparatus, moving picture coding method, and moving picture coding computer program | |
| JP2020017894A (en) | Encoder and program | |
| WO2020129681A1 (en) | Encryption device and program | |
| KR20150084738A (en) | Method and apparatus for video encoding considering scanning order of coding units with hierarchical structure, and method and apparatus for video decoding considering scanning order of coding units with hierarchical structure | |
| KR101783966B1 (en) | Method and apparatus for video encoding considering scanning order of coding units with hierarchical structure, and method and apparatus for video decoding considering scanning order of coding units with hierarchical structure | |
| KR101607312B1 (en) | Method and apparatus for video encoding considering scanning order of coding units with hierarchical structure, and method and apparatus for video decoding considering scanning order of coding units with hierarchical structure | |
| KR101607311B1 (en) | Method and apparatus for video encoding considering scanning order of coding units with hierarchical structure, and method and apparatus for video decoding considering scanning order of coding units with hierarchical structure | |
| KR101490283B1 (en) | Method and apparatus for video encoding considering scanning order of coding units with hierarchical structure, and method and apparatus for video decoding considering scanning order of coding units with hierarchical structure | |
| KR101607310B1 (en) | Method and apparatus for video encoding considering scanning order of coding units with hierarchical structure, and method and apparatus for video decoding considering scanning order of coding units with hierarchical structure | |
| KR101373083B1 (en) | Device and method for encoding/decoding motion information | |
| KR20180032542A (en) | Method and apparatus for video encoding considering scanning order of coding units with hierarchical structure, and method and apparatus for video decoding considering scanning order of coding units with hierarchical structure | |
| KR20170115982A (en) | Method and apparatus for video encoding considering scanning order of coding units with hierarchical structure, and method and apparatus for video decoding considering scanning order of coding units with hierarchical structure |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180727 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200721 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210430 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210525 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210719 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210817 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210819 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6936990 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |