JP2017535150A - Method and apparatus for vector coding in video coding and decoding - Google Patents

Method and apparatus for vector coding in video coding and decoding Download PDF

Info

Publication number
JP2017535150A
JP2017535150A JP2017517079A JP2017517079A JP2017535150A JP 2017535150 A JP2017535150 A JP 2017535150A JP 2017517079 A JP2017517079 A JP 2017517079A JP 2017517079 A JP2017517079 A JP 2017517079A JP 2017535150 A JP2017535150 A JP 2017535150A
Authority
JP
Japan
Prior art keywords
block
image
coding tree
mode
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017517079A
Other languages
Japanese (ja)
Other versions
JP6590918B2 (en
JP2017535150A5 (en
Inventor
ラロシュ ギローム
ラロシュ ギローム
ジスケ クリストフ
ジスケ クリストフ
オンノ パトリス
オンノ パトリス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2017535150A publication Critical patent/JP2017535150A/en
Publication of JP2017535150A5 publication Critical patent/JP2017535150A5/en
Application granted granted Critical
Publication of JP6590918B2 publication Critical patent/JP6590918B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本発明は、ビデオを符号化または復号するプロセスにおいて、画素のブロックを符号化または復号するための方法およびデバイスに関する。さらに具体的には、本発明は、ＨＥＶＣスクリーンコンテンツ拡張のＩＮＴＲＡブロックコピーモードを用いる際に並列化を取り扱う方法に関する。これは、ＩＮＴＲＡブロックコピーモードにおいて、予測子ブロックを設けるために利用可能な領域の制御に基づく。これにより、並列化処理を可能にするための実装が簡明化される。【選択図】図１０The present invention relates to a method and device for encoding or decoding a block of pixels in a process of encoding or decoding video. More specifically, the present invention relates to a method for handling parallelism when using the INTRA block copy mode of HEVC screen content extension. This is based on the control of the area available for providing the predictor block in the INTRA block copy mode. This simplifies the implementation for enabling parallel processing. [Selection] Figure 10

Description

本発明は、ビデオを符号化または復号するプロセスにおいて、画素のブロックを符号化または復号するための方法およびデバイスに関する。さらに具体的には、本発明は、ＨＥＶＣスクリーンコンテンツ拡張のＩＮＴＲＡ（イントラ）ブロックコピーモードを用いる際に並列化を取り扱う方法に関する。これは、ＩＮＴＲＡブロックコピーモードにおいて予測子ブロックを設けるため利用可能な領域の制御に基づく。   The present invention relates to a method and device for encoding or decoding a block of pixels in a process of encoding or decoding video. More specifically, the present invention relates to a method for handling parallelism when using the INTRA (intra) block copy mode of HEVC screen content extension. This is based on the control of the area available for providing predictor blocks in the INTRA block copy mode.

さらに具体的には、本方法は、画素のブロックが、同一の画像に属する予測子ブロックに基づいて予測的に符号化される場合の符号化のモードに適用する。画素のブロックを符号化するこのモードは、一般にＩＮＴＲＡブロックコピーモードと言われる。これは、高効率ビデオ符号化（ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）：ＩＳＯ／ＩＥＣ２３００８−２ ＭＰＥＧ−Ｈ Ｐａｒｔ２／ＩＴＵ−Ｔ Ｈ．２６５）国際規格のスクリーンコンテンツ拡張のためのツールの候補として検討され、現在は同規格のスクリーンコンテンツ拡張に入っている。   More specifically, the present method is applied to an encoding mode when a block of pixels is predictively encoded based on predictor blocks belonging to the same image. This mode of encoding a block of pixels is commonly referred to as the INTRA block copy mode. This is considered as a candidate for a tool for screen content extension of high efficiency video coding (HEVC (High Efficiency Video Coding): ISO / IEC 23008-2 MPEG-H Part2 / ITU-T H.265) international standard, It is now in the screen content expansion of the standard.

ビデオシーケンス中の画像を符号化するとき、画像は、まず、符号化ツリーブロック（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）と言われる画素の等サイズのエンティティである符号化要素に分割される。符号化ツリーブロックのサイズは、通常、６４×６４画素である。次いで、各符号化ツリーブロックは、より小さなブロックの階層的に分解され、そのサイズは変得ることができ、符号化のための実際のブロックである。これらの符号化のためのより小さなブロックは符号化ユニット（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）と言われる。   When coding an image in a video sequence, the image is first divided into coding elements, which are equal-sized entities of pixels called coding tree blocks. The size of the coding tree block is usually 64 × 64 pixels. Each coding tree block is then decomposed hierarchically into smaller blocks, the size of which can vary, and is the actual block for coding. These smaller blocks for coding are referred to as coding units (CUs).

個別の符号化ユニットの符号化は、通常、予測的である。これは、最初に、予測子ブロックが決められることを意味する。次に、予測子ブロックと符号化ユニットとの間の差が計算される。この差は残差と呼ばれる。次いでこの残差が圧縮される。符号化ユニットの実際の符号化された情報は、予測子ブロックおよび圧縮残差を算定する仕方を示すためのいくつかの情報で構成されている。最良の予測子ブロックは、効率的に圧縮できそうな小さな残差を得るため、符号化ユニットにできるだけ類似したブロックである。   The coding of the individual coding units is usually predictive. This means that first a predictor block is determined. Next, the difference between the predictor block and the coding unit is calculated. This difference is called the residual. This residual is then compressed. The actual encoded information of the encoding unit consists of some information to indicate how to calculate the predictor block and the compression residual. The best predictor block is a block that is as similar as possible to the coding unit to obtain a small residual that can be efficiently compressed.

符号化はロスが多いことがある、すなわち符号化のプロセスで情報が失われる。画素の復号されたブロックは、当初の符号化ユニットと正確に同じではない。通常、情報の喪失は、エントロピー符号化の前に残差に適用される量子化に由来する。この量子化は、正確さの喪失の犠牲を払って、より高い圧縮比を可能にする。通常、高い周波数、すなわち高レベルの細部はブロック中から除去される。   Encoding can be lossy, that is, information is lost in the encoding process. The decoded block of pixels is not exactly the same as the original coding unit. Usually, the loss of information comes from the quantization applied to the residual before entropy coding. This quantization allows for higher compression ratios at the expense of loss of accuracy. Usually, high frequency, ie high level details, are removed from the block.

符号化のロスをなくすことができる、すなわち残差が量子化されない。この種の符号化は、符号化ユニットの当初のサンプルの正確なコピーを回復することを可能にする。このロスのない符号化は、ロスの多い圧縮に比べて、はるかに小さな圧縮比を代価として払って得られる。   Coding loss can be eliminated, i.e. the residual is not quantized. This type of encoding makes it possible to recover an exact copy of the original sample of the encoding unit. This lossless coding is obtained at the cost of a much smaller compression ratio than lossy compression.

符号化モードは、符号化ユニットの予測的な符号化法のための予測子ブロックを決めるのに用いられる方法に基づいて定義される。   The coding mode is defined based on the method used to determine the predictor block for the predictive coding method of the coding unit.

第一の符号化モードはＩＮＴＲＡモードと言われる。ＩＮＴＲＡモードによれば、予測子ブロックは、現画像（現在の画像）内の符号化ユニットを直接に取り囲む画素の値に基づいて構成される。予測子ブロックが、現画像のブロックでなく構成材であることに留意する。予測子ブロックを構築するため、境界のどの画素群を実際に使い、それらをどう使うのかを決めるために、或る方向が用いられる。ＩＮＴＲＡモードの背景にある考え方は、自然画像の一般的な一貫性に起因して、符号化ユニットを直接に取り囲む画素は現符号化ユニットの画素と類似している可能性が高い、ということである。したがって、これら周辺の画素に基づく予測子ブロックを用いて、符号化ユニットの画素の値の良好な予測を得ることが可能である。   The first encoding mode is referred to as INTRA mode. According to the INTRA mode, the predictor block is constructed based on the values of the pixels that directly surround the coding unit in the current image (current image). Note that the predictor block is a component, not a block of the current image. To build a predictor block, a direction is used to determine which pixel groups at the boundary are actually used and how to use them. The idea behind the INTRA mode is that due to the general consistency of natural images, the pixels directly surrounding the coding unit are likely to be similar to the pixels of the current coding unit. is there. Therefore, it is possible to obtain a good prediction of the values of the pixels of the coding unit using predictor blocks based on these neighboring pixels.

第二の符号化モードは、ＩＮＴＥＲ（インター）モードと言われる。ＩＮＴＥＲモードによれば、予測子ブロックは、別の画像のブロックである。ＩＮＴＥＲモードの背景にある考え方は、シーケンスにおいて次に続く画像は一般に非常に近似している、ということである。主な差異は、通常、カメラの視野移動に起因する、またはシーン中の被写体の動きに起因するこれらの画像の間での動きに由来する。予測子ブロックは、ベクトルが、現画像内の符号化ユニットの位置に対し、参照画像におけるその位置を示すことによって決められる。このベクトルは動きベクトルと言われる。このモードによれば、本モードを用いるかかる符号化ユニットの符号化は、動きベクトルおよび圧縮残差を含む動き情報を含む。   The second encoding mode is referred to as INTER mode. According to the INTER mode, the predictor block is a block of another image. The idea behind INTER mode is that the next image in the sequence is generally very close. The main difference is usually due to movement between these images due to camera field of view movement or due to subject movement in the scene. The predictor block is determined by the vector indicating its position in the reference picture relative to the position of the coding unit in the current picture. This vector is called a motion vector. According to this mode, the coding of such a coding unit using this mode includes motion information including motion vectors and compression residuals.

本文書において本発明者らはＩＮＴＲＡブロックコピーモードと呼ばれる第三の符号化モードに焦点を当てる。このＩＮＴＲＡブロックコピーモードによれば、ブロック予測子は、現画像の実際のブロックである。予測子ブロックを探すためにブロックベクトルが用いられる。このブロックベクトルは、現画像中の符号化ユニットの場所に対する、同じ現画像中の予測子ブロックの場所を示す。これは、このブロックベクトルが、ＩＮＴＥＲモードの動きベクトルといくつかの類似性を共有していることになる。これは、ときとして、類推による動きベクトルと呼ばれる。厳密に言えば、１つの画像内で動きはないことになるので、簡明化のため、本文書では、動きベクトルは常にＩＮＴＥＲモードを指し、一方、ブロックベクトルは、ＩＮＴＲＡブロックコピーモードに対して用いられる。   In this document, we focus on a third encoding mode called INTRA block copy mode. According to this INTRA block copy mode, the block predictor is the actual block of the current picture. A block vector is used to find the predictor block. This block vector indicates the location of the predictor block in the same current image relative to the location of the coding unit in the current image. This means that this block vector shares some similarities with INTER mode motion vectors. This is sometimes called a motion vector by analogy. Strictly speaking, there will be no motion within an image, so for the sake of simplicity, in this document, the motion vector always refers to the INTER mode, while the block vector is used for the INTRA block copy mode. It is done.

因果原理は、特定の符号化ユニットを復号するための全ての情報は既に再構築された符号化ユニットの基づかなければならないと述べる原理である。符号化では全情報が利用可能であると見なすことができる。すなわち、所与の符号化ユニットを符号化するために、全現画像から、またはシーケンス中の全ての復号済みで利用可能な他の画像からの任意の情報を使用することが可能ということになろう。復号においては事情が異なる。現画像の復号は、通常、全ての符号化ユニットを逐次的に復号することによって行われる。この復号の順序は、通常、ラスタスキャン順に従う、すなわち、画像の上部左から開始され、左から右へ、最上部から底部へと進む。所与の符号化ユニットを復号するとき、該現符号化ユニットの上部または左に位置する現画像の部分だけが既に復号されていることになる。これだけが、現符号化ユニットの復号のために利用可能な情報である。符号化にあたってはこのことを考慮に入れなければならない。例えば、復号では、ＩＮＴＲＡブロックコピーモードにおける予測子ブロックは、利用可能となる画像の部分に属している必要がある。   The causal principle is a principle stating that all information for decoding a particular coding unit must be based on the already reconstructed coding unit. It can be assumed that all information is available for encoding. That is, it is possible to use any information from the entire current image or from all other decoded and available images in the sequence to encode a given encoding unit. Let's go. The situation is different in decoding. The decoding of the current image is usually performed by sequentially decoding all coding units. This decoding order usually follows the raster scan order, i.e. starting from the top left of the image and going from left to right and from top to bottom. When decoding a given coding unit, only the part of the current picture located above or to the left of the current coding unit has already been decoded. This is the only information available for decoding the current coding unit. This must be taken into account when encoding. For example, in decoding, a predictor block in the INTRA block copy mode needs to belong to a part of an image that can be used.

復号では、ＩＮＴＲＡブロックコピーモードを用いて符号化されたブロックを復元するために、最初に、ブロックベクトルを使って予測子ブロックが決められる。次いで、残差が復号され、生の再構築ブロックを得るために、予測子に適用される。   In decoding, in order to recover a block encoded using the INTRA block copy mode, a predictor block is first determined using a block vector. The residual is then decoded and applied to the predictor to obtain a raw reconstructed block.

完了画像が再構築されたならば、いくつかのポストフィルタリングが適用される。通常、ブロック符号化に起因する再構築画像中のいくつかのアーチファクトを除去するために、最初のフィルタが適用される。このフィルタはデブロッキングフィルタと呼ばれる。通常、必須ではないが、次いで最終画像を得るためにサンプル適応ループフィルタ（ＳＡＯ：ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）が適用される。   Once the completed image has been reconstructed, some post filtering is applied. Usually, an initial filter is applied to remove some artifacts in the reconstructed image due to block coding. This filter is called a deblocking filter. Usually, although not required, a sample adaptive loop filter (SAO) is then applied to obtain the final image.

一部の復号アーキテクチャにおいて、処理をスピードアップするために、処理が並列化される。この状況では、例えば、特定の符号化ツリーブロックが再構築されている間に、その前のブロックがフィルタされる。すなわち、或る符号化ツリーブロックの再構築と他のブロックのフィルタリングとが並行して行われる。   In some decoding architectures, processing is parallelized to speed up processing. In this situation, for example, the previous block is filtered while a particular coding tree block is being reconstructed. That is, reconstruction of a certain coding tree block and filtering of other blocks are performed in parallel.

ＨＥＶＣ規格は、フレームの並列処理およびインター並列処理のためのフレキシブル参照フレーム管理のために、ウェーブフロント、またはタイル、またはスライスとしていくつかの高レベルの並列処理を提供する。これらのツールは必須ではないが、それでも、デコーダは、それらの関連シンタクスをたとえそれらが必須でなくても復号する必要がある。   The HEVC standard provides some high level parallel processing as wavefronts, or tiles, or slices for flexible reference frame management for parallel and inter-parallel processing of frames. These tools are not required, but decoders still need to decode their associated syntax even if they are not required.

本文書において本発明者らは、ウェーブフロントの並列処理、およびそれをどのように、個別の符号化ユニットの符号化のＩＮＴＲＡブロックコピーモードに効率的に組み合わせるか、に焦点を当てる。   In this document we focus on the parallel processing of the wavefront and how to efficiently combine it with the INTRA block copy mode of coding of individual coding units.

ウェーブフロント並列処理（ＷＰＰ）は、符号化ツリーブロックのラインの再構築の並列化に基づく。すなわち、いくつかの符号化ツリーブロックが並行して再構築される。符号化ツリーブロックの後続のラインの再構築には前のラインからのいくつかの情報が必要であるという事実に起因して、各ラインの処理の間に後れ時間が発生する。これは、並列化された相異なるラインの再構築は、各ラインの間での後れ時間を伴って進むことを意味する。   Wavefront parallel processing (WPP) is based on parallelization of the reconstruction of lines of a coding tree block. That is, several coding tree blocks are reconstructed in parallel. Due to the fact that the reconstruction of subsequent lines of the coding tree block requires some information from the previous line, there is a lag time between the processing of each line. This means that the reconstruction of different parallel lines proceeds with a lag time between each line.

ウェーブフロント並列処理は、ＩＮＴＲＡブロックコピーモードによって符号化された個別の符号化ユニットを再構築するときに問題をもたらすことがある。実際上、ＩＮＴＲＡブロックコピーモードによって符号化された符号化ユニットに対するブロック予測子は、基因領域全体、すなわち前の符号化ツリーブロックラインおよび現ライン（現在のライン）中の前の符号化ツリーブロックのどこかに位置し得る。前のラインが検討中のラインと並行して再構築されているので、ＩＮＴＲＡブロックコピーモードによって符号化された符号化ユニットの再構築のために予測子ブロックが必要なときに、まだそれが再構築されていないことが起こり得る。しかして、ＩＮＴＲＡブロックコピーモードは、ウェーブフロント並列再構築と完全には両立しない。   Wavefront parallelism can cause problems when reconstructing individual coding units that have been coded with the INTRA block copy mode. In effect, the block predictor for a coding unit encoded by INTRA block copy mode is the entire base region, i.e. the previous coding tree block line and the previous coding tree block in the current line (current line). Can be located somewhere. Since the previous line has been reconstructed in parallel with the line under consideration, it is still reconstructed when a predictor block is needed for the reconstruction of an encoding unit encoded with INTRA block copy mode. It can happen that it is not built. Thus, INTRA block copy mode is not completely compatible with wavefront parallel reconstruction.

本発明は、１つ以上の前述の懸案事項に対処するために考案された。   The present invention has been devised to address one or more of the aforementioned concerns.

本発明の第一態様によれば、画像を符号化する方法が提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのかかるモードは、ブロックが、現画像のブロックである予測子ブロックに基づいて符号化されるモードであり、本方法は、前記１つのモードに対し、探索領域を、現符号化ツリーブロック（現在の符号化ツリーブロック）および座標（Ｘ，Ｙ）を有する符号化ツリーブロックの一切の再構築済みブロックによって構成される領域、として定めるステップを含み、該座標は、
Ｙ≦Ｙ０、且つ（Ｘ−Ｘ０）≦−（Ｙ−Ｙ０）であり、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナー（左上端）であり、（Ｘ０，Ｙ０）は現符号化ツリーブロックの座標である。 According to a first aspect of the present invention, there is provided a method for encoding an image, the image comprising a plurality of coding tree blocks composed of blocks of pixels, each block of pixels from a plurality of modes. Encoded by a mode, one such mode is a mode in which a block is encoded based on a predictor block that is a block of the current image, and the method includes a search region for the one mode. As a region constituted by the current coding tree block (current coding tree block) and any reconstructed block of the coding tree block having coordinates (X, Y), where the coordinates are ,
Y ≦ Y 0 and (X−X 0 ) ≦ − (Y−Y 0 ),
In the previous equation, X represents horizontal coordinates, Y represents vertical coordinates, the starting point is the upper left corner (upper left corner) of the image, and (X 0 , Y 0 ) are the coordinates of the current coding tree block.

或る実施形態において、この符号化は、ウェーブフロント並列処理を用いて行われる。   In some embodiments, this encoding is performed using wavefront parallel processing.

本発明の第二態様では、画像を復号する方法が提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのかかるモードは、ブロックが、現画像のブロックである予測子ブロックに基づいて復号されるモードであり、本方法は、前記１つのモードに対し、前記予測子ブロックを得ることの可能な領域を、現符号化ツリーブロックおよび座標（Ｘ，Ｙ）を有する符号化ツリーブロックの一切の再構築済みブロックによって構成される領域、に限定するステップを含み、該座標は、
Ｙ≦Ｙ０、且つ（Ｘ−Ｘ０）≦−（Ｙ−Ｙ０）であり、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ０，Ｙ０）は現符号化ツリーブロックの座標である。 In a second aspect of the invention, a method is provided for decoding an image, the image comprising a plurality of coding tree blocks composed of blocks of pixels, each block of pixels being a mode from a plurality of modes. One such mode is a mode in which a block is decoded based on a predictor block that is a block of the current image, and the method obtains the predictor block for the one mode Limiting the possible region to the region constituted by the current coding tree block and any reconstructed block of the coding tree block having coordinates (X, Y), the coordinates being
Y ≦ Y 0 and (X−X 0 ) ≦ − (Y−Y 0 ),
X in the previous equation represents horizontal coordinates, Y represents vertical coordinates, the starting point is the upper left corner of the image, and (X 0 , Y 0 ) are the coordinates of the current coding tree block.

或る実施形態において、この復号は、ウェーブフロント並列処理を用いて行われる。   In some embodiments, this decoding is performed using wavefront parallel processing.

本発明の第三態様では、画像を符号化するためのデバイスが提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのかかるモードは、ブロックが、現画像のブロックである予測子ブロックに基づいて符号化されるモードであり、本デバイスは、前記１つのモードに対し、探索領域を、現符号化ツリーブロックおよび座標（Ｘ，Ｙ）を有する符号化ツリーブロックの一切の再構築済みブロックによって構成される領域、として定めるための手段を含み、該座標は、
Ｙ≦Ｙ０、且つ（Ｘ−Ｘ０）≦−（Ｙ−Ｙ０）であり、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ０，Ｙ０）は現符号化ツリーブロックの座標である。 In a third aspect of the invention, there is provided a device for encoding an image, the image comprising a plurality of coding tree blocks composed of blocks of pixels, each block of pixels from a plurality of modes. Encoded by a mode, one such mode is a mode in which a block is encoded based on a predictor block that is a block of the current image, and the device is a search region for the one mode. Means as a region constituted by the current coding tree block and any reconstructed block of the coding tree block having coordinates (X, Y), the coordinates being
Y ≦ Y 0 and (X−X 0 ) ≦ − (Y−Y 0 ),
X in the previous equation represents horizontal coordinates, Y represents vertical coordinates, the starting point is the upper left corner of the image, and (X 0 , Y 0 ) are the coordinates of the current coding tree block.

本発明の第四態様では、画像を復号するためのデバイスが提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって復号され、１つのかかるモードは、ブロックが、現画像のブロックである予測子ブロックに基づいて復号されるモードであり、本デバイスは、前記前記予測子ブロックを得ることの可能な領域を、現符号化ツリーブロックおよび座標（Ｘ，Ｙ）の符号化ツリーブロックの再構築済みブロックによって構成される領域、に限定するための手段を含み、該座標は、
Ｙ≦Ｙ０、且つ（Ｘ−Ｘ０）≦−（Ｙ−Ｙ０）であり、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ０，Ｙ０）は現符号化ツリーブロックの座標である。例えば、この領域を限定するステップは、予測子ブロックを得る対象の領域が、現符号化ツリーブロックおよび座標（Ｘ，Ｙ）の符号化ツリーブロックの再構築済みブロックによって構成される領域の外部にあることが判明した場合、復号プロセスを実施しない（例えば停止する）形をとることができ、該座標は、
Ｙ≦Ｙ０、且つ（Ｘ−Ｘ０）≦−（Ｙ−Ｙ０）であり、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ０，Ｙ０）は現符号化ツリーブロックの座標である。 In a fourth aspect of the invention, a device for decoding an image is provided, the image comprising a plurality of coding tree blocks made up of blocks of pixels, each block of pixels from one or more modes. One such mode is a mode in which a block is decoded based on a predictor block that is a block of a current image, and the device can obtain the predictor block. Means to limit to the region constituted by the current coding tree block and the reconstructed block of the coding tree block of coordinates (X, Y), the coordinates being
Y ≦ Y 0 and (X−X 0 ) ≦ − (Y−Y 0 ),
X in the previous equation represents horizontal coordinates, Y represents vertical coordinates, the starting point is the upper left corner of the image, and (X 0 , Y 0 ) are the coordinates of the current coding tree block. For example, the step of restricting this region may include the step of obtaining a predictor block outside the region constituted by the reconstructed block of the current coding tree block and the coding tree block of coordinates (X, Y). If found, it can take the form of not performing (e.g. stopping) the decoding process, and the coordinates are
Y ≦ Y 0 and (X−X 0 ) ≦ − (Y−Y 0 ),
X in the previous equation represents horizontal coordinates, Y represents vertical coordinates, the starting point is the upper left corner of the image, and (X 0 , Y 0 ) are the coordinates of the current coding tree block.

本発明の第五態様では、画像を符号化および復号するためのシステムが提供され、本システムは、前述のエンコーダの態様による画像を符号化するためのデバイスと、前述のデコーダの態様による画像を復号するためのデバイスとを含む。   In a fifth aspect of the present invention, a system for encoding and decoding an image is provided, the system comprising a device for encoding an image according to the encoder aspect described above and an image according to the decoder aspect described above. And a device for decoding.

この符号化のためのデバイスおよび復号のためのデバイスは、ウェーブフロント並列処理を用いるように構成することができる。   The device for encoding and the device for decoding can be configured to use wavefront parallel processing.

該符号化のためのデバイスおよび復号のためのデバイスは、画像をそれぞれ符号化し、復号するための同じ数の同期化スレッドを用いるように構成することが可能である。   The encoding device and the decoding device can be configured to use the same number of synchronization threads for encoding and decoding images, respectively.

本発明の第六態様によれば、符号化画像を含むビットストリームが提供され、符号化画像は、前述の符号化態様に従って符号化されている。   According to the sixth aspect of the present invention, a bit stream including an encoded image is provided, and the encoded image is encoded according to the above-described encoding aspect.

本発明の第七態様によれば、画像の符号化シーケンスを含むビットストリームが提供され、これら画像はそれぞれ、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは、複数のモードの或るモードによって符号化されており、１つのモードは、ブロックが、現画像のブロックである予測子ブロックに基づいて符号化されるモードであり、ビットストリームによって示される一切の予測子ブロックの位置は、現符号化ツリーブロックおよび座標（Ｘ，Ｙ）を有する符号化ツリーブロックの一切の再構築済みブロックによって構成される領域、に限定され、該座標は、
Ｙ≦Ｙ０、且つ（Ｘ−Ｘ０）≦−（Ｙ−Ｙ０）であり、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ０，Ｙ０）は現符号化ツリーブロックの座標である。 According to a seventh aspect of the present invention, there is provided a bitstream that includes an encoded sequence of images, each of which includes a plurality of encoding tree blocks composed of blocks of pixels, each block of pixels comprising: Encoded by a mode of multiple modes, one mode is a mode in which a block is encoded based on a predictor block that is a block of the current picture, and any predictions indicated by the bitstream The position of the child block is limited to the region formed by the current coding tree block and any reconstructed block of the coding tree block with coordinates (X, Y), where the coordinates are
Y ≦ Y 0 and (X−X 0 ) ≦ − (Y−Y 0 ),
X in the previous equation represents horizontal coordinates, Y represents vertical coordinates, the starting point is the upper left corner of the image, and (X 0 , Y 0 ) are the coordinates of the current coding tree block.

本発明の第八態様によれば、前述のビットストリームの態様によるビットストリームを格納しているマシン可読担体またはストレージ媒体が提供される。また、この担体は、前記ビットストリームが具現化されている信号とすることも可能である。   According to an eighth aspect of the present invention there is provided a machine readable carrier or storage medium storing a bitstream according to the aforementioned bitstream aspect. The carrier can also be a signal in which the bit stream is embodied.

本発明の第九態様によれば、プログラム可能装置のためのコンピュータプログラム製品が提供され、本コンピュータプログラム製品は、該プログラム可能装置中にロードされ実行されると、前述の方法の態様のいずれかによる方法を実装するための命令のシーケンスを含む。   According to a ninth aspect of the present invention, there is provided a computer program product for a programmable device, wherein when the computer program product is loaded and executed in the programmable device, any of the foregoing method aspects. Including a sequence of instructions for implementing the method according to.

本発明の第十態様によれば、前述の方法の態様のいずれか１つによる方法を実装するためのコンピュータプログラムの命令を格納するコンピュータ可読ストレージ媒体が提供される。   According to a tenth aspect of the present invention there is provided a computer readable storage medium storing instructions of a computer program for implementing a method according to any one of the foregoing method aspects.

本発明のさらなる態様によれば、画像を符号化する方法が提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、本方法は、ＩＮＴＲＡブロックコピーモードに対する探索範囲を、例えば、
Ｙ≦Ｙ０、且つＸ≦Ｘ０
などの座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域として定めるステップを含み、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ０，Ｙ０）は現符号化ツリーブロック又は現符号化ツリーブロックの再構築済みのブロックの座標である。 According to a further aspect of the invention, there is provided a method of encoding an image, the image comprising a plurality of coding tree blocks made up of blocks of pixels, each block of pixels from one or more modes. One mode is a mode called INTRA block copy mode, in which the block is encoded based on a predictor block that is an actual block of the current image, and the method is an INTRA block Search range for copy mode, for example,
Y ≦ Y 0 and X ≦ X 0
Including a step defined as a region constituted by a coding tree block group of coordinates (X, Y) such as
X in the previous equation represents the horizontal coordinate, Y represents the vertical coordinate, the origin is the top left corner of the image, and (X 0 , Y 0 ) is the current coding tree block or the reconstruction of the current coding tree block The coordinates of the completed block.

上記によれば、ウェーブフロント処理を可能にするための実装が簡単である。   According to the above, the implementation for enabling wavefront processing is simple.

本発明の別の態様によれば、画像を符号化する方法が提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、本方法は、ＩＮＴＲＡブロックコピーモードに対する探索範囲を、例えば、
Ｙ≦Ｙ０、且つ（Ｘ−Ｘ０）≦−（Ｙ−Ｙ０）
などの座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域として定めるステップを含み、前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ０，Ｙ０）は現符号化ツリーブロック又は現符号化ツリーブロックの再構築済みのブロックの座標である。 In accordance with another aspect of the invention, a method is provided for encoding an image, the image including a plurality of coding tree blocks composed of blocks of pixels, each block of pixels from a plurality of modes. One mode is a mode called INTRA block copy mode in which a block is encoded based on a predictor block that is an actual block of the current picture, and the method is called INTRA The search range for the block copy mode, for example,
Y ≦ Y 0 and (X−X 0 ) ≦ − (Y−Y 0 )
Including the step of defining as an area constituted by a coding tree block group of coordinates (X, Y) such as X in the previous equation represents horizontal coordinates, Y represents vertical coordinates, and the origin is the upper left corner of the image Where (X 0 , Y 0 ) is the coordinates of the current coding tree block or a reconstructed block of the current coding tree block.

上記によれば、探索領域がより大きくなりこれはより良好な符号化をもたらす。   According to the above, the search area becomes larger, which leads to better coding.

本発明の別の態様によれば、画像を符号化する方法が提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、本方法は、ＩＮＴＲＡブロックコピーモードに対する探索範囲を、例えば、
Ｙ≦Ｙ０、且つ（Ｘ−Ｘ０）≦−２×（Ｙ−Ｙ０）
などの座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域として定めるステップを含み、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ０，Ｙ０）は現符号化ツリーブロック又は現符号化ツリーブロックの再構築済みのブロックの座標である。 In accordance with another aspect of the invention, a method is provided for encoding an image, the image including a plurality of coding tree blocks composed of blocks of pixels, each block of pixels from a plurality of modes. One mode is a mode called INTRA block copy mode in which a block is encoded based on a predictor block that is an actual block of the current picture, and the method is called INTRA The search range for the block copy mode, for example,
Y ≦ Y 0 and (X−X 0 ) ≦ −2 × (Y−Y 0 )
Including a step defined as a region constituted by a coding tree block group of coordinates (X, Y) such as
X in the previous equation represents the horizontal coordinate, Y represents the vertical coordinate, the origin is the top left corner of the image, and (X 0 , Y 0 ) is the current coding tree block or the reconstruction of the current coding tree block The coordinates of the completed block.

上記によれば、探索領域がより大きくなりこれはより良好な符号化をもたらす。   According to the above, the search area becomes larger, which leads to better coding.

本発明の別の態様によれば、画像を符号化する方法が提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、本方法は、ＩＮＴＲＡブロックコピーモードに対する探索範囲を、例えば、
Ｙ≦Ｙ０、且つ（Ｘ−Ｘ０）＜−２×（Ｙ−Ｙ０）
などの座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域として定めるステップを含み、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ０，Ｙ０）は現符号化ツリーブロック又は現符号化ツリーブロックの再構築済みのブロックの座標である。 In accordance with another aspect of the invention, a method is provided for encoding an image, the image including a plurality of coding tree blocks composed of blocks of pixels, each block of pixels from a plurality of modes. One mode is a mode called INTRA block copy mode in which a block is encoded based on a predictor block that is an actual block of the current picture, and the method is called INTRA The search range for the block copy mode, for example,
Y ≦ Y 0 and (X−X 0 ) <− 2 × (Y−Y 0 )
Including a step defined as a region constituted by a coding tree block group of coordinates (X, Y) such as
X in the previous equation represents the horizontal coordinate, Y represents the vertical coordinate, the origin is the top left corner of the image, and (X 0 , Y 0 ) is the current coding tree block or the reconstruction of the current coding tree block The coordinates of the completed block.

上記によれば、実装はより簡単となる。   According to the above, implementation is simpler.

本発明の別の態様によれば、画像を符号化する方法が提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、本方法は、ＩＮＴＲＡブロックコピーモードに対する探索範囲を、例えば、
Ｘ≦Ｘ０、且つＹ＝Ｙ０
などの座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域として定めるステップを含み、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ０，Ｙ０）は現符号化ツリーブロック又は現符号化ツリーブロックの再構築済みのブロックの座標である。 In accordance with another aspect of the invention, a method is provided for encoding an image, the image including a plurality of coding tree blocks composed of blocks of pixels, each block of pixels from a plurality of modes. One mode is a mode called INTRA block copy mode in which a block is encoded based on a predictor block that is an actual block of the current picture, and the method is called INTRA The search range for the block copy mode, for example,
X ≦ X 0 and Y = Y 0
Including a step defined as a region constituted by a coding tree block group of coordinates (X, Y) such as
X in the previous equation represents the horizontal coordinate, Y represents the vertical coordinate, the origin is the top left corner of the image, and (X 0 , Y 0 ) is the current coding tree block or the reconstruction of the current coding tree block The coordinates of the completed block.

本発明の別の態様によれば、画像を符号化する方法が提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、符号化は、符号化の複数の並列スレッドによって進められ、各スレッドは、符号化ツリーブロックの１つのラインの符号化に専用であり、本方法は、ＩＮＴＲＡブロックコピーモードに対する探索範囲を、現ＩＮＴＲＡブロックコピーブロックに対し、前の符号化ツリーブロックライン群および現符号化ツリーブロックラインの全てのスレッドによって再構築された全てのデータによって構成される領域として定めるステップを含む。   In accordance with another aspect of the invention, a method is provided for encoding an image, the image including a plurality of coding tree blocks composed of blocks of pixels, each block of pixels from a plurality of modes. Encoded by a mode, one mode is a mode called INTRA block copy mode, where the block is encoded based on a predictor block that is the actual block of the current image, And each thread is dedicated to encoding one line of the encoding tree block, and the method sets the search range for the INTRA block copy mode to the current INTRA block copy block. Reconstructed by all threads of previous coding tree block line group and current coding tree block line And comprising the step of determining a region constituted by all the data.

本発明の別の態様によれば、画像を符号化する方法が提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、符号化は、符号化の複数の同期化された並列スレッドによって進められ、各スレッドは、符号化ツリーブロックの１つのラインの符号化に専用であり、本方法は、ＩＮＴＲＡブロックコピーモードに対する探索範囲を、現ＩＮＴＲＡブロックコピーブロックに対し、（現符号化ツリーブロックを含む）全てのスレッドにより再構築された全てのデータによって構成される領域として定めるステップを含む。   In accordance with another aspect of the invention, a method is provided for encoding an image, the image including a plurality of coding tree blocks composed of blocks of pixels, each block of pixels from a plurality of modes. Encoded by a mode, one mode is a mode called INTRA block copy mode, where the block is encoded based on a predictor block that is the actual block of the current image, Advanced by a plurality of synchronized parallel threads, each thread dedicated to encoding one line of the encoding tree block, and the method determines the search range for the INTRA block copy mode, the current INTRA block The copy block is composed of all data reconstructed by all threads (including the current coding tree block). Comprising the step of determining a region to be.

或る実施形態において、符号化はウェーブフロント並列化モードによって行われる。   In some embodiments, the encoding is performed by a wavefront parallel mode.

本発明の別の態様によれば、画像を復号する方法が提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって復号され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、復号は、復号の複数の並列スレッドによって進められ、各スレッドは、符号化ツリーブロックの１つのラインの復号に専用であり、前記複数のスレッドは同期化される。   According to another aspect of the invention, a method is provided for decoding an image, the image comprising a plurality of coding tree blocks composed of blocks of pixels, each block of pixels from one or more modes. One mode is a mode called INTRA block copy mode, where a block is encoded based on a predictor block that is an actual block of the current image, and decoding is a multiple of decoding Progressed by parallel threads, each thread is dedicated to decoding one line of the coding tree block, and the plurality of threads are synchronized.

本発明の別の態様によれば、画像を符号化するためのデバイスが提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、本デバイスは、ＩＮＴＲＡブロックコピーモードに対する探索範囲を、例えば、
Ｙ≦Ｙ０、且つＸ≦Ｘ０
などの座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域、として定めるための手段を含み、前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ０，Ｙ０）は現符号化ツリーブロック又は現符号化ツリーブロックの再構築済みのブロックの座標である。 According to another aspect of the invention, a device for encoding an image is provided, the image comprising a plurality of coding tree blocks composed of blocks of pixels, each block of pixels having a plurality of modes. One mode is a mode called INTRA block copy mode, in which the block is encoded based on a predictor block that is an actual block of the current image, The search range for the INTRA block copy mode is, for example,
Y ≦ Y 0 and X ≦ X 0
Means for defining as a region constituted by a group of encoded tree blocks of coordinates (X, Y), such as X in the previous equation represents horizontal coordinates, Y represents vertical coordinates, and the origin is the highest point of the image. In the upper left corner, (X 0 , Y 0 ) is the coordinates of the current coding tree block or a reconstructed block of the current coding tree block.

本発明の別の態様によれば、画像を符号化するためのデバイスが提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、本デバイスは、
ＩＮＴＲＡブロックコピーモードに対する探索範囲を、例えば、
Ｙ≦Ｙ０、且つ（Ｘ−Ｘ０）≦−（Ｙ−Ｙ０）
などの座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域、として定めるための手段を含み、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ０，Ｙ０）は現符号化ツリーブロック又は現符号化ツリーブロックの再構築済みのブロックの座標である。 According to another aspect of the invention, a device for encoding an image is provided, the image comprising a plurality of coding tree blocks composed of blocks of pixels, each block of pixels having a plurality of modes. One mode is a mode called INTRA block copy mode, in which the block is encoded based on a predictor block that is an actual block of the current image, ,
The search range for the INTRA block copy mode is, for example,
Y ≦ Y 0 and (X−X 0 ) ≦ − (Y−Y 0 )
Means for defining as a region constituted by a group of encoded tree blocks of coordinates (X, Y) such as
X in the previous equation represents the horizontal coordinate, Y represents the vertical coordinate, the origin is the top left corner of the image, and (X 0 , Y 0 ) is the current coding tree block or the reconstruction of the current coding tree block The coordinates of the completed block.

本発明の別の態様によれば、画像を符号化するためのデバイスが提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、本デバイスは、ＩＮＴＲＡブロックコピーモードに対する探索範囲を、例えば、
Ｙ≦Ｙ０、且つ（Ｘ−Ｘ０）≦−２×（Ｙ−Ｙ０）
などの座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域として定めるための手段を含み、前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の底部左コーナーであり、（Ｘ０，Ｙ０）は現符号化ツリーブロック又は現符号化ツリーブロックの再構築済みのブロックの座標である。 According to another aspect of the invention, a device for encoding an image is provided, the image comprising a plurality of coding tree blocks composed of blocks of pixels, each block of pixels having a plurality of modes. One mode is a mode called INTRA block copy mode, in which the block is encoded based on a predictor block that is an actual block of the current image, The search range for the INTRA block copy mode is, for example,
Y ≦ Y 0 and (X−X 0 ) ≦ −2 × (Y−Y 0 )
Means for defining as a region constituted by a coding tree block group of coordinates (X, Y) such as X in the previous equation represents horizontal coordinates, Y represents vertical coordinates, and the origin is the bottom left of the image And (X 0 , Y 0 ) is the coordinates of the current coding tree block or a reconstructed block of the current coding tree block.

本発明の別の態様によれば、画像を符号化するためのデバイスが提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、本デバイスは、ＩＮＴＲＡブロックコピーモードに対する探索範囲を、例えば、
Ｙ≦Ｙ０、且つ（Ｘ−Ｘ０）≦−２×（Ｙ−Ｙ０）
などの座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域として定めるための手段を含み、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ０，Ｙ０）は現符号化ツリーブロック又は現符号化ツリーブロックの再構築済みのブロックの座標である。 According to another aspect of the invention, a device for encoding an image is provided, the image comprising a plurality of coding tree blocks composed of blocks of pixels, each block of pixels having a plurality of modes. One mode is a mode called INTRA block copy mode, in which the block is encoded based on a predictor block that is an actual block of the current image, The search range for the INTRA block copy mode is, for example,
Y ≦ Y 0 and (X−X 0 ) ≦ −2 × (Y−Y 0 )
Means for defining as a region constituted by a group of encoded tree blocks of coordinates (X, Y) such as
X in the previous equation represents the horizontal coordinate, Y represents the vertical coordinate, the origin is the top left corner of the image, and (X 0 , Y 0 ) is the current coding tree block or the reconstruction of the current coding tree block The coordinates of the completed block.

本発明の別の態様によれば、画像を符号化するためのデバイスが提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、本デバイスは、ＩＮＴＲＡブロックコピーモードに対する探索範囲を、例えば、
Ｘ≦Ｘ０、且つＹ＝Ｙ０
などの座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域として定めるための手段を含み、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ０，Ｙ０）は現符号化ツリーブロック又は現符号化ツリーブロックの再構築済みのブロックの座標である。 According to another aspect of the invention, a device for encoding an image is provided, the image comprising a plurality of coding tree blocks composed of blocks of pixels, each block of pixels having a plurality of modes. One mode is a mode called INTRA block copy mode, in which the block is encoded based on a predictor block that is an actual block of the current image, The search range for the INTRA block copy mode is, for example,
X ≦ X 0 and Y = Y 0
Means for defining as a region constituted by a group of encoded tree blocks of coordinates (X, Y) such as
X in the previous equation represents the horizontal coordinate, Y represents the vertical coordinate, the origin is the top left corner of the image, and (X 0 , Y 0 ) is the current coding tree block or the reconstruction of the current coding tree block The coordinates of the completed block.

本発明の別の態様によれば、画像を符号化するためのデバイスが提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、符号化は、符号化の複数の並列スレッドによって進められ、各スレッドは、符号化ツリーブロックの１つのラインの符号化に専用であり、本デバイスは、ＩＮＴＲＡブロックコピーモードに対する探索範囲を、現ＩＮＴＲＡブロックコピーブロックに対し、以前の符号化ツリーブロックライン群および現符号化ツリーブロックラインの全てのスレッドによって再構築された全てのデータによって構成される領域、として定めるための手段を含む。   According to another aspect of the invention, a device for encoding an image is provided, the image comprising a plurality of coding tree blocks composed of blocks of pixels, each block of pixels having a plurality of modes. One mode is a mode called INTRA block copy mode where the block is encoded based on a predictor block that is the actual block of the current picture, and the encoding is Advanced by multiple parallel threads of encoding, each thread dedicated to encoding one line of the encoding tree block, and the device determines the search range for the INTRA block copy mode, the current INTRA block copy block All threads of the previous coding tree block line group and the current coding tree block line By all of the data thus reconstructed including means for defining a region configured.

本発明の別の態様によれば、画像を符号化するためのデバイスが提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、符号化は、符号化の複数の同期化された並列スレッドによって進められ、各スレッドは、符号化ツリーブロックの１つのラインの符号化に専用であり、本デバイスは、ＩＮＴＲＡブロックコピーモードに対する探索範囲を、現ＩＮＴＲＡブロックコピーブロックに対し、全てのスレッドによって再構築された全てのデータによって構成される領域、として定めるための手段を含む。   According to another aspect of the invention, a device for encoding an image is provided, the image comprising a plurality of coding tree blocks composed of blocks of pixels, each block of pixels having a plurality of modes. One mode is a mode called INTRA block copy mode where the block is encoded based on a predictor block that is the actual block of the current picture, and the encoding is Forwarded by a plurality of synchronized parallel threads of encoding, each thread dedicated to encoding one line of the encoding tree block, and the device presents a search range for the INTRA block copy mode. An area composed of all data reconstructed by all threads for the INTRA block copy block, and It includes means for determining Te.

本発明の別の態様によれば、画像を復号するためのデバイスが提供され、該画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって復号され、１つのモードは、ブロックが、現画像の実際のブロックである予測子ブロックに基づいて符号化される、ＩＮＴＲＡブロックコピーモードと呼ばれるモードであり、本デバイスは、複数の復号並列スレッドを処理するための手段を含み、各スレッドは、符号化ツリーブロックの１つのラインの復号に専用であり、同期化とは、前記複数のスレッドを同期化することを意味する。   According to another aspect of the invention, a device for decoding an image is provided, the image comprising a plurality of coding tree blocks composed of blocks of pixels, each block of pixels from a plurality of modes. One mode is a mode called INTRA block copy mode, in which the block is encoded based on a predictor block that is an actual block of the current image. Means for processing a plurality of decoding parallel threads, each thread dedicated to decoding one line of the coding tree block, and synchronization means synchronizing the plurality of threads.

本発明の別の態様によれば、画像を符号化および復号するためのシステムが提供され、本システムは、本発明によるエンコーダと、本発明によるデコーダとを含む。   According to another aspect of the present invention, a system for encoding and decoding an image is provided, the system comprising an encoder according to the present invention and a decoder according to the present invention.

或る実施形態において、該エンコーダおよびデコーダは、それぞれ画像を符号化し復号するために同じ数の同期化スレッドを用いている。   In some embodiments, the encoder and decoder each use the same number of synchronization threads to encode and decode images.

本発明の別の態様によれば、符号化画像を含むビットストリームが提供され、符号化画像は本発明によって符号化されている。   According to another aspect of the present invention, a bitstream including an encoded image is provided, and the encoded image is encoded according to the present invention.

本発明の別の態様によれば、プログラム可能装置のためのコンピュータプログラム製品が提供され、本コンピュータプログラム製品は、該プログラム可能装置中にロードされ実行されたとき、本発明による方法を実装するための命令のシーケンスを含む。   According to another aspect of the present invention, a computer program product for a programmable device is provided, the computer program product for implementing the method according to the present invention when loaded and executed in the programmable device. Contains a sequence of instructions.

本発明の別の態様によれば、本発明による方法を実装するためのコンピュータプログラムの命令を格納しているコンピュータ可読ストレージ媒体が提供される。   According to another aspect of the present invention, there is provided a computer readable storage medium storing computer program instructions for implementing the method according to the present invention.

前述で挙げた本発明のいくつかの態様は、複数のモードのうちのＩｎｔｒａブロックコピーモードであるモードについて述べているが、但し当然のことながら、これはこのモードに対する単なる任意的なラベルであって、限定することは意図されていない。したがって、これらの態様は、それらの意図範囲内に、Ｉｎｔｒａブロックコピーモードと称されるか別途に称されるかにかかわらず、符号化（または復号）されている現画像の実際のブロックである予測子ブロックに基づいて、符号化（または復号）が行われる、任意のモードを有する。   Some aspects of the invention listed above describe a mode that is an Intra block copy mode of the plurality of modes, although it should be understood that this is merely an optional label for this mode. It is not intended to be limiting. Thus, these aspects are actual blocks of the current image that are encoded (or decoded), whether within their intent, referred to as Intra block copy mode or otherwise. It has an arbitrary mode in which encoding (or decoding) is performed based on the predictor block.

本発明による方法は少なくとも部分的にコンピュータ実装が可能である。したがって、本発明は、全体がハードウェアの実施形態、全体がソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、あるいは、一般に本明細書では全て「回路」、「モジュール」、または「システム」といわれることもある、ソフトウェアおよびハードウェア態様を組み合わせた実施形態の形を取ることができる。さらに、本発明は、媒体に具体化されたコンピュータ可用プログラムコードを有する任意の有形の表現媒体中に具現化されたコンピュータプログラム製品の形を取ることもできる。   The method according to the invention is at least partly computer-implementable. Accordingly, the present invention may be embodied entirely in hardware embodiments, entirely in software embodiments (including firmware, resident software, microcode, etc.), or generally all herein "circuitry", "module", or It may take the form of an embodiment combining software and hardware aspects, sometimes referred to as a “system”. Furthermore, the present invention may take the form of a computer program product embodied in any tangible representation medium having computer-usable program code embodied in the medium.

本発明はソフトウェア中に実装可能なので、本発明は、プログラム可能装置への供給のため、任意の適切な搬送媒体上のコンピュータ可読コードとして具現化することができる。有形の搬送媒体は、フロッピーディスク、ＣＤ−ＲＯＭ、ハードディスクドライブ、磁気テープデバイス、または固体メモリデバイスなどのストレージ媒体を含み得る。一時的搬送媒体は、電気信号、電子信号、光信号、音響信号、磁気信号、または例えばマイクロ波もしくはＲＦ信号等の電磁気信号などの信号を含み得る。   Since the invention can be implemented in software, the invention can be embodied as computer readable code on any suitable carrier medium for provision to a programmable device. Tangible carrier media may include storage media such as floppy disks, CD-ROMs, hard disk drives, magnetic tape devices, or solid state memory devices. The temporary carrier medium may include signals such as electrical signals, electronic signals, optical signals, acoustic signals, magnetic signals, or electromagnetic signals such as microwave or RF signals.

以降に、単に例示のため、以下の図面を参照しながら本発明の諸実施形態を説明することとする。   Hereinafter, for illustrative purposes only, embodiments of the invention will be described with reference to the following drawings.

ＨＥＶＣエンコーダのアーキテクチャを示す。1 shows the architecture of a HEVC encoder. ＨＥＶＣデコーダのアーキテクチャを示す。2 shows the architecture of a HEVC decoder. ビデオフレームのレベル分解を示す。Fig. 4 shows a level decomposition of a video frame. ウェーブフロント処理の原理を示す。The principle of wavefront processing is shown. ウェーブフロントによる、コンテキスト変数の初期化のためのブロックの場所を示す。Indicates the location of the block for initialization of context variables by the wavefront. 基因領域の概念を示す。The concept of the base area is shown. ＩＮＴＲＡブロックコピー探索領域を示す。An INTRA block copy search area is shown. 本発明によって解決される問題を示す。The problem solved by this invention is shown. 本発明の１つの実施形態を示す。1 illustrates one embodiment of the present invention. 本発明の１つの実施形態を示す。1 illustrates one embodiment of the present invention. 本発明の１つの実施形態を示す。1 illustrates one embodiment of the present invention. 本発明の１つの実施形態を示す。1 illustrates one embodiment of the present invention. 本発明の１つの実施形態を示す。1 illustrates one embodiment of the present invention. 本発明の１つ以上の実施形態の実装のためのコンピューティングデバイスの概略ブロック図を示す。FIG. 2 shows a schematic block diagram of a computing device for implementation of one or more embodiments of the invention.

図１は、ＨＥＶＣエンコーダのアーキテクチャを示す。このビデオエンコーダにおいて、当初のシーケンス１０１は、画素のブロック１０２に分割される。次いで各ブロックに符号化モードが反映される。ＨＥＶＣで通常使用される、符号化モードの２つのファミリがある。すなわち、空間的予測に基づくモードまたはＩＮＴＲＡモード１０３、ならびに動き推定１０４および動き補償１０５をベースにした時間的予測に基づくモードまたはＩＮＴＥＲモードである。ＩＮＴＲＡ符号化ユニットは、一般に、ＩＮＴＲＡ予測と呼ばれる処理によって、その因果境界にある符号化済み画素から予測される。   FIG. 1 shows the architecture of the HEVC encoder. In this video encoder, the initial sequence 101 is divided into blocks of pixels 102. The encoding mode is then reflected in each block. There are two families of coding modes that are commonly used in HEVC. That is, a mode based on spatial prediction or INTRA mode 103 and a mode based on temporal prediction based on motion estimation 104 and motion compensation 105 or INTER mode. An INTRA encoding unit is generally predicted from encoded pixels at its causal boundary by a process called INTRA prediction.

時間的予測は、最初に、動き推定ステップ１０４において、符号化ユニットに最も近く合致する、参照フレーム１１６の参照領域中と呼ばれる以前のまたは将来のフレームを見出すことにある。この参照領域は予測子ブロックを構成する。次に、この符号化ユニットが、予測子ブロックを用いて予測され、動き補償ステップ１０５で残差が計算される。   Temporal prediction consists in first finding in the motion estimation step 104 a previous or future frame called in the reference region of the reference frame 116 that most closely matches the coding unit. This reference area constitutes a predictor block. This coding unit is then predicted using the predictor block and a residual is calculated in motion compensation step 105.

空間的および時間的予測の双方の場合において、当初の予測子ブロックから符号化ユニットを差し引くことによって残差が計算される。   In both the spatial and temporal prediction cases, the residual is calculated by subtracting the coding unit from the original predictor block.

ＩＮＴＲＡ予測では、予測方向が符号化される。時間的予測では、少なくとも１つの動きベクトルが符号化される。但し、動きベクトル符号化に関するビットレートのコストをさらに低減するために、動きベクトルは直接には符号化されない。実際上は、動きが一様であると仮定すれば、動きベクトルを、その動きベクトルとその周囲の動きベクトルとの間の差として符号化するのが特に有利である。例えば、Ｈ．２６４／ＡＶＣ符号化規格では、動きベクトルは、現ブロックの上側および左側に位置する３つのブロックの間で計算されたメディアンベクトルに対して符号化される。このメディアンベクトルと現ブロックの動きベクトルとの間で計算される残差動きベクトルとも呼ばれる差だけが、ビットストリーム中に符号化される。これは、モジュール「Ｍｖ予測および符号化」１１７において処理される。各符号化ベクトルの値は、動きベクトルフィールド１１８に格納される。予測に使われる隣接の動きベクトルは、動きベクトルフィールド１１８から抽出される。   In INTRA prediction, the prediction direction is encoded. In temporal prediction, at least one motion vector is encoded. However, in order to further reduce the bit rate cost for motion vector coding, motion vectors are not directly coded. In practice, it is particularly advantageous to encode a motion vector as the difference between its motion vector and its surrounding motion vectors, assuming that the motion is uniform. For example, H.M. In the H.264 / AVC coding standard, a motion vector is coded with respect to a median vector calculated between three blocks located above and to the left of the current block. Only the difference, also called the residual motion vector, calculated between this median vector and the motion vector of the current block is encoded in the bitstream. This is handled in the module “Mv prediction and encoding” 117. The value of each encoded vector is stored in the motion vector field 118. Adjacent motion vectors used for prediction are extracted from the motion vector field 118.

次いで、モジュール１０６で、レート歪みパフォーマンスを最適にするモードが選択される。冗長部をさらに低減するために、モジュール１０７で、一般にはＤＣＴである変換が、残差ブロックに適用され、モジュール１０８で係数に量子化が適用される。係数の量子化ブロックは、次いでモジュール１０９でエントロピー符号化され、その結果がビットストリーム１１０に挿入される。   Then, at module 106, the mode that optimizes the rate distortion performance is selected. To further reduce the redundancy, a transformation, typically DCT, is applied to the residual block at module 107 and quantization is applied to the coefficients at module. The quantized block of coefficients is then entropy encoded at module 109 and the result is inserted into the bitstream 110.

エンコーダは、次いでモジュール１１１〜１１６で、今後の動き推定のため、符号化されたフレームの復号を実施する。これらのステップは、エンコーダとデコーダとが同じ参照フレームを持つことを可能にする。符号化フレームを再構築するために、残差は、モジュール１１１で逆量子化され、画素ドメイン中に「再構築された」残差を供するために、モジュール１１２で逆変換される。符号化モード（ＩＮＴＥＲまたはＩＮＴＲＡ）の如何によって、この残差はＩＮＴＥＲ予測子１１４またはＩＮＴＲＡ予測子１１３に加えられる。   The encoder then performs decoding of the encoded frame in modules 111-116 for future motion estimation. These steps allow the encoder and decoder to have the same reference frame. To reconstruct the encoded frame, the residual is dequantized at module 111 and inverse transformed at module 112 to provide a “reconstructed” residual in the pixel domain. Depending on the coding mode (INTER or INTRA), this residual is added to the INTER predictor 114 or the INTRA predictor 113.

次いで、この初期の再構築は、モジュール１１５で、１つまたはいくつかの種類のポストフィルタリングによって、フィルタされる。これらのポストフィルタが、この符号化および復号ループに組み込まれている。このことは、エンコーダ側とデコーダ側とで同じ参照フレームを用いるために、これらフィルタリングが、エンコーダ側とデコーダ側とで、再構築フレームに適用される必要があることを意味する。このポストフィルタリングの目的は、圧縮のアーチファクトを除去することである。   This initial reconstruction is then filtered at module 115 by one or several types of post-filtering. These post filters are incorporated into this encoding and decoding loop. This means that in order to use the same reference frame on the encoder side and the decoder side, these filterings need to be applied to the reconstructed frame on the encoder side and the decoder side. The purpose of this post-filtering is to remove compression artifacts.

図２には、デコーダの原理が表されている。最初にビデオストリーム２０１が、モジュール２０２でエントロピー復号される。次いで、画素値を得るために、残差データがモジュール２０３で逆量子化され、モジュール２０４で逆変換される。また、モードデータもエントロピー復号され、そのモードの機能で、ＩＮＴＲＡ型の復号またはＩＮＴＥＲ型の復号が行われる。ＩＮＴＲＡモードの場合、ビットストリーム２０５中に指定されたＩＮＴＲＡ予測モードの機能で、ＩＮＴＲＡ予測子が決められる。モードがＩＮＴＥＲの場合、ビットストリームから動き情報が抽出される２０２。これは、参照フレームインデックスおよび動きベクトル残差で構成される。動きベクトルを得るために、動きベクトル予測子が動きベクトル残差に加えられる２１０。次いで、参照フレーム中の参照領域を見付けるために動きベクトルが使用される２０６。なお、次の復号動きベクトルの予測に用いるために、復号動きベクトルを使って動きベクトルフィールドデータ２１１が更新される。復号フレームのこの最初の再構築は、次いで、エンコーダ側で使われたのと全く同じポストフィルタを使ってポストフィルタリングされる２０７。デコーダの出力は、圧縮解除されたビデオ２０９である。   FIG. 2 shows the principle of the decoder. Initially, video stream 201 is entropy decoded by module 202. The residual data is then dequantized by module 203 and inverse transformed by module 204 to obtain pixel values. The mode data is also entropy decoded, and INTRA type decoding or INTER type decoding is performed by the function of the mode. In the INTRA mode, the INTRA predictor is determined by the function of the INTRA prediction mode specified in the bit stream 205. If the mode is INTER, motion information is extracted 202 from the bitstream. This consists of a reference frame index and a motion vector residual. A motion vector predictor is added 210 to the motion vector residual to obtain a motion vector. The motion vector is then used 206 to find the reference region in the reference frame. Note that the motion vector field data 211 is updated using the decoded motion vector for use in prediction of the next decoded motion vector. This initial reconstruction of the decoded frame is then post-filtered 207 using exactly the same post filter used on the encoder side. The output of the decoder is the decompressed video 209.

このＩＮＴＲＡブロックコピー符号化モードは、極度に繰り返しの多いパターンに特によく適している。具体的には、従来式のＩＮＴＲＡ予測方法を使って符号化するのが非常に困難な、例えば、グリフ、文字のグラフィカル表現、または従来式ＧＵＩ要素などのグラフィカル要素の符号化の助力となることが知られている。   This INTRA block copy coding mode is particularly well suited for extremely repetitive patterns. Specifically, it helps to encode graphical elements such as glyphs, graphical representations of characters, or conventional GUI elements that are very difficult to encode using conventional INTRA prediction methods. It has been known.

予測が、隣り合う符号化ユニットの間の一致性に基づいているのに注目すべきである。この一致性は、現フレーム内で検討するときは地理的であり、連続するフレーム群に亘って検討するときは時間的となり得よう。この種の一致性は自然な画像中で生じる。ＩＮＴＲＡブロックコピー符号化モードは、テキストまたは象徴画像に専用のモードとして見られるので、この種の画像に対して予測は無用と考えられる。例えば、相互に近い良好な予測子を有するテキストを表現する画像中の２つの連続する符号化ユニットを有する理由はない。第一符号化ユニットが文字「Ａ」の一部であるとすれば、良好な予測子ブロックは、したがって、テキスト中の別の「Ａ」から得られることになろう。また、次の符号化ユニットは、テキスト中の別の「Ｐ」からの予測子ブロックを有する「Ｐ」文字であろう。先験的に、同じ近隣中の２つの予測子ブロックを有する理由はない。これが、従来技術が、ＩＮＴＲＡブロックコピー符号化モードに予測を導入することを考えなかった理由である。   Note that the prediction is based on consistency between neighboring coding units. This consistency could be geographic when considering within the current frame and temporal when considering across successive frames. This type of consistency occurs in natural images. Since the INTRA block copy coding mode is seen as a mode dedicated to text or symbolic images, prediction is considered useless for this type of image. For example, there is no reason to have two consecutive coding units in an image that represents text with good predictors close to each other. If the first encoding unit is part of the letter “A”, a good predictor block would therefore be obtained from another “A” in the text. The next encoding unit will also be a “P” character with a predictor block from another “P” in the text. A priori, there is no reason to have two predictor blocks in the same neighborhood. This is why the prior art did not consider introducing prediction into the INTRA block copy coding mode.

ＨＥＶＣでは、異なる種類の、ＳＥＩメッセージと呼ばれる特定のＮＡＬユニットを送信することが可能である。ＳＥＩメッセージは表示プロセスに関する情報を包含しており、したがって随意である。   In HEVC, it is possible to send different types of specific NAL units called SEI messages. The SEI message contains information about the display process and is therefore optional.

図３は、ＨＥＶＣで用いられる符号化構造体を示す。ＨＥＶＣおよび以前のその先行版の１つによれば、当初のビデオシーケンス３０１は、デジタル画像「画像ｉ」の連続である。当業者には周知であるように、デジタル画像は、係数が画素で表される１つ以上のマトリックスで表現される。   FIG. 3 shows an encoding structure used in HEVC. According to HEVC and one of its previous versions, the original video sequence 301 is a sequence of digital images “image i”. As is well known to those skilled in the art, a digital image is represented by one or more matrices in which coefficients are represented by pixels.

画像３０２はスライス３０３に分割される。スライスは画像の一部または画像の全体である。ＨＥＶＣでは、これらのスライスは、一般にサイズ６４画素×６４画素のブロックである、オーバーラップのない符号化ツリーブロック（ＣＴＢ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）３０４に分割される。次いで各符号化ツリーブロックを、四分ツリー分解を用いて、より小さな可変サイズの符号化ユニット（ＣＵ）３０５に反復的に分割することができる。符号化ユニットは、基本的な符号化要素であり、最大のサイズが符号化ユニットのサイズに等しい２つのサブユニット、すなわち、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）および変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）で構成される。予測ユニットは、画素値の予測のための、符号化ユニットの区画に対応する。各符号化ユニットは、最大４つの正方形区画ユニットまたは２つの矩形区画ユニット３０６にさらに区分することが可能である。変換ユニットは、ＤＣＴによって空間的に変換される基本単位を表すために用いられる。符号化ユニットは、４分ツリー表現３０７に基づいてＴＵに区分することが可能である。   The image 302 is divided into slices 303. A slice is a part of an image or the whole image. In HEVC, these slices are divided into non-overlapping coding tree blocks (CTBs) 304, which are generally blocks of size 64 pixels × 64 pixels. Each coding tree block can then be iteratively divided into smaller variable size coding units (CUs) 305 using quadtree decomposition. The encoding unit is a basic encoding element, and is composed of two subunits whose maximum size is equal to the size of the encoding unit, namely, a prediction unit (PU) and a transform unit (TU). Composed. The prediction unit corresponds to a partition of the coding unit for pixel value prediction. Each encoding unit can be further partitioned into a maximum of four square partition units or two rectangular partition units 306. A transform unit is used to represent a basic unit that is spatially transformed by the DCT. The encoding unit can be partitioned into TUs based on the quadtree representation 307.

各スライスは、１つのＮＡＬユニット中に組み込まれる。さらに、ビデオシーケンスの符号化パラメータは、パラメータセットと呼ばれる専用のＮＡＬユニット中に格納される。ＨＥＶＣおよびＨ．２６４／ＡＶＣでは、２種類のパラメータセットＮＡＬユニットが用いられ、第一には、全ビデオシーケンスの間変更されない全てのパラメータを集めた、シーケンスパラメータセット（ＳＰＳ：Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）のＮＡＬユニットがある。通常、該ユニットは、符号化プロフィール、ビデオフレームのサイズ、および他のパラメータを取り扱う。第二に、ピクチャパラメータセット（ＰＰＳ：Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）は、フレームごとに変化し得る各種の値を符号化する。また、ＨＥＶＣは、ストリームの全体的構造を表すパラメータを包含するビデオパラメータセット（ＶＰＳ：Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）も含む。   Each slice is incorporated into one NAL unit. Furthermore, the coding parameters of the video sequence are stored in a dedicated NAL unit called a parameter set. HEVC and H.C. In H.264 / AVC, two types of parameter set NAL units are used. First, there is a sequence parameter set (SPS) NAL unit that collects all parameters that are not changed during the entire video sequence. . Typically, the unit handles the encoding profile, video frame size, and other parameters. Second, a picture parameter set (PPS) encodes various values that can change from frame to frame. HEVC also includes a video parameter set (VPS) that includes parameters that represent the overall structure of the stream.

リアルタイムでまたは高速での実装のためには、多くの場合、いくつかの符号化および復号プロセスを並列化することが必要となる。ＨＥＶＣ規格は、フレーム並列化のためにウェーブフロントまたはタイルまたはスライスとしていくつかの高レベルの並列化、およびインター並列化のためにフレキシブルな参照フレームマネジメントを提供する。これらのツールは必須ではないが、それでも、デコーダは、それらツールの関連シンタクスをたとえツールが必須でなくても復号する必要がある。   For real-time or high-speed implementation, it is often necessary to parallelize several encoding and decoding processes. The HEVC standard provides some high-level parallelization as wavefronts or tiles or slices for frame parallelization, and flexible reference frame management for inter-parallelization. These tools are not required, but the decoder still needs to decode their associated syntax even if the tool is not required.

本発明は、ウェーブフロント処理が、ＨＥＶＣのスクリーンコンテンツ拡張のＩＮＴＲＡブロックコピーツールと組み合わされているときのウェーブフロント処理に焦点を絞っている。ウェーブフロント処理の原理が図４に提示されている。この原理は、符号化ツリーブロックのいくつかのラインの復号処理を並列化することである。並列化を提供するため一部の予測は回避するが、符号化効率にいくばくかのロスを発生させるタイルまたは従来式スライスとは違って、このウェーブフロントは、予測の大多数を保っている。ウェーブフロントは、並列化のための各ラインの間で後れ時間を発生させる。図４の例では、４つのスレッドが並列に実行されている。すなわち、４つの現符号化ツリーブロックが並列に復号されている。スレッドの間に後れ時間があり、例えば、第二ストリームは、第一スレッドによって復号された情報の一部を必要とする。したがって、復号は、エントロピー復号に対し１つ符号化ツリーブロックの後れを伴って実行される。同様に、スレッド３は、スレッド２…などからいくつかの復号された情報を必要とする。各符号化ツリーブロックの構文解析および再構築が全く同じと見なすとすれば、図４に表わされているように、デコーダでの後れは、２つ符号化ツリーブロックとなるはずである。実際の再構築では、現符号化ツリーブロックを復号するために、右上の符号化ツリーブロックの右上の符号化ユニットが必要となり得よう。したがって、スレッドがそれの前のスレッドを待つことを防止するためには、２つ符号化ツリーブロックの後れ時間を考慮する必要がある。   The present invention focuses on wavefront processing when wavefront processing is combined with the INTRA block copy tool of HEVC's screen content extension. The principle of wavefront processing is presented in FIG. The principle is to parallelize the decoding process for several lines of the coding tree block. Some predictions are avoided to provide parallelism, but unlike tiles or conventional slices that cause some loss in coding efficiency, this wavefront keeps the majority of predictions. The wavefront generates a lag time between each line for parallelization. In the example of FIG. 4, four threads are executed in parallel. That is, four current coding tree blocks are decoded in parallel. There is a lag time between threads, for example, the second stream requires some of the information decoded by the first thread. Therefore, decoding is performed with one coding tree block behind for entropy decoding. Similarly, thread 3 needs some decrypted information from threads 2, etc. If the parsing and reconstruction of each coding tree block is considered to be exactly the same, the delay at the decoder should be two coding tree blocks, as shown in FIG. In an actual reconstruction, the upper right encoding unit of the upper right encoding tree block may be required to decode the current encoding tree block. Therefore, in order to prevent a thread from waiting for the thread before it, it is necessary to consider the back time of two coding tree blocks.

ＨＥＶＣ規格では、ウェーブフロント処理は明確には定義されていない。いくつかのＣＡＢＡＣ再設定だけが明示で記載されている。フラグｅｎｔｒｏｐｙ＿ｃｏｄｉｎｇ＿ｓｙｎｃ＿ｅｎａｂｌｅｄ＿ｆｌａｇが有効化され、或る符号化ツリーブロックのラインの最初の符号化ツリーブロックの最初の画素が復号されるとき、ＣＡＢＡＣのコンテキスト変数は、図５に表されているように、空間的に隣接したブロックＴを使って初期化される。さらに正確には、このＣＡＢＡＣのコンテキスト変数は、ブロックＴの変数と同じ値を取る。このブロックは、右上の符号化ツリーブロックの最初のブロックである。このブロックＴが利用可能でない場合、コンテキスト変数は、フレームの最初の符号化ツリーブロックとして初期化される。   In the HEVC standard, wavefront processing is not clearly defined. Only a few CABAC reconfigurations are explicitly stated. When the flag entropy_coding_sync_enabled_flag is enabled and the first pixel of the first coding tree block of a line of a coding tree block is decoded, the CABAC context variables are spatially represented as shown in FIG. Is initialized using a block T adjacent to. More precisely, the context variable of this CABAC takes the same value as the variable of block T. This block is the first block of the upper right coding tree block. If this block T is not available, the context variable is initialized as the first coding tree block of the frame.

したがって、ＨＥＶＣウェーブフロントについては、各符号化ツリーブロックの最初のブロックに対するＣＡＢＡＣの依存関係だけが、従来式復号プロセスとは異なる。従来式復号プロセスに対しては、符号化ツリーブロックラインの最初の符号化ツリーブロックのコンテキスト変数の値は、前の符号化ツリーブロックラインの最新の符号化ツリーブロックの最新のブロックのコンテキスト変数の値に等しく設定される。ウェーブフロントが可能にされているとき、この変数コンテキストは、右上の符号化ツリーブロック（Ｔ）のコンテキストに初期化される。これが、ウェーブフロントをエンコーダおよびデコーダの両方で用いるため、デコーダ側で必要な唯一の変更である。   Therefore, for the HEVC wavefront, only the CABAC dependency on the first block of each coding tree block is different from the conventional decoding process. For a conventional decoding process, the value of the context variable of the first coding tree block of the first coding tree block line is the value of the context variable of the latest coding tree block of the previous coding tree block line. Set equal to the value. When wavefront is enabled, this variable context is initialized to the context of the upper right coding tree block (T). This is the only change required on the decoder side because wavefront is used in both the encoder and decoder.

さらに、いくつかのエントリポイントシンタクス要素によって、コンテキスト変数ＣＡＢＡＣをフレームの最初の符号化ツリーブロックとして再設定することが可能である。だが、これらの特定のエントリポイントは、本ソリューションに対しては不必要である。   In addition, some entry point syntax elements can reset the context variable CABAC as the first coding tree block of the frame. But these specific entry points are unnecessary for this solution.

ＨＥＶＣの定義中のスクリーンコンテンツ符号化拡張は、スクリーン符号化シーケンスを効率的に符号化するための追加のツールを包含する。現在の追加されたツールは、Ｉｎｔｒａブロックコピーモード、パレットモード、および残差カラー変換である。本発明は、Ｉｎｔｒａブロックコピーモードだけに焦点を絞っており、したがって、以下ではこのモードだけについて説明する。   The screen content encoding extension in the HEVC definition includes additional tools for efficiently encoding screen encoded sequences. Currently added tools are Intra block copy mode, palette mode, and residual color conversion. The present invention focuses only on the Intra block copy mode, so only this mode will be described below.

しかしながら、パレットモードおよびＩＮＴＲＡブロックコピーモードは新規のイントラモードであり、前述の理由によって、それぞれ図１および２の１０３および２０５に加えられることに留意されたい。   However, it should be noted that the palette mode and INTRA block copy mode are new intra modes and are added to 103 and 205 of FIGS. 1 and 2, respectively, for the reasons described above.

ＨＥＶＣのスクリーンコンテンツ符号化拡張に対する追加のモードとして、Ｉｎｔｒａブロックコピー（ＩＢＣ：Ｉｎｔｒａ Ｂｌｏｃｋ Ｃｏｐｙ）が加えられた。この予測方法は、極度に繰り返しの多いパターンに特によく適している。具体的には、従来式のイントラ予測方法を使って符号化するのが非常に困難な、例えば、グリフ（すなわち、文字のグラフィカル表現）、または従来式ＧＵＩ要素などのグラフィカル要素の符号化の助力となることが知られている。   Intra block copy (IBC) has been added as an additional mode to the HEVC screen content encoding extension. This prediction method is particularly well suited for extremely repetitive patterns. Specifically, helping to encode graphical elements such as glyphs (ie, graphical representations of characters) or conventional GUI elements that are very difficult to encode using conventional intra prediction methods It is known that

図６は、このＩｎｔｒａブロックコピー予測モードがどのように機能するかを示す。   FIG. 6 shows how this Intra block copy prediction mode works.

ハイレベルで、画像は符号化ユニットに分割されラスタスキャン順に符号化される。しかして、符号化ブロック６０１を符号化するとき、領域６０３の全てのブロックが既に符号化／復号されており、エンコーダ／デコーダに利用可能と見なすことができる。領域６０３は、符号化ユニット６０１の基因領域と呼ばれる。符号化ユニット６０１が符号化／復号されたならば、該ユニットは、次の符号化ユニットに対する基因領域に属することになる。この次の符号化ユニットならびに全ての次に来るユニットは、打点域として示された領域６０４に属し、現符号化ユニット６０１を符号化するために使用することはできない。基因領域が生の再構築済みのブロックによって構成されていることに注目すべきである。所与の符号化ユニットを符号化するために使われる情報は、当初のブロックの情報が復号において利用できないという理由で画像の当初のブロック群ではない。復号で利用可能な唯一の情報は、基因領域中の画素のブロックの再構築済みバージョン、すなわち、これらのブロックの復号済みバージョンである。この理由で、符号化において、基因領域の先に符号化されたブロックが、これらブロックのこの再構築済みバージョンを提供するために復号される。   At a high level, the image is divided into encoding units and encoded in raster scan order. Thus, when encoding the encoding block 601, all the blocks in the region 603 have already been encoded / decoded and can be regarded as available to the encoder / decoder. The region 603 is referred to as a base region of the encoding unit 601. If the encoding unit 601 is encoded / decoded, it will belong to the base area for the next encoding unit. This next coding unit as well as all the following units belong to the area 604 shown as the dot area and cannot be used to encode the current coding unit 601. Note that the root region is composed of raw reconstructed blocks. The information used to encode a given encoding unit is not the original block group of the image because the original block information is not available for decoding. The only information available for decoding is the reconstructed version of the block of pixels in the root area, i.e. the decoded version of these blocks. For this reason, in encoding, blocks previously encoded in the root region are decoded to provide this reconstructed version of these blocks.

ＩＮＴＲＡブロックコピーは、ブロック６０１の予測を生成するため使用する必要のある、基因領域中のブロック６０２をシグナリングすることによって機能する。例えば、ブロック６０２は、照合アルゴリズムを用いて見出すことができる。ＨＥＶＣスクリーンコンテンツ拡張では、このブロックは、ブロックベクトル６０５によって示され、予測子によるこのベクトルの残差がビットストリーム中で送信される。   INTRA block copy works by signaling the block 602 in the root region that needs to be used to generate the prediction of block 601. For example, block 602 can be found using a matching algorithm. In HEVC screen content extension, this block is indicated by a block vector 605 and the residual of this vector by the predictor is transmitted in the bitstream.

ＩＮＴＲＡブロックコピー予測子は、現フレームの全ての再構築済みの基因領域から得られる。他のイントラモードについては、基因領域がループフィルタリングされることはない。   The INTRA block copy predictor is obtained from all reconstructed base regions of the current frame. For other intra modes, the origin region is not loop filtered.

このブロックベクトルは、符号化ユニット６０１の特定のポイントと予測子ブロック６０２中の相応ポイントとの間の座標上の差である。ＩＮＴＥＲブロックに対しサブ画素の精度を用いることが可能であろうが、ここでの変位量は、通常、画素の整数単位であり、したがって、コストのかかるサブ画素の補間は必要としない。   This block vector is the coordinate difference between a particular point in the encoding unit 601 and a corresponding point in the predictor block 602. Although it would be possible to use sub-pixel accuracy for the INTER block, the displacement here is typically an integer number of pixels and therefore does not require costly sub-pixel interpolation.

現在のＩＮＴＲＡブロックコピー設計では、各ＩＮＴＲＡブロックコピー符号化ユニットは、図３に示されるように、１つまたは２つのＰＵに分割することができる。また、最小の符号化ユニットサイズ８×８に対して、符号化ユニットは、各々４×４画素の４つのＰＵに分割することも可能である。   In the current INTRA block copy design, each INTRA block copy encoding unit can be divided into one or two PUs as shown in FIG. Also, for a minimum encoding unit size of 8 × 8, the encoding unit can be divided into 4 PUs each of 4 × 4 pixels.

インターモードに対して、Ｎ×Ｎの区分化は利用可能でない。これは、４×４のブロックサイズがインターモードのため使えないことを意味する。次のテーブルは、両方のモードに対するブロックサイズをまとめたものである。   For inter mode, N × N partitioning is not available. This means that the 4 × 4 block size cannot be used due to the inter mode. The following table summarizes the block sizes for both modes.


Ｉｎｔｒａブロックコピー予測モードの現在の実装では、エンコーダ側での探索領域はブロックサイズによって決まる。これを以下のテーブルに表す。   In the current implementation of the Intra block copy prediction mode, the search area on the encoder side is determined by the block size. This is shown in the table below.

現在のエンコーダの実装では、２Ｎ×ＮおよびＮ×２ＮのＰＵのサイズは、８×８の符号化ユニットに対してだけ検証されていることに留意されたい。これらのサイズはこのテーブルには示されていない。２つの型のイントラブロックコピーブロックベクトル推定がある。第一型は従来式ＩＮＴＲＡブロックコピー探索であり、これは、専用のブロック照合アルゴリズムに対応する。第二型はハッシュ探索アルゴリズムに基づいている。また、２つの探索範囲が定義される。   Note that in current encoder implementations, the size of 2N × N and N × 2N PUs has been verified only for 8 × 8 coding units. These sizes are not shown in this table. There are two types of intra-block copy block vector estimation. The first type is a conventional INTRA block copy search, which corresponds to a dedicated block matching algorithm. The second type is based on a hash search algorithm. Two search ranges are defined.

図７に示されるように、フレーム７０１に対し、２つの符号化ツリーブロックの探索範囲が、左側符号化ツリーブロック７０３と、現符号化ツリーブロック７０２の既に符号化／復号されたブロック群とに対応している。現符号化ツリーブロックの既に符号化されたブロック群が、図７中の打点領域中に示されている。全フレーム探索は、既に符号化／復号された全ての符号化ツリーブロック７０４に対応する。   As shown in FIG. 7, the search range of two coding tree blocks for the frame 701 is the left coding tree block 703 and the already coded / decoded block group of the current coding tree block 702. It corresponds. The already coded block group of the current coding tree block is shown in the dot area in FIG. The full frame search corresponds to all coding tree blocks 704 that have already been encoded / decoded.

イントラブロックコピーモードにおいて、「ブロック」ベクトルは、図６の符号化対象ブロック６０１中の特定のポイントと予測子ブロック６０２中の相応ポイントとの間の座標上の差である。ＩＮＴＥＲブロックについてはサブ画素の精度を用いることが可能であろうが、ここでの変位量は画素の整数単位であり、したがって、コストのかかるサブ画素の補間は必要としない。   In the intra block copy mode, the “block” vector is a coordinate difference between a specific point in the encoding target block 601 in FIG. 6 and a corresponding point in the predictor block 602. For INTER blocks, it would be possible to use sub-pixel accuracy, but the displacement here is an integer unit of pixels, and therefore no costly sub-pixel interpolation is required.

このブロックベクトル（ＢＶ：ｂｌｏｃｋ ｖｅｃｔｏｒ）は、ＢＶの左側、上側、または現符号化ツリーブロックの直近に復号されたブロックベクトル、または直近に復号されたＢＶとすることが可能な予測子を用いて、それ自体が予測される。このベクトル予測子は、当然、復号済みイントラブロックコピーのブロックに由来する。これらの方法によって、予測子インデックスが送信される。   This block vector (BV) is a predictor that can be the block vector decoded on the left side, the upper side of the BV, or the nearest block of the current coding tree block, or the most recently decoded BV. , Itself is predicted. This vector predictor is naturally derived from a block of a decoded intra block copy. With these methods, a predictor index is transmitted.

前述したように、ＩＮＴＲＡブロックコピーは、イントラモードであり、したがってその予測子は、いかなるループフィルタリングよりも前の、生の再構築済みデータに由来する。結果として、復号においてウェーブフロント処理を用いるデコーダの実装は減らすべきである。図８に示されるように実際は、ＩＮＴＲＡブロックコピーブロック予測子は、再構築がされていない符号化ツリーブロックから得ることも可能である。つまり、これは、デコーダがこのＩＮＴＲＡブロックコピー予測子の復号処理を十分に待つことが可能なことを意味する。したがって、各符号化ツリーブロックラインの各最初のブロックが、各々の前の符号化ツリーブロックラインの最後のブロックをポイントするという最悪の場合を考慮すると、ウェーブフロントを用いる復号処理が、従来式復号よりも有意に高速であることはできない。   As previously mentioned, INTRA block copy is in intra mode, so its predictor comes from raw reconstructed data prior to any loop filtering. As a result, decoder implementations that use wavefront processing in decoding should be reduced. In practice, as shown in FIG. 8, the INTRA block copy block predictor can also be obtained from a coded tree block that has not been reconstructed. That is, this means that the decoder can sufficiently wait for the decoding process of this INTRA block copy predictor. Thus, considering the worst case where each first block of each coding tree block line points to the last block of each previous coding tree block line, the decoding process using the wavefront is conventional decoding. Cannot be significantly faster than.

本発明の第一実施形態において、現符号化ツリーブロックに対し、ＩＮＴＲＡブロックコピーの探索範囲は、全ての左側、左上、および上側の符号化ツリーブロック、および、当然ながら現符号化ツリーブロックの再構築済みブロックに限定される。ＩＮＴＲＡブロックコピーの探索範囲は、ＩＮＴＲＡブロックコピーモードによって所与の符号化ユニットの符号化するために、予測子ブロックが探索可能な画像中の領域である。これは、エンコーダ側で、右上の符号化ツリーブロックはＩＮＴＲＡブロックコピー予測のために利用できないと見なされ、結果として、デコーダ側で、現符号化ツリーブロックに対するＩＮＴＲＡブロックコピーブロック予測子がどの右上符号化ツリーブロックもポイントできない、ことを意味する。図９は、スレッド４の現符号化ツリーブロックに対するこの実施形態を示す。   In the first embodiment of the present invention, for the current coding tree block, the search range of the INTRA block copy is that of all left, upper left, and upper coding tree blocks, and of course the current coding tree block Limited to built blocks. The search range for INTRA block copy is an area in the image where a predictor block can be searched for encoding a given encoding unit according to INTRA block copy mode. This is because at the encoder side, the upper right coding tree block is considered not available for INTRA block copy prediction, and as a result, at the decoder side, the upper right code is the INTRA block copy block predictor for the current coding tree block. This means that the tree block cannot be pointed. FIG. 9 shows this embodiment for the current coding tree block of thread 4.

すなわち、ＩＮＴＲＡブロックコピーモードに対する探索範囲は、
Ｙ≦Ｙ０、且つＸ≦Ｘ０
となるような座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域として定められ、
前式のＸは水平座標を表し、Ｙは垂直座標を表し、起点は画像の最上部左コーナーであり、（Ｘ０，Ｙ０）は現符号化ツリーブロックの座標である。当然ながら、この領域は、現符号化ツリーブロックに対して既に再構築されたブロックだけを包含する。 That is, the search range for the INTRA block copy mode is
Y ≦ Y 0 and X ≦ X 0
Is defined as a region constituted by a group of encoded tree blocks having coordinates (X, Y) such that
X in the previous equation represents horizontal coordinates, Y represents vertical coordinates, the starting point is the upper left corner of the image, and (X 0 , Y 0 ) are the coordinates of the current coding tree block. Of course, this region only contains blocks that have already been reconstructed for the current coding tree block.

このソリューションは、実装に関しては非常に簡単で、ウェーブフロント処理を大幅に簡略化する。   This solution is very simple to implement and greatly simplifies wavefront processing.

他の諸実施形態において、符号化効率を向上すべく、さらに多くの再構築済みブロックが、ＩＮＴＲＡブロックコピー予測または現符号化ツリーブロックのため利用可能である。   In other embodiments, more reconstructed blocks are available for INTRA block copy prediction or current coding tree blocks to improve coding efficiency.

１つの実施形態において、現符号化ツリーブロックの右上から始まり画像の上端で終わる、斜め方向ブロック群の左側に位置する全ての符号化ツリーブロック（ＣＴＢ）が、ＩＮＴＲＡブロックコピー予測のために利用可能である。前述の斜め方向ブロック群は、１つＣＴＢをｘ軸に沿って正方向に、次いで１つＣＴＢをｙ軸に沿って負方向に次々と進むラインを追って、段のある（すなわち階段状の）パスをラインが画像の上端に達するまでたどる。さらに、現ＣＴＢ行（スレッド）の任意の既に再構築済みのＣＴＢ、および現ＣＴＢの任意の再構築済みのブロックも、ＩＮＴＲＡブロックコピー予測のために利用可能である。図１０は、４番目のスレッドの現符号化ツリーブロックに対するこの実施形態を示す。デコーダ側では、現符号化ツリーブロックに対するＩＮＴＲＡブロックコピー予測子はこの領域だけに由来する。これは、スレッドの間の１つ符号化ツリーブロックの後れ時間を用いるエンコーダに対応する。   In one embodiment, all coding tree blocks (CTBs) located to the left of the diagonal block group starting at the top right of the current coding tree block and ending at the top of the image are available for INTRA block copy prediction. It is. The aforementioned oblique block group has a step (i.e., stepped), following a line that advances one CTB in the positive direction along the x axis and then one CTB in the negative direction along the y axis. Follow the path until the line reaches the top of the image. In addition, any already reconstructed CTB of the current CTB row (thread) and any reconstructed block of the current CTB are also available for INTRA block copy prediction. FIG. 10 shows this embodiment for the current coding tree block of the fourth thread. On the decoder side, the INTRA block copy predictor for the current coding tree block comes only from this region. This corresponds to an encoder that uses one coding tree block back time between threads.

すなわち、この実施形態では、ＩＮＴＲＡブロックコピーモードに対する探索範囲は、
Ｙ≦Ｙ０、且つ（Ｘ−Ｘ０）≦−（Ｙ−Ｙ０）
となるような座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域。 That is, in this embodiment, the search range for the INTRA block copy mode is
Y ≦ Y 0 and (X−X 0 ) ≦ − (Y−Y 0 )
A region constituted by a group of coding tree blocks having coordinates (X, Y) such that

別の実施形態において、現符号化ブロックの再構築済みブロックに加え、斜め方向ブロック群の左側の全ての符号化ツリーブロックは、２つ符号化ブロック遅れでＩＮＴＲＡブロックコピー予測のために利用可能である。図１１は、４番目のスレッドの現符号化ツリーブロックに対するこの実施形態を示す。   In another embodiment, in addition to the reconstructed block of the current coding block, all coding tree blocks on the left side of the diagonal block group are available for INTRA block copy prediction with a delay of two coding blocks. is there. FIG. 11 shows this embodiment for the current coding tree block of the fourth thread.

すなわち、この実施形態では、ＩＮＴＲＡブロックコピーモードに対する探索範囲は、
Ｙ≦Ｙ０、且つ（Ｘ−Ｘ０）≦−２（Ｙ−Ｙ０）
となるような座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域。 That is, in this embodiment, the search range for the INTRA block copy mode is
Y ≦ Y 0 and (X−X 0 ) ≦ −2 (Y−Y 0 )
A region constituted by a group of coding tree blocks having coordinates (X, Y) such that

この実施形態は、最初のものに比べて符号化効率を増加させるが、図１１に示されているように、この探索範囲はスレッド間の後れ時間を増加させる可能性がある。   This embodiment increases the coding efficiency compared to the first, but as shown in FIG. 11, this search range can increase the lag time between threads.

別の実施形態において、ＩＮＴＲＡブロックコピー予測のために、現符号化ブロックの再構築済みブロックに加え、前の符号化ツリーブロックラインについては１つ符号化ツリーブロックの後れ、全ての他の前の符号化ツリーブロックラインは２つ符号化ツリーブロックの後れで、斜め方向ブロック群の左側の全ての符号化ツリーブロックが利用可能である。図１２は、４番目のスレッドの現符号化ツリーブロックに対するこの実施形態を示す。これは、現符号化ツリーブロックの復号のため再構築済みの右上符号化ユニットを利用可能にするために、スレッドの間で２つ符号化ツリーブロックの遅れでフレームを復号するデコーダに対応する。この領域は、デコーダのウェーブフロント処理に対しより深く専用化される。   In another embodiment, for INTRA block copy prediction, in addition to the reconstructed block of the current coding block, one previous coding tree block line for the previous coding tree block line and all other previous ones. This coding tree block line is behind two coding tree blocks, and all the coding tree blocks on the left side of the diagonal block group can be used. FIG. 12 shows this embodiment for the current coding tree block of the fourth thread. This corresponds to a decoder that decodes a frame with a delay of two coding tree blocks between threads in order to make available the reconstructed upper right coding unit for decoding of the current coding tree block. This area is more deeply dedicated to the decoder wavefront processing.

すなわち、この実施形態では、ＩＮＴＲＡブロックコピーモードに対する探索範囲は、
Ｙ≦Ｙ０、且つ（Ｘ−Ｘ０）＜−２（Ｙ−Ｙ０）
となるような座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域。 That is, in this embodiment, the search range for the INTRA block copy mode is
Y ≦ Y 0 and (X−X 0 ) <− 2 (Y−Y 0 )
A region constituted by a group of coding tree blocks having coordinates (X, Y) such that

１つの実施形態において、一スレッドの各ＩＮＴＲＡブロックコピーのブロックは、この同じスレッドによって再構築されたブロックだけにアクセスが可能である。これは、エンコーダ側での、ＩＮＴＲＡブロックコピーのための符号化ツリーブロックラインの探索領域の使用に対応する。この実施形態は、ウェーブフロント処理に対するフレキシブルな復号を提供する。実際上、ＩＮＴＲＡブロックコピーを使わない実装に比べ、符号化ツリーブロックラインの間の追加的な依存性はないが、この実施形態は符号化効率を低下させる。   In one embodiment, each INTRA block copy block of a thread can only access the blocks reconstructed by this same thread. This corresponds to the use of the search area of the coding tree block line for the INTRA block copy at the encoder side. This embodiment provides flexible decoding for wavefront processing. In practice, there is no additional dependency between coding tree block lines compared to implementations that do not use INTRA block copy, but this embodiment reduces coding efficiency.

すなわち、この実施形態では、ＩＮＴＲＡブロックコピーモードに対する探索範囲は、
Ｘ≦Ｘ０、且つＹ＝Ｙ０
となるような座標（Ｘ，Ｙ）の符号化ツリーブロック群によって構成される領域。 That is, in this embodiment, the search range for the INTRA block copy mode is
X ≦ X 0 and Y = Y 0
A region constituted by a group of coding tree blocks having coordinates (X, Y) such that

或る特定の実施形態において、ウェーブフロントが可能にされているとき、エンコーダおよびデコーダの両方が、必要な数のスレッドを備えたウェーブフロント並列化を用いる。さらに、この実施形態に対してはこれらスレッドが同期化される。これは、各スレッドが、後続の符号化ツリーブロックの復号を開始する前に、他のスレッドの全ての符号化ツリーブロックの復号の終了を待つことを意味する。この場合、エンコーダおよびデコーダにおいて、全ブロックの再構築が符号化ツリーブロックレベルで同期化される。この実施形態では、或るスレッドのＩＮＴＲＡブロックコピーブロックは、全ての利用可能な再構築済み符号化ツリーブロックに、たとえ対象符号化ツリーブロックが下側の符号化ツリーブロックライン中に在ってもアクセスできる。例えば、図１２では、各復号済み符号化ツリーブロックの各ＩＮＴＲＡブロックコピーブロック（Ｘでマークされている）は、従来式実装中のスレッド４の全ての利用可能なデータにアクセスできる。さらに、或る符号化ツリーブロックの各ブロックは、それ自体の符号化ツリーブロックの全ての再構築済みブロックにアクセスすることが可能である。この実施形態の利点は、それが各符号化ツリーブロックに対するブロックの平均数を増加させ、可能な予測の不足に起因して、他の後続の符号化ツリーブロックラインに比べてビットレートが一般により高い１番目の符号化ツリーブロックラインに対する探索領域を増大させることである。この実施形態では、単一スレッドデコーダが複数スレッドデコーダと同じ復号結果を得られることに留意されたい。実際上、符号化ツリーブロックの同期化だけが必須である。   In certain embodiments, when wavefront is enabled, both the encoder and decoder use wavefront parallelization with the required number of threads. Furthermore, these threads are synchronized for this embodiment. This means that each thread waits for the end of decoding of all the coding tree blocks of other threads before starting to decode the subsequent coding tree block. In this case, in the encoder and decoder, the reconstruction of all blocks is synchronized at the coding tree block level. In this embodiment, a thread's INTRA block copy block is present in all available reconstructed coding tree blocks, even if the target coding tree block is in the lower coding tree block line. Accessible. For example, in FIG. 12, each INTRA block copy block (marked with X) of each decoded encoded tree block has access to all available data for thread 4 in a conventional implementation. Furthermore, each block of a coding tree block can access all the reconstructed blocks of its own coding tree block. The advantage of this embodiment is that it increases the average number of blocks for each coding tree block, and the bit rate is generally higher than other subsequent coding tree block lines due to possible lack of prediction. Increasing the search area for the high first coding tree block line. Note that in this embodiment, a single thread decoder can obtain the same decoding results as a multi-thread decoder. In practice, only the synchronization of the coding tree block is essential.

図１３は、２つＣＴＢ後れに対し、単一スレッドデコーダ実装が使われた場合のＣＴＢの復合順序を示す。考慮されている後れが１つＣＴＢの場合は別の順序が必要である。   FIG. 13 shows the CTB decoding order when a single thread decoder implementation is used for two CTB delays. A different order is needed if one back-to-back is considered CTB.

図１４は、本発明の１つ以上の実施形態の実装のためのコンピューティングデバイス１４００の概略ブロック図である。コンピューティングデバイス１４００は、マイクロコンピュータ、ワークステーション、または軽量携帯デバイスなどのデバイスであってよい。コンピューティングデバイス１４００は、以下に接続された通信バスを含む：
− マイクロプロセッサなど、ＣＰＵとも呼ばれる中央処理ユニット１４０１；
− 本発明の実施形態の方法の実行コード、ならびに本発明の実施形態による、画像の少なくとも部分を符号化または復号する方法を実装するために必要な変数およびパラメータを記録するようになされたレジスタを格納するための、ＲＡＭとも呼ばれるランダムアクセスメモリ１４０２であって、そのメモリ容量は、例えば拡張ポートに接続された随意的ＲＡＭによって拡張可能な、該ランダムアクセスメモリ；
− 本発明の実施形態を実装するためのコンピュータプログラムを格納するための、ＲＯＭとも呼ばれる読み取り専用メモリ１４０３
− ネットワークインターフェース１４０４は、通常、通信ネットワークに接続され、それを介して処理対象のデジタルデータが送信または受信される。
ネットワークインターフェース１４０４は単一のネットワークインターフェースとすることも、各種のネットワークインターフェース（例えば、有線およびワイヤレスインターフェース、または各種の有線またはワイヤレスインターフェース群）のセットで構成することも可能である。ＣＰＵ１４０１中で実行されるソフトウェアアプリケーションの制御の下で、データパケットが、送信のためネットワークインターフェースに書き込まれ、あるいは受信のためネットワークインターフェースから読み取られる；
− ユーザインターフェース１４０５は、ユーザからの入力を受信するため、あるいはユーザに情報を表示するために使うことができる；
− ＨＤとも呼ばれるハードディスク１４０６は、大量ストレージデバイスとして設けることが可能である。
− Ｉ／Ｏモジュール１４０７は、映像源またはディスプレイなどの外部デバイスとの間でデータを受信／送信するために使うことができる。 FIG. 14 is a schematic block diagram of a computing device 1400 for implementation of one or more embodiments of the invention. The computing device 1400 may be a device such as a microcomputer, workstation, or lightweight portable device. The computing device 1400 includes a communication bus connected to:
A central processing unit 1401, also called a CPU, such as a microprocessor;
-An execution code of the method of the embodiment of the invention, and a register adapted to record the variables and parameters necessary to implement the method of encoding or decoding at least a part of an image according to an embodiment of the invention; A random access memory 1402, also referred to as a RAM, for storing, the memory capacity of which can be expanded by, for example, an optional RAM connected to an expansion port;
A read only memory 1403, also referred to as ROM, for storing a computer program for implementing an embodiment of the present invention;
-The network interface 1404 is usually connected to a communication network, through which digital data to be processed is transmitted or received.
The network interface 1404 may be a single network interface or may be configured with a set of various network interfaces (eg, wired and wireless interfaces, or various wired or wireless interface groups). Under the control of a software application executing in the CPU 1401, data packets are written to the network interface for transmission or read from the network interface for reception;
The user interface 1405 can be used to receive input from the user or to display information to the user;
The hard disk 1406, also referred to as HD, can be provided as a mass storage device.
The I / O module 1407 can be used to receive / transmit data to / from an external device such as a video source or a display.

実行可能コードは、読み取り専用メモリ１４０３中、ハードディスク１４０６上、または例えばディスクなどのリムーバブルデジタル媒体上のいずれかに格納することが可能である。別形によれば、プログラムの実行可能コードは、実行される前に、ハードディスク１４０６など通信デバイス１４００のストレージ手段の１つの中に格納するために、ネットワークインターフェース１４０４を介し通信ネットワークを用いて受信することができる。   The executable code can be stored either in the read-only memory 1403, on the hard disk 1406, or on a removable digital medium such as a disk. According to another form, the executable code of the program is received using the communication network via the network interface 1404 for storage in one of the storage means of the communication device 1400, such as the hard disk 1406, before being executed. be able to.

中央処理ユニット１４０１は、本発明の実施形態によるプログラムまたはプログラム群の命令またはソフトウェアコードの部分、の実行を制御および命令するようになされており、これら命令は前述のストレージ手段の１つの中に格納される。電源が入った後、ＣＰＵ１４０１は、当該命令が、例えばプログラムＲＯＭ１４０３またはハードディスク（ＨＤ：ｈａｒｄ−ｄｉｓｃ）１４０６からロードされた後、主ＲＡＭメモリ１４０２からのソフトウェアアプリケーションに関する命令を実行することができる。かかるソフトウェアアプリケーションは、ＣＰＵ１４０１に実行されると、本明細書に記載のフローチャートのステップを遂行させる。   Central processing unit 1401 is adapted to control and direct the execution of instructions or portions of software code of a program or group of programs according to embodiments of the present invention, which instructions are stored in one of the aforementioned storage means. Is done. After the power is turned on, the CPU 1401 can execute an instruction related to the software application from the main RAM memory 1402 after the instruction is loaded from, for example, the program ROM 1403 or the hard disk (HD: hard-disc) 1406. When the software application is executed by the CPU 1401, the steps of the flowcharts described in the present specification are performed.

本明細書に記載のアルゴリズムのどのステップも、ＰＣ（「Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ（パーソナルコンピュータ）」）、ＤＳＰ（「Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ（デジタル信号プロセッサ）」）、またはマイクロコントローラなどのプログラム可能コンピューティングマシンによる、命令セットまたはプログラムの実行によってソフトウェアの中に実装すること、あるいは、ＦＰＧＡ（「Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（フィールドプログラマブルゲートアレイ）」）またはＡＳＩＣ（「Ａｐｐｌｉｃａｔｉｏｎ−Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（特定用途集積回路）」）などのマシンまたは専用部品によってハードウェアの中に別途に実装すること、が可能である。   Any step of the algorithm described herein may be performed by a programmable computing machine, such as a PC (“Personal Computer”), DSP (“Digital Signal Processor”), or microcontroller. Implementation in software by instruction set or program execution, or FPGA ("Field-Programmable Gate Array") or ASIC ("Application-Specific Integrated Circuit") Separately mounted in hardware using a machine such as And, it is possible.

特定の実施形態を参照しながら、本発明を上記で説明してきたが、本発明は、これら特定の実施形態に限定されるものでなく、当業者には諸修改が明白であろうがそれらの修改は本発明の範囲に含まれる。   Although the present invention has been described above with reference to specific embodiments, the present invention is not limited to these specific embodiments and modifications will be apparent to those skilled in the art. Modifications are within the scope of the present invention.

当業者には、前述の例示的な実施形態を参照することにより、多くのさらなる修改および変形が浮かぶであろうが、これらの実施形態は、例としてだけ提示されており本発明の範囲を限定するものでなく、発明の範囲は添付の特許請求の範囲によってのみ定められる。具体的には、適切な場合、各種実施形態からの各種の特徴を置き換えることが可能である。   Many additional modifications and variations will occur to those skilled in the art by reference to the above-described exemplary embodiments, which are presented by way of example only and limit the scope of the invention. Rather, the scope of the invention is defined only by the appended claims. Specifically, various features from various embodiments can be substituted where appropriate.

特許請求の範囲中の、用語「含む」は他の要素またはステップを排除するものではなく、不定冠詞「或る（ａまたはａｎ）」は複数を排除しない。相異なる従属請求項において述べられる相異なる特徴は、これらの特徴の組み合わせが有利に使用できないことを示すものではない。   In the claims, the term “comprising” does not exclude other elements or steps, and the indefinite article “a” or “an” does not exclude a plurality. The different features stated in the different dependent claims do not indicate that a combination of these features cannot be used to advantage.

Claims (16)

画像を符号化する方法であって、前記画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのかかるモードは、前記ブロックが、前記現画像のブロックである予測子ブロックに基づいて符号化されるモードであり、前記方法は、
前記１つのモードに対し、前記探索領域を、前記現符号化ツリーブロックおよび座標（Ｘ，Ｙ）を有する符号化ツリーブロックの、一切の再構築済みブロックによって構成される領域として定めるステップを含み、前記座標は、
Ｙ≦Ｙ０、且つ（Ｘ−Ｘ０）≦−（Ｙ−Ｙ０）であり、
前式のＸは前記水平座標を表し、Ｙは前記垂直座標を表し、前記起点は前記画像の最上部左コーナーであり、（Ｘ０，Ｙ０）は前記現符号化ツリーブロックの前記座標である、
方法。 A method of encoding an image, the image comprising a plurality of coding tree blocks composed of blocks of pixels, each block of pixels being encoded by a mode from a plurality of modes, Such a mode is a mode in which the block is encoded based on a predictor block that is a block of the current image, and the method comprises:
Defining, for the one mode, the search area as an area composed of any reconstructed blocks of the current coding tree block and the coding tree block having coordinates (X, Y); The coordinates are
Y ≦ Y 0 and (X−X 0 ) ≦ − (Y−Y 0 ),
X in the previous equation represents the horizontal coordinate, Y represents the vertical coordinate, the origin is the top left corner of the image, and (X 0 , Y 0 ) is the coordinate of the current coding tree block. is there,
Method. 符号化がウェーブフロント並列処理を用いて行われる、請求項１に記載の方法。   The method of claim 1, wherein the encoding is performed using wavefront parallel processing. 画像を復号する方法であって、前記画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのかかるモードは、前記ブロックが、前記現画像のブロックである予測子ブロックに基づいて復号されるモードであり、前記方法は、前記１つのモードに対し、前記予測子ブロックを得ることの可能な領域を、前記現符号化ツリーブロックおよび座標（Ｘ，Ｙ）を有する符号化ツリーブロックの、一切の再構築済みブロックによって構成される領域に限定するステップを含み、前記座標は、
Ｙ≦Ｙ０、且つ（Ｘ−Ｘ０）≦−（Ｙ−Ｙ０）であり、
前式のＸは前記水平座標を表し、Ｙは前記垂直座標を表し、前記起点は前記画像の最上部左コーナーであり、（Ｘ０，Ｙ０）は前記現符号化ツリーブロックの前記座標である、
方法。 A method for decoding an image, the image comprising a plurality of coding tree blocks composed of blocks of pixels, each block of pixels being encoded by a mode from a plurality of modes, one such The mode is a mode in which the block is decoded based on a predictor block that is a block of the current image, and the method determines an area in which the predictor block can be obtained for the one mode. Limiting the area of the current coding tree block and the coding tree block having coordinates (X, Y) to a region constituted by any reconstructed block,
Y ≦ Y 0 and (X−X 0 ) ≦ − (Y−Y 0 ),
X in the previous equation represents the horizontal coordinate, Y represents the vertical coordinate, the origin is the top left corner of the image, and (X 0 , Y 0 ) is the coordinate of the current coding tree block. is there,
Method. 復号がウェーブフロント並列処理を用いて行われる、請求項３に記載の方法。   The method of claim 3, wherein decoding is performed using wavefront parallel processing. 画像を符号化するためのデバイスであって、前記画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって符号化され、１つのかかるモードは、前記ブロックが、前記現画像のブロックである予測子ブロックに基づいて符号化されるモードであり、前記デバイスは、
前記１つのモードに対し、前記探索領域を、前記現符号化ツリーブロックおよび座標（Ｘ，Ｙ）を有する符号化ツリーブロックの、一切の再構築済みブロックによって構成される領域として定めるための手段を含み、前記座標は、
Ｙ≦Ｙ０、且つ（Ｘ−Ｘ０）≦−（Ｙ−Ｙ０）であり、
前式のＸは前記水平座標を表し、Ｙは前記垂直座標を表し、前記起点は前記画像の最上部左コーナーであり、（Ｘ０，Ｙ０）は前記現符号化ツリーブロックの前記座標である、
デバイス。 A device for encoding an image, wherein the image includes a plurality of encoding tree blocks composed of blocks of pixels, each block of pixels being encoded by a mode from a plurality of modes; One such mode is a mode in which the block is encoded based on a predictor block that is a block of the current image, and the device includes:
Means for defining, for the one mode, the search area as an area composed of any reconstructed blocks of the current coding tree block and the coding tree block having coordinates (X, Y); Including the coordinates
Y ≦ Y 0 and (X−X 0 ) ≦ − (Y−Y 0 ),
X in the previous equation represents the horizontal coordinate, Y represents the vertical coordinate, the origin is the top left corner of the image, and (X 0 , Y 0 ) is the coordinate of the current coding tree block. is there,
device. 画像を復号するためのデバイスであって、前記画像は、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは複数のモードからの或るモードによって復号され、１つのかかるモードは、前記ブロックが、前記現画像のブロックである予測子ブロックに基づいて復号されるモードであり、前記デバイスは、
前記予測子ブロックを得ることの可能な領域を、前記現符号化ツリーブロックおよび座標（Ｘ，Ｙ）の前記符号化ツリーブロックの、前記再構築済みブロックによって構成される領域に限定するための手段を含み、前記座標は、
Ｙ≦Ｙ０、且つ（Ｘ−Ｘ０）≦−（Ｙ−Ｙ０）であり、
前式のＸは前記水平座標を表し、Ｙは前記垂直座標を表し、前記起点は前記画像の最上部左コーナーであり、（Ｘ０，Ｙ０）は前記現符号化ツリーブロックの前記座標である、
デバイス。 A device for decoding an image, the image comprising a plurality of coding tree blocks composed of blocks of pixels, each block of pixels being decoded by a mode from a plurality of modes, Such a mode is a mode in which the block is decoded based on a predictor block that is a block of the current image, and the device includes:
Means for limiting the area from which the predictor block can be obtained to the area constituted by the reconstructed block of the current coding tree block and the coding tree block of coordinates (X, Y) And the coordinates are
Y ≦ Y 0 and (X−X 0 ) ≦ − (Y−Y 0 ),
X in the previous equation represents the horizontal coordinate, Y represents the vertical coordinate, the origin is the top left corner of the image, and (X 0 , Y 0 ) is the coordinate of the current coding tree block. is there,
device. 画像を符号化および復号するためのシステムであって、前記システムは、請求項５に記載の画像を符号化するためのエンコーダと、請求項６に記載の画像を復号するためのデバイスとを含む、システム。   A system for encoding and decoding an image, the system comprising an encoder for encoding an image according to claim 5 and a device for decoding the image according to claim 6. ,system. 符号化のための前記デバイスおよび復号のための前記デバイスが、ウェーブフロント並列処理を用いるように構成される、請求項７に記載のシステム。   The system of claim 7, wherein the device for encoding and the device for decoding are configured to use wavefront parallel processing. 符号化のためのデバイスおよび復号のための前記デバイスが、前記画像をそれぞれ符号化し、復号するための同じ数の同期化スレッドを用いるように構成される、請求項８に記載のシステム。   9. The system of claim 8, wherein a device for encoding and the device for decoding are configured to use the same number of synchronization threads for encoding and decoding the images, respectively. 符号化画像を含むビットストリームであって、符号化画像は、請求項１に記載の前記方法によって符号化されている、ビットストリーム。   A bitstream including an encoded image, wherein the encoded image is encoded by the method of claim 1. 画像の符号化シーケンスを含むビットストリームであって、前記画像はそれぞれ、画素のブロックで構成された複数の符号化ツリーブロックを含み、画素の各ブロックは、複数のモードの或るモードによって符号化されており、１つのモードは、前記ブロックが、前記現画像のブロックである予測子ブロックに基づいて符号化されるモードであり、前記ビットストリームによって示される一切の予測子ブロックの前記位置は、前記現符号化ツリーブロックおよび座標（Ｘ，Ｙ）を有する符号化ツリーブロックの一切の再構築済みブロックによって構成される領域、に限定され、前記座標は、
Ｙ≦Ｙ０、且つ（Ｘ−Ｘ０）≦−（Ｙ−Ｙ０）であり、
前式のＸは前記水平座標を表し、Ｙは前記垂直座標を表し、前記起点は画像の最上部左コーナーであり、（Ｘ０，Ｙ０）は前記現符号化ツリーブロックの前記座標である、
ビットストリーム。 A bitstream containing an encoding sequence of images, each of the images comprising a plurality of coding tree blocks composed of blocks of pixels, each block of pixels being encoded by a mode of a plurality of modes One mode is a mode in which the block is encoded based on a predictor block that is a block of the current image, and the position of any predictor block indicated by the bitstream is Limited to the region formed by the current coding tree block and any reconstructed block of the coding tree block having coordinates (X, Y), where the coordinates are
Y ≦ Y 0 and (X−X 0 ) ≦ − (Y−Y 0 ),
In the previous equation, X represents the horizontal coordinate, Y represents the vertical coordinate, the origin is the top left corner of the image, and (X 0 , Y 0 ) is the coordinate of the current coding tree block. ,
Bitstream. 請求項１１に記載のビットストリームを搬送する搬送媒体。   A carrier medium for carrying the bitstream according to claim 11. 前記搬送媒体が、前記ビットストリームを格納するストレージ媒体である、請求項１２に記載の搬送媒体。   The carrier medium according to claim 12, wherein the carrier medium is a storage medium for storing the bitstream. 前記搬送媒体が、前記ビットストリームを具現化する信号である、請求項１２に記載の搬送媒体。   The carrier medium according to claim 12, wherein the carrier medium is a signal that embodies the bit stream. プログラム可能装置のためのコンピュータプログラム製品であって、前記コンピュータプログラム製品は、前記プログラム可能装置中にロードされ実行されると、請求項１〜４のいずれか１項に記載の方法を実装するための命令のシーケンスを含む、コンピュータプログラム製品。   A computer program product for a programmable device, wherein the computer program product, when loaded and executed in the programmable device, implements the method according to any one of claims 1 to 4. A computer program product containing a sequence of instructions. 請求項１〜４のいずれか１項に記載の方法を実装するためのコンピュータプログラムの命令を格納するコンピュータ可読ストレージ媒体。   A computer readable storage medium storing instructions of a computer program for implementing the method of any one of claims 1 to 4.
JP2017517079A 2014-10-06 2015-10-06 Image encoding method, image decoding method, image encoding device, image decoding device, and program Active JP6590918B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1417634.1A GB2531001B (en) 2014-10-06 2014-10-06 Method and apparatus for vector encoding in video coding and decoding
GB1417634.1 2014-10-06
PCT/EP2015/073060 WO2016055484A1 (en) 2014-10-06 2015-10-06 Method and apparatus for vector encoding in video coding and decoding

Publications (3)

Publication Number Publication Date
JP2017535150A true JP2017535150A (en) 2017-11-24
JP2017535150A5 JP2017535150A5 (en) 2018-11-08
JP6590918B2 JP6590918B2 (en) 2019-10-16

Family

ID=51946909

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017517079A Active JP6590918B2 (en) 2014-10-06 2015-10-06 Image encoding method, image decoding method, image encoding device, image decoding device, and program

Country Status (8)

Country Link
US (1) US11051037B2 (en)
EP (1) EP3205091B1 (en)
JP (1) JP6590918B2 (en)
KR (1) KR102076398B1 (en)
CN (1) CN106797464B (en)
GB (1) GB2531001B (en)
RU (2) RU2684200C2 (en)
WO (1) WO2016055484A1 (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020018486A1 (en) * 2018-07-18 2020-01-23 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus of video coding using history-based motion vector prediction
JP2022518553A (en) * 2019-02-02 2022-03-15 北京字節跳動網絡技術有限公司 Buffer initialization for intra-block copy in video coding
JP2022542115A (en) * 2019-07-25 2022-09-29 北京字節跳動網絡技術有限公司 Mapping limits for intra-block copy virtual buffers
US11523107B2 (en) 2019-07-11 2022-12-06 Beijing Bytedance Network Technology Co., Ltd. Bitstream conformance constraints for intra block copy in video coding
US11528476B2 (en) 2019-07-10 2022-12-13 Beijing Bytedance Network Technology Co., Ltd. Sample identification for intra block copy in video coding
US11546581B2 (en) 2019-03-04 2023-01-03 Beijing Bytedance Network Technology Co., Ltd. Implementation aspects in intra block copy in video coding
US11575888B2 (en) 2019-07-06 2023-02-07 Beijing Bytedance Network Technology Co., Ltd. Virtual prediction buffer for intra block copy in video coding
US11638004B2 (en) 2019-09-23 2023-04-25 Beijing Bytedance Network Technology Co., Ltd. Setting intra-block copy virtual buffer based on virtual pipeline data unit
US11778176B2 (en) 2020-03-18 2023-10-03 Beijing Bytedance Network Technology Co., Ltd. Intra block copy buffer and palette predictor update
US11882287B2 (en) 2019-03-01 2024-01-23 Beijing Bytedance Network Technology Co., Ltd Direction-based prediction for intra block copy in video coding
US12003745B2 (en) 2019-02-02 2024-06-04 Beijing Bytedance Network Technology Co., Ltd Buffer updating for intra block copy in video coding

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10432966B2 (en) * 2015-04-13 2019-10-01 Mediatek Inc. Methods of constrained intra block copy for reducing worst case bandwidth in video coding
WO2018076336A1 (en) * 2016-10-31 2018-05-03 富士通株式会社 Video decoding method, video decoding apparatus and electronic device
FR3068557A1 (en) * 2017-07-05 2019-01-04 Orange METHOD FOR ENCODING AND DECODING IMAGES, CORRESPONDING ENCODING AND DECODING DEVICE AND COMPUTER PROGRAMS
FR3068558A1 (en) 2017-07-05 2019-01-04 Orange METHOD FOR ENCODING AND DECODING IMAGES, CORRESPONDING ENCODING AND DECODING DEVICE AND COMPUTER PROGRAMS
FR3062010A1 (en) 2017-07-05 2018-07-20 Orange METHODS AND DEVICES FOR ENCODING AND DECODING A DATA STREAM REPRESENTATIVE OF AN IMAGE SEQUENCE
CN118138777A (en) * 2018-06-01 2024-06-04 夏普株式会社 Image decoding device and image encoding device
US11159788B2 (en) * 2018-08-03 2021-10-26 Mediatek Inc. Method and apparatus of enhanced Intra Block Copying mode for video coding
WO2020108574A1 (en) * 2018-11-28 2020-06-04 Beijing Bytedance Network Technology Co., Ltd. Improving method for transform or quantization bypass mode
WO2020125798A1 (en) 2018-12-22 2020-06-25 Beijing Bytedance Network Technology Co., Ltd. Intra block copy mode with dual tree partition
EP3902259A4 (en) * 2018-12-21 2022-09-07 Sony Group Corporation Image processing device and method
CN113170194A (en) * 2019-01-02 2021-07-23 北京字节跳动网络技术有限公司 Simplification of hash-based motion search
US11252442B2 (en) * 2019-04-08 2022-02-15 Tencent America LLC Method and apparatus for video coding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015143346A1 (en) * 2014-03-21 2015-09-24 Qualcomm Incorporated Search region determination for intra block copy in video coding
WO2016004850A1 (en) * 2014-07-07 2016-01-14 Mediatek Singapore Pte. Ltd. Method of intra block copy search and compensation range

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2322770C2 (en) * 2002-04-23 2008-04-20 Нокиа Корпорейшн Method and device for indication of quantizer parameters in video encoding system
CN101064849A (en) * 2006-04-29 2007-10-31 鲁海宁 Dynamic image coding method, apparatus and computer readable record medium
US9617683B2 (en) * 2010-03-23 2017-04-11 Toray Industries, Inc. Separation membrane and method for producing same
US8837592B2 (en) * 2010-04-14 2014-09-16 Mediatek Inc. Method for performing local motion vector derivation during video coding of a coding unit, and associated apparatus
US8837577B2 (en) * 2010-07-15 2014-09-16 Sharp Laboratories Of America, Inc. Method of parallel video coding based upon prediction type
WO2012044707A1 (en) 2010-10-01 2012-04-05 General Instrument Corporation Coding and decoding utilizing picture boundary variability in flexible partitioning
US20130121417A1 (en) 2011-11-16 2013-05-16 Qualcomm Incorporated Constrained reference picture sets in wave front parallel processing of video data
US9332259B2 (en) * 2012-01-18 2016-05-03 Qualcomm Incorporated Indication of use of wavefront parallel processing in video coding
US9838684B2 (en) * 2012-04-11 2017-12-05 Qualcomm Incorporated Wavefront parallel processing for video coding
US10390034B2 (en) * 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
WO2015194394A1 (en) * 2014-06-20 2015-12-23 ソニー株式会社 Image encoding apparatus and method, and image decoding apparatus and method
MX2017004211A (en) * 2014-09-30 2017-11-15 Microsoft Technology Licensing Llc Rules for intra-picture prediction modes when wavefront parallel processing is enabled.
WO2016123398A2 (en) * 2015-01-29 2016-08-04 Vid Scale, Inc. Intra-block copy searching

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015143346A1 (en) * 2014-03-21 2015-09-24 Qualcomm Incorporated Search region determination for intra block copy in video coding
WO2016004850A1 (en) * 2014-07-07 2016-01-14 Mediatek Singapore Pte. Ltd. Method of intra block copy search and compensation range
JP2017525267A (en) * 2014-07-07 2017-08-31 寰發股▲ふん▼有限公司ＨＦＩ Ｉｎｎｏｖａｔｉｏｎ Ｉｎｃ． Intra-block copy search and coverage method

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BIN LI AND JIZHENG XU: "On WPP with palette mode and intra BC mode", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-S0088, JPN6019017902, October 2014 (2014-10-01), pages 1 - 8, ISSN: 0004036581 *
GUILLAUME LAROCHE ET AL.: "AHG14: On IBC constraint for Wavefront Parallel Processing", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-S0070, JPN6019017901, October 2014 (2014-10-01), pages 1 - 5, ISSN: 0004036580 *
POLIN LAI ET AL.: "AHG14: Intra Block Copy reference area for Wavefront Parallel Procsssing (WPP)", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-S0101_r1, JPN6019017903, October 2014 (2014-10-01), pages 1 - 4, ISSN: 0004036582 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11991386B2 (en) 2018-07-18 2024-05-21 Beijing Dajia Interent Information Technology Co., Ltd. Methods and apparatus of video coding using history-based motion vector prediction
US11575929B2 (en) 2018-07-18 2023-02-07 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus of video coding using history-based motion vector prediction
WO2020018486A1 (en) * 2018-07-18 2020-01-23 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus of video coding using history-based motion vector prediction
US11792422B2 (en) 2018-07-18 2023-10-17 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus of video coding using history-based motion vector prediction
JP2022518553A (en) * 2019-02-02 2022-03-15 北京字節跳動網絡技術有限公司 Buffer initialization for intra-block copy in video coding
US12003745B2 (en) 2019-02-02 2024-06-04 Beijing Bytedance Network Technology Co., Ltd Buffer updating for intra block copy in video coding
US11882287B2 (en) 2019-03-01 2024-01-23 Beijing Bytedance Network Technology Co., Ltd Direction-based prediction for intra block copy in video coding
US11956438B2 (en) 2019-03-01 2024-04-09 Beijing Bytedance Network Technology Co., Ltd. Direction-based prediction for intra block copy in video coding
US11985308B2 (en) 2019-03-04 2024-05-14 Beijing Bytedance Network Technology Co., Ltd Implementation aspects in intra block copy in video coding
US11546581B2 (en) 2019-03-04 2023-01-03 Beijing Bytedance Network Technology Co., Ltd. Implementation aspects in intra block copy in video coding
US11575888B2 (en) 2019-07-06 2023-02-07 Beijing Bytedance Network Technology Co., Ltd. Virtual prediction buffer for intra block copy in video coding
US11936852B2 (en) 2019-07-10 2024-03-19 Beijing Bytedance Network Technology Co., Ltd. Sample identification for intra block copy in video coding
US11528476B2 (en) 2019-07-10 2022-12-13 Beijing Bytedance Network Technology Co., Ltd. Sample identification for intra block copy in video coding
US11523107B2 (en) 2019-07-11 2022-12-06 Beijing Bytedance Network Technology Co., Ltd. Bitstream conformance constraints for intra block copy in video coding
JP2022542115A (en) * 2019-07-25 2022-09-29 北京字節跳動網絡技術有限公司 Mapping limits for intra-block copy virtual buffers
US11638004B2 (en) 2019-09-23 2023-04-25 Beijing Bytedance Network Technology Co., Ltd. Setting intra-block copy virtual buffer based on virtual pipeline data unit
US11778176B2 (en) 2020-03-18 2023-10-03 Beijing Bytedance Network Technology Co., Ltd. Intra block copy buffer and palette predictor update

Also Published As

Publication number Publication date
JP6590918B2 (en) 2019-10-16
CN106797464B (en) 2020-10-30
RU2018126868A (en) 2019-03-13
RU2663348C1 (en) 2018-08-03
GB2531001B (en) 2019-06-05
EP3205091A1 (en) 2017-08-16
US20180302645A1 (en) 2018-10-18
EP3205091B1 (en) 2023-05-17
WO2016055484A1 (en) 2016-04-14
RU2684200C2 (en) 2019-04-04
GB2531001A (en) 2016-04-13
KR102076398B1 (en) 2020-02-11
GB201417634D0 (en) 2014-11-19
RU2018126868A3 (en) 2019-03-13
CN106797464A (en) 2017-05-31
KR20170063808A (en) 2017-06-08
US11051037B2 (en) 2021-06-29

Similar Documents

Publication Publication Date Title
JP6590918B2 (en) Image encoding method, image decoding method, image encoding device, image decoding device, and program
JP6882560B2 (en) Image prediction method and equipment
TWI722341B (en) Line buffer reduction for adaptive loop filtering in video coding
US11044473B2 (en) Adaptive loop filtering classification in video coding
JP6983654B2 (en) Intrablock copy prediction limit for parallel processing
EP3158750B1 (en) Intra block copy block vector signaling for video coding
TWI499285B (en) Determining boundary strength values for deblocking filtering for video coding
KR20200139163A (en) Combined position-dependent intra prediction extended with angular modes
US20150350674A1 (en) Method and apparatus for block encoding in video coding and decoding
CN112385234B (en) Apparatus and method for image and video coding
BR112016000863B1 (en) INTERCOR COMPONENT RESIDUAL FORECAST
TW201513640A (en) Bitstream restrictions on picture partitions across layers
US10178405B2 (en) Enhanced coding and decoding using intra block copy mode
JP2014529250A (en) Derivation of reference mode value and encoding and decoding of information representing prediction mode
GB2533905A (en) Method and apparatus for video coding and decoding
CN112385227A (en) Method and apparatus for intra prediction
WO2015145504A1 (en) Image decoding device, image decoding method, and integrated circuit
JP2019022129A (en) Moving picture coding apparatus, moving picture coding method, moving picture decoding apparatus, moving picture decoding method, moving picture coding computer program, and moving picture decoding computer program
US10805611B2 (en) Method and apparatus of constrained sequence header
US9219926B2 (en) Image encoding apparatus, image encoding method and program, image decoding apparatus, image decoding method and program
JP2014230031A (en) Image encoding device and image encoding program
KR102498157B1 (en) Methods for encoding and decoding images, encoding and decoding devices, and corresponding computer programs
CN118301368A (en) Apparatus and method for image and video coding
CN118264817A (en) Apparatus and method for image and video coding

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180927

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180927

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190820

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190917

R151 Written notification of patent or utility model registration

Ref document number: 6590918

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151