JP2021145157A - Image processing apparatus and image processing method - Google Patents

Image processing apparatus and image processing method Download PDF

Info

Publication number
JP2021145157A
JP2021145157A JP2018113350A JP2018113350A JP2021145157A JP 2021145157 A JP2021145157 A JP 2021145157A JP 2018113350 A JP2018113350 A JP 2018113350A JP 2018113350 A JP2018113350 A JP 2018113350A JP 2021145157 A JP2021145157 A JP 2021145157A
Authority
JP
Japan
Prior art keywords
search
area
slice
start position
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018113350A
Other languages
Japanese (ja)
Inventor
遊 仲田
Yu NAKADA
遊 仲田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to JP2018113350A priority Critical patent/JP2021145157A/en
Priority to PCT/JP2019/021903 priority patent/WO2019239931A1/en
Priority to US17/250,160 priority patent/US20210243440A1/en
Publication of JP2021145157A publication Critical patent/JP2021145157A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

To reduce a processing time required for decoding.SOLUTION: A search section divides an access unit constituted by multiple process regions into multiple search regions having sizes different from those of the process regions. The search section further performs a search for a start position of the process region serving as a reference by which to allocate the process regions to multiple decoding sections individually. The search section further starts the search in a likely candidate region formed by the search region highly likely to include the process region start position. The present technology can be applied to an image processing system.SELECTED DRAWING: Figure 16

Description

本技術は、画像処理装置および方法に関し、特に、復号にかかる処理時間を抑えることができるようにした画像処理装置および方法に関する。 The present technology relates to an image processing device and a method, and more particularly to an image processing device and a method capable of reducing the processing time required for decoding.

複数の復号部を有するシステムにおいて、複数のスライスからなるAU(アクセスユニット)の復号を行う際には、処理負荷の分散のために、複数の復号部に対してスライスが割り振られる。複数の復号部にスライスを割り振る場合、スライス毎の開始位置を知る必要がある。 In a system having a plurality of decoding units, when decoding an AU (access unit) composed of a plurality of slices, slices are allocated to the plurality of decoding units in order to distribute the processing load. When allocating slices to a plurality of decoding units, it is necessary to know the start position of each slice.

一般的なスライスの開始位置の探索は、AU全体を先頭から順次探索し、StartCodeを発見することによってNAL UNITを見つけるようにして行われる。見つけられたNAL UNITがスライスNALであれば、スライスの開始位置を表すオフセット値が記憶されて、まだ探していない領域から、次のStartCodeが探索される。スライスNALは、スライスの伝送に用いられるNAL UNITである。この処理をAUの終端まで繰り返すことで、全スライスの開始位置を表すオフセット値が取得され、複数の復号部に割り振るスライスを決めることができる。 The search for the start position of a general slice is performed by searching the entire AU sequentially from the beginning and finding the NAL UNIT by finding the Start Code. If the found NAL UNIT is a slice NAL, the offset value indicating the start position of the slice is stored, and the next Start Code is searched from the area that has not been searched yet. Slice NAL is a NAL UNIT used for slice transmission. By repeating this process until the end of AU, the offset value indicating the start position of all slices is acquired, and the slice to be allocated to a plurality of decoding units can be determined.

しかしながら、全スライスの開始位置を表すオフセット値を得るためには、AUの先頭から最後までStartCodeの探索を行う必要があり、非常に時間がかかってしまう。 However, in order to obtain an offset value indicating the start position of all slices, it is necessary to search the Start Code from the beginning to the end of the AU, which takes a very long time.

そこで、特許文献1においては、ストリームとして符号化する際に、探索のポイントであるStartCodeの出現周期を工夫することで、探索の容易性を上げる提案がなされている。 Therefore, Patent Document 1 proposes to improve the ease of search by devising the appearance cycle of StartCode, which is a search point, when encoding as a stream.

特開2000−236238号公報Japanese Unexamined Patent Publication No. 2000-236238

しかしながら、特許文献1の提案では、StartCodeが周期的に現れるようにするために、本来不要なデータを付加しなければならず、ストリームのサイズの増加を招いてしまう。また、ストリームを符号化する際に工夫したものであり、既に存在するストリームに対して利用することが困難である。 However, in the proposal of Patent Document 1, in order for the Start Code to appear periodically, it is necessary to add originally unnecessary data, which causes an increase in the size of the stream. In addition, it is devised when encoding a stream, and it is difficult to use it for an existing stream.

本技術はこのような状況に鑑みてなされたものであり、復号にかかる処理時間を抑えることができるようにするものである。 The present technology has been made in view of such a situation, and makes it possible to reduce the processing time required for decoding.

本技術の一側面の画像処理装置は、複数の処理領域からなるアクセスユニットを、前記処理領域とは異なるサイズの領域である複数の探索領域に分割し、複数の復号部のそれぞれに前記処理領域を割り振るときの基準となる前記処理領域の開始位置の探索を、前記処理領域の開始位置を含む可能性が高い前記探索領域である有力候補領域から行う探索部を備える。 The image processing device on one aspect of the present technology divides an access unit composed of a plurality of processing areas into a plurality of search areas having a size different from the processing area, and each of the plurality of decoding units has the processing area. The search unit includes a search unit that searches for a start position of the processing area, which is a reference when allocating the above, from a promising candidate area, which is a search area that is likely to include the start position of the processing area.

本技術の一側面においては、複数の処理領域からなるアクセスユニットが、前記処理領域とは異なるサイズの領域である複数の探索領域に分割され、複数の復号部のそれぞれに前記処理領域を割り振るときの基準となる前記処理領域の開始位置の探索が、前記処理領域の開始位置を含む可能性が高い前記探索領域である有力候補領域から行われる。 In one aspect of the present technology, when an access unit composed of a plurality of processing areas is divided into a plurality of search areas having a size different from the processing area, and the processing area is allocated to each of the plurality of decoding units. The search for the start position of the processing region, which is the reference of the above, is performed from the promising candidate region, which is the search region that is likely to include the start position of the processing region.

本技術によれば、復号にかかる処理時間を抑えることができる。 According to this technique, the processing time required for decoding can be suppressed.

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。 The effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.

画像の解像度の増加による復号処理時間への影響の例を示す図である。It is a figure which shows the example of the influence on the decoding processing time by increasing the resolution of an image. AUの分割の例を示す図である。It is a figure which shows the example of the division of AU. スライスを割り振るための処理の例を示す図である。It is a figure which shows the example of the process for allocating a slice. 本技術の一実施形態に係る画像処理システムの構成例を示す図である。It is a figure which shows the configuration example of the image processing system which concerns on one Embodiment of this technique. ストリームの構成例を示す図である。It is a figure which shows the structure example of a stream. 復号装置の簡易的な構成例を示すブロック図である。It is a block diagram which shows the simple structure example of a decoding apparatus. スライスの開始位置の探索処理の第1の例を示す図である。It is a figure which shows the 1st example of the search process of the start position of a slice. スライスの開始位置の探索処理の第2の例を示す図である。It is a figure which shows the 2nd example of the search process of the start position of a slice. スライスの開始位置の探索処理の第3の例を示す図である。It is a figure which shows the 3rd example of the search process of the start position of a slice. AUのサイズを3領域に分割した場合の探索領域例を示す図である。It is a figure which shows the example of the search area when the size of AU is divided into 3 areas. 探索順の他の例を示す図である。It is a figure which shows another example of the search order. 復号装置の簡易的な他の構成例を示すブロック図である。It is a block diagram which shows the other simple configuration example of a decoding apparatus. 図12の復号装置11により行われる、予測担当領域数が3で、復号部の数が3の場合の探索例を示す図である。It is a figure which shows the search example when the number of regions in charge of prediction is 3 and the number of decoding units is 3 performed by the decoding apparatus 11 of FIG. 復号装置の簡易的な他の構成例を示すブロック図である。It is a block diagram which shows the other simple configuration example of a decoding apparatus. 図14の復号装置11により行われる、8スライスを4つの復号部で割り振る例を示す図である。It is a figure which shows the example of allocating 8 slices by 4 decoding units, which is performed by the decoding apparatus 11 of FIG. 復号装置の詳細な構成例を示すブロック図である。It is a block diagram which shows the detailed configuration example of a decoding apparatus. 図16の復号装置の処理を説明するフローチャートである。It is a flowchart explaining the process of the decoding apparatus of FIG. 図17のステップS103のスライスの開始位置の探索処理を説明するフローチャートである。FIG. 5 is a flowchart illustrating a search process for a slice start position in step S103 of FIG. 図17のステップS104におけるスライスの復号処理を説明するフローチャートである。It is a flowchart explaining the decoding process of a slice in step S104 of FIG. 従来のスライスの探索処理を説明するフローチャートである。It is a flowchart explaining the search process of the conventional slice. コンピュータのハードウエア構成例を示すブロック図である。It is a block diagram which shows the hardware configuration example of a computer.

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
1.スライスの探索方法
2.復号装置の詳細
3.コンピュータ
Hereinafter, modes for implementing the present technology will be described. The explanation will be given in the following order.
1. 1. Slice search method 2. Details of decoding device 3. Computer

<1.スライスの探索方法>
<従来の探索方法について>
図1は、画像の解像度の増加による復号処理時間への影響の例を示す図である。
<1. How to search for slices>
<About the conventional search method>
FIG. 1 is a diagram showing an example of the influence of an increase in image resolution on the decoding processing time.

動画像の圧縮手法として、MPEG、AVC、HEVCが広く利用されている。動画像の解像度には時間方向の時間解像度と空間方向の空間解像度の概念が存在するが、近年、この2つの解像度は、どちらも増加の傾向にある。 MPEG, AVC, and HEVC are widely used as video compression methods. There is a concept of temporal resolution in the temporal direction and spatial resolution in the spatial direction in the resolution of moving images, but in recent years, both of these two resolutions have tended to increase.

時間解像度はFramerateで表される。近年、時間解像度をHigh Framerateとして、120fpsやそれ以上のFramerateをサポートするシステムが検討されている。復号部においては、時間解像度が増えた場合、1つのAU(アクセスユニット)に使える復号時間が減少することになる。1つのAUは、動画の1画面(フレーム)に相当する。 The time resolution is represented by Frame rate. In recent years, a system that supports a frame rate of 120 fps or higher with a time resolution of High Frame rate has been studied. In the decoding unit, when the time resolution increases, the decoding time that can be used for one AU (access unit) decreases. One AU corresponds to one screen (frame) of a moving image.

図1の上段の例では、1つのAUの復号にt/3秒だけ使えていたものが、時間解像度が増えることにより、1つのAUの復号にt/7秒しか使えなくなっている。 In the upper example of FIG. 1, only t / 3 seconds can be used for decoding one AU, but as the time resolution increases, only t / 7 seconds can be used for decoding one AU.

一方、空間解像度は画サイズで表される。近年、空間解像度を画サイズとして、4Kに加え、8Kやそれ以上の画サイズをサポートするシステムが検討されている。復号部においては、空間解像度が増えた場合、復号を行う対象が増えて処理量が増加するため、1つのAUの処理時間が増大することになる。 On the other hand, the spatial resolution is represented by the image size. In recent years, a system that supports an image size of 8K or more in addition to 4K with spatial resolution as the image size has been studied. In the decoding unit, when the spatial resolution increases, the number of objects to be decoded increases and the amount of processing increases, so that the processing time of one AU increases.

図1の下段には、画サイズが、縦横それぞれ2倍に増えた例が示されている。 The lower part of FIG. 1 shows an example in which the image size is doubled in each of the vertical and horizontal directions.

これらの解像度の増加に伴い、1つのAUの復号にかけられる時間が短くなる一方であり、動画像を効率よく復号する仕組みが必要となる。その方法としては、復号部自体のHW(ハードウエア)の性能そのものを上げる方法や、性能が高くない複数の復号部を並行して利用することで性能を上げる方法が考えられる。 As these resolutions increase, the time required for decoding one AU is getting shorter, and a mechanism for efficiently decoding a moving image is required. As a method for this, a method of improving the performance of the HW (hardware) of the decoding unit itself or a method of improving the performance by using a plurality of decoding units having low performance in parallel can be considered.

図2は、AUの分割の例を示す図である。 FIG. 2 is a diagram showing an example of AU division.

図2のAに示すように、1つのAUは複数のスライスで構成される。この例においては、AUが4つのスライスにより構成されている。各スライスの左上には、スライスの開始位置を表す丸が示されている。 As shown in A of FIG. 2, one AU is composed of a plurality of slices. In this example, the AU is composed of four slices. In the upper left of each slice, a circle indicating the start position of the slice is shown.

図2のBには、AUのデータが格納されたメモリのイメージが示されている。 In FIG. 2B, an image of a memory in which AU data is stored is shown.

図2のBに示すように、メモリには、AUを構成する上位シンタックスを蓄積する上位シンタックス領域と、図2のAの4つのスライスを蓄積するスライス領域が順に形成される。各スライス領域の左上には、スライスの開始位置を表す丸が示されている。なお、実際には、各スライスの開始位置は、必ずしもメモリにおける左端に配置されるわけではない。 As shown in B of FIG. 2, in the memory, an upper syntax area for accumulating the upper syntax constituting the AU and a slice area for accumulating the four slices of A in FIG. 2 are sequentially formed. In the upper left of each slice area, a circle indicating the start position of the slice is shown. In reality, the start position of each slice is not necessarily located at the left end in the memory.

図2のBの下向き矢印は、復号側におけるスライスの開始位置の探索が、メモリ上のAU全体を開始位置から終了位置まで上から順に行われることを示している。 The downward arrow B in FIG. 2 indicates that the search for the slice start position on the decoding side is performed in order from the top to the end position of the entire AU on the memory.

図3は、スライスを割り振りの例を示す図である。なお、図2と重複する説明については適宜省略する。 FIG. 3 is a diagram showing an example of allocating slices. The description overlapping with FIG. 2 will be omitted as appropriate.

図3のAに示すように、1つのAUがスライス0、スライス1、スライス2、スライス3の4つのスライスから構成される場合、図3のBに示すように、それぞれのスライスのデータを蓄積するスライス0領域、スライス1領域、スライス2領域、およびスライス3領域がメモリに形成される。 As shown in A of FIG. 3, when one AU is composed of four slices of slice 0, slice 1, slice 2, and slice 3, as shown in B of FIG. 3, the data of each slice is accumulated. A slice 0 area, a slice 1 area, a slice 2 area, and a slice 3 area are formed in the memory.

スライス0の開始位置は、スライス0領域の左上の丸で表される。図3のBの例においては、スライス0の開始位置のオフセット値は0x0000_0100である。同様に、スライス1乃至3の開始位置のオフセット値は、それぞれ、0x0030_0000、0x0055_0000、0x0070_0000である。 The start position of slice 0 is represented by a circle on the upper left of the slice 0 region. In the example of B in FIG. 3, the offset value of the start position of slice 0 is 0x0000_0100. Similarly, the offset values of the start positions of slices 1 to 3 are 0x0030_0000, 0x0055_0000, and 0x0070_0000, respectively.

AUにおいて各スライスのオフセット値を求める場合、StartCodeが探索されることによってNAL UNITが見つけられ、見つけられたNAL UNITがスライスNALであるか否かの判定が行われる。NAL UNITがスライスNALであると判定された場合、そのNAL UNITの開始位置がスライスの開始位置として特定され、オフセット値が保持される。 When finding the offset value of each slice in AU, the NAL UNIT is found by searching the Start Code, and it is determined whether or not the found NAL UNIT is a slice NAL. If the NAL UNIT is determined to be a slice NAL, the start position of that NAL UNIT is specified as the start position of the slice and the offset value is retained.

図3のBの例においては、まず、スライス0領域を対象とした探索により見つかったスライス0の開始位置を表すオフセット値0x0000_0100の情報が保持される。同様の処理が繰り返されることにより、スライス1の開始位置を表すオフセット値0x0030_0000、スライス2の開始位置を表す0x0055_0000、スライス3の開始位置を表す0x0070_0000が順に保持される。 In the example B of FIG. 3, first, the information of the offset value 0x0000_0100 representing the start position of the slice 0 found by the search for the slice 0 region is held. By repeating the same process, the offset value 0x0030_0000 representing the start position of the slice 1, 0x0055_0000 representing the start position of the slice 2, and 0x0070_0000 representing the start position of the slice 3 are held in this order.

これらのオフセット値に基づいて、4つのスライスが、HW1とHW2の2つの復号部に割り振られる。図3の例においては、スライス0領域に蓄積されたスライス0とスライス1領域に蓄積されたスライス1がHW1に割り振られ、スライス2領域に蓄積されたスライス2とスライス3領域に蓄積されたスライス3がHW2に割り振られている。HW1は、オフセット値0x0000_0100 からのスライスの復号を行うことになり、HW2は、オフセット値0x0055_0000 からのスライスを復号することになる。 Based on these offset values, four slices are allocated to the two decoding units, HW1 and HW2. In the example of FIG. 3, slice 0 accumulated in the slice 0 region and slice 1 accumulated in the slice 1 region are allocated to HW1, slice 2 accumulated in the slice 2 region, and slice accumulated in the slice 3 region. 3 is assigned to HW2. HW1 will decode the slice from the offset value 0x0000_0100, and HW2 will decode the slice from the offset value 0x0055_0000.

以上のように、各オフセット値を得るためには、対象のAUの先頭からStartCodeを探索する必要があり、非常に時間がかかっていた。 As described above, in order to obtain each offset value, it is necessary to search the Start Code from the beginning of the target AU, which takes a very long time.

<画像システムの構成例>
図4は、本技術の一実施形態に係る画像処理システムの構成例を示す図である。
<Example of image system configuration>
FIG. 4 is a diagram showing a configuration example of an image processing system according to an embodiment of the present technology.

図4の例において、画像処理システム1は、符号化装置10および復号装置11から構成される。 In the example of FIG. 4, the image processing system 1 is composed of a coding device 10 and a decoding device 11.

符号化装置10は、原画像を符号化してストリームを生成する。ストリームは、複数のAUから構成される。例えば、画像処理システム1においては、符号化方式として、MPEG(Moving Picture Experts Group)、H.264及びMPEG-4 Part10(Advanced Video Coding、以下、AVCと記す)、HEVC(High Efficiency Video Coding)などが用いられる。 The coding device 10 encodes the original image to generate a stream. The stream consists of multiple AUs. For example, in the image processing system 1, MPEG (Moving Picture Experts Group), H.M. 264, MPEG-4 Part10 (Advanced Video Coding, hereinafter referred to as AVC), HEVC (High Efficiency Video Coding), etc. are used.

復号装置11は、符号化装置10により生成されたストリームを取得する。復号装置11は、HWで構成される複数の復号部を備えている。 The decoding device 11 acquires the stream generated by the coding device 10. The decoding device 11 includes a plurality of decoding units composed of HW.

復号装置11は、ストリームを構成するAUのスライスを複数の復号部に割り振り、それぞれの復号部において復号を並列に行わせる。復号装置11は、各復号部の復号の結果を用いて表示データを生成する。 The decoding device 11 allocates slices of AU constituting the stream to a plurality of decoding units, and each decoding unit performs decoding in parallel. The decoding device 11 generates display data using the decoding result of each decoding unit.

<ストリームの構成例>
図5は、ストリームの構成例を示す図である。
<Stream configuration example>
FIG. 5 is a diagram showing a configuration example of a stream.

図5に示されるように、復号装置11において復号の対象となるストリームは複数のAUから構成される。ストリームのデータは、ストリームを構成するAU単位でメモリ21に蓄積される。 As shown in FIG. 5, the stream to be decoded in the decoding device 11 is composed of a plurality of AUs. The stream data is stored in the memory 21 in units of AUs constituting the stream.

白抜き矢印の先に示すように、1つのAUは、上位シンタックスと複数のスライスから構成される。上位シンタックスは複数のNAL UNITを用いて伝送され、それぞれのスライスは1つのNAL UNITを用いて伝送される。図5の例においては、4つのスライスがAUに含まれている。 As shown at the tip of the white arrow, one AU is composed of the upper syntax and a plurality of slices. The upper syntax is transmitted using multiple NAL UNITs, and each slice is transmitted using one NAL UNIT. In the example of FIG. 5, four slices are included in the AU.

この場合、メモリ21には、上位シンタックスの領域である上位シンタックス領域と、4つのスライスの領域であるスライス領域が形成される。上位シンタックスには、AUD、VPS、SPS、PPS、SEIなどがそれぞれ記載される。なお、すべてのシンタックスが必ずしも存在するとは限らない。 In this case, the memory 21 is formed with an upper syntax area which is an upper syntax area and a slice area which is an area of four slices. AUD, VPS, SPS, PPS, SEI, etc. are listed in the upper syntax. Not all syntaxes exist.

<2つの復号部を有する復号装置における探索の例>
図6は、復号装置の簡易的な構成例を示すブロック図である。
<Example of search in a decoding device having two decoding units>
FIG. 6 is a block diagram showing a simple configuration example of the decoding device.

図6に示すように、復号装置11は、ストリームを蓄積するメモリ21と、2つの復号部である復号部22−1および22−2から構成される。復号部22−1および22−2を区別する必要がない場合、まとめて復号部22と称する。 As shown in FIG. 6, the decoding device 11 is composed of a memory 21 that stores a stream and two decoding units, decoding units 22-1 and 22-2. When it is not necessary to distinguish between the decoding units 22-1 and 22-2, they are collectively referred to as the decoding unit 22.

復号装置11は、メモリ21に蓄積されたAUを、あるbyte数毎に均等に、複数(n個)の探索領域に分割する。探索領域は、スライスの開始位置の探索範囲となる領域である。それぞれの探索領域のサイズは、スライスのサイズと異なる。 The decoding device 11 divides the AU stored in the memory 21 into a plurality (n) search areas evenly for each number of bytes. The search area is an area that serves as a search range for the start position of the slice. The size of each search area is different from the size of the slice.

復号装置11は、複数の探索領域のうち、割り振りポイントとなるスライスの開始位置を含む可能性が高い探索領域である有力候補領域を探索範囲として、スライスの開始位置の探索を開始する。 The decoding device 11 starts the search for the start position of the slice with the promising candidate area, which is a search area likely to include the start position of the slice to be the allocation point, as the search range among the plurality of search areas.

ここで、AUを構成するデータは、ほぼ同じ量のデータが割り振られるように、スライス単位でそれぞれの復号部22に割り振られる。割り振りポイントは、復号部22に割り振るための基準となるスライスの開始位置である。 Here, the data constituting the AU is allocated to each decoding unit 22 in slice units so that substantially the same amount of data is allocated. The allocation point is the start position of the slice that serves as a reference for allocating to the decoding unit 22.

復号装置11は、有力候補領域の探索によって割り振りポイントを見つけた場合、探索をその時点で終了させ、割り振りポイントに従って、AUのデータを復号部22−1と復号部22−2のそれぞれに割り振り、復号を行わせる。例えば、割り振りポイントより前のデータが復号部22−1に割り振られ、割り振りポイントより後のデータが復号部22−2に割り振られる。 When the decoding device 11 finds an allocation point by searching for a promising candidate area, the decoding device 11 ends the search at that point, allocates AU data to each of the decoding unit 22-1 and the decoding unit 22-2 according to the allocation point. Have decryption performed. For example, the data before the allocation point is allocated to the decoding unit 22-1, and the data after the allocation point is allocated to the decoding unit 22-2.

このように、復号装置11においては、探索範囲となる領域の設定と探索順を工夫した上で、AUの復号が行われる。有力候補領域から探索を開始することにより、いわば無駄な探索を減らすことができ、探索効率を向上させることが可能となる。スライスの開始位置の探索効率を向上させることにより、AU全体の処理時間を短縮することが可能となる。 In this way, in the decoding device 11, the AU is decoded after devising the setting of the area to be the search range and the search order. By starting the search from a promising candidate area, it is possible to reduce unnecessary searches and improve search efficiency. By improving the search efficiency of the slice start position, it is possible to shorten the processing time of the entire AU.

<スライスの開始位置の探索例1>
図7は、スライスの開始位置の探索の第1の例を示す図である。
<Search example 1 of slice start position>
FIG. 7 is a diagram showing a first example of searching for a slice start position.

図7には、AUを構成する4つのスライスを2つの復号部22に割り振るための割り振りポイントを探索する場合の例が示されている。なお、図2と重複する説明については適宜省略する。 FIG. 7 shows an example in which an allocation point for allocating the four slices constituting the AU to the two decoding units 22 is searched for. The description overlapping with FIG. 2 will be omitted as appropriate.

図7の例においては、上位シンタックス領域、スライス0領域、スライス1領域、スライス2領域、およびスライス3領域がメモリ21上に形成されている。スライス0領域とスライス1領域を加算したbyte数は、スライス2領域とスライス3領域を加算したbyte数に近いbyte数である。 In the example of FIG. 7, the upper syntax area, the slice 0 area, the slice 1 area, the slice 2 area, and the slice 3 area are formed on the memory 21. The number of bytes obtained by adding the slice 0 area and the slice 1 area is close to the number of bytes obtained by adding the slice 2 area and the slice 3 area.

分割数を5とした場合、図7に示すように、AUが所定のbyte数単位で均等分割されることにより、探索領域A乃至Eが形成される。 When the number of divisions is 5, as shown in FIG. 7, the search areas A to E are formed by evenly dividing the AU in units of a predetermined number of bytes.

探索領域Aは、AUの開始位置からスライス0領域の途中のある位置までの領域であり、探索領域Bは、スライス0のある位置から、スライス1領域の途中のある位置までの領域である。探索領域Cは、スライス1領域のある位置から、スライス2領域の途中のある位置までの領域である。 The search area A is an area from the start position of the AU to a certain position in the middle of the slice 0 area, and the search area B is an area from the position where the slice 0 is located to a certain position in the middle of the slice 1 area. The search area C is an area from a certain position of the slice 1 area to a certain position in the middle of the slice 2 area.

探索領域Dは、スライス2領域のある位置から、スライス3領域の途中のある位置までの領域である。探索領域Eは、スライス3領域のある位置から、AUの終了位置までの領域である。 The search area D is an area from a certain position of the slice 2 area to a certain position in the middle of the slice 3 area. The search area E is an area from a certain position of the slice 3 area to the end position of the AU.

この場合、復号装置11は、探索領域Cを有力候補領域として、割り振りポイントとなるスライスの開始位置の探索を開始する。例えば、探索領域Cの開始位置である、スライス1領域の途中のある位置から探索が開始される。 In this case, the decoding device 11 starts the search for the start position of the slice to be the allocation point, using the search area C as a promising candidate area. For example, the search is started from a certain position in the middle of the slice 1 region, which is the start position of the search region C.

すなわち、探索領域Aに含まれるAUの開始位置から順に探索が行われるのではなく、割り振りポイントがある可能性が高い探索領域Cから優先して探索が行われる。後に詳述するように、割り振りポイントがある可能性が高い探索領域は、スライスの数、復号部の数などに基づいて求められる。 That is, the search is not performed in order from the start position of the AU included in the search area A, but the search is performed preferentially from the search area C where there is a high possibility that there is an allocation point. As will be described in detail later, the search area that is likely to have an allocation point is determined based on the number of slices, the number of decoding units, and the like.

復号装置11は、探索領域Cにおいてスライス2の開始位置が見つかった場合、スライス2の開始位置を割り振りポイントP1として決定し、探索を終了する。図7の例においては、スライス2の開始位置は探索領域Cに含まれている。すなわち、探索領域Cより前の領域である探索領域A,B、探索領域Cより後の領域である探索領域D,Eの探索は行なわれない。 When the decoding device 11 finds the start position of the slice 2 in the search area C, the decoding device 11 determines the start position of the slice 2 as the allocation point P1 and ends the search. In the example of FIG. 7, the start position of slice 2 is included in the search area C. That is, the search areas A and B, which are the areas before the search area C, and the search areas D and E, which are the areas after the search area C, are not searched.

復号装置11は、スライス2の開始位置に基づいて、スライス0とスライス1を復号部22−1に割り振り、スライス2とスライス3を復号部22−2に割り振ることになる。 The decoding device 11 allocates slice 0 and slice 1 to the decoding unit 22-1 and allocates the slice 2 and the slice 3 to the decoding unit 22-2 based on the start position of the slice 2.

<スライスの開始位置の探索例2>
図8は、スライスの開始位置の探索の第2の例を示す図である。
<Search example 2 of slice start position>
FIG. 8 is a diagram showing a second example of searching for the start position of the slice.

図8の例には、スライス毎のbyte数に偏りがある場合の割り振りポイントを探索する場合の例が示されている。なお、図7と重複する説明については適宜省略する。 The example of FIG. 8 shows an example of searching for an allocation point when the number of bytes for each slice is biased. The description overlapping with FIG. 7 will be omitted as appropriate.

スライス0領域のbyte数は、スライス1領域、スライス2領域、およびスライス3領域を加算したbyte数に近いbyte数である。 The number of bytes in the slice 0 region is close to the number of bytes obtained by adding the slice 1 region, the slice 2 region, and the slice 3 region.

分割数を5とした場合、図8に示すように、AUが所定のbyte数単位で均等分割されることにより、探索領域A乃至Eが形成される。 When the number of divisions is 5, as shown in FIG. 8, the search areas A to E are formed by evenly dividing the AU in units of a predetermined number of bytes.

探索領域Aは、AUの開始位置からスライス0領域の途中のある位置までの領域であり、探索領域Bは、スライス0領域のある位置から、スライス0領域の後半のある位置までの領域である。探索領域Cは、スライス0領域の後半のある位置から、スライス1領域の途中のある位置までの領域である。 The search area A is an area from the start position of the AU to a certain position in the middle of the slice 0 area, and the search area B is an area from a certain position of the slice 0 area to a certain position in the latter half of the slice 0 area. .. The search area C is an area from a certain position in the latter half of the slice 0 area to a certain position in the middle of the slice 1 area.

探索領域Dは、スライス1領域のある位置から、スライス2領域の途中のある位置までの領域である。探索領域Eは、スライス2領域のある位置から、AUの終了位置までの領域である。 The search area D is an area from a certain position of the slice 1 area to a certain position in the middle of the slice 2 area. The search area E is an area from a certain position of the slice 2 area to the end position of the AU.

この場合、復号装置11は、探索領域Cを有力候補領域として、割り振りポイントとなるスライスの開始位置の探索を開始する。例えば、探索領域Cの開始位置であるスライス1領域の途中のある位置から探索が開始される。 In this case, the decoding device 11 starts the search for the start position of the slice to be the allocation point, using the search area C as a promising candidate area. For example, the search is started from a certain position in the middle of the slice 1 region, which is the start position of the search region C.

すなわち、図8の場合も、探索領域Aに含まれるAUの開始位置から順に探索が行われるのではなく、割り振りポイントがある可能性が高い探索領域Cから優先して探索が行われる。 That is, also in the case of FIG. 8, the search is not performed in order from the start position of the AU included in the search area A, but the search is performed preferentially from the search area C where there is a high possibility that there is an allocation point.

復号装置11は、探索領域Cにおいてスライス1の開始位置が見つかった場合、スライス1の開始位置を割り振りポイントP2として決定し、探索を終了する。図8の例においては、スライス1の開始位置は探索領域Cに含まれている。すなわち、探索領域Cより前の領域である探索領域A,B、探索領域Cより後の領域である探索領域D,Eの探索は行なわれない。 When the decoding device 11 finds the start position of the slice 1 in the search area C, the decoding device 11 determines the start position of the slice 1 as the allocation point P2 and ends the search. In the example of FIG. 8, the start position of slice 1 is included in the search area C. That is, the search areas A and B, which are the areas before the search area C, and the search areas D and E, which are the areas after the search area C, are not searched.

復号装置11は、スライス1の開始位置に基づいて、スライス0を復号部22−1に割り振り、スライス1、スライス2、およびスライス3を復号部22−2に割り振ることになる。 The decoding device 11 allocates slice 0 to the decoding unit 22-1 and allocates slice 1, slice 2, and slice 3 to the decoding unit 22-2 based on the start position of the slice 1.

一方、従来のように、復号部22−1および22−2に対して、スライス数を均等割りにした場合、スライス0とスライス1が復号部22−1に割り振られ、スライス2とスライス3が復号部22−2に割り振られることになる。 On the other hand, when the number of slices is evenly divided for the decoding units 22-1 and 22-2 as in the conventional case, the slice 0 and the slice 1 are allocated to the decoding unit 22-1, and the slice 2 and the slice 3 are assigned. It will be allocated to the decoding unit 22-2.

図8のスライス構成を有するAUについては、各復号部22が処理するbyte数は、本技術の場合も従来の場合も同程度であるが、従来の場合、スライス構成によっては、byte数が偏ってしまう。 For the AU having the slice configuration of FIG. 8, the number of bytes processed by each decoding unit 22 is about the same in both the present technology and the conventional case, but in the conventional case, the number of bytes is biased depending on the slice configuration. It ends up.

<スライスの開始位置の探索例3>
図9は、スライス領域の探索処理の第3の例を示す図である。
<Search example 3 of slice start position>
FIG. 9 is a diagram showing a third example of the search process for the slice region.

図9の例には、1つ目の探索領域で割り振りポイントが見つからない場合の例が示されている。なお、図7と重複する説明については適宜省略する。 The example of FIG. 9 shows an example in which the allocation point is not found in the first search area. The description overlapping with FIG. 7 will be omitted as appropriate.

復号装置11は、図7の場合と同様に、探索領域Cを有力候補領域として、スライスの開始位置の探索処理を開始する。1の数字を付した白抜き矢印が探索領域Cを指していることは、探索領域Cの探索が最初に行われることを表す。 Similar to the case of FIG. 7, the decoding device 11 starts the search process of the slice start position with the search area C as a promising candidate area. The fact that the white arrow with the number 1 points to the search area C indicates that the search in the search area C is performed first.

分割数を5とした場合、図9に示すように、AUが所定のbyte数単位で均等分割されることにより、探索領域A乃至Eが形成される。 When the number of divisions is 5, as shown in FIG. 9, the search areas A to E are formed by evenly dividing the AU in units of a predetermined number of bytes.

探索領域Aは、AUの開始位置からスライス0領域の途中のある位置までの領域であり、探索領域Bは、スライス0領域のある位置から、スライス1領域の途中のある位置までの領域である。探索領域Cは、スライス1領域のある位置から、スライス1領域の後半のある位置までの領域である。 The search area A is an area from the start position of the AU to a certain position in the middle of the slice 0 area, and the search area B is an area from a certain position of the slice 0 area to a certain position in the middle of the slice 1 area. .. The search area C is an area from a certain position of the slice 1 region to a certain position in the latter half of the slice 1 region.

探索領域Dは、スライス1領域の後半のある位置から、スライス2領域の終わり付近の位置までの領域である。探索領域Eは、スライス2領域の終わり付近位置から、AUの終了位置までの領域である。 The search area D is an area from a certain position in the latter half of the slice 1 area to a position near the end of the slice 2 area. The search area E is an area from the position near the end of the slice 2 area to the end position of the AU.

この場合、復号装置11は、探索領域Cを有力候補領域として、割り振りポイントとなるスライスの開始位置の探索を開始する。例えば、探索領域Cの開始位置であるスライス1領域の途中のある位置から探索が開始される。 In this case, the decoding device 11 starts the search for the start position of the slice to be the allocation point, using the search area C as a promising candidate area. For example, the search is started from a certain position in the middle of the slice 1 region, which is the start position of the search region C.

復号装置11は、探索領域Cにおいてスライス1の開始位置が見つからなかった場合、探索領域Cの近傍に位置する探索領域Bの開始位置であるスライス0の途中のある位置から探索を開始する。ここで、近傍に位置する探索領域とは、探索済みの探索領域の上または下に位置する(近接する)探索領域のことを示す。 When the start position of the slice 1 is not found in the search area C, the decoding device 11 starts the search from a position in the middle of the slice 0 which is the start position of the search area B located in the vicinity of the search area C. Here, the search area located in the vicinity indicates a search area located above or below the searched search area (proximity).

復号装置11は、探索領域Bにおいてスライス1の開始位置が見つかった場合、スライス1の開始位置を割り振りポイントP3として決定する。図9の例においては、スライス1の開始位置は探索領域Bに含まれている。 When the decoding device 11 finds the start position of the slice 1 in the search area B, the decoding device 11 determines the start position of the slice 1 as the allocation point P3. In the example of FIG. 9, the start position of slice 1 is included in the search area B.

復号装置11は、スライス1の開始位置に基づいて、スライス0を復号部22−1に割り振り、スライス1、スライス2、およびスライス3を復号部22−2に割り振ることになる。 The decoding device 11 allocates slice 0 to the decoding unit 22-1 and allocates slice 1, slice 2, and slice 3 to the decoding unit 22-2 based on the start position of the slice 1.

仮に、探索領域Bでも見つからない場合、探索領域Cの近傍に位置する(近接する)探索領域D、探索領域Bの近傍に位置する探索領域Aと続き、中央の探索領域である探索領域Cから順に近傍に位置する探索領域に対して探索が行われる。したがって、領域の分割の仕方と、分割後の領域の探索順が重要になる。 If it is not found even in the search area B, the search area D located in the vicinity of the search area C, the search area A located in the vicinity of the search area B, and the search area C which is the central search area are used. The search is performed on the search areas located in the vicinity in order. Therefore, how to divide the area and the search order of the area after the division are important.

このような探索領域毎の探索を順番に行い、万が一、最後の領域までスライス領域の開始位置が見つからずに、結果として全領域の探索を行うことになったとしても、かかる処理時間は、従来相当であり、ペナルティはほぼないといえる。 Even if such a search for each search area is performed in order, and the start position of the slice area cannot be found until the last area, and as a result, the entire area is searched, the processing time required is conventional. It can be said that it is considerable and there is almost no penalty.

<探索のアルゴリズム>
次に、以上のような探索を実現するためのアルゴリズムについて説明する。
<Search algorithm>
Next, the algorithm for realizing the above search will be described.

[1.探索領域の分け方]
探索領域は、AU全体をある分割数で均等に分割した領域である。均等に分割するのは、復号部22毎の処理量を均等にするためである。
[1. How to divide the search area]
The search area is an area in which the entire AU is evenly divided by a certain number of divisions. The reason for dividing evenly is to equalize the processing amount for each decoding unit 22.

ここで、α0をAUの先頭アドレス、sをAUのサイズ、dを分割数n番目の探索領域とすると、アドレスαnは下式(1)により表される。

Figure 2021145157
Here , assuming that α 0 is the start address of AU, s is the size of AU, and d is the search area of the nth partition number, the address α n is expressed by the following equation (1).
Figure 2021145157

なお、分割数dは、チューニングパラメータの役割も担うため、必ずしも式(1)に当てはめなくてもよい。分割数dは、利用するシステムやユースケースによりユーザが選択することが可能とされる。これにより、自分の環境に合わせた応用が可能になる。 Since the number of divisions d also plays the role of a tuning parameter, it does not necessarily have to be applied to the equation (1). The number of divisions d can be selected by the user depending on the system to be used and the use case. This makes it possible to apply it according to your own environment.

分割数dを大きくするほど、1つの探索領域の探索時間は短くなる。この場合、1つの探索領域は狭くなり、そこにスライスの開始位置が含まれる可能性は低くなる。逆に、分割数dを小さくするほど、1つの探索領域の探索時間は長くなる。この場合、1つの探索領域にスライスの開始位置が含まれる可能性は高くなる。 The larger the number of divisions d, the shorter the search time for one search area. In this case, one search area becomes narrower, and it is less likely that the start position of the slice is included in the search area. On the contrary, the smaller the number of divisions d, the longer the search time for one search area. In this case, it is highly possible that one search area contains the start position of the slice.

図10は、AUを3つの探索領域に分割した場合の例を示す図である。 FIG. 10 is a diagram showing an example when the AU is divided into three search areas.

図10の探索領域Aはアドレスα0乃至アドレスα1の領域であり、探索領域Bはアドレスα1乃至アドレスα2の領域である。探索領域Cはアドレスα2乃至AU境界までの領域である。 The search area A in FIG. 10 is an area from address α 0 to address α 1 , and the search area B is an area from address α 1 to address α 2 . The search area C is an area from the address α 2 to the AU boundary.

分割数dは、例えば、復号部22の数と復号部22毎の予測担当領域数により定めることができる。復号部22の数をh、予測担当領域数をrとすると、分割数dは下式(2)により表される。

Figure 2021145157
The number of divisions d can be determined, for example, by the number of decoding units 22 and the number of regions in charge of prediction for each decoding unit 22. Assuming that the number of decoding units 22 is h and the number of regions in charge of prediction is r, the number of divisions d is expressed by the following equation (2).
Figure 2021145157

ここで、予測担当領域数rは、1つの復号部22が処理するスライスの数の予測値である。端数がなければ、予測担当領域数rは、スライスを均等に配分する場合の数と等価の数となる。 Here, the number of regions in charge of prediction r is a predicted value of the number of slices processed by one decoding unit 22. If there is no fraction, the number of regions in charge of prediction r is a number equivalent to the number when slices are evenly distributed.

[2.探索順の決め方]
探索順は、割り振りポイントとなるスライスの開始位置を含む可能性が高いと考えられる領域である有力候補領域から、可能性の高さの降順に設定される。式(2)を用いて分割数dが求められる場合、有力候補領域rdは以下の式(3)により表される。

Figure 2021145157
[2. How to determine the search order]
The search order is set in descending order of probability from the promising candidate area, which is a region that is likely to include the start position of the slice that is the allocation point. If the number of divisions d is calculated using equation (2), leading candidate region r d is expressed by the following equation (3).
Figure 2021145157

式(3)において、スライス毎のbyte数が均等だとすると、有力候補領域rdは、予測担当領域数rのうちの1つの領域に出現することを意味する。ただし、rdは序数となる。有力候補領域rdを初めに探索し、有力候補領域rdでスライスの開始位置が見つからない場合、有力候補領域rdの上下が探索される。このとき、上から下の順番に探索するか、下から上の順番に探索するかは自由である。 In the formula (3), the byte number of each slice is that it evenly, leading candidate region r d means that appear in the region of one of the predicted responsible region number r. However, r d is the ordinal number. Searching initially a promising candidate region r d, if not found starting position of the slice in the leading candidate region r d, and below the leading candidate region r d is searched. At this time, it is free to search in the order from top to bottom or in order from bottom to top.

なお、スライス数は、符号化フォーマットによって決まっているため、符号化フォーマットによっても有力候補領域を求めることができる。例えば、8スライス以下、などの範囲が符号化フォーマットによって決まっている場合もある。また、スライス自体の内容は、1つ前のAUから多少なりとも変わっているが、スライスにおける切れ目の位置は、場面変更でない限り、1つ前のAUとほぼ変化がない場合もある。したがって、1つ前のAUにおいて探索されていたスライスの開始位置を記憶しておき、記憶していた1つ前のAUのスライスの開始位置が含まれる探索領域を、有力候補領域とすることもできる。 Since the number of slices is determined by the coding format, a promising candidate region can also be obtained by the coding format. For example, the range of 8 slices or less may be determined by the coding format. Moreover, although the content of the slice itself is slightly different from the previous AU, the position of the cut in the slice may be almost the same as the previous AU unless the scene is changed. Therefore, the start position of the slice searched in the previous AU may be memorized, and the search area including the memorized start position of the slice of the previous AU may be set as a promising candidate area. can.

図10の例においては、1番目に、有力候補領域である探索領域Bが探索される。2番目に、探索領域Bの上に位置する探索領域Aが探索される。3番目に、探索領域Bの下に位置する探索領域Cが探索される。 In the example of FIG. 10, first, the search area B, which is a promising candidate area, is searched. Second, the search area A located above the search area B is searched. Third, the search area C located below the search area B is searched.

図11は、探索順の他の例を示す図である。 FIG. 11 is a diagram showing another example of the search order.

図11に示されるように、予測担当領域数を3とした場合、有力候補領域は、上から3番目の探索領域Cとして決定される。すなわち、探索領域Cが初めに探索され、スライスの開始位置が見つかったとき、探索は終了される。 As shown in FIG. 11, when the number of regions in charge of prediction is 3, the promising candidate region is determined as the third search region C from the top. That is, when the search area C is searched first and the start position of the slice is found, the search ends.

また、探索領域Cでスライスの開始位置が見つからない場合、探索領域Bまたは探索領域Dが探索され、スライスの開始位置が見つかったとき、探索は終了される。 If the start position of the slice is not found in the search area C, the search area B or the search area D is searched, and when the start position of the slice is found, the search ends.

探索の目的は、復号部22毎の担当スライスの割り当てであり、すべてのスライスを見つけることではないため、スライスの開始位置が見つかった時点で探索を終了することができる。 Since the purpose of the search is to allocate the responsible slice for each decoding unit 22 and not to find all the slices, the search can be ended when the start position of the slice is found.

<3つの復号部を有する復号装置における探索の例>
図12は、復号装置の簡易的な他の構成例を示すブロック図である。
<Example of search in a decoding device having three decoding units>
FIG. 12 is a block diagram showing another simple configuration example of the decoding device.

図12に示す復号装置11は、復号部22−2および22−3が追加されている点で、図6の復号装置11と異なる。なお、図6と重複する説明については適宜省略する。 The decoding device 11 shown in FIG. 12 differs from the decoding device 11 of FIG. 6 in that decoding units 22-2 and 22-3 are added. The description overlapping with FIG. 6 will be omitted as appropriate.

復号装置11は、3つの復号部22−1乃至22−3にスライスを割り振るために、2つのスライスの開始位置の探索を開始する。2つのスライスの開始位置の探索は、2つの割り振りポイントとなるスライスの開始位置を含む可能性が高い探索領域である2つの有力候補領域から開始される。 The decoding device 11 starts searching for the start positions of the two slices in order to allocate slices to the three decoding units 22-1 to 22-3. The search for the start positions of the two slices is started from two promising candidate regions, which are search regions that are likely to contain the start positions of the slices that serve as the two allocation points.

復号装置11は、2つの有力候補領域の探索によって第1および第2の割り振りポイントを見つけた場合、探索をその時点で終了させ、第1および第2の割り振りポイントに従って、AUのデータを復号部22−1乃至22−3のそれぞれに割り振り、復号を行わせる。 When the decoding device 11 finds the first and second allocation points by searching for two promising candidate regions, the decoding device 11 ends the search at that point and decodes the AU data according to the first and second allocation points. Allocate to each of 22-1 to 22-3 and have them perform decoding.

例えば、第1の割り振りポイントより前のデータが復号部22−1に割り振られ、第1の割り振りポイントより後で、第2の割り振りポイントより前のデータが復号部22−2に割り振られる。また、第2の割り振りポイントより後のデータが復号部22−3に割り振られる。 For example, the data before the first allocation point is allocated to the decoding unit 22-1, and the data after the first allocation point and before the second allocation point is allocated to the decoding unit 22-2. Further, the data after the second allocation point is allocated to the decoding unit 22-3.

<スライスの開始位置の探索>
図13は、図12の復号装置11における探索順の例を示す図である。
<Search for slice start position>
FIG. 13 is a diagram showing an example of the search order in the decoding device 11 of FIG.

図13に示すように、分割数dが8である場合、探索領域A乃至Hが形成される。この場合において、予測担当領域数を3としたとき、有力候補領域は、上から3番目の探索領域Cと、6番目の探索領域Fとして決定される。 As shown in FIG. 13, when the number of divisions d is 8, the search areas A to H are formed. In this case, when the number of regions in charge of prediction is 3, the promising candidate regions are determined as the third search region C from the top and the sixth search region F.

したがって、探索領域Cから探索が開始され、探索領域Cの次に、探索領域Fから探索が開始される。2つの有力候補領域がある場合、図13に示されるように、上に位置する有力候補領域から探索が開始されてもよいし、下に位置する有力候補領域から探索が開始されてもよい。 Therefore, the search is started from the search area C, and the search is started from the search area F next to the search area C. When there are two promising candidate regions, as shown in FIG. 13, the search may be started from the promising candidate region located above, or the search may be started from the promising candidate region located below.

探索領域Cでスライスの開始位置が見つかった場合、見つかったスライスの開始位置が第1の割り振りポイントとして決定され、探索領域Fの探索が開始される。探索領域Fでスライスの開始位置が見つかった場合、見つかったスライスの開始位置が第2の割り振りポイントとして決定され、探索は終了される。 When the start position of the slice is found in the search area C, the start position of the found slice is determined as the first allocation point, and the search of the search area F is started. When the start position of the slice is found in the search area F, the start position of the found slice is determined as the second allocation point, and the search ends.

探索領域Cでスライスの開始位置が見つからず、探索領域Fでスライスの開始位置が見つかった場合、探索領域Bまたは探索領域Dから探索が開始される。探索領域Bまたは探索領域Dで、スライスの開始位置が見つかったとき、見つかったスライスの開始位置が第1の割り振りポイントとして決定され、探索は終了される。 When the start position of the slice is not found in the search area C and the start position of the slice is found in the search area F, the search is started from the search area B or the search area D. When the start position of the slice is found in the search area B or the search area D, the start position of the found slice is determined as the first allocation point, and the search ends.

探索領域Cでスライスの開始位置が見つかり、探索領域Fでスライスの開始位置が見つからなかった場合、探索領域Eまたは探索領域Gから探索が開始される。探索領域Eまたは探索領域Gで、スライスの開始位置が見つかったとき、見つかったスライスの開始位置が第2の割り振りポイントとして決定され、探索は終了される。 When the start position of the slice is found in the search area C and the start position of the slice is not found in the search area F, the search is started from the search area E or the search area G. When the start position of the slice is found in the search area E or the search area G, the start position of the found slice is determined as the second allocation point, and the search ends.

探索領域Cでスライスの開始位置が見つからず、探索領域Fでスライスの開始位置が見つからなかった場合、探索領域Bまたは探索領域Dから探索が開始される。探索領域Bまたは探索領域Dで、スライスの開始位置が見つかったとき、見つかったスライスの開始位置が第1の割り振りポイントとして決定され、探索領域Eまたは探索領域Gから探索が開始される。探索領域Eまたは探索領域Gで、スライス領の開始位置が見つかったとき、見つかったスライスの開始位置が第2の割り振りポイントとして決定され、探索は終了される。 If the start position of the slice is not found in the search area C and the start position of the slice is not found in the search area F, the search is started from the search area B or the search area D. When the start position of the slice is found in the search area B or the search area D, the start position of the found slice is determined as the first allocation point, and the search is started from the search area E or the search area G. When the start position of the slice area is found in the search area E or the search area G, the start position of the found slice is determined as the second allocation point, and the search ends.

探索領域Bまたは探索領域Dで、スライスの開始位置が見つからなかった場合、探索領域Aからの探索が開始される。探索領域Aでスライスの開始位置が見つかったとき、見つかったスライスの開始位置が第1の割り振りポイントとして決定され、探索は終了される。 If the start position of the slice is not found in the search area B or the search area D, the search from the search area A is started. When the start position of the slice is found in the search area A, the start position of the found slice is determined as the first allocation point, and the search ends.

探索領域Eまたは探索領域Gで、スライスの開始位置が見つからなかった場合、探索領域Hからの探索が開始される。探索領域Hでスライスの開始位置が見つかったとき、見つかったスライスの開始位置が第2の割り振りポイントとして決定され、探索は終了される。 If the start position of the slice is not found in the search area E or the search area G, the search from the search area H is started. When the start position of the slice is found in the search area H, the start position of the found slice is determined as the second allocation point, and the search ends.

なお、探索領域C、探索領域B、探索領域D、探索領域A、探索領域Eの順で探索されてもよい。探索領域C、探索領域D、探索領域B、探索領域E、探索領域Aの順で探索されてもよい。探索領域C、探索領域B、探索領域A、探索領域D、探索領域Eの順で探索されてもよい。 The search area C, the search area B, the search area D, the search area A, and the search area E may be searched in this order. The search area C, the search area D, the search area B, the search area E, and the search area A may be searched in this order. The search area C, the search area B, the search area A, the search area D, and the search area E may be searched in this order.

<変形例>
上述した式(1)においては、α0を対象の先頭アドレスとしたが、上位シンタックスの後のアドレスとすることも可能である。この場合、式(1)のsは、AUのサイズから上位シンタックスのサイズを扱うことができる。このほうが、よりスライスに着目していることになる。
<Modification example>
In the above equation (1), α 0 is set as the target start address, but it is also possible to set it as the address after the upper syntax. In this case, s in equation (1) can handle the size of the upper syntax from the size of AU. This means that we are paying more attention to slices.

上記式(2)においては、復号部の数や予測担当領域数から算出されたが、算出方法はこの限りではなく自由に決めてもよい。 In the above equation (2), it is calculated from the number of decoding units and the number of regions in charge of prediction, but the calculation method is not limited to this and may be freely determined.

<4つの復号部を有する復号装置における探索の例>
図14は、復号装置の簡易的な他の構成例を示すブロック図である。
<Example of search in a decoding device having four decoding units>
FIG. 14 is a block diagram showing another simple configuration example of the decoding device.

図14の例に示す復号装置11は、復号部22−2乃至22−4が追加されている点で、図6の復号装置11と異なる。なお、図6と重複する説明については適宜省略する。 The decoding device 11 shown in the example of FIG. 14 is different from the decoding device 11 of FIG. 6 in that decoding units 22-2 to 22-4 are added. The description overlapping with FIG. 6 will be omitted as appropriate.

復号装置11は、4つの復号部22−1乃至22−4にスライスを割り振るために、複数の探索領域のうち、3つの割り振りポイントとなるスライスの開始位置を含む可能性が高い探索領域である3つの有力候補領域を探索範囲として、3つのスライスの開始位置の探索を開始する。 The decoding device 11 is a search area that is likely to include the start positions of slices that serve as three allocation points among the plurality of search areas in order to allocate slices to the four decoding units 22-1 to 22-4. The search for the start positions of the three slices is started with the three promising candidate regions as the search range.

復号装置11は、3つの有力候補領域の探索によって第1乃至第3の割り振りポイントを見つけた場合、探索をその時点で終了させ、第1乃至第3の割り振りポイントに従って、AUのデータを復号部22−1乃至22−4のそれぞれに割り振り、復号を行わせる。 When the decoding device 11 finds the first to third allocation points by searching the three promising candidate regions, the search is terminated at that point, and the AU data is decoded according to the first to third allocation points. Allocate to each of 22-1 to 22-4 and have them perform decoding.

例えば、第1の割り振りポイントより前のデータが復号部22−1に割り振られ、第1の割り振りポイントより後で、第2の割り振りポイントより前のデータが復号部22−2に割り振られる。また、第2の割り振りポイントより後で、第3の割り振りポイントより前のデータが復号部22−3に割り振られ、第3の割り振りポイントより後のデータが復号部22−4に割り振られる。 For example, the data before the first allocation point is allocated to the decoding unit 22-1, and the data after the first allocation point and before the second allocation point is allocated to the decoding unit 22-2. Further, the data after the second allocation point and before the third allocation point is allocated to the decoding unit 22-3, and the data after the third allocation point is allocated to the decoding unit 22-4.

<スライスの開始位置の探索>
図15は、図14の復号装置11における探索順の例を示す図である。
<Search for slice start position>
FIG. 15 is a diagram showing an example of the search order in the decoding device 11 of FIG.

復号部22の数が4つの場合、AUが所定のbyte数単位で均等分割されることにより、探索領域A乃至Kが形成される。 When the number of decoding units 22 is 4, the search areas A to K are formed by evenly dividing the AU in units of a predetermined number of bytes.

探索領域Aは、AUの開始位置からスライス0領域の途中のある位置までの領域であり、探索領域Bは、スライス0領域のある位置から、スライス1領域の途中のある位置までの領域である。探索領域Cは、スライス1領域のある位置から、スライス2領域の途中のある位置までの領域である。 The search area A is an area from the start position of the AU to a certain position in the middle of the slice 0 area, and the search area B is an area from a certain position of the slice 0 area to a certain position in the middle of the slice 1 area. .. The search area C is an area from a certain position of the slice 1 area to a certain position in the middle of the slice 2 area.

探索領域Dは、スライス2領域のある位置から、スライス2領域の終わりの位置までの領域である。探索領域Eは、スライス3領域の始まりの位置から、スライス3領域の途中のある位置までの領域である。探索領域Fは、スライス3領域のある位置から、スライス4領域の途中のある位置までの領域である。 The search area D is an area from a certain position of the slice 2 region to a position at the end of the slice 2 region. The search area E is an area from the start position of the slice 3 region to a certain position in the middle of the slice 3 region. The search area F is an area from a certain position of the slice 3 area to a certain position in the middle of the slice 4 area.

探索領域Gは、スライス4領域のある位置から、スライス4領域の終わりの位置までの領域である。探索領域Hは、スライス5領域の始まりの位置から、スライス5の途中のある位置までの領域である。探索領域Iは、スライス5領域のある位置から、スライス6領域の途中のある位置までの領域である。 The search region G is an region from a certain position of the slice 4 region to a position at the end of the slice 4 region. The search region H is an region from the start position of the slice 5 region to a certain position in the middle of the slice 5. The search area I is an area from a certain position of the slice 5 area to a certain position in the middle of the slice 6 area.

探索領域Jは、スライス6領域のある位置から、スライス7領域の途中のある位置までの領域である。探索領域Kは、スライス7のある位置から、AUの終了位置までの領域である。 The search area J is an area from a certain position of the slice 6 area to a certain position in the middle of the slice 7 area. The search area K is an area from the position where the slice 7 is located to the end position of the AU.

図15の左側の矢印に付された数字は、探索の順番を表しており、数字の順番で、第1乃至第3の割り振りポイントが探索される。すなわち、探索領域F、探索領域C、探索領域I、探索領域E、探索領域G、探索領域B、探索領域D、探索領域H、探索領域J、探索領域A、探索領域Kの順に、各探索領域からスライスの開始位置が探索される。3つの有力候補領域がある場合、図15に示されるように、中央に位置する有力候補領域から探索され、その探索後は、上に位置する有力候補領域から探索が開始されてもよいし、下に位置する有力候補領域から探索が開始されてもよい。 The numbers attached to the arrows on the left side of FIG. 15 indicate the search order, and the first to third allocation points are searched in the order of the numbers. That is, each search is performed in the order of search area F, search area C, search area I, search area E, search area G, search area B, search area D, search area H, search area J, search area A, and search area K. The start position of the slice is searched from the area. When there are three promising candidate regions, as shown in FIG. 15, the search may be performed from the promising candidate region located in the center, and after the search, the search may be started from the promising candidate region located above. The search may be started from the leading candidate area located below.

この場合、復号装置11は、探索領域Fを有力候補領域として、第1の割り振りポイントとなるスライスの開始位置の探索を開始する。例えば、探索領域Fの開始位置であるスライス3の途中のある位置から探索が開始される。 In this case, the decoding device 11 starts the search for the start position of the slice, which is the first allocation point, with the search area F as a promising candidate area. For example, the search is started from a certain position in the middle of the slice 3 which is the start position of the search area F.

復号装置11は、探索領域Fにおいてスライス4の開始位置が見つかった場合、探索領域Cを有力候補領域として、第2の割り振りポイントとなるスライスの開始位置の探索を開始する。例えば、探索領域Cの開始位置であるスライス1の途中のある位置から探索が開始される。 When the start position of the slice 4 is found in the search area F, the decoding device 11 starts the search for the start position of the slice, which is the second allocation point, with the search area C as a promising candidate area. For example, the search is started from a certain position in the middle of the slice 1 which is the start position of the search area C.

復号装置11は、探索領域Cにおいてスライス2の開始位置が見つかった場合、探索領域Iを有力候補領域として、第3の割り振りポイントとなるスライスの開始位置の探索を開始する。例えば、探索領域Iの開始位置であるスライス5の途中のある位置から探索が開始される。 When the start position of the slice 2 is found in the search area C, the decoding device 11 starts the search for the start position of the slice which is the third allocation point, using the search area I as a promising candidate area. For example, the search is started from a certain position in the middle of the slice 5, which is the start position of the search area I.

復号装置11は、探索領域Iにおいてスライス6の開始位置が見つかった場合、スライス6の開始位置を第3の割り振りポイントとして決定する。 When the decoding device 11 finds the start position of the slice 6 in the search area I, the decoding device 11 determines the start position of the slice 6 as a third allocation point.

復号装置11は、スライス2の開始位置に基づいて、スライス0とスライス1を復号部22−1に割り振ることになる。復号装置11は、スライス2とスライス4の開始位置に基づいて、スライス2およびスライス3を復号部22−2に割り振ることになる。復号装置11は、スライス4とスライス6の開始位置に基づいて、スライス4およびスライス5を復号部22−3に割り振ることになる。復号装置11は、スライス6の開始位置に基づいて、スライス6およびスライス7を復号部22−4に割り振ることになる。 The decoding device 11 allocates slice 0 and slice 1 to the decoding unit 22-1 based on the start position of the slice 2. The decoding device 11 allocates the slice 2 and the slice 3 to the decoding unit 22-2 based on the start positions of the slice 2 and the slice 4. The decoding device 11 allocates the slice 4 and the slice 5 to the decoding unit 22-3 based on the start positions of the slice 4 and the slice 6. The decoding device 11 allocates the slice 6 and the slice 7 to the decoding unit 22-4 based on the start position of the slice 6.

以上のように、最速で、探索領域F、探索領域C、探索領域Iのみの探索で、スライスの開始位置を見つけることができる。 As described above, the start position of the slice can be found by searching only the search area F, the search area C, and the search area I at the fastest speed.

探索領域Fでスライスの開始位置が見つからない場合、探索領域Eまたは探索領域Gから探索が開始される。探索領域Cでスライスの開始位置が見つからない場合、探索領域Bまたは探索領域Dから探索が開始される。探索領域Iでスライスの開始位置が見つからない場合、探索領域Hまたは探索領域Jから探索が開始される。探索領域Bまたは探索領域Dでスライスの開始位置が見つからない場合、探索領域Aから探索が開始される。探索領域Hまたは探索領域Jでスライスの開始位置が見つからない場合、探索領域Kから探索が開始される。 If the start position of the slice is not found in the search area F, the search is started from the search area E or the search area G. If the start position of the slice is not found in the search area C, the search is started from the search area B or the search area D. If the start position of the slice is not found in the search area I, the search is started from the search area H or the search area J. If the start position of the slice cannot be found in the search area B or the search area D, the search is started from the search area A. If the start position of the slice cannot be found in the search area H or the search area J, the search is started from the search area K.

<2.復号装置の詳細>
<本技術の復号装置の構成例>
図16は、復号装置の詳細な構成例を示すブロック図である。
<2. Decryptor details>
<Configuration example of decoding device of this technology>
FIG. 16 is a block diagram showing a detailed configuration example of the decoding device.

図16において、復号装置11は、復号部22−1および22−2、蓄積バッファ151、シンタックス復号部152、メモリ21を含むスライス探索部153、画面並び替えバッファ154、並びに、フレームメモリ155から構成される。 In FIG. 16, the decoding device 11 is derived from the decoding units 22-1 and 22-2, the storage buffer 151, the syntax decoding unit 152, the slice search unit 153 including the memory 21, the screen rearrangement buffer 154, and the frame memory 155. It is composed.

蓄積バッファ151は、符号化装置10から送信されてきたストリームを受け取り、蓄積する。蓄積バッファ151は、蓄積されているストリームをシンタックス復号部152に供給する。 The storage buffer 151 receives and stores the stream transmitted from the coding device 10. The storage buffer 151 supplies the stored stream to the syntax decoding unit 152.

シンタックス復号部152は、AUD、VPS、SPS、PPS、SEIなどの上位シンタックスを復号する。シンタックス復号部152は、復号した上位シンタックスの情報を、復号部22に出力する。シンタックス復号部152は、ストリームをスライス探索部153に出力する。 The syntax decoding unit 152 decodes higher-level syntax such as AUD, VPS, SPS, PPS, and SEI. The syntax decoding unit 152 outputs the decoded upper syntax information to the decoding unit 22. The syntax decoding unit 152 outputs the stream to the slice search unit 153.

スライス探索部153は、メモリ21を有している。スライス探索部153は、シンタックス復号部152から供給されたストリームをメモリ21に蓄積し、メモリ21に蓄積されたAUを、あるbyte数毎に複数(n個)の探索領域に分割する。スライス探索部153は、複数の探索領域のうち、割り振りポイントとなるスライスの開始位置を含む可能性が高い探索領域である有力候補領域を探索範囲として、スライスの開始位置の探索を開始する。 The slice search unit 153 has a memory 21. The slice search unit 153 stores the stream supplied from the syntax decoding unit 152 in the memory 21, and divides the AU stored in the memory 21 into a plurality (n) search areas for each number of bytes. The slice search unit 153 starts the search for the slice start position with the promising candidate area, which is a search area likely to include the slice start position as the allocation point, as the search range among the plurality of search areas.

スライス探索部153は、探索されたスライスの開始位置に基づいて、複数のスライスを、復号部22−1および22−2に割り振る。 The slice search unit 153 allocates a plurality of slices to the decoding units 22-1 and 22-2 based on the start position of the searched slice.

復号部22−1および22−2は、割り振られたスライスの復号処理を行う。復号部22−1は、データ復号部161、逆量子化部162、逆直交変換部163、加算部164、フィルタ165、イントラ予測部166、インター予測部167、および予測画像選択部168から構成される。復号部22−2も、復号部22−1と同様に構成される。 The decoding units 22-1 and 22-2 perform decoding processing of the allocated slices. The decoding unit 22-1 is composed of a data decoding unit 161, an inverse quantization unit 162, an inverse orthogonal transform unit 163, an addition unit 164, a filter 165, an intra prediction unit 166, an inter prediction unit 167, and a prediction image selection unit 168. NS. The decoding unit 22-2 is also configured in the same manner as the decoding unit 22-1.

データ復号部161は、スライス探索部153から供給されたスライスのデータに対して、可変長復号や、算術復号などの可逆復号を施すことで、量子化値と符号化情報を得る。データ復号部161は、量子化値を逆量子化部162に供給する。 The data decoding unit 161 obtains a quantized value and coding information by performing lossless decoding such as variable length decoding and arithmetic decoding on the slice data supplied from the slice search unit 153. The data decoding unit 161 supplies the quantization value to the inverse quantization unit 162.

また、データ復号部161は、符号化情報としてのイントラ予測モード情報などをイントラ予測部166に供給する。データ復号部161は、動きベクトル、インター予測モード情報、参照画像を特定する情報などをインター予測部167に供給する。 Further, the data decoding unit 161 supplies the intra prediction mode information and the like as the coding information to the intra prediction unit 166. The data decoding unit 161 supplies the motion vector, the inter-prediction mode information, the information for identifying the reference image, and the like to the inter-prediction unit 167.

さらに、データ復号部161は、符号化情報としてのイントラ予測モード情報またはインター予測モード情報を予測画像選択部168に供給する。データ復号部161は、符号化情報としてのオフセットフィルタ情報をフィルタ165に供給する。 Further, the data decoding unit 161 supplies the intra prediction mode information or the inter prediction mode information as the coding information to the prediction image selection unit 168. The data decoding unit 161 supplies the offset filter information as the coding information to the filter 165.

逆量子化部162は、TU単位で、データ復号部161からの量子化値を逆量子化する。逆量子化部162は、その結果得られる直交変換処理結果を逆直交変換部163に供給する。 The dequantization unit 162 dequantizes the quantization value from the data decoding unit 161 in TU units. The inverse quantization unit 162 supplies the orthogonal transformation processing result obtained as a result to the inverse orthogonal transform unit 163.

逆直交変換部163は、逆量子化部162から供給される直交変換処理結果に対して逆直交変換処理を行う。逆直交変換部163は、逆直交変換処理の結果得られる残差情報を加算部164に供給する。 The inverse orthogonal transform unit 163 performs an inverse orthogonal transform process on the orthogonal transform process result supplied from the inverse quantization unit 162. The inverse orthogonal transform unit 163 supplies the residual information obtained as a result of the inverse orthogonal transform process to the addition unit 164.

加算部164は、逆直交変換部163から供給される残差情報と、予測画像選択部168から供給される予測画像を加算する。加算部164は、加算した画像をフィルタ165とイントラ予測部166に供給する。 The addition unit 164 adds the residual information supplied from the inverse orthogonal transform unit 163 and the prediction image supplied from the prediction image selection unit 168. The addition unit 164 supplies the added image to the filter 165 and the intra prediction unit 166.

フィルタ165は、加算部164から供給される画像に対して適応デブロックフィルタ処理を行う。フィルタ165は、その結果得られる画像に対して、LCUごとに、データ復号部161からのオフセットフィルタ情報が表すオフセットを用いて、オフセットフィルタ情報が表す種類の適応オフセットフィルタ処理を行う。フィルタ165は、適応オフセットフィルタ処理後の画像を、フレームメモリ155および画面並べ替えバッファ154に供給する。 The filter 165 performs adaptive deblocking filter processing on the image supplied from the addition unit 164. The filter 165 performs the type of adaptive offset filter processing represented by the offset filter information on the image obtained as a result, using the offset represented by the offset filter information from the data decoding unit 161 for each LCU. The filter 165 supplies the image after the adaptive offset filtering process to the frame memory 155 and the screen sorting buffer 154.

イントラ予測部166は、加算部164から読み出された周辺画像を用いて、データ復号部161から供給されるイントラ予測モード情報が示す最適イントラ予測モードのイントラ予測処理を行う。イントラ予測部166は、その結果生成される予測画像を予測画像選択部168に供給する。 The intra prediction unit 166 uses the peripheral image read from the addition unit 164 to perform the intra prediction processing of the optimum intra prediction mode indicated by the intra prediction mode information supplied from the data decoding unit 161. The intra prediction unit 166 supplies the prediction image generated as a result to the prediction image selection unit 168.

インター予測部167は、フレームメモリ155から、データ復号部161から供給される参照画像を特定する情報により特定される参照画像を読み出す。インター予測部167は、データ復号部161から供給される動きベクトルと参照画像を用いて、データ復号部161から供給されるインター予測モード情報が示す最適インター予測モードの動き補償処理を行う。インター予測部167は、その結果生成される予測画像を予測画像選択部168に供給する。 The inter-prediction unit 167 reads out from the frame memory 155 the reference image specified by the information specifying the reference image supplied from the data decoding unit 161. The inter-prediction unit 167 uses the motion vector supplied from the data decoding unit 161 and the reference image to perform motion compensation processing in the optimum inter-prediction mode indicated by the inter-prediction mode information supplied from the data decoding unit 161. The inter-prediction unit 167 supplies the predicted image generated as a result to the prediction image selection unit 168.

予測画像選択部168は、データ復号部161からイントラ予測モード情報が供給された場合、イントラ予測部166から供給される予測画像を加算部164に供給する。一方、データ復号部161からインター予測モード情報が供給された場合、予測画像選択部168は、インター予測部167から供給される予測画像を加算部164に供給する。 When the intra prediction mode information is supplied from the data decoding unit 161, the prediction image selection unit 168 supplies the prediction image supplied from the intra prediction unit 166 to the addition unit 164. On the other hand, when the inter-prediction mode information is supplied from the data decoding unit 161, the prediction image selection unit 168 supplies the prediction image supplied from the inter-prediction unit 167 to the addition unit 164.

画面並べ替えバッファ154は、フィルタ165から供給される画像をフレーム単位で記憶する。画面並べ替えバッファ154は、画像を、元の表示の順番に並び替える。 The screen rearrangement buffer 154 stores the image supplied from the filter 165 in frame units. The screen sort buffer 154 sorts the images in the original display order.

フレームメモリ155は、フィルタ165から供給される画像を記憶する。 The frame memory 155 stores an image supplied from the filter 165.

<復号装置の動作>
図17は、図16の復号装置の処理を説明するフローチャートである。
<Operation of decoding device>
FIG. 17 is a flowchart illustrating the processing of the decoding device of FIG.

ステップS101において、蓄積バッファ151は、符号化装置10から送信されてきたストリームを受け取り、蓄積する。蓄積バッファ151は、ストリームをシンタックス復号部152に供給する。 In step S101, the storage buffer 151 receives and stores the stream transmitted from the coding device 10. The storage buffer 151 supplies the stream to the syntax decoding unit 152.

ステップS102において、シンタックス復号部152は、上位シンタックスを復号する。シンタックス復号部152は、復号した上位シンタックスの情報を、復号部22に出力する。シンタックス復号部152は、ストリームをスライス探索部153に出力する。 In step S102, the syntax decoding unit 152 decodes the upper syntax. The syntax decoding unit 152 outputs the decoded upper syntax information to the decoding unit 22. The syntax decoding unit 152 outputs the stream to the slice search unit 153.

ステップS103において、スライス探索部153は、シンタックス復号部152から供給されたストリームをメモリ21に蓄積し、スライスの開始位置の探索処理を行う。スライスの開始位置の探索処理の詳細は、図18を参照して後述される。ステップS103の処理により、スライスが、復号部22−1および復号部22−2に割り振られる。 In step S103, the slice search unit 153 stores the stream supplied from the syntax decoding unit 152 in the memory 21 and performs a search process for the slice start position. Details of the slicing start position search process will be described later with reference to FIG. By the process of step S103, slices are allocated to the decoding unit 22-1 and the decoding unit 22-2.

ステップS104において、復号部22−1および22−2は、割り振られたスライスの復号処理を行う。スライスの復号処理の詳細は、図19を参照して後述される。ステップS104の処理により、各スライスが復号される。 In step S104, the decoding units 22-1 and 22-2 perform decoding processing of the allocated slices. Details of the slice decoding process will be described later with reference to FIG. Each slice is decoded by the process of step S104.

ステップS105において、画面並べ替えバッファ154は、画像を、表示の順番に並び替える。 In step S105, the screen sorting buffer 154 sorts the images in the order of display.

ステップS106において、フレームメモリ155は、フィルタ165から供給される画像を記憶する。 In step S106, the frame memory 155 stores the image supplied from the filter 165.

図18は、図17のステップS103のスライスの開始位置の探索処理を説明するフローチャートである。 FIG. 18 is a flowchart illustrating a search process for a slice start position in step S103 of FIG.

ステップS121において、スライス探索部153は、AUにおいて探索領域を決定する。 In step S121, the slice search unit 153 determines the search area in the AU.

ステップS122において、スライス探索部153は、探索領域の中から探索順を決定する。このとき、有力候補領域も求められる。 In step S122, the slice search unit 153 determines the search order from the search area. At this time, a promising candidate area is also required.

ステップS123において、スライス探索部153は、分割された探索領域からスライスの開始位置の探索を行う。求められた有力候補領域からスライスの開始位置の探索が開始される。 In step S123, the slice search unit 153 searches for the start position of the slice from the divided search area. The search for the start position of the slice is started from the obtained promising candidate region.

ステップS124において、スライス探索部153は、探索領域から、スライスの開始位置を見つけていないか否かを判定する。 In step S124, the slice search unit 153 determines whether or not the start position of the slice has been found from the search area.

ステップS124において、スライスの開始位置を見つけていないと判定された場合、ステップS123に戻り、それ以降の処理が繰り返される。 If it is determined in step S124 that the start position of the slice has not been found, the process returns to step S123, and the subsequent processing is repeated.

ステップS124において、スライスの開始位置を見つけたと判定された場合、処理は、ステップS125に進む。 If it is determined in step S124 that the start position of the slice has been found, the process proceeds to step S125.

ステップS125において、スライス探索部153は、見つけたスライスの開始位置に基づいて、各復号部22にスライスを割り振る。 In step S125, the slice search unit 153 allocates slices to each decoding unit 22 based on the start position of the found slice.

図18において、ステップS123およびS124の処理は、スライスの開始位置が見つかった時点で終了される処理である。したがって、必要な探索領域の探索しか行われない。 In FIG. 18, the processes of steps S123 and S124 are processes that end when the start position of the slice is found. Therefore, only the required search area is searched.

図19は、図17のステップS104におけるスライスの復号処理を説明するフローチャートである。 FIG. 19 is a flowchart illustrating the slice decoding process in step S104 of FIG.

ステップS161において、データ復号部161は、蓄積バッファ151からの符号化データを復号し、量子化値と符号化情報を得る。データ復号部161は、量子化値を逆量子化部162に供給する。 In step S161, the data decoding unit 161 decodes the coded data from the storage buffer 151 to obtain the quantized value and the coded information. The data decoding unit 161 supplies the quantization value to the inverse quantization unit 162.

また、データ復号部161は、符号化情報としてのイントラ予測モード情報などをイントラ予測部166に供給する。データ復号部161は、動きベクトル、インター予測モード情報、参照画像を特定する情報などをインター予測部167に供給する。 Further, the data decoding unit 161 supplies the intra prediction mode information and the like as the coding information to the intra prediction unit 166. The data decoding unit 161 supplies the motion vector, the inter-prediction mode information, the information for identifying the reference image, and the like to the inter-prediction unit 167.

さらに、データ復号部161は、符号化情報としてのイントラ予測モード情報またはインター予測モード情報を予測画像選択部168に供給する。データ復号部161は、符号化情報としてのオフセットフィルタ情報をフィルタ165に供給する。 Further, the data decoding unit 161 supplies the intra prediction mode information or the inter prediction mode information as the coding information to the prediction image selection unit 168. The data decoding unit 161 supplies the offset filter information as the coding information to the filter 165.

ステップS162において、逆量子化部162は、データ復号部161から供給される量子化値を逆量子化する。逆量子化部162は、逆量子化の結果得られる直交変換処理結果を逆直交変換部163に供給する。 In step S162, the dequantization unit 162 dequantizes the quantization value supplied from the data decoding unit 161. The inverse quantization unit 162 supplies the orthogonal transformation processing result obtained as a result of the inverse quantization to the inverse orthogonal transform unit 163.

ステップS163において、逆直交変換部163は、逆量子化部162からの直交変換処理結果に対して逆直交変換処理を行う。 In step S163, the inverse orthogonal transform unit 163 performs the inverse orthogonal transform process on the orthogonal transform process result from the inverse quantization unit 162.

ステップS164において、イントラ予測部166またはインター予測部167は、予測画像を生成する。すなわち、データ復号部161からインター予測モード情報が供給されたと判定された場合、インター予測部167は、データ復号部161から供給される参照画像特定情報に基づいて参照画像を読み出す。 In step S164, the intra prediction unit 166 or the inter prediction unit 167 generates a prediction image. That is, when it is determined that the inter-prediction mode information has been supplied from the data decoding unit 161, the inter-prediction unit 167 reads out the reference image based on the reference image identification information supplied from the data decoding unit 161.

インター予測部167は、動きベクトルと参照画像を用いて、インター予測モード情報が示す最適インター予測モードの動き補償処理を行い、予測画像を生成する。インター予測部167は、その結果生成される予測画像を、予測画像選択部168を介して加算部164に供給する。 The inter-prediction unit 167 uses the motion vector and the reference image to perform motion compensation processing in the optimum inter-prediction mode indicated by the inter-prediction mode information, and generates a prediction image. The inter-prediction unit 167 supplies the predicted image generated as a result to the addition unit 164 via the prediction image selection unit 168.

一方、イントラ予測モード情報がイントラ予測部166に供給された場合、イントラ予測部166は、加算部164からの周辺画像を用いて、イントラ予測モード情報が示すイントラ予測モードのイントラ予測処理を行う。イントラ予測部166は、イントラ予測処理の結果生成される予測画像を、予測画像選択部168を介して加算部164に供給する。 On the other hand, when the intra prediction mode information is supplied to the intra prediction mode 166, the intra prediction unit 166 performs the intra prediction processing of the intra prediction mode indicated by the intra prediction mode information by using the peripheral image from the addition unit 164. The intra prediction unit 166 supplies the prediction image generated as a result of the intra prediction processing to the addition unit 164 via the prediction image selection unit 168.

ステップS165において、加算部164は、逆直交変換部163から供給される残差情報と、予測画像選択部168から供給される予測画像を加算する。加算部164は、加算された画像をフィルタ165とイントラ予測部166に供給する。 In step S165, the addition unit 164 adds the residual information supplied from the inverse orthogonal transform unit 163 and the prediction image supplied from the prediction image selection unit 168. The addition unit 164 supplies the added image to the filter 165 and the intra prediction unit 166.

ステップS166において、フィルタ165は、加算部164から供給される画像に対してデブロッキングフィルタ処理を行い、その結果得られる画像に対して、データ復号部161から供給されるオフセットフィルタ情報に基づいて、LCUごとに適応オフセットフィルタ処理を行う。フィルタ165は、適応オフセットフィルタ処理後の画像を、フレームメモリ155および画面並べ替えバッファ154に供給する。 In step S166, the filter 165 performs a deblocking filter process on the image supplied from the addition unit 164, and the image obtained as a result is subjected to the deblocking filter processing based on the offset filter information supplied from the data decoding unit 161. Adaptive offset filtering is performed for each LCU. The filter 165 supplies the image after the adaptive offset filtering process to the frame memory 155 and the screen sorting buffer 154.

これに対して、本技術においては、複数の処理領域からなるアクセスユニットが、処理領域とは異なるサイズの領域である複数の探索領域に分割され、複数の復号部のそれぞれに処理領域を割り振るときの基準となる処理領域の開始位置の探索が、開始位置を含む可能性が高い探索領域である有力候補領域から行われる。 On the other hand, in the present technology, when an access unit composed of a plurality of processing areas is divided into a plurality of search areas having a size different from the processing area and the processing area is allocated to each of the plurality of decoding units. The search for the start position of the processing area, which is the reference of the above, is performed from the promising candidate area, which is a search area that is likely to include the start position.

図20は、従来のスライスの探索処理を説明するフローチャートである。 FIG. 20 is a flowchart illustrating a conventional slice search process.

ステップS181において、StartCodeを見つけたか否かが判定される。ステップS181において、StartCodeを見つけたと判定された場合、処理は、ステップS182に進む。 In step S181, it is determined whether or not the Start Code has been found. If it is determined in step S181 that the StartCode has been found, the process proceeds to step S182.

ステップS182において、見つけたStartCodeから始まるNAL UNITがスライスNALであるか否かが判定される。ステップS182において、スライスNALであると判定された場合、処理は、ステップS183に進む。 In step S182, it is determined whether or not the NAL UNIT starting from the found Start Code is a slice NAL. If it is determined in step S182 that the slice is NAL, the process proceeds to step S183.

ステップS183において、見つけたStartCodeのオフセット値が保持される。 In step S183, the found offset value of StartCode is retained.

ステップS182において、スライスNALではないと判定された場合、処理は、ステップS181に戻る。 If it is determined in step S182 that it is not a slice NAL, the process returns to step S181.

ステップS181において、StartCodeを見つけられなかったと判定された場合、処理は、ステップS184に進む。 If it is determined in step S181 that the StartCode could not be found, the process proceeds to step S184.

ステップS184において、保持したオフセット値に基づいて、複数のスライスが、復号部のHWサイズ毎に振り分けられる。 In step S184, a plurality of slices are sorted according to the HW size of the decoding unit based on the retained offset value.

図20において、ステップS181乃至S183の処理は、すべてのスライスに対して探索が行われる。すなわち、従来、すべてのスライスに対して探索が行われないと、ステップS184の処理に進むことができなかった。 In FIG. 20, in the processes of steps S181 to S183, a search is performed for all slices. That is, conventionally, the process of step S184 could not proceed unless the search was performed for all the slices.

以上のように、従来においては、常にAU全体を探索していたのに対し、本技術によれば、探索領域を絞ることにより、大幅な短縮を見込むことができる。 As described above, in the past, the entire AU was always searched, but according to this technology, a significant reduction can be expected by narrowing down the search area.

分割数dに対して、n番目の探索領域で分割点を見つけた場合、従来は、AU全体、すなわち、d/d(=100)%で探索を行っていたのに対して、分割点を見つけた時点で探索を切り上げることができるので、n/d%の探索に削減することができる。 When a division point is found in the nth search area with respect to the number of divisions d, the search is conventionally performed for the entire AU, that is, d / d (= 100)%, whereas the division point is set. Since the search can be rounded up when it is found, the search can be reduced to n / d%.

例えば、復号部の数が2で、予測担当領域数を6として、最初の探索領域で分割点を見つけた場合、分割数d=11となり、スライス位置の探索時間は、概算で、1/11(=9)%に削減される。 For example, if the number of decoding units is 2, the number of regions in charge of prediction is 6, and a division point is found in the first search region, the number of divisions d = 11, and the search time for the slice position is approximately 1/11. It is reduced to (= 9)%.

本技術を用いた探索では、ワーストケースであっても、従来のAUの全探索になるのみである。 In the search using this technology, even in the worst case, only the conventional full search of AU is performed.

本技術は、処理領域として、スライスに限らず、タイルにも適用される。 This technique is applied not only to slices but also to tiles as a processing area.

<3.コンピュータ>
<コンピュータのハードウエア構成例>
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
<3. Computer>
<Computer hardware configuration example>
The series of processes described above can be executed by hardware or software. When a series of processes are executed by software, the programs constituting the software are installed on the computer. Here, the computer includes a computer embedded in dedicated hardware and, for example, a general-purpose personal computer capable of executing various functions by installing various programs.

図21は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。 FIG. 21 is a block diagram showing a configuration example of hardware of a computer that executes the above-mentioned series of processes programmatically.

コンピュータにおいて、CPU(Central Processing UNIT)301、ROM(Read Only Memory)302、RAM(Random Access Memory)303は、バス304により相互に接続されている。 In a computer, a CPU (Central Processing UNIT) 301, a ROM (Read Only Memory) 302, and a RAM (Random Access Memory) 303 are connected to each other by a bus 304.

バス304には、さらに、入出力インタフェース305が接続されている。入出力インタフェース305には、入力部306、出力部307、記憶部308、通信部309、及びドライブ310が接続されている。 An input / output interface 305 is further connected to the bus 304. An input unit 306, an output unit 307, a storage unit 308, a communication unit 309, and a drive 310 are connected to the input / output interface 305.

入力部306は、キーボード、マウス、マイクロフォンなどよりなる。出力部307は、ディスプレイ、スピーカなどよりなる。記憶部308は、ハードディスクや不揮発性のメモリなどよりなる。通信部309は、ネットワークインタフェースなどよりなる。ドライブ310は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア311を駆動する。 The input unit 306 includes a keyboard, a mouse, a microphone, and the like. The output unit 307 includes a display, a speaker, and the like. The storage unit 308 includes a hard disk, a non-volatile memory, and the like. The communication unit 309 includes a network interface and the like. The drive 310 drives a removable medium 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.

以上のように構成されるコンピュータでは、CPU301が、例えば、記憶部308に記憶されているプログラムを、入出力インタフェース305およびバス304を介して、RAM303にロードして実行することにより、上述した一連の処理が行われる。 In the computer configured as described above, the CPU 301 loads the program stored in the storage unit 308 into the RAM 303 via the input / output interface 305 and the bus 304, and executes the above-described series. Is processed.

コンピュータ(CPU301)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア311に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。 The program executed by the computer (CPU301) can be recorded and provided on the removable media 311 as a package media or the like, for example. Programs can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasts.

コンピュータでは、プログラムは、リムーバブルメディア311をドライブ310に装着することにより、入出力インタフェース305を介して、記憶部308にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部309で受信し、記憶部308にインストールすることができる。その他、プログラムは、ROM302や記憶部308に、あらかじめインストールしておくことができる。 In the computer, the program can be installed in the storage unit 308 via the input / output interface 305 by mounting the removable media 311 in the drive 310. Further, the program can be received by the communication unit 309 and installed in the storage unit 308 via a wired or wireless transmission medium. In addition, the program can be pre-installed in the ROM 302 or the storage unit 308.

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。 The program executed by the computer may be a program that is processed in chronological order according to the order described in this specification, or may be a program that is processed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.

また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。従って、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。 Further, in the present specification, the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether or not all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。 It should be noted that the effects described in the present specification are merely examples and are not limited, and other effects may be obtained.

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。 The embodiment of the present technology is not limited to the above-described embodiment, and various changes can be made without departing from the gist of the present technology.

例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。 For example, the present technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and jointly processed.

また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。 Further, each step described in the above-mentioned flowchart can be executed by one device or can be shared and executed by a plurality of devices.

さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。 Further, when a plurality of processes are included in one step, the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.

<構成の組み合わせ例>
本技術は、以下のような構成をとることもできる。
(1)
複数の処理領域からなるアクセスユニットを、前記処理領域とは異なるサイズの領域である複数の探索領域に分割し、複数の復号部のそれぞれに前記処理領域を割り振るときの基準となる前記処理領域の開始位置の探索を、前記開始位置を含む可能性が高い前記探索領域である有力候補領域から行う探索部
を備える画像処理装置。
(2)
前記探索部は、前記開始位置を含む可能性が高い前記探索領域から前記処理領域の開始位置が見つからなかった場合、前記有力候補領域の近傍に位置する前記探索領域から前記処理領域の開始位置を探索する
前記(1)に記載の画像処理装置。
(3)
前記探索部は、前記有力候補領域の近傍に位置する第1の探索領域から前記処理領域の開始位置が見つからなかった場合、前記有力候補領域の近傍に位置する第2の探索領域から前記処理領域の開始位置を探索し、
前記有力候補領域の近傍に位置する第2の探索領域から前記処理領域の開始位置が見つからなかった場合、前記第1の探索領域の近傍に位置する探索領域から前記処理領域の開始位置を探索する
前記(2)に記載の画像処理装置。
(4)
前記探索部は、前記有力候補領域を、前記復号部の数に基づいて決定する
前記(1)または(2)に記載の画像処理装置。
(5)
前記探索部は、前記有力候補領域を、符号化フォーマットに基づいて決定する
前記(1)または(2)に記載の画像処理装置。
(6)
前記探索部は、前記有力候補領域を、直前に探索された前記アクセスユニットにおける前記処理領域の開始位置に基づいて決定する
前記(1)または(2)に記載の画像処理装置。
(7)
前記探索部は、前記アクセスユニットを前均等のサイズの前記探索領域に分割する
前記(1)乃至(6)のいずれかに記載の画像処理装置。
(8)
前記処理領域は、スライスである
前記(1)乃至(7)のいずれかに記載の画像処理装置。
(9)
前記処理領域の開始位置に基づいて割り振られた前記処理領域を復号する複数の前記復号部
をさらに備える前記(1)乃至(8)のいずれかに記載の画像処理装置。
(10)
前記復号部が2つの場合、前記探索部は、前記処理領域の開始位置の探索を、1つの前記有力候補領域から行う
前記(1)乃至(9)のいずれかに記載の画像処理装置。
(11)
前記復号部が3つの場合、前記探索部は、前記処理領域の開始位置の探索を、2つの前記有力候補領域から行う
前記(1)乃至(9)のいずれかに記載の画像処理装置。
(12)
画像処理装置が、
複数の処理領域からなるアクセスユニットを、前記処理領域とは異なるサイズの領域である複数の探索領域に分割し、複数の復号部のそれぞれに前記処理領域を割り振るときの基準となる前記処理領域の開始位置の探索を、前記処理領域の開始位置を含む可能性が高い前記探索領域である有力候補領域から行う
画像処理方法。
<Example of configuration combination>
The present technology can also have the following configurations.
(1)
An access unit composed of a plurality of processing areas is divided into a plurality of search areas having a size different from the processing area, and the processing area serving as a reference when allocating the processing area to each of the plurality of decoding units is used. An image processing device including a search unit that searches for a start position from a promising candidate area, which is a search area that is likely to include the start position.
(2)
When the start position of the processing area is not found in the search area that is likely to include the start position, the search unit determines the start position of the processing area from the search area located in the vicinity of the promising candidate area. The image processing apparatus according to (1) above.
(3)
When the start position of the processing area is not found from the first search area located in the vicinity of the promising candidate area, the search unit starts the processing area from the second search area located in the vicinity of the promising candidate area. Search for the starting position of
When the start position of the processing area is not found in the second search area located in the vicinity of the promising candidate area, the start position of the processing area is searched from the search area located in the vicinity of the first search area. The image processing apparatus according to (2) above.
(4)
The image processing apparatus according to (1) or (2), wherein the search unit determines a promising candidate region based on the number of decoding units.
(5)
The image processing apparatus according to (1) or (2), wherein the search unit determines a promising candidate region based on a coding format.
(6)
The image processing apparatus according to (1) or (2), wherein the search unit determines a promising candidate region based on a start position of the processing region in the access unit searched immediately before.
(7)
The image processing apparatus according to any one of (1) to (6) above, wherein the search unit divides the access unit into the search area having an equal size in front.
(8)
The image processing apparatus according to any one of (1) to (7) above, wherein the processing area is a slice.
(9)
The image processing apparatus according to any one of (1) to (8), further comprising a plurality of decoding units for decoding the processing area allocated based on the start position of the processing area.
(10)
The image processing apparatus according to any one of (1) to (9), wherein when there are two decoding units, the search unit searches for a start position of the processing region from one promising candidate region.
(11)
The image processing apparatus according to any one of (1) to (9), wherein when there are three decoding units, the search unit searches for a start position of the processing region from two promising candidate regions.
(12)
The image processing device
An access unit composed of a plurality of processing areas is divided into a plurality of search areas having a size different from the processing area, and the processing area serving as a reference when allocating the processing area to each of the plurality of decoding units is used. An image processing method in which a search for a start position is performed from a promising candidate region, which is the search region that is likely to include the start position of the processing region.

1 画像処理システム, 10 符号化装置, 11 復号装置, 21 メモリ, 22 22−1乃至22−4 復号部, 151 蓄積バッファ, 152 シンタックス復号部, 153 スライス探索部, 154 画面並び替えバッファ, 155 フレームメモリ 1 Image processing system, 10 Encoding device, 11 Decoding device, 21 Memory, 22 22-1 to 22-4 Decoding section, 151 Storage buffer, 152 Syntax decoding section, 153 Slice search section, 154 Screen sorting buffer, 155 Frame memory

Claims (12)

複数の処理領域からなるアクセスユニットを、前記処理領域とは異なるサイズの領域である複数の探索領域に分割し、複数の復号部のそれぞれに前記処理領域を割り振るときの基準となる前記処理領域の開始位置の探索を、前記処理領域の開始位置を含む可能性が高い前記探索領域である有力候補領域から行う探索部
を備える画像処理装置。
An access unit composed of a plurality of processing areas is divided into a plurality of search areas having a size different from the processing area, and the processing area serving as a reference when allocating the processing area to each of the plurality of decoding units is used. An image processing apparatus including a search unit that searches for a start position from a promising candidate area, which is a search area that is likely to include a start position of the processing area.
前記探索部は、前記有力候補領域から前記処理領域の開始位置が見つからなかった場合、前記有力候補領域の近傍に位置する前記探索領域から前記処理領域の開始位置を探索する
請求項1に記載の画像処理装置。
The first aspect of claim 1, wherein the search unit searches for a start position of the processing area from the search area located in the vicinity of the promising candidate area when the start position of the processing area is not found in the promising candidate area. Image processing device.
前記探索部は、前記有力候補領域の近傍に位置する第1の探索領域から前記処理領域の開始位置が見つからなかった場合、前記有力候補領域の近傍に位置する第2の探索領域から前記処理領域の開始位置を探索し、
前記有力候補領域の近傍に位置する第2の探索領域から前記処理領域の開始位置が見つからなかった場合、前記第1の探索領域の近傍に位置する探索領域から前記処理領域の開始位置を探索する
請求項2に記載の画像処理装置。
前記探索領域から前記処理領域の開始位置
When the start position of the processing area is not found from the first search area located in the vicinity of the promising candidate area, the search unit starts the processing area from the second search area located in the vicinity of the promising candidate area. Search for the starting position of
When the start position of the processing area is not found in the second search area located in the vicinity of the promising candidate area, the start position of the processing area is searched from the search area located in the vicinity of the first search area. The image processing apparatus according to claim 2.
The start position of the processing area from the search area
前記探索部は、前記有力候補領域を、前記復号部の数に基づいて決定する
請求項1に記載の画像処理装置。
The image processing apparatus according to claim 1, wherein the search unit determines a promising candidate region based on the number of decoding units.
前記探索部は、前記有力候補領域を、符号化フォーマットに基づいて決定する
請求項1に記載の画像処理装置。
The image processing apparatus according to claim 1, wherein the search unit determines the promising candidate region based on a coding format.
前記探索部は、前記有力候補領域を、直前に探索された前記アクセスユニットにおける前記処理領域の開始位置に基づいて決定する
請求項1に記載の画像処理装置。
The image processing apparatus according to claim 1, wherein the search unit determines the promising candidate region based on the start position of the processing region in the access unit searched immediately before.
前記探索部は、前記アクセスユニットを均等のサイズの前記探索領域に分割する
請求項1に記載の画像処理装置。
The image processing apparatus according to claim 1, wherein the search unit divides the access unit into the search areas having an equal size.
前記処理領域は、スライスである
請求項1に記載の画像処理装置。
The image processing apparatus according to claim 1, wherein the processing area is a slice.
前記処理領域の開始位置に基づいて割り振られた前記処理領域を復号する複数の前記復号部
をさらに備える請求項1に記載の画像処理装置。
The image processing apparatus according to claim 1, further comprising a plurality of decoding units for decoding the processing area allocated based on the start position of the processing area.
前記復号部が2つの場合、前記探索部は、前記処理領域の開始位置の探索を、1つの前記有力候補領域から行う
請求項1に記載の画像処理装置。
The image processing apparatus according to claim 1, wherein when there are two decoding units, the search unit searches for a start position of the processing region from one promising candidate region.
前記復号部が3つの場合、前記探索部は、前記処理領域の開始位置の探索を、2つの前記有力候補領域から行う
請求項1に記載の画像処理装置。
The image processing apparatus according to claim 1, wherein when there are three decoding units, the search unit searches for a start position of the processing region from the two promising candidate regions.
画像処理装置が、
複数の処理領域からなるアクセスユニットを、前記処理領域とは異なるサイズの領域である複数の探索領域に分割し、複数の復号部のそれぞれに前記処理領域を割り振るときの基準となる前記処理領域の開始位置の探索を、前記処理領域の開始位置を含む可能性が高い前記探索領域である有力候補領域から行う
画像処理方法。
The image processing device
An access unit composed of a plurality of processing areas is divided into a plurality of search areas having a size different from the processing area, and the processing area serving as a reference when allocating the processing area to each of the plurality of decoding units is used. An image processing method in which a search for a start position is performed from a promising candidate region, which is the search region that is likely to include the start position of the processing region.
JP2018113350A 2018-06-14 2018-06-14 Image processing apparatus and image processing method Pending JP2021145157A (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018113350A JP2021145157A (en) 2018-06-14 2018-06-14 Image processing apparatus and image processing method
PCT/JP2019/021903 WO2019239931A1 (en) 2018-06-14 2019-06-03 Image processing device and method
US17/250,160 US20210243440A1 (en) 2018-06-14 2019-06-03 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018113350A JP2021145157A (en) 2018-06-14 2018-06-14 Image processing apparatus and image processing method

Publications (1)

Publication Number Publication Date
JP2021145157A true JP2021145157A (en) 2021-09-24

Family

ID=68842136

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018113350A Pending JP2021145157A (en) 2018-06-14 2018-06-14 Image processing apparatus and image processing method

Country Status (3)

Country Link
US (1) US20210243440A1 (en)
JP (1) JP2021145157A (en)
WO (1) WO2019239931A1 (en)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000152236A (en) * 1998-11-18 2000-05-30 Hitachi Ltd Moving picture coder, multiplexing method, its system and recording and reproducing device
JP4374548B2 (en) * 2005-04-15 2009-12-02 ソニー株式会社 Decoding device and method, recording medium, and program
JP2008205681A (en) * 2007-02-19 2008-09-04 Matsushita Electric Ind Co Ltd Unit and method for bitstream analysis
CN102177715A (en) * 2008-11-10 2011-09-07 松下电器产业株式会社 Image decoding device, image decoding method, integrated circuit, and program
JP5321895B2 (en) * 2009-05-27 2013-10-23 ソニー株式会社 Information processing apparatus and method
CN102263947B (en) * 2010-05-27 2016-07-06 香港科技大学 The method and system of image motion estimation
JP5656879B2 (en) * 2010-07-30 2015-01-21 パナソニックIpマネジメント株式会社 Image decoding apparatus, image decoding method, image encoding apparatus, and image encoding method
US10462459B2 (en) * 2016-04-14 2019-10-29 Mediatek Inc. Non-local adaptive loop filter

Also Published As

Publication number Publication date
WO2019239931A1 (en) 2019-12-19
US20210243440A1 (en) 2021-08-05

Similar Documents

Publication Publication Date Title
US11388405B2 (en) Content aware scheduling in a HEVC decoder operating on a multi-core processor platform
JP2018198447A (en) Coding concept allowing parallel processing, transport demultiplexer, and video bit stream
US10855982B2 (en) Image processing apparatus and method
JP7447076B2 (en) The concept of compartmentalized intracoding
JP7432032B2 (en) Video encoding and decoding methods and devices
KR20210070991A (en) A three-dimensional data encoding method, a three-dimensional data decoding method, a three-dimensional data encoding apparatus, and a three-dimensional data decoding apparatus
US10165291B2 (en) Parallel parsing in a video decoder
CN112005550A (en) Method for processing image and apparatus thereof
JP2022523441A (en) Parameter set signaling in digital video
US20170359591A1 (en) Method and device for entropy encoding or entropy decoding video signal for high-capacity parallel processing
US9451251B2 (en) Sub picture parallel transcoding
JP6569665B2 (en) Image decoding apparatus, image decoding method, and integrated circuit
KR20130054408A (en) Coding and decoding utilizing adaptive context model selection with zigzag scan
US20220132128A1 (en) Method and apparatus for cabac-based entropy coding
US11962785B2 (en) Video encoding method and decoding method using tiles and slices, and video encoding device and decoding device using tiles and slices
US9398306B2 (en) Entropy encoding/decoding method and apparatus for accelerating video decoding
KR20130054435A (en) Coding and decoding utilizing context model selection with adaptive scan pattern
JP2021145157A (en) Image processing apparatus and image processing method
US20210385434A1 (en) Decoding apparatus, encoding apparatus, decoding method, encoding method, and program
US10148965B2 (en) Moving image coding apparatus and moving image coding method
KR102171119B1 (en) Enhanced data processing apparatus using multiple-block based pipeline and operation method thereof
US11212529B2 (en) Image processing apparatus and image processing method
EP3149943A1 (en) Content aware scheduling in a hevc decoder operating on a multi-core processor platform