WO2020071846A1 - Method and apparatus for processing video signal by using intra-prediction - Google Patents

Method and apparatus for processing video signal by using intra-prediction

Info

Publication number
WO2020071846A1
WO2020071846A1 PCT/KR2019/013024 KR2019013024W WO2020071846A1 WO 2020071846 A1 WO2020071846 A1 WO 2020071846A1 KR 2019013024 W KR2019013024 W KR 2019013024W WO 2020071846 A1 WO2020071846 A1 WO 2020071846A1
Authority
WO
WIPO (PCT)
Prior art keywords
prediction
unit
mpm
current block
sample
Prior art date
Application number
PCT/KR2019/013024
Other languages
French (fr)
Korean (ko)
Inventor
허진
유선미
이령
최장원
최정아
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of WO2020071846A1 publication Critical patent/WO2020071846A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present specification relates to a method and apparatus for processing a video signal using intra prediction, and more particularly, to a method and apparatus for efficiently processing information related to prediction.
  • Compression encoding refers to a series of signal processing techniques for transmitting digitized information over a communication line or storing it in a form suitable for a storage medium.
  • Media such as video, image, and audio may be the subject of compression encoding.
  • a technique for performing compression encoding on an image is referred to as video image compression.
  • Next-generation video content will have the characteristics of high spatial resolution, high frame rate and high dimensionality of scene representation. In order to process such content, a huge increase in terms of memory storage, memory access rate and processing power will be produced.
  • the video codec standard after the high efficiency video coding (HEVC) standard requires an intra prediction technique capable of efficiently coding information related to prediction while improving coding efficiency.
  • embodiments of the present specification are to provide a video signal processing method and apparatus for efficiently processing information related to prediction.
  • a video signal processing method using intra prediction includes: checking a most probable mode (MPM) flag for a current block and, if the MPM flag is 1, a reference line for prediction of the current block Identifying an index and an MPM index, and generating a prediction sample for the current block using a prediction direction indicated by the MPM index from a reference line indicated by the reference line index.
  • MPM most probable mode
  • the video signal processing method further includes: if the MPM is not applied, checking re-maining intra mode information, and generating a prediction sample of the current block based on the re-maining intra mode information. can do.
  • checking the reference line index and the MPM index may include parsing the MPM index after parsing the reference line index or parsing the reference line index after parsing the MPM index. It can contain.
  • the reference line index and the MPM index may be parsed simultaneously as one syntax element.
  • the reference line index may indicate the location of a peripheral reference sample line within a predetermined sample distance to the left or upper side of the current block used for prediction of the current block.
  • the reference line index may indicate the location of a peripheral reference sample line within a predetermined sample distance to the left or upper side of the current block used for prediction of the current block. Also, the reference line index may indicate a reference sample line spaced by a distance of 1, 2, or 4 samples from the current block.
  • a video signal processing apparatus using intra prediction includes a memory that stores the video signal, and a processor coupled with the memory, wherein the processor is the most probable mode for the current block ) Flag, and if the MPM flag is 1, a reference line index and an MPM index for prediction of the current block are checked, and a prediction direction indicated by the MPM index from a reference line indicated by the reference line index Is set to generate a prediction sample for the current block.
  • the processor may be configured to check remodeling intra mode information and generate a prediction sample of the current block based on the remodeling intra mode information.
  • the processor may be configured to parse the MPM index after parsing the reference line index or parse the reference line index after parsing the MPM index.
  • information related to prediction can be efficiently processed by using an association between the most probable mode (MPM) and a multiple reference line (MRL).
  • FIG. 1 shows an example of a video coding system according to an embodiment of the present specification.
  • FIG. 3 is an embodiment of the present specification, and shows a schematic block diagram of a decoding apparatus in which decoding of a video signal is performed.
  • FIG 5 shows an example of a multi-type tree structure according to an embodiment of the present specification.
  • FIG. 6 illustrates an example of a signaling mechanism of split information of a quadtree with nested multi-type tree structure accompanying a multitype tree according to an embodiment of the present disclosure.
  • FIG. 7 illustrates an example of a method of dividing a CTU into multiple CUs based on a quadtree and nested multi-type tree structure according to an embodiment of the present specification.
  • FIG. 8 shows an example of a case in which ternary tree partitioning according to an embodiment of the present disclosure is limited.
  • FIGS. 12 and 13 illustrate an intra prediction-based video / video decoding method according to an embodiment of the present specification and an example of an intra prediction unit in a decoder according to an embodiment of the present invention.
  • FIG. 16 shows an example of a flowchart for constructing a list of most probable mode (MPM) candidates according to an embodiment of the present specification.
  • 17A and 17B show examples of reference samples for a wide-angle intra prediction mode according to an embodiment of the present specification.
  • 21A and 21B show an example of a method for generating bottom samples and right samples according to an embodiment of the present specification.
  • FIG. 22 shows an example of a method for generating bottom samples and right samples according to an embodiment of the present specification.
  • FIG. 23 shows an example of reference samples defined in a PDPC according to an embodiment of the present specification.
  • FIG 24 illustrates an example of reference lines for applying multiple reference line prediction according to an embodiment of the present specification.
  • 26 shows an example of the location of samples for deriving a linear model parameter according to an embodiment of the present specification.
  • FIG 27 illustrates an example of an intra prediction process using MRL (multi reference line) according to an embodiment of the present specification.
  • 29 shows an example of an encoding process for a block to which MRL intra prediction is applied according to an embodiment of the present specification.
  • FIG. 30 shows an example of a flowchart for performing intra prediction according to an embodiment of the present specification.
  • 32 is a diagram schematically showing an example of a service system including a digital device.
  • 33 is a block diagram illustrating a digital device according to an embodiment.
  • 34 is a configuration block diagram illustrating another embodiment of a digital device.
  • 35 is a configuration block diagram illustrating another embodiment of a digital device.
  • FIGS. 33 to 35 are block diagram illustrating a detailed configuration of the control unit of FIGS. 33 to 35 to illustrate one embodiment.
  • FIG. 37 is a diagram illustrating an example in which a screen of a digital device displays a main image and a sub image simultaneously according to an embodiment.
  • the term 'processing unit' in the present specification means a unit in which encoding / decoding processing processes such as prediction, transformation, and / or quantization are performed.
  • the processing unit may be interpreted to include a unit for a luminance component and a unit for a chroma component.
  • the processing unit may correspond to a block, a coding unit (CU), a prediction unit (PU), or a transform unit (TU).
  • the processing unit may be interpreted as a unit for a luminance component or a unit for a color difference component.
  • the processing unit may correspond to a coding tree block (CTB), a coding block (CB), a PU or a transform block (TB) for the luminance component.
  • the processing unit may correspond to CTB, CB, PU or TB for the color difference component.
  • the present invention is not limited thereto, and the processing unit may be interpreted to include a unit for a luminance component and a unit for a color difference component.
  • processing unit is not necessarily limited to square blocks, and may be configured in a polygonal shape having three or more vertices.
  • a pixel, a pixel, or a coefficient transformation coefficient or transformation coefficient that has undergone first-order transformation
  • a sample a pixel value, a pixel value, or a coefficient (a transform coefficient or a transform coefficient that has undergone first-order transformation) is used.
  • the video coding system can include a source device 10 and a receiving device 20.
  • the source device 10 may transmit the encoded video / video information or data to the receiving device 20 through a digital storage medium or a network in a file or streaming form.
  • the source device 10 may include a video source 11, an encoding device 12, and a transmitter 13.
  • the receiving device 20 may include a receiver 21, a decoding device 22 and a renderer 23.
  • the encoding device 10 may be referred to as a video / video encoding device, and the decoding device 20 may be referred to as a video / video decoding device.
  • the transmitter 13 may be included in the encoding device 12.
  • the receiver 21 may be included in the decoding device 22.
  • the renderer 23 may include a display unit, and the display unit may be configured as a separate device or an external component.
  • the video source may acquire a video / image through a capture, synthesis, or generation process of the video / image.
  • the video source may include a video / image capture device and / or a video / image generation device.
  • the video / image capture device may include, for example, one or more cameras, a video / image archive including previously captured video / images, and the like.
  • the video / image generating device may include, for example, a computer, a tablet and a smart phone, and the like (electronically) to generate the video / image.
  • a virtual video / image may be generated through a computer or the like, and in this case, the video / image capture process may be replaced by a process in which related data is generated.
  • the encoding device 12 may encode an input video / image.
  • the encoding apparatus 12 may perform a series of procedures such as prediction, transformation, and quantization for compression and coding efficiency.
  • the encoded data (encoded video / video information) may be output in the form of a bitstream.
  • the transmitting unit 13 may transmit the encoded video / video information or data output in the form of a bitstream to a receiving unit of a receiving device through a digital storage medium or a network in a file or streaming format.
  • Digital storage media include universal serial bus (USB), secure digital (SD), compact disk (CD), digital video disk (DVD), bluray, hard disk drive (HDD), and solid state drive (SSD). It may include various storage media.
  • the transmission unit 13 may include an element for generating a media file through a predetermined file format, and may include an element for transmission through a broadcast / communication network.
  • the receiver 21 may extract the bitstream and transmit it to the decoding device 22.
  • the decoding apparatus 22 may decode a video / image by performing a series of procedures such as inverse quantization, inverse transformation, and prediction corresponding to the operation of the encoding apparatus 12.
  • the renderer 23 may render the decoded video / image.
  • the rendered video / image may be displayed through the display unit.
  • FIG. 2 is an embodiment of the present specification, and shows a schematic block diagram of an encoding device in which encoding of a video / image signal is performed.
  • the encoding device 100 of FIG. 2 may correspond to the encoding device 12 of FIG. 1.
  • the encoding apparatus 100 includes an image segmentation unit 110, a subtraction unit 115, a conversion unit 120, a quantization unit 130, an inverse quantization unit 140, and an inverse conversion unit 150, Includes an adder 155, a filtering unit 160, a decoded picture buffer (DPB) 170, an inter prediction unit 180, an intra prediction unit 185, and an entropy encoding unit 190 Can be.
  • the inter prediction unit 180 and the intra prediction unit 185 may be collectively called a prediction unit. That is, the prediction unit may include an inter prediction unit 180 and an intra prediction unit 185.
  • the transform unit 120, the quantization unit 130, the inverse quantization unit 140, and the inverse transform unit 150 may be included in a residual processing unit.
  • the residual processing unit may further include a subtraction unit 115.
  • the inter prediction unit 180, the intra prediction unit 185 and the entropy encoding unit 190 may be configured by one hardware component (for example, an encoder or processor) according to an embodiment.
  • the decoded picture buffer 170 may be configured by one hardware component (eg, a memory or digital storage medium) according to an embodiment.
  • the image splitter 110 may divide the input image (or picture, frame) input to the encoding apparatus 100 into one or more processing units.
  • the processing unit may be referred to as a coding unit (CU).
  • the coding unit may be recursively divided according to a quad-tree binary-tree (QTBT) structure from a coding tree unit (CTU) or a largest coding unit (LCU).
  • QTBT quad-tree binary-tree
  • CTU coding tree unit
  • LCU largest coding unit
  • one coding unit may be divided into a plurality of coding units of a deeper depth based on a quad tree structure and / or a binary tree structure.
  • a quad tree structure may be applied first, and a binary tree structure may be applied later.
  • a binary tree structure may be applied first.
  • the coding procedure according to the present specification may be performed based on the final coding unit that is no longer split.
  • the maximum coding unit may be directly used as a final coding unit based on coding efficiency according to image characteristics, or the coding unit may be recursively divided into coding units having a lower depth than optimal if necessary.
  • the coding unit of the size of can be used as the final coding unit.
  • the coding procedure may include procedures such as prediction, transformation, and reconstruction, which will be described later.
  • the processing unit may further include a prediction unit (PU) or a transformation unit (TU).
  • the prediction unit and transform unit may be partitioned or partitioned from the above-described final coding unit, respectively.
  • the prediction unit may be a unit of sample prediction
  • the transformation unit may be a unit for deriving a transform coefficient and / or a unit for deriving a residual signal from the transform coefficient.
  • the unit may be used interchangeably with terms such as a block or area depending on the case.
  • the MxN block may represent samples of M columns and N rows or a set of transform coefficients.
  • the sample may generally represent a pixel or a pixel value, and may indicate only a pixel / pixel value of a luma component or only a pixel / pixel value of a saturation component.
  • the sample may be used as a term for one picture (or image) corresponding to a pixel or pel.
  • the encoding apparatus 100 subtracts a prediction signal (a predicted block, a prediction sample array) output from the inter prediction unit 180 or the intra prediction unit 185 from the input image signal (original block, original sample array)
  • a signal residual block, residual sample array
  • a unit that subtracts a prediction signal (a prediction block, a prediction sample array) from an input image signal (original block, original sample array) in the encoding apparatus 100 may be referred to as a subtraction unit 115.
  • the prediction unit may perform prediction on a block to be processed (hereinafter referred to as a current block), and generate a predicted block including prediction samples for the current block.
  • the prediction unit may determine whether intra prediction or inter prediction is applied in units of a current block or CU. As described later in the description of each prediction mode, the prediction unit may generate various information regarding prediction, such as prediction mode information, and transmit it to the entropy encoding unit 190.
  • the prediction information may be encoded by the entropy encoding unit 190 and output in the form of a bitstream.
  • the intra prediction unit 185 may predict the current block by referring to samples in the current picture.
  • the referenced samples may be located in the neighborhood of the current block or may be located apart depending on a prediction mode.
  • prediction modes may include a plurality of non-directional modes and a plurality of directional modes.
  • the non-directional mode may include, for example, a DC mode and a planar mode (planar mode).
  • the directional mode may include, for example, 33 directional prediction modes or 65 directional prediction modes depending on the degree of detail of the prediction direction. However, this is an example, and more or less directional prediction modes may be used depending on the setting.
  • the intra prediction unit 185 may determine a prediction mode applied to the current block using a prediction mode applied to neighboring blocks.
  • the inter prediction unit 180 may derive a predicted block for the current block based on a reference block (reference sample array) specified by a motion vector on the reference picture.
  • motion information may be predicted in units of blocks, subblocks, or samples based on the correlation of motion information between a neighboring block and a current block.
  • the motion information may include a motion vector and a reference picture index.
  • the motion information may further include inter prediction direction (L0 prediction, L1 prediction, Bi prediction, etc.) information.
  • the neighboring block may include a spatial neighboring block existing in the current picture and a temporal neighboring block present in the reference picture.
  • the reference picture including the reference block and the reference picture including the temporal neighboring block may be the same or different.
  • the temporal neighboring block may be referred to by a name such as a collocated reference block or a colCU, and a reference picture including a temporal neighboring block may also be called a collocated picture (colPic).
  • the inter prediction unit 180 constructs a motion information candidate list based on neighboring blocks, and generates information indicating which candidates are used to derive a motion vector and / or reference picture index of the current block. can do. Inter prediction may be performed based on various prediction modes. For example, in the case of the skip mode and the merge mode, the inter prediction unit 180 may use motion information of neighboring blocks as motion information of the current block.
  • the residual signal may not be transmitted.
  • a motion vector of a current block is obtained by using a motion vector of a neighboring block as a motion vector predictor and signaling a motion vector difference. I can order.
  • the prediction signal generated by the inter prediction unit 180 or the intra prediction unit 185 may be used to generate a reconstructed signal or may be used to generate a residual signal.
  • the transform unit 120 may generate transform coefficients by applying a transform technique to the residual signal.
  • the transformation technique may include at least one of a discrete cosine transform (DCT), a discrete sine transform (DST), a Karhunen-Loeve transform (KLT), a graph-based transform (GBT), or a conditionally non-linear transform (CNT).
  • DCT discrete cosine transform
  • DST discrete sine transform
  • KLT Karhunen-Loeve transform
  • GBT graph-based transform
  • CNT conditionally non-linear transform
  • the transform process may be applied to pixel blocks having the same size of a square, or may be applied to blocks of variable sizes other than squares.
  • the quantization unit 130 quantizes the transform coefficients and transmits them to the entropy encoding unit 190, and the entropy encoding unit 190 encodes a quantized signal (information about quantized transform coefficients) and outputs it as a bitstream. have.
  • Information about the quantized transform coefficients may be referred to as residual information.
  • the quantization unit 130 may rearrange block-type quantized transform coefficients into a one-dimensional vector form based on a coefficient scan order, and the quantized transform based on the one-dimensional vector form quantized transform coefficients Information about coefficients may be generated.
  • the entropy encoding unit 190 may perform various encoding methods such as exponential Golomb (CAVLC), context-adaptive variable length coding (CAVLC), and context-adaptive binary arithmetic coding (CABAC).
  • the entropy encoding unit 190 may encode information necessary for video / image reconstruction (eg, values of syntax elements, etc.) together with the quantized transform coefficients together or separately.
  • the encoded information (eg, video / video information) may be transmitted or stored in the unit of a network abstraction layer (NAL) unit in the form of a bitstream.
  • NAL network abstraction layer
  • the bitstream can be transmitted over a network or stored on a digital storage medium.
  • the network may include a broadcasting network and / or a communication network
  • the digital storage medium may include various storage media such as USB, SD, CD, DVD, Blu-ray, HDD, SSD.
  • the signal output from the entropy encoding unit 190 may be configured as an internal / external element of the encoding apparatus 100 by a transmitting unit (not shown) and / or a storing unit (not shown) for storing, or the transmitting unit It may be a component of the entropy encoding unit 190.
  • the quantized transform coefficients output from the quantization unit 130 may be used to generate a prediction signal.
  • the residual signal may be reconstructed by applying inverse quantization and inverse transform to the quantized transform coefficients through the inverse quantization unit 140 and the inverse transform unit 150 in the loop.
  • the adder 155 adds the reconstructed residual signal to the predicted signal output from the inter predictor 180 or the intra predictor 185, so that the reconstructed signal (restored picture, reconstructed block, reconstructed sample array) Can be created. If there is no residual for the block to be processed, such as when the skip mode is applied, the predicted block may be used as a reconstructed block.
  • the adding unit 155 may be called a restoration unit or a restoration block generation unit.
  • the generated reconstructed signal may be used for intra prediction of the next processing target block in the current picture, or may be used for inter prediction of the next picture through filtering as described below.
  • the filtering unit 160 may apply subjective filtering to the reconstructed signal to improve subjective / objective image quality.
  • the filtering unit 160 may generate a modified reconstructed picture by applying various filtering methods to the reconstructed picture, and may transmit the modified reconstructed picture to the decoded picture buffer 170.
  • Various filtering methods may include, for example, deblocking filtering, sample adaptive offset, adaptive loop filter, bilateral filter, and the like.
  • the filtering unit 160 may generate various information regarding filtering as described later in the description of each filtering method and transmit it to the entropy encoding unit 190.
  • the filtering information may be encoded by the entropy encoding unit 190 and output in the form of a bitstream.
  • the modified reconstructed picture transmitted to the decoded picture buffer 170 may be used as a reference picture in the inter prediction unit 180.
  • inter prediction When the inter prediction is applied through the encoding apparatus 100, prediction mismatches in the encoding apparatus 100 and the decoding apparatus 200 may be avoided, and encoding efficiency may be improved.
  • the decoded picture buffer 170 may store the corrected reconstructed picture for use as a reference picture in the inter prediction unit 180.
  • FIG. 3 is an embodiment of the present specification, and shows a schematic block diagram of a decoding apparatus in which decoding of a video signal is performed.
  • the decoding device 200 of FIG. 3 may correspond to the decoding device 22 of FIG. 1.
  • the entropy decoding unit 210, the inverse quantization unit 220, the inverse transform unit 230, the addition unit 235, the filtering unit 240, the inter prediction unit 260, and the intra prediction unit 265 described above are exemplary embodiments. It may be configured by one hardware component (for example, a decoder or processor). Also, the decoded picture buffer 250 may be implemented by one hardware component (eg, a memory or digital storage medium) according to an embodiment.
  • the decoding apparatus 200 may restore an image in response to a process in which the video / image information is processed by the encoding apparatus 100 of FIG. 2.
  • the decoding apparatus 200 may perform decoding using a processing unit applied by the encoding apparatus 100.
  • the processing unit may be, for example, a coding unit, and the coding unit may be divided according to a quad tree structure and / or a binary tree structure from a coding tree unit or a largest coding unit. Then, the decoded video signal decoded and output through the decoding apparatus 200 may be reproduced through the reproduction apparatus.
  • the decoding apparatus 200 may receive the signal output from the encoding apparatus 100 of FIG. 2 in the form of a bitstream, and the received signal may be decoded through the entropy decoding unit 210.
  • the entropy decoding unit 210 may parse the bitstream to derive information (eg, video / image information) necessary for image reconstruction (or picture reconstruction).
  • the entropy decoding unit 210 decodes information in a bitstream based on a coding method such as exponential Golomb coding, CAVLC, or CABAC, and quantizes a value of a syntax element required for image reconstruction and a transform coefficient for residual.
  • the CABAC entropy decoding method receives bins corresponding to each syntax element in a bitstream, and decodes syntax information of the decoding target syntax elements and surrounding and decoding target blocks, or symbols / bins decoded in the previous step.
  • the context model is determined using the information of, and the probability of occurrence of the bin is predicted according to the determined context model to perform arithmetic decoding of the bin to generate a symbol corresponding to the value of each syntax element. have.
  • the CABAC entropy decoding method may update the context model using the decoded symbol / bin information for the next symbol / bin context model after determining the context model.
  • a prediction unit inter prediction unit 260 and intra prediction unit 265
  • the entropy decoding unit 210 performs entropy decoding.
  • the dual value that is, quantized transform coefficients and related parameter information may be input to the inverse quantization unit 220.
  • information related to filtering among information decoded by the entropy decoding unit 210 may be provided to the filtering unit 240.
  • a receiving unit (not shown) receiving a signal output from the encoding apparatus 100 may be further configured as an internal / external element of the decoding apparatus 200, or the receiving unit may be a component of the entropy decoding unit 210. It might be.
  • the inverse quantization unit 220 may inverse quantize the quantized transform coefficients to output transform coefficients.
  • the inverse quantization unit 220 may rearrange the quantized transform coefficients in a two-dimensional block form. In this case, reordering may be performed based on the coefficient scan order performed by the encoding apparatus 100.
  • the inverse quantization unit 220 may perform inverse quantization on the quantized transform coefficients by using a quantization parameter (for example, quantization step size information), and obtain transform coefficients.
  • a quantization parameter for example, quantization step size information
  • the inverse transform unit 230 inversely transforms the transform coefficients to obtain a residual signal (residual block, residual sample array).
  • the prediction unit may perform prediction on the current block and generate a predicted block including prediction samples for the current block.
  • the prediction unit may determine whether intra prediction or inter prediction is applied to the current block based on information about prediction output from the entropy decoding unit 210, and may determine a specific intra / inter prediction mode.
  • the inter prediction unit 260 may derive the predicted block for the current block based on a reference block (reference sample array) specified by a motion vector on the reference picture.
  • motion information may be predicted in units of blocks, subblocks, or samples based on the correlation of motion information between a neighboring block and a current block.
  • the motion information may include a motion vector and a reference picture index.
  • the motion information may further include inter prediction direction (L0 prediction, L1 prediction, Bi prediction, etc.) information.
  • the neighboring block may include a spatial neighboring block existing in the current picture and a temporal neighboring block present in the reference picture.
  • the inter prediction unit 260 may construct a motion information candidate list based on neighboring blocks, and derive a motion vector and / or reference picture index of the current block based on the received candidate selection information.
  • Inter prediction may be performed based on various prediction modes, and information about prediction may include information indicating a mode of inter prediction for a current block.
  • the adding unit 235 adds the obtained residual signal to the prediction signal (predicted block, prediction sample array) output from the inter prediction unit 260 or the intra prediction unit 265, thereby restoring signals (restored pictures, reconstructed blocks). , A reconstructed sample array). If there is no residual for the block to be processed, such as when the skip mode is applied, the predicted block may be used as a reconstructed block.
  • the adding unit 235 may be called a restoration unit or a restoration block generation unit.
  • the generated reconstructed signal may be used for intra prediction of the next processing target block in the current picture, or may be used for inter prediction of the next picture through filtering as described below.
  • the filtering unit 240 may improve subjective / objective image quality by applying filtering to the reconstructed signal. For example, the filtering unit 240 may generate a modified reconstructed picture by applying various filtering methods to the reconstructed picture, and may transmit the modified reconstructed picture to the decoded picture buffer 250.
  • Various filtering methods may include, for example, deblocking filtering, sample adaptive offset (SAO), adaptive loop filter (ALF), bilateral filter, and the like.
  • the corrected reconstructed picture transmitted to the decoded picture buffer 250 may be used as a reference picture by the inter prediction unit 260.
  • the embodiments described in the filtering unit 160, the inter prediction unit 180, and the intra prediction unit 185 of the encoding device 100 are respectively the filtering unit 240 and the inter prediction unit 260 of the decoding device.
  • the intra prediction unit 265 may be applied to the same or corresponding.
  • FIG. 4 is an embodiment of the present specification, and is a structural diagram of a content streaming system.
  • the content streaming system to which the present specification is applied may largely include an encoding server 410, a streaming server 420, a web server 430, a media storage 440, a user device 450, and a multimedia input device 460. have.
  • the encoding server 410 serves to compress a content input from multimedia input devices such as a smartphone, camera, camcorder, etc. into digital data to generate a bitstream and transmit it to the streaming server 420.
  • multimedia input devices 460 such as a smartphone, camera, and camcorder directly generate a bitstream
  • the encoding server 410 may be omitted.
  • the bitstream may be generated by an encoding method or a bitstream generation method to which the present specification is applied, and the streaming server 420 may temporarily store the bitstream in the process of transmitting or receiving the bitstream.
  • the streaming server 420 transmits multimedia data to the user device 450 based on a user request through the web server 430, and the web server 430 serves as a medium that informs the user of the service.
  • the web server 430 delivers it to the streaming server 420, and the streaming server 420 transmits multimedia data to the user.
  • the content streaming system may include a separate control server, in which case the control server serves to control commands / responses between devices in the content streaming system.
  • Streaming server 420 may receive content from media storage 440 and / or encoding server 410. For example, when content is received from the encoding server 410, the content may be received in real time. In this case, in order to provide a smooth streaming service, the streaming server 420 may store the bitstream for a predetermined time.
  • Each server in the content streaming system can be operated as a distributed server, and in this case, data received from each server can be distributed.
  • FIG 5 shows an example of a multi-type tree structure according to an embodiment of the present specification.
  • FIG. 6 illustrates an example of a signaling mechanism of split information of a quadtree with nested multi-type tree structure accompanying a multitype tree according to an embodiment of the present disclosure.
  • a flag (eg, mtt_split_cu_binary_flag) for indicating whether the division type is binary division or ternary division may be signaled.
  • a flag eg, mtt_split_cu_vertical_flag and mtt_split_cu_binary_flag
  • a multi-type tree splitting mode of a CU may be determined as shown in Table 1 below.
  • FIG. 7 illustrates an example of a method of dividing a CTU into multiple CUs based on a quadtree and nested multi-type tree structure according to an embodiment of the present specification.
  • the CU may correspond to a coding block (CB).
  • the CU may include a coding block of luma samples and two coding blocks of corresponding chroma samples.
  • the size of the CU can be set as much as the size of the CTU.
  • the luma sample unit of the CU may be set to 4x4. For example, in the case of a 4: 2: 0 color format (or chroma format), the maximum chroma CB size may be 64x64 and the minimum chroma CB size may be 2x2.
  • the following parameters may be defined as syntax elements of a slice parameter set (SPS).
  • SPS slice parameter set
  • -CTU size the root size of a quaternary tree
  • the CTU size may be set to 64x64 blocks of 128x128 luma samples and two corresponding chroma samples (4: 2: 0 chroma format).
  • MinQtSize is set to 16x16
  • MaxBtSize is set to 128x1208
  • MaxTtSize is set to 64x64
  • MinBtSize and MinTtSize can be set to 4x4
  • MaxMttDepth can be set to 4.
  • Quadtree leaf nodes may have a size of 16x16 (MinQtSize) to a size of 128x128 (CTU size). If the leaf QT node is 128x128, it may not be additionally divided into a binary tree / ternary tree. In this case, it is because MaxBtSize and MaxTtSize (64x64) are exceeded even if divided. In other cases, leaf QT nodes may be further divided into a multi-type tree structure. If the multi-type tree depth reaches MaxMttdepth (eg, 4), further division may not be considered. If the width of the multitype tree node is equal to MinBtSize and less than or equal to 2xMinTtSize, additional horizontal partitioning may not be considered any more. If the height of the multitype tree node is equal to MinBtSize and less than or equal to 2xMinTtSize, additional vertical splitting may not be considered any more.
  • MinMttdepth MaxMttdepth
  • FIG. 8 shows an example of a case in which ternary tree partitioning according to an embodiment of the present disclosure is limited.
  • TT splitting may be limited in certain cases. For example, if the width or height of the luma coding block is greater than a predetermined value (eg, 32 or 64), the TT segmentation may be limited as illustrated in FIG. 6.
  • a predetermined value eg, 32 or 64
  • the coding tree scheme can support that luma and chroma blocks have separate block tree structures.
  • luma CTBs and chroma CTBs in one CTU have the same coding tree structure. Can be limited.
  • luma and chroma blocks may have a separate block tree structure from each other.
  • the luma CTB may be divided into CUs based on a specific code tree structure, and the chroma CTB may be divided into chroma CUs based on another coding tree structure.
  • the CTU of an I-slice consists of a coding block of luma components and two coding blocks of chroma components
  • a CU of a P-slice or B-slice can be composed of blocks of three color components. do.
  • the quadtree coding tree structure accompanying the multi-type tree has been described through “dividing the tree structure of CTU”, the structure in which the CU is divided is not limited.
  • the BT structure or the TT structure may be interpreted as a concept included in a multiple partitioning tree (MPT) structure, and the CU may be interpreted as being split through a QT structure and an MPT structure.
  • MPT multiple partitioning tree
  • a syntax element for example, MPT_split_type
  • MPT_split_mode a syntax element including information on which direction is split between and horizontal.
  • the CU may be divided by QT structure, BT structure, or TT structure. That is, according to the QT structure, the CU of the lower depth is divided into 1/4 the size of the CU of the upper depth, or the CU of the lower depth is divided into 1/2 the size of the CU of the upper depth, or according to the TT structure Unlike a CU at a lower depth, which is divided into 1/4 or 1/2 the size of a CU at a higher depth, a CU at a lower depth may, in some cases, be 1/5, 1/3, or 3/8 of the CU at a higher depth. , 3/5, 2/3, or 5/8, and the CU is not limited thereto.
  • the tree node block may be restricted such that all samples of all coded CUs are located inside the picture boundaries.
  • the above-described quadtree coding block structure with a multi-type tree can provide a very flexible block partitioning structure.
  • the result of the coding block structure by different splitting patterns may potentially have a coding block structure by splitting types supported in a multitype tree. Accordingly, in order to limit the occurrence of redundant partition patterns, the amount of data for transmission of partition information can be reduced by using only partition types supported in a multi-type tree.
  • continuous binary splitting for one direction of two levels has the same coding block structure as binary splitting for the central portion after ternary splitting.
  • binary tree splitting for the central portion of the ternary tree splitting may be limited.
  • This limitation of segmentation can be applied to CUs of all pictures.
  • the signaling of corresponding syntax elements can be modified to reflect the restriction of such segmentation and reduce the number of bits signaled for segmentation. For example, as illustrated in FIG.
  • the syntax element (mtt_split_su_binary_flag) indicating whether the partition is a binary partition or a ternary partition may not be signaled
  • the decoding apparatus 200 may determine a syntax element (mtt_split_su_binary_flag) indicating whether the division is a binary division or a ternary division to 0.
  • a picture (slice) in which only intra prediction is performed an intra picture or an I-picture (I-slice), one motion vector and a reference index to predict each unit
  • the picture (slice) to be used may be referred to as a predictive picture or a P-picture (P-slice), a picture (slice) using two or more motion vectors and reference indices as a pair prediction picture or a B-picture (B-slice).
  • Inter prediction refers to a prediction method for deriving a sample value of a current block based on data elements (eg, sample values or motion vectors) of a picture other than the current picture. That is, it refers to a method of predicting a sample value of a current block by referring to reconstructed regions of another reconstructed picture other than the current picture.
  • data elements eg, sample values or motion vectors
  • intra prediction (or intra-prediction) will be described in more detail.
  • Intra prediction refers to a prediction method that derives a sample value of a current block from data elements (eg, sample values) of the same decoded picture (or slice). That is, it means a method of predicting the sample value of the current block by referring to the reconstructed regions in the current picture.
  • data elements eg, sample values
  • the intra prediction may represent prediction for generating a prediction sample for the current block based on a reference sample outside the current block in a picture (hereinafter, the current picture) to which the current block belongs.
  • the embodiments of the present specification describe the detailed technique of the prediction method described in FIGS. 2 and 3 above, and the embodiment of the present invention includes the intra prediction-based video / image decoding method of FIG. 12 and the decoding apparatus of FIG. It may correspond to the device of the intra prediction unit 265 in (200). Further, the embodiment of the present invention may correspond to the intra prediction-based video / video decoding method of FIG. 10 described later and the apparatus of the intra prediction unit 185 in the encoding apparatus 100 of FIG. 11.
  • the data encoded by FIGS. 10 and 11 is a memory included in the encoding device 100 or the decoding device 200 in the form of a bitstream, or a memory functionally combined with the encoding device 100 or the decoding device 200 Can be stored in.
  • peripheral reference samples to be used for intra prediction of the current block may be derived.
  • the neighboring reference samples of the current block have a total of 2 x nH samples adjacent to the left boundary and a sample adjacent to the left boundary of the current block of size nW x nH, a total of 2 x nW samples adjacent to the upper boundary and a sample adjacent to the upper boundary of the current block.
  • the number of samples, and one sample of the sum of the current block may be included.
  • the peripheral reference samples of the current block may include upper peripheral samples in a plurality of columns and left peripheral samples in a plurality of rows.
  • the surrounding reference samples of the current block may include samples located on the left or right vertical lines adjacent to the current block and on the upper or lower horizontal lines.
  • the decoding apparatus 200 may construct surrounding reference samples to be used for prediction by substituting samples that are not available with available samples.
  • surrounding reference samples to be used for prediction may be configured through interpolation of available samples. For example, samples located on the vertical line adjacent to the right of the current block and samples located on the horizontal line adjacent to the bottom of the current block are samples located on the left vertical line of the current block and samples located on the horizontal line above the current block. It can be replaced based on or configured through interpolation.
  • prediction samples may be derived based on the average or interpolation of the neighboring reference samples of the current block, and ii) specific to the prediction sample among the neighboring reference samples of the current block (
  • the prediction sample may be derived based on the reference sample present in the prediction) direction.
  • a prediction mode such as i) may be referred to as a non-directional prediction mode or a non-angle prediction mode, and a prediction mode such as ii) may be referred to as a directional prediction mode or an angular prediction mode.
  • a prediction sample through interpolation of a first neighboring sample located in the prediction direction of the intra prediction mode of the current block and a second neighboring sample located in the opposite direction of the prediction direction based on the prediction sample of the current block among the neighboring reference samples This can be generated.
  • a prediction technique based on linear interpolation between a prediction sample based on a prediction sample of a current block and reference samples located in a direction opposite to the prediction direction may be referred to as linear interpolation inter prediction (LIP).
  • the temporary prediction sample of the current block is derived based on the filtered surrounding reference samples, and at least one reference sample derived according to the intra prediction mode among the existing surrounding reference samples, that is, the filtered surrounding reference samples.
  • a prediction sample of the current block may be derived through a weighted sum of temporary prediction samples. Prediction through weighted sum of a plurality of samples may be referred to as position dependent intra prediction (PDPC).
  • PDPC position dependent intra prediction
  • the intra prediction procedure may include an intra prediction mode determination step, a peripheral reference sample derivation step, and an intra prediction mode-based prediction sample derivation step, and may include a post-processing filtering step for the predicted sample derived as needed. have.
  • FIGS. 10 and 11 illustrate an example of an intra prediction based video encoding method according to an embodiment of the present specification and an intra prediction unit in an encoding apparatus according to an embodiment of the present invention.
  • step S1010 may be performed by the intra prediction unit 185 of the encoding apparatus 100, and steps S1020 and S1030 may be performed by the residual processing unit.
  • step S1020 may be performed by the subtraction unit 115 of the encoding apparatus 100
  • step S1030 may include residual information derived by the residual processing unit and prediction information derived by the intra prediction unit 185. It can be performed by the entropy encoding unit 190 using.
  • the residual information is information about residual samples, and may include information about quantized transform coefficients for residual samples.
  • residual samples may be derived as transform coefficients through the transform unit 120 of the encoding apparatus 100, and the derived transform coefficients may be derived as quantized transform coefficients through the quantization unit 130.
  • Information about the quantized transform coefficients may be encoded in the entropy encoding unit 190 through a residual coding procedure.
  • the encoding apparatus 100 may perform intra prediction on the current block.
  • the encoding apparatus 100 determines an intra prediction mode for the current block, derives neighbor reference samples of the current block, and generates prediction samples in the current block based on the intra prediction mode and neighbor reference samples.
  • the procedure for determining the intra prediction mode, deriving the peripheral reference sample, and generating the prediction samples may be performed simultaneously or sequentially.
  • the intra prediction unit 185 of the encoding apparatus 100 may include a prediction mode determination unit 186, a reference sample derivation unit 187, and a prediction sample generation unit 188, and the prediction mode determination unit 186 determines an intra prediction mode for the current block, the reference sample derivation unit 187 derives a neighboring reference sample of the current block, and the prediction sample generator 188 derives a motion sample of the current block. have.
  • the intra prediction unit 185 may further include a prediction sample filter unit (not shown).
  • the encoding apparatus 100 may determine a prediction mode to be applied to a current block among a plurality of intra prediction modes.
  • the encoding apparatus 100 may compare a rate-distortion cost (RD cost) for intra prediction modes and determine an optimal intra prediction mode for the current block.
  • RD cost rate-distortion cost
  • the encoding apparatus 100 may perform prediction sample filtering. Predictive sample filtering may be referred to as post filtering. Filtering on some or all of the prediction samples may be performed by the prediction sample filtering procedure. In some cases, prediction sample filtering may be omitted.
  • the encoding apparatus 100 may generate a residual sample for the current block based on the (filtered) prediction sample. Thereafter, in step S1030, the encoder 100 may encode video data including prediction mode information including an intra prediction mode and information on residual samples.
  • the encoded video data can be output in the form of a bitstream.
  • the output bitstream may be delivered to the decoding device 200 through a storage medium or network.
  • the encoding apparatus 100 may generate a reconstructed picture including reconstructed samples and reconstructed blocks based on reference samples and residual samples. Derivation of the reconstructed picture by the encoding apparatus 100 is to derive the same prediction result as that performed by the decoding apparatus 200 in the encoding apparatus 100, thereby improving coding efficiency. Furthermore, subsequent procedures such as in-loop filtering may be performed on the reconstructed picture.
  • FIGS. 12 and 13 illustrate an intra prediction-based video / video decoding method according to an embodiment of the present specification and an example of an intra prediction unit in a decoder according to an embodiment of the present invention.
  • the decoding apparatus 200 may perform an operation corresponding to an operation performed by the encoding apparatus 100.
  • the decoding apparatus 200 may derive a prediction sample by performing prediction on the current block based on the received prediction information.
  • the decoding apparatus 200 may determine an intra prediction mode for the current block based on the prediction mode information obtained from the encoding apparatus 100.
  • the decoding apparatus 200 may derive a peripheral reference sample of the current block.
  • the decoding apparatus 200 may generate a prediction sample in the current block based on the intra prediction mode and surrounding reference samples.
  • the decoding apparatus 200 may perform a prediction sample filtering procedure, and the prediction sample filtering procedure may be referred to as post filtering. Some or all of the prediction samples may be filtered by the prediction sample filtering procedure. In some cases, the prediction sample filtering procedure may be omitted.
  • the decoding apparatus 200 may generate a residual sample based on residual information obtained from the encoding apparatus 100.
  • the decoding apparatus 200 may generate a reconstruction sample for the current block based on the (filtered) prediction samples and residual samples, and generate a reconstruction picture using the generated reconstruction samples.
  • the prediction mode information used for prediction may include a flag (eg, prev_intra_luma_pred_flag) to indicate whether the most probable mode (MPM) is applied to the current block or whether the remaining mode is applied.
  • the prediction mode information may further include an index (mpm_idx) indicating one of the intra prediction mode candidates (MPM candidates).
  • MPM candidates may be configured as an MPM candidate list or an MPM list.
  • the prediction mode information further includes remaining mode information (eg, rem_intra_luma_pred_mpde) indicating one of the remaining intra prediction modes except the intra prediction mode candidates (MPM candidates). You can.
  • the decoding apparatus 200 may determine the intra prediction mode of the current block based on the prediction information.
  • Prediction mode information may be encoded and decoded through a coding method described below.
  • prediction mode information may be encoded or decoded through entropy coding (eg, CABAC, CAVLC) based on truncated binary code.
  • the intra prediction mode may include two non-directional intra prediction modes and 33 directional intra prediction modes.
  • the non-directional intra prediction modes may include a planar intra prediction mode and a DC intra prediction mode, and the directional intra prediction mode may include intra prediction modes 2 to 34.
  • the planner intra prediction mode may be referred to as a planner mode, and the DC intra prediction mode may be referred to as a DC mode.
  • non-directional intra prediction modes include a planner mode and a DC mode
  • directional intra prediction modes may include intra prediction modes 2 to 66.
  • the extended directional intra prediction may be applied to blocks of all sizes, and may be applied to both luma and chroma components.
  • the intra prediction mode may include two non-directional intra prediction modes and 129 directional intra prediction modes.
  • the non-directional intra prediction modes may include a planner mode and a DC mode
  • the directional intra prediction modes may include intra prediction modes 2 to 130.
  • a current block to be coded and a neighboring block may have similar image characteristics. Therefore, there is a high probability that the current block and the neighboring blocks have the same or similar intra prediction mode. Accordingly, the encoding apparatus 100 may use the intra prediction mode of the neighboring blocks to encode the intra prediction mode of the current block.
  • the encoding apparatus 100 may construct an MPM list for the current block.
  • the MPM list may be referred to as an MPM candidate list.
  • MPM refers to a mode used to improve coding efficiency in consideration of the similarity between a current block and a neighboring block when coding an intra prediction mode.
  • a method of constructing an MPM list including three MPMs may be used to keep the complexity of MPM list generation low.
  • a re-maining mode may be used.
  • the re-maining mode includes 64 remaining candidates, and re-forming intra prediction mode information indicating one of the 64 remaining candidates may be signaled.
  • the re-maining intra prediction mode information may include a 6-bit syntax element (eg, a rem_intra_luma_pred_mode syntax element).
  • FIG. 16 shows an example of a flowchart for constructing a list of most probable mode (MPM) candidates according to an embodiment of the present specification.
  • the encoding apparatus 100 may check or derive the prediction mode of the neighboring block (S1610). For example, the encoding apparatus 100 may determine the prediction mode of the current block based on the prediction mode of the left neighboring block and the prediction mode of the upper neighboring block, and may determine the prediction mode of the corresponding neighboring block as MPM. Determining the MPM can be expressed as a list up of MPM candidates (or MPM lists).
  • the encoding apparatus 100 may check whether the prediction mode of the left neighboring block and the prediction mode of the upper neighboring block are the same (S1620).
  • the initial MPM list may be formed by a pruning process for intra prediction modes of two adjacent blocks.
  • the first MPM may be set as the left neighboring mode
  • the second MPM may be set as the predicting mode of the upper neighboring block
  • the third MPM may be an intra planner mode.
  • Intra DC mode, or an intra vertical mode (intra prediction mode No. 50) may be set (S1630).
  • the two intra prediction modes may be set to MPM, and one of the default intra modes may be added to the MPM list after a pruning check by MPMs. Can be added.
  • the default intra modes may include an intra planner mode, an intra DC mode, and / or an intra vertical mode (intra prediction mode # 50).
  • the MPM list may be configured by the method shown in Table 2 below.
  • A is the intra prediction mode of the left neighboring block
  • B is the intra prediction mode of the upper neighboring block
  • 0 is the intra planner mode
  • 1 is the intra DC mode
  • 50 is the intra vertical mode
  • candModeList represents the MPM list.
  • the encoding apparatus 100 determines whether the prediction mode of the upper neighboring block is less than 2 (S1640).
  • the first MPM may be set as the prediction mode of the left neighboring block
  • the second MPM may be set as (the prediction mode of the left neighboring block-1)
  • the third The MPM may be set to (the prediction mode + 1 of the left neighboring block) (S1660).
  • an additional pruning process may be performed to remove duplicate modes so that only unique modes can be included in the MPM list.
  • a 6-bit fixed length code can be used for entropy coding of 64 non-MPM modes except 3 MPM. That is, an index representing 64 non-MPM modes may be entropy coded with a 6-bit fixed length code (6-bit FLC).
  • the encoding apparatus 100 may determine whether the optimal intra prediction mode to be applied to the current block belongs to the previously configured MPM candidate.
  • the encoding apparatus 100 may encode the intra prediction mode of the current block.
  • 17A and 17B show examples of reference samples for a wide-angle intra prediction mode according to an embodiment of the present specification.
  • 2W + 1 length upper reference samples and 2H + 1 length left reference samples may be defined to support the wide-angle prediction direction.
  • intra-prediction modes that are replaced by wide-angle intra prediction modes may be different according to an aspect ratio of the current block.
  • Intra prediction modes, which are replaced by wide-angle intra prediction modes according to the aspect ratio may be defined as shown in Table 4 below.
  • peripheral reference samples used for intra prediction of the current block may be derived.
  • the neighboring reference samples of the current block are nWxnH-sized samples adjacent to the left boundary and a total of 2xnH samples adjacent to the bottom-left, samples adjacent to the upper boundary of the current block, and top-right ), And a total of 2xnW samples and one sample neighboring the top-left of the current block.
  • the peripheral reference samples of the current block may include multiple columns of upper peripheral samples and multiple rows of left peripheral samples.
  • the neighboring reference samples of the current block include nHxH total samples adjacent to the right boundary of the current block, nW samples adjacent to the lower boundary of the current block, and 1 sample neighboring the lower right side of the current block. It may include.
  • the decoding apparatus 200 may configure surrounding reference samples to be used for prediction through extrapolation of available samples. It can be configured by updating the referenceable sample to the latest sample, starting at the bottom left and reaching the top right reference sample, replacing the sample that has not yet been decoded or not available with the last available sample. have.
  • the prediction unit of the encoding device 100 / decoding device 200 may derive a reference sample according to the intra prediction mode of the current block among neighboring reference samples of the current block, and the derived reference A prediction sample of the current block may be generated based on the sample.
  • the coding apparatus may (i) derive a prediction sample based on an average or interpolation of neighboring reference samples of the current block, and (ii) peripheral reference samples of the current block
  • the prediction sample may be derived based on a reference sample existing in a specific direction with respect to the medium prediction sample.
  • it may be referred to as a non-directional mode or non-angle mode, and in the case of (ii), a directional mode or an angular mode.
  • a prediction sample may be generated through interpolation between a first neighboring sample and a second neighboring sample located in a direction opposite to the prediction direction of the intra prediction mode of the current block based on the prediction sample of the current block among the neighboring reference samples.
  • the prediction method using linear interpolation may be referred to as linear interpolation intra prediction (LIP).
  • the coding device derives a temporary prediction sample of the current block based on the filtered surrounding reference samples, and at least one derived according to the intra prediction mode among existing surrounding reference samples, that is, unfiltered surrounding reference samples.
  • Prediction samples of the current block may be derived by weighting a reference sample of and a temporary reference sample. This weighted polymerization-based intra prediction method may be referred to as position dependent intra prediction (PDPC).
  • PDPC position dependent intra prediction
  • the encoding apparatus 100 may derive a prediction sample by selecting a reference sample having the highest prediction accuracy among neighboring multiple reference samples of the current block, and perform intra prediction encoding by transmitting a reference sample used at this time.
  • an intra prediction method using multiple reference samples may be referred to as multi-reference line intra prediction (MRL).
  • LIP Linear interpolation intra prediction
  • a prediction sample may be generated through interpolation between the first surrounding sample and the second surrounding sample among the surrounding samples. That is, a prediction sample may be generated through interpolation between a second neighboring sample and a first neighboring sample located in a direction opposite to the prediction direction of the intra prediction mode of the current block based on the prediction sample of the current block among the neighboring samples.
  • FIG. 19 shows examples of neighboring samples for linear interpolation prediction according to an embodiment of the present disclosure
  • FIG. 20 shows an example of a method for performing linear interpolation prediction.
  • a right sample buffer and a lower sample buffer may be generated as described above.
  • the coding apparatus generates a bottom right sample (BR) using a peripheral reference sample to generate a right sample buffer and a bottom sample buffer.
  • FIG. 19 shows a method of generating a bottom right sample using a top right sample and a bottom left sample
  • FIG. 20 shows the most top right sample and the most left bottom (most) as much as twice the length of the current block to be coded. Shows how to create the bottom right sample using the bottom left) sample.
  • the lower right sample may be generated using another sample by Equation 1 or Equation 2 below.
  • the lower right sample may be generated through various methods in addition to the above Equation 1 or Equation 2.
  • the coding apparatus After the creation of the bottom right sample, the coding apparatus generates bottom samples (bottom buffer) and right samples (right buffer) using the bottom left sample and the top right sample.
  • 21A and 21B show an example of a method for generating bottom samples and right samples according to an embodiment of the present specification.
  • the lower samples may be generated through linear interpolation of the lower left sample and the lower right sample, and the lower right samples may be generated through linear interpolation of the upper right sample and lower right sample.
  • various weighting values may be used in a method of generating a bottom sample using a bottom left sample and a bottom right sample or a method of generating a right sample using a top right sample and a bottom right sample.
  • FIG. 22 shows an example of a method for generating bottom samples and right samples according to an embodiment of the present specification.
  • the coding apparatus may perform interpolation prediction by using the bottom samples and right samples generated after generation of the bottom samples and right samples.
  • a method of generating a prediction sample C using linear interpolation intra prediction may be as follows. In FIG. 20, an example of a case in which a vertical mode mode in which the prediction mode has positive directionality is applied will be described.
  • the coding apparatus may generate prediction values by applying methods 2) to 4) to all samples in a block to be encoded.
  • the linear interpolation intra prediction method can be applied to all directional prediction modes.
  • the PDPC derives filtered reference samples using a filter predefined for the PDPC, derives a temporary prediction sample of the current block based on the intra prediction mode of the current block and the filtered reference samples, and the existing reference sample It may mean an intra prediction method of deriving a prediction sample of the current block by weighting the (ie, at least one reference sample derived according to the intra prediction mode among the unfiltered reference samples) and the temporary prediction sample.
  • the predefined filter may be one of five 7-tap filters.
  • the predefined filter may be one of a 3-tap filter, a 5-tap filter, or a 7-tap filter.
  • the three-tap filter, the five-tap filter, and the seven-tap filter may represent filters having three filter coefficients, filters having five filter coefficients, and filters having seven filter coefficients, respectively.
  • the prediction result of the intra planner mode may be further corrected by PDPC.
  • the PDPC is an intra-planar mode, an intra DC mode, a horizontal intra prediction mode, a vertical intra prediction mode, an intra prediction mode in the lower left direction (ie, intra prediction mode 2), and a left without additional signaling. It may be applied to eight directional intra prediction modes adjacent to the lower direction intra prediction mode, eight directional intra prediction modes adjacent to the upper right direction and eight directional intra prediction modes adjacent to the upper right direction intra prediction mode.
  • a prediction sample of (x, y) coordinates predicted based on the intra prediction mode and a linear combination of reference samples may be derived by the following Equation (4).
  • intra DC mode when the PDPC is applied to the intra planar mode, intra DC mode, horizontal intra prediction mode and vertical intra prediction mode, for example, a DC mode boundary filter of high efficiency video coding (HEVC) or a vertical / horizontal mode edge filter Additional boundary filters may not be required.
  • HEVC high efficiency video coding
  • vertical / horizontal mode edge filter Additional boundary filters may not be required.
  • 23 shows an example of reference samples defined in a PDPC according to an embodiment of the present specification.
  • 23A to 23D reference samples (R x, -1 , R 1, y , and R -1, -1 ) defined in PDPC applied to various prediction modes are illustrated.
  • the weights of the PDPC can be derived based on prediction modes.
  • PDPC weights can be derived as shown in Table 5 below.
  • the coding apparatus According to the intra prediction combination according to the location, the coding apparatus generates a prediction sample using the reference sample according to the prediction mode, and then improves (updates) the prediction sample using the surrounding reference samples.
  • PDPC is based on the 65 directional intra prediction modes in FIG. 15, planner, DC, 2 (lower right direction mode), VDIA (upper left direction mode), Hor (horizontal direction mode), Ver (vertical direction mode), 2 mode around the mode (3 to 10 mode), VDIA mode of the peripheral mode (58 to 65 mode) can be limitedly applied.
  • PDPC is not applied to all prediction samples in a current block to be coded, and may be variably applied to some predictions in a current block in consideration of a block size.
  • FIG 24 illustrates an example of reference lines for applying multiple reference line prediction according to an embodiment of the present specification.
  • MRL extends conventional prediction to use neighbor samples with one or more (eg, 1 to 3) sample distances to the left and top of the current prediction block.
  • Conventional direct neighboring reference sample lines and extended reference lines are shown in FIG. 24.
  • mrl_idx indicates which line is used for intra prediction of the CU in connection with intra prediction modes (eg, directional or non-directional prediction modes).
  • an interpolation filter for interpolation may be derived through various methods.
  • a filter for relaxing the block boundary may be applied to reduce the error between the prediction samples of the current block and the neighboring already reconstructed samples. For example, whether the filter is applied and the filter type may be determined according to the predicted mode and the size of the block.
  • intra prediction When intra prediction is performed on the current block, prediction for the luma component block (luma block) of the current block and prediction for the chroma component block (chroma block) may be performed, in this case, for the chroma component (chroma block)
  • the intra prediction mode may be set separately from the intra prediction mode for the luma component (luma block).
  • DM and LM are dependent intra prediction modes for predicting chroma blocks using information of luma blocks.
  • the DM may indicate a mode in which the same intra prediction mode as the intra prediction mode for the luma component is applied as the intra prediction mode for the chroma component.
  • the LM subsamples the reconstructed samples of the luma block, and then applies the at least one LM parameter to the subsampled samples to predict the samples derived from the chroma block. It may indicate an intra prediction mode to be used.
  • FIG. 25 shows an example of a multiple direct mode according to an embodiment of the present specification.
  • MDM multiple direct mode
  • MDM uses an existing single mode, DM mode, by expanding to multiple modes. That is, when configuring the intra prediction mode of the chroma image, a plurality of DM modes may be selected as follows.
  • 26 shows an example of the location of samples for deriving a linear model parameter according to an embodiment of the present specification.
  • a cross-component linear model (CCLM) mode may be applied to the current chroma block.
  • the CCLM mode is an intra prediction mode using correlation between a luma block and a chroma block corresponding to the luma block, and a linear model may be derived based on the peripheral samples of the luma block and the peripheral samples of the chroma block, A mode in which prediction samples of the chroma block is derived may be represented based on the derived linear model and reconstructed samples of the luma block.
  • parameters for the linear model based on neighboring samples used for intra prediction of the current chroma block and neighboring samples used for intra prediction of the current chroma block can be derived.
  • the linear model may be expressed based on Equation 5 below.
  • predc (i, j) may represent a prediction sample of (i, j) coordinates of the current chroma block
  • recL '(i, j) represents a reconstruction sample of (i, j) coordinates of the current luma block. You can.
  • recL '(i, j) may indicate a down-sampled reconstructed sample of the current luma block.
  • parameter And parameters May be derived based on neighboring samples used for intra prediction of the current luma block and neighboring samples used for intra prediction of the current chroma block.
  • parameter And parameters Can be derived based on the following equations (6) and (7).
  • L (n) may represent upper peripheral samples and left peripheral samples of the current luma block
  • C (n) represents upper peripheral samples and left peripheral samples of the current chroma block. You can.
  • L (n) may represent down-sampled upper peripheral samples and left peripheral samples of the current luma block.
  • N may represent a value that is twice the smaller of the width and height of the current chroma block.
  • a total of six intra prediction modes may be allowed for the chroma intra mode coding.
  • the six intra prediction modes may include five existing intra prediction modes and one CCLM.
  • Table 6 below may indicate chroma intra prediction mode information and derivation processes.
  • FIG. 27 shows an example of a decoding process for a block to which MRL intra prediction is applied according to an embodiment of the present specification.
  • the process illustrated in FIG. 27 may be performed by the intra prediction unit 265 of the decoding device 200.
  • the decoding apparatus 200 may parse an index (MRL index) (mrl_idx) indicating the reference sample line first in the CU level (S2710). Thereafter, the decoding apparatus 200 parses the MPM flag (intra_luma_mpm_flag) indicating whether the MPM is used (S2720). If MPM is used for the current block (that is, intra_luma_mpm_flag is 1), the decoding apparatus 200 may parse the MPM index (intra_luma_mpm_idx) (S2730). If MPM is not used (that is, the value of intra_luma_mpm_flag is 0), the decoding apparatus 200 parses the intra mode information (S2740).
  • MRL index MRL index
  • mrl_idx the reference sample line first in the CU level
  • the intra mode information may indicate an intra prediction mode used for the current block among the remodeling intra prediction modes not included in the MPM list.
  • Intra-mode information may be called re-maining mode information, which may be indicated as intra_luma_mpm_remainder.
  • FIG. 28 illustrates another example of a decoding process for a block to which MRL intra prediction is applied according to an embodiment of the present specification.
  • the process illustrated in FIG. 28 may be performed by the intra prediction unit 265 of the decoding device 200.
  • the coding apparatus can limitly apply MRL to candidate modes generated in the MPM list without applying MRL to all intra prediction modes. That is, the MRL may be restricted to a candidate mode in the MPM list.
  • MRL intra prediction method since the decoding apparatus 200 checks reference sample line information (MRL index) (mrl_idx) at all CU levels, encoding waste may occur accordingly. Therefore, the embodiment of the present specification provides a method of checking the reference sample line (mrl_idx) information after checking the MPM flag (intra_luma_mpm_flag) based on the fact that the MRL is limitedly applied in the candidate mode of the MPM list.
  • the decoding apparatus 200 first parses the MPM flag (intra_luma_mpm_flag) (S2710). If MPM is applied (that is, the value of intra_luma_mpm_flag is 1), the decoding apparatus 200 parses the reference sample line information (mrl_idx) (S2820) and parses the MPM index information (intra_luma_mpm_idx) (S2830). Although the MRL index (mrl_idx) in FIG.
  • MRL index (mrl_idx) may be parsed later than the MPM index, and may be parsed at the same time as one syntactic element. It might be.
  • the decoding apparatus 200 may parse the intra-mode information (intra_luma_mpm_remainder) immediately without re-checking the reference sample line information (mrl_idx). (S2840). Through this method, bits unnecessarily allocated to reference sample line information can be reduced, signaling of intra prediction related information can be optimized, and overall intra coding efficiency can be improved.
  • the MPM flags (intra_luma_mpm_flag), MPM index information (intra_luma_mpm_idx), reference sample line information (MRL index) (mrl_idx), and (remodeling) intra mode information (intra_luma_mpm_remainder) according to an embodiment of the present specification are shown in the following Table 7 Likewise, it may be configured to be included in the CU syntax at the CU level. CU syntax may be encoded by the encoding device 100 and included in the bitstream.
  • the order of each syntax element may correspond to the signaling / parsing order.
  • the MRL index (mrl_idx) is shown to be configured to be parsed earlier than the MPM index (intra_luma_mpm_idx) in Table 7, as described above, this is an example, and the MRL index (mrl_idx) is parsed later than the MPM index (intra_luma_mpm_idx). It may be configured, or may be configured to be parsed simultaneously as one syntax element.
  • FIG. 29 shows an example of an encoding process for a block to which MRL intra prediction is applied according to an embodiment of the present specification.
  • the operations of FIG. 29 may be performed by the intra prediction unit 185 of the encoding device 100.
  • the encoding apparatus 100 may generate / configure the MPM flag (intra_luma_mpm_flag) and then generate / configure the reference sample line information (mrl_idx). Specifically, as illustrated in FIG. 29, the encoding apparatus 100 first generates / configures an MPM flag (intra_luma_mpm_flag) (S2910) and then determines whether MPM is applied (S2920). If MPM is applied (that is, the value of intra_luma_mpm_flag is 1), reference sample line information (mrl_idx) information is generated / configured (S2930) and MPM index information (intra_luma_mpm_idx) is generated / configured (S2940).
  • FIG. 30 shows an example of a flowchart for performing intra prediction according to an embodiment of the present specification. Each process of FIG. 30 may be performed by the intra prediction unit 185 of the encoding device 100 or the inter prediction unit 265 of the decoding device 200.
  • step S3020 when the MPM is applied, the coding device identifies a reference line index and an MPM index for prediction of the current block. For example, if the MPM flag is 1, the coding device may confirm that the MPM is applied, and check the reference line index (eg, mrl_idx or intra_luma_ref_idx) and MPM index (eg, intra_luma_mpm_idx).
  • the reference line index eg, mrl_idx or intra_luma_ref_idx
  • MPM index eg, intra_luma_mpm_idx
  • the reference line index is information indicating a line (row or column) in which the reference sample used for prediction of the current block is located, spaced apart by a predetermined sample distance as well as a line directly adjacent to the left or upper boundary of the current block. You can indicate the line. For example, if the reference line index is 0, a line spaced from the current block by 0 sample distance (directly adjacent) is indicated as a reference line, and if the reference line index is 1, a line spaced 1 sample distance from the current block is referenced. If the reference line index is 2 and the reference line index is 2, a line spaced by 3 sample distances from the current block may be indicated as the reference line.
  • the MPM index may be information indicating an intra prediction mode used for prediction of a current block among MPM lists configured for a current block when MPM is applied.
  • the coding device may check the MPM index (intra_luma_mpm_idx) after parsing the reference line index (mrl_idx) as shown in Table 7, but conversely, parse the reference line index (mrl_idx) after first checking the MPM index (intra_luma_mpm_idx). can do.
  • reference line index (mrl_idx) and the MPM index (intra_luma_mpm_idx) may be parsed simultaneously as one syntax element.
  • step S3030 the coding apparatus generates a prediction sample of the current block from the reference sample of the reference line indicated by the reference line index based on the prediction mode indicated by the MPM index.
  • the decoding device parses the remodeling intra mode information (intra_luma_mpm_remainder), and a prediction sample of the current block based on the remodeling intra mode information (intra_luma_mpm_remainder) You can create the remodeling intra mode information (intra_luma_mpm_remainder), and a prediction sample of the current block based on the remodeling intra mode information (intra_luma_mpm_remainder)
  • FIG. 31 shows an example of a block diagram of an apparatus for processing an image signal according to an embodiment of the present specification.
  • the video signal processing device of FIG. 36 may correspond to the encoding device 100 of FIG. 2 or the decoding device 200 of FIG. 3.
  • the image processing apparatus 3600 for processing an image signal includes a memory 3620 storing an image signal and a processor 3610 processing an image signal while being combined with the memory.
  • the processor 3610 may be configured with at least one processing circuit for processing an image signal, and may process an image signal by executing instructions for encoding or decoding the image signal. That is, the processor 3610 may encode the original image data or decode the encoded image signal by executing the above-described encoding or decoding methods.
  • the processor 3110 may parse the remodeling intra mode information and generate a prediction sample of the current block based on the remodeling intra mode information.
  • the MPM flag, the reference line index, the MPM index, and the remodeling intra-mode information may be included in coding unit syntax and transmitted from an encoder.
  • the processor 3110 may parse the MPM index after parsing the reference line index, or parse the reference line index after parsing the MPM index.
  • the reference line index and the MPM index may be parsed simultaneously as one syntax element.
  • the reference line index may indicate the location of the surrounding reference sample line within a predetermined sample distance to the left or upper side of the current block used for prediction of the current block. Also, the reference line index may indicate a reference sample line spaced by a distance of 1, 2, or 4 samples of the current block.
  • encoded information eg, encoded video / image information
  • the encoded information may be transmitted or stored in units of network abstraction layer (NAL) units in the form of a bitstream.
  • NAL network abstraction layer
  • the bitstream can be transmitted over a network, or it can be stored in a non-transitory digital storage medium.
  • the bitstream is not directly transmitted from the encoding device to the decoding device, but may be streamed / downloaded through an external server (ex. Content streaming server).
  • the network may include a broadcasting network and / or a communication network
  • the digital storage medium may include various storage media such as USB, SD, CD, DVD, Blu-ray, HDD, SSD.
  • the embodiments described herein may be implemented and implemented on a processor, microprocessor, controller, or chip.
  • the functional units illustrated in each drawing may be implemented and implemented on a computer, processor, microprocessor, controller, or chip.
  • embodiments of the present specification may be implemented as a computer program product using program codes, and the program codes may be executed on a computer by the embodiments of the present specification.
  • the program code can be stored on a computer readable carrier.
  • the decoding device and the encoding device to which the present specification is applied may be included in a digital device.
  • digital device includes, for example, all digital devices capable of performing at least one of transmission, reception, processing, and output of data, content, and services.
  • the processing of the data, content, service, etc. by the digital device includes an operation of encoding and / or decoding data, content, service, and the like.
  • These digital devices are paired or connected (hereinafter referred to as 'pairing') with other digital devices, external servers, etc. through a wire / wireless network to transmit and receive data. Convert accordingly.
  • Digital devices include, for example, standing devices such as network TV, HBBTV (Hybrid Broadcast Broadband TV), smart TV (Smart TV), IPTV (internet protocol television), and PC (Personal Computer). , PDA (Personal Digital Assistant), smart phones (Smart Phone), tablet PCs (Tablet PC), notebooks, mobile devices (mobile devices or handheld devices).
  • a digital TV is illustrated in FIG. 33 and a mobile device in FIG. 34, which will be described later, for convenience.
  • wired / wireless network refers to a communication network that supports various communication standards or protocols for interconnection and / or data transmission and reception between digital devices or digital devices and external servers.
  • a wired / wireless network may include both a communication network to be supported in the current or future by a standard and a communication protocol therefor, for example, Universal Serial Bus (USB), Composite Video Banking Sync (CVBS), component, S-Video (Analog), communication standards or protocols for wired connections such as DVI (Digital Visual Interface), HDMI (High Definition Multimedia Interface), RGB, D-SUB, Bluetooth, Radio Frequency Identification (RFID), infrared communication (Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, Digital Living Network Alliance (DLNA), Wireless LAN (WLAN) (Wi-Fi), Wireless broadband (Wibro), World Interoperability for Microwave (Wimax) Access), HSDPA (High Speed Downlink Packet Access), LTE (Long Term Evolution
  • a digital device in the case of merely referring to a digital device in the present specification, it may mean a fixed device or a mobile device or include both depending on context.
  • the digital device is an intelligent device that supports, for example, a broadcast reception function, a computer function or support, and at least one external input, e-mail, web browsing through a wired / wireless network described above ( It can support web browsing, banking, games, and applications.
  • the digital device may include an interface for supporting at least one input or control means (hereinafter referred to as an input means) such as a handwritten input device, a touch screen, and a space remote control.
  • the digital device can use a standardized general-purpose operating system (OS). For example, a digital device can add, delete, modify, and update various applications on a general-purpose OS kernel. You can configure and provide a user-friendly environment.
  • OS general-purpose operating system
  • the external input described in this specification includes external input devices, that is, all input means or digital devices connected to the above-mentioned digital devices by wire / wireless and capable of transmitting / receiving related data through them.
  • the external input is, for example, a high-definition multimedia interface (HDMI), a game device such as a play station or an X-box, a smart phone, a tablet PC, a printer, a digital digital device such as a smart TV. Includes all devices.
  • HDMI high-definition multimedia interface
  • server described in this specification means a client (client), that is, includes all digital devices or systems that supply data to the above-described digital device, referred to as a processor (processor) Also.
  • a server include a web page or a portal server that provides web content, an advertising server that provides advertising data, a content server that provides content, and a social media server (SNS).
  • Social Network Service may include an SNS server providing a service, a service server provided by a manufacturer, or a manufacturing server.
  • channel (channel) refers to a path (path), means (means), etc. for transmitting and receiving data, for example, a broadcasting channel (broadcasting channel).
  • the broadcast channel is expressed in terms of a physical channel, a virtual channel, and a logical channel according to the activation of digital broadcasting.
  • a broadcast channel can be called a broadcast network.
  • a broadcast channel refers to a channel for providing or accessing broadcast content provided by a broadcasting station, and the broadcast content is mainly based on real-time broadcasting and is also called a live channel.
  • live channels include not only real-time broadcasting, but also non-real-time broadcasting in some cases. It may be understood as a term meaning the entire channel.
  • arbitrary channel is further defined in relation to a channel in addition to the above-described broadcast channel.
  • the arbitrary channel may be provided together with a service guide such as an electronic program guide (EPG) along with a broadcast channel, and a service guide, a GUI (Graphic User Interface) or an OSD screen (On-Screen Display) with only a random channel. screen).
  • EPG electronic program guide
  • GUI Graphic User Interface
  • OSD screen On-Screen Display
  • a random channel is a channel randomly allocated by a receiver, and a channel number that is not basically overlapped with a channel number for expressing the broadcast channel is allocated.
  • the receiver receives a broadcast signal that transmits broadcast content and signaling information therefor through the tuned channel.
  • the receiver parses channel information from the signaling information, and configures a channel browser, an EPG, and the like based on the parsed channel information and provides it to the user.
  • the receiver responds accordingly.
  • the broadcast channel is a content previously promised between the transmitting and receiving terminals
  • a random channel when a random channel is repeatedly allocated with the broadcast channel, it may cause confusion or confusion of the user, so it is preferable not to repeatedly allocate as described above.
  • the random channel number is not duplicated with the broadcast channel number as described above, there is still a possibility of confusion in the channel surfing process of the user, and it is required to allocate the random channel number in consideration of this.
  • any channel according to the present specification can also be implemented to be accessed as a broadcast channel in the same manner in response to a user's request to switch a channel through an input means in the same way as a conventional broadcast channel.
  • the random channel number is a type in which characters are written in parallel, such as random channel-1, random channel-2, and the like, for the convenience of discrimination or identification of the user's random channel access and broadcast channel number. It can be defined and marked as.
  • the display of an arbitrary channel number may be implemented by recognizing in a numeric form, such as the number of the broadcasting channel, in a form in which characters are written in parallel as in random channel-1.
  • an arbitrary channel number may be provided in a numeric form, such as a broadcast channel, and a channel number may be defined and displayed in various ways distinguishable from a broadcast channel, such as video channel-1, title-1, and video-1. have.
  • the digital device executes a web browser for a web service, and provides various types of web pages to the user.
  • the web page also includes a web page including a video (video content), in this specification, the video is processed separately or independently from the web page.
  • the separated video can be implemented to allocate an arbitrary channel number as described above, provide it through a service guide, or the like, and be output according to a channel switching request by a user in a service guide or broadcast channel viewing process.
  • predetermined content, images, audio, items, etc. are separately processed from the broadcast content, games, and the application itself, and for playback, processing, etc. Any channel number can be assigned and implemented as described above.
  • Service systems including digital devices include a content provider (CP) 3210, a service provider (SP) 3220, a network provider (NP) 3230, and a HNED (Home Network End User). ) (Customer) 3240.
  • the HNED 3240 is, for example, a client 3200, that is, a digital device.
  • the content provider 3210 produces and provides various content. As shown in FIG. 32 as such a content provider 3210, terrestrial broadcaster, cable SO (System Operator) or MSO (Multiple SO), satellite broadcaster (satellite broadcaster) , Various Internet broadcasters, and private content providers (Private CPs). Meanwhile, the content provider 3210 provides various applications in addition to broadcast content.
  • the service provider 3220 provides services to the client 300 in a uni-cast or multi-cast manner. Meanwhile, the service provider 3220 may transmit data to a plurality of pre-registered clients 3200 at a time, and for this, an Internet Group Management Protocol (IGMP) protocol may be used.
  • IGMP Internet Group Management Protocol
  • the above-described content provider 3210 and service provider 3220 may be identical or single entities. For example, by providing the content produced by the content provider 3210 as a service package and providing it to the HNED 3240, the function of the service provider 3220 may also be performed or vice versa.
  • the network provider 3230 provides a network for data exchange between the content provider 3210 or / and the service provider 3220 and the client 3200.
  • the client 3200 can establish a home network to transmit and receive data.
  • the content provider 3210 or / and the service provider 3220 in the service system may use conditional access or content protection means to protect transmitted content.
  • the client 300 may use a processing means such as a cable card (POD: Point of Deployment), a DCAS (Downloadable CAS), etc. in response to the limited reception or content protection.
  • a processing means such as a cable card (POD: Point of Deployment), a DCAS (Downloadable CAS), etc. in response to the limited reception or content protection.
  • the client 3200 may also use a bidirectional service through a network (or communication network). In this case, rather, the client 3200 may perform the function of a content provider, and the existing service provider 3220 may receive it and transmit it back to another client.
  • FIG. 33 is a block diagram illustrating a digital device according to an embodiment.
  • FIG. 33 may correspond to, for example, the client 3200 of FIG. 32, and refers to the digital device described above.
  • the digital device 3300 includes a network interface 3301, a TCP / IP manager 3302, a service delivery manager 3303, an SI decoder 3304, Demultiplexer (demux) 3305, audio decoder 3306, video decoder 3307, display A / V and OSD module 3308, service control manager control manager (3309), service discovery manager (service discovery manager) 3310, SI & metadata database (SI & Metadata DB) 3311, metadata manager 3312, service manager 3313, UI And a manager 3314 or the like.
  • SI & metadata database SI & Metadata DB
  • the network interface unit 3301 receives or transmits Internet protocol (IP) packets through a network. That is, the network interface unit 3301 receives services, content, and the like from the service provider 3220 through a network network.
  • IP Internet protocol
  • the TCP / IP manager 3302 is configured to transmit packets between IP packets received by the digital device 3300 and IP packets transmitted by the digital device 3300, that is, between a source and a destination. Get involved. Then, the TCP / IP manager 3302 classifies the received packet (s) to correspond to an appropriate protocol, and the service delivery manager 3305, the service discovery manager 3310, the service control manager 3309, and the metadata manager 3312 ), And the like.
  • the service delivery manager 3303 is responsible for controlling received service data. For example, the service delivery manager 3303 may use RTP / RTCP when controlling real-time streaming data.
  • the service delivery manager 3303 parses the received data packet according to RTP and transmits it to the demultiplexer 3305 or control of the service manager 3313 According to the SI & metadata database 3311. Then, the service delivery manager 3303 uses the RTCP to feed back the network reception information to a server providing a service.
  • the demultiplexer 3305 demultiplexes the received packets into audio, video, and system information (SI) data, and transmits them to the audio / video decoder 3306/3307 and the SI decoder 3304, respectively.
  • SI system information
  • the SI decoder 3304 decodes service information such as program specific information (PSI), program and system information protocol (PSIP), and digital video broadcasting-service information (DVB-SI).
  • PSI program specific information
  • PSIP program and system information protocol
  • DVB-SI digital video broadcasting-service information
  • the audio / video decoder 3306/3307 decodes each audio data and video data demultiplexed by the demultiplexing unit 405.
  • the audio data and video data thus decoded are provided to the user through the display unit 3308.
  • the application manager may include, for example, a UI manager 3314 and a service manager 3313.
  • the application manager may manage the overall state of the digital device 3300, provide a user interface, and manage other managers.
  • the UI manager 3314 provides a graphical user interface (GUI) for a user using an on-screen display (OSD) or the like, and receives key input from a user to perform device operation according to the input. For example, when the UI manager 3314 receives a key input for channel selection from the user, the UI manager 3314 transmits the key input signal to the service manager 3313.
  • GUI graphical user interface
  • OSD on-screen display
  • the service manager 3313 controls a manager associated with a service, such as a service delivery manager 3303, a service discovery manager 3310, a service control manager 3309, and a metadata manager 3312.
  • the service manager 3313 creates a channel map and selects a channel using the channel map according to a key input received from the user interface manager 3314. Then, the service manager 3313 receives the service information of the channel from the SI decoder 3304 and sets the audio / video PID (packet identifier) of the selected channel to the demultiplexer 3305.
  • the PID set in this way is used in the demultiplexing process described above. Accordingly, the demultiplexer 3305 filters the audio data, video data, and SI data using the PID.
  • the service discovery manager 3310 provides information necessary to select a service provider that provides a service. When a signal regarding channel selection is received from the service manager 3313, the service discovery manager 3310 finds a service using the information.
  • the service control manager 3309 is responsible for selecting and controlling services.
  • the service control manager 3309 uses IGMP or RTSP when a user selects a live broadcasting service such as a conventional broadcasting method, and selects a service such as video on demand (VOD).
  • the RTSP is used to select and control services.
  • the RTSP protocol may provide a trick mode for real-time streaming.
  • the service control manager 3309 may initialize and manage a session through the IMS gateway 3350 using an IP multimedia subsystem (IMS) and a session initiation protocol (SIP).
  • IMS IP multimedia subsystem
  • SIP session initiation protocol
  • the protocols are one embodiment, and other protocols may be used according to implementation examples.
  • the metadata manager 3312 manages metadata associated with a service and stores the metadata in the SI & metadata database 3311.
  • the SI & metadata database 3311 includes service information decoded by the SI decoder 3304, metadata managed by the metadata manager 3312, and information necessary to select a service provider provided by the service discovery manager 3310. To save.
  • the SI & metadata database 3311 can store set-up data and the like for the system.
  • the SI & metadata database 3311 may be implemented using non-volatile RAM (NVRAM), flash memory, or the like.
  • NVRAM non-volatile RAM
  • the IMS gateway 3350 is a gateway that collects functions necessary for accessing the IMS-based IPTV service.
  • FIG. 34 is a configuration block diagram illustrating another embodiment of a digital device.
  • FIG. 34 illustrates a block diagram of a mobile device as another embodiment of a digital device.
  • the wireless communication unit 3410 may include one or more modules that enable wireless communication between the mobile device 3400 and the wireless communication system or between a mobile device and a network in which the mobile device is located.
  • the wireless communication unit 3410 may include a broadcast reception module 3411, a mobile communication module 3412, a wireless Internet module 3413, a short-range communication module 3414, and a location information module 3415. .
  • the broadcast receiving module 3411 receives broadcast signals and / or broadcast related information from an external broadcast management server through a broadcast channel.
  • the broadcast channel may include a satellite channel and a terrestrial channel.
  • the broadcast management server may mean a server that generates and transmits broadcast signals and / or broadcast-related information or a server that receives previously generated broadcast signals and / or broadcast-related information and transmits them to a terminal.
  • the broadcast signal may include a TV broadcast signal, a radio broadcast signal, and a data broadcast signal, and may also include a TV broadcast signal or a radio broadcast signal combined with a data broadcast signal.
  • the broadcast related information may mean information related to a broadcast channel, broadcast program, or broadcast service provider. Broadcast-related information may also be provided through a mobile communication network. In this case, it may be received by the mobile communication module 3412.
  • Broadcast-related information may exist in various forms, for example, an electronic program guide (EPG) or an electronic service guide (ESG).
  • EPG electronic program guide
  • ESG electronic service guide
  • the broadcast reception module 3411 includes, for example, ATSC, digital video broadcasting-terrestrial (DVB-T), satellite (DVB-S), media forward link only (MediaFLO), handheld (DVB-H), ISDB-T (Digital broadcasting signals can be received using digital broadcasting systems such as integrated services digital broadcast-terrestrial.
  • the broadcast receiving module 511 may be configured to be suitable for other broadcasting systems as well as the digital broadcasting system described above.
  • the broadcast signal and / or broadcast-related information received through the broadcast receiving module 3411 may be stored in the memory 3460.
  • the mobile communication module 3412 transmits and receives wireless signals to and from at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the wireless signal may include various types of data according to transmission and reception of a voice signal, a video call signal, or a text / multimedia message.
  • the wireless Internet module 3413 may include a module for wireless Internet access, or may be built in or external to the mobile device 3400.
  • Wireless Internet technology may include wireless LAN (WLAN) (Wi-Fi), wireless broadband (Wibro), world interoperability for microwave access (Wimax), and high speed downlink packet access (HSDPA).
  • the A / V input unit 3420 is for inputting an audio or / and video signal, and may include a camera 3421 and a microphone 3342.
  • the camera 3421 processes image frames such as still images or moving images obtained by an image sensor in a video call mode or a shooting mode.
  • the processed image frame may be displayed on the display portion 3451.
  • the user input unit 3430 generates input data for the user to control the operation of the terminal.
  • the user input unit 3430 may be configured with a key pad, a dome switch, a touch pad (static pressure / power outage), a jog wheel, a jog switch, or the like.
  • the sensing unit 3440 displays the current state of the mobile device 3400, such as the open / closed state of the mobile device 3400, the location of the mobile device 3400, the presence or absence of user contact, the orientation of the mobile device, and acceleration / deceleration of the mobile device. It senses and generates a sensing signal for controlling the operation of the mobile device 3400. For example, when the mobile device 3400 is moved or tilted, the position or tilt of the mobile device may be sensed. In addition, whether power is supplied to the power supply unit 3490 or whether external devices are coupled to the interface unit 3470 may be sensed. Meanwhile, the sensing unit 3440 may include a proximity sensor 341 including near field communication (NFC).
  • NFC near field communication
  • the output unit 3450 is for generating output related to vision, hearing, or tactile sense, and may include a display unit 3451, an audio output module 3452, an alarm unit 3345, and a haptic module 3454. have.
  • the display unit 3451 displays (outputs) information processed by the mobile device 3400. For example, when the mobile device is in a call mode, a user interface (UI) or a graphic user interface (GUI) related to the call is displayed. When the mobile device 3400 is in a video call mode or a photographing mode, the photographed or / and received video or UI, GUI is displayed.
  • UI user interface
  • GUI graphic user interface
  • Two or more display units 3451 may be present depending on the implementation form of the mobile device 3400.
  • a plurality of display units may be spaced apart or integrally disposed on one surface, or may be disposed on different surfaces.
  • the touch sensor may be configured to convert a change in pressure applied to a specific portion of the display portion 3451 or capacitance generated in a specific portion of the display portion 3451 into an electrical input signal.
  • the touch sensor may be configured to detect not only the touched position and area, but also pressure at the time of touch.
  • the control unit 3480 can know which area of the display unit 3451 has been touched, and the like.
  • a proximity sensor 341 may be disposed in an inner area of the mobile device surrounded by the touch screen or near the touch screen.
  • the proximity sensor refers to a sensor that detects the presence or absence of an object approaching a predetermined detection surface or an object present in the vicinity without mechanical contact using electromagnetic force or infrared rays.
  • Proximity sensors have a longer lifespan and higher utilization than contact sensors.
  • the proximity sensor examples include a transmission type photoelectric sensor, a direct reflection type photoelectric sensor, a mirror reflection type photoelectric sensor, a high frequency oscillation type proximity sensor, a capacitive type proximity sensor, a magnetic type proximity sensor, and an infrared proximity sensor.
  • the touch screen When the touch screen is capacitive, it is configured to detect the proximity of the pointer due to a change in electric field according to the proximity of the pointer. In this case, the touch screen (touch sensor) may be classified as a proximity sensor.
  • the act of causing the pointer to be recognized as being located on the touch screen without being touched by the pointer on the touch screen is referred to as a “proximity touch”, and on the touch screen
  • the act of actually touching the pointer is referred to as "contact touch.”
  • the location on the touch screen that is a proximity touch with the pointer means a location where the pointer is perpendicular to the touch screen when the pointer is touched close.
  • the alarm unit 3345 outputs a signal for notifying the occurrence of the event of the mobile device 3400. Examples of events generated in the mobile device include call signal reception, message reception, key signal input, and touch input.
  • the alarm unit 3345 may also output a signal for notifying the occurrence of an event in a form other than a video signal or an audio signal, for example, vibration.
  • the video signal or the audio signal may also be output through the display unit 3451 or the audio output module 3452 so that the display unit and the audio output modules 3451 and 3452 may be classified as part of the alarm unit 3345.
  • the haptic module 3454 may not only transmit the tactile effect through direct contact, but may also implement the user to feel the tactile effect through muscle sensations such as fingers or arms. Two or more haptic modules 3454 may be provided according to a configuration aspect of the mobile device 3400.
  • the memory 3460 may store a program for the operation of the control unit 3480, and may temporarily store input / output data (eg, a phone book, a message, a still image, a video, etc.).
  • the memory 3460 may store data related to various patterns of vibration and sound output when a touch is input on the touch screen.
  • the memory 3460 includes a flash memory type, a hard disk type, a multimedia card micro type, and a card type memory (for example, SD or XD memory, etc.), Random access memory (RAM), static random access memory (SRAM), read-only memory (ROM), electrically erasable programmable read-only memory (EEPROM), programmable read-only memory (PROM), magnetic memory, It may include a storage medium of at least one of a magnetic disk and an optical disk.
  • the mobile device 3400 may operate in connection with a web storage that performs a storage function of the memory 3460 on the Internet.
  • the identification module is a chip that stores various information for authenticating the usage rights of the mobile device 3400, a user identification module (UIM), a subscriber identification module (SIM), and a universal user authentication module ( universal subscriber identity module, USIM).
  • the device provided with the identification module (hereinafter referred to as an 'identification device') may be manufactured in a smart card format. Therefore, the identification device may be connected to the terminal 3400 through the port.
  • the interface unit 3470 When the mobile terminal 3400 is connected to an external cradle, the interface unit 3470 becomes a passage through which power from the cradle is supplied to the mobile terminal 3400, or various command signals input from the cradle by the user. It can be a passage to the mobile terminal. Various command signals or power input from the cradle may be operated as signals for recognizing that the mobile terminal is correctly mounted on the cradle.
  • the control unit 3480 typically controls the overall operation of the mobile device. For example, it performs related control and processing for voice calls, data communication, video calls, and the like.
  • the control unit 3480 may include a multimedia module 3481 for multimedia playback.
  • the multimedia module 3401 may be implemented in the control unit 3480, or may be implemented separately from the control unit 3480.
  • the controller 3480, in particular the multimedia module 3401 may include the above-described encoding device 100 and / or decoding device 200.
  • the control unit 3480 may perform a pattern recognition process capable of recognizing handwriting input or picture drawing input performed on a touch screen as characters and images, respectively.
  • the embodiments described herein include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), It may be implemented using at least one of a processor, a controller, micro-controllers, microprocessors, and electrical units for performing other functions.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • It may be implemented using at least one of a processor, a controller, micro-controllers, microprocessors, and electrical units for performing other functions.
  • the embodiments described herein may include a control unit ( 3480) can be implemented by itself.
  • embodiments such as procedures and functions described herein may be implemented as separate software modules.
  • Each of the software modules can perform one or more functions and operations described herein.
  • Software code can be implemented in a software application written in an appropriate programming language.
  • the software code is stored in the memory 3460 and can be executed by the control unit 3480.
  • 35 is a configuration block diagram illustrating another embodiment of a digital device.
  • the digital device 3500 include a broadcast receiving unit 3505, an external device interface unit 3535, a storage unit 3540, a user input interface unit 3550, a control unit 3570, a display unit 3580, audio It may include an output unit 3585, a power supply unit 3590 and a photographing unit (not shown).
  • the broadcast reception unit 3505 may include at least one tuner 3510, a demodulation unit 3520, and a network interface unit 3530. However, in some cases, the broadcast reception unit 3505 includes a tuner 3510 and a demodulation unit 3520, but may not include the network interface unit 3530, and vice versa.
  • a multiplexer is provided to multiplex the signal demodulated by the demodulator 3520 via the tuner 3510 and the signal received through the network interface unit 3530. It might be.
  • a demultiplexer may be provided to demultiplex the multiplexed signal or demultiplex the demodulated signal or the signal that has passed through the network interface unit 3530. have.
  • the tuner 3510 receives an RF broadcast signal by tuning a channel selected by a user or all pre-stored channels among radio frequency (RF) broadcast signals received through an antenna. In addition, the tuner 3510 converts the received RF broadcast signal into an intermediate frequency (IF) signal or a baseband signal.
  • IF intermediate frequency
  • the tuner 3510 can process both digital broadcast signals or analog broadcast signals.
  • the analog baseband video or audio signal (CVBS / SIF) output from the tuner 3510 may be directly input to the controller 3570.
  • the tuner 3510 may receive a single carrier RF broadcast signal according to an advanced television system committee (ATSC) scheme or a multiple carrier RF broadcast signal according to a digital video broadcasting (DVB) scheme.
  • ATSC advanced television system committee
  • DVD digital video broadcasting
  • the tuner 3510 may sequentially tune and receive RF broadcast signals of all broadcast channels stored through a channel storage function among RF broadcast signals received through an antenna and convert them into an intermediate frequency signal or a baseband signal. .
  • the demodulator 3520 receives and demodulates the digital IF signal DIF converted by the tuner 3510. For example, when the digital IF signal output from the tuner 3510 is an ATSC method, the demodulator 3520 performs 8-vestigal side band (8-VSB) demodulation, for example. Also, the demodulator 3520 may perform channel decoding. To this end, the demodulator 3520 includes a trellis decoder, a de-interleaver, a Reed-Solomon decoder, and the like, trellis decoding, deinterleaving, and Reed Soloman decoding can be performed.
  • 8-VSB 8-vestigal side band
  • the demodulator 3520 when the digital IF signal output from the tuner 3510 is a DVB method, the demodulator 3520 performs, for example, coded orthogonal frequency division modulation (COFDMA) demodulation. Further, the demodulator 3520 may perform channel decoding. To this end, the demodulator 3520 may include a convolution decoder, a deinterleaver, and a lead-soloman decoder, and perform convolutional decoding, deinterleaving, and read soloman decoding.
  • COFDMA coded orthogonal frequency division modulation
  • the demodulator 3520 may output a stream signal TS after demodulation and channel decoding.
  • the stream signal may be a signal in which a video signal, an audio signal or a data signal is multiplexed.
  • the stream signal may be an MPEG-2 transport stream (TS) in which an MPEG-2 standard video signal and a Dolby AC-3 standard audio signal are multiplexed.
  • the MPEG-2 TS may include a header of 4 bytes and a payload of 184 bytes.
  • the demodulator 3520 described above may be separately provided according to the ATSC method and the DVB method. That is, the digital device may separately include an ATSC demodulator and a DVB demodulator.
  • the stream signal output from the demodulator 3520 may be input to the controller 3570.
  • the control unit 3570 may control demultiplexing, video / audio signal processing, and the like, and control an image output through the display unit 3580 and an audio output unit through the audio output unit 3585.
  • the external device interface unit 3535 provides an environment in which various external devices are interfaced to the digital device 3500.
  • the external device interface unit 3535 may include an A / V input / output unit (not shown) or a wireless communication unit (not shown).
  • the external device interface unit 3535 includes digital versatile disk (DVD), blu-ray, game devices, cameras, camcorders, computers (laptops, tablets), smartphones, Bluetooth devices, and cloud It can be connected to external devices such as (cloud) by wire / wireless.
  • the external device interface unit 3535 transmits a video, audio, or data (including image) signal input from the outside through the connected external device to the control unit 3570 of the digital device.
  • the control unit 3570 may control the processed image, audio, or data signal to be output to a connected external device.
  • the external device interface unit 3535 may further include an A / V input / output unit (not shown) or a wireless communication unit (not shown).
  • a / V input / output unit USB terminal, CVBS (composite video banking sync) terminal, component terminal, S-video terminal (analog), DVI (DVI) so that video and audio signals from external devices can be input to the digital device (3500) digital visual interface (HDMI) terminal, a high definition multimedia interface (HDMI) terminal, an RGB terminal, a D-SUB terminal, and the like.
  • digital visual interface HDMI
  • HDMI high definition multimedia interface
  • RGB terminal a D-SUB terminal
  • the wireless communication unit may perform short-range wireless communication with other electronic devices.
  • the digital device 3500 includes, for example, Bluetooth, radio frequency identification (RFID), infrared data association (IrDA), ultra wideband (UWB), ZigBee, digital living network alliance (DLNA). Networks may be connected to other electronic devices according to a communication protocol.
  • RFID radio frequency identification
  • IrDA infrared data association
  • UWB ultra wideband
  • ZigBee wireless living network alliance
  • DLNA digital living network alliance
  • the external device interface unit 3535 may be connected to at least one of various set-top boxes and various terminals described above, and perform input / output operations with the set-top box.
  • the external device interface unit 3535 may receive an application or a list of applications in an adjacent external device and transmit it to the control unit 3570 or the storage unit 3540.
  • the network interface unit 3530 provides an interface for connecting the digital device 3500 with a wired / wireless network including an Internet network.
  • the network interface unit 3530 may include, for example, an Ethernet terminal or the like for connection with a wired network, and for example, a wireless LAN (WLAN) (Wi-) for connection with a wireless network.
  • WLAN wireless LAN
  • Wi- wireless LAN
  • Fi wireless broadband
  • Wimax world interoperability for microwave access
  • HSDPA high speed downlink packet access
  • the network interface unit 3530 may access a predetermined web page through a connected network or another network linked to the connected network. That is, it is possible to connect to a predetermined web page through a network and transmit or receive data with the corresponding server.
  • content or data provided by a content provider or a network operator may be received. That is, it is possible to receive content such as a movie, advertisement, game, VOD, broadcast signal, and related information provided by a content provider or a network provider through a network.
  • the network interface unit 3530 may select and receive a desired application from among applications that are open to the public through a network.
  • the storage unit 3540 may store a program for processing and controlling each signal in the control unit 3570, or may store a signal-processed image, audio, or data signal.
  • the storage unit 3540 may perform a function for temporarily storing an image, audio, or data signal input from the external device interface unit 3535 or the network interface unit 3530.
  • the storage unit 3540 may store information regarding a predetermined broadcast channel through a channel storage function.
  • the storage unit 3540 may store various platforms, which will be described later.
  • the storage unit 3540 may be, for example, a flash memory type, a hard disk type, a multimedia card micro type, or a card type memory (for example, SD or XD) Memory, etc.), RAM (RAM), and ROM (EEPROM, etc.).
  • the digital device 3500 may play a content file (video file, still image file, music file, document file, application file, etc.) stored in the storage unit 3540 and provide it to the user.
  • the storage unit 3540 is provided separately from the control unit 3570, the scope of the present specification is not limited thereto. That is, the storage unit 3540 may be included in the control unit 3570.
  • the user input interface unit 3550 transmits a signal input by the user to the control unit 3570 or a signal from the control unit 3570 to the user.
  • the user input interface unit 3550 controls power on / off, channel selection, screen setting, etc. from the remote control device 3600 according to various communication methods such as an RF communication method and an infrared (IR) communication method.
  • the signal may be received and processed, or may be processed to transmit the control signal of the control unit 3570 to the remote control device 3600.
  • the user input interface unit 3550 may transmit a control signal input from a local key (not shown), such as a power key, a channel key, a volume key, and a set value, to the control unit 3570.
  • a local key such as a power key, a channel key, a volume key, and a set value
  • the user input interface unit 3550 transmits a control signal input from a sensing unit (not shown) that senses a user's gesture to the control unit 3570 or senses a signal from the control unit 3570 (Not shown).
  • the sensing unit may include a touch sensor, a voice sensor, a position sensor, and a motion sensor.
  • the control unit 3570 de-multiplexes the stream input through the tuner 3510, the demodulator 3520, or the external device interface unit 3535 or processes the demultiplexed signals to generate a signal for video or audio output. And output.
  • the control unit 3570 may include the aforementioned encoding device and / or decoding device.
  • the image signal processed by the control unit 3570 may be input to the display unit 3580 and displayed as an image corresponding to the corresponding image signal. Also, the image signal processed by the control unit 3570 may be input to an external output device through the external device interface unit 3535.
  • the audio signal processed by the control unit 3570 may be audio output to the audio output unit 3585. Also, the audio signal processed by the control unit 3570 may be input to the external output device through the external device interface unit 3535.
  • control unit 3570 may include a demultiplexing unit, an image processing unit, and the like.
  • the control unit 3570 may control the overall operation of the digital device 3500.
  • the controller 3570 may control the tuner 3510 to tune an RF broadcast corresponding to a channel selected by a user or a pre-stored channel.
  • the control unit 3570 may control the digital device 3500 by a user command input through the user input interface unit 3550 or an internal program. In particular, it is possible to access a network so that a user can download a desired application or application list into the digital device 3500.
  • control unit 3570 controls the tuner 3510 such that a signal of a selected channel is input according to a predetermined channel selection command received through the user input interface unit 3550. And it processes the video, audio or data signal of the selected channel.
  • the control unit 3570 allows the channel information, etc. selected by the user to be output through the display unit 3580 or the audio output unit 3585 together with the processed image or audio signals.
  • control unit 3570 may be input from an external device input through the external device interface unit 3535, for example, a camera or camcorder, according to an external device image playback command received through the user input interface unit 3550.
  • the video signal or the audio signal can be output through the display unit 3580 or the audio output unit 3585.
  • control unit 3570 may control the display unit 3580 to display an image.
  • a broadcast image input through the tuner 3510, an external input image input through the external device interface unit 3535, an image input through the network interface unit, or an image stored in the storage unit 3540 It can be controlled to be displayed on the display unit 3580.
  • the image displayed on the display unit 3580 may be a still image or a video, and may be a 2D image or a 3D image.
  • control unit 3570 may control to play content.
  • the content at this time may be content stored in the digital device 3500, or received broadcast content, or external input content input from the outside.
  • the content may be at least one of a broadcast image, an external input image, an audio file, a still image, a connected web screen, and a document file.
  • the controller 3570 may control to display a list of applications or applications that can be downloaded from the digital device 3500 or from an external network.
  • the control unit 3570 may control to install and operate an application downloaded from an external network along with various user interfaces.
  • an image related to an application to be executed can be controlled to be displayed on the display unit 3580 by a user's selection.
  • a channel browsing processing unit for generating a thumbnail image corresponding to a channel signal or an external input signal.
  • the generated thumbnail image can be input to the control unit 3570 as it is or encoded. Also, the generated thumbnail image may be encoded in a stream form and input to the control unit 3570.
  • the controller 3570 may display a list of thumbnails having a plurality of thumbnail images on the display unit 3580 using the input thumbnail images. Meanwhile, the thumbnail images in the thumbnail list can be updated sequentially or simultaneously. Accordingly, the user can easily grasp the contents of a plurality of broadcast channels.
  • the display unit 3580 converts image signals, data signals, OSD signals, or image signals received from the external device interface unit 3535 processed by the control unit 3570 into R, G, and B signals, respectively. Generate a drive signal.
  • the display unit 3580 may be configured as a touch screen and used as an input device in addition to an output device.
  • the audio output unit 3585 receives a signal processed by the controller 3570, for example, a stereo signal, a 3.1 channel signal, or a 5.1 channel signal, and outputs the audio.
  • the audio output unit 3585 may be implemented as various types of speakers.
  • a photographing unit (not shown) for photographing a user may be further provided. Image information photographed by the photographing unit (not shown) may be input to the control unit 3570.
  • the control unit 3570 may detect a user's gesture by individually or in combination with an image captured by the photographing unit (not shown) or a signal detected from the sensing unit (not shown).
  • the power supply unit 3590 supplies the corresponding power throughout the digital device 3500.
  • the power supply unit 3590 may include a converter (not shown) that converts AC power into DC power.
  • a PWM-operable inverter (not shown) may be further provided to control luminance or dimming. have.
  • the remote control device 3600 transmits a user input to the user input interface unit 3550.
  • the remote control device 3600 Bluetooth (bluetooth), RF (radio frequency) communication, infrared (IR) communication, UWB (Ultra Wideband), ZigBee (ZigBee) method can be used.
  • the remote control device 3600 may receive an image, audio, or data signal output from the user input interface unit 3550, display it on the remote control device 3600, or output voice or vibration.
  • the above-described digital device 3500 may be a digital broadcast receiver capable of processing a fixed or mobile ATSC type or DVB type digital broadcast signal.
  • the digital device may omit some components or further include components not illustrated, as required.
  • the digital device does not have a tuner and a demodulator, and can also receive and play content through a network interface unit or an external device interface unit.
  • FIGS. 33 to 35 are block diagram illustrating a detailed configuration of the control unit of FIGS. 33 to 35 to illustrate one embodiment.
  • control unit examples include a voice processing unit and a data processing unit.
  • the demultiplexing unit 3610 demultiplexes the input stream.
  • the demultiplexer 3610 can demultiplex the input MPEG-2 TS video, audio, and data signals.
  • the stream signal input to the demultiplexer 3610 may be a stream signal output from a tuner or demodulator or an external device interface.
  • the video decoder 3625 decodes the demultiplexed video signal, and the scaler 3635 scales the resolution of the decoded video signal to be output from the display unit.
  • the video decoder 3625 can support various standards.
  • the video decoder 3625 performs the function of the MPEG-2 decoder when the video signal is encoded in the MPEG-2 standard, and the video signal is encoded in the digital multimedia broadcasting (DMB) method or the H.264 standard.
  • DMB digital multimedia broadcasting
  • H.264 the function of the H.264 decoder can be performed.
  • the video signal decoded by the video processing unit 3620 is input to the mixer 3650.
  • the OSD generation unit 3640 generates OSD data according to a user input or by itself. For example, the OSD generating unit 3640 generates data for displaying various data on a screen of the display unit 4180 in a graphic or text form based on a control signal of the user input interface unit.
  • the generated OSD data includes various data such as a user interface screen of a digital device, various menu screens, widgets, icons, and viewing rate information.
  • the OSD generator 3640 may generate data for displaying subtitles of broadcast images or broadcast information based on EPG.
  • the mixer 3650 mixes the OSD data generated by the OSD generating unit 3640 and the image signal processed by the image processing unit and provides it to the formatter 3660. Because the decoded video signal and OSD data are mixed, the OSD is displayed overlaid on the broadcast video or the external input video.
  • a frame rate converter (FRC) 3655 converts a frame rate of an input video.
  • the frame rate converter 3655 may convert the input 60 Hz image frame rate to have a frame rate of, for example, 120 Hz or 240 Hz, depending on the output frequency of the display unit.
  • various methods may exist in the method for converting the frame rate. For example, when the frame rate converter 3655 converts the frame rate from 60 Hz to 120 Hz, the same first frame is inserted between the first frame and the second frame, or the first frame and the second frame are predicted from the first frame. It can be converted by inserting 3 frames.
  • the frame rate converter 3655 converts the frame rate from 60 Hz to 240 Hz, three or more identical frames or predicted frames may be inserted and converted between existing frames. Meanwhile, when a separate frame conversion is not performed, the frame rate conversion unit 3655 may be bypassed.
  • the formatter 3660 changes the output of the input frame rate conversion unit 3655 to match the output format of the display unit.
  • the formatter 3660 may output R, G, and B data signals, and these R, G, and B data signals may be output as low voltage differential signaling (LVDS) or mini-LVDS Can be.
  • LVDS low voltage differential signaling
  • the formatter 3660 may configure and output a 3D format according to the output format of the display unit, thereby supporting 3D service through the display unit.
  • a voice processing unit (not shown) in the control unit may perform voice processing of a demultiplexed voice signal.
  • the voice processing unit (not shown) may support various audio formats. For example, even when an audio signal is encoded in formats such as MPEG-2, MPEG-4, AAC, HE-AAC, AC-3, BSAC, a decoder corresponding thereto may be provided and processed.
  • the voice processing unit (not shown) in the control unit may process a base, treble, volume control, and the like.
  • the data processing unit (not shown) in the control unit may perform data processing of the demultiplexed data signal.
  • the data processing unit can decode the demultiplexed data signal even when it is encoded.
  • the encoded data signal may be EPG information including broadcast information such as a start time and an end time of a broadcast program broadcast on each channel.
  • each component may be integrated, added, or omitted depending on the specification of the actual digital device. That is, if necessary, two or more components may be combined into one component, or one component may be subdivided into two or more components.
  • the function performed in each block is for describing an embodiment of the present specification, and the specific operation or device does not limit the scope of the present specification.
  • FIG. 37 is a diagram illustrating an example in which a screen of a digital device displays a main image and a sub image simultaneously according to an embodiment.
  • the digital device may simultaneously display the main image 3710 and the auxiliary image 3720 on the screen 3700.
  • the main image 3710 may be referred to as a first image, and the auxiliary image 3720 may be referred to as a second image.
  • the main image 3710 and the auxiliary image 3720 may include a video, a still image, an electronic program guide (EPG), a graphical user interface (GUI), an on-screen display (OSD), and the like.
  • the main image 3710 may mean an image that is relatively smaller in size than the screen 3700 of the electronic device while being simultaneously displayed on the screen 3700 of the electronic device and the auxiliary image 3720, as a picture in picture (PIP). Also referred to as.
  • PIP picture in picture
  • the main image 3710 is displayed as being displayed on the upper left of the screen 3700 of the digital device, but the location where the main image 3710 is displayed is not limited thereto, and the main image 3710 is a digital device. Can be displayed at any location within the screen 3700.
  • the main image 3710 and the auxiliary image 3720 may be directly or indirectly related to each other.
  • the main image 3710 may be a streaming video
  • the auxiliary image 3720 may be a GUI that sequentially displays thumbnails of videos including information similar to the streaming video.
  • the main image 3710 may be a broadcasted image
  • the auxiliary image 3720 may be an EPG.
  • the main image 3710 may be a broadcast image
  • the auxiliary image 3720 may be a GUI. Examples of the main image 3710 and the auxiliary image 3720 are not limited thereto.
  • the main image 3710 may be a broadcast image received through a broadcasting channel
  • the auxiliary image 3720 may be information related to a broadcast image received through a broadcast channel.
  • Information related to a broadcast video received through a broadcast channel may include, for example, EPG information including a comprehensive channel schedule, broadcast program detailed information, and broadcast program review information, but is not limited thereto.
  • the main image 3710 may be a broadcast image received through a broadcast channel
  • the auxiliary image 3720 may be an image generated based on information pre-stored in a digital device.
  • the image generated based on the information pre-stored in the digital device may include, for example, a basic user interface (UI) of the EPG, basic channel information, an image resolution manipulation UI, and a bedtime reservation UI. Does not work.
  • UI basic user interface
  • the main image 3710 is a broadcast image received through a broadcast channel
  • the auxiliary image 3720 may be information related to a broadcast image received through a network.
  • the information related to the broadcast image received through the network may be, for example, information obtained through a network-based search engine. More specifically, for example, information related to a character currently being displayed on the main image 3710 may be obtained through a network-based search engine.
  • information related to a broadcast image received through a network may be obtained by using, for example, an artificial intelligence (AI) system.
  • AI artificial intelligence
  • an estimated-location in map of a place currently being displayed on the main image 3710 can be obtained by using network-based deep-learning, and digital The device may receive information about the estimated location on the map of the place currently being displayed on the main image 3710 through the network.
  • the digital device may receive at least one of image information of the main image 3710 and image information of the auxiliary image 3720 from the outside.
  • the video information of the main video 3710 includes, for example, a broadcast signal received through a broadcasting channel, a source code information of the main video 3710, and a main received through a network. IP packet (internet protocol packet) information of the image 3710 may be included, but is not limited thereto.
  • the video information of the secondary video 3720 includes, for example, a broadcast signal received through a broadcast channel, source code information of the secondary video 3720, IP packet information of the secondary video 3720 received through a network, etc. It may include, but is not limited to.
  • the digital device may decode and use video information of the main video 3710 or video information of the secondary video 3720 received from the outside. However, in some cases, the digital device may store image information of the main image 3710 or image information of the auxiliary image 3720 internally.
  • the digital device may display the main image 3710 and the auxiliary image 3720 on the screen 3700 of the digital device based on the image information of the main image 3710 and information related to the auxiliary image 3720.
  • the decoding apparatus 200 of the digital device includes a main image decoding apparatus and an auxiliary image decoding apparatus, and the main image decoding apparatus and the auxiliary image decoding apparatus respectively include image information of the main image 3710 and auxiliary image 3720 ) Can decode video information.
  • the renderer includes a main image renderer (first renderer) and an auxiliary image renderer (second renderer), and the main image renderer displays the main image 3710 on the screen 3700 of the digital device based on the information decoded by the main image decoding device. ) May be displayed in the first area, and the auxiliary image renderer may display the auxiliary image 3720 in the second area of the screen 3700 of the digital device based on the decoded information in the auxiliary image decoding apparatus. .
  • the decoding apparatus 200 of the digital device may decode image information of the main image 3710 and image information of the auxiliary image 3720. Based on the information decoded by the decoding apparatus 200, the renderer may process the main image 3710 and the auxiliary image 3720 together to be simultaneously displayed on the screen 3700 of the digital device.
  • the image service processing method receiving image information, decoding a (main) image based on the image information, rendering or displaying the decoded image in a first area on the display, and second in the display And rendering or displaying an auxiliary image in the area.
  • the step of decoding the first image may follow the decoding procedure in the decoding apparatus 200 according to FIG. 3 described above.
  • decoding the first image may include deriving prediction samples for the current block based on inter or intra prediction, and residual samples for the current block based on the received residual information. And generating reconstruction samples based on predictive samples and / or residual samples.
  • decoding the first image may include performing an in-loop filtering procedure on the reconstructed picture including the reconstructed samples.
  • the auxiliary image may be an electronic program guide (EPG), an on-screen display (OSD), or a graphical user interface (GUI).
  • EPG electronic program guide
  • OSD on-screen display
  • GUI graphical user interface
  • the video information may be received through a broadcast network, and information on the auxiliary video may be received through the broadcast network.
  • the image information may be received through a communication network, and information regarding the auxiliary image may be received through the communication network.
  • the video information may be received through a broadcast network, and information regarding the auxiliary video may be received through a communication network.
  • the image information may be received through a broadcasting network or a communication network, and information regarding the auxiliary image may be stored in a storage medium in the digital device.
  • an embodiment of the present specification may be implemented in the form of a module, procedure, function, etc. that performs the functions or operations described above.
  • the software code can be stored in memory and driven by a processor.
  • the memory is located inside or outside the processor, and can exchange data with the processor by various means already known.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Embodiments of the present invention provide a method and an apparatus for processing a video signal by using intra-prediction. The method for processing a video signal according to an embodiment of the present invention comprises the steps of: checking whether a most probable mode (MPM) is applied to a current block, based on an MPM flag; when the MPM is applied, checking a reference line index and an MPM index for prediction of the current block; and generating a prediction sample of the current block from a reference sample of a reference line indicated by the reference line index, based on a prediction mode indicated by the MPM index.

Description

인트라 예측을 사용하여 비디오 신호를 처리하기 위한 방법 및 장치Method and apparatus for processing video signal using intra prediction
본 명세서는 인트라 예측을 사용하여 비디오 신호를 처리하기 위한 방법 및 장치에 관한 것으로서, 특히 예측과 관련된 정보를 효율적으로 처리하기 위한 방법 및 장치에 관한 것이다.The present specification relates to a method and apparatus for processing a video signal using intra prediction, and more particularly, to a method and apparatus for efficiently processing information related to prediction.
압축 인코딩이란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하기 위한 일련의 신호 처리 기술을 의미한다. 영상, 이미지, 음성 등의 미디어가 압축 인코딩의 대상이 될 수 있으며, 특히 영상을 대상으로 압축 인코딩을 수행하는 기술을 비디오 영상 압축이라고 일컫는다.Compression encoding refers to a series of signal processing techniques for transmitting digitized information over a communication line or storing it in a form suitable for a storage medium. Media such as video, image, and audio may be the subject of compression encoding. In particular, a technique for performing compression encoding on an image is referred to as video image compression.
차세대 비디오 컨텐츠는 고해상도(high spatial resolution), 고프레임율(high frame rate) 및 영상 표현의 고차원화(high dimensionality of scene representation)라는 특징을 갖게 될 것이다. 그러한 컨텐츠를 처리하기 위해서는 메모리 저장(memory storage), 메모리 액세스율(memory access rate) 및 처리 전력(processing power) 측면에서 엄청난 증가를 가져올 것이다.Next-generation video content will have the characteristics of high spatial resolution, high frame rate and high dimensionality of scene representation. In order to process such content, a huge increase in terms of memory storage, memory access rate and processing power will be produced.
따라서, 차세대 비디오 컨텐츠를 보다 효율적으로 처리하기 위한 코딩 툴을 디자인할 필요가 있다. 특히, HEVC(high efficiency video coding) 표준 이후의 비디오 코덱 표준은 코딩 효율을 향상시키면서 예측과 관련된 정보를 효율적으로 코딩할 수 있는 인트라(intra) 예측 기법이 요구되고 있다.Therefore, it is necessary to design a coding tool for processing next-generation video content more efficiently. In particular, the video codec standard after the high efficiency video coding (HEVC) standard requires an intra prediction technique capable of efficiently coding information related to prediction while improving coding efficiency.
따라서, 본 명세서의 실시예들은, 예측과 관련된 정보를 효율적으로 처리하기 위한 비디오 신호 처리 방법 및 장치를 제공하고자 한다.Accordingly, embodiments of the present specification are to provide a video signal processing method and apparatus for efficiently processing information related to prediction.
본 명세서의 실시예에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 명세서의 실시예가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved in the embodiments of the present specification are not limited to the technical problems mentioned above, and other technical problems not mentioned are those having ordinary knowledge in the technical field to which the embodiments of the present specification belong from the following description. Will be clearly understood.
본 명세서의 실시예에 따른 인트라 예측을 사용한 비디오 신호 처리 방법은, 현재 블록에 대한 MPM(most probable mode) 플래그를 확인하는 단계와, 상기 MPM 플래그가 1이면, 상기 현재 블록의 예측을 위한 참조 라인 인덱스 및 MPM 인덱스를 확인하는 단계와, 상기 참조 라인 인덱스에 의해 지시되는 참조 라인으로부터 상기 MPM 인덱스에 의해 지시되는 예측 방향을 사용하여 상기 현재 블록에 대한 예측 샘플을 생성하는 단계를 포함한다.A video signal processing method using intra prediction according to an embodiment of the present disclosure includes: checking a most probable mode (MPM) flag for a current block and, if the MPM flag is 1, a reference line for prediction of the current block Identifying an index and an MPM index, and generating a prediction sample for the current block using a prediction direction indicated by the MPM index from a reference line indicated by the reference line index.
일 실시예에서, 비디오 신호 처리 방법은, 상기 MPM이 미적용되면, 리메이닝 인트라 모드 정보를 확인하는 단계와, 상기 리메이닝 인트라 모드 정보에 기반하여 상기 현재 블록의 예측 샘플을 생성하는 단계를 더 포함할 수 있다.In one embodiment, the video signal processing method further includes: if the MPM is not applied, checking re-maining intra mode information, and generating a prediction sample of the current block based on the re-maining intra mode information. can do.
일 실시예에서, 상기 MPM 플래그, 상기 참조 라인 인덱스, 상기 MPM 인덱스, 및 상기 리메이닝 인트라 모드 정보는 코딩 유닛 신택스(coding unit syntax)에 포함되어 인코더로부터 디코더로 전송될 수 있다.In one embodiment, the MPM flag, the reference line index, the MPM index, and the remodeling intra mode information may be included in coding unit syntax and transmitted from an encoder to a decoder.
일 실시예에서, 상기 참조 라인 인덱스 및 상기 MPM 인덱스를 확인하는 단계는, 상기 참조 라인 인덱스를 파싱한 이후 상기 MPM 인덱스를 파싱하거나, 상기 MPM 인덱스를 파싱한 이후 상기 참조 라인 인덱스를 파싱하는 단계를 포함할 수 있다.In an embodiment, checking the reference line index and the MPM index may include parsing the MPM index after parsing the reference line index or parsing the reference line index after parsing the MPM index. It can contain.
일 실시예에서, 상기 참조 라인 인덱스 및 상기 MPM 인덱스는 하나의 신택스 엘레먼트(syntax element)로서 동시에 파싱될 수 있다.In one embodiment, the reference line index and the MPM index may be parsed simultaneously as one syntax element.
일 실시예에서, 상기 참조 라인 인덱스는, 상기 현재 블록의 예측을 위해 사용되는 상기 현재 블록의 좌측 또는 상측으로 일정 샘플 거리 이내의 주변 참조 샘플 라인의 위치를 지시할 수 있다.In one embodiment, the reference line index may indicate the location of a peripheral reference sample line within a predetermined sample distance to the left or upper side of the current block used for prediction of the current block.
일 실시예에서, 상기 참조 라인 인덱스는, 상기 현재 블록의 예측을 위해 사용되는 상기 현재 블록의 좌측 또는 상측으로 일정 샘플 거리 이내의 주변 참조 샘플 라인의 위치를 지시할 수 있다. 또한, 상기 참조 라인 인덱스는, 상기 현재 블록의 1, 2, 또는 4 샘플 거리만큼 이격된 참조 샘플 라인을 지시할 수 있다.In one embodiment, the reference line index may indicate the location of a peripheral reference sample line within a predetermined sample distance to the left or upper side of the current block used for prediction of the current block. Also, the reference line index may indicate a reference sample line spaced by a distance of 1, 2, or 4 samples from the current block.
본 명세서의 다른 실시예에 따른 인트라 예측을 사용한 비디오 신호 처리 장치는, 상기 비디오 신호를 저장하는 메모리와, 상기 메모리와 결합된 프로세서를 포함하고, 상기 프로세서는, 현재 블록에 대한 MPM(most probable mode) 플래그를 확인하고, 상기 MPM 플래그가 1이면, 상기 현재 블록의 예측을 위한 참조 라인 인덱스 및 MPM 인덱스를 확인하고, 상기 참조 라인 인덱스에 의해 지시되는 참조 라인으로부터 상기 MPM 인덱스에 의해 지시되는 예측 방향을 사용하여 상기 현재 블록에 대한 예측 샘플을 생성하도록 설정된다.A video signal processing apparatus using intra prediction according to another embodiment of the present specification includes a memory that stores the video signal, and a processor coupled with the memory, wherein the processor is the most probable mode for the current block ) Flag, and if the MPM flag is 1, a reference line index and an MPM index for prediction of the current block are checked, and a prediction direction indicated by the MPM index from a reference line indicated by the reference line index Is set to generate a prediction sample for the current block.
일 실시예에서, 상기 프로세서는, 상기 MPM이 미적용되면, 리메이닝 인트라 모드 정보를 확인하고, 상기 리메이닝 인트라 모드 정보에 기반하여 상기 현재 블록의 예측 샘플을 생성하도록 설정될 수 있다.In one embodiment, when the MPM is not applied, the processor may be configured to check remodeling intra mode information and generate a prediction sample of the current block based on the remodeling intra mode information.
일 실시예에서, 상기 프로세서는, 상기 참조 라인 인덱스를 파싱한 이후 상기 MPM 인덱스를 파싱하거나, 상기 MPM 인덱스를 파싱한 이후 상기 참조 라인 인덱스를 파싱하도록 설정될 수 있다.In one embodiment, the processor may be configured to parse the MPM index after parsing the reference line index or parse the reference line index after parsing the MPM index.
본 명세서의 실시예에 따르면, MPM(most probable mode)과 MRL(multiple reference line) 사이의 연관성을 사용함으로써 예측과 관련된 정보를 효율적으로 처리할 수 있다.According to an embodiment of the present specification, information related to prediction can be efficiently processed by using an association between the most probable mode (MPM) and a multiple reference line (MRL).
본 명세서의 실시예에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 명세서의 실시예가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtainable in the embodiments of the present specification are not limited to the above-mentioned effects, and other effects not mentioned are clearly apparent to those skilled in the art from the following description. Will be understandable.
본 명세서의 실시예에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는 첨부 도면은 본 명세서에 대한 실시예를 제공하고, 상세한 설명과 함께 본 명세서의 기술적 특징을 설명한다.BRIEF DESCRIPTION OF THE DRAWINGS The accompanying drawings included as part of the detailed description to provide an understanding of the embodiments of the present specification provide embodiments of the present specification, and describe the technical features of the present specification together with the detailed description.
도 1은 본 명세서의 실시예에 따른 비디오 코딩 시스템의 예를 도시한다.1 shows an example of a video coding system according to an embodiment of the present specification.
도 2는 본 명세서의 실시예로서, 비디오/이미지 신호의 인코딩이 수행되는 인코딩 장치의 개략적인 블록도를 나타낸다.2 is an embodiment of the present specification, and shows a schematic block diagram of an encoding device in which encoding of a video / image signal is performed.
도 3은 본 명세서의 실시예로서, 영상 신호의 디코딩이 수행되는 디코딩 장치의 개략적인 블록도를 나타낸다.3 is an embodiment of the present specification, and shows a schematic block diagram of a decoding apparatus in which decoding of a video signal is performed.
도 4는 본 명세서의 실시예로서, 컨텐츠 스트리밍 시스템의 구조도이다.4 is an embodiment of the present specification, and is a structural diagram of a content streaming system.
도 5는 본 명세서의 실시예에 따른 멀티타입 트리 구조의 예를 도시한다.5 shows an example of a multi-type tree structure according to an embodiment of the present specification.
도 6은 본 명세서의 실시예에 따른 멀티타입 트리를 수반하는 쿼드트리(quadtree with nested multi-type tree) 구조의 분할 정보의 시그널링 메커니즘의 예를 도시한다.6 illustrates an example of a signaling mechanism of split information of a quadtree with nested multi-type tree structure accompanying a multitype tree according to an embodiment of the present disclosure.
도 7은 본 명세서의 실시예에 따른 쿼드트리 및 수반되는 멀티타입 트리(quadtree and nested multi-type tree) 구조에 기반하여 CTU를 다수의 CU들로 분할하는 방법의 예를 도시한다. 7 illustrates an example of a method of dividing a CTU into multiple CUs based on a quadtree and nested multi-type tree structure according to an embodiment of the present specification.
도 8은 본 명세서의 실시예에 따른 터너리 트리(ternary tree) 분할이 제한되는 경우의 예를 도시한다.8 shows an example of a case in which ternary tree partitioning according to an embodiment of the present disclosure is limited.
도 9는 본 명세서의 실세예에 따른 바이너리 트리 분할과 터너리 트리 분할에서 발생할 수 있는 중복적인 분할 패턴들의 예를 도시한다.9 shows examples of overlapping splitting patterns that may occur in binary tree splitting and ternary tree splitting according to a practical example of the present specification.
도 10과 도 11은 본 명세서의 실시예에 따른 인트라 예측 기반 비디오 인코딩 방법 및 본 발명의 실시예에 따른 인코딩 장치 내 인트라 예측부의 예를 도시한다.10 and 11 illustrate an example of an intra prediction based video encoding method according to an embodiment of the present specification and an intra prediction unit in an encoding apparatus according to an embodiment of the present invention.
도 12와 도 13은 본 명세서의 실시예에 따른 인트라 예측 기반 비디오/영상 디코딩 방법과 본 발명의 실시예에 따른 디코더 내 인트라 예측부의 예를 도시한다. 12 and 13 illustrate an intra prediction-based video / video decoding method according to an embodiment of the present specification and an example of an intra prediction unit in a decoder according to an embodiment of the present invention.
도 14와 도 15는 본 발명의 실시예들에 적용될 수 있는 인트라 예측 모드의 예측 방향의 예들을 도시한다.14 and 15 show examples of prediction directions of an intra prediction mode that can be applied to embodiments of the present invention.
도 16은 본 명세서의 실시예에 따른 MPM(most probable mode) 후보 리스트를 구성하기 위한 흐름도의 예를 도시한다.16 shows an example of a flowchart for constructing a list of most probable mode (MPM) candidates according to an embodiment of the present specification.
도 17a 및 도 17b는 본 명세서의 실시예에 따른 광각 인트라 예측 모드에 대한 참조 샘플들의 예를 도시한다.17A and 17B show examples of reference samples for a wide-angle intra prediction mode according to an embodiment of the present specification.
도 18은 본 명세서의 실시예에 따른 광각 인트라 예측 모드의 적용시 45도 보다 큰 예측 방향에서 발생하는 불연속성의 예를 도시한다.18 shows an example of discontinuity occurring in a prediction direction greater than 45 degrees when the wide-angle intra prediction mode is applied according to an embodiment of the present specification.
도 19는 본 명세서의 실시예에 따른 선형 보간 예측을 위한 주변 샘플들의 예를 도시하고, 도 20은 선형 보간 예측을 수행하는 방법의 일 예를 도시한다.19 shows examples of neighboring samples for linear interpolation prediction according to an embodiment of the present disclosure, and FIG. 20 shows an example of a method for performing linear interpolation prediction.
도 21a 및 도 21b는 본 명세서의 실시예에 따른 하단 샘플들과 우단 샘플들을 생성하는 방법의 일 예를 도시한다.21A and 21B show an example of a method for generating bottom samples and right samples according to an embodiment of the present specification.
도 22는 본 명세서의 실시예에 따른 하단 샘플들과 우단 샘플들의 생성하기 우한 방법의 예를 도시한다.22 shows an example of a method for generating bottom samples and right samples according to an embodiment of the present specification.
도 23은 본 명세서의 실시예에 따른 PDPC에서 정의되는 참조 샘플들의 예를 도시한다.23 shows an example of reference samples defined in a PDPC according to an embodiment of the present specification.
도 24는 본 명세서의 실시예에 따른 다중 참조 라인 예측을 적용하기 위한 참조 라인들의 예를 도시한다.24 illustrates an example of reference lines for applying multiple reference line prediction according to an embodiment of the present specification.
도 25는 본 명세서의 실시예에 따른 다중 직접 모드의 예를 도시한다.25 shows an example of a multiple direct mode according to an embodiment of the present specification.
도 26은 본 명세서의 실시예에 따른 선형 모델 파라미터를 도출하기 위한 샘플들의 위치의 예를 도시한다.26 shows an example of the location of samples for deriving a linear model parameter according to an embodiment of the present specification.
도 27은 본 명세서의 실시예에 따른 MRL(multi reference line)을 적용한 인트라 예측 과정의 예를 도시한다.27 illustrates an example of an intra prediction process using MRL (multi reference line) according to an embodiment of the present specification.
도 28은 본 명세서의 실시예에 따른 MRL 인트라 예측이 적용된 블록에 대한 디코딩 프로세스의 다른 예를 도시한다.28 illustrates another example of a decoding process for a block to which MRL intra prediction is applied according to an embodiment of the present specification.
도 29는 본 명세서의 실시예에 따른 MRL 인트라 예측이 적용된 블록에 대한 인코딩 프로세스의 예를 도시한다.29 shows an example of an encoding process for a block to which MRL intra prediction is applied according to an embodiment of the present specification.
도 30은 본 명세서의 실시예에 따른 인트라 예측을 수행하기 위한 흐름도의 예를 도시한다.30 shows an example of a flowchart for performing intra prediction according to an embodiment of the present specification.
도 31은 본 명세서의 실시예에 따른 영상 신호를 처리하기 위한 장치의 블록도의 예를 도시한다.31 shows an example of a block diagram of an apparatus for processing an image signal according to an embodiment of the present specification.
도 32는 디지털 기기를 포함한 서비스 시스템(service system)의 일 예를 개략적으로 나타낸 도면이다.32 is a diagram schematically showing an example of a service system including a digital device.
도 33은 디지털 기기의 일 실시예를 설명하기 위해 도시한 구성 블록도이다.33 is a block diagram illustrating a digital device according to an embodiment.
도 34는 디지털 기기의 다른 실시예를 설명하기 위해 도시한 구성 블록도이다.34 is a configuration block diagram illustrating another embodiment of a digital device.
도 35는 디지털 기기의 또 다른 실시 예를 설명하기 위해 도시한 구성 블록도이다.35 is a configuration block diagram illustrating another embodiment of a digital device.
도 36은 도 33 내지 도 35의 제어부의 상세 구성의 일 실시예를 설명하기 위해 도시한 구성 블록도이다.36 is a block diagram illustrating a detailed configuration of the control unit of FIGS. 33 to 35 to illustrate one embodiment.
도 37은 일 실시예에 따른 디지털 기기의 스크린이 메인 영상(main image)과 보조 영상(sub image)을 동시에 디스플레이 하는 일 예시를 도시하는 도면이다.37 is a diagram illustrating an example in which a screen of a digital device displays a main image and a sub image simultaneously according to an embodiment.
이하, 본 명세서에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 명세서의 예시적인 실시형태를 설명하고자 하는 것이며, 본 명세서가 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 이하의 상세한 설명은 본 명세서의 완전한 이해를 제공하기 위해서 구체적 세부사항을 포함한다. 그러나, 당업자는 본 명세서가 이러한 구체적 세부사항 없이도 실시될 수 있음을 안다. Hereinafter, preferred embodiments according to the present specification will be described in detail with reference to the accompanying drawings. DETAILED DESCRIPTION The following detailed description, together with the accompanying drawings, is intended to describe exemplary embodiments of the present specification, and is not intended to represent the only embodiments in which the present specification may be practiced. The following detailed description includes specific details to provide a thorough understanding of the specification. However, one of ordinary skill in the art knows that the present specification may be practiced without these specific details.
몇몇 경우, 본 명세서의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나, 각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시될 수 있다. In some cases, in order to avoid obscuring the concept of the present specification, well-known structures and devices may be omitted, or block diagrams centered on core functions of each structure and device may be illustrated.
아울러, 본 명세서에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어를 사용하여 설명한다. 그러한 경우에는 해당 부분의 상세 설명에서 그 의미를 명확히 기재하므로, 본 명세서의 설명에서 사용된 용어의 명칭만으로 단순 해석되어서는 안 될 것이며 그 해당 용어의 의미까지 파악하여 해석되어야 함을 밝혀두고자 한다.In addition, the terms used in the present specification have been selected as general terms that are currently widely used as much as possible, but in a specific case, description will be made using terms arbitrarily selected by the applicant. In such a case, since the meaning is clearly described in the detailed description of the relevant part, it should not be interpreted simply by the name of the term used in the description of this specification, and it is to be clarified that the meaning of the term should be understood and interpreted. .
이하의 설명에서 사용되는 특정 용어들은 본 명세서의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 명세서의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다. 예를 들어, 신호, 데이터, 샘플, 픽처, 프레임, 블록 등의 경우 각 코딩 과정에서 적절하게 대체되어 해석될 수 있을 것이다.Certain terms used in the following description are provided to help understanding of the present specification, and the use of these specific terms may be changed to other forms without departing from the technical spirit of the present specification. For example, in the case of signals, data, samples, pictures, frames, blocks, etc., each coding process may be appropriately replaced and interpreted.
이하 본 명세서에서 '처리 유닛'은 예측, 변환 및/또는 양자화 등과 같은 인코딩/디코딩의 처리 과정이 수행되는 단위를 의미한다. 또한, 처리 유닛은 휘도(luma) 성분에 대한 단위와 색차(chroma) 성분에 대한 단위를 포함하는 의미로 해석될 수 있다. 예를 들어, 처리 유닛은 블록(block), 코딩 유닛(coding unit, CU), 예측 유닛(prediction unit, PU) 또는 변환 블록(transform unit, TU)에 해당될 수 있다. Hereinafter, the term 'processing unit' in the present specification means a unit in which encoding / decoding processing processes such as prediction, transformation, and / or quantization are performed. Also, the processing unit may be interpreted to include a unit for a luminance component and a unit for a chroma component. For example, the processing unit may correspond to a block, a coding unit (CU), a prediction unit (PU), or a transform unit (TU).
또한, 처리 유닛은 휘도 성분에 대한 단위 또는 색차 성분에 대한 단위로 해석될 수 있다. 예를 들어, 처리 유닛은 휘도 성분에 대한 CTB(coding tree block), CB(coding block), PU 또는 TB(transform block)에 해당될 수 있다. 또는, 처리 유닛은 색차 성분에 대한 CTB, CB, PU 또는 TB에 해당할 수 있다. 또한, 이에 한정되는 것은 아니며 처리 유닛은 휘도 성분에 대한 단위와 색차 성분에 대한 단위를 포함하는 의미로 해석될 수도 있다. Further, the processing unit may be interpreted as a unit for a luminance component or a unit for a color difference component. For example, the processing unit may correspond to a coding tree block (CTB), a coding block (CB), a PU or a transform block (TB) for the luminance component. Alternatively, the processing unit may correspond to CTB, CB, PU or TB for the color difference component. Further, the present invention is not limited thereto, and the processing unit may be interpreted to include a unit for a luminance component and a unit for a color difference component.
또한, 처리 유닛은 반드시 정사각형의 블록으로 한정되는 것은 아니며, 3개 이상의 꼭지점을 가지는 다각형 형태로 구성될 수도 있다. In addition, the processing unit is not necessarily limited to square blocks, and may be configured in a polygonal shape having three or more vertices.
또한, 이하 본 명세서에서 픽셀, 화소, 또는 계수(변환 계수 또는 1차 변환을 거친 변환 계수) 등을 샘플로 통칭한다. 그리고, 샘플을 이용한다는 것은 픽셀 값, 화소 값, 또는 계수(변환 계수 또는 1차 변환을 거친 변환 계수) 등을 이용한다는 것을 의미할 수 있다. In addition, hereinafter, a pixel, a pixel, or a coefficient (transformation coefficient or transformation coefficient that has undergone first-order transformation) is referred to as a sample in the present specification. And, using a sample may mean that a pixel value, a pixel value, or a coefficient (a transform coefficient or a transform coefficient that has undergone first-order transformation) is used.
도 1은 본 명세서의 실시예에 따른 비디오 코딩 시스템의 예를 도시한다.1 shows an example of a video coding system according to an embodiment of the present specification.
비디오 코딩 시스템은 소스 디바이스(10) 및 수신 디바이스(20)를 포함할 수 있다. 소스 디바이스(10)는 인코딩된 비디오/영상 정보 또는 데이터를 파일 또는 스트리밍 형태로 디지털 저장매체 또는 네트워크를 통하여 수신 디바이스(20)로 전달할 수 있다. The video coding system can include a source device 10 and a receiving device 20. The source device 10 may transmit the encoded video / video information or data to the receiving device 20 through a digital storage medium or a network in a file or streaming form.
소스 디바이스(10)는 비디오 소스(11), 인코딩 장치(12), 송신기(13)를 포함할 수 있다. 수신 디바이스(20)는 수신기(21), 디코딩 장치(22) 및 렌더러(23)를 포함할 수 있다. 인코딩 장치(10)는 비디오/영상 인코딩 장치라고 불릴 수 있고, 디코딩 장치(20)는 비디오/영상 디코딩 장치라고 불릴 수 있다. 송신기(13)는 인코딩 장치(12)에 포함될 수 있다. 수신기(21)는 디코딩 장치(22)에 포함될 수 있다. 렌더러(23)는 디스플레이부를 포함할 수도 있고, 디스플레이부는 별개의 디바이스 또는 외부 컴포넌트로 구성될 수도 있다. The source device 10 may include a video source 11, an encoding device 12, and a transmitter 13. The receiving device 20 may include a receiver 21, a decoding device 22 and a renderer 23. The encoding device 10 may be referred to as a video / video encoding device, and the decoding device 20 may be referred to as a video / video decoding device. The transmitter 13 may be included in the encoding device 12. The receiver 21 may be included in the decoding device 22. The renderer 23 may include a display unit, and the display unit may be configured as a separate device or an external component.
비디오 소스는 비디오/영상의 캡쳐, 합성 또는 생성 과정 등을 통하여 비디오/영상을 획득할 수 있다. 비디오 소스는 비디오/영상 캡쳐 디바이스 및/또는 비디오/영상 생성 디바이스를 포함할 수 있다. 비디오/영상 캡쳐 디바이스는 예를 들어, 하나 이상의 카메라, 이전에 캡쳐된 비디오/영상을 포함하는 비디오/영상 아카이브 등을 포함할 수 있다. 비디오/영상 생성 디바이스는 예를 들어 컴퓨터, 타블렛 및 스마트폰 등을 포함할 수 있으며 (전자적으로) 비디오/영상을 생성할 수 있다. 예를 들어, 컴퓨터 등을 통하여 가상의 비디오/영상이 생성될 수 있으며, 이 경우 관련 데이터가 생성되는 과정으로 비디오/영상 캡쳐 과정이 갈음될 수 있다.The video source may acquire a video / image through a capture, synthesis, or generation process of the video / image. The video source may include a video / image capture device and / or a video / image generation device. The video / image capture device may include, for example, one or more cameras, a video / image archive including previously captured video / images, and the like. The video / image generating device may include, for example, a computer, a tablet and a smart phone, and the like (electronically) to generate the video / image. For example, a virtual video / image may be generated through a computer or the like, and in this case, the video / image capture process may be replaced by a process in which related data is generated.
인코딩 장치(12)는 입력 비디오/영상을 인코딩할 수 있다. 인코딩 장치(12)는 압축 및 코딩 효율을 위하여 예측, 변환, 양자화 등 일련의 절차를 수행할 수 있다. 인코딩된 데이터(인코딩된 비디오/영상 정보)는 비트스트림(bitstream) 형태로 출력될 수 있다.The encoding device 12 may encode an input video / image. The encoding apparatus 12 may perform a series of procedures such as prediction, transformation, and quantization for compression and coding efficiency. The encoded data (encoded video / video information) may be output in the form of a bitstream.
전송부(13)는 비트스트림 형태로 출력된 인코딩된 비디오/영상 정보 또는 데이터를 파일 또는 스트리밍 형태로 디지털 저장매체 또는 네트워크를 통하여 수신 디바이스의 수신부로 전달할 수 있다. 디지털 저장 매체는 USB(universal serial bus), SD(secure digital), CD(compact disk), DVD(digital video disk), 블루레이(bluray), HDD(hard disk drive), SSD(solid state drive) 등 다양한 저장 매체를 포함할 수 있다. 전송부(13)는 미리 정해진 파일 포멧을 통하여 미디어 파일을 생성하기 위한 엘레먼트를 포함할 수 있고, 방송/통신 네트워크를 통한 전송을 위한 엘레멘트를 포함할 수 있다. 수신기(21)는 비트스트림을 추출하여 디코딩 장치(22)로 전달할 수 있다.The transmitting unit 13 may transmit the encoded video / video information or data output in the form of a bitstream to a receiving unit of a receiving device through a digital storage medium or a network in a file or streaming format. Digital storage media include universal serial bus (USB), secure digital (SD), compact disk (CD), digital video disk (DVD), bluray, hard disk drive (HDD), and solid state drive (SSD). It may include various storage media. The transmission unit 13 may include an element for generating a media file through a predetermined file format, and may include an element for transmission through a broadcast / communication network. The receiver 21 may extract the bitstream and transmit it to the decoding device 22.
디코딩 장치(22)는 인코딩 장치(12)의 동작에 대응하는 역양자화, 역변환, 예측 등 일련의 절차를 수행하여 비디오/영상을 디코딩할 수 있다. The decoding apparatus 22 may decode a video / image by performing a series of procedures such as inverse quantization, inverse transformation, and prediction corresponding to the operation of the encoding apparatus 12.
렌더러(23)는 디코딩된 비디오/영상을 렌더링할 수 있다. 렌더링된 비디오/영상은 디스플레이부를 통하여 디스플레이될 수 있다.The renderer 23 may render the decoded video / image. The rendered video / image may be displayed through the display unit.
도 2는 본 명세서의 실시예로서, 비디오/이미지 신호의 인코딩이 수행되는 인코딩 장치의 개략적인 블록도를 나타낸다. 도 2의 인코딩 장치(100)는 도 1의 인코딩 장치(12)에 대응할 수 있다.2 is an embodiment of the present specification, and shows a schematic block diagram of an encoding device in which encoding of a video / image signal is performed. The encoding device 100 of FIG. 2 may correspond to the encoding device 12 of FIG. 1.
도 2를 참조하면, 인코딩 장치(100)는 영상 분할부(110), 감산부(115), 변환부(120), 양자화부(130), 역양자화부(140), 역변환부(150), 가산부(155), 필터링부(160), 복호 픽처 버퍼(decoded picture buffer, DPB)(170), 인터 예측부(180), 인트라 예측부(185) 및 엔트로피 인코딩부(190)를 포함하여 구성될 수 있다. 인터 예측부(180) 및 인트라 예측부(185)를 합쳐서 예측부라고 불릴 수 있다. 즉, 예측부는 인터 예측부(180) 및 인트라 예측부(185)를 포함할 수 있다. 변환부(120), 양자화부(130), 역양자화부(140), 역변환부(150)는 레지듀얼(residual) 처리부에 포함될 수 있다. 레지듀얼 처리부는 감산부(115)를 더 포함할 수도 있다. 상술한 영상 분할부(110), 감산부(115), 변환부(120), 양자화부(130), 역양자화부(140), 역변환부(150), 가산부(155), 필터링부(160), 인터 예측부(180), 인트라 예측부(185) 및 엔트로피 인코딩부(190)는 실시예에 따라 하나의 하드웨어 컴포넌트(예를 들어 인코더 또는 프로세서)에 의하여 구성될 수 있다. 또한 복호 픽처 버퍼(170)는 실시예에 따라 하나의 하드웨어 컴포넌트(예를 들어 메모리 또는 디지털 저장 매체)에 의하여 구성될 수 있다.Referring to FIG. 2, the encoding apparatus 100 includes an image segmentation unit 110, a subtraction unit 115, a conversion unit 120, a quantization unit 130, an inverse quantization unit 140, and an inverse conversion unit 150, Includes an adder 155, a filtering unit 160, a decoded picture buffer (DPB) 170, an inter prediction unit 180, an intra prediction unit 185, and an entropy encoding unit 190 Can be. The inter prediction unit 180 and the intra prediction unit 185 may be collectively called a prediction unit. That is, the prediction unit may include an inter prediction unit 180 and an intra prediction unit 185. The transform unit 120, the quantization unit 130, the inverse quantization unit 140, and the inverse transform unit 150 may be included in a residual processing unit. The residual processing unit may further include a subtraction unit 115. The above-described image segmentation unit 110, subtraction unit 115, conversion unit 120, quantization unit 130, inverse quantization unit 140, inverse conversion unit 150, addition unit 155, filtering unit 160 ), The inter prediction unit 180, the intra prediction unit 185 and the entropy encoding unit 190 may be configured by one hardware component (for example, an encoder or processor) according to an embodiment. Also, the decoded picture buffer 170 may be configured by one hardware component (eg, a memory or digital storage medium) according to an embodiment.
영상 분할부(110)는 인코딩 장치(100)에 입력된 입력 영상(또는, 픽쳐, 프레임)를 하나 이상의 처리 유닛(processing unit)으로 분할할 수 있다. 일 예로, 처리 유닛은 코딩 유닛(CU)이라고 불릴 수 있다. 이 경우 코딩 유닛은 코딩 트리 유닛(coding tree unit, CTU) 또는 최대 코딩 유닛(largest coding unit, LCU)으로부터 QTBT(Quad-tree binary-tree) 구조에 따라 재귀적으로(recursively) 분할될 수 있다. 예를 들어, 하나의 코딩 유닛은 쿼드 트리 구조 및/또는 바이너리 트리 구조를 기반으로 하위(deeper) 뎁스의 복수의 코딩 유닛들로 분할될 수 있다. 이 경우 예를 들어 쿼드 트리 구조가 먼저 적용되고 바이너리 트리 구조가 나중에 적용될 수 있다. 또는 바이너리 트리 구조가 먼저 적용될 수도 있다. 더 이상 분할되지 않는 최종 코딩 유닛을 기반으로 본 명세서에 따른 코딩 절차가 수행될 수 있다. 이 경우 영상 특성에 따른 코딩 효율 등을 기반으로, 최대 코딩 유닛이 바로 최종 코딩 유닛으로 사용될 수 있고, 또는 필요에 따라 코딩 유닛은 재귀적으로(recursively) 보다 하위 뎁스의 코딩 유닛들로 분할되어 최적의 사이즈의 코딩 유닛이 최종 코딩 유닛으로 사용될 수 있다. 여기서 코딩 절차라 함은 후술하는 예측, 변환, 및 복원 등의 절차를 포함할 수 있다. 다른 예로, 처리 유닛은 예측 유닛(PU) 또는 변환 유닛(TU)을 더 포함할 수 있다. 이 경우 예측 유닛 및 변환 유닛은 각각 상술한 최종 코딩 유닛으로부터 분할 또는 파티셔닝될 수 있다. 상기 예측 유닛은 샘플 예측의 단위일 수 있고, 상기 변환 유닛은 변환 계수를 유도하는 단위 및/또는 변환 계수로부터 레지듀얼 신호(residual signal)를 유도하는 단위일 수 있다. The image splitter 110 may divide the input image (or picture, frame) input to the encoding apparatus 100 into one or more processing units. As an example, the processing unit may be referred to as a coding unit (CU). In this case, the coding unit may be recursively divided according to a quad-tree binary-tree (QTBT) structure from a coding tree unit (CTU) or a largest coding unit (LCU). For example, one coding unit may be divided into a plurality of coding units of a deeper depth based on a quad tree structure and / or a binary tree structure. In this case, for example, a quad tree structure may be applied first, and a binary tree structure may be applied later. Alternatively, a binary tree structure may be applied first. The coding procedure according to the present specification may be performed based on the final coding unit that is no longer split. In this case, the maximum coding unit may be directly used as a final coding unit based on coding efficiency according to image characteristics, or the coding unit may be recursively divided into coding units having a lower depth than optimal if necessary. The coding unit of the size of can be used as the final coding unit. Here, the coding procedure may include procedures such as prediction, transformation, and reconstruction, which will be described later. As another example, the processing unit may further include a prediction unit (PU) or a transformation unit (TU). In this case, the prediction unit and transform unit may be partitioned or partitioned from the above-described final coding unit, respectively. The prediction unit may be a unit of sample prediction, and the transformation unit may be a unit for deriving a transform coefficient and / or a unit for deriving a residual signal from the transform coefficient.
유닛은 경우에 따라서 블록(block) 또는 영역(area) 등의 용어와 혼용하여 사용될 수 있다. 일반적인 경우, MxN 블록은 M개의 열과 N개의 행으로 이루어진 샘플들 또는 변환 계수(transform coefficient)들의 집합을 나타낼 수 있다. 샘플은 일반적으로 픽셀 또는 픽셀의 값을 나타낼 수 있으며, 휘도(luma) 성분의 픽셀/픽셀값만을 나타낼 수도 있고, 채도(chroma) 성분의 픽셀/픽셀 값만을 나타낼 수도 있다. 샘플은 하나의 픽처(또는 영상)을 픽셀(pixel) 또는 펠(pel)에 대응하는 용어로서 사용될 수 있다.The unit may be used interchangeably with terms such as a block or area depending on the case. In a general case, the MxN block may represent samples of M columns and N rows or a set of transform coefficients. The sample may generally represent a pixel or a pixel value, and may indicate only a pixel / pixel value of a luma component or only a pixel / pixel value of a saturation component. The sample may be used as a term for one picture (or image) corresponding to a pixel or pel.
인코딩 장치(100)는 입력 영상 신호(원본 블록, 원본 샘플 어레이)에서 인터 예측부(180) 또는 인트라 예측부(185)로부터 출력된 예측 신호(예측된 블록, 예측 샘플 어레이)를 감산하여 레지듀얼 신호(잔여 블록, 잔여 샘플 어레이)를 생성할 수 있고, 생성된 레지듀얼 신호는 변환부(120)로 전송된다. 이 경우 도시된 바와 같이 인코딩 장치(100) 내에서 입력 영상 신호(원본 블록, 원본 샘플 어레이)에서 예측 신호(예측 블록, 예측 샘플 어레이)를 감산하는 유닛은 감산부(115)라고 불릴 수 있다. 예측부는 처리 대상 블록(이하, 현재 블록이라 함)에 대한 예측을 수행하고, 현재 블록에 대한 예측 샘플들을 포함하는 예측된 블록(predicted block)을 생성할 수 있다. 예측부는 현재 블록 또는 CU 단위로 인트라 예측이 적용되는지 또는 인터 예측이 적용되는지 결정할 수 있다. 예측부는 각 예측모드에 대한 설명에서 후술하는 바와 같이 예측 모드 정보 등 예측에 관한 다양한 정보를 생성하여 엔트로피 인코딩부(190)로 전달할 수 있다. 예측에 관한 정보는 엔트로피 인코딩부(190)에서 인코딩되어 비트스트림 형태로 출력될 수 있다. The encoding apparatus 100 subtracts a prediction signal (a predicted block, a prediction sample array) output from the inter prediction unit 180 or the intra prediction unit 185 from the input image signal (original block, original sample array) A signal (residual block, residual sample array) may be generated, and the generated residual signal is transmitted to the converter 120. In this case, as illustrated, a unit that subtracts a prediction signal (a prediction block, a prediction sample array) from an input image signal (original block, original sample array) in the encoding apparatus 100 may be referred to as a subtraction unit 115. The prediction unit may perform prediction on a block to be processed (hereinafter referred to as a current block), and generate a predicted block including prediction samples for the current block. The prediction unit may determine whether intra prediction or inter prediction is applied in units of a current block or CU. As described later in the description of each prediction mode, the prediction unit may generate various information regarding prediction, such as prediction mode information, and transmit it to the entropy encoding unit 190. The prediction information may be encoded by the entropy encoding unit 190 and output in the form of a bitstream.
인트라 예측부(185)는 현재 픽처 내의 샘플들을 참조하여 현재 블록을 예측할 수 있다. 참조되는 샘플들은 예측 모드에 따라 상기 현재 블록의 주변(neighbor)에 위치할 수 있고, 또는 떨어져서 위치할 수도 있다. 인트라 예측에서 예측 모드들은 복수의 비방향성 모드와 복수의 방향성 모드를 포함할 수 있다. 비방향성 모드는 예를 들어 DC 모드 및 플래너 모드(planar 모드)를 포함할 수 있다. 방향성 모드는 예측 방향의 세밀한 정도에 따라 예를 들어 33개의 방향성 예측 모드 또는 65개의 방향성 예측 모드를 포함할 수 있다. 다만, 이는 예시로서 설정에 따라 그 이상 또는 그 이하의 개수의 방향성 예측 모드들이 사용될 수 있다. 인트라 예측부(185)는 주변 블록에 적용된 예측 모드를 이용하여, 현재 블록에 적용되는 예측 모드를 결정할 수도 있다.The intra prediction unit 185 may predict the current block by referring to samples in the current picture. The referenced samples may be located in the neighborhood of the current block or may be located apart depending on a prediction mode. In intra prediction, prediction modes may include a plurality of non-directional modes and a plurality of directional modes. The non-directional mode may include, for example, a DC mode and a planar mode (planar mode). The directional mode may include, for example, 33 directional prediction modes or 65 directional prediction modes depending on the degree of detail of the prediction direction. However, this is an example, and more or less directional prediction modes may be used depending on the setting. The intra prediction unit 185 may determine a prediction mode applied to the current block using a prediction mode applied to neighboring blocks.
인터 예측부(180)는 참조 픽처 상에서 움직임 벡터에 의해 특정되는 참조 블록(참조 샘플 어레이)을 기반으로, 현재 블록에 대한 예측된 블록을 유도할 수 있다. 이때, 인터 예측 모드에서 전송되는 움직임 정보의 양을 줄이기 위해 주변 블록과 현재 블록 간의 움직임 정보의 상관성에 기초하여 움직임 정보를 블록, 서브블록 또는 샘플 단위로 예측할 수 있다. 움직임 정보는 움직임 벡터 및 참조 픽처 인덱스를 포함할 수 있다. 움직임 정보는 인터 예측 방향(L0 예측, L1 예측, Bi 예측 등) 정보를 더 포함할 수 있다. 인터 예측의 경우에, 주변 블록은 현재 픽처 내에 존재하는 공간적 주변 블록(spatial neighboring block)과 참조 픽처에 존재하는 시간적 주변 블록(temporal neighboring block)을 포함할 수 있다. 참조 블록을 포함하는 참조 픽처와 시간적 주변 블록을 포함하는 참조 픽처는 동일할 수도 있고, 다를 수도 있다. 상기 시간적 주변 블록은 동일 위치 참조 블록(collocated reference block), 동일 위치 CU(colCU) 등의 이름으로 불릴 수 있으며, 시간적 주변 블록을 포함하는 참조 픽처는 동일 위치 픽처(collocated picture, colPic)라고 불릴 수도 있다. 예를 들어, 인터 예측부(180)는 주변 블록들을 기반으로 움직임 정보 후보 리스트를 구성하고, 현재 블록의 움직임 벡터 및/또는 참조 픽처 인덱스를 도출하기 위하여 어떤 후보가 사용되는지를 지시하는 정보를 생성할 수 있다. 다양한 예측 모드를 기반으로 인터 예측이 수행될 수 있으며, 예를 들어 스킵 모드와 머지 모드의 경우에, 인터 예측부(180)는 주변 블록의 움직임 정보를 현재 블록의 움직임 정보로 이용할 수 있다. 스킵 모드의 경우, 머지 모드와 달리 레지듀얼 신호가 전송되지 않을 수 있다. 움직임 정보 예측(motion vector prediction, MVP) 모드의 경우, 주변 블록의 움직임 벡터를 움직임 벡터 예측자(motion vector predictor)로 이용하고, 움직임 벡터 차분(motion vector difference)을 시그널링함으로써 현재 블록의 움직임 벡터를 지시할 수 있다.The inter prediction unit 180 may derive a predicted block for the current block based on a reference block (reference sample array) specified by a motion vector on the reference picture. At this time, to reduce the amount of motion information transmitted in the inter prediction mode, motion information may be predicted in units of blocks, subblocks, or samples based on the correlation of motion information between a neighboring block and a current block. The motion information may include a motion vector and a reference picture index. The motion information may further include inter prediction direction (L0 prediction, L1 prediction, Bi prediction, etc.) information. In the case of inter prediction, the neighboring block may include a spatial neighboring block existing in the current picture and a temporal neighboring block present in the reference picture. The reference picture including the reference block and the reference picture including the temporal neighboring block may be the same or different. The temporal neighboring block may be referred to by a name such as a collocated reference block or a colCU, and a reference picture including a temporal neighboring block may also be called a collocated picture (colPic). have. For example, the inter prediction unit 180 constructs a motion information candidate list based on neighboring blocks, and generates information indicating which candidates are used to derive a motion vector and / or reference picture index of the current block. can do. Inter prediction may be performed based on various prediction modes. For example, in the case of the skip mode and the merge mode, the inter prediction unit 180 may use motion information of neighboring blocks as motion information of the current block. In the skip mode, unlike the merge mode, the residual signal may not be transmitted. In the case of a motion vector prediction (MVP) mode, a motion vector of a current block is obtained by using a motion vector of a neighboring block as a motion vector predictor and signaling a motion vector difference. I can order.
인터 예측부(180) 또는 인트라 예측부(185)를 통해 생성된 예측 신호는 복원 신호를 생성하기 위해 이용되거나 레지듀얼 신호를 생성하기 위해 이용될 수 있다. The prediction signal generated by the inter prediction unit 180 or the intra prediction unit 185 may be used to generate a reconstructed signal or may be used to generate a residual signal.
변환부(120)는 레지듀얼 신호에 변환 기법을 적용하여 변환 계수들(transform coefficients)를 생성할 수 있다. 예를 들어, 변환 기법은 DCT(discrete cosine transform), DST(discrete sine transform), KLT(Karhunen-Loeve transform), GBT(graph-based transform), 또는 CNT(conditionally non-linear transform) 중 적어도 하나를 포함할 수 있다. 여기서, GBT는 픽셀 간의 관계 정보를 그래프로 표현한다고 할 때 이 그래프로부터 얻어진 변환을 의미한다. CNT는 이전에 복원된 모든 픽셀(all previously reconstructed pixel)를 이용하여 예측 신호를 생성하고 그에 기초하여 획득되는 변환을 의미한다. 또한, 변환 과정은 정사각형의 동일한 크기를 갖는 픽셀 블록에 적용될 수도 있고, 정사각형이 아닌 가변 크기의 블록에도 적용될 수 있다.The transform unit 120 may generate transform coefficients by applying a transform technique to the residual signal. For example, the transformation technique may include at least one of a discrete cosine transform (DCT), a discrete sine transform (DST), a Karhunen-Loeve transform (KLT), a graph-based transform (GBT), or a conditionally non-linear transform (CNT). It can contain. Here, GBT refers to a transformation obtained from this graph when it is said that the relationship information between pixels is graphically represented. CNT means a transform obtained by generating a predictive signal using all previously reconstructed pixels and based on it. Further, the transform process may be applied to pixel blocks having the same size of a square, or may be applied to blocks of variable sizes other than squares.
양자화부(130)는 변환 계수들을 양자화하여 엔트로피 인코딩부(190)로 전송되고, 엔트로피 인코딩부(190)는 양자화된 신호(양자화된 변환 계수들에 관한 정보)를 인코딩하여 비트스트림으로 출력할 수 있다. 양자화된 변환 계수들에 관한 정보는 레지듀얼 정보라고 불릴 수 있다. 양자화부(130)는 계수 스캔 순서(scan order)를 기반으로 블록 형태의 양자화된 변환 계수들을 1차원 벡터 형태로 재정렬할 수 있고, 1차원 벡터 형태의 양자화된 변환 계수들을 기반으로 상기 양자화된 변환 계수들에 관한 정보를 생성할 수도 있다. 엔트로피 인코딩부(190)는 예를 들어 지수 골롬(exponential Golomb), CAVLC(context-adaptive variable length coding), CABAC(context-adaptive binary arithmetic coding)과 같은 다양한 인코딩 방법을 수행할 수 있다. 엔트로피 인코딩부(190)는 양자화된 변환 계수들 외 비디오/이미지 복원에 필요한 정보들(예컨대 신택스 요소들(syntax elements)의 값 등)을 함께 또는 별도로 인코딩할 수도 있다. 인코딩된 정보(예: 비디오/영상 정보)는 비트스트림 형태로 NAL(network abstraction layer) 유닛 단위로 전송 또는 저장될 수 있다. 비트스트림은 네트워크를 통하여 전송될 수 있고, 또는 디지털 저장매체에 저장될 수 있다. 여기서 네트워크는 방송망 및/또는 통신망 등을 포함할 수 있고, 디지털 저장매체는 USB, SD, CD, DVD, 블루레이, HDD, SSD 등 다양한 저장매체를 포함할 수 있다. 엔트로피 인코딩부(190)로부터 출력된 신호는 전송하는 전송부(미도시) 및/또는 저장하는 저장부(미도시)가 인코딩 장치(100)의 내/외부 엘리먼트로서 구성될 수 있고, 또는 전송부는 엔트로피 인코딩부(190)의 구성요소일 수도 있다.The quantization unit 130 quantizes the transform coefficients and transmits them to the entropy encoding unit 190, and the entropy encoding unit 190 encodes a quantized signal (information about quantized transform coefficients) and outputs it as a bitstream. have. Information about the quantized transform coefficients may be referred to as residual information. The quantization unit 130 may rearrange block-type quantized transform coefficients into a one-dimensional vector form based on a coefficient scan order, and the quantized transform based on the one-dimensional vector form quantized transform coefficients Information about coefficients may be generated. The entropy encoding unit 190 may perform various encoding methods such as exponential Golomb (CAVLC), context-adaptive variable length coding (CAVLC), and context-adaptive binary arithmetic coding (CABAC). The entropy encoding unit 190 may encode information necessary for video / image reconstruction (eg, values of syntax elements, etc.) together with the quantized transform coefficients together or separately. The encoded information (eg, video / video information) may be transmitted or stored in the unit of a network abstraction layer (NAL) unit in the form of a bitstream. The bitstream can be transmitted over a network or stored on a digital storage medium. Here, the network may include a broadcasting network and / or a communication network, and the digital storage medium may include various storage media such as USB, SD, CD, DVD, Blu-ray, HDD, SSD. The signal output from the entropy encoding unit 190 may be configured as an internal / external element of the encoding apparatus 100 by a transmitting unit (not shown) and / or a storing unit (not shown) for storing, or the transmitting unit It may be a component of the entropy encoding unit 190.
양자화부(130)로부터 출력된 양자화된 변환 계수들은 예측 신호를 생성하기 위해 이용될 수 있다. 예를 들어, 양자화된 변환 계수들은에 루프 내의 역양자화부(140) 및 역변환부(150)를 통해 역양자화 및 역변환을 적용함으로써 레지듀얼 신호를 복원할 수 있다. 가산부(155)는 복원된 레지듀얼 신호를 인터 예측부(180) 또는 인트라 예측부(185)로부터 출력된 예측 신호에 더함으로써 복원(reconstructed) 신호(복원 픽처, 복원 블록, 복원 샘플 어레이)가 생성될 수 있다. 스킵 모드가 적용된 경우와 같이 처리 대상 블록에 대한 레지듀얼이 없는 경우, 예측된 블록이 복원 블록으로 사용될 수 있다. 가산부(155)는 복원부 또는 복원 블록 생성부라고 불릴 수 있다. 생성된 복원 신호는 현재 픽처 내 다음 처리 대상 블록의 인트라 예측을 위하여 사용될 수 있고, 후술하는 바와 같이 필터링을 거쳐서 다음 픽처의 인터 예측을 위하여 사용될 수도 있다. The quantized transform coefficients output from the quantization unit 130 may be used to generate a prediction signal. For example, the residual signal may be reconstructed by applying inverse quantization and inverse transform to the quantized transform coefficients through the inverse quantization unit 140 and the inverse transform unit 150 in the loop. The adder 155 adds the reconstructed residual signal to the predicted signal output from the inter predictor 180 or the intra predictor 185, so that the reconstructed signal (restored picture, reconstructed block, reconstructed sample array) Can be created. If there is no residual for the block to be processed, such as when the skip mode is applied, the predicted block may be used as a reconstructed block. The adding unit 155 may be called a restoration unit or a restoration block generation unit. The generated reconstructed signal may be used for intra prediction of the next processing target block in the current picture, or may be used for inter prediction of the next picture through filtering as described below.
필터링부(160)는 복원 신호에 필터링을 적용하여 주관적/객관적 화질을 향상시킬 수 있다. 예를 들어 필터링부(160)는 복원 픽처에 다양한 필터링 방법을 적용하여 수정된(modified) 복원 픽처를 생성할 수 있고, 수정된 복원 픽처를 복호 픽처 버퍼(170)에 전송할 수 있다. 다양한 필터링 방법은 예를 들어, 디블록킹 필터링, 샘플 적응적 오프셋(sample adaptive offset), 적응적 루프 필터(adaptive loop filter), 양방향 필터(bilateral filter) 등을 포함할 수 있다. 필터링부(160)는 각 필터링 방법에 대한 설명에서 후술하는 바와 같이 필터링에 관한 다양한 정보를 생성하여 엔트로피 인코딩부(190)로 전달할 수 있다. 필터링 관한 정보는 엔트로피 인코딩부(190)에서 인코딩되어 비트스트림 형태로 출력될 수 있다. The filtering unit 160 may apply subjective filtering to the reconstructed signal to improve subjective / objective image quality. For example, the filtering unit 160 may generate a modified reconstructed picture by applying various filtering methods to the reconstructed picture, and may transmit the modified reconstructed picture to the decoded picture buffer 170. Various filtering methods may include, for example, deblocking filtering, sample adaptive offset, adaptive loop filter, bilateral filter, and the like. The filtering unit 160 may generate various information regarding filtering as described later in the description of each filtering method and transmit it to the entropy encoding unit 190. The filtering information may be encoded by the entropy encoding unit 190 and output in the form of a bitstream.
복호 픽처 버퍼(170)에 전송된 수정된 복원 픽처는 인터 예측부(180)에서 참조 픽처로 사용될 수 있다. 인코딩 장치(100)는 이를 통하여 인터 예측이 적용되는 경우, 인코딩 장치(100)와 디코딩 장치(200)에서의 예측 미스매치를 피할 수 있고, 부호화 효율도 향상시킬 수 있다. The modified reconstructed picture transmitted to the decoded picture buffer 170 may be used as a reference picture in the inter prediction unit 180. When the inter prediction is applied through the encoding apparatus 100, prediction mismatches in the encoding apparatus 100 and the decoding apparatus 200 may be avoided, and encoding efficiency may be improved.
복호 픽처 버퍼(170)는 수정된 복원 픽처를 인터 예측부(180)에서의 참조 픽처로 사용하기 위해 저장할 수 있다.The decoded picture buffer 170 may store the corrected reconstructed picture for use as a reference picture in the inter prediction unit 180.
도 3은 본 명세서의 실시예로서, 영상 신호의 디코딩이 수행되는 디코딩 장치의 개략적인 블록도를 나타낸다. 도 3의 디코딩 장치(200)는 도 1의 디코딩 장치(22)에 대응할 수 있다.3 is an embodiment of the present specification, and shows a schematic block diagram of a decoding apparatus in which decoding of a video signal is performed. The decoding device 200 of FIG. 3 may correspond to the decoding device 22 of FIG. 1.
도 3을 참조하면, 디코딩 장치(200)는 엔트로피 디코딩부(210), 역양자화부(220), 역변환부(230), 가산부(235), 필터링부(240), 복호 픽처 버퍼(DPB)(250), 인터 예측부(260) 및 인트라 예측부(265)를 포함하여 구성될 수 있다. 인터 예측부(260) 및 인트라 예측부(265)를 합쳐서 예측부라고 불릴 수 있다. 즉, 예측부는 인터 예측부(180) 및 인트라 예측부(185)를 포함할 수 있다. 역양자화부(220), 역변환부(230)를 합쳐서 레지듀얼 처리부라고 불릴 수 있다. 즉, 레지듀얼 처리부는 역양자화부(220), 역변환부(230)을 포함할 수 있다. 상술한 엔트로피 디코딩부(210), 역양자화부(220), 역변환부(230), 가산부(235), 필터링부(240), 인터 예측부(260) 및 인트라 예측부(265)는 실시예에 따라 하나의 하드웨어 컴포넌트(예를 들어 디코더 또는 프로세서)에 의하여 구성될 수 있다. 또한 복호 픽처 버퍼(250)은 실시예에 따라 하나의 하드웨어 컴포넌트(예를 들어 메모리 또는 디지털 저장 매체)에 의하여 구현될 수 있다.Referring to FIG. 3, the decoding apparatus 200 includes an entropy decoding unit 210, an inverse quantization unit 220, an inverse transform unit 230, an adding unit 235, a filtering unit 240, and a decoded picture buffer (DPB). 250, an inter prediction unit 260, and an intra prediction unit 265. The inter prediction unit 260 and the intra prediction unit 265 may be collectively called a prediction unit. That is, the prediction unit may include an inter prediction unit 180 and an intra prediction unit 185. The inverse quantization unit 220 and the inverse conversion unit 230 may be collectively referred to as a residual processing unit. That is, the residual processing unit may include an inverse quantization unit 220 and an inverse conversion unit 230. The entropy decoding unit 210, the inverse quantization unit 220, the inverse transform unit 230, the addition unit 235, the filtering unit 240, the inter prediction unit 260, and the intra prediction unit 265 described above are exemplary embodiments. It may be configured by one hardware component (for example, a decoder or processor). Also, the decoded picture buffer 250 may be implemented by one hardware component (eg, a memory or digital storage medium) according to an embodiment.
비디오/이미지 정보를 포함하는 비트스트림이 입력되면, 디코딩 장치(200)는 도 2의 인코딩 장치(100)에서 비디오/이미지 정보가 처리된 프로세스에 대응하여 영상을 복원할 수 있다. 예를 들어, 디코딩 장치(200)는 인코딩 장치(100)에서 적용된 처리 유닛을 이용하여 디코딩을 수행할 수 있다. 따라서 디코딩시 처리 유닛은, 예를 들어, 코딩 유닛일 수 있고, 코딩 유닛은 코딩 트리 유닛 또는 최대 코딩 유닛으로부터 쿼드 트리 구조 및/또는 바이너리 트리 구조에 따라 분할될 수 있다. 그리고, 디코딩 장치(200)를 통해 디코딩 및 출력된 복원 영상 신호는 재생 장치를 통해 재생될 수 있다.When a bitstream including video / image information is input, the decoding apparatus 200 may restore an image in response to a process in which the video / image information is processed by the encoding apparatus 100 of FIG. 2. For example, the decoding apparatus 200 may perform decoding using a processing unit applied by the encoding apparatus 100. Thus, in decoding, the processing unit may be, for example, a coding unit, and the coding unit may be divided according to a quad tree structure and / or a binary tree structure from a coding tree unit or a largest coding unit. Then, the decoded video signal decoded and output through the decoding apparatus 200 may be reproduced through the reproduction apparatus.
디코딩 장치(200)는 도 2의 인코딩 장치(100)로부터 출력된 신호를 비트스트림 형태로 수신할 수 있고, 수신된 신호는 엔트로피 디코딩부(210)를 통해 디코딩될 수 있다. 예를 들어, 엔트로피 디코딩부(210)는 비트스트림을 파싱하여 영상 복원(또는 픽처 복원)에 필요한 정보(예: 비디오/영상 정보)를 도출할 수 있다. 예컨대, 엔트로피 디코딩부(210)는 지수 골롬 부호화, CAVLC 또는 CABAC 등의 코딩 방법을 기초로 비트스트림 내 정보를 디코딩하고, 영상 복원에 필요한 신택스 엘리먼트의 값, 레지듀얼에 관한 변환 계수의 양자화된 값 들을 출력할 수 있다. 보다 상세하게, CABAC 엔트로피 디코딩 방법은, 비트스트림에서 각 구문 요소에 해당하는 빈(bin)을 수신하고, 디코딩 대상 구문 요소 정보와 주변 및 디코딩 대상 블록의 디코딩 정보 혹은 이전 단계에서 디코딩된 심볼/빈의 정보를 이용하여 문맥(context) 모델을 결정하고, 결정된 문맥 모델에 따라 빈의 발생 확률을 예측하여 빈의 산술 디코딩(arithmetic decoding)를 수행하여 각 구문 요소의 값에 해당하는 심볼을 생성할 수 있다. 이때, CABAC 엔트로피 디코딩 방법은 문맥 모델 결정 후 다음 심볼/빈의 문맥 모델을 위해 디코딩된 심볼/빈의 정보를 이용하여 문맥 모델을 업데이트할 수 있다. 엔트로피 디코딩부(210)에서 디코딩된 정보 중 예측에 관한 정보는 예측부(인터 예측부(260) 및 인트라 예측부(265))로 제공되고, 엔트로피 디코딩부(210)에서 엔트로피 디코딩이 수행된 레지듀얼 값, 즉 양자화된 변환 계수들 및 관련 파라미터 정보는 역양자화부(220)로 입력될 수 있다. 또한, 엔트로피 디코딩부(210)에서 디코딩된 정보 중 필터링에 관한 정보는 필터링부(240)로 제공될 수 있다. 한편, 인코딩 장치(100)로부터 출력된 신호를 수신하는 수신부(미도시)가 디코딩 장치(200)의 내/외부 엘리먼트로서 더 구성될 수 있고, 또는 수신부는 엔트로피 디코딩부(210)의 구성요소일 수도 있다. The decoding apparatus 200 may receive the signal output from the encoding apparatus 100 of FIG. 2 in the form of a bitstream, and the received signal may be decoded through the entropy decoding unit 210. For example, the entropy decoding unit 210 may parse the bitstream to derive information (eg, video / image information) necessary for image reconstruction (or picture reconstruction). For example, the entropy decoding unit 210 decodes information in a bitstream based on a coding method such as exponential Golomb coding, CAVLC, or CABAC, and quantizes a value of a syntax element required for image reconstruction and a transform coefficient for residual. Can output In more detail, the CABAC entropy decoding method receives bins corresponding to each syntax element in a bitstream, and decodes syntax information of the decoding target syntax elements and surrounding and decoding target blocks, or symbols / bins decoded in the previous step. The context model is determined using the information of, and the probability of occurrence of the bin is predicted according to the determined context model to perform arithmetic decoding of the bin to generate a symbol corresponding to the value of each syntax element. have. At this time, the CABAC entropy decoding method may update the context model using the decoded symbol / bin information for the next symbol / bin context model after determining the context model. Among the information decoded by the entropy decoding unit 210, information regarding prediction is provided to a prediction unit (inter prediction unit 260 and intra prediction unit 265), and the entropy decoding unit 210 performs entropy decoding. The dual value, that is, quantized transform coefficients and related parameter information may be input to the inverse quantization unit 220. Also, information related to filtering among information decoded by the entropy decoding unit 210 may be provided to the filtering unit 240. Meanwhile, a receiving unit (not shown) receiving a signal output from the encoding apparatus 100 may be further configured as an internal / external element of the decoding apparatus 200, or the receiving unit may be a component of the entropy decoding unit 210. It might be.
역양자화부(220)에서는 양자화된 변환 계수들을 역양자화하여 변환 계수들을 출력할 수 있다. 역양자화부(220)는 양자화된 변환 계수들을 2차원의 블록 형태로 재정렬할 수 있다. 이 경우 인코딩 장치(100)에서 수행된 계수 스캔 순서에 기반하여 재정렬이 수행될 수 있다. 역양자화부(220)는 양자화 파라미터(예를 들어 양자화 스텝 사이즈 정보)를 이용하여 양자화된 변환 계수들에 대한 역양자화를 수행하고, 변환 계수들(transform coefficient)을 획득할 수 있다. The inverse quantization unit 220 may inverse quantize the quantized transform coefficients to output transform coefficients. The inverse quantization unit 220 may rearrange the quantized transform coefficients in a two-dimensional block form. In this case, reordering may be performed based on the coefficient scan order performed by the encoding apparatus 100. The inverse quantization unit 220 may perform inverse quantization on the quantized transform coefficients by using a quantization parameter (for example, quantization step size information), and obtain transform coefficients.
역변환부(230)는 변환 계수들을 역변환하여 레지듀얼 신호(레지듀얼 블록, 레지듀얼 샘플 어레이)를 획득하게 된다. The inverse transform unit 230 inversely transforms the transform coefficients to obtain a residual signal (residual block, residual sample array).
예측부는 현재 블록에 대한 예측을 수행하고, 현재 블록에 대한 예측 샘플들을 포함하는 예측된 블록(predicted block)을 생성할 수 있다. 예측부는 엔트로피 디코딩부(210)로부터 출력된 예측에 관한 정보를 기반으로 현재 블록에 인트라 예측이 적용되는지 또는 인터 예측이 적용되는지 결정할 수 있고, 구체적인 인트라/인터 예측 모드를 결정할 수 있다. The prediction unit may perform prediction on the current block and generate a predicted block including prediction samples for the current block. The prediction unit may determine whether intra prediction or inter prediction is applied to the current block based on information about prediction output from the entropy decoding unit 210, and may determine a specific intra / inter prediction mode.
인트라 예측부(265)는 현재 픽처 내의 샘플들을 참조하여 현재 블록을 예측할 수 있다. 참조되는 샘플들은 예측 모드에 따라 현재 블록의 주변(neighbor)에 위치할 수 있고, 또는 이격되어 위치할 수도 있다. 인트라 예측에서 예측 모드들은 복수의 비방향성 모드와 복수의 방향성 모드를 포함할 수 있다. 인트라 예측부(265)는 주변 블록에 적용된 예측 모드를 이용하여, 현재 블록에 적용되는 예측 모드를 결정할 수도 있다.The intra prediction unit 265 may predict the current block by referring to samples in the current picture. The referenced samples may be located in the neighborhood of the current block or spaced apart according to the prediction mode. In intra prediction, prediction modes may include a plurality of non-directional modes and a plurality of directional modes. The intra prediction unit 265 may determine a prediction mode applied to the current block using a prediction mode applied to neighboring blocks.
인터 예측부(260)는 참조 픽처 상에서 움직임 벡터에 의해 특정되는 참조 블록(참조 샘플 어레이)을 기반으로, 현재 블록에 대한 예측된 블록을 유도할 수 있다. 이때, 인터 예측 모드에서 전송되는 움직임 정보의 양을 줄이기 위해 주변 블록과 현재 블록 간의 움직임 정보의 상관성에 기초하여 움직임 정보를 블록, 서브블록 또는 샘플 단위로 예측할 수 있다. 움직임 정보는 움직임 벡터 및 참조 픽처 인덱스를 포함할 수 있다. 움직임 정보는 인터 예측 방향(L0 예측, L1 예측, Bi 예측 등) 정보를 더 포함할 수 있다. 인터 예측의 경우, 주변 블록은 현재 픽처 내에 존재하는 공간적 주변 블록(spatial neighboring block)과 참조 픽처에 존재하는 시간적 주변 블록(temporal neighboring block)을 포함할 수 있다. 예를 들어, 인터 예측부(260)는 주변 블록들을 기반으로 움직임 정보 후보 리스트를 구성하고, 수신된 후보 선택 정보를 기반으로 현재 블록의 움직임 벡터 및/또는 참조 픽처 인덱스를 도출할 수 있다. 다양한 예측 모드를 기반으로 인터 예측이 수행될 수 있으며, 예측에 관한 정보는 현재 블록에 대한 인터 예측의 모드를 지시하는 정보를 포함할 수 있다. The inter prediction unit 260 may derive the predicted block for the current block based on a reference block (reference sample array) specified by a motion vector on the reference picture. At this time, to reduce the amount of motion information transmitted in the inter prediction mode, motion information may be predicted in units of blocks, subblocks, or samples based on the correlation of motion information between a neighboring block and a current block. The motion information may include a motion vector and a reference picture index. The motion information may further include inter prediction direction (L0 prediction, L1 prediction, Bi prediction, etc.) information. In the case of inter prediction, the neighboring block may include a spatial neighboring block existing in the current picture and a temporal neighboring block present in the reference picture. For example, the inter prediction unit 260 may construct a motion information candidate list based on neighboring blocks, and derive a motion vector and / or reference picture index of the current block based on the received candidate selection information. Inter prediction may be performed based on various prediction modes, and information about prediction may include information indicating a mode of inter prediction for a current block.
가산부(235)는 획득된 레지듀얼 신호를 인터 예측부(260) 또는 인트라 예측부(265)로부터 출력된 예측 신호(예측된 블록, 예측 샘플 어레이)에 더함으로써 복원 신호(복원 픽처, 복원 블록, 복원 샘플 어레이)를 생성할 수 있다. 스킵 모드가 적용된 경우와 같이 처리 대상 블록에 대한 레지듀얼이 없는 경우, 예측된 블록이 복원 블록으로 사용될 수 있다.The adding unit 235 adds the obtained residual signal to the prediction signal (predicted block, prediction sample array) output from the inter prediction unit 260 or the intra prediction unit 265, thereby restoring signals (restored pictures, reconstructed blocks). , A reconstructed sample array). If there is no residual for the block to be processed, such as when the skip mode is applied, the predicted block may be used as a reconstructed block.
가산부(235)는 복원부 또는 복원 블록 생성부라고 불릴 수 있다. 생성된 복원 신호는 현재 픽처 내 다음 처리 대상 블록의 인트라 예측을 위하여 사용될 수 있고, 후술하는 바와 같이 필터링을 거쳐서 다음 픽처의 인터 예측을 위하여 사용될 수도 있다. The adding unit 235 may be called a restoration unit or a restoration block generation unit. The generated reconstructed signal may be used for intra prediction of the next processing target block in the current picture, or may be used for inter prediction of the next picture through filtering as described below.
필터링부(240)는 복원 신호에 필터링을 적용함으로써 주관적/객관적 화질을 향상시킬 수 있다. 예를 들어 필터링부(240)는 복원 픽처에 다양한 필터링 방법을 적용하여 수정된(modified) 복원 픽처를 생성할 수 있고, 수정된 복원 픽처를 복호 픽처 버퍼(250)에 전송할 수 있다. 다양한 필터링 방법은 예를 들어, 디블록킹 필터링, 샘플 적응적 오프셋(sample adaptive offset, SAO), 적응적 루프 필터(adaptive loop filter, ALF), 양방향 필터(bilateral filter) 등을 포함할 수 있다. The filtering unit 240 may improve subjective / objective image quality by applying filtering to the reconstructed signal. For example, the filtering unit 240 may generate a modified reconstructed picture by applying various filtering methods to the reconstructed picture, and may transmit the modified reconstructed picture to the decoded picture buffer 250. Various filtering methods may include, for example, deblocking filtering, sample adaptive offset (SAO), adaptive loop filter (ALF), bilateral filter, and the like.
복호 픽쳐 버퍼(250)에 전송된 수정된 복원 픽처는 인터 예측부(260)에 의해 참조 픽쳐로 사용될 수 있다.The corrected reconstructed picture transmitted to the decoded picture buffer 250 may be used as a reference picture by the inter prediction unit 260.
본 명세서에서, 인코딩 장치(100)의 필터링부(160), 인터 예측부(180) 및 인트라 예측부(185)에서 설명된 실시예들은 각각 디코딩 장치의 필터링부(240), 인터 예측부(260) 및 인트라 예측부(265)에도 동일 또는 대응되도록 적용될 수 있다.In the present specification, the embodiments described in the filtering unit 160, the inter prediction unit 180, and the intra prediction unit 185 of the encoding device 100 are respectively the filtering unit 240 and the inter prediction unit 260 of the decoding device. ) And the intra prediction unit 265 may be applied to the same or corresponding.
도 4는 본 명세서의 실시예로서, 컨텐츠 스트리밍 시스템의 구조도이다.4 is an embodiment of the present specification, and is a structural diagram of a content streaming system.
본 명세서가 적용되는 컨텐츠 스트리밍 시스템은 크게 인코딩 서버(410), 스트리밍 서버(420), 웹 서버(430), 미디어 저장소(440), 사용자 장치(450) 및 멀티미디어 입력 장치(460)를 포함할 수 있다.The content streaming system to which the present specification is applied may largely include an encoding server 410, a streaming server 420, a web server 430, a media storage 440, a user device 450, and a multimedia input device 460. have.
인코딩 서버(410)는 스마트폰, 카메라, 캠코더 등과 같은 멀티미디어 입력 장치들로부터 입력된 컨텐츠를 디지털 데이터로 압축하여 비트스트림을 생성하고 이를 스트리밍 서버(420)로 전송하는 역할을 한다. 다른 예로, 스마트폰, 카메라, 캠코더 등과 같은 멀티미디어 입력 장치(460)들이 비트스트림을 직접 생성하는 경우, 인코딩 서버(410)는 생략될 수 있다.The encoding server 410 serves to compress a content input from multimedia input devices such as a smartphone, camera, camcorder, etc. into digital data to generate a bitstream and transmit it to the streaming server 420. As another example, when the multimedia input devices 460 such as a smartphone, camera, and camcorder directly generate a bitstream, the encoding server 410 may be omitted.
비트스트림은 본 명세서가 적용되는 인코딩 방법 또는 비트스트림 생성 방법에 의해 생성될 수 있고, 스트리밍 서버(420)는 비트스트림을 전송 또는 수신하는 과정에서 일시적으로 비트스트림을 저장할 수 있다.The bitstream may be generated by an encoding method or a bitstream generation method to which the present specification is applied, and the streaming server 420 may temporarily store the bitstream in the process of transmitting or receiving the bitstream.
스트리밍 서버(420)는 웹 서버(430)를 통한 사용자 요청에 기초하여 멀티미디어 데이터를 사용자 장치(450)에 전송하고, 웹 서버(430)는 사용자에게 어떠한 서비스가 있는지를 알려주는 매개체 역할을 한다. 사용자가 웹 서버(430)에 원하는 서비스를 요청하면, 웹 서버(430)는 이를 스트리밍 서버(420)에 전달하고, 스트리밍 서버(420)는 사용자에게 멀티미디어 데이터를 전송한다. 이때, 컨텐츠 스트리밍 시스템은 별도의 제어 서버를 포함할 수 있고, 이 경우 제어 서버는 컨텐츠 스트리밍 시스템 내 각 장치 간 명령/응답을 제어하는 역할을 한다.The streaming server 420 transmits multimedia data to the user device 450 based on a user request through the web server 430, and the web server 430 serves as a medium that informs the user of the service. When a user requests a desired service from the web server 430, the web server 430 delivers it to the streaming server 420, and the streaming server 420 transmits multimedia data to the user. At this time, the content streaming system may include a separate control server, in which case the control server serves to control commands / responses between devices in the content streaming system.
스트리밍 서버(420)는 미디어 저장소(440) 및/또는 인코딩 서버(410)로부터 컨텐츠를 수신할 수 있다. 예를 들어, 인코딩 서버(410)로부터 컨텐츠를 수신하게 되는 경우, 컨텐츠를 실시간으로 수신할 수 있다. 이 경우, 원활한 스트리밍 서비스를 제공하기 위하여 스트리밍 서버(420)는 비트스트림을 일정 시간동안 저장할 수 있다. Streaming server 420 may receive content from media storage 440 and / or encoding server 410. For example, when content is received from the encoding server 410, the content may be received in real time. In this case, in order to provide a smooth streaming service, the streaming server 420 may store the bitstream for a predetermined time.
사용자 장치(450)의 예로는, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)), 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등이 있을 수 있다.Examples of the user device 450 include mobile phones, smart phones, laptop computers, digital broadcasting terminals, personal digital assistants (PDAs), portable multimedia players (PMPs), navigation, and slate PCs. ), Tablet PC, ultrabook, wearable device (e.g., smartwatch, smart glass, head mounted display (HMD), digital TV) , Desktop computers, digital signage, and the like.
컨텐츠 스트리밍 시스템 내 각 서버들은 분산 서버로 운영될 수 있으며, 이 경우 각 서버에서 수신하는 데이터는 분산 처리될 수 있다.Each server in the content streaming system can be operated as a distributed server, and in this case, data received from each server can be distributed.
도 5는 본 명세서의 실시예에 따른 멀티타입 트리 구조의 예를 도시한다.5 shows an example of a multi-type tree structure according to an embodiment of the present specification.
일 실시예에서, 멀티타입 트리 구조는 도 3에 도시된 바와 같이 4개의 분할 타입을 포함할 수 있다. 도 5에 도시된 4개의 분할 타입은 수직 바이너리 분할(vertical binary splitting, SPLIT_BT_VER)(510), 수평 바이너리 분할(horizontal binary splitting, SPLIT_BT_HOR)(520), 수직 터너리 분할(vertical ternary splitting, SPLIT_TT_VER)(530), 및 수평 터너리 분할(horizontal ternary splitting, SPLIT_TT_HOR)(540)을 포함할 수 있다. 멀티타입 트리 구조의 리프 노드는 CU로 지칭될 수 있다. CU들은 예측과 변환 절차를 위한 단위로서 사용될 수 있다. 본 명세서에서 CU, PU, TU는 동일한 블록 사이즈를 가질 수 있고, 또한 다른 사이즈를 가질 수도 있다. 최대 허용 변환 길이(maximum supported transform length)가 CU의 색차 성분(color component)의 너비 또는 높이보다 작은 경우, CU와 TU가 서로 다른 블록 사이즈를 가질 수 있다.In one embodiment, the multitype tree structure may include four split types, as shown in FIG. 3. The four split types shown in FIG. 5 are vertical binary splitting (SPLIT_BT_VER) 510, horizontal binary splitting (SPLIT_BT_HOR) 520, vertical ternary splitting (SPLIT_TT_VER) ( 530), and horizontal ternary splitting (SPLIT_TT_HOR) 540. Leaf nodes of a multitype tree structure may be referred to as a CU. CUs can be used as a unit for prediction and transformation procedures. In this specification, CU, PU, and TU may have the same block size, and may also have different sizes. When the maximum supported transform length is smaller than the width or height of the color component of the CU, the CU and the TU may have different block sizes.
도 6은 본 명세서의 실시예에 따른 멀티타입 트리를 수반하는 쿼드트리(quadtree with nested multi-type tree) 구조의 분할 정보의 시그널링 메커니즘의 예를 도시한다.6 illustrates an example of a signaling mechanism of split information of a quadtree with nested multi-type tree structure accompanying a multitype tree according to an embodiment of the present disclosure.
도 6에서, CTU는 쿼드트리의 루트(root) 노드에 해당하며, 쿼드트리 구조로 처음으로 분할된다. 각 쿼드트리 리프 노드는 이후 멀티타입 트리 구조로 더 분할될 수 있다. 도 6의 멀티타입 트리 구조에서, 특정 노드가 추가적으로 분할되는지 여부를 지시하기 위한 플래그(예를 들어, mtt_split_cu_flag)가 시그널링될 수 있다. 만약 해당 노드가 추가적으로 분할되는 경우, 분할 방향을 지시하기 위한 플래그(예를 들어, mtt_split_cu_vertical_flag)가 시그널링될 수 있다. 이후, 분할 타입이 바이너리 분할인지 또는 터너리 분할인지 여부를 지시하기 위한 플래그(예를 들어, mtt_split_cu_binary_flag)가 시그널링될 수 있다. 예를 들어, mtt_split_cu_vertical_flag와 mtt_split_cu_binary_flag에 기반하여, CU의 멀티타입 트리 분할 모드가 아래의 표 1과 같이 결정될 수 있다.In FIG. 6, the CTU corresponds to a root node of a quadtree, and is first divided into a quadtree structure. Each quadtree leaf node may then be further divided into a multitype tree structure. In the multi-type tree structure of FIG. 6, a flag (eg, mtt_split_cu_flag) for indicating whether a specific node is additionally partitioned may be signaled. If the corresponding node is additionally divided, a flag (eg, mtt_split_cu_vertical_flag) for indicating a split direction may be signaled. Thereafter, a flag (eg, mtt_split_cu_binary_flag) for indicating whether the division type is binary division or ternary division may be signaled. For example, based on mtt_split_cu_vertical_flag and mtt_split_cu_binary_flag, a multi-type tree splitting mode of a CU may be determined as shown in Table 1 below.
Figure PCTKR2019013024-appb-img-000001
Figure PCTKR2019013024-appb-img-000001
도 7은 본 명세서의 실시예에 따른 쿼드트리 및 수반되는 멀티타입 트리(quadtree and nested multi-type tree) 구조에 기반하여 CTU를 다수의 CU들로 분할하는 방법의 예를 도시한다. 7 illustrates an example of a method of dividing a CTU into multiple CUs based on a quadtree and nested multi-type tree structure according to an embodiment of the present specification.
여기서, 보다 두꺼운 블록 엣지들(bold block edges)은 쿼드트리 분할을 나타내고, 나머지 엣지들은 멀티타입 트리 분할을 나타낸다. 멀티타입 트리를 수반한 쿼드트리 분할은 컨텐츠에 적응된(contents-adapted) 코딩 트리 구조를 제공할 수 있다. CU는 코딩 블록(CB)에 대응할 수 있다. 또는, CU는 루마 샘플들의 코딩 블록과, 대응되는 크로마 샘플들의 2개의 코딩 블록들을 포함할 수 있다. CU의 사이즈는 CTU의 사이즈만큼 설정될 수 있다. 또한, CU의 루마 샘플 단위는 4x4 로 설정될 수 있다. 예를 들어, 4:2:0 컬러 포맷(또는 크로마 포맷)인 경우, 최대 크로마 CB 사이즈는 64x64이고, 최소 크로마 CB 사이즈는 2x2일 수 있다. Here, thicker block edges represent quadtree division, and the remaining edges represent multitype tree division. Quadtree splitting involving a multitype tree can provide a content-adapted coding tree structure. The CU may correspond to a coding block (CB). Or, the CU may include a coding block of luma samples and two coding blocks of corresponding chroma samples. The size of the CU can be set as much as the size of the CTU. Also, the luma sample unit of the CU may be set to 4x4. For example, in the case of a 4: 2: 0 color format (or chroma format), the maximum chroma CB size may be 64x64 and the minimum chroma CB size may be 2x2.
예를 들어, 최대 허용 루마 TB 사이즈는 64x64이고, 최대 허용 크로마 TB 사이즈는, 32x32일 수 있다. 만약 트리 구조에 따라 분할된 CB의 너비 또는 높이가 최대 변환 너비 또는 최대 변환 높이보다 큰 경우, 해당 CB는 자동적으로(또는 묵시적으로) 수평 및 수직 방향의 TB 사이즈 제한을 만족할 때까지 분할될 수 있다. For example, the maximum allowed luma TB size may be 64x64, and the maximum allowed chroma TB size may be 32x32. If the width or height of the CB divided according to the tree structure is greater than the maximum conversion width or the maximum conversion height, the corresponding CB can be automatically (or implicitly) divided until the horizontal and vertical TB size limits are satisfied. .
한편, 멀티타입 트리를 수반한 쿼드트리 코딩 트리를 위하여, 아래의 파라미터들이 SPS(slice parameter set)의 신택스 요소로 정의될 수 있다.On the other hand, for a quadtree coding tree with a multitype tree, the following parameters may be defined as syntax elements of a slice parameter set (SPS).
- CTU size: 쿼터너리 트리의 루트 노드 사이즈(the root size of a quaternary tree)-CTU size: the root size of a quaternary tree
- MinQTSize: 최소의 쿼터너리 트리 리프 노드 사이즈(the minimum allowed quaternary tree leaf node size)-MinQTSize: the minimum allowed quaternary tree leaf node size
- MaxBtSize: 최대의 바이너리 트리 루트 노드 사이즈(the maximum allowed binary tree root node size)-MaxBtSize: the maximum allowed binary tree root node size
- MaxTtSize: 최대의 터너리 트리 루트 노드 사이즈(the maximum allowed ternary tree root node size)-MaxTtSize: the maximum allowed ternary tree root node size
- MaxMttDepth: 쿼드트리 리프로부터 멀티-타입 분할의 최대 계층적 깊이(the maximum allowed hierarchy depth of multi-type splitting from a quadtree leaf)-MaxMttDepth: the maximum allowed hierarchy depth of multi-type splitting from a quadtree leaf
- MinBtSize: 최소의 바이너리 트리 리프 노드 사이즈(the minimum allowed binary tree leaf node size)-MinBtSize: the minimum allowed binary tree leaf node size
- MinTtSize: 최소의 터너리 트리 리프 노드 사이즈(the minimum allowed ternary tree leaf node size)-MinTtSize: the minimum allowed ternary tree leaf node size
멀티타입 트리를 수반한 쿼드트리 코딩 트리 구조의 일 예로, CTU 사이즈는 128x128 루마 샘플들 및 2개의 대응하는 크로마 샘플들의 64x64 블록들로 설정될 수 있다(4:2:0 크로마 포맷). 이 경우, MinQtSize는 16x16으로 설정되고, MaxBtSize는 128x128로 설정되고, MaxTtSize는 64x64로 설정되고, MinBtSize와 MinTtSize는 4x4로, 그리고 MaxMttDepth는 4로 설정될 수 있다. CTU에 쿼드트리 분할이 적용됨으로써, 쿼드트리 리프 노드들이 생성될 수 있다. 쿼드트리 리프 노드는 리프 QT 노드로 지칭될 수 있다. 쿼드트리 리프 노드들은 16x16 사이즈(MinQtSize)에서 128x128 사이즈(CTU 사이즈)를 가질 수 있다. 만약 리프 QT 노드가 128x128인 경우, 추가적으로 바이너리 트리/터너리 트리로 분할되지 않을 수 있다. 이 경우, 분할되더라도 MaxBtSize와 MaxTtSize(64x64)를 초과하기 때문이다. 이 외의 경우, 리프 QT 노드는 멀티타입 트리 구조로 추가로 분할될 수 있다. 만약, 멀티타입 트리 깊이가 MaxMttdepth(예를 들어, 4)에 도달하는 경우, 더 이상 추가분할은 고려되지 않을 수 있다. 만약, 멀티타입 트리 노드의 너비가 MinBtSize와 같고 2xMinTtSize보다 작거나 같을 때, 더 이상 추가적인 수평 분할은 고려되지 않을 수 있다. 만약, 멀티타입 트리 노드의 높이가 MinBtSize와 같고, 2xMinTtSize보다 작거나 같을 때, 더 이상 추가적인 수직 분할은 고려되지 않을 수 있다.As an example of a quadtree coding tree structure involving a multitype tree, the CTU size may be set to 64x64 blocks of 128x128 luma samples and two corresponding chroma samples (4: 2: 0 chroma format). In this case, MinQtSize is set to 16x16, MaxBtSize is set to 128x128, MaxTtSize is set to 64x64, MinBtSize and MinTtSize can be set to 4x4, and MaxMttDepth can be set to 4. By applying quadtree splitting to the CTU, quadtree leaf nodes can be generated. The quadtree leaf node may be referred to as a leaf QT node. Quadtree leaf nodes may have a size of 16x16 (MinQtSize) to a size of 128x128 (CTU size). If the leaf QT node is 128x128, it may not be additionally divided into a binary tree / ternary tree. In this case, it is because MaxBtSize and MaxTtSize (64x64) are exceeded even if divided. In other cases, leaf QT nodes may be further divided into a multi-type tree structure. If the multi-type tree depth reaches MaxMttdepth (eg, 4), further division may not be considered. If the width of the multitype tree node is equal to MinBtSize and less than or equal to 2xMinTtSize, additional horizontal partitioning may not be considered any more. If the height of the multitype tree node is equal to MinBtSize and less than or equal to 2xMinTtSize, additional vertical splitting may not be considered any more.
도 8은 본 명세서의 실시예에 따른 터너리 트리(ternary tree) 분할이 제한되는 경우의 예를 도시한다.8 shows an example of a case in which ternary tree partitioning according to an embodiment of the present disclosure is limited.
도 8을 참조하면, 디코딩 장치(200)에서의 64x64 루마 블록과 32x32 크로마 파이프라인의 설계를 위하여, TT 분할은 특정 경우에 제한될 수 있다. 예를 들어, 루마 코딩 블록의 너비 또는 높이가 기-설정된 특정 값(예를 들어, 32 또는 64)보다 큰 경우, 도 6에 도시된 바와 같이 TT 분할이 제한될 수 있다. Referring to FIG. 8, for the design of a 64x64 luma block and a 32x32 chroma pipeline in the decoding apparatus 200, TT splitting may be limited in certain cases. For example, if the width or height of the luma coding block is greater than a predetermined value (eg, 32 or 64), the TT segmentation may be limited as illustrated in FIG. 6.
또한, 코딩 트리 스킴은 루마 및 크로마 블록이 개별적인 블록 트리 구조를 갖는 것을 지원할 수 있다. P-슬라이스(이전의 픽처 또는 슬라이스를 참조하는 슬라이스)와 B-슬라이스(복수의 픽처들 또는 슬라이스들을 참조하는 슬라이스)에 대하여, 하나의 CTU 내 루마 CTB들과 크로마 CTB들은 동일한 코딩 트리 구조를 갖도록 제한될 수 있다. 반대로, I-슬라이스(인트라 예측이 적용된 슬라이스)에 대하여, 루마 및 크로마 블록들은 서로 개별적인 블록 트리 구조를 가질 수 있다. 만약, 개별적 블록 트리 모드가 적용되는 경우, 루마 CTB는 특정 코등 트리 구조에 기반하여 CU들로 분할되고, 크로마 CTB는 다른 코딩 트리 구조에 기반하여 크로마 CU들로 분할될 수 있다. 다시 말해, I-슬라이스의 CTU는 루마 성분의 코딩 블록과 2개의 크로마 성분들의 코딩 블록들로 구성되고, P-슬라이스 또는 B-슬라이스의 CU는 세가지 컬러 성분의 블록들로 구성될 수 있음을 의미한다. In addition, the coding tree scheme can support that luma and chroma blocks have separate block tree structures. For P-slice (slice referencing a previous picture or slice) and B-slice (slice referencing multiple pictures or slices), luma CTBs and chroma CTBs in one CTU have the same coding tree structure. Can be limited. Conversely, for an I-slice (a slice to which intra prediction is applied), luma and chroma blocks may have a separate block tree structure from each other. If the individual block tree mode is applied, the luma CTB may be divided into CUs based on a specific code tree structure, and the chroma CTB may be divided into chroma CUs based on another coding tree structure. In other words, the CTU of an I-slice consists of a coding block of luma components and two coding blocks of chroma components, and a CU of a P-slice or B-slice can be composed of blocks of three color components. do.
"CTU의 트리 구조 분할"을 통해 멀티타입 트리를 수반한 쿼드트리 코딩 트리 구조가 앞서 설명되었으나, CU가 분할되는 구조가 한정되는 것은 아니다. 예를 들어, BT 구조 또는 TT 구조는 다수의 분할 트리(multiple partitioning tree, MPT) 구조에 포함되는 개념으로 해석될 수 있고, CU는 QT 구조와 MPT 구조를 통해 분할된다고 해석될 수 있다. QT 구조와 MPT 구조를 통해 CU가 분할되는 일 예에서, QT 구조의 리프 노드가 몇 개의 블록으로 분할되는지에 관한 정보를 포함하는 신택스 엘레먼트(예를 들어, MPT_split_type)와 QT 구조의 리프 노드가 수직과 수평 중 어느 방향으로 분할되는지에 관한 정보를 포함하는 신택스 엘레먼트(예를 들어, MPT_split_mode)의 시그널링을 통해 분할 구조가 결정될 수 있다. Although the quadtree coding tree structure accompanying the multi-type tree has been described through “dividing the tree structure of CTU”, the structure in which the CU is divided is not limited. For example, the BT structure or the TT structure may be interpreted as a concept included in a multiple partitioning tree (MPT) structure, and the CU may be interpreted as being split through a QT structure and an MPT structure. In an example in which a CU is split through a QT structure and an MPT structure, a syntax element (for example, MPT_split_type) including information on how many blocks of a leaf node of the QT structure is divided, and a leaf node of the QT structure are vertical The splitting structure may be determined through signaling of a syntax element (for example, MPT_split_mode) including information on which direction is split between and horizontal.
다른 예에서, CU는 QT 구조, BT 구조, 또는 TT 구조와 다른 방법에 의해 분할될 수 있다. 즉, QT 구조에 따라 하위 깊이의 CU가 상위 깊이의 CU의 1/4 크기로 분할되거나, BT 구조에 따라 하위 깊이의 CU가 상위 깊이의 CU의 1/2 크기로 분할되거나, TT 구조에 따라 하위 깊이의 CU가 상위 깊이의 CU의 1/4 또는 1/2 크기로 분할되는 것과 달리, 하위 깊이의 CU는, 경우에 따라, 상위 깊이의 CU의 1/5, 1/3, 3/8, 3/5, 2/3, 또는 5/8 크기로 분할될 수 있으며, CU가 분할되는 방법은 이에 한정되지 않는다. In another example, the CU may be divided by QT structure, BT structure, or TT structure. That is, according to the QT structure, the CU of the lower depth is divided into 1/4 the size of the CU of the upper depth, or the CU of the lower depth is divided into 1/2 the size of the CU of the upper depth, or according to the TT structure Unlike a CU at a lower depth, which is divided into 1/4 or 1/2 the size of a CU at a higher depth, a CU at a lower depth may, in some cases, be 1/5, 1/3, or 3/8 of the CU at a higher depth. , 3/5, 2/3, or 5/8, and the CU is not limited thereto.
만약 트리 노드 블록의 부분(a 부분)이 하단 또는 오른쪽 픽처의 경계를 초과하는 경우, 해당 트리 노드 블록은 모든 코딩된 CU의 모든 샘플들이 픽처 경계들 안쪽에 위치하도록 제한될 수 있다. If the portion (a portion) of the tree node block exceeds the boundary of the lower or right picture, the tree node block may be restricted such that all samples of all coded CUs are located inside the picture boundaries.
한편, 상술한 멀티타입 트리를 수반한 쿼드트리 코딩 블록 구조는 매우 유연한 블록 분할 구조를 제공할 수 있다. 그러나, 다른 분할 패턴들에 의한 코딩 블록 구조 결과가 잠재적으로 멀티타입 트리에 지원되는 분할 타입들에 의한 코딩 블록 구조를 가질 수 있다. 따라서, 중복적인(redundant) 분할 패턴들의 발생을 제한하기 위해 멀티타입 트리에서 지원되는 분할 타입만을 사용함으로써 분할 정보의 전송을 위한 데이터양을 감소시킬 수 있다.On the other hand, the above-described quadtree coding block structure with a multi-type tree can provide a very flexible block partitioning structure. However, the result of the coding block structure by different splitting patterns may potentially have a coding block structure by splitting types supported in a multitype tree. Accordingly, in order to limit the occurrence of redundant partition patterns, the amount of data for transmission of partition information can be reduced by using only partition types supported in a multi-type tree.
도 9는 본 명세서의 실세예에 따른 바이너리 트리 분할과 터너리 트리 분할에서 발생할 수 있는 중복적인 분할 패턴들의 예를 도시한다.9 shows examples of overlapping splitting patterns that may occur in binary tree splitting and ternary tree splitting according to a practical example of the present specification.
도 9에서 도시된 바와 같이, 2 레벨의 한 방향에 대한 연속적인 바이너리 분할은, 터너리 분할 이후 중앙부에 대한 바이너리 분할과 동일한 코딩 블록 구조를 갖는다. 이 경우, 터너리 트리 분할의 중앙부에 대한 바이너리 트리 분할은 제한될 수 있다. 이러한 분할의 제한은 모든 픽처들의 CU들에 대해 적용될 수 있다. 특정 분할이 제한되는 경우, 대응하는 신택스 엘레먼트들의 시그널링은 이러한 분할의 제한을 반영하여 수정될 수 있고, 분할을 위해 시그널링되는 비트수를 감소시킬 수 있다. 예를 들어, 도 9에 도시된 바와 같이, CU의 중앙부에 대한 바이너리 트리 분할이 제한되는 경우, 분할이 바이너리 분할인지 터너리 분할인지 여부를 지시하는 신택스 엘레먼트(mtt_split_su_binary_flag)는 시그널링되지 않을 수 있고, 디코딩 장치(200)는 분할이 바이너리 분할인지 터너리 분할인지 여부를 지시하는 신택스 엘레먼트(mtt_split_su_binary_flag)를 0으로 결정할 수 있다.As shown in FIG. 9, continuous binary splitting for one direction of two levels has the same coding block structure as binary splitting for the central portion after ternary splitting. In this case, binary tree splitting for the central portion of the ternary tree splitting may be limited. This limitation of segmentation can be applied to CUs of all pictures. When a specific segmentation is limited, the signaling of corresponding syntax elements can be modified to reflect the restriction of such segmentation and reduce the number of bits signaled for segmentation. For example, as illustrated in FIG. 9, when the binary tree partition for the central portion of the CU is limited, the syntax element (mtt_split_su_binary_flag) indicating whether the partition is a binary partition or a ternary partition may not be signaled, The decoding apparatus 200 may determine a syntax element (mtt_split_su_binary_flag) indicating whether the division is a binary division or a ternary division to 0.
예측(Prediction)Prediction
디코딩이 수행되는 현재 처리 유닛을 복원하기 위하여, 현재 처리 유닛이 포함된 현재 픽처 또는 다른 픽처들의 디코딩된 부분을 이용할 수 있다.In order to restore the current processing unit in which decoding is performed, the decoded portion of the current picture or other pictures in which the current processing unit is included can be used.
복원에 있어 현재 픽처만이 이용되는 경우, 즉, 인트라 예측만이 수행되는 픽처(슬라이스)를 인트라 픽처 또는 I-픽처(I-슬라이스), 각 유닛을 예측하기 위하여 하나의 움직임 벡터 및 참조 인덱스를 이용하는 픽처(슬라이스)를 예측 픽처 또는 P-픽처(P-슬라이스), 두 개 이상의 움직임 벡터들 및 참조 인덱스들을 이용하는 픽처(슬라이스)를 쌍 예측 픽처 또는 B-픽처(B-슬라이스)로 지칭할 수 있다.When only the current picture is used for reconstruction, that is, a picture (slice) in which only intra prediction is performed, an intra picture or an I-picture (I-slice), one motion vector and a reference index to predict each unit The picture (slice) to be used may be referred to as a predictive picture or a P-picture (P-slice), a picture (slice) using two or more motion vectors and reference indices as a pair prediction picture or a B-picture (B-slice). have.
인터 예측은 현재 픽처 이외의 픽처의 데이터 요소(예를 들어, 샘플 값 또는 움직임 벡터)에 기반하여 현재 블록의 샘플 값을 도출하는 예측 방법을 의미한다. 즉, 현재 픽처 이외의 복원된 다른 픽처의 복원된 영역들을 참조함으로써 현재 블록의 샘플 값을 예측하는 방법을 의미한다.Inter prediction refers to a prediction method for deriving a sample value of a current block based on data elements (eg, sample values or motion vectors) of a picture other than the current picture. That is, it refers to a method of predicting a sample value of a current block by referring to reconstructed regions of another reconstructed picture other than the current picture.
이하, 인트라 예측(또는 화면 내 예측)에 대하여 보다 상세히 설명한다.Hereinafter, intra prediction (or intra-prediction) will be described in more detail.
인트라 예측(Intra Prediction)(또는 화면 내 예측)Intra Prediction (or on-screen prediction)
인트라 예측은 동일한 디코딩된 픽처(또는 슬라이스)의 데이터 요소(예를 들어, 샘플 값)으로부터 현재 블록의 샘플 값을 도출하는 예측 방법을 의미한다. 즉, 현재 픽처 내의 복원된 영역들을 참조함으로써 현재 블록의 샘플 값을 예측하는 방법을 의미한다.Intra prediction refers to a prediction method that derives a sample value of a current block from data elements (eg, sample values) of the same decoded picture (or slice). That is, it means a method of predicting the sample value of the current block by referring to the reconstructed regions in the current picture.
인트라 예측은 현재 블록이 속하는 픽처(이하, 현재 픽처) 내 현재 블록 외부의 참조 샘플에 기반하여 현재 블록에 대한 예측 샘플을 생성하는 예측을 나타낼 수 있다.The intra prediction may represent prediction for generating a prediction sample for the current block based on a reference sample outside the current block in a picture (hereinafter, the current picture) to which the current block belongs.
본 명세서의 실시예들은 앞서 도 2과 도 3에서 설명된 예측 방법의 세부 기술을 설명하는 것으로, 본 발명의 실시예는 후술하는 도 12의 인트라 예측 기반 비디오/영상 디코딩 방법과 도 13의 디코딩 장치(200) 내 인트라 예측부(265)의 장치에 해당할 수 있다. 또한, 본 발명의 실시예는 후술하는 도 10의 인트라 예측 기반 비디오/영상 디코딩 방법과 도 11의 인코딩 장치(100) 내 인트라 예측부(185)의 장치에 해당할 수 있다. 도 10과 도 11에 의해 인코딩된 데이터는 비트스트림의 형태로 인코딩 장치(100) 또는 디코딩 장치(200)에 포함된 메모리, 또는 인코딩 장치(100) 또는 디코딩 장치(200)와 기능적으로 결합된 메모리에 저장될 수 있다.The embodiments of the present specification describe the detailed technique of the prediction method described in FIGS. 2 and 3 above, and the embodiment of the present invention includes the intra prediction-based video / image decoding method of FIG. 12 and the decoding apparatus of FIG. It may correspond to the device of the intra prediction unit 265 in (200). Further, the embodiment of the present invention may correspond to the intra prediction-based video / video decoding method of FIG. 10 described later and the apparatus of the intra prediction unit 185 in the encoding apparatus 100 of FIG. 11. The data encoded by FIGS. 10 and 11 is a memory included in the encoding device 100 or the decoding device 200 in the form of a bitstream, or a memory functionally combined with the encoding device 100 or the decoding device 200 Can be stored in.
현재 블록에 인트라 예측이 적용되는 경우, 현재 블록의 인트라 예측에 사용될 주변 참조 샘플들이 도출될 수 있다. 현재 블록의 주변 참조 샘플들은 nW x nH 사이즈의 현재 블록의 좌측 경계에 인접한 샘플과 좌하측에 인접한 총 2 x nH 개의 샘플들, 현재 블록의 상측 경계에 인접한 샘플 및 우상측에 인접한 총 2 x nW 개의 샘플들, 및 현재 블록의 좌상측에 인전합 1개의 샘플들을 포함할 수 있다. 또는, 현재 블록의 주변 참조 샘플들은 복수 열의 상측 주변 샘플들과 복수 행의 좌측 주변 샘플들을 포함할 수 있다. 또한, 현재 블록의 주변 참조 샘플들은 현재 블록에 인접한 좌측 또는 우측의 수직 라인들과 상측 또는 하측의 수평 라인들에 위치한 샘플들을 포함할 수 있다.When intra prediction is applied to the current block, peripheral reference samples to be used for intra prediction of the current block may be derived. The neighboring reference samples of the current block have a total of 2 x nH samples adjacent to the left boundary and a sample adjacent to the left boundary of the current block of size nW x nH, a total of 2 x nW samples adjacent to the upper boundary and a sample adjacent to the upper boundary of the current block. The number of samples, and one sample of the sum of the current block may be included. Alternatively, the peripheral reference samples of the current block may include upper peripheral samples in a plurality of columns and left peripheral samples in a plurality of rows. Also, the surrounding reference samples of the current block may include samples located on the left or right vertical lines adjacent to the current block and on the upper or lower horizontal lines.
다만, 현재 블록의 주변 참조 샘플들 중 일부는 아직 디코딩되지 않았거나, 이용 가능하지 않을 수 있다. 이 경우, 디코딩 장치(200)는 이용 가능한 샘플들로 이용 가능하지 않은 샘플들을 대체(substitution)함으로써 예측에 사용될 주변 참조 샘플들을 구성할 수 있다. 또는, 이용 가능한 샘플들의 보간을 통하여 예측에 사용될 주변 참조 샘플들을 구성할 수 있다. 예를 들어, 현재 블록의 우측에 인접한 수직 라인에 위치한 샘플들과 현재 블록의 하측에 인접한 수평 라인에 위치한 샘플들은 현재 블록의 좌측 수직 라인에 위치한 샘플들과 현재 블록의 상측 수평 라인에 위치한 샘플들에 기반하여 대체되거나 보간을 통해 구성될 수 있다.However, some of the neighboring reference samples of the current block may not be decoded yet or may not be available. In this case, the decoding apparatus 200 may construct surrounding reference samples to be used for prediction by substituting samples that are not available with available samples. Alternatively, surrounding reference samples to be used for prediction may be configured through interpolation of available samples. For example, samples located on the vertical line adjacent to the right of the current block and samples located on the horizontal line adjacent to the bottom of the current block are samples located on the left vertical line of the current block and samples located on the horizontal line above the current block. It can be replaced based on or configured through interpolation.
주변 참조 샘플들이 도출된 경우, i) 현재 블록의 주변 참조 샘플들의 평균(average) 또는 보간에 기반하여 예측 샘플들이 유도될 수 있고, ii) 현재 블록의 주변 참조 샘플들 중에서 예측 샘플에 대하여 특정 (예측) 방향에 존재하는 참조 샘플에 기반하여 예측 샘플이 유도될 수 있다. i)과 같은 예측 모드는 비방향성 예측 모드 또는 비각도 예측 모드로 지칭될 수 있고, ii)와 같은 예측 모드는 방향성(directional) 예측 모드 또는 각도(angular) 예측 모드로 지칭될 수 있다. 또한, 주변 참조 샘플들 중 현재 블록의 예측 샘플을 기준으로 현재 블록의 인트라 예측 모드의 예측 방향에 위치하는 제1 주변 샘플과 예측 방향의 반대 방향에 위치하는 제2 주변 샘플의 보간을 통해 예측 샘플이 생성될 수 있다. 이렇게 현재 블록의 예측 샘플을 기준으로 예측 방향과 예측 방향의 반대 방향에 위치한 참조 샘플들 사이의 선형 보간에 기반한 예측 기법은 선형 보간 인트라 예측(linear interpolation inter prediction, LIP)으로 지칭될 수 있다. 또한, 필터링된 주변 참조 샘플들에 기반하여 현재 블록의 임시 예측 샘플을 도출하고, 기존의 주변 참조 샘플들, 즉, 필터링된 주변 참조 샘플들 중 인트라 예측 모드에 따라 도출된 적어도 하나의 참조 샘플과 임시 예측 샘플들의 가중합(weighted sum)을 통하여 현재 블록의 예측 샘플을 도출할 수 있다. 복수의 샘플들의 가중합을 통한 예측은 PDPC(position dependent intra prediction)으로 지칭될 수 있다. When the neighboring reference samples are derived, i) prediction samples may be derived based on the average or interpolation of the neighboring reference samples of the current block, and ii) specific to the prediction sample among the neighboring reference samples of the current block ( The prediction sample may be derived based on the reference sample present in the prediction) direction. A prediction mode such as i) may be referred to as a non-directional prediction mode or a non-angle prediction mode, and a prediction mode such as ii) may be referred to as a directional prediction mode or an angular prediction mode. In addition, a prediction sample through interpolation of a first neighboring sample located in the prediction direction of the intra prediction mode of the current block and a second neighboring sample located in the opposite direction of the prediction direction based on the prediction sample of the current block among the neighboring reference samples. This can be generated. As described above, a prediction technique based on linear interpolation between a prediction sample based on a prediction sample of a current block and reference samples located in a direction opposite to the prediction direction may be referred to as linear interpolation inter prediction (LIP). In addition, the temporary prediction sample of the current block is derived based on the filtered surrounding reference samples, and at least one reference sample derived according to the intra prediction mode among the existing surrounding reference samples, that is, the filtered surrounding reference samples. A prediction sample of the current block may be derived through a weighted sum of temporary prediction samples. Prediction through weighted sum of a plurality of samples may be referred to as position dependent intra prediction (PDPC).
한편, 필요에 따라 도출된 예측 샘플에 대한 후처리 필터링(post-filtering)이 수행될 수 있다. 구체적으로, 인트라 예측 절차는 인트라 예측 모드 결정 단계, 주변 참조 샘플 도출 단계, 인트라 예측 모드 기반 예측 샘플 도출 단계를 포함할 수 있고, 필요에 따라 도출된 예측 샘플에 대한 후처리 필터링 단계를 포함할 수 있다.Meanwhile, post-filtering may be performed on the predicted sample derived as necessary. Specifically, the intra prediction procedure may include an intra prediction mode determination step, a peripheral reference sample derivation step, and an intra prediction mode-based prediction sample derivation step, and may include a post-processing filtering step for the predicted sample derived as needed. have.
인트라 예측에 기반한 비디오 인코딩 절차와 인코딩 장치(100) 내 인트라 예측부(185)는 도 10과 도 11과 같이 표현될 수 있다.The video encoding procedure based on intra prediction and the intra prediction unit 185 in the encoding apparatus 100 may be expressed as shown in FIGS. 10 and 11.
도 10과 도 11은 본 명세서의 실시예에 따른 인트라 예측 기반 비디오 인코딩 방법 및 본 발명의 실시예에 따른 인코딩 장치 내 인트라 예측부의 예를 도시한다.10 and 11 illustrate an example of an intra prediction based video encoding method according to an embodiment of the present specification and an intra prediction unit in an encoding apparatus according to an embodiment of the present invention.
도 10에서, S1010 단계는 인코딩 장치(100)의 인트라 예측부(185)에 의해 수행될 수 있고, S1020 단계와 S1030 단계는 레지듀얼 처리부에 의해 수행될 수 있다. 구체적으로, S1020 단계는 인코딩 장치(100)의 감산부(115)에 의해 수행될 수 있고, S1030 단계는 레지듀얼 처리부에 의해 도출된 레지듀얼 정보와 인트라 예측부(185)에 의해 도출된 예측 정보를 이용하여 엔트로피 인코딩부(190)에 의해 수행될 수 있다. 레지듀얼 정보는 레지듀얼 샘플들에 대한 정보로서, 레지듀얼 샘플들에 대한 양자화된 변환 계수들에 대한 정보를 포함할 수 있다.In FIG. 10, step S1010 may be performed by the intra prediction unit 185 of the encoding apparatus 100, and steps S1020 and S1030 may be performed by the residual processing unit. Specifically, step S1020 may be performed by the subtraction unit 115 of the encoding apparatus 100, and step S1030 may include residual information derived by the residual processing unit and prediction information derived by the intra prediction unit 185. It can be performed by the entropy encoding unit 190 using. The residual information is information about residual samples, and may include information about quantized transform coefficients for residual samples.
상술한 바와 같이, 레지듀얼 샘플들은 인코딩 장치(100)의 변환부(120)를 통해 변환 계수들로 도출되고, 도출된 변환 계수들은 양자화부(130)를 통하여 양자화된 변환 계수로 도출될 수 있다. 양자화된 변환 계수들에 대한 정보가 레지듀얼 코딩 절차를 통해 엔트로피 인코딩부(190)에서 인코딩될 수 있다.As described above, residual samples may be derived as transform coefficients through the transform unit 120 of the encoding apparatus 100, and the derived transform coefficients may be derived as quantized transform coefficients through the quantization unit 130. . Information about the quantized transform coefficients may be encoded in the entropy encoding unit 190 through a residual coding procedure.
S1010 단계에서, 인코딩 장치(100)는 현재 블록에 대한 인트라 예측을 수행할 수 있다. 인코딩 장치(100)는 현재 블록에 대한 인트라 예측 모드를 결정하고, 현재 블록의 주변 참조 샘플들을 도출하고, 인트라 예측 모드와 주변 참조 샘플들에 기반하여 현재 블록 내의 예측 샘플들을 생성한다. 여기서, 인트라 예측 모드의 결정, 주변 참조 샘플의 도출, 및 예측 샘플들의 생성 절차는 동시에 수행될 수도 있고, 순차적으로 수행될 수도 있다. 예를 들어, 인코딩 장치(100)의 인트라 예측부(185)는 예측 모드 결정부(186), 참조 샘플 도출부(187), 예측 샘플 생성부(188)를 포함할 수 있으며, 예측 모드 결정부(186)가 현재 블록에 대한 인트라 예측 모드를 결정하고, 참조 샘플 도출부(187)가 현재 블록의 주변 참조 샘플을 도출하고, 예측 샘플 생성부(188)가 현재 블록의 움직임 샘플을 도출할 수 있다. 한편, 비록 도시되지는 않았지만, 후술하는 예측 샘플 필터링 절차가 수행되는 경우, 인트라 예측부(185)는 예측 샘플 필터부(미도시)를 더 포함할 수 있다. 인코딩 장치(100)는 복수의 인트라 예측 모드들 중 현재 블록에 대해 적용될 예측 모드를 결정할 수 있다. 인코딩 장치(100)는 인트라 예측 모드들에 대한 레이트-왜곡 비용(rate-distortion cost, RD cost)를 비교하고, 현재 블록에 대한 최적의 인트라 예측 모드를 결정할 수 있다.In step S1010, the encoding apparatus 100 may perform intra prediction on the current block. The encoding apparatus 100 determines an intra prediction mode for the current block, derives neighbor reference samples of the current block, and generates prediction samples in the current block based on the intra prediction mode and neighbor reference samples. Here, the procedure for determining the intra prediction mode, deriving the peripheral reference sample, and generating the prediction samples may be performed simultaneously or sequentially. For example, the intra prediction unit 185 of the encoding apparatus 100 may include a prediction mode determination unit 186, a reference sample derivation unit 187, and a prediction sample generation unit 188, and the prediction mode determination unit 186 determines an intra prediction mode for the current block, the reference sample derivation unit 187 derives a neighboring reference sample of the current block, and the prediction sample generator 188 derives a motion sample of the current block. have. Meanwhile, although not illustrated, when the prediction sample filtering procedure described below is performed, the intra prediction unit 185 may further include a prediction sample filter unit (not shown). The encoding apparatus 100 may determine a prediction mode to be applied to a current block among a plurality of intra prediction modes. The encoding apparatus 100 may compare a rate-distortion cost (RD cost) for intra prediction modes and determine an optimal intra prediction mode for the current block.
한편, 인코딩 장치(100)는 예측 샘플 필터링을 수행할 수도 있다. 예측 샘플 필터링은 포스트 필터링으로 지칭될 수 있다. 예측 샘플 필터링 절차에 의해 예측 샘플들 중 일부 또는 전체에 대한 필터링이 수행될 수 있다. 경우에 따라, 예측 샘플 필터링은 생략될 수 있다.Meanwhile, the encoding apparatus 100 may perform prediction sample filtering. Predictive sample filtering may be referred to as post filtering. Filtering on some or all of the prediction samples may be performed by the prediction sample filtering procedure. In some cases, prediction sample filtering may be omitted.
S1020 단계에서, 인코딩 장치(100)는 (필터링된) 예측 샘플에 기반하여 현재 블록에 대한 레지듀얼 샘플을 생성할 수 있다. 이후, S1030 단계에서, 인코더(100)는 인트라 예측 모드를 포함하는 예측 모드 정보와 레지듀얼 샘플들에 대한 정보를 포함하는 비디오 데이터를 인코딩할 수 있다. 인코딩된 비디오 데이터는 비트스트림의 형태로 출력될 수 있다. 출력된 비트스트림은 저장 매체 또는 네트워크를 통하여 디코딩 장치(200)로 전달될 수 있다.In operation S1020, the encoding apparatus 100 may generate a residual sample for the current block based on the (filtered) prediction sample. Thereafter, in step S1030, the encoder 100 may encode video data including prediction mode information including an intra prediction mode and information on residual samples. The encoded video data can be output in the form of a bitstream. The output bitstream may be delivered to the decoding device 200 through a storage medium or network.
한편, 상술한 바와 같은 인코딩 장치(100)는 참조 샘플들과 레지듀얼 샘플들에 기반하여 복원 샘플들과 복원 블록을 포함하는 복원 픽처를 생성할 수 있다. 인코딩 장치(100)에 의한 복원 픽처의 도출은 디코딩 장치(200)에서 수행되는 것과 동일한 예측 결과를 인코딩 장치(100)에서 도출하기 위함이고, 이를 통하여 코딩 효율을 높일 수 있다. 나아가, 복원 픽처에 인루프 필터링과 같은 후속 절차가 수행될 수 있다.Meanwhile, the encoding apparatus 100 as described above may generate a reconstructed picture including reconstructed samples and reconstructed blocks based on reference samples and residual samples. Derivation of the reconstructed picture by the encoding apparatus 100 is to derive the same prediction result as that performed by the decoding apparatus 200 in the encoding apparatus 100, thereby improving coding efficiency. Furthermore, subsequent procedures such as in-loop filtering may be performed on the reconstructed picture.
도 12와 도 13은 본 명세서의 실시예에 따른 인트라 예측 기반 비디오/영상 디코딩 방법과 본 발명의 실시예에 따른 디코더 내 인트라 예측부의 예를 도시한다. 12 and 13 illustrate an intra prediction-based video / video decoding method according to an embodiment of the present specification and an example of an intra prediction unit in a decoder according to an embodiment of the present invention.
도 12와 도 13을 참조하면, 디코딩 장치(200)는 인코딩 장치(100)에서 수행된 동작에 대응되는 동작을 수행할 수 있다. 디코딩 장치(200)는 수신된 예측 정보에 기반하여 현재 블록에 대한 예측을 수행함으로써 예측 샘플을 도출할 수 있다.Referring to FIGS. 12 and 13, the decoding apparatus 200 may perform an operation corresponding to an operation performed by the encoding apparatus 100. The decoding apparatus 200 may derive a prediction sample by performing prediction on the current block based on the received prediction information.
구체적으로, S1210 단계에서, 디코딩 장치(200)는 인코딩 장치(100)로부터 획득된 예측 모드 정보에 기반하여 현재 블록에 대한 인트라 예측 모드를 결정할 수 있다. S1220 단계에서, 디코딩 장치(200)는 현재 블록의 주변 참조 샘플을 도출할 수 있다. S1230 단계에서, 디코딩 장치(200)는 인트라 예측 모드와 주변 참조 샘플들에 기반하여 현재 블록 내 예측 샘플을 생성할 수 있다. 또한, 디코딩 장치(200)는 예측 샘플 필터링 절차를 수행할 수 있으며, 예측 샘플 필터링 절차는 포스트 필터링으로 지칭될 수 있다. 예측 샘플 필터링 절차에 의하여 예측 샘플들 중 일부 또는 전부가 필터링될 수 있다. 경우에 따라, 예측 샘플 필터링 절차는 생략될 수 있다.Specifically, in step S1210, the decoding apparatus 200 may determine an intra prediction mode for the current block based on the prediction mode information obtained from the encoding apparatus 100. In operation S1220, the decoding apparatus 200 may derive a peripheral reference sample of the current block. In operation S1230, the decoding apparatus 200 may generate a prediction sample in the current block based on the intra prediction mode and surrounding reference samples. Also, the decoding apparatus 200 may perform a prediction sample filtering procedure, and the prediction sample filtering procedure may be referred to as post filtering. Some or all of the prediction samples may be filtered by the prediction sample filtering procedure. In some cases, the prediction sample filtering procedure may be omitted.
S1240 단계에서, 디코딩 장치(200)는 인코딩 장치(100)로부터 획득된 레지듀얼 정보에 기반하여 레지듀얼 샘플을 생성할 수 있다. S1250 단계에서, 디코딩 장치(200)는 (필터링된) 예측 샘플들과 레지듀얼 샘플들에 기반하여 현재 블록에 대한 복원 샘플을 생성하고, 생성된 복원 샘플들을 이용하여 복원 픽처를 생성할 수 있다.In operation S1240, the decoding apparatus 200 may generate a residual sample based on residual information obtained from the encoding apparatus 100. In operation S1250, the decoding apparatus 200 may generate a reconstruction sample for the current block based on the (filtered) prediction samples and residual samples, and generate a reconstruction picture using the generated reconstruction samples.
여기서, 디코딩 장치(200)의 인트라 예측부(265)는 예측 모드 결정부(266), 참조 샘플 도출부(267), 및 예측 샘플 생성부(268)을 포함할 수 있으며, 예측 모드 결정부(266)는 인코딩 장치(100)의 예측 모드 결정부(186)에서 생성된 예측 모드에 기반하여 현재 블록의 인트라 예측 모드를 결정하고, 참조 샘플 도출부(267)는 현재 블록의 주변 참조 샘플을 도출하고, 예측 샘플 생성부(268)는 현재 블록의 예측 샘플을 생성할 수 있다. 한편, 비록 도시되지는 않았지만, 예측 샘플 필터링 절차가 수행되는 경우, 인트라 예측부(265)는 예측 샘플 필터부(미도시)를 포함할 수 있다. Here, the intra prediction unit 265 of the decoding apparatus 200 may include a prediction mode determination unit 266, a reference sample derivation unit 267, and a prediction sample generation unit 268, and the prediction mode determination unit ( 266) determines the intra prediction mode of the current block based on the prediction mode generated by the prediction mode determination unit 186 of the encoding apparatus 100, and the reference sample derivation unit 267 derives neighboring reference samples of the current block And, the prediction sample generator 268 may generate a prediction sample of the current block. Meanwhile, although not illustrated, when the prediction sample filtering procedure is performed, the intra prediction unit 265 may include a prediction sample filter unit (not shown).
예측을 위해 사용되는 예측 모드 정보는 MPM(most probable mode)이 현재 블록에 적용되는지 또는 나머지 모드(remaining mode)가 적용되는지 여부를 나타내기 위한 플래그(예를 들어, prev_intra_luma_pred_flag)를 포함할 수 있다. MPM이 현재 블록에 적용되는 경우, 예측 모드 정보는 인트라 예측 모드 후보들(MPM 후보들) 중 하나를 지시하는 인덱스(mpm_idx)를 더 포함할 수 있다. 인트라 예측 모드 후보들(MPM 후보들)은 MPM 후보 리스트 또는 MPM 리스트로 구성될 수 있다. 또한, MPM이 현재 블록에 적용되지 않는 경우, 예측 모드 정보는 인트라 예측 모드 후보들(MPM 후보들)을 제외한 나머지 인트라 예측 모드들 중 하나를 지시하는 나머지 모드 정보(예를 들어, rem_intra_luma_pred_mpde)를 더 포함할 수 있다.The prediction mode information used for prediction may include a flag (eg, prev_intra_luma_pred_flag) to indicate whether the most probable mode (MPM) is applied to the current block or whether the remaining mode is applied. When the MPM is applied to the current block, the prediction mode information may further include an index (mpm_idx) indicating one of the intra prediction mode candidates (MPM candidates). The intra prediction mode candidates (MPM candidates) may be configured as an MPM candidate list or an MPM list. In addition, if the MPM is not applied to the current block, the prediction mode information further includes remaining mode information (eg, rem_intra_luma_pred_mpde) indicating one of the remaining intra prediction modes except the intra prediction mode candidates (MPM candidates). You can.
한편, 디코딩 장치(200)는 예측 정보에 기반하여 현재 블록의 인트라 예측 모드를 결정할 수 있다. 예측 모드 정보는 후술하는 코딩 방법을 통하여 인코딩 및 디코딩될 수 있다. 예를 들어, 예측 모드 정보는 절단된 바이너리 코드(truncated binary code)에 기반하여 엔트로피 코딩(예를 들어, CABAC, CAVLC)을 통하여 인코딩 또는 디코딩될 수 있다.Meanwhile, the decoding apparatus 200 may determine the intra prediction mode of the current block based on the prediction information. Prediction mode information may be encoded and decoded through a coding method described below. For example, prediction mode information may be encoded or decoded through entropy coding (eg, CABAC, CAVLC) based on truncated binary code.
이하에서는, 디코딩 장치(200)의 동작을 중심으로, 본 발명의 실시예에 따른 예측 기법에 대해 설명하도록 한다. 비록 디코딩 장치(200)를 중심으로 본 발명의 실시예들이 설명되나, 본 발명의 실시예는 디코딩 장치(200)뿐만 아니라 인코딩 장치(100)에도 적용될 수 있음은 물론이다.Hereinafter, a prediction technique according to an embodiment of the present invention will be described with focus on the operation of the decoding apparatus 200. Although embodiments of the present invention are described centering on the decoding device 200, it is needless to say that the embodiments of the present invention can be applied to the encoding device 100 as well as the decoding device 200.
도 14와 도 15는 본 발명의 실시예들에 적용될 수 있는 인트라 예측 모드의 예측 방향의 예들을 도시한다.14 and 15 show examples of prediction directions of an intra prediction mode that can be applied to embodiments of the present invention.
도 14를 참조하면, 인트라 예측 모드는 2개의 비방향성 인트라 예측 모드와 33개의 방향성 인트라 예측 모드를 포함할 수 있다. 비방향성 인트라 예측 모드들은 플래너(planar) 인트라 예측 모드와 DC 인트라 예측 모드를 포함할 수 있고, 방향성 인트라 예측 모드는 2번 내지 34번 인트라 예측 모드들을 포함할 수 있다. 플래너 인트라 예측 모드는 플래너 모드로, DC 인트라 예측 모드는 DC 모드로 지칭될 수 있다.Referring to FIG. 14, the intra prediction mode may include two non-directional intra prediction modes and 33 directional intra prediction modes. The non-directional intra prediction modes may include a planar intra prediction mode and a DC intra prediction mode, and the directional intra prediction mode may include intra prediction modes 2 to 34. The planner intra prediction mode may be referred to as a planner mode, and the DC intra prediction mode may be referred to as a DC mode.
한편, 자연 영상(natural video)에서 제시된 임의의 에지 방향(edge direc-tion)을 캡쳐하기 위해, 방향성 인트라 예측 모드는 후술하는 도 15에 도시된 바와 같이 도 14의 33개로부터 65개의 방향성 인트라 예측 모드들을 포함할 수 있다. 도 15에서, 비방향성 인트라 예측 모드들은 플래너 모드와 DC 모드를 포함하고, 방향성 인트라 예측 모드들은 2번 내지 66번 인트라 예측 모드를 포함할 수 있다. 도 15와 같이 확장된 방향성 인트라 예측은 모든 사이즈의 블록들에 적용될 수 있고, 루마 성분 및 크로마 성분 모두에 적용될 수 있다.On the other hand, in order to capture an arbitrary edge direction (edge direc-tion) presented in the natural video (natural video), the directional intra prediction mode is 33 to 65 directional intra prediction of FIG. 14 as shown in FIG. 15 to be described later. Modes. In FIG. 15, non-directional intra prediction modes include a planner mode and a DC mode, and directional intra prediction modes may include intra prediction modes 2 to 66. 15, the extended directional intra prediction may be applied to blocks of all sizes, and may be applied to both luma and chroma components.
또한, 인트라 예측 모드는 2개의 비방향성 인트라 예측 모드들과 129개의 방향성 인트라 예측 모드들을 포함할 수 있다. 여기서, 비방향성 인트라 예측 모드들은 플래너 모드와 DC 모드를 포함할 수 있고, 방향성 인트라 예측 모드는 2번 내지 130번 인트라 예측 모드들을 포함할 수 있다.In addition, the intra prediction mode may include two non-directional intra prediction modes and 129 directional intra prediction modes. Here, the non-directional intra prediction modes may include a planner mode and a DC mode, and the directional intra prediction modes may include intra prediction modes 2 to 130.
MPM 후보 리스트 구성MPM candidate list composition
영상에 대한 블록 분할이 수행되면, 코딩하고자 하는 현재 블록과 이웃 블록은 유사한 영상 특성을 가질 수 있다. 따라서, 현재 블록과 주변 블록은 서로 동일하거나 유사한 인트라 예측 모드를 가질 확률이 높다. 따라서, 인코딩 장치(100)는 현재 블록의 인트라 예측 모드를 인코딩하기 위하여 주변 블록의 인트라 예측 모드를 이용할 수 있다.When block division is performed on an image, a current block to be coded and a neighboring block may have similar image characteristics. Therefore, there is a high probability that the current block and the neighboring blocks have the same or similar intra prediction mode. Accordingly, the encoding apparatus 100 may use the intra prediction mode of the neighboring blocks to encode the intra prediction mode of the current block.
예를 들어, 인코딩 장치(100)는 현재 블록에 대한 MPM 리스트를 구성할 수 있다. MPM 리스트는 MPM 후보 리스트로 지칭될 수 있다. 여기서, MPM은 인트라 예측 모드 코딩시 현재 블록과 이웃 블록의 유사성을 고려하여 코딩 효율을 향상시키기 위하여 이용되는 모드를 의미한다. 이 경우, MPM 리스트 생성의 복잡도를 낮게 유지하기 위하여 3개의 MPM을 포함하는 MPM 리스트를 구성하는 방법이 사용될 수 있다. MPM 리스트에 현재 블록을 위한 인트라 예측 모드가 포함되지 않는 경우, 리메이닝 모드가 사용될 수 있다. 이 경우 리메이닝 모드는 64개의 나머지 후보들을 포함하고, 64개의 나머지 후보들 중 하나를 지시하는 리메이닝 인트라 예측 모드 정보가 시그널링될 수 있다. 예를 들어 리메이닝 인트라 예측 모드 정보는 6비트의 신택스 요소(예: rem_intra_luma_pred_mode 신택스 요소)를 포함할 수 있다.For example, the encoding apparatus 100 may construct an MPM list for the current block. The MPM list may be referred to as an MPM candidate list. Here, MPM refers to a mode used to improve coding efficiency in consideration of the similarity between a current block and a neighboring block when coding an intra prediction mode. In this case, a method of constructing an MPM list including three MPMs may be used to keep the complexity of MPM list generation low. If the intra prediction mode for the current block is not included in the MPM list, a re-maining mode may be used. In this case, the re-maining mode includes 64 remaining candidates, and re-forming intra prediction mode information indicating one of the 64 remaining candidates may be signaled. For example, the re-maining intra prediction mode information may include a 6-bit syntax element (eg, a rem_intra_luma_pred_mode syntax element).
도 16은 본 명세서의 실시예에 따른 MPM(most probable mode) 후보 리스트를 구성하기 위한 흐름도의 예를 도시한다.16 shows an example of a flowchart for constructing a list of most probable mode (MPM) candidates according to an embodiment of the present specification.
MPM 리스트를 구성하기 위하여 후술되는 것과 같이 3가지 종류의 모드들이 고려될 수 있다.In order to construct the MPM list, three types of modes can be considered as described below.
- 주변 인트라 모드들(neighbour intra modes)-Neighbor intra modes
- 도출된 인트라 모드들(derived intra modes)-Derived intra modes
- 디폴트 인트라 모드들(default intra modes)-Default intra modes
먼저, 영상에 대한 블록 분할이 수행되면, 코딩하고자 하는 현재 블록과 이웃 블록은 유사한 영상 특성을 갖는다. 인트라 예측 모드의 경우, 현재 블록과 이웃 블록은 서로 동일하거나 유사한 인트라 예측 모드를 가질 확률이 높다. 따라서, 인코딩 장치(100)는 현재 블록의 예측 모드를 인코딩하기 위하여 이웃 블록의 예측 모드를 사용할 수 있다.First, when block division is performed on an image, a current block to be coded and a neighboring block have similar image characteristics. In the case of the intra prediction mode, there is a high probability that the current block and the neighboring block have the same or similar intra prediction mode. Accordingly, the encoding apparatus 100 may use the prediction mode of the neighboring block to encode the prediction mode of the current block.
인코딩 장치(100)는 이웃 블록이 인트라 예측 모드로 코딩된 경우, 이웃 블록의 예측 모드를 확인 또는 유도할 수 있다(S1610). 예를 들어, 인코딩 장치(100)는 좌측 이웃 블록의 예측 모드와 상측 이웃 블록의 예측 모드에 기반하여 현재 블록의 예측 모드를 결정할 수 있고, 이때 해당 이웃 블록의 예측 모드를 MPM으로 결정할 수 있다. MPM을 결정한다는 것은, MPM 후보(또는 MPM 리스트)를 리스트 업(list up)한다고 표현될 수 있다.When the neighboring block is coded in the intra prediction mode, the encoding apparatus 100 may check or derive the prediction mode of the neighboring block (S1610). For example, the encoding apparatus 100 may determine the prediction mode of the current block based on the prediction mode of the left neighboring block and the prediction mode of the upper neighboring block, and may determine the prediction mode of the corresponding neighboring block as MPM. Determining the MPM can be expressed as a list up of MPM candidates (or MPM lists).
인코딩 장치(100)는 좌측 이웃 블록의 예측 모드와 상측 이웃 블록의 예측 모드가 동일한지 여부를 확인할 수 있다(S1620). 초기(initial) MPM 리스트는 2개의 인접한 블록들의 인트라 예측 모드들에 대한 프루닝 프로세스(pruning process)에 의해 형성될 수 있다.The encoding apparatus 100 may check whether the prediction mode of the left neighboring block and the prediction mode of the upper neighboring block are the same (S1620). The initial MPM list may be formed by a pruning process for intra prediction modes of two adjacent blocks.
만약, 좌측 이웃 블록의 예측 모드와 상측 이웃 블록의 예측 모드가 상이한 경우, 첫번째 MPM은 좌측 이웃 모드로 설정되고, 두번째 MPM은 상측 이웃 블록의 예측 모드로 설정될 수 있으며, 세번째 MPM은 인트라 플래너 모드, 인트라 DC 모드, 또는 인트라 수직 모드(50번 인트라 예측 모드) 중 어느 하나로 설정될 수 있다(S1630). 구체적으로, 2개의 이웃 블록의 인트라 예측 모드들이 상이하면, 2개의 인트라 예측 모드가 MPM으로 설정될 수 있고, MPM 들에 의한 프루닝 체크(pruning check) 후 디폴트 인트라 모드들 중 하나가 MPM 리스트에 추가될 수 있다. 여기서, 디폴트 인트라 모드들은 인트라 플래너 모드, 인트라 DC 모드, 및/또는 인트라 수직 모드(50번 인트라 예측 모드)를 포함할 수 있다. 예를 들어, 좌측 이웃 블록의 예측 모드와 상측 이웃 블록의 예측 모드가 상이한 경우, MPM 리스트는 아래의 표2와 같은 방법에 의해 구성될 수 있다.If the prediction mode of the left neighboring block is different from the prediction mode of the upper neighboring block, the first MPM may be set as the left neighboring mode, the second MPM may be set as the predicting mode of the upper neighboring block, and the third MPM may be an intra planner mode. , Intra DC mode, or an intra vertical mode (intra prediction mode No. 50) may be set (S1630). Specifically, if the intra prediction modes of the two neighboring blocks are different, the two intra prediction modes may be set to MPM, and one of the default intra modes may be added to the MPM list after a pruning check by MPMs. Can be added. Here, the default intra modes may include an intra planner mode, an intra DC mode, and / or an intra vertical mode (intra prediction mode # 50). For example, when the prediction mode of the left neighboring block and the prediction mode of the upper neighboring block are different, the MPM list may be configured by the method shown in Table 2 below.
Figure PCTKR2019013024-appb-img-000002
Figure PCTKR2019013024-appb-img-000002
표 2에서, A는 좌측 이웃 블록의 인트라 예측 모드, B는 상측 이웃 블록의 인트라 예측 모드, 0은 인트라 플래너 모드, 1은 인트라 DC 모드, 50은 인트라 수직 모드를 나타내고, candModeList는 MPM 리스트를 나타낸다.In Table 2, A is the intra prediction mode of the left neighboring block, B is the intra prediction mode of the upper neighboring block, 0 is the intra planner mode, 1 is the intra DC mode, 50 is the intra vertical mode, and candModeList represents the MPM list. .
좌측 이웃 블록의 예측 모드와 상측 이웃 블록의 예측 모드가 상이한 경우, 인코딩 장치(100)는 상측 이웃 블록의 예측 모드가 2보다 작은지 여부를 확인한다(S1640).When the prediction mode of the left neighboring block is different from the prediction mode of the upper neighboring block, the encoding apparatus 100 determines whether the prediction mode of the upper neighboring block is less than 2 (S1640).
만약 좌측 이웃 블록의 예측 모드가 2보다 작은 경우, 첫번째 MPM은 인트라 플래너 모드로 설정되고, 두번째 MPM은 인트라 DC 모드로 설정되고, 세번째 MPM은 인트라 수직 모드(50번 인트라 예측 모드)로 설정될 수 있다(S1650). If the prediction mode of the left neighboring block is less than 2, the first MPM is set to the intra planar mode, the second MPM is set to the intra DC mode, and the third MPM can be set to the intra vertical mode (# 50 intra prediction mode). Yes (S1650).
한편, 좌측 이웃 블록의 예측 모드가 2보다 작지 않은 경우, 첫번째 MPM은 좌측 이웃 블록의 예측 모드로 설정될 수 있고, 두번째 MPM은 (좌측 이웃 블록의 예측 모드 - 1)로 설정될 수 있으며, 세번째 MPM은 (좌측 이웃 블록의 에측 모드 + 1)로 설정될 수 있다(S1660).Meanwhile, when the prediction mode of the left neighboring block is not less than 2, the first MPM may be set as the prediction mode of the left neighboring block, the second MPM may be set as (the prediction mode of the left neighboring block-1), and the third The MPM may be set to (the prediction mode + 1 of the left neighboring block) (S1660).
예를 들어, 좌측 이웃 블록의 예측 모드와 상측 이웃 블록의 예측 모드가 동일한 경우, MPM 리스트는 아래의 표 3과 같이 구성될 수 있다.For example, when the prediction mode of the left neighboring block and the prediction mode of the upper neighboring block are the same, the MPM list may be configured as shown in Table 3 below.
Figure PCTKR2019013024-appb-img-000003
Figure PCTKR2019013024-appb-img-000003
표 3에서, A는 좌측 이웃 블록의 인트라 예측 모드, B는 상측 이웃 블록의 인트라 예측 모드, 0은 인트라 플래너 모드, 1은 인트라 DC 모드, 50은 인트라 수직 모드를 나타내고, candModeList는 MPM 리스트를 나타낼 수 있다.In Table 3, A is an intra prediction mode of the left neighboring block, B is an intra prediction mode of the upper neighboring block, 0 is an intra planner mode, 1 is an intra DC mode, 50 is an intra vertical mode, and candModeList represents an MPM list. You can.
한편, 고유한 모드들만이 MPM 리스트에 포함도리 수 있도록 복제 모드들을 제거하는 추가 프루닝 프로세스가 수행될 수 있다. 또한, 3개의 MPM을 제외한 64개의 non-MPM 모드들의 엔트로피 코딩에 대하여, 6 비트 고정 길이 코드(6-bit fixed length code)가 사용될 수 있다. 즉, 64개의 non-MPM 모드들을 나타내는 인덱스는 6 비트 고정 길이 코드(6-bit fixed length code, 6-bit FLC)로 엔트로피 코딩될 수 있다.Meanwhile, an additional pruning process may be performed to remove duplicate modes so that only unique modes can be included in the MPM list. Also, for entropy coding of 64 non-MPM modes except 3 MPM, a 6-bit fixed length code can be used. That is, an index representing 64 non-MPM modes may be entropy coded with a 6-bit fixed length code (6-bit FLC).
그리고, 인코딩 장치(100)는 현재 블록에 적용될 최적의 인트라 예측 모드가 앞서 구성된 MPM 후보 내에 속하는지 여부를 판단할 수 있다.Then, the encoding apparatus 100 may determine whether the optimal intra prediction mode to be applied to the current block belongs to the previously configured MPM candidate.
만약, 현재 블록의 인트라 예측 모드가 MPM 후보에 속하는 경우, 인코딩 장치(100)는 MPM 플래그와 MPM 인덱스를 코딩할 수 있다. 여기서, MPM 플래그는 현재 블록의 인트라 예측 모드는 주변의 인트라 예측된 블록으로부터 유도되는지 여부(즉, 현재 블록의 인트라 예측 모드가 MPM 내 속하는지 여부)를 지시할 수 있다. 또한, MPM 인덱스는 MPM 후보 중에서 현재 블록의 인트라 예측 모드로서 어느 MPM 모드가 적용되는지를 나타낼 수 있다.If the intra prediction mode of the current block belongs to the MPM candidate, the encoding apparatus 100 may code the MPM flag and the MPM index. Here, the MPM flag may indicate whether the intra prediction mode of the current block is derived from neighboring intra predicted blocks (ie, whether the intra prediction mode of the current block belongs to the MPM). Also, the MPM index may indicate which MPM mode is applied as an intra prediction mode of a current block among MPM candidates.
반면, 현재 블록의 인트라 예측 모드가 MPM 후보에 속하지 않는 경우, 인코딩 장치(100)는 현재 블록의 인트라 예측 모드를 인코딩할 수 있다.On the other hand, if the intra prediction mode of the current block does not belong to the MPM candidate, the encoding apparatus 100 may encode the intra prediction mode of the current block.
비정방형(non-square) 블록에 대한 광각(wide-angle) 인트라 예측Wide-angle intra prediction for non-square blocks
상술한 바와 같이 인트라 예측의 예측 방향은 시계 방향(clockwise direction)으로 45도로부터 135도 사이에서 정의될 수 있다. 그러나, 현재 블록이 비정방향 블록인 경우, 몇몇 기존의 방향성 인트라 예측 모드는 광각 인트라 예측 모드로 적응적으로 대체될 수 있다. 대체되는 광각 인트라 예측이 적용되는 경우, 기존의 인트라 예측 모드에 대한 정보가 시그널링될 수 있고, 기존의 인트라 예측에 대한 정보가 디코딩 장치(200)에 의해 파싱된 이후, 기존의 인트라 예측에 대한 정보는 광각 인트라 예측 모드의 인덱스로 리맵핑될 수 있다. 따라서, 특정 블록(예: 특정 사이즈의 비정방형 블록)에 대한 총 인트라 예측 모드의 개수는 변경되지 않을 수 있다. 즉, 총 인트라 예측 모드의 개수는 67개이며, 특정 블록에 대한 인트라 예측 모드 코딩은 변경되지 않을 수 있다.As described above, the prediction direction of intra prediction may be defined between 45 degrees and 135 degrees in a clockwise direction. However, when the current block is a non-forward block, some existing directional intra prediction modes may be adaptively replaced with a wide-angle intra prediction mode. When the replaced wide-angle intra prediction is applied, information on the existing intra prediction mode may be signaled, and after the information on the existing intra prediction is parsed by the decoding apparatus 200, information on the existing intra prediction Can be remapped to the index of the wide angle intra prediction mode. Therefore, the number of total intra prediction modes for a specific block (eg, a non-square block of a specific size) may not be changed. That is, the total number of intra prediction modes is 67, and intra prediction mode coding for a specific block may not be changed.
도 17a 및 도 17b는 본 명세서의 실시예에 따른 광각 인트라 예측 모드에 대한 참조 샘플들의 예를 도시한다.17A and 17B show examples of reference samples for a wide-angle intra prediction mode according to an embodiment of the present specification.
도 17a 및 도 17b에 도시된 것과 같이 광각 예측 방향을 지원하기 위하여 2W+1 길이의 상측 참조 샘플들 및 2H+1 길이의 좌측 참조 샘플들이 정의될 수 있다. 한편, 광각 인트라 예측이 적용되는 경우, 광각 인트라 예측 모드로 대체되는 인트라 예측 모드들은 현재 블록의 종횡비(aspect ratio)에 따라 상이할 수 있다. 종횡비에 따른 광각 인트라 예측 모드로 대체되는 인트라 예측 모드들은 아래의 표 4와 같이 정의될 수 있다.17A and 17B, 2W + 1 length upper reference samples and 2H + 1 length left reference samples may be defined to support the wide-angle prediction direction. Meanwhile, when wide-angle intra prediction is applied, intra-prediction modes that are replaced by wide-angle intra prediction modes may be different according to an aspect ratio of the current block. Intra prediction modes, which are replaced by wide-angle intra prediction modes according to the aspect ratio, may be defined as shown in Table 4 below.
Figure PCTKR2019013024-appb-img-000004
Figure PCTKR2019013024-appb-img-000004
도 18은 본 명세서의 실시예에 따른 광각 인트라 예측 모드의 적용시 45도 보다 큰 예측 방향에서 발생하는 불연속성의 예를 도시한다.18 shows an example of discontinuity occurring in a prediction direction greater than 45 degrees when the wide-angle intra prediction mode is applied according to an embodiment of the present specification.
도 18에 도시된 것과 같이 45도 보다 큰 광각 인트라 예측이 수행되는 경우, 2개의 수직으로 인접한 예측 샘플들은 2개의 인접하지 않은 참조 샘플들에 기반하여 예측될 수 있다. 따라서, 증가된 갭
Figure PCTKR2019013024-appb-img-000005
의 부정적이 효과를 감소시키기 위하여 저역 참조 샘플 필터(low-pass reference samples filter) 및 사이드 스무딩(side smoothing)이 광각 예측에 적용될 수 있다.When wide-angle intra prediction greater than 45 degrees is performed as illustrated in FIG. 18, two vertically adjacent prediction samples may be predicted based on two non-adjacent reference samples. Thus, increased gap
Figure PCTKR2019013024-appb-img-000005
In order to reduce the negative effect of the low-pass reference sample filter (low-pass reference samples filter) and side smoothing (side smoothing) can be applied to the wide-angle prediction.
주변 참조 샘플 도출Derivation of surrounding reference samples
개요summary
현재 블록에 인트라 예측이 적용되는 경우, 현재 블록의 인트라 예측에 사용되는 주변 참조 샘플들이 도출될 수 있다. 현재 블록의 주변 참조 샘플들은 nWxnH 크기의 현재 블록의 좌측 경계에 인접한 샘플 및 좌하측(bottom-left)에 이웃하는 총 2xnH 개의 샘플들, 현재 블록의 상측 경계에 인접한 샘플 및 우상측(top-right)에 이웃하는 총 2xnW 개의 샘플들 및 현재 블록의 좌상측(top-left)에 이웃하는 1개의 샘플을 포함할 수 있다. 또한, 현재 블록의 주변 참조 샘플들은 복수 열의 상측 주변 샘플들 및 복수 행의 좌측 주변 샘플들을 포함할 수 있다. 또한, 현재 블록의 주변 참조 샘플들은 nWxH 크기의 현재 블록의 우측 경계에 인접한 총 nH 개의 샘플들, 현재 블록의 하측 경계에 인접한 총 nW 개의 샘플들 및 현재 블록의 우하측에 이웃하는 1개의 샘플을 포함할 수도 있다.When intra prediction is applied to the current block, peripheral reference samples used for intra prediction of the current block may be derived. The neighboring reference samples of the current block are nWxnH-sized samples adjacent to the left boundary and a total of 2xnH samples adjacent to the bottom-left, samples adjacent to the upper boundary of the current block, and top-right ), And a total of 2xnW samples and one sample neighboring the top-left of the current block. Also, the peripheral reference samples of the current block may include multiple columns of upper peripheral samples and multiple rows of left peripheral samples. In addition, the neighboring reference samples of the current block include nHxH total samples adjacent to the right boundary of the current block, nW samples adjacent to the lower boundary of the current block, and 1 sample neighboring the lower right side of the current block. It may include.
확장된 인트라 참조 샘플들의 유도 (Deriving the extended intra reference sample)Deriving the extended intra reference sample
현재 블록의 주변 참조 샘플들 중 일부는 아직 디코딩되지 않았거나, 이용 가능하지 않을 수 있다. 이 경우, 디코딩 장치(200)는 이용 가능한 샘플들의 외삽(extrapolation)을 통하여 예측에 사용될 주변 참조 샘플들을 구성할 수 있다. 좌하단을 시작으로 우상단 참조 샘플에 도달할 때까지, 참조 가능한 샘플을 최신의 샘플로 업데이트하면서 아직 디코딩되지 않았거나 이용 가능하지 않은 샘플을 마지막 이용 가능한 샘플(last available sample)로 대체함으로써 구성할 수 있다.Some of the neighboring reference samples of the current block may not have been decoded yet or may not be available. In this case, the decoding apparatus 200 may configure surrounding reference samples to be used for prediction through extrapolation of available samples. It can be configured by updating the referenceable sample to the latest sample, starting at the bottom left and reaching the top right reference sample, replacing the sample that has not yet been decoded or not available with the last available sample. have.
예측 모드 기반 예측 샘플 도출Prediction mode-based prediction sample derivation
개요summary
인코딩 장치(100)/디코딩 장치(200)(이하, 코딩 장치로 통칭됨)의 예측부는 현재 블록의 주변 참조 샘플들 중 현재 블록의 인트라 예측 모드에 따른 참조 샘플을 도출할 수 있고, 도출된 참조 샘플을 기반으로 현재 블록의 예측 샘플을 생성할 수 있다.The prediction unit of the encoding device 100 / decoding device 200 (hereinafter referred to as a coding device) may derive a reference sample according to the intra prediction mode of the current block among neighboring reference samples of the current block, and the derived reference A prediction sample of the current block may be generated based on the sample.
예를 들어, 코딩 장치는 (i) 현재 블록의 주변(neighbouring) 참조 샘플들의 평균(average) 또는 보간(interpolation)을 기반으로 예측 샘플을 유도할 수 있고, (ii) 현재 블록의 주변 참조 샘플들 중 예측 샘플에 대하여 특정 방향에 존재하는 참조 샘플을 기반으로 예측 샘플을 유도할 수 있다. (i)의 경우는 비방향성 모드 또는 비각도 모드, (ii)의 경우는 방향성 모드 또는 각도 모드로 지칭될 수 있다. For example, the coding apparatus may (i) derive a prediction sample based on an average or interpolation of neighboring reference samples of the current block, and (ii) peripheral reference samples of the current block The prediction sample may be derived based on a reference sample existing in a specific direction with respect to the medium prediction sample. In the case of (i), it may be referred to as a non-directional mode or non-angle mode, and in the case of (ii), a directional mode or an angular mode.
또한, 주변 참조 샘플들 중 현재 블록의 예측 샘플을 기준으로 현재 블록의 인트라 예측 모드의 예측 방향의 반대 방향에 위치하는 제1 주변 샘플과 제2 주변 샘플과의 보간을 통하여 예측 샘플이 생성될 수 있다. 선형 보간을 사용한 예측 방법은 선형 보간 인트라 예측(linear interpolation intra prediction, LIP)로 지칭될 수 있다. Also, a prediction sample may be generated through interpolation between a first neighboring sample and a second neighboring sample located in a direction opposite to the prediction direction of the intra prediction mode of the current block based on the prediction sample of the current block among the neighboring reference samples. have. The prediction method using linear interpolation may be referred to as linear interpolation intra prediction (LIP).
또한, 코딩 장치는 필터링된 주변 참조 샘플들에 기반하여 현재 블록의 임시 예측 샘플을 도출하고, 기존의 주변 참조 샘플들, 즉, 필터링되지 않은 주변 참조 샘플들 중 인트라 예측 모드에 따라 도출된 적어도 하나의 참조 샘플과 임시 참조 샘플을 가중합(weighted sum)함으로써 현재 블록의 예측 샘플들 도출할 수 있다. 이러한 가중합 기반의 인트라 예측 방법은 PDPC(position dependent intra prediction)로 지칭될 수 있다.In addition, the coding device derives a temporary prediction sample of the current block based on the filtered surrounding reference samples, and at least one derived according to the intra prediction mode among existing surrounding reference samples, that is, unfiltered surrounding reference samples. Prediction samples of the current block may be derived by weighting a reference sample of and a temporary reference sample. This weighted polymerization-based intra prediction method may be referred to as position dependent intra prediction (PDPC).
또한, 인코딩 장치(100)는 현재 블록의 주변 다중 참조 샘플 중 가장 예측 정확도가 높은 참조 샘플을 선택함으로써 예측 샘플을 도출하고, 이때 사용된 참조 샘플을 전송하는 방법으로 인트라 예측 부호화를 수행할 수 있다. 이와 같이 다중 참조 샘플을 사용한 인트라 예측 방법은 MRL(multi-reference line intra prediction)로 지칭될 수 있다.Also, the encoding apparatus 100 may derive a prediction sample by selecting a reference sample having the highest prediction accuracy among neighboring multiple reference samples of the current block, and perform intra prediction encoding by transmitting a reference sample used at this time. . In this way, an intra prediction method using multiple reference samples may be referred to as multi-reference line intra prediction (MRL).
LIP(linear interpolation intra prediction)Linear interpolation intra prediction (LIP)
선형 보간 예측에서 현재 블록의 우측 주변 샘플들 및 하측 주변 샘플들이 생성되고, 현재 블록의 주변 샘플들 중 현재 블록의 예측 샘플을 기준으로 현재 블록의 인트라 예측 모드의 예측 방향에 위치하는 제1 주변 샘플과, 주변 샘플들 중 상기 제1 주변 샘플과 대응하는 제2 주변 샘플과의 보간을 통하여 예측 샘플이 생성될 수 있다. 즉, 주변 샘플들 중 현재 블록의 예측 샘플을 기준으로 현재 블록의 인트라 예측 모드의 예측 방향의 반대 방향에 위치하는 제2 주변 샘플과 제1 주변 샘플과의 보간을 통하여 예측 샘플이 생성될 수 있다.In the linear interpolation prediction, right neighboring samples and lower neighboring samples of the current block are generated, and among the neighboring samples of the current block, a first neighboring sample located in the prediction direction of the intra prediction mode of the current block based on the predicted sample of the current block. And, a prediction sample may be generated through interpolation between the first surrounding sample and the second surrounding sample among the surrounding samples. That is, a prediction sample may be generated through interpolation between a second neighboring sample and a first neighboring sample located in a direction opposite to the prediction direction of the intra prediction mode of the current block based on the prediction sample of the current block among the neighboring samples. .
도 19는 본 명세서의 실시예에 따른 선형 보간 예측을 위한 주변 샘플들의 예를 도시하고, 도 20은 선형 보간 예측을 수행하는 방법의 일 예를 도시한다.19 shows examples of neighboring samples for linear interpolation prediction according to an embodiment of the present disclosure, and FIG. 20 shows an example of a method for performing linear interpolation prediction.
선형 보간 예측을 수행하기 위하여 상술한 바와 같이 우단 샘플 버퍼와 하단 샘플 버퍼가 생성될 수 있다. 코딩 장치는 우단 샘플 버퍼와 하단 샘플 버퍼의 생성을 위하여 주변 참조 샘플을 사용하여 우하단 샘플(bottom right, BR)을 생성한다. In order to perform linear interpolation prediction, a right sample buffer and a lower sample buffer may be generated as described above. The coding apparatus generates a bottom right sample (BR) using a peripheral reference sample to generate a right sample buffer and a bottom sample buffer.
도 19는 우상단 샘플과 좌하단 샘플을 사용하여 우하단 샘플을 생성하는 방법을 나타내고, 도 20은 현재 부호화하고자 하는 블록의 2배 길이만큼 먼 most 우상단(most top right) 샘플과 most 좌하단(most bottom left) 샘플을 사용하여 우하단 샘플을 생성하는 방법을 나타낸다. 우하단 샘플은 아래의 수학식 1 또는 수학식 2에 의해 다른 샘플을 사용하여 생성될 수 있다.19 shows a method of generating a bottom right sample using a top right sample and a bottom left sample, and FIG. 20 shows the most top right sample and the most left bottom (most) as much as twice the length of the current block to be coded. Shows how to create the bottom right sample using the bottom left) sample. The lower right sample may be generated using another sample by Equation 1 or Equation 2 below.
Figure PCTKR2019013024-appb-img-000006
Figure PCTKR2019013024-appb-img-000006
Figure PCTKR2019013024-appb-img-000007
Figure PCTKR2019013024-appb-img-000007
우하단 샘플은 위 수학식 1 또는 수학식 2 외에 다양한 방법을 통해 생성될 수 있다.The lower right sample may be generated through various methods in addition to the above Equation 1 or Equation 2.
우하단 샘플의 생성 이후 코딩 장치는 좌하단 샘플과 우상단 샘플을 사용하여 하단 샘플들(하단 버퍼, bottom buffer)과 우단 샘플들(우단 버퍼, right buffer)을 생성한다. After the creation of the bottom right sample, the coding apparatus generates bottom samples (bottom buffer) and right samples (right buffer) using the bottom left sample and the top right sample.
도 21a 및 도 21b는 본 명세서의 실시예에 따른 하단 샘플들과 우단 샘플들을 생성하는 방법의 일 예를 도시한다.21A and 21B show an example of a method for generating bottom samples and right samples according to an embodiment of the present specification.
하단 샘플들은 좌하단 샘플과 우하단 샘플의 선형 보간을 통하여, 우단 샘플들은 우상단 샘플과 우하단 샘플의 선형 보간을 통하여 생성될 수 있다. 이때, 좌하단 샘플과 우하단 샘플을 사용하여 하단 샘플을 생성하는 방법 또는 우상단 샘플과 우하단 샘플을 사용하여 우단 샘플을 생성하는 방법에서 다양한 가중값이 사용될 수 있다.The lower samples may be generated through linear interpolation of the lower left sample and the lower right sample, and the lower right samples may be generated through linear interpolation of the upper right sample and lower right sample. At this time, various weighting values may be used in a method of generating a bottom sample using a bottom left sample and a bottom right sample or a method of generating a right sample using a top right sample and a bottom right sample.
도 22는 본 명세서의 실시예에 따른 하단 샘플들과 우단 샘플들의 생성하기 우한 방법의 예를 도시한다.22 shows an example of a method for generating bottom samples and right samples according to an embodiment of the present specification.
코딩 장치는 하단 샘플들과 우단 샘플들의 생성 이후 생성된 하단 샘플들과 우단 샘플들을 사용하여 보간 예측을 수행할 수 있다. 도 22에 도시된 것과 같이 선형 보간 인트라 예측을 사용하여 예측 샘플 C를 생성하는 방법은 아래와 같을 수 있다. 도 20에서 예측 모드가 양의 방향성을 갖는 수직 계열의 모드가 적용되는 경우의 예로 설명한다.The coding apparatus may perform interpolation prediction by using the bottom samples and right samples generated after generation of the bottom samples and right samples. As illustrated in FIG. 22, a method of generating a prediction sample C using linear interpolation intra prediction may be as follows. In FIG. 20, an example of a case in which a vertical mode mode in which the prediction mode has positive directionality is applied will be described.
1) 좌측 참조 샘플(짙은 회식)들을 하단 샘플 버퍼에 복사하고 생성된 하단 샘플들을 사용하여 하단 버퍼를 생성1) Copy the left reference sample (dark meal) to the bottom sample buffer and create the bottom buffer using the generated bottom samples
2) 복원된 값을 사용하는 상단 참조 버퍼의 참조 샘플 A와 참조 샘플 B를 보간함으로써 예측 샘플 값 P를 생성(기존의 인트라 코딩시 예측 샘플 생성 방법 사용)2) Produce the predicted sample value P by interpolating the reference sample A and the reference sample B of the upper reference buffer using the restored value (using the predictive sample generation method in existing intra coding)
3) 새로 생성된 하단 참조 버퍼의 A' 참조 샘플과 B' 참조 샘플을 보간함으로써 예측 샘플 값 P'를 생성3) Produce the predicted sample value P 'by interpolating the A' and B 'reference samples of the newly generated bottom reference buffer.
4) 생성된 P와 P'을 선형 보간함으로써 최종 예측 값 C를 생성4) The final prediction value C is generated by linearly interpolating the generated P and P '.
Figure PCTKR2019013024-appb-img-000008
Figure PCTKR2019013024-appb-img-000008
코딩 장치는 부호화하고자 하는 블록 내 모든 샘플들에 대해 방법 2) 내지 4)를 적용하여 예측 값을 생성할 수 있다. 선형 보간 인트라 예측 방법은 모든 방향성 예측 모드에 대해 적용될 수 있다.The coding apparatus may generate prediction values by applying methods 2) to 4) to all samples in a block to be encoded. The linear interpolation intra prediction method can be applied to all directional prediction modes.
PDPC (position dependent intra prediction)PDPC (position dependent intra prediction)
PDPC는, PDPC에 대하여 기 정의된 필터를 사용하여 필터링된 참조 샘플들을 도출하고, 현재 블록의 인트라 예측 모드 및 필터링된 참조 샘플들에 기반하여 현재 블록의 임시 예측 샘플을 도출하고, 기존의 참조 샘플들(즉, 필터링되지 않은 참조 샘플들 중 인트라 예측 모드에 따라 도출된 적어도 하나의 참조 샘플)과 임시 예측 샘플을 가중합함으로써 현재 블록의 예측 샘플을 도출하는 인트라 예측 방법을 의미할 수 있다. 여기서, 기 정의된 필터는 5개의 7 탭(tap) 필터들 중 하나일 수 있다. 또는 기 정의된 필터는 3탭 필터, 5탭 필터, 또는 7 탭 필터 중 하나일 수 있다. 3 탭 필터, 5 탭 필터, 및 7 탭 필터는 각각 3개의 필터 계수(filter coefficient)를 갖는 필터, 5개의 필터 계수를 갖는 필터, 및 7개의 필터 계수를 갖는 필터를 나타낼 수 있다.The PDPC derives filtered reference samples using a filter predefined for the PDPC, derives a temporary prediction sample of the current block based on the intra prediction mode of the current block and the filtered reference samples, and the existing reference sample It may mean an intra prediction method of deriving a prediction sample of the current block by weighting the (ie, at least one reference sample derived according to the intra prediction mode among the unfiltered reference samples) and the temporary prediction sample. Here, the predefined filter may be one of five 7-tap filters. Alternatively, the predefined filter may be one of a 3-tap filter, a 5-tap filter, or a 7-tap filter. The three-tap filter, the five-tap filter, and the seven-tap filter may represent filters having three filter coefficients, filters having five filter coefficients, and filters having seven filter coefficients, respectively.
예를 들어, 인트라 플래너 모드의 예측 결과는 PDPC에 의하여 추가로 수정될 수 있다. 또한, 일 실시예에서, PDPC는 별도의 시그널링 없이 인트라 플래너 모드, 인트라 DC 모드, 수평 인트라 예측 모드, 수직 인트라 예측 모드, 좌하단 방향의 인트라 예측 모드(즉, 2번 인트라 예측 모드), 및 좌하단 방향의 인트라 예측 모드에 인접한 8개의 방향성 인트라 예측 모드, 우상단 방향의 인트라 예측 모드 및 우상단 방향의 인트라 예측 모드에 인접한 8개의 방향성 인트라 예측 모드에 적용될 수 있다.For example, the prediction result of the intra planner mode may be further corrected by PDPC. In addition, in one embodiment, the PDPC is an intra-planar mode, an intra DC mode, a horizontal intra prediction mode, a vertical intra prediction mode, an intra prediction mode in the lower left direction (ie, intra prediction mode 2), and a left without additional signaling. It may be applied to eight directional intra prediction modes adjacent to the lower direction intra prediction mode, eight directional intra prediction modes adjacent to the upper right direction and eight directional intra prediction modes adjacent to the upper right direction intra prediction mode.
구체적으로, PDPC가 적용되는 경우, 인트라 예측 모드 및 참조 샘플들의 선형 조합을 기반으로 예측되는 (x,y) 좌표의 예측 샘플은 다음의 수학식 4에 의해 도출될 수 있다.Specifically, when PDPC is applied, a prediction sample of (x, y) coordinates predicted based on the intra prediction mode and a linear combination of reference samples may be derived by the following Equation (4).
Figure PCTKR2019013024-appb-img-000009
Figure PCTKR2019013024-appb-img-000009
여기서, R x,-1 및 R -1,y는 (x,y) 좌표의 현재 샘플의 상측 및 좌측에 위치하는 상측 참조 샘플 및 좌측 참조 샘플을 나타내고, R -1,-1는 현재 블록의 좌상단 코너에 위치하는 좌상단 참조 샘플을 나타내며, wL, wT, 및 wTL은 가중치 값을 나타낸다.Here, R x, -1 and R -1, y denote upper reference samples and left reference samples located above and to the left of the current sample of (x, y) coordinates, and R -1, -1 of the current block The upper left reference sample located at the upper left corner represents wL, wT, and wTL represent weight values.
한편, PDPC가 인트라 플래너 모드, 인트라 DC 모드, 수평 인트라 예측 모드 및 수직 인트라 예측 모드에 적용되는 경우, 예를 들어 HEVC(high efficiency video coding)의 DC 모드 바운더리 필터 또는 수직/수평 모드 에지 필터와 같은 추가적인 바운더리 필터들이 요구되지 않을 수 있다.On the other hand, when the PDPC is applied to the intra planar mode, intra DC mode, horizontal intra prediction mode and vertical intra prediction mode, for example, a DC mode boundary filter of high efficiency video coding (HEVC) or a vertical / horizontal mode edge filter Additional boundary filters may not be required.
도 23은 본 명세서의 실시예에 따른 PDPC에서 정의되는 참조 샘플들의 예를 도시한다. 도 23a 내지 도 23d를 참고하면, 다양한 예측 모드에 적용되는 PDPC에서 정의되는 참조 샘플들(R x,-1, R 1,y, R -1,-1)이 도시된다.23 shows an example of reference samples defined in a PDPC according to an embodiment of the present specification. 23A to 23D, reference samples (R x, -1 , R 1, y , and R -1, -1 ) defined in PDPC applied to various prediction modes are illustrated.
한편, PDPC의 가중치들은 예측 모드들에 기반하여 도출될 수 있다. PDPC의 가중치들은 아래의 표 5와 같이 도출될 수 있다.Meanwhile, the weights of the PDPC can be derived based on prediction modes. PDPC weights can be derived as shown in Table 5 below.
Figure PCTKR2019013024-appb-img-000010
Figure PCTKR2019013024-appb-img-000010
위치에 따른 인트라 예측 조합에 따르면, 코딩 장치는 예측 모드에 따라 참조 샘플을 사용하여 예측 샘플을 생성한 후, 주변의 참조 샘플을 사용하여 예측 샘플을 개선(업데이트)한다. PDPC는 모든 인트라 예측 모드에 적용되는 대신, 도 15의 65개의 방향성 인트라 예측 모드를 기준으로 하여 플래너, DC, 2(우하단 방향 모드), VDIA(좌상단 방향 모드), Hor(수평 방향 모드), Ver(수직 방향 모드), 2 모드 주변의 모드들(3번 모드 내지 10번 모드), VDIA 모드의 주변 모드들(58번 모드 내지 65번 모드)에 제한적으로 적용될 수 있다. 또한, PDPC는 현재 부호화하고자 하는 블록 내의 모든 예측 샘플에 적용되지 않고, 블록의 크기를 고려하여 현재 블록 내 일부의 예측에 가변적으로 적용될 수 있다.According to the intra prediction combination according to the location, the coding apparatus generates a prediction sample using the reference sample according to the prediction mode, and then improves (updates) the prediction sample using the surrounding reference samples. Instead of being applied to all intra prediction modes, PDPC is based on the 65 directional intra prediction modes in FIG. 15, planner, DC, 2 (lower right direction mode), VDIA (upper left direction mode), Hor (horizontal direction mode), Ver (vertical direction mode), 2 mode around the mode (3 to 10 mode), VDIA mode of the peripheral mode (58 to 65 mode) can be limitedly applied. Also, PDPC is not applied to all prediction samples in a current block to be coded, and may be variably applied to some predictions in a current block in consideration of a block size.
MRL (multi-reference line intra prediction)MRL (multi-reference line intra prediction)
도 24는 본 명세서의 실시예에 따른 다중 참조 라인 예측을 적용하기 위한 참조 라인들의 예를 도시한다.24 illustrates an example of reference lines for applying multiple reference line prediction according to an embodiment of the present specification.
종래의 인트라 픽처 예측은 직접적으로 이웃하는 샘플들을 예측을 위한 참조 샘플들로 사용한다. MRL은 종래의 예측을 확장하여 현재 예측 블록의 좌측 및 상측으로 하나 또는 그 이상의(예: 1 내지 3) 샘플 거리를 갖는 이웃 샘플들을 사용한다. 종래의 직접적으로 이웃하는 참조 샘플 라인들 및 연장된 참조 라인들이 도 24에 도시된다. 도 24에서 mrl_idx는 인트라 예측 모드들(예: 방향성 또는 비방향성 예측 모드들)과 관련되어 CU의 인트라 예측에 어느 라인이 사용되는지를 지시한다.Conventional intra picture prediction directly uses neighboring samples as reference samples for prediction. MRL extends conventional prediction to use neighbor samples with one or more (eg, 1 to 3) sample distances to the left and top of the current prediction block. Conventional direct neighboring reference sample lines and extended reference lines are shown in FIG. 24. In FIG. 24, mrl_idx indicates which line is used for intra prediction of the CU in connection with intra prediction modes (eg, directional or non-directional prediction modes).
예측 샘플을 생성하기 위한 보간 필터Interpolation filter to generate predictive samples
한편, 참조 샘플들의 보간을 통하여 현재 블록의 예측 샘플이 생성되는 경우, 보간을 위한 보간 필터는 여러 방법을 통하여 도출될 수 있다.Meanwhile, when a prediction sample of a current block is generated through interpolation of reference samples, an interpolation filter for interpolation may be derived through various methods.
인트라 바운더리 필터Intra boundary filter
인트라 예측이 수행된 이후, 현재 블록의 예측 샘플들과 주변의 이미 복원된 샘플과의 오차를 감소시키기 위하여 블록 경계면을 완화시키기 위한 필터가 적용될 수 있다. 예를 들어, 예측된 모드 및 블록의 크기에 따라 필터 적용 여부 및 필터 타입이 결정될 수 있다.After intra prediction is performed, a filter for relaxing the block boundary may be applied to reduce the error between the prediction samples of the current block and the neighboring already reconstructed samples. For example, whether the filter is applied and the filter type may be determined according to the predicted mode and the size of the block.
크로마 성분에 대한 예측 샘플 도출Derivation of predictive samples for chroma components
개요summary
현재 블록에 인트라 예측이 수행되는 경우, 현재 블록의 루마 성분 블록(루마 블록)에 대한 예측 및 크로마 성분 블록(크로마 블록)에 대한 예측이 수행될 수 있으며, 이 경우 크로마 성분(크로마 블록)에 대한 인트라 예측 모드는 루마 성분(루마 블록)에 대한 인트라 예측 모드와 개별적으로 설정될 수 있다.When intra prediction is performed on the current block, prediction for the luma component block (luma block) of the current block and prediction for the chroma component block (chroma block) may be performed, in this case, for the chroma component (chroma block) The intra prediction mode may be set separately from the intra prediction mode for the luma component (luma block).
예를 들어, 크로마 성분에 대한 인트라 예측 모드는 인트라 크로마 예측 모드 정보를 기반으로 지시될 수 있으며, 인트라 크로마 예측 모드 정보는 intra_chroma_pred_mode 신택스 요소의 형태로 시그널링 될 수 있다. 일 예로, 인트라 크로마 예측 모드 정보는 플래너 모드, DC 모드, 수직 모드, 수평 모드, DM(direct mode), LM(linear mode) 중 하나를 가리킬 수 있다. 여기서, 플래너 모드는 0번 인트라 예측 모드, DC 모드는 1번 인트라 예측 모드, 수직 모드는 26번 인트라 예측 모드, 수평 모드는 10번 인트라 예측 모드를 나타낼 수 있다.For example, the intra prediction mode for the chroma component may be indicated based on the intra chroma prediction mode information, and the intra chroma prediction mode information may be signaled in the form of an intra_chroma_pred_mode syntax element. As an example, the intra chroma prediction mode information may indicate one of planner mode, DC mode, vertical mode, horizontal mode, direct mode (DM), and linear mode (LM). Here, the planner mode may represent the intra prediction mode 0, the DC mode the intra prediction mode 1, the vertical mode the 26th intra prediction mode, and the horizontal mode the 10th intra prediction mode.
한편, DM과 LM은 루마 블록의 정보를 이용하여 크로마 블록을 예측하는 종속적인 인트라 예측 모드이다. DM은 루마 성분에 대한 인트라 예측 모드와 동일한 인트라 예측 모드가 크로마 성분에 대한 인트라 예측 모드로 적용되는 모드를 나타낼 수 있다. 또한, LM은 크로마 블록에 대한 예측 블록을 생성하는 과정에서 루마 블록의 복원된 샘플들을 서브샘플링한 후, 서브샘플링된 샘플들에 적어도 하나의 LM 파라미터를 적용하여 도출된 샘플들을 크로마 블록의 예측 샘플들로 사용하는 인트라 예측 모드를 나타낼 수 있다.Meanwhile, DM and LM are dependent intra prediction modes for predicting chroma blocks using information of luma blocks. The DM may indicate a mode in which the same intra prediction mode as the intra prediction mode for the luma component is applied as the intra prediction mode for the chroma component. In addition, in the process of generating a prediction block for the chroma block, the LM subsamples the reconstructed samples of the luma block, and then applies the at least one LM parameter to the subsampled samples to predict the samples derived from the chroma block. It may indicate an intra prediction mode to be used.
크로마 인트라 코딩을 위한 다중 DM(direct mode)들Multiple direct modes (DM) for chroma intra coding
도 25는 본 명세서의 실시예에 따른 다중 직접 모드의 예를 도시한다.25 shows an example of a multiple direct mode according to an embodiment of the present specification.
예를 들어, 현재 크로마 블록에 MDM(multiple direct mode)가 적용될 수 있다.For example, MDM (multiple direct mode) may be applied to the current chroma block.
MDM은 기존 단일 모드인 DM 모드를 복수의 모드로 확장하여 사용한다. 즉, 크로마 영상의 인트라 예측 모드 구성시 다름과 같이 복수의 DM 모드가 선택될 수 있다.MDM uses an existing single mode, DM mode, by expanding to multiple modes. That is, when configuring the intra prediction mode of the chroma image, a plurality of DM modes may be selected as follows.
- 동일위치 휘도 블록의 CR, TL, TR, BL, BR (도 25 참조) 위치의 화면 내 예측 모드-In-screen prediction mode of CR, TL, TR, BL, BR (see Fig. 25) position of the same position luminance block
- 현 색채 블록 주변 블록인 L, A, BL, AR, AL 블록의 화면 내 예측 모드-In-screen prediction mode of L, A, BL, AR, and AL blocks, which are blocks around the current color block
- PLANAR, DC 모드-PLANAR, DC mode
- 앞서 선택된 angular 모드에 -1 or +1 angular 모드--1 or +1 angular mode to the previously selected angular mode
- Vertical, Horizontal, 2, 34, 66, 10, 26번 모드(65 방향 모드인 경우)-Vertical, Horizontal, 2, 34, 66, 10, 26 mode (for 65 direction mode)
- 5개의 예측 모드가 선택되지 않았을 경우, 앞서 선택된 모드를 복사하여 선택-If 5 prediction modes are not selected, copy and select the previously selected mode
크로스-컴포넌트 선형 모델 (cross-component linear model)Cross-component linear model
도 26은 본 명세서의 실시예에 따른 선형 모델 파라미터를 도출하기 위한 샘플들의 위치의 예를 도시한다.26 shows an example of the location of samples for deriving a linear model parameter according to an embodiment of the present specification.
또한, 현재 크로마 블록에 CCLM(cross-component linear model) 모드가 적용될 수 있다. CCLM 모드는 루마 블록과 상기 루마 블록에 대응하는 크로마 블록과의 상관성(correlation)을 이용한 인트라 예측 모드로, 루마 블록의 주변 샘플들 및 크로마 블록의 주변 샘플들을 기반으로 선형 모델이 도출될 수 있고, 도출된 선형 모델 및 루마 블록의 복원 샘플들을 기반으로 상기 크로마 블록의 예측 샘플들이 도출되는 모드를 나타낼 수 있다. 구체적으로 현재 크로마 블록에 CCLM 모드가 적용되는 경우, 현재 크로마 블록의 인트라 예측에 사용되는 주변 샘플들 및 현재 루마 블록의 인트라 예측에 사용되는 주변 샘플들을 기반으로 선형 모델에 대한 파라미터들
Figure PCTKR2019013024-appb-img-000011
및
Figure PCTKR2019013024-appb-img-000012
가 도출될 수 있다. 예를 들어, 선형 모델은 아래의 수학식 5을 기반으로 표현될 수 있다.In addition, a cross-component linear model (CCLM) mode may be applied to the current chroma block. The CCLM mode is an intra prediction mode using correlation between a luma block and a chroma block corresponding to the luma block, and a linear model may be derived based on the peripheral samples of the luma block and the peripheral samples of the chroma block, A mode in which prediction samples of the chroma block is derived may be represented based on the derived linear model and reconstructed samples of the luma block. Specifically, when CCLM mode is applied to the current chroma block, parameters for the linear model based on neighboring samples used for intra prediction of the current chroma block and neighboring samples used for intra prediction of the current chroma block.
Figure PCTKR2019013024-appb-img-000011
And
Figure PCTKR2019013024-appb-img-000012
Can be derived. For example, the linear model may be expressed based on Equation 5 below.
Figure PCTKR2019013024-appb-img-000013
Figure PCTKR2019013024-appb-img-000013
여기서, predc(i,j) 는 현재 크로마 블록의 (i,j) 좌표의 예측 샘플을 나타낼 수 있고, recL'(i,j)는 현재 루마 블록의 (i,j) 좌표의 복원 샘플을 나타낼 수 있다. 또한, recL'(i,j)는 상기 현재 루마 블록의 다운 샘플링(down-sampled)된 복원 샘플을 나타낼 수 있다.Here, predc (i, j) may represent a prediction sample of (i, j) coordinates of the current chroma block, and recL '(i, j) represents a reconstruction sample of (i, j) coordinates of the current luma block. You can. In addition, recL '(i, j) may indicate a down-sampled reconstructed sample of the current luma block.
한편, 선형 모델의 파라미터
Figure PCTKR2019013024-appb-img-000014
및 파라미터
Figure PCTKR2019013024-appb-img-000015
는 현재 루마 블록의 인트라 예측에 사용되는 주변 샘플들 및 현재 크로마 블록의 인트라 예측에 사용되는 주변 샘플들을 기반으로 도출될 수 있다. 파라미터
Figure PCTKR2019013024-appb-img-000016
및 파라미터
Figure PCTKR2019013024-appb-img-000017
는 다음의 수학식 6 및 수학식 7을 기반으로 도출될 수 있다.Meanwhile, the parameters of the linear model
Figure PCTKR2019013024-appb-img-000014
And parameters
Figure PCTKR2019013024-appb-img-000015
May be derived based on neighboring samples used for intra prediction of the current luma block and neighboring samples used for intra prediction of the current chroma block. parameter
Figure PCTKR2019013024-appb-img-000016
And parameters
Figure PCTKR2019013024-appb-img-000017
Can be derived based on the following equations (6) and (7).
Figure PCTKR2019013024-appb-img-000018
Figure PCTKR2019013024-appb-img-000018
Figure PCTKR2019013024-appb-img-000019
Figure PCTKR2019013024-appb-img-000019
수학식 6 및 수학식 7에서, L(n)은 현재 루마 블록의 상측 주변 샘플들 및 좌측 주변 샘플들을 나타낼 수 있고, C(n)은 현재 크로마 블록의 상측 주변 샘플들 및 좌측 주변 샘플들을 나타낼 수 있다. 또한, L(n)은 상기 현재 루마 블록의 다운 샘플링(down-sampled)된 상측 주변 샘플들 및 좌측 주변 샘플들을 나타낼 수 있다. 또한, N은 현재 크로마 블록의 폭(width)과 높이(height) 중 작은 값의 2배인 값을 나타낼 수 있다.In equations (6) and (7), L (n) may represent upper peripheral samples and left peripheral samples of the current luma block, and C (n) represents upper peripheral samples and left peripheral samples of the current chroma block. You can. Also, L (n) may represent down-sampled upper peripheral samples and left peripheral samples of the current luma block. In addition, N may represent a value that is twice the smaller of the width and height of the current chroma block.
한편, 크로마 인트라 예측 모드를 코딩하기 위하여 총 6개의 인트라 예측 모드가 크로마 인트라 모드 코딩을 위해 허용될 수 있다. 6개의 인트라 예측 모드들은 5개의 기존 인트라 예측 모드들과 하나의 CCLM이 포함될 수 있다. 아래의 표 6은 크로마 인트라 예측 모드 정보 및 유도 과정을 나타낼 수 있다.Meanwhile, in order to code the chroma intra prediction mode, a total of six intra prediction modes may be allowed for the chroma intra mode coding. The six intra prediction modes may include five existing intra prediction modes and one CCLM. Table 6 below may indicate chroma intra prediction mode information and derivation processes.
Figure PCTKR2019013024-appb-img-000020
Figure PCTKR2019013024-appb-img-000020
실시예 1Example 1
본 실시예는 상술한 인트라 예측 모드 결정 및 인트라 예측 모드의 시그널링에 관한 것으로, 목차 MRL(multi-reference line intra prediction)에서 현재 예측 블록의 예측에 사용될 참조 샘플 라인에 대한 정보(MRL 인덱스)(mrl_idx)를 효율적으로 부호화하기 위한 방법에 관한 것이다. MRL을 적용할 때 코딩 장치는, 예를 들어, 총 3개의 참조 샘플 라인(현재 블록의 좌상측 경계를 기준으로 0번째 라인, 1번째 라인, 또는 3번째 라인)을 사용하여 인트라 예측을 수행할 수 있다. 본 문서에서 MRL을 적용한다고 함은 현재 블록의 주변에 위치한 하나 또는 그 이상의 참조 샘플 라인들을 사용하여 인트라 예측을 수행함을 의미한다. MRL 부호화 복잡도를 감소시키기 위하여, 코딩 장치는 모든 인트라 예측 모드에 대해 MRL을 적용하지 않고 MPM 후보 리스트에 구성된 인트라 예측 모드에 제한적으로 MRL을 적용함으로써 최적의 참조 샘플 라인을 결정할 수 있다. The present embodiment relates to the above-described intra prediction mode determination and signaling of the intra prediction mode. Contents Information on a reference sample line (MRL index) to be used for prediction of a current prediction block in multi-reference line intra prediction (MRL) (mrl_idx ). When applying MRL, the coding apparatus performs intra prediction using, for example, a total of three reference sample lines (0th line, 1st line, or 3rd line based on the upper left boundary of the current block). You can. The application of MRL in this document means that intra prediction is performed using one or more reference sample lines located around the current block. In order to reduce the MRL coding complexity, the coding apparatus may determine the optimal reference sample line by applying MRL limitedly to the intra prediction mode configured in the MPM candidate list without applying MRL to all intra prediction modes.
도 27은 본 명세서의 실시예에 따른 MRL 인트라 예측이 적용된 블록에 대한 디코딩 프로세스의 예를 도시한다. 도 27에 도시된 프로세스는 디코딩 장치(200)의 인트라 예측부(265)에 의해 수행될 수 있다.27 shows an example of a decoding process for a block to which MRL intra prediction is applied according to an embodiment of the present specification. The process illustrated in FIG. 27 may be performed by the intra prediction unit 265 of the decoding device 200.
도 27에 도시된 것과 같이, 디코딩 장치(200)는 CU 레벨에서 가장 먼저 참조 샘플 라인을 지시하는 인덱스(MRL 인덱스)(mrl_idx)을 파싱할 수 있다(S2710). 이후 디코딩 장치(200)는 MPM이 사용되는지 여부를 지시하는 MPM 플래그(intra_luma_mpm_flag)를 파싱한다(S2720). 만약, 현재 블록에 MPM이 사용되면(즉, intra_luma_mpm_flag의 값이 1이면), 디코딩 장치(200)는 MPM 인덱스(intra_luma_mpm_idx)를 파싱할 수 있다(S2730). 만약 MPM이 사용되지 않으면(즉, intra_luma_mpm_flag의 값이 0이면), 디코딩 장치(200)는 인트라 모드 정보를 파싱한다(S2740). 여기서, 인트라 모드 정보는 MPM 리스트에 포함되지 않은 리메이닝 인트라 예측 모드들 중 현재 블록에 사용되는 인트라 예측 모드를 나타낼 수 있다. 인트라 모드 정보는 리메이닝 모드 정보라고 불릴 수 있으며 이는 intra_luma_mpm_remainder로 표시될 수 있다.As illustrated in FIG. 27, the decoding apparatus 200 may parse an index (MRL index) (mrl_idx) indicating the reference sample line first in the CU level (S2710). Thereafter, the decoding apparatus 200 parses the MPM flag (intra_luma_mpm_flag) indicating whether the MPM is used (S2720). If MPM is used for the current block (that is, intra_luma_mpm_flag is 1), the decoding apparatus 200 may parse the MPM index (intra_luma_mpm_idx) (S2730). If MPM is not used (that is, the value of intra_luma_mpm_flag is 0), the decoding apparatus 200 parses the intra mode information (S2740). Here, the intra mode information may indicate an intra prediction mode used for the current block among the remodeling intra prediction modes not included in the MPM list. Intra-mode information may be called re-maining mode information, which may be indicated as intra_luma_mpm_remainder.
도 28은 본 명세서의 실시예에 따른 MRL 인트라 예측이 적용된 블록에 대한 디코딩 프로세스의 다른 예를 도시한다. 도 28에 도시된 프로세스는 디코딩 장치(200)의 인트라 예측부(265)에 의해 수행될 수 있다.28 illustrates another example of a decoding process for a block to which MRL intra prediction is applied according to an embodiment of the present specification. The process illustrated in FIG. 28 may be performed by the intra prediction unit 265 of the decoding device 200.
MRL을 적용함에 있어서, 코딩 장치는 인트라 부호화의 복잡도를 감소시키기 위해 모든 인트라 예측 모드에 MRL을 적용하지 않고 MPM 리스트에 생성된 후보 모드에 대해서만 MRL을 제한적으로 적용할 수 있다. 즉, MRL은 MPM 리스트 내의 후보 모드로 발생이 제한될 수 있다. 도 27에 따른 MRL 인트라 예측 방법에 따르면, 디코딩 장치(200)는 모든 CU 레벨에서 참조 샘플 라인 정보(MRL 인덱스)(mrl_idx)를 확인하므로, 이에 따른 부호화 낭비가 발생할 수 있다. 따라서 본 명세서의 실시예는, MRL이 MPM 리스트의 후보 모드에서 제한적으로 적용되는 사실을 기반으로 MPM 플래그(intra_luma_mpm_flag) 확인 후, 참조 샘플 라인(mrl_idx) 정보를 확인하는 방법을 제공한다. In applying MRL, in order to reduce the complexity of intra coding, the coding apparatus can limitly apply MRL to candidate modes generated in the MPM list without applying MRL to all intra prediction modes. That is, the MRL may be restricted to a candidate mode in the MPM list. According to the MRL intra prediction method according to FIG. 27, since the decoding apparatus 200 checks reference sample line information (MRL index) (mrl_idx) at all CU levels, encoding waste may occur accordingly. Therefore, the embodiment of the present specification provides a method of checking the reference sample line (mrl_idx) information after checking the MPM flag (intra_luma_mpm_flag) based on the fact that the MRL is limitedly applied in the candidate mode of the MPM list.
즉, 도 28에 도시된 것과 같이 디코딩 장치(200)는 먼저 MPM 플래그(intra_luma_mpm_flag)를 파싱한다(S2710). 만약 MPM이 적용되면(즉, intra_luma_mpm_flag의 값이 1이면), 디코딩 장치(200)는 참조 샘플 라인 정보(mrl_idx)를 파싱하고(S2820) MPM 인덱스 정보(intra_luma_mpm_idx)를 파싱한다(S2830). 비록 도 28에서 MRL 인덱스(mrl_idx)가 MPM 인덱스보다 더 먼저 파싱되는 것으로 도시되었으나 이는 예시이고, MRL 인덱스(mrl_idx)는 MPM 인덱스보다 더 늦게 파싱될 수도 있고, 하나의 신텍스 요소로 통합되어 동시에 파싱될 수도 있다.That is, as illustrated in FIG. 28, the decoding apparatus 200 first parses the MPM flag (intra_luma_mpm_flag) (S2710). If MPM is applied (that is, the value of intra_luma_mpm_flag is 1), the decoding apparatus 200 parses the reference sample line information (mrl_idx) (S2820) and parses the MPM index information (intra_luma_mpm_idx) (S2830). Although the MRL index (mrl_idx) in FIG. 28 is shown to be parsed before the MPM index, this is an example, and the MRL index (mrl_idx) may be parsed later than the MPM index, and may be parsed at the same time as one syntactic element. It might be.
만약, MPM이 적용되지 않으면(즉, intra_luma_mpm_flag의 값이 0이면), 디코딩 장치(200)는 참조 샘플 라인 정보(mrl_idx)의 확인 없이 바로 (리메이닝) 인트라 모드 정보(intra_luma_mpm_remainder)를 파싱할 수 있다(S2840). 이와 같은 방법을 통하여 조건적으로 참조 샘플 라인 정보에 불필요하게 할당되던 비트를 줄일 수 있고, 인트라 예측 관련 정보의 시그널링을 최적화할 수 있으며, 전반적인 인트라 코딩 효율을 향상시킬 수 있다.If the MPM is not applied (that is, the value of intra_luma_mpm_flag is 0), the decoding apparatus 200 may parse the intra-mode information (intra_luma_mpm_remainder) immediately without re-checking the reference sample line information (mrl_idx). (S2840). Through this method, bits unnecessarily allocated to reference sample line information can be reduced, signaling of intra prediction related information can be optimized, and overall intra coding efficiency can be improved.
본 명세서의 실시예에 따른 MPM 플래그(intra_luma_mpm_flag), MPM 인덱스 정보(intra_luma_mpm_idx), 참조 샘플 라인 정보(MRL 인덱스)(mrl_idx), (리메이닝) 인트라 모드 정보(intra_luma_mpm_remainder)는 예를 들어 다음 표 7과 같이 CU 레벨에서 CU 신택스에 포함되어 구성될 수 있다. CU 신택스는 인코딩 장치(100)에 의하여 인코딩되어 비트스트림에 포함될 수 있다.The MPM flags (intra_luma_mpm_flag), MPM index information (intra_luma_mpm_idx), reference sample line information (MRL index) (mrl_idx), and (remodeling) intra mode information (intra_luma_mpm_remainder) according to an embodiment of the present specification are shown in the following Table 7 Likewise, it may be configured to be included in the CU syntax at the CU level. CU syntax may be encoded by the encoding device 100 and included in the bitstream.
Figure PCTKR2019013024-appb-img-000021
Figure PCTKR2019013024-appb-img-000021
표 7에서 각 신택스 요소들의 순서는 시그널링/파싱 순서에 대응될 수 있다. 또한, 상술한 바와 같이 비록 표 7에서 MRL 인덱스(mrl_idx)가 MPM 인덱스(intra_luma_mpm_idx)보다 더 먼저 파싱되도록 구성된 것으로 표시되었으나 이는 예시이고, MRL 인덱스(mrl_idx)는 MPM 인덱스(intra_luma_mpm_idx)보다 더 늦게 파싱되도록 구성될 수도 있고, 하나의 신택스 요소로 통합되어 동시에 파싱되도록 구성될 수도 있다.In Table 7, the order of each syntax element may correspond to the signaling / parsing order. In addition, although the MRL index (mrl_idx) is shown to be configured to be parsed earlier than the MPM index (intra_luma_mpm_idx) in Table 7, as described above, this is an example, and the MRL index (mrl_idx) is parsed later than the MPM index (intra_luma_mpm_idx). It may be configured, or may be configured to be parsed simultaneously as one syntax element.
도 29는 본 명세서의 실시예에 따른 MRL 인트라 예측이 적용된 블록에 대한 인코딩 프로세스의 예를 도시한다. 도 29의 동작들은 인코딩 장치(100)의 인트라 예측부(185)에 의해 수행될 수 있다.29 shows an example of an encoding process for a block to which MRL intra prediction is applied according to an embodiment of the present specification. The operations of FIG. 29 may be performed by the intra prediction unit 185 of the encoding device 100.
인코딩 장치(100)는 RD 비용에 기반하여 현재 블록에 대한 인트라 예측 모드(및 사용할 참조 샘플 라인)을 결정하고, 인트라 예측 모드(및 사용할 참조 샘플 라인)를 기반으로 MRL 인트라 예측과 관련된 정보를 생성 및 인코딩할 수 있다. MRL 인트라 예측과 관련된 정보는 MPM 플래그(intra_luma_mpm_flag), MPM 인덱스(intra_luma_mpm_idx), 참조 샘플 라인 정보(MRL 인덱스)(mrl_idx), (리메이닝) 인트라 모드 정보(intra_luma_mpm_remainder)를 포함할 수 있다. 이 경우 인코딩 장치(100)는 상술한 표 7과 같은 신택스 구조가 되도록 MRL 인트라 예측과 관련된 정보를 구성할 수 있다.The encoding apparatus 100 determines an intra prediction mode (and a reference sample line to be used) for the current block based on the RD cost, and generates information related to MRL intra prediction based on the intra prediction mode (and a reference sample line to be used). And encode. Information related to the MRL intra prediction may include an MPM flag (intra_luma_mpm_flag), an MPM index (intra_luma_mpm_idx), reference sample line information (MRL index) (mrl_idx), and a (remodeling) intra mode information (intra_luma_mpm_remainder). In this case, the encoding apparatus 100 may configure information related to MRL intra prediction so as to have a syntax structure as shown in Table 7 above.
인코딩 장치(100)는 MPM 플래그(intra_luma_mpm_flag) 생성/구성한 후, 참조 샘플 라인 정보(mrl_idx)를 생성/구성할 수 있다. 구체적으로 도 29에 도시된 것과 같이 인코딩 장치(100)는 먼저 MPM flag(intra_luma_mpm_flag)를 생성/구성한 후(S2910) MPM이 적용되는지 여부를 결정한다(S2920). 만약 MPM이 적용되면(즉, intra_luma_mpm_flag의 값이 1이면), 참조 샘플 라인 정보(mrl_idx) 정보를 생성/구성하고(S2930) MPM 인덱스 정보(intra_luma_mpm_idx)를 생성/구성한다(S2940). 비록 도 29에서 MRL 인덱스(mrl_idx)가 MPM 인덱스보다 더 먼저 생성/구성되는 것으로 도시되었으나 이는 예시이고, MRL 인덱스(mrl_idx)는 MPM 인덱스보다 더 늦게 생성/구성될 수도 있고, 하나의 신텍스 요소로 통합되어 동시에 생성/구성될 수도 있다. 여기서 더 먼저 구성되었다 함은 상기 CU 신택스의 처리 과정에서 디코딩 장치(100)에 의해 더 먼저 파싱되도록 구성됨을 나타낼 수 있다.The encoding apparatus 100 may generate / configure the MPM flag (intra_luma_mpm_flag) and then generate / configure the reference sample line information (mrl_idx). Specifically, as illustrated in FIG. 29, the encoding apparatus 100 first generates / configures an MPM flag (intra_luma_mpm_flag) (S2910) and then determines whether MPM is applied (S2920). If MPM is applied (that is, the value of intra_luma_mpm_flag is 1), reference sample line information (mrl_idx) information is generated / configured (S2930) and MPM index information (intra_luma_mpm_idx) is generated / configured (S2940). Although the MRL index (mrl_idx) in FIG. 29 is shown to be created / configured earlier than the MPM index, this is an example, and the MRL index (mrl_idx) may be created / configured later than the MPM index, and is integrated into one syntax element. Can be created / configured at the same time. Here, the earlier configuration may indicate that the CU syntax is configured to be parsed earlier by the decoding apparatus 100 in the process of processing.
도 30은 본 명세서의 실시예에 따른 인트라 예측을 수행하기 위한 흐름도의 예를 도시한다. 도 30의 각 과정들은 인코딩 장치(100)의 인트라 예측부(185) 또는 디코딩 장치(200)의 인터 예측부(265)에 의해 수행될 수 있다.30 shows an example of a flowchart for performing intra prediction according to an embodiment of the present specification. Each process of FIG. 30 may be performed by the intra prediction unit 185 of the encoding device 100 or the inter prediction unit 265 of the decoding device 200.
S3010 단계에서, 코딩 장치는 MPM 플래그에 기반하여 현재 블록에 대한 MPM의 적용 여부를 확인한다. 예를 들어, 코딩 장치는 코딩 유닛 신택스(coding unit syntax)에 포함된 MPM 플래그(예: intra_luma_mpm_flag)를 파싱함으로써 MPM의 적용여부를 확인할 수 있다. 여기서, MPM은 현재 블록의 주변 블록의 인트라 예측 모드를 사용하여 현재 블록에 대한 예측을 수행하는 모드를 의미한다.In step S3010, the coding device determines whether to apply the MPM to the current block based on the MPM flag. For example, the coding device may check whether the MPM is applied by parsing the MPM flag (eg, intra_luma_mpm_flag) included in the coding unit syntax. Here, the MPM means a mode for performing prediction on the current block using the intra prediction mode of the neighboring block of the current block.
S3020 단계에서, 코딩 장치는, MPM이 적용되면, 현재 블록의 예측을 위한 참조 라인 인덱스 및 MPM 인덱스를 확인한다. 예를 들어, MPM 플래그가 1이면, 코딩 장치는 MPM이 적용됨을 확인하고, 참조 라인 인덱스(예: mrl_idx 또는 intra_luma_ref_idx) 및 MPM 인덱스(예: intra_luma_mpm_idx)를 확인할 수 있다. In step S3020, when the MPM is applied, the coding device identifies a reference line index and an MPM index for prediction of the current block. For example, if the MPM flag is 1, the coding device may confirm that the MPM is applied, and check the reference line index (eg, mrl_idx or intra_luma_ref_idx) and MPM index (eg, intra_luma_mpm_idx).
여기서, 참조 라인 인덱스는 현재 블록의 예측을 위해 사용되는 참조 샘플이 위치한 라인(행 또는 열)을 지시하는 정보로서, 현재 블록의 좌측 또는 상측 경계에 직접적으로 인접한 라인뿐만 아니라 일정 샘플 거리만큼 이격된 라인을 지시할 수 있다. 예를 들어, 참조 라인 인덱스가 0이면 현재 블록과 0 샘플 거리만큼 이격된(직접적으로 인접한) 라인이 참조 라인으로 지시되고, 참조 라인 인덱스가 1이면 현재 블록과 1 샘플 거리만큼 이격된 라인이 참조 라인으로 지시되고, 참조 라인 인덱스가 2이면 현재 블록과 3 샘플 거리만큼 이격된 라인이 참조 라인으로 지시될 수 있다.Here, the reference line index is information indicating a line (row or column) in which the reference sample used for prediction of the current block is located, spaced apart by a predetermined sample distance as well as a line directly adjacent to the left or upper boundary of the current block. You can indicate the line. For example, if the reference line index is 0, a line spaced from the current block by 0 sample distance (directly adjacent) is indicated as a reference line, and if the reference line index is 1, a line spaced 1 sample distance from the current block is referenced. If the reference line index is 2 and the reference line index is 2, a line spaced by 3 sample distances from the current block may be indicated as the reference line.
또한, MPM 인덱스는 MPM이 적용되는 경우 현재 블록에 대하여 구성된 MPM 리스트 중에서 현재 블록의 예측을 위해 사용되는 인트라 예측 모드를 지시하는 정보일 수 있다. Further, the MPM index may be information indicating an intra prediction mode used for prediction of a current block among MPM lists configured for a current block when MPM is applied.
일 실시예에서, 코딩 장치는 표 7과 같이 참조 라인 인덱스(mrl_idx)를 파싱한 이후 MPM 인덱스(intra_luma_mpm_idx)를 확인할 수 있으나, 반대로 MPM 인덱스(intra_luma_mpm_idx)를 먼저 확인한 이후 참조 라인 인덱스(mrl_idx)를 파싱할 수 있다.In one embodiment, the coding device may check the MPM index (intra_luma_mpm_idx) after parsing the reference line index (mrl_idx) as shown in Table 7, but conversely, parse the reference line index (mrl_idx) after first checking the MPM index (intra_luma_mpm_idx). can do.
또 다른 실시예에서, 참조 라인 인덱스(mrl_idx) 및 MPM 인덱스(intra_luma_mpm_idx)는 하나의 신택스 엘레먼트(syntax element)로서 동시에 파싱될 수 있다.In another embodiment, the reference line index (mrl_idx) and the MPM index (intra_luma_mpm_idx) may be parsed simultaneously as one syntax element.
S3030 단계에서, 코딩 장치는 MPM 인덱스에 의해 지시되는 예측 모드에 기반하여 참조 라인 인덱스에 의해 지시되는 참조 라인의 참조 샘플로부터 현재 블록의 예측 샘플을 생성한다. In step S3030, the coding apparatus generates a prediction sample of the current block from the reference sample of the reference line indicated by the reference line index based on the prediction mode indicated by the MPM index.
일 실시예에서, MPM이 적용되지 않으면(MPM 플래그가 0이면), 디코딩 장치는 리메이닝 인트라 모드 정보(intra_luma_mpm_remainder)를 파싱하고, 리메이닝 인트라 모드 정보(intra_luma_mpm_remainder)에 기반하여 상기 현재 블록의 예측 샘플을 생성할 수 있다.In one embodiment, if MPM is not applied (if the MPM flag is 0), the decoding device parses the remodeling intra mode information (intra_luma_mpm_remainder), and a prediction sample of the current block based on the remodeling intra mode information (intra_luma_mpm_remainder) You can create
일 실시예에 따르면, 인트라 예측과 관련된 정보인 MPM 플래그, 참조 라인 인덱스, MPM 인덱스, 및 리메이닝 인트라 모드 정보는, 코딩 유닛 신택스(coding unit syntax)에 포함되어 인코더로부터 디코더로 전송될 수 있다. According to an embodiment, the information related to intra prediction, the MPM flag, the reference line index, the MPM index, and the remodeling intra mode information may be included in coding unit syntax and transmitted from an encoder to a decoder.
도 31은 본 명세서의 실시예에 따른 영상 신호를 처리하기 위한 장치의 블록도의 예를 도시한다. 도 36의 영상 신호 처리 장치는 도 2의 인코딩 장치(100) 또는 도 3의 디코딩 장치(200)에 해당할 수 있다.31 shows an example of a block diagram of an apparatus for processing an image signal according to an embodiment of the present specification. The video signal processing device of FIG. 36 may correspond to the encoding device 100 of FIG. 2 or the decoding device 200 of FIG. 3.
영상 신호를 처리하는 영상 처리 장치(3600)는, 영상 신호를 저장하는 메모리(3620)와, 상기 메모리와 결합되면서 영상 신호를 처리하는 프로세서(3610)를 포함한다.The image processing apparatus 3600 for processing an image signal includes a memory 3620 storing an image signal and a processor 3610 processing an image signal while being combined with the memory.
본 명세서의 실시예에 따른 프로세서(3610)는 영상 신호의 처리를 위한 적어도 하나의 프로세싱 회로로 구성될 수 있으며, 영상 신호를 인코딩 또는 디코딩을 위한 명령어들을 실행함으로써 영상 신호를 처리할 수 있다. 즉, 프로세서(3610)는 상술한 인코딩 또는 디코딩 방법들을 실행함으로써 원본 영상 데이터를 인코딩하거나 인코딩된 영상 신호를 디코딩할 수 있다.The processor 3610 according to an embodiment of the present disclosure may be configured with at least one processing circuit for processing an image signal, and may process an image signal by executing instructions for encoding or decoding the image signal. That is, the processor 3610 may encode the original image data or decode the encoded image signal by executing the above-described encoding or decoding methods.
본 명세서의 실시예에 따른 인트라 예측을 사용하여 비디오 신호를 처리하기 위한 장치는, 비디오 신호를 저장하는 메모리(3120)와, 메모리(3120)와 결합된 프로세서(3110)를 포함할 수 있다. 본 실시예에 따른 프로세서(3110)는, MPM 플래그에 기반하여 현재 블록에 대한 MPM의 적용 여부를 확인하고, 상기 MPM이 적용되면, 상기 현재 블록의 예측을 위한 참조 라인 인덱스 및 MPM 인덱스를 확인하고, 상기 MPM 인덱스에 의해 지시되는 예측 모드에 기반하여 상기 참조 라인 인덱스에 의해 지시되는 참조 라인의 참조 샘플로부터 상기 현재 블록의 예측 샘플을 생성하도록 설정될 수 있다.An apparatus for processing a video signal using intra prediction according to an embodiment of the present disclosure may include a memory 3120 storing a video signal and a processor 3110 coupled with the memory 3120. The processor 3110 according to the present embodiment checks whether MPM is applied to the current block based on the MPM flag, and if the MPM is applied, checks a reference line index and an MPM index for prediction of the current block. , May be set to generate the prediction sample of the current block from the reference sample of the reference line indicated by the reference line index based on the prediction mode indicated by the MPM index.
일 실시예에서, 프로세서(3110)는, 상기 MPM이 미적용되면, 리메이닝 인트라 모드 정보를 파싱하고, 상기 리메이닝 인트라 모드 정보에 기반하여 상기 현재 블록의 예측 샘플을 생성할 수 있다.In one embodiment, when the MPM is not applied, the processor 3110 may parse the remodeling intra mode information and generate a prediction sample of the current block based on the remodeling intra mode information.
일 실시예에서, 상기 MPM 플래그, 상기 참조 라인 인덱스, 상기 MPM 인덱스, 및 상기 리메이닝 인트라 모드 정보는 코딩 유닛 신택스(coding unit syntax)에 포함되어 인코더로부터 전송될 수 있다.In one embodiment, the MPM flag, the reference line index, the MPM index, and the remodeling intra-mode information may be included in coding unit syntax and transmitted from an encoder.
일 실시예에서, 프로세서(3110)는 상기 참조 라인 인덱스를 파싱한 이후 상기 MPM 인덱스를 파싱하거나, 상기 MPM 인덱스를 파싱한 이후 상기 참조 라인 인덱스를 파싱할 수 있다.In one embodiment, the processor 3110 may parse the MPM index after parsing the reference line index, or parse the reference line index after parsing the MPM index.
일 실시예에서, 상기 참조 라인 인덱스 및 상기 MPM 인덱스는 하나의 신택스 엘레먼트(syntax element)로서 동시에 파싱될 수 있다.In one embodiment, the reference line index and the MPM index may be parsed simultaneously as one syntax element.
일 실시예에서, 상기 참조 라인 인덱스는 상기 현재 블록의 예측을 위해 사용되는 상기 현재 블록의 좌측 또는 상측으로 일정 샘플 거리 이내의 주변 참조 샘플 라인의 위치를 지시할 수 있다. 또한, 참조 라인 인덱스는 상기 현재 블록의 1, 2, 또는 4 샘플 거리만큼 이격된 참조 샘플 라인을 지시할 수 있다.In one embodiment, the reference line index may indicate the location of the surrounding reference sample line within a predetermined sample distance to the left or upper side of the current block used for prediction of the current block. Also, the reference line index may indicate a reference sample line spaced by a distance of 1, 2, or 4 samples of the current block.
상술한 본 명세서의 실시예를 기반으로 인코딩 장치(100)에 의하여 도출된 인코딩된 정보(예: 인코딩된 비디오/영상 정보)는 비트스트림(bitstream) 형태로 출력될 수 있다. 인코딩된 정보는 비트스트림 형태로 NAL(network abstraction layer) 유닛 단위로 전송 또는 저장될 수 있다. 상기 비트스트림은 네트워크를 통하여 전송될 수 있고, 또는 비-일시적(non-transitory) 디지털 저장매체에 저장될 수 있다. 또한, 상술한 바와 같이 상기 비트스트림은 인코딩 장치에서 디코딩 장치로 바로 전송되지 않고, 외부 서버(ex. 컨텐츠 스트리밍 서버) 등을 통하여 스트리밍/다운로드 서비스될 수도 있다. 여기서 네트워크는 방송망 및/또는 통신망 등을 포함할 수 있고, 디지털 저장매체는 USB, SD, CD, DVD, 블루레이, HDD, SSD 등 다양한 저장매체를 포함할 수 있다.Based on the above-described embodiment of the present specification, encoded information (eg, encoded video / image information) derived by the encoding device 100 may be output in the form of a bitstream. The encoded information may be transmitted or stored in units of network abstraction layer (NAL) units in the form of a bitstream. The bitstream can be transmitted over a network, or it can be stored in a non-transitory digital storage medium. In addition, as described above, the bitstream is not directly transmitted from the encoding device to the decoding device, but may be streamed / downloaded through an external server (ex. Content streaming server). Here, the network may include a broadcasting network and / or a communication network, and the digital storage medium may include various storage media such as USB, SD, CD, DVD, Blu-ray, HDD, SSD.
본 명세서에서 설명한 실시예들은 프로세서, 마이크로 프로세서, 컨트롤러 또는 칩 상에서 구현되어 수행될 수 있다. 예를 들어, 각 도면에서 도시한 기능 유닛들은 컴퓨터, 프로세서, 마이크로 프로세서, 컨트롤러 또는 칩 상에서 구현되어 수행될 수 있다.The embodiments described herein may be implemented and implemented on a processor, microprocessor, controller, or chip. For example, the functional units illustrated in each drawing may be implemented and implemented on a computer, processor, microprocessor, controller, or chip.
본 명세서가 적용되는 처리 방법은 컴퓨터로 실행되는 프로그램의 형태로 생산될 수 있으며, 컴퓨터가 판독할 수 있는 기록 매체에 저장될 수 있다. 본 명세서에 따른 데이터 구조를 가지는 멀티미디어 데이터도 또한 컴퓨터가 판독할 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 판독할 수 있는 기록 매체는 컴퓨터로 읽을 수 있는 데이터가 저장되는 모든 종류의 저장 장치 및 분산 저장 장치를 포함한다. 상기 컴퓨터가 판독할 수 있는 기록 매체는, 예를 들어, 블루레이 디스크(BD), 범용 직렬 버스(USB), ROM, PROM, EPROM, EEPROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크 및 광학적 데이터 저장 장치를 포함할 수 있다. 또한, 상기 컴퓨터가 판독할 수 있는 기록 매체는 반송파(예를 들어, 인터넷을 통한 전송)의 형태로 구현된 미디어를 포함한다. 또한, 인코딩 방법으로 생성된 비트스트림이 컴퓨터가 판독할 수 있는 기록 매체에 저장되거나 유무선 통신 네트워크를 통해 전송될 수 있다.The processing method to which the present specification is applied may be produced in the form of a program executed by a computer, and may be stored in a computer readable recording medium. Multimedia data having a data structure according to the present specification may also be stored in a computer-readable recording medium. The computer-readable recording medium includes all kinds of storage devices and distributed storage devices in which computer-readable data is stored. The computer-readable recording medium includes, for example, Blu-ray Disc (BD), Universal Serial Bus (USB), ROM, PROM, EPROM, EEPROM, RAM, CD-ROM, magnetic tape, floppy disk and optical. It may include a data storage device. In addition, the computer-readable recording medium includes media implemented in the form of a carrier wave (for example, transmission via the Internet). In addition, the bitstream generated by the encoding method may be stored in a computer-readable recording medium or transmitted through a wired or wireless communication network.
또한, 본 명세서의 실시예는 프로그램 코드에 의한 컴퓨터 프로그램 제품으로 구현될 수 있고, 상기 프로그램 코드는 본 명세서의 실시예에 의해 컴퓨터에서 수행될 수 있다. 상기 프로그램 코드는 컴퓨터에 의해 판독가능한 캐리어 상에 저장될 수 있다.Further, the embodiments of the present specification may be implemented as a computer program product using program codes, and the program codes may be executed on a computer by the embodiments of the present specification. The program code can be stored on a computer readable carrier.
본 명세서가 적용되는 디코딩 장치 및 인코딩 장치는 디지털 기기(digital device)에 포함될 수 있다. "디지털 기기(digital device)"라 함은 예를 들어, 데이터, 컨텐트, 서비스 등을 송신, 수신, 처리 및 출력 중 적어도 하나를 수행 가능한 모든 디지털 기기를 포함한다. 여기서, 디지털 기기가 데이터, 컨텐트, 서비스 등을 처리하는 것은, 데이터, 컨텐트, 서비스 등을 인코딩 및/또는 디코딩하는 동작을 포함한다. 이러한 디지털 기기는, 유/무선 네트워크(wire/wireless network)를 통하여 다른 디지털 기기, 외부 서버(external server) 등과 페어링 또는 연결(pairing or connecting)(이하 '페어링')되어 데이터를 송수신하며, 필요에 따라 변환(converting)한다.The decoding device and the encoding device to which the present specification is applied may be included in a digital device. The term "digital device" includes, for example, all digital devices capable of performing at least one of transmission, reception, processing, and output of data, content, and services. Here, the processing of the data, content, service, etc. by the digital device includes an operation of encoding and / or decoding data, content, service, and the like. These digital devices are paired or connected (hereinafter referred to as 'pairing') with other digital devices, external servers, etc. through a wire / wireless network to transmit and receive data. Convert accordingly.
디지털 기기는 예를 들어, 네트워크 TV(network TV), HBBTV(Hybrid Broadcast Broadband TV), 스마트 TV(Smart TV), IPTV(internet protocol television), PC(Personal Computer) 등과 같은 고정형 기기(standing device)와, PDA(Personal Digital Assistant), 스마트 폰(Smart Phone), 태블릿 PC(Tablet PC), 노트북 등과 같은 모바일 기기(mobile device or handheld device)를 모두 포함한다. 본 명세서에서는 편의상 후술하는 Figure 도 33에서는 디지털 TV를, 도 34에서는 모바일 기기를 디지털 기기의 실시예로 도시하고 설명한다.Digital devices include, for example, standing devices such as network TV, HBBTV (Hybrid Broadcast Broadband TV), smart TV (Smart TV), IPTV (internet protocol television), and PC (Personal Computer). , PDA (Personal Digital Assistant), smart phones (Smart Phone), tablet PCs (Tablet PC), notebooks, mobile devices (mobile devices or handheld devices). In the present specification, a digital TV is illustrated in FIG. 33 and a mobile device in FIG. 34, which will be described later, for convenience.
한편, 본 명세서에서 기술되는 "유/무선 네트워크"라 함은, 디지털 기기들 또는 디지털 기기와 외부 서버 사이에서 상호 연결 또는/및 데이터 송수신을 위해 다양한 통신 규격 내지 프로토콜을 지원하는 통신 네트워크를 통칭한다. 이러한 유/무선 네트워크는 규격에 의해 현재 또는 향후 지원될 통신 네트워크와 그를 위한 통신 프로토콜을 모두 포함할 수 있는바 예컨대, USB(Universal Serial Bus), CVBS(Composite Video Banking Sync), 컴포넌트, S-비디오(아날로그), DVI(Digital Visual Interface), HDMI(High Definition Multimedia Interface), RGB, D-SUB와 같은 유선 연결을 위한 통신 규격 내지 프로토콜과, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee), DLNA(Digital Living Network Alliance), WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), LTE(Long Term Evolution), Wi-Fi 다이렉트(Direct)와 같은 무선 연결을 위한 통신 규격에 의하여 형성될 수 있다.Meanwhile, the term "wired / wireless network" described herein refers to a communication network that supports various communication standards or protocols for interconnection and / or data transmission and reception between digital devices or digital devices and external servers. . Such a wired / wireless network may include both a communication network to be supported in the current or future by a standard and a communication protocol therefor, for example, Universal Serial Bus (USB), Composite Video Banking Sync (CVBS), component, S-Video (Analog), communication standards or protocols for wired connections such as DVI (Digital Visual Interface), HDMI (High Definition Multimedia Interface), RGB, D-SUB, Bluetooth, Radio Frequency Identification (RFID), infrared communication (Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, Digital Living Network Alliance (DLNA), Wireless LAN (WLAN) (Wi-Fi), Wireless broadband (Wibro), World Interoperability for Microwave (Wimax) Access), HSDPA (High Speed Downlink Packet Access), LTE (Long Term Evolution), Wi-Fi Direct (Direct) can be formed by a communication standard for wireless connection.
이하 본 명세서에서 단지 디지털 기기로 명명하는 경우에는 문맥에 따라 고정형 기기 또는 모바일 기기를 의미하거나 양자를 모두 포함하는 의미일 수도 있다.Hereinafter, in the case of merely referring to a digital device in the present specification, it may mean a fixed device or a mobile device or include both depending on context.
한편, 디지털 기기는 예컨대, 방송 수신 기능, 컴퓨터 기능 내지 지원, 적어도 하나의 외부 입력(external input)을 지원하는 지능형 기기로서, 상술한 유/무선 네트워크를 통해 이메일(e-mail), 웹 브라우징(web browsing), 뱅킹(banking), 게임(game), 애플리케이션(application) 등을 지원할 수 있다. 더불어, 상기 디지털 기기는, 수기 방식의 입력 장치, 터치 스크린(touch screen), 공간 리모콘 등 적어도 하나의 입력 또는 제어 수단(이하 입력수단)을 지원하기 위한 인터페이스(interface)를 구비할 수 있다. 디지털 기기는, 표준화된 범용 OS(operating system)를 이용할 수 있다. 예를 들어, 디지털 기기는 범용의 OS 커널(kernel) 상에 다양한 애플리케이션(application)을 추가(adding), 삭제(deleting), 수정(amending), 업데이트(updating) 등을 할 수 있으며, 그를 통해 더욱 사용자 친화적인(user-friendly) 환경을 구성하여 제공할 수 있다.Meanwhile, the digital device is an intelligent device that supports, for example, a broadcast reception function, a computer function or support, and at least one external input, e-mail, web browsing through a wired / wireless network described above ( It can support web browsing, banking, games, and applications. In addition, the digital device may include an interface for supporting at least one input or control means (hereinafter referred to as an input means) such as a handwritten input device, a touch screen, and a space remote control. The digital device can use a standardized general-purpose operating system (OS). For example, a digital device can add, delete, modify, and update various applications on a general-purpose OS kernel. You can configure and provide a user-friendly environment.
한편, 본 명세서에서 기술되는 외부 입력은, 외부 입력 기기 즉, 상술한 디지털 기기와 유/무선으로 연결되어 그를 통해 관련 데이터를 송/수신하여 처리 가능한 모든 입력 수단 내지 디지털 기기를 포함한다. 여기서, 상기 외부 입력은 예를 들어, HDMI(High Definition Multimedia Interface), 플레이 스테이션(play station)이나 엑스 박스(X-Box)와 같은 게임 기기, 스마트 폰, 태블릿 PC, 프린터기, 스마트 TV와 같은 디지털 기기들을 모두 포함한다.On the other hand, the external input described in this specification includes external input devices, that is, all input means or digital devices connected to the above-mentioned digital devices by wire / wireless and capable of transmitting / receiving related data through them. Here, the external input is, for example, a high-definition multimedia interface (HDMI), a game device such as a play station or an X-box, a smart phone, a tablet PC, a printer, a digital digital device such as a smart TV. Includes all devices.
또한, 본 명세서에서 기술되는 "서버(server)"라 함은, 클라이언트(client), 즉, 상술한 디지털 기기로 데이터를 공급하는 모든 디지털 기기 내지 시스템을 포함하는 의미로, 프로세서(processor)로 불리기도 한다. 이러한 서버로는 예컨대, 웹 페이지 내지 웹 컨텐트를 제공하는 포털 서버(portal server), 광고 데이터(advertising data)를 제공하는 광고 서버(advertising server), 컨텐트를 제공하는 컨텐트 서버(content server), SNS(Social Network Service) 서비스를 제공하는 SNS 서버(SNS server), 제조업체에서 제공하는 서비스 서버(service server or manufacturing server) 등이 포함될 수 있다.In addition, the term "server (server)" described in this specification means a client (client), that is, includes all digital devices or systems that supply data to the above-described digital device, referred to as a processor (processor) Also. Examples of such a server include a web page or a portal server that provides web content, an advertising server that provides advertising data, a content server that provides content, and a social media server (SNS). Social Network Service) may include an SNS server providing a service, a service server provided by a manufacturer, or a manufacturing server.
그 밖에, 본 명세서 기술되는 "채널(channel)"이라 함은, 데이터를 송수신하기 위한 경로(path), 수단(means) 등을 의미하는 것으로, 방송 채널(broadcasting channel)을 예로 들 수 있다. 여기서, 방송 채널은 디지털 방송의 활성화에 따라 피지컬 채널(physical channel), 가상 채널(virtual channel), 논리 채널(logical channel)등의 용어로 표현된다. 방송 채널은 방송망이라 불릴 수 있다. 이와 같이, 방송 채널은 방송국에서 제공하는 방송 컨텐트를 제공 또는 수신기에서 접근하기 위한 채널을 말하는 것으로, 상기 방송 컨텐트는 주로 실시간 방송(real-time broadcasting)에 기초하는바 라이브 채널(live channel)이라고도 한다. 다만, 최근에는 방송을 위한 매체(medium)가 더욱 다양화되어 실시간 방송 이외에 비실시간(non-real time) 방송도 활성화되고 있어 라이브 채널은 단지 실시간 방송뿐만 아니라 경우에 따라서는 비실시간 방송을 포함한 방송 채널 전체를 의미하는 용어로 이해될 수도 있다.In addition, "channel (channel)" described herein refers to a path (path), means (means), etc. for transmitting and receiving data, for example, a broadcasting channel (broadcasting channel). Here, the broadcast channel is expressed in terms of a physical channel, a virtual channel, and a logical channel according to the activation of digital broadcasting. A broadcast channel can be called a broadcast network. As described above, a broadcast channel refers to a channel for providing or accessing broadcast content provided by a broadcasting station, and the broadcast content is mainly based on real-time broadcasting and is also called a live channel. . However, recently, the medium for broadcasting has become more diversified, and non-real time broadcasting is also activated in addition to real-time broadcasting. As a result, live channels include not only real-time broadcasting, but also non-real-time broadcasting in some cases. It may be understood as a term meaning the entire channel.
본 명세에서는 상술한 방송 채널 이외에 채널과 관련하여 "임의 채널(arbitrary channel)"를 더 정의한다. 상기 임의 채널은, 방송 채널과 함께 EPG(Electronic Program Guide)와 같은 서비스 가이드(service guide)와 함께 제공될 수도 있고, 임의 채널만으로 서비스 가이드, GUI(Graphic User Interface) 또는 OSD 화면(On-Screen Display screen)를 구성/제공될 수도 있다.In this specification, "arbitrary channel" is further defined in relation to a channel in addition to the above-described broadcast channel. The arbitrary channel may be provided together with a service guide such as an electronic program guide (EPG) along with a broadcast channel, and a service guide, a GUI (Graphic User Interface) or an OSD screen (On-Screen Display) with only a random channel. screen).
한편, 송수신기 사이에 미리 약속된 채널 넘버를 가지는 방송 채널과 달리, 임의 채널은 수신기에서 임의로 할당하는 채널로서 상기 방송 채널을 표현하기 위한 채널 넘버와는 기본적으로 중복되지 않는 채널 넘버가 할당된다. 예컨대, 수신기는 특정 방송 채널을 튜닝하면, 튜닝된 채널을 통하여 방송 컨텐트와 그를 위한 시그널링 정보(signaling information)를 전송하는 방송 신호를 수신한다. 여기서, 수신기는 상기 시그널링 정보로부터 채널 정보를 파싱(parsing)하고, 파싱된 채널 정보에 기초하여 채널 브라우저(channel browser), EPG 등을 구성하여 사용자에게 제공한다. 사용자는 입력 수단을 통해 채널 전환 요청을 하면, 수신기는 그에 대응하는 방식이다.On the other hand, unlike a broadcast channel having a predetermined channel number between transceivers, a random channel is a channel randomly allocated by a receiver, and a channel number that is not basically overlapped with a channel number for expressing the broadcast channel is allocated. For example, when a specific broadcast channel is tuned, the receiver receives a broadcast signal that transmits broadcast content and signaling information therefor through the tuned channel. Here, the receiver parses channel information from the signaling information, and configures a channel browser, an EPG, and the like based on the parsed channel information and provides it to the user. When the user makes a channel change request through the input means, the receiver responds accordingly.
이와 같이, 방송 채널은 송수신단 사이에 미리 약속된 내용이므로, 임의 채널을 방송 채널과 중복 할당하는 경우에는 사용자의 혼동을 초래하거나 혼동 가능성이 존재하므로, 전술한 바와 같이 중복 할당하지 않는 것이 바람직하다. 한편, 상기와 같이 임의 채널 넘버를 방송 채널 넘버와 중복 할당하지 않더라도 사용자의 채널 서핑 과정에서 여전히 혼동 우려가 있는바, 이를 고려하여 임의 채널 넘버를 할당하는 것이 요구된다. 왜냐하면, 본 명세서에 따른 임의 채널 역시, 종래 방송 채널과 동일하게 입력 수단을 통한 사용자의 채널 전환 요청에 따라 동일한 방식으로 대응하여 방송 채널처럼 접근되도록 구현할 수 있기 때문이다. 따라서, 임의 채널 넘버는, 사용자의 임의 채널 접근 편의와 방송 채널 넘버와의 구분 내지 식별 편의를 위하여, 방송 채널과 같이 숫자 형태가 아닌 임의 채널-1, 임의 채널-2 등과 같이 문자가 병기된 형태로 정의하고 표시할 수 있다. 한편, 이 경우, 비록 임의 채널 넘버의 표시는 임의 채널-1과 같이 문자가 병기된 형태이나 수신기 내부적으로는 상기 방송 채널의 넘버와 같이 숫자 형태로 인식하고 구현될 수 있다. 그 밖에, 임의 채널 넘버는, 방송 채널과 같이 숫자 형태로 제공될 수도 있으며, 동영상 채널-1, 타이틀-1, 비디오-1 등과 같이 방송 채널과 구분 가능한 다양한 방식으로 채널 넘버를 정의하고 표시할 수도 있다.As described above, since the broadcast channel is a content previously promised between the transmitting and receiving terminals, when a random channel is repeatedly allocated with the broadcast channel, it may cause confusion or confusion of the user, so it is preferable not to repeatedly allocate as described above. . On the other hand, even if the random channel number is not duplicated with the broadcast channel number as described above, there is still a possibility of confusion in the channel surfing process of the user, and it is required to allocate the random channel number in consideration of this. This is because any channel according to the present specification can also be implemented to be accessed as a broadcast channel in the same manner in response to a user's request to switch a channel through an input means in the same way as a conventional broadcast channel. Accordingly, the random channel number is a type in which characters are written in parallel, such as random channel-1, random channel-2, and the like, for the convenience of discrimination or identification of the user's random channel access and broadcast channel number. It can be defined and marked as. On the other hand, in this case, although the display of an arbitrary channel number may be implemented by recognizing in a numeric form, such as the number of the broadcasting channel, in a form in which characters are written in parallel as in random channel-1. In addition, an arbitrary channel number may be provided in a numeric form, such as a broadcast channel, and a channel number may be defined and displayed in various ways distinguishable from a broadcast channel, such as video channel-1, title-1, and video-1. have.
디지털 기기는, 웹 서비스(web service)를 위해 웹 브라우저(web browser)를 실행하여 다양한 형태의 웹 페이지(web page)를 사용자에게 제공한다. 여기서, 상기 웹 페이지에는 동영상(video content)이 포함된 웹 페이지도 포함되는데, 본 명세서에서는 동영상을 웹 페이지로부터 별도로 또는 독립적으로 분리하여 처리한다. 그리고 상기 분리되는 동영상은, 전술한 임의 채널 넘버를 할당하고, 서비스 가이드 등을 통해 제공하고, 사용자가 서비스 가이드나 방송 채널 시청 과정에서 채널 전환 요청에 따라 출력되도록 구현할 수 있다. 그 밖에, 웹 서비스 이외에도 방송 컨텐트, 게임, 애플리케이션 등의 서비스에 대해서도, 소정 컨텐트, 이미지, 오디오, 항목 등을 상기 방송 컨텐트, 게임, 애플리케이션 자체로부터 독립적으로 분리 처리하고, 그 재생, 처리 등을 위해 임의 채널 넘버를 할당하고 상술한 바와 같이, 구현할 수 있다.The digital device executes a web browser for a web service, and provides various types of web pages to the user. Here, the web page also includes a web page including a video (video content), in this specification, the video is processed separately or independently from the web page. In addition, the separated video can be implemented to allocate an arbitrary channel number as described above, provide it through a service guide, or the like, and be output according to a channel switching request by a user in a service guide or broadcast channel viewing process. In addition, for services such as broadcast content, games, and applications, in addition to web services, predetermined content, images, audio, items, etc. are separately processed from the broadcast content, games, and the application itself, and for playback, processing, etc. Any channel number can be assigned and implemented as described above.
도 32는 디지털 기기를 포함한 서비스 시스템(service system)의 일 예를 개략적으로 나타낸 도면이다.32 is a diagram schematically showing an example of a service system including a digital device.
디지털 기기를 포함한 서비스 시스템은, 컨텐트 제공자(Content Provider; CP)(3210), 서비스 제공자(Service Provider; SP)(3220), 네트워크 제공자(Network Provider; NP)(3230) 및 HNED(Home Network End User)(Customer)(3240)를 포함한다. 여기서, HNED(3240)는 예를 들어, 클라이언트(3200) 즉, 디지털 기기이다. 컨텐트 제공자(3210)는, 각종 컨텐트를 제작하여 제공한다. 이러한 컨텐트 제공자(3210)로 도 32에 도시된 바와 같이, 지상파 방송 송출자(terrestrial broadcaster), 케이블 방송 사업자(cable SO (System Operator)) 또는 MSO (Multiple SO), 위성 방송 송출자(satellite broadcaster), 다양한 인터넷 방송 송출자(Internet broadcaster), 개인 컨텐트 제공자들(Private CPs) 등을 예시할 수 있다. 한편, 컨텐트 제공자(3210)는, 방송 컨텐트 외에도 다양한 애플리케이션 등을 제공한다.Service systems including digital devices include a content provider (CP) 3210, a service provider (SP) 3220, a network provider (NP) 3230, and a HNED (Home Network End User). ) (Customer) 3240. Here, the HNED 3240 is, for example, a client 3200, that is, a digital device. The content provider 3210 produces and provides various content. As shown in FIG. 32 as such a content provider 3210, terrestrial broadcaster, cable SO (System Operator) or MSO (Multiple SO), satellite broadcaster (satellite broadcaster) , Various Internet broadcasters, and private content providers (Private CPs). Meanwhile, the content provider 3210 provides various applications in addition to broadcast content.
서비스 제공자(3220)는, 컨텐트 제공자(3210)가 제공하는 컨텐트를 서비스 패키지화하여 HNED(3240)로 제공한다. 예를 들어, 도 32의 서비스 제공자(3220)는, 제1 지상파 방송, 제2 지상파 방송, 케이블 MSO, 위성 방송, 다양한 인터넷 방송, 애플리케이션 등을 패키지화하여 HNED(3240)에게 제공한다.The service provider 3220 provides the content provided by the content provider 3210 as a service package to the HNED 3240. For example, the service provider 3220 of FIG. 32 packages the first terrestrial broadcast, the second terrestrial broadcast, the cable MSO, the satellite broadcast, various Internet broadcasts, applications, etc., and provides them to the HNED 3240.
서비스 제공자(3220)는, 유니-캐스트(uni-cast) 또는 멀티-캐스트(multi-cast) 방식으로 클라이언트(300)에 서비스를 제공한다. 한편, 서비스 제공자(3220)는 데이터를 미리 등록된 다수의 클라이언트(3200)로 한꺼번에 전송할 수 있는데, 이를 위해 IGMP(Internet Group Management Protocol) 프로토콜 등을 이용할 수 있다.The service provider 3220 provides services to the client 300 in a uni-cast or multi-cast manner. Meanwhile, the service provider 3220 may transmit data to a plurality of pre-registered clients 3200 at a time, and for this, an Internet Group Management Protocol (IGMP) protocol may be used.
상술한 컨텐트 제공자(3210)와 서비스 제공자(3220)는, 동일한 개체(same or single entity)일 수 있다. 예를 들어, 컨텐트 제공자(3210)가 제작한 컨텐트를 서비스 패키지화하여 HNED(3240)로 제공함으로써 서비스 제공자(3220)의 기능도 함께 수행하거나 그 반대일 수도 있다.The above-described content provider 3210 and service provider 3220 may be identical or single entities. For example, by providing the content produced by the content provider 3210 as a service package and providing it to the HNED 3240, the function of the service provider 3220 may also be performed or vice versa.
네트워크 제공자(3230)는, 컨텐트 제공자(3210) 또는/및 서비스 제공자(3220)와 클라이언트(3200) 사이의 데이터 교환을 위한 네트워크 망을 제공한다.The network provider 3230 provides a network for data exchange between the content provider 3210 or / and the service provider 3220 and the client 3200.
클라이언트(3200)는, 홈 네트워크를 구축하여 데이터를 송수신할 수 있다.The client 3200 can establish a home network to transmit and receive data.
한편, 서비스 시스템 내 컨텐트 제공자(3210) 또는/및 서비스 제공자(3220)는 전송되는 컨텐트의 보호를 위해 제한 수신(conditional access) 또는 컨텐트 보호(content protection) 수단을 이용할 수 있다. 이 경우, 클라이언트(300)는 상기 제한 수신이나 컨텐트 보호에 대응하여 케이블카드(CableCARD)(POD: Point of Deployment), DCAS(Downloadable CAS) 등과 같은 처리 수단을 이용할 수 있다.Meanwhile, the content provider 3210 or / and the service provider 3220 in the service system may use conditional access or content protection means to protect transmitted content. In this case, the client 300 may use a processing means such as a cable card (POD: Point of Deployment), a DCAS (Downloadable CAS), etc. in response to the limited reception or content protection.
그 밖에, 클라이언트(3200)도 네트워크 망(또는 통신 망)을 통해, 양방향 서비스를 이용할 수 있다. 이러한 경우, 오히려 클라이언트(3200)가 컨텐트 제공자의 기능을 수행할 수도 있으며, 기존 서비스 제공자(3220)는 이를 수신하여 다시 다른 클라이언트로 전송할 수도 있다.In addition, the client 3200 may also use a bidirectional service through a network (or communication network). In this case, rather, the client 3200 may perform the function of a content provider, and the existing service provider 3220 may receive it and transmit it back to another client.
도 33은 디지털 기기의 일 실시예를 설명하기 위해 도시한 구성 블록도이다. 여기서, 도 33은, 예를 들어, 도 32의 클라이언트(3200)에 해당할 수 있으며, 전술한 디지털 기기를 의미한다.33 is a block diagram illustrating a digital device according to an embodiment. Here, FIG. 33 may correspond to, for example, the client 3200 of FIG. 32, and refers to the digital device described above.
디지털 기기(3300)는, 네트워크 인터페이스부(network interface)(3301), TCP/IP 매니저(TCP/IP manager)(3302), 서비스 전달 매니저(service delivery manager)(3303), SI 디코더(3304), 역다중화부(demux)(3305), 오디오 디코더(audio decoder)(3306), 비디오 디코더(video decoder)(3307), 디스플레이부(display A/V and OSD module)(3308), 서비스 제어 매니저(service control manager)(3309), 서비스 디스커버리 매니저(service discovery manager)(3310), SI & 메타데이터 데이터베이스(SI&Metadata DB)(3311), 메타데이터 매니저(metadata manager)(3312), 서비스 매니저(3313), UI 매니저(3314) 등을 포함하여 구성된다.The digital device 3300 includes a network interface 3301, a TCP / IP manager 3302, a service delivery manager 3303, an SI decoder 3304, Demultiplexer (demux) 3305, audio decoder 3306, video decoder 3307, display A / V and OSD module 3308, service control manager control manager (3309), service discovery manager (service discovery manager) 3310, SI & metadata database (SI & Metadata DB) 3311, metadata manager 3312, service manager 3313, UI And a manager 3314 or the like.
네트워크 인터페이스부(3301)는, 네트워크 망을 통하여 IP 패킷들(internet protocol (IP) packets)을 수신하거나 전송한다. 즉, 네트워크 인터페이스부(3301)는 네트워크 망을 통해 서비스 제공자(3220)로부터 서비스, 컨텐트 등을 수신한다.The network interface unit 3301 receives or transmits Internet protocol (IP) packets through a network. That is, the network interface unit 3301 receives services, content, and the like from the service provider 3220 through a network network.
TCP/IP 매니저(3302)는, 디지털 기기(3300)로 수신되는 IP 패킷들과 디지털 기기(3300)가 전송하는 IP 패킷들에 대하여 즉, 소스(source)와 목적지(destination) 사이의 패킷 전달에 관여한다. 그리고 TCP/IP 매니저(3302)는 수신된 패킷(들)을 적절한 프로토콜에 대응되도록 분류하고, 서비스 전달 매니저(3305), 서비스 디스커버리 매니저(3310), 서비스 제어 매니저(3309), 메타데이터 매니저(3312) 등으로 분류된 패킷(들)을 출력한다. 서비스 전달 매니저(3303)는, 수신되는 서비스 데이터의 제어를 담당한다. 예를 들어, 서비스 전달 매니저(3303)는 실시간 스트리밍(real-time streaming) 데이터를 제어하는 경우에는 RTP/RTCP를 사용할 수 있다. 상기 실시간 스트리밍 데이터를 RTP를 사용하여 전송하는 경우, 서비스 전달 매니저(3303)는 상기 수신된 데이터 패킷을 RTP에 따라 파싱(parsing)하여 역다중화부(3305)에 전송하거나 서비스 매니저(3313)의 제어에 따라 SI & 메타데이터 데이터베이스(3311)에 저장한다. 그리고 서비스 전달 매니저(3303)는 RTCP를 이용하여 상기 네트워크 수신 정보를 서비스를 제공하는 서버 측에 피드백(feedback) 한다. 역다중화부(3305)는, 수신된 패킷을 오디오, 비디오, SI(system information) 데이터 등으로 역다중화하여 각각 오디오/비디오 디코더(3306/3307), SI 디코더(3304)에 전송한다.The TCP / IP manager 3302 is configured to transmit packets between IP packets received by the digital device 3300 and IP packets transmitted by the digital device 3300, that is, between a source and a destination. Get involved. Then, the TCP / IP manager 3302 classifies the received packet (s) to correspond to an appropriate protocol, and the service delivery manager 3305, the service discovery manager 3310, the service control manager 3309, and the metadata manager 3312 ), And the like. The service delivery manager 3303 is responsible for controlling received service data. For example, the service delivery manager 3303 may use RTP / RTCP when controlling real-time streaming data. When the real-time streaming data is transmitted using RTP, the service delivery manager 3303 parses the received data packet according to RTP and transmits it to the demultiplexer 3305 or control of the service manager 3313 According to the SI & metadata database 3311. Then, the service delivery manager 3303 uses the RTCP to feed back the network reception information to a server providing a service. The demultiplexer 3305 demultiplexes the received packets into audio, video, and system information (SI) data, and transmits them to the audio / video decoder 3306/3307 and the SI decoder 3304, respectively.
SI 디코더(3304)는 예를 들어, PSI(program specific information), PSIP(program and system information protocol), DVB-SI(digital video broadcasting-service information) 등의 서비스 정보를 디코딩한다.The SI decoder 3304 decodes service information such as program specific information (PSI), program and system information protocol (PSIP), and digital video broadcasting-service information (DVB-SI).
또한, SI 디코더(3304)는, 디코딩된 서비스 정보들을 예를 들어, SI & 메타데이터 데이터베이스(3311)에 저장한다. 이렇게 저장된 서비스 정보는 예를 들어, 사용자의 요청 등에 의해 해당 구성에 의해 독출되어 이용될 수 있다.Further, the SI decoder 3304 stores the decoded service informations in, for example, the SI & metadata database 3311. The service information stored in this way may be read and used by the corresponding configuration, for example, at the request of a user.
오디오/비디오 디코더(3306/3307)는, 역다중화부(405)에서 역다중화된 각 오디오 데이터와 비디오 데이터를 디코딩한다. 이렇게 디코딩된 오디오 데이터 및 비디오 데이터는 디스플레이부(3308)를 통하여 사용자에게 제공된다.The audio / video decoder 3306/3307 decodes each audio data and video data demultiplexed by the demultiplexing unit 405. The audio data and video data thus decoded are provided to the user through the display unit 3308.
애플리케이션 매니저는 예를 들어, UI 매니저(3314)와 서비스 매니저(3313)를 포함하여 구성될 수 있다. 애플리케이션 매니저는, 디지털 기기(3300)의 전반적인 상태를 관리하고 사용자 인터페이스를 제공하며, 다른 매니저를 관리할 수 있다.The application manager may include, for example, a UI manager 3314 and a service manager 3313. The application manager may manage the overall state of the digital device 3300, provide a user interface, and manage other managers.
UI 매니저(3314)는, 사용자를 위한 GUI(graphic user interface)를 OSD(on screen display) 등을 이용하여 제공하며, 사용자로부터 키 입력을 받아 상기 입력에 따른 기기 동작을 수행한다. 예를 들어, UI 매니저(3314)는 사용자로부터 채널 선택에 관한 키 입력을 받으면 상기 키 입력 신호를 서비스 매니저(3313)에 전송한다.The UI manager 3314 provides a graphical user interface (GUI) for a user using an on-screen display (OSD) or the like, and receives key input from a user to perform device operation according to the input. For example, when the UI manager 3314 receives a key input for channel selection from the user, the UI manager 3314 transmits the key input signal to the service manager 3313.
서비스 매니저(3313)는, 서비스 전달 매니저(3303), 서비스 디스커버리 매니저(3310), 서비스 제어 매니저(3309), 메타데이터 매니저(3312) 등 서비스와 연관된 매니저를 제어한다.The service manager 3313 controls a manager associated with a service, such as a service delivery manager 3303, a service discovery manager 3310, a service control manager 3309, and a metadata manager 3312.
또한, 서비스 매니저(3313)는, 채널 맵(channel map)을 만들고 사용자 인터페이스 매니저(3314)로부터 수신한 키 입력에 따라 상기 채널 맵을 이용하여 채널을 선택하다. 그리고 서비스 매니저(3313)는 SI 디코더(3304)로부터 채널의 서비스 정보를 전송받아 선택된 채널의 오디오/비디오 PID(packet identifier)를 역다중화부(3305)에 설정한다. 이렇게 설정되는 PID는 상술한 역다중화 과정에 이용된다. 따라서, 역다중화부(3305)는 상기 PID를 이용하여 오디오 데이터, 비디오 데이터 및 SI 데이터를 필터링(filtering) 한다.In addition, the service manager 3313 creates a channel map and selects a channel using the channel map according to a key input received from the user interface manager 3314. Then, the service manager 3313 receives the service information of the channel from the SI decoder 3304 and sets the audio / video PID (packet identifier) of the selected channel to the demultiplexer 3305. The PID set in this way is used in the demultiplexing process described above. Accordingly, the demultiplexer 3305 filters the audio data, video data, and SI data using the PID.
서비스 디스커버리 매니저(3310)는, 서비스를 제공하는 서비스 제공자를 선택하는데 필요한 정보를 제공한다. 서비스 매니저(3313)로부터 채널 선택에 관한 신호를 수신하면, 서비스 디스커버리 매니저(3310)는 상기 정보를 이용하여 서비스를 찾는다.The service discovery manager 3310 provides information necessary to select a service provider that provides a service. When a signal regarding channel selection is received from the service manager 3313, the service discovery manager 3310 finds a service using the information.
서비스 제어 매니저(3309)는, 서비스의 선택과 제어를 담당한다. 예를 들어, 서비스 제어 매니저(3309)는 사용자가 기존의 방송 방식과 같은 생방송(live broadcasting) 서비스를 선택하는 경우 IGMP 또는 RTSP 등을 사용하고, VOD(video on demand)와 같은 서비스를 선택하는 경우에는 RTSP를 사용하여 서비스의 선택, 제어를 수행한다. 상기 RTSP 프로토콜은 실시간 스트리밍에 대해 트릭 모드(trick mode)를 제공할 수 있다. 또한, 서비스 제어 매니저(3309)는 IMS(IP multimedia subsystem), SIP(session initiation protocol)를 이용하여 IMS 게이트웨이(3350)를 통하는 세션을 초기화하고 관리할 수 있다. 프로토콜들은 일 실시 예이며, 구현 예에 따라 다른 프로토콜을 사용할 수도 있다.The service control manager 3309 is responsible for selecting and controlling services. For example, the service control manager 3309 uses IGMP or RTSP when a user selects a live broadcasting service such as a conventional broadcasting method, and selects a service such as video on demand (VOD). The RTSP is used to select and control services. The RTSP protocol may provide a trick mode for real-time streaming. In addition, the service control manager 3309 may initialize and manage a session through the IMS gateway 3350 using an IP multimedia subsystem (IMS) and a session initiation protocol (SIP). The protocols are one embodiment, and other protocols may be used according to implementation examples.
메타데이터 매니저(3312)는, 서비스와 연관된 메타데이터를 관리하고 상기 메타데이터를 SI & 메타데이터 데이터 베이스(3311)에 저장한다.The metadata manager 3312 manages metadata associated with a service and stores the metadata in the SI & metadata database 3311.
SI & 메타데이터 데이터베이스(3311)는, SI 디코더(3304)가 디코딩한 서비스 정보, 메타데이터 매니저(3312)가 관리하는 메타데이터 및 서비스 디스커버리 매니저(3310)가 제공하는 서비스 제공자를 선택하는데 필요한 정보를 저장한다. 또한, SI & 메타데이터 데이터베이스(3311)는 시스템에 대한 세트-업 데이터 등을 저장할 수 있다.The SI & metadata database 3311 includes service information decoded by the SI decoder 3304, metadata managed by the metadata manager 3312, and information necessary to select a service provider provided by the service discovery manager 3310. To save. In addition, the SI & metadata database 3311 can store set-up data and the like for the system.
SI & 메타데이터 데이터베이스(3311)는, 비휘발성 메모리(non-volatile RAM, NVRAM) 또는 플래시 메모리(flash memory) 등을 사용하여 구현될 수도 있다.The SI & metadata database 3311 may be implemented using non-volatile RAM (NVRAM), flash memory, or the like.
한편, IMS 게이트웨이(3350)는, IMS 기반의 IPTV 서비스에 접근하기 위해 필요한 기능들을 모아 놓은 게이트웨이이다.Meanwhile, the IMS gateway 3350 is a gateway that collects functions necessary for accessing the IMS-based IPTV service.
도 34는 디지털 기기의 다른 실시예를 설명하기 위해 도시한 구성 블록도이다. 특히, 도 34는 디지털 기기의 다른 실시예로서 모바일 기기의 구성 블록도를 예시한 것이다.34 is a configuration block diagram illustrating another embodiment of a digital device. In particular, FIG. 34 illustrates a block diagram of a mobile device as another embodiment of a digital device.
도 34를 참조하면, 모바일 기기(3400)는, 무선 통신부(3410), A/V(audio/video) 입력부(3420), 사용자 입력부(3430), 센싱부(3440), 출력부(3450), 메모리(3460), 인터페이스부(3470), 제어부(3480) 및 전원 공급부(3490) 등을 포함할 수 있다. 도 34에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 모바일 기기가 구현될 수도 있다.Referring to FIG. 34, the mobile device 3400 includes a wireless communication unit 3410, an audio / video (A / V) input unit 3420, a user input unit 3430, a sensing unit 3440, and an output unit 3450. It may include a memory 3460, an interface unit 3470, a control unit 3480, and a power supply unit 3490. The components shown in FIG. 34 are not essential, so a mobile device with more or fewer components may be implemented.
무선 통신부(3410)는, 모바일 기기(3400)와 무선 통신 시스템 사이 또는 모바일 기기와, 모바일 기기가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 또는 그 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(3410)는 방송 수신 모듈(3411), 이동통신 모듈(3412), 무선 인터넷 모듈(3413), 근거리 통신 모듈(3414) 및 위치 정보 모듈(3415) 등을 포함할 수 있다.The wireless communication unit 3410 may include one or more modules that enable wireless communication between the mobile device 3400 and the wireless communication system or between a mobile device and a network in which the mobile device is located. For example, the wireless communication unit 3410 may include a broadcast reception module 3411, a mobile communication module 3412, a wireless Internet module 3413, a short-range communication module 3414, and a location information module 3415. .
방송 수신 모듈(3411)은, 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 여기서, 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 단말기에 송신하는 서버를 의미할 수 있다. 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.The broadcast receiving module 3411 receives broadcast signals and / or broadcast related information from an external broadcast management server through a broadcast channel. Here, the broadcast channel may include a satellite channel and a terrestrial channel. The broadcast management server may mean a server that generates and transmits broadcast signals and / or broadcast-related information or a server that receives previously generated broadcast signals and / or broadcast-related information and transmits them to a terminal. The broadcast signal may include a TV broadcast signal, a radio broadcast signal, and a data broadcast signal, and may also include a TV broadcast signal or a radio broadcast signal combined with a data broadcast signal.
방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있다. 이러한 경우에는 이동통신 모듈(3412)에 의해 수신될 수 있다.The broadcast related information may mean information related to a broadcast channel, broadcast program, or broadcast service provider. Broadcast-related information may also be provided through a mobile communication network. In this case, it may be received by the mobile communication module 3412.
방송 관련 정보는 다양한 형태 예를 들어, EPG(electronic program guide) 또는 ESG(electronic service guide) 등의 형태로 존재할 수 있다.Broadcast-related information may exist in various forms, for example, an electronic program guide (EPG) or an electronic service guide (ESG).
방송 수신 모듈(3411)은 예를 들어, ATSC, DVB-T(digital video broadcasting-terrestrial), DVB-S(satellite), MediaFLO(media forward link only), DVB-H(handheld), ISDB-T(integrated services digital broadcast-terrestrial) 등 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 물론, 방송 수신 모듈(511)은, 상술한 디지털 방송 시스템뿐만 아니라 다른 방송 시스템에 적합하도록 구성될 수도 있다.The broadcast reception module 3411 includes, for example, ATSC, digital video broadcasting-terrestrial (DVB-T), satellite (DVB-S), media forward link only (MediaFLO), handheld (DVB-H), ISDB-T ( Digital broadcasting signals can be received using digital broadcasting systems such as integrated services digital broadcast-terrestrial. Of course, the broadcast receiving module 511 may be configured to be suitable for other broadcasting systems as well as the digital broadcasting system described above.
방송 수신 모듈(3411)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는, 메모리(3460)에 저장될 수 있다.The broadcast signal and / or broadcast-related information received through the broadcast receiving module 3411 may be stored in the memory 3460.
이동통신 모듈(3412)은, 이동 통신망 상에서 기지국, 외부 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 무선 신호는, 음성 신호, 화상 통화 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.The mobile communication module 3412 transmits and receives wireless signals to and from at least one of a base station, an external terminal, and a server on a mobile communication network. The wireless signal may include various types of data according to transmission and reception of a voice signal, a video call signal, or a text / multimedia message.
무선 인터넷 모듈(3413)은, 무선 인터넷 접속을 위한 모듈을 포함하여, 모바일 기기(3400)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(wireless LAN)(Wi-Fi), Wibro(wireless broadband), Wimax(world interoperability for microwave access), HSDPA(high speed downlink packet access) 등이 이용될 수 있다.The wireless Internet module 3413 may include a module for wireless Internet access, or may be built in or external to the mobile device 3400. Wireless Internet technology may include wireless LAN (WLAN) (Wi-Fi), wireless broadband (Wibro), world interoperability for microwave access (Wimax), and high speed downlink packet access (HSDPA).
근거리 통신 모듈(3414)은, 근거리 통신을 위한 모듈을 말한다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth), RFID(radio frequency Identification), 적외선 통신(IrDA, infrared data association), UWB(ultra wideband), ZigBee, RS-232, RS-485 등이 이용될 수 있다.The short-range communication module 3414 refers to a module for short-range communication. Bluetooth, radio frequency identification (RFID), infrared data association (IrDA), ultra wideband (UWB), ZigBee, RS-232, RS-485, etc. may be used as short range communication technology. You can.
위치정보 모듈(3415)은, 모바일 기기(3400)의 위치정보 획득을 위한 모듈로서, GPS(global position system) 모듈을 예로 할 수 있다.The location information module 3415 is a module for obtaining location information of the mobile device 3400, and may use a global positioning system (GPS) module as an example.
A/V 입력부(3420)는, 오디오 또는/및 비디오 신호 입력을 위한 것으로, 이에는 카메라(3421)와 마이크(3422) 등이 포함될 수 있다. 카메라(3421)는, 화상통화 모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(3451)에 표시될 수 있다.The A / V input unit 3420 is for inputting an audio or / and video signal, and may include a camera 3421 and a microphone 3342. The camera 3421 processes image frames such as still images or moving images obtained by an image sensor in a video call mode or a shooting mode. The processed image frame may be displayed on the display portion 3451.
카메라(3421)에서 처리된 화상 프레임은, 메모리(3460)에 저장되거나 무선 통신부(3410)를 통하여 외부로 전송될 수 있다. 카메라(3421)는, 사용 환경에 따라 2개 이상이 구비될 수도 있다.The image frames processed by the camera 3421 may be stored in the memory 3460 or transmitted to the outside through the wireless communication unit 3410. Two or more cameras 3342 may be provided depending on the use environment.
마이크(3422)는, 통화 모드 또는 녹음 모드, 음성인식 모드 등에서 마이크로폰(microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는, 통화 모드인 경우 이동통신 모듈(3412)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(3422)에는 외부의 음향 신호를 입력받는 과정에서 발생하는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.The microphone 3342 receives an external sound signal by a microphone in a call mode or a recording mode, a voice recognition mode, and processes it as electrical voice data. The processed voice data may be converted into a form transmittable to a mobile communication base station through the mobile communication module 3412 and output. Various noise reduction algorithms for removing noise generated in the process of receiving an external sound signal may be implemented in the microphone 3342.
사용자 입력부(3430)는, 사용자가 단말기의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(3430)는, 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(정압/정전), 조그 휠(jog wheel), 조그 스위치(jog switch) 등으로 구성될 수 있다.The user input unit 3430 generates input data for the user to control the operation of the terminal. The user input unit 3430 may be configured with a key pad, a dome switch, a touch pad (static pressure / power outage), a jog wheel, a jog switch, or the like.
센싱부(3440)는, 모바일 기기(3400)의 개폐 상태, 모바일 기기(3400)의 위치, 사용자 접촉 유무, 모바일 기기의 방위, 모바일 기기의 가속/감속 등과 같이 모바일 기기(3400)의 현재 상태를 감지하여 모바일 기기(3400)의 동작 제어를 위한 센싱 신호를 발생시킨다. 예를 들어, 모바일 기기(3400)가 이동되거나 기울어진 경우 모바일 기기의 위치 내지 기울기 등을 센싱할 수 있다. 또한, 전원 공급부(3490)의 전원 공급 여부, 인터페이스부(3470)의 외부 기기 결합 여부 등도 센싱할 수도 있다. 한편, 센싱부(3440)는, NFC(near field communication)를 포함한 근접 센서(3441)를 포함할 수 있다.The sensing unit 3440 displays the current state of the mobile device 3400, such as the open / closed state of the mobile device 3400, the location of the mobile device 3400, the presence or absence of user contact, the orientation of the mobile device, and acceleration / deceleration of the mobile device. It senses and generates a sensing signal for controlling the operation of the mobile device 3400. For example, when the mobile device 3400 is moved or tilted, the position or tilt of the mobile device may be sensed. In addition, whether power is supplied to the power supply unit 3490 or whether external devices are coupled to the interface unit 3470 may be sensed. Meanwhile, the sensing unit 3440 may include a proximity sensor 341 including near field communication (NFC).
출력부(3450)는, 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(3451), 음향 출력 모듈(3452), 알람부(3453), 및 햅틱 모듈(3454) 등이 포함될 수 있다.The output unit 3450 is for generating output related to vision, hearing, or tactile sense, and may include a display unit 3451, an audio output module 3452, an alarm unit 3345, and a haptic module 3454. have.
디스플레이부(3451)는, 모바일 기기(3400)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 모바일 기기가 통화 모드인 경우 통화와 관련된 UI(user interface) 또는 GUI(graphic user interface)를 표시한다. 모바일 기기(3400)가 화상 통화 모드 또는 촬영 모드인 경우에는, 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다.The display unit 3451 displays (outputs) information processed by the mobile device 3400. For example, when the mobile device is in a call mode, a user interface (UI) or a graphic user interface (GUI) related to the call is displayed. When the mobile device 3400 is in a video call mode or a photographing mode, the photographed or / and received video or UI, GUI is displayed.
디스플레이부(3451)는, 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.The display portion 3451 includes a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display ( flexible display) and a 3D display.
이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(transparent OLED) 등이 있다. 디스플레이부(3451)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 단말기 바디의 디스플레이부(3451)가 차지하는 영역을 통해 단말기 바디(body)의 후방에 위치한 사물을 볼 수 있다.Some of these displays may be of a transparent type or a light transmissive type so that the outside can be seen through them. This may be referred to as a transparent display, and a typical example of the transparent display is a transparent OLED (TOLED). The rear structure of the display portion 3451 may also be configured as a light transmissive structure. With this structure, the user can see an object located behind the terminal body through an area occupied by the display unit 3451 of the terminal body.
모바일 기기(3400)의 구현 형태에 따라 디스플레이부(3451)가 2개 이상 존재할 수 있다. 예를 들어, 모바일 기기(3400)에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.Two or more display units 3451 may be present depending on the implementation form of the mobile device 3400. For example, in the mobile device 3400, a plurality of display units may be spaced apart or integrally disposed on one surface, or may be disposed on different surfaces.
디스플레이부(3451)와 터치 동작을 감지하는 센서(이하 '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 디스플레이부(3451)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.When the display unit 3451 and a sensor detecting a touch operation (hereinafter referred to as a 'touch sensor') form a mutual layer structure (hereinafter referred to as a 'touch screen'), the display unit 3451 inputs other than an output device. It can also be used as a device. The touch sensor may have, for example, a form of a touch film, a touch sheet, a touch pad, and the like.
터치 센서는 디스플레이부(3451)의 특정 부위에 가해진 압력 또는 디스플레이부(3451)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다.The touch sensor may be configured to convert a change in pressure applied to a specific portion of the display portion 3451 or capacitance generated in a specific portion of the display portion 3451 into an electrical input signal. The touch sensor may be configured to detect not only the touched position and area, but also pressure at the time of touch.
터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(3480)로 전송한다. 이로써, 제어부(3480)는 디스플레이부(3451)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.If there is a touch input to the touch sensor, the corresponding signal (s) is sent to the touch controller. The touch controller processes the signal (s) and then transmits corresponding data to the controller 3480. Accordingly, the control unit 3480 can know which area of the display unit 3451 has been touched, and the like.
터치스크린에 의해 감싸지는 모바일 기기의 내부 영역 또는 상기 터치 스크린의 근처에 근접 센서(3441)가 배치될 수 있다. 상기 근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.A proximity sensor 341 may be disposed in an inner area of the mobile device surrounded by the touch screen or near the touch screen. The proximity sensor refers to a sensor that detects the presence or absence of an object approaching a predetermined detection surface or an object present in the vicinity without mechanical contact using electromagnetic force or infrared rays. Proximity sensors have a longer lifespan and higher utilization than contact sensors.
근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 포인터의 근접을 검출하도록 구성된다. 이 경우 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다.Examples of the proximity sensor include a transmission type photoelectric sensor, a direct reflection type photoelectric sensor, a mirror reflection type photoelectric sensor, a high frequency oscillation type proximity sensor, a capacitive type proximity sensor, a magnetic type proximity sensor, and an infrared proximity sensor. When the touch screen is capacitive, it is configured to detect the proximity of the pointer due to a change in electric field according to the proximity of the pointer. In this case, the touch screen (touch sensor) may be classified as a proximity sensor.
이하에서는 설명의 편의를 위해, 터치스크린 상에 포인터가 접촉되지 않으면서 근접되어 포인터가 터치스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 칭하고, 상기 터치스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 칭한다. 터치스크린 상에서 포인터로 근접 터치가 되는 위치라 함은, 포인터가 근접 터치될 때 포인터가 터치스크린에 대해 수직으로 대응되는 위치를 의미한다.Hereinafter, for convenience of description, the act of causing the pointer to be recognized as being located on the touch screen without being touched by the pointer on the touch screen is referred to as a “proximity touch”, and on the touch screen The act of actually touching the pointer is referred to as "contact touch." The location on the touch screen that is a proximity touch with the pointer means a location where the pointer is perpendicular to the touch screen when the pointer is touched close.
근접 센서는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 터치 스크린상에 출력될 수 있다.The proximity sensor detects a proximity touch and a proximity touch pattern (eg, proximity touch distance, proximity touch direction, proximity touch speed, proximity touch time, proximity touch position, proximity touch movement state, etc.). Information corresponding to the sensed proximity touch operation and the proximity touch pattern may be output on the touch screen.
음향 출력 모듈(3452)은, 호 신호 수신, 통화 모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(3410)로부터 수신되거나 메모리(3460)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈(3452)은 모바일 기기(3400)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈(3452)에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.The audio output module 3452 may output audio data received from the wireless communication unit 3410 or stored in the memory 3460 in a call signal reception, a call mode or a recording mode, a voice recognition mode, a broadcast reception mode, or the like. The sound output module 3452 may also output sound signals related to functions (for example, call signal reception sound, message reception sound, etc.) performed by the mobile device 3400. The sound output module 3452 may include a receiver, a speaker, and a buzzer.
알람부(3453)는, 모바일 기기(3400)의 이벤트 발생을 알리기 위한 신호를 출력한다. 모바일 기기에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 터치 입력 등이 있다. 알람부(3453)는, 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어 진동으로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다.The alarm unit 3345 outputs a signal for notifying the occurrence of the event of the mobile device 3400. Examples of events generated in the mobile device include call signal reception, message reception, key signal input, and touch input. The alarm unit 3345 may also output a signal for notifying the occurrence of an event in a form other than a video signal or an audio signal, for example, vibration.
비디오 신호나 오디오 신호는 디스플레이부(3451)나 음성 출력 모듈(3452)을 통해서도 출력될 수 있어서, 디스플레이부 및 음성 출력 모듈(3451,3452)은 알람부(3453)의 일부로 분류될 수도 있다.The video signal or the audio signal may also be output through the display unit 3451 or the audio output module 3452 so that the display unit and the audio output modules 3451 and 3452 may be classified as part of the alarm unit 3345.
햅틱 모듈(haptic module)(3454)은, 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(3454)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 있다. 햅택 모듈(3454)이 발생하는 진동의 세기와 패턴 등은 제어 가능하다. 예를 들어, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.The haptic module 3454 generates various tactile effects that the user can feel. A typical example of the tactile effect generated by the haptic module 3454 is vibration. The intensity and pattern of vibration generated by the haptic module 3454 can be controlled. For example, different vibrations may be synthesized and output or sequentially output.
햅틱 모듈(3454)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(electrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.In addition to vibration, the haptic module 3454 is a pin array that vertically moves with respect to the contact surface of the skin, stimulation of the ejection force or suction force of the air through the injection hole or intake, the grazing on the skin surface, contact of the electrode, electrostatic force, and the like. Various tactile effects can be generated, such as an effect caused by an effect and an effect of reproducing a feeling of cold and warm using an element capable of absorbing heat or generating heat.
햅틱 모듈(3454)은, 직접적인 접촉을 통해 촉각 효과의 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(3454)은, 모바일 기기(3400)의 구성 태양에 따라 2개 이상이 구비될 수 있다.The haptic module 3454 may not only transmit the tactile effect through direct contact, but may also implement the user to feel the tactile effect through muscle sensations such as fingers or arms. Two or more haptic modules 3454 may be provided according to a configuration aspect of the mobile device 3400.
메모리(3460)는, 제어부(3480)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)을 임시 저장할 수도 있다. 메모리(3460)는 상기 터치스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.The memory 3460 may store a program for the operation of the control unit 3480, and may temporarily store input / output data (eg, a phone book, a message, a still image, a video, etc.). The memory 3460 may store data related to various patterns of vibration and sound output when a touch is input on the touch screen.
메모리(3460)는, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory, RAM), SRAM(static random access memory), 롬(read-only memory, ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 모바일 기기(3400)는 인터넷(internet)상에서 메모리(3460)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.The memory 3460 includes a flash memory type, a hard disk type, a multimedia card micro type, and a card type memory (for example, SD or XD memory, etc.), Random access memory (RAM), static random access memory (SRAM), read-only memory (ROM), electrically erasable programmable read-only memory (EEPROM), programmable read-only memory (PROM), magnetic memory, It may include a storage medium of at least one of a magnetic disk and an optical disk. The mobile device 3400 may operate in connection with a web storage that performs a storage function of the memory 3460 on the Internet.
인터페이스부(3470)는, 모바일 기기(3400)에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(3470)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 모바일 기기(3400) 내부의 각 구성 요소에 전달하거나, 모바일 기기(3400) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(input/output) 포트, 비디오 I/O 포트, 이어폰 포트 등이 인터페이스부(3470)에 포함될 수 있다.The interface unit 3470 serves as a passage with all external devices connected to the mobile device 3400. The interface unit 3470 receives data from an external device, receives power, transfers it to each component inside the mobile device 3400, or allows data inside the mobile device 3400 to be transmitted to the external device. For example, wired / wireless headset port, external charger port, wired / wireless data port, memory card port, port for connecting devices equipped with an identification module, audio input / output (I / O) port, A video I / O port, an earphone port, and the like may be included in the interface unit 3470.
식별 모듈은 모바일 기기(3400)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(user identify module, UIM), 가입자 인증 모듈(subscriber identify module, SIM), 범용 사용자 인증 모듈(universal subscriber identity module, USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 포트를 통하여 단말기(3400)와 연결될 수 있다.The identification module is a chip that stores various information for authenticating the usage rights of the mobile device 3400, a user identification module (UIM), a subscriber identification module (SIM), and a universal user authentication module ( universal subscriber identity module, USIM). The device provided with the identification module (hereinafter referred to as an 'identification device') may be manufactured in a smart card format. Therefore, the identification device may be connected to the terminal 3400 through the port.
인터페이스부(3470)는, 이동단말기(3400)가 외부 크래들(cradle)과 연결될 때, 크래들로부터의 전원이 이동단말기(3400)에 공급되는 통로가 되거나, 사용자에 의해 크래들에서 입력되는 각종 명령 신호가 이동단말기로 전달되는 통로가 될 수 있다. 크래들로부터 입력되는 각종 명령 신호 또는 전원은, 이동단말기가 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수도 있다.When the mobile terminal 3400 is connected to an external cradle, the interface unit 3470 becomes a passage through which power from the cradle is supplied to the mobile terminal 3400, or various command signals input from the cradle by the user. It can be a passage to the mobile terminal. Various command signals or power input from the cradle may be operated as signals for recognizing that the mobile terminal is correctly mounted on the cradle.
제어부(3480)는, 통상적으로 모바일 기기의 전반적인 동작을 제어한다. 예를 들어, 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 제어부(3480)는, 멀티 미디어 재생을 위한 멀티미디어 모듈(3481)을 구비할 수도 있다. 멀티미디어 모듈(3481)은, 제어부(3480) 내에 구현될 수도 있고, 제어부(3480)와 별도로 구현될 수도 있다. 제어부(3480), 특히 멀티미디어 모듈(3481)은 전술한 인코딩 장치(100) 및/또는 디코딩 장치(200)를 포함할 수 있다. The control unit 3480 typically controls the overall operation of the mobile device. For example, it performs related control and processing for voice calls, data communication, video calls, and the like. The control unit 3480 may include a multimedia module 3481 for multimedia playback. The multimedia module 3401 may be implemented in the control unit 3480, or may be implemented separately from the control unit 3480. The controller 3480, in particular the multimedia module 3401, may include the above-described encoding device 100 and / or decoding device 200.
제어부(3480)는, 터치스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다.The control unit 3480 may perform a pattern recognition process capable of recognizing handwriting input or picture drawing input performed on a touch screen as characters and images, respectively.
전원 공급부(3490)는, 제어부(3480)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.The power supply unit 3490 receives external power and internal power under the control of the control unit 3480 to supply power required for the operation of each component.
여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.The various embodiments described herein can be implemented in a computer- or similar device-readable recording medium using, for example, software, hardware, or a combination thereof.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays, 프로세서, 제어기, 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어부(3480) 자체로 구현될 수 있다.According to a hardware implementation, the embodiments described herein include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), It may be implemented using at least one of a processor, a controller, micro-controllers, microprocessors, and electrical units for performing other functions.In some cases, the embodiments described herein may include a control unit ( 3480) can be implemented by itself.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 애플리케이션으로 소프트웨어 코드가 구현될 수 있다. 여기서, 소프트웨어 코드는, 메모리(3460)에 저장되고, 제어부(3480)에 의해 실행될 수 있다.According to the software implementation, embodiments such as procedures and functions described herein may be implemented as separate software modules. Each of the software modules can perform one or more functions and operations described herein. Software code can be implemented in a software application written in an appropriate programming language. Here, the software code is stored in the memory 3460 and can be executed by the control unit 3480.
도 35는 디지털 기기의 또 다른 실시 예를 설명하기 위해 도시한 구성 블록도이다.35 is a configuration block diagram illustrating another embodiment of a digital device.
디지털 기기(3500)의 다른 예는, 방송 수신부(3505), 외부장치 인터페이스부(3535), 저장부(3540), 사용자 입력 인터페이스부(3550), 제어부(3570), 디스플레이부(3580), 오디오 출력부(3585), 전원공급부(3590) 및 촬영부(미도시)를 포함할 수 있다. 여기서, 방송 수신부(3505)는, 적어도 하나의 튜너(3510), 복조부(3520) 및 네트워크 인터페이스부(3530)를 포함할 수 있다. 다만, 경우에 따라, 방송 수신부(3505)는 튜너(3510)와 복조부(3520)는 구비하나 네트워크 인터페이스부(3530)는 포함하지 않을 수 있으며 그 반대의 경우일 수도 있다. 또한, 방송 수신부(3505)는 도시되진 않았으나, 다중화부(multiplexer)를 구비하여 튜너(3510)를 거쳐 복조부(3520)에서 복조된 신호와 네트워크 인터페이스부(3530)를 거쳐 수신된 신호를 다중화할 수도 있다. 그 밖에 방송 수신부(4025)는 역시 도시되진 않았으나, 역다중화부(demultiplexer)를 구비하여 상기 다중화된 신호를 역다중화 하거나 상기 복조된 신호 또는 상기 네트워크 인터페이스부(3530)를 거친 신호를 역다중화할 수 있다.Other examples of the digital device 3500 include a broadcast receiving unit 3505, an external device interface unit 3535, a storage unit 3540, a user input interface unit 3550, a control unit 3570, a display unit 3580, audio It may include an output unit 3585, a power supply unit 3590 and a photographing unit (not shown). Here, the broadcast reception unit 3505 may include at least one tuner 3510, a demodulation unit 3520, and a network interface unit 3530. However, in some cases, the broadcast reception unit 3505 includes a tuner 3510 and a demodulation unit 3520, but may not include the network interface unit 3530, and vice versa. Also, although the broadcast receiving unit 3505 is not illustrated, a multiplexer is provided to multiplex the signal demodulated by the demodulator 3520 via the tuner 3510 and the signal received through the network interface unit 3530. It might be. In addition, although the broadcast receiving unit 4025 is also not shown, a demultiplexer may be provided to demultiplex the multiplexed signal or demultiplex the demodulated signal or the signal that has passed through the network interface unit 3530. have.
튜너(3510)는, 안테나를 통해 수신되는 RF(radio frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기저장된 모든 채널을 튜닝하여 RF 방송 신호를 수신한다. 또한, 튜너(3510)는, 수신된 RF 방송 신호를 중간 주파수(intermediate frequency, IF) 신호 혹은 베이스밴드(baseband) 신호로 변환한다.The tuner 3510 receives an RF broadcast signal by tuning a channel selected by a user or all pre-stored channels among radio frequency (RF) broadcast signals received through an antenna. In addition, the tuner 3510 converts the received RF broadcast signal into an intermediate frequency (IF) signal or a baseband signal.
예를 들어, 수신된 RF 방송 신호가 디지털 방송 신호이면 디지털 IF 신호(DIF)로 변환하고, 아날로그 방송 신호이면 아날로그 베이스밴드 영상 또는 음성 신호(CVBS/SIF)로 변환한다. 즉, 튜너(3510)는 디지털 방송 신호 또는 아날로그 방송 신호를 모두 처리할 수 있다. 튜너(3510)에서 출력되는 아날로그 베이스 밴드 영상 또는 음성 신호(CVBS/SIF)는 제어부(3570)로 직접 입력될 수 있다.For example, if the received RF broadcast signal is a digital broadcast signal, it is converted into a digital IF signal (DIF), and if it is an analog broadcast signal, it is converted into an analog baseband video or audio signal (CVBS / SIF). That is, the tuner 3510 can process both digital broadcast signals or analog broadcast signals. The analog baseband video or audio signal (CVBS / SIF) output from the tuner 3510 may be directly input to the controller 3570.
또한, 튜너(3510)는, ATSC(advanced television system committee) 방식에 따른 단일 캐리어의 RF 방송 신호 또는 DVB(digital video broadcasting) 방식에 따른 복수 캐리어의 RF 방송 신호를 수신할 수 있다.In addition, the tuner 3510 may receive a single carrier RF broadcast signal according to an advanced television system committee (ATSC) scheme or a multiple carrier RF broadcast signal according to a digital video broadcasting (DVB) scheme.
한편, 튜너(3510)는, 안테나를 통해 수신되는 RF 방송 신호 중 채널 기억 기능을 통하여 저장된 모든 방송 채널의 RF 방송 신호를 순차로 튜닝 및 수신하여 이를 중간 주파수 신호 혹은 베이스 밴드 신호로 변환할 수 있다.Meanwhile, the tuner 3510 may sequentially tune and receive RF broadcast signals of all broadcast channels stored through a channel storage function among RF broadcast signals received through an antenna and convert them into an intermediate frequency signal or a baseband signal. .
복조부(3520)는, 튜너(3510)에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조한다. 예를 들어, 튜너(3510)에서 출력되는 디지털 IF 신호가 ATSC 방식인 경우, 복조부(3520)는 예컨대, 8-VSB(8-vestigal side band) 복조를 수행한다. 또한, 복조부(3520)는 채널 복호화를 수행할 수도 있다. 이를 위해 복조부(3520)는 트렐리스 디코더(trellis decoder), 디인터리버(de-interleaver), 및 리드 솔로먼 디코더(Reed-Solomon decoder) 등을 구비하여, 트렐리스 복호화, 디인터리빙, 및 리드 솔로먼 복호화를 수행할 수 있다.The demodulator 3520 receives and demodulates the digital IF signal DIF converted by the tuner 3510. For example, when the digital IF signal output from the tuner 3510 is an ATSC method, the demodulator 3520 performs 8-vestigal side band (8-VSB) demodulation, for example. Also, the demodulator 3520 may perform channel decoding. To this end, the demodulator 3520 includes a trellis decoder, a de-interleaver, a Reed-Solomon decoder, and the like, trellis decoding, deinterleaving, and Reed Soloman decoding can be performed.
예를 들어, 튜너(3510)에서 출력되는 디지털 IF 신호가 DVB 방식인 경우, 복조부(3520)는 예컨대, COFDMA(coded orthogonal frequency division modulation) 복조를 수행한다. 또한, 복조부(3520)는, 채널 복호화를 수행할 수도 있다. 이를 위해, 복조부(3520)는, 컨벌루션 디코더(convolution decoder), 디인터리버, 및 리드-솔로먼 디코더 등을 구비하여, 컨벌루션 복호화, 디인터리빙, 및 리드 솔로먼 복호화를 수행할 수 있다.For example, when the digital IF signal output from the tuner 3510 is a DVB method, the demodulator 3520 performs, for example, coded orthogonal frequency division modulation (COFDMA) demodulation. Further, the demodulator 3520 may perform channel decoding. To this end, the demodulator 3520 may include a convolution decoder, a deinterleaver, and a lead-soloman decoder, and perform convolutional decoding, deinterleaving, and read soloman decoding.
복조부(3520)는, 복조 및 채널 복호화를 수행한 후 스트림 신호(TS)를 출력할 수 있다. 이때, 스트림 신호는 영상 신호, 음성 신호 또는 데이터 신호가 다중화된 신호일 수 있다. 일 예로, 스트림 신호는 MPEG-2 규격의 영상 신호, 돌비(Dolby) AC-3 규격의 음성 신호 등이 다중화된 MPEG-2 TS(transport stream)일 수 있다. 구체적으로 MPEG-2 TS는, 4 바이트(byte)의 헤더(header)와 184 바이트의 페이로드(payload)를 포함할 수 있다.The demodulator 3520 may output a stream signal TS after demodulation and channel decoding. In this case, the stream signal may be a signal in which a video signal, an audio signal or a data signal is multiplexed. For example, the stream signal may be an MPEG-2 transport stream (TS) in which an MPEG-2 standard video signal and a Dolby AC-3 standard audio signal are multiplexed. Specifically, the MPEG-2 TS may include a header of 4 bytes and a payload of 184 bytes.
한편, 상술한 복조부(3520)는, ATSC 방식과, DVB 방식에 따라 각각 별개로 구비되는 것이 가능하다. 즉, 디지털 기기는 ATSC 복조부와 DVB 복조부를 각각 별개로 구비할 수 있다.Meanwhile, the demodulator 3520 described above may be separately provided according to the ATSC method and the DVB method. That is, the digital device may separately include an ATSC demodulator and a DVB demodulator.
복조부(3520)에서 출력한 스트림 신호는 제어부(3570)로 입력될 수 있다. 제어부(3570)는 역다중화, 영상/음성 신호 처리 등을 제어하고, 디스플레이부(3580)를 통해 영상을, 오디오 출력부(3585)를 통해 음성의 출력을 제어할 수 있다.The stream signal output from the demodulator 3520 may be input to the controller 3570. The control unit 3570 may control demultiplexing, video / audio signal processing, and the like, and control an image output through the display unit 3580 and an audio output unit through the audio output unit 3585.
외부장치 인터페이스부(3535)는 디지털 기기(3500)에 다양한 외부장치가 인터페이싱 되도록 환경을 제공한다. 이를 위해, 외부장치 인터페이스부(3535)는, A/V 입출력부(미도시) 또는 무선 통신부(미도시)를 포함할 수 있다.The external device interface unit 3535 provides an environment in which various external devices are interfaced to the digital device 3500. To this end, the external device interface unit 3535 may include an A / V input / output unit (not shown) or a wireless communication unit (not shown).
외부장치 인터페이스부(3535)는, DVD(digital versatile disk), 블루-레이(blu-ray), 게임기기, 카메라, 캠코더, 컴퓨터(노트북, 태블릿), 스마트폰, 블루투스 기기(bluetooth device), 클라우드(cloud) 등과 같은 외부 장치와 유/무선으로 접속될 수 있다. 외부장치 인터페이스부(3535)는 연결된 외부 장치를 통하여 외부에서 입력되는 영상, 음성 또는 데이터(이미지 포함) 신호를 디지털 기기의 제어부(3570)로 전달한다. 제어부(3570)는 처리된 영상, 음성 또는 데이터 신호를 연결된 외부 장치로 출력되도록 제어할 수 있다. 이를 위해, 외부장치 인터페이스부(3535)는, A/V 입출력부(미도시) 또는 무선 통신부(미도시)를 더 포함할 수 있다.The external device interface unit 3535 includes digital versatile disk (DVD), blu-ray, game devices, cameras, camcorders, computers (laptops, tablets), smartphones, Bluetooth devices, and cloud It can be connected to external devices such as (cloud) by wire / wireless. The external device interface unit 3535 transmits a video, audio, or data (including image) signal input from the outside through the connected external device to the control unit 3570 of the digital device. The control unit 3570 may control the processed image, audio, or data signal to be output to a connected external device. To this end, the external device interface unit 3535 may further include an A / V input / output unit (not shown) or a wireless communication unit (not shown).
A/V 입출력부는, 외부 장치의 영상 및 음성 신호를 디지털 기기(3500)로 입력할 수 있도록, USB 단자, CVBS(composite video banking sync) 단자, 컴포넌트 단자, S-비디오 단자(아날로그), DVI(digital visual interface) 단자, HDMI(high definition multimedia interface) 단자, RGB 단자, D-SUB 단자 등을 포함할 수 있다.A / V input / output unit, USB terminal, CVBS (composite video banking sync) terminal, component terminal, S-video terminal (analog), DVI (DVI) so that video and audio signals from external devices can be input to the digital device (3500) digital visual interface (HDMI) terminal, a high definition multimedia interface (HDMI) terminal, an RGB terminal, a D-SUB terminal, and the like.
무선 통신부는, 다른 전자기기와 근거리 무선 통신을 수행할 수 있다. 디지털 기기(3500)는 예를 들어, 블루투스(bluetooth), RFID(radio frequency identification), 적외선 통신(IrDA, infrared data association), UWB(ultra wideband), 지그비(ZigBee), DLNA(digital living network alliance) 등의 통신 프로토콜에 따라 다른 전자기기와 네트워크 연결될 수 있다.The wireless communication unit may perform short-range wireless communication with other electronic devices. The digital device 3500 includes, for example, Bluetooth, radio frequency identification (RFID), infrared data association (IrDA), ultra wideband (UWB), ZigBee, digital living network alliance (DLNA). Networks may be connected to other electronic devices according to a communication protocol.
또한, 외부장치 인터페이스부(3535)는, 다양한 셋톱-박스와 상술한 각종 단자 중 적어도 하나를 통해 접속되어, 셋톱-박스와 입력/출력 동작을 수행할 수도 있다.Further, the external device interface unit 3535 may be connected to at least one of various set-top boxes and various terminals described above, and perform input / output operations with the set-top box.
한편, 외부장치 인터페이스부(3535)는, 인접하는 외부장치 내의 애플리케이션 또는 애플리케이션 목록을 수신하여, 제어부(3570) 또는 저장부(3540)로 전달할 수 있다.On the other hand, the external device interface unit 3535 may receive an application or a list of applications in an adjacent external device and transmit it to the control unit 3570 or the storage unit 3540.
네트워크 인터페이스부(3530)는, 디지털 기기(3500)를 인터넷 망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공한다. 네트워크 인터페이스부(3530)는, 유선 네트워크와의 접속을 위해 예를 들어, 이더넷(ethernet) 단자 등을 구비할 수 있으며, 무선 네트워크와의 접속을 위해 예를 들어, WLAN(wireless LAN)(Wi-Fi), Wibro(wireless broadband), Wimax(world interoperability for microwave access), HSDPA(high speed downlink packet access) 통신 규격 등을 이용할 수 있다.The network interface unit 3530 provides an interface for connecting the digital device 3500 with a wired / wireless network including an Internet network. The network interface unit 3530 may include, for example, an Ethernet terminal or the like for connection with a wired network, and for example, a wireless LAN (WLAN) (Wi-) for connection with a wireless network. Fi), wireless broadband (Wibro), world interoperability for microwave access (Wimax), and high speed downlink packet access (HSDPA) communication standards.
네트워크 인터페이스부(3530)는, 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 다른 사용자 또는 다른 디지털 기기와 데이터를 송신 또는 수신할 수 있다. 특히, 디지털 기기(3500)에 미리 등록된 다른 사용자 또는 다른 디지털 기기 중 선택된 사용자 또는 선택된 디지털 기기에, 디지털 기기(3500)에 저장된 일부의 컨텐트 데이터를 송신할 수 있다.The network interface unit 3530 may transmit or receive data with other users or other digital devices through a connected network or another network linked to the connected network. In particular, some content data stored in the digital device 3500 may be transmitted to another user registered in advance in the digital device 3500 or to a selected user or selected digital device among other digital devices.
한편, 네트워크 인터페이스부(3530)는, 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 소정 웹 페이지에 접속할 수 있다. 즉, 네트워크를 통해 소정 웹 페이지에 접속하여, 해당 서버와 데이터를 송신 또는 수신할 수 있다. 그 외, 컨텐트 제공자 또는 네트워크 운영자가 제공하는 컨텐트 또는 데이터들을 수신할 수 있다. 즉, 네트워크를 통하여 컨텐트 제공자 또는 네트워크 제공자로부터 제공되는 영화, 광고, 게임, VOD, 방송 신호 등의 컨텐트 및 그와 관련된 정보를 수신할 수 있다. 또한, 네트워크 운영자가 제공하는 펌웨어(firmware)의 업데이트 정보 및 업데이트 파일을 수신할 수 있다. 또한, 인터넷 또는 컨텐트 제공자 또는 네트워크 운영자에게 데이터들을 송신할 수 있다.On the other hand, the network interface unit 3530 may access a predetermined web page through a connected network or another network linked to the connected network. That is, it is possible to connect to a predetermined web page through a network and transmit or receive data with the corresponding server. In addition, content or data provided by a content provider or a network operator may be received. That is, it is possible to receive content such as a movie, advertisement, game, VOD, broadcast signal, and related information provided by a content provider or a network provider through a network. Also, it is possible to receive update information and update files of firmware provided by a network operator. It can also send data to the Internet or content providers or network operators.
또한, 네트워크 인터페이스부(3530)는, 네트워크를 통해, 공중에 공개(open)된 애플리케이션들 중 원하는 애플리케이션을 선택하여 수신할 수 있다.Also, the network interface unit 3530 may select and receive a desired application from among applications that are open to the public through a network.
저장부(3540)는, 제어부(3570) 내의 각 신호 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 신호 처리된 영상, 음성 또는 데이터 신호를 저장할 수도 있다.The storage unit 3540 may store a program for processing and controlling each signal in the control unit 3570, or may store a signal-processed image, audio, or data signal.
또한, 저장부(3540)는 외부장치 인터페이스부(3535) 또는 네트워크 인터페이스부(3530)로부터 입력되는 영상, 음성, 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있다. 저장부(3540)는, 채널 기억 기능을 통하여 소정 방송 채널에 관한 정보를 저장할 수 있다.Also, the storage unit 3540 may perform a function for temporarily storing an image, audio, or data signal input from the external device interface unit 3535 or the network interface unit 3530. The storage unit 3540 may store information regarding a predetermined broadcast channel through a channel storage function.
저장부(3540)는, 외부장치 인터페이스부(3535) 또는 네트워크 인터페이스부(3530)로부터 입력되는 애플리케이션 또는 애플리케이션 목록을 저장할 수 있다.The storage unit 3540 may store an application or a list of applications input from the external device interface unit 3535 or the network interface unit 3530.
또한, 저장부(3540)는, 후술하여 설명하는 다양한 플랫폼(platform)을 저장할 수도 있다.In addition, the storage unit 3540 may store various platforms, which will be described later.
저장부(3540)는, 예를 들어 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM), 롬(EEPROM 등) 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 디지털 기기(3500)는, 저장부(3540) 내에 저장되어 있는 컨텐트 파일(동영상 파일, 정지영상 파일, 음악 파일, 문서 파일, 애플리케이션 파일 등)을 재생하여 사용자에게 제공할 수 있다.The storage unit 3540 may be, for example, a flash memory type, a hard disk type, a multimedia card micro type, or a card type memory (for example, SD or XD) Memory, etc.), RAM (RAM), and ROM (EEPROM, etc.). The digital device 3500 may play a content file (video file, still image file, music file, document file, application file, etc.) stored in the storage unit 3540 and provide it to the user.
도 35는 저장부(3540)가 제어부(3570)와 별도로 구비된 실시 예를 도시하고 있으나, 본 명세서의 범위는 이에 한정되지 않는다. 즉, 저장부(3540)는 제어부(3570) 내에 포함될 수도 있다.35 illustrates an embodiment in which the storage unit 3540 is provided separately from the control unit 3570, the scope of the present specification is not limited thereto. That is, the storage unit 3540 may be included in the control unit 3570.
사용자 입력 인터페이스부(3550)는, 사용자가 입력한 신호를 제어부(3570)로 전달하거나, 제어부(3570)의 신호를 사용자에게 전달한다.The user input interface unit 3550 transmits a signal input by the user to the control unit 3570 or a signal from the control unit 3570 to the user.
예를 들어, 사용자 입력 인터페이스부(3550)는, RF 통신 방식, 적외선(IR) 통신 방식 등 다양한 통신 방식에 따라, 원격제어장치(3600)로부터 전원 온/오프, 채널 선택, 화면 설정 등의 제어 신호를 수신하여 처리하거나, 제어부(3570)의 제어 신호를 원격제어장치(3600)로 송신하도록 처리할 수 있다.For example, the user input interface unit 3550 controls power on / off, channel selection, screen setting, etc. from the remote control device 3600 according to various communication methods such as an RF communication method and an infrared (IR) communication method. The signal may be received and processed, or may be processed to transmit the control signal of the control unit 3570 to the remote control device 3600.
또한, 사용자 입력 인터페이스부(3550)는, 전원 키, 채널 키, 볼륨 키, 설정치 등의 로컬 키(미도시)에서 입력되는 제어 신호를 제어부(3570)에 전달할 수 있다.In addition, the user input interface unit 3550 may transmit a control signal input from a local key (not shown), such as a power key, a channel key, a volume key, and a set value, to the control unit 3570.
사용자 입력 인터페이스부(3550)는, 사용자의 제스처(gesture)를 센싱(sensing)하는 센싱부(미도시)로부터 입력되는 제어 신호를 제어부(3570)에 전달하거나, 제어부(3570)의 신호를 센싱부(미도시)로 송신할 수 있다. 여기서, 센싱부(미도시)는, 터치 센서, 음성 센서, 위치 센서, 동작 센서 등을 포함할 수 있다.The user input interface unit 3550 transmits a control signal input from a sensing unit (not shown) that senses a user's gesture to the control unit 3570 or senses a signal from the control unit 3570 (Not shown). Here, the sensing unit (not shown) may include a touch sensor, a voice sensor, a position sensor, and a motion sensor.
제어부(3570)는, 튜너(3510), 복조부(3520) 또는 외부장치 인터페이스부(3535)를 통하여 입력되는 스트림을 역다중화하거나 역다중화된 신호들을 처리하여, 영상 또는 음성 출력을 위한 신호를 생성 및 출력할 수 있다. 제어부(3570)는 전술한 인코딩 장치 및/또는 디코딩 장치를 포함할 수 있다.The control unit 3570 de-multiplexes the stream input through the tuner 3510, the demodulator 3520, or the external device interface unit 3535 or processes the demultiplexed signals to generate a signal for video or audio output. And output. The control unit 3570 may include the aforementioned encoding device and / or decoding device.
제어부(3570)에서 처리된 영상 신호는, 디스플레이부(3580)로 입력되어 해당 영상 신호에 대응하는 영상으로 표시될 수 있다. 또한, 제어부(3570)에서 영상 처리된 영상 신호는 외부장치 인터페이스부(3535)를 통하여 외부 출력 장치로 입력될 수 있다.The image signal processed by the control unit 3570 may be input to the display unit 3580 and displayed as an image corresponding to the corresponding image signal. Also, the image signal processed by the control unit 3570 may be input to an external output device through the external device interface unit 3535.
제어부(3570)에서 처리된 음성 신호는 오디오 출력부(3585)로 오디오 출력될 수 있다. 또한, 제어부(3570)에서 처리된 음성 신호는 외부장치 인터페이스부(3535)를 통하여 외부 출력장치로 입력될 수 있다.The audio signal processed by the control unit 3570 may be audio output to the audio output unit 3585. Also, the audio signal processed by the control unit 3570 may be input to the external output device through the external device interface unit 3535.
도 35에서는 도시되어 있지 않으나, 제어부(3570)는 역다중화부, 영상처리부 등을 포함할 수 있다.Although not illustrated in FIG. 35, the control unit 3570 may include a demultiplexing unit, an image processing unit, and the like.
제어부(3570)는, 디지털 기기(3500)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어부(3570)는, 튜너(3510)를 제어하여, 사용자가 선택한 채널 또는 기저장된 채널에 해당하는 RF 방송을 튜닝(tuning)하도록 제어할 수 있다.The control unit 3570 may control the overall operation of the digital device 3500. For example, the controller 3570 may control the tuner 3510 to tune an RF broadcast corresponding to a channel selected by a user or a pre-stored channel.
제어부(3570)는, 사용자 입력 인터페이스부(3550)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 디지털 기기(3500)를 제어할 수 있다. 특히, 네트워크에 접속하여 사용자가 원하는 애플리케이션 또는 애플리케이션 목록을 디지털 기기(3500) 내로 다운로드 받을 수 있도록 할 수 있다.The control unit 3570 may control the digital device 3500 by a user command input through the user input interface unit 3550 or an internal program. In particular, it is possible to access a network so that a user can download a desired application or application list into the digital device 3500.
예를 들어, 제어부(3570)는, 사용자 입력 인터페이스부(3550)를 통하여 수신한 소정 채널 선택 명령에 따라 선택한 채널의 신호가 입력되도록 튜너(3510)를 제어한다. 그리고 선택한 채널의 영상, 음성 또는 데이터 신호를 처리한다. 제어부(3570)는, 사용자가 선택한 채널 정보 등이 처리한 영상 또는 음성신호와 함께 디스플레이부(3580) 또는 오디오 출력부(3585)를 통하여 출력될 수 있도록 한다.For example, the control unit 3570 controls the tuner 3510 such that a signal of a selected channel is input according to a predetermined channel selection command received through the user input interface unit 3550. And it processes the video, audio or data signal of the selected channel. The control unit 3570 allows the channel information, etc. selected by the user to be output through the display unit 3580 or the audio output unit 3585 together with the processed image or audio signals.
다른 예로, 제어부(3570)는, 사용자 입력 인터페이스부(3550)를 통하여 수신한 외부장치 영상 재생 명령에 따라, 외부장치 인터페이스부(3535)를 통하여 입력되는 외부 장치, 예를 들어, 카메라 또는 캠코더로부터의, 영상 신호 또는 음성 신호가 디스플레이부(3580) 또는 오디오 출력부(3585)를 통해 출력될 수 있도록 한다.As another example, the control unit 3570 may be input from an external device input through the external device interface unit 3535, for example, a camera or camcorder, according to an external device image playback command received through the user input interface unit 3550. The video signal or the audio signal can be output through the display unit 3580 or the audio output unit 3585.
한편, 제어부(3570)는, 영상을 표시하도록 디스플레이부(3580)를 제어할 수 있다. 예를 들어, 튜너(3510)를 통해 입력되는 방송 영상, 또는 외부장치 인터페이스부(3535)를 통해 입력되는 외부 입력 영상, 또는 네트워크 인터페이스부를 통해 입력되는 영상, 또는 저장부(3540)에 저장된 영상을, 디스플레이부(3580)에 표시하도록 제어할 수 있다. 이때, 디스플레이부(3580)에 표시되는 영상은, 정지 영상 또는 동영상일 수 있으며, 2D 영상 또는 3D 영상일 수 있다.Meanwhile, the control unit 3570 may control the display unit 3580 to display an image. For example, a broadcast image input through the tuner 3510, an external input image input through the external device interface unit 3535, an image input through the network interface unit, or an image stored in the storage unit 3540 , It can be controlled to be displayed on the display unit 3580. At this time, the image displayed on the display unit 3580 may be a still image or a video, and may be a 2D image or a 3D image.
또한, 제어부(3570)는, 컨텐트를 재생하도록 제어할 수 있다. 이때의 컨텐트는, 디지털 기기(3500) 내에 저장된 컨텐트, 또는 수신된 방송 컨텐트, 외부로부터 입력되는 외부 입력 컨텐트일 수 있다. 컨텐트는, 방송 영상, 외부 입력 영상, 오디오 파일, 정지 영상, 접속된 웹 화면, 및 문서 파일 중 적어도 하나일 수 있다.Also, the control unit 3570 may control to play content. The content at this time may be content stored in the digital device 3500, or received broadcast content, or external input content input from the outside. The content may be at least one of a broadcast image, an external input image, an audio file, a still image, a connected web screen, and a document file.
한편, 제어부(3570)는, 애플리케이션 보기 항목에 진입하는 경우, 디지털 기기(3500) 내 또는 외부 네트워크로부터 다운로드 가능한 애플리케이션 또는 애플리케이션 목록을 표시하도록 제어할 수 있다.On the other hand, when entering the application view item, the controller 3570 may control to display a list of applications or applications that can be downloaded from the digital device 3500 or from an external network.
제어부(3570)는, 다양한 사용자 인터페이스와 더불어, 외부 네트워크로부터 다운로드 되는 애플리케이션을 설치 및 구동하도록 제어할 수 있다. 또한, 사용자의 선택에 의해, 실행되는 애플리케이션에 관련된 영상이 디스플레이부(3580)에 표시되도록 제어할 수 있다.The control unit 3570 may control to install and operate an application downloaded from an external network along with various user interfaces. In addition, an image related to an application to be executed can be controlled to be displayed on the display unit 3580 by a user's selection.
한편, 도면에 도시하지 않았지만, 채널 신호 또는 외부 입력 신호에 대응하는 썸네일 이미지를 생성하는 채널 브라우징 처리부가 더 구비되는 것도 가능하다.On the other hand, although not shown in the drawing, it is also possible to further include a channel browsing processing unit for generating a thumbnail image corresponding to a channel signal or an external input signal.
채널 브라우징 처리부는, 복조부(3520)에서 출력한 스트림 신호(TS) 또는 외부장치 인터페이스부(3535)에서 출력한 스트림 신호 등을 입력받아, 입력되는 스트림 신호로부터 영상을 추출하여 썸네일 영상을 생성할 수 있다.The channel browsing processing unit receives a stream signal (TS) output from the demodulator 3520 or a stream signal output from the external device interface unit 3535, extracts an image from the input stream signal, and generates a thumbnail image. You can.
생성된 썸네일 영상은 그대로 또는 부호화되어 제어부(3570)로 입력될 수 있다. 또한, 생성된 썸네일 영상은 스트림 형태로 부호화되어 제어부(3570)로 입력되는 것도 가능하다. 제어부(3570)는 입력된 썸네일 영상을 이용하여 복수의 썸네일 영상을 구비하는 썸네일 리스트를 디스플레이부(3580)에 표시할 수 있다. 한편, 이러한 썸네일 리스트 내의 썸네일 영상들은 차례로 또는 동시에 업데이트 될 수 있다. 이에 따라 사용자는 복수의 방송 채널의 내용을 간편하게 파악할 수 있게 된다.The generated thumbnail image can be input to the control unit 3570 as it is or encoded. Also, the generated thumbnail image may be encoded in a stream form and input to the control unit 3570. The controller 3570 may display a list of thumbnails having a plurality of thumbnail images on the display unit 3580 using the input thumbnail images. Meanwhile, the thumbnail images in the thumbnail list can be updated sequentially or simultaneously. Accordingly, the user can easily grasp the contents of a plurality of broadcast channels.
디스플레이부(3580)는, 제어부(3570)에서 처리된 영상 신호, 데이터 신호, OSD 신호 또는 외부장치 인터페이스부(3535)에서 수신되는 영상 신호, 데이터 신호 등을 각각 R, G, B 신호로 변환하여 구동 신호를 생성한다.The display unit 3580 converts image signals, data signals, OSD signals, or image signals received from the external device interface unit 3535 processed by the control unit 3570 into R, G, and B signals, respectively. Generate a drive signal.
디스플레이부(3580)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등이 가능할 수 있다.The display unit 3580 may be a PDP, LCD, OLED, flexible display, 3D display, or the like.
한편, 디스플레이부(3580)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.Meanwhile, the display unit 3580 may be configured as a touch screen and used as an input device in addition to an output device.
오디오 출력부(3585)는, 제어부(3570)에서 음성 처리된 신호, 예를 들어, 스테레오 신호, 3.1 채널 신호 또는 5.1 채널 신호를 입력받아 음성으로 출력한다. 음성 출력부(3585)는 다양한 형태의 스피커로 구현될 수 있다.The audio output unit 3585 receives a signal processed by the controller 3570, for example, a stereo signal, a 3.1 channel signal, or a 5.1 channel signal, and outputs the audio. The audio output unit 3585 may be implemented as various types of speakers.
한편, 사용자의 제스처를 감지하기 위해, 상술한 바와 같이, 터치 센서, 음성 센서, 위치 센서, 동작 센서 중 적어도 하나를 구비하는 센싱부(미도시)가 디지털 기기(3500)에 더 구비될 수 있다. 센싱부(미도시)에서 감지된 신호는 사용자입력 인터페이스부(3550)를 통해 제어부(3570)로 전달될 수 있다.Meanwhile, in order to sense a user's gesture, as described above, a sensing unit (not shown) having at least one of a touch sensor, a voice sensor, a position sensor, and a motion sensor may be further provided in the digital device 3500. . The signal detected by the sensing unit (not shown) may be transmitted to the control unit 3570 through the user input interface unit 3550.
한편, 사용자를 촬영하는 촬영부(미도시)가 더 구비될 수 있다. 촬영부(미도시)에서 촬영된 영상 정보는 제어부(3570)에 입력될 수 있다.Meanwhile, a photographing unit (not shown) for photographing a user may be further provided. Image information photographed by the photographing unit (not shown) may be input to the control unit 3570.
제어부(3570)는, 촬영부(미도시)로부터 촬영된 영상, 또는 센싱부(미도시)로부터의 감지된 신호를 각각 또는 조합하여 사용자의 제스처를 감지할 수도 있다.The control unit 3570 may detect a user's gesture by individually or in combination with an image captured by the photographing unit (not shown) or a signal detected from the sensing unit (not shown).
전원 공급부(3590)는, 디지털 기기(3500) 전반에 걸쳐 해당 전원을 공급한다.The power supply unit 3590 supplies the corresponding power throughout the digital device 3500.
특히, 시스템 온 칩(system on chip, SOC)의 형태로 구현될 수 있는 제어부(3570)와, 영상 표시를 위한 디스플레이부(3580), 및 오디오 출력을 위한 오디오 출력부(3585)에 전원을 공급할 수 있다.Particularly, power is supplied to a control unit 3570 that can be implemented in the form of a system on chip (SOC), a display unit 3580 for image display, and an audio output unit 3585 for audio output. You can.
이를 위해, 전원 공급부(3590)는, 교류 전원을 직류 전원으로 변환하는 컨버터(미도시)를 구비할 수 있다. 한편, 예를 들어, 디스플레이부(3580)가 다수의 백라이트 램프를 구비하는 액정패널로서 구현되는 경우, 휘도 가변 또는 디밍(dimming) 구동을 위해, PWM 동작 가능한 인버터(미도시)를 더 구비할 수도 있다.To this end, the power supply unit 3590 may include a converter (not shown) that converts AC power into DC power. On the other hand, for example, when the display unit 3580 is implemented as a liquid crystal panel having a plurality of backlight lamps, a PWM-operable inverter (not shown) may be further provided to control luminance or dimming. have.
원격제어장치(3600)는, 사용자 입력을 사용자입력 인터페이스부(3550)로 송신한다. 이를 위해, 원격제어장치(3600)는, 블루투스(bluetooth), RF(radio frequency) 통신, 적외선(IR) 통신, UWB(Ultra Wideband), 지그비(ZigBee) 방식 등을 사용할 수 있다.The remote control device 3600 transmits a user input to the user input interface unit 3550. To this end, the remote control device 3600, Bluetooth (bluetooth), RF (radio frequency) communication, infrared (IR) communication, UWB (Ultra Wideband), ZigBee (ZigBee) method can be used.
또한, 원격제어장치(3600)는, 사용자입력 인터페이스부(3550)에서 출력한 영상, 음성 또는 데이터 신호 등을 수신하여, 이를 원격제어장치(3600)에서 표시하거나 음성 또는 진동을 출력할 수 있다.In addition, the remote control device 3600 may receive an image, audio, or data signal output from the user input interface unit 3550, display it on the remote control device 3600, or output voice or vibration.
상술한 디지털 기기(3500)는, 고정형 또는 이동형의 ATSC 방식 또는 DVB 방식의 디지털 방송 신호의 처리가 가능한 디지털 방송 수신기일 수 있다.The above-described digital device 3500 may be a digital broadcast receiver capable of processing a fixed or mobile ATSC type or DVB type digital broadcast signal.
그 밖에 본 명세서에 따른 디지털 기기는 도시된 구성 중 필요에 따라 일부 구성을 생략하거나 반대로 도시되진 않은 구성을 더 포함할 수도 있다. 한편, 디지털 기기는 상술한 바와 달리, 튜너와 복조부를 구비하지 않고, 네트워크 인터페이스부 또는 외부장치 인터페이스부를 통해서 컨텐트를 수신하여 재생할 수도 있다.In addition, the digital device according to the present specification may omit some components or further include components not illustrated, as required. On the other hand, as described above, the digital device does not have a tuner and a demodulator, and can also receive and play content through a network interface unit or an external device interface unit.
도 36은 도 33 내지 도 35의 제어부의 상세 구성의 일 실시예를 설명하기 위해 도시한 구성 블록도이다.36 is a block diagram illustrating a detailed configuration of the control unit of FIGS. 33 to 35 to illustrate one embodiment.
제어부의 일 예는, 역다중화부(3610), 영상 처리부(3620), OSD(on-screen display) 생성부(3640), 믹서(mixer)(3650), 프레임 레이트 변환부(frame rate converter, FRC)(3655), 및 포맷터(formatter)(3660)를 포함할 수 있다. 그 외 상기 제어부는 도시되진 않았으나 음성 처리부와 데이터 처리부를 더 포함할 수 있다.Examples of the control unit, demultiplexing unit 3610, image processing unit 3620, on-screen display (OSD) generating unit 3640, mixer (mixer) 3650, frame rate converter (FRC) ) 3655, and a formatter 3660. In addition, although not illustrated, the control unit may further include a voice processing unit and a data processing unit.
역다중화부(3610)는, 입력되는 스트림을 역다중화한다. 예를 들어, 역다중화부(3610)는 입력되는 MPEG-2 TS 영상, 음성 및 데이터 신호로 역다중화할 수 있다. 여기서, 역다중화부(3610)에 입력되는 스트림 신호는, 튜너 또는 복조부 또는 외부장치 인터페이스부에서 출력되는 스트림 신호일 수 있다.The demultiplexing unit 3610 demultiplexes the input stream. For example, the demultiplexer 3610 can demultiplex the input MPEG-2 TS video, audio, and data signals. Here, the stream signal input to the demultiplexer 3610 may be a stream signal output from a tuner or demodulator or an external device interface.
영상 처리부(3620)는, 역다중화된 영상 신호의 영상 처리를 수행한다. 이를 위해, 영상 처리부(3620)는, 영상 디코더(3625) 및 스케일러(3635)를 구비할 수 있다.The image processing unit 3620 performs image processing of the demultiplexed image signal. To this end, the image processing unit 3620 may include an image decoder 3625 and a scaler 3635.
영상 디코더(3625)는 역다중화된 영상 신호를 복호하며, 스케일러(3635)는 복호된 영상 신호의 해상도를 디스플레이부에서 출력 가능하도록 스케일링(scaling)한다.The video decoder 3625 decodes the demultiplexed video signal, and the scaler 3635 scales the resolution of the decoded video signal to be output from the display unit.
영상 디코더(3625)는 다양한 규격을 지원할 수 있다. 예를 들어, 영상 디코더(3625)는 영상 신호가 MPEG-2 규격으로 부호화된 경우에는 MPEG-2 디코더의 기능을 수행하고, 영상 신호가 DMB(digital multimedia broadcasting) 방식 또는 H.264 규격으로 부호화된 경우에는 H.264 디코더의 기능을 수행할 수 있다.The video decoder 3625 can support various standards. For example, the video decoder 3625 performs the function of the MPEG-2 decoder when the video signal is encoded in the MPEG-2 standard, and the video signal is encoded in the digital multimedia broadcasting (DMB) method or the H.264 standard. In this case, the function of the H.264 decoder can be performed.
한편, 영상 처리부(3620)에서 복호된 영상 신호는, 믹서(3650)로 입력된다.Meanwhile, the video signal decoded by the video processing unit 3620 is input to the mixer 3650.
OSD 생성부(3640)는, 사용자 입력에 따라 또는 자체적으로 OSD 데이터를 생성한다. 예를 들어, OSD 생성부(3640)는 사용자입력 인터페이스부의 제어 신호에 기초하여 디스플레이부(4180)의 화면에 각종 데이터를 그래픽(graphic)이나 텍스트(text) 형태로 표시하기 위한 데이터를 생성한다. 생성되는 OSD 데이터는, 디지털 기기의 사용자 인터페이스 화면, 다양한 메뉴 화면, 위젯(widget), 아이콘(icon), 시청률 정보(viewing rate information) 등의 다양한 데이터를 포함한다.The OSD generation unit 3640 generates OSD data according to a user input or by itself. For example, the OSD generating unit 3640 generates data for displaying various data on a screen of the display unit 4180 in a graphic or text form based on a control signal of the user input interface unit. The generated OSD data includes various data such as a user interface screen of a digital device, various menu screens, widgets, icons, and viewing rate information.
OSD 생성부(3640)는, 방송 영상의 자막 또는 EPG에 기반한 방송 정보를 표시하기 위한 데이터를 생성할 수도 있다.The OSD generator 3640 may generate data for displaying subtitles of broadcast images or broadcast information based on EPG.
믹서(3650)는, OSD 생성부(3640)에서 생성된 OSD 데이터와 영상 처리부에서 영상 처리된 영상 신호를 믹싱하여 포맷터(3660)로 제공한다. 복호된 영상 신호와 OSD 데이터가 믹싱됨으로 인하여, 방송 영상 또는 외부 입력 영상 상에 OSD가 오버레이(overlay) 되어 표시된다.The mixer 3650 mixes the OSD data generated by the OSD generating unit 3640 and the image signal processed by the image processing unit and provides it to the formatter 3660. Because the decoded video signal and OSD data are mixed, the OSD is displayed overlaid on the broadcast video or the external input video.
프레임 레이트 변환부(FRC)(3655)는, 입력되는 영상의 프레임 레이트(frame rate)를 변환한다. 예를 들어, 프레임 레이트 변환부(3655)는 입력되는 60Hz 영상의 프레임 레이트를 디스플레이부의 출력 주파수에 따라 예를 들어, 120Hz 또는 240Hz의 프레임 레이트를 가지도록 변환할 수 있다. 상기와 같이, 프레임 레이트를 변환하는 방법에는 다양한 방법이 존재할 수 있다. 일 예로, 프레임 레이트 변환부(3655)는 프레임 레이트를 60Hz에서 120Hz로 변환하는 경우, 제1 프레임과 제2 프레임 사이에 동일한 제1 프레임을 삽입하거나, 제1 프레임과 제2 프레임으로부터 예측된 제3 프레임을 삽입함으로써 변환할 수 있다. 다른 예로, 프레임 레이트 변환부(3655)는 프레임 레이트를 60Hz에서 240Hz로 변환하는 경우, 기존 프레임 사이에 동일한 프레임 또는 예측된 프레임을 3개 더 삽입하여 변환할 수 있다. 한편, 별도의 프레임 변환을 수행하지 않는 경우에는 프레임 레이트 변환부(3655)를 바이패스(bypass) 할 수도 있다.A frame rate converter (FRC) 3655 converts a frame rate of an input video. For example, the frame rate converter 3655 may convert the input 60 Hz image frame rate to have a frame rate of, for example, 120 Hz or 240 Hz, depending on the output frequency of the display unit. As described above, various methods may exist in the method for converting the frame rate. For example, when the frame rate converter 3655 converts the frame rate from 60 Hz to 120 Hz, the same first frame is inserted between the first frame and the second frame, or the first frame and the second frame are predicted from the first frame. It can be converted by inserting 3 frames. As another example, when the frame rate converter 3655 converts the frame rate from 60 Hz to 240 Hz, three or more identical frames or predicted frames may be inserted and converted between existing frames. Meanwhile, when a separate frame conversion is not performed, the frame rate conversion unit 3655 may be bypassed.
포맷터(3660)는, 입력되는 프레임 레이트 변환부(3655)의 출력을 디스플레이부의 출력 포맷에 맞게 변경한다. 예를 들어, 포맷터(3660)는 R, G, B 데이터 신호를 출력할 수 있으며, 이러한 R, G, B 데이터 신호는, 낮은 전압 차분 신호(low voltage differential signaling, LVDS) 또는 mini-LVDS로 출력될 수 있다. 또한, 포맷터(3660)는 입력되는 프레임 레이트 변환부(3655)의 출력이 3D 영상 신호인 경우에는 디스플레이부의 출력 포맷에 맞게 3D 형태로 구성하여 출력함으로써, 디스플레이부를 통해 3D 서비스를 지원할 수도 있다.The formatter 3660 changes the output of the input frame rate conversion unit 3655 to match the output format of the display unit. For example, the formatter 3660 may output R, G, and B data signals, and these R, G, and B data signals may be output as low voltage differential signaling (LVDS) or mini-LVDS Can be. In addition, when the output of the input frame rate converter 3655 is a 3D video signal, the formatter 3660 may configure and output a 3D format according to the output format of the display unit, thereby supporting 3D service through the display unit.
한편, 제어부 내 음성 처리부(미도시)는, 역다중화된 음성 신호의 음성 처리를 수행할 수 있다. 이러한 음성 처리부(미도시)는 다양한 오디오 포맷을 처리하도록 지원할 수 있다. 일 예로, 음성 신호가 MPEG-2, MPEG-4, AAC, HE-AAC, AC-3, BSAC 등의 포맷으로 부호화된 경우에도 이에 대응되는 디코더를 구비하여 처리할 수 있다.Meanwhile, a voice processing unit (not shown) in the control unit may perform voice processing of a demultiplexed voice signal. The voice processing unit (not shown) may support various audio formats. For example, even when an audio signal is encoded in formats such as MPEG-2, MPEG-4, AAC, HE-AAC, AC-3, BSAC, a decoder corresponding thereto may be provided and processed.
또한, 제어부 내 음성 처리부(미도시)는, 베이스(base), 트레블(treble), 음량 조절 등을 처리할 수 있다.In addition, the voice processing unit (not shown) in the control unit may process a base, treble, volume control, and the like.
제어부 내 데이터 처리부(미도시)는, 역다중화된 데이터 신호의 데이터 처리를 수행할 수 있다. 예를 들어, 데이터 처리부는 역다중화된 데이터 신호가 부호화된 경우에도 이를 복호할 수 있다. 여기서, 부호화된 데이터 신호로는, 각 채널에서 방영되는 방송 프로그램의 시작시각, 종료시각 등의 방송 정보가 포함된 EPG 정보일 수 있다.The data processing unit (not shown) in the control unit may perform data processing of the demultiplexed data signal. For example, the data processing unit can decode the demultiplexed data signal even when it is encoded. Here, the encoded data signal may be EPG information including broadcast information such as a start time and an end time of a broadcast program broadcast on each channel.
한편, 상술한 디지털 기기는 본 명세서에 따른 예시로서, 각 구성요소는 실제 구현되는 디지털 기기의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라, 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나 하나의 구성요소가 2 이상의 구성요소로 세분화될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 명세서의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 명세서의 권리범위를 제한하지 아니한다.Meanwhile, the above-described digital device is an example according to the present specification, and each component may be integrated, added, or omitted depending on the specification of the actual digital device. That is, if necessary, two or more components may be combined into one component, or one component may be subdivided into two or more components. In addition, the function performed in each block is for describing an embodiment of the present specification, and the specific operation or device does not limit the scope of the present specification.
한편, 디지털 기기는, 장치 내에 저장된 영상 또는 입력되는 영상의 신호 처리를 수행하는 영상신호 처리장치일 수 있다. 영상신호 처리장치의 다른 예로는, 도 35에서 도시된 디스플레이부(3580)와 오디오 출력부(3585)가 제외된 셋톱-박스(STB), 상술한 DVD 플레이어, 블루-레이 플레이어, 게임기기, 컴퓨터 등이 더 예시될 수 있다.Meanwhile, the digital device may be an image signal processing device that performs signal processing of an image stored in the device or an input image. As another example of the video signal processing apparatus, the display unit 3580 and the audio output unit 3585 shown in FIG. 35 are excluded from the set-top box (STB), the above-described DVD player, Blu-ray player, game device, computer And the like can be further exemplified.
도 37은 일 실시예에 따른 디지털 기기의 스크린이 메인 영상(main image)과 보조 영상(sub image)을 동시에 디스플레이 하는 일 예시를 도시하는 도면이다.37 is a diagram illustrating an example in which a screen of a digital device displays a main image and a sub image simultaneously according to an embodiment.
일 실시예에 따른 디지털 기기는 스크린(3700)에 메인 영상(3710)과 보조 영상(3720)을 동시에 디스플레이 할 수 있다. 메인 영상(3710)은 제1 영상이라 불릴 수 있고, 보조 영상(3720)은 제2 영상이라 불릴 수 있다. 메인 영상(3710)과 보조 영상(3720)은 동영상, 스틸 이미지, EPG(electronic program guide), GUI(graphical user interface), OSD(on-screen display) 등을 포함할 수 있고, 이에 한정되지 않는다. 메인 영상(3710)은 전자 장치의 스크린(3700)에 보조 영상(3720)과 동시에 디스플레이 되면서 전자 장치의 스크린(3700) 보다 크기가 상대적으로 작은 영상을 의미할 수 있으며, PIP(picture in picture)로 지칭되기도 한다. 도 37에서는 메인 영상(3710)이 디지털 기기의 스크린(3700)의 좌측 상단에 디스플레이 되는 것으로 도시되어 있으나, 메인 영상(3710)이 디스플레이 되는 위치는 이에 한정되지 않고, 메인 영상(3710)은 디지털 기기의 스크린(3700) 내의 임의의 위치에서 디스플레이 될 수 있다. The digital device according to an embodiment may simultaneously display the main image 3710 and the auxiliary image 3720 on the screen 3700. The main image 3710 may be referred to as a first image, and the auxiliary image 3720 may be referred to as a second image. The main image 3710 and the auxiliary image 3720 may include a video, a still image, an electronic program guide (EPG), a graphical user interface (GUI), an on-screen display (OSD), and the like. The main image 3710 may mean an image that is relatively smaller in size than the screen 3700 of the electronic device while being simultaneously displayed on the screen 3700 of the electronic device and the auxiliary image 3720, as a picture in picture (PIP). Also referred to as. In FIG. 37, the main image 3710 is displayed as being displayed on the upper left of the screen 3700 of the digital device, but the location where the main image 3710 is displayed is not limited thereto, and the main image 3710 is a digital device. Can be displayed at any location within the screen 3700.
메인 영상(3710)과 보조 영상(3720)은 상호 직접 또는 간접적으로 관련될 수 있다. 일 예시로, 메인 영상(3710)은 스트리밍(streaming) 동영상이고, 보조 영상(3720)은 스트리밍 동영상과 유사한 정보를 포함하는 동영상들의 썸네일(thumbnail)들을 순차로 디스플레이 하는 GUI일 수 있다. 다른 예시로, 메인 영상(3710)은 방송 영상(broadcasted image)이고, 보조 영상(3720)은 EPG일 수 있다. 또 다른 예시로, 메인 영상(3710)은 방송 영상이고, 보조 영상(3720)은 GUI일 수 있다. 메인 영상(3710)과 보조 영상(3720)의 예시는 이에 한정되지 않는다.The main image 3710 and the auxiliary image 3720 may be directly or indirectly related to each other. As an example, the main image 3710 may be a streaming video, and the auxiliary image 3720 may be a GUI that sequentially displays thumbnails of videos including information similar to the streaming video. As another example, the main image 3710 may be a broadcasted image, and the auxiliary image 3720 may be an EPG. As another example, the main image 3710 may be a broadcast image, and the auxiliary image 3720 may be a GUI. Examples of the main image 3710 and the auxiliary image 3720 are not limited thereto.
일 실시예에서, 메인 영상(3710)은 방송 채널(broadcasting channel)을 통해 수신한 방송 영상(broadcasting image)이고, 보조 영상(3720)은 방송 채널을 통해 수신한 방송 영상과 관련된 정보일 수 있다. 방송 채널을 통해 수신한 방송 영상과 관련된 정보는, 예를 들어 종합 채널 편성표, 방송 프로그램 상세 정보 등을 포함하는 EPG 정보, 방송 프로그램 다시 보기 정보 등을 포함할 수 있으며, 이에 한정되지 않는다.In one embodiment, the main image 3710 may be a broadcast image received through a broadcasting channel, and the auxiliary image 3720 may be information related to a broadcast image received through a broadcast channel. Information related to a broadcast video received through a broadcast channel may include, for example, EPG information including a comprehensive channel schedule, broadcast program detailed information, and broadcast program review information, but is not limited thereto.
다른 일 실시예에서, 메인 영상(3710)은 방송 채널을 통해 수신한 방송 영상이고, 보조 영상(3720)은 디지털 기기에 기저장된 정보에 기초하여 생성된 영상일 수 있다. 디지털 기기에 기 저장된 정보에 기초하여 생성된 영상은, 예를 들어 EPG의 기본 UI(User Interface), 기본 채널 정보, 영상 해상도(resolution) 조작 UI, 취침 예약 UI 등을 포함할 수 있으며, 이에 한정되지 않는다.In another embodiment, the main image 3710 may be a broadcast image received through a broadcast channel, and the auxiliary image 3720 may be an image generated based on information pre-stored in a digital device. The image generated based on the information pre-stored in the digital device may include, for example, a basic user interface (UI) of the EPG, basic channel information, an image resolution manipulation UI, and a bedtime reservation UI. Does not work.
또 다른 일 실시예에서, 메인 영상(3710)은 방송 채널을 통해 수신한 방송 영상이고, 보조 영상(3720)은 네트워크 망을 통해 수신한, 방송 영상과 관련된 정보일 수 있다. 네트워크망을 통해 수신한, 방송 영상과 관련된 정보는, 예를 들어 네트워크에 기반한 검색 엔진을 통해 획득된 정보일 수 있다. 보다 구체적으로 예를 들면, 네트워크에 기반한 검색 엔진을 통해 현재 메인 영상(3710)에 디스플레이 되고 있는 등장 인물과 관련된 정보가 획득될 수 있다. In another embodiment, the main image 3710 is a broadcast image received through a broadcast channel, and the auxiliary image 3720 may be information related to a broadcast image received through a network. The information related to the broadcast image received through the network may be, for example, information obtained through a network-based search engine. More specifically, for example, information related to a character currently being displayed on the main image 3710 may be obtained through a network-based search engine.
그러나 예시는 이에 한정되지 않으며, 네트워크망을 통해 수신한, 방송 영상과 관련된 정보는 예를 들어 인공지능(artificial intelligence, AI) 시스템을 사용함으로써 획득될 수 있다. 보다 구체적으로 예를 들면, 네트워크에 기반한 딥러닝(deep-learning)을 이용하여 현재 메인 영상(3710)에 디스플레이 되고 있는 장소의 지도상 추정 위치(estimated-location in map)가 획득될 수 있고, 디지털 기기는 네트워크 망을 통하여, 현재 메인 영상(3710)에 디스플레이 되고 있는 장소의 지도상 추정 위치에 관한 정보를 수신할 수 있다.However, the example is not limited to this, and information related to a broadcast image received through a network may be obtained by using, for example, an artificial intelligence (AI) system. More specifically, for example, an estimated-location in map of a place currently being displayed on the main image 3710 can be obtained by using network-based deep-learning, and digital The device may receive information about the estimated location on the map of the place currently being displayed on the main image 3710 through the network.
일 실시예에 따른 디지털 기기는 외부로부터 메인 영상(3710)의 영상 정보 및 보조 영상(3720)의 영상 정보 중 적어도 하나를 수신할 수 있다. 메인 영상(3710)의 영상 정보는 예를 들어 방송 채널(broadcasting channel)을 통해 수신한 방송 신호(broadcasting signal), 메인 영상(3710)의 소스 코드(source code) 정보, 네트워크 망을 통해 수신한 메인 영상(3710)의 IP 패킷(internet protocol packet) 정보 등을 포함할 수 있으며, 이에 한정되지 않는다. 마찬가지로, 보조 영상(3720)의 영상 정보는, 예를 들어 방송 채널을 통해 수신한 방송 신호, 보조 영상(3720)의 소스 코드 정보, 네트워크 망을 통해 수신한 보조 영상(3720)의 IP 패킷 정보 등을 포함할 수 있으며, 이에 한정되지 않는다. 디지털 기기는 외부로부터 수신된 메인 영상(3710)의 영상 정보 또는 보조 영상(3720)의 영상 정보를 디코딩하여 이용할 수 있다. 다만, 경우에 따라서 디지털 기기는 메인 영상(3710)의 영상 정보 또는 보조 영상(3720)의 영상 정보를 내부에 자체적으로 저장하고 있을 수도 있다.The digital device according to an embodiment may receive at least one of image information of the main image 3710 and image information of the auxiliary image 3720 from the outside. The video information of the main video 3710 includes, for example, a broadcast signal received through a broadcasting channel, a source code information of the main video 3710, and a main received through a network. IP packet (internet protocol packet) information of the image 3710 may be included, but is not limited thereto. Similarly, the video information of the secondary video 3720 includes, for example, a broadcast signal received through a broadcast channel, source code information of the secondary video 3720, IP packet information of the secondary video 3720 received through a network, etc. It may include, but is not limited to. The digital device may decode and use video information of the main video 3710 or video information of the secondary video 3720 received from the outside. However, in some cases, the digital device may store image information of the main image 3710 or image information of the auxiliary image 3720 internally.
디지털 기기는 메인 영상(3710)의 영상 정보 및 보조 영상(3720)과 관련된 정보에 기초하여, 메인 영상(3710)과 보조 영상(3720)을 디지털 기기의 스크린(3700)에 디스플레이 할 수 있다. The digital device may display the main image 3710 and the auxiliary image 3720 on the screen 3700 of the digital device based on the image information of the main image 3710 and information related to the auxiliary image 3720.
일 예시에서, 디지털 기기의 디코딩 장치(200)는 메인 영상 디코딩 장치와 보조 영상 디코딩 장치를 포함하고, 메인 영상 디코딩 장치와 보조 영상 디코딩 장치는 각각 메인 영상(3710)의 영상 정보와 보조 영상(3720)의 영상 정보를 디코딩 할 수 있다. 렌더러는 메인 영상 렌더러(제1 렌더러)와 보조 영상 렌더러(제2 렌더러)를 포함하고, 메인 영상 렌더러는 메인 영상 디코딩 장치에서 디코딩 된 정보에 기초하여 메인 영상(3710)을 디지털 기기의 스크린(3700)의 제1 영역에 디스플레이되도록 할 수 있고, 보조 영상 렌더러는 보조 영상 디코딩 장치에서 디코딩 된 정보에 기초하여 보조 영상(3720)을 디지털 기기의 스크린(3700)의 제2 영역에 디스플레이되도록 할 수 있다.In one example, the decoding apparatus 200 of the digital device includes a main image decoding apparatus and an auxiliary image decoding apparatus, and the main image decoding apparatus and the auxiliary image decoding apparatus respectively include image information of the main image 3710 and auxiliary image 3720 ) Can decode video information. The renderer includes a main image renderer (first renderer) and an auxiliary image renderer (second renderer), and the main image renderer displays the main image 3710 on the screen 3700 of the digital device based on the information decoded by the main image decoding device. ) May be displayed in the first area, and the auxiliary image renderer may display the auxiliary image 3720 in the second area of the screen 3700 of the digital device based on the decoded information in the auxiliary image decoding apparatus. .
또 다른 예시에서, 디지털 기기의 디코딩 장치(200)는 메인 영상(3710)의 영상 정보와 보조 영상(3720)의 영상 정보를 디코딩 할 수 있다. 디코딩 장치(200)에서 디코딩된 정보에 기초하여, 렌더러는 메인 영상(3710) 및 보조 영상(3720)을 함께 처리하여 동시에 디지털 기기의 스크린(3700)에 디스플레이되도록 할 수 있다.In another example, the decoding apparatus 200 of the digital device may decode image information of the main image 3710 and image information of the auxiliary image 3720. Based on the information decoded by the decoding apparatus 200, the renderer may process the main image 3710 and the auxiliary image 3720 together to be simultaneously displayed on the screen 3700 of the digital device.
즉, 본 문서에 따르면, 디지털 기기에서 영상 서비스 처리 방법을 제공할 수 있다. 상기 영상 서비스 처리 방법에 따르면, 영상 정보를 수신하는 단계, 상기 영상 정보를 기반으로 (메인) 영상을 디코딩하는 단계, 디코딩된 영상을 디스플레이 내 제1 영역에 렌더링 또는 디스플레이하는 단계, 디스플레이 내 제2 영역에 보조 영상을 렌더링 또는 디스플레이하는 단계를 포함할 수 있다. 이 경우 제1 영상을 디코딩하는 단계는, 상술한 도 3에 따른 디코딩 장치(200)에서의 디코딩 절차를 따를 수 있다. 예를 들어, 상술한 바와 같이, 제1 영상을 디코딩하는 단계는 인터 또는 인트라 예측을 기반으로 현재 블록에 대한 예측 샘플들을 도출하는 단계, 수신된 레지듀얼 정보를 기반으로 현재 블록에 대한 레지듀얼 샘플들을 도출하는 단계(생략 가능) 및 예측 샘플들 및/또는 레지듀얼 샘플들을 기반으로 복원 샘플들을 생성하는 단계를 포함할 수 있다. 추가적으로 제1 영상을 디코딩하는 단계는 복원 샘플들을 포함하는 복원 픽처에 인루프 필터링 절차를 수행하는 것을 포함할 수도 있다. That is, according to this document, it is possible to provide a method for processing an image service in a digital device. According to the image service processing method, receiving image information, decoding a (main) image based on the image information, rendering or displaying the decoded image in a first area on the display, and second in the display And rendering or displaying an auxiliary image in the area. In this case, the step of decoding the first image may follow the decoding procedure in the decoding apparatus 200 according to FIG. 3 described above. For example, as described above, decoding the first image may include deriving prediction samples for the current block based on inter or intra prediction, and residual samples for the current block based on the received residual information. And generating reconstruction samples based on predictive samples and / or residual samples. Additionally, decoding the first image may include performing an in-loop filtering procedure on the reconstructed picture including the reconstructed samples.
예를 들어, 상기 보조 영상은 EPG(electronic program guide), OSD(on screen display), 또는 GUI(graphic user interface)일 수 있다. 예를 들어, 상기 영상 정보는 방송망(broadcast network)를 통하여 수신되고, 상기 보조 영상에 관한 정보는 상기 방송망을 통하여 수신될 수 있다. 예를 들어, 상기 영상 정보는 통신망(communication network)를 통하여 수신되고, 상기 보조 영상에 관한 정보는 상기 통신망을 통하여 수신될 수 있다. 예를 들어, 상기 영상 정보는 방송망을 통하여 수신되고, 상기 보조 영상에 관한 정보는 통신망을 통하여 수신될 수 있다. 예를 들어, 상기 영상 정보는 방송망 또는 통신망을 통하여 수신되고, 상기 보조 영상에 관한 정보는 상기 디지털 기기 내의 저장매체에 저장되어 있을 수 있다.For example, the auxiliary image may be an electronic program guide (EPG), an on-screen display (OSD), or a graphical user interface (GUI). For example, the video information may be received through a broadcast network, and information on the auxiliary video may be received through the broadcast network. For example, the image information may be received through a communication network, and information regarding the auxiliary image may be received through the communication network. For example, the video information may be received through a broadcast network, and information regarding the auxiliary video may be received through a communication network. For example, the image information may be received through a broadcasting network or a communication network, and information regarding the auxiliary image may be stored in a storage medium in the digital device.
이상에서 설명된 실시예들은 본 명세서의 구성요소들과 특징들이 소정 형태로 결합된 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려되어야 한다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 명세서의 실시예를 구성하는 것도 가능하다. 본 명세서의 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다. 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함시킬 수 있음은 자명하다.The embodiments described above are those in which the components and features of the present specification are combined in a predetermined form. Each component or feature should be considered optional unless stated otherwise. Each component or feature may be implemented in a form that is not combined with other components or features. In addition, it is also possible to constitute an embodiment of the present specification by combining some components and / or features. The order of the operations described in the embodiments herein can be changed. Some configurations or features of one embodiment may be included in other embodiments, or may be replaced with corresponding configurations or features of other embodiments. It is obvious that the claims may not be explicitly included in the claims, and the embodiments may be combined or included as new claims by amendment after filing.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 명세서의 일 실시예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리는 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고받을 수 있다.In the case of implementation by firmware or software, an embodiment of the present specification may be implemented in the form of a module, procedure, function, etc. that performs the functions or operations described above. The software code can be stored in memory and driven by a processor. The memory is located inside or outside the processor, and can exchange data with the processor by various means already known.
본 명세서는 본 명세서의 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. 따라서, 상술한 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 명세서의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 명세서의 등가적 범위 내에서의 모든 변경은 본 명세서의 범위에 포함된다. It will be apparent to those skilled in the art that the present specification may be embodied in other specific forms without departing from essential features of the present specification. Therefore, the above detailed description should not be construed as limiting in all respects and should be considered illustrative. The scope of the present specification should be determined by rational interpretation of the appended claims, and all changes within the equivalent scope of the present specification are included in the scope of the present specification.
이상, 전술한 본 발명의 바람직한 실시예는, 예시의 목적을 위해 개시된 것으로, 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서, 다양한 다른 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.The preferred embodiments of the present invention described above have been disclosed for purposes of illustration, and those skilled in the art can improve and change various other embodiments within the technical spirit and the technical scope of the present invention disclosed in the appended claims. , Replacement or addition will be possible.

Claims (14)

  1. 인트라 예측을 사용하여 비디오 신호를 처리하기 위한 방법에 있어서, A method for processing a video signal using intra prediction,
    MPM 플래그에 기반하여 현재 블록에 대한 MPM(most probable mode)의 적용 여부를 확인하는 단계;Determining whether to apply the most probable mode (MPM) to the current block based on the MPM flag;
    상기 MPM이 적용되면, 상기 현재 블록의 예측을 위한 참조 라인 인덱스 및 MPM 인덱스를 확인하는 단계; 및When the MPM is applied, checking a reference line index and an MPM index for prediction of the current block; And
    상기 MPM 인덱스에 의해 지시되는 예측 모드에 기반하여 상기 참조 라인 인덱스에 의해 지시되는 참조 라인의 참조 샘플로부터 상기 현재 블록의 예측 샘플을 생성하는 단계를 포함하는 것을 특징으로 하는 방법.And generating a prediction sample of the current block from a reference sample of the reference line indicated by the reference line index based on the prediction mode indicated by the MPM index.
  2. 제1항에 있어서,According to claim 1,
    상기 MPM이 미적용되면, 리메이닝 인트라 모드 정보를 확인하는 단계; 및If the MPM is not applied, confirming re-maining intra-mode information; And
    상기 리메이닝 인트라 모드 정보에 기반하여 상기 현재 블록의 예측 샘플을 생성하는 단계를 더 포함하는 것을 특징으로 하는 것을 특징으로 하는 방법.And generating a prediction sample of the current block based on the re-maining intra mode information.
  3. 제2항에 있어서,According to claim 2,
    상기 MPM 플래그, 상기 참조 라인 인덱스, 상기 MPM 인덱스, 및 상기 리메이닝 인트라 모드 정보는 코딩 유닛 신택스(coding unit syntax)에 포함되어 인코더로부터 디코더로 전송되는 것을 특징으로 하는 방법.The MPM flag, the reference line index, the MPM index, and the remodeling intra-mode information are included in coding unit syntax (coding unit syntax) and transmitted from an encoder to a decoder.
  4. 제1항에 있어서,According to claim 1,
    상기 참조 라인 인덱스 및 상기 MPM 인덱스를 확인하는 단계는,Checking the reference line index and the MPM index,
    상기 참조 라인 인덱스를 파싱한 이후 상기 MPM 인덱스를 파싱하거나, 상기 MPM 인덱스를 파싱한 이후 상기 참조 라인 인덱스를 파싱하는 단계를 포함하는 것을 특징으로 하는 방법.And parsing the MPM index after parsing the reference line index, or parsing the reference line index after parsing the MPM index.
  5. 제1항에 있어서,According to claim 1,
    상기 참조 라인 인덱스 및 상기 MPM 인덱스는 하나의 신택스 엘레먼트(syntax element)로서 동시에 파싱되는 것을 특징으로 하는 방법.The reference line index and the MPM index are parsed as a single syntax element.
  6. 제1항에 있어서,According to claim 1,
    상기 참조 라인 인덱스는,The reference line index,
    상기 현재 블록의 예측을 위해 사용되는 상기 현재 블록의 좌측 또는 상측으로 일정 샘플 거리 이내의 주변 참조 샘플 라인의 위치를 지시하는 것을 특징으로 하는 방법.And indicating a location of a reference sample line within a predetermined sample distance to the left or upper side of the current block used for prediction of the current block.
  7. 제6항에 있어서,The method of claim 6,
    상기 참조 라인 인덱스는,The reference line index,
    상기 현재 블록의 1, 2, 또는 4 샘플 거리만큼 이격된 참조 샘플 라인을 지시하는 것을 특징으로 하는 방법.And indicating a reference sample line spaced by a 1, 2, or 4 sample distance of the current block.
  8. 인트라 예측을 사용하여 비디오 신호를 처리하기 위한 장치에 있어서,An apparatus for processing a video signal using intra prediction, comprising:
    상기 비디오 신호를 저장하는 메모리; 및A memory for storing the video signal; And
    상기 메모리와 결합된 프로세서를 포함하고,And a processor coupled with the memory,
    상기 프로세서는,The processor,
    MPM 플래그에 기반하여 현재 블록에 대한 MPM(most probable mode)의 적용 여부를 확인하고,Based on the MPM flag, it is checked whether or not to apply the most probable mode (MPM) to the current block,
    상기 MPM이 적용되면, 상기 현재 블록의 예측을 위한 참조 라인 인덱스 및 MPM 인덱스를 확인하고,When the MPM is applied, a reference line index and an MPM index for prediction of the current block are checked,
    상기 MPM 인덱스에 의해 지시되는 예측 모드에 기반하여 상기 참조 라인 인덱스에 의해 지시되는 참조 라인의 참조 샘플로부터 상기 현재 블록의 예측 샘플을 생성하도록 설정되는 것을 특징으로 하는 장치.And configured to generate a prediction sample of the current block from a reference sample of the reference line indicated by the reference line index based on the prediction mode indicated by the MPM index.
  9. 제8항에 있어서,The method of claim 8,
    상기 프로세서는,The processor,
    상기 MPM이 미적용되면, 리메이닝 인트라 모드 정보를 확인하고,If the MPM is not applied, check the remodeling intra mode information,
    상기 리메이닝 인트라 모드 정보에 기반하여 상기 현재 블록의 예측 샘플을 생성하도록 설정되는 것을 특징으로 하는 장치.And configured to generate a prediction sample of the current block based on the re-maining intra mode information.
  10. 제9항에 있어서,The method of claim 9,
    상기 MPM 플래그, 상기 참조 라인 인덱스, 상기 MPM 인덱스, 및 상기 리메이닝 인트라 모드 정보는 코딩 유닛 신택스(coding unit syntax)에 포함되어 인코더로부터 디코더로 전송되는 것을 특징으로 하는 장치.And the MPM flag, the reference line index, the MPM index, and the remodeling intra-mode information are included in coding unit syntax and transmitted from an encoder to a decoder.
  11. 제8항에 있어서,The method of claim 8,
    상기 프로세서는,The processor,
    상기 참조 라인 인덱스를 파싱한 이후 상기 MPM 인덱스를 파싱하거나, 상기 MPM 인덱스를 파싱한 이후 상기 참조 라인 인덱스를 파싱하도록 설정되는 것을 특징으로 하는 장치.And parsing the MPM index after parsing the reference line index, or parsing the reference line index after parsing the MPM index.
  12. 제8항에 있어서,The method of claim 8,
    상기 참조 라인 인덱스 및 상기 MPM 인덱스는 하나의 신택스 엘레먼트(syntax element)로서 동시에 파싱되는 것을 특징으로 하는 장치.And the reference line index and the MPM index are simultaneously parsed as one syntax element.
  13. 제8항에 있어서,The method of claim 8,
    상기 참조 라인 인덱스는,The reference line index,
    상기 현재 블록의 예측을 위해 사용되는 상기 현재 블록의 좌측 또는 상측으로 일정 샘플 거리 이내의 주변 참조 샘플 라인의 위치를 지시하는 것을 특징으로 하는 장치.And indicating a location of a peripheral reference sample line within a predetermined sample distance to the left or upper side of the current block used for prediction of the current block.
  14. 제13항에 있어서,The method of claim 13,
    상기 참조 라인 인덱스는,The reference line index,
    상기 현재 블록의 1, 2, 또는 4 샘플 거리만큼 이격된 참조 샘플 라인을 지시하는 것을 특징으로 하는 장치.And indicating a reference sample line spaced by a 1, 2, or 4 sample distance of the current block.
PCT/KR2019/013024 2018-10-06 2019-10-04 Method and apparatus for processing video signal by using intra-prediction WO2020071846A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862742354P 2018-10-06 2018-10-06
US62/742,354 2018-10-06

Publications (1)

Publication Number Publication Date
WO2020071846A1 true WO2020071846A1 (en) 2020-04-09

Family

ID=70055105

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/013024 WO2020071846A1 (en) 2018-10-06 2019-10-04 Method and apparatus for processing video signal by using intra-prediction

Country Status (1)

Country Link
WO (1) WO2020071846A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111654696A (en) * 2020-04-24 2020-09-11 北京大学 Intra-frame multi-reference-line prediction method and device, storage medium and terminal

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140098039A (en) * 2014-07-16 2014-08-07 에스케이텔레콤 주식회사 Video Encoding/Decoding Method and Apparatus by Efficiently Processing Intra Prediction Mode
US20150110197A1 (en) * 2011-08-29 2015-04-23 Ibex Pt Holdings Co., Ltd. Method for generating prediction block in amvp mode
KR20150141177A (en) * 2011-09-28 2015-12-17 한국전자통신연구원 Method for encoding/decoding an intra prediction mode and apparatus for the same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150110197A1 (en) * 2011-08-29 2015-04-23 Ibex Pt Holdings Co., Ltd. Method for generating prediction block in amvp mode
KR20150141177A (en) * 2011-09-28 2015-12-17 한국전자통신연구원 Method for encoding/decoding an intra prediction mode and apparatus for the same
KR20140098039A (en) * 2014-07-16 2014-08-07 에스케이텔레콤 주식회사 Video Encoding/Decoding Method and Apparatus by Efficiently Processing Intra Prediction Mode

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BROSS ET AL.: "CVersatile Video Coding (Draft 2=", JVET-K0175-V6. JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 11TH MEETING, 21 September 2018 (2018-09-21), XP030193577 *
JIANG, HUI-YU ET AL.: "CE3-related: Advanced MPM based on intra reference lines election scheme", JVET-K0175-V3. JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/EEC JTC 1/SC 29/WG 11 11TH MEETING, 14 July 2018 (2018-07-14), XP030199224 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111654696A (en) * 2020-04-24 2020-09-11 北京大学 Intra-frame multi-reference-line prediction method and device, storage medium and terminal

Similar Documents

Publication Publication Date Title
WO2020122640A1 (en) Method and device for processing video signal on basis of history-based motion vector prediction
WO2020141914A1 (en) Method and apparatus for processing video signal on basis of history-based motion vector prediction
WO2020197083A1 (en) Method and device for inter prediction on basis of dmvr and bdof
WO2020117018A1 (en) Method and device for processing video signal on basis of inter prediction
WO2015137783A1 (en) Method and device for configuring merge candidate list for decoding and encoding of interlayer video
WO2020197084A1 (en) Dmvr-based inter prediction method and apparatus
WO2014051408A1 (en) Method for sao compensation for encoding inter-layer prediction error and apparatus therefor
WO2015005753A1 (en) Method and apparatus for inter-layer decoding video using depth-based disparity vector, and method and apparatus for inter-layer encoding video using depth-based disparity vector
WO2014107066A1 (en) Scalable video encoding method and apparatus using image up-sampling in consideration of phase-shift and scalable video decoding method and apparatus
WO2020071871A1 (en) Method and apparatus for processing image service
WO2014109594A1 (en) Method for encoding inter-layer video for compensating luminance difference and device therefor, and method for decoding video and device therefor
WO2020117016A1 (en) Method and device for processing video signal on basis of inter-prediction
WO2015012622A1 (en) Method for determining motion vector and apparatus therefor
WO2015194896A1 (en) Inter-layer video encoding method for compensating for luminance difference and device therefor, and video decoding method and device therefor
WO2020036390A1 (en) Method and apparatus for processing image signal
WO2020130680A1 (en) Method and device for processing video signal by using intra-prediction
WO2015093920A1 (en) Interlayer video encoding method using brightness compensation and device thereof, and video decoding method and device thereof
WO2020141913A1 (en) Method and apparatus for processing video signal on basis of inter prediction
WO2020009449A1 (en) Method and apparatus for processing video signal by using affine prediction
WO2021040482A1 (en) Adaptive loop filtering-based image coding device and method
WO2014163453A1 (en) Interlayer video encoding method and apparatus and interlayer video decoding method and apparatus for compensating luminance difference
WO2014163454A1 (en) Interlayer video encoding method and apparatus and interlayer video decoding method and apparatus for compensating luminance difference
WO2020060312A1 (en) Method and device for processing image signal
WO2020117013A1 (en) Method and apparatus for processing video signal on basis of inter prediction
WO2020141853A1 (en) Method and apparatus for processing video signal on basis of inter prediction

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19869280

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19869280

Country of ref document: EP

Kind code of ref document: A1