WO2020258378A1 - 一种视频图像处理方法、设备及存储介质 - Google Patents

一种视频图像处理方法、设备及存储介质 Download PDF

Info

Publication number
WO2020258378A1
WO2020258378A1 PCT/CN2019/095328 CN2019095328W WO2020258378A1 WO 2020258378 A1 WO2020258378 A1 WO 2020258378A1 CN 2019095328 W CN2019095328 W CN 2019095328W WO 2020258378 A1 WO2020258378 A1 WO 2020258378A1
Authority
WO
WIPO (PCT)
Prior art keywords
bit
mode
cclm
image
indicate
Prior art date
Application number
PCT/CN2019/095328
Other languages
English (en)
French (fr)
Inventor
马思伟
张嘉琪
郑萧桢
王苫社
Original Assignee
北京大学
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京大学, 深圳市大疆创新科技有限公司 filed Critical 北京大学
Priority to EP19935736.9A priority Critical patent/EP3989549A4/en
Priority to CN202210308473.2A priority patent/CN114827610B/zh
Priority to KR1020217042458A priority patent/KR20220011182A/ko
Priority to CN201980008812.1A priority patent/CN111602396B/zh
Priority to CN202210308545.3A priority patent/CN114827612B/zh
Priority to JP2021576141A priority patent/JP2022546898A/ja
Priority to CN202210308472.8A priority patent/CN114827609B/zh
Priority to CN202210308544.9A priority patent/CN114827611B/zh
Publication of WO2020258378A1 publication Critical patent/WO2020258378A1/zh
Priority to US17/645,930 priority patent/US11871004B2/en
Priority to US18/544,589 priority patent/US20240195981A1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component

Definitions

  • the present invention relates to the field of video encoding/decoding, and in particular to a video image processing method, device and storage medium.
  • CCLM Cross Component Linear Mode
  • the CCLM prediction mode is used to analyze the number of the chrominance prediction mode of an image block, there is a dependency on the bit resolution of different positions.
  • the encoding/decoding method of the bit in the fourth position of the image block needs to refer to the third The bit value of the position. Adopting this method will lead to higher encoding/decoding complexity and lower encoding/decoding efficiency. Therefore, how to better improve the encoding/decoding efficiency has become the focus of research.
  • the embodiments of the present invention provide a video image processing method, device, and storage medium, which implement parallel encoding/decoding, reduce the complexity of the encoding/decoding process, save encoding/decoding time, and improve encoding/decoding efficiency.
  • an embodiment of the present invention provides a video image processing method, including:
  • the first bit of the three adjacent bits is used to indicate whether to use the first mode of the CCLM, and when the first bit indicates that the first mode of the CCLM is not used, the second bit The bit is used to indicate whether to use the CCLM other modes other than the first mode, and when the second bit indicates that the CCLM other than the first mode is used, the third bit is used Indicating that the image block adopts the second mode or the third mode of the CCLM;
  • the first bit of the three adjacent bits is used to indicate whether to use the CCLM, and when the first bit indicates whether to use the CCLM, the second bit is used to indicate whether to use the CCLM.
  • the third bit is used to indicate whether the second mode or the third mode of the CCLM is adopted;
  • an embodiment of the present invention provides a video image processing method, including:
  • the first bit of the three adjacent bits is used to indicate whether to use the CCLM, and when the first bit indicates to use the CCLM, the second bit is used to indicate whether to use the CCLM.
  • the third bit is used to indicate whether the second mode or the third mode of the CCLM is adopted;
  • an embodiment of the present invention provides a video image processing device, including: a memory and a processor;
  • the memory is used to store program instructions
  • the processor is configured to call the program instructions, and when the program instructions are executed, to perform the following operations:
  • the first bit of the three adjacent bits is used to indicate whether to use the first mode of the CCLM, and when the first bit indicates that the first mode of the CCLM is not used, the second bit The bit is used to indicate whether to use the CCLM other modes other than the first mode, and when the second bit indicates that the CCLM other than the first mode is used, the third bit is used Indicating that the image block adopts the second mode or the third mode of the CCLM;
  • the first bit of the three adjacent bits is used to indicate whether to use the CCLM, and when the first bit indicates whether to use the CCLM, the second bit is used to indicate whether to use the CCLM.
  • the third bit is used to indicate whether the second mode or the third mode of the CCLM is adopted;
  • an embodiment of the present invention provides a video image processing device, including:
  • the memory is used to store program instructions
  • the processor is configured to call the program instructions, and when the program instructions are executed, to perform the following operations:
  • the first bit of the three adjacent bits is used to indicate whether to use the CCLM, and when the first bit indicates to use the CCLM, the second bit is used to indicate whether to use the CCLM.
  • the third bit is used to indicate whether the second mode or the third mode of the CCLM is adopted;
  • an embodiment of the present invention provides a computer-readable storage medium that stores a computer program, and when the computer program is executed by a processor, the computer program implements the foregoing first aspect or the foregoing second aspect.
  • Video image processing method
  • the bit string is obtained by binarizing the chrominance prediction mode of the image block of the image to be encoded/decoded.
  • the bit string includes at least three adjacent bits, and mutually independent probability models are used to respectively At least two adjacent (for example, the second bit and the third bit, and for example the first bit and the second bit) of the three adjacent bit strings are encoded/decoded to implement parallel encoding/decoding , Reduce the complexity of encoding/decoding and improve the efficiency of encoding/decoding.
  • Figure 1a is a schematic diagram of a CCLM provided by an embodiment of the present invention.
  • Figure 1b is a schematic diagram of another CCLM provided by an embodiment of the present invention.
  • FIG. 2 is a schematic flowchart of a video image processing method provided by an embodiment of the present invention.
  • Figure 3 is a schematic structural diagram of a video image processing device provided by an embodiment of the present invention.
  • Fig. 4 is a schematic diagram of an arithmetic coding process provided by an embodiment of the present invention.
  • the video image processing method proposed in the embodiment of the present invention can be applied to a video image processing device, and the video processing device can be set on a smart terminal (such as a mobile phone, a tablet computer, etc.).
  • a smart terminal such as a mobile phone, a tablet computer, etc.
  • the embodiments of the present invention can be applied to aircraft (such as unmanned aerial vehicles).
  • the embodiments of the present invention can also be applied to other movable platforms (such as unmanned ships, unmanned vehicles). , Robots, etc.), the embodiment of the present invention does not make specific limitations.
  • the video image processing method proposed by the embodiment of the present invention is mainly applied to comply with the international video coding standard H.264, the video compression standard (High Efficiency Video Coding, HEVC), VVC and the Chinese video coding/decoding standard (Audio Video coding Standard, AVS) , AVS+, AVS2 and AVS3, etc.
  • the chroma prediction technology in the video coding standard will be explained.
  • the input of video coding is a video sequence in YUV format, where Y is the luminance component, U and V are chrominance components.
  • CCLM mode is introduced to improve the prediction of chrominance components Accuracy.
  • Fig. 1a is a schematic diagram of a CCLM provided by an embodiment of the present invention
  • Fig. 1b is a schematic diagram of another CCLM provided by an embodiment of the present invention
  • Fig. 1a shows the current chroma block
  • Fig. 1b shows the chroma prediction block obtained based on the current chroma block of Fig. 1a. Since there is a strong correlation between different components of a video sequence, coding performance can be improved by using the correlation between different components of a video sequence. Therefore, in order to reduce the redundant information between the components, in the CCLM prediction mode, the chrominance component is predicted based on the reconstructed luminance component in the same block, using the following linear model:
  • pred C refers to the chrominance prediction block
  • rec′ L refers to the down-sampled luminance component of the luminance coding block at the same position
  • the parameters ⁇ and ⁇ minimize the regression between adjacent reconstructed luminance and chrominance samples
  • the error is derived, as shown in the following formula (1) and formula (2):
  • L(n) represents the reconstructed luminance samples after down-sampling in the adjacent column on the left and the adjacent row above
  • C(n) represents the reconstructed chrominance samples adjacent to the left and above of the current chrominance block.
  • ⁇ and ⁇ do not need to be transmitted, they are calculated in the same way in the decoder.
  • Intra-frame prediction uses reconstructed neighboring pixels to obtain prediction blocks through different prediction modes.
  • the chroma prediction mode also introduces a new CCLM mode.
  • For a frame of image it is first divided into coding areas (Coding Tree Unit, CTU) of the same size, such as 64x64 and 128x128.
  • CTU Coding Tree Unit
  • Each CTU can be further divided into square or rectangular coding units (CU).
  • the luminance component and the chrominance component can have different divisions; in the bidirectional predictive interpolation coding frame B frame and the forward predictive coding frame P frame, the luminance component and the chrominance component have The same division method.
  • the chroma prediction mode number of the image block is transmitted in the bit stream.
  • the intra-frame prediction technologies in mainstream video coding standards mainly include Planar mode, DC mode and 65 angle modes.
  • the chroma prediction mode additionally includes the CCLM mode.
  • the CCLM mode may include multiple types, for example, including at least one of three prediction modes: LT_CCLM, T_CCLM, and L_CCLM.
  • the number of the chroma prediction mode is transmitted in the code stream.
  • Table 1 shows the chroma prediction mode when CCLM is turned off.
  • No. 0 is Planar mode
  • No. 1 is DC mode
  • No. 50 is angle Vertical mode
  • No. 18 is angle Horizon mode. .
  • the number of the chroma prediction mode can be searched for the number of the chroma prediction mode corresponding to the luma mode through Table 1 according to the luma mode.
  • Table 1 Take Table 1 as an example to illustrate how to use Table 1 to query the brightness mode.
  • the brightness mode is Planar mode 0 and the chroma prediction mode number is 1, then the brightness mode 0 can be determined according to Table 1.
  • the luminance mode corresponding to the chrominance prediction mode number 1 is the angle vertical mode No. 50 in the third row and second column.
  • the brightness mode is the 18th angle Horizon mode and the chroma prediction mode number is 3, then the brightness mode corresponding to the brightness mode 18 and the chroma prediction mode number 3 can be determined according to Table 1. It is the No. 1 DC mode in the fifth row and third column.
  • the bit string is obtained by binarizing the chroma prediction mode of the image block, so as to encode/decode the bits in the bit string.
  • the bit position can represent a bit encoding/decoding bit (bit) or an encoding/decoding binary symbol (bin).
  • the bit in the first position of the bit string is encoded using context 0, and the bits in the second and third positions of the bit string are both used. Probability bypass mode. At this time, there is no dependence on the bits at different positions of the coded chroma prediction mode number.
  • context refers to a model that updates the occurrence probability of different bins according to the recently encoded/decoded bins during the context-based adaptive binary arithmetic encoding/decoding process .
  • the 8 chroma prediction modes correspond to the following table 3, where the chroma prediction modes 4, 5, and 6 correspond to the LT_CCLM, L_CCLM, and T_CCLM modes respectively, and the 7 is the DM mode, 0, 1, 2 and 3 are other modes or regular intra-frame chroma prediction modes.
  • Table 3 Take Table 3 as an example to illustrate how to use Table 3 to query the brightness mode.
  • the CCLM mode When the CCLM mode is turned on, if the brightness mode is Planar mode No. 0 and the chroma prediction mode number is No. 5 L_CCLM mode, the brightness can be determined according to Table 3.
  • the luminance mode corresponding to mode 0 and chrominance prediction mode number 5 is mode 82 in the seventh row and second column.
  • the CCLM mode is turned on, if the brightness mode is the 18th angle Horizon mode and the chroma prediction mode number is the 7th DM mode, then according to Table 3, it can be determined that the brightness mode No. 18 corresponds to the chroma prediction mode No. 8
  • the brightness mode is the 18th angle Horizon mode in the ninth row and the fourth column.
  • Chroma prediction mode number Binarization 7 0 4 10 5 1110 6 1111 0 11000 1 11001 2 11010 3 11011
  • the number of the chroma prediction mode When transmitting in the code stream, the number of the chroma prediction mode has a different value range according to whether the CCLM mode is turned on or not, and the bit string after the binarization is encoded and transmitted in the code stream.
  • the bit at the first position in the bit string is used to indicate whether to use the DM mode or other modes.
  • the other modes besides the DM mode include but are not limited to CCLM mode or regular intra-color Degree prediction mode.
  • the chrominance prediction mode number 7 after the binarization of the bit string is 0, and the bit at the first position is 0, then the DM mode is determined to be adopted;
  • the chroma prediction mode number 4 after the binarization is 10 , The bit in the first position is 1, then it is determined to adopt other modes except DM mode.
  • the bit in the second position is used to indicate whether to use the LT_CCLM mode. For example, the bit string after the binarization of the chrominance prediction mode number 4 is 10, and the bit in the second position is 0, it is determined that the LT_CCLM mode is adopted.
  • the bit in the third position is used when the bit in the second position indicates that the LT_CCLM mode is not used, indicating the use of other modes than the LT_CCLM mode, such as chroma prediction mode numbers 5, 6, 0, 1, 2, 3
  • the bit in the third position of the bit string after binarization is used to indicate the use of modes other than the LT_CCLM mode.
  • the bit in the fourth position is used to indicate that L_CCLM mode or T_CCLM mode is used when the bit in the third position is 1, the bit string after binarization of chroma prediction mode number 5 is 1110, and the bit in the fourth position If the bit is 0, it can be determined that the L_CCLM mode is adopted; the bit string after binarization of the chroma prediction mode number 6 is 1111, and the bit in the fourth position is 1, then it can be determined that the T_CCLM mode is adopted.
  • the bit in the fourth position and the bit in the fifth position are used to indicate the number of the chrominance prediction mode used.
  • the bit string after binarization of chroma prediction mode number 0 is 11000
  • the bit string after binarization of chroma prediction mode number 1 is 11001
  • the bit string after binarization of chroma prediction mode number 2 is 11010.
  • the bit string after binarization of chroma prediction mode number 3 is 11011.
  • the bit string may be a 1-bit bit string. Taking Table 4 as an example, the bit string corresponding to the chroma prediction mode number 7 after binarization is 0, then the chroma prediction can be determined Mode number 7 adopts the DM mode.
  • the bit string may include two adjacent bits. Taking Table 4 as an example, it is assumed that the video image processing device binarizes the chrominance prediction mode number 4 of the image block of the image to be encoded/decoded. If the bit string is 10 and the bit in the first position is 1, it can be determined that the chrominance prediction mode of the image block does not use the DM mode, that is, uses other modes other than the DM mode, and may use the CCLM mode or the regular intraframe In the chroma prediction mode, the bit in the second position is 0, it can be determined that the chroma prediction mode of the image block uses the LT_CCLM mode in the CCLM mode.
  • the chroma prediction mode is increased from 5 to 8.
  • the bit at the first position, the bit at the second position, and the bit at the third position of the bit string are coded using the contexts of No. 0, No. 1, and No. 2 respectively.
  • the encoding method needs to be determined according to the value of the bit in the third position.
  • the bit in the fourth position and the bit in the fifth position are encoded by bypass; when the value of the bit in the third position is equal to 1, the fourth The bits of the position are coded using context 2.
  • the decoding process needs to determine the value of the bit at the third position before further decoding the bit at the fourth position.
  • the coding process of the chroma prediction mode number is shown in Table 5 below:
  • na is used to indicate an empty coding model
  • bypass is used to indicate a corresponding bypass coding mode below.
  • the bit position Idx includes 0, 1, 2, 3, 4, where 0 is used to indicate the bit position in the first position, and 2 is used to indicate the bit position in the second position, that is, the first position.
  • One bit, 2 is used to indicate the third bit, that is, the second bit, 3 is used to indicate the fourth bit, that is, the third bit, and 4 is used to indicate the fourth bit, that is The third bit.
  • the embodiment of the present invention proposes that the chrominance prediction mode of the image block of the image to be encoded/decoded is binarized to obtain a bit string.
  • the bit string includes at least three adjacent bits, wherein the to-be encoded/decoded.
  • the image allows the use of the inter-component linear model CCLM and/or the conventional intra chrominance prediction mode.
  • the CCLM includes at least a first mode, a second mode, and a third mode.
  • the conventional intra chrominance prediction mode is divided by the CCLM Intra chroma prediction modes other than those.
  • the first bit of the three adjacent bits is used to indicate whether to use the first mode of the CCLM, and the second bit is used when the first bit indicates not to use the When the first mode of CCLM is used, it indicates whether to use other modes of the CCLM except the first mode, and the third bit is used when the second bit indicates to use the CCLM other than the first mode. In other modes, it indicates whether the image block adopts the second mode or the third mode of the CCLM.
  • the first bit of the three adjacent bits is used to indicate whether to use the CCLM, and when the first bit indicates that the CCLM is used, the second bit is used for It indicates whether to adopt the first mode of the CCLM, and when the second bit indicates that the first mode of the CCLM is not adopted, the third bit is used to indicate whether the second mode or the third mode of the CCLM is adopted.
  • the use of mutually independent probability models for encoding and decoding can refer to the probability model used when encoding and decoding a bit, which will not be affected by the value of other bits (such as adjacent bits), that is, It will not change with the value of other bits.
  • the three adjacent bits may be located in the same syntax element (for example, they are all located in the intra-chroma prediction mode).
  • this implementation mode can effectively reduce the complexity of hardware analysis while maintaining the performance gains brought by multiple chroma prediction modes.
  • the improved method can improve the parallelism of hardware analysis without obvious loss of encoding/coding performance, remove the encoding/decoding dependence of different positions, simplify the complexity of each bit encoding/decoding, and improve Encoding/decoding efficiency.
  • FIG. 2 is a schematic flowchart of a video image processing method according to an embodiment of the present invention.
  • the method can be applied to a video image processing device, where the explanation of the video image processing device is as described above, and will not be repeated here.
  • the method of the embodiment of the present invention includes the following steps.
  • S201 Binarize the chrominance prediction mode of the image block of the image to be encoded/decoded to obtain a bit string, where the bit string includes at least three adjacent bits, wherein the image to be encoded/decoded allows the use of inter-component
  • the video image processing device may binarize the chrominance prediction mode of the image block of the image to be encoded/decoded to obtain a bit string.
  • the bit string includes at least three adjacent bits, wherein the The image to be encoded/decoded allows the use of the inter-component linear model CCLM and/or the conventional intra chrominance prediction mode.
  • the CCLM includes at least a first mode, a second mode, and a third mode, and the conventional intra chrominance prediction mode is Intra chroma prediction modes other than the CCLM.
  • the first bit of the three adjacent bits is used to indicate whether to use the first mode of the CCLM, and when the first bit indicates that the first mode of the CCLM is not used
  • the second bit is used to indicate whether to use other modes of the CCLM other than the first mode
  • the second bit indicates to use the other modes of the CCLM other than the first mode
  • the first The three bits are used to indicate whether the image block adopts the second mode or the third mode of the CCLM.
  • the first bit is a bit in the second position in the bit string
  • the second bit is a bit in the third position in the bit string
  • the third bit is The bit position is the fourth position in the bit string.
  • the third bit is also used to indicate that the conventional intra chroma prediction is used when the second bit indicates that the CCLM modes other than the first mode are not used.
  • the conventional intra chrominance prediction mode includes any one or more of Planar mode, DC mode, and 65 angle modes.
  • the first mode includes the LT_CCLM mode
  • the second mode includes the L_CCLM mode
  • the third mode includes the T_CCLM mode.
  • the CCLM mode is a chroma prediction mode of intra prediction. Taking Table 4 as an example, the chroma prediction mode number 4 binarized bit string 10 corresponds to the first mode, namely LT_CCLM mode, and the chroma prediction mode number 5 binarized bit string 1110 corresponds to the second mode, namely L_CCLM mode. , The chroma prediction mode number 6 binarized bit string 1111 corresponds to the third mode, that is, the T_CCLM mode.
  • the first mode, second mode, and third mode may be modes other than LT_CCLM mode, L_CCLM mode, and T_CCLM mode.
  • the image blocks in the image to be encoded/decoded are square and/or rectangular.
  • the bits in the bit string may be expressed in the form of "bin" in arithmetic encoding/decoding.
  • the bits may also be expressed in other forms. No specific restrictions.
  • the image to be encoded/decoded is an image to be encoded/decoded with CCLM enabled. In some embodiments, the image to be encoded/decoded includes at least one image block in which the CCLM is turned on.
  • whether the CCLM is in the on state can be determined by an identifier added during encoding.
  • the video parameter set Video Parameter Set, VPS
  • sequence parameter set Sequence Parameter Set, SPS
  • picture parameter set Picture Parameter Set, PPS
  • a sequence header, a slice header, or an image header is added with an identifier, and the identifier is used to indicate whether the image or image block to be encoded is allowed to use CCLM.
  • Different values of the identifier indicate different situations.
  • the identification is the second value (for example, 1), it means that CCLM is allowed to be used, and if the identification is the first value (for example, 0), it means that CCLM is not allowed.
  • the decoded identifier may include VPS, SPS, PPS, sequence header , Strip header or image header.
  • the identifier exists in the VPS and the identifier is the second value (for example, 1), it means that the use of CCLM is allowed, and if the identifier is the first value (for example, 0), it means that the CCLM is not allowed.
  • the permission to use the CCLM has the same meaning as when the CCLM is in the on state, that is, if it is determined that the CCLM is in the on state, it can be determined that the CCLM is allowed to be used in the image to be encoded/decoded.
  • the image to be encoded/decoded includes at least one image block with CCLM in an on state and at least one image block with CCLM in an off state.
  • the second bit and the third bit of the image block are encoded/decoded using mutually independent probability models.
  • the second bit when the first bit is used to indicate the first mode of the CCLM, and the second bit is the first value, the second bit is used to indicate the use of a regular frame Internal chroma prediction mode. In some embodiments, the first value is zero.
  • the second bit when the first bit is used to indicate the first mode, and the second bit satisfies a second value, the second bit is used to indicate that the CCLM is used The second mode or the third mode.
  • the third bit when the second bit is used to indicate the second mode or the third mode of the CCLM, and the third bit satisfies the first value, the third bit is used At indicating to adopt the second mode of the CCLM.
  • the third bit when the second bit is used to indicate the second mode or the third mode of the CCLM, and the third bit satisfies the second value, the third bit is used Yu indicates to adopt the third mode of the CCLM.
  • the second value is 1.
  • the bit string is 1110 If the bit in the first position is 1, it can be determined that the chrominance prediction mode of the image block is CCLM mode or the regular intra chrominance prediction mode; the bit in the second position is 1, then It can be determined that the chroma prediction mode of the image block is not using the LT_CCLM mode in the CCLM mode; the bit in the third position is 1, then it can be determined that the chroma prediction mode of the image block uses the L_CCLM mode Or T_CCLM mode. If the bit in the fourth position is 0, it can be determined that the chrominance prediction mode of the image block uses the L_CCLM mode.
  • the video image processing device binarizes the chrominance prediction mode of the image block of the image to be encoded/decoded to obtain a bit string of 1111, and the bit of the first position is 1, then the image block can be determined
  • the chroma prediction mode is the CCLM mode or the regular intra chroma prediction mode;
  • the bit of the second position is 1, it can be determined that the chroma prediction mode of the image block is not using the LT_CCLM mode in the CCLM mode;
  • the bit in the third position is 1, it can be determined that the chrominance prediction mode of the image block uses the L_CCLM mode or the T_CCLM mode.
  • the bit in the fourth position is 1, it can be determined that the chrominance prediction mode of the image block uses the T_CCLM mode.
  • the second bit when the second bit is used to indicate the use of the conventional intra-frame chrominance prediction mode, the last two bits adjacent to the second bit are used to indicate the conventional intra-frame color The number of the degree prediction mode. In some embodiments, if the bit string includes four adjacent bits, it can be determined that the image block uses a conventional intra chroma prediction mode.
  • the video image processing device binarizes the chrominance prediction mode of the image block of the image to be encoded/decoded to obtain a bit string of 11000, and the bit of the first position is 1, then the image block can be determined
  • the chroma prediction mode is the CCLM mode or the regular intra chroma prediction mode; the bit of the second position is 1, it can be determined that the chroma prediction mode of the image block is not using the LT_CCLM mode in the CCLM mode; If the bit in the third position is 0, it can be determined that the chrominance prediction mode of the image block uses the conventional intra-frame chrominance prediction mode; the bits in the fourth position and the fifth position If the bit is 00, the number 0 of the regular intra-frame chroma prediction mode can be determined.
  • the video image processing device binarizes the chrominance prediction mode of the image block of the image to be encoded/decoded to obtain a bit string of 11001, and the bit in the first position is 1, then the image block can be determined
  • the chroma prediction mode of is the CCLM mode or the regular intra chroma prediction mode; the bit of the second position is 1, it can be determined that the chroma prediction mode of the image block is not using the LT_CCLM mode in the CCLM mode ;
  • the bit of the third position is 0, it can be determined that the chroma prediction mode of the image block uses the conventional intra-frame chroma prediction mode; the bit of the fourth position and the fifth position If the bit position of is 01, the number 1 of the conventional intra-frame chroma prediction mode can be determined.
  • the video image processing device binarizes the chrominance prediction mode of the image block of the image to be encoded/decoded to obtain a bit string of 11010, and the bit at the first position is 1, then the image block can be determined
  • the chroma prediction mode of is the CCLM mode or the regular intra chroma prediction mode; the bit of the second position is 1, it can be determined that the chroma prediction mode of the image block is not using the LT_CCLM mode in the CCLM mode ;
  • the bit in the third position is 0, it can be determined that the chrominance prediction mode of the image block uses the conventional intra-frame chrominance prediction mode; the bit in the fourth position and the bit in the fifth position If the bit is 10, the number 2 of the conventional intra chroma prediction mode can be determined.
  • the video image processing device binarizes the chrominance prediction mode of the image block of the image to be encoded/decoded to obtain a bit string of 11011, and the bit at the first position is 1, then the image block can be determined
  • the chroma prediction mode of is the CCLM mode or the regular intra chroma prediction mode; the bit of the second position is 1, it can be determined that the chroma prediction mode of the image block is not using the LT_CCLM mode in the CCLM mode ;
  • the bit in the third position is 0, it can be determined that the chrominance prediction mode of the image block uses the conventional intra-frame chrominance prediction mode; the bit in the fourth position and the bit in the fifth position If the bit is 11, the number 3 of the conventional intra chroma prediction mode can be determined.
  • S202 Use mutually independent probability models to respectively encode/decode the second bit and the third bit.
  • the video image processing device may use mutually independent probability models to respectively encode/decode the second bit and the third bit.
  • the third bit is encoded using the same probability model and will not be affected by the value of the second bit.
  • the second bit and the third bit adopt the same context probability model (also referred to as context) for encoding/decoding.
  • the second bit and the third bit are encoded/decoded using different context probability models, so that the parallelism of the second bit and the third bit's encoding/decoding can be improved.
  • the second bit and the third bit can both be edited/decoded using the bypass probability model; or, the second bit and the third bit can also be edited/decoded using the bypass probability model and the other using the context Probabilistic model encoding/decoding, which can also improve the parallelism of encoding/decoding of the second bit and the third bit.
  • the mutually independent probability models refer to a coding mode using independent contexts, that is, a conventional coding mode.
  • FIG. 4 is taken as an example to illustrate the bypass coding mode and the conventional coding mode.
  • FIG. 4 is a schematic diagram of an arithmetic coding process provided by an embodiment of the present invention. As shown in Figure 4, the input syntax elements of non-binary values are firstly binarized, and the binary bit string generated by the binarization process then enters the encoding stage.
  • the bit string enters In context modeling, after the context model is determined, the bit string and its corresponding context model are sent to the conventional encoding module for encoding, and then the encoding result is output, and the context model is updated according to the encoding result.
  • the video image processing device when the video image processing device uses mutually independent probability models to respectively encode/decode the second bit and the third bit, the video image processing device may perform the encoding/decoding on the first bit of the image block. Three bits add a new context, and the next bit adjacent to the third bit is encoded/decoded in the bypass mode.
  • the bypass mode is a corresponding bypass encoding mode below.
  • FIG. 4 is taken as an example to illustrate the bypass coding mode.
  • the input syntax element of non-binary value is firstly binarized, and the binary bit string generated by the binarization process then enters the encoding stage.
  • the bypass encoding mode is selected, the binary bit string The 0s and 1s in the bit string generated by quantization are considered as equal probability distributions, and are sent to the bypass encoding module for encoding, and then the encoding result is output.
  • This mode can reduce the complexity of implementation and speed up the encoding and decoding process.
  • the video image processing device may add a No. 1 context to the third bit of the image block to perform encoding/decoding; optionally, the bypass mode may also be used to perform encoding/decoding on the downstream adjacent to the third bit.
  • the video image processing device when the video image processing device uses mutually independent probability models to respectively encode/decode the second bit and the third bit, the video image processing device may perform the encoding/decoding on the first bit of the image block. A new context is added to the three bits, and a new context is added to the next bit adjacent to the third bit to perform encoding/decoding.
  • the video image processing device may add a No. 2 context to the third bit of the image block for encoding/decoding, and add a No. 0 context to the next bit adjacent to the third bit. Perform encoding/decoding.
  • the third bit of the image block adopts the bypass mode; optionally, a new context can be added to the next bit adjacent to the third bit to perform encoding/decoding.
  • the video image processing device may use the bypass mode to encode/decode the third bit of the image block, and add a context number 0 to the next bit adjacent to the third bit to encode/decode the third bit. /decoding.
  • the third bit of the image block uses the same context as the second bit for encoding/decoding.
  • the video image processing device uses the No. 1 context to encode/decode the second bit, it may use the same No. 1 context as the second bit to encode/decode the third bit of the image block. .
  • the video image processing device may binarize the chrominance prediction mode of the image block of the image to be coded/decoded to obtain a bit string.
  • the bit string includes at least three adjacent bits and adopts mutually independent
  • the probability model respectively encodes/decodes the second bit and the third bit in the bit string.
  • the 8 chroma prediction modes correspond to those shown in Table 6 below.
  • the chroma prediction modes 4, 5, and 6 may correspond to LT_CCLM, L_CCLM, and T_CCLM modes, respectively
  • the 7 may be the DM mode
  • the 0, 1, 2, and 3 may be other modes or regular intraframes Chroma prediction mode.
  • Table 6 Take Table 6 as an example to illustrate how to use Table 6 to query the brightness mode.
  • the CCLM mode When the CCLM mode is turned on, if the brightness mode number is 0 and the chroma prediction mode number is 5, the chroma prediction mode can be determined according to Table 6.
  • the No. 82 model in the prediction model should be used. It can be understood that the prediction mode number is not limited to the examples shown in Table 3 or Table 6.
  • the second bit when the first bit indicates that the CCLM is used, the second bit is used to indicate whether to use the first mode of the CCLM, and when the second bit indicates that the CCLM is not used, In the first mode of the CCLM, the third bit is used to indicate whether the second mode or the third mode of the CCLM is adopted.
  • Table 7 is a specific example.
  • the chroma prediction mode number (for example, the chroma prediction mode number shown in Table 6) is binarized as shown in Table 7 below.
  • Chroma prediction mode number Binarization 4 00 0 0100 1 0101 2 0110 3 0111 5 10 6 110 7 111
  • the second bit is used to indicate whether to use the first mode of the CCLM, and when the second bit indicates that the CCLM is not used In the first mode of the CCLM, the third bit is used to indicate whether the second mode or the third mode of the CCLM is adopted.
  • the second bit is used to indicate whether to use the first mode in the conventional intra chrominance prediction mode; when the second bit indicates that the CCLM is not used In the first mode of the conventional intra chroma prediction mode, the third bit is used to indicate whether to use the second mode or the third mode in the conventional intra chroma prediction mode; when the third bit is used for When indicating to use the second mode or the third mode in the conventional intra chroma prediction mode, the fourth bit is used to indicate whether the second mode or the third mode in the conventional intra chroma prediction mode is specifically used; When the third bit is used to indicate the second mode or the third mode that does not use the conventional intra chroma prediction mode, the fourth bit is used to indicate the fourth mode that uses the conventional intra chroma prediction mode Still the fifth mode.
  • the probability model used in encoding/decoding the chroma prediction mode numbers in Table 7 may be as shown in Table 8 below:
  • na is used to indicate an empty coding model
  • bypass is used to indicate a bypass coding mode
  • the bit position Idx includes 0 to 3, which are used to indicate 4 bits respectively.
  • the first bit mentioned above can be the bit at the first position in the bit string (that is, the bit numbered 0)
  • the second bit can be the bit at the second position in the bit string.
  • the third bit can be the bit of the third position in the bit string (that is, the bit numbered 2).
  • the parsing process of the first bit and the second bit are independent of each other, such as the probability model used by the second bit It will not vary with the value of the first bit. Further, the parsing process of the second bit and the third bit are independent of each other. For example, the probability model adopted by the third bit will not be different with the value of the second bit.
  • the first bit and the second bit use the same context probability model (also referred to as context) for encoding/decoding.
  • context probability model also referred to as context
  • the first bit and the second bit are encoded/decoded using different context probability models, which can increase the parallelism of the first bit and the second bit's encoding/decoding.
  • both the first bit and the second bit can be edited/decoded using the bypass probability model; or, the first bit and the second bit can also be edited/decoded using the bypass probability model and the other using the context Probabilistic model encoding/decoding, which can also improve the parallelism of encoding/decoding of the first bit and the second bit.
  • CCLM mode when the CCLM mode is turned on and off, different tables are used to query the specific prediction mode corresponding to the chroma prediction mode number. For example, when CCLM is turned off, Table 1 is used to query the prediction mode corresponding to the number of the chroma prediction mode, and when CCLM is turned on, Table 3 is used to query the prediction mode corresponding to the number of the chroma prediction mode.
  • the same table may be used to query the specific prediction mode corresponding to the chroma prediction mode number when the CCLM mode is turned on and off.
  • Table 6 is used to query the prediction mode corresponding to the number of the chroma prediction mode when the CCLM is closed and when it is opened. Then, when the number of the chroma prediction mode is binarized to obtain a bit string, when the CCLM mode is turned on and off, the bit string obtained by the binarization of the number of the chroma prediction mode can be as shown in Table 7.
  • the first bit in the binarization result (the first bit of the bit string corresponding to the numbers 0 to 4 in Table 7), that is, Is "0") Entropy coding is performed after deletion. That is, when the CCLM mode is turned off, the binarization result corresponding to the chroma prediction mode number is still shown in Table 2.
  • FIG. 3 is a schematic structural diagram of a video image processing device according to an embodiment of the present invention.
  • the video image processing device includes a memory 301, a processor 302 and a data interface 303.
  • the memory 301 may include a volatile memory (volatile memory); the memory 301 may also include a non-volatile memory (non-volatile memory); the memory 301 may also include a combination of the foregoing types of memories.
  • the processor 302 may be a central processing unit (CPU).
  • the processor 302 may further include a hardware video image processing device.
  • the foregoing hardware video image processing device may be an application-specific integrated circuit (ASIC), a programmable logic device (PLD), or a combination thereof. For example, it may be a complex programmable logic device (CPLD), a field-programmable gate array (FPGA), or any combination thereof.
  • ASIC application-specific integrated circuit
  • PLD programmable logic device
  • FPGA field-programmable gate array
  • the memory 301 is used to store program instructions.
  • the processor 302 can call the program instructions stored in the memory 301 to perform the following steps:
  • the first bit of the three adjacent bits is used to indicate whether to use the first mode of the CCLM, and when the first bit indicates that the first mode of the CCLM is not used, the second bit The bit is used to indicate whether to use the CCLM other modes other than the first mode, and when the second bit indicates that the CCLM other than the first mode is used, the third bit is used Indicating that the image block adopts the second mode or the third mode of the CCLM;
  • the first bit of the three adjacent bits is used to indicate whether to use the CCLM, and when the first bit indicates whether to use the CCLM, the second bit is used to indicate whether to use the CCLM.
  • the third bit is used to indicate whether the second mode or the third mode of the CCLM is adopted;
  • the third bit is also used for when the second bit indicates that the CCLM mode other than the first mode is not to be used, indicates that the mode in the conventional intra chroma prediction mode is used.
  • the second bit indicates that the CCLM mode other than the first mode is not to be used, indicates that the mode in the conventional intra chroma prediction mode is used.
  • the image to be encoded/decoded includes at least one image block in which the CCLM is in an on state.
  • the image to be encoded/decoded includes at least one image block with CCLM in an on state and at least one image block with CCLM in an off state;
  • the second bit and the third bit of the image block are encoded/decoded using mutually independent probability models.
  • the first bit when the value of the first bit satisfies the first value, the first bit is used to indicate that the first mode of the CCLM is adopted.
  • the second bit is used to indicate the use of conventional intra-frame chroma Forecast mode.
  • the first value is 0.
  • the second bit is used to indicate that the second mode of the CCLM is adopted Or the third mode.
  • the third bit is used to indicate the use of The second mode of the CCLM.
  • the third bit is used to indicate the use of The third mode of the CCLM.
  • the last two bits adjacent to the second bit are used to indicate the conventional intra chroma prediction mode Number.
  • processor 302 uses mutually independent probability models to respectively encode/decode the second bit and the third bit, it is specifically configured to:
  • the third bit of the image block is encoded/decoded in a bypass mode.
  • processor 302 uses mutually independent probability models to respectively encode/decode the second bit and the third bit, it is specifically configured to:
  • a new context is added to the third bit of the image block, and the next bit adjacent to the third bit is encoded/decoded in a bypass mode.
  • processor 302 uses mutually independent probability models to respectively encode/decode the second bit and the third bit, it is specifically configured to:
  • a new context is added to the third bit of the image block, and a new context is added to the next bit adjacent to the third bit to perform encoding/decoding.
  • processor 302 uses mutually independent probability models to respectively encode/decode the second bit and the third bit, it is specifically configured to:
  • the third bit of the image block adopts a bypass mode, and a new context is added to the next bit adjacent to the third bit to perform encoding/decoding.
  • processor 302 uses mutually independent probability models to respectively encode/decode the second bit and the third bit, it is specifically configured to:
  • the third bit of the image block is encoded/decoded in the same context as the second bit.
  • the first mode includes LT_CCLM mode
  • the second mode includes L_CCLM mode
  • the third mode includes T_CCLM mode.
  • the CCLM mode is a chroma prediction mode of intra prediction.
  • image blocks in the image to be encoded/decoded are square and/or rectangular.
  • the first bit is a bit at a second position in the bit string
  • the second bit is the bit at the third position in the bit string
  • the third bit is the fourth bit in the bit string.
  • the conventional intra-frame chrominance prediction mode includes any one or more of Planar mode, DC mode, and 65 angle modes.
  • the first bit of the three adjacent bits is used to indicate whether to use the CCLM, and when the first bit indicates that the CCLM is used, the second bit is used to indicate Whether to adopt the first mode of the CCLM, and when the second bit indicates that the first mode of the CCLM is not adopted, the third bit is used to indicate whether the second mode or the third mode of the CCLM is adopted.
  • mutually independent probability models are used to encode/decode the first bit and the second bit respectively.
  • the second bit is used to indicate whether to use one of the conventional intra chroma prediction modes.
  • the second bit is used to indicate whether to use the first mode in the conventional intra chroma prediction mode; when the second bit When the bit indicates that the first mode in the conventional intra chroma prediction mode is not used, the third bit is used to indicate whether to use the second mode or the third mode in the conventional intra chroma prediction mode.
  • the bit string further includes a fourth bit, and when the third bit is used to indicate that the second mode or the third mode in the conventional intra chroma prediction mode is adopted, the fourth bit is used for Indicate whether the second mode or the third mode in the conventional intra chroma prediction mode is used; when the third bit is used to indicate that the second mode or the third mode of the conventional intra chroma prediction mode is not used , The fourth bit is used to indicate whether the fourth mode or the fifth mode of the conventional intra-frame chroma prediction mode is adopted.
  • the use of mutually independent probability models to encode/decode the first bit and the second bit respectively includes: using different context probability models to perform the encoding/decoding on the first bit and the second bit respectively.
  • the second bit is used for encoding/decoding.
  • the method further includes: encoding/decoding the third bit of the image block in a bypass mode.
  • mutually independent probability models are used to encode/decode the three adjacent bits respectively.
  • the video image processing device may binarize the chrominance prediction mode of the image block of the image to be coded/decoded to obtain a bit string.
  • the bit string includes at least three adjacent bits and adopts mutually independent
  • the probability model respectively encodes/decodes the second bit and the third bit in the bit string.
  • a computer-readable storage medium stores a computer program.
  • the computer program is executed by a processor, the video described in FIG. 2 of the embodiment of the present invention is realized.
  • the image processing method can also implement the video image processing device according to the embodiment of the present invention described in FIG. 3, which will not be repeated here.
  • the computer-readable storage medium may be an internal storage unit of the device described in any of the foregoing embodiments, such as a hard disk or memory of the device.
  • the computer-readable storage medium may also be an external storage device of the device, such as a plug-in hard disk equipped on the device, a Smart Media Card (SMC), or a Secure Digital (SD) card. , Flash Card, etc.
  • the computer-readable storage medium may also include both an internal storage unit of the device and an external storage device.
  • the computer-readable storage medium is used to store the computer program and other programs and data required by the device.
  • the computer-readable storage medium can also be used to temporarily store data that has been output or will be output.
  • the program can be stored in a computer readable storage medium. During execution, it may include the procedures of the above-mentioned method embodiments.
  • the storage medium may be a magnetic disk, an optical disc, a read-only memory (Read-Only Memory, ROM), or a random access memory (Random Access Memory, RAM), etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例提供了一种视频图像处理方法、设备及存储介质,方法包括:对待编/解码图像的图像块的色度预测模式进行二值化得到比特串,比特串包括至少三个相邻比特位,待编/解码图像允许使用CCLM和/或常规帧内色度预测模式,CCLM至少包括第一模式、第二模式和第三模式;第一比特位用于指示是否采用第一模式,第二比特位用于当第一比特位指示不采用第一模式时,指示是否采用除第一模式以外的其余模式,第三比特位用于当第二比特位指示采用除第一模式以外的其余模式时,指示图像块采用的是第二模式或第三模式;采用相互独立的概率模型分别对第二比特位和第三比特位进行编/解码,实现了并行编/解码,提高了编/解码效率。

Description

一种视频图像处理方法、设备及存储介质 技术领域
本发明涉及视频编/解码领域,尤其涉及一种视频图像处理方法、设备及存储介质。
背景技术
目前,在通用视频编码(Versatile Video Coding)中,色度预测中使用了包括分量间线性模型(Cross Component Linear Mode,CCLM)在内的多种预测模式,以此来提高色度分量预测的准确度。当使用CCLM预测模式解析图像块的色度预测模式的编号时,不同位置的比特位解析时存在依赖关系,例如,图像块的第四个位置的比特位的编/解码方式需要参考第三个位置的比特位的值。采用这种方式会导致编/解码复杂度较高,编/解码效率较低。因此,如何更好地提高编/解码效率成为研究的重点。
发明内容
本发明实施例提供了一种视频图像处理方法、设备及存储介质,实现了并行编/解码,降低了编/解码过程的复杂度,节省了编/解码时间,提高了编/解码效率。
第一方面,本发明实施例提供了一种视频图像处理方法,包括:
对待编/解码图像的图像块的色度预测模式进行二值化得到比特串,所述比特串包括至少三个相邻的比特位,其中,所述待编/解码图像允许使用分量间线性模型CCLM和/或常规帧内色度预测模式,所述CCLM至少包括第一模式、第二模式和第三模式,所述常规帧内色度预测模式为除所述CCLM以外的其他帧内色度预测模式;
其中,所述三个相邻比特位中第一比特位用于指示是否采用所述CCLM的第一模式,当所述第一比特位指示不采用所述CCLM的第一模式时,第二比特位用于指示是否采用所述CCLM除所述第一模式以外的其余模式,当所述第二比特位指示采用所述CCLM除所述第一模式以外的其余模式时,第三比特位用于指示所述图像块采用的是所述CCLM的第二模式或第三模式;
或者,所述三个相邻比特位中第一比特位用于指示是否采用所述CCLM,当所述第一比特位指示采用所述CCLM时,所述第二比特位用于指示是否采用所述CCLM的第一模式,当所述第二比特位指示不采用所述CCLM的第一模式时,第三比特位用于指示采用所述CCLM的第二模式还是第三模式;
采用相互独立的概率模型分别对所述第二比特位和所述第三比特位进行编/解码。
第二方面,本发明实施例提供了一种视频图像处理方法,包括:
对待编/解码图像的图像块的色度预测模式进行二值化得到比特串,所述比特串包括至少三个相邻的比特位,其中,所述待编/解码图像允许使用分量间线性模型CCLM和/或常规帧内色度预测模式,所述CCLM至少包括第一模式、第二模式和第三模式,所述常规帧内色度预测模式为除所述CCLM以外的其他帧内色度预测模式;
其中,所述三个相邻比特位中第一比特位用于指示是否采用所述CCLM,当所述第一比特位指示采用所述CCLM时,所述第二比特位用于指示是否采用所述CCLM的第一模式,当所述第二比特位指示不采用所述CCLM的第一模式时,第三比特位用于指示采用所述CCLM的第二模式还是第三模式;
采用相互独立的概率模型分别对所述第一比特位和所述第二比特位进行编/解码。
第三方面,本发明实施例提供了一种视频图像处理设备,包括:存储器和处理器;
所述存储器,用于存储程序指令;
所述处理器,用于调用所述程序指令,当所述程序指令被执行时,用于执行以下操作:
对待编/解码图像的图像块的色度预测模式进行二值化得到比特串,所述比特串包括至少三个相邻的比特位,其中,所述待编/解码图像允许使用分量间线性模型CCLM和/或常规帧内色度预测模式,所述CCLM至少包括第一模式、第二模式和第三模式,所述常规帧内色度预测模式为除所述CCLM以外的其他帧内色度预测模式;
其中,所述三个相邻比特位中第一比特位用于指示是否采用所述CCLM的第一模式,当所述第一比特位指示不采用所述CCLM的第一模式时,第二 比特位用于指示是否采用所述CCLM除所述第一模式以外的其余模式,当所述第二比特位指示采用所述CCLM除所述第一模式以外的其余模式时,第三比特位用于指示所述图像块采用的是所述CCLM的第二模式或第三模式;
或者,所述三个相邻比特位中第一比特位用于指示是否采用所述CCLM,当所述第一比特位指示采用所述CCLM时,所述第二比特位用于指示是否采用所述CCLM的第一模式,当所述第二比特位指示不采用所述CCLM的第一模式时,第三比特位用于指示采用所述CCLM的第二模式还是第三模式;
采用相互独立的概率模型分别对所述第二比特位和所述第三比特位进行编/解码。
第四方面,本发明实施例提供了一种视频图像处理设备,包括:
包括存储器和处理器;
所述存储器,用于存储程序指令;
所述处理器,用于调用所述程序指令,当所述程序指令被执行时,用于执行以下操作:
对待编/解码图像的图像块的色度预测模式进行二值化得到比特串,所述比特串包括至少三个相邻的比特位,其中,所述待编/解码图像允许使用分量间线性模型CCLM和/或常规帧内色度预测模式,所述CCLM至少包括第一模式、第二模式和第三模式,所述常规帧内色度预测模式为除所述CCLM以外的其他帧内色度预测模式;
其中,所述三个相邻比特位中第一比特位用于指示是否采用所述CCLM,当所述第一比特位指示采用所述CCLM时,所述第二比特位用于指示是否采用所述CCLM的第一模式,当所述第二比特位指示不采用所述CCLM的第一模式时,第三比特位用于指示采用所述CCLM的第二模式还是第三模式;
采用相互独立的概率模型分别对所述第一比特位和所述第二比特位进行编/解码。
第五方面,本发明实施例提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现如上述第一方面或上述第二方面所述的视频图像处理方法。
本发明实施例,通过对待编/解码图像的图像块的色度预测模式进行二值化得到比特串,所述比特串包括至少三个相邻的比特位,并采用相互独立的概 率模型分别对所述三个相邻比特串中的至少两个相邻(例如第二比特位和第三比特位,又例如第一比特位和第二比特位)进行编/解码,以实现并行编/解码,降低编/解码复杂度,提高编/解码的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的一种CCLM的示意图;
图1b是本发明实施例提供的另一种CCLM的示意图;
图2是本发明实施例提供的一种视频图像处理方法的流程示意图;
图3是本发明实施例提供的一种视频图像处理设备的结构示意图;
图4是本发明实施例提供的一种算术编码过程的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合附图,对本发明的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
本发明实施例提出的视频图像处理方法可以应用于视频图像处理设备,所述视频处理设备可以设置在智能终端(如手机、平板电脑等)上。在某些实施例中,本发明实施例可应用于飞行器(如无人机)上,在其他实施例中,本发明实施例还可以应用于其他可移动平台(如无人船、无人汽车、机器人等)上,本发明实施例不做具体限定。
本发明实施例提出的视频图像处理方法主要应用于符合国际视频编码标准H.264,视频压缩标准(High Efficiency Video Coding,HEVC),VVC和中国视频编/解码标准(Audio Video coding Standard,AVS),AVS+,AVS2和AVS3 等的编/解码器。在介绍本发明实施例之前,先对视频编码标准中的色度预测技术进行说明。
视频编码的输入是YUV格式的视频序列,其中,Y是亮度分量,U、V是色度分量,在新一代的视频编码标准VVC中,引入了CCLM模式,以此来提高色度分量预测的准确度。
结合图1a和图1b对CCLM进行举例说明,图1a是本发明实施例提供的一种CCLM的示意图,图1b是本发明实施例提供的另一种CCLM的示意图。如图1a所示为当前色度块,图1b为基于图1a的当前色度块得到的色度预测块。由于视频序列不同分量间存在着较强的相关性,编码性能可以通过利用视频序列不同分量间的相关性来提升。因此,为了降低分量间的冗余信息,在CCLM预测模式中,色度分量是基于相同块中的重构亮度分量来进行预测,使用如下线性模型:
pred C(i,j)=α·rec′ L(i,j)+β
其中,pred C是指色度预测块,rec′ L指相同位置的亮度编码块的下采样后的亮度分量,参数α和β通过最小化相邻的重构亮度和色度样本之间的回归误差来导出,如下公式(1)和公式(2)所示:
Figure PCTCN2019095328-appb-000001
Figure PCTCN2019095328-appb-000002
其中,L(n)表示左边相邻的一列和上面相邻的一行下采样后的重构亮度样本,C(n)表示当前色度块左边和上面相邻的重建色度样本。α和β并不需要传输,在解码器中也通过同样的方式计算得到。
需要说明的是,预测是主流视频编码框架的重要模块,帧内预测使用已经重构的周边相邻像素,通过不同的预测模式来得到预测块。亮度分量和色度分量使用的预测模式除了传统的Planar模式、DC模式、65个角度模式除外,色度预测模式还引入了新的CCLM模式。对于一帧图像,先分成相同大小的编码区域(Coding Tree Unit,CTU),例如64x64、128x128大小。每个CTU可以进一步划分成方形或矩形的编码单元(Coding Unit,CU)。在帧内编码帧I 帧的CTU中,亮度分量和色度分量可以拥有不同的划分方式;在双向预测内插编码帧B帧和前向预测编码帧P帧中,亮度分量和色度分量拥有相同的划分方式。图像块的色度预测模式编号在位流中传输。
目前,主流的视频编码标准中的帧内预测技术主要包括Planar模式、DC模式和65个角度模式,除此之外,色度预测模式额外还包括CCLM模式。CCLM模式可以包括多种,例如包括:LT_CCLM、T_CCLM、L_CCLM三种预测模式中的至少一种。色度预测模式的编号在码流中传输。为了节省编码的复杂度,在一个示例中,根据CCLM模式是否打开,色度预测模式分别有5种或者8种。
当CCLM模式关闭时,有5种色度预测模式,该5种色度预测模式对应关系分别如下表1所示。如表1所示表示的是CCLM关闭时的色度预测模式,其中,对于亮度模式来说,0号是Planar模式,1号是DC模式,50号是角度Vertical模式,18号是角度Horizon模式。
在某些实施例中,色度预测模式的编号可以根据亮度模式通过表1查找与亮度模式对应的色度预测模式的编号。
以表1为例对如何使用表1查询亮度模式进行举例说明,当CCLM模式关闭时,如果亮度模式为0号Planar模式,色度预测模式编号为1号,则根据表1可以确定亮度模式0号与色度预测模式编号1号对应的亮度模式是第三行第二列中的50号角度Vertical模式。又例如,当CCLM模式关闭时,如果亮度模式为18号角度Horizon模式,色度预测模式编号为3号,则根据表1可以确定亮度模式18号与色度预测模式编号3号对应的亮度模式是第五行第三列中的1号DC模式。
表1
Figure PCTCN2019095328-appb-000003
通过对图像块的色度预测模式进行二值化得到比特串,以便对所述比特串中的比特位进行编/解码。其中,比特位可以表示位编/解码比特(bit)或者编/解码二元符号(bin)。
当CCLM关闭时,对表1所示的色度预测模式进行二值化的方式如下表2所示,其中,4号模式是色度DM模式。
表2
色度预测模式编号 二值化
4 0
0 100
1 101
2 110
3 111
当CCLM模式关闭时,色度预测模式二值化后,比特串的第一个位置的比特位使用0号上下文进行编码,比特串的第二个位置和第三个位置的比特位均使用等概率bypass模式。此时,编码色度预测模式编号不同位置的比特位 不存在依赖。
其中,上下文(或称为上下文模型,或称为上下文概率模型)是指在基于上下文的自适应二进制算术编/解码的过程中,根据最近已编/解码的bin更新不同bin出现概率情况的模型。
当CCLM模式打开时,有8种色度预测模式。在一个示例中该8种色度预测模式分别对应如下表3所示,其中,4、5、6号色度预测模式分别对应LT_CCLM、L_CCLM、T_CCLM模式,7号为DM模式,0、1、2、3号为其他模式或常规帧内色度预测模式。
表3
Figure PCTCN2019095328-appb-000004
以表3为例对如何使用表3查询亮度模式进行举例说明,当CCLM模式打开时,如果亮度模式为0号Planar模式,色度预测模式编号为5号L_CCLM模式,则根据表3可以确定亮度模式0号与色度预测模式编号5号对应的亮度模式是第七行第二列中的82号模式。又例如,当CCLM模式打开时,如果亮度模式为18号角度Horizon模式,色度预测模式编号为7号DM模式,则根据表3可以确定亮度模式18号与色度预测模式编号8号对应的亮度模式是第九行第四列中的18号角度Horizon模式。
当CCLM打开时,对表3所示的色度预测模式进行二值化的方式如下表4所示。
表4
色度预测模式编号 二值化
7 0
4 10
5 1110
6 1111
0 11000
1 11001
2 11010
3 11011
在码流中传输的时候,根据CCLM模式是否打开,色度预测模式的编号有不同的取值范围,二值化后的比特串经过编码后在码流中传输。
如表4所示,所述比特串中的第一个位置的比特位用于表示是否使用DM模式或其他模式,所述除DM模式以外的其他模式包括但不限于CCLM模式或常规帧内色度预测模式。例如色度预测模式编号7二值化后的比特串为0,第一个位置的比特位为0,则确定采用DM模式;又例如色度预测模式编号4二值化后的比特串为10,第一个位置的比特位为1,则确定采用除DM模式以外的其他模式。
第二个位置的比特位用于表示是否使用LT_CCLM模式,例如色度预测模式编号4二值化后的比特串为10,第二个位置的比特位为0,则确定采用了LT_CCLM模式。
第三个位置的比特位用于当第二个位置的比特位指示不采用LT_CCLM模式时,指示采用除LT_CCLM模式以外的其他模式,例如色度预测模式编号5、6、0、1、2、3二值化后的比特串为的第三个位置的比特位用于指示采用除LT_CCLM模式以外的其他模式。第四个位置的比特位用于指示当第三个位置的比特位为1时采用L_CCLM模式或T_CCLM模式,色度预测模式编号5二值化后的比特串为1110,第四个位置的比特位为0,则可以确定采用了L_CCLM模式;色度预测模式编号6二值化后的比特串为1111,第四个位置 的比特位为1,则可以确定采用了T_CCLM模式。
当第三个位置的比特位为0时,第四个位置的比特位和第五个位置的比特位用于指示采用的色度预测模式的编号。例如,色度预测模式编号0二值化后的比特串为11000,色度预测模式编号1二值化后的比特串为11001,色度预测模式编号2二值化后的比特串为11010,色度预测模式编号3二值化后的比特串为11011。
在某些实施例中,所述比特串可以是1个比特位的比特串,以表4为例,色度预测模式编号7二值化后对应的比特串为0,则可以确定色度预测模式编号7采用了DM模式。
在一些实施例中,所述比特串可以包括2个相邻的比特位,以表4为例,假设视频图像处理设备对待编/解码图像的图像块的色度预测模式编号4进行二值化得到比特串为10,第一个位置的比特位为1,则可以确定图像块的色度预测模式没有使用DM模式即使用了除DM模式以外的其他模式,可能使用了CCLM模式或常规帧内色度预测模式,第二个位置的比特位为0,则可以确定图像块的色度预测模式使用了CCLM模式中的LT_CCLM模式。
当CCLM模式打开时,色度预测模式由5种上升到8种。此时,比特串的第一个位置的比特位、第二个位置的比特位和第三个位置的比特位分别使用0号、1号、2号上下文进行编码。当编码第四个位置的比特位时,需要根据第三个位置的比特位的取值来确定编码的方式。当第三个位置的比特位的值等于0时,第四个位置的比特位、第五个位置的比特位使用bypass编码;当第三个位置的比特位的值等于1时,第四个位置的比特位使用2号上下文进行编码。此时,解码过程需要判断第三个位置的比特位的值,才能进一步解码第四个位置的比特位。
在某些实施例中,色度预测模式编号的编码过程如下表5所示:
表5
Figure PCTCN2019095328-appb-000005
其中,na用于指示空的编码模型,bypass用于指示一种对应下文中的旁路编码模式。
如上述表5所示,所述比特位Idx包括0、1、2、3、4,其中,0用于指示第一个位置的比特位,2用于指示第二个位置的比特位即第一比特位,2用于指示第三个位置的比特位即第二比特位,3用于指示第四个位置的比特位即第三比特位,4用于指示第四个位置的比特位即第三比特位。
通过上述表5所示的编码色度预测模式编号的实现技术细节可知,当CCLM模式打开时,第四个位置的比特位的解析过程需要依赖第三个位置的比特位的值。如果第三个位置的比特位的值等于0,则第四个位置的比特位的编码使用bypass编码;如果第三个位置的比特位的值等于1,则第四个位置的比特位的编码方式为使用基于上下文的二进制算术编码。因此,可以确定第四个位置的比特位的取值依赖于第三个位置的比特位的取值,从而导致第四个位置的比特位与第三个位置的比特位之间存在耦合,这种实施方式较为繁琐,编/解码效率较低。
因此,本发明实施例提出对待编/解码图像的图像块的色度预测模式进行 二值化得到比特串,所述比特串包括至少三个相邻的比特位,其中,所述待编/解码图像允许使用分量间线性模型CCLM和/或常规帧内色度预测模式,所述CCLM至少包括第一模式、第二模式和第三模式,所述常规帧内色度预测模式为除所述CCLM以外的其他帧内色度预测模式。
在一些实施例中,所述三个相邻比特位中第一比特位用于指示是否采用所述CCLM的第一模式,第二比特位用于当所述第一比特位指示不采用所述CCLM的第一模式时,指示是否采用所述CCLM除所述第一模式以外的其余模式,第三比特位用于当所述第二比特位指示采用所述CCLM除所述第一模式以外的其余模式时,指示所述图像块是否采用所述CCLM的第二模式或第三模式。采用相互独立的概率模型分别对所述第二比特位和所述第三比特位进行编/解码。进一步地,采用相互独立的概率模型分别对所述三个相邻比特位进行编/解码。
在一个实施例中,所述三个相邻比特位中第一比特位用于指示是否采用所述CCLM,当所述第一比特位指示采用所述CCLM时,所述第二比特位用于指示是否采用所述CCLM的第一模式,当所述第二比特位指示不采用所述CCLM的第一模式时,第三比特位用于指示采用所述CCLM的第二模式还是第三模式。采用相互独立的概率模型分别对第一比特位和第二比特位进行编/解码。进一步地,采用相互独立的概率模型分别对所述三个相邻比特位进行编/解码。
其中,采用相互独立的概率模型进行编解码,可以是指对一个比特位进行编解码时所采用的概率模型,不会受其他比特位(例如相邻比特位)的取值的影响,也即不会在其他比特位的取值变化而跟着改变。
其中,所述三个相邻比特位可以是位于同一个语法元素中(例如都是位于帧内色度预测模式中)。
本发明实施例,通过这种实施方式可以在保持多种色度预测模式带来性能增益的同时,有效降低硬件解析时的复杂度,对于该发明内提出的针对色度模式编/解码方式的改进方法,可以在无明显编/码性能的损失下,提高硬件解析的并行度,去除了不同位置比特位的编/解码依赖,简化了每个比特位编/解码时的复杂度,提高了编/解码效率。
下面结合附图对本发明实施例提供的视频图像处理方法进行示意性说明。
具体请参见图2,图2是本发明实施例提供的一种视频图像处理方法的流程示意图。所述方法可以应用于视频图像处理设备,其中,所述视频图像处理设备的解释如前所述,此处不再赘述。具体地,本发明实施例的所述方法包括如下步骤。
S201:对待编/解码图像的图像块的色度预测模式进行二值化得到比特串,所述比特串包括至少三个相邻的比特位,其中,所述待编/解码图像允许使用分量间线性模型CCLM和/或常规帧内色度预测模式,所述CCLM至少包括第一模式、第二模式和第三模式,所述常规帧内色度预测模式为除所述CCLM以外的其他帧内色度预测模式。
本发明实施例中,视频图像处理设备可以对待编/解码图像的图像块的色度预测模式进行二值化得到比特串,所述比特串包括至少三个相邻的比特位,其中,所述待编/解码图像允许使用分量间线性模型CCLM和/或常规帧内色度预测模式,所述CCLM至少包括第一模式、第二模式和第三模式,所述常规帧内色度预测模式为除所述CCLM以外的其他帧内色度预测模式。
在一些实施例中,所述三个相邻比特位中的第一比特位用于指示是否采用所述CCLM的第一模式,当所述第一比特位指示不采用所述CCLM的第一模式时,第二比特位用于指示是否采用所述CCLM除所述第一模式以外的其余模式,当所述第二比特位指示采用所述CCLM除所述第一模式以外的其余模式时,第三比特位用于指示所述图像块采用的是所述CCLM的第二模式或第三模式。
在一些实施例中,所述第一比特位为所述比特串中第二个位置的比特位,所述第二比特位为所述比特串中第三个位置的比特位,所述第三比特位为所述比特串中第四个位置的比特位。以表4中色度预测模式编号5二值化的比特串1110为例对三个相邻比特位进行举例说明,在比特串1110中的第一比特位为第二个位置的1,第二比特位为第三个位置1,第三比特位为第四个位置的0。
在一个实施例中,所述第三比特位还用于当所述第二比特位指示不采用所述CCLM除所述第一模式以外的其余模式时,指示采用所述常规帧内色度预测模式中的一种。在某些实施例中,所述常规帧内色度预测模式包括Planar模式、DC模式、65个角度模式中的任意一种或多种。
在一些实施例中,所述第一模式包括LT_CCLM模式,所述第二模式包括L_CCLM模式,所述第三模式包括T_CCLM模式。在某些实施例中,所述CCLM模式为帧内预测的色度预测模式。以表4为例进行举例说明,色度预测模式编号4二值化的比特串10对应第一模式即LT_CCLM模式,色度预测模式编号5二值化的比特串1110对应第二模式即L_CCLM模式,色度预测模式编号6二值化的比特串1111对应第三模式即T_CCLM模式。
在某些实施例中,所述第一模式、第二模式、第三模式可以是除LT_CCLM模式、L_CCLM模式、T_CCLM模式以外的其他模式。
在某些实施例中,所述待编/解码图像中的图像块呈方形和/或矩形。
在某些实施例中,所述比特串中的比特位在算术编/解码中可以通过“bin”的形式表示,当然在其他实施例中,所述比特位还可以通过其他形式表示,在此不做具体限定。
在一些实施例中,所述待编/解码图像为开启了CCLM的待编/解码图像。在某些实施例中,所述待编/解码图像中包括至少一个CCLM处于开启状态的图像块。
在某些实施例中,所述CCLM是否处于开启状态可以通过在编码时添加的标识确定。在某些实施例中,在对所述待编码图像进行编码时,可以在视频参数集(Video Parameter Set,VPS)、序列参数集(Sequence Parameter Set,SPS)、图像参数集(Picture Parameter Set,PPS)、序列头、条带头或者图像头中添加标识,所述标识用于指示待编码图像或者图像块是否允许使用CCLM。所述标识的不同取值表示不同情况。例如,如果标识为第二取值(例如1),则表示允许使用CCLM,如果标识为为第一取值(例如0),则表示不允许CCLM。在某些实施例中,在对待解码图像进行解码时,可以根据解码出的标识来确定待解码图像或者图像块是否允许使用CCLM;其中,解码出的标识可以存在VPS、SPS、PPS、序列头、条带头或者图像头中。例如,如果解码出标识存在于VPS中,且标识为第二取值(例如1),则表示允许使用CCLM,如果标识为为第一取值(例如0),则表示不允许CCLM。
在某些实施例中,所述允许使用CCLM与CCLM处于开启状态具有相同的含义,即如果确定出所述CCLM处于开启状态,则可以确定所述待编/解码图像允许使用所述CCLM。
在一些实施例中,所述待编/解码图像中包括至少一个CCLM处于开启状态的图像块和至少一个CCLM处于关闭状态的图像块,对于所述待编/解码图像中的所有图像块,所述图像块的所述第二比特位和所述第三比特位采用相互独立的概率模型进行编/解码。
在一些实施例中,当所述第一比特位用于指示所述CCLM的第一模式,且所述第二比特位为第一取值时,所述第二比特位用于指示采用常规帧内色度预测模式。在某些实施例中,所述第一取值为0。
在一个实施例中,当所述第一比特位用于指示所述第一模式,且所述第二比特位满足第二取值时,所述第二比特位用于指示采用所述CCLM的第二模式或第三模式。
在一个实施例中,当所述第二比特位用于指示采用所述CCLM的第二模式或第三模式,且所述第三比特位满足第一取值时,所述第三比特位用于指示采用所述CCLM的第二模式。
在一个实施例中,当所述第二比特位用于指示采用所述CCLM的第二模式或第三模式,且所述第三比特位满足第二取值时,所述第三比特位用于指示采用所述CCLM的第三模式。在某些实施例中,所述第二取值为1。
以表4为例,假设第一取值为0,所述第二取值为1,如果视频图像处理设备对待编/解码图像的图像块的色度预测模式进行二值化得到比特串为1110,所述第一个位置的比特位为1,则可以确定所述图像块的色度预测模式为CCLM模式或常规帧内色度预测模式;所述第二个位置的比特位为1,则可以确定所述图像块的色度预测模式为没有使用CCLM模式中的LT_CCLM模式;所述第三个位置的比特位为1,则可以确定所述图像块的色度预测模式使用的是L_CCLM模式或T_CCLM模式。所述第四个位置的比特位为0,则可以确定所述图像块的色度预测模式使用的是L_CCLM模式。
例如,如果视频图像处理设备对待编/解码图像的图像块的色度预测模式进行二值化得到比特串为1111,所述第一个位置的比特位为1,则可以确定所述图像块的色度预测模式为CCLM模式或常规帧内色度预测模式;所述第二个位置的比特位为1,则可以确定所述图像块的色度预测模式为没有使用CCLM模式中的LT_CCLM模式;所述第三个位置的比特位为1,则可以确定所述图像块的色度预测模式使用的是L_CCLM模式或T_CCLM模式。所述第 四个位置的比特位为1,则可以确定所述图像块的色度预测模式使用的是T_CCLM模式。
在一个实施例中,当所述第二比特位用于指示采用常规帧内色度预测模式时,与所述第二比特位相邻的后两个比特位用于指示所述常规帧内色度预测模式的编号。在某些实施例中,如果所述比特串包括四个相邻的比特位,则可以确定所述图像块使用常规帧内色度预测模式。
例如,如果视频图像处理设备对待编/解码图像的图像块的色度预测模式进行二值化得到比特串为11000,所述第一个位置的比特位为1,则可以确定所述图像块的色度预测模式为CCLM模式或常规帧内色度预测模式;所述第二个位置的比特位为1,则可以确定所述图像块的色度预测模式为没有使用CCLM模式中的LT_CCLM模式;所述第三个位置的比特位为0,则可以确定所述图像块的色度预测模式使用的是常规帧内色度预测模式;所述第四个位置的比特位和第五个位置的比特位为00,则可以确定所述常规帧内色度预测模式的编号0。
又例如,如果视频图像处理设备对待编/解码图像的图像块的色度预测模式进行二值化得到比特串为11001,所述第一个位置的比特位为1,则可以确定所述图像块的色度预测模式为CCLM模式或常规帧内色度预测模式;所述第二个位置的比特位为1,则可以确定所述图像块的色度预测模式为没有使用CCLM模式中的LT_CCLM模式;所述第三个位置的比特位为0,则可以确定所述图像块的色度预测模式使用的是常规帧内色度预测模式;所述第四个位置的比特位和第五个位置的比特位为01,则可以确定所述常规帧内色度预测模式的编号1。
同理,如果视频图像处理设备对待编/解码图像的图像块的色度预测模式进行二值化得到比特串为11010,所述第一个位置的比特位为1,则可以确定所述图像块的色度预测模式为CCLM模式或常规帧内色度预测模式;所述第二个位置的比特位为1,则可以确定所述图像块的色度预测模式为没有使用CCLM模式中的LT_CCLM模式;所述第三个位置的比特位为0,则可以确定所述图像块的色度预测模式使用的是常规帧内色度预测模式;第四个位置的比特位和第五个位置的比特位为10,则可以确定所述常规帧内色度预测模式的编号2。
同理,如果视频图像处理设备对待编/解码图像的图像块的色度预测模式进行二值化得到比特串为11011,所述第一个位置的比特位为1,则可以确定所述图像块的色度预测模式为CCLM模式或常规帧内色度预测模式;所述第二个位置的比特位为1,则可以确定所述图像块的色度预测模式为没有使用CCLM模式中的LT_CCLM模式;所述第三个位置的比特位为0,则可以确定所述图像块的色度预测模式使用的是常规帧内色度预测模式;第四个位置的比特位和第五个位置的比特位为11,则可以确定所述常规帧内色度预测模式的编号3。
S202:采用相互独立的概率模型分别对第二比特位和第三比特位进行编/解码。
本发明实施例中,视频图像处理设备可以采用相互独立的概率模型分别对第二比特位和第三比特位进行编/解码。例如,在第二比特位的取值不管是任何值时,第三比特位都采用同一个概率模型进行编码,不会受第二比特位的取值的影响。
可选地,第二比特位和第三比特位采用相同的上下文概率模型(也可以称为上下文)进行编/解码。
或者,可选地,第二比特位和第三比特位采用不同的上下文概率模型进行编/解码,这样可以提高第二比特位和第三比特位编/解码的并行度。或者,第二比特位和第三比特位也可以均采用bypass概率模型编/解;或者,第二比特位和第三比特位也可以是其中一个采用bypass概率模型编/解,另一个采用上下文概率模型编/解,这样也可以提高第二比特位和第三比特位编/解码的并行度。
在某些实施例中,所述相互独立的概率模型指的是使用独立的上下文进行编码的模式,即常规编码模式。具体可以图4为例对旁路编码模式和常规编码模式进行举例说明,图4是本发明实施例提供的一种算术编码过程的示意图。如图4所示,首先对输入的非二进制值的语法元素进行二值化处理,经过二值化处理产生的二进制比特串随后进入编码阶段,这时候,如果选择常规编码模式,则比特串进入上下文建模中,在上下文模型确定后,比特串和其对应的上下文模型一起送到常规编码模块进行编码,然后输出编码结果,并根据编码结果对上下文模型进行更新。
在一个实施例中,所述视频图像处理设备在采用相互独立的概率模型分别对所述第二比特位和所述第三比特位进行编/解码时,可以对所述图像块的所述第三比特位添加一个新的上下文,以及与所述第三比特位相邻的下一个比特位采用bypass模式进行编/解码。
在某些实施例中,所述bypass模式是一种对应下文中的旁路编码模式。具体可以图4为例对旁路编码模式进行举例说明。如图4所示,首先对输入的非二进制值的语法元素进行二值化处理,经过二值化处理产生的二进制比特串随后进入编码阶段,这时候,如果选择旁路编码模式,则将二值化产生的比特串中的0和1认为是等概率分布,送到旁路编码模块进行编码,然后输出编码结果。这种模式可以降低实现的复杂度,加速编码、解码处理过程。
例如,所述视频图像处理设备可以对所述图像块的第三比特位添加一个1号上下文进行编/解码;可选的,还可以采用bypass模式对与所述第三比特位相邻的下一个比特位进行编/解码。
可见,通过这种实施方式可以确定第三比特位与相邻下一个比特位的编/解码方式相互独立,去除不同位置的比特位之间的编/解码依赖性,简化了每个比特位编/解码的复杂度,提高了编/解码的效率。
在一个实施例中,所述视频图像处理设备在采用相互独立的概率模型分别对所述第二比特位和所述第三比特位进行编/解码时,可以对所述图像块的所述第三比特位添加一个新的上下文,以及对与所述第三比特位相邻的下一个比特位添加一个新的上下文进行编/解码。
例如,所述视频图像处理设备可以对所述图像块的第三比特位添加一个2号上下文进行编/解码,以及对与所述第三比特位相邻的下一个比特位添加一个0号上下文进行编/解码。
可见,通过这种实施方式可以确定第三比特位与相邻下一个比特位的编/解码方式相互独立,去除不同位置的比特位之间的编/解码依赖性,简化了每个比特位编/解码的复杂度,提高了编/解码的效率。
在一个实施例中,所述视频图像处理设备在采用相互独立的概率模型分别对所述第二比特位和所述第三比特位进行编/解码时,所述图像块的所述第三比特位采用bypass模式;可选的,还可以对与所述第三比特位相邻的下一个比特位添加一个新的上下文进行编/解码。
例如,所述视频图像处理设备可以采用bypass模式对所述图像块的第三比特位进行编/解码,以及对与所述第三比特位相邻的下一个比特位添加一个0号上下文进行编/解码。
可见,通过这种实施方式可以确定第三比特位与相邻下一个比特位的编/解码方式相互独立,去除不同位置的比特位之间的编/解码依赖性,简化了每个比特位编/解码的复杂度,提高了编/解码的效率。
在一个实施例中,所述视频图像处理设备在采用相互独立的概率模型分别对所述第二比特位和所述第三比特位进行编/解码时,所述图像块的所述第三比特位采用与第二比特位相同的上下文进行编/解码。
可见,通过这种实施方式可以确定第三比特位与第二比特位的编/解码方式相互独立,去除第三比特位与第二比特位之间的编/解码依赖性,简化了每个比特位编/解码的复杂度,提高了编/解码的效率。
例如,如果所述视频图像处理设备采用1号上下文对第二比特位进行编/解码,则可以采用与第二比特位相同的1号上下文对所述图像块的第三比特位进行编/解码。
可见,通过这种实施方式可以确定第三比特位与第二比特位的编/解码方式相互独立,去除第三比特位与第二比特位之间的编/解码依赖性,简化了每个比特位编/解码的复杂度,提高了编/解码的效率。
本发明实施例中,视频图像处理设备可以对待编/解码图像的图像块的色度预测模式进行二值化得到比特串,所述比特串包括至少三个相邻的比特位,并采用相互独立的概率模型分别对所述比特串中的第二比特位和第三比特位进行编/解码,通过这种实施方式,可以实现并行编/解码,降低编/解码复杂度,提高编/解码的效率。
当CCLM模式打开时,有8种色度预测模式。在一个示例中,该8种色度预测模式分别对应如下表6所示。其中,可选地,4、5、6号色度预测模式可以是分别对应LT_CCLM、L_CCLM、T_CCLM模式,7号可以为DM模式,0、1、2、3号可以为其他模式或常规帧内色度预测模式。
表6
Figure PCTCN2019095328-appb-000006
以表6为例对如何使用表6查询亮度模式进行举例说明,当CCLM模式打开时,如果亮度模式编号为0号,色度预测模式编号为5号,则根据表6可以确定色度预测模式应当采用预测模式中的82号模式。可以理解的是,预测模式编号并不局限于上述表3或表6所示例子。
在一些实施例中,当所述第一比特位指示采用所述CCLM时,所述第二比特位用于指示是否采用所述CCLM的第一模式,当所述第二比特位指示不采用所述CCLM的第一模式时,第三比特位用于指示采用所述CCLM的第二模式还是第三模式。以下面表7为具体示例,当CCLM打开时,对色度预测模式编号(例如表6所示的色度预测模式编号)进行二值化的方式如下表7所示。
表7
色度预测模式编号 二值化
4 00
0 0100
1 0101
2 0110
3 0111
5 10
6 110
7 111
如表7所示,当所述第一比特位指示采用所述CCLM时,所述第二比特位用于指示是否采用所述CCLM的第一模式,当所述第二比特位指示不采用所述CCLM的第一模式时,第三比特位用于指示采用所述CCLM的第二模式还是第三模式。
当所述第一比特位指示不采用所述CCLM时,第二比特位用于指示是否采用所述常规帧内色度预测模式中的第一模式;当所述第二比特位指示不采用所述常规帧内色度预测模式中的第一模式时,第三比特位用于指示是否采用所述常规帧内色度预测模式中的第二模式或者第三模式;当第三比特位用于指示采用所述常规帧内色度预测模式中的第二模式或者第三模式时,第四比特位用于指示具体采用所述常规帧内色度预测模式中的第二模式还是第三模式;当第三比特位用于指示不采用所述常规帧内色度预测模式的第二模式或者第三模式时,第四比特位用于指示采用所述常规帧内色度预测模式的第四模式还是第五模式。
在一些实施例中,对表7中的色度预测模式编号的编/解码中所采用的概率模型可以如下表8所示:
表8
Figure PCTCN2019095328-appb-000007
其中,na用于指示空的编码模型,bypass用于指示旁路编码模式。
如上述表8所示,所述比特位Idx包括0~3,分别用于指示4个比特位。其中,上文提到的第一比特位可以是比特串中的第一个位置的比特位(也即编号为0的比特位),第二比特位可是比特串中的第二个位置的比特位(也即编号为1的比特位),第三比特位可以是比特串中的第三个位置的比特位(也即编号为2的比特位)。通过上述表8所示的编码色度预测模式编号的实现技术细节可知,当CCLM模式打开时,第一比特位和第二比特位的解析过程相互独立,例如第二比特位所采用的概率模型不会随着第一比特位的取值不同而不同。进一步的,第二比特位和第三比特位的解析过程相互独立,例如第三比特位所采用的概率模型不会随着第二比特位的取值不同而不同。
可选地,第一比特位和第二比特位采用相同的上下文概率模型(也可以称为上下文)进行编/解码。
或者,可选地,第一比特位和第二比特位采用不同的上下文概率模型进行编/解码,这样可以提高第一比特位和第二比特位编/解码的并行度。或者,第一比特位和第二比特位也可以均采用bypass概率模型编/解;或者,第一比特 位和第二比特位也可以是其中一个采用bypass概率模型编/解,另一个采用上下文概率模型编/解,这样也可以提高第一比特位和第二比特位编/解码的并行度。
在一些示例中,在CCLM模式打开和关闭时,分别采用不同的表格来查询色度预测模式编号所对应的具体预测模式。例如在CCLM关闭时采用表1来查询色度预测模式的编号所对应的预测模式,在CCLM打开时采用表3来查询色度预测模式的编号所对应的预测模式。
在一些示例中,在CCLM模式打开和关闭时也可以采用同一个表格来查询色度预测模式编号所对应的具体预测模式。例如在CCLM关闭时和打开时均采用表6来查询色度预测模式的编号所对应的预测模式。那么,在对色度预测模式的编号进行二值化得到比特串时,当CCLM模式打开和关闭时,对色度预测模式的编号的二值化得到的比特串可以均如表7所示。当CCLM模式关闭时,在对二值化结果进行熵编码之前,将二值化结果中的第一个比特位(表7中编号0~4对应的比特串的第一个比特位,也即是“0”)删除后再进行熵编码。也即当CCLM模式关闭时,色度预测模式编号所对应的二值化结果仍如表2所示。
请参见图3,图3是本发明实施例提供的一种视频图像处理设备的结构示意图,具体的,所述视频图像处理设备包括:存储器301、处理器302以及数据接口303。
所述存储器301可以包括易失性存储器(volatile memory);存储器301也可以包括非易失性存储器(non-volatile memory);存储器301还可以包括上述种类的存储器的组合。所述处理器302可以是中央处理器(central processing unit,CPU)。所述处理器302还可以进一步包括硬件视频图像处理设备。上述硬件视频图像处理设备可以是专用集成电路(application-specific integrated circuit,ASIC),可编程逻辑器件(programmable logic device,PLD)或其组合。具体例如可以是复杂可编程逻辑器件(complex programmable logic device,CPLD),现场可编程逻辑门阵列(field-programmable gate array,FPGA)或其任意组合。
进一步地,所述存储器301用于存储程序指令,当程序指令被执行时所述处理器302可以调用存储器301中存储的程序指令,用于执行如下步骤:
对待编/解码图像的图像块的色度预测模式进行二值化得到比特串,所述比特串包括至少三个相邻的比特位,其中,所述待编/解码图像允许使用分量间线性模型CCLM和/或常规帧内色度预测模式,所述CCLM至少包括第一模式、第二模式和第三模式,所述常规帧内色度预测模式为除所述CCLM以外的其他帧内色度预测模式;
其中,所述三个相邻比特位中第一比特位用于指示是否采用所述CCLM的第一模式,当所述第一比特位指示不采用所述CCLM的第一模式时,第二比特位用于指示是否采用所述CCLM除所述第一模式以外的其余模式,当所述第二比特位指示采用所述CCLM除所述第一模式以外的其余模式时,第三比特位用于指示所述图像块采用的是所述CCLM的第二模式或第三模式;
或者,所述三个相邻比特位中第一比特位用于指示是否采用所述CCLM,当所述第一比特位指示采用所述CCLM时,所述第二比特位用于指示是否采用所述CCLM的第一模式,当所述第二比特位指示不采用所述CCLM的第一模式时,第三比特位用于指示采用所述CCLM的第二模式还是第三模式;
采用相互独立的概率模型分别对所述第二比特位和所述第三比特位进行编/解码。
进一步地,采用相互独立的概率模型分别对所述三个相邻的比特位进行编/解码。
进一步地,所述第三比特位还用于当所述第二比特位指示不采用所述CCLM除所述第一模式以外的其余模式时,指示采用所述常规帧内色度预测模式中的一种。
进一步地,所述待编/解码图像中包括至少一个CCLM处于开启状态的图像块。
进一步地,所述待编/解码图像中包括至少一个CCLM处于开启状态的图像块和至少一个CCLM处于关闭状态的图像块;
对于所述待编/解码图像中的所有图像块,所述图像块的所述第二比特位和所述第三比特位采用相互独立的概率模型进行编/解码。
进一步地,当所述第一比特位的值满足第一取值时,所述第一比特位用于指示采用所述CCLM的第一模式。
进一步地,当所述第一比特位用于指示所述CCLM的第一模式,且所述 第二比特位满足第一取值时,所述第二比特位用于指示采用常规帧内色度预测模式。
进一步地,所述第一取值为0。
进一步地,当所述第一比特位用于指示所述第一模式,且所述第二比特位满足第二取值时,所述第二比特位用于指示采用所述CCLM的第二模式或第三模式。
进一步地,当所述第二比特位用于指示采用所述CCLM的第二模式或第三模式,且所述第三比特位满足第一取值时,所述第三比特位用于指示采用所述CCLM的第二模式。
进一步地,当所述第二比特位用于指示采用所述CCLM的第二模式或第三模式,且所述第三比特位满足第二取值时,所述第三比特位用于指示采用所述CCLM的第三模式。
进一步地,根据权利要求10所述的方法,其特征在于,所述第二取值为1。
进一步地,当所述第二比特位用于指示采用常规帧内色度预测模式时,与所述第二比特位相邻的后两个比特位用于指示所述常规帧内色度预测模式的编号。
进一步地,所述处理器302采用相互独立的概率模型分别对所述第二比特位和所述第三比特位进行编/解码时,具体用于:
所述图像块的所述第三比特位采用bypass模式进行编/解码。
进一步地,所述处理器302采用相互独立的概率模型分别对所述第二比特位和所述第三比特位进行编/解码时,具体用于:
对所述图像块的所述第三比特位添加一个新的上下文,以及与所述第三比特位相邻的下一个比特位采用bypass模式进行编/解码。
进一步地,所述处理器302采用相互独立的概率模型分别对所述第二比特位和所述第三比特位进行编/解码时,具体用于:
对所述图像块的所述第三比特位添加一个新的上下文,以及对与所述第三比特位相邻的下一个比特位添加一个新的上下文进行编/解码。
进一步地,所述处理器302采用相互独立的概率模型分别对所述第二比特位和所述第三比特位进行编/解码时,具体用于:
所述图像块的所述第三比特位采用bypass模式,以及对与所述第三比特位相邻的下一个比特位添加一个新的上下文进行编/解码。
进一步地,所述处理器302采用相互独立的概率模型分别对所述第二比特位和所述第三比特位进行编/解码时,具体用于:
所述图像块的所述第三比特位采用与第二比特位相同的上下文进行编/解码。
进一步地,所述第一模式包括LT_CCLM模式;
所述第二模式包括L_CCLM模式;
所述第三模式包括T_CCLM模式。
进一步地,所述CCLM模式为帧内预测的色度预测模式。
进一步地,所述待编/解码图像中的图像块呈方形和/或矩形。
进一步地,所述第一比特位为所述比特串中第二个位置的比特位;
所述第二比特位为所述比特串中第三个位置的比特位;
所述第三比特位为所述比特串中第四个位置的比特位。
进一步地,所述常规帧内色度预测模式包括Planar模式、DC模式、65个角度模式中的任意一种或多种。
在一些示例中,所述三个相邻比特位中第一比特位用于指示是否采用所述CCLM,当所述第一比特位指示采用所述CCLM时,所述第二比特位用于指示是否采用所述CCLM的第一模式,当所述第二比特位指示不采用所述CCLM的第一模式时,第三比特位用于指示采用所述CCLM的第二模式还是第三模式。
可选地,采用相互独立的概率模型分别对所述第一比特位和所述第二比特位进行编/解码。
可选地,当所述第一比特位指示不采用所述CCLM时,所述第二比特位用于指示是否采用所述常规帧内色度预测模式中的其中一个模式。
可选地,当所述第一比特位指示不采用所述CCLM时,所述第二比特位用于指示是否采用所述常规帧内色度预测模式中的第一模式;当所述第二比特位指示不采用所述常规帧内色度预测模式中的第一模式时,第三比特位用于指示是否采用所述常规帧内色度预测模式中的第二模式或者第三模式。
可选地,所述比特串还包括第四比特位,当第三比特位用于指示采用所述 常规帧内色度预测模式中的第二模式或者第三模式时,第四比特位用于指示具体采用所述常规帧内色度预测模式中的第二模式还是第三模式;当第三比特位用于指示不采用所述常规帧内色度预测模式的第二模式或者第三模式时,第四比特位用于指示采用所述常规帧内色度预测模式的第四模式还是第五模式。
可选地,所述采用相互独立的概率模型分别对所述第一比特位和所述第二比特位进行编/解码,包括:分别采用不同的上下文概率模型对所述第一比特位和所述第二比特位进行编/解码。
可选地,所述方法还包括:对所述图像块的所述第三比特位采用bypass模式进行编/解码。
可选地,采用相互独立的概率模型分别对所述三个相邻的比特位进行编/解码。
本发明实施例中,视频图像处理设备可以对待编/解码图像的图像块的色度预测模式进行二值化得到比特串,所述比特串包括至少三个相邻的比特位,并采用相互独立的概率模型分别对所述比特串中的第二比特位和第三比特位进行编/解码,通过这种实施方式,可以实现并行编/解码,降低编/解码复杂度,提高编/解码的效率。
在本发明的实施例中还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现本发明实施例图2中描述的视频图像处理方法方式,也可实现图3所述本发明所对应实施例的视频图像处理设备,在此不再赘述。
所述计算机可读存储介质可以是前述任一项实施例所述的设备的内部存储单元,例如设备的硬盘或内存。所述计算机可读存储介质也可以是所述设备的外部存储设备,例如所述设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述计算机可读存储介质还可以既包括所述设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述设备所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算 机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上所揭露的仅为本发明部分实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (75)

  1. 一种视频图像处理方法,其特征在于,包括:
    对待编/解码图像的图像块的色度预测模式进行二值化得到比特串,所述比特串包括至少三个相邻的比特位,其中,所述待编/解码图像允许使用分量间线性模型CCLM和/或常规帧内色度预测模式,所述CCLM至少包括第一模式、第二模式和第三模式,所述常规帧内色度预测模式为除所述CCLM以外的其他帧内色度预测模式;
    其中,所述三个相邻比特位中第一比特位用于指示是否采用所述CCLM的第一模式,当所述第一比特位指示不采用所述CCLM的第一模式时,第二比特位用于指示是否采用所述CCLM除所述第一模式以外的其余模式,当所述第二比特位指示采用所述CCLM除所述第一模式以外的其余模式时,第三比特位用于指示所述图像块采用的是所述CCLM的第二模式或第三模式;
    或者,所述三个相邻比特位中第一比特位用于指示是否采用所述CCLM,当所述第一比特位指示采用所述CCLM时,所述第二比特位用于指示是否采用所述CCLM的第一模式,当所述第二比特位指示不采用所述CCLM的第一模式时,第三比特位用于指示采用所述CCLM的第二模式还是第三模式;
    采用相互独立的概率模型分别对所述第二比特位和所述第三比特位进行编/解码。
  2. 根据权利要求1所述的方法,其特征在于,
    所述第三比特位还用于当所述第二比特位指示不采用所述CCLM除所述第一模式以外的其余模式时,指示采用所述常规帧内色度预测模式中的一种。
  3. 根据权利要求2所述的方法,其特征在于,
    所述待编/解码图像中包括至少一个CCLM处于开启状态的图像块。
  4. 根据权利要求1所述的方法,其特征在于,
    所述待编/解码图像中包括至少一个CCLM处于开启状态的图像块和至少一个CCLM处于关闭状态的图像块;
    对于所述待编/解码图像中的所有图像块,所述图像块的所述第二比特位和所述第三比特位采用相互独立的概率模型进行编/解码。
  5. 根据权利要求1所述的方法,其特征在于,
    当所述第一比特位的值满足第一取值时,所述第一比特位用于指示采用所述CCLM的第一模式。
  6. 根据权利要求5所述的方法,其特征在于,
    当所述第一比特位用于指示所述CCLM的第一模式,且所述第二比特位满足第一取值时,所述第二比特位用于指示采用常规帧内色度预测模式。
  7. 根据权利要求6所述的方法,其特征在于,所述第一取值为0。
  8. 根据权利要求5所述的方法,其特征在于,
    当所述第一比特位用于指示所述第一模式,且所述第二比特位满足第二取值时,所述第二比特位用于指示采用所述CCLM的第二模式或第三模式。
  9. 根据权利要求8所述的方法,其特征在于,
    当所述第二比特位用于指示采用所述CCLM的第二模式或第三模式,且所述第三比特位满足第一取值时,所述第三比特位用于指示采用所述CCLM的第二模式。
  10. 根据权利要求8所述的方法,其特征在于,
    当所述第二比特位用于指示采用所述CCLM的第二模式或第三模式,且所述第三比特位满足第二取值时,所述第三比特位用于指示采用所述CCLM的第三模式。
  11. 根据权利要求10所述的方法,其特征在于,所述第二取值为1。
  12. 根据权利要求6所述的方法,其特征在于,
    当所述第二比特位用于指示采用常规帧内色度预测模式时,与所述第二比特位相邻的后两个比特位用于指示所述常规帧内色度预测模式的编号。
  13. 根据权利要求1所述的方法,其特征在于,所述采用相互独立的概率模型分别对所述第二比特位和所述第三比特位进行编/解码,包括:
    所述图像块的所述第三比特位采用bypass模式进行编/解码。
  14. 根据权利要求1所述的方法,其特征在于,所述采用相互独立的概率模型分别对所述第二比特位和所述第三比特位进行编/解码,包括:
    对所述图像块的所述第三比特位添加一个新的上下文,以及与所述第三比特位相邻的下一个比特位采用bypass模式进行编/解码。
  15. 根据权利要求1所述的方法,其特征在于,所述采用相互独立的概率模型分别对所述第二比特位和所述第三比特位进行编/解码,包括:
    对所述图像块的所述第三比特位添加一个新的上下文,以及对与所述第三比特位相邻的下一个比特位添加一个新的上下文进行编/解码。
  16. 根据权利要求1所述的方法,其特征在于,所述采用相互独立的概率模型分别对所述第二比特位和所述第三比特位进行编/解码,包括:
    所述图像块的所述第三比特位采用bypass模式,以及对与所述第三比特位相邻的下一个比特位添加一个新的上下文进行编/解码。
  17. 根据权利要求1所述的方法,其特征在于,所述采用相互独立的概率模型分别对所述第二比特位和所述第三比特位进行编/解码,包括:
    所述第三比特位采用与第二比特位相同的上下文进行编/解码;或者,
    所述第二比特位和所述第三比特位采用不同的上下文概率模型进行编/解码;或者,
    所述第二比特位和所述第三比特位也可以均采用bypass概率模型编/解;或者,
    所述第二比特位和所述第三比特位中的其中一个采用bypass概率模型编/解,另一个采用上下文概率模型编/解。
  18. 根据权利要求1所述的方法,其特征在于,所述方法还包括:
    采用相互独立的概率模型分别对所述第一比特位和所述第二比特位进行编/解码;
    或者,采用相互独立的概率模型分别对所述三个相邻的比特位进行编/解码。
  19. 根据权利要求1所述的方法,其特征在于,
    所述第一模式包括LT_CCLM模式;
    所述第二模式包括L_CCLM模式;
    所述第三模式包括T_CCLM模式。
  20. 根据权利要求1所述的方法,其特征在于,
    所述CCLM模式为帧内预测的色度预测模式。
  21. 根据权利要求1所述的方法,其特征在于,
    所述待编/解码图像中的图像块呈方形和/或矩形。
  22. 根据权利要求1所述的方法,其特征在于,
    所述第一比特位为所述比特串中第二个位置的比特位;
    所述第二比特位为所述比特串中第三个位置的比特位;
    所述第三比特位为所述比特串中第四个位置的比特位。
  23. 根据权利要求1所述的方法,其特征在于,
    所述常规帧内色度预测模式包括Planar模式、DC模式、65个角度模式中的任意一种或多种。
  24. 一种视频图像处理方法,其特征在于,包括:
    对待编/解码图像的图像块的色度预测模式进行二值化得到比特串,所述比特串包括至少三个相邻的比特位,其中,所述待编/解码图像允许使用分量间线性模型CCLM和/或常规帧内色度预测模式,所述CCLM至少包括第一模式、第二模式和第三模式,所述常规帧内色度预测模式为除所述CCLM以外的其他帧内色度预测模式;
    其中,所述三个相邻比特位中第一比特位用于指示是否采用所述CCLM,当所述第一比特位指示采用所述CCLM时,所述第二比特位用于指示是否采用所述CCLM的第一模式,当所述第二比特位指示不采用所述CCLM的第一模式时,第三比特位用于指示采用所述CCLM的第二模式还是第三模式;
    采用相互独立的概率模型分别对所述第一比特位和所述第二比特位进行编/解码。
  25. 根据权利要求24所述的方法,其特征在于,
    当所述第一比特位指示不采用所述CCLM时,所述第二比特位用于指示是否采用所述常规帧内色度预测模式中的其中一个模式。
  26. 根据权利要求25所述的方法,其特征在于,
    当所述第一比特位指示不采用所述CCLM时,所述第二比特位用于指示是否采用所述常规帧内色度预测模式中的第一模式;当所述第二比特位指示不采用所述常规帧内色度预测模式中的第一模式时,第三比特位用于指示是否采用所述常规帧内色度预测模式中的第二模式或者第三模式。
  27. 根据权利要求26所述的方法,其特征在于,所述比特串还包括第四比特位,
    当第三比特位用于指示采用所述常规帧内色度预测模式中的第二模式或者第三模式时,第四比特位用于指示具体采用所述常规帧内色度预测模式中的第二模式还是第三模式;当第三比特位用于指示不采用所述常规帧内色度预测模式的第二模式或者第三模式时,第四比特位用于指示采用所述常规帧内色度预测模式的第四模式还是第五模式。
  28. 根据权利要求24所述的方法,其特征在于,
    所述待编/解码图像中包括至少一个CCLM处于开启状态的图像块。
  29. 根据权利要求24所述的方法,其特征在于,
    所述待编/解码图像中包括至少一个CCLM处于开启状态的图像块和至少一个CCLM处于关闭状态的图像块;
    对于所述待编/解码图像中的所有图像块,所述图像块的所述第一比特位和所述第二比特位采用相互独立的概率模型进行编/解码。
  30. 根据权利要求24所述的方法,其特征在于,所述采用相互独立的概率模型分别对所述第一比特位和所述第二比特位进行编/解码,包括:
    采用相同的上下文概率模型对所述第一比特位和所述第二比特位进行编/解码;或者,
    分别采用不同的上下文概率模型对所述第一比特位和所述第二比特位进行编/解码;或者,
    均采用bypass概率模型对所述第一比特位和所述第二比特位进行编/解码;或者,
    对所述第一比特位和所述第二比特位中的其中一个采用bypass概率模型编/解,另一个采用上下文概率模型编/解。
  31. 根据权利要求24所述的方法,其特征在于,所述方法还包括:
    对所述图像块的所述第三比特位采用bypass模式进行编/解码。
  32. 根据权利要求24所述的方法,其特征在于,所述方法还包括:
    采用相互独立的概率模型分别对所述第二比特位和所述第三比特位进行编/解码;或者,
    采用相互独立的概率模型分别对所述三个相邻的比特位进行编/解码。
  33. 根据权利要求24所述的方法,其特征在于,
    所述第一模式包括LT_CCLM模式;
    所述第二模式包括L_CCLM模式;
    所述第三模式包括T_CCLM模式。
  34. 根据权利要求24所述的方法,其特征在于,
    所述CCLM模式为帧内预测的色度预测模式。
  35. 根据权利要求24所述的方法,其特征在于,
    所述待编/解码图像中的图像块呈方形和/或矩形。
  36. 根据权利要求24所述的方法,其特征在于,
    所述第一比特位为所述比特串中第一个位置的比特位;
    所述第二比特位为所述比特串中第二个位置的比特位;
    所述第三比特位为所述比特串中第三个位置的比特位。
  37. 根据权利要求24所述的方法,其特征在于,
    所述常规帧内色度预测模式包括Planar模式、DC模式、65个角度模式中的任意一种或多种。
  38. 一种视频图像处理设备,其特征在于,包括存储器和处理器;
    所述存储器,用于存储程序指令;
    所述处理器,用于调用所述程序指令,当所述程序指令被执行时,用于执行以下操作:
    对待编/解码图像的图像块的色度预测模式进行二值化得到比特串,所述比特串包括至少三个相邻的比特位,其中,所述待编/解码图像允许使用分量间线性模型CCLM和/或常规帧内色度预测模式,所述CCLM至少包括第一模式、第二模式和第三模式,所述常规帧内色度预测模式为除所述CCLM以外的其他帧内色度预测模式;
    其中,所述三个相邻比特位中第一比特位用于指示是否采用所述CCLM的第一模式,当所述第一比特位指示不采用所述CCLM的第一模式时,第二比特位用于指示是否采用所述CCLM除所述第一模式以外的其余模式,当所述第二比特位指示采用所述CCLM除所述第一模式以外的其余模式时,第三比特位用于指示所述图像块采用的是所述CCLM的第二模式或第三模式;
    或者,所述三个相邻比特位中第一比特位用于指示是否采用所述CCLM, 当所述第一比特位指示采用所述CCLM时,所述第二比特位用于指示是否采用所述CCLM的第一模式,当所述第二比特位指示不采用所述CCLM的第一模式时,第三比特位用于指示采用所述CCLM的第二模式还是第三模式;
    采用相互独立的概率模型分别对所述第二比特位和所述第三比特位进行编/解码。
  39. 根据权利要求38所述的设备,其特征在于,
    所述第三比特位还用于当所述第二比特位指示不采用所述CCLM除所述第一模式以外的其余模式时,指示采用所述常规帧内色度预测模式中的一种。
  40. 根据权利要求39所述的设备,其特征在于,
    所述待编/解码图像中包括至少一个CCLM处于开启状态的图像块。
  41. 根据权利要求38所述的设备,其特征在于,
    所述待编/解码图像中包括至少一个CCLM处于开启状态的图像块和至少一个CCLM处于关闭状态的图像块;
    对于所述待编/解码图像中的所有图像块,所述图像块的所述第二比特位和所述第三比特位采用相互独立的概率模型进行编/解码。
  42. 根据权利要求38所述的设备,其特征在于,
    当所述第一比特位的值满足第一取值时,所述第一比特位用于指示采用所述CCLM的第一模式。
  43. 根据权利要求42所述的设备,其特征在于,
    当所述第一比特位用于指示所述CCLM的第一模式,且所述第二比特位满足第一取值时,所述第二比特位用于指示采用常规帧内色度预测模式。
  44. 根据权利要求43所述的设备,其特征在于,所述第一取值为0。
  45. 根据权利要求42所述的设备,其特征在于,
    当所述第一比特位用于指示所述第一模式,且所述第二比特位满足第二取值时,所述第二比特位用于指示采用所述CCLM的第二模式或第三模式。
  46. 根据权利要求45所述的设备,其特征在于,
    当所述第二比特位用于指示采用所述CCLM的第二模式或第三模式,且所述第三比特位满足第一取值时,所述第三比特位用于指示采用所述CCLM的第二模式。
  47. 根据权利要求45所述的设备,其特征在于,
    当所述第二比特位用于指示采用所述CCLM的第二模式或第三模式,且所述第三比特位满足第二取值时,所述第三比特位用于指示采用所述CCLM的第三模式。
  48. 根据权利要求47所述的设备,其特征在于,所述第二取值为1。
  49. 根据权利要求43所述的设备,其特征在于,
    当所述第二比特位用于指示采用常规帧内色度预测模式时,与所述第二比特位相邻的后两个比特位用于指示所述常规帧内色度预测模式的编号。
  50. 根据权利要求38所述的设备,其特征在于,所述处理器采用相互独立的概率模型分别对所述第二比特位和所述第三比特位进行编/解码时,具体用于:
    所述图像块的所述第三比特位采用bypass模式进行编/解码。
  51. 根据权利要求38所述的设备,其特征在于,所述处理器采用相互独立的概率模型分别对所述第二比特位和所述第三比特位进行编/解码时,具体用于:
    对所述图像块的所述第三比特位添加一个新的上下文,以及与所述第三比特位相邻的下一个比特位采用bypass模式进行编/解码。
  52. 根据权利要求38所述的设备,其特征在于,所述处理器采用相互独立的概率模型分别对所述第二比特位和所述第三比特位进行编/解码时,具体用于:
    对所述图像块的所述第三比特位添加一个新的上下文,以及对与所述第三比特位相邻的下一个比特位添加一个新的上下文进行编/解码。
  53. 根据权利要求38所述的设备,其特征在于,所述处理器采用相互独立的概率模型分别对所述第二比特位和所述第三比特位进行编/解码时,具体用于:
    所述图像块的所述第三比特位采用bypass模式,以及对与所述第三比特位相邻的下一个比特位添加一个新的上下文进行编/解码。
  54. 根据权利要求38所述的设备,其特征在于,所述处理器采用相互独立的概率模型分别对所述第二比特位和所述第三比特位进行编/解码时,具体用于:
    所述第三比特位采用与第二比特位相同的上下文进行编/解码;或者,
    所述第二比特位和所述第三比特位采用不同的上下文概率模型进行编/解码;或者,
    所述第二比特位和所述第三比特位也可以均采用bypass概率模型编/解;或者,
    所述第二比特位和所述第三比特位中的其中一个采用bypass概率模型编/解,另一个采用上下文概率模型编/解。
  55. 根据权利要求38所述的设备,其特征在于,所述处理器还用于:
    采用相互独立的概率模型分别对所述第一比特位和所述第二比特位进行编/解码;或者,
    采用相互独立的概率模型分别对所述三个相邻的比特位进行编/解码。
  56. 根据权利要求38所述的设备,其特征在于,
    所述第一模式包括LT_CCLM模式;
    所述第二模式包括L_CCLM模式;
    所述第三模式包括T_CCLM模式。
  57. 根据权利要求38所述的设备,其特征在于,
    所述CCLM模式为帧内预测的色度预测模式。
  58. 根据权利要求38所述的设备,其特征在于,
    所述待编/解码图像中的图像块呈方形和/或矩形。
  59. 根据权利要求38所述的设备,其特征在于,
    所述第一比特位为所述比特串中第二个位置的比特位;
    所述第二比特位为所述比特串中第三个位置的比特位;
    所述第三比特位为所述比特串中第四个位置的比特位。
  60. 根据权利要求38所述的设备,其特征在于,
    所述常规帧内色度预测模式包括Planar模式、DC模式、65个角度模式中的任意一种或多种。
  61. 一种视频图像处理设备,其特征在于,包括存储器和处理器;
    所述存储器,用于存储程序指令;
    所述处理器,用于调用所述程序指令,当所述程序指令被执行时,用于执行以下操作:
    对待编/解码图像的图像块的色度预测模式进行二值化得到比特串,所述比特串包括至少三个相邻的比特位,其中,所述待编/解码图像允许使用分量间线性模型CCLM和/或常规帧内色度预测模式,所述CCLM至少包括第一模式、第二模式和第三模式,所述常规帧内色度预测模式为除所述CCLM以外的其他帧内色度预测模式;
    其中,所述三个相邻比特位中第一比特位用于指示是否采用所述CCLM,当所述第一比特位指示采用所述CCLM时,所述第二比特位用于指示是否采用所述CCLM的第一模式,当所述第二比特位指示不采用所述CCLM的第一模式时,第三比特位用于指示采用所述CCLM的第二模式还是第三模式;
    采用相互独立的概率模型分别对所述第一比特位和所述第二比特位进行编/解码。
  62. 根据权利要求61所述的设备,其特征在于,
    当所述第一比特位指示不采用所述CCLM时,所述第二比特位用于指示是否采用所述常规帧内色度预测模式中的其中一个模式。
  63. 根据权利要求62所述的设备,其特征在于,
    当所述第一比特位指示不采用所述CCLM时,所述第二比特位用于指示是否采用所述常规帧内色度预测模式中的第一模式;当所述第二比特位指示不采用所述常规帧内色度预测模式中的第一模式时,第三比特位用于指示是否采用所述常规帧内色度预测模式中的第二模式或者第三模式。
  64. 根据权利要求63所述的设备,其特征在于,所述比特串还包括第四比特位,
    当第三比特位用于指示采用所述常规帧内色度预测模式中的第二模式或者第三模式时,第四比特位用于指示具体采用所述常规帧内色度预测模式中的第二模式还是第三模式;当第三比特位用于指示不采用所述常规帧内色度预测模式的第二模式或者第三模式时,第四比特位用于指示采用所述常规帧内色度 预测模式的第四模式还是第五模式。
  65. 根据权利要求61所述的设备,其特征在于,
    所述待编/解码图像中包括至少一个CCLM处于开启状态的图像块。
  66. 根据权利要求61所述的设备,其特征在于,
    所述待编/解码图像中包括至少一个CCLM处于开启状态的图像块和至少一个CCLM处于关闭状态的图像块;
    对于所述待编/解码图像中的所有图像块,所述图像块的所述第一比特位和所述第二比特位采用相互独立的概率模型进行编/解码。
  67. 根据权利要求61所述的设备,其特征在于,所述采用相互独立的概率模型分别对所述第一比特位和所述第二比特位进行编/解码,包括:
    采用相同的上下文概率模型对所述第一比特位和所述第二比特位进行编/解码;或者,
    分别采用不同的上下文概率模型对所述第一比特位和所述第二比特位进行编/解码;或者,
    均采用bypass概率模型对所述第一比特位和所述第二比特位进行编/解码;或者,
    对所述第一比特位和所述第二比特位中的其中一个采用bypass概率模型编/解,另一个采用上下文概率模型编/解。
  68. 根据权利要求61所述的设备,其特征在于,所述处理器还用于:
    对所述图像块的所述第三比特位采用bypass模式进行编/解码。
  69. 根据权利要求61所述的设备,其特征在于,所述处理器还用于:
    采用相互独立的概率模型分别对所述第二比特位和所述第三比特位进行编/解码;
    或者,
    采用相互独立的概率模型分别对所述三个相邻的比特位进行编/解码。
  70. 根据权利要求61所述的设备,其特征在于,
    所述第一模式包括LT_CCLM模式;
    所述第二模式包括L_CCLM模式;
    所述第三模式包括T_CCLM模式。
  71. 根据权利要求61所述的设备,其特征在于,
    所述CCLM模式为帧内预测的色度预测模式。
  72. 根据权利要求61所述的设备,其特征在于,
    所述待编/解码图像中的图像块呈方形和/或矩形。
  73. 根据权利要求61所述的设备,其特征在于,
    所述第一比特位为所述比特串中第一个位置的比特位;
    所述第二比特位为所述比特串中第二个位置的比特位;
    所述第三比特位为所述比特串中第三个位置的比特位。
  74. 根据权利要求61所述的设备,其特征在于,
    所述常规帧内色度预测模式包括Planar模式、DC模式、65个角度模式中的任意一种或多种。
  75. 一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至37任一项所述方法。
PCT/CN2019/095328 2019-06-25 2019-07-09 一种视频图像处理方法、设备及存储介质 WO2020258378A1 (zh)

Priority Applications (10)

Application Number Priority Date Filing Date Title
EP19935736.9A EP3989549A4 (en) 2019-06-25 2019-07-09 VIDEO IMAGE PROCESSING METHOD AND DEVICE AND STORAGE MEDIA
CN202210308473.2A CN114827610B (zh) 2019-06-25 2019-07-09 视频图像编码和解码方法、设备及介质
KR1020217042458A KR20220011182A (ko) 2019-06-25 2019-07-09 비디오 이미지 처리 방법, 장치 및 저장 매체
CN201980008812.1A CN111602396B (zh) 2019-06-25 2019-07-09 一种视频图像处理方法、设备及存储介质
CN202210308545.3A CN114827612B (zh) 2019-06-25 2019-07-09 视频图像编码和解码方法、设备及介质
JP2021576141A JP2022546898A (ja) 2019-06-25 2019-07-09 ビデオ画像処理方法、装置、および記憶媒体
CN202210308472.8A CN114827609B (zh) 2019-06-25 2019-07-09 视频图像编码和解码方法、设备及介质
CN202210308544.9A CN114827611B (zh) 2019-06-25 2019-07-09 视频图像编码和解码方法、设备及介质
US17/645,930 US11871004B2 (en) 2019-06-25 2021-12-23 Video image processing method and device, and storage medium
US18/544,589 US20240195981A1 (en) 2019-06-25 2023-12-19 Video image processing method and device, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/CN2019/092869 WO2020258056A1 (zh) 2019-06-25 2019-06-25 一种视频图像处理方法、设备及存储介质
CNPCT/CN2019/092869 2019-06-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/645,930 Continuation US11871004B2 (en) 2019-06-25 2021-12-23 Video image processing method and device, and storage medium

Publications (1)

Publication Number Publication Date
WO2020258378A1 true WO2020258378A1 (zh) 2020-12-30

Family

ID=72476433

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/CN2019/092869 WO2020258056A1 (zh) 2019-06-25 2019-06-25 一种视频图像处理方法、设备及存储介质
PCT/CN2019/095328 WO2020258378A1 (zh) 2019-06-25 2019-07-09 一种视频图像处理方法、设备及存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/092869 WO2020258056A1 (zh) 2019-06-25 2019-06-25 一种视频图像处理方法、设备及存储介质

Country Status (2)

Country Link
CN (2) CN117478871A (zh)
WO (2) WO2020258056A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103959790A (zh) * 2011-11-18 2014-07-30 华为技术有限公司 高效视频编码中的预测残余的扫描
CN104871537A (zh) * 2013-03-26 2015-08-26 联发科技股份有限公司 色彩间帧内预测的方法
WO2016115708A1 (en) * 2015-01-22 2016-07-28 Mediatek Singapore Pte. Ltd. Methods for chroma component coding with separate intra prediction mode
WO2018140587A1 (en) * 2017-01-27 2018-08-02 Qualcomm Incorporated Bilateral filters in video coding with reduced complexity
CN109479134A (zh) * 2016-08-10 2019-03-15 松下电器(美国)知识产权公司 编码装置、解码装置、编码方法及解码方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3621206B1 (en) * 2011-10-24 2024-06-05 Velos Media International Limited Significant map decoding using partition selection
CN103260018B (zh) * 2012-02-16 2017-09-22 乐金电子(中国)研究开发中心有限公司 帧内图像预测编解码方法及视频编解码器
US10368107B2 (en) * 2016-08-15 2019-07-30 Qualcomm Incorporated Intra video coding using a decoupled tree structure
US10326986B2 (en) * 2016-08-15 2019-06-18 Qualcomm Incorporated Intra video coding using a decoupled tree structure
US11025903B2 (en) * 2017-01-13 2021-06-01 Qualcomm Incorporated Coding video data using derived chroma mode
WO2018236028A1 (ko) * 2017-06-21 2018-12-27 엘지전자(주) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US10701402B2 (en) * 2017-10-02 2020-06-30 Arris Enterprises Llc System and method for reducing blocking artifacts and providing improved coding efficiency
CN114827610B (zh) * 2019-06-25 2023-04-11 北京大学 视频图像编码和解码方法、设备及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103959790A (zh) * 2011-11-18 2014-07-30 华为技术有限公司 高效视频编码中的预测残余的扫描
CN104871537A (zh) * 2013-03-26 2015-08-26 联发科技股份有限公司 色彩间帧内预测的方法
WO2016115708A1 (en) * 2015-01-22 2016-07-28 Mediatek Singapore Pte. Ltd. Methods for chroma component coding with separate intra prediction mode
CN109479134A (zh) * 2016-08-10 2019-03-15 松下电器(美国)知识产权公司 编码装置、解码装置、编码方法及解码方法
WO2018140587A1 (en) * 2017-01-27 2018-08-02 Qualcomm Incorporated Bilateral filters in video coding with reduced complexity

Also Published As

Publication number Publication date
CN111699681A (zh) 2020-09-22
CN117478871A (zh) 2024-01-30
CN111699681B (zh) 2023-11-14
WO2020258056A1 (zh) 2020-12-30

Similar Documents

Publication Publication Date Title
US11140401B2 (en) Coded-block-flag coding and derivation
RU2586639C2 (ru) Способ и устройство кодирования или декодирования
US10390050B2 (en) Method of video coding using separate coding tree for luma and chroma
US10368092B2 (en) Encoder-side decisions for block flipping and skip mode in intra block copy prediction
BR112017004490B1 (pt) Método para a construção de uma tabela de hash para correspondência de bloco baseada em hash, dispositivo de computação e meio de armazenamento legível por computador
CN112352431B (zh) 一种数据编码、解码方法、设备及存储介质
WO2020125595A1 (zh) 视频译码器及相应方法
US20240195981A1 (en) Video image processing method and device, and storage medium
TW202112135A (zh) 用於視訊寫碼之色度內預測單元
WO2023065891A1 (zh) 多媒体数据处理方法、装置、设备、计算机可读存储介质及计算机程序产品
CN117354519A (zh) 视频编解码中的重要系数信令
WO2020258378A1 (zh) 一种视频图像处理方法、设备及存储介质
WO2023272517A1 (zh) 编解码方法、码流、编码器、解码器及计算机存储介质
WO2022217442A1 (zh) 系数编解码方法、编码器、解码器以及计算机存储介质
US20240155137A1 (en) Multimedia data processing method and apparatus, computer device, computer-readable storage medium, and computer program product
WO2024012249A1 (zh) 包含文字的图像编解码方法和装置
CN114598873B (zh) 量化参数的解码方法和装置
BR122022001703B1 (pt) Método, sistema de computador, mídia legível por computador
BR112017004041B1 (pt) Método implementado por computador, mídia legível por computador e sistema de computação

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19935736

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021576141

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20217042458

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019935736

Country of ref document: EP

Effective date: 20220118