WO2010035370A1 - 動画像符号化方法および動画像復号化方法 - Google Patents

動画像符号化方法および動画像復号化方法 Download PDF

Info

Publication number
WO2010035370A1
WO2010035370A1 PCT/JP2009/002460 JP2009002460W WO2010035370A1 WO 2010035370 A1 WO2010035370 A1 WO 2010035370A1 JP 2009002460 W JP2009002460 W JP 2009002460W WO 2010035370 A1 WO2010035370 A1 WO 2010035370A1
Authority
WO
WIPO (PCT)
Prior art keywords
prediction
difference
vector
value
block
Prior art date
Application number
PCT/JP2009/002460
Other languages
English (en)
French (fr)
Inventor
高橋昌史
山口宗明
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to EP21201738.8A priority Critical patent/EP4024866A1/en
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to US13/058,560 priority patent/US8693546B2/en
Priority to CN2009801290831A priority patent/CN102047665B/zh
Priority to EP09815792.8A priority patent/EP2343902B1/en
Priority to EP18167890.5A priority patent/EP3370423B8/en
Priority to PL18167890T priority patent/PL3370423T3/pl
Publication of WO2010035370A1 publication Critical patent/WO2010035370A1/ja
Priority to US14/169,301 priority patent/US9131218B2/en
Priority to US14/842,020 priority patent/US9854265B2/en
Priority to US15/825,900 priority patent/US10097856B2/en
Priority to US16/120,680 priority patent/US10448045B2/en
Priority to US16/559,901 priority patent/US11109054B2/en
Priority to US17/173,231 priority patent/US11496764B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Definitions

  • the present invention relates to a moving picture coding technique for coding a moving picture and a moving picture decoding technique for decoding a moving picture.
  • Encoding methods such as MPEG (Moving Picture Experts Group) method have been established as a method for recording and transmitting large-capacity moving image information as digital data, MPEG-1 standard, MPEG-2 standard, MPEG-4 standard, It is an international standard encoding method such as H.264 / AVC (Advanced Video Video Coding) standard. These systems have been adopted as encoding systems for digital satellite broadcasting, DVDs, mobile phones, digital cameras, and the like, and the range of use is now expanding and becoming familiar.
  • MPEG Motion Picture Experts Group
  • AVC Advanced Video Video Coding
  • the encoding target image is predicted in block units using the image information that has been encoded, and the prediction difference from the original image is encoded, thereby eliminating the redundancy of the moving image.
  • the code amount is reduced.
  • high-precision prediction is enabled by searching for a block having a high correlation with the encoding target block from the reference image.
  • the H.264 / AVC standard introduces a prediction technique for motion vectors in order to reduce the code amount of the motion vectors.
  • the motion vector of the target block is predicted using an encoded block located around the target block, and the difference between the prediction vector and the motion vector (difference vector) is variable. Encode long.
  • An object of the present invention is to improve the compression efficiency by reducing the code amount of the motion vector.
  • the moving picture encoding method and moving picture decoding method of the present invention are configured as described in, for example, the claims.
  • FIG. 1 is a block diagram of a video encoding apparatus according to Embodiment 1 of the present invention.
  • 1 is a block diagram of an inter-screen prediction unit of a video encoding apparatus according to Embodiment 1 of the present invention.
  • 1 is a block diagram of a moving picture decoding apparatus according to Embodiment 1 of the present invention.
  • the block diagram of the inter-screen prediction part of the moving image decoding apparatus which concerns on Example 1 of this invention.
  • a conceptual explanatory diagram of inter-screen prediction used in the H.264 / AVC standard The conceptual explanatory drawing regarding the prediction technique of the motion vector used by the H.264 / AVC standard.
  • FIG. 3 is a conceptual explanatory diagram illustrating an example of a motion vector prediction technique according to the first embodiment of the invention.
  • FIG. 3 is a conceptual explanatory diagram illustrating an example of a motion vector prediction technique according to the first embodiment of the invention. Explanatory drawing of an example of the encoding method of the prediction vector which concerns on Example 1 of this invention. Explanatory drawing of an example of the threshold value used with the motion vector prediction technique which concerns on Example 1 of this invention. BRIEF DESCRIPTION OF THE DRAWINGS
  • FIG. 1 is a conceptual explanatory diagram illustrating an example of a code table switching technique according to a first embodiment of the invention.
  • BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a conceptual explanatory diagram illustrating an example of a code table switching technique according to a first embodiment of the invention.
  • FIG. 3 is an explanatory diagram of an example of a code table according to the first embodiment of the present invention.
  • FIG. 3 is an explanatory diagram of an example of a code table according to the first embodiment of the present invention.
  • 1 is a flowchart of a video encoding method according to Embodiment 1 of the present invention.
  • 1 is a flowchart of a video decoding method according to Embodiment 1 of the present invention.
  • Fig. 5 conceptually shows the operation of inter-screen prediction processing according to the H.264 / AVC standard.
  • the encoding target image is encoded in units of blocks according to the raster scan order.
  • the decoded image of the encoded image included in the same video (501) as the encoding target image (503) is set as the reference image (502), and the target block (504) in the target image A block (predicted image) (505) having a high correlation with the reference image is searched from the reference image.
  • the difference between the coordinate values of both blocks is encoded as a motion vector (506).
  • the reverse procedure described above may be performed, and the decoded image can be acquired by adding the decoded prediction difference to the block (predicted image) (505) in the reference image.
  • the H.264 / AVC standard introduces a prediction technique for motion vectors in order to reduce the overhead of the code amount due to the motion vectors described above.
  • the motion vector of the target block is predicted using an encoded block located around the target block, and the difference (difference vector) between the prediction vector and the motion vector is encoded. Turn into.
  • the magnitude of the difference vector is statistically concentrated at almost 0, the amount of code can be reduced by variable-length encoding this.
  • FIG. 6 conceptually shows a method for calculating a prediction vector.
  • Encoded blocks adjacent to the left side, upper side, and upper right side of the target block (601) are block A (602), block B (603), and block C (604), respectively, and the motion vectors in each block are MVA and MVB. And MVC.
  • the prediction vector is calculated as the median value of MVA, MVB, and MVC. That is, the prediction vector PMV is calculated as shown in (605) using the function Median that returns the median value for each component of the vector specified as the argument. Further, the difference vector DMV is calculated as the difference (606) between the motion vector MV of the target block and the prediction vector PMV (prediction vector), and then the DMV (difference vector) is variable-length encoded.
  • the reverse procedure described above may be performed, and the motion vector MV is decoded by adding the decoded DMV (difference vector) to the PMV (predicted vector) calculated by the same procedure as above. Turn into.
  • the H.264 / AVC standard it is possible to significantly reduce the amount of code required for motion vectors by introducing a prediction technique for motion vectors.
  • the H.264 / AVC standard Therefore, the motion vector prediction accuracy by the method is not sufficient, and a large amount of code is still required for the motion vector.
  • the following can be considered as the cause. That is, in the situation where the motion is complicated as described above, the correlation between the motion vectors in the vicinity of the target region is remarkably lowered, and the difference between the vectors as prediction vector candidates is increased.
  • the correlation between the motion vectors in the vicinity of the target region is remarkably lowered, and the difference between the vectors as prediction vector candidates is increased. Therefore, if the prediction vector is selected incorrectly, the difference vector becomes larger than the case where the correct prediction vector is selected, and as a result, the amount of codes increases significantly.
  • the prediction vector determination method is switched according to the distribution of vector values that are candidates for the prediction vector. If the candidate vector distribution range is narrow, it is determined that the risk when the prediction vector is selected incorrectly is small, and the conventional prediction method is performed. On the other hand, when the candidate vector distribution range is wide, a bit representing which candidate vector is used as a prediction vector (hereinafter referred to as an additional bit) is added to designate a candidate vector for minimizing the difference vector.
  • an additional bit a bit representing which candidate vector is used as a prediction vector
  • the difference vector does not become small even when the optimal prediction vector is selected. Therefore, in order to reduce the code amount, it is effective to change the encoding method of the difference vector for the case where the motion is not complicated and the case where the motion is complicated.
  • the motion vector encoding procedure and decoding procedure according to the present invention will be described below.
  • the calculation procedure of the prediction vector PMV is the same on the encoding side and decoding side, and the encoding side calculates the difference DMV between the motion vector MV and PMV (prediction vector) and encodes it. Processing is performed.
  • the decoding side a process of decoding the motion vector MV by adding PMV (prediction vector) to the decoded DMV (difference vector) is performed.
  • FIG. 7 conceptually shows an example of a prediction vector calculation method according to the present embodiment.
  • three vectors which are candidates for prediction vectors, are block A, block B, and block C adjacent to the left side, upper side, and upper right side of the target block, respectively.
  • the motion vectors in each block are MVA, MVB, and MVC.
  • the x and y components of the motion vectors MVA, MVB, and MVC are aligned, the distribution is examined using the threshold Thre1, and the cases are classified into four types, CASE1 to CASE4.
  • the direction of the arrow is the direction in which the value of each component of the motion vector is large. Therefore, among the x, y components of MVA, MVB, and MVC indicated by the X mark, the one located most in the arrow direction is the maximum value, and the one located most in the direction opposite to the arrow direction is the minimum value. Furthermore, what is located between both is an intermediate value.
  • the prediction vector PMV is selected as the prediction vector PMV.
  • the prediction vector may be selected using any calculation method, such as an average value, a maximum value, a minimum value, etc., even if it is not a median value.
  • the prediction vector may be determined using motion vectors in blocks other than block A, block B, and block C, such as a block located at the same position as the target block in the previous frame in time.
  • the minimum value is selected as the prediction vector.
  • the maximum value is selected in the scene where the median should be selected, the magnitude of the difference vector increases significantly. To do. Therefore, in this case, there are two types of prediction value options, the maximum value (b) and the median value (c), and the smaller one of the difference vectors is selected as the prediction vector PMV and expressed by 1-bit information. .
  • a prediction vector is identified based on this 1-bit information, and the motion vector is decoded by adding it to the difference vector.
  • the difference vector between the median (d) and the minimum (e) is more The smaller one is selected as the prediction vector PMV, and 1-bit information is added.
  • the difference vector is the smallest among the three types of candidate values: maximum value (f), median value (g), and minimum value (h). Is selected as the prediction vector PMV, and 1-bit or 2-bit information is added.
  • the method for setting the above prediction vector options is not particularly limited.
  • the additional bits are always 1 bit. Can be suppressed.
  • the prediction vector can be expressed with the minimum additional bit amount only in a scene where the prediction accuracy is likely to deteriorate, and the motion vector prediction accuracy is improved while suppressing an increase in the code amount. it can.
  • the above method can further improve the prediction accuracy if used in combination with the method described in FIG.
  • another threshold value Thre2 set as a value larger than Thre1 is used, and in addition to CASE1 to CASE4, three types of cases, CASE5 to CASE7, are performed.
  • CASE3 if the difference between d and e is greater than or equal to Thre2 (CASE6), an intermediate value (j) between d and e is added to the option, and the difference vector is the smallest among d, e, and j One is selected as the prediction vector PMV, and 1-bit or 2-bit information is added.
  • CASE4 if the difference between f and g and the difference between g and h are more than Thre2 (CASE7), the intermediate value between f and g (k) and the intermediate value between g and h (l) are added to the options. Then, the vector having the smallest difference vector is selected from f, g, h, k, and l as the prediction vector PMV, and 2-bit or 3-bit information is added.
  • the difference vector is likely to increase when the interval between candidate values is large, it becomes easier to predict by adding those intermediate values to a new option, and the difference between the prediction vector and the actual vector Therefore, the amount of codes can be reduced.
  • an intermediate value of two types of candidate values is added as a new option.
  • what kind of calculation method using candidate values such as a weighted average using a plurality of candidate values? May be used.
  • the method of adding the prediction vector option is not particularly limited.
  • the method described in FIG. 7 and the method described in FIG. 8 are used in combination, but each may be used alone.
  • FIG. 9 shows the encoding method of the prediction vector.
  • the number of options is 2, 3, and 5
  • a variable length code table when encoding each value in CASE2, CASE4, and CASE5 is shown.
  • this table is an example, and the method for creating the code table is not particularly limited.
  • the method for setting the threshold values Thre1 and Thre2 is not particularly limited. Each may be a fixed value, but it is more effective if it is determined dynamically based on the quantization parameter, as shown in FIG.
  • the threshold values are set to increase as the quantization parameter value increases. This is because if the quantization parameter is increased, the bit rate is reduced and the influence of the additional bits is increased. Therefore, increasing these thresholds is effective in preventing the generation of additional bits.
  • the code amount can be further reduced by switching the difference vector encoding method based on the candidate vector selection information.
  • FIG. 11 shows a method for estimating the properties of an image from candidate vector selection information. For example, when encoding / decoding a prediction vector in a target block, if any of the candidate vector components a, c, d is selected, the motion vector in the target region is similar to the surrounding vector. Thus, it is estimated that the target region exists inside a large object. In addition, when either of the candidate vector components b and e is selected, it can be seen that there are two types of motion around the target area, and the target area exists at the boundary of a large object. Presumed.
  • the correlation of motion vectors around the target area is low, for example, there are many objects with a small target area. It is estimated that it exists in the uncorrelated area
  • FIG. 12 shows a method for switching the variable-length code table of the difference vector based on the above-described image property estimation information (candidate vector selection information).
  • the motion vector prediction accuracy decreases under a situation where the motion is complicated.
  • the prediction accuracy decreases and the difference vector increases in the order of “inner region of object”, “boundary region of object”, and “non-correlated region” (1201).
  • a plurality of variable length code tables (table A (1202), table B (1203), and table C (1204)) are prepared and switched according to their properties (1205).
  • table A a table is used in which the code length is short while the difference vector value is small, but the code length is abruptly increased when the difference value is large.
  • the table C uses a table in which the code length is long while the value of the difference vector is small, but the increase in code length is relatively gentle even if the difference value is large.
  • the table B a table having an intermediate property between the tables A and C is used.
  • the difference value is small when it is estimated as the internal region of the object (when any of the candidate vector components a, c, and d is selected when the prediction vector is encoded / decoded).
  • the difference vector is encoded using table A which is advantageous in some cases.
  • table C when it is estimated as a non-correlated region (when any of the candidate vector components f, g, h, i, j, k, and l is selected when the prediction vector is encoded / decoded)
  • Uses table C which is advantageous when the difference value is large.
  • variable length coding table may be used, but it is effective to use, for example, table A (1301), table B (1302), and table C (1303) shown in FIG.
  • table A, table B, and table C may be defined as fixed tables in advance, but a plurality of tables (table 1 to table 5) are prepared in advance as shown in FIG. (1402), it is more effective to dynamically select the table based on some parameters.
  • combinations of table numbers to be assigned to Table A, Table B, and Table C are defined as table sets (a to c) (1401), and additional bits in a frame encoded / decoded immediately before the target image
  • the table set to be used is switched according to the value of the total (PrevAddBits) (1403).
  • PrevAddBits a parameter to switch the table.
  • constant threshold values The3, Thre4
  • PrevAddBits is used as a parameter for switching, but for example, any value that reflects the amount of motion in the frame, such as the average value of the motion vector, the variance value, or the statistical amount of prediction error. Such parameters may be used.
  • FIG. 1 shows an example of a moving picture coding apparatus according to the present embodiment.
  • the video encoding apparatus performs an intra-screen prediction in units of blocks, an input image memory (102) that holds an input original image (101), a block division unit (103) that divides the input image into small regions
  • An intra-screen prediction unit (105) an inter-screen prediction unit (106) that performs inter-screen prediction based on the amount of motion detected by the motion search unit (104), and a prediction code that matches the nature of the image
  • a mode selection unit (107) for determining a conversion means (prediction method and block size), a subtraction unit (108) for generating a prediction difference, a frequency conversion unit (109) for encoding the prediction difference, and
  • a quantization unit (110) for a variable length coding unit (111) for performing coding according to the occurrence probability of the symbol, and an inverse quantization processing unit (112) for decoding the prediction difference once coded )
  • an inverse frequency transform unit (113) an adder unit (114) for
  • the input image memory (102) holds one image as an encoding target image from the original image (101), and divides it into fine blocks by the block dividing unit (103), and the motion search unit (104 ), An intra-screen prediction unit (105), and an inter-screen prediction unit (107).
  • the motion search unit (104) calculates the amount of motion of the corresponding block using the decoded image stored in the reference image memory (117), and passes the motion vector to the inter-screen prediction unit (106).
  • the in-screen prediction unit (105) and the inter-screen prediction unit (106) execute the intra-screen prediction process and the inter-screen prediction process in blocks of several sizes, and the mode selection unit (107) Select a prediction method.
  • the subtraction unit (108) generates a prediction difference by the optimum prediction encoding means and passes it to the frequency conversion unit (109).
  • frequency transform such as DCT (Discrete Cosine Transformation) is performed in units of blocks each having a specified size with respect to the transmitted prediction difference
  • Quantization processing is performed and passed to the variable length coding processing unit (111) and the inverse quantization processing unit (112).
  • the variable length coding processing unit (111) the prediction difference information represented by the frequency conversion coefficient, the prediction direction used when performing intra prediction, for example, the motion vector used when performing inter prediction, etc.
  • variable-length coding processing unit (111) Information necessary for decoding is subjected to variable length coding based on the probability of occurrence of symbols to generate a coded stream.
  • the variable-length code table and the switching process shown in FIGS. 9, 11, 12, 13, and 14 are performed.
  • the inverse quantization processing unit (112) and the inverse frequency transform unit (113) perform inverse frequency transform such as inverse quantization and IDCT (Inverse DCT) on the frequency transform coefficient after quantization.
  • the prediction difference is acquired and sent to the adding unit (114). Subsequently, a decoding image is generated by the adding unit (114) and stored in the reference image memory (115).
  • FIG. 2 shows an example of the details of the inter-screen prediction unit (106).
  • the inter-screen prediction unit includes a motion vector storage memory (201) for storing a motion vector of an already-encoded region, and a prediction vector calculation unit (202) that calculates a prediction vector using the motion vector of the already-encoded region.
  • a subtractor (203) that calculates a difference vector by calculating a difference between a motion vector and a prediction vector, a prediction image generation unit (204) that generates a prediction image, and an optimum variable based on selection information of the prediction vector
  • a code table switching unit (205) for selecting a long code table is provided.
  • the prediction vector calculation unit (202) calculates the prediction vector of the target block based on the motion vector of the already-encoded area stored in the motion vector storage memory (201). The calculation process of the prediction vector is as already described in the description of FIGS.
  • the subtracter (203) calculates the difference vector (207) by calculating the difference between the motion vector calculated by the motion search unit (104) and the prediction vector.
  • the code table switching unit (205) selects the optimum variable length code table, outputs the code table number (206), and passes it to the variable length coding unit (111).
  • the predicted image generation unit (205) generates a predicted image (208) from the motion vector and the reference image. Then, the motion vector is stored in the motion vector storage memory (201).
  • FIG. 3 shows an example of a moving picture decoding apparatus according to the present embodiment.
  • the video decoding device includes, for example, a variable length decoding unit (302) that performs the reverse procedure of variable length encoding on the encoded stream (301) generated by the video encoding device shown in FIG.
  • Inverse quantization processing unit (303) and inverse frequency transform unit (304) for decoding the prediction difference inter-screen prediction unit (305) that performs inter-screen prediction, and intra-screen prediction unit (in-screen prediction) 306), an adder (307) for obtaining a decoded image, and a reference image memory (308) for temporarily storing the decoded image.
  • variable length decoding unit (302) performs variable length decoding on the encoded stream (301), and acquires information necessary for prediction processing, such as a frequency transform coefficient component of a prediction difference, a block size, and a motion vector.
  • variable length decoding unit (302) performs the motion vector of the peripheral block that has already been decoded from the motion vector storage memory (401) of the inter-screen prediction unit (305) described later. And the candidate vectors shown in FIGS. 7 to 8 are aligned.
  • the difference between the candidate vectors is calculated, and the distribution state of the candidate vectors (CASE 1 to CASE 7) is determined.
  • the variable length code table of FIG. 9 is selected. Using the code table of FIG. 9, the option indicated by the additional bits included in the encoded stream is determined.
  • the variable length code table shown in FIGS. 12, 13, and 14 is selected using the options indicated by the additional bits. Furthermore, variable length decoding processing of the difference vector is performed using the selected variable length code table.
  • the inverse quantization processing unit (303) is used for the former prediction difference information
  • the inter-screen prediction unit (305) or the intra-screen prediction unit (306) is used for information necessary for the latter prediction processing.
  • the inverse quantization processing unit (303) and the inverse frequency transform unit (304) perform decoding by performing inverse quantization and inverse frequency transform on the prediction difference information, respectively.
  • the inter-screen prediction unit (305) or the intra-screen prediction unit (306) executes the prediction process with reference to the reference image memory (308) based on the information sent from the variable length decoding unit (302).
  • the adder (307) generates a decoded image and stores the decoded image in the reference image memory (308).
  • FIG. 4 shows an example of the details of the inter-screen prediction unit (305).
  • the inter-screen prediction unit includes a motion vector storage memory (401) for storing the motion vector of the already decoded region, and a prediction vector calculation unit (402) for calculating a prediction vector using the motion vector of the already decoded region And an adder (403) for calculating a motion vector by calculating the sum of the difference vector and the prediction vector, and a prediction image generation unit (404) for generating a prediction image.
  • the prediction vector calculation unit (402) calculates the prediction vector of the target block based on the motion vector of the already decoded region stored in the motion vector storage memory (401). The calculation process of the prediction vector is as already described in the description of FIGS.
  • the adding unit (403) decodes the motion vector by calculating the sum of the difference vector decoded by the variable length decoding unit and the prediction vector. Then, while storing the decoded motion vector in the motion vector storage memory (401), the predicted image generation unit (404) generates a predicted image (405) from the motion vector and the reference image.
  • FIG. 16 shows an encoding processing procedure for one frame in the present embodiment.
  • the following processing is performed for all blocks existing in the frame to be encoded (1601). That is, prediction is executed once for all coding modes (combination of prediction method and block size) for the corresponding block (1602).
  • in-screen prediction (1604) or inter-screen prediction (1605) is performed according to the prediction method (1603), and the prediction difference (difference image) is calculated.
  • a motion vector is encoded in addition to the prediction difference (difference image).
  • a DMV difference vector
  • PMV predicted vector
  • variable length coding table (1609) using the variable length code table and the switching process shown in FIGS. 9, 11, 12, 13, and 14 is performed, and the image quality distortion and the code amount of each coding mode are calculated. calculate.
  • the mode with the highest coding efficiency is selected based on the above results (1610).
  • the RD-Optimization method that determines the optimal encoding mode from the relationship between image quality distortion and code amount, for example. Can be encoded efficiently. See Reference 2 for details of the RD-Optimization method. [Reference 2] G. Sullivan and T. Wiegand: “Rate-Distortion Optimization for Video Compression”, IEEE Signal Processing Magazine, vol.15, no.6, pp.74-90, 1998.
  • the quantized frequency transform coefficient is subjected to inverse quantization processing (1611) and inverse frequency transform processing (1612) to decode the prediction difference and generate a decoded image. And stored in the reference image memory (1613). If the above processing is completed for all the blocks, the encoding for one frame of the image is completed (1614).
  • FIG. 17 shows a detailed processing procedure of the DMV (difference vector) calculation process (1606) in FIG.
  • DMV difference vector
  • alignment means calculating which candidate vector value is the maximum value, median value, and minimum value among the component values in a predetermined direction of a plurality of candidate vectors, A value vector, a median value vector, and a minimum value vector are determined. “Alignment” described below has the same meaning.
  • it is checked whether there is an interval equal to or greater than Thre1 in the values of the components in a predetermined direction of the plurality of candidate vectors (1702).
  • PMV predicted vector
  • a candidate value that minimizes the difference vector is selected as a PMV (predicted vector) from the candidate values as options (1705), and selection information is added as additional bits (1706).
  • PMV predicted vector
  • PMV predicted vector
  • DMV difference vector
  • a DMV (difference vector) code table is selected (1710).
  • FIG. 18 shows a decoding processing procedure for one frame in the present embodiment.
  • the following processing is performed for all blocks in one frame (1801). That is, the variable length decoding process is performed on the input stream, and the frequency transform coefficient component of the prediction difference and the difference vector are decoded (1802).
  • variable length decoding process motion vectors of already decoded peripheral blocks are acquired and the candidate vectors shown in FIGS. 7 to 8 are aligned.
  • the difference between the candidate vectors is calculated, and the distribution state of the candidate vectors (CASE 1 to CASE 7) is determined.
  • the variable length code table of FIG. 9 is selected.
  • the option indicated by the additional bits included in the encoded stream is determined.
  • the variable length code table shown in FIGS. 12, 13, and 14 is selected using the options indicated by the additional bits.
  • variable length decoding processing of the difference vector is performed using the selected variable length code table.
  • inverse quantization processing (1803) and inverse frequency conversion processing (1804) are performed on the frequency transform coefficient component of the prediction difference acquired in the variable length decoding processing to decode the prediction difference (difference image).
  • in-screen prediction processing (1806) and inter-screen prediction processing (1808) are performed according to the prediction method (1805).
  • the motion vector MV is decoded prior to the inter-screen prediction processing.
  • the difference vector DMV is first decoded in the variable length decoding process (1802).
  • the PMV (predicted vector) calculated by the method shown in FIGS. 7 to 8 and the difference vector DMV are added, and the MV Is calculated (1807).
  • Inter-plane prediction processing (1808) is performed using the calculated MV.
  • FIG. 19 shows a detailed processing procedure of the MV calculation (1807) in FIG.
  • vectors candidate vectors in peripheral blocks of the target block are aligned (1901), and it is checked whether there is an interval equal to or greater than Thre1 (1902). If there is no interval equal to or greater than Thre1, PMV (predicted vector) calculation using the median value of candidate vectors is performed as in the conventional method (1903). On the other hand, if there is an interval equal to or greater than Thre1, it is checked whether there is an interval equal to or greater than Thre2 (1904). If there is no interval equal to or greater than Thre2, the additional bits are read to identify the value selected as the PMV (prediction vector), and the PMV (prediction vector) is decoded (1905).
  • the intermediate value of the candidate values is calculated to generate further prediction value options (1906), and then the additional bits are read and the value selected as the PMV (prediction vector)
  • the PMV (prediction vector) is decoded by identifying the (1907). After calculating the PMV (predicted vector) by the above procedure, the sum of the PMV (predicted vector) and the difference vector DMV is calculated as MV (1908), and the MV calculation is terminated (1909).
  • the prediction vector is calculated in units of blocks, but other than that, for example, it may be calculated in units of objects separated from the background of the image.
  • DCT is cited as an example of frequency transformation
  • DST Discrete Sine Transformation
  • WT Widelet Transformation
  • DFT Discrete Fourier Transformation
  • KLT Kerhunen-Loeve
  • Any transformation may be used as long as it is an orthogonal transformation used for removing the correlation between pixels, such as a transformation (Kalunen-Reeve transformation), and the prediction difference itself may be encoded without any frequency transformation.
  • variable length coding is not particularly required.
  • the number of candidate values is not particularly limited. That is, more than three types of peripheral vectors may be candidates.
  • the code amount of the motion vector is reduced and the compression efficiency is improved.
  • An improved moving picture encoding method and moving picture decoding method can be realized.
  • Example 2 of the present invention will be described.
  • Example 1 the number of vectors that are candidates for the prediction vector is three. On the other hand, in Example 2, the number is set to 2 as a simpler method.
  • the moving picture coding apparatus according to the second embodiment is different from the moving picture coding apparatus according to the first embodiment shown in FIGS. 1 and 2 only in the calculation method of the prediction vector PMV. Therefore, the details of other configurations and operations have already been described, and thus the description thereof is omitted.
  • the moving picture decoding apparatus according to the second embodiment is different from the moving picture decoding apparatus according to the first embodiment shown in FIGS. 3 and 4 only in the calculation method of the prediction vector PMV. Therefore, the details of other configurations and operations have already been described, and thus the description thereof is omitted.
  • the moving picture coding method of the second embodiment is different from the moving picture coding method of the first embodiment shown in FIG. 16 only in the difference vector DMV calculation method. Therefore, the details of the other processes have already been described, and thus the description thereof is omitted.
  • the moving picture decoding method of the second embodiment is different from the moving picture decoding method of the first embodiment shown in FIG. 18 only in the method of calculating the motion vector MV. Therefore, the details of the other processes have already been described, and thus the description thereof is omitted.
  • FIG. 15 conceptually shows an example of a method for calculating the prediction vector PMV according to this embodiment.
  • two types of vectors which are candidates for prediction vectors, are block A and block B adjacent to the left and upper sides of the target block, respectively.
  • the motion vectors in each block are MVA and MVB.
  • other blocks such as a block C (motion vector MVC) adjacent to the upper right of the target block may be used.
  • the x and y components of the motion vectors MVA and MVB are compared, and if the difference is less than or equal to the threshold Thre1, it is considered that there is no great difference in the magnitude of the difference vector regardless of which value is selected.
  • the median value of MVA, MVB, and MVc is selected as the prediction vector PMV (1501).
  • any calculation method such as an average value, a maximum value, a minimum value, or the like may be used even if it is not a median value.
  • the difference is between Thred1 and Thred2, there are two types of prediction value choices, MVA and MVB, and the one with the smaller difference vector is selected as the prediction vector PMV and 1-bit information is added. To do. If the difference is equal to or greater than Thred2, the prediction value options are MVA, MVB, and (MVA + MVB) / 2, and the one with the smallest difference vector is selected as the prediction vector PMV. 1-bit or 2-bit information is added.
  • the difference vector DMV is calculated from the difference between the motion vector MV calculated by inter-frame prediction and the predicted vector PMV calculated as described above, and the moving picture code is set. Process.
  • the motion vector MV is calculated by adding the difference vector DMV decoded from the encoded stream to the calculated prediction vector PMV to calculate the motion vector MV and performing the inter-screen prediction process. Decryption processing is performed.
  • the prediction vector is calculated in units of blocks, but other than that, for example, it may be calculated in units of objects separated from the background of the image.
  • DCT is cited as an example of frequency transformation
  • DST Discrete Sine Transformation
  • WT Widelet Transformation
  • DFT Discrete Fourier Transformation
  • KLT Kerhunen-Loeve
  • Any transformation may be used as long as it is an orthogonal transformation used for removing the correlation between pixels, such as a transformation (Kalunen-Reeve transformation), and the prediction difference itself may be encoded without any frequency transformation.
  • variable length coding is not particularly required.
  • moving picture encoding apparatus moving picture encoding method, moving picture decoding apparatus, and moving picture decoding method according to the second embodiment of the present invention described above, in addition to the effects of the first embodiment, more processing is performed. It is possible to simplify and reduce the processing amount.
  • DESCRIPTION OF SYMBOLS 102 ... Input image memory, 103 ... Block division part, 104 ... Motion search part, 105 ... In-screen prediction part, 106 ... Inter-screen prediction part, 107 ... Mode selection part, 108 ... Subtraction part, 109 ... Frequency conversion part, 110 Quantization processing unit 111 Variable length encoding unit 112 Inverse quantization processing unit 113 Inverse frequency conversion unit 114 Addition unit 115 Reference image memory 302 Variable length decoding unit 303 Inverse quantization processing unit 304: Inverse frequency conversion unit 305: Inter-screen prediction unit 306: In-screen prediction unit 307: Addition unit 308: Reference image memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　本発明は、動きベクトルの符号量を減少して圧縮効率を向上する動画像符号化・復号化技術に関する。動画像の復号化処理において、復号化対象ブロックの周辺ブロックであって既に復号化されたブロック群の複数の動きベクトルのうちの所定の動きベクトル間の差の大きさに基づいて前記予測ベクトルの算出方式を切り替え、算出した予測ベクトルと符号化ストリームから復号した差分ベクトルを加算して、動きベクトルを算出し、算出した動きベクトルを用いて画面間予測処理を行う。

Description

動画像符号化方法および動画像復号化方法
本発明は動画像を符号化する動画像符号化技術および動画像を復号化する動画像復号化技術に関する。
　大容量の動画像情報をデジタルデータ化して記録、伝達する手法として、MPEG(Moving Picture Experts Group)方式等の符号化方式が策定され、MPEG-1規格、MPEG-2規格、MPEG-4規格、H.264/AVC(Advanced Video Coding)規格等として国際標準の符号化方式となっている。これらの方式はデジタル衛星放送やDVD、携帯電話やデジタルカメラなどにおける符号化方式として採用され、現在ますます利用の範囲が広がり、身近なものとなってきている。
　これらの規格では、符号化処理が完了した画像情報を利用して符号化対象画像をブロック単位で予測し、原画像との予測差分を符号化することによって、動画像の持つ冗長性を除いて符号量を減らしている。特に、対象画像とは別の画像を参照する画面間予測では、符号化対象ブロックと相関の高いブロックを参照画像中から探索することによって、高精度な予測を可能としている。しかしこの場合、予測差分に加えて、ブロック探索の結果を動きベクトルとして符号化する必要があり、符号量のオーバーヘッドが発生する。
　H.264/AVC規格では、上記動きベクトルの符号量を減らすために、動きベクトルに対する予測技術を導入している。すなわち、動きベクトルを符号化する際には、対象ブロックの周辺に位置する符号化済みのブロックを利用して対象ブロックの動きベクトルを予測し、予測ベクトルと動きベクトルの差分(差分ベクトル)を可変長符号化する。
　しかしながら、従来のH.264/AVC規格による動きベクトルの予測精度は十分ではなく、依然として動きベクトルに多くの符号量が必要であるといった課題があった。
　本発明の目的は、動きベクトルの符号量を減少して圧縮効率を向上することにある。
　本発明の動画像符号化方法および動画像復号化方法は、例えば請求の範囲に記載されるように構成する。
　本発明によれば、動きベクトルの符号量を減少して圧縮効率を向上することが可能となる。
本発明の実施例１に係る動画像符号化装置のブロック図。 本発明の実施例１に係る動画像符号化装置の画面間予測部のブロック図。 本発明の実施例１に係る動画像復号化装置のブロック図。 本発明の実施例１に係る動画像復号化装置の画面間予測部のブロック図。 H.264/AVC規格で用いる画面間予測の概念的な説明図。 H.264/AVC規格で用いる動きベクトルの予測技術に関する概念的な説明図。 本発明の実施例１に係る動きベクトルの予測技術の一例の概念的な説明図。 本発明の実施例１に係る動きベクトルの予測技術の一例の概念的な説明図。 本発明の実施例１に係る予測ベクトルの符号化方法の一例の説明図。 本発明の実施例１に係る動きベクトルの予測技術で用いる閾値の一例の説明図。 本発明の実施例１に係る符号表切り替え技術の一例の概念的な説明図。 本発明の実施例１に係る符号表切り替え技術の一例の概念的な説明図。 本発明の実施例１に係る符号表の一例の説明図。 本発明の実施例１に係る符号表の一例の説明図。 本発明の実施例２に係る動きベクトルの予測技術に関する概念的な説明図。 本発明の実施例１に係る動画像符号化方法の流れ図。 本発明の実施例１に係る動画像符号化方法における差分ベクトル計算処理の流れ図。 本発明の実施例１に係る動画像復号化方法の流れ図。 本発明の実施例１に係る動画像復号化方法における動きベクトル計算処理の流れ図。
　以下、本発明の実施例を、図面を参照して説明する。
　図５はH.264/AVC規格による画面間予測処理の動作について概念的に示したものである。H.264/AVC規格では、符号化対象画像に対してラスタースキャンの順序に従ってブロック単位による符号化を行う。画面間予測を行う際には、符号化対象画像(503)と同じ映像(501)に含まれる符号化済みの画像の復号画像を参照画像(502)とし、対象画像中の対象ブロック(504)と相関の高いブロック（予測画像）(505)を参照画像中から探索する。このとき、両ブロックの差分として計算される予測差分に加えて、両ブロックの座標値の差分を動きベクトル(506)として符号化する。一方復号化の際には上記の逆の手順を行えばよく、復号化された予測差分を参照画像中のブロック（予測画像）(505)に加えることにより、復号化画像を取得できる。
　H.264/AVC規格では、以上で説明した動きベクトルによる符号量のオーバーヘッドを低減するために、動きベクトルに対する予測技術を導入している。すなわち、動きベクトルを符号化する際には、対象ブロックの周辺に位置する符号化済みのブロックを利用して対象ブロックの動きベクトルを予測し、予測ベクトルと動きベクトルの差分（差分ベクトル）を符号化する。このとき、差分ベクトルの大きさは統計的には、ほぼ0に集中するため、これを可変長符号化することにより符号量を削減できる。図６は予測ベクトルを算出する方法について概念的に示したものである。対象ブロック(601)の左側、上側、右上側に隣接する符号化済みのブロックをそれぞれブロックA(602)、ブロックB(603)、ブロックC(604)とし、各ブロックにおける動きベクトルをMVA、MVB、MVCとする。
　このとき、H.264/AVC規格では、予測ベクトルはMVA、MVB、MVCの中央値として算出する。すなわち、予測ベクトルPMVは、引数として指定されたベクトルの各成分に対して中央値を返す関数Medianを用いて、(605)のように算出される。さらに、差分ベクトルDMVを対象ブロックの動きベクトルMVと予測ベクトルPMV（予測ベクトル）の差分(606)として算出し、続いてDMV（差分ベクトル）を可変長符号化する。復号化の際には上記の逆の手順を行えばよく、復号化されたDMV（差分ベクトル）を上記と同様の手順によって算出したPMV（予測ベクトル）に加算することにより、動きベクトルMVを復号化する。
　以上のように、H.264/AVC規格では、動きベクトルに対する予測技術を導入することにより、動きベクトルに必要な符号量を大幅に削減することが可能になった。しかし、複数の動物体が近接している場合や、対象領域の近傍に動物体の境界部分が存在する場合など、動きベクトルを正確に予測することが難しい場合には、H.264/AVC規格による動きベクトルの予測精度は十分であるとは言えず、依然として動きベクトルに多くの符号量が必要であった。この原因としては以下のようなことが考えられる。すなわち、上記のような動きが複雑な状況下では、対象領域の近傍における動きベクトルの相関性は著しく低下し、予測ベクトルの候補となるベクトル間の差が大きくなる。すなわち、上記のような動きが複雑な状況下では、対象領域の近傍における動きベクトルの相関性は著しく低下し、予測ベクトルの候補となるベクトル間の差が大きくなる。そのため、予測ベクトルの選択を誤ってしまうと、正しい予測ベクトルを選択した場合と比べて差分ベクトルが大きくなり、その結果、符号量も著しく増大してしまう。
　本発明の一実施の形態では、予測ベクトルの候補となるベクトル値の分布に応じて予測ベクトルの決定方法を切り替える。候補ベクトルの分布範囲が狭い場合は予測ベクトルの選択を誤ったときのリスクは小さいと判断し、従来通りの予測方法を実施する。一方、候補ベクトルの分布範囲が広い場合には、どの候補ベクトルを予測ベクトルとして利用するかを表すビット(以下、付加ビット)を追加して差分ベクトルを最小化する候補ベクトルを指定する。
　このとき、さらに、予測ベクトルの候補となるベクトルの種類を候補ベクトル値の分布に応じて動的に切り替えるようにすれば、付加ビットによる符号量の増加を抑制することができる。これにより、符号量の増加を抑制しながら動きベクトルに対する予測精度を向上できるようになる。
　また、一般的に動きが複雑な状況下では動きベクトルの予測精度が低下するため、最適な予測ベクトルが選択されたとしても差分ベクトルは小さくならない。そのため、符号量を削減するためには、動きが複雑でない場合と、動きが複雑である場合に対して、差分ベクトルの符号化方法を変更することが効果的である。
　例えば参考文献１では、対象ブロックの周辺領域における動きベクトルの分散の大きさによって動きが複雑であるか否かを判定し、その判定結果に基づいて差分ベクトルを符号化する際の可変長符号表を切り替えている。この方法によれば、動きが複雑であるか否かについて大まかな判定はできるものの、画像の性質を反映した符号表の細かな切り替えはできなかった。また、この方法による符号表の切り替えは、対象ブロックの周辺領域における動きベクトルに基づいているため、対象領域の動きが周辺領域と異なる場合には適切に符号表を選択することができなかった。
　本発明の一実施の形態では、では、前述した付加ビットによる最適ベクトルの選択方法において、どの候補ベクトルが選択されたかを調べることによって対象領域における動きの性質を詳細に推定することができ、この推定情報に基づいて符号表を切り替えることにより、より詳細な符号表の切り替えが可能になり、その結果さらなる符号量の削減を可能にした。
  ［参考文献１］特開２００６－２７１００１号公報
　以下、本発明による動きベクトルの符号化手順および復号化手順について述べる。その中で、予測ベクトルPMV（予測ベクトル）の算出手順は符号化側と復号化側で同一であり、符号化側では動きベクトルMVとPMV（予測ベクトル）の差分DMVを算出してこれを符号化する処理行われる。これに対し、復号化側では復号化されたDMV（差分ベクトル）にPMV（予測ベクトル）を加算して動きベクトルMVを復号化する処理がそれぞれ行われる。
　図７は、本実施例による予測ベクトル算出方法の一例について概念的に示している。ここでは、予測ベクトルの候補となるベクトルを、対象ブロックの左側、上側、右上側にそれぞれ隣接するブロックA、ブロックB、ブロックCの３種類とする。このとき、各ブロックにおける動きベクトルをMVA、MVB、MVCとする。
　まず、動きベクトルMVA、MVB、MVCのx、y各成分に対して整列を行い、閾値Thre1を利用してその分布を調べ、CASE1～CASE4の４種類に場合分けを行う。本図において、矢印方向が動きベクトルの各成分の値が大きい方向である。よって、Ｘ印により示されるMVA、MVB、MVCのx、y各成分のうち最も矢印方向に位置するものが最大値であり、最も矢印方向と反対方向に位置するものが最小値である。さらに、両者の間に位置するものが中間値である。
　ここで、すべての値の間隔がThre1よりも小さければ(CASE1)、どの値が選ばれても差分ベクトルの大きさに大差はないため、H.264/AVC規格と同様に候補値の中央値(a)を予測ベクトルPMVとして選択する。このとき、付加ビットは発生することはない。この場合、特に中央値でなくても、例えば平均値、最大値、最小値など、どのような計算方法を用いて予測ベクトルを選択してもよいし、例えば対象ブロックの右上に隣接するブロックや、時間的に１つ前のフレームの中の対象ブロックと同じ位置にあるブロックなど、ブロックA、ブロックB、ブロックC以外のブロックにおける動きベクトルを利用して予測ベクトルを決定しても良い。
　一方、候補値の中で最も大きな値と中央値の差がThre1以上であり、中央値と最小値の差がThre1よりも小さい場合には(CASE2)、例えば予測ベクトルとして最小値が選ばれるのが最適である場面において中央値が選ばれてしまっても差分ベクトルの大きさに大差はないが、中央値が選ばれるべき場面において最大値が選ばれてしまうと差分ベクトルの大きさが著しく増大する。そのため、この場合、予測値の選択肢を最大値(b)と中央値(c)の２種類とし、このうち差分ベクトルがより小さくなる方を予測ベクトルPMVとして選択して１ビットの情報により表現する。復号化側では、この１ビットによる情報を基に予測ベクトルを特定し、差分ベクトルに加算することにより動きベクトルを復号化する。
　同様に、最小値と中央値の差がThre1以上であり、中央値と最大値の差がThre1よりも小さければ(CASE3)、中央値(d)と最小値(e)のうち差分ベクトルがより小さくなる方を予測ベクトルPMVとして選択し、１ビットの情報を追加する。
　また、すべての値の間隔がThre1以上であれば(CASE4)、最大値(f)、中央値(g)、最小値(h)の３種類の候補値の中から差分ベクトルが最も小さくなるものを予測ベクトルPMVとして選択し、１ビット、もしくは２ビットの情報を付加する。
　上記予測ベクトルの選択肢の設定方法は特に問わない。例えば、上記の例ではCASE4において選択肢数を３としているため追加ビットが２ビット必要である場合が存在するが、例えば選択肢をMVA、MVBの２種類に限定することにより、追加ビットを常に１ビットに抑えることができる。
　以上の方法によれば、予測精度が低下する可能性の高い場面においてのみ最低限の付加ビット量にて予測ベクトルを表現できるようになり、符号量の増加を抑えながら動きベクトルの予測精度を向上できる。
　また、上記の方法は、図８に説明する方法と併用すればさらに予測精度が高まる。ここでは、Thre1よりも大きな値として設定される別の閾値Thre2を利用し、CASE1～CASE4に加えてさらにCASE5～CASE7の3種類の場合分けを行う。
　すなわち、CASE2において、bとcの差がThre2以上であれば(CASE5)、bとcの中間値(i)を選択肢に追加し、bとcとiの中から差分ベクトルが最も小さくなるものを予測ベクトルPMVとして選択し、１ビット、もしくは２ビットの情報を追加する。
　同様に、CASE3において、dとeの差がThre2以上であれば(CASE6)、dとeの中間値(j)を選択肢に追加し、dとeとjの中から差分ベクトルが最も小さくなるものを予測ベクトルPMVとして選択し、１ビット、もしくは２ビットの情報を追加する。
　また、CASE4において、fとgの差、およびgとhの差がThre2以上であれば(CASE7)、fとgの中間値(k)とgとhの中間値(l)を選択肢に追加し、fとgとhとkとlの中から差分ベクトルが最も小さくなるものを予測ベクトルPMVとして選択し、２ビット、もしくは３ビットの情報を付加する。
　以上のように、候補値の間隔が大きい場合には差分ベクトルが増大する可能性が高いため、それらの中間値を新たな選択肢に加えることにより予測が当たりやすくなり、予測ベクトルと実ベクトルの差分が小さくなるため、符号量を削減することができる。
　上記の例では、２種類の候補値の中間値を新たな選択肢に追加しているが、例えば複数の候補値を用いた重み付き平均など、候補値を用いた計算方法ならどのようなものを利用しても良い。また、予測ベクトルの選択肢の追加方法は特に問わない。さらに、上記の例では図７で説明した方法と図８で説明した方法を組み合わせて利用しているが、それぞれ単体で利用しても良い。
　図９は、上記予測ベクトルの符号化方法について示している。ここでは、選択肢の数が２、３、５となる代表例として、それぞれCASE2、CASE4、CASE5においてそれぞれの値を符号化する際の可変長符号表を示している。ただし、この表は一例であり、符号表の作成方法は特に問わない。
　また、閾値Thre1とThre2の設定方法も特に問わない。それぞれ固定値でも良いが、例えば図１０のように、量子化パラメータなどに基づいて動的に決定するとさらに効果的である。この例では、量子化パラメータの値が大きくなるほど、これらの閾値が大きくなるように設定している。これは、量子化パラメータが大きくなればビットレートが小さくなり、付加ビットによる影響が大きくなるため、これらの閾値を大きくすることにより付加ビットが発生しにくくなり効果的であるためである。
　さらに本発明の一実施の形態では、候補ベクトルの選択情報に基づいて差分ベクトルの符号化方法を切り替えることにより、さらなる符号量の削減を実現する。図１１に、候補ベクトルの選択情報から画像の性質を推定する方法について示す。例えば、対象ブロックにおいて予測ベクトルを符号化・復号化する際に、候補ベクトルの成分a、c、dのいずれかが選択された場合には、対象領域における動きベクトルが周辺ベクトルに似通っていることが分かり、対象領域が大きな物体の内側に存在することが推定される。また、候補ベクトルの成分b、eのどちらかが選択された場合には、対象領域の周辺には２種類の動きが存在することが分かり、対象領域が大きな物体の境界部分に存在することが推定される。一方、候補ベクトルの成分f、g、h、i、j、k、lのいずれかが選択された場合には、対象領域の周辺における動きベクトルの相関が低く、例えば対象領域が小さな物体が多数集まっているような無相関領域に存在することが推定される。
　図１２は、上記のような画像の性質の推定情報（候補ベクトルの選択情報）に基づいて差分ベクトルの可変長符号表を切り替える方法を示している。一般的に動きが複雑な状況下では動きベクトルの予測精度が低下する。上記の例では、「物体の内部領域」、「物体の境界領域」、「無相関領域」の順に予測精度が低くなり、差分ベクトルが大きくなる(1201)。本発明では、複数の可変長符号表(テーブルA(1202)、テーブルB(1203)、テーブルC(1204))を用意し、その性質に応じて切り替える(1205)。例えばテーブルAには、差分ベクトルの値が小さい間は符号長が短いが、差分値が大きくなると、符号長が急激に長くなるようなテーブルを用いる。一方、テーブルCには、差分ベクトルの値が小さい間は符号長が長いが、差分値が大きくなっても符号長の増加は比較的なだらかであるようなテーブルを用いる。なお、テーブルBには、テーブルAとテーブルCの中間的な性質を持つようなテーブルを用いる。
　この場合、物体の内部領域と推定された場合(予測ベクトルを符号化・復号化する際に、候補ベクトルの成分a、c、dのいずれかが選択された場合)には、差分値が小さい場合に有利なテーブルAを利用して差分ベクトルを符号化する。一方、無相関領域と推定された場合(予測ベクトルを符号化・復号化する際に、候補ベクトルの成分f、g、h、i、j、k、lのいずれかが選択された場合)には、差分値が大きい場合に有利なテーブルCを利用する。また、物体の境界領域と推定された場合(予測ベクトルを符号化・復号化する際に、候補ベクトルの成分b、eのいずれかが選択された場合)は、それらの中間的な性質を有するテーブルBを利用する。上記の方法によれば、対象画像の性質を考慮した精密な符号表の切り替えが可能になり、差分ベクトルに必要な符号量を大幅に削減することができる。
　可変長符号化表はどのようなものを利用しても良いが、例えば図１３に示すテーブルA(1301)、テーブルB(1302)、テーブルC(1303)を利用すると効果的である。
　このように、テーブルA、テーブルB、テーブルCをそれぞれ固定テーブルとしてあらかじめ定義しておいても良いが、例えば図１４のように、複数のテーブル(テーブル1～テーブル5)をあらかじめ用意しておき(1402)、何らかのパラメータに基づいてテーブルを動的に選択するとさらに効果的である。ここでは、テーブルA、テーブルB、テーブルCに割り当てるテーブル番号の組み合わせをテーブルセット(a～c)として定義しておき(1401)、対象画像の直前に符号化・復号化されたフレームにおける付加ビットの累計（PrevAddBits）の値に応じて利用するテーブルセットを切り替える(1403)。これは、対象フレームの動きが激しい場合、テーブルA、テーブルB、テーブルCの符号長の偏りを大きくすると特に符号量の削減効果が高まるため、直前フレームにおける動きの大きさを反映するパラメータ(PrevAddBits)に基づいてテーブルを切り替えている。ここでは、切り替えの判定を行うために定数による閾値(Thre3、Thre4)を設定しているが、判定方法は特に問わない。また、上記の例では、切り替えを行うためのパラメータとしてPrevAddBitsを利用しているが、例えば動きベクトルの平均値や分散値、予測誤差の統計量など、フレーム内の動き量を反映するものならどのようなパラメータを利用しても良い。
　図１は本実施例における動画像符号化装置の一例を示したものである。動画像符号化装置は、入力された原画像(101)を保持する入力画像メモリ(102)と、入力画像を小領域に分割するブロック分割部(103)と、ブロック単位で画面内予測を行う画面内予測部(105)と、動き探索部(104)にて検出された動き量を基にブロック単位で画面間予測を行う画面間予測部(106)と、画像の性質に合った予測符号化手段(予測方法およびブロックサイズ)を決定するモード選択部(107)と、予測差分を生成するための減算部(108)と、予測差分に対して符号化を行う周波数変換部(109)および量子化部(110)と、記号の発生確率に応じた符号化を行うための可変長符号化部(111)と、一度符号化した予測差分を復号化するための逆量子化処理部(112)および逆周波数変換部(113)と、復号化された予測差分を用いて復号化画像を生成するための加算部(114)と、復号化画像を保持して後の予測に活用するための参照画像メモリ(115)を有する。
　入力画像メモリ(102)は原画像(101)の中から一枚の画像を符号化対象画像として保持し、これをブロック分割部(103)にて細かなブロックに分割し、動き探索部(104)、画面内予測部(105)、および画面間予測部(107)に渡す。動き探索部(104)では、参照画像メモリ(117)に格納されている復号化済み画像を用いて該当ブロックの動き量を計算し、動きベクトルを画面間予測部(106)に渡す。画面内予測部(105)および画面間予測部(106)では画面内予測処理および画面間予測処理をいくつかの大きさのブロック単位で実行し、モード選択部(107)にてどちらか最適な予測方法を選ぶ。続いて減算部(108)では最適な予測符号化手段による予測差分を生成し、周波数変換部(109)に渡す。周波数変換部(109)および量子化処理部(110)では、送られてきた予測差分に対して指定された大きさのブロック単位でそれぞれDCT(Discrete Cosine Transformation：離散コサイン変換)などの周波数変換および量子化処理を行い、可変長符号化処理部(111)および逆量子化処理部(112)に渡す。さらに可変長符号化処理部(111)では、周波数変換係数によって表される予測差分情報と、例えば画面内予測を行う際に利用した予測方向や画面間予測を行う際に利用した動きベクトルなど、復号化に必要な情報を、記号の発生確率に基づいて可変長符号化を行って符号化ストリームを生成する。可変長符号化処理部(111)における可変長符号化処理においては、例えば、図９、図１１、図１２、図１３、図１４に示した可変長符号表およびその切替処理を行う。また、逆量子化処理部(112)および逆周波数変換部(113)では、量子化後の周波数変換係数に対して、それぞれ逆量子化およびIDCT(Inverse DCT：逆DCT)などの逆周波数変換を施し、予測差分を取得して加算部(114)に送る。続いて加算部(114)により復号化画像を生成して参照画像メモリ(115)に格納する。
　図２は画面間予測部(106)の詳細について、その一例を示したものである。画面間予測部は、既符号化領域の動きベクトルを記憶するための動きベクトル記憶メモリ(201)と、既符号化領域の動きベクトルを利用して予測ベクトルを算出する予測ベクトル算出部(202)と、動きベクトルと予測ベクトルの差を計算して差分ベクトルを算出する減算器(203)と、予測画像を生成する予測画像生成部(204)と、予測ベクトルの選択情報に基づいて最適な可変長符号表を選択する符号表切り替え部(205)を有する。
　予測ベクトル算出部(202)は動きベクトル記憶メモリ(201)に記憶されている既符号化領域の動きベクトルに基づいて対象ブロックの予測ベクトルを算出する。当該予測ベクトルの算出処理は、図７および図８の説明にて既に説明したとおりである。減算器(203)では、動き探索部(104)で算出された動きベクトルと予測ベクトルの差分を計算して差分ベクトル(207)を算出する。また、符号表切り替え部(205)では、最適な可変長符号表を選択してその符号表番号(206)を出力し、可変長符号化部(111)に渡す。予測画像生成部(205)では動きベクトルと参照画像から予測画像(208)を生成する。そして、動きベクトルを動きベクトル記憶メモリ(201)に記憶する。
　図３は本実施例による動画像復号化装置の一例を示したものである。動画像復号化装置は、例えば図１に示す動画像符号化装置によって生成された符号化ストリーム(301)に対して可変長符号化の逆の手順を踏む可変長復号化部(302)と、予測差分を復号化するための逆量子化処理部(303)および逆周波数変換部(304)と、画面間予測を行う画面間予測部(305)と、画面内予測を行う画面内予測部(306)と、復号化画像を取得するための加算部(307)と、復号化画像を一時的に記憶しておくための参照画像メモリ(308)を有する。
　可変長復号化部(302)では、符号化ストリーム(301)を可変長復号化し、予測差分の周波数変換係数成分と、ブロックサイズや動きベクトルなど予測処理に必要な情報を取得する。
　ここで、当該可変長復号化処理においては、可変長復号化部(302)は、後述する画面間予測部(305)の動きベクトル記憶メモリ(401)から、既に復号された周辺ブロックの動きベクトルを取得し、図７～図８に示した候補ベクトルの整列を行う。ここで、各候補ベクトル間の差を算出し、候補ベクトルの分布状況(CASE1～CASE7)を判別する。当該分布状況(CASE1～CASE7)の判別結果に基づいて、図９の可変長符号表を選択する。図９の符号表を用いて、符号化ストリームに含まれる付加ビットが示す選択肢を判別する。当該付加ビットが示す選択肢を用いて、図１２、図１３、図１４に示す可変長符号表を選択する。さらに、当該選択した可変長符号表を用いて差分ベクトルの可変長復号化処理を行う。
　次に、前者の予測差分情報に対しては逆量子化処理部(303)に、後者の予測処理に必要な情報に対しては、画面間予測部(305)、または画面内予測部(306)に送られる。続いて、逆量子化処理部(303)および逆周波数変換部(304)では、予測差分情報に対してそれぞれ逆量子化と逆周波数変換を施して復号化を行う。続いて画面間予測部(305)または画面内予測部(306)では、可変長復号化部(302)から送られてきた情報を基に参照画像メモリ(308)を参照して予測処理を実行し、加算部(307)にて復号化画像を生成するとともに、復号化画像を参照画像メモリ(308)に格納する。
　図４は画面間予測部(305)の詳細について、その一例を示したものである。画面間予測部は、既復号化領域の動きベクトルを記憶するための動きベクトル記憶メモリ(401)と、既復号化領域の動きベクトルを利用して予測ベクトルを算出する予測ベクトル算出部(402)と、差分ベクトルと予測ベクトルの和を計算して動きベクトルを算出する加算器(403)と、予測画像を生成する予測画像生成部(404)を有する。
　予測ベクトル算出部(402)は動きベクトル記憶メモリ(401)に記憶されている既復号化領域の動きベクトルに基づいて対象ブロックの予測ベクトルを算出する。当該予測ベクトルの算出処理は、図７、図８の説明にて既に説明したとおりである。加算部(403)では、可変長復号化部にて復号化された差分ベクトルと予測ベクトルの和を計算して動きベクトルを復号化する。そして、復号化された動きベクトルを動きベクトル記憶メモリ(401)に記憶する一方で、予測画像生成部(404)では動きベクトルと参照画像から予測画像(405)を生成する。
　図１６は、本実施例における1フレームの符号化処理手順について示している。まず、符号化対象となるフレーム内に存在するすべてのブロックに対して(1６01)、以下の処理を行う。すなわち、該当ブロックに対して一度すべての符号化モード(予測方法とブロックサイズの組み合わせ)に対して(1６02)、予測を実行する。ここでは、予測の方法に応じて(1６03)、画面内予測(1６04)、または画面間予測(1６05)を行い、予測差分（差分画像）の計算を行う。さらに、画面間予測を行う際には、予測差分（差分画像）の他に動きベクトルを符号化する。ここでは、図７および図８に示す方法にて計算されたPMV（予測ベクトル）に基づいてDMV（差分ベクトル）を計算する(1606)。続いて、予測差分に対して周波数変換処理(1607)、量子化処理(1608)を行う。さらに図９、図１１、図１２、図１３、図１４に示した可変長符号表およびその切替処理用いた可変長符号化処理(1609)を行い、各符号化モードの画質歪と符号量を計算する。以上の処理をすべての符号化モードに対して終了すれば、以上の結果に基づいて最も符号化効率の良いモードを選択する(1610)。なお、多数の符号化モードの中から最も符号化効率の高いものを選択する際には、例えば画質歪みと符号量の関係から最適な符号化モードを決定するRD-Optimization方式を利用することによって、効率良く符号化できる。RD-Optimization方式の詳細については参考文献２を参照のこと。
  [参考文献２]G. Sullivan and T.Wiegand : “Rate-Distortion Optimization for Video Compression”, IEEE Signal Processing Magazine, vol.15, no.6, pp.74-90, 1998. 
　続いて、選択された符号化モードに対して、量子化済みの周波数変換係数に逆量子化処理(1611)と逆周波数変換処理(1612)を施して予測差分を復号化し、復号化画像を生成して参照画像メモリに格納する(1613)。以上の処理をすべてのブロックに対して完了すれば、画像1フレーム分の符号化は終了する(1614)。
　図１７は、図１６におけるDMV（差分ベクトル）計算処理(1606)の詳細な処理手順について示している。まず、対象ブロックの周辺ブロックにおけるベクトル(候補ベクトル)を整列する(1701)。ここで、本実施例において「整列」とは、複数の候補ベクトルの所定の方向の成分の値のうち、どの候補ベクトルの値が最大値、中央値、最小値となるかを計算し、最大値ベクトル、中央値ベクトル、最小値ベクトルをそれぞれ決定することである。以下に記載される「整列」も同様の意味である。次に、複数の候補ベクトルの所定の方向の成分の値にThre1以上の間隔があるかどうかを調べる(1702)。Thre1以上の間隔がなければ、従来方式と同様に候補ベクトルの中央値によるPMV（予測ベクトル）計算を行う(1703)。一方、Thre1以上の間隔があれば、続いてThre2以上の間隔があるかどうかを調べる(1704)。Thre2以上の間隔がなければ、選択肢となる候補値の中から、差分ベクトルを最小化するものをPMV（予測ベクトル）として選択し(1705)、選択情報を付加ビットとして追加する(1706)。一方、Thre2以上の間隔があれば、候補値の中間値を計算してさらなる予測値の選択肢を生成する(1707)。続いて、選択肢となる候補値の中から、差分ベクトルを最小化するものをPMV（予測ベクトル）として選択し(1705)、選択情報を付加ビットとして追加する(1706)。以上の手続きによりPMV（予測ベクトル）を計算した後、動きベクトルMVとPMV（予測ベクトル）の差分を計算してDMV（差分ベクトル）とし(1710)、PMV（予測ベクトル）の選択状況に応じてDMV（差分ベクトル）の符号表を選択する(1710)。以上の処理が終了すれば、DMV（差分ベクトル）計算が終了する(1711)。なお、上記の処理のうち、予測ベクトルの算出処理は、図７および図８に示す予測ベクトルの算出処理に対応する処理である。
　図１８は、本実施例における１フレームの復号化処理手順について示している。まず、１フレーム内のすべてのブロックに対して、以下の処理を行う(1801)。すなわち、入力ストリームに対して可変長復号化処理を施し、予測差分の周波数変換係数成分や差分ベクトルの復号化を行う(1802)。
　ここで、当該可変長復号化処理においては、既に復号された周辺ブロックの動きベクトルを取得し、図７～図８に示した候補ベクトルの整列を行う。ここで、各候補ベクトル間の差を算出し、候補ベクトルの分布状況(CASE1～CASE7)を判別する。当該分布状況(CASE1～CASE7)の判別結果に基づいて、図９の可変長符号表を選択する。図９の符号表を用いて、符号化ストリームに含まれる付加ビットが示す選択肢を判別する。当該付加ビットが示す選択肢を用いて、図１２、図１３、図１４に示す可変長符号表を選択する。さらに、当該選択した可変長符号表を用いて差分ベクトルの可変長復号化処理を行う。
　次に、可変長復号化処理において取得した予測差分の周波数変換係数成分に対して逆量子化処理(1803)および逆周波数変換処理(1804)を施して予測差分（差分画像）を復号化する。続いて、予測の方法に応じて(1805)、画面内予測処理(1806)および画面間予測処理(1808)を行う。なお、画面間予測を行う際には画面間予測処理より先に動きベクトルMVの復号化を行う。差分ベクトルDMVは先に可変長復号化処理(1802)において復号しておき、ここでは、図７～図８に示す方法にて計算されたPMV（予測ベクトル）と差分ベクトルDMVを加算し、MVを算出する(1807)。算出したMVを用いて面間予測処理(1808)が行われる。以上の処理をフレーム中のすべてのブロックに対して完了すれば、画像１フレーム分の復号化が終了する(1809)。
　図１９は、図１８におけるMV計算(1807)の詳細な処理手順について示している。まず、対象ブロックの周辺ブロックにおけるベクトル(候補ベクトル)を整列し(1901)、それらの値にThre1以上の間隔があるかどうかを調べる(1902)。Thre1以上の間隔がなければ、従来方式と同様に候補ベクトルの中央値によるPMV（予測ベクトル）計算を行う(1903)。一方、Thre1以上の間隔があれば、続いてThre2以上の間隔があるかどうかを調べる(1904)。Thre2以上の間隔がなければ、付加ビットを読み込んでPMV（予測ベクトル）として選択されている値を特定し、PMV（予測ベクトル）を復号する(1905)。一方、Thre2以上の間隔があれば、候補値の中間値を計算してさらなる予測値の選択肢を生成し(1906)、続いて、付加ビットを読み込んでPMV（予測ベクトル）として選択されている値を特定してPMV（予測ベクトル）を復号する (1907)。以上の手続きによりPMV（予測ベクトル）を計算した後、PMV（予測ベクトル）と差分ベクトルDMVの和を計算してMVとし(1908)、MV計算を終了する(1909)。
　本実施例では、予測ベクトルの算出をブロック単位で行っているが、それ以外にも例えば画像の背景から分離したオブジェクト単位で算出しても良い。また、周波数変換の一例としてDCTを挙げているが、DST(Discrete Sine Transformation：離散サイン変換)、WT(Wavelet Transformation：ウェーブレット変換)、DFT(Discrete Fourier Transformation：離散フーリエ変換)、KLT(Karhunen-Loeve Transformation：カルーネン-レーブ変換)など、画素間相関除去に利用する直交変換ならどのようなものでも構わないし、特に周波数変換を施さずに予測差分そのものに対して符号化を行っても構わない。さらに、可変長符号化も特に行わなくて良い。
　なお、実施例１では、対象ロックにおける予測ベクトルの候補値として3種類の周辺ベクトルを利用する例にについて説明したが、特に候補値の数は限定しないものとする。すなわち3種類より多くの周辺ベクトルを候補としても良い。
　以上説明した本発明の実施例１に係る動画像符号化装置、動画像符号化方法、動画像復号化装置および動画像復号化方法によれば、動きベクトルの符号量を減少して圧縮効率を向上した動画像符号化方法および動画像復号化方法を実現することが可能となる。
　次に、本発明の実施例２について説明する。
　実施例１では、予測ベクトルの候補となるベクトルの数を３とした。これに対し、実施例２では、より単純な方法として、その数を２とする。
　実施例２の動画像符号化装置は、図１、図２に示す実施例１の動画像符号化装置において、予測ベクトルPMVの算出方法が異なるのみである。よって、その他の構成、動作の詳細については、既に説明したため、説明を省略する。
　また、実施例２の動画像復号化装置は、図３、図４に示す実施例１の動画像復号化装置において、予測ベクトルPMVの算出方法が異なるのみである。よって、その他の構成、動作の詳細については、既に説明したため、説明を省略する。
　また、実施例２の動画像符号化方法は、図１６に示す実施例１の動画像符号化方法において、差分ベクトルDMVの算出方法が異なるのみである。よって、その他の処理の詳細については、既に説明したため、説明を省略する。
　また、実施例２の動画像復号化方法は、図１８に示す実施例１の動画像復号化方法において、動きベクトルMVの算出方法が異なるのみである。よって、その他の処理の詳細については、既に説明したため、説明を省略する。
　以下、図１５を用いて、実施例２における予測ベクトルPMVの算出方法について説明する。図１５は、本実施例による予測ベクトルPMVの算出方法の一例について概念的に示している。ここでは、予測ベクトルの候補となるベクトルを、対象ブロックの左側、上側にそれぞれ隣接するブロックA、ブロックBの2種類とする。このとき、各ブロックにおける動きベクトルをMVA、MVBとする。ただし、予測ベクトルを算出する際に、例えば対象ブロックの右上に隣接するブロックC(動きベクトルMVC)など、その他のブロックを利用しても良い。
　まず、動きベクトルMVA、MVBのx、y各成分についてそれぞれ比較を行い、その差が閾値Thre1以下であれば、どちらの値が選ばれても差分ベクトルの大きさに大差はないとみなし、H.264/AVC規格と同様にMVA、MVB、MVcの中央値を予測ベクトルPMVとして選択する(1501)。このとき、付加ビットは発生することはない。この場合、特に中央値でなくても、例えば平均値、最大値、最小値など、どのような計算方法でも良いし、例えば対象ブロックの右上に隣接するブロックや、時間的に１つ前のフレーム中の対象ブロックと同じ位置にあるブロックなど、ブロックA、ブロックB、ブロックC以外のブロックにおける動きベクトルを利用しても良い。
　一方、その差がThred1とThred2の間であれば、予測値の選択肢をMVAとMVBの２種類とし、このうち差分ベクトルがより小さくなる方を予測ベクトルPMVとして選択して１ビットの情報を付加する。また、その差がThred2以上であれば、予測値の選択肢をMVA、MVB、(MVA+MVB)/2の３種類とし、これらの中で差分ベクトルが最も小さくなるものを予測ベクトルPMVとして選択して１ビットもしくは２ビットの情報を付加する。
　実施例２の動画像符号化装置および動画像符号化方法では、画面間予測により算出した動きベクトルMVと上記のように算出した予測ベクトルPMVとの差から差分ベクトルDMVを算出して動画像符号化処理を行う。
　実施例２の動画像復号化装置および動画像復号化方法では、算出した予測ベクトルPMVに符号化ストリームから復号した差分ベクトルDMVを加算して動きベクトルMV算出して画面間予測処理を行い動画像復号化処理を行う。
　本実施例では、予測ベクトルの算出をブロック単位で行っているが、それ以外にも例えば画像の背景から分離したオブジェクト単位で算出しても良い。また、周波数変換の一例としてDCTを挙げているが、DST(Discrete Sine Transformation：離散サイン変換)、WT(Wavelet Transformation：ウェーブレット変換)、DFT(Discrete Fourier Transformation：離散フーリエ変換)、KLT(Karhunen-Loeve Transformation：カルーネン-レーブ変換)など、画素間相関除去に利用する直交変換ならどのようなものでも構わないし、特に周波数変換を施さずに予測差分そのものに対して符号化を行っても構わない。さらに、可変長符号化も特に行わなくて良い。
　以上説明した本発明の実施例２に係る動画像符号化装置、動画像符号化方法、動画像復号化装置および動画像復号化方法によれば、実施例１の効果に加えて、より処理を単純化して処理量を低減することが可能となる。
　１０２…入力画像メモリ、１０３…ブロック分割部、１０４…動き探索部、１０５…画面内予測部、１０６…画面間予測部、１０７…モード選択部、１０８…減算部、１０９…周波数変換部、１１０…量子化処理部、１１１…可変長符号化部、１１２…逆量子化処理部、１１３…逆周波数変換部、１１４…加算部、１１５…参照画像メモリ、３０２…可変長復号化部、３０３…逆量子化処理部、３０４…逆周波数変換部、３０５…画面間予測部、３０６…画面内予測部、３０７…加算部、３０８…参照画像メモリ。

Claims (14)

  1. 　予測ベクトル算出ステップと、
    　前記予測ベクトル算出ステップにおいて算出した予測ベクトルと符号化ストリームから復号した差分ベクトルを加算して、動きベクトルを算出する動きベクトル算出ステップと、
    　前記動きベクトル算出ステップにおいて算出した動きベクトルを用いて画面間予測処理を行う画面間予測処理ステップとを備え、
    　前記予測ベクトル算出ステップにおいて、復号化対象ブロックの周辺ブロックであって既に復号化されたブロック群の複数の動きベクトルのうちの所定の動きベクトル間の差の大きさに基づいて前記予測ベクトルの算出方式を切り替えることを特徴とする動画像復号化方法。
  2. 　前記予測ベクトル算出ステップにおいて、復号化対象ブロックの周辺ブロックであって既に復号化されたブロック群の複数の動きベクトルの所定の方向についての複数の成分の値において、最大値と中央値と差の大きさまたは最小値と中央値と差の大きさと所定の閾値との比較結果に基づいて前記予測ベクトルの算出方式を切り替えることを特徴とする請求項１記載の動画像復号化方法。
  3. 　前記予測ベクトル算出ステップにおいて、前記予測ベクトル算出方式は、復号対象ブロックの周辺ブロックであって既に復号化されたブロック群の複数の動きベクトルの所定の方向についての複数の成分の値において、最大値、最小値、または中央値を含む複数の候補値のうち何れかひとつの値を選択し、前記所定の方向についての予測ベクトル成分として算出することを特徴とする請求項１記載の動画像復号化方法。
  4. 　前記予測ベクトル算出ステップにおいて、復号化対象ブロックの周辺ブロックであって既に復号化されたブロック群の複数の動きベクトルの所定の方向についての複数の成分の値のうち、最大値と中央値と差の大きさまたは最小値と中央値と差の大きさと所定の閾値との比較結果に基づいて、前記複数の候補値の数を変更することを特徴とする請求項３記載の動画像復号化方法。
  5. 　前記予測ベクトル算出ステップにおいて、前記最大値と前記中央値と差の大きさまたは前記最小値と前記中央値と差の大きさが所定の閾値よりも大きい場合には、前記複数の候補値に、前記最大値と前記中央値とを変数とする関数値、または前記最小値と前記中央値とを変数とする関数値とを含めることを特徴とする請求項３記載の動画像復号化方法。
  6. 　前記予測ベクトル算出ステップにおいて、前記複数の候補値のうち何れかひとつの値を選択する処理は符号化ストリームに含まれる付加データに基づいて行われることを特徴とする請求項３記載の動画像復号化方法。
  7. 　請求項１記載の動画像復号化方法であって、
    　前記予測ベクトル算出ステップより前に、
    　符号化ストリームに対して可変長復号処理を行う可変長復号化ステップをさらに備え、
    　前記可変長復号化ステップは、
    　既に復号化された複数の周辺ブロックの動きベクトルを取得し、複数の周辺ブロックの動きベクトルの分布と符号化ストリームに含まれる付加データとに基づいて、複数の可変長符号表から一の可変長符号表を選択し、該選択した可変長符号表を用いて差分ベクトルの復号を行うことを特徴とする動画像復号化方法。
  8. 　画面間予測処理を行う画面間予測処理ステップと、
    　予測ベクトルの算出を行う予測ベクトル算出ステップと、
    　前記画面間予測処理ステップにおいて算出した動きベクトルと前記予測ベクトル算出ステップにおいて算出した予測ベクトルとの差分ベクトルを算出する差分ベクトル算出ステップとを備え、
    　前記予測ベクトル算出ステップにおいて、符号化対象ブロックの周辺ブロックであって既に符号化されたブロック群の複数の動きベクトルのうちの所定の動きベクトル間の差の大きさに基づいて前記予測ベクトルの算出方式を切り替えることを特徴とする動画像符号化方法。
  9. 　前記予測ベクトル算出ステップにおいて、符号化対象ブロックの周辺ブロックであって既に符号化されたブロック群の複数の動きベクトルの所定の方向についての複数の成分の値において、最大値と中央値と差の大きさまたは最小値と中央値と差の大きさと所定の閾値との比較結果に基づいて前記予測ベクトルの算出方式を切り替えることを特徴とする請求項８記載の動画像符号化方法。
  10. 　前記予測ベクトル算出ステップにおいて、前記予測ベクトル算出方式は、符号化対象ブロックの周辺ブロックであって既に符号化されたブロック群の複数の動きベクトルの所定の方向についての複数の成分の値において、最大値、最小値、または中央値を含む複数の候補値のうち何れかひとつの値を選択し、前記所定の方向についての予測ベクトル成分として算出することを特徴とする請求項８記載の動画像符号化方法。
  11. 　前記予測ベクトル算出ステップにおいて、符号化対象ブロックの周辺ブロックであって既に符号化されたブロック群の複数の動きベクトルの所定の方向についての複数の成分の値のうち、最大値と中央値と差の大きさまたは最小値と中央値と差の大きさと所定の閾値との比較結果に基づいて、前記複数の候補値の数を変更することを特徴とする請求項１０記載の動画像符号化方法。
  12. 　前記予測ベクトル算出ステップにおいて、前記最大値と前記中央値と差の大きさまたは前記最小値と前記中央値と差の大きさが所定の閾値よりも大きい場合には、前記複数の候補値に、前記最大値と前記中央値とを変数とする関数値、または前記最小値と前記中央値とを変数とする関数値とを含めることを特徴とする請求項１０記載の動画像符号化方法。
  13. 　前記予測ベクトル算出ステップにおいて、前記複数の候補値の選択の結果に応じて、符号化ストリームに含まれ、前記選択結果を示す付加データのビット数を変更することを特徴とする請求項１０記載の動画像符号化方法。
  14. 　請求項８記載の動画像符号化方法であって、
    　さらに前記差分ベクトル算出ステップで算出した差分ベクトルを可変長符号化する可変長符号化ステップとを備え、
    　前記可変長符号化ステップは、前記複数の候補値の選択結果に基づいて、可変長符号化処理に用いる符号表を変更することを特徴とする動画像符号化方法。
PCT/JP2009/002460 2008-09-29 2009-06-02 動画像符号化方法および動画像復号化方法 WO2010035370A1 (ja)

Priority Applications (12)

Application Number Priority Date Filing Date Title
PL18167890T PL3370423T3 (pl) 2008-09-29 2009-06-02 Sposób dekodowania wideo z sygnalizacją wyboru kandydata predykcji wektora ruchu
US13/058,560 US8693546B2 (en) 2008-09-29 2009-06-02 Video encoding method and video decoding method
CN2009801290831A CN102047665B (zh) 2008-09-29 2009-06-02 运动图像编码方法以及运动图像解码方法
EP09815792.8A EP2343902B1 (en) 2008-09-29 2009-06-02 Dynamic image encoding method and dynamic image decoding method
EP18167890.5A EP3370423B8 (en) 2008-09-29 2009-06-02 Video decoding method with motion vector prediction candidate selection signaling
EP21201738.8A EP4024866A1 (en) 2008-09-29 2009-06-02 Video decoding method with motion vector prediction candidate selection signaling
US14/169,301 US9131218B2 (en) 2008-09-29 2014-01-31 Video encoding method and video decoding method
US14/842,020 US9854265B2 (en) 2008-09-29 2015-09-01 Video encoding method and video decoding method
US15/825,900 US10097856B2 (en) 2008-09-29 2017-11-29 Video encoding method and video decoding method
US16/120,680 US10448045B2 (en) 2008-09-29 2018-09-04 Video encoding method and video decoding method
US16/559,901 US11109054B2 (en) 2008-09-29 2019-09-04 Video encoding method and video decoding method
US17/173,231 US11496764B2 (en) 2008-09-29 2021-02-11 Video encoding method and video decoding method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-249515 2008-09-29
JP2008249515A JP5422168B2 (ja) 2008-09-29 2008-09-29 動画像符号化方法および動画像復号化方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/058,560 A-371-Of-International US8693546B2 (en) 2008-09-29 2009-06-02 Video encoding method and video decoding method
US14/169,301 Continuation US9131218B2 (en) 2008-09-29 2014-01-31 Video encoding method and video decoding method

Publications (1)

Publication Number Publication Date
WO2010035370A1 true WO2010035370A1 (ja) 2010-04-01

Family

ID=42059386

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/002460 WO2010035370A1 (ja) 2008-09-29 2009-06-02 動画像符号化方法および動画像復号化方法

Country Status (6)

Country Link
US (7) US8693546B2 (ja)
EP (3) EP2343902B1 (ja)
JP (1) JP5422168B2 (ja)
CN (1) CN102047665B (ja)
PL (1) PL3370423T3 (ja)
WO (1) WO2010035370A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011125625A1 (ja) * 2010-04-06 2011-10-13 ソニー株式会社 画像処理装置および方法
US20130315308A1 (en) * 2011-02-10 2013-11-28 Panasonic Corporation Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and moving picture coding and decoding apparatus
US11889107B2 (en) 2010-04-08 2024-01-30 Kabushiki Kaisha Toshiba Image encoding method and image decoding method

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6523494B2 (ja) * 2010-01-19 2019-06-05 サムスン エレクトロニクス カンパニー リミテッド 縮小された予測動きベクトルの候補に基づいて、動きベクトルを符号化／復号化する方法及び装置
KR101768207B1 (ko) 2010-01-19 2017-08-16 삼성전자주식회사 축소된 예측 움직임 벡터의 후보들에 기초해 움직임 벡터를 부호화, 복호화하는 방법 및 장치
CN103385002A (zh) * 2010-02-17 2013-11-06 韩国电子通信研究院 用于对超高清图像进行编码的装置及其方法、以及解码装置及其方法
WO2011121942A1 (ja) * 2010-03-31 2011-10-06 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、ならびに動画像復号装置、動画像復号方法及び動画像復号プログラム
RU2012140740A (ru) 2010-04-01 2014-05-10 Сони Корпорейшн Устройство и способ обработки изображения
CN105120287B (zh) 2010-04-13 2019-05-17 Ge 视频压缩有限责任公司 解码器、编码器以及用于解码和编码的方法
BR112012026391B1 (pt) 2010-04-13 2020-12-15 Ge Video Compression, Llc Herança em amostra de arranjo em subdivisão multitree
HUE045579T2 (hu) 2010-04-13 2020-01-28 Ge Video Compression Llc Síkközi predikció
CN106162171B (zh) 2010-04-13 2020-09-11 Ge视频压缩有限责任公司 解码器及方法、编码方法
WO2012008040A1 (ja) * 2010-07-15 2012-01-19 株式会社 東芝 画像符号化方法及び画像復号化方法
CN102131069B (zh) * 2010-11-25 2013-01-23 华为技术有限公司 视频呼叫方法、***、终端及移动交换中心
GB2487200A (en) 2011-01-12 2012-07-18 Canon Kk Video encoding and decoding with improved error resilience
JP2012151576A (ja) * 2011-01-18 2012-08-09 Hitachi Ltd 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置
US20120268551A1 (en) * 2011-04-19 2012-10-25 Ben Wu Image Interaction Device, Interactive Image Operating System, and Interactive Image Operating Method thereof
JP2013012905A (ja) * 2011-06-29 2013-01-17 Sony Corp 画像処理装置および方法
TW201626802A (zh) * 2011-09-28 2016-07-16 Jvc Kenwood Corp 動態影像編碼裝置、動態影像編碼方法、動態影像編碼程式、送訊裝置、送訊方法及送訊程式、以及動態影像解碼裝置、動態影像解碼方法、動態影像解碼程式、收訊裝置、收訊方法及收訊程式
CN104488272B (zh) * 2012-07-02 2018-03-16 三星电子株式会社 用于预测用于对视频进行编码或用于对视频进行解码的运动矢量的方法和设备
US10063887B2 (en) * 2013-10-18 2018-08-28 Lg Electronics Inc. Video decoding apparatus and method for decoding multi-view video
JP5750191B2 (ja) * 2014-10-15 2015-07-15 日立マクセル株式会社 画像復号化方法
JP5911982B2 (ja) * 2015-02-12 2016-04-27 日立マクセル株式会社 画像復号化方法
EP3349458A4 (en) * 2015-11-24 2018-10-24 Samsung Electronics Co., Ltd. Encoding sequence encoding method and device thereof, and decoding method and device thereof
KR20170096088A (ko) * 2016-02-15 2017-08-23 삼성전자주식회사 영상처리장치, 영상처리방법 및 이를 기록한 기록매체
JP5951915B2 (ja) * 2016-03-30 2016-07-13 日立マクセル株式会社 画像復号化方法
JP5946980B1 (ja) * 2016-03-30 2016-07-06 日立マクセル株式会社 画像復号化方法
JP6181242B2 (ja) * 2016-06-08 2017-08-16 日立マクセル株式会社 画像復号化方法
US10855986B2 (en) * 2018-05-29 2020-12-01 Qualcomm Incorporated Bandwidth compression for neural network systems
CN111131829B (zh) * 2018-10-31 2021-12-24 联发科技股份有限公司 视频编码装置及方法
US10666985B1 (en) * 2018-11-18 2020-05-26 Sony Corporation Sub-block based entropy coding for image coding
US10841617B2 (en) * 2018-11-27 2020-11-17 Semiconductor Components Industries, Llc Methods and apparatus for successive intra block prediction
CN113170182B (zh) 2018-12-03 2024-01-26 北京字节跳动网络技术有限公司 不同预测模式下的修剪方法
KR20220113533A (ko) * 2019-12-30 2022-08-12 에프쥐 이노베이션 컴퍼니 리미티드 비디오 데이터를 코딩하기 위한 디바이스 및 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05227522A (ja) * 1991-09-20 1993-09-03 Sony Corp 画像符号化装置および画像復号化装置
JPH10224800A (ja) * 1997-02-07 1998-08-21 Matsushita Electric Ind Co Ltd 動きベクトル符号化方法および復号化方法
JPH11112994A (ja) * 1997-09-12 1999-04-23 Lg Semicon Co Ltd Ｍｐｅｇ−４の動きベクトル符号化方法
JPH11122620A (ja) * 1997-09-30 1999-04-30 Daewoo Electron Co Ltd 動きベクトル符号化装置
JP2000138935A (ja) * 1998-10-29 2000-05-16 Fujitsu Ltd 動きベクトル符号化装置および復号装置
JP2006271001A (ja) 2006-06-02 2006-10-05 Fujitsu Ltd 動きベクトル復号装置および復号方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0533195A2 (en) * 1991-09-20 1993-03-24 Sony Corporation Picture signal encoding and/or decoding apparatus
US7206346B2 (en) * 1997-06-25 2007-04-17 Nippon Telegraph And Telephone Corporation Motion vector predictive encoding method, motion vector decoding method, predictive encoding apparatus and decoding apparatus, and storage media storing motion vector predictive encoding and decoding programs
KR100252342B1 (ko) * 1997-08-12 2000-04-15 전주범 움직임 벡터 부호화 방법 및 그 장치
KR100739281B1 (ko) * 2000-02-21 2007-07-12 주식회사 팬택앤큐리텔 움직임 추정 방법 및 장치
US7184399B2 (en) 2001-12-28 2007-02-27 Intel Corporation Method for handling completion packets with a non-successful completion status
EP1467569A4 (en) * 2002-01-18 2007-11-14 Toshiba Kk METHOD AND APPARATUS FOR ENCODING IMAGES IN MOTION, DECODING METHOD AND APPARATUS
CN1265649C (zh) * 2002-01-24 2006-07-19 株式会社日立制作所 运动图像的编码方法、解码方法、编码装置及解码装置
KR100774296B1 (ko) * 2002-07-16 2007-11-08 삼성전자주식회사 움직임 벡터 부호화 방법, 복호화 방법 및 그 장치
US7978769B2 (en) * 2003-06-30 2011-07-12 Ntt Docomo, Inc. Method and apparatus for coding motion information
US8913660B2 (en) * 2005-04-14 2014-12-16 Fastvdo, Llc Device and method for fast block-matching motion estimation in video encoders
JP2007043651A (ja) * 2005-07-05 2007-02-15 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
US8488889B2 (en) * 2005-07-22 2013-07-16 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
JP5025286B2 (ja) * 2007-02-28 2012-09-12 シャープ株式会社 符号化装置及び復号装置
US8908765B2 (en) * 2007-11-15 2014-12-09 General Instrument Corporation Method and apparatus for performing motion estimation
KR101228020B1 (ko) * 2007-12-05 2013-01-30 삼성전자주식회사 사이드 매칭을 이용한 영상의 부호화 방법 및 장치, 그복호화 방법 및 장치
KR101279573B1 (ko) * 2008-10-31 2013-06-27 에스케이텔레콤 주식회사 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
US8462849B2 (en) * 2008-12-23 2013-06-11 General Instrument Corporation Reference picture selection for sub-pixel motion estimation
KR101590511B1 (ko) * 2009-01-23 2016-02-02 에스케이텔레콤 주식회사 움직임 벡터 부호화/복호화 장치 및 방법과 그를 이용한 영상 부호화/복호화 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05227522A (ja) * 1991-09-20 1993-09-03 Sony Corp 画像符号化装置および画像復号化装置
JPH10224800A (ja) * 1997-02-07 1998-08-21 Matsushita Electric Ind Co Ltd 動きベクトル符号化方法および復号化方法
JPH11112994A (ja) * 1997-09-12 1999-04-23 Lg Semicon Co Ltd Ｍｐｅｇ−４の動きベクトル符号化方法
JPH11122620A (ja) * 1997-09-30 1999-04-30 Daewoo Electron Co Ltd 動きベクトル符号化装置
JP2000138935A (ja) * 1998-10-29 2000-05-16 Fujitsu Ltd 動きベクトル符号化装置および復号装置
JP2006271001A (ja) 2006-06-02 2006-10-05 Fujitsu Ltd 動きベクトル復号装置および復号方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
G. SULLIVAN; T. WIEGAND: "Rate-Distortion Optimization for Video Compression", IEEE SIGNAL PROCESSING MAGAZINE, vol. 15, no. 6, 1998, pages 74 - 90, XP011089821, DOI: doi:10.1109/79.733497
See also references of EP2343902A4

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011125625A1 (ja) * 2010-04-06 2011-10-13 ソニー株式会社 画像処理装置および方法
CN102823255A (zh) * 2010-04-06 2012-12-12 索尼公司 图像处理设备和图像处理方法
US11889107B2 (en) 2010-04-08 2024-01-30 Kabushiki Kaisha Toshiba Image encoding method and image decoding method
US9693073B1 (en) 2011-02-10 2017-06-27 Sun Patent Trust Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and moving picture coding and decoding apparatus
US9819960B2 (en) 2011-02-10 2017-11-14 Sun Patent Trust Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and moving picture coding and decoding apparatus
US8948261B2 (en) * 2011-02-10 2015-02-03 Panasonic Intellectual Property Corporation Of America Moving picture coding and decoding method with replacement and temporal motion vectors
US9204146B2 (en) 2011-02-10 2015-12-01 Panasonic Intellectual Property Corporation Of America Moving picture coding and decoding method with replacement and temporal motion vectors
US9432691B2 (en) 2011-02-10 2016-08-30 Sun Patent Trust Moving picture coding and decoding method with replacement and temporal motion vectors
CN103477637B (zh) * 2011-02-10 2017-04-26 太阳专利托管公司 动态图像编码方法、动态图像编码装置
US9641859B2 (en) 2011-02-10 2017-05-02 Sun Patent Trust Moving picture coding and decoding method with replacement and temporal motion vectors
US20130336404A1 (en) * 2011-02-10 2013-12-19 Panasonic Corporation Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and moving picture coding and decoding apparatus
CN107277542A (zh) * 2011-02-10 2017-10-20 太阳专利托管公司 动态图像解码方法、动态图像解码装置
CN103477637A (zh) * 2011-02-10 2013-12-25 松下电器产业株式会社 动态图像编码方法、动态图像编码装置、动态图像解码方法、动态图像解码装置、及动态图像编解码装置
US10194164B2 (en) 2011-02-10 2019-01-29 Sun Patent Trust Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and moving picture coding and decoding apparatus
CN107277542B (zh) * 2011-02-10 2019-12-10 太阳专利托管公司 动态图像解码方法、动态图像解码装置
US10623764B2 (en) 2011-02-10 2020-04-14 Sun Patent Trust Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and moving picture coding and decoding apparatus
US10911771B2 (en) 2011-02-10 2021-02-02 Sun Patent Trust Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and moving picture coding and decoding apparatus
US11418805B2 (en) 2011-02-10 2022-08-16 Sun Patent Trust Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and moving picture coding and decoding apparatus
US11838536B2 (en) 2011-02-10 2023-12-05 Sun Patent Trust Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and moving picture coding and decoding apparatus
US20130315308A1 (en) * 2011-02-10 2013-11-28 Panasonic Corporation Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and moving picture coding and decoding apparatus

Also Published As

Publication number Publication date
EP3370423B1 (en) 2021-11-17
CN102047665A (zh) 2011-05-04
EP3370423A1 (en) 2018-09-05
EP4024866A1 (en) 2022-07-06
EP3370423B8 (en) 2021-12-22
US20110142133A1 (en) 2011-06-16
EP2343902B1 (en) 2018-05-09
US10448045B2 (en) 2019-10-15
US20190391754A1 (en) 2019-12-26
US8693546B2 (en) 2014-04-08
US11109054B2 (en) 2021-08-31
US20180084273A1 (en) 2018-03-22
US11496764B2 (en) 2022-11-08
CN102047665B (zh) 2013-03-27
US9854265B2 (en) 2017-12-26
US9131218B2 (en) 2015-09-08
US20140146888A1 (en) 2014-05-29
JP2010081465A (ja) 2010-04-08
PL3370423T3 (pl) 2022-03-21
EP2343902A1 (en) 2011-07-13
US20180376163A1 (en) 2018-12-27
JP5422168B2 (ja) 2014-02-19
US20150373365A1 (en) 2015-12-24
US20210176487A1 (en) 2021-06-10
US10097856B2 (en) 2018-10-09
EP2343902A4 (en) 2013-08-14

Similar Documents

Publication Publication Date Title
US11109054B2 (en) Video encoding method and video decoding method
JP5081305B2 (ja) フレーム間予測符号化の方法および装置
KR101617740B1 (ko) 이미지들의 시퀀스를 인코딩하기 위한 방법 및 디바이스 및 이미지들의 시퀀스를 디코딩하기 위한 방법 및 디바이스
US9948944B2 (en) Image coding apparatus and image coding method
US20120027092A1 (en) Image processing device, system and method
US9445089B2 (en) Video encoding device, video encoding method and video encoding program
US20090028241A1 (en) Device and method of coding moving image and device and method of decoding moving image
JPWO2015107887A1 (ja) 動きベクトル探索装置、動きベクトル探索方法、及び動きベクトル探索プログラムを記憶する記録媒体
JP5788952B2 (ja) 動画像復号化方法
JP2009049969A (ja) 動画像符号化装置及び方法並びに動画像復号化装置及び方法
JP5887020B1 (ja) 動画像復号化方法
JP5890933B1 (ja) 動画像復号化方法
JP5864022B2 (ja) 動画像復号化方法
JP5864023B2 (ja) 予測ベクトルの算出方法
KR101841352B1 (ko) 참조 프레임 선택 방법 및 그 장치
KR100987581B1 (ko) 고속 움직임 추정을 위한 부분 블록정합 방법
JP2016136741A (ja) 動画像復号化方法
WO2010100860A1 (ja) 動画像符号化方法及び動画像復号化方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980129083.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09815792

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2009815792

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13058560

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE