JP2010103684A - Video encoding method, video decoding method, video encoding apparatus, video decoding apparatus, video encoding program, video decoding program, and recording medium thereof - Google Patents

Video encoding method, video decoding method, video encoding apparatus, video decoding apparatus, video encoding program, video decoding program, and recording medium thereof Download PDF

Info

Publication number
JP2010103684A
JP2010103684A JP2008271975A JP2008271975A JP2010103684A JP 2010103684 A JP2010103684 A JP 2010103684A JP 2008271975 A JP2008271975 A JP 2008271975A JP 2008271975 A JP2008271975 A JP 2008271975A JP 2010103684 A JP2010103684 A JP 2010103684A
Authority
JP
Japan
Prior art keywords
vector
prediction
image
video
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008271975A
Other languages
Japanese (ja)
Other versions
JP4885929B2 (en
Inventor
Ryuichi Tanida
隆一 谷田
Atsushi Shimizu
淳 清水
Takeshi Nakamura
健 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2008271975A priority Critical patent/JP4885929B2/en
Publication of JP2010103684A publication Critical patent/JP2010103684A/en
Application granted granted Critical
Publication of JP4885929B2 publication Critical patent/JP4885929B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To sharply reduce a code amount of motion vector information in video encoding as compared with a conventional technology. <P>SOLUTION: In the encoding of motion vector information, an edge detection part B111 performs edge detection processing for a reference image to generate a first edge image. An edge detection part A113 performs edge detection processing for a decoding image of a predictive residual signal to generate a second edge image. A matching processing part 114 matches the first edge image and the second edge image with each other to calculate a first predictive vector. A predictive vector generation part 117 takes a median of a motion vector of an adjacent block to generate a second predictive vector. A predictive residual vector of a difference between either of the first and second predictive vectors and the motion vector is encoded, and the selection information of the predictive vector is encoded. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は，動き補償予測を用いる映像符号化における動きベクトル情報を効率よく符号化するための技術に関するものである。   The present invention relates to a technique for efficiently encoding motion vector information in video encoding using motion compensated prediction.

映像符号化では，一般に時間方向予測による符号量の削減のため，動き補償予測が用いられている。動き補償予測では，符号化対象ブロックとよく似たブロックを，符号化および復号済みの参照画像から探索し，探索した参照画像の領域から予測信号を生成して，符号化対象ブロックの映像信号との差分を取り，その予測残差を符号化する。また，探索した領域の位置を示す情報を動きベクトルとして符号化する。   In video coding, motion compensation prediction is generally used to reduce the amount of code by temporal direction prediction. In motion-compensated prediction, a block that is very similar to the target block is searched from the encoded and decoded reference images, a prediction signal is generated from the searched reference image area, and the video signal of the target block is encoded. And the prediction residual is encoded. Also, information indicating the position of the searched area is encoded as a motion vector.

動きベクトルの符号化においても，符号量を削減するため，近隣のブロックや参照画像から動きベクトルの予測値である予測ベクトルを求め，実際の動きベクトルと予測ベクトルとの差分である予測残差ベクトルを符号化することが行われている。   Also in motion vector coding, in order to reduce the amount of code, a prediction vector that is a prediction value of a motion vector is obtained from neighboring blocks and reference images, and a prediction residual vector that is a difference between the actual motion vector and the prediction vector Is being encoded.

このような動きベクトル情報の発生符号量を削減する方式として，従来，例えば次のような技術が知られている。   Conventionally, for example, the following techniques are known as methods for reducing the amount of generated code of motion vector information.

〔従来技術１〕
従来技術１は，Ｈ．２６４の映像符号化方式で規格化されている符号化方法であり，算出された動きベクトルを符号化する際の予測ベクトルを，隣接ブロックの動きベクトルのメディアンによって生成する方法である（非特許文献１参照）。 [Prior art 1]
Prior art 1 is disclosed in H.C. This is an encoding method standardized by the H.264 video encoding method, and a method of generating a prediction vector when encoding a calculated motion vector by a median of motion vectors of adjacent blocks (Non-Patent Document). 1).

図７は，従来技術１の映像符号化装置の構成例を示す図である。   FIG. 7 is a diagram illustrating a configuration example of the video encoding device of the prior art 1.

図７に示す映像符号化装置は，符号化した画像の復号画像を記憶する復号画像保存メモリ３０１，動き探索を行う参照画像を記憶する参照画像保存メモリ３０２，符号化対象ブロックについて動き探索を行い予測信号を生成する動き探索部３０３，入力した映像信号と予測信号の差分をとり予測残差信号を求める減算器３０４，予測残差信号を直交変換する直交変換部３０５，直交変換係数を量子化する量子化部３０６，量子化後の直交変換係数および動きベクトルの予測残差ベクトルを符号化する情報源符号化部３０７，量子化後の直交変換係数を逆量子化する逆量子化部３０８，直交変換係数に逆直交変換を施し，予測残差の復号信号を生成する逆直交変換部３０９，予測信号と予測残差の復号信号を加算し，復号画像を生成する加算器３１０，動き探索により求めた動きベクトルを記憶する動きベクトル保存メモリ３１１，隣接ブロックの動きベクトルのメディアンから予測ベクトルを生成する予測ベクトル生成部３１２，動きベクトルと予測ベクトルとの差分から予測残差ベクトルを求める減算器３１３を備える。   The video encoding apparatus shown in FIG. 7 performs a motion search on a decoded image storage memory 301 for storing a decoded image of a coded image, a reference image storage memory 302 for storing a reference image for motion search, and a block to be encoded. A motion search unit 303 that generates a prediction signal, a subtractor 304 that obtains a difference between the input video signal and the prediction signal, obtains a prediction residual signal, an orthogonal transformation unit 305 that orthogonally transforms the prediction residual signal, and quantizes the orthogonal transformation coefficient A quantization unit 306 that performs quantization, an information source coding unit 307 that encodes a quantized orthogonal transform coefficient and a motion vector prediction residual vector, an inverse quantization unit 308 that dequantizes the quantized orthogonal transform coefficient, An inverse orthogonal transform unit 309 that performs inverse orthogonal transform on the orthogonal transform coefficient and generates a decoded signal of the prediction residual, and an adder that adds the prediction signal and the decoded signal of the prediction residual to generate a decoded image 10. A motion vector storage memory 311 for storing a motion vector obtained by motion search, a prediction vector generation unit 312 for generating a prediction vector from a median of motion vectors of adjacent blocks, a prediction residual vector from a difference between the motion vector and the prediction vector Is provided.

図８は，従来技術１による映像符号化処理の全体の流れを示すフローチャートである。なお，この全体の処理の流れは，後述する従来技術２も同様である。   FIG. 8 is a flowchart showing the overall flow of the video encoding process according to the prior art 1. The overall processing flow is the same as in the prior art 2 described later.

映像符号化装置（エンコーダ）では，以下の処理を映像の各フレームに対して繰り返す。まず，前フレームの復号画像を復号画像保存メモリ３０１から参照画像保存メモリ３０２に移す（ステップＳ３０）。次に，符号化対象フレームの各マクロブロックに対して（ステップＳ３１），図９に示す符号化処理（ステップＳ３２）を，全マクロブロック終了まで繰り返す（ステップＳ３３）。   The video encoding device (encoder) repeats the following processing for each frame of video. First, the decoded image of the previous frame is moved from the decoded image storage memory 301 to the reference image storage memory 302 (step S30). Next, for each macroblock of the encoding target frame (step S31), the encoding process (step S32) shown in FIG. 9 is repeated until all macroblocks end (step S33).

図９は，図８に示すステップＳ３２の符号化処理の流れを示すフローチャートである。まず，動き補償を行い，予測残差信号を算出する（ステップＳ３０１）。すなわち，動き探索部３０３で求めた予測信号と入力された映像信号との差分を減算器３０４により算出して，予測残差信号を求める。次に，直交変換部３０５で予測残差信号に直交変換を施し（ステップＳ３０２），続いて，量子化部３０６で直交変換係数を量子化する（ステップＳ３０３）。さらに，逆量子化部３０８で量子化後の直交変換係数に対して逆量子化を施し（ステップＳ３０４），逆直交変換部３０９で逆直交変換を施し，予測残差の復号信号を生成する（ステップＳ３０５）。この復号信号と予測信号を加算器３１０により加算し，復号画像を生成して復号画像保存メモリ３０１に格納する（ステップＳ３０６）。   FIG. 9 is a flowchart showing the flow of the encoding process in step S32 shown in FIG. First, motion compensation is performed and a prediction residual signal is calculated (step S301). That is, the difference between the prediction signal obtained by the motion search unit 303 and the input video signal is calculated by the subtractor 304 to obtain a prediction residual signal. Next, the orthogonal transformation unit 305 performs orthogonal transformation on the prediction residual signal (step S302), and then the quantization unit 306 quantizes the orthogonal transformation coefficient (step S303). Further, the inverse quantization unit 308 performs inverse quantization on the quantized orthogonal transform coefficient (step S304), and the inverse orthogonal transform unit 309 performs inverse orthogonal transform to generate a prediction residual decoded signal (step S304). Step S305). The decoded signal and the prediction signal are added by the adder 310 to generate a decoded image and store it in the decoded image storage memory 301 (step S306).

一方，動きベクトルを動きベクトル保存メモリ３１１に格納する（ステップＳ３０７）。予測ベクトル生成部３１２では，隣接ブロックの動きベクトルのメディアンから予測ベクトルを生成し（ステップＳ３０８），これと動きベクトルとの差分を減算器３１３により算出し，予測残差ベクトルを求める（ステップＳ３０９）。最後に，情報源符号化部３０７で，量子化後の直交変換係数と予測残差ベクトルを可変長符号化し（ステップＳ３１０），符号化ストリームを生成する。   On the other hand, the motion vector is stored in the motion vector storage memory 311 (step S307). The prediction vector generation unit 312 generates a prediction vector from the median of the motion vectors of adjacent blocks (step S308), calculates a difference between this and the motion vector by the subtractor 313, and obtains a prediction residual vector (step S309). . Finally, the information source encoding unit 307 performs variable length encoding on the orthogonal transform coefficient and the prediction residual vector after quantization (step S310), and generates an encoded stream.

図１０は，従来技術１の映像復号装置の構成例を示す図である。   FIG. 10 is a diagram illustrating a configuration example of a video decoding device according to prior art 1.

図１０に示す映像復号装置は，符号化ストリームを復号し，量子化後の直交変換係数と予測残差ベクトルを求める情報源符号化復号部４０１，量子化後の直交変換係数を逆量子化する逆量子化部４０２，直交変換係数に逆直交変換を施し，予測残差の復号信号を生成する逆直交変換部４０３，予測信号と予測残差の復号信号を加算し，復号画像を生成する加算器４０４，復号画像を記憶する復号画像保存メモリ４０５，動き補償に用いる参照画像を記憶する参照画像保存メモリ４０６，予測残差ベクトルに予測ベクトルを加算し，動きベクトルを算出する加算器４０８，動きベクトルを記憶する動きベクトル保存メモリ４０９，隣接ブロックの動きベクトルのメディアンから予測ベクトルを生成する予測ベクトル生成部４１０を備える。   The video decoding apparatus shown in FIG. 10 decodes the encoded stream, demultiplexes the quantized orthogonal transform coefficients and the information source coding / decoding unit 401 for obtaining the prediction residual vector, and dequantizes the quantized orthogonal transform coefficients. Inverse quantization unit 402, inverse orthogonal transform on the orthogonal transform coefficient, inverse orthogonal transform unit 403 that generates a prediction residual decoded signal, and addition that generates a decoded image by adding the prediction signal and the prediction residual decoded signal 404, a decoded image storage memory 405 for storing the decoded image, a reference image storage memory 406 for storing a reference image used for motion compensation, an adder 408 for adding a prediction vector to the prediction residual vector, and calculating a motion vector A motion vector storage memory 409 that stores vectors and a prediction vector generation unit 410 that generates prediction vectors from medians of motion vectors of adjacent blocks are provided.

図１１は，従来技術１による映像復号処理の全体の流れを示すフローチャートである。なお，この全体の処理の流れは，後述する従来技術２も同様である。映像復号装置（デコーダ）では，以下の処理を映像の各フレームに対して繰り返す。   FIG. 11 is a flowchart showing the overall flow of the video decoding process according to the prior art 1. The overall processing flow is the same as in the prior art 2 described later. In the video decoding device (decoder), the following processing is repeated for each frame of the video.

まず，前フレームの復号画像を復号画像保存メモリ４０５から参照画像保存メモリ４０６に移す（ステップＳ４０）。次に，復号対象フレームの各マクロブロックに対して（ステップＳ４１），図１２に示す復号処理（ステップＳ４２）を，全マクロブロック終了まで繰り返す（ステップＳ４３）。   First, the decoded image of the previous frame is moved from the decoded image storage memory 405 to the reference image storage memory 406 (step S40). Next, the decoding process (step S42) shown in FIG. 12 is repeated for each macroblock of the decoding target frame (step S41) until the end of all macroblocks (step S43).

図１２は，図１１に示すステップＳ４２の復号処理の流れを示すフローチャートである。まず，情報源符号化復号部４０１では，符号化ストリームの可変長符号を復号し，量子化後の直交変換係数と予測残差ベクトルを求める（ステップＳ４０１）。続いて，逆量子化部４０２で量子化後の直交変換係数に逆量子化を施し（ステップＳ４０２），逆直交変換部４０３で逆直交変換を施して，予測残差の復号信号を生成する（ステップＳ４０３）。   FIG. 12 is a flowchart showing the flow of the decoding process in step S42 shown in FIG. First, the information source encoding / decoding unit 401 decodes the variable-length code of the encoded stream, and obtains an orthogonal transform coefficient and a prediction residual vector after quantization (step S401). Subsequently, the inverse quantization unit 402 performs inverse quantization on the quantized orthogonal transform coefficient (step S402), and the inverse orthogonal transform unit 403 performs inverse orthogonal transform to generate a decoded signal of the prediction residual ( Step S403).

動きベクトルに関しては，予測ベクトル生成部４１０で隣接ブロックの動きベクトルのメディアンから予測ベクトルを生成し（ステップＳ４０４），それと復号した予測残差ベクトルとの加算を加算器４０８で行い，動きベクトルを求める（ステップＳ４０５）。求めた動きベクトルを動きベクトル保存メモリ４０９に格納する（ステップＳ４０６）。また，動き補償部４０７では，この動きベクトルをもとに参照画像保存メモリ４０６から予測画像を取り出し，加算器４０４で予測残差信号と加算することで復号画像を生成する（ステップＳ４０７）。生成された復号信号（復号画像）を出力するとともに，復号画像保存メモリ４０５に格納する（ステップＳ４０８）。   For the motion vector, the prediction vector generation unit 410 generates a prediction vector from the median of the motion vectors of adjacent blocks (step S404), and adds the decoded prediction residual vector with the adder 408 to obtain the motion vector. (Step S405). The obtained motion vector is stored in the motion vector storage memory 409 (step S406). Further, the motion compensation unit 407 extracts a predicted image from the reference image storage memory 406 based on the motion vector, and adds the predicted residual signal with the adder 404 to generate a decoded image (step S407). The generated decoded signal (decoded image) is output and stored in the decoded image storage memory 405 (step S408).

〔従来技術２〕
従来技術２の方法は，符号化（復号）対象ブロックに隣接するブロックの復号画像と，参照画像とのマッチングにより，符号化（復号）対象ブロックの動きベクトルを求めることで，動きベクトル情報の発生符号量を削減する方法である（非特許文献２参照）。 [Prior art 2]
The method of Prior Art 2 generates motion vector information by obtaining a motion vector of an encoding (decoding) target block by matching a decoded image of a block adjacent to the encoding (decoding) target block and a reference image. This is a method for reducing the amount of codes (see Non-Patent Document 2).

図１３は，従来技術２の映像符号化装置の構成例を示す図である。   FIG. 13 is a diagram illustrating a configuration example of a video encoding device according to the related art 2.

図１３に示す映像符号化装置は，符号化した画像の復号画像を記憶する復号画像保存メモリ５０１，動き探索を行う参照画像を記憶する参照画像保存メモリ５０２，符号化対象ブロックについて動き探索を行い予測信号を生成する動き探索部５０３，入力した映像信号と予測信号の差分をとり予測残差信号を求める減算器５０４，予測残差信号を直交変換する直交変換部５０５，直交変換係数を量子化する量子化部５０６，量子化後の直交変換係数および動きベクトル情報を符号化する情報源符号化部５０７，量子化後の直交変換係数を逆量子化する逆量子化部５０８，直交変換係数に逆直交変換を施し，予測残差の復号信号を生成する逆直交変換部５０９，予測信号と予測残差の復号信号を加算し，復号画像を生成する加算器５１０，隣接ブロックの復号信号と参照画像のマッチングを取る動き探索部５１１，動き探索部５０３で求めた動きベクトルと動き探索部５１１で求めた予測ベクトルの差分から予測残差ベクトルを求める減算器５１２，動き探索部５０３により求めた動きベクトルを記憶する動きベクトル保存メモリ５１３，隣接ブロックの動きベクトルのメディアンから予測ベクトルを生成する予測ベクトル生成部５１４，動きベクトルと予測ベクトルとの差分から予測残差ベクトルを求める減算器５１５，減算器５１２と減算器５１５の出力する予測残差ベクトルの一方を選択する予測ベクトル判定部５１６を備える。   13 is a decoded image storage memory 501 that stores a decoded image of an encoded image, a reference image storage memory 502 that stores a reference image for motion search, and performs a motion search for a block to be encoded. A motion search unit 503 that generates a prediction signal, a subtracter 504 that calculates a difference between the input video signal and the prediction signal and obtains a prediction residual signal, an orthogonal transformation unit 505 that orthogonally transforms the prediction residual signal, and quantizes the orthogonal transformation coefficient A quantization unit 506 that performs quantization, an information source coding unit 507 that encodes the quantized orthogonal transform coefficient and motion vector information, an inverse quantization unit 508 that dequantizes the quantized orthogonal transform coefficient, and an orthogonal transform coefficient An inverse orthogonal transform unit 509 that performs inverse orthogonal transform and generates a decoded signal of the prediction residual, an adder 510 that adds the prediction signal and the decoded signal of the prediction residual, and generates a decoded image, adjacent A motion search unit 511 that matches the decoded decoded signal with the reference image, a subtractor 512 that calculates a prediction residual vector from a difference between the motion vector obtained by the motion search unit 503 and the motion vector obtained by the motion search unit 511. A motion vector storage memory 513 for storing the motion vector obtained by the unit 503, a prediction vector generation unit 514 for generating a prediction vector from a median of motion vectors of adjacent blocks, and a prediction residual vector from the difference between the motion vector and the prediction vector A prediction vector determination unit 516 that selects one of the prediction residual vectors output from the subtracter 515, the subtracter 512, and the subtracter 515 is provided.

従来技術２による映像符号化処理の全体の流れは，図８に示す従来技術１の処理と同様である。従来技術２では，図８に示すステップＳ３２の符号化処理において，図１４に示す処理を実行する。図１４は，従来技術２における図８に示すステップＳ３２の符号化処理の流れを示している。   The overall flow of the video encoding process according to the prior art 2 is the same as that of the prior art 1 shown in FIG. In the prior art 2, the process shown in FIG. 14 is executed in the encoding process in step S32 shown in FIG. FIG. 14 shows the flow of the encoding process in step S32 shown in FIG.

図１４におけるステップＳ５０１からステップＳ５０９までの処理は，図９に示した従来技術１と同様であるので，その説明を省略する。なお，ここで求まった予測残差ベクトルを第１の予測残差ベクトルと呼ぶ。ステップＳ５１０以降では，次の処理を行う。   The processing from step S501 to step S509 in FIG. 14 is the same as that of the prior art 1 shown in FIG. The prediction residual vector obtained here is referred to as a first prediction residual vector. In step S510 and subsequent steps, the following processing is performed.

まず，動き探索部５１１では，隣接ブロックの復号画像と参照画像の間で動き探索を行い，第２の予測ベクトルを求める（ステップＳ５１０）。次に，減算器５１２で動きベクトルと第２の予測ベクトルとの差分を取り，第２の予測残差ベクトルを求める（ステップＳ５１１）。予測ベクトル判定部５１６では，第１の予測残差ベクトルと第２の予測残差ベクトルのうち一方を選択し，選択した方の予測残差ベクトルと，どちらを選択したかを示す選択情報とを，情報源符号化部５０７に送る（ステップＳ５１２）。最後に，情報源符号化部５０７では，量子化後の直交変換係数と選択した予測残差ベクトルの動きベクトル情報を可変長符号化し（ステップＳ５１３），符号化ストリームを生成する。   First, the motion search unit 511 performs a motion search between the decoded image of the adjacent block and the reference image to obtain a second prediction vector (step S510). Next, the subtracter 512 takes the difference between the motion vector and the second prediction vector to obtain a second prediction residual vector (step S511). The prediction vector determination unit 516 selects one of the first prediction residual vector and the second prediction residual vector, selects the selected prediction residual vector, and selection information indicating which one has been selected. , The information is sent to the information source encoding unit 507 (step S512). Finally, the information source encoding unit 507 performs variable length encoding on the quantized orthogonal transform coefficient and the motion vector information of the selected prediction residual vector (step S513), and generates an encoded stream.

図１５は，従来技術２の映像復号装置の構成例を示す図である。   FIG. 15 is a diagram illustrating a configuration example of a video decoding device according to the related art 2.

図１５に示す映像復号装置は，符号化ストリームを復号し，量子化後の直交変換係数と動きベクトル情報を求める情報源符号化復号部６０１，量子化後の直交変換係数を逆量子化する逆量子化部６０２，直交変換係数に逆直交変換を施し，予測残差の復号信号を生成する逆直交変換部６０３，予測信号と予測残差の復号信号を加算し，復号画像を生成する加算器６０４，復号画像を記憶する復号画像保存メモリ６０５，動き補償に用いる参照画像を記憶する参照画像保存メモリ６０６，隣接ブロック復号信号と参照画像とのマッチングによって第２の予測ベクトルを求める動き探索部６０７，動きベクトル情報（予測残差ベクトルと選択情報）から第１または第２の予測ベクトルを用いて動きベクトルを復号する動きベクトル復号部６０８，動きベクトルを記憶する動きベクトル保存メモリ６０９，隣接ブロックの動きベクトルのメディアンから第１の予測ベクトルを生成する予測ベクトル生成部６１０，動きベクトルを用いて動き補償を行う動き補償部６１１を備える。   The video decoding apparatus shown in FIG. 15 decodes an encoded stream and performs inverse quantization on an orthogonal transform coefficient after quantization and an information source coding decoding unit 601 for obtaining motion vector information. Quantization unit 602, an inverse orthogonal transform unit 603 that performs inverse orthogonal transform on the orthogonal transform coefficient and generates a decoded signal of a prediction residual, an adder that generates a decoded image by adding the prediction signal and the decoded signal of the prediction residual 604, a decoded image storage memory 605 for storing the decoded image, a reference image storage memory 606 for storing a reference image used for motion compensation, and a motion search unit 607 for obtaining a second prediction vector by matching the adjacent block decoded signal with the reference image. , A motion vector decoding unit 608 that decodes a motion vector using the first or second prediction vector from the motion vector information (prediction residual vector and selection information), The motion vector storage memory 609, and generates a first prediction vector from the median of the motion vectors of the neighboring block prediction vector generating unit 610 for storing the can vector, a motion compensation unit 611 performs motion compensation using the motion vector.

従来技術２による映像復号処理の全体の流れは，図１１に示す従来技術１の映像復号処理と同様である。従来技術２では，図１１に示すステップＳ４２の復号処理において，図１６に示す処理を実行する。図１６は，従来技術２における図１１に示すステップＳ４２の復号処理の流れを示している。   The overall flow of the video decoding process according to the prior art 2 is the same as the video decoding process according to the prior art 1 shown in FIG. In the related art 2, the process shown in FIG. 16 is executed in the decoding process in step S42 shown in FIG. FIG. 16 shows the flow of the decoding process in step S42 shown in FIG.

図１６におけるステップＳ６０１からＳ６０３までの処理およびステップＳ６０８からＳ６１１までの処理は，図１２に示した従来技術１と同様であるので，その説明を省略する。   The processing from step S601 to S603 and the processing from step S608 to S611 in FIG. 16 are the same as those in the prior art 1 shown in FIG.

従来技術２の復号処理では，情報源符号化復号部６０１で，予測残差の復号信号を生成した後，動きベクトル復号部６０８で，動きベクトル情報を復号し，予測残差ベクトルと選択情報を取り出す（ステップＳ６０４）。さらに，動きベクトル復号部６０８では，選択情報が第２の予測残差ベクトルを示すか第１の予測残差ベクトルを示すかを判定する（ステップＳ６０５）。その結果，第２の予測残差ベクトルを示す場合には，動き探索部６０７で，隣接ブロックの復号画像と参照画像の間で動き探索を行い，予測ベクトルを求める（ステップＳ６０６）。一方，選択情報が第１の予測残差ベクトルを示す場合には，予測ベクトル生成部６１０で隣接ブロックの動きベクトルのメディアンを取り，予測ベクトルを生成する（ステップＳ６０７）。以降は，ステップＳ６０８へ進み，ステップＳ６１１まで従来技術１と同じ復号処理を続ける。
“Draft ITU-T Recommendation and Final draft international standard of joint video specification”, ITU-T Rec. H.264 and ISO/IEC 14496-10 AVC, 2003. 鈴木芳典，ブンチュンセン，“Block-Based Inter Frame Coding with Automatic Decision of Prediction Parameters utilizing Reconstructed Data（復号信号を用いた予測パラメータ決定処理を伴うフレーム間予測符号化）”，PCSJ2007, P-2.08 (2007). In the decoding process of Prior Art 2, after the information source encoding / decoding unit 601 generates a decoded signal of the prediction residual, the motion vector decoding unit 608 decodes the motion vector information, and the prediction residual vector and the selection information are obtained. Take out (step S604). Furthermore, the motion vector decoding unit 608 determines whether the selection information indicates the second prediction residual vector or the first prediction residual vector (step S605). As a result, when the second prediction residual vector is indicated, the motion search unit 607 performs a motion search between the decoded image of the adjacent block and the reference image to obtain a prediction vector (step S606). On the other hand, if the selection information indicates the first prediction residual vector, the prediction vector generation unit 610 takes the median of the motion vector of the adjacent block and generates a prediction vector (step S607). Thereafter, the process proceeds to step S608, and the same decoding process as in the prior art 1 is continued until step S611.
“Draft ITU-T Recommendation and Final draft international standard of joint video specification”, ITU-T Rec. H.264 and ISO / IEC 14496-10 AVC, 2003. Yoshinori Suzuki, Buntchunsen, “Block-Based Inter Frame Coding with Automatic Decision of Prediction Parameters utilizing Reconstructed Data”, PCSJ2007, P-2.08 (2007).

従来技術では，動きベクトルを符号化するための予測ベクトルを上側か左側に隣接する領域の動き補償結果をもとに作成するため，それらと動きが似ている領域にしか適用できないという問題がある。   In the prior art, a prediction vector for encoding a motion vector is created based on the motion compensation result of the region adjacent to the upper side or the left side, so that it can be applied only to regions similar to those motions. .

本発明は，動きが交差しているような領域にも適用可能な新しい予測ベクトルの生成方法を追加することにより，動きベクトル情報の符号量を従来技術よりも大幅に削減できるようにすることを目的としている。   The present invention provides a new prediction vector generation method that can be applied even to regions where motions intersect, thereby enabling the amount of code of motion vector information to be greatly reduced as compared with the prior art. It is aimed.

動き補償予測を用いる映像符号化では，動き探索により求めた予測信号と入力された映像信号との差分を取り，予測残差信号を生成する。この予測残差信号の復号画像には，動いている被写体の輪郭部分が現れる傾向が非常に大きい。本発明は，この点に着目して上記課題の解決を図っている。   In video coding using motion compensated prediction, a difference between a prediction signal obtained by motion search and an input video signal is taken to generate a prediction residual signal. In the decoded image of the prediction residual signal, there is a great tendency that the contour portion of the moving subject appears. The present invention focuses on this point to solve the above problems.

すなわち，本発明は，動きベクトル情報の符号化にあって予測残差ベクトルを算出するための予測ベクトルを，参照画像から求めたエッジ画像と，符号化対象ブロックの予測残差信号の復号画像から求めたエッジ画像とのマッチングによって算出する。このマッチングとは，復号画像から求めたエッジ画像が，参照画像から求めたエッジ画像の中で最も合致する座標を探索する操作となる。探索方法としては，通常の動き探索と同様に，差分電力が最小となる点を探索する方法や，２次元の相関値を計算し，最も相関性が大きくなる点を求める方法などが例として挙げられる。   That is, according to the present invention, a prediction vector for calculating a prediction residual vector in encoding motion vector information is obtained from an edge image obtained from a reference image and a decoded image of a prediction residual signal of an encoding target block. Calculation is performed by matching with the obtained edge image. This matching is an operation for searching for a coordinate where the edge image obtained from the decoded image most closely matches the edge image obtained from the reference image. Examples of search methods include a method for searching for a point where the differential power is minimized, a method for calculating a two-dimensional correlation value, and a method for obtaining a point having the highest correlation, as in a normal motion search. It is done.

このようにして算出した予測ベクトルと，従来技術と同様に隣接ブロックの動きベクトルのメディアンから求めた予測ベクトルの一方を選択し，実際の動きベクトルとの差分を予測残差ベクトルとして符号化する。また，予測ベクトルの選択情報を符号化することを特徴とする。   One of the prediction vector calculated in this way and the prediction vector obtained from the median of the motion vectors of adjacent blocks as in the prior art is selected, and the difference from the actual motion vector is encoded as a prediction residual vector. Also, the prediction vector selection information is encoded.

本発明は，エンコーダ側において以下の処理を行う。
（１）参照画像についてエッジ検出処理を行い，エッジ画像を生成する。
（２）動き補償を行い，予測残差の復号画像を求める。
（３）隣接ブロックの動きベクトルのメディアンから第１の予測ベクトルを算出する。
（４）予測残差信号の復号画像に対して，エッジ検出処理を施す。
（５）上記（１）で求めたエッジ画像と，上記（４）で求めたエッジ画像のマッチングを取り，第２の予測ベクトルを求める。
（６）第１の予測ベクトルと第２の予測ベクトルの一方を選択する。
（７）選択した予測ベクトルと動きベクトルとの差分の予測残差ベクトルを算出する。
（８）算出した予測残差ベクトルと予測ベクトルの選択情報を符号化する。 In the present invention, the following processing is performed on the encoder side.
(1) An edge detection process is performed on the reference image to generate an edge image.
(2) Perform motion compensation and obtain a decoded image of the prediction residual.
(3) A first prediction vector is calculated from a median of motion vectors of adjacent blocks.
(4) An edge detection process is performed on the decoded image of the prediction residual signal.
(5) The edge image obtained in (1) above is matched with the edge image obtained in (4) to obtain a second prediction vector.
(6) Select one of the first prediction vector and the second prediction vector.
(7) A prediction residual vector of the difference between the selected prediction vector and the motion vector is calculated.
(8) The calculated prediction residual vector and prediction vector selection information are encoded.

なお，上記（３）および（５）の処理で，それぞれ動きベクトルとの差分から第１の予測残差ベクトルと第２の予測残差ベクトルとを算出しておき，上記（６）において，第１の予測残差ベクトルおよび第２の予測残差ベクトルの一方を選択してもよく，第１または第２の予測ベクトルを選択してから予測残差ベクトルを求めることと，技術的思想としては実質的に同じである。   In the processes (3) and (5), the first prediction residual vector and the second prediction residual vector are calculated from the difference from the motion vector, respectively. One of the one prediction residual vector and the second prediction residual vector may be selected, and after obtaining the prediction residual vector after selecting the first or second prediction vector, It is substantially the same.

デコーダ側では，以下の処理を行う。
（１）参照画像についてエッジ検出処理を行い，第１のエッジ画像を生成する。
（２）予測残差を復号し，予測残差画像を生成する。
（３）動きベクトル情報を復号し，予測残差ベクトルと選択情報を取り出す。
（４）選択情報が第１の予測ベクトルを示していれば，隣接ブロックの動きベクトルのメディアンから予測ベクトルを求める。
（５）選択情報が第２の予測ベクトルを示していれば，次の処理を行う。
（５−１）予測残差画像にエッジ検出処理を施し，第２のエッジ画像を生成する。
（５−２）第１のエッジ画像と第２のエッジ画像とのマッチングを取り，マッチング位置により予測ベクトルを求める。
（６）予測ベクトルと予測残差ベクトルとを加算して動きベクトルを算出し，その動きベクトルを用いた動き補償により復号画像を生成する。 On the decoder side, the following processing is performed.
(1) An edge detection process is performed on the reference image to generate a first edge image.
(2) The prediction residual is decoded and a prediction residual image is generated.
(3) The motion vector information is decoded, and a prediction residual vector and selection information are extracted.
(4) If the selection information indicates the first prediction vector, the prediction vector is obtained from the median of the motion vectors of adjacent blocks.
(5) If the selection information indicates the second prediction vector, the following processing is performed.
(5-1) An edge detection process is performed on the prediction residual image to generate a second edge image.
(5-2) The first edge image and the second edge image are matched, and a prediction vector is obtained from the matching position.
(6) A motion vector is calculated by adding the prediction vector and the prediction residual vector, and a decoded image is generated by motion compensation using the motion vector.

本発明と従来技術との差異は，以下のとおりである。本発明では，参照画像と予測残差復号画像というデコーダで得られる２種類の画像のマッチングから動きベクトルを求める。これらは，片方は普通の画像，もう片方は残差画像のため，普通にマッチングを取ることはできない。そこで，両者にエッジ検出処理を施し，エッジ画像とすることでうまくマッチングを取る。このマッチングによって予測ベクトルを生成するのに加えて，従来技術１と同様に，隣接ブロックの動きベクトルのメディアンによっても予測ベクトルを生成する。この両方の予測ベクトルのうち符号化効率のよい可能性が大きいほうを選択して，動きベクトルとの差分を算出し，予測残差ベクトルを求め，予測残差ベクトルと予測ベクトルの選択情報とを符号化する。   The differences between the present invention and the prior art are as follows. In the present invention, a motion vector is obtained from matching of two types of images obtained by a decoder called a reference image and a prediction residual decoded image. Since one of them is an ordinary image and the other is a residual image, it cannot be matched normally. Therefore, the edge detection processing is performed on both, and matching is achieved by using the edge image. In addition to generating a prediction vector by this matching, a prediction vector is also generated by a median of motion vectors of adjacent blocks as in the conventional technique 1. Of these prediction vectors, the one with the highest possibility of good coding efficiency is selected, the difference from the motion vector is calculated, the prediction residual vector is obtained, and the prediction residual vector and the prediction vector selection information are obtained. Encode.

２つの予測ベクトルのどちらを選択するかの選択方法については，例えば次のような方法がある。
・ベクトル符号量が少ないほうを選択する。
・ベクトル符号量が少ない可能性が高いほうを選択する。例えば，予測残差ベクトルのマンハッタン距離（｜Ｘ｜＋｜Ｙ｜）の小さいほうを選択する。 For example, there are the following methods for selecting which of the two prediction vectors to select.
・ Select the one with less vector code.
-Select the one with the high possibility that the vector code amount is small. For example, the smaller one of the Manhattan distance (| X | + | Y |) of the prediction residual vector is selected.

従来技術２の方法では，隣接ブロックの復号画像と参照画像とのマッチングによって予測ベクトルを求める。この方法では両者とも普通の画像であるため，マッチングが取れる。その反面，あくまで隣接ブロックのマッチングとなることから，動きが微妙に異なる領域にはうまく適用できない。   In the method of the prior art 2, a prediction vector is obtained by matching a decoded image of a neighboring block with a reference image. In this method, since both are normal images, matching can be taken. On the other hand, since it is a matching of adjacent blocks to the last, it cannot be applied well to areas with slightly different movements.

本発明によれば，動きが交差しているような領域の場合に，隣接ブロックの情報を使わないで，デコーダ側で動きベクトルの復号ができるため，動きベクトルの符号化情報を大幅に削減することができるようになる。特に，本発明では，従来の隣接ブロックの動きベクトルのメディアンから求める予測ベクトルと，エッジ画像のマッチングに着目した予測ベクトルとを切り替えて用いることができるため，予測ベクトルの候補が一つしかない場合よりも符号化効率が向上する可能性が高い。   According to the present invention, in the case of an area where the motions intersect, since the motion vector can be decoded on the decoder side without using the adjacent block information, the motion vector coding information is greatly reduced. Will be able to. In particular, in the present invention, the prediction vector obtained from the median of the motion vectors of the adjacent block in the past and the prediction vector focused on edge image matching can be switched and used, so that there is only one prediction vector candidate. There is a high possibility that the encoding efficiency is improved.

以下，図面を用いながら本発明の実施例について詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図１は，本発明の実施例に係る映像符号化装置の構成例を示す図である。図中，点線で囲った部分が，主に従来技術と異なる本発明に特有な部分である。   FIG. 1 is a diagram illustrating a configuration example of a video encoding device according to an embodiment of the present invention. In the figure, a portion surrounded by a dotted line is a portion peculiar to the present invention which is mainly different from the prior art.

図１に示す映像符号化装置は，符号化した画像の復号画像を記憶する復号画像保存メモリ１０１，動き探索を行う参照画像を記憶する参照画像保存メモリ１０２，符号化対象ブロックについて動き探索を行い予測信号を生成する動き探索部１０３，入力した映像信号と予測信号の差分をとり予測残差信号を求める減算器１０４，予測残差信号を直交変換する直交変換部１０５，直交変換係数を量子化する量子化部１０６，量子化後の直交変換係数および動きベクトルの予測残差ベクトルを符号化する情報源符号化部１０７，量子化後の直交変換係数を逆量子化する逆量子化部１０８，直交変換係数に逆直交変換を施し，予測残差の復号信号を生成する逆直交変換部１０９，予測信号と予測残差の復号信号を加算し，復号画像を生成する加算器１１０，参照画像についてエッジ検出処理を行い，第１のエッジ画像を生成するエッジ検出部Ｂ１１１，第１のエッジ画像を記憶するエッジ画像保存メモリ１１２，予測残差の復号信号についてエッジ検出処理を行い，第２のエッジ画像を生成するエッジ検出部Ａ１１３，第１のエッジ画像と第２のエッジ画像のマッチングを取り，マッチングが取れた位置をもとに予測ベクトルを求めるマッチング処理部１１４，動きベクトルと予測ベクトルとの差分を取る減算器１１５，動き探索結果の動きベクトルを記憶する動きベクトル保存メモリ１１６，隣接ブロックの動きベクトルのメディアンから予測ベクトルを生成する予測ベクトル生成部１１７，動きベクトルと予測ベクトルとの差分を取る減算器１１８，減算器１１５と減算器１１８の出力する予測残差ベクトルの一方を選択する予測ベクトル判定部１１９を備える。   The video encoding apparatus shown in FIG. 1 performs a motion search on a decoded image storage memory 101 that stores a decoded image of an encoded image, a reference image storage memory 102 that stores a reference image for motion search, and an encoding target block. A motion search unit 103 that generates a prediction signal, a subtractor 104 that calculates a difference between the input video signal and the prediction signal, and obtains a prediction residual signal, an orthogonal transformation unit 105 that orthogonally transforms the prediction residual signal, and an orthogonal transformation coefficient is quantized A quantization unit 106 that performs quantization, an information source encoding unit 107 that encodes a quantized orthogonal transform coefficient and a motion vector prediction residual vector, an inverse quantization unit 108 that inversely quantizes the quantized orthogonal transform coefficient, An inverse orthogonal transform unit 109 that performs inverse orthogonal transform on the orthogonal transform coefficient and generates a decoded signal of the prediction residual, and an adder that adds the prediction signal and the decoded signal of the prediction residual to generate a decoded image 10. Edge detection processing for the reference image, edge detection unit B111 for generating the first edge image, edge image storage memory 112 for storing the first edge image, and edge detection processing for the prediction residual decoding signal , An edge detection unit A113 that generates a second edge image, a matching unit 114 that performs matching between the first edge image and the second edge image, and obtains a prediction vector based on the matching position, a motion vector A subtractor 115 that takes the difference between the motion vector and the prediction vector, a motion vector storage memory 116 that stores the motion vector of the motion search result, a prediction vector generation unit 117 that generates a prediction vector from the median of the motion vectors of adjacent blocks, a motion vector and a prediction The subtractor 118 that takes the difference from the vector, the output of the subtractor 115 and the subtractor 118 Comprising a prediction vector determination unit 119 for selecting one of the prediction residual vector.

図２は，本発明の実施例による映像符号化処理の全体の流れを示すフローチャートである。映像符号化装置（エンコーダ）では，以下の処理を映像の各フレームに対して繰り返す。まず，前フレームの復号画像を復号画像保存メモリ１０１から参照画像保存メモリ１０２に移す（ステップＳ１０）。次に，エッジ検出部Ｂ１１１において，参照画像にエッジ検出処理を施し，第１のエッジ画像を生成してエッジ画像保存メモリ１１２に格納する（ステップＳ１１）。その後，符号化対象フレームの各マクロブロックに対して（ステップＳ１２），図３に示す符号化処理（ステップＳ１３）を，全マクロブロック終了まで繰り返す（ステップＳ１４）。   FIG. 2 is a flowchart showing the overall flow of the video encoding process according to the embodiment of the present invention. The video encoding device (encoder) repeats the following processing for each frame of video. First, the decoded image of the previous frame is moved from the decoded image storage memory 101 to the reference image storage memory 102 (step S10). Next, the edge detection unit B111 performs edge detection processing on the reference image, generates a first edge image, and stores it in the edge image storage memory 112 (step S11). Thereafter, for each macroblock of the encoding target frame (step S12), the encoding process (step S13) shown in FIG. 3 is repeated until all macroblocks are completed (step S14).

図３は，図２に示すステップＳ１３の符号化処理の流れを示すフローチャートである。まず，動き補償を行い，予測残差信号を算出する（ステップＳ１０１）。すなわち，動き探索部１０３で求めた予測信号と入力された映像信号との差分を減算器１０４により算出して，予測残差信号を求める。次に，直交変換部１０５で予測残差信号に直交変換を施し（ステップＳ１０２），続いて，量子化部１０６で直交変換係数を量子化する（ステップＳ１０３）。さらに，逆量子化部１０８で量子化後の直交変換係数に対して逆量子化を施し（ステップＳ１０４），逆直交変換部１０９で逆直交変換を施し，予測残差の復号信号を生成する（ステップＳ１０５）。この復号信号と予測信号を加算器１１０により加算し，復号画像を生成して復号画像保存メモリ１０１に格納する（ステップＳ１０６）。   FIG. 3 is a flowchart showing the flow of the encoding process in step S13 shown in FIG. First, motion compensation is performed and a prediction residual signal is calculated (step S101). That is, the difference between the prediction signal obtained by the motion search unit 103 and the input video signal is calculated by the subtracter 104 to obtain a prediction residual signal. Next, the orthogonal transformation unit 105 performs orthogonal transformation on the prediction residual signal (step S102), and then the quantization unit 106 quantizes the orthogonal transformation coefficient (step S103). Further, the inverse quantization unit 108 performs inverse quantization on the quantized orthogonal transform coefficient (step S104), and the inverse orthogonal transform unit 109 performs inverse orthogonal transform to generate a prediction residual decoded signal (step S104). Step S105). The decoded signal and the prediction signal are added by the adder 110 to generate a decoded image and store it in the decoded image storage memory 101 (step S106).

一方，動きベクトルを動きベクトル保存メモリ１１６に格納する（ステップＳ１０７）。予測ベクトル生成部１１７では，隣接ブロックの動きベクトルのメディアンから第１の予測ベクトルを生成し（ステップＳ１０８），これと動きベクトルとの差分を減算器１１５により算出し，第１の予測残差ベクトルを求める（ステップＳ１０９）。   On the other hand, the motion vector is stored in the motion vector storage memory 116 (step S107). The prediction vector generation unit 117 generates a first prediction vector from the median of the motion vectors of adjacent blocks (step S108), calculates the difference between this and the motion vector by the subtractor 115, and the first prediction residual vector Is obtained (step S109).

また，エッジ検出部Ａ１１３において予測残差の復号信号にエッジ検出処理を施し，第２のエッジ画像を生成する（ステップＳ１１０）。次に，マッチング処理部１１４で第１のエッジ画像と第２のエッジ画像の間でマッチング処理を行い，マッチング位置から第２の予測ベクトルを求める（ステップＳ１１１）。求めた第２の予測ベクトルと動きベクトルとの差分を減算器１１５により算出し，第２の予測残差ベクトルを求める（ステップＳ１１２）。   In addition, the edge detection unit A113 performs edge detection processing on the prediction residual decoded signal to generate a second edge image (step S110). Next, the matching processing unit 114 performs a matching process between the first edge image and the second edge image, and obtains a second prediction vector from the matching position (step S111). The difference between the obtained second prediction vector and motion vector is calculated by the subtractor 115 to obtain a second prediction residual vector (step S112).

次に，予測ベクトル判定部１１９では，第１の予測残差ベクトルと第２の予測残差ベクトルの一方を選択し，選択したほうの残差ベクトルと，選択情報を情報源符号化部１０７に送る（ステップＳ１１３）。最後に，情報源符号化部１０７で量子化後の直交変換係数と動きベクトル情報を可変長符号化し（ステップＳ１１４），符号化ストリームを生成する。なお，この例では，予測ベクトル判定部１１９において，予測残差ベクトルを選択しているが，予測ベクトルを選択して，選択した予測ベクトルと動きベクトルとの差分から予測残差ベクトルを生成してもよいことは言うまでもない。   Next, the prediction vector determination unit 119 selects one of the first prediction residual vector and the second prediction residual vector, and sends the selected residual vector and selection information to the information source encoding unit 107. Send (step S113). Finally, the information source encoding unit 107 performs variable length encoding on the orthogonal transform coefficient and motion vector information after quantization (step S114) to generate an encoded stream. In this example, the prediction vector determination unit 119 selects a prediction residual vector, but selects a prediction vector and generates a prediction residual vector from the difference between the selected prediction vector and the motion vector. Needless to say.

以上の実施例において，エッジ検出処理が，エッジ検出部Ａ１１３とエッジ検出部Ｂ１１１の２つに分けて行われている。これは，一方のエッジ検出部Ａ１１３が残差画像，他方のエッジ検出部Ｂ１１１が普通の画像のエッジ検出処理を行うため，それぞれ異なる処理を施すケースが考えられるためである。これらが行うエッジ検出処理としては，例えばＳｏｂｅｌフィルタの適用，絶対値算出処理，強調処理，テンプレート画像作成などが挙げられ，また，これらのいくつかを組み合わせて実施することもできる。   In the above embodiment, the edge detection processing is performed in two parts, the edge detection unit A113 and the edge detection unit B111. This is because one edge detection unit A113 performs edge detection processing of a residual image, and the other edge detection unit B111 performs normal image edge detection processing, so that different cases can be considered. Examples of the edge detection processing performed by these include application of a Sobel filter, absolute value calculation processing, enhancement processing, template image creation, and the like, and some of these can be combined.

例えば，参照画像には，下記のＳｏｂｅｌ（４方向）フィルタを全画素に適用し，その結果の絶対値を取ったものをエッジ画像とする方法が考えられる。   For example, for the reference image, a method of applying the following Sobel (4-direction) filter to all pixels and taking an absolute value of the result as an edge image can be considered.

〔Ｓｏｂｅｌフィルタの例〕 ０ −１ −２
１ ０ −１
２ １ ０
一方，残差画像は，全画素の絶対値を取ったものをエッジ画像とする方法や，絶対値を取った後に，定数を掛ける方法が考えられる。 [Example of Sobel filter] 0 -1 -2
1 0 -1
2 1 0
On the other hand, as the residual image, there are a method in which an absolute value of all pixels is taken as an edge image, and a method in which an absolute value is taken and then a constant is multiplied.

また，マッチング処理部１１４は，エッジ画像同士の差分絶対値和（ＳＡＤ）や二乗誤差（ＳＳＤ）の最小点を探索する処理以外に，正規化相関マッチングやテンプレートマッチングで対応点を求める方法も考えられる。   Further, the matching processing unit 114 may consider a method of obtaining corresponding points by normalized correlation matching or template matching in addition to the process of searching for the minimum sum of absolute difference (SAD) or square error (SSD) between edge images. It is done.

エッジ検出とマッチング処理に際し，フレーム毎またはマクロブロック毎に処理パラメータを変化させたほうがいい場合がある。処理パラメータとしては，例えばエッジ画像の生成では，どのようなエッジ検出を行うか，エッジ画像をそれぞれ定数倍するかしないか，エッジ強度をある閾値を境に２値化するかしないか，などの選択情報が考えられる。また，マッチング処理では，どのようなマッチング処理を行うかなどの選択情報が考えられる。この場合，映像符号化装置で使用したパラメータも，前記予測ベクトルの選択情報に含めて，または前記選択情報とは別に，情報源符号化部１０７で可変長符号化し，符号化ストリームに加える。後述する映像復号装置では，このパラメータも復号し，エッジ検出およびマッチング処理で利用することで，映像符号化装置と同じ探索結果が得られる。   In edge detection and matching processing, it may be better to change processing parameters for each frame or macroblock. As processing parameters, for example, in edge image generation, what kind of edge detection is performed, whether each edge image is multiplied by a constant, whether edge intensity is binarized with a certain threshold as a boundary, etc. Selection information is conceivable. In the matching process, selection information such as what kind of matching process is performed can be considered. In this case, the parameters used in the video encoding device are also included in the prediction vector selection information or separately from the selection information, and are variable length encoded by the information source encoding unit 107 and added to the encoded stream. In the video decoding device to be described later, this parameter is also decoded and used in edge detection and matching processing, whereby the same search result as that of the video encoding device can be obtained.

図４は，本発明の実施例に係る映像復号装置の構成例を示す図である。図中，点線で囲った部分が，主に従来技術と異なる本発明に特有な部分である。   FIG. 4 is a diagram illustrating a configuration example of a video decoding apparatus according to an embodiment of the present invention. In the figure, a portion surrounded by a dotted line is a portion peculiar to the present invention which is mainly different from the prior art.

図４に示す映像復号装置は，符号化ストリームを復号し，量子化後の直交変換係数と予測残差ベクトルを求める情報源符号化復号部２０１，量子化後の直交変換係数を逆量子化する逆量子化部２０２，直交変換係数に逆直交変換を施し，予測残差の復号信号を生成する逆直交変換部２０３，予測信号と予測残差の復号信号を加算し，復号画像を生成する加算器２０４，復号画像を記憶する復号画像保存メモリ２０５，動き補償に用いる参照画像を記憶する参照画像保存メモリ２０６，参照画像についてエッジ検出処理を行い，第１のエッジ画像を生成するエッジ検出部Ｂ２０７，第１のエッジ画像を記憶するエッジ画像保存メモリ２０８，予測残差の復号信号についてエッジ検出処理を行い，第２のエッジ画像を生成するエッジ検出部Ａ２０９，第１のエッジ画像と第２のエッジ画像のマッチングを取り，マッチングが取れた位置をもとに第２の予測ベクトルを求めるマッチング処理部２１０，動きベクトルを記憶する動きベクトル保存メモリ２１１，隣接ブロックの動きベクトルのメディアンから第１の予測ベクトルを生成する予測ベクトル生成部２１２，動きベクトル情報（予測残差ベクトルと選択情報）から第１または第２の予測ベクトルを用いて動きベクトルを復号する動きベクトル復号部２１３，動きベクトルから動き補償により参照信号を抽出する動き補償部２１４を備える。   The video decoding apparatus shown in FIG. 4 decodes an encoded stream, and an information source encoding / decoding unit 201 that obtains a quantized orthogonal transform coefficient and a prediction residual vector, and inverse-quantizes the quantized orthogonal transform coefficient. Inverse quantization unit 202, inverse orthogonal transformation is performed on the orthogonal transformation coefficient, and inverse orthogonal transformation unit 203 that generates a decoded signal of the prediction residual, addition that adds the prediction signal and the decoded signal of the prediction residual, and generates a decoded image 204, a decoded image storage memory 205 for storing a decoded image, a reference image storage memory 206 for storing a reference image used for motion compensation, and an edge detection unit B207 that performs edge detection processing on the reference image and generates a first edge image , An edge image storage memory 208 that stores the first edge image, an edge detection unit A20 that performs edge detection processing on the prediction residual decoded signal and generates a second edge image , Matching processing unit 210 for matching the first edge image and the second edge image and obtaining the second prediction vector based on the matching position, motion vector storage memory 211 for storing the motion vector, adjacent A prediction vector generation unit 212 that generates a first prediction vector from the median of the motion vector of the block, and decodes the motion vector using the first or second prediction vector from the motion vector information (prediction residual vector and selection information). The motion vector decoding unit 213 includes a motion compensation unit 214 that extracts a reference signal from the motion vector by motion compensation.

図５は，本発明の実施例による映像復号処理の全体の流れを示すフローチャートである。デコーダでは，以下の処理を映像の各フレームに対して繰り返す。まず，前フレームの復号画像を復号画像保存メモリ２０５から参照画像保存メモリ２０６に移す（ステップＳ２０）。次に，エッジ検出部Ｂ２０７において参照画像にエッジ検出処理を施し，第１のエッジ画像を生成してエッジ画像保存メモリ２０８に格納する（ステップＳ２１）。その後，復号対象フレームの各マクロブロックに対して（ステップＳ２２），図６に示す復号処理（ステップＳ２３）を，全マクロブロック終了まで繰り返す（ステップＳ２４）。   FIG. 5 is a flowchart showing the overall flow of the video decoding process according to the embodiment of the present invention. The decoder repeats the following process for each frame of the video. First, the decoded image of the previous frame is moved from the decoded image storage memory 205 to the reference image storage memory 206 (step S20). Next, the edge detection unit B207 performs edge detection processing on the reference image, generates a first edge image, and stores it in the edge image storage memory 208 (step S21). Thereafter, the decoding process (step S23) shown in FIG. 6 is repeated for each macroblock of the decoding target frame (step S22) until the end of all macroblocks (step S24).

図６は，図５に示すステップＳ２３の復号処理の流れを示すフローチャートである。まず，情報源符号化復号部２０１では，符号化ストリームの可変長符号を復号し，量子化後の直交変換係数を求める。また，動きベクトル情報を取り出し，動きベクトル復号部２１３に渡す（ステップＳ２０１）。続いて，逆量子化部２０２で量子化後の直交変換係数に逆量子化を施し（ステップＳ２０２），逆直交変換部２０３で逆直交変換を施して，予測残差の復号信号を生成する（ステップＳ２０３）。   FIG. 6 is a flowchart showing the flow of the decoding process in step S23 shown in FIG. First, the information source encoding / decoding unit 201 decodes the variable-length code of the encoded stream and obtains an orthogonal transform coefficient after quantization. Also, the motion vector information is extracted and passed to the motion vector decoding unit 213 (step S201). Subsequently, the inverse quantization unit 202 performs inverse quantization on the quantized orthogonal transform coefficient (step S202), and the inverse orthogonal transform unit 203 performs inverse orthogonal transform to generate a decoded signal of a prediction residual ( Step S203).

動きベクトルに関しては，以下の処理を行う。まず，動きベクトル復号部２１３で，動きベクトル情報を復号し，予測残差ベクトルと選択情報を取り出す（ステップＳ２０４）。さらに，動きベクトル復号部２１３では，選択情報が第２の予測残差ベクトルを示すか第１の予測残差ベクトルを示すかを判定する（ステップＳ２０５）。   The following processing is performed for motion vectors. First, the motion vector decoding unit 213 decodes motion vector information, and extracts a prediction residual vector and selection information (step S204). Further, the motion vector decoding unit 213 determines whether the selection information indicates the second prediction residual vector or the first prediction residual vector (step S205).

その結果，選択情報が第２の予測残差ベクトルを示す場合には，まず，エッジ検出部Ａ２０９で予測残差の復号信号にエッジ検出処理を施し，第２のエッジ画像を生成する（ステップＳ２０６）。そして，マッチング処理部２１０にて，エッジ画像保存メモリ２０８に記憶している第１のエッジ画像と，第２のエッジ画像との間でマッチング処理を行い，マッチング位置から第１の予測ベクトルを求める（ステップＳ２０７）。   As a result, when the selection information indicates the second prediction residual vector, first, the edge detection unit A209 performs edge detection processing on the decoded signal of the prediction residual to generate a second edge image (step S206). ). Then, the matching processing unit 210 performs matching processing between the first edge image stored in the edge image storage memory 208 and the second edge image, and obtains a first prediction vector from the matching position. (Step S207).

一方，選択情報が第１の予測残差ベクトルを示す場合には，予測ベクトル生成部２１２で，動きベクトル保存メモリ２１１に格納されている隣接ブロックの動きベクトルのメディアンを取り，予測ベクトルを生成する（ステップＳ２０８）。   On the other hand, when the selection information indicates the first prediction residual vector, the prediction vector generation unit 212 takes the median of the motion vectors of adjacent blocks stored in the motion vector storage memory 211 to generate a prediction vector. (Step S208).

動きベクトル復号部２１３では，選択情報に従って，第１の予測ベクトルまたは第２の予測ベクトルの一方を選択し，この予測ベクトルと復号した予測残差ベクトルとの加算を行い，動きベクトルを求める（ステップＳ２０９）。求めた動きベクトルを動きベクトル保存メモリ２１１に格納する（ステップＳ２１０）。動き補償部２１４では，この動きベクトルをもとに参照画像保存メモリ２０６から予測画像の参照信号を取り出し，加算器２０４で予測残差信号と加算することで復号画像を生成する（ステップＳ２１１）。生成された復号信号（復号画像）を出力するとともに，復号画像保存メモリ２０５に格納する（ステップＳ２１２）。   The motion vector decoding unit 213 selects one of the first prediction vector and the second prediction vector according to the selection information, adds the prediction vector and the decoded prediction residual vector, and obtains the motion vector (step S209). The obtained motion vector is stored in the motion vector storage memory 211 (step S210). Based on this motion vector, the motion compensation unit 214 takes out a reference signal of the predicted image from the reference image storage memory 206 and adds it to the predicted residual signal by the adder 204 to generate a decoded image (step S211). The generated decoded signal (decoded image) is output and stored in the decoded image storage memory 205 (step S212).

上記処理において，入力符号化データにエッジ画像の生成方法またはエッジ画像のマッチング方法を指定する処理パラメータが含まれる場合，ステップＳ２０６またはステップＳ２０７を，処理パラメータで指定された方法によって実行する。   In the above processing, when the input encoded data includes a processing parameter for specifying an edge image generation method or an edge image matching method, step S206 or step S207 is executed by the method specified by the processing parameter.

本発明による効果を確認するため，予測ベクトルを隣接ブロックの動きベクトルのメディアンによって生成するＨ．２６４標準の方式（以下，ＪＭという）の従来方法によるベクトル符号量と，本発明で提案した方法によるベクトル符号量との比較実験を行った。実験に用いた映像は，７２０×４８０画素，４５０フレームの“Ｃｈａｒａｃｔｅｒ ｐａｔｔｅｒｎ”である。結果を図１７に示す。   In order to confirm the effect of the present invention, the prediction vector is generated by a median of motion vectors of adjacent blocks. A comparison experiment was performed between the vector code amount by the conventional method of the H.264 standard method (hereinafter referred to as JM) and the vector code amount by the method proposed in the present invention. The image used in the experiment is “Character pattern” of 720 × 480 pixels and 450 frames. The results are shown in FIG.

それぞれの量子化パラメータ（ＱＰ）に応じた１フレーム当たりのベクトル符号量（ビット数）は，次のとおりであった。
（１）ＱＰ＝１２のとき（単位は，bits/frame。以下，同様）
１９９７（ＪＭの符号量），１５１７（本発明の提案方法による符号量）
（２）ＱＰ＝１８のとき
１７６５（ＪＭの符号量），１２９８（本発明の提案方法による符号量）
（３）ＱＰ＝２４のとき
１６８４（ＪＭの符号量），１２５９（本発明の提案方法による符号量）
（４）ＱＰ＝３０のとき
１６４４（ＪＭの符号量），１３７９（本発明の提案方法による符号量）
これにより，ベクトル符号量に有意な差があり，本発明を用いることによってベクトル符号量を削減することができることが確認できた。 The amount of vector codes (number of bits) per frame corresponding to each quantization parameter (QP) was as follows.
(1) When QP = 12 (unit: bits / frame; hereinafter the same)
1997 (JM code amount), 1517 (code amount according to the proposed method of the present invention)
(2) When QP = 18 1765 (JM code amount), 1298 (code amount according to the proposed method of the present invention)
(3) When QP = 24 1684 (JM code amount), 1259 (code amount according to the proposed method of the present invention)
(4) When QP = 30 1644 (JM code amount), 1379 (code amount according to the proposed method of the present invention)
Thereby, there was a significant difference in the vector code amount, and it was confirmed that the vector code amount can be reduced by using the present invention.

以上の映像の符号化および復号の処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。   The above video encoding and decoding processes can be realized by a computer and a software program, and the program can be recorded on a computer-readable recording medium or provided through a network.

本発明の実施例に係る映像符号化装置の構成例を示す図である。It is a figure which shows the structural example of the video coding apparatus which concerns on the Example of this invention. 本発明の実施例による映像符号化処理の全体の流れを示すフローチャートである。It is a flowchart which shows the whole flow of the video encoding process by the Example of this invention. 符号化処理（図２のＳ１３）の流れを示すフローチャートである。It is a flowchart which shows the flow of an encoding process (S13 of FIG. 2). 本発明の実施例に係る映像復号装置の構成例を示す図である。It is a figure which shows the structural example of the video decoding apparatus which concerns on the Example of this invention. 本発明の実施例による映像復号処理の全体の流れを示すフローチャートである。It is a flowchart which shows the whole flow of the video decoding process by the Example of this invention. 復号処理（図５のＳ２３）の流れを示すフローチャートである。It is a flowchart which shows the flow of a decoding process (S23 of FIG. 5). 従来技術１の映像符号化装置の構成例を示す図である。It is a figure which shows the structural example of the video coding apparatus of the prior art 1. FIG. 従来技術１および従来技術２による映像符号化処理の全体の流れを示すフローチャートである。10 is a flowchart showing an overall flow of video encoding processing according to Conventional Technology 1 and Conventional Technology 2. 従来技術１の符号化処理（図８のＳ３２）の流れを示すフローチャートである。10 is a flowchart showing a flow of encoding processing (S32 in FIG. 8) of Conventional Technology 1. 従来技術１の映像復号装置の構成例を示す図である。It is a figure which shows the structural example of the video decoding apparatus of the prior art 1. FIG. 従来技術１および従来技術２による映像復号処理の全体の流れを示すフローチャートである。12 is a flowchart showing an overall flow of video decoding processing according to Conventional Technology 1 and Conventional Technology 2. 従来技術１の復号処理（図１１のＳ４２）の流れを示すフローチャートである。12 is a flowchart showing a flow of a decoding process (S42 in FIG. 11) of Conventional Technology 1. 従来技術２の映像符号化装置の構成例を示す図である。It is a figure which shows the structural example of the video encoding apparatus of the prior art 2. FIG. 従来技術２の符号化処理（図８のＳ３２）の流れを示すフローチャートである。It is a flowchart which shows the flow of the encoding process (S32 of FIG. 8) of the prior art 2. 従来技術２の映像復号装置の構成例を示す図である。It is a figure which shows the structural example of the video decoding apparatus of the prior art 2. FIG. 従来技術２の復号処理（図１１のＳ４２）の流れを示すフローチャートである。12 is a flowchart showing a flow of a decoding process (S42 in FIG. 11) of Conventional Technology 2. 従来方法と本発明による方法のベクトル符号量の比較を示す図である。It is a figure which shows the comparison of the vector code amount of the conventional method and the method by this invention.

符号の説明Explanation of symbols

１０１ 復号画像保存メモリ
１０２ 参照画像保存メモリ
１０３ 動き探索部
１０４ 減算器
１０５ 直交変換部
１０６ 量子化部
１０７ 情報源符号化部
１０８ 逆量子化部
１０９ 逆直交変換部
１１０ 加算器
１１１ エッジ検出部Ｂ
１１２ エッジ画像保存メモリ
１１３ エッジ検出部Ａ
１１４ マッチング処理部
１１５ 減算器
１１６ 動きベクトル保存メモリ
１１７ 予測ベクトル生成部
１１８ 減算器
１１９ 予測ベクトル判定部
２０１ 情報源符号化復号部
２０２ 逆量子化部
２０３ 逆直交変換部
２０４ 加算器
２０５ 復号画像保存メモリ
２０６ 参照画像保存メモリ
２０７ エッジ検出部Ｂ
２０８ エッジ画像保存メモリ
２０９ エッジ検出部Ａ
２１０ マッチング処理部
２１１ 動きベクトル保存メモリ
２１２ 予測ベクトル生成部
２１３ 動きベクトル復号部
２１４ 動き補償部 DESCRIPTION OF SYMBOLS 101 Decoded image storage memory 102 Reference image storage memory 103 Motion search part 104 Subtractor 105 Orthogonal transformation part 106 Quantization part 107 Information source encoding part 108 Inverse quantization part 109 Inverse orthogonal transformation part 110 Adder 111 Edge detection part B
112 Edge image storage memory 113 Edge detection unit A
DESCRIPTION OF SYMBOLS 114 Matching process part 115 Subtractor 116 Motion vector preservation | save memory 117 Prediction vector production | generation part 118 Subtractor 119 Prediction vector determination part 201 Information source encoding decoding part 202 Inverse quantization part 203 Inverse orthogonal transformation part 204 Adder 205 Decoded image preservation | save memory 206 Reference image storage memory 207 Edge detection unit B
208 Edge image storage memory 209 Edge detection unit A
210 Matching processing unit 211 Motion vector storage memory 212 Predicted vector generation unit 213 Motion vector decoding unit 214 Motion compensation unit

Claims (10)

動き補償予測を用いて映像信号を符号化する映像符号化方法において，
動き補償で用いる参照画像についてエッジ検出処理を行い，第１のエッジ画像を生成する過程と，
入力映像信号の符号化対象領域に対して前記参照画像を参照して動き補償を行い，予測残差信号を算出する過程と，
前記予測残差信号の復号画像を算出する過程と，
前記符号化対象領域に隣接する領域の動きベクトルのメディアンを取り，第１の予測ベクトルを生成する過程と，
前記予測残差信号の復号画像に対してエッジ検出処理を施し，第２のエッジ画像を生成する過程と，
前記第１のエッジ画像と前記第２のエッジ画像のマッチングを取り，第２の予測ベクトルを算出する過程と，
前記第１の予測ベクトルと前記第２の予測ベクトルの一方を選択する過程と，
選択された予測ベクトルと前記動き補償で求めた動きベクトルとの差分の予測残差ベクトルと，前記第１の予測ベクトルと前記第２の予測ベクトルのどちらを選択したかを示す選択情報とを符号化する過程とを有する
ことを特徴とする映像符号化方法。 In a video encoding method for encoding a video signal using motion compensated prediction,
A process of performing edge detection processing on a reference image used in motion compensation and generating a first edge image;
A process of calculating a prediction residual signal by performing motion compensation on the encoding target area of the input video signal with reference to the reference image;
Calculating a decoded image of the prediction residual signal;
Taking a median of a motion vector of an area adjacent to the encoding target area and generating a first prediction vector;
Performing edge detection processing on the decoded image of the prediction residual signal to generate a second edge image;
Matching the first edge image and the second edge image and calculating a second prediction vector;
Selecting one of the first prediction vector and the second prediction vector;
A prediction residual vector of a difference between the selected prediction vector and the motion vector obtained by the motion compensation, and selection information indicating which of the first prediction vector and the second prediction vector is selected are encoded A video encoding method comprising the steps of: 請求項１に記載の映像符号化方法において，
前記第１のエッジ画像もしくは前記第２のエッジ画像を生成する過程，または前記第１のエッジ画像と前記第２のエッジ画像のマッチングを取る過程では，エッジ画像の生成方法またはエッジ画像のマッチング方法を指定する処理パラメータを，フレーム毎または符号化対象領域毎に変化させ，
前記符号化する過程では，前記処理パラメータを，前記選択情報とは別にまたは前記選択情報に含めて符号化する
ことを特徴とする映像符号化方法。 The video encoding method according to claim 1, wherein
In the process of generating the first edge image or the second edge image, or in the process of matching the first edge image and the second edge image, an edge image generation method or an edge image matching method Change the processing parameter to specify for each frame or encoding target area,
In the encoding process, the processing parameter is encoded separately from or included in the selection information. 動き補償予測を用いて映像信号を復号する映像復号方法において，
動き補償で用いる参照画像についてエッジ検出処理を行い，第１のエッジ画像を生成する過程と，
入力符号化データに含まれる予測残差信号を復号する過程と，
入力符号化データに含まれる動きベクトル情報を復号し，予測残差ベクトルと予測ベクトルの選択情報を取り出す過程と，
前記選択情報が第１の予測ベクトルを示すときに，復号対象領域に隣接する領域の動きベクトルのメディアンを取り，第１の予測ベクトルを生成する過程と，
前記選択情報が第２の予測ベクトルを示すときに，前記予測残差信号の復号によって得られた予測残差画像にエッジ検出処理を施し，第２のエッジ画像を生成し，前記第１のエッジ画像と前記第２のエッジ画像とのマッチング処理により第２の予測ベクトルを算出する過程と，
前記選択情報に応じて算出された予測ベクトルに前記予測残差ベクトルを加算し，動きベクトルを算出する過程と，
前記動きベクトルを用いた動き補償により得られた参照信号に前記予測残差信号を加算して復号画像を生成する過程とを有する
ことを特徴とする映像復号方法。 In a video decoding method for decoding a video signal using motion compensated prediction,
A process of performing edge detection processing on a reference image used in motion compensation and generating a first edge image;
Decoding the prediction residual signal included in the input encoded data;
A process of decoding motion vector information included in input encoded data and extracting prediction residual vector and prediction vector selection information;
When the selection information indicates the first prediction vector, taking the median of the motion vector of the region adjacent to the region to be decoded and generating the first prediction vector;
When the selection information indicates a second prediction vector, the prediction residual image obtained by decoding the prediction residual signal is subjected to edge detection processing to generate a second edge image, and the first edge Calculating a second prediction vector by matching the image with the second edge image;
Adding the prediction residual vector to the prediction vector calculated according to the selection information to calculate a motion vector;
And a step of generating a decoded image by adding the prediction residual signal to a reference signal obtained by motion compensation using the motion vector. 請求項３に記載の映像復号方法において，
さらに，前記選択情報とは別にまたは前記選択情報として，エッジ画像の生成方法またはエッジ画像のマッチング方法を指定する処理パラメータを復号する過程を有し，
前記第１のエッジ画像もしくは前記第２のエッジ画像を生成する過程，または前記第１のエッジ画像と前記第２のエッジ画像のマッチングを取り，予測ベクトルを算出する過程では，フレーム毎または復号対象領域毎に前記復号した処理パラメータに従ってエッジ画像の生成またはエッジ画像のマッチング処理を行う
ことを特徴とする映像復号方法。 The video decoding method according to claim 3,
In addition to the selection information or as the selection information, there is a step of decoding a processing parameter that specifies an edge image generation method or an edge image matching method,
In the process of generating the first edge image or the second edge image, or the process of taking the matching between the first edge image and the second edge image and calculating the prediction vector, each frame or decoding target A video decoding method, wherein edge image generation or edge image matching processing is performed for each region according to the decoded processing parameter. 動き補償予測を用いて映像信号を符号化する映像符号化装置において，
動き補償で用いる参照画像についてエッジ検出処理を行い，第１のエッジ画像を生成する手段と，
入力映像信号の符号化対象領域に対して前記参照画像を参照して動き補償を行い，予測残差信号を算出する手段と，
前記予測残差信号の復号画像を算出する手段と，
前記符号化対象領域に隣接する領域の動きベクトルのメディアンを取り，第１の予測ベクトルを生成する手段と，
前記予測残差信号の復号画像に対してエッジ検出処理を施し，第２のエッジ画像を生成する手段と，
前記第１のエッジ画像と前記第２のエッジ画像のマッチングを取り，第２の予測ベクトルを算出する手段と，
前記第１の予測ベクトルと前記第２の予測ベクトルの一方を選択する手段と，
選択された予測ベクトルと前記動き補償で求めた動きベクトルとの差分の予測残差ベクトルと，前記第１の予測ベクトルと前記第２の予測ベクトルのどちらを選択したかを示す選択情報とを符号化する手段とを備える
ことを特徴とする映像符号化装置。 In a video encoding device that encodes a video signal using motion compensated prediction,
Means for performing edge detection processing on a reference image used in motion compensation and generating a first edge image;
Means for performing motion compensation with reference to the reference image with respect to an encoding target region of an input video signal and calculating a prediction residual signal;
Means for calculating a decoded image of the prediction residual signal;
Means for taking a median of a motion vector of an area adjacent to the encoding target area and generating a first prediction vector;
Means for performing edge detection processing on a decoded image of the prediction residual signal and generating a second edge image;
Means for matching the first edge image and the second edge image and calculating a second prediction vector;
Means for selecting one of the first prediction vector and the second prediction vector;
A prediction residual vector of a difference between the selected prediction vector and the motion vector obtained by the motion compensation, and selection information indicating which of the first prediction vector and the second prediction vector is selected are encoded And a video encoding device. 動き補償予測を用いて映像信号を復号する映像復号装置において，
動き補償で用いる参照画像についてエッジ検出処理を行い，第１のエッジ画像を生成する手段と，
入力符号化データに含まれる予測残差信号を復号する手段と，
入力符号化データに含まれる動きベクトル情報を復号し，予測残差ベクトルと予測ベクトルの選択情報を取り出す手段と，
前記選択情報が第１の予測ベクトルを示すときに，復号対象領域に隣接する領域の動きベクトルのメディアンを取り，第１の予測ベクトルを生成する手段と，
前記選択情報が第２の予測ベクトルを示すときに，前記予測残差信号の復号によって得られた予測残差画像にエッジ検出処理を施し，第２のエッジ画像を生成し，前記第１のエッジ画像と前記第２のエッジ画像とのマッチング処理により第２の予測ベクトルを算出する手段と，
前記選択情報に応じて算出された予測ベクトルに前記予測残差ベクトルを加算し，動きベクトルを算出する手段と，
前記動きベクトルを用いた動き補償により得られた参照信号に前記予測残差信号を加算して復号画像を生成する手段とを備える
ことを特徴とする映像復号装置。 In a video decoding device that decodes a video signal using motion compensated prediction,
Means for performing edge detection processing on a reference image used in motion compensation and generating a first edge image;
Means for decoding a prediction residual signal included in the input encoded data;
Means for decoding motion vector information included in input encoded data and extracting prediction residual vector and prediction vector selection information;
Means for taking a median of a motion vector of an area adjacent to a decoding target area and generating a first prediction vector when the selection information indicates a first prediction vector;
When the selection information indicates a second prediction vector, the prediction residual image obtained by decoding the prediction residual signal is subjected to edge detection processing to generate a second edge image, and the first edge Means for calculating a second prediction vector by a matching process between an image and the second edge image;
Means for calculating a motion vector by adding the prediction residual vector to a prediction vector calculated according to the selection information;
A video decoding apparatus comprising: means for adding the prediction residual signal to a reference signal obtained by motion compensation using the motion vector to generate a decoded image. 請求項１または請求項２に記載の映像符号化方法を，コンピュータに実行させるための映像符号化プログラム。   A video encoding program for causing a computer to execute the video encoding method according to claim 1 or 2. 請求項３または請求項４に記載の映像復号方法を，コンピュータに実行させるための映像復号プログラム。   A video decoding program for causing a computer to execute the video decoding method according to claim 3. 請求項１または請求項２に記載の映像符号化方法を，コンピュータに実行させるための映像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。   A computer-readable recording medium on which a video encoding program for causing a computer to execute the video encoding method according to claim 1 or 2 is recorded. 請求項３または請求項４に記載の映像復号方法を，コンピュータに実行させるための映像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。   A computer-readable recording medium on which a video decoding program for causing a computer to execute the video decoding method according to claim 3 or 4 is recorded.
JP2008271975A 2008-10-22 2008-10-22 Video encoding method, video decoding method, video encoding device, video decoding device, video encoding program, video decoding program, and recording medium thereof Expired - Fee Related JP4885929B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008271975A JP4885929B2 (en) 2008-10-22 2008-10-22 Video encoding method, video decoding method, video encoding device, video decoding device, video encoding program, video decoding program, and recording medium thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008271975A JP4885929B2 (en) 2008-10-22 2008-10-22 Video encoding method, video decoding method, video encoding device, video decoding device, video encoding program, video decoding program, and recording medium thereof

Publications (2)

Publication Number Publication Date
JP2010103684A true JP2010103684A (en) 2010-05-06
JP4885929B2 JP4885929B2 (en) 2012-02-29

Family

ID=42293934

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008271975A Expired - Fee Related JP4885929B2 (en) 2008-10-22 2008-10-22 Video encoding method, video decoding method, video encoding device, video decoding device, video encoding program, video decoding program, and recording medium thereof

Country Status (1)

Country Link
JP (1) JP4885929B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010103683A (en) * 2008-10-22 2010-05-06 Nippon Telegr & Teleph Corp <Ntt> Video encoding method, video decoding method, video encoding apparatus, video decoding apparatus, video encoding program, video decoding program, and recording medium thereof

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07298271A (en) * 1994-04-28 1995-11-10 Matsushita Electric Ind Co Ltd Method and device for detecting motion vector in motion image coding
JPH08331568A (en) * 1995-06-05 1996-12-13 Nippon Telegr & Teleph Corp <Ntt> Method and device for dynamic image coding and decoding
JP2006025033A (en) * 2004-07-06 2006-01-26 Sony Corp Device and method for image processing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07298271A (en) * 1994-04-28 1995-11-10 Matsushita Electric Ind Co Ltd Method and device for detecting motion vector in motion image coding
JPH08331568A (en) * 1995-06-05 1996-12-13 Nippon Telegr & Teleph Corp <Ntt> Method and device for dynamic image coding and decoding
JP2006025033A (en) * 2004-07-06 2006-01-26 Sony Corp Device and method for image processing

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010103683A (en) * 2008-10-22 2010-05-06 Nippon Telegr & Teleph Corp <Ntt> Video encoding method, video decoding method, video encoding apparatus, video decoding apparatus, video encoding program, video decoding program, and recording medium thereof

Also Published As

Publication number Publication date
JP4885929B2 (en) 2012-02-29

Similar Documents

Publication Publication Date Title
RU2639662C1 (en) Image prediction encoding device, image prediction encoding method, image prediction encoding programme, image prediction decoding device, image prediction decoding method, image prediction decoding programme
JP6559309B2 (en) Image predictive decoding method
JP7171770B2 (en) Memory access windowing and padding for motion vector refinement and motion compensation
KR102527169B1 (en) Limited memory access window for motion vector refinement
EP3139607B1 (en) Template matching-based intra-prediction coding and decoding
JP5306485B2 (en) Motion vector predictive coding method, motion vector predictive decoding method, moving picture coding apparatus, moving picture decoding apparatus, and programs thereof
TWI738236B (en) Methods and apparatuses of video processing for bi-directional prediction with motion refinement in video coding systems
JP2010016453A (en) Image encoding apparatus and method, image decoding apparatus and method, and program
JP2005318497A (en) Image encoding apparatus, image encoding method, image encoding program, image decoding apparatus, image decoding method, and image decoding program
KR20140048320A (en) Dynamic image encoding method, decoding method, device thereof, program thereof, and storage medium containing the program
JP5367097B2 (en) Motion vector predictive coding method, motion vector predictive decoding method, moving picture coding apparatus, moving picture decoding apparatus, and programs thereof
US9088797B2 (en) Video processing method and apparatus with residue prediction
KR100856392B1 (en) Video Encoding and Decoding Apparatus and Method referencing Reconstructed Blocks of a Current Frame
KR20130126698A (en) Video encoding device, video encoding method and video encoding program
JP2010193401A (en) Image encoding method and apparatus
JP4885929B2 (en) Video encoding method, video decoding method, video encoding device, video decoding device, video encoding program, video decoding program, and recording medium thereof
JP4878047B2 (en) Video encoding method, video decoding method, video encoding device, video decoding device, video encoding program, video decoding program, and recording medium thereof
JP2009212667A (en) Moving image encoding apparatus and decoding apparatus
US11528485B2 (en) Encoding apparatus and program
JP2007228101A (en) Dynamic-image coding equipment
JP7499069B2 (en) Image encoding device, image decoding device, and programs thereof
JP2012054618A (en) Moving image encoding apparatus and encoding method, and moving image decoding apparatus and decoding method
JP2009017107A (en) Video encoder and video encoding method
KR20150113715A (en) Method and device for creating moving information using depth information, method and device for creating merge candidates using the same

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100331

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111206

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111208

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141216

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4885929

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees