JPH07212762A - Hierarchical motion vector detection method - Google Patents
Hierarchical motion vector detection methodInfo
- Publication number
- JPH07212762A JPH07212762A JP416694A JP416694A JPH07212762A JP H07212762 A JPH07212762 A JP H07212762A JP 416694 A JP416694 A JP 416694A JP 416694 A JP416694 A JP 416694A JP H07212762 A JPH07212762 A JP H07212762A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- frame
- image
- reduced
- reduced image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
【0001】[0001]
【産業上の利用分野】本発明は、動画像の高能率符号化
方式に係わり、特に、ハイブリッド符号化方式における
動き保証フレ−ム間予測に適用される動ベクトル検出方
法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a high-efficiency coding system for moving pictures, and more particularly to a motion vector detection method applied to motion-guaranteed interframe prediction in a hybrid coding system.
【0002】[0002]
【従来の技術】動画像符号化において、動き保証フレ−
ム間予測は高い符号化効率を補償することが知られてい
る。2. Description of the Related Art In motion picture coding, a motion guarantee frame is used.
Inter-frame prediction is known to compensate for high coding efficiency.
【0003】図3は、離散コサイン変換などの直行変換
と組み合わせたハイブリッド符号化方式の基本ブロック
構成を示す図である。FIG. 3 is a diagram showing a basic block configuration of a hybrid coding system combined with orthogonal transform such as discrete cosine transform.
【0004】図3において、動き検出器308が、入力
画像信号301およびフレ−ムメモリ307に蓄積され
た前フレ−ム画像信号309から動きベクトル310を
算出し、その動きベクトル310により動き補償器31
1が動き補償予測誤差信号312を出力する。In FIG. 3, the motion detector 308 calculates a motion vector 310 from the input image signal 301 and the previous frame image signal 309 accumulated in the frame memory 307, and the motion compensator 31 uses the motion vector 310.
1 outputs the motion compensation prediction error signal 312.
【0005】さらに、直交変換器302が、出力された
予測誤差信号312に対して離散コサイン変換等の直交
変換を行った後、量子化器303により量子化が行われ
る。Further, after the orthogonal transformer 302 performs orthogonal transform such as discrete cosine transform on the output prediction error signal 312, the quantizer 303 quantizes the signal.
【0006】量子化されたデ−タ313は、逆量子化器
305および逆直交変換器306により画像信号に復元
されフレ−ムメモリ307に蓄積されると同時に、エン
トロピ−符号化器304に入力され最終的な符号化デ−
タ314が出力される構成となっている。The quantized data 313 is restored to an image signal by the inverse quantizer 305 and the inverse orthogonal transformer 306 and stored in the frame memory 307, and at the same time, input to the entropy encoder 304. Final encoding data
Data 314 is output.
【0007】図3における動き補償器311によって行
われる動き補償フレ−ム間予測には、動き検出器308
による動きベクトル310の推定が必要であるが、相当
量の演算を必要とする。For the motion-compensated interframe prediction performed by the motion compensator 311 in FIG. 3, the motion detector 308 is used.
Estimation of the motion vector 310 is required, but it requires a considerable amount of computation.
【0008】少ない演算量で精度の高い動きベクトルを
得る手法に階層的動ベクトル検出法がある(富永,小
松,宮下,花村:”階層画素情報を用いた動画像におけ
る動き量検出方式”,信学論D−II,J72−D−II,
PP.395−403(1989)参照)。There is a hierarchical motion vector detection method as a method for obtaining a highly accurate motion vector with a small amount of calculation (Tominaga, Komatsu, Miyashita, Hanamura: "Motion amount detection method in moving image using hierarchical pixel information", Shin Academic D-II, J72-D-II,
PP. 395-403 (1989)).
【0009】[0009]
【発明が解決しようとする課題】前記従来例における動
ベクトルの検出には、動きを求める対象である現在時刻
の画像と、探索の際に参照される前時刻の画像の2つの
みを用いて検出を行っていた。In the detection of the motion vector in the above-mentioned conventional example, only two images, that is, the image of the current time which is the target of the motion and the image of the previous time which is referred to in the search are used. It was doing detection.
【0010】動画像符号化の国際標準の一つであるMP
EG(Moving Picture Expert G
roup)では動ベクトル検出において、現在時刻のフ
レ−ムと参照されるフレ−ムとの間は必ずしも連続して
いない(”MPEG Video Simulation
Model Three(SM3)”,ISO/IEC
JTC1/SC2/WG11/MPEG90/041
(Revised)(July 1990)参照)。MP, which is one of the international standards for moving picture coding
EG (Moving Picture Expert G)
In motion vector detection, the frame at the current time and the frame to be referred to are not necessarily continuous (“MPEG Video Simulation”).
Model Three (SM3) ", ISO / IEC
JTC1 / SC2 / WG11 / MPEG90 / 041
(Revised) (Jully 1990)).
【0011】動ベクトル検出では、現在時刻のフレ−ム
と参照されるフレ−ムの間の時間、即ちフレ−ム間隔が
広がるにつれ、探索を行う領域は水平、垂直方向ともフ
レ−ム間隔倍になる。In motion vector detection, as the time between the frame at the current time and the frame to be referred to, that is, the frame interval, increases, the area to be searched is multiplied by the frame interval both in the horizontal and vertical directions. become.
【0012】演算量はこの探索領域の面積で決定される
ため、フレ−ム間隔の自乗に比例して演算量が増加して
いく。Since the amount of calculation is determined by the area of this search region, the amount of calculation increases in proportion to the square of the frame interval.
【0013】階層的動ベクトル検出法では、階層数を増
やすことによって演算量を減らすことが可能であるが、
この場合さらに縮小をかけた画像を作成することにな
る。In the hierarchical motion vector detection method, the amount of calculation can be reduced by increasing the number of layers.
In this case, a further reduced image is created.
【0014】検出の際に最初の初期値として用いられる
のは最もサイズの小さい縮小画像での探索結果である
が、画像のサイズが小さくなるに従って解像度が低くな
り検出精度は低下し、これにより、動ベクトル検出精度
の劣化を招くという問題点があった。The first initial value used for detection is the search result for the reduced image having the smallest size. However, as the size of the image decreases, the resolution decreases and the detection accuracy decreases. There is a problem that the motion vector detection accuracy is deteriorated.
【0015】本発明は、前記従来技術の問題点を解決す
るためになされたものであり、本発明の目的は、階層的
動ベクトル検出法において、フレ−ム間隔が離れた画像
間の動ベクトルを検出する際に、検出精度を劣化させる
ことなく演算量を減少させることを可能とする技術を提
供することにある。The present invention has been made in order to solve the above-mentioned problems of the prior art, and an object of the present invention is to provide a motion vector between images whose frames are spaced apart in a hierarchical motion vector detection method. An object of the present invention is to provide a technique capable of reducing the amount of calculation without deteriorating the detection accuracy when detecting the.
【0016】本発明の前記目的並びにその他の目的及び
新規な特徴は、本明細書の記載及び添付図面によって明
らかにする。The above and other objects and novel features of the present invention will become apparent from the description of this specification and the accompanying drawings.
【0017】[0017]
【課題を解決するための手段】前記課題を解決するため
に、本発明では、現画像と、時間的に連続しない探索の
際に参照される画像のそれぞれの画像を縮小して縮小画
像を作成し、さらに、前記それぞれの縮小画像を縮小し
て新たな縮小画像を作成する過程を繰り返して、第1層
から第c層までの複数個の縮小画像を作成した後、サイ
ズ最小の第c層の縮小画像上で動ベクトルを検出し、さ
らに、前記検出された動ベクトルを初期値として、第
(c−1)層の縮小画像上で動ベクトルを検出する過程
を繰り返して、最終的に現画像と、時間的に連続しない
探索の際に参照される画像との間で動ベクトルを検出す
る階層的動ベクトル検出方法であって、サイズ最小の第
c層の縮小画像上で動ベクトルを検出する際に、テレス
コピック探索を用いることを特徴とする。In order to solve the above-mentioned problems, according to the present invention, a reduced image is created by reducing the respective images of the current image and the images referred to in a search that is not temporally continuous. Further, after repeating the process of reducing each of the reduced images and creating a new reduced image to create a plurality of reduced images from the first layer to the c-th layer, the c-th layer having the smallest size is formed. Of the motion vector is detected on the reduced image of (c-1), and the detected motion vector is used as an initial value to detect the motion vector on the reduced image of the (c-1) th layer. A hierarchical motion vector detection method for detecting a motion vector between an image and an image referred to in a search that is not temporally continuous, the motion vector being detected on a reduced image of the c-th layer having the smallest size. When using telescopic search It is characterized in.
【0018】[0018]
【作用】前記手段によれば、入力画像の輝度信号から縮
小画像を作成し、最もサイズの小さい縮小画像上で動ベ
クトルを求める際にテレスコピック探索を用いるように
したので、フレ−ム間隔が広がった場合でも少ない演算
量で動ベクトルを検出することが可能となる。According to the above means, the reduced image is created from the luminance signal of the input image, and the telescopic search is used when the motion vector is obtained on the reduced image having the smallest size. Therefore, the frame interval is widened. Even in such a case, the motion vector can be detected with a small amount of calculation.
【0019】これにより、従来法ではフレ−ム間隔の自
乗に比例していた演算量が、本発明では、ほぼフレ−ム
間隔の倍数比率で押さえることが可能となる。As a result, the amount of calculation, which was proportional to the square of the frame interval in the conventional method, can be suppressed by the multiple ratio of the frame interval in the present invention.
【0020】本発明において用いられるテレスコピック
探索とは、初めに隣接するフレ−ムとの間で動ベクトル
を求め、その探索結果を初期値とし、初期値の周辺での
探索を2フレ−ム間隔離れたフレ−ムとの間で行い、そ
の結果を新たな初期値として探索を行う操作を、3,
4,・・・フレ−ム間隔離れたフレ−ムとの間で繰り返
し、最終的な動ベクトルを決定する手法である。In the telescopic search used in the present invention, a motion vector is first obtained between adjacent frames, the search result is used as an initial value, and the search around the initial value is performed at two frame intervals. The operation of performing a search with a remote frame and using the result as a new initial value
4, ... It is a method of repeating a frame with a frame distance to determine a final motion vector.
【0021】図1は、現在時刻の縮小画像から、2フレ
−ム離れた参照フレ−ムの縮小画像への動ベクトルをテ
レスコピックで探索する例を示す図である。FIG. 1 is a diagram showing an example in which a motion vector from a reduced image at the current time to a reduced image of a reference frame two frames away is searched telescopically.
【0022】始めに、現在フレ−ムの縮小画像200か
ら1フレ−ム間隔離れた中間フレ−ムの縮小画像210
への動ベクトルを探索する。First, a reduced image 210 of an intermediate frame, which is one frame apart from the reduced image 200 of the current frame.
Search for a motion vector to.
【0023】次に、2フレ−ム離れた縮小画像220
で、先に求まった探索位置を中心とする探索領域で動ベ
クトル探索を行い、現在フレ−ムの縮小画像200から
参照フレ−ムの縮小画像220への動べクトルを決定す
る。Next, a reduced image 220 separated by two frames.
Then, a motion vector search is performed in the search area centered on the previously obtained search position, and the moving vector from the reduced image 200 of the current frame to the reduced image 220 of the reference frame is determined.
【0024】図1においては、現在フレ−ムの縮小画像
200上のブロック201が、中間フレ−ムの縮小画像
210上のブロック211へ移動し、さらに、参照フレ
−ムの縮小画像220上でブロック221へ移動したこ
とを示している。In FIG. 1, the block 201 on the reduced image 200 of the current frame is moved to the block 211 on the reduced image 210 of the intermediate frame, and further on the reduced image 220 of the reference frame. This indicates that the process has moved to block 221.
【0025】この時、図中点線枠で示される探索領域2
50、260は固定とするため、演算量が、従来法では
フレ−ム間隔の自乗に比例するのに対して、本発明では
フレ−ム間隔の倍数比例でおさえられる。At this time, the search area 2 indicated by the dotted frame in the figure
Since 50 and 260 are fixed, the amount of calculation is proportional to the square of the frame interval in the conventional method, whereas it is suppressed to a multiple of the frame interval in the present invention.
【0026】[0026]
【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。Embodiments of the present invention will now be described in detail with reference to the drawings.
【0027】なお、実施例を説明するための全図におい
て、同一機能を有するものは同一符号を付け、その繰り
返しの説明は省略する。In all the drawings for explaining the embodiments, those having the same function are designated by the same reference numerals, and the repeated description thereof will be omitted.
【0028】図2は、階層数3、現在フレ−ムと参照フ
レ−ムのフレ−ム間隔2の時の、本発明の一実施例であ
る動ベクトル検出方法を適用した動ベクトル検出回路の
概略構成を示すブロック図である。FIG. 2 shows a motion vector detecting circuit to which the motion vector detecting method according to one embodiment of the present invention is applied when the number of layers is 3 and the frame interval between the current frame and the reference frame is 2. It is a block diagram showing a schematic structure.
【0029】図2において、1は現在フレ−ムの画像信
号、4,37は現在フレ−ムの原画像、6,9,11,
33,35は現在フレ−ムの縮小画像、13は中間フレ
−ムの画像信号、16は中間フレ−ムの原画像、18,
39は中間フレ−ムの縮小画像、20は参照フレ−ムの
画像信号、23,41は参照フレ−ムの原画像、25,
28,30,43,45は参照フレ−ムの縮小画像、
2,7,12,14,19,21,26,31はフレ−
ムメモリ、5,10,17,24,29は縮小画像作成
部、46,47,48,49,50,51,52は小領
域分割器、3,8,15,22,27,32,34,3
6,38,40,42,44は画像読み出しアドレス信
号、53,54,55,56,57,58,59はブロ
ック信号、60,61,62,63,64,65,66
はブロックオフセットアドレス信号、67はマッチング
誤差計算部、69は比較器、70はメモリ、72はアド
レスメモリ、71,73はアドレスデ−タである。In FIG. 2, 1 is the image signal of the current frame, 4 and 37 are the original images of the current frame, 6, 9, 11, and
33 and 35 are reduced images of the current frame, 13 is an image signal of the intermediate frame, 16 is an original image of the intermediate frame, 18,
39 is a reduced image of the intermediate frame, 20 is an image signal of the reference frame, 23 and 41 are original images of the reference frame, 25,
28, 30, 43, and 45 are reduced images of the reference frame,
2,7,12,14,19,21,26,31 are free
Memory, 5, 10, 17, 24, 29 are reduced image creation units, 46, 47, 48, 49, 50, 51, 52 are small area dividers, 3, 8, 15, 22, 27, 32, 34, Three
6, 38, 40, 42, 44 are image read address signals, 53, 54, 55, 56, 57, 58, 59 are block signals, 60, 61, 62, 63, 64, 65, 66.
Is a block offset address signal, 67 is a matching error calculator, 69 is a comparator, 70 is a memory, 72 is an address memory, and 71 and 73 are address data.
【0030】次に、図2に示す動ベクトル検出回路の動
作を説明する。Next, the operation of the motion vector detection circuit shown in FIG. 2 will be described.
【0031】輝度信号からなる現在フレ−ムの画像信号
1は、フレ−ムメモリ2に格納される。The image signal 1 of the current frame composed of the luminance signal is stored in the frame memory 2.
【0032】縮小画像作成部5は、アドレス計算部と演
算部から構成され、フレ−ムメモリ2に蓄積された画像
4から水平、垂直に1/m1,1/n1(m1,n1は任意
の自然数)のサイズに縮小した画像6を作成し、フレ−
ムメモリ7に蓄積する。The reduced image creating unit 5 is composed of an address calculating unit and an operating unit, and horizontally / vertically 1 / m 1 and 1 / n 1 (m 1 and n 1 are arbitrary natural numbers) from the image 4 stored in the frame memory 2. ) Create image 6 reduced to the size of
It is stored in the memory 7.
【0033】縮小画像を作成するためフィルタをかける
必要があるが、図2に示す動ベクトル検出回路は平均値
フィルタを用いている。Although it is necessary to apply a filter to create a reduced image, the motion vector detection circuit shown in FIG. 2 uses an average value filter.
【0034】縮小は、m1×n1個の画素を1画素に変換
する操作であり、縮小画像作成部5では、始めに縮小画
像の1画素に対応するm1×n1個の画素を、対応するア
ドレス信号3をフレ−ムメモリ2に与えることで読出
す。The reduction is an operation of converting m1 × n1 pixels into one pixel. In the reduced image creating section 5, first, the m1 × n1 pixels corresponding to one pixel of the reduced image are converted into corresponding addresses. The signal 3 is applied to the frame memory 2 to read it.
【0035】本実施例のように平均値フィルタを用いる
場合には、読み出されたm1×n1個の画素値を加算し
て、m1×n1で割る操作を行い、その結果を縮小画像信
号6としてフレ−ムメモリ7に蓄積する。When the average value filter is used as in the present embodiment, the read m1 × n1 pixel values are added and divided by m1 × n1, and the result is reduced image signal 6 Is stored in the frame memory 7.
【0036】なお、使用するフィルタは平均値フィルタ
に限定されず、中央値等、各種のフィルタを用いること
が可能である。The filter used is not limited to the average value filter, and various filters such as the median value can be used.
【0037】また、他の縮小画像作成部の構成および動
作も、縮小画像作成部5と同様である。The configuration and operation of the other reduced image creating section are the same as those of the reduced image creating section 5.
【0038】縮小画像作成部10では、縮小された画像
9を、さらに水平,垂直に1/m2,1/n2(m2,n2
は任意の自然数)のサイズに縮小し、フレ−ムメモリ1
2に蓄える。In the reduced image creating section 10, the reduced image 9 is further horizontally and vertically 1 / m 2, 1 / n 2 (m 2, n 2
Is an arbitrary natural number) and the frame memory 1
Store in 2.
【0039】参照フレ−ムの画像信号20も、現在フレ
−ムの画像と同様に、フレ−ムメモリ21に蓄積された
後、縮小画像作成部24において1/m1,1/n1のサ
イズに縮小され、フレ−ムメモリ26へと蓄えられた
後、さらに、縮小画像作成部29で1/m2,1/n2の
サイズに縮小され、フレ−ムメモリ31への蓄積が行わ
れる。The image signal 20 of the reference frame, like the image of the current frame, is also stored in the frame memory 21 and then reduced to a size of 1 / m1 or 1 / n1 in the reduced image creating section 24. After being stored in the frame memory 26, it is further reduced to a size of 1 / m @ 2 and 1 / n @ 2 in the reduced image creating section 29 and stored in the frame memory 31.
【0040】時間的に現在フレ−ムと参照フレ−ムとの
間にある中間フレ−ムの画像信号13はフレ−ムメモリ
14に蓄積された後、縮小画像作成部17で1/(m1
×m2),1/(n1×n2)のサイズに縮小され、フレ
−ムメモリ19に蓄えられる。The image signal 13 of the intermediate frame, which is temporally between the current frame and the reference frame, is stored in the frame memory 14, and then the reduced image creating section 17 outputs 1 / (m1).
× m2), 1 / (n1 × n2), and stored in the frame memory 19.
【0041】ここで、参照フレ−ムの画像信号20およ
び中間フレ−ムの画像信号13は、現在フレ−ムの画像
信号1と同様に輝度信号である。The image signal 20 of the reference frame and the image signal 13 of the intermediate frame are luminance signals like the image signal 1 of the current frame.
【0042】フレ−ムメモリ12に蓄えられた現在フレ
−ムの縮小画像33が、(x,y)の2成分からなるア
ドレス信号32の値をオフセット値として読み出され、
小領域分割器46に入力される。The reduced image 33 of the current frame stored in the frame memory 12 is read with the value of the address signal 32 consisting of two components (x, y) as an offset value,
It is input to the small area divider 46.
【0043】小領域分割器46は、アドレス計算部から
構成され、現在フレ−ム縮小画像33をk2×j2のブロ
ックに分割し現在フレ−ムブロック信号53を出力す
る。The small area divider 46 is composed of an address calculator, divides the current frame reduced image 33 into k2 × j2 blocks, and outputs the current frame block signal 53.
【0044】具体的には、まず出力しようとする現在フ
レ−ムブロック信号53の左上に相当する位置の画像信
号を、記憶されているオフセット値をアドレス信号32
としてフレ−ムメモリ12に与えることにより読み出
す。Specifically, first, the stored offset value of the image signal at the position corresponding to the upper left of the current frame block signal 53 to be output is stored as the address signal 32.
Then, it is read out by giving it to the frame memory 12 as.
【0045】以下、出力しようとするブロック内全ての
座標を走査するようにアドレス信号の値を変化させなが
ら、k2×j2回の読み出しを行い、同時に読み出した信
号を現在フレ−ムブロック信号53として出力する。Hereinafter, while changing the value of the address signal so as to scan all the coordinates in the block to be output, reading is performed k2 × j2 times, and the signals read at the same time are set as the current frame block signal 53. Output.
【0046】最後に記憶されているオフセット値(x,
y)をブロックオフセットアドレス信号60として比較
器69に出力した後、次のブロックの左上の座標値に更
新する操作を行う。The last stored offset value (x,
After y) is output as the block offset address signal 60 to the comparator 69, the operation of updating the coordinate value at the upper left of the next block is performed.
【0047】他の小領域分割器の構成および動作も、小
領域分割器46と同様である。The structure and operation of the other small area dividers are similar to those of the small area divider 46.
【0048】また、中間フレ−ムの縮小画像39が、小
領域分割器49に入力され、小領域分割器46と同様な
動作によってk2×j2のブロックに分割され中間フレ−
ムブロック信号56として、また同時にブロックオフセ
ットアドレス信号63を比較器69に出力する。The reduced image 39 of the intermediate frame is input to the small area divider 49 and divided into k2 × j2 blocks by the same operation as the small area divider 46, and the intermediate frame is divided.
The block offset address signal 63 is output to the comparator 69 at the same time as the digital block signal 56.
【0049】現在フレ−ムブロック信号53および中間
フレ−ムブロック信号56は、マッチング誤差計算部6
7に入力される。The current frame block signal 53 and the intermediate frame block signal 56 are sent to the matching error calculation unit 6
Input to 7.
【0050】マッチング誤差計算部67は、演算部から
構成され、2つの小領域分割器から出力される画素値の
差分自乗値を計算し、それらを加算したものを差分値6
8として比較器69へ出力する。The matching error calculation unit 67 is composed of a calculation unit, calculates the difference square value of the pixel values output from the two small area dividers, and adds them to obtain the difference value 6
8 and outputs to the comparator 69.
【0051】また、マッチング誤差計算部67では、1
つの現在フレ−ムブロック信号53に対応して、探索範
囲内の複数の中間フレ−ムブロック信号56と前記計算
を行う。Further, the matching error calculation unit 67 outputs 1
The calculation is performed with a plurality of intermediate frame block signals 56 within the search range corresponding to one current frame block signal 53.
【0052】なお、差分値演算は差分自乗に限定される
ことはなく、差分絶対値等を用いることも可能である。The difference value calculation is not limited to the difference squared, and it is also possible to use the difference absolute value or the like.
【0053】比較器69は、最小値メモリ70を擁して
おり、入力された差分値68がメモリ70に蓄えられて
いる値より小さいければメモリ70の値を更新し、それ
ぞれ2成分(x,y)からなる中間フレ−ムブロックオ
フセットアドレス信号63から現在フレ−ムブロックオ
フセットアドレス信号60を減じた値であるアドレス7
1をアドレスメモリ72に記憶する。The comparator 69 has a minimum value memory 70. If the input difference value 68 is smaller than the value stored in the memory 70, the value in the memory 70 is updated, and the two components (x, x, Address 7 which is the value obtained by subtracting the current frame block offset address signal 60 from the intermediate frame block offset address signal 63 consisting of y).
1 is stored in the address memory 72.
【0054】中間フレ−ムの縮小画像における動ベクト
ルの探索範囲で上記の操作を終了した後、アドレスメモ
リ72には縮小画像上での現在フレ−ムから中間フレ−
ムへの動ベクトルが蓄えられている。After the above operation is completed in the search range of the motion vector in the reduced image of the intermediate frame, the address memory 72 stores the intermediate frame from the current frame on the reduced image.
The motion vector to the memory is stored.
【0055】ここで、中間フレ−ムの縮小画像における
動ベクトルの探索範囲は、ある画像を符号化する際に表
示されている物体が最大でどのくらい動くかという情報
から決定される。Here, the search range of the motion vector in the reduced image of the intermediate frame is determined from the information about how much the displayed object moves at the time of encoding a certain image.
【0056】次に、先の操作と同様に現在フレ−ムブロ
ック信号53がマッチング誤差計算部67に、また現在
フレ−ムブロックオフセットアドレス信号60が比較器
69に入力される。Next, as in the previous operation, the current frame block signal 53 is input to the matching error calculator 67, and the current frame block offset address signal 60 is input to the comparator 69.
【0057】さらに、フレ−ムメモリ31に蓄えられた
参照フレ−ムの縮小画像45が小領域分割器52に入力
されるが、最もサイズの小さい縮小画像における動ベク
トル検出はテレスコピックを用いる。Further, the reduced image 45 of the reference frame stored in the frame memory 31 is input to the small area divider 52, and the motion vector detection in the reduced image having the smallest size uses telescopic.
【0058】テレスコピック探索を行う際に、現在フレ
−ムと中間フレ−ムの間で検出された動ベクトルを初期
値とするため、フレ−ムメモリ31に蓄えられた参照フ
レ−ムの縮小画像45を小領域分割器52に読み出す時
に、読み出すオフセット値は現在フレ−ムと中間フレ−
ムの間で検出された動ベクトル分だけシフトする必要が
ある。When the telescopic search is performed, since the motion vector detected between the current frame and the intermediate frame is used as an initial value, the reduced image 45 of the reference frame stored in the frame memory 31. Is read to the small area divider 52, the read offset value is the current frame and the intermediate frame.
It is necessary to shift by the detected motion vector between the frames.
【0059】そのため、小領域分割器52から出力され
るアドレス信号44およびブロックオフセットアドレス
信号66は、アドレスメモリ72からの(x,y)出力
値73を加えたものとなる。Therefore, the address signal 44 and the block offset address signal 66 output from the small area divider 52 are the sum of the (x, y) output values 73 from the address memory 72.
【0060】アドレス信号44にしたがって読み出され
た参照フレ−ム縮小画像45は小領域分割器52に入力
され、小領域分割器46と同様な動作によってk2×j2
のブロックに分割され、参照フレ−ムブロック信号59
として出力される。The reference frame reduced image 45 read out according to the address signal 44 is input to the small area divider 52, and by the same operation as the small area divider 46, k2 × j2.
Of the reference frame block signal 59.
Is output as.
【0061】そして、中間フレ−ムの時と同様に、マッ
チング誤差計算部67において差分値が計算され、比較
器69において、入力された差分値がメモリ70に蓄え
られている値より小さいければメモリ70の値を更新
し、それぞれ2成分(x,y)からなる参照フレ−ムブ
ロックオフセットアドレス信号66から現在フレ−ムブ
ロックオフセットアドレス信号60を減じた値であるア
ドレス71をアドレスメモリ72に記憶する。Then, as in the case of the intermediate frame, the difference value is calculated in the matching error calculation section 67, and if the input difference value is smaller than the value stored in the memory 70 in the comparator 69. The value of the memory 70 is updated, and an address 71, which is a value obtained by subtracting the current frame block offset address signal 60 from the reference frame block offset address signal 66 consisting of two components (x, y), is stored in the address memory 72. Remember.
【0062】この場合に、参照フレ−ムにおける探索範
囲は、中間フレ−ムにおける探索範囲と同じにする。In this case, the search range in the reference frame is the same as the search range in the intermediate frame.
【0063】次に、フレ−ムメモリ7に蓄えられた現在
フレ−ムの縮小画像35が小領域分割器47に入力され
る。Next, the reduced image 35 of the current frame stored in the frame memory 7 is input to the small area divider 47.
【0064】小領域分割器47では、小領域分割器46
と同様な動作によって、現在フレ−ム縮小画像35をk
/m1×j/n1のブロックに分割し、現在フレ−ムブロ
ック信号54およびブロックオフセットアドレス信号6
1を出力する。In the small area divider 47, the small area divider 46
By the same operation as the above, the current frame reduced image 35 is
/ M1 × j / n1 blocks are divided into the current frame block signal 54 and the block offset address signal 6
1 is output.
【0065】同様に、参照フレ−ム縮小画像43が小領
域分割器51に入力されるが、最もサイズの小さい縮小
画像を除く動ベクトル検出は、上位階層で検出された動
ベクトルを初期値とするため、この時読み出すオフセッ
ト値は縮小画像での動ベクトル分だけシフトする必要が
ある。Similarly, the reference frame reduced image 43 is input to the small area divider 51, but the motion vector detection except for the reduced image with the smallest size uses the motion vector detected in the upper hierarchy as the initial value. Therefore, the offset value read at this time needs to be shifted by the motion vector in the reduced image.
【0066】アドレス信号42およびブロックオフセッ
トアドレス信号65は、アドレスメモリ72からの
(x,y)出力値73を水平,垂直でm2,n2倍した値
を加えたものとなる。The address signal 42 and the block offset address signal 65 are obtained by adding a value obtained by multiplying the (x, y) output value 73 from the address memory 72 by m2 and n2 in the horizontal and vertical directions.
【0067】アドレス信号42にしたがって読み出され
た参照フレ−ム縮小画像43は小領域分割器51に入力
され、k/m1×j/n1のブロックに分割され、参照フ
レ−ムブロック信号58として、また同時にブロックオ
フセットアドレス信号65を出力する。The reference frame reduced image 43 read out according to the address signal 42 is input to the small area divider 51, divided into k / m1 × j / n1 blocks, and the reference frame block signal 58 is obtained. At the same time, the block offset address signal 65 is output.
【0068】そして、縮小画像45の時と同様に、マッ
チング誤差計算部67において差分値が計算され、比較
器69において、入力された差分値がメモリ70に蓄え
られている値より小さいければメモリ70の値を更新
し、それぞれ2成分(x,y)からなる参照フレ−ムブ
ロックオフセットアドレス信号65から現在フレ−ムブ
ロックオフセットアドレス信号61を減じた値であるア
ドレス71をアドレスメモリ72に記憶する。Then, as in the case of the reduced image 45, the difference value is calculated in the matching error calculation unit 67, and in the comparator 69, if the input difference value is smaller than the value stored in the memory 70, the memory is stored. The value of 70 is updated, and an address 71, which is a value obtained by subtracting the current frame block offset address signal 61 from the reference frame block offset address signal 65 consisting of two components (x, y), is stored in the address memory 72. To do.
【0069】次に、フレ−ムメモリ2に蓄えられた現在
フレ−ムの原画像37が小領域分割器48に入力され
る。Next, the original image 37 of the current frame stored in the frame memory 2 is input to the small area divider 48.
【0070】小領域分割器48では、現在フレ−ムの原
画像37をk×jのブロックに分割し現在フレ−ムブロ
ック信号55およびブロックオフセットアドレス信号6
2を出力する。The small area divider 48 divides the original image 37 of the current frame into k × j blocks and divides the current frame block signal 55 and the block offset address signal 6 into blocks.
2 is output.
【0071】同様に、参照フレ−ムの原画像41が、小
領域分割器45に入力されるが、アドレス信号40およ
びブロックオフセットアドレス信号64は、アドレスメ
モリ72からの(x,y)出力値73を水平,垂直でm
1,n1倍した値を加えたものとなる。Similarly, the original image 41 of the reference frame is input to the small area divider 45, but the address signal 40 and the block offset address signal 64 are (x, y) output values from the address memory 72. 73 in horizontal and vertical directions
It is the sum of the values multiplied by 1 and n1.
【0072】アドレス信号40にしたがって、読み出さ
れた参照フレ−ム画像41は小領域分割器50に入力さ
れ、k×jのブロックに分割され、参照フレ−ムブロッ
ク信号57として、また同時にブロックオフセットアド
レス信号64を出力する。In accordance with the address signal 40, the read reference frame image 41 is input to the small area divider 50 and divided into k × j blocks, which serve as the reference frame block signal 57 and at the same time. The offset address signal 64 is output.
【0073】そして、縮小画像45の時と同様に、マッ
チング誤差計算部67において差分値が計算され、比較
器69において、入力された差分値がメモリ70に蓄え
られている値より小さいければメモリ70の値を更新
し、それぞれ2成分(x,y)からなる参照フレ−ムブ
ロックオフセットアドレス信号64から現在フレ−ムブ
ロックオフセットアドレス信号62を減じた値であるア
ドレス71をアドレスメモリ72に記憶する。Then, as in the case of the reduced image 45, the difference value is calculated in the matching error calculation section 67, and if the input difference value is smaller than the value stored in the memory 70 in the comparator 69, the memory is stored. The value of 70 is updated, and an address 71, which is a value obtained by subtracting the current frame block offset address signal 62 from the reference frame block offset address signal 64 consisting of two components (x, y), is stored in the address memory 72. To do.
【0074】探索範囲に対する上記操作が終了した時、
アドレスメモリには検出された動ベクトルが蓄えられて
いる。When the above operation for the search range is completed,
The detected motion vector is stored in the address memory.
【0075】図2は、階層数3、現在フレ−ムと参照フ
レ−ムのフレ−ム間隔2の例であるが、図中点線枠内の
現在フレ−ム縮小部をフレ−ムメモリ7と縮小画像作成
部10の間に、また参照フレ−ム縮小部をフレ−ムメモ
リ26と縮小画像29の間にそれぞれ(階層数−3)個
接続することで3以上の任意の階層数に対応できる。FIG. 2 shows an example in which the number of layers is 3, and the frame interval between the current frame and the reference frame is 2. In this case, the current frame reduction section in the dotted line frame is the frame memory 7. By connecting (the number of layers-3) each between the reduced image creation unit 10 and the reference frame reducing unit between the frame memory 26 and the reduced image 29, it is possible to cope with an arbitrary number of layers of 3 or more. .
【0076】また、階層数が2の場合、図中点線枠内の
現在フレ−ム縮小部を削除し、フレ−ムメモリ2の入出
力3,4を縮小画像作成部10の入出力に、また、図中
点線枠内の参照フレ−ム縮小部も同様に削除し、フレ−
ムメモリ21の入出力22,23を縮小画像作成部29
の入出力とすることで実現できる。When the number of layers is 2, the current frame reduction section in the dotted frame in the figure is deleted, the inputs / outputs 3 and 4 of the frame memory 2 are input / output of the reduced image creating section 10, and , The reference frame reduction part in the dotted frame in the figure is also deleted, and the frame
The input / output 22 and 23 of the memory 21 are connected to the reduced image creating unit 29
It can be realized by inputting and outputting.
【0077】また、図中点線枠内の中間フレ−ム縮小部
をマッチング誤差計算部67の入力に(フレ−ム間隔−
2)個接続することで各種フレ−ム間隔に対応できる。Further, the intermediate frame reducing section within the dotted line frame in the figure is input to the matching error calculating section 67 (frame interval-
2) Various frame intervals can be accommodated by connecting them individually.
【0078】以上説明したように、本実施例では、原画
像をk画素×jラインのブロックに分割し、それらのブ
ロック毎に動ベクトルを検出するために、原画像を水
平,垂直に縮小係数m1,n1を用いて1/m1,1/n1
に縮小した画像を作成し、この縮小画像からさらに水
平,垂直に縮小係数m2,n2を用いて1/m2,1/n2
に縮小する操作を、縮小係数mc,ncまでc回繰り返し
た後、縮小画像Icをkc画素×jcラインのブロックに
分割し、それぞれのブロックで動ベクトルを検出し、検
出された動ベクトルを水平,垂直方向にmc,nc倍(m
c,ncは縮小画像Icの縮小係数)したベクトルを初期
値として、縮小画像Ic-1上でkc-1画素×jc-1ライン
のブロックのそれぞれで、対応する初期値の周辺で動ベ
クトル検出を行い、縮小画像Ic-1上で検出された動ベ
クトルを水平,垂直方向にmc-1,nc-1倍(mc-1,nc
-1は縮小画像Ic-1の縮小係数)したベクトルを初期値
として、縮小画像Ic-2上で初期値の周辺で動ベクトル
検出を行なう操作を、原画像上での動ベクトル検出まで
繰り返し、最終的な動ベクトルを検出する際に、最もサ
イズの小さい縮小画像Ic上で、dフレ−ム間隔(d≧
2)離れた動ベクトルの検出においては隣接するフレ−
ム間の動ベクトルを初期値とし、その初期値の周辺で2
フレ−ム間隔離れたフレ−ム間の動ベクトルを検出する
操作を、dフレ−ム間隔離れたフレ−ムとの動ベクトル
検出まで繰り返して行うものである。As described above, in the present embodiment, the original image is divided into blocks of k pixels × j lines, and in order to detect the motion vector for each of these blocks, the original image is reduced horizontally and vertically by a reduction coefficient. 1 / m1, 1 / n1 using m1 and n1
Image is reduced to 1 / m2, 1 / n2 using the reduction factors m2 and n2 horizontally and vertically from this reduced image.
After repeating the operation of reducing to c times up to the reduction factors mc and nc, the reduced image Ic is divided into blocks of kc pixels × jc lines, the motion vector is detected in each block, and the detected motion vector is set horizontally. , Vertically mc, nc times (m
c and nc are reduction vectors of the reduced image Ic) as initial values, and a motion vector is detected around the corresponding initial value in each block of kc-1 pixels × jc-1 lines on the reduced image Ic-1. And the motion vector detected on the reduced image Ic-1 is multiplied by mc-1, nc-1 in the horizontal and vertical directions (mc-1, nc).
-1 is a reduced vector of the reduced image Ic-1) as an initial value, and an operation of detecting a moving vector around the initial value on the reduced image Ic-2 is repeated until a moving vector is detected on the original image. When detecting the final motion vector, the d frame interval (d ≧
2) Adjacent frames are detected in the detection of motion vectors that are far apart.
The motion vector between the frames is set as the initial value, and 2 around the initial value.
The operation of detecting the motion vector between the frames separated by the frame interval is repeated until the motion vector is detected by the frame separated by the d frame interval.
【0079】以上、本発明を実施例に基づき具体的に説
明したが、本発明は、前記実施例に限定されるものでは
なく、その要旨を逸脱しない範囲で種々変更し得ること
は言うまでもない。Although the present invention has been specifically described based on the embodiments, it is needless to say that the present invention is not limited to the embodiments and various modifications can be made without departing from the scope of the invention.
【0080】[0080]
【発明の効果】以上説明したように、本発明によれば、
従来の階層的動ベクトル検出法と同様に入力画像の輝度
信号から縮小画像を作成し、最もサイズの小さい縮小画
像上で動ベクトルを求める際にテレスコピック探索を用
い、フレ−ム間隔が広がった場合でも少ない演算量で動
ベクトルを検出することが可能となる。As described above, according to the present invention,
When a reduced image is created from the luminance signal of the input image as in the conventional hierarchical motion vector detection method, and a telescopic search is used when a motion vector is obtained on the reduced image with the smallest size, and the frame interval is widened. However, it becomes possible to detect a motion vector with a small amount of calculation.
【0081】それにより、従来法ではフレ−ム間隔の自
乗に比例していた演算量が、本発明では、ほぼフレ−ム
間隔の倍数比率で押さえることが可能となる。As a result, the amount of calculation, which was proportional to the square of the frame interval in the conventional method, can be suppressed by the multiple ratio of the frame interval in the present invention.
【0082】これにより、動き補償フレ−ム間符号化に
おいて階層的動ベクトル探索を用いる際に、探索精度を
劣化させることなく演算量を削減することが可能とな
る。As a result, when the hierarchical motion vector search is used in the motion compensation interframe coding, it is possible to reduce the calculation amount without degrading the search accuracy.
【図1】 現在時刻の縮小画像から、2フレ−ム離れた
参照フレ−ムの縮小画像への動ベクトルをテレスコピッ
クで探索する例を示す図である。FIG. 1 is a diagram showing an example in which a motion vector from a reduced image at a current time point to a reduced image of a reference frame separated by two frames is searched telescopically.
【図2】 本発明の一実施例である動ベクトル検出方法
を適用した動ベクトル検出回路の概略構成を示すブロッ
ク図である。FIG. 2 is a block diagram showing a schematic configuration of a motion vector detection circuit to which a motion vector detection method according to an embodiment of the present invention is applied.
【図3】 ハイブリッド符号化方式の基本ブロック構成
を示す図である。FIG. 3 is a diagram showing a basic block configuration of a hybrid coding method.
1…現在フレ−ムの画像信号、4,37…現在フレ−ム
の原画像、6,9,11,33,35…現在フレ−ムの
縮小画像、13…中間フレ−ムの画像信号、16…中間
フレ−ムの原画像、18,39…中間フレ−ムの縮小画
像、20…参照フレ−ムの画像信号、23,41…参照
フレ−ムの原画像、25,28,30,43,45…参
照フレ−ムの縮小画像、2,7,12,14,19,2
1,26,31…フレ−ムメモリ、5,10,17,2
4,29…縮小画像作成部、46,47,48,49,
50,51,52…小領域分割器、3,8,15,2
2,27,32,34,36,38,40,42,44
…画像読み出しアドレス信号、53,54,55,5
6,57,58,59…ブロック信号、60,61,6
2,63,64,65,66…ブロックオフセットアド
レス信号、67…マッチング誤差計算部、69…比較
器、70…メモリ、72…アドレスメモリ、71,73
…アドレスデ−タ。1 ... Image signal of current frame, 4, 37 ... Original image of current frame, 6, 9, 11, 33, 35 ... Reduced image of current frame, 13 ... Image signal of intermediate frame, 16 ... Original image of intermediate frame, 18, 39 ... Reduced image of intermediate frame, 20 ... Image signal of reference frame, 23, 41 ... Original image of reference frame, 25, 28, 30, 43, 45 ... Reduced image of reference frame, 2, 7, 12, 14, 19, 2
1, 26, 31 ... Frame memory, 5, 10, 17, 2
4, 29 ... Reduced image creation unit, 46, 47, 48, 49,
50, 51, 52 ... Small area divider, 3, 8, 15, 2
2,27,32,34,36,38,40,42,44
... Image read address signal, 53, 54, 55, 5
6, 57, 58, 59 ... Block signal, 60, 61, 6
2, 63, 64, 65, 66 ... Block offset address signal, 67 ... Matching error calculation unit, 69 ... Comparator, 70 ... Memory, 72 ... Address memory, 71, 73
... address data.
Claims (1)
に参照される画像のそれぞれの画像を縮小して縮小画像
を作成し、さらに、前記それぞれの縮小画像を縮小して
新たな縮小画像を作成する過程を繰り返して、第1層か
ら第c層までの複数個の縮小画像を作成した後、サイズ
最小の第c層の縮小画像上で動ベクトルを検出し、さら
に、前記検出された動ベクトルを初期値として、第(c
−1)層の縮小画像上で動ベクトルを検出する過程を繰
り返して、最終的に現画像と、時間的に連続しない探索
の際に参照される画像との間で動ベクトルを検出する階
層的動ベクトル検出方法であって、 サイズ最小の第c層の縮小画像上で動ベクトルを検出す
る際に、テレスコピック探索を用いることを特徴とする
階層的動ベクトル検出方法。1. A reduced image is created by reducing each image of a current image and an image referred to in a search that is not temporally continuous, and further reduced by reducing each of the reduced images. The process of creating an image is repeated to create a plurality of reduced images from the first layer to the c-th layer, and then a motion vector is detected on the reduced image of the c-th layer having the smallest size. Motion vector as the initial value,
-1) Hierarchical structure in which the process of detecting the motion vector on the reduced image of the layer is repeated to finally detect the motion vector between the current image and the image referred to in the time discontinuous search. A method of detecting a moving vector, wherein a telescopic search is used when detecting a moving vector on a reduced image of the c-th layer having the smallest size.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP416694A JP2878580B2 (en) | 1994-01-19 | 1994-01-19 | Hierarchical motion vector detection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP416694A JP2878580B2 (en) | 1994-01-19 | 1994-01-19 | Hierarchical motion vector detection method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH07212762A true JPH07212762A (en) | 1995-08-11 |
JP2878580B2 JP2878580B2 (en) | 1999-04-05 |
Family
ID=11577164
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP416694A Expired - Lifetime JP2878580B2 (en) | 1994-01-19 | 1994-01-19 | Hierarchical motion vector detection method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2878580B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6470050B1 (en) | 1999-04-09 | 2002-10-22 | Matsushita Electric Industrial Co., Ltd. | Image coding apparatus and its motion vector detection method |
JP2007036738A (en) * | 2005-07-27 | 2007-02-08 | Matsushita Electric Ind Co Ltd | Motion picture encoding device, method, and program |
-
1994
- 1994-01-19 JP JP416694A patent/JP2878580B2/en not_active Expired - Lifetime
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6470050B1 (en) | 1999-04-09 | 2002-10-22 | Matsushita Electric Industrial Co., Ltd. | Image coding apparatus and its motion vector detection method |
JP2007036738A (en) * | 2005-07-27 | 2007-02-08 | Matsushita Electric Ind Co Ltd | Motion picture encoding device, method, and program |
JP4641892B2 (en) * | 2005-07-27 | 2011-03-02 | パナソニック株式会社 | Moving picture encoding apparatus, method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP2878580B2 (en) | 1999-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3277418B2 (en) | Apparatus and method for detecting motion vector | |
CN108141606B (en) | Method and system for global motion estimation and compensation | |
US6418168B1 (en) | Motion vector detection apparatus, method of the same, and image processing apparatus | |
EP0734178A2 (en) | Method and apparatus for determining true motion vectors for selected pixels | |
JPH09163380A (en) | Image coding device and motion vector detection method | |
JPH0795594A (en) | Method and apparatus for detection of motion vector of half pixel accuracy | |
EP0643538A2 (en) | Motion vector detecting apparatus and methods | |
CN100481944C (en) | Method and device for the computer-assisted motion compensation of a digitalized image and computer program products and computer-readable storage media | |
JPH06153239A (en) | Coding system for picture | |
JP2743434B2 (en) | Motion compensated interframe predictive coding circuit | |
JPH0678298A (en) | Motion compensation prediction device for interlace animation | |
JP2878580B2 (en) | Hierarchical motion vector detection method | |
JPH08265764A (en) | Video signal encoding device | |
JPH04189093A (en) | Motion compensation device | |
US6968009B1 (en) | System and method of finding motion vectors in MPEG-2 video using motion estimation algorithm which employs scaled frames | |
JP2913846B2 (en) | Video coding method | |
JP3309519B2 (en) | Motion vector detection device | |
KR20150137081A (en) | Method for encoding a plurality of input images and storage medium and device for storing program | |
JP3171249B2 (en) | Motion vector search method for video coding | |
JP3001754B2 (en) | Hierarchical motion vector detector | |
JP2925046B2 (en) | Motion compensation prediction method for moving images | |
KR0183155B1 (en) | The circuit for generating start and end address for motion compensation at moving picture compressing encode | |
JPH11243546A (en) | Image coder and method | |
JPH03253180A (en) | Picture generating method | |
JPH0349373A (en) | Picture encoding system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090122 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090122 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100122 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110122 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110122 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120122 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130122 Year of fee payment: 14 |
|
EXPY | Cancellation because of completion of term |