JP2003153283A - ビデオ符号化時の動き予測の実行方法、ビデオ符号化システム、及び、ビデオ符号化装置 - Google Patents
ビデオ符号化時の動き予測の実行方法、ビデオ符号化システム、及び、ビデオ符号化装置Info
- Publication number
- JP2003153283A JP2003153283A JP2002258846A JP2002258846A JP2003153283A JP 2003153283 A JP2003153283 A JP 2003153283A JP 2002258846 A JP2002258846 A JP 2002258846A JP 2002258846 A JP2002258846 A JP 2002258846A JP 2003153283 A JP2003153283 A JP 2003153283A
- Authority
- JP
- Japan
- Prior art keywords
- value
- comparison value
- block
- video
- sad
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000004364 calculation method Methods 0.000 claims abstract description 87
- 238000012545 processing Methods 0.000 claims description 44
- 230000001186 cumulative effect Effects 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 21
- 238000009825 accumulation Methods 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000010295 mobile communication Methods 0.000 claims description 2
- 230000006835 compression Effects 0.000 description 32
- 238000007906 compression Methods 0.000 description 32
- 238000004422 calculation algorithm Methods 0.000 description 12
- 230000007246 mechanism Effects 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000011156 evaluation Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 6
- 239000000872 buffer Substances 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 230000001419 dependent effect Effects 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 230000009467 reduction Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000004217 heart function Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/557—Motion estimation characterised by stopping computation or iteration based on certain criteria, e.g. error magnitude being too large or early exit
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
- G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Color Television Systems (AREA)
Abstract
なSAD計算を省く動き予測方法を提供する。 【解決手段】 現フレームFR1中のビデオブロックX
(c,r)と参照フレームFR2中の探索範囲S(c)内
のビデオブロックY(c,r)とのSAD算出手段1、SAD
計算中に中間SAD値がある閾値を越えたらあるY
(c,r)についてのSAD計算を中断する割込信号17、S
AD計算中に中間SAD値がそれまで計算したSAD最小値を越
えたらあるY(c,r)についてのSAD計算を中断する
割込信号18および計算したSAD値が他の閾値より小さけ
れば、その探索範囲S(c)内の他のビデオブロックに
対するSAD計算を省く割込信号19を備えて構成した。
Description
ビデオの動き予測を実行する方法に関し、その場合、ブ
ロックを含むフレームからビデオ信号を構成し、符号化
対象フレームの現在のビデオ・ブロックと、別のフレー
ムの少なくとも1つの別のビデオ・ブロックとを用いる
ことにより、組み合わされた比較値を形成し、上記符号
化対象フレームの前記現在のビデオ・ブロックは第1の
データ値のセットを含み、別のフレームの前記少なくと
も1つの別のビデオ・ブロックは第2のデータ値のセッ
トを含み、前記1組の第1のデータ値から得られるデー
タ値と、前記第2のデータ値のセットから得られる等し
い数の対応するデータ値とからデータ値対を形成し、比
較値を定めることにより前記組み合わされた比較値を形
成し、これら比較値の各々は、前記データ値対の1つの
データ値対のデータ値を用いることにより定められ、少
なくとも1つの閾値を定め、さらに、前記組み合わされ
た比較値を定める処理の終了が可能どうかが判定され
る。また本発明は、ビデオ符号化時にビデオの動き予測
を実行するビデオ符号化システムにも関し、ブロックを
含むフレームから上記ビデオ信号を構成し、上記システ
ムは、符号化対象フレームの現在のビデオ・ブロック
と、別のフレームの少なくとも1つの別のビデオ・ブロ
ックとを利用することにより、組み合わされた比較値を
形成する手段を具備し、上記符号化対象フレームの前記
現在のビデオ・ブロックは第1のデータ値のセットを含
み、前記別のフレームの少なくとも1つの別のビデオ・
ブロックは第2のデータ値のセットを含む。組み合わさ
れた比較値を形成する前記手段には、各々が、前記第1
のデータ値のセットから得られる等しい数のデータ値及
び前記第2のデータ値のセットから得られる等しい数の
対応するデータ値のデータ値のデータ値対からなる、一
連の少なくとも2つのサブセットを入力する入力手段
と、前記データ値対の1つのデータ値対のデータ値を用
いることにより定められる各比較値を定める手段と、少
なくとも1つの第1の閾値を定める手段と、前記組み合
わされた比較値を定める処理の終了が可能かどうかを判
定する手段とが含まれる。本発明はさらにビデオ符号化
装置に関し、上記ビデオ符号化装置は、ブロックを含む
フレームから成るビデオ信号を符号化する手段と、ビデ
オの動き予測を実行する手段と、符号化対象のフレーム
の現在のビデオ・ブロックと、別のフレームの少なくと
も1つの別のビデオ・ブロックとの間で、組み合わされ
た比較値を計算する手段であって、上記符号化対象フレ
ームの前記現在のビデオ・ブロックは第1のデータ値の
セットを含み、前記別のフレームの少なくとも1つの別
のビデオ・ブロックは第2のデータ値のセットを含み、
前記第1のデータ値のセットと、前記第2のデータ値の
セットの値の対の間で比較値を定めることにより前記組
み合わされた比較値を形成するように為す上記計算手段
と、少なくとも1つの閾値を定める手段と、前記組み合
わされた比較値を定める処理の終了が可能かどうかを判
定する手段とを具備する。
むビデオ符号化システムが知られている。次いで、これ
らのブロックは符号化され、復号化装置へ伝送された
り、記憶媒体の中へ記憶されたりする。伝送対象の情報
量を減らすために、MPEG2(Moving Pic
ture Experts Group)のような様々
な圧縮方法が開発されてきた。ビデオ画像の伝送時に、
フレーム間圧縮、フレーム内圧縮、あるいはこれらの圧
縮の組み合わせとして画像圧縮の実行が可能である。フ
レーム間圧縮では、その目的として、連続する画像フレ
ーム内の冗長な情報の除去が意図される。一般に、画像
には、例えば動きのない背景などを示す上記のような多
量の変化しない情報や、被写体がゆっくりと動くときに
ゆっくりと変化する情報が含まれる。フレーム間圧縮で
は動き補償の利用も可能である。動き補償を利用する目
的は、画像内での、動きのある大きな要素の検出であ
る。その場合、エンティティ全体を表す画素を伝送する
代わりに、このエンティティの動きベクトル及びある種
の差分情報の伝送が行われる。このようにして、当該エ
ンティティの動きの方向と速度とが定義され、この動き
ベクトルが確定される。圧縮を行うために、送信用及び
受信用ビデオ端末装置では、リアルタイムでの圧縮及び
解凍ができるような非常に高い処理レートが要求され
る。
されて、複数のブロックが形成される。この各ブロック
には通常、16行×16画素の輝度サンプルと、モード
情報と、生じる可能性のある動きベクトルとが含まれ
る。このブロックは4つの8×8の輝度ブロックと2つ
の8×8の色差ブロックへ分割される。通常、走査(及
び符号化/復号化)は、フレームの最上部左側から最下
部右側コーナーへ1ブロックずつ進行する。1ブロック
の内部では、走査(及び符号化/復号化)の順序はブロ
ックの最上部左側から最下部右側コーナーへの方向とな
る。
ク内での離散余弦変換(DCT)符号化が行われるた
め、ブロック・サイズは8×8画素となる。変換される
輝度レベルは最大解像度のレベルである。双方の色差信
号がサブサンプル化される。例えば16×16の画素フ
ィールドが8×8の画素フィールドにサブサンプル化さ
れる。ブロック・サイズの差は、人間の目が輝度の変化
ほどには良好に色差の変化を識別できないという事実に
主に起因する。この場合、2×2の画素フィールドが同
じ色差の値で符号化される。
なわちIフレーム(フレーム内)、Pフレーム(予測フ
レーム)、Bフレーム(双方向フレーム)が定義され
る。Iフレームは専ら画像自体に含まれる情報に基づい
て生成され、受信端で、このIフレームを用いて画像全
体の形成が可能となる。Pフレームは先行するIフレー
ムまたはPフレームに基づいて形成され、受信段で、こ
の先行するIフレームまたはPフレームは、受信された
Pフレームと共に対応して利用される。Pフレームの構
成では、例えば動き補償を利用して情報量の圧縮が行わ
れる。Bフレームは、先行するIフレーム及び次のPフ
レームまたは次のIフレームに基づいて形成される。同
様に、受信段において、対応するIフレーム及びPフレ
ームまたはIフレームの受信が完了するまでは、Bフレ
ームを構成することはできない。さらに、送信段におい
て、これらのPフレームとBフレームの順序の変更が行
われる。その場合Bフレームに後続するPフレームが最
初に受信され、受信装置での画像の再構成が高速化され
る。
ムの圧縮時に最も高い効率が達成される。所定時に使用
されるアプリケーションにおいて、Iフレーム、Pフレ
ーム、Bフレームの数の変更が可能であることは言及し
ておくべきである。但し、この場合、受信装置の表示装
置で正しい画像の再構成が可能となるためには、受信端
で少なくとも1つのIフレームの受信が必要であること
に注意しなければならない。
のある参照フレームの探索領域の範囲内で、現在のフレ
ーム(チェック中のブロック)の範囲内の所定ブロック
に最も類似しているようなブロック(参照ブロック)を
見つけることである。多様な動き予測アルゴリズムの中
で、最もポピュラーなものはブロック・マッチングに基
づくアルゴリズムであり、フレーム・ブロック間の類似
度の基準として絶対差の合計(SAD)が利用される。
順に並べられたデータ2つのセットX={x1,…,xK}
とY={y1,…,yK}とが与えられたとすると、SAD
の値は以下のように定義される:
D(X,Y)をその加数Kで除したものとして定義され
ている。その場合、SADを平均絶対誤差(MAE)と
呼ぶこともある。ほとんどの場合Kは2のべき乗である
ため、上記2つの定義は実施構成から見た場合実質的に
同値である。なぜなら、後者の定義は単に或るビット数
だけ前者の定義の値をシフトすることにより得ることが
できるからである。
encoding context)では、SADは、
すべての現在のフレーム間の各16×16ブロックX
(c)(実際にはビデオ・シーケンスのほとんどすべて
のフレーム)と、1以上の参照フレームの探索領域S
(c)(図5を参照)の範囲内の複数16×16のブロ
ックY(c,r)、Y(c,r’)との間で計算され
る。X(c)と、探索領域S (c)の範囲内のブロック
Y(c,r)、Y(c,r’)との間のSADの中の最
小SAD値に対応するブロックY(c,r)を利用して
動き情報が形成される。このようにして、SADが何回
も適用されるため、SADの1回の演算処理の実行時間
を最小限向上するだけでも総ビデオ処理時間のかなりの
節減につながる。その一方で、当然のことながら、特に
携帯用/無線ビデオ処理用アプリケーションで、SAD
の計算に利用されるハードウェアが大きすぎたり、電力
を消費するものであってはならない。
ADの演算処理回数及び/又はサイズを少なくするため
の様々な探索方法を利用する様々な動き予測アルゴリズ
ムが数多く存在する。これらの動き予測アルゴリズム
は、次の対のXブロックとYブロックの選択肢が前回の
ステップで得られたSAD値に依存しないデータ非依存
型探索と、データ依存型探索との2つのカテゴリに大ま
かにグループ化することができる。通常、データ依存型
探索方法は、より少ない回数のSADの演算処理の実行
を必要とする。しかし、データ非依存型動き予測アルゴ
リズムに典型的な規則的データ移動を単純に組織できる
ことに起因して、ハードウェアの実施構成のほとんどは
データ非依存型動き予測アルゴリズムに基づいている。
データ依存型方法に共通のものとして、次の対のXブロ
ックとYブロックを選択するいくつかのオプションが存
在するという点が挙げられ、この次の対は現在のSAD
値に対応して選択される。
PP)で実行する場合、様々な動き予測アルゴリズムに
よって総ビデオ符号化時間のほぼ40%〜80%が費や
されている。ブロック・マッチング動き予測アルゴリズ
ムにおける基本演算処理はSADであり、このSADは
ビデオ符号化処理中何回も適用される。典型的高速動き
予測アルゴリズムでは、ビデオ・シーケンスの範囲内で
(16×16のサイズの)ほとんどすべてのブロックに
ついておよそ30回のSAD計算が繰り返される。QC
IF(Quarter Common Interme
diate Format)解像度のビデオ・シーケン
スで毎秒15フレームの場合でさえ、毎秒少なくとも2
56個の点に対してSAD計算が44550回行われる
ことを意味する。組込み型システムにおける典型的マイ
クロプロセッサであるARME9Eマイクロプロセッサ
上の全くのソフトウェアによる実施構成では、256個
の点に対する1回のSADの計算は数千クロック・サイ
クルを要する。これは、ビデオ符号化のソフトウェアに
よる実施構成における動き予測だけのために毎秒数億サ
イクルが費やされることを意味する。
動き予測装置が文献に報告されている。このような装置
に関わるSAD計算用アーキテクチャの1つの種類とし
てカスケード接続型アーキテクチャがある(例えば特許
文献1)。
に、図6に従って記述できるような、“並列/反復型累
積SADアーキテクチャ”と呼べるようなタイプのアー
キテクチャがある(例えば特許文献2,3または非特許
文献1)。これらのアーキテクチャでは、すべての対の
データ値(現在のブロックから得られる1つの値と、参
照ブロックから得られる別の値)の間の絶対差を示す代
表値であるいくつかの比較値が計算ユニットの1ブロッ
クの範囲内のすべてのステップで計算される。次いで、
これらの値は、内部フィードバックを持ちうる合計ブロ
ックの範囲内で1つずつまたは1部分ずつ(反復して)
あるいは全て同時に(並列に)累積される。所定の2つ
のブロックについてのすべての対の比較値を累積した
後、これら2つのブロック間のSADが得られる。次い
で、所定の1ブロックX(c)と探索領域S(c)の範
囲内の複数のブロックY(c,r)との間で得られたS
ADが最小値評価装置内で分析され、最小のSADを生
成するブロックが選択されて、動き予測情報が形成され
る。
利用ではSAD値が大きすぎればそのブロックは問題と
はならない。したがって、SADアーキテクチャ内の累
積手段は、SAD値が最も悪いケースの正確なSAD値
に必要な精度よりも低い精度(ビット幅)を用いて実現
されるものであってもよい。この場合、大きい方のSA
D値が不正確に計算されるようなことがあっても、これ
が動き予測の結果に影響を与えることはない。
つかの割込みメカニズムが例えば特許文献1(米国特許
6,154,492)の中に記載されている。この特許
公報には、カスケード接続型プロセッサ・エレメントを
具備する動きベクトル検出装置が開示されている。これ
らのプロセッサ・エレメントにより、1画像を構成する
複数の画素の各々と、1ブロック中に含まれる同数の画
素の対応する1画素との差の絶対値が計算され、さら
に、上記ブロック内の差の絶対値の累積加算が行われ
る。これらの演算処理が所定の探索領域の範囲内のブロ
ックの各々について行われる。比較装置によって、最終
段階でプロセッサ・エレメントの中にシーケンシャルに
取得された2つのブロックの累積加算値が繰り返し比較
され、累積加算値のうちより小さい累積加算値が選択さ
れる。減算器はより小さい累積加算値を設定値と比較す
る。より小さい累積加算値が設定値よりも小さい場合、
制御回路は、装置の動作全体を停止するために、プロセ
ッサ・エレメントと比較装置へのクロック信号の供給を
停止する。動きベクトルの判定にとっては小さい方のS
AD値のみが重要であるため、大きい方のSAD値は不
正確に計算されたものであってもよい。これは、装置内
の機能ユニットの精度が最もSAD値が悪い場合の正確
なSAD計算に必要な精度よりも小さな精度を持つもの
であってもよいことを意味する。このことがシリコン領
域と電力消費量との節減につながることは明らかであ
る。しかし、この解決方法では、アーキテクチャの一部
分しか停止されず、したがって、部分的な電力の節減と
はなるが、実行時間の節減とはならない。事実、特許文
献1(米国特許6,154,492)のアーキテクチャ
は、各々が3つの加算器から成るK=256の処理用エ
レメントから構成されている。このようなアーキテクチ
ャは現在の技術の状態で実現可能であるようには思われ
ない。あるいは、少なくとも移動通信用ビデオ符号化シ
ステムの中へ組み込むには大きすぎるように思われる。
さらに、このアーキテクチャは動き予測用の通常のデー
タ非依存型探索方法しかサポートしていない。それは、
アーキテクチャの完全な中断がパイプライン(256個
のパイプライン段)の完全な再ロードを意味することに
なるからである。
(c,r)との間のSADの計算を計算完了前に終了さ
せ、次いで、X(c)と、探索領域S(c)から得られ
る別のブロックY(c,r’)との間の絶対差の合計の
新しい計算を上記早期終了のほぼ直後に開始することが
できるいくつかの状況が動き予測のSAD計算には存在
する。このような状況を示す例として、X(c)とY
(c,r)との間のSADの計算の途中で、所定の閾
値、または、X(c)と探索領域S(c)の範囲内の或
るブロックY(c,r”)との間のSADで前に得られ
た値をすでに上回る一時的SAD値が得られる場合が挙
げられる。いくつかのある別の状況では、所定の探索領
域S(c)の範囲内の参照ブロックの探索を終了させ、
通常の方法でこの処理を完了させる前にX(c)の動き
補償情報を形成するようにしてもよい。このような状況
を示す一例として、2つのブロックX(c)とY
(c,R)(図示せず)間のSAD値が別の所定の閾値
よりも小さいケースがある。したがって、いくつかの割
込みメカニズムを、SAD計算及び/又は参照ブロック
探索の早期終了を可能にする動き予測用装置へ一体化す
る方がかなりの利点を提供するものとなる。
A.Hakkennes、J.S.S.M.Wong、
G.G.Pechanek著、“合計絶対誤差動き予測
アクセラレータ(The sum−absolute−
difference motion estimat
ion accelerator)”Euromicr
o会議会報、1998年、p.559−566
予測を実行するための改善された方法、システム及び装
置を提供することが本発明の目的である。本発明は、反
復/並列累積型SADアーキテクチャの中へ割込みメカ
ニズムを組み込み、それによって、さらなる計算が無用
または望ましくないある環境において絶対差の合計計算
及び/又は参照ブロックの探索の終了を可能にするとい
う着想に基づくものである。ある状況では、所定のブロ
ックX(c)と、探索領域S(c)から得られる新しい
ブロックY (c,r’)との間の絶対差の合計の新しい
計算が早期終了のほぼ直後に開始される。いくつかの別
の状況では、所定の探索領域S(c)の範囲内の参照ブ
ロックの探索が終了され、所定のブロックX(c)のた
めの動き補償情報が形成される。これは、中間SAD値
がすでに高くなりすぎて前記現在のブロックX(c)と
前記別のブロックY(c,r’)との間のSAD計算の
割込みができないかどうかを判定するための中間SAD
値のチェックにより、並びに、最終SAD値がすでに十
分低いために所定の探索領域S(c)の範囲内の所定の
ブロックX(c )の探索を終了できるかどうかを判定す
るための最終SAD値のチェックにより達成される。
なくとも以下のステップを有することを主たる特徴とす
るものである:各々が少なくとも1つの比較値からなる
少なくとも1つの比較値のサブセットを形成するための
計算ステップと、上記計算ステップで得られた前記少な
くとも1つの比較値のサブセットを用いて反復して更新
される現在の累積比較値を示す信号を形成するための累
積ステップと、少なくとも1つの信号を少なくとも1つ
の閾値と比較することにより、処理の終了が可能かどう
かの判定を行う判定ステップと、上記判定ステップで行
われた判定に従って、終了し、及び、前記組み合わされ
る比較値を定める新規処理の初期化を行うステップ。
くとも以下の手段を具備することを主たる特徴とするも
のである:各々が少なくとも1つの比較値からなる少な
くとも1つの比較値のサブセットを形成するための計算
手段と、上記計算手段で得られた前記少なくとも1つの
比較値のサブセットを用いて反復して更新される現在の
累積比較値を示す信号を形成するための累積手段と、少
なくとも1つの信号を少なくとも1つの閾値と比較する
手段を含む、計算処理の終了が可能かどうかを判定する
判定手段と、上記判定ステップで行われた判定に従っ
て、現在の処理を終了させ、前記組み合わされた比較値
を定める新規処理を初期化する手段
も以下の手段を有することを主たる特徴とするものであ
る:各々が少なくとも1つの比較値からなる少なくとも
1つの比較値のサブセットを形成するための計算手段
と、上記計算手段で得られた前記少なくとも1つの比較
値のサブセットを用いて反復して更新される現在の累積
比較値を示す信号を形成するための累積手段と、少なく
とも1つの信号を少なくとも1つの閾値と比較する手段
を含む、計算処理の終了が可能かどうかを判定する判定
手段と、上記判定ステップで行われた判定に従って、現
在の処理を終了させ、前記組み合わされる比較値を定め
る新規処理を初期化する手段
ない及び/又は可能最大SAD値に必要なビット幅より
も低いビット幅の反復累積手段が用いられない従来技術
のハードウェアによる解決方法と比較したとき、著しい
利点を提供する。参照ブロックが動き予測に適していな
いことに判明したときほとんど即座に、現在のブロック
と1つの参照ブロックとの間のSAD値の計算を早期に
終了させることができ、次のブロックのチェックの開始
が可能となるため、探索領域の範囲内のブロックのチェ
ックをより高速に行うことが可能となる。さらに、現在
のブロックX( c)と所定の参照ブロックY
(c,R0)との間のSAD値をテストして適度に十分
小さな値であれば、所定の現在のブロック(例えばX
(c))と、複数の参照ブロック(例えば
Y(c,R))との間のSAD値の計算を予め終了させ
ることが可能となる。したがって無用の計算処理を回避
することが可能となる。ほとんどの動き予測アルゴリズ
ムでは無用な計算の存在が判定されるケースがきわめて
頻繁に生じるので、これらの変更は、実行時間と電力消
費量の節減の主要な改善につながることになる。低精度
の累積手段が使用される可能性によって、本発明で提案
されたアーキテクチャのサイズと、実行時間の大幅な減
少がもたらされる。累算器のサイズの減少は、さらに多
くの並列計算ユニットを備えたより高速のアーキテクチ
ャが実際に実行可能となりつつあることをも意味する。
献1(米国特許6,154,492)で用いられている
利点と比較すると、提案された本終了メカニズムの利点
として以下の点が挙げられる:
存在が判定されると次の対のブロックのSADの計算が
開始され、それによって実行時間と電力消費量の双方が
節減される。特許文献1(米国特許6,154,49
2)の割込みメカニズムはアーキテクチャの一部分だけ
を停止させるものにすぎず、不要なSADの計算が実行
できてから停止を行うにすぎない。
イニングのみによって、動き予測時の規則的並びに不規
則的データ依存型探索方法をサポートすることもでき
る。ある好適実施例では、終了後、(4つの中から)2
つのパイプライン段の再ロードを必ず行う必要がある。
特許文献1(米国特許6,154,492)のアーキテ
クチャは通常の、データ非依存型動き予測アルゴリズム
向けのものである。
細に本発明について説明する。以下、K対のnビット入
力データが仮定される一般的ケースについて本発明の説
明を行う。但し、ビデオ符号化コンテキストにおいて、
K=256、n=8は最も一般的なケースである。ビデ
オ符号化だけでなく、医療用画像処理システムやレーダ
ー画像処理システムのような他のアプリケーションにお
いても、また、パターン認識がリアルタイムで実行され
る他の信号処理タスク(心電図(ECG)装置、心臓機
能を記録する植え込み型電気的除細動器−細動除去器
(ICD)装置、音声処理など)においても、絶対差の
合計が利用できる可能性があることに留意されたい。
測を実行する方法の原理を示す。図5には、図を明瞭に
するために2つのフレームFR1、FR2のみを示す。
符号化対象フレームFR1には、画素値Xi,jを含む
1以上のブロックX(c)が含まれる。これらの画素値
Xi,jのうちの2、3のみ図に示す。参照フレームF
R2の中に探索領域S(c)が定義される。符号化対象
フレームFR1の現在のブロックX(c)と、参照フレ
ームFR2の参照ブロックY(c,r)との間の比較実
行領域が探索領域S(c)により定義される。しかし、
実施例によっては、探索領域S(c)として参照フレー
ムFR2の全領域の利用が可能であることは明らかであ
る。本方法では、現在のブロックX(c)との比較を行
うために参照ブロックY(c,r)、Y(c,r’)が
1ブロックずつ選択される。この探索処理は、全探索領
域S(c)がチェックされるまで継続されるか、探索終
了のための他に設定しうる条件が満たされるまで継続さ
れる。以下、この探索についてさらに詳細に説明する。
み型割込みメカニズムを備えた、図6の反復/並列累積
型SADアーキテクチャの一般的構造を示す。このアー
キテクチャの構造には、例えば、画像データを記憶する
記憶手段25と、SAD計算手段1と、制御回路構成な
どが含まれる。SAD計算手段1には、比較値を形成す
る手段P1と、該比較値を用いることにより、累積値
と、組み合わされた比較値とを形成する手段P2、P3
と、最小SAD値を評価し、動き予測情報MEIを形成
する手段P4とが含まれる。
反復/並列累積型SADアーキテクチャの一般的構造の
さらに詳細な例である図1を用いて本発明を説明する。
本例は、本願出願人による並列出願に開示されているア
ーキテクチャの中に事前終了メカニズムを組み込むこと
により本発明の方法を例示するものである。図1は、簡
略化したブロック図で、本発明の好適な実施例による動
き予測ブロック16を示し、図2は、簡略化したブロッ
ク図で、図1の動き予測ブロック16のSAD計算手段
1の好適な実施例を示すものである。SAD計算手段1
は、4つのパイプライン段P1、P2、P3、P4と、
第1のパイプライン段P1の入力のバッファ7と、連続
するパイプライン段P1とP2;P2とP3及びP3と
P4の間のバッファ8、11、15とを具備する。本発
明の上記好適な実施例では、3つの異なる割込み信号が
存在し、これらの割込み信号はSADの計算を終了させ
るために生成される。第1の割込み信号17は第2のパ
イプライン段P2により生成され、この割込み信号17
は単に第2のパイプライン段P2の合計回路の桁上げ出
力を構成する信号にすぎない。第2の割込み信号18と
第3の割込み信号19とは第4のパイプライン段P4に
より生成される。第2の割込み信号18は、最小値評価
装置13内の比較手段の出力信号であり、この最小値評
価装置13は中間SAD値が現在の最小値を上回ったと
きハイにセットされる。第3の割込み信号19は最小値
評価装置13内の別の比較手段の出力信号であり、この
最小値評価装置13は完全な中間SAD値が所定の閾値
未満のときハイにセットされる。しかし、本発明は、3
つの割込みをすべて使用するであるアプリケーションだ
けに限定されるのではなく、ただ1つまたは2つの割込
みを用いて本発明を適用することができることに留意さ
れたい。また、本発明を適用する装置において3以上の
異なる割込みの使用も可能である。
0、21、22、Xデータ・アドレス・ジェネレータ2
3、Yデータ・アドレス・ジェネレータ24及び動き予
測ブロック16の動作を制御するクロック回路構成を具
備する。第1の割込み信号17は第1のORゲート20
を介してYデータ・アドレス・ジェネレータ24の第1
の制御入力と結合される。また第1の割込み信号17
は、第2のORゲート21と第3のORゲート22を介
して結合され、SAD計算手段1へのリセット信号が生
成される。第2の割込み信号18は、第1のORゲート
20を介してYデータ・アドレス・ジェネレータ24の
第1の制御入力と結合される。また第2の割込み信号1
8は第2のORゲート21と第3のORゲート22を介
して結合され、SAD計算手段1へのリセット信号が生
成される。第3の割込み信号は、第2のORゲート21
を介してXデータ・アドレス・ジェネレータ23の制御
入力部と、Yデータ・アドレス・ジェネレータ24の第
2の制御入力部とに結合される。
についてさらに詳細に説明する。第1に、ブロックデー
タ・セットX={x1,…,xK}とY={y1,…,yK}が
1部分ずつ記憶装置25などから第1のパイプライン段
P1の中へ入力される。本発明のこの好適な実施例で
は、第1のパイプライン段は計算ユニット2の4つのグ
ループ3を具備し、各グループは4つの計算ユニット2
を具備する。さらに一般的なケースでは、第1のパイプ
ライン段P1はs個のグループ3を具備し、各グループ
はp個の計算ユニット2を具備する。パラメータsとp
は、m=sp、双方のパラメータs、pが正の整数、す
なわちs、p≧1となるように選択されるグループ3の
各計算ユニット2は同じ入力X1,Y1;X2,Y2;
X3,Y3;X4,Y4を異なるクロック・サイクル時
において共有する。SAD計算手段1の入力対(Xi,
Yi)(i=1,…,4)は、i番目のグループのすべ
ての計算ユニットDSi,j(j=1,…,4)の入力
対(Xi,j,Yi,j)と入力レジスタ7を介して接
続される。第1のパイプライン段のこれらの入力レジス
タ7のすべては、SAD計算手段1の4動作サイクルに
1回の動作サイクル中開かれている。このようにして、
すべての処理ステップにおいて、SAD計算手段1の各
入力対(Xi,Yi)(i=1,…,4)は、唯一の計
算ユニットの入力(Xi,j,Yi,j)の対と実際に
接続され、その間、その他の接続部は活動しなくなる。
これは、第1のパイプライン段の対応する入力レジスタ
7が書込みに対して閉じられることに起因する。すべて
のグループ(i=1,…,4)の第1の計算ユニットD
Si,1の入力部における第1のパイプライン段の入力
レジスタ7は、4処理ステップ毎の第1のステップの間
開かれ、すべてのグループの第2の計算ユニットDS
i,2の入力部におけるパイプライン段の入力レジスタ
は4処理ステップ毎の第2のステップの間開かれ、以下
j=3,4の場合も同様である。グループ3の計算ユニ
ット2の出力部は2つのマルチプレクサ4、5の入力部
と接続されるため、計算ユニット2のnビット出力部が
第1のマルチプレクサ4のnビット入力部の中の1つと
接続され、計算ユニット2の1ビット出力部が第2のマ
ルチプレクサ5の1ビット入力部の中の1つと接続され
るようになる。第1のマルチプレクサ4はp個のnビッ
ト入力部と1つのnビット出力部とを具備する。それぞ
れ、第2のマルチプレクサ5はp個の1ビット入力部と
1個のnビット出力部とを具備する。1つのグループ3
の計算ユニット2はほぼ1回分の処理ステップの時間オ
フセットで動作し、この場合この処理ステップは圧縮ア
レイ6の遅延にほぼ等しい持続時間Tpを有することに
なる。それぞれ、やはりほぼ1回分の処理ステップの時
間オフセットを用いて、符号データと差分データとが計
算ユニット2の出力部で形成される。1つのグループ3
のすべての計算ユニット2の出力部の対は、マルチプレ
クサ4、5を介して圧縮アレイ6の単一対の入力部と接
続されるため、処理ステップ毎に、符号データと差分デ
ータとを計算したばかりの計算ユニット2が、マルチプ
レクサ4、5と出力バッファ8とを介して圧縮アレイ6
と接続されることになる。したがって、圧縮アレイ6
は、処理ステップ毎に、すべてのグループ3の異なる計
算ユニット2間で交番する新しい符号データと差分デー
タ部分の受信と累積を行う。
であり、この圧縮アレイ6は、第1のパイプライン段P
1からのs個の入力信号と、第1のパイプライン段P1
の合計出力9と桁上げ出力10からの2つのフィードバ
ック信号とを有する。圧縮アレイ6は、すべての差分デ
ータと符号データとを受信し、これらのデータは一緒に
加算されて、圧縮された差分データと符号データの(合
計項と桁上げ項の)2つの列が生成される。圧縮アレイ
6は、バッファ8の出力部に符号データと差分データと
を累積することにより、処理ステップ毎に圧縮アレイ6
の合計項と桁上げ項の値を更新する。すべての値の対に
ついて符号データと差分データの累積が実行された後、
圧縮アレイ6の出力部は圧縮された最終差分データと符
号データとを有し、これらのデータは、第3のパイプラ
イン段P3を構成する加算器12により累積される。
には、好適には、公知の全加算器(FA)もしくは4/
2比圧縮装置のいずれかから構成される桁上げ保存加算
器のツリーである。このツリーの様々な構成が可能であ
る。最もSAD値が悪いケースで正しいSAD計算を行
うためには、上記ツリーのビット幅(精度)は(n+l
og2K−1)ビットでなければならない。但し、nは
入力データ内でのビット数であり、Kは1ブロックの範
囲内の入力データのサンプル数である。例えば、8ビッ
ト入力値が用いられ、ブロック・サイズが256である
場合、可能最大SAD値の合計項と桁上げ項とを正確に
取得するために、圧縮アレイ6のビット幅は15ビット
であることが望ましい。
6により計算された合計項と桁上げ項の値を一時的に記
憶する出力レジスタ11を有する。この一時的記憶は適
切な同期パイプライン・クロック・タイミングの制御に
必要である。出力レジスタ11も使用されて、合計項と
桁上げ項が記憶され、これらの項は圧縮アレイ6の入力
部へ返送されて、後続する処理ステップで合計される。
は加算器12を具備し、この加算器12により、計算さ
れた合計項と桁上げ項とが加算され、現在のブロックと
現在の参照ブロックとの間の絶対差の合計が生成され
る。本解説で前述したように、絶対誤差SAD(X,
Y)の合計を加算器12の加数Kで除することにより、
加算器12によって例えば平均絶対誤差(MAE)の計
算を行うことも可能である。
3であり、この最小値評価装置13は比較手段(図示せ
ず)と、最小SAD値の記憶手段14とを具備する。所
定の現在のブロックX(c)に対する動き予測の開始時
に、最小SAD値が初期値(通常、大きな値、例えば最
小SAD値のとり得る最大値)にセットされる。次い
で、最小値評価装置13の比較手段によって、第3のパ
イプライン段の加算器12で形成された最新のSAD値
が、記憶された最小SAD値と比較され、この最新のS
AD値の方が小さかった場合、それまでに得られた最小
SAD値は上記最新の最小SAD値と置き換えられる。
所定の現在のブロックX(c)に対するすべてのSAD
計算を行った後、最小SAD値を用いてX(c)の動き
予測情報MEIが形成される。
照して、さらに詳細にSAD計算ユニット1の上記実施
例について説明する。
処理では十分に小さなSAD値だけが重要であるという
観察に基づくものである。ビデオ符号化時の動き補償を
行うために実際に使用されるとき、SAD値が大きすぎ
れば、この値は問題とはならない。したがって、所定の
閾値よりも大きなSAD値を正確に計算する必要はな
い。この事実は、2重の目的のために、すなわち、合計
手段と比較手段とのビット幅の縮小を行うため、並び
に、所定の閾値よりもSADが大きくなりそうな場合、
SADの計算を終了させるために利用することができ
る。
段1の第2のパイプライン段P2の圧縮アレイ6と、第
3のパイプライン段P3の加算器12と、第4のパイプ
ライン段P4の最小値評価装置とは、可能最大SAD値
を正確に取得するために必要な精度よりも低い精度で実
現することが可能である。すなわち、最悪のSAD値の
ケースにおける正しいSAD計算に必要な(n+log
2K−1)ビットの精度より低い精度で圧縮アレイ6を
実現することも可能であり、さらに、加算器12と、最
小値評価装置13の比較手段とを(n+log2K)ビ
ットの精度よりも低い精度で実現することも可能であ
る。この場合、前述の場合と同様に、nは入力データ内
のビット数であり、Kは、1ブロックの範囲内の入力デ
ータのサンプル数である。例えば、8ビット入力値が使
用され、ブロック・サイズが256である場合、圧縮ア
レイ6のビット幅を例えば7ビットなどの15ビットよ
りも低いビット幅にしてもよい。さらに加算器12と最
小値評価装置13内の比較手段のビット幅を例えば8ビ
ットなどの16ビットよりも低いビット幅にしてもよ
い。その場合、大きいほうのSAD値が不正確に計算さ
れても、通常、このSAD値は動き予測の結果に影響を
与えることはない。本実施例はSAD計算手段1のサイ
ズ及び電力消費量の著しい削減をもたらす可能性があ
る。サイズの削減は、第1のパイプライン段の中にさら
に多くの計算ユニットを含むさらに高速な手段が実際に
実行可能となることを意味する場合もある。
イ6により形成されたすでに処理済みのデータの差の一
時的合計の桁上げ項がチェックされて、この桁上げ項が
所定の第1の閾値を上回っているかどうかの判定が行わ
れる。本好適な実施例では、上記チェックは、第2のパ
イプライン段P2の桁上げ出力10の状態のチェックに
より行うことができる。事実、桁上げ出力10の最上位
ビットは、第1のORゲート20と結合され、その場合
この第1のORゲート20は第1の割込み信号17とし
て機能する。したがって、桁上げ出力10の最上位ビッ
トが論理“1”状態にある場合、第1の割込み信号17
が生成され、中間SAD値が所定の第1の閾値を上回っ
ているという情報がSAD計算手段1に与えられ、その
場合、現在のブロックと参照ブロックとの間でSAD値
の計算を継続する必要はなくなる。第1の割込み信号
(論理“1”状態など)のアクティブ状態により、第1
のORゲート20の出力部はアクティブ状態にセットさ
れる。本解説で前に述べたように、このアクティブ状態
へのセットはYデータ・アドレス・ジェネレータ24の
第1の制御入力部と、第2のORゲート21の入力部と
に結合される。次いで、Yデータ・アドレス・ジェネレ
ータ24によってYデータ・アドレス・ジェネレータの
第1の制御入力の論理状態のアクティブ状態への変化が
検出され、次いで、Yデータ・アドレスを変更して別の
参照フレームの(未チェックの)ブロックが参照され
る。またSAD計算手段1のパイプライン段P1、P
2、P3、P4はその初期状態にリセットされる。次い
で、動き予測ブロック16は参照フレームの現在のブロ
ックと次の参照ブロックとの間のSAD値の計算を開始
する。
のビット幅(計算精度)により判定される。圧縮アレイ
6の絶対差の値の一時的合計が、ある累積ステップで所
定の第1の閾値の値を上回った場合、ブロックX(c)
とY(c,r)の所定の対に対するSAD計算処理は終
了させられる。例えば、8ビット入力値を使用し、ブロ
ック・サイズが256である場合、可能最大SAD値を
正確に取得するためには圧縮アレイ6のビット幅を15
ビットにする必要がある。しかし、本推奨実施例では幅
は、この差の値が
ットされることを意味する。本実施例には特別な比較手
段を必要としないという利点がある。いくつかの別の好
適な実施例では、例えば比較器(図示せず)などの比較
手段を用いて絶対差の一時的合計を第1の閾値と比較
し、この差分データの絶対値が第1の閾値よりも大きい
場合、第1の割込み信号17を生成することが可能であ
る。
5とXとYデータ・アドレス・ジェネレータ23、24
は、動き予測ブロック16内部のみならず外部にも存在
してもよいことに留意されたい。本解説に記載の割込み
メカニズムは上記内部、外部双方の場合機能することが
できる。
制限的な、SAD計算手段の実施例であるが、例えば図
6に一般的に描かれているような別の種類のSAD計算
手段1を本発明と共に使用することが可能である。特
に、第1のパイプライン段P1の構造は様々な実施例で
変更可能である。
のSAD値の一時的な値が現在のXデータについてそれ
までに得られた最小SAD値をすでに上回っている場
合、現在のSADの計算を完了する必要はないという観
察に基づいている。第1の割込み信号17と同様に機能
する別の割込み信号18が利用される。
のP3と第4のP4のパイプライン段が、第1のP1と
第2のP2のパイプライン段と並列に作動する。但し、
おそらく、異なるクロック周波数C1、C2が使用され
る。なぜなら、最後の2つのパイプライン段P3、P4
は速度の遅いものであってもよく、すべての処理ステッ
プで作動する必要はないからである。これらの変更に伴
い、T回の(第1の2つのパイプライン段P1、P2の
クロック周波数C1に対応する)基本処理ステップ毎
に、第3のパイプライン段P3の加算器12の出力部で
部分的なSAD値が形成される。但し、Tは、最初の2
つのパイプライン段P1、P2のクロック周波数C1
と、最後の2つのパイプライン段P3、P4のクロック
周波数C2との間の比である。最小値評価装置13は、
T回の基本処理ステップ毎に、部分的SAD値を現在の
最小SAD値と比較する。その基本処理ステップにおい
て、現在の部分的SAD値が実際に最終SAD値である
ことが認知された場合、最小SAD値の方が現在のSA
D値よりも大きければ、最小SAD値は置き換えられ
る。たとえ部分的SAD値の方がこの最小値より小さく
ても、上記置き換えが行われる前に最小SAD値が置き
換えられることはない。しかし、部分的SAD値の方が
現在の最小SAD値よりも大きければ、第2の割込み信
号18がアクティブにセットされる。第1の割込み信号
17の場合と同様、第2の割込み信号18はSAD計算
手段1をリセットし、次のYデータを用いて現在のXデ
ータの計算を開始するためにYデータ・アドレス・ジェ
ネレータ24を起動させる。
て、上記実施例を利用する場合、遅いクロック周波数で
の最後の2つのパイプライン段の動作に起因して電力/
エネルギーの節減という利点が生じることに留意された
い。
3の割込み信号19を利用して、現在の探索領域に対す
るSAD計算処理の中断を行うことも可能である。本実
施例は、現在のXブロックとYブロック間のSAD値が
十分に小さい(所定の第2の閾値TH2よりも小さい)
場合、現在のXブロックと残りのYブロック間のSAD
値の計算が不要であるという観察に基づくものである。
このような状況を処理するために、別の割込み信号(第
3の割込み信号19)が第4のパイプライン段P4によ
り形成される。第3の割込み信号19を生成するため
に、第4のパイプライン段P4は、第2の閾値TH2用
レジスタ(図示せず)と、現在のSAD値(最終SAD
値)を第2の閾値と比較する比較器(図示せず)とを好
適に具備する。(最終)SAD値の方が第2の閾値より
も小さくなった場合、第3の割込み信号19がアクティ
ブになる。この第3の割込み信号19は、新しいリセッ
ト信号の形成のために、第2のORゲート21で第1の
割込み信号17と、第1のORゲート20で第2の割込
み信号18と、第3のORゲート22で原リセット信号
41と結合される。第3の割込み信号19は、X及びY
データ・アドレス・ジェネレータ23、24の双方に新
しいデータを送らせるために、これら双方とも結合され
る。この新しいデータは、例えば、
ック(図示せず)として選択される、符号化対象の前記
フレームFR1の新しい(未チェック)ブロック(イ)
と、データ値(ニ)を含む別のビデオ・フレーム(図示
せず)のブロック(ハ)とを含むものであってもよい。
これらのブロック(イ),(ハ)の一例も図5に示され
ている。
及び実行時間の著しい改善につながることは明らかであ
る。しかし、これらの節減はビデオ・シーケンスと、動
き予測アルゴリズムと、本発明の実現構成とに左右され
るため節減の量的評価を行うことは困難である。
った場合、全ての参照ブロックが現在のブロックX
(c)のSAD値の計算に使用されたかどうかのチェッ
クが行われる。現在のブロックについてのSAD値の計
算時にまだ使用されていない少なくとも1つの参照ブロ
ックY(c,r)、Y(c,r’)が依然として存在す
る場合、上述の処理手順が反復される。使用されていな
い参照ブロックが存在しない場合、得られた最小SAD
値がビデオ符号化処理の後の段階で使用され、現在のブ
ロックをそのまま符号化するか、動き補償を行うかの判
定が行われる。最小値評価装置13は、現在のブロック
の最小SAD値を生成したブロックの座標を判定し、制
御ユニット26などの判定手段へ最小SAD値と共に座
標情報を好適に転送する。上記判定手段では、最小SA
D値がチェックされて、現在のブロックをそのまま符号
化するか、動き補償を行うかの判定が行われる。この判
定手段は、例えば、ブロックの転送に必要な情報量の評
価や、動き補償情報の転送に必要な情報量の評価を行う
ことが可能である。次いで、情報転送容量の少ない方の
選択肢が判定手段により好適に選択される。
伝送することを選択した状況で、伝送対象情報の中には
少なくとも座標情報と動きエラー情報とが好適に含まれ
る。座標情報を利用して、以前に受信され、復号化され
たどの参照ブロックが動きベクトルの形成に利用された
かについての情報が復号器に与えられる。この動き誤差
情報とは現在のブロックと参照ブロックのそれぞれの画
素値間の差分である。次いで、動き誤差情報により訂正
された前記参照ブロックを用いることにより、復号器は
現在のブロックの画像情報の形成が可能となる。
好適な実施例によるビデオ伝送システムについて説明す
る。伝送対象のビデオ信号はビデオカメラ27などによ
り得られるか、あるいは、例えば、ビデオ録画装置、デ
ジタル多用途ディスク(DVD)などのビデオ記憶手段
(図示せず)から取り出されたものであってもよい。ビ
デオ信号は符号器28へ転送され、符号器28は本発明
による動き予測を含むビデオ信号の符号化を実行する。
次いで、符号化されたビデオ信号は、必要に応じてチャ
ネル符号器29でチャネル符号化される。チャネル符号
化の目的は伝送チャネル30を介する伝送に適した形に
符号化されたビデオ信号の変換を行うことである。チャ
ネル符号化の細部はビデオ符号化システムの様々な実施
構成で変更が可能であり、これらの細部について当業者
は周知である。
ネル符号化ビデオ信号のチャネル復号化が行われ、符号
化されたビデオ信号の取出しが行われる。その後、復号
器32によりビデオ信号が復号化され、原信号とほぼ一
致することが予想されるビデオ信号が生成される。しか
し、実際問題として、いくつかの潜在的誤差の源が存在
し、これらの誤差の源は転送されたビデオ信号に影響を
与える可能性があり、復号化されたビデオ信号が原ビデ
オ信号とは異なるものとなる可能性がある。このような
伝送エラーの影響を最小限にするための誤差訂正メカニ
ズムが開発されている。
オ信号の表示を行うこと及び/又は記憶手段34の中へ
該ビデオ信号を記憶することが可能である。
オ符号化装置35を簡略に示すものである。当該端末装
置は送信及び受信の双方に適したものであるが、本発明
は単純な端末装置と接続して利用することも可能であ
る。ビデオ符号化装置35では、図4のブロック図に提
示されているすべての機能特性は必ずしも必要ではない
が、本発明の範囲内で、例えばキーボード36とオーデ
ィオ手段37とが設けられていないさらに単純なビデオ
符号化装置35を利用することも可能である。前記キー
ボード36とオーディオ手段37とに加えて、ビデオ端
末装置は、ビデオ・モニタ33、ビデオカメラ27また
はその類のビデオ手段も具備する。
めに、ビデオ符号化装置35は制御ユニット26を具備
し、この制御ユニット26は、例えば、マイクロ制御用
ユニット(MCU)、マイクロ処理用ユニット(MP
U)、デジタル信号プロセッサ及び/又はその類のもの
を具備する。さらに、制御ユニット26には、例えばア
プリケーション・プログラムとデータとを記憶する記憶
手段25と、制御ユニット26と別の機能ブロックとの
間で信号を伝送するためのバス・インターフェース手段
I/Oとが含まれる。ビデオ符号化装置35は、ビデオ
情報の符号化/復号化及び圧縮/伸長を行うビデオ・コ
ーデック38も具備する。圧縮はDCT変換と量子化な
どに基づいて行われ、その場合、伸長段階で、公知のよ
うに受信情報が逆量子化され、逆DCT変換が行われ
る。チャネル・コーデック39により伝送対象情報のチ
ャネル符号化と、受信情報のチャネル復号化とが行われ
る。移動通信手段40などによりチャネル符号化ビデオ
信号の伝送を行うことが可能である。
の向上を図るために独立してSAD計算ユニット1に適
用することが可能であるため、改善効果の向上を図るた
めに実施例のいずれの組み合わせも可能である。早期終
了メカニズムを組み込む提示された本方法が、例えば、
図6に記載の一般的に提示されたアーキテクチャなど
の、他の反復累積SADアーキテクチャに適用可能であ
ることは当業者には明らかである。
いる閾値を予め定める必要はなく、動的に定めることが
できる(SAD計算装置1の作動中に変更が可能であ
る)点に留意されたい。例えば、現在のSAD値の一時
的な値が、現在のXデータについてそれまでに得られた
最小SAD値をすでに上回っている場合、第2の割込み
信号が生成される。したがって、第2の割込み用の閾値
として用いられたそれまでに得られた最小SAD値が装
置1の作動中変わる場合もある。
れるものではなく、特許請求の範囲内で修正が可能であ
ることは言うまでもない。
を示す簡略化なブロック図である。
のSAD計算手段を示す簡略化なブロック図である。
ムを示す簡略化なブロック図である。
略化なブロック図である。
方法を示す図である。
チャの一般的構造を示す図である。
カニズムを備えた反復/並列累積型SADアーキテクチ
ャの一般的構造を示す図である。
成手段
Claims (15)
- 【請求項1】 ビデオ符号化時にビデオの動き予測を実
行する方法であって、ブロック(X(c)、Y
(c,r)、Y(c,r’))を含むフレーム(FR
1、FR2)からビデオ信号を構成し、符号化対象フレ
ーム(FR1)の現在のビデオ・ブロック(X(c))
と、別のフレーム(FR2)の少なくとも1つの別のビ
デオ・ブロック(Y(c,r)、Y(c,r’))とを
用いることにより、組み合わされた比較値を形成し、符
号化対象フレーム(FR1)の前記現在のビデオ・ブロ
ック(X(c))が第1のデータ値のセット({x1,
…,xK})を含み、別のフレーム(FR2)の前記少な
くとも1つの別のビデオ・ブロック(Y(c,r)、Y
(c,r’))が第2のデータ値のセット({y1,…,
yK}を含み、前記第1のデータ値のセット({x1,…,
xK})から得られるデータ値と、前記第2のデータ値
のセット({y1,…,yK})から得られる等しい数の対
応するデータ値とからデータ値対を形成し、各々が前記
データ値対の1つのデータ値対のデータ値を用いること
により定められる比較値を定めることにより前記組み合
わされた比較値を形成し、少なくとも1つの閾値(TH
1、TH2)を定め、さらに、前記組み合わされた比較
値を定める上記処理の終了が可能かどうかを判定する方
法において、少なくとも、 各々が少なくとも1つの比較値からなる少なくとも1つ
の比較値のサブセットを形成するための計算ステップ
と、 上記計算ステップで得られた前記少なくとも1つの比較
値のサブセットを用いて反復して更新される現在の累積
比較値を示す信号を形成するための累積ステップと、 少なくとも1つの信号を少なくとも1つの閾値(TH
1、TH2)と比較することにより処理の終了が可能か
どうかの判定を行う判定ステップと、 上記判定ステップで行われた判定に従う、終了ステップ
と、前記組み合わされた比較値を定める新規処理の初期
化ステップと、を有することを特徴とする方法。 - 【請求項2】 請求項1に記載の方法において、第1の
閾値(TH1)を定め、さらに、各累積ステップ後に、
上記信号が上記第1の閾値(TH1)を上回っているか
どうかを判定する判定ステップを実行し、上記信号が上
記第1の閾値(TH1)を上回った場合、上記計算処理
を終了し、新しい絶対差の合計(SAD)計算処理を初
期化することを特徴とする方法。 - 【請求項3】 請求項1または2に記載の方法におい
て、データ値対の第1の値と第2の値との間の差分を計
算することにより比較値を定めることを特徴とする方
法。 - 【請求項4】 請求項1、2または3のいずれか一項に
記載の方法において、上記累積比較値が、合計項と桁上
げ項とから成り、前記信号が上記桁上げ項を示すことを
特徴とする方法。 - 【請求項5】 請求項1乃至4のいずれか一項に記載の
方法において、少なくとも2つの比較値を加算すること
により前記累積比較値を形成し、さらに、上記累積比較
値を、上記現在のブロック(X(c))と別のブロック
(Y(c,r ”))との間で前に得た組み合わされた比
較値、または、所定の数と比較して、上記計算処理の終
了が可能かどうかを判定することを特徴とする方法。 - 【請求項6】 請求項5に記載の方法において、前記累
積比較値が前記前に得た組み合わされた比較値または前
記所定数より大きい場合、上記計算処理を終了させるこ
とを特徴とする方法。 - 【請求項7】 請求項1乃至6のいずれか一項に記載の
方法において、上記計算処理の終了が可能であると判定
された場合、前記現在のビデオ・ブロック(X(c))
のデータ値({x1,…,xK})と、前記新しいビデオ・
ブロック(Y (c,r’))のデータ値({y'1,…,
y'K})とを用いる比較値の計算を行うために前記別の
フレーム(FR2)の新しいブロック
(Y(c,r’))を選択し、次いで、前記現在のビデ
オ・ブロック(X(c))のデータ値({x1,…,
xK})と、前記新しいビデオ・ブロック(Y
(c,r’))のデータ値({y1,…,yK})とを用い
る比較値の計算を開始することを特徴とする方法。 - 【請求項8】 請求項1乃至7のいずれか一項に記載の
方法において、第2の閾値(TH2)を判定し、前記第
1のデータ値のセット({x1,…,xK})と、前記第2
のデータ値のセット({y1,…,yK})とのすべての値
の対のすべての比較値の組み合わされた比較値を用いる
ことにより1つの信号を形成し、前記1つの信号を前記
第3の閾値と比較して、上記計算処理の終了が可能かど
うかを判定することを特徴とする方法。 - 【請求項9】 請求項8に記載の方法において、上記組
み合わされた比較値が前記第2の閾値未満である場合、
上記計算処理を終了することを特徴とする方法。 - 【請求項10】 請求項7、8または9のいずれか一項
に記載の方法において、上記計算処理の終了が可能であ
ると判定された場合、別のフレームの前記ブロック(Y
(c,r))を選択して、前記現在のブロック(X
(c))に対する動き予測情報の形成時に使用し、その
場合、上記現在のビデオ・ブロックに対する比較値の計
算を停止することを特徴とする方法。 - 【請求項11】 請求項7に記載の方法において、上記
計算処理の終了が可能であると判定された場合、符号化
対象の前記フレームの新しいブロック(イ)を上記現在
のビデオ・ブロックとして選択し、さらに、前記現在の
ビデオ・ブロックのデータ値(ロ)と別のビデオ・フレ
ームのブロック(ハ)のデータ値(ニ)との間の差分の
計算を開始し、ここに 【数1】 とすることを特徴とする方法。 - 【請求項12】 ビデオ符号化時にビデオの動き予測を
実行するためのビデオ符号化システムであって、上記ビ
デオ信号が、ブロック(X(c)、Y(c, r)、Y
(c,r’))を含むフレーム(FR1、FR2)から
構成されるシステムにおいて、符号化対象フレーム(F
R1)の現在のビデオ・ブロック(X( c))と、別の
フレーム(FR2)の少なくとも1つの別のビデオ・ブ
ロック(Y(c,r)、Y(c,r’))とを利用する
ことにより、組み合わされた比較値を形成する手段
(1)を具備し、符号化対象の上記フレーム(FR1)
の前記現在のビデオ・ブロック(X(c))には第1の
データ値のセット({x1,…,xK})が含まれ、別のフ
レーム(FR2)の前記少なくとも1つの別のビデオ・
ブロック(Y(c,r)、Y(c,r’))には第2の
データ値のセット({y1,…,yK})が含まれ、組み合
わされた比較値を形成する前記手段(1)には、各々
が、前記第1のデータ値のセット({x1,…,xK})及
び前記第2のデータ値のセット({y1,…,yK})から
得られる等しい数の対応するデータ値から得られるデー
タ値の等しい数のデータ値対からなる、一連の少なくと
も2つのサブセット(x(t-1)s+1,…,xts,
y(t-1)s+1,…,yts)を入力する入力手段と、前記デー
タ値対の1つのデータ値対のデータ値を用いることによ
り定められる各比較値を定める手段(2)と、少なくと
も1つの第1の閾値(TH1、TH2)を定める手段
(9)と、前記組み合わされた比較値を定める処理の終
了が可能かどうかを判定する手段(17、20)とが含
まれるシステムにおいて、少なくとも、 各々が少なくとも1つの比較値からなる少なくとも1つ
の比較値のサブセットを形成するための計算手段(2)
と、 上記計算手段で得られた前記少なくとも1つの比較値の
サブセットを用いて反復して更新される現在の累積比較
値を示す信号を形成するための累積手段(6)と、 少なくとも1つの信号を少なくとも1つの閾値(TH
1、TH2)と比較する手段(17)を含む、計算処理
の終了が可能かどうかを判定する判定手段(17、2
0)と、 上記判定手段で行われた判定に従って現在の処理を終了
させ、前記組み合わされた比較値を定める新規処理を初
期化する手段と、を具備することを特徴とするシステ
ム。 - 【請求項13】 請求項12に記載のシステムにおい
て、前記累積手段(6)と前記判定手段(17、20)
の計算精度が、可能最大SAD値を正確に取得するため
に必要な精度よりも低いことを特徴とするシステム。 - 【請求項14】 ビデオ符号化装置であって、ブロック
(X(c)、Y(c ,r)、Y(c,r’))を含むフ
レーム(FR1、FR2)から成るビデオ信号を符号化
する手段(38)と、ビデオの動き予測を実行する手段
(38)と、符号化対象のフレーム(FR1)の現在の
ビデオ・ブロック(X(c))と、別のフレーム(FR
2)の少なくとも1つの別のビデオ・ブロック(Y
(c,r)、Y(c,r’))との間で、組み合わされ
た比較値を計算する手段(1)であって、上記符号化対
象フレーム(FR1)の前記現在のビデオ・ブロック
(X( c))は第1のデータ値のセット({x1,…,
xK})を含み、前記別のフレーム(FR2)の少なく
とも1つの別のビデオ・ブロック(Y(c,r)、Y
(c, r’))は第2のデータ値のセット({y1,…,
yK})を含み、前記第1のデータ値のセット({x1,
…,xK})と、前記第2のデータ値のセット({y1,
…,yK})との数値対の間で比較値を定めることにより
前記組み合わされた比較値を形成するように為す上記計
算手段と、少なくとも1つの閾値(TH1、TH2)を
定める手段(9)と、前記組み合わされた比較値を定め
る処理の終了が可能かどうかを判定する手段(17、2
0)とを具備するビデオ符号化装置において、少なくと
も、 各々が少なくとも1つの比較値からなる少なくとも1つ
の比較値のサブセットを形成するための計算手段(2)
と、 上記計算手段で得られた前記少なくとも1つの比較値の
サブセットを用いて反復して更新される現在の累積比較
値を示す信号を形成するための累積手段(6)と、 少なくとも1つの信号を少なくとも1つの閾値(TH
1、TH2)と比較する手段(17)を含む、計算処理
の終了が可能かどうかを判定する判定手段(17、2
0)と、 上記判定手段で行われた判定に従って現在の処理を終了
させ、前記組み合わされた比較値を定める新規処理を初
期化する手段と、を具備することを特徴とするビデオ符
号化装置。 - 【請求項15】 請求項14に記載の装置において、移
動通信を実行する手段(40)を具備することを特徴と
する装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FI20011769A FI110744B (fi) | 2001-09-06 | 2001-09-06 | Menetelmä liike-estimoinnin suorittamiseksi videokoodauksessa, videokoodausjärjestelmä sekä videokoodauslaite |
FI20011769 | 2001-09-06 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007208511A Division JP2007336590A (ja) | 2001-09-06 | 2007-08-09 | ビデオ符号化時の動き予測の実行方法、ビデオ符号化システム、及び、ビデオ符号化装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2003153283A true JP2003153283A (ja) | 2003-05-23 |
Family
ID=8561853
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002258846A Withdrawn JP2003153283A (ja) | 2001-09-06 | 2002-09-04 | ビデオ符号化時の動き予測の実行方法、ビデオ符号化システム、及び、ビデオ符号化装置 |
JP2007208511A Withdrawn JP2007336590A (ja) | 2001-09-06 | 2007-08-09 | ビデオ符号化時の動き予測の実行方法、ビデオ符号化システム、及び、ビデオ符号化装置 |
JP2012004683A Pending JP2012070461A (ja) | 2001-09-06 | 2012-01-13 | ビデオ符号化時の動き予測の実行方法、ビデオ符号化システム、及び、ビデオ符号化装置 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007208511A Withdrawn JP2007336590A (ja) | 2001-09-06 | 2007-08-09 | ビデオ符号化時の動き予測の実行方法、ビデオ符号化システム、及び、ビデオ符号化装置 |
JP2012004683A Pending JP2012070461A (ja) | 2001-09-06 | 2012-01-13 | ビデオ符号化時の動き予測の実行方法、ビデオ符号化システム、及び、ビデオ符号化装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US7236523B2 (ja) |
EP (1) | EP1313323B1 (ja) |
JP (3) | JP2003153283A (ja) |
AT (1) | ATE371339T1 (ja) |
DE (1) | DE60221948T2 (ja) |
FI (1) | FI110744B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016194828A1 (ja) * | 2015-06-03 | 2016-12-08 | オリンパス株式会社 | 演算装置、演算方法、及びプログラム |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FI110909B (fi) * | 2001-09-06 | 2003-04-15 | Nokia Corp | Menetelmä liike-estimoinnin suorittamiseksi videokoodauksessa, videokoodausjärjestelmä sekä videokoodauslaite |
US7039246B2 (en) | 2002-05-03 | 2006-05-02 | Qualcomm Incorporated | Video encoding techniques |
US7940844B2 (en) | 2002-06-18 | 2011-05-10 | Qualcomm Incorporated | Video encoding and decoding techniques |
TWI239474B (en) * | 2004-07-28 | 2005-09-11 | Novatek Microelectronics Corp | Circuit for counting sum of absolute difference |
FI117956B (fi) * | 2005-04-15 | 2007-04-30 | Timo D Haemaelaeinen | Piiri ja menetelmä erojen itseisarvojen summan laskemiseksi nopeasti ja tehokkaasti |
GB2436656A (en) * | 2006-03-31 | 2007-10-03 | Tandberg Television Asa | Computing a sliding sum of absolute differences for video signal compression |
US9510018B2 (en) | 2011-11-23 | 2016-11-29 | Luca Rossato | Signal analysis and generation of transient information |
US9927862B2 (en) * | 2015-05-21 | 2018-03-27 | Microsoft Technology Licensing, Llc | Variable precision in hardware pipelines for power conservation |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02145079A (ja) | 1988-11-26 | 1990-06-04 | Mitsubishi Electric Corp | 動き補償演算方法 |
JPH0686272A (ja) | 1992-08-31 | 1994-03-25 | Sony Corp | 動きベクトル検出装置 |
JPH06189291A (ja) | 1992-12-21 | 1994-07-08 | Sharp Corp | 画像の動き検出装置 |
JPH07162864A (ja) | 1993-12-08 | 1995-06-23 | Ricoh Co Ltd | 動きベクトル検出方法 |
JPH0918882A (ja) | 1995-07-03 | 1997-01-17 | Matsushita Electric Ind Co Ltd | 動きベクトル検索方法及びその装置 |
US5652625A (en) * | 1996-06-19 | 1997-07-29 | United Microelectronics Corp. | Multi-stage pipeline architecture for motion estimation block matching |
US5864372A (en) * | 1996-12-10 | 1999-01-26 | United Microelectronics Corporation | Apparatus for implementing a block matching algorithm for motion estimation in video image processing |
JP3631868B2 (ja) | 1996-12-20 | 2005-03-23 | 株式会社東芝 | 動きベクトル検出装置および方法 |
TW361051B (en) | 1997-01-09 | 1999-06-11 | Matsushita Electric Ind Co Ltd | Motion vector detection apparatus |
JP2954120B2 (ja) * | 1997-01-09 | 1999-09-27 | 松下電器産業株式会社 | 動きベクトル検出装置 |
US6011870A (en) * | 1997-07-18 | 2000-01-04 | Jeng; Fure-Ching | Multiple stage and low-complexity motion estimation for interframe video coding |
US5838392A (en) * | 1998-03-19 | 1998-11-17 | United Microelectronics Corp. | Adaptive block-matching motion estimator with a compression array for use in a video coding system |
JP2001145109A (ja) | 1999-11-11 | 2001-05-25 | Nec Corp | 動きベクトル検出装置 |
US6654502B1 (en) | 2000-06-07 | 2003-11-25 | Intel Corporation | Adaptive early exit techniques in image correlation |
US7940844B2 (en) * | 2002-06-18 | 2011-05-10 | Qualcomm Incorporated | Video encoding and decoding techniques |
US20040008779A1 (en) * | 2002-06-18 | 2004-01-15 | Lai King Chung | Techniques for video encoding and decoding |
-
2001
- 2001-09-06 FI FI20011769A patent/FI110744B/fi not_active IP Right Cessation
-
2002
- 2002-08-30 US US10/232,924 patent/US7236523B2/en not_active Expired - Lifetime
- 2002-09-04 JP JP2002258846A patent/JP2003153283A/ja not_active Withdrawn
- 2002-09-06 DE DE60221948T patent/DE60221948T2/de not_active Expired - Lifetime
- 2002-09-06 AT AT02396133T patent/ATE371339T1/de not_active IP Right Cessation
- 2002-09-06 EP EP02396133A patent/EP1313323B1/en not_active Expired - Lifetime
-
2007
- 2007-08-09 JP JP2007208511A patent/JP2007336590A/ja not_active Withdrawn
-
2012
- 2012-01-13 JP JP2012004683A patent/JP2012070461A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016194828A1 (ja) * | 2015-06-03 | 2016-12-08 | オリンパス株式会社 | 演算装置、演算方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2012070461A (ja) | 2012-04-05 |
US20030043911A1 (en) | 2003-03-06 |
FI110744B (fi) | 2003-03-14 |
FI20011769A0 (fi) | 2001-09-06 |
DE60221948D1 (de) | 2007-10-04 |
EP1313323A1 (en) | 2003-05-21 |
DE60221948T2 (de) | 2007-12-20 |
JP2007336590A (ja) | 2007-12-27 |
EP1313323B1 (en) | 2007-08-22 |
ATE371339T1 (de) | 2007-09-15 |
US7236523B2 (en) | 2007-06-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2012070461A (ja) | ビデオ符号化時の動き予測の実行方法、ビデオ符号化システム、及び、ビデオ符号化装置 | |
US7486733B2 (en) | Method for performing motion estimation in video encoding, a video encoding system and a video encoding device | |
US7940844B2 (en) | Video encoding and decoding techniques | |
CN104067619B (zh) | 视频解码器、视频解码方法以及视频解码程序的记录介质 | |
US8218635B2 (en) | Systolic-array based systems and methods for performing block matching in motion compensation | |
WO2016131229A1 (zh) | 用于视频图像编码和解码的方法、编码设备和解码设备 | |
US8472527B2 (en) | Hierarchical motion estimation using original frame for sub-sampled reference | |
JP2022003775A (ja) | ニューラルネットワークを利用したコーデック | |
KR100910327B1 (ko) | 디지털 비디오 모션 추정을 위한 조기 종료 기술 | |
US10165270B2 (en) | Intra/inter mode decision for predictive frame encoding | |
KR100939917B1 (ko) | 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법 | |
KR20050012815A (ko) | 신속한 모션 추정을 갖는 비디오 인코더 | |
CN113874916A (zh) | Ai辅助的可编程硬件视频编解码器 | |
US9204157B2 (en) | Video compression searching reference frame in hybrid growing-window and sliding-window | |
WO2021056215A1 (zh) | 运动估计方法、***和存储介质 | |
Li et al. | Serial and parallel FPGA-based variable block size motion estimation processors | |
CN114501031B (zh) | 一种压缩编码、解压缩方法以及装置 | |
JP2007110409A (ja) | 画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラム | |
CN115834906A (zh) | 视频编解码方法、装置、电子设备及介质 | |
EP1684525A2 (en) | Video encoding with fast motion estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050802 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20051101 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20051109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061205 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070424 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070723 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070905 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20070911 |