JPH0965339A - 画像ブロック動き検出装置 - Google Patents
画像ブロック動き検出装置Info
- Publication number
- JPH0965339A JPH0965339A JP7210568A JP21056895A JPH0965339A JP H0965339 A JPH0965339 A JP H0965339A JP 7210568 A JP7210568 A JP 7210568A JP 21056895 A JP21056895 A JP 21056895A JP H0965339 A JPH0965339 A JP H0965339A
- Authority
- JP
- Japan
- Prior art keywords
- image
- motion detection
- image block
- block
- block motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 本発明は、ハードウェアベースで画像ブロッ
ク動き検出回路の演算性能は固定的であるが、探索範囲
をいくつかの中から選択でき、フィードフォワード式に
制御できるようにする画像ブロック動き検出装置を提供
する。 【解決手段】 本発明による、画像をブロックに分割し
て前または後の画像フレームから動きベクトルを検出す
る両方向および片方向の画像ブロック動き検出装置は、
これから検出を行うブロックに対して予め動きのアクテ
ィビティを求め、これらのアクティビティを基に次に検
出すべきブロックの検出範囲を制御する。
ク動き検出回路の演算性能は固定的であるが、探索範囲
をいくつかの中から選択でき、フィードフォワード式に
制御できるようにする画像ブロック動き検出装置を提供
する。 【解決手段】 本発明による、画像をブロックに分割し
て前または後の画像フレームから動きベクトルを検出す
る両方向および片方向の画像ブロック動き検出装置は、
これから検出を行うブロックに対して予め動きのアクテ
ィビティを求め、これらのアクティビティを基に次に検
出すべきブロックの検出範囲を制御する。
Description
【0001】
【発明の属する技術分野】この発明は動画像圧縮におけ
る画像ブロックの動き検出に関するものである。より詳
細には、検出を行う画像ブロックに対して予め動きのア
クティビティを求め、これらのアクティビティをもとに
次に検出すべき画像ブロックの検出範囲を制御する画像
ブロック動き検出装置に関する。
る画像ブロックの動き検出に関するものである。より詳
細には、検出を行う画像ブロックに対して予め動きのア
クティビティを求め、これらのアクティビティをもとに
次に検出すべき画像ブロックの検出範囲を制御する画像
ブロック動き検出装置に関する。
【0002】
【従来の技術】一般に、MPEG等の実時間画像圧縮に
おける画像ブロックの動き検出では、その探索範囲が大
きいほど後に行う圧縮符号化の効率がよくなる。画像ブ
ロックの動き検出は相当な演算量を必要とするために、
一般的には探索の範囲は不十分であり、予め定められた
回路を用いて実行するときは、その探索範囲を演算性能
の最大限に設定して行う。ハードウェアベースのときは
探索は固定的であり、また、ソフトウェアベースのとき
は探索は可変にして、符号化中の画像ブロックの他の符
号化の演算の残り時間を最大限に利用するような方法が
用いられている。
おける画像ブロックの動き検出では、その探索範囲が大
きいほど後に行う圧縮符号化の効率がよくなる。画像ブ
ロックの動き検出は相当な演算量を必要とするために、
一般的には探索の範囲は不十分であり、予め定められた
回路を用いて実行するときは、その探索範囲を演算性能
の最大限に設定して行う。ハードウェアベースのときは
探索は固定的であり、また、ソフトウェアベースのとき
は探索は可変にして、符号化中の画像ブロックの他の符
号化の演算の残り時間を最大限に利用するような方法が
用いられている。
【0003】図13は、従来の画像ブロック動き検出装
置を含む符号化装置のブロック図である。図13におい
て、1は原動画像入力、2は入力バッファメモリ、3は
画像ブロックの動き検出用被符号化画像、4は予測画像
メモリ、5は予測画像、6は画像ブロック動き検出回
路、7は動きベクトル、8は被符号化画像、9は予測画
像、10は差分符号化器、11は符号化データ、12は
送信バッファメモリ、13は送信データ、14は局部復
号画像である。
置を含む符号化装置のブロック図である。図13におい
て、1は原動画像入力、2は入力バッファメモリ、3は
画像ブロックの動き検出用被符号化画像、4は予測画像
メモリ、5は予測画像、6は画像ブロック動き検出回
路、7は動きベクトル、8は被符号化画像、9は予測画
像、10は差分符号化器、11は符号化データ、12は
送信バッファメモリ、13は送信データ、14は局部復
号画像である。
【0004】次に従来の画像ブロック動き検出装置の動
作について説明する。カメラ等からの符号化を行うべき
原動画像入力1の各フレームは入力バッファメモリ2に
蓄えられ、画像ブロックの動き検出および差分符号化が
実行されるまで保持される。符号化されるべきフレーム
について、まず、入力バッファメモリ2からの画像ブロ
ックの動き検出用被符号化画像3と予測画像メモリ4か
らの予測画像5により、画像ブロック動き検出回路6に
おいて画像ブロックの動き検出を行い、動きベクトル7
を演算する。次に入力バッファメモリ2からの被符号化
画像8と、動きベクトル7をもとに予測画像メモリ4か
ら動き補償された予測画像9により差分符号化器10に
おいて差分符号化を行う。ここでの符号化データ11は
送信バッファメモリ12を経由して送信データ13とし
て転送され、また、局部復号画像14は、後の予測用に
予測画像メモリ4に蓄積する。
作について説明する。カメラ等からの符号化を行うべき
原動画像入力1の各フレームは入力バッファメモリ2に
蓄えられ、画像ブロックの動き検出および差分符号化が
実行されるまで保持される。符号化されるべきフレーム
について、まず、入力バッファメモリ2からの画像ブロ
ックの動き検出用被符号化画像3と予測画像メモリ4か
らの予測画像5により、画像ブロック動き検出回路6に
おいて画像ブロックの動き検出を行い、動きベクトル7
を演算する。次に入力バッファメモリ2からの被符号化
画像8と、動きベクトル7をもとに予測画像メモリ4か
ら動き補償された予測画像9により差分符号化器10に
おいて差分符号化を行う。ここでの符号化データ11は
送信バッファメモリ12を経由して送信データ13とし
て転送され、また、局部復号画像14は、後の予測用に
予測画像メモリ4に蓄積する。
【0005】図14は、MPEGにおける予測符号化の
方法を示す図である。Bピクチャについては、前のIピ
クチャまたはPピクチャと後のIピクチャまたはPピク
チャからの両方向動き予測を行う。従って、Bピクチャ
の場合は、符号化をすべき参照ブロックに対し、前のフ
レームからのブロックと、後ろのフレームからのブロッ
クの2つのブロックを用いて演算する必要がある。その
ために、前側画像ブロック動き検出回路および後側画像
ブロック動き検出回路の2つが必要となる。一方、Pピ
クチャについては、前のIピクチャまたはPピクチャか
らの順方向動き予測を行うのみであるので、後方向から
の画像ブロック動き検出回路は不要となる。
方法を示す図である。Bピクチャについては、前のIピ
クチャまたはPピクチャと後のIピクチャまたはPピク
チャからの両方向動き予測を行う。従って、Bピクチャ
の場合は、符号化をすべき参照ブロックに対し、前のフ
レームからのブロックと、後ろのフレームからのブロッ
クの2つのブロックを用いて演算する必要がある。その
ために、前側画像ブロック動き検出回路および後側画像
ブロック動き検出回路の2つが必要となる。一方、Pピ
クチャについては、前のIピクチャまたはPピクチャか
らの順方向動き予測を行うのみであるので、後方向から
の画像ブロック動き検出回路は不要となる。
【0006】図15は、MPEG等の前後双方向からの
フレーム間差分符号化を行う従来の画像ブロック動き検
出回路の周辺を示した図である。それぞれ前後双方向の
予測画像メモリ4a,4bと画像ブロック動き検出回路
6a,6bがあり、それぞれ入力バッファメモリ2から
の各画像ブロックの動き検出用被符号化画像3a,3b
と予測画像メモリ4a,4bからの各予測画像5a,5
bを用いて画像ブロック動き検出回路6a,6bにおい
てそれぞれ動きベクトル7a,7bを検出していた。B
ピクチャの符号化の場合、前側動き検出回路6aと後側
動き検出回路6bの両方が動作し、その結果、前側動き
ベクトル7a、後側動きベクトル7b、または前側動き
ベクトル7aと後側動きベクトル7bとを平均化回路1
7で平均した信号のいずれかを選択回路15によって選
択して予測を行う。Pピクチャ符号化の場合、前側画像
ブロック動き検出回路6aだけが動作し、後側動き検出
回路6bは動作せずに遊んだ状態になっていた。
フレーム間差分符号化を行う従来の画像ブロック動き検
出回路の周辺を示した図である。それぞれ前後双方向の
予測画像メモリ4a,4bと画像ブロック動き検出回路
6a,6bがあり、それぞれ入力バッファメモリ2から
の各画像ブロックの動き検出用被符号化画像3a,3b
と予測画像メモリ4a,4bからの各予測画像5a,5
bを用いて画像ブロック動き検出回路6a,6bにおい
てそれぞれ動きベクトル7a,7bを検出していた。B
ピクチャの符号化の場合、前側動き検出回路6aと後側
動き検出回路6bの両方が動作し、その結果、前側動き
ベクトル7a、後側動きベクトル7b、または前側動き
ベクトル7aと後側動きベクトル7bとを平均化回路1
7で平均した信号のいずれかを選択回路15によって選
択して予測を行う。Pピクチャ符号化の場合、前側画像
ブロック動き検出回路6aだけが動作し、後側動き検出
回路6bは動作せずに遊んだ状態になっていた。
【0007】
【発明が解決しようとする課題】以上のように従来の画
像ブロック動き検出回路例においては、画像ブロックの
動き検出の範囲が固定的であり、画像の状況によらなか
ったため、大きな探索範囲が必要なブロックに対して検
出した動きベクトルが適切でなく、画質が劣化するなど
の問題点があった。また、Pピクチャ符号化の場合、後
側動き検出回路は動作せずに遊んだ状態になっておりハ
ードウエア的に無駄があった。
像ブロック動き検出回路例においては、画像ブロックの
動き検出の範囲が固定的であり、画像の状況によらなか
ったため、大きな探索範囲が必要なブロックに対して検
出した動きベクトルが適切でなく、画質が劣化するなど
の問題点があった。また、Pピクチャ符号化の場合、後
側動き検出回路は動作せずに遊んだ状態になっておりハ
ードウエア的に無駄があった。
【0008】
【課題を解決するための手段】本発明は上記のような問
題点を解決するためになされたもので、動き探索範囲お
よびサブサンプル密度、半画素精度検出のオン/オフを
可変にし、これから検出を行うブロックに対して予め動
きのアクティビティを求め、これらのアクティビティを
もとに次に検出すべきブロックの検出方法を制御するよ
うに構成される。また、画像ブロックの動き検出を行わ
ないフレーム内予測時の時間を利用して動きベクトルを
検出し、順方向フレーム間画像ブロックの動き検出時に
使用されない逆方向フレーム間画像ブロックの動き検出
回路を用いることによって、両方向フレーム間画像ブロ
ックの動き検出時よりも検出範囲を拡大するように構成
される。
題点を解決するためになされたもので、動き探索範囲お
よびサブサンプル密度、半画素精度検出のオン/オフを
可変にし、これから検出を行うブロックに対して予め動
きのアクティビティを求め、これらのアクティビティを
もとに次に検出すべきブロックの検出方法を制御するよ
うに構成される。また、画像ブロックの動き検出を行わ
ないフレーム内予測時の時間を利用して動きベクトルを
検出し、順方向フレーム間画像ブロックの動き検出時に
使用されない逆方向フレーム間画像ブロックの動き検出
回路を用いることによって、両方向フレーム間画像ブロ
ックの動き検出時よりも検出範囲を拡大するように構成
される。
【0009】また、本発明はハードウェアベースで画像
ブロック動き検出回路の演算性能は固定的であるが、探
索範囲をいくつかの中から選択できるようにし、フィー
ドフォワード式に制御できるように構成される。また、
MPEGは前後両方向のフレーム間予測差分符号化であ
るため、前方向画像ブロック動き検出のみのときに画像
ブロックの動き検出範囲を拡大し、フレーム内符号化の
ときも画像ブロックの動き検出を制御するように構成さ
れる。
ブロック動き検出回路の演算性能は固定的であるが、探
索範囲をいくつかの中から選択できるようにし、フィー
ドフォワード式に制御できるように構成される。また、
MPEGは前後両方向のフレーム間予測差分符号化であ
るため、前方向画像ブロック動き検出のみのときに画像
ブロックの動き検出範囲を拡大し、フレーム内符号化の
ときも画像ブロックの動き検出を制御するように構成さ
れる。
【0010】具体的には、本発明は、画像をブロックに
分割して前または後の画像フレームから動きベクトルを
検出する両方向および片方向の画像ブロック動き検出装
置において:検出を行うブロックに対して予め動きのア
クティビティを求め、これらのアクティビティをもとに
次に検出すべきブロックの検出範囲を制御するように構
成される。
分割して前または後の画像フレームから動きベクトルを
検出する両方向および片方向の画像ブロック動き検出装
置において:検出を行うブロックに対して予め動きのア
クティビティを求め、これらのアクティビティをもとに
次に検出すべきブロックの検出範囲を制御するように構
成される。
【0011】さらに、本発明は、画像ブロック動き検出
装置において:アクティビティは、画像ブロックの画像
ブロック動き検出用符号化画像のブロックの各画素の分
散によって計算されるように構成される。
装置において:アクティビティは、画像ブロックの画像
ブロック動き検出用符号化画像のブロックの各画素の分
散によって計算されるように構成される。
【0012】さらに、本発明は、画像ブロック動き検出
装置において:アクティビティは、画像ブロックの画像
ブロック動き検出用符号化画像と予測画像の動きベクト
ルを0としたときのブロック内画像の差分絶対値和によ
って計算されるように構成される。
装置において:アクティビティは、画像ブロックの画像
ブロック動き検出用符号化画像と予測画像の動きベクト
ルを0としたときのブロック内画像の差分絶対値和によ
って計算されるように構成される。
【0013】さらに、本発明は、画像ブロック動き検出
装置において:画像のアクティビティを用いて画像ブロ
ックの動き検出用被符号化画像のサブサンプリングによ
る範囲拡大探索、通常の整数精度探索、半画素精度探索
の内から、いずれかを選択して動き探索を行うように構
成される。
装置において:画像のアクティビティを用いて画像ブロ
ックの動き検出用被符号化画像のサブサンプリングによ
る範囲拡大探索、通常の整数精度探索、半画素精度探索
の内から、いずれかを選択して動き探索を行うように構
成される。
【0014】さらに、本発明は、画像をブロックに分割
して前または後の画像フレームから動きベクトルを検出
する両方向および片方向の画像ブロック動き検出装置に
おいて:画像ブロックの動き検出用被符号化画像を1/
2,1/4等のサブサンプリングすることにより、同一
演算器を用いて、画像ブロックの動き検出用被符号化画
像をサブサンプリングしないときに比べて動きの探索範
囲を拡大できるように構成される。
して前または後の画像フレームから動きベクトルを検出
する両方向および片方向の画像ブロック動き検出装置に
おいて:画像ブロックの動き検出用被符号化画像を1/
2,1/4等のサブサンプリングすることにより、同一
演算器を用いて、画像ブロックの動き検出用被符号化画
像をサブサンプリングしないときに比べて動きの探索範
囲を拡大できるように構成される。
【0015】さらに、本発明は、画像ブロック動き検出
装置において:次の式で得られる分散σを画像のアクテ
ィビティとして用い、第1の閾値T1,第2の閾値T
2、第3の閾値T3を設け(T1<T2<T3)、この
分散σが第1の閾値T1より小さいときは1/4サンプ
リング、第1の閾値T1と第2の閾値T2との間にある
時は1/2サンプリング、第2の閾値T2と第3の閾値
T3との間にある時はサンプリングなし、第3の閾値T
3より大きいときは半画素精度で動き探索を行うように
構成される。
装置において:次の式で得られる分散σを画像のアクテ
ィビティとして用い、第1の閾値T1,第2の閾値T
2、第3の閾値T3を設け(T1<T2<T3)、この
分散σが第1の閾値T1より小さいときは1/4サンプ
リング、第1の閾値T1と第2の閾値T2との間にある
時は1/2サンプリング、第2の閾値T2と第3の閾値
T3との間にある時はサンプリングなし、第3の閾値T
3より大きいときは半画素精度で動き探索を行うように
構成される。
【0016】
【数2】
【0017】さらに、本発明は、画像ブロック動き検出
装置において:サブサンプリングなしのときは、予測画
像メモリにyi、jに各対応する画素を入れておくことに
より、評価関数E7を次の式から得るように構成され
る。
装置において:サブサンプリングなしのときは、予測画
像メモリにyi、jに各対応する画素を入れておくことに
より、評価関数E7を次の式から得るように構成され
る。
【0018】Zi,j=|xi,j−yi,j|のとき、評価関
数 E7=ΣZi,j(i=l〜16,j=l〜16) ここで、Zi,jは、被探索ブロック xi,jは、被探索ブロックの画素 yi,jは、被符号化ブロックの画素。
数 E7=ΣZi,j(i=l〜16,j=l〜16) ここで、Zi,jは、被探索ブロック xi,jは、被探索ブロックの画素 yi,jは、被符号化ブロックの画素。
【0019】さらに、本発明は、画像ブロック動き検出
装置において:1/2サブサンプリングのときは、iが
偶数の縦ラインについて予測画像メモリにyi、jにy
iー1、jを入れておき、評価関数E5、E6を次の式から求
めるように構成される。
装置において:1/2サブサンプリングのときは、iが
偶数の縦ラインについて予測画像メモリにyi、jにy
iー1、jを入れておき、評価関数E5、E6を次の式から求
めるように構成される。
【0020】Zi,j=|xi,j−yi,j|(i:奇数、j=1
〜16)のとき:評価関数 E5=ΣZi,j Zi,j=|xi,j−yi,j|(i:偶数、j=1〜16)のと
き:評価関数 E6=ΣZi,j。
〜16)のとき:評価関数 E5=ΣZi,j Zi,j=|xi,j−yi,j|(i:偶数、j=1〜16)のと
き:評価関数 E6=ΣZi,j。
【0021】さらに、本発明は、画像ブロック動き検出
装置において:1/4サブサンプリングのとき、y
2n+1、2m+2、y2n+2、2m+1、y2n+2、2m+2(m=0,1,
2...、n=0,1,2...)の予測画像メモリにy2n+1、2m+1
の数値を入れておき、評価関数E1、E2、E3、E4を次
の式から求めるように構成される。
装置において:1/4サブサンプリングのとき、y
2n+1、2m+2、y2n+2、2m+1、y2n+2、2m+2(m=0,1,
2...、n=0,1,2...)の予測画像メモリにy2n+1、2m+1
の数値を入れておき、評価関数E1、E2、E3、E4を次
の式から求めるように構成される。
【0022】Zi,j=|xi,j−yi,j|(i:奇数、
j:偶数)のとき:評価関数 E1=ΣZi,j Zi,j=|xi,j−yi,j|(i:奇数、j:偶数)のと
き:評価関数 E2=ΣZi,j Zi,j=|xi,j−yi,j|(i:偶数、j:奇数)のと
き:評価関数 E3=ΣZi,j Zi,j=|xi,j−yi,j|(i:偶数、j:偶数)のと
き:評価関数 E4=ΣZi,j。
j:偶数)のとき:評価関数 E1=ΣZi,j Zi,j=|xi,j−yi,j|(i:奇数、j:偶数)のと
き:評価関数 E2=ΣZi,j Zi,j=|xi,j−yi,j|(i:偶数、j:奇数)のと
き:評価関数 E3=ΣZi,j Zi,j=|xi,j−yi,j|(i:偶数、j:偶数)のと
き:評価関数 E4=ΣZi,j。
【0023】さらに、本発明は、入力バッファメモリ、
予測画像メモリ、画像ブロック動き検出回路を含む画像
ブロック動き検出装置において、さらに、アクティビテ
ィ演算回路を設け、入力バッファメモリからの被符号化
画像と予測画像メモリからの予測画像からアクティビテ
ィを計算しその結果に基づいて画像ブロック動き検出回
路の探索範囲を制御するように構成される。
予測画像メモリ、画像ブロック動き検出回路を含む画像
ブロック動き検出装置において、さらに、アクティビテ
ィ演算回路を設け、入力バッファメモリからの被符号化
画像と予測画像メモリからの予測画像からアクティビテ
ィを計算しその結果に基づいて画像ブロック動き検出回
路の探索範囲を制御するように構成される。
【0024】さらに、本発明は、画像をブロックに分割
して前または後の画像フレームから動きベクトルを検出
する両方向および片方向の画像ブロック動き検出装置に
おいて:順方向フレーム間画像ブロックの動き検出時
に、使用していない方の逆方向フレーム間画像ブロック
動き検出演算器を用いて、両方向フレーム間画像ブロッ
クの動き検出時よりも検出範囲を拡大するように構成さ
れる。
して前または後の画像フレームから動きベクトルを検出
する両方向および片方向の画像ブロック動き検出装置に
おいて:順方向フレーム間画像ブロックの動き検出時
に、使用していない方の逆方向フレーム間画像ブロック
動き検出演算器を用いて、両方向フレーム間画像ブロッ
クの動き検出時よりも検出範囲を拡大するように構成さ
れる。
【0025】さらに、本発明は、画像ブロック動き検出
装置において:前方向の予測画像メモリからの予測画像
を後方向の画像ブロック動き検出回路に転送できるよう
に結線し、前方向のフレーム間符号化と同時に、後方向
の画像ブロック動き検出回路中で予測画像処理の演算の
半分を行わせるように構成される。
装置において:前方向の予測画像メモリからの予測画像
を後方向の画像ブロック動き検出回路に転送できるよう
に結線し、前方向のフレーム間符号化と同時に、後方向
の画像ブロック動き検出回路中で予測画像処理の演算の
半分を行わせるように構成される。
【0026】
実施の形態1.以下、この発明の実施の一形態を図1に
ついて説明する。図1は、本発明の実施の一形態による
画像ブロック動き検出装置の構成を示す図である。図1
において、16はアクティビティ演算回路、15は画像
ブロックの動き検出制御コマンドである。図13の従来
例と同一または類似の部分には同一符号を付してその重
複説明を省略する。
ついて説明する。図1は、本発明の実施の一形態による
画像ブロック動き検出装置の構成を示す図である。図1
において、16はアクティビティ演算回路、15は画像
ブロックの動き検出制御コマンドである。図13の従来
例と同一または類似の部分には同一符号を付してその重
複説明を省略する。
【0027】次に動作について説明する。従来例におい
て説明された構成要素と同一のものは同様に動作するの
で、ここでは動作の重複説明を省略し、本願発明の特徴
部分のみについて述べる。
て説明された構成要素と同一のものは同様に動作するの
で、ここでは動作の重複説明を省略し、本願発明の特徴
部分のみについて述べる。
【0028】画像ブロックの動き検出に先立って、画像
ブロックの動きを検出すべき第(N+1)ブロックから
先の第(N+K)ブロックまでのK個のブロック分につ
いて、入力バッファメモリ2からの画像ブロックの動き
検出用被符号化画像3と予測画像メモリ4からの予測画
像5を用い、アクティビティ演算回路16でK個のブロ
ックに関するアクティビティを演算する。このアクティ
ビティは、例えば、画像ブロックの動き検出用被符号化
画像3と予測画像5の動きベクトルを0にしたときのブ
ロック内各画素の差分絶対値和や、画像ブロックの動き
検出用被符号化画像3のブロックの各画素の分散などを
用いて表すことができる。アクティビティ演算回路16
で探索範囲を決定し、画像ブロックの動き検出制御コマ
ンド15として画像ブロック動き検出回路6の探索範囲
を制御する。
ブロックの動きを検出すべき第(N+1)ブロックから
先の第(N+K)ブロックまでのK個のブロック分につ
いて、入力バッファメモリ2からの画像ブロックの動き
検出用被符号化画像3と予測画像メモリ4からの予測画
像5を用い、アクティビティ演算回路16でK個のブロ
ックに関するアクティビティを演算する。このアクティ
ビティは、例えば、画像ブロックの動き検出用被符号化
画像3と予測画像5の動きベクトルを0にしたときのブ
ロック内各画素の差分絶対値和や、画像ブロックの動き
検出用被符号化画像3のブロックの各画素の分散などを
用いて表すことができる。アクティビティ演算回路16
で探索範囲を決定し、画像ブロックの動き検出制御コマ
ンド15として画像ブロック動き検出回路6の探索範囲
を制御する。
【0029】図2は、この発明による動き探索範囲を変
化させる例を示す図である。ここでは、例えば、ブロッ
クの大きさを16×16とし、その256画素の差分絶
対値和等の評価値が最小となるベクトルを求める。図2
の(a)は予測画像5の探索範囲を水平方向に(−16
〜+15)、垂直方向に(−16〜+15)としたもの
であり、ベクトル(−16、−16)から(+15、+
15)までを縦方向、および横方向に順次シフトしつつ
各ベクトルにおける評価値を求め、256の全評価値の
中から最小のベクトルを動きベクトルとして決定する。
この場合の演算量を差分絶対値和を演算する回数で表わ
すと256(画素数)×256(ベクトル数)=655
36/ブロックとなる。
化させる例を示す図である。ここでは、例えば、ブロッ
クの大きさを16×16とし、その256画素の差分絶
対値和等の評価値が最小となるベクトルを求める。図2
の(a)は予測画像5の探索範囲を水平方向に(−16
〜+15)、垂直方向に(−16〜+15)としたもの
であり、ベクトル(−16、−16)から(+15、+
15)までを縦方向、および横方向に順次シフトしつつ
各ベクトルにおける評価値を求め、256の全評価値の
中から最小のベクトルを動きベクトルとして決定する。
この場合の演算量を差分絶対値和を演算する回数で表わ
すと256(画素数)×256(ベクトル数)=655
36/ブロックとなる。
【0030】同様に、図2の(b)は探索範囲を水平方
向に(−32〜+31)、垂直方向に(−16〜+1
5)としたもので、演算量は131072/ブロックと
なる。
向に(−32〜+31)、垂直方向に(−16〜+1
5)としたもので、演算量は131072/ブロックと
なる。
【0031】また、図2の(c)は探索範囲を水平方向
に(−32〜+31)、垂直方向に(−32〜+31)
としたもので、演算量は262144/ブロックとな
る。これらの図2の(a)〜図2の(c)において、演
算量は探索範囲の面積に比例する。本発明では、従来の
方法で(b)の探索範囲を丁度演算できる能力の画像ブ
ロック動き検出回路を用い(a)または(c)の探索範
囲の画像ブロックの動き検出も行わせるようにした点に
特徴がある。
に(−32〜+31)、垂直方向に(−32〜+31)
としたもので、演算量は262144/ブロックとな
る。これらの図2の(a)〜図2の(c)において、演
算量は探索範囲の面積に比例する。本発明では、従来の
方法で(b)の探索範囲を丁度演算できる能力の画像ブ
ロック動き検出回路を用い(a)または(c)の探索範
囲の画像ブロックの動き検出も行わせるようにした点に
特徴がある。
【0032】図3は、この発明による第(N+1)ブロ
ックから第(N+K)ブロックまでのK個のブロックの
アクティビティ(画像ブロックの動き検出用被符号化画
像3と予測画像5の動きベクトルを0にしたときのブロ
ック内各画素の差分絶対値和)を示したものである。K
個のブロックの平均値Aより上方に閾値T1、平均値A
より下方に閾値T2をとる。ここで、第(K+1)ブロ
ックの閾値T1,T2、その前の第(N+1)〜第(N
+K)のK個のブロックのアクティビティの平均値A
に、例えば、あらかじめ定められた固定数値αを加算、
減算した値からT1=A+α、T2=A−αと求められ
る。
ックから第(N+K)ブロックまでのK個のブロックの
アクティビティ(画像ブロックの動き検出用被符号化画
像3と予測画像5の動きベクトルを0にしたときのブロ
ック内各画素の差分絶対値和)を示したものである。K
個のブロックの平均値Aより上方に閾値T1、平均値A
より下方に閾値T2をとる。ここで、第(K+1)ブロ
ックの閾値T1,T2、その前の第(N+1)〜第(N
+K)のK個のブロックのアクティビティの平均値A
に、例えば、あらかじめ定められた固定数値αを加算、
減算した値からT1=A+α、T2=A−αと求められ
る。
【0033】これにより、平均的には、ブロック内各画
素の差分絶対値和は閾値T1〜T2の範囲に入るものが
多く、これらは2048点(24μs)となる。また、
閾値T1より大きいもの(4096点,48μs)と閾
値T2より小さいもの(1024点,12μs)が平均
されて24μs/MB(マイクロブロック)となるよう
に閾値を決定すれば、33mSで全てのMBの動き検出
を完了できる。
素の差分絶対値和は閾値T1〜T2の範囲に入るものが
多く、これらは2048点(24μs)となる。また、
閾値T1より大きいもの(4096点,48μs)と閾
値T2より小さいもの(1024点,12μs)が平均
されて24μs/MB(マイクロブロック)となるよう
に閾値を決定すれば、33mSで全てのMBの動き検出
を完了できる。
【0034】画像ブロックの動きを検出すべき第(N+
1)ブロックは、閾値T2より小さく、すなわち、小さ
い検索範囲で適当な動きベクトルが検出できると推定で
きる場合は、図2の(a)のように1024点探索を行
う。もし、画像ブロックの動き検出すべき第(N+1)
ブロックが閾値T1より上の場合は(c)4096点探
索、T1とT2の間の場合は(b)2048点の探索を
行う。
1)ブロックは、閾値T2より小さく、すなわち、小さ
い検索範囲で適当な動きベクトルが検出できると推定で
きる場合は、図2の(a)のように1024点探索を行
う。もし、画像ブロックの動き検出すべき第(N+1)
ブロックが閾値T1より上の場合は(c)4096点探
索、T1とT2の間の場合は(b)2048点の探索を
行う。
【0035】一方、1フレームの符号化時間は、カメラ
からの1フレームの時間と同じで、NTSCの場合33
mSである。MPEG2では、これを横45(720画
素)MB(マイクロブロック)×縦30MB(480ラ
イン)=1350MBのマイクロブロックに分割するの
で、1MB当たりの演算時間は33mS/1350MB
=24μs/MBとなる。したがって、24μsで20
48点検索できる動き検出回路を用いれば、1024点
探索には12μs、4096点探索には48μsかか
る。アクティビティ制御を行うことによって、図4のよ
うに、lフレーム符号化時間内に、1350MB全ての
動き検出ができ、探索範囲拡大が必要なMBに対して、
それだけ多くの時間を割り当てることができる。
からの1フレームの時間と同じで、NTSCの場合33
mSである。MPEG2では、これを横45(720画
素)MB(マイクロブロック)×縦30MB(480ラ
イン)=1350MBのマイクロブロックに分割するの
で、1MB当たりの演算時間は33mS/1350MB
=24μs/MBとなる。したがって、24μsで20
48点検索できる動き検出回路を用いれば、1024点
探索には12μs、4096点探索には48μsかか
る。アクティビティ制御を行うことによって、図4のよ
うに、lフレーム符号化時間内に、1350MB全ての
動き検出ができ、探索範囲拡大が必要なMBに対して、
それだけ多くの時間を割り当てることができる。
【0036】図5は、本発明による画像ブロックの動き
検出のタイミングを示す図である。図5の横軸は時刻、
縦軸はフレーム番号およびブロック番号である。本例で
は、1フレームのブロック数はM個であり、時刻0に第
Lフレームの第1ブロックの動き検出を開始する。従来
例では、点線で示すように、1フレーム符号化時間が終
了する時に、第Lフレームの第Mブロックの画像ブロッ
クの動き検出が丁度終了するような傾斜の直線となる。
従来例においては、上述のように、移動平均を用いるこ
とで、閾値Tlよりも大きいもの(48μs)にかたよ
ったり、閾値T2よりも小さいもの(12μs)にかた
よったりしないで、両者が平均的に発生するため、1フ
レーム時間でちょうど全てのMBの動きの検出が完了す
るように制御できる。
検出のタイミングを示す図である。図5の横軸は時刻、
縦軸はフレーム番号およびブロック番号である。本例で
は、1フレームのブロック数はM個であり、時刻0に第
Lフレームの第1ブロックの動き検出を開始する。従来
例では、点線で示すように、1フレーム符号化時間が終
了する時に、第Lフレームの第Mブロックの画像ブロッ
クの動き検出が丁度終了するような傾斜の直線となる。
従来例においては、上述のように、移動平均を用いるこ
とで、閾値Tlよりも大きいもの(48μs)にかたよ
ったり、閾値T2よりも小さいもの(12μs)にかた
よったりしないで、両者が平均的に発生するため、1フ
レーム時間でちょうど全てのMBの動きの検出が完了す
るように制御できる。
【0037】一方、本発明による画像ブロックの動き検
出演算のタイミングは、直線で示すように、従来例と比
べて早くなったり、遅くなったりする動作を繰り返す。
フレーム間差分符号化は、一点鎖線で示すように、上記
のタイミングより少し遅れて処理される。図1におい
て、動き補償フレーム間差分符号化部10は、画像ブロ
ック動き検出回路6で計算された動きベクトルを用い
て、前側または後側のフレームメモリ4より動きベクト
ル分シフトした位置からのブロックを用い、それに対し
て差分をとり、DCT量子化を行う。したがって、予測
符号化は画像ブロック動き検出の後で行うことになる。
予測符号化も33mSでlフレーム分行うので、やはり
24μS/MBである(図5のグラフの1フレーム間差
分符号化(予測符号化)の傾きは、1MB/24μsと
なる)。予測符号化の時期は、動き検出が固定速度(点
線)のときは、動き検出の直後であればいつでもよい
が、動き検出が可変速度(実線)のときは、最悪の時で
も、予測符号化が動き検出よりも後になるように予め遅
延時間を設定しなければならない。
出演算のタイミングは、直線で示すように、従来例と比
べて早くなったり、遅くなったりする動作を繰り返す。
フレーム間差分符号化は、一点鎖線で示すように、上記
のタイミングより少し遅れて処理される。図1におい
て、動き補償フレーム間差分符号化部10は、画像ブロ
ック動き検出回路6で計算された動きベクトルを用い
て、前側または後側のフレームメモリ4より動きベクト
ル分シフトした位置からのブロックを用い、それに対し
て差分をとり、DCT量子化を行う。したがって、予測
符号化は画像ブロック動き検出の後で行うことになる。
予測符号化も33mSでlフレーム分行うので、やはり
24μS/MBである(図5のグラフの1フレーム間差
分符号化(予測符号化)の傾きは、1MB/24μsと
なる)。予測符号化の時期は、動き検出が固定速度(点
線)のときは、動き検出の直後であればいつでもよい
が、動き検出が可変速度(実線)のときは、最悪の時で
も、予測符号化が動き検出よりも後になるように予め遅
延時間を設定しなければならない。
【0038】実施の形態1のメリットとしては、アクテ
ィビティの小さいMBに対しては、1024点でも十分
に適切な動きベクトルを探索でき、画質を劣化させない
ようにでき、逆にアクティビティが大きく、広範囲を探
索しなければならないMBに対しては、4096点を演
算する時間を割り当てることができ、画質を向上させる
ことができることである。
ィビティの小さいMBに対しては、1024点でも十分
に適切な動きベクトルを探索でき、画質を劣化させない
ようにでき、逆にアクティビティが大きく、広範囲を探
索しなければならないMBに対しては、4096点を演
算する時間を割り当てることができ、画質を向上させる
ことができることである。
【0039】実施の形態2.画像ブロックの動き検出用
被符号化画像3をサブサンプリングして動き探索の演算
に行うことによって、演算量を削減することができる。
図6の(a)は256画素のうちの半分の128画素だ
けを用い動き探索を行うため、全画素を用いて行う場合
の画像ブロックの動き検出演算器を用いると、図2の
(b)の2048点探索が行える。なお、実施の形態2
においては、サブサンプリングがない場合、図2(a)
の1024点探索ができる画像ブロックの動き検出器を
用いると仮定している。この仮定のもとでは、1/2サ
ブサンプリングの場合、図2(b)の2048点探索が
可能となり、1/4サブサンプリングの場合、図2
(c)の4096点探索が可能となる。
被符号化画像3をサブサンプリングして動き探索の演算
に行うことによって、演算量を削減することができる。
図6の(a)は256画素のうちの半分の128画素だ
けを用い動き探索を行うため、全画素を用いて行う場合
の画像ブロックの動き検出演算器を用いると、図2の
(b)の2048点探索が行える。なお、実施の形態2
においては、サブサンプリングがない場合、図2(a)
の1024点探索ができる画像ブロックの動き検出器を
用いると仮定している。この仮定のもとでは、1/2サ
ブサンプリングの場合、図2(b)の2048点探索が
可能となり、1/4サブサンプリングの場合、図2
(c)の4096点探索が可能となる。
【0040】以下に、図6を用いて実施の形態2の具体
的な動作説明を行う。(a)に示す前フレームまたは後
フレームの被探索ブロック(16×16)は、フレーム
メモリ内からシフトレジスタ等で、縦方向にシフトされ
る。1点評価が終わると、画素が上にシフトするので、
1つ下の位置が評価でき、これを繰り返すことによって
縦1ラインの評価ができる。縦1ライン終了後は横に1
つずらし、同じことを繰り返す。縦方向に32回、横方
向に32回行えば1024点の評価値を全て求められ
る。1024点の中で評価値が最も小さくなる点のベク
トルが求める動きベクトルとなる。
的な動作説明を行う。(a)に示す前フレームまたは後
フレームの被探索ブロック(16×16)は、フレーム
メモリ内からシフトレジスタ等で、縦方向にシフトされ
る。1点評価が終わると、画素が上にシフトするので、
1つ下の位置が評価でき、これを繰り返すことによって
縦1ラインの評価ができる。縦1ライン終了後は横に1
つずらし、同じことを繰り返す。縦方向に32回、横方
向に32回行えば1024点の評価値を全て求められ
る。1024点の中で評価値が最も小さくなる点のベク
トルが求める動きベクトルとなる。
【0041】評価の方法は、図6の(c)に示すサブサ
ンプリングなしの被符号化ブロック(256画素)をあ
らかじめ全てレジスタに入れておき、図6(b)中の2
56個のPE(プロセッサエレメント)により上記被探
索ブロックとの各画素の差分絶対値を求め合計する。こ
のときの計算過程は、図7、図8に示される。図7にお
いて被探索ブロックの各画素xi、jは、前フレームまた
は後フレームメモリからのデータがシフトレジスタでシ
フトされたものである。被符号化ブロックのyi、jは被
符号化画像フレームメモリからあらかじめ転送され、そ
のMBの探索が全て完了するまで変化しない。図8は、
評価関数を求めるまでの回路構成をを示す図である。
ンプリングなしの被符号化ブロック(256画素)をあ
らかじめ全てレジスタに入れておき、図6(b)中の2
56個のPE(プロセッサエレメント)により上記被探
索ブロックとの各画素の差分絶対値を求め合計する。こ
のときの計算過程は、図7、図8に示される。図7にお
いて被探索ブロックの各画素xi、jは、前フレームまた
は後フレームメモリからのデータがシフトレジスタでシ
フトされたものである。被符号化ブロックのyi、jは被
符号化画像フレームメモリからあらかじめ転送され、そ
のMBの探索が全て完了するまで変化しない。図8は、
評価関数を求めるまでの回路構成をを示す図である。
【0042】図9は、本発明のアクティビティの平均を
求める回路を示す図である。第(N+1)の画像ブロッ
クの動き検出を始める前に、第(N+1)の動きの点に
関する評価関数を求め、それをシフトレジスタでシフト
する。第(N+1)〜(N+K−1)の動き0に関する
評価関数は、それぞれ第(N−K+2)〜Nの動き検出
を始める前に求まっている。
求める回路を示す図である。第(N+1)の画像ブロッ
クの動き検出を始める前に、第(N+1)の動きの点に
関する評価関数を求め、それをシフトレジスタでシフト
する。第(N+1)〜(N+K−1)の動き0に関する
評価関数は、それぞれ第(N−K+2)〜Nの動き検出
を始める前に求まっている。
【0043】評価関数は、ベクトル(h,v)の関数で
あり、h、vは探索範囲の値をとる。従って、E(h,
v)が最小となるベクトル(h0,v0)が求める動きベ
クトルである。アクティビティとして、ベクトル
(0,0)(動きなし)の点を用いると、アクティビテ
ィの平均Aは次の式で与えられる。
あり、h、vは探索範囲の値をとる。従って、E(h,
v)が最小となるベクトル(h0,v0)が求める動きベ
クトルである。アクティビティとして、ベクトル
(0,0)(動きなし)の点を用いると、アクティビテ
ィの平均Aは次の式で与えられる。
【0044】
【数3】
【0045】ここで、Ei(0,0)は第iMBの動き
なしの点の評価関数である。
なしの点の評価関数である。
【0046】(1)サブサンプリングなしのときは、次
のように、yi、jに各対応する画素を入れておくことに
より、評価結果E7が得られる。
のように、yi、jに各対応する画素を入れておくことに
より、評価結果E7が得られる。
【0047】Zi,j=|xi,j−yi,j|のとき:評価関
数 E7=ΣZi,j(i=l〜16,j=l〜16)・・・256
点。
数 E7=ΣZi,j(i=l〜16,j=l〜16)・・・256
点。
【0048】(2)1/2サブサンプリングのとき、i
が偶数の縦ラインについてyi、jにyiー1、jを入れてお
き、E5、E6を求めることにより、1回に2点(横に2
つ分)の結果がえられ、同一時間で2倍の領域を探索で
きる。縦ライン終了後、横に2画素分ずらしてこれを繰
り返す。これにより同一時間で縦32×横64(102
4)の領域を探索できる。
が偶数の縦ラインについてyi、jにyiー1、jを入れてお
き、E5、E6を求めることにより、1回に2点(横に2
つ分)の結果がえられ、同一時間で2倍の領域を探索で
きる。縦ライン終了後、横に2画素分ずらしてこれを繰
り返す。これにより同一時間で縦32×横64(102
4)の領域を探索できる。
【0049】Zi,j=|xi,j−yi,j|(i:奇数、j=1
〜16)のとき:評価関数 E5=ΣZi,j・・・128点 Zi,j=|xi,j−yi,j|(i:偶数、j=1〜16)のと
き:評価関数 E6=ΣZi,j・・・128点。
〜16)のとき:評価関数 E5=ΣZi,j・・・128点 Zi,j=|xi,j−yi,j|(i:偶数、j=1〜16)のと
き:評価関数 E6=ΣZi,j・・・128点。
【0050】(3)1/4サブサンプリングのとき、y
2n+1、2m+2、y2n+2、2m+1、y2n+2、2 m+2(m=0,1,
2...、n=0,1,2...)のレジスタにy2n+1、2m+1の数値
を入れておき、E1、E2、E3、E4を求め、1回に4点
(横2×縦2)の結果が得られ同一時間で4倍の領域を
探索できる。この場合、被探索ブロックレジスタは1回
探索後、縦に2画素シフトする。また縦ライン終了後、
横に2画素分ずらしてこれを繰り返す。これにより同一
時間で縦64×64(4096)の領域を探索できる。
2n+1、2m+2、y2n+2、2m+1、y2n+2、2 m+2(m=0,1,
2...、n=0,1,2...)のレジスタにy2n+1、2m+1の数値
を入れておき、E1、E2、E3、E4を求め、1回に4点
(横2×縦2)の結果が得られ同一時間で4倍の領域を
探索できる。この場合、被探索ブロックレジスタは1回
探索後、縦に2画素シフトする。また縦ライン終了後、
横に2画素分ずらしてこれを繰り返す。これにより同一
時間で縦64×64(4096)の領域を探索できる。
【0051】Zi,j=|xi,j−yi,j|(i:奇数、
j:偶数)のとき:評価関数 E1=ΣZi,j・・・64
点 Zi,j=|xi,j−yi,j|(i:奇数、j:偶数)のと
き:評価関数 E2=ΣZi,j・・・64点 Zi,j=|xi,j−yi,j|(i:偶数、j:奇数)のと
き:評価関数 E3=ΣZi,j・・・64点 Zi,j=|xi,j−yi,j|(i:偶数、j:偶数)のと
き:評価関数 E4=ΣZi,j・・・64点。
j:偶数)のとき:評価関数 E1=ΣZi,j・・・64
点 Zi,j=|xi,j−yi,j|(i:奇数、j:偶数)のと
き:評価関数 E2=ΣZi,j・・・64点 Zi,j=|xi,j−yi,j|(i:偶数、j:奇数)のと
き:評価関数 E3=ΣZi,j・・・64点 Zi,j=|xi,j−yi,j|(i:偶数、j:偶数)のと
き:評価関数 E4=ΣZi,j・・・64点。
【0052】同様に、図6の(b)は256画素のうち
の4分の1の64画素だけを用い動き探索を行うため、
図2の(c)の4096点探索が行える。以上述べたよ
うに、このような検索方法によって、探索点が拡大する
メリットが得られる。
の4分の1の64画素だけを用い動き探索を行うため、
図2の(c)の4096点探索が行える。以上述べたよ
うに、このような検索方法によって、探索点が拡大する
メリットが得られる。
【0053】実施の形態3.画像ブロックの動き検出用
被符号化画像3のブロックの各画素の分散Sが小さい場
合は各画素の変化がほとんどなく、かなり荒いサブサン
プリングでも検出された動きベクトルでの差分は小さ
く、後のフレーム間差分符号化における符号化効率を低
下させることはない。逆に、画像ブロックの動き検出用
被符号化画像3のブロックの各画素の分散Sが大きい場
合は各画素が大きく変化しているためサブサンプリング
をすると最適でない動きベクトルを検出しフレーム間差
分が大きくなり圧縮効率の低下を招く。
被符号化画像3のブロックの各画素の分散Sが小さい場
合は各画素の変化がほとんどなく、かなり荒いサブサン
プリングでも検出された動きベクトルでの差分は小さ
く、後のフレーム間差分符号化における符号化効率を低
下させることはない。逆に、画像ブロックの動き検出用
被符号化画像3のブロックの各画素の分散Sが大きい場
合は各画素が大きく変化しているためサブサンプリング
をすると最適でない動きベクトルを検出しフレーム間差
分が大きくなり圧縮効率の低下を招く。
【0054】本実施の形態では、画像ブロックの動き検
出用被符号化画像3のブロックの各画素の分散Sをアク
ティビティとして閾値T1、T2およびT3(0<T1
<T2<T3を定め、分散Sが閾値T1より小さいとき
は1/4サブサンプリング、T1とT2の間のときは1
/2サブサンプリング、T2とT3の間のときはサブサ
ンプリングなし、T3より大きいときは半画素精度で動
き探索を行うよう制御するよう構成される。
出用被符号化画像3のブロックの各画素の分散Sをアク
ティビティとして閾値T1、T2およびT3(0<T1
<T2<T3を定め、分散Sが閾値T1より小さいとき
は1/4サブサンプリング、T1とT2の間のときは1
/2サブサンプリング、T2とT3の間のときはサブサ
ンプリングなし、T3より大きいときは半画素精度で動
き探索を行うよう制御するよう構成される。
【0055】次に具体的な例を示す。図10は上記の平
均μ、分散σを計算するための参考図を示す。図10に
示すように、被符号化画素の各画素の値をyi、j(i=
1〜16、j=1〜16)とすると、平均μおよび分散
σは以下の式で求めることができる。
均μ、分散σを計算するための参考図を示す。図10に
示すように、被符号化画素の各画素の値をyi、j(i=
1〜16、j=1〜16)とすると、平均μおよび分散
σは以下の式で求めることができる。
【0056】
【数4】
【0057】ここでyi、jはデジタルで8ビットとする
と0〜255の数値をとる。分散σは、各画素の変化の
激しさを示す値である(σ=0ならば全て同一の値)。
従ってσが小さい場合、サブサンプリングによる精度の
悪さのデメリットが減少する分、サブサンプリングによ
り探索範囲拡大が有利になる。逆にσが大きい場合、サ
ブサンプリングで悪くなった画素による精度の悪さが大
きくなりデメリットが増加する。閾値の例としては、た
とえば、T3=5、T4=10、T5=15程度に取る
ことができる。探索範囲は実施の形態2に従う。すなわ
ち、サブサンプリングなしのとき横32×縦32(10
24点)、1/2サブサンプリングのとき横64×縦3
2(2048点)、1/4サブサンプリングのとき横6
4×縦64(4096点)となる。
と0〜255の数値をとる。分散σは、各画素の変化の
激しさを示す値である(σ=0ならば全て同一の値)。
従ってσが小さい場合、サブサンプリングによる精度の
悪さのデメリットが減少する分、サブサンプリングによ
り探索範囲拡大が有利になる。逆にσが大きい場合、サ
ブサンプリングで悪くなった画素による精度の悪さが大
きくなりデメリットが増加する。閾値の例としては、た
とえば、T3=5、T4=10、T5=15程度に取る
ことができる。探索範囲は実施の形態2に従う。すなわ
ち、サブサンプリングなしのとき横32×縦32(10
24点)、1/2サブサンプリングのとき横64×縦3
2(2048点)、1/4サブサンプリングのとき横6
4×縦64(4096点)となる。
【0058】実施の形態4.図11は、前後双方向から
のフレーム間差分符号化における本発明による画像ブロ
ック動き検出回路の周辺を示した図である。前方向の予
測画像メモリ4aからの予測画像5aを後方向の画像ブ
ロック動き検出回路6bに転送できるように構成し、前
方向のフレーム間符号化時に後方向の検出回路6bが半
分の演算を行うようにした。このとき、Pピクチャの動
き検出時は、後側の画像ブロック動き検出回路6bが動
作しないで遊ぶ状態になる。すなわち、図12に示すよ
うに、前側画像ブロック動き検出回路6aだけでの探索
範囲は図12の(a)のように中心(0,0)に対し、
(−16,−16)〜(+15,+15)の1024点
となる。
のフレーム間差分符号化における本発明による画像ブロ
ック動き検出回路の周辺を示した図である。前方向の予
測画像メモリ4aからの予測画像5aを後方向の画像ブ
ロック動き検出回路6bに転送できるように構成し、前
方向のフレーム間符号化時に後方向の検出回路6bが半
分の演算を行うようにした。このとき、Pピクチャの動
き検出時は、後側の画像ブロック動き検出回路6bが動
作しないで遊ぶ状態になる。すなわち、図12に示すよ
うに、前側画像ブロック動き検出回路6aだけでの探索
範囲は図12の(a)のように中心(0,0)に対し、
(−16,−16)〜(+15,+15)の1024点
となる。
【0059】一方、Pピクチャのとき、前側画像ブロッ
ク動き検出回路6aで(−32,−16)〜(−1,+
15)の1024点、後側画像ブロック動き検出回路6
bで(0,−16)〜(+31,+15)の1024点
の範囲を探索することによって、結果として(−32,
−16)〜(+31,+15)の2048点の探索を行
うことができる。
ク動き検出回路6aで(−32,−16)〜(−1,+
15)の1024点、後側画像ブロック動き検出回路6
bで(0,−16)〜(+31,+15)の1024点
の範囲を探索することによって、結果として(−32,
−16)〜(+31,+15)の2048点の探索を行
うことができる。
【0060】図12の構成は図7、図8と同じである
が、前側画像ブロック動き検出回路6aの被探索ブロッ
クにxi、jの代わりにxi-16、jを入れ、後側動き探索器
6bにはXi、jの代わりにxi+16、jを入れる点が異な
る。
が、前側画像ブロック動き検出回路6aの被探索ブロッ
クにxi、jの代わりにxi-16、jを入れ、後側動き探索器
6bにはXi、jの代わりにxi+16、jを入れる点が異な
る。
【0061】このときの探索範囲の割り当ては、例え
ば、前方向用画像ブロック動き検出回路6aが図12の
(b)の左側の部分(水平方向のベクトルがマイナスの
部分、後方向用画像ブロック動き検出回路6bが図12
の(b)の右側の部分(水平方向のベクトルが0とプラ
スの部分)となるように行う。
ば、前方向用画像ブロック動き検出回路6aが図12の
(b)の左側の部分(水平方向のベクトルがマイナスの
部分、後方向用画像ブロック動き検出回路6bが図12
の(b)の右側の部分(水平方向のベクトルが0とプラ
スの部分)となるように行う。
【0062】なお、前方向と後方向の予測画像メモリ4
a,4bおよび画像ブロック動き検出回路6a,6b
は、交互に前後を切り替える必要がある。図11の構成
図においては、前側I/P予測画像メモリと後側I/P
予測画像メモリとを有する。しかし、実際は、図14の
各フレームに示すように、例えば、I0ピクチャを前側
フレームメモリ、P3ピクチャを後側フレームメモリに
入れて、B4ピクチャ、B5ピクチャを符号化した後、P
6ピクチャは前側のI0ピクチャに上書きし、B4、B5符
号化のとき、前側フレームメモリにP6ピクチャ、後側
フレームメモリにP3ピクチャが入り、逆になる。した
がって、このときは、前後の画像ブロック動き検出回路
を切り替える必要がある。
a,4bおよび画像ブロック動き検出回路6a,6b
は、交互に前後を切り替える必要がある。図11の構成
図においては、前側I/P予測画像メモリと後側I/P
予測画像メモリとを有する。しかし、実際は、図14の
各フレームに示すように、例えば、I0ピクチャを前側
フレームメモリ、P3ピクチャを後側フレームメモリに
入れて、B4ピクチャ、B5ピクチャを符号化した後、P
6ピクチャは前側のI0ピクチャに上書きし、B4、B5符
号化のとき、前側フレームメモリにP6ピクチャ、後側
フレームメモリにP3ピクチャが入り、逆になる。した
がって、このときは、前後の画像ブロック動き検出回路
を切り替える必要がある。
【0063】図11には後方向の予測画像メモリ4bか
らの予測画像5bを前方向の画像ブロック動き検出回路
6aに転送できる経路も示してある。これは、後側に画
像ブロック動き検出回路6bを前側画像ブロック動き検
出回路6a用に用いるには、前側の被探索画素をxi、j
として入力する必要があるので、その経路が必要となる
ためである。この発明により、前方向のフレーム間符号
化時に、図2の(a)の1024点探索を行うことので
きる画像ブロック動き検出回路を用いて、(b)204
8点探索を行うことができる。このように、本発明にお
いては、探索範囲を広げることによって、より適切な動
きベクトルを検出することができ、符号化効率(圧縮
率)を上げることができる。
らの予測画像5bを前方向の画像ブロック動き検出回路
6aに転送できる経路も示してある。これは、後側に画
像ブロック動き検出回路6bを前側画像ブロック動き検
出回路6a用に用いるには、前側の被探索画素をxi、j
として入力する必要があるので、その経路が必要となる
ためである。この発明により、前方向のフレーム間符号
化時に、図2の(a)の1024点探索を行うことので
きる画像ブロック動き検出回路を用いて、(b)204
8点探索を行うことができる。このように、本発明にお
いては、探索範囲を広げることによって、より適切な動
きベクトルを検出することができ、符号化効率(圧縮
率)を上げることができる。
【0064】
【発明の効果】本発明によれば、探索点の範囲およびサ
ブサンプリングの度合を可変にし、アクティビティによ
る制御を行ったこと、また、前方向だけのフレーム間符
号化時に後方向用の画像ブロック動き検出回路も利用し
たことにより、同一演算能力をもつ画像ブロック動き検
出回路により精度の高い動きベクトルを求めることがで
き圧縮率および画質の良い画像圧縮装置を得ることがで
きる。
ブサンプリングの度合を可変にし、アクティビティによ
る制御を行ったこと、また、前方向だけのフレーム間符
号化時に後方向用の画像ブロック動き検出回路も利用し
たことにより、同一演算能力をもつ画像ブロック動き検
出回路により精度の高い動きベクトルを求めることがで
き圧縮率および画質の良い画像圧縮装置を得ることがで
きる。
【0065】また、本発明による画像ブロック動き検出
装置は、同一の演算規模の画像ブロックの動き検出回路
を用いても、従来に比べて符号化すべきフレーム全体と
してバランスのとれた適した動きベクトルを検出でき
る。
装置は、同一の演算規模の画像ブロックの動き検出回路
を用いても、従来に比べて符号化すべきフレーム全体と
してバランスのとれた適した動きベクトルを検出でき
る。
【0066】本発明は、アクティビティの小さいMBに
対しては、1024点でも十分に適切な動きベクトルを
探索でき、画質を劣化させないようにでき、逆にアクテ
ィビティが大きく、広範囲を探索しなければならないM
Bに対しては、4096点を演算する時間を割り当てる
ことができ、画質を向上させることができることであ
る。
対しては、1024点でも十分に適切な動きベクトルを
探索でき、画質を劣化させないようにでき、逆にアクテ
ィビティが大きく、広範囲を探索しなければならないM
Bに対しては、4096点を演算する時間を割り当てる
ことができ、画質を向上させることができることであ
る。
【0067】本発明は、検出を行うブロックに対して予
め動きのアクティビティを求め、これらのアクティビテ
ィをもとに次に検出すべきブロックの検出範囲を制御す
るので、より適切な動きベクトルを検出することがで
き、符号化効率(圧縮率)を上げることができる。
め動きのアクティビティを求め、これらのアクティビテ
ィをもとに次に検出すべきブロックの検出範囲を制御す
るので、より適切な動きベクトルを検出することがで
き、符号化効率(圧縮率)を上げることができる。
【0068】さらに、本発明において、アクティビティ
は、画像ブロックの画像ブロック動き検出用符号化画像
のブロックの各画素の分散によって計算されるので、よ
り適切な動きベクトルを検出することができ、符号化効
率(圧縮率)を上げることができる。
は、画像ブロックの画像ブロック動き検出用符号化画像
のブロックの各画素の分散によって計算されるので、よ
り適切な動きベクトルを検出することができ、符号化効
率(圧縮率)を上げることができる。
【0069】さらに、本発明において、アクティビティ
は、画像ブロックの画像ブロック動き検出用符号化画像
と予測画像の動きベクトルを0としたときのブロック内
画像の差分絶対値和によって計算されるので、より適切
な動きベクトルを検出することができ、符号化効率(圧
縮率)を上げることができる。
は、画像ブロックの画像ブロック動き検出用符号化画像
と予測画像の動きベクトルを0としたときのブロック内
画像の差分絶対値和によって計算されるので、より適切
な動きベクトルを検出することができ、符号化効率(圧
縮率)を上げることができる。
【0070】さらに、本発明は、画像のアクティビティ
を用いて画像ブロックの動き検出用被符号化画像のサブ
サンプリングによる範囲拡大探索、通常の整数精度探
索、半画素精度探索の内から、いずれかを選択して動き
探索を行うので、より適切な動きベクトルを検出するこ
とができ、符号化効率(圧縮率)を上げることができ
る。
を用いて画像ブロックの動き検出用被符号化画像のサブ
サンプリングによる範囲拡大探索、通常の整数精度探
索、半画素精度探索の内から、いずれかを選択して動き
探索を行うので、より適切な動きベクトルを検出するこ
とができ、符号化効率(圧縮率)を上げることができ
る。
【0071】さらに、本発明は、画像ブロックの動き検
出用被符号化画像を1/2,1/4等のサブサンプリン
グするので、同一演算器を用いた場合でも、画像ブロッ
クの動き検出用被符号化画像をサブサンプリングしない
ときに比べて動きの探索範囲を拡大できる。
出用被符号化画像を1/2,1/4等のサブサンプリン
グするので、同一演算器を用いた場合でも、画像ブロッ
クの動き検出用被符号化画像をサブサンプリングしない
ときに比べて動きの探索範囲を拡大できる。
【0072】さらに、本発明は、次の式で得られる分散
σを画像のアクティビティとして用い、第1の閾値,第
2の閾値、第3の閾値を設け、この分散σが第1の閾値
より小さいときは1/4サンプリング、第1の閾値と第
2の閾値との間にある時は1/2サンプリング、第2の
閾値と第3の閾値との間にある時はサンプリングなし、
第3の閾値より大きいときは半画素精度で動き探索を行
うので、より適切な動きベクトルを検出することがで
き、符号化効率(圧縮率)を上げることができる。
σを画像のアクティビティとして用い、第1の閾値,第
2の閾値、第3の閾値を設け、この分散σが第1の閾値
より小さいときは1/4サンプリング、第1の閾値と第
2の閾値との間にある時は1/2サンプリング、第2の
閾値と第3の閾値との間にある時はサンプリングなし、
第3の閾値より大きいときは半画素精度で動き探索を行
うので、より適切な動きベクトルを検出することがで
き、符号化効率(圧縮率)を上げることができる。
【0073】
【数5】
【0074】さらに、本発明は、サブサンプリングなし
のときは、予測画像メモリにyi、jに各対応する画素を
入れておくことにより、Zi,j=|xi,j−yi,j|、評
価関数 E7=ΣZi,jによって、評価結果を得るので、
より適切な動きベクトルを検出することができ、符号化
効率(圧縮率)を上げることができる。
のときは、予測画像メモリにyi、jに各対応する画素を
入れておくことにより、Zi,j=|xi,j−yi,j|、評
価関数 E7=ΣZi,jによって、評価結果を得るので、
より適切な動きベクトルを検出することができ、符号化
効率(圧縮率)を上げることができる。
【0075】さらに、本発明は、1/2サブサンプリン
グのときは、iが偶数の縦ラインについて予測画像メモ
リにyi、jにyiー1、jを入れておき、Zi,j=|xi,j−y
i,j|のときの評価関数E5=ΣZi,j、およびZi,j=|
xi,j−yi,j|のときの評価関数E6=ΣZi,jが得られ
るので、より適切な動きベクトルを検出することがで
き、符号化効率(圧縮率)を上げることができる。
グのときは、iが偶数の縦ラインについて予測画像メモ
リにyi、jにyiー1、jを入れておき、Zi,j=|xi,j−y
i,j|のときの評価関数E5=ΣZi,j、およびZi,j=|
xi,j−yi,j|のときの評価関数E6=ΣZi,jが得られ
るので、より適切な動きベクトルを検出することがで
き、符号化効率(圧縮率)を上げることができる。
【0076】さらに、本発明は、1/4サブサンプリン
グのとき、予測画像メモリにy2n+1 、2m+1の数値を入れ
ておき、Zi,j=|xi,j−yi,j|(i:奇数、j:偶
数)のときの評価関数E1=ΣZi,j、Zi,j=|xi,j−
yi,j|(i:奇数、j:偶数)のときの評価関数E2=
ΣZi,j、Zi,j=|xi,j−yi,j|(i:偶数、j:奇
数)のときの評価関数E3=ΣZi,j、およびZi,j=|
xi,j−yi,j|(i:偶数、j:偶数)のときの評価関
数E4=ΣZi,jが得られるので、より適切な動きベクト
ルを検出することができ、符号化効率(圧縮率)を上げ
ることができる。
グのとき、予測画像メモリにy2n+1 、2m+1の数値を入れ
ておき、Zi,j=|xi,j−yi,j|(i:奇数、j:偶
数)のときの評価関数E1=ΣZi,j、Zi,j=|xi,j−
yi,j|(i:奇数、j:偶数)のときの評価関数E2=
ΣZi,j、Zi,j=|xi,j−yi,j|(i:偶数、j:奇
数)のときの評価関数E3=ΣZi,j、およびZi,j=|
xi,j−yi,j|(i:偶数、j:偶数)のときの評価関
数E4=ΣZi,jが得られるので、より適切な動きベクト
ルを検出することができ、符号化効率(圧縮率)を上げ
ることができる。
【0077】さらに、本発明は、入力バッファメモリ、
予測画像メモリ、画像ブロック動き検出回路を含む画像
ブロック動き検出装置に、さらに、アクティビティ演算
回路を設け、入力バッファメモリからの被符号化画像と
予測画像メモリからの予測画像からアクティビティを計
算しその結果に基づいて画像ブロック動き検出回路の探
索範囲を制御するので、より適切な動きベクトルを検出
することができ、符号化効率(圧縮率)を上げることが
できる。
予測画像メモリ、画像ブロック動き検出回路を含む画像
ブロック動き検出装置に、さらに、アクティビティ演算
回路を設け、入力バッファメモリからの被符号化画像と
予測画像メモリからの予測画像からアクティビティを計
算しその結果に基づいて画像ブロック動き検出回路の探
索範囲を制御するので、より適切な動きベクトルを検出
することができ、符号化効率(圧縮率)を上げることが
できる。
【0078】さらに、本発明は、順方向フレーム間画像
ブロックの動き検出時に、使用していない方の逆方向フ
レーム間画像ブロック動き検出演算器を用いて、両方向
フレーム間画像ブロックの動き検出時よりも検出範囲を
拡大できるので、より適切な動きベクトルを検出するこ
とができ、符号化効率(圧縮率)を上げることができ
る。
ブロックの動き検出時に、使用していない方の逆方向フ
レーム間画像ブロック動き検出演算器を用いて、両方向
フレーム間画像ブロックの動き検出時よりも検出範囲を
拡大できるので、より適切な動きベクトルを検出するこ
とができ、符号化効率(圧縮率)を上げることができ
る。
【0079】さらに、本発明は、前方向の予測画像メモ
リからの予測画像を後方向の画像ブロック動き検出回路
に転送できるように結線し、前方向のフレーム間符号化
と同時に、後方向の画像ブロック動き検出回路中で予測
画像処理の演算の半分を行わせるので、より適切な動き
ベクトルを検出することができ、符号化効率(圧縮率)
を上げることができる。
リからの予測画像を後方向の画像ブロック動き検出回路
に転送できるように結線し、前方向のフレーム間符号化
と同時に、後方向の画像ブロック動き検出回路中で予測
画像処理の演算の半分を行わせるので、より適切な動き
ベクトルを検出することができ、符号化効率(圧縮率)
を上げることができる。
【図1】 本発明の実施の一形態による画像ブロック動
き検出装置の構成を示す図である。
き検出装置の構成を示す図である。
【図2】 本発明の動き探索範囲を示す図である。
【図3】 本発明の各ブロックのアクティビティを示す
図である。
図である。
【図4】 アクティビティ制御による動き検出のタイミ
ングチャートを示す図である。
ングチャートを示す図である。
【図5】 本発明の画像ブロックの動き検出のタイミン
グを示す図である。
グを示す図である。
【図6】 本発明の被検出ブロックのサブサンプリング
を示す図である。
を示す図である。
【図7】 本発明の探索方法を示す図である。
【図8】 本発明の探索方法を示す図である。
【図9】 本発明のアクティビティの平均を求める回路
を示す図である。
を示す図である。
【図10】 本発明の実施の一形態における平均μ、分
散σを計算するための参考的な図である。
散σを計算するための参考的な図である。
【図11】 本発明の実施の一形態における前後双方向
画像ブロック動き検出装置を示す図である。
画像ブロック動き検出装置を示す図である。
【図12】 前側画像ブロック動き検出回路だけでの探
索範囲と前側および後側の両画像ブロック動き検出回路
での探索範囲の比較を示す図である。
索範囲と前側および後側の両画像ブロック動き検出回路
での探索範囲の比較を示す図である。
【図13】 従来例による画像ブロック動き検出装置を
含む符号化装置の構成を示す図である。
含む符号化装置の構成を示す図である。
【図14】 一般的なMPEGの予測符号化方法を示す
図である。
図である。
【図15】 従来例の前後双方向画像ブロック動き検出
装置を示す図である。
装置を示す図である。
2 入力バッファメモリ 4,4a,4b 予測画像メモリ 6,6a,6a 画像ブロック動き検出回路 10 差分符号化器 12 送信バッファメモリ 15 選択回路 16 アクティビティ演算回路 17 平均化回路
Claims (12)
- 【請求項1】 画像をブロックに分割して前または後の
画像フレームから動きベクトルを検出する両方向および
片方向の画像ブロック動き検出装置において:検出を行
うブロックに対して予め動きのアクティビティを求め、
これらのアクティビティをもとに次に検出すべきブロッ
クの検出範囲を制御することを特徴とする画像ブロック
動き検出装置。 - 【請求項2】 請求項1記載の画像ブロック動き検出装
置において:前記アクティビティは、画像ブロックの画
像ブロック動き検出用符号化画像のブロックの各画素の
分散によって計算されることを特徴とする画像ブロック
動き検出装置。 - 【請求項3】 請求項1記載の画像ブロック動き検出装
置において:前記アクティビティは、画像ブロックの画
像ブロック動き検出用符号化画像と予測画像の動きベク
トルを0としたときのブロック内画像の差分絶対値和に
よって計算されることを特徴とする画像ブロック動き検
出装置。 - 【請求項4】 請求項1記載の画像ブロック動き検出装
置において:画像のアクティビティを用いて画像ブロッ
クの動き検出用被符号化画像のサブサンプリングによる
範囲拡大探索、通常の整数精度探索、半画素精度探索の
内から、いずれかを選択して動き探索を行うことを特徴
とする画像ブロック動き検出装置。 - 【請求項5】 画像をブロックに分割して前または後の
画像フレームから動きベクトルを検出する両方向および
片方向の画像ブロック動き検出装置において:画像ブロ
ックの動き検出用被符号化画像を1/2,1/4等のサ
ブサンプリングすることにより、同一演算器を用いて、
画像ブロックの動き検出用被符号化画像をサブサンプリ
ングしないときに比べて動きの探索範囲を拡大できるよ
うにしたことを特徴とする画像ブロック動き検出装置。 - 【請求項6】 請求項5記載の画像ブロック動き検出装
置において:次の式で得られる分散σを画像のアクティ
ビティとして用い、第1の閾値T1,第2の閾値T2、
第3の閾値T3を設け(T1<T2<T3)、この分散
σが第1の閾値T1より小さいときは1/4サンプリン
グ、第1の閾値T1と第2の閾値T2との間にある時は
1/2サンプリング、第2の閾値T2と第3の閾値T3
との間にある時はサンプリングなし、第3の閾値T3よ
り大きいときは半画素精度で動き探索を行うことを特徴
とする画像ブロック動き検出装置。 【数1】 - 【請求項7】 請求項5記載の画像ブロック動き検出装
置において:サブサンプリングなしのときは、予測画像
メモリにyi、jに各対応する画素を入れておくことによ
り、評価結果E7を次の式から得るようにしたことを特
徴とする画像ブロック動き検出装置。 Zi,j=|xi,j−yi,j|のとき:評価関数 E7=ΣZ
i,j(i=l〜16,j=l〜16) ここで、Zi,jは、被探索ブロック xi,jは、被探索ブロックの画素 yi,jは、被符号化ブロックの画素 - 【請求項8】 請求項5記載の画像ブロック動き検出装
置において:1/2サブサンプリングのときは、iが偶
数の縦ラインについて予測画像メモリにyi、jにyiー1、j
を入れておき、E5、E6を次の式から求めるようにした
ことを特徴とする画像ブロック動き検出装置。 Zi,j=|xi,j−yi,j|(i:奇数、j=1〜16)のと
き:評価関数 E5=ΣZi,j Zi,j=|xi,j−yi,j|(i:偶数、j=1〜16)のと
き:評価関数 E6=ΣZi,j - 【請求項9】 請求項5記載の画像ブロック動き検出装
置において:1/4サブサンプリングのとき、y
2n+1、2m+2、y2n+2、2m+1、y2n+2、2m+2(m=
0,1,2...、n=0,1,2...)の予測画像メモリにy
2n+1、2m+1の数値を入れておき、評価関数E1、E2、
E3、E4を次の式から求めるようにしたことを特徴とす
る画像ブロック動き検出装置。 Zi,j=|xi,j−yi,j|(i:奇数、j:偶数)のと
き:評価関数 E1=ΣZi,j Zi,j=|xi,j−yi,j|(i:奇数、j:偶数)のと
き:評価関数 E2=ΣZi,j Zi,j=|xi,j−yi,j|(i:偶数、j:奇数)のと
き:評価関数 E3=ΣZi,j Zi,j=|xi,j−yi,j|(i:偶数、j:偶数)のと
き:評価関数 E4=ΣZi,j - 【請求項10】 入力バッファメモリ、予測画像メモ
リ、画像ブロック動き検出回路を含む画像ブロック動き
検出装置において、 さらに、アクティビティ演算回路を設け、 前記入力バッファメモリからの被符号化画像と前記予測
画像メモリからの予測画像からアクティビティを計算し
その結果に基づいて画像ブロック動き検出回路の探索範
囲を制御することを特徴とする画像ブロック動き検出装
置。 - 【請求項11】 画像をブロックに分割して前または後
の画像フレームから動きベクトルを検出する両方向およ
び片方向の画像ブロック動き検出装置において:順方向
フレーム間画像ブロックの動き検出時に、使用していな
い方の逆方向フレーム間画像ブロック動き検出演算器を
用いて、両方向フレーム間画像ブロックの動き検出時よ
りも検出範囲を拡大することを特徴とする画像ブロック
動き検出装置。 - 【請求項12】 請求項11記載の画像ブロック動き検
出装置において:前方向の予測画像メモリからの予測画
像を後方向の画像ブロック動き検出回路に転送できるよ
うに結線し、前方向のフレーム間符号化と同時に、後方
向の画像ブロック動き検出回路中で予測画像処理の演算
の半分を行わせることを特徴とする画像ブロック動き検
出回路。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7210568A JPH0965339A (ja) | 1995-08-18 | 1995-08-18 | 画像ブロック動き検出装置 |
US08/590,941 US5778099A (en) | 1995-08-18 | 1996-01-24 | Picture block motion detecting apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7210568A JPH0965339A (ja) | 1995-08-18 | 1995-08-18 | 画像ブロック動き検出装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH0965339A true JPH0965339A (ja) | 1997-03-07 |
Family
ID=16591480
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP7210568A Pending JPH0965339A (ja) | 1995-08-18 | 1995-08-18 | 画像ブロック動き検出装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US5778099A (ja) |
JP (1) | JPH0965339A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6414995B2 (en) | 1999-07-29 | 2002-07-02 | Mitsubishi Denki Kabushiki Kaisha | Motion vector detection system |
JP2005354528A (ja) * | 2004-06-11 | 2005-12-22 | Canon Inc | 動きベクトル検出装置及び方法 |
JP2009153102A (ja) * | 2007-11-28 | 2009-07-09 | Oki Electric Ind Co Ltd | 動きベクトル検出装置、フレーム間符号化装置、動画像符号化装置、動きベクトル検出プログラム、フレーム間符号化プログラム及び動画像符号化プログラム |
JP2014121051A (ja) * | 2012-12-19 | 2014-06-30 | Fujitsu Ltd | 動きベクトル検出装置、方法、及びプログラム |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4294743B2 (ja) * | 1996-12-13 | 2009-07-15 | 富士通株式会社 | 動きベクトル探索装置および動画像符号化装置 |
TW361051B (en) * | 1997-01-09 | 1999-06-11 | Matsushita Electric Ind Co Ltd | Motion vector detection apparatus |
US6212237B1 (en) * | 1997-06-17 | 2001-04-03 | Nippon Telegraph And Telephone Corporation | Motion vector search methods, motion vector search apparatus, and storage media storing a motion vector search program |
US6373516B1 (en) | 1999-11-15 | 2002-04-16 | Ericsson, Inc. | Picture position indicator for picture phone |
KR100830355B1 (ko) * | 2000-03-31 | 2008-05-20 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 2개의 상관된 데이터 시퀀스들의 인코딩 및 디코딩을 위한 방법, 인코더, 디코더, 및 멀티플렉스 |
FR2819071A1 (fr) * | 2000-12-28 | 2002-07-05 | Koninkl Philips Electronics Nv | Transfert d'une serie de donnees |
US7289676B2 (en) * | 2001-03-29 | 2007-10-30 | Sony Corporation | Image processing apparatus, image processing method, image processing program, and recording medium |
WO2002099753A1 (fr) * | 2001-06-05 | 2002-12-12 | Sony Corporation | Processeur d'images |
US20080001614A1 (en) * | 2006-06-28 | 2008-01-03 | Thorson Dean E | Image Capture Device with Alignment Indicia |
US20100316129A1 (en) * | 2009-03-27 | 2010-12-16 | Vixs Systems, Inc. | Scaled motion search section with downscaling filter and method for use therewith |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2231746B (en) * | 1989-04-27 | 1993-07-07 | Sony Corp | Motion dependent video signal processing |
GB2231752B (en) * | 1989-04-27 | 1993-08-04 | Sony Corp | Motion dependent video signal processing |
JPH0372796A (ja) * | 1989-04-28 | 1991-03-27 | Matsushita Electric Ind Co Ltd | テレビジョン信号処理装置 |
GB2246488B (en) * | 1990-07-24 | 1994-04-20 | Sony Corp | Motion dependant video signal processing |
DE4322343C2 (de) * | 1992-07-06 | 1996-10-02 | Mitsubishi Electric Corp | Mittel zum Erfassen eines Bewegungsvektors und Verfahren zum Bestimmen eines Bewegungsvektors |
-
1995
- 1995-08-18 JP JP7210568A patent/JPH0965339A/ja active Pending
-
1996
- 1996-01-24 US US08/590,941 patent/US5778099A/en not_active Expired - Fee Related
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6414995B2 (en) | 1999-07-29 | 2002-07-02 | Mitsubishi Denki Kabushiki Kaisha | Motion vector detection system |
JP2005354528A (ja) * | 2004-06-11 | 2005-12-22 | Canon Inc | 動きベクトル検出装置及び方法 |
JP4514203B2 (ja) * | 2004-06-11 | 2010-07-28 | キヤノン株式会社 | 動きベクトル検出装置及び方法 |
JP2009153102A (ja) * | 2007-11-28 | 2009-07-09 | Oki Electric Ind Co Ltd | 動きベクトル検出装置、フレーム間符号化装置、動画像符号化装置、動きベクトル検出プログラム、フレーム間符号化プログラム及び動画像符号化プログラム |
JP2014121051A (ja) * | 2012-12-19 | 2014-06-30 | Fujitsu Ltd | 動きベクトル検出装置、方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US5778099A (en) | 1998-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8451898B2 (en) | Motion vector estimation apparatus | |
JP4001400B2 (ja) | 動きベクトル検出方法及び動きベクトル検出装置 | |
US20040146108A1 (en) | MPEG-II video encoder chip design | |
JPH0965339A (ja) | 画像ブロック動き検出装置 | |
US6867714B2 (en) | Method and apparatus for estimating a motion using a hierarchical search and an image encoding system adopting the method and apparatus | |
RU2003100074A (ru) | Способ кодирования движущегося изображения | |
WO2001010135A1 (en) | Moving vector detecting method | |
US20070092007A1 (en) | Methods and systems for video data processing employing frame/field region predictions in motion estimation | |
KR970025185A (ko) | 특징적 기반 움직임 추정을 이용하여 비디오 신호를 부호화 및 복호화하는 장치 | |
US20050123039A1 (en) | Motion estimation method for motion picture encoding and recording medium having program recorded thereon to implement the motion estimation method | |
JP2003522486A (ja) | Pフレームに対する2ステップ動き推定を伴なうビデオ符号化 | |
KR20070088321A (ko) | 화상 부호화 장치 및 화상 부호화 방법 | |
US7433407B2 (en) | Method for hierarchical motion estimation | |
US20080063065A1 (en) | Fast Motion Estimation for Multiple Reference Pictures | |
JP2003085566A (ja) | 対応点探索方法及びこれを用いたマッチング装置 | |
JPH0846969A (ja) | 映像信号符号化方式 | |
US8184706B2 (en) | Moving picture coding apparatus and method with decimation of pictures | |
KR100994771B1 (ko) | 블록정합에 의한 움직임 벡터 탐색방법 및 탐색장치 | |
US20020168008A1 (en) | Method and apparatus for coding moving pictures | |
JP2002010260A (ja) | 動きベクトル検出方法及び動画像符号化装置 | |
JPH10341440A (ja) | 動画像符号化方法および装置 | |
JP2002247584A (ja) | 画像符号化方法および装置、並びに、画像符号化処理用プログラム及びそのプログラムの記録媒体 | |
JP2000032474A (ja) | 動画像符号化装置 | |
KR0178302B1 (ko) | 양방향 병렬 파이프라인 구조에 근거한 탐색 이동 예측처리기 | |
JP3513214B2 (ja) | 動きベクトル検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041102 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050301 |