JP2000078580A - 動きベクトル検出装置および方法、並びに提供媒体 - Google Patents
動きベクトル検出装置および方法、並びに提供媒体Info
- Publication number
- JP2000078580A JP2000078580A JP24309598A JP24309598A JP2000078580A JP 2000078580 A JP2000078580 A JP 2000078580A JP 24309598 A JP24309598 A JP 24309598A JP 24309598 A JP24309598 A JP 24309598A JP 2000078580 A JP2000078580 A JP 2000078580A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- search
- block
- residual
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/57—Motion estimation characterised by a search window with variable size or shape
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/557—Motion estimation characterised by stopping computation or iteration based on certain criteria, e.g. error magnitude being too large or early exit
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20052—Discrete cosine transform [DCT]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 入力される画像データに対応した動きベクト
ル検出処理を実行することができるようにする。 【解決手段】 動きベクトル検出回路12は、フレーム
メモリ2から読み出した、基準ブロックと、検索フレー
ムの、予め設定された位置の検索ブロックの残差を演算
して、動作制御回路13に出力する。動作制御回路13
は、動きベクトル検出回路12から供給された残差の値
が、閾値Th1と、それより小さい値の閾値Th2のそ
れぞれに比べ大きいか否かを判定し、その判定結果に対
応してベクトル検出回路11を制御する。残差が閾値T
h1より大きい値である場合、動きベクトル検出回路1
1は、比較的広い検索範囲を利用した動きベクトル検出
処理の実行が指令される。残差の値が閾値Th1以下
で、閾値Th2より大きい場合、動きベクトル検出回路
11ha、比較的狭い検索範囲を利用した動きベクトル検
出処理の実行ga指令される。また、残差Eの値が閾値T
h2以下である場合、動きベクトル検出回路11は、動
きベクトル検出処理の実行の停止が指令される。
ル検出処理を実行することができるようにする。 【解決手段】 動きベクトル検出回路12は、フレーム
メモリ2から読み出した、基準ブロックと、検索フレー
ムの、予め設定された位置の検索ブロックの残差を演算
して、動作制御回路13に出力する。動作制御回路13
は、動きベクトル検出回路12から供給された残差の値
が、閾値Th1と、それより小さい値の閾値Th2のそ
れぞれに比べ大きいか否かを判定し、その判定結果に対
応してベクトル検出回路11を制御する。残差が閾値T
h1より大きい値である場合、動きベクトル検出回路1
1は、比較的広い検索範囲を利用した動きベクトル検出
処理の実行が指令される。残差の値が閾値Th1以下
で、閾値Th2より大きい場合、動きベクトル検出回路
11ha、比較的狭い検索範囲を利用した動きベクトル検
出処理の実行ga指令される。また、残差Eの値が閾値T
h2以下である場合、動きベクトル検出回路11は、動
きベクトル検出処理の実行の停止が指令される。
Description
【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、動きベクトル検出
装置および方法、並びに提供媒体に関し、特に、効率よ
く動きベクトルを検出し、消費電力を抑制することがで
きるようにした動きベクトル検出装置および方法、並び
に提供媒体に関する。
装置および方法、並びに提供媒体に関し、特に、効率よ
く動きベクトルを検出し、消費電力を抑制することがで
きるようにした動きベクトル検出装置および方法、並び
に提供媒体に関する。
【0002】
【従来の技術】例えば、MPEG(Moving Picture Expe
rts Group)においては、動きベクトルを検出し、それを
利用して動画像データを符号化(圧縮)するようにして
いる。この動きベクトルを検出する方法としては、フル
サーチブロックマッチング方法が上げられる。
rts Group)においては、動きベクトルを検出し、それを
利用して動画像データを符号化(圧縮)するようにして
いる。この動きベクトルを検出する方法としては、フル
サーチブロックマッチング方法が上げられる。
【0003】以下において、動きベクトル検出装置にお
いて実行される、フルサーチブロックマッチング方法の
原理を、図8を参照して説明する。例えば、基準フレー
ム111から検索フレーム112に対する動きベクトル
が検出される場合、はじめに、基準フレーム111の所
定の位置に基準ブロック121が設定され、検索フレー
ム112の所定の位置に検索範囲131が設定される。
いて実行される、フルサーチブロックマッチング方法の
原理を、図8を参照して説明する。例えば、基準フレー
ム111から検索フレーム112に対する動きベクトル
が検出される場合、はじめに、基準フレーム111の所
定の位置に基準ブロック121が設定され、検索フレー
ム112の所定の位置に検索範囲131が設定される。
【0004】このように、基準ブロック121と検索範
囲131が設定されると、検索範囲131から、検基準
ブロック121と同一の大きさの部分が、所定の規定の
基づいて索ブロック122として抽出され、基準ブロッ
ク121との残差が演算される。通常、検索範囲131
の大きさに比例した数の検索ブロック122が、検索範
囲131から抽出され、その検索ブロック122のそれ
ぞれと、基準ブロック121との残差が演算されるの
で、複数の残差が求められる。このようにして演算され
た残差のうち、最も小さい値を示す検索ブロック122
と、基準ブロック121との位置関係に基づいて、動き
ベクトルが検出される。
囲131が設定されると、検索範囲131から、検基準
ブロック121と同一の大きさの部分が、所定の規定の
基づいて索ブロック122として抽出され、基準ブロッ
ク121との残差が演算される。通常、検索範囲131
の大きさに比例した数の検索ブロック122が、検索範
囲131から抽出され、その検索ブロック122のそれ
ぞれと、基準ブロック121との残差が演算されるの
で、複数の残差が求められる。このようにして演算され
た残差のうち、最も小さい値を示す検索ブロック122
と、基準ブロック121との位置関係に基づいて、動き
ベクトルが検出される。
【0005】例えば、基準ブロック121が、自動車A
の画像を含んでいる場合、検索フレーム112において
実線で示されている、自動車Aの画像を含まない部分が
検索ブロック122として抽出されると、基準ブロック
121と検索ブロック122との残差は大きくなる。ま
た、例えば、図中、検索フレーム112において点線の
枠で示される、自動車Aの画像を含む部分が検索ブロッ
ク122として抽出されると、基準ブロック121と検
索ブロック122の画像がより近いものとなり、その残
差は、小さい値となる。このようにして得られた、基準
ブロック121との残差のうち、最も小さい残差を示す
検索ブロック122の検索範囲131内の位置を示すデ
ータが、動きベクトルとして検出される。
の画像を含んでいる場合、検索フレーム112において
実線で示されている、自動車Aの画像を含まない部分が
検索ブロック122として抽出されると、基準ブロック
121と検索ブロック122との残差は大きくなる。ま
た、例えば、図中、検索フレーム112において点線の
枠で示される、自動車Aの画像を含む部分が検索ブロッ
ク122として抽出されると、基準ブロック121と検
索ブロック122の画像がより近いものとなり、その残
差は、小さい値となる。このようにして得られた、基準
ブロック121との残差のうち、最も小さい残差を示す
検索ブロック122の検索範囲131内の位置を示すデ
ータが、動きベクトルとして検出される。
【0006】ところで、上述したように、フルサーチブ
ロッキング方法に基づいて動きベクトルを検出する動き
ベクトル検出装置においては、基準ブロック121と、
検索範囲131から抽出される複数の検索ブロック12
2のそれぞれとの残差が演算される。そのことより、そ
の演算処理を実行するために多くの電力が消費され、そ
の結果、動きベクトル検出装置の消費電力が大きくなる
課題があった。そこで、動きベクトルを検出する必要が
ないとき、動きベクトル検出装置の動作を停止させ、電
力消費を抑制する方法が、「E.Miyagoshi, et al.,"A 1
00mm2 0.95W Single-Chip MPEG2 MP@ML Video Encoder
with a 128GOPS Motion Estimator anda Multi-Tasking
RISC-Type Controller", Digest of Technical Papers
ISSCC'98, pp.30-31, Feb 1998」、および「M.Mizuno,
et al.,"A 1.5W Single-Chip MP@ML MPEG2 Encoder wi
th Low Power Motion Estimation and Clocking", Dige
st of Technical Papers ISSCC'97, pp.256-257, Feb 1
997」により提案されている。
ロッキング方法に基づいて動きベクトルを検出する動き
ベクトル検出装置においては、基準ブロック121と、
検索範囲131から抽出される複数の検索ブロック12
2のそれぞれとの残差が演算される。そのことより、そ
の演算処理を実行するために多くの電力が消費され、そ
の結果、動きベクトル検出装置の消費電力が大きくなる
課題があった。そこで、動きベクトルを検出する必要が
ないとき、動きベクトル検出装置の動作を停止させ、電
力消費を抑制する方法が、「E.Miyagoshi, et al.,"A 1
00mm2 0.95W Single-Chip MPEG2 MP@ML Video Encoder
with a 128GOPS Motion Estimator anda Multi-Tasking
RISC-Type Controller", Digest of Technical Papers
ISSCC'98, pp.30-31, Feb 1998」、および「M.Mizuno,
et al.,"A 1.5W Single-Chip MP@ML MPEG2 Encoder wi
th Low Power Motion Estimation and Clocking", Dige
st of Technical Papers ISSCC'97, pp.256-257, Feb 1
997」により提案されている。
【0007】
【発明が解決しようとする課題】しかしながら、このよ
うな動きベクトル検出装置においては、例えば、検出さ
れる動きベクトルがゼロベクトル(V(0,0))また
はそれに近いものであると推測され、検索範囲131が
比較的狭い範囲でよいとされる静止画像の場合、または
動きが遅い動画像の場合においても、検出される動きベ
クトルの大きさが大きく、検索範囲131として比較的
広い範囲が必要とされる、動画像の動きが早い場合と同
一の広さの検索範囲131が設定されるようになされて
いるので、特に、必要とされない処理(例えば、演算処
理)が実行されている。その結果、動きベクトル検出装
置において、消費電力をまだ充分に抑制することができ
ていない課題がある。
うな動きベクトル検出装置においては、例えば、検出さ
れる動きベクトルがゼロベクトル(V(0,0))また
はそれに近いものであると推測され、検索範囲131が
比較的狭い範囲でよいとされる静止画像の場合、または
動きが遅い動画像の場合においても、検出される動きベ
クトルの大きさが大きく、検索範囲131として比較的
広い範囲が必要とされる、動画像の動きが早い場合と同
一の広さの検索範囲131が設定されるようになされて
いるので、特に、必要とされない処理(例えば、演算処
理)が実行されている。その結果、動きベクトル検出装
置において、消費電力をまだ充分に抑制することができ
ていない課題がある。
【0008】本発明はこのような状況に鑑みてなされた
ものであり、効率良く、動きベクトルを検出し、消費電
力を抑制することができるようにするものである。
ものであり、効率良く、動きベクトルを検出し、消費電
力を抑制することができるようにするものである。
【0009】
【課題を解決するための手段】請求項1に記載の動きベ
クトル検出装置は、検索フレームに設定された検索範囲
から検索ブロックを抽出し、抽出した検索ブロックと、
基準フレームの基準ブロックとの残差を求め、残差が最
小となる検索ブロックから動きベクトルを検出する動き
ベクトル検出処理を実行する実行手段と、基準フレーム
に対応する第1の画像データと、検索フレームに対応す
る第2の画像データとの残差を演算する演算手段と、演
算手段の演算結果に対応して、実行手段の検索範囲を制
御する制御手段とを備えることを特徴とする。
クトル検出装置は、検索フレームに設定された検索範囲
から検索ブロックを抽出し、抽出した検索ブロックと、
基準フレームの基準ブロックとの残差を求め、残差が最
小となる検索ブロックから動きベクトルを検出する動き
ベクトル検出処理を実行する実行手段と、基準フレーム
に対応する第1の画像データと、検索フレームに対応す
る第2の画像データとの残差を演算する演算手段と、演
算手段の演算結果に対応して、実行手段の検索範囲を制
御する制御手段とを備えることを特徴とする。
【0010】請求項3に記載の動きベクトル検出方法
は、検索フレームに設定された検索範囲から検索ブロッ
クを抽出し、抽出した検索ブロックと、基準フレームの
基準ブロックとの残差を求め、残差が最小となる検索ブ
ロックから動きベクトルを検出する動きベクトル検出処
理を実行する実行ステップと、基準フレームに対応する
第1の画像データと、検索フレームに対応する第2の画
像データとの残差を演算する演算ステップと、演算ステ
ップでの演算結果に対応して、実行ステップでの検索範
囲を制御する制御ステップとを含むことを特徴とする。
は、検索フレームに設定された検索範囲から検索ブロッ
クを抽出し、抽出した検索ブロックと、基準フレームの
基準ブロックとの残差を求め、残差が最小となる検索ブ
ロックから動きベクトルを検出する動きベクトル検出処
理を実行する実行ステップと、基準フレームに対応する
第1の画像データと、検索フレームに対応する第2の画
像データとの残差を演算する演算ステップと、演算ステ
ップでの演算結果に対応して、実行ステップでの検索範
囲を制御する制御ステップとを含むことを特徴とする。
【0011】請求項4に記載の提供媒体は、検索フレー
ムに設定された検索範囲から検索ブロックを抽出し、抽
出した検索ブロックと、基準フレームの基準ブロックと
の残差を求め、残差が最小となる検索ブロックから動き
ベクトルを検出する動きベクトル検出処理を実行する実
行ステップと、基準フレームに対応する第1の画像デー
タと、検索フレームに対応する第2の画像データとの残
差を演算する演算ステップと、演算ステップでの演算結
果に対応して、実行ステップでの検索範囲を制御する制
御ステップとを含む処理を実行させるコンピュータが読
み取り可能なプログラムを提供することを特徴とする。
ムに設定された検索範囲から検索ブロックを抽出し、抽
出した検索ブロックと、基準フレームの基準ブロックと
の残差を求め、残差が最小となる検索ブロックから動き
ベクトルを検出する動きベクトル検出処理を実行する実
行ステップと、基準フレームに対応する第1の画像デー
タと、検索フレームに対応する第2の画像データとの残
差を演算する演算ステップと、演算ステップでの演算結
果に対応して、実行ステップでの検索範囲を制御する制
御ステップとを含む処理を実行させるコンピュータが読
み取り可能なプログラムを提供することを特徴とする。
【0012】請求項1に記載の動きベクトル検出装置、
請求項3に記載の動きベクトル検出方法、および請求項
4に記載に提供媒体においては、検索フレームに設定さ
れた検索範囲から検索ブロックを抽出し、抽出した検索
ブロックと、基準フレームの基準ブロックとの残差を求
め、残差が最小となる検索ブロックから動きベクトルを
検出する動きベクトル検出処理が実行され、基準フレー
ムに対応する第1の画像データと、検索フレームに対応
する第2の画像データとの残差が演算され、演算結果に
対応して、検索範囲が制御される。
請求項3に記載の動きベクトル検出方法、および請求項
4に記載に提供媒体においては、検索フレームに設定さ
れた検索範囲から検索ブロックを抽出し、抽出した検索
ブロックと、基準フレームの基準ブロックとの残差を求
め、残差が最小となる検索ブロックから動きベクトルを
検出する動きベクトル検出処理が実行され、基準フレー
ムに対応する第1の画像データと、検索フレームに対応
する第2の画像データとの残差が演算され、演算結果に
対応して、検索範囲が制御される。
【0013】
【発明の実施の形態】以下に本発明の実施の形態を説明
するが、特許請求の範囲に記載の発明の各手段と以下の
実施の形態との対応関係を明らかにするために、各手段
の後の括弧内に、対応する実施の形態(但し一例)を付
加して本発明の特徴を記述すると、次のようになる。但
し勿論この記載は、各手段を記載したものに限定するこ
とを意味するものではない。
するが、特許請求の範囲に記載の発明の各手段と以下の
実施の形態との対応関係を明らかにするために、各手段
の後の括弧内に、対応する実施の形態(但し一例)を付
加して本発明の特徴を記述すると、次のようになる。但
し勿論この記載は、各手段を記載したものに限定するこ
とを意味するものではない。
【0014】請求項1に記載の動きベクトル検出装置
は、検索フレームに設定された検索範囲から検索ブロッ
クを抽出し、抽出した検索ブロックと、基準フレームの
基準ブロックとの残差を求め、残差が最小となる検索ブ
ロックから動きベクトルを検出する動きベクトル検出処
理を実行する実行手段(例えば、図1の動きベクトル検
出回路11)と、基準フレームに対応する第1の画像デ
ータと、検索フレームに対応する第2の画像データとの
残差を演算する演算手段(例えば、図1の動きベクトル
検出回路12)と、演算手段の演算結果に対応して、実
行手段の検索範囲を制御する制御手段(例えば、図1の
動作制御回路13)とを備えることを特徴とする。
は、検索フレームに設定された検索範囲から検索ブロッ
クを抽出し、抽出した検索ブロックと、基準フレームの
基準ブロックとの残差を求め、残差が最小となる検索ブ
ロックから動きベクトルを検出する動きベクトル検出処
理を実行する実行手段(例えば、図1の動きベクトル検
出回路11)と、基準フレームに対応する第1の画像デ
ータと、検索フレームに対応する第2の画像データとの
残差を演算する演算手段(例えば、図1の動きベクトル
検出回路12)と、演算手段の演算結果に対応して、実
行手段の検索範囲を制御する制御手段(例えば、図1の
動作制御回路13)とを備えることを特徴とする。
【0015】図1は、本発明の動きベクトル検出装置を
応用した、画像符号化装置50の第1の実施の形態の構
成例を表している。画像データは、減算器1に入力さ
れ、動き補償回路10より供給される予測画像データと
の差分が演算され、その演算結果が、DCT回路3に供
給される。DCT回路3は、入力されたデータをDCT
(Discrete Cosine Transform)変換して、量子化回路4
に出力する。量子化回路4は、入力されたDCT係数を
量子化して、VLC回路5と逆量子化回路6に出力する
ようになされている。VLC回路5は、量子化回路4よ
り入力された量子化データをVLC(Vriable Length Co
de)(可変長符号)に変換し、図示せぬ伝送路に伝送す
る。
応用した、画像符号化装置50の第1の実施の形態の構
成例を表している。画像データは、減算器1に入力さ
れ、動き補償回路10より供給される予測画像データと
の差分が演算され、その演算結果が、DCT回路3に供
給される。DCT回路3は、入力されたデータをDCT
(Discrete Cosine Transform)変換して、量子化回路4
に出力する。量子化回路4は、入力されたDCT係数を
量子化して、VLC回路5と逆量子化回路6に出力する
ようになされている。VLC回路5は、量子化回路4よ
り入力された量子化データをVLC(Vriable Length Co
de)(可変長符号)に変換し、図示せぬ伝送路に伝送す
る。
【0016】逆量子化回路6は、量子化回路4より入力
された量子化データを逆量子化し、逆DCT回路7に出
力している。逆DCT回路7は、逆量子化回路6より入
力されたデータを逆DCT処理して、加算器8に出力す
る。加算器8は、動き補償回路10より入力された予測
画像データと、逆DCT回路7より供給されたデータ
(差分データ)とを加算し、もとの画像データに戻し
て、フレームメモリ9に供給し、記憶させるようになさ
れている。
された量子化データを逆量子化し、逆DCT回路7に出
力している。逆DCT回路7は、逆量子化回路6より入
力されたデータを逆DCT処理して、加算器8に出力す
る。加算器8は、動き補償回路10より入力された予測
画像データと、逆DCT回路7より供給されたデータ
(差分データ)とを加算し、もとの画像データに戻し
て、フレームメモリ9に供給し、記憶させるようになさ
れている。
【0017】フレームメモリ9より読み出された画像デ
ータは、動き補償回路10で動き補償された後、減算器
1と加算器8に予測画像データとして供給される。
ータは、動き補償回路10で動き補償された後、減算器
1と加算器8に予測画像データとして供給される。
【0018】一方、入力された画像データは、フレーム
メモリ2に供給され記憶されるとともに、そこから適宜
読み出され、動きベクトル検出回路11および動きベク
トル検出回路12に供給される。動きベクトル検出回路
12は、フレームメモリ2から読み出した基準フレーム
の基準ブロックと、検索フレームの、予め設定された位
置の検索ブロックとの残差を演算し、その演算結果を動
作制御回路13に出力するようになされている。
メモリ2に供給され記憶されるとともに、そこから適宜
読み出され、動きベクトル検出回路11および動きベク
トル検出回路12に供給される。動きベクトル検出回路
12は、フレームメモリ2から読み出した基準フレーム
の基準ブロックと、検索フレームの、予め設定された位
置の検索ブロックとの残差を演算し、その演算結果を動
作制御回路13に出力するようになされている。
【0019】動作制御回路13は、動きベクトル検出回
路12から出力された演算結果に基づいた制御信号を、
動きベクトル検出回路11に出力するようになされてい
る。動きベクトル検出回路11は、動作制御回路13か
らの制御信号に対応した方法に基づいて、動きベクトル
を検出し、動き補償回路10に供給するようになされて
いる。
路12から出力された演算結果に基づいた制御信号を、
動きベクトル検出回路11に出力するようになされてい
る。動きベクトル検出回路11は、動作制御回路13か
らの制御信号に対応した方法に基づいて、動きベクトル
を検出し、動き補償回路10に供給するようになされて
いる。
【0020】次に、その動作について説明する。入力さ
れた画像データは、減算器1に供給される。減算器1に
は、フレームメモリ9から読み出され、動き補償回路1
0で動きベクトルに対応して動き補償された予測画像デ
ータが供給されており、減算器1は、入力された画像デ
ータから、この予測画像データを減算して、その差分デ
ータをDCT回路3に出力する。DCT回路3は、入力
された差分データをDCT変換し、量子化回路4に出力
する。量子化回路4は、入力されたDCT係数を量子化
し、VLC回路5に供給する。VLC回路5は、入力さ
れた量子化データを可変長符号に変換し、出力する。
れた画像データは、減算器1に供給される。減算器1に
は、フレームメモリ9から読み出され、動き補償回路1
0で動きベクトルに対応して動き補償された予測画像デ
ータが供給されており、減算器1は、入力された画像デ
ータから、この予測画像データを減算して、その差分デ
ータをDCT回路3に出力する。DCT回路3は、入力
された差分データをDCT変換し、量子化回路4に出力
する。量子化回路4は、入力されたDCT係数を量子化
し、VLC回路5に供給する。VLC回路5は、入力さ
れた量子化データを可変長符号に変換し、出力する。
【0021】逆量子化回路6は、量子化回路4が出力し
た量子化データを局部的に復号するために、逆量子化し
て、逆DCT回路7に出力する。逆DCT回路7は、入
力された量子化データを逆DCT変換し、もとの差分デ
ータに戻して、加算器8に出力する。加算器8にはま
た、動き補償回路10より出力された予測画像データが
供給されており、この予測画像データに、逆DCT回路
7より出力された差分データが加算され、もとの画像デ
ータに戻された後、フレームメモリ9に供給され、記憶
される。
た量子化データを局部的に復号するために、逆量子化し
て、逆DCT回路7に出力する。逆DCT回路7は、入
力された量子化データを逆DCT変換し、もとの差分デ
ータに戻して、加算器8に出力する。加算器8にはま
た、動き補償回路10より出力された予測画像データが
供給されており、この予測画像データに、逆DCT回路
7より出力された差分データが加算され、もとの画像デ
ータに戻された後、フレームメモリ9に供給され、記憶
される。
【0022】動きベクトル検出回路12は、フレームメ
モリ2から読み出した、例えば、図2に示すような基準
フレーム111の基準ブロック(画素B1(x1,y
1),画素B2(x2,y2),画素B3(x3,y3),
画素B4(x4,y4)で形成される範囲)121の画素
データと、検索フレーム112の、予め設定された位置
の検索ブロック(画素R1(x11,y11),画素R2
(x12,y12),画素R3(x13,y13),画素R4
(x14,y14)で形成される範囲)Rの画素データとの
それぞれの差分を演算し、さらにその絶対値の和を演算
し、それを検索ブロックRの基準ブロック121に対す
る残差Eとして、動作制御回路13に出力する。
モリ2から読み出した、例えば、図2に示すような基準
フレーム111の基準ブロック(画素B1(x1,y
1),画素B2(x2,y2),画素B3(x3,y3),
画素B4(x4,y4)で形成される範囲)121の画素
データと、検索フレーム112の、予め設定された位置
の検索ブロック(画素R1(x11,y11),画素R2
(x12,y12),画素R3(x13,y13),画素R4
(x14,y14)で形成される範囲)Rの画素データとの
それぞれの差分を演算し、さらにその絶対値の和を演算
し、それを検索ブロックRの基準ブロック121に対す
る残差Eとして、動作制御回路13に出力する。
【0023】動作制御回路13は、動きベクトル検出回
路12から供給された残差Eの値が、この例において、
2つの閾値(閾値Th1と、それより小さい値の閾値T
h2)のそれぞれに比べ大きいか否かを判定し、その判
定結果に対応した制御信号を、動きベクトル検出回路1
1に出力する。例えば、自動車Aの移動速度が早いとき
の動画像であって、図8における場合のように、検索ブ
ロックRには、検索フレーム112において実線の枠で
示される検索ブロック122のように、自動車Aの画像
が含まれず、基準ブロック121の画像と大きく異なる
場合、検索ブロックRの基準ブロック121に対する残
差Eの値は大きくなる。このように、残差Eが大きく、
例えば、それが閾値Th1より大きい場合(残差E>閾
値Th1>閾値Th2の関係式が成り立つ場合)、動作
制御回路13は、動きベクトル検出回路11に対し、図
3に示すように、比較的広い、80×80画素の検索範
囲Wを利用した動きベクトル検出処理の実行を指令する
制御信号C1を出力する。
路12から供給された残差Eの値が、この例において、
2つの閾値(閾値Th1と、それより小さい値の閾値T
h2)のそれぞれに比べ大きいか否かを判定し、その判
定結果に対応した制御信号を、動きベクトル検出回路1
1に出力する。例えば、自動車Aの移動速度が早いとき
の動画像であって、図8における場合のように、検索ブ
ロックRには、検索フレーム112において実線の枠で
示される検索ブロック122のように、自動車Aの画像
が含まれず、基準ブロック121の画像と大きく異なる
場合、検索ブロックRの基準ブロック121に対する残
差Eの値は大きくなる。このように、残差Eが大きく、
例えば、それが閾値Th1より大きい場合(残差E>閾
値Th1>閾値Th2の関係式が成り立つ場合)、動作
制御回路13は、動きベクトル検出回路11に対し、図
3に示すように、比較的広い、80×80画素の検索範
囲Wを利用した動きベクトル検出処理の実行を指令する
制御信号C1を出力する。
【0024】また、例えば、図2に示すように、図8に
おける場合に比べ、自動車Aが低速で移動している場合
の動画像であって、検索ブロックRに自動車Aの画像の
一部が含まれている場合、検索ブロックRの基準ブロッ
ク121に対する残差Eの値は、図8における場合に比
べ、小さくなる。このように、残差Eの値がある程度小
さく、例えば、それが閾値Th1以下で、閾値Th2よ
り大きい場合(閾値Th1>=残差E>閾値Th2の関
係式が成り立つ場合)、動作制御回路13は、動きベク
トル検出回路11に対し、図4に示すような、比較的狭
い、18×18画素の検索範囲Nを利用した動きベクト
ル検出処理の実行を指令する制御信号C2を出力する。
おける場合に比べ、自動車Aが低速で移動している場合
の動画像であって、検索ブロックRに自動車Aの画像の
一部が含まれている場合、検索ブロックRの基準ブロッ
ク121に対する残差Eの値は、図8における場合に比
べ、小さくなる。このように、残差Eの値がある程度小
さく、例えば、それが閾値Th1以下で、閾値Th2よ
り大きい場合(閾値Th1>=残差E>閾値Th2の関
係式が成り立つ場合)、動作制御回路13は、動きベク
トル検出回路11に対し、図4に示すような、比較的狭
い、18×18画素の検索範囲Nを利用した動きベクト
ル検出処理の実行を指令する制御信号C2を出力する。
【0025】また、例えば、図5に示すように、図2に
おける場合に比べ、自動車Aの移動速度が遅く、ほぼ静
止している状態の画像であって、検索ブロックRには、
基準ブロック121とほぼ同一画像が含まれている場
合、検索ブロックRの基準ブロック121に対する残差
Eは、より小さい値となる。このように、残差Eの値が
より小さく、例えば、それが閾値Th2以下である場合
(残差E=<閾値Th2<閾値Th1の関係式が成り立
つ場合)、動作制御回路13は、動きベクトル検出回路
11に対し、動きベクトル検出処理の実行の停止を指令
する制御信号C3を出力する。
おける場合に比べ、自動車Aの移動速度が遅く、ほぼ静
止している状態の画像であって、検索ブロックRには、
基準ブロック121とほぼ同一画像が含まれている場
合、検索ブロックRの基準ブロック121に対する残差
Eは、より小さい値となる。このように、残差Eの値が
より小さく、例えば、それが閾値Th2以下である場合
(残差E=<閾値Th2<閾値Th1の関係式が成り立
つ場合)、動作制御回路13は、動きベクトル検出回路
11に対し、動きベクトル検出処理の実行の停止を指令
する制御信号C3を出力する。
【0026】動きベクトル検出回路11は、動作制御回
路13から出力される3つの制御信号C1,C2,C3
に対応した動きベクトル検出処理を実行し、その結果得
られた動きベクトルを動き補償回路10に出力する。
路13から出力される3つの制御信号C1,C2,C3
に対応した動きベクトル検出処理を実行し、その結果得
られた動きベクトルを動き補償回路10に出力する。
【0027】次に、図6を参照して、動きベクトル検出
回路11の構成例を説明する。キャッシュメモリ(以
下、単に、メモリと略称する)31には、フレームメモ
リ2に記憶されている画像データのうち、基準フレーム
111に設定された基準ブロック121の画素データが
供給され、記憶されるようになされている。キャッシュ
メモリ(以下、単に、メモリと略称する)32には、フ
レームメモリ2に記憶されている画像データのうち、検
索フレーム112に設定された検索範囲Wまたは検索範
囲Nの画素データが供給され、記憶されるようになされ
ている。
回路11の構成例を説明する。キャッシュメモリ(以
下、単に、メモリと略称する)31には、フレームメモ
リ2に記憶されている画像データのうち、基準フレーム
111に設定された基準ブロック121の画素データが
供給され、記憶されるようになされている。キャッシュ
メモリ(以下、単に、メモリと略称する)32には、フ
レームメモリ2に記憶されている画像データのうち、検
索フレーム112に設定された検索範囲Wまたは検索範
囲Nの画素データが供給され、記憶されるようになされ
ている。
【0028】なお、動きベクトル検出回路11におい
て、検索範囲Wまたは検索範囲Nから抽出される検索ブ
ロックは、検索ブロック122とし、動きベクトル検出
回路12において、予め設定された位置の検索ブロック
は、検索ブロックRと記述する。
て、検索範囲Wまたは検索範囲Nから抽出される検索ブ
ロックは、検索ブロック122とし、動きベクトル検出
回路12において、予め設定された位置の検索ブロック
は、検索ブロックRと記述する。
【0029】マッチング処理部33は、メモリ31に記
憶されている基準ブロック121の画素データと、メモ
リ32に記憶されている検索範囲Wまたは検索範囲Nか
ら抽出した検索ブロック122との残差を演算し、その
演算結果を最小値検出部34に出力するようになされて
いる。最小値検出部34は、マッチング処理部33から
出力された演算結果(残差)のうち、最小の残差を示す
検索ブロック122の検索範囲Wまたは検索範囲Nにお
ける位置を示すデータを、動きベクトルとし、動き補償
回路10に出力する。なお、この例において、基準ブロ
ック121および検索ブロック122は16×16画素
により構成されるものとする。
憶されている基準ブロック121の画素データと、メモ
リ32に記憶されている検索範囲Wまたは検索範囲Nか
ら抽出した検索ブロック122との残差を演算し、その
演算結果を最小値検出部34に出力するようになされて
いる。最小値検出部34は、マッチング処理部33から
出力された演算結果(残差)のうち、最小の残差を示す
検索ブロック122の検索範囲Wまたは検索範囲Nにお
ける位置を示すデータを、動きベクトルとし、動き補償
回路10に出力する。なお、この例において、基準ブロ
ック121および検索ブロック122は16×16画素
により構成されるものとする。
【0030】受信部35は、動作制御回路13から出力
される制御信号など受信し、制御部30に供給するよう
になされている。制御部30は、メモリ31乃至受信部
35を制御し、所定の処理を実行するようになされてい
る。
される制御信号など受信し、制御部30に供給するよう
になされている。制御部30は、メモリ31乃至受信部
35を制御し、所定の処理を実行するようになされてい
る。
【0031】次に、その動作について説明する。例え
ば、動きベクトル検出回路11の制御部30が、受信部
35を介して、動作制御回路13からの制御信号C1を
受信した場合、すなわち、図8における場合のように、
動画像の動作速度が早く、動きベクトル検出回路12に
おいて、基準ブロック121と検索ブロックRとの残差
が大きい場合、制御部30は、フレームメモリ2に記憶
されている検索フレーム112の画像データから、検索
範囲Wの画素データを読み出し、メモリ32に記憶さ
せ、マッチング処理部33に対して、マッチング処理の
実行を指令する。
ば、動きベクトル検出回路11の制御部30が、受信部
35を介して、動作制御回路13からの制御信号C1を
受信した場合、すなわち、図8における場合のように、
動画像の動作速度が早く、動きベクトル検出回路12に
おいて、基準ブロック121と検索ブロックRとの残差
が大きい場合、制御部30は、フレームメモリ2に記憶
されている検索フレーム112の画像データから、検索
範囲Wの画素データを読み出し、メモリ32に記憶さ
せ、マッチング処理部33に対して、マッチング処理の
実行を指令する。
【0032】マッチング処理部33において、はじめ
に、検索範囲Wの画素データのうち、図3において点線
の枠で示すように、左上の16×16画素データが検索
ブロック122として抽出され、メモリ31に記憶され
ている基準ブロック121の16×16画素データとの
差分が演算される。そして、その絶対値の和が、その検
索ブロック122の基準ブロック121に対する残差と
して最小値検出部34に出力される。
に、検索範囲Wの画素データのうち、図3において点線
の枠で示すように、左上の16×16画素データが検索
ブロック122として抽出され、メモリ31に記憶され
ている基準ブロック121の16×16画素データとの
差分が演算される。そして、その絶対値の和が、その検
索ブロック122の基準ブロック121に対する残差と
して最小値検出部34に出力される。
【0033】次に、この検索ブロック122が、1画素
分だけ下側に移動される。すなわち、破線で示すブロッ
クから、実線で示すブロックに、検索ブロック122が
変更される。この検索ブロック122においても、同様
に残差が演算され、最小値検出部34に出力される。そ
して、検索ブロック122が、検索範囲W内の最も下方
まで移動されたとき、次に、検索ブロック122は、一
番上まで移動されるとともに、1画素分だけ右側に移動
される。以下同様の処理が繰り返される。すなわち、こ
の場合、16×16画素の検索ブロック122は、左右
方向にそれぞれ32画素分だけ、かつ、上下方向にもそ
れぞれ32画素分だけ移動することができるので、検索
範囲Wからは、4225(65×65)個の検索ブロッ
ク122が抽出され、そしてそれらの基準ブロック12
1に対する残差が演算される。
分だけ下側に移動される。すなわち、破線で示すブロッ
クから、実線で示すブロックに、検索ブロック122が
変更される。この検索ブロック122においても、同様
に残差が演算され、最小値検出部34に出力される。そ
して、検索ブロック122が、検索範囲W内の最も下方
まで移動されたとき、次に、検索ブロック122は、一
番上まで移動されるとともに、1画素分だけ右側に移動
される。以下同様の処理が繰り返される。すなわち、こ
の場合、16×16画素の検索ブロック122は、左右
方向にそれぞれ32画素分だけ、かつ、上下方向にもそ
れぞれ32画素分だけ移動することができるので、検索
範囲Wからは、4225(65×65)個の検索ブロッ
ク122が抽出され、そしてそれらの基準ブロック12
1に対する残差が演算される。
【0034】最小値検出部34は、制御部30の制御に
従って、このようにしてマッチング処理部33から供給
された、4225個の残差のうち、最小の残差を示す検
索ブロック122の検索範囲Wの位置を示すデータを、
動きベクトルとし、それを動き補償回路10に出力す
る。
従って、このようにしてマッチング処理部33から供給
された、4225個の残差のうち、最小の残差を示す検
索ブロック122の検索範囲Wの位置を示すデータを、
動きベクトルとし、それを動き補償回路10に出力す
る。
【0035】このように、動画像の速度が一定以上であ
る場合、比較的広い検索範囲Wに基づいて動きベクトル
を検出にするようにしたので、画質を劣化させることな
く、動き補償することができる。
る場合、比較的広い検索範囲Wに基づいて動きベクトル
を検出にするようにしたので、画質を劣化させることな
く、動き補償することができる。
【0036】また、動きベクトル検出回路11の制御部
30が、受信部35を介して、動作制御回路13からの
制御信号C2を受信した場合、すなわち、図2における
場合のように、動きベクトル検出回路12において、基
準ブロック121と検索ブロックRとの残差がある程度
大きい(小さい)場合、制御部30は、フレームメモリ
2に記憶されている検索フレーム112の画像データか
ら、検索範囲Nの画素データを読み出し、メモリ32に
記憶させ、マッチング処理部33に対して、マッチング
処理の実行を指令する。
30が、受信部35を介して、動作制御回路13からの
制御信号C2を受信した場合、すなわち、図2における
場合のように、動きベクトル検出回路12において、基
準ブロック121と検索ブロックRとの残差がある程度
大きい(小さい)場合、制御部30は、フレームメモリ
2に記憶されている検索フレーム112の画像データか
ら、検索範囲Nの画素データを読み出し、メモリ32に
記憶させ、マッチング処理部33に対して、マッチング
処理の実行を指令する。
【0037】マッチング処理部33において、検索範囲
Nの画素データのうち、図4において点線の枠で示すよ
うに、左上の16×16画素データが検索ブロック12
2として抽出され、メモリ31に記憶されている基準ブ
ロックの16×16画素データとの差分が演算される。
そして、その絶対値の和が、その検索ブロック122の
基準ブロック121に対する残差として最小値検出部3
4に出力される。以下、検索範囲Wにおける場合と同様
の処理が繰り返され、最小値検出部34からは、マッチ
ング処理部33から供給された残差のうち、最小の残差
を示す検索ブロック122の検索範囲Nの位置を示すデ
ータが、動きベクトルとして、動き補償回路10に出力
される。この場合、16×16画素の検索ブロック12
2は、左右方向にそれぞれ1画素分だけ移動することが
でき、かつ、上下方向にもそれぞれ1画素分だけ移動す
ることができるので、検索範囲Nからは、9(=3×
3)個の検索ブロック122が抽出され、それらの基準
ブロック121に対する残差が演算される。
Nの画素データのうち、図4において点線の枠で示すよ
うに、左上の16×16画素データが検索ブロック12
2として抽出され、メモリ31に記憶されている基準ブ
ロックの16×16画素データとの差分が演算される。
そして、その絶対値の和が、その検索ブロック122の
基準ブロック121に対する残差として最小値検出部3
4に出力される。以下、検索範囲Wにおける場合と同様
の処理が繰り返され、最小値検出部34からは、マッチ
ング処理部33から供給された残差のうち、最小の残差
を示す検索ブロック122の検索範囲Nの位置を示すデ
ータが、動きベクトルとして、動き補償回路10に出力
される。この場合、16×16画素の検索ブロック12
2は、左右方向にそれぞれ1画素分だけ移動することが
でき、かつ、上下方向にもそれぞれ1画素分だけ移動す
ることができるので、検索範囲Nからは、9(=3×
3)個の検索ブロック122が抽出され、それらの基準
ブロック121に対する残差が演算される。
【0038】このように、動きの速度の遅い動画像に対
しては、比較的狭い検索範囲Nから動きベクトルを検出
にするようにしたので、画質を劣化させることなく残差
演算処理の回数を減らすことができる。
しては、比較的狭い検索範囲Nから動きベクトルを検出
にするようにしたので、画質を劣化させることなく残差
演算処理の回数を減らすことができる。
【0039】また、動きベクトル検出回路11の制御部
30は、受信部35を介して、動作制御回路13からの
制御信号C3を受信すると、すなわち、図5における場
合のように、動きベクトル検出装置12において、基準
ブロック121と検索ブロックRの画像がほぼ同一で、
その残差が小さい場合、制御部30は、メモリ31、メ
モリ32、マッチング回路33の動作を停止させ、最小
値検出部34を制御し、ゼロベクトルV(0,0)を動
き補償回路10出力させる。
30は、受信部35を介して、動作制御回路13からの
制御信号C3を受信すると、すなわち、図5における場
合のように、動きベクトル検出装置12において、基準
ブロック121と検索ブロックRの画像がほぼ同一で、
その残差が小さい場合、制御部30は、メモリ31、メ
モリ32、マッチング回路33の動作を停止させ、最小
値検出部34を制御し、ゼロベクトルV(0,0)を動
き補償回路10出力させる。
【0040】このように、動画像の動きがほぼ停止して
いるような画像に対しては、予め設定した、例えば、ゼ
ロベクトルV(0,0)を出力させるようにしたので、
検索ブロック122の基準ブロック121に対する残差
の演算を行わないようにすることができる。
いるような画像に対しては、予め設定した、例えば、ゼ
ロベクトルV(0,0)を出力させるようにしたので、
検索ブロック122の基準ブロック121に対する残差
の演算を行わないようにすることができる。
【0041】以上のようにして、入力された画像データ
に対応して、動きベクトルを検出するようにしたので、
動きベクトル検出回路11における、検索ブロック12
2の基準ブロック121に対する残差の演算処理の回数
を削減することができる。例えば、検索範囲Wからは、
検索ブロック122が4225個も抽出され、その分演
算処理が実行される。それに対して、検索範囲Nから
は、検索ブロック122が9個だけ抽出され、その分だ
けの演算処理が実行される。すなわち、検索範囲Wに代
えて検索範囲Nに基づいて、動きベクトルを検出するこ
とより、その残差演算の回数を、その0.2%(=9/
4225)にすることができる。その結果、例えば、画
像符号化装置50において、その分の演算処理を実行す
るために必要とされる電力を節約することができる。
に対応して、動きベクトルを検出するようにしたので、
動きベクトル検出回路11における、検索ブロック12
2の基準ブロック121に対する残差の演算処理の回数
を削減することができる。例えば、検索範囲Wからは、
検索ブロック122が4225個も抽出され、その分演
算処理が実行される。それに対して、検索範囲Nから
は、検索ブロック122が9個だけ抽出され、その分だ
けの演算処理が実行される。すなわち、検索範囲Wに代
えて検索範囲Nに基づいて、動きベクトルを検出するこ
とより、その残差演算の回数を、その0.2%(=9/
4225)にすることができる。その結果、例えば、画
像符号化装置50において、その分の演算処理を実行す
るために必要とされる電力を節約することができる。
【0042】また、検索範囲Nに基づいて動きベクトル
が検出される場合、メモリ32に記憶され、読み出され
る画素データは、検索範囲Nの、324(=18×1
8)画素分のデータであり、それに対して、検索範囲W
に基づいて動きベクトルが検出される場合、メモリ32
に記憶され、読み出される画像データは、検索範囲W
の、6400(=80×80)画素分のデータとなる。
すなわち、検索範囲Wに代えて検索範囲Nに基づいて、
動きベクトルを検出することより、メモリ32において
記憶され、読み出されるデータを、その5%(=324
/6400)にすることができる。その結果、その分の
処理を実行するために必要とされる電力を、さらに節約
することができる。
が検出される場合、メモリ32に記憶され、読み出され
る画素データは、検索範囲Nの、324(=18×1
8)画素分のデータであり、それに対して、検索範囲W
に基づいて動きベクトルが検出される場合、メモリ32
に記憶され、読み出される画像データは、検索範囲W
の、6400(=80×80)画素分のデータとなる。
すなわち、検索範囲Wに代えて検索範囲Nに基づいて、
動きベクトルを検出することより、メモリ32において
記憶され、読み出されるデータを、その5%(=324
/6400)にすることができる。その結果、その分の
処理を実行するために必要とされる電力を、さらに節約
することができる。
【0043】以上においては、動きベクトル検出回路1
2において演算された残差Eが、閾値Th2以下である
場合、動きベクトル検出回路11からゼロベクトルV
(0,0)が動き補償回路10に出力されるようにした
が、基準ブロック121との残差Eが演算される他のデ
ータ(動きベクトル)が出力されるように設定すること
ができる。また複数のデータを組み合わして設定し、そ
のうち最も小さい残差Eの値を示したデータを出力する
ようにすることもできる。
2において演算された残差Eが、閾値Th2以下である
場合、動きベクトル検出回路11からゼロベクトルV
(0,0)が動き補償回路10に出力されるようにした
が、基準ブロック121との残差Eが演算される他のデ
ータ(動きベクトル)が出力されるように設定すること
ができる。また複数のデータを組み合わして設定し、そ
のうち最も小さい残差Eの値を示したデータを出力する
ようにすることもできる。
【0044】図7は、本発明の動きベクトル検出装置を
応用した、画像符号化装置50の第2の実施の形態の構
成例を表している。なお、図中、図1における場合に対
応する部分については、同一の符号を付してあり、以下
では、その説明は、適宜省略する。この例においては、
動きベクトル検出回路12の前段に、動きベクトル検出
回路20が設けられている。
応用した、画像符号化装置50の第2の実施の形態の構
成例を表している。なお、図中、図1における場合に対
応する部分については、同一の符号を付してあり、以下
では、その説明は、適宜省略する。この例においては、
動きベクトル検出回路12の前段に、動きベクトル検出
回路20が設けられている。
【0045】動きベクトル検出回路20は、フレームメ
モリ2に記憶されている画像データが処理されるのに先
だって(例えば、数フレーム前)、基準ブロック121
(検索ブロック122)より大きい単位の画像データ、
例えば、1スライス分の画像データやフレームを8つに
分割した画像データに基づいて、フレームメモリ2に入
力される画像データの動きベクトルを検出するようにな
されている。
モリ2に記憶されている画像データが処理されるのに先
だって(例えば、数フレーム前)、基準ブロック121
(検索ブロック122)より大きい単位の画像データ、
例えば、1スライス分の画像データやフレームを8つに
分割した画像データに基づいて、フレームメモリ2に入
力される画像データの動きベクトルを検出するようにな
されている。
【0046】例えば、動きベクトル検出回路20は、検
出した動きベクトルが所定の値より小さい場合、すなわ
ち、画像符号化装置50に入力された画像が、静止画像
またはパンした場合の画像であるような場合、動きベク
トル検出回路11および動きベクトル検出回路12がフ
レームメモリ2からの画素データの供給を受けないよう
にし、動作制御回路13を制御し、制御信号C3を動き
ベクトル検出回路11に出力される。これにより、動き
ベクトル検出回路11および動きベクトル検出回路12
には、フレームメモリ2から、データの供給がされず、
残差演算も行なわれれずに、ゼロベクトルV(0,0)
が動き補償回路10に出力させる。このようにすること
で、図1に示した第1の実施の形態に比べ、第2の実施
の形態において、フレームメモリ2から動きベクトル検
出回路11および動きベクトル検出回路12に対し、画
像データが供給されない分、その処理に必要とされる電
力を節約することができる。
出した動きベクトルが所定の値より小さい場合、すなわ
ち、画像符号化装置50に入力された画像が、静止画像
またはパンした場合の画像であるような場合、動きベク
トル検出回路11および動きベクトル検出回路12がフ
レームメモリ2からの画素データの供給を受けないよう
にし、動作制御回路13を制御し、制御信号C3を動き
ベクトル検出回路11に出力される。これにより、動き
ベクトル検出回路11および動きベクトル検出回路12
には、フレームメモリ2から、データの供給がされず、
残差演算も行なわれれずに、ゼロベクトルV(0,0)
が動き補償回路10に出力させる。このようにすること
で、図1に示した第1の実施の形態に比べ、第2の実施
の形態において、フレームメモリ2から動きベクトル検
出回路11および動きベクトル検出回路12に対し、画
像データが供給されない分、その処理に必要とされる電
力を節約することができる。
【0047】動きベクトル検出回路20は、検出した動
きベクトルが所定の値以上である場合、第2の実施の形
態においては、図1に示した第1の実施の形態における
場合と同様の処理が実行される。すなわち、動きベクト
ル検出回路12により検出された動きベクトルの大きさ
に基づいて、動きベクトル検出回路11では、検索範囲
Wまたは検索範囲Nに基づいて、動きベクトルが検出さ
れ、出力されたり、また、ゼロベクトルV(0,0)が
出力される。
きベクトルが所定の値以上である場合、第2の実施の形
態においては、図1に示した第1の実施の形態における
場合と同様の処理が実行される。すなわち、動きベクト
ル検出回路12により検出された動きベクトルの大きさ
に基づいて、動きベクトル検出回路11では、検索範囲
Wまたは検索範囲Nに基づいて、動きベクトルが検出さ
れ、出力されたり、また、ゼロベクトルV(0,0)が
出力される。
【0048】なお、上記したような処理を行うコンピュ
ータプログラムをユーザに提供する提供媒体としては、
磁気ディスク、CD-ROM、固体メモリなどの記録媒体の
他、ネットワーク、衛星などの通信媒体を利用すること
ができる。
ータプログラムをユーザに提供する提供媒体としては、
磁気ディスク、CD-ROM、固体メモリなどの記録媒体の
他、ネットワーク、衛星などの通信媒体を利用すること
ができる。
【0049】
【発明の効果】請求項1に記載の動きベクトル検出装
置、請求項3に記載の動きベクトル検出方法、および請
求項4に記載の提供媒体によれば、入力される画像に基
づいて、検索範囲を選択するようにしたので、効率よく
動きベクトルを検出することができる。
置、請求項3に記載の動きベクトル検出方法、および請
求項4に記載の提供媒体によれば、入力される画像に基
づいて、検索範囲を選択するようにしたので、効率よく
動きベクトルを検出することができる。
【図1】本発明を適用した画像符号化装置50の第1の
実施の形態の構成例を表す図である。
実施の形態の構成例を表す図である。
【図2】検索ブロックRの例を表す図である。
【図3】検索範囲Wを説明する図である。
【図4】検索範囲Nを説明する図である。
【図5】検索ブロックRの他の例を表す図である。
【図6】図1の動きベクトル検出回路11の構成例を表
す図である。
す図である。
【図7】本発明を適用した画像符号化装置50の第2の
実施の形態の構成例を表す図である。
実施の形態の構成例を表す図である。
【図8】従来の動きベクトル検出処理を説明する図であ
る。
る。
1 減算回路, 2 フレームメモリ, 3 DCT回
路, 4 量子化回路, 5 VLC回路, 6 逆量
子化回路, 7 逆DCT回路, 8 加算器, 9
フレームメモリ, 10 動き補償回路, 11 動き
ベクトル検出回路, 12 動きベクトル検出回路,
13 動作制御回路, 20 動きベクトル検出回路,
30 制御部, 31 キャッシュメモリ, 32
キャッシュメモリ, 33 マッチング処理部, 34
最大値検出部, 35 受信部, 50 画像符号化
装置
路, 4 量子化回路, 5 VLC回路, 6 逆量
子化回路, 7 逆DCT回路, 8 加算器, 9
フレームメモリ, 10 動き補償回路, 11 動き
ベクトル検出回路, 12 動きベクトル検出回路,
13 動作制御回路, 20 動きベクトル検出回路,
30 制御部, 31 キャッシュメモリ, 32
キャッシュメモリ, 33 マッチング処理部, 34
最大値検出部, 35 受信部, 50 画像符号化
装置
Claims (4)
- 【請求項1】 入力された画像データに対して動き補償
するための動きベクトルを検出する動きベクトル検出装
置において、 検索フレームに設定された検索範囲から検索ブロックを
抽出し、抽出した前記検索ブロックと、基準フレームの
基準ブロックとの残差を求め、前記残差が最小となる前
記検索ブロックから動きベクトルを検出する動きベクト
ル検出処理を実行する実行手段と、 前記基準フレームに対応する第1の画像データと、前記
検索フレームに対応する第2の画像データとの残差を演
算する演算手段と、 前記演算手段の演算結果に対応して、前記実行手段の前
記検索範囲を制御する制御手段とを備えることを特徴と
する動きベクトル検出装置。 - 【請求項2】 前記制御手段は、前記演算手段の演算結
果と、所定の閾値と比較し、前記演算結果が前記閾値よ
り小さいとき、前記実行手段における前記動きベクトル
検出処理の実行を停止させることを特徴とする請求項1
に記載の動きベクトル検出装置。 - 【請求項3】 入力された画像データに対して動き補償
するための動きベクトルを検出する動きベクトル検出方
法において、 検索フレームに設定された検索範囲から検索ブロックを
抽出し、抽出した前記検索ブロックと、基準フレームの
基準ブロックとの残差を求め、前記残差が最小となる前
記検索ブロックから動きベクトルを検出する動きベクト
ル検出処理を実行する実行ステップと、 前記基準フレームに対応する第1の画像データと、前記
検索フレームに対応する第2の画像データとの残差を演
算する演算ステップと、 前記演算ステップでの演算結果に対応して、前記実行ス
テップでの前記検索範囲を制御する制御ステップとを含
むことを特徴とする動きベクトル検出方法。 - 【請求項4】 入力された画像データに対して動き補償
するための動きベクトルを検出する動きベクトル検出装
置に、 検索フレームに設定された検索範囲から検索ブロックを
抽出し、抽出した前記検索ブロックと、基準フレームの
基準ブロックとの残差を求め、前記残差が最小となる前
記検索ブロックから動きベクトルを検出する動きベクト
ル検出処理を実行する実行ステップと、 前記基準フレームに対応する第1の画像データと、前記
検索フレームに対応する第2の画像データとの残差を演
算する演算ステップと、 前記演算ステップでの演算結果に対応して、前記実行ス
テップでの前記検索範囲を制御する制御ステップとを含
む処理を実行させるコンピュータが読み取り可能なプロ
グラムを提供することを特徴とする提供媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24309598A JP2000078580A (ja) | 1998-08-28 | 1998-08-28 | 動きベクトル検出装置および方法、並びに提供媒体 |
US09/383,770 US6519353B1 (en) | 1998-08-28 | 1999-08-26 | Motion vector detecting apparatus and method and distribution medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24309598A JP2000078580A (ja) | 1998-08-28 | 1998-08-28 | 動きベクトル検出装置および方法、並びに提供媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2000078580A true JP2000078580A (ja) | 2000-03-14 |
Family
ID=17098723
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP24309598A Abandoned JP2000078580A (ja) | 1998-08-28 | 1998-08-28 | 動きベクトル検出装置および方法、並びに提供媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6519353B1 (ja) |
JP (1) | JP2000078580A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003009179A (ja) * | 2001-06-22 | 2003-01-10 | Olympus Optical Co Ltd | 動きベクトル及び視差ベクトル検出装置 |
US8619863B2 (en) | 2008-11-05 | 2013-12-31 | Sony Corporation | Motion vector detection apparatus, motion vector processing method and program |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IL162740A (en) * | 2003-06-26 | 2010-06-16 | Given Imaging Ltd | Device, method and system for reduced transmission imaging |
EP2046047A1 (en) * | 2007-10-04 | 2009-04-08 | Thomson Licensing | Method and device for performing motion estimation |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4838685A (en) * | 1987-04-03 | 1989-06-13 | Massachusetts Institute Of Technology | Methods and apparatus for motion estimation in motion picture processing |
FR2624997B1 (fr) * | 1987-12-16 | 1990-06-01 | France Etat | Procede d'estimation multi predictif du mouvement des points d'une image electronique |
JP2783544B2 (ja) * | 1988-04-26 | 1998-08-06 | キヤノン株式会社 | 画像処理装置 |
GB2246488B (en) * | 1990-07-24 | 1994-04-20 | Sony Corp | Motion dependant video signal processing |
AU657510B2 (en) * | 1991-05-24 | 1995-03-16 | Apple Inc. | Improved image encoding/decoding method and apparatus |
US5210605A (en) * | 1991-06-11 | 1993-05-11 | Trustees Of Princeton University | Method and apparatus for determining motion vectors for image sequences |
US5497203A (en) * | 1991-10-30 | 1996-03-05 | Mitsubishi Denki Kabushiki Kaisha | Motion detection circuit for high definition television based on muse |
US5598514A (en) * | 1993-08-09 | 1997-01-28 | C-Cube Microsystems | Structure and method for a multistandard video encoder/decoder |
US5490247A (en) * | 1993-11-24 | 1996-02-06 | Intel Corporation | Video subsystem for computer-based conferencing system |
IT1289206B1 (it) * | 1996-09-12 | 1998-09-29 | Sgs Thomson Microelectronics | Metodo di ricompressione e decompressione adpcm di un flusso di dati digitali costituente un segnale video digitale e stimatore |
US6040861A (en) * | 1997-10-10 | 2000-03-21 | International Business Machines Corporation | Adaptive real-time encoding of video sequence employing image statistics |
-
1998
- 1998-08-28 JP JP24309598A patent/JP2000078580A/ja not_active Abandoned
-
1999
- 1999-08-26 US US09/383,770 patent/US6519353B1/en not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003009179A (ja) * | 2001-06-22 | 2003-01-10 | Olympus Optical Co Ltd | 動きベクトル及び視差ベクトル検出装置 |
JP4608136B2 (ja) * | 2001-06-22 | 2011-01-05 | オリンパス株式会社 | 動きベクトル及び視差ベクトル検出装置 |
US8619863B2 (en) | 2008-11-05 | 2013-12-31 | Sony Corporation | Motion vector detection apparatus, motion vector processing method and program |
Also Published As
Publication number | Publication date |
---|---|
US6519353B1 (en) | 2003-02-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6625215B1 (en) | Methods and apparatus for context-based inter/intra coding mode selection | |
EP1322122B1 (en) | Image predictive decoding method | |
KR20110008653A (ko) | 움직임 벡터 예측 방법과 이를 이용한 영상 부호화/복호화 장치 및 방법 | |
EP2405655B1 (en) | Boundary padding for unrestricted motion vectors | |
JPH0955941A (ja) | 画像符号化方法、画像符号化装置、及び画像符号化データの記録装置 | |
US20080212719A1 (en) | Motion vector detection apparatus, and image coding apparatus and image pickup apparatus using the same | |
JPH10322582A (ja) | 動画像符号化装置 | |
JPH11177993A (ja) | 動画像符号化装置 | |
JP3200196B2 (ja) | 動きベクトル検出方法 | |
JP2000078580A (ja) | 動きベクトル検出装置および方法、並びに提供媒体 | |
JPH07274181A (ja) | 映像信号符号化方式 | |
JPH0832969A (ja) | 動きベクトル検出装置 | |
JP3947316B2 (ja) | 動きベクトル検出装置及びこれを用いた動画像符号化装置 | |
JP2000069484A (ja) | 動きベクトル算出方法及び動きベクトル算出プログラムを記録した記録媒体 | |
US6788741B1 (en) | Device and method of retrieving high-speed motion | |
WO2005041585A1 (en) | Power optimized collocated motion estimation method | |
JPS61164390A (ja) | 動画像信号のフレ−ム間、フレ−ム内適応予測符号化装置 | |
JP4359273B2 (ja) | 符号化モード選択方法 | |
KR100635009B1 (ko) | 화면 전체의 움직임을 고려한 움직임예측방법 및 그 장치 | |
JP2000078581A (ja) | 動きベクトル検出装置および方法、並びに提供媒体 | |
JPH07274182A (ja) | 映像信号符号化方式 | |
JPH06296276A (ja) | 動き補償予測符号化装置の前処理装置 | |
JPH10210480A (ja) | 動画像符号化方式 | |
JP2000032467A (ja) | 画像処理装置および方法、並びに提供媒体 | |
JP4353928B2 (ja) | データ圧縮方法、記録方法、及び伝送方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060309 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060314 |
|
A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20060510 |