JPH1013836A - 動きベクトル検出装置 - Google Patents

Abstract

(57)【要約】 【課題】 検出精度を損なうことなく動きベクトル算出
のための処理量を削減する。 【解決手段】 駒落し制御部２０２は入力画像を設定さ
れた画面数だけ駒落しする。動きベクトル検出部２１３
は駒落しして得られる処理画面内の処理ブロックを用い
てフレームメモリ２１１から得られる参照画面内の所定
の検索領域を検索することにより動きベクトルを検出す
る。その際、検索サイズ選択部２１２は、上記設定され
た駒落し画面数が少ない場合は、上記検索領域を小さく
設定して処理量を削減し、ＣＰＵの占有率を下げ、駒落
し画面数が多い場合は、上記検索領域を大きく設定して
正確な動き検出を行えるようにする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像情報の圧縮
符号化方式である動き補償フレーム間符号化に用いて好
適な動きベクトル検出装置に関するものである。

【０００２】

【従来の技術】近年、画像圧縮符号化技術の発達とディ
ジタル通信回線の普及はめざましく、ＴＶ会議システム
等のＡＶ（Ａｕｄｉｏ Ｖｉｓｕａｌ）サービス用のサ
ービス規定やプロトコル規定、マルチメディア多重化フ
レーム構成規定などの勧告が整備されるとともに、ＴＶ
電話装置やデスクトップＴＶ会議システムなどをはじめ
とする様々なマルチメディア通信端末が提案されてい
る。これらマルチメディア通信においては、動画像や音
声によるコミュニケーションにとどまらず、データ通信
やアプリケーションの共有による遠隔地点での共同作業
などを実現する。

【０００３】周知の通り、ＴＶ画像情報を直接ディジタ
ル伝送するためには、数百Ｍｂｐｓの伝送速度が必要と
なるため、伝送速度の低下、更に伝送コストの軽減の目
的で様々な圧縮符号化方式が提案されている。これら動
画像通信端末における動画像情報の圧縮符号化方式とし
ては、時間方向の相関を利用した動き補償フレーム間予
測符号化で時間的な冗長度を取り除き、空間方向の相関
を利用した直交変換符号化で空間的な冗長度を取り除く
ハイブリッド符号化方式が多く用いられる。

【０００４】次に、動画像情報の圧縮符号化に用いられ
る、動き補償フレーム間符号化の原理について簡単に説
明する。フレーム間で対象物体に動きがあった場合に
は、前符号化フレーム（参照フレーム）の同位置ではな
く、物体の動き分だけ離れたところに符号化処理部分
（マクロブロック）と似通った構造が存在することにな
る。そこで、前フレームと現フレームから物体の動きベ
クトルを推定して、似通ったブロックとの差分とその動
きベクトルを符号化する。動き補償フレーム間予測符号
化における予測誤差値は、単純フレーム間予測符号化に
おける予測誤差値よりも小さな値になるので、動きの大
きな画像に対しても効率のよい符号化か可能になる。

【０００５】図７は動き補償を説明する概略図である。
現フレームである処理フレーム内の黒部分で示す処理ブ
ロックを用いて前フレームである参照フレームの上記処
理ブロック付近を検索領域として検索することにより動
きベクトルを検出する。この動きベクトルの検出は、現
フレームの処理ブロックと前符号化フレーム（参照フレ
ーム）の処理ブロック位置を中心とする検索領域とにつ
いて、対応する画素間の差分絶対値和などの評価値を算
出し、最小値（相関が最大）をとるブロックに対応する
ベクトルを動きベクトルと推定する方式が一般的であ
る。この手順としては、参照フレームの検索領域内のす
べてのブロック・パターンについて評価値演算を施すフ
ル・サーチ手順が多く用いられる。例えば、ＩＴＵ−Ｔ
勧告Ｈ．２６１においては、１６画素×１６画素のマク
ロブロックに対して、最大４７画素×４７画素の動きベ
クトル検索領域を用い、動きベクトルの水平成分と垂直
成分は、それぞれ＋／−１５以内の整数と規定されてい
る。またＭＰＥＧ等においては、１／２画素の検索精度
による動き補償を規定している。

【０００６】

【発明が解決しようとする課題】従来、動画像圧縮処理
はＤＳＰや専用ＬＳＩなどのハードウエアにより実行す
るのが一般的であった。しかし、ＣＰＵの処理能力の大
幅な向上に伴い、動画像符号化処理の一部あるいは全部
をホストＣＰＵによるソフトウエアで実現する形態が増
えつつある。しかしながら、動画像圧縮に関わる処理量
は極めて大きく、並行して他のアプリケーションを実行
する場合などにおいては、回線の伝送速度が動画像符号
化処理速度を上回ってしまい、伝送画像のフレーム・レ
ートが頭打ちになることでスムーズな（動きの滑らか
な）動画像通信の妨げになったり、ＣＰＵが動画像圧縮
処理に占有されてしまい、他のアプリケーションの動作
速度に大きな悪影響を及ぼす場合があるなどといった問
題点があった。

【０００７】一般的に、ブロック画素間の差分絶対値和
演算に代表される動きベクトル検出演算は、直交変換演
算などに代表されるその他の画像符号化処理と比較して
も、多大な演算量を必要とする。先に述べたフル・サー
チ手順において４７画素×４７画素の検索領域について
１画素精度の動きベクトル検索演算を実行する場合、２
５６の差分絶対値和演算を９６１回だけ実行することに
なる。これを回避する手段として、常に検索領域を縮小
することにより演算回数を削減する方式が用いられる。
例えば、３１画素×３１画素の動きベクトル検索領域を
用い、水平・垂直方向＋／−７以内の動きベクトルを算
出するものである。しかしながら、検索領域が狭められ
ることによって、符号化画面間で大きな動きがあった場
合においては正しい動き検索が実行できないといった欠
点があった。

【０００８】また、別の回避手段として、検索手順を簡
略化することにより演算量を削減する方式なども用いら
れる。これは、フル・サーチ手順ではなくステップ・サ
ーチなどを行うものであるが、途中の検索ステップで誤
ったベクトルが選択されてしまうと最適なサーチができ
なくなってしまう（誤ったベクトルを検出してしまう）
恐れがあるといった欠点があった。

【０００９】本発明は、上記課題に鑑み成されたもので
あり、その目的は、動き検索精度を損なうことなく、ベ
クトル算出処理量を効率的に削減する優れた動きベクト
ル検出装置を提供することにある。

【００１０】

【課題を解決するための手段】本発明によれば、処理画
面内の所定の処理ブロックの画像データを用いて上記処
理画面から所定の画面数だけ離れた参照画面の上記処理
ブロック位置近傍の検索領域の画像データを検索するこ
とにより動きベクトルを検出する動きベクトル検出装置
において、上記参照画面と処理画面との間の画面を設定
された画面数だけ駒落しする駒落し制御手段と、上記駒
落し制御手段により駒落しされた画面数に応じて上記参
照画面内の上記検索領域の大きさを制御する検索範囲制
御手段と、上記処理ブロックと上記検索範囲制御手段に
より決定された上記検索領域内の各ブロック・パターン
との相関を評価し、動きベクトルを出力する動き検索手
段とを設けている。

【００１１】

【作用】上記構成により、動き検索の対象となる画面と
の間の期間に応じて動きベクトル検索範囲を制御するこ
とが可能になる。

【００１２】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を詳細に説明する。先ず、第１の実施の形態を
説明する。図１は本発明による動画像符号化装置の一部
の回路構成例を示す概略ブロック図である。２０１はフ
レームメモリ＃１部であり、画像入力装置（図示せず）
からのディジタル入力動画像を一時格納するフレーム・
メモリである。２０２は駒落し制御部であり、駒落し数
決定部２１８の指示に従いフレームメモリ＃１部２０１
に格納された動画像情報の読み出しを実行する。２０３
は減算部であり、入力画素値と予測画素値との減算処理
を行い、減算結果である予測誤差値と入力値とを選択し
て出力する。２０４はＤＣＴ部であり、入力された予測
誤差データ（あるいは入力データ）に対し直交変換の一
種である離散コサイン変換（以下ＤＣＴと称す）処理を
行う。２０５は量子化部であり、符号化制御部２１７か
らの指示により量子化ステップ・サイズを選択し、入力
されたＤＣＴ係数データを量子化する。２０６は可変長
符号化部であり、量子化されたＤＣＴ係数データに対し
可変長符号化を行う。２０７は送信バッファ部である。

【００１３】２０８は逆量子化部であり、量子化された
ＤＣＴ係数データを逆量子化する。２０９は逆ＤＣＴ部
であり、入力されたＤＣＴ係数データの逆ＤＣＴ変換処
理を行う。２１０は加算部であり、必要に応じて対応す
る予測値を加算する。２１１はフレーム・メモリ＃２部
であり、動き補償フレーム間予測のために再生画像を一
時格納するフレーム・メモリである。

【００１４】２１２は動きベクトル検索ブロック２２０
内の検索サイズ選択部であり、駒落し数決定部２１８の
出力に基づき動き検索領域の大きさを選択する。２１３
は動きベクトル検索ブロック２２０の動きベクトル検索
部であり、現フレームの処理ブロックのフレーム・メモ
リ＃２部に格納された直前の再生画像に対する動きベク
トルを検出する。２１４は動き補償部であり、動きベク
トル検索ブロック２２０内の動きベクトル検出部２１３
で検出された動きベクトルに従い直前の再生フレームに
おける該当するブロック単位の画素値データを選択して
予測ブロックとして出力する。２１５はフィルタ部であ
り、動き補償フレーム間予測を行うブロックに対するロ
ーパス・フィルタである。２１６は遅延部であり、予測
ブロックを減算部２０３から逆ＤＣＴ部２０９の処理時
間分だけ遅延処理して加算部２１０における加算処理の
タイミング合わせを行う。

【００１５】２１７は符号化制御部であり、外部からの
制御信号や、送信バッファ部２０７のバッファ蓄積量を
基に、量子化ステップ・サイズ選択、有意ブロック判
定、などの各種符号化制御を行う。２１８は符号化制御
部２１７内の駒落し数決定部であり、他の符号化制御と
同様にして駒落し（フレーム・スキップ）数を決定す
る。

【００１６】次に、以上の構成における動画像符号化装
置の動作について説明する。外部から一定のフレーム・
レートで入力された動画像情報は、フレーム・メモリ＃
１部２０１に格納される。駒落し制御部２０２において
は、駒落し数決定部２１８の指示に従い駒落し処理を行
い、符号化フレームを選択して減算部２０３および動き
ベクトル検出部２１３へ所定のブロック単位で出力す
る。減算部２０３には、ブロック単位の入力画素値デー
タと予測値データとが入力され、画素値データと予測値
データとの差分値（予測誤差）を生成し、予測誤差ブロ
ックと入力ブロックとを選択してＤＣＴ部２０４へ出力
する。ＤＣＴ部２０４では、減算部２０３の出力データ
をブロック単位で直交変換の一種であるＤＣＴ（離散コ
サイン変換）処理を行い、ＤＣＴ係数データを量子化部
２０５へ出力する。量子化部２０５では、符号化制御部
２１７からの量子化特性制御に従い、選択されたステッ
プ・サイズで入力されたＤＣＴ係数を量子化する。可変
長符号化部２０６では、量子化されたＤＣＴ係数を可変
長符号化し、送信バッファ部２０７へ出力する。送信バ
ッファ部２０７は、バッファメモリで構成され、可変長
符号化データをバッファリングするとともに、バッファ
蓄積量やフレーム単位の符号化データ量を符号化制御部
２１７へ送出する。

【００１７】一方、逆量子化部２０８には、量子化部２
０５の量子化出力が入力され、量子化部２０５において
選択された量子化ステップ・サイズを用いて逆量子化を
行い、ＤＣＴ係数を出力する。逆ＤＣＴ部２０９では、
逆量子化部２０８のＤＣＴ係数出力を逆ＤＣＴ変換処理
し、加算部２１０へ出力する。加算部２１０では、逆Ｄ
ＣＴ部２０９において逆ＤＣＴ処理された予測誤差デー
タに対して遅延部２１６の出力である対応する予測デー
タを加算して再生画像を出力する。フレーム・メモリ＃
２部２１１は、例えば２フレーム分のフレーム・メモリ
で構成される動き補償フレーム間予測のためのフレーム
・メモリであり、加算部２１０の出力である再生画像を
蓄積すると同時に、動き補償フレーム間予測のために動
き補償部２１４の指示により直前の符号化フレーム（再
生画像）の画素値データを出力する。

【００１８】検索サイズ決定部２１２においては、駒落
し数決定部２１８において決定された駒落し（フレーム
・スキップ）数に基づいて動きベクトル検出部２１３に
おける検索領域の大きさを選択する（詳細は後述す
る）。動きベクトル検出部２１３では、現フレームの処
理ブロック位置付近の前符号化フレーム（再生画像）画
素値データを動きベクトル・サーチ・ウインドウ（検索
領域）としてフレーム・メモリ部２１１より読み出し、
送信バッファ部２０５のデータ蓄積量に応じた検索手順
でブロック・マッチング演算を行うことにより、動きベ
クトルを検出し、検出動きベクトルを動き補償部２１４
へ出力する。

【００１９】動き補償部２１４では、動きベクトル検出
部２１３で検出された動きベクトルに従い、前符号化フ
レームの該当するブロック単位の画素値データをフレー
ム・メモリ＃２部２１１より読み出して出力する。フィ
ルタ部２１５は、動き補償を行ったことによるブロック
境界における不連続性の緩和を目的としたローパス・フ
ィルタであり、動き補償を行ったデータに対しフィルタ
リング処理を行い、予測値データとして減算部２０３お
よび遅延部２１６へ出力する。

【００２０】また、符号化制御部２１７では、画像符号
化装置全体のタイミングを制御すると同時に、送信バッ
ファ部２０７のデータ蓄積量やフレーム毎の圧縮データ
量に基づき、適応的に量子化特性制御信号による量子化
部２０３における量子化ステップサイズの選択や可変閾
値の制御などの適応的符号化制御を行う。また、常に画
像符号化装置全般、あるいは外部からの各種制御信号等
を監視することにより、画像入力装置の変更や利用者の
各種設定に対応する。符号化制御部２１７内の駒落し数
決定部２１８においては、上記と同様に送信バッファ部
２０７のデータ蓄積量やフレーム毎の圧縮データ量に基
づいて駒落し（フレームスキップ）数を決定し、駒落し
制御部２０２および検索サイズ選択部２１２に通知す
る。

【００２１】次に、符号化制御部２１７、動きベクトル
検出部２１３及び減算部２０３における符号化制御につ
いて説明する。量子化部２０３における量子化特性につ
いては、量子化ステップ・サイズを小さく設定すれば、
画質は向上するが有意データが増加して伝送ビット数の
増加につながり、量子化ステップ・サイズを大きく設定
すれば、発生データ量は減少するが画質は劣化する。画
質と動きに対する追従性とは相反するものであり、高画
質を追及すると必然的に動きに対する追従性は大きく劣
化することになる。そのため、符号化制御部２１７にお
いては、送信バッファ部２０７のデータ蓄積量を常に監
視し、適宜効率的に設定する必要がある。

【００２２】駒落し数決定部２１８においては、送信バ
ッファ部２０７からのバッファ蓄積量や一画面内の発生
データ量の通知に基づき、外部からの画質設定などと組
み合わせて、駒落し（フレーム・スキップ）数を決定す
る。図２は駒落しの様子を示す概念図である。

【００２３】また、動きベクトル検出部２１３において
は、主にブロック・マッチング演算の評価結果に基づ
き、動き補償を行うか否か、すなわち動き補償を行った
ブロックとの差分を符号化するか（ＩＮＴＥＲ＋ＭＣ）
もしくは動き補償を行わずに単純に参照フレームの同位
置ブロックとの差分を符号化するか（ＩＮＴＥＲ＋ｎｏ
ＭＣモード）の判定が行われる。動き補償フレーム間差
分情報が単純なフレーム間差分情報より大きくなること
はあり得ないが、動き補償を行うことによりベクトル情
報が必要になるためにかえって符号量が増大してしまっ
たり、効率的な圧縮符号化を妨げる場合があるために、
適応的に動き補償のＯＮ／ＯＦＦ制御が実行される。具
体的には、処理ブロックと同位置における評価値と動き
補償位置（最大相関をもつブロック位置）における評価
値とに応じて決定される。

【００２４】また、減算部２０３においては、所定の評
価関数を用いて予測誤差ブロックと入力ブロックとに対
する評価結果を比較することにより、予測誤差ブロック
を符号化するか（ＩＮＴＥＲ＋ＭＣ／ｎｏＭＣモー
ド）、入力ブロックを符号化するか（ＩＮＴＲＡモー
ド）の判定を行い、何れか一方を後段へ出力することに
より、フレーム間符号化方式とフレーム内符号化方式と
を適応的に選択して圧縮符号化を行う。

【００２５】次に本発明において特徴的な動きベクトル
検索ブロック２２０における動きベクトル検索サイズの
選択制御について詳細に説明する。まず、動きベクトル
検出部２１３における１画素精度のベクトル検出動作に
ついて簡単に説明する。動きベクトルの検出は、現フレ
ームの処理ブロックと前符号化フレーム（参照フレー
ム）の処理ブロック位置を中心とする検索領域につい
て、対応する画素間の差分絶対値を算出し、その総和
（差分絶対値和）を相関評価値とし、評価値が最小値を
とる（相関が最大となる）ブロックに対応するベクトル
を動きベクトルと推定することにより行われる。

【００２６】動きベクトルの検索領域の大きさは駒落し
数に基づいて決定する。以下、具体例を挙げて詳細に説
明する。ここでは符号化処理単位であるブロックは１６
×１６画素、動き補償範囲（検索範囲）は３種類から選
択するものとする。図３は３種類の検索サイズを説明す
る図である。図３（ａ）は最大検索範囲である＋／−１
５（検索領域は４７×４７画素範囲）である。図３
（ｂ）は＋／−１１（検索領域は３９×３９画素範囲）
である。図３（ｃ）は＋／−７（検索領域は３１×３１
画素範囲）である。

【００２７】次に検索サイズ選択部２１２における駒落
し（フレーム・スキップ）数に基づく動きベクトル検索
領域の大きさ制御について詳細に説明する。検索サイズ
選択部２１２においては、駒落し数決定部２１８により
決定され通知された駒落し（フレーム・スキップ）数に
基づいて動き検索領域の大きさを選択する。ここで駒落
し数とは、直前の符号化（伝送）フレームと処理フレー
ムとの間のフレーム数である。すなわち何フレーム（時
間）隔たりのあるフレームとの間の動きを検索するか、
といった情報に応じてその処理フレームにおける検索サ
イズを決定するというものである。動き検索の対象とな
る直前の符号化フレームとの時間的な隔たりの大きさ
（駒落しフレーム数）によって、その期間に撮像対象物
が移動し得る範囲（大きさ）が変わることを利用し、駒
落しフレーム数が小さければ検索領域を小さく限定し、
駒落しフレーム数が大きければ検索領域を十分に大きく
とるように検索領域サイズを選択制御する。

【００２８】図４は動きベクトル検索領域サイズの制御
手順の一例を示すフロー・チャートである。送信バッフ
ァ部２０７からのバッファ蓄積量情報や一符号化フレー
ムの発生圧縮符号量情報、さらには外部からのユーザ設
定情報などに基づいて、符号化制御部２１７内の駒落し
数決定部２１８により駒落し（フレーム・スキップ）数
が決定される（Ｓａ１）。決定された駒落し数情報は駒
落し制御部２０２へ通知されるとともに、検索サイズ選
択部２１２へも通知される（Ｓａ２）。検索サイズ選択
部２１２においては、次の処理フレームとその直前の処
理フレームとの間にいくつの駒落しフレームが存在する
か（駒落し数情報）に応じて、動き検索領域の大きさを
選択制御する。

【００２９】すなわち、駒落し数Ｓ＞９である場合（Ｓ
ａ３）には、検索範囲として４７画素×４７画素（動き
ベクトル＋／−１５：図３（ａ））を選択し（Ｓａ
４）、駒落し数９≧Ｓ＞２である場合（Ｓａ５）には、
検索範囲として３９画素×３９画素（動きベクトル＋／
−１１：図３（ｂ））を選択し（Ｓａ６）、駒落し数Ｓ
≦２である場合には、検索範囲として３１画素×３１画
素（動きベクトル＋／−７：図３（ｃ））を選択する
（Ｓａ７）。動きベクトル検出部２１３においては、検
索サイズ選択部２１２により選択制御された動き検索サ
イズ（動き補償サイズ）に対して動きベクトル検出演算
を実行する（Ｓａ８）。

【００３０】すなわち、動き検索の対象となる直前の符
号化フレームとの時間的な隔たりが小さい（伝送フレー
ム・レートが高い）とき、単位時間あたりにＣＰＵが実
行しなければならない画像符号化処理量は必然的に増大
しているため、直前符号化フレームとの間に撮像対象物
が移動し得る範囲が狭いことを利用して、動き検索範囲
を小さく限定して効率的な動き検索処理を実行すること
により、ＣＰＵ能力の占有量の削減、あるいは伝送画像
フレーム・レートのさらなる向上を実現する。一方で、
直前の符号化フレームとの時間的な隔たりが大きい（伝
送フレーム・レートが低い）ときには、十分に大きな検
索領域に対して動き検索を実行することによって、正確
な動き補償が実行され高能率な圧縮符号化が実現でき
る。

【００３１】以上詳細に説明したように、本実施の形態
によれば、動きベクトル検索演算の実行に先立ち参照画
面（直前の符号化伝送画面）と処理画面との間の駒落し
画面数に基づき動き検索（補償）領域の大きさを制御
し、参照画面と処理画面との間の期間が短い（フレーム
・レートが高い）ほどその期間に対象物体の移動し得る
距離（範囲）も狭まることを利用して、駒落し数が小さ
くなるに従い（フレーム・レートが高くなるに従い）検
索範囲を縮小することによって、合理的な動き検索範囲
（動き補償範囲）による動きベクトル検索を実行する。
すなわち、駒落し画面数が小さい場合においては、検索
領域を相対的に小さく設定してさらなるフレーム・レー
トの向上がＣＰＵの処理能力の限界により妨げられるこ
とを回避するとともに、動きベクトル検索処理量の削減
によるＣＰＵの占有率（稼働率）の低下を実現し、一方
で駒落し画面数が大きい場合においては検索領域を相対
的に大きく設定して十分に大きな検索範囲に対して動き
検索処理を行い正確な動き検出を実現することにより、
効率的な動きベクトル検索を行うことができる。

【００３２】次に第２の実施の形態について説明する。
上記第１の実施の形態においては、直前の符号化伝送フ
レーム（参照フレーム）と処理フレームとの間の時間の
隔たりを表わす駒落し量に基づき、３種の検索領域に対
して駒落し数が小さくなるに従い小さな検索範囲（サイ
ズ）を選択制御して１画素単位の動きベクトル検索を実
行する処理について説明した。しかし、本発明はこれに
限定するものではなく、上記のような検索範囲の制御に
対して第２の実施の形態による検索精度の選択制御を組
み合わせることにより同様の効果を発揮することができ
る。

【００３３】第２の実施の形態における画像符号化装置
の一部の回路構成例を示す概略ブロック図を図５に示
す。基本構成は図１の第１の実施の形態と同様であり、
図１と同一ブロックには同一番号を付してある。次に本
実施の形態において特徴的な動きベクトル検索ブロック
６２０における動きベクトル検索サイズおよび検索精度
の選択制御について詳細に説明する。まず、動きベクト
ル検出部６１３におけるベクトル検出動作について簡単
に説明する。はじめに、第１の実施の形態で説明したも
のと同様にして１画素精度の動き検索処理を実行する。
対応する画素間の差分絶対値を算出し、その総和（差分
絶対値和）を相関評価とし、評価値が最小値をとる（相
関が最大となる）ブロックを選択するというものである
（１画素精度の動きベクトル検索）。つづいて、１／２
画素精度の動き検索については１画素精度で検出したブ
ロックとその近傍を４つのブロックとからその間に位置
する半画素ずれた４つの補間ブロックを生成し、上記検
出ブロックとこの４つの補間ブロックとを合わせた５つ
のブロックについて、処理ブロックとの間の相関評価を
行い、最も相関の高いブロックを選択する（１／２画素
精度の動きベクトル検索）。以上の２段階の検索により
選択されたブロックに対するベクトルを１／２画素精度
の動きベクトルと推定する。

【００３４】動きベクトルの検索精度および検索領域の
大きさについては、駒落し数に基づいて決定する。以
下、具体例を挙げて詳細に説明する。ここでは符号化処
理単位であるブロックは１６×１６画素、動き検索精度
は２種、動き補償範囲（検索範囲）は図３について説明
した３種類からそれぞれ選択するものとする。すなわ
ち、図３（ａ）は最大検索範囲である＋／−１５（検索
領域は４７×４７画素範囲）である。図３（ｂ）は＋／
−１１（検索領域は３９×３９画素範囲）である。図３
（ｃ）は＋／−７（検索領域は３１×３１画素範囲）で
ある。動き検索精度については、１画素精度の検索と１
／２画素精度の検索を選択的に用いる。

【００３５】次に、検索サイズ選択部２１２における駒
落し（フレーム・スキップ）数に基づく動きベクトル検
索領域の大きさ制御について説明する。第１の実施の形
態と同様にして、検索サイズ選択部２１２においては、
駒落し数決定部２１８により決定され通知された駒落し
（フレーム・スキップ）数に基づいて動き検索領域の大
きさを選択する。動き検索の対象となる直前の符号化フ
レームとの時間的な隔たりの大きさ（駒落しフレーム
数）によって、その期間に撮像対象物が移動し得る範囲
（大きさ）が変わることを利用し、駒落しフレーム数が
小さければ検索領域を小さく限定し、駒落しフレーム数
が大きければ検索領域を十分に大きくとるよう、検索領
域サイズを選択制御する。

【００３６】次に、検索精度選択部６１９における駒落
し（フレーム・スキップ）数に基づく動きベクトル検索
精度の選択制御について詳細に説明する。検索精度選択
部６１９においては、駒落し数決定部２１８により決定
され通知された駒落し（フレーム・スキップ）数に基づ
いて動き検索領域の選択（１画素精度か１／２画素精度
か）制御を行う。上述の動き検索範囲の大きさ制御を補
う目的で、駒落しフレーム数が十分に小さい場合に、検
索精度を１画素精度に落とす、すなわち、１画素精度の
検索に続いて実行される１／２画素精度の検索処理を行
わないように制御する。

【００３７】図６は動きベクトル検索精度および領域サ
イズの制御手順の一例を示すフロー・チャートである。
送信バッファ部２０７からのバッファ蓄積量情報や一符
号化フレームの発生圧縮符号量情報、さらには外部から
のユーザ設定情報などに基づいて、符号化制御部２１７
内の駒落し数決定部２１８により駒落し（フレーム・ス
キップ）数が決定される（Ｓｂ１）。決定された駒落し
数情報は駒落し制御部２０２へ通知されるとともに、検
索サイズ選択部２１２および検索精度選択部６１９へも
通知される（Ｓｂ２）。検索サイズ選択部２１２および
検索精度選択部６１９においては、次の処理フレームと
その直前の処理フレームとの間にいくつの駒落しフレー
ムが存在するか（駒落し数情報）に応じて、動き検索領
域の大きさおよび検索精度をそれぞれ選択制御する。

【００３８】すなわち、駒落し数Ｓ＞９である場合（Ｓ
ｂ３）には、検索範囲として４７画素×４７画素（動き
ベクトル＋／−１５：図３（ａ））を選択し（Ｓｂ
４）、検索精度として１／２画素精度を選択する（Ｓｂ
５）。また駒落し数９≧Ｓ＞２である場合（Ｓｂ６）に
は、検索範囲として３９画素×３９画素（動きベクトル
＋／−１１：図３（ｂ））を選択し（Ｓｂ７）、検索精
度として１／２画素精度を選択する（Ｓｂ８）。また駒
落し数Ｓ≦２である場合には、検索範囲を３１画素×３
１画素（動きベクトル＋／−７：図３（ｃ））として選
択し（Ｓｂ９）。検索精度として１画素精度を選択する
（Ｓｂ１０）。動きベクトル検出部５１３においては、
検索サイズ選択部２１２により選択制御された動き検索
サイズ（動き補償サイズ）に対して、検索精度選択部６
１９により選択制御された動き検索精度により動きベク
トル検出演算を実行する（Ｓｂ１１）。

【００３９】すなわち、動き検索の対象となる直前の符
号化フレームとの時間的な隔たりが小さい（伝送フレー
ム・レートが高い）とき、単位時間あたりにＣＰＵが実
行しなければならない画像符号化処理量は必然的に増大
しているため、直前符号化フレームとの間に撮像対象物
が移動し得る範囲が狭いことを利用して動き検索範囲を
小さく限定し、さらに検索精度を落とすことにより、効
率的な動き検索処理を実行する。これにより、ＣＰＵ能
力の占有量の削減、あるいは伝送画像フレーム・レート
のさらなる向上を実現する。一方で、直前の符号化フレ
ームとの時間的な隔たりが大きい（伝送フレーム・レー
トが低い）ときには、十分に大きな検索領域に対して十
分な検索精度をもって動き検索を実行することによっ
て、正確な動き補償が実行され高能率な圧縮符号化が実
現できる。

【００４０】以上詳細に説明したように、本実施の形態
によれば、動きベクトル検出処理において、動き検索対
象である直前の符号化フレーム（参照フレーム）と処理
フレームとの間の期間が小さい（フレーム・レートが高
い）ほどその期間に対象物体の移動し得る距離（範囲）
も狭まることを利用して、駒落し数（フレーム期間）が
小さくなるに従い（フレーム・レートが高くなるに従
い）検索範囲を縮小するよう制御し、さらに検索精度を
下げるように制御する。これにより、フレーム・レート
が十分高い場合においては、動き検索範囲を小さく設定
し、さらに検索精度を低下させて圧縮符号化処理量の増
大を抑え、さらなるフレーム・レートの向上を妨げるこ
とを回避するとともに、動きベクトル検索処理量の削減
によるＣＰＵの占有率を低下を実現する。一方、フレー
ム・レートが低い場合においては、ＣＰＵの処理能力に
余裕があるため、十分に大きな検索範囲に対して高い検
索精度でもって動き検索処理を行うことにより、正しい
動き検出が実現できる。

【００４１】なお、上記第１、および上記第２の実施の
形態においては、３種類の検索範囲を選択する場合につ
いて説明したが、２種類のみの選択でもよいし４種類以
上の検索範囲の選択でもよい。また、検索範囲の大きさ
についても上記各実施の形態に限定するものではない。
また第２の実施の形態においては、２種の検索精度を選
択する場合についてのみ説明したが、３種類以上の検索
精度の選択でもよいことは言うまでもない。また、１画
素精度と１／２画素精度以外の検索精度であってもよ
い。また、１／２画素精度の検索方法についても第２の
実施の形態に示した方法に限定するものではない。

【００４２】また、上記各実施の形態においては、対応
する画素間の差分絶対値和を相関の評価関数とするフル
・サーチ手順を例に挙げて説明したが、ステップ・サー
チなどの簡易手順とフル・サーチ手順との選択制御と組
み合わせてもよい。また、本発明はシステム、あるいは
装置にプログラムを供給することによって達成される場
合にも適用できる。

【００４３】

【発明の効果】以上説明したように、本発明によれば、
動きベクトル検出処理において、動き検索対象である直
前の符号化フレーム（参照フレーム）と処理フレームと
の間の期間が小さい（フレーム・レートが高い）ほどそ
の期間に対象物体の移動し得る距離（範囲）も狭まるこ
とを利用して、駒落し数（フレーム期間）に応じて検索
範囲を制御するようにしたことにより、フレーム・レー
トが十分高い場合、動き検索範囲を小さく設定すること
により、圧縮符号化処理量の増大を抑え、さらなるフレ
ーム・レートの向上を妨げることを回避するとともに、
ベクトル検索処理量の削減によるＣＰＵの占有率を低
げ、フレーム・レートが低い場合にＣＰＵの処理能力に
余裕があるため十分に大きな検索範囲により動き検索処
理を行うことにより、正確な動き検出を行うようにする
ことができる。

【００４４】また、設定された駒落し数に応じて検索精
度を制御することにより、さらに動き検索の対象となる
画面との間の期間に応じて動きベクトル検索精度を制御
することが可能になる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態による画像符号化装
置の概略構成を示すブロック図である。

【図２】駒落し（フレーム・スキップ）を説明する構成
図である。

【図３】本発明の第１および第２の実施の形態の検索領
域の種類を示す構成図である。

【図４】本発明の第１の実施の形態による動作を説明す
るフローチャートである。

【図５】本発明の第２の実施の形態による画像符号化装
置の概略構成を示すブロック図である。

【図６】本発明の第２の実施の形態による動作を説明す
るフローチャートである。

【図７】フレーム間の動き補償を説明する構成図であ
る。

【符号の説明】

２０１ フレームメモリ ２０２ 駒落し制御部 ２１２ 検索サイズ選択部 ２１３ 動きベクトル検出部 ２１８ 駒落し数決定部 ６１３ 動きベクトル検出部 ６１９ 検索精度選択部

Claims (4)

【特許請求の範囲】
1. 【請求項１】 処理画面内の所定の処理ブロックの画像
   データを用いて上記処理画面から所定の画面数だけ離れ
   た参照画面の上記処理ブロック位置近傍の検索領域の画
   像データを検索することにより動きベクトルを検出する
   動きベクトル検出装置において、 上記参照画面と処理画面との間の画面を設定された画面
   数だけ駒落しする駒落し制御手段と、 上記駒落し制御手段により駒落しされた画面数に応じて
   上記参照画面内の上記検索領域の大きさを制御する検索
   範囲制御手段と、 上記処理ブロックと上記検索範囲制御手段により決定さ
   れた上記検索領域内の各ブロック・パターンとの相関を
   評価し、動きベクトルを出力する動き検索手段とを備え
   た動きベクトル検出装置。
2. 【請求項２】 上記駒落し制御手段により駒落しされた
   画面数に応じて動きベクトル検索精度を決定する検索精
   度制御手段を設け、 上記動き検索手段は、上記検索精度制御手段により決定
   された検索精度による動きベクトルの検出処理を行うこ
   とを特徴とする請求項１記載の動きベクトル検出装置。
3. 【請求項３】 上記検索範囲制御手段は、上記駒落し制
   御手段により駒落しされた画面数が小さいときに上記検
   索領域の大きさを相対的に小さく設定制御することを特
   徴とする請求項１記載の動きベクトル検出装置。
4. 【請求項４】 上記検索範囲制御手段は、上記駒落し制
   御手段により駒落しされた画面数が小さいときに上記検
   索精度を相対的に低く制御することを特徴とする請求項
   ２記載の動きベクトル検出装置。