JP3670566B2

JP3670566B2 - Processing time adaptive image encoding method and program recording medium

Info

Publication number: JP3670566B2
Application number: JP2000303509A
Authority: JP
Inventors: 英明木全; 由幸八島
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2000-10-03
Filing date: 2000-10-03
Publication date: 2005-07-13
Anticipated expiration: 2020-10-03
Also published as: JP2002112274A

Description

【０００１】
【発明が属する技術分野】
本発明は，動画像符号化の技術に関し，特に符号化処理の実行環境に応じて符号化の処理時間が異なる場合にも探索精度を切り替えることなどにより，実時間で動画像を符号化できるようにした処理時間適応画像符号化方法に関するものである。
【０００２】
【従来の技術】
動画像符号化では，一般的に符号化効率向上のために動き補償フレーム間予測符号化方法が用いられる。この方法は，現フレームの原画像と，それ以前に符号化された他のフレームの復号画像から作られる参照画像との間で，対応する画素間の画像情報の差分（予測誤差と呼ぶ）を符号化する。参照画像の作成には，過去や未来のフレームを使う方法や，過去や未来のフレームをアフィン変換して作成する方法がある。
【０００３】
また，予測誤差の符号化では，まず予測誤差について離散コサイン変換（ＤＣＴ）などの周波数変換を行い，その係数を量子化した後に可変長符号化する。画面内の同じ位置での画素間の予測誤差よりも平行移動した位置の予測誤差の方が小さい場合には，符号化効率を向上するために，平行移動した位置の予測誤差を符号化する。平行移動量は動きベクトルとして符号化される。
【０００４】
一般的には，画面を小領域に，例えば縦横１６画素のマクロブロックで区切り，その小領域毎に動きベクトルを設定する。例えば，マクロブロック内の画素に対して動きベクトルだけ同様に平行移動した位置の画素を設定し，これらの画素間の予測誤差をＤＣＴする。また，小領域内の各画素に対して同じ動きベクトルを設定するのではなく，隣接小領域の動きベクトルを使い，個々の画素の平行移動量を計算で求める方法もある。
【０００５】
参考文献：G.J.Sullivan and R.L.Baker:"Motion Compensation for video compression using contorol grid interpolation",IEEE ICA SSP '91, pp.2713-2716,1991。
【０００６】
また，平行移動量が整数ではない場合には，参照画像内で対応する位置に画素がないため，参照画像の周辺画素の画像情報から計算により求める。
【０００７】
この平行移動量を求める処理は「動き探索」と呼ばれる。一般的には，画面を縦横１６画素のマクロブロックで区切り，そのマクロブロック毎に動きベクトルを求める。マクロブロック内の全画素に対する予測誤差の評価関数としては，マクロブロック内のすべての画素の画像情報の絶対値差分の和や分散等が用いられる。これらの値が小さい位置の動きベクトルを選択すると予測誤差の符号化効率が高くなるため，これらの値が最も小さくなる位置を求める。
【０００８】
また，探索範囲を大きくするほど，動きベクトルの候補が増えるため符号化効率の高い動きベクトルを求めることができる。映像符号化方式Ｈ．２６３では，動きベクトルの表現上の制限により探索範囲は最大で縦横１６画素ずれた位置になる。この様子を図１に示す。この探索範囲内を１画素ずつずらしながら，絶対値差分和や分散を計算し，これらの値が最小となる位置を求める。
【０００９】
しかし，探索範囲を大きくするほど，動き探索の演算量が増える。動き探索の演算量を減らすために様々な手法が用いられている。以下に例を３つ挙げる。
【００１０】
［方法１］：絶対値差分和や分散を計算する画素数を少なくする。例えば，マクロブロック内の縦横１６画素（合計２５６画素）のうち，６４画素で計算する。マクロブロック内で６４画素を選択した例を図２に示す。図２において，黒丸で示した画素を選択すると，６４画素の計算となる。
【００１１】
［方法２］：探索範囲内で絶対値差分和や分散を計算する位置を少なくする。例えば２画素ずつずらしながら探索する。２画素ずつずらしながら探索する様子を図３に示す。
【００１２】
［方法３］：木探索する。例えば，予めある探索位置の候補を決めておき，その位置の周辺のみを探索する。
【００１３】
また，動き補償フレーム間予測符号化方法の１つに，カメラのパンニング等の画面全体の動きを計測して，画面全体をアフィン変換して参照画像を作成し，予測誤差を求めるグローバル動き補償方法がある。この際のアフィン変換のパラメータをグローバル動きベクトルと呼び，グローバル動きベクトルを求める処理をグローバル動き探索と呼ぶ。映像符号化方式ＭＰＥＧ−４では，グローバル動き補償と，アフィン変換を使わない動き補償を組み合わせることが可能である。例えば，マクロブロック毎に，グローバル動き補償とアフィン変換を使わない動き補償を選択することができる。符号化効率の高い方を選択することによって，フレーム全体の符号化効率を向上することができる。
【００１４】
グローバル動き探索では，画面全体をアフィン変換して画面全体の予測誤差が最も小さくなるアフィン変換パラメータを決定する方法もあるが，マクロブロック毎の動き探索の結果を利用する方法もある。この場合には，各マクロブロックの画面内の位置と動きベクトルから，アフィン変換パラメータを決定して，それをグローバル動きベクトルとする。動き探索の範囲を大きくするほど，予測誤差のより小さいグローバル動きベクトルが求められるが，逆に範囲が大きくなると演算量が大きくなる。
【００１５】
【発明が解決しようとする課題】
上記のように，動き探索の探索範囲を大きくすると，演算量が大きくなる。そのため，実時間で動画像を符号化することを目的とした場合，演算量が大きくなると符号化が間に合わず，目的の符号化速度の符号化データを得られない問題が発生する。特に，固定フレームレートの符号化データを出力することを目的とした場合には，１フレームの符号化が実時間でできない場合に，固定フレームレートを維持できない。
【００１６】
動画像符号化をハードウェアで実行する場合には，１つの演算命令に対してハードウェアでの演算処理速度が一対一に決まる。したがって，演算量が最大に大きくなった場合にも符号化が実行できるように，予めハードウェアの処理速度を設計すれば，符号化が間に合わない問題は発生しない。
【００１７】
他方，ソフトウェアで実行する場合には，演算処理速度が機械に依存するため，１つの演算命令に対して実際の演算処理速度が一対一に決まらない。そのため，演算処理速度の小さい機械上で実行する場合には符号化が間に合わない問題が発生する。また，パーソナルコンピュータ（ＰＣ）のように，同じ機械上で他のプログラムが実行される場合がある。この場合には，動画像符号化の最中に他のプログラムが実行されると，機械の演算処理がそのプログラムに割かれるために，符号化を実行できなくなり，結果的に符号化速度が低下する。このように符号化の最中に，符号化のための演算処理が実行されない時間が発生する問題がある。
【００１８】
【課題を解決するための手段】
パーソナルコンピュータのような機械の演算処理速度は，ＣＰＵのキャッシユへのアクセス速度やメモリへのアクセス速度等にも依存して決まるものであるが，主にプログラム中の演算命令を実行するＣＰＵの処理速度に依存する。また，実際に演算を行うのはＣＰＵであるため，１つの演算命令に対するＣＰＵの命令処理回数が，機械の演算処理速度となる。すなわち，１つの演算命令に対するＣＰＵの命令処理回数をＣＰＵの動作周波数で除算した結果が，その機械上における１つの演算命令の処理時間となる。したがって，例えば１フレームを符号化する処理時間を求めるには，符号化を行っている間のＣＰＵの命令処理回数を計測し，それをＣＰＵの動作周波数で除算すればよい。同様に，動き探索処理を実行する処理時間は，それを行っている間のＣＰＵの命令処理回数を計測すれば求めることができる。
【００１９】
このように，ＣＰＵの命令処理回数から処理時間を計測することができる。また，本来ＣＰＵが実行するべき符号化処理に必要な命令処理回数は，プログラムの構成にのみ依存する。そのため，例えば動き探索処理のように１フレーム符号化するために必要な処理命令数が固定な処理の場合では，必要な命令処理回数を実行前に予め求めておくことが可能である。予測誤差の符号化では，フレーム毎にＤＣＴの演算回数が異なる等で処理命令数が異なる。
【００２０】
ただし，上記課題においても述べた通り，符号化の最中に他のプログラムが実行される場合もある。ＣＰＵは時分割で動作するため，他のプログラムが実行されている間はＣＰＵは符号化処理を行わない。したがって，符号化を行っている間のＣＰＵの命令処理回数には，他のプログラムを実行するための命令も含まれる。これが，符号化の最中に他のプログラムが実行されると符号化速度が低下する原因となる。
【００２１】
本発明は，上記の課題を解決するため，探索精度を切り替えることなどにより，動きベクトル探索やグローバル動きベクトル探索に要する処理命令数を変更することを特徴とする。具体的には，以下の方法を用いる。
【００２２】
第１の発明では，演算器で動き探索を行い，動き補償フレーム間予測符号化方式を用いて動画像を符号化する動画像符号化方法において，符号化前に予め定められたフレームレートから１フレームを符号化する時間である符号化目標時間を設定し，符号化前に予め設定した動き探索方法に対して，演算器で実行する動き探索の処理命令数である動き探索命令数情報を記憶しておき，符号化時に各フレームの符号化時間を計測し，１フレーム符号化終了後に，前記設定した符号化目標時間と前記計測した符号化時間とから，次のフレームの動き探索を行うための動き探索目標時間を設定し，前記記憶しておいた動き探索命令数情報に従って，動き探索目標時間から動き探索方法を決定して動き探索処理を制御する。
前記動き探索目標時間の設定では，１フレーム符号化終了後に，計測された符号化時間と前記記憶しておいた動き探索命令数情報とから，動き探索以外の処理の時間を推定し，１フレームの符号化目標時間から動き探索以外の処理の時間を引き，さらに前のフレームの符号化にて遅延が生じている場合にその遅延時間を引いた値を，次のフレームの動き探索を行うための動き探索目標時間として設定する。なお，以降に説明する発明においても，同様に遅延時間を考慮し，前のフレームの符号化にて遅延が生じている場合には，動き探索目標時間から遅延時間を差し引くことを行う。
【００２３】
ここで，動き探索命令数情報とは，実質的に命令数に相当する情報であればよく，例えば時間に換算した値のような情報でもよい。以降に述べる発明でも同様である。
【００２４】
この第１の発明によれば，符号化前に予め設定した各動き探索方法に対して，演算器で実行する動き探索の処理命令数を求めておくので，動き探索時間が設定されたときに，その時間に実行される処理命令数を求めて動き探索方法を決定することができる。
【００２５】
例えば，次の２種類の動き探索を予め設定しているとする。
【００２６】
［方法Ａ］：マクロブロック内の全画素に対して絶対値差分和を求める。探索範囲内で１画素ずつずらして絶対値差分和を求め，絶対値差分和が最も小さい位置の平行移動量を動きベクトルとする。
【００２７】
［方法Ｂ］：マクロブロック内の全画素に対して絶対値差分和を求める。探索範囲内で２画素ずつずらして絶対値差分和を求め，絶対値差分和が最も小さい位置の平行移動量を動きベクトルとする。
【００２８】
符号化前に，予め方法Ａと方法Ｂで動き探索を行った場合に，演算器で実行する命令数を求めておく。この結果，方法Ａが１０命令で方法Ｂが５命令であるとする。その後で，演算器を備えた符号化器で符号化する際に動き探索時間が設定され，これが演算器で７命令分であったとする。この場合，方法Ａでは７命令内で動き探索を完了できないが，方法Ｂでは７命令内で完了できる。従っで，方法Ｂを選択し動き探索を実行すれば，実時間で符号化できることになる。
【００２９】
第２の発明では，演算器で動き探索を行い，動き補償フレーム間予測符号化方式を用いて動画像を符号化する動画像符号化方法において，符号化前に予め定められたフレームレートから１フレームを符号化する時間である符号化目標時間を設定し，符号化前に予め設定した動き探索方法に対して，演算器で実行する動き探索の処理命令数である動き探索命令数情報を記憶しておき，符号化時に各フレームの符号化時間を計測し，１フレーム符号化終了後に，前記設定した符号化目標時間と前記計測した符号化時間とから，次のフレームの動き探索を行うための動き探索目標時間を設定し，前記記憶しておいた動き探索命令数情報に従って，動き探索目標時間から動き探索方法を決定し動き探索処理を制御し，その動き探索処理の実行時間を計測し，実際に計測された動き探索時間から，前記記憶しておいた動き探索命令数情報を更新する。
【００３０】
この第２の発明によれば，第１の発明において符号化前に予め設定しておいた動き探索の処理命令数を，実際に動き探索を実行する符号化器で処理した命令数で更新することができる。この方法は，符号化前に予め正確な処理命令数を求めることができない場合に好適である。例えば，処理速度の異なる演算器を組み合わせて符号化器を構成する場合においては，符号化器の総合的な処理速度が分からないが，実際に数フレーム符号化して動き探索に必要な処理時間を求め，命令数を求めることができる。また，ＣＰＵのような汎用的な演算器で符号化処理を行う場合には，定期的に他のプログラムがＣＰＵを使う場合があるため，実際の符号化にかかる処理時間がわからない。しかし，本発明によれば，実際に符号化して動き探索に必要な処理時間を求め，命令数を求めることができる。
【００３１】
第３の発明では，演算器で動き探索とグローバル動き探索を行い，動き補償フレーム間予測符号化方式を用いて動画像を符号化する動画像符号化方法において，符号化前に予め定められたフレームレートから１フレームを符号化する時間である符号化目標時間を設定し，符号化前に予め設定した動き探索方法に対して，演算器で実行する動き探索の処理命令数である動き探索命令数情報を記憶しておき，また符号化前に予め設定したグローバル動き探索方法に対して，演算器で実行する動き探索の処理命令数であるグローバル動き探索命令数情報を記憶しておき，符号化時に各フレームの符号化時間を計測し，１フレーム符号化終了後に，前記設定した符号化目標時間と前記計測した符号化時間とから，次のフレームの動き探索とグローバル動き探索を行うための動き探索目標時間を設定し，動き探索目標時間から，前記記憶しておいた動き探索命令数情報とグローバル動き探索命令数情報に従って，動き探索方法とグローバル動き探索方法を決定し，動き探索処理とグローバル動き探索処理を制御する。
【００３２】
この第３の発明によれば，動き探索の他にグローバル動き探索を行う場合にも，第１の発明と同様に，動き探索を目標時間内に実行できるように，動き探索方法とグローバル動き探索方法を決定することができる。
【００３３】
第４の発明では，演算器で動き探索とグローバル動き探索を行い，動き補償フレーム間予測符号化方式を用いて動画像を符号化する動画像符号化方法において，符号化前に予め定められたフレームレートから１フレームを符号化する時間である符号化目標時間を設定し，符号化前に予め設定した動き探索方法に対して，演算器で実行する動き探索の処理命令数である動き探索命令数情報を記憶しておき，また符号化前に予め設定したグローバル動き探索方法に対して，演算器で実行する動き探索の処理命令数であるグローバル動き探索命令数情報を記憶しておき，符号化時に各フレームの符号化時間を計測し，１フレーム符号化終了後に，前記設定した符号化目標時間と前記計測した符号化時間とから，次のフレームの動き探索とグローバル動き探索を行うための動き探索目標時間を設定し，動き探索目標時間から，前記記憶しておいた動き探索命令数情報とグローバル動き探索命令数情報とに従って，動き探索方法とグローバル動き探索方法を決定し，動き探索処理とグローバル動き探索処理を制御し，その動き探索処理の実行時間を計測し，実際に計測された動き探索時間から，前記記憶しておいた動き探索命令数情報を更新し，またグローバル動き探索処理の実行時間を計測し，実際に計測されたグローバル動き探索時間から，前記記憶しておいたグローバル動き探索命令数情報を更新する。
【００３４】
この第４の発明によれば，動き探索の他にグローバル動き探索を行う場合にも，第２の発明と同様に，実際に符号化して動き探索に必要な処理時間を求め，動き探索に必要な命令数を求めることができる。
【００３５】
第５の発明では，演算器で画面内を分割した領域毎にブロック動き探索を行い，動き補償フレーム間予測符号化方式を用いて動画像を符号化する動画像符号化方法において，符号化前に予め定められたフレームレートから１フレームを符号化する時間である符号化目標時間を設定し，符号化前に予め設定した動き探索方法に対して，演算器で実行する動き探索の処理命令数である動き探索命令数情報を記憶しておき，符号化時に各フレームの符号化時間を計測し，１フレーム符号化終了後に，前記設定した符号化目標時間と前記計測した符号化時間とから，次のフレームの動き探索を行うための動き探索目標時間を設定し，ブロック動き探索処理で実行される領域毎の動き探索時間を計測し，その計測したブロック毎の動き探索時間を，フレーム単位で合計したフレーム動き探索時間を求め，前記記憶しておいた動き探索命令数情報に従って，動き探索目標時間とフレーム動き探索時間から動き探索方法を決定して動き探索処理を制御する。
【００３６】
この第５の発明によれば，領域毎に動き探索を実行して動き探索時間を計測し，その時間の合計値と動き探索目標時間を比較することができる。これは，符号化最中に実際に符号化器が処理した動き探索の命令数が，符号化前に予め設定しておいた動き探索の処理命令数と異なる場合に好適である。例えば，動き探索時間の合計値が目標時間よりも大きくなった場合には，そのフレームの動き探索を強制終了させることができる。領域としてはマクロブロックや，マクロブロックの集合であるスライスを適用することができる。強制終了した場合に探索できなかった領域には，０ベクトル（静止）や，前フレームの同じ位置の動きベクトルや，周囲の領域の動きベクトルを，その領域の動きベクトルとして使用することもできる。
【００３７】
第６の発明では，演算器で画面内を分割した領域毎にブロック動き探索とグローバル動き探索を行い，動き補償フレーム間予測符号化方式を用いて動画像を符号化する動画像符号化方法において，符号化前に予め定められたフレームレートから１フレームを符号化する時間である符号化目標時間を設定し，符号化前に予め設定した動き探索方法に対して，演算器で実行する動き探索の処理命令数である動き探索命令数情報を記憶しておき，また符号化前に予め設定したグローバル動き探索方法に対して，演算器で実行する動き探索の処理命令数であるグローバル動き探索命令数情報を記憶しておき，符号化時に各フレームの符号化時間を計測し，１フレーム符号化終了後に，前記設定した符号化目標時間と前記計測した符号化時間とから，次のフレームの動き探索を行うための動き探索目標時間であるローカル動き探索目標時間と，グローバル動き探索を行うための動き探索目標時間であるグローバル動き探索目標時間を設定し，ブロック動き探索処理で実行される領域毎の動き探索時間を計測し，その計測したブロック毎の動き探索時間を，フレーム単位で合計したフレーム動き探索時間を求め，グローバルブロック動き探索処理で実行される領域毎の動き探索時間を計測し，その計測したブロック毎の動き探索時間を，フレーム単位で合計したフレームグローバル動き探索時間を求め，前記記憶しておいた動き探索命令数情報に従って，ローカル動き探索目標時間とフレーム動き探索時間とから動き探索方法を決定して動き探索処理を制御し，また前記記憶しておいたグローバル動き探索命令数情報に従って，グローバル動き探索目標時間とフレームグローバル動き探索時間とからグローバル動き探索方法を決定し，グローバル動き探索処理を制御する。
【００３８】
第６の発明によれば，動き探索の他にグローバル動き探索を行う場合にも，第５の発明と同様に，例えば，符号化最中に実際に符号化器が処理した動き探索やグローバル動き探索の命令数が，符号化前に予め設定しておいた動き探索やグローバル動き探索の処理命令数と異なる場合に，動き探索時間とグローバル動き探索の合計値が目標時間よりも大きくなった場合には，そのフレームの動き探索やグローバル動き探索を強制終了させることができる。
【００３９】
第７の発明では，演算器で画面内を分割した領域毎にブロック動き探索を行い，動き補償フレーム間予測符号化方式を用いて動画像を符号化する動画像符号化方法において，符号化前に予め定められたフレームレートから１フレームを符号化する時間である符号化目標時間を設定し，符号化前に予め設定した動き探索方法に対して，演算器で実行する動き探索の処理命令数である動き探索命令数情報を記憶しておき，入力画像の画像情報から，画面内の各領域の画像統計情報を検出し，検出した画像統計情報から，動き探索する領域の順序を決定し，１フレームの符号化時間を計測し，１フレーム符号化終了後に，前記設定した符号化目標時間と前記計測した符号化時間とから，次のフレームの動き探索を行うための動き探索目標時間を設定し，ブロック動き探索処理で実行される領域毎の動き探索時間を計測し，その計測したブロック毎の動き探索時間をフレーム単位で合計したフレーム動き探索時間を求め，前記記憶しておいた動き探索命令数情報に従って，動き探索目標時間とフレーム動き探索時間とから動き探索方法を決定し動き探索処理を制御する。
【００４０】
この第７の発明によれば，第５の発明のようにフレーム内の途中で動き探索を終了する場合において，動き探索をする前に予め，各領域に対して動き探索の順序を設定することが可能である。これは，例えば動き探索をする前に，画面内の各領域が動領域かどうかを測定して，動領域を静止領域よりも先に動き探索処理することが可能となる。動き探索の前に静止領域と判断された領域の動き探索で，動き探索時間の合計値が目標時間よりも大きくなり，そのフレームの動き探索を強制終了したとしても，静止領域であるため，その領域の動きベクトルを０ベクトルとすることができる。これにより，実際に動きベクトルを求めた場合からの符号化効率の低下を軽減できる。
【００４１】
第８の発明では，演算器で画面内を分割した領域毎にブロック動き探索とグローバル動き探索を行い，動き補償フレーム間予測符号化方式を用いて動画像を符号化する動画像符号化方法において，符号化前に予め定められたフレームレートから１フレームを符号化する時間である符号化目標時間を設定し，符号化前に予め設定した動き探索方法に対して，演算器で実行する動き探索の処理命令数である動き探索命令数情報を記憶しておき，また符号化前に予め設定したグローバル動き探索方法に対して，演算器で実行する動き探索の処理命令数であるグローバル動き探索命令数情報を記憶しておき，入力画像の画像情報から，画面内の各領域の画像統計情報を検出し，その検出した画像統計情報から，動き探索する領域の順序を決定し，１フレームの符号化時間を計測し，１フレーム符号化終了後に，前記設定した符号化目標時間と前記計測した符号化時間とから，次のフレームの動き探索を行うための動き探索目標時間であるローカル動き探索目標時間と，グローバル動き探索を行うための動き探索目標時間であるグローバル動き探索目標時間を設定し，ブロック動き探索処理で実行される領域毎の動き探索時間を計測し，その計測したブロック毎の動き探索時間をフレーム単位で合計したフレーム動き探索時間を求め，グローバルブロック動き探索処理で実行される領域毎の動き探索時間を計測し，その計測したブロック毎の動き探索時間をフレーム単位で合計したフレームグローバル動き探索時間を求め，前記記憶しておいた動き探索命令数情報に従って，ローカル動き探索目標時間とフレーム動き探索時間とから動き探索方法を決定し，動き探索処理を制御し，前記記憶しておいたグローバル動き探索命令数情報に従って，グローバル動き探索目標時間とフレームグローバル動き探索時間からグローバル動き探索方法を決定し，グローバル動き探索処理を制御する。
【００４２】
この第８の発明によれば，第７の発明と同様に，動き探索をする前に，予め各領域に対して動き探索の順序を設定することにより，フレーム途中で動き探索を強制終了する際の符号化効率の低下を軽減できる。さらに，動き探索をする前に，予め各領域に対して動き探索をするかどうかを決定しておき，符号化の最中ではその領域のみ動き探索をし，グローバル動き探索に割り当てる時間を多くすることが可能である。例えば，動き探索をする前に，予め各領域が動領域か静止領域かを判定しておき，動領域のみ動き探索をして，静止領域は動き探索をしない。これにより，静止領域の動き探索のための時間をグローバル動き探索に割り当てることができる。
【００４３】
以上の処理方法をコンピュータによって実現するためのソフトウェアプログラムは，コンピュータが読み取り可能な可搬媒体メモリ，半導体メモリ，ハードディスクなどの適当な記録媒体に格納することができる。
【００４４】
【発明の実施の形態】
以下，本発明の実施の形態を図面を参照して説明する。
【００４５】
第１の実施例では，符号化前に予め，各動き探索方法に対する処理命令数と，各グローバル動き探索方法に対する処理命令数を設定しておき，この値に従って，実時間で動画像を符号化する仕組みを述べる。
【００４６】
動作周波数５００ＭＨｚのＣＰＵを搭載したコンピュータ上で，画面の大きさがＣＩＦ（横３５２画素，縦２８８画素）の動画像をフレームレートが毎秒１０フレームで符号化する場合の動作を示す。
【００４７】
動き探索方法としては下記の方法Ａと方法Ｂと方法Ｃを用意する。画面内のマクロブロックに対してすべて同じ方法を適用する。
【００４８】
［方法Ａ］：マクロブロック内の全画素に対して絶対値差分和を求める。探索範囲は縦１６画素・横１６画素とする。探索範囲内で１画素ずつずらして絶対値差分和を求め，絶対値差分和が最も小さい位置の平行移動量を動きベクトルとする。
【００４９】
［方法Ｂ］：マクロブロック内の全画素に対して絶対値差分和を求める。探索範囲は縦１６画素・横１６画素とする。探索範囲内で２画素ずつずらして絶対値差分和を求め，絶対値差分和が最も小さい位置の平行移動量を動きベクトルとする。
【００５０】
［方法Ｃ］：すべてのマクロブロックの動きベクトルを０ベクトルとする。
【００５１】
方法Ａの動き探索の命令数は１０００万で，方法Ｂの動き探索の命令数は５００万で，方法Ｃの命令数は１万であるとする。
【００５２】
また，グローバル動き探索方法としては，まずどちらも画面を縦８画素・横８画素のブロックに分割し，そのブロック単位に動き探索をする。全ブロックの動き探索が終わった後で，動きベクトルに対するブロック数を集計し，最もブロック数が多い動きベクトルをグローバル動きベクトルとする。ブロック単位の動き探索には，下記の方法Ｄと方法Ｅと方法Ｆを用意する。画面内のブロックに対してすべて同じ方法を適用する。
【００５３】
［方法Ｄ］：ブロック内の全画素に対して絶対値差分和を求める。探索範囲は縦３２画素・横３２画素とする。探索範囲内で１画素ずつずらして絶対値差分和を求め，絶対値差分和が最も小さい位置の平行移動量を動きベクトルとする。
【００５４】
［方法Ｅ］：ブロック内の全画素に対して絶対値差分和を求める。探索範囲は縦３２画素・横３２画素とする。探索範囲内で２画素ずつすらして絶対値差分和を求め，絶対値差分和が最も小さい位置の平行移動量を動きベクトルとする。
【００５５】
［方法Ｆ］：すべてのブロックの動きベクトルを０ベクトルとする。
【００５６】
方法Ｄを採用した場合のグローバル動き探索の命令数は３０００万で，方法Ｅを採用した場合のグローバル動き探索の命令数は１５００万で，方法Ｆを採用した場合のグローバル動き探索の命令数は１万であるとする。
【００５７】
図４に，第１の実施例における符号化方法の処理手順を示す。なお，図４に示す各ブロックに表記した「部」は「手順」と読み替えることができる。他の実施例も同様である。
【００５８】
図４の動き探索制御部（動き探索制御手順）１０６では，予め設定された方法Ａまたは方法Ｂまたは方法Ｃの中からいずれかを，また，方法Ｄまたは方法Ｅまたは方法Ｆの中からいずれかを選択する。
【００５９】
選択するフローを図５に示す。動き探索目標時間をｔａｒｇｅｔ＿ｍｅ＿ｔｉｍｅとし，方法Ａから方法Ｆまでの命令数を時間に変換した値を，ｍｅ＿ｔｉｍｅ［ｉ］（ｉ＝１：方法Ａ，ｉ＝２：方法Ｂ，ｉ＝３：方法Ｃ，１＝４：方法Ｄ，ｉ＝５：方法Ｅ，ｉ＝６：方法Ｆ）とする。以下の選択を行う。
【００６０】
ｍｅ＿ｔｉｍｅ［１］とｍｅ＿ｔｉｍｅ［４］の和が，動き探索目標時間（ｔａｒｇｅｔ＿ｍｅ＿ｔｉｍｅ）より小さい場合，方法Ａと方法Ｄを選択する（ステップＳ１０）。
【００６１】
ｍｅ＿ｔｉｍｅ［１］とｍｅ＿ｔｉｍｅ［５］の和が，動き探索目標時間（ｔａｒｇｅｔ＿ｍｅ＿ｔｉｍｅ）より小さい場合，方法Ａと方法Ｅを選択する（ステップＳ１１）。
【００６２】
ｍｅ＿ｔｉｍｅ［１］とｍｅ＿ｔｉｍｅ［６］の和が，動き探索目標時間（ｔａｒｇｅｔ＿ｍｅ＿ｔｉｍｅ）より小さい場合，方法Ａと方法Ｆを選択する（ステップＳ１２）。
【００６３】
ｍｅ＿ｔｉｍｅ［２］とｍｅ＿ｔｉｍｅ［６］の和が，動き探索目標時間（ｔａｒｇｅｔ＿ｍｅ＿ｔｉｍｅ）より小さい場合，方法Ｂと方法Ｆを選択する（ステップＳ１３）。
【００６４】
ｍｅ＿ｔｉｍｅ［３］とｍｅ＿ｔｉｍｅ［６］の和が，動き探索目標時間（ｔａｒｇｅｔ＿ｍｅ＿ｔｉｍｅ）より小さい場合，方法Ｃと方法Ｆを選択する（ステップＳ１４）。
【００６５】
以上のように，いずれの組み合わせを選択した場合にも，動き探索とグローバル動き探索が動き探索目標時間以内に処理されるように選択する。方法Ｃと方法Ｆを選択した場合に動き探索目標時間以内とならない場合（ステップＳ１４でＮＯの場合）には，そのフレームを符号化せずに，次のフレームを符号化開始するものとする。この場合，動き探索目標時間には，１フレーム符号化するための符号化目標時間が加算される。
【００６６】
まず，符号化開始前に目標時間設定部１０１にて，フレームレートが毎秒１０フレームであることから，符号化目標時間として１００ｍｓｅｃを設定する。また，動きパラメータ記憶部１０２にて方法Ａから方法Ｃまでの処理命令数を記憶し，グローバル動きパラメータ記憶部１０３にて方法Ｄから方法Ｆまでの処理命令数を記憶する。
【００６７】
本実施例では，処理命令数に対応する実際の時間は以下の通りとなる。
【００６８】

続いて，符号化を開始後のＪ番目とＪ＋１番目のフレームの符号化手順を説明する。Ｊ−１番目のフレームでは符号化目標時間に符号化が間に合わず，Ｊ番目のフレームでは符号化目標時間に符号化が間に合ったとする。前提として，Ｊ−１番目のフレームに対して動き探索に方法Ａを使い，グローバル動き探索に方法Ｄを使って，符号化時間計測部１０４において計測した符号化時間が１１０ｍｓｅｃであったとする。すなわち，１０ｍｓｅｃの遅延が発生している。
【００６９】
この状況において，まず動き探索時間設定部１０５にて，Ｊ番目のフレームに対する動き探索目標時間を求める。方法Ａと方法Ｄを使って符号化時間が１１０ｍｓｅｃであったことから，動き探索以外の処理の時間は，
１１０ｍｓｅｃ−（方法Ａの時間＋方法Ｄの時間）＝１１０ｍｓｅｃ−（２０ｍｓｅｃ＋６０ｍｓｅｃ）＝３０ｍｓｅｃ
と計算できる。
【００７０】
次のフレームで１０ｍｓｅｃの遅延から回復することを踏まえ，動き探索目標時間ｔａｒｇｅｔ＿ｍｅ＿ｔｉｍｅは，
１００ｍｓｅｃ−（遅延時間）−（動き探索以外の時間）＝１００ｍｓｅｃ−１０ｍｓｅｃ−３０ｍｓｅｃ＝６０ｍｓｅｃ
と設定する。動き探索制御部１０６では，図５の選択フローに従って，方法Ａと方法Ｅを選択する。
【００７１】
画像入力部１０７にて，１フレーム分の画像情報を取得する。動き探索部１０８では，方法Ａで動き探索を行い，グローバル動き探索部１０９では，方法Ｅでグローバル動き探索を行う。フレーム間予測符号化部１１０では，動き探索部１０８で求められた動きベクトルとグローバル動き探索部１０９で求められたグローバル動きベクトルを用いてＪ番目のフレームの画像情報を符号化する。局所復号部１１１では，符号化データを復号する。符号化時間計測部１０４は，Ｊ番目のフレームの符号化時間を計測する。符号化時間は５５ｍｓｅｃであったとする。
【００７２】
この場合，Ｊ−１番目のフレームにて発生した１０ｍｓｅｃの遅延がなくなり，実時間で符号化できていることになる。このように，前フレームで実時間に符号化できない場合であっても，次のフレームの動き探索時間を調整することにより，次のフレームで遅延を解消することができる。
【００７３】
続いて，動き探索時間設定部１０５にて，Ｊ＋１番目のフレームに対する動き探索目標時間を求める。方法Ａと方法Ｅを使って符号化時間が５５ｍｓｅｃであったことから，動き探索以外の処理の時間は，
５５ｍｓｅｃ−（方法Ａの時間＋方法Ｅの時間）＝５０ｍｓｅｃ−（２０ｍｓｅｃ＋３０ｍｓｅｃ）＝５ｍｓｅｃ
と計算できる。そのため動き探索目標時間ｔａｒｇｅｔ＿ｍｅ＿ｔｉｍｅは，
１００ｍｓｅｃ−（動き探索以外の時間）＝１００ｍｓｅｃ−５ｍｓｅｃ＝９５ｍｓｅｃ
と設定する。動き探索制御部１０６では，図５の選択フローに従って，方法Ａと方法Ｄを選択する。
【００７４】
画像入力部１０７にて，１フレーム分の画像情報を取得する。動き探索部１０８では，方法Ａで動き探索を行い，グローバル動き探索部１０９では，方法Ｄでグローバル動き探索を行う。フレーム間予測符号化部１１０では，動き探索部１０８で求められた動きベクトルとグローバル動き探索部１０９で求められたグローバル動きベクトルを用いてＪ番目のフレームの画像情報を符号化する。局所復号部１１１では，符号化データを復号する。符号化時間計測部１０４は，Ｊ＋１番目のフレームの符号化時間を計測する。
【００７５】
このように前フレームの符号化時間が符号化目標時間以内であった場合には，次のフレームの動き探索処理時間を多くすることにより，前フレームよりも符号化効率を上げることが可能である。
【００７６】
第１の実施例のように，符号化前に予め，各動き探索方法に対する処理命令数と，各グローバル動き探索方法に対する処理命令数を設定しておき，この値に従って動き探索処理やグローバル動き探索処理を変更することにより，実時間で動画像を符号化できる。
【００７７】
なお，第１の実施例では，動きベクトル探索とグローバル動き探索の処理命令数を変更する方法として，探索範囲内で１画素ずつずらす方法（方法Ａと方法Ｄ），探索範囲内で２画素ずつずらす方法（方法Ｂと方法Ｅ），動きベクトルが０ベクトルの場合のみ計算する方法（方法Ｃと方法Ｆ）を示したが，３画素もしくはそれ以上の画素数ずらすことにより処理命令数をさらに削減することも可能である。また，動きベクトルの探索範囲が縦１６画素・横１６画素，グローバル動き探索の探索範囲が縦３２画素・横３２画素の場合のみ示したが，探索範囲を拡大または縮小することにより処理命令数を変更することも可能である。以下に示す第２〜第４の実施例でも同様である。
【００７８】
また，グローバル動き探索を用いない場合には，図４に示す第１の実施例において，グローバル動きパラメータ記憶部１０３の処理およびグローバル動き探索部１０９の処理を省略した手順になることは説明するまでもない。以下に示す他の実施例においても同様である。
【００７９】
第２の実施例では，符号化前に予め，各動き探索方法に対する処理命令数と，各グローバル動き探索方法に対する処理命令数とを設定しておき，この値に従って動画像を符号化し，符号化途中でこれらの処理命令数を変更する仕組みを述べる。
【００８０】
動作周波数５００ＭＨｚのＣＰＵを搭載したコンピュータ上で，画面の大きさがＣＩＦ（横３５２画素，縦２８８画素）の動画像をフレームレートが毎秒１０フレームで符号化する場合の動作を示す。
【００８１】
動き探索方法には，第１の実施例と同じく方法Ａと方法Ｂと方法Ｃを用意し，グローバル動き探索方法には，第１の実施例と同じく方法Ｄと方法Ｅと方法Ｆを用意する。動き探索方法とグローバル動き探索方法は，画面内のマクロブロックに対してすべで同じ方法を適用する。
【００８２】
図６に，第２の実施例における符号化方法の処理手順を示す。ここで，動き探索制御部２０６にて，動き予測方法とグローバル動き探索方法の選択フローは，第１の実施例と同じく図５とする。
【００８３】
符号化を開始後のＪ番目とＪ＋１番目のフレームの符号化手順を説明する。Ｊ−１番目のフレームでは，符号化目標時間に符号化が間に合わず，Ｊ番目のフレームでは，符号化目標時間に符号化が間に合った場合を示す。前提として，Ｊ−１番目のフレームに対して，動き探索に方法Ａを使い，グローバル動き探索に方法Ｄを使って，符号化時間計測部２０４において計測した符号化時間が１２０ｍｓｅｃであったとする。すなわち２０ｍｓｅｃの遅延が発生している。
【００８４】
また，動き探索時間計測部２１２にて計測された動き探索時間は４０ｍｓｅｃであり，グローバル動き探索時間計測部２１４にて計測されたグローバル動き探索時間は６０ｍｓｅｃであるとする。
【００８５】
また，動きパラメータ記憶部２０２にて記憶している各方法の命令数は，方法Ａは１０００万で，方法Ｂは５００万で，方法Ｃは１万であるとする。グローバル動きパラメータ記憶部２０３にて記憶している各方法の命令数は，方法Ｄは３０００万で，方法Ｅは１５００万で，方法Ｆは１万であるとする。
【００８６】
この状況において，まずＪ番目のフレームに対する動き探索命令数とグローバル動き探索命令数の更新を行う。動きパラメータ更新部２１３にて，方法Ａの命令数を４０ｍｓｅｃ＊５００ＭＨｚ＝２０００万に，グローバル動きパラメータ更新部２１５にて，方法Ｄの命令数を
６０ｍｓｅｃ＊５００ＭＨｚ＝３０００万
に更新する。
【００８７】
したがって，処理命令数に対応する実際の時間は以下の通りとなる。
【００８８】

続いて動き探索時間設定部２０５にて，Ｊ番目のフレームに対する動き探索目標時間を求める。方法Ａと方法Ｄを使って符号化時間が１２０ｍｓｅｃであったことから，動き探索以外の処理の時間は，

と計算できる。
【００８９】
次のフレームで２０ｍｓｅｃの遅延から回復することを踏まえ，動き探索目標時間ｔａｒｇｅｔ＿ｍｅ＿ｔｉｍｅは，

と設定する。動き探索制御部２０６では，図５のフローに従って，方法Ａと方法Ｆを選択する。
【００９０】
画像入力部２０７にて，１フレーム分の画像情報を取得する。動き探索部２０８では方法Ａで動き探索を行い，グローバル動き探索部２０９では方法Ｆでグローバル動き探索を行う。フレーム間予測符号化部２１０では，動き探索部２０８で求められた動きベクトルとグローバル動き探索部２０９で求められたグローバル動きベクトルを用いてＪ番目のフレームの画像情報を符号化する。局所復号部２１１では，符号化データを復号する。符号化時間計測部２０４では，Ｊ番目のフレームの符号化時間を計測する。符号化時間は５５ｍｓｅｃであったとする。また，動き探索時間計測部２１２にて計測された動き探索時間は４０ｍｓｅｃであり，グローバル動き探索時間計測部２１４にて計測されたグローバル動き探索時間は０．１ｍｓｅｃであるとする。
【００９１】
この状況において，まずＪ＋１番目のフレームに対する動き探索命令数とグローバル動き探索命令数の更新を行う。動きパラメータ更新部２１３にて，方法Ａの命令数を４０ｍｓｅｃ＊５００ＭＨｚ＝２０００万に，グローバル動きパラメータ更新部２１５にて，方法Ｆの命令数を
０．１ｍｓｅｃ＊５００ＭＨｚ＝５万
に更新する。
【００９２】
したがって，処理命令数に対応する実際の時間は以下の通りとなる。
【００９３】

続いて動き探索時間設定部２０５にて，Ｊ＋１番目のフレームに対する動き探索目標時間を求める。方法Ａと方法Ｆを使って符号化時間が５５ｍｓｅｃであったことから，動き探索以外の処理の時間は，

と計算することができる。そのため，動き探索目標時間ｔａｒｇｅｔ＿ｍｅ＿ｔｉｍｅは，

と設定する。動き探索制御部２０６では，図５のフローに従って，方法Ａと方法Ｅを選択する。
【００９４】
画像入力部２０７にて，１フレーム分の画像情報を取得する。動き探索部２０８では，方法Ａで動き探索を行い，グローバル動き探索部２０９では，方法Ｅでグローバル動き探索を行う。フレーム間予測符号化部２１０では，動き探索部２０８で求められた動きベクトルとグローバル動き探索部２０９で求められたグローバル動きベクトルを用いてＪ＋１番目のフレームの画像情報を符号化する。局所復号部２１１では，符号化データを復号する。符号化時間計測部２０４は，Ｊ＋１番目のフレームの符号化時間を計測する。
【００９５】
このように第２の実施例では，前フレームの符号化から，その演算器における動き探索命令数とグローバル動き探索命令数を求めて更新することにより，その演算器の演算処理速度に応じた動き探索方法とグローバル動き探索方法の選択をすることができる。
【００９６】
また第２の実施例において，動き探索部２０８の処理を実行した後に，動き探索時間計測部２１２で動き探索時間を計測して，この時間も使って再度グローバル動き探索を実行する際の動き探索目標時間を再設定する方法も好適である。例えば，Ｊ＋１番目のフレームにおける動き探索時間が２０ｍｓｅｃであったとすると，Ｊ＋１番目のフレームのグローバル動き探索のための動き探索目標時間を，
ｔａｒｇｅｔ＿ｍｅ＿ｔｉｍｅ＝８５．１ｍｓｅｃ−２０ｍｓｅｃ＝６５．１ｍｓｅｃ
と設定する。この情報に基づいて，再度グローバル動き探索方法を決定する。この選択フローを図７に示す。この選択フローに従って方法Ｄを選択して（ステップＳ２０），グローバル動き探索を行う。グローバル動きベクトルを求めた後の動作は図６の処理手順と同じである。
【００９７】
図７の選択フローでは，ｔａｒｇｅｔ＿ｍｅ＿ｔｉｍｅがｍｅ＿ｔｉｍｅ［４］より大きい場合に（ステップＳ２０），方法Ｄを選択し，ｔａｒｇｅｔ＿ｍｅ＿ｔｉｍｅがｍｅ＿ｔｉｍｅ［４］以下で，かつｍｅ＿ｔｉｍｅ［５］より大きい場合には（ステップＳ２１），方法Ｅを選択する。さらに，ｔａｒｇｅｔ＿ｍｅ＿ｔｉｍｅがｍｅ＿ｔｉｍｅ［５］以下で，かつｍｅ＿ｔｉｍｅ［６］より大きい場合には（ステップＳ２２），方法Ｆを選択し，ｍｅ＿ｔｉｍｅ［６］以下であればグローバル動き補償は行わない。
【００９８】
このように，動き探索後にグローバル動き探索のための動き探索目標時間を再設定することにより，予測誤差のより少ないグローバル動きベクトルを求めることも可能となる。
【００９９】
第３の実施例では，符号化前に予め，各動き探索方法に対する処理命令数を設定しておき，この値に従って，実時間で動画像を符号化する仕組みを述べる。ただし，第１の実施例と異なり，動き探索時間をマクロブロック単位に計測して動き探索を制御する。また符号化前に予めマクロブロック毎に動き探索の優先順位を決定する。以下の例では，動き探索目標時間以内にすべてのマクロブロックに対して動き探索を実行できない場合に，強制終了する動作例を示す。
【０１００】
動作周波数５００ＭＨｚのＣＰＵを搭載したコンピュータ上で，画面の大きさがＣＩＦ（横３５２画素，縦２８８画素）の動画像をフレームレートが毎秒１０フレームで符号化する場合の動作を示す。
【０１０１】
動き探索方法には，第１の実施例に記載の方法Ａと方法Ｂを用意する。方法Ａの動き探索の命令数は１０００万で，方法Ｂの動き探索の命令数は５００万であるとする。ただし，第１の実施例と異なり，動き探索方法は，画面内のマクロブロックに対して適宜変更する。図８に第３の実施例における符号化方法の処理手順を示す。ここで，動き探索制御部３０６にて行う動き予測方法の選択フローを図９に示す。
【０１０２】
ブロック動き探索時間計測部３１２にて計測されたブロック毎の動き探索時間をフレーム単位で合計し，その合計したフレーム動き探索時間をｔｏｔａｌ＿ｍｅ＿ｔｉｍｅとし，動き探索目標時間をｔａｒｇｅｔ＿ｍｅ＿ｔｉｍｅとし，方法Ａと方法Ｂまでの命令数を時間に変換した値を，ｍｅ＿ｔｉｍｅ［ｉ］（ｉ＝１：方法Ａ，ｉ＝２：方法Ｂ）とする。動き探索をしたマクロブロック数ｃｏｕｎｔ＿ＭＢは，動き探索処理を行った回数をカウントすることにより計測するものとする。画面中のマクロブロック数をｔｏｔａｌ＿ＭＢとする。
【０１０３】
また，ブロック優先度検出部３１６では，画面内のエッジ画素を検出し，マクロブロック毎にエッジ画素数をカウントする。エッジは視覚的な品質を維持するのに重要であるため，画像の品質を向上するために重要である。そのため，エッジ画素を多く含むマクロブロックの符号化効率を向上しておく必要がある。探索ブロック決定部３１７では，エッジ画素数の多い順番にマクロブロックの番号を並べたリストを作成する。
【０１０４】
このような手順の構成における本実施例の動作を示す。まず，符号化開始前に目標時間設定部３０１にて，フレームレートが毎秒１０フレームであることから，符号化目標時間として１００ｍｓｅｃを設定する。また，動きパラメータ記憶部３０２にて，方法Ａと方法Ｂの処理命令数を記憶する。
【０１０５】
続いて，符号化を開始後のＪ番目のフレームの符号化手順を説明する。前提として，Ｊ−１番目のフレームにおける符号化時間計測部３０４において計測した符号化時間が９０ｍｓｅｃであったとする。また，ｔｏｔａｌ＿ｍｅ＿ｔｉｍｅは８０ｍｓｅｃであったとする。
【０１０６】
この状況において，まず動き探索時間設定部３０５にて，Ｊ番目のフレームに対する動き探索目標時間を求める。符号化時間が９０ｍｓｅｃであったことから，動き探索以外の処理の時間は，
９０ｍｓｅｃ−８０ｍｓｅｃ＝１０ｍｓｅｃ
と計算できる。次のフレームでの動き探索目標時間ｔａｒｇｅｔ＿ｍｅ＿ｔｉｍｅは，
１００ｍｓｅｃ−（動き探索以外の時間）＝１００ｍｓｅｃ−１０ｍｓｅｃ＝９０ｍｓｅｃ
と設定する。このため，最初のマクロブロックでは，動き探索方法Ａを選択する。
【０１０７】
画像入力部３０７にて１フレーム分の画像情報を取得する。ブロック優先度検出部３１６では，エッジ検出を行い，マクロブロック毎にエッジ画素数をカウントする。探索ブロック決定部３１７では，エッジ画素の多いマクロブロック順にマクロブロック番号を並べたリストを作成する。ここで作成したリストの例を，図１０に示す。ブロック動き探索部３０８では，図９の選択フローに従って動き探索方法を決定し，図１０のリストの順にマクロブロック単位に動き探索をする。
【０１０８】
動き方法の選択では，図９に示すようにｔｏｔａｌ＿ＭＢとｃｏｕｎｔ＿ＭＢとの差をｔｏｔａｌ＿ＭＢで割ったものとｍｅ＿ｔｉｍｅ［１］との積が，ｔａｒｇｅｔ＿ｍｅ＿ｔｉｍｅとｔｏｔａｌ＿ｍｅ＿ｔｉｍｅとの差より小さい場合に（ステップＳ３０），方法Ａを選択する。そうでない場合，ｔｏｔａｌ＿ＭＢとｃｏｕｎｔ＿ＭＢとの差をｔｏｔａｌ＿ＭＢで割ったものとｍｅ＿ｔｉｍｅ［２］との積を計算し，それが，ｔａｒｇｅｔ＿ｍｅ＿ｔｉｍｅとｔｏｔａｌ＿ｍｅ＿ｔｉｍｅとの差より小さい場合（ステップＳ３１），方法Ｂを選択する。それ以外の場合には，動き探索を中止する。
【０１０９】
マクロブロック番号２００番のマクロブロックを符号化した後で，フレーム動き探索時間が６９．９９９９９９９ｍｓｅｃとなったとすると，図９の選択フローに従って，図１０のリストに記載されているマクロブロックのうち，２００番より後のマクロブロックについては動き探索を行わない。動き探索を行わないマクロブロックの動きベクトルは０ベクトルとする。
【０１１０】
フレーム間予測符号化部３１０では，ブロック動き探索部３０８で求められた動きベクトルを用いてＪ番目のフレームの画像情報を符号化する。局所復号部３１１では，符号化データを復号する。符号化時間計測部３０４は，Ｊ番目のフレームの符号化時間を計測する。
【０１１１】
このように，マクロブロック単位に動き探索処理時間を計測することによって，フレーム途中で動き探索処理を終了することが可能である。また，フレーム途中で動き探索を終了する場合であっても，符号化する前に予め各マクロブロックを動き探索する順序を決めておくことにより，エッジ画素を多く含むマクロブロックの符号化効率を向上し，画像品質の劣化を軽減することが可能である。
【０１１２】
第４の実施例では，符号化前に予め，各動き探索方法に対する処理命令数と，各グローバル動き探索方法に対する処理命令数とを設定しておき，この値に従って，実時間で動画像を符号化する仕組みを述べる。ただし，第１の実施例と異なり，動き探索時間をマクロブロック単位に計測して動き探索を制御し，グローバル動き探索時間をマクロブロック単位に計測してグローバル動き探索を制御する。また，符号化前に予めマクロブロック毎に動き探索とグローバル動き探索の優先順位を決定する。以下の例では，ブロック動き探索部４０８において，ローカル動き探索目標時間以内にすべてのマクロブロックに対して動き探索を実行できない場合に，強制終了する動作例を示す。
【０１１３】
動作周波数５００ＭＨｚのＣＰＵを搭載したコンピュータ上で，画面の大きさがＣＩＦ（横３５２画素，縦２８８画素）の動画像をフレームレートが毎秒１０フレームで符号化する場合の動作を示す。
【０１１４】
動き探索方法には，第１の実施例と同じく方法Ａと方法Ｂを用意し，グローバル動き探索方法には，第１の実施例と同じく方法Ｄと方法Ｅを用意する。方法Ａの動き探索の命令数は１０００万で，方法Ｂの動き探索の命令数は５００万であるとする。方法Ｄを採用した場合のグローバル動き探索の命令数は３０００万で，方法Ｅを採用した場合のグローバル動き探索の命令数は１５００万であるとする。ただし，第１の実施例と異なり，動き探索方法とグローバル動き探索方法は，画面内のマクロブロックに対して適宜変更する。
【０１１５】
図１１に，第４の実施例における符号化方法の処理手順を示す。動き探索時間設定部４０５では，動き探索目標時間ｔａｒｇｅｔ＿ｍｅ＿ｔｉｍｅからローカル動き探索目標時間ｔａｒｇｅｔ＿ｌｏｃａｌ＿ｍｅ＿ｔｉｍｅとグローバル動き探索目標時間ｔａｒｇｅｔ＿ｇｌｏｂａｌ＿ｍｅ＿ｔｉｍｅを決定する。方法Ａと方法Ｂの命令数を時間に変換した値を，ｍｅ＿ｔｉｍｅ［ｉ］（ｉ＝１：方法Ａ，ｉ＝２：方法Ｂ）とし，方法Ｄと方法Ｅの命令数を時間に変換した値を，ｍｅ＿ｔｉｍｅ［ｉ］（ｉ＝４：方法Ｄ，ｉ＝５：方法Ｅ）とする。次の式に従って求める。
【０１１６】
ｔａｒｇｅｔ＿ｌｏｃａｌ＿ｍｅ＿ｔｉｍｅ＝ｔａｒｇｅｔ＿ｍｅ＿ｔｉｍｅ＊ｍｅ＿ｔｉｍｅ［１］／（ｍｅ＿ｔｉｍｅ［ｌ］＋ｍｅ＿ｔｉｍｅ［４］）
ｔａｒｇｅｔ＿ｇｌｏｂａｌ＿ｍｅ＿ｔｉｍｅ＝ｔａｒｇｅｔ＿ｍｅ＿ｔｉｍｅ−ｔａｒｇｅｔ＿ｌｏｃａｌ＿ｍｅ＿ｔｉｍｅ
動き探索制御部４０６における動き予測方法の選択フローを図１２に，グローバル動き予測方法の選択フローを図１３に示す。
【０１１７】
ブロック動き探索時間計測部４１２にて計測されたブロック毎の動き探索時間をフレーム単位で合計し，その合計したフレーム動き探索時間をｔｏｔａｌ＿ｌｏｃａｌ＿ｍｅ＿ｔｉｍｅとする。動き探索をしたマクロブロック数ｃｏｕｎｔ＿ＭＢは，動き探索処理を行った回数をカウントすることにより計測するものとする。画面中のマクロブロック数をｔｏｔａｌ＿ＭＢとする。
【０１１８】
グローバルブロック動き探索時間計測部４１９にて計測されたブロック毎の動き探索時間をフレーム単位で合計したフレームグローバル動き探索時間をｔｏｔａｌ＿ｇｌｏｂａｌ＿ｍｅ＿ｔｉｍｅとする。
【０１１９】
また，各フレームの画素の画像情報は０〜２５５までの値を取るものとし，ブロック優先度検出部４１６では，現フレームの原画像と前フレームの局所復号画像との間で同一位置の画素間の差分の絶対値を求め，差分絶対値が５０以上となる画素（ここでは動画素と呼ぶ）の数をマクロブロック毎に計測する。動画素が多いほど，そのマクロブロックは動領域と判定できる。探索ブロック決定部４１７では，動画素の数の多い順番にマクロブロックの番号を並べたリストを作成する。
【０１２０】
このような手順の構成における本実施例の動作を示す。まず，符号化開始前に目標時間設定部４０１にて，フレームレートが毎秒１０フレームであることから，符号化目標時間として１００ｍｓｅｃを設定する。また，動きパラメータ記憶部４０２にて，方法Ａと方法Ｂの処理命令数を記憶する。
【０１２１】
続いて，符号化を開始後のＪ番目のフレームの符号化手順を説明する。前提として，Ｊ−１番目のフレームにおける符号化時間計測部４０４において計測した符号化時間が１００ｍｓｅｃであったとする。また，ｔｏｔａｌ＿ｌｏｃａｌ＿ｍｅ＿ｔｉｍｅは２０ｍｓｅｃであり，ｔｏｔａｌ＿ｇ１ｏｂａｌ＿ｍｅ＿ｔｉｍｅは５０ｍｓｅｃであったとする。
【０１２２】
この状況において，まず動き探索時間設定部４０５にて，Ｊ番目のフレームに対する動き探索目標時間を求める。符号化時間が１００ｍｓｅｃであったことから，動き探索以外の処理の時間は，
１００ｍｓｅｃ−２０ｍｓｅｃ−５０ｍｓｅｃ＝３０ｍｓｅｃ
と計算できる。次のフレームでの動き探索目標時間ｔａｒｇｅｔ＿ｍｅ＿ｔｉｍｅは，
１００ｍｓｅｃ−（動き探索以外の時間）＝１００ｍｓｅｃ−３０ｍｓｅｃ＝７０ｍｓｅｃ
と設定する。これから，ローカル動き探索目標時間ｔａｒｇｅｔ＿ｌｏｃａｌ＿ｍｅ＿ｔｉｍｅとグローバル動き探索目標時間ｔａｒｇｅｔ＿ｇｌｏｂａｌ＿ｍｅ＿ｔｉｍｅとを求める。
【０１２３】

画像入力部４０７にて１フレーム分の画像情報を取得する。ブロック優先度検出部４１６では，現フレームの原画像と前フレームの局所復号画像との間の絶対値差分を求め，動画素の数をマクロブロック毎にカウントする。探索ブロック決定部４１７では，動画素数の多いマクロブロック順にマクロブロック番号を並べたリストを作成する。ここで作成したリストは図１０と同じとする。
【０１２４】
ブロック動き探索部４０８では，図１２の選択フローに従って動き探索方法を決定し，図１０のリストの順にマクロブロック単位に動き探索をする。マクロブロック番号１００番のマクロブロックを符号化した後で，フレーム動き探索時間が１７．４９９９９９９９ｍｓｅｃとなったとすると，図１２の選択フローに従って図１０のリストに記載されているマクロブロックのうち，１００番より後のマクロブロックについては動き探索を行わない。動き探索を行わないマクロブロックの動きベクトルは０ベクトルとする。
【０１２５】
グローバルブロック動き探索部４０９では，図１３の選択フローに従ってグローバル動き探索方法を決定し，図１０のリストの順にマクロブロック単位に動き探索をする。マクロブロック番号５０番のマクロブロックを符号化した後で，フレームグローバル動き探索時間が５２．４９９９９９９９ｍｓｅｃとなったとすると，図１３の選択フローに従って図１０のリストに記載されているマクロブロックのうち，５０番より後のマクロブロックについては動き探索を行わない。動き探索を行わないマクロブロックの動きベクトルは０ベクトルとする。これらのマクロブロック単位の動きベクトルのうち，最もマクロブロック数の多い動きベクトルをグローバル動きベクトルとする。
【０１２６】
フレーム間予測符号化部４１０では，ブロック動き探索部４０８で求められた動きベクトルとグローバルブロック動き探索部４０９で求められたグローバル動きベクトルを用いて，Ｊ番目のフレームの画像情報を符号化する。局所復号部４１１では，符号化データを復号する。符号化時間計測部４０４は，Ｊ番目のフレームの符号化時間を計測する。
【０１２７】
このように，動き探索目標時間からローカル動き探索目標時間とグローバル動き探索目標時間を設定し，マクロブロック単位に動き探索処理時間やグローバル動き探索処理時間を計測することによって，フレーム途中で動き探索処理やグローバル動き探索処理時間を終了することが可能である。
【０１２８】
また，すべてのマクロブロックに対してブロック動き探索部４０８が，予め設定したローカル動き探索目標時間以内に終了した場合には，余った時間をグローバル動き探索目標時間に加算することも好適である。例えば，ブロック動き探索時間計測部４１２で計測されたフレーム動き探索時間が９ｍｓｅｃでブロック動き探索部４０８を終了した場合，グローバル動き探索目標時間ｔａｒｇｅｔ＿ｇｌｏｂａｌ＿ｍｅ＿ｔｉｍｅを
５２．５ｍｓｅｃ＋（１７．５ｍｓｅｃ−９ｍｓｅｃ）＝６１ｍｓｅｃ
に設定する。この値に従って図１３の選択フローに従ってグローバル動き探索方法を決定する。この場合は最初のマクロブロックに対して方法Ｄが選択される。その後，図１１の手順に従って符号化する。
【０１２９】
このように，ブロック動き探索処理が目標よりも早く終了した場合には，グローバル動き探索目標時間を再度決定することにより，予測誤差のより少ないグローバル動きベクトルを求めることができる。
【０１３０】
なお，図１２の動き探索の選択フローおよび図１３のグローバル動き探索の選択フローに示す選択アルゴリズムは，前述した図９の例と同様であるので，各ステップごとの詳細な説明は省略する。
【０１３１】
【発明の効果】
本発明によれば，符号化前に予め，各動き探索方法に対する処理命令数と，各グローバル動き探索方法に対する処理命令数を設定しておき，この値に従って動き探索処理やグローバル動き探索処理を変更することにより，実時間で動画像を符号化できる。すなわち，パーソナルコンピュータで符号化する場合のように，他のプログラムが実行される間に符号化処理が停止したり，機種によりＣＰＵの処理速度が異なるため，同一のプログラムでも実行環境により処理時間が異なるような場合にも，動きベクトル探索に要する時間を調節して，実時間で動画像を符号化することができるようになる。
【図面の簡単な説明】
【図１】マクロブロックと探索範囲の関係を示す図である。
【図２】画素の選択方法の例を示す図である。
【図３】探索位置を２画素ずつずらす例を説明する図である。
【図４】第１の実施例の手順を説明する図である。
【図５】第１の実施例における動き探索の選択フローである。
【図６】第２の実施例の手順を説明する図である。
【図７】第２の実施例におけるグローバル動き探索の選択フローである。
【図８】第３の実施例の手順を説明する図である。
【図９】第３の実施例における動き探索の選択フローである。
【図１０】動き探索をするマクロブロックの順序の例を示す図である。
【図１１】第４の実施例の手順を説明する図である。
【図１２】第４の実施例における動き探索の選択フローである。
【図１３】第４の実施例におけるグローバル動き探索の選択フローである。
【符号の説明】
１０１目標時間設定部
１０２動きパラメータ記憶部
１０３グローバル動きパラメータ記憶部
１０４符号化時間計測部
１０５動き探索時間設定部
１０６動き探索制御部
１０７画像入力部
１０８動き探索部
１０９グローバル動き探索部
１１０フレーム間予測符号化部
１１１局所復号部[0001]
[Technical field to which the invention belongs]
The present invention relates to a moving image coding technique, and in particular, a moving image can be coded in real time by switching search accuracy even when the coding processing time varies depending on the execution environment of the coding processing. The present invention relates to a processing time adaptive image coding method.
[0002]
[Prior art]
In moving picture coding, a motion compensation interframe predictive coding method is generally used to improve coding efficiency. This method calculates the difference in image information (referred to as prediction error) between corresponding pixels between the original image of the current frame and a reference image created from a decoded image of another frame encoded before that. Encode. There are two methods for creating a reference image: a method using past and future frames and a method using affine transformation of past and future frames.
[0003]
In encoding the prediction error, first, frequency conversion such as discrete cosine transform (DCT) is performed on the prediction error, the coefficient is quantized, and then variable length coding is performed. If the prediction error at the translated position is smaller than the prediction error between pixels at the same position in the screen, the prediction error at the translated position is encoded in order to improve encoding efficiency. The translation amount is encoded as a motion vector.
[0004]
In general, the screen is divided into small areas, for example, macroblocks of 16 pixels vertically and horizontally, and a motion vector is set for each small area. For example, a pixel at a position that is similarly translated by a motion vector with respect to the pixels in the macroblock is set, and a prediction error between these pixels is DCTed. In addition, there is a method in which the same motion vector is not set for each pixel in the small area, but the translation amount of each pixel is obtained by calculation using the motion vector of the adjacent small area.
[0005]
Reference: G.J. Sullivan and R.L. Baker: "Motion Compensation for video compression using control grid interpolation", IEEE ICA SSP '91, pp. 2713-2716, 1991.
[0006]
Further, when the translation amount is not an integer, there is no pixel at the corresponding position in the reference image, and therefore, it is obtained by calculation from image information of peripheral pixels of the reference image.
[0007]
This process of obtaining the parallel movement amount is called “motion search”. In general, the screen is divided into macroblocks of 16 pixels vertically and horizontally, and a motion vector is obtained for each macroblock. As the evaluation function of the prediction error for all the pixels in the macroblock, the sum or variance of the absolute value differences of the image information of all the pixels in the macroblock is used. When a motion vector at a position where these values are small is selected, the encoding efficiency of the prediction error is increased. Therefore, a position where these values are the smallest is obtained.
[0008]
Further, since the motion vector candidates increase as the search range is increased, a motion vector with high coding efficiency can be obtained. Video coding method In H.263, the search range is shifted by a maximum of 16 pixels in the vertical and horizontal directions due to restrictions on the expression of the motion vector. This is shown in FIG. The absolute value difference sum and variance are calculated while shifting the search range one pixel at a time, and the position where these values are minimized is obtained.
[0009]
However, the larger the search range, the greater the amount of computation for motion search. Various methods are used to reduce the calculation amount of motion search. Three examples are given below.
[0010]
[Method 1]: The number of pixels for calculating the sum of absolute difference and variance is reduced. For example, calculation is performed with 64 pixels out of 16 pixels vertically and horizontally (total 256 pixels) in the macroblock. An example in which 64 pixels are selected in the macroblock is shown in FIG. In FIG. 2, if a pixel indicated by a black circle is selected, 64 pixels are calculated.
[0011]
[Method 2]: The position where the absolute value difference sum and variance are calculated within the search range is reduced. For example, the search is performed while shifting by two pixels. FIG. 3 shows a state of searching while shifting by two pixels.
[0012]
[Method 3]: Tree search. For example, a predetermined search position candidate is determined in advance, and only the vicinity of the position is searched.
[0013]
In addition, as one of motion compensation interframe predictive coding methods, a global motion compensation method that measures the motion of the entire screen such as camera panning, creates a reference image by affine transformation of the entire screen, and obtains a prediction error. There is. The affine transformation parameters at this time are called global motion vectors, and the process for obtaining the global motion vectors is called global motion search. In the video encoding method MPEG-4, it is possible to combine global motion compensation and motion compensation not using affine transformation. For example, global motion compensation and motion compensation that does not use affine transformation can be selected for each macroblock. By selecting the higher encoding efficiency, the encoding efficiency of the entire frame can be improved.
[0014]
In global motion search, there is a method of affine transformation of the entire screen and determining an affine transformation parameter that minimizes the prediction error of the entire screen, but there is also a method of using the result of motion search for each macroblock. In this case, an affine transformation parameter is determined from the position in the screen of each macroblock and the motion vector, and is used as a global motion vector. As the motion search range is increased, a global motion vector having a smaller prediction error is obtained. Conversely, as the range increases, the amount of calculation increases.
[0015]
[Problems to be solved by the invention]
As described above, increasing the search range for motion search increases the amount of computation. For this reason, when the purpose is to encode a moving image in real time, if the amount of calculation becomes large, the encoding is not in time, and there is a problem that encoded data at the target encoding speed cannot be obtained. In particular, if the purpose is to output encoded data at a fixed frame rate, the fixed frame rate cannot be maintained when one frame cannot be encoded in real time.
[0016]
When moving picture encoding is executed by hardware, the calculation processing speed in hardware is determined one-to-one for one calculation instruction. Therefore, if the hardware processing speed is designed in advance so that encoding can be executed even when the amount of calculation becomes maximum, there will be no problem that encoding cannot be made in time.
[0017]
On the other hand, when executed by software, the calculation processing speed depends on the machine, so the actual calculation processing speed is not determined one-to-one for one calculation instruction. Therefore, there is a problem that encoding is not in time when executed on a machine with a low arithmetic processing speed. In addition, other programs may be executed on the same machine, such as a personal computer (PC). In this case, if another program is executed during the moving image encoding, the machine computation process is divided into the program, so that the encoding cannot be executed, resulting in a decrease in the encoding speed. To do. As described above, there is a problem that a time during which the arithmetic processing for encoding is not executed occurs during encoding.
[0018]
[Means for Solving the Problems]
The calculation processing speed of a machine such as a personal computer is determined depending on the CPU access speed to the cache, the memory access speed, etc., but the processing of the CPU that mainly executes the calculation instructions in the program. Depends on speed. Further, since it is the CPU that actually performs the calculation, the number of times the CPU processes instructions for one calculation instruction becomes the calculation processing speed of the machine. That is, the result of dividing the CPU instruction processing count for one arithmetic instruction by the CPU operating frequency is the processing time of one arithmetic instruction on the machine. Therefore, for example, in order to obtain the processing time for encoding one frame, it is only necessary to measure the number of CPU instruction processing during encoding and divide it by the CPU operating frequency. Similarly, the processing time for executing the motion search process can be obtained by measuring the number of instruction processes of the CPU while it is being performed.
[0019]
In this way, the processing time can be measured from the number of instruction processes of the CPU. In addition, the number of instruction processes necessary for the encoding process that should be originally executed by the CPU depends only on the program configuration. Therefore, for example, in the case of processing where the number of processing instructions necessary for encoding one frame, such as motion search processing, is fixed, it is possible to obtain the required number of instruction processings in advance before execution. In the prediction error encoding, the number of processing instructions varies depending on the number of DCT operations for each frame.
[0020]
However, as described in the above problem, another program may be executed during encoding. Since the CPU operates in a time-sharing manner, the CPU does not perform an encoding process while another program is being executed. Accordingly, the number of CPU instruction processes during encoding includes instructions for executing other programs. This causes a decrease in encoding speed if another program is executed during encoding.
[0021]
In order to solve the above problems, the present invention is characterized in that the number of processing instructions required for motion vector search or global motion vector search is changed by switching search accuracy. Specifically, the following method is used.
[0022]
In a first aspect of the present invention, in a moving picture coding method in which a motion search is performed by an arithmetic unit and a moving picture is coded using a motion compensated inter-frame predictive coding method, 1 is calculated from a predetermined frame rate before coding. Set the encoding target time, which is the time to encode the frame, and store the motion search instruction number information, which is the number of motion search processing instructions executed by the computing unit, for the motion search method set in advance before encoding. In order to measure the encoding time of each frame at the time of encoding and to perform a motion search for the next frame from the set encoding target time and the measured encoding time after the end of one frame encoding. The motion search target time is set, the motion search method is determined from the motion search target time according to the stored motion search command number information, and the motion search processing is controlled.
In the setting of the motion search target time, after one frame encoding is completed, the processing time other than the motion search is estimated from the measured encoding time and the stored motion search command number information, and one frame is determined. To subtract the time for processing other than motion search from the encoding target time of the previous frame, and to subtract the delay time when the previous frame is encoded, to perform the motion search for the next frame Set as the motion search target time. In the invention described below, the delay time is similarly taken into consideration, and when a delay occurs in the encoding of the previous frame, the delay time is subtracted from the motion search target time.
[0023]
Here, the motion search instruction number information may be information substantially corresponding to the number of instructions, and may be information such as a value converted into time, for example. The same applies to the invention described below.
[0024]
According to the first aspect of the present invention, the number of motion search processing instructions to be executed by the arithmetic unit is obtained for each motion search method set in advance before encoding, so when the motion search time is set. The motion search method can be determined by obtaining the number of processing instructions executed at that time.
[0025]
For example, assume that the following two types of motion search are set in advance.
[0026]
[Method A]: An absolute value difference sum is obtained for all pixels in the macroblock. The absolute value difference sum is obtained by shifting one pixel at a time within the search range, and the parallel movement amount at the position where the absolute value difference sum is the smallest is taken as the motion vector.
[0027]
[Method B]: An absolute value difference sum is obtained for all the pixels in the macroblock. The absolute value difference sum is obtained by shifting two pixels at a time within the search range, and the parallel movement amount at the position where the absolute value difference sum is the smallest is taken as the motion vector.
[0028]
Prior to encoding, when motion search is performed in advance using method A and method B, the number of instructions to be executed by the computing unit is obtained. As a result, it is assumed that method A has 10 instructions and method B has 5 instructions. Thereafter, it is assumed that a motion search time is set when encoding is performed by an encoder equipped with an arithmetic unit, and this is equivalent to seven instructions by the arithmetic unit. In this case, method A cannot complete the motion search within 7 instructions, but method B can complete it within 7 instructions. Therefore, if method B is selected and motion search is executed, encoding can be performed in real time.
[0029]
According to the second aspect of the present invention, in a moving picture coding method in which a motion search is performed by an arithmetic unit and a moving picture is coded using a motion compensated inter-frame predictive coding method, 1 is calculated from a predetermined frame rate before coding. Set the encoding target time, which is the time to encode the frame, and store the motion search instruction number information, which is the number of motion search processing instructions executed by the computing unit, for the motion search method set in advance before encoding. In order to measure the encoding time of each frame at the time of encoding and to perform a motion search for the next frame from the set encoding target time and the measured encoding time after the end of one frame encoding. The motion search target time is set, the motion search method is determined from the motion search target time according to the stored motion search command number information, the motion search process is controlled, and the motion search process execution time is calculated. And, from actually measured motion search time, and updates the motion search instruction number information that has been said memory.
[0030]
According to the second invention, the number of motion search processing instructions set in advance in the first invention before encoding is updated with the number of instructions processed by the encoder that actually executes the motion search. be able to. This method is suitable when an accurate number of processing instructions cannot be obtained in advance before encoding. For example, when an encoder is configured by combining arithmetic units with different processing speeds, the overall processing speed of the encoder is not known, but the processing time required for motion search by actually encoding several frames is not known. The number of instructions can be obtained. In addition, when the encoding process is performed by a general-purpose arithmetic unit such as a CPU, since other programs may regularly use the CPU, the processing time required for the actual encoding is not known. However, according to the present invention, it is possible to obtain the number of instructions by actually obtaining the processing time required for motion search by encoding.
[0031]
According to a third aspect of the present invention, there is provided a moving picture coding method in which a motion search and a global motion search are performed by an arithmetic unit and a moving picture is coded using a motion compensated interframe predictive coding method. A motion search instruction that is the number of motion search processing instructions executed by a computing unit is set for a motion search method that is set in advance before encoding by setting an encoding target time that is a time for encoding one frame from the frame rate. Number information is stored, and global motion search instruction number information, which is the number of motion search processing instructions executed by the arithmetic unit, is stored for the global motion search method set in advance before encoding. The encoding time of each frame is measured at the time of encoding, and after the completion of one frame encoding, the motion search for the next frame and the global are calculated from the set encoding target time and the measured encoding time. The motion search target time is set for performing the search, and the motion search method and the global motion search method are determined from the motion search target time according to the stored motion search command number information and global motion search command number information. And control motion search processing and global motion search processing.
[0032]
According to the third invention, when performing global motion search in addition to motion search, the motion search method and the global motion search are performed so that the motion search can be executed within the target time as in the first invention. The method can be determined.
[0033]
According to a fourth aspect of the present invention, there is provided a moving picture coding method in which a motion search and a global motion search are performed by an arithmetic unit and a moving picture is coded using a motion compensation interframe predictive coding method. A motion search instruction that is the number of motion search processing instructions executed by a computing unit is set for a motion search method that is set in advance before encoding by setting an encoding target time that is a time for encoding one frame from the frame rate. Number information is stored, and global motion search instruction number information, which is the number of motion search processing instructions executed by the arithmetic unit, is stored for the global motion search method set in advance before encoding. The encoding time of each frame is measured at the time of encoding, and after the completion of one frame encoding, the motion search for the next frame and the global are calculated from the set encoding target time and the measured encoding time. A motion search target time is set for performing a search, and a motion search method and a global motion search method are determined according to the stored motion search command number information and global motion search command number information from the motion search target time. Control the motion search process and the global motion search process, measure the execution time of the motion search process, and update the stored motion search instruction number information from the actually measured motion search time. In addition, the execution time of the global motion search process is measured, and the stored global motion search command number information is updated from the actually measured global motion search time.
[0034]
According to the fourth aspect of the invention, when performing global motion search in addition to motion search, as in the case of the second aspect, encoding is actually performed to obtain a processing time required for the motion search, which is necessary for the motion search. The number of instructions can be obtained.
[0035]
According to a fifth aspect of the present invention, in the moving picture coding method, block motion search is performed for each area obtained by dividing the screen by a computing unit, and a moving picture is coded using a motion compensated interframe predictive coding method. Sets the encoding target time, which is the time for encoding one frame from a predetermined frame rate, and the number of motion search processing instructions to be executed by the arithmetic unit for the motion search method set in advance before encoding The motion search command number information is stored, the encoding time of each frame is measured at the time of encoding, and after the completion of 1 frame encoding, from the set encoding target time and the measured encoding time, The motion search target time for performing the motion search of the next frame is set, the motion search time for each area executed in the block motion search process is measured, and the motion search time for each measured block is set as the frame search time. Determine the frame motion search time and total beam units, according to the motion search instruction number information that has been said storage, controls the motion search to determine the motion search method from the motion search target time and the frame motion search time.
[0036]
According to the fifth aspect of the present invention, it is possible to measure a motion search time by executing a motion search for each region, and compare the total value of the time with a motion search target time. This is suitable when the number of motion search commands actually processed by the encoder during encoding is different from the number of motion search processing commands set in advance before encoding. For example, when the total value of motion search times becomes larger than the target time, the motion search for that frame can be forcibly terminated. As a region, a macroblock or a slice that is a set of macroblocks can be applied. For a region that could not be searched when forcibly terminated, a zero vector (still), a motion vector at the same position in the previous frame, or a motion vector in the surrounding region can be used as the motion vector of that region.
[0037]
According to a sixth aspect of the present invention, there is provided a moving picture coding method in which block motion search and global motion search are performed for each region obtained by dividing the screen by a computing unit, and a moving picture is coded using a motion compensation interframe predictive coding method. , Set a coding target time, which is a time for coding one frame from a predetermined frame rate before coding, and perform motion search to be executed by an arithmetic unit for a motion search method set in advance before coding The number of motion search instruction number information is stored, and the global motion search instruction is the number of motion search process instructions to be executed by the arithmetic unit in accordance with the global motion search method set in advance before encoding. Number information is stored, the encoding time of each frame is measured at the time of encoding, and after one frame encoding is completed, from the set encoding target time and the measured encoding time, A local motion search target time that is a motion search target time for performing frame motion search and a global motion search target time that is a motion search target time for performing global motion search are set and executed in block motion search processing. The motion search time for each area is measured, and the motion search time for each block is obtained by summing the measured motion search times for each block, and the motion search time for each area executed in the global block motion search process is calculated. The frame global motion search time obtained by measuring and summing the measured motion search times for each block in units of frames is obtained, and the local motion search target time and the frame motion search time are determined according to the stored motion search command number information. The motion search method is determined from the above to control the motion search process, and the stored global Accordance with the motion search command number information, determines a global motion estimation method and a global motion search target time frame global motion search time, controls the global motion search.
[0038]
According to the sixth invention, when performing global motion search in addition to motion search, as in the fifth invention, for example, motion search or global motion actually processed by the encoder during encoding is performed. When the total number of motion search time and global motion search is greater than the target time when the number of search commands is different from the number of motion search or global motion search processing commands set in advance before encoding Can forcibly terminate the motion search or global motion search for that frame.
[0039]
According to a seventh aspect of the present invention, in the moving picture coding method, block motion search is performed for each region obtained by dividing the screen by a computing unit, and a moving picture is coded using a motion compensated interframe predictive coding method. Sets the encoding target time, which is the time for encoding one frame from a predetermined frame rate, and the number of motion search processing instructions to be executed by the arithmetic unit for the motion search method set in advance before encoding The motion search command number information is stored, the image statistical information of each area in the screen is detected from the image information of the input image, the order of the areas to be searched for motion is determined from the detected image statistical information, Measure the encoding time of one frame, and set the motion search target time for performing the motion search of the next frame from the set encoding target time and the measured encoding time after the end of encoding of one frame , The motion search time for each area executed in the block motion search process is measured, the motion search time for each block is calculated to obtain the frame motion search time for each frame, and the stored motion search command According to the numerical information, the motion search method is determined from the motion search target time and the frame motion search time, and the motion search process is controlled.
[0040]
According to the seventh invention, when the motion search is terminated in the middle of the frame as in the fifth invention, the motion search order is set in advance for each area before the motion search is performed. Is possible. For example, before the motion search is performed, it is possible to measure whether each area in the screen is a moving area and to perform a motion search process prior to the stationary area. In the motion search of the area that was determined to be a stationary area before the motion search, the total value of the motion search time becomes larger than the target time, and even if the motion search for that frame is forcibly terminated, The motion vector of the region can be a zero vector. As a result, it is possible to reduce a decrease in encoding efficiency after the motion vector is actually obtained.
[0041]
According to an eighth aspect of the present invention, there is provided a moving picture coding method in which a block motion search and a global motion search are performed for each region obtained by dividing the screen by a computing unit, and a moving picture is coded using a motion compensation interframe prediction coding method. , Set a coding target time, which is a time for coding one frame from a predetermined frame rate before coding, and perform motion search to be executed by an arithmetic unit for a motion search method set in advance before coding The number of motion search instruction number information is stored, and the global motion search instruction is the number of motion search process instructions to be executed by the arithmetic unit in accordance with the global motion search method set in advance before encoding. Number information is stored, image statistical information of each area in the screen is detected from the image information of the input image, and the order of the areas to be searched for motion is determined from the detected image statistical information. Is a motion search target time for performing a motion search for the next frame from the set encoding target time and the measured encoding time after one frame encoding is completed. A local motion search target time and a global motion search target time that is a motion search target time for performing a global motion search are set, and a motion search time for each area executed in the block motion search process is measured and measured. The frame motion search time obtained by summing the motion search time for each block in units of frames is obtained, the motion search time for each area executed in the global block motion search process is measured, and the motion search time for each measured block is calculated in units of frames. The total frame global motion search time is obtained, and local motion search is performed according to the stored motion search command number information. The motion search method is determined from the target time and the frame motion search time, the motion search process is controlled, and the global motion search target time and the frame global motion search time are globally determined according to the stored global motion search command number information. Determines the motion search method and controls the global motion search process.
[0042]
According to the eighth aspect, as in the seventh aspect, the motion search is forcibly terminated in the middle of the frame by setting the order of the motion search for each region in advance before performing the motion search. The reduction in encoding efficiency can be reduced. In addition, before performing motion search, determine whether to perform motion search for each region in advance, perform motion search only in that region during encoding, and increase the time allocated for global motion search It is possible. For example, before performing a motion search, it is determined in advance whether each region is a moving region or a stationary region, the motion search is performed only for the moving region, and the motion search is not performed for the still region. As a result, the time for motion search in the still region can be allocated to global motion search.
[0043]
A software program for realizing the above processing method by a computer can be stored in an appropriate recording medium such as a portable medium memory, a semiconductor memory, or a hard disk that can be read by the computer.
[0044]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0045]
In the first embodiment, the number of processing instructions for each motion search method and the number of processing instructions for each global motion search method are set in advance before encoding, and a moving image is encoded in real time according to this value. Describe the mechanism to do.
[0046]
An operation when a moving image having a screen size of CIF (horizontal 352 pixels, vertical 288 pixels) is encoded at a frame rate of 10 frames per second on a computer equipped with a CPU having an operating frequency of 500 MHz will be described.
[0047]
The following method A, method B, and method C are prepared as motion search methods. Apply the same method to all macroblocks in the screen.
[0048]
[Method A]: An absolute value difference sum is obtained for all pixels in the macroblock. The search range is 16 pixels vertically and 16 pixels horizontally. The absolute value difference sum is obtained by shifting one pixel at a time within the search range, and the parallel movement amount at the position where the absolute value difference sum is the smallest is taken as the motion vector.
[0049]
[Method B]: An absolute value difference sum is obtained for all the pixels in the macroblock. The search range is 16 pixels vertically and 16 pixels horizontally. The absolute value difference sum is obtained by shifting two pixels at a time within the search range, and the parallel movement amount at the position where the absolute value difference sum is the smallest is taken as the motion vector.
[0050]
[Method C]: The motion vectors of all macroblocks are set to 0 vectors.
[0051]
It is assumed that the number of motion search instructions in method A is 10 million, the number of motion search instructions in method B is 5 million, and the number of instructions in method C is 10,000.
[0052]
As a global motion search method, the screen is first divided into blocks each having 8 pixels in the vertical direction and 8 pixels in the horizontal direction, and the motion search is performed in units of the blocks. After the motion search for all blocks is completed, the number of blocks for the motion vector is totaled, and the motion vector with the largest number of blocks is defined as the global motion vector. The following method D, method E, and method F are prepared for the block-by-block motion search. Apply the same method to all blocks in the screen.
[0053]
[Method D]: An absolute value difference sum is obtained for all the pixels in the block. The search range is 32 pixels vertically and 32 pixels horizontally. The absolute value difference sum is obtained by shifting one pixel at a time within the search range, and the parallel movement amount at the position where the absolute value difference sum is the smallest is taken as the motion vector.
[0054]
[Method E]: An absolute value difference sum is obtained for all the pixels in the block. The search range is 32 pixels vertically and 32 pixels horizontally. The absolute value difference sum is obtained by even every two pixels within the search range, and the parallel movement amount at the position where the absolute value difference sum is the smallest is taken as the motion vector.
[0055]
[Method F]: The motion vectors of all blocks are set to 0 vectors.
[0056]
The number of global motion search instructions when Method D is adopted is 30 million, the number of global motion search instructions when Method E is adopted is 15 million, and the number of global motion search instructions when Method F is adopted is Suppose that it is 10,000.
[0057]
FIG. 4 shows a processing procedure of the encoding method in the first embodiment. Note that the “part” described in each block shown in FIG. 4 can be read as “procedure”. The same applies to the other embodiments.
[0058]
In the motion search control unit (motion search control procedure) 106 in FIG. 4, any one of preset method A, method B, or method C, or any of method D, method E, or method F is selected. Select.
[0059]
The flow to select is shown in FIG. The motion search target time is set to target_me_time, and the value obtained by converting the number of instructions from method A to method F into time is me_time [i] (i = 1: method A, i = 2: method B, i = 3: method C). , 1 = 4: Method D, i = 5: Method E, i = 6: Method F). Make the following selections:
[0060]
When the sum of me_time [1] and me_time [4] is smaller than the motion search target time (target_me_time), method A and method D are selected (step S10).
[0061]
When the sum of me_time [1] and me_time [5] is smaller than the motion search target time (target_me_time), method A and method E are selected (step S11).
[0062]
When the sum of me_time [1] and me_time [6] is smaller than the motion search target time (target_me_time), method A and method F are selected (step S12).
[0063]
When the sum of me_time [2] and me_time [6] is smaller than the motion search target time (target_me_time), the method B and the method F are selected (step S13).
[0064]
When the sum of me_time [3] and me_time [6] is smaller than the motion search target time (target_me_time), the method C and the method F are selected (step S14).
[0065]
As described above, when any combination is selected, the motion search and the global motion search are selected to be processed within the motion search target time. If Method C and Method F are selected and the motion search target time is not reached (NO in Step S14), encoding of the next frame is started without encoding the frame. In this case, an encoding target time for encoding one frame is added to the motion search target time.
[0066]
First, since the frame rate is 10 frames per second in the target time setting unit 101 before the start of encoding, 100 msec is set as the encoding target time. The motion parameter storage unit 102 stores the number of processing instructions from method A to method C, and the global motion parameter storage unit 103 stores the number of processing instructions from method D to method F.
[0067]
In this embodiment, the actual time corresponding to the number of processing instructions is as follows.
[0068]

Next, the encoding procedure for the Jth and J + 1th frames after the start of encoding will be described. Assume that encoding is not in time for the encoding target time in the (J-1) th frame, and encoding is in time for the encoding target time in the Jth frame. It is assumed that the encoding time measured by the encoding time measuring unit 104 is 110 msec using the method A for motion search and the method D for global motion search for the J-1th frame. That is, a delay of 10 msec occurs.
[0069]
In this situation, first, the motion search time setting unit 105 obtains the motion search target time for the J-th frame. Since the encoding time using method A and method D was 110 msec, the processing time other than motion search is
110 msec- (time of method A + time of method D) = 110 msec- (20 msec + 60 msec) = 30 msec
Can be calculated.
[0070]
Based on the recovery from the 10 msec delay in the next frame, the motion search target time target_me_time is:
100 msec-(delay time)-(time other than motion search) = 100 msec-10 msec-30 msec = 60 msec
And set. The motion search control unit 106 selects the method A and the method E according to the selection flow in FIG.
[0071]
The image input unit 107 acquires image information for one frame. The motion search unit 108 performs motion search by the method A, and the global motion search unit 109 performs global motion search by the method E. The inter-frame predictive encoding unit 110 encodes the image information of the Jth frame using the motion vector obtained by the motion search unit 108 and the global motion vector obtained by the global motion search unit 109. The local decoding unit 111 decodes the encoded data. The encoding time measuring unit 104 measures the encoding time of the Jth frame. Assume that the encoding time is 55 msec.
[0072]
In this case, the 10 msec delay generated in the (J-1) th frame is eliminated, and the encoding is performed in real time. As described above, even when the previous frame cannot be encoded in real time, the delay can be eliminated in the next frame by adjusting the motion search time of the next frame.
[0073]
Subsequently, the motion search time setting unit 105 obtains a motion search target time for the J + 1th frame. Since the encoding time using method A and method E was 55 msec, the processing time other than motion search is
55 msec- (time of method A + time of method E) = 50 msec- (20 msec + 30 msec) = 5 msec
Can be calculated. Therefore, the motion search target time target_me_time is:
100 msec- (time other than motion search) = 100 msec-5 msec = 95 msec
And set. The motion search control unit 106 selects the method A and the method D according to the selection flow in FIG.
[0074]
The image input unit 107 acquires image information for one frame. The motion search unit 108 performs motion search by the method A, and the global motion search unit 109 performs global motion search by the method D. The inter-frame predictive encoding unit 110 encodes the image information of the Jth frame using the motion vector obtained by the motion search unit 108 and the global motion vector obtained by the global motion search unit 109. The local decoding unit 111 decodes the encoded data. The encoding time measuring unit 104 measures the encoding time of the J + 1th frame.
[0075]
Thus, when the encoding time of the previous frame is within the encoding target time, it is possible to increase the encoding efficiency over the previous frame by increasing the motion search processing time of the next frame. .
[0076]
As in the first embodiment, the number of processing instructions for each motion search method and the number of processing instructions for each global motion search method are set in advance before encoding, and motion search processing and global motion search are performed according to these values. By changing the processing, the moving image can be encoded in real time.
[0077]
In the first embodiment, as a method for changing the number of motion vector search and global motion search processing instructions, a method of shifting one pixel at a time within the search range (method A and method D), and two pixels at a time within the search range. The method of shifting (method B and method E) and the method of calculating only when the motion vector is 0 vector (method C and method F) have been shown, but the number of processing instructions can be further reduced by shifting the number of pixels by 3 pixels or more. It is also possible to do. In addition, although the motion vector search range is 16 pixels vertically and 16 pixels horizontally, and the global motion search search region is 32 pixels vertically and 32 pixels horizontally, the number of processing instructions can be increased by expanding or reducing the search range. It is also possible to change. The same applies to the second to fourth embodiments described below.
[0078]
Further, in the case where the global motion search is not used, in the first embodiment shown in FIG. 4, it will be described that the procedure of the global motion parameter storage unit 103 and the global motion search unit 109 is omitted. Nor. The same applies to other embodiments described below.
[0079]
In the second embodiment, the number of processing instructions for each motion search method and the number of processing instructions for each global motion search method are set in advance before encoding, and the moving image is encoded according to this value. A mechanism for changing the number of processing instructions along the way will be described.
[0080]
An operation when a moving image having a screen size of CIF (horizontal 352 pixels, vertical 288 pixels) is encoded at a frame rate of 10 frames per second on a computer equipped with a CPU having an operating frequency of 500 MHz will be described.
[0081]
The method A, method B, and method C are prepared for the motion search method as in the first embodiment, and the method D, method E, and method F are prepared for the global motion search method as in the first embodiment. . The motion search method and the global motion search method all apply the same method to macroblocks in the screen.
[0082]
FIG. 6 shows the processing procedure of the encoding method in the second embodiment. Here, in the motion search control unit 206, the selection flow of the motion prediction method and the global motion search method is the same as that in the first embodiment shown in FIG.
[0083]
The encoding procedure for the Jth and J + 1th frames after the start of encoding will be described. In the J-1th frame, encoding is not in time for the encoding target time, and in the Jth frame, encoding is in time for the encoding target time. As a premise, it is assumed that the encoding time measured by the encoding time measuring unit 204 using the method A for the motion search and the method D for the global motion search is 120 msec for the J-1th frame. That is, a delay of 20 msec occurs.
[0084]
The motion search time measured by the motion search time measurement unit 212 is 40 msec, and the global motion search time measured by the global motion search time measurement unit 214 is 60 msec.
[0085]
The number of instructions of each method stored in the motion parameter storage unit 202 is 10 million for method A, 5 million for method B, and 10,000 for method C. It is assumed that the number of instructions of each method stored in the global motion parameter storage unit 203 is 30 million for method D, 15 million for method E, and 10,000 for method F.
[0086]
In this situation, first, the number of motion search instructions and the number of global motion search instructions for the Jth frame are updated. The motion parameter update unit 213 sets the number of instructions for method A to 40 msec * 500 MHz = 20 million, and the global motion parameter update unit 215 sets the number of instructions for method D.
60msec * 500MHz = 30 million
Update to
[0087]
Therefore, the actual time corresponding to the number of processing instructions is as follows.
[0088]

Subsequently, the motion search time setting unit 205 obtains a motion search target time for the Jth frame. Since the encoding time using method A and method D was 120 msec, the processing time other than motion search is

Can be calculated.
[0089]
Based on the recovery from the delay of 20 msec in the next frame, the motion search target time target_me_time is:

And set. The motion search control unit 206 selects the method A and the method F according to the flow of FIG.
[0090]
The image input unit 207 acquires image information for one frame. The motion search unit 208 performs motion search by the method A, and the global motion search unit 209 performs global motion search by the method F. The inter-frame prediction encoding unit 210 encodes the image information of the Jth frame using the motion vector obtained by the motion search unit 208 and the global motion vector obtained by the global motion search unit 209. The local decoding unit 211 decodes the encoded data. The encoding time measuring unit 204 measures the encoding time of the Jth frame. Assume that the encoding time is 55 msec. The motion search time measured by the motion search time measurement unit 212 is 40 msec, and the global motion search time measured by the global motion search time measurement unit 214 is 0.1 msec.
[0091]
In this situation, first, the number of motion search instructions and the number of global motion search instructions for the J + 1th frame are updated. The motion parameter update unit 213 sets the number of instructions for method A to 40 msec * 500 MHz = 20 million, and the global motion parameter update unit 215 sets the number of instructions for method F.
0.1msec * 500MHz = 50,000
Update to
[0092]
Therefore, the actual time corresponding to the number of processing instructions is as follows.
[0093]

Subsequently, the motion search time setting unit 205 obtains a motion search target time for the J + 1th frame. Since the encoding time using method A and method F was 55 msec, the processing time other than motion search is

And can be calculated. Therefore, the motion search target time target_me_time is:

And set. The motion search control unit 206 selects the method A and the method E according to the flow of FIG.
[0094]
The image input unit 207 acquires image information for one frame. The motion search unit 208 performs motion search by the method A, and the global motion search unit 209 performs global motion search by the method E. The inter-frame prediction encoding unit 210 encodes the image information of the J + 1th frame using the motion vector obtained by the motion search unit 208 and the global motion vector obtained by the global motion search unit 209. The local decoding unit 211 decodes the encoded data. The encoding time measuring unit 204 measures the encoding time of the J + 1th frame.
[0095]
As described above, in the second embodiment, the number of motion search instructions and the number of global motion search instructions in the computing unit are obtained and updated from the previous frame encoding, so that the motion corresponding to the computation processing speed of the computing unit is obtained. A search method and a global motion search method can be selected.
[0096]
In the second embodiment, after the processing of the motion search unit 208 is executed, the motion search time is measured by the motion search time measurement unit 212, and this time is also used to perform the global motion search again. A method of resetting the target time is also suitable. For example, if the motion search time in the J + 1th frame is 20 msec, the motion search target time for the global motion search in the J + 1th frame is
target_me_time = 85.1 msec−20 msec = 65.1 msec
And set. Based on this information, the global motion search method is determined again. This selection flow is shown in FIG. According to this selection flow, method D is selected (step S20), and global motion search is performed. The operation after obtaining the global motion vector is the same as the processing procedure of FIG.
[0097]
In the selection flow of FIG. 7, when the target_me_time is larger than me_time [4] (step S20), the method D is selected, and when the target_me_time is smaller than me_time [4] and larger than me_time [5] (step S21). ), Method E is selected. Furthermore, if the target_me_time is equal to or smaller than me_time [5] and larger than me_time [6] (step S22), the method F is selected, and if it is equal to or smaller than me_time [6], global motion compensation is not performed.
[0098]
In this way, by re-setting the motion search target time for global motion search after motion search, a global motion vector with less prediction error can be obtained.
[0099]
In the third embodiment, a mechanism is described in which the number of processing instructions for each motion search method is set in advance before encoding and a moving image is encoded in real time according to this value. However, unlike the first embodiment, the motion search is controlled by measuring the motion search time in units of macroblocks. Prior to encoding, the priority of motion search is determined in advance for each macroblock. The following example shows an example of an operation that forcibly terminates when motion search cannot be executed for all macroblocks within the motion search target time.
[0100]
An operation when a moving image having a screen size of CIF (horizontal 352 pixels, vertical 288 pixels) is encoded at a frame rate of 10 frames per second on a computer equipped with a CPU having an operating frequency of 500 MHz will be described.
[0101]
As the motion search method, the method A and the method B described in the first embodiment are prepared. It is assumed that the number of instructions for motion search in method A is 10 million, and the number of instructions for motion search in method B is 5 million. However, unlike the first embodiment, the motion search method is changed as appropriate for macroblocks in the screen. FIG. 8 shows the processing procedure of the encoding method in the third embodiment. Here, a selection flow of a motion prediction method performed by the motion search control unit 306 is shown in FIG.
[0102]
The motion search times for each block measured by the block motion search time measuring unit 312 are summed in units of frames, the total frame motion search time is set as total_me_time, the motion search target time is set as target_me_time, and until method A and method B Let me_time [i] (i = 1: Method A, i = 2: Method B) be a value obtained by converting the number of instructions to time. The number of macroblocks count_MB subjected to motion search is measured by counting the number of times that motion search processing has been performed. Let the number of macroblocks in the screen be total_MB.
[0103]
The block priority detection unit 316 detects edge pixels in the screen and counts the number of edge pixels for each macroblock. Edges are important to maintain the visual quality, so it is important to improve the quality of the image. For this reason, it is necessary to improve the encoding efficiency of a macroblock including many edge pixels. The search block determination unit 317 creates a list in which the macroblock numbers are arranged in the descending order of the number of edge pixels.
[0104]
The operation of this embodiment in such a procedure configuration will be described. First, since the frame rate is 10 frames per second in the target time setting unit 301 before encoding starts, 100 msec is set as the encoding target time. Further, the motion parameter storage unit 302 stores the number of processing instructions of the method A and the method B.
[0105]
Next, the encoding procedure for the Jth frame after starting encoding will be described. It is assumed that the encoding time measured by the encoding time measuring unit 304 in the J-1th frame is 90 msec. Further, it is assumed that total_me_time is 80 msec.
[0106]
In this situation, first, the motion search time setting unit 305 obtains the motion search target time for the J-th frame. Since the encoding time was 90 msec, the processing time other than motion search is
90msec-80msec = 10msec
Can be calculated. The motion search target time target_me_time in the next frame is:
100 msec- (time other than motion search) = 100 msec-10 msec = 90 msec
And set. For this reason, the motion search method A is selected in the first macroblock.
[0107]
The image input unit 307 acquires image information for one frame. The block priority detection unit 316 performs edge detection and counts the number of edge pixels for each macroblock. The search block determination unit 317 creates a list in which macroblock numbers are arranged in the order of macroblocks having many edge pixels. An example of the list created here is shown in FIG. The block motion search unit 308 determines a motion search method according to the selection flow of FIG. 9, and performs a motion search for each macroblock in the order of the list of FIG.
[0108]
In the selection of the movement method, as shown in FIG. 9, if the product of me_time [1] obtained by dividing the difference between total_MB and count_MB by total_MB is smaller than the difference between target_me_time and total_me_time (step S30), Select A. Otherwise, the product of me_time [2] is calculated by dividing the difference between total_MB and count_MB by total_MB, and if it is smaller than the difference between target_me_time and total_me_time (step S31), method B is selected. . Otherwise, the motion search is stopped.
[0109]
If the frame motion search time is 69.99999999 msec after encoding the macroblock with the

macroblock number

200, 200 macroblocks listed in the list of FIG. No motion search is performed for macroblocks after the number. The motion vector of a macroblock that is not subjected to motion search is a 0 vector.
[0110]
The inter-frame prediction encoding unit 310 encodes the image information of the J-th frame using the motion vector obtained by the block motion search unit 308. The local decoding unit 311 decodes the encoded data. The encoding time measuring unit 304 measures the encoding time of the Jth frame.
[0111]
Thus, by measuring the motion search processing time for each macroblock, it is possible to end the motion search processing in the middle of the frame. Also, even when motion search ends in the middle of a frame, the encoding efficiency of macroblocks that contain a large number of edge pixels is improved by determining the order of motion search for each macroblock before encoding. Therefore, it is possible to reduce the degradation of image quality.
[0112]
In the fourth embodiment, the number of processing instructions for each motion search method and the number of processing instructions for each global motion search method are set in advance before encoding, and a moving image is encoded in real time according to this value. Describe the mechanism of However, unlike the first embodiment, the motion search time is measured for each macroblock to control the motion search, and the global motion search time is measured for each macroblock to control the global motion search. In addition, priorities of motion search and global motion search are determined in advance for each macroblock before encoding. The following example shows an operation example in which the block motion search unit 408 forcibly terminates when motion search cannot be executed for all macroblocks within the local motion search target time.
[0113]
An operation when a moving image having a screen size of CIF (horizontal 352 pixels, vertical 288 pixels) is encoded at a frame rate of 10 frames per second on a computer equipped with a CPU having an operating frequency of 500 MHz will be described.
[0114]
As the motion search method, method A and method B are prepared as in the first embodiment, and as the global motion search method, method D and method E are prepared as in the first embodiment. It is assumed that the number of instructions for motion search in method A is 10 million, and the number of instructions for motion search in method B is 5 million. Assume that the number of instructions for global motion search when method D is adopted is 30 million, and the number of instructions for global motion search when method E is adopted is 15 million. However, unlike the first embodiment, the motion search method and the global motion search method are appropriately changed for macroblocks in the screen.
[0115]
FIG. 11 shows a processing procedure of the encoding method in the fourth embodiment. The motion search time setting unit 405 determines a local motion search target time target_local_me_time and a global motion search target time target_global_me_time from the motion search target time target_me_time. The value obtained by converting the number of instructions in method A and method B into time is me_time [i] (i = 1: method A, i = 2: method B), and the number of instructions in method D and method E is converted into time. The value is me_time [i] (i = 4: method D, i = 5: method E). Obtained according to the following formula.
[0116]
target_local_me_time = target_me_time * me_time [1] / (me_time [l] + me_time [4])
target_global_me_time = target_me_time-target_local_me_time
The selection flow of the motion prediction method in the motion search control unit 406 is shown in FIG. 12, and the selection flow of the global motion prediction method is shown in FIG.
[0117]
The motion search times for each block measured by the block motion search time measuring unit 412 are totaled in units of frames, and the total frame motion search time is defined as total_local_me_time. The number of macroblocks count_MB subjected to motion search is measured by counting the number of times that motion search processing has been performed. Let the number of macroblocks in the screen be total_MB.
[0118]
Let global_global_me_time be the frame global motion search time obtained by adding the motion search times for each block measured by the global block motion search time measuring unit 419 in units of frames.
[0119]
In addition, the image information of the pixels of each frame takes a value from 0 to 255, and the block priority detection unit 416 determines whether there is an inter-pixel position between the original image of the current frame and the locally decoded image of the previous frame. The absolute value of the difference is obtained, and the number of pixels (herein referred to as moving pixels) having the difference absolute value of 50 or more is measured for each macroblock. The more moving picture elements, the more the macroblock can be determined as a moving area. The search block determination unit 417 creates a list in which the macroblock numbers are arranged in the descending order of the number of moving pixels.
[0120]
The operation of this embodiment in such a procedure configuration will be described. First, before the start of encoding, the target time setting unit 401 sets 100 msec as the encoding target time because the frame rate is 10 frames per second. Further, the motion parameter storage unit 402 stores the number of processing instructions of the method A and the method B.
[0121]
Next, the encoding procedure for the Jth frame after starting encoding will be described. As a premise, it is assumed that the encoding time measured by the encoding time measuring unit 404 in the J-1th frame is 100 msec. In addition, it is assumed that total_local_me_time is 20 msec and total_g1obsal_me_time is 50 msec.
[0122]
In this situation, first, the motion search time setting unit 405 obtains the motion search target time for the J-th frame. Since the encoding time was 100 msec, the processing time other than motion search is
100msec-20msec-50msec = 30msec
Can be calculated. The motion search target time target_me_time in the next frame is:
100 msec- (time other than motion search) = 100 msec-30 msec = 70 msec
And set. From this, the local motion search target time target_local_me_time and the global motion search target time target_global_me_time are obtained.
[0123]

The image input unit 407 acquires image information for one frame. The block priority detection unit 416 obtains an absolute value difference between the original image of the current frame and the locally decoded image of the previous frame, and counts the number of moving pixels for each macroblock. The search block determination unit 417 creates a list in which macroblock numbers are arranged in the order of macroblocks having the largest number of moving pixels. The list created here is the same as in FIG.
[0124]
The block motion search unit 408 determines a motion search method according to the selection flow in FIG. 12, and performs a motion search in units of macroblocks in the order of the list in FIG. If the frame motion search time becomes 17.4999999 msec after encoding the macroblock with the macroblock number 100, 100th of the macroblocks listed in the list of FIG. 10 according to the selection flow of FIG. No motion search is performed for later macroblocks. The motion vector of a macroblock that is not subjected to motion search is a 0 vector.
[0125]
The global block motion search unit 409 determines a global motion search method according to the selection flow in FIG. 13, and performs motion search in units of macroblocks in the order of the list in FIG. If the frame global motion search time becomes 52.4999999 msec after encoding the macroblock of

macroblock number

50, 50 macroblocks listed in the list of FIG. 10 according to the selection flow of FIG. No motion search is performed for macroblocks after the number. The motion vector of a macroblock that is not subjected to motion search is a 0 vector. Of these motion vectors in units of macroblocks, the motion vector having the largest number of macroblocks is defined as a global motion vector.
[0126]
The inter-frame prediction encoding unit 410 encodes the image information of the Jth frame using the motion vector obtained by the block motion search unit 408 and the global motion vector obtained by the global block motion search unit 409. The local decoding unit 411 decodes the encoded data. The encoding time measuring unit 404 measures the encoding time of the Jth frame.
[0127]
In this way, the local motion search target time and the global motion search target time are set from the motion search target time, and the motion search processing time and the global motion search processing time are measured in units of macroblocks. It is possible to end the global motion search processing time.
[0128]
In addition, when the block motion search unit 408 for all macroblocks ends within the preset local motion search target time, it is also preferable to add the surplus time to the global motion search target time. For example, when the frame motion search time measured by the block motion search time measuring unit 412 is 9 msec and the block motion search unit 408 is terminated, the global motion search target time target_global_me_time is set to
52.5msec + (17.5msec-9msec) = 61msec
Set to. According to this value, the global motion search method is determined according to the selection flow of FIG. In this case, method D is selected for the first macroblock. Thereafter, encoding is performed according to the procedure of FIG.
[0129]
Thus, when the block motion search process is completed earlier than the target, a global motion vector with less prediction error can be obtained by determining the global motion search target time again.
[0130]
Note that the selection algorithm shown in the motion search selection flow in FIG. 12 and the global motion search selection flow in FIG. 13 is the same as that in the above-described example of FIG. 9, and thus detailed description for each step is omitted.
[0131]
【The invention's effect】
According to the present invention, the number of processing instructions for each motion search method and the number of processing instructions for each global motion search method are set in advance before encoding, and the motion search process and the global motion search process are changed according to these values. By doing so, a moving image can be encoded in real time. That is, as in the case of encoding with a personal computer, the encoding process stops while another program is executed, or the CPU processing speed varies depending on the model. Even in different cases, it is possible to encode a moving image in real time by adjusting the time required for motion vector search.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a relationship between a macroblock and a search range.
FIG. 2 is a diagram illustrating an example of a pixel selection method.
FIG. 3 is a diagram illustrating an example in which a search position is shifted by two pixels.
FIG. 4 is a diagram for explaining the procedure of the first embodiment;
FIG. 5 is a motion search selection flow in the first embodiment;
FIG. 6 is a diagram for explaining the procedure of the second embodiment;
FIG. 7 is a selection flow of global motion search in the second embodiment.
FIG. 8 is a diagram for explaining the procedure of the third embodiment;
FIG. 9 is a motion search selection flow in the third embodiment;
FIG. 10 is a diagram illustrating an example of the order of macroblocks for motion search.
FIG. 11 is a diagram illustrating the procedure of a fourth embodiment.
FIG. 12 is a motion search selection flow in the fourth embodiment;
FIG. 13 is a selection flow of global motion search in the fourth embodiment.
[Explanation of symbols]
101 Target time setting section
102 Motion parameter storage unit
103 Global motion parameter storage unit
104 Coding time measurement unit
105 Motion search time setting section
106 Motion search control unit
107 Image input unit
108 Motion search unit
109 Global motion search unit
110 Interframe prediction encoding unit
111 Local decoding unit

Claims

演算器で動き探索を行い，動き補償フレーム間予測符号化方式を用いて動画像を符号化する動画像符号化方法において，
画像を入力する画像入力ステップと，
動き探索をする動き探索ステップと，
動き探索ステップにて求めた動きベクトルを使って動き補償フレーム間予測符号化を行うフレーム間予測符号化ステップと，
符号化データを復号する局所復号ステップと，
を実行する動画像符号化方法であって，
符号化前に予め定められたフレームレートから１フレームを符号化する時間である符号化目標時間を設定する目標時間設定ステップと，
符号化前に予め設定した動き探索方法に対して，演算器で実行する動き探索の処理命令数である動き探索命令数情報を記憶しておく動きパラメータ記憶ステップと，
１フレームの符号化時間を計測する符号化時間計測ステップと，
１フレーム符号化終了後に，符号化時間計測ステップにて計測された符号化時間と動きパラメータ記憶ステップにて記憶してある動き探索命令数情報とから，動き探索以外の処理の時間を推定し，目標時間設定ステップにて設定される符号化目標時間から動き探索以外の処理の時間を引き，さらに前のフレームの符号化にて遅延が生じている場合にその遅延時間を引いた値を，次のフレームの動き探索を行うための動き探索目標時間として設定する動き探索時間設定ステップと，
動きパラメータ記憶ステップにて記憶してある動き探索命令数情報に従って，動き探索目標時間から動き探索方法を決定し動き探索処理を制御する動き探索制御ステップと，
を実行することを特徴とする処理時間適応画像符号化方法。In a moving picture coding method in which a motion search is performed by a computing unit and a moving picture is coded using a motion compensation interframe predictive coding method,
An image input step for inputting an image;
A motion search step for motion search,
An inter-frame prediction encoding step for performing motion compensation inter-frame prediction encoding using the motion vector obtained in the motion search step;
A local decoding step for decoding the encoded data;
A video encoding method for executing
A target time setting step for setting an encoding target time that is a time for encoding one frame from a predetermined frame rate before encoding;
A motion parameter storing step for storing motion search command number information, which is the number of motion search processing commands executed by an arithmetic unit, for a motion search method set in advance before encoding;
An encoding time measuring step for measuring the encoding time of one frame;
After one frame encoding is completed, the time for processing other than motion search is estimated from the encoding time measured in the encoding time measuring step and the motion search instruction number information stored in the motion parameter storage step. Subtract the time for processing other than motion search from the encoding target time set in the target time setting step, and subtract the delay time if there is a delay in encoding the previous frame. A motion search time setting step for setting as a motion search target time for performing motion search of the frame of
A motion search control step for determining the motion search method from the motion search target time and controlling the motion search process according to the motion search command number information stored in the motion parameter storage step;
The processing time adaptive image coding method characterized by performing this.

演算器で動き探索を行い，動き補償フレーム間予測符号化方式を用いて動画像を符号化する動画像符号化方法において，
画像を入力する画像入力ステップと，
動き探索をする動き探索ステップと，
動き探索ステップにて求めた動きベクトルを使って動き補償フレーム間予測符号化を行うフレーム間予測符号化ステップと，
符号化データを復号する局所復号ステップと，
を実行する動画像符号化方法であって，
符号化前に予め定められたフレームレートから１フレームを符号化する時間である符号化目標時間を設定する目標時間設定ステップと，
符号化前に予め設定した動き探索方法に対して，演算器で実行する動き探索の処理命令数である動き探索命令数情報を記憶しておく動きパラメータ記憶ステップと，
１フレームの符号化時間を計測する符号化時間計測ステップと，
動き探索ステップの実行時間を測定する動き探索時間計測ステップと，
１フレーム符号化終了後に，符号化時間計測ステップにて計測された符号化時間と動き探索時間計測ステップにて計測された動き探索時間とから，動き探索以外の処理の時間を推定し，目標時間設定ステップにて設定される符号化目標時間から動き探索以外の処理の時間を引き，さらに前のフレームの符号化にて遅延が生じている場合にその遅延時間を引いた値を，次のフレームの動き探索を行うための動き探索目標時間として設定する動き探索時間設定ステップと，
次のフレームの動き探索を行うための動き探索目標時間を設定する動き探索時間設定ステップと，
動きパラメータ記憶ステップにて記憶してある動き探索命令数情報に従って，動き探索目標時間から動き探索方法を決定し動き探索処理を制御する動き探索制御ステップと，
動き探索時間計測ステップにて計測された動き探索時間から，動きパラメータ記憶ステップに記憶してある動き探索命令数情報を更新する動きパラメータ更新ステップと，
を実行することを特徴とする処理時間適応画像符号化方法。In a moving picture coding method in which a motion search is performed by a computing unit and a moving picture is coded using a motion compensation interframe predictive coding method,
An image input step for inputting an image;
A motion search step for motion search,
An inter-frame prediction encoding step for performing motion compensation inter-frame prediction encoding using the motion vector obtained in the motion search step;
A local decoding step for decoding the encoded data;
A video encoding method for executing
A target time setting step for setting an encoding target time that is a time for encoding one frame from a predetermined frame rate before encoding;
A motion parameter storing step for storing motion search command number information, which is the number of motion search processing commands executed by an arithmetic unit, for a motion search method set in advance before encoding;
An encoding time measuring step for measuring the encoding time of one frame;
A motion search time measurement step for measuring the execution time of the motion search step;
After one frame encoding is completed , the processing time other than motion search is estimated from the encoding time measured in the encoding time measurement step and the motion search time measured in the motion search time measurement step, and the target time Subtract the time for processing other than motion search from the target encoding time set in the setting step , and if there is a delay in encoding the previous frame, subtract the delay time to the next frame. A motion search time setting step for setting a motion search target time for performing a motion search of
A motion search time setting step for setting a motion search target time for performing motion search for the next frame;
Accordance with the motion search instruction number information stored in the dynamic-out parameter storing step, a motion search control step of controlling the motion search to determine the motion search method from the motion search target time,
A motion parameter update step for updating the motion search instruction number information stored in the motion parameter storage step from the motion search time measured in the motion search time measurement step;
The processing time adaptive image coding method characterized by performing this.

演算器で動き探索とグローバル動き探索を行い，動き補償フレーム間予測符号化方式を用いて動画像を符号化する動画像符号化方法において，
画像を入力する画像入力ステップと，
動き探索をする動き探索ステップと，
グローバル動き探索をするグローバル動き探索ステップと，
動き探索ステップにて求めた動きベクトルとグローバル動き探索ステップにて求めたグローバル動きベクトルを使って動き補償フレーム間予測符号化を行うフレーム間予測符号化ステップと，
符号化データを復号する局所復号ステップと，
を実行する動画像符号化方法であって，
符号化前に予め定められたフレームレートから１フレームを符号化する時間である符号化目標時間を設定する目標時間設定ステップと，
符号化前に予め設定した動き探索方法に対して，演算器で実行する動き探索の処理命令数である動き探索命令数情報を記憶しておく動きパラメータ記憶ステップと，
符号化前に予め設定したグローバル動き探索方法に対して，演算器で実行する動き探索の処理命令数であるグローバル動き探索命令数情報を記憶しておくグローバル動きパラメータ記憶ステップと，
１フレームの符号化時間を計測する符号化時間計測ステップと，
１フレーム符号化終了後に，符号化時間計測ステップにて計測された符号化時間と動きパラメータ記憶ステップにて記憶してある動き探索命令数情報とから，動き探索以外の処理の時間を推定し，目標時間設定ステップにて設定される符号化目標時間から動き探索以外の処理の時間を引き，さらに前のフレームの符号化にて遅延が生じている場合にその遅延時間を引いた値を，次のフレームの動き探索とグローバル動き探索を行うための動き探索目標時間として設定する動き探索時間設定ステップと，
動き探索目標時間から，動きパラメータ記憶ステップにて記憶してある動き探索命令数情報とグローバル動きパラメータ記憶ステップにて記憶してあるグローバル動き探索命令数情報に従って，動き探索方法とグローバル動き探索方法を決定し，動き探索処理とグローバル動き探索処理を制御する動き探索制御ステップと，
を実行することを特徴とする処理時間適応画像符号化方法。In a video encoding method that performs motion search and global motion search with an arithmetic unit and encodes a video using a motion compensated interframe prediction encoding method,
An image input step for inputting an image;
A motion search step for motion search,
A global motion search step for global motion search;
An inter-frame prediction encoding step for performing motion compensation inter-frame prediction encoding using the motion vector obtained in the motion search step and the global motion vector obtained in the global motion search step;
A local decoding step for decoding the encoded data;
A video encoding method for executing
A target time setting step for setting an encoding target time that is a time for encoding one frame from a predetermined frame rate before encoding;
A motion parameter storing step for storing motion search command number information, which is the number of motion search processing commands executed by an arithmetic unit, for a motion search method set in advance before encoding;
A global motion parameter storage step for storing global motion search command number information, which is the number of motion search processing commands executed by an arithmetic unit, with respect to a global motion search method set in advance before encoding;
An encoding time measuring step for measuring the encoding time of one frame;
After one frame encoding is completed, the time for processing other than motion search is estimated from the encoding time measured in the encoding time measuring step and the motion search instruction number information stored in the motion parameter storage step. Subtract the time for processing other than motion search from the encoding target time set in the target time setting step, and subtract the delay time if there is a delay in encoding the previous frame. A motion search time setting step for setting a motion search target time for performing frame motion search and global motion search,
According to the motion search target time, the motion search method and the global motion search method are determined according to the motion search command number information stored in the motion parameter storage step and the global motion search command number information stored in the global motion parameter storage step. A motion search control step for determining and controlling motion search processing and global motion search processing;
The processing time adaptive image coding method characterized by performing this.

演算器で動き探索とグローバル動き探索を行い，動き補償フレーム間予測符号化方式を用いて動画像を符号化する動画像符号化方法において，
画像を入力する画像入力ステップと，
動き探索をする動き探索ステップと，
グローバル動き探索をするグローバル動き探索ステップと，
動き探索ステップにて求めた動きベクトルとグローバル動き探索ステップにて求めたグローバル動きベクトルを使って動き補償フレーム間予測符号化を行うフレーム間予測符号化ステップと，
符号化データを復号する局所復号ステップと，
を実行する動画像符号化方法であって，
符号化前に予め定められたフレームレートから１フレームを符号化する時間である符号化目標時間を設定する目標時間設定ステップと，
符号化前に予め設定した動き探索方法に対して，演算器で実行する動き探索の処理命令数である動き探索命令数情報を記憶しておく動きパラメータ記憶ステップと，
符号化前に予め設定したグローバル動き探索方法に対して，演算器で実行する動き探索の処理命令数であるグローバル動き探索命令数情報を記憶しておくグローバル動きパラメータ記憶ステップと，
１フレームの符号化時間を計測する符号化時間計測ステップと，
動き探索ステップの実行時間を測定する動き探索時間計測ステップと，
１フレーム符号化終了後に，符号化時間計測ステップにて計測された符号化時間と動き探索時間計測ステップにて計測された動き探索時間とから，動き探索以外の処理の時間を推定し，目標時間設定ステップにて設定される符号化目標時間から動き探索以外の処理の時間を引き，さらに前のフレームの符号化にて遅延が生じている場合にその遅延時間を引いた値を，次のフレームの動き探索とグローバル動き探索を行うための動き探索目標時間として設定する動き探索時間設定ステップと，
動き探索目標時間から，動きパラメータ記憶ステップにて記憶してある動き探索命令数情報とグローバル動きパラメータ記憶ステップにて記憶してあるグローバル動き探索命令数情報に従って，動き探索方法とグローバル動き探索方法を決定し，動き探索処理とグローバル動き探索処理を制御する動き探索制御ステップと，
動き探索時間計測ステップにて計測された動き探索時間から，動きパラメータ記憶ステップに記憶してある動き探索命令数情報を更新する動きパラメータ更新ステップと，
グローバル動き探索ステップの実行時間を測定するグローバル動き探索時間計測ステップと，
グローバル動き探索時間計測ステップにて計測されたグローバル動き探索時間から，グローバル動きパラメータ記憶ステップに記憶してあるグローバル動き探索命令数情報を更新するグローバル動きパラメータ更新ステップと，
を実行することを特徴とする処理時間適応画像符号化方法。In a video encoding method that performs motion search and global motion search with an arithmetic unit and encodes a video using a motion compensated interframe prediction encoding method,
An image input step for inputting an image;
A motion search step for motion search,
A global motion search step for global motion search;
An inter-frame prediction encoding step for performing motion compensation inter-frame prediction encoding using the motion vector obtained in the motion search step and the global motion vector obtained in the global motion search step;
A local decoding step for decoding the encoded data;
A video encoding method for executing
A target time setting step for setting an encoding target time that is a time for encoding one frame from a predetermined frame rate before encoding;
A motion parameter storing step for storing motion search command number information, which is the number of motion search processing commands executed by an arithmetic unit, for a motion search method set in advance before encoding;
A global motion parameter storage step for storing global motion search command number information, which is the number of motion search processing commands executed by an arithmetic unit, with respect to a global motion search method set in advance before encoding;
An encoding time measuring step for measuring the encoding time of one frame;
A motion search time measurement step for measuring the execution time of the motion search step;
After one frame encoding is completed , the processing time other than motion search is estimated from the encoding time measured in the encoding time measurement step and the motion search time measured in the motion search time measurement step , and the target time Subtract the time for processing other than motion search from the target encoding time set in the setting step , and if there is a delay in encoding the previous frame, subtract the delay time to the next frame. A motion search time setting step for setting a motion search target time for performing motion search and global motion search,
According to the motion search target time, the motion search method and the global motion search method are determined according to the motion search command number information stored in the motion parameter storage step and the global motion search command number information stored in the global motion parameter storage step. A motion search control step for determining and controlling motion search processing and global motion search processing;
From motion search time measured by dynamic-out search time measurement step, a motion parameter updating step of updating the motion search instruction number information stored in the motion parameter storage step,
A global motion search time measurement step for measuring the execution time of the global motion search step;
A global motion parameter update step for updating the global motion search command number information stored in the global motion parameter storage step from the global motion search time measured in the global motion search time measurement step;
The processing time adaptive image coding method characterized by performing this.

演算器で動き探索を行い，動き補償フレーム間予測符号化方式を用いて動画像を符号化する動画像符号化方法において，
画像を入力する画像入力ステップと，
画面内を領域に分割し，領域毎に動き探索をするブロック動き探索ステップと，
動き探索ステップにて求めた領域毎に動きベクトルを使って動き補償フレーム間予測符号化を行うフレーム間予測符号化ステップと，
符号化データを復号する局所復号ステップと，
を実行する動画像符号化方法であって，
符号化前に予め定められたフレームレートから１フレームを符号化する時間である符号化目標時間を設定する目標時間設定ステップと，
符号化前に予め設定した動き探索方法に対して，演算器で実行する動き探索の処理命令数である動き探索命令数情報を記憶しておく動きパラメータ記憶ステップと，
１フレームの符号化時間を計測する符号化時間計測ステップと，
ブロック動き探索ステップで実行される領域毎の動き探索時間を測定するブロック動き探索時間計測ステップと，
ブロック動き探索時間計測ステップにて計測されたブロック毎の動き探索時間を，フレーム単位で合計したフレーム動き探索時間を求めるブロック動き探索時間加算ステップと，
１フレーム符号化終了後に，符号化時間計測ステップにて計測された符号化時間と前記フレーム動き探索時間とから，動き探索以外の処理の時間を推定し，目標時間設定ステップにて設定される符号化目標時間から動き探索以外の処理の時間を引き，さらに前のフレームの符号化にて遅延が生じている場合にその遅延時間を引いた値を，次のフレームの動き探索を行うための動き探索目標時間として設定する動き探索時間設定ステップと，
動きパラメータ記憶ステップにて記憶してある動き探索命令数情報に従って，動き探索目標時間とフレーム動き探索時間から動き探索方法を決定し動き探索処理を制御する動き探索制御ステップと，
を実行することを特徴とする処理時間適応画像符号化方法。In a moving picture coding method in which a motion search is performed by a computing unit and a moving picture is coded using a motion compensation interframe predictive coding method,
An image input step for inputting an image;
A block motion search step that divides the screen into regions and performs motion search for each region;
An inter-frame prediction encoding step for performing motion compensation inter-frame prediction encoding using a motion vector for each region obtained in the motion search step;
A local decoding step for decoding the encoded data;
A video encoding method for executing
A target time setting step for setting an encoding target time that is a time for encoding one frame from a predetermined frame rate before encoding;
A motion parameter storing step for storing motion search command number information, which is the number of motion search processing commands executed by an arithmetic unit, for a motion search method set in advance before encoding;
An encoding time measuring step for measuring the encoding time of one frame;
A block motion search time measuring step for measuring a motion search time for each area executed in the block motion search step;
A block motion search time addition step for obtaining a frame motion search time obtained by summing the motion search times for each block measured in the block motion search time measurement step in units of frames;
After one frame encoding is completed , a time other than motion search is estimated from the encoding time measured in the encoding time measuring step and the frame motion search time, and the code set in the target time setting step Motion to perform motion search for the next frame by subtracting the time for processing other than motion search from the target time and subtracting the delay time when there is a delay in encoding the previous frame A motion search time setting step for setting as a search target time;
Accordance with the motion search instruction number information stored in the dynamic-out parameter storing step, a motion search control step of controlling the determined motion search motion estimation method from the motion search target time and the frame motion search time,
The processing time adaptive image coding method characterized by performing this.

演算器で動き探索とグローバル動き探索を行い，動き補償フレーム間予測符号化方式を用いて動画像を符号化する動画像符号化方法において，
画像を入力する画像入力ステップと，
画面内を領域に分割し，領域毎に動き探索をするブロック動き探索ステップと，
画面内を領域に分割し，領域毎に動き探索をしてグローバル動きベクトルを求めるグローバルブロック動き探索ステップと，
ブロック動き探索ステップにて求めた領域毎の動きベクトルとグローバルブロック動き探索ステップにて求めたグローバル動きベクトルを使って動き補償フレーム間予測符号化を行うフレーム間予測符号化ステップと，
符号化データを復号する局所復号ステップと，
を実行する動画像符号化方法であって，
符号化前に予め定められたフレームレートから１フレームを符号化する時間である符号化目標時間を設定する目標時間設定ステップと，
符号化前に予め設定した動き探索方法に対して，演算器で実行する動き探索の処理命令数である動き探索命令数情報を記憶しておく動きパラメータ記憶ステップと，
符号化前に予め設定したグローバル動き探索方法に対して，演算器で実行する動き探索の処理命令数であるグローバル動き探索命令数情報を記憶しておくグローバル動きパラメータ記憶ステップと，
１フレームの符号化時間を計測する符号化時間計測ステップと，
ブロック動き探索ステップで実行される領域毎の動き探索時間を測定するブロック動き探索時間計測ステップと，
ブロック動き探索時間計測ステップにて計測されたブロック毎の動き探索時間を，フレーム単位で合計したフレーム動き探索時間を求めるブロック動き探索時間加算ステップと，
グローバルブロック動き探索ステップで実行される領域毎の動き探索時間を測定するグローバルブロック動き探索時間計測ステップと，
グローバルブロック動き探索時間計測ステップにて計測されたブロック毎の動き探索時間を，フレーム単位で合計したフレームグローバル動き探索時間を求めるグローバルブロック動き探索時間加算ステップと，
１フレーム符号化終了後に，符号化時間計測ステップにて計測された符号化時間と前記フレーム動き探索時間と前記フレームグローバル動き探索時間とから，動き探索以外の処理の時間を推定し，目標時間設定ステップにて設定される符号化目標時間から動き探索以外の処理の時間を引き，さらに前のフレームの符号化にて遅延が生じている場合にその遅延時間を引いた値をもとに，次のフレームの動き探索を行うための動き探索目標時間であるローカル動き探索目標時間と，グローバル動き探索を行うための動き探索目標時間であるグローバル動き探索目標時間を設定する動き探索時間設定ステップと，
動きパラメータ記憶ステップにて記憶してある動き探索命令数情報に従って，ローカル動き探索目標時間とフレーム動き探索時間から動き探索方法を決定し動き探索処理を制御する動き探索制御ステップと，
グローバル動きパラメータ記憶ステップにて記憶してあるグローバル動き探索命令数情報に従って，グローバル動き探索目標時間とフレームグローバル動き探索時間からグローバル動き探索方法を決定しグローバル動き探索処理を制御するグローバル動き探索制御ステップと，
を実行することを特徴とする処理時間適応画像符号化方法。In a video encoding method that performs motion search and global motion search with an arithmetic unit and encodes a video using a motion compensated interframe prediction encoding method,
An image input step for inputting an image;
A block motion search step that divides the screen into regions and performs motion search for each region;
A global block motion search step that divides the screen into regions and performs a motion search for each region to obtain a global motion vector;
An inter-frame prediction encoding step for performing motion compensation inter-frame prediction encoding using the motion vector for each region obtained in the block motion search step and the global motion vector obtained in the global block motion search step;
A local decoding step for decoding the encoded data;
A video encoding method for executing
A target time setting step for setting an encoding target time that is a time for encoding one frame from a predetermined frame rate before encoding;
A motion parameter storing step for storing motion search command number information, which is the number of motion search processing commands executed by an arithmetic unit, for a motion search method set in advance before encoding;
A global motion parameter storage step for storing global motion search command number information, which is the number of motion search processing commands executed by an arithmetic unit, with respect to a global motion search method set in advance before encoding;
An encoding time measuring step for measuring the encoding time of one frame;
A block motion search time measuring step for measuring a motion search time for each area executed in the block motion search step;
A block motion search time addition step for obtaining a frame motion search time obtained by summing the motion search times for each block measured in the block motion search time measurement step in units of frames;
A global block motion search time measuring step for measuring a motion search time for each region executed in the global block motion search step;
A global block motion search time addition step for obtaining a frame global motion search time obtained by summing the motion search times for each block measured in the global block motion search time measurement step in units of frames;
After the completion of one frame encoding, the processing time other than motion search is estimated from the encoding time measured in the encoding time measuring step, the frame motion search time, and the frame global motion search time, and the target time is set. Subtract the time for processing other than motion search from the target encoding time set in step , and if there is a delay in encoding the previous frame, A motion search time setting step for setting a local motion search target time, which is a motion search target time for performing motion search of a frame, and a global motion search target time, which is a motion search target time for performing global motion search,
Accordance with the motion search instruction number information stored in the dynamic-out parameter storing step, a motion search control step of controlling the determined motion search motion estimation method from the local motion estimation target time and the frame motion search time,
Global motion search control step for controlling a global motion search process by determining a global motion search method from a global motion search target time and a frame global motion search time according to the global motion search command number information stored in the global motion parameter storage step When,
The processing time adaptive image coding method characterized by performing this.

演算器で動き探索を行い，動き補償フレーム間予測符号化方式を用いて動画像を符号化する動画像符号化方法において，
画像を入力する画像入力ステップと，
画面内を領域に分割し，領域毎に動き探索をするブロック動き探索ステップと，
動き探索ステップにて求めた領域毎に動きベクトルを使って動き補償フレーム間予測符号化を行うフレーム間予測符号化ステップと，
符号化データを復号する局所復号ステップと，
を実行する動画像符号化方法であって，
符号化前に予め定められたフレームレートから１フレームを符号化する時間である符号化目標時間を設定する目標時間設定ステップと，
符号化前に予め設定した動き探索方法に対して，演算器で実行する動き探索の処理命令数である動き探索命令数情報を記憶しておく動きパラメータ記憶ステップと，
入力画像の画像情報から，画面内の各領域の画像統計情報を検出するブロック優先度検出ステップと，
画像統計情報から，動き探索する領域の順序を決定する探索ブロック決定ステップと，
１フレームの符号化時間を計測する符号化時間計測ステップと，
ブロック動き探索ステップで実行される領域毎の動き探索時間を測定するブロック動き探索時間計測ステップと，
ブロック動き探索時間計測ステップにて計測されたブロック毎の動き探索時間を，フレーム単位で合計したフレーム動き探索時間を求めるブロック動き探索時間加算ステップと，
１フレーム符号化終了後に，符号化時間計測ステップにて計測された符号化時間と前記フレーム動き探索時間とから，動き探索以外の処理の時間を推定し，目標時間設定ステップにて設定される符号化目標時間から動き探索以外の処理の時間を引き，さらに前のフレームの符号化にて遅延が生じている場合にその遅延時間を引いた値を，次のフレームの動き探索を行うための動き探索目標時間として設定する動き探索時間設定ステップと，
動きパラメータ記憶ステップにて記憶してある動き探索命令数情報に従って，動き探索目標時間とフレーム動き探索時間から動き探索方法を決定し動き探索処理を制御する動き探索制御ステップと，
を実行することを特徴とする処理時間適応画像符号化方法。In a moving picture coding method in which a motion search is performed by a computing unit and a moving picture is coded using a motion compensation interframe predictive coding method,
An image input step for inputting an image;
A block motion search step that divides the screen into regions and performs motion search for each region;
An inter-frame prediction encoding step for performing motion compensation inter-frame prediction encoding using a motion vector for each region obtained in the motion search step;
A local decoding step for decoding the encoded data;
A video encoding method for executing
A target time setting step for setting an encoding target time that is a time for encoding one frame from a predetermined frame rate before encoding;
A motion parameter storing step for storing motion search command number information, which is the number of motion search processing commands executed by an arithmetic unit, for a motion search method set in advance before encoding;
A block priority detection step for detecting image statistical information of each area in the screen from the image information of the input image;
A search block determination step for determining the order of regions for motion search from image statistical information;
An encoding time measuring step for measuring the encoding time of one frame;
A block motion search time measuring step for measuring a motion search time for each area executed in the block motion search step;
A block motion search time addition step for obtaining a frame motion search time obtained by summing the motion search times for each block measured in the block motion search time measurement step in units of frames;
After one frame encoding is completed , a time other than motion search is estimated from the encoding time measured in the encoding time measuring step and the frame motion search time, and the code set in the target time setting step Motion to perform motion search for the next frame by subtracting the time for processing other than motion search from the target time and subtracting the delay time when there is a delay in encoding the previous frame A motion search time setting step for setting as a search target time;
Accordance with the motion search instruction number information stored in the dynamic-out parameter storing step, a motion search control step of controlling the determined motion search motion estimation method from the motion search target time and the frame motion search time,
The processing time adaptive image coding method characterized by performing this.

演算器で動き探索とグローバル動き探索を行い，動き補償フレーム間予測符号化方式を用いて動画像を符号化する動画像符号化方法において，
画像を入力する画像入力ステップと，
画面内を領域に分割し，領域毎に動き探索をするブロック動き探索ステップと，
画面内を領域に分割し，領域毎に動き探索をしてグローバル動きベクトルを求めるグローバルブロック動き探索ステップと，
ブロック動き探索ステップにて求めた領域毎の動きベクトルとグローバルブロック動き探索ステップにて求めたグローバル動きベクトルを使って動き補償フレーム間予測符号化を行うフレーム間予測符号化ステップと，
符号化データを復号する局所復号ステップと，
を実行する動画像符号化方法であって，
符号化前に予め定められたフレームレートから１フレームを符号化する時間である符号化目標時間を設定する目標時間設定ステップと，
符号化前に予め設定した動き探索方法に対して，演算器で実行する動き探索の処理命令数である動き探索命令数情報を記憶しておく動きパラメータ記憶ステップと，
符号化前に予め設定したグローバル動き探索方法に対して，演算器で実行する動き探索の処理命令数であるグローバル動き探索命令数情報を記憶しておくグローバル動きパラメータ記憶ステップと，
入力画像の画像情報から，画面内の各領域の画像統計情報を検出するブロック優先度検出ステップと，
画像統計情報から，動き探索する領域の順序を決定する探索ブロック決定ステップと，
１フレームの符号化時間を計測する符号化時間計測ステップと，
ブロック動き探索ステップで実行される領域毎の動き探索時間を測定するブロック動き探索時間計測ステップと，
ブロック動き探索時間計測ステップにて計測されたブロック毎の動き探索時間を，フレーム単位で合計したフレーム動き探索時間を求めるブロック動き探索時間加算ステップと，
グローバルブロック動き探索ステップで実行される領域毎の動き探索時間を測定するグローバルブロック動き探索時間計測ステップと，
グローバルブロック動き探索時間計測ステップにて計測されたブロック毎の動き探索時間を，フレーム単位で合計したフレームグローバル動き探索時間を求めるグローバルブロック動き探索時間加算ステップと，
１フレーム符号化終了後に，符号化時間計測ステップにて計測された符号化時間と前記フレーム動き探索時間と前記フレームグローバル動き探索時間とから，動き探索以外の処理の時間を推定し，目標時間設定ステップにて設定される符号化目標時間から動き探索以外の処理の時間を引き，さらに前のフレームの符号化にて遅延が生じている場合にその遅延時間を引いた値をもとに，次のフレームの動き探索を行うための動き探索目標時間であるローカル動き探索目標時間と，グローバル動き探索を行うための動き探索目標時間であるグローバル動き探索目標時間を設定する動き探索時間設定ステップと，
動きパラメータ記憶ステップにて記憶してある動き探索命令数情報に従って，ローカル動き探索目標時間とフレーム動き探索時間から動き探索方法を決定し動き探索処理を制御する動き探索制御ステップと，
グローバル動きパラメータ記憶ステップにて記憶してあるグローバル動き探索命令数情報に従って，グローバル動き探索目標時間とフレームグローバル動き探索時間からグローバル動き探索方法を決定しグローバル動き探索処理を制御するグローバル動き探索制御ステップと，
を実行することを特徴とする処理時間適応画像符号化方法。In a video encoding method that performs motion search and global motion search with an arithmetic unit and encodes a video using a motion compensated interframe prediction encoding method,
An image input step for inputting an image;
A block motion search step that divides the screen into regions and performs motion search for each region;
A global block motion search step that divides the screen into regions and performs a motion search for each region to obtain a global motion vector;
An inter-frame prediction encoding step for performing motion compensation inter-frame prediction encoding using the motion vector for each region obtained in the block motion search step and the global motion vector obtained in the global block motion search step;
A local decoding step for decoding the encoded data;
A video encoding method for executing
A target time setting step for setting an encoding target time that is a time for encoding one frame from a predetermined frame rate before encoding;
A motion parameter storing step for storing motion search command number information, which is the number of motion search processing commands executed by an arithmetic unit, for a motion search method set in advance before encoding;
A global motion parameter storage step for storing global motion search command number information, which is the number of motion search processing commands executed by an arithmetic unit, with respect to a global motion search method set in advance before encoding;
A block priority detection step for detecting image statistical information of each area in the screen from the image information of the input image;
A search block determination step for determining the order of regions for motion search from image statistical information;
An encoding time measuring step for measuring the encoding time of one frame;
A block motion search time measuring step for measuring a motion search time for each area executed in the block motion search step;
A block motion search time addition step for obtaining a frame motion search time obtained by summing the motion search times for each block measured in the block motion search time measurement step in units of frames;
A global block motion search time measuring step for measuring a motion search time for each region executed in the global block motion search step;
A global block motion search time addition step for obtaining a frame global motion search time obtained by summing the motion search times for each block measured in the global block motion search time measurement step in units of frames;
After the completion of one frame encoding, the processing time other than motion search is estimated from the encoding time measured in the encoding time measuring step, the frame motion search time, and the frame global motion search time, and the target time is set. Subtract the time for processing other than motion search from the target encoding time set in step , and if there is a delay in encoding the previous frame, A motion search time setting step for setting a local motion search target time, which is a motion search target time for performing motion search of a frame, and a global motion search target time, which is a motion search target time for performing global motion search,
Accordance with the motion search instruction number information stored in the dynamic-out parameter storing step, a motion search control step of controlling the determined motion search motion estimation method from the local motion estimation target time and the frame motion search time,
Global motion search control step for controlling a global motion search process by determining a global motion search method from a global motion search target time and a frame global motion search time according to the global motion search command number information stored in the global motion parameter storage step When,
The processing time adaptive image coding method characterized by performing this.

請求項１から請求項８までのいずれか１項に記載の処理時間適応画像符号化方法をコンピュータに実行させるためのプログラムを記録した
ことを特徴とする処理時間適応画像符号化プログラムの記録媒体。A recording medium for a processing time adaptive image encoding program, wherein a program for causing a computer to execute the processing time adaptive image encoding method according to any one of claims 1 to 8 is recorded.