JP3982952B2 - Motion vector detection device - Google Patents

Motion vector detection device Download PDF

Info

Publication number
JP3982952B2
JP3982952B2 JP20984599A JP20984599A JP3982952B2 JP 3982952 B2 JP3982952 B2 JP 3982952B2 JP 20984599 A JP20984599 A JP 20984599A JP 20984599 A JP20984599 A JP 20984599A JP 3982952 B2 JP3982952 B2 JP 3982952B2
Authority
JP
Japan
Prior art keywords
motion
screen
frame
motion vector
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP20984599A
Other languages
Japanese (ja)
Other versions
JP2001036909A (en
Inventor
敬 西
雅人 野中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP20984599A priority Critical patent/JP3982952B2/en
Publication of JP2001036909A publication Critical patent/JP2001036909A/en
Application granted granted Critical
Publication of JP3982952B2 publication Critical patent/JP3982952B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は動きベクトル検出装置に関し、例えば動画像圧縮における動画像符号化時に使用して好適なものである。
【０００２】
【従来の技術】
従来のこの種の技術としては次の文献１に示されるものがある。
【０００３】
文献１：“映像機器におけるディジタル信号処理技術”（トリケップス、Ｐ．３５−Ｐ．３７）
伊東 晋、竹村 裕夫 監修
動画像は多くの情報からなり、そのデータを通信もしくは保存するためには圧縮する必要がある。動画像の圧縮方法として時間的に前の画像との相関を利用したフレーム間差分符号化方法、ブロックマッチングを使った動き補償などがある。上記文献１の中で示されているブロックマッチングを使った動き補償の方法を図２を用いて簡単に説明する。
【０００４】
図２は従来の符号化装置２０を示す図である。
【０００５】
図２において、符号化装置２０はカメラなどから取り込んだ画像データを入力する画像入力部１０１と、入力された画像信号と時間的に前に符号化した画像との差分をとる減算器１０２と、符号化するためのデータが元データか差分データかを選択するスイッチ１０３と、入力されたデータを符号化する符号化器１０４と、スイッチ１０３双び符号化器１０４を制御する符号化制御部１０５と、符号化したデータを出力する符号出力部１０６と、符号化したデータを復号する復号器１０７と、復号した差分データと参照画像とを加算する加算器１０８と、復号した画像を保存する再構成画像用メモリ１０９と、原画像を保存する原画像用メモリ１１１と、原画像用メモリ１１１と再構成画像用メモリ１０９の出力から動き補償する動き補償部２０１と、動き補償部２０１の出力を加算器１０８に出力するかを選択するスイッチ１１４とから成る。
【０００６】
つぎに符号化装置２０の動作を説明する。
【０００７】
まず画像入力部１０１にカメラなどの外部機器から取り込んだ画像データが入力されると、減算器１０２、原画像用メモリ１１１およびスイッチ１０３にデータが入力される。
【０００８】
減算器１０２に入力されたデータと時間的に前の画像との差分を計算した後、符号化制御部１０５は、差分データを符号化するか、元データを符号化するか、あるいはコマ落としするかを決める。
【０００９】
差分データの符号化はフレーム間符号化、元データの符号化はフレーム内符号化である。
【００１０】
フレーム間符号化、フレーム内符号化、コマ落としは、符号化制御部１０５からの指示を受けた符号化器１０４が実行する。
【００１１】
符号化器１０４に入力されたデータは、例えばＤＣＴのような変換や量子化などの処理を受ける。またレートコントロールなどのためにコマ落としなどを行うときは、入力データは何もせずに捨てることもある。
【００１２】
符号化器１０４で符号化されたデータは符号出力部１０６から外部に送出されると同時に復号器１０７に出力される。
【００１３】
復号器１０７に入力されたデータは例えば逆量子化、逆ＤＣＴなどの変換を受け、加算器１０８に出力される。
【００１４】
加算器１０８に入力されたデータがフレーム間符号化された差分データであれば、動き補償部２０１の出力がスイッチ１１４を介して加算器１０８に入力され、差分データと加算された後、再構成画像用メモリ１０９に出力される。フレーム内符号化の場合はそのまま再構成画像用メモリ１０９に出力される。
【００１５】
再構成画像用メモリ１０９に入力されたデータは保存され、動き補償部２０１の求めるタイミングに合わせてデータを出力する。
【００１６】
動き補償部２０１は再構成画像用メモリ１０９の出力と原画像用メモリ１１１の出力から動き補償を行い、その結果を減算器１０２およびスイッチ１１４に出力する。
【００１７】
次に動き補償部２０１の動作を図３を用いて説明する。
【００１８】
動き補償部２０１は原画像用メモリ１１１から入力された画像データと再構成画像用メモリ１０９から入力された復号データとからブロックマッチングを行い、例えば図３に示したように動きベクトル検出を行う。
【００１９】
図３の太い実線で示した外の四角ＱＥ０は動きベクトル探索範囲（前フレーム）を示し、太い実線で示した内の四角は動きベクトルを求めたいブロック（現フレーム、ここでは１６画素×１６画素のブロック）Ｑ１、点線の四角（前フレーム）は太い実線の四角ブロックと最も類似し、最も一致度が高かった前フレームのブロックＱ０である。
【００２０】
類似、すなわち一致度の評価方法には、例えば画素どうしの差分が最も小さいものをとるなどの方法がある。
【００２１】
この２つのブロック位置の差（Ｑ０を基準としたＱ１の位置ベクトル）が動きベクトルなり、これを用いて参照画像を作成し、減算器１０２およびスイッチ１１４に入力する。
【００２２】
【発明が解決しようとする課題】
しかしながら上記のように動き補償を行うと、コマ落とし時に探索範囲が拡大して演算総数が増加する問題がある。
【００２３】
普通ＴＶなどの動画像は３０Ｈｚで動作し、フレームの間隔は１／３０秒であるが、低レートで動画像伝送する場合は、コマ落としが必要な場合があり、例えば１０Ｈｚで動作をするとフレームの間隔は１／１０秒となる。これは前記１／３０秒の３倍に相当するフレーム間隔である。
【００２４】
フレーム間隔が広くなると、通常、フレーム画面中の像の移動距離も長くなるため、動きベクトル検出の範囲（探索範囲）を広げなければ像の動きを捕捉できず、動きベクトルの誤検出の可能性が高まり、十分な動き補償を行うことができない。
【００２５】
また、探索範囲を広げるということは演算回数が多くなることを意味し、ハードウエアならば消費電力アップや規模増大の要因となり、ソフトウエアならば処理能力に対する負荷を大きくする要因となる。
【００２６】
さらに、探索範囲を広げて演算数が増加すると動きベクトルを求めるための時間が長くなり、当該動きベクトルが求まるまで符号化器はフレーム間符号化を行うことができない。これは、不必要なコマ落としが起こり、フレームレートを落とす原因ともなる。
【００２７】
【課題を解決するための手段】
かかる課題を解決するために、本発明では、入力順が先の始点画面中の第１の位置を始点とすると共に、入力順が後の終点画面中の第２の位置を終点とすることで、始点画面から終点画面にいたる期間内で画面中の像の動きを示す合成動きベクトルをブロック単位に検出する動きベクトル検出装置であって、（１）前記始点画面の画像データを記憶する始点画面記憶手段と、（２）前記終点画面の画像データを記憶する終点画面記憶手段と、（３）前記始点画面と終点画面の中間の入力順で入力された少なくとも１つの中間画面を記憶する少なくとも１つの中間画面記憶手段と、（４）前記始点画面から終点画面にいたる各画面につき、入力順が相前後して隣接する２つの画面間で、前記合成動きベクトルの構成要素となる要素動きベクトルをブロック単位に求めると共に、入力順が後の２つの画面間に係る要素動きベクトルほど先に求める逐次処理を行い、複数の要素動きベクトルについてベクトル合成を行うことで、前記合成動きベクトルを生成する予測演算手段とを備えることを特徴とする。
【００２８】
【発明の実施の形態】
(Ａ）実施形態
第１〜第４の実施形態は、入力されても符号化されることなくデータを破棄されるフレームがある場合、すなわちコマ落としがある場合でも、動きベクトルを正確かつ効率的に求めることを特徴とする。
【００２９】
（Ａ−１）第１の実施形態の構成
図１は第１の実施形態の符号化装置１０を示すブロック図である。図２に示した従来の符号化装置２０の構成要素と同じ構成要素には同じ符号を付けている。図２の符号化装置２０と当該符号化装置１０とを比べた構成上の主要な相違点は、符号化装置２０では１つであった原画像用メモリの数が３つになった点と、動き補償部１１０の内部構成である。
【００３０】
図１において、符号化装置１０は画像入力部１０１と、減算器１０２と、スイッチ１０３と、符号化器１０４と、符号化制御部１０５と、符号出力部１０６と、復号器１０７と、加算器１０８と、復再構成画像用メモリ１０９と、原画像用メモリ１１１、１１２，１１３と、動き補償部１１０と、スイッチ１１４とを備えている。
【００３１】
このうち、図２と同じ符号１０１〜１０９および１１４を付した各構成要素は、その機能も符号化装置２０の対応する構成要素と同じなのでその詳しい説明は省略する。
【００３２】
動き補償部１１０の内部およびその周辺の構成を示した図４において、動き補償部１１０は第１の動き予測部４０１と、第２の動き予測部４０２と、第３の動き予測部４０３とを備えている。
【００３３】
第１の動き予測部４０１は２つの入力端子を備え、再構成画像用の入力端子には再構成画像用メモリ１０９の出力端子が接続され、原画像用の入力端子には原画像用メモリ１１３の出力端子が接続されている。
【００３４】
同様に、第２の動き予測部４０２は２つの入力端子を備え、動き予測部用の入力端子には第１の動き予測部４０１の出力端子が接続され、原画像用の入力端子には原画像用メモリ１１２の出力端子が接続されている。
【００３５】
さらに、第３の動き予測部４０３は２つの入力端子を備え、動き予測部用の入力端子には第２の動き予測部４０２の出力端子が接続され、原画像用の入力端子には原画像用メモリ１１１の出力端子が接続されている。
【００３６】
ただし、第３および第２の動き予測部４０３，４０２の動き予測部用の入力端子は、入力専用の端子ではなく、必要に応じて出力も行う入出力端子となっている。
【００３７】
結局、再構成画像用メモリ１１３と、第１の動き予測部４０１と、第２の動き予測部４０２と、第３の動き予測部４０３から構成される経路では、フレーム画面中の像の動きに関するデータが、逐次、処理されながら伝送されることになる。
【００３８】
そして、動き予測部４０１〜４０３の各部で逐次行われるこの処理のために、原画像用メモリ１１３〜１１１から供給される原画像のデータ（元データ）が使用される。
【００３９】
原画像用メモリ１１３〜１１１には、カメラなどから画像入力部１０１に連続して入力された３つのフレームのデータが格納される。３つのうちで入力順が最先の１フレームは原画像用メモリ１１３に格納され、入力順が２番目の１フレームは原画像用メモリ１１２に格納され、入力順が最後の１フレームは原画像用メモリ１１１に格納されることになる。
【００４０】
そしてこの状態で、画像入力部１０１に新たな１フレームが入力されると、その新たな１フレームは原画像用メモリ１１１に格納され、すでに原画像用メモリに格納されていた３つのフレームは、原画像用メモリ１１１から原画像用メモリ１１３に向かう方向に１メモリずつシフトしていく。
【００４１】
したがって１回のシフトで、前記最先のフレームは原画像用メモリ１１３から破棄され、前記２番目のフレームは原画像用メモリ１１２からシフトしてメモリ１１３に格納され、前記最後のフレームは原画像用メモリ１１１からシフトしてメモリ１１２に格納される。これにより、新たな最先、２番目、最後の連続３フレームが設定されることになる。
【００４２】
画像入力部１０１に１フレームが入力される間隔と符号化器１０４で１フレームの処理が行われる間隔とは一致している。
【００４３】
符号化器１０４における処理の種類は、フレーム内符号化、フレーム間符号化、いずれの符号化も行わない（コマ落とし）の３種類である。
【００４４】
ここでは、画像入力部１０１に入力されるフレームは平均１／３０秒間隔で供給され、符号出力部１０６から出力される１フレーム分の符号は、平均１／１０秒間隔で送出されるものとする。すなわち、任意の連続３フレームのうち、２フレームはコマ落ちして、符号化器１０４における符号化に用いられないケースである。
【００４５】
換言するなら、符号化装置１０の入力が３０Ｈｚであるとすると、出力は１０Ｈｚである（圧縮により、出力データレートは入力データレートの１／３よりも小さい）。
【００４６】
なお、符号化装置１０において、スイッチ１０３と１１４は連動していて、スイッチ１０３が減算器１０２側を選択しているときにはスイッチ１１４は下側の接点を選択し、動き補償部１１０の出力を加算器１０８に供給する。
【００４７】
反対に、スイッチ１０３が上側の接点を選択して元データ（画像入力部１０１に供給された状態の画像データ）を符号化器１０４に供給している場合には、スイッチ１１４は上側の接点を選択して動き補償部１１０の出力の加算器１０８への供給を停止する。
【００４８】
スイッチ１０３が上側の接点を選択するのは、符号化器１０４が（元データを用いて）フレーム内符号化を行う場合で、スイッチ１０３が減算器１０２側の接点を選択するのは符号化器１０４が（差分データを用いて）フレーム間符号化を行う場合である。
【００４９】
スイッチ１０３、１１４のこのような切替えは、符号化制御部１０５からの指示に基づいて行われる。符号化制御部１０５は通常、圧縮の効果が高まるように（符号化の効率が高まるように）フレーム内符号化とフレーム間符号化を選択し、レートコントロールを行う。
【００５０】
１つの通信の行われているあいだでも、例えば、像の動きが大きい期間やシーン切替えの時点では、フレーム内符号化のほうが選択され、像の動きが比較的少ない場合やシーン切替えが行われないときなどには、フレーム間符号化が行われるのが普通である。
【００５１】
フレーム内符号化は１フレーム内の連続した画素間にはほとんど変化のない場合が多いという特性を利用した符号化で、フレーム間符号化は連続する２フレームのあいだではフレーム画面中の同一位置の画素間にはほとんど変化のない場合が多いという特性を利用した符号化である。
【００５２】
一般に、フレーム内（予測）符号化では、高い圧縮率は望めないが受信側で高品質な画像を再現でき、フレーム間（予測）符号化は、高い圧縮率も達成可能である。
【００５３】
ただしフレーム間符号化では、フレーム画面内の像の動きが小さいときには高品質な画像を再現できるのであるが、像の動きが大きい場合、処理しなければならない情報量が増加して処理が遅れるためにレートコントロールが困難化し、再現画像の品質も劣化する可能性が高まるという性質がある。
【００５４】
そこで、符号化制御部１０５が、フレーム内符号化とフレーム間符号化につき上述した選択の切り替えを行う必要が生じるのである。
【００５５】
以下、上記のような構成を有する第１の実施形態の動作について説明する。
【００５６】
（Ａ−２）第１の実施形態の動作
まず画像入力部１０１にカメラなどから取り込んだ１フレーム（画像データ）が入力されると、この１フレームのデータは、減算器１０２、原画像用メモリ１１１およびスイッチ１０３に入力される。
【００５７】
減算器１０２では、このデータと、動き補償部１１０から供給される時間的に前の画像データとの差分が計算される。
【００５８】
減算器１０２からこの差分データを受け取った符号化器１０４は、符号化制御部１０５の制御に応じて前記フレーム間符号化を行うように動作する。
【００５９】
ただし、符号化制御部１０５からの制御は符号化器１０４に、フレーム間符号化を行わずにコマ落としすることを要求する場合もある。
【００６０】
フレーム間符号化、フレーム内符号化、コマ落としの３種類の制御は、上述したスイッチ１０３、１１４の切替えと連動して行われ、符号化装置１０全体が、フレーム内符号化用、フレーム間符号化用、またはコマ落とし用のいずれか１つに対応した状態（フレーム内符号化モード、フレーム間符号化モード、コマ落としモード）になる。
【００６１】
コマ落としは、フレーム間符号化モードでも、フレーム内符号化モードでも行われ得るが、いずれのモードでも、コマ落としがある場合とない場合の動作上の相違は、符号化器１０４が符号化を行わないか行うかという点だけである。
【００６２】
符号化する場合、符号化器１０４は、当該フレームに対し例えばＤＣＴ（離散的コサイン変換）のような変換や量子化などを行う。符号化器１０４で符号化されたデータは符号出力部１０６から外部へ送出されると同時に、復号器１０７に供給される。
【００６３】
復号器１０７に入力されたデータは例えば逆量子化、逆ＤＣＴなどの処理を受けて復号される。これらの処理は、符号化器１０４における符号化に対応した処理である。復号器１０７の出力は、加算器１０８の一方の入力端子に供給される。
【００６４】
当該データが符号化器１０４でフレーム間符号化された差分データである場合、符号化装置１０はフレーム間符号化モードとなっていてスイッチ１１４は下側の接点を選択している。このため、加算器１０８の他方の入力端子には動き補償部１１０の出力（参照画像情報）が供給される。
【００６５】
そしてこのとき、加算器１０８は両入力端子に供給されたデータを加算してその加算結果を再構成画像用メモリ１０９に供給する。
【００６６】
参照画像情報は、１フレーム画面分の画素値と、ブロックの位置と、動きベクトルの情報を備えた構成のデータである。
【００６７】
加算器１０８の一方の入力端子に供給される復号データ（差分データ）は、もともと減算器１０２で当該参照画像情報を減算されることによって得られたデータであるから、この参照画像情報を加えることによって、画像入力部１０１に入力された時点の状態（元データ）に復元される。
【００６８】
なお、フレーム内符号化モードの場合、スイッチ１１４が上側の接点を選択しているため、復号器１０７の出力は、加算器１０８での加算によって変化せず、そのまま再構成画像用メモリ１０９に出力される。
【００６９】
いずれにしても加算器１０８の出力データは再構成画像用メモリ１０９に入力されて保存され、動き補償部１１０の求めるタイミングに合わせて再構成画像用メモリ１０９から動き補償部１１０へと供給される。
【００７０】
一方、画像入力部１０１から順に入力された画像データは原画像用メモリ１１１に保存された後、上述したように順にシフトして原画像用メモリ１１２，１１３に保存される。
【００７１】
本実施形態では、原画像用メモリ１１１〜１１３は３つなので、過去３フレーム分の画像データを保存できる。
【００７２】
動き補償部１１０は再構成画像用メモリ１０９の出力と、原画像用メモリ１１１〜１１３の出力に基づいて動き補償を行い、その結果を減算器１０２およびスイッチ１１４に出力する。
【００７３】
動き補償とは動きベクトルを求める操作のことである。動きベクトルはフレーム画面内の像の動きの大きさや方向を示す位置ベクトルに対応する情報であり、通常、フレーム画面内の像の動きをブロックの平行移動とみなして求められる。
【００７４】
このような動きベクトルは、フレーム間符号化の符号化効率を高め、像の動きが大きい場合などでも、処理しなければならない情報量をできるだけ抑圧することによりレートコントロールを容易化するとともに、受信側での再現画像の品質を高めるために利用される。
【００７５】
したがって動きベクトルはフレーム間符号化モード以外では求める必要がないため、フレーム間符号化モード以外には動き補償部１１０は動作を停止していてよい。
【００７６】
ただし、フレーム内符号化モードからフレーム間符号化モードに切り替わったあとできるだけ早期に動きベクトルを求めるためには、再構成画像用メモリ１０９の格納内容や原画像用メモリ１１１〜１１３の格納内容は、フレーム内符号化モードでも、画像入力部１０１に新たなフレームが入力され、符号化器１０４で何らかの符号化が行われるたびに逐次、更新したほうがよい。
【００７７】
図４に示す第１の動き予測部４０１は原画像用メモリ１１３から入力された画像データと、再構成画像用メモリ１０９から入力された復号データと、第２の動き予測部４０２から供給される補償部内参照画像情報をもとに、ブロックマッチングを用いて例えば図５に示したように動きベクトルＶ１の検出を行う。
【００７８】
ブロックマッチング方式による動きベクトルの検出は、入力順があとの１フレーム内のブロックＢ１と入力順が先の１フレーム内の任意のブロックとを比較して、入力順が先の１フレームのなかに当該ブロックＢ１と最も一致するブロックＢ２を求める（探索する）ことによって行われる。
【００７９】
ブロックＢ１、Ｂ２などのブロックの大きさは、ここでは１６×１６画素程度であるものとする。もちろん、これよりも大きなブロックや小さなブロックを使用することは可能である。
【００８０】
１つの動きベクトルを求めるために必要な演算の総数は、ブロックの大きさが大きくなるほど増加する傾向がある。
【００８１】
また、最も一致するブロックを探索する範囲を、入力順が先の１フレーム全部とすると演算数が増え過ぎるため、通常は、１フレームの一部に探索範囲を設定し、当該探索範囲内にかぎって探索する。
【００８２】
１つの動きベクトルを求めるために必要な演算の総数はまた、この探索範囲の大きさが大きくなるほど増加する傾向がある。
【００８３】
例えばこの演算総数Ｌは、前記文献１に記載されている次の式（１）によって求めることができる。
【００８４】
Ｌ＝（２Ｊ＋１）×（２Ｋ＋１）×（Ｍ×Ｎ）×３ …(１）
ここで、Ｍ、Ｎはブロックサイズ（Ｍライン×Ｎ画素）を示し、Ｊ、Ｋは探索範囲（±Ｊライン／フレーム、±Ｋ画素／フレーム）に対応し、最後の３は、画素ごとの差分演算、差分結果の絶対値または自乗を求めるための変換演算、およびこの変換結果を累積するための累積演算の３種の演算に対応している。
【００８５】
一例として、Ｊ＝Ｋ＝Ｍ＝Ｎ＝８とすると、動きベクトルを求めるためのブロックあたりの演算総数は５５４８８回、１画素あたり８６７回の演算数を要することになる。
【００８６】
探索範囲は広げれば広げるほど像の大きな動きに対応でき、動き補償能力は向上するが、式(１）から明らかなように、演算数が膨大となる。
【００８７】
もっとも、この式（１）は、１つの探索範囲の内部での演算数を示しているに過ぎず、実際に動きベクトルを求めるためには、このような探索範囲を相互にオーバーラップするように前フレーム上の全面に多数設定する必要があり、その数だけ前記５５４８８回という値に乗じて得られる値が、通常、フレーム間のブロックマッチングで必要な演算数となる。
【００８８】
次に、図５〜図７を用いて本実施形態の動き補償部１１０の動作の説明をする。前提として、入力順が連続する３フレームが、入力順に原画像用メモリ１１３，１１２，１１１に格納されているのは上述した通りであるが、再構成画像用メモリ１０９に格納されている画像データは、原画像用メモリ１１３に格納されているフレームの画像データよりも入力順が１つ先のデータである。
【００８９】
これらの連続する４フレームを、入力順にＦ３、Ｆ２、Ｆ１、Ｆ０とする。現時点のフレームＦ０から入力順が遅い順に配列すると、Ｆ１、Ｆ２、Ｆ３と順次さかのぼっていく。
【００９０】
現時点で、符号化装置１０はフレーム間符号化モードになっていて、再構成画像用メモリ１０９にはフレームＦ３が格納され、原画像用メモリ１１３にはフレームＦ２が格納され、原画像用メモリ１１２にはフレームＦ１が格納され、原画像用メモリ１１１にはフレームＦ０が格納されている。
【００９１】
フレームＦ３は符号化器１０４が直前に符号化したフレームで、フレームＦ２、Ｆ１は符号化器１０４が符号化せずにコマ落とししたフレームであり、フレームＦ０はいま画像入力部１０１に供給されているフレームである。
【００９２】
符号化器１０４は当該フレームＦ０の差分データをフレーム間符号化しようとしているが、その符号化に先立って差分データを得るため、動き補償部１１０が出力する参照画像情報を用いて減算器１０２における減算を行わなければならない。
【００９３】
タイミング上、フレームＦ０の画像データは、少なくとも後述する第１〜第３の動き予測部４０１〜４０３における処理が行われている期間、カメラなどの外部機器によって画像入力部１０１に保持される必要がある。
【００９４】
また、前記第１の動き予測部４０１以外では、第２の動き予測部４０２には原画像用メモリ１１２からフレームＦ１の画像データが供給され、第３の動き予測部４０３には原画像用メモリ１１１からフレームＦ０の画像データが供給されている。
【００９５】
符号化制御部１０５は、符号化器１０４にフレーム間符号化を行わせようとしている今、動き補償部１１０に動きベクトルを求めさせるため、以下の動作を行わせる。
【００９６】
図５において、中央に位置した四角形Ｐ０はフレームＦ０の画面内のブロックであり、その左上の四角形Ｐ１はフレームＦ１の画面内のブロックである。
【００９７】
外側の大きな四角形ＳＥ１は、フレームＦ０上のブロックＰ０の位置を中心としてフレームＦ１上に設定した動きベクトル探索範囲である。このＳＥ１は図３のＱＥ０と同じ大きさであってよい。
【００９８】
図５の状態は、第２の動き予測部４０２からフレームＦ１の画像データを受け取り、原画像用メモリ１１１からフレームＦ０の画像データを受け取った第３の動き予測部４０３が、フレームＦ０内の任意のブロックを基準に、フレームＦ１内の探索範囲ＳＥ１を前記ブロックマッチング方式によって調べた結果、フレームＦ１内のブロックＰ１と、フレームＦ０内のブロックＰ０の一致度が最も高いことを検出した状態である。
【００９９】
これにより、ブロックＰ１からＰ０に向かう（Ｐ１を始点、Ｐ０を終点とする）動きベクトルＶ１が求められる。
【０１００】
この例では、検出された動きベクトルはＶ１だけであるが、フレーム画面内で複数の像が移動することなどもあり得るため、複数の動きベクトルが同時に検出されることもあり得る。
【０１０１】
なお、探索範囲ＳＥ１の大きさは、面積にして、例えばブロック（Ｐ０など）の数倍〜数十倍程度であってよい。
【０１０２】
第３の動き予測部４０３から第２の動き予測部４０２に供給される情報は、当該動きベクトルＶ１の情報と、当該ブロックＰ１の情報から構成される補償部内参照画像情報である。
【０１０３】
次に、原画像用メモリ１１２からフレームＦ１の画像データを受け取るとともに、この補償部内参照画像情報を受け取り、さらに第１の動き予測部４０１からフレームＦ２の画像データを受け取った第２の動き予測部４０２では、図６に示す動きベクトルＶ２を求める処理が行われる。
【０１０４】
第２の動き予測部４０２で行われるこの処理は、第３の動き予測部４０３における処理と同様に、フレームＦ１内の任意のブロック（前記Ｐ１を含む）を基準に、フレームＦ２内の探索範囲ＳＥ２をブロックマッチング方式によって調べた結果、フレームＦ２内のブロックＰ２と、フレームＦ１内のブロックＰ１の一致度が最も高いことを検出した状態である。
【０１０５】
これにより、ブロックＰ２からＰ１に向かう動きベクトルＶ２が求められる。
【０１０６】
なお、探索範囲ＳＥ２の大きさおよび位置は、前記探索範囲ＳＥ１と同じである。
【０１０７】
第２の動き予測部４０２から第１の動き予測部４０１に供給される補償部内参照画像情報は、動きベクトルＶ２の情報と、当該ブロックＰ２の情報から構成される。
【０１０８】
最後に、原画像用メモリ１１３からフレームＦ２の画像データを受け取るとともに、この補償部内参照画像情報を受け取り、さらに再構成画像用メモリ１０９からフレームＦ３の画像データを受け取った第３の動き予測部４０３では、図７に示す動きベクトルＶ３を求める処理が行われる。
【０１０９】
この処理は、第２の動き予測部４０２における処理と同様のブロックマッチングを利用した処理である。
【０１１０】
そしてこのブロックマッチングに対応する探索範囲ＳＥ３の大きさおよび位置は、前記ＳＥ１、ＳＥ２と同じである。
【０１１１】
第１の動き予測部４０１における処理が終わると、動きベクトルＶ３などの情報は第２の動き予測部４０２を介して第３の動き予測部４０３へ送られる。第３の動き予測部４０３はまた、適当なタイミングで、第２の動き予測部４０２からも動きベクトルＶ２などの情報を受け取っていて、図７に示すような、合成動きベクトルＶを生成する。
【０１１２】
この合成動きベクトルＶは、前記動きベクトルＶ１、Ｖ２、Ｖ３のベクトル和の結果として得られる動きベクトルである。この合成動きベクトルＶは、フレームＦ０からＦ３までの期間における画面内での像の動きを示している。
【０１１３】
第３の動き予測部４０３はこの合成動きベクトルＶの情報や、必要な画素値の情報を含む参照画像情報を構成して動き補償部１１０の外部へ出力する。出力されたこの参照画像情報は、減算器１０２およびスイッチ１１４に供給される。
【０１１４】
この参照画像情報を受け取った減算器１０２は、画像入力部１０１から供給されているフレームＦ０の元データからこの参照画像情報を減算し、その減算結果としての差分データを符号化器１０４に供給する。
【０１１５】
そして符号化器１０４が当該差分データに対してフレーム間符号化を施して、符号化結果を符号出力部１０６から外部に送出するとともに、復号器１０７に供給する。
【０１１６】
以上のように入力順が遅い順に、Ｆ０とＦ１のあいだ、Ｆ１とＦ２のあいだ、Ｆ２とＦ３のあいだで、それぞれブロックマッチングを行うことにより、動いた結果、新しいフレーム（Ｆ１に対してはＦ０、Ｆ２に対してはＦ１、Ｆ３に対してはＦ２）上に存在しなくなる像について動きベクトルを求めてしまう無駄を排除し、効率的な演算を行うことができる。
【０１１７】
図５〜図７の例では、コマ落としはＦ１、Ｆ２の連続する２フレームに対して行われたが、コマ落としが１フレームにだけ行われる場合、およびコマ落としが行われない場合について説明する。
【０１１８】
それまでコマ落としを行わずに、符号化器１０４が連続してフレームの符号化を行っている状況を想定すると、メモリ１１１〜１１３および１０９にはすべて、符号化されたフレームの画像データが格納されている。
【０１１９】
この状態で、画像入力部１０１に１フレームが入力され、この１フレームがコマ落としされるフレームであるとする。つづいて画像入力部１０１に入力されるフレームが、符号化器１０４においてフレーム間符号化されるフレームであるとすると、動き補償部１１０はこのフレーム間符号化のために動作する。
【０１２０】
このとき、メモリ１１１内のＦ０がこのフレーム、メモリ１１２内のＦ１がコマ落としされたフレーム、メモリ１１３内のＦ２およびメモリ１０９内のＦ３は符号化されたフレームである。
【０１２１】
このケースにおいては、動き補償部１１０の内部で、第１の動き予測部４０１の動作の一部と、第２の動き予測部４０２の動作と、第３の動き予測部４０３の動作だけが意味を持つ。Ｆ０とＦ１のあいだ、およびＦ１とＦ２のあいだで２つの動きベクトルが求められ、これらのベクトル和が、動き補償部１１０から出力される参照画像情報の構成要素となるからである。
【０１２２】
同様に、それまでコマ落としが全く行われてこなかったケースで、符号化器１０４が最新の入力フレームＦ３を処理（フレーム間符号化）する場合、第３の動き予測部４０３の動作と第２の動き補償部４０２の一部の動作だけが意味を持つ。この場合、本実施形態の符号化装置１０の機能は、実質的に、上述した従来の符号化装置２０の機能と同じとなる。
【０１２３】
本実施形態では、原画像用メモリ１１１〜１１３を３つ設けたため、最大で２つ連続するコマ落としにしか効率的に対応できないが、３つ以上連続するコマ落としに対しては、従来の符号化装置２０における２つ以上連続するコマ落としに対する処理と同じ方法で対応し得る。
【０１２４】
また、本実施形態において、原画像用メモリおよび動き補償部１１０内部の動き予測部の数を増加すれば、３つ以上の連続コマ落としにも効率的に対応することが可能となる。
【０１２５】
なお、上記の例では、合成された動きベクトルＶは、フレームＦ０上に終点を持ち、フレームＦ３上に始点を持っていたが、本実施形態で検出される動きベクトルはこのようなベクトルに限定されない。
【０１２６】
例えば、コマ落としされたフレームＦ２とＦ１のあいだでだけ動く像や、Ｆ１とＦ０のあいだでだけ動く像、Ｆ３とＦ２のあいだでだけ動く像、Ｆ２とＦ０のあいだでだけ動く像、Ｆ３とＦ１のあいだでだけ動く像などもあり得る。
【０１２７】
一例として、Ｆ２とＦ１のあいだでだけ動く像の動きベクトルは、第２の動き予測部４０２で求められた動きベクトルが唯一のベクトルで、それ以外に合成すべきベクトルを持たない。このような動きベクトルに関連する情報も、動き補償部１１０から出力される前記参照画像情報に含まれ得る。
【０１２８】
一方、前記連続２フレームコマ落としのケースで、もしも本実施形態のように、コマ落としされたフレームＦ１とＦ２を使用してＶ１、Ｖ２、Ｖ３を求めてからこれらを合成して最終的な動きベクトルＶを求めるのではなく、従来のようにフレームＦ３とＦ０のあいだのブロックマッチングだけで直接、動きベクトルＶを求めようとすると、探索範囲を相当に大きく設定しなければ動きベクトルＶを検出すること自体が困難になり、動き補償能力が低下する。
【０１２９】
しかし探索範囲を大きくすると上述したように演算の総数が増加し、レートコントロールが難しくなる。
【０１３０】
また、フレームＦ３とＦ０のあいだのブロックマッチングを行う場合は、コマ落としされたフレームＦ１、Ｆ２に相当する期間に、動きベクトルの始点ブロックと終点となるべきブロックのあいだの一致度が低下し、誤った動きベクトルを検出してしまう可能性も高まって、動き補償能力が損なわれる。
【０１３１】
具体的には、連続する２つのフレーム間（例えばＦ０、Ｆ１間）の時間に比べて、Ｆ２、Ｆ１がコマ落としされた場合のＦ０とＦ３の間の時間は３倍になるため、フレーム画面内の像の動きの大きさは、Ｆ０、Ｆ３間ではＦ０、Ｆ１間の３倍になる。
【０１３２】
従来の符号化装置２０でこの３倍の大きさの動きを捕捉するためには、探索範囲（前記ＱＥ０に相当）の面積を９（＝３２）倍にしなければならない。これに応じて演算数も、ほぼ９倍になる（式(１）参照）。
【０１３３】
これに対して本実施形態では、このＱＥ０と同じ探索範囲で３回演算を実行するだけでよいため、探索範囲の面積の合計はＱＥ０の３倍で足りる。
【０１３４】
この観点から、その他の条件が同じ場合、本実施形態の演算総数は、従来の１／３程度でよいことになる。
【０１３５】
（Ａ−３）第１の実施形態の効果
以上詳細に説明したように、本実施形態によれば、コマ落としがあったり、コマ落としフレームが連続する場合でも、演算総数の増加を抑えてレートコントロールを容易にし、正確な動きベクトルを検出して動き補償能力の低下を防ぐことができるため、符号化装置の信頼性を向上することが可能となる。
【０１３６】
また、演算総数を抑制できるということは、ハードウエア的には符号化装置のの消費電力を低減し、規模を縮小できることを意味し、ソフトウエア的には、処理能力に対する負荷を軽減できることを意味する。
【０１３７】
（Ｂ）第２の実施形態
本実施形態では、第１の実施形態の動き補償部の処理で一定であった探索範囲の位置を変化させ、大きさを小さくすることを特徴とする。
【０１３８】
（Ｂ−１）第２の実施形態の構成および動作
第１の実施形態と本実施形態の構成上、動作上の主要な相違点は、動き補償部に関する点にかぎられる。
【０１３９】
図１において、本実施形態の動き補償部には、第１の実施形態の動き補償部１１０と区別するために符号１１０Ａを付する。同様に、本実施形態の符号化装置には、第１の実施形態の符号化装置１０と区別するために符号１０Ａを付する。
【０１４０】
以下では、第１の実施形態の構成、動作と異なる点についてのみ説明する。
【０１４１】
本実施形態の動き補償部１１０Ａの内部およびその周辺の構成を図８に示す。
【０１４２】
図８において、動き補償部１１０Ａは第１の動き予測部８０１と、第２の動き予測部８０２と、第３の動き予測部８０３と、探索範囲制御部８０４とから構成されている。
【０１４３】
第１の動き予測部８０１は前記第１の動き予測部４０１に対応し、第２の動き予測部８０２は前記第２の動き予測部４０２に対応し、第３の動き予測部８０３は前記第３の動き予測部４０３に対応するが、それぞれ探索範囲制御部８０４に関連する機能も備えている。
【０１４４】
すなわち、第１の動き予測部５０１は再構成画像用メモリ１０９からの信号を入力する部分と原画像用メモリ１１３からの信号を入力する部分と探索範囲制御部８０４からの制御信号を入力する部分を備え、第２の動き予測部８０２は原画像用メモリ１１２からの信号を入力する部分と探索範囲制御部８０４からの制御信号を入力する部分を備え、第３の動き予測部８０３は原画像用メモリ１１３からの信号を入力する部分と探索範囲制御部８０４からの制御信号を入力する部分を備えている。
【０１４５】
次に、第１の実施形態のＦ１、Ｆ２の２フレーム連続のコマ落としがある場合を例に、本実施形態の動作を説明する。
【０１４６】
まず第３の動き予測部８０１は、原画像用メモリ１１１から入力された画像データＦ０と、第２の動き予測部８０２から得たフレームＦ１の画像データのあいだで、ブロックマッチングを用いて動きベクトル検出を行う。
【０１４７】
このブロックマッチングに際して、探索範囲制御部８０４は動き予測部８０１に探索範囲を指示する。ここで指示された探索範囲が、図５に一点鎖線で示した探索範囲ＶＥ１である。探索範囲ＶＥ１は、フレームＦ０上のブロックＰ０の位置を中心としてフレームＦ１上に設定した探索範囲である。
【０１４８】
上述した２連続コマ落としのケースにおいて、従来は、フレームＦ３とＦ０のあいだで直接、探索（ブロックマッチング）し、動きベクトルＶを求める。この探索を±１５画素の探索範囲で行うものとすると、本実施形態では、±５画素の探索範囲で探索しても動き補償能力は従来よりも高い。
【０１４９】
なぜなら、フレームＦ１とＦ０のあいだの時間はフレームＦ３とＦ０のあいだの時間の１／３であるため、フレーム画面中で像が動く距離は１／３になるのに加えて、動きベクトルの始点ブロックと終点となるべきブロックのあいだの一致度は、経過時間の短いフレームＦ１、Ｆ０間のほうが、Ｆ３、Ｆ０間よりも高いのが普通だからである。
【０１５０】
例えばフレームＦ３とＦ０の時間間隔を１／３０秒とすると、フレームＦ１とＦ０の時間間隔はほぼ１／１００秒であるため、Ｆ１、Ｆ０間ではＦ３、Ｆ０間に比べて、フレーム画面中の像（被写体）の動く距離は短く、光学的な条件などの変化で当該像の同じ部位の画素値が変化してしまう程度や頻度も低い。
【０１５１】
さらに、始点ブロックと終点ブロックの一致度が高いということは、本来、動きベクトルでないものを動きベクトルとして誤って検出する可能性が低いことを意味する。
【０１５２】
次に、第２の動き予測部８０２において、第１の動き予測部８０１の処理で得られた動きベクトルをもとに動きベクトル検出を行う。その場合も同様に探索範囲制御部８０４が指示された探索範囲で検出を行う。この探索範囲は、図６に一点鎖線で示した探索範囲ＶＥ２である。
【０１５３】
探索範囲ＶＥ２は、フレームＦ１上のブロックＰ１の位置を中心としてフレームＦ２上に設定した探索範囲である。
【０１５４】
同様に、第１の動き予測部８０１は、画像用メモリ１１３から入力された画像データＦ２と再構成画像用メモリ１０９から入力された復号データＦ３とからブロックマッチングを用いて動きベクトル検出を行う。
【０１５５】
ここでのブロックマッチングも、第２の動き予測部８０２の処理で得られた動きベクトルをもとに行われ、動きベクトルが検出される。その場合も同様に探索範囲制御部８０４が指示した探索範囲ＶＥ３で検出を行う。
【０１５６】
探索範囲ＶＥ３は、フレームＦ２上のブロックＰ２の位置を中心としてフレームＦ３上に設定した探索範囲である。
【０１５７】
本実施形態では第１の実施形態の探索範囲と異なり、この±５画素という小さな探索範囲のフレーム画面中の位置は、図５〜図７に一点鎖線で示した探索範囲ＶＥ１、ＶＥ２、ＶＥ３のように変化していく。そしてこれらＶＥ１〜ＶＥ３の存在し得る領域は、第１の実施形態の前記ＳＥ１の範囲に限定しても、第１の実施形態と同等な動き補償能力が保たれる。
【０１５８】
本実施形態の探索範囲ＶＥ１などの面積は第１の実施形態の探索範囲ＳＥ１などの面積の１／９なので、その他の条件が同一ならば、本実施形態の演算数は第１の実施形態の演算数の１／９程度になる。
【０１５９】
最後に、第３の動き予測部８０３が、得られた各動きベクトルのベクトル和を用いて参照画像情報を作成し、減算器１０２およびスイッチ１１４に入力する点などは、第１の実施形態と同じである。
【０１６０】
（Ｂ−２）第２の実施形態の効果
本実施形態によれば、第１の実施形態の効果と同等な効果を得ることができる。
【０１６１】
加えて、本実施形態では、第１の実施形態に比べて演算総数はさらに減少することが可能である。
【０１６２】
例えば上下左右１５画素の探索範囲の全探索をして検出する場合、第１の実施形態の評価値演算の回数は、３１×３１＝９６１回（前記式(１）参照）であるが、本実施形態では１回毎に上下左右５画素の範囲を検出することで第１の実施形態と同じ範囲をカバーしているので、（１１×１１）×３＝３６３回である。よって演算数は、約６２％の削減が可能となる。
【０１６３】
なお、合成動きベクトルを求めるため第３〜第１の動き予測部で行われる３回のブロックマッチングのための演算数で比較すると、本実施形態の演算数は上述したように、第１の実施形態の演算数のほぼ１／９になる。
【０１６４】
反対に第１の実施形態と同じ程度の演算総数を許容するなら、本実施形態では、探索範囲を大きくしてフレーム画面内でのいっそう大きな像の動きに対応することができるので、動き補償能力が向上する。
【０１６５】
(Ｃ）第３の実施形態
第１および第２の実施形態では、フレーム画面内で上下左右に連続する画素すべてについて評価値演算を行っていたが、本実施形態は評価値演算の対象となる画素を断続的に設定することを特徴とする。
【０１６６】
（Ｃ−１）第３の実施形態の構成および動作
第１の実施形態と本実施形態の構成上、動作上の主要な相違点は、動き補償部に関する点にかぎられる。
【０１６７】
図１において、本実施形態の動き補償部には、第１の実施形態の動き補償部１１０と区別するために符号１１０Ｂを付する。同様に、本実施形態の符号化装置には、第１の実施形態の符号化装置１０と区別するために符号１０Ｂを付する。
【０１６８】
以下では、第１の実施形態の構成、動作と異なる点についてのみ説明する。
【０１６９】
本実施形態の動き補償部１１０Ｂの内部およびその周辺の構成を図９に示す。
【０１７０】
図９において、動き補償部１１０Ｂは第１の動き予測部９０１と、第２の動き予測部９０２と、第３の動き予測部９０３と、評価値演算制御部９０４とから構成されている。
【０１７１】
第１の動き予測部９０１は前記第１の動き予測部４０１に対応し、第２の動き予測部９０２は前記第２の動き予測部４０２に対応し、第３の動き予測部９０３は前記第３の動き予測部４０３に対応するが、それぞれ評価値演算制御部９０４に関連する機能も備えている。
【０１７２】
すなわち、第１の動き予測部９０１は再構成画像用メモリ１０９からの信号を入力する部分と原画像用メモリ１１３からの信号を入力する部分と評価値演算制御部９０４からの制御信号を入力する部分を備え、第２の動き予測部９０２は原画像用メモリ１１２からの信号を入力する部分と評価値演算制御部９０４からの制御信号を入力する部分を備え、第３の動き予測部９０３は原画像用メモリ１１３からの信号を入力する部分と評価値演算制御部９０４からの制御信号を入力する部分を備えている。
【０１７３】
図１０は１６画素×１６画素（＝２５６画素）のブロックで、白い四角形も黒い四角形も当該ブロック内の各画素を示している。このブロックが動きベクトルを求める際の単位なので、第１および第２の実施形態では、白および黒の四角形すべて（２５６画素）について評価値演算を行っていたことになる。
【０１７４】
これに対し本実施形態では、例えば黒い四角形の１２８画素についてのみ評価値演算を行うことになる。
【０１７５】
そのため、本実施形態の動き補償部１１０Ｂは、以下のようになる。
【０１７６】
まず、第３の動き予測部９０３は画像用メモリ１１１から入力された画像データＦ０と第２の動き予測部９０２から供給される画像データＦ１とから、ブロックマッチングを用いて動きベクトル検出を行う。
【０１７７】
この際に、評価値演算制御部９０４が、評価値演算に用いる画素を例えば図１０の黒い部分に相当する画素のみとするように、第１の動き予測部９０１に指示する。
【０１７８】
次に第２の動き予測部９０２において、第３の動き予測部９０３における処理の結果得られた動きベクトルをもとに動きベクトル検出を行う。その場合、第２の動き予測部９０２も、第３の動き予測部９０３と同様に評価値演算制御部９０４が指示した方法で検出を行う。
【０１７９】
第１の動き予測部９０１が、第２の動き予測部９０２における処理の結果得られた動きベクトルをもとに動きベクトル検出を行う場合も、同様に評価値演算制御部９０４が指示した方法で検出を行う。
【０１８０】
第３の動き予測部得９０３は得られた各動きベクトルのベクトル和を用いて参照画像情報を作成し、減算器１０２およびスイッチ１１４に入力する。
【０１８１】
なお、本実施形態のように評価値演算に用いる画素の密度を減らすと、演算数が減少する一方で、一致度自体の精密さが低下して動きベクトルの誤検出が発生する可能性は高まると考えられるが、一致度の精密さの低下の影響が動きベクトルの誤検出をもたらさない範囲で画素の密度を減らすようにするとよい。
【０１８２】
（Ｃ−２）第３の実施形態の効果
本実施形態によれば、第１の実施形態の効果と同等な効果を得ることができる。
【０１８３】
加えて、本実施形態では、第１の実施形態に比べて演算総数はさらに減少することが可能である。
【０１８４】
例えば、上述したように１画素おきに（黒い四角形についてだけ）評価値演算を行う場合、すべての画素を用いて評価値演算した場合の半分の演算回数で評価値が求められる。
【０１８５】
反対に、本実施形態で第１の実施形態と同じ回数の演算を行う場合には、探索範囲を広げることができ、像の急激な動きにも対応してより正確に動きベクトルを検出することが可能で、動き補償能力が向上する。
【０１８６】
(Ｄ）第４の実施形態
第１〜第３の実施形態の動き補償部の処理では、動きベクトルは最初から一致度が最も高いブロック間に１つだけ検出し、その１つについて処理を進めたため、もしも第１〜第３の動き予測部の１つで求められた動きベクトルに誤りがあると、最終的に動き補償部から出力される動きベクトルの情報も誤ったものとなる。
【０１８７】
これに対し、本実施形態では、複数の候補ベクトルを求め、動き補償部における処理の過程で、複数の候補ベクトルのなかから１つの動きベクトルを選択することを特徴とする。
【０１８８】
（Ｄ−１）第４の実施形態の構成および動作
第１の実施形態と本実施形態の構成上、動作上の主要な相違点は、動き補償部に関する点にかぎられる。
【０１８９】
図１において、本実施形態の動き補償部には、第１の実施形態の動き補償部１１０と区別するために符号１１０Ｃを付する。同様に、本実施形態の符号化装置には、第１の実施形態の符号化装置１０と区別するために符号１０Ｃを付する。
【０１９０】
以下では、第１の実施形態の構成、動作と異なる点についてのみ説明する。
【０１９１】
本実施形態の動き補償部１１０Ｃの内部およびその周辺の構成を図１１に示す。
【０１９２】
図１１において、動き補償部１１０Ｃは第１の動き予測部１１０１と、第２の動き予測部１１０２と、第３の動き予測部１１０３と、評価値演算制御部１１０４と、候補ベクトル決定部１１０５と、動きベクトル決定部１１０６とから構成されている。
【０１９３】
なお、評価値演算制御部１１０４は、第３の実施形態における評価値演算制御部９０４の機能に加え、第２の実施形態の探索範囲制御部８０４の持つ機能をも装備している。
【０１９４】
第１の動き予測部１１０１は前記第１の動き予測部４０１に対応し、第２の動き予測部１１０２は前記第２の動き予測部４０２に対応し、第３の動き予測部１１０３は前記第３の動き予測部４０３に対応するが、それぞれ評価値演算制御部１１０４、候補ベクトル決定部１１０５、動きベクトル決定部１１０６に関連する機能も備えている。
【０１９５】
すなわち、第１の動き予測部１１０１は再構成画像用メモリ１０９からの信号を入力する部分と原画像用メモリ１１３からの信号を入力する部分と評価値演算制御部１１０４からの制御信号を入力する部分を備え、第２の動き予測部１１０２は原画像用メモリ１１２からの信号を入力する部分と第１の動き予測部１１０１からの信号を入力する部分と評価値演算制御部１１０４からの制御信号を入力する部分を備え、第３の動き予測部１１０３は原画像用メモリ１１３からの信号を入力する部分と候補ベクトル決定部１１０５からの信号を入力する部分と評価値演算制御部１１０４からの制御信号を入力する部分を備えている。
【０１９６】
次に、図１１〜１４を用いて動き補償部１１０Ｃの動作の説明をする。
【０１９７】
まず第３の動き予測部１１０３は原画像用メモリ１１１から入力された画像データＦ０と、候補ベクトル決定部１１０５を介して第２の動き予測部１１０２から供給される画像データＦ１とから、ブロックマッチングを用いて動きベクトルの検出を行う。その場合、評価値演算制御部１１０４は第３の動き予測部１１０３に対し、候補ベクトルとして例えば２本挙げるように指示する。
【０１９８】
第３の動き予測部１１０３は、例えば上述した一致度が高い順に、ブロックを２組選択することで、一例として、図１２に示した２本の候補ベクトルＶ１−１、Ｖ１−２を得るものとする。
【０１９９】
図１２は、フレームＦ１中のブロックのうちで、フレームＦ０中のブロックＰ０との一致度が最も高いブロックがＰ１−１であり、２番目に高いブロックがＰ１−２であり、Ｐ０、Ｐ１−１間、Ｐ０、Ｐ１−２間に動きベクトルの第１次候補ベクトルＶ１−１、Ｖ１−２が得られたケースである。ＦＶ１は、前記ＶＥ１と同様な探索範囲である。
【０２００】
次いで、第２の動き予測部１１０２は評価値演算制御部１１０４からの指示によって、１本の第１次候補ベクトルにつき２本ずつ、第２次の候補ベクトルを求める。
【０２０１】
第２次の候補ベクトルは、例えば図１３に示すＶ２−１、Ｖ２−２、Ｖ２−３、Ｖ２−４のような、４本のベクトルである。第１次の候補ベクトルと同様、第２次の候補ベクトルも一致度に応じて求めることができる。
【０２０２】
図１３中、ＦＶ２−１、ＦＶ２−２は、前記ＶＥ２と同様な探索範囲であるが、本実施形態では、２つの第１次の候補ベクトルについて処理するため、２つの探索範囲が設定されている。
【０２０３】
フレームＦ２上に設定された探索範囲ＦＶ２−１のなかのブロックのうちで、ブロックＰ１−１に対する一致度が最も高いブロックがＰ２−１で、２番目に高いブロックがＰ２−２であり、同様に、フレームＦ２上に設定された探索範囲ＦＶ２−２中のブロックのうちで、ブロックＰ１−２に対する一致度が最も高いブロックがＰ２−３で、２番目に高いブロックがＰ２−４であるものとする。
【０２０４】
本実施形態の補償部内参照画像情報は、上述した第１の実施形態の補償部内参照画像情報に加えて、これらの各次の候補ベクトルの情報やこれらの候補ベクトルに関する付帯情報を含んでいる。この付帯情報は、例えば第２次の各候補ベクトルの始点ブロックに対する終点ブロックの一致度の情報であってよい。
【０２０５】
第２の動き予測部１１０２は、補償部内参照画像情報を第１の動き予測部１１０１に供給する前に、候補ベクトル決定部１１０５の処理を受ける。
【０２０６】
この補償部内参照画像情報を受け取った候補ベクトル決定部１１０５は、Ｖ２−１とＶ２−２のなかから１つの候補ベクトルを選択するとともに、Ｖ２−３とＶ２−４のなかから１つの候補ベクトルを選択する。
【０２０７】
この選択には例えば、前記始点ブロックに対する終点ブロックの一致度を使用してもよい。
【０２０８】
ただし、第２の動き予測部１１０２で第２次の候補ベクトルを得る際にも一致度を使用したため、候補ベクトル決定部１１０５でも同じ一致度を使用して候補ベクトルを選択しては、最初から第２の候補ベクトルを第１次の候補ベクトル１つについて１つだけ求めても同じ結果となってしまう。
【０２０９】
したがって、候補ベクトル決定部１１０５が第２次の候補ベクトルを選択する際の基準と、第２の動き予測部１１０２が第２次の候補ベクトルを得る際の基準とは異なるほうが効果的である。
【０２１０】
例えば、候補ベクトル決定部１１０５の処理では、フレームＦ２内のブロックとフレームＦ１内のブロックとの一致度だけでなく、フレームＦ２内のブロックとフレームＦ０内のブロックとの一致度も加味して、第２次の候補ベクトルの選択を行うようにする方法などが考えられる。
【０２１１】
この場合、一例としては、ブロックＰ１−１に対する一致度はブロックＰ２−２のほうがブロックＰ２−１よりも高かったとしても、前記ブロックＰ０に対する一致度はブロックＰ２−１のほうがＰ２−２よりも高ければ、その程度にしたがい、ブロックＰ２−１、すなわち第２次の候補ベクトルＶ２−１のほうが選択されることもあり得る。
【０２１２】
ここでは、４つの第２次の候補ベクトルのうち、Ｖ２−１（終点ブロックＰ２−１）とＶ２−３（終点ブロックＰ２−３）とが候補ベクトル決定部１１０５で選択されたものと仮定する。
【０２１３】
選択された第２次候補ベクトルの情報を持つ補償部内参照画像情報は、第１の動き予測部１１０１に供給される。第１の動き予測部１１０１はこのほか、原画像用メモリ１１３から画像データＦ２を受け取り、再構成画像用メモリ１０９から復号データＦ３を受け取る。
【０２１４】
これらの情報を用いて第１の動き予測部１１０１は、一致度を基準に、第２の動き予測部１１０２と同様な動作を行い、図１４に示すように、新たに４つの第３次の候補ベクトルＶ３−１、Ｖ３−２、Ｖ３−３、Ｖ３−４を求める。ここで、ＦＶ３−１、ＦＶ３−２は、前記ＦＶ２−１、ＦＶ２−２と同様な探索範囲である。
【０２１５】
なお、図１２、図１３、図１４に示した大きな四角形Ｒは、大きさが第１の実施形態の探索範囲ＳＥ１などと同じ範囲であって、本実施形態の探索範囲ＦＶ２−１、ＦＶ２−２、ＦＶ３−１、ＦＶ３−２などが設定され得る最大限の領域を示している。
【０２１６】
第１の動き予測部１１０１における処理が終わると、選択された第２次候補ベクトルと、第３次候補ベクトルの情報を含む補償部内参照画像情報が、各部１１０２，１１０５，１１０３を介して動きベクトル決定部１１０６に供給される。
【０２１７】
当該補償部内参照画像情報を受け取った動きベクトル決定部１１０６は、これら４つの第３次の候補ベクトルから１つだけを選択することで最終的な動きベクトルを決定する。
【０２１８】
動きベクトル決定部１１０６におけるこの選択の基準と第１の動き予測部１１０１の第３次候補ベクトルを求める際の基準の関係については、前記候補ベクトル決定部１１０５の基準と、第２の動き予測部１１０２の基準の関係と同様で、相互に相違しているほうがよい。
【０２１９】
ただし動きベクトル決定部１１０６では、２つの候補ベクトルを選択した候補ベクトル決定部１１０５と異なり、最終的に１つの候補ベクトルを決定するため、いっそう包括的で信頼性の高い基準で選択することが求められる。
【０２２０】
一例としては、終点ブロックＰ３−１、Ｐ３−２、Ｐ３−３、Ｐ３−４のそれぞれと対応するブロックすべての一致度を、包括的に比較してもよい。
【０２２１】
すなわち、ブロックＰ３−１とＰ２−１の一致度だけでなく、Ｐ３−１とＰ１−１の一致度、Ｐ３−１とＰ０の一致度を加味した所定の計算式を設定して、その値を求める。同様に、ブロックＰ３−２、Ｐ３−３、Ｐ３−４についても同等な計算式に基づいてその値を求め、これら４つの値を比較することで第３次の候補ベクトルを１つだけ選択する
なお、動き補償部１１０Ｃで最終的に求められ外部へ出力される動きベクトルは、第３次よりも第２次、第２次よりも第１次と、早期の段階の候補ベクトルが誤っているほど、実際の像の動きに対応した真の動きベクトルから大きくかけ離れたものとなる可能性が高い。したがって、この計算式および動き補償部１１０Ｃは、第１の動き予測部１１０１などの誤りを、第３の動き予測部１１０３などの処理によって回復し、修正できるようにつくることが望ましい。
【０２２２】
図１４の例では、第３次候補ベクトルＶ３−１が選択されている。
【０２２３】
第３次の候補ベクトルＶ３−１が選択されると、対応する第２次、第１次の候補ベクトルとのベクトル和により、最終的な動きベクトルＶＣ（＝Ｖ１−１＋Ｖ２−１＋Ｖ３−１）が求められ、このＶＣの情報を含む参照画像情報が出力される。
【０２２４】
動き補償部１１０Ｃからスイッチ１１４や減算器１０２に出力されるこの参照画像情報は、本実施形態の場合も第１の実施形態と同じ構成であってよい。
【０２２５】
なお、本実施形態においては、第２の動き予測部１１０２と第３の動き予測部１１０３のあいだに設けた候補ベクトル決定部１１０５により、候補ベクトルの数が増加し過ぎることがなく、第３の動き予測部１１０３における演算数も多くない。
【０２２６】
もしも候補ベクトル決定部１１０５がなければ、上記の例で、Ｖ２−１などの第２次候補ベクトルはすべて第１の動き予測部１１０１に供給され、Ｖ３−１などの第３次候補ベクトルは８つになる。したがって探索範囲ＦＶ３−１、ＦＶ３−２の数を増やし、演算数を増加する必要が生じる。
【０２２７】
（Ｄ−２）第４の実施形態の効果
本実施形態によれば、第１の実施形態の効果と同等な効果を得ることができる。
【０２２８】
加えて、本実施形態では、複数の候補ベクトルを求めて選択する過程で動きベクトルの誤検出を修正し防ぐことが可能で、短い時間で複雑に動く物体にも対応することができる。これにより、動きベクトル検出の信頼性を向上することが可能である。
【０２２９】
(Ｅ）他の実施形態
第１〜第４の実施形態ではフレームレート１０Ｈｚ固定の場合、すなわち連続３フレームのうち、２フレームがこま落ちする場合を示しているが、本発明は、他のフレームレート、可変のフレームレートにも適応可能である。
【０２３０】
その場合、必要に応じて、原画像用メモリの数を４つ以上にすることになる。
【０２３１】
なお、第１〜第４の実施形態の場合も、１０Ｈｚ固定とはいえ、フレームレートの瞬時値は時々刻々と変化していて、例えば５Ｈｚになったり３０Ｈｚになったりし得る。
【０２３２】
このため、フレームレート１０Ｈｚ固定の場合でも、実際には、原画像メモリの数は４つ以上にしたほうが、動き補償能力の向上や処理の効率性の観点から好ましい。原画像用メモリが３つでは、最大２フレーム連続のコマ落としにしか対応できない。瞬間的に３フレーム以上の連続コマ落としが発生すると、探索範囲を拡大することが必要となり、発明が解決しようとする課題に記載した問題と同じ問題が発生することとなる。
【０２３３】
ただし本発明は、原画像用メモリの数が最低限２つであっても、１フレームのコマ落としには対応することができ、一定の効果を保有する。
【０２３４】
さらに、第１〜第４の実施形態などにおける「フレーム」は、いわゆるＮＴＳＣ信号などの場合、「フィールド」と置き換えてもよい。
【０２３５】
また、前記探索範囲制御、評価値演算制御も可変にすることはもちろん可能である。同様に候補ベクトルの数の増加や適時変更も可能である。
【０２３６】
なお、第４の実施形態の評価値演算制御部１１０４は、第３の実施形態における評価値演算制御部９０４の機能と、第２の実施形態の探索範囲制御部８０４の機能を兼ね備えていたが、第３の実施形態の評価値演算制御部９０４の機能だけを装備するようにしてもよい。
【０２３７】
同様に、第３の実施形態の評価値演算制御部９０４が第２の実施形態の探索範囲制御部８０４の機能も兼ね備えるようにしてもよい。
【０２３８】
要するに、本発明において、探索範囲制御機能と評価値演算制御機能とは、単独で装備することも併せて装備することも可能である。
【０２３９】
また、第１〜第４の実施形態も含め、通常、動きベクトルは符号化、すなわち動き補償符号化に利用されるものであるが、本発明の適用はこれに限定されない。
【０２４０】
たとえば符号化を伴わない場合であっても、３つ以上の連続フレームの画面における像の動きを効率的に求める目的で、本発明を利用することができる。
【０２４１】
すなわち、本発明は、入力順が先の始点画面中の第１の位置を始点とすると共に、入力順が後の終点画面中の第２の位置を終点とすることで、始点画面から終点画面にいたる期間内で画面中の像の動きを示す合成動きベクトルを検出する動きベクトル検出装置について、広く適用することができる。
【０２４２】
【発明の効果】
以上に説明したように、本発明によれば、演算数の増加を抑制しながら、動きベクトル検出の信頼性を向上することが可能である。
【図面の簡単な説明】
【図１】実施形態に係る符号化装置の構成を示すブロック図である。
【図２】従来の符号化装置の構成を示すブロック図である。
【図３】従来の符号化装置におけるブロックマッチング動作を説明する概略図である。
【図４】第１の実施形態に係る符号化装置の動き補償部の内部構成を示すブロック図である。
【図５】第１および第２の実施形態の動き補償部のブロックマッチングを説明する概略図である。
【図６】第１および第２の実施形態の動き補償部のブロックマッチングを説明する概略図である。
【図７】第１および第２の実施形態の動き補償部のブロックマッチングを説明する概略図である。
【図８】第２の実施形態に係る符号化装置の動き補償部の内部構成を示すブロック図である。
【図９】第３の実施形態に係る符号化装置の動き補償部の内部構成を示すブロック図である。
【図１０】第３の実施形態に係る符号化装置の動き補償部の動作を示す概略図である。
【図１１】第４の実施形態に係る符号化装置の動き補償部の内部構成を示すブロック図である。
【図１２】第４の実施形態に係る符号化装置の動き補償部の動作を示す概略図である。
【図１３】第４の実施形態に係る符号化装置の動き補償部の動作を示す概略図である。
【図１４】第４の実施形態に係る符号化装置の動き補償部の動作を示す概略図である。
【符号の説明】
１０、１０Ａ、１０Ｂ、１０Ｃ…符号化装置、１０４…符号化器、１０５…符号化制御部、１１０，１１０Ａ、１１０Ｂ、１１０Ｃ…動き補償部、１１１〜１１３…原画像用メモリ、４０１，８０１，９０１，１１０１…第１の動き予測部、４０２，８０２，９０２，１１０２…第２の動き予測部、４０３，８０３，９０３，１１０３…第３の動き予測部、８０４…探索範囲制御部、９０４、１１０４…評価値演算制御部、１１０５…候補ベクトル決定部、１１０６…動きベクトル決定部。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a motion vector detection device, and is suitable for use in, for example, moving image encoding in moving image compression.
[0002]
[Prior art]
A conventional technique of this type is shown in the following document 1.
[0003]
Reference 1: “Digital signal processing technology in video equipment” (Trikes, P.35-P.37)
Supervised by Satoshi Ito and Hiroo Takemura
A moving image consists of a lot of information, and it is necessary to compress the data in order to communicate or store the data. As a moving image compression method, there are an inter-frame differential encoding method using a correlation with a previous image in time, a motion compensation using block matching, and the like. A motion compensation method using block matching shown in the above-mentioned document 1 will be briefly described with reference to FIG.
[0004]
FIG. 2 is a diagram showing a conventional encoding device 20.
[0005]
In FIG. 2, an encoding device 20 inputs an image input unit 101 that inputs image data captured from a camera or the like, a subtractor 102 that takes a difference between an input image signal and an image encoded in time, A switch 103 that selects whether the data to be encoded is original data or differential data, an encoder 104 that encodes the input data, and an encoding control unit 105 that controls the switch 103 and the encoder 104. A code output unit 106 that outputs the encoded data, a decoder 107 that decodes the encoded data, an adder 108 that adds the decoded difference data and the reference image, and a re-store that stores the decoded image A component image memory 109, an original image memory 111 that stores the original image, and a motion compensation unit that performs motion compensation from outputs of the original image memory 111 and the reconstructed image memory 109 01, a switch 114. for selecting whether to output the output of the motion compensation unit 201 to the adder 108.
[0006]
Next, the operation of the encoding device 20 will be described.
[0007]
First, when image data captured from an external device such as a camera is input to the image input unit 101, the data is input to the subtractor 102, the original image memory 111, and the switch 103.
[0008]
After calculating the difference between the data input to the subtracter 102 and the temporally previous image, the encoding control unit 105 encodes the difference data, encodes the original data, or drops frames. Decide what.
[0009]
The encoding of the difference data is interframe encoding, and the encoding of the original data is intraframe encoding.
[0010]
Inter-frame coding, intra-frame coding, and frame dropping are executed by the encoder 104 that has received an instruction from the coding control unit 105.
[0011]
Data input to the encoder 104 is subjected to processing such as transformation and quantization such as DCT. Also, when dropping frames for rate control, input data may be discarded without doing anything.
[0012]
The data encoded by the encoder 104 is output to the outside from the code output unit 106 and simultaneously output to the decoder 107.
[0013]
The data input to the decoder 107 undergoes conversion such as inverse quantization and inverse DCT, and is output to the adder 108.
[0014]
If the data input to the adder 108 is differential data obtained by inter-frame coding, the output of the motion compensation unit 201 is input to the adder 108 via the switch 114 and added to the differential data, and then reconstructed. The image is output to the image memory 109. In the case of intra-frame coding, it is output to the reconstructed image memory 109 as it is.
[0015]
The data input to the reconstructed image memory 109 is stored, and the data is output in accordance with the timing required by the motion compensation unit 201.
[0016]
The motion compensation unit 201 performs motion compensation from the output of the reconstructed image memory 109 and the output of the original image memory 111 and outputs the result to the subtractor 102 and the switch 114.
[0017]
Next, the operation of the motion compensation unit 201 will be described with reference to FIG.
[0018]
The motion compensation unit 201 performs block matching from the image data input from the original image memory 111 and the decoded data input from the reconstructed image memory 109, and performs motion vector detection, for example, as shown in FIG.
[0019]
The outer square QE0 indicated by the thick solid line in FIG. 3 indicates the motion vector search range (previous frame), and the square indicated by the thick solid line indicates the block for which the motion vector is to be obtained (current frame, here 16 pixels × 16 pixels). Block Q1 and the dotted square (previous frame) is the block Q0 of the previous frame that is most similar to the thick solid square block and has the highest degree of coincidence.
[0020]
As a method for evaluating similarity, that is, the degree of coincidence, for example, there is a method of taking the one having the smallest difference between pixels.
[0021]
The difference between the two block positions (Q1 position vector with reference to Q0) becomes a motion vector, which is used to create a reference image and input it to the subtractor 102 and the switch 114.
[0022]
[Problems to be solved by the invention]
However, when motion compensation is performed as described above, there is a problem in that the search range is expanded when a frame is dropped and the total number of operations increases.
[0023]
A moving picture such as a normal TV operates at 30 Hz, and the frame interval is 1/30 second. However, when moving pictures are transmitted at a low rate, frame dropping may be necessary. The interval is 1/10 seconds. This is a frame interval corresponding to three times the 1/30 second.
[0024]
If the frame interval increases, the movement distance of the image in the frame screen usually increases, so the motion of the image cannot be captured unless the motion vector detection range (search range) is widened, and there is a possibility of erroneous detection of the motion vector. As a result, sufficient motion compensation cannot be performed.
[0025]
Further, widening the search range means that the number of operations increases, and hardware causes an increase in power consumption and an increase in scale, and software causes a load on processing capacity.
[0026]
Furthermore, when the search range is expanded and the number of operations increases, the time for obtaining a motion vector becomes longer, and the encoder cannot perform interframe coding until the motion vector is obtained. This causes unnecessary frame dropping and also causes the frame rate to drop.
[0027]
[Means for Solving the Problems]
In order to solve such a problem, in the present invention, the input order is the first position in the previous start screen, and the second position in the later end screen is the end point in the input order. , A composite motion vector indicating the motion of the image in the screen within the period from the start point screen to the end point screen. In blocks Detecting motion vector detection device Because (1) start point screen storage means for storing image data of the start point screen; (2) end point screen storage means for storing image data of the end point screen; and (3) intermediate input between the start point screen and end point screen. Remember at least one intermediate screen entered in order Small At least one intermediate screen storage means, and (4) between each screen from the start screen to the end screen between two screens adjacent to each other in the order of input. ,in front The element motion vector that is a component of the combined motion vector In blocks Ask At the same time, the sequential processing for obtaining the element motion vector between the two screens whose input order is later is performed first. And a prediction calculation means for generating the synthesized motion vector by performing vector synthesis on a plurality of element motion vectors.
[0028]
DETAILED DESCRIPTION OF THE INVENTION
(A) Embodiment
The first to fourth embodiments are characterized in that a motion vector is accurately and efficiently obtained even when there is a frame in which data is discarded without being encoded even if input, that is, even when there is a frame drop. And
[0029]
(A-1) Configuration of the first embodiment
FIG. 1 is a block diagram showing an encoding apparatus 10 according to the first embodiment. The same components as those of the conventional encoding device 20 shown in FIG. The main difference in configuration between the encoding device 20 of FIG. 2 and the encoding device 10 is that the number of original image memories which is one in the encoding device 20 is three. This is an internal configuration of the motion compensation unit 110.
[0030]
In FIG. 1, an encoding apparatus 10 includes an image input unit 101, a subtracter 102, a switch 103, an encoder 104, an encoding control unit 105, a code output unit 106, a decoder 107, and an adder. 108, a reconstructed image memory 109, original image memories 111, 112, and 113, a motion compensation unit 110, and a switch 114.
[0031]
Among these, the components denoted by the same reference numerals 101 to 109 and 114 as those in FIG. 2 have the same functions as the corresponding components of the encoding device 20, and thus detailed description thereof is omitted.
[0032]
In FIG. 4 showing the configuration inside and around the motion compensation unit 110, the motion compensation unit 110 includes a first motion prediction unit 401, a second motion prediction unit 402, and a third motion prediction unit 403. I have.
[0033]
The first motion prediction unit 401 includes two input terminals, the output terminal of the reconstructed image memory 109 is connected to the input terminal for the reconstructed image, and the original image memory 113 is connected to the input terminal for the original image. Output terminal is connected.
[0034]
Similarly, the second motion prediction unit 402 includes two input terminals, the output terminal of the first motion prediction unit 401 is connected to the input terminal for the motion prediction unit, and the original image input terminal is connected to the original image input terminal. The output terminal of the image memory 112 is connected.
[0035]
Further, the third motion prediction unit 403 includes two input terminals, the output terminal of the second motion prediction unit 402 is connected to the input terminal for the motion prediction unit, and the original image is input to the input terminal for the original image. The output terminal of the memory 111 is connected.
[0036]
However, the input terminals for the motion prediction units of the third and second motion prediction units 403 and 402 are not input-only terminals but input / output terminals that also perform output as required.
[0037]
Eventually, the path composed of the reconstructed image memory 113, the first motion prediction unit 401, the second motion prediction unit 402, and the third motion prediction unit 403 relates to the motion of the image in the frame screen. Data is transmitted while being sequentially processed.
[0038]
Then, the original image data (original data) supplied from the original image memories 113 to 111 is used for this processing that is sequentially performed in each of the motion prediction units 401 to 403.
[0039]
The original image memories 113 to 111 store data of three frames that are continuously input to the image input unit 101 from a camera or the like. The Of the three, the first frame in the input order is stored in the original image memory 113, the second frame in the input order is stored in the original image memory 112, and the last frame in the input order is the original image. It is stored in the memory 111 for use.
[0040]
In this state, when one new frame is input to the image input unit 101, the new one frame is stored in the original image memory 111, and the three frames already stored in the original image memory are: The data is shifted one memory at a time from the original image memory 111 toward the original image memory 113.
[0041]
Accordingly, in one shift, the earliest frame is discarded from the original image memory 113, the second frame is shifted from the original image memory 112 and stored in the memory 113, and the last frame is the original image. Shifted from the main memory 111 and stored in the memory 112. As a result, the new first, second, and last three consecutive frames are set.
[0042]
The interval at which one frame is input to the image input unit 101 coincides with the interval at which the encoder 104 processes one frame.
[0043]
There are three types of processing in the encoder 104: intra-frame encoding, inter-frame encoding, and no encoding (frame dropping).
[0044]
Here, the frames input to the image input unit 101 are supplied at an average interval of 1/30 seconds, and the code for one frame output from the code output unit 106 is transmitted at an average interval of 1/10 seconds. To do. That is, 2 frames out of arbitrary 3 consecutive frames are dropped and are not used for encoding in the encoder 104.
[0045]
In other words, if the input of the encoding device 10 is 30 Hz, the output is 10 Hz (due to compression, the output data rate is smaller than 1/3 of the input data rate).
[0046]
In the encoding device 10, the switches 103 and 114 are interlocked, and when the switch 103 selects the subtractor 102 side, the switch 114 selects the lower contact and adds the output of the motion compensation unit 110. To the vessel 108.
[0047]
Conversely, when the switch 103 selects the upper contact and supplies the original data (image data supplied to the image input unit 101) to the encoder 104, the switch 114 changes the upper contact. Select to stop supplying the output of the motion compensation unit 110 to the adder 108.
[0048]
The switch 103 selects the upper contact when the encoder 104 performs intra-frame encoding (using the original data), and the switch 103 selects the contact on the subtractor 102 side. Reference numeral 104 denotes a case where interframe coding is performed (using difference data).
[0049]
Such switching of the switches 103 and 114 is performed based on an instruction from the encoding control unit 105. In general, the encoding control unit 105 selects intra-frame encoding and inter-frame encoding so that the compression effect is enhanced (encoding efficiency is increased), and performs rate control.
[0050]
Even during one communication, for example, during a period when image movement is large or when scene switching is performed, intra-frame coding is selected, and when image movement is relatively small or scene switching is not performed. Sometimes, inter-frame coding is usually performed.
[0051]
Intraframe encoding is an encoding that takes advantage of the fact that there is often little change between consecutive pixels in one frame. Interframe encoding is the same position in the frame screen between two consecutive frames. This encoding is based on the characteristic that there is often little change between pixels.
[0052]
In general, in the intra-frame (prediction) coding, a high compression rate cannot be expected, but a high-quality image can be reproduced on the receiving side, and the inter-frame (prediction) coding can achieve a high compression rate.
[0053]
However, with inter-frame coding, high-quality images can be reproduced when the motion of the image in the frame screen is small. However, when the motion of the image is large, the amount of information that must be processed increases and processing is delayed. However, the rate control becomes difficult and the quality of the reproduced image is likely to deteriorate.
[0054]
Therefore, the encoding control unit 105 needs to perform the above-described selection switching for intra-frame encoding and inter-frame encoding.
[0055]
The operation of the first embodiment having the above configuration will be described below.
[0056]
(A-2) Operation of the first embodiment
First, when one frame (image data) captured from a camera or the like is input to the image input unit 101, the data of the one frame is input to the subtractor 102, the original image memory 111, and the switch 103.
[0057]
The subtractor 102 calculates a difference between this data and the temporally previous image data supplied from the motion compensation unit 110.
[0058]
The encoder 104 that has received the difference data from the subtracter 102 operates so as to perform the inter-frame encoding under the control of the encoding control unit 105.
[0059]
However, the control from the encoding control unit 105 may request the encoder 104 to drop frames without performing interframe encoding.
[0060]
Three types of control, interframe coding, intraframe coding, and frame dropping, are performed in conjunction with the switching of the switches 103 and 114 described above, and the entire coding apparatus 10 is used for intraframe coding and interframe coding. It becomes a state (intra-frame coding mode, inter-frame coding mode, frame dropping mode) corresponding to one of the one for frame conversion or frame dropping.
[0061]
Frame dropping can be performed in the inter-frame coding mode or the intra-frame coding mode, but in any mode, the difference in operation between the case where there is a frame dropping and the case where there is no frame is encoded by the encoder 104. It is only the point of not doing it.
[0062]
In the case of encoding, the encoder 104 performs transformation such as DCT (discrete cosine transformation) or quantization on the frame. The data encoded by the encoder 104 is sent to the outside from the code output unit 106 and simultaneously supplied to the decoder 107.
[0063]
The data input to the decoder 107 is decoded by undergoing processes such as inverse quantization and inverse DCT, for example. These processes are processes corresponding to the encoding in the encoder 104. The output of the decoder 107 is supplied to one input terminal of the adder 108.
[0064]
When the data is differential data that has been inter-frame encoded by the encoder 104, the encoding device 10 is in the inter-frame encoding mode, and the switch 114 selects the lower contact. Therefore, the output (reference image information) of the motion compensation unit 110 is supplied to the other input terminal of the adder 108.
[0065]
At this time, the adder 108 adds the data supplied to both input terminals and supplies the addition result to the reconstructed image memory 109.
[0066]
The reference image information is data having a configuration including pixel values for one frame screen, block positions, and motion vector information.
[0067]
Since the decoded data (difference data) supplied to one input terminal of the adder 108 is data originally obtained by subtracting the reference image information in the subtractor 102, the reference image information is added. Thus, the state (original data) at the time of input to the image input unit 101 is restored.
[0068]
In the case of the intra-frame coding mode, since the switch 114 selects the upper contact point, the output of the decoder 107 is not changed by the addition at the adder 108 and is output to the reconstructed image memory 109 as it is. Is done.
[0069]
In any case, the output data of the adder 108 is input to the reconstructed image memory 109 and stored, and is supplied from the reconstructed image memory 109 to the motion compensation unit 110 in accordance with the timing required by the motion compensation unit 110. .
[0070]
On the other hand, image data input in order from the image input unit 101 is stored in the original image memory 111 and then shifted in order as described above and stored in the original image memories 112 and 113.
[0071]
In the present embodiment, since there are three original image memories 111 to 113, image data for the past three frames can be stored.
[0072]
The motion compensation unit 110 performs motion compensation based on the output of the reconstructed image memory 109 and the outputs of the original image memories 111 to 113, and outputs the result to the subtractor 102 and the switch 114.
[0073]
Motion compensation is an operation for obtaining a motion vector. The motion vector is information corresponding to a position vector indicating the magnitude and direction of the motion of the image in the frame screen, and is usually obtained by regarding the motion of the image in the frame screen as a parallel movement of the block.
[0074]
Such a motion vector enhances the coding efficiency of inter-frame coding and facilitates rate control by suppressing the amount of information that must be processed as much as possible even when the motion of the image is large. It is used to improve the quality of reproduced images.
[0075]
Therefore, since it is not necessary to obtain the motion vector except for the inter-frame coding mode, the motion compensation unit 110 may stop operating except for the inter-frame coding mode.
[0076]
However, in order to obtain a motion vector as early as possible after switching from the intra-frame coding mode to the inter-frame coding mode, the stored contents of the reconstructed image memory 109 and the stored contents of the original image memories 111 to 113 are: Even in the intra-frame coding mode, it is preferable that a new frame is input to the image input unit 101 and updated every time the encoder 104 performs some coding.
[0077]
The first motion prediction unit 401 illustrated in FIG. 4 is supplied from the image data input from the original image memory 113, the decoded data input from the reconstructed image memory 109, and the second motion prediction unit 402. Based on the in-compensation reference image information, the motion vector V1 is detected using block matching, for example, as shown in FIG.
[0078]
The motion vector detection by the block matching method is performed by comparing the block B1 in one frame after the input order with an arbitrary block in the one frame before the input order, This is performed by obtaining (searching for) a block B2 that most closely matches the block B1.
[0079]
Here, it is assumed that the size of blocks such as blocks B1 and B2 is about 16 × 16 pixels. Of course, it is possible to use larger or smaller blocks.
[0080]
The total number of operations required to obtain one motion vector tends to increase as the block size increases.
[0081]
In addition, if the search range for the most matching block is all the previous frames in the input order, the number of operations increases too much. Therefore, the search range is usually set to a part of one frame and is limited to the search range. To explore.
[0082]
The total number of operations required to determine one motion vector also tends to increase as the size of this search range increases.
[0083]
For example, the total number L of calculations can be obtained by the following equation (1) described in the literature 1.
[0084]
L = (2J + 1) × (2K + 1) × (M × N) × 3 (1)
Here, M and N indicate the block size (M lines × N pixels), J and K correspond to the search range (± J lines / frame, ± K pixels / frame), and the last three are for each pixel. It corresponds to three types of operations: a difference operation, a conversion operation for obtaining the absolute value or square of the difference result, and an accumulation operation for accumulating the conversion result.
[0085]
As an example, if J = K = M = N = 8, the total number of operations per block for obtaining a motion vector requires 55488 operations and 867 operations per pixel.
[0086]
The wider the search range, the greater the motion of the image can be accommodated and the motion compensation capability is improved. However, as is clear from Equation (1), the number of operations becomes enormous.
[0087]
However, this equation (1) only shows the number of operations within one search range, and in order to actually determine a motion vector, such search ranges should be overlapped with each other. It is necessary to set a large number on the entire surface of the previous frame, and a value obtained by multiplying that number by the number of 55488 times is usually the number of operations required for block matching between frames.
[0088]
Next, the operation of the motion compensation unit 110 of this embodiment will be described with reference to FIGS. As a premise, the three frames in which the input order is continuous are stored in the original image memories 113, 112, and 111 in the input order as described above, but the image data stored in the reconstructed image memory 109 is as described above. Is the data one order ahead of the frame image data stored in the original image memory 113.
[0089]
These four consecutive frames are designated as F3, F2, F1, and F0 in the order of input. If the input order is arranged from the current frame F0 in ascending order, the sequence goes back to F1, F2, and F3.
[0090]
At this time, the encoding apparatus 10 is in the interframe encoding mode, the frame F3 is stored in the reconstructed image memory 109, the frame F2 is stored in the original image memory 113, and the original image memory 112 is stored. Frame F1 is stored, and the original image memory 111 stores frame F0.
[0091]
The frame F3 is a frame that was encoded immediately before by the encoder 104, the frames F2 and F1 are frames that were dropped without being encoded by the encoder 104, and the frame F0 is now supplied to the image input unit 101. It is a frame.
[0092]
The encoder 104 tries to inter-frame encode the difference data of the frame F0. In order to obtain the difference data prior to the encoding, the encoder 104 uses the reference image information output from the motion compensation unit 110 in the subtracter 102. Subtraction must be done.
[0093]
For timing, the image data of the frame F0 needs to be held in the image input unit 101 by an external device such as a camera at least during a period in which processing in first to third motion prediction units 401 to 403 described later is performed. is there.
[0094]
In addition to the first motion prediction unit 401, the second motion prediction unit 402 is supplied with the image data of the frame F1 from the original image memory 112, and the third motion prediction unit 403 is supplied with the original image memory. The image data of frame F0 is supplied from 111.
[0095]
The encoding control unit 105, which is about to cause the encoder 104 to perform interframe encoding, causes the motion compensation unit 110 to obtain a motion vector and performs the following operation.
[0096]
In FIG. 5, a square P0 located at the center is a block in the screen of the frame F0, and a square P1 in the upper left is a block in the screen of the frame F1.
[0097]
The outer large square SE1 is a motion vector search range set on the frame F1 with the position of the block P0 on the frame F0 as the center. This SE1 may be the same size as QE0 in FIG.
[0098]
The state of FIG. 5 is a frame from the second motion prediction unit 402. F1 Image data of the original image memory 111 The third motion prediction unit 403 that has received the image data of the frame F0 from the result of examining the search range SE1 in the frame F1 by using the block matching method with reference to an arbitrary block in the frame F0. This is a state where it is detected that the degree of coincidence between the block P1 and the block P0 in the frame F0 is the highest.
[0099]
Thereby, the motion vector V1 from the block P1 to P0 (P1 is the start point and P0 is the end point) is obtained.
[0100]
In this example, the detected motion vector is only V1, but since a plurality of images may move within the frame screen, a plurality of motion vectors may be detected simultaneously.
[0101]
The size of the search range SE1 may be about several to several tens of times that of a block (such as P0) in terms of area.
[0102]
Information supplied from the third motion prediction unit 403 to the second motion prediction unit 402 is intra-compensation reference image information including information on the motion vector V1 and information on the block P1.
[0103]
Next, the second motion prediction unit receives the image data of the frame F1 from the original image memory 112, receives the reference image information in the compensation unit, and further receives the image data of the frame F2 from the first motion prediction unit 401. In 402, a process for obtaining the motion vector V2 shown in FIG. 6 is performed.
[0104]
This process performed by the second motion prediction unit 402 is similar to the process by the third motion prediction unit 403, and is based on an arbitrary block (including the P1) in the frame F1 as a search range in the frame F2. As a result of checking SE2 by the block matching method, it is in a state where it is detected that the degree of coincidence between the block P2 in the frame F2 and the block P1 in the frame F1 is the highest.
[0105]
Thereby, a motion vector V2 from the block P2 toward P1 is obtained.
[0106]
The size and position of the search range SE2 are the same as the search range SE1.
[0107]
The intra-compensation reference image information supplied from the second motion prediction unit 402 to the first motion prediction unit 401 includes information on the motion vector V2 and information on the block P2.
[0108]
Finally, the third motion prediction unit 403 receives the image data of the frame F2 from the original image memory 113, receives the in-compensation reference image information, and receives the image data of the frame F3 from the reconstructed image memory 109. Then, the process for obtaining the motion vector V3 shown in FIG. 7 is performed.
[0109]
This process is a process using block matching similar to the process in the second motion prediction unit 402.
[0110]
The size and position of the search range SE3 corresponding to this block matching is the same as SE1 and SE2.
[0111]
When the processing in the first motion prediction unit 401 is completed, information such as the motion vector V3 is sent to the third motion prediction unit 403 via the second motion prediction unit 402. The third motion prediction unit 403 also receives information such as the motion vector V2 from the second motion prediction unit 402 at an appropriate timing, and generates a combined motion vector V as shown in FIG.
[0112]
This combined motion vector V is a motion vector obtained as a result of the vector sum of the motion vectors V1, V2, and V3. This synthesized motion vector V indicates the motion of the image in the screen during the period from frame F0 to F3.
[0113]
The third motion prediction unit 403 configures reference image information including information on the combined motion vector V and necessary pixel value information, and outputs the reference image information to the outside of the motion compensation unit 110. The output reference image information is supplied to the subtracter 102 and the switch 114.
[0114]
The subtractor 102 that has received this reference image information subtracts this reference image information from the original data of the frame F0 supplied from the image input unit 101, and supplies the difference data as the subtraction result to the encoder 104. .
[0115]
Then, the encoder 104 performs inter-frame encoding on the difference data, sends the encoding result to the outside from the code output unit 106, and supplies it to the decoder 107.
[0116]
As described above, a new frame (F0 for F1 is moved as a result of moving by performing block matching between F0 and F1, between F1 and F2, and between F2 and F3 in the order of slow input. , F2 for F2, and F2 for F3). Eliminating the waste of finding a motion vector for an image that no longer exists on the image, and efficient calculation can be performed.
[0117]
In the example of FIGS. 5 to 7, frame dropping is performed on two consecutive frames of F1 and F2, but a case where frame dropping is performed only on one frame and a case where frame dropping is not performed will be described. .
[0118]
Assuming a situation in which the encoder 104 continuously encodes frames without dropping frames until then, the memory 111 to 113 and 109 all store the image data of the encoded frames. Has been.
[0119]
In this state, it is assumed that one frame is input to the image input unit 101 and this one frame is a frame in which frames are dropped. Next, assuming that the frame input to the image input unit 101 is a frame that is inter-frame encoded by the encoder 104, the motion compensation unit 110 operates for this inter-frame encoding.
[0120]
At this time, F0 in the memory 111 is this frame, F1 in the memory 112 is a frame in which frames are dropped, F2 in the memory 113 and F3 in the memory 109 are encoded frames.
[0121]
In this case, only a part of the operation of the first motion prediction unit 401, the operation of the second motion prediction unit 402, and the operation of the third motion prediction unit 403 are meaningful inside the motion compensation unit 110. have. This is because two motion vectors are obtained between F0 and F1 and between F1 and F2, and these vector sums become constituent elements of the reference image information output from the motion compensation unit 110.
[0122]
Similarly, in the case where frame dropping has not been performed until then, when the encoder 104 processes the latest input frame F3 (interframe coding), the operation of the third motion prediction unit 403 and the second Only part of the motion compensation unit 402 is meaningful. In this case, the function of the encoding apparatus 10 of the present embodiment is substantially the same as the function of the conventional encoding apparatus 20 described above.
[0123]
In the present embodiment, since three original image memories 111 to 113 are provided, only a maximum of two consecutive frame drops can be efficiently handled, but the conventional code is used for three or more consecutive frame drops. It is possible to cope with the same method as the processing for two or more consecutive frame droppings in the converting apparatus 20.
[0124]
In the present embodiment, if the number of motion prediction units in the original image memory and the motion compensation unit 110 is increased, it is possible to efficiently cope with three or more consecutive frame drops.
[0125]
In the above example, the synthesized motion vector V has an end point on the frame F0 and a start point on the frame F3. However, the motion vector detected in the present embodiment is limited to such a vector. Not.
[0126]
For example, an image that moves only between frames F2 and F1, dropped, an image that moves only between F1 and F0, an image that moves only between F3 and F2, an image that moves only between F2 and F0, and F3 There may be images that move only during F1.
[0127]
As an example, the motion vector of an image that moves only between F2 and F1 is the only vector obtained by the second motion prediction unit 402, and has no other vector to be synthesized. Information related to such a motion vector may also be included in the reference image information output from the motion compensation unit 110.
[0128]
On the other hand, in the case of the continuous 2-frame frame dropping, as in the present embodiment, V1, V2, and V3 are obtained using the frame dropped frames F1 and F2, and these are combined to obtain the final movement. If the motion vector V is obtained directly only by block matching between the frames F3 and F0 as in the prior art instead of obtaining the vector V, the motion vector V is detected unless the search range is set to be considerably large. This itself becomes difficult, and the motion compensation capability decreases.
[0129]
However, if the search range is increased, the total number of operations increases as described above, and rate control becomes difficult.
[0130]
In addition, when performing block matching between the frames F3 and F0, the degree of coincidence between the start block and the block to be the end point of the motion vector decreases during the period corresponding to the frames F1 and F2 from which frames are dropped, The possibility of detecting an erroneous motion vector is also increased, and the motion compensation capability is impaired.
[0131]
Specifically, the time between F0 and F3 when F2 and F1 are dropped is 3 times longer than the time between two consecutive frames (for example, between F0 and F1). The magnitude of the movement of the inner image is three times between F0 and F1 between F0 and F3.
[0132]
In order for the conventional encoding device 20 to capture a motion that is three times as large, the area of the search range (corresponding to the QE0) must be increased by 9 (= 32) times. Correspondingly, the number of operations is almost nine times (see equation (1)).
[0133]
On the other hand, in this embodiment, since the calculation only needs to be performed three times in the same search range as this QE0, the total area of the search range is three times that of QE0.
[0134]
From this point of view, when other conditions are the same, the total number of operations in this embodiment may be about 1/3 of the conventional one.
[0135]
(A-3) Effects of the first embodiment
As described above in detail, according to the present embodiment, even when frame dropping or frame dropping frames continue, the increase in the total number of operations is suppressed to facilitate rate control, and an accurate motion vector is detected. Therefore, it is possible to prevent a decrease in motion compensation capability, and thus it is possible to improve the reliability of the encoding device.
[0136]
In addition, the fact that the total number of operations can be suppressed means that the power consumption of the encoding device can be reduced and the scale can be reduced in terms of hardware, and the load on processing power can be reduced in terms of software. To do.
[0137]
(B) Second embodiment
The present embodiment is characterized in that the position of the search range that has been constant in the processing of the motion compensation unit of the first embodiment is changed to reduce the size.
[0138]
(B-1) Configuration and operation of the second embodiment
In the configuration of the first embodiment and the present embodiment, the main difference in operation is limited to the point relating to the motion compensation unit.
[0139]
In FIG. 1, the motion compensation unit of this embodiment is denoted by reference numeral 110 </ b> A in order to distinguish it from the motion compensation unit 110 of the first embodiment. Similarly, reference numeral 10A is attached to the encoding apparatus of the present embodiment to distinguish it from the encoding apparatus 10 of the first embodiment.
[0140]
Only the differences from the configuration and operation of the first embodiment will be described below.
[0141]
FIG. 8 shows the internal configuration of the motion compensation unit 110A according to the present embodiment and the periphery thereof.
[0142]
In FIG. 8, the motion compensation unit 110 </ b> A includes a first motion prediction unit 801, a second motion prediction unit 802, a third motion prediction unit 803, and a search range control unit 804.
[0143]
The first motion prediction unit 801 corresponds to the first motion prediction unit 401, the second motion prediction unit 802 corresponds to the second motion prediction unit 402, and the third motion prediction unit 803 corresponds to the first motion prediction unit 401. 3 corresponding to the motion estimation unit 403, but also includes functions related to the search range control unit 804.
[0144]
That is, the first motion prediction unit 501 is a part for inputting a signal from the reconstructed image memory 109, a part for inputting a signal from the original image memory 113, and a part for inputting a control signal from the search range control unit 804. The second motion prediction unit 802 includes a part for inputting a signal from the original image memory 112 and a part for inputting a control signal from the search range control unit 804, and the third motion prediction unit 803 includes an original image. A portion for inputting a signal from the memory 113 and a portion for inputting a control signal from the search range control unit 804 are provided.
[0145]
Next, the operation of the present embodiment will be described by taking as an example a case where there is a frame drop of two consecutive frames F1 and F2 of the first embodiment.
[0146]
First, the third motion prediction unit 801 uses a motion vector between the image data F0 input from the original image memory 111 and the image data of the frame F1 obtained from the second motion prediction unit 802 by using block matching. Perform detection.
[0147]
In this block matching, the search range control unit 804 instructs the motion prediction unit 801 to search for a search range. The search range instructed here is the search range VE1 indicated by a one-dot chain line in FIG. The search range VE1 is a search range set on the frame F1 around the position of the block P0 on the frame F0.
[0148]
In the case of the two consecutive frame dropping described above, conventionally, a motion vector V is obtained by directly searching (block matching) between the frames F3 and F0. Assuming that this search is performed in a search range of ± 15 pixels, in this embodiment, even if a search is performed in the search range of ± 5 pixels, the motion compensation capability is higher than in the conventional case.
[0149]
Because the time between the frames F1 and F0 is 1/3 of the time between the frames F3 and F0, the moving distance of the image in the frame screen becomes 1/3, and the start point of the motion vector This is because the degree of coincidence between the block and the block to be the end point is usually higher between the frames F1 and F0 having a short elapsed time than between the frames F3 and F0.
[0150]
For example, if the time interval between the frames F3 and F0 is 1/30 seconds, the time interval between the frames F1 and F0 is almost 1/100 seconds, and therefore, between F1 and F0, compared to between F3 and F0, The moving distance of the image (subject) is short, and the degree and frequency with which the pixel value of the same part of the image changes due to changes in optical conditions or the like is low.
[0151]
Furthermore, the high degree of coincidence between the start point block and the end point block means that there is a low possibility that a non-motion vector is erroneously detected as a motion vector.
[0152]
Next, the second motion prediction unit 802 performs motion vector detection based on the motion vector obtained by the processing of the first motion prediction unit 801. Also in that case, the search range control unit 804 similarly performs detection in the designated search range. This search range is the search range VE2 indicated by a one-dot chain line in FIG.
[0153]
The search range VE2 is a search range set on the frame F2 around the position of the block P1 on the frame F1.
[0154]
Similarly, the first motion prediction unit 801 performs motion vector detection using block matching from the image data F2 input from the image memory 113 and the decoded data F3 input from the reconstructed image memory 109.
[0155]
The block matching here is also performed based on the motion vector obtained by the processing of the second motion prediction unit 802, and the motion vector is detected. In this case as well, detection is performed in the search range VE3 instructed by the search range control unit 804.
[0156]
The search range VE3 is a search range set on the frame F3 with the position of the block P2 on the frame F2 as the center.
[0157]
In the present embodiment, unlike the search range of the first embodiment, the position in the frame screen of this small search range of ± 5 pixels is the position of the search ranges VE1, VE2, and VE3 indicated by the alternate long and short dash lines in FIGS. Will change. And even if the region where these VE1 to VE3 can exist is limited to the range of SE1 of the first embodiment, the motion compensation capability equivalent to that of the first embodiment is maintained.
[0158]
Since the area of the search range VE1 and the like of this embodiment is 1/9 of the area of the search range SE1 and the like of the first embodiment, if the other conditions are the same, the number of operations of this embodiment is the same as that of the first embodiment. This is about 1/9 of the number of operations.
[0159]
Finally, the third motion prediction unit 803 creates reference image information using the vector sum of the obtained motion vectors and inputs the reference image information to the subtractor 102 and the switch 114, as in the first embodiment. The same.
[0160]
(B-2) Effects of the second embodiment
According to this embodiment, an effect equivalent to that of the first embodiment can be obtained.
[0161]
In addition, in the present embodiment, the total number of operations can be further reduced as compared with the first embodiment.
[0162]
For example, in the case where detection is performed by performing a full search of the search range of 15 pixels in the top, bottom, left, and right, the number of evaluation value calculations in the first embodiment is 31 × 31 = 961 times (see the above formula (1)). In the embodiment, the same range as the first embodiment is covered by detecting the range of 5 pixels in the upper, lower, left, and right directions every time, so (11 × 11) × 3 = 363 times. Therefore, the number of operations can be reduced by about 62%.
[0163]
Note that when compared with the number of operations for the three block matching performed in the third to first motion prediction units in order to obtain the combined motion vector, the number of operations in the present embodiment is the first implementation as described above. This is approximately 1/9 of the number of operations in the form.
[0164]
On the contrary, if the total number of computations of the same degree as in the first embodiment is allowed, in this embodiment, the search range can be increased to cope with a larger image motion in the frame screen, so that the motion compensation capability Will improve.
[0165]
(C) Third embodiment
In the first and second embodiments, the evaluation value calculation is performed for all the pixels that are continuous in the upper, lower, left, and right directions in the frame screen. However, in the present embodiment, the pixels for the evaluation value calculation are intermittently set. It is characterized by.
[0166]
(C-1) Configuration and operation of the third embodiment
In the configuration of the first embodiment and the present embodiment, the main difference in operation is limited to the point relating to the motion compensation unit.
[0167]
In FIG. 1, the motion compensation unit of the present embodiment is denoted by reference numeral 110 </ b> B in order to distinguish it from the motion compensation unit 110 of the first embodiment. Similarly, reference numeral 10B is assigned to the encoding apparatus of the present embodiment to distinguish it from the encoding apparatus 10 of the first embodiment.
[0168]
Only the differences from the configuration and operation of the first embodiment will be described below.
[0169]
FIG. 9 shows the configuration of the inside and the periphery of the motion compensation unit 110B of this embodiment.
[0170]
In FIG. 9, the motion compensation unit 110 </ b> B includes a first motion prediction unit 901, a second motion prediction unit 902, a third motion prediction unit 903, and an evaluation value calculation control unit 904.
[0171]
The first motion prediction unit 901 corresponds to the first motion prediction unit 401, the second motion prediction unit 902 corresponds to the second motion prediction unit 402, and the third motion prediction unit 903 corresponds to the first motion prediction unit 401. 3 corresponding to the motion estimation unit 403, but also includes functions related to the evaluation value calculation control unit 904.
[0172]
That is, the first motion prediction unit 901 receives a part for inputting a signal from the reconstructed image memory 109, a part for inputting a signal from the original image memory 113, and a control signal from the evaluation value calculation control unit 904. The second motion prediction unit 902 includes a part for inputting a signal from the original image memory 112 and a part for inputting a control signal from the evaluation value calculation control unit 904. The third motion prediction unit 903 A portion for inputting a signal from the original image memory 113 and a portion for inputting a control signal from the evaluation value calculation control unit 904 are provided.
[0173]
FIG. 10 is a block of 16 pixels × 16 pixels (= 256 pixels), and a white square and a black square indicate each pixel in the block. Since this block is a unit for obtaining a motion vector, in the first and second embodiments, the evaluation value calculation is performed for all white and black squares (256 pixels).
[0174]
On the other hand, in this embodiment, for example, evaluation value calculation is performed only for 128 pixels of a black square.
[0175]
Therefore, the motion compensation unit 110B of the present embodiment is as follows.
[0176]
First, the third motion prediction unit 903 performs motion vector detection using block matching from the image data F0 input from the image memory 111 and the image data F1 supplied from the second motion prediction unit 902.
[0177]
At this time, the evaluation value calculation control unit 904 instructs the first motion prediction unit 901 so that only the pixels corresponding to the black portion in FIG. 10 are used for the evaluation value calculation.
[0178]
Next, the second motion prediction unit 902 performs motion vector detection based on the motion vector obtained as a result of the processing in the third motion prediction unit 903. In that case, the second motion prediction unit 902 also performs detection by the method instructed by the evaluation value calculation control unit 904 in the same manner as the third motion prediction unit 903.
[0179]
When the first motion prediction unit 901 performs motion vector detection based on the motion vector obtained as a result of the processing in the second motion prediction unit 902, the evaluation value calculation control unit 904 similarly uses the method instructed. Perform detection.
[0180]
The third motion predictor obtaining unit 903 creates reference image information using the obtained vector sum of each motion vector, and inputs the reference image information to the subtracter 102 and the switch 114.
[0181]
Note that if the density of pixels used for evaluation value calculation is reduced as in the present embodiment, the number of calculations decreases, but the accuracy of the degree of coincidence itself decreases and the possibility of erroneous detection of motion vectors increases. However, it is preferable to reduce the pixel density within a range in which the influence of the decrease in the precision of the matching degree does not cause a false detection of a motion vector.
[0182]
(C-2) Effects of the third embodiment
According to this embodiment, an effect equivalent to that of the first embodiment can be obtained.
[0183]
In addition, in the present embodiment, the total number of operations can be further reduced as compared with the first embodiment.
[0184]
For example, when the evaluation value calculation is performed every other pixel (only for the black square) as described above, the evaluation value is obtained with the number of calculation times half that when the evaluation value calculation is performed using all the pixels.
[0185]
On the other hand, when the same number of operations as in the first embodiment are performed in this embodiment, the search range can be expanded, and the motion vector can be detected more accurately in response to a sudden movement of the image. And the motion compensation ability is improved.
[0186]
(D) Fourth embodiment
In the processing of the motion compensation unit of the first to third embodiments, only one motion vector is detected between the blocks having the highest degree of coincidence from the beginning, and the processing is advanced for that one. If there is an error in the motion vector obtained by one of the motion prediction units, the information on the motion vector finally output from the motion compensation unit is also incorrect.
[0187]
On the other hand, the present embodiment is characterized in that a plurality of candidate vectors are obtained and one motion vector is selected from the plurality of candidate vectors in the course of processing in the motion compensation unit.
[0188]
(D-1) Configuration and operation of the fourth embodiment
In the configuration of the first embodiment and the present embodiment, the main difference in operation is limited to the point relating to the motion compensation unit.
[0189]
In FIG. 1, the motion compensation unit of the present embodiment is denoted by reference numeral 110 </ b> C in order to distinguish it from the motion compensation unit 110 of the first embodiment. Similarly, reference numeral 10C is assigned to the encoding apparatus of the present embodiment in order to distinguish it from the encoding apparatus 10 of the first embodiment.
[0190]
Only the differences from the configuration and operation of the first embodiment will be described below.
[0191]
FIG. 11 shows a configuration inside and around the motion compensation unit 110C of the present embodiment.
[0192]
In FIG. 11, the motion compensation unit 110C includes a first motion prediction unit 1101, a second motion prediction unit 1102, a third motion prediction unit 1103, an evaluation value calculation control unit 1104, a candidate vector determination unit 1105, , And a motion vector determination unit 1106.
[0193]
Note that the evaluation value calculation control unit 1104 is equipped with the function of the search range control unit 804 of the second embodiment in addition to the function of the evaluation value calculation control unit 904 of the third embodiment.
[0194]
The first motion prediction unit 1101 corresponds to the first motion prediction unit 401, the second motion prediction unit 1102 corresponds to the second motion prediction unit 402, and the third motion prediction unit 1103 3, but also includes functions related to the evaluation value calculation control unit 1104, the candidate vector determination unit 1105, and the motion vector determination unit 1106, respectively.
[0195]
That is, the first motion prediction unit 1101 receives a part for inputting a signal from the reconstructed image memory 109, a part for inputting a signal from the original image memory 113, and a control signal from the evaluation value calculation control unit 1104. The second motion prediction unit 1102 includes a part for inputting a signal from the original image memory 112, a part for inputting a signal from the first motion prediction unit 1101, and a control signal from the evaluation value calculation control unit 1104. The third motion prediction unit 1103 includes a part for inputting a signal from the original image memory 113, a part for inputting a signal from the candidate vector determination unit 1105, and a control from the evaluation value calculation control unit 1104. A part for inputting a signal is provided.
[0196]
Next, the operation of the motion compensation unit 110C will be described with reference to FIGS.
[0197]
First, the third motion prediction unit 1103 performs block matching from the image data F0 input from the original image memory 111 and the image data F1 supplied from the second motion prediction unit 1102 via the candidate vector determination unit 1105. The motion vector is detected using. In that case, the evaluation value calculation control unit 1104 instructs the third motion prediction unit 1103 to list, for example, two candidate vectors.
[0198]
For example, the third motion prediction unit 1103 obtains the two candidate vectors V1-1 and V1-2 shown in FIG. 12 by selecting two sets of blocks in descending order of the degree of coincidence described above, for example. And
[0199]
In FIG. 12, among the blocks in the frame F1, the block having the highest degree of coincidence with the block P0 in the frame F0 is P1-1, the second highest block is P1-2, and P0, P1- This is a case where first candidate vectors V1-1 and V1-2 of motion vectors are obtained between 1 and P0 and P1-2. FV1 is a search range similar to VE1.
[0200]
Next, the second motion prediction unit 1102 obtains the second candidate vector by two for each first candidate vector according to the instruction from the evaluation value calculation control unit 1104.
[0201]
The second candidate vectors are four vectors such as V2-1, V2-2, V2-3, and V2-4 shown in FIG. Similar to the primary candidate vector, the secondary candidate vector can also be obtained according to the degree of coincidence.
[0202]
In FIG. 13, FV2-1 and FV2-2 are search ranges similar to those of VE2, but in this embodiment, two search ranges are set because two primary candidate vectors are processed. Yes.
[0203]
Among the blocks in the search range FV2-1 set on the frame F2, the block having the highest degree of coincidence with the block P1-1 is P2-1, and the second highest block is P2-2. Among the blocks in the search range FV2-2 set on the frame F2, the block having the highest degree of coincidence with the block P1-2 is P2-3, and the second highest block is P2-4. And
[0204]
The intra-compensation section reference image information of the present embodiment includes information on each next candidate vector and incidental information on these candidate vectors in addition to the intra-compensation section reference image information of the first embodiment described above. This incidental information may be, for example, information on the degree of coincidence of the end point block with respect to the start point block of each secondary candidate vector.
[0205]
The second motion prediction unit 1102 receives the processing of the candidate vector determination unit 1105 before supplying the in-compensation reference image information to the first motion prediction unit 1101.
[0206]
The candidate vector determination unit 1105 that has received this in-compensation reference image information selects one candidate vector from V2-1 and V2-2, and selects one candidate vector from V2-3 and V2-4. select.
[0207]
For this selection, for example, the degree of coincidence of the end point block with respect to the start point block may be used.
[0208]
However, since the degree of coincidence is also used when the second motion prediction unit 1102 obtains the second candidate vector, the candidate vector determination unit 1105 also uses the same degree of coincidence to select a candidate vector from the beginning. Even if only one second candidate vector is obtained for each primary candidate vector, the same result is obtained.
[0209]
Therefore, it is more effective that the reference when the candidate vector determination unit 1105 selects the second candidate vector and the reference when the second motion prediction unit 1102 obtains the second candidate vector are different.
[0210]
For example, in the processing of the candidate vector determination unit 1105, not only the matching degree between the block in the frame F2 and the block in the frame F1, but also the matching degree between the block in the frame F2 and the block in the frame F0 is considered, A method of selecting a second candidate vector is conceivable.
[0211]
In this case, as an example, even if the degree of coincidence with the block P1-1 is higher in the block P2-2 than in the block P2-1, the degree of coincidence with the block P0 is higher in the block P2-1 than in the P2-2. If it is higher, the block P2-1, that is, the second candidate vector V2-1 may be selected according to the degree.
[0212]
Here, it is assumed that V2-1 (end point block P2-1) and V2-3 (end point block P2-3) are selected by the candidate vector determination unit 1105 among the four second-order candidate vectors. .
[0213]
The in-compensation reference image information having information on the selected second candidate vector is supplied to the first motion prediction unit 1101. In addition, the first motion prediction unit 1101 receives image data F2 from the original image memory 113 and receives decoded data F3 from the reconstructed image memory 109.
[0214]
Using these pieces of information, the first motion prediction unit 1101 performs the same operation as the second motion prediction unit 1102 on the basis of the degree of coincidence, and, as shown in FIG. Candidate vectors V3-1, V3-2, V3-3, and V3-4 are obtained. Here, FV3-1 and FV3-2 are search ranges similar to FV2-1 and FV2-2.
[0215]
The large rectangle R shown in FIGS. 12, 13, and 14 has the same size as the search range SE1 of the first embodiment, and the search ranges FV2-1 and FV2- of the present embodiment. 2, FV3-1, FV3-2, etc., indicate the maximum areas that can be set.
[0216]
When the processing in the first motion prediction unit 1101 is finished, the selected second candidate vector and the in-compensation reference image information including information on the third candidate vector are converted into motion vectors via the units 1102, 1105, and 1103, respectively. The data is supplied to the determination unit 1106.
[0217]
The motion vector determination unit 1106 that has received the in-compensation reference image information determines only a final motion vector by selecting only one of these four third-order candidate vectors.
[0218]
Regarding the relationship between this selection criterion in the motion vector determination unit 1106 and the criterion for obtaining the third candidate vector of the first motion prediction unit 1101, the criterion of the candidate vector determination unit 1105 and the second motion prediction unit It is the same as the reference relationship of 1102 and should be different from each other.
[0219]
However, unlike the candidate vector determination unit 1105 that selected two candidate vectors, the motion vector determination unit 1106 ultimately determines one candidate vector, and therefore requires selection based on a more comprehensive and highly reliable standard. It is done.
[0220]
As an example, the degree of coincidence of all the blocks corresponding to each of the end point blocks P3-1, P3-2, P3-3, and P3-4 may be comprehensively compared.
[0221]
That is, not only the degree of coincidence between the blocks P3-1 and P2-1 but also a predetermined calculation formula that takes into account the degree of coincidence between P3-1 and P1-1 and the degree of coincidence between P3-1 and P0 is set. Ask for. Similarly, values of blocks P3-2, P3-3, and P3-4 are obtained based on the same calculation formula, and only one third-order candidate vector is selected by comparing these four values.
It should be noted that the motion vector finally obtained by the motion compensation unit 110C and output to the outside is the second order from the third order, the first order from the second order, and the early stage candidate vectors are incorrect. There is a high possibility that the actual motion vector corresponding to the actual motion of the image is far from the true motion vector. Therefore, it is desirable that the calculation formula and motion compensation unit 110C be configured so that errors such as the first motion prediction unit 1101 can be recovered and corrected by processing such as the third motion prediction unit 1103.
[0222]
In the example of FIG. 14, the third candidate vector V3-1 is selected.
[0223]
When the third candidate vector V3-1 is selected, the final motion vector VC (= V1-1 + V2-1 + V3-1) is obtained by the vector sum with the corresponding second and first candidate vectors. The reference image information including the VC information is output.
[0224]
The reference image information output from the motion compensation unit 110C to the switch 114 and the subtractor 102 may have the same configuration as that of the first embodiment in this embodiment.
[0225]
In the present embodiment, the number of candidate vectors does not increase excessively by the candidate vector determining unit 1105 provided between the second motion predicting unit 1102 and the third motion predicting unit 1103. The number of operations in the motion prediction unit 1103 is not large.
[0226]
If the candidate vector determination unit 1105 is not provided, in the above example, all the second candidate vectors such as V2-1 are supplied to the first motion prediction unit 1101, and the third candidate vector such as V3-1 is 8 Become one. Therefore, it is necessary to increase the number of computations by increasing the number of search ranges FV3-1 and FV3-2.
[0227]
(D-2) Effects of the fourth embodiment
According to this embodiment, an effect equivalent to that of the first embodiment can be obtained.
[0228]
In addition, in the present embodiment, it is possible to correct and prevent erroneous detection of motion vectors in the process of obtaining and selecting a plurality of candidate vectors, and it is possible to deal with an object that moves in a complex manner in a short time. Thereby, it is possible to improve the reliability of motion vector detection.
[0229]
(E) Other embodiments
In the first to fourth embodiments, the case where the frame rate is fixed at 10 Hz, that is, the case where 2 frames are dropped out of 3 consecutive frames is shown. However, the present invention is applicable to other frame rates and variable frame rates. Is also applicable.
[0230]
In this case, the number of original image memories is increased to four or more as necessary.
[0231]
In the first to fourth embodiments, the instantaneous value of the frame rate changes every moment, although it is fixed at 10 Hz, for example, it may be 5 Hz or 30 Hz.
[0232]
For this reason, even when the frame rate is fixed at 10 Hz, in practice, it is preferable to increase the number of original image memories to four or more from the viewpoint of improvement of motion compensation capability and processing efficiency. With three original image memories, it is possible to cope only with frame dropping of a maximum of 2 frames. If consecutive frame dropping of 3 frames or more occurs instantaneously, it is necessary to expand the search range, and the same problem as described in the problem to be solved by the invention will occur.
[0233]
However, according to the present invention, even if the number of original image memories is at least two, frame dropping of one frame can be handled and a certain effect is retained.
[0234]
Furthermore, “frame” in the first to fourth embodiments may be replaced with “field” in the case of a so-called NTSC signal or the like.
[0235]
Of course, the search range control and the evaluation value calculation control can be made variable. Similarly, the number of candidate vectors can be increased or changed in a timely manner.
[0236]
Note that the evaluation value calculation control unit 1104 according to the fourth embodiment has the function of the evaluation value calculation control unit 904 according to the third embodiment and the function of the search range control unit 804 according to the second embodiment. Only the function of the evaluation value calculation control unit 904 of the third embodiment may be provided.
[0237]
Similarly, the evaluation value calculation control unit 904 of the third embodiment may also have the function of the search range control unit 804 of the second embodiment.
[0238]
In short, in the present invention, the search range control function and the evaluation value calculation control function can be provided alone or in combination.
[0239]
Also, including the first to fourth embodiments, the motion vector is normally used for encoding, that is, motion compensation encoding, but the application of the present invention is not limited to this.
[0240]
For example, even when encoding is not performed, the present invention can be used for the purpose of efficiently obtaining image motion on a screen of three or more consecutive frames.
[0241]
That is, according to the present invention, the input order starts from the first position in the previous start screen, and the second position in the subsequent end screen in the input order serves as the end point. The present invention can be widely applied to a motion vector detection apparatus that detects a combined motion vector that indicates the motion of an image on a screen within a period up to.
[0242]
【The invention's effect】
As described above, according to the present invention, it is possible to improve the reliability of motion vector detection while suppressing an increase in the number of operations.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of an encoding apparatus according to an embodiment.
FIG. 2 is a block diagram illustrating a configuration of a conventional encoding device.
FIG. 3 is a schematic diagram illustrating a block matching operation in a conventional encoding device.
FIG. 4 is a block diagram illustrating an internal configuration of a motion compensation unit of the encoding device according to the first embodiment.
FIG. 5 is a schematic diagram illustrating block matching of a motion compensation unit according to the first and second embodiments.
FIG. 6 is a schematic diagram illustrating block matching of a motion compensation unit according to the first and second embodiments.
FIG. 7 is a schematic diagram illustrating block matching of a motion compensation unit according to the first and second embodiments.
FIG. 8 is a block diagram showing an internal configuration of a motion compensation unit of the encoding apparatus according to the second embodiment.
FIG. 9 is a block diagram illustrating an internal configuration of a motion compensation unit of an encoding apparatus according to a third embodiment.
FIG. 10 is a schematic diagram illustrating an operation of a motion compensation unit of the encoding device according to the third embodiment.
FIG. 11 is a block diagram illustrating an internal configuration of a motion compensation unit of an encoding apparatus according to a fourth embodiment.
FIG. 12 is a schematic diagram illustrating an operation of a motion compensation unit of the encoding device according to the fourth embodiment.
FIG. 13 is a schematic diagram illustrating an operation of a motion compensation unit of the encoding device according to the fourth embodiment.
FIG. 14 is a schematic diagram illustrating an operation of a motion compensation unit of the encoding device according to the fourth embodiment.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10, 10A, 10B, 10C ... Encoder, 104 ... Encoder, 105 ... Encoding control part, 110, 110A, 110B, 110C ... Motion compensation part, 111-113 ... Original image memory, 401, 801 901, 1101... First motion prediction unit, 402, 802, 902, 1102 ... second motion prediction unit, 403, 803, 903, 1103 ... third motion prediction unit, 804 ... search range control unit, 904, DESCRIPTION OF SYMBOLS 1104 ... Evaluation value calculation control part, 1105 ... Candidate vector determination part, 1106 ... Motion vector determination part.

Claims (3)

入力順が先の始点画面中の第１の位置を始点とすると共に、入力順が後の終点画面中の第２の位置を終点とすることで、始点画面から終点画面にいたる期間内で画面中の像の動きを示す合成動きベクトルをブロック単位に検出する動きベクトル検出装置であって、
前記始点画面の画像データを記憶する始点画面記憶手段と、
前記終点画面の画像データを記憶する終点画面記憶手段と、
前記始点画面と終点画面の中間の入力順で入力された少なくとも１つの中間画面を記憶する少なくとも１つの中間画面記憶手段と、
前記始点画面から終点画面にいたる各画面につき、入力順が相前後して隣接する２つの画面間で、前記合成動きベクトルの構成要素となる要素動きベクトルをブロック単位に求めると共に、入力順が後の２つの画面間に係る要素動きベクトルほど先に求める逐次処理を行い、複数の要素動きベクトルについてベクトル合成を行うことで、前記合成動きベクトルを生成する予測演算手段と、
少なくとも画面間符号化又はコマ落としのいずれかの処理を選択して行う符号化手段と、
前記中間画面を当該コマ落としの対象となった画面とし、前記合成動きベクトルを用いて動き補償することで、当該符号化手段にコマ落とし直後の最初の画面間符号化を行わせる符号化制御手段とを備え、
前記予測演算手段は、
前記要素動きベクトルの候補として複数の候補動きベクトルを求める候補検出演算を、入力順が連続する複数画面の各画面間ごとに実行する候補動きベクトル検出手段と、
画面間毎の要素動きベクトルを求める逐次処理順の２番目以降の画面間については、先に求められた画面間の全候補動きベクトルのそれぞれに対し、その候補動きベクトルに連結する候補動きベクトルを１つずつ選択するベクトル選択手段とを備える
ことを特徴とする動きベクトル検出装置。When the input order is the first position in the previous start point screen and the second position in the later end point screen is the end point, the screen is within the period from the start point screen to the end point screen. A motion vector detection device that detects a combined motion vector indicating the motion of an image in a block unit,
Start point screen storage means for storing image data of the start point screen;
Endpoint screen storage means for storing image data of the endpoint screen;
At least one intermediate screen storage means for storing at least one intermediate screen input in an intermediate input order between the start point screen and the end point screen;
For each screen from the start point screen to the end point screen, an element motion vector that is a constituent element of the composite motion vector is obtained in units of blocks between two adjacent screens in the order of input, and the input order is later Predictive calculation means for generating the synthesized motion vector by performing sequential processing to obtain the element motion vector between the two screens earlier and performing vector synthesis for a plurality of element motion vectors;
Encoding means for performing at least one of inter-frame encoding or frame dropping processing;
Coding control means for causing the coding means to perform the first inter-frame coding immediately after dropping frames by using the intermediate screen as a screen subject to frame dropping and performing motion compensation using the synthesized motion vector. equipped with a door,
The prediction calculation means includes
Candidate motion vector detection means for executing candidate detection calculation for obtaining a plurality of candidate motion vectors as the candidate element motion vectors for each screen of a plurality of screens in which the input order is continuous;
For the second and subsequent screens in the sequential processing order for obtaining the element motion vectors for each screen, for each of all candidate motion vectors between the screens obtained previously, candidate motion vectors to be linked to the candidate motion vectors are displayed. A motion vector detecting device comprising vector selecting means for selecting one by one . 請求項１の動きベクトル検出装置において、
前記予測演算手段は、
求めようとしている新たな要素動きベクトルの直前の要素動きベクトルの始点と同じ位置を基準として、当該始点の存在する画面より入力順が１つ先の画面上に探索範囲を設定する探索範囲変更手段を備えることを特徴とする動きベクトル検出装置。The motion vector detection device according to claim 1,
The prediction calculation means includes
Search range changing means for setting a search range on a screen that is one order ahead of the screen on which the start point exists, based on the same position as the start point of the element motion vector immediately before the new element motion vector to be obtained A motion vector detection device comprising: 請求項１の動きベクトル検出装置において、
前記予測演算手段は、
前記始点画面から終点画面にいたる各画面の上下左右方向に対応して連続的に配列された画素の中から、上下左右方向に断続的に一部の画素を選択する画素選択手段を備え、
当該画素選択手段によって選択された画素に対し、前記検出演算を実行することで、前記要素動きベクトルを求めることを特徴とする動きベクトル検出装置。The motion vector detection device according to claim 1,
The prediction calculation means includes
Pixel selection means for intermittently selecting a part of pixels in the vertical and horizontal directions from among the pixels continuously arranged corresponding to the vertical and horizontal directions of each screen from the start point screen to the end point screen;
A motion vector detection apparatus for obtaining the element motion vector by executing the detection calculation on a pixel selected by the pixel selection means.
JP20984599A 1999-07-23 1999-07-23 Motion vector detection device Expired - Fee Related JP3982952B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP20984599A JP3982952B2 (en) 1999-07-23 1999-07-23 Motion vector detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP20984599A JP3982952B2 (en) 1999-07-23 1999-07-23 Motion vector detection device

Publications (2)

Publication Number Publication Date
JP2001036909A JP2001036909A (en) 2001-02-09
JP3982952B2 true JP3982952B2 (en) 2007-09-26

Family

ID=16579583

Family Applications (1)

Application Number Title Priority Date Filing Date
JP20984599A Expired - Fee Related JP3982952B2 (en) 1999-07-23 1999-07-23 Motion vector detection device

Country Status (1)

Country Link
JP (1) JP3982952B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060098886A1 (en) * 2003-01-10 2006-05-11 Koninklijke Philips Electronics N.V. Efficient predictive image parameter estimation
JP4017578B2 (en) * 2003-09-19 2007-12-05 三洋電機株式会社 Camera shake correction device, camera shake correction method, and recording medium recording camera shake correction program
JP4507742B2 (en) * 2004-07-27 2010-07-21 富士通株式会社 Video encoding device
EP1956839A4 (en) * 2005-11-29 2010-03-17 Pioneer Corp Recording device, reproduction device, recording method, recording program, and computer-readable recording medium

Also Published As

Publication number Publication date
JP2001036909A (en) 2001-02-09

Similar Documents

Publication Publication Date Title
JP4528662B2 (en) Motion detection using adaptive space latest vector
JP4373702B2 (en) Moving picture encoding apparatus, moving picture decoding apparatus, moving picture encoding method, moving picture decoding method, moving picture encoding program, and moving picture decoding program
CN107277543B (en) Encoding device and method, decoding device and method, and storage medium
CN116233463A (en) Motion vector correction for multi-reference prediction
JP2005287047A (en) Motion vector estimation employing line vector and column vector
JP2005318586A (en) Motion vector detection with improved motion vector selection
JP2010504010A (en) Data compression method in video sequence
US20100315550A1 (en) Image frame interpolation device, image frame interpolation method, and image frame interpolation program
JPH07193822A (en) Motion prediction processor and device therefor
JP3982952B2 (en) Motion vector detection device
JP3201079B2 (en) Motion compensated prediction method, coding method and apparatus for interlaced video signal
JP2003259377A (en) Moving picture encoding method, moving picture decoding method, and code string format
WO2000005899A1 (en) Image encoding system
JP2009290889A (en) Motion picture encoder, motion picture decoder, motion picture encoding method, motion picture decoding method, motion picture encoding program, and motion picture decoding program
JP5353719B2 (en) Moving picture coding apparatus, moving picture coding method, and moving picture coding program
JP3490142B2 (en) Moving image encoding method and apparatus
JPH1042300A (en) Motion vector detection device
JPH10304371A (en) Moving vector detecting device
JP2006311603A (en) Moving image encoding method and apparatus, and moving image decoding method and apparatus
JPH10257496A (en) Motion compensation prediction device for interlaced motion image
JPH0984017A (en) Motion compensation prediction coding method for moving image
JPH10164596A (en) Motion detector
JP3834014B2 (en) Video coding method and apparatus
JPH1013835A (en) Motion vector detecting methd
JP2002064748A (en) Telop area detector in moving image

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051213

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060919

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061120

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070403

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070423

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070703

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070703

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100713

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110713

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120713

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130713

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees