JP3531532B2 - 動画像符号化装置、及び方法 - Google Patents
動画像符号化装置、及び方法Info
- Publication number
- JP3531532B2 JP3531532B2 JP13788999A JP13788999A JP3531532B2 JP 3531532 B2 JP3531532 B2 JP 3531532B2 JP 13788999 A JP13788999 A JP 13788999A JP 13788999 A JP13788999 A JP 13788999A JP 3531532 B2 JP3531532 B2 JP 3531532B2
- Authority
- JP
- Japan
- Prior art keywords
- motion
- frame
- prediction
- coding
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、例えばＩＳＯ／Ｉ
ＥＣ １３８１８−２（ＭＰＥＧ−２）などの規格で定
義される画像符号化を実現する動画像符号化装置及び方
法に関し、特にこのような画像符号化処理において高画
質符号化制御方式を採用した動画像符号化装置及び方法
に関する。
ＥＣ １３８１８−２（ＭＰＥＧ−２）などの規格で定
義される画像符号化を実現する動画像符号化装置及び方
法に関し、特にこのような画像符号化処理において高画
質符号化制御方式を採用した動画像符号化装置及び方法
に関する。
【０００２】
【従来の技術】従来、ＩＳＯ／ＩＥＣ １３８１８−２
（ＭＰＥＧ−２）等の規格で定義されるフレーム間動き
補償符号化を実施するにあたり、フレーム内符号化され
るピクチャ（Ｉピクチャ）、前方向予測符号化されるピ
クチャ（Ｐピクチャ）、双方向予測符号化されるピクチ
ャ（Ｂピクチャ）、の３種類の符号化の混合方法につい
ては、これらを周期的な配置とし、かつ定常的にその配
置状況を変化させず継続的に符号化するのが一般的であ
った。
（ＭＰＥＧ−２）等の規格で定義されるフレーム間動き
補償符号化を実施するにあたり、フレーム内符号化され
るピクチャ（Ｉピクチャ）、前方向予測符号化されるピ
クチャ（Ｐピクチャ）、双方向予測符号化されるピクチ
ャ（Ｂピクチャ）、の３種類の符号化の混合方法につい
ては、これらを周期的な配置とし、かつ定常的にその配
置状況を変化させず継続的に符号化するのが一般的であ
った。
【０００３】この周期について、特にＩピクチャの周期
については、アルファベットＮで、ＩピクチャまたはＰ
ピクチャの周期については、アルファベットＭで表記す
ることが慣例としてなされている。ＮやＭは固定でかつ
動的に変更されないような制御を行うのが一般的であ
る。
については、アルファベットＮで、ＩピクチャまたはＰ
ピクチャの周期については、アルファベットＭで表記す
ることが慣例としてなされている。ＮやＭは固定でかつ
動的に変更されないような制御を行うのが一般的であ
る。
【０００４】例えば、図１０（ａ）に示されるように、
Ｍ＝１ではＩピクチャまたはＰピクチャが連続し、Ｂピ
クチャは使われない。このＭ＝１の場合では、Ｐピクチ
ャは１ピクチャ前の画像を参照してフレーム間予測を行
う。
Ｍ＝１ではＩピクチャまたはＰピクチャが連続し、Ｂピ
クチャは使われない。このＭ＝１の場合では、Ｐピクチ
ャは１ピクチャ前の画像を参照してフレーム間予測を行
う。
【０００５】また、図１０（ｂ）のように、Ｍ＝２では
ＩピクチャまたはＰピクチャの間隔が２となり、あいだ
にＢピクチャが１枚使われる。このＭ＝２の場合では、
Ｐピクチャは２ピクチャ前の画像を参照してフレーム間
予測を行う。また、あいだのＢピクチャは前後のＩピク
チャまたはＰピクチャを参照して双方向のフレーム間予
測を行う。そのため、Ｂピクチャの符号化は、画像の入
力順序とは異なり、両側の参照フレームの符号化が終了
した後で、符号化が行われる。
ＩピクチャまたはＰピクチャの間隔が２となり、あいだ
にＢピクチャが１枚使われる。このＭ＝２の場合では、
Ｐピクチャは２ピクチャ前の画像を参照してフレーム間
予測を行う。また、あいだのＢピクチャは前後のＩピク
チャまたはＰピクチャを参照して双方向のフレーム間予
測を行う。そのため、Ｂピクチャの符号化は、画像の入
力順序とは異なり、両側の参照フレームの符号化が終了
した後で、符号化が行われる。
【０００６】また、図１０（ｃ）のように、Ｍ＝３では
ＩピクチャまたはＰピクチャの間隔が３となり、あいだ
にＢピクチャが２枚使われる。このＭ＝３の場合では、
Ｐピクチャは３ピクチャ前の画像を参照してフレーム間
予測を行う。また、あいだのＢピクチャはＭ＝２の場合
と同様に、前後のＩピクチャまたはＰピクチャを参照し
て双方向のフレーム間予測を行う。
ＩピクチャまたはＰピクチャの間隔が３となり、あいだ
にＢピクチャが２枚使われる。このＭ＝３の場合では、
Ｐピクチャは３ピクチャ前の画像を参照してフレーム間
予測を行う。また、あいだのＢピクチャはＭ＝２の場合
と同様に、前後のＩピクチャまたはＰピクチャを参照し
て双方向のフレーム間予測を行う。
【０００７】以下、Ｍの値が大きくなっても同様であ
り、ＩピクチャまたはＰピクチャの間隔はＭとなり、そ
のあいだにＢピクチャが（Ｍ−１）枚使われる。Ｐピク
チャは、Ｍピクチャ前の画像を参照してフレーム間予測
を行う。
り、ＩピクチャまたはＰピクチャの間隔はＭとなり、そ
のあいだにＢピクチャが（Ｍ−１）枚使われる。Ｐピク
チャは、Ｍピクチャ前の画像を参照してフレーム間予測
を行う。
【０００８】ここで、Ｂピクチャを用いる理由として、
一般には双方向予測符号化による予測効率向上がいわれ
ている。フレーム間予測の冗長度の削減は、同一の量子
化ステップにおける符号量削減につながり、ひいては同
一圧縮率（符号化レート）の場合の画質向上につなが
る。
一般には双方向予測符号化による予測効率向上がいわれ
ている。フレーム間予測の冗長度の削減は、同一の量子
化ステップにおける符号量削減につながり、ひいては同
一圧縮率（符号化レート）の場合の画質向上につなが
る。
【０００９】Ｂピクチャを用いる別な理由として、前方
向予測符号化が連続することによる誤差蓄積を改善する
ことがある。一般に連続する前方向予測符号化では、参
照される予測画像自体がフレーム間予測符号化されてい
る。予測符号化における参照画像がＩピクチャであると
き、その符号化画像の世代を１とし、以下、世代ｎの画
像を参照画像とする符号化画像の世代をｎ＋１とする
と、双方向予測を用いる場合に比べ、前方向予測のみの
場合は時間経過に伴う世代数の増加が早くなる。その結
果、符号化による量子化誤差が蓄積されやすくなり、画
質劣化の原因となる。このような問題は双方向予測によ
り解決される。
向予測符号化が連続することによる誤差蓄積を改善する
ことがある。一般に連続する前方向予測符号化では、参
照される予測画像自体がフレーム間予測符号化されてい
る。予測符号化における参照画像がＩピクチャであると
き、その符号化画像の世代を１とし、以下、世代ｎの画
像を参照画像とする符号化画像の世代をｎ＋１とする
と、双方向予測を用いる場合に比べ、前方向予測のみの
場合は時間経過に伴う世代数の増加が早くなる。その結
果、符号化による量子化誤差が蓄積されやすくなり、画
質劣化の原因となる。このような問題は双方向予測によ
り解決される。
【００１０】以上のような利点が双方向予測にはある一
方、ＩピクチャまたはＰピクチャの周期（フレーム間距
離）Ｍを大きくすることは、非常に大きな動きに対して
動き探索を行うとき、動き探索はその適切な範囲におい
て不利になる。
方、ＩピクチャまたはＰピクチャの周期（フレーム間距
離）Ｍを大きくすることは、非常に大きな動きに対して
動き探索を行うとき、動き探索はその適切な範囲におい
て不利になる。
【００１１】すなわち、例えば等しい速度で平行移動す
る動画像を仮定するとフレームあたりの動き量は一定で
あるので、フレーム間距離が大きい場合、その動き量は
フレーム間距離に比例して大きなものとなる。その前提
で正しい動きベクトルを検出するためには、Ｍに比例し
た広範囲の探索を実行する必要がある。
る動画像を仮定するとフレームあたりの動き量は一定で
あるので、フレーム間距離が大きい場合、その動き量は
フレーム間距離に比例して大きなものとなる。その前提
で正しい動きベクトルを検出するためには、Ｍに比例し
た広範囲の探索を実行する必要がある。
【００１２】従来、このような動き探索範囲に関する課
題を解決する第１の方法として、画像符号化装置で実行
される動き探索において、十分広範囲な動きベクトル探
索範囲を有するよう設計されたものがある。このときの
ベクトル探索範囲は、フレームあたりの動き量の最大値
が想定され、その最大値のＭ倍の動き探索範囲となるよ
うに設計されている。
題を解決する第１の方法として、画像符号化装置で実行
される動き探索において、十分広範囲な動きベクトル探
索範囲を有するよう設計されたものがある。このときの
ベクトル探索範囲は、フレームあたりの動き量の最大値
が想定され、その最大値のＭ倍の動き探索範囲となるよ
うに設計されている。
【００１３】また、同様に上記の動き探索範囲に関する
課題を解決する第２の方法として、特開平９−２９４２
６６号公報にフレーム間距離の最適化方式の一例が開示
されており、ここでは、動きベクトルの分布の割合に応
じてフレーム間距離を増加させ、また、フレーム間予測
差分値によってフレーム間距離を短縮する方法が述べら
れている。
課題を解決する第２の方法として、特開平９−２９４２
６６号公報にフレーム間距離の最適化方式の一例が開示
されており、ここでは、動きベクトルの分布の割合に応
じてフレーム間距離を増加させ、また、フレーム間予測
差分値によってフレーム間距離を短縮する方法が述べら
れている。
【００１４】例えば図１１に示すように、Ｘ13〜Ｘu3の
動きベクトルの探索範囲を持ち、現画面に対してＭ＝２
符号化している場合を考える。このとき、探索範囲を２
／３にしたＸ12〜Ｘu2の範囲に検出したベクトルの分布
の割合が多ければＭ＝３にＭを増加させ、次にＰピクチ
ャとして符号化するフレームをＰ３とする。さもなく
ば、Ｍは２のままで、次にＰピクチャとして符号化する
フレームをＰ２とする。また、フレーム間予測差分が一
定値を超えたとき、Ｍ＝１にＭを減少させ、次にＰピク
チャとして符号化するフレームをＰ１とする。
動きベクトルの探索範囲を持ち、現画面に対してＭ＝２
符号化している場合を考える。このとき、探索範囲を２
／３にしたＸ12〜Ｘu2の範囲に検出したベクトルの分布
の割合が多ければＭ＝３にＭを増加させ、次にＰピクチ
ャとして符号化するフレームをＰ３とする。さもなく
ば、Ｍは２のままで、次にＰピクチャとして符号化する
フレームをＰ２とする。また、フレーム間予測差分が一
定値を超えたとき、Ｍ＝１にＭを減少させ、次にＰピク
チャとして符号化するフレームをＰ１とする。
【００１５】
【発明が解決しようとする課題】しかしながら、上記の
方法を用いた画像符号化装置には次に記す問題点があ
る。上記の第１の方法を用いた画像符号化装置には、動
き探索ハードウェア規模が大きく高価になるといった問
題点がある。
方法を用いた画像符号化装置には次に記す問題点があ
る。上記の第１の方法を用いた画像符号化装置には、動
き探索ハードウェア規模が大きく高価になるといった問
題点がある。
【００１６】また、上記の第１の方法を用いた画像符号
化装置の他の問題点は、動き探索範囲を拡大し、且つハ
ードウェア規模を削減するために、動き探索において簡
略化アルゴリズムを用いる必要があること、つまり、そ
れにより動き探索範囲が小さい場合に比べて探索精度が
低下し、符号化画質の劣化をもたらすことである。
化装置の他の問題点は、動き探索範囲を拡大し、且つハ
ードウェア規模を削減するために、動き探索において簡
略化アルゴリズムを用いる必要があること、つまり、そ
れにより動き探索範囲が小さい場合に比べて探索精度が
低下し、符号化画質の劣化をもたらすことである。
【００１７】上記の第２の方法を用いた画像符号化装置
の問題点は、探索範囲の過不足を、動きベクトルの分布
の一部を観察して判定することによる誤判定と、それに
伴う画質劣化である。自然画の動画像における動きベク
トルは、平均ベクトルを中心として等方的に分布し、そ
の分布の広がり具合（分散）は、一般的に画像の動きを
含めた自己相関の強さによって異なると考えられる。
の問題点は、探索範囲の過不足を、動きベクトルの分布
の一部を観察して判定することによる誤判定と、それに
伴う画質劣化である。自然画の動画像における動きベク
トルは、平均ベクトルを中心として等方的に分布し、そ
の分布の広がり具合（分散）は、一般的に画像の動きを
含めた自己相関の強さによって異なると考えられる。
【００１８】従って、第２の方法として特開平９−２９
４２６６号公報に示されるように、ある探索範囲の中に
ある動きベクトル数が閾値以上であるという判断からそ
のベクトルに関する統計情報が推定されたことにはなら
ない。
４２６６号公報に示されるように、ある探索範囲の中に
ある動きベクトル数が閾値以上であるという判断からそ
のベクトルに関する統計情報が推定されたことにはなら
ない。
【００１９】例えば、動きベクトルの分散が大きい場
合、動きベクトルの分散が小さい場合に係わらず、平均
値がある探索範囲の閾値付近で大きい場合には、探索範
囲が十分であるという判定を行っても、探索範囲の縮小
によって、大きな画質劣化を招く可能性があり、高画質
符号化という観点からは妥当な制御とはいえない。
合、動きベクトルの分散が小さい場合に係わらず、平均
値がある探索範囲の閾値付近で大きい場合には、探索範
囲が十分であるという判定を行っても、探索範囲の縮小
によって、大きな画質劣化を招く可能性があり、高画質
符号化という観点からは妥当な制御とはいえない。
【００２０】さらに、単一時刻の動きベクトルの分布を
判定に用いた場合、分布全体が時間的に増加または減少
しながら０ベクトル値を跨いで変化する変化するような
場合、０値への接近のみで探索範囲に余裕ができたと判
断すると、その直後の０値からの離反に対して探索範囲
が不足するケースが考えられる。フレーム間距離の調整
には、判定と対策に数フレームの処理時間を要し、その
ため、対策が遅れて符号化画質が劣化することがある。
判定に用いた場合、分布全体が時間的に増加または減少
しながら０ベクトル値を跨いで変化する変化するような
場合、０値への接近のみで探索範囲に余裕ができたと判
断すると、その直後の０値からの離反に対して探索範囲
が不足するケースが考えられる。フレーム間距離の調整
には、判定と対策に数フレームの処理時間を要し、その
ため、対策が遅れて符号化画質が劣化することがある。
【００２１】本発明は、上記の問題点に鑑みてなされた
ものであり、ハードウェア規模を削減し、かつ広範囲の
動き探索を必要な場合に対応することが可能な動画像符
号化装置および方法を提供することを目的としている。
ものであり、ハードウェア規模を削減し、かつ広範囲の
動き探索を必要な場合に対応することが可能な動画像符
号化装置および方法を提供することを目的としている。
【００２２】また、本発明は、予測構造の切替え判定を
画質劣化を引き起こさないような精度で実行する動画像
符号化装置および方法を提供することを目的としてい
る。
画質劣化を引き起こさないような精度で実行する動画像
符号化装置および方法を提供することを目的としてい
る。
【００２３】
【課題を解決するための手段】かかる目的を達成するた
めに、本発明による請求項１記載の発明は、フレーム内
符号化、前方向予測符号化、および双方向予測符号化を
各フレーム符号化に適用したフレーム間動き補償予測を
行う動画像符号化装置において、符号化対象となるフレ
ームの、動き補償フレーム間予測における上記符号化対
象となるフレームの参照画像に対する動きの大きさ、お
よび、動きの大きさの変化量を観測し、上記動きの大き
さ、および、上記動きの大きさの変化量のそれぞれと予
め定めたそれぞれの閾値との大小比較を行い、上記動き
の大きさ、および、上記動きの大きさの変化量のそれぞ
れが上記予め定めたそれぞれの閾値より小さい場合は静
止状態と判定し、上記動きの大きさが、上記予め定めた
閾値以上の場合は動き大と判定することにより動き静止
判定を行い、該判定結果に基づいて、静状態と判定した
場合には、前方向予測符号化を行うフレーム間の距離を
大きくし、動き大と判定した場合には、前方向予測符号
化を行うフレーム間の距離を小さくすることで、前方向
予測符号化を行うフレーム間の距離を決定し、該決定さ
れたフレームの間隔に従うフレーム順序で符号化処理を
行うことを特徴とする動画像符号化装置。
めに、本発明による請求項１記載の発明は、フレーム内
符号化、前方向予測符号化、および双方向予測符号化を
各フレーム符号化に適用したフレーム間動き補償予測を
行う動画像符号化装置において、符号化対象となるフレ
ームの、動き補償フレーム間予測における上記符号化対
象となるフレームの参照画像に対する動きの大きさ、お
よび、動きの大きさの変化量を観測し、上記動きの大き
さ、および、上記動きの大きさの変化量のそれぞれと予
め定めたそれぞれの閾値との大小比較を行い、上記動き
の大きさ、および、上記動きの大きさの変化量のそれぞ
れが上記予め定めたそれぞれの閾値より小さい場合は静
止状態と判定し、上記動きの大きさが、上記予め定めた
閾値以上の場合は動き大と判定することにより動き静止
判定を行い、該判定結果に基づいて、静状態と判定した
場合には、前方向予測符号化を行うフレーム間の距離を
大きくし、動き大と判定した場合には、前方向予測符号
化を行うフレーム間の距離を小さくすることで、前方向
予測符号化を行うフレーム間の距離を決定し、該決定さ
れたフレームの間隔に従うフレーム順序で符号化処理を
行うことを特徴とする動画像符号化装置。
【００２４】請求項２記載の発明は、フレーム内符号
化、前方向予測符号化、および双方向予測符号化を各フ
レーム符号化に適用したフレーム間動き補償予測を行う
動画像符号化方法において、符号化対象となるフレーム
の、動き補償フレーム間予測における上記符号化対象と
なるフレームの参照画像に対する動きの大きさ、およ
び、動きの大きさの変化量を観測し、上記動きの大き
さ、および、上記動きの大きさの変化量のそれぞれと予
め定めたそれぞれの閾値との大小比較を行い、上記動き
の大きさ、および、上記動きの大きさの変化量が、上記
予め定めたそれぞれの閾値より小さい場合は静状態と判
定し、上記動きの大きさが、上記予め定めた閾値以上の
場合は動き大と判定することにより動き静止判定を行
い、該判定結果に基づいて、静状態と判定した場合に
は、前方向予測符号化を行うフレーム間隔を大きくし、
動き大と判定した場合には、前方向予測符号化を行うフ
レーム間の距離を小さくすることで、前方向予測符号化
を行うフレーム間の距離を決定し、該決定されたフレー
ムの間隔に従うフレーム順序で符号化処理を行うことを
特徴とする動画像符号化方法。
化、前方向予測符号化、および双方向予測符号化を各フ
レーム符号化に適用したフレーム間動き補償予測を行う
動画像符号化方法において、符号化対象となるフレーム
の、動き補償フレーム間予測における上記符号化対象と
なるフレームの参照画像に対する動きの大きさ、およ
び、動きの大きさの変化量を観測し、上記動きの大き
さ、および、上記動きの大きさの変化量のそれぞれと予
め定めたそれぞれの閾値との大小比較を行い、上記動き
の大きさ、および、上記動きの大きさの変化量が、上記
予め定めたそれぞれの閾値より小さい場合は静状態と判
定し、上記動きの大きさが、上記予め定めた閾値以上の
場合は動き大と判定することにより動き静止判定を行
い、該判定結果に基づいて、静状態と判定した場合に
は、前方向予測符号化を行うフレーム間隔を大きくし、
動き大と判定した場合には、前方向予測符号化を行うフ
レーム間の距離を小さくすることで、前方向予測符号化
を行うフレーム間の距離を決定し、該決定されたフレー
ムの間隔に従うフレーム順序で符号化処理を行うことを
特徴とする動画像符号化方法。
【００２５】
【発明の実施の形態】以下、本発明の実施の形態を添付
図面を参照しながら詳細に説明する。
図面を参照しながら詳細に説明する。
【００２６】図１は、本発明の一実施形態における動画
像符号化装置の概略構成を示すブロック図である。図１
によれば、本発明の動画像符号化装置は、入力画像蓄積
部１０１と局所復号画像蓄積部１０２と動きベクトル探
索部１０３と動き補償フレーム間予測部１０４と差分器
１０５と予測誤差符号化部１０６と予測誤差復号化部１
０７と加算器１０８と動きベクトル平均値算出部１０９
と予測構造決定部１１０とを有して構成される。
像符号化装置の概略構成を示すブロック図である。図１
によれば、本発明の動画像符号化装置は、入力画像蓄積
部１０１と局所復号画像蓄積部１０２と動きベクトル探
索部１０３と動き補償フレーム間予測部１０４と差分器
１０５と予測誤差符号化部１０６と予測誤差復号化部１
０７と加算器１０８と動きベクトル平均値算出部１０９
と予測構造決定部１１０とを有して構成される。
【００２７】入力画像蓄積部１０１は、少なくとも本実
施例で必要となる枚数分の入力画像を蓄積し、予測構造
決定部１１０で決定された予測構造に従う符号化処理順
序に応じて、内部に記録している入力画像信号を出力す
る。ここで、本実施例においては、入力画像を予め複数
の領域に分割し、それぞれの分割領域ごとに符号化処理
を行う。
施例で必要となる枚数分の入力画像を蓄積し、予測構造
決定部１１０で決定された予測構造に従う符号化処理順
序に応じて、内部に記録している入力画像信号を出力す
る。ここで、本実施例においては、入力画像を予め複数
の領域に分割し、それぞれの分割領域ごとに符号化処理
を行う。
【００２８】局所復号画像蓄積部１０２では、既に符号
化処理の済んだ画像を復号した結果の画像を蓄積し、予
測構造決定部１１０で決定された予測構造に従って、入
力画像の動きベクトル探索および動き補償フレーム間予
測の際に、必要な画像信号を出力する。
化処理の済んだ画像を復号した結果の画像を蓄積し、予
測構造決定部１１０で決定された予測構造に従って、入
力画像の動きベクトル探索および動き補償フレーム間予
測の際に、必要な画像信号を出力する。
【００２９】動きベクトル探索部１０３では、局所復号
画像蓄積部１０２に記録されている画像を参照画像と
し、予測構造決定部１１０で決定された予測構造にした
がって選択された符号化対象の入力画像および参照画像
から、入力画像に対する動きベクトルの探索を行い、分
割領域ごとの動きベクトルを探索し予測のために使われ
る動きベクトル情報を出力する。
画像蓄積部１０２に記録されている画像を参照画像と
し、予測構造決定部１１０で決定された予測構造にした
がって選択された符号化対象の入力画像および参照画像
から、入力画像に対する動きベクトルの探索を行い、分
割領域ごとの動きベクトルを探索し予測のために使われ
る動きベクトル情報を出力する。
【００３０】ここで一つの方向から探索した動きベクト
ルは、分割領域に対して一つだけ求めてもよいし、ある
いは分割領域をさらに細分割した細分割領域に対してベ
クトルを求め、はじめの分割領域に対して複数の動きベ
クトルを求めてもよい。
ルは、分割領域に対して一つだけ求めてもよいし、ある
いは分割領域をさらに細分割した細分割領域に対してベ
クトルを求め、はじめの分割領域に対して複数の動きベ
クトルを求めてもよい。
【００３１】また、対象の分割領域に対して動き補償フ
レーム間予測をせずに、フレーム内符号化を行ったほう
が良いと判断される場合には動きベクトルなしとして動
きベクトル情報を出力してもよい。さらに、以上の予測
方法を分割領域ごとに選択して、最適な方法を一つ選択
することにしてもよい。
レーム間予測をせずに、フレーム内符号化を行ったほう
が良いと判断される場合には動きベクトルなしとして動
きベクトル情報を出力してもよい。さらに、以上の予測
方法を分割領域ごとに選択して、最適な方法を一つ選択
することにしてもよい。
【００３２】なお、フレーム内符号化を行うピクチャに
対しては動き補償フレーム間予測を行わないので、動き
ベクトルを探索する必要は無いが、それ以外に動きの状
態を観測するために動きベクトル探索を行い動きベクト
ルを求めてもよい。
対しては動き補償フレーム間予測を行わないので、動き
ベクトルを探索する必要は無いが、それ以外に動きの状
態を観測するために動きベクトル探索を行い動きベクト
ルを求めてもよい。
【００３３】動き補償フレーム間予測部１０４では、予
測構造決定部１１０で決定された予測構造にしたがっ
て、局所復号画像蓄積部１０２に記録されている画像を
参照画像とし、動きベクトル探索部１０３で求めた動き
ベクトル、および予測構造決定部１１０で決定された予
測の方法によって、入力画像蓄積部１０１から入力した
入力画像に対して動き補償フレーム間予測を行い、動き
補償フレーム間予測画像を出力する。
測構造決定部１１０で決定された予測構造にしたがっ
て、局所復号画像蓄積部１０２に記録されている画像を
参照画像とし、動きベクトル探索部１０３で求めた動き
ベクトル、および予測構造決定部１１０で決定された予
測の方法によって、入力画像蓄積部１０１から入力した
入力画像に対して動き補償フレーム間予測を行い、動き
補償フレーム間予測画像を出力する。
【００３４】差分器１０５では、符号化する入力画像
と、動き補償フレーム間予測部１０４から出力された動
きフレーム間予測画像との差分を計算し、予測誤差信号
を出力する。予測誤差符号化部１０６は、差分器１０５
から入力した予測誤差信号を符号化処理し、符号化デー
タを出力する。予測誤差復号化部１０７は、予測誤差符
号化部１０６から出力された符号化データから予測誤差
信号を復号し、復号化された予測誤信号を出力する。
と、動き補償フレーム間予測部１０４から出力された動
きフレーム間予測画像との差分を計算し、予測誤差信号
を出力する。予測誤差符号化部１０６は、差分器１０５
から入力した予測誤差信号を符号化処理し、符号化デー
タを出力する。予測誤差復号化部１０７は、予測誤差符
号化部１０６から出力された符号化データから予測誤差
信号を復号し、復号化された予測誤信号を出力する。
【００３５】加算器１０８は、予測誤差復号化部１０７
で復号化された予測誤差信号と、動き補償フレーム間予
測部１０４から出力された動き補償フレーム間予測信号
とを加算し、局所復号画像信号を出力する。局所復号画
像信号は局所復号画像蓄積部１０２に記録される。
で復号化された予測誤差信号と、動き補償フレーム間予
測部１０４から出力された動き補償フレーム間予測信号
とを加算し、局所復号画像信号を出力する。局所復号画
像信号は局所復号画像蓄積部１０２に記録される。
【００３６】動きベクトル平均値算出部１０９は、動き
ベクトル探索部１０３で探索された動きベクトルから、
分割領域ごとの動きベクトルの平均値を計算し、平均動
きベクトルを出力する。
ベクトル探索部１０３で探索された動きベクトルから、
分割領域ごとの動きベクトルの平均値を計算し、平均動
きベクトルを出力する。
【００３７】ここで、動きベクトルの平均値は、前方向
または後方向予測の一方または両方によるものであり、
分割領域ごとの動きベクトルのいずれかひとつ、もしく
はその加重平均によって計算される。
または後方向予測の一方または両方によるものであり、
分割領域ごとの動きベクトルのいずれかひとつ、もしく
はその加重平均によって計算される。
【００３８】平均動きベクトルは、一つの分割領域内で
複数の動きベクトルを検出した場合には、それらのうち
の１つを用いて計算するか、あるいはそれらの加重平均
によって計算する。
複数の動きベクトルを検出した場合には、それらのうち
の１つを用いて計算するか、あるいはそれらの加重平均
によって計算する。
【００３９】また、予測構造決定部１１０によってフレ
ーム内符号化が行われるフレームが符号化処理の対象と
して選択された場合、動きベクトル平均値算出部１０９
は、動きベクトル探索部１０３から入力した動きベクト
ルを平均動きベクトルの計算対象から除外する。もしく
は、動きの状態を観測するために動きベクトル探索部１
０３が動きベクトルを求めている場合には、動きベクト
ル平均値算出部１０９はその動きベクトルを計算対象と
してもよい。
ーム内符号化が行われるフレームが符号化処理の対象と
して選択された場合、動きベクトル平均値算出部１０９
は、動きベクトル探索部１０３から入力した動きベクト
ルを平均動きベクトルの計算対象から除外する。もしく
は、動きの状態を観測するために動きベクトル探索部１
０３が動きベクトルを求めている場合には、動きベクト
ル平均値算出部１０９はその動きベクトルを計算対象と
してもよい。
【００４０】また、対象フレームの分割領域に対して、
フレーム内符号化を行ったほうが良いと判断され、当該
領域に対してフレーム内符号化が選択された場合は、動
きベクトル平均値算出部１０９は、動きベクトル探索部
１０３から入力した動きベクトルを平均動きベクトルの
計算対象から除外する。もしくは、フレーム内符号化と
の比較用に動き補償フレーム間予測部１０４のフレーム
間予測のために動きベクトル探索部１０３が動きベクト
ルを求めている場合には、動きベクトル平均値算出部１
０９はその動きベクトルを計算対象としてもよい。
フレーム内符号化を行ったほうが良いと判断され、当該
領域に対してフレーム内符号化が選択された場合は、動
きベクトル平均値算出部１０９は、動きベクトル探索部
１０３から入力した動きベクトルを平均動きベクトルの
計算対象から除外する。もしくは、フレーム内符号化と
の比較用に動き補償フレーム間予測部１０４のフレーム
間予測のために動きベクトル探索部１０３が動きベクト
ルを求めている場合には、動きベクトル平均値算出部１
０９はその動きベクトルを計算対象としてもよい。
【００４１】予測構造決定部１１０は、平均動きベクト
ルの大きさ、平均動きベクトルの変化量の大きさから前
方向予測を行うピクチャのフレーム間隔を決定し、入力
画像蓄積部１０１に対して入力画像の符号化順序とピク
チャタイプ、および、入力画像蓄積部１０１、局所復号
画像蓄積部１０２に対して参照画像の指定を行う。
ルの大きさ、平均動きベクトルの変化量の大きさから前
方向予測を行うピクチャのフレーム間隔を決定し、入力
画像蓄積部１０１に対して入力画像の符号化順序とピク
チャタイプ、および、入力画像蓄積部１０１、局所復号
画像蓄積部１０２に対して参照画像の指定を行う。
【００４２】次に、図２に示されるフローチャートに基
づいて、本発明の一実施例における動作例を説明する。
づいて、本発明の一実施例における動作例を説明する。
【００４３】先ずは、予測構造決定部１１０が指定した
予測構造のピクチャタイプにしたがって、ピクチャの符
号化処理を行う（ステップＳ２０１）。ここで、当該ピ
クチャがＰピクチャでなければ（ステップＳ２０２／Ｎ
Ｏ）、そのまま次のピクチャ符号化処理に進む。
予測構造のピクチャタイプにしたがって、ピクチャの符
号化処理を行う（ステップＳ２０１）。ここで、当該ピ
クチャがＰピクチャでなければ（ステップＳ２０２／Ｎ
Ｏ）、そのまま次のピクチャ符号化処理に進む。
【００４４】当該ピクチャがＰピクチャの場合は（ステ
ップＳ２０２／ＹＥＳ）、動きベクトル探索部１０３で
当該ピクチャの動きベクトルを検出し、動きベクトル平
均値算出部１０９において動きベクトル探索部１０３で
検出した当該ピクチャの動きベクトルの平均値を求める
（ステップＳ２０３）。予測構造決定部１１０は、動き
ベクトル平均値算出部１０９で求めた当該ピクチャの動
きベクトルの平均値をもとに、画像の動きが静止してい
るか否かを判断する（ステップＳ２０４）。この判断に
おいて、画像が静止していると判断すると（ステップＳ
２０４／ＹＥＳ）、このときのＭの値が符号化装置が与
える最大値でなければ（ステップＳ２０５／ＹＥＳ）、
予測構造決定部１１０はＭの値を増加させる（ステップ
Ｓ２０６）。
ップＳ２０２／ＹＥＳ）、動きベクトル探索部１０３で
当該ピクチャの動きベクトルを検出し、動きベクトル平
均値算出部１０９において動きベクトル探索部１０３で
検出した当該ピクチャの動きベクトルの平均値を求める
（ステップＳ２０３）。予測構造決定部１１０は、動き
ベクトル平均値算出部１０９で求めた当該ピクチャの動
きベクトルの平均値をもとに、画像の動きが静止してい
るか否かを判断する（ステップＳ２０４）。この判断に
おいて、画像が静止していると判断すると（ステップＳ
２０４／ＹＥＳ）、このときのＭの値が符号化装置が与
える最大値でなければ（ステップＳ２０５／ＹＥＳ）、
予測構造決定部１１０はＭの値を増加させる（ステップ
Ｓ２０６）。
【００４５】予測構造決定部１１０が、動きベクトル平
均値算出部１０９で求めた当該ピクチャの動きベクトル
の平均値をもとに、画像の動きが静止していると判断し
なかった場合（ステップＳ２０４／ＮＯ）、予測構造決
定部１１０は、当該ピクチャは動きが大きいものか否か
を判断し（ステップＳ２０７）、この判断において動き
が大きいものと判断できる場合には（ステップＳ２０７
／ＹＥＳ）、次に、このときのＭの値が１より大きな値
であるか否かを判断する（ステップＳ２０８）。予測構
造決定部１１０は、Ｍの値が１より大きな値であると判
断すると（ステップＳ２０８／ＹＥＳ）、Ｍの値を減少
させる（ステップＳ２０９）。
均値算出部１０９で求めた当該ピクチャの動きベクトル
の平均値をもとに、画像の動きが静止していると判断し
なかった場合（ステップＳ２０４／ＮＯ）、予測構造決
定部１１０は、当該ピクチャは動きが大きいものか否か
を判断し（ステップＳ２０７）、この判断において動き
が大きいものと判断できる場合には（ステップＳ２０７
／ＹＥＳ）、次に、このときのＭの値が１より大きな値
であるか否かを判断する（ステップＳ２０８）。予測構
造決定部１１０は、Ｍの値が１より大きな値であると判
断すると（ステップＳ２０８／ＹＥＳ）、Ｍの値を減少
させる（ステップＳ２０９）。
【００４６】ここで、Ｍ値は増減は１つずつ増減させて
もよいし、もっと大きく変化させてもよい。なお、Ｍの
初期値は幾つでもよいが、符号化装置が扱える最大のＭ
値で符号化した場合の最大の遅延以上のフレーム遅延を
もって符号化を開始するものとする。
もよいし、もっと大きく変化させてもよい。なお、Ｍの
初期値は幾つでもよいが、符号化装置が扱える最大のＭ
値で符号化した場合の最大の遅延以上のフレーム遅延を
もって符号化を開始するものとする。
【００４７】図３は、予測構造決定部１１０が、Ｍの値
を小さくしていくとき入力画像蓄積部１０１に蓄積され
る画像のピクチャタイプ及び符号化順序の指定動作の一
例を示している。図中の文字はピクチャタイプと入力順
のピクチャ番号を示している。
を小さくしていくとき入力画像蓄積部１０１に蓄積され
る画像のピクチャタイプ及び符号化順序の指定動作の一
例を示している。図中の文字はピクチャタイプと入力順
のピクチャ番号を示している。
【００４８】図３によれば、はじめはＭ＝３で符号化し
ているが、予測構造決定部１１０が、符号化処理を行っ
ているピクチャについて動きが大きいと判断すると、Ｍ
＝２、Ｍ＝１とＭの値を変化させて、それに応じて図３
のようにピクチャタイプ及び符号化順序の決定を行い、
本発明の動画像符号化装置はここで決定されたピクチャ
及び符号化順序にしたがって符号化処理を行う。
ているが、予測構造決定部１１０が、符号化処理を行っ
ているピクチャについて動きが大きいと判断すると、Ｍ
＝２、Ｍ＝１とＭの値を変化させて、それに応じて図３
のようにピクチャタイプ及び符号化順序の決定を行い、
本発明の動画像符号化装置はここで決定されたピクチャ
及び符号化順序にしたがって符号化処理を行う。
【００４９】図４は、予測構造決定部１１０が、Ｍの値
を大きくしていくとき入力画像蓄積部１０１に蓄積され
る画像のピクチャタイプ及び符号化順序の指定動作の一
例を示している。図中の文字はピクチャタイプと入力順
のピクチャ番号を示している。
を大きくしていくとき入力画像蓄積部１０１に蓄積され
る画像のピクチャタイプ及び符号化順序の指定動作の一
例を示している。図中の文字はピクチャタイプと入力順
のピクチャ番号を示している。
【００５０】図４によれば、はじめはＭ＝１で符号化し
ているが、予測構造決定部１１０が、符号化処理を行っ
ているピクチャについて静止した画像であると判断する
と、Ｍ＝２、Ｍ＝３とＭの値を変化させて、それに応じ
て図４のようにピクチャタイプ及び符号化順序の決定を
行い、本発明の動画像符号化装置はここで決定されたピ
クチャ及び符号化順序にしたがって符号化処理を行う。
ているが、予測構造決定部１１０が、符号化処理を行っ
ているピクチャについて静止した画像であると判断する
と、Ｍ＝２、Ｍ＝３とＭの値を変化させて、それに応じ
て図４のようにピクチャタイプ及び符号化順序の決定を
行い、本発明の動画像符号化装置はここで決定されたピ
クチャ及び符号化順序にしたがって符号化処理を行う。
【００５１】図５は、動きベクトル探索部１０３におけ
るＭ値による探索範囲の相対的な広さを模式的に示す図
である。通常探索範囲は２次元的な広がりを持つが、こ
こでは１次元で表すことにする。
るＭ値による探索範囲の相対的な広さを模式的に示す図
である。通常探索範囲は２次元的な広がりを持つが、こ
こでは１次元で表すことにする。
【００５２】今ある方向についてＲ１〜Ｒ２の一定の探
索範囲を持つものとする。このとき、Ｍ＝１、２、３で
それぞれ符号化したときのＰピクチャでの参照関係を考
える。図５から判るように、Ｍ＝１のときの探索範囲
は、現画面から参照画像までのフレーム間隔が短いため
に、Ｍを大きくした時に相当する探索範囲は広くなる。
すなわち、Ｍ＝１のとき動きベクトル探索部１０３は、
Ｍ＝２に対して２倍、Ｍ＝３に対して３倍と、相対的に
広い探索範囲で動きベクトル検出ができるため、大きな
動きの変化があったときでもそのときの動きベクトルを
捉えることができるようになる。
索範囲を持つものとする。このとき、Ｍ＝１、２、３で
それぞれ符号化したときのＰピクチャでの参照関係を考
える。図５から判るように、Ｍ＝１のときの探索範囲
は、現画面から参照画像までのフレーム間隔が短いため
に、Ｍを大きくした時に相当する探索範囲は広くなる。
すなわち、Ｍ＝１のとき動きベクトル探索部１０３は、
Ｍ＝２に対して２倍、Ｍ＝３に対して３倍と、相対的に
広い探索範囲で動きベクトル検出ができるため、大きな
動きの変化があったときでもそのときの動きベクトルを
捉えることができるようになる。
【００５３】同様に、Ｍ＝２のときの動きベクトル探索
部１０３による探索範囲は、Ｍ＝３のときに対して３／
２倍となり、相対的に広い探索範囲で動きベクトルの探
索を行うことができる。
部１０３による探索範囲は、Ｍ＝３のときに対して３／
２倍となり、相対的に広い探索範囲で動きベクトルの探
索を行うことができる。
【００５４】以上のように、大きな動きが探索できない
場合には、予測構造決定部１１０はＭの値を減少させ、
Ｐピクチャのフレーム間隔を短くすることで、動き補償
フレーム間予測部１０４における予測性能をあげること
ができる。
場合には、予測構造決定部１１０はＭの値を減少させ、
Ｐピクチャのフレーム間隔を短くすることで、動き補償
フレーム間予測部１０４における予測性能をあげること
ができる。
【００５５】また逆に静止画像のように動きが少なく、
広い探索範囲が必要ない場合には、予測構造決定部１１
０はＭの値を増加させ、Ｐピクチャのフレーム間隔を長
くし、Ｂピクチャを増加させることで、装置全体による
符号化効率を向上させることができる。
広い探索範囲が必要ない場合には、予測構造決定部１１
０はＭの値を増加させ、Ｐピクチャのフレーム間隔を長
くし、Ｂピクチャを増加させることで、装置全体による
符号化効率を向上させることができる。
【００５６】本発明における具体的な実施例として、Ｍ
ＰＥＧ−２ （ＩＳＯ−１３８１８−２）で符号化する
場合を考える。
ＰＥＧ−２ （ＩＳＯ−１３８１８−２）で符号化する
場合を考える。
【００５７】図６は、本発明の動画像符号化装置がＭＰ
ＥＧ−２ （ＩＳＯ−１３８１８−２）への適応を考慮
したときの装置の概略構成を示すブロック図である。図
６によれば、本発明の動画像符号化装置は、入力画像用
フレームメモリ１２１と局所復号画像用フレームメモリ
１２２と動きベクトル探索部１２３と動き補償フレーム
間予測部１２４と差分器１２５とＤＣＴ部１２６と量子
化部１２７とＶＬＣ部１２８と逆量子化部１２９と逆Ｄ
ＣＴ部１３０と加算器１３１と動きベクトル平均値算出
部１３２と予測構造決定部１３３とを有して構成され
る。
ＥＧ−２ （ＩＳＯ−１３８１８−２）への適応を考慮
したときの装置の概略構成を示すブロック図である。図
６によれば、本発明の動画像符号化装置は、入力画像用
フレームメモリ１２１と局所復号画像用フレームメモリ
１２２と動きベクトル探索部１２３と動き補償フレーム
間予測部１２４と差分器１２５とＤＣＴ部１２６と量子
化部１２７とＶＬＣ部１２８と逆量子化部１２９と逆Ｄ
ＣＴ部１３０と加算器１３１と動きベクトル平均値算出
部１３２と予測構造決定部１３３とを有して構成され
る。
【００５８】入力画像用フレームメモリ１２１は、少な
くとも本実施例で必要となる枚数分の入力画像を蓄積
し、予測構造決定部１３３で決定された予測構造に従っ
た符号化処理順序に応じて、内部に記録している入力画
像信号を出力する。ここで、本実施例においては、入力
画像は１６画素×１６ラインからなるマクロブロックに
分割し、マクロブロックごとに符号化処理を行う。
くとも本実施例で必要となる枚数分の入力画像を蓄積
し、予測構造決定部１３３で決定された予測構造に従っ
た符号化処理順序に応じて、内部に記録している入力画
像信号を出力する。ここで、本実施例においては、入力
画像は１６画素×１６ラインからなるマクロブロックに
分割し、マクロブロックごとに符号化処理を行う。
【００５９】局所復号画像用フレームメモリ１２２で
は、既に符号化処理の済んだ画像を復号した結果の画像
を蓄積し、予測構造決定部１３３で決定された予測構造
に従って、入力画像の動きベクトル探索および動き補償
フレーム間予測の際に、必要な画像信号を出力する。
は、既に符号化処理の済んだ画像を復号した結果の画像
を蓄積し、予測構造決定部１３３で決定された予測構造
に従って、入力画像の動きベクトル探索および動き補償
フレーム間予測の際に、必要な画像信号を出力する。
【００６０】動きベクトル探索部１２３では、局所復号
画像用フレームメモリ１２２に記録されている画像を参
照画像とし、予測構造決定部１３３で決定された予測構
造にしたがって選択された、符号化対象の入力画像およ
び参照画像から入力画像に対する動きベクトルの探索を
行い、分割領域ごとの動きベクトルを探索し予測のため
に使われる動きベクトル情報を出力する。
画像用フレームメモリ１２２に記録されている画像を参
照画像とし、予測構造決定部１３３で決定された予測構
造にしたがって選択された、符号化対象の入力画像およ
び参照画像から入力画像に対する動きベクトルの探索を
行い、分割領域ごとの動きベクトルを探索し予測のため
に使われる動きベクトル情報を出力する。
【００６１】ここで一つの方向から探索した動きベクト
ルは、分割領域に対して一つだけ求めてもよいし、ある
いは分割領域をさらに細分割した細分割領域に対してベ
クトルを求め、はじめの分割領域に対して複数の動きベ
クトルを求めてもよい。例えば、入力画像がインタレー
ス信号のフレーム画像であって、２枚のフィールドに分
割できる場合には、動きベクトル探索部１２３では分割
された各々のフィールドに対する動きベクトルを探索し
てもよい。あるいは、入力画像がインタレース信号の一
枚のフィールドである場合には、動きベクトル探索部１
２３は、一枚のフィールドが１６画素×８ラインの上下
２つのブロックに分割された各々のブロックに対して動
きベクトルに探索してもよい。
ルは、分割領域に対して一つだけ求めてもよいし、ある
いは分割領域をさらに細分割した細分割領域に対してベ
クトルを求め、はじめの分割領域に対して複数の動きベ
クトルを求めてもよい。例えば、入力画像がインタレー
ス信号のフレーム画像であって、２枚のフィールドに分
割できる場合には、動きベクトル探索部１２３では分割
された各々のフィールドに対する動きベクトルを探索し
てもよい。あるいは、入力画像がインタレース信号の一
枚のフィールドである場合には、動きベクトル探索部１
２３は、一枚のフィールドが１６画素×８ラインの上下
２つのブロックに分割された各々のブロックに対して動
きベクトルに探索してもよい。
【００６２】また、対象の分割領域に対して動き補償フ
レーム間予測をせずに、フレーム内符号化を行ったほう
が良いと判断される場合には動きベクトルなしとして動
きベクトル情報を出力してもよい。さらに、以上の予測
方法を分割領域ごとに選択して、最適な方法を一つ選択
することにしてもよい。
レーム間予測をせずに、フレーム内符号化を行ったほう
が良いと判断される場合には動きベクトルなしとして動
きベクトル情報を出力してもよい。さらに、以上の予測
方法を分割領域ごとに選択して、最適な方法を一つ選択
することにしてもよい。
【００６３】なお、フレーム内符号化を行うピクチャに
対しては動き補償フレーム間予測を行わないので、動き
ベクトルを探索する必要は無いが、それ以外に動きの状
態を観測するために動きベクトル探索を行い動きベクト
ルを求めてもよい。
対しては動き補償フレーム間予測を行わないので、動き
ベクトルを探索する必要は無いが、それ以外に動きの状
態を観測するために動きベクトル探索を行い動きベクト
ルを求めてもよい。
【００６４】動き補償フレーム間予測部１２４では、予
測構造決定部１３３で決定された予測構造にしたがっ
て、局所復号画像用フレームメモリ１２２に記録されて
いる画像を参照画像とし、動きベクトル探索部１２３で
求めた動きベクトル、および予測後続決定部１３３で決
定された予測の方法によって、入力画像用フレームメモ
リ１２１から入力した入力画像に対する動き補償フレー
ム間予測を行い、動き補償フレーム間予測画像を出力す
る。なお、符号化処理を行う対象が、フレーム内符号化
を行うピクチャあるいはフレーム内符号化を行うマクロ
ブロックであるときは、動き補償フレーム間予測部１２
４は動き補償フレーム間予測信号を０として出力する。
測構造決定部１３３で決定された予測構造にしたがっ
て、局所復号画像用フレームメモリ１２２に記録されて
いる画像を参照画像とし、動きベクトル探索部１２３で
求めた動きベクトル、および予測後続決定部１３３で決
定された予測の方法によって、入力画像用フレームメモ
リ１２１から入力した入力画像に対する動き補償フレー
ム間予測を行い、動き補償フレーム間予測画像を出力す
る。なお、符号化処理を行う対象が、フレーム内符号化
を行うピクチャあるいはフレーム内符号化を行うマクロ
ブロックであるときは、動き補償フレーム間予測部１２
４は動き補償フレーム間予測信号を０として出力する。
【００６５】差分器１２５では、符号化する入力画像
と、動き補償フレーム間予測部１２４から出力された動
きフレーム間予測画像との差分を計算し、予測誤差信号
を出力する。
と、動き補償フレーム間予測部１２４から出力された動
きフレーム間予測画像との差分を計算し、予測誤差信号
を出力する。
【００６６】なお、符号化処理を行う対象が、フレーム
内符号化を行うピクチャあるいはフレーム内符号化を行
うマクロブロックであるときは、動き補償フレーム間予
測信号は０として出力されているので、入力画像と動き
補償フレーム間予測信号との差分をとった予測誤差信号
は入力画像と同じになる。
内符号化を行うピクチャあるいはフレーム内符号化を行
うマクロブロックであるときは、動き補償フレーム間予
測信号は０として出力されているので、入力画像と動き
補償フレーム間予測信号との差分をとった予測誤差信号
は入力画像と同じになる。
【００６７】ＤＣＴ部１２６は、入力した予測誤差信号
をＤＣＴ変換し、変換係数を出力する。量子化部１２７
は、入力された変換信号を量子化し、量子化変換係数を
出力する。ＶＬＣ部１２８は、入力された量子化変換係
数や、動きベクトル探索部１２３から入力された動きベ
クトル等の符号化情報を可変長符号化し、符号化データ
を出力する。逆量子化部１２９は、量子化部１２７から
出力された量子化係数を逆量子化し、復号化変換係数を
出力する。逆ＤＣＴ部１３０は、逆量子化部１２９から
入力された復号化変換係数を逆ＤＣＴ変換し、復号化予
測誤差信号を出力する。
をＤＣＴ変換し、変換係数を出力する。量子化部１２７
は、入力された変換信号を量子化し、量子化変換係数を
出力する。ＶＬＣ部１２８は、入力された量子化変換係
数や、動きベクトル探索部１２３から入力された動きベ
クトル等の符号化情報を可変長符号化し、符号化データ
を出力する。逆量子化部１２９は、量子化部１２７から
出力された量子化係数を逆量子化し、復号化変換係数を
出力する。逆ＤＣＴ部１３０は、逆量子化部１２９から
入力された復号化変換係数を逆ＤＣＴ変換し、復号化予
測誤差信号を出力する。
【００６８】加算器１３１は、逆ＤＣＴ部１３０から出
力された予測誤差信号と、動き補償フレーム間予測部１
２４から出力された動き補償フレーム間予測信号とを加
算し、局所復号画像信号を出力する。局所復号画像信号
は局所復号画像用フレームメモリ１２２に記録される。
力された予測誤差信号と、動き補償フレーム間予測部１
２４から出力された動き補償フレーム間予測信号とを加
算し、局所復号画像信号を出力する。局所復号画像信号
は局所復号画像用フレームメモリ１２２に記録される。
【００６９】動きベクトル平均値算出部１３２は、動き
ベクトル探索部１２３で探索された動きベクトルから、
分割領域ごとの動きベクトルの平均値を計算し、平均動
きベクトルを出力する。
ベクトル探索部１２３で探索された動きベクトルから、
分割領域ごとの動きベクトルの平均値を計算し、平均動
きベクトルを出力する。
【００７０】ここで、動きベクトルの平均値は、前方向
または後方向予測の一方または両方によるものであり、
分割領域ごとの動きベクトルのいずれかひとつ、もしく
はその加重平均によって計算される。
または後方向予測の一方または両方によるものであり、
分割領域ごとの動きベクトルのいずれかひとつ、もしく
はその加重平均によって計算される。
【００７１】平均動きベクトルは、一つの分割領域内で
複数の動きベクトルを検出した場合には、それらのうち
の１つを用いて計算するか、あるいはそれらの加重平均
によって計算する。
複数の動きベクトルを検出した場合には、それらのうち
の１つを用いて計算するか、あるいはそれらの加重平均
によって計算する。
【００７２】また、予測構造決定部１３３によってフレ
ーム内符号化が行われるフレームが符号化処理の対象と
して選択された場合、動きベクトル平均値算出部１３２
は、動きベクトル探索部１２３から入力した動きベクト
ルを平均動きベクトルの計算対象から除外する。もしく
は、動きの状態を観測するために動きベクトル探索部１
２３が動きベクトルを求めている場合には、動きベクト
ル平均値算出部１３２はその動きベクトルを計算対象と
してもよい。
ーム内符号化が行われるフレームが符号化処理の対象と
して選択された場合、動きベクトル平均値算出部１３２
は、動きベクトル探索部１２３から入力した動きベクト
ルを平均動きベクトルの計算対象から除外する。もしく
は、動きの状態を観測するために動きベクトル探索部１
２３が動きベクトルを求めている場合には、動きベクト
ル平均値算出部１３２はその動きベクトルを計算対象と
してもよい。
【００７３】また、対象フレームの分割領域に対して、
フレーム内符号化を行ったほうが良いと判断され、当該
領域に対してフレーム内符号化が選択された場合は、動
きベクトル平均値算出部１３２は、動きベクトル探索部
１２３から入力した動きベクトルを平均動きベクトルの
計算対象から除外する。もしくは、フレーム内符号化と
の比較用に動き補償フレーム間予測部１２４のフレーム
間予測のために動きベクトル探索部１２３が動きベクト
ルを求めている場合には、動きベクトル平均値算出部１
３２はその動きベクトルを計算対象としてもよい。
フレーム内符号化を行ったほうが良いと判断され、当該
領域に対してフレーム内符号化が選択された場合は、動
きベクトル平均値算出部１３２は、動きベクトル探索部
１２３から入力した動きベクトルを平均動きベクトルの
計算対象から除外する。もしくは、フレーム内符号化と
の比較用に動き補償フレーム間予測部１２４のフレーム
間予測のために動きベクトル探索部１２３が動きベクト
ルを求めている場合には、動きベクトル平均値算出部１
３２はその動きベクトルを計算対象としてもよい。
【００７４】予測構造決定部１３３は、平均動きベクト
ルの大きさ、平均動きベクトルの変化量の大きさから前
方向予測を行うピクチャのフレーム間隔を決定し、入力
画像用フレームメモリ１２１に対して入力画像の符号化
順序とピクチャタイプ、および、入力画像用フレームメ
モリ１２１、局所復号画像用フレームメモリ１２２に対
して参照画像の指定を行う。
ルの大きさ、平均動きベクトルの変化量の大きさから前
方向予測を行うピクチャのフレーム間隔を決定し、入力
画像用フレームメモリ１２１に対して入力画像の符号化
順序とピクチャタイプ、および、入力画像用フレームメ
モリ１２１、局所復号画像用フレームメモリ１２２に対
して参照画像の指定を行う。
【００７５】次に、本実施例における動作例を、図７に
示される入力画像の順序と符号化順序の関係図と、図８
に示されるフローチャートに基づいて説明する。ここで
は、Ｍ＝３とＭ＝１との間の切替を行うものとする。
示される入力画像の順序と符号化順序の関係図と、図８
に示されるフローチャートに基づいて説明する。ここで
は、Ｍ＝３とＭ＝１との間の切替を行うものとする。
【００７６】図７によれば、はじめはＭ＝３で符号化し
ているが、予測構造決定部１３３が、符号化を行ってい
るピクチャについて動きが大きいと判断すると、Ｍ＝１
と変化させて、それに応じて図７のようにピクチャタイ
プ及び符号化順序の決定を行い、本発明の動画像装置は
ここで決定されたピクチャ及び符号化順序にしたがって
符号化処理を行う。
ているが、予測構造決定部１３３が、符号化を行ってい
るピクチャについて動きが大きいと判断すると、Ｍ＝１
と変化させて、それに応じて図７のようにピクチャタイ
プ及び符号化順序の決定を行い、本発明の動画像装置は
ここで決定されたピクチャ及び符号化順序にしたがって
符号化処理を行う。
【００７７】先ずは、予測構造決定部１３３が指定した
予測構造のピクチャタイプにしたがって、ピクチャの符
号化処理を行う（ステップＳ３０１）。ここで、当該ピ
クチャがＰピクチャでなければ（ステップＳ３０２／Ｎ
Ｏ）、そのまま次のピクチャ符号化処理に進む。
予測構造のピクチャタイプにしたがって、ピクチャの符
号化処理を行う（ステップＳ３０１）。ここで、当該ピ
クチャがＰピクチャでなければ（ステップＳ３０２／Ｎ
Ｏ）、そのまま次のピクチャ符号化処理に進む。
【００７８】当該ピクチャがＰピクチャの場合は（ステ
ップＳ３０２／ＹＥＳ）、動きベクトル探索部１２３で
当該ピクチャの動きベクトルを検出し、動きベクトル平
均値算出部１３２において動きベクトル探索部１２３で
検出した当該ピクチャの動きベクトルの平均値を求める
（ステップＳ３０３）。
ップＳ３０２／ＹＥＳ）、動きベクトル探索部１２３で
当該ピクチャの動きベクトルを検出し、動きベクトル平
均値算出部１３２において動きベクトル探索部１２３で
検出した当該ピクチャの動きベクトルの平均値を求める
（ステップＳ３０３）。
【００７９】このときの平均値は、動きベクトル探索部
１２３がマクロブロック毎に探索した動きベクトルをも
とに水平方向垂直方向の各成分毎に求められたものであ
り、それぞれの平均ベクトルを（ＭＶａｖｅｘ，ＭＶａ
ｖｅｙ）とする。
１２３がマクロブロック毎に探索した動きベクトルをも
とに水平方向垂直方向の各成分毎に求められたものであ
り、それぞれの平均ベクトルを（ＭＶａｖｅｘ，ＭＶａ
ｖｅｙ）とする。
【００８０】ここで、Ｍ＝１の場合には（ステップＳ３
０４／ＹＥＳ）、予測構造決定部１３３は画像の動きが
静止しているか否かを判断する。まず、予測構造決定部
１３３は、上記平均ベクトルの各成分の大きさが各々予
め決められた閾値より小さいか否かを判定する（ステッ
プＳ３０５）。すなわち、それぞれの成分に対する閾値
をＴｈ１，Ｔｈ２とし、 ｜ＭＶａｖｅｘ｜＜Ｔｈ１かつ｜ＭＶａｖｅｙ｜＜Ｔｈ２ であるか否かを判定し、上記の条件を満たしていれば次
の条件判定に進む。
０４／ＹＥＳ）、予測構造決定部１３３は画像の動きが
静止しているか否かを判断する。まず、予測構造決定部
１３３は、上記平均ベクトルの各成分の大きさが各々予
め決められた閾値より小さいか否かを判定する（ステッ
プＳ３０５）。すなわち、それぞれの成分に対する閾値
をＴｈ１，Ｔｈ２とし、 ｜ＭＶａｖｅｘ｜＜Ｔｈ１かつ｜ＭＶａｖｅｙ｜＜Ｔｈ２ であるか否かを判定し、上記の条件を満たしていれば次
の条件判定に進む。
【００８１】上記の条件を満たしたときは（ステップＳ
３０５／ＹＥＳ）、予測構造決定部１３３は、上記の平
均ベクトルの時間変化（ΔＭＶａｖｅｘ，ΔＭＶａｖｅ
ｙ）を加速度として各成分ごとに計算する。 ΔＭＶａｖｅｘ＝ＭＶａｖｅｘ（ｔ）−ＭＶａｖｅｘ（ｔ−１） ΔＭＶａｖｅｙ＝ＭＶａｖｅｙ（ｔ）−ＭＶａｖｅｙ（ｔ−１） ここでｔはフレーム番号を表すものとする。
３０５／ＹＥＳ）、予測構造決定部１３３は、上記の平
均ベクトルの時間変化（ΔＭＶａｖｅｘ，ΔＭＶａｖｅ
ｙ）を加速度として各成分ごとに計算する。 ΔＭＶａｖｅｘ＝ＭＶａｖｅｘ（ｔ）−ＭＶａｖｅｘ（ｔ−１） ΔＭＶａｖｅｙ＝ＭＶａｖｅｙ（ｔ）−ＭＶａｖｅｙ（ｔ−１） ここでｔはフレーム番号を表すものとする。
【００８２】そして、予測構造決定部１３３は、これら
の平均ベクトルの時間変化の各成分の大きさが各々予め
決められた閾値より小さいか否かを判定する（ステップ
Ｓ３０６）。ここでは、平均ベクトルの各成分のいずれ
かの大きさが、各々予め決められた閾値より大きいか否
かを判定する。
の平均ベクトルの時間変化の各成分の大きさが各々予め
決められた閾値より小さいか否かを判定する（ステップ
Ｓ３０６）。ここでは、平均ベクトルの各成分のいずれ
かの大きさが、各々予め決められた閾値より大きいか否
かを判定する。
【００８３】すなわち、平均ベクトルの時間変化の各成
分に対する閾値をＴｈ３，Ｔｈ４とし、 ｜ΔＭＶａｖｅｘ｜＜Ｔｈ３かつ｜ΔＭＶａｖｅｙ｜＜Ｔｈ４ であるか否かを判定し、上記の条件を満たしていれば、
予測構造決定部１３３は当該ピクチャが静止していると
判断し、このとき、Ｍの値を１から３に切り替える。
分に対する閾値をＴｈ３，Ｔｈ４とし、 ｜ΔＭＶａｖｅｘ｜＜Ｔｈ３かつ｜ΔＭＶａｖｅｙ｜＜Ｔｈ４ であるか否かを判定し、上記の条件を満たしていれば、
予測構造決定部１３３は当該ピクチャが静止していると
判断し、このとき、Ｍの値を１から３に切り替える。
【００８４】また、Ｍ＝１ではない場合、すなわちＭ＝
３の場合には（ステップＳ３０４／ＮＯ）、画像の動き
が大きいか否かを判定する（ステップＳ３０８）。すな
わち、平均ベクトルの時間変化の各成分に対する閾値を
Ｔｈ５，Ｔｈ６とし、 ｜ＭＶａｖｅｘ｜≧Ｔｈ５または｜ＭＶａｖｅｙ｜≧Ｔｈ６ であるか否かを判定し、上記の条件を満たしていれば、
予測構造決定部１３３は当該ピクチャの動きが大きいと
判断し、このとき、Ｍの値を３から１に切り替える。
３の場合には（ステップＳ３０４／ＮＯ）、画像の動き
が大きいか否かを判定する（ステップＳ３０８）。すな
わち、平均ベクトルの時間変化の各成分に対する閾値を
Ｔｈ５，Ｔｈ６とし、 ｜ＭＶａｖｅｘ｜≧Ｔｈ５または｜ＭＶａｖｅｙ｜≧Ｔｈ６ であるか否かを判定し、上記の条件を満たしていれば、
予測構造決定部１３３は当該ピクチャの動きが大きいと
判断し、このとき、Ｍの値を３から１に切り替える。
【００８５】図９は、本実施例によるＭ値の切替えによ
り動画像の符号化を行った結果である。
り動画像の符号化を行った結果である。
【００８６】グラフは、検出した動きベクトルの平均値
の水平方向成分と、動きベクトルの平均値の時間変化量
の水平方向成分と、Ｍ値の切替により設定されたＭの値
を示している。
の水平方向成分と、動きベクトルの平均値の時間変化量
の水平方向成分と、Ｍ値の切替により設定されたＭの値
を示している。
【００８７】実験に用いた画像は、左右に大きく振れる
画像であり、大きな動きが検出されたときにはＭの値が
１に設定されている。また、平均動きベクトルの時間変
化量も利用しているので、１７０フレームあたりで平均
動きベクトルが０を跨いで瞬間的に小さくなっても、Ｍ
＝３に戻ることなく、Ｍ＝１のまま符号化を続けてい
る。本発明は、このように動きの変化が大きい場合にも
適切にＭの値を切り換えることができている。
画像であり、大きな動きが検出されたときにはＭの値が
１に設定されている。また、平均動きベクトルの時間変
化量も利用しているので、１７０フレームあたりで平均
動きベクトルが０を跨いで瞬間的に小さくなっても、Ｍ
＝３に戻ることなく、Ｍ＝１のまま符号化を続けてい
る。本発明は、このように動きの変化が大きい場合にも
適切にＭの値を切り換えることができている。
【００８８】本発明の他の実施例として、平均動きベク
トルの計算は、１つフレームだけの瞬間的な値とするの
ではなく、複数のフレームの加重平均をとるなどで平滑
化してもよい。あるいは、条件判定において、閾値との
比較の結果、条件を満たす状態が予め決めた回数だけ連
続した場合に、それぞれの判定条件が満たされるように
変更してもよい。
トルの計算は、１つフレームだけの瞬間的な値とするの
ではなく、複数のフレームの加重平均をとるなどで平滑
化してもよい。あるいは、条件判定において、閾値との
比較の結果、条件を満たす状態が予め決めた回数だけ連
続した場合に、それぞれの判定条件が満たされるように
変更してもよい。
【００８９】動きベクトルの大きさの判定には、各成分
ごとに独立に扱ってもよいが、動きベクトルを、その大
きさを示す別な尺度に変換してもよい。この場合、それ
ぞれの条件の判定閾値は１つずつでよい。
ごとに独立に扱ってもよいが、動きベクトルを、その大
きさを示す別な尺度に変換してもよい。この場合、それ
ぞれの条件の判定閾値は１つずつでよい。
【００９０】例えば、予測構造決定部１３３は動きベク
トルの大きさ｜ＭＶ｜を次のいずれかの式で計算しても
よい。 ｜ＭＶ｜＝｜ＭＶａｖｅｘ｜+ ｜ＭＶａｖｅｙ｜ ｜ＭＶ｜＝ＭＶａ１ｅｘ＾２＋ＭＶａｖｅｙ＾２ ｜ＭＶ｜＝ｓｐｒｔ（ＭＶａｖｅｘ＾２＋ＭＶａｖｅｙ＾２） ｜ＭＶ｜＝ａ＊｜ＭＶａｖｅｘ｜＋ｂ＊｜ＭＶａｖｅｙ｜ ｜ＭＶ｜＝ａ＊ＭＶａｖｅｘ＾２＋ｂ＊ＭＶａｖｅｙ＾２ ｜ＭＶ｜＝ｓｐｒｔ（ａ＊ＭＶａｖｅｘ＾２＋ｂ＊ＭＶａｖｅｙ＾２）
トルの大きさ｜ＭＶ｜を次のいずれかの式で計算しても
よい。 ｜ＭＶ｜＝｜ＭＶａｖｅｘ｜+ ｜ＭＶａｖｅｙ｜ ｜ＭＶ｜＝ＭＶａ１ｅｘ＾２＋ＭＶａｖｅｙ＾２ ｜ＭＶ｜＝ｓｐｒｔ（ＭＶａｖｅｘ＾２＋ＭＶａｖｅｙ＾２） ｜ＭＶ｜＝ａ＊｜ＭＶａｖｅｘ｜＋ｂ＊｜ＭＶａｖｅｙ｜ ｜ＭＶ｜＝ａ＊ＭＶａｖｅｘ＾２＋ｂ＊ＭＶａｖｅｙ＾２ ｜ＭＶ｜＝ｓｐｒｔ（ａ＊ＭＶａｖｅｘ＾２＋ｂ＊ＭＶａｖｅｙ＾２）
【００９１】ここで＾２は２乗の計算を、ｓｐｒｔ（）
は平方根を計算することを示す。また、ａ，ｂは適当な
定数である。このような尺度に変換したあと、動きの大
きさの判定には、あらかじめ定めた閾値Ｔｈ７，Ｔｈ８
を用いて、｜ＭＶ｜＜Ｔｈ７や｜ＭＶ｜＞Ｔｈ８によっ
て、静止判定、動き判定を行う。
は平方根を計算することを示す。また、ａ，ｂは適当な
定数である。このような尺度に変換したあと、動きの大
きさの判定には、あらかじめ定めた閾値Ｔｈ７，Ｔｈ８
を用いて、｜ＭＶ｜＜Ｔｈ７や｜ＭＶ｜＞Ｔｈ８によっ
て、静止判定、動き判定を行う。
【００９２】なお、ここに挙げたものに限らず、動きベ
クトルの大きさを示すものであれば、他の尺度であって
も構わない。
クトルの大きさを示すものであれば、他の尺度であって
も構わない。
【００９３】また、動きベクトルの大きさの判定の場合
と同様に、予測構造決定部１３３は、動きベクトルの大
きさの変化を計算するときも、大きさを示す別な尺度に
変換して計算してもよい。また、フレーム内符号化を行
うＩピクチャにおいても、動き補償フレーム間予測を行
わないので、動きベクトル探索部１２３は、動きベクト
ルを検出する必要は無いが、動きの状態を観測するため
に動きベクトル探索を行い、動きベクトルを求めてもよ
い。このときには、Ｐピクチャに対する符号化処理のと
きと同様に、予測構造決定部１３３は予測構造決定の処
理を行う。
と同様に、予測構造決定部１３３は、動きベクトルの大
きさの変化を計算するときも、大きさを示す別な尺度に
変換して計算してもよい。また、フレーム内符号化を行
うＩピクチャにおいても、動き補償フレーム間予測を行
わないので、動きベクトル探索部１２３は、動きベクト
ルを検出する必要は無いが、動きの状態を観測するため
に動きベクトル探索を行い、動きベクトルを求めてもよ
い。このときには、Ｐピクチャに対する符号化処理のと
きと同様に、予測構造決定部１３３は予測構造決定の処
理を行う。
【００９４】また、動きの判定に用いる閾値Ｔｈ１〜Ｔ
ｈ８は，あらかじめ定めた固定値としてもよいし、画像
内容に依存して変化させてもよい。
ｈ８は，あらかじめ定めた固定値としてもよいし、画像
内容に依存して変化させてもよい。
【００９５】
【発明の効果】以上の説明より明らかなように、本発明
による第１の効果は、ハードウェア規模を削減し、かつ
広範囲な動き探索を必要とする場合に対応することがで
きる。
による第１の効果は、ハードウェア規模を削減し、かつ
広範囲な動き探索を必要とする場合に対応することがで
きる。
【００９６】その理由は、探索範囲そのものは変更せ
ず、前方向予測符号化を行うピクチャの間隔を検出され
た動きの大きさに基づいて適応的に変化させているから
である。
ず、前方向予測符号化を行うピクチャの間隔を検出され
た動きの大きさに基づいて適応的に変化させているから
である。
【００９７】本発明の第２の効果は、探索範囲の切替え
判定を画質劣化を引き起こさないような精度で実行する
ことができる。
判定を画質劣化を引き起こさないような精度で実行する
ことができる。
【００９８】その理由は、前方向予測符号化を行うピク
チャの間隔の切替えを、検出した動きベクトルの平均値
の大きさ、および検出した動きベクトルの平均値の時間
変化の大きさを用いて制御しているからである。
チャの間隔の切替えを、検出した動きベクトルの平均値
の大きさ、および検出した動きベクトルの平均値の時間
変化の大きさを用いて制御しているからである。
【図１】本発明の動画像符号化装置の一実施形態におけ
る概略構成を示すブロック図である。
る概略構成を示すブロック図である。
【図２】本発明の動画像符号化装置の一実施形態におけ
る動作を示すフローチャートである。
る動作を示すフローチャートである。
【図３】本発明の実施形態における動画像符号化装置に
対する入力画像の順序と符号化処理の順序の関係を示す
図である。
対する入力画像の順序と符号化処理の順序の関係を示す
図である。
【図４】本発明の実施形態における動画像符号化装置に
対する入力画像の順序と符号化処理の順序の関係を示す
図である。
対する入力画像の順序と符号化処理の順序の関係を示す
図である。
【図５】本発明の実施の形態におけるＭ＝１、２、３の
ときの探索範囲を模式的に表現した図である。
ときの探索範囲を模式的に表現した図である。
【図６】本発明の動画像符号化装置の一実施形態におけ
る概略構成を示すブロック図である。
る概略構成を示すブロック図である。
【図７】本発明の実施形態における動画像符号化装置に
対する入力画像の順序と符号化処理の順序の関係を示す
図である。
対する入力画像の順序と符号化処理の順序の関係を示す
図である。
【図８】本発明の動画像符号化装置の一実施形態におけ
る動作を示すフローチャートである。
る動作を示すフローチャートである。
【図９】本発明の実施の形態によるＭ値の切替えにより
動画像の符号化を行った結果である。
動画像の符号化を行った結果である。
【図１０】前方向予測符号化を行う画像と参照画像との
フレーム間隔について説明するための図である。
フレーム間隔について説明するための図である。
【図１１】従来技術における動画像符号化装置の動作を
説明するための図である。
説明するための図である。
１０１ 入力画像蓄積部
１０２ 局所復号画像蓄積部
１０３、１２３ 動きベクトル探索部
１０４、１２４ 動きフレーム間予測部
１０５、１２５ 差分器
１０６ 予測誤差符号化部
１０７ 予測誤差復号化部
１０８、１３１ 加算器
１０９、１３２ 動きベクトル平均値算出部
１１０、１３３ 予測構造決定部
１２１ 入力画像用フレームメモリ
１２２ 局所復号画像用フレームメモリ
１２６ ＤＣＴ部
１２７ 量子化部
１２８ ＶＬＣ部
１２９ 逆量子化部
１３０ 逆ＤＣＴ部
─────────────────────────────────────────────────────
フロントページの続き
(56)参考文献 特開 平８−46969（ＪＰ，Ａ)
特開 平６−165103（ＪＰ，Ａ)
特開 平10−304374（ＪＰ，Ａ)
特表 平９−509024（ＪＰ，Ａ)
(58)調査した分野(Int.Cl.7，ＤＢ名)
H04N 7/24 - 7/68
Claims (2)
- 【請求項１】 フレーム内符号化、前方向予測符号化、
および双方向予測符号化を各フレーム符号化に適用した
フレーム間動き補償予測を行う動画像符号化装置におい
て、 符号化対象となるフレームの、動き補償フレーム間予測
における前記符号化対象となるフレームの参照画像に対
する動きの大きさ、および、動きの大きさの変化量を観
測し、 前記動きの大きさ、および、前記動きの大きさの変化量
のそれぞれと予め定めたそれぞれの閾値との大小比較を
行い、前記動きの大きさ、および、前記動きの大きさの変化量
のそれぞれが前記予め定めたそれぞれの閾値より小さい
場合は静止状態と判定し、 前記動きの大きさが、前記予め定めた閾値以上の場合は
動き大と判定することにより動き静止判定を行い、 該判定結果に基づいて、静状態と判定した場合には、 前方向予測符号化を行うフレーム間の距離を大きくし、 動き大と判定した場合には、 前方向予測符号化を行うフレーム間の距離を小さくする
ことで、 前方向予測符号化を行うフレーム間の距離を決定し、該
決定されたフレームの間隔に従うフレーム順序で符号化
処理を行うことを特徴とする動画像符号化装置。 - 【請求項２】 フレーム内符号化、前方向予測符号化、
および双方向予測符号化を各フレーム符号化に適用した
フレーム間動き補償予測を行う動画像符号化方法におい
て、 符号化対象となるフレームの、動き補償フレーム間予測
における前記符号化対象となるフレームの参照画像に対
する動きの大きさ、および、動きの大きさの変化量を観
測し、 前記動きの大きさ、および、前記動きの大きさの変化量
のそれぞれと予め定めたそれぞれの閾値との大小比較を
行い、前記動きの大きさ、および、前記動きの大きさの変化量
が、前記予め定めたそれぞれの閾値より小さい場合は静
状態と判定し、 前記動きの大きさが、 前記予め定めた閾値以上の場合は動き大と判定すること
により動き静止判定を行い、 該判定結果に基づいて、静状態と判定した場合には、 前方向予測符号化を行うフレーム間隔を大きくし、 動き大と判定した場合には、 前方向予測符号化を行うフレーム間の距離を小さくする
ことで、 前方向予測符号化を行うフレーム間の距離を決定し、該
決定されたフレームの間隔に従うフレーム順序で符号化
処理を行うことを特徴とする動画像符号化方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13788999A JP3531532B2 (ja) | 1999-05-18 | 1999-05-18 | 動画像符号化装置、及び方法 |
| US09/574,411 US6950465B1 (en) | 1999-05-18 | 2000-05-18 | Video coding by adaptively controlling the interval between successive predictive-coded frames according to magnitude of motion |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13788999A JP3531532B2 (ja) | 1999-05-18 | 1999-05-18 | 動画像符号化装置、及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000333179A JP2000333179A (ja) | 2000-11-30 |
| JP3531532B2 true JP3531532B2 (ja) | 2004-05-31 |
Family
ID=15209056
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13788999A Expired - Fee Related JP3531532B2 (ja) | 1999-05-18 | 1999-05-18 | 動画像符号化装置、及び方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6950465B1 (ja) |
| JP (1) | JP3531532B2 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1507417A4 (en) * | 2002-08-05 | 2010-09-29 | Panasonic Corp | DATA PROCESSING DEVICE AND DATA PROCESSING METHOD |
| JP4591657B2 (ja) * | 2003-12-22 | 2010-12-01 | キヤノン株式会社 | 動画像符号化装置及びその制御方法、プログラム |
| JP4252916B2 (ja) * | 2004-03-18 | 2009-04-08 | 富士通マイクロエレクトロニクス株式会社 | 動きベクトルの探索範囲を決定する方法 |
| KR100640592B1 (ko) * | 2004-10-25 | 2006-11-01 | 삼성전자주식회사 | 향상된 압축 속도를 가지는 동영상 압축 장치 및 그 방법 |
| TW200838321A (en) * | 2007-03-02 | 2008-09-16 | X8 Technology Inc | Motion estimation method and system with dual search windows for high resolution video coding |
| WO2010057170A1 (en) * | 2008-11-17 | 2010-05-20 | Cernium Corporation | Analytics-modulated coding of surveillance video |
| JP2011176700A (ja) * | 2010-02-25 | 2011-09-08 | Sanyo Electric Co Ltd | 画像符号化装置および画像符号化方法 |
| US9083984B2 (en) * | 2010-03-19 | 2015-07-14 | Texas Instruments Incorporated | Adaptive coding structure and adaptive FCode determination in video coding |
| CN103634606B (zh) * | 2012-08-21 | 2015-04-08 | 腾讯科技（深圳）有限公司 | 视频编码方法和装置 |
| CN103152576B (zh) * | 2013-03-21 | 2016-10-19 | 浙江宇视科技有限公司 | 一种适用于组播抗丢包的视频编码及解码装置 |
| US11051026B2 (en) * | 2015-08-31 | 2021-06-29 | Intel Corporation | Method and system of frame re-ordering for video coding |
| JP6665611B2 (ja) | 2016-03-18 | 2020-03-13 | 富士通株式会社 | 符号化処理プログラム、符号化処理方法及び符号化処理装置 |
| US10701364B2 (en) | 2017-10-26 | 2020-06-30 | Google Llc | Golden-frame group structure design using stillness detection |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5371539A (en) * | 1991-10-18 | 1994-12-06 | Sanyo Electric Co., Ltd. | Video camera with electronic picture stabilizer |
| JPH06165103A (ja) | 1992-11-18 | 1994-06-10 | Sony Corp | 画像データ伝送装置 |
| US5592226A (en) | 1994-01-26 | 1997-01-07 | Btg Usa Inc. | Method and apparatus for video data compression using temporally adaptive motion interpolation |
| US6091460A (en) * | 1994-03-31 | 2000-07-18 | Mitsubishi Denki Kabushiki Kaisha | Video signal encoding method and system |
| JPH0846969A (ja) | 1994-07-26 | 1996-02-16 | Mitsubishi Electric Corp | 映像信号符号化方式 |
| JP3954656B2 (ja) * | 1994-09-29 | 2007-08-08 | ソニー株式会社 | 画像符号化装置及び方法 |
| US5682204A (en) * | 1995-12-26 | 1997-10-28 | C Cube Microsystems, Inc. | Video encoder which uses intra-coding when an activity level of a current macro-block is smaller than a threshold level |
| JP3876392B2 (ja) | 1996-04-26 | 2007-01-31 | 富士通株式会社 | 動きベクトル探索方法 |
| JP3604864B2 (ja) | 1997-04-25 | 2004-12-22 | シャープ株式会社 | 動画像符号化装置 |
| JP3738939B2 (ja) * | 1998-03-05 | 2006-01-25 | Ｋｄｄｉ株式会社 | 動画像のカット点検出装置 |
-
1999
- 1999-05-18 JP JP13788999A patent/JP3531532B2/ja not_active Expired - Fee Related
-
2000
- 2000-05-18 US US09/574,411 patent/US6950465B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US6950465B1 (en) | 2005-09-27 |
| JP2000333179A (ja) | 2000-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3876392B2 (ja) | 動きベクトル探索方法 | |
| JP4529919B2 (ja) | 適応量子化装置及び適応量子化プログラム | |
| JP4519933B2 (ja) | 動画像符号化装置および動画像符号化方法 | |
| US20030095603A1 (en) | Reduced-complexity video decoding using larger pixel-grid motion compensation | |
| JPH10304374A (ja) | 動画像符号化装置 | |
| JP3531532B2 (ja) | 動画像符号化装置、及び方法 | |
| JP2008227670A (ja) | 画像符号化装置 | |
| JP3755155B2 (ja) | 画像符号化装置 | |
| JP3757088B2 (ja) | 動画像符号化装置および方法 | |
| JP2007228519A (ja) | 画像符号化装置及び画像符号化方法 | |
| JP2001036908A (ja) | 動画像圧縮装置 | |
| JPH0846969A (ja) | 映像信号符号化方式 | |
| JP3355964B2 (ja) | 適応直交変換モード判定方法 | |
| KR101678138B1 (ko) | 동화상 부호화 방법, 장치 및 프로그램 | |
| JP2000032468A (ja) | 画像符号化方法および動き補償モード選択プログラムを記録した記録媒体 | |
| JP4676513B2 (ja) | 符号化ピクチャタイプ決定方法，装置，そのプログラムおよびその記録媒体 | |
| JP3941921B2 (ja) | 動画像符号化装置 | |
| JP2000102017A (ja) | 画像符号化装置および画像符号化方式 | |
| JP4829951B2 (ja) | フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP4760551B2 (ja) | 動きベクトル復号化方法および復号化装置 | |
| JP4359273B2 (ja) | 符号化モード選択方法 | |
| JP2009118097A (ja) | 画像符号化装置及びその制御方法、コンピュータプログラム | |
| JP3536355B2 (ja) | 符号化装置 | |
| JPH0750841A (ja) | 動きベクトル検出装置及びその方法 | |
| JP4067954B2 (ja) | 動画像符号化方法及び動画像符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040210 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040223 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080312 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090312 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090312 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100312 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100312 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110312 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110312 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120312 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120312 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130312 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130312 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140312 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |