JPH11239352A - 画像処理方法及び画像処理装置、並びにデータ記憶媒体 - Google Patents
画像処理方法及び画像処理装置、並びにデータ記憶媒体Info
- Publication number
- JPH11239352A JPH11239352A JP34878298A JP34878298A JPH11239352A JP H11239352 A JPH11239352 A JP H11239352A JP 34878298 A JP34878298 A JP 34878298A JP 34878298 A JP34878298 A JP 34878298A JP H11239352 A JPH11239352 A JP H11239352A
- Authority
- JP
- Japan
- Prior art keywords
- image
- processing
- signal
- load
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 画像復号化信号の動き補償処理に起因して演
算負荷量がシステムの演算処理能力を超えるのを回避し
て、画像復号化信号の動き補償に起因する演算負荷の増
大が再生画像の画質に大きな悪影響を及ぼすのを防止す
る。 【解決手段】 復号化処理の対象となる対象ブロックの
画像復号化信号を所定の方法により予測して予測信号を
生成する予測信号生成部２１０を、入力される画像符号
化信号の復号化処理における演算負荷の大きさを検出す
る負荷判定器２１３を有し、該検出した演算負荷の大き
さに応じて、上記予測信号の生成処理における予測方法
を切り替える構成とした。
算負荷量がシステムの演算処理能力を超えるのを回避し
て、画像復号化信号の動き補償に起因する演算負荷の増
大が再生画像の画質に大きな悪影響を及ぼすのを防止す
る。 【解決手段】 復号化処理の対象となる対象ブロックの
画像復号化信号を所定の方法により予測して予測信号を
生成する予測信号生成部２１０を、入力される画像符号
化信号の復号化処理における演算負荷の大きさを検出す
る負荷判定器２１３を有し、該検出した演算負荷の大き
さに応じて、上記予測信号の生成処理における予測方法
を切り替える構成とした。
Description
【０００１】
【発明の属する技術分野】本発明は、画像処理方法及び
画像処理装置、並びにデータ記憶媒体に関し、特に、画
像信号の処理が行われるシステムの演算処理能力が低い
場合でも、再生される映像に破綻をきたすことなく、画
像信号の符号化あるいは復号化が可能な方法及び装置、
並びにこのような方法及び装置による画像信号の符号化
処理及び復号化処理をソフトウェアにより実現するため
のプログラムを格納したデータ記憶媒体に関するもので
ある。
画像処理装置、並びにデータ記憶媒体に関し、特に、画
像信号の処理が行われるシステムの演算処理能力が低い
場合でも、再生される映像に破綻をきたすことなく、画
像信号の符号化あるいは復号化が可能な方法及び装置、
並びにこのような方法及び装置による画像信号の符号化
処理及び復号化処理をソフトウェアにより実現するため
のプログラムを格納したデータ記憶媒体に関するもので
ある。
【０００２】
【従来の技術】従来のディジタル動画像の符号化方法で
は、動画像は時間的な相関，つまり画面間での画像情報
の相関が強いものであることから、画面間で重複した画
像情報を削減して時間的な冗長度を低減するために、符
号化処理の対象となる被処理画面の画像信号と、該被処
理画面より前に符号化処理がすでに施された前画面の画
像信号から得られる予測信号との差分値を符号化する処
理を行っている。このような符号化処理は差分符号化処
理と言われ、１画面を区分する単位領域毎に行われるも
のである。ここで、上記１画面は、ＭＰＥＧ（Moving P
icture Experts Group）１，２では１フレーム、ＭＰＥ
Ｇ４では個々のオブジェクト画像に対応する画像表示空
間であるオブジェクト領域に相当するものである。
は、動画像は時間的な相関，つまり画面間での画像情報
の相関が強いものであることから、画面間で重複した画
像情報を削減して時間的な冗長度を低減するために、符
号化処理の対象となる被処理画面の画像信号と、該被処
理画面より前に符号化処理がすでに施された前画面の画
像信号から得られる予測信号との差分値を符号化する処
理を行っている。このような符号化処理は差分符号化処
理と言われ、１画面を区分する単位領域毎に行われるも
のである。ここで、上記１画面は、ＭＰＥＧ（Moving P
icture Experts Group）１，２では１フレーム、ＭＰＥ
Ｇ４では個々のオブジェクト画像に対応する画像表示空
間であるオブジェクト領域に相当するものである。
【０００３】上記差分符号化処理では、具体的には、前
画面の画像情報に基づいた動き予測によって、符号化処
理の対象となる対象単位領域の画像信号（画像入力信
号）との誤差が最も小さい画像信号を有する、前画面に
おける予測領域を検出し、該予測領域の画像信号を上記
対象単位領域に対応する予測信号（予測画像入力信号）
とし、該対象単位領域の画像信号と該予測信号の差分値
である差分信号を、上記動き予測に関連する予測関連情
報とともに符号化する。ここで、予測関連情報とは、例
えば動き予測の方法や、予測領域の位置をあらわす情
報，つまり動きベクトルのことである。
画面の画像情報に基づいた動き予測によって、符号化処
理の対象となる対象単位領域の画像信号（画像入力信
号）との誤差が最も小さい画像信号を有する、前画面に
おける予測領域を検出し、該予測領域の画像信号を上記
対象単位領域に対応する予測信号（予測画像入力信号）
とし、該対象単位領域の画像信号と該予測信号の差分値
である差分信号を、上記動き予測に関連する予測関連情
報とともに符号化する。ここで、予測関連情報とは、例
えば動き予測の方法や、予測領域の位置をあらわす情
報，つまり動きベクトルのことである。
【０００４】また、上記差分符号化処理により生成され
た差分符号化信号から画像信号を再生する差分復号化処
理では、動き補償によって、上記予測関連情報に基づい
て、復号化処理の対象となる対象単位領域の画像再生信
号（画像復号化信号）を予測して予測信号（予測画像復
号化信号）を生成するとともに、上記対象単位領域に対
応する差分符号化信号を復号化して差分復号化信号を生
成し、該差分復号化信号に上記予測信号を加算して、対
象単位領域に対応する画像再生信号を生成する。
た差分符号化信号から画像信号を再生する差分復号化処
理では、動き補償によって、上記予測関連情報に基づい
て、復号化処理の対象となる対象単位領域の画像再生信
号（画像復号化信号）を予測して予測信号（予測画像復
号化信号）を生成するとともに、上記対象単位領域に対
応する差分符号化信号を復号化して差分復号化信号を生
成し、該差分復号化信号に上記予測信号を加算して、対
象単位領域に対応する画像再生信号を生成する。
【０００５】上述したように、画像信号の符号化処理あ
るいは復号化処理においては、従来から動き予測や動き
補償といった画像情報を圧縮するための手法が用いられ
ており、これらの手法の実用例として、具体的には、Ｍ
ＰＥＧ１やＭＰＥＧ２といった国際標準規格に準拠した
情報圧縮処理が挙げられる。
るいは復号化処理においては、従来から動き予測や動き
補償といった画像情報を圧縮するための手法が用いられ
ており、これらの手法の実用例として、具体的には、Ｍ
ＰＥＧ１やＭＰＥＧ２といった国際標準規格に準拠した
情報圧縮処理が挙げられる。
【０００６】また、現在規格化が進められているＭＰＥ
Ｇ４に基づく技術には、ＭＰＥＧ１やＭＰＥＧ２と同様
の動き予測および動き補償の方法だけでなく、新たな動
き予測および動き補償の方法を導入することについて検
討が行われている。なお、ここで上記動き予測は符号化
処理にて、予測領域の位置をあらわす情報，つまり動き
ベクトルを検出する処理、また上記動き補償は符号化処
理あるいは復号化処理にて、上記動きベクトルに基づい
て予測信号を生成する処理である。
Ｇ４に基づく技術には、ＭＰＥＧ１やＭＰＥＧ２と同様
の動き予測および動き補償の方法だけでなく、新たな動
き予測および動き補償の方法を導入することについて検
討が行われている。なお、ここで上記動き予測は符号化
処理にて、予測領域の位置をあらわす情報，つまり動き
ベクトルを検出する処理、また上記動き補償は符号化処
理あるいは復号化処理にて、上記動きベクトルに基づい
て予測信号を生成する処理である。
【０００７】このようなＭＰＥＧ４準拠の画像処理技術
への導入が検討されている方法の一例として、オーバー
ラップ動き補償が挙げられ、以下、まず、ＭＰＥＧ１，
２準拠の画像処理技術における通常の動き補償とオーバ
ーラップ動き補償について説明する。なお、ここでは、
説明を簡単にするため、動き補償の対象となる信号とし
ては輝度信号のみを示す。また、オーバーラップ動き補
償は、復号化処理（符号化の際の局所復号化処理も含
む）の際にのみ行うのが通常であるため、以下の説明は
復号化処理について行う。
への導入が検討されている方法の一例として、オーバー
ラップ動き補償が挙げられ、以下、まず、ＭＰＥＧ１，
２準拠の画像処理技術における通常の動き補償とオーバ
ーラップ動き補償について説明する。なお、ここでは、
説明を簡単にするため、動き補償の対象となる信号とし
ては輝度信号のみを示す。また、オーバーラップ動き補
償は、復号化処理（符号化の際の局所復号化処理も含
む）の際にのみ行うのが通常であるため、以下の説明は
復号化処理について行う。
【０００８】まず、従来のＭＰＥＧ１，２の規格に対応
した復号化処理では、動き補償は、縦方向に１６画素、
横方向に１６画素を配列した２５６画素からなる２次元
の画像空間（マクロブロック）を単位領域として行われ
る。
した復号化処理では、動き補償は、縦方向に１６画素、
横方向に１６画素を配列した２５６画素からなる２次元
の画像空間（マクロブロック）を単位領域として行われ
る。
【０００９】図７(a) 〜(d) は、復号化処理における動
き補償処理を説明するための図である。図７(a) に示す
ように復号化側では、現時点ｔ（ｎ）にて復号化処理が
行われている被処理フレームＦ（ｎ）における対象マク
ロブロックＭＢ（ｎ）に対して、動きベクトルＭＶ
（ｎ）を用いて、過去の時点ｔ（ｎ−１）に復号化処理
が施された前フレームＦ（ｎ−１）内の予測領域ＰＲ
（ｎ）が求められる。この予測領域ＰＲ（ｎ）は前フレ
ームＦ（ｎ−１）上にて、被処理フレームＦ（ｎ）にお
ける対象マクロブロックＭＢ（ｎ）と同じ位置にある同
位置マクロブロックＭＢ（ｎ−１）から、動きベクトル
ＭＶ（ｎ）が示す変位量だけ離れた位置にある。
き補償処理を説明するための図である。図７(a) に示す
ように復号化側では、現時点ｔ（ｎ）にて復号化処理が
行われている被処理フレームＦ（ｎ）における対象マク
ロブロックＭＢ（ｎ）に対して、動きベクトルＭＶ
（ｎ）を用いて、過去の時点ｔ（ｎ−１）に復号化処理
が施された前フレームＦ（ｎ−１）内の予測領域ＰＲ
（ｎ）が求められる。この予測領域ＰＲ（ｎ）は前フレ
ームＦ（ｎ−１）上にて、被処理フレームＦ（ｎ）にお
ける対象マクロブロックＭＢ（ｎ）と同じ位置にある同
位置マクロブロックＭＢ（ｎ−１）から、動きベクトル
ＭＶ（ｎ）が示す変位量だけ離れた位置にある。
【００１０】そして、上記予測領域ＰＲ（ｎ）の有する
画像信号が、上記対象マクロブロックＭＢ（ｎ）の画像
復号化信号に対応する予測信号（予測画像復号化信号）
として求められる。なお、図７(b) ，(c) ，(d) はそれ
ぞれ、同位置マクロブロックＭＢ（ｎ−１），予測領域
ＰＲ（ｎ），対象マクロブロックＭＢ（ｎ）を、図７
(a) から抜き出して示している。
画像信号が、上記対象マクロブロックＭＢ（ｎ）の画像
復号化信号に対応する予測信号（予測画像復号化信号）
として求められる。なお、図７(b) ，(c) ，(d) はそれ
ぞれ、同位置マクロブロックＭＢ（ｎ−１），予測領域
ＰＲ（ｎ），対象マクロブロックＭＢ（ｎ）を、図７
(a) から抜き出して示している。
【００１１】これに対し、オーバーラップ動き補償処理
は、縦方向に８画素、横方向に８画素を配列した、６４
画素からなる２次元の画像空間（ブロック）を単位領域
として行われる。このブロックは４つで上記マクロブロ
ック１つに相当するものである。言い換えると、１つの
マクロブロックは、図８に示すように上記ブロックを縦
方向に２つ、横方向に２つ配列して構成されている。
は、縦方向に８画素、横方向に８画素を配列した、６４
画素からなる２次元の画像空間（ブロック）を単位領域
として行われる。このブロックは４つで上記マクロブロ
ック１つに相当するものである。言い換えると、１つの
マクロブロックは、図８に示すように上記ブロックを縦
方向に２つ、横方向に２つ配列して構成されている。
【００１２】また、オーバーラップ動き補償処理では、
各ブロックに対応して、あるいは各マクロブロックに対
応して動きベクトルが存在しており、この動きベクトル
がマクロブロックに対応するものである場合には、その
マクロブロック内の４つのブロックに対応する動きベク
トルは、すべて同一の動きベクトルであるとする。
各ブロックに対応して、あるいは各マクロブロックに対
応して動きベクトルが存在しており、この動きベクトル
がマクロブロックに対応するものである場合には、その
マクロブロック内の４つのブロックに対応する動きベク
トルは、すべて同一の動きベクトルであるとする。
【００１３】次に図９を用いて具体的なオーバーラップ
動き補償について説明する。ここでは、被処理フレーム
Ｆ（ｎ）の対象ブロックＢＣ（ｎ）に対する予測信号
（予測画像復号化信号）を生成する場合について説明す
る。まず、上記対象ブロックＢＣ（ｎ）の動きベクトル
ＭＶＣ及びその上下右左の周辺ブロックＢＵ（ｎ），Ｂ
Ｄ（ｎ），ＢＲ（ｎ），ＢＬ（ｎ）の動きベクトルＭＶ
Ｕ，ＭＶＤ，ＭＶＲ，ＭＶＬを用いて、前フレームＦ
（ｎ−１）上にて、上記対象ブロックＢＣ（ｎ）と同じ
位置の同位置ブロックＢＣ（ｎ−１）を基準として、上
記対象ブロックＢＣ（ｎ）に対する５つの予測領域を求
める。ここで、上記動きベクトルＭＶＵ，ＭＶＤ，ＭＶ
Ｒ，ＭＶＬは、上記被処理フレームＦ（ｎ）内の上，
下，右，左周辺ブロックＢＵ（ｎ），ＢＤ（ｎ），ＢＲ
（ｎ），ＢＬ（ｎ）に対する予測領域として、前フレー
ムＦ（ｎ−１）内の領域ＰＵ（ｎ），ＰＤ（ｎ），ＰＲ
（ｎ），ＰＬ（ｎ）を示すものであるため、これらの動
きベクトルを用いて求められる対象ブロックＢＣ（ｎ）
の４つの予測領域は、図１０(a) に示す領域ＰＵ
（ｎ）′，ＰＤ（ｎ）′，ＰＲ（ｎ）′，ＰＬ（ｎ）′
となる。また、対象ブロックＣ（ｎ）自体の動きベクト
ルＭＶＣに基づいて、対象ブロックＢＣ（ｎ）に対する
予測領域ＰＣ（ｎ）が求められる。
動き補償について説明する。ここでは、被処理フレーム
Ｆ（ｎ）の対象ブロックＢＣ（ｎ）に対する予測信号
（予測画像復号化信号）を生成する場合について説明す
る。まず、上記対象ブロックＢＣ（ｎ）の動きベクトル
ＭＶＣ及びその上下右左の周辺ブロックＢＵ（ｎ），Ｂ
Ｄ（ｎ），ＢＲ（ｎ），ＢＬ（ｎ）の動きベクトルＭＶ
Ｕ，ＭＶＤ，ＭＶＲ，ＭＶＬを用いて、前フレームＦ
（ｎ−１）上にて、上記対象ブロックＢＣ（ｎ）と同じ
位置の同位置ブロックＢＣ（ｎ−１）を基準として、上
記対象ブロックＢＣ（ｎ）に対する５つの予測領域を求
める。ここで、上記動きベクトルＭＶＵ，ＭＶＤ，ＭＶ
Ｒ，ＭＶＬは、上記被処理フレームＦ（ｎ）内の上，
下，右，左周辺ブロックＢＵ（ｎ），ＢＤ（ｎ），ＢＲ
（ｎ），ＢＬ（ｎ）に対する予測領域として、前フレー
ムＦ（ｎ−１）内の領域ＰＵ（ｎ），ＰＤ（ｎ），ＰＲ
（ｎ），ＰＬ（ｎ）を示すものであるため、これらの動
きベクトルを用いて求められる対象ブロックＢＣ（ｎ）
の４つの予測領域は、図１０(a) に示す領域ＰＵ
（ｎ）′，ＰＤ（ｎ）′，ＰＲ（ｎ）′，ＰＬ（ｎ）′
となる。また、対象ブロックＣ（ｎ）自体の動きベクト
ルＭＶＣに基づいて、対象ブロックＢＣ（ｎ）に対する
予測領域ＰＣ（ｎ）が求められる。
【００１４】次に、上記対象ブロックＢＣ（ｎ）に対す
る５つの予測領域ＰＣ（ｎ），ＰＵ（ｎ）′，ＰＤ
（ｎ）′，ＰＲ（ｎ）′，ＰＬ（ｎ）′における画素か
ら、図１０(b) に示す予測画像ＰＧＣ，ＰＧＵ，ＰＧ
Ｄ，ＰＧＲ，ＰＧＬを求める。ただし、ここでは、各予
測領域における不要な画素は用いず、予測領域ＰＵ
（ｎ）′については上半分の画素から、予測領域ＰＤ
（ｎ）′については下半分の画素から、予測領域ＰＲ
（ｎ）′については右半分の画素から、予測領域ＰＬ
（ｎ）′については左半分の画素から予測画像を形成す
る。
る５つの予測領域ＰＣ（ｎ），ＰＵ（ｎ）′，ＰＤ
（ｎ）′，ＰＲ（ｎ）′，ＰＬ（ｎ）′における画素か
ら、図１０(b) に示す予測画像ＰＧＣ，ＰＧＵ，ＰＧ
Ｄ，ＰＧＲ，ＰＧＬを求める。ただし、ここでは、各予
測領域における不要な画素は用いず、予測領域ＰＵ
（ｎ）′については上半分の画素から、予測領域ＰＤ
（ｎ）′については下半分の画素から、予測領域ＰＲ
（ｎ）′については右半分の画素から、予測領域ＰＬ
（ｎ）′については左半分の画素から予測画像を形成す
る。
【００１５】そして、各予測画像ＰＧＣ，ＰＧＵ，ＰＧ
Ｄ，ＰＧＲ，ＰＧＬを、それぞれの画素の画素値を、重
み付けマトリクスＷＶＣ，ＷＶＵ，ＷＶＤ，ＷＶＲ，Ｗ
ＶＬ（図１０(c) 参照）に示す値で重み付けして合成す
る。ここでは、各重み付けマトリクスで示す重み付け値
は、１つの画素について全て加えると８になるため、上
記各予測画像ＰＧＣ，ＰＧＵ，ＰＧＤ，ＰＧＲ，ＰＧＬ
の画素値をＰgc，Ｐgu，Ｐgd，Ｐgr，Ｐglとし、各重み
付けマトリクスで示す重み付け値をＷvc，Ｗvu，Ｗvd，
Ｗvr，Ｗvlとすると、合成画像ＰＧの画素値Ｐｇは、以
下の式により得られる。 Ｐg ＝( Ｐgc・Ｗvc＋Ｐgu・Ｗvu＋Ｐgd・Ｗvd＋Ｐgr・
Ｗvr＋Ｐgl・Ｗvl)/8 この合成処理により得られる合成画像ＰＧが、オーバー
ラップ動き補償によって得られる予測画像であり、これ
に対応する画像信号が予測信号（予測画像復号化信号）
となる。
Ｄ，ＰＧＲ，ＰＧＬを、それぞれの画素の画素値を、重
み付けマトリクスＷＶＣ，ＷＶＵ，ＷＶＤ，ＷＶＲ，Ｗ
ＶＬ（図１０(c) 参照）に示す値で重み付けして合成す
る。ここでは、各重み付けマトリクスで示す重み付け値
は、１つの画素について全て加えると８になるため、上
記各予測画像ＰＧＣ，ＰＧＵ，ＰＧＤ，ＰＧＲ，ＰＧＬ
の画素値をＰgc，Ｐgu，Ｐgd，Ｐgr，Ｐglとし、各重み
付けマトリクスで示す重み付け値をＷvc，Ｗvu，Ｗvd，
Ｗvr，Ｗvlとすると、合成画像ＰＧの画素値Ｐｇは、以
下の式により得られる。 Ｐg ＝( Ｐgc・Ｗvc＋Ｐgu・Ｗvu＋Ｐgd・Ｗvd＋Ｐgr・
Ｗvr＋Ｐgl・Ｗvl)/8 この合成処理により得られる合成画像ＰＧが、オーバー
ラップ動き補償によって得られる予測画像であり、これ
に対応する画像信号が予測信号（予測画像復号化信号）
となる。
【００１６】なお、上記オーバラップ動き補償では、動
き補償の対象となる対象ブロックが、マクロブロックの
下段側に位置するものである場合は、この対象ブロック
の下側の周辺ブロックを含むマクロブロックはまだ復号
化処理が施されていないため、該下側の周辺ブロックの
動きベクトルとしては対象ブロックの動きベクトルを用
いる。また、符号化の際の局所復号化処理におけるオー
バーラップ動き補償も、上記復号化処理におけるオーバ
ーラップ動き補償と同様に行われることは言うまでもな
い。
き補償の対象となる対象ブロックが、マクロブロックの
下段側に位置するものである場合は、この対象ブロック
の下側の周辺ブロックを含むマクロブロックはまだ復号
化処理が施されていないため、該下側の周辺ブロックの
動きベクトルとしては対象ブロックの動きベクトルを用
いる。また、符号化の際の局所復号化処理におけるオー
バーラップ動き補償も、上記復号化処理におけるオーバ
ーラップ動き補償と同様に行われることは言うまでもな
い。
【００１７】上述したように、通常の動き補償では、動
き補償の単位となる領域（マクロブロック）が有する動
きベクトルのみに基づいて予測画像（予測信号）を生成
しているのに対し、オーバーラップ動き補償では、オー
バーラップ動き補償の対象となる処理単位（対象ブロッ
ク）が有する動きベクトルだけでなく、対象ブロックに
隣接する周辺ブロックの動きベクトルにも基づいて予測
画像（予測信号）を生成している。このため、オーバー
ラップ動き補償処理では、通常の動き補償処理に比べ
て、対象ブロックに対応する画像信号（厳密には各画素
に対応する画像値）とその予測信号（厳密には各画素に
対応する予測値）との差分値を１つのブロック内にて平
滑化する、つまり、マクロブロック内での局所的な大き
な符号化歪みを小さく分散することができ、視覚的な画
質の改善を図ることができる一方で、通常の動き補償処
理に比べてより多くの演算処理が必要となる。
き補償の単位となる領域（マクロブロック）が有する動
きベクトルのみに基づいて予測画像（予測信号）を生成
しているのに対し、オーバーラップ動き補償では、オー
バーラップ動き補償の対象となる処理単位（対象ブロッ
ク）が有する動きベクトルだけでなく、対象ブロックに
隣接する周辺ブロックの動きベクトルにも基づいて予測
画像（予測信号）を生成している。このため、オーバー
ラップ動き補償処理では、通常の動き補償処理に比べ
て、対象ブロックに対応する画像信号（厳密には各画素
に対応する画像値）とその予測信号（厳密には各画素に
対応する予測値）との差分値を１つのブロック内にて平
滑化する、つまり、マクロブロック内での局所的な大き
な符号化歪みを小さく分散することができ、視覚的な画
質の改善を図ることができる一方で、通常の動き補償処
理に比べてより多くの演算処理が必要となる。
【００１８】次に、従来のＭＰＥＧ４の規格に対応した
復号化処理におけるオブジェクト単位の動き補償につい
て説明する。ＭＰＥＧ４に準拠した画像表示では、被処
理フレームと前フレームとではオブジェクト領域のフレ
ーム内での位置が相対的に異なる。以下簡単に図１２を
用いて説明すると、図１２に示すように復号化側では、
現時点ｔ（ｎ）にて復号化処理が行われている被処理フ
レームＦ（ｎ）における所定のオブジェクト領域ＯＲ
（ｎ）内の対象マクロブロックＭＢ（ｎ）に対して、動
きベクトルＭＶ（ｎ）を用いて、過去の時点ｔ（ｎ−
１）に復号化処理が施された前フレームＦ（ｎ−１）に
おける、上記オブジェクト領域ＯＲ（ｎ）に対応するオ
ブジェクト領域ＯＲ（ｎ−１）内の予測領域ＰＲ（ｎ）
が求められる。
復号化処理におけるオブジェクト単位の動き補償につい
て説明する。ＭＰＥＧ４に準拠した画像表示では、被処
理フレームと前フレームとではオブジェクト領域のフレ
ーム内での位置が相対的に異なる。以下簡単に図１２を
用いて説明すると、図１２に示すように復号化側では、
現時点ｔ（ｎ）にて復号化処理が行われている被処理フ
レームＦ（ｎ）における所定のオブジェクト領域ＯＲ
（ｎ）内の対象マクロブロックＭＢ（ｎ）に対して、動
きベクトルＭＶ（ｎ）を用いて、過去の時点ｔ（ｎ−
１）に復号化処理が施された前フレームＦ（ｎ−１）に
おける、上記オブジェクト領域ＯＲ（ｎ）に対応するオ
ブジェクト領域ＯＲ（ｎ−１）内の予測領域ＰＲ（ｎ）
が求められる。
【００１９】この予測領域ＰＲ（ｎ）は、前フレームＦ
（ｎ−１）上にて、被処理フレームＦ（ｎ）におけるオ
ブジェクト領域ＯＲ（ｎ）内の対象マクロブロックＭＢ
（ｎ）と同位置にある同位置マクロブロックＭＢ（ｎ）
（点線で表示）から、動きベクトルＭＶ（ｎ）が示す変
位量だけ離れた位置にある。
（ｎ−１）上にて、被処理フレームＦ（ｎ）におけるオ
ブジェクト領域ＯＲ（ｎ）内の対象マクロブロックＭＢ
（ｎ）と同位置にある同位置マクロブロックＭＢ（ｎ）
（点線で表示）から、動きベクトルＭＶ（ｎ）が示す変
位量だけ離れた位置にある。
【００２０】ここで、前フレームＦ（ｎ−１）では、現
時点ｔ（ｎ）でのオブジェクト領域ＯＲ（ｎ）の位置Ｐ
（ｎ）は、このオブジェクト領域ＯＲ（ｎ）に対応する
過去の時点ｔ（ｎ−１）のオブジェクト領域ＯＲ（ｎ−
１）の位置Ｐ（ｎ−１）とは異なっているが、被処理フ
レームＦ（ｎ）におけるオブジェクト領域ＯＲ（ｎ）内
のマクロブロックＭＢ（ｎ）の位置Ｐmb(n) 、及び前フ
レームＦ（ｎ−１）におけるオブジェクト領域ＯＲ（ｎ
−１）内のマクロブロックＭＢ（ｎ−１）の位置Ｐmb(n
-1) 、さらには上記予測領域ＰＲ（ｎ）の位置Ｐpr(n)
も、各フレームの左隅位置Ｐ０を基準とする絶対的位置
として定めることができる。そして、上記予測領域ＰＲ
（ｎ）の有する画像信号が、上記被処理フレームＦ
（ｎ）における対象マクロブロックＭＢ（ｎ）の画像復
号化信号に対応する予測信号（予測画像復号化信号）と
して求められる。
時点ｔ（ｎ）でのオブジェクト領域ＯＲ（ｎ）の位置Ｐ
（ｎ）は、このオブジェクト領域ＯＲ（ｎ）に対応する
過去の時点ｔ（ｎ−１）のオブジェクト領域ＯＲ（ｎ−
１）の位置Ｐ（ｎ−１）とは異なっているが、被処理フ
レームＦ（ｎ）におけるオブジェクト領域ＯＲ（ｎ）内
のマクロブロックＭＢ（ｎ）の位置Ｐmb(n) 、及び前フ
レームＦ（ｎ−１）におけるオブジェクト領域ＯＲ（ｎ
−１）内のマクロブロックＭＢ（ｎ−１）の位置Ｐmb(n
-1) 、さらには上記予測領域ＰＲ（ｎ）の位置Ｐpr(n)
も、各フレームの左隅位置Ｐ０を基準とする絶対的位置
として定めることができる。そして、上記予測領域ＰＲ
（ｎ）の有する画像信号が、上記被処理フレームＦ
（ｎ）における対象マクロブロックＭＢ（ｎ）の画像復
号化信号に対応する予測信号（予測画像復号化信号）と
して求められる。
【００２１】なお、ＭＰＥＧ４に対応したオーバーラッ
プ動き補償処理も、ＭＰＥＧ１，２におけるものと同
様、縦方向に８画素、横方向に８画素を配列した、６４
画素からなる２次元の画像空間（ブロック）を単位領域
として、図１２に示すようなオブジェクト領域ＯＲ
（ｎ）及びＯＲ（ｎ−１）の間で、図９で説明したよう
に行われる。このように現状では、画像信号の符号化効
率を改善するために、種々の予測信号生成方法が提案さ
れるとともに、符号化方法の規格に取り入れられてお
り、今後も益々多くの予測信号生成方法が考案されると
考えられる。
プ動き補償処理も、ＭＰＥＧ１，２におけるものと同
様、縦方向に８画素、横方向に８画素を配列した、６４
画素からなる２次元の画像空間（ブロック）を単位領域
として、図１２に示すようなオブジェクト領域ＯＲ
（ｎ）及びＯＲ（ｎ−１）の間で、図９で説明したよう
に行われる。このように現状では、画像信号の符号化効
率を改善するために、種々の予測信号生成方法が提案さ
れるとともに、符号化方法の規格に取り入れられてお
り、今後も益々多くの予測信号生成方法が考案されると
考えられる。
【００２２】
【発明が解決しようとする課題】ところが、上述のオー
バーラップ動き補償の説明で示したように、多くの場
合、新たな動き予測処理や動き補償処理は符号化効率の
改善に寄与する一方で、従来のものに比べて演算処理が
複雑になり、実時間処理を行うためには、画像処理シス
テムに高速な演算性能が要求されることとなる。
バーラップ動き補償の説明で示したように、多くの場
合、新たな動き予測処理や動き補償処理は符号化効率の
改善に寄与する一方で、従来のものに比べて演算処理が
複雑になり、実時間処理を行うためには、画像処理シス
テムに高速な演算性能が要求されることとなる。
【００２３】また、従来の画像符号化処理及び画像復号
化処理を行うシステムでは、復号化の際には、符号化時
に決定した予測信号生成方法に基づいた演算処理により
動き補償を行うため、復号化処理において演算処理能力
が不足する状況になったときには、実時間処理により再
生される映像ではコマ落ちなどが生じることとなる。言
い換えると、従来の画像処理システムでは、新たな動き
予測処理や動き補償処理の導入等によって演算処理能力
が不足する事態が生じた場合には、再生画像の画質に大
きな悪影響を及ぼすこととなる。
化処理を行うシステムでは、復号化の際には、符号化時
に決定した予測信号生成方法に基づいた演算処理により
動き補償を行うため、復号化処理において演算処理能力
が不足する状況になったときには、実時間処理により再
生される映像ではコマ落ちなどが生じることとなる。言
い換えると、従来の画像処理システムでは、新たな動き
予測処理や動き補償処理の導入等によって演算処理能力
が不足する事態が生じた場合には、再生画像の画質に大
きな悪影響を及ぼすこととなる。
【００２４】本発明は、上記のような問題点を解決する
ためになされたもので、画像信号を符号化あるいは復号
化する際の演算負荷の状況に応じて、画像処理対象とな
る対象画像信号の予測信号を生成する信号生成処理を演
算負荷の重いものと軽いものとの間で切り替えることが
でき、これにより再生される映像への悪影響を最小限に
抑えつつ、高い符号化効率でもって動き予測処理あるい
は動き補償処理を行うことができる画像処理方法及び画
像処理装置、並びにこれらの方法及び装置による画像処
理をコンピュータにより実現することができるプログラ
ムを格納したデータ記憶媒体を提供することを目的とす
る。
ためになされたもので、画像信号を符号化あるいは復号
化する際の演算負荷の状況に応じて、画像処理対象とな
る対象画像信号の予測信号を生成する信号生成処理を演
算負荷の重いものと軽いものとの間で切り替えることが
でき、これにより再生される映像への悪影響を最小限に
抑えつつ、高い符号化効率でもって動き予測処理あるい
は動き補償処理を行うことができる画像処理方法及び画
像処理装置、並びにこれらの方法及び装置による画像処
理をコンピュータにより実現することができるプログラ
ムを格納したデータ記憶媒体を提供することを目的とす
る。
【００２５】
【課題を解決するための手段】この発明（請求項１）に
係る画像処理方法は、画像入力信号を、画面を区分する
単位領域毎に符号化して画像符号化信号を出力するとと
もに、該画像符号化信号を復号化して得られる画像復号
化信号に基づいて、符号化処理の対象となる対象単位領
域に対応する予測画像入力信号を所定の予測方法に基づ
く演算により生成する信号生成処理を、所要の単位領域
に対して行う画像符号化方法であって、上記画像入力信
号の符号化処理における演算負荷の大きさを検出し、該
検出した演算負荷の大きさに応じて、上記信号生成処理
における予測方法を切り替えるものである。
係る画像処理方法は、画像入力信号を、画面を区分する
単位領域毎に符号化して画像符号化信号を出力するとと
もに、該画像符号化信号を復号化して得られる画像復号
化信号に基づいて、符号化処理の対象となる対象単位領
域に対応する予測画像入力信号を所定の予測方法に基づ
く演算により生成する信号生成処理を、所要の単位領域
に対して行う画像符号化方法であって、上記画像入力信
号の符号化処理における演算負荷の大きさを検出し、該
検出した演算負荷の大きさに応じて、上記信号生成処理
における予測方法を切り替えるものである。
【００２６】この発明（請求項２）は、請求項１記載の
画像処理方法において、実時間での上記信号生成処理に
必要な演算処理能力に基づいた演算負荷の閾値と、上記
検出した演算負荷の大きさとの比較結果に基づいて、上
記信号生成処理における予測方法を、必要となる演算処
理量が多い第１の予測方法と、必要となる演算処理量が
少ない第２の予測方法との間で切り替えるものである。
画像処理方法において、実時間での上記信号生成処理に
必要な演算処理能力に基づいた演算負荷の閾値と、上記
検出した演算負荷の大きさとの比較結果に基づいて、上
記信号生成処理における予測方法を、必要となる演算処
理量が多い第１の予測方法と、必要となる演算処理量が
少ない第２の予測方法との間で切り替えるものである。
【００２７】この発明（請求項３）は、請求項１記載の
画像処理方法において、実時間での上記信号生成処理に
必要な演算処理能力に基づいた演算負荷の閾値と、上記
検出した演算負荷の大きさとの比較結果に基づいて、上
記信号生成処理における予測方法として、演算処理量が
異なる複数の予測方法のうちから、検出した演算負荷の
大きさに適した予測方法を選択するものである。
画像処理方法において、実時間での上記信号生成処理に
必要な演算処理能力に基づいた演算負荷の閾値と、上記
検出した演算負荷の大きさとの比較結果に基づいて、上
記信号生成処理における予測方法として、演算処理量が
異なる複数の予測方法のうちから、検出した演算負荷の
大きさに適した予測方法を選択するものである。
【００２８】この発明（請求項４）は、請求項１記載の
画像処理方法において、 上記信号生成処理を、上記対
象単位領域に対応する予測領域の位置を所定の画素精度
でもって示す動きベクトルを求める動き予測処理と、該
動きベクトルに基づいて予測領域に対応する画像信号を
上記予測画像入力信号として求める動き補償処理とを含
むものとし、実時間での上記信号生成処理に必要な演算
処理能力に基づいた演算負荷の閾値と、上記検出した演
算負荷の大きさとの比較結果に基づいて、上記信号生成
処理における動き予測処理の方法を、必要となる演算処
理量が多い動き予測方法と、必要となる演算処理量が少
ない動き予測方法との間で切り替え、かつ上記比較結果
に基づいて、上記信号生成処理における動き補償処理の
方法を、必要となる演算処理量が多い動き補償方法と、
必要となる演算処理量が少ない動き補償予測方法との間
で切り替えるものである。
画像処理方法において、 上記信号生成処理を、上記対
象単位領域に対応する予測領域の位置を所定の画素精度
でもって示す動きベクトルを求める動き予測処理と、該
動きベクトルに基づいて予測領域に対応する画像信号を
上記予測画像入力信号として求める動き補償処理とを含
むものとし、実時間での上記信号生成処理に必要な演算
処理能力に基づいた演算負荷の閾値と、上記検出した演
算負荷の大きさとの比較結果に基づいて、上記信号生成
処理における動き予測処理の方法を、必要となる演算処
理量が多い動き予測方法と、必要となる演算処理量が少
ない動き予測方法との間で切り替え、かつ上記比較結果
に基づいて、上記信号生成処理における動き補償処理の
方法を、必要となる演算処理量が多い動き補償方法と、
必要となる演算処理量が少ない動き補償予測方法との間
で切り替えるものである。
【００２９】この発明（請求項５）は、請求項１記載の
画像処理方法において、 上記信号生成処理を、上記対
象単位領域に対応する予測領域の位置を所定の画素精度
でもって示す動きベクトルを求める動き予測処理と、該
動きベクトルに基づいて予測領域に対応する画像信号を
上記予測画像入力信号として求める動き補償処理とを含
むものとし、実時間での上記信号生成処理に必要な演算
処理能力に基づいた演算負荷の閾値と、上記検出した演
算負荷の大きさとの比較結果に基づいて、上記信号生成
処理における動き予測処理の方法を、画素精度の高い動
きベクトルを求める動き予測方法と、画素精度の低い動
きベクトルを求める動き予測方法との間で切り替えるも
のである。
画像処理方法において、 上記信号生成処理を、上記対
象単位領域に対応する予測領域の位置を所定の画素精度
でもって示す動きベクトルを求める動き予測処理と、該
動きベクトルに基づいて予測領域に対応する画像信号を
上記予測画像入力信号として求める動き補償処理とを含
むものとし、実時間での上記信号生成処理に必要な演算
処理能力に基づいた演算負荷の閾値と、上記検出した演
算負荷の大きさとの比較結果に基づいて、上記信号生成
処理における動き予測処理の方法を、画素精度の高い動
きベクトルを求める動き予測方法と、画素精度の低い動
きベクトルを求める動き予測方法との間で切り替えるも
のである。
【００３０】この発明（請求項６）は、請求項１記載の
画像処理方法において、上記信号生成処理を、上記対象
単位領域に対応する予測領域の位置を所定の画素精度で
もって示す動きベクトルを求める動き予測処理と、該動
きベクトルに基づいて予測領域に対応する画像信号を上
記予測画像入力信号として求める動き補償処理とを含む
ものとし、実時間での上記信号生成処理に必要な演算処
理能力に基づいた演算負荷の閾値と、上記検出した演算
負荷の大きさとの比較結果に基づいて、上記信号生成処
理における動き補償処理の方法を、画素精度の高い動き
ベクトルに基づいて上記予測画像入力信号を求める動き
補償方法と、画素精度の低い動きベクトルに基づいて上
記予測画像入力信号を求める動き補償方法との間で切り
替えるものである。
画像処理方法において、上記信号生成処理を、上記対象
単位領域に対応する予測領域の位置を所定の画素精度で
もって示す動きベクトルを求める動き予測処理と、該動
きベクトルに基づいて予測領域に対応する画像信号を上
記予測画像入力信号として求める動き補償処理とを含む
ものとし、実時間での上記信号生成処理に必要な演算処
理能力に基づいた演算負荷の閾値と、上記検出した演算
負荷の大きさとの比較結果に基づいて、上記信号生成処
理における動き補償処理の方法を、画素精度の高い動き
ベクトルに基づいて上記予測画像入力信号を求める動き
補償方法と、画素精度の低い動きベクトルに基づいて上
記予測画像入力信号を求める動き補償方法との間で切り
替えるものである。
【００３１】この発明（請求項７）は、請求項６記載の
画像処理方法において、上記演算負荷の閾値と演算負荷
の大きさとの比較結果に基づいて、上記画素精度の高い
動きベクトルに基づいて行われる動き補償方法の種類
を、演算負荷の大きい第１の動き補償方法と、演算負荷
の小さい第２の動き補償方法との間で切り替えるととも
に、上記演算負荷の閾値と演算負荷の大きさとの比較結
果に基づいて、上記画素精度の低い動きベクトルに基づ
いて行われる動き補償方法の種類を、演算負荷の大きい
第１の動き補償方法と、演算負荷の小さい第２の動き補
償方法との間で切り替えるものである。
画像処理方法において、上記演算負荷の閾値と演算負荷
の大きさとの比較結果に基づいて、上記画素精度の高い
動きベクトルに基づいて行われる動き補償方法の種類
を、演算負荷の大きい第１の動き補償方法と、演算負荷
の小さい第２の動き補償方法との間で切り替えるととも
に、上記演算負荷の閾値と演算負荷の大きさとの比較結
果に基づいて、上記画素精度の低い動きベクトルに基づ
いて行われる動き補償方法の種類を、演算負荷の大きい
第１の動き補償方法と、演算負荷の小さい第２の動き補
償方法との間で切り替えるものである。
【００３２】この発明（請求項８）は、請求項１記載の
画像処理方法において、上記信号生成処理を、上記対象
単位領域に対応する予測領域の位置を所定の画素精度で
もって示す動きベクトルを求める動き予測処理と、該動
きベクトルに基づいて予測領域に対応する画像信号を上
記予測画像入力信号として求める動き補償処理とを含む
ものとし、実時間での上記信号生成処理に必要な演算処
理能力に基づいた演算負荷の閾値と、上記検出した演算
負荷の大きさとの比較結果に基づいて、上記信号生成処
理における動き補償処理の方法として、それぞれ画素精
度の異なる動きベクトルを用いる複数の動き補償方法の
１つを選択するものである。
画像処理方法において、上記信号生成処理を、上記対象
単位領域に対応する予測領域の位置を所定の画素精度で
もって示す動きベクトルを求める動き予測処理と、該動
きベクトルに基づいて予測領域に対応する画像信号を上
記予測画像入力信号として求める動き補償処理とを含む
ものとし、実時間での上記信号生成処理に必要な演算処
理能力に基づいた演算負荷の閾値と、上記検出した演算
負荷の大きさとの比較結果に基づいて、上記信号生成処
理における動き補償処理の方法として、それぞれ画素精
度の異なる動きベクトルを用いる複数の動き補償方法の
１つを選択するものである。
【００３３】この発明（請求項９）に係る画像処理方法
は、入力された画像符号化信号を、画面を区分する単位
領域毎に復号化して画像復号化信号を出力するととも
に、該画像復号化信号に基づいて、復号化処理の対象と
なる対象単位領域に対応する予測画像復号化信号を所定
の動き補償方法に基づく演算により生成する信号生成処
理を、所要の単位領域に対して行う画像復号化方法であ
って、上記画像符号化信号の復号化処理における演算負
荷の大きさを検出し、該検出した演算負荷の大きさに応
じて、上記信号生成処理における動き補償方法を切り替
えるものである。
は、入力された画像符号化信号を、画面を区分する単位
領域毎に復号化して画像復号化信号を出力するととも
に、該画像復号化信号に基づいて、復号化処理の対象と
なる対象単位領域に対応する予測画像復号化信号を所定
の動き補償方法に基づく演算により生成する信号生成処
理を、所要の単位領域に対して行う画像復号化方法であ
って、上記画像符号化信号の復号化処理における演算負
荷の大きさを検出し、該検出した演算負荷の大きさに応
じて、上記信号生成処理における動き補償方法を切り替
えるものである。
【００３４】この発明（請求項１０）は、請求項９記載
の画像処理方法において、実時間での上記信号生成処理
に必要な演算処理能力に基づいた演算負荷の閾値と、上
記検出した演算負荷の大きさとの比較結果に基づいて、
上記信号生成処理における動き補償方法を、必要となる
演算処理量が多い第１の動き補償方法と、必要となる演
算処理量が少ない第２の動き補償方法との間で切り替え
るものである。
の画像処理方法において、実時間での上記信号生成処理
に必要な演算処理能力に基づいた演算負荷の閾値と、上
記検出した演算負荷の大きさとの比較結果に基づいて、
上記信号生成処理における動き補償方法を、必要となる
演算処理量が多い第１の動き補償方法と、必要となる演
算処理量が少ない第２の動き補償方法との間で切り替え
るものである。
【００３５】この発明（請求項１１）は、請求項９記載
の画像処理方法において、実時間での上記信号生成処理
に必要な演算処理能力に基づいた演算負荷の閾値と、上
記検出した演算負荷の大きさとの比較結果に基づいて、
上記信号生成処理における動き補償方法として、演算処
理量が異なる複数の動き補償方法のうちから、検出した
演算負荷の大きさに適した動き補償方法を選択するもの
である。
の画像処理方法において、実時間での上記信号生成処理
に必要な演算処理能力に基づいた演算負荷の閾値と、上
記検出した演算負荷の大きさとの比較結果に基づいて、
上記信号生成処理における動き補償方法として、演算処
理量が異なる複数の動き補償方法のうちから、検出した
演算負荷の大きさに適した動き補償方法を選択するもの
である。
【００３６】この発明（請求項１２）は、請求項９記載
の画像処理方法において、実時間での上記信号生成処理
に必要な演算処理能力に基づいた演算負荷の閾値と、上
記検出した演算負荷の大きさとの比較結果に基づいて、
上記信号生成処理における動き補償方法を、画素精度の
高い動きベクトルに基づいて上記予測画像復号化信号を
求める動き補償方法と、画素精度の低い動きベクトルに
基づいて上記予測画像復号化信号を求める動き補償方法
との間で切り替えるものである。
の画像処理方法において、実時間での上記信号生成処理
に必要な演算処理能力に基づいた演算負荷の閾値と、上
記検出した演算負荷の大きさとの比較結果に基づいて、
上記信号生成処理における動き補償方法を、画素精度の
高い動きベクトルに基づいて上記予測画像復号化信号を
求める動き補償方法と、画素精度の低い動きベクトルに
基づいて上記予測画像復号化信号を求める動き補償方法
との間で切り替えるものである。
【００３７】この発明（請求項１３）は、請求項１２記
載の画像処理方法において、上記演算負荷の閾値と演算
負荷の大きさとの比較結果に基づいて、上記画素精度の
高い動きベクトルに基づいて行われる動き補償方法の種
類を、演算負荷の大きい第１の動き補償方法と、演算負
荷の小さい第２の動き補償方法との間で切り替えるとと
もに、上記演算負荷の閾値と演算負荷の大きさとの比較
結果に基づいて、上記画素精度の低い動きベクトルに基
づいて行われる動き補償方法の種類を、演算負荷の大き
い第１の動き補償方法と、演算負荷の小さい第２の動き
補償方法との間で切り替えるものである。
載の画像処理方法において、上記演算負荷の閾値と演算
負荷の大きさとの比較結果に基づいて、上記画素精度の
高い動きベクトルに基づいて行われる動き補償方法の種
類を、演算負荷の大きい第１の動き補償方法と、演算負
荷の小さい第２の動き補償方法との間で切り替えるとと
もに、上記演算負荷の閾値と演算負荷の大きさとの比較
結果に基づいて、上記画素精度の低い動きベクトルに基
づいて行われる動き補償方法の種類を、演算負荷の大き
い第１の動き補償方法と、演算負荷の小さい第２の動き
補償方法との間で切り替えるものである。
【００３８】この発明（請求項１４）に係る画像処理装
置は、画像入力信号を、画面を区分する単位領域毎に符
号化して画像符号化信号を出力する符号化処理部と、該
画像符号化信号を復号化して得られる画像復号化信号に
基づいて、符号化処理の対象となる対象単位領域に対応
する予測画像入力信号を所定の予測方法に基づく演算に
より生成する信号生成処理を、所要の単位領域に対して
行う予測処理部とを有する画像符号化装置であって、上
記予測処理部を、上記画像入力信号の符号化処理におけ
る演算負荷の大きさを検出する演算負荷検出手段を有
し、該検出した演算負荷の大きさに応じて、上記信号生
成処理における予測方法を切り替える構成としたもので
ある。
置は、画像入力信号を、画面を区分する単位領域毎に符
号化して画像符号化信号を出力する符号化処理部と、該
画像符号化信号を復号化して得られる画像復号化信号に
基づいて、符号化処理の対象となる対象単位領域に対応
する予測画像入力信号を所定の予測方法に基づく演算に
より生成する信号生成処理を、所要の単位領域に対して
行う予測処理部とを有する画像符号化装置であって、上
記予測処理部を、上記画像入力信号の符号化処理におけ
る演算負荷の大きさを検出する演算負荷検出手段を有
し、該検出した演算負荷の大きさに応じて、上記信号生
成処理における予測方法を切り替える構成としたもので
ある。
【００３９】この発明（請求項１５）は、請求項１４記
載の画像処理装置において、上記予測処理部を、符号化
処理の対象となる被処理画面における対象単位領域に対
応する画像入力信号と、符号化処理が施された前画面に
対応する画像復号化信号とに基づいて、上記対象単位領
域に対する予測画像入力信号を与える前画面における予
測領域の位置を示す動きベクトルを出力する動き検出器
と、該動き検出器から出力される対象単位領域の動きベ
クトルに基づいて上記予測画像入力信号を算出する動き
補償器とを有する構成とし、上記動き検出器を、上記検
出された演算負荷の大きさに応じて、画素精度の低い第
１の動きベクトルと画素精度の高い第２の動きベクトル
のいずれかを上記動きベクトルとして上記動き補償器に
出力する構成としたものである。
載の画像処理装置において、上記予測処理部を、符号化
処理の対象となる被処理画面における対象単位領域に対
応する画像入力信号と、符号化処理が施された前画面に
対応する画像復号化信号とに基づいて、上記対象単位領
域に対する予測画像入力信号を与える前画面における予
測領域の位置を示す動きベクトルを出力する動き検出器
と、該動き検出器から出力される対象単位領域の動きベ
クトルに基づいて上記予測画像入力信号を算出する動き
補償器とを有する構成とし、上記動き検出器を、上記検
出された演算負荷の大きさに応じて、画素精度の低い第
１の動きベクトルと画素精度の高い第２の動きベクトル
のいずれかを上記動きベクトルとして上記動き補償器に
出力する構成としたものである。
【００４０】この発明（請求項１６）に係る画像処理装
置は、入力された画像符号化信号を、画面を区分する単
位領域毎に復号化して画像復号化信号を出力する復号化
処理部と、該画像復号化信号に基づいて、復号化処理の
対象となる対象単位領域に対応する予測画像復号化信号
を所定の動き補償方法に基づく演算により生成する信号
生成処理を、所要の単位領域に対して行う予測処理部と
を有する画像復号化装置であって、上記予測処理部を、
上記画像符号化信号の復号化処理における演算負荷の大
きさを検出する演算負荷検出手段を備え、該検出した演
算負荷の大きさに応じて、上記信号生成処理における動
き補償方法を切り替える構成としたものである。
置は、入力された画像符号化信号を、画面を区分する単
位領域毎に復号化して画像復号化信号を出力する復号化
処理部と、該画像復号化信号に基づいて、復号化処理の
対象となる対象単位領域に対応する予測画像復号化信号
を所定の動き補償方法に基づく演算により生成する信号
生成処理を、所要の単位領域に対して行う予測処理部と
を有する画像復号化装置であって、上記予測処理部を、
上記画像符号化信号の復号化処理における演算負荷の大
きさを検出する演算負荷検出手段を備え、該検出した演
算負荷の大きさに応じて、上記信号生成処理における動
き補償方法を切り替える構成としたものである。
【００４１】この発明（請求項１７）は、請求項１６記
載の画像処理装置において、上記予測処理部を、復号化
処理の対象となる被処理画面より先に復号化処理が施さ
れた前画面における、上記対象単位領域に対応する予測
画像復号化信号を与える予測領域の位置を示す動きベク
トル情報に基づいて、上記予測画像復号化信号を生成す
る構成であって、上記対象単位領域の動きベクトル情報
に基づいて、該対象単位領域に対応する予測画像復号化
信号を算出する、演算処理量の少ない第１の動き補償処
理と、該対象単位領域及びその周辺の単位領域の動きベ
クトル情報に基づいて該対象単位領域に対応する予測画
像復号化信号を算出する、演算処理量の大きい第２の動
き補償処理のうちの一方の処理を、上記検出された演算
負荷の大きさに応じて選択して行う動き補償器を有する
構成としたものである。
載の画像処理装置において、上記予測処理部を、復号化
処理の対象となる被処理画面より先に復号化処理が施さ
れた前画面における、上記対象単位領域に対応する予測
画像復号化信号を与える予測領域の位置を示す動きベク
トル情報に基づいて、上記予測画像復号化信号を生成す
る構成であって、上記対象単位領域の動きベクトル情報
に基づいて、該対象単位領域に対応する予測画像復号化
信号を算出する、演算処理量の少ない第１の動き補償処
理と、該対象単位領域及びその周辺の単位領域の動きベ
クトル情報に基づいて該対象単位領域に対応する予測画
像復号化信号を算出する、演算処理量の大きい第２の動
き補償処理のうちの一方の処理を、上記検出された演算
負荷の大きさに応じて選択して行う動き補償器を有する
構成としたものである。
【００４２】この発明（請求項１８）に係るデータ記憶
媒体は、コンピュータに画像符号化処理を行わせるため
のプログラムを格納したデータ記憶媒体であって、画像
入力信号を、画面を区分する単位領域毎に符号化して画
像符号化信号を出力するとともに、該画像符号化信号を
復号化して得られる画像復号化信号に基づいて、符号化
処理の対象となる対象単位領域に対応する予測画像入力
信号を所定の予測方法に基づく演算により生成する信号
生成処理を、所要の単位領域に対して行い、この際、上
記画像入力信号の符号化処理における演算負荷の大きさ
を検出し、該検出した演算負荷の大きさに応じて、上記
信号生成処理における予測方法を切り替える画像符号化
処理を、コンピュータが行うよう、上記プログラムを構
成したものである。
媒体は、コンピュータに画像符号化処理を行わせるため
のプログラムを格納したデータ記憶媒体であって、画像
入力信号を、画面を区分する単位領域毎に符号化して画
像符号化信号を出力するとともに、該画像符号化信号を
復号化して得られる画像復号化信号に基づいて、符号化
処理の対象となる対象単位領域に対応する予測画像入力
信号を所定の予測方法に基づく演算により生成する信号
生成処理を、所要の単位領域に対して行い、この際、上
記画像入力信号の符号化処理における演算負荷の大きさ
を検出し、該検出した演算負荷の大きさに応じて、上記
信号生成処理における予測方法を切り替える画像符号化
処理を、コンピュータが行うよう、上記プログラムを構
成したものである。
【００４３】この発明（請求項１９）に係るデータ記憶
媒体は、コンピュータに画像復号化処理を行わせるため
のプログラムを格納したデータ記憶媒体であって、入力
された画像符号化信号を、画面を区分する単位領域毎に
復号化して画像復号化信号を出力するとともに、該画像
復号化信号に基づいて、復号化処理の対象となる対象単
位領域に対応する予測画像復号化信号を所定の動き補償
方法に基づく演算により生成する信号生成処理を、所要
の単位領域に対して行い、この際、上記画像符号化信号
の復号化処理における演算負荷の大きさを検出し、該検
出した演算負荷の大きさに応じて、上記信号生成処理に
おける動き補償方法を切り替える画像復号化処理を、コ
ンピュータが行うよう、上記プログラムを構成したもの
である。
媒体は、コンピュータに画像復号化処理を行わせるため
のプログラムを格納したデータ記憶媒体であって、入力
された画像符号化信号を、画面を区分する単位領域毎に
復号化して画像復号化信号を出力するとともに、該画像
復号化信号に基づいて、復号化処理の対象となる対象単
位領域に対応する予測画像復号化信号を所定の動き補償
方法に基づく演算により生成する信号生成処理を、所要
の単位領域に対して行い、この際、上記画像符号化信号
の復号化処理における演算負荷の大きさを検出し、該検
出した演算負荷の大きさに応じて、上記信号生成処理に
おける動き補償方法を切り替える画像復号化処理を、コ
ンピュータが行うよう、上記プログラムを構成したもの
である。
【００４４】
【発明の実施の形態】以下、本発明の実施の形態につい
て図１から図１１を用いて説明する。 実施の形態１．図１は本発明の実施の形態１による画像
処理装置である画像符号化装置を説明するためのブロッ
ク図である。この実施の形態１の画像符号化装置１００
は、画像入力信号として、ＭＰＥＧ１，２に準拠した１
フレームに対応する画像信号だけでなく、ＭＰＥＧ４に
準拠した１オブジェクト領域に対応する画像信号も処理
可能な構成となっているが、いずれの画像信号について
も基本的な処理は同一であるため、具体的な説明は、１
フレームの画像信号の処理についてのみ行う。なお、Ｍ
ＰＥＧ４の場合は、１フレームに対応する画像信号の符
号化処理と同様に、個々のオブジェクト領域に対応する
画像信号の符号化処理が行われ、これらが合成されて１
つのビットストリームとして出力される。
て図１から図１１を用いて説明する。 実施の形態１．図１は本発明の実施の形態１による画像
処理装置である画像符号化装置を説明するためのブロッ
ク図である。この実施の形態１の画像符号化装置１００
は、画像入力信号として、ＭＰＥＧ１，２に準拠した１
フレームに対応する画像信号だけでなく、ＭＰＥＧ４に
準拠した１オブジェクト領域に対応する画像信号も処理
可能な構成となっているが、いずれの画像信号について
も基本的な処理は同一であるため、具体的な説明は、１
フレームの画像信号の処理についてのみ行う。なお、Ｍ
ＰＥＧ４の場合は、１フレームに対応する画像信号の符
号化処理と同様に、個々のオブジェクト領域に対応する
画像信号の符号化処理が行われ、これらが合成されて１
つのビットストリームとして出力される。
【００４５】以下詳しく説明すると、上記画像符号化装
置１００は、画像入力信号Ｓｇを受け、該画像入力信号
Ｓｇを、符号化処理の単位となるブロックに対応するよ
う分割して画像信号（以下、ブロック化画像信号ともい
う。）Ｂｇを出力するブロック化器１０１と、該ブロッ
ク化器１０１の出力Ｂｇに基づいて、符号化処理の対象
となる対象ブロックについて、どのようなモードの符号
化処理を施すかを判定して、この判定結果に応じた制御
信号Ｃｓ１，Ｃｓ２を出力するモード判定器１０５と、
該対象ブロックに対応するブロック化画像信号Ｂｇを予
測して、上記対象ブロックに対応する予測信号（予測画
像入力信号）Ｐｇ１を所定の予測方法に基づく演算処理
により生成する予測信号生成部（予測処理部）１１０と
を有している。
置１００は、画像入力信号Ｓｇを受け、該画像入力信号
Ｓｇを、符号化処理の単位となるブロックに対応するよ
う分割して画像信号（以下、ブロック化画像信号ともい
う。）Ｂｇを出力するブロック化器１０１と、該ブロッ
ク化器１０１の出力Ｂｇに基づいて、符号化処理の対象
となる対象ブロックについて、どのようなモードの符号
化処理を施すかを判定して、この判定結果に応じた制御
信号Ｃｓ１，Ｃｓ２を出力するモード判定器１０５と、
該対象ブロックに対応するブロック化画像信号Ｂｇを予
測して、上記対象ブロックに対応する予測信号（予測画
像入力信号）Ｐｇ１を所定の予測方法に基づく演算処理
により生成する予測信号生成部（予測処理部）１１０と
を有している。
【００４６】また、上記画像符号化装置１００は、上記
対象ブロックの画像信号Ｂｇとその予測信号Ｐｇ１との
差分を差分信号Ｂｇｄとして出力する減算器１０６と、
上記モード判定器１０５からの制御信号Ｃｓ１に基づい
て、上記ブロック化器１０１の出力Ｂｇと減算器１０６
の出力Ｂｇｄの一方を選択する第１のスイッチ１０２
と、該スイッチ１０２の出力を情報圧縮して画像圧縮信
号Ｃｇを出力する情報圧縮器１０３と、該情報圧縮器１
０３の出力Ｃｇに対して可変長符号化処理を施して画像
符号化信号Ｅｇを出力する可変長符号化器（ＶＬＣ）１
０４とを有している。
対象ブロックの画像信号Ｂｇとその予測信号Ｐｇ１との
差分を差分信号Ｂｇｄとして出力する減算器１０６と、
上記モード判定器１０５からの制御信号Ｃｓ１に基づい
て、上記ブロック化器１０１の出力Ｂｇと減算器１０６
の出力Ｂｇｄの一方を選択する第１のスイッチ１０２
と、該スイッチ１０２の出力を情報圧縮して画像圧縮信
号Ｃｇを出力する情報圧縮器１０３と、該情報圧縮器１
０３の出力Ｃｇに対して可変長符号化処理を施して画像
符号化信号Ｅｇを出力する可変長符号化器（ＶＬＣ）１
０４とを有している。
【００４７】ここで、上記情報圧縮器１０３は、対象ブ
ロックの画像信号Ｂｇあるいは差分信号Ｂｇｄに対し
て、周波数変換処理の一種であるＤＣＴ（離散コサイン
変換）処理を施すＤＣＴ変換器と、該周波数変換により
得られる周波数成分（ＤＣＴ係数）を量子化して量子化
係数を上記画像圧縮信号Ｃｇとして出力する量子化器と
から構成されている。なお、上記スイッチ１０２は、上
記モード判定器１０５での判定の結果、対象ブロックの
画像信号に対して画面内相関を利用したフレーム内符号
化処理を施す場合には、ブロック化器１０１の出力Ｂｇ
を選択し、上記判定の結果、対象ブロックの画像信号に
対して画面間相関を利用したフレーム間符号化処理を施
す場合には、減算器１０６の出力Ｂｇｄを選択するよう
制御される。
ロックの画像信号Ｂｇあるいは差分信号Ｂｇｄに対し
て、周波数変換処理の一種であるＤＣＴ（離散コサイン
変換）処理を施すＤＣＴ変換器と、該周波数変換により
得られる周波数成分（ＤＣＴ係数）を量子化して量子化
係数を上記画像圧縮信号Ｃｇとして出力する量子化器と
から構成されている。なお、上記スイッチ１０２は、上
記モード判定器１０５での判定の結果、対象ブロックの
画像信号に対して画面内相関を利用したフレーム内符号
化処理を施す場合には、ブロック化器１０１の出力Ｂｇ
を選択し、上記判定の結果、対象ブロックの画像信号に
対して画面間相関を利用したフレーム間符号化処理を施
す場合には、減算器１０６の出力Ｂｇｄを選択するよう
制御される。
【００４８】また、上記予測信号生成部１１０は、上記
情報圧縮器１０３の出力Ｃｇを情報伸長して上記画像信
号Ｂｇあるいは差分信号Ｂｇｄを画像伸長信号ＬＤとし
て出力する情報伸長器（ＤＥＣ）１１２と、該画像伸長
信号ＬＤが該情報伸長された画像信号Ｂｇである場合こ
れをそのまま出力し、該画像伸長信号ＬＤが上記情報伸
長された差分信号Ｂｇｄである場合にはこれを予測信号
Ｐｇ１と加算して出力する加算処理部１１１とを有して
いる。
情報圧縮器１０３の出力Ｃｇを情報伸長して上記画像信
号Ｂｇあるいは差分信号Ｂｇｄを画像伸長信号ＬＤとし
て出力する情報伸長器（ＤＥＣ）１１２と、該画像伸長
信号ＬＤが該情報伸長された画像信号Ｂｇである場合こ
れをそのまま出力し、該画像伸長信号ＬＤが上記情報伸
長された差分信号Ｂｇｄである場合にはこれを予測信号
Ｐｇ１と加算して出力する加算処理部１１１とを有して
いる。
【００４９】ここで、上記情報伸長器１１２は、上記情
報圧縮器１０３の出力Ｃｇを逆量子化する逆量子化器
と、逆量子化された情報圧縮器の出力Ｃｇに対し、周波
数領域のデータを空間領域のデータに変換する逆ＤＣＴ
処理を施して上記画像伸長信号ＬＤを出力するＩＤＣＴ
器とから構成されている。また、上記加算処理部１１１
は、上記モード判定器１０５からの制御信号Ｃｓ２によ
り切替制御される第２のスイッチ１１１ａと、該スイッ
チ１１１ａの出力と上記情報伸長器１１２の出力ＬＤと
を加算する加算器１１１ｂとから構成されている。な
お、上記スイッチ１１１ａは、上記モード判定器１０５
での判定の結果、対象ブロックの画像信号をフレーム内
符号化する場合には、開放された入力端子Ｔ１を選択
し、上記判定の結果、対象ブロックの画像信号をフレー
ム間符号化する場合には、予測信号が入力される入力端
子Ｔ２を選択するよう制御される。
報圧縮器１０３の出力Ｃｇを逆量子化する逆量子化器
と、逆量子化された情報圧縮器の出力Ｃｇに対し、周波
数領域のデータを空間領域のデータに変換する逆ＤＣＴ
処理を施して上記画像伸長信号ＬＤを出力するＩＤＣＴ
器とから構成されている。また、上記加算処理部１１１
は、上記モード判定器１０５からの制御信号Ｃｓ２によ
り切替制御される第２のスイッチ１１１ａと、該スイッ
チ１１１ａの出力と上記情報伸長器１１２の出力ＬＤと
を加算する加算器１１１ｂとから構成されている。な
お、上記スイッチ１１１ａは、上記モード判定器１０５
での判定の結果、対象ブロックの画像信号をフレーム内
符号化する場合には、開放された入力端子Ｔ１を選択
し、上記判定の結果、対象ブロックの画像信号をフレー
ム間符号化する場合には、予測信号が入力される入力端
子Ｔ２を選択するよう制御される。
【００５０】また、上記予測信号生成部１１０は、上記
加算器１１１ｂの出力ＬＲを被処理フレームの前のフレ
ーム（前フレーム）に対する画像再生信号として格納す
るフレームメモリ１１３と、上記加算器１１１ｂの出力
ＬＲを受け、１フレームに対する符号化処理における演
算負荷の大きさを判定する負荷判定器１１４と、上記負
荷判定器１１４から出力される演算負荷の大きさを示す
負荷信号Ｃｐに基づく演算により、対象ブロックの画像
信号Ｂｇに対する予測信号を求める演算処理部１２０と
を有している。
加算器１１１ｂの出力ＬＲを被処理フレームの前のフレ
ーム（前フレーム）に対する画像再生信号として格納す
るフレームメモリ１１３と、上記加算器１１１ｂの出力
ＬＲを受け、１フレームに対する符号化処理における演
算負荷の大きさを判定する負荷判定器１１４と、上記負
荷判定器１１４から出力される演算負荷の大きさを示す
負荷信号Ｃｐに基づく演算により、対象ブロックの画像
信号Ｂｇに対する予測信号を求める演算処理部１２０と
を有している。
【００５１】ここで、上記負荷判定器１１４は、例えば
演算負荷の大きさを示す負荷の指標Ｒを、単位時間（１
フレーム）当たりの符号化処理における演算量であらわ
し、本画像符号化装置１００の演算処理能力に対応した
演算負荷の閾値ＴＨを、０．５画素精度の動きベクトル
を用いたオーバーラップ動き補償処理に必要とされる単
位時間当たりの符号化処理における演算量とし、上記負
荷の指標Ｒと閾値ＴＨを比較して処理能力が十分である
か否かを動き補償処理を行う度に判定する構成となって
いる。なお、上記負荷判定器１１４の構成は、上記のも
のに限らず、例えば、上記負荷判定器１１４は、フレー
ムメモリ１１３などから１フレームの画像信号に対する
局所復号化処理が終了したタイミングのみを受け、この
タイミング間隔を演算量である負荷の指標Ｒに変換し、
この負荷の指標Ｒを上記演算負荷の閾値ＴＨと比較し
て、処理能力の判定を行う構成としてもよい。この場
合、加算器１１１ｂの出力ＬＲである局所復号化された
画像信号を、上記負荷判定器１１４に送る必要がなくな
り、該負荷判定器１１４へ送るデータ量を大きく削減す
ることができる。
演算負荷の大きさを示す負荷の指標Ｒを、単位時間（１
フレーム）当たりの符号化処理における演算量であらわ
し、本画像符号化装置１００の演算処理能力に対応した
演算負荷の閾値ＴＨを、０．５画素精度の動きベクトル
を用いたオーバーラップ動き補償処理に必要とされる単
位時間当たりの符号化処理における演算量とし、上記負
荷の指標Ｒと閾値ＴＨを比較して処理能力が十分である
か否かを動き補償処理を行う度に判定する構成となって
いる。なお、上記負荷判定器１１４の構成は、上記のも
のに限らず、例えば、上記負荷判定器１１４は、フレー
ムメモリ１１３などから１フレームの画像信号に対する
局所復号化処理が終了したタイミングのみを受け、この
タイミング間隔を演算量である負荷の指標Ｒに変換し、
この負荷の指標Ｒを上記演算負荷の閾値ＴＨと比較し
て、処理能力の判定を行う構成としてもよい。この場
合、加算器１１１ｂの出力ＬＲである局所復号化された
画像信号を、上記負荷判定器１１４に送る必要がなくな
り、該負荷判定器１１４へ送るデータ量を大きく削減す
ることができる。
【００５２】また、上記演算処理部１２０は、上記フレ
ームメモリ１１３の出力Ｒｇ１と対象ブロックの画像信
号Ｂｇとに基づいて、対象ブロックの画像信号Ｂｇとの
誤差が最も小さい画像信号を有する、前フレームにおけ
る上記対象ブロックと同一サイズの領域（予測領域）を
示す動き変位情報（動きベクトル）ＭＶを求めて出力す
る動き検出器（ＭＥ）１２１と、該動き検出器１２１か
らの動きベクトルＭＶに基づいて上記フレームメモリ１
１３のアドレスＡｄｄ１を発生し、該アドレスに対応す
るメモリ領域の画像信号に所要の演算処理を施して上記
予測信号Ｐｇ１を算出する動き補償器（ＭＣ）１２２と
を有している。
ームメモリ１１３の出力Ｒｇ１と対象ブロックの画像信
号Ｂｇとに基づいて、対象ブロックの画像信号Ｂｇとの
誤差が最も小さい画像信号を有する、前フレームにおけ
る上記対象ブロックと同一サイズの領域（予測領域）を
示す動き変位情報（動きベクトル）ＭＶを求めて出力す
る動き検出器（ＭＥ）１２１と、該動き検出器１２１か
らの動きベクトルＭＶに基づいて上記フレームメモリ１
１３のアドレスＡｄｄ１を発生し、該アドレスに対応す
るメモリ領域の画像信号に所要の演算処理を施して上記
予測信号Ｐｇ１を算出する動き補償器（ＭＣ）１２２と
を有している。
【００５３】そして、この実施の形態１では、上記動き
検出器１２１は、上記ブロック化器１０１の出力Ｂｇ及
びフレームメモリ１１３の出力Ｒｇ１を受け、上記負荷
信号Ｃｐに応じた演算処理により、精度の低い第１の動
きベクトル（１画素精度の動きベクトル）あるいは精度
の高い第２の動きベクトル（０．５画素精度の動きベク
トル）を求め、いずれかの動きベクトルを上記動き補償
器１２２に出力する構成となっている。つまり、上記動
き検出器１２１では、演算負荷が大きいときは、１画素
精度の動きベクトルを生成する第１の演算処理が行わ
れ、一方、演算負荷が小さいときは、該第１の演算処理
に加えて、該１画素精度の動きベクトルから、これより
精度の高い０．５画素精度の動きベクトルを求める第２
の演算処理が行われる。
検出器１２１は、上記ブロック化器１０１の出力Ｂｇ及
びフレームメモリ１１３の出力Ｒｇ１を受け、上記負荷
信号Ｃｐに応じた演算処理により、精度の低い第１の動
きベクトル（１画素精度の動きベクトル）あるいは精度
の高い第２の動きベクトル（０．５画素精度の動きベク
トル）を求め、いずれかの動きベクトルを上記動き補償
器１２２に出力する構成となっている。つまり、上記動
き検出器１２１では、演算負荷が大きいときは、１画素
精度の動きベクトルを生成する第１の演算処理が行わ
れ、一方、演算負荷が小さいときは、該第１の演算処理
に加えて、該１画素精度の動きベクトルから、これより
精度の高い０．５画素精度の動きベクトルを求める第２
の演算処理が行われる。
【００５４】また、この実施の形態１では、上記動き補
償器１２２は、上記負荷判定器１１４からの負荷判定出
力Ｃｐに基づいて、上記動き検出器１２１から出力され
る動きベクトルに基づいて予測信号を求める動き補償処
理を、通常の動き補償とオーバーラップ動き補償との間
で切り替える構成となっている。つまり、上記動き補償
器１２２では、演算負荷が大きいときは、演算処理量が
少ない通常の動き補償処理が行われ、一方、演算負荷が
小さいときは、演算処理量が多いが画質の向上を図るこ
とができるオーバーラップ動き補償処理が行われるよう
になっている。
償器１２２は、上記負荷判定器１１４からの負荷判定出
力Ｃｐに基づいて、上記動き検出器１２１から出力され
る動きベクトルに基づいて予測信号を求める動き補償処
理を、通常の動き補償とオーバーラップ動き補償との間
で切り替える構成となっている。つまり、上記動き補償
器１２２では、演算負荷が大きいときは、演算処理量が
少ない通常の動き補償処理が行われ、一方、演算負荷が
小さいときは、演算処理量が多いが画質の向上を図るこ
とができるオーバーラップ動き補償処理が行われるよう
になっている。
【００５５】次に動作について説明する。図２(a) は本
発明の実施の形態１による画像処理装置による画像信号
の符号化処理を説明するためのフローチャートを示す。
本画像符号化装置１００に画像入力信号Ｓｇが入力され
ると、ステップＳ０にて前処理が行われる。すなわち、
本画像符号化装置１００に入力された画像入力信号Ｓｇ
は、ブロック化器１０１にて、画像が表示される１画面
（フレーム）を区分する、所定サイズのブロック領域に
対応するようブロック化されて出力される。ここでは、
上記画像入力信号Ｓｇは、（８×８）個または（１６×
１６）個のサンプルからなる矩形形状のブロック領域に
対応するよう分割されるが、上記画像入力信号Ｓｇは、
任意の形状のブロック領域に対応するよう分割してもよ
い。
発明の実施の形態１による画像処理装置による画像信号
の符号化処理を説明するためのフローチャートを示す。
本画像符号化装置１００に画像入力信号Ｓｇが入力され
ると、ステップＳ０にて前処理が行われる。すなわち、
本画像符号化装置１００に入力された画像入力信号Ｓｇ
は、ブロック化器１０１にて、画像が表示される１画面
（フレーム）を区分する、所定サイズのブロック領域に
対応するようブロック化されて出力される。ここでは、
上記画像入力信号Ｓｇは、（８×８）個または（１６×
１６）個のサンプルからなる矩形形状のブロック領域に
対応するよう分割されるが、上記画像入力信号Ｓｇは、
任意の形状のブロック領域に対応するよう分割してもよ
い。
【００５６】そして、上記モード判定器１０５では、各
ブロックの画像信号（ブロック化画像信号）Ｂｇに基づ
いて、符号化処理モードの判定，例えば画面内相関を利
用した画面内符号化処理、画面間相関を利用した画面間
符号化処理などのいずれの符号化処理を施すかの判定が
行われ、判定結果に対応した信号を制御信号Ｃｓ１，Ｃ
ｓ２として出力する。
ブロックの画像信号（ブロック化画像信号）Ｂｇに基づ
いて、符号化処理モードの判定，例えば画面内相関を利
用した画面内符号化処理、画面間相関を利用した画面間
符号化処理などのいずれの符号化処理を施すかの判定が
行われ、判定結果に対応した信号を制御信号Ｃｓ１，Ｃ
ｓ２として出力する。
【００５７】次に、ステップＳ１にて予測信号の生成処
理が行われる。つまり、上記予測信号生成部１１０の情
報伸長器１１２では、画像圧縮信号Ｃｇに対する伸長処
理が行われ、画像伸長信号ＬＤが出力される。そして、
フレーム間符号化処理を行う場合、この画像伸長信号Ｌ
Ｄは上記加算器１１１ｂにて上記予測信号Ｐｇ１と加算
され、該加算器１１１ｂからは画像再生信号ＬＲが上記
フレームメモリ１１３及び負荷判定器１１４に出力され
る。なお、フレーム内符号化処理を行う場合は、予測処
理は行われない。
理が行われる。つまり、上記予測信号生成部１１０の情
報伸長器１１２では、画像圧縮信号Ｃｇに対する伸長処
理が行われ、画像伸長信号ＬＤが出力される。そして、
フレーム間符号化処理を行う場合、この画像伸長信号Ｌ
Ｄは上記加算器１１１ｂにて上記予測信号Ｐｇ１と加算
され、該加算器１１１ｂからは画像再生信号ＬＲが上記
フレームメモリ１１３及び負荷判定器１１４に出力され
る。なお、フレーム内符号化処理を行う場合は、予測処
理は行われない。
【００５８】また、上記予測信号生成部１１０の演算処
理部１２０には、上記対象ブロックの画像信号Ｂｇが入
力されると同時に、フレームメモリ１１３からは伸長画
像信号ＬＤが、符号化処理がすでに施された前フレーム
の画像信号として供給される。この演算処理部１２０で
は、上記負荷判定器１１４の判定出力Ｃｐに基づいて、
予測信号を算出するための演算処理が行われる。具体的
には、上記対象ブロックの画像信号Ｂｇが動き検出器１
２１に入力されると同時に、フレームメモリ１１３から
画像再生信号Ｒｇ１が前フレームの画像信号として動き
検出器１２１に読み出される。
理部１２０には、上記対象ブロックの画像信号Ｂｇが入
力されると同時に、フレームメモリ１１３からは伸長画
像信号ＬＤが、符号化処理がすでに施された前フレーム
の画像信号として供給される。この演算処理部１２０で
は、上記負荷判定器１１４の判定出力Ｃｐに基づいて、
予測信号を算出するための演算処理が行われる。具体的
には、上記対象ブロックの画像信号Ｂｇが動き検出器１
２１に入力されると同時に、フレームメモリ１１３から
画像再生信号Ｒｇ１が前フレームの画像信号として動き
検出器１２１に読み出される。
【００５９】この動き検出器１２１では、ブロックマッ
チングなどの方法により、対象ブロックの画像信号Ｂｇ
に対し誤差の最も小さい画像信号を有する、前フレーム
における領域が予測領域として検出され、該予測領域の
位置を、被処理フレーム（現フレーム）における対象ブ
ロックと同じ位置の前フレームにおける同位置ブロック
を基準として示す動き変位情報（動きベクトル）ＭＶが
出力される。この動きベクトルＭＶは動き補償器１２２
に送られ、該動き補償器１２２では、前フレームの予測
領域に対応する画像信号から予測信号が生成される。な
お、このとき上記対象ブロックに対する動きベクトルＭ
Ｖは可変長符号化器１０４に供給され、対応する可変長
符号に変換される。ここでは、上記動き検出器１２１に
よる動きベクトルの検出、及び動き補償器１２２による
予測信号の算出は、上記負荷判定器１０４からの負荷判
定出力Ｃｐに基づいて行われる。
チングなどの方法により、対象ブロックの画像信号Ｂｇ
に対し誤差の最も小さい画像信号を有する、前フレーム
における領域が予測領域として検出され、該予測領域の
位置を、被処理フレーム（現フレーム）における対象ブ
ロックと同じ位置の前フレームにおける同位置ブロック
を基準として示す動き変位情報（動きベクトル）ＭＶが
出力される。この動きベクトルＭＶは動き補償器１２２
に送られ、該動き補償器１２２では、前フレームの予測
領域に対応する画像信号から予測信号が生成される。な
お、このとき上記対象ブロックに対する動きベクトルＭ
Ｖは可変長符号化器１０４に供給され、対応する可変長
符号に変換される。ここでは、上記動き検出器１２１に
よる動きベクトルの検出、及び動き補償器１２２による
予測信号の算出は、上記負荷判定器１０４からの負荷判
定出力Ｃｐに基づいて行われる。
【００６０】以下詳述すると、図２(b) は上記予測信号
の生成処理の流れをフローチャートにより示している。
図２(b) に示すように、負荷判定ステップＳ１１では、
負荷判定器１１４により、その時点での演算負荷の大き
さを表す負荷指標Ｒの判定が行われる。
の生成処理の流れをフローチャートにより示している。
図２(b) に示すように、負荷判定ステップＳ１１では、
負荷判定器１１４により、その時点での演算負荷の大き
さを表す負荷指標Ｒの判定が行われる。
【００６１】この判定の結果、上記負荷指標Ｒが本画像
符号化装置の演算処理能力から決まる閾値ＴＨより小さ
い場合は、ステップＳ１２にて、演算処理量は大きいが
符号化効率を改善できる予測信号の生成処理が行われ
る。つまり、上記動き検出器１２１では、まず１画素精
度の動きベクトルが求められ、さらにこの動きベクトル
に基づいて０．５画素精度の動きベクトルが求められ、
この０．５画素精度の動きベクトルが上記動き補償器１
２２に出力される。また、該動き補償器１２２では、上
記０．５画素動きベクトルに基づいて、複数の予測領域
に対応する画像信号を、画素毎に設定されている所定の
重み付け比率でもって合成して予測信号を生成するオー
バーラップ動き補償が行われる。
符号化装置の演算処理能力から決まる閾値ＴＨより小さ
い場合は、ステップＳ１２にて、演算処理量は大きいが
符号化効率を改善できる予測信号の生成処理が行われ
る。つまり、上記動き検出器１２１では、まず１画素精
度の動きベクトルが求められ、さらにこの動きベクトル
に基づいて０．５画素精度の動きベクトルが求められ、
この０．５画素精度の動きベクトルが上記動き補償器１
２２に出力される。また、該動き補償器１２２では、上
記０．５画素動きベクトルに基づいて、複数の予測領域
に対応する画像信号を、画素毎に設定されている所定の
重み付け比率でもって合成して予測信号を生成するオー
バーラップ動き補償が行われる。
【００６２】一方、上記負荷判定の結果、負荷指標Ｒが
上記閾値ＴＨに比べて大きい場合は、ステップＳ１３に
て、演算負荷を削減した演算処理量の少ない予測信号の
生成処理が行われる。つまり、上記動き検出器１２１で
は、０．５画素精度の動きベクトルを求める処理が省略
され、１画素精度の動きベクトルが上記動き補償器１２
２に出力され、上記動き補償器１２２では、この１画素
精度の動きベクトルに基づいて、１つの予測領域に対応
する画像信号を予測信号として出力する通常の動き補償
処理が行われる。その後、ステップＳ２にて、対象ブロ
ックの画像信号Ｂｇあるいは差分信号Ｂｇｄに対する圧
縮符号化処理が行われる。
上記閾値ＴＨに比べて大きい場合は、ステップＳ１３に
て、演算負荷を削減した演算処理量の少ない予測信号の
生成処理が行われる。つまり、上記動き検出器１２１で
は、０．５画素精度の動きベクトルを求める処理が省略
され、１画素精度の動きベクトルが上記動き補償器１２
２に出力され、上記動き補償器１２２では、この１画素
精度の動きベクトルに基づいて、１つの予測領域に対応
する画像信号を予測信号として出力する通常の動き補償
処理が行われる。その後、ステップＳ２にて、対象ブロ
ックの画像信号Ｂｇあるいは差分信号Ｂｇｄに対する圧
縮符号化処理が行われる。
【００６３】すなわち、上記モード判定器１０５の出力
Ｃｓ１に基づいて、上記第１のスイッチ１０２が切替制
御される。ブロック化画像信号Ｂｇが画面内符号化モー
ドで符号化される場合は、該画像信号Ｂｇは該スイッチ
１０２を介して情報圧縮器１０３に出力される。この情
報圧縮器１０３における圧縮処理は、ＤＣＴ器による周
波数変換および量子化器による量子化によって行われる
が、上記圧縮処理には、サブバンド変換やベクトル量子
化などの方法を用いてもよい。ここでは、量子化された
画像信号Ｃｇが可変長符号化器１０４に供給されて可変
長符号化される。
Ｃｓ１に基づいて、上記第１のスイッチ１０２が切替制
御される。ブロック化画像信号Ｂｇが画面内符号化モー
ドで符号化される場合は、該画像信号Ｂｇは該スイッチ
１０２を介して情報圧縮器１０３に出力される。この情
報圧縮器１０３における圧縮処理は、ＤＣＴ器による周
波数変換および量子化器による量子化によって行われる
が、上記圧縮処理には、サブバンド変換やベクトル量子
化などの方法を用いてもよい。ここでは、量子化された
画像信号Ｃｇが可変長符号化器１０４に供給されて可変
長符号化される。
【００６４】一方、ブロック化画像信号Ｂｇが画面間符
号化モードで符号化される場合は、該画像信号Ｂｇから
予測信号Ｐｇ１を引き算する減算器１０６の出力（差分
信号）Ｂｇｄが、該スイッチ１０２を介して情報圧縮器
１０３に出力される。この情報圧縮器１０３における上
記差分信号Ｂｇｄの圧縮処理は、上記画像信号Ｂｇと同
様に行われる。
号化モードで符号化される場合は、該画像信号Ｂｇから
予測信号Ｐｇ１を引き算する減算器１０６の出力（差分
信号）Ｂｇｄが、該スイッチ１０２を介して情報圧縮器
１０３に出力される。この情報圧縮器１０３における上
記差分信号Ｂｇｄの圧縮処理は、上記画像信号Ｂｇと同
様に行われる。
【００６５】このように本実施の形態１では、負荷判定
器１１４により符号化処理における演算負荷の大きさ
（指標）Ｒを判定し、演算負荷の指標Ｒが本画像符号化
装置１００の演算処理能力に対応した閾値ＴＨに比べて
小さい場合は、演算処理量が大きいが符号化効率のよい
予測信号の生成処理を行い、一方、演算負荷の指標Ｒが
上記演算処理能力に対応した閾値ＴＨに比べて大きい場
合は、上記予測信号の生成処理に比べて演算処理量の少
ない通常の予測信号の生成処理を行うようにしたので、
符号化効率のよい予測信号生成処理を、復号化側にて実
時間処理により再生される映像への、演算処理能力の不
足に起因する悪影響を抑えつつ行うことができ、これに
より符号化効率がよく、しかも再生画像の画質劣化を低
減した符号化処理を実現することができる。
器１１４により符号化処理における演算負荷の大きさ
（指標）Ｒを判定し、演算負荷の指標Ｒが本画像符号化
装置１００の演算処理能力に対応した閾値ＴＨに比べて
小さい場合は、演算処理量が大きいが符号化効率のよい
予測信号の生成処理を行い、一方、演算負荷の指標Ｒが
上記演算処理能力に対応した閾値ＴＨに比べて大きい場
合は、上記予測信号の生成処理に比べて演算処理量の少
ない通常の予測信号の生成処理を行うようにしたので、
符号化効率のよい予測信号生成処理を、復号化側にて実
時間処理により再生される映像への、演算処理能力の不
足に起因する悪影響を抑えつつ行うことができ、これに
より符号化効率がよく、しかも再生画像の画質劣化を低
減した符号化処理を実現することができる。
【００６６】例えば、オーバーラップ動き補償に代えて
通常の動き補償を行った場合、画像符号化装置の中央演
算処理装置に対して入出力される画素値としてのデータ
量が１／３に削減されることとなり、また、オーバーラ
ップ動き補償での重み付け処理における乗算処理や周辺
ブロックの動きベクトルに基づくアドレスの発生処理等
の演算処理が削減される。
通常の動き補償を行った場合、画像符号化装置の中央演
算処理装置に対して入出力される画素値としてのデータ
量が１／３に削減されることとなり、また、オーバーラ
ップ動き補償での重み付け処理における乗算処理や周辺
ブロックの動きベクトルに基づくアドレスの発生処理等
の演算処理が削減される。
【００６７】なお、上記実施の形態１では、上記負荷の
指標Ｒを符号化処理における演算量としているが、上記
負荷の指標Ｒは、予め定めた演算を処理するのに必要な
時間としてもよい。
指標Ｒを符号化処理における演算量としているが、上記
負荷の指標Ｒは、予め定めた演算を処理するのに必要な
時間としてもよい。
【００６８】また、上記実施の形態１では、負荷の判定
を個々のブロックに対応した動き予測処理（動きベクト
ルの検出）を行う度に実施する場合について示したが、
負荷の判定は必ずしも動きベクトルの検出を行う毎に実
施する必要はなく、例えば、負荷の判定は、符号化処理
の開始時に一度実施して、以降は同じ判定結果を用いる
ようにしてもよく、また、フレーム毎に周期的に行うよ
うにしてもよい。
を個々のブロックに対応した動き予測処理（動きベクト
ルの検出）を行う度に実施する場合について示したが、
負荷の判定は必ずしも動きベクトルの検出を行う毎に実
施する必要はなく、例えば、負荷の判定は、符号化処理
の開始時に一度実施して、以降は同じ判定結果を用いる
ようにしてもよく、また、フレーム毎に周期的に行うよ
うにしてもよい。
【００６９】さらに、上記実施の形態１では、演算負荷
の大きさに応じて、動き検出器１２１及び動き補償器１
２２の両方にて、演算処理を切り替える構成としている
が、演算負荷に応じた演算処理の切替は、動き検出器１
２１及び動き補償器１２２のいずれか一方で行うように
してもよい。例えば、動き検出器１２１における画素精
度の切替，つまり１画素精度の動きベクトルと０．５画
素精度の動きベクトルの両方を生成する処理と、１画素
精度の動きベクトルのみ生成する処理とを切り換える処
理のみ行うようにしてもよく、あるいは動き補償器１２
２における通常の動き補償処理とオーバーラップ動き補
償との切替のみ行うようにしてもよい。さらには、動き
補償器１２２における通常の動き補償処理として、画素
精度が異なる動きベクトルに基づく複数の動き補償処理
のうちの１つを選択して行うようにしてもよい。
の大きさに応じて、動き検出器１２１及び動き補償器１
２２の両方にて、演算処理を切り替える構成としている
が、演算負荷に応じた演算処理の切替は、動き検出器１
２１及び動き補償器１２２のいずれか一方で行うように
してもよい。例えば、動き検出器１２１における画素精
度の切替，つまり１画素精度の動きベクトルと０．５画
素精度の動きベクトルの両方を生成する処理と、１画素
精度の動きベクトルのみ生成する処理とを切り換える処
理のみ行うようにしてもよく、あるいは動き補償器１２
２における通常の動き補償処理とオーバーラップ動き補
償との切替のみ行うようにしてもよい。さらには、動き
補償器１２２における通常の動き補償処理として、画素
精度が異なる動きベクトルに基づく複数の動き補償処理
のうちの１つを選択して行うようにしてもよい。
【００７０】また、上記実施の形態１では、動きベクト
ルの生成処理は階層的な演算処理により実現しており、
つまり０．５画素精度の動きベクトルの生成処理は、１
画素精度の動きベクトルを生成する基本的な第１の演算
処理に加えて付加的な第２の演算処理を行うことにより
実現しており、画素精度の切り替えは、上記付加的な演
算処理を行うか否かにより行われているが、動きベクト
ルの生成処理は上記のような階層的な演算処理により実
現されるものに限らない。例えば、動きベクトルの生成
を行うモジュールとして、１画素精度の動きベクトルを
生成するための演算処理を行う第１のモジュールと、
０．５画素精度の動きベクトルを生成するための演算処
理を行う第２のモジュールとを備え、これらのモジュー
ルを切り替えることにより、画素精度の切り替えを行う
ようにしてもよい。
ルの生成処理は階層的な演算処理により実現しており、
つまり０．５画素精度の動きベクトルの生成処理は、１
画素精度の動きベクトルを生成する基本的な第１の演算
処理に加えて付加的な第２の演算処理を行うことにより
実現しており、画素精度の切り替えは、上記付加的な演
算処理を行うか否かにより行われているが、動きベクト
ルの生成処理は上記のような階層的な演算処理により実
現されるものに限らない。例えば、動きベクトルの生成
を行うモジュールとして、１画素精度の動きベクトルを
生成するための演算処理を行う第１のモジュールと、
０．５画素精度の動きベクトルを生成するための演算処
理を行う第２のモジュールとを備え、これらのモジュー
ルを切り替えることにより、画素精度の切り替えを行う
ようにしてもよい。
【００７１】さらに、画素精度の切替は、０．５画素精
度と１画素精度の切替に限るものではなく、０．５画素
精度と２画素精度の切替、あるいは１画素精度と２画素
精度の切替であってもよく、さらには、０．５画素精
度，１画素精度，及び２画素精度のうちの１つを演算負
荷に応じて選択するものであってもよい。また、画素精
度としては、上記のものに限らず、０．２５画素精度や
０．１２５画素精度といった非常に精度の高いものも用
いることが可能である。
度と１画素精度の切替に限るものではなく、０．５画素
精度と２画素精度の切替、あるいは１画素精度と２画素
精度の切替であってもよく、さらには、０．５画素精
度，１画素精度，及び２画素精度のうちの１つを演算負
荷に応じて選択するものであってもよい。また、画素精
度としては、上記のものに限らず、０．２５画素精度や
０．１２５画素精度といった非常に精度の高いものも用
いることが可能である。
【００７２】またさらに、上記実施の形態１では、負荷
指標が閾値より大きいときには、０．５画素精度の動き
ベクトルの生成処理を省略し、かつオーバーラップ動き
補償を通常の動き補償に変更するものを例に挙げたが、
予測方法（予測信号の生成処理）を演算処理量の少ない
予測方法に変更する仕方は、双方向予測やインターレー
ス予測を順方向予測やフレーム予測に変更するものであ
ってもよい。
指標が閾値より大きいときには、０．５画素精度の動き
ベクトルの生成処理を省略し、かつオーバーラップ動き
補償を通常の動き補償に変更するものを例に挙げたが、
予測方法（予測信号の生成処理）を演算処理量の少ない
予測方法に変更する仕方は、双方向予測やインターレー
ス予測を順方向予測やフレーム予測に変更するものであ
ってもよい。
【００７３】また、処理のプロセスが同一であるオーバ
ーラップ動き補償であっても、実装方法の異なる場合、
処理速度が異なったものとなるので、オーバーラップ動
き補償処理を、実装方法の異なるものの間で切り替える
ようにしてもよい。個々の実装方法は、ＣＰＵによるど
のような処理対象（メモリとのアクセスや加減算等の演
算）に対して最適化されているかによって異なってお
り、例えば、メモリとのアクセスに対して最適化された
実装方法と、演算処理に対して最適化された実装方法と
は異なる実装方法である。
ーラップ動き補償であっても、実装方法の異なる場合、
処理速度が異なったものとなるので、オーバーラップ動
き補償処理を、実装方法の異なるものの間で切り替える
ようにしてもよい。個々の実装方法は、ＣＰＵによるど
のような処理対象（メモリとのアクセスや加減算等の演
算）に対して最適化されているかによって異なってお
り、例えば、メモリとのアクセスに対して最適化された
実装方法と、演算処理に対して最適化された実装方法と
は異なる実装方法である。
【００７４】具体的には、オーバーラップ動き補償を行
うためのソフトウエアにおけるメモリ空間に、画像デー
タを格納するための複数のデータメモリを実装した第１
の実装方法と、これよりデータメモリの数の少ない第２
の実装方法との間で、処理を切り替えて行うようにでき
る。この場合、第１の実装方法では、第２の実装方法に
比べて、処理プロセスで使用するメモリ空間が小さいた
め、処理速度が落ちる反面、データメモリとの間でのデ
ータアクセスは高速で行うことができ、オーバーラップ
動き補償処理の状況によって、上記第１，第２の実装方
法を使い分けることは、動き補償処理全体としての処理
速度の向上につながる。
うためのソフトウエアにおけるメモリ空間に、画像デー
タを格納するための複数のデータメモリを実装した第１
の実装方法と、これよりデータメモリの数の少ない第２
の実装方法との間で、処理を切り替えて行うようにでき
る。この場合、第１の実装方法では、第２の実装方法に
比べて、処理プロセスで使用するメモリ空間が小さいた
め、処理速度が落ちる反面、データメモリとの間でのデ
ータアクセスは高速で行うことができ、オーバーラップ
動き補償処理の状況によって、上記第１，第２の実装方
法を使い分けることは、動き補償処理全体としての処理
速度の向上につながる。
【００７５】また、上記実施の形態１における演算負荷
の削減は、符号化処理における演算精度を落とすことに
よる演算の高速化によっても可能であり、また、メモリ
の個数やＣＰＵに対してアクセスされるデータ量に演算
速度が依存した高速な演算アルゴリズムを実装すること
による演算の高速化によっても負荷の削減が可能であ
り、演算精度や演算アルゴリズムの切替により、予測信
号の生成処理における演算負荷を変更することも可能で
ある。
の削減は、符号化処理における演算精度を落とすことに
よる演算の高速化によっても可能であり、また、メモリ
の個数やＣＰＵに対してアクセスされるデータ量に演算
速度が依存した高速な演算アルゴリズムを実装すること
による演算の高速化によっても負荷の削減が可能であ
り、演算精度や演算アルゴリズムの切替により、予測信
号の生成処理における演算負荷を変更することも可能で
ある。
【００７６】さらに、上記動き検出器あるいは動き補償
器での処理の切替は、実施の形態１のように演算処理量
の多い処理と演算処理量の少ない処理の一方を選択する
ものに限らず、演算処理量の異なる３つ以上の複数の演
算処理のうちの１つを選択するようにしてもよく、以下
このような構成例を実施の形態１の変形例１として説明
する。
器での処理の切替は、実施の形態１のように演算処理量
の多い処理と演算処理量の少ない処理の一方を選択する
ものに限らず、演算処理量の異なる３つ以上の複数の演
算処理のうちの１つを選択するようにしてもよく、以下
このような構成例を実施の形態１の変形例１として説明
する。
【００７７】実施の形態１の変形例１．この実施の形態
１の変形例１は、演算処理部１２０を、動き検出器１２
１では、演算負荷の大きさに応じて演算処理量の異なる
３つ以上の複数の演算処理のうちの１つが選択され、動
き補償器１２２では、演算負荷の大きさに拘わらず、演
算処理の切替が行われないよう構成したものである。
１の変形例１は、演算処理部１２０を、動き検出器１２
１では、演算負荷の大きさに応じて演算処理量の異なる
３つ以上の複数の演算処理のうちの１つが選択され、動
き補償器１２２では、演算負荷の大きさに拘わらず、演
算処理の切替が行われないよう構成したものである。
【００７８】簡単に説明すると、この変形例では、上記
負荷判定器１１４を、演算負荷の指標としての第１閾値
ＴＨ１とこれより大きい第２閾値ＴＨ２に基づいて、演
算負荷が上記第１閾値ＴＨ１以下の値であるか、該両閾
値の間の値であるか、第２閾値ＴＨ２以上の値であるか
を判定する構成としている。また、上記動き検出器１２
１を、上記負荷判定器１１４での判定結果に基づいて、
対象ブロックに対する予測領域を示す動き変位情報とし
て、精度の低い２画素精度の動きベクトル、精度の高い
０．５画素精度の動きベクトル，及び中間的な精度の１
画素精度の動きベクトルのうちのいずれかの動きベクト
ルを生成する構成としている。さらに、動き補償器１２
２を、演算負荷の大きさに拘わらず１画素精度の動きベ
クトルによる通常の動き補償処理が行われるよう構成と
している。
負荷判定器１１４を、演算負荷の指標としての第１閾値
ＴＨ１とこれより大きい第２閾値ＴＨ２に基づいて、演
算負荷が上記第１閾値ＴＨ１以下の値であるか、該両閾
値の間の値であるか、第２閾値ＴＨ２以上の値であるか
を判定する構成としている。また、上記動き検出器１２
１を、上記負荷判定器１１４での判定結果に基づいて、
対象ブロックに対する予測領域を示す動き変位情報とし
て、精度の低い２画素精度の動きベクトル、精度の高い
０．５画素精度の動きベクトル，及び中間的な精度の１
画素精度の動きベクトルのうちのいずれかの動きベクト
ルを生成する構成としている。さらに、動き補償器１２
２を、演算負荷の大きさに拘わらず１画素精度の動きベ
クトルによる通常の動き補償処理が行われるよう構成と
している。
【００７９】次に動作について簡単に説明する。図３
(a) は上記実施の形態１の変形例１における演算処理部
での処理のフローを示している。この実施の形態１の変
形例１では、上記動き検出器１２１による動きベクトル
の検出が上記負荷判定器１０４からの負荷判定出力Ｃｐ
に基づいて行われ、かつ動き補償器１２２による予測信
号の算出は、該負荷判定出力Ｃｐに拘わらず所定の方法
（動き補償方法）により行われる。
(a) は上記実施の形態１の変形例１における演算処理部
での処理のフローを示している。この実施の形態１の変
形例１では、上記動き検出器１２１による動きベクトル
の検出が上記負荷判定器１０４からの負荷判定出力Ｃｐ
に基づいて行われ、かつ動き補償器１２２による予測信
号の算出は、該負荷判定出力Ｃｐに拘わらず所定の方法
（動き補償方法）により行われる。
【００８０】以下詳述すると、図３(a) に示すように、
負荷判定ステップＳ１１ａでは、負荷判定器１１４によ
り、その時点での演算負荷の大きさを表す負荷指標Ｒが
第１閾値ＴＨ１より小さいか否かの判定が行われる。こ
の判定の結果、上記負荷指標Ｒが本画像符号化装置の演
算処理能力に基づいて決まる第１閾値ＴＨ１より小さい
場合は、上記動き検出器１２１では、０．５画素精度の
動きベクトルが生成される（ステップＳ１３ａ）。一
方、負荷判定ステップＳ１１ａでの判定の結果、上記負
荷指標Ｒが第１閾値ＴＨ１以上である場合は、ステップ
Ｓ１２ａにて、上記負荷指標Ｒが本画像符号化装置の演
算処理能力に基づいて決まる第２閾値ＴＨ２より大きい
か否かの判定が行われる。
負荷判定ステップＳ１１ａでは、負荷判定器１１４によ
り、その時点での演算負荷の大きさを表す負荷指標Ｒが
第１閾値ＴＨ１より小さいか否かの判定が行われる。こ
の判定の結果、上記負荷指標Ｒが本画像符号化装置の演
算処理能力に基づいて決まる第１閾値ＴＨ１より小さい
場合は、上記動き検出器１２１では、０．５画素精度の
動きベクトルが生成される（ステップＳ１３ａ）。一
方、負荷判定ステップＳ１１ａでの判定の結果、上記負
荷指標Ｒが第１閾値ＴＨ１以上である場合は、ステップ
Ｓ１２ａにて、上記負荷指標Ｒが本画像符号化装置の演
算処理能力に基づいて決まる第２閾値ＴＨ２より大きい
か否かの判定が行われる。
【００８１】このステップＳ１２ａでの判定の結果、上
記負荷指標Ｒが第２閾値ＴＨ２より大きくない場合は、
上記動き検出器１２１では、１画素精度の動きベクトル
が生成され（ステップＳ１４ａ）、上記負荷指標Ｒが第
２閾値ＴＨ２より大きい場合は、上記動き検出器１２１
では、２画素精度の動きベクトルが生成される（ステッ
プＳ１５ａ）。
記負荷指標Ｒが第２閾値ＴＨ２より大きくない場合は、
上記動き検出器１２１では、１画素精度の動きベクトル
が生成され（ステップＳ１４ａ）、上記負荷指標Ｒが第
２閾値ＴＨ２より大きい場合は、上記動き検出器１２１
では、２画素精度の動きベクトルが生成される（ステッ
プＳ１５ａ）。
【００８２】そして、上記動き補償器１２２では、０．
５画素精度，１画素精度，２画素精度のいずれかの動き
ベクトルに基づいて、１つの予測領域に対応する画像信
号を予測信号として出力する所定の動き補償処理が行わ
れる。このような構成の実施の形態１の変形例１では、
実時間での上記信号生成処理に必要な演算処理能力に基
づいた演算負荷の第１，第２閾値と、上記検出した演算
負荷の大きさとの比較結果に基づいて、０．５画素精
度，１画素精度，２画素精度のうちから所定の画素精度
の動きベクトルを生成するようにしたので、符号化側で
の演算処理量の切替をきめ細かく行うことができる。
５画素精度，１画素精度，２画素精度のいずれかの動き
ベクトルに基づいて、１つの予測領域に対応する画像信
号を予測信号として出力する所定の動き補償処理が行わ
れる。このような構成の実施の形態１の変形例１では、
実時間での上記信号生成処理に必要な演算処理能力に基
づいた演算負荷の第１，第２閾値と、上記検出した演算
負荷の大きさとの比較結果に基づいて、０．５画素精
度，１画素精度，２画素精度のうちから所定の画素精度
の動きベクトルを生成するようにしたので、符号化側で
の演算処理量の切替をきめ細かく行うことができる。
【００８３】実施の形態１の変形例２．この実施の形態
１の変形例２は、演算処理部１２０を、動き検出器１２
１では、実施の形態１と同様、演算処理量の異なる２つ
の演算処理のうちの１つが選択され、動き補償器１２２
では、演算負荷の大きさに応じて、演算負荷量の異なる
４つの演算処理のうちの１つが選択されるよう構成した
ものである。
１の変形例２は、演算処理部１２０を、動き検出器１２
１では、実施の形態１と同様、演算処理量の異なる２つ
の演算処理のうちの１つが選択され、動き補償器１２２
では、演算負荷の大きさに応じて、演算負荷量の異なる
４つの演算処理のうちの１つが選択されるよう構成した
ものである。
【００８４】簡単に説明すると、この変形例２では、上
記負荷判定器１１４を、演算負荷の指標である第１，第
２，第３の閾値ＴＨｓ，ＴＨｍ，ＴＨｂ（ＴＨｓ＜ＴＨ
ｍ＜ＴＨｂ）に基づいて、演算負荷が上記第１の閾値よ
り小さい値であるか、該第１の閾値以上かつ第２の閾値
未満の値であるか、第２閾値以上かつ第３閾値未満の値
であるか、第３の閾値以上の値であるかを判定する構成
としている。
記負荷判定器１１４を、演算負荷の指標である第１，第
２，第３の閾値ＴＨｓ，ＴＨｍ，ＴＨｂ（ＴＨｓ＜ＴＨ
ｍ＜ＴＨｂ）に基づいて、演算負荷が上記第１の閾値よ
り小さい値であるか、該第１の閾値以上かつ第２の閾値
未満の値であるか、第２閾値以上かつ第３閾値未満の値
であるか、第３の閾値以上の値であるかを判定する構成
としている。
【００８５】また、上記動き検出器１２１は、上記負荷
判定器１１４での判定結果に基づいて、演算負荷が第３
閾値ＴＨｂ以上の値であるとき、対象ブロックに対する
予測領域を示す動き変位情報として、精度の低い１画素
精度の動きベクトルを生成し、演算負荷が第３閾値ＴＨ
ｂの値より小さいとき、対象ブロックに対する予測領域
を示す動き変位情報として、精度の高い０．５画素精度
の動きベクトルを生成する構成としている。
判定器１１４での判定結果に基づいて、演算負荷が第３
閾値ＴＨｂ以上の値であるとき、対象ブロックに対する
予測領域を示す動き変位情報として、精度の低い１画素
精度の動きベクトルを生成し、演算負荷が第３閾値ＴＨ
ｂの値より小さいとき、対象ブロックに対する予測領域
を示す動き変位情報として、精度の高い０．５画素精度
の動きベクトルを生成する構成としている。
【００８６】そして、動き補償器１２２は、演算負荷が
上記第１閾値ＴＨｓより小さいとき、０．５画素精度の
動きベクトルに基づいてオーバーラップ動き補償を行
い、演算負荷が上記第１閾値ＴＨｓ以上かつ第２閾値Ｔ
Ｈｍ未満であるとき、１画素精度の動きベクトルに基づ
いてオーバーラップ動き補償を行い、演算負荷が上記第
２閾値ＴＨｍ以上かつ第３閾値ＴＨｂ未満であるとき、
０．５画素精度の動きベクトルに基づいて通常の動き補
償を行い、演算負荷が上記第３閾値ＴＨｂ以上であると
き、１画素精度の動きベクトルに基づいて通常の動き補
償を行う構成となっている。
上記第１閾値ＴＨｓより小さいとき、０．５画素精度の
動きベクトルに基づいてオーバーラップ動き補償を行
い、演算負荷が上記第１閾値ＴＨｓ以上かつ第２閾値Ｔ
Ｈｍ未満であるとき、１画素精度の動きベクトルに基づ
いてオーバーラップ動き補償を行い、演算負荷が上記第
２閾値ＴＨｍ以上かつ第３閾値ＴＨｂ未満であるとき、
０．５画素精度の動きベクトルに基づいて通常の動き補
償を行い、演算負荷が上記第３閾値ＴＨｂ以上であると
き、１画素精度の動きベクトルに基づいて通常の動き補
償を行う構成となっている。
【００８７】次に動作について簡単に説明する。図３
(b) は上記実施の形態１の変形例２における演算処理部
での処理のフローを示している。この実施の形態１の変
形例２では、上記動き検出器１２１における動き予測処
理（動きベクトルの検出）は、上記負荷判定器１１４か
らの負荷判定出力Ｃｐに基づいて演算負荷の大きい処理
と演算負荷の小さい処理の間で切替られ、動き補償器１
２２による動き補償処理（予測信号の算出）は、該負荷
判定出力Ｃｐに応じて、演算負荷の異なる４つの動き補
償処理のうちの１つが選択される。以下詳述すると、図
３(b) に示すように、負荷判定ステップＳ１１ｂでは、
負荷判定器１１４により、その時点での演算負荷の大き
さを表す負荷指標Ｒが第２閾値ＴＨｍより小さいか否か
の判定が行われる。
(b) は上記実施の形態１の変形例２における演算処理部
での処理のフローを示している。この実施の形態１の変
形例２では、上記動き検出器１２１における動き予測処
理（動きベクトルの検出）は、上記負荷判定器１１４か
らの負荷判定出力Ｃｐに基づいて演算負荷の大きい処理
と演算負荷の小さい処理の間で切替られ、動き補償器１
２２による動き補償処理（予測信号の算出）は、該負荷
判定出力Ｃｐに応じて、演算負荷の異なる４つの動き補
償処理のうちの１つが選択される。以下詳述すると、図
３(b) に示すように、負荷判定ステップＳ１１ｂでは、
負荷判定器１１４により、その時点での演算負荷の大き
さを表す負荷指標Ｒが第２閾値ＴＨｍより小さいか否か
の判定が行われる。
【００８８】この判定の結果、上記負荷指標Ｒが上記第
２閾値ＴＨｍより小さい場合は、ステップＳ１２ｂに
て、上記負荷指標Ｒが上記第１閾値ＴＨｓ（ＴＨｓ＜Ｔ
Ｈｍ）より小さいか否かの判定が行われる。一方、負荷
判定ステップＳ１１ｂでの判定の結果、上記負荷指標Ｒ
が第２閾値ＴＨｍ以上である場合は、ステップＳ１３ｂ
にて、上記負荷指標Ｒが上記第３閾値ＴＨｂ（ＴＨｂ＞
ＴＨｍ）より小さいか否かの判定が行われる。
２閾値ＴＨｍより小さい場合は、ステップＳ１２ｂに
て、上記負荷指標Ｒが上記第１閾値ＴＨｓ（ＴＨｓ＜Ｔ
Ｈｍ）より小さいか否かの判定が行われる。一方、負荷
判定ステップＳ１１ｂでの判定の結果、上記負荷指標Ｒ
が第２閾値ＴＨｍ以上である場合は、ステップＳ１３ｂ
にて、上記負荷指標Ｒが上記第３閾値ＴＨｂ（ＴＨｂ＞
ＴＨｍ）より小さいか否かの判定が行われる。
【００８９】上記負荷判定ステップＳ１２ｂでの判定の
結果、上記負荷指標Ｒが第１閾値ＴＨｓより小さい場合
は、上記動き検出器１２１では、１画素精度の動きベク
トルとともに０．５画素精度の動きベクトルが生成さ
れ、動き補償器１２２では、０．５画素精度の動きベク
トルに基づいてオーバーラップ動き補償処理が行われる
（ステップＳ１４ｂ）。
結果、上記負荷指標Ｒが第１閾値ＴＨｓより小さい場合
は、上記動き検出器１２１では、１画素精度の動きベク
トルとともに０．５画素精度の動きベクトルが生成さ
れ、動き補償器１２２では、０．５画素精度の動きベク
トルに基づいてオーバーラップ動き補償処理が行われる
（ステップＳ１４ｂ）。
【００９０】上記負荷判定ステップＳ１２ｂでの判定の
結果、上記負荷指標Ｒが第１閾値ＴＨｓ以上である場合
は、上記動き検出器１２１では、１画素精度の動きベク
トルとともに０．５画素精度の動きベクトルが生成さ
れ、動き補償器１２２では、１画素精度の動きベクトル
に基づいてオーバーラップ動き補償処理が行われる（ス
テップＳ１５ｂ）。
結果、上記負荷指標Ｒが第１閾値ＴＨｓ以上である場合
は、上記動き検出器１２１では、１画素精度の動きベク
トルとともに０．５画素精度の動きベクトルが生成さ
れ、動き補償器１２２では、１画素精度の動きベクトル
に基づいてオーバーラップ動き補償処理が行われる（ス
テップＳ１５ｂ）。
【００９１】上記負荷判定ステップＳ１３ｂでの判定の
結果、上記負荷指標Ｒが第３閾値ＴＨｂより小さい場合
は、上記動き検出器１２１では、１画素精度の動きベク
トルとともに０．５画素精度の動きベクトルが生成さ
れ、動き補償器１２２では、０．５画素精度の動きベク
トルに基づいて、通常の補償処理が行われる（ステップ
Ｓ１６ｂ）。
結果、上記負荷指標Ｒが第３閾値ＴＨｂより小さい場合
は、上記動き検出器１２１では、１画素精度の動きベク
トルとともに０．５画素精度の動きベクトルが生成さ
れ、動き補償器１２２では、０．５画素精度の動きベク
トルに基づいて、通常の補償処理が行われる（ステップ
Ｓ１６ｂ）。
【００９２】上記負荷判定ステップＳ１３ｂでの判定の
結果、上記負荷指標Ｒが第３閾値ＴＨｂ以上である場合
は、上記動き検出器１２１では、１画素精度の動きベク
トルのみが生成され、動き補償器１２２では、１画素精
度の動きベクトルに基づいて通常の動き補償処理が行わ
れる（ステップＳ１７ｂ）。
結果、上記負荷指標Ｒが第３閾値ＴＨｂ以上である場合
は、上記動き検出器１２１では、１画素精度の動きベク
トルのみが生成され、動き補償器１２２では、１画素精
度の動きベクトルに基づいて通常の動き補償処理が行わ
れる（ステップＳ１７ｂ）。
【００９３】このような構成の実施の形態１の変形例２
では、実時間での上記信号生成処理に必要な演算処理能
力に基づいた演算負荷の第１〜第３の閾値と、上記検出
した演算負荷の大きさとの比較結果に基づいて、動き検
出器での画素精度の切替、及び動き補償器での動き補償
の種類の切替を行うようにしたので、符号化側での演算
処理量を徐々に変化させることができ、しかも演算処理
量の可変範囲を広くすることができる。
では、実時間での上記信号生成処理に必要な演算処理能
力に基づいた演算負荷の第１〜第３の閾値と、上記検出
した演算負荷の大きさとの比較結果に基づいて、動き検
出器での画素精度の切替、及び動き補償器での動き補償
の種類の切替を行うようにしたので、符号化側での演算
処理量を徐々に変化させることができ、しかも演算処理
量の可変範囲を広くすることができる。
【００９４】実施の形態２．図４は本発明の実施の形態
２による画像復号化装置を説明するためのブロックであ
る。この実施の形態２の画像復号化装置２００は、上記
実施の形態１の画像符号化装置１００に対応したもので
あり、入力される画像符号化信号として、ＭＰＥＧ１，
２に準拠した１フレームに対応する画像符号化信号だけ
でなく、ＭＰＥＧ４に準拠した１オブジェクト領域に対
応する画像符号化信号も処理可能な構成となっている
が、いずれの画像符号化信号についても基本的な復号化
処理は同一であるため、具体的な説明は、１フレーム対
応の画像符号化信号の処理についてのみ行う。なお、Ｍ
ＰＥＧ４の場合は、１フレームに対応する画像符号化信
号の復号化処理と同様に、個々のオブジェクト領域に対
応する画像符号化信号の復号化処理が行われ、これらが
合成されて１つの画面に対応する画像再生信号が得られ
る。
２による画像復号化装置を説明するためのブロックであ
る。この実施の形態２の画像復号化装置２００は、上記
実施の形態１の画像符号化装置１００に対応したもので
あり、入力される画像符号化信号として、ＭＰＥＧ１，
２に準拠した１フレームに対応する画像符号化信号だけ
でなく、ＭＰＥＧ４に準拠した１オブジェクト領域に対
応する画像符号化信号も処理可能な構成となっている
が、いずれの画像符号化信号についても基本的な復号化
処理は同一であるため、具体的な説明は、１フレーム対
応の画像符号化信号の処理についてのみ行う。なお、Ｍ
ＰＥＧ４の場合は、１フレームに対応する画像符号化信
号の復号化処理と同様に、個々のオブジェクト領域に対
応する画像符号化信号の復号化処理が行われ、これらが
合成されて１つの画面に対応する画像再生信号が得られ
る。
【００９５】以下詳しく説明すると、上記画像復号化装
置２００は、復号化処理の対象となる対象領域（対象ブ
ロック）に対応する符号化信号（画像符号化信号あるい
は差分符号化信号）Ｅｇを受け、該符号化信号Ｅｇを解
析して可変長復号化するデータ解析器２０１と、該デー
タ解析器２０１の出力ＡＥｇに対して伸長処理を施して
画像伸長信号ＤＥｇを出力する情報伸長器（ＤＥＣ）２
０２と、該情報伸長器２０２の出力ＤＥｇと、対象ブロ
ックに対応する予測信号Ｐｇ２あるいは基準信号（０レ
ベル）とを加算する加算器２０３と、該加算器２０３の
出力ＰＥｇである各ブロックに対応する画像再生信号を
統合して走査線構造の画像出力信号ＲＥｇを出力する逆
ブロック化器２０４と、所定のブロックに対応する予測
信号Ｐｇ２を生成する予測信号生成部２１０を有してい
る。
置２００は、復号化処理の対象となる対象領域（対象ブ
ロック）に対応する符号化信号（画像符号化信号あるい
は差分符号化信号）Ｅｇを受け、該符号化信号Ｅｇを解
析して可変長復号化するデータ解析器２０１と、該デー
タ解析器２０１の出力ＡＥｇに対して伸長処理を施して
画像伸長信号ＤＥｇを出力する情報伸長器（ＤＥＣ）２
０２と、該情報伸長器２０２の出力ＤＥｇと、対象ブロ
ックに対応する予測信号Ｐｇ２あるいは基準信号（０レ
ベル）とを加算する加算器２０３と、該加算器２０３の
出力ＰＥｇである各ブロックに対応する画像再生信号を
統合して走査線構造の画像出力信号ＲＥｇを出力する逆
ブロック化器２０４と、所定のブロックに対応する予測
信号Ｐｇ２を生成する予測信号生成部２１０を有してい
る。
【００９６】ここで、上記情報伸長器２０２は、上記デ
ータ解析器２０１の出力ＡＥｇに逆量子化処理を施す逆
量子化器と、該逆量子化器の出力に対して逆周波数変換
処理の一種であるＩＤＣＴ（逆離散コサイン変換）処理
を施して画像伸長信号ＤＥｇを出力するＩＤＣＴ変換器
とから構成されている。
ータ解析器２０１の出力ＡＥｇに逆量子化処理を施す逆
量子化器と、該逆量子化器の出力に対して逆周波数変換
処理の一種であるＩＤＣＴ（逆離散コサイン変換）処理
を施して画像伸長信号ＤＥｇを出力するＩＤＣＴ変換器
とから構成されている。
【００９７】上記予測信号生成部２１０は、上記加算器
２０３の出力ＰＥｇを画像再生信号として格納するフレ
ームメモリ２１１と、上記加算器２０３の出力ＰＥｇを
受け、復号化処理における演算負荷の大きさを判定する
負荷判定器２１３とを有している。
２０３の出力ＰＥｇを画像再生信号として格納するフレ
ームメモリ２１１と、上記加算器２０３の出力ＰＥｇを
受け、復号化処理における演算負荷の大きさを判定する
負荷判定器２１３とを有している。
【００９８】ここで、上記負荷判定器２１３は、上記実
施の形態１の負荷判定器１１４と同様な構成となってい
る。つまり該負荷判定器２１３は、例えば演算負荷の大
きさを示す負荷の指標Ｒを、単位時間（１フレーム）当
たりの復号化処理における演算量であらわし、本画像復
号化装置２００の演算処理能力に対応した演算負荷の閾
値ＴＨを、０．５画素精度の動きベクトルを用いたオー
バーラップ動き補償処理に必要とされる単位時間当たり
の復号化処理における演算量とし、上記負荷の指標Ｒと
閾値ＴＨを比較して処理能力が十分であるか否かを動き
補償処理を行う度に判定する構成となっている。なお、
上記負荷判定器２１３の構成は、上記のものに限らず、
例えば、上記負荷判定器２１３は、フレームメモリ２１
１などから１フレームの画像信号に対する復号化処理が
終了したタイミングのみを受け、このタイミング間隔を
演算量である負荷の指標Ｒに変換し、この負荷の指標Ｒ
を上記演算負荷の閾値ＴＨと比較して、処理能力の判定
を行う構成としてもよい。この場合、加算器２０３の出
力ＰＥｇである画像復号化信号を、上記負荷判定器２１
３に送る必要がなくなり、該負荷判定器２１３へ送るデ
ータ量を大きく削減することができる。
施の形態１の負荷判定器１１４と同様な構成となってい
る。つまり該負荷判定器２１３は、例えば演算負荷の大
きさを示す負荷の指標Ｒを、単位時間（１フレーム）当
たりの復号化処理における演算量であらわし、本画像復
号化装置２００の演算処理能力に対応した演算負荷の閾
値ＴＨを、０．５画素精度の動きベクトルを用いたオー
バーラップ動き補償処理に必要とされる単位時間当たり
の復号化処理における演算量とし、上記負荷の指標Ｒと
閾値ＴＨを比較して処理能力が十分であるか否かを動き
補償処理を行う度に判定する構成となっている。なお、
上記負荷判定器２１３の構成は、上記のものに限らず、
例えば、上記負荷判定器２１３は、フレームメモリ２１
１などから１フレームの画像信号に対する復号化処理が
終了したタイミングのみを受け、このタイミング間隔を
演算量である負荷の指標Ｒに変換し、この負荷の指標Ｒ
を上記演算負荷の閾値ＴＨと比較して、処理能力の判定
を行う構成としてもよい。この場合、加算器２０３の出
力ＰＥｇである画像復号化信号を、上記負荷判定器２１
３に送る必要がなくなり、該負荷判定器２１３へ送るデ
ータ量を大きく削減することができる。
【００９９】また、上記予測信号生成部２１０は、上記
データ解析器２０１にて復号化された対象ブロックに対
応する動きベクトルＭＶに基づいて、上記フレームメモ
リ２１１のアドレスＡｄｄ２を生成し、該アドレスＡｄ
ｄ２により上記フレームメモリ２１１から、対象ブロッ
クの画像再生信号との誤差が最も小さい画像再生信号を
持つ、前フレームにおける領域（予測領域）に対応する
画像再生信号を検出し、該画像再生信号に基づいて予測
信号Ｐｇ２を算出する動き補償器２１２を有し、該予測
信号Ｐｇ２が、上記データ解析器２０１からの制御信号
ＡＣｓにより制御されるスイッチ２１４を介して、上記
加算器２０３に出力されるようになっている。このスイ
ッチ２１４は、上記制御信号ＡＣｓにより、上記予測信
号Ｐｇ２が入力される入力端子Ｉ１と、開放された入力
端子Ｉ２の一方を選択する。なお、このスイッチ２１４
が開放入力端子Ｉ２を選択した場合には、スイッチ２１
４の出力として上記基準信号が上記加算器２０３に与え
られる。ここでは基準信号は０レベルの信号としてい
る。
データ解析器２０１にて復号化された対象ブロックに対
応する動きベクトルＭＶに基づいて、上記フレームメモ
リ２１１のアドレスＡｄｄ２を生成し、該アドレスＡｄ
ｄ２により上記フレームメモリ２１１から、対象ブロッ
クの画像再生信号との誤差が最も小さい画像再生信号を
持つ、前フレームにおける領域（予測領域）に対応する
画像再生信号を検出し、該画像再生信号に基づいて予測
信号Ｐｇ２を算出する動き補償器２１２を有し、該予測
信号Ｐｇ２が、上記データ解析器２０１からの制御信号
ＡＣｓにより制御されるスイッチ２１４を介して、上記
加算器２０３に出力されるようになっている。このスイ
ッチ２１４は、上記制御信号ＡＣｓにより、上記予測信
号Ｐｇ２が入力される入力端子Ｉ１と、開放された入力
端子Ｉ２の一方を選択する。なお、このスイッチ２１４
が開放入力端子Ｉ２を選択した場合には、スイッチ２１
４の出力として上記基準信号が上記加算器２０３に与え
られる。ここでは基準信号は０レベルの信号としてい
る。
【０１００】そして、この実施の形態２では、上記動き
補償器２１２は、上記負荷判定器２１３からの負荷判定
出力Ｃｈに基づいて、上記データ解析器２０１から出力
される動きベクトルＭＶに基づいて、対象ブロックの画
像復号化信号に対する予測信号を求める動き補償処理
を、通常の動き補償とオーバーラップ動き補償との間で
切り替える構成となっている。つまり、上記動き補償器
２１２では、演算負荷が大きいときは、１画素精度の動
きベクトルについてはその値を用いて、０．５画素精度
の動きベクトルについてはその値をまるめた、１画素精
度の動きベクトルに相当するベクトル値を用いて、演算
処理量が少ない通常の動き補償処理が行われ、一方、演
算負荷が小さいときは、１画素精度の動きベクトルある
いは０．５画素精度の動きベクトルの値をそのまま用い
て、演算処理量が多いが画質の向上を図ることができる
オーバーラップ動き補償処理が行われるようになってい
る。
補償器２１２は、上記負荷判定器２１３からの負荷判定
出力Ｃｈに基づいて、上記データ解析器２０１から出力
される動きベクトルＭＶに基づいて、対象ブロックの画
像復号化信号に対する予測信号を求める動き補償処理
を、通常の動き補償とオーバーラップ動き補償との間で
切り替える構成となっている。つまり、上記動き補償器
２１２では、演算負荷が大きいときは、１画素精度の動
きベクトルについてはその値を用いて、０．５画素精度
の動きベクトルについてはその値をまるめた、１画素精
度の動きベクトルに相当するベクトル値を用いて、演算
処理量が少ない通常の動き補償処理が行われ、一方、演
算負荷が小さいときは、１画素精度の動きベクトルある
いは０．５画素精度の動きベクトルの値をそのまま用い
て、演算処理量が多いが画質の向上を図ることができる
オーバーラップ動き補償処理が行われるようになってい
る。
【０１０１】次に動作について説明する。図５(a) は本
発明の実施の形態２による画像処理装置による画像信号
の復号化処理を説明するためのフローチャートである。
まず、ステップＳ３にて画像復号化処理が行われる。す
なわち、本画像処理装置２００に入力された符号化信号
（画像符号化信号あるいは差分符号化信号）Ｅｇは、デ
ータ解析器２０１にてそのデータ解析が行われ、可変長
復号化された符号化信号が上記情報伸長器２０２に出力
される。またこのとき、上記データ解析器２０１から
は、復号化処理の対象となる対象ブロックの動きベクト
ルＭＶが予測信号生成部２１０の動き補償器２１２に出
力され、また対象ブロックの符号化モードに対応した制
御信号ＡＣｓが予測信号生成部２１０のスイッチ２１４
に供給される。
発明の実施の形態２による画像処理装置による画像信号
の復号化処理を説明するためのフローチャートである。
まず、ステップＳ３にて画像復号化処理が行われる。す
なわち、本画像処理装置２００に入力された符号化信号
（画像符号化信号あるいは差分符号化信号）Ｅｇは、デ
ータ解析器２０１にてそのデータ解析が行われ、可変長
復号化された符号化信号が上記情報伸長器２０２に出力
される。またこのとき、上記データ解析器２０１から
は、復号化処理の対象となる対象ブロックの動きベクト
ルＭＶが予測信号生成部２１０の動き補償器２１２に出
力され、また対象ブロックの符号化モードに対応した制
御信号ＡＣｓが予測信号生成部２１０のスイッチ２１４
に供給される。
【０１０２】上記情報伸長器２０２では、可変長復号化
された画像符号化信号に対して伸長処理が施され、画像
信号あるいは差分信号が伸長信号ＤＥｇとして復元され
る。具体的には、上記情報伸長器２０２では、上記可変
長復号化された画像符号化信号は、逆量子化器にて逆量
子化処理が施され、さらに逆離散コサイン変換器にて、
周波数領域の信号を空間領域の信号に変換する逆周波数
変換処理が施される。
された画像符号化信号に対して伸長処理が施され、画像
信号あるいは差分信号が伸長信号ＤＥｇとして復元され
る。具体的には、上記情報伸長器２０２では、上記可変
長復号化された画像符号化信号は、逆量子化器にて逆量
子化処理が施され、さらに逆離散コサイン変換器にて、
周波数領域の信号を空間領域の信号に変換する逆周波数
変換処理が施される。
【０１０３】次にステップＳ４にて動き補償処理が行わ
れる。上記動き補償器２１２では、上記動きベクトルＭ
Ｖからフレームメモリ２１１をアクセスするためのアド
レスＡｄｄ２が生成され、フレームメモリ２１１に格納
されている前フレームの画像再生信号から、対象ブロッ
クに対応する予測信号Ｐｇ２が読み出される。この動き
補償器２１２での予測信号の生成は、演算負荷の大きさ
に対応した制御信号Ｃｈに基づいて行われる。
れる。上記動き補償器２１２では、上記動きベクトルＭ
Ｖからフレームメモリ２１１をアクセスするためのアド
レスＡｄｄ２が生成され、フレームメモリ２１１に格納
されている前フレームの画像再生信号から、対象ブロッ
クに対応する予測信号Ｐｇ２が読み出される。この動き
補償器２１２での予測信号の生成は、演算負荷の大きさ
に対応した制御信号Ｃｈに基づいて行われる。
【０１０４】上記モード信号ＡＣｓが画面間符号化モー
ドを示す場合、上記スイッチ２１４が予測信号の入力端
子Ｉ１を選択することとなり、上記読み出された予測信
号Ｐｇ２と、上記情報伸長器２０２の出力ＤＥｇとが加
算器２０３に入力され、該加算器２０３からは、これら
の信号の加算値として、画像復号化信号ＰＥｇが出力さ
れる。一方上記モード信号ＡＣｓが画面内符号化モード
を示す場合、上記スイッチ２１４が開放入力端子Ｉ２を
選択することとなり、上記情報伸長器２０２の出力ＤＥ
ｇがそのまま加算器２０３を介して逆ブロック化器２０
４に出力される。
ドを示す場合、上記スイッチ２１４が予測信号の入力端
子Ｉ１を選択することとなり、上記読み出された予測信
号Ｐｇ２と、上記情報伸長器２０２の出力ＤＥｇとが加
算器２０３に入力され、該加算器２０３からは、これら
の信号の加算値として、画像復号化信号ＰＥｇが出力さ
れる。一方上記モード信号ＡＣｓが画面内符号化モード
を示す場合、上記スイッチ２１４が開放入力端子Ｉ２を
選択することとなり、上記情報伸長器２０２の出力ＤＥ
ｇがそのまま加算器２０３を介して逆ブロック化器２０
４に出力される。
【０１０５】そして上記加算器２０３の出力ＰＥｇは上
記逆ブロック化器２０４に供給され、該逆ブロック化器
２０４にて統合されて走査線構造の画像出力信号ＲＥｇ
に変換される。このとき上記加算器２０３の出力である
画像再生信号ＰＥｇは、上記フレームメモリ２１１及び
負荷判定器２１３に出力され、負荷判定器２１３では、
復号化処理における演算処理量が判定され、判定結果に
対応した制御信号Ｃｈが上記動き補償器２１２に出力さ
れる。
記逆ブロック化器２０４に供給され、該逆ブロック化器
２０４にて統合されて走査線構造の画像出力信号ＲＥｇ
に変換される。このとき上記加算器２０３の出力である
画像再生信号ＰＥｇは、上記フレームメモリ２１１及び
負荷判定器２１３に出力され、負荷判定器２１３では、
復号化処理における演算処理量が判定され、判定結果に
対応した制御信号Ｃｈが上記動き補償器２１２に出力さ
れる。
【０１０６】以下、上記動き補償器２１２における動き
補償処理について詳しく説明する。図５(b) は上記動き
補償処理を示すフローチャートである。負荷判定ステッ
プＳ４１では、負荷判定器２１３により負荷指標Ｒの判
定が行われる。その結果、演算負荷の指標Ｒが本画像復
号化装置２００の処理能力に対応する閾値ＴＨに比べて
小さい場合は、ステップＳ４２にて、データ解析器２０
１からの動きベクトル（０．５画素精度あるいは１画素
精度の動きベクトル）に基づいて、演算処理量が大きい
が符号化効率のよいオーバーラップ動き補償処理が行わ
れる。一方、演算負荷の指標Ｒが上記ＴＨに比べて大き
い場合は、ステップＳ４３にて、上記オーバーラップ動
き補償処理に比べて演算処理量の少ない通常の動き補償
処理が行われる。このとき、データ解析器２０１からの
動きベクトルが０．５画素精度の動きベクトルである場
合は、その値がまるめられて、１画素精度の動きベクト
ルに相当するベクトル値が用いられる。
補償処理について詳しく説明する。図５(b) は上記動き
補償処理を示すフローチャートである。負荷判定ステッ
プＳ４１では、負荷判定器２１３により負荷指標Ｒの判
定が行われる。その結果、演算負荷の指標Ｒが本画像復
号化装置２００の処理能力に対応する閾値ＴＨに比べて
小さい場合は、ステップＳ４２にて、データ解析器２０
１からの動きベクトル（０．５画素精度あるいは１画素
精度の動きベクトル）に基づいて、演算処理量が大きい
が符号化効率のよいオーバーラップ動き補償処理が行わ
れる。一方、演算負荷の指標Ｒが上記ＴＨに比べて大き
い場合は、ステップＳ４３にて、上記オーバーラップ動
き補償処理に比べて演算処理量の少ない通常の動き補償
処理が行われる。このとき、データ解析器２０１からの
動きベクトルが０．５画素精度の動きベクトルである場
合は、その値がまるめられて、１画素精度の動きベクト
ルに相当するベクトル値が用いられる。
【０１０７】このように本実施の形態２では、画像符号
化信号の復号化処理の際、演算負荷量が本画像復号化装
置２００の演算処理能力に対応した負荷閾値より大きい
場合には、再生画像の画質向上に有効なオーバーラップ
動き補償処理に代えて、これより演算処理量の少ない通
常の動き補償処理を行うようにしたので、画像符号化信
号の実時間での復号化処理を行う際に、演算負荷の状況
によって動き補償処理が切り換わることとなり、演算処
理能力不足による再生画像への悪影響を回避することが
できる。
化信号の復号化処理の際、演算負荷量が本画像復号化装
置２００の演算処理能力に対応した負荷閾値より大きい
場合には、再生画像の画質向上に有効なオーバーラップ
動き補償処理に代えて、これより演算処理量の少ない通
常の動き補償処理を行うようにしたので、画像符号化信
号の実時間での復号化処理を行う際に、演算負荷の状況
によって動き補償処理が切り換わることとなり、演算処
理能力不足による再生画像への悪影響を回避することが
できる。
【０１０８】具体的には、従来の復号化方法では、符号
化時に選択した動き補償処理に対応した動き補償処理に
より予測信号を生成するようにしているのに対し、本実
施の形態２では、復号化処理の際に演算処理能力が不足
する場合には、符号化時に選択した動き補償処理に対応
した動き補償処理を行わずに、これとは異なる演算負荷
を削減した動き補償処理を行う。例えば、符号化時にオ
ーバーラップ動き補償処理を行っている場合は、復号化
の際には演算負荷に応じて、オーバーラップ動き補償処
理に代えて演算処理量が少ない通常の動き補償処理を行
う。
化時に選択した動き補償処理に対応した動き補償処理に
より予測信号を生成するようにしているのに対し、本実
施の形態２では、復号化処理の際に演算処理能力が不足
する場合には、符号化時に選択した動き補償処理に対応
した動き補償処理を行わずに、これとは異なる演算負荷
を削減した動き補償処理を行う。例えば、符号化時にオ
ーバーラップ動き補償処理を行っている場合は、復号化
の際には演算負荷に応じて、オーバーラップ動き補償処
理に代えて演算処理量が少ない通常の動き補償処理を行
う。
【０１０９】このため、本実施の形態２では、従来の画
像復号化処理では演算処理能力が不足して、実時間復号
化処理により得られる映像が大きく劣化するような場合
でも、処理能力に応じた動き補償を行うことができ、演
算処理能力の不足に起因する実時間復号化処理による映
像への悪影響を抑制することができる。
像復号化処理では演算処理能力が不足して、実時間復号
化処理により得られる映像が大きく劣化するような場合
でも、処理能力に応じた動き補償を行うことができ、演
算処理能力の不足に起因する実時間復号化処理による映
像への悪影響を抑制することができる。
【０１１０】なお、上記実施の形態２では、負荷指標が
閾値より大きいときにはオーバーラップ動き補償を通常
の動き補償に変更するものを例に挙げたが、これは、上
記実施の形態１と同様、双方向予測やインターレース予
測に対応した動き補償処理を、順方向予測やフレーム予
測に対応した動き補償処理に変更するものであってもよ
い。
閾値より大きいときにはオーバーラップ動き補償を通常
の動き補償に変更するものを例に挙げたが、これは、上
記実施の形態１と同様、双方向予測やインターレース予
測に対応した動き補償処理を、順方向予測やフレーム予
測に対応した動き補償処理に変更するものであってもよ
い。
【０１１１】さらに、上記動き補償器での動き補償処理
の切替は、上記実施の形態２のように、動き補償器にて
画素精度の切替と動き補償処理の種類の切替を連動して
行うものに限らず、種々の切替方法が考えられ、以下上
記実施の形態２のとは異なる切替方法について説明す
る。
の切替は、上記実施の形態２のように、動き補償器にて
画素精度の切替と動き補償処理の種類の切替を連動して
行うものに限らず、種々の切替方法が考えられ、以下上
記実施の形態２のとは異なる切替方法について説明す
る。
【０１１２】実施の形態２の変形例１．この実施の形態
２の変形例１は、上記実施の形態２における予測信号生
成部２１０を、動き補償器２１２では、データ解析器２
０１にて得られる動きベクトルが０．５画素精度である
か１画素精度であるかに拘わらず、動きベクトルとして
は１画素精度の動きベクトルを用い、オーバーラップ動
き補償と通常の動き補償の切替が行われるようにしたも
のである。
２の変形例１は、上記実施の形態２における予測信号生
成部２１０を、動き補償器２１２では、データ解析器２
０１にて得られる動きベクトルが０．５画素精度である
か１画素精度であるかに拘わらず、動きベクトルとして
は１画素精度の動きベクトルを用い、オーバーラップ動
き補償と通常の動き補償の切替が行われるようにしたも
のである。
【０１１３】つまり、この変形例では、上記動き補償器
２１２を、上記負荷判定器２１３での判定結果を受け、
演算負荷Ｒが本画像復号化装置の演算処理能力に基づい
て決まる閾値ＴＨより小さい場合には、１画素精度の動
きベクトルによるオーバーラップ動き補償処理を行い、
演算負荷Ｒが負荷閾値ＴＨより大きい場合には、１画素
精度の動きベクトルによる通常の動き補償処理を行う構
成としている。なお、この変形例においても、データ解
析器２０１にて得られる動きベクトルが０．５画素精度
である場合には、この値をまるめて１画素精度の動きベ
クトルを生成するようにしている。
２１２を、上記負荷判定器２１３での判定結果を受け、
演算負荷Ｒが本画像復号化装置の演算処理能力に基づい
て決まる閾値ＴＨより小さい場合には、１画素精度の動
きベクトルによるオーバーラップ動き補償処理を行い、
演算負荷Ｒが負荷閾値ＴＨより大きい場合には、１画素
精度の動きベクトルによる通常の動き補償処理を行う構
成としている。なお、この変形例においても、データ解
析器２０１にて得られる動きベクトルが０．５画素精度
である場合には、この値をまるめて１画素精度の動きベ
クトルを生成するようにしている。
【０１１４】なお、この実施の形態２の変形例１による
動き補償処理では、符号化側から１画素精度の動きベク
トルが送られている場合は、この１画素精度の動きベク
トルをそのまま用いるが、符号化側から０．５画素精度
の動きベクトルが送られている場合は、０．５画素精度
の動きベクトルの値をまるめて１画素精度の動きベクト
ルを生成する。
動き補償処理では、符号化側から１画素精度の動きベク
トルが送られている場合は、この１画素精度の動きベク
トルをそのまま用いるが、符号化側から０．５画素精度
の動きベクトルが送られている場合は、０．５画素精度
の動きベクトルの値をまるめて１画素精度の動きベクト
ルを生成する。
【０１１５】次に動作について簡単に説明する。図６
(a) は上記実施の形態２の変形例１における演算処理部
での処理のフローを示している。この実施の形態２の変
形例１では、上記動き補償器２１２による動き補償処理
（予測信号の算出）は、上記負荷判定器２１３からの負
荷判定出力Ｃｈに基づいて、オーバーラップ動き補償
と、負荷を削減した通常の動き補償との間で切替られ
る。
(a) は上記実施の形態２の変形例１における演算処理部
での処理のフローを示している。この実施の形態２の変
形例１では、上記動き補償器２１２による動き補償処理
（予測信号の算出）は、上記負荷判定器２１３からの負
荷判定出力Ｃｈに基づいて、オーバーラップ動き補償
と、負荷を削減した通常の動き補償との間で切替られ
る。
【０１１６】以下簡単に説明すると、図６(a) に示すよ
うに、負荷判定ステップＳ４１ａでは、負荷判定器２１
３により、その時点での演算負荷の大きさを表す負荷指
標Ｒが、本画像復号化装置の演算処理能力に基づいて決
まる閾値ＴＨより小さいか否かの判定が行われる。
うに、負荷判定ステップＳ４１ａでは、負荷判定器２１
３により、その時点での演算負荷の大きさを表す負荷指
標Ｒが、本画像復号化装置の演算処理能力に基づいて決
まる閾値ＴＨより小さいか否かの判定が行われる。
【０１１７】この判定の結果、上記負荷指標Ｒが上記閾
値ＴＨより小さい場合は、上記動き補償器２１２では、
１画素精度の動きベクトルに基づいてオーバーラップ動
き補償が行われて、予測信号が生成される（ステップＳ
４２ａ）。一方、負荷判定ステップＳ４１ａでの判定の
結果、上記負荷指標Ｒが上記閾値ＴＨ以上である場合
は、１画素精度の動きベクトルに基づいて、負荷が削減
された通常の動き補償（負荷削減動き補償）が行われ
て、予測信号が生成される（ステップＳ４３ａ）。
値ＴＨより小さい場合は、上記動き補償器２１２では、
１画素精度の動きベクトルに基づいてオーバーラップ動
き補償が行われて、予測信号が生成される（ステップＳ
４２ａ）。一方、負荷判定ステップＳ４１ａでの判定の
結果、上記負荷指標Ｒが上記閾値ＴＨ以上である場合
は、１画素精度の動きベクトルに基づいて、負荷が削減
された通常の動き補償（負荷削減動き補償）が行われ
て、予測信号が生成される（ステップＳ４３ａ）。
【０１１８】このように本実施の形態２の変形例１で
は、負荷判定器２１３からの負荷判定出力Ｃｈに基づい
て、動き補償器２１２での動き補償を、１画素精度の動
きベクトルに基づくオーバーラップ動き補償と、１画素
精度の動きベクトルに基づく負荷削減動き補償との間で
切替えるので、画素精度の切替は行われず、動き補償処
理の種類のみが切替られることとなり、このため比較的
簡単な回路構成により、演算負荷の増大による再生画像
の画質劣化を抑制することができる。
は、負荷判定器２１３からの負荷判定出力Ｃｈに基づい
て、動き補償器２１２での動き補償を、１画素精度の動
きベクトルに基づくオーバーラップ動き補償と、１画素
精度の動きベクトルに基づく負荷削減動き補償との間で
切替えるので、画素精度の切替は行われず、動き補償処
理の種類のみが切替られることとなり、このため比較的
簡単な回路構成により、演算負荷の増大による再生画像
の画質劣化を抑制することができる。
【０１１９】実施の形態２の変形例２．この実施の形態
２の変形例２は、上記実施の形態２における予測信号生
成部２１０を、動き補償器２１２では、オーバーラップ
動き補償と、これに比べて演算負荷の小さい通常の動き
補償（負荷削減動き補償）の切替は行わず、画素精度の
切替，つまり１画素精度の動きベクトルに基づく通常の
動き補償と、０．５画素精度の動きベクトルに基づく通
常の動き補償とを切り換えるようにしたものである。
２の変形例２は、上記実施の形態２における予測信号生
成部２１０を、動き補償器２１２では、オーバーラップ
動き補償と、これに比べて演算負荷の小さい通常の動き
補償（負荷削減動き補償）の切替は行わず、画素精度の
切替，つまり１画素精度の動きベクトルに基づく通常の
動き補償と、０．５画素精度の動きベクトルに基づく通
常の動き補償とを切り換えるようにしたものである。
【０１２０】つまり、この変形例では、上記動き補償器
２１２は、上記負荷判定器２１３からの負荷判定出力Ｃ
ｈを受け、演算負荷が、本画像復号化装置の演算処理能
力に基づいて決まる閾値ＴＨより小さい場合には、０．
５画素精度の動きベクトルに基づいて通常の動き補償処
理を行い、演算負荷が上記閾値ＴＨより大きい場合に
は、１画素精度の動きベクトルに基づいて通常の動き補
償処理を行う構成としている。
２１２は、上記負荷判定器２１３からの負荷判定出力Ｃ
ｈを受け、演算負荷が、本画像復号化装置の演算処理能
力に基づいて決まる閾値ＴＨより小さい場合には、０．
５画素精度の動きベクトルに基づいて通常の動き補償処
理を行い、演算負荷が上記閾値ＴＨより大きい場合に
は、１画素精度の動きベクトルに基づいて通常の動き補
償処理を行う構成としている。
【０１２１】なお、この実施の形態２の変形例２による
動き補償処理では、符号化側から０．５画素精度の動き
ベクトルが送られている場合のみ、上記のような画素精
度の切り替えを行い、符号化側から１画素精度の動きベ
クトルが送られている場合は、上記のような画素精度の
切替を行わないようにしている。
動き補償処理では、符号化側から０．５画素精度の動き
ベクトルが送られている場合のみ、上記のような画素精
度の切り替えを行い、符号化側から１画素精度の動きベ
クトルが送られている場合は、上記のような画素精度の
切替を行わないようにしている。
【０１２２】次に作用効果について説明する。図６(b)
は上記実施の形態２の変形例２における予測信号生成部
での処理のフローを示している。この実施の形態２の変
形例２では、上記動き補償器２１２による動き補償処理
（予測信号の算出）は、上記負荷判定器２１３からの負
荷判定出力Ｃｈに基づいて、０．５画素精度の動きベク
トルに基づく通常の動き補償と、１画素精度の動きベク
トルに基づく通常の動き補償との間で切替られる。
は上記実施の形態２の変形例２における予測信号生成部
での処理のフローを示している。この実施の形態２の変
形例２では、上記動き補償器２１２による動き補償処理
（予測信号の算出）は、上記負荷判定器２１３からの負
荷判定出力Ｃｈに基づいて、０．５画素精度の動きベク
トルに基づく通常の動き補償と、１画素精度の動きベク
トルに基づく通常の動き補償との間で切替られる。
【０１２３】簡単に説明すると、図６(b) に示すよう
に、負荷判定ステップＳ４１ｂでは、負荷判定器２１３
により、その時点での演算負荷の大きさを表す負荷指標
Ｒが、本画像復号化装置の演算処理能力に基づいて決ま
る閾値ＴＨより小さいか否かの判定が行われる。
に、負荷判定ステップＳ４１ｂでは、負荷判定器２１３
により、その時点での演算負荷の大きさを表す負荷指標
Ｒが、本画像復号化装置の演算処理能力に基づいて決ま
る閾値ＴＨより小さいか否かの判定が行われる。
【０１２４】この判定の結果、上記負荷指標Ｒが上記閾
値ＴＨより小さい場合は、上記動き補償器２１２では、
０．５画素精度の動きベクトルに基づいて通常の動き補
償が行われて、予測信号が生成される（ステップＳ４２
ｂ）。一方、負荷判定ステップＳ４１ｂでの判定の結
果、上記負荷指標Ｒが上記閾値ＴＨ以上である場合は、
１画素精度の動きベクトルに基づいて通常の動き補償が
行われて、予測信号が生成される（ステップＳ４３
ｂ）。
値ＴＨより小さい場合は、上記動き補償器２１２では、
０．５画素精度の動きベクトルに基づいて通常の動き補
償が行われて、予測信号が生成される（ステップＳ４２
ｂ）。一方、負荷判定ステップＳ４１ｂでの判定の結
果、上記負荷指標Ｒが上記閾値ＴＨ以上である場合は、
１画素精度の動きベクトルに基づいて通常の動き補償が
行われて、予測信号が生成される（ステップＳ４３
ｂ）。
【０１２５】このように本実施の形態２の変形例２で
は、負荷判定器２１３からの負荷判定出力Ｃｈに基づい
て、動き補償器２１２での動き補償を、０．５画素精度
の動きベクトルに基づく通常の動き補償と、１画素精度
の動きベクトルに基づく通常の動き補償との間で切替え
るので、動き補償の種類の切替は行われず、画素精度の
切替のみが行われることとなり、このため非常に簡単な
回路構成により、演算負荷の増大による再生画像の画質
劣化を抑制することができる。
は、負荷判定器２１３からの負荷判定出力Ｃｈに基づい
て、動き補償器２１２での動き補償を、０．５画素精度
の動きベクトルに基づく通常の動き補償と、１画素精度
の動きベクトルに基づく通常の動き補償との間で切替え
るので、動き補償の種類の切替は行われず、画素精度の
切替のみが行われることとなり、このため非常に簡単な
回路構成により、演算負荷の増大による再生画像の画質
劣化を抑制することができる。
【０１２６】なお、この実施の形態２の変形例２による
動き補償処理では、符号化側から０．５画素精度の動き
ベクトルが送られている場合のみ、上記のような画素精
度の切り替えを行い、符号化側から１画素精度の動きベ
クトルが送られている場合は、上記のような画素精度の
切替を行わないようにしているが、動き補償処理におけ
る画素精度の切り替えはこれに限るものではない。
動き補償処理では、符号化側から０．５画素精度の動き
ベクトルが送られている場合のみ、上記のような画素精
度の切り替えを行い、符号化側から１画素精度の動きベ
クトルが送られている場合は、上記のような画素精度の
切替を行わないようにしているが、動き補償処理におけ
る画素精度の切り替えはこれに限るものではない。
【０１２７】例えば、符号化側から０．５画素精度の動
きベクトルが送られている場合も１画素精度の動きベク
トルが送られている場合もともに、上記のような画素精
度の切り替えを行うようにしてもよい。
きベクトルが送られている場合も１画素精度の動きベク
トルが送られている場合もともに、上記のような画素精
度の切り替えを行うようにしてもよい。
【０１２８】具体的には、符号化側から０．５画素精度
の動きベクトルが送られている場合は、１画素精度の動
き補償では、０．５画素精度の動きベクトルの値をまる
めて得られる１画素精度の動きベクトルを用い、０．５
画素精度の動き補償では、０．５画素精度の動きベクト
ルをそのまま用いる。一方、符号化側から１画素精度の
動きベクトルが送られている場合は、１画素精度の動き
補償では、この１画素精度の動きベクトルをそのまま用
い、０．５画素精度の動き補償では、上記１画素精度の
動きベクトルに基づいて生成した０．５画素精度の動き
ベクトルを用いる。
の動きベクトルが送られている場合は、１画素精度の動
き補償では、０．５画素精度の動きベクトルの値をまる
めて得られる１画素精度の動きベクトルを用い、０．５
画素精度の動き補償では、０．５画素精度の動きベクト
ルをそのまま用いる。一方、符号化側から１画素精度の
動きベクトルが送られている場合は、１画素精度の動き
補償では、この１画素精度の動きベクトルをそのまま用
い、０．５画素精度の動き補償では、上記１画素精度の
動きベクトルに基づいて生成した０．５画素精度の動き
ベクトルを用いる。
【０１２９】さらに、各画素精度の動き補償は階層的な
演算処理により実現しても、あるいは各画素精度に対応
した演算モジュールによる演算処理により実現してもよ
い。例えば、０．５画素精度の動き補償処理は、１画素
精度の動き補償を行うための基本的な第１の演算処理に
加えて付加的な第２の演算処理を行うことにより実現
し、画素精度の切り替えは、上記付加的な演算処理を行
うか否かにより行うようにしてもよい。また、動き補償
のための演算処理を行うモジュールとして、０．５画素
精度の動き補償を行う第１のモジュールと、１画素精度
の動き補償を行う第２のモジュールとを備え、これらの
モジュールを切り替えることにより、各画素精度の動き
補償の切り替えを行うようにしてもよい。
演算処理により実現しても、あるいは各画素精度に対応
した演算モジュールによる演算処理により実現してもよ
い。例えば、０．５画素精度の動き補償処理は、１画素
精度の動き補償を行うための基本的な第１の演算処理に
加えて付加的な第２の演算処理を行うことにより実現
し、画素精度の切り替えは、上記付加的な演算処理を行
うか否かにより行うようにしてもよい。また、動き補償
のための演算処理を行うモジュールとして、０．５画素
精度の動き補償を行う第１のモジュールと、１画素精度
の動き補償を行う第２のモジュールとを備え、これらの
モジュールを切り替えることにより、各画素精度の動き
補償の切り替えを行うようにしてもよい。
【０１３０】また、画素精度の切替は、０．５画素精度
と１画素精度の切替に限るものではなく、０．５画素精
度と２画素精度の切替、あるいは１画素精度と２画素精
度の切替であってもよく、さらには、０．５画素精度，
１画素精度，及び２画素精度のうちの１つを演算負荷に
応じて選択するものであってもよい。また、画素精度と
しては、上記のものに限らず、０．２５画素精度や０．
１２５画素精度といった非常に精度の高いものも用いる
ことが可能である。
と１画素精度の切替に限るものではなく、０．５画素精
度と２画素精度の切替、あるいは１画素精度と２画素精
度の切替であってもよく、さらには、０．５画素精度，
１画素精度，及び２画素精度のうちの１つを演算負荷に
応じて選択するものであってもよい。また、画素精度と
しては、上記のものに限らず、０．２５画素精度や０．
１２５画素精度といった非常に精度の高いものも用いる
ことが可能である。
【０１３１】実施の形態２の変形例３．この実施の形態
２の変形例３は、上記実施の形態２における予測信号生
成部２１０を、動き補償器２１２では、演算負荷の大き
さに応じて、演算処理が４段階にわたって切り替わるよ
う構成したものである。簡単に説明すると、この変形例
３では、上記実施の形態２における負荷判定器２１３
を、演算負荷の指標である第１，第２，第３の閾値ＴＨ
ｓ，ＴＨｍ，ＴＨｂ（ＴＨｓ＜ＴＨｍ＜ＴＨｂ）に基づ
いて、演算負荷が上記第１の閾値より小さい値である
か、該第１の閾値以上かつ第２の閾値未満の値である
か、第２閾値以上かつ第３閾値未満の値であるか、第３
の閾値以上の値であるかを判定する構成としている。
２の変形例３は、上記実施の形態２における予測信号生
成部２１０を、動き補償器２１２では、演算負荷の大き
さに応じて、演算処理が４段階にわたって切り替わるよ
う構成したものである。簡単に説明すると、この変形例
３では、上記実施の形態２における負荷判定器２１３
を、演算負荷の指標である第１，第２，第３の閾値ＴＨ
ｓ，ＴＨｍ，ＴＨｂ（ＴＨｓ＜ＴＨｍ＜ＴＨｂ）に基づ
いて、演算負荷が上記第１の閾値より小さい値である
か、該第１の閾値以上かつ第２の閾値未満の値である
か、第２閾値以上かつ第３閾値未満の値であるか、第３
の閾値以上の値であるかを判定する構成としている。
【０１３２】そして、この変形例３では、上記実施の形
態２における動き補償器２１２は、演算負荷が上記第１
閾値ＴＨｓより小さいとき、０．５画素精度の動きベク
トルによるオーバーラップ動き補償を行い、演算負荷が
上記第１閾値ＴＨｓ以上かつ第２閾値ＴＨｍ未満である
とき、１画素精度の動きベクトルによるオーバーラップ
動き補償を行い、演算負荷が上記第２閾値ＴＨｍ以上か
つ第３閾値ＴＨｂ未満であるとき、０．５画素精度の動
きベクトルによる通常の動き補償を行い、演算負荷が上
記第３閾値ＴＨｂ以上であるとき、１画素精度の動きベ
クトルによる通常の動き補償を行う構成となっている。
態２における動き補償器２１２は、演算負荷が上記第１
閾値ＴＨｓより小さいとき、０．５画素精度の動きベク
トルによるオーバーラップ動き補償を行い、演算負荷が
上記第１閾値ＴＨｓ以上かつ第２閾値ＴＨｍ未満である
とき、１画素精度の動きベクトルによるオーバーラップ
動き補償を行い、演算負荷が上記第２閾値ＴＨｍ以上か
つ第３閾値ＴＨｂ未満であるとき、０．５画素精度の動
きベクトルによる通常の動き補償を行い、演算負荷が上
記第３閾値ＴＨｂ以上であるとき、１画素精度の動きベ
クトルによる通常の動き補償を行う構成となっている。
【０１３３】次に動作について簡単に説明する。図６
(b) は上記実施の形態２の変形例３における予測信号生
成部での処理のフローを示している。この実施の形態２
の変形例３では、上記動き補償器２１２による動き補償
処理（予測信号の算出）は、負荷判定器２１３からの負
荷判定出力Ｃｈに応じて、演算負荷の異なる４つの動き
補償処理のうちの１つが選択される。
(b) は上記実施の形態２の変形例３における予測信号生
成部での処理のフローを示している。この実施の形態２
の変形例３では、上記動き補償器２１２による動き補償
処理（予測信号の算出）は、負荷判定器２１３からの負
荷判定出力Ｃｈに応じて、演算負荷の異なる４つの動き
補償処理のうちの１つが選択される。
【０１３４】以下詳述すると、図６(c) に示すように、
負荷判定ステップＳ４１ｃでは、負荷判定器２１３によ
り、その時点での演算負荷の大きさを表す負荷指標Ｒが
第２閾値ＴＨｍより小さいか否かの判定が行われる。
負荷判定ステップＳ４１ｃでは、負荷判定器２１３によ
り、その時点での演算負荷の大きさを表す負荷指標Ｒが
第２閾値ＴＨｍより小さいか否かの判定が行われる。
【０１３５】この判定の結果、上記負荷指標Ｒが上記第
２閾値ＴＨｍより小さい場合は、ステップＳ４２ｃに
て、上記負荷指標Ｒが上記第１閾値ＴＨｓ（ＴＨｓ＜Ｔ
Ｈｍ）より小さいか否かの判定が行われる。一方、負荷
判定ステップＳ４１ｃでの判定の結果、上記負荷指標Ｒ
が第２閾値ＴＨｍ以上である場合は、ステップＳ４３ｃ
にて、上記負荷指標Ｒが上記第３閾値ＴＨｂ（ＴＨｂ＞
ＴＨｍ）より小さいか否かの判定が行われる。
２閾値ＴＨｍより小さい場合は、ステップＳ４２ｃに
て、上記負荷指標Ｒが上記第１閾値ＴＨｓ（ＴＨｓ＜Ｔ
Ｈｍ）より小さいか否かの判定が行われる。一方、負荷
判定ステップＳ４１ｃでの判定の結果、上記負荷指標Ｒ
が第２閾値ＴＨｍ以上である場合は、ステップＳ４３ｃ
にて、上記負荷指標Ｒが上記第３閾値ＴＨｂ（ＴＨｂ＞
ＴＨｍ）より小さいか否かの判定が行われる。
【０１３６】上記負荷判定ステップＳ４２ｃでの判定の
結果、上記負荷指標Ｒが第１閾値ＴＨｓより小さい場合
は、０．５画素精度の動きベクトルに基づいてオーバー
ラップ動き補償処理が行われる（ステップＳ４４ｃ）。
上記負荷判定ステップＳ４２ｃでの判定の結果、上記負
荷指標Ｒが第１閾値ＴＨｓ以上である場合は、１画素精
度の動きベクトルに基づいてオーバーラップ動き補償処
理が行われる（ステップＳ４５ｃ）。上記負荷判定ステ
ップＳ４３ｃでの判定の結果、上記負荷指標Ｒが第３閾
値ＴＨｂより小さい場合は、０．５画素精度の動きベク
トルに基づいて、通常の動き補償処理（負荷削減動き補
償）が行われる（ステップＳ４６ｃ）。上記負荷判定ス
テップＳ４３ｃでの判定の結果、上記負荷指標Ｒが第３
閾値ＴＨｂ以上である場合は、１画素精度の動きベクト
ルを用いて通常の動き補償処理（負荷削減動き補償）が
行われる（ステップＳ４７ｂ）。
結果、上記負荷指標Ｒが第１閾値ＴＨｓより小さい場合
は、０．５画素精度の動きベクトルに基づいてオーバー
ラップ動き補償処理が行われる（ステップＳ４４ｃ）。
上記負荷判定ステップＳ４２ｃでの判定の結果、上記負
荷指標Ｒが第１閾値ＴＨｓ以上である場合は、１画素精
度の動きベクトルに基づいてオーバーラップ動き補償処
理が行われる（ステップＳ４５ｃ）。上記負荷判定ステ
ップＳ４３ｃでの判定の結果、上記負荷指標Ｒが第３閾
値ＴＨｂより小さい場合は、０．５画素精度の動きベク
トルに基づいて、通常の動き補償処理（負荷削減動き補
償）が行われる（ステップＳ４６ｃ）。上記負荷判定ス
テップＳ４３ｃでの判定の結果、上記負荷指標Ｒが第３
閾値ＴＨｂ以上である場合は、１画素精度の動きベクト
ルを用いて通常の動き補償処理（負荷削減動き補償）が
行われる（ステップＳ４７ｂ）。
【０１３７】このような構成の実施の形態２の変形例３
では、実時間での上記信号生成処理に必要な演算処理能
力に基づいた演算負荷の第１〜第３の閾値と、上記検出
した演算負荷の大きさとの比較結果に基づいて、画素精
度及び動き補償の種類を切り換えて、演算負荷の大きさ
を４段階にわたって切り換えるようにしたので、復号化
側での演算処理量を徐々に変化させることができ、しか
も演算処理量の可変範囲を広くすることができる。
では、実時間での上記信号生成処理に必要な演算処理能
力に基づいた演算負荷の第１〜第３の閾値と、上記検出
した演算負荷の大きさとの比較結果に基づいて、画素精
度及び動き補償の種類を切り換えて、演算負荷の大きさ
を４段階にわたって切り換えるようにしたので、復号化
側での演算処理量を徐々に変化させることができ、しか
も演算処理量の可変範囲を広くすることができる。
【０１３８】さらに、上記各実施の形態及びその変形例
で示した画像符号化処理および画像復号化処理を実現す
るための符号化あるいは復号化プログラムを、フロッピ
ーディスク等のデータ記憶媒体に記録するようにするこ
とにより、上記各実施の形態及びその変形例で示した処
理を、独立したコンピュータシステムにおいて簡単に実
施することが可能となる。
で示した画像符号化処理および画像復号化処理を実現す
るための符号化あるいは復号化プログラムを、フロッピ
ーディスク等のデータ記憶媒体に記録するようにするこ
とにより、上記各実施の形態及びその変形例で示した処
理を、独立したコンピュータシステムにおいて簡単に実
施することが可能となる。
【０１３９】図１１は、上記実施の形態１若しくはその
変形例の画像符号化装置による画像符号化処理、あるい
は上記実施の形態２若しくはその変形例の画像復号化装
置による画像復号化処理を、これらの画像処理に対応し
たプログラムを格納したフロッピーディスクを用いて、
コンピュータシステムにより実施する場合を説明するた
めの図である。
変形例の画像符号化装置による画像符号化処理、あるい
は上記実施の形態２若しくはその変形例の画像復号化装
置による画像復号化処理を、これらの画像処理に対応し
たプログラムを格納したフロッピーディスクを用いて、
コンピュータシステムにより実施する場合を説明するた
めの図である。
【０１４０】図１１(b) は、フロッピーディスクＦＤの
正面からみた外観、断面構造、及び記録媒体であるフロ
ッピーディスク本体を示し、図１１(a) は、フロッピー
ディスク本体Ｄの物理フォーマットの例を示している。
フロッピーディスク本体ＤはケースＦ内に内蔵され、該
ディスク本体Ｄの表面には、同心円状に外周からは内周
に向かって複数のトラックＴｒが形成され、各トラック
は角度方向に１６のセクタＳｅに分割されている。従っ
て、上記プログラムを格納したフロッピーディスク本体
Ｄでは、上記フロッピーディスク本体Ｄ上に割り当てら
れた領域に、上記プログラムとしてのデータが記録され
ている。
正面からみた外観、断面構造、及び記録媒体であるフロ
ッピーディスク本体を示し、図１１(a) は、フロッピー
ディスク本体Ｄの物理フォーマットの例を示している。
フロッピーディスク本体ＤはケースＦ内に内蔵され、該
ディスク本体Ｄの表面には、同心円状に外周からは内周
に向かって複数のトラックＴｒが形成され、各トラック
は角度方向に１６のセクタＳｅに分割されている。従っ
て、上記プログラムを格納したフロッピーディスク本体
Ｄでは、上記フロッピーディスク本体Ｄ上に割り当てら
れた領域に、上記プログラムとしてのデータが記録され
ている。
【０１４１】また、図１１(c) は、フロッピーディスク
ＦＤに上記プログラムの記録再生を行うための構成を示
す。上記プログラムをフロッピーディスクＦＤに記録す
る場合は、コンピュータシステムＣｓから上記プログラ
ムとしてのデータをフロッピーディスクドライブＦDDを
介して書き込む。また、フロッピーディスクＦＤ内のプ
ログラムにより上記画像符号化処理あるいは画像復号化
処理をコンピュータシステムＣｓ中に構築する場合は、
フロッピーディスクドライブＦDDによりプログラムをフ
ロッピーディスクＦＤから読み出し、コンピュータシス
テムＣｓに転送する。
ＦＤに上記プログラムの記録再生を行うための構成を示
す。上記プログラムをフロッピーディスクＦＤに記録す
る場合は、コンピュータシステムＣｓから上記プログラ
ムとしてのデータをフロッピーディスクドライブＦDDを
介して書き込む。また、フロッピーディスクＦＤ内のプ
ログラムにより上記画像符号化処理あるいは画像復号化
処理をコンピュータシステムＣｓ中に構築する場合は、
フロッピーディスクドライブＦDDによりプログラムをフ
ロッピーディスクＦＤから読み出し、コンピュータシス
テムＣｓに転送する。
【０１４２】なお、上記説明では、データ記録媒体とし
てフロッピーディスクを用いたコンピュータシステムに
よる画像処理の説明を行ったが、この画像処理は、光デ
ィスクを用いても同様に行うことができる。また、記録
媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、
プログラムを記録できるものであれば同様に実施するこ
とができる。
てフロッピーディスクを用いたコンピュータシステムに
よる画像処理の説明を行ったが、この画像処理は、光デ
ィスクを用いても同様に行うことができる。また、記録
媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、
プログラムを記録できるものであれば同様に実施するこ
とができる。
【０１４３】
【発明の効果】以上のように本発明（請求項１）に係る
画像処理方法によれば、画像入力信号の符号化処理にお
ける演算負荷の大きさを検出し、該検出した演算負荷の
大きさに応じて、上記画像入力信号の予測信号を生成す
る処理における予測方法を切り替えるので、上記予測信
号生成処理における演算負荷量が、画像入力信号の符号
化処理を行うシステムの演算処理能力を超えるのを回避
することができ、これにより復号化側で、実時間処理に
より再生される映像にてコマ落ちなどが生じるといった
不具合を防止することができ、この結果、予測信号生成
処理に起因するシテスムの演算負荷の増大が再生画像の
画質に大きな悪影響を及ぼすのを防止することができ
る。
画像処理方法によれば、画像入力信号の符号化処理にお
ける演算負荷の大きさを検出し、該検出した演算負荷の
大きさに応じて、上記画像入力信号の予測信号を生成す
る処理における予測方法を切り替えるので、上記予測信
号生成処理における演算負荷量が、画像入力信号の符号
化処理を行うシステムの演算処理能力を超えるのを回避
することができ、これにより復号化側で、実時間処理に
より再生される映像にてコマ落ちなどが生じるといった
不具合を防止することができ、この結果、予測信号生成
処理に起因するシテスムの演算負荷の増大が再生画像の
画質に大きな悪影響を及ぼすのを防止することができ
る。
【０１４４】この発明（請求項２）によれば、請求項１
記載の画像処理方法において、実時間での上記予測信号
生成処理に必要な演算処理量を基準として得られる演算
負荷の閾値と、上記検出した演算負荷の大きさとの比較
結果に基づいて、演算処理量の大きい第１の予測方法と
演算処理量の少ない第２の予測方法との間で、上記予測
信号生成処理における予測方法を切り替えるので、再生
画像の画質の劣化を招くことなく、符号化効率を向上す
ることができる。
記載の画像処理方法において、実時間での上記予測信号
生成処理に必要な演算処理量を基準として得られる演算
負荷の閾値と、上記検出した演算負荷の大きさとの比較
結果に基づいて、演算処理量の大きい第１の予測方法と
演算処理量の少ない第２の予測方法との間で、上記予測
信号生成処理における予測方法を切り替えるので、再生
画像の画質の劣化を招くことなく、符号化効率を向上す
ることができる。
【０１４５】この発明（請求項３）によれば、請求項１
記載の画像処理方法において、実時間での上記信号生成
処理に必要な演算処理能力に基づいた演算負荷の閾値
と、上記検出した演算負荷の大きさとの比較結果に基づ
いて、上記信号生成処理における予測方法として、演算
処理量が異なる複数の予測方法のうちから、検出した演
算負荷の大きさに適した予測方法を選択するので、演算
処理量の切替をきめ細かく行うことができる。また、そ
の信号処理量が符号化処理全体の信号処理量に占める割
合の大きい動き予測処理が切り替わることとなり、画像
伝送システムにおける演算負荷を大きく減少させること
が可能となる。
記載の画像処理方法において、実時間での上記信号生成
処理に必要な演算処理能力に基づいた演算負荷の閾値
と、上記検出した演算負荷の大きさとの比較結果に基づ
いて、上記信号生成処理における予測方法として、演算
処理量が異なる複数の予測方法のうちから、検出した演
算負荷の大きさに適した予測方法を選択するので、演算
処理量の切替をきめ細かく行うことができる。また、そ
の信号処理量が符号化処理全体の信号処理量に占める割
合の大きい動き予測処理が切り替わることとなり、画像
伝送システムにおける演算負荷を大きく減少させること
が可能となる。
【０１４６】この発明（請求項４）によれば、請求項１
記載の画像処理方法において、実時間での上記信号生成
処理に必要な演算処理能力に基づいた演算負荷の閾値
と、上記検出した演算負荷の大きさとの比較結果に基づ
いて、上記信号生成処理における動き予測処理の方法
を、必要となる演算処理量が多い動き予測方法と、必要
となる演算処理量が少ない動き予測方法との間で切り替
え、かつ上記比較結果に基づいて、上記信号生成処理に
おける動き補償処理の方法を、必要となる演算処理量が
多い動き補償方法と、必要となる演算処理量が少ない動
き補償方法との間で切り替えるようにしたので、演算処
理量の切替を、大きな範囲にわたって比較的きめ細かく
行うことができる。
記載の画像処理方法において、実時間での上記信号生成
処理に必要な演算処理能力に基づいた演算負荷の閾値
と、上記検出した演算負荷の大きさとの比較結果に基づ
いて、上記信号生成処理における動き予測処理の方法
を、必要となる演算処理量が多い動き予測方法と、必要
となる演算処理量が少ない動き予測方法との間で切り替
え、かつ上記比較結果に基づいて、上記信号生成処理に
おける動き補償処理の方法を、必要となる演算処理量が
多い動き補償方法と、必要となる演算処理量が少ない動
き補償方法との間で切り替えるようにしたので、演算処
理量の切替を、大きな範囲にわたって比較的きめ細かく
行うことができる。
【０１４７】この発明（請求項５）によれば、請求項１
記載の画像処理方法において、実時間での上記信号生成
処理に必要な演算処理能力に基づいた演算負荷の閾値
と、上記検出した演算負荷の大きさとの比較結果に基づ
いて、上記信号生成処理における動き予測処理の方法
を、画素精度の高い動きベクトルを求める動き予測方法
と、画素精度の低い動きベクトルを求める動き予測方法
との間で切り替えるので、画素精度の切替えという比較
的簡単な処理により、再生画像の画質の劣化を招くこと
なく、符号化効率を向上することができる。
記載の画像処理方法において、実時間での上記信号生成
処理に必要な演算処理能力に基づいた演算負荷の閾値
と、上記検出した演算負荷の大きさとの比較結果に基づ
いて、上記信号生成処理における動き予測処理の方法
を、画素精度の高い動きベクトルを求める動き予測方法
と、画素精度の低い動きベクトルを求める動き予測方法
との間で切り替えるので、画素精度の切替えという比較
的簡単な処理により、再生画像の画質の劣化を招くこと
なく、符号化効率を向上することができる。
【０１４８】この発明（請求項６）によれば、請求項１
記載の画像処理方法において、実時間での上記信号生成
処理に必要な演算処理能力に基づいた演算負荷の閾値
と、上記検出した演算負荷の大きさとの比較結果に基づ
いて、上記信号生成処理における動き補償処理の方法
を、画素精度の高い動きベクトルに基づいて上記予測画
像入力信号を求める動き補償方法と、画素精度の低い動
きベクトルに基づいて上記予測画像入力信号を求める動
き補償方法との間で切り替えるので、画素精度の切り替
えという比較的簡単な処理により、画像伝送システムに
おける演算負荷を大きく減少させることが可能となる。
記載の画像処理方法において、実時間での上記信号生成
処理に必要な演算処理能力に基づいた演算負荷の閾値
と、上記検出した演算負荷の大きさとの比較結果に基づ
いて、上記信号生成処理における動き補償処理の方法
を、画素精度の高い動きベクトルに基づいて上記予測画
像入力信号を求める動き補償方法と、画素精度の低い動
きベクトルに基づいて上記予測画像入力信号を求める動
き補償方法との間で切り替えるので、画素精度の切り替
えという比較的簡単な処理により、画像伝送システムに
おける演算負荷を大きく減少させることが可能となる。
【０１４９】この発明（請求項７）によれば、請求項６
記載の画像処理方法において、上記演算負荷の閾値と演
算負荷の大きさとの比較結果に基づいて、上記画素精度
の高い動きベクトルに基づいて行われる動き補償方法の
種類を、演算負荷の大きい第１の動き補償方法と、演算
負荷の小さい第２の動き補償方法との間で切り替えると
ともに、上記演算負荷の閾値と演算負荷の大きさとの比
較結果に基づいて、上記画素精度の低い動きベクトルに
基づいて行われる動き補償方法の種類を、演算負荷の大
きい第１の動き補償方法と、演算負荷の小さい第２の動
き補償方法との間で切り替えるので、演算処理量の切替
を、比較的大きな範囲にわたって比較的きめ細かく行う
ことができる。
記載の画像処理方法において、上記演算負荷の閾値と演
算負荷の大きさとの比較結果に基づいて、上記画素精度
の高い動きベクトルに基づいて行われる動き補償方法の
種類を、演算負荷の大きい第１の動き補償方法と、演算
負荷の小さい第２の動き補償方法との間で切り替えると
ともに、上記演算負荷の閾値と演算負荷の大きさとの比
較結果に基づいて、上記画素精度の低い動きベクトルに
基づいて行われる動き補償方法の種類を、演算負荷の大
きい第１の動き補償方法と、演算負荷の小さい第２の動
き補償方法との間で切り替えるので、演算処理量の切替
を、比較的大きな範囲にわたって比較的きめ細かく行う
ことができる。
【０１５０】この発明（請求項８）によれば、請求項１
記載の画像処理方法において、実時間での上記信号生成
処理に必要な演算処理能力に基づいた演算負荷の閾値
と、上記検出した演算負荷の大きさとの比較結果に基づ
いて、上記信号生成処理における動き補償処理の方法と
して、それぞれ画素精度の異なる動きベクトルを用いる
複数の動き補償方法の１つを選択するので、画素精度の
切り替えという比較的簡単な処理により、演算処理量の
切替をきめ細かく行うことができる。
記載の画像処理方法において、実時間での上記信号生成
処理に必要な演算処理能力に基づいた演算負荷の閾値
と、上記検出した演算負荷の大きさとの比較結果に基づ
いて、上記信号生成処理における動き補償処理の方法と
して、それぞれ画素精度の異なる動きベクトルを用いる
複数の動き補償方法の１つを選択するので、画素精度の
切り替えという比較的簡単な処理により、演算処理量の
切替をきめ細かく行うことができる。
【０１５１】この発明（請求項９）に係る画像処理方法
によれば、画像符号化信号の復号化処理における演算負
荷の大きさを検出し、該検出した演算負荷の大きさに応
じて、画像復号化信号に対する予測信号を生成する処理
における動き補償方法を切り替えるので、上記予測信号
生成処理における演算負荷量が、画像符号化信号の復号
化処理を行うシステムの演算処理能力を超えるのを回避
することができ、これにより、実時間処理により再生さ
れる映像にてコマ落ちなどが生じるといった不具合を防
止することができる。この結果、上記予測信号生成処理
に起因するシテスムの演算負荷の増大が再生画像の画質
に大きな悪影響を及ぼすのを防止することができる。
によれば、画像符号化信号の復号化処理における演算負
荷の大きさを検出し、該検出した演算負荷の大きさに応
じて、画像復号化信号に対する予測信号を生成する処理
における動き補償方法を切り替えるので、上記予測信号
生成処理における演算負荷量が、画像符号化信号の復号
化処理を行うシステムの演算処理能力を超えるのを回避
することができ、これにより、実時間処理により再生さ
れる映像にてコマ落ちなどが生じるといった不具合を防
止することができる。この結果、上記予測信号生成処理
に起因するシテスムの演算負荷の増大が再生画像の画質
に大きな悪影響を及ぼすのを防止することができる。
【０１５２】この発明（請求項１０）によれば、請求項
９記載の画像処理方法において、実時間での上記予測信
号生成処理に必要な演算処理量を基準として得られる演
算負荷の閾値と、上記検出した演算負荷の大きさとの比
較結果に基づいて、演算処理量の小さい第１の動き補償
方法と演算処理量の多い第２の動き補償方法との間で、
上記予測信号生成処理における動き補償方法を切り替え
るので、再生画像の画質の劣化を招くことなく符号化効
率を向上できる符号化処理に対応した復号化処理を実現
することができる。
９記載の画像処理方法において、実時間での上記予測信
号生成処理に必要な演算処理量を基準として得られる演
算負荷の閾値と、上記検出した演算負荷の大きさとの比
較結果に基づいて、演算処理量の小さい第１の動き補償
方法と演算処理量の多い第２の動き補償方法との間で、
上記予測信号生成処理における動き補償方法を切り替え
るので、再生画像の画質の劣化を招くことなく符号化効
率を向上できる符号化処理に対応した復号化処理を実現
することができる。
【０１５３】この発明（請求項１１）によれば、請求項
９記載の画像処理方法において、実時間での上記信号生
成処理に必要な演算処理能力に基づいた演算負荷の閾値
と、上記検出した演算負荷の大きさとの比較結果に基づ
いて、上記信号生成処理における動き補償方法として、
演算処理量が異なる複数の動き補償方法のうちから、検
出した演算負荷の大きさに適した動き補償方法を選択す
るので、演算処理量の切替をきめ細かく行うことができ
る。
９記載の画像処理方法において、実時間での上記信号生
成処理に必要な演算処理能力に基づいた演算負荷の閾値
と、上記検出した演算負荷の大きさとの比較結果に基づ
いて、上記信号生成処理における動き補償方法として、
演算処理量が異なる複数の動き補償方法のうちから、検
出した演算負荷の大きさに適した動き補償方法を選択す
るので、演算処理量の切替をきめ細かく行うことができ
る。
【０１５４】この発明（請求項１２）によれば、請求項
９記載の画像処理方法において、実時間での上記信号生
成処理に必要な演算処理能力に基づいた演算負荷の閾値
と、上記検出した演算負荷の大きさとの比較結果に基づ
いて、上記信号生成処理における動き補償方法を、画素
精度の高い動きベクトルに基づいて上記予測画像復号化
信号を求める動き補償方法と、画素精度の低い動きベク
トルに基づいて上記予測画像復号化信号を求める動き補
償方法との間で切り替えるので、画素精度の切り替えと
いう比較的簡単な処理により、演算処理量の切替を行う
ことができる。
９記載の画像処理方法において、実時間での上記信号生
成処理に必要な演算処理能力に基づいた演算負荷の閾値
と、上記検出した演算負荷の大きさとの比較結果に基づ
いて、上記信号生成処理における動き補償方法を、画素
精度の高い動きベクトルに基づいて上記予測画像復号化
信号を求める動き補償方法と、画素精度の低い動きベク
トルに基づいて上記予測画像復号化信号を求める動き補
償方法との間で切り替えるので、画素精度の切り替えと
いう比較的簡単な処理により、演算処理量の切替を行う
ことができる。
【０１５５】この発明（請求項１３）によれば、請求項
１２記載の画像処理方法において、上記演算負荷の閾値
と演算負荷の大きさとの比較結果に基づいて、上記画素
精度の高い動きベクトルに基づいて行われる動き補償方
法の種類を、演算負荷の大きい第１の動き補償方法と、
演算負荷の小さい第２の動き補償方法との間で切り替え
るとともに、上記演算負荷の閾値と演算負荷の大きさと
の比較結果に基づいて、上記画素精度の低い動きベクト
ルに基づいて行われる動き補償方法の種類を、演算負荷
の大きい第１の動き補償方法と、演算負荷の小さい第２
の動き補償方法との間で切り替えるので、演算処理量の
切替を比較的きめ細かくしかも大きな範囲にわたって行
うことができる。
１２記載の画像処理方法において、上記演算負荷の閾値
と演算負荷の大きさとの比較結果に基づいて、上記画素
精度の高い動きベクトルに基づいて行われる動き補償方
法の種類を、演算負荷の大きい第１の動き補償方法と、
演算負荷の小さい第２の動き補償方法との間で切り替え
るとともに、上記演算負荷の閾値と演算負荷の大きさと
の比較結果に基づいて、上記画素精度の低い動きベクト
ルに基づいて行われる動き補償方法の種類を、演算負荷
の大きい第１の動き補償方法と、演算負荷の小さい第２
の動き補償方法との間で切り替えるので、演算処理量の
切替を比較的きめ細かくしかも大きな範囲にわたって行
うことができる。
【０１５６】この発明（請求項１４）に係る画像処理装
置によれば、符号化処理の対象となる対象単位領域の画
像入力信号を所定の方法により予測して予測信号を生成
する予測処理部を、画像入力信号の符号化処理における
演算負荷の大きさを検出する演算負荷検出手段を有し、
該検出した演算負荷の大きさに応じて、上記予測信号生
成処理における予測方法を切り替える構成としたので、
上記予測信号生成処理における演算負荷量が、画像入力
信号の符号化処理を行うシステムの演算処理能力を超え
るのを回避することができ、これにより復号化側で、実
時間処理により再生される映像にてコマ落ちなどが生じ
るといった不具合を防止することができる。この結果、
予測信号の生成処理に起因するシテスムの演算負荷の増
大が再生画像の画質に大きな悪影響を及ぼすのを防止す
ることができる。
置によれば、符号化処理の対象となる対象単位領域の画
像入力信号を所定の方法により予測して予測信号を生成
する予測処理部を、画像入力信号の符号化処理における
演算負荷の大きさを検出する演算負荷検出手段を有し、
該検出した演算負荷の大きさに応じて、上記予測信号生
成処理における予測方法を切り替える構成としたので、
上記予測信号生成処理における演算負荷量が、画像入力
信号の符号化処理を行うシステムの演算処理能力を超え
るのを回避することができ、これにより復号化側で、実
時間処理により再生される映像にてコマ落ちなどが生じ
るといった不具合を防止することができる。この結果、
予測信号の生成処理に起因するシテスムの演算負荷の増
大が再生画像の画質に大きな悪影響を及ぼすのを防止す
ることができる。
【０１５７】この発明（請求項１５）によれば、請求項
１４記載の画像処理装置において、上記予測処理部を構
成する動き検出器を、被処理画面における対象単位領域
と、これに対応する、前画面における予測領域との位置
関係を示す動きベクトルとして、上記検出された演算負
荷の大きさに応じて、画素精度の低い第１の動きベクト
ルと画素精度の高い第２の動きベクトルのいずれかを出
力する構成としたので、再生画像の画質の劣化を招くこ
となく、符号化効率を向上することができる。
１４記載の画像処理装置において、上記予測処理部を構
成する動き検出器を、被処理画面における対象単位領域
と、これに対応する、前画面における予測領域との位置
関係を示す動きベクトルとして、上記検出された演算負
荷の大きさに応じて、画素精度の低い第１の動きベクト
ルと画素精度の高い第２の動きベクトルのいずれかを出
力する構成としたので、再生画像の画質の劣化を招くこ
となく、符号化効率を向上することができる。
【０１５８】この発明（請求項１６）に係る画像処理装
置によれば、復号化処理の対象となる対象単位領域の画
像復号化信号を所定の動き補償方法により予測して予測
信号を生成する予測処理部を、画像符号化信号の復号化
処理における演算負荷の大きさを検出する演算負荷検出
手段を備え、該検出した演算負荷の大きさに応じて、上
記予測信号生成処理における動き補償方法を切り替える
構成としたので、該予測信号生成処理における演算処理
量が、画像符号化信号の復号化処理を行うシステムの演
算処理能力を超えるのを回避することができ、これによ
り、実時間処理により再生される映像にてコマ落ちなど
が生じるといった不具合を防止することができる。この
結果、予測信号生成処理に起因するシテスムの演算負荷
の増大が再生画像の画質に大きな悪影響を及ぼすのを防
止することができる。
置によれば、復号化処理の対象となる対象単位領域の画
像復号化信号を所定の動き補償方法により予測して予測
信号を生成する予測処理部を、画像符号化信号の復号化
処理における演算負荷の大きさを検出する演算負荷検出
手段を備え、該検出した演算負荷の大きさに応じて、上
記予測信号生成処理における動き補償方法を切り替える
構成としたので、該予測信号生成処理における演算処理
量が、画像符号化信号の復号化処理を行うシステムの演
算処理能力を超えるのを回避することができ、これによ
り、実時間処理により再生される映像にてコマ落ちなど
が生じるといった不具合を防止することができる。この
結果、予測信号生成処理に起因するシテスムの演算負荷
の増大が再生画像の画質に大きな悪影響を及ぼすのを防
止することができる。
【０１５９】この発明（請求項１７）によれば、請求項
１６記載の画像処理装置において、上記予測処理部を構
成する動き補償器を、上記画像符号化信号に含まれる動
きベクトル情報に基づいて、対象単位領域に対する予測
信号を生成する処理を、上記検出された演算負荷の大き
さに応じて、符号化効率のよいものと演算処理量の少な
いものとの間で選択して行うようにしたので、再生画像
の画質の劣化を招くことなく符号化効率を向上できる符
号化処理に対応した復号化処理を実現できる。
１６記載の画像処理装置において、上記予測処理部を構
成する動き補償器を、上記画像符号化信号に含まれる動
きベクトル情報に基づいて、対象単位領域に対する予測
信号を生成する処理を、上記検出された演算負荷の大き
さに応じて、符号化効率のよいものと演算処理量の少な
いものとの間で選択して行うようにしたので、再生画像
の画質の劣化を招くことなく符号化効率を向上できる符
号化処理に対応した復号化処理を実現できる。
【０１６０】この発明（請求項１８）に係るデータ記憶
媒体によれば、画像信号の符号化処理を行うためのプロ
グラムとして、画像入力信号の符号化処理における演算
負荷の大きさを検出する処理、及び該検出した演算負荷
の大きさに応じて、画像入力信号の予測信号を生成する
処理における予測方法を切り替える処理をコンピュータ
に行わせるプログラムを格納したので、該予測信号生成
処理における演算負荷量が、画像入力信号の符号化処理
を行うシステムの演算処理能力を超えるのを回避して、
復号化側で、実時間処理により再生される映像にてコマ
落ちなどが生じるといった不具合を防止することができ
る符号化処理をコンピュータにより実現することができ
る。
媒体によれば、画像信号の符号化処理を行うためのプロ
グラムとして、画像入力信号の符号化処理における演算
負荷の大きさを検出する処理、及び該検出した演算負荷
の大きさに応じて、画像入力信号の予測信号を生成する
処理における予測方法を切り替える処理をコンピュータ
に行わせるプログラムを格納したので、該予測信号生成
処理における演算負荷量が、画像入力信号の符号化処理
を行うシステムの演算処理能力を超えるのを回避して、
復号化側で、実時間処理により再生される映像にてコマ
落ちなどが生じるといった不具合を防止することができ
る符号化処理をコンピュータにより実現することができ
る。
【０１６１】この発明（請求項１９）に係るデータ記憶
媒体は、画像符号化信号の復号化処理を行うためのプロ
グラムとして、上記画像符号化信号の復号化処理におけ
る演算負荷の大きさを検出する処理、及び該検出した演
算負荷の大きさに応じて、画像復号化信号の予測信号を
生成する処理における動き補償方法を切り替える処理を
コンピュータに行わせるプログラムを格納したので、該
予測信号生成処理における演算負荷量が、画像符号化信
号の復号化処理を行うシステムの演算処理能力を超える
のを回避して、実時間処理により再生される映像にてコ
マ落ちなどが生じるといった不具合を防止することがで
きる復号化処理をコンピュータにより実現することがで
きる。
媒体は、画像符号化信号の復号化処理を行うためのプロ
グラムとして、上記画像符号化信号の復号化処理におけ
る演算負荷の大きさを検出する処理、及び該検出した演
算負荷の大きさに応じて、画像復号化信号の予測信号を
生成する処理における動き補償方法を切り替える処理を
コンピュータに行わせるプログラムを格納したので、該
予測信号生成処理における演算負荷量が、画像符号化信
号の復号化処理を行うシステムの演算処理能力を超える
のを回避して、実時間処理により再生される映像にてコ
マ落ちなどが生じるといった不具合を防止することがで
きる復号化処理をコンピュータにより実現することがで
きる。
【図１】本発明の実施の形態１による画像符号化装置を
説明するためのブロック図である。
説明するためのブロック図である。
【図２】上記実施の形態１の画像符号化装置による符号
化処理（図(a) ）及び予測信号の生成処理（図(b) ）を
フローチャートにより示す図である。
化処理（図(a) ）及び予測信号の生成処理（図(b) ）を
フローチャートにより示す図である。
【図３】上記実施の形態１の変形例１，２の画像符号化
装置による予測信号の生成処理（図(a) ，(b) ）をフロ
ーチャートにより示す図である。
装置による予測信号の生成処理（図(a) ，(b) ）をフロ
ーチャートにより示す図である。
【図４】本発明の実施の形態２による画像復号化装置を
説明するためのブロック図である。
説明するためのブロック図である。
【図５】上記実施の形態２の画像復号化装置による復号
化処理（図(a) ）、及び動き補償処理（図(b) ）をフロ
ーチャートにより示す図である。
化処理（図(a) ）、及び動き補償処理（図(b) ）をフロ
ーチャートにより示す図である。
【図６】上記実施の形態２の変形例１，２，３の画像復
号化装置による動き補償処理（図(a) ，(b) ，(c) ）を
フローチャートにより示す図である。
号化装置による動き補償処理（図(a) ，(b) ，(c) ）を
フローチャートにより示す図である。
【図７】従来のＭＰＥＧ１，２に対応した画像復号化方
法における動き補償処理を説明するための図である。
法における動き補償処理を説明するための図である。
【図８】１６×１６画素からなるマクロブロックと８×
８画素からなるブロックとの関係を示す図である。
８画素からなるブロックとの関係を示す図である。
【図９】従来の画像復号化方法におけるオーバーラップ
動き補償方法を説明するための図である。
動き補償方法を説明するための図である。
【図１０】上記オーバーラップ動き補償方法における予
測信号の生成処理を説明するための図である。
測信号の生成処理を説明するための図である。
【図１１】図１１(a) ，(b) ，(c) は上記各実施の形態
の画像処理装置による符号化あるいは復号化処理をコン
ピュータシステムにより実現するためのプログラムを格
納したデータ記憶媒体について説明するための図であ
る。
の画像処理装置による符号化あるいは復号化処理をコン
ピュータシステムにより実現するためのプログラムを格
納したデータ記憶媒体について説明するための図であ
る。
【図１２】従来のＭＰＥＧ４に対応した画像復号化方法
における動き補償処理を説明するための図である。
における動き補償処理を説明するための図である。
１００ 画像符号化装置 １０１ ブロック化器 １０２ 第１のスイッチ １０３ 情報圧縮器 １０４ 可変長符号化器 １０５ モード判定器 １０６ 減算器 １１０，２１０ 予測信号生成部 １１１ 加算処理部 １１１ａ 第２のスイッチ １１１ｂ，２０３ 加算器 １１２，２０２ 情報伸長器 １１３，２１１ フレームメモリ １１４，２１３ 負荷判定器 １２０ 演算処理部 １２１ 動き検出器 １２２，２１２ 動き補償器 ２００ 画像復号化装置 ２０１ データ解析器 ２０４ 逆ブロック化器 ２１４ スイッチ Ｃｓ コンピュータ・システム Ｄ フロッピディスク本体 ＦＤ フロッピディスク ＦDD フロッピディスクドライブ
Claims (19)
- 【請求項１】 画像入力信号を、画面を区分する単位領
域毎に符号化して画像符号化信号を出力するとともに、
該画像符号化信号を復号化して得られる画像復号化信号
に基づいて、符号化処理の対象となる対象単位領域に対
応する予測画像入力信号を所定の予測方法に基づく演算
により生成する信号生成処理を、所要の単位領域に対し
て行う画像符号化方法であって、 上記画像入力信号の符号化処理における演算負荷の大き
さを検出し、 該検出した演算負荷の大きさに応じて、上記信号生成処
理における予測方法を切り替えることを特徴とする画像
処理方法。 - 【請求項２】 請求項１記載の画像処理方法において、 実時間での上記信号生成処理に必要な演算処理能力に基
づいた演算負荷の閾値と、上記検出した演算負荷の大き
さとの比較結果に基づいて、上記信号生成処理における
予測方法を、必要となる演算処理量が多い第１の予測方
法と、必要となる演算処理量が少ない第２の予測方法と
の間で切り替えることを特徴とする画像処理方法。 - 【請求項３】 請求項１記載の画像処理方法において、 実時間での上記信号生成処理に必要な演算処理能力に基
づいた演算負荷の閾値と、上記検出した演算負荷の大き
さとの比較結果に基づいて、上記信号生成処理における
予測方法として、演算処理量が異なる複数の予測方法の
うちから、検出した演算負荷の大きさに適した予測方法
を選択することを特徴とする画像処理方法。 - 【請求項４】 請求項１記載の画像処理方法において、 上記信号生成処理は、 上記対象単位領域に対応する予測領域の位置を所定の画
素精度でもって示す動きベクトルを求める動き予測処理
と、該動きベクトルに基づいて予測領域に対応する画像
信号を上記予測画像入力信号として求める動き補償処理
とを含むものであり、 実時間での上記信号生成処理に必要な演算処理能力に基
づいた演算負荷の閾値と、上記検出した演算負荷の大き
さとの比較結果に基づいて、上記信号生成処理における
動き予測処理の方法を、必要となる演算処理量が多い動
き予測方法と、必要となる演算処理量が少ない動き予測
方法との間で切り替え、 かつ上記比較結果に基づいて、上記信号生成処理におけ
る動き補償処理の方法を、必要となる演算処理量が多い
動き補償方法と、必要となる演算処理量が少ない動き補
償方法との間で切り替えることを特徴とする画像処理方
法。 - 【請求項５】 請求項１記載の画像処理方法において、 上記信号生成処理は、 上記対象単位領域に対応する予測領域の位置を所定の画
素精度でもって示す動きベクトルを求める動き予測処理
と、該動きベクトルに基づいて予測領域に対応する画像
信号を上記予測画像入力信号として求める動き補償処理
とを含むものであり、 実時間での上記信号生成処理に必要な演算処理能力に基
づいた演算負荷の閾値と、上記検出した演算負荷の大き
さとの比較結果に基づいて、上記信号生成処理における
動き予測処理の方法を、画素精度の高い動きベクトルを
求める動き予測方法と、画素精度の低い動きベクトルを
求める動き予測方法との間で切り替えることを特徴とす
る画像処理方法。 - 【請求項６】 請求項１記載の画像処理方法において、 上記信号生成処理は、 上記対象単位領域に対応する予測領域の位置を所定の画
素精度でもって示す動きベクトルを求める動き予測処理
と、該動きベクトルに基づいて予測領域に対応する画像
信号を上記予測画像入力信号として求める動き補償処理
とを含むものであり、 実時間での上記信号生成処理に必要な演算処理能力に基
づいた演算負荷の閾値と、上記検出した演算負荷の大き
さとの比較結果に基づいて、上記信号生成処理における
動き補償処理の方法を、画素精度の高い動きベクトルに
基づいて上記予測画像入力信号を求める動き補償方法
と、画素精度の低い動きベクトルに基づいて上記予測画
像入力信号を求める動き補償方法との間で切り替えるこ
とを特徴とする画像処理方法。 - 【請求項７】 請求項６記載の画像処理方法において、 上記演算負荷の閾値と演算負荷の大きさとの比較結果に
基づいて、上記画素精度の高い動きベクトルに基づいて
行われる動き補償方法の種類を、演算負荷の大きい第１
の動き補償方法と、演算負荷の小さい第２の動き補償方
法との間で切り替えるとともに、 上記演算負荷の閾値と演算負荷の大きさとの比較結果に
基づいて、上記画素精度の低い動きベクトルに基づいて
行われる動き補償方法の種類を、演算負荷の大きい第１
の動き補償方法と、演算負荷の小さい第２の動き補償方
法との間で切り替えることを特徴とする画像処理方法。 - 【請求項８】 請求項１記載の画像処理方法において、 上記信号生成処理は、 上記対象単位領域に対応する予測領域の位置を所定の画
素精度でもって示す動きベクトルを求める動き予測処理
と、該動きベクトルに基づいて予測領域に対応する画像
信号を上記予測画像入力信号として求める動き補償処理
とを含むものであり、 実時間での上記信号生成処理に必要な演算処理能力に基
づいた演算負荷の閾値と、上記検出した演算負荷の大き
さとの比較結果に基づいて、上記信号生成処理における
動き補償処理の方法として、それぞれ画素精度の異なる
動きベクトルを用いる複数の動き補償方法の１つを選択
することを特徴とする画像処理方法。 - 【請求項９】 入力された画像符号化信号を、画面を区
分する単位領域毎に復号化して画像復号化信号を出力す
るとともに、該画像復号化信号に基づいて、復号化処理
の対象となる対象単位領域に対応する予測画像復号化信
号を所定の動き補償方法に基づく演算により生成する信
号生成処理を、所要の単位領域に対して行う画像復号化
方法であって、 上記画像符号化信号の復号化処理における演算負荷の大
きさを検出し、 該検出した演算負荷の大きさに応じて、上記信号生成処
理における動き補償方法を切り替えることを特徴とする
画像処理方法。 - 【請求項１０】 請求項９記載の画像処理方法におい
て、 実時間での上記信号生成処理に必要な演算処理能力に基
づいた演算負荷の閾値と、上記検出した演算負荷の大き
さとの比較結果に基づいて、上記信号生成処理における
動き補償方法を、必要となる演算処理量が多い第１の動
き補償方法と、必要となる演算処理量が少ない第２の動
き補償方法との間で切り替えることを特徴とする画像処
理方法。 - 【請求項１１】 請求項９記載の画像処理方法におい
て、 実時間での上記信号生成処理に必要な演算処理能力に基
づいた演算負荷の閾値と、上記検出した演算負荷の大き
さとの比較結果に基づいて、上記信号生成処理における
動き補償方法として、演算処理量が異なる複数の動き補
償方法のうちから、検出した演算負荷の大きさに適した
動き補償方法を選択することを特徴とする画像処理方
法。 - 【請求項１２】 請求項９記載の画像処理方法におい
て、 実時間での上記信号生成処理に必要な演算処理能力に基
づいた演算負荷の閾値と、上記検出した演算負荷の大き
さとの比較結果に基づいて、上記信号生成処理における
動き補償方法を、画素精度の高い動きベクトルに基づい
て上記予測画像復号化信号を求める動き補償方法と、画
素精度の低い動きベクトルに基づいて上記予測画像復号
化信号を求める動き補償方法との間で切り替えることを
特徴とする画像処理方法。 - 【請求項１３】 請求項１２記載の画像処理方法におい
て、 上記演算負荷の閾値と演算負荷の大きさとの比較結果に
基づいて、上記画素精度の高い動きベクトルに基づいて
行われる動き補償方法の種類を、演算負荷の大きい第１
の動き補償方法と、演算負荷の小さい第２の動き補償方
法との間で切り替えるとともに、 上記演算負荷の閾値と演算負荷の大きさとの比較結果に
基づいて、上記画素精度の低い動きベクトルに基づいて
行われる動き補償方法の種類を、演算負荷の大きい第１
の動き補償方法と、演算負荷の小さい第２の動き補償方
法との間で切り替えることを特徴とする画像処理方法。 - 【請求項１４】 画像入力信号を、画面を区分する単位
領域毎に符号化して画像符号化信号を出力する符号化処
理部と、該画像符号化信号を復号化して得られる画像復
号化信号に基づいて、符号化処理の対象となる対象単位
領域に対応する予測画像入力信号を所定の予測方法に基
づく演算により生成する信号生成処理を、所要の単位領
域に対して行う予測処理部とを有する画像符号化装置で
あって、 上記予測処理部を、上記画像入力信号の符号化処理にお
ける演算負荷の大きさを検出する演算負荷検出手段を有
し、該検出した演算負荷の大きさに応じて、上記信号生
成処理における予測方法を切り替える構成としたことを
特徴とする画像処理装置。 - 【請求項１５】 請求項１４記載の画像処理装置におい
て、 上記予測処理部は、 符号化処理の対象となる被処理画面における対象単位領
域に対応する画像入力信号と、符号化処理が施された前
画面に対応する画像復号化信号とに基づいて、上記対象
単位領域に対する予測画像入力信号を与える前画面にお
ける予測領域の位置を示す動きベクトルを出力する動き
検出器と、 該動き検出器から出力される対象単位領域の動きベクト
ルに基づいて上記予測画像入力信号を算出する動き補償
器とを有し、 上記動き検出器は、 上記検出された演算負荷の大きさに応じて、画素精度の
低い第１の動きベクトルと画素精度の高い第２の動きベ
クトルのいずれかを上記動きベクトルとして上記動き補
償器に出力する構成となっていることを特徴とする画像
処理装置。 - 【請求項１６】 入力された画像符号化信号を、画面を
区分する単位領域毎に復号化して画像復号化信号を出力
する復号化処理部と、該画像復号化信号に基づいて、復
号化処理の対象となる対象単位領域に対応する予測画像
復号化信号を所定の動き補償方法に基づく演算により生
成する信号生成処理を、所要の単位領域に対して行う予
測処理部とを有する画像復号化装置であって、 上記予測処理部は、 上記画像符号化信号の復号化処理における演算負荷の大
きさを検出する演算負荷検出手段を備え、 該検出した演算負荷の大きさに応じて、上記信号生成処
理における動き補償方法を切り替える構成となっている
ことを特徴とする画像処理装置。 - 【請求項１７】 請求項１６記載の画像処理装置におい
て、 上記予測処理部は、 復号化処理の対象となる被処理画面より先に復号化処理
が施された前画面における、上記対象単位領域に対応す
る予測画像復号化信号を与える予測領域の位置を示す動
きベクトル情報に基づいて、上記予測画像復号化信号を
生成するものであって、 上記対象単位領域の動きベクトル情報に基づいて、該対
象単位領域に対応する予測画像復号化信号を算出する、
演算処理量の少ない第１の動き補償処理と、該対象単位
領域及びその周辺の単位領域の動きベクトル情報に基づ
いて該対象単位領域に対応する予測画像復号化信号を算
出する、演算処理量の大きい第２の動き補償処理のうち
の一方の処理を、上記検出された演算負荷の大きさに応
じて選択して行う動き補償器を有することを特徴とする
画像処理装置。 - 【請求項１８】 コンピュータに画像符号化処理を行わ
せるためのプログラムを格納したデータ記憶媒体であっ
て、 該プログラムは、 画像入力信号を、画面を区分する単位領域毎に符号化し
て画像符号化信号を出力するとともに、該画像符号化信
号を復号化して得られる画像復号化信号に基づいて、符
号化処理の対象となる対象単位領域に対応する予測画像
入力信号を所定の予測方法に基づく演算により生成する
信号生成処理を、所要の単位領域に対して行い、 この際、上記画像入力信号の符号化処理における演算負
荷の大きさを検出し、 該検出した演算負荷の大きさに応じて、上記信号生成処
理における予測方法を切り替える画像符号化処理を、 コンピュータが行うよう構成されていることを特徴とす
るデータ記憶媒体。 - 【請求項１９】 コンピュータに画像復号化処理を行わ
せるためのプログラムを格納したデータ記憶媒体であっ
て、 上記プログラムは、 入力された画像符号化信号を、画面を区分する単位領域
毎に復号化して画像復号化信号を出力するとともに、該
画像復号化信号に基づいて、復号化処理の対象となる対
象単位領域に対応する予測画像復号化信号を所定の動き
補償方法に基づく演算により生成する信号生成処理を、
所要の単位領域に対して行い、 この際、上記画像符号化信号の復号化処理における演算
負荷の大きさを検出し、 該検出した演算負荷の大きさに応じて、上記信号生成処
理における動き補償方法を切り替える画像復号化処理
を、 コンピュータが行うよう構成されていることを特徴とす
るデータ記憶媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34878298A JPH11239352A (ja) | 1997-12-10 | 1998-12-08 | 画像処理方法及び画像処理装置、並びにデータ記憶媒体 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9-339678 | 1997-12-10 | ||
| JP33967897 | 1997-12-10 | ||
| JP34878298A JPH11239352A (ja) | 1997-12-10 | 1998-12-08 | 画像処理方法及び画像処理装置、並びにデータ記憶媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH11239352A true JPH11239352A (ja) | 1999-08-31 |
Family
ID=26576493
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP34878298A Pending JPH11239352A (ja) | 1997-12-10 | 1998-12-08 | 画像処理方法及び画像処理装置、並びにデータ記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH11239352A (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004047453A1 (ja) * | 2002-11-20 | 2004-06-03 | Matsushita Electric Industrial Co., Ltd. | 動画像予測方法、動画像符号化方法及び装置、動画像復号化方法及び装置 |
| WO2004093458A1 (ja) * | 2003-04-15 | 2004-10-28 | Kanazawa University Technology Licensing Organization Ltd. | 動画像符号化又は復号化処理システム及び動画像符号化又は復号化処理方法 |
| WO2005011286A1 (ja) * | 2003-07-24 | 2005-02-03 | Matsushita Electric Industrial Co., Ltd. | 符号化モード決定装置、画像符号化装置、符号化モード決定方法、および符号化モード決定プログラム |
| JP2005160048A (ja) * | 2003-10-28 | 2005-06-16 | Matsushita Electric Ind Co Ltd | 面内予測符号化方法 |
| JP2006203280A (ja) * | 2005-01-18 | 2006-08-03 | Canon Inc | 画像復号方法及び装置 |
| JP2007235447A (ja) * | 2006-02-28 | 2007-09-13 | Toshiba Corp | 情報処理装置及び情報処理装置の動画像復号方法 |
| JP2007235456A (ja) * | 2006-02-28 | 2007-09-13 | Toshiba Corp | 動画像復号装置及び動画像復号方法 |
| JP2010050833A (ja) * | 2008-08-22 | 2010-03-04 | Canon Inc | 映像符号化装置 |
| JP2011013852A (ja) * | 2009-06-30 | 2011-01-20 | Toshiba Corp | 情報処理装置及び並列動作制御方法 |
-
1998
- 1998-12-08 JP JP34878298A patent/JPH11239352A/ja active Pending
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9723320B2 (en) | 2002-11-20 | 2017-08-01 | Godo Kaisha Ip Bridge 1 | Moving picture prediction method, moving picture coding method and apparatus, and moving picture decoding method and apparatus |
| WO2004047453A1 (ja) * | 2002-11-20 | 2004-06-03 | Matsushita Electric Industrial Co., Ltd. | 動画像予測方法、動画像符号化方法及び装置、動画像復号化方法及び装置 |
| US9729894B2 (en) | 2002-11-20 | 2017-08-08 | Godo Kaisha Ip Bridge 1 | Moving picture prediction method, moving picture coding method and apparatus, and moving picture decoding method and apparatus |
| US9232220B2 (en) | 2002-11-20 | 2016-01-05 | Godo Kaisha Ip Bridge 1 | Moving picture prediction method, moving picture coding method and apparatus, and moving picture decoding method and apparatus |
| US8553770B2 (en) | 2002-11-20 | 2013-10-08 | Panasonic Corporation | Moving picture prediction method, moving picture coding method and apparatus, and moving picture decoding method and apparatus |
| US9973773B2 (en) | 2002-11-20 | 2018-05-15 | Godo Kaisha Ip Bridge 1 | Moving picture prediction method, moving picture coding method and apparatus, and moving picture decoding method and apparatus |
| US9967584B2 (en) | 2002-11-20 | 2018-05-08 | Godo Kaisha Ip Bridge 1 | Moving picture prediction method, moving picture coding method and apparatus, and moving picture decoding method and apparatus |
| US7542510B2 (en) | 2002-11-20 | 2009-06-02 | Panasonic Corporation | Moving picture predicting method, moving image encoding method and device, and moving image decoding method and device |
| US8204119B2 (en) | 2002-11-20 | 2012-06-19 | Panasonic Corporation | Moving picture prediction method, moving picture coding method and apparatus, and moving picture decoding method and apparatus |
| US9451276B2 (en) | 2002-11-20 | 2016-09-20 | Godo Kaisha Ip Bridge 1 | Moving picture prediction method, moving picture coding method and apparatus, and moving picture decoding method and apparatus |
| US7848411B2 (en) | 2002-11-20 | 2010-12-07 | Panasonic Corporation | Moving picture prediction method, moving picture coding method and apparatus, and moving picture decoding method and apparatus |
| US8885713B2 (en) | 2002-11-20 | 2014-11-11 | Panasonic Intellectual Property Corporation Of America | Moving picture prediction method, moving picture coding method and apparatus, and moving picture decoding method and apparatus |
| WO2004093458A1 (ja) * | 2003-04-15 | 2004-10-28 | Kanazawa University Technology Licensing Organization Ltd. | 動画像符号化又は復号化処理システム及び動画像符号化又は復号化処理方法 |
| US8179963B2 (en) | 2003-07-24 | 2012-05-15 | Panasonic Corporation | Coding mode determining apparatus, image coding apparatus, coding mode determining method and coding mode determining program |
| WO2005011286A1 (ja) * | 2003-07-24 | 2005-02-03 | Matsushita Electric Industrial Co., Ltd. | 符号化モード決定装置、画像符号化装置、符号化モード決定方法、および符号化モード決定プログラム |
| JP2005160048A (ja) * | 2003-10-28 | 2005-06-16 | Matsushita Electric Ind Co Ltd | 面内予測符号化方法 |
| JP4515886B2 (ja) * | 2003-10-28 | 2010-08-04 | パナソニック株式会社 | 面内予測符号化方法 |
| JP4533157B2 (ja) * | 2005-01-18 | 2010-09-01 | キヤノン株式会社 | 画像復号方法 |
| JP2006203280A (ja) * | 2005-01-18 | 2006-08-03 | Canon Inc | 画像復号方法及び装置 |
| US8630347B2 (en) | 2006-02-28 | 2014-01-14 | Kabushiki Kaisha Toshiba | Video decoding apparatus and video decoding method |
| US8611433B2 (en) | 2006-02-28 | 2013-12-17 | Kabushiki Kaisha Toshiba | Information processing apparatus and video decoding method of information processing apparatus |
| JP4649347B2 (ja) * | 2006-02-28 | 2011-03-09 | 株式会社東芝 | 情報処理装置及び情報処理装置の動画像復号方法 |
| JP2007235456A (ja) * | 2006-02-28 | 2007-09-13 | Toshiba Corp | 動画像復号装置及び動画像復号方法 |
| JP2007235447A (ja) * | 2006-02-28 | 2007-09-13 | Toshiba Corp | 情報処理装置及び情報処理装置の動画像復号方法 |
| JP2010050833A (ja) * | 2008-08-22 | 2010-03-04 | Canon Inc | 映像符号化装置 |
| JP2011013852A (ja) * | 2009-06-30 | 2011-01-20 | Toshiba Corp | 情報処理装置及び並列動作制御方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4570532B2 (ja) | 動き検出装置、動き検出方法、集積回路およびプログラム | |
| KR100328417B1 (ko) | 화상부호화장치및화상복호화장치, 화상부보화방법 및 화상복호화방법, 및 데이터기억매체 | |
| JP4755093B2 (ja) | 画像符号化方法および画像符号化装置 | |
| US6571017B1 (en) | Method and apparatus for digital image coding and decoding, and data recording media | |
| US8477847B2 (en) | Motion compensation module with fast intra pulse code modulation mode decisions and methods for use therewith | |
| CN110876056B (zh) | 视频解码的方法和装置、计算机设备及存储介质 | |
| JP4884290B2 (ja) | 動画像復号化集積回路、動画像復号化方法、動画像復号化装置及び動画像復号化プログラム | |
| US8204127B2 (en) | Method and apparatus for encoding and decoding image by using multiple reference-based motion prediction | |
| CN113678441A (zh) | 跨分量滤波的方法和装置 | |
| US20070286284A1 (en) | Image coding apparatus and image coding method | |
| JP3855522B2 (ja) | 動画変換装置 | |
| JPWO2008136178A1 (ja) | 動き検出装置、動き検出方法、及び動き検出プログラム | |
| JPWO2006114954A1 (ja) | 映像情報記録装置、映像情報記録方法、映像情報記録プログラム、及び映像情報記録プログラムを記録した記録媒体 | |
| KR100345968B1 (ko) | 화상신호의고능률부호화,복호화장치및기록매체 | |
| US20070171977A1 (en) | Moving picture coding method and moving picture coding device | |
| US20080031335A1 (en) | Motion Detection Device | |
| JPH11239352A (ja) | 画像処理方法及び画像処理装置、並びにデータ記憶媒体 | |
| US6353683B1 (en) | Method and apparatus of image processing, and data storage media | |
| WO2013031071A1 (ja) | 動画像復号装置、動画像復号方法、及び集積回路 | |
| JP2011250400A (ja) | 動画像符号化装置及び動画像符号化方法 | |
| JP2007228560A (ja) | 動画像符号化方法および動画像符号化装置 | |
| KR20050085730A (ko) | 탄력 저장 | |
| JP2010081498A (ja) | 画像圧縮符号化方法、及び装置 | |
| JP2008136187A (ja) | トランスコード装置及びトランスコード方法 | |
| JPH11308617A (ja) | ディジタル画像符号化装置とこれに用いる動きベクトル検出装置 |