JPH1032824A

JPH1032824A - 動画像の輝度変化検出方法、動画像の輝度変化補償方法、動画像の位置検出方法および動画像符号化・復号装置

Info

Publication number: JPH1032824A
Application number: JP18622296A
Authority: JP
Inventors: Kazuto Kamikura; 一人上倉; Yutaka Watanabe; 裕渡辺; Hirotaka Jiyosawa; 裕尚如沢
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1996-07-16
Filing date: 1996-07-16
Publication date: 1998-02-03

Abstract

(57)【要約】【課題】大局的な輝度変化を検出し、補償する。【解決手段】動き検出部９では、ブロックＢ_i 内の各
輝度値からブロック内輝度平均値Ｍ_i を減じた各値と、
ブロックＢ'_i（ｐ，ｑ）内の各輝度値からブロック内輝
度平均値Ｍ'_i（ｐ，ｑ）を減じた各値との絶対値差分和
を求め、その絶対値差分和が最も小さくなる場合のｐ，
ｑの組合せをブロックＢ_i における動き量として決定
し、その値を動き補償部１０に送出するとともに出力端
子２４から外部へ送出すると同時に、その際の輝度平均
値の差をブロックＢ_i における輝度変化量ＤＢ_i として
輝度変化検出部１１に送出する。輝度変化検出部１１で
は、１フレーム分について各ブロック毎の輝度変化量Ｄ
Ｂ_i の頻度をカウントし、最も頻度が多かった値を第Ｎ
フレームにおける輝度変化量ＤＢとして決定する。加算
器１９は動き補償部１０からの動き補償されたデータに
輝度変化量ＤＢを加算する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ディジタル動画像
を効率よく伝送・蓄積する符号化方式や、動画像編集等
の際の画像処理方式において必要となる、画像フレーム
間の輝度変化および位置変化を検出し、補償する方法、
およびその技術を用いた動画像符号化装置・復号装置に
関する。

【０００２】

【従来の技術】動画像に対して画像フレーム間の位置変
化量を検出する技術として、従来から動き検出と呼ばれ
る技術が広く知られている。この技術の一手法として、
処理対象画像フレームと参照画像フレームとの間で、ブ
ロックと呼ばれる小領域毎に、ブロック内の輝度信号差
分の大きさを規範としたブロックマッチング法を適用し
て、動きベクトルと呼ばれる位置変化量を検出するもの
がある。この場合には位置変化量はブロック毎に検出さ
れるが、他の位置変化検出方法として、カメラのパンや
ズームといった操作により生じる画像フレーム全体の位
置変化量を検出する方法もある。

【０００３】また、位置変化量の補償とは、処理対象画
像フレームの各画素に対して、位置変化量だけずれた位
置にある参照画像フレームの画素を対応させることを意
味し、動き補償という名称で広く知られている。この技
術は、例えば動き補償フレーム間予測符号化と呼ばれる
符号化方式に利用されている。すなわちこの符号化方式
は、符号化対象画像フレームの画素と、動き補償された
参照画像フレームの画素との差分値を符号化するもので
あり、動き補償を行うことによって画素差分値が非常に
小さな値になるため、符号化効率が大幅に向上する。

【０００４】

【発明が解決しようとする課題】これらの位置変化検出
技術および位置変化補償技術では、処理対象フレームと
参照フレームとで照明条件等が同じであることを前提と
している。すなわち、両フレームにおいて実際に対応し
ている物体がほぼ同一の輝度値であることを前提として
いる。しかしながら、例えばフリッカが生じた場合やス
トロボが光った場合、またはカメラの絞りを変化させて
画面全体を段々明るく（以下、フェードインと記す）し
たり暗く（以下、フェードアウトと記す）した場合に
は、画像フレーム全体にほぼ一様な輝度変化が生じるた
め、実際に対応する物体同士でも両者の輝度値は大きく
異なる。その結果、（１）輝度値差分の大きさを規範と
したブロックマッチング法では位置変化量の検出が正し
く行われない、（２）位置変化補償を行っても輝度値差
分が非常に大きくなり、例えば動き補償フレーム間予測
符号化の符号化効率が十分向上しない、という欠点があ
った。

【０００５】上記（１）の欠点を解決する従来の技術と
して特開平５−２９２４８９がある。この技術では、画
像フレーム全体にほぼ一様な輝度変化が生じた場合でも
正しい位置変化量を検出するために、入力画像を輝度信
号と色差信号に変換した後、輝度信号に低域通過型フィ
ルタを施し、画像フレーム全体の輝度平均値を除去した
後に位置変化量を検出している。しかしながらこの方法
では、たとえ正しい位置変化量を検出できたとしても、
位置変化量のみを補償した後の輝度差分値には、画像フ
レーム全体に生じた一様な輝度変化量による差が残った
ままであるため上記（２）の欠点は解決されない。ま
た、例えば処理対象画像フレームで現れた明るい物体
が、参照画像フレームではまだ現れていないような場合
には、その物体の有無による輝度変化の影響が他の部分
をも含めた画像フレーム全体に波及してしまうため、正
しい位置変化量を検出できない。

【０００６】本発明の目的は上記問題点を解決し、処理
対象画像フレームと参照画像フレームとの間でフリッカ
が生じたりストロボが光ったような場合、またはフェー
ドイン、フェードアウトのように、大局的にほぼ一様の
輝度変化が生じた場合であっても、また画像フレームの
一部に明るさの異なる部分が生じた場合であっても、正
しい位置変化量を検出、補償し、さらには大局的に生じ
ているほぼ一様の輝度変化量を正しく検出し、補償す
る、動画像の輝度変化量検出方法、動画像の輝度変化補
償方法および動画像の位置変化検出方法を提供すること
にある。

【０００７】本発明の目的は、これらの方法を実現する
動画像符号化・復号装置を提供することにある。

【０００８】

【課題を解決するための手段】本発明の動画像の輝度変
化検出方法は、処理対象画像フレームの輝度代表値と参
照画像フレームの輝度代表値から、該処理対象画像フレ
ームの該参照画像フレームに対する大局的な輝度変化量
を検出する。また、本発明の動画像の輝度変化補償方法
は、検出された大局的な輝度変化量から、処理対象画像
フレームの参照画像フレームに対する輝度変化量を補償
する。これにより、大局的にほぼ一様の輝度変化が生じ
ている場合でも、その後のフレーム間差分値が小さい値
となり、符号化効率が大幅に向上する。

【０００９】本発明の実施態様によれば、処理対象画像
フレームの小領域毎に、該小領域の輝度代表値と、該小
領域に対して検出された位置変化量だけずれた位置にあ
る参照画像フレーム小領域の輝度代表値との差分を求め
ることによって、複数の輝度代表値差分を得、該複数の
輝度代表値差分から大局的な輝度変化量を検出する。こ
れにより、動画像内に局所的な位置変化がある場合に
も、実際に対応する領域同士の輝度差分を求めることが
できるため、検出される大局的な輝度変化量の信頼性が
高まる。

【００１０】本発明の実施態様によれば、処理対象画像
フレーム小領域の輝度代表値、および参照画像フレーム
小領域の輝度代表値として、各々の領域内での画素の輝
度平均値を用いる。これにより、領域内の全画素の輝度
値情報を大局的な輝度変化量検出のために利用すること
となり、やはり検出される大局的な輝度変化量の信頼性
が高まる。

【００１１】本発明の実施態様によれば、複数の輝度代
表値差分から大局的な輝度変化量を検出する際に、該複
数の輝度代表値差分の頻度を利用する。これにより、参
照画像フレームにはなく処理対象画像フレームに初めて
現れた領域、その逆に、処理対象画像フレームで消えた
領域、部分的に異なる輝度変化が生じた領域等での輝度
変化の影響を除去することができ、画像フレームに大局
的に生じているほぼ一様な輝度変化量を検出することが
できる。

【００１２】本発明の実施態様によれば、検出された大
局的な輝度変化量を、参照画像フレームの各輝度値また
は該参照画像フレームに対し位置変化補償を行った後の
各輝度値に加算することによって、処理対象画像フレー
ムの参照画像フレームに対する輝度変化量を補償する。

【００１３】本発明の実施態様によれば、上記輝度変化
補償とともに位置変化補償を行う際には、位置変化補償
のために必要となる位置変化量として、先に輝度変化量
を検出するにあたって算出された小領域毎の位置変化量
を利用する。これにより、大局的な輝度変化量が補償さ
れた後の参照画像フレームに対して再度位置変化量を算
出する場合に比べ、若干符号化性能は低下するものの、
演算量が大幅に削減でき、装置を容易に構成できる。

【００１４】本発明の実施態様によれば、大局的な輝度
変化量の補償については、処理対象画像フレームの定め
られた領域毎に、その補償を行う場合と行わない場合と
を切替えられるようにする。これにより、参照画像フレ
ームにはなく処理対象画像フレームに初めて現れたよう
な領域、その逆に、処理対象画像フレームで消えた領
域、部分的に異なる輝度変化が生じた領域等において、
大局的な輝度変化量の補償を行うことでかえって効果を
落としてしまうような場合には、その補償を行わないよ
うにできる。ただし、大局的な輝度変化量が０であった
場合には、その補償を行う場合と行わない場合とで結果
が同一となるため、常にどちらか一方の状態となるよう
にする。これにより、無駄な情報の発生を防ぎ、効率的
な処理が行える。

【００１５】本発明の動画像の位置変化検出方法は、処
理対象画像フレームと参照画像フレームとの間の位置変
化量を、処理対象画像フレームの小領域毎に、その小領
域の各輝度信号から小領域内輝度平均値を除去した値
と、参照画像フレーム小領域の各輝度信号から小領域内
輝度平均値を除去した値とを用いて検出する。これによ
り、大局的にほぼ一様に生じている輝度変化の影響はも
ちろん、部分的に生じている輝度変化の影響をも受けず
に、実際に対応する部分同士の位置変化量を正確に検出
することができる。

【００１６】本発明の動画像符号化装置は、処理対象画
像フレームの輝度代表値と参照画像フレームの輝度代表
値から、該処理対象画像フレームの該参照画像フレーム
に対する大局的な輝度変化量を検出する輝度変化検出手
段と、検出された大局的な輝度変化量から、処理対象画
像フレームの参照画像フレームに対する輝度変化量を補
償する輝度変化補償手段を有する。

【００１７】上記動画像符号化装置によって符号化され
たデータを復号する動画像復号装置は、前記動画像符号
化装置からの符号化データの一部として得られた大局的
な輝度変化量を用いて輝度変化補償を行う輝度変化補償
手段を有する。

【００１８】本発明の実施態様によれば、前記輝度変化
検出手段は、符号化対象画像フレームの小領域毎に参照
画像フレームに対する位置変化量を検出する位置変化検
出部と、該位置変化検出部によって検出された位置変化
量だけずれた該参照画像フレーム小領域の輝度代表値と
の差を用いて大局的な輝度変化量を検出する輝度変化量
検出部を含み、前記輝度変化補償手段は、該大局的な輝
度変化量を該参照画像フレーム小領域の各輝度値または
該参照画像フレームに対し位置変化補償を行なった後の
各輝度値に加算する輝度変化補償部を含む。

【００１９】本発明の実施態様によれば、上記動画像復
号装置の輝度変化補償手段は、参照画像フレームの各輝
度値または該参照画像フレームに対し位置変化補償を行
なった後の各輝度値に、前記動画像符号化装置からの符
号化データの一部として得られる大局的な輝度変化量を
加算する輝度変化補償部を含む。

【００２０】本発明の実施態様によれば、上記動画像符
号化装置は、前記符号化対象画像フレームの定められた
領域毎に、前記輝度変化補償部の出力を利用するかしな
いかを選択するとともにその選択情報である輝度変化補
償オン／オフ選択情報を出力し、前記大局的な輝度変化
量が０であった場合には、フレーム間予測値として、前
記輝度変化補償部の出力を常に利用するかまたは前記輝
度変化補償部に入力した輝度変化補償される前の値を常
に利用することとし、前記選択情報は出力しない輝度変
化補償オン／オフ選択部をさらに有する。

【００２１】本発明の実施態様によれば、上記動画像復
号装置は、上記動画像符号化装置から出力された前記輝
度変化補償オン／オフ選択情報を入力し、該輝度変化補
償オン／オフ選択情報がオンであれば前記輝度変化補償
部の出力値を、オフであれば前記輝度変化補償部に入力
した、輝度変化補償される以前の値を選択し、フレーム
間予測値として出力する輝度変化補償オン／オフ切替部
をさらに有する。

【００２２】

【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。

【００２３】図１は本発明の第１の実施形態の動画像符
号化装置を示すブロック図、図２はその要部の入出力を
示す図である。

【００２４】入力端子１から第Ｎフレーム原画像がフレ
ームメモリ２、フレームメモリ３、ブロック内平均値算
出部４に入力する。フレームメモリ３では第Ｎフレーム
原画像を蓄えるとともに、今まで蓄えていた第（Ｎ−
１）フレーム原画像をブロック内平均値算出部５に送出
する。

【００２５】ブロック内平均値算出部４では、第Ｎフレ
ーム原画像に対して１６×１６画素のブロック毎にブロ
ック内の輝度平均値を算出する。図７にその概念図を示
す。１フレーム内の全ブロック数はｎ個とし、各ブロッ
クをＢ₁ ，Ｂ₂ ，…，Ｂ_i ，…，Ｂ_n とする。また、ブ
ロックＢ_i に対して算出されたブロック内輝度平均値を
Ｍ_i とする。以後、ブロックＢ_i に対する動作について
説明する。算出されたブロック内輝度平均値Ｍ_i は減算
器６および減算器７に入力する。減算器６では、ブロッ
クＢ_i 内の１６×１６画素の各輝度値からブロック内輝
度平均値Ｍ_i を減じ、減ぜられた各値を動き検出部９に
入力する。

【００２６】一方、ブロック内平均値算出部５では、第
（Ｎ−１）フレーム原画像に対して、第Ｎフレームのブ
ロックＢ_i と空間的に同じ位置に相当するブロックＢ'_i
を中心に、縦横とも±３２画素の範囲にある画素の中か
ら１６×１６画素のブロックを１画素ずつずらしながら
選び、その都度ブロック内輝度平均値を算出する。ここ
で、ブロックＢ'_iから横ｐ画素、縦ｑ画素（−３２≦
ｐ，ｑ≦３２）だけずれた位置にある１６×１６画素の
ブロックをＢ'_i（ｐ，ｑ）と表し、ブロックＢ'_i（ｐ，
ｑ）のブロック内輝度平均値をＭ'_i（ｐ，ｑ）と表すこ
ととする。ブロック内平均値Ｍ'_i（ｐ，ｑ）は減算器８
および減算器７に入力する。減算器８では、ブロック
Ｂ'_i（ｐ，ｑ）内の各輝度値からブロック内平均値Ｍ'_i
（ｐ，ｑ）を減じ、減ぜられた各値を動き検出部９に入
力する。また、減算器７では、ブロックＢ_i のブロック
内輝度平均値Ｍ_i とブロックＢ'_i（ｐ，ｑ）のブロック
内輝度平均値Ｍ'_i（ｐ，ｑ）との差（Ｍ_i −Ｍ'_i（ｐ，
ｑ））が求められ、その差分値がやはり動き検出部９に
入力する。

【００２７】動き検出部９では、ブロックＢ_i 内の各輝
度値からブロック内輝度平均値Ｍ_iを減じた各値と、ブ
ロックＢ'_i（ｐ，ｑ）内の各輝度値からブロック内輝度
平均値Ｍ'_i（ｐ，ｑ）を減じた各値との絶対値差分和を
求め、その絶対値差分和が最も小さくなる場合のｐ，ｑ
の組合せをブロックＢ_i における動き量として決定し、
その値を動き補償部１０に送出するとともに出力端子２
４から外部へ送出する。例えばｐ＝−５、ｑ＝１２の場
合に絶対値差分和が最も小さくなったとすると、（−
５，１２）という値の組合せをブロックＢ_i における動
き量ＤＤ_i とする。それと同時に、その際の輝度平均値
の差（Ｍ_i −Ｍ'_i（−５，１２））がブロックＢ_i にお
ける輝度変化量ＤＢ_i として輝度変化量検出部１１に送
出される。

【００２８】以上の操作を第Ｎフレーム原画像の各ブロ
ックＢ₁ ，Ｂ₂ ，…，Ｂ_n で行うことにより、動き補償
部１０および出力端子２４にはブロック毎の動き量ＤＤ
_i が、また輝度変化量検出部１１にはブロック毎の輝度
変化量ＤＢ_i がそれぞれ入力することとなる。

【００２９】輝度変化量検出部１１では、１フレーム分
について各ブロック毎の輝度変化量ＤＢ_i の頻度をカウ
ントし、最も頻度が多かった値を第Ｎフレームにおける
輝度変化量ＤＢ（大局的な輝度変化量）として決定し
て、その値を輝度変化補償オン／オフ選択部２０と加算
器１９に送出するとともに出力端子２３から外部に送出
する。

【００３０】一方、入力端子１から入力した第Ｎフレー
ム原画像は、フレームメモリ２で１フレーム分遅延され
た後、減算器１２に入力する。今、ブロックＢ_i （１６
×１６画素）のデータが減算器１２に入力している段階
であるとする。フレームメモリ１８には第（Ｎ−１）フ
レーム再生画像が蓄積されており、動き補償部１０で
は、この第（Ｎ−１）フレーム再生画像の中から、ブロ
ックＢ_i に対応する位置から動き量ＤＤ_i だけずれた位
置にある１６×１６画素のデータを加算器１９および輝
度変化補償オン／オフ選択部２０に送出する。輝度変化
補償オン／オフ選択部２０では、動き補償部１０からの
動き補償された１６×１６画素のデータと、そのデータ
に加算器１９（輝度変化補償部）で輝度変化量ＤＢを加
算したデータのそれぞれに対して、第Ｎフレーム原画像
のブロックＢ_i 内のデータとの絶対値差分和を求め、絶
対値差分和が小さかった方のデータを選択して減算器１
２および加算器１７に送出する。また、どちらのデータ
が選択されたかを示す情報として、加算器１９からのデ
ータが選択された場合には“１”、動き補償部１０から
のデータが選択された場合には“０”を、出力端子２２
から外部へ送出する。ただし、輝度変化量ＤＢが０であ
った場合には、常に動き補償部１０からのデータを選択
し、その選択情報は出力端子２２から送出しない。

【００３１】減算器１２では両データの差をとり、離散
コサイン変換部１３に送る。離散コサイン変換部１３で
は、１６×１６画素からなる１ブロック分のデータを８
×８画素単位に離散コサイン変換し、得られた離散コサ
イン変換係数を量子化部１４で量子化する。量子化され
た離散コサイン変換係数は出力端子２１から外部に送出
されるとともに逆量子化部１５で逆量子化され、更に逆
離散コサイン変換部１６で逆離散コサイン変換される。
加算器１７においては、それらのデータに輝度変化補償
オン／オフ選択部２０から送出されたデータが加算さ
れ、第Ｎフレーム再生画像としてフレームメモリ１８に
蓄えられる。フレームメモリ１８に蓄えられた第Ｎフレ
ーム再生画像は、次フレーム（第（Ｎ＋１）フレーム）
の画像を復号する際に参照画像として用いられる。

【００３２】なお、フレームメモリ３、ブロック内平均
値算出部４、５減算器６〜８、動き検出部は位置変化検
出部を構成している。

【００３３】図３は図１の動画像符号化装置により符号
化されたデータを復号する動画像復号装置のブロック図
である。

【００３４】入力端子３１には、図１の出力端子２１か
ら出力された量子化後離散コサイン変換係数が入力す
る。入力端子３２には、図１の出力端子２２から出力さ
れたブロック毎の輝度変化補償オン／オフ選択情報が入
力する。入力端子３３には、図１の出力端子２３から出
力されたフレーム毎の輝度変化量が入力する。入力端子
３４には、図１の出力端子２４から出力されたブロック
毎の動き量が入力する。

【００３５】今、第Ｎフレーム画像のブロックＢ_i （１
６×１６画素）の符号化データが入力しているとする。
すなわち入力端子３１には、ブロックＢ_i における量子
化後離散コサイン変換係数が入力する。入力端子３２に
は、ブロックＢ_i の輝度変化補償オン／オフ選択情報が
入力する。入力端子３４には、ブロックＢ_i の動き量Ｄ
Ｄ_i が入力する。なお、入力端子３３には、既に、第Ｎ
フレーム全体に共通の値である輝度変化量ＤＢが入力し
ている。

【００３６】入力端子３１から入力した量子化後離散コ
サイン変換係数は、逆量子化部３５で逆量子化され、更
に逆離散コサイン変換部３６で逆離散コサイン変換され
て、加算器３７に送られる。

【００３７】フレームメモリ３８には、既に復号が終了
した第（Ｎ−１）フレーム再生画像データが蓄えられて
いる。動き補償部３９には、入力端子３４からブロック
Ｂ_iにおける動き量ＤＤ_i が入力し、フレームメモリ３
８の第（Ｎ−１）フレーム再生画像の中から、ブロック
Ｂ_i に対応する位置から動き量ＤＤ_i だけずれた位置に
ある１６×１６画素のデータを加算器１９および輝度変
化補償オン／オフ切替部４１に送出する。輝度変化補償
オン／オフ切替部４１には、動き補償部３９からの動き
補償された１６×１６画素のデータと、そのデータに加
算器４０（輝度変化補償部）で輝度変化量ＤＢを加算し
たデータと、輝度変化量ＤＢが入力する。また、入力端
子３２からはブロックＢ_i の輝度変化補償オン／オフ選
択情報が入力する。そこで輝度変化補償オン／オフ切替
部４１では、輝度変化補償オン／オフ選択情報が“１”
であった場合には加算器４０から入力したデータを、
“０”であった場合には動き補償部３９から入力したデ
ータを加算器３７に送出する。ただし、輝度変化量ＤＢ
が０の場合には、入力端子３２からブロックＢ_i の輝度
変化補償オン／オフ選択情報は入力せず、動き補償部３
９から入力したデータを加算器３７に常に送出する。

【００３８】加算器３７では、逆離散コサイン変換部３
６からのデータと輝度変化補償オン／オフ切替部４１か
らのデータを加算することによって第Ｎフレーム再生画
像を得、それを出力端子４２から出力するとともにフレ
ームメモリ３８に蓄えておき、次フレーム（第（Ｎ＋
１）フレーム）の画像を復号する際に参照画像として用
いる。

【００３９】図４は本発明の第２の実施形態の動画像符
号化装置を示すブロック図である。

【００４０】入力端子５１から第Ｎフレーム原画像がフ
レームメモリ５２、フレームメモリ５３、フレーム内平
均値算出部５４に入力する。フレームメモリ５３では第
Ｎフレーム原画像を蓄えるとともに、今まで蓄えていた
第（Ｎ−１）フレーム原画像をフレーム内平均値算出部
５５に送出する。

【００４１】フレーム内平均値算出部５４では、第Ｎフ
レーム原画像全体の輝度平均値Ｍを算出する。算出され
た輝度平均値Ｍは減算器５６に入力する。一方、フレー
ム内平均値算出部５５では、第（Ｎ−１）フレーム原画
像全体の輝度平均値Ｍ’を算出する。算出された輝度平
均値Ｍ’はやはり減算器５６に入力する。減算器５６
（輝度変化量検出部）では、第Ｎフレーム原画像全体の
輝度平均値Ｍと第（Ｎ−１）フレーム原画像全体の輝度
平均値Ｍ’との差（Ｍ−Ｍ’）をとる。その差分値は輝
度変化量ＤＢとして、加算器６５に入力するとともに出
力端子６８から外部に送出される。

【００４２】一方、入力端子５１から入力した第Ｎフレ
ーム原画像は、フレームメモリ５２で１フレーム分遅延
された後、減算器５８および動き検出／補償部５７に入
力する。今、ブロックＢ_i （１６×１６画素）のデータ
が減算器５８に入力している段階であるとする。フレー
ムメモリ６４には第（Ｎ−１）フレーム再生画像が蓄積
されており、その各画素に加算器６５（輝度変化補償
部）で輝度変化量ＤＢを加算し、動き検出／補償部５７
に送る。動き検出／補償部５７では、輝度変化量ＤＢを
加算された第（Ｎ−１）フレーム再生画像と、フレーム
メモリ５２からの第Ｎフレーム原画像との間で、ブロッ
ク毎に動き量ＤＤ_i （ｉはブロック番号；１≦ｉ≦ｎ）
を検出し、その動き量を出力端子６７から外部へ送出す
るとともに、動き量ＤＤ_i だけ動きを補償し、その動き
補償されたデータを減算器５８および加算器６３に送出
する。減算器５８では両データの差をとり、離散コサイ
ン変換部５９に送る。離散コサイン変換部５９では、１
６×１６画素からなる１ブロック分のデータを８×８画
素単位に離散コサイン変換し、得られた離散コサイン変
換係数を量子化部６０で量子化する。量子化された離散
コサイン変換係数は出力端子６６から外部に送出される
とともに逆量子化部６１で逆量子化され、更に逆離散コ
サイン変換部６２で逆離散コサイン変換される。加算器
６３においては、それらのデータに対して、動き検出／
補償部５７からのデータが加算され、第Ｎフレーム再生
画像としてフレームメモリ６４に蓄えられる。フレーム
メモリ６４に蓄えられた第Ｎフレーム再生画像は、次フ
レーム（第（Ｎ＋１）フレーム）の画像を復号する際に
参照画像として用いられる。

【００４３】なお、フレームメモリ５３、フレーム内平
均値算出部５４、５５は位置変化検出部を構成してい
る。

【００４４】図５は図４の動画像符号化装置により符号
化されたデータを復号する動画像復号装置のブロック図
である。

【００４５】入力端子７１には、図３の出力端子６６か
ら出力された量子化後離散コサイン変換係数が入力す
る。入力端子７２には、図３の出力端子６７から出力さ
れたブロック毎の動き量が入力する。入力端子７３に
は、図３の出力端子６８から出力されたフレーム毎の輝
度変化量が入力する。

【００４６】今、第Ｎフレーム画像のブロックＢ_i （１
６×１６画素）の符号化データが入力しているとする。
すなわち入力端子７１には、ブロックＢ_i における量子
化後離散コサイン変換係数が入力する。入力端子７２に
は、ブロックＢ_i の動き量ＤＤ_i が入力する。なお、入
力端子７３には、既に、第Ｎフレーム全体に共通の値で
ある輝度変化量ＤＢが入力している。

【００４７】入力端子７１から入力した量子化後離散コ
サイン変換係数は、逆量子化部７４で逆量子化され、更
に逆離散コサイン変換部７５で逆離散コサイン変換され
て、加算器７６に送られる。

【００４８】フレームメモリ７８には、既に復号が終了
した第（Ｎ−１）フレーム再生画像データが蓄えられて
いる。加算器７９（輝度変化補償部）は、このデータに
入力端子７３からの輝度変化量ＤＢを加算し動き補償部
７７に送出する。動き補償部７７では、入力端子７２か
らブロックＢ_i における動き量ＤＤ_i が入力し、入力端
子７３からのデータの中からブロックＢ_i に対応する位
置から動き量ＤＤ_i だけずれた位置にある１６×１６画
素のデータを加算器７６に送出する。

【００４９】加算器７６では、逆離散コサイン変換部７
５からのデータと動き補償部７７からのデータを加算す
ることによって第Ｎフレーム再生画像を得、それを出力
端子８０から出力するとともにフレームメモリ７８に蓄
えておき、次フレーム（第（Ｎ＋１）フレーム）の画像
を復号する際に参照画像として用いる。

【００５０】図６は本発明の第３の実施形態の動画像符
号化装置を示すブロック図である。

【００５１】入力端子８１、フレームメモリ８２、フレ
ームメモリ８３、ブロック内平均値算出部８４、ブロッ
ク内平均値算出部８５、減算器８６、減算器８７、減算
器８８の動作は、それぞれ、本発明の第１の実施形態の
動画像符号化装置を示す図である図１における入力端子
１、フレームメモリ２、フレームメモリ３、ブロック内
平均値算出部４、ブロック内平均値算出部５、減算器
６、減算器７、減算器８の動作と全く同じである。

【００５２】動き検出部８９では、ブロックＢ_i 内の各
輝度値からブロック内輝度平均値Ｍ _i を減じた各値と、
ブロックＢ'_i（ｐ，ｑ）内の各輝度値からブロック内輝
度平均値Ｍ'_i（ｐ，ｑ）を減じた各値との絶対値差分和
を求め、その絶対値差分和が最も小さくなる場合の輝度
平均値の差（Ｍ_i −Ｍ'_i（ｐ，ｑ））が、ブロックＢ _i
における輝度変化量ＤＢ_i として輝度変化検出部９０に
送出される。以上の操作を第Ｎフレーム原画像の各ブロ
ックＢ₁ ，Ｂ₂ ，…，Ｂ_n で行うことにより、輝度変化
量検出部９０にはブロック毎の輝度変化量ＤＢ_i が入力
することとなる。

【００５３】輝度変化量検出部９０では、１フレーム分
について各ブロック毎の輝度変化量ＤＢ_i の頻度をカウ
ントし、最も頻度が多かった値を第Ｎフレームにおける
輝度変化量ＤＢとして決定して、その値を輝度変化補償
オン／オフ選択部１０２と加算器９１（輝度変化補償
部）に送出するとともに出力端子１０６から外部に送出
する。ただし、輝度変化量ＤＢの候補として、ＤＢ_i ＝
０の頻度は除外する。

【００５４】一方、入力端子８１から入力した第Ｎフレ
ーム原画像は、フレームメモリ８２で１フレーム分遅延
された後、減算器９２、動き検出／補償部９９、動き検
出／補償部１００、輝度変化補償オン／オフ選択部１０
２に入力する。

【００５５】今、ブロックＢ_i （１６×１６画素）のデ
ータが減算器９２に入力している段階であるとする。フ
レームメモリ９８には第（Ｎ−１）フレーム再生画像が
蓄積されている。動き検出／補償部１００では、第Ｎフ
レーム原画像と第（Ｎ−１）フレーム再生画像との間で
ブロックＢ_i の動き量を検出し、その動き量をスイッチ
１０１に送出する。また、動きを補償された第（Ｎ−
１）フレーム再生画像データが輝度変化補償オン／オフ
選択部１０２に送出される。一方、動き検出／補償部９
９では、第Ｎフレーム原画像と第（Ｎ−１）フレーム再
生画像に輝度変化量ＤＢを加算したデータとの間でブロ
ックＢ_i の動き量を検出し、その動き量をスイッチ１０
１に送出する。また、動きを補償されたデータが輝度変
化補償オン／オフ選択部１０２に送出される。

【００５６】輝度変化補償オン／オフ選択部１０２で
は、動き検出／補償部１００で動き補償された１６×１
６画素のデータと、動き検出／補償部９９で動き補償さ
れた１６×１６画素のデータとのそれぞれに対して、第
Ｎフレーム原画像のブロックＢ _i 内のデータと絶対値差
分和を求め、絶対値差分和が小さかった方のデータを選
択して減算器９２および加算器９７に送出する。また、
どちらのデータが選択されたかを示す輝度変化補償オン
／オフ選択情報として、動き検出／補償部９９からのデ
ータが選択された場合には“１”、動き検出／補償部１
００からのデータが選択された場合には“０”をスイッ
チ１０１に送出するとともに、出力端子１０４から外部
へ送出する。スイッチ１０１では、輝度変化補償オン／
オフ選択部１０２からのデータが“１”の場合には動き
検出／補償部９９からの動き量データ側にスイッチを接
続し、逆に輝度変化補償オン／オフ選択部１０２からの
データが“０”の場合には動き検出／補償部１００から
の動き量データ側にスイッチを接続する。出力端子１０
５からは、接続された側の動き量データが外部に送出さ
れる。

【００５７】減算器９２では両データの差をとり、離散
コサイン変換部９３に送る。離散コサイン変換部９３で
は、１６×１６画素からなる１ブロック分のデータを８
×８画素単位に離散コサイン変換し、得られた離散コサ
イン変換係数を量子化部９４で量子化する。量子化され
た離散コサイン変換係数は出力端子１０３から外部に送
出されるとともに逆量子化部９５で逆量子化され、更に
逆離散コサイン変換部９６で逆離散コサイン変換され
る。加算器９７においては、それらのデータに輝度変化
補償オン／オフ選択部１０２から送出されたデータが加
算され、第Ｎフレーム再生画像としてフレームメモリ９
８に蓄えられる。フレームメモリ９８に蓄えられた第Ｎ
フレーム再生画像は、次フレーム（第（Ｎ＋１）フレー
ム）の画像を復号する際に参照画像として用いられる。

【００５８】本動画像符号化装置により符号化されたデ
ータは、図２に構成を示す動画像復号装置により復号さ
れ、その動作は、第１の実施形態における動画像復号装
置の場合と全く同じである。

【００５９】なお、以上の実施形態では、動きおよび輝
度変化の検出・補償時に参照画像フレームとして１フレ
ーム前の画像フレームを用いている。すなわち第Ｎフレ
ーム画像の符号化・復号に対して第（Ｎ−１）フレーム
画像を参照画像フレームとして用いているが、これに限
られるわけではなく、例えばフレーム駒落し処理の場合
には、既に符号化・復号処理が行われたフレームを参照
画像として用いればよい。更に、符号化処理における動
き検出および輝度変化検出についていえば、実施形態に
よって、参照画像フレームとして第（Ｎ−１）フレーム
原画像を用いる場合もあれば、第（Ｎ−１）フレーム再
生画像を用いる場合もあるが、それぞれ、第（Ｎ−１）
フレーム原画像を用いている場合には逆に第（Ｎ−１）
フレーム再生画像を、また第（Ｎ−１）フレーム再生画
像を用いている場合は逆に第（Ｎ−１）フレーム再生画
像を、参照画像フレームとして用いてもよい。

【００６０】また、以上の実施形態における動き検出お
よび動き補償では、平行移動動きモデルを前提にしてい
るが、例えば最近よく使われるようになってきたアフィ
ン動きモデルや透視投影動きモデルを用いても、もちろ
んかまわない。

【００６１】また、動き検出単位および動き補償単位を
１６×１６画素、動き検出範囲を±３２×±３２画素、
輝度変化補償オン／オフの切替単位を１６×１６画素、
離散コサイン変換の単位を８×８画素、等としている
が、これらのサイズもこれに限ったものではなく、任意
の大きさでよい。さらに、いずれの実施形態においても
大局的な輝度変化量は画像フレーム単位に決定している
が、例えば画像フレームを上下または左右に２分割した
り、上下左右に４分割したりし、その分割単位に大局的
な輝度変化量を決定してもよい。

【００６２】また、以上の実施形態で用いている離散コ
サイン変換は本発明とは全く関係なく、この変換がなく
ても、または他の処理を用いても、もちろんかまわな
い。

【００６３】また、第１および第３の実施形態において
は、第Ｎフレームにおける輝度変化量ＤＢを決定する際
に、ブロック毎の輝度変化量ＤＢ_i の頻度を利用してい
る。これは画像内の局所的な輝度変動の影響を低減させ
るために行っているが、装置の簡略化を優先する場合等
には、ブロック毎の輝度変化量ＤＢ_i の頻度ではなく、
単にブロック毎の輝度変化量ＤＢ_i の平均値を用いても
よい。

【００６４】また、どの実施形態においても動き補償お
よびその動き補償に必要な動き量を得るための動き検出
を行っているが、例えば装置の簡略化のために、輝度変
化検出とその輝度変化検出のために必要な動き検出、お
よび輝度変化補償のみを行い、動き補償およびその動き
補償に必要な動き量を得るための動き検出は行わないと
いう構成でも、もちろんかまわない。

【００６５】

【発明の効果】以上説明したように、本発明は以下のよ
うな効果がある。

【００６６】（１）請求項１から１５の発明は、大局的
な輝度変化を検出し、補償するため、大局的な輝度変化
を生じている動画像の符号化時に、効率の良い符号化が
行える。

【００６７】（２）請求項２、３、４、１２の発明は、
大局的な輝度変化を検出する際に、画像フレームの小領
域毎に位置変化をもとめつつその位置変化だけずれた参
照画像との間で輝度変化量を求めるため、実際に対応す
る部分同士の輝度変化量が算出でき、輝度変化量の検出
精度が向上する。

【００６８】（３）請求項４の発明は、複数の輝度代表
値差分から大局的な輝度変化量を検出する際に、その頻
度を利用するため、画像フレームに大局的な輝度変化量
と異なる輝度変化をしている部分があっても、その影響
を受けることなく大局的な輝度変化量を精度よく検出で
きる。

【００６９】（４）請求項８、１４、１５の発明は、輝
度変化補償を行う場合と行わない場合とを切替えるた
め、画像フレームに大局的な輝度変化量と異なる輝度変
化をしている部分については輝度変化補償を行わないこ
とが可能となり、これらの部分で輝度変化補償を行うこ
とによる非効率性が回避できる。

【００７０】（５）請求項９の発明は、位置変化量を小
領域毎に検出する際に、その小領域内の輝度平均値を除
去してから位置変化量を検出するため、輝度変化の影響
を受けずに、位置変化量を精度よく検出することができ
る。

【００７１】（６）請求項７の発明は、位置変化量を補
償した後の予測参照フレームに対して、小領域毎に動き
量を補償する際に、位置変化量を検出した際の動き量を
そのまま利用するため、再度動き量の検出をする必要が
なく、装置構成が簡略化できる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態の動画像符号化装置の
構成図である。

【図２】図１の動画像符号化装置の要部の入出力を示す
図である。

【図３】本発明の第１の実施形態の動画像復号装置およ
び本発明の第３の実施形態の動画像復号装置の構成図で
ある。

【図４】本発明の第２の実施形態の動画像符号化装置の
構成図である。

【図５】本発明の第２の実施形態の動画像復号装置の構
成図である。

【図６】本発明の第３の実施形態の動画像符号化装置の
構成図である。

【図７】第Ｎフレーム原画像のブロック分割方法、第
（Ｎ−１）フレーム原画像との位置関係を示す図であ
る。

【符号の説明】

１入力端子２，３フレームメモリ４，５ブロック内平均値算出部６〜８減算器９動き検出部１０動き補償部１１輝度変化量検出部１２減算器１３離散コサイン変換部１４量子化部１５逆量子化部１６逆離散コサイン変換部１７加算器１８フレームメモリ１９加算器２０輝度変化補償オン／オフ選択部２１〜２４出力端子３１〜３４入力端子３５逆量子化部３６逆離散コサイン変換部３７加算器３８フレームメモリ３９動き補償部４０加算器４１輝度変化補償オン／オフ切替部４２出力端子５１入力端子５２，５３フレームメモリ５４，５５フレーム内平均値算出部５６減算器５７動き検出／補償部５８減算器５９離散コサイン変換部６０量子化部６１逆量子化部６２逆離散コサイン変換部６３加算器６４フレームメモリ６５加算器６６〜６８出力端子７１〜７３入力端子７４逆量子化部７５逆離散コサイン変換部７６加算器７７動き補償部７８フレームメモリ７９加算器８０出力端子８１入力端子８２，８３フレームメモリ８４，８５ブロック内平均値算出部８６〜８８減算器８９動き検出部９０輝度変化量検出部９１加算器９２減算器９３離散コサイン変換部９４量子化部９５逆量子化部９６逆離散コサイン変換部９７加算器９８フレームメモリ９９，１００動き検出／補償部１０１スイッチ１０２輝度変化補償オン／オフ選択部１０３〜１０６出力端子

Claims

【特許請求の範囲】

【請求項１】処理対象画像フレームの輝度代表値と参
照画像フレームの輝度代表値から、該処理対象画像フレ
ームの該参照画像フレームに対する大局的な輝度変化量
を検出する、動画像の輝度変化検出方法。
【請求項２】処理対象画像フレームの小領域毎に、該
小領域の輝度代表値と、該小領域に対して検出された位
置変化量だけずれた位置にある参照画像フレーム小領域
の輝度代表値との差分を求めることによって、複数の輝
度代表値差分を得、該複数の輝度代表値差分から大局的
な輝度変化量を検出する、請求項１に記載の方法。
【請求項３】処理対象画像フレーム小領域の輝度代表
値、および参照画像フレーム小領域の輝度代表値とし
て、各々の領域内での画素の輝度平均値を用いる、請求
項２に記載の方法。
【請求項４】複数の輝度代表値差分から大局的な輝度
変化量を検出する際に、該複数の輝度代表値差分の頻度
を利用する、請求項２に記載の動画像符号化方法。
【請求項５】処理対象画像フレームの参照画像フレー
ムに対する検出された大局的な輝度変化量から、処理対
象画像フレームの参照画像フレームに対する輝度変化量
を補償する、動画像の輝度変化補償方法。
【請求項６】検出された大局的な輝度変化量を、参照
画像フレームの各輝度値または該参照画像フレームに対
し位置変化補償を行った後の各輝度値に加算することに
よって、処理対象画像フレームの参照画像フレームに対
する輝度変化量を補償する、請求項５に記載の方法。
【請求項７】位置変化補償を行う際、請求項２に記載
の輝度変化検出方法において検出された位置変化量を利
用する、請求項５に記載の方法。
【請求項８】処理対象画像フレームの定められた領域
毎に、輝度変化量の補償を行う場合と行わない場合とを
切替える、請求項５に記載の方法。
【請求項９】処理対象画像フレームと参照画像フレー
ムとの間の位置変化量を、該処理対象画像フレームの小
領域毎に、該小領域の各輝度信号から小領域内輝度平均
値を除去した値と、該参照画像フレーム小領域の各輝度
信号から小領域内輝度平均値を除去した値とを用いて検
出する、動画像の位置変化検出方法。
【請求項１０】動画像符号化装置において、処理対象
画像フレームの輝度代表値と参照画像フレームの輝度代
表値から、該処理対象画像フレームの該参照画像フレー
ムに対する大局的な輝度変化量を検出する輝度変化検出
手段と、検出された大局的な輝度変化量から、処理対象
画像フレームの参照画像フレームに対する輝度変化量を
補償する輝度変化補償手段を有することを特徴とする動
画像符号化装置。
【請求項１１】請求項１０に記載の動画像符号化装置
によって符号化されたデータを復号する動画像復号装置
において、前記動画像符号化装置からの符号化データの
一部として得られた大局的な輝度変化量を用いて輝度変
化補償を行う輝度変化補償手段を有することを特徴とす
る動画像復号装置。
【請求項１２】前記輝度変化検出手段は、符号化対象
画像フレームの小領域毎に参照画像フレームに対する位
置変化量を検出する位置変化検出部と、該位置変化検出
部によって検出された位置変化量だけずれた該参照画像
フレーム小領域の輝度代表値との差を用いて大局的な輝
度変化量を検出する輝度変化量検出部を含み、前記輝度
変化補償手段は、該大局的な輝度変化量を該参照画像フ
レーム小領域の各輝度値または該参照画像フレームに対
し位置変化補償を行なった後の各輝度値に加算する輝度
変化補償部を含む、請求項１０に記載の動画像符号化装
置。
【請求項１３】前記輝度変化補償手段は、参照画像フ
レームの各輝度値または該参照画像フレームに対し位置
変化補償を行なった後の各輝度値に、請求項１２に記載
の動画像符号化装置からの符号化データの一部として得
られる大局的な輝度変化量を加算する輝度変化補償部を
含む請求項１１に記載の動画像復号装置。
【請求項１４】前記符号化対象画像フレームの定めら
れた領域毎に、前記輝度変化補償部の出力を利用するか
しないかを選択するとともにその選択情報である輝度変
化補償オン／オフ選択情報を出力し、前記大局的な輝度
変化量が０であった場合には、フレーム間予測値とし
て、前記輝度変化補償部の出力を常に利用するかまたは
前記輝度変化補償部に入力した輝度変化補償される前の
値を常に利用することとし、前記選択情報は出力しない
輝度変化補償オン／オフ選択部をさらに有する、請求項
１２記載の動画像符号化装置。
【請求項１５】請求項１４記載の動画像符号化装置か
ら出力された前記輝度変化補償オン／オフ選択情報を入
力し、該輝度変化補償オン／オフ選択情報がオンであれ
ば前記輝度変化補償部の出力値を、オフであれば前記輝
度変化補償部に入力した、輝度変化補償される前の値を
選択し、フレーム間予測値として出力する輝度変化補償
オン／オフ切替部をさらに有する、請求項１２記載の動
画像復号装置。