JP7303661B2

JP7303661B2 - 画像処理装置及びプログラム

Info

Publication number: JP7303661B2
Application number: JP2019088513A
Authority: JP
Inventors: 康孝松尾; 菊文神田
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2019-05-08
Filing date: 2019-05-08
Publication date: 2023-07-05
Anticipated expiration: 2039-05-08
Also published as: JP2020184693A

Description

本発明は、動画像を入力しウェーブレットパケット分解に基づくウェーブレット縮退を用いて画像処理を行う画像処理装置及びプログラムに関する。

従来、動画像を入力しウェーブレットパケット分解に基づくウェーブレット縮退を用いて雑音除去を行う技法として、入力画像をウェーブレット変換した周波数分解係数のうち、所定の雑音レベル以下の成分をコアリングすることによりノイズ除去を行うことが知られている（例えば、非特許文献１参照）。

また、ウェーブレット縮退を用いた画像処理装置として、高周波ノイズ画像と低周波ノイズ画像を抽出し、これらの画像が輝度成分の画像であるか色差成分の画像であるかに応じて分けて統合することで雑音レベルの低減を行う技法が知られている（例えば、特許文献１参照）。

特許第５３５２９４２号明細書

David L. Donoho, Iain M. Johnstone, Gerard Kerkyacharian and Dominique Picard: "Wavelet Shrinkage: Asymptopia?", Journal of the Royal Statistical Society. Series B (Methodological), Vol. 57, No. 2, pp. 301-369, 1995.

上述したように、従来から、非特許文献１や特許文献１などのように、画像に対しウェーブレット縮退を用いて雑音除去する技法が知られている。また、ウェーブレット縮退を用いて帯域制限処理を行う技法もある。

一方で、近年、例えば次世代地上波放送として、ハイビジョンを超える超高精細動画像として４Ｋや８ＫのＳＨＶ（ＳｕｐｅｒＨｉ－Ｖｉｓｉｏｎ）などの大容量コンテンツサービスを伝送することが検討されている。このような超高精細動画像の伝送にあたって高圧縮符号化を行う際に、空間高周波数帯域成分のパワーが大きいなどの理由で高圧縮符号化が困難な動画像が入力されうることが想定される。この場合、伝送容量としてその入力動画像が持つ膨大な情報量に対する符号化ビットレートが十分ではない事態が生じうるため、圧縮又は伝送に係る符号化に起因する画像破綻が発生する場合がある。

そこで、超高精細動画像に対する高圧縮符号化処理の前段で、非特許文献１や特許文献１などの従来の雑音除去処理や帯域制限処理を行うことで、入力動画像が持つ情報量を削減することができる。

しかし、従来技術を用いて雑音除去処理と帯域制限処理を行う場合に、様々な線形フィルタ処理や非線形フバルタ処理が存在するが、従来技術では、超高精細動画像等の動画像に対し圧縮又は伝送に係る符号化に起因する画像破綻を抑制しつつ動画像品質を劣化させないように、その圧縮符号化処理の前処理として適応的に雑音除去処理と帯域制限処理を行うことができないという問題がある。

このため、超高精細動画像等の動画像に対し圧縮符号化処理の前段でウェーブレット縮退を用いて情報量を削減するにあたり、画像破綻を抑制しつつ動画像品質を劣化させないように雑音除去処理と帯域制限処理を行うフィルタ処理（ウェーブレット縮退に用いる縮退関数）が望まれる。

従って、本発明の目的は、圧縮符号化処理の前処理として動画像を入力し、この入力動画像に対しウェーブレットパケット分解に基づくウェーブレット縮退を用いて画像破綻を抑制しつつ動画像品質を劣化させないように適応的に雑音除去処理と帯域制限処理を行う画像処理を施し、動画像の圧縮符号化処理に係る画質を向上させる画像処理装置及びプログラムを提供することにある。

本発明による一態様の画像処理装置は、動画像の圧縮符号化処理の前段で、入力動画像の雑音除去及び帯域制限を行うにあたり、その入力動画像の符号化難易度を時空間解析で予測しながら、入力動画像の各フレーム画像における周波数領域の空間位相位置毎に雑音除去及び帯域制限を行う縮退関数を設定して、空間ウェーブレットパケット分解に基づく空間ウェーブレット縮退処理を行うように構成する。当該縮退関数は、当該空間位相位置毎の時間パワーの変動の大きさを基に、より好適には時間パワーの変動の大きさと、後段の圧縮符号化処理に係る参照ピクチャセットに対応する時間的なマッチング度合い（時間パワーマッチング量）とを基に、雑音除去及び帯域制限を行う。

即ち、本発明の画像処理装置は、動画像を入力しウェーブレットパケット分解に基づくウェーブレット縮退を用いて画像処理を行う画像処理装置であって、当該動画像における処理対象のピクチャを入力し、ｎ階（ｎ≧２）の空間ウェーブレットパケット分解処理を施し、空間方向の各周波数帯域群の周波数分解係数を抽出する空間ウェーブレットパケット分解部と、前記処理対象のピクチャに関する前記空間方向の各周波数帯域群のうち空間対角最高周波数帯域の周波数分解係数を抽出し、当該空間対角最高周波数帯域内の全周波数分解係数のパワーにおける予め定めた割合以上となるパワーを雑音成分とみなし雑音パワーとして検出する雑音パワー検出部と、前記処理対象のピクチャに関する前記空間方向の各周波数帯域群を基準に、前記処理対象のピクチャが属するフレーム画像に連続する直近の１枚のフレーム画像における対応する空間位置のピクチャを用いて時間方向に１階ウェーブレットパケット分解を行い、前記処理対象のピクチャに関する空間位相位置毎の時間パワー変動量を検出する時間パワー変動量検出部と、前記処理対象のピクチャに関する当該雑音パワー及び当該空間位相位置毎の時間パワー変動量を基に、前記雑音パワーは雑音除去する縮退関数の入力値範囲を規定するものとし、前記時間パワー変動量はその値が大きいほど帯域制限量に相当する縮退関数の傾きを小さくするものとして、前記処理対象のピクチャに関する全ての周波数帯域群における空間位相位置毎に縮退関数を設定する縮退関数設定部と、前記処理対象のピクチャに関する各周波数帯域群の周波数分解係数に対し前記縮退関数を適用して空間ウェーブレット縮退処理を実行することにより、当該空間ウェーブレットパケット分解処理に基づく空間ウェーブレット縮退処理を行う空間ウェーブレット縮退部と、前記処理対象のピクチャに関して前記空間ウェーブレット縮退処理によって帯域制限及び雑音除去された各周波数帯域群の周波数分解係数を用いて空間ウェーブレット再構成処理を施すことにより、当該動画像における各ピクチャについて帯域制限及び雑音除去された出力動画像を生成する再構成部と、を備えることを特徴とする。

また、本発明の画像処理装置において、前記時間パワー変動量検出部は、各空間位相位置を中心とする所定ブロックサイズのブロックを基に、前記処理対象のピクチャに関する空間位相位置毎の時間パワー変動量を検出することを特徴とする。

また、本発明の画像処理装置において、所定の圧縮符号化処理に係る参照ピクチャセットの情報を基に、当該処理対象のピクチャに対して符号化参照されることになる１枚以上の参照ピクチャを入力し、該参照ピクチャに対しｎ階（ｎ≧２）の空間ウェーブレットパケット分解処理を施し、空間方向の各周波数帯域群の周波数分解係数で表される参照ピクチャを生成する第２の空間ウェーブレットパケット分解部と、前記処理対象のピクチャに関する前記空間方向の各周波数帯域群における各空間位相位置について、各空間位相位置を中心とする所定ブロックサイズのブロック毎に、前記空間方向の各周波数帯域群の周波数分解係数で表される参照ピクチャに対するブロックマッチングを行い、最小の類似度評価指数を示すマッチング量を探索し、当該最小となるマッチング量を前記処理対象のピクチャに関する空間位相位置毎の時間パワーマッチング量として検出する時間パワーマッチング量検出部と、を更に備え、前記縮退関数設定部は、前記処理対象のピクチャに関する当該雑音パワー、当該空間位相位置毎の時間パワー変動量、及び当該空間位相位置毎の時間パワーマッチング量を基に、前記雑音パワーは雑音除去する縮退関数の入力値範囲を規定するものとし、前記時間パワー変動量はその値が大きいほど帯域制限量に相当する縮退関数の傾きを小さくするものとし、前記時間パワーマッチング量はその値が大きいほど帯域制限量に相当する縮退関数の傾きを小さくするものとして、前記処理対象のピクチャに関する全ての周波数帯域群における空間位相位置毎に縮退関数を設定することを特徴とする。

更に、本発明のプログラムは、コンピューターを、本発明の画像処理装置として機能させるためのプログラムとして構成する。

本発明によれば、動画像の圧縮符号化処理の前処理として本発明に係る画像処理装置を利用することで、その入力動画像の符号化難易度を時空間解析で予測しながら、入力動画像の各フレーム画像における周波数領域の空間位相位置毎に雑音除去及び帯域制限を行う縮退関数を適応的に設定することができるので、後段の圧縮符号化処理における画像破綻を抑制することができ、動画像符号化品質を向上させることが可能となる。

本発明による一実施形態の画像処理装置の概略構成を示すブロック図である。本発明による一実施形態の画像処理装置における一実施例の画像処理に係る２階空間ウェーブレットパケット分解によって得られる周波数帯域を示す図である。本発明による一実施形態の画像処理装置における一実施例の画像処理を示すフローチャートである。本発明による一実施形態の画像処理装置における時間パワー変動量の検出を示す説明図である。本発明による一実施形態の画像処理装置における時間パワーマッチング量の検出を示す説明図である。（ａ）は参照ピクチャセットを例示する図であり、（ｂ），（ｃ）はそれぞれ本発明による一実施形態の画像処理装置における時間パワーマッチング量の検出に係るブロックマッチングを例示する説明図である。（ａ），（ｂ）は、それぞれ本発明による一実施形態の画像処理装置における一実施例及び変形例の画像処理に係る縮退関数の説明図である。本発明による一実施形態の画像処理装置における一実施例の画像処理に係る３階空間ウェーブレットパケット分解によって得られる周波数帯域を示す図である。

以下、本発明による一実施形態の画像処理装置１について、図面を参照して詳細に説明する。

〔装置構成〕
図１は本発明による一実施形態の画像処理装置１の概略構成を示すブロック図である。本実施形態の画像処理装置１は、圧縮符号化処理の前処理として、動画像を入力し空間ウェーブレットパケット分解に基づく空間ウェーブレット縮退を用いて画像処理を行う装置として構成され、空間ウェーブレットパケット分解部１１、雑音パワー検出部１２、時間パワー変動量検出部１３、空間ウェーブレットパケット分解部１４、時間パワーマッチング量検出部１５、縮退関数設定部１６、空間ウェーブレット縮退部１７、及び再構成部１８を備える。尚、図１に示す例において、画像処理装置１に対しウェーブレットパケット分解階数（ｎ階）を外部指定可能とし、画像処理装置１内の必要とされる各構成要素に対し個別に外部指定するように図示しているが、パラメータとして伝送しながら処理する構成とすることも可能である。

空間ウェーブレットパケット分解部１１は、入力動画像における処理対象のピクチャＰ（ｔ）を入力し、設定されたウェーブレットパケット分解階数（ｎ階）に従って（ｎ≧２）、入力動画像における処理対象のピクチャＰ（ｔ）（ｔ：処理対象とするフレーム画像の時刻）に対し空間ウェーブレットパケット分解処理を施し、これにより抽出される空間方向の各周波数帯域群の周波数分解係数を空間ウェーブレット縮退部１７に出力する。尚、処理対象のピクチャＰ（ｔ）について当該ｎ階空間ウェーブレットパケット分解によって得られる空間方向の各周波数帯域のうち空間対角最高周波数帯域内の周波数分解係数は雑音パワー検出部１２にて抽出される。また、処理対象のピクチャＰ（ｔ）について当該ｎ階空間ウェーブレットパケット分解によって得られる空間方向の各周波数帯域群の周波数分解係数は、時間パワー変動量検出部１３、及び時間パワーマッチング量検出部１５において、それぞれ詳細に後述する時間パワー変動量及び時間パワーマッチング量の検出に用いられる。

図２を参照して、より具体的に処理対象のピクチャＰ（ｔ）に対する空間ウェーブレットパケット分解について説明する。図２は本発明による一実施形態の画像処理装置１における一実施例の画像処理に係る処理対象のピクチャＰ（ｔ）に対する２階空間ウェーブレットパケット分解によって得られる周波数帯域を示す図であり、放送カメラで撮像された所謂８Ｋ／６０Ｐの動画像（水平解像度８Ｋ（７６８０画素）×垂直解像度４Ｋ（４３２０画素））を処理対象とした例である。この例では、時刻ｔのフレーム画像全体をピクチャＰ（ｔ）としているが、時刻ｔのフレーム画像の一部を示すスライス画像やタイル画像（ＨＥＶＣ規格）をピクチャＰ（ｔ）として扱うことができる。

図２に示すように、入力動画像における処理対象のピクチャＰ（ｔ）に対するｎ＝２とした空間方向のみを処理対象とする２階空間ウェーブレットパケット分解では、入力動画像における処理対象のピクチャＰ（ｔ）に対しそれぞれ水平・垂直方向に２階空間ウェーブレットパケット分解を行う。この場合、水平周波数×垂直周波数で表される図２に図示するような周波数領域に分解されたピクチャＰ’（ｉ,ｊ,ｔ）が得られ、ピクチャＰ’（ｉ,ｊ,ｔ）は、２階の空間低周波数帯域ＬＬ^ｍ（ｉ,ｊ,ｔ）、水平高周波数帯域ＬＨ^ｍ（ｉ,ｊ,ｔ）、垂直高周波数帯域ＨＬ^ｍ（ｉ,ｊ,ｔ）、及び対角（水平・垂直）高周波数帯域ＨＨ^ｍ（ｉ,ｊ,ｔ）の各周波数帯域群に分解される（ｍは各周波数帯域群の群番号であり、ｉは水平方向の周波数分解係数の空間位相座標を示し、ｊは垂直方向の周波数分解係数の空間位相座標を示す。）。尚、ｎ階空間ウェーブレットハケット分解における各階間には、パーセバルの法則が成り立つものとなっている。

図１に示すように、雑音パワー検出部１２は、ウェーブレットパケット分解階数（ｎ階）に従って、空間ウェーブレットパケット分解部１１からの出力値であるピクチャＰ’（ｉ,ｊ,ｔ）の各周波数帯域群のうち空間対角最高周波数帯域（本例ではｎ＝２としており、空間ＨＨ^４（ｉ,ｊ,ｔ））の成分（周波数分解係数）を抽出する。そして、雑音パワー検出部１２は、ピクチャＰ’（ｉ,ｊ,ｔ）の当該空間対角最高周波数帯域内の全成分（全周波数分解係数）のパワーにおける予め定めた割合以上となるパワー（上位α％番目のパワー）を雑音成分とみなし、雑音パワーＰ_Ｎとして検出し縮退関数設定部１６に出力する。

時間パワー変動量検出部１３は、ウェーブレットパケット分解階数（ｎ階）に従って、空間ウェーブレットパケット分解部１１からの出力値であるピクチャＰ’（ｉ,ｊ,ｔ）の各周波数帯域群を基準に、時間ウェーブレットフィルタを用いて当該ピクチャＰ’（ｉ,ｊ,ｔ）が属するフレーム画像に連続する直近の１枚のフレーム画像における対応する空間位置のピクチャＰ（ｔ－ａ）（ａは時刻ｔに対する相対時刻を示すが、例えばａ＝１としたときは、直前のフレーム画像における対応する空間位置のピクチャＰ（ｔ－１）を示す。）を用いて時間方向に１階ウェーブレットパケット分解を行い、ピクチャＰ’（ｉ,ｊ,ｔ－ａ）の各周波数帯域群の周波数分解係数を得る。続いて、時間パワー変動量検出部１３は、ピクチャＰ’（ｉ,ｊ,ｔ）の各周波数帯域群、及びピクチャＰ’（ｉ,ｊ,ｔ－ａ）の各周波数帯域群について、それぞれ対応する空間位相位置（各周波数帯域内の周波数分解係数の空間位相を示す位置（ｉ,ｊ））で、その空間位相位置（ｉ,ｊ）を中心とする外部指定されたブロックサイズ｛Ｂｘ，Ｂｙ｝のブロック毎に、該ブロック領域内の平均値又は中央値を当該空間位相位置のパワーとしてそれぞれ求め、ピクチャＰ’（ｉ,ｊ,ｔ）及びピクチャＰ’（ｉ,ｊ,ｔ－ａ）間で各空間位相位置（ｉ,ｊ）のパワーについて差分した値を、ピクチャＰ’（ｉ,ｊ,ｔ）における空間位相位置（ｉ,ｊ）毎の時間パワー変動量として検出し、縮退関数設定部１６に出力する。尚、空間位相位置（ｉ,ｊ）毎の時間パワー変動量を検出するにあたり、上記のようにブロック領域で処理することでパワー値の精度及びこれに基づく縮退関数の設定値の精度が高くなる。

空間ウェーブレットパケット分解部１４は、本実施形態の画像処理装置１の出力動画像に対し圧縮符号化処理を行う後段の符号化装置（図示略）で用いる参照ピクチャセット（ＲＰＳ）の情報が外部指定される。そして、空間ウェーブレットパケット分解部１４は、この参照ピクチャセット（ＲＰＳ）の情報を基に、当該入力動画像における処理対象のピクチャＰ（ｔ）に対して符号化参照されることになる１枚以上の参照ピクチャＰ（ｋ）を入力し、当該設定されたウェーブレットパケット分解階数（ｎ階）に従って（ｎ≧２）、当該参照ピクチャＰ（ｋ）に対しｎ階の空間ウェーブレットパケット分解処理を施し、これにより得られる空間方向の各周波数帯域群の周波数分解係数を時間パワーマッチング量検出部１５に出力する。例えば、空間ウェーブレットパケット分解部１４は、参照ピクチャセット（ＲＰＳ）の情報に基づいて定められる、処理対象のピクチャＰ（ｔ）に対し１つ前の符号化順の参照ピクチャＰ（ｋ）について、２階空間ウェーブレットパケット分解を施して得られる周波数帯域群の周波数分解係数を時間パワーマッチング量検出部１５に出力する。

時間パワーマッチング量検出部１５は、ウェーブレットパケット分解階数（ｎ階）に従って得られる空間ウェーブレットパケット分解部１１からの出力値であるピクチャＰ’（ｉ,ｊ,ｔ）の各周波数帯域群における各空間位相位置（ｉ,ｊ）について、その各空間位相位置（ｉ,ｊ）を中心とする外部指定されたブロックサイズ｛Ｂｘ，Ｂｙ｝のブロック毎に、空間ウェーブレットパケット分解部１４からの出力値である参照ピクチャＰ’（ｉ,ｊ,ｋ）に対するブロックマッチングを行い、最小の類似度評価指数を示すマッチング量を探索し、当該最小となるマッチング量をピクチャＰ’（ｉ,ｊ,ｔ）における空間位相位置（ｉ,ｊ）毎の時間パワーマッチング量として検出し、縮退関数設定部１６に出力する。ここで、類似度評価指数は、ＳＳＤ（Sum of Squared Difference）値とすることや、ＳＳＤ値以外にも、ＳＡＤ（Sum of Absolute Difference）値、ＮＣＣ（Normalized Cross-Correlation），ＺＮＣＣ（Zero-means Normalized Cross-Correlation）等を利用できる。尚、空間位相位置（ｉ,ｊ）毎の時間パワーマッチング量を検出するにあたり、上記のようにブロック領域で処理することでマッチング量の精度及びこれに基づく縮退関数の設定値の精度が高くなる。

縮退関数設定部１６は、雑音パワー検出部１２から得られるピクチャＰ’（ｉ,ｊ,ｔ）における雑音パワーＰ_Ｎと、時間パワー変動量検出部１３から得られるピクチャＰ’（ｉ,ｊ,ｔ）における空間位相位置（ｉ,ｊ）毎の時間パワー変動量と、時間パワーマッチング量検出部１５から得られるピクチャＰ’（ｉ,ｊ,ｔ）における空間位相位置（ｉ,ｊ）毎の時間パワーマッチング量とを基に、ピクチャＰ’（ｉ,ｊ,ｔ）における全ての周波数帯域群における空間位相位置（ｉ,ｊ）毎に、空間ウェーブレット縮退部１７で用いる縮退関数を設定する。尚、縮退関数設定部１６における縮退関数の設定において、雑音パワーＰ_Ｎは雑音除去する縮退関数の入力値範囲が規定され、時間パワー変動量はその値が大きいほど帯域制限量に相当する縮退関数の傾きを小さくするものとし、更に時間パワーマッチング量はその値が大きいほど帯域制限量に相当する縮退関数の傾きを小さくするものとして設定される。

空間ウェーブレット縮退部１７は、空間ウェーブレットパケット分解部１１から入力されたピクチャＰ’（ｉ,ｊ,ｔ）における各周波数帯域群の周波数分解係数に対し、縮退関数設定部１６により設定された縮退関数を適用して空間ウェーブレット縮退処理を実行する。これにより、空間ウェーブレット縮退部１７は、その入力動画像の符号化難易度を時空間解析で予測しながら、入力動画像の各フレーム画像（正確には各ピクチャ）における周波数領域の空間位相位置毎に雑音除去及び帯域制限を行う縮退関数を適応的に設定して、空間ウェーブレットパケット分解に基づく空間ウェーブレット縮退処理を行い、帯域制限及び雑音除去後の各周波数帯域内の周波数分解係数を再構成部１８に出力する。

再構成部１８は、ウェーブレットパケット分解階数（ｎ階）に従って、空間ウェーブレット縮退処理によって帯域制限及び雑音除去されたピクチャＰ’（ｉ,ｊ,ｔ）における各周波数帯域群の周波数分解係数を用いて空間ウェーブレット再構成処理を施し、入力動画像における各ピクチャについて同様に処理することにより、帯域制限及び雑音除去された出力動画像を生成し外部に出力する。

〔装置動作〕
以下、より具体的に、図１及び図２に示す本実施形態の画像処理装置１の動作として、図４乃至図６を参照しながら、図３を基に一実施例の画像処理について説明する。

図３は、本発明による一実施形態の画像処理装置１における一実施例の画像処理を示すフローチャートである。また、図４は本実施形態の画像処理装置１における時間パワー変動量の検出を示す説明図であり、図５は本実施形態の画像処理装置１における時間パワーマッチング量の検出を示す説明図である。尚、図６（ａ）は参照ピクチャセットを例示する図であり、図６（ｂ），（ｃ）はそれぞれ本実施形態の画像処理装置１における時間パワーマッチング量の検出に係るブロックマッチングを例示する説明図である。

まず、画像処理装置１は、空間ウェーブレットパケット分解部１１により、入力動画像における処理対象のピクチャＰ（ｔ）を入力し、設定されたウェーブレットパケット分解階数（ｎ階）に従って（ｎ≧２）、入力動画像における処理対象のピクチャＰ（ｔ）に対し空間ウェーブレットパケット分解処理を施し、これにより得られる空間方向の各周波数帯域群の周波数分解係数を得る（ステップＳ１）。

続いて、画像処理装置１は、雑音パワー検出部１２により、図２に示すピクチャＰ’（ｉ,ｊ,ｔ）の各周波数帯域群のうち空間対角最高周波数帯域（本例ではｎ＝２としており、空間ＨＨ^４（ｉ,ｊ,ｔ））の成分（周波数分解係数）を抽出し、ピクチャＰ’（ｉ,ｊ,ｔ）の当該空間対角最高周波数帯域内の全成分（全周波数分解係数）のパワーにおける予め定めた割合以上となるパワー（上位α％番目のパワー）を雑音成分とみなし、雑音パワーＰ_Ｎとして検出する（ステップＳ２）。

一般に、信号成分のパワーは低周波数帯域に偏在する。一方、熱雑音などの雑音成分のパワーは全周波数帯域群でほぼ一定である。このため、ｎ階空間ウェーブレットパケット分解による空間対角最高周波数帯域内の成分は雑音成分が支配的となる。そこで、雑音パワー検出部１２は、空間対角最高周波数帯域の全成分（全周波数分解係数）のパワーをソートして、例えばα＝９５とすると、その上位９５％番目の値を雑音パワーＰ_Ｎとする。

続いて、画像処理装置１は、時間パワー変動量検出部１３により、ピクチャＰ’（ｉ,ｊ,ｔ）の各周波数帯域群を基準に、時間ウェーブレットフィルタＦを用いて当該ピクチャＰ’（ｉ,ｊ,ｔ）が属するフレーム画像に連続する直近の１枚のフレーム画像における対応する空間位置のピクチャＰ（ｔ－ａ）を用いて時間方向に１階ウェーブレットパケット分解を行い、ピクチャＰ’（ｉ,ｊ,ｔ－ａ）の各周波数帯域群の周波数分解係数を得る。

例えば、ａ＝１としたとき、ピクチャＰ（ｔ）（周波数領域ではピクチャＰ’（ｉ,ｊ,ｔ））が属するフレーム画像に対し直前のフレーム画像における対応する空間位置のピクチャＰ（ｔ－１）について、ピクチャＰ’（ｉ,ｊ,ｔ）の各周波数帯域群を基準にした空間位相位置で時間方向に周波数分解されたピクチャＰ’（ｉ,ｊ,ｔ－１）が得られる。即ち、１階ウェーブレットパケット分解を行う時間ウェーブレットフィルタＦをＨａａｒウェーブレットフィルタとすると、そのタップ長は２となり、図４に示すように、ピクチャＰ’（ｉ,ｊ,ｔ）の各周波数帯域群に対応する空間位相位置で、時間方向に周波数分解されたピクチャＰ’（ｉ,ｊ,ｔ－１）が得られる。

そして、時間パワー変動量検出部１３は、ピクチャＰ’（ｉ,ｊ,ｔ）の各周波数帯域群、及びピクチャＰ’（ｉ,ｊ,ｔ－ａ）の各周波数帯域群について、それぞれ対応する空間位相位置（ｉ,ｊ）で、その空間位相位置（ｉ,ｊ）を中心とする外部指定されたブロックサイズ｛Ｂｘ，Ｂｙ｝のブロック領域内の平均値又は中央値を当該空間位相位置のパワーとしてそれぞれ求め、ピクチャＰ’（ｉ,ｊ,ｔ）及びピクチャＰ’（ｉ,ｊ,ｔ－ａ）間で各空間位相位置（ｉ,ｊ）のパワーについて差分した値を、ピクチャＰ’（ｉ,ｊ,ｔ）における空間位相位置（ｉ,ｊ）毎の時間パワー変動量として検出する（ステップＳ３）。

例えば、時間パワー変動量検出部１３は、図４に例示するように、或る周波数帯域（図示する例ではＨＬ^３）における空間位相位置（ｉ,ｊ）を中心とするブロック領域で、ブロックサイズ３×３｛Ｂｘ＝３，Ｂｙ＝３｝とすると、その空間位相位置（ｉ,ｊ）のピクチャＰ’（ｉ,ｊ,ｔ）のブロック領域内の平均値又は中央値を示すパワーと、同空間位相位置（ｉ,ｊ）のピクチャＰ’（ｉ,ｊ,ｔ）のブロック領域内の平均値又は中央値を示すパワーとの差分を、ピクチャＰ’（ｉ,ｊ,ｔ）における当該空間位相位置（ｉ,ｊ）の時間パワー変動量Ｐ_ＨＬ ^３（ｉ,ｊ,ｔ）として検出する。このように、時間パワー変動量検出部１３は、全ての周波数帯域における全ての空間位相位置（ｉ,ｊ）で、時間パワー変動量を検出する。

続いて、画像処理装置１は、空間ウェーブレットパケット分解部１４により、圧縮符号化処理を行う後段の符号化装置（図示略）で用いる参照ピクチャセット（ＲＰＳ）の情報が外部指定されると、この参照ピクチャセット（ＲＰＳ）の情報を基に、当該入力動画像における処理対象のピクチャＰ（ｔ）に対して符号化参照されることになる１枚以上の参照ピクチャＰ（ｋ）を入力し、当該参照ピクチャＰ（ｋ）に対しｎ階の空間ウェーブレットパケット分解処理を施し、これにより得られる空間方向の各周波数帯域群の周波数分解係数で表される参照ピクチャＰ’（ｉ,ｊ,ｋ）を生成する。

例えば、空間ウェーブレットパケット分解部１４は、図５に例示するように、参照ピクチャセット（ＲＰＳ）の情報に基づいて定められる、処理対象のピクチャＰ（ｔ）に対し１つ前の符号化順の参照ピクチャＰ（ｋ）について、２階空間ウェーブレットパケット分解を施して得られる周波数帯域群の周波数分解係数で表される参照ピクチャＰ’（ｉ,ｊ,ｋ）を生成する。

続いて、画像処理装置１は、時間パワーマッチング量検出部１５により、ウェーブレットパケット分解階数（ｎ階）に従って得られる空間ウェーブレットパケット分解部１１からの出力値であるピクチャＰ’（ｉ,ｊ,ｔ）の各周波数帯域群における各空間位相位置（ｉ,ｊ）について、その各空間位相位置（ｉ,ｊ）を中心とする外部指定されたブロックサイズ｛Ｂｘ，Ｂｙ｝のブロック毎に、空間ウェーブレットパケット分解部１４からの出力値である参照ピクチャＰ’（ｉ,ｊ,ｋ）に対するブロックマッチングを行い、最小の類似度評価指数（例えば、ＳＳＤ値）を示すマッチング量を探索し、当該最小となるマッチング量をピクチャＰ’（ｉ,ｊ,ｔ）における空間位相位置（ｉ,ｊ）毎の時間パワーマッチング量として検出する（ステップＳ４）。

例えば、時間パワーマッチング量検出部１５は、図５に例示するように、或る周波数帯域（図示する例ではＨＬ^３）における空間位相位置（ｉ,ｊ）を中心とするブロック領域で、ブロックサイズ３×３｛Ｂｘ＝３，Ｂｙ＝３｝とすると、そのピクチャＰ’（ｉ,ｊ,ｔ）の空間位相位置（ｉ,ｊ）について、参照ピクチャセット（ＲＰＳ）の情報に基づいて定められる参照ピクチャＰ’（ｉ,ｊ,ｋ）に対するブロックマッチングを行い、最小の類似度評価指数（例えば、ＳＳＤ値）を示すマッチング量を探索し、当該最小となるマッチング量を、ピクチャＰ’（ｉ,ｊ,ｔ）における当該空間位相位置（ｉ,ｊ）の時間パワーマッチング量Ｍ_ＨＬ ^３（ｉ,ｊ,ｔ）として検出する。このように、時間パワーマッチング量検出部１５は、全ての周波数帯域における全ての空間位相位置（ｉ,ｊ）で、時間パワーマッチング量を検出する。

尚、図６を参照して、参照ピクチャセット、及び本実施形態の画像処理装置１における時間パワーマッチング量の検出に係るブロックマッチングを説明する。動画像の圧縮符号化技術として、例えばＨ．２６４／ＭＰＥＧ－４ＡＶＣ，Ｈ．２６５／ＭＰＥＧ－ＨＨＥＶＣなどでは、予測符号化処理前の動画像について複数の画面群に分割した所定グループを設定し、その所定グループ内で、予測符号化法として予め選択された画面間予測符号化処理や画面内予測符号化処理を行う。

Ｈ．２６４／ＭＰＥＧ－４ＡＶＣでは、当該所定グループとして予測符号化前の動画像について複数の画面群に分割したＧＯＰ（Group of Pictures）を設定する。そして、ＧＯＰ内の各画面（フレーム、又はスライス画面）について、フレーム内予測符号化処理を行うＩピクチャ、時間的に過去の画面から片方向フレーム間予測符号化処理を行うＰピクチャ、又は時間的に前後に位置する画面から双方向フレーム間予測符号化処理を行うＢピクチャが予め選択される。尚、Ｈ．２６４／ＭＰＥＧ－４ＡＶＣでは、ＧＯＰ内の全ての画面について画面内予測符号化処理のみの圧縮符号化方式による圧縮も可能である。

また、Ｈ．２６５／ＭＰＥＧ－ＨＨＥＶＣにおいても、当該所定グループとして予測符号化前の動画像について複数の画面群に分割したシーケンスを設定する。ＨＥＶＣ規格上ではＧＯＰという概念を導入していないが、このシーケンスがＧＯＰに相当する。そして、シーケンス内の各画面（フレーム画面、スライス画面、又はタイル画面）について、画面内予測符号化処理や画面間予測符号化処理を行う処理ユニットが予め選択される。尚、Ｈ．２６５／ＭＰＥＧ－ＨＨＥＶＣにおいても、シーケンス内の全ての画面について画面内予測符号化処理のみの圧縮符号化方式による圧縮も可能である。

そして、図６（ａ）に例示するように、圧縮符号化する動画像は、そのフレーム番号で示される各フレーム画像（ここでは、フレーム画像全体をピクチャとして例示）が、いずれのピクチャを参照対象として圧縮符号化を行うかが予め定められ、参照ピクチャセットとして識別できるようになっている。

そこで、画像処理装置１は、時間パワーマッチング量検出部１５により、ピクチャＰ’（ｉ,ｊ,ｔ）の各周波数帯域群における各空間位相位置（ｉ,ｊ）について、ブロックサイズ｛Ｂｘ，Ｂｙ｝のブロック毎に、例えば１枚の参照ピクチャＰ’（ｉ,ｊ,ｋ）に対するときは図６（ｂ）に示すように、或いは２枚の参照ピクチャＰ’（ｉ,ｊ,ｋ１），Ｐ’（ｉ,ｊ,ｋ２）に対するときは図６（ｃ）に示すように、予め定めた探索範囲内でブロックマッチングを行って、個々のブロックマッチングで得られるマッチング量（ＳＳＤ値を例にＳＳＤ１，ＳＳＤ２，…）のうち最小となるマッチング量を時間パワーマッチング量として検出する。尚、当該参照ピクチャセットにおける参照ピクチャＰ’（ｉ,ｊ,ｋ）が処理対象のピクチャＰ’（ｉ,ｊ,ｔ）のＩピクチャに該当するときは、当該時間パワーマッチング量検出部１５の処理は省略するか、或いは、前回の参照ピクチャセットにおけるＩピクチャ又は最終の符号化順のピクチャを参照ピクチャＰ’（ｉ,ｊ,ｋ）として扱うように構成することができる。

続いて、画像処理装置１は、縮退関数設定部１６により、雑音パワー検出部１２から得られるピクチャＰ’（ｉ,ｊ,ｔ）における雑音パワーＰ_Ｎと、時間パワー変動量検出部１３から得られるピクチャＰ’（ｉ,ｊ,ｔ）における空間位相位置（ｉ,ｊ）毎の時間パワー変動量と、時間パワーマッチング量検出部１５から得られるピクチャＰ’（ｉ,ｊ,ｔ）における空間位相位置（ｉ,ｊ）毎の時間パワーマッチング量とを基に、ピクチャＰ’（ｉ,ｊ,ｔ）における全ての周波数帯域群における空間位相位置（ｉ,ｊ）毎に、空間ウェーブレット縮退部１７で用いる縮退関数を設定する（ステップＳ５）。

特に、縮退関数設定部１６は、雑音パワーＰ_Ｎは雑音除去する縮退関数の入力値範囲を規定するものとし、時間パワー変動量はその値が大きいほど帯域制限量に相当する縮退関数の傾きを小さくするものとし、更に時間パワーマッチング量はその値が大きいほど帯域制限量に相当する縮退関数の傾きを小さくするものとして、縮退関数を設定する。

例えば、図７（ａ）は、本実施形態の画像処理装置１における一実施例の画像処理に係る縮退関数の説明図である。図７（ａ）に示す入力ｘに対する出力ｙで示される縮退関数は、雑音パワーＰ_Ｎの絶対値以下で定まる入力値をゼロ値まで雑音除去するよう縮退関数の入力値範囲を規定するものとし、雑音パワーＰ_Ｎの絶対値を超える入力値については、上述した図４に示す空間位相位置（ｉ,ｊ）の時間パワー変動量Ｐ_ＨＬ ^３（ｉ,ｊ,ｔ）と、上述した図５に示す同空間位相位置（ｉ,ｊ）の時間パワーマッチング量Ｍ_ＨＬ ^３（ｉ,ｊ,ｔ）とで定まる帯域制限とし、時間パワー変動量の値が大きいほど帯域制限量に相当する縮退関数の傾きを小さくするものとし、更に時間パワーマッチング量の値が大きいほど帯域制限量に相当する縮退関数の傾きを小さくするものとする。これは、時間パワー変動量の値が大きいほど、更には時間パワーマッチング量の値が大きいほど、圧縮符号化が難しく符号化に起因する画像劣化が起こりやすいとみなしているためである。尚、β，γは任意に定められる定数である。

（変形例）
尚、上述した実施形態の例では、雑音パワー、時間パワー変動量及び時間パワーマッチング量を用いて縮退関数の設定を行う例を説明したが、画像処理装置１において、空間ウェーブレットパケット分解部１４、及び時間パワーマッチング量検出部１５を省略し、雑音パワー、及び時間パワー変動量を用いて縮退関数の設定を行う構成としてもよい。この変形例の縮退関数を図７（ｂ）に例示している。図７（ｂ）に示す例においても、時間パワー変動量の値が大きいほど縮退関数の傾きを小さくするものとし、これにより、比較的多くの動画像において生じる圧縮符号化が難しく符号化に起因する画像劣化が起こりやすい現象を、抑制させることができる。

続いて、画像処理装置１は、空間ウェーブレット縮退部１７により、空間ウェーブレットパケット分解部１１から入力されたピクチャＰ’（ｉ,ｊ,ｔ）における各周波数帯域群の周波数分解係数に対し、縮退関数設定部１６により設定された縮退関数を適用して空間ウェーブレット縮退処理を実行することより、その入力動画像の符号化難易度を時空間解析で予測しながら、入力動画像の各フレーム画像（正確には各ピクチャ）における周波数領域の空間位相位置毎に雑音除去及び帯域制限を行う縮退関数を適応的に設定して、空間ウェーブレットパケット分解に基づく空間ウェーブレット縮退処理を行う（ステップＳ６）。

最終的に、画像処理装置１は、ウェーブレットパケット分解階数（ｎ階）に従って、空間ウェーブレット縮退処理によって帯域制限及び雑音除去されたピクチャＰ’（ｉ,ｊ,ｔ）における各周波数帯域群の周波数分解係数を用いて空間ウェーブレット再構成処理を施し、入力動画像における各ピクチャについて同様に処理することにより、帯域制限及び雑音除去された出力動画像を生成し外部に出力する（ステップＳ７）。

以上のように、本実施形態の画像処理装置１は、動画像の圧縮符号化処理の前処理として利用し、その入力動画像の符号化難易度を時空間解析で予測しながら、入力動画像の各フレーム画像における周波数領域の空間位相位置毎に雑音除去及び帯域制限を行う縮退関数を適応的に設定することができるので、後段の圧縮符号化処理における画像破綻を抑制することができ、動画像符号化品質を向上させることが可能となる。

（応用例）
上述した実施形態の例では、空間ウェーブレットパケット分解部１１及び空間ウェーブレットパケット分解部１４において、ｎ＝２とした２階空間ウェーブレットパケット分解で動作するときの例を主として説明したが、ｎ≧３以上とすることもできる。例えば、図８に示すように、ｎ＝３とした３階空間ウェーブレットパケット分解で動作させることもできる。図８では放送カメラで撮像された所謂８Ｋ／６０Ｐの動画像（水平解像度８Ｋ（７６８０画素）×垂直解像度４Ｋ（４３２０画素））を処理対象とした例である。尚、図８に示す例では、雑音パワー検出部１２は、ピクチャＰ’（ｉ,ｊ,ｔ）の各周波数帯域群のうち空間対角最高周波数帯域（本例ではｎ＝３としており、空間ＨＨ^１６（ｉ,ｊ,ｔ））の成分（周波数分解係数）を基に雑音パワーを検出する。ｎ＝３とした空間方向を処理対象とする３階空間ウェーブレットパケット分解を用いる画像処理装置１では、より細かく雑音パワー、時間パワー変動量及び時間パワーマッチング量を設定した縮退関数で、動画像に対し雑音除去及び帯域制限を行うことができる。

以上の実施形態における画像処理装置１は、コンピューターにより構成することができ、画像処理装置１の各処理部を機能させるためのプログラムを好適に用いることができる。具体的には、画像処理装置１の各処理部を制御するための制御部をコンピューター内の中央演算処理装置（ＣＰＵ）で構成でき、且つ、各処理部を動作させるのに必要となるプログラムを適宜記憶する記憶部を少なくとも１つのメモリで構成させることができる。即ち、そのようなコンピューターに、ＣＰＵによって該プログラムを実行させることにより、画像処理装置１の各処理部の有する機能を実現させることができる。更に、画像処理装置１の各処理部の有する機能を実現させるためのプログラムを、前述の記憶部（メモリ）の所定の領域に格納させることができる。そのような記憶部は、装置内部のＲＡＭ又はＲＯＭなどで構成させることができ、或いは又、外部記憶装置（例えば、ハードディスク）で構成させることもできる。また、そのようなプログラムは、コンピューターで利用されるＯＳ上のソフトウェア（ＲＯＭ又は外部記憶装置に格納される）の一部で構成させることができる。更に、そのようなコンピューターに、画像処理装置１の各処理部として機能させるためのプログラムは、コンピューター読取り可能な記録媒体に記録することができる。また、画像処理装置１の各処理部をハードウェア又はソフトウェアの一部として構成させ、各々を組み合わせて実現させることもできる。

以上、特定の実施形態の例を挙げて本発明を説明したが、本発明は前述の実施形態の例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、上述した実施形態の例では、主として、２階又は３階空間ウェーブレットパケット分解に基づく空間ウェーブレット縮退を用いて雑音除去及び帯域制限を行う例を説明したが、４階以上の空間ウェーブレットパケット分解に基づいた空間ウェーブレット縮退を用いて雑音除去及び帯域制限を行う処理とすることもできる。従って、本発明に係る画像処理装置１は、上述した実施形態の例に限定されるものではなく、特許請求の範囲の記載によってのみ制限される。

本発明によれば、動画像の圧縮符号化処理の前処理として本発明に係る画像処理装置を利用することで、その入力動画像の符号化難易度を時空間解析で予測しながら、入力動画像の各フレーム画像における周波数領域の空間位相位置毎に雑音除去及び帯域制限を行う縮退関数を適応的に設定し、後段の圧縮符号化処理における画像破綻を抑制することができ、動画像符号化品質を向上させることが可能となるので、特に、動画像符号化を要する用途に有用である。

１画像処理装置
１１空間ウェーブレットパケット分解部
１２雑音パワー検出部
１３時間パワー変動量検出部
１４空間ウェーブレットパケット分解部
１５時間パワーマッチング量検出部
１６縮退関数設定部
１７空間ウェーブレット縮退部
１８再構成部

Claims

動画像を入力しウェーブレットパケット分解に基づくウェーブレット縮退を用いて画像処理を行う画像処理装置であって、
当該動画像における処理対象のピクチャを入力し、ｎ階（ｎ≧２）の空間ウェーブレットパケット分解処理を施し、空間方向の各周波数帯域群の周波数分解係数を抽出する空間ウェーブレットパケット分解部と、
前記処理対象のピクチャに関する前記空間方向の各周波数帯域群のうち空間対角最高周波数帯域の周波数分解係数を抽出し、当該空間対角最高周波数帯域内の全周波数分解係数のパワーにおける予め定めた割合以上となるパワーを雑音成分とみなし雑音パワーとして検出する雑音パワー検出部と、
前記処理対象のピクチャに関する前記空間方向の各周波数帯域群を基準に、前記処理対象のピクチャが属するフレーム画像に連続する直近の１枚のフレーム画像における対応する空間位置のピクチャを用いて時間方向に１階ウェーブレットパケット分解を行い、前記処理対象のピクチャに関する空間位相位置毎の時間パワー変動量を検出する時間パワー変動量検出部と、
前記処理対象のピクチャに関する当該雑音パワー及び当該空間位相位置毎の時間パワー変動量を基に、前記雑音パワーは雑音除去する縮退関数の入力値範囲を規定するものとし、前記時間パワー変動量はその値が大きいほど帯域制限量に相当する縮退関数の傾きを小さくするものとして、前記処理対象のピクチャに関する全ての周波数帯域群における空間位相位置毎に縮退関数を設定する縮退関数設定部と、
前記処理対象のピクチャに関する各周波数帯域群の周波数分解係数に対し前記縮退関数を適用して空間ウェーブレット縮退処理を実行することにより、当該空間ウェーブレットパケット分解処理に基づく空間ウェーブレット縮退処理を行う空間ウェーブレット縮退部と、
前記処理対象のピクチャに関して前記空間ウェーブレット縮退処理によって帯域制限及び雑音除去された各周波数帯域群の周波数分解係数を用いて空間ウェーブレット再構成処理を施すことにより、当該動画像における各ピクチャについて帯域制限及び雑音除去された出力動画像を生成する再構成部と、
を備えることを特徴とする画像処理装置。
前記時間パワー変動量検出部は、各空間位相位置を中心とする所定ブロックサイズのブロックを基に、前記処理対象のピクチャに関する空間位相位置毎の時間パワー変動量を検出することを特徴とする、請求項１に記載の画像処理装置。
所定の圧縮符号化処理に係る参照ピクチャセットの情報を基に、当該処理対象のピクチャに対して符号化参照されることになる１枚以上の参照ピクチャを入力し、該参照ピクチャに対しｎ階（ｎ≧２）の空間ウェーブレットパケット分解処理を施し、空間方向の各周波数帯域群の周波数分解係数で表される参照ピクチャを生成する第２の空間ウェーブレットパケット分解部と、
前記処理対象のピクチャに関する前記空間方向の各周波数帯域群における各空間位相位置について、各空間位相位置を中心とする所定ブロックサイズのブロック毎に、前記空間方向の各周波数帯域群の周波数分解係数で表される参照ピクチャに対するブロックマッチングを行い、最小の類似度評価指数を示すマッチング量を探索し、当該最小となるマッチング量を前記処理対象のピクチャに関する空間位相位置毎の時間パワーマッチング量として検出する時間パワーマッチング量検出部と、を更に備え、
前記縮退関数設定部は、前記処理対象のピクチャに関する当該雑音パワー、当該空間位相位置毎の時間パワー変動量、及び当該空間位相位置毎の時間パワーマッチング量を基に、前記雑音パワーは雑音除去する縮退関数の入力値範囲を規定するものとし、前記時間パワー変動量はその値が大きいほど帯域制限量に相当する縮退関数の傾きを小さくするものとし、前記時間パワーマッチング量はその値が大きいほど帯域制限量に相当する縮退関数の傾きを小さくするものとして、前記処理対象のピクチャに関する全ての周波数帯域群における空間位相位置毎に縮退関数を設定することを特徴とする、請求項１又は２に記載の画像処理装置。
コンピューターを、請求項１から３のいずれか一項に記載の画像処理装置として機能させるためのプログラム。