JP4915468B2 - 画像処理装置、画像処理方法、プログラム - Google Patents
画像処理装置、画像処理方法、プログラム Download PDFInfo
- Publication number
- JP4915468B2 JP4915468B2 JP2010192818A JP2010192818A JP4915468B2 JP 4915468 B2 JP4915468 B2 JP 4915468B2 JP 2010192818 A JP2010192818 A JP 2010192818A JP 2010192818 A JP2010192818 A JP 2010192818A JP 4915468 B2 JP4915468 B2 JP 4915468B2
- Authority
- JP
- Japan
- Prior art keywords
- motion
- motion blur
- motion vector
- processing
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
動画像のデータ量の圧縮方法としては、MPEG(Moving Picture Experts Group)などのインターフレーム符号化とイントラフレーム符号化を組み合わせた動画像符号化が代表的である。
ところで、MPEG方式による動画像符号化の符号化効率を向上するために、動画像に対して前処理を行う手法が数多く提案されている。
例えば上記特許文献1では前処理としてローパスフィルタを画像に適用することで、符号化後のブロック歪みの発生を抑制している。
但し、特許文献1に記載された方式は、符号化した際に発生するブロック歪みの抑制を意図したものであり、ローパスフィルタの適用によるディテールの欠損は免れない。
そしてこれに対応して、復号化側の処理として、上記動きぼけの付加の影響による画質劣化の抑制を図ることを目的とする。
また、上記動きぼけ付加処理が施された上で符号化された動画像データが、復号化されて入力され、入力された該動画像データに対して、上記動きベクトル生成手段により生成された上記動きベクトルを用いたフィルタ処理を施すことにより、動きぼけの削減処理を実行する動きぼけ削減手段を備える。
そして、上記動きぼけ削減手段が、上記動きぼけ付加処理が施された際に用いられた動きぼけ付加パラメータをもとに、上記動きぼけの削減処理の実行の可否を選択するか、又は上記動きぼけ削減処理の度合いを調整するものである。
また、上記動きぼけ付加処理が施された上で符号化された動画像データを復号化する復号化ステップを有する。
また、上記復号化ステップによって得られた復号化された動画像データに対して、上記動きベクトル生成ステップにより生成した上記動きベクトルを用いたフィルタ処理を施すことにより、動きぼけの削減処理を実行する動きぼけ削減ステップとを有する。
そして、上記動きぼけ削減ステップにて、上記動きぼけ付加処理が施された際に用いられた動きぼけ付加パラメータをもとに、上記動きぼけの削減処理の実行の可否を選択するか、又は上記動きぼけ削減処理の度合いを調整するものである。
本発明のプログラムは、上記の画像処理方法の各ステップを情報処理装置に実行させるプログラムである。
この前提の下で本発明では、動き情報を参照し、領域ごとに適応的なフィルタリング(動きぼけの削減処理:ハイパスフィルタ処理)を行うものとしている。このため、符号化時に空間的に一様なローパスフィルタ(つまり復号化時に空間的に一様なハイパスフィルタ)を実行するとした場合と比較して、動きの大きさに応じた、領域ごとに適応的な動きぼけの削減が、必要であれば後処理としての動きぼけ量の調整も含めて、実行可能であり、動画像の観察者にとって自然な画質が提示できる。
一方、オープンシャッタなど低速のシャッタスピードで撮像された動画像を表示すると、動きぼけの影響により、被写体のディテールの欠損やエッジが不鮮明になることがよくある。この現象は、ブラー(動きぼけ)と呼ばれる画質劣化の現象である。
本発明が前提とする符号化側では、動きぼけを付加して符号化の圧縮効率を向上させる。これによって符号化効率の向上を行いつつ上記ジャーキネス劣化の低減を可能とする。
そして本発明では、動きぼけ付加された復号画像データに動きぼけ削減処理を実行することで画質向上を図る。このことで、上記ジャーキネス劣化・ブラー劣化の双方が低減されるようにしたり、復号後に動きぼけ付加前の画像データを得ること等が可能となる。
[1.第1の画像処理装置]
[1−1:画像処理装置の構成例]
[1−2:動きベクトル生成処理部]
[1−3:動きぼけ付加処理部]
[2.第2の画像処理装置]
[2−1:画像処理装置の構成例]
[2−2:動きぼけ削減処理部]
[3.第1,第2の画像処理装置間の情報伝送]
[4.プログラム]
[1−1:画像処理装置の構成例]
図1,図3,図4により、第1の画像処理装置、即ち符号化の前段で動きぼけ付加処理を行う画像処理装置についての構成例を説明する。
なお各図における処理ブロックは、論理的な構成要素として示しており、各処理ブロックは同一筐体内にある場合も考えられるし、別の筐体内にある場合も考えられる。そして、各図において、破線で囲った画像処理装置1、又は同じく破線で囲った画像処理装置100が、本発明の第1の画像処理装置の実施の形態の構成と考えることができる。
動きぼけ付加処理部11は、動画像データIDと、当該動画像データIDの各フレームの各領域(領域とは、画素単位又は複数画素による画素ブロック単位)の動き情報MIが入力される。そして動き情報MIを用いて、動画像データID(の各フレーム、各分割領域)に対し適応的にフィルタ処理を行い、動きぼけの付加を実行する。
符号化処理部2では、例えばMPEG(Moving Picture Experts Group)規格などに準じた符号化などの圧縮処理が実行される。
動きぼけ画像データBDを圧縮処理した符号化データEDは、上記動画像データIDを直接、符号化処理部2へと入力し符号化したデータに比較して圧縮効率が向上しているものとなる。
ここでは特に、ローパスフィルタを施すことにより圧縮効率が向上することについて説明するが、撮像時の露光期間によって発生する動きぼけを、模擬的に付加することは、ローパスフィルタを実行することの一種であるといえる。
ここで画像を1次元信号とみなし、共分散を導入する。
そこで画像信号f(x)を変位u(整数)だけずらした信号をg(x)=f(x+u)とおき(数1)を適用する。
このとき、Ex[f(x)]とEx[g(x)]=Ex[f(x+u)]は等しくなりμとおくと、(数2)となる。
なおCff(u)に対して注目すべきは、値の大小ではなく、原点u=0から離れるに従って、どの程度速く減衰するか、という点である。
まず、図2(a)にまったく変化の無い信号を加えた場合を示す。この場合(数2)の定義からCff(u)は0になることは容易にわかる。
続いて、激しく変化のある画像信号f(x)における自己共分散を図2(b)に示す。
信号に激しく変化のある場合、変位uでずらすと正負が打ち消しあうために自己共分散はu=0からすぐに0に収束する。
続いて、なだらかに変化する画像信号f(x)における自己共分散を図2(c)に示す。
信号はなだらかであるから、変位uでずらしても画素間に相関があるため自己共分散はu=0からならだかに減衰していく。
つまり自己共分散は画素間の相関が低ければu=0から0への収束が早まる離散デルタ関数に近くなる。
画素間の相関が高まるということは図2(b)(c)で例示したように,図2(b)の画素間の相関が少ない自己共分散から、図2(c)で示した画素間の相関が多くなる画素信号に変換されるということであり、より圧縮率が高まると言える。
以上は、動画像データにローパスフィルタ処理を行うと、圧縮効率が向上することの説明であるが、動きぼけ付加処理についてもこれと同様のことが言える。
この図3は、図1における動き情報MIの例として、動きベクトルVDを用いる構成例となる。
動きぼけ付加処理部11は、入力された動画像データIDについて、動きベクトルVDを用いて、動画像データID(の各フレーム、各分割領域)に対し適応的にフィルタ処理を行い、動きぼけの付加を実行する。
動きぼけ付加処理された動きぼけ画像データBDは、符号化処理部2へと入力し、例えばMPEG圧縮等の符号化処理される。
この場合も、動きぼけ画像データBDを圧縮処理した符号化データEDは、上記動画像データIDを直接、符号化処理部2へと入力し符号化したデータに比較して圧縮効率が向上しているものとなる。
図4には、符号化処理部2内の構成として基本的なMPEG符号化の処理ブロックを示している。
動きベクトル生成処理部210は、隣接する2つのピクチャー間の動きを検出し、動きベクトルを生成して動き補償部209及びエントロピー符号化部204に出力する。
減算部201は、動きぼけ付加処理部11から入力される動画像データから、動き補償部209が動き補償した画像データを減算し、DCT処理部202に対して出力する。
DCT部202は、減算部201から入力された動画像データに対してDCT処理を行い、DCT係数を生成して量子化部203に対して出力する。
逆量子化部205は、量子化部203から入力された量子化データを逆量子化してDCT係数を生成し、逆DCT部206に対して出力する。
逆DCT部206は、逆量子化部205から入力されたDCT係数を逆DCT処理して画像データを生成し、加算部207に対して出力する。
加算部207は、動き補償部209が動き補償した画像データと、逆DCT部206から入力された画像データを加算して、フレームメモリ208に出力する。フレームメモリ208に一時的に格納された画像データは、動き補償部209に出力され、また動きベクトル生成処理部210に対し、動きベクトル生成に用いる過去フレームの画像データとして供給される。
エントロピー符号化部204は、量子化部203から入力された量子化データを可変長符号化処理し、圧縮画像データ(符号化データED)を生成し、出力する。
この例のように、MPEG方式のような画像の動き情報に基づいた予測符号化において、その符号化処理過程で生成される動きベクトルを利用することも考えられる。
なお、図示は省略するが、例えば図3のように動きぼけ付加処理のために動きぼけ付加処理部11によって生成される動きベクトルVDを、符号化処理部2に供給して、符号化処理部2で動きベクトルVDを用いた予測符号化処理が行われるようにしてもよい。
そして動きぼけを模擬したローパスフィルタを適用することにより、空間的に一様なローパスフィルタを実行した場合と比較して、動画像の観察者にとって自然な画質を提示しつつ、符号化効率の向上を行うことを可能とする。
また、動き情報を参照し、領域ごとに適用的なフィルタリングを行うものであるため、特に高速に被写体が移動する領域においては、広範囲に渡る高強度なローパスフィルタを採用しても、画質を維持しつつ、空間的に一様なローパスフィルタを実行した場合と比較して、符号化効率の向上が期待できる。
そしてその上で第1の画像処理装置1(又は100)では、ジャーキネス劣化の低減を可能とするものである。
以上のように第1の画像処理装置1(又は100)の構成例は各種考えられる。以下では、図3に示した構成例を基本とし、動きベクトル生成処理部12及び動きぼけ付加処理部11について、詳細な構成例を説明する。
動きベクトル生成処理部12は、画素又は画素ブロック単位としての領域毎で動きベクトルを精度良く生成する部位である。具体的には図5に示すように、動きベクトル検出部121、画素ブロック特定処理部122、動きベクトル推定処理部123、動きベクトル平滑化処理部124、及び遅延部121a,122aを有する。
画素ブロック特定処理部122は、処理対象フレームの動きベクトルと直前フレームの動きベクトルとを画素ブロック毎に比較して、相関の高い画素ブロックを特定する。
動きベクトル推定処理部123は、画素ブロック特定処理部122により特定された画素ブロックの動きベクトルから、それ以外の画素ブロックの動きベクトルを推定する。
動きベクトル平滑化処理部124は、動きベクトルに対して平滑化処理を施す。
動きベクトル検出部121は、供給された動画像データIDを処理対象フレームとする。そして当該処理対象フレームと、遅延部121aにより1フレーム分遅延された直前フレームとから、処理対象フレームの動きベクトルを、例えば画素ブロック単位で検出する。
なお、動きベクトル検出部121に係る処理をソフトウェアによって実装する場合には、一般的なブロックマッチング法を用いて画素ブロック単位で動きベクトルを検出すればよい。
画素ブロック特定処理部122は、動きベクトル検出部121から供給される処理対象フレームの動きベクトルと、遅延部122aにより遅延された直前フレームの動きベクトルとを、次に示すように画素ブロック単位で比較して、この比較結果から相関の高い画素ブロックを特定する。
即ち動きベクトル推定処理部123は、前段の画素ブロック特定処理部122で、ベクトル相関係数σの値が1とされた画素ブロックが有効な動きベクトルを有しているものとして、それ以外の画素ブロック、つまりベクトル相関係数σの値が0とされ有効ではない動きベクトルを有している画素ブロックの動きベクトルを更新する。
ステップS1において、動きベクトル推定処理部123は、処理対象フレームにおける現在の処理対象の画素ブロック(以下、注目画素ブロックという。)のベクトル相関係数σが1か0であるかを判断する。すなわち、動きベクトル推定処理部123は、この画素ブロックの動きベクトルが有効であるか否かを判断する。そして、動きベクトル推定処理部123は、この画素ブロックの動きベクトルが有効であるとき動きベクトルの値を更新せずに本処理工程を終了し、この画素ブロックの動きベクトルが有効でないときステップS2に進む。
第1の理由としては、より広範囲に位置する画素ブロックを用いて推定処理を行うことは可能であるが、仮に実現したとしても、固定時間処理で本処理工程を終了するためには、周辺画素ブロックとして扱われる画像データを一時的に記憶するための記憶領域が増大してしまうからである。
第2の理由としては、本処理工程の後段で、上述した隣接する合計8つの画素ブロックよりも広範囲の周辺画素ブロックを用いて注目画素ブロックの動きベクトルに対して平滑化処理を施すことにより、有効ではない動きベクトルを適切に補正することができるからである。
なお、動きベクトル生成処理部12では、動きベクトル検出部121により検出した動きベクトルを、画素ブロック特定処理部122及び動きベクトル推定処理部123を介さずに、直接動きベクトル平滑化処理部124に供給して平滑化処理を施してもよい。このような処理を行った場合にも、上述した符号化情報として動きベクトルに比べて、実際の動体の動きに応じた精度の良い動きベクトルを生成することができる。
続いて動きぼけ付加処理部11の構成例を説明する。
なお、動きぼけ付加処理部11としては、図7の構成例と図12の構成例の2つの例を説明する。
動きぼけ付加処理部11は、図7に示すように、動きぼけを付加する画像領域を特定する動きベクトルマスク情報を生成する動きベクトルマスク処理部113を備える。
また動きぼけ付加処理部11は、動きベクトルに応じて適したシャッタ速度(以下、最適シャッタ速度情報という)を算出するとともに、この最適シャッタ速度情報と実際に動画像が撮像されたときのシャッタ速度情報とを比較して後述する判別処理を行う最適シャッタ速度算出/判別部114を備える。
また動きぼけ付加処理部11は、最適シャッタ速度算出/判別部114の判別結果に基づいて動きベクトルを補正する動きベクトル補正部115を備える。
また動きぼけ付加処理部11は、処理対象フレームの各画素に応じた動きぼけ付加のためのフィルタパラメータを算出するフィルタパラメータ算出部111を備える。
また動きぼけ付加処理部11は、処理対象フレームの各画素の画素値に対して動きぼけフィルタ処理を施す動きぼけ付加フィルタ112を備える。
また、フィルタパラメータ算出部111、及び、動きぼけ付加フィルタ112は、動画像データIDに動きぼけを付加するフィルタ処理に当たるため、画素ブロックではなく、画素単位で行う。
動きベクトルマスク処理部113は、処理対象フレームのうち、動きぼけを付加する画像領域を特定するため、動きベクトル生成処理部12から供給される画素ブロック単位の動きベクトルVDに対して、図8に示すようなマスク処理を施す。そして、マスク処理後の画素ブロック単位の動きベクトルを最適シャッタ速度算出/判別部114及び動きベクトル補正部115に供給する。
よって、動きベクトルマスク処理部113では、図8に示す処理により、ジャーキネスが発生しやすい、空間コントラストの高いエッジ周辺の画素ブロックの動きベクトルだけ有効な値として出力する。
すなわち、ステップS11において、動きベクトルマスク処理部113は、入力される動画像データIDに対し、画素ブロック単位で、処理対象フレーム内の空間コントラストの高い領域を特定するための処理として画像のエッジを検出する。
またステップS11の処理と並列して、ステップS12において、動きベクトルマスク処理部113は、処理対象フレーム内の動体領域を特定するための処理を行う。即ちフレーム間での差分を画素ブロック単位で算出することによって動体画像領域を検出する。
動きベクトルマスク処理部113は、フラグが「1」に設定されている画素ブロックの動きベクトルに対しては、その値を変えずに、後段の最適シャッタ速度算出/判別部114及び動きベクトル補正部115に出力する。
また、動きベクトルマスク処理部113は、フラグが「0」に設定されている画素ブロックの動きベクトルに対しては、ステップS15において、動きベクトルの値を0又は無効にするマスク処理を施して、後段の最適シャッタ速度算出/判別部114及び動きベクトル補正部115に出力する。
ステップS31として、最適シャッタ速度算出/判別部114は、例えば図10に示すような評価指標に基づいて処理対象フレームの各画素ブロックの動きベクトルに応じた最適シャッタ速度を算出する。
そこで、最適シャッタ速度算出/判別部114は、各画素ブロックの動きベクトルを図10中の被写体速度に対応させることにより、各画素の動きベクトルに応じた最適シャッタ速度を算出する。
ここで、図10に示す動きぼけ領域A1は、最適シャッタ速度曲線SS0に基づいて、被写体の動きによる動きぼけが過度に含まれると判別される領域である。同様にして、ジャーキネス領域A2は、最適シャッタ速度曲線SS0に基づいて、被写体の動きによる動きぼけが含まれず、視覚特性上ジャーキネス劣化が生じていると判別される領域である。
この実線で示されている最適シャッタ速度曲線SS0を直接用いて、動きベクトルに応じた最適シャッタ速度を求める場合には、任意の刻み幅で動きベクトルに応じた最適シャッタ速度情報をテーブルとして記憶媒体に予め記憶して、この記録媒体を参照すればよい。
この場合、最適シャッタ速度算出/判別部114は、ある画素ブロックでの動きベクトルをvとして、下記の(数5)に示す最適シャッタ速度曲線の近似関数により最適シャッタ速度SSD’を算出する。
なお、実際に撮像されたシャッタ速度SSDとは、例えば動画像データIDにおいてメタデータとして付加されているものであればよい。また本例の画像処理装置1(100)が撮像装置内に搭載されるものである場合、自機による撮像時のシャッタ速度情報として取得できる。
また、現在の処理対象の画素ブロックにおいて、シャッタ速度SSDが最適シャッタ速度SSD’よりも遅くジャーキネス領域A2に該当してないとき、動きベクトル補正部115は、ステップS34に進む。
なお、動きベクトル補正部153は、関数fs(SSD)に代えて、動きベクトルVDを変数としたfs(VD)又は、シャッタ速度SSDと動きベクトルVDとを2変数としたfs(SSD,VD)を用いて乗算処理を行うようにしてもよい。
ステップS34において、動きベクトル補正部153は、処理対象の画素ブロックにおいてジャーキネス劣化が生じていないので、例えばこの動きベクトルの値に0を乗じて無効にするマスク処理を施す。
まず、フィルタパラメータ算出部111は、有効な動きベクトル情報を有する画素を注目画素として、各注目画素の動きベクトル上に位置する画素(以下、パラメータ算出対象画素という。)を特定する。そして、フィルタパラメータ算出部111は、この注目画素に対する特定されたパラメータ算出対象画素の相対位置に応じたフィルタパラメータを、次に示すようにして算出する。
続いて、フィルタパラメータ算出部111は、動きベクトルの絶対値vと、注目画素P0の画素位置と上述した処理により特定したパラメータ算出対象画素P1の画素位置との間の距離dとに応じて、動きぼけ付加の強度σを下記の(数6)により算出する。
本実施の形態において、動きぼけ付加フィルタ112は、以下に示す第1のフィルタ処理、又は第2のフィルタ処理の一方又は両方を実行することにより、動きぼけを付加した画像を出力する。
特にこの例の場合、最適シャッタ速度算出/判別部114が動画像の撮像時のシャッタ速度情報に応じて動きベクトルを補正することにより、後段のフィルタパラメータ算出部111で算出される動きぼけ付加強度σの値を制御するので、動きぼけ付加フィルタ112により撮像時のシャッタ速度情報に応じて適切な動きぼけを付加することができ、人間の視覚特性上、より自然にジャーキネス劣化を低減した動画像データBDを出力することができる。
そして、上記図7の構成例のようにすることで、知覚特性に応じてぼけ付加具合を最適なものにすることができるが、符号化効率の観点を重視すれば、それは必須ではない。その場合、図12の構成でもよいことになる。
フィルタパラメータ算出部111は、補正されていない動きベクトルVDを用いて、上記同様の処理を行ってフィルタパラメータ算出を行う。そして動きぼけ付加フィルタ112は、フィルタパラメータに基づいて、上述した動きぼけ付加処理を行う。
後述する第2の画像処理装置4(400)に関することとなるが、このようにすることで、より容易に忠実な動きぼけ削減処理を行うことができる。
上記の動きぼけ付加処理部11では、動きベクトルを用いて各単位画像に動きぼけを付加する空間的なフィルタ処理に代えて、他の動き情報を用いて画像データに動きぼけを付加するようにしてもよい。
例えば、1フレームに対して複数のフレームを重ね合わせる時間的なフィルタ処理を行うことにより、動画像データIDに動きぼけを付加する処理を行うようにしても良い。この場合、動きぼけ付加処理部11は、動きベクトルの代わりに、動き情報としてフレーム間の差分により動体画像領域を検出する。そして、この検出した動体画像領域を示す情報を撮像情報に基づいて補正してから、この動き情報を用いて時間的なフィルタ処理を施すことによって、撮像時のシャッタ速度情報等に応じて適切な動きぼけを付加することができる。
[2−1:画像処理装置の構成例]
続いて、本発明の実施の形態としての第2の画像処理装置について説明する。第2の画像処理装置とは、上述してきた第1の画像処理装置から伝送されてきた動画像データ、即ち動きぼけ付加処理及び符号化処理が施された動画像データED(以下「符号化状態の動画像データED」という)に対して、復号化及び動きぼけ削減処理を行う画像処理装置である。
なお各図における処理ブロックは、論理的な構成要素として示しており、各処理ブロックは同一筐体内にある場合も考えられるし、別の筐体内にある場合も考えられる。そして、各図において、破線で囲った画像処理装置4、又は同じく破線で囲った画像処理装置400が、本発明の第2の画像処理装置の実施の形態の構成と考えることができる。
従って出力される動画像データDDは、第1の画像処理装置100の動きぼけ付加処理部11によって動きぼけが付加された状態の動画像データと考えることができる。
この動きぼけ削減処理部41は、復号後の動画像データDDの各フレーム、各分割領域に対し、同様に入力している、動画像データDDの各フレーム、各分割領域に対応した動き情報MIに応じたフィルタ処理を、動画像データDDに対し適応的に行って、動きぼけの削減を実行する。
動きぼけ削減処理された動画像データODは、図示しない表示装置などへと出力される。
なお、図示しているように、復号化処理部3で復号化された動画像データDDを、表示装置等へ出力することも考えられる。
動きぼけ削減処理部41で動きぼけ削減処理されて表示装置等に出力される動画像データODは、復号画像データDDを直接表示装置で表示した場合と比較し、画像のディテールを損なうブラー劣化が解消され、高画質に表示されることになる。
即ち特に動画像データの伝送元を特定しないという前提のもとで、動きぼけ削減処理によるブラー劣化低減効果が得られる。
上述の第1の画像処理装置100側で動きぼけ付加処理部11によってジャーキネス劣化が解消されている符号化状態の動画像データEDが、この第2の画像処理装置400に入力されることを考慮すれば、動きぼけ削減処理された動画像データODは、ジャーキネス劣化とブラー劣化が共に低減された高画質な動画像データとなる。
つまりこの意味で言えば、動画像データDDは、ジャーキネス劣化が低減された動画像データであり、動画像データODは、ジャーキネス劣化及びブラー劣化が共に低減された動画像データとなる。
さらに本例では、動画像データODは、第1の画像処理装置100に入力された元の動画像データIDと同等の画像とすることも可能である。つまり、動きぼけ付加処理部11で付加した動きぼけを、動きぼけ削減処理部41で忠実に削減するという考え方である。これは、第1の画像処理装置100における符号化処理部2での符号化効率の向上という観点を重視するために動きぼけを付加し、伝送先となる第2の画像処理装置400側では、元の動画像データを復元したいという場合に適したものとなる。
例えば先に説明したとおり、図12に構成例を示す動きぼけ付加処理部11を用いて動きぼけを付加したデータが符号・復号処理された画像データの入力を想定すると、動画像データDDには、動きベクトルVDの大きさに忠実に、補正することなく、動きぼけが付加されている。
そのため、動きぼけ削減処理部41にて、動きベクトルVDのみをパラメータとして動きぼけ削減処理を行った場合、原理的には第1の画像処理装置1(100)にて動きぼけが付加される以前と同等の動画像データが得られるはずである。
この図14は、図13における動き情報MIの例として、動きベクトルVDを用いる構成例となる。
動きぼけ削減処理部41は、復号化された動画像データDDについて、動きベクトルVDを用いて、動画像データDD(の各フレーム、各分割領域)に対し適応的にフィルタ処
理を行い、動きぼけの削減を実行する。動きぼけ削減処理された動画像データODは、図示しない表示装置などへと出力される。
この場合も、上記(i)(ii)(iii)のいずれかの機能・効果が想定される。
動きぼけ推定処理は、MPEGのような画像の動き情報に基づいた予測符号化において、その符号化処理過程で行われており、その動きぼけ推定結果は符号化データとともに復号化処理部3へと伝送されている。
復号化処理部3では、上記伝送された動きベクトルを用いて復号化処理を実行するが、図15に示す構成例では、この動きベクトルを用いて、動きぼけの削減処理を実行する。
符号化状態の動画像データEDは、復号化処理部3において、エントロピー復号化部301に入力される。エントロピー復号化部301は、入力された符号化状態の動画像データEDに対する復号処理を行い、量子化データを得るとともに、動きベクトルVDを抽出する。即ちこれは、例えば図4の動きベクトル生成処理部210で生成され、エントロピー符号化部204での符号化において符号化動画像データに重畳された動きベクトルVDである。
エントロピー復号化部301は、量子化データを逆量子化部302に出力し、また動きベクトルVDを動き補償部306及び動きぼけ削減処理部41に出力する。
逆DCT部303は、逆量子化部302から入力されたDCT係数を逆DCT処理して画像データを生成し、加算部304に対して出力する。
加算部304は、動き補償部306が動き補償した画像データと、逆DCT部303から入力された画像データを加算して、これを復号化された動画像データDDとして出力するとともに、フレームメモリ305に出力する。フレームメモリ305に一時的に格納された画像データは、動き補償部306に出力される。
動き補償部306は、エントロピー復号化部301から入力された動きベクトルに基づいて、加算部304からフレームメモリ305を介して入力された画像データを動き補償処理し、加算部304に対して出力する。
このような復号化処理部3によって復号化された動画像データDDは、動きぼけ削減処理部41に供給される。また動きぼけ削減処理部41には動きベクトルVDも供給される。動きぼけ削減処理部41は、動きベクトルVDを用いて動画像データDDに対し、動きぼけ削減処理を行う。動きぼけ削減処理された動画像データODは、図示しない表示装置などへと出力される。
この例のように、MPEG復号化過程で抽出される動きベクトルを利用して、動きぼけ削減処理を行うことも考えられる。
この場合も、上記(i)(ii)(iii)のいずれかの機能・効果が想定される。
また、符号化前の処理における動きぼけ付加処理のパラメータを伝送しなかった(あるいはできない)場合でも、動き情報のみを用いて、動きぼけの削減処理が可能である。
すなわち、符号化・復号化に用いるために伝送された動きベクトル、もしくは、復号化後に求めた動き情報のみによって、実行が可能である。これは、符号化時に空間的に一様なローパスフィルタ(つまり復号化時に空間的に一様なハイパスフィルタ)を実行する、とした場合、ローパスフィルタ時における、何かしらのフィルタ情報を伝送しなければ、処理できないはずであることに対する利点となる。
上記図13,図14,図15の構成例における動きぼけ削減処理部41について説明する。ここでは動きぼけ削減処理部41の構成として図16の例と図18の例をそれぞれ述べる。
まず、図16の動きぼけ削減処理部41の構成例を説明する。
図16の動きぼけ削減処理部41は、移動平均フィルタ特性変換部411、移動平均フィルタ部412、減算部413、加算部414から構成されており、入力された動画像データDDに対して、動きぼけ量の削減を実現する。
例えば、複数の動きベクトルVDに対して、移動平均フィルタを1つずつ予め用意しておき、注目画素において用いるべきフィルタを決定すればよい。具体的には、以下のように行う。
決定された移動平均フィルタに用いる画素数は、移動平均フィルタ部412へと出力される。
すなわち、減算部413には、移動平均フィルタ部412により変換された注目画素の画素値が極性反転されて入力される。減算部413にはまた、入力された動画像データDD中の処理対象のフレームのうちの注目画素が入力されている。
減算部413は、動画像データDD中の当該画素の画素値と、移動平均フィルタ部412により変換された注目画素の画素値との差分を求め、その差分値を加算部414へと出力する。
このようにして、加算部414には、移動平均フィルタ前後の差分が入力される。加算部414にはまた、動画像データDD中の処理対象のフレームのうちの注目画素が入力されている。加算部414は、注目画素の補正前の画素値に対して、移動平均フィルタ前後の差分値を加算し、その加算結果を出力画像(その一部)として出力する。
減算部413の出力信号である移動平均フィルタ前後の差分を周波数領域で考えた場合、着目された周波数において、入力された画像信号のゲインと、移動平均フィルタがかけられた後の画像信号のゲインとの差分が、減算部413の出力信号のゲインとなる。さらに、加算部414の出力画像信号のゲインは、入力された画像信号のゲインに対して、移動平均フィルタ前後の差分ゲインが加算された値となる。すなわち、各周波数のそれぞれにおいて、出力画像信号のゲインは、入力画像のゲインに比較して、移動平均フィルタ前後の差分ゲイン分だけ持ち上げられてことになる。
移動平均フィルタがローパスフィルタであることを踏まえ、上記の内容を換言すると、図16の構成例に示す動きぼけ削減処理部41全体では、ハイパスフィルタをかける処理と基本的に等価な処理を実行していることになる。
図18の構成例が上記図16と異なるのは、付加する動きぼけ量をジャーキネス劣化が最も低減される動きぼけ量に調整するために必要な、動きベクトル補正処理の要素が加わっている点である。
すると、復号化された動画像データDDは一様に、ほぼオープンシャッタ相当の動きぼけが付加されていると見なしてよく、例えば図10におけるところの、最も長いシャッタ速度の状態で撮像されている動画像データが常に入力しているものとして処理を行えばよい。
具体的には、動きベクトル補正部416において、例えば図10の最適シャッタ速度曲線SS0に応じて、入力した動きベクトルを補正(縮小)して、後段の移動平均フィルタ特性変換部411へと出力すればよい。移動平均フィルタ特性変換部411、移動平均フィルタ部412、減算器413、加算器414の処理は上記と同様である。
続いて、符号化の前処理装置となる第1の画像処理装置1と、復号化の後処理装置となる第2の画像処理装置4の間における、動きぼけ付加情報の共有について説明する。
上記までに、復号化処理の後処理を行う画像処理装置4について説明した。ここでは、符号化の前処理として画像処理装置1が動きぼけを付加した際に用いたパラメータなどを、復号化処理側へと伝送し、復号化の後処理として画像処理装置4が、受信した動きぼけ付加情報を用いて、動きぼけ削減処理の実行可否や、削減する動きぼけ量の度合いを決定する形態を示す。
そして特に、動きぼけ付加処理部11は、処理後の動画像データBDに加えて、動きぼけを付加した際に用いた動きぼけ付加パラメータPMを、符号化処理部2に伝送することを示している。
符号化処理部2は、動きぼけ付加パラメータPMを符号化状態の動画像データEDのメタデータとして追加して伝送出力する。
動きぼけ削減処理部41は、動きぼけ付加パラメータPMを基に動きぼけ削減処理の内容を決める。
しかし、図7のように、ジャーキネス劣化が発生しやすい領域のみを選択して動きぼけを付加したり、人間によるジャーキネス劣化の知覚を考慮し、動きぼけ量を調整して付加する、などの処理を実行された信号の場合には、動きぼけを付加した際に用いた動きぼけ付加パラメータPMを後段へと伝送することが効果的である。
動きぼけ削減処理部41においては、これを参照し、動きぼけ削減処理を行うか、否か、を判別する。
動きぼけ削減処理部41においては、この補正ベクトルを用いて、動きぼけ削減処理を実行する。
例えば各画素または各ブロックにおいて、上記の動きぼけ付加時に行ったベクトル補正値を各画素または各ブロックに追加して伝送する。最も単純には、0〜1の間の実数αを伝送することであり、動きぼけ削減処理部41においては、当該ベクトルVを、V’=α×Vの式で縮小してから、動きぼけの削減処理を行うことになる。動きぼけを付加していない場合は、「0」を伝送する。
実数の場合には、データ量が増大するため、例えば、0〜Nまでの値の量子化した補正値を伝送するのが現実的である。
符号化の前処理として動きぼけ付加処理部11で動きぼけを過剰に付加しても(そのまま表示した場合にブラー劣化が発生するほどに)、動きぼけ削減処理部41により、動きぼけを削減することでブラー劣化の低減ができる。
すなわち、圧縮効率の改善のために有効な動きぼけ量を付加することで、画質の劣化を招いたとしても、動きぼけを付加した際のパラメータを既知として後段の動きぼけの削減処理を行うことにより、画質の回復が可能である、ことである。
以上の実施の形態は、画像処理装置1(100)、4(400)について説明したが、本発明は画像処理を行う各種機器に適用できる。例えば画像再生装置、撮像装置、通信装置、画像記録装置、ゲーム機器、ビデオ編集機、などが想定される。
さらに、汎用のパーソナルコンピュータその他の情報処理装置において、画像処理装置1(100)、4(400)を実現することも当然想定される。
例えば図1,図3,図4、図13,図14,図15の各処理ブロックの動作を演算処理装置に実行させるプログラムを画像処理アプリケーションソフトウエアとして提供することで、パーソナルコンピュータ等において、適切な画像処理を実現できる。
なお、上記動きぼけ付加ステップのみであれば、画像処理装置1の画像処理を実現させるプログラムとなる。
なお、上記動きぼけ削減ステップのみであれば、画像処理装置4の画像処理を実現させるプログラムとなる。
あるいはまた、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)、MO(Magnet optical)ディスク、DVD、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
Claims (6)
- 動きぼけ付加処理が施された上で符号化された動画像データから、該動画像データを構成する単位画像間での画像の動きを示す動き情報としての動きベクトルを生成する動きベクトル生成手段と、
上記動きぼけ付加処理が施された上で符号化された動画像データが、復号化されて入力され、入力された該動画像データに対して、上記動きベクトル生成手段により生成された上記動きベクトルを用いたフィルタ処理を施すことにより、動きぼけの削減処理を実行する動きぼけ削減手段とを備えており、
上記動きぼけ削減手段は、
上記動きぼけ付加処理が施された際に用いられた動きぼけ付加パラメータをもとに、上記動きぼけの削減処理の実行の可否を選択するか、又は上記動きぼけ削減処理の度合いを調整する
画像処理装置。 - 上記動きぼけ付加パラメータは、上記動画像データの単位画像の領域毎について動きぼけを付加したか否を示すフラグ情報、又は上記動きベクトルの補正情報である請求項1に記載の画像処理装置。
- 上記動きぼけ削減手段は、前段の復号化処理において動画像データを復号化するために用いた動きベクトルを用いて動きぼけを削減するフィルタ処理を行う請求項1に記載の画像処理装置。
- 上記動きぼけ付加処理が施された上で符号化された動画像データを復号化する復号化手段をさらに備える請求項1に記載の画像処理装置。
- 動きぼけ付加処理が施された上で符号化された動画像データから、該動画像データを構成する単位画像間での画像の動きを示す動き情報としての動きベクトルを生成する動きベクトル生成ステップと、
上記動きぼけ付加処理が施された上で符号化された動画像データを復号化する復号化ステップと、
上記復号化ステップによって得られた復号化された動画像データに対して、上記動きベクトル生成ステップにより生成した上記動きベクトルを用いたフィルタ処理を施すことにより、動きぼけの削減処理を実行する動きぼけ削減ステップと
を有すると共に、
上記動きぼけ削減ステップでは、
上記動きぼけ付加処理が施された際に用いられた動きぼけ付加パラメータをもとに、上記動きぼけの削減処理の実行の可否を選択するか、又は上記動きぼけ削減処理の度合いを調整する
画像処理方法。 - 動きぼけ付加処理が施された上で符号化された動画像データから、該動画像データを構成する単位画像間での画像の動きを示す動き情報としての動きベクトルを生成する動きベクトル生成ステップと、
上記動きぼけ付加処理が施された上で符号化された動画像データを復号化する復号化ステップと、
上記復号化ステップによって得られた復号化された動画像データに対して、上記動きベクトル生成ステップにより生成した上記動きベクトルを用いたフィルタ処理を施すことにより、動きぼけの削減処理を実行すると共に、上記動きぼけ付加処理が施された際に用いられた動きぼけ付加パラメータをもとに、上記動きぼけの削減処理の実行の可否を選択するか、又は上記動きぼけ削減処理の度合いを調整する動きぼけ削減ステップと
を情報処理装置に実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010192818A JP4915468B2 (ja) | 2010-08-30 | 2010-08-30 | 画像処理装置、画像処理方法、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010192818A JP4915468B2 (ja) | 2010-08-30 | 2010-08-30 | 画像処理装置、画像処理方法、プログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008197947A Division JP4613990B2 (ja) | 2008-07-31 | 2008-07-31 | 画像処理装置、画像処理方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010268526A JP2010268526A (ja) | 2010-11-25 |
JP4915468B2 true JP4915468B2 (ja) | 2012-04-11 |
Family
ID=43365022
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010192818A Expired - Fee Related JP4915468B2 (ja) | 2010-08-30 | 2010-08-30 | 画像処理装置、画像処理方法、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4915468B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6841097B2 (ja) | 2017-03-09 | 2021-03-10 | 富士通株式会社 | 動き量算出プログラム、動き量算出方法、動き量算出装置及び業務支援システム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07203428A (ja) * | 1993-12-28 | 1995-08-04 | Canon Inc | 画像処理方法及び装置 |
JPH11252409A (ja) * | 1998-03-04 | 1999-09-17 | Hitachi Ltd | 画質改善回路 |
JP2917988B1 (ja) * | 1998-03-16 | 1999-07-12 | 日本電気株式会社 | 動画像符号化装置のプレフィルタ |
JP4017318B2 (ja) * | 2000-06-09 | 2007-12-05 | 日本放送協会 | 高能率符号化における前処理装置 |
JP4596216B2 (ja) * | 2001-06-20 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP2004080252A (ja) * | 2002-08-14 | 2004-03-11 | Toshiba Corp | 映像表示装置及びその方法 |
EP1631090A1 (en) * | 2004-08-31 | 2006-03-01 | Matsushita Electric Industrial Co., Ltd. | Moving picture coding apparatus and moving picture decoding apparatus |
JP3753731B1 (ja) * | 2005-02-18 | 2006-03-08 | 三菱電機株式会社 | 画像処理装置、画像処理方法、及び画像表示装置 |
JP4742813B2 (ja) * | 2005-10-28 | 2011-08-10 | 株式会社ニコン | 画像処理装置および画像処理方法 |
JP4961800B2 (ja) * | 2006-03-31 | 2012-06-27 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
-
2010
- 2010-08-30 JP JP2010192818A patent/JP4915468B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010268526A (ja) | 2010-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4613990B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP4666012B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP5007228B2 (ja) | 画像クリーンアップおよび前置符号化 | |
KR101298642B1 (ko) | 영상 잡음 제거 방법 및 장치 | |
JP5045674B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
KR101844332B1 (ko) | 블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용하여 비균일 모션 블러를 제거하는 방법 및 장치 | |
JP2012516637A5 (ja) | ||
Norkin et al. | Film grain synthesis for AV1 video codec | |
JP2007188493A (ja) | 動きボケ画像中の動きボケを減らす方法、それぞれが各自のボケ・パラメータを持つ複数の動きボケ画像を用いて動きボケの減らされた画像を生成する方法、動きボケ画像中の動きボケを減らす装置、およびそれぞれが各自のボケ・パラメータを持つ複数の動きボケ画像を用いて動きボケの減らされた画像を生成する装置 | |
JP2012249038A (ja) | 画像信号処理装置、画像信号処理方法 | |
Dai et al. | Film grain noise removal and synthesis in video coding | |
JP2004159311A (ja) | 画像処理装置および画像処理方法 | |
TW202025085A (zh) | 圖像處理設備和方法 | |
JP2008301336A (ja) | 画像処理装置、画像符号化装置及び画像復号化装置 | |
JP4915468B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
CN111800583B (zh) | 高动态范围图像分区处理方法、装置及计算机可读存储介质 | |
JP2005141722A (ja) | 画像信号処理方法、画像信号処理装置、及び画像信号プログラム | |
JP4824708B2 (ja) | 動画像符号化方法,装置,プログラムおよびコンピュータ読み取り可能な記録媒体 | |
WO2022071847A1 (en) | Filter strength control for adaptive loop filtering | |
JP2011199349A (ja) | 画像処理装置、画像処理方法及び画像処理用コンピュータプログラム | |
AU2016201449B2 (en) | Encoding and decoding using perceptual representations | |
JP2009077240A (ja) | 画像処理装置及び画像処理方法 | |
JP2014110509A (ja) | 画像符号化装置及び画像符号化方法 | |
KR101332030B1 (ko) | 영상 확대방법 및 이를 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체 | |
CN113766239B (zh) | 数据处理的方法和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100830 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111025 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111227 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120109 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150203 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4915468 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150203 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |