JP2015138553A

JP2015138553A - 画像平滑化方法及び画像平滑化装置

Info

Publication number: JP2015138553A
Application number: JP2015006463A
Authority: JP
Inventors: ジォン・ユヌ; Yun Zheng; 源何; Yuan He; 俊孫; Shun Son
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2014-01-20
Filing date: 2015-01-16
Publication date: 2015-07-30
Anticipated expiration: 2035-01-16
Also published as: US20150206021A1; CN104794686A; US9418307B2; JP6467933B2; CN104794686B

Abstract

【課題】前景又は背景を示す画像に対してデータ充填を行って画像を平滑化する方法及び装置を提供する。
【解決手段】方法は、所定粒度で画像を複数セグメントに分割し；複数セグメントのうちの、空白ピクセル及び非空白ピクセルを含むセグメントの空白ピクセルの値を、非空白ピクセルの値に基づいて得られた値に変更し、充填後のセグメントを取得し；充填後のセグメントのピクセル行列に対して特異値分解を行い、ピクセル値が平滑化されたセグメントを取得し；及び、ピクセル値が平滑化されたセグメント中の各非空白ピクセルの値を、充填ステップ前の非空白ピクセルの初期値に戻し、再建後のセグメントを得ることを含む。
【選択図】図１

Description

本発明は、画像処理分野に関し、特に、前景又は背景を示す画像に対してデータ充填を行うことで画像を平滑化する方法及び装置に関する。

画像処理では、画像（例えば、文書画像）が３層画像、即ち、前景画像、背景画像及びマスク画像に分割されることがある。その後、この３層画像の特性に基づいて、この３層画像に対してそれぞれ処理を行うことで、より良い処理効果を実現することができる。

しかし、背景画像及び前景画像は往々にして平滑な画像でない。例えば、背景画像は、背景の画像ピクセル（画素）だけでなく、背景画像中の前景ピクセルの位置に空白ピクセルも含まれる可能性がある。また、前景画像は、前景の画像ピクセルだけでなく、前景画像中の背景ピクセルの位置に空白ピクセルを含まれる可能性がある。ある場合、例えば、データ圧縮効果を向上させるために、背景画像及び/又は背景層画像中の空白ピクセルの値を変更すること（充填することともいう）で、平滑な背景画像及び平滑な前景画像を得る必要がある。

従来では、通常、空白ピクセル領域近傍のピクセルの平均値を用いることで、ピクセル域中で直接的に画像充填を行う。しかし、このような方法で得られた充填画像は、十分に平滑なものでない。

また、既知の離散コサイン変換（DCT）及びウェーブレット変換（wavelet transform）による方法では、離散コサイン変換及びウェーブレット変換を行うことで、周波数領域で画像充填を行う。しかし、このような方法は、処理速度が遅すぎ、また、量化されたパラメータが充填品質に影響することがある。

よって、上述の問題を解決し得る技術が望ましい。

本発明の１つの目的は、前景又は背景を示す（表示する）画像に対してデータ充填を行うことで、画像を平滑化し得る方法及び装置を提供することにある。

本発明の一側面によれば、前景又は背景を示す画像に対してデータ充填を行うことで、画像を平滑化する方法が提供される。該方法は、
所定粒度で画像を複数セグメント（ブロックとも言う）に分割する分割ステップ；
複数セグメントのうちの、空白ピクセル及び非空白ピクセルを含むセグメントの空白ピクセルの値を、非空白ピクセルの値に基づいて得られた値に変更し、充填後のセグメントを得る充填ステップ；
充填後のセグメントのピクセル行列（matrix）に対して特異値分解を行い、ピクセル値が平滑化されたセグメントを得る平滑化ステップであって、そのうち、ピクセル値が平滑化されたセグメントのピクセル行列の値は、得られた特異値、左特異ベクトル及び右特異ベクトルの転置（transposed）の積として計算された、平滑化ステップ；及び
ピクセル値が平滑化されたセグメント中の各非空白ピクセルの値を、充填ステップ前の非空白ピクセルの初期値に戻し（回復し）、再建後のセグメントを得る再建ステップを含む。

本発明の一実施例による画像平滑化方法のフローチャートである。所定粒度で分割することにより得られた複数セグメントの例を示す図である。本発明の他の実施例による所定粒度の整数倍で画像平滑化を行う方法のフローチャートである。所定粒度の整数倍で分割することにより得られた複数セグメントの例を示す図である。本発明の一実施例による画像平滑化装置のブロック図である。本発明の他の実施例による画像平滑化装置のブロック図である。本発明の他の実施例による画像平滑化装置のブロック図である。本発明の画像平滑化方法及び画像平滑化装置の実施に用い得る計算装置の例の構成図である。

以下、添付した図面を参照しながら、本発明を実施するための形態を詳細に説明する。

図1は、本発明の実施例による画像平滑化方法100のフローチャートである。

図1に示す方法では、前景又は背景を示す画像に対してデータ充填を行うことで画像を平滑化する。そのうち、前景を示す画像とは、前景層画像を指し、背景を示す画像とは、背景層画像を指す。

図1に示すように、ステップS102では、所定粒度を以て画像を複数セグメントに分割する。

例えば、所定粒度は、4×4ピクセルであってもよく、このような分割で得られた各セグメントの大小（サイズ）は、4×4ピクセルである。なお、容易に理解すべきは、4×4ピクセルは例示だけであり、ニーズに応じて、所定粒度は、他のもの、例えば、8×8ピクセルであっても良いとのことである。

図2は、所定粒度で分割することで得られた複数セグメントの例を示す図である。そのうち、各セグメントは、若干個のピクセルを含む。そのうち、分割により得られた複数セグメントは、空白セグメントだけでなく、非完全空白セグメント（即ち、空白ピクセル及び非空白ピクセルを含むセグメント）をも含む。空白セグメント中は、全てのピクセルが空白なものであり、非完全空白セグメント中は、非空白ピクセルが存在すると同時に、空白ピクセルも存在する。なお、図2に示されていないが、理解すべきは、次のようなセグメントが存在する可能性もあり、即ち、該セグメントには、非空白ピクセルのみが存在する。このようなセグメントに対しては、データ充填を行う必要がない。

背景層画像を例とすると、背景層画像は、背景の画像ピクセルのみを含み、背景層画像中の前景ピクセルの位置は空白ピクセルである。このような場合、背景ピクセルの位置と前景ピクセルの位置との境界の位置には、非完全空白セグメントが存在する可能性があり、背景ピクセルの位置には、非空白セグメントが存在する可能性があり、前景ピクセルの位置には、空白セグメントが存在する可能性がある。

同様に、前景層画像は、前景の画像ピクセルのみを含み、前景層画像中の背景ピクセルの位置は空白ピクセルである。このような場合、前景ピクセルの位置と背景ピクセルの位置との境界の位置には、非完全空白セグメントが存在する可能性があり、前景ピクセルの位置には、非空白セグメントが存在する可能性があり、背景ピクセルの位置には、空白セグメントが存在する可能性がある。

ステップS104では、ステップS102で分割より得られた複数セグメントのうちの、空白ピクセル及び非空白ピクセルを含むセグメント、即ち、非完全空白セグメントについて、該セグメントの空白ピクセルの値を、非空白ピクセルの値に基づいて得られた値に変更することで、充填後のセグメントを得る。非空白ピクセルの値に基づいて得られた値は、例えば、非空白ピクセルの平均値であっても良い。なお、理解すべきは、非空白ピクセルの値に基づいて得られた値は、平均値に限定されず、非空白ピクセルの値と非空白ピクセルの位置の関数であっても良いとのことである。

ステップS106では、ステップS104で得られた充填後のセグメントのピクセル行列に対して異値分解を行うことで、ピクセル値が平滑化されたセグメントを得る。そのうち、ピクセル値が平滑化されたセグメントのピクセル行列の値は、得られた特異値s、左特異ベクトルu及び右特異ベクトルvの転置の積と計算される。

具体的に言えば、充填後のセグメントに対応するピクセル値行列がBであるとする。左特異ベクトルuは、次のように計算され得る。

T=B*B’とし、
i=1:3
u=T*u/norm(u)
エンド
そのうち、B’は、Bの転置を表し。i=1:3は、循環（loop）回数が3であることを示すが、循環回数は、これに限定されず、ニーズに応じて、他の循環回数を設定してもよい。norm(u)は、左特異ベクトルuのノルムを表す。循環を行う時に、uの初期値は、ランダムである。

特異値sは、次のように計算され得る。

s=sqrt((T*u)(0)/u(0))
そのうち、sqrt()は、平方根の関数を表す。“0”は、対応する行列の第１個の要素を表す。なお、理解すべきは、第１個の要素の値だけではなく、他の任意の１つの要素の値を取っても良いとのことである。

右特異ベクトルvは、次のように計算され得る。

T=B’*Bとし、
i=1:3
v=T*v/norm(v)
エンド
そのうち、B’は、Bの転置を表す。i=1:3は、循環回数が3であることを表すが、循環回数は、これに限定されず、ニーズに応じて、他の循環回数を設定しても良い。norm(v)は、右特異ベクトルvのノルムを表す。循環を行う時に、vの初期値は、ランダムである。

ピクセル値が平滑化されたセグメントに対応する近似ピクセル値行列は、B_a=s×u×v’である。そのうち、B_aのaは、近似（approximate）を表し、v’は、右特異ベクトルvの転置を表す。

ステップS108では、ステップS106で得られた、ピクセル値が平滑化されたセグメント中の各非空白ピクセルについて、非空白ピクセルの値を、充填ステップS104の前の非空白ピクセルの初期値に戻すことで、再建後のセグメントを得る。その理由は、ステップS106で得られた、ピクセル値が平滑化されたセグメントについて、空白ピクセル及び非空白ピクセルの値はすべて、得られた特異値、左特異ベクトル及び右特異ベクトルの転置の積と計算されたからである。よって、非空白ピクセルの初期値を回復し、空白ピクセルの特異値分解計算結果のみを保留する必要がある。具体的に言えば、近似ピクセル値行列B_a中の非空白ピクセルの値を、充填ステップS104の前の非空白ピクセルの初期値に戻すことで、再建後のセグメントを得る。

ステップS110では、所定収斂条件を満足するかどうかを判断する。

例えば、２回連続反復により得られた２つの再建後のセグメントのピクセルの標準偏差（Standard Deviation）が所定値より小さいかどうかを判断してもよい。標準偏差が所定値より小さい場合、収斂条件を満足していると見なし、そうでない場合、収斂条件を満足してないと見なす。

ステップS110で所定収斂条件を満足していると判断した場合、該処理を終了させる。ステップS110で所定収斂条件を満足していないと判断した場合、ステップS106に戻す。このような場合、ステップS106では、ステップS108で得られた再建後のセグメントのピクセル行列に対して特異値分解を行って、ピクセル値が平滑化されたセグメントを得る。

図3は、本発明の実施例による所定粒度の整数倍で画像平滑化を行う方法300のフローチャートである。

図3の処理は、図1の処理と同様である。しかし、両者の相違点は、所定粒度の整数倍で分割ステップを行い、そして、分割された複数セグメント中の空白セグメント及び図1の処理で得られた再建後のセグメントをそれぞれ空白ピクセル及び非空白ピクセルとして、充填ステップ、平滑化ステップ及び再建ステップを行うことにある。

図3に示すように、ステップS302では、所定粒度の整数倍で画像を複数セグメントに分割しても良い。このように得られたセグメントのサイズは、所定粒度を以て分割することで得られたセグメントのサイズの整数倍である。

ステップS304では、空白セグメント中のピクセルの値を、図1の処理で得られた再建後のセグメント中のピクセルの値に基づいて得られた値に変更することで、充填後のセグメントを得る。

ステップS306では、充填後のセグメントのピクセル行列に対して特異値分解を行うことで、ピクセル値が平滑化されたセグメントを得る。

ステップS308では、図1の処理で得られた再建後のセグメント中のピクセルの値を、ステップS306の前の初期値に戻すことで、今回の再建後のセグメントを得る。

ステップS310では、所定収斂条件を満足しているかどうかを判断する。例えば、２回連続反復により得られた２つの再建後のセグメントのピクセルの標準偏差が所定値より小さいかどうかを判断しても良い。標準偏差が所定値より小さい場合、収斂条件を満足していると見なし、そうでない場合、収斂条件を満足していないと見なす。

画像全体に対して平滑化を行うためには、所定粒度の整数倍数を逓増させることで、分割ステップ、充填ステップ、平滑化ステップ及び再建ステップを、画像中の全てのピクセルへの処理が終わるまでに行っても良い。言い換えると、画像分割時に採用する粒度を次第に増大して、次第に処理を行う。

好ましくは、画像を、原始画像色空間（例えば、RGB色空間）からYCbCr画像色空間に変換しても良く、その後、次元（dimension）Cb及び次元Crのうちの少なくとも１つの次元の画像に対してダウンサンプリングを行うことで、対応する次元上の縮小画像を得る。続いて、それぞれ、次元Yの画像、次元Cbの縮小画像及び次元Crの縮小画像に対して図1乃至4に記載の処理を行う。例えば、Cb及びCr次元の画像の解像度を原解像度の1/2まで下げても良い。なお、理解すべきは、Cb及びCr次元の画像を必ず同じ解像度まで縮小させる必要がなく、ニーズに応じて、異なる解像度まで縮小させても良いとのことである。例えば、Cb次元の画像を原解像度の1/2まで縮小させ、Cr次元の画像を原解像度の1/4まで縮小させても良い。Y次元の画像に比べ、Cb次元の画像及びCr次元の画像の重要度が低いので、Cb次元の画像及びCr次元の画像を縮小させても、処理の品質に影響を与えることがない一方、処理速度を大幅に増加させることができる。

図1乃至4に記載の処理を行った後で、Cr次元の縮小画像及びCb次元の縮小画像に対してアップサンプリングを行うことで、その原始サイズに戻すことができる。その後、原始サイズになった画像を、YCbCr画像色空間から原始画像色空間に変換することができる。

また、オプションで、最終に得られた画像に対してGaussian平滑化を行うことで、画像の平滑化を向上させても良い。

以上、本発明の実施例による画像平滑化方法を説明した。以下、本発明の実施例による画像平滑化装置を説明する。なお、理解すべきは、方法について説明した内容は、対応する画像平滑化装置にも適用し得るとのことである。よって、便宜のため、ここでは重複説明を省略する。

図5は、本発明の一実施例による画像平滑化装置500のブロック図である。画像平滑化装置500は、前景又は背景を示す画像に対してデータ充填を行うことで画像を平滑化する。

図5に示すように、画像平滑化装置500は、分割部502、充填部504、平滑化部506、再建部508及び制御部510を含む。

分割部502は、制御部510の制御の下で、所定粒度を以て画像を複数セグメントに分割する。充填部504は、制御部510の制御の下、分割部502の分割で得られた複数セグメントのうちの、空白ピクセル及び非空白ピクセルを含むセグメントについて、該セグメントの空白ピクセルの値を、非空白ピクセルの値に基づいて得られた値に変更することで、充填後のセグメントを得る。平滑化部506は、制御部510の制御の下で、充填部504の充填後のセグメントのピクセル行列に対して特異値分解を行うことで、ピクセル値が平滑化されたセグメントを取得し、そのうち、ピクセル値が平滑化されたセグメントのピクセル行列の値は、得られた特異値、左特異ベクトル及び右特異ベクトルの転置の積と計算されている。充填部506が得た、ピクセル値が平滑化されたセグメント中の各非空白ピクセルについて、再建部508は、制御部510の制御の下で、該非空白ピクセルの値を、充填部506の充填前の非空白ピクセルの初期値に戻すことで、再建後のセグメントを得る。制御部510は、分割部502、充填部504、平滑化部506及び再建部508の処理を制御するように構成される。

好ましくは、制御部510は、平滑化部506及び再建部508が反復に（繰り返して）処理を、所定収斂条件を満足するまでに行うように制御するように構成されてもよい。

例えば、制御部510は、２回連続反復により得られた２つの再建後のセグメントのピクセルの標準偏差が所定値より小さいかどうかを判断しても良い。標準偏差が所定値より小さい場合、収斂条件を満足していると見なし、そうでない場合、収斂条件を満足していないと見なす。

好ましくは、制御部510は、分割部502が整数倍数の所定粒度を所定粒度として処理を行うように制御し、また、充填部504、平滑化部506及び再建部508が所定粒度で分割された複数セグメントのうちの空白セグメント及び再建後のセグメントをそれぞれ空白ピクセル及び非空白ピクセルとして処理を行うように制御するように構成されても良い。

好ましくは、制御部510は、平滑化部506及び再建部508が反復に処理を、所定収斂条件を満足するまでに行うように制御するように構成されても良い。

好ましくは、制御部510は、分割部502、充填部504、平滑化部506及び再建部508が整数倍数を逓増させて処理を、画像中の全てのピクセルへの処理が終わるまでに行うように制御するように構成されても良い。

図6は、本発明の他の実施例による画像平滑化装置500’のブロック図である。

図6に示す画像平滑化装置500’と、図5に示す画像平滑化装置500との相違点は、画像平滑化装置500’は更に、第一変換部512、ダウンサンプリング部514、アップサンプリング部516及び第二変換部518を含むことにある。

第一変換部512は、画像を、原始画像色空間からYCbCr画像色空間に変換することができる。ダウンサンプリング部514は、次元Cb及び次元Crのうちの少なくとも１つの次元の画像に対してダウンサンプリングを行うことで、対応する次元上の縮小画像を取得し、縮小画像を分割部502に送信することができる。

制御部510は、分割部502、充填部504、平滑化部506及び再建部508の処理を制御することができる。分割部502は、制御部510の制御の下で、所定粒度によるダウンサンプリング部514の処理で得られた画像を複数セグメントに分割することができる。充填部504は、制御部510の制御の下で、分割部502の分割により到られた複数セグメントのうちの、空白ピクセル及び非空白ピクセルを含むセグメントについて、該セグメントの空白ピクセルの値を、非空白ピクセルの値に基づいて得られた値に変更することで、充填後のセグメントを得ることができる。平滑化部506は、制御部510の制御の下で、充填部504の充填後のセグメントのピクセル行列に対して特異値分解を行うことで、ピクセル値が平滑化されたセグメントを得ることができ、そのうち、ピクセル値が平滑化されたセグメントのピクセル行列の値は、得られた特異値、左特異ベクトル及び右特異ベクトルの転置の積と計算された。充填部506が得た、ピクセル値が平滑化されたセグメント中の各非空白ピクセルについて、再建部508は、制御部510の制御の下で、該非空白ピクセルの値を、充填部506の充填前の非空白ピクセルの初期値に戻すことで、再建後のセグメントを得ることができる。

アップサンプリング部516は、再建部508が再建した画像に対してアップサンプリングを行うことで、その原始サイズに回復することができる。第二変換部518は、原始サイズになった画像を、YCbCr画像色空間から原始画像色空間に変換することができる。

図7は、本発明の他の実施例による画像平滑化装置500”のブロック図である。

図7に示す画像平滑化装置500”と、図5に示す画像平滑化装置500との相違点は、画像平滑化装置500”は更にGaussian平滑化部520を含むことにある。

Gaussian平滑化部520は、再建部508が再建した画像に対してGaussian平滑化を行うことで、平滑化の効果を向上させた画像を得ることができる。

また、上述の方法及び装置は、ソフトウェア、ファームウェア、ハードウェア又はそれらの任意の組む合せの方式で実現されても良い。ソフトウェア又はファームウェアにより実現する場合、まず、記憶媒体又はネットワークから、専用ハードウェア構造を有するマシン（例えば、図8に示す汎用マシン800）に該ソフトウェア又はファームウェアのプログラムをインストールし、それから、該マシンは、各種プログラムがインストールされている時に、上述の方法及び装置の各種機能を実行することができる。

図8は、本発明の画像平滑化方法及び画像平滑化装置の実施に用い得る計算装置の例（汎用コンピュータ800）の構成図である。

図8に示すように、中央処理ユニット（ＣＰＵ）801が、リードオンリーメモリ（ＲＯＭ）802に記憶されているプログラム、又は、記憶部808からランダムアクセスメモリ（ＲＡＭ）803にロードされているプログラムに基づいて各種の処理を行う。ＲＡＭ803は、ニーズに応じて、ＣＰＵ801が各種の処理などを実行するときに必要なデータを記憶しても良い。ＣＰＵ801、ＲＯＭ802及びＲＡＭ803は、バス804を経由して互いに接続される。また、入力／出力インターフェース805もバス804に接続される。

入力／出力インターフェース805には、入力部806（キーボードやマウスなどを含む）、出力部807（表示器、例えばＣＲＴ、ＬＣＤ、スピーカーなどを含む）、記憶部808（ハードディスクなどを含む）、及び通信部809（ネットワーク接続カード、例えばＬＡＮカード、モデムなどを含む）が接続される。通信部809は、ネットワーク、例えばインターネットを経由して通信処理を行う。また、ドライブ810がニーズに応じて入力／出力インターフェース805に接続されても良い。また、ニーズに応じて、取り外し可能な媒体811、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどをドライブ810にセットすることにより、その中から読み出したコンピュータプログラムを記憶部808にインストールしても良い。

ソフトウェアにより上述の処理を実現する場合は、ネットワーク、例えばインターネット、又は記憶媒体、例えば取り外し可能な媒体811から、このソフトウェアを構成すプログラムをインストールしても良い。

なお、当業者が理解すべきは、このような記憶媒体は、中にプログラムが記憶されており、ユーザにプログラムを提供するよう装置と独立して配られる図8に示すような取り外し可能な媒体811に限定されない。取り外し可能な媒体811の例としては、磁気ディスク（フロッピー（登録商標）ディスクを含む）、光ディスク（ＣＤ−ＲＯＭ及びＤＶＤを含む）、光磁気ディスク（ＭＤ（登録商標）を含む）、及び半導体メモリを含む。或いは、記憶媒体はＲＯＭ802、記憶部808に含まれるハードディスクなどであってもよく、それらにはプログラムが記憶されており、且つそれらを含む装置とともにユーザに配られても良い。

また、本発明は、マシン（例えば、コンピュータ）読取可能な命令コードからなるプログラムプロダクトにも関する。この命令コードは、マシンに読み取られて実行される時に、上述の実施例による方法を実行することができる。

さらに、上述のマシン読取可能な命令コードからなるプログラムプロダクトを記憶している記憶媒体も本開示に含まれている。このような記憶媒体は、磁気ディスク（フロッピーディスク）、光ディスク、光磁気ディスク、メモリカード、メモリスティックなどを含むが、これらに限定されない。

本発明の上述の実施例による方法は、明細書に記載の又は図面に図示の時間順序に従って実行することに限定されず、他の時間順序に従って、並列に又は独立して実行しても良い。よって、本明細書又は図面に記載の方法の実行順序は、本発明の技術的範囲を限定しない。

また、もちろん、本発明の上述の方法の各処理プロセスは、各種のマシン可読記憶媒体に保存のコンピュータ実行可能なプログラムの方式により実現されても良い。

また、本発明の目的は、上述の実行可能なプログラムコードを記憶している記憶媒体を直接又は間接にシステム又は装置に提供し、且つ、該システム又は装置中のコンピュータ又は中央処理ユニット（CPU）が上述のプログラムコードを読み出して実行させる方式で実現されても良い。

また、該システム又は装置はプログラムを実行する機能を有すれば、本発明の実施方式はプログラムに限定されず、また、該プログラムは他の任意の形式、例えば、オブジェクトプログラム、インタープリター実行用プログラム、又は、オペレーティングシステム操作システムに提供するスクリプトプログラムなどであっても良い。

上述のマシン可読記憶媒体は、各種の記憶装置及び記憶ユニット、半導体装置、ディスユニット例えば光、磁気及び光磁気ディス、及び他の任意の使用可能な情報記憶媒体などであっても良い。

また、クライントコンピュータが、インターネットに接続されている所定のウェブサイトを経由して、本発明の上述の実施例によるコンピュータプログラムコードをダウンロードし、コンピュータにインストールした後に、該プログラムを実行することにより、本発明を実現することもできる。

また、上述の各実施例を含む実施形態に関し、更に以下の付記を開示する。

（付記1）
前景又は背景を示す画像に対してデータ充填を行い、画像を平滑化する方法であって、
所定粒度で前記画像を複数セグメントに分割する分割ステップ；
前記複数セグメントのうちの、空白ピクセル及び非空白ピクセルを含むセグメントの空白ピクセルの値を、前記非空白ピクセルの値に基づいて得られた値に変更し、充填後のセグメントを得る充填ステップ；
前記充填後のセグメントのピクセル行列に対して特異値分解を行い、ピクセル値が平滑化されたセグメントを得る平滑化ステップであって、そのうち、前記ピクセル値が平滑化されたセグメントのピクセル行列の値は、得られた特異値、左特異ベクトル及び右特異ベクトルの転置の積と計算された、平滑化ステップ；及び
前記ピクセル値が平滑化されたセグメント中の各非空白ピクセルの値を、前記充填ステップ前の前記非空白ピクセルの初期値に戻し、再建後のセグメントを得る再建ステップを含む、方法。

（付記2）
付記1に記載の方法であって、更に、
反復に前記平滑化ステップ及び前記再建ステップを、所定収斂条件を満足するまでに行うことを含む、方法。

（付記3）
付記1に記載の方法であって、更に、
整数倍数の所定粒度を前記所定粒度として前記分割ステップを行い、前記所定粒度で分割された複数セグメントのうちの空白セグメント及び前記再建後のセグメントをそれぞれ前記空白ピクセル及び前記非空白ピクセルとして前記充填ステップ、前記平滑化ステップ及び前記再建ステップを行うことを含む、方法。

（付記4）
付記3に記載の方法であって、更に、
反復に前記平滑化ステップ及び前記再建ステップを、所定収斂条件を満足するまでに行うことを含む、方法。

（付記5）
付記3に記載の方法であって、更に、
前記整数倍数を逓増させて前記分割ステップ、前記充填ステップ、前記平滑化ステップ及び前記再建ステップを、前記画像中の全てのピクセルへの処理が終わるまでに行うことを含む、方法。

（付記6）
付記2又は4に記載の方法であって、
前記所定収斂条件は、2回連続反復により得られた２つの再建後のセグメントのピクセルの標準偏差が所定値より小さいかどうかである、方法。

（付記7）
付記1に記載の方法であって、
前記分割ステップの前に、更に、
前記画像を原始画像色空間からYCbCr画像色空間に変換する第一変換ステップ；及び
次元Cb及び次元Crのうちの少なくとも１つの次元の画像に対してダウンサンプリングを行い、対応する次元の縮小画像を得るダウンサンプリングステップを含む、方法。

（付記8）
付記7に記載の方法であって、
前記再建ステップの後に、更に、
前記縮小画像に対してアップサンプリングを行い、その原始サイズに戻すアップサンプリングにステップ；及び
原始サイズに戻された画像を、前記YCbCr画像色空間から前記原始画像色空間に変換する第二変換ステップを含む、方法。

（付記9）
付記1に記載の方法であって、
前記再建ステップの後に、更に、
前記再建ステップが再建した画像に対してGaussian平滑化を行うGaussian平滑化ステップを含む、方法。

（付記10）
前景又は背景を示す画像に対してデータ充填を行い、画像を平滑化する装置であって、
所定粒度で前記画像を複数セグメントに分割するための分割部；
前記複数セグメントのうちの、空白ピクセル及び非空白ピクセルを含むの空白ピクセルの値を、前記非空白ピクセルの値に基づいて得られた値に変更し、充填後のセグメントを得るための充填部；
前記充填後のセグメントのピクセル行列に対して特異値分解を行い、ピクセル値が平滑化されたセグメントを得るための平滑化部であって、そのうち、前記ピクセル値が平滑化されたセグメントのピクセル行列の値は、得られた特異値、左特異ベクトル及び右特異ベクトルの転置の積と計算された、平滑化部；
前記ピクセル値が平滑化されたセグメント中の各非空白ピクセルの値を、前記充填部の充填前の前記非空白ピクセルの初期値に戻し、再建後のセグメントを得るための再建部
；及び
前記分割部、前記充填部、前記平滑化部及び前記再建部の処理を制御するための制御部を含む、装置。

（付記11）
付記10に記載の装置であって、更に、
前記制御部は、前記平滑化部及び再建部が反復に処理を、所定収斂条件を満足するまでに行うように制御するように構成される、装置。

（付記12）
付記10に記載の装置であって、
前記制御部は、前記分割部が整数倍数の所定粒度を前記所定粒度として処理を行うように制御し、且つ、前記充填部、前記平滑化部及び前記再建部が前記所定粒度で分割された複数セグメントのうちの空白セグメント及び前記再建後のセグメントをそれぞれ前記空白ピクセル及び前記非空白ピクセルとして処理を行うように制御するように構成される、装置。

（付記13）
付記12に記載の装置であって、
前記制御部は、前記平滑化部及び前記再建部が反復に処理を、所定収斂条件を満足するまでに行うように制御するように構成される、装置。

（付記14）
付記12に記載の装置であって、
前記制御部は、前記分割部、前記充填部、前記平滑化部及び前記再建部が前記整数倍数を逓増させて処理を、前記画像中の全てのピクセルへの処理が終わるまでに行うように制御するように構成される、装置。

（付記15）
付記11又は13に記載の装置であって、
前記所定収斂条件は、２回連続反復により得られた２つの再建後のセグメントのピクセルの標準偏差が所定値より小さいかどうかである、装置。

（付記16）
付記10に記載の装置であって、更に、
前記画像を、原始画像色空間からYCbCr画像色空間に変換するための第一変換部；及び
次元Cb及び次元Crのうちの少なくとも１つの次元の画像に対してダウンサンプリングを行い、対応する次元の縮小画像を取得し、前記縮小画像を前記分割部に送信するためのダウンサンプリングに部を含む、装置。

（付記17）
付記16に記載の装置であって、更に
前記再建部が再建した画像に対してアップサンプリングを行い、その原始サイズに戻すためのアップサンプリング部；及び
原始サイズに戻された画像を、前記YCbCr画像色空間から前記原始画像色空間に変換するための第二変換部を含む、装置。

（付記18）
付記10に記載の装置であって、更に
前記再建部が再建した画像に対してGaussian平滑化を行うためのGaussian平滑化部を含む、装置。

（付記19）
コンピュータに、付記1〜9中の任意の１項に記載の方法を実行させるためのプログラム。

（付記20）
付記19に記載のプログラムを記憶したコンピュータ可読媒体。

以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。

Claims

前景又は背景を示す画像に対してデータ充填を行って画像を平滑化する方法であって、
所定粒度により前記画像を複数セグメントに分割する分割ステップ；
前記複数セグメントのうちの、空白ピクセル及び非空白ピクセルを含むセグメントの空白ピクセルの値を、前記非空白ピクセルの値に基づいて得られた値に変更し、充填後のセグメントを得る充填ステップ；
前記充填後のセグメントのピクセル行列に対して特異値分解を行い、ピクセル値が平滑化されたセグメントを得る平滑化ステップであって、そのうち、前記ピクセル値が平滑化されたセグメントのピクセル行列の値は、得られた特異値、左特異ベクトル及び右特異ベクトルの転置の積と計算された、平滑化ステップ；及び
前記ピクセル値が平滑化されたセグメント中の各非空白ピクセルの値を、前記充填ステップ前の前記非空白ピクセルの初期値に戻し、再建後のセグメントを得る再建ステップを含む、方法。
請求項1に記載の方法であって、更に、
反復に前記平滑化ステップ及び前記再建ステップを、所定収斂条件を満足するまでに行うことを含む、方法。
請求項1に記載の方法であって、更に、
整数倍数の所定粒度を前記所定粒度として前記分割ステップを行い、前記所定粒度で分割された複数セグメントのうちの空白セグメント及び前記再建後のセグメントをそれぞれ前記空白ピクセル及び前記非空白ピクセルとして前記充填ステップ、前記平滑化ステップ及び前記再建ステップを行うことを含む、方法。
請求項3に記載の方法であって、更に、
反復に前記平滑化ステップ及び前記再建ステップを、所定収斂条件を満足するまでに行うことを含む、方法。
請求項3に記載の方法であって、更に、
前記整数倍数を逓増させて前記分割ステップ、前記充填ステップ、前記平滑化ステップ及び前記再建ステップを、前記画像中の全てのピクセルへの処理が終わるまでに行うことを含む、方法。
請求項求2又は4に記載の方法であって、
前記所定収斂条件は、２回連続反復により得られた２つの再建後のセグメントのピクセルの標準偏差が所定値より小さいかどうかである、方法。
請求項1に記載の方法であって、
前記分割ステップの前に、更に、
前記画像を、原始画像色空間からYCbCr画像色空間に変換する第一変換ステップ
；及び
次元Cb及び次元Crのうちの少なくとも１つの次元の画像に対してダウンサンプリングを行い、対応する次元の縮小画像を得るダウンサンプリングステップを含む、方法。
請求項7に記載の方法であって、
前記再建ステップの後に、更に、
前記縮小画像に対してアップサンプリングを行い、その原始サイズに戻すアップサンプリングステップ；及び
原始サイズに戻された画像を、前記YCbCr画像色空間から前記原始画像色空間に変換する第二変換ステップを含む、方法。
請求項1に記載の方法であって、
前記再建ステップの後に、更に、
前記再建ステップにより再建された画像に対してGaussian平滑化を行うGaussian平滑化ステップを含む、方法。
前景又は背景を示す画像に対してデータ充填を行って画像を平滑化する装置であって、
所定粒度により前記画像を複数セグメントに分割するための分割部；
前記複数セグメントのうちの、空白ピクセル及び非空白ピクセルを含むセグメントの空白ピクセルの値を、前記非空白ピクセルの値に基づいて得られた値に変更し、充填後のセグメントを得る充填部；
前記充填後のセグメントのピクセル行列に対して特異値分解を行い、ピクセル値が平滑化されたセグメントを得るための平滑化部であって、そのうち、前記ピクセル値が平滑化されたセグメントのピクセル行列の値は、得られた特異値、左特異ベクトル及び右特異ベクトルの転置の積と計算された、平滑化部；
前記ピクセル値が平滑化されたセグメント中の各非空白ピクセル値を、前記充填部の充填前の前記非空白ピクセルの初期値に戻し、再建後のセグメントを得るための再建部；及び
前記分割部、前記充填部、前記平滑化部及び前記再建部の処理を制御するための制御部を含む、装置。