JP7218445B2 - アップスケーリング装置、アップスケーリング方法、及び、アップスケーリングプログラム - Google Patents

Description

本発明は、アップスケーリング装置、アップスケーリング方法、及び、アップスケーリングプログラムに関する。

背景と前景を含む画像から、前景の領域を示す推定データを生成する背景差分やキーイング等の技術が知られている。背景差分は、例えば、背景と前景を示す第１入力画像と、背景を示す第２入力画像の差分を抽出することで、前景や背景の領域を推定する技術である。第１入力画像は、例えば、背景が自然の風景である人物画像等である。キーイングには、例えば、背景が特定の色に統一された画像を撮影し、当該画像のうち特定の色である領域に別の画像を合成するクロマキーと呼ばれる技術がある。

キーイングは、パーソナルコンピュータ等の情報処理装置によって行われる。キーイングに用いられる入力画像が高解像度になるほど、情報処理装置の処理負担が増加する。そのため、動画像に対してキーイング処理を実行する場合、１フレームの期間内に１枚の入力画像に対するキーイング処理が完了しない場合がある。１フレームの期間内にキーイング処理を完了させるためには、情報処理装置の処理能力を向上させる、または、入力画像を低解像度に変換し、処理負担を軽減する必要がある。しかしながら、情報処理装置の処理能力を向上するためにはコストを要する。また、入力画像を低解像度に変換した場合、キーイング処理の精度が劣化する問題が生じる。

本発明は、上記問題点に鑑みてなされたものであり、その目的は、低コストにかつ精度の高いキーイング処理が可能なアップスケーリング装置、アップスケーリング方法、及び、アップスケーリングプログラムを提供することである。

上記課題を解決するために、本発明に係るアップスケーリング装置は、背景と前景を示す高解像度入力画像と、前記高解像度入力画像を低解像度に変換した低解像度入力画像と、前記低解像度入力画像における前記前景の領域を示す低解像度アルファ画像と、を取得する画像取得部と、前記低解像度入力画像の階調情報と、前記低解像度アルファ画像のアルファ値と、の相関関係を前記低解像度入力画像と前記低解像度アルファ画像の対応する画素ペアごとに取得し、前記高解像度入力画像の解像度にアップスケーリングする相関関係取得部と、前記高解像度入力画像と、アップスケーリングされた前記相関関係とに基づいて、前記高解像度入力画像と同じ解像度の高解像度アルファ画像を出力する出力部と、を有することを特徴とする。

この態様では、前記相関関係は、階調値と、アルファ値と、の関係を示す関数の定数を含み、前記アップスケーリングは、前記定数を線形補間することで行われる、ことを特徴とする。

この態様では、前記画素ペアの前記関数は、当該画素ペアの周辺の所定数の画素ペアの関係を示す、ことを特徴とする。

この態様では、前記相関関係取得部は、さらに、前記階調値と前記アルファ値との線形関係の程度を表す相関係数を前記画素ペアごとに取得し、前記出力部は、前記相関係数を重み係数として、前記高解像度入力画像とアップスケーリングされた前記相関関係とに基づいて算出されたアルファ値と、前記低解像度アルファ画像をアップスケーリングして算出されたアルファ値と、を重み付き平均する、ことを特徴とする。

本発明に係るアップスケーリング方法は、背景と前景を示す高解像度入力画像と、前記高解像度入力画像を低解像度に変換した低解像度入力画像と、前記低解像度入力画像における前記前景の領域を示す低解像度アルファ画像と、を取得する画像取得ステップと、前記低解像度入力画像の階調情報と、前記低解像度アルファ画像のアルファ値と、の相関関係を前記低解像度入力画像と前記低解像度アルファ画像の対応する画素ペアごとに取得し、前記高解像度入力画像の解像度にアップスケーリングする相関関係取得ステップと、前記高解像度入力画像と、アップスケーリングされた前記相関関係とに基づいて、前記高解像度入力画像と同じ解像度の高解像度アルファ画像を出力する出力ステップと、を有することを特徴とする。

本発明に係るアップスケーリングプログラムは、背景と前景を示す高解像度入力画像と、前記高解像度入力画像を低解像度に変換した低解像度入力画像と、前記低解像度入力画像における前記前景の領域を示す低解像度アルファ画像と、を取得する画像取得手順と、前記低解像度入力画像の階調情報と、前記低解像度アルファ画像のアルファ値と、の相関関係を前記低解像度入力画像と前記低解像度アルファ画像の対応する画素ペアごとに取得し、前記高解像度入力画像の解像度にアップスケーリングする相関関係取得手順と、前記高解像度入力画像と、アップスケーリングされた前記相関関係とに基づいて、前記高解像度入力画像と同じ解像度の高解像度アルファ画像を出力する出力手順と、をコンピュータに実行させることを特徴とする。

本発明の一実施形態に係るアップスケーリング装置の構成図である。 本発明の一実施形態に係るアップスケーリング装置で実装される機能の一例を示す機能ブロック図である。 本発明の一実施形態に係るアップスケーリング装置で行われる処理の流れの一例を示すフロー図である。 相関関係について説明するための図である。 本発明が適用される実施形態の一例を示す図である。 本発明が適用される実施形態において行われる画像処理のフローの一例を示す図である。

以下、本発明の一実施形態について図面に基づき詳細に説明する。図１は、本実施形態に係る画像処理装置１０の構成図である。

本実施形態に係る画像処理装置１０は、例えば、ゲームコンソールやパーソナルコンピュータなどのコンピュータである。図１に示すように、本実施形態に係る画像処理装置１０は、例えば、プロセッサ１２、記憶部１４、操作部１６、表示部１８を含んでいる。

プロセッサ１２は、例えば画像処理装置１０にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。

記憶部１４は、ＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部１４には、プロセッサ１２によって実行されるプログラムなどが記憶される。

操作部１６は、キーボード、マウス、ゲームコンソールのコントローラ等のユーザインタフェースであって、ユーザの操作入力を受け付けて、その内容を示す信号をプロセッサ１２に出力する。

表示部１８は、液晶ディスプレイ等の表示デバイスであって、プロセッサ１２の指示に従って各種の画像を表示する。

なお、画像処理装置１０は、ネットワークボードなどの通信インタフェース、ＤＶＤ－ＲＯＭやＢｌｕ－ｒａｙ（登録商標）ディスクなどの光ディスクを読み取る光ディスクドライブ、ＵＳＢ（Universal Serial Bus）ポートなどを含んでいてもよい。

図２は、本発明の一実施形態に係るアップスケーリング装置で実装される機能の一例を示す機能ブロック図である。図２に示すように、アップスケーリング装置は、機能的に、画像取得部２０８と、相関関係取得部２１０と、出力部２１２と、を含む。

画像取得部２０８は、背景と前景を示す高解像度入力画像２０２と、高解像度入力画像２０２を低解像度に変換した低解像度入力画像２０４と、低解像度入力画像２０４における前景の領域を示す低解像度アルファ画像２０６と、を取得する。具体的には、例えば、高解像度入力画像２０２は、縦方向に１９２０画素、横方向に１０８０画素の画像であって、会議室の壁やテーブルを背景として、人物（前景）を撮影した画像である。低解像度入力画像２０４は、当該高解像度を線形に低解像度化した画像であって、縦方向に３２０画素、横方向に３２０画素の画像である。高解像度入力画像２０２と低解像度入力画像２０４のアスペクト比は異なっていてもよい。この場合、縦方向と横方向の圧縮比が異なる。低解像度アルファ画像２０６は、当該低解像度入力画像２０４に対してキーイング処理を施した画像であって、低解像度入力画像２０４と同じ解像度である。ここで、アルファ画像は、前景を示す座標において１というアルファ値を有し、背景を示す座標において０というアルファ値を有する画像である。なお、アルファ値は、０または１のいずれかの値である場合に限られない。例えば、アルファ値は、０以上１以下の実数であってもよいし、０から２５５の間の整数であってもよい。

相関関係取得部２１０は、低解像度入力画像２０４の階調情報と、低解像度アルファ画像２０６のアルファ値と、の相関関係を低解像度入力画像２０４と低解像度アルファ画像２０６の対応する画素ペアごとに取得し、高解像度入力画像２０２の解像度にアップスケーリングする。具体的には、相関関係取得部２１０の行う処理について図３及び図４を参照しながら説明する。

まず、相関関係取得部２１０は、低解像度入力画像２０４と低解像度アルファ画像２０６の対応する画素ペア（同じ座標に位置する画素の組み合わせ）の階調値と、アルファ値と、の関係を示す関数を取得する。例えば図４に示すように、画素ペアの関数は、当該画素ペアの周辺の所定数の画素ペアの関係を示す。具体的には、低解像度入力画像２０４の座標(i,j)における緑画素の階調値はX_i,jである。座標(i,j)の上下左右を囲む８個の画素における緑画素の階調値はX_i-1,j-1からX_i+1,j+1である。低解像度アルファ画像２０６の座標(i,j)におけるアルファ値はY_i,jである。座標(i,j)の周囲を囲む８個の画素におけるアルファ値はY_i-1,j-1からY_i+1,j+1である。

次に、相関関係取得部２１０は、数１を用いて、座標(i,j)の画素ペア及び座標(i,j)の周囲を囲む８個の画素ペアのX値とY値との関係を関数で近似する。図４の下部のグラフは、当該９個の画素ペアのX値とY値との関係をプロットした図である。関数は、例えば数１に示す式で表される。数１に示すa値及びb値は、例えば最小二乗法により算出される。

相関関係取得部２１０は、低解像度入力画像２０４と低解像度アルファ画像２０６の全ての画素ペアにおいて、a値及びb値を算出する。ここで、a値及びb値は各画素ペアの座標と関連づけながら算出される。すなわち、a値及びb値は、低解像度入力画像２０４及び低解像度アルファ画像２０６の画素数と同じ数だけ算出される。当該a値及びb値の集合を変換データとする。また、低解像度入力画像２０４及び低解像度アルファ画像２０６と同じ解像度を有する変換データを低解像度変換データとする。

ここで、低解像度入力画像２０４と低解像度アルファ画像２０６の端部及び角部の画素は、周辺に８個の画素が存在しない。端部及び角部の画素ペアについては、周辺の５個または３個の画素ペアを用いてa値及びb値を算出してもよいし、適宜当該画素ペアの近くに位置するより多くの画素ペアを用いてa値及びb値を算出してもよい。

次に、相関関係取得部２１０は、低解像度変換データをアップスケーリングする。アップスケーリングは、定数を線形補間することで行われる。具体的には、例えば、相関関係取得部２１０は、取得した低解像度変換データの解像度を拡大（横方向及び縦方向に定数倍）し、a値及びb値を線形補間することにより、高解像度入力画像２０２と同じ解像度を有する高解像度変換データを取得する。取得された高解像度変換データに含まれるa値及びb値は、階調情報とアルファ値の相関関係である。すなわち、階調情報とアルファ値の相関関係は、階調値と、アルファ値と、の関係を示す関数の定数によって表される。

出力部２１２は、高解像度入力画像２０２と、アップスケーリングされた相関関係とに基づいて、高解像度入力画像２０２と同じ解像度の高解像度アルファ画像を出力する。具体的には、高解像度入力画像２０２の座標(i,j)における緑画素の階調値をX_i,jとし、高解像度アルファ画像の座標(i,j)におけるアルファ値をY_i,jとする。出力部２１２は、高解像度入力画像２０２の各座標のX_i,jに対して、アップスケーリングされた相関関係(すなわち高解像度変換データ)を適用することにより、高解像度アルファ画像を出力する。ここで、出力部２１２は、上記数１を用いて、X_i,jからY_i,jを算出する。

以上のように、本発明によれば、高解像度入力画像２０２を用いて高解像度アルファ画像が取得される。これにより、低解像度アルファ画像２０６を単純に拡大（例えば横方向及び縦方向に定数倍）して高解像度アルファ画像を取得する場合よりも精度の高い高解像度アルファ画像を取得することができる。

以上の機能は、コンピュータである画像処理装置１０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１２で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して画像処理装置１０に供給されてもよい。

階調値とアルファ値との関係は上記数１以外の関数で近似されてもよい。また、相関関係以外に相関係数を用いて高解像度アルファ画像が取得されてもよい。例えば、相関関係取得部２１０は、さらに、階調値とアルファ値との線形関係の程度を表す相関係数を画素ペアごとに取得してもよい。そして、出力部２１２は、相関係数を重み係数として、高解像度入力画像２０２とアップスケーリングされた相関関係とに基づいて算出されたアルファ値と、低解像度アルファ画像２０６をアップスケーリングして算出されたアルファ値と、を重み付き平均してもよい。

具体的には、まず、座標(i,j)の画素ペア及び座標(i,j)の周囲を囲む８個の画素ペアにおいて、階調値とアルファ値の平均、分散及び共分散は、数２から数６で表される。なお、kは、値がi-1,i,i+1である変数であって、lは、値がj-1,j,j+1である変数である。

相関関係取得部２１０は、数７から数１０を用いて、座標(i,j)の画素ペア及び座標(i,j)の周囲を囲む８個の画素ペアに基づいて、変換データを構成する定数a,b及びcと、相関係数dと、を算出する。

上記a,b及びcによれば、X値とY値との関係は以下の関数で表される。

算出されたa,b,c及びdによって構成される低解像度変換データは、上記と同様に線形補間によって高解像度変換データに変換される。

そして、出力部２１２は、相関係数を重み係数として、高解像度入力画像２０２とアップスケーリングされた相関関係（すなわち、高解像度変換データ）とに基づいて算出されたアルファ値（vとする）と、低解像度アルファ画像２０６をアップスケーリングして算出されたアルファ値（wとする）と、を重み付き平均する。具体的には、アルファ値vは、数１２で表される。

なお、Xは、高解像度入力画像２０２の緑画素の階調値である。数１２は、高解像度入力画像２０２の階調値に対して数１１を適用し、さらに、適用後の値が0以下である場合に0に変換そ、1以上の場合に1に変換することを表す。また、アルファ値wは、低解像度アルファ画像２０６の解像度を拡大（横方向及び縦方向に定数倍）し、線形補間することにより取得される。さらに、出力部２１２は、相関係数dを重み係数として、アルファ値vとアルファ値wを重み付き平均する。出力されるアルファ値（Jとする）は、数１３で表される。

数１を用いる場合と比較して、数１１に示すような関数を用いることによって、プログラムに実装する際に、変換データを構成する定数a,b及びcを浮動小数点ではなく固定小数点で定義することができる。具体的には、例えば、数１を用いる場合、a及びbの取り得る値の範囲は、実数値全体（負の無限大から正の無限大）である。一方、数１１を用いる場合はa,b及びcの取り得る範囲は、有限の実数範囲になる。従って、数１１を用いる場合、定数a,b及びcを固定小数点で定義することができる。これにより、画像処理装置１０の使用するメモリを削減できる。また、数１のように直線近似を用いると定数aとbの依存性が強くなるが、数１１に示すような関数を用いることにより、低解像度変換データをアップスケーリングする際に、量子化などの数値計算上の誤差による悪影響を低減できる。

上記において、Y値が緑画素の階調値である場合について説明したが、他の色の画素の階調値を用いてもよいし、全ての色の画素の階調値を用いてもよい。また、座標(i,j)の画素ペア及び座標(i,j)の周囲を囲む８個の画素ペアに基づいて、相関関係及び相関係数を算出する場合について説明したが、これに限られない。例えば、座標(i,j)の画素ペア及び当該画素の上下左右４個の画素ペアを用いてもよいし、縦方向及び横方向に２画素の範囲にある画素ペアを用いてもよい。

続いて、本発明が適用される実施形態の一例について説明する。図５は、本発明が適用される実施形態の一例を示す図である。図６は、本発明が適用される実施形態において行われる画像処理のフローの一例を示す図である。

図５に示す実施形態には、撮影装置５００と、前景領域推定装置５０２と、情報処理装置５０４と、サーバ５０８と、ユーザ端末５１０と、が含まれる。また、情報処理装置５０４と、サーバ５０８と、ユーザ端末５１０と、はネットワーク５０６によって接続される。

撮影装置５００は、ビデオカメラ等の動画像を撮影する装置である。撮影装置５００は、例えばスタジオに配置され、テーブルや壁を背景とし人物を前景として含む動画像を撮影する。図６に示す高解像度入力画像２０２は、当該動画像を構成する１フレーム分の静止画像である。

前景領域推定装置５０２は、背景と前景を含む画像から、前景の領域を示す推定データを生成する。具体的には、図６に示すように、前景領域推定装置５０２は、２個の高解像度入力画像２０２をダウンスケーリングすることで２個の低解像度入力画像２０４を生成する。ここで、２個の高解像度入力画像２０２及び低解像度入力画像２０４は、背景のみを含む入力画像と、当該背景及び前景を含む入力画像である。そして、前景領域推定装置５０２は、２個の低解像度入力画像２０４に基づいて、人物が表された領域を表す低解像度アルファ画像２０６を生成する。

情報処理装置５０４及びサーバ５０８は、例えばパーソナルコンピュータ等の演算装置である。情報処理装置５０４は、通信機能を有し、サーバ５０８やユーザ端末５１０との間でデータ通信を行う。同様に、サーバ５０８は、通信機能を有し、情報処理装置５０４やユーザ端末５１０との間でデータ通信を行う。

ユーザ端末５１０は、例えばパーソナルコンピュータや、ゲーム機である。ユーザ端末５１０は、サーバ５０８や情報処理装置５０４と通信を行い、受信したデータを表示する。また、ユーザ端末５１０で生成されたデータをサーバ５０８や情報処理装置５０４に送信してもよい。

本実施形態では、アップスケーリング装置としての機能は、情報処理装置５０４、サーバ５０８、または、ユーザ端末５１０が有する。情報処理装置５０４がアップスケーリング装置としての機能を有する場合、情報処理装置５０４にアップスケーリングプログラムがインストールされる。図６に示すように、情報処理装置５０４は、前景領域推定装置５０２から、１フレームごとに低解像度入力画像２０４を取得する。また、情報処理装置５０４は、背景及び前景を含む高解像度入力画像２０２と、背景及び前景を含む低解像度入力画像２０４を取得する。情報処理装置５０４は、上記の方法により、高解像度入力画像２０２、低解像度入力画像２０４及び低解像度アルファ画像２０６から高解像度アルファ画像を生成する。さらに、高解像度アルファ画像と、高解像度入力画像２０２と、所与の背景画像と、に基づいて合成画像を生成する。そして、生成した合成画像を、サーバ５０８を介して、または、直接ユーザ端末５１０に配信することにより、ユーザは合成された動画像を閲覧できる。

サーバ５０８がアップスケーリング装置としての機能を有する場合、高解像度アルファ画像の生成はサーバ５０８によって行われる。この場合、サーバ５０８と情報処理装置５０４の間では、高解像度アルファ画像の代わりに低解像度アルファ画像２０６が通信される。従って、通信データの量を削減することができる。

ユーザ端末５１０がアップスケーリング装置としての機能を有する場合、高解像度アルファ画像の生成は通信端末によって行われる。この場合も、サーバ５０８または情報処理装置５０４からユーザ端末５１０に対して、高解像度アルファ画像の代わりに低解像度アルファ画像２０６が送信される。従って、ユーザ端末５１０が行う通信データの量を削減することができる。さらに、この場合、ユーザは独自に作成した合成画像をサーバ５０８にアップロードし、他のユーザと共有することができる。

なお、本発明は上述の実施形態に限定されるものではない。また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

Claims (6)

1. 背景と前景を示す高解像度入力画像と、前記高解像度入力画像を低解像度に変換した低解像度入力画像と、前記低解像度入力画像における前記前景の領域を示す低解像度アルファ画像と、を取得する画像取得部と、
   前記低解像度入力画像の階調情報と、前記低解像度アルファ画像のアルファ値と、の相関関係を表す低解像度変換データを前記低解像度入力画像と前記低解像度アルファ画像の対応する画素ペアごとに取得し、該低解像度変換データを前記高解像度入力画像の解像度にアップスケーリングし、高解像度変換データとして取得する相関関係取得部と、
   前記高解像度入力画像と、前記高解像度変換データとに基づいて、前記高解像度入力画像と同じ解像度の高解像度アルファ画像を出力する出力部と、
   を有することを特徴とするアップスケーリング装置。
2. 前記相関関係は、階調値と、アルファ値と、の関係を示す関数の定数を含み、
   前記アップスケーリングは、前記定数を線形補間することで行われる、
   ことを特徴とする請求項１に記載のアップスケーリング装置。
3. 前記相関関係取得部は、さらに、前記階調値と前記アルファ値との線形関係の程度を表す相関係数を前記画素ペアごとに取得し、
   前記出力部は、前記相関係数を重み係数として、前記高解像度入力画像とアップスケーリングされた前記相関関係とに基づいて算出されたアルファ値と、前記低解像度アルファ画像をアップスケーリングして算出されたアルファ値と、を重み付き平均し、前記高解像度アルファ画像として出力する、
   ことを特徴とする請求項１に記載のアップスケーリング装置。
4. 前記画素ペアの前記関数は、当該画素ペアの周辺の所定数の画素ペアの関係を示す、ことを特徴とする請求項２に記載のアップスケーリング装置。
5. 背景と前景を示す高解像度入力画像と、前記高解像度入力画像を低解像度に変換した低解像度入力画像と、前記低解像度入力画像における前記前景の領域を示す低解像度アルファ画像と、を取得する画像取得ステップと、
   前記低解像度入力画像の階調情報と、前記低解像度アルファ画像のアルファ値と、の相関関係を表す低解像度変換データを前記低解像度入力画像と前記低解像度アルファ画像の対応する画素ペアごとに取得し、該低解像度変換データを前記高解像度入力画像の解像度にアップスケーリングし、高解像度変換データとして取得する相関関係取得ステップと、
   前記高解像度入力画像と、前記高解像度変換データとに基づいて、前記高解像度入力画像と同じ解像度の高解像度アルファ画像を出力する出力ステップと、
   を有することを特徴とするアップスケーリング方法。
6. 背景と前景を示す高解像度入力画像と、前記高解像度入力画像を低解像度に変換した低解像度入力画像と、前記低解像度入力画像における前記前景の領域を示す低解像度アルファ画像と、を取得する画像取得手順と、
   前記低解像度入力画像の階調情報と、前記低解像度アルファ画像のアルファ値と、の相関関係を表す低解像度変換データを前記低解像度入力画像と前記低解像度アルファ画像の対応する画素ペアごとに取得し、該低解像度変換データを前記高解像度入力画像の解像度にアップスケーリングし、高解像度変換データとして取得する相関関係取得手順と、
   前記高解像度入力画像と、前記高解像度変換データとに基づいて、前記高解像度入力画像と同じ解像度の高解像度アルファ画像を出力する出力手順と、
   をコンピュータに実行させることを特徴とするアップスケーリングプログラム。

Images