JP2014116012A

JP2014116012A - 画像間の色転送を行う方法および装置

Info

Publication number: JP2014116012A
Application number: JP2013253305A
Authority: JP
Inventors: Jurgen Stauder; シュタウダーユルゲン; Sheikh Faridul Hasan; シャイフファリーダルハサン; Jolie Emmanuel; ジョリーエマニュエル
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2012-12-07
Filing date: 2013-12-06
Publication date: 2014-06-26
Also published as: EP2741502A1; KR20140074238A; CN103871037A; US20140161347A1; US9208549B2; EP2741503A1

Abstract

【課題】ピクセルデータによって表される少なくとも２つの画像である第１の画像と第２の画像との間の色差を補正するために画像間の色転送を行う方法および代替形態を提供すること。
【解決手段】画像の対応する特徴点に対し、色マップおよび幾何学的マップが計算され、第１の画像の補正に対し、前記幾何学的マップおよび前記色マップを第１の画像に適用することによって第１の画像が補正される結果となり、補正が失敗した領域の検出に対し、補正された第１の画像と第２の画像とを比較することによって、補正が失敗した画像領域を除外して色転送が実行される。これは、オンザフライで実行されることができ、そして形状および色の異なる画像間の色差を均一にするのに適用可能であり、例えば、３Ｄオブジェクトのテクスチャの色の一貫性が改善されるだけでなく、３Ｄアプリケーションのデータ転送、データ圧縮またはビットレートを減らすのに役立つ。
【選択図】図１

Description

本発明は、例えば、形状および色のわずかに異なる画像を提供する２台のカメラの画像などの、画像間の色転送を行う方法および装置に関する。

ステレオまたは３Ｄ再生のビデオ処理において、３Ｄビデオコンテンツと同じシーンの２以上のビュー間の色差は、キャプチャされた２以上の２Ｄビデオから生成されることが多いということが１つの問題となっている。このような色差は、例えば、物理的な照明効果によって生じるか、または例えば、各カメラが独自のレンズ、センサーさらに固有の動作を有するなど、完全に同一ではないカメラによって生じる場合がある。特に、３Ｄ再生の場合では、双方の画像が視聴者に頭痛を引き起こしかねないわずかに異なる色を有する、かく乱効果を招く。

さらに、校正されるステレオ画像の色が、例えば、要求されたビットレートを減らすなど、色差の補正に望ましく、３Ｄ情報または３Ｄ情報を使用した２Ｄ画像を生成または強化してビューの補間または隠れた対象物を検出する、より正確な視差推定を可能にするいくつかの技術的側面もある。

入力画像間の色差を補正するための周知の方法を、２つのグループ：色マッピングと色転送とに分けることができる。通常、２つの画像が処理され、その目的は、一方の画像の色をそれと同じシーンの他方の画像の色に変換できるようにさせる、色変換を記述することである。

Hasan Sheikh Faridul et al., Optimization of Sparse Color Correspondences for Color Mapping, Color and Imaging Conference, November 12-November 16, 2012, Los Angeles Richard J. Radke et al., Efficiently Estimating Projective Transformations, in the Proceedings of the IEEE International Conference on Image Processing, Vancouver, Canada, September 2000 E. Reinhard, M. Ashikhmin, B. Gooch, P. Shirley, Color Transfer between Images, in IEEE Computer Graphics and Applications, special issue on Applied Perception, Vol. 21, No. 5, pp 34-41, September-October 2001

色マッピングにおいて、入力画像間の幾何学的一致−いわゆる特徴量一致−が利用可能であると考えられている。特徴量一致のよく知られた方法は、いわゆるＳＩＦＴ(Scale-Invariant Feature Transform：スケール不変特徴変換)である。この方法は、入力画像のいわゆるＤｏＧ(Difference of Gaussian：ガウス関数の差)に基づく記述子を使用して、対応する特徴点を検出する。幾何学的一致は、例えば、空、人工表面、単色画像など、テクスチャ加工度の低い画像または画像の一部には利用できないことが多い。

色転送において、幾何学的一致は用いられず、画像をテクスチャ加工する必要がない。正確な幾何学的一致は、２つの入力画像が同じ意味論的シーンを示すものではなく、単に意味論的に近似しているという理由で意味がない場合がある。よく知られている色転送アルゴリズムによると、第１および第２の順序の静的画像信号は、参照画像から対応するターゲット画像に転送される。色チャネルを別個に処理できるようにするために、経験による、無相関化された色空間が使用される。

つまり、周知の色マッピングアルゴリズムを適用する場合、画像の一部における画像コンテンツがＳＩＦＴアルゴリズムの選択基準に対応しなければ、この画像部分のどの色も活用されないであろう。例えば、画像のうちのテクスチャ加工度の低い部分がこの場合に当たる。

また、同じ意味論的シーンを示す画像に色転送方法を適用する場合、計算された色変換の精度は、他方の画像のそれぞれにおいて一致がない画像領域の存在により、例えば、そのような領域によって画像統計が影響を受ける問題を抱えるであろう。左の画像の左縁の部分が右の画像では見えないし、逆の場合もある、ステレオ画像がこの事例に当たる。別の例は、カメラの動きが移動式である動画シーンからの画像である。ここで、各画像において、シーンの細かい部分はもはや見えず、そのシーンの別の細かい部分が見えるようになっても、以前にあった部分ではない。

本発明の態様は、少なくとも２つの画像間の色差を補正する色転送を提供することであるが、一方の画像による他方の画像へのクロッピングが存在し、視差効果によって遮蔽または露出される画像領域、または移動対象物または移動カメラによって遮蔽または露出される画像領域がある。

この問題は、独立クレームにおいて開示される方法および装置によって解決される。本発明の有利な付加的実施形態は、それぞれの独立クレームにおいて開示される。

本発明に従って、画像が他の画像において幾何学的一致がない場合にその画像の一部のどの色も活用されないので、画像がＳＩＦＴアルゴリズムの選択基準に対応しないという、色マッピングが抱える問題である矛盾と、２つの入力画像が全く同じ意味論的シーンを示すものではなく、単に意味論的に近似しているだけで、幾何学的一致が利用できないのであれば、幾何学的一致はあまり意味がないという、色転送が抱える問題である矛盾とが解決される。

従って、本発明の態様は、第１の画像と幾何学的に補正された第２の画像との比較による幾何学的補正が失敗した前記第１の画像の領域を検出し、そして補正が失敗した画像領域を除外する間に両方の画像に色転送方法を適用することである。つまり言い換えれば、第２の画像と幾何学的に補正された第１の画像との比較による幾何学的補正が失敗した前記第２の画像の領域を検出し、そして幾何学的補正が失敗した画像領域を除外する過程で両方の画像に色転送方法を適用することを推奨する。

本発明の実施形態に従って、前記少なくとも２つの画像にＳＩＦＴ(Scale Invariant Feature Transformation：スケール不変特徴変換)が利用される。
−対応する特徴点のセットを提供すること。
−前記第１の画像の特徴点の色を前記第２の画像の対応する特徴点の色にマップすることができる色マッピングモデルを計算すること。
−前記第１の画像の特徴点の画像位置を前記第２の画像の対応する特徴点の画像位置にマップすることができる幾何学的マッピングモデルを計算すること。
−前記幾何学的マッピングモデルおよび前記色マッピングモデルを使用して、補正された第１の画像が得られるように第１の画像を補正すること。
−前記第２の画像と前記補正された第１の画像との比較によって補正が失敗した領域を検出すること。
−補正が失敗した画像領域を除外して第１および第２の画像に色転送方法を適用すること。

つまり、一つには、画像が他の画像において幾何学的一致がない場合にその画像の一部のどの色も活用されないという、色マッピングが抱える問題である矛盾と、もう一つには、２つの入力画像が全く同じ意味論的シーンを示すものではなく、単に意味論的に近似しているだけならば、幾何学的一致は意味がないという、色転送が抱える問題である矛盾とは、幾何学的および色転送ステップの適した組み合わせによって解決され、そのステップは、主要な校正パターンを用いずにオンザフライで実行することができる。

その方法は、対応する装置によって実現され、そこで第１および第２の画像を表すデータは、前記第１の画像の色を第２の画像の色にマップする色マッピングモデルを計算することと、前記第１の画像の画像位置を前記第２の画像の対応する特徴点の画像位置にマップする幾何学的マッピングモデルを計算することと、前記幾何学的マッピングおよび前記色マッピングモデルを使用して、補正された画像が得られるように第１の画像を補正することと、前記第２の画像と前記補正された第１の画像との比較によって補正が失敗した領域を検出することと、補正が失敗した画像領域を除いた２つの画像に色転送方法を適用することを行うプロセッサに適用される。

本発明のさらなる実施形態に従って、補正が失敗した領域は、前記第１の画像と補正された第２の画像との比較によって検出される。

本発明の利点は、画像のすべての部分が、クロッピング、露出領域、遮蔽領域および移動対象物に対してロバストでありながら活用されることである。

原理として、本発明は、一連の用途に役に立つ、色差の均一に適している。例えば、ステレオビデオシーケンスが圧縮される時、左の画像と右の画像との間の色差の補正は、結果として生じるビットレートを減らすことができる。別の例は、ステレオシーケンスの３Ｄ分析である。色差が補正される時、視差推定をより正確にすることができる。別の例は、ポストプロダクションにおける視覚効果の３Ｄ資源の生成である。マルチビューシーケンスの色差が補正される時、抽出される３Ｄオブジェクトのテクスチャは、色の一貫性が改善されているだろう。

本発明の例示的実施形態について、添付図面を参照しながら説明する。
少なくとも２つの画像間の色差を補正する色転送の方法および第１の実施形態を示すブロック図である。少なくとも２つの画像間の色差を補正する色転送の方法および第２の実施形態を示すブロック図である。

同種の数字および文字は、図全体を通じて同種の要素を指す。

最初に図１の参照を行う。図１は、ソフトウェアまたはハードウェアとして少なくとも２つの画像間の色差を補正する色転送の第１の実施形態に実行されることができる、モジュール、回路またはデバイスを含むことができる方法を示した、フロー図と同様の基本ブロックをブロック図に概ね示す。

図１は、対応する特徴点Ｃｏｒｒｆｅａｐｏｉが、第１の画像Ｆｉと第２の画像Ｓｉとの間の色転送によって、少なくともそれら２つの画像間の色差を補正するために、第１の画像Ｆｉおよび第２の画像Ｓｉから計算される、第１のステップを示す。これを、例えば、よく知られていて、例えば、Hasan Sheikh Faridul et al., Optimization of Sparse Color Correspondences for Color Mapping, Color and Imaging Conference, November 12-November 16, 2012, Los Angelesによって開示されている、いわゆるＳＩＦＴアルゴリズムを適用することによって実行することができる。第２のステップにおいて、利得、オフセットおよびガンマに基づく色マッピング方法と射影幾何学的マッピングモデルとは、対応する特徴点Ｃｏｒｒｆｅａｐｏｉの前述の計算によって提供される特徴点の一致と並行して適用される。

利得、オフセットおよびガンマに基づく色マッピング方法は、よく知られており、実験的実施形態としていわゆるＧＯＧが使用され、ＨａｓａｎＳｈｅｉｋｈＦａｒｉｄｕｌｅｔａｌ．，によって開示されているように、対応する特徴点から推定される。ＧＯＧは、前述の対応する特徴点Ｃｏｒｒｆｅａｐｏｉの色マップ計算Ｃａｃｍに使用される利得、オフセットおよびガンマの略語を表す。

よく知られた射影幾何学的マッピングモデルは、前述の対応する特徴点Ｃｏｒｒｆｅａｐｏｉの幾何学的マップ計算Ｃａｇｍに選択される。６つのパラメータは、例えば、Richard J. Radke et al., Efficiently Estimating Projective Transformations, in the Proceedings of the IEEE International Conference on Image Processing, Vancouver, Canada, September 2000によって出版されたような、インタラクティブな最適化手順を使用した特長点の一致から推定される。

図１に示した第１の実施形態に従って、第１の画像Ｆｉは、上述のように、色マップ計算Ｃａｃｍによって第１の補正画像ＣｏｍｐＦｉに補正され、その後第１の画像Ｆ１は、射影マッピングモデルを使用して幾何学的にマップされる。第２の画像の各ピクセルに対する、第１の画像の対応する幾何学的位置は、射影マッピングモデルを使用して決定される。対応する幾何学的位置は、通常、第１の画像のピクセルの位置ではなく、そのピクセルの整数位置をはさんだ中間位置である。三線補間を使用して、整数のピクセル位置に関連づける。三線補間は、通常のグリッドに対する多変量補間の方法である。この方法は、ピクセルの整数グリッドの色座標を使用して、３つの整数ピクセルの位置から成るローカルな三角形内の中間位置の色座標を線形近似する。よく知られている三線補間では、中間位置の補間された色座標に対して真っ直ぐな、重心座標が計算される。補正失敗領域Ｒｅｇｃｏｍｐｆａｉｌを検出する以下のステップにおいて、補正が失敗した領域の第１の補正画像ＣｏｍｐＦｉが分析される。このステップは、第２の画像Ｓｉと前記第１の補正画像ＣｏｍｐＦｉとの間のピクセル単位の絶対差を計算し、そして補正の失敗を有するピクセルを検出するために所定の閾値をその絶対差に適用することによって実行される。さらに、形態的伸張演算子および圧縮演算子は、それぞれ、補正が失敗した平滑な形状の画像領域を取得するために適用される。最後に、例えば、E. Reinhard, M. Ashikhmin, B. Gooch, P. Shirley, Color Transfer between Images, in IEEE Computer Graphics and Applications, special issue on Applied Perception, Vol. 21, No. 5, pp 34-41, September-October 2001によって開示されているような色転送方法は、補正が失敗した画像領域を色転送の計算から除外する間に使用される。

従って、第１の画像Ｆｉのピクセルデータ、第２の画像Ｓｉのピクセルデータおよび前述の補正失敗領域Ｒｅｇｃｏｍｐｆａｉｌを検出した結果は、例えば、上述のように、色転送モデルＣｔｍを提供する色転送方法を適用することによって、色転送Ｃｏｌｔｒａｎｓブロックに統合される。画像を表すその画像のピクセルデータは、一般に、対応する特徴点Ｃｏｒｒｆｅａｐｏｉを計算し、そして色転送方法を適用するために使用することができるように、画像ファイルとして提供される。

本発明の第２の実施形態を図２に示し、そこで方法の固有の原理は、補正失敗領域Ｒｅｇｃｏｍｐｆａｉｌを検出するための第２の補正画像ＣｏｍｐＳＩを生成することによって実現される。第２の補正画像ＣｏｍｐＳＩは、第１の画像Ｆｉと第２の画像Ｓｉのピクセルデータから対応する特徴点Ｃｏｒｒｆｅａｐｏｉを計算する計算手段と、前記対応する特徴点Ｃｏｒｒｆｅａｐｏｉの色マップ計算Ｃａｃｍおよび幾何学的マップ計算Ｃａｇｍの計算手段とによって生成され、第２の補正画像ＣｏｍｐＳＩを提供する手段は、第２の補正画像ＣｏｍｐＳＩのデータを提供するために第２の画像Ｓｉのピクセルデータと組合される。第２の補正画像ＣｏｍｐＳＩのデータは、補正失敗領域Ｒｅｇｃｏｍｐｆａｉｌを検出する計算手段に適用され、従って、第１の画像Ｆｉのピクセルデータもその計算手段に適用される。

最後に、色転送Ｃｏｌｔｒａｎｓブロックは、例えば、形状および色のわずかに異なる画像を提供する２台のカメラの画像などの、第１の画像Ｆｉのピクセルデータと第２の画像Ｓｉのピクセルデータとの間の色転送を行うために補正失敗領域Ｒｅｇｃｏｍｐｆａｉｌを検出する手段の出力に接続される。色転送モデルＣｔｍは、その後、補正失敗領域を考慮に入れながら色転送方法を第１の画像Ｆｉおよび第２の画像Ｓｉに適用する色転送Ｃｏｌｔｒａｎｓブロックの出力において提供される。

３以上の画像−即ち、ｎ組(tuple)の画像−間の色転送の場合では、第１のｎ−１画像は、上述のように、ｎ−１色マップの計算によってｎ−１補正画像に補正され、その後、第１のｎ−１画像は、ｎ−１射影マッピングモデルを使用して幾何学的にマップされることが実行されるものとする。

最後の画像のそれぞれの各ピクセルに対し、上述のように、射影マッピングモデルおよび三線補間を使用して、第１のｎ−１画像の対応する幾何学的位置が決定される。補正失敗領域を検出する以下のステップにおいて、補正される第１のｎ−１画像は、上述したような、補正が失敗した領域に対して分析される。最後に、ｎ−１色転送方法を使用して、第１のｎ−１画像のそれぞれの色から最後の画像のそれぞれの色に上述したような色転送を行う。

いくつかの第１の画像およびいくつかの第２の画像の場合、方法は、以下のやり方において実行されるものとする。最初に、いくつかの第１の画像を統合し−例えば、それらをまとめてパッチを当てることによって−新しい、より大きい第１の画像にする。２番目に、いくつかの第２の画像を統合し−例えば、それらをまとめてパッチを当てることによって−新しい、より大きい第２の画像にする。その後、発明した方法を新しい第１の画像および新しい第２の画像に適用する。

有利なことに、推奨される色転送に従って、方法がクロッピング、露出領域、遮蔽領域および移動対象物に対してロバストであるように、画像のすべての部分が活用される。さらに、色校正を、主要な校正パターンを用いずに実行することができ、そしてオンザフライで実行することができる。

図１および図２に示すように、それらの図のブロックは、ソフトウェアまたはハードウェアとして実行されることができる、モジュール、回路またはデバイスを含むことができる。本発明のさらなる実施形態に従って、上述した方法のうちの１つを実行する画像プロセッサが提供される。

本発明は、形状および色の異なる画像間の色差を均一にするのに適用可能であり、例えば、３Ｄオブジェクトのテクスチャの色の一貫性が改善されるだけでなく、３Ｄアプリケーションのデータ転送またはデータ圧縮または正確な視差推定の結果として生じるビットレートを減らすのに役立つ。

本発明は、２つの特有の実施形態に対して図示および説明されているが、特許請求の範囲の精神および範囲を逸脱することなく、発明の形態および詳細において前述および他の種々の変更、省略および追加が行われてよいことを当業者は理解されたい。

Claims

ピクセルデータによって表される少なくとも２つの画像間の色差を補正するために画像間の色転送を行う方法であって、
−前記少なくとも２つの画像から対応する特徴点を生成するステップと、
−前記少なくとも２つの画像のうちの第１の画像の特徴点の色を第２の画像の対応する特徴点の色にマップすることができる色マップを計算するステップと、
−前記第１の画像の特徴点の画像位置を前記第２の画像の対応する特徴点の画像位置にマップすることができる幾何学的マップを計算するステップと、
−前記幾何学的マップ計算および前記色マップ計算を使用して、補正された第１の画像が得られるように前記第１の画像を補正するか、または前記幾何学的マップ計算および前記色マップ計算を使用して、補正された第２の画像を得られるように前記第２の画像を補正するステップと、
−前記第２の画像と前記補正された第１の画像とを比較することによって補正が失敗した領域を検出するか、または前記第１の画像と前記補正された第２の画像とを比較することによって補正が失敗した領域を検出するステップと、
−補正が失敗した領域を除外して色転送方法を第１の画像および第２の画像に適用するステップと
を備える、前記方法。
画像の対応する特徴点は、少なくとも前記第１の画像および前記第２の画像である入力画像のＤｉｆｆｅｒｅｎｃｅｏｆＧａｕｓｓｉａｎに基づくＳｃａｌｅ−ＩｎｖａｒｉａｎｔＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍａｔｉｏｎによって生成される、請求項１に記載の前記方法。
色マップ計算は、利得、オフセットおよびガンマに基づく色マッピング方法を対応する特徴点に適用することによって計算される、請求項１に記載の前記方法。
幾何学的マップ計算は、射影幾何学的マッピングモデルのインタラクティブな最適化手順によって計算される、請求項１に記載の前記方法。
前記第１の画像は、色マップ計算によって補正された第１の画像に補正され、その後前記第１の画像は、射影マッピングモデルを使用して幾何学的にマップされる、請求項１に記載の前記方法。
前記第２の画像は、色マップ計算によって補正された第２の画像に補正され、その後前記第２の画像は、射影マッピングモデルを使用して幾何学的にマップされる、請求項１に記載の前記方法。
補正失敗領域の検出は、前記第２の画像と前記補正された第１の画像との間のピクセル単位の絶対差を計算することによってか、または前記第１の画像と前記補正された第２の画像との間のピクセル単位の絶対差を計算することによって実行され、そして補正の失敗を有するピクセルを検出するために、前記絶対差に所定の閾値を適用することによって実行される、請求項１に記載の前記方法。
補正が失敗した画像領域を除外して、色転送モデルを提供する色転送方法が、前記第１の画像および前記第２の画像に適用される、請求項１に記載の前記方法。
ピクセルデータによって表される少なくとも２つの画像間の色差を補正するために画像間の色転送を行う装置であって、画像プロセッサは、請求項１乃至８のいずれかに係る方法のうちの１つを実行するために提供される、前記装置。
ピクセルデータから色マップ計算を行って、前記少なくとも２つの画像のうちの第１の画像の色を第２の画像の色にマップすることと、幾何学的マップ計算を行って、前記第１の画像の画像位置を前記第２の画像の対応する特徴点の画像位置にマップして、補正される画像のピクセルデータを提供することと、前記第２の画像と前記補正された第１の画像との間または前記第１の画像と前記補正された第２の画像との間のピクセル単位の絶対差を計算し、そして補正が失敗したピクセル領域を前記画像間の色転送から除外するために、所定の閾値を前記絶対差に適用することを行う計算機を備える、請求項９に記載の前記装置。