JP5960513B2 - 映像処理装置及び方法 - Google Patents

Description

本発明の技術分野は、パノラマ映像のトーンを補正する装置及び方法に関する。より具体的には、パノラマ映像を生成するために複数の映像を混合する前にトーン補正を行う装置及び方法に関する。

被写体を様々な位置または様々な角度で撮影した複数の映像を混合してパノラマ映像を生成することができる。複数の映像間にトーン（ｔｏｎｅ）補正が先に行われていない状態で混合されれば、複数の映像が繋がれる継ぎ目でアーチファクト（ａｒｔｉｆａｃｔ）が発生し、ユーザが違和感を感じることがある。複数の映像それぞれは相異なる露出値、相異なるグラデーション（ｇｒａｄａｔｉｏｎ）及び相異なるレンズシェーディング（ｌｅｎｓ ｓｈａｄｉｎｇ）の条件で撮影されるためである。したがって、複数の映像を混合する前に複数の映像間にトーン補正を行う必要がある。

本発明の目的は、ゴースト現象を考慮することで複数の映像間に対応するピクセルの不整合情報を反映することで、より正確なトーン補正値を算出する方法を提供する。

また本発明の目的は、入力される左映像と右映像の全てのトーンを補正することで、左映像と右映像の中間レベルのトーンを均一に維持する方法を提供する。

また、本発明の目的は、グローバルトーン補正及びローカルトーン補正の全てを考慮するが、コストマップからゴーストマップを獲得することで、より正確なトーン補正値を算出しつつ、より速い速度で算出値を獲得する方法を提供する。

一実施形態において、映像処理装置は、入力された左映像と右映像が重複する領域で、コストマップと最適閾値に基づいてゴースト情報を獲得するゴースト情報獲得部と、前記ゴースト情報を考慮して生成されたグローバルトーン補正関数及び最適継ぎ目のローカル情報を反映して生成されたローカルトーン補正レベルに基づいてトーン補正マップを生成するトーン補正マップ生成部と、前記トーン補正マップに前記左映像を考慮した加重値及び前記右映像を考慮した加重値を適用して生成された最終トーン補正マップに基づいて前記左映像及び前記右映像を補正する両方向補正部とを備える。

前記コストマップは、前記左映像と前記右映像との間の類似度が反映されて前記左映像と前記右映像が重複する領域で生成されてもよい。

前記左映像及び前記右映像は、固定された被写体または動いている被写体が複数の撮影位置で撮影された映像であってもよい。

前記左映像と前記右映像との間の類似度は、前記左映像と前記右映像が重複する領域で、それぞれ対応するピクセル間のカラー、勾配の類似度が考慮されたものであってもよい。

前記ゴースト情報獲得部は、前記コストマップで前記類似度の最も大きい経路を前記左映像と前記右映像の最適継ぎ目として推定する最適継ぎ目推定部と、前記コストマップを最適閾値推定方式に基づいて推定された前記最適閾値を基準にして２進化してゴーストマップを生成する２進化部とを備えてもよい。

前記トーン補正マップ生成部は、前記ゴースト情報を考慮して前記重複される領域でゴーストピクセルではないピクセルに対応する前記左映像のピクセルと前記右映像のピクセルのトーン差が反映されたグローバルトーン補正関数を算出するグローバル算出部を備えてもよい。

前記トーン補正マップ生成部は、平坦化フィルタを通じて前記算出されたグローバルトーン補正関数の値を平坦化する平坦化部を備えてもよい。

前記トーン補正マップ生成部は、前記最適継ぎ目のピクセルを中心にする所定の大きさのウィンドウ内で、ゴーストピクセルではないピクセルのトーン差の平均を算出して前記最適継ぎ目のローカル情報を生成するローカル算出部を備えてもよい。

前記トーン補正マップ生成部は、前記最適継ぎ目に含まれたピクセルのローカル情報とグローバルトーン補正関数の値を比較してローカルトーン補正レベルを算出する補正レベル算出部を備えてもよい。

前記両方向補正部は、前記左映像と前記重複する領域間の距離に応じて変化する加重値、及び前記右映像と前記重複する領域間の距離に応じて変化する加重値を前記トーン補正マップに適用する加重値適用部を備えてもよい。

一実施形態によると、映像処理方法は、入力された左映像と右映像が重複する領域で、コストマップと最適閾値に基づいてゴースト情報を獲得するステップと、前記ゴースト情報を考慮して生成されたグローバルトーン補正関数及び最適継ぎ目のローカル情報を反映して生成されたローカルトーン補正レベルに基づいてトーン補正マップを生成するステップと、前記トーン補正マップに前記左映像を考慮した加重値及び前記右映像を考慮した加重値を適用して生成された最終トーン補正マップに基づいて前記左映像及び前記右映像を補正するステップとを含む
。

前記コストマップは、前記左映像と前記右映像との間の類似度が反映されて前記左映像と前記右映像が重複する領域で生成されてもよい。

前記ゴースト情報を獲得するステップは、前記コストマップで前記類似度の最も大きい経路を前記左映像と前記右映像の最適継ぎ目として推定するステップと、前記コストマップを最適閾値推定方式に基づいて推定された前記最適閾値を基準にして２進化してゴーストマップを生成するステップとを含んでもよい。

前記トーン補正マップを生成するステップは、前記ゴースト情報を考慮して前記重複する領域でゴーストピクセルではないピクセルに対応する前記左映像のピクセルと前記右映像のピクセルのトーン差が反映されたグローバルトーン補正関数を算出するステップを含んでもよい。

前記トーン補正マップを生成するステップは、前記最適継ぎ目のピクセルを中心にする所定の大きさのウィンドウ内で、ゴーストピクセルではないピクセルのトーン差の平均を算出して前記最適継ぎ目のローカル情報を生成するステップを含んでもよい。

前記トーン補正マップを生成するステップは、前記最適継ぎ目に含まれたピクセルのローカル情報とグローバルトーン補正関数の値を比較してローカルトーン補正レベルを算出するステップを含んでもよい。

前記補正するステップは、前記左映像と前記重複する領域間の距離に応じて変化する加重値、及び前記右映像と前記重複する領域間の距離に応じて変化する加重値を前記トーン補正マップに適用するステップを含んでもよい。

本発明によると、ゴースト現象を考慮することで複数の映像間に対応するピクセルの不整合情報を反映することができ、より正確なトーン補正値を算出することができる。

また、本発明によると、入力される左映像と右映像の全てのトーンを補正することで、左映像と右映像の中間レベルのトーンを均一に維持することができる。

また、本発明によると、トーン補正のために混合範囲を拡張する必要がないため、混合によって発生する残像現象を減らすことができる。

また、本発明によると、グローバルトーン補正及びローカルトーン補正の全てを考慮するが、コストマップからゴーストマップを獲得することで、てより正確なトーン補正値を算出しつつ、より速い速度で算出値を獲得することができる。

パノラマ映像の一例を示す図である。 移動する被写体がある場合に発生する問題を示す図である。 入力映像が重複する領域で同じ位置上のピクセルを表す図である。 一実施形態に係る映像処理装置のブロック図である。 一実施形態に係るゴーストマップを生成する過程を示す図である。 一実施形態に係るグローバルトーン補正関数を生成する過程を示す図である。 一実施形態に係る最適継ぎ目のローカル情報を生成する過程を示す図である。 一実施形態に係るトーン補正マップを示す図である。 一実施形態に係る入力左右映像の両方向補正を示す図である。 一実施形態に係る映像処理方法のフローチャートである。 一実施形態に係るトーン補正されたパノラマ映像を示す図である。

以下、一実施形態に係る実施形態を添付の図面を参照して詳細に説明する。

図１は、パノラマ映像の一例を示す図である。（ａ）は２つの映像をトーン補正することなく整合したパノラマ映像を示し、（ｂ）は２つの映像をトーン補正することなく継ぎ目（ｏｐｔｉｍａｌ ｓｅａｍ）を推定して整合するパノラマ映像を示す。

２つの映像のうち、同一の被写体を撮影して重複する部分は同一の被写体を表すことにもかかわらず、各映像ごとに露出値やグラデーションの程度が異なる。したがって、各映像をトーン補正することなく混合する場合、（ａ）、（ｂ）のように映像の中間に不自然な線が発生することになる。

図２は、移動する被写体がある場合に発生する問題を示す図である。目標映像と対象映像とを混合してパノラマ映像を生成する。このとき、目標映像のボックスの部分と対象映像のボックスの部分は重複する部分である。対象映像のボックスの部分のトーンを目標映像のボックスの部分を参考して補正することが一般的なトーン補正方式である。

ところが、図２を参照すれば、対象映像のボックスの部分には目標映像のボックスの部分では見られていない動いている被写体が存在する。したがって、対象映像のボックスの部分と目標映像のボックスの部分には同じ位置を撮影した映像であるが、異なる内容物を含んでいる。したがって、対象映像のボックスの部分に含まれた動いている被写体は目標映像において存在しないためトーン補正を行うことができない。また、動いている被写体が撮影された部分を除いて目標映像を参照しトーン補正を行う必要がある。

一般的なトーン補正方式として、第１に、ヒストグラムマッチングを通じて対象映像の目標映像に対するルックアップテーブル（Ｌｏｏｋ−ｕｐ ｔａｂｌｅ）を生成し、ルックアップテーブルに基づいて対象映像のトーンを補正する方式がある。第２に、対象映像と目標映像との間に重なる領域でヒストグラムマッチングを通じて対象映像の重なる領域を補正し、対象映像で補正された対象映像に色変換行列を推定し、推定された色変換行列を用いて対象映像のトーンを補正する方式がある。第３に、対象映像と目標映像の継ぎ目の部分のトーン差及び補正するピクセルとの距離を用いた加重値を算出して対象映像のトーンを補正する方式がある。

図３は、入力映像が重複する領域で同じ位置上のピクセルを表す図である。動いている物体が発生して同じ位置に他の内容物が存在する場合と同様に、図３に示す入力映像３１０と入力映像３２０の重なる領域で映像整合が円滑に行なわれた場合であっても物体の境界部分において１〜２ピクセルの整合誤差が発生し得ることから、正確ではないトーン補正が行われる恐れがある。

また、一般的なトーン補正方式は、１つの目標映像に対して対象映像のトーンを補正することによって、パノラマを繋ぎ合わせるほど次第に暗くなったり明るくなる問題が発生する。

図４は、一実施形態に係る映像処理装置のブロック図である。図４を参照すれば、映像処理装置は、ゴースト情報獲得部４１０、トーン補正マップ生成部４２０、及び両方向補正部４３０を備える。

ゴースト情報獲得部４１０は、入力された左映像と右映像が重複する領域においてコストマップ（ｃｏｓｔ ｍａｐ）を生成する。コストマップには左映像と右映像との間の類似度が反映される。パノラマ映像を生成するために左映像と右映像を自然に繋ぎ合わせる方法のうち最適継ぎ目推定方法を用いることができる。最適継ぎ目推定方法は、左映像と右映像が重複する領域で、左映像と右映像の対応するピクセル間のカラー、勾配（ｇｒａｄｉｅｎｔ）、露出などの類似程度を考慮して、最も類似のピクセルを連結して最適継ぎ目を推定する方法である。ゴースト情報獲得部４１０は、最適閾値（ｏｐｔｉｍａｌ ｔｈｒｅｓｈｏｌｄ ｖａｌｕｅ）に基づいてゴースト情報を獲得する。ゴースト情報は、左映像と右映像との間の類似度が小さい値を有する領域の情報を意味する。類似度は各映像のカラー、彩度、明度、トーンなど映像の特徴を表す様々な要素を考慮して決定され得る。

左映像及び右映像は、固定された被写体または動いている被写体が複数の撮影位置で撮影された映像である。左映像及び右映像を繋ぎ合わせることでパノラマ映像を生成することができる。

ゴースト情報獲得部４１０は、最適継ぎ目推定部４１１及び２進化部４１３を備えてもよい。最適継ぎ目推定部４１１は、コストマップで類似度の最も大きい経路を左映像と右映像の最適継ぎ目として推定する。２進化部４１３はコストマップを、最適閾値推定方式に基づいて推定された最適閾値を基準にして２進化する。コストマップを２進化することはコストマップをグレースケール（ｇｒａｙｓｃａｌｅ）に変換することを意味する。２進化部４１３は、コストマップの各ピクセルの類似度を最適閾値と比較して２進化することで、ゴーストマップ（ｇｈｏｓｔ ｍａｐ）を生成する。例えば、２進化部４１３は、コストマップの各ピクセルの類似度が最適閾値よりも大きい場合は１、小さい場合は０に２進化してもよい。このとき、ゴーストマップで１に２進化された部分は明るい色、０に２進化された部分は暗い色に表示してもよい。

２進化部４１３は２進化を通じてゴーストマップを生成することによって、複雑な演算過程を行うことなく早くゴーストマップを生成することができる。

ゴーストマップにはトーン補正のとき考慮する必要のあるピクセルに対する情報及びトーン補正のとき考慮する必要のないゴースト情報を含んでいる。例えば、１に２進化された部分はトーン補正のとき考慮する必要のあるピクセルを表し、０に２進化された部分はトーン補正のとき考慮する必要のないゴーストの部分を表す。

トーン補正マップ生成部４２０は、左映像と右映像との間に重複する領域でゴースト情報を考慮してグローバルトーン補正関数を生成する。グローバルトーン補正関数は重複する領域でゴーストピクセルではない全てのピクセルの情報を反映する。例えば、横に撮影した複数の映像を用いて横方向にパノラマ映像を生成する場合に横方向のトーン差は問題になるが、縦方向のトーン差は大きい問題にならない。すなわち、縦方向のトーン差は特に大きくない。したがって、横方向にパノラマ映像を生成する場合、トーン補正マップ生成部４２０は左映像と右映像との間に重複する領域で垂直方向に、ゴーストピクセルではない部分のトーン差を累積平均してグローバルトーン補正関数を生成してもよい。

グローバルトーン補正関数は重複する領域の全てで左映像と右映像との間のトーン差を反映する。

また、トーン補正マップ生成部４２０は最適継ぎ目のローカル情報を生成してもよい。最適継ぎ目を構成するピクセルを中心にする所定の大きさのウィンドウ内でゴーストピクセルではないピクセルのトーン差の平均を算出してローカル情報を生成してもよい。ローカル情報は、最適継ぎ目を構成するピクセルのトーン差に対する情報を意味する。ここで、トーン差は、最適継ぎ目を構成するピクセルに対応する左映像のピクセルと右映像のピクセルとの間のトーン差を意味する。

トーン補正マップ生成部４２０は、グローバルトーン補正関数及びローカルトーン補正レベルに基づいてトーン補正マップを生成する。ローカルトーン補正レベルは、所定ピクセルのグローバルトーン補正関数のトーン差とローカル情報を比較して決定されてもよい。

トーン補正マップ生成部４２０は、グローバル算出部４２１、平坦化部４２３、ローカル算出部４２５、及び補正レベル算出部４２７を備えてもよい。

グローバル算出部４２１はゴースト情報を考慮し、左映像と右映像との間に重複する領域でゴーストピクセルではないピクセルに対応する左映像のピクセルと右映像のピクセルのトーン差が反映されたグローバルトーン補正関数を算出する。グローバルトーン補正関数の算出を通じて重複する領域のコストピクセルではない各ピクセルからトーン差に対する情報を獲得できる。

平坦化部４２３は、平坦化フィルタを通じてグローバル算出部４２１で算出されたグローバルトーン補正関数の値を平坦化する。算出されたグローバルトーン補正関数の値には演算過程においてノイズが含まれることがある。平坦化部４２３は平坦化フィルタを通じて前記ノイズを除去する。

ローカル算出部４２５は、最適継ぎ目のピクセルを中心にする所定の大きさのウィンドウ内で、ゴーストピクセルではないピクセルのトーン差の平均を算出して最適継ぎ目のローカル情報を生成する。例えば、ローカル算出部４２５は、最適継ぎ目を構成する各ピクセルにＮ×Ｎ大きさのウィンドウを使用し、Ｎ×Ｎ大きさのウィンドウ内でゴーストピクセルではないピクセルのトーン差の平均を算出することで各ピクセルのローカル情報を獲得する。

補正レベル算出部４２７は、最適継ぎ目に含まれたピクセルのローカル情報とグローバルトーン補正関数の値を比較してローカルトーン補正レベルを算出する。グローバルトーン補正関数は、左映像と右映像との間に重複する領域全体に対してトーン差に対する情報を反映したものである。ローカル情報は、最適継ぎ目に含まれたピクセルが周辺ピクセルと類似のトーン差を有するように、最適継ぎ目に含まれたピクセルのトーン差に対する情報を反映したものである。例えば、補正レベル算出部４２７は、ローカル情報からグローバルトーン補正関数の値を差し引いてローカルトーン補正レベルを算出してもよい。

トーン補正マップ生成部４２０は、グローバルトーン補正関数をローカルトーン補正レベルだけ調整してトーン補正マップを生成する。

両方向補正部４３０は、トーン補正マップに左映像を考慮した加重値及び右映像を考慮する加重値を適用して生成された最終トーン補正マップに基づいて左映像及び右映像を補正する。トーン補正マップは、左映像及び右映像に反映されてもよい。トーン補正マップは、左映像と右映像との間に重複する領域に対するトーン差の情報を表す。このとき、左映像に反映されるトーン補正マップは、左映像から自然にトーンが形成されるように左映像と重複する領域間の距離に応じて加重値を適用する。また、右映像に反映されるトーン補正マップは、右映像から自然にトーンが形成されるように右映像と重複する領域間の距離に応じて加重値を適用する。

両方向補正部４３０は加重値適用部４３１を備えてもよい。加重値適用部４３１は、左映像と前記重複する領域間の距離に応じて変化する加重値をトーン補正マップに適用する。また、加重値適用部４３１は、右映像と前記重複する領域間の距離に応じて変化する加重値をトーン補正マップに適用する。

また、両方向補正部４３０は、最終トーン補正マップに基づいて左映像及び右映像のトーンを補正する。映像処理装置は補正された左映像及び右映像を混合してパノラマ映像を生成してもよい。

両方向補正部４３０は左映像及び右映像のトーンをそれぞれ補正することによって、一般的に対象映像のトーンを目的映像のトーンに応じて補正する方式よりもパノラマ映像の全体的に均一なトーンを維持させることができる。

図５は、一実施形態に係るゴーストマップを生成する過程を示す図である。映像処理装置は、左映像Ｉ_１と右映像Ｉ_２の入力を受けて重複領域に対してコストマップ（Ｃｏｓｔ Ｍａｐ）ＣＭ_１２を生成する。コストマップＣＭ_１２は、重複領域で左映像と右映像との間の類似度を反映して生成される。例えば、コストマップＣＭ_１２で明るい色に表現された部分は左映像と右映像との間に類似度が低い部分を意味し、暗い色に表現された部分は左映像と右映像との間に類似度が高い部分を意味する。

映像処理装置はコストマップＣＭ_１２を最適閾値に基づいて２進化してゴーストマップ（Ｇｈｏｓｔ Ｍａｐ）ＧＭ_１２を生成する。最適閾値は最適閾値推定方式によって決定されてもよく、最適閾値推定方式は映像処理分野において広く用いられる技術であるため具体的な説明は省略する。

ゴーストマップＧＭ_１２にはゴースト情報を含んでいる。ゴースト情報は、映像のトーンを補正するとき考慮する必要のない情報を意味する。映像処理装置は、コストマップＣＭ_１２から２進化を通じてゴーストマップＧＭ_１２を容易に生成することができる。ゴーストマップＧＭ_１２で明るい領域５１０は左映像と右映像の重複領域でトーンを補正するとき考慮する必要のある領域であり、暗い領域５２０は左映像と右映像の重複領域でトーンを補正するとき考慮する必要のないゴースト領域である。

図６は、一実施形態に係るグローバルトーン補正関数を生成する過程を示す図である。図６に示すように、左映像と右映像を用いて横方向にパノラマ映像を生成する場合、左映像と右映像の重複する領域で生成されるゴーストマップを表す。横方向にパノラマ映像を生成する場合、重複する領域で縦方向のトーン差は相対的に変化が少ない。したがって、横方向のトーン差に対してグローバルトーン補正関数を生成するだけでも重複領域のトーン差の変化を十分に表すことができる。

映像処理装置は、ゴーストマップで矢印の方向のように垂直方向にゴーストピクセルを除いたピクセルのトーン差の累積平均を算出して水平方向にグローバルトーン補正関数を生成する。このとき、トーン差は左映像と右映像に対応するピクセルの間のトーン差を意味する。

映像処理装置は、累積平均した値を用いて水平方向にグローバルトーン補正関数ｆ’_ｇ（ｘ）を生成する。また、映像処理装置はｆ’_ｇ（ｘ）に平坦化のフィルタリングを行って、ｆ’
_ｇ（ｘ）に含まれたノイズを除去することができる。ｆ’_ｇ（ｘ）に平坦化フィルタリングが行われた結果、ｆ_ｇ（ｘ）が生成される。ｆ’_ｇ（ｘ）及びｆ_ｇ（ｘ）は次のような数式に表すことができる。

ここで、Ｉ_１（ｘ、ｙ）は左映像のピクセルのトーンを意味し、Ｉ_２（ｘ、ｙ）は右映像のピクセルのトーンを意味し、ＧＭ_１２（ｘ、ｙ）はゴーストマップのピクセルがゴーストピクセルであるかを意味する。ゴーストピクセルである場合、ＧＭ_１２（ｘ、ｙ）は０であってもよい。Ｈはゴーストマップで垂直方向に累積平均時ゴーストピクセルを除いたピクセルの和を意味する。ｈはゴーストマップの縦方向ピクセル数を意味する。ｎは平坦化フィルタの大きさである。

図６に示すグラフ６１０はゴーストマップの情報を基盤にして水平方向へのグローバルトーン補正関数を算出した結果を表し、グラフ６２０は平坦化されたグローバルトーン補正関数の算出した結果を表す。

図７は、一実施形態に係る最適継ぎ目のローカル情報を生成する過程を示す図である。図７に示すコストマップで黒い実線は、左映像と右映像との間を繋ぎ合わせるとき発生する最適継ぎ目を表す。映像処理装置は、最適継ぎ目を構成するピクセルを中心にする所定の大きさのウィンドウ内で、ゴーストピクセルではないピクセルのトーン差の平均を算出してローカル情報を獲得する。ローカル情報は、最適継ぎ目を構成しているピクセルのトーンを周辺のピクセルに類似するよう補正するために求められる情報を意味する。映像処理装置は、ゴーストピクセルに対する情報をゴーストマップから獲得する。ローカル情報ＴＤ（ｘ、ｙ）は次の数式のように表すことができる。

ここで、Ｗは所定の大きさのウィンドウ内でゴーストピクセルではないピクセルの数を意味し、Ｉ_１（ｘ＋ｊ、ｙ＋ｉ）はウィンドウ内で左映像のピクセルのトーンを意味し、Ｉ_２（ｘ＋ｊ、ｙ＋ｉ）はウィンドウ内で右映像のピクセルのトーンを意味し、ＧＭ_１２（ｘ＋ｊ、ｙ＋ｉ）はウィンドウ内でゴーストマップのピクセルがゴーストピクセルであるかを意味する。

図８は、一実施形態に係るトーン補正マップを示す図である。図８を参照すれば、映像処理装置はグローバルトーン補正関数ｆ_ｇ（ｘ）をローカルトーン補正レベルだけ補償してトーン補正マップＴＭ（ｘ、ｙ）を生成する。このとき、ローカルトーン補正レベルＴＣ（ｙ）は、ローカル情報ＴＤ（ｘ、ｙ）からグローバルトーン補正関数ｆ_ｇ（ｘ）を減算して算出される。ローカルトーン補正レベルＴＣ（ｙ）は次のように表すことができる。

また、トーン補正マップＴＭ（ｘ、ｙ）はグローバルトーン補正関数ｆ_ｇ（ｘ）にローカルトーン補正レベルＴＣ（ｙ）を合算して算出される。トーン補正マップＴＭ（ｘ、ｙ）は次のように表すことができる。

グラフ８１０はグローバルトーン補正関数ｆ_ｇ（ｘ）の算出された結果を表し、グラフ８２０はトーン補正マップＴＭ（ｘ、ｙ）の算出された結果を表す。

図９は、一実施形態に係る入力左右映像の両方向補正を示す図である。図９を参照すれば、左映像９１０と右映像９２０との間に重複する領域９３０においてトーン補正マップＴＭ（ｘ、ｙ）が決定されれば、左映像９１０から重複する領域９３０にトーン補正が自然に行われるように加重値を適用してもよい。また、右映像９２０から重複する領域９３０にトーン補正が自然に行われるように加重値を適用してもよい。重複される領域９３０には最適継ぎ目９４０も存在する。

加重値ｗ_１（ｘ）は左映像９１０と重複する領域９３０が繋がれる部分９３１を基準にして決定されてもよい。加重値ｗ_１（ｘ）は方向９５０に、重複される領域９３０の幅に比例して決定されてもよい。加重値ｗ_１（ｘ）は次のように表すことができる。

加重値ｗ_２（ｘ）は右映像９２０と重複する領域９３０が繋がれる部分９３３を基準にして決定されてもよい。加重値ｗ_２（ｘ）は方向９６０に、重複される領域９３０の幅に比例して決定されてもよい。加重値ｗ_１（ｘ）は次のように表すことができる。

映像処理装置は、左映像９１０のトーン補正のために用いられる最終トーン補正マップＴＭ_１（ｘ、ｙ））をトーン補正マップＴＭ（ｘ、ｙ）に加重値ｗ_１（ｘ）を適用して生成する。また、映像処理装置は、右映像９２０のトーン補正のために用いられる最終トーン補正マップＴＭ_２（ｘ、ｙ）をトーン補正マップＴＭ（ｘ、ｙ）に加重値ｗ_２（ｘ）を適用して生成する。最終トーン補正マップＴＭ_１（ｘ、ｙ）及び最終トーン補正マップＴＭ_２（ｘ、ｙ）は次のように表すことができる。

映像処理装置は、左映像９１０で最終トーン補正マップＴＭ_１（ｘ、ｙ）を減算または合算することで、最終的にトーンの補正された左映像を獲得する。また、映像処理装置は、右映像９２０で最終トーン補正マップＴＭ_２（ｘ、ｙ）を減算または合算することで、最終的にトーンの補正された右映像を獲得する。例えば、最終的にトーンが補正された左映像Ｉ’_１（ｘ、ｙ）及び最終的にトーンが補正された右映像Ｉ’_２（ｘ、ｙ）は次のように表すことができる。

映像処理装置は、最終的にトーンの補正された左映像及び最終的にトーンの補正された右映像を混合してパノラマ映像を生成してもよい。

図１０は、一実施形態に係る映像処理方法のフローチャートである。ステップＳ１０１０において、映像処理装置は最適継ぎ目推定方法を用いて入力された左映像と右映像の最適継ぎ目を推定する。最適継ぎ目推定方法は左映像と右映像が重複する領域で、左映像と右映像の対応するピクセル間のカラー、勾配、露出などが類似する程度を考慮して最も類似のピクセルを連結して最適継ぎ目を推定する方法である。

ステップＳ１０２０において、映像処理装置はコストマップを２進化してゴーストマップを生成する。コストマップには、左映像と右映像との間の類似度が反映される。映像処理装置はコストマップを最適閾値に基づいて２進化する。映像処理装置は、コストマップの各ピクセルの類似度を最適閾値と比較して２進化することによってゴーストマップを生成する。

ステップＳ１０３０において、映像処理装置は最適継ぎ目のローカル情報を生成する。より具体的には、映像処理装置は最適継ぎ目を構成するピクセルのローカル情報を生成してもよい。このとき、映像処理装置は、最適継ぎ目を構成するピクセルを中心にする所定の大きさのウィンドウ内でゴーストピクセルを除いたピクセルのトーン差の平均を算出してローカル情報を生成する。ゴーストピクセルに対する情報はゴーストマップから獲得されてもよい。

ステップＳ１０４０において、映像処理装置はグローバルトーン補正関数を算出する。映像処理装置は、ゴーストマップの情報を基盤に水平方向へのグローバルトーン補正関数を算出してもよい。グローバルトーン補正関数には、左映像と右映像との間に重複する領域でゴーストピクセルではないピクセルを考慮してトーン差を反映する。

ステップＳ１０５０において、映像処理装置は、ローカル情報とグローバルトーン補正関数に基づいてローカルトーン補正レベルを算出する。ローカルトーン補正レベルは、重複する領域で最適継ぎ目を構成するピクセルのトーン補正の正確度を高めるために用いられる。

ステップＳ１０６０において、映像処理装置は、グローバルトーン補正関数をローカルトーン補正レベルだけ補償してトーン補正マップを生成する。

ステップＳ１０７０において、映像処理装置は、トーン補正マップに左映像を考慮した加重値及び右映像を考慮した加重値を適用する。

ステップＳ１０８０において、映像処理装置は、トーン補正マップに適用された加重値を反映して左映像に用いられる最終トーン補正マップ及び右映像に用いられる最終トーン補正マップを生成する。

ステップＳ１０９０において、映像処理装置は、最終トーン補正マップを用いて左映像及び右映像のトーンを補正する。

図１１は、一実施形態に係るトーン補正されたパノラマ映像を示す図である。映像１１１０は左映像と右映像に最適継ぎ目を推定および混合して生成されたパノラマ映像であり、映像１１２０は一実施形態に係る最終トーン補正マップに基づいて左映像及び右映像のトーンを補正した後に混合して生成されたパノラマ映像である。映像１１２０は映像１１１０に比べて自然なトーンを有していることが確認できる。

前述した方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータ読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうちの１つまたはその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。

上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。

したがって、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。

３１０、３２０ 入力映像
４１０ ゴースト情報獲得部
４１１ 最適継ぎ目推定部
４１３ ２進化部
４２０ トーン補正マップ生成部
４２１ グローバル算出部
４２３ 平坦化部
４２５ ローカル算出部
４２７ 補正レベル算出部
４３０ 両方向補正部
４３１ 加重値適用部
５１０ 明るい領域
５２０ 暗い領域

Claims (17)

1. 入力された左映像と右映像が重複する領域で、コストマップと最適閾値に基づいてゴースト情報を獲得するゴースト情報獲得部と、
   前記ゴースト情報を考慮して生成されたグローバルトーン補正関数及び最適継ぎ目のローカル情報を反映して生成されたローカルトーン補正レベルに基づいてトーン補正マップを生成するトーン補正マップ生成部と、
   前記トーン補正マップに前記左映像を考慮した加重値及び前記右映像を考慮した加重値を適用して生成された最終トーン補正マップに基づいて前記左映像及び前記右映像を補正する両方向補正部と、
   を備えることを特徴とする映像処理装置。
2. 前記コストマップは、前記左映像と前記右映像との間の類似度が反映されて前記左映像と前記右映像が重複する領域で生成されることを特徴とする請求項１に記載の映像処理装置。
3. 前記左映像及び前記右映像は、固定された被写体または動いている被写体が複数の撮影位置で撮影された映像であることを特徴とする請求項１に記載の映像処理装置。
4. 前記左映像と前記右映像との間の類似度は、前記左映像と前記右映像が重複する領域で、それぞれ対応するピクセル間のカラー、勾配の類似度が考慮されたことを特徴とする請求項１に記載の映像処理装置。
5. 前記ゴースト情報獲得部は、
   前記コストマップで前記類似度の最も大きい経路を前記左映像と前記右映像の最適継ぎ目として推定する最適継ぎ目推定部と、
   前記コストマップを最適閾値推定方式に基づいて推定された前記最適閾値を基準にして２進化してゴーストマップを生成する２進化部と、
   を備えることを特徴とする請求項１に記載の映像処理装置。
6. 前記トーン補正マップ生成部は、前記ゴースト情報を考慮して前記重複される領域でゴーストピクセルではないピクセルに対応する前記左映像のピクセルと前記右映像のピクセルのトーン差が反映されたグローバルトーン補正関数を算出するグローバル算出部を備えることを特徴とする請求項１に記載の映像処理装置。
7. 前記トーン補正マップ生成部は、平坦化フィルタを通じて前記算出されたグローバルトーン補正関数の値を平坦化する平坦化部を備えることを特徴とする請求項６に記載の映像処理装置。
8. 前記トーン補正マップ生成部は、前記最適継ぎ目のピクセルを中心にする所定の大きさのウィンドウ内で、ゴーストピクセルではないピクセルのトーン差の平均を算出して前記最適継ぎ目のローカル情報を生成するローカル算出部を備えることを特徴とする請求項１に記載の映像処理装置。
9. 前記トーン補正マップ生成部は、前記最適継ぎ目に含まれたピクセルのローカル情報とグローバルトーン補正関数の値を比較してローカルトーン補正レベルを算出する補正レベル算出部を備えることを特徴とする請求項８に記載の映像処理装置。
10. 前記両方向補正部は、前記左映像と前記重複する領域間の距離に応じて変化する加重値、及び前記右映像と前記重複する領域間の距離に応じて変化する加重値を前記トーン補正マップに適用する加重値適用部を備えることを特徴とする請求項１に記載の映像処理装置。
11. 入力された左映像と右映像が重複する領域で、コストマップと最適閾値に基づいてゴースト情報を獲得するステップと、
    前記ゴースト情報を考慮して生成されたグローバルトーン補正関数及び最適継ぎ目のローカル情報を反映して生成されたローカルトーン補正レベルに基づいてトーン補正マップを生成するステップと、
    前記トーン補正マップに前記左映像を考慮した加重値及び前記右映像を考慮した加重値を適用して生成された最終トーン補正マップに基づいて前記左映像及び前記右映像を補正するステップと、
    を含むことを特徴とする映像処理方法。
12. 前記コストマップは、前記左映像と前記右映像との間の類似度が反映されて前記左映像と前記右映像が重複する領域で生成されることを特徴とする請求項１１に記載の映像処理方法。
13. 前記ゴースト情報を獲得するステップは
    前記コストマップで前記類似度の最も大きい経路を前記左映像と前記右映像の最適継ぎ目として推定するステップと、
    前記コストマップを最適閾値推定方式に基づいて推定された前記最適閾値を基準にして２進化してゴーストマップを生成するステップと、
    を含むことを特徴とする請求項１１に記載の映像処理方法。
14. 前記トーン補正マップを生成するステップは、前記ゴースト情報を考慮して前記重複する領域でゴーストピクセルではないピクセルに対応する前記左映像のピクセルと前記右映像のピクセルのトーン差が反映されたグローバルトーン補正関数を算出するステップを含むことを特徴とする請求項１１に記載の映像処理方法。
15. 前記トーン補正マップを生成するステップは、前記最適継ぎ目のピクセルを中心にする所定の大きさのウィンドウ内で、ゴーストピクセルではないピクセルのトーン差の平均を算出して前記最適継ぎ目のローカル情報を生成するステップを含むことを特徴とする請求項１１に記載の映像処理方法。
16. 前記トーン補正マップを生成するステップは、前記最適継ぎ目に含まれたピクセルのローカル情報とグローバルトーン補正関数の値を比較してローカルトーン補正レベルを算出するステップを含むことを特徴とする請求項１５に記載の映像処理方法。
17. 前記補正するステップは、前記左映像と前記重複する領域間の距離に応じて変化する加重値、及び前記右映像と前記重複する領域間の距離に応じて変化する加重値を前記トーン補正マップに適用するステップを含むことを特徴とする請求項１１に記載の映像処理方法。

Images