JP7093015B2 - パノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラム - Google Patents

Description

本発明は、異なる画角で撮影された複数の映像を入力として、それらの映像を結合したパノラマ映像を出力するパノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラムに関する。

画角の異なる複数のカメラによって、一部領域が重なるように撮影された映像を入力とし、それらを結合することで広角なパノラマ映像を出力する技術は、パノラマ映像合成として広く知られている。パノラマ映像合成においては、フレーム画像に含まれる特徴点をマッチングして同一の被写体が映っている対応点を検出し、その対応点に基づいてフレーム画像を結合する手法が提案されている。

例えば特許文献１では、高解像度の複数の映像を高速かつ高精度に結合するために、結合させる接合線を示すシーム情報を取得する手法を提案している。その手法は、現在フレーム画像のシーム情報の探索において、過去のフレーム画像で採用されたシーム情報に近いほど採用され易くなるように該当領域の重み付けを変更する。この手法によればカメラ間の境界である接合線をフレーム画像の遷移に応じて動的に変更することで、重複領域に存在する被写体と接合線が重なった場合に生じる被写体の二重像や欠損を回避することができる。つまり、被写体のチラ付きが抑制されるため、パノラマ映像の画質が劣化し難い。

特開２０１８－２６７４４号公報

しかしながら、被写体が重複領域を横断するように移動する場合は、何れかのフレーム画像で被写体が接合線を跨ぐ必要が生じる。そのため該当するフレーム画像の前後で被写体の表示座標が著しく変動し、パノラマ映像の画質が劣化するという課題がある。

本発明は、この課題に鑑みてなされたものであり、被写体がカメラ間の重複領域を横断するように移動する場合でも被写体の二重像や欠損を抑制するパノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラムを提供することを目的とする。

本発明の一態様に係るパノラマ映像合成装置は、複数の映像を結合したパノラマ映像を合成するパノラマ映像合成装置において、異なる画角の前記映像ごとに該映像を構成するフレーム画像から、前記パノラマ映像の背景となる背景画像と基準となる基準画像を取得し、前記背景画像とフレーム画像の差分から被写体が移動する移動領域を抽出し、フレーム画像の順に抽出した前記移動領域を重ねた残像画像を生成する残像画像生成部と、前記基準画像と前記残像画像のそれぞれから複数の特徴点を求め、該特徴点を合算した特徴点セットを生成し、各特徴点の特徴量を計算する特徴点計算部と、フレーム画像の前後で前記特徴点セットの各特徴点を対比させて、前記特徴量が一致する特徴点を探索し、該特徴点の座標の差からフレーム画像を歪ませる程度を表す第１変換パラメータを生成する変換パラメータ生成部とを備えることを要旨とする。

また、本発明の一態様に係るパノラマ映像合成方法は、上記のパノラマ映像合成装置が実行するパノラマ映像合成方法であって、異なる画角の映像ごとに該映像を構成するフレーム画像から、前記パノラマ映像の背景となる背景画像と基準となる基準画像を取得し、前記背景画像とフレーム画像の差分から被写体が移動する移動領域を抽出し、フレーム画像の順に抽出した前記移動領域を重ねた残像画像を生成する残像画像生成ステップと、前記基準画像と前記残像画像のそれぞれから複数の特徴点を求め、該特徴点を合算した特徴点セットを生成し、各特徴点の特徴量を計算する特徴点計算ステップと、フレーム画像の前後で前記特徴点セットの各特徴点を対比させて、前記特徴量が一致する特徴点を探索し、該特徴点の座標の差からフレーム画像を歪ませる程度を表す第１変換パラメータを生成する変換パラメータ生成ステップとを含むことを要旨とする。

また、本発明の一態様に係るパノラマ映像合成プログラムは、上記のパノラマ映像合成装置としてコンピュータを機能させるためのパノラマ映像合成プログラムであることを要旨とする。

本発明によれば、被写体がカメラ間の重複領域を横断するように移動する場合でも被写体の二重像や欠損を抑制したパノラマ映像を提供することができる。

パノラマ映像合成のためのカメラ装置と被写体に関する位置関係の一例を俯瞰して示す模式図である。 本発明の第１実施形態に係るパノラマ映像合成装置の構成例を示すブロック図である。 基準画像と背景画像の例を示す図である。 フレーム画像から抽出した移動領域と残像画像の例を示す図である。 特徴点セットの例を示す図である。 図２に示すパノラマ映像合成装置で合成したパノラマ画像の例を示す模式図である。 図２に示すパノラマ映像合成装置が行う事前処理の処理手順を示すフローチャートである。 図２に示すパノラマ映像合成装置が行う事後処理の処理手順を示すフローチャートである。 本発明の第２実施形態に係るパノラマ映像合成装置の構成例を示すブロック図である。 図９に示すパノラマ映像合成装置の残像画像生成部で取得できる不一致領域の例を模式的に示す図である。 図９に示すパノラマ映像合成装置の残像画像生成部で生成する残像画像の例を模式的に示す図である。 本発明の第３実施形態に係るパノラマ映像合成装置の構成例を示すブロック図である。 図１０に示すパノラマ映像合成装置が合成するパノラマ画像の例を模式的に示す図である。

（複数の映像）
本発明の実施形態を説明する前に、本発明の実施形態に係るパノラマ映像合成装置が合成するパノラマ映像の元になる複数の映像について説明する。複数の映像は、異なる画角で撮影される。図１は、パノラマ映像合成のためのカメラ装置と被写体に関する位置関係の一例を俯瞰して示す模式図である。

異なる画角で撮影された映像は、例えば、図１に示すように左眼カメラＣ_Ｌと右眼カメラＣ_Ｒで撮影された映像である。左眼カメラＣ_Ｌと右眼カメラＣ_Ｒは、水平方向に隣接して設置され、互いに重複領域を持つように異なる画角で保持して固定されている。

左眼カメラＣ_Ｌと右眼カメラＣ_Ｒは、観客席１を背景に、トラック２の上を、右眼カメラＣ_Ｒから左眼カメラＣ_Ｌの方向へ横断するように移動するランナーＲを被写体に撮影するものと仮定する。以降で説明する実施形態は、図１に示す環境で撮影された2つの映像を結合したパノラマ映像を合成する。なお、複数の映像は2つに限られない。カメラ装置の数は、3以上の整数で有っても構わない。

以下、本発明の実施形態について図面を用いて説明する。複数の図面中同一のものに
は同じ参照符号を付し、説明は繰り返さない。

〔第１実施形態〕
図２は、本発明の第１実施形態に係るパノラマ映像合成装置の構成例を示すブロック図である。図２に示すパノラマ映像合成装置１００に入力される映像信号は、左眼カメラＣ_Ｌと右眼カメラＣ_Ｒで撮影された映像信号である。

本実施形態において、映像信号は、第１変換パラメータを生成するまでの事前処理と、第１変換パラメータを生成した後にパノラマ映像を合成する事後処理の2回に分けて入力される。事前処理と事後処理で入力される映像信号は同じものである。なお、映像信号はカメラ装置が出力するシリアル信号を直接入力しても良いし、映像を記録したファイルで入力しても良い。

図２に示すパノラマ映像合成装置１００は、残像画像生成部１０、特徴点計算部２０、変換パラメータ生成部３０、変換パラメータ記憶部４０、射影変換部５０、画像結合部６０、及び制御部７０を備える。パノラマ映像合成装置１００は、例えば、ＲＯＭ、ＲＡＭ、ＣＰＵ等からなるコンピュータで実現することができる。その場合、パノラマ映像合成装置１００が有すべき機能の処理内容はプログラムによって記述される。制御部７０は、各機能構成部の時系列の動作を制御する一般的なものである。

（事前処理）
残像画像生成部１０は、異なる画角の映像ごとに該映像を構成するフレーム画像から、パノラマ映像の背景となる背景画像と基準となる基準画像を取得し、背景画像とフレーム画像の差分から被写体が移動する移動領域を抽出し、フレーム画像の順に抽出した移動領域を重ねた残像画像を生成する。複数の映像は、この例では左眼カメラＣ_Ｌと右眼カメラＣ_Ｒのそれぞれで撮影された2つの映像である。

ここでフレーム画像を歪ませる程度とは、右眼カメラＣ_Ｒと左眼カメラＣ_Ｌで異なるフレーム画像を一方に合わせるためにフレーム画像を歪ませる量のことである。例えば、右眼カメラＣ_Ｒのフレーム画像の形状に合うように左眼カメラＣ_Ｌのフレーム画像を歪ませる。このように一方のフレーム画像を歪ませることでパノラマ画像の画像品質を向上させることができる。

図３は、基準画像と背景画像の例を示す図である。図３の一段目は基準画像ＫＧであり、二段目は背景画像ＢＧである。基準画像ＫＧから分かるように、左眼カメラＣ_Ｌで撮影した映像と右眼カメラＣ_Ｒで撮影した映像は、左側の端の二人の係員の範囲で重複（重複領域α）している。

基準画像ＫＧは、フレーム画像を歪ませる程度を表す第１変換パラメータを求める基準となる左眼カメラＣ_Ｌと右眼カメラＣ_Ｒでそれぞれ撮影した一組のフレーム画像である。基準画像ＫＧのそれぞれの特徴点を対比させる。特徴点の対比については後述する。

背景画像ＢＧは、基準画像ＫＧと同じフレーム画像で有っても良いが、被写体（ランナー）等が映っていないものが望ましい。この例の背景画像ＢＧは、トラック２上に係員が配置される前のフレーム画像である。

残像画像生成部１０は、背景画像ＢＧとフレーム画像の差分から被写体Ｒが移動する移動領域を抽出し、フレーム画像のそれぞれから移動領域だけを取り出して重ねた残像画像ＺＧを生成する。この移動領域を取り出して重ねる処理を、フレーム画像の古いフレームから新しいフレームの方向に繰り返すことで残像画像が生成される。つまり、被写体Ｒが一連の残像を伴って記録されることになる。

図４は、フレーム画像から抽出した移動領域と残像画像の例を示す図である。図４の二段目は移動領域βを示し、三段目は残像画像ＺＧを示す。なお、図４に示す残像画像ＺＧは見易くする目的で拡大している。

特徴点計算部２０は、基準画像ＫＧと残像画像ＺＧのそれぞれから複数の特徴点を求め、該特徴点を合算した特徴点セットを生成し、各特徴点の特徴量を計算する。特徴点とは、基準画像ＫＧ及び残像画像ＺＧのエッジが際だっている部分、輝度が高い部分、及び色相が異なる部分等のそれぞれの画像の特徴を示す点である。

特徴点計算部２０は、ＳＩＦＴ、ＳＵＲＦ、及びＡＫＡＺＥに代表されるような周知の局所特徴量の計算方法に従って、基準画像ＫＧと残像画像ＺＧの特徴点と、その特徴点に対応する特徴量を計算する。特徴点計算部２０は、左眼カメラＣ_Ｌと右眼カメラＣ_Ｒのそれぞれで撮影されたフレーム画像から特徴点と特徴量を計算する。

変換パラメータ生成部３０は、フレーム画像の前後で特徴点セットの各特徴点を対比させて、特徴量が一致する特徴点を探索し、該特徴点の座標の差からフレーム画像を歪ませる程度を表す第１変換パラメータを生成する。ここで対比は、左眼カメラＣ_Ｌで撮影した基準画像の特徴点と残像画像の特徴点を合算した特徴点セットと、右眼カメラＣ_Ｒで撮影した基準画像の特徴点と残像画像の特徴点を合算した特徴点セットとを対比させる。

図５は、特徴点セットの例を示す図である。図５の二段目は基準画像ＫＧの特徴点を白点で示し、四段目は残像画像ＺＧの特徴点を白点で示す。図５の五段目は、二段目の基準画像ＫＧの特徴点と四段目の残像画像ＺＧの特徴点を合算したものである。

残像画像ＺＧの特徴点のうち、被写体に該当しない領域に含まれる特徴点は、例えば手動で予め排除しておく。残像画像ＺＧには、背景に該当する範囲内の例えば木々の揺れ、窓の開閉等の動きが残像（移動領域）として抽出される場合がある。このような被写体ではない残像は、例えばオフラインで排除する。

次に変換パラメータ生成部３０は、ＲＡＮＳＡＣアルゴリズムに代表されるような手法に従って、各画角の特徴点セットを入力とするホモグラフィ行列を推定する。ホモグラフィ行列は、ある画像がもう一方の画像と重なり合うように射影変換するためのパラメータであり、本実施形態の第１変換パラメータに該当する。

ホモグラフィ行列の推定では、左眼カメラＣ_Ｌの特徴点セットと、右眼カメラＣ_Ｒの特徴点セットを対比させ、互いに一致する特徴点を探索し、一致する複数の特徴点の座標の違いから画角間の歪みを算出する。つまり、第１変換パラメータで射影変換された例えば左眼カメラＣ_Ｌのフレーム画像は、右眼カメラＣ_Ｒのフレーム画像に良い連続性を持たせて重ねることができる。

本実施形態の第１変換パラメータは、基準画像ＫＧの特徴点と残像画像ＺＧの特徴点を合算した特徴点セットを、画角間で対比させて求めたパラメータであるので、基準画像ＫＧと残像画像ＺＧの両方をバランス良く歪ませることができる。また、被写体が小さい物体であっても、その移動領域から残像画像を生成することによって、特徴点の検出に十分な面積を確保することができる。その結果、フレーム画像同士を適切に重ねることができる。

第１変換パラメータは、変換パラメータ記憶部４０に書き込まれて記憶される。なお、変換パラメータ記憶部４０は、パノラマ映像合成装置１００の処理速度が高速であれば無くても構わない。よって、変換パラメータ記憶部４０は必須の構成ではない。

以上説明した第１変換パラメータが生成されるまでが事前処理である。次に、パノラマ映像を合成する事後処理について説明する。

（事後処理）
射影変換部５０は、各画角のフレーム画像が入力される度に、そのフレーム画像に対して第１変換パラメータに基づいた射影変換を実施する。本実施形態では、例えば、右眼カメラＣ_Ｒで撮影された映像を構成するフレーム画像に、左眼カメラＣ_Ｌで撮影された同一時刻のフレーム画像を第１変換パラメータで射影変換する。

図６は、パノラマ映像合成装置１００で合成したパノラマ画像の例を示す模式図である。図６の一段目は各画角のフレーム画像を示す。

図６の二段目は射影変換後のフレーム画像を示す。左眼カメラＣ_Ｌの射影変換後の画像の両端が垂直で無いのは、射影変換によって画像が歪んだ結果である。そして、二段目の黒い領域は、フレーム画像の画素値が設定されていないことを示す。

画像結合部６０は、各画角の射影変換されたフレーム画像を、所定の接合線で結合する。なお、結合させた画像から不要領域をトリミングしても良い。接合線は、重複領域α内の任意の位置に、例えば利用者が設定する。

図６の三段目に示すパノラマ画像は、被写体Ｒ（ランナー）の中心に接合線が設定された例を示す。被写体Ｒの中心から左方向が左眼カメラＣ_Ｌ、右方向が右眼カメラＣ_Ｒのフレーム画像で構成される。

接合線の位置及び不要領域は、利用者が設定しても良いし、自動的な計算によって設定しても良い。また、接合線に画素幅が設定されている場合は、その画素幅の画素値を段階的に変化させることで2つのフレーム画像をシームレスに結合することができる。

そもそも、パノラマ映像合成における被写体の二重像や欠損はカメラ装置間の視差に起因する。視差の量は、カメラ装置から被写体までの距離に応じて変動するため、ある奥行きに存在する被写体の特徴点を基準に2つのフレーム画像を結合すると、その被写体と異なる奥行きに存在する被写体はパノラマ映像の上では異なる領域（奥行き）に位置することになる。

しかしながら、本実施形態に係るパノラマ映像合成装置１００によれば、基準画像ＫＧと残像画像ＺＧの両方をバランス良く歪ませることができるため、背景と異なる奥行きにおいてカメラ装置間を横断するような被写体が有った場合でも、撮影領域の一部が重複する複数の映像を高精度に結合したパノラマ映像を生成することが可能となる。

（パノラマ映像合成方法）
図７は、パノラマ映像合成装置１００が行う事前処理の処理手順を示すフローチャートである。

パノラマ映像合成装置１００が動作を開始すると、残像画像生成部１０は、異なる画角で撮影された映像を構成するフレーム映像のそれぞれから、背景画像ＢＧと基準画像ＫＧを取得する（ステップＳ１）。背景画像ＢＧと基準画像ＫＧは、左眼カメラＣ_Ｌと右眼カメラＣ_Ｒの両方のフレーム画像からそれぞれ取得する。

背景画像ＢＧは、パノラマ映像の背景になる画像であり、被写体Ｒが映っていないものが望ましい。基準画像ＫＧは、余計な被写体が映っていないニュートラルな画像であり、例えば最初のフレーム画像であっても良い。

次に、残像画像生成部１０は、フレーム画像と背景画像ＢＧの差分計算により移動領域を取得する（ステップＳ２）。差分計算により差のある画素の範囲が移動領域である。

次に、残像画像生成部１０は、移動領域をマスクにしてフレーム画像から移動領域のみを残像領域に転写する（ステップＳ３）。

この転写をフレーム画像の古いフレーム画像から新しいフレーム画像の方向に繰り返すことで、残像画像ＺＧを生成する（ループＢの繰り返し）。

特徴点計算部２０は、基準画像ＫＧの特徴点を計算する（ステップＳ４）。特徴点とそれに対応する特徴量は、ＳＩＦＴ等の局所特徴量の計算手法に従って計算する。特徴点計算部２０は、同様に残像画像ＺＧの特徴点と特徴量を計算する（ステップＳ５）。この特徴点計算部２０の計算は、両画角の全てのフレーム画像について実施される（ループＡの繰り返し）。

次に、特徴点計算部２０は、基準画像ＫＧの特徴点と特徴量及び残像画像ＺＧの特徴点と特徴量を合算した特徴点セットを生成する（ステップＳ６）。特徴点セットは画角ごとに生成される。

次に、変換パラメータ生成部３０は、特徴点セットを対比させて、特徴量が一致する複数の特徴点を探索し、該特徴点の座標の差から第１変換パラメータを生成し、変換パラメータ記憶部４０に記憶する（ステップＳ７）。

図８は、パノラマ映像合成装置１００が行う事後処理の処理手順を示すフローチャートである。

事後処理は、事前処理で生成された第１変換パラメータを用いてフレーム画像を射影変換する。事後処理においては、第１変換パラメータを生成した映像と同じ映像を、射影変換部５０に入力する。

射影変換部５０は、外部から入力される異なる画角で撮影された複数の映像を構成するフレーム画像に対して第１変換パラメータに基づいた射影変換を実施する（ステップＳ８）。ここで用いる第１変換パラメータは、事前処理において同じ映像から生成されたものである。

本実施形態では、例えば、左眼カメラＣ_Ｌで撮影されたフレーム画像を第１変換パラメータで射影変換する。射影変換は、左眼カメラＣ_Ｌで撮影されたフレーム画像の全てについて実施する（ループＤの繰り返し）。どちらのフレーム画像を射影変換するかは、予め利用者が指定する。右眼カメラＣ_Ｒで撮影されたフレーム画像を射影変換しても構わない。また、両方のフレーム画像を射影変換しても構わない。

画像結合部６０は、右眼カメラＣ_Ｒで撮影されたフレーム画像に、同時刻に撮影された左眼カメラＣＬの射影変換したフレーム画像を、所定の接合線で結合してパノラマ画像を取得する（ステップＳ９）。

そして、画像結合部６０は、パノラマ画像の不要領域をトリミングする（ステップＳ１０）。画像結合部６０は、トリミングしたパノラマ画像を出力する（ステップＳ１１）。ステップＳ８～Ｓ１１の処理は、全てのフレーム画像について繰り返し実行される（ループＣの繰り返し）

〔第２実施形態〕
図９は、本発明の第２実施形態に係るパノラマ映像合成装置の構成例を示すブロック図である。図９に示すパノラマ映像合成装置２００は、残像画像生成部２１０の作用が、パノラマ映像合成装置１００の残像画像生成部１０と異なる。

残像画像生成部２１０は、異なる画角の映像ごとに該映像を構成するフレーム画像に対して第１変換パラメータを基に射影変換を実施し、射影変換したフレーム画像の画角間の不一致領域を取得し、該不一致領域を元のフレーム画像に戻す射影変換を実施し、フレーム画像の順に元のフレーム画像に戻した不一致領域の重複していない領域と移動していない領域をマスクした画像を重ねた残像画像を生成する。

図１０は、残像画像生成部２１０で取得できる不一致領域の例を模式的に示す図である。図１０の一段目は、予め取得した第１変換パラメータをもとにフレーム画像の射影変換を実施したフレーム画像である。二段目は画角間の不一致領域を示す。三段目はフレーム画像から不一致領域を抽出するマスクを示す。

図１０の二段目の不一致領域の白い画素部分は、画角間の画素値が遠いことを示している。また、黒い画素部分は、画角間の画素値が近いことを示している。画素値とは、ＲＧＢ及びＹＵＶの値であり、画角間でその差分を求め、その差分を総計した値である。

図１０の二段目の不一致領域の中央部分は、画角間で重複している重複領域αであり、背景の建物は一致している。しかし、被写体Ｒは不一致である。

つまり、図１０の二段目の不一致領域は、左眼カメラＣ_Ｌのフレーム画像を第１変換パラメータで歪ませた画像と、右眼カメラＣ_Ｒのフレーム画像との不一致領域を示す。

そこで、残像画像生成部２１０は、不一致領域を第１変換パラメータの逆行列で元のフレーム画像に戻し、その元のフレーム画像に戻した不一致領域の重複していない領域と移動していない領域をマスクにして取り出して画像を重ねた残像画像ＺＧを生成する。

図１１は、元のフレーム画像に戻した不一致領域から抽出した残像画像ＺＧを示す。図１１に示す残像画像ＺＧは、左眼カメラＣ_Ｌと右眼カメラＣ_Ｒのそれぞれのフレーム画像のズレの範囲を含む。

したがって、このようにして生成された残像画像ＺＧを元に第１変換パラメータを求めることで、画角間でズレの大きい部分の画像を重点的に矯正することができる。また、フレーム画像に被写体Ｒが映っていて背景画像ＢＧが取得できない場合でも、残像画像ＺＧを生成することができる。つまり、背景画像ＢＧを使用しなくても残像画像ＺＧを生成できる。

〔第３実施形態〕
図１２は、本発明の第３実施形態に係るパノラマ映像合成装置の構成例を示すブロック図である。図１２に示すパノラマ映像合成装置３００は、変換パラメータ生成部３３０、射影変換部３５０、及び画像結合部３６０を備える点で上記の実施形態と異なる。

変換パラメータ生成部３３０は、基準画像ＫＧに含まれる特徴量が一致する特徴点の座標の差からフレーム画像を歪ませる程度を表す第２変換パラメータを生成する。そして、異なる画角の映像の重複領域から被写体の座標を抽出し、該座標の差から該被写体を歪ませる程度を表す第３変換パラメータを生成する。第２変換パラメータは、基準画像ＫＧの特徴点の座標の差のみから生成される点で、特徴点セットの座標の差から生成される第１変換パラメータと異なる。

第２変換パラメータと第３変換パラメータは、変換パラメータ記憶部４０に書き込まれて記憶される。

射影変換部３５０は、第２変換パラメータを基にフレーム画像の射影変換を実施し、第３変換パラメータを基に射影変換を実施した重複領域αから被写体画像を抽出する。また、射影変換部３５０は、画角間の重複領域αの背景画像ＢＧαを抽出する。背景画像ＢＧαは、重複領域αに該当する部分だけ背景画像ＢＧαを射影変換するような計算によって取得できる。

射影変換部３５０が抽出する背景画像ＢＧαの元の画像は、被写体Ｒが映っていない画像であれば第２変換パラメータで射影変換したフレーム画像で有っても良いし、射影変換しないフレーム画像で有っても良い。

重複領域αから特定の被写体だけを抽出する処理は、残像画像生成部１０がフレーム画像と背景画像ＢＧαの差分計算により移動領域（被写体）を抽出する処理と同じ処理を用いても良い。

画像結合部３６０は、第２変換パラメータで射影変換したフレーム画像を結合した初期のパノラマ画像を生成し、該初期のパノラマ画像に重複領域の背景画像を重畳し、その後に被写体画像を重畳したパノラマ映像画像を生成する。パノラマ映像画像は、フレーム画像ごとに生成されるので、画像結合部３６０の出力はパノラマ映像信号を構成する。

図１３は、パノラマ映像合成装置３００が合成するパノラマ画像の例を模式的に示す図である。図１３の一段目は初期パノラマ画像を示す。二段目は左眼カメラＣ_Ｌと右眼カメラＣ_Ｒの重複領域αを示す。三段目は重複領域αから抽出した被写体の画像に対して第３変換パラメータを基に射影変換を実施した被写体画像を示す。四段目は重複領域αの背景画像ＢＧαを示す。五段目はパノラマ映像画像を示す。

このように、初期のパノラマ画像に、重複領域αの背景画像を重畳し、その上に被写体のズレを矯正した被写体画像を重畳する。この方法によれば、背景画像ＢＧαの上に被写体画像のズレが適切に矯正された画像が重ねられるのでズレの少ないパノラマ画像を生成することができる。

以上説明したように本発明の第１実施形態に係るパノラマ映像合成装置１００は、複数の映像を結合したパノラマ映像を合成するパノラマ映像合成装置において、異なる画角の映像ごとに該映像を構成するフレーム画像から、パノラマ映像の背景となる背景画像ＢＧと基準となる基準画像ＫＧを取得し、背景画像ＢＧとフレーム画像の差分から被写体が移動する移動領域を抽出し、フレーム画像の順に抽出した移動領域を重ねた残像画像ＺＧを生成する残像画像生成部１０と、基準画像ＫＧと残像画像ＺＧのそれぞれから複数の特徴点を求め、該特徴点を合算した特徴点セットを生成し、各特徴点の特徴量を計算する特徴点計算部２０と、フレーム画像の前後で特徴点セットの各特徴点を対比させて、特徴量が一致する特徴点を探索し、該特徴点の座標の差からフレーム画像を歪ませる程度を表す第１変換パラメータを生成する変換パラメータ生成部３０とを備える。

これにより、基準画像ＫＧと残像画像ＺＧの両方をバランス良く歪ませることができ、画角間のズレを矯正したズレの少ないパノラマ画像を得ることができる。また、被写体が小さい物体であっても、その移動領域から残像画像を生成することによって、特徴点の検出に十分な面積を確保することができる。その結果、フレーム画像同士を適切に重ねることができる。また、背景と異なる奥行きにおいて重複領域αを横断するような被写体がある場合でも、撮影領域の一部が重複する複数の映像を高精度に結合したパノラマ映像を生成することが可能になる。

また、本発明の第２実施形態に係るパノラマ映像合成装置２００は、残像画像生成部２１０を備え、残像画像生成部２１０は、異なる画角の映像ごとに該映像を構成するフレーム画像に対して第１変換パラメータを基に射影変換を実施し、射影変換したフレーム画像の画角間の不一致領域を取得し、該不一致領域を元のフレーム画像に戻す射影変換を実施し、フレーム画像の順に元のフレーム画像に戻した不一致領域の重複していない領域と移動していない領域をマスクした画像を重ねた残像画像を生成する。これにより、画角間でズレの大きい部分の画像を重点的に矯正することができる。また、フレーム画像に被写体Ｒが映っていて背景画像ＢＧが取得できない場合でも、背景画像ＢＧから移動領域を抽出しないので残像画像ＺＧを生成することができる。

また、本発明の第３実施形態に係るパノラマ映像合成装置３００は、変換パラメータ生成部３３０は、基準画像ＫＧに含まれる特徴量が一致する特徴点の座標の差からフレーム画像を歪ませる程度を表す第２変換パラメータを生成し、異なる画角の映像の重複領域αから被写体の座標を抽出し、該座標の差から該被写体を歪ませる程度を表す第３変換パラメータを生成し、第２変換パラメータを基にフレーム画像の射影変換を実施し、第３変換パラメータを基に射影変換を実施した重複領域αから被写体画像を抽出し、重複領域αの背景画像ＢＧαを抽出する射影変換部３５０と、第２変換パラメータで射影変換したフレーム画像を結合した初期のパノラマ画像を生成し、該初期のパノラマ画像に重複領域αの前記背景画像ＢＧαを重畳し、その後に被写体画像を重畳したパノラマ映像画像を生成する画像結合部３６０とを備える。これにより、背景画像ＢＧαの上に被写体画像のズレが適切に矯正された画像が重ねられるのでズレの少ないパノラマ画像を生成することができる。

本実施形態に係るパノラマ映像合成装置１００，２００，３００の特徴的な機能部は、ＲＯＭ、ＲＡＭ、ＣＰＵ等からなるコンピュータで実現することができる。その場合、各機能部が有すべき機能の処理内容はパノラマ映像合成プログラムによって記述される。そのようなパノラマ映像合成プログラムは、ＣＤ－ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができる。

本発明はここでは記載していない様々な実施形態等を含むことは勿論である。上記の実施形態は、左眼カメラＣ_Ｌと右眼カメラＣ_Ｒの2つのカメラ装置で撮影した映像を結合する例で説明したが、本発明はこの例に限定されない。カメラ装置の数は2つ以上の複数であっても良い。

また、上記の実施形態は、事前処理と事後処理で2回に分けて映像を入力する例で説明したが、1回の映像の入力でパノラマ映像を合成することも可能である。その場合は、本願発明のパノラマ映像合成装置を構成するコンピュータの処理速度を高速にし、フレーム画像が更新される前に、第１変換パラメータを生成するようにすればよい。

このように本発明は、上記の実施形態に限定されない。本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

１０，２１０：残像画像生成部
２０：特徴点計算部
３０，２３０：変換パラメータ生成部
４０：変換パラメータ記憶部
５０，３５０：射影変換部
６０，３６０：画像結合部
７０：制御部
１００，２００，３００：パノラマ映像合成装置

Claims (5)

1. 複数の映像を結合したパノラマ映像を合成するパノラマ映像合成装置において、
   異なる画角の前記映像ごとに該映像を構成するフレーム画像から、前記パノラマ映像の背景となる背景画像と基準となる基準画像を取得し、前記背景画像とフレーム画像の差分から被写体が移動する移動領域を抽出し、フレーム画像の順に抽出した前記移動領域を重ねた残像画像を生成する残像画像生成部と、
   前記基準画像と前記残像画像のそれぞれから複数の特徴点を求め、該特徴点を合算した特徴点セットを生成し、各特徴点の特徴量を計算する特徴点計算部と、
   フレーム画像の前後で前記特徴点セットの各特徴点を対比させて、前記特徴量が一致する特徴点を探索し、該特徴点の座標の差からフレーム画像を歪ませる程度を表す第１変換パラメータを生成する変換パラメータ生成部と
   を備えることを特徴とするパノラマ映像合成装置。
2. 前記残像画像生成部は、
   異なる画角の前記映像ごとに該映像を構成するフレーム画像に対して前記第１変換パラメータを基に射影変換を実施し、射影変換したフレーム画像の前記画角間の不一致領域を取得し、該不一致領域を元のフレーム画像に戻す射影変換を実施し、フレーム画像の順に元のフレーム画像に戻した前記不一致領域の重複していない領域と移動していない領域をマスクした画像を重ねた残像画像を生成する
   ことを特徴とする請求項１に記載のパノラマ映像合成装置。
3. 前記変換パラメータ生成部は、
   前記基準画像に含まれる前記特徴量が一致する前記特徴点の座標の差からフレーム画像を歪ませる程度を表す第２変換パラメータを生成し、異なる画角の前記映像の重複領域から前記被写体の座標を抽出し、該座標の差から該被写体を歪ませる程度を表す第３変換パラメータを生成し、
   前記第２変換パラメータを基にフレーム画像の射影変換を実施し、前記第３変換パラメータを基に射影変換を実施した前記重複領域から被写体画像を抽出し、前記重複領域の背景画像を抽出する射影変換部と、
   前記第２変換パラメータで射影変換したフレーム画像を結合した初期のパノラマ画像を生成し、該初期のパノラマ画像に前記重複領域の前記背景画像を重畳し、その後に前記被写体画像を重畳したパノラマ映像画像を生成する画像結合部と
   を備える
   ことを特徴とする請求項１に記載のパノラマ映像合成装置。
4. パノラマ映像合成装置が行うパノラマ映像合成方法であって、
   異なる画角の映像ごとに該映像を構成するフレーム画像から、パノラマ映像の背景となる背景画像と基準となる基準画像を取得し、前記背景画像とフレーム画像の差分から被写体が移動する移動領域を抽出し、フレーム画像の順に抽出した前記移動領域を重ねた残像画像を生成する残像画像生成ステップと、
   前記基準画像と前記残像画像のそれぞれから複数の特徴点を求め、該特徴点を合算した特徴点セットを生成し、各特徴点の特徴量を計算する特徴点計算ステップと、
   フレーム画像の前後で前記特徴点セットの各特徴点を対比させて、前記特徴量が一致する特徴点を探索し、該特徴点の座標の差からフレーム画像を歪ませる程度を表す第１変換パラメータを生成する変換パラメータ生成ステップと
   を含むことを特徴とするパノラマ映像合成方法。
5. 請求項１乃至３の何れか一項に記載のパノラマ映像合成装置としてコンピュータを機能させるためのパノラマ映像合成プログラム。

Images