JP2007259436A - 最適化された映像合成方法 - Google Patents

Abstract

【課題】従来の画像合成の問題を解決する。
【解決手段】所定のパターン画像を入力するステップ、平面及び円柱変換を結合する変換を行うステップ、線形差分結合とアルファブレンド計算を結合する結合計算を行うステップ、処理済画像を水平方向に互いに一緒にして１個の継ぎ目のない広角画像にする水平合成処理を行うステップから成る。更に、所定のパターン画像を用いることにより平面行列を求めるステップ、画像の平面変換を行うステップ、平坦面上で合成点を求めるためにブロック・マッチング法を利用することにより画像登録を行うステップ、結合型平面及び円柱変換に必要とされる座標ずれ及び広角画像中心を求めるために、合成点を平坦面から円柱面に変換することにより円柱変換を行うステップから成るカメラ位置調整の流れを備える。
【選択図】図２

Description

本発明は、最適化されたビデオ合成方法に関し、特に、高解像度／高フレームレート・映像用の最適化された映像合成方法に関する。

米国特許ＵＳ２００３０２３５３４４Ａ１に記載のような従来の合成方法を図８に示す。図８に示すように、最初に、すべての入力画像を平らな面に変換する。二番目に、合成点を画像登録アルゴリズムで計算する。三番目に、画像の重なる領域を、合成点近傍の相違を伸ばして滑らかにするために結合し、そして１個の継ぎ目のない広角画像に合成する。最後に、継ぎ目のない広角画像を、円柱面に変換する。

ハードウエア・エンジンの実行が関係する限り、映像データの全フレームを合成エンジンから別のチップ上のＤＲＡＭに蓄積する必要がある。従来の合成方法では、平面及び円柱面上の映像フレーム・データを蓄積する必要があり、そして画像登録は、画像重なり領域において一致したブロックを見出すために繰り返し平面フレーム・データにアクセスする必要がある。従って、映像合成用の外部メモリ・アクセスの必要帯域幅は非常に大きく、そして妥当なｆｐｓ（フレーム／秒）で上記の方法では現実的ではない。一方、画像登録用の計算要件は妥当なフレームレートを達成のために制限をつける。

本発明の第１の請求項によると、所定のパターン画像を入力するステップと、平面及び円柱変換を結合する変換を行うステップと、線形差分結合とアルファブレンド計算を結合する結合計算を行うステップと、処理済画像を水平方向に互いに一緒にして１個の継ぎ目のない広角画像にする水平合成処理を行うステップとから成ることを特徴とする最適化された映像合成方法を提供することである。

本発明の別の請求項によると、所定のパターン画像を複眼カメラ・モジュールによって捕捉し、そこで前記複眼カメラ・モジュールの各カメラ間の視差のない点を垂直方向に配列する。

水平方向に合成するために、カメラの視差無し点の配列が視差問題を避け、それにより異なる距離で対象用の合成点が一定に留まる。従って、本発明の操作の流れは調整の流れから計算された固定合成点を使うことが出来る。各フレームに対して合成点を更新する必要がない。同様に、複眼カメラ・モジュールの各カメラ間の視差のない点を水平方向に配列する場合、垂直方向に合成するために本発明を適用できる。

本発明の他の請求項によると、所定のパターン画像を用いることにより平面行列を求めるステップ、画像の平面変換を行うステップ、平坦面上で合成点を求めるためにブロック・マッチング法を利用することにより画像登録を行うステップ、結合型平面及び円柱変換に必要とされる座標ずれ及び広角画像中心を求めるために、合成点を平坦面から円柱面に変換することにより円柱変換を行うステップから成るカメラ位置調整の流れを提供することである。

カメラ位置に従った平面変換行列を求めるために所定のパターン画像から平面変換に必要な平面行列を計算する。重なり領域に十分な特徴を有する静止画を平面行列検出から計算された平面行列を有する中心画像の平面に変換する。画像登録は平坦面上で合成点を求めるためにブロック・マッチング・アルゴリズムを使用する。平面画像サイズと合成点によって、広角画像中心を計算できる。合成点と広角画像中心は更に円柱面に変換される。配列ブロックは、結合型平面及び円柱変換ブロックにおいて画像を配列するためのずれを計算するために平面及び円柱広角画像の中心と一緒に、平坦及び円柱面の双方の上で合成点を利用する。

本発明の最適化された映像合成方法では、結合型平面及び円柱変換は一度だけ補間を行う。従来の合成方法では、補間は二度計算される。従って、本発明により得られた広角画像はより正確である。円柱面上で捕捉された映像及びデータのみがＤＲＡＭに蓄積されるように要求される。画像登録は映像データの各フレームに対して計算されないが調整の間静止画データで一度だけ実行される。本発明では、ＤＲＡＭメモリサイズ及び必要アクセス帯域幅は双方とも減らされる。本発明の方法は計算と映像データのための外部メモリ・アクセスの大幅な減少のために最適化する。それはハードウエア映像合成エンジンの実現を可能にさせる。更に、補間の実行が従来方法の２度に比べて１度のみなので従来方法に比べて画像の品質が改善される。

図１を参照して、本発明の最適化された映像合成方法を説明する。本発明の最適化された映像合成方法は、所定のパターン画像を入力するステップと、平面及び円柱変換を結合する変換を行うステップと、線形差分結合とアルファブレンド計算を結合する結合計算を行うステップと、処理済画像を水平方向に互いに一緒にして１個の継ぎ目のない広角画像にする水平合成処理を行うステップとから成る。

本発明の最適化された映像合成方法において、平面及び円柱変換結合、画像結合計算及び水平合成処理が実行されるとき関連の補助変数を得るためにカメラ位置調整の流れが必要である。カメラ位置調整の流れは、所定のパターン画像を用いることにより平面行列を求めるステップと、画像の平面変換を行うステップと、平坦面上で合成点を求めるためにブロック・マッチング法を利用することにより画像登録を行うステップと、平面及び円柱変換結合に必要とされる座標ずれ及び広角画像中心を求めるために、合成点を平坦面から円柱面に変換することにより円柱変換を行うステップとから成る。

図２において、本発明による最適化された映像合成方法とカメラ位置調整の流れの関係を示す。図２に示すように、平面行列を所定のパターン画像を用いて計算する。画像登録は平坦面上で合成点を求めるためにブロック・マッチング・アルゴリズムを利用する。平面画像サイズ及び合成点によって、広角画像中心を計算することが出来る。合成点及び平面広角画像中心は更に円柱面に変換される、ここで円柱合成点を画像結合/混合及び水平合成のために用いる。

本発明による最適化された映像合成方法において、複眼カメラ・モジュールを画像撮影に用いる。図３を参照して、Ｎ＝３及びＮ＝５の複眼カメラ・モジュールのカメラの配置を示す。本発明の実施例において、Ｎ＝３の複眼カメラ・モジュール例を記載する。図４に示すように、Ｎ＝３の複眼カメラ・モジュールのカメラを４個の黒い点を有する所定のパターン画像を撮るために用いる。図５は、図４に示されるＮ＝３の複眼カメラ・モジュールのカメラによって得られた左側画像、中央画像及び右側画像を示す。平面変換行列を図５に示す黒い点の座標に従って計算する。

ここでは複数の水平及び垂直線を有するパターンを説明用の例として用いる。図６に示すパターンの元の左側画像、中央画像及び右側画像がＮ＝３の複眼カメラ・モジュールのカメラを用いることにより得られる。図６に示すように、元の左側画像、中央画像及び右側画像が目的の画像を得るために結合型平面及び円柱変換処理される。目的画像が合成点近傍の差異を滑らかにするために線形差分結合及びアルファブレンドの結合で処理される。そして、１個の継ぎ目のない広角画像を作るために処理画像上で合成が実行される。一方、本発明に用いる複眼カメラ・モジュールにおいて、複眼カメラ・モジュールの各カメラ間の視差無し点を垂直方向に配列する。従って、水平方向の合成に対してカメラ視差無し点の配列が視差問題を避ける。

図７を参照して、結合型平面及び円柱変換の順変換シーケンスを説明する。最初に、画像の元の座標を画像バッファーから抽出する。元の座標を平面座標に変換する。その後平面座標を円柱座標に変換する。円柱面上の変換された座標は分数である。分数円柱座標を扱うために、双線形補間が目標座標上で画像データを計算するために元の画像の座標上で実行される。

本発明による最適化された映像合成方法において、結合型平面及び円柱変換は補間を一度だけ行う。従来の合成方法では、補間は二度計算される。従って、本発明により得られた広角画像はより正確である。円柱面上で捕捉された映像及びデータのみがＤＲＡＭに蓄積されるように要求される。画像登録は映像データの各フレームに対して計算されないが調整の間静止画データで一度だけ実行される。本発明では、ＤＲＡＭメモリサイズ及び必要アクセス帯域幅は双方とも減らされる。本発明の方法は計算と映像データのための外部メモリ・アクセスの大幅な減少のために最適化する。それはハードウエア映像合成エンジンの実現を可能にさせる。更に、補間の実行が従来方法の２度に比べて１度のみなので従来方法に比べて画像の品質が改善される。

追加の利点と修正がすぐにこれらの技術に発生する。従って、そのより広い範囲の発明は、ここで示し記載した特定の詳細や代表的実施例に限定されない。それにより、種々の変形が添付の請求項及びそれら等価物によって定義された一般的発明の概念の精神の範囲から逸脱しないでされ得る。

本発明による最適化された映像合成方法の流れ図を示す図である。 本発明による最適化された映像合成方法とカメラ位置調整の流れの関係を示す図である。 Ｎ＝３及びＮ＝５の複眼カメラ・モジュールのカメラの配置を示す図である。 ４個の黒い点を有する所定のパターン画像を撮るために用いるＮ＝３の複眼カメラ・モジュールのカメラを示す図である。 図５のＮ＝３の複眼カメラ・モジュールのカメラによって得られた左側画像、中央画像及び右側画像を示す図である。 元の左側画像、中央画像及び右側画像が結合型平面及び円柱変換で処理されることを示す図である。 結合型平面及び円柱変換の順変換シーケンス示す図である(左側画像)。 従来の合成方法の流れ図を示す図である。

Claims (4)

1. 最適化された映像合成方法において
   所定のパターン画像を入力するステップと、
   平面及び円柱変換を結合する変換を行うステップと、
   線形差分結合とアルファブレンド計算を結合する結合計算を行うステップと、
   処理済画像を水平方向に互いに一緒にして１個の継ぎ目のない広角画像にする水平合成処理を行うステップと
   から成ることを特徴とする最適化された映像合成方法。
2. 最適化された映像合成方法において、
   更に、
   所定のパターン画像を用いることにより平面行列を求めるステップと、
   画像の平面変換を行うステップと、
   平坦面上で合成点を求めるためにブロック・マッチング法を利用することにより画像登録を行うステップと、
   結合型平面及び円柱変換に必要とされる座標ずれ及び広角画像中心を求めるために合成点を平坦面から円柱面に変換することにより円柱変換を行うステップとから成るカメラ位置調整の流れを備える
   ことを特徴とする請求項１に記載の最適化された映像合成方法。
3. 最適化された映像合成方法において
   前記所定のパターン画像を複眼カメラ・モジュールで捕捉し、前記複眼カメラ・モジュールの各カメラ間の視差のない点を垂直方向に配列する
   ことを特徴とする請求項２に記載の最適化された映像合成方法。
4. 最適化された映像合成方法において
   前記平面及び円柱変換を一度の補間の適用によって計算する
   ことを特徴とする請求項２に記載の最適化された映像合成方法。

Images