JP2010050842A - マルチレンズカメラシステムのための高度な動的スティッチング方法 - Google Patents

Abstract

【課題】画像をシームレスにするためにスティッチングポイントを動的に変化させる方法を提供する。
【解決手段】動的スティッチングエンジン１０が、マルチレンズカメラアレイ２０から画像またはビデオストリームを受信する。入力データが、動的スティッチング処理部１０１へ送信され、被写体の距離が変化する場合はスティッチングポイントが更新される。従来のスティッチング処理部１０２は、入力画像を変換し、更新されたスティッチングポイントにしたがって１つの画像にスティッチングする。最終的に、更新されたスティッチングポイントを用いてスティッチングされた画像は、混合技術を用いて処理され、表示用のシームレスな広角画像が得られる。
【選択図】図１

Description

本発明は、マルチレンズカメラシステムに関し、より具体的には、マルチレンズカメラシステムのための高度な動的スティッチング方法の視差現象に関する。

米国特許出願公開第２００４／０２０１７６９（Ａ１）号に記載のマルチレンズカメラシステムは、視差現象を抑える光学的方法を用いる。この光学的方法において、レンズの組は、正確な位置に配置されなければならない。さもなければ、画像間の視差が現れるであろう。なお、ビデオスティッチングエンジンにおいて高速スティッチングポイント検索エンジンを実施し、被写体距離の変化によりスティッチングポイントを動的に調節することが必要である。

したがって、本発明は、高速で効果的な検索エンジンを提供し、スティッチングポイントを動的に更新する。それにより、視差現象は補正可能となる。

マルチレンズカメラシステムは、異なる方向に面したいくつかの単レンズカメラからなる。広角画像を作成するためには、スティッチング技術が必要である。しかしながら、この種のマルチレンズシステムの大半は、視差現象を起こす。つまり、被写体が近くから遠くへ動くと、スティッチングポイントがシフトすることになる。本発明は、画像をシームレスにするためにスティッチングポイントを動的に変化させる方法を提供することを目的とする。本発明による方法は、従来のスティッチング技術を有するいかなる種類のマルチレンズカメラシステムにおいても用いることができる。

ゆえに、本発明によって、マルチレンズカメラシステムの視差現象を抑える高度な動的スティッチング方法が開示される。特徴検出およびエッジ検出を用いることで、精度が増し、ブロックマッチングの計算パワーが節約される。本発明における改善された方法は、スティッチングポイントを動的に調節するため、視差現象が無視可能となり、シームレスなスティッチングされた画像が得られる。

以下に続く説明において、明細書および図面を通して、類似の部分には同一の参照番号を付してある。

図１は、動的スティッチングシステム１の概観を説明する。動的スティッチングエンジン１０が、マルチレンズカメラアレイ２０から画像またはビデオストリームを受信する。入力データが、動的スティッチング処理部１０１へ送信され、被写体の距離が変化する場合はスティッチングポイント１２２が更新される。従来のスティッチング処理部１０２は、入力画像を変換し、更新されたスティッチングポイント１２２にしたがって１つの画像にスティッチングする。最終的に、更新されたスティッチングポイントを用いてスティッチングされた画像は、混合技術を用いて処理され、表示用のシームレスな広角画像が得られる。

図２は、カメラアレイ２０からの入力画像を示す。影付きの領域は、（サイドカメラからの）サイド画像と（センターカメラからの）センター画像との間の重複領域である。重複領域は、動的スティッチングエンジン１０において特徴検出窓に使用される。重複領域における特徴は、両画像において同一である。ゆえに、動的スティッチングエンジン１０の特徴検出窓は該領域内に定められる。

図３は、動的スティッチングエンジン１０のブロック図を説明する。センター入力画像１０４が、特徴検出部１０７およびエッジ検出部１０８へ最初に送信される。特徴検出部１０７は、特徴点の位置を発見するための特徴検出パラメータ１０６を読み出し、エッジ検出部１０８へ特徴相対座標を出力する。さらに、特徴検出部１０７は、スティッチングポイント１２２をさらに正確にするために、ブロックマッチング処理部１０９へ各特徴の重み付けを出力することも可能である。センター画像１０４のエッジ検出部１０８は、特徴検出部１０７に対する特徴相対座標を受信する限り、特徴の周囲のエッジを検出し、画像を白黒へ２色調化する。エッジ検出部１０８のブロックは、システムの精度要求および使用可能な計算電力にしたがってパラメータ化可能である。

サイド入力画像の場合、サイドカメラからの入力左または右画像１０５が、変換処理部１１０により、センター入力画像１０４の同一の面へ変換される。その後、サイドエッジ検出部１１１が、センター特徴検出部１０７からセンター画像１０４の特徴相対座標を受信する。サイドエッジ検出部１１１は、相対座標を独自の座標に変換する。独自の座標にしたがって、サイドエッジ検出部１１１は、特徴検出部１０７において定められる各特徴点のブロックマッチング窓を定める。ブロックマッチング窓は移動窓とも呼ばれ、特徴点の周囲にあり、センターエッジ検出窓よりも大きいものである。

図４は、重複領域における特徴検出窓、エッジ検出窓およびブロックマッチング窓を説明する。

エッジ検出部１０８および１１１の後、ブロックマッチング処理部１０９は、センターカメラおよびサイドカメラからの画像に対してブロックマッチングを行う。その他、センター特徴検出部１０７からの各特徴の重み付けも検討可能である。ブロックマッチング処理部１０９において、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ：絶対差の合計）が計算され、最終的に、新しいスティッチングポイント１２２が、従来のスティッチングエンジンに発見される。

図５は、エッジ検出部１０８を伴わない動的スティッチングエンジン１０のブロック図を示す。エッジ検出部は、ビデオノイズにより引き起こされる不正確さを回避するために導入される。エッジ検出部１０８を伴わない動的スティッチングエンジン１０は、低コストのシステムにとって許容可能なある精度に欠ける。ゆえに、使用可能な計算パワーが制限される低コストシステムには、エッジ検出部１０８が与えられる場合がある。

添付の特許請求の範囲またはその均等物の範疇内である限り、様々な修正、組合せ、副次的組合せおよび変更が設計的要件や他の要因に応じて生じ得る、ということが当業者には理解されるであろう。

動的スティッチングシステムの概観を示す。 カメラアレイからの入力画像を示す。 動的スティッチングエンジンのブロック図を示す。 重複領域における特徴検出窓、エッジ検出窓およびブロックマッチング窓の説明図を示す。 エッジ検出部を伴わない動的スティッチングエンジンのブロック図を示す。

Claims (8)

1. 画像を入力画像として捕捉するように構成されるカメラアレイと、
   前記カメラアレイから送信される前記入力画像を受信する動的スティッチング処理部および従来のスティッチング処理部を備えるように構成される動的スティッチングエンジンと
   を備えるマルチレンズカメラシステムであって、
   前記動的スティッチング処理部は、前記カメラアレイから前記入力画像を受信して、スティッチングポイントを更新し、
   前記従来のスティッチング処理部は、前記入力画像を変換し、更新された前記スティッチングポイントにしたがって、前記入力画像を１つの画像にスティッチングする、
   マルチレンズカメラシステム。
2. 前記カメラアレイから捕捉される前記画像は、隣接カメラからの画像間に重複領域を有する、請求項１に記載のシステム。
3. 特徴点の位置を発見するために特徴検出パラメータを読み出し、特徴相対座標と各特徴の重み付けとを出力するように構成される特徴検出部と、
   前記特徴検出部から出力される前記特徴相対座標を受信し、画像エッジの位置を発見するためにエッジ検出パラメータを読み出し、入力画像エッジのみを含む画像を出力するように構成されるエッジ検出部と、
   サイドカメラからのサイド入力画像をセンター入力画像の同一の面へ変換するように構成される変換処理部と、
   前記特徴検出部から各特徴出力の重み付けを受信し、センター画像およびサイド画像のＳＡＤ（絶対差の合計）を計算するように構成されるブロックマッチング処理部と
   をさらに備える請求項１に記載のシステム。
4. 前記カメラアレイから捕捉される前記画像は、隣接するカメラからの画像間に重複領域を有し、前記特徴検出部は、前記重複領域内で複数の特徴点を検出する、請求項３に記載のシステム。
5. 複数のブロックマッチング窓が、前記重複領域において定められる、請求項２に記載のシステム。
6. 前記複数のブロックマッチング窓は、前記マルチレンズシステムの視差にしたがってサイズが調節可能である、請求項５に記載のシステム。
7. 前記複数のブロックマッチング窓は、前記特徴点を中心とする、請求項５に記載のシステム。
8. 請求項１から７のいずれか１項に記載のマルチレンズカメラシステムのための高度な動的スティッチング方法。
   

Images