JP2013524688A - 複数の画像センサからのデータを結合すること - Google Patents

Abstract

複数のセンサからのデータを結合する方法が開示される。この方法は、単一カメラ用の入力を有する画像プロセッサで複数のラインの画像データを受信することを含む。各ラインの画像データは、第１のカメラによって取り込まれた第１の画像からの第１のラインデータと、第２のカメラによって取り込まれた第２の画像からの第２のラインデータとを含む。この方法はまた、第１の画像のラインデータに対応する第１のセクションを有し、第２の画像のラインデータに対応する第２のセクションを有する出力フレームを生成することを含む。第１のセクション及び第２のセクションは、三次元（３Ｄ）画像フォーマット又は３Ｄ映像フォーマットを生成するために使用されるように構成される。

Description

優先権の主張
本出願は、２０１０年４月５日に出願された米国仮特許出願番号第６１／３２０，９４０号、２０１０年４月１４日に出願された米国仮特許出願番号第６１／３２４，２５９号、２０１０年６月２８日に出願された米国仮特許出願番号第６１／３５９，３１２号、及び２０１０年１１月１１日に出願された米国仮特許出願番号第６１／４１２，７５５号のそれぞれの利益を主張し、参照によりこれを組み込む。

本開示は、概して、複数の画像センサからのデータを結合することに関する。

技術の進歩により、より小さくかつより強力なコンピューティング機器がもたらされた。例えば現在、携帯型無線電話、携帯情報端末（ＰＤＡ）、及び小型で、軽量の、ユーザが持ち運び易いページング機器などの無線コンピュータ機器を含む、様々な携帯型パーソナルコンピュータ機器が存在する。より詳細には、セル方式の電話及びインターネットプロトコル（ＩＰ）電話などの携帯型無線電話は、無線網を通じて音声及びデータパケットを伝えることができる。さらに、このような多くの無線電話は、その中に他のタイプの機器を組み込まれている。例えば、無線電話は、デジタル静止カメラ及びデジタルビデオカメラを搭載することもできる。また、このような無線電話は、インターネットにアクセスするために使用することができる、ウェブブラウザアプリケーションなどのソフトウェアアプリケーションを含む、実行可能命令を処理することができる。

さらに無線機器は、３次元（３Ｄ）アプリケーションを実行することができる。３Ｄアプリケーションでは、一般に少なくとも２つの画像センサを使用して、センサから立体情報を取り込む。２つの画像センサからのフレームデータが結合されて、距離情報を推論するように処理されて、３Ｄ表示を構築するために使用される。センサのそれぞれからの画像データを結合することは、一般に、フレーム同期及びライン同期を行うことを含み、その結果として、同期及び整列（alignment）の問題がもたらされる可能性がある。さらに、複数のセンサからの画像データをフィルタリングすること及びこのような画像データを交互配置すること（interleaving）は、ソースセンサが異なる周波数又は位相でデータを提供するとき、さらに複雑である可能性がある。画像処理システム全体のコスト及び複雑さを低減するために、複数のセンサ空のデータを効果的に同期し、データを効率的に処理することが有利である。

複数のカメラアレイの応用では、複数のセンサのそれぞれからの画像データは、ラインレベルで同期され、処理されなければならない。第１の画像センサ及び第２の画像センサからの画像データが同期されて、処理される、複数のセンサからのデータを結合するための画像処理システムを開示する。第１の画像センサによって生成された第１のデータストリームからの第１のデータを、第２の画像センサによって生成された第２のデータストリームからの第２のデータと同期して、結合することによって、同期されるデータラインが生成される。画像信号プロセッサは、結合器から受信される、同期されたデータラインを処理し、処理したフレームを表示器に出力するように構成される。

特定の実施形態において、方法を開示する。この方法は、同期される複数の画像センサに共通の制御信号を提供することを含む。この方法はさらに、複数の画像センサのうちの第１の画像センサから第１のデータラインを受信することと、複数の画像センサのうちの第２の画像センサから第２のデータラインを受信することと、第１のデータライン及び第２のデータラインを結合して同期されたデータラインを生成することとを含む。

別の特定の実施形態において、装置を開示する。この装置は、共通制御信号によって同期される複数の画像センサのうちの第１の画像センサから第１のデータラインを受信するように構成された第１の入力を含む。この装置はさらに、複数の画像センサのうちの第２の画像センサから第２のデータラインを受信するように構成された第２の入力と、第１の入力及び第２の入力に連結された結合器とを含み、結合器は、第１のデータラインと第２のデータラインを結合して、同期されたデータラインを生成するように構成される。

別の特定の実施形態において、方法を開示する。この方法は、複数の画像センサに共通の制御信号を提供することを含む。複数の画像センサのそれぞれは、この共通の制御信号に応答して、画像データを生成する。この方法はさらに、複数の画像センサのそれぞれからの同期されたデータ出力を受信することと、複数の画像センサのそれぞれからの同期されたデータ出力を結合して、同期されたデータラインを生成することと、画像プロセッサの単一カメラ入力を介して画像プロセッサに同期されたデータラインを提供することとを含む。

別の特定の実施形態において、装置を開示する。この装置は、複数の画像センサに共通の制御信号を提供するように構成されたセンサ同期装置を含む。複数の画像センサのそれぞれは、この共通の制御信号に応答して、画像データを生成する。この装置はさらに、複数の画像センサのそれぞれから受信される、同期されたデータ出力を結合して同期されたデータラインを生成し、画像プロセッサの単一カメラ入力によって画像プロセッサに提供されるように構成された結合器を含む。

別の特定の実施形態において、方法を開示する。この方法は、複数の画像センサに共通の制御信号を提供することを含む。複数の画像センサのそれぞれは、この共通の制御信号に応答して、画像データを生成する。この方法はさらに、複数の画像センサのそれぞれから同期されたデータ出力を受信することを含む。

別の特定の実施形態において、方法を開示する。この方法は、複数の画像センサで共通の制御信号を受信することを含む。複数の画像センサのそれぞれは、この共通の制御信号に応答して、画像データを生成する。この方法はさらに、複数の画像センサのそれぞれから同期されたデータ出力を生成することを含む。

別の特定の実施形態において、装置を開示する。この装置は、複数の画像センサに共通の制御信号を提供して、複数の画像センサに画像データを生成させるように構成されたセンサ同期装置を含む。この装置はさらに、複数の画像センサのそれぞれから同期されたデータ出力を受信するように構成されたセンサデータインターフェースを含む。

別の特定の実施形態において、方法を開示する。この方法は、単一カメラ用の入力を有する画像プロセッサで画像データのラインを受信することを含む。画像データの各ラインは、第１のカメラによって取り込まれた第１の画像からの第１のラインデータと、第２のカメラによって取り込まれた第２の画像からの第２のラインデータとを含む。この方法はさらに、第１の画像のラインデータに対応する第１のセクションを有し、第２の画像のラインデータに対応する第２のセクションを有する出力フレームを生成することを含む。第１のセクション及び第２のセクションは、三次元（３Ｄ）画像フォーマット又は３Ｄ映像フォーマットを生成するために使用されるように構成される。

別の特定の実施形態において、装置を開示する。この装置は、単一カメラ用の入力を有する画像プロセッサを含む。画像プロセッサは、入力を介して画像データのラインを受信するように構成される。画像データの各ラインは、第１のカメラによって取り込まれた第１の画像からの第１のラインデータと、第２のカメラによって取り込まれた第２の画像からの第２のラインデータとを含む。画像プロセッサは、第１のセクションが第１の画像のラインデータに対応し、第２のセクションが第２の画像のラインデータに対応する出力フレームを生成するように構成される。第１のセクション及び第２のセクションは、三次元（３Ｄ）画像フォーマット又は３Ｄ映像フォーマットを生成するために使用されるように構成される。

特定の実施形態において、複数のセンサからのデータを１つのフレームに結合する方法を開示する。この方法は、第１の画像センサから第１のデータストリームを受信することと、第２の画像センサから第２のデータストリームを受信することと、第１のデータストリームからのデータと第２のデータストリームからのデータを結合してフレームを生成することとを含む。この方法はさらに、画像信号プロセッサでフレームを処理して処理済みフレームを生成することと、処理済みフレームを出力して表示することとを含む。第１の画像センサ及び第２の画像センサのそれぞれは、画像信号プロセッサに直接応答する。

別の特定の実施形態において、装置を開示する。この装置は、第１のデータストリームを生成するように構成された第１の画像センサと、第２のデータストリームを生成するように構成された第２の画像センサと、第１のデータストリームからの第１のデータと第２のデータストリームからの第２のデータとを結合してフレームを生成するように構成された結合器とを含む。この装置はさらに、フレームを処理し、処理済みフレームを出力して表示するように構成された画像信号プロセッサを含む。第１の画像センサ及び第２の画像センサのそれぞれは、画像信号プロセッサに直接応答する。

別の特定の実施形態において、方法を開示する。この方法は、第１の画像センサから画像の第１の画像データを受信することと、第２の画像センサから画像の第２の画像データを受信することと、画像データの取得中に第１の画像センサ及び第２の画像センサの露出をラインごとに同期することとを含む。第１の画像センサ及び第２の画像センサは、互いに独立している。同期はラインごとであることが可能であり、またフレームごとであることが可能である。

別の特定の実施形態において、装置を開示する。この装置は、メモリバッファを含む。メモリバッファは、各フレームのストリーミングを通して決定論的順序で入ってくるストリームを整列させる（align）ためのセクションと、ストリーム間のプログラム可能ギャップセクションとを含む。

別の特定の実施形態において、方法を開示する。この方法は、単一カメラ用の入力を有する画像プロセッサで複数行（rows）の画像データを受信することを含む。各行の画像データは、第１のカメラによって取り込まれた１行の第１の画像からのデータと、第２のカメラによって取り込まれた１行の第２の画像からのデータとを含む。この方法はまた、３次元（３Ｄ）画像フォーマット又は３Ｄ映像フォーマットを有する出力を生成することを含む。出力は、第１の画像及び第２の画像に対応する。

別の特定の実施形態において、装置を開示する。この装置は、単一カメラ用の入力を有する画像プロセッサを含む。この装置はまた、複数行の画像データを画像プロセッサに送信するように構成された結合器を含む。各行の画像データは、第１のカメラによって取り込まれた１行の第１の画像からの第１のデータと、第２のカメラによって取り込まれた１行の第２の画像からの第２のデータとを含む。画像プロセッサは、３次元（３Ｄ）画像フォーマット又は３Ｄ映像フォーマットを有する出力を生成するように構成される。出力は、第１の画像及び第２の画像に対応する。

開示する実施形態の少なくとも１つによって提供される１つの特定の利点は、単一画像信号プロセッサを使用して、複数の画像センサからのデータを同期及び制御することができるということである。もう１つの特定の利点は、ストリーム間にギャップを有することにより、画像信号プロセッサで単一フレームとして結合されたストリームを処理するという柔軟性が提供され、その後のブロックベースの処理によるストリームの汚染（contamination）が回避されるということである（即ち、ギャップが最大のブロックベースの処理に等しい場合、ストリームの汚染は回避される）。

本開示の他の態様、利点、及び特徴点は、図面の簡単な説明、発明を実施するための形態、及び特許請求の範囲を検討後に明らかになるであろう。

複数の画像センサからのデータを結合するための画像処理システムの特定の例示的実施形態のブロック図。 複数の画像センサからのデータを結合するための画像処理システムの第２の例示的実施形態のブロック図。 複数の画像センサからのデータを結合するための画像処理システムの第３の例示的実施形態のブロック図。 第１の画像センサ及び第２の画像センサが共通の制御データを受信する、図２の画像処理システムの選択された部分の特定の例示的実施形態のブロック図。 複数の画像センサからのデータを結合するための画像処理システムの第４の例示的実施形態のブロック図。 第１の画像センサの出力における第１のデータストリーム及び第２の画像センサの出力における第２のデータストリームが結合されて同期されたデータラインを形成する第１の実施形態を表す図。 第１の画像センサの出力における第１のデータストリーム及び第２の画像センサの出力における第２のデータストリームが結合されて同期されたデータラインを形成する第２の実施形態を表す図。 第１のセンサからの第１のデータストリームと第２のセンサからの第２のデータストリームとの間の２つのラインの位相差を示す位相図の第１の実施形態を表す図。 第１のセンサからの第１のデータストリームと第２のセンサからの第２のデータストリームとの間の１つのラインの位相差を示す位相図の第２の実施形態を表す図。 複数のセンサのそれぞれの画素データ及び同期されたデータラインを表す図。 複数のセンサのフレーム有効（frame valid）及びライン有効（line valid）信号タイミングを示すタイミング図。 第１のセンサからの第１のデータストリームと第２のセンサからの第２のデータストリームとの間の３つのラインの位相差を示す位相図の第３の実施形態を表す図。 複数の画像センサからのデータを結合して３次元画像フォーマットを作り出すための画像処理システムの特定の例示的実施形態のブロック図。 複数の画像センサからのデータを結合するための画像処理システムを有するモバイル機器の様々な実施形態を表す図。 画像間に重複を含むカメラのアレイによって取り込まれる画像の一例を表す図。 各画像がその独自の移動成分（shifting component）及び回転成分（rotation component）を有することができる、画像間に重複を含むカメラのアレイによって取り込まれる画像の一例を表す図。 カメラのアレイ及びカメラのアレイと関連する電気接続の特定の実施形態を示すブロック図。 カメラアレイ処理システムの第１の特定の例示的実施形態のブロック図。 カメラアレイ処理システムの第１の特定の例示的実施形態のブロック図。 メインレンズと、アレイ状に配列された複数のカメラとを含むカメラシステムを表す図。 自動車内部の複数のカメラモジュールを表す図。 複数のセンサからのデータを結合して同期されたデータラインにする方法の特定の例示的実施形態の流れ図。 複数の画像センサに共通の制御信号を提供し、画像プロセッサの単一カメラ入力を介して画像プロセッサに同期されたデータラインを提供する方法の特定の例示的実施形態の流れ図。 複数の画像センサに共通の制御信号を提供し、複数の画像センサのそれぞれからの同期されたデータ出力を受信する方法の特定の例示的実施形態の流れ図。 複数の画像センサで共通の制御信号を受信し、複数の画像センサのそれぞれからの同期されたデータ出力を生成する方法の特定の例示的実施形態の流れ図。 単一カメラ用の入力を有する画像信号プロセッサにおいて複数のセンサからのデータを結合する方法の特定の例示的実施形態の流れ図。 複数のセンサからのデータを結合してフレームにする方法の特定の例示的実施形態の流れ図。 第１の画像センサ及び第２の画像センサの露出をラインごとに同期する方法の特定の例示的実施形態の流れ図。 複数のセンサからのデータを結合して３次元画像データを生成する方法の第１の例示的実施形態の流れ図。 複数のセンサからのデータを結合して３次元画像データを生成する方法の第２の例示的実施形態の流れ図。 第１の画像センサ及び第２の画像センサの露出をラインごとに同期する方法の特定の例示的実施形態の流れ図。 複数のセンサからのデータを結合して同期されたデータラインから３次元画像データを生成する方法の特定の例示的実施形態の流れ図。 複数の画像センサからのデータを結合するための画像処理システムの特定の例示的実施形態のブロック図。 複数の画像センサからのデータを結合するための画像処理システムを含む無線機器の第１の例示的実施形態のブロック図。 複数の画像センサからのデータを結合するための画像処理システムを含む無線機器の第２の例示的実施形態のブロック図。

図１を参照すると、複数のセンサからのデータを結合するための画像処理システムの特定の例示的実施形態が描かれ、全体として１００と示されている。画像処理システム１００は、複数のカメラモジュール１０２と、センサモジュール１０４と、単一カメラのチップモジュール１０６とを含む。特定の実施形態において、センサモジュール１０４は、図２及び図３のセンサ２０２及び２０４などの複数のセンサを含むことができ、複数のセンサのそれぞれが、画像のデータラインを含むデータストリームを生成するように構成される。単一カメラモジュール１０６は、図２及び図３の画像プロセッサ２０８などの、単一カメラ入力を有する画像プロセッサを含むことができる。複数のセンサの画像データストリームの画像データをラインごとに結合して同期されたデータライン１０８にすることにより、画像プロセッサがたとえ単一カメラ入力を有する場合でも、画像プロセッサが複数のカメラの処理のためのフォーマットを行うことができるようになる。結果として、システム１００は、各カメラに個々のプロセッサを使用するシステム、又は複数のカメラ入力を有するプロセッサを使用するシステムと比べてコストを削減して実装されることが可能である。

図２を参照すると、複数のセンサからのデータを結合するための画像処理システムの特定の例示的実施形態が描かれ、全体として２００と示されている。画像処理システム２００は、第１のセンサ２０２と第２のセンサ２０４とを含む。画像処理システム２００はさらに、結合器２０６と、画像信号プロセッサ又はビデオフロントエンド２０８と、センサ同期装置２３０とを含む。画像信号プロセッサ２０８は、表示装置（図示せず）に結合することができる。結合器２０６は、１つ以上のラインバッファ２１６を含む。画像処理システム２００は、少なくとも１つの半導体ダイに組み込むことができる。

第１のセンサ２０２は、第１の画像データストリーム２１２として示す、第１のデータストリームを生成するように構成することができる。第１の画像データストリーム２１２は、第１のデータライン２２２を含む。第２のセンサ２０４は、第２の画像データストリーム２１４として示す、第２のデータストリームを生成するように構成することができる。第２の画像データストリーム２１４は、第２のデータライン２２４を含む。第１及び第２のセンサ２０２、２０４は、互いに独立していて、センサ同期装置２３０から共通の同期信号２３４を受信する実質的に同様の画像センサとすることができる。センサ同期装置２３０は、制御／データ信号２３２を受信し、第１のセンサ２０２及び第２のセンサ２０４に共通の制御信号２３４を出力するように構成され、第１のセンサ２０２及び第２のセンサ２０４が近接して整列されたデータストリーム２１２、２１４を生成できるようにする。例えば、データストリーム２１２、２１４は、周波数及び位相など、実質的に同じタイミング特性を有することができる。特定の実施形態において、制御／データ信号２３２は、画像信号プロセッサ２０８から受信されることがある。

結合器２０６は、第１の画像データストリーム２１２及び第２の画像データストリーム２１４に応答する。結合器２０６は、ラインバッファ２１６内で、第１の画像データストリーム２１２からのデータと第２の画像データストリーム２１４からのデータとを結合するように構成される。特定の実施形態において、ラインバッファ２１６は、第１のセンサ２０２からの第１のデータライン２２２などの第１のデータと、第２のセンサ２０４からの第２のデータライン２２４などの第２のデータとを整列させるように構成される。特定の実施形態において、結合器２０６は、ラインバッファ２１６内に格納されたデータに応答して、画像信号プロセッサ２０８にラインデータ２１８を提供する。特定の実施形態において、ラインデータ２１８は、図６に関して記載するような、各行が各センサ２０２、２０４からの対応する行の組合せである複数の行を含むことができる。

画像信号プロセッサ２０８は、ラインデータ２１８を処理し、処理済みラインデータ２４０を生成するように構成される。特定の実施形態において、処理済みラインデータ２４０は、処理済みフレームデータとして提供されることが可能である。２つのセンサを示したが、他の実施形態は３つ以上のセンサを含むことができることを理解されたい。例えば、図３は、３つ以上のセンサを含む実施形態３００を示している。第Ｎのセンサ３０５は、第Ｎの画像データストリーム３１５として示す、第Ｎのデータストリームを生成するように構成することができる。第Ｎの画像データストリーム３１５は、第Ｎのデータライン３２５を含む。第Ｎのセンサ３０５は、第１の画像センサ２０２及び第２の画像センサ２０４と実質的に同様である可能性があり、センサ同期装置２３０から共通の制御信号２３４を受信することができ、第１のセンサ２０２、第２のセンサ２０４、及び第Ｎのセンサ３０５が近接して整列されたデータストリーム２１２、２１４、３１５を生成できるようにする。例えば、データストリーム２１２、２１４、３１５は、周波数及び位相など、実質的に同じタイミング特性を有することができる。結合器２０６は、第１の画像データストリーム２１２、第２の画像データストリーム２１４、及び第Ｎの画像データストリーム３１５に応答する。結合器２０６は、ラインバッファ２１６内で、第１の画像データストリーム２１２、第２の画像データストリーム２１４、及び第Ｎの画像データストリーム３１５からのデータを結合するように構成される。

共通に制御された、同様のセンサ（例えば、図２の２０２、２０４、又は、図３の２０２、２０４、３０５）が実質的に同じ周波数及び位相を有するので、結合器２０６で受信されたデータストリーム間の同期は、画像データの単一画像ライン内で行われることが可能である。特定の実施形態において、ラインバッファ２１６は、ずれ（misalignment）の最悪の場合に備えたサイズにされることが可能である（即ち、同期のずれが３つのラインであるとき、ラインバッファ２１２は、少なくとも６つのラインをバッファする大きさにされるべきである）。結果として、結合されたデータは、単一画像信号プロセッサを使用して効率的に処理されることが可能である。従って、複数のプロセッサのシステム（例えば、各センサにプロセッサが割り当てられる）と比べて、画像システム全体のコスト及び複雑さを低減することができる。

図４を参照すると、図２の画像処理システム２００の選択された部分４００の特定の例示的実施形態を示している。画像処理システムのこの部分４００は、第１のセンサ２０２と、第２のセンサ２０４と、センサ同期装置２３０とを含む。特定の実施形態において、第１のセンサ２０２及び第２のセンサ２０４は、センサ同期装置２３０から入力された同じスタートアップ信号又はリセット信号及び同じクロックを受信する同一のセンサ又は実質的に同一のセンサである。例えば、第１のセンサ２０２及び第２のセンサ２０４は、センサ同期装置２３０から共通の制御データ／信号をそれぞれ受信することができる。特定の実施形態において、制御データ／信号は、制御クロック信号４０４、制御データ信号４０６、カメラクロック信号４０８、及びカメラリセット信号４１０を含むことができる。制御データ／信号４０４〜４１０は、Ｉ２Ｃ（Inter-Integrated Circuit）マルチマスタシリアルコンピュータバスなど、２線チップ間通信プロトコルに準拠したインターフェースを介して形成され、伝送されることが可能である。或いは、制御データ／信号４０４〜４１０は、ＣＳＩ（Camera Serial Interface）などデジタルカメラモジュールと携帯電話エンジンとの間のシリアルインターフェース、ＣＳＩ−２（Camera Serial Interface 2）など周辺装置（カメラ）とホストプロセッサ（ベースバンド、アプリケーションエンジン）との間のインターフェース、ＣＰＩ（Camera Parallel Interface）などデジタルカメラモジュールと携帯電話エンジンとの間のパラレルインターフェース、又は他の制御インターフェースの仕様に準拠したインターフェースに従って形成され、伝送されることが可能である。

第１のセンサ２０２は、図２又は図５のシステムに示すように、第１のタイミングデータ４２０及び第１のセンサ画像データ４２２を結合器２０６に送信するように構成することができる。同様に、第２のセンサ２０４は、第２のタイミングデータ４３０及び第２のセンサ画像データ４３２を、図２又は図５の結合器２０６に送信するように構成することができる。

動作中、第１のセンサ２０２及び第２のセンサ２０４は、それぞれタイミングの観点から同一又は実質的に同一の条件で動作する。例えば、第１のセンサ２０２及び第２のセンサ２０４は、それぞれ同じ制御クロック信号４０４、同じ制御データ信号４０６、同じカメラクロック信号４０８、及び同じカメラリセット信号４１０を受信する。第１のセンサ２０２及び第２のセンサ２０４は、同一又は実質的に同一であるので、これらは同じタイミング条件の下で実質的に同様に動作する。例えば、第１のセンサ２０２からのデータ出力は、第２のセンサ２０４からのデータ出力と実質的に同じ周波数及び位相を有する。例えば、第１のセンサ２０２及び第２のセンサ２０４からのデータ出力の間の位相差は、位相差の単一水平線よりも少ないことが可能であり、２つの画像センサ２０２、２０４からの画像データを同期及び制御するために単一画像信号プロセッサを使用できるようにする。

図５を参照すると、複数のセンサからのデータを結合するための画像処理システムの特定の例示的実施形態のブロック図が描かれ、全体として５００と示されている。システム５００は、第１の画像センサ２０２と、第２の画像センサ２０４と、結合器２０６と、センサ同期装置２３０と、画像信号プロセッサ２０８とを含む。システム５００はさらに、レジスタインターフェース５１０と、クロック管理機器５１２とを含む。特定の実施形態において、レジスタインターフェース５１０は、センサ同期装置２３０内にあることが可能である。或いはレジスタインターフェース５１０は、独立型モジュールであることが可能である。特定の実施形態において、システム５００はさらに、薄い出力フォーマッタ(thin output formatter)５０６（陰影で示す）と、トランスポートパッカ及びフォーマッタ５０８（陰影で示す）とを含むことができる。

特定の実施形態において、結合器２０６は、第１のセンサ２０２から第１のタイミングデータ４２０及び第1のセンサ画像データ４２２を受信するように構成される。結合器２０６はまた、第２のセンサ２０４から第２のタイミングデータ４３０及び第２のセンサ画像データ４３２を受信するように構成される。結合器２０６はさらに、クロック管理機器５１２からクロック信号５２６を受信するように構成される。結合器２０６は、第１のタイミングデータ４２０と、第１のセンサ画像データ４２２と、第２のタイミングデータ４３０と、第２のセンサ画像データ４３２とを使用して、同期されたデータラインを生成し、これが画像信号プロセッサ２０８に提供される。画像信号プロセッサ２０８は、同期されたデータラインを処理して、処理済みデータラインデータを作成する。処理済みデータラインデータは、表示装置など、別の構成要素に提供することができる。このように、複数のセンサからの画像データは結合され、処理され、レンダリングされて表示装置に表示される。

特定の実施形態において、第１のタイミングデータ４２０を第１の画素クロックと関連付けることができ、第１のセンサ画像データ４２２を第１の画素サイズと関連付けることができ、第２のタイミングデータ４３０を第２の画素クロックと関連付けることができ、第２のセンサ画像データ４３２を第２の画素サイズと関連付けることができる。結合器４０６が第１のタイミングデータ４２０と、第１のセンサ画像データ４２２と、第２のタイミングデータ４３０と、第２のセンサ画像データ４３２とを結合して同期されたデータラインを生成するとき、第１の画像データの第１のラインと第２の画像データの対応するラインが結合されて単一画像ラインになる。特定の実施形態において、単一画像ラインのサイズは、第１の画像データの第１のライン又は第２の画像データの対応するラインのサイズの実質的に２倍である可能性があり（例えば、第１の画素サイズ又は第２の画素サイズの２倍）、結合された単一画像ラインの画素クロックのレートは、第１の画素クロック又は第２の画素クロックのレートの実質的に２倍である可能性がある（例えば、第１の画素クロック周波数又は第２の画素クロック周波数の２倍であるクロック周波数を有する可能性がある）。生成された同期済みデータラインは、結合器タイミングデータ信号５２８及び結合器画像データ信号５３０によって画像信号プロセッサ２０８に送信される。

特定の実施形態において、結合器２０６によって生成される同期済みデータラインは、薄い出力フォーマッタ５０６に提供されて、フォーマットされたデータを作成することが可能であり、これがトランスポートパッカ及びフォーマッタ５０８に提供された後に画像信号プロセッサ２０８に提供される。

特定の実施形態において、薄い出力フォーマッタ５０６は、結合器タイミングデータ信号５２８及び結合器画像データ信号５３０を受信して、フォーマットされたデータを作成する。フォーマットされたデータは、出力フォーマッタタイミングデータ信号５３６、出力フォーマッタ画像データ信号５３８、出力フォーマッタ統計データ信号５４０、出力フォーマッタ開始データ信号５４２、及び出力フォーマッタ有効データ信号５４４を含むことができる。特定の実施形態において、トランスポートパッカ及びフォーマッタ５０８は、薄い出力フォーマッタ５０６からのフォーマットされたデータ５３６〜５４４を受信し、トランスポートタイミングデータ信号５４６及びトランスポート画像データ信号５４８を含むトランスポートデータストリームを生成する。

特定の実施形態において、レジスタインターフェース５１０は、画像信号プロセッサ２０８に結合され、またクロック管理機器５１２に結合されることが可能である。特定の実施形態において、レジスタインターフェース５１０は、クロック管理機器５１２からクロック信号５２７を受信することができ、またレジスタバス５７２に結合されることが可能である。クロック管理機器５１２は、第２のタイミングデータ信号４３０を受信し、クロック信号５２６を出力するように構成される。特定の実施形態において、クロック信号５２６は、結合器２０６が複数のセンサからの同時データを結合する間、フレーム処理レートを維持できるように、第２のタイミングデータ信号４３０の周波数の実質的に２倍である。

共通に制御された同様のセンサからのデータ出力は、実質的に同じ周波数及び位相を有するので、データストリーム間の同期は、画像データの単一画像ラインの中で行われることが可能である。このように、結合されたデータは、画像データの単一ラインにアクセスすることができる単一画像信号プロセッサを使用して効率的に処理されることが可能である。

図６を参照すると、第１の画像センサの出力の第１のデータストリーム及び第２の画像センサの出力の第２のデータストリームが結合されて同期されたデータラインを形成する特定の実施形態を表す図が描かれ、全体として６００と示される。図２の第１のセンサ２０２などの第１のセンサが、画像の第１の画像データに対応する第１のデータストリーム６０２を生成する。図２の第２のセンサ２０４などの第２のセンサが、画像の第２の画像データに対応する第２のデータストリーム６０４を生成する。第１のデータストリーム６０２からのデータ及び第２のデータストリーム６０４からのデータが結合されて、データアウトのデータストリーム６０６を形成する。

特定の実施形態において、第１のデータストリーム６０２は、画像の第１の画像データの第１のラインと関連するデータを含み、第２のデータストリーム６０４は、画像の第２の画像データの対応するラインと関連するデータを含む。第１のデータストリーム６０２は、第１のラインインデックス値を有するラインデータ６１０、第２のラインインデックス値を有するラインデータ６１２、第３のラインインデックス値を有するラインデータ６１４、及び第４のラインインデックス値を有するラインデータ６１６を含む第２のデータストリーム６０４は、第１のデータストリームのラインデータに対応するラインデータを含み、第１のラインインデックス値を有する対応するラインデータ６２０、第２のラインインデックス値を有する対応するラインデータ６２２、第３のラインインデックス値を有する対応するラインデータ６２４、及び第４のラインインデックス値を有する対応するラインデータ６２６を含む。

データアウトのデータストリーム６０６は、画像の第１の画像データの第１のラインと画像の第２の画像データの対応するラインの組合せを含む。図のように、第１のデータストリーム６０２及び第２のデータストリーム６０４は交互配置されてデータアウトのデータストリーム６０６を形成する。例えば、データアウトのデータストリーム６０６は、第１のラインインデックス値を有する結合されたラインデータ６３０、第２のラインインデックス値を有する結合されたラインデータ６３２、及び第３のラインインデックス値を有する結合されたラインデータ６３４を含む。結合されたラインデータ６３０は、ラインデータ６１０及び対応するラインデータ６２０を含む。結合されたラインデータ６３２は、ラインデータ６１２及び対応するラインデータ６２２を含む。結合されたラインデータ６３４は、ラインデータ６１４及び対応するラインデータ６２４を含む。それぞれの結合されたライン６３０〜６３４は、図２のラインバッファ２１６などのラインバッファ内で対応するラインを結合することによって生成することができる。

特定の実施形態において、第１のデータストリーム６０２からのデータは、第２のデータストリーム６０４からのデータと結合されて、複数の同期されたデータラインを生成し、これらがフレーム６６０を形成する。フレーム６６０は、複数の行６４２を含むことができ、それぞれの行があるラインインデックス値に対応し、そのラインインデックス値を有する第１の画像データのラインと、そのラインインデックス値を有する第２の画像データの対応するラインとを含む同期されたデータラインを格納する。例えば、フレーム６６０の第１の行は、結合されたラインデータ６３０を含むことができ、フレーム６６０の第２の行は、結合されたラインデータ６３２を含むことができ、フレーム６６０の第３の行は、結合されたラインデータ６３４を含むことができる。各同期された画像データラインは、フレーム６６０のデータが整列するようにフレーム６６０の一部を形成する。

フレーム６６０は、画像センサからの画像データの読み取り順（read order）に一致する行６４２の順序で示されている（即ち、画像センサのトップライン（ラインインデックス１）からの結合されたデータがフレーム６６０の最上ラインにあり、画像センサの次のライン（ラインインデックス２）からの結合されたデータがフレーム６６０の次のラインにある）。或いは、他の実施形態では、フレーム６６０の行は、画像データの読み取り順に一致しない場合があり、代わりに画像データのいかなる他の順序に対応することもできる。例えば、フレーム６６０の最上行がラインインデックス２に対応することができ、フレーム６６０の次の行がラインインデックス１に対応することができる。フレーム６６０は、行６４２のそれぞれを画像データのラインインデックス値のいずれかに対応するようにプログラムすることができるように、プログラム可能とすることができる。

特定の実施形態において、第１の画像データの第１のライン６１０は、第１の画素サイズ（例えば、ラインあたりの画素数）及び第１の画素クロックと関連し、第２の画像データの対応するライン６２０は、第２の画素サイズ及び第２の画素クロックと関連する。データストリーム６０２、６０４を生成する第１のセンサ及び第２のセンサは、共通のクロック信号及び共通のリセット信号を受信するように構成される。第１の画像データの第１のライン６１０及び第２の画像データの対応するライン６２０が、単一画像ラインに結合されるとき、単一画像ラインのサイズは、第１の画像データの第１のライン６１０又は第２の画像データの対応するライン６２０のサイズの実質的に２倍であり、結合された単一画像ラインの画素クロック信号（例えば、第３の画素クロック信号）は、実質的に第１の画素クロック信号又は第２の画素クロック信号の２倍のクロックレートを有する。例えば、結合されたラインデータ６３０は、実質的にラインデータ６１０の２倍又は対応するラインデータ６２０の２倍の画像サイズを有することができる。同様に、結合されたラインデータ６３０の画素クロック周波数は、実質的にラインデータ６１０と関連する第１の画素クロック信号の２倍又は対応するラインデータ６２０と関連する第２の画素クロック信号の２倍の周波数を有することができ、結合されたラインデータ６３０の画素クロック周波数は、第１の画素クロック又は第２の画素クロックの実質的に２倍の周波数を有する第３の画素クロック信号と関連付けることができる。

或いは、等しいラインサイズを有するラインデータの３つの画像センサが結合される実行では、同期されるラインサイズは、実質的に３倍のセンサラインサイズであることが可能であり、画素クロックレートは、実質的に個々のセンサの３倍の画素クロックレートであることが可能である。等しくないサイズを有する可能性がある任意の数のセンサの一般的な場合では、同期されるラインサイズは、結合されるラインライズの合計以上と設定することができ、画素クロックレートは、出力ライン帯域幅が入力帯域幅の合計以上であるように設定することができる。

フレーム６６０は、図２の画像信号プロセッサ２０８などの画像信号プロセッサで処理して、処理済みフレーム６５０を生成することができる。処理済みフレーム６５０は、図２のセンサ２０２などの第１の画像センサからの第１の画像データを含む第１のセクション６５２と、図２のセンサ２０４などの第２の画像センサからの第２の画像データを含む第２のセクション６５４と、ギャップセクション６５６とを含む。ギャップセクション６５６は、第１のセクション６５２と第２のセクション６５４との間に配置された非画像データを含むことができる。

特定の実施形態において、第１のセクション６５２は、第１の画像データのラインを含み、第２のセクション６５４は、第２の画像データの対応するラインを含む。特定の実施形態において、ギャップセクション６５６は、エッジフィルタリングに使用されることが可能であり、幅が約５画素のブラックギャップ（black gap）を含むことができる。さらなる例として、ギャップセクション６５６は、ライン間に追加され、補完カーネルのサイズ、又は画像信号プロセッサによってフレーム６５０に適用される最大の２次元フィルタのサイズに等しいサイズを有することがある。

特定の例示的実施形態では、自動露出、自動フォーカス、及び自動ホワイトバランスの統計を、第１のセクション６５２又は第２のセクション６５４から収集することができ、そのうちのいずれも、それぞれのセンサのうちの１つからのフル画像であることが可能である。従って、自動露出、自動フォーカス、及び自動ホワイトバランスの統計は、最終的な画像の半分（例えば第１のセクション６５２）から集めることができ、両方のセンサが実質的に同一のタイミング情報を受信しているので、両方のセンサに適用することができる。このように、複数のセンサからのデータ出力が実質的に同じ周波数及び位相を有し、画像の画像データの１つの画像ライン内で同期が行われるようにする。

フレーム６５０は、少なくとも１つの半導体ダイに組み込まれているメモリに格納することができる。フレーム６５０は、セットトップボックス、音楽プレーヤ、映像プレーヤ、娯楽装置、航法機器（navigation device）、通信機器、携帯情報端末（ＰＤＡ）、固定位置データユニット、及びコンピュータなどの、家庭用電子機器に組み込まれているメモリに格納することができる。電子機器は、複数のセンサからの画像データを処理する３Ｄ応用を含む、画像処理方法を利用することができる。

図７を参照すると、第１の画像センサの出力における第１のデータストリーム及び第２の画像センサの出力における第２のデータストリームが結合されて同期されたデータラインを形成する第２の実施形態を表す図が描かれ、全体として７００と示されている。図２の第１の画像センサ２０２などの第１のセンサが、画像の第１の画像データに対応する第１のデータストリーム７０２を生成する。図２の第２の画像センサ２０４などの第２のセンサが、画像の第２の画像データに対応する第２のデータストリーム７０４を生成する。第１のデータストリーム７０２からのデータ及び第２のデータストリーム７０４からのデータが結合されて、データアウトのデータストリーム７０６を形成する。

特定の実施形態において、第１のデータストリーム７０２は、画像の第１の画像データの第１のラインと関連するデータを含み、第２のデータストリーム７０４は、画像の第２の画像データの対応するラインと関連するデータを含む。第１のデータストリーム７０２は、第１のラインインデックス値を有するラインデータ７１０、第２のラインインデックス値を有するラインデータ７１２、第３のラインインデックス値を有するラインデータ７１４、及び第４のラインインデックス値を有するラインデータ７１６を含む第２のデータストリーム７０４は、第１のデータストリームのラインデータに対応するラインデータを含み、第１のラインインデックス値を有する対応するラインデータ７２０、第２のラインインデックス値を有する対応するラインデータ７２２、第３のラインインデックス値を有する対応するラインデータ７２４、及び第４のラインインデックス値を有する対応するラインデータ７２６を含む。

データアウトのデータストリーム７０６は、画像の第１の画像データの第１のラインと画像の第２の画像データの対応するラインの組合せを含む。図のように、第１のデータストリーム７０２及び第２のデータストリーム７０４は、ギャップセクション７０８を有して交互配置されてデータアウトのデータストリーム７０６を形成する。例えば、データアウトのデータストリーム７０６は、第１のラインインデックス値を有する組合されたラインデータ７３０、第２のラインインデックス値を有する組合されたラインデータ７３２、及び第３のラインインデックス値を有する組合されたラインデータ７３４を含む。組合されたラインデータ７３０は、ギャップセクション７０８によって対応するラインデータ７２０から分離されたラインデータ７１０を含む。組合されたラインデータ７３２は、ギャップセクション７０８によって対応するラインデータ７２２から分離されたラインデータ７１２を含む。組合されたラインデータ７３４は、ギャップセクション７０８によって対応するラインデータ７２４から分離されたラインデータ７１４を含む。それぞれの組合されたライン７３０〜７３４は、図２のラインバッファ２１６などのラインバッファ内で対応するライン間にギャップセクション７０８を有して対応するラインを結合することによって生成することができる。

特定の実施形態において、第１のデータストリーム７０２からのデータは第２のデータストリーム７０４からのデータと結合されて、複数の同期されたデータラインを生成し、これらがフレーム７４０を形成する。フレーム７４０は、複数の行７４２を含むことができ、各行があるラインインデックス値に対応し、そのラインインデックス値を有する第１の画像データのラインを格納し、そのラインインデックス値を有する第２の画像データの対応するラインを格納する。例えば、フレーム７４０の第１の行は、組合されたラインデータ７３０含むことができ、フレーム７４０の第２の行は、組合されたラインデータ７３２を含むことができ、フレーム７４０の第３の行は、組合されたラインデータ７３４を含むことができるなどのように、フレーム７４０中のデータは並べられる。

特定の実施形態において、第１の画像データの第１のライン７１０は、第１の画素サイズ（例えば、ラインあたり数画素）及び第１の画素クロックと関連し、第２の画像データの対応するライン７２０は、第２の画素サイズ及び第２の画素クロックと関連する。データストリーム７０２、７０４を生成する第１のセンサ及び第２のセンサは、共通のクロック信号及び共通のリセット信号を受信するように構成される。第１の画像データの第１のライン７１０及び第２の画像データの対応するライン７２０が単一画像ラインに結合されるとき、単一画像ラインのサイズは、第１の画像データの第１のライン７１０又は第２の画像データの対応するライン７２０のサイズの約２倍となる。さらに、結合された信号画像ラインの画素クロック信号（例えば、第３の画素クロック信号）は、第１の画素クロック信号又は第２の画素クロック信号のクロックレートの実質的に２倍のクロックレートを有する。例えば、結合されたラインデータ７３０は、およそラインデータ７１０の画像サイズの２倍又は対応するラインデータ７２０の画像サイズの２倍である画像サイズを有することができる。同様に、結合されたラインデータ７３０の画素クロック周波数は、およそラインデータ７１０と関連する第１の画素クロック信号の周波数の２倍、又は対応するラインデータ７２０と関連する第２の画素クロックの周波数の２倍である周波数を有することができ、従って組合されたラインデータ７３０の画素クロック周波数は、第１の画素クロック又は第２の画素クロックの信号のおよそ２倍の周波数を有する第３の画素クロック信号と関連付けることができる。

各ギャップセクション７０８は、非画像データを含むことができる。特定の実施形態において、ギャップセクション７０８によって形成されるフレーム７４０中の非画像データエリアは、エッジフィルタリングに使用されることが可能である。ギャップセクション７０８は、幅が約５画素のブラックギャップを含むことができる。他の実施形態では、各ギャップセクション７０８は、補間カーネルのサイズ又は図２の画像プロセッサ２０８などの画像プロセッサによってフレーム７４０に適用される最大の２次元フィルタのサイズに等しいサイズを有する。フレーム７４０は、画像プロセッサによって処理されて、３Ｄ画像を生成することが可能である。

図８を参照すると、第１のセンサからの第１のデータストリームと第２のセンサからの第２のデータストリームとの間の２つのラインの位相差を示す位相図の第１の実施形態を表す図が描かれ、全体として８００と示されている。図２の第１のセンサ２０２などの第１のセンサは、第１のセンサの第１のラインデータ８０２と、第１のセンサの第２のラインデータ８０４と、第１のセンサの第３のラインデータ８０６とを含む第１のデータストリームを生成する。図２の第２のセンサ２０４などの第２のセンサは、第２のセンサの第１のラインデータ８１２と、第２のセンサの第２のラインデータ８１４と、第２のセンサの第３のラインデータ８１６とを含む第２のデータストリームを生成する。第１のデータストリームからのデータ及び第２のデータストリーム７０４からのデータが結合されて、結合されたライン８２０を形成する。図８に示す特定の実施形態において、第１、第２、及び第３のラインデータを示している。或いは、いかなる数のラインデータを生成することもできる（例えば、図６及び７に示す７２０のライン）。

図８の特定の実施形態において、第１のデータストリームのデータと第２のデータストリームのデータとの間に２つのラインの位相差がある。例えば、第１のセンサの第１のラインデータ８０２は、第１のラインの位相中に図２の結合器２１６などの結合器によって受信されることが可能であり、第１のセンサの第２のラインデータ８０４は、第２のラインの位相中に受信されることが可能であり、第１のセンサの第３のラインデータ８０６及び第２のセンサの第１のラインデータ８１２は、第３のラインの位相中に受信されることが可能である。このように、第１のセンサの第１のラインデータ８０２と第２のセンサの第１のラインデータ８１２との間に２つのラインの位相差がある。

結合されたライン８２０は、画像の第１の画像データの第１のラインと画像の第２の画像データの対応するラインの組合せを含む。図のように、第１のデータストリーム及び第２のデータストリームは交互配置されて、結合されたライン８２０を形成する。例えば、結合されたライン８２０は、第１のセンサの第１のラインデータ８０２と第２のセンサの第１のラインデータ８１２とを有する結合されたラインデータ８２２、第１のセンサの第２のラインデータ８０４と第２のセンサの第２のラインデータ８１４とを有する結合されたラインデータ８２４、及び第１のセンサの第３のラインデータ８０６と第２のセンサの第３のラインデータ８１６とを有する結合されたラインデータ８２６を含む。それぞれの結合されたライン８２２〜８２６は、図２のラインバッファ２１６などのラインバッファ内で対応するラインを結合することによって生成することができる。ラインバッファは、同期されたデータライン（例えば、結合されたラインデータ８２２）を生成する前に、第１の画像センサから受信される次のデータライン（例えば、第１のセンサの第２のラインデータ８０４）の少なくとも一部をバッファするように構成することができる。このように、２つのラインの位相差を有する複数のセンサからのデータ出力は、画像の画像データの１つの画像ライン内で同期が行われるように結合されることが可能である。

図９を参照すると、第１のセンサからの第１のデータストリームと第２のセンサからの第２のデータストリームとの間の１つのラインの位相差を示す位相図の第１の実施形態を表す図が描かれ、全体として９００と示されている。図２の第１のセンサ２０２などの第１のセンサは、第１のセンサの第１のラインデータ９０２と、第１のセンサの第２のラインデータ９０４と、第１のセンサの第３のラインデータ９０６と、第１のセンサの第４のラインデータ９０８とを含む第１のデータストリームを生成する。図２の第２のセンサ２０４などの第２のセンサは、第２のセンサの第１のラインデータ９１２と、第２のセンサの第２のラインデータ９１４と、第２のセンサの第３のラインデータ９１６と、第２のセンサの第４のラインデータ９１８とを含む第２のデータストリームを生成する。第１のデータストリームからのデータ及び第２のデータストリーム７０４からのデータが結合されて、結合されたライン９２０を形成する。図９に示す特定の実施形態において、第１、第２、第３、及び第４のラインデータを示している。或いは、いかなる数のラインデータを生成することもできる（例えば、図６及び７に示す７２０のライン）。

図９の特定の実施形態において、第１のデータストリームのデータと第２のデータストリームのデータとの間に１つのラインの位相差がある。例えば、第１のセンサの第１のラインデータ９０２は、第１のラインの位相中に図２の結合器２１６などの結合器によって受信されることが可能であり、第１のセンサの第２のラインデータ９０４及び第２のセンサの第１のラインデータ９１２は、第２のラインの位相中に受信されることが可能である。このように、第１のセンサの第１のラインデータ９０２と第２のセンサの第１のラインデータ９１２との間に１つのラインの位相差がある。

結合されたライン９２０は、画像の第１の画像データの第１のラインと画像の第２の画像データの対応するラインの組合せを含む。図のように、第１のデータストリーム及び第２のデータストリームは交互配置されて、結合されたライン９２０を形成する。例えば、結合されたライン９２０は、第１のセンサの第１のラインデータ９０２、及び第２のセンサの第１のラインデータ９１２を有する結合されたラインデータ９２２と、第１のセンサの第２のラインデータ９０４、及び第２のセンサの第２のラインデータ９１４を有する結合されたラインデータ９２４と、第１のセンサの第３のラインデータ９０６、及び第２のセンサの第３のラインデータ９１６を有する結合されたラインデータ９２６と、第１のセンサの第４のラインデータ９０８、及び第２のセンサの第４のラインデータ９１８を有する結合されたラインデータ９２８とを含む。それぞれの結合されたライン９２２〜９２６は、図２のラインバッファ２１６などのラインバッファ内で対応するラインを結合することによって生成することができる。このように、１つのラインの位相差を有する複数のセンサからのデータ出力は、画像の画像データの１つの画像ライン内で同期が行われるように結合されることが可能である。

図１０を参照すると、複数のセンサのそれぞれのred-green-blue（ＲＧＢ、赤緑青）データを表し、同期されたデータラインを表す図が描かれ、全体として１０００と示されている。図１０に示す実施形態において、図３の第１のセンサ２０２などの第１のセンサは、第１のセンサの第１のラインデータ１００２と、第１のセンサの第２のラインデータ１００４と、第１のセンサの第３のラインデータ１００６とを含む第１のデータストリームを生成する。図３の第２のセンサ２０４などの第２のセンサは、第２のセンサの第１のラインデータ１０１２と、第２のセンサの第２のラインデータ１０１４と、第２のセンサの第３のラインデータ１０１６とを含む第２のデータストリームを生成する。図３の第Ｎのセンサ３０５などの第３のセンサは、第３のセンサの第１のラインデータ１０２２と、第３のセンサの第２のラインデータ１０２４と、第３のセンサの第３のラインデータ１０２６とを含む第３のデータストリームを生成する。第１のデータストリームからのデータ、第２のデータストリームからのデータ、及び第３のデータストリームからのデータが結合されて、結合されたライン１０２０を形成する。

説明的な例として、バイエルフィルタパターン(Bayer filter pattern)に従って、第１のラインのデータ１００２、１０１２、１０２２のそれぞれは、交互になった赤と緑の画素値を含み、第２のラインのデータ１００４、１０１４、１０２４のそれぞれは、交互になった緑と青の画素値を含み、第３のラインのデータ１００６、１０１６、１０２６は、交互になった赤と緑の画素値を含む。

図のように、第１のデータストリーム、第２のデータストリーム、及び第３のデータストリームは交互配置されて、結合されたラインデータストリーム１０２０を形成する。例えば、結合されたラインデータストリーム１０２０は、第１のセンサの第１のラインデータ１００２、第２のセンサの第１のラインデータ１０１２、及び第３のセンサの第１のラインデータ１００２を有する結合されたラインデータ１０４０と、第１のセンサの第２のラインデータ１００４、第２のセンサの第２のラインデータ１０１４、及び第３のセンサの第２のラインデータ１０２４を有する結合されたラインデータ１０５０と、第１のセンサの第３のラインデータ１００６、第２のセンサの第３のラインデータ１０１６、及び第３のセンサの第３のラインデータ１０２６を有する結合されたラインデータ１０６０とを含む。それぞれの結合されたライン１０４０〜１０６０は、図３のラインバッファ２１６などのラインバッファ内で対応するラインを結合することによって生成することができる。それぞれの結合されたライン１０４０〜１０６０は、図３の画像信号プロセッサ２０８などの画像信号プロセッサで逆モザイク化される（demosaiced）ように、そのそれぞれのセンサのラインデータから読み取られる生（raw）画素（例えば、Ｒ、Ｇ、及びＢ）値を含むことができる。このように、複数のセンサからのデータ出力は、画像の画像データの１つの画像ライン内で同期が行われるように結合されることが可能である。

図１０は、バイエルフィルタパターンに従ったＲＧＢデータを含んでいる生画素値を示しているが、他の実施形態では、センサからのラインデータは、バイエルのＲＧＢ画素値を含まない場合がある。例えば、代わりにセンサは、ルマ（（luma）輝度）、青色差クローマ、赤色差クローマ（ＹＣｂＣｒ）値、シアン、黄、緑、及びマゼンタ（ＣＹＧＭ）値、赤、緑、青、及びエメラルド（ＲＧＢＥ）値、赤、緑、青、及び白（ＲＧＢＷ）値、又は説明的、非限定的な例として、他のいかなるタイプの値を提供することもできる。或いは、又は追加として、センサの１つ又は複数は、全色性のセル、受光器群を覆うマイクロレンズ、垂直カラーフィルタ、又は生画像データをラインごとに読み出すことができる他のいかなるセンサ技術を実装することもできる。

図１１を参照すると、複数のセンサを有する装置と関連する信号タイミングを示すタイミング図の特定の実施形態が描かれ、全体として１１００と示されている。信号は、第１のセンサのフレーム有効（ＦＶ）信号１１０２及びライン有効（ＬＶ）信号１１０４と、第２のセンサのＦＶ１１０６及びＬＶ１１０８と、第３のセンサのＦＶ１１１０及びＬＶ１１１２とを含む。特定の実施形態において、第１のセンサ、第２のセンサ、及び第３のセンサは、図３の第１、第２、及び第３のセンサ２０２、２０４、３０５とすることができる。結合されたフレーム有効信号１１１４もまた、結合されたライン有効／データ信号１１１６及びライン負荷（ＬＬ）信号１１１８と併せて示される。

特定の実施形態において、信号１１１４〜１１１８は、結合器によって生成された図６のフレーム６６０などのフレームの１つ以上の同期されたデータラインと関連するシグナリングに対応し、信号１１０２〜１１１２は、結合器で受信されたシグナリングに対応する。図のように、第１のラインデータ１１２０と、第２のラインデータ１１２２と、第３のラインデータ１１２４が第１のセンサから受信され、第１のラインデータ１１３０、第２のラインデータ１１３２、及び第３のラインデータ１１３４が第２のセンサから受信され、第１のラインデータ１１４０、第２のラインデータ１１４２、及び第３のラインデータ１１４４が第３のセンサから受信される。

第１のラインデータ１１３０は、第１のラインデータ１１２０及び第１のラインデータ１１４０より前に第２のセンサから受信される。第１のラインデータ１１３０と第２のラインデータ１１２０の受信間の位相差を、第１の位相差１１８０として示している。第１のセンサの第１のラインデータ１１２０は、第３のセンサの第１のラインデータ１１４０より前に受信され、第２の位相差１１８２として示している。センサのそれぞれからのラインデータは、対応するフレーム有効信号の立ち上がりエッジに続くことができ、画像データラインによって受信されるデータが、それぞれの特定のセンサからの有効ラインデータであることを示している。図のように、結合されたフレーム有効ライン１１１４は、例えば図２の結合器２０６では、第１のラインデータ１１２０、１１３０、及び１１４０が受信されるまで、非有効データを示すロー（low）のままである。第１のライン１１２０、１１３０、及び１１４０のそれぞれが受信された後、結合されたフレームの有効信号１１１４が立ち上がって、ライン有効信号１１１６上に有効データを示す。有効信号がＬＬライン１１１８上でアサートされるとともに、第１の同期されたデータライン１１５０が生成される。第１の同期されたラインデータ１１５０を生成した後、結合されたフレーム有効信号１１１４は有効状態を維持し、ＬＬ信号１１１８は非有効状態に戻り、その後第２の同期されたデータライン１１６０が生成されるとＬＬ信号１１１８は有効状態に戻り、続いて第３の同期されたデータライン１１７０が生成される。

図１２を参照すると、第１のセンサからの第１のデータストリーム、第２のセンサからの第２のデータストリーム、及び第３のセンサからの第３のデータストリームの間の３つのラインの位相差を示す位相図の第１の実施形態を表す図が描かれ、全体として１２００と示されている。図３の第１のセンサ２０２などの第１のセンサは、第１のセンサの第１のラインデータ１２０２と、第１のセンサの第２のラインデータ１２０４と、第１のセンサの第３のラインデータ１２０６と、第１のセンサの第４のラインデータ１２０８とを含む第１のデータストリームを生成する。図３の第２のセンサ２０４などの第２のセンサは、第２のセンサの第１のラインデータ１２１２と、第２のセンサの第２のラインデータ１２１４と、第２のセンサの第３のラインデータ１２１６と、第２のセンサの第４のラインデータ１２１８とを含む第２のデータストリームを生成する。図３の第Ｎのセンサ３０５などの第３のセンサは、第３のセンサの第１のラインデータ１２２２と、第３のセンサの第２のラインデータ１２２４と、第３のセンサの第３のラインデータ１２２６と、第３のセンサの第４のラインデータ１２２８とを含む第３のデータストリームを生成する。第１のデータストリームからのデータ、第２のデータストリームからのデータ、及び第３のデータストリームからのデータが結合されて、結合されたライン１２２０を形成する。図１２に示す特定の実施形態において、第１、第２、第３、及び第４のラインデータを示している。或いは、いかなる数のラインデータを生成することもできる（例えば、図６及び７に示す７２０のライン）。

特定の実施形態において、第１のデータストリームのデータ、第２のデータストリームのデータ、及び第３のデータストリームからのデータの間には３つのラインの位相差がある。例えば、第３のセンサの第１のラインデータ１２２２は、第１のラインの位相中に図２の結合器２１６などの結合器によって受信されることが可能であり、第１のセンサの第１のラインデータ１２０２及び第３のセンサの第２のラインデータ１２２４は、第２のラインの位相中に受信されることが可能であり、第１のセンサの第２のラインデータ１２０４及び第３のセンサの第３のラインデータ１２２６は、第３のラインの位相中に受信されることが可能であり、第１のセンサの第３のラインデータ１２０６、第２のセンサの第１のラインデータ１２１２、及び第３のセンサの第４のラインデータ１２２８は、第４のラインの位相中に受信されることが可能である。このように、第１のセンサの第１のラインデータ１２０２、第２のセンサの第１のラインデータ１２１２、及び第３のセンサの第１のラインデータ１２２２の間に３つのラインの位相差がある。

結合されたライン１２２０は、画像の第１の画像データの第１のラインと、画像の第２の画像データの対応するラインと、画像の第３の画像データの組合せを含む。図のように、第１のデータストリーム、第２のデータストリーム、及び第３のデータストリームは交互配置されて、結合されたライン１２２０を形成する。例えば、結合されたライン１２２０は、第１のセンサの第１のラインデータ１２０２、第２のセンサの第１のラインデータ１２１２、及び第３のセンサの第１のラインデータ１２２２を有する結合されたラインデータ１２３２と、第１のセンサの第２のラインデータ１２０４、第２のセンサの第２のラインデータ１２１４、及び第３のセンサの第２のラインデータ１２２４を有する結合されたラインデータ１２３４と、第１のセンサの第３のラインデータ１２０６、第２のセンサの第３のラインデータ１２１６、及び第３のセンサの第３のラインデータ１２２６を有する結合されたラインデータ１２３６とを含む。それぞれの結合されたライン１２３２〜１２３６は、図３のラインバッファ２１６などのラインバッファ内の対応するラインを結合することによって生成することができる。このように、３つのラインの位相差を有する複数のセンサからのデータ出力は、画像の画像データの１つの画像ライン内で同期が行われるように結合されることが可能である。

図１３を参照すると、複数のセンサからのデータを結合して３Ｄデータを生成するための画像処理システムの特定の例示的実施形態が描かれ、全体として１３００と示されている。画像処理システム１３００は、第１の画像センサ１３０２と第２の画像センサ１３０４とを含む。画像処理システム１３００はさらに、結合器１３０６と、画像プロセッサ１３０８とを含む。画像プロセッサ１３０８は、表示装置１３１０に結合される。結合器１３０６は、少なくとも１つのラインバッファ１３１２を含む。画像処理システム１３００は、少なくとも１つの半導体ダイに組み込むことができる。

第１の画像センサ１３０２は、第１の画像データストリーム１３１４として示す第１のデータストリームを生成するように構成され、第２の画像センサ１３０４は、第２の画像データストリーム１３１６として示す第２のデータストリームを生成するように構成される。特定の実施形態において、第１の画像データストリーム１３１４は、第２の画像データストリーム１３１６とは非同期とすることができる。第１及び第２の画像センサ１３０２、１３０４は、互いから独立していて、プロセッサ（例えば、結合器１３０６又は画像プロセッサ１３０８）から共通の制御信号を受信して近接して整列された画像データストリーム１３１４、１３１６を生成することができる実質的に同様の画像センサとすることができる。例えば、画像データストリーム１３１４、１３１６は、周波数及び位相など、実質的に同じタイミング特性を有することができる。例えば図２の信号同期装置２３０によって、プロセッサが共通の制御信号を生成することができるので、画像センサ１３０２、１３０４のそれぞれは、信号プロセッサに直接応答し、これによって制御されることが可能である。２つの画像センサ１３０２、１３０４を示したが、画像処理システム１３００で３つ以上の画像センサを使用することができることを理解すべきである。

結合器１３０６は、第１の画像データストリーム１３１４及び第２の画像データストリーム１３１６に応答する。結合器１３０６は、ラインバッファ１３１２内で、第１の画像データストリーム１３１４からのデータと第２の画像データストリーム１３１６からのデータとを結合するように構成される。特定の実施形態において、ラインバッファ１３１２は、第１の画像センサ１３０２からの第１のデータと、第２の画像センサ１３０４からの第２のデータを並べるように構成される。特定の実施形態において、結合器１３０６は、ラインバッファ１３１２内に格納されたデータに応答して、画像信号プロセッサ１３０８にフレームデータ１３１８を提供する。特定の実施形態において、フレームデータ１３１８は、複数の行の画像データを含むことができ、各行は、図３に関して説明するように、各センサ１３０２、１３０４からの対応する行の組合せである。

画像プロセッサ１３０８は、フレームデータ１３１８を処理し、処理済みフレームデータ１３２０を表示装置１３１０に出力するように構成される。処理済みフレームデータ１３２０は、３Ｄ画像フォーマット又は３Ｄ映像フォーマットを有することができる。

表示装置１３１０は、処理済みフレームデータ１３２０を受信することに応答して画像データをレンダリングし、表示する。このように、複数の画像センサからの画像データを結合し、処理し、次いでレンダリングして表示装置１３１０で表示することができる。特定の実施形態において、表示装置１３１０は、画像プロセッサ１３０８に直接応答しないように画像プロセッサ１３０８から切り離すことができる。例えば表示装置１３１０は、画像プロセッサ１３０８とは別個の機器とすることができる。

共通に制御される同様の画像センサ１３０２、１３０４から受信されるデータは実質的に同じ周波数及び位相を有することができるので、データストリーム１３１４、１３１６間の同期は、画像データの単一画像ライン内で行われることが可能である。特定の実施形態において、ラインバッファ１３１２は、ずれの最悪の場合に備えたサイズにされることが可能である（例えば、同期のずれが３つのラインである場合、ラインバッファ１３１２は少なくとも６つのラインを格納する大きさにされるべきである）。その結果、結合されたデータは、単一画像プロセッサ１３０８を使用して効率的に処理されることが可能である。従って、複数のプロセッサのシステム（例えば、各センサにプロセッサが割り当てられる）と比べて、画像システム全体のコスト及び複雑さを低減することができる。

諸実施形態は、３Ｄ／立体的な画像及び／又は映像データを提供するように構成されることが可能である。例えば、このような１つの実施形態では、第１の画像センサ１３０２及び第２の画像センサ１３０４は、左／右の（立体的な）画像を提供するように、並べて配置されることが可能である。結合器１３０６によって提供された信号は受信され、画像プロセッサ１３０８によって処理されて３Ｄ画像を作成することが可能である。ユーザコマンドにより、画像プロセッサ１３０８が単一センサ（即ち、第１の画像センサ１３０２又は第２の画像センサ１３０４）のみからデータを受信し、これを処理して３Ｄ画像を作成する代わりに２次元（２Ｄ）画像を作成できるようになる場合もある。

画像プロセッサ１３０８など、単一カメラ用の入力を有する画像プロセッサは、結合器１３０６によって提供される２つのカメラからの結合されたデータを使用することによって３Ｄ処理に使用することができるデータを処理することができる。画像プロセッサ１３０８は、結合器１３０６から、又は結合器１３０６からの画像データを格納するメモリから、画像データを受信することができる。このような１つの実施形態では、画像プロセッサ１３０８は、受信した画像データを２Ｄ画像／映像データとして処理し、画像プロセッサ１３０８によるその後の処理により、画像プロセッサ１３０８からの処理済みデータに基づいて、３Ｄ立体画像／映像ストリームを提供する。或いは、画像プロセッサ１３０８は、受信した画像データに基づいて３Ｄ立体画像／映像ストリームを直接提供するように構成されることが可能である。１つの実施形態では、３Ｄ取り込みシステムは、第１の集積回路として実装された結合器１３０６と、第２の集積回路として実装された画像プロセッサ１３０８とを備える。第１及び第２の集積回路は、例えば、シリアルバス、パラレルバス、又はＩ２Ｃバスのうちの１つ又は複数によって接続されることが可能である。

画像データストリーム１３１４、１３１６を結合してフレームデータ１３１８を生成することにより、画像プロセッサ１３０８が単一カメラ入力を有する場合でも、画像プロセッサ１３０８がマルチカメラの３Ｄ処理のためのフォーマットを行うことができるようになる。その結果、システム１３００は、各カメラに別々のプロセッサを使用する、又は複数のカメラ入力を有するプロセッサを使用するシステムと比べて削減されたコストで実装されることが可能である。

図１４を参照すると、複数の画像センサからのデータを結合するための画像処理システムを有するモバイル機器の様々な実施形態を表す図が描かれ、全体として１４００と示されている。１４０２に示す特定の実施形態において、モバイル機器は、２つの隣接したカメラのアレイを有する画像処理システムを含む。１４０４に示す特定の実施形態において、モバイル機器は、一列に並んだ構成で配列された３つのカメラのアレイを有する画像処理システムを含む。或いは、いかなる数のカメラも、一列に並んだ構成で配置されることが可能である。１４０６に示す特定の実施形態において、モバイル機器は、３×３のカメラのアレイを有する画像処理システムを含む。１４０８に示す特定の実施形態において、モバイル機器は、５×５のカメラのアレイを有する画像処理システムを含む。或いは、いかなる数のカメラも、２次元配列で配置されることが可能である。

図１５を参照すると、複数のカメラ又は画像センサによって取り込まれる画像のアレイの一例が描かれ、全体として１５００と示されている。図１５に示されるように、１つのカメラによって取り込まれる画像は、他の隣接カメラによって取り込まれる画像と一部重なることが可能である。画像の重なりは、カメラのそれぞれによって取り込まれた画像を組み合わせて単一画像にする際に役立つことが可能である。図１５に示す特定の実施形態において、アレイ１５００は、カメラ又は画像センサの４×４のアレイに対応する。或いは、いかなる数のカメラも、２次元配列（例えば、図１８及び１９に示す５×５のアレイ）で配置されることが可能である。

各カメラは、アレイ１５００の単一カメラ画像を取り込む。図１５に示す実施形態では、アレイ１５００は、４×４のアレイである。従って、アレイ１５００は、第１の行１５０２と、第２の行１５０４と、第３の行１５０６と、第４の行１５０８とを含んでいる。さらに、アレイ１５００は、第１の列１５１０と、第２の列１５１２と、第３の列１５１４と、第４の列１５１６とを含んでいる。説明的な例として、単一カメラ画像１５１８は、第１の行１５０２及び第４の列１５１６に対応するカメラによって取り込まれることが可能である。単一カメラ画像１５１８は、隣接セルの他のカメラによって取り込まれるカメラ画像と一部重なることが可能である。第１の行１５０２及び第４の列１５１６に対応するカメラの場合には、隣接セルのカメラは、第１の行１５０２及び第３の列１５１４に対応するカメラ、第２の行１５０４及び第３の列１５１４に対応するカメラ、又は第２の行１５０４及び第４の列１５１６に対応するカメラを含むことができる。例えば、単一カメラ画像の重なり１５２０は、第１の行１５０２及び第４の列１５１６に対応するカメラによって取り込まれる単一カメラ画像１５０８と関連付けることができる。図１５は、行１５０２〜１５０８のそれぞれの各カメラと列１５１０〜１５１６のそれぞれの各カメラの絶対的な配列の理論的事例を示している。従って、隣接行（例えば、第２の行１５０４）に対応するカメラによって取り込まれる画像との画像の重なりは、隣接列（例えば、第３の列１５１４）に対応するカメラによって取り込まれる画像との画像の重なりと同じであることが可能である。

個々の画像は、特定の水平解像度（「H-res」）で取り込まれることが可能である。例えば、水平解像度１５２２は、第１の行１５０２及び第４の列１５１６に対応するカメラによって取り込まれる単一カメラ画像１５１８と関連付けることができる。図１５は、各カメラが同じ水平解像度１５２２を有する画像の重なりの理論的事例を示している。従って、全水平解像度１５２４（即ち、行１５０２〜１５０８のそれぞれにおける画素の数）は、個々のカメラの水平解像度１５２２と行におけるセルの数（「ｎ」）の組合せに基づいて計算することができる。図１５の４×４のアレイの場合には、各行に４つのセル（即ち、列１５１０〜１５１６のそれぞれと関連付けられるセル）がある。全水平解像度１５２４は、画像の重なりを計上することができる。例えば、全水平解像度１５２４は、Ｈ＿ｒｅｓ＊ｎ−重なり＊（ｎ−２）として計算することができ、ここで重なりは、隣接画像の重なり合った画素の数を示す。同様の計算を行って、全垂直解像度を求めることができる。

図１５は、同じ画像の重なりを有する各カメラの絶対的な配列の理論的事例を示している。個々のカメラによって取り込まれる画像間の画像の重なりにより、個々の画像のそれぞれが「縫い合わされ（stitched together）」て、単一画像になることができる。

図１６を参照すると、複数のカメラ又は画像センサによって取り込まれる画像のアレイの一例が描かれ、全体として１６００と示されている。図１６に示されるように、１つのカメラによって取り込まれる画像は、他の隣接カメラによって取り込まれる画像と一部重なることが可能である。画像の重なりは、カメラのそれぞれによって取り込まれた画像を組み合わせて単一画像にする際に役立つことが可能である。図１６に示す特定の実施形態において、アレイ１６００は、カメラ又は画像センサの４×４のアレイに対応する。或いは、いかなる数のカメラも２次元配列で配置されることが可能である。図１６は、機械的制約により、（図１５に示す）行又は列でカメラの絶対的な配列を実現することが可能ではない場合があることを示している。

アレイ１６００の各画像は、独自の回転１６０２、ずれ（shift）１６０４、及び傾き（tilt）（図示せず）を有することができる。１つ以上の位置決め公差１６０６を各画像と関連付けることができる。位置決め公差１６０６は、回転公差、ずれ公差、傾き公差、又はその組合せを含むことができる。画像の重なりは、カメラのそれぞれによって取り込まれた画像を組み合わせて単一画像にする際に役立つことが可能である。図１６は、画像を結合する際に使用される画像の重なりが、機器を構築することと関連する機械的制約によって生じる各画像の回転１６０２、ずれ１６０４、及び傾きを計上する可能性があることを示している。機器が構築されると、画像の重なりが認識され、安定することが可能である。従って、画像の重なりは、数量化されることが可能であり、後の段階で修正されることが可能である。

図１７を参照すると、カメラのアレイの特定の実施形態及びこのアレイと関連する電気的接続が描かれ、全体として１７００と示されている。図１７は、アレイ１７００の各カメラが第１のタイプのインターフェース（即ち、データインターフェース１７０２）と、第２のタイプのインターフェース（即ち、制御インターフェース１７０４）とを有することを示している。図１７に示す実施形態では、アレイ１７００は、カメラの３×３のアレイである。或いは、アレイ１７００は、４×４のアレイ（例えば、図１５及び１６のアレイ１５００、１６００）で配置されたカメラ、又は２次元配列で配置された他のいかなる数のカメラも含むことができる。

データインターフェース１７０２は、シリアルデータバス（例えば、モバイルインダストリプロセッサインターフェース（Mobile Industry Processor Interface）又は標準モバイル画像化アーチテクチャ（Standard Mobile Imaging Architecture）のインターフェース）を含むことができる。図１７のデータインターフェース１７０２は、アレイ１７００の第１の行１７０６、アレイ１７００の第２の行１７０８、及びアレイ１７００の第３の行１７１０と関連付けられる。データインターフェース１７０２と関連付けられたラインを使用して、並行して処理される行１７０６〜１７１０のそれぞれのカメラからデータを収集することができる。説明的な例として、最大５メガ画素（ｍｐｉｘ）の解像度及び１秒あたり１０フレームでは、４線が必要とされる可能性がある（例えば、差分データ及びクロック）。

図１７の例示的な３×３のアレイでは、行１７０６〜１７１０のそれぞれが、アレイ１７００の第１の列１７１２のカメラと、アレイ１７００の第２の列１７１４のカメラと、アレイ１７００の第３の列１７１６のカメラとを含む。従って、データインターフェース１７０２を使用して、並行して処理される９個のカメラからデータを収集することができる。

制御インターフェース１７０４は、アレイ１７００のすべてのカメラを同期するために使用されるラインを含むことができる。例えば、制御インターフェースのラインは、クロック、リセット、及びＩ２Ｃ通信と関連付けることができる。図１７の例示的な３×３のアレイ１７００では、制御インターフェース１７０４を使用して、アレイ１７００の９個のカメラを同期することができる。

図１８を参照すると、カメラアレイ処理システムの特定の実施形態が描かれ、全体として１８００と示されている。アレイ１８０２のすべてのカメラは、結果として生じる画像データが結合されて最終的な画像になる前に、共通の制御信号に応答し、整列され、処理されることが可能である。図１８に示す実施形態では、アレイ１８０２は、カメラの５×５のアレイを含む。或いは、アレイ１８０２は、２次元配列（例えば、図１７の３×３のアレイ１７００）に整列された他のいかなる数のカメラを含むこともできる。

アレイ１８０２のすべてのカメラは、単一のＩＳＰパイプラインを使用する同時画像センササポートの方法を使用して同期することができる。さらに、カメラの各行は、整列方法を使用して整列することができる。即ち、１つの行の画像が収集され、同じ順序で整列されて、送信され、ｎが１行のカメラ数であって、ｌｉｎｅが１つのカメラの水平サイズ（即ち、図１５に記載する「Ｈ＿ｒｅｓ」）であるとき、ｎ＊ｌｉｎｅのサイズを有する単一ラインとして処理される。図１８に示す５×５のアレイ１８０２は、第１の行１８０４と、第２の行１８０６と、第３の行１８０８と、第４の行１８１０と、第５の行１８１２とを含む。さらに、５×５のアレイ１８０２は、第１の列１８１４と、第２の列１８１６と、第３の列１８１８と、第４の列１８２０と、第５の列１８２２とを含んでいる。行１８０４〜１８１２のそれぞれは、ＶＦＥコンポーネントで色に関して並行して処理することができ、行１８０４〜１８１２のそれぞれは、個々のそれぞれの画像を一列に整列して修正するように、グラフィックプロセッサ又はグラフィック処理装置（ＧＰＵ）コンポーネントで処理することができる。修正及び整列後に、ＧＰＵ処理を行って、行１８０４〜１８１２のすべてをまとめて結合し、最終的な画像をもたらすことができる。

第１の行１８０４は、第１の整列ブロック１８２４と関連付けることができ、第２の行１８０６は、第２の整列ブロック１８２６と関連付けることができ、第３の行１８０８は、第３の整列ブロック１８２８と関連付けることができ、第４の行１８１０は、第４の整列ブロック１８３０と関連付けることができ、第５の行１８１２は、第５の整列ブロック１８３２と関連付けることができる。例えば、第１の整列ブロック１８２４は、第１の行１８０４の各カメラ（即ち、アレイ１８０２の５つの列１８１４〜１８２２の５つのカメラ）から画像データラインを収集するように構成することができる。第１の整列ブロック１８２４は、同じ順序で画像データラインを整列させ、単一ラインとして処理するために画像データラインを送信するように構成することができる。第１の整列ブロック１８２４は、単一ラインとして処理するために画像データラインを、図２、３、及び５の結合器に関して説明するように、色に関して処理される第１のＶＦＥコンポーネント１８３４に送信するように構成することができる。単一ラインのサイズは、カメラの数（即ち、５つのカメラ）、及び第１の行１８０４の各カメラの水平サイズ（即ち、図１５に記載する「Ｈ＿ｒｅｓ」）に基づいて決定することができる。

第２の整列ブロック１８２６は、第２の行１８０６の各カメラから画像を収集し、同じ順序で画像を整列し、単一ラインとして処理するために画像を第２のＶＦＥコンポーネント１８３６に送信するように構成することができる。第３の整列ブロック１８２８は、第３の行１８０８の各カメラから画像データラインを収集し、同じ順序で画像データラインを整列し、単一ラインとして処理するために画像データラインを第３のＶＦＥコンポーネント１８３８に送信するように構成することができる。第４の整列ブロック１８３０は、第４の行１８１０の各カメラから画像データラインを収集し、同じ順序で画像データラインを整列し、単一ラインとして処理するために画像データラインを第４のＶＦＥコンポーネント１８４０に送信するように構成することができる。第５の整列ブロック１８３２は、第５の行１８１２の各カメラから画像データラインを収集し、同じ順序で画像データラインを整列し、単一ラインとして処理するために画像データラインを第５のＶＦＥコンポーネント１８３２に送信するように構成することができる。

制御同期ブロック１８４４を使用して、センサ同期装置２３０と同様の方法で、アレイ１８０２のカメラ（即ち、図１８の例示的な５×５のアレイ１８０２の場合は２５個のカメラ）のそれぞれを同期することができる。特定の実施形態において、制御同期ブロック１８３４は、図１７の制御インターフェース１７０４を実装することができる。制御同期ブロック１８４４は、アレイ１８０２のカメラのそれぞれと、及びＶＦＥコンポーネント１８３４〜１８４２のそれぞれと、通信可能に接続することができる。アレイ１８０２のすべてのカメラを同期することにより、高解像度でのローリングシャッター（rolling shutter）の使用を可能にすることができる。すべてのカメラを同時に読み出すことができるので、（アレイのサイズとともに）ローリングシャッター効果を減少させることができる。例えば、図１８の５×５のアレイ１８０２では、２５個のカメラの同期により、相補型金属酸化膜半導体（CMOS）カメラと関連するローリングシャッター効果を減少させることができる。

第１のＶＦＥコンポーネント１８３４は、第１の行１８０４のそれぞれの個々の画像（即ち、５つの列１８１４〜１８２２のカメラによって取り込まれる５つの画像）を整列し、修正するように、第１のＧＰＵコンポーネント１８４６と通信可能に結合されることが可能である。第２のＶＦＥコンポーネント１８３６は、第２の行１８０６のそれぞれの個々の画像を整列し、修正するように、第２のＧＰＵコンポーネント１８４８に通信可能に結合されることが可能である。第３のＶＦＥコンポーネント１８３８は、第３の行１８０８のそれぞれの個々の画像を整列し、修正するように、第３のＧＰＵコンポーネント１８５０に通信可能に結合されることが可能である。第４のＶＦＥコンポーネント１８４０は、第４の行１８１０のそれぞれの個々の画像を整列し、修正するように、第４のＧＰＵコンポーネント１８５２に通信可能に結合されることが可能である。第５のＶＦＥコンポーネント１８４２は、第５の行１８１２のそれぞれの個々の画像を整列し、修正するように、第５のＧＰＵコンポーネント１８５４に通信可能に結合されることが可能である。ＧＰＵコンポーネント１８４６〜１８５４のそれぞれは、行１８０４〜１８１２のすべてを合わせて結合し、最終的な画像をもたらすＧＰＵ処理コンポーネント１８５６に通信可能に結合されることが可能である。

図１８に示す実施形態では、整列ブロック１８２４〜１８３２のそれぞれが、その独自のＶＦＥコンポーネントならびにその独自のＧＰＵ修正及び整列コンポーネントと関連付けられる。従って、図１８は、行１８０４〜１８１２のそれぞれが、個々のＶＦＥコンポーネントを使用して色に関して並行して処理されることが可能であり、行１８０４〜１８１２のそれぞれが、個々のＧＰＵコンポーネントを使用して、特定の行のそれぞれ個々の画像を整列させて修正するように処理されることが可能であることを示している。或いは、整列ブロック１８２４〜１８３２のそれぞれが、単一ＶＦＥコンポーネントならびに単一ＧＰＵ修正及び整列コンポーネントと関連付けられることが可能である（図１９参照）。

図１９を参照すると、カメラアレイ処理システムの特定の実施形態が描かれ、全体として１９００と示されている。アレイ１９０２のすべてのカメラを同期し、整列し、処理した後に、結合して最終的な画像にすることができる。図１９に示す実施形態では、アレイ１９０２は、カメラの５×５のアレイを含む。或いは、アレイ１９０２は、２次アレイで配置された他のいかなる数のカメラを含むこともできる。図１９は、図１８に示す複数のＶＦＥならびにＧＰＵ修正及び整列コンポーネントではなく、単一ＶＦＥコンポーネントならびに単一ＧＰＵ修正及び整列コンポーネントを使用して、アレイ１９０２のすべての行を処理することができることを示している。

図１９に示す５×５のアレイ１９０２は、第１の行１９０４と、第２の行１９０６と、第３の行１９０８と、第４の行１９１０と、第５の行１９１２とを含む。さらに、５×５のアレイ１９０２は、第１の列１９１４と、第２の列１９１６と、第３の列１９１８と、第４の列１９２０と、第５の列１９２２とを含んでいる。第１の行１９０４は、第１の整列ブロック１９２４と関連付けることができ、第２の行１９０６は、第２の整列ブロック１９２６と関連付けることができ、第３の行１９０８は、第３の整列ブロック１９２８と関連付けることができ、第４の行１９１０は、第４の整列ブロック１９３０と関連付けることができ、第５の行１９１２は、第５の整列ブロック１９３２と関連付けることができる。例えば、第１の整列ブロック１９２４は、第１の行１９０４の各カメラ（即ち、アレイ１９０２の５つの列１９１４〜１９２２の５つのカメラ）から画像データラインを収集するように構成することができる。

第１の整列ブロック１９２４は、同じ順序で画像データラインを整列し、単一ラインとして処理するために画像データラインを送信するように構成することができる。第２の整列ブロック１９２６は、第２の行１９０６の各カメラから画像データラインを収集し、同じ順序で画像データラインを整列し、単一ラインとして処理するために画像データラインを送信するように構成することができる。第３の整列ブロック１９２８は、第３の行１９０８の各カメラから画像データラインを収集し、同じ順序で画像データラインを整列し、単一ラインとして処理するために画像データラインを送信するように構成することができる。第４の整列ブロック１９３０は、第４の行１９１０の各カメラから画像データラインを収集し、同じ順序で画像データラインを整列し、単一ラインとして処理するために画像データラインを送信するように構成することができる。第５の整列ブロック１９３２は、第５の行１９１２の各カメラから画像データラインを収集し、同じ順序で画像データラインを整列し、単一ラインとして処理するために画像データラインを送信するように構成することができる。

図１９に示す実施形態では、整列ブロック１９２４〜１９３２のそれぞれは、色に関して処理される単一ＶＦＥコンポーネント１９３４にその画像を処理するために送信するように構成することができる。単一ＶＦＥコンポーネント１９３４は、５つの整列ブロック１９２４〜１９３２から送信される５つのラインのそれぞれを処理することができる。上記のように、特定の整列ブロックからの単一ラインのサイズは、特定の行のカメラの数（即ち、５つのカメラ）及び特定の行の各カメラの水平サイズ（即ち、図１５に記載する「Ｈ＿ｒｅｓ」）に基づいて決定されることが可能である。従って、図１９の単一ＶＦＥコンポーネント１９３４によって処理される複数のラインのサイズは、図１８のＶＦＥコンポーネント１８３４〜１８４２の１つによって処理される単一ラインのサイズの５倍となることが可能である。

制御同期ブロック１９３６を使用して、アレイ１９０２のカメラのそれぞれを同期し、例えば共通制御信号を１つ以上の行１９０４〜１９１２のカメラに提供することができる。制御同期ブロック１９３６は、アレイ１９０２のカメラのそれぞれと、及び単一ＶＦＥコンポーネント１９３４と、通信可能に接続することができる。アレイ１９０２のすべてのカメラの同期により、高解像度でのローリングシャッターの使用を可能にすることができる。すべてのカメラを同時に読み出すことができるので、ローリングシャッター効果を（アレイのサイズとともに）減少させることができる。例えば、図１９の５×５のアレイ１９０２では、２５個のカメラの同期により、ＣＭＯＳカメラと関連するローリングシャッター効果を減少させることができる。

単一ＶＦＥコンポーネント１９３４は、行１９０４の〜１９１２のそれぞれの個々の画像を整列し、修正するように、単一ＧＰＵコンポーネント１９３８に通信可能に結合されることが可能である。従って、図１９の単一ＧＰＵコンポーネント１９３８は、図１８のＧＰＵ整列及び修正コンポーネント１８４６〜１８５４のそれぞれによって処理される５個の画像に対して２５個の画像を整列し、修正することができる。単一ＧＰＵコンポーネント１９３８は、行１９０４〜１９１２のすべてを合わせて結合し、最終的な画像をもたらすように構成されたＧＰＵ処理コンポーネント１９４０に通信可能に結合されることが可能である。

図２０は、入射光２００４に焦点を合わせるように構成されたメインレンズ２００２と、アレイ２００６に配置された複数のカメラとを含む高解像度のデジタルカメラシステム２０００を示している。アレイ２００６のカメラのそれぞれで取り込まれた画像を結合することによって、高解像度の画像を合成（又は「モザイク」）画像として生成することができる。例えば、アレイ２００６のカメラのそれぞれは、ＣＭＯＳ型カメラ又は電荷結合素子（ＣＣＤ：Charge Coupled Device）型カメラとすることができる。メインレンズ２００２は、平面２００８（メインレンズ２００２の「焦点面」又はアレイ２００６のカメラの「対物面」と呼ばれる）に取り込まれるシーンの焦点を合わせることができ、アレイ２００６の各カメラは、全画像の一部を取り込むことができる。アレイ２００６の各カメラは、平面２００８でそのビューの隣接フィールドの一部が重なるビューのフィールドを有する。この重なりにより、アレイ２００６の隣接カメラから撮影される画像が行ごとに整列され、その後の処理の間に「縫い」合わせられることが可能になり、（図１６に関して説明したように）アレイ内のカメラの理想的でない位置及び整列に対する許容を提供することができる。

合成画像は、アレイ２００６のカメラからの画像データを行ごとに整列させることによって生成することができる。例えば、図２０のアレイ２００６は、３行を有する３×３のアレイを含む。アレイ２００６の特定の行（「アレイ行」）内の各カメラは、行及び列（「センサ列」及び「センサ行」）に配置された光検出器を有する画像センサを含むことができる。アレイ行内のカメラは、センサ行が実質的に整列されるように位置付けることができる。例えば、あるアレイ行の各カメラの第１のセンサ行は、同じアレイ行のすべての他のカメラの第１のセンサ行と実質的に整列されている。

画像の取り込み中に、画像データの第１のセンサ行は、アレイ行の各カメラから読み取られ、（図１７〜１９に関して記載するような）画像処理回路に提供される。第１のセンサ行からの画像データは、アレイ行の各カメラの位置に従ってマージされる。マージされた画像データは、より大型のカメラからの画像データの単一行であるかのように処理される。第２、第３、及びそれに続く画像センサ行は、読み取られ、マージされ、画像処理回路に提供されて、合成画像の行として処理される。各アレイ行は、他のアレイ行と並行して処理されることが可能である。

図２０の配置は、高解像度のカメラの安価な代替物を提供することができる。例えば、メインレンズの背後に２０個の５メガ画素（ｍｐｉｘ）のＣＭＯＳカメラのアレイを使用して、１００ｍｐｉｘのカメラを構築することができる。各カメラが画像の一部を取り込む複数のＣＭＯＳカメラを使用して画像の取り込みを行うことができるので、単一の１００ｍｐｉｘのＣＭＯＳカメラが画像全体を取り込むのに比べて、「ローリングシャッター」アーチファクトを削減することができる。

図２１を参照すると、マルチカメラモジュールの実装の特定の実施形態が描かれ、全体として２１００と示されている。システム２１００は、自動車に搭載された、図１〜５に示す複数のカメラモジュールのような、複数のカメラモジュールを示している。複数のカメラモジュールは、図６〜７に関して記載するように、３次元画像又は映像データとしてフォーマットするために同期されたラインデータのフレームを生成するように構成されることが可能である。自動車の後部に複数のカメラモジュールを搭載することによって、３次元表示を取得して、自動車をバックさせる間に内部表示器（図示せず）上で奥行感覚を自動車の運転者に提供することができる。複数のカメラモジュールは、自動車に限らず、いかなるタイプの車両にも搭載できることを理解されるであろう。

図２２を参照すると、複数のセンサからのデータを結合して同期されたデータラインにする方法の特定の例示的実施形態の流れ図が描かれ、全体として２２００と示されている。説明のための例として、方法２２００は、図２のシステム、図３のシステム、図５のシステム、又はその任意の組合せによって行われることが可能である。

２２０２において、同期される複数の画像センサに共通の制御信号を提供することができる。例えば、共通の制御信号は、図４に示す共通の制御信号４０４〜４１０のような、共通クロック信号及び共通リセット信号を含むことができる。

２２０４において、複数の画像センサの第１の画像センサからの第１のデータラインを受信することができる。２２０６において、複数の画像センサの第２の画像センサからの第２のデータラインを受信することができる。例えば、第１のセンサ及び第２のセンサは、図２のセンサ２０２、２０４であることが可能である。

第１のデータライン及び第２のデータラインは、２２０８において、結合されたラインとなって同期されたデータラインを生成することができる。例えば、方法２２００は、第１の画像センサから受信される第１のデータストリームと、第２の画像センサから受信される第２のデータストリームとをラインごとに交互配置することを含むことができる。同期されたデータラインは、図５に示す第１のセンサ画像データ４２２と第２のセンサ画像データ４３２とを結合する結合器４０６に関して記載するように形成されることが可能である。

同期されたデータラインは、図６のフレーム６６０のようなフレームの一部を形成することができる。フレームは、第１の画像センサからの第１の画像データを含む第１のセクション（例えば、第１のセクション６５２）と、第２の画像センサからの第２の画像データを含む第２のセクション（例えば、第２のセクション６５４）と、第１のセクションと第２のセクションとの間に配列された非画像データを含むギャップセクション（例えば、ギャップセクション６５６）とを含むことができる。他の実施形態では、フレームは、第１のセクションと第２のセクションとの間にギャップセクションを含まないことがある。

第１のデータラインの受信を完了した後に、第２のデータラインの受信を完了することが可能であり、同期されたデータラインは、第２のデータラインの受信を完了した後に生成することができる。例えば、図８の結合されたデータライン８２２は、第２のセンサの第１のラインデータ８１２が受信された後に生成される。

３つ以上の画像センサを有する実施形態では、図１１に示すように、複数の画像センサのうちの第３の画像センサから第３のデータラインを受信することができる。第３のデータラインは、第１のデータライン及び第２のデータラインと結合されて、図１１の第１の同期されたデータライン１１５０のような、同期されたデータラインを生成することができる。

図２３を参照すると、複数の画像センサに共通の制御信号を提供し、画像プロセッサの単一カメラ入力を介して画像プロセッサに同期されたデータラインを提供する方法の特定の例示的実施形態の流れ図が描かれ、全体として２３００と示されている。この方法２３００は、説明のための、非限定的例として、図２、３、及び５のシステムの１つ又は複数で行うことができる。

２３０２において、複数の画像センサに共通の制御信号を提供することができる。複数の画像センサのそれぞれは、この共通の制御信号に応答して、画像データを生成することができる。例えば、共通の制御信号は、図２のセンサ同期装置２３０のような、複数の画像センサのそれぞれに結合されたセンサ同期装置によって提供されることが可能である。例えば、センサ同期装置は、集積回路間（Ｉ２Ｃ：inter-integrated circuit）制御インターフェースによって、カメラシリアルインターフェース（ＣＳＩ）規格に準拠したインターフェースによって、又はカメラパラレルインターフェース（ＣＰＩ）規格に準拠したインターフェースによって、複数の画像センサのそれぞれに結合されることが可能である。

２３０４において、複数の画像センサのそれぞれからの同期されたデータ出力を受信することができる。複数の画像センサの第１の画像センサから第１のデータラインを受信することができ、複数の画像センサの第２の画像センサから第２のデータラインを受信することができる。第１のデータラインの受信が完了された後に、第２のデータラインの受信が完了されることが可能であり、図８において第２のセンサの第１のラインデータ８１２が受信された後に生成される結合されたデータライン８２２のように、第２のデータラインの受信が完了された後に、同期されたデータラインが生成されることが可能である。

２３０６において、複数の画像センサのそれぞれからの同期されたデータ出力は結合されて、同期されたデータラインを生成することができる。例えば、図２の結合器２０６は、第１の画像センサ２０２から受信される第１のデータストリームと、第２の画像センサ２０４から受信される第２のデータストリームとをラインごとに交互配置することができる。

２３０８において、同期されたデータラインは、画像プロセッサの単一カメラ入力を介して画像プロセッサに提供されることが可能である。同期されたデータラインは、図６のフレーム６６０のような、複数の行を有するフレームの一部を形成することができる。例えば、フレームは、第１の画像センサからの第１の画像データを含む第１のセクションと、第２の画像センサからの第２の画像データを含む第２のセクションと、第１のセクションと第２のセクションとの間のギャップセクションとを含む
図２４を参照すると、複数の画像センサに共通の制御信号を提供し、複数の画像センサのそれぞれからの同期されたデータ出力を受信する方法の特定の例示的実施形態の流れ図が描かれ、全体として２４００と示されている。

２４０２において、複数の画像センサに共通の制御信号を提供することができる。複数の画像センサのそれぞれは、この共通の制御信号に応答して、画像データを生成する。例えば、共通の制御信号は、図２〜５のいずれかのセンサ同期装置２３０、図１８の制御同期ブロック１８４４、図１９の制御同期ブロック１９３６、又はその任意の組合せのような、複数の画像センサのそれぞれに結合されたセンサ同期装置によって提供されることが可能である。

２４０４において、複数の画像センサのそれぞれからの同期されたデータ出力を受信することができる。同期されたデータ出力は、第１の画像センサから受信される第１のデータラインと、第２の画像センサから受信される第２のデータラインとを含むことができる。第１の画像センサからの受信された各データラインと第２の画像センサからの対応する各データラインとの間の位相オフセットは、説明のための、非限定的な例として、図９の１ラインの位相差、図８の２ラインの位相差、又は図１２の３ラインの位相差など、実質的に一定であることが可能である。

図２５を参照すると、複数の画像センサで共通の制御信号を受信し、複数の画像センサのそれぞれからの同期されたデータ出力を生成する方法の特定の例示的実施形態の流れ図が描かれ、全体として２５００と示されている。

２５０２において、複数の画像センサで共通の制御信号を受信することができる。複数の画像センサのそれぞれは、この共通の制御信号に応答して、画像データを生成する。例えば、共通の制御信号は、図２〜５のいずれかのセンサ同期装置２３０、図１８の制御同期ブロック１８４４、図１９の制御同期ブロック１９３６、又はその任意の組合せのような、複数の画像センサのそれぞれに結合されたセンサ同期装置によって受信されることが可能である。

２５０４において、複数の画像センサのそれぞれからの同期されたデータ出力を生成することができる。同期されたデータ出力は、第１の画像センサから受信される第１のデータラインと、第２の画像センサから受信される第２のデータラインとを含むことができる。第１の画像センサからの受信される各データラインと、第２の画像センサからの対応する各データラインとの間の位相オフセットは、説明のための非限定的な例として、図９の１ラインの位相差、図８の２ラインの位相差、又は図１２の３ラインの位相差のように、実質的に一定であることが可能である。

図２６を参照すると、単一カメラ用の入力を有する画像信号プロセッサにおいて複数のセンサからのデータを結合する方法の特定の例示的実施形態の流れ図が描かれ、全体として２６００と示されている。

２６０２において、単一カメラ用の入力を有する画像プロセッサで、画像のラインを受信することができる。画像データの各ラインは、第１のカメラによって取り込まれた第１の画像からの第１のラインデータと、第２のカメラによって取り込まれた第２の画像からの第２のラインデータとを含むことができる。説明のための、非限定的な例として、画像プロセッサは、図２〜３もしくは図５の画像信号プロセッサ２０８、図１３の画像プロセッサ１３０８、図１８のＶＦＥ１８３４〜１８４２、図１９のＶＦＥ１９３４〜１９４２、又はその任意の組合せを含むことができる。

複数ラインの画像データは、第１のカメラ及び第２のカメラに結合された結合器から画像プロセッサで受信することができる。第１のカメラからの第１の画像データ及び第２のカメラからの第２の画像データのラインごとの読み出しは、結合器を使用して同期されて、画像データの各ラインを生成することができる。例えば、結合器は、図２〜３もしくは図５の結合器２０６、図１３の結合器１３０６、図１８のデータ整列ブロック１８２４〜１８３２、図１９のデータ整列ブロック１９２４〜１９３２、又はその任意の組合せであることが可能である。

２６０４において、第１の画像のラインデータに対応する第１のセクションを有し、第２の画像のラインデータに対応する第２のセクションを有する出力フレームを生成することができる。第１のセクション及び第２のセクションは、三次元（３Ｄ）画像フォーマット又は３Ｄ映像フォーマットを生成するために使用されるように構成することができる。

特定の実施形態では、出力フレームは、３Ｄ画像データを生成するように処理され、３Ｄ画像データは表示装置に送信される。別の実施形態では、出力フレームは、３Ｄ映像データを生成するように処理され、３Ｄ映像データは、図１３の表示装置１３１０のような表示装置に送信される。例えば、表示装置は、通信機器、カメラ、携帯情報端末、及びコンピュータのうちの少なくとも１つの構成要素であることが可能である。

図２７を参照すると、複数のセンサからのデータを結合してフレームにする方法の例示的実施形態の流れ図が描かれ、全体として２７００と示されている。説明のための例として、方法２７００は、図２のシステム、図５のシステム、又はその任意の組合せによって行われることが可能である。

２７０２において、図２の第1のセンサ２０２のような第１の画像センサから、第１のデータストリームを受信することができる。図２の第１の画像データストリーム２１２、図６の第１のデータストリーム６０２、或いは図５のタイミングデータ信号４２０及び画像データ信号４２２のような第１のデータストリームは、画像の第１の画像データに対応することができる。２７０４において、図２の第２のセンサ２０４のような第２の画像センサから、第２のデータストリームを受信することができる。図２の第２の画像データストリーム２１４、図６の第２のデータストリーム６０４、或いは図５のタイミング信号データ４３０及び画像データ信号４３２のような第２のデータストリームは、画像の第２の画像データに対応することができる。

２７０６において、第１のデータストリームからのデータ及び第２のデータストリームからのデータを結合することができる。例えば、図２の結合器２０６又は図５の結合器２０６のような結合器は、第１のデータストリームからの第１の画像データと第２のデータストリームからの第２の画像データを結合し、結果として生じるフレームを生成することができる。例えば、第１のデータストリームは、第１のラインインデックス値を有するラインデータ、第２のラインインデックス値を有するラインデータなどを含む第１の画像データの第１のラインと関連するデータを含むことができる。第２のデータストリームは、第１のラインインデックス値を有する対応するラインデータ、第２のラインインデックス値を有する対応するラインデータなどを含む、第１のデータストリームのラインデータに対応するラインデータを含むことができる。第１のラインインデックス値を有する第１のデータストリームからのラインデータと、対応する第１のラインインデックス値を有する第２のデータストリームからのラインデータは、互いに追加されて、又は結合されて、単一画像ラインを形成することができる。このプロセスを各ラインインデックス値に対して繰り返し、図６のフレーム６６０のような、結果として生じるフレームを生成することができる。特定の実施形態ではフレームは、複数の行を含むことができ、各行があるラインインデックス値に対応し、そのラインインデックス値を有する第１の画像データのラインを格納し、そのラインインデックス値を有する第２の画像データの対応するラインを格納する。特定の実施形態では、第１の画像データの第１のライン及び第２の画像データの対応するラインが単一画像ラインに結合されるとき、単一画像ラインのサイズは、第１の画像データの第１のライン又は第２の画像データの対応するラインのサイズの実質的に２倍となる。

フレームは、２７０８において、画像信号プロセッサで処理されて、処理済みフレームを生成することができる。特定の実施形態では、画像信号プロセッサは、図２の画像信号プロセッサ２０８、又は図５の画像信号プロセッサ２０８であることが可能であり、処理済みフレームは、図２の処理済みフレーム２４０、又は図６の処理済みフレーム６５０であることが可能である。特定の実施形態では、処理済みフレームは、第１のセクション６５２のような、第１の画像センサからの第１の画像データを含む第１のセクションと、第２のセクション６５４のような、第２の画像センサからの第２の画像データを含む第２のセクションと、図６のギャップセクション６５６のようなギャップセクションとを含むことができる。ギャップセクションは、第１のセクションと第２のセクションとの間に配置された非画像データを含むことができる。特定の実施形態において、第１のセクションは、第１の画像データのラインを含み、第２のセクションは、第２の画像データの対応するラインを含むことができる。

処理済みフレームは、２７１０において出力されて、表示装置で表示されることが可能である。特定の実施形態では、第１の画像センサ及び第２の画像センサは、それぞれ画像信号プロセッサに直接応答し、表示装置は、画像信号プロセッサから切り離すことができる。

図２８を参照すると、第１の画像センサと第２の画像センサを同期する方法の例示的実施形態の流れ図が描かれ、全体として２８００と示されている。説明のための例として、方法２８００は、図２のシステム２００、図５のシステム６００、又はその任意の組合せで行われることが可能である。

２８０２において、第１の画像センサから、画像の第１の画像データを受信することができる。特定の実施形態では、第１の画像センサは、図２の第１のセンサ２０２であることが可能である。２８０４において、第１の画像センサから第１の画像データと関連する第１のデータストリームを受信することができる。特定の実施形態では、第１のデータストリームは、画像センサによって生成されることが可能であり、図２の第１の画像データストリーム２１２、図６の第１のデータストリーム６０２、或いは図５のタイミングデータ信号４２０及び画像データ信号４２２であることが可能である。

２８０６において、第２の画像センサから画像の第２の画像データを受信することができる。特定の実施形態では、第２の画像センサは、図２の第２のセンサ２０４であることが可能である。２８０８において、第２の画像センサから第２の画像データと関連する第２のデータストリームを受信することができる。特定の実施形態では、第２のデータストリームは、画像センサによって生成されることが可能であり、図２の第２の画像データストリーム２１４、図６の第２のデータストリーム６０４、或いは図５のタイミングデータ信号４３０及び画像データ信号４３２であることが可能である。

２８１０において、画像データの取得中の第１の画像センサ及び第２の画像センサのラインごとの露出を同期することができる。特定の実施形態では、同期は、図２の結合器２０６、又は図５の結合器２０６のような結合器を含むホストで画像の画像データ取得中に行われることが可能である。特定の実施形態では、第１の画像センサ及び第２の画像センサは、互いに独立している。例えば、図２の第１及び第２のセンサ２０２、２０４は、互いとは独立したまま同様のタイミング特性を有するように、制御信号２３２によって画像信号プロセッサ２０８に直接応答する。第１のデータストリームと第２のデータストリームは、２８１２において、交互配置されることが可能である。特定の実施形態では、第１のデータストリームと第２のデータストリームは、ラインごとに交互配置することができる。例えば、第１のラインインデックス値を有する第１のデータストリームからのラインデータと、対応する第１のラインインデックス値を有する第２のデータストリームからのラインデータは互いに追加されて、交互配置された単一画像ラインを形成することができる。

従って、結合されたデータは、単一画像信号プロセッサを使用して効率的に処理されることが可能である。従って、プロセッサが各センサに割り当てられる複数のプロセッサのシステムと比べて、画像システム全体のコスト及び複雑さを低減することができる。

図２９を参照すると、複数のセンサからのデータを結合して３Ｄ画像データを生成する方法の第１の例示的実施形態の流れ図が描かれ、全体として２９００と示されている。説明のための例として、方法２９００は、図１３のシステムによって行われることが可能である。

この方法は、２９０２において、第１のカメラ及び第２のカメラからの第１の画像データのラインごとの読み出しを同期して、複数行の画像データを生成することを含む。第１のカメラからの第１の画像データは、図１の第１の画像センサ１３０２からの画像データストリーム１３１４であることが可能であり、第２の画像データは、図１３の第２の画像センサ１３０４からの画像データストリーム１３１６であることが可能である。

この方法は、２９０４において、単一カメラ用の入力を有する画像プロセッサで複数行の画像データを受信することを含む。画像データの各行は、第１のカメラによって取り込まれた第１の画像の行からのデータと、第２のカメラによって取り込まれた第２の画像の行からのデータとを含む。複数行の画像データは、図７に示すデータアウトストリーム７０６であることが可能である。

この方法は、２９０６において、画像プロセッサを用いて、３Ｄ画像フォーマット及び３Ｄ映像フォーマットのうちの１つを有する出力を生成することを含む。出力は、第１の画像及び第２の画像に対応する。出力は、２９０８において、表示装置（例えば、図１３の表示装置１３１０）に送信される。

図３０を参照すると、複数のセンサからのデータを結合してフレームにする方法の例示的実施形態の流れ図が描かれ、全体として３０００と示されている。説明のための例として、方法３０００は、図１３のシステムによって行われることが可能である。

３００２において、図１３の第１の画像センサ１３０２のような第１の画像センサから、第１のデータストリームが受信される。図１３の第１の画像データストリーム１３１４又は図７の第１のデータストリーム７０２のような第１のデータストリームは、第１の画像の第１の画像データに対応することができる。３００４において、図１３の第２の画像センサ１３０４のような第２の画像センサから、第２のデータストリームを受信することができる。図１３の第２の画像データストリーム１３１６、図７の第２のデータストリーム７０４のような第２のデータストリームは、第２の画像の第２の画像データに対応することができる。第１の画像及び第２の画像は、あるシーンの画像であることが可能である。このシーンの第１の画像及び第２の画像は、実質的に同じ時間に撮影されることが可能であり、又は異なる時間に撮影されることが可能である。このシーンの第１の画像及び第２の画像から奥行情報を判断することができるように、第１の画像は、第２の画像とは異なる見晴らしの利く地点から撮影されることが可能である。

３００６において、第１のデータストリームからのデータ及び第２のデータストリームからのデータが結合される。例えば、図１３の結合器１３０６のような結合器は、第１のデータストリームからの第１の画像データと第２のデータストリームからの第２の画像データを結合し、結果として生じるフレームを生成することができる。例えば、第１のデータストリームは、第１のラインインデックス値を有するラインデータ、第２のラインインデックス値を有するラインデータなどを含む、第１の画像データの第１のラインと関連するデータを含むことができる。第２のデータストリームは、第１のラインインデックス値を有する対応するラインデータ、第２のラインインデックス値を有する対応するラインデータなどを含む、第１のデータストリームのラインデータに対応するラインデータを含むことができる。第１のラインインデックス値を有する第１のデータストリームからのラインデータと、対応する第１のラインインデックス値を有する第２のデータストリームからのラインデータは、互いに追加されて、又は結合されて、単一画像ラインを形成することができる。このプロセスを各ラインインデックス値に対して繰り返し、図７のフレーム７４０のような、結果として生じるフレームを生成することができる。特定の実施形態ではフレームは、複数の行を含むことができ、各行があるラインインデックス値に対応し、そのラインインデックス値を有する第１の画像データのラインを格納し、そのラインインデックス値を有する第２の画像データの対応するラインを格納する。特定の実施形態では、第１の画像データの第１のライン及び第２の画像データの対応するラインが単一画像ラインに結合されるとき、単一画像ラインのサイズは、第１の画像データの第１のライン又は第２の画像データの対応するラインのサイズの実質的に２倍となる。

フレームは、３００８において、単一カメラ用の入力を介して複数行の画像データとして受信される。特定の実施形態では、単一カメラ用の入力は、図１３の画像プロセッサ１３０８のような画像プロセッサの入力であることが可能である。フレームは、図７のフレーム７４０であることが可能である。

３０１０において、フレームから出力が生成される。出力は、３Ｄ画像フォーマット及び３Ｄ映像フォーマットのうちの１つを有する。出力は、第１の画像及び第２の画像に対応する。出力は、図１３の処理済みフレームデータ１３２０であることが可能である。出力は、３０１２において表示装置に送信される。特定の実施形態では、表示装置は、図１３の表示装置１３１０であることが可能である。

図３１を参照すると、第１の画像センサと第２の画像センサを同期する方法の例示的実施形態の流れ図が描かれ、全体として３１００と示されている。説明のための例として、方法３１００は、図１３のシステム１３００によって行われることが可能である。

３１０２において、第１の画像センサから画像の第１の画像データを受信することができる。特定の実施形態では、第１の画像センサは、図１３の第１の画像センサ１３０２であることが可能である。３１０４において、第１の画像センサから第１の画像データと関連する第１のデータストリームを受信することができる。特定の実施形態では、第１のデータストリームは、画像センサによって生成されることが可能であり、図１３の第１の画像データストリーム１３１４又は図７の第１のデータストリーム７０２であることが可能である。

３１０６において、第２の画像センサから画像の第２の画像データを受信することができる。特定の実施形態では、第２の画像センサは、図１３の第２の画像センサ１３０４であることが可能である。３１０８において、第２の画像センサから第２の画像データと関連する第２のデータストリームを受信することができる。特定の実施形態では、第２のデータストリームは、画像センサによって生成されることが可能であり、図１３の第２の画像データストリーム１３１６又は図７の第２のデータストリーム７０４であることが可能である。

３１１０において、画像データの取得中の第１の画像センサ及び第２の画像センサのラインごとの露出を同期することができる。特定の実施形態では、同期は、図１３の結合器１３０６のような結合器を含むホストで画像の画像データ取得中に行われることが可能である。特定の実施形態では、第１の画像センサ及び第２の画像センサは、互いに独立している。例えば、図１３の第１及び第２の画像センサ１３０２、１３０４は、互いと独立したまま同様のタイミング特性を有するように、制御信号によって画像プロセッサ１３０８に直接応答することができる。別の実施形態では、第１及び第２の画像センサ１３０２、１３０４は、互いと独立したまま同様のタイミング特性を有するように、制御信号によって結合器１３０６に直接応答する。３１１２において、第１のデータストリームと第２のデータストリームを交互配置することができる。特定の実施形態では、第１のデータストリームと第２のデータストリームは、ラインごとに交互配置することができる。例えば、第１のラインインデックス値を有する第１のデータストリームからのラインデータと、対応する第１のラインインデックス値を有する第２のデータストリームからのラインデータは互いに追加されて、交互配置された単一画像ラインを形成することができる。

従って、結合されたデータは、単一画像プロセッサを使用して効率的に処理されることが可能である。従って、プロセッサが各センサに割り当てられる複数のプロセッサのシステムと比べて、画像システム全体のコスト及び複雑さを低減することができる。

図３２を参照すると、画像プロセッサを用いて３Ｄ画像を生成する方法の例示的実施形態の流れ図が描かれ、全体として３２００と示されている。画像プロセッサは、図１３の画像プロセッサ１３０８であることが可能である。方法３２００は、画像プロセッサが結合器（例えば、図１の結合器１３０６）から受信されたフレーム、メモリからのフレームを扱うとき、又はユーザが３Ｄ画像を表示している機器のズーム機能もしくはパン機能を使用して表示３Ｄ画像を変更することを選ぶとき、使用することができる。

画像プロセッサは、３２０２において、キャリブレーション行列のパラメータに基づいて第１の画像及び第２の画像を修正する。キャリブレーション行列は、第１の画像及び第２の画像を取り込む第１の画像センサ及び第２の画像センサの相対位置について調整を行うことができる。２つのカメラの相対位置は、シーンの歪み及び目の疲労を最小にするように選択することができる。キャリブレーション行列は、３Ｄ画像を撮影する機器の製造工程中に決定されることが可能であり、第１の画像センサ及び第２の画像センサの位置が互いに対して固定される。キャリブレーションは、機器のメモリに格納することができる。第１の画像センサ、第２の画像センサ、又は両方の位置が調節できる、３Ｄ画像を撮影する機器では、機器のプロセッサを使用して、キャリブレーション行列を決定して、メモリにキャリブレーション行列を格納するためのキャリブレーションルーチンを実行することができる。キャリブレーションルーチンは、第１の画像センサと第２の画像センタが、画像センサから規定の距離に位置する特定のキャリブレーションシーンに焦点を合わせることを必要とする可能性がある。キャリブレーションルーチンは、画像センサを互いに対して位置調整した後に行うことができる。

画像プロセッサは、３２０４において、第１の画像中のキーポイントを検出する。画像プロセッサは、第１の画像中に特有の（高周波の）ポイントを検出することができる。画像プロセッサは、３２０６において、第１の画像及び第２の画像中のローカル画像パッチの間でブロックマッチングして、第１の画像中の検出された各キーポイントの視差を計算する。誤った一致が確実に廃棄されるように、キーポイントごとに信頼性推定値（reliability estimator）を生成することができる。画像プロセッサは、３２０８において、計算された視差から決定される視差範囲に基づいて、収束調整（convergence adjustment）を決定する。収束調整は、シーンの奥行き（scene depth）及び表示形状（display geometry）を考慮に入れる。

３２１０において画像プロセッサは、収束調整が、出力を生成する３Ｄ画像を表示する表示装置の機能の範囲内であるとき、収束調整に基づいて第１の画像及び第２のうちの画像の少なくとも１つを選択的に移動させる。画像プロセッサは、３２１２において、収束調整が出力を生成する表示装置の機能の範囲内ではないとき、シーンの大部分に一致するように視差を調整した第１の画像を使用する。画像プロセッサは、３２１４において表示装置の１つ以上の表示特性に基づいて出力をクロップ（crop）する。

図３３は、複数の画像センサからのデータを結合するための画像処理システム３３００の特定の例示的実施形態のブロック図である。画像処理システム３３００は、第１のレンズ３３０４に結合され、第２のレンズ３３０６に結合され、かつ携帯型マルチメディア機器３３０８のアプリケーションプロセッサチップセットに結合された画像センサ機器３３０２を含むことができる。画像センサ装置３３０２は、結合器３３１０と、単一カメラ用の入力を受信する画像プロセッサ３３１２とを含むことができる。画像プロセッサ３３１２は、結合器３３１０から、又は携帯型マルチメディア機器３３０８のアプリケーションプロセッサチップセットのメモリ装置３３１４から、単一カメラ入力を受信することができる。結合器３３１０は、例えば図１３のシステム１３００を実装することによって、図２９〜３１の実施形態のいずれかに従って動作することによって、又はそのいずれかの組合せによって、第１のデータストリームからのデータと第２のデータストリームからのデータを結合してフレームを生成することができる。

結合器３３１０は、第１のアナログ−デジタル変換器３３１８を介して第１のセンサ３３１６から画像データを受信するように結合される。結合器３３１０は、第２のアナログ−デジタル変換器３３２２を介して第２のセンサ３３２０から画像データを受信するように結合される。結合器３３１０又は画像プロセッサ３３１２は、第１のセンサ３３１６及び第２のセンサ３３２０を制御することができ、別の状況では互いに独立していることが可能である。特定の実施形態では、画像プロセッサ３３１２は、センサ同期装置３３３０（影で示す）を介して第１のセンサ３３１６及び第２のセンサ３３２０を制御することができる。

特定の実施形態では、結合器３３１０のような、画像処理回路を含む集積回路が、フレームを生成するように構成される。画像処理回路は、第１のセンサ３３１６のような第１の画像センサから第１のデータストリームを受信し、第２のセンサ３３２０のような第２の画像センサから第２のデータストリームを受信し、第１のデータストリームからのデータ及び第２のデータストリームからのデータを結合してフレームを生成するように構成される。例えば、図７の第１のデータストリーム７０２及び第２のデータストリーム７０４は、結合器３３１０によって結合されて、図７のフレーム７４０を形成することができる。

結合器３３１０からの出力は、携帯型マルチメディア機器３３０８のアプリケーションプロセッサチップセットのメモリ装置３３１４に、画像プロセッサ３３１２に、又は両方に、送信することができる。画像プロセッサ３３１２は、画像処理システムによって行われる１つ以上の動作のような、さらなる画像処理動作を行うように構成されることが可能である。画像プロセッサ３３１２は、結合器３３１０から、又はメモリ装置３３１４から、フレームを受信することができる。画像プロセッサ３３１２は、３Ｄ画像フォーマット又は３Ｄ映像フォーマットを有する処理済みフレームなどの、処理済み画像データを作り出すことができる。一実施形態では、処理済み画像データを作り出すための平均時間は、約２０ミリ秒である。画像プロセッサ３３１２は、さらなる処理、伝送、格納、表示装置３３２４への表示、又はその任意の組合せのために、処理済み画像データを携帯型マルチメディア機器３３０８のアプリケーションプロセッサチップセットに提供することができる。

図３４を参照すると、本明細書に記載するフレーム生成モジュールを含む、ワイヤレス電話などの電子機器の特定の例示的実施形態のブロック図が描かれ、全体として３４００と示されている。機器３４００は、メモリ３４３２に結合されたプロセッサ３４１０を含んでいる。プロセッサは、コントローラ３４６４を含んでいる、又はこれに結合されている。或いは、電子機器は、セットトップボックス、音楽プレーヤ、映像プレーヤ、娯楽装置、航法機器、通信機器、携帯情報端末（ＰＤＡ）、カメラ、固定位置データユニット、又はコンピュータであることが可能である。

また図３４は、プロセッサ３４１０及び表示器３４２８に結合された表示器コントローラ３４２６を示している。符号器／復号器（ＣＯＤＥＣ）３４３４もまた、プロセッサ３４１０に結合することができる。ＣＯＤＥＣ３４３４に、スピーカ３４３９及びマイク３４３８を結合することができる。カメラコントローラ３４７０もまた、プロセッサ３４１０に結合することができる。カメラコントローラ３４７０に、第１のカメラ３４７２及び第２のカメラ３４７３を結合することができる。

また図３４は、ワイヤレスインターフェース３４４０がプロセッサ３４１０及びワイヤレスアンテナ３４４２に結合できることを示している。特定の実施形態では、プロセッサ３４１０、表示器コントローラ３４２６、メモリ３４３２、ＣＯＤＥＣ３４３４、ワイヤレスインターフェース３４４０、及びコントローラ３４６４は、システムインパッケージ（system-in-package）又はシステムオンチップ（system-on-chip）３４２２に含まれる。特定の実施形態では、入力装置３４３０及び電源３４４４が、オンチップシステム３４２２に結合される。さらに、特定の実施形態では、図３４に示すように、表示器３４２８、入力装置３４３０、スピーカ３４３９、マイク３４３８、ワイヤレスアンテナ３４４２、及び電源３４４４は、オンチップシステム３４２２の外部にある。しかしながら、それぞれは、インターフェース又はコントローラなど、オンチップシステム３４２２の構成要素に結合されることが可能である。

特定の実施形態では、プロセッサ３４１０は、メモリ３４３２に格納されたプログラム命令３４８２のような、プロセッサ可読媒体からのプロセッサ可読プログラム命令を実行する。例えば、メモリ３４３２は、プロセッサ３４１０によって読み取り可能とすることができ、命令３４８２は、図２２の方法２２００を実行するためにプロセッサ３４１０によって実行可能な操作命令とすることができる。例えば、命令３４８２は、カメラ３４７３のような第１の画像センサから第１のデータストリームを受信し、カメラ３４７２のような第２の画像センサから第２のデータストリームを受信し、第１のデータストリームからのデータと第２のデータストリームからのデータを結合してフレームを生成するために、プロセッサ３４１０によって実行可能な命令を含むことができる。例えば、第１の画像センサは、図２の第１のセンサ２０２であることが可能であり、第２の画像センサは、図２の第２のセンサ２０４であることが可能である。命令３４８２は、プロセッサ３４１０で、又は画像信号プロセッサ（図示せず）で、フレームを処理して処理済みフレームを生成するために、プロセッサ３４１０によって実行可能な命令をさらに含むことができる。命令３４８２は、処理済みフレームを出力して表示装置３４２８に表示する、又は画像データ３４８０としてメモリ３４３２に格納するために、プロセッサ３４１０によって実行可能な命令をさらに含むことができる。

図３５を参照すると、携帯電話などの電子機器の特定の例示的実施形態のブロック図が描かれ、全体として３５００と示されている。機器３５００は、メモリ３５０４に結合されたプロセッサ３５０２を含んでいる。プロセッサ３５０２は、画像プロセッサ３５０６を含んでいる、又はこれに結合されている。画像プロセッサ３５０６は、単一カメラ入力を受信することができ、３Ｄデータ３５９０を出力することができる。３Ｄデータ３５９０は、３Ｄ画像フォーマット又は３Ｄ映像フォーマットであることが可能である。或いは、電子機器３５００は、セットトップボックス、音楽プレーヤ、映像プレーヤ、娯楽装置、航法機器、通信機器、携帯情報端末（ＰＤＡ）、カメラ、固定位置データユニット、コンピュータ、又はその組合せであることが可能である。

また図３５は、プロセッサ３５０２及び表示器３５１０に結合された表示器コントローラ３５０８を示している。符号器／復号器（ＣＯＤＥＣ）３５１２もまた、プロセッサ３５０２に結合することができる。ＣＯＤＥＣ３５１２に、スピーカ３５１４及びマイク３５１６を結合することができる。カメラコントローラ３５１８もまた、プロセッサ３５０２に結合することができる。カメラコントローラ３５１８は、結合器３５２０を含むことができる。結合器３５２０は、画像プロセッサ３５０６に画像データを提供することができる。説明のための例として、結合器３５２０は、図１３の結合器１３０６、又は図７に関して説明した複数のカメラからのデータを結合するように構成された他のハードウェア回路若しくはプロセッサであることが可能である。カメラコントローラ３５１８に、第１のカメラ３５２２及び第２のカメラ３５２４を結合することができる。

また図３５は、ワイヤレスインターフェース３５２６がプロセッサ３５０２及びワイヤレスアンテナ３５２８に結合できることを示している。特定の実施形態では、プロセッサ３５０２、表示器コントローラ３５０８、メモリ３５０４、ＣＯＤＥＣ３５１２、カメラコントローラ３５１８、及びワイヤレスインターフェース３５２６は、システムインパッケージ又はシステムオンチップ３５３０に含まれる。特定の実施形態では、入力装置３５３２及び電源３５３４が、オンチップシステム３５３０に結合される。さらに、特定の実施形態では、図３５に示すように、表示器３５１０、入力装置３５３２、スピーカ３５１４、マイク３５１６、ワイヤレスアンテナ３５２８、及び電源３５３４は、オンチップシステム３５３０の外部にある。しかしながら、それぞれは、インターフェース又はコントローラなど、オンチップシステム３５３０の構成要素に結合されることが可能である。

特定の実施形態では、プロセッサ３５０２は、メモリ３５０４に格納されたプログラム命令３５３６のような、プロセッサ可読媒体からのプロセッサ可読プログラム命令を実行する。例えば、メモリ３５０４は、プロセッサ３５０２によって読み取り可能とすることができ、命令３５３６は、図２５の方法２５００を実行するためにプロセッサ３５０２によって実行可能な操作命令とすることができる。例えば、命令３５３６は、カメラ３５２２のような第１の画像センサから第１のデータストリームを受信し、カメラ３５２４のような第２の画像センサから第２のデータストリームを受信し、カメラコントローラ３５１８の結合器３５２０を使用して第１のデータストリームからのデータと第２のデータストリームからのデータを結合してフレームを生成するために、プロセッサ３５０２によって実行可能な命令を含むことができる。例えば、第１の画像センサは、図１３の第１の画像のセンサ１３０２であることが可能であり、第２の画像センサは、図１３の第２の画像センサ１３０４であることが可能である。命令３５３６は、画像プロセッサ３５０６でフレームを処理して処理済みフレームを生成するために、プロセッサ３５０２によって実行可能な命令をさらに含むことができる。命令３５３６は、処理済みフレームを３Ｄデータとして表示器コントローラ３５０８に出力して表示装置３５１０で表示するために、又は処理済みフレームを画像データ３５３８としてメモリ３５０４に格納するために、プロセッサ３５０２によって実行可能な命令をさらに含むことができる。

さらに、本明細書に開示する諸実施形態と関連して説明する様々な例示的論理ブロック、構成、モジュール、回路、及びアルゴリズムのステップは、電子ハードウェア、プロセッサによって実行されるコンピュータソフトウェア、又は両方の組合せとして実装できることを、当業者は理解するであろう。様々な例示的構成要素、ブロック、構成、モジュール、回路、及びステップについて、これらの機能に関して上記で大まかに説明した。このような機能がハードウェアとして実装されるか、又はプロセッサによって実行されるソフトウェアとして実装されるかは、特定の応用及びシステム全体に課される設計の制約によって決まる。当業者は、それぞれ特定の応用に対して、記載した機能を様々な方法で実装することができるが、このような実装の決定は、本開示の範囲からの逸脱を引き起こすと解釈されるべきではない。

図２２〜３２の方法は、コンピュータ可読命令の形態でメモリに格納することができるプログラムコードを実行することによって行われることが可能である。その場合、デジタル信号プロセッサ（ＤＳＰ）、画像信号プロセッサ（ＩＳＰ）、又は他のプロセッサなどのプロセッサが、画像処理方法の１つ又は複数を行うために、メモリに格納された命令を実行することができる。ある場合では、方法は、画像処理を加速するための様々なハードウェアコンポーネントを呼び出すＤＳＰ又はＩＳＰによって実行されることが可能である。他の場合では、本明細書に記載するユニットは、マイクロプロセッサ、１つ以上の特定用途向け集積回路（ＡＳＩＣ）、１つ以上のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はその任意の組合せとして実装されることが可能であり、或いは方法は、これらによって実行されることが可能である。

本明細書に開示した実施形態と関連して記載した方法又はアルゴリズムの諸ステップは、直接ハードウェアで、プロセッサによって実行されるソフトウェアモジュールで、又はこの２つの組合せで、具体化されることが可能である。ソフトウェアモジュールは、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、リードオンリメモリ（ＲＯＭ）、プログラマブルリードオンリメモリ（ＰＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、レジスタ、ハードディスク、リムーバブルディスク、コンパクトディスクリードオンリメモリ（ＣＤ−ＲＯＭ）、又は任意の他の形態の当技術分野で知られる非一時的（non-transitory）コンピュータ可読媒体に存在することが可能である。例示的な記憶媒体は、プロセッサがこの記憶媒体から情報を読み取ること、及びこの記憶媒体に情報を書き込むことができるように、プロセッサに結合される。代替的には記憶媒体は、プロセッサと一体化されることが可能である。プロセッサ及び記憶媒体は、特定用途向け集積回路（ＡＳＩＣ）に存在することが可能である。ＡＳＩＣは、コンピューティング機器又はユーザ端末に存在することが可能である。代替的にはプロセッサ及び記憶媒体は、コンピューティング機器又はユーザ端末にディスクリート部品として存在することが可能である。

開示する実施形態についての前述の説明は、当業者が開示する実施形態を作成又は利用することができるように提供する。これらの実施形態への様々な変更が当業者には容易に理解され、本明細書で定める一般的な原理は、本開示の範囲から逸脱することなく他の実施形態に適用することができる。従って本開示は、本明細書に示す実施形態に限定されるものではなく、次の特許請求の範囲で定める原理及び新規の特徴と一致する可能性がある最大の範囲を与えられるものとする。

開示する実施形態についての前述の説明は、当業者が開示する実施形態を作成又は利用することができるように提供する。これらの実施形態への様々な変更が当業者には容易に理解され、本明細書で定める一般的な原理は、本開示の範囲から逸脱することなく他の実施形態に適用することができる。従って本開示は、本明細書に示す実施形態に限定されるものではなく、次の特許請求の範囲で定める原理及び新規の特徴と一致する可能性がある最大の範囲を与えられるものとする。
以下に本件出願当初の特許請求の範囲に記載された発明を付記する。
［１］ 画像データを生成する方法であって、第１のカメラによって取り込まれる第１の画像からの第１のラインデータと第２のカメラによって取り込まれる第２の画像からの第２のラインデータとを各ラインが含む複数ラインの画像データを単一カメラ用の入力を有する画像プロセッサで受信すること、前記第１の画像のラインデータに対応する第１のセクションを有し、前記第２の画像のラインデータに対応する第２のセクションを有する出力フレームを生成すること、を含み、前記第１のセクション及び前記第２のセクションが、３次元（３Ｄ）画像フォーマット又は３Ｄ映像フォーマットを生成するために使用されるように構成される、方法。
［２］ 前記複数のラインの画像データのが、前記第１のカメラ及び前記第２のカメラに結合された結合器から前記画像プロセッサで受信される、請求項１に記載の方法。
［３］ 前記画像データの各ラインを生成するため、前記結合器を使用して、前記第１のカメラからの第１の画像データ及び前記第２のカメラからの第２の画像データのラインごとの読み出しを同期すること、さらに備える、［２］に記載の方法。
［４］ 前記出力フレームを処理して３Ｄ画像データを生成することと、前記３Ｄ画像データを表示装置に送信することと、をさらに含む、［１］に記載の方法。
［５］ 前記出力フレームを処理して３Ｄ映像データを生成することと、前記３Ｄ映像データを表示装置に送信することと、をさらに含む、［１］に記載の方法。
［６］ 前記表示装置が、通信機器、カメラ、携帯情報端末、及びコンピュータのうちの少なくとも１つの構成要素である、［５］に記載の方法。
［７］ 前記画像データの各ラインが、前記第１のラインデータと前記第２のラインデータとの間にギャップセクションを含み、前記ギャップセクションが非画像データを含む、［１］に記載の方法。
［８］ 前記単一カメラ用の前記入力が、単一カメラのパラレルインターフェース又はシリアルインターフェースと、集積回路間インターフェースとを備える、［１］に記載の方法。
［９］ 画像データを生成する装置であって、単一カメラ用の入力を有し、前記入力を介して、第１のカメラによって取り込まれる第１の画像からの第１のラインデータと第２のカメラによって取り込まれる第２の画像からの第２のラインデータとを各ラインが含む複数ラインの画像データを受信するように構成される画像プロセッサを備え、前記画像プロセッサが、前記第１の画像のラインデータに対応する第１のセクションを有し、前記第２の画像のラインデータに対応する第２のセクションを有する出力フレームを生成するように構成され、前記第１のセクション及び前記第２のセクションが、３次元（３Ｄ）画像フォーマット又は３Ｄ映像フォーマットを生成するために使用されるように構成される、装置。
［１０］ 前記第１のカメラ及び前記第２のカメラに結合された結合器をさらに備え、画像データの前記ラインが前記結合器から前記画像プロセッサで受信される、［９］に記載の装置。
［１１］ 前記結合器が、前記第１のカメラからの第１の画像データ及び前記第２のカメラからの第２の画像データのラインごとの読み出しを整列させて、前記画像データの各ラインを生成するように構成された、［１０］に記載の装置。
［１２］ 前記出力フレームを処理して、３Ｄ画像データ又は３Ｄ映像データを生成するように構成されたグラフィック処理ユニットをさらに備える、［９］に記載の装置。
［１３］ 前記３Ｄ画像データ又は前記３Ｄ映像データを表示するために結合される表示装置をさらに備え、前記表示装置が、通信機器、カメラ、携帯情報端末、及びコンピュータのうちの少なくとも１つの構成要素である、［１２］に記載の装置。
［１４］ 前記単一カメラ用の前記入力が、単一カメラのパラレルインターフェース又はシリアルインターフェースと、集積回路間インターフェースとを備える、［１３］に記載の装置。
［１５］ プロセッサによって実行されるとき、前記プロセッサに、第１のカメラによって取り込まれる第１の画像からの第１のラインデータと、第２のカメラによって取り込まれる第２の画像からの第２のラインデータとを各ラインが含む複数ラインの画像データを、単一カメラ用の入力を介して受信させ、３次元（３Ｄ）画像フォーマット又は３Ｄ映像フォーマットを生成するために使用されるように構成された、前記第１の画像のラインデータに対応する第１のセクションと前記第２の画像のラインデータに対応する第２のセクションとを有する出力フレームを生成させる命令を含む非一時的コンピュータ可読媒体。
［１６］ 前記複数のラインの画像データのが、前記第１のカメラ及び前記第２のカメラに結合された結合器から受信される、［１５］に記載の非一時的コンピュータ可読媒体。
［１７］ グラフィックプロセッサに、前記出力フレームを処理して３Ｄ画像データを生成させ、前記３Ｄ画像データを表示装置に送信させる命令をさらに含む、［１５］に記載の非一時的コンピュータ可読媒体。
［１８］ グラフィックプロセッサに、前記出力フレームを処理して３Ｄ映像データを生成させ、前記３Ｄ映像データを表示装置に送信させる命令をさらに含む、［１５］に記載の非一時的コンピュータ可読媒体。
［１９］ 第１のカメラによって取り込まれる第１の画像からの第１のラインデータと第２のカメラによって取り込まれる第２の画像からの第２のラインデータとを各ラインが含む複数ラインの画像データを単一カメラ用の入力で受信するための手段と、前記第１の画像のラインデータに対応する第１のセクションを有し、前記第２の画像のラインデータに対応する第２のセクションを有する出力フレームを生成するための手段と、を具備し、前記第１のセクション及び前記第２のセクションが、３次元（３Ｄ）画像フォーマット又は３Ｄ映像フォーマットを生成するために使用されるように構成される、装置。
［２０］ 前記第１のラインデータと前記第２のラインデータとを結合するための手段をさらに備え、結合するための前記手段が、前記第１のカメラ及び前記第２のカメラに結合され、画像データの前記ラインを前記単一カメラ用の前記入力に提供するように構成された、［１９］に記載の装置。
［２１］ 前記出力フレームを処理して３Ｄ画像データを生成するための手段と、前記３Ｄ画像データを表示装置に送信するための手段と、をさらに備える、［１９］に記載の装置。
［２２］ 前記出力フレームを処理して３Ｄ映像データを生成するための手段と、前記３Ｄ映像データを表示装置に送信するための手段と、をさらに備える、［１９］に記載の装置。

Claims (22)

1. 画像データを生成する方法であって、
   第１のカメラによって取り込まれる第１の画像からの第１のラインデータと第２のカメラによって取り込まれる第２の画像からの第２のラインデータとを各ラインが含む複数ラインの画像データを単一カメラ用の入力を有する画像プロセッサで受信すること、
   前記第１の画像のラインデータに対応する第１のセクションを有し、前記第２の画像のラインデータに対応する第２のセクションを有する出力フレームを生成すること、
   を含み、前記第１のセクション及び前記第２のセクションが、３次元（３Ｄ）画像フォーマット又は３Ｄ映像フォーマットを生成するために使用されるように構成される、方法。
2. 前記複数のラインの画像データのが、前記第１のカメラ及び前記第２のカメラに結合された結合器から前記画像プロセッサで受信される、請求項１に記載の方法。
3. 前記画像データの各ラインを生成するため、前記結合器を使用して、前記第１のカメラからの第１の画像データ及び前記第２のカメラからの第２の画像データのラインごとの読み出しを同期すること、さらに備える、請求項２に記載の方法。
4. 前記出力フレームを処理して３Ｄ画像データを生成することと、
   前記３Ｄ画像データを表示装置に送信することと、
   をさらに含む、請求項１に記載の方法。
5. 前記出力フレームを処理して３Ｄ映像データを生成することと、
   前記３Ｄ映像データを表示装置に送信することと、
   をさらに含む、請求項１に記載の方法。
6. 前記表示装置が、通信機器、カメラ、携帯情報端末、及びコンピュータのうちの少なくとも１つの構成要素である、請求項５に記載の方法。
7. 前記画像データの各ラインが、前記第１のラインデータと前記第２のラインデータとの間にギャップセクションを含み、前記ギャップセクションが非画像データを含む、請求項１に記載の方法。
8. 前記単一カメラ用の前記入力が、単一カメラのパラレルインターフェース又はシリアルインターフェースと、集積回路間インターフェースとを備える、請求項１に記載の方法。
9. 画像データを生成する装置であって、
   単一カメラ用の入力を有し、前記入力を介して、第１のカメラによって取り込まれる第１の画像からの第１のラインデータと第２のカメラによって取り込まれる第２の画像からの第２のラインデータとを各ラインが含む複数ラインの画像データを受信するように構成される画像プロセッサを備え、
   前記画像プロセッサが、前記第１の画像のラインデータに対応する第１のセクションを有し、前記第２の画像のラインデータに対応する第２のセクションを有する出力フレームを生成するように構成され、前記第１のセクション及び前記第２のセクションが、３次元（３Ｄ）画像フォーマット又は３Ｄ映像フォーマットを生成するために使用されるように構成される、装置。
10. 前記第１のカメラ及び前記第２のカメラに結合された結合器をさらに備え、画像データの前記ラインが前記結合器から前記画像プロセッサで受信される、請求項９に記載の装置。
11. 前記結合器が、前記第１のカメラからの第１の画像データ及び前記第２のカメラからの第２の画像データのラインごとの読み出しを整列させて、前記画像データの各ラインを生成するように構成された、請求項１０に記載の装置。
12. 前記出力フレームを処理して、３Ｄ画像データ又は３Ｄ映像データを生成するように構成されたグラフィック処理ユニットをさらに備える、請求項９に記載の装置。
13. 前記３Ｄ画像データ又は前記３Ｄ映像データを表示するために結合される表示装置をさらに備え、前記表示装置が、通信機器、カメラ、携帯情報端末、及びコンピュータのうちの少なくとも１つの構成要素である、請求項１２に記載の装置。
14. 前記単一カメラ用の前記入力が、単一カメラのパラレルインターフェース又はシリアルインターフェースと、集積回路間インターフェースとを備える、請求項１３に記載の装置。
15. プロセッサによって実行されるとき、前記プロセッサに、
    第１のカメラによって取り込まれる第１の画像からの第１のラインデータと、第２のカメラによって取り込まれる第２の画像からの第２のラインデータとを各ラインが含む複数ラインの画像データを、単一カメラ用の入力を介して受信させ、
    ３次元（３Ｄ）画像フォーマット又は３Ｄ映像フォーマットを生成するために使用されるように構成された、前記第１の画像のラインデータに対応する第１のセクションと前記第２の画像のラインデータに対応する第２のセクションとを有する出力フレームを生成させる命令を含む非一時的コンピュータ可読媒体。
16. 前記複数のラインの画像データのが、前記第１のカメラ及び前記第２のカメラに結合された結合器から受信される、請求項１５に記載の非一時的コンピュータ可読媒体。
17. グラフィックプロセッサに、
    前記出力フレームを処理して３Ｄ画像データを生成させ、
    前記３Ｄ画像データを表示装置に送信させる命令をさらに含む、請求項１５に記載の非一時的コンピュータ可読媒体。
18. グラフィックプロセッサに、
    前記出力フレームを処理して３Ｄ映像データを生成させ、
    前記３Ｄ映像データを表示装置に送信させる命令をさらに含む、請求項１５に記載の非一時的コンピュータ可読媒体。
19. 第１のカメラによって取り込まれる第１の画像からの第１のラインデータと第２のカメラによって取り込まれる第２の画像からの第２のラインデータとを各ラインが含む複数ラインの画像データを単一カメラ用の入力で受信するための手段と、
    前記第１の画像のラインデータに対応する第１のセクションを有し、前記第２の画像のラインデータに対応する第２のセクションを有する出力フレームを生成するための手段と、
    を具備し、前記第１のセクション及び前記第２のセクションが、３次元（３Ｄ）画像フォーマット又は３Ｄ映像フォーマットを生成するために使用されるように構成される、装置。
20. 前記第１のラインデータと前記第２のラインデータとを結合するための手段をさらに備え、結合するための前記手段が、前記第１のカメラ及び前記第２のカメラに結合され、画像データの前記ラインを前記単一カメラ用の前記入力に提供するように構成された、請求項１９に記載の装置。
21. 前記出力フレームを処理して３Ｄ画像データを生成するための手段と、
    前記３Ｄ画像データを表示装置に送信するための手段と、
    をさらに備える、請求項１９に記載の装置。
22. 前記出力フレームを処理して３Ｄ映像データを生成するための手段と、
    前記３Ｄ映像データを表示装置に送信するための手段と、 をさらに備える、請求項１９に記載の装置。

Images