JP2022008235A - イメージセンサ、ビニング方法、及びイメージ処理システム - Google Patents

Abstract

【課題】イメージセンサ、及びイメージセンサのビニング方法を提供する。【解決手段】イメージセンサ、及びイメージセンサのビニング方法に係り、該イメージセンサのビニング方法は、ピクセルアレイは、（２ｎ）×（２ｎ）行列に配列される複数のピクセル（ｎは、２以上の整数である）を含む複数の領域に区分され、複数の領域それぞれにつき、少なくとも２行のロウ単位で、同時に複数のピクセル信号をリードアウトする段階、リードアウトされた複数のピクセル信号をアナログ・デジタル変換することにより、第１イメージデータを生成する段階、第１イメージデータは、ピクセルアレイの複数の領域に対応する複数のビニング領域を含み、複数のビニング領域それぞれにつき、ビニング領域内の同一色相を有する２つのピクセル値を基に、第１合算値を生成する段階、及びカラム方向に隣接した２つのビニング領域において、同一色相を示す２つの第１合算値を基に、２つのビニング領域それぞれにつき、第２合算値を生成する段階を含む。【選択図】図１

Description

本発明は、イメージセンサに係り、さらに詳細には、イメージセンサのビニング方法、それを遂行するイメージセンサ、及びイメージ処理システムに関する。

イメージセンサの解像度の増大により、イメージセンサが生成するイメージデータの大きさも大きくなっている。しかし、イメージセンサが生成するイメージデータの大きさが増大するほど、動画モードにおいて、高いフレームレート（frame rate）を維持し難く、また消費電力が増大してしまう。例えば、該フレームレートは、サンプルレートを変更する場合にジグザグアーティファクト（zigzag artifact）または偽色化（false color）のようなアーティファクトを防止することに係わる計算帯域幅及び回路インターフェース帯域幅に基づいて達成可能なフレームレートである。アーティファクトを避けるために必要な計算量が多いか、あるいは回路インターフェース帯域幅が広くない場合、達成可能なフレーム速度が制限される問題が生じる。フレームレートを上昇させ、イメージ画質を維持するために、ビニング（binning）技法が利用される。

本発明が解決しようとする課題は、フレームレートを上昇させ、データサイズを小さくしながらも、画質（image quality）を維持することができるイメージセンサのビニング方法、及びそれを遂行するイメージセンサを提供するところにある。

前述のような目的を達成するために、本開示の例示的実施形態によるイメージセンサのビニング方法は、ピクセルアレイは、（２ｎ）×（２ｎ）行列に配列される複数のピクセル（ｎは、２以上の整数である）を含む複数の領域に区分され、前記複数の領域それぞれにつき、少なくとも２行のロウ（row）単位で、同時に複数のピクセル信号をリードアウトする段階、リードアウトされた複数のピクセル信号をアナログ・デジタル変換することにより、第１イメージデータを生成する段階、前記第１イメージデータは、前記ピクセルアレイの前記複数の領域に対応する複数のビニング領域を含み、前記複数のビニング領域それぞれにつき、ビニング領域内の同一色相を有する２つのピクセル値を基に、第１合算値を生成する段階、及びカラム方向に隣接した２つのビニング領域において、同一色相を示す２つの前記第１合算値を基に、前記２つのビニング領域それぞれにつき、第２合算値を生成する段階を含むことにもなる。

前述のような目的を達成するために、本開示の例示的実施形態によるイメージセンサは、（２ｎ）／（２ｎ）行列に配列されるピクセル（ｎは、２以上の整数である）を含む四角形状の複数領域に区分されるピクセルアレイ、複数のカラムラインを介し、前記ピクセルアレイから受信される複数のピクセル信号をリードアウトし、リードアウトされた複数のピクセル信号を、複数のピクセル値に変換するアナログ・デジタル変換回路、前記ピクセルアレイに連結される複数のロウラインを介して制御信号を提供し、前記ピクセルアレイから、少なくとも２行のロウ単位で、同時に複数のピクセル信号が出力されるように制御する前記制御信号を生成するロウドライバ、前記アナログ・デジタル変換回路から出力される第１イメージデータを、所定のライン単位で保存するラインバッファ、及び前記ラインバッファに保存された第１イメージデータに対してビニングを行うプロセッサを含むことにもなる。

前述のような目的を達成するために、本開示の例示的実施形態によるイメージ処理システムは、光信号をセンシングしてイメージデータを生成するイメージセンサ、及び前記イメージセンサから前記イメージデータを受信して処理するプロセッサを含み、前記イメージセンサは、４Ｘ４行列に配列されるピクセルを含む四角形状の複数領域に区分されるピクセルアレイ、複数のカラムラインを介し、前記ピクセルアレイから受信される複数のピクセル信号をリードアウトし、リードアウトされた複数のピクセル信号を複数のピクセル値に変換するアナログ・デジタル変換回路、前記ピクセルアレイに連結される複数のロウラインを介して制御信号を提供し、前記ピクセルアレイから、少なくとも２行のロウ単位で、同時に複数のピクセル信号が出力されるように制御する前記制御信号を生成するロウドライバ、前記アナログ・デジタル変換回路から出力される第１イメージデータを、所定のライン単位で保存するラインバッファ、及び前記ラインバッファに保存された第１イメージデータに対してビニングを行うプロセッサを含むことにもなる。

本開示の例示的実施形態によるイメージセンサのビニング方法によれば、垂直アナログ合算方式により、少なくとも２行のロウを同時にリードアウトすることにより、フレームレートが上昇され、生成されたイメージデータについてビニングを行うことにより、イメージフレームに偽色（false color）、及びジグザグ形態のノイズが生じることを防止することができる。

本開示の例示的実施形態によるイメージセンサを概略的に示すブロック図である。 図１のピクセルアレイのパターンを例示的に示す図面である。 本開示の例示的実施形態による、垂直アナログ合算、及びイメージセンサの補間を示すフローチャートである。 本開示の例示的実施形態による、イメージセンサのビニング方法を示すフローチャートである。 本開示の例示的実施形態によるリードアウト方式について説明する図面である。 本開示の例示的実施形態によるリードアウト方式について説明する図面である。 本開示の例示的実施形態による、リードアウト方式によって生成される第１イメージデータを概略的に示す図面である。 本開示の例示的実施形態による、リードアウト方式によって生成される第１イメージデータを概略的に示す図面である。 本開示の例示的実施形態による、リードアウト方式によって生成される第１イメージデータを概略的に示す図面である。 本開示の例示的実施形態によるビニング方法において、第１イメージデータの複数ビニング領域それぞれにつき、ビニング領域内のピクセル値を基に、第１ビニングを行うことを示す図面である。 本開示の例示的実施形態によるビニング方法において、隣接した２つのビニング領域のピクセル値を基に、補間を行うことを示す図面である。 本開示の例示的実施形態によるビニング方法を示すフローチャートである。 本開示の例示的実施形態によるビニング方法において、グリーンピクセルに適用される第２ビニングについて説明する図面である。 本開示の例示的実施形態によるピクセルの一例を示す図面である。 テトラパターンのピクセルアレイを示す図面である。 テトラパターンのピクセルアレイが、本開示の例示的実施形態によるイメージセンサに適用される例を示す図面である。 本開示の例示的実施形態によるピクセルの一例を示す図面である。 本開示の例示的実施形態によるイメージセンサが適用されるマルチカメラモジュールを含む電子装置のブロック図である。 図１３のカメラモジュールの詳細ブロック図である。

以下、添付図面を参照し、本発明の実施形態について詳細に説明する。

図１は、本開示の例示的実施形態によるイメージセンサを概略的に示すブロック図である。

イメージセンサ１００は、イメージ、または光センシング機能を有する電子機器に搭載されうる。例えば、イメージセンサ１００は、カメラ、スマートフォン、ウェアラブル機器、事物インターネット（ＩｏＴ：internet of things）機器、家電機器、タブレットＰＣ（personal computer）、ＰＤＡ（personal digital assistant）、ＰＭＰ（portable multimedia player）、ナビゲーション（navigation）、ドローン（drone）、先進運転支援システム（ＡＤＡＳ：advanced driver assistance system）のような電子機器にも搭載される。また、イメージセンサ１００は、車、家具、製造設備、ドア、各種計測機器などに、部品として具備される電子機器にも搭載される。

図１を参照すれば、イメージセンサ１００は、ピクセルアレイ１１０、ロウドライバ１２０、アナログ・デジタル変換（ＡＤＣ：analog-to-digital converter）回路１３０、ランプ信号生成器１４０、タイミングコントローラ１５０、ラインバッファ１６０及びプロセッサ１７０を含んでもよい。

ピクセルアレイ１１０は、行列に配列された複数のピクセルＰＸ、並びに複数のピクセルＰＸに接続される複数のロウラインＲＬ、及び複数のカラムラインＣＬを含む。

複数のピクセルＰＸそれぞれは、少なくとも１つの光電変換素子（または、光感知素子）を含み、該光電変換素子は、光を感知し、感知された光を光電荷に変換することができる。例えば、該光電変換素子は、無機フォトダイオード、有機フォトダイオード、ペロブスカイトフォトダイオード、フォトトランジスタ、フォトゲートまたはピンドフォトダイオード（pinned photodiode）のように、有機物質または無機物質によって構成される光感知素子でもある。一実施形態において、複数のピクセルＰＸそれぞれは、複数の光電変換素子を含んでもよい。複数の光感知素子は、同一層に配置されるか、あるいは互いに垂直した方向にも積層される。

複数のピクセルＰＸそれぞれの上部、または隣接したピクセルＰＸで構成されるピクセルグループそれぞれの上部に、集光のためのマイクロレンズが配置されうる。複数のピクセルＰＸそれぞれは、マイクロレンズを介して受信された光から、特定スペクトル領域の光を感知することができる。例えば、ピクセルアレイ１１０は、レッド（red）スペクトル領域の光を電気信号に変換するレッドピクセル、グリーン（green）スペクトル領域の光を電気信号に変換するためのグリーンピクセル、及びブルー（blue）スペクトル領域の光を電気信号に変換するためのブルーピクセルを含んでもよい。複数のピクセルＰＸそれぞれの上部には、特定スペクトル領域の光を透過させるためのカラーフィルタが配置されうる。しかし、それに制限されるものではなく、ピクセルアレイ１１０は、レッド、グリーン及びブルー以外に、他のスペクトル領域の光を電気信号に変換するピクセルを含んでもよい。

一実施形態において、複数のピクセル１１１は、マルチレイヤ構造を有することもできる。該マルチレイヤ構造のピクセル１１１は、互いに異なるスペクトル領域の光を電気信号に変換する積層された光感知素子を含み、該光感知素子から、互いに異なる色相に対応する電気信号が生成されうる。言い替えれば、１つのピクセルＰＸから、複数の色に対応する電気信号が出力されうる。

ピクセルアレイ１１０は、互いに異なる色相の信号をセンシングする、第１ピクセル、第２ピクセル及び第３ピクセルが、列方向及び行方向で反復的に配置されるベイヤー（Bayer）パターンを有することができる。

図２は、図１のピクセルアレイのパターンを例示的に示す。

図２を参照すれば、ピクセルアレイ１１０において、レッドピクセルＰＸ＿Ｒ、グリーンピクセル、例えば、第１グリーンピクセルＰＸ＿Ｇｒが配列される行と、さらに他のグリーンピクセル、例えば、第２グリーンピクセルＰＸ＿Ｇｂ及びブルーピクセルＰＸ＿Ｂが配列される行とが反復的に配列され、該グリーンピクセル、例えば、第１グリーンピクセルＰＸ＿Ｇｒ及び第２グリーンピクセルＰＸ＿Ｇｂは、互いに対角線上に位置することができる。該グリーンピクセル、例えば、第１グリーンピクセルＰＸ＿Ｇｒ及び第２グリーンピクセルＰＸ＿Ｇｂは、輝度と密接な関連があり、全ての行に配置され、レッドピクセルＰＸ＿Ｒ及びブルーピクセルＰＸ＿Ｂは、各行ごとに互い違いにも配置される。

そのようなパターンは、ＲＧＢベイヤーパターンと称され、以下、本開示においては、ピクセルアレイ１１０が、ＲＧＢベイヤーパターンを有するものを例として挙げて説明する。しかし、本開示の技術的思想は、それに制限されるものではなく、異なる三種色相のピクセルが反復的に配列され、第２ピクセル、例えば、輝度と係わるピクセルが全ての行にマッチされながら、第２ピクセルが、隣接した行において、対角線上に位置する構造を有する多様なパターンが、ピクセルアレイ１１０にも適用される。例えば、レッドピクセル、２つのイエローピクセル及びブルーピクセルで構成されるＲＹＹＢパターンがピクセルアレイ１１０にも適用される。

ピクセルアレイ１１０は、複数の領域ＡＲに区分され、複数の領域ＡＲそれぞれは、（２ｎ）×（２ｎ）行列（ｎは、２以上の整数である）に配列される複数のピクセルＰＸを含んでもよい。例えば、複数の領域ＡＲそれぞれは、図示されているように、４×４行列に配列された複数のピクセルＰＸを含んでもよい。このとき、複数の領域ＡＲそれぞれは、イメージセンサ１００がビニングを行う第１モードで動作するとき、本開示の例示的実施形態によるリードアウト方式が適用される基本単位であり、リードアウトされた信号を基に生成されるイメージデータの複数ビニング領域それぞれに対応しうる。本開示の例示的実施形態によるリードアウト方式によれば、複数の領域ＡＲそれぞれにつき、少なくとも２行のロウ（row）単位で、同時に複数のピクセル信号がリードアウトされることにもなる。例えば、１つの水平期間に、少なくとも２行のロウに該当する複数のピクセルＰＸの複数ピクセル信号がリードアウトされることにもなる。本開示の例示的実施形態によるリードアウト方式は、図４Ａないし図５Ｂを参照して後述する。

一方、イメージセンサ１００が、第２モード、例えば、ビニングを行わないノーマルモードで動作するとき、ピクセルアレイ１１０は、ロウ単位で、複数のピクセル信号が順にリードアウトされうる。

続けて、図１を参照すれば、複数のロウラインＲＬそれぞれは、ロウ方向に延長され、同一ロウに配置されたピクセルＰＸにも連結される。例えば、複数のロウラインＲＬそれぞれは、ピクセルＰＸに具備される素子、例えば、複数のトランジスタそれぞれに、ロウドライバ１２０から出力される制御信号を伝送することができる。

複数のカラムラインＣＬそれぞれは、カラム方向に延長され、同一カラムに配置されたピクセルＰＸにも連結される。複数のカラムラインＣＬそれぞれは、ピクセルアレイ１１０のロウ単位で、ピクセルＰＸから出力されるピクセル信号、例えば、リセット信号及びセンシング信号を、ＡＤＣ回路１３０に伝送することができる。前述のように、イメージセンサ１００が第１モードで動作するとき、複数のカラムラインＣＬのうち一部は、少なくとも２行のロウ単位で、ピクセル信号を伝送することができる。

タイミングコントローラ１５０は、イメージセンサ１００の他の構成、例えば、ロウドライバ１２０、ＡＤＣ回路１３０、ランプ信号生成器１４０、ラインバッファ１６０及びプロセッサ１７０のタイミングを制御することができる。タイミングコントローラ１５０は、ロウドライバ１２０、ＡＤＣ回路１３０、ランプ信号生成器１４０、ラインバッファ１６０及びプロセッサ１７０それぞれに対し、動作タイミングを示すタイミング信号を提供することができる。

ロウドライバ１２０は、タイミングコントローラ１５０の制御下、ピクセルアレイ１１０を駆動するための制御信号を生成し、複数のロウラインＲＬを介し、ピクセルアレイ１１０の複数ピクセルＰＸそれぞれに、制御信号を提供することができる。ロウドライバ１２０は、ピクセルアレイ１１０の複数ピクセルＰＸが、同時またはロウ単位で入射される光を感知するように制御することができる。また、ロウドライバ１２０は、複数のピクセルＰＸにおいて、ロウ単位、または少なくとも２行のロウ単位においてピクセルＰＸを選択し、選択されたピクセルＰＸが、ピクセル信号を、複数のカラムラインＣＬを介して出力するように制御することができる。

ランプ信号生成器１４０は、所定の傾度で増減するランプ信号ＲＡＭＰを生成し、ランプ信号ＲＡＭＰをＡＤＣ回路１３０に提供することができる。

ＡＤＣ回路１３０は、複数のピクセルＰＸのうち、ロウドライバ１２０によって選択されたロウの複数ピクセルＰＸからリードアウトされる複数のピクセル信号を受信し、それを、デジタルデータである複数のピクセル値に変換することができる。

ＡＤＣ回路１３０は、複数のカラムラインＣＬを介し、ピクセルアレイ１１０から受信される複数のピクセル信号を、ランプ信号生成器１４０からのランプ信号ＲＡＭＰを基に、デジタルデータに変換することにより、ロウ単位で、第１イメージデータＩＤＴ１、例えば、原本（raw）イメージデータを生成して出力することができる。

ＡＤＣ回路１３０は、複数のカラムラインＣＬに対応する複数のＡＤＣを含み、複数のＡＤＣそれぞれは、対応するカラムラインＣＬを介して受信されるピクセル信号を、ランプ信号ＲＡＭＰそれぞれと比較し、該比較結果を基に、ピクセル値を生成することができる。例えば、該ＡＤＣは、ＣＤＳ（correlated double sampling）方式でセンシング信号からリセット信号を除去し、ピクセルＰＸで感知された光量を示すピクセル値を生成することができる。

ラインバッファ１６０は、複数のラインメモリを含み、ＡＤＣ回路１３０から出力される複数のピクセル値を、所定のロウ単位で保存することができる。言い替えれば、ラインバッファ１６０は、ＡＤＣ回路１３０から出力される第１イメージデータＩＤＴ１を、所定のロウ単位で保存することができる。例えば、ラインバッファ１６０は、ピクセルアレイ１１０の３行のロウに該当する３つのラインメモリを含み、３つのラインメモリに、ＡＤＣ回路１３０から出力される第１イメージデータＩＤＴ１の３行のロウに該当する複数のピクセル値を保存することができる。

プロセッサ１７０は、ラインバッファ１６０に保存された第１イメージデータＩＤＴ１の複数ロウに該当する複数のピクセル値を処理することができる。プロセッサ１７０は、第１イメージデータＩＤＴ１に対し、ラインバッファ１６０に保存された所定のロウ単位で、画質補償、ビニング、ダウンサイジングなどを行うことができる。それにより、イメージ処理された出力イメージデータＯＩＤＴが、所定のロウ単位で生成されて出力されることにもなる。

一実施形態において、プロセッサ１７０は、第１イメージデータＩＤＴ１を、色相別に処理することができる。例えば、第１イメージデータＩＤＴ１が、レッドピクセル値、グリーンピクセル値及びブルーピクセル値を含む場合、プロセッサ１７０は、レッドピクセル、グリーンピクセル及びブルーピクセルそれぞれを、並列または直列に処理することができる。一実施形態において、プロセッサ１７０は、そのように、色相別処理を並列に行うために、複数のプロセッシング回路を含んでもよい。しかし、それに制限されるものではなく、１つのプロセッシング回路が反復しても再使用される。

プロセッサ１７０は、後述される本開示の例示的実施形態によるビニング方法を遂行することにより、データサイズが低減された出力イメージデータＯＩＤＴを生成することができる。

出力イメージデータＯＩＤＴは、外部プロセッサ、例えば、アプリケーションプロセッサに出力され、該アプリケーションプロセッサは、出力イメージデータＯＩＤＴを保存したり、イメージ処理したり、ディスプレイしたりすることができる。

本開示の例示的実施形態によれば、イメージセンサ１００が第１動作モードで動作するとき、少なくとも２行のロウの複数ピクセル信号が同時にリードアウトされながら、垂直方向（例えば、カラム方向）にアナログ合算されうる。そのような垂直アナログ合算方式によれば、１水平期間に、少なくとも２行のロウが同時にリードアウトされるが、フレームレートが、少なくとも２倍以上上昇されうる。

垂直アナログ合算方式により、第１イメージデータＩＤＴ１が生成され、プロセッサ１７０は、第１イメージデータＩＤＴ１に対し、ビニングを行うことができる。それにより、出力イメージデータＯＩＤＴのデータ量が低減され、サンプリング周波数差に起因する偽色（false color）、及びジグザグ形態のノイズの発生が緩和されうる。

図３Ａは、本開示の例示的実施形態による、垂直アナログ合算、及びイメージセンサの補間を示すフローチャートである。図３Ａのビニング方法は、図１のイメージセンサ１００においても行われる。

図３Ａを参照すれば、ピクセルが光電荷を生成する（Ｓ０１０）。該光電荷生成方法は、図１を参照して説明し、さらに詳細な内容は、図１０及び図１２を参照して後述される。

光電荷が、カラム配線上において、アナログ方式で合算される（Ｓ０２０）。例えば、光電荷が、図１のカラムラインＣＬ上においても合算される。該合算結果は、ＩＤＴ０としても表示される。

電荷合算から生じる電圧が、アナログ・デジタル変換（ＡＤＣ）により、デジタル値にも変換される（Ｓ０３０）。該デジタル値は、例えば、図１のＡＤＣ回路１３０によって生成され、図１のイメージＩＤＴ１を形成することができる。それについては、図４Ｂを例として後述される。

イメージＩＤＴ１のピクセルは、加重値を使用しても補間される（Ｓ０４０）。それについては、図６を例として後述される。

補間されたデジタル値は、例えば、イメージデータＯＩＤＴ（図１）としても出力される（Ｓ０５０）。

図３Ｂは、本開示の例示的実施形態による、イメージセンサのビニング方法を示すフローチャートである。図３Ｂの動作は、図１のイメージセンサ１００においても遂行される。

図１及び図３Ｂを参照すれば、イメージセンサ１００は、ピクセルアレイ１１０の複数領域ＡＲそれぞれにつき、少なくとも２行のロウ単位で、同時に複数のピクセル信号をリードアウトすることができる（Ｓ１１０）。それにより、前述のように、少なくとも２行のロウの同一カラムに配置された少なくとも２つのピクセルから出力される少なくとも２つのピクセル信号が、アナログ合算されることにもなる。

イメージセンサ１００は、リードアウトされた複数のピクセル信号をアナログ・デジタル変換し、第１イメージデータＩＤＴ１を生成することができる。例えば、ＡＤＣ回路１３０は、複数のカラムラインＣＬを介して受信される複数のピクセル信号をアナログ・デジタル変換することにより、第１イメージデータＩＤＴ１を生成することができる。その後、デジタルビニングが行われる。

第１イメージデータＩＤＴ１は、複数のビニング領域に区分され、イメージセンサ１００は、第１イメージデータＩＤＴ１の複数ビニング領域それぞれにつき、ビニング領域内のピクセル値を基に、第１ビニングを行うことができる（Ｓ１３０）。イメージセンサ１００は、ビニング領域内において、互いに同一色相を有するピクセル値を加重合算することができる。言い替えれば、各ピクセル値に設定された加重値を付加し、該加重値が付加された値を平均合算することができる。

イメージセンサ１００は、カラム方向に互いに隣接した２つのビニング領域のピクセル値を基に、補間を行うことができる（Ｓ１４０）。イメージセンサ１００は、２つのビニング領域において、同一色相を有するピクセル値を加重合算することができる。

それにより、第１イメージデータＩＤＴ１よりサイズが低減された第２イメージデータが出力されうる（Ｓ１５０）。例えば、複数のビニング領域が４×４行列に配置されたピクセル値を含む場合、第２イメージデータのサイズは、ピクセルアレイ１１０の解像度の１／４倍に該当しうる。

以下、図４Ａないし図９を参照し、本開示の例示的実施形態によるビニング方法についてさらに詳細に説明する。

図４Ａ及び図４Ｂは、本開示の例示的実施形態によるリードアウト方式について説明する図面であり、図５Ａないし図５Ｃは、本開示の例示的実施形態によるリードアウト方式によって生成される第１イメージデータを概略的に示す。

図４Ａ及び図４Ｂは、ピクセルアレイ１１０の１つの領域ＡＲに対するリードアウトを示す。前記領域ＡＲは、４×４行列に配列された複数のピクセルＰＸを含んでもよい。

図４Ａを参照すれば、第１水平期間に、第１ロウRow１及び第３ロウRow３が同時にリードアウトされうる。第１カラムＣ１に配置された第１グリーンピクセルＧｒ１，Ｇｒ３のピクセル信号が、第１カラムラインＣＬ１を介しても出力され、第４カラムＣ４に配置されたレッドピクセルＲ２，Ｒ４のピクセル信号が、第４カラムラインＣＬ４を介しても出力される。

２つのピクセル、例えば、第１グリーンピクセルＧｒ１，Ｇｒ３のピクセル信号が、第１カラムラインＣＬ１を介して出力されるとき、ピクセル信号が合算されうる。ただし、ピクセルＰＸからピクセル信号が出力されるとき、ピクセルＰＸは、ソースフォロワとして動作することができ、ピクセルＰＸ内部の寄生抵抗により、第１グリーンピクセルＧｒ１，Ｇｒ３のピクセル信号において、相対的に高い値に隣接した値を有する合算信号が、第１グリーンピクセルＧｒ１，Ｇｒ３に対応するピクセル信号として、第１カラムラインＣＬ１を介し、ＡＤＣ回路１３０に提供されうる。

一方、第２カラムＣ２に配置されたレッドピクセルＲ１，Ｒ３のうち、相対的に領域ＡＲの外郭に配置されたレッドピクセルＲ１のピクセル信号が第２カラムラインＣＬ２を介しても出力され、第３カラムＣ３に配置された第１グリーンピクセルＧｒ２，Ｇｒ４のうち、相対的に領域ＡＲの外郭に配置されたグリーンピクセルＧｒ２のピクセル信号が第３カラムラインＣＬ３を介しても出力される。言い替えれば、第２カラムＣ２及び第３カラムＣ３においては、第１ロウRow１及び第２ロウRow２に配置された同一色相を有するピクセルのうち、相対的に外郭に配置されたピクセルのピクセル信号がリードアウトされることにもなる。相対的に内部に配置されたピクセルのピクセル信号は、リードアウトされずに無視される。

ＡＤＣ回路１３０は、受信されるピクセル信号を、デジタル値であるピクセル値ＰＧｒ１３，ＰＲ１，ＰＧｒ２，ＰＲ２４に変換することができる。一実施形態において、第１水平期間に生成されたピクセル値ＰＧｒ１３，ＰＲ１，ＰＧｒ２，ＰＲ２４は、同一ラインメモリ、例えば、ラインバッファ１６０の第１ラインメモリＬＭ１にも保存され、第１イメージデータＩＤＴ１の一部を構成することができる。ただし、ピクセル値ＰＧｒ１３，ＰＲ１，ＰＧｒ２，ＰＲ２４は、第１イメージデータＩＤＴ１の同一ロウに該当するものではない。

図４Ｂを参照すれば、第１水平期間に続く第２水平期間に、第２ロウRow２及び第４ロウRow４が同時にリードアウトされうる。第１カラムＣ１に配置されたブルーピクセルＢ１，Ｂ３のピクセル信号が第１カラムラインＣＬ１を介しても出力され、第４カラムＣ４に配置された第２グリーンピクセルＧｂ２，Ｇｂ４のピクセル信号が第４カラムラインＣＬ４を介しても出力される。このとき、図４Ａを参照して説明したように、同一カラムラインに出力される２つのピクセル信号は、合算され、該合算信号がＡＤＣ回路１３０にも提供される。

第２カラムＣ２に配置された第２グリーンピクセルＧｂ１，Ｇｂ３のうち、相対的に領域ＡＲの外郭に配置された第１グリーンピクセルＧｂ３のピクセル信号が第２カラムラインＣＬ２を介しても出力され、第３カラムＣ３に配置されたブルーピクセルＢ２、Ｂ４のうち、相対的に領域ＡＲの外郭に配置されたブロックピクセルＢ４のピクセル信号が第３カラムラインＣＬ３を介しても出力される。

ＡＤＣ回路１３０は、受信されるピクセル信号を、デジタル値であるピクセル値ＰＢ１３，ＰＧｂ３，ＰＢ４，ＰＧｂ２４に変換することができる。一実施形態において、第２水平期間に生成されたピクセル値ＰＢ１３，ＰＧｂ３，ＰＢ４，ＰＧｂ２４は、同一ラインメモリ、例えば、ラインバッファ１６０の第２ラインメモリＬＭ２にも保存され、第１イメージデータＩＤＴ１の一部を構成することができる。一実施形態において、第１水平期間に生成されたピクセル値ＰＧｒ１３，ＰＲ１，ＰＧｒ２，ＰＲ２４が、第１ラインメモリＬＭ１から第２ラインメモリＬＭ２に移動し、第２水平期間に生成されたピクセル値ＰＢ１３，ＰＧｂ３，ＰＢ４，ＰＧｂ２４が、第１ラインメモリＬＭ１にも保存される。ラインバッファ１６０は、また第１ラインバッファＬＭ１及び第２ラインバッファＬＭ２と類似して、第３ラインバッファＬＭ３を含み、第３ラインバッファＬＭ３は、第１ラインバッファLＭ１及び第２ラインバッファＬＭ２に連続しても使用される。

図５Ａを参照すれば、第１ラインメモリＬＭ１に保存されたピクセル値ＰＧｒ１３，ＰＲ１，ＰＧｒ２，ＰＲ２４は、第１イメージデータＩＤＴ１のビニング領域ＢＡ内において、第１ロウRow１及び第２ロウRow２を構成することができる。ピクセル値ＰＧｒ１３，ＰＲ２４それぞれは、ピクセルアレイ１１０の１領域ＡＲの第１ロウRow１及び第３ロウRow３に位置した２つのピクセルのピクセル信号の合算値であるので、例えば、２つのピクセルＧｒ１及びＧｒ３、またはピクセルＲ２及びＲ４（図４Ａ）の中間地点に該当するサンプリング位置に係わるピクセル値を示すことができる。ピクセル値ＰＲ１，ＰＧｒ２は、対応するピクセルＲ１，Ｇｒ２（図４Ａ）の位置に係わるピクセル値を示すことができる。

図５Ｂを参照すれば、第２ラインメモリＬＭ２に保存されたピクセル値ＰＢ１３，ＰＧｂ３，ＰＢ４，ＰＧｂ２４は、第１イメージデータＩＤＴ１のビニング領域ＢＡ内において、第３ロウRow３及び第４ロウRow４を構成することができる。ピクセル値ＰＢ１３，ＰＧｂ２４それぞれは、ピクセルアレイ１１０の１領域ＡＲの第２ロウRow２及び第４ロウRow４に位置した、例えば、２つのピクセルＢ１及びＢ３、またはピクセルＧｂ２及びＧｂ４（図４Ｂ）のピクセル信号の合算値であるので、２つのピクセルの中間地点に該当するサンプリング位置に係わるピクセル値を示すことができる。ピクセル値ＰＧｂ３，ＰＢ４は、対応するピクセルＧｂ３，Ｂ４（図４Ｂ）の位置に係わるピクセル値を示すことができる。

図５Ｃを参照すれば、本開示の例示的実施形態による、ピクセルアレイ１１０の領域ＡＲに対するリードアウトにより、図示されているように、第１イメージデータＩＤＴ１のビニング領域ＢＡに係わるピクセル値が決定されうる。

図６は、本開示の例示的実施形態によるビニング方法において、第１イメージデータの複数ビニング領域それぞれにつき、ビニング領域内のピクセル値を基に、第１ビニングを行うことを示す。

図６を参照すれば、ビニング領域ＢＡ内において、同一色相に対応するピクセル値が合算されることにより、第１ビニングが行われることにもなる。

例えば、第１グリーン色相に対応するピクセル値ＰＧｒ１３，ＰＧｒ２が合算され、サンプリング位置Ｓ１１に対応するピクセル値が算出されることにもなる。このとき、ピクセル値ＰＧｒ１３，ＰＧｒ２それぞれに事前に設定された加重値が付与され、加重値が付与された値が平均合算されることにもなる。該加重値は、サンプリング位置を考慮し、事前に設定されうる。言い替えれば、前記加重値は、加重値が付与された値の平均合算の値が、事前に設定されたサンプリング位置Ｓ１１に位置するようにも設定される。例えば、ピクセル値ＰＧｒ１３，ＰＧｒ２が示すピクセルのセンター間の距離が１０であり、サンプリング位置Ｓ１１は、ピクセル値ＰＧｒ１３から３ほどの距離に位置する場合、ピクセル値ＰＧｒ１３，ＰＧｒ２それぞれに付加される加重値の比は、７対３でもある。言い替えれば、ピクセル値ＰＧｒ１３にさらに高い加重値が付加されうる。

そのように、同一色相に対応する他のピクセル値それぞれのサンプリング位置Ｓ１２，Ｓ１３，Ｓ１４に位置するように加重値が付与され、該加重値が付与された値が平均合算されうる。それにより、各サンプリング位置Ｓ１１，Ｓ１２，Ｓ１３，Ｓ１４に該当するピクセル値ＰＧｒ＿ｂ，ＰＲ＿ｂ，ＰＢ＿ｂ，ＰＧｂ＿ｂが算出されうる。

図７は、本開示の例示的実施形態によるビニング方法において、隣接した２つのビニング領域のピクセル値を基に、補間を行うことを示す。

図７を参照すれば、第１イメージデータＩＤＴ１は、複数のビニング領域ＢＡｎ－１，ＢＡｎ，ＢＡｎ＋１を含んでもよい。複数のビニング領域ＢＡｎ－１，ＢＡｎ，ＢＡｎ＋１間において補間が行われ、それにより、ターゲットサンプリング位置ＴＳ１，ＴＳ２，ＴＳ３，ＴＳ４に対応するピクセル値が生成されることにもなる。

ビニング領域ＢＡｎにおいて、ターゲットサンプリング位置に対応するピクセル値を生成することを例に挙げて説明する。図６を参照して説明したように、ビニング領域ＢＡｎには、サンプリング位置Ｓ１１，Ｓ１２，Ｓ１３，Ｓ１４に該当するピクセル値ＰＧｒ＿ｂ，ＰＲ＿ｂ，ＰＢ＿ｂ，Ｇｂ＿ｂが算出され、ピクセル値ＰＧｒ＿ｂ，ＰＲ＿ｂ，ＰＢ＿ｂ，ＰＧｂ＿ｂは、隣接した他のビニング領域ＢＡｎ－１，ＢＡｎ＋１において、同一色相のピクセル値のうち、最も近くの位置に対応するピクセル値とも合算される。合算されるピクセル値それぞれには、設定された加重値が付加され、該加重値は、ピクセル値それぞれの位置、及びターゲットサンプリング位置を考慮しても設定される。該ピクセル値に対応する位置と、ターゲットサンプリング位置との距離が近いほど、さらに高い加重値が設定されうる。そのように、補間により、ビニング領域ＢＡｎのターゲットサンプリング位置ＴＳ１，ＴＳ２，ＴＳ３，ＴＳ４に対応するピクセル値ＰＧｒ＿ｔ，ＰＲ＿ｔ，ＰＢ＿ｔ，ＰＧｂ＿ｔが算出されることにもなる。

それにより、４×４行列に配列された複数のピクセルＰＸから、リードアウトによる垂直アナログ合算及びビニングを介し、２×２行列に配列されたピクセル値を含む第２イメージデータが生成されうる。

図８は、本開示の例示的実施形態によるビニング方法を示すフローチャートである。図８のビニング方法は、図１のイメージセンサ１００においても遂行される。段階Ｓ２１０，Ｓ２２０，Ｓ２３０，Ｓ２４０は、図３の段階Ｓ１１０，Ｓ１２０，Ｓ１３０及びＳ１４０とそれぞれ同一である。従って、重複説明は、省略する。

段階Ｓ２２０において、第１イメージデータＩＤＴ１を生成した後、イメージセンサ１００は、グリーンピクセルに対し、第２ビニングを行うことができる（Ｓ２５０）。イメージセンサ１００は、第１イメージデータＩＤＴ１の複数ビニング領域それぞれにつき、ビニング領域内の少なくとも２つのグリーンピクセル値と、前記ビニング領域に隣接した他のビニング領域内のグリーンピクセル値と、を合算することができる。例えば、ビニング領域と異なるビニング領域は、カラム方向に互いに隣接することができる。ピクセルそれぞれにつき、サンプリング位置を考慮して加重値が付加され、加重値が付加された値を平均合算することができる。図９を参照し、第２ビニングについて詳細に説明する。

図９は、本開示の例示的実施形態によるビニング方法において、グリーンピクセルに適用される第２ビニングについて説明する図面である。

図９を参照すれば、ビニング領域ＢＡｎ及びビニング領域ＢＡｎ－１は、カラム方向に最も隣接する。

ビニング領域ＢＡｎの第１グリーンピクセルに対応するピクセル値ＰＧｒ１３，ＰＧｒ２と、ビニング領域ＢＡｎ－１において、ビニング領域ＢＡｎの第１グリーンピクセルに最も隣接した第２グリーンピクセルに対応するピクセル値ＰＧｂ３とが合算されうる。このとき、該合算値がターゲットサンプリング位置ＴＳ１に位置するように、各ピクセル値に加重値が付与され、該加重値が付与された値が平均合算されうる。それにより、ターゲットサンプリング位置ＴＳ１に該当するグリーンピクセルのピクセル値ＰＧｒ＿ｔ’が生成されうる。そのような方式により、ビニング領域ＢＡｎにおいて、グリーンピクセルに対応するターゲットサンプリング位置に、グリーンピクセルのピクセル値が決定されることにより、グリーンピクセルのピクセル値を含む第３イメージデータＩＤＴ３が生成されることにもなる。

段階Ｓ２４０の補間遂行時には、図７に図示されているように、合算されるピクセル値間の距離が遠い。しかし、第２ビニング方式によれば、ビニング領域ＢＡｎにおいて、最も近い距離にあるグリーンピクセルのピクセル値が、ビニング領域ＢＡｎのピクセル値と合算されうる。従って、さらに隣接したピクセルに対応するピクセル値を基に、ビニングが行われることにもなる。

再び図８を参照すれば、第１グリーンピクセルと第２グリーンピクセルとのピクセル値差を基に、第２イメージデータと第３イメージデータとが併合されうる（Ｓ２７０）。前述のように、第３イメージデータは、グリーンピクセルに係わるピクセル値を含んでもよい。従って、第２イメージデータにおいて、グリーンピクセルに係わるピクセル値と、第３イメージデータにおいて、グリーンピクセルに係わるピクセル値とが併合されうる。段階Ｓ２８０において、併合されたイメージが出力されうる。

このとき、第２ビニング遂行時に利用された第１グリーンピクセル及び第２グリーンピクセルのピクセル値のうち、最も隣接したピクセルに対応するピクセル値の差を基に、第２イメージデータ及び第３イメージデータが併合されうる。

例えば、ピクセル値の差が第１基準値未満である場合、言い替えれば、ピクセル値の差が非常に小さい場合、第３イメージデータのグリーンピクセルのピクセル値が、出力されるイメージデータに適用されることにもなる。言い替えれば、第２イメージデータのレッドピクセル及びブルーピクセルに係わるピクセル値、及び第３イメージデータのグリーンピクセルに係わるピクセル値が、出力されるイメージデータにも含まれる。反対に、ピクセル値の差が第２基準値を超える場合、言い替えれば、ピクセル値の差が非常に大きい場合、第２イメージデータが、出力されるイメージデータとして選択されることにもなる。言い替えれば、第３イメージデータのグリーンピクセル値は、出力されるイメージデータに反映されないのである。前記差値とスレッシュホールド値との比較は、ジグザグアーティファクト及び偽色アーティファクトのようなアーティファクトを低減させるのに有用な非線形段階を提供することができる。

ピクセル値の差が第１基準値以上であり、第２基準値未満である場合、その差を、第１基準値及び第２基準値を基に、１以下の値に変換し、変換された値に相応し、第２イメージデータ及び第３イメージデータそれぞれに加重値を適用し、加重値が適用された値を合算することができる。例えば、ピクセル値の差が変換された値が０．６である場合、第２イメージデータのグリーンピクセルのピクセル値に０．４を、第３イメージデータのグリーンピクセルのピクセル値に０．６の加重値を適用し、加重値が適用された値を合算することができる。グリーンピクセルの合算されたピクセル値と、第２イメージデータのレッドピクセル及びブルーピクセルのピクセル値とを基に、出力イメージデータ生成されうる。

図１０は、本開示の例示的実施形態によるピクセルの一例を示す。

図１０を参照し、ピクセルＰＸは、光電変換素子１１及びピクセル回路１２を含み、ピクセル回路１２は、複数のトランジスタ、例えば、伝送トランジスタＴＸ、リセットトランジスタＲＸ、駆動トランジスタＤＸ及びスイッチングトランジスタＳＸを含んでもよい。

光電変化素子１１は、例えば、フォトダイオードでもある。該フォトダイオードは、入射される光の強度によって可変される光電荷を生成する。伝送トランジスタＴＸは、ロウドライバ１２０（図１）から提供される伝送制御信号ＴＳにより、光電荷をフローティングディフュージョンノードＦＤに伝送することができる。駆動トランジスタＤＸは、フローティングディフュージョンノードＦＤに蓄積された光電荷による電圧を増幅して出力することができる。駆動トランジスタＤＸは、ソースフォロワとして動作することができる。選択トランジスタＳＸのドレインノードが、駆動トランジスタＤＸのソースノードに連結され、ロウドライバ１２０から出力される選択信号ＳＥＬに応答し、選択トランジスタＳＸがターンオンされると、ピクセルＰＸに連結されたカラムラインＣＬに、フローティングデ－ピュジョンノードＦＤの電圧レベルに相応するレベルのピクセル信号ＡＰＳが出力されうる。リセットトランジスタＲＸは、ロウドライバ１２０から提供されるリセット信号ＲＳにより、フローティングデ－ピュジョンノードＦＤを電源電圧ＶＤＤを基にリセットすることができる。

なお、図４Ａ及び図４Ｂを参照して説明したように、ピクセルアレイ１１０において、少なくとも２行のロウが同時にリードアウトされ、このとき、ピクセルアレイ１１０の１領域ＡＲの中心部に位置するピクセルは、リードアウトされない。従って、２行のロウが同時にリードアウトされるとき、前記ピクセルは、選択されないのである。リードアウトされるピクセルは、活性レベルの第１選択信号ＳＥＬ１に応答し、カラムラインＣＬに連結され、リードアウトされないピクセルは、非活性レベルの第２選択信号ＳＥＬ２に応答し、カラムラインＣＬとの連結が遮断されることにもなる。それにより、同じロウに位置するピクセルにおいても、選択的にピクセル信号が出力されるか、あるいは出力されないのである。

図１１Ａは、テトラパターンのピクセルアレイを示し、図１１Ｂは、テトラパターンのピクセルアレイが本開示の例示的実施形態によるイメージセンサに適用される例を示す。

図１１Ａを参照すれば、ピクセルアレイ１１０ａは、テトラパターンを有する。レッドピクセルＰＸ＿Ｒ、第１グリーンピクセルＰＸ＿Ｇｒ、第２グリーンピクセルＰＸ＿Ｇｂ及びブルーピクセルＰＸ＿Ｂが、それぞれ２×２行列に配列され、前記パターンが行列でもって反復されうる。そのようなパターンを、クアッドベイヤーパターンとも称する。

一実施形態において、２×２行列に配列されたピクセルは、図１２に図示されているように、それぞれ光電変換素子を含み、フローティングディフュージョンノード及びピクセル回路を共有することができる。それにより、図１１Ｂに図示されているように、２×２行列に配列されたピクセルは、例えば、１つのビッグピクセルＰＸ＿Ｒ１，ＰＸ＿Ｇｒ１，ＰＸ＿Ｇｂ１，ＰＸ＿Ｂ１として動作することができる。ビッグピクセルは、ベイヤーパターンを構成することができる。それにより、前述のように、本開示の例示的実施形態によるビニング方法が適用されうる。リードアウト段階において、第１水平期間に、第１ロウRow１及び第３ロウRow３が同時にリードアウトされ、第２水平期間に、第２ロウRow２及び第４ロウRow４が同時にリードアウトされることにもなる。

図１２は、本開示の例示的実施形態によるピクセルの一例を示す。

図１２を参照すれば、ピクセルＰＸａは、複数の光電変換素子２２ａ，２２ｂ，２２ｃ，２２ｄ及びピクセル回路１２を含んでもよい。例えば、ピクセルＰＸａは、４個の光電変換素子２２ａ，２２ｂ，２２ｃ，２２ｄを含み、一部実施形態において、光電変換素子として、４個のフォトダイオードＰＤ１Ａ，ＰＤ１Ｂ，ＰＤ１Ｃ，ＰＤ１Ｄを含んでもよい。複数の光電変換素子２２ａ，２２ｂ，２２ｃ，２２ｄそれぞれの上部には、マイクロレンズが配置されうる。従って、マイクロレンズと光電変換素子との組み合わせが１つのピクセルとも称され、それにより、図１２のピクセルＰＸａは、４個のピクセルとも見なされる。

ピクセル回路１２は、複数の光電変換素子２２ａ，２２ｂ，２２ｃ，２２ｄそれぞれに連結された第１伝送トランジスタＴｘ１ないし第４伝送トランジスタＴＸ４、リセットトランジスタＲＸ１、駆動トランジスタＤＸ１及び選択トランジスタＳＸ１を含んでもよい。

フローティングディフュージョンノードＦＤは、４個の光電変換素子２２ａ，２２ｂ，２２ｃ，２２ｄ、及び４個の伝送トランジスタＴＸ１，ＴＸ２，ＴＸ３，ＴＸ４によっても共有される。伝送トランジスタＴＸ１，ＴＸ２，ＴＸ３，ＴＸ４は、トランスファゲートＴＧ１，ＴＧ２，ＴＧ３，ＴＧ４の電圧により、４個の第１フォトダイオードＰＤ１Ａ，ＰＤ１Ｂ，ＰＤ１Ｃ，ＰＤ１Ｄそれぞれを、フローティングディフュージョンノードＦＤ１と連結させたり遮断させたりすることができる。

第１フォトダイオードＰＤ１Ａ，ＰＤ１Ｂ，ＰＤ１Ｃ，ＰＤ１Ｄに入射された光は、光電変換により、フォトダイオードＰＤ１Ａ，ＰＤ１Ｂ，ＰＤ１Ｃ，ＰＤ１Ｄ内に、電荷としても蓄積される。フォトダイオードＰＤ１Ａ，ＰＤ１Ｂ，ＰＤ１Ｃ，ＰＤ１Ｄに蓄積された電荷が、フローティングディフュージョンノードＦＤ１に伝達されると、ドライブトランジスタＤＸ１及び選択トランジスタＳＸ１を経て、第１アナログ電圧Ｖ１ｏｕｔとして、外部にも出力される。フローティングディフュージョンノードＦＤ１の電圧変化に対応する第１アナログ電圧Ｖ１ｏｕｔは、外部のリードアウト回路（図示せず）にも伝送される。

本実施形態によるピクセルＰＸａは、図１１Ａのピクセルアレイ１１０ａに適用されうる。例えば、ピクセルＰＸａの４個の光電変換素子２２ａ，２２ｂ，２２ｃ，２２ｄが２Ｘ２に配列された各ピクセルに対応しうる。言い替えれば、２Ｘ２に配列された各ピクセルは、図１２のピクセルＰＸａのように、フローティングディフュージョンノードＦＤを共有することができる。伝送トランジスタＴＸ１，ＴＸ２，ＴＸ３，ＴＸ４は、同時にターンオンまたはターンオフされることにより、図１１Ｂに図示されているように、２Ｘ２に配列されたピクセルが、１つのビッグピクセルとして動作することができる。一実施形態において、ビッグピクセルとして動作するとき、伝送トランジスタＴＸ１，ＴＸ２，ＴＸ３，ＴＸ４のうち一部だけターンオンまたはターンオフされ、残りは、ターンオフ状態を維持することができる。

図１３は、本開示の例示的実施形態によるイメージセンサが適用されるマルチカメラモジュールを含む電子装置のブロック図である。図１４は、図１３のカメラモジュールの詳細ブロック図である。

図１３を参照すれば、電子装置１０００は、カメラモジュールグループ１１００、アプリケーションプロセッサ１２００、ＰＭＩＣ（power management integrated circuit）１３００及び外部メモリ１４００を含んでもよい。

カメラモジュールグループ１１００は、複数のカメラモジュール１１００ａ，１１００ｂ，１１００ｃを含んでもよい。たとえ図面には、３個のカメラモジュール１１００ａ，１１００ｂ，１１００ｃが配置された実施形態が図示されているにしても、本実施形態は、それに制限されるのではない。いくつかの実施形態において、カメラモジュールグループ１１００は、２個のカメラモジュールのみを含むように変形されても実施される。また、いくつかの実施形態において、カメラモジュールグループ１１００は、ｎ個（ｎは、４以上の自然数である）のカメラモジュールを含むように変形されても実施される。

以下、図１４を参照し、カメラモジュール１１００ｂの詳細構成につき、さらに具体的に説明するが、以下の説明は、本実施形態により、他のカメラモジュール１１００ａ，１１００ｂについても、同一に適用されうる。

図１４を参照すれば、カメラモジュール１１００ｂは、プリズム１１０５、光学経路フォールディング要素（ＯＰＦＥ：optical path folding element）１１１０、アクチュエータ１１３０、イメージセンシング装置１１４０及び保存部１１５０を含んでもよい。

プリズム１１０５は、光反射物質の反射面１１０７を含み、外部から入射される光Ｌの経路を変形させることができる。

いくつかの実施形態において、プリズム１１０５は、第１方向Ｘに入射される光Ｌの経路を、第１方向Ｘに垂直である第２方向Ｙに変更させることができる。また、プリズム１１０５は、光反射物質の反射面１１０７を、中心軸１１０６を中心にＡ方向に回転させるか、あるいは中心軸１１０６をＢ方向に回転させ、第１方向Ｘに入射される光Ｌの経路を、垂直である第２方向Ｙに変更させることができる。このとき、ＯＰＦＥ １１１０も、第１方向Ｘ及び第２方向Ｙと垂直である第３方向Ｚに移動することができる。

いくつかの実施形態において、図示されているように、プリズム１１０５のＡ方向最大回転角度は、プラス（＋）Ａ方向には、１５°以下であり、マイナス（－）Ａ方向には、１５°よりも大きくなるが、本実施形態は、それに制限されるものではない。

いくつかの実施形態において、プリズム１１０５は、プラス（＋）Ｂ方向またはマイナス（－）Ｂ方向に２０°前後、または１０°から２０°、または１５°から２０°の間で動くことができ、ここで、動く角度は、プラス（＋）Ｂ方向またはマイナス（－）Ｂ方向に同一角度で動くか、あるいは１°前後の範囲で、ほぼ類似した角度まで動くことができる。

いくつかの実施形態において、プリズム１１０５は、光反射物質の反射面１１０６を、中心軸１１０６の延長方向と平行な、例えば、第３方向Ｚに移動することができる。

ＯＰＦＥ １１１０は、例えば、ｍ（ここで、ｍは、自然数である）個のグループによってなる光学レンズを含んでもよい。ｍ個のレンズは、第２方向Ｙに移動し、カメラモジュール１１００ｂの光学ズーム倍率（optical zoom ratio）を変更することができる。例えば、カメラモジュール１１００ｂの基本光学ズーム倍率をｚとするとき、ＯＰＦＥ １１１０に含まれたｍ個の光学レンズを移動させる場合、カメラモジュール１１００ｂの光学ズーム倍率は、３ｚまたは５ｚ、あるいは５ｚ以上の光学ズーム倍率にも変更される。

アクチュエータ１１３０は、ＯＰＦＥ １１１０または光学レンズ（以下、「光学レンズ」とする）を特定位置に移動させることができる。例えば、アクチュエータ１１３０は、正確なセンシングのために、イメージセンサ１１４２が光学レンズの焦点長（focal length）に位置するように、光学レンズの位置を調整することができる。

イメージセンシング装置１１４０は、イメージセンサ１１４２、制御ロジック１１４４及びメモリ１１４６を含んでもよい。イメージセンサ１１４２は、光学レンズを介して提供される光Ｌを利用し、センシング対象のイメージをセンシングすることができる。前述の本開示の例示的実施形態によるビニング方法を遂行するイメージセンサ１００（図１）が、イメージセンサ１１４２としても適用される。従って、イメージセンシング装置１１４０が第１モードで動作するとき、フレームレートが上昇され、生成されるイメージデータのサイズが低減され、画質が向上されるのである。例えば、該フレームレートは、回路インターフェース帯域幅及び計算帯域幅に基づいて達成可能なフレームレートでもある。イメージセンサ１００（イメージセンサ１１４２の例示的な詳細事項を提供するもの）は、フレームレートが高いものを許容することができる。

制御ロジック１１４４は、カメラモジュール１１００ｂの全般的な動作を制御することができる。例えば、制御ロジック１１４４は、制御信号ラインＣＳＬｂを介して提供された制御信号により、カメラモジュール１１００ｂの動作を制御することができる。

メモリ１１４６は、カリブレーションデータ１１４７のように、カメラモジュール１１００ｂの動作に必要な情報を保存することができる。カリブレーションデータ１１４７は、カメラモジュール１１００ｂが、外部から提供された光Ｌを利用し、イメージデータを生成するのに必要な情報を含んでもよい。カリブレーションデータ１１４７は、例えば、前述の回転度（degree of rotation）に係わる情報、焦点長に係わる情報、光学軸（optical axis）に係わる情報などを含んでもよい。カメラモジュール１１００ｂが、光学レンズの位置によって焦点長が変わるマルチステート（multi state）カメラ形態によって具現される場合、カリブレーションデータ１１４７は、光学レンズの各位置別（または、ステート別）焦点長値とオートフォーカシング（auto focusing）に係わる情報を含んでもよい。

保存部１１５０は、イメージセンサ１１４２を介してセンシングされたイメージデータを保存することができる。保存部１１５０は、イメージセンシング装置１１４０の外部に配置され、イメージセンシング装置１１４０を構成するセンサチップとスタックされた（stacked）形態にも具現される。いくつかの実施形態において、保存部１１５０は、ＥＥＰＲＯＭ（electrically erasable programmable read only memory）によっても具現されるが、本実施形態は、それに制限されるものではない。

図１３及び図１４を共に参照すれば、いくつかの実施形態において、複数のカメラモジュール１１００ａ，１１００ｂ，１１００ｃそれぞれは、アクチュエータ１１３０を含んでもよい。それにより、複数のカメラモジュール１１００ａ，１１００ｂ，１１００ｃそれぞれは、その内部に含まれたアクチュエータ１１３０の動作による、互いに同一であるか、あるいは互いに異なるカリブレーションデータ１１４７を含んでもよい。

いくつかの実施形態において、複数のカメラモジュール１１００ａ，１１００ｂ，１１００ｃのうち、例えば、１つのカメラモジュール１１００ｂは、前述のプリズム１１０５とＯＰＦＥ １１１０とを含むフォールデッドレンズ（folded lens）状のカメラモジュールであり、例えば、残りカメラモジュール１１００ａ，１１００ｂは、プリズム１１０５とＯＰＦＥ １１１０とが含まれていないバーティカル（vertical）状のカメラモジュールでもあるが、本実施形態は、それらに制限されるものではない。

いくつかの実施形態において、複数のカメラモジュール１１００ａ，１１００ｂ，１１００ｃのうち、例えば、１つのカメラモジュール１１００ｃは、例えば、ＩＲ（infrared ray）を利用し、深さ（depth）情報を抽出するバーティカル状のデプスカメラ（depth camera）でもある。その場合、アプリケーションプロセッサ１２００は、例えば、そのようなデプスカメラから提供されたイメージデータと異なるカメラモジュール１１００ａまたは１１００ｂから提供されたイメージデータを併合（merge）し、三次元深さイメージ（３Ｄ depth image）を生成することができる。

いくつかの実施形態において、複数のカメラモジュール１１００ａ，１１００ｂ，１１００ｃのうち、例えば、少なくとも２つのカメラモジュール１１００ａ，１１００ｂは、互いに異なる観測視野（field of view）（視野角）を有することができる。その場合、例えば、複数のカメラモジュール１１００ａ，１１００ｂ，１１００ｃのうち、例えば、少なくとも２つのカメラモジュール１１００ａ，１１００ｂの光学レンズが互いに異なりうるが、それに制限されるものではない。

また、いくつかの実施形態において、複数のカメラモジュール１１００ａ，１１００ｂ，１１００ｃそれぞれの視野角は、互いに異なりもする。その場合、複数のカメラモジュール１１００ａ，１１００ｂ，１１００ｃそれぞれに含まれた光学レンズも、互いに異なりもするが、それに制限されるものではない。

いくつかの実施形態において、複数のカメラモジュール１１００ａ，１１００ｂ，１１００ｃそれぞれは、互いに物理的に分離されても配置される。すなわち、１つのイメージセンサ１１４２のセンシング領域を、複数のカメラモジュール１１００ａ，１１００ｂ，１１００ｃが分割して使用するのではなく、複数のカメラモジュール１１００ａ，１１００ｂ，１１００ｃそれぞれの内部に、独立したイメージセンサ１１４２が配置されうる。

再び図１３を参照すれば、アプリケーションプロセッサ１２００は、イメージ処理装置１２１０、メモリコントローラ１２２０、内部メモリ１２３０を含んでもよい。アプリケーションプロセッサ１２００は、複数のカメラモジュール１１００ａ，１１００ｂ，１１００ｃと分離されても具現される。例えば、アプリケーションプロセッサ１２００と複数のカメラモジュール１１００ａ，１１００ｂ，１１００ｃは、別途の半導体チップとして、互いに分離されても具現される。

イメージ処理装置１２１０は、複数のサブイメージプロセッサ１２１２ａ，１２１２ｂ，１２１２ｃ、イメージ生成器１２１４及びカメラモジュールコントローラ１２１６を含んでもよい。

イメージ処理装置１２１０は、複数のカメラモジュール１１００ａ，１１００ｂ，１１００ｃの個数に対応する個数の複数サブイメージプロセッサ１２１２ａ，１２１２ｂ，１２１２ｃを含んでもよい。

それぞれのカメラモジュール１１００ａ，１１００ｂ，１１００ｃから生成されたイメージデータは、互いに分離されたイメージ信号ラインＩＳＬａ，ＩＳＬｂ，ＩＳＬｃを介し、対応するサブイメージプロセッサ１２１２ａ，１２１２ｂ，１２１２ｃに提供されうる。例えば、カメラモジュール１１００ａから生成されたイメージデータは、イメージ信号ラインＩＳＬａを介し、サブイメージプロセッサ１２１２ａにも提供され、カメラモジュール１１００ｂから生成されたイメージデータは、イメージ信号ラインＩＳＬｂを介し、サブイメージプロセッサ１２１２ｂにも提供され、カメラモジュール１１００ｃから生成されたイメージデータは、イメージ信号ラインＩＳＬｃを介し、サブイメージプロセッサ１２１２ｃにも提供される。そのようなイメージデータ伝送は、例えば、ＭＩＰＩ（mobile industry processor interface）に基づくカメラ直列インターフェース（ＣＳＩ：camera serial interface）を利用しても行われる、本実施形態は、それに制限されるものではない。

なお、いくつかの実施形態において、１つのサブイメージプロセッサが、複数個のカメラモジュールに対応するようにも配置される。例えば、サブイメージプロセッサ１２１２ａとサブイメージプロセッサ１２１２ｃとが、図示されているように、互いに分離されて具現されるのではなく、１つのサブイメージプロセッサに統合されて具現され、カメラモジュール１１００ａとカメラモジュール１１００ｃとから提供されたイメージデータは、選択素子（例えば、マルチプレクサ）などを介して選択された後、統合されたサブイメージプロセッサにも提供される。

それぞれのサブイメージプロセッサ１２１２ａ，１２１２ｂ，１２１２ｃに提供されたイメージデータは、イメージ生成器１２１４にも提供される。イメージ生成器１２１４は、イメージ生成情報（generating information）またはモード信号（mode signal）により、それぞれのサブイメージプロセッサ１２１２ａ，１２１２ｂ，１２１２ｃから提供されたイメージデータを利用し、出力イメージを生成することができる。

具体的には、イメージ生成器１２１４は、イメージ生成情報またはモード信号により、互いに異なる視野角を有するカメラモジュール１１００ａ，１１００ｂ，１１００ｃから生成されたイメージデータのうち少なくとも一部を併合し、出力イメージを生成することができる。また、イメージ生成器１２１４は、イメージ生成情報またはモード信号により、互いに異なる視野角を有するカメラモジュール１１００ａ，１１００ｂ，１１００ｃから生成されたイメージデータのうちいずれか一つを選択し、出力イメージを生成することができる。

いくつかの実施形態において、イメージ生成情報は、ズーム信号（zoom signalまたはzoom factor）を含んでもよい。また、いくつかの実施形態において、該モード信号は、例えば、ユーザから選択されたモードに基づく信号でもある。

イメージ生成情報がズーム信号（ズームファクタ）であり、それぞれのカメラモジュール１１００ａ，１１００ｂ，１１００ｃが互いに異なる観測視野（視野角）を有する場合、イメージ生成器１２１４は、ズーム信号の種類により、互いに異なる動作を遂行することができる。例えば、該ズーム信号が第１信号である場合、カメラモジュール１１００ａから出力されたイメージデータと、カメラモジュール１１００ｃから出力されたイメージデータとを併合した後、併合されたイメージ信号と、併合に使用されていないカメラモジュール１１００ｂから出力されたイメージデータとを利用して、出力イメージを生成することができる。もしズーム信号が第１信号と異なる第２信号である場合、イメージ生成器１２１４は、そのようなイメージデータ併合を行わず、それぞれのカメラモジュール１１００ａ，１１００ｂ，１１００ｃから出力されたイメージデータのうちいずれか一つを選択し、出力イメージを生成することができる。しかし、本実施形態は、それに制限されるものではなく、必要により、イメージデータを処理する方法は、いかようにも変形されても実施される。

いくつかの実施形態において、イメージ生成器１２１４は、複数のサブイメージプロセッサ１２１２ａ，１２１２ｂ，１２１２ｃのうち少なくとも一つから、露出時間が異なる複数のイメージデータを受信し、複数のイメージデータにつき、ＨＤＲ（high dynamic range）処理を行うことにより、ダイナミックレンジが増大された併合されたイメージデータを生成することができる。

カメラモジュールコントローラ１２１６は、それぞれのカメラモジュール１１００ａ，１１００ｂ，１１００ｃに制御信号を提供することができる。カメラモジュールコントローラ１２１６から生成された制御信号は、互いに分離された制御信号ラインＣＳＬａ，ＣＳＬｂ，ＣＳＬｃを介し、対応するカメラモジュール１１００ａ，１１００ｂ，１１００ｃにも提供される。

複数のカメラモジュール１１００ａ，１１００ｂ，１１００ｃのうちいずれか一つは、ズーム信号を含むイメージ生成情報、またはモード信号により、例えば、マスター（master）カメラ１１００ｂにも指定され、例えば、残りカメラモジュール１１００ａ，１１００ｃは、スレーブ（slave）カメラにも指定される。そのような情報は、制御信号に含まれ、互いに分離された制御信号ラインＣＳＬａ，ＣＳＬｂ，ＣＳＬｃを介し、対応するカメラモジュール１１００ａ，１１００ｂ，１１００ｃにも提供される。

ズームファクタまたは動作モード信号により、マスター及びスレーブとして動作するカメラモジュールが変更されうる。例えば、カメラモジュール１１００ａの視野角が、カメラモジュール１１００ｂの視野角より広く、ズームファクタが低いズーム倍率を示す場合、カメラモジュール１１００ｂがマスターとして動作し、カメラモジュール１１００ａがスレーブとして動作することができる。反対に、ズームファクタが高いズーム倍率を示す場合、カメラモジュール１１００ａがマスターとして動作し、カメラモジュール１１００ｂがスレーブとして動作することができる。

いくつかの実施形態において、カメラモジュールコントローラ１２１６から、それぞれのカメラモジュール１１００ａ，１１００ｂ，１１００ｃに提供される制御信号は、シンクイネーブル信号（sync enable）信号を含んでもよい。例えば、カメラモジュール１１００ｂがマスターカメラであり、カメラモジュール１１００ａ，１１００ｃがスレーブカメラである場合、カメラモジュールコントローラ１２１６は、カメラモジュール１１００ｂに、シンクイネーブル信号を伝送することができる。そのようなシンクイネーブル信号を提供されたカメラモジュール１１００ｂは、提供されたシンクイネーブル信号を基に、シンク信号（sync signal）を生成し、生成されたシンク信号を、シンク信号ラインＳＳＬを介し、カメラモジュール１１００ａ，１１００ｃに提供することができる。カメラモジュール１１００ｂとカメラモジュール１１００ａ，１１００ｃは、そのようなシンク信号に同期化され、イメージデータをアプリケーションプロセッサ１２００に伝送することができる。

いくつかの実施形態において、カメラモジュールコントローラ１２１６から、複数のカメラモジュール１１００ａ，１１００ｂ，１１００ｃに提供される制御信号は、モード信号によるモード情報を含んでもよい。そのようなモード情報に基づき、複数のカメラモジュール１１００ａ，１１００ｂ，１１００ｃは、センシング速度と係わり、第１動作モード及び第２動作モードで動作することができる。

複数のカメラモジュール１１００ａ，１１００ｂ，１１００ｃは、第１動作モードにおいて、第１速度でイメージ信号を生成（例えば、第１フレームレートのイメージ信号を生成）し、それを第１速度より高い第２速度でエンコーディング（例えば、第１フレームレートより高い第２フレームレートのイメージ信号をエンコーディング）し、エンコーディングされたイメージ信号を、アプリケーションプロセッサ１２００に伝送することができる。このとき、該第２速度は、第１速度の３０倍以下でもある。

アプリケーションプロセッサ１２００は、受信されたイメージ信号、言い替えれば、エンコーディングされたイメージ信号を、内部に具備される内部メモリ１２３０またはアプリケーションプロセッサ１２００外部の外部メモリ１４００に保存し、その後、内部メモリ１２３０または外部メモリ１４００から、エンコーディングされたイメージ信号を読み取ってデコーディングして、デコーディングされたイメージ信号に基づいて生成されるイメージデータをディスプレイすることができる。例えば、イメージ処理装置１２１０の複数サブプロセッサ１２１２ａ，１２１２ｂ，１２１２ｃにおいて、対応するサブプロセッサがデコーディングを行うことができ、またデコーディングされたイメージ信号につき、イメージ処理を行うことができる。

複数のカメラモジュール１１００ａ，１１００ｂ，１１００ｃは、第２動作モードにおいて、第１速度より低い第３速度で、イメージ信号を生成（例えば、第１フレームレートより低い第３フレームレートのイメージ信号を生成）し、イメージ信号をアプリケーションプロセッサ１２００に伝送することができる。アプリケーションプロセッサ１２００に提供されるイメージ信号は、エンコーディングされていない信号でもある。アプリケーションプロセッサ１２００は、受信されるイメージ信号につき、イメージ処理を行うか、あるいはイメージ信号を内部メモリ１２３０または外部メモリ１４００に保存することができる。

ＰＭＩＣ １３００は、複数のカメラモジュール１１００ａ，１１００ｂ，１１００ｃそれぞれに、電力、例えば、電源電圧を供給することができる。例えば、ＰＭＩＣ １３００は、アプリケーションプロセッサ１２００の制御下、パワー信号ラインＰＳＬａを介し、カメラモジュール１１００ａに第１電力を供給し、パワー信号ラインＰＳＬｂを介し、カメラモジュール１１００ｂに第２電力を供給し、パワー信号ラインＰＳＬｃを介し、カメラモジュール１１００ｃに第３電力を供給することができる。

ＰＭＩＣ １３００は、アプリケーションプロセッサ１２００からの電力制御信号ＰＣＯＮに応答し、複数のカメラモジュール１１００ａ，１１００ｂ，１１００ｃそれぞれに対応する電力を生成し、また電力のレベルを調整することができる。電力制御信号ＰＣＯＮは、複数のカメラモジュール１１００ａ，１１００ｂ，１１００ｃの動作モード別に電力調整信号を含んでもよい。例えば、動作モードは、低電力モード（low power mode）を含み、このとき、電力制御信号ＰＣＯＮは、低電力モードで動作するカメラモジュール、及び設定される電力レベルに対する情報を含んでもよい。複数のカメラモジュール１１００ａ，１１００ｂ，１１００ｃそれぞれに提供される電力のレベルは、互いに同一でもあり、あるいは互いに異なってもいる。また、電力のレベルは、動的に変更されうる。

以上のように、図面と明細書とにおいて、例示的な実施形態が開示された。本明細書において、特定の用語を使用し、本実施形態について説明されたが、それらは、単に本開示の技術的思想について説明するための目的で使用されたものであり、意味限定や特許請求の範囲に記載された本開示の範囲を制限するために使用されたものではない。従って、本技術分野の当業者であるならば、それらから多様な変形、及び均等な他の実施形態が可能であるという点を理解するであろう。従って、本開示の真の技術的保護範囲は、特許請求の範囲の技術的思想によって定められるものである。

１００ イメージセンサ
１１０ ピクセルアレイ
１２０ ロウドライバ
１３０ アナログ・デジタル変換（ＡＤＣ）回路
１４０ ランプ信号生成器
１５０ タイミングコントローラ
１６０ ラインバッファ
１７０ プロセッサ
ＰＸ，ＰＸａ ピクセル

Claims (20)

1. イメージセンサのビニング方法において、ピクセルアレイは、（２ｎ）×（２ｎ）行列に配列される複数のピクセル（ｎは、２以上の整数である）を含む複数の領域に区分されており、前記方法は、
   前記複数の領域それぞれにつき、少なくとも２行のロウ単位で、同時に複数のピクセル信号をリードアウトする段階と、
   リードアウトされた複数のピクセル信号をアナログ・デジタル変換することにより、第１イメージデータを生成する段階であって、前記第１イメージデータは、前記ピクセルアレイの前記複数の領域に対応する複数のビニング領域を含む、段階と、
   前記複数のビニング領域それぞれにつき、ビニング領域内の同一色相を有する２つのピクセル値を基に、第１合算値を生成する段階と、
   カラム方向に隣接した２つのビニング領域において、同一色相を示す２つの前記第１合算値を基に、前記２つのビニング領域それぞれにつき、第２合算値を生成する段階と、を含む、方法。
2. 前記リードアウトする段階は、
   前記少なくとも２行のロウの第１カラムに配置された第１色相を有する少なくとも２つの第１ピクセルから同時にピクセル信号をリードアウトし、前記少なくとも２行のロウの第２カラムに配置された第２色相を有する少なくとも２つの第２ピクセルのうち１つの第２ピクセルからピクセル信号をリードアウトすることを特徴とする請求項１に記載の方法。
3. 前記１つの第２ピクセルは、
   前記少なくとも２つの第２ピクセルのうち、領域内で相対的に外郭に配置されたことを特徴とする請求項２に記載の方法。
4. 前記第１イメージデータを生成する段階は、
   アナログ・デジタル変換回路が、第１カラムラインを介し、前記少なくとも２つの第１ピクセルのピクセル信号の和に該当する合算信号を受信し、前記合算信号をアナログ・デジタル変換し、前記少なくとも２つの第１ピクセルの中間地点に該当する第１サンプリング位置に係わるピクセル値として生成する段階を含むことを特徴とする請求項２に記載の方法。
5. 前記第１合算値を生成する段階は、
   前記２つのピクセル値に対して加重値をそれぞれ付与し、加重値が付与された値を平均合算することを特徴とする請求項１～４のうちの何れか１項に記載の方法。
6. 前記２つのピクセル値それぞれに付与される前記加重値は、前記平均合算の結果による前記第１合算値が位置するようになる第２サンプリング位置を基に設定されることを特徴とする請求項５に記載の方法。
7. 前記第２合算値を生成する段階は、
   前記２つの第１合算値に対して加重値をそれぞれ付与して平均合算し、前記平均合算の結果による前記第２合算値を第３サンプリング位置に係わるピクセル値として生成することを特徴とする請求項１～６のうちの何れか１項に記載の方法。
8. 前記第１イメージデータの複数ビニング領域それぞれにつき、ビニング領域内の少なくとも２つの第１ピクセル値、及び前記ビニング領域に隣接した他のビニング領域内の第１ピクセル値を基に、第３合算値を生成する段階と、
   少なくとも２つの第１ピクセルに対し、前記第２合算値と前記第３合算値とを併合する段階と、をさらに含むことを特徴とする請求項１～７のうちの何れか１項に記載の方法。
9. 前記併合する段階は、
   前記ビニング領域の第１ピクセル値と、前記他のビニング領域の第１ピクセル値との差を基に遂行され、前記差が第１スレッシュホールド値未満であるならば、前記第３合算値が出力されるイメージデータに含まれ、前記差が第２スレッシュホールド値を超えるならば、前記第２合算値が出力される前記イメージに含まれ、前記差が第１スレッシュホールド値以上、前記第２スレッシュホールド値以下であるならば、前記第２合算値と前記第３合算値とのそれぞれに、前記差に基づく加重値が付加され、加重値が付加された値の合算値が前記出力されるイメージデータに含まれることを特徴とする請求項８に記載の方法。
10. （２ｎ）×（２ｎ）行列に配列されるピクセル（ｎは、２以上の整数である）を含む四角形状の複数領域に区分されるピクセルアレイと、
    複数のカラムラインを介し、前記ピクセルアレイから受信される複数のピクセル信号をリードアウトし、リードアウトされた複数のピクセル信号を、複数のピクセル値に変換するアナログ・デジタル変換回路と、
    前記ピクセルアレイに連結される複数のロウラインを介して制御信号を提供し、前記ピクセルアレイから、少なくとも２行のロウ単位で、同時に複数のピクセル信号が出力されるように制御する前記制御信号を生成するロウドライバと、
    前記アナログ・デジタル変換回路から出力される第１イメージデータを、所定のライン単位で保存するラインバッファと、
    前記ラインバッファに保存された第１イメージデータについてビニングを行うプロセッサと、
    を含む、イメージセンサ。
11. 前記ロウドライバは、
    前記少なくとも２行のロウの第１カラムに配置された少なくとも２つの第１ピクセルが同時にピクセル信号を出力し、前記少なくとも２行のロウの第２カラムに配置された第２ピクセルのうち１つの第２ピクセルがピクセル信号を出力するように制御することを特徴とする請求項１０に記載のイメージセンサ。
12. 前記アナログ・デジタル変換回路は、
    第１カラムラインを介し、前記少なくとも２つの第１ピクセルのピクセル信号の和に該当する合算信号を受信し、前記合算信号をアナログ・デジタル変換し、前記少なくとも２つの第１ピクセルの中間地点に該当する第１サンプリング位置に係わるピクセル値として生成することを特徴とする請求項１１に記載のイメージセンサ。
13. 前記プロセッサは、
    前記第１イメージデータに含まれる複数のビニング領域それぞれにつき、ビニング領域内の同一色相を有する２つのピクセル値を基に、第１合算値を生成することを特徴とする請求項１０～１２のうちの何れか１項に記載のイメージセンサ。
14. 前記プロセッサは、
    前記２つのピクセル値につき、前記第１合算値が位置するようになる第２サンプリング位置を基に設定される加重値をそれぞれ付与し、加重値が付与された値を平均合算することを特徴とする請求項１３に記載のイメージセンサ。
15. 前記プロセッサは、
    前記複数のビニング領域のうち、カラム方向に隣接した２つのビニング領域において、同一色相を示す２つの前記合算値を基に、前記２つのビニング領域それぞれにつき、第２合算値を生成することを特徴とする請求項１３に記載のイメージセンサ。
16. 前記プロセッサは、
    前記第１イメージデータの複数ビニング領域それぞれにつき、ビニング領域内の少なくとも２つの第１ピクセル値及び前記ビニング領域に隣接した他のビニング領域内の第１ピクセル値を基に、第３合算値を算出し、少なくとも２つの第１ピクセルに対し、前記第２合算値と前記第３合算値とを併合することを特徴とする請求項１５に記載のイメージセンサ。
17. 前記複数の領域それぞれは、
    レッドピクセル、２つのグリーンピクセル、及びブルーピクセルが反復して配置されるベイヤーパターンを含むことを特徴とする請求項１０～１６のうちの何れか１項に記載のイメージセンサ。
18. 光信号をセンシングしてイメージデータを生成するイメージセンサと、
    前記イメージセンサから前記イメージデータを受信して処理するプロセッサと、を含み、
    前記イメージセンサは、
    ４Ｘ４行列に配列されるピクセルを含む四角形状の複数領域に区分されるピクセルアレイと、
    複数のカラムラインを介し、前記ピクセルアレイから受信される複数のピクセル信号をリードアウトし、リードアウトされた複数のピクセル信号を、複数のピクセル値に変換するアナログ・デジタル変換回路と、
    前記ピクセルアレイに連結される複数のロウラインを介して制御信号を提供し、前記ピクセルアレイから、少なくとも２行のロウ単位で、同時に複数のピクセル信号が出力されるように制御する前記制御信号を生成するロウドライバと、
    前記アナログ・デジタル変換回路から出力される第１イメージデータを、所定のライン単位で保存するラインバッファと、
    前記ラインバッファに保存された第１イメージデータについてビニングを行うプロセッサと、を含むことを特徴とするイメージ処理システム。
19. 前記プロセッサは、
    前記第１イメージデータの複数ビニング領域それぞれにつき、ビニング領域内の同一色相を有する２つのピクセル値を基に、第１合算値を生成し、前記複数のビニング領域の中でカラム方向に隣接した２つのビニング領域において、同一色相を示す２つの前記合算値を基に、前記２つのビニング領域それぞれにつき、第２合算値を生成することを特徴とする請求項１８に記載のイメージ処理システム。
20. 前記プロセッサは、前記第１イメージデータの複数ビニング領域それぞれにつき、ビニング領域内の少なくとも２つの第１ピクセル値、及び前記ビニング領域に隣接した他のビニング領域内の第１ピクセル値を基に、第３合算値を算出し、少なくとも２つの第１ピクセルに対し、前記第２合算値と前記第３合算値とを併合することを特徴とする請求項１９に記載のイメージ処理システム。

Images