JP2012511836A - 撮像装置及び方法 - Google Patents

Abstract

撮像装置は一連の画素1、2、16により出力されたデータをオンチップ処理することができる。画素1、2、16は共に大きい面積のアレイを形成する一連の超画素またはタイルに構成される。画素1、2、16は公称上グループA（奇数画素）とグループB（偶数画素）である２つのグループで構成される。個々の画素1、2、16からのデータは各グループ内の画素の相対位置にしたがって読み出される。装置により使用される技術はアレイデータ速度が超画素情報内容によりダイナミックに制御されることを可能にする。出力データ帯域幅は、情景内容が大きい均一な区域（例えば砂漠、海、空）を含んでいる場合に画像空間解像度を犠牲にして増加され、そうでなければ付加的な情報をほとんどもたない大量の類似データを発生する。
【選択図】図１

Description

本発明は撮像装置及び方法に関する。特に限定されないが、本発明は典型的に実時間または高いフレーム速度で処理するための大量のデータを生成する大きい面積のアレイに関する。

画素アレイは撮像センサに固有である。１９９９年に、このような大面積のアレイが大面積の画素を形成するために開発された。相互接続スイッチは個々の２９μｍ画素の１２×１２アレイがタイルまたは超画素へ共に接合されることを可能にした。画素は個々の素子がインまたはアウトに切換えられることがメモリ制御の下で可能にされる。この構造では、チップ上に少数の超画素を構成し、それらの個々の信号をそれより少数のデータ素子に組合せることによって、非常に高いフレーム速度がこの検出器で実現されることを可能にする大面積の画素に対する要求と出力データ量の減少との両者が満たされる。

大きいフォーマットのアレイでは、読出し時間は遅い傾向があるが、少数の画素を読出すこと（即ちサンプリング）により、または超画素を形成するためにタイルで個々の画素信号を組み合わせること（即ち平均化）により改良されることができる。しかしながら収集されている情報は読出し前に知られていないので、情報は容易に失われる可能性がある。

したがって、一連のタイルを含む情景の画像を生成する撮像装置が提供され、そのタイルは相互接続スイッチにより少なくとも２つのグループへ配置される一連の画素で構成され、画素レベルにおける信号情報がサンプルおよび保持ならびに負荷共有回路を使用して共有されることを可能にし、装置はさらに各タイル内で全ての他のタイルとは独立して画素内信号処理を行うための比較装置を具備し、それによって撮像装置のデータ速度はタイル情報の内容によりダイナミックに制御される。

このようにして、従来技術の欠点は克服され、改良されたフレーム速度が所定の大面積アレイで実現されることができる。

本発明を例示により、添付図面を参照して説明する。

１２×１２画素を含む各１６×１６のタイルまたは超画素を有している大面積アレイの概略図である。 適切なアレイにおける任意の数の画素が考慮されることができるが、１つのタイル又は超画素が４×４画素で構成されるタイルまたは画素の概略図である。 奇数（Ａ）と偶数（Ｂ）画素にグループ化している画素信号を示している図２ａの超画素の概略図である。 超画素のキー回路素子および関連される信号処理回路を示している概略実効回路図である。

以下説明する本発明の実施形態では、図２ａと２ｂに示されているフォーマットの超画素、即ちチェッカーボードグループ化された４×４画素が以下説明する回路素子と共に使用される。図２ａは１６画素の１例のタイルを示している。画素信号は相互接続スイッチを使用して２つのグループへ結合される。奇数及び偶数の画素は図２ｂに示されているようにチェッカーボードパターン図でＡとＢにグループ化される。超画素のサイズはサンプリングまたはアレイ寸法要求を満足するように設定されることができる。図３は超画素のキー回路素子および関連される信号処理回路を示している。明瞭にするために、リセット及び読出しトランジスタ回路は省略されていることに注意すべきである。制御論理及び比較装置増幅器は画素ブロック外に構成され、列において各超画素インスタンスで反復される。

１６の画素のうちの３つ、即ちグループＢからの２つの画素（偶数の画素（２、16）とグループＡからの１つの画素（奇数画素１）が図３に示されている。各個々の画素１、２、１６は直接注入技術を使用して動作する。サンプル及び保持ゲートＭ２、Ｍ５、Ｍ８等を動作して直接注入ゲートＤＩＧ電圧をパルスで供給することによりサンプルおよび保持ゲートＭ１、Ｍ４、Ｍ７等がバイアスされるとき、光電流は蓄積容量Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６等へ積分されてキャパシタの各対上に信号電圧を形成する。

画素信号を捕捉すると、サンプルおよび保持ゲートＭ２、Ｍ５、Ｍ８は閉じられる。各行がアドレスされ列データが順に読み出される場合には通常の読出しアーキテクチャが使用されるが、付加的な事前処理動作が行の開始に導入される。各行がアドレスされるとき、各超画素中の画素信号は、情景の内容中の変化を決定し、画素または超画素レベルのいずれかの読出しを決定するために比較される必要がある。偶数画素２、１６に対してゲートＭ６、Ｍ９等が動作され、信号電荷はサンプルおよび保持キャパシタＣ４、Ｃ６等の間で共有される。結果的な共有された信号電圧は全ての保持キャパシタＭ６、Ｍ９等を横切って存在する。電荷は同様に奇数画素１、１５間で共有される。奇数及び偶数の画素の共有された信号電圧は可変しきい値比較装置Ａ１により比較される。Ａ１に入力されるしきい値設定制御はユーザにより信号変化の範囲を設定するために全体的に使用される。しきい値を超える画素の信号変化は比較装置の出力を設定する。

アレイ中の各超画素列からの比較器の結果は行及び列読出し動作を制御するために列メモリに記憶される。比較器の結果はしきい値を超える画像情景内容が存在するならば単一の画素レベルで動作し、またはそれらが存在しないならば超画素レベル信号をアドレスして次の超画素へ前に４列スキップするために列読出しを制御する。同様に、行アドレスは、超画素行の列が画素レベルでアドレスされるならば、画素または超画素レベルで行をアドレスするように制御される。列アドレスメモリは維持され、行のアドレスが超画素レベルではなく画素であるならば、超画素中の４行のそれぞれの列読出しを制御するために使用される。デジタル出力データフォーマットフラグは情景に対するデータの登録が行われることを可能にする画素または超画素読出しを示す。

欠陥の画素は信号共有動作の動作をバイアスし、欠陥画素だけを除外するために付加的なスイッチ（簡明にするために示されていない）を使用することにより排除される。

画素内信号処理制御の付加によって超画素サイズ及びデータ出力が情景内容により設定されることができる。画素から画素への顕著な情景変化が存在しなければ、超画素情景平均が出力されることができる。反対に、幾つかの画素から画素の変化が検出されると、個々の画素が出力される。可変の情景内容は可変の出力データ速度へ変換される。典型的な情景は詳細と均一な画像データの混合から構成されていることが予測され、これらは一体になるとき全ての画素データの出力と比較してフレーム速度において全体的に改良される結果を生じる。しかしながら高い情景内容を有するケースを限定すると、フレーム速度は情景の詳細が出力されることを可能にするために、ある程度まで速度低下されることが予測されなければならない。

前述の発明及びその全ての提案された実施形態を参照すると、全ての画素の相互接続スイッチは常に一致して動作される。画素内信号処理及び比較装置の出力は情報を処理し（サンプル及び保持と負荷共有）、決定を行い（比較器）、制御する(列メモリ)ために使用される。タイル又は画素情報は列メモリ入力から列読出し制御へ出力され、その列読出し制御は画素データまたはタイルデータのいずれかをアドレスする。

前述のアーキテクチャは以下のような付加的な機能が実行されることを可能にする。これらの機能はこれまで説明した本発明の実施形態に対する付加であり、発明を限定するものと考えるべきではないことが認識されよう。

画素又は超画素動作は詳細については低フレーム速度、または減少された詳細ではより高速度での動作を可能にすることが認識されよう。これらのモードは高い帯域幅または高解像度の情報を異なる速度で提供するために任意の期間にインターリーブされることができる。読出しは問題とする関心のある領域の高い解像度の読出しを行うためにウィンドウ処理と組み合わせられることができる。

さらに、サンプル及び保持回路は、信号電圧の小さい減少を犠牲にして、超画素読出しに続いて超画素の読出しを可能にするデータの再読出しのために動作されることができる。ウィンドウ処理と組み合わせて使用するとき。これは問題とする選択された領域が再度読み出されることを可能にするが高い解像度において行われる。明瞭にするために、ウィンドウ処理はフルフレーム域内のパッチがアドレスされ出力されることを可能にする技術である。

さらに、サンプル及び保持キャパシタはキャパシタのリセットをディスエーブルすることにより前のデータフレームを記憶するように動作されることができる。付加的なスイッチの使用によって、フレーム‘ｎ’と‘ｎ−１’間の画像データは比較装置に接続されることができる。比較装置の出力信号は情景の変化を識別するために使用されることができる。実際に、読出し集積回路（ＲＯＩＣ）は連続的なフレーム間でしきい値を超える情景内容の変化を識別するために使用されることができる。

さらに、図３の回路は積分された情景画像データを連続的にフレーム毎に電荷を共有するように動作されることができる。画素の読出しは情景平均に対して比較され、ＲＯＩＣが現在及び経歴的情景内容との差を検出することを可能にする。

したがって、各超画素内であり他の超画素とは独立している相互接続スイッチの動作を検出し制御するために使用されることができる画素内信号処理を行うことによって、個々の画素により生成される情報をサンプルまたは平均する必要があることが認識されよう。この技術はアレイデータ速度が超画素情報内容によりダイナミックに制御されることを可能にする。出力データ帯域幅は、情景内容が付加的な情報をほとんどもたない大量の類似データを発生する大きい均一区域（例えば砂漠、海、空）を含んでいる場合に画像空間の解像度を犠牲にして増加される。

前述の説明に関して、画素１、２、１６により発生された顕著な量ではないものではないデータがオンチップで処理されることができ、より高速度の処理時間と装置により実現されるフレーム速度の改良が達成される。

前述の実施形態では、任意の適切な数のタイルまたは超画素が考慮されることができることが認識されよう。さらに、任意の数の画素はタイルまたは超画素を規定するために使用されることができる。本発明は前述の画素または超画素の特別な数に限定されない。

Claims (11)

1. 一連のタイルを含む情景の画像を生成する画像装置において、前記タイルは相互接続スイッチにより少なくとも２つのグループへ配置されている一連の画素で構成され、画素レベルにおける信号情報がサンプルおよび保持ならびに電荷共有回路を使用して共有されることを可能にし、装置はさらに各タイル内で全ての他のタイルとは独立して画素内信号処理を行うための比較装置を具備し、それにより撮像装置のデータ速度はタイル情報の内容によりダイナミックに制御されるように構成されている撮像装置。
2. 出力データ帯域幅は情景内容が大きい均一な領域を含んでいる場合、画像空間解像度を犠牲にして増加される請求項１記載の撮像装置。
3. 画素またはタイルの動作は、２つのモード、即ち低フレーム速度での動作により画像の詳細を得ることを可能にされる第１のモードと、高フレーム速度での動作により減少された詳細で動作される第２のモードの一方で可能である請求項１または２記載の撮像装置。
4. 前記モードは、異なる速度において高帯域幅または高解像度情報を提供するように任意の継続期間でインターリーブされることが可能である請求項３記載の撮像装置。
5. 読出しは問題の領域の高解像度読出しを行うためにウィンドウ処理と組合せられることができる請求項１乃至４のいずれか１項記載の撮像装置。
6. 画素内処理は、データの連続フレームをサンプリング及び保持するための一連のサンプルおよび保持回路を含み、前記サンプルおよび保持回路は比較器を含んでおり、データを再読出しするように動作され、信号電圧の小さい減少を犠牲にして、タイルの読出しに画素レベルの読出しが後続することを可能にする請求項１乃至５のいずれか１項記載の撮像装置。
7. サンプルのウィンドウ処理を伴うデータの再読出しは、問題とする選択された領域が高解像度で反復して読み出されることを可能にする請求項６記載の撮像装置。
8. 前記サンプルおよび保持回路はさらにサンプルおよび保持キャパシタを具備し、そのキャパシタは比較器の出力信号が前記情景中の変化を識別するために使用されることができるようにキャパシタのリセットをディスエーブルすることによって先のデータのフレームを記憶するように動作される請求項６または７記載の撮像装置。
9. 前記サンプルおよび保持回路はフレーム毎に連続して積分された情景画像データを電荷共有するように動作され、前記画素読出しは前記装置が現在と経歴的な情景内容との差を検出できるように前記情景平均に対して比較される請求項８記載の撮像装置。
10. 請求項１乃至９のいずれか１項記載の装置を使用する画像の捕捉方法。
11. 添付の図面を参照して前述した方法又は装置。

Images