JP2019110564A

JP2019110564A - センサの全解像度における複数のタイプのデータを測定するためにアレイセンサを使用する方法

Info

Publication number: JP2019110564A
Application number: JP2019023963A
Authority: JP
Inventors: ビシェイ，マグエド; Bishay Magued
Original assignee: ICCLARITY Inc
Current assignee: ICCLARITY Inc
Priority date: 2013-10-04
Filing date: 2019-02-13
Publication date: 2019-07-04
Also published as: US8917327B1; US9076703B2; JP2016533695A; CN105830090A; US20160255288A1; EP3053096A1; US20150097108A1; WO2015051274A1; KR20160085254A; EP3053096A4

Abstract

【課題】可視光を測定する画像と深さ計算に使用する赤外線データを測定する画素を上下に積層した場合に、可視画像の品質劣化させずにセンサの全解像度における複数のタイプのデータを測定するためのアレイセンサの使用方法を提供する。【解決手段】画像処理システムにおいて、アクチュエータ５３は、カラー画像データおよび他のデータをセンサアレイの全解像度で提供するために第１位置と第２位置の間でセンサアレイを移動させる。各タイプのデータのためのセンサアレイの出力解像度は、移動のないセンサアレイの解像度の２倍である。第１位置と第２位置１番目との間のセンサアレイの交互運動は、減少したアーティファクトを出力画像に供給する。【選択図】図１０

Description

本発明はセンサの全解像度における複数のタイプのデータを測定するためにアレイセンサを使用する方法に関する。
［相互参照］
［０００１］本出願は、以下の出願、すなわち、２０１４年６月１７日に出願された米国出願第１４／３０６，８４４、２０１３年１０月４日に出願された米国出願第６１／９６１，０３１、２０１３年１０月２５日に出願された米国出願第６１／９６１，８２１、及び２０１４年１月９日に出願された米国出願第６１／９２５，３３９の優先権の利益を要求するものであり、それらの全開示を参照によって本明細書に組込まれる。

センサはデータの値を測定するデバイスである。データは速度ベクトルを測定するなどの単一のセンサとして測定される、又はあるシーンにおける特定のバンド又はスペクトル内の光若しくは磁気共鳴画像法（ＭＲＩ）など対象へのある刺激の結果発せられる光の強度を測定するなどデータの複数の測定の形態で測定することができる。

センサは、１次元又は２次元アレイの形態であり得る。２次元アレイセンサは、多数の「小さな」測定領域、又は「マイクロセンサ」を有している。従来、マイクロセンサの２次元アレイは、特定のタイプの測定を感知可能であるように製造される；すなわち、アレイは単一のタイプのデータを測定するために製造される。多数のマイクロセンサから形成されるセンサアレイの一例は、日常のカメラである。カメラは、可視光を感知可能な画素と呼ばれるマイクロセンサを含んでいる、即ち、マイクロセンサはそれぞれ、その表面に到達する光の強さを測定する。各マイクロセンサ（又は画素）は、入ってくる光を集光して、それをその光の強度の関数である電気信号に変換することを受け持つ、光−電領域を有する。したがって、光が各マイクロセンサに到達すると、光はアナログ値として読まれる電気的信号に変換される。その値が読まれるべきマイクロセンサの選択は、マイクロセンサに接続される行及び列を選択する複合回路の使用により行われる。その値は増幅され、デジタル値に変換されて、デジタル計算および処理システムにおけるその後の使用のためにメモリに格納され、異なるアプリケーションで使用することができる。

画素のアレイは異なる光アドミタンスフィルタを各画素に置くことにより、異なる色に対して感知することができる。例えば、緑色のスペクトルで入光を許す０フィルタがあれば、赤色のスペクトルで入光を許すフィルタや、青色のスペクトルで入光を許すフィルタがある。ベイヤーパターンは、−可視スペクトル−カメラで使用される、２次元センサアレイ用の一般に用いられているマイクロセンサ（画素）レイアウトである。

２つの異なるタイプのデータの測定は、２つの原理にカテゴリー別に分割され得る：すなわち、第一のアプローチは、可視画像を掴むためのもの及び赤外線データ（深さ計算に使用される）を掴むためのものといった測定毎に別々のセンサを用いる直接的なアプローチである。第二のアプローチは、可視光を測定する画素と、赤外線を測定する画素との混合を使用することである。第一のアプローチは、別々のセンサを使用するという欠点がある。第二のアプローチは、２つの主な欠点がある。まず、画素アレイが異なるタイプのマイクロセンサによって共有されるスペースが存在するので、両方の測定の解像度の損失がある。
次に、深さのマイクロセンサが可視光のマイクロセンサ「の下に」置かれる場合、可視画像の品質に劇的な劣化が生じ得る。

これらのニーズ及び他のニーズは、本開示の種々の態様、実施形態および／または構成によって対処される。

本開示は、多数のタイプのデータを捕捉することができる画像処理システムに向けられている。この開示の教示は、光検出装置のために使用される電荷結合要素（ＣＣＤ）および相補的金属酸化物半導体（ＣＭＯＳ）技術に適用する。多くの実施形態においてアクチュエータは、センサアレイの全解像度でカラー画像データおよび他のデータを供給するために、第１位置と第２位置との間でセンサアレイを移動させるように構成される。多くの実施形態において、各タイプのデータのためのセンサアレイの出力解像度は、移動のないセンサアレイの解像度の２倍を含む。第１位置と第２位置との間のセンサアレイの交互運動は、減少したアーティファクトを出力画像に供給する。さもなれば該アーティファクトはセンサアレイの交互運動なしに存在し得る。

一態様において、本明細書には、つぎの構成を含む装置が開示される。（ａ）ベイヤーパターンデータを検出するための第１の複数の対の隣接するリニアアレイ上に成膜された複数のベイヤーパターンと、異なるタイプのデータを検出するために前記第１の複数の対の隣接するリニアアレイの対の間に位置付けられた異なるパターンを有する第２の複数の対の隣接したリニアアレイを含むセンサアレイ、（ｂ）第１位置から第２位置まで前記センサアレイを移動するためアクチュエータであって、前記第１の複数の対の隣接したリニアアレイの物理的な位置が、前記第２の複数の対の隣接したリニアアレイの物理的な位置と互い違いになるアクチュエータ、及び（ｃ）前記ベイヤーパターンデータと前記第１位置及び第２位置とは異なるタイプのデータを出力するために前記アクチュエータと前記センサアレイに接続された回路を含む。いくつかの実施形態では、前記ベイヤーパターンデータの各画素は前記第１位置又は前記第２位置と関連づけられて出力され、前記異なるタイプのデータの各画素は第１位置又は第２位置と関連づけられて出力される。

いくつかの実施形態では、異なるパターンは、赤外フィルタパターン、紫外線のフィルタパターン、非ベイヤー可視光フィルタパターン、又はフィルタを含まないパターンの１つ以上を含む。

いくつかの実施形態では、前記第１の複数の対の隣接したリニアアレイの複数の各対は、２つの隣接した対を含み、前記第２の複数の隣接したリニアアレイのおのおのは、二つの隣接したリニアアレイを含む。

いくつかの実施形態では、前記第１の複数の対の隣接したリニアアレイの各対は３以上の対の隣接したリニアアレイを含み、前記第２の複数の対の隣接したリニアアレイは３以上の対のリニアアレイを含む。

いくつかの実施形態では、前記装置は、センサアレイが第１位置に位置しているときに信号を送るための第１のリミットスイッチと、センサアレイが第２位置に位置しているときに信号を送る第２のリミットスイッチを含み、前記回路は、前記センサアレイが第１位置に移動するのを検出する前記第１のリミットスイッチに応答して前記第１位置におけるセンサアレイの合成データを統合し、かつ前記センサが前記第２位置に移動するのを検出する前記第２のリミットスイッチに応答して前記センサアレイの第２の合成データを統合するように構成される。

いくつかの実施形態では、前記装置中の回路は、前記第１の合成データおよび前記第２の合成データからベイヤーパターンデータを生成し、かつ前記第１の合成データおよび前記第２の合成データから異なるタイプのデータを生成するように構成される。

いくつかのアプリケーションで、前記回路は、前記センサアレイを前記第１位置へ移動させる命令と、前記第１位置における前記センサアレイの第１のデータを測定する命令と、前記センサアレイを前記第２位置へ移動させる命令と、前記第２位置における前記センサアレイの第２のデータを測定する命令を含み、前記プロセッサが、ベイヤーパターンを有する前記第１の複数の対の隣接しているリニアアレイから第１の全フレーム画像を提供する命令と、異なるパターンを有する前記第２の複数の対の隣接しているリニアアレイから第２の全フレーム画像を出力する命令をさらに含み、前記センサは多数の画素を含み、かつ前記第１の全フレーム画像及び前記第２の前記全フレーム画像の各々が前記センサアレイの多数の画素を含む。

特定の実施形態では、装置中のアクチュエータはマイクロ電気機械システムを含む。

いくつかのアプリケーションでは、複数のベイヤーパターンのおのおのは、赤色光を検出する赤色画素、青色光を検出する青色画素、および緑色を検出する１対の対角線の緑色画素を含む。さらに、第４のセンサは赤外線電磁波を検出し、および／または回路はゲートの運動を制御するために移動可能なゲートに結合される。

いくつかの実施形態では、装置は、センサアレイから生成された出力を格納するために、さらにデジタルデータ記憶装置を含む。

特定の実施形態では、装置は、下記の１つ以上を制御するためにさらにデジタル信号プロセッサを含む：デジタルデータ記憶装置へ出力を転送すること、撮像のタイミング、アレイの移動、回路を構成すること、画像形成を構成すること及び画像を生成することである。

本発明の新規な特徴は、添付の特許請求の範囲に特に記載される。本発明の特徴および利点についてのよりよい理解は、発明の原理が利用される例証的な実施形態を記載したつぎの詳細な説明と、添付図面への言及によって得られる。
［００２０］図１はマイクロセンサアレイを表す；この場合、多くのマイクロセンサが、幾何学的なレイアウトすなわち実施形態に従って、２つのタイプのマイクロセンサを等しく組み合わせた長方形の２次元アレイでアレイである。［００２１］図２は、マイクロセンサアレイの一部を表す；この場合、実施形態に従う感光性の領域を備えた多くのマイクロセンサの一部である。［００２２］図３は、実施形態に従って、ＣＭＯＳマイクロセンサアレイの典型的な実装を表す。［００２３］図４は実施形態に従って、マイクロセンサアレイを表す。［００２４］図５は実施形態に従って、マイクロレンズの断面を表す。［００２５］図６は、実施形態に従って、カラーフィルタを表す波長（ｎｍ）（水平軸）に対する透過率（垂直軸）と赤外線拒絶及び赤外線許容のグラフである。［００２６］図７は実施形態に従って、画像処理システムを表す。［００２７］図８は実施形態に従って、画像処理システムを表す。［００２８］図９は実施形態に従って、４つの画素配置を表す。［００２９］図１０は実施形態に従って、画像処理システムを表す。［００３０］図１１は、実施形態に従って、カラーフィルタのレイアウトを表す。［００３１］図１２は、実施形態に従って、可視光線感知可能で、赤外線感知可能な画素の組み合わせられた行を表す。［００３２］図１３は、実施形態に従って、本開示による、ＭＥＭＳによる移動の前の、およびその移動の後の可視光線感知可能で、赤外線感知可能な画素の組み合わせられた行を表す。［００３３］図１４は、実施形態に従って、メモリ中でセンサアレイデータを書く方法を表す。［００３４］図１５は、実施形態に従って、メモリ中でセンサアレイデータを書く方法を表す。［００３５］図１６は、実施形態に従って、メモリ中でセンサアレイデータを書く方法を表す。［００３６］図１７は実施形態に従って、光をフィルタ処理するゲートを表す。［００３７］図１８は、実施形態に従って、ゲートをフィルタ処理する光を表す。［００３８］図１９は実施形態に従って、画像処理システムを表す。

［００３９］いくつかの実施形態では、本明細書に記載された装置、デバイス、およびシステムは次のものを含んでいる：（ａ）第１のタイプのデータと第２のタイプのデータを感知するために動作可能なセンサアレイであって、前記第１及び第２のタイプのデータが異なるセンサアレイ、及び（ｂ）共通の位置でセンサアレイの異なるセンサが前記第１及び第２のデータの異なるデータ捕捉する（ｉ）センサアレイ、及び（ｉｉ）フィルタの少なくとも１つを移動させるマイクロ電気機械システム（ＭＥＭＳ）であって、前記フィルタが、選択されたセンサが当該フィルタの位置に依存して第１及び第２のタイプのデータを捕捉することができるように前記センサアレイの前記センサの少なくとも１つの上に位置づけられてなるマイクロ電気機械システム（ＭＥＭＳ）を備えている。いくつかの実施形態において、第１の動作モード中に、第１の合成フレームが前記センサアレイによって捕捉され、第２の動作モード中に第２の合成フレームが前記ンサアレイに捕捉され得、前記第１および第２の合成フレームの各々は前記第１及び第２のタイプのデータを含む。いくつかの実施形態では、第１及び第２の合成フレームは、第１のタイプのデータだけを含む第１のフレームと、第２のタイプのデータだけを含む第２のフレームに分割され得る。さらなる実施形態において、第１及び第２フレームは異なる、離散的なコンピュータ可読媒体に格納される。その代わりに、前記第１及び第２のフレームは、異なる重複しないメモリロケーションに格納される。

［００４０］いくつかの実施形態は、第１のタイプのデータは可視光（例えば、赤色光、青色光および緑色光の１つ以上）であり、第２のタイプのデータは赤外光であり得る。センサアレイは、第１のタイプのデータを感知する第１組のセンサと、第２のタイプのデータを感知する第２組のセンサを含んでいる。前記第１組のセンサは前記第２組のセンサと異なる帰属関係を有する。いくつかの実施形態では、ＭＥＭＳは、前記センサアレイを第１位置から第２位置まで移動して、第１及び第２のフレームをそれぞれ集める。第１組及び第２組のセンサは、列毎及び／又は行毎に互いに組み合わせることができる。ＭＥＭＳによるセンサアレイの移動距離および移動方向は、採用されるタイプの組み合わせの関数である。

［００４１］いくつかの実施形態では、ＭＥＭＳは、選択されたセンサがフィルタの位置に依存する第１または第２のタイプのデータを捕捉することができるように、センサの少なくとも１つの上に位置づけられたフィルタを移動させる。第１のタイプのデータは一般に青色光、緑色光および赤色光の１つ以上であり、第２のタイプのデータは一般に赤外光である。いくつかの実施形態において、フィルタは、実質的に（ｉ）青色光、緑色光および赤色光の１つ以上を遮断し、その一方で、赤外光を通すか、或いは（ｉｉ）赤外光を遮断し、その一方で、青色光、緑色光及び赤色光の１以上を通す。第１の動作モードで、ＭＥＭＳはフィルタを前記選択されたセンサ上に位置付けて、光が前記選択されたセンサと接する前に、光をフィルタリング処理し、第２の動作モードで、ＭＥＭＳは前記選択されたセンサからフィルタを除去して、フィルタリング処理されていない光が前記選択されたセンサと接することができるようにする。

［００４２］いくつかの実施形態では、多数のフィルタが使用される。第１のフィルタは、実質的に青色光、緑色光および赤色光の１つ以上を遮断する一方で、赤外光を通し、第２のフィルタは、実質的に赤外光を遮断する一方で、青色光、緑色光および赤色光の１つ以上を通すことができる。第１の動作モードで、ＭＥＭＳは、前記第２のフィルタではなく第１のフィルタを前記選択されたセンサ上に位置付けて、光が前記選択されたセンサと接する前に、光をフィルタリング処理し、第２の動作モードで、ＭＥＭＳは、前記第１のフィルタではなく第２のフィルタを前記選択されたセンサ上に位置付けて、光が選択されたセンサと接する前に、光をフィルタリング処理する。

［００４３］いくつかの実施形態で、マイクロセンサアレイは、典型的なデジタルシステムに接続され、当該デジタルシステムは、後の処理のためにデジタル記録機能（メモリ）にデータを読み込み格納するが、全動作はマイクロプロセッサ（ＣＰＵ）の制御下にある。

［００４４］本開示は、特定の態様、実施形態および／または構成に依存して多くの利点を備えることができる。画像処理システムは、センサアレイを２つ以上のデータに対してマイクロセンサの全解像度で感知可能にするために適用することができる。全解像度は、すべての画素が着信データの測定で使用されることを意味する。

＜特定の定義＞
［００４５］用語「少なくとも１つ」、「１つ以上」、及び「及び／または」は、動作において接続的及び離接的の両方のである開放型の表現である。例えば、「Ａ、ＢおよびＣの少なくとも１つ」、「Ａ、Ｂ又はＣの少なくとも１つ」、「Ａ、ＢおよびＣの１つ以上」、「Ａ、Ｂ又はＣの１つ以上」、「Ａ、Ｂおよび／またはＣ」の各表現は、Ａ単独、Ｂ単独、Ｃ単独、Ａ及びＢの両方、Ａ及びＣの両方、Ｂ及びＣの両方、又はＡ、ＢおよびＣの両方を意味する。

［００４６］実体に付いた用語「ａ」又は「ａｎ」は、その実体の１つ以上を指す。そういうものとして、用語「ａ」（又は「ａｎ」）、「１つ以上」及び「少なくとも１つ」は本明細書において交換して使用され得る。さらに、用語「含む（ｃｏｍｐｒｉｓｉｎｇ）」、用語「含む（ｉｎｃｌｕｄｉｎｇ）」及び用語「有する」は交換して使用され得る。

［００４７］用語「自動的」及びその変形は、本明細書に使用されるように、プロセス又は動作が行われたとき、実体的な人間の入力なしになされる任意のプロセス又は動作を言う。しかしながら、たとえプロセス又は動作の実装が実体的又は非実体的な人間の入力を使用しても、入力がプロセス又は動作の実行前に受け入れられた場合、プロセス又は動作は自動的になりえる。人間の入力は、プロセス又は動作の実装され方に影響をする場合に実体的であると考えられる。プロセス又は動作の実行に同意する人間の入力は、「実体的」であると考えられない。

［００４８］本明細書に使用されるとおりの用語「コンピュータ可読媒体」は、実装用のプロセッサに命令を提供することに関与するあらゆる記憶装置および／または伝送媒体を言う。そのような媒体は一般に触知可能であり、非一時的であり、多くの形態をとり得、限定されることなく、不揮発性の媒体、揮発性の媒体および伝送媒体を含み、これらに限定されずに、ランダムアクセスメモリ（「ＲＡＭ」）、読み取り専用メモリ（「ＲＯＭ」）などを含む。不揮発性の媒体は例えば、ＮＶＲＡＭ、又は磁気ディスク又は光ディスクを含んでいる。揮発性の媒体は、メインメモリのようなダイナミックメモリーを含んでいる。一般的なコンピュータ可読媒体は、例えば、フロッピーディスク（限定なしに、ベルヌーイ・カートリッジ、ＺＩＰドライブおよびＪＡＺドライブを含む）、フレキシブルディスク、ハードディスク、磁気テープ若しくはカセット、又は他の磁気媒体、磁気−光学媒体、デジタルビデオディスク（ＣＤ−ＲＯＭなど）、他の光学媒体、せん孔カード、紙テープ、穴のパターンを備えた他の物理的な媒体、ＲＡＭ、ＰＲＯＭおよびＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、メモリーカードのようなソリッドステート媒体、他のメモリ・チップ又はカートリッジ、搬送波、又はコンピュータが読み込み可能な他の媒体を含む。電子メールに添付するデジタルファイル、又は他の独立した情報アーカイブ若しくはアーカイブのセットが、触知可能な記憶媒体と等価な配布媒体と考えられる。コンピュータ可読媒体がデータベースとして構成される場合、データベースは、リレーショナルなもの、階層的なもの、オブジェクト指向のもの、または同様のものなどであり得ることは理解される。従って、その開示は、触知可能な記憶メディア又は配布媒体、および先行技術に認識された等価物並びに後継者媒体を含むと考えられ、本開示のソフトウェアの実装が格納される。コンピュータ可読記憶媒体は、一般に一時的な記憶媒体、とりわけ電気信号、磁気信号、電磁気信号、光学的信号、光磁気信号を除外する。

［００４９］用語「決定する」、「算出する」、及び「計算する」並びにその変形は、本明細書に使用されているとおり、交換して使用され、いかなるタイプの方法、プロセス、数学的演算又は技術を含む。

［００５０］用語「手段（ｍｅａｎｓ）」は米国特許法第１１２条第６項に従ってもっとも広い解釈が与えられるものとする。従って、用語「手段」を取り入れた請求項は、本明細書に記載されたすべての構造、材料、又は行為、及びおよびそれらの均等物のすべてを含む。さらに、構造、材料、又は行為、およびそれらの均等物は、発明の要旨、図面の簡単な説明、詳細な説明、要約及び特許請求の範囲に記載されたものすべてを含んでいる。

［００５１］本明細書に使用される用語「モジュール」は、すべての公知又はその後開発されたハードウェア、ソフトウェア、ファームウェア、人工知能、ファジイ論理又はハードウェアとその要素に関連付けられた機能性を実装するソフトウェアとの組合せを言う。

［００５２］前述のものは、開示のいくつかの態様の理解を提供するために開示の単純化された要旨である。この要旨は、開示およびその種々の態様、実施形態及び／又は構成の拡張でなく、網羅的な概観でもない。それは、開示の要所や重大な要素要素を同定することは意図されておらず、開示の範囲を輪郭づけることも意図されていない。しかし、もっと詳細な説明への入門として単純化された形式の開示の選択された概念を示すことは、下に示した。認識されるように、開示の他の態様、実施形態および／または構成は、上述されたもの又は以下に詳細に記載される特徴の一以上の単独又は組合せたものを利用して可能である。さらに、開示は例示的な実施形態の点から示されているが、開示の個々の態様が別々に請求され得ることは認識されるべきである。

＜画像処理システム＞
いくつかの実施形態では、本明細書に記載された装置、デバイス、およびシステムは、画像処理システム、又はその使用を含んでいる。画像処理システムは、１つを超える測定のタイプの測定をすることができるセンサアレイを含む。この能力は様々な技術によって実現される。様々な実施形態では、センサアレイは、あたかもそれが単一のタイプのマイクロセンサから形成されたかのように、このセンサがデータを得ることを可能にする、マイクロ電気機械システム（ＭＥＭＳ）と結び付けられた１つ以上のタイプのマイクロセンサを含んでいる。いくつかの実施形態では、ＭＥＭＳは全センサアレイを移動させる；他の実施形態では、ＭＥＭＳは、センサアレイの１つ以上の要素を移動させる。要素は１つ以上の選択されたセンサおよび／または１つ以上の選択されたセンサの上（又は全アレイ上）に位置づけられた光フィルタを含む。この画像処理システムの機械的部品の移動は、一般にセンサアレイでの異なるタイプのマイクロセンサのレイアウトの機能である。本明細書において使用されるように、センサとマイクロセンサは交換可能に使用される。

［００５４］図１に関して、多数のマイクロセンサ又はマイクロセンサのアレイが、矩形状のレイアウトの形態でアレイ状に配されるが如何なる幾何学的なパターンが使用され得る。（参照符号１及び２で示された）マイクロセンサの第１のセットは、特定のタイプのデータを感知可能であり、例えば、データが光学的データの場合、特定の波長の光を感知可能である一方でマイクロセンサの第２のセットは別のタイプのデータ、又は光の別の帯域を感知可能である。この実施形態は、多数のマイクロセンサが測定されるデータのタイプに依存しない。かかるコンセプトは、従来、一つのタイプのデータを測定していたマイクロセンサのすべてのアレイに適用することができる。アレイに他のタイプのマイクロセンサを加えることによって、マイクロセンサアレイは他のタイプのデータを測定することができる。認識されるように、２つを超えるタイプのマイクロセンサは、２つを超える異なるタイプのデータを測定するためにすべてのアレイに加えることができる。

［００５５］引き続き図１を参照して、前記アレイは、その幅に沿って特定の幾つかのマイクロセンサ、即ちＷ個のマイクロセンサと、その高さに沿って幾つかのマイクロセンサ、即ちＨ個のマイクロセンサを有しており、当該マイクロセンサは、水平方向及び垂直方向の両方における２つのピッチで組み合わせられる（図１に示されるように「水平ピッチ」および「垂直のピッチ」と示されている）。これらＷ寸法とＨ寸法並びにピッチは、マイクロ電気機械システムが測定の解像度を犠牲にしないでマイクロセンサアレイの測定を両方のタイプでさせるために働かせなければならない運動の方向と大きさを定義する。言いかえれば、各タイプのデータを測定するマイクロセンサの数は、マイクロセンサ（ＷｘＨ）の全数である。

＜マイクロセンサのアレイ＞
［００５６］アレイの概要は図２に表される。当該概要は、マイクロセンサのコンセプトおよび２次元アレイの形態の構成を示す。図２は、第１、第２、第３、及び第４のマイクロセンサから形成されるアレイの一部を示す。第１、第２、第３及び第４のマイクロセンサのおのおのは、格子線によって定義されるとおりの特定の高さと幅を持っている。この領域の部分は光を電気に変換する特定の部分であり；この領域は４ａと４ｂと示されている。この領域とマイクロセンサの領域の間の比率（幅ｘ高さである）は、マイクロセンサの充填率（画素充填率）と呼ばれる。したがって、光がこれらのマイクロセンサのおのおのに到達すると、光はアナログ値として読み出される電気的信号に変換される。値が読みだされるマイクロセンサの選択は、参照符号５で示された行と、参照符号６で示された列を選択することによってなされ、このマイクロセンサの回路が接続される。この値は増幅器を介してデジタル値に変換され、デジタル計算および処理システム（図示せず）での後の使用のためにメモリに格納される。

［００５７］この開示の教示は、ＣＣＤ又はＣＭＯＳとして構成されたセンサアレイに等しく適用されるので、この回路の設計は、この開示に記載された実施形態との関係を構成しないことである。認識されるように、光感応性センサアレイの製造における２つの主なアプローチはＣＣＤ（Ｃｈａｒｇｅｄ−ＣｏｕｐｌｅｄＤｅｖｉｃｅｓ）又はＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｉｌｉｃｏｎ）である。画素へのアクセスは両方の場合において異なる。ＣＣＤの場合は、生じる電圧は、マイクロセンサの回路要素に格納され、近傍の画素に完全に「結合され」、その電荷は近傍の画素に移動し、然る後に行全体が読みだされ；従って、Ｃｈａｒｇｅｄ−ＣｏｕｐｌｅｄＤｅｖｉｃｅｓ（ＣＣＤ）という名前が付けられた。ＣＣＤでは、画素は連続して読み出され、任意の命令で読み出され得ない。対照的に、ＣＭＯＳでは、どんな画素も、その行と列をランダムに選択し、その画素の電圧の値を読むことで、任意にアクセスすることができる。

［００５８］ＣＭＯＳセンサの場合は、これらのマイクロセンサの各１つを構成する回路の実施形態が、図３に表される。光が感光性要素に到達すると、それは、マイクロセンサに到達した光信号を電圧に変換する原因となり、この要素の寸法は回路にレイアウトされている画素の充填率を定義する。この特定のマイクロセンサ（画素）の行（ＲＯＷ）および列（ＣＯＬ）が選択される場合、この電圧の値は読み出される。ＲＯＷとＣＯＬは、行及び列デコーダと呼ばれる外部回路によって選択される（それらは全アレイセンサのビルディングブロックである）。電荷の値を読み出す機構は、ＣＣＤまたはＣＭＯＳであるセンサに依存する。読出し機構は本開示の実施形態に対する含意又は制限を持たない。

［００５９］ＣＭＯＳセンサが画像の分野でＣＣＤを交換しているので、読出しは、ここではＣＭＯＳセンサのために説明される。ＲＯＷ（１０）およびＣＯＬライン（１１）がアレイを動作する外部デジタル回路によって起動されるとき、この特定のタイプのマイクロセンサから電荷が読み出される。外部デジタル回路は、行及び列デコーダと呼ばれる。マイクロセンサの特定のＲＯＷおよびＣＯＬの起動は、ダイオードによって集められた電荷を、要素Ｍｓｅｌ（９）を介して読み出すことを可能にする。マイクロセンサはＲＳＴ信号（１２）を介して次の測定の準備のためにリセットされる。

［００６０］光学的（光）データを集めるためにマイクロセンサ、とりわけ光学的なものを支援する支援ツールが存在する。そのような支援ツールの例は次のものを含む：あるタイプの波長を阻止し、あるタイプの波長を受け入れるレンズ組立体、マイクロレンズおよび光学フィルタ。これらのフィルタは、マイクロセンサを１つのタイプのデータあるいは別のタイプのデータを測定できるようにする重要な役割を果たし得る。

＜レンズ組立体の例＞
［００６１］光結合の最大化のため、即ち光学データの最大量を集めるために、画素アレイは図４に表されるようなレンズ組立体で覆われることができる。レンズ組立体の機械的要素は光学レンズを含む。（シーンの焦点を合わせるために使用される）レンズは、通常、バレル内に、ねじ止めされて収容され、画素アレイをカバーする。画素アレイに到達する光は一般的にレンズを介してのみ到来する。レンズの中心は画素アレイの中心であり得る。認識されるように、これは完璧であることを保証することができない。よって、それはコンピュータビジョンの分野で周知のカメラキャリブレーションプロセスのパラメータの１つである。

＜マイクロレンズ＞
［００６２］マイクロレンズは、その名前が意味するように、すべてのマイクロセンサ（画素）に置かれる構造である。典型的には１つの画素のみをカバーするのはレンズである。マイクロレンズは、各画素自体に集められる光の量を増加させることができ、それゆえ、対応するセンサのより多くの光を集める能力を増加させ、低い光の環境での作業を増加させる。従って、マイクロレンズは、各画素の信号対雑音比を増加させ得る。図５は、マイクロレンズの断面を示す。光は、マイクロレンズの凸面に到達する。凸面は、マイクロセンサ（画素）の光感知可能な領域に到達する光を平行にする。当該領域は上述される通り電気的なものでありフォトダイオードである。光に起因する電気的信号を集めることを支持する電子機器も示される。充填率も、全画素の幅に対する光感知可能な領域の幅として表される。一つの画素から他の画素まで光が漏れないために、ソリッド側が画素のまわりに構築され、描かれる。

＜マイクロセンサおよび異なるタイプのデータの収集＞
［００６３］他のタイプのデータを阻止しつつ、マイクロセンサ（画素）を１つのタイプのデータを感知可能にするために、光学フィルタが採用され、必要とされるか又は望まれるデータを受け入れる一方で、必要とされないか又は望まれないデータを阻止する。例示のために、必要とされるか又は望まれるデータが（タイプ１のデータとしての）可視画像データで、望まれないデータが（タイプ２のデータとしての）赤外線（ＩＲ）データである場合、その応答が図６に描かれるフィルタが使用される。図６はフィルタの透過率応答を示し、当該フィルタは選択された画素に適用され、タイプ１のデータを受け入れ感知する一方で、逆にタイプ２のデータを拒絶する（あるいは、感知しない）。

［００６４］タイプ１のデータを受け入れタイプ２のデータを拒否するために、マイクロセンサを青、緑又は赤の波長範囲の光を受け入れるようにする一方で赤外線の範囲の光を拒絶するために使用されるフィルタは、（青、緑および赤をそれぞれ認めるフィルタのセットのために）アドミタンス応答を有する。赤外光を拒絶するために必要とされるフィルタは、曲線のように見えるアドミタンス応答を有する。赤外線フィルタがマイクロレンズ自体の「コーティング」になりえることに注目する価値がある。

［００６５］これに対してタイプ２のデータを受け入れて、タイプ１のデータを拒絶するために、マイクロセンサが赤外光だけを受け入れことができるようにする一方で、可視光の波長を拒絶するために使用されるフィルタは、赤外光を受け入れ、概念的には、アドミタンス応答を備えたフィルタのように見える。

＜撮像とコンピュータビジョンのフィールドを用いる実施形態＞
［００６６］撮像とコンピュータビジョンの実施形態には、典型的には測定される必要のある２つの異なるタイプの測定を有する；従って、通常、これらのタイプのデータを測定するために必要とされる２つのタイプのマイクロセンサ（画素）が存在する。１つのタイプのマイクロセンサは可視光線を感知可能にされ、他のタイプのマイクロセンサは赤外線（ＩＲ）波長を感知可能である。これは、深さデータと同様に画像も得るカメラで使用されるセンサアレイを開発する情況において特に有益である。しかしながら、本明細書で説明された方法論は、センサアレイをマイクロセンサのその全解像度で感知可能にするために、１つを超えるタイプのデータに適用することができる。全解像度は、すべての画素が着信データの測定で使用されることを意味する。異なる２つのタイプのデータは、撮像とコンピュータビジョンのフィールドに関連付けられて測定されるために選択される。そして、これらの２つのタイプのデータは、可視光強度および赤外光強度、又は略してビデオデータおよび赤外線データである。

［００６７］撮像は従来、画像を得ており、ユーザに最高品質の画像を提示した。デジタルカメラは、ありあまるほどの理由によって、フィルムを交換した、即ち、主として使いやすさ、画像をとる前に見ること、画像の消去と再度撮ることの容易さ、とりわけ、直接コンピュータシステムによって使用されるデジタルフォーマット形式の画像を持っていることであり、当該コンピュータシステムは画像及び／又はビデオクリップを異なるソフトウエアプログラムで採用し、さらに、これらの画像に対する価値を加える。

［００６８］コンピュータビジョンは、毎日使用されるいくつかのデバイス上で作動する異なる撮像アプリケーションに不可欠なフィールドになった。コンピュータビジョンは撮像の後に次の工程へと行く。ユーザによって定義された異なるタスクを達成するために、画像中で情報を使用している。例えば、コンピュータビジョンアプリケーションは画像に顔（例えば顔認識）を見出し、（増大した現実の中のように）修正されたか又は増大されたものに対してタスクの適切なオブジェクトを見出す。これらのシステムの主要な例は、ヒューマン・ナチュラル・ユーザー・インターフェース（ＨＮＵＩ）である。これらのインターフェースは、ユーザによってますます採用されるようになっている多くのデバイスで使用される。

［００６９］深さ測定は多くの場合、コンピュータビジョンシステムに不可欠であり、実際コンピュータビジョン研究の究極の目的であった。コンピュータビジョンの多くのタスクは、カメラが向けられるシーンの奥行き情報を要求した。多数のカメラシステム、主として立体映像（立体映像は、２台のカメラが使用されるときである）は、この研究の大半を費やした。しかし、多数のカメラシステムはいくつかの欠点、即ち２台のカメラを有することによるシステムの複雑さ及びより困難な問題、即ち一致問題および閉塞問題である。第１の問題は、他のカメラ画像中で同じ点に１つのカメラ画像の領域あるいは点を一致させる問題である。この問題は２台を超えるカメラでますます複雑になる。閉塞は、最初他のカメラにおいて他の点を有していない問題である。なぜなら他のカメラのアングルから、シーンに他のオブジェクトによって閉塞されているからである。

［００７０］深さを見つける立体コンピュータビジョン・アルゴリズムに依存しているこれらの障害に直面して、他の方法が出現し、シーンに先験的な知られたパターン（ヒューマン・ビジュアルシステムに見えたり見えなかったりする）を投影することを採用し、変形と大きさを分析するためにシーンの画像を取り、とりわけ、これらのパターンの他の特性はカメラによって撮像されて、シーンのすべての点の深さに関する情報を抽出する。それらが従来の画像に現われないように、深さを計算するために目に見えないパターンを使用するほうがよい。なぜならシステムが産業上の利用に使用されていたならば、パターンが目に見えるか否かは重要ではない。なぜなら、これらのシステムが生成された製品の品質管理に主として関係があるからである。しかし、システムが従来の写真又は映像を得るシステムで使用されていた場合、シーンの光パターンを理解することは一般に受けいれられない。これらのシステム用の最も一般に用いられている波長スペクトルは赤外線波長スペクトルである。規則的な映像を捉えるカメラはビデオカメラ、又はビデオセンサ若しくはビデオイメージャと呼ばれる一方で、赤外スペクトルを捉えるカメラは赤外線カメラ、赤外線センサ、又は赤外線イメージャと呼ばれる。

＜データを感知するための画像処理システム＞
［００７１］１つを超えるタイプの測定を行う画像処理システムを作成するために、個別のセンサはすべてのタイプの測定のために使用される。例えば、１つが可視光を捉える場合（デジタルカメラが主たる例である）、（通常、赤、緑および青の色帯における）可視光を捉えるだけのために適切なフィルタで改造された単一のセンサアレイが存在する。

［００７２］図７は、２次元アレイで示す可視光を捉えるシステムを示す。そのようなシステムの基本概念は、マイクロプロセッサ又は中央処理装置（ＣＰＵ）の管理下でマイクロセンサの２次元アレイを使用して、環境を「感知する」ことである。ＣＰＵは、典型的にはデータを感知することをより適切にするようにセンサの異なるパラメータをプログラムし、タイミング回路を駆動する。タイミング回路は２次元アレイを引き起こし、マイクロセンサのアレイを使用して、データの２次元アレイを捕捉する。ついでＣＰＵはタイミング回路を駆動して、センサアレイが「感知した」を読出すモードに入れる。このデータは感知されたデータを利用するあらゆるアプリケーションによって後の使用のために記憶メモリに保存される。第１の感知データは、カメラのマイクロセンサ（画素）によって集められた可視データである。記憶メモリは、また映像フレーム記憶装置とも呼ばれる。デジタルデータは、異なるシステム要素から転送され：すなわち、センサアレイ、マイクロプロセッサ、及び信号導体を介するデータ記憶要素（メモリ）であり、デジタルシステムにおいてデータバスとも呼ばれる。データは信号キャリアを介してデータバス上のセンサアレイから読み出され、信号キャリアは、センサアレイから出るデジタルデータを運ぶ配線である。これは、単一のデータを感知するために設計されたデジタルシステムの基本的な機能である。明らかに、デジタルカメラはセンサ自体に対してはるかにより多くの特徴および多くの制御を持っている。しかし、それらは、本明細書に開示された実施形態で容易に実装され得る。

［００７３］別のタイプのデータを測定するデジタルシステムを拡張するために、別のセンサアレイが使用される。これは図８を使用して示される。例証の目的のために、別のタイプのデータは、シーンの奥行き情報を計算するために使用される赤外線データである。図８は、図７に示されたものに類似した動作をするデジタルシステムを含んでいる。但しＣＰＵは信号導体を介してタイミング回路（これはチップ制御論理と同定される）に命令を送る。タイミング回路は、第１のセンサアレイを感知しつつ第２のセンサアレイを用いて第２のタイプの情報の感知を引き起こし、記憶装置（ビデオフレーム記憶装置として示される）に格納される第１のタイプに上書きしないように異なる記憶装置（深さフレーム記憶装置として示される）に格納する。第１のデータは信号キャリアを介して第１のセンサアレイから読み出され、第２のデータは信号キャリアを介して第２のセンサアレイから読み出される。第１及び第２のデータは信号キャリアを介して適切なメモリに転送される。第２のデータの例は、２次元センサアレイが見ているシーンの赤外線データである。追加の光学レンズは、赤外線データを感知するために追加される２次元マイクロセンサ（画素）アレイ（又は第２アレイ）に集光する赤外線と共に採用され得る。本質的に、個別のアレイは１つの組立体で２つのレンズを備えた２つのカメラを定義している（デジタルシステムの緻密性を大幅に縮小する）。

＜三次元画像センサおよびそれを製造する方法＞
［００７４］いくつかの実施形態は、矩形の第４の画素としての深さ画素が存在し、当該矩形の第４の画素はその画素自体と他の３つの画素によって形成され、該他の３つの画素は、図９に示されるとおり、それぞれ赤色、緑色および青色を感知可能である。図は参照符号Ｒ、ＧおよびＢが付けられた３つの画素を示しており、赤、緑、及び青の対応する色を感知可能である一方で、参照符号Ｄが付けられた画素は赤外線信号を測定する画素であり、該赤外線信号から後に深さが数学的に計算される。

［００７５］このアプローチは次の欠点を受ける：両方の測定の解像度は解像度を失う。なぜなら深さ測定画素が可視光画素Ｒ、ＧおよびＢのいくつかを除去するからである。開示された実施形態がベイヤーパターンレイアウトの変形例であるので、赤画素は青画素の下に位置する一方で、緑画素は第２行から取り除かれている。緑画素が強度Ｙを計算することに大方寄与し（領域ＹＣｒＣｂにおけるそれぞれの強度、赤の色度、青の色度）、強度は、画像の解像度（色度に対立するもの）を定義するものであり、このタイプのアプローチは、撮像の最も重要な態様である解像度の徹底的な低減を受ける。すなわち画像のシャープさが低減する。これはそのように有害な欠点であり、まず深さの解像度が劣悪になる。なぜなら、４つ毎に１つの画素になるからである（図９に示される）。即ち、センサの解像度の４分の１になる。それらの欠点に加えて、別の欠陥は、このレイアウトがベイヤーパターンレイアウトを損傷することである。これは、センサアレイからのビデオ画像を改造するために完全に新しいルーチンの開発を必要とする。ベイヤーパターンは、Ｒ、ＧおよびＢ画素アレイからの映像処理のための基準になった。従ってそれを維持し、センサが殆どすべての利用可能な画像処理システムに容易に使用されることを可能にする。対照的に、本開示のセンサ組立体は、深さとＲ、Ｇ、Ｂ信号の両方を測定するために、センサアレイと各センサの全解像度を実質的に使用することができる。本開示のセンサアレイおよびデジタルシステムは、ベイヤーパターンレイアウトを維持することができ、市場でセンサアレイを画像処理システムに適合し得るようにする。殆どの画素処理ハードウェアは、ＣＣＤまたはＣＭＯＳのベイヤーパターン撮像装置からの画素を処理する。

＜深さセンサだけを提示するシステム＞
［００７６］深さセンサだけを使用するシステムは、注意したように欠点がある。それらは映像データを提示せず、単に「レンジ（範囲）」カメラである。それらは典型的には光源、検出器および信号プロセッサを含んでいる。光源は、基準タイムポイントを有する送信制御信号に従ったターゲットにソース信号を送信する。検出器はターゲットから反射されるソース信号からの反射信号を受け取る。信号プロセッサは、基準タイムポイントとは異なった時間遅れとそれぞれの時限中に反射信号のそれぞれの部分を競わせることにより、多くの感じられた値を生成する。信号プロセッサは、ターゲットの距離を決定するために感知された値の最大／最小に対するそれぞれの遅延時間を決定する。本開示のシステムは範囲（ｒａｎｇｅ）カメラとして使用することができる一方で、映像データの提供を含む種々様々の撮像動作を実行することができる。

＜３次元画像センサ＞
［００７７］いくつかの実施形態で、本明細書に開示された主題である、センサアレイおよび撮像処理システムは、各々が測定される解像度を犠牲にせずに、単一のアレイを用いて可視光および赤外光の測定を達成することができる。これはアレイを単一又は共通のチップ上に位置付けることを可能にし、次の主な長所がありうる。
１−コンパクト性、故にそれらが採用されるシステムの小型化に適用可能
２−他のより大きなシステムへのシステム統合の容易さ
３−２つの異なるセンサによる測定から発生する一致および閉塞の問題を解決する。
４−（実施形態１における）画素間の物理的最大近傍による正確な深さおよび映像データによるマッチング、及びセンサ画素アレイを移動させることによる実施形態１において、及び画素をカバーするフィルタを移動させることによる実施形態２において、同一の位置に存在する２つのタイプの画素によるデータの測定によって（実施形態２における）画像と深さの両方のための同一の画素の使用。従って実際には、データを感知する画像および深さの局在性には相違はない。
５−１つのアレイと１枚のレンズの使用による１組の組込みカメラパラメータ。

［００７８］いくつかの実施形態では、本明細書に開示された主題は、２つの異なるセンサで測定することから発生する一致および閉塞の課題を解決する。一致の課題は、センサの像平面上の３Ｄポイントの投影によって作られたｘ，ｙの位置と、別のセンサの像平面上の同じ３Ｄポイントの投影によって作られたｘ，ｙの位置の整合性のタスクである。立体撮像においては、左画像上の３Ｄポイントの投影のｘ，ｙ位置と右画像上の対抗するｘ，ｙ位置との整合である。立体画像を用いる３Ｄ位置のリカバリにおけるこの一致は同じタイプのデータ上でなされ、これは画素のＲ値、Ｇ値、Ｂ値である。

［００７９］１つのセンサにおけるＲ、Ｇ、Ｂ及び他のセンサにおける赤外線又は伝播時間を測定するシステムのような感知されているデータが異なるタイプであるシステムでは、この整合を行うことは簡単ではない。その理由はデータが固有的に異なることであり、したがって、それらは比較することができない。また、センサの解像度は異なり得る。Ｒ、Ｇ、Ｂセンサに投影されたたとき３Ｄポイントは単一の画素であり、深さセンサは、３Ｄポイントの周りの「領域」の深さを感知する（これはＲ、Ｇ、Ｂセンサよりその解像度が低いためである）。そのような場合、一致は３Ｄセンサ（ＴｏＦあるいは構造化光）測定によって開始すること、及び回転マトリックスと並進マトリックスを用いる幾何学的変換を使用することによってなされ得る。回転マトリックスと並進マトリックスは２つのセンサ、画像Ｒ，Ｇ，Ｂセンサに対する３Ｄ位置、ついでＲ，Ｇ，Ｂ画像面に対してこの３Ｄ位置を投影することに関係する。この動作は、１画素当たり最小で１２の乗算および３つの加算を必要とする。これは計算上高価な提案である、しかし、それは、深さ画素とＲ、Ｇ、Ｂ画素間の一致を作成する唯一の方法である。なぜなら、データは固有的に異なるタイプであるからである。

［００８０］さらに、深さセンサがＲ、Ｇ、Ｂセンサより低い解像度を有する場合、深さ画素は空間の「領域」に相当する。それはＲ、Ｇ、Ｂ画像空間で曖昧に決定される。シーンにおける「エッジ」領域では、これは悪い結果に帰着する。

［００８１］本明細書に開示されたセンサは、本質的に両方の測定の同じ解像度の同じ位置で画素（異なる類型のデータに対応する）を感知する。したがって、本明細書に開示された技術は一致の課題を解決し、（センサの１つの解像度が損なわれる場合）領域対点の整合よりむしろ点対点の整合を作る

＜本開示の画像処理システムの記載＞
［００８２］この説明は２つの主要部分に分割することができる：
Ａ−マイクロセンサアレイ設計および使用される異なるアプローチ
Ｂ−デジタル回路
＜マイクロセンサ（画素）アレイ、およびアレイのレイアウト設計への異なるアプローチ＞

［００８３］マイクロセンサ又は画素アレイはセンサの中心であり、マイクロ電気機械システム（ＭＥＭＳ）と結び付けられて、多数のタイプのデータを測定する。システムは２つのデータタイプだけについて述べたが、システムはより多くのデータタイプについて容易に拡張することができる。この説明において使用される例示的な２つのデータタイプはＩＲデータと同様に映像データである。後者のタイプのデータは、数学的なアルゴリズムを使用して、深さデータに変換される。

［００８４］多数の知覚データを運ぶことができる支持回路を取り囲んでシステム画素アレイを達成するには、２つの主な原理が存在する：

［００８５］第１のアプローチは、タイプ１のマイクロセンサ間の幾何学的な組み合わせを使用する；すなわち、画像可視光画素と、タイプ２のマイクロセンサ（例えば赤外線画素）。これは空間多重化として知られており、イメージセンサのリアルエステート（ｒｅａｌ−ｅｓｔａｔｅ）が、タイプ１のマイクロセンサ（可視光を感知可能な画像画素）と、タイプ２のマイクロセンサ（赤外光を感知可能な画素）の間で共有される。この場合、後述するように、マイクロ電気機械システム（ＭＥＭＳ）は、全センサアレイを一つの方向および幾何学的な組み合わせパターンの機能である大きさで移動させる。

［００８６］このアプローチのデータ出力はタイプ１のデータとタイプ２のデータの混合である。

［００８７］第２のアプローチは、タイプ１のデータ（画像）センサである全センサアレイおよびタイプ２のデータ（ＩＲ／深さ）センサとしての全アレイを使用する。これはフレームまたは時分割多重化である。このアプローチでは、ＭＥＭＳは測定に適切なフィルタでアレイの各センサを覆うために使用される。タイプ１のデータについて、ＭＥＭＳはマイクロセンサ上の第１のフィルタスタックを移動させ、タイプ１のデータが測定されることを可能にし、タイプ２のデータを測定から阻止する。他のモードにおいて、ＭＥＭＳは、他の第２のフィルタセットがマイクロセンサ上にあることを可能にし、タイプ２のデータが測定されることを可能にする。第２のフィルタセットは可視光スペクトルのすべて又は一部を測定から阻止し得る。このアプローチを達成する２つの異なる実施形態がある。

［００８８］データ出力は、すべてのタイプ１又はすべてのタイプ２のデータ若しくはタイプ１及びタイプの２の両方のいずれかであり得る。一つのフレームにおいて全アレイは、赤外線受容器として働き、他のフレームにおいて可視光、従来の可視光カメラセンサとして働く。したがって、第１のフレームでは赤外光が集められ、そして、第２のフレームでは可視光が集められ、若しくはこの逆である。

［００８９］これらの２つの設計思想を具体化する詳細は後述する。

［００９０］次のセクションでは、デジタルシステムの実施形態が示され、新しい画素アレイシステムはシングルチップセンサの構成要素を含む。

＜イメージ処理システム＞
［００９１］センサアレイへの以前のアプローチはデジタルシステムで具体化され、当該デジタルシステムはセンサが映像データと深さデータを伝えることができるようにするために必要とされる機能性を提供すると同様に当該アプローチの実行を達成するために他の支援回路要素を有している。画素アレイおよび支援回路の例示的な実施形態は図１０を使用して説明される。レンズは画像処理システム上に位置し、全アレイへ光学信号を集め、導く。システムは、共通のチップ又は回路ボード上にある要素を意味する。

［００９２］画素アレイは、１つを超えるタイプのデータの測定を達成するために、多数のマイクロセンサが配列される場所である。マイクロセンサのレイアウトを設計する１つを超えるアプローチがある。これらのアプローチは後述する。

［００９３］読出しは、ＣＣＤ技術とＣＭＯＳ技術で異なったやり方で行なわれる。センサがＣＣＤ技術である場合、読み出し復号ロジックが行および列回路を駆動し、行全体が読み出されるまで１つの画素から隣の画素まで各行にその電荷を転送させる。従って、この読出し復号ロジックは、アレイの値の順読み取りを管理する。対照的に、センサがＣＭＯＳ技術である場合、読み出しロジックよりむしろ行および列複合器は、データが読み出される画素を選択し、その読み出しは順次（ｓｅｑｕｅｎｔｉａｌ）又はランダムであり得る。データの順序を維持する方法でなされる読み出しシーケンスとメモリ中のデータの記憶装置は、上述の設計アプローチの実行に関して後述する。相関型二重サンプリング（ＣＤＳアプローチは、ＣＭＯＳセンサにおいてデータを読み出す際に一般に使用される）。

［００９４］各画素のアナログ値が読み出されると、アナログ利得回路は値を増幅する。

［００９５］Ａ−Ｄ変換器は画素アナログデータをデジタル値に変換し、デジタル利得回路は、読み出される画素データに増倍係数を適用する。このモジュールはチップ上で存在することができるか、あるいはシステムの他の部分で実装することができる。デジタルデータはデジタルバスを介してシステムの残りに読み出すのに先立ってレジスタに保存することができる。

［００９６］マイクロ電子機械システム（ＭＥＭＳ）は、アレイを移動させるためにアクチュエータとの信号通信におけるＭＥＭＳ制御装置／回路を含む。ＭＥＭＳはチップの重要な構成要素になりえる。ＭＥＭＳはチップの異なる部分を移動させて画像処理システムの目的を達成する。画像処理システムは単一のセンサで１つを超えるタイプのデータを、両方ともセンサの全解像度で測定する。どの設計アプローチがセンサ配列に注入されるかによって、ＭＥＭＳは、異なるセットの部品を移動させる。ＭＥＭＳ制御装置／回路は電気機械アクチュエータに制御を提供する。アクチュエータは一般に２つのブロックに論理的に分割される。なぜなら、アクチュエータは物理的に、チップ上の１つのブロックであり得るからである。

［００９７］如何にして全画像処理システム及びその構成部品品（ＭＥＭＳ及びセンサアレイを含む）が、モジュール動作ロジックを介して動作するかをプログラムするために、チップ制御ロジックはＣＰＵ（図示せず）からのデータを受け取る。そのようなパラメータの例は次のとおりである：選択されたタイプのデータを集めるためのセンサアレイの露光時間（集められるべきデータのタイプによって変化し得る）、集められたセンサデータを増幅するためにアナログおよび／またはデジタル利得回路によって適用される利得、センサアレイをクロック処理する速度（集められるべきデータのタイプによって変化し得る）など。他の重要な情報は次のものを含み得る：データ及びタイミング並びにシーンに投影するために赤外光パターンのタイプを捉えるか又は集めることと同期するためにアクチュエータを移動するようにＭＥＭＳを駆動するためのタイミング。センサのＭＥＭＳ運動は、センサアレイ又は画像処理システムを設計する異なるアプローチに関して以下に説明する。また、奥行き情報を回復するために赤外光パターンを使用する概念を以下に説明する。

［００９８］デジタル記録機能部とそのアクセスは、チップ上に又はチップから離して若しくはその両方に位置される任意のタイプのコンピュータ可読媒体であり得る。もし設計がセンサアレイからデータを読み出す速度に主たる考慮が払われてなされるなら、これはシステムデザイン問題であり、センサアレイの機能性に影響を及ぼさない。メモリにデータを格納することは、すべての画素のすべてのデジタルデータを読出し、デジタル記録機能部に該データを格納するマイクロプロセッサ（図示せず）によるか、あるいはレジスタからの集められたデジタルデータを取り出す「直接メモリアクセス」（ＤＭＡ）デジタルブロックを有することによりなされ得る。

［００９９］チップに入る或いはチップから出る感知された情報又はデータを搬送する配線（バス）は、ＣＰＵ（図示せず）からのデータを画像処理システムの内部デジタルブロック（図示せず）まで転送し、該画像処理システムの異なる動作を制御する。また配線は、センサアレイから読み出されるデータを示されたデジタル出力ラインを介して、適切なデジタル記録機能ブロック（デジタルメモリ）まで搬送する。

［００１００］他の構成要素はセンサアレイから深さ関連のデータを受け取る際に役割を果たし、シーン又は画像の深さデータを計算するために使用される。これらの構成要素は赤外（微弱な）光パターンエミッタであり、シーン又は画像に当該パターンを外に投影する。最大のシステム統合を達成するために、光パターンエミッタは同一のチップ上で統合され得る。

［００１０１］そこで、２つのアプローチの実施形態の提案について以下に詳細に説明する。

＜実装の第１のアプローチ（第１の実施形態）＞
［００１０２］画像処理システムは（マイクロ）センサアレイを含み、タイプ１とタイプ２のマイクロセンサの間、例えば赤外線感知可能な画素並びに規則的な可視カラー選択性の画素（赤、緑および青を感知可能）の間に、組み合わせが存在する。画素は、好ましくは組み合わせパターンで、共通の基板に置かれる。組み合わせるパターンは、行又は列若しくはその両方に存在し得る。

［００１０３］そのような配置の実施形態は図１１及び１２を使用して見られる。最初に、図１１では、マイクロセンサ（画素）のレイアウトが示され、それはタイプ１のデータ、即ち可視光だけに感知可能であり、マイクロセンサは、各画素を１つのタイプの色のみを感知可能にするためにカラーフィルタで覆われている。センサは共通のチップ又は基板に置かれる。アレイの選択された部分において、第１及び第２センサは緑色光を感知可能で、第３センサは青色光を感知可能で、第４センサは赤色光を感知可能である。示されたパターンは、ベイヤーパターンとして知られ、カラー画像センサで最も広く用いられているパターンである。

［００１０４］図１２は、単なる可視光以上に感知するために、図１１に示されるセンサアレイを如何にして変換するかを示している。これはマイクロセンサのパターンを組み合わせることにより行われる。当該パターンはマイクロセンサによりタイプ１のデータ（可視光であり青、赤および緑を感知可能な画素）を感知可能で、マイクロセンサはタイプ２のデータ、すなわち赤外光（ＩＲ）を感知可能で、組み合わせは行でなされる。したがって、行はベイヤーパターンを表す一方で、介在する行はタイプ２のデータを感知可能なセンサである。したがって、２つのタイプの組み合わせが存在する。第１は青色光を感知可能な画素、赤色光を感知可能な画素及び緑色光を感知可能な画素の間で組み合わせており、第２は一方では青色光を感知可能な画素、赤色光を感知可能な画素及び緑色光を感知可能な画素とタイプ２のデータの間、他方では赤外線を感知可能な画素間で組み合わせている。

［００１０５］センサアレイの製造は、ＣＭＯＳカメラの製造と共通の方法に従っており、それゆえ、そのようなセンサを製造するために本ＣＭＯＳメーカーにとっては簡単である。この製造プロセスは以下の工程を含んでいる：
（１）すべてのマイクロセンサ（画素）は同様のレイアウトで製造される。
（２）Ａ−カラーフィルタ（図６に示される可視光フィルアタドミタンス応答を備え、Ｂ、ＧおよびＲで示される）が、赤、緑および青の可視光の感知に使用される図１１中の画素に適用される。本実施形態では、画素は行０及び行１に適用され、緑と赤の組み合わせの画素として行０に適用され、青と緑の組み合わせ画素として行１に適用され、ついで、行２および行３を飛ばして行４及び行５に適用され、同様に行０及び行１に適用され、さらにアレイの端部まで適用される。
（３）Ｂ−ＩＲ阻止フィルタが、可視光を感知可能であるこれらのフィルタに適用される。すなわち：図１２に示されるように、本実施形態においては行０、１、および行４、５・・・。
（４）他の行、即ち行２および行３、次に、行６および行７などは、赤外線を感知可能である。赤外線阻止フィルタおよびカラーフィルタは適用されない。図１２における。
（５）マイクロレンズは、各画素自体に集められた光量を増加させる。各画素の集光効率を増加させるために、マイクロレンズは全画素アレイの各画素上に適用される。

［００１０６］センサは、タイプ１およびタイプ２のデータの両方を集める垂直解像度の半分を犠牲にして、この方法で使用することができる。本開示は、同じ方向（図１２に示される場合、画素の垂直方向（紙面に対して）の距離（参照符号「ｈ」で示されている））に沿って二つの画素の長さ寸法に等しい距離だけセンサを上方（すべての解像度が失われる方向であり、この場合垂直方向であるが適用に依存して他の方向もあり得る）に移動させるためにＭＥＭＳを用いてこの問題を克服する。距離「ｈ」は２つの画素の長さ寸法に限定されないが、適用に従って１つの画素の長さ寸法又は２つの画素の長さ寸法を超えるものもあり得ることは認識されるべきである。ＭＥＭＳ設計は簡単である。なぜなら１つの寸法だけでアレイの運動を達成することができるからである。認識されるように、センサアレイの運動の距離および方向は、異なるタイプのデータを集める異なるタイプの画素の組み合わせパターンの機能である。本実施形態は垂直方向（紙面に対して）のみでの組み合わせを示す；しかしながら、本開示は、水平に（紙面に対して）組み合わせるように容易に拡張することができる。その場合、センサアレイは水平に（紙面に対して）移動される。また、それは、垂直方向と水平方向（紙面に対して）の両方に組み合わせて使用することができ、その場合、センサアレイは、垂直方向と水平方向（紙面に対して）の両方に移動される。

［００１０７］換言すれば、最初に、第１の動作モードで画素アレイのすべて又は一部は第１位置にある。この位置では、画素アレイは、マイクロセンサの空間レイアウトによって示されるような特定の空間位置でタイプ１およびタイプ２のデータの両方を読む。異なる２回目に、第２の動作モードで、すべて又は一部の画素アレイがＭＥＭＳによって第１位置と異なる第２位置に移動される。この位置では、画素アレイはタイプ１及びタイプ２の両方のタイプのデータをなお読む。センサアレイのすべてあるいは一部が第２位置まで移動されてタイプ１及びタイプ２のデータを集める位置を逆にすると、タイプ１およびタイプ２のデータ測定の両方の空間解像度には損失はない。

［００１０８］別の構成において、第１の時間に、第１の動作モードで画素アレイのすべて又は一部は第１位置にある。第１位置では、タイプ１のデータに感知可能な画素がタイプ１のデータを集める一方で、タイプ２のデータに感知可能な画素は、第２のタイプのデータを集めないように位置する。この位置では、タイプ１のデータは、タイプ１のデータに感知可能な画素から読み出される。別の実施形態では、タイプ２のデータに感知可能な画素は第１の動作モードでタイプ２のデータを集めることができる。

［００１０９］
異なる第２の時間に、第２の動作モードで、すべて又は一部の画素アレイがＭＥＭＳによって第１位置と異なる第２位置に移動される。第２位置では、タイプ２のデータに感知可能な画素が位置してタイプ２のデータを集める一方で、タイプ１のデータに感知可能な画素は、第１のタイプのデータを集めないように位置する。この位置では、タイプ２のデータは、タイプ２のデータに感知可能な画素から読み出される。別の実施形態では、タイプ１のデータに感知可能な画素は第２の動作モードでタイプ１のデータを集めることができる。

［００１１０］これは図１３によって明示されており、測定の空間解像度は、どれくらい損失がないのかを示している。図１３は運動前（又はアレイが第１の動作モード、および第１位置にある場合）の全アレイと共に図１２に示された画素アレイ（左のアレイ）を示し、組み合わせ量（２行分）に相当する距離だけ上方に移動された後、即ち画素アレイが第２の動作モードおよび第２位置にあるように、２つの画素の垂直高さに等しい距離だけ移動された後の全アレイを示す。

［００１１１］センサの組み合わせるパターンおよび運動から、センサの２つの位置から取られたデータが、タイプ２のデータ即ち赤外線データの全解像度と同様にタイプ１のデータ即ち映像データの全解像度を作成するために互いに相補的であることが認識され得る。データ収集のこのシーケンスは、さらに次のように説明することができる：

＜このアプローチにおける画素アレイの動作のシーケンス＞
［００１１２］本実施形態中の画像取得の動作は、図２に示される画素レイアウトの場合においてのみ説明される。組み合わせは垂直方向（紙面において）になされるが、動作は水平全方向（紙面において）と同一である。動作は、組み合わせの他のすべてのパターンで拡張することができる。

［００１１３］画像画素と赤外線感知可能なものとの組み合わせが、垂直方向（紙面において）に沿って行われる本実施において、動作即ちセンサの画像取得のシーケンスは以下のように概説される：
１−フレーム（あるいはフレームＡ）は捕捉され、読みだされ、メモリに格納される（図１０に示されるように、格納動作は前のセクションで説明されている）
２−センサが上方に移動される（紙面において）。
３−他のフレーム（あるいはフレームＢ）は捕捉され、読みだされ、格納される（図１０に示されるように、格納動作は前のセクションで説明されている）。
４−両方のフレームからのデータはタイプ１のデータの全フレーム（映像処理で使用される可視画像フレーム）、およびタイプ２のデータの全フレーム（深さ計算で使用される赤外線フレーム）を生成するために使用される。
５−画像処理システムがこれらの２つのタイプのデータを集めるために動作される限り、ステップ１−４は繰り返し続ける。

［００１１４］次のセクションで、センサから出力されるデータの混合型のデジタル記録機能の機構が説明される。
＜混合データを読み格納する＞

［００１１５］データがこの方法で組み合わせられる場合、タイプ１及び２のデータは異なる方法でメモリに格納され、その結果、結局、あたかも、２つタイプのデータが２つの異なるセンサから、行の正確な順で到来するかのように、タイプ１及び２のデータが互いに連続して順次格納される。最初に、従来のマイクロセンサのアレイの場合、即ち単一のタイプのデータの測定の場合、如何にしてデータが順次読み出され、格納されるかを理解することは重要である。図１４は、マイクロセンサの単一のタイプのアレイから各行に沿って順次到来するデータの単一のタイプの記憶装置を示す。データは、行毎にデジタル記録部に格納される（各行について、通常アレイの左から右まで画素毎に格納される）。行１が行０に続き、ついで行２が続き、アレイから読み出される最後の行である行ｎまで続く。したがって、同一のタイプのデータは連続して保存される。本開示では、１つを超えるタイプの感知されたデータの格納と同じ結果を達成することは望ましい。それはタイプ１のデータ（映像データ）であり、すべて格納される、また、タイプ２のデータ（ＩＲデータ）は連続して格納される。これを達成する方法は図１５および図１６を使用して説明する。

［００１１６］図１５を参照すると、マイクロセンサアレイから到来するデータは順次である；すなわち、データは１つの行において画素毎にセンサから読み出され、ついで隣の行において画素ごとに読み出され、ついで隣の行において読み出され、その後アレイの最後まで読み出される。従って、アレイから読み出されたデータは、タイプ１およびタイプ２のデータの両方の混合である。すなわち、読み出されたデータは、映像データの２つの行およびＩＲデータの２つの行である。単純なデジタル論理回路を使用して、データは異なる記憶装置及び／又は個別の記憶装置、すなわちタイプ１用のもの及びタイプ２用のものに格納されるために導かれる；例えば、タイプ１のデータは、映像データ記憶領域に格納されるタイプ２のＩＲデータ記憶領域に格納される。これは各タイプのデータの順序を保存する間に起こらなければならない。これは次のとおり、図１５に示されるように達成される：行０および行１のタイプ１のデータは、タイプ１の格納メモリ（トランザクションによって、および図１５に示される映像メモリ）に格納される。行０及び１を格納後、同じタイプのデータ（例えば、映像データ）の行２及び行３を格納するのに充分なスペースのメモリに飛ぶ。なぜならそこにはデータがまだないからである（ＭＥＭＳが第２位置にセンサアレイを移動し、別のフレームの測定をつかんだ後に利用可能である）。その後、行４および行５は、（トランザクションによって示されたとおり）タイプ１の記憶装置に格納される。しかし、行２および３はタイプ２のデータである；従って、同一のタイプのデータ（例えば、ＩＲデータ）の行１および２を格納するために充分なスペースのメモリを飛んだ後、タイプ２のデータが別の格納メモリ（ＩＲメモリ）に格納される。なぜならそこにはデータがまだないからである（ＭＥＭＳが第１位置にセンサアレイを移動し、別のフレームの測定をつかんだ後に利用可能である）。行２および３を格納後（トランザクションによって示されたように）、同一のタイプのデータ（例えばＩＲデータ）の行４および５を格納するために充分なスペースのメモリに飛ぶ。なぜならそこにはデータがまだないからである（ＭＥＭＳが第１位置にセンサアレイを移動し、別のフレームの測定をつかんだ後に利用可能である）。その後、本フレームからの行６および７はタイプ２の記憶装置に格納される。以下同様。

［００１１７］図１７に示されるように、センサが第２位置に移動される、データの別の組が集められると、行２および３の位置における二つの行よる上への移動後に物理的に位置づけられた行４および行５は、そこで、トランザクションによって示された行２および行３の欠落した映像データをそれぞれ格納するために使用される。この場合、行０、１、４および５はタイプ２のデータである。また、それらは図１６のトランザクションによって行０および１のタイプ２のデータのために示されるような適切な場所に格納される。同じ概念は、全センサアレイに垂直に適用される。

［００１１８］このプロセスの結びで、タイプ１のデータはすべて１つのメモリ（例えば、カラー画像行記憶装置）に連続して格納される一方で、タイプ２の全データはセンサの全解像度で、メモリ（例えば、ＩＲ画像行記憶装置）に格納される。

［００１１９］画素レイアウトはアプリケーションに依存して変更することができる。例えば、組み合わせは水平方向に沿って行うことができる。言いかえれば、カラーフィルタに覆われた画素の１カラムが存在し、隣のカラムは赤外線感知可能な画素である。センサ画素アレイは、この場合、画素の水平長さに等しい量だけ水平方向に沿って移動される。

［００１２０］同じ考えにしたがって、異なる画素パターンも、測定の別のタイプ（例えば、画像データの高解像度対深さデータを有する）と比較して、１つのタイプの測定の解像度を犠牲にして実行することができる。例えば、よりよい解像度を持つセンサが画像データ用である一方で深さデータの解像度が犠牲にされていることが好ましイ場合、赤外線感知可能な画素の２つの行は、カラーフィルタで覆われた画素の各４行に使用され得る。その事象で、画素アレイは、２つの画素によって垂直方向に沿って移動される。従って全ベイヤーパターンは改造される一方で、赤外線データの垂直解像度の２つの行を逃す。同じアプローチは水平方向に組み合わせを行うことにより適用することができる。認識されるように、センサとシステム構築を実行することができる、異なる併用が存在する。しかし、本開示の教示は同じままである：すなわち、教示はマイクロセンサを組み合わせて、センサを、覆われた領域即ち組み合わされた領域へと移動させることである（「組み合わせと移動」）。

［００１２１］多くの実施形態では、アレイの移動および停止は図１０に参照符号（４００）と（４０１）で示されたリミットスイッチによってガイドされる。リミットスイッチは、画像アレイが移動されると、アレイがその最終の目的位置に到着したことを知らせるために、例えばＯＦＦからＯＮ（あるいはその逆）に、リミットスイッチの状態を変更させるとき、その移動の終了が感知されるように動作する。これは、アレイを移動させるアクチュエーティング回路がその動作を停止させることを可能にする。この点で、アレイはその新しい位置において定常である。リミットスイッチの各々は、センサアレイの構成にしたがってセンサアレイのデータを格納するために、リミットスイッチから回路まで信号を送信するため、対応する回路に結合される。

［００１２２］リミットスイッチの各々はリミットスイッチの状態の変化を示す回路に信号を送信するように構成される。センサアレイが第１位置に着くと、リミットスイッチは、センサアレイが第１の構成を含むことを示すために回路に第１の信号を送信する。センサアレイが第２位置に着くと、センサアレイが第２の構成を含むことを示すために、リミットスイッチは回路に第２の信号を送信する。

［００１２３］図１５および１６の実施形態に従って、センサアレイが下限スイッチ（図１５において参照符号（７００）で示される）に接しているので、アレイはその下側位置においてセンサアレイの第１の構成を含む。センサアレイが上部の位置に移動した場合、センサアレイは第２の構成を含み、センサアレイの移動は、上限スイッチ（図１６において参照符号（７０１）で示される）との接触及び始動後に制限される。多くの実施形態では、センサアレイが所望の位置に到着するとリミットスイッチは回路に信号を提供する。所望の位置はスイッチの位置で特徴づけられる。多くの実施形態によれば、リミットスイッチは２つを超えるリミットスイッチを含み得る。例えば実施形態により２つを超える位置にアレイが停止する。実行の第２のアプローチ（第２及び第３の実施形態）

［００１２４］第１のアプローチと異なり、第２のアプローチは、異なるタイプのデータを測定するために同じマイクロセンサを使用する；すなわち、同じ画素が可視データとＩＲデータの両方を測定する。これは特定のタイプのデータを受け入れ、他のタイプのデータを阻止する適切なフィルタを備えた画素を準備し、ついで他のタイプを受け入れ第１のタイプを阻止するために画素を変更することすることにより達成される。

［００１２５］これは、赤外線感知可能な画素から可視光画素に前後に切り替えるフィルタで各画素を覆うためにＭＥＭＳを使用して達成される。

［００１２６］このアプローチでは、画素自体がマイクロレンズで覆われるが、カラーフィルタ、ＩＲアドミタンス又はＩＲブロッキングフィルタでは覆われない。

［００１２７］赤外線あるいは第２の動作モードで、画素は、その軌道中のすべてのフィルタの干渉なしに侵入光に露出される（明らかにカメラレンズを除く）。可視光あるいは第１の動作モードで、ＭＥＭＳは、その上にすべての画素（赤、緑又は青）用のＩＲフィルタおよび適切なカラーフィルタを有するゲートを起動する。図１５では、画像センサアレイのこの概念は１つの画素の断面を使用して示される。

［００１２８］各画素は、入ってくる光を集光して、それをその光の強度の関数である電気信号に変換することを受け持つ、光−電領域を有する。この領域の側面図又は横断面図が図１７に示される。光フィルタ組立体又は「ゲート」（長方形又は正方形の構造体）の断面は、その上にＩＲ阻止フィルタ、および可視光受入フィルタを支持しており（画素に依存して赤、緑又は青の１つにおいて）、画素を侵入光にさらすゲート開放位置、又は画素に衝突する光がＩＲ及び可視光スペクトルを画素に衝突する光から除去するゲート閉鎖位置まで回転され得る。ゲート開放位置（左下に示される）で、画素は赤外光に感知可能であるが、ゲート閉鎖位置（右下に示される）で、画素は、可視光の所望の波長スペクトルに感知可能な画像画素として働き、それは特定の画素に使用されたカラーフィルタに依存して、赤、緑又は青の１つである。透明材料（ガラスでありえる）の層は、ＩＲとカラーフィルタを置く前に扉の上に置かれる。この層は、光フィルタ組立体が、閉鎖位置（右下に示される）にあるとき、光を通すように中間から開かれるという事実によりＩＲとカラーフィルタの両方を支持するために置かれる。

［００１２９］図１８は、第２の実施形態である、ゲートアプローチのより複雑な変形を示しており、赤外光を得るモードにある場合、ＩＲ受入フィルタが画素に適用されるように、２つのゲートが使用される。図１８では、図１８の中央上部に２つのゲートが存在する。カメラがビデオ画像（図１８の右下）を得る場合、ゲートは閉鎖され、別のゲートは、赤外線受入フィルタを「経路から取り払い」、カラーフィルタおよび赤外線阻止フィルタを画素に光を衝突する経路に入れるために開放される。カメラが赤外線画像を得るモードに入れられと、逆のことが行われる。即ち、ゲートは経路から外れるように回転される一方で、ゲートが図１８の右下に示されるように、光が画素に衝突する経路にＩＲ受入フィルタを入れる。

［００１３０］この実施形態の他の第３の変形例は、画素ごとをベースにしたものに対立するものとして全画素アレイを充分にカバーすることができるほどゲートを大きくしている。ガラスで製造されたゲートと同じ概念の２つのゲートが存在し得るか、（生産の実現可能性に依存して）二つのゲートはガラスの面で覆われた矩形のフレームであり得、および、二つのゲートは概して画素アレイを閉鎖するか開放することができる。すべての画素上のゲートと比較して、この解決法はより単純である、しかし、それはゲートを開閉するために必要な、より大きな慣性を受け得、画素アレイ上の垂直空間を必要とし、開閉する側に依存して画素アレイと同じくらい高く、全画素アレイと同じくらい長く（又は同じくらい広く）ゲートの開放を提供する。

［００１３１］両方のアプローチは、全解像度の赤外線感知可能な画素アレイと同様に可視光のＲ、Ｇ、Ｂ画素アレイの全解像度ベイヤーパターンを提供することができる。したがって：
１ −カラーフィルタパターンは、ベイヤーパターンとしてまだ保存され、それゆえ利用可能な画素プロセッサソフトウエアおよびハードウェアは、この画像／深さセンサと互換性がある。これは主な利点である。なぜならベイヤーパターン処理は非常に成熟していて、ＣＭＯＳ（ＣＣＤと同様）カメラのための画像処理システムにおいて殆ど標準的であるからである。しかしながら、本実施形態は、すべてのパターンに適用することができ、それらの併用が白を含むすべての色を提供することができる限り、Ｒ、Ｇ、Ｂ光受入フィルタはカラーフィルタの全ての（シアン、マジェンタおよび黄色又は他の色など）３つの組であり得ることに留意されたい。
２ −第１のアプローチにおいて、全センサが移動され、規則的なＣＭＯＳ映像センサの規則的な製作からの偏差が制限されている。従って、本テクノロジーはこの第１の実施形態を容易に実行するのに成熟している。さらに、ＭＥＭＳからの必要な運動は簡単である。

＜赤外線計測からの深さの計算＞
［００１３２］本開示が赤外線計測を意味するものは、光の使用、あるいはやや構造化した光パターンであり、その波長は赤外光スペクトルに当たる。その理由は、これらの光が獲得したイメージに「現われない」ように、画像獲得などの「感知可能」又は「可視」撮像機能を備えた光パターン間の干渉を回避することである。構造化光は、シーン上に画素の既知パターンを投影する処理である。これらの光パターンは、線、格子及び／又は円の形態であり得る。表面を打つ場合のこれらが変形は、視覚装置がシーンの対象の深さおよび表面情報を計算することを可能にする方法である。あるいは、これらの形状は、異なる周波数を備えた、シヌソイド関数または二乗関数の形をしている光強度グレージングのような関数の形態であり得る。投影光からセンサによって検知されるような「位相」の変更は、シーンにおける点の深さの関数である。これらのアルゴリズム及びその異なる拡張をカバーする多数の刊行物が存在する。本実施形態では、これらのアルゴリズムのいずれも採用することができる。人間の目に見えない（あるいは微細な）構造化光は、干渉しない波長を有する光を使用する。

＜Ｂ−画素アレイを備えたデジタル回路の実施形態＞
［００１３３］本開示は、同じアレイを備えた１つのタイプを超えるデータの測定を達成するために単一の画素アレイのチップ上のシステムを設計するための異なるアプローチをカバーした。そこで、この「チップ」の例示的な実施形態は示されるだろう。本開示はさらに、データが２つのタイプの感知されたデータの混合である場合にメモリへのセンサがデータ出力を格納する方法論について説明した。上記のものを実装するデジタルシステムの実施形態が下記に述べられる。

［００１３４］画素アレイは同時に１つを超えるタイプのデータ（深さ測定を計算するために使用されるビデオ映像および赤外光を形成するために使用される可視光）を測定する。アレイは、上述した異なる実施形態のうちのいずれかで実行することができる。ＭＥＭＳを備えた画素アレイは、シングルチップ上でともに閉じ込められる。画像処理システム動作は画像処理装置と呼ばれる処理装置によって制御される。画像処理装置は、タイプ１のデータ（例えば可視データモード）とタイプタイプ２のデータ（例えばＩＲモード）を感知する複合の第１の動作モードに画像処理システムを入れるか、あるいはタイプ１のデータおよびタイプ２のデータの複合化を、アレイを移動することで感知する第２の動作モード（配列を移動させることによる）。あるいは別の実施形態で、別のモードにおけるタイプ２のデータを感知する間に、特定のモードにおけるタイプ１のデータを感知する。画像処理システムモードは図７における中央処理装置（ＣＰＵ）によって制御される。ＣＰＵは、さらに（図７の配線バスを介して）図１０におけるタイミング回路を駆動し、シーンを「感知する」ために２次元アレイ画像センサへのタイミングを引き起こす（画像を撮る）。その後、タイミング回路は、センサアレイから読み出しバス上のマイクロセンサ（画素）に集められたデータを読み出すためにセンサアレイを駆動する。データは（センサ設計のために使用されるアプローチに依存して）タイプ１及びタイプ２、あるいはその両方になり得る。その後、両方のタイプ（画素データ）のデータは、タイプ１のデータ（メモリ）およびタイプ２のデータ（メモリ）のそれらの適切に対応する記憶装置に格納されるために集められるようにＣＰＵおよびメモリによって処理される。

［００１３５］本明細書に説明された実施形態の１つで、それらは混合された方法で集められるが、データは混合された方法で保存されない。タイプ１のデータ（例えば映像データ）は映像フレーム格納領域に保存されるが、タイプ２のデータ（例えばＩＲデータ）は深さフレーム格納領域に保存される。ここで映像処理システムは、（アレイが存在する動作モードに依存して）タイプ１のデータ、ビデオ画像又はタイプ２のデータ、ＩＲ画像を生成することができる）を生成することができ、そして、画像は、対応する領域（映像モード用映像メモリおよび深さモード用の深さメモリ）に格納される、後に両方がアプリケーションで使用される。ＣＰＵは、さらに映像とＩＲの処理をすべて達成する画素処理装置になりえる。ベイヤーパターンの映像処理の場合、各画素の色成分ＲＧＢを計算するために、画素補間がＣＰＵによって使用される。他の動作は、制限なしで、デジタル利得、ホワイトバランス、（ＲＧＢからＹＣｒＣｂまでの）カラー空間変換およびガンマ補正を含んでいる。赤外線データ処理の場合、ＣＰＵが行なうが制限されず、データノイズ削除およびパターン変形認識および深さデータ又は対象形状回復である。ＣＰＵは、（周知の利用可能なアルゴリズムを使用して）深さデータを計算し、深さフレーム記憶装置に格納するためにＩＲ画像を使用することができる。あるいは、本明細書の実施形態を含むシステム上で作動する他のアプリケーションに渡すことができる。モジュール間のデータ転送はデジタルバス）を使用して行なわれる。バスはセンサにデータを書き込むためにセンサとバスからデータを読みだすために使用される。デジタル論理の用語で、バスは多数の配線であり、獲得したデジタルデータがデジタルシステムの１つのデジタル回路から該システムの別の回路に転送される。

［００１３６］深さを計算するために使用される有用なＩＲデータを集めるために、画像処理システムは、シーンの１以上の光パターンを投影する。従って、画像処理システムは１つ以上のＩＲ発光部を有し得る。ＩＲ発光部は一面に画素アレイのまわりで置くことができる。さらに、各発光装置は異なるパターンを投影することができ、深さ測定で使用される。光パターンはシーンに投影され、シーンからのパターンの反射は画素アレイによって受け取られ、異なる計算アルゴリズムでシーンの深さデータが計算される。好ましくは、光パターンはユーザに見えない；そうでなければ、シーンは、ユーザに現われる「人工」光パターンで満たされ、それは従来の画像撮り及び捕捉と大きく干渉するこれはユーザに知られている。したがって、シーンと干渉する見えるものから空隙になり、従ってユーザが捕捉している画像に記録される。

［００１３７］言及されるように、ＭＥＭＳは本開示のセンサアレイと同じマイクロセンサ（画素）アレイを使用して、異なるタイプのデータを集めさせる。画像処理システムは、我々のセンサアレイシステムの特定の部分を移動させることによりそれらの異なるタイプのデータの測定を達成する。異なる実施形態において、ＭＥＭＳは、画像処理システムの構成に依存して異なり得る１つ以上の要素を移動させる。しかしながら、同じセンサアレイが異なる２つのタイプを搬送することができる目的を達成するために、ＭＥＭＳは実施形態のすべてにおいて実行される。それらはビデオ画像及びおよびＩＲ画像として記載された。

［００１３８］チップ上の他のセンサ要素は次のものであり得るが、限定されない。
Ａ−異なるパターンを備えた赤外線発光装置で、図１０（及び図１７に示された）のセンサアレイ上の３つの円として示される。それらの数に実際は制限はなく、赤外線マイクロセンサと一般的な可視光マイクロセンサ（カラー画像画素）によって目に見える限りそれらが作用する波長域と分布に制限はない。
Ｂ−チップ上のＭＥＭＳマイクロホンアレイ
Ｃ−Ｘ−Ｙ−Ｚ加速度計およびＸ−Ｙ−Ｚジャイロ
Ｄ−画像アプリケーションを得る間に質を改善するのを支援するためのストロボ光、即ち（図１９における）フラッシュ。

［００１３９］その高集積、および撮像および深さを捉えることへのシングルチップの解決策を持つという利点により、チップ上の提案された画像処理システムは使用することができるが、次のものに制限されない：
１−ゲーミング；
光を発光し、深さと映像センサの両方として役割を果たすシングルチップを有することによる高集積は、システムの如何なるビデオカメラも、我々の発明と取り替えることができる。これは、実際にすべての計算および通信デバイスの３Ｄ撮像アプリケーションの集積化を促進する。
２−計算及び通信装置用のヒューマンユーザインターフェースは、ラップトップ及びモバイルデバイス上のカメラおよび表面相互作用の計算パッドをすべて交換することができる。これは、そこで、我々のデバイスが画像センサ、深さセンサ、あるいは両方として使用することができる、新しいアプリケーションへ引き上げる。
３−増大された現実のアプリケーションは、デバイス上の３Ｄカメラの存在によりモバイルデバイス、タブレットおよびラップトップ上でコード化されるために非常に促進されるだろう。これは、３Ｄデータ、映像データが、単一のセンサに統合されるからである。増大された現実のアプリケーションで、これらのデータ（シーンの映像と三次元データは既に空間に一致している。なぜなら、それらは同じセンサから招来するからである）は、異なるアプリケーションであるビデオゲーム、教育、訓練及びマーケティングに適している三次元グラフィックに統合される。
４−犯人の３Ｄトラッキングが達成されるセキュリティ／監視で、それは新しいアルゴリズムを作ることができる。
５−３Ｄ印刷、本センサは、３Ｄデータを印刷するためにハードウェアとソフトウェアを含むデジタルシステムを介して接続することができ、これはセンサによって得られ、処理されて測定から３Ｄデータを回復し、プリンタにそれを送る。

［００１４０］この開示の例示的なシステムおよび方法はマイクロセンサアレイに関して記載された。しかしながら、本開示を不必要に不明瞭にしないようにするために、前の説明は多くの知られた構造およびデバイスを省略している。この省略は特許請求の範囲の制限として解釈されるべきでない。特定の詳細は、本開示についての理解を提供するために書き留めた。しかしながら、本明細書に述べられた特定の詳細を超える様々な方法で本開示が実施され得ることは認識されるべきである。

［００１４１］更に、例示的な態様、実施形態および／または本明細書に例証された構成は、配列されたシステムの様々な要素を示しているが、システムの特定の要素は、ＬＡＮおよび／またはインターネットなどの分散ネットワークの遠方部分、又は専用システム内で遠隔に位置づけることができる。したがって、カメラ又は他の撮像デバイスなどの１つ以上のデバイスにシステムの要素が組み合わされうるか、又はアナログ及び／又はデジタル通信ネットワーク、パケットスイッチネットワーク又は回路交換網などの分散ネットワークの特別のノード上で配列することができることは認識されるべきである。システムの要素が、システムの動作に影響せずに、要素の分散ネットワーク内の如何なる位置にも配列することができることは、前述の説明から、および計算上の効率の理由で認識される。例えば、様々な要素は１つ以上のユーザの前提又はそのいくつかの組合せで１つ以上の計算デバイスにおけるサーバに位置することができる。同様に、通信デバイスと関連する計算装置の間でシステムの１つ以上の機能的な部分を分配することができるかもしれない。

［００１４２］更に、要素を接続する様々なリンクが有線又は無線リンク、若しくはそれらのすべての併用、又は知られた要素若しくはその後開発された要素であって、接続された要素へ、及び接続された要素からデータを供給することができる及び／又は通信することができる要素であり得ることは認識されるべきである。これらの有線あるいは無線リンクは安全なリンクになり得るものであり、暗号化された情報を通信することができる。リンクとして使用される送信メディアは、例えば、すべての同軸ケーブル、銅線および光ファイバーを含む電気的信号にふさわしいキャリアになりえて、電波と赤外線データ通信中に生成されたものなどの音響又は光の波の形態をとってもよい。

［００１４３］さらに、フローチャートが事象の特別のシーケンスに関して説明され例証された一方で、このシーケンスへの変更、追加および省略が、開示された実施形態、構成および態様の動作に実質的に影響せずに生じる場合があることは認識されるべきである。

［００１４４］開示の多くの変形例および変更は使用することができる。他のものを提供せずに、開示のいくつかの特徴を提供することは可能だろう。

［００１４５］例えば、１つの代替の実施形態では、本開示のセンサアレイは、ベイヤーパターン以外のパターンに使用することができる。

［００１４６］別の代替の実施形態では、センサアレイは静止したままである一方で、１つ以上の光フィルタがアレイ上を移動されて所望のタイプのデータの収集を引き起こす。例えば、第１のモードでタイプ１のデータが光フィルタの存在又は不在の状態で集められて、タイプ２のデータを削除し、そして第２のモードで、フィルタがタイプ１のデータを削除する一方で、タイプ２のデータを通してフィルタは第２のタイプのデータを集めるためにアレイ上にＭＥＭＳによって移動される。

［００１４７］さらに別の実施態様では、センサアレイは移動され、動作モードに依存してアレイ中の１つ以上の画素上に位置づけられた異なるフィルタを有する。この実施形態は、有効に図１３および図１７−１８の実施形態の併用である。

［００１４８］さらに別の実施形態では、この開示のシステムおよび方法は専用計算機、プログラムドマイクロプロセッサ又はマイクロ制御装置、および周辺の集積回路要素、ＡＳＩＣあるいは他の集積回路、デジタルシグナルプロセッサ、個別要素回路などのハードワイヤード電子機器あるいは論理回路、ＰＬＤ、ＰＬＡ、ＦＰＧＡ、ＰＡＬ、専用計算機、すべての比較可能な手段などのプログラマブルロジックデバイスあるいはゲートアレイと関連して実行され得る。一般に、ここに例証された方法論を実行することができるすべてのデバイスあるいは手段もこの開示の種々の態様を実行するために使用することができる。開示された実施形態、構成および態様に使用することができる例示的なハードウェアは、コンピュータ、携帯型デバイス、電話（例えば、セルラー、インターネット実行可能、デジタル、アナログ、ハイブリッドなど）、および当該技術で知られた他のハードウェアを含んでいる。これらのデバイスのうちのいくつかはプロセッサ（例えば単一か多数のマイクロプロセッサ）、メモリ、不揮発性記憶装置、入力装置および出力デバイスを含んでいる。更に、分散処理又は要素／オブジェクト分散処理、並行処理又は仮想計算機処理を含むが限定されない代替のソフトウェア実装は、本明細書に記載された方法を実現するために構築することができる。

［００１４９］さらに別の実施形態では、開示された方法は、様々なコンピュータまたはワークステーションのプラットフォーム上で使用することができる持ち運び可能なソースコードを提供するソフトウェアの使用するオブジェクトあるいはオブジェクト指向のソフトウェア開発環境と関連して容易に実現され得る。代替的に、開示されたシステムは、標準ロジック回路あるいはＶＬＳＩ設計を使用して、ハードウェア中で部分的にあるいは完全に実行され得る。ソフトウェアまたはハードウェアがこの開示に従ってシステムを実行するために使用されるか否かは、利用されるシステムの速度及び／又は効率の要件、特定の機能及び特定のハードウェアシステム又はマイクロプロセッサ若しくはマイクロコンピュータに依存する。

［００１５０］さらに別の実施形態中で、開示された方法は、ソフトウェアで部分的に実行され得るものであり、それは記憶媒体に格納することができ、制御装置とメモリの協力でプログラムされた汎用コンピュータ、専用計算機、マイクロプロセッサ、などで実行され得る。これらの場合では、この開示のシステムおよび方法はアプレット、ＪＡＶＡ（登録商標）又はＣＧＩスクリプトなどのパーソナルコンピュータ埋め込まれたプログラム又はＣ＋＋4などの言語でコンパイルされたソフトウェアとして、サーバまたはコンピュータのワークステーション上で存在するリソースとして、専用の測定システム、システムコンポーネントなどに埋め込まれたルーチンとして実行することができる。システムも、ソフトウェアおよび／またはハードウェアシステム及び／又は方法を物理的に組み込むことにより実行することができる。

［００１５１］本開示は態様、特別の標準およびプロトコルを参照して実施形態及び／又は構成を記載している、態様、実施形態および／または構成はそのような標準およびプロトコルに限定されない。本明細書に言及されない他の同様の標準およびプロトコルは、存在し、本開示に含まれると考えられる。さらに、本明細書に言及された標準およびプロトコル、および本明細書に言及されない他の同様の標準およびプロトコルは、本質的に同じ機能を有する、より速いか又はより有効な均等物によって周期的に置換される。同じ機能を有するそのような置換の基準およびプロトコルは本開示に含まれた均等物と考えられる。

［００１５２］本開示は、種々の態様、実施形態および／または構成において、要素、方法、プロセス、システムおよび／または装置を本明細書に実質的に示され、記載されるように含んでおり、種々の態様、実施形態、構成、実施形態、サブコンビネーション及び／又はそのサブセットを含む。当業者は、本開示を理解した後に開示された態様、実施形態および／または構成を如何にして製造し、使用するかを理解する。本開示は、種々の態様、実施形態および／または構成において、示されないアイテムがない状態でのデバイスおよびプロセスを提供することを含み、または種々の態様、実施形態および／またはその構成において、以前のデバイス又はプロセスで、例えば性能を改善するため、容易に達成する及び／又は実施のコスト低減のために使用されたかもしれないアイテムがない状態でそのようなアイテムを含む。

［００１５３］先の説明は例証と説明の目的のために示された。前述のものは、本明細書に示された形態に制限するようには意図されない。叙上の詳細な説明では、例えば、開示の様々な特徴は、開示を合理化する目的で１つ以上の態様、実施形態および／または構成において互いにグループ化される。開示の態様、実施形態および／または構成の特徴は、代替の態様、実施形態および／または上述されたもの以外の構成で組み合わせられ得る。開示のこの方法は、各請求項で明示された特徴より多くの特徴を要求する意図を反映すると解釈されるべきではない。むしろ、以下の特許請求の範囲が反映するように、発明性のある態様は、上述の開示された態様、実施形態および／または構成のすべての特徴にある。したがって、次の特許請求の範囲は、開示の個別の好ましい実施形態として別々のものとして各請求項と共に、この詳細な説明に組み入れられる。

［００１５４］さらに、説明は１つ以上の態様、実施形態および／または構成の説明および特定の変形例及び変更を含み、他の変形例および変更が開示の範囲内であるが、例えば、当業者の技量および知識内にあり得る。代替、交換可能および／または均等の構成、機能、請求されたものに対する範囲又は工程を含む代替の態様、実施形態および／又は構成を許される程度にまで含む権利を得ることが意図される。そのような代替、交換可能および／または均等の構成、機能、範囲又は工程が本明細書に開示されたものであれ、開示されていないものであれ、特許可能な主題を公に捧げることを意図していない。

［００１５５］本発明の好ましい実施例がここに示され記述される一方、そのような実施形態が例示のみで提供されることは当業者にとって明白だろう。多数の変形例、変更および置換が発明から逸脱せずに、当業者に思い浮かぶだろう。発明を実施するのに、本明細書に記述された発明の実施形態の様々な代替が採用されるかもしれないことが理解されるに違いない。次の特許請求の範囲が発明とその方法の範囲、およびこれらの請求項の範囲内の構造を定義し、それらの均等物がそのためにカバーされることが意図される。

Claims

装置であって、
（ａ）ベイヤーパターンデータを検出するための第１の複数の対の隣接するリニアアレイと異なるタイプのデータを検出するために前記第１の複数の対の隣接するリニアアレイの対の間に位置付けられた異なるパターンを有する第２の複数の対の隣接したリニアアレイ上に成膜された複数のベイヤーパターンを備え、
（ｂ）第１位置から第２位置まで前記センサアレイを移動するためアクチュエータであって、前記第１の複数の対の隣接したリニアアレイの物理的な位置が、前記第２の複数の対の隣接したリニアアレイの物理的な位置と互い違いになるアクチュエータ、及び
（ｃ）前記ベイヤーパターンデータと前記第１位置及び第２位置とは異なるタイプのデータを出力するために前記アクチュエータと前記センサアレイに接続された回路を含むことを特徴とする装置。
前記ベイヤーパターンデータの各画素は前記第１位置又は前記第２位置と関連づけられて出力され、前記異なるタイプのデータの各画素は第１位置又は第２位置と関連づけられて出力される請求項１に記載の装置。
前記異なるパターンは、赤外線フィルタパターン、紫外線フィルタパターン、非ベイヤー可視光フィルタパターン又はフィルタを含まないパターンの１つ以上を含む請求項１に記載の装置。
第１の複数の隣接したリニアアレイの各対は２つの隣接したリニアアレイの対を含み、第２の複数の隣接したリニアアレイの各対は２つの隣接したリニアアレイの対を含む請求項１に記載の装置。
第１の複数の隣接したリニアアレイの各対は３以上の隣接したリニアアレイの対を含み、第２の複数の隣接したリニアアレイの各対は３以上の隣接したリニアアレイの対を含む請求項１に記載の装置。
前記センサアレイが第１位置に位置するとき信号を出す第１のリミットスイッチと、前記センサアレイが第２位置に位置するとき信号を出す第２のリミットスイッチをさらに含み、前記回路は、第１位置に移動する前記センサアレイを感知する前記第１のリミットスイッチに応答して前記センサアレイの前記第１位置の第１の複合データを統合し、第２位置に移動する前記センサアレイを感知する前記第２のリミットスイッチに応答して前記センサアレイの第２の複合データを統合するように構成される請求項１に記載の装置。
回路は、前記第１の複合データおよび前記第２の複合データからベイヤーパターンデータを生成し、前記第１の複合データおよび前記第２の複合データから異なるタイプのデータを生成するように構成される請求項１に記載の装置。
前記回路は、センサアレイを前記第１位置に移動させ、前記第１位置で前記センサアレイの第１のデータを測定し、かつ前記センサアレイを前記第２位置に移動させ、前記第２位置で前記センサアレイの第２のデータを測定する命令を含み、前記プロセッサはベイヤーパターンを有する前記第１の複数の隣接したリニアアレイから第１の全フレーム画像を提供し、異なるパターンを有する前記第２の複数の隣接したリニアアレイから第２の全フレーム画像を出力する命令を含み、センサは多数の画素を含み、前記第１の全フレーム画像及び前記第２の全フレーム画像のおのおのは前記センサアレイの多数の画素を含む請求項１に記載の装置。
前記アクチュエータはマイクロ電気機械システムを含む請求項１に記載の装置。
前記複数のベイヤーパターンのおのおのは、赤色光を感知する赤色画素、青色光を感知する青色画素および緑色光を感知する１対の対角方向の緑色画素を含む請求項１に記載の装置。
センサアレイから生成された出力を格納するためデジタルデータ記憶装置を更に含む請求項１に記載の装置。
前記出力をデジタルデータ記憶装置に転送すること、
画像取得のタイミング、アレイの移動、回路を構成すること、
画像形成を構成すること、及び
画像を生成することの１つ以上を制御するためにデジタル信号プロセッサをさらに含む
請求項１に記載の装置。
システムであって：
（ａ）第１のタイプのデータと第２のタイプのデータを感知するために動作可能なセンサアレイであって、前記第１及び第２のタイプのデータが異なるセンサアレイと、
（ｂ）マイクロ電気機械システム（ＭＥＭＳ）
を含み、
前記マイクロ電気機械システムは（１）前記センサアレイと（２）フィルタの少なくとも1つを移動させるものであり、
前記センサアレイは共通の位置でセンサアレイの異なるセンサが前記第１及び第２のタイプのデータの異なるデータ捕捉するように移動され、
前記フィルタは、選択されたセンサが当該フィルタの位置に依存して第１及び第２のタイプのデータを捕捉することができるように移動され、前記センサアレイの前記センサの少なくとも１つの上に位置づけられてなるを備えているシステム。
第１の動作モードにおいて、第１の複合フレームはセンサアレイによって捕捉され、第２の動作モードにおいて、第２の複合フレームはセンサアレイによって捕捉され、前記第１及び第２の複合フレームは各々第１及び第２のタイプのデータを含み、前記第１及び第２の複合フレームは前記第１のタイプのデータのみを含む第１のフレームと、前記第２のタイプのデータのみを含む第２のフレームに分割され、
前記第１及び第２のフレームは、異なる離散的なコンピュータ可読媒体に格納され、前記第１のタイプのデータは可視光であり、前記第２のタイプのデータは赤外光である
請求項１３に記載のシステム。
第１の動作モードにおいて、第１の複合フレームはセンサアレイによって捕捉され、第２の動作モードにおいて、第２の複合フレームはセンサアレイによって捕捉され、前記第１及び第２の複合フレームは各々第１及び第２のタイプを含み、前記第１及び第２の複合フレームは前記第１のタイプのデータのみを含む第１のフレームと、前記第２のタイプのデータのみを含む第２のフレームに分割され、
前記第１及び第２のフレームは、異なる不揮発性メモリ部に格納され、前記第１のタイプのデータが青色光、緑色光および赤色光の１つ以上であり、前記第２のタイプのデータは赤外光である請求項１３に記載のシステム。
前記センサアレイは、前記第１のタイプのデータを感知する第１の組のセンサと、前記第２のタイプのデータを感知する第２の組のセンサとを備え、前記第１の組のセンサが第２の組のセンサとは異なる構成を有し、前記ＭＥＭＳが前記センサアレイを第１位置から第２位置まで移動させて、前記第１フレームと前記第２フレームをそれぞれ捕捉する請求項１３に記載のシステム。
センサの第１及び第２の組は互いに組み合わせがなされ、該組み合わせが行毎に、及び／又は列毎になされ、前記ＭＥＭＳによる前記センサアレイの運動の距離及び方向が採用される組み合わせのタイプの機能である請求項１６に記載のシステム。
前記ＭＥＭＳは、選択されたセンサが前記フィルタの位置に依存して第１または第２のタイプのデータを捕捉できるように前記センサの少なくとも１つの上に位置付けられたフィルタを移動させる請求項１３に記載のシステム。
前記第１のタイプのデータは青色光、緑色光及び赤色光の１つ以上であり、前記第２のタイプのデータは赤外光であり、前記フィルタブロックが、
（ａ）赤外光を通しながら青色光、緑色光、および赤色光の１つ以上を実質的に阻止するか、又は
（ｂ）青色光、緑色光および赤色光の１つ以上を通しながら赤外光を実質的に阻止し、
前記第１の動作モードにおいて、前記ＭＥＭＳは、選択されたセンサと光が接触する前に、光をフィルタリング処理するために選択されたセンサ上に前記フィルタを位置づけ、
前記第２の動作モードにおいて、前記ＭＥＭＳは選択されたセンサから前記フィルタを除去し、フィルタリングされていない選択されたセンサと光が接触することを可能にする請求項１８に記載のシステム。
前記第１のタイプのデータは青色光、緑色光及び赤色光の１つ以上であり、前記第２のタイプのデータは、赤外光であり、第１のフィルタブロックが、赤外光を通しつつ前記青色光、緑色光及び赤色光の１つ以上を実質的に阻止し、前記第２のフィルタブロックが前記青色光、緑色光及び赤色光の１つ以上を通しつつ赤外光を実質的に阻止し、
第１の動作モードにおいて、前記ＭＥＭＳは、光が選択されたセンサと接触する前に、光をフィルタリング処理するために選択されたセンサ上に、前記第２のフィルタではなく前記第１のフィルタを位置づけ、
第２の動作モードにおいて、前記ＭＥＭＳは、光が選択されたセンサと接触する前に、光をフィルタリング処理するために選択されたセンサ上に、前記第１のフィルタではなく前記第２のフィルタを位置付ける請求項１８に記載のシステム。
方法であって、
（ａ）第１の時間間隔に亘って、センサアレイによって、該第１および第２のタイプのデータが異なっており、第１及び／又は第２のタイプのデータを捕捉する工程、
（ｂ）マイクロ電気機械システム（ＭＥＭＳ）によって、共通の場所においてセンサアレイの異なるセンサが第１及び第２のタイプのデータの異なるものを捕捉するように、（１）前記センサアレイと、（２）フィルタの少なくとも１つを移動させる工程であって、選択されたセンサがフィルタの場所に依存する第１または第２のタイプのデータを捕捉することができる（１）前記センサアレイと、（２）フィルタの少なくとも１つを移動させる工程、（２）センサの少なくとも１つの上に位置づけられたフィルタの、少なくとも１つを、および
（ｃ）第２の時間間隔に亘って、前記ＭＥＭＳによる移動の後、前記センサアレイによって第１および／または第２のタイプのデータを捕捉する工程を含む方法。
第１の動作モードにおいて、第１の複合フレームはセンサアレイによって捕捉され、第２の動作モードにおいて、第２の複合フレームはセンサアレイによって捕捉され、
前記第１及び第２の複合フレームは各々第１及び第２のタイプのデータを含み、
第１及び第２のタイプの複合フレームは、第１のタイプのデータのみを含む第１のフレームと、第２のタイプのデータのみを含む第２のフレームに分割され、
前記第１及び第２のフレームは、異なる離散的なコンピュータ可読な媒体に格納され、
第１のタイプのデータは可視光であり、第２のタイプのデータは赤外光である請求項２１に記載の方法。
第１の動作モードにおいて、第１の複合フレームはセンサアレイによって捕捉され、第２の動作モードにおいて、第２の複合フレームはセンサアレイによって捕捉され、
前記第１及び第２の複合フレームは各々第１及び第２のタイプのデータを含み、
第１及び第２のタイプの複合フレームは、第１のタイプのデータのみを含む第１のフレームと、第２のタイプのデータのみを含む第２のフレームに分割され、
前記第１及び第２のフレームは異なる重複しないメモリ部に格納され、
前記第１のタイプのデータは青色光、緑色光および赤色光の１つ以上であり、前記第２のタイプのデータは赤外光である請求項２１に記載の方法。
前記センサアレイは、第１のタイプのデータを感知する第１の組のセンサと、第２のタイプのデータを感知する第２の組のセンサを含み、
前記第１の組のセンサは前記第２の組のセンサと異なる構成を有し、
前記ＭＥＭＳは、第１位置から第２位置にセンサアレイを移動させ、前記第１のフレーム及び第２のフレームをそれぞれ捕捉する請求項２１に記載の方法。
前記第１と第２の組のセンサは互いに組み合わせがなされ、
前記組み合わせは、行毎及び／又は列毎になされ、
前記ＭＥＭＳによるセンサアレイの移動の距離および方向は、採用される組み合わせの機能である請求項２４に記載の方法。
前記ＭＥＭＳは、選択されたセンサがフィルタの位置に依存して第１または第２のタイプのデータを捕捉することができるように、センサの少なくとも１つの上に位置づけられたフィルタを移動させる請求項２１に記載の方法。
第１のタイプのデータは青色光、緑色光及び赤色光の１つ以上であり、前記第２のタイプのデータは、赤外光であり、
前記フィルタブロックは、（ａ）赤外光を通しながら、青色光、緑色光及び赤色光の１つ以上を実質的に阻止するか、又は（ｂ）青色光、緑色光及び赤色光の１つ以上を通しながら、赤外光を実質的に阻止し、
第１の動作モードにおいて、前記ＭＥＭＳは、選択されたセンサと光が接触する前に、光をフィルタリング処理するために選択されたセンサ上にフィルタを位置し、第２の動作モードにおいて、フィルタリング処理されていない選択されたセンサと光が接触することを可能にするために、前記ＭＥＭＳが選択されたセンサからフィルタを除去する請求項２１に記載の方法。
前記第１のタイプのデータは青色光、緑色光及び赤色光の１つ以上であり、前記第２のタイプのデータは、赤外光であり、
第１のフィルタが、赤外光を通しつつ前記青色光、緑色光及び赤色光の１つ以上を実質的に阻止し、前記第２のフィルタが前記青色光、緑色光及び赤色光の１つ以上を通しつつ赤外光を実質的に阻止し、
第１の動作モードにおいて、ＭＥＭＳは、光が選択されたセンサと接触する前に、光をフィルタリング処理するために、選択されたセンサ上に、第２のフィルタではなく第１のフィルタを位置づけ、第２の動作モードにおいて、ＭＥＭＳは、光が選択されたセンサと接触する前に、光をフィルタリング処理するために、選択されたセンサ上に、第１のフィルタではなく第２のフィルタを位置づける請求項２６に記載の方法。
（ａ）第１時間間隔に亘って、センサアレイによって、前記第１及び第２のタイプのデータが異なる第１および／又は第２のタイプのデータを捕捉する工程、
（ｂ）マイクロ電気機械システム（ＭＥＭＳ）によって、共通の位置において、（１）センサアレイの異なるセンサが第１及び第２のタイプのデータの異なるものを捕捉するような（１）センサアレイ、及び（２）選択されたセンサがフィルタの位置に依存して第１または第２のタイプのデータを捕捉できるように、センサの少なくとも１つの上に位置づけられたフィルタの少なくとも１つを移動させる工程；および
（ｃ）第２の時間間隔に亘って、ＭＥＭＳによる移動後のセンサアレイによって第１及び／または第２のタイプのデータを捕捉する工程
を少なくとも実行するためにマイクロプロセッサによって実行された時、動作可能なマイクロプロセッサ実行命令を含む明確で、非一時的なコンピュータ可読媒体。
第１の動作モードにおいて、第１の複合フレームはセンサアレイによって捕捉され、第２の動作モードにおいて、第２の複合フレームはセンサアレイによって捕捉され、第１及び第２の複合フレームは各々第１及び第２のタイプのデータを含み、第１及び第２のタイプの複合フレームは、第１のタイプのデータのみを含む第１のフレームと、第２のタイプのデータのみを含む第２のフレームに分割され、前記第１及び第２のフレームは異なる離散的なコンピュータ可読媒体に格納され、第１のタイプのデータは可視光であり、第２のタイプのデータは赤外光である請求項２９に記載のコンピュータ可読媒体。
第１の動作モードにおいて、第１の複合フレームはセンサアレイによって捕捉され、第２の動作モードにおいて、第２の複合フレームはセンサアレイによって捕捉され、第１及び第２の複合フレームは各々第１及び第２のタイプのデータを含み、第１及び第２のタイプの複合フレームは、第１のタイプのデータのみを含む第１のフレームと、第２のタイプのデータのみを含む第２のフレームに分割され、前記第１及び第２のフレームは異なる重複しないメモリ部に格納され、前記第１のタイプのデータは青色光、緑色光および赤色光の１つ以上であり、前記第２のタイプのデータは赤外光である請求項２９に記載のコンピュータ可読媒体。
前記センサアレイは、第１のタイプのデータを感知する第１の組のセンサと、第２のタイプのデータを感知する第２の組のセンサを含み、前記第１の組のセンサは前記第２の組のセンサとは異なる構成を有し、前記ＭＥＭＳは、第１位置から第２位置にセンサアレイを移動させ、前記第１のフレーム及び第２のフレームをそれぞれ捕捉する請求項２９に記載のコンピュータ可読媒体。
第１及び第２の組のセンサは互いに組み合わされ、前記組み合わせは、行毎及び／又は列毎になされ、前記ＭＥＭＳによるセンサアレイの移動の距離および方向は、採用される組み合わせの機能である請求項２９に記載のコンピュータ可読媒体。
前記ＭＥＭＳは選択されたセンサがフィルタの位置に依存して第１又は第２のタイプのデータを捕捉できるように、センサの少なくとも１つの上に位置づけられたフィルタを移動させる請求項３２に記載のコンピュータ可読媒体。
第１のタイプのデータは青色光、緑色光及び赤色光の１つ以上であり、第２のタイプのデータは、赤外光であり、前記フィルタブロックは、（ａ）赤外光を通しながら、青色光、緑色光及び赤色光の１つ以上を実質的に阻止するか、又は（ｂ）青色光、緑色光及び赤色光の１つ以上を通しながら、赤外光を実質的に阻止し、
第１の動作モードにおいて、前記ＭＥＭＳは、選択されたセンサと光が接触する前に、光をフィルタリング処理するために選択されたセンサ上にフィルタを位置し、第２の動作モードにおいて、フィルタリング処理されていない光が、選択されたセンサと接触することを可能にするために、前記ＭＥＭＳが選択されたセンサからフィルタを除去する請求項３４に記載のコンピュータ可読媒体。
前記第１のタイプのデータは青色光、緑色光及び赤色光の１つ以上であり、前記第２のタイプのデータは、赤外光であり、
第１のフィルタは、赤外光を通しつつ、前記青色光、緑色光及び赤色光の１つ以上を実質的に阻止し、第２のフィルタは青色光、緑色光及び赤色光の１つ以上を通しつつ、赤外光を実質的に阻止し、
第１の動作モードにおいて、前記ＭＥＭＳは、光が選択されたセンサと接触する前に、光をフィルタリング処理するめに、選択されたセンサ上に、第２のフィルタではなく第１のフィルタを位置づけ、第２の動作モードにおいて、前記ＭＥＭＳは、光が選択されたセンサと接触する前に、光をフィルタリング処理するために、選択されたセンサ上に、第１のフィルタではなく第２のフィルタを位置づける請求項３４に記載のコンピュータ可読媒体。