JP2016541191A - 高レートでの関心領域処理及びイベント駆動型フォレンジック・ルックバック機能を備える電気光学(eo)/赤外線(ir)凝視型焦点面 - Google Patents

高レートでの関心領域処理及びイベント駆動型フォレンジック・ルックバック機能を備える電気光学(eo)/赤外線(ir)凝視型焦点面 Download PDF

Info

Publication number
JP2016541191A
JP2016541191A JP2016536128A JP2016536128A JP2016541191A JP 2016541191 A JP2016541191 A JP 2016541191A JP 2016536128 A JP2016536128 A JP 2016536128A JP 2016536128 A JP2016536128 A JP 2016536128A JP 2016541191 A JP2016541191 A JP 2016541191A
Authority
JP
Japan
Prior art keywords
unit cell
sections
storage
frames
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016536128A
Other languages
English (en)
Other versions
JP6295328B2 (ja
Inventor
ボッツ,スティーヴン,イー.
ハリス,ミッキー,アール.
ヴァムポラ,ジョン,エル.
マクラウグリン,マイケル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Raytheon Co
Original Assignee
Raytheon Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Raytheon Co filed Critical Raytheon Co
Publication of JP2016541191A publication Critical patent/JP2016541191A/ja
Application granted granted Critical
Publication of JP6295328B2 publication Critical patent/JP6295328B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/79Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Image Analysis (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

焦点面アレイは、複数の検出器と、各セクションがフレームのシーケンスを生成するために対応する検出器1つによって生成される電荷を供給される複数のユニットセルセクションと、各セクションがユニットセルの対応する1つへ結合される複数組のストレージセクションとを備える。ストレージセクションの各組は、フレームを順次に格納する複数のストレージユニットを有する。関心領域セレクタセクションは、複数のユニットセルのフレームを調べて、所定の特性を有する少なくとも1つのフレームを検出する。プロセッサは、(i)所定の特性を有すると検出された少なくとも1つのユニットセルの近くにある複数のユニットセルセクションの中のサブセットを特定し、(ii)定められた関心領域内のユニットセルセクションのサブセットへ結合されているストレージセクション内の複数のストレージユニットを順次に読み出す。

Description

本開示は、概して、高レートでの関心領域処理を備える電気光学(EO;Electro-Optical)/赤外線(IR;Infrared)凝視型焦点面に関係があり、特に、高レートでの関心領域処理及びイベント駆動型フォレンジック・ルックバック(forensic look-back)機能を備えるEO/IR凝視型焦点面に関係がある。
当該技術で知られているように、電気光学(EO)/赤外線(IR)イメージング、検出、及び特性システムは、センサの視野(FOV;Field Of View)内のイベントの幾何学的な且つ時間的に正確な特性を提供するよう、より高いサンプリング周波数とともに、増え続ける分解能を有して、高FOV焦点面アレイ(FPA;focal plane array)センサを提供するために必要とされている。加えて、それらのシステムは、放射分析特性を改善して、より大きいデータ変換要件をもたらすよう、低いノイズ及び高いダイナミックレンジを必要とする。増え続ける高エテンデュシステムにおける焦点面アレイに関連する電気バンド幅は非常に大きいので、高度なセンサシステムの機能を有効に使用するにはセンサ、プラットフォーム、及びシステムレシーバへのデータの返送におけるバンド幅は足りない。従前のセンサは、動眼視野(FOR;field-of-regard)に合うようFOVを選択して、オブジェクト面分解能を妥協することによって、大きなエリアカバレッジを提供しようと試みてきた。他は、妥当なデータレートを可能にするよう時間分解能性能を妥協してきた。幾つかのシステムは、FOV/FORの要望を達成することへのこだわりを妥協する。ピクセルカウント、分解能、データレート及びダイナミックレンジについてのサブシステム仕様に適合する大規模な凝視型(staring)IR焦点面アレイが製造されてきた。しかし、それらのアレイは、システムの他のサブシステムのバンド幅における制限のために、センサ製造者からの要求の妥協されたフローダウンの結果であった。
今日まで、展開されているシステムは、車両、プロセッシング、伝送、及びオペレータ応答時間における制限のために、幾つかの用途において、観測及び応答のための十分に高速なエンド間応答時間を有さない。結果として、今日までに展開されたシステムは、一般に、持続的に所望のFORの特性を示すそれらの能力が制限されている。それらは、実際的なシステムを得るために所望の機能を妥協しなければならなかった。例えば、システムは、FORをカバーすることへのこだわりを失うステップステア(step stare)センサを配備してきた。検出器が少なすぎるシステムは、オブジェクト空間分解能が不十分である。あるいは、システムは、時間周波数を劇的に低減し、イベントの時間に基づく特性のための機能の低下に苦しんできた。更に、システムは、所望のダイナミックレンジを達成することができず、放射分析精度を犠牲にしなければならなかった。
このように、今日のリードアウト集積回路(ROIC;Read Out Integrated Circuit)及びセンサシステムは、将来のシステムによって望まれる非常に大きいエテンデュを満足するようデータレート、分解能、ピクセルの数、及びビットの数に同時に対応していなかった。このことは、システム性能の妥協をもたらす。
本開示に従って、複数の検出器と、各セクションがフレームのシーケンスを生成するために対応する検出器1つによって生成される電荷を供給される複数のユニットセルセクションと、各セクションがユニットセルの対応する1つへ結合される複数組のストレージセクションとを備える焦点面アレイが提供される。ストレージセクションの各組は、フレームを順次に格納する複数のストレージユニットを有する。関心領域セレクタセクションは、複数のユニットセルのフレームを調べて、所定の特性を有する少なくとも1つのフレームを検出する。プロセッサは、(i)所定の特性を有すると検出された少なくとも1つのユニットセルの近くにある複数のユニットセルセクションの中のサブセットを特定し、(ii)定められた関心領域内のユニットセルセクションのサブセットへ結合されているストレージセクション内の複数のストレージユニットを順次に読み出す。
そのような構成によれば、有効なエテンデュを大いに増大させる構造が提供される。構造は、イベントを読み出して、イベントの周囲及びそれより前にあるデータの前のフレームを“見返す(look back)”。構造は、センサのFOV内の動き又は変化のエリアにおけるセンサシステムのバンド幅リソースに適用され得る。それは、センサのFOV内の動き又は変化のエリアの観測を、イベントの正確な特性を得るために、それらが変化又は移動する前に可能にするとともに、センサバンド幅をより良く管理するよう窓付きモードで働き始めることができる。
一実施形態において、複数の検出器と、各セクションが検出器の対応する1つによって生成される電荷を供給される複数のユニットセルセクションと備える焦点面アレイが提供される。セルの夫々1つは、(i)供給された前記電荷をレートR1での第1の積分/リセットで積分する積分器と、(ii)R2はR1/Mであるとして、低フレームレートR2でフレームを生成するよう複数のM個の前記生成されたフレームを足し合わせる加算器と、(iii)高フレームレートでフレームを生成する高データフレーム出力と前記加算器との間で前記積分された電荷を周期的に切り替えるトグルとを有する。低データレートセクションは、複数のユニットセルの生成された低フレームレートフレームを処理するために、複数のユニットセルによって低フレームレートで生成されたフレームを供給される。高データレートセクションは、複数のユニットセルによって高フレームレートで生成されたフレームへ結合される。前記高データレートセクションは、複数組のストレージセクションを有し、該セクションの夫々1つは、ユニットセルの対応する1つへ結合され、ストレージセクションの各組は、高フレームレートで生成されたフレームを順次に格納する複数のストレージユニットを有する。関心領域セレクタは、所定の特性を有する低フレームレートで生成されたフレームの中の少なくとも1つを検出するよう複数のユニットセルからの低フレームレートで生成されたフレームを調べ、所定の特性を有すると検出されたユニットセルセクションの少なくとも1つの近くにある複数のユニットセルのサブセットを特定して関心領域を定め、該特定されたユニットセルセクションへ結合されているストレージセクション内の複数のストレージユニットを高フレームレートで順次に読み出す。
高バンド幅でデータを取得し、同時に低バンド幅でデータを送信することによって、FOR全体にわたって持続性を保つことが可能である。イベントが起こる場合にのみ、システムは、依然としてシステムのバンド幅制約内で動作を維持しながら、イベントを追跡して特性化するよう再構成される。
そのような構成によれば、アナログ及びデジタル回路は、所望の高サンプルレートで取得されたFOV全体におけるあらゆるピクセルからのピクセルデータを絶えず読み出し、離散時間サンプリングされたデータを絶えず記憶し、低レートデータで時間フィルタリングを絶えず実行してイベントを検出し、サンプルの積分を絶えず実行し、それらを達成可能なより低いシステムデータレートで外部システムへ読み出すよう機能する。有意なイベントの検出があると、このROIC/プロセッサ(ROICP)は、FOV全体から通常の低レートデータを読み出し続け、イベントの位置の周囲の小さい領域(関心領域(ROI;)Region Of Interest)を(高時間レートで)モニタリングするROIデータストリームをデジタルデータストリームに挿入し、より高いデータレートでイベントより前に所定の複数のフレームを読み出すことから始めて、より高いデータレートで実時間においてデータを読み出し続ける。
このように、システムは、多数の比較的小さいROI窓の高速読み出しを可能にするようフレームごとに複数のROIを特定する能力を備える。
本開示の1つ以上の実施形態の詳細は、添付の図面及び以下の記載において説明される。本開示の他の特徴、目的、及び利点は、本明細書及び図面から並びに特許請求の範囲から明らかである。
本開示に従う焦点面アレイの側面図である。
図1の焦点面アレイのブロック図である(図2Bとともに集合的に図2と呼ばれる。)。 図2Aのブロック図の続きである。
図1及び2の焦点面アレイで使用される複数の検出器を備えたチップの平面図である。
図1及び2の焦点面アレイで使用されるユニットセルの平面図である。
図1及び2の焦点面アレイで使用されるリードアウト集積回路(ROIC1)で使用される低データレートプロセッサ、マルチプレクサ、A/Dコンバータセクションのブロック図である。
図1及び2の焦点面アレイで使用される第2のリードアウト集積回路(ROIC2)で使用される高データレートプロセッサ、潜在的関心領域セレクタ及びストレージ、A/Dコンバータセクションのブロック図である(図5Bとともに集合的に図2と呼ばれる。)。 図5Aのブロック図の続きである。
図1及び2の焦点面アレイの動作のフロー図である。
種々の図において、同じ参照符号は同じ要素を示すものである。
これより図1及び2を参照すると、焦点面アレイ10、ここでは例えば、凝視型アレイが示されている。焦点面アレイ10は、ここでは貫通シリコンビア(Through Silicon Vias)及び直接接合ハイブリッド形成(Direct Bond Hybridization)を用いて、図1で示されるようにスタック配置において、電気接点16を介して第1の半導体(ここでは例えば、シリコン)ROIC1チップ14へ貼着されて電気的に接続されている検出器アレイ半導体(ここでは例えば、HgCdTe)チップ12と、電気接点20を介してROIC1チップ14へ貼着されて電気的に接続されている第2の半導体(ここでは例えば、シリコン)ROIC2チップ18とを有する。
検出器アレイチップ12は、複数の検出器、ここでは、例えば、図3Aで示されるように、2048行及び2048列で配置されているEO及び/又はIRダイオード検出器D1,1乃至D2048,2048の正方2048×2048アレイを有する。
再び図2を参照すると、ROIC1チップ14は、複数のユニットセル241,1乃至242048,2048を有する。ユニットセル241,1乃至242048,2048の夫々1つは、図示されるように、検出器D1,1乃至D2048,2048のうちの対応する1つへ結合されている。複数のユニットセル241,1乃至242048,2048は、ここでは、図3Bで示されるように、行及び列で配置されている複数のユニットセル241,1乃至242048,2048の正方2048×2048アレイである。特に、複数のユニットセル241,1乃至242048,2048は、プロセッシング・コンシダレーションのために、領域、ここでは例えば、図3Bで示されるように、16個の柱状の領域、領域1乃至領域16に分割されている。
再び図2を参照すると、セル241,1乃至242048,2048の夫々1つは、構造が同じであり、ユニットセルコントローラ/クロック25からタイミング信号を受信して同時に動作する。その例となる1つ、ここではセル241,1は、検出器D1,1によって供給されるリセット可能な積分器26を有するよう示されている。そのような積分器26は、所定のレートR1、ここでは例えば、200Hzでリセットされる。積分器26の出力は、R2がR1/Mであるとして、低フレームレートR2でフレームを生成するよう複数M個の生成されたフレームを足し合わせるために、マルチサンプル加算セクション及びスイッチセクション27へ供給される。ここで、例えば、M=20及びR2は10Hzである。
特に、マルチサンプル加算セクション及びスイッチセクション27は、リセット可能な積分器26の出力へ結合されている入力部と、一対の出力部とを備えるトグルスイッチ28を有する。図示されるように、1つの出力部は、マルチサンプル加算セクション及びスイッチセクション27の高フレームレート出力30であり、第2の出力部は、キャパシタ34及び直列に接続されているリセット可能な加算器36への低フレームレート出力32へ結合されている。リセット可能な加算器36は、上述されたように、R2がR1/Mであるとして、複数M個の生成されたフレームを足し合わせて出力部32において低フレームレートR2でフレームを生成するためにレートR2でリセットされる。ここで、例えば、M=20及びR2は10Hzである。低データレート出力321,1乃至322048,2048は、図4に関連して詳細に記載される低データレートプロセッサ、MUX及びA/Dコンバータセクション38へ並列に供給される。高データレート出力は、ROIC1チップ14を通じてROIC2チップ18へ供給される。そのようなチップ18は、図5に関連して詳細に記載される高データレートプロセッサ、潜在的関心領域ストレージセクション、及びA/Dコンバータセクション48を備える。
低データレートプロセッサ、MUX及びA/Dコンバータセクション38(図4)は、複数の、ここでは16個のマルチプレクサ40乃至4016を有する。夫々のマルチプレクサは2048×128の入力を有し、夫々の入力は、16個の領域1乃至16(図3B)のうちの対応する1つにあるユニットセルによって供給される。よって、例えば、領域1における例となるユニットセル241,1〜242048,128及び領域16におけるユニットセル241,1920〜242048,2048(図3B)を考え、他のユニットセルが同様に接続されていると理解するならば、ユニットセル241,1〜242048,128の出力321,1〜322048,128は領域マルチプレクサ40へ結合され、ユニットセル241,1920〜242048,2048の出力321,1920〜322048,2048は領域マルチプレクサ4016へ結合される。領域マルチプレクサ40乃至4016は同時に動作し、夫々1つは、その出力部で、2.62MHz=128×2048×10Hzのマルチプレクサレートで順次に供給されたユニットセルからの出力に対して電荷を生成する。よって、例となるマルチプレクサ40を考えると、ユニットセル241,1〜242048,128の出力301,1〜302048,128は、2.62MHzレートでマルチプレクサ40の出力で順次に現れる。上述されたように、全部で16個のマルチプレクサ40乃至4016は、このようにして同時に動作する。よって、出力の夫々1つは、128×2048のアナログ信号のシーケンスを生成する。
16個の領域マルチプレクサ40乃至4016の夫々1つの出力は、128×2048のデジタルワードの16個のストリームを同時に生成するよう、図示されるように、16個のアナログ−デジタルコンバータ42乃至4216のうちの対応する1つへ結合される。128×2048のデジタルワードの夫々1つは、R2×128×2048のレートで出力44乃至4416のうちの対応する1つへ結合される。
これより図5を参照すると、ROIC2チップ18は、高データレートプロセッサ、潜在的関心領域セレクタセクション、及びA/Dコンバータセクション84を有する。特に、高データレートプロセッサ、潜在的関心領域セレクタセクション、及びA/Dコンバータセクション84は、複数の、ここでは2048×2048の分配器50乃至502048×2048を有する。2048×2048の分配器50乃至502048×2048の夫々1つは、ユニットセル241,1乃至242048,2048の高データレート出力301,1乃至302048,2048(図2)のうちの対応する1つから夫々電荷を供給される。高データレートプロセッサ、潜在的関心領域セレクタセクション、及びA/Dコンバータセクション84は、複数のアナログストレージセクション52乃至522048×2048を有する。夫々のアナログストレージセクションは、図5で示されるように、2048×2048の分配器50乃至502048×2048のうちの対応する1つへ結合される。ここで、アナログストレージセクション52乃至522048×2048の夫々1つは、例となるストレージセクション52及び522048×2048について示されるように、複数の、ここでは例えば、20個のキャパシタC乃至C20を有する。分配器50乃至502048×2048の夫々1つは、その入力部にある電荷を、200Hzのレートで、自身へ結合されているアナログストレージセクション52乃至522048×2048のうちの1つにおける20個のキャパシタC乃至C20のうちの対応する1つへ順次に分配する。よって、例となる分配器50を考えると、5ミリ秒の第1フレーム期間の間のユニットセル241,1(図2)からの出力301,1での高データレートフレームは、最初にキャパシタCへ、次いでキャパシタCへ、そしてキャパシタC20まで分配される。その後に、分配プロセスは繰り返す。このようにして、アナログストレージセクション52乃至522048×2048におけるキャパシタC乃至C20は、検出器D1,1乃至D2048,2048(図3)のアレイ全体にわたる過去20個のフレームを格納する。
高データレートプロセッサ、潜在的関心領域セレクタセクション、及びA/Dコンバータセクション84は、低データレートプロセッサ、MUX及びA/Dコンバータセクション38(図4)から16個の出力44乃至4416を供給される関心領域セレクタセクション60を更に有する。関心領域セレクタセクション60は、所定の特性又はシグニチャを有する1つ以上の検出器を特定するよう、低フレームレートで捕捉されるアレイ内のユニットセルの夫々の1つにおける電荷を調べるために使用される。特定されると、関心領域セレクタセクション60は、関心領域、すなわち、シグニチャを有する特定された1つ以上の検出器及びその特定された1つ以上の検出器の近くにある更なる検出器を含む検出器のアレイ全体の中のサブアレイを生成し、又は“生み出す(spawn)”。ここで、関心領域は、特定された1つ以上の検出器及びその特定された1つ以上の検出器の周りの他の検出器を含む64×64の検出器のサブセットアレイであり、これが生成され又は生み出される。ここで、この例では、所定の特性又はシグニチャは、予め決定されている閾レベルである。すなわち、例えば、バックグラウンドノイズのような、所定の閾値よりも大きい信号を検出する検出器である。よって、ここでは、関心領域セレクタセクション60は、複数の16個の閾検出器64乃至6416を有する。夫々の閾検出器は、低データレートプロセッサ、MUX及びA/Dコンバータセクション38からの16個の出力44乃至4416のうちの対応する1つへ結合される。16個の閾検出器64乃至6416からの出力はROI発生器66、ここでは例えば、ルックアップテーブル、又はリードオンリーメモリ(ROM)へ供給される。ROI発生器66は、シグニチャを有する1つ以上の検出器及びその特定された1つ以上の検出器の近くにある更なる検出器に関連する出力イネーブル/ディセーブルライン68乃至682048×2048のうちの64×64においてイネーブル信号を生成するようプログラムされる。出力イネーブル/ディセーブルライン68乃至682048×2048のうちの残り全てのラインは無効にされる。すなわち、ROI発生器66は、特定された1つ以上の検出器及びその特定された1つ以上の検出器の周りの他の検出器を含む検出器の2048×2048アレイ全体のうちの64×64の検出器のサブセットアレイの関心領域を確立し、又は生み出す。
アナログストレージセクション52乃至522048×2048の夫々におけるキャパシタC乃至C20の出力は、示されているように、2048×2048の20:1コミュテータ70乃至702048×2048のうちの対応する1つへ供給される。コミュテータ70乃至702048×2048は、コミュテータ70乃至702048×2048の出力72乃至722048×2048で夫々、高データレートR2、ここでは200Hzのレートでアレイ全体から順次にデータの20個のフレームを生成するよう、同時に動作する。出力72乃至722048×2048の夫々1つは、2048×2048のゲート増幅器74乃至742048,2048のうちの対応する1つへ夫々結合される。ゲート増幅器74乃至742048×2048の夫々1つは、示されるように、ROI発生器66の出力イネーブル/ディセーブルライン68乃至682048×2048のうちの対応する1つから夫々イネーブル/ディセーブル信号を供給される。上述されたように、単一の関心領域に対応する、イネーブル/ディセーブルライン68乃至682048×2048のうちの64×64のみが、有効にされる。
ゲート増幅器74乃至742048,2048からの出力は、セレクタ78へ供給される。セレクタ78は2048×2048の入力部を備え、夫々の入力部は、示されるように、2048×2048のゲート増幅器74乃至742048,2048のうちの対応する1つへ結合されている。セレクタ78は、イネーブル/ディセーブルライン68乃至682048×2048においてイネーブル/ディセーブル信号を更に供給される。セレクタ78は、その出力ライン80乃至8064×64へ、有効にされているゲート増幅器からの出力のみを送る。このようにして、セレクタ78の出力は、特定された関心領域内の検出器の64×64アレイに含まれる検出器のみからの20個の直近のフレームからフレームのシーケンスを生成する。セレクタ78からの64×64の出力は、アナログ−デジタル(A/D)コンバータセクション84によってデジタル信号に変換される。
これより図6を参照すると、システム(図2)の動作が示されている。よって、アレイ全体における全ての検出器からの光電流は、高サンプリングレート(例えば、200Hz)でユニットセルのうちの夫々の対応する1つの光電流積分器セクションにおいて積分される。幾つかのサンプルにわたって(例えば、20個のサンプル又はフレームにわたって)捕捉された積分された電荷は加算されて、低フレームレート(例えば、毎秒10フレーム)でROIC1へ出力される。低フレームレートでのフレームサンプルは、ROIC1においてA/Dコンバータで対応するデジタルデータサンプルに変換される。
アレイ全体におけるセルの夫々1つについての積分された電荷は、ROIC2における複数組のアナログストレージセクションのうちの対応する1つで蓄積される。アナログストレージセクションの夫々は複数のN個のアナログストレージデバイスを有する。サンプルは、Nが整数であるとして、複数のN個の前のフレームを格納するよう、200Hzレートで複数のアナログストレージデバイスの夫々1つにおいて順次に格納される。
アレイ内のセルの夫々における積分された電荷は、所定の特性又はシグニチャに関してROIC1から得られる低フレームデータレートで捕捉される。アレイ内のセルの少なくとも1つが所定の特性又はシグニチャを有するかどうかに関して判定がなされる。判定は関心領域セレクタ60において行われる。所定の特性を有するセルのアレイのサブセットが存在する場合には、関心領域が確立され、確立された関心領域における特定されたサブセットに対応する複数のストレージセルのうちの選択されたものに蓄えられている積分された電荷が読み出され、関心領域内のアナログ電荷は高データレートで対応するデジタルデータに変換される。
なお、当然ながら、本開示に従うシステムは、複数の検出器と、夫々のセクションが、フレームのシーケンスを生成するために、対応する検出器によって生成される電荷を供給される、複数のユニットセルセクションと、夫々のセクションが前記ユニットセルセクションの対応する1つへ結合される複数組のストレージセクションであって、ストレージセクションの各組が、前記フレームを順次に格納する複数のストレージユニットを含む、前記複数組のストレージセクションと、所定の特性を有する前記フレームの中の少なくとも1つを検出するよう前記複数のユニットセルセクションの前記フレームを調べる関心領域セレクタセクションと、(i)関心領域を定めるよう前記所定の特性を有する前記検出されたユニットセルセクションの近くにある前記複数のユニットセルセクションのサブセットを特定し、(ii)前記定められた関心領域内の前記ユニットセルセクションのサブセットへ結合されている前記ストレージセクション内の前記複数のストレージユニットを順次に読み出すプロセッサとを有する。システムは、次の特徴のうちの1つ以上を独立して又は他の特徴と組み合わせて有してよく、前記ストレージユニットの夫々1つがアナログストレージユニットを有すること、前記ストレージユニットの夫々1つがキャパシタを有すること、又は前記ストレージユニットの夫々1つがデジタルストレージユニットを有することを含む。
なお、当然ながら、本開示に従う焦点面アレイは、(A)複数の検出器と、(B)複数のユニットセルセクションであって、該セクションの夫々1つが、フレームのシーケンスを生成するために前記検出器の対応する1つによって生成される電荷を供給される、前記複数のユニットセルセクションと、(C)複数組のストレージセクションであって、該セクションの夫々1つが、前記ユニットセルセクションの対応する1つへ結合され、ストレージセクションの各組が、(i)前記フレームを順次に格納する複数のストレージユニットを有する、前記複数組のストレージセクションと、(D)所定の特性を有する前記複数のユニットセルセクションによって生成された前記フレームの中の少なくとも1つを検出するよう前記複数のユニットセルセクションの前記フレームを調べる関心領域セレクタと、(E)(i)関心領域を定めるよう前記所定の特性を有すると検出された前記ユニットセルセクションの前記少なくとも1つの近くにある前記複数のユニットセルセクションのサブセットを特定し、(ii)前記定められた関心領域内の前記ユニットセルセクションのサブセットへ結合されている前記ストレージセクション内の前記複数のストレージユニットを順次に読み出すプロセッサとを有する。
なお、更に当然ながら、本開示に従う焦点面アレイは、(A)複数の検出器と、(B)複数のユニットセルセクションであって、該セクションの夫々1つが、前記検出器の対応する1つによって生成される電荷を供給され、前記セルセクションの夫々1つが、(i)供給された前記電荷をレートR1での第1の積分/リセットで積分する積分器と、(ii)R2はR1/Mであるとして、低フレームレートR2でフレームを生成するよう複数のM個の前記生成されたフレームを足し合わせる加算器と、(iii)高フレームレートでフレームを生成する高データフレーム出力と前記加算器との間で前記積分された電荷を周期的に切り替えるトグルとを有する、前記複数のユニットセルセクションと、(C)前記複数のユニットセルセクションの生成された低フレームレートフレームを処理するために、前記複数のユニットセルセクションによって前記低フレームレートで生成されたフレームを供給される低データレートセクションと、(D)前記複数のユニットセルセクションによって前記高フレームレートで生成されたフレームへ結合される高データレートセクションであって、(i)複数組のストレージセクションであって、該セクションの夫々1つが、前記ユニットセルセクションの対応する1つへ結合され、ストレージセクションの各組が、前記高フレームレートで生成されたフレームを順次に格納する複数のストレージユニットを有する、前記複数組のストレージセクションと、(ii)所定の特性を有する前記低フレームレートで生成されたフレームの中の少なくとも1つを検出するよう前記複数のユニットセルセクションからの前記低フレームレートで生成されたフレームを調べ、関心領域を定めるよう前記所定の特性を有すると検出された前記ユニットセルセクションの少なくとも1つの近くにある前記複数のユニットセルセクションのサブセットを特定し、該特定されたユニットセルセクションへ結合されている前記ストレージセクション内の前記複数のストレージユニットを前記高フレームレートで順次に読み出す関心領域セレクタとを有する高データレートセクションとを有する。焦点面アレイは、(A)複数組のストレージセクションであって、該セクションの夫々1つが、前記ユニットセルセクションの対応する1つへ結合され、ストレージセクションの各組が、(i)前記フレームを順次に格納する複数のストレージユニットを有する、前記複数組のストレージセクションと、(B)所定の特性を有する前記複数のユニットセルセクションによって生成された前記フレームの中の少なくとも1つを検出するよう前記複数のユニットセルセクションの前記フレームを調べる関心領域セレクタと、(C)(i)関心領域を定めるよう前記所定の特性を有すると検出された前記ユニットセルセクションの前記少なくとも1つの近くにある前記複数のユニットセルセクションのサブセットを特定し、(ii)前記定められた関心領域内の前記ユニットセルセクションのサブセットへ結合されている前記ストレージセクション内の前記複数のストレージユニットを順次に読み出すプロセッサとを更に有する。
本開示の多数の実施形態が記載されてきた。それでもなお、様々な変更が、本開示の主旨及び適用範囲から逸脱することなしになされてよいことが理解されるであろう。例えば、アナログストレージユニットが記載されているが、電荷は、対応するデジタル信号に変換されてよく、その場合に、ストレージユニットはデジタルストレージユニットである。更に、同じ又は異なったシグニチャを有する複数の関心領域セレクタセクションは、対応する複数の関心領域が同時に観測されることを可能にするよう含まれてよい。また更に、他のデータレート及びプロセッシングレート、並びに回路素子が使用されてよい。然るに、他の実施形態は、特許請求の範囲の適用範囲内にある。

Claims (7)

  1. 複数の検出器と、
    夫々のセクションが、フレームのシーケンスを生成するために、対応する検出器によって生成される電荷を供給される、複数のユニットセルセクションと、
    夫々のセクションが前記ユニットセルセクションの対応する1つへ結合される複数組のストレージセクションであって、ストレージセクションの各組が、前記フレームを順次に格納する複数のストレージユニットを含む、前記複数組のストレージセクションと、
    所定の特性を有する前記フレームの中の少なくとも1つを検出するよう前記複数のユニットセルセクションの前記フレームを調べる関心領域セレクタセクションと、
    (i)関心領域を定めるよう前記所定の特性を有する前記検出されたユニットセルセクションの近くにある前記複数のユニットセルセクションのサブセットを特定し、(ii)前記定められた関心領域内の前記ユニットセルセクションのサブセットへ結合されている前記ストレージセクション内の前記複数のストレージユニットを順次に読み出すプロセッサと
    を有するシステム。
  2. (A)複数の検出器と、
    (B)複数のユニットセルセクションであって、該セクションの夫々1つが、フレームのシーケンスを生成するために前記検出器の対応する1つによって生成される電荷を供給される、前記複数のユニットセルセクションと、
    (C)複数組のストレージセクションであって、該セクションの夫々1つが、前記ユニットセルセクションの対応する1つへ結合され、ストレージセクションの各組が、(i)前記フレームを順次に格納する複数のストレージユニットを有する、前記複数組のストレージセクションと、
    (D)所定の特性を有する前記複数のユニットセルセクションによって生成された前記フレームの中の少なくとも1つを検出するよう前記複数のユニットセルセクションの前記フレームを調べる関心領域セレクタと、
    (E)(i)関心領域を定めるよう前記所定の特性を有すると検出された前記ユニットセルセクションの前記少なくとも1つの近くにある前記複数のユニットセルセクションのサブセットを特定し、(ii)前記定められた関心領域内の前記ユニットセルセクションのサブセットへ結合されている前記ストレージセクション内の前記複数のストレージユニットを順次に読み出すプロセッサと
    を有する焦点面アレイ。
  3. (A)複数の検出器と、
    (B)複数のユニットセルセクションであって、該セクションの夫々1つが、前記検出器の対応する1つによって生成される電荷を供給され、前記セルセクションの夫々1つが、
    (i)供給された前記電荷をレートR1での第1の積分/リセットで積分する積分器と、
    (ii)R2はR1/Mであるとして、低フレームレートR2でフレームを生成するよう複数のM個の前記生成されたフレームを足し合わせる加算器と、
    (iii)高フレームレートでフレームを生成する高データフレーム出力と前記加算器との間で前記積分された電荷を周期的に切り替えるトグルと
    を有する、前記複数のユニットセルセクションと、
    (C)前記複数のユニットセルセクションの生成された低フレームレートフレームを処理するために、前記複数のユニットセルセクションによって前記低フレームレートで生成されたフレームを供給される低データレートセクションと、
    (D)前記複数のユニットセルセクションによって前記高フレームレートで生成されたフレームへ結合される高データレートセクションであって、
    (i)複数組のストレージセクションであって、該セクションの夫々1つが、前記ユニットセルセクションの対応する1つへ結合され、ストレージセクションの各組が、前記高フレームレートで生成されたフレームを順次に格納する複数のストレージユニットを有する、前記複数組のストレージセクションと、
    (ii)所定の特性を有する前記低フレームレートで生成されたフレームの中の少なくとも1つを検出するよう前記複数のユニットセルセクションからの前記低フレームレートで生成されたフレームを調べ、関心領域を定めるよう前記所定の特性を有すると検出された前記ユニットセルセクションの少なくとも1つの近くにある前記複数のユニットセルセクションのサブセットを特定し、該特定されたユニットセルセクションへ結合されている前記ストレージセクション内の前記複数のストレージユニットを前記高フレームレートで順次に読み出す関心領域セレクタと
    を有する高データレートセクションと
    を有する焦点面アレイ。
  4. (A)複数組のストレージセクションであって、該セクションの夫々1つが、前記ユニットセルセクションの対応する1つへ結合され、ストレージセクションの各組が、(i)前記フレームを順次に格納する複数のストレージユニットを有する、前記複数組のストレージセクションと、
    (B)所定の特性を有する前記複数のユニットセルセクションによって生成された前記フレームの中の少なくとも1つを検出するよう前記複数のユニットセルセクションの前記フレームを調べる関心領域セレクタと、
    (C)(i)関心領域を定めるよう前記所定の特性を有すると検出された前記ユニットセルセクションの前記少なくとも1つの近くにある前記複数のユニットセルセクションのサブセットを特定し、(ii)前記定められた関心領域内の前記ユニットセルセクションのサブセットへ結合されている前記ストレージセクション内の前記複数のストレージユニットを順次に読み出すプロセッサと
    を更に有する、請求項3に記載の焦点面アレイ。
  5. 前記ストレージユニットの夫々1つは、アナログストレージユニットを有する、
    請求項1に記載のシステム。
  6. 前記ストレージユニットの夫々1つは、キャパシタを有する、
    請求項1に記載のシステム。
  7. 前記ストレージユニットの夫々1つは、デジタルストレージユニットを有する、
    請求項1に記載のシステム。
JP2016536128A 2013-12-06 2014-11-25 高レートでの関心領域処理及びイベント駆動型フォレンジック・ルックバック機能を備える電気光学(eo)/赤外線(ir)凝視型焦点面 Active JP6295328B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/099,119 2013-12-06
US14/099,119 US9386220B2 (en) 2013-12-06 2013-12-06 Electro-optical (EO)/infrared (IR) staring focal planes with high rate region of interest processing and event driven forensic look-back capability
PCT/US2014/067278 WO2015084631A1 (en) 2013-12-06 2014-11-25 Electro-optical (eo)/infrared (ir) staring focal planes with high rate region of interest processing and event driven forensic look-back capability

Publications (2)

Publication Number Publication Date
JP2016541191A true JP2016541191A (ja) 2016-12-28
JP6295328B2 JP6295328B2 (ja) 2018-03-14

Family

ID=52101611

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016536128A Active JP6295328B2 (ja) 2013-12-06 2014-11-25 高レートでの関心領域処理及びイベント駆動型フォレンジック・ルックバック機能を備える電気光学(eo)/赤外線(ir)凝視型焦点面

Country Status (5)

Country Link
US (1) US9386220B2 (ja)
EP (1) EP3078059B1 (ja)
JP (1) JP6295328B2 (ja)
IL (1) IL244512A0 (ja)
WO (1) WO2015084631A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020507957A (ja) * 2017-01-18 2020-03-12 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ イメージセンサための読み出し装置、イメージ・センサ・システム、およびイメージセンサの読み出し方法
JP2022501813A (ja) * 2018-11-27 2022-01-06 レイセオン カンパニー 一体化されたキャパシタを備える積層型センサ

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11750945B2 (en) * 2020-01-22 2023-09-05 Raytheon Company Imager with integrated asynchronous laser pulse detection having a signal component along a second electrical pathway passes through an ALPD readout integrated circuit to an imaging readout integrated circuit
US11705471B2 (en) * 2020-10-23 2023-07-18 Raytheon Company Close butted collocated variable technology imaging arrays on a single ROIC

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003189186A (ja) * 2001-12-20 2003-07-04 Matsushita Electric Ind Co Ltd 撮像装置
JP2008228232A (ja) * 2007-03-15 2008-09-25 Canon Inc 撮像装置、撮像方法、プログラム、及び記憶媒体
US20090066782A1 (en) * 2007-09-07 2009-03-12 Regents Of The University Of Minnesota Spatial-temporal multi-resolution image sensor with adaptive frame rates for tracking movement in a region of interest
WO2009031303A1 (ja) * 2007-09-05 2009-03-12 Tohoku University 固体撮像素子及び撮影装置
JP2009105533A (ja) * 2007-10-22 2009-05-14 Sony Corp 画像処理装置、撮像装置、画像処理方法および撮像画像処理方法
JP2010282135A (ja) * 2009-06-08 2010-12-16 Nikon Corp 電子カメラシステム
WO2013164915A1 (ja) * 2012-05-02 2013-11-07 株式会社ニコン 撮像装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5107122A (en) * 1990-10-12 1992-04-21 Hughes Aircraft Company Sparse readout method and apparatus for a pixel array
CN102057671B (zh) 2008-06-10 2013-03-13 国立大学法人东北大学 固体摄像元件及其驱动方法
US8773577B2 (en) 2010-10-27 2014-07-08 Qualcomm Incorporated Region of interest extraction
WO2012138345A1 (en) 2011-04-07 2012-10-11 Northrop Grumman Systems Corporation Advanced focal plane array concept for overhead persistent ir applications
US9069061B1 (en) * 2011-07-19 2015-06-30 Ball Aerospace & Technologies Corp. LIDAR with analog memory
US9635287B2 (en) 2011-10-11 2017-04-25 Raytheon Company Method and apparatus for integrated sensor to provide higher resolution, lower frame rate and lower resolution, higher frame rate imagery simultaneously
ES2729736T3 (es) 2013-01-25 2019-11-05 Teledyne Innovaciones Microelectronicas Slu Función automática de región de interés para sensores de imagen

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003189186A (ja) * 2001-12-20 2003-07-04 Matsushita Electric Ind Co Ltd 撮像装置
JP2008228232A (ja) * 2007-03-15 2008-09-25 Canon Inc 撮像装置、撮像方法、プログラム、及び記憶媒体
WO2009031303A1 (ja) * 2007-09-05 2009-03-12 Tohoku University 固体撮像素子及び撮影装置
US20090066782A1 (en) * 2007-09-07 2009-03-12 Regents Of The University Of Minnesota Spatial-temporal multi-resolution image sensor with adaptive frame rates for tracking movement in a region of interest
JP2009105533A (ja) * 2007-10-22 2009-05-14 Sony Corp 画像処理装置、撮像装置、画像処理方法および撮像画像処理方法
JP2010282135A (ja) * 2009-06-08 2010-12-16 Nikon Corp 電子カメラシステム
WO2013164915A1 (ja) * 2012-05-02 2013-11-07 株式会社ニコン 撮像装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020507957A (ja) * 2017-01-18 2020-03-12 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ イメージセンサための読み出し装置、イメージ・センサ・システム、およびイメージセンサの読み出し方法
US11115613B2 (en) 2017-01-18 2021-09-07 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Readout arrangement for an image sensor, image sensor system and method for reading out an image sensor
JP7113830B2 (ja) 2017-01-18 2022-08-05 フラウンホッファー-ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ イメージセンサための読み出し装置、イメージ・センサ・システム、およびイメージセンサの読み出し方法
JP2022501813A (ja) * 2018-11-27 2022-01-06 レイセオン カンパニー 一体化されたキャパシタを備える積層型センサ
JP7224444B2 (ja) 2018-11-27 2023-02-17 レイセオン カンパニー 一体化されたキャパシタを備える積層型センサ

Also Published As

Publication number Publication date
JP6295328B2 (ja) 2018-03-14
IL244512A0 (en) 2016-04-21
WO2015084631A1 (en) 2015-06-11
US9386220B2 (en) 2016-07-05
EP3078059B1 (en) 2018-10-03
EP3078059A1 (en) 2016-10-12
US20150163401A1 (en) 2015-06-11

Similar Documents

Publication Publication Date Title
US7812879B2 (en) Self-triggering CMOS image sensor
EP2582131B1 (en) Method and apparatus for integrated sensor to provide higher resolution, lower frame rate and lower resolution, higher frame rate imagery simultaneously
EP3008756B1 (en) Split-gate conditional- reset image sensor
JP3613705B2 (ja) 放射線を画像化するためのデバイス
JP6295328B2 (ja) 高レートでの関心領域処理及びイベント駆動型フォレンジック・ルックバック機能を備える電気光学(eo)/赤外線(ir)凝視型焦点面
JP4351057B2 (ja) 光検出装置、撮像装置及び距離画像取得装置
JP2000504516A (ja) 多重解像度読出しを備えた能動ピクセルセンサアレイ
US20230007207A1 (en) Methods of sensor mode switching in event based sensor and imaging camera for low power application
US8791401B2 (en) Matrix imaging device comprising at least one set of photosites with multiple integration times
US9762824B2 (en) Gain adaptable unit cell
US11552122B2 (en) Image sensor and operating method
US8779342B2 (en) Compact digital pixel for a focal plane array
JP2004205359A (ja) 光検出装置
Ilan et al. A 3mpixel ROIC with 10um pixel pitch and 120Hz frame rate digital output
US10827139B2 (en) Multiple window, multiple mode image sensor
JP2001359000A (ja) 画像探知器
EP3609176A1 (en) Pixel with variable size
JP2003219278A (ja) 固体撮像装置
CN106303311B (zh) 像素感光值的输出方法
EP3797513A2 (en) Rolling subframe pulsed bias microbolometer integration
Jakobson et al. A 10 μm pitch, SXGA Multifunctional IRFPA ROIC with In-Pixel Laser Event Detection and High Dynamic Range Imaging
US10880500B2 (en) Pixel apparatus and CMOS image sensor using the same
EP3605044B1 (en) Detector, methods for operating a detector and detector pixel circuit
US6825877B1 (en) Multiplex bucket brigade circuit
US20210152770A1 (en) Systems and methods for generating time trace information

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180219

R150 Certificate of patent or registration of utility model

Ref document number: 6295328

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250