JP2015502523A - 集積フィルタとセンサアレイ上に投影された多重隣接画像コピーとを有するスペクトルカメラ - Google Patents

集積フィルタとセンサアレイ上に投影された多重隣接画像コピーとを有するスペクトルカメラ Download PDF

Info

Publication number
JP2015502523A
JP2015502523A JP2014539317A JP2014539317A JP2015502523A JP 2015502523 A JP2015502523 A JP 2015502523A JP 2014539317 A JP2014539317 A JP 2014539317A JP 2014539317 A JP2014539317 A JP 2014539317A JP 2015502523 A JP2015502523 A JP 2015502523A
Authority
JP
Japan
Prior art keywords
image
copies
filter
sensor
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014539317A
Other languages
English (en)
Other versions
JP6177786B2 (ja
Inventor
ベルト・ヘーレン
アンディ・ランブレヒツ
クラース・タック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Interuniversitair Microelektronica Centrum vzw IMEC
Original Assignee
Interuniversitair Microelektronica Centrum vzw IMEC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Interuniversitair Microelektronica Centrum vzw IMEC filed Critical Interuniversitair Microelektronica Centrum vzw IMEC
Publication of JP2015502523A publication Critical patent/JP2015502523A/ja
Application granted granted Critical
Publication of JP6177786B2 publication Critical patent/JP6177786B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0208Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using focussing or collimating elements, e.g. lenses or mirrors; performing aberration correction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0256Compact construction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0256Compact construction
    • G01J3/0259Monolithic
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/0006Arrays
    • G02B3/0037Arrays characterized by the distribution or form of lenses
    • G02B3/0043Inhomogeneous or irregular arrays, e.g. varying shape, size, height
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/201Filters in the form of arrays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/28Interference filters
    • G02B5/284Interference filters of etalon type comprising a resonant cavity other than a thin solid film, e.g. gas, air, solid plates
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • G01J2003/2826Multispectral imaging, e.g. filter imaging

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Color Television Image Signal Generators (AREA)
  • Blocking Light For Cameras (AREA)

Abstract

スペクトル出力を生成するスペクトルカメラは、画像を生成する対物レンズ(10)、光学複製機(20)、フィルタアレイ(30)、センサアレイ(40)を備え、センサアレイは、フィルタ済みの画像コピーをセンサアレイの種々の部分で同時に検出するように構成されている。視野絞り(50)は、センサアレイ上に投影された画像コピーの輪郭を画定する。フィルタはセンサアレイ上に集積される。センサアレイは、平面構造を有し、隣接する各光学チャネル間でクロストークを妨げるための垂直な物理的バリアを有しない。視野絞りにより、こうしたバリア用のギャップなしに、隣接する画像コピーが整合する。集積フィルタにより、隣接する画像コピー間のクロストークを生じさせる寄生キャビティが存在しない。これにより、隣接する投影画像コピー間のバリアの必要性がなく、したがってセンサ領域をよりよく利用できる。

Description

本発明は、スペクトルカメラ、こうしたカメラを構成する方法、およびこうしたカメラを動作させる方法に関する。
幾つかのカメラが知られており、あるものはマルチスペクトルまたはハイパースペクトルイメージングシステムとも称される。ハイパースペクトルイメージングとは、電磁スペクトルから情報を収集して処理するイメージング手法を参照する。人間の眼は、可視光だけを見ることができるが、ハイパースペクトルイメージングシステムは、可視光だけでなく紫外光から赤外光を見ることができる。ハイパースペクトルセンサは、下記URLに記載されているように、電磁スペクトルのより大きな部分を用いて物体を観察する。
http://en.wikipedia.org/wiki/Hyperspectral_imaging
特定の物体は、電磁スペクトルのこの部分において固有の「指紋」を残す。これらの「指紋」は、スペクトルシグネチャ(標識)として知られており、走査した物体を構成する材料の識別を可能にする。こうしたイメージングシステムのハイパースペクトル能力は、種々のタイプの物体を認識することが可能であり、これらの全てが人間の眼にとって同じ色に見えることがある。
マルチスペクトルイメージングは、離散した幾分狭い帯域で幾つかの画像を取り扱うが、ハイパースペクトルイメージングは、連続したスペクトル範囲にわたって狭いスペクトル帯域でイメージングを取り扱う。それは、シーン(scene)での全ての画素についてスペクトルを生成できる。VIS,NIR,SWIR,MWIRおよびLWIRをカバーする20個の離散帯域を備えたセンサがマルチスペクトルと考えられ、一方、20個の帯域を備えた他のセンサが、500nm〜700nmの範囲を20個の10nm幅帯域でカバーする場合、ハイパースペクトルと考えられるであろう。
ハイパースペクトルセンサは、情報を「画像」のセットとして収集する。各画像が、ある範囲の電磁スペクトル(スペクトル帯域としても知られる)を表している。これらの画像はそれぞれ2つの空間次元を有しており、一連の異なるスペクトル帯域の画像が有効に積み重ねられてキューブ(立方体)を形成する場合、第3の次元はスペクトル次元にできる。こうした3次元のハイパースペクトルキューブが、追加の画像処理および解析にとって有用な表現となる。これらのセンサの精度は、典型的にはスペクトル分解能で測定され、これは、撮影したスペクトルの各帯域の幅である。スキャナが多数のかなり狭い周波数幅で捕捉する場合、物体が少数の画素で撮影されたとしても、物体を識別することが可能である。しかし、空間分解能は、スペクトル分解能に加えて一要因である。画素が大きすぎる場合、複数の物体が同じ画素に撮影され、識別するのが困難になる。画素が小さすぎる場合、各センサセルで撮影されるエネルギーが低く、信号対ノイズ比が減少し、測定される特徴の信頼性が低下する。
現行のハイパースペクトルカメラは、ハイパースペクトルデータキューブまたは画像キューブを生成し、これはシーンのxy面にある2D画像のスタックからなり、スタックの各画像は、異なる周波数またはスペクトルの帯域からの情報を含む。撮影されるスペクトル範囲は、可視光に限定されず、赤外(IR)光および/または紫外(UV)光に及ぶ。3D画像キューブは、本質的には2Dセンサであるセンサアレイを用いて、ハイパースペクトル撮像装置によって撮影される。従って、幾つかの走査方式が使用でき、キューブが多数のフレーム周期にわたって構築される。
ラインスキャナまたはプッシュブルーム(push broom)システムが、2Dシーンの単一ラインを全てのスペクトル帯域で並列に撮影する。シーンの全ての空間画素をカバーするために、このタイプのシステムは、例えば、スキャナおよびシーンの相対移動によって、異なるラインを時間にわたって走査する。ステアラー(starer)またはステアリング(staring)システムが、2Dセンサアレイを用いて一度に単一スペクトル帯域で完全なシーンを撮影し、異なるスペクトル帯域にわたって走査し、3Dハイパースペクトル画像キューブを生成する。
文献(Mathew, "Design and fabrication of a low-cost, multispectral imaging system")から光学複製をセンサアレイ上に提供することが知られている。画像コピー間のクロストークが、センサ素子の幾つかを覆う物理的バリアによって制限される。この文献は、下記URLで入手可能であった。
http://faculty.cua.edu/mathewss/journals/Appl%20Opt%20V47%20N28%202008.pdf
こうした光学複製を用いた他の公知のデバイスが、Infotonics technology center製の"miniature snapshot multispectral imager"である。これもセンサアレイ上で画像コピー間に壁を有することによって、クロストーク(crosstalk)を回避している。
本発明の目的は、改善した装置または方法を提供することである。
本発明の第1の態様は、独立請求項1に記載されたスペクトルカメラを提供する。
これは、スペクトル出力を生成するスペクトルカメラであって、画像を生成するための対物レンズ、種々の光学チャネル上に画像の光学コピーを生成する光学複製機、複数の光学チャネルのうち種々の光学チャネルに対して、光スペクトルの異なる通過帯域を通過させるフィルタアレイ、1つ以上のセンサアレイ(その種々の部分でフィルタ済みの(filtered)画像コピーを同時に検出するように配置されている)、1つ以上のセンサアレイ上に投影される画像コピーの輪郭を画定する視野絞り(field stop)を有し、
フィルタアレイは、1つ以上のセンサアレイ上に集積され、1つ以上のセンサアレイは、隣接する各光学チャネル間のクロストークを妨げるための垂直な物理的バリアを有さない平面構造を有し、1つ以上のセンサアレイ上の投影画像コピーの輪郭とアライメントは、複数の投影画像コピーのうち少なくとも隣接する幾つかが組み合わされる(fit together)ようになっており、センサが該バリアに不明瞭にされることで未使用状態にされることがない、スペクトルカメラを提供する。
これらの特徴の一つの効果は、優れた輪郭の画定を与える視野絞りと、センサとフィルタとの間の寄生キャビティ(parasitic cavity)を低下させる集積フィルタとの組み合わせにより、隣接する光学チャネル間のクロストークを低下させることができることである。これは、隣接する投影画像コピー間で、センサ表面でのバリアの必要性がもはやないことを意味する。これは、隣接する画像コピーの投影間にギャップを残す必要がないため、画像コピーの投影がより大きくてもよいことを意味する。これにより、センサ面積の利用率を増加させてより高い分解能を得ることができる。また、バリアが存在しないことにより、使用時には必要に応じて、投影画像コピーの位置と輪郭を容易に再構成できるところ、これは物理的バリアの位置にそれを適合させる必要がないからである。
更なる特徴が追加または削除されてもよい。その幾つかを以下に記載する。
フィルタアレイは、所望の透過波長の半波長分の厚さを有するファブリペロキャビティとして動作する薄膜を含んでもよい。
これにより、例えば、より良好な狭帯域スペクトル形状、より良好な反射制御、および、より低い入射角への依存性を与える一次動作(first order operation)が可能となる。
フィルタアレイは、複数の画像コピーのうち少なくとも幾つかについて、各画像コピーについての該アレイの一部の内側に、種々の多重(multiple)通過帯域の空間パターンが存在するように配置されてもよい。
したがって、種々のパラメータ(分解能や相対照度、入射角など)の空間位置を用いて、変動を一様にし、または協調するようにパターンを構成できる(例えば図4を参照)。
スペクトルカメラは、投影画像コピーの少なくとも幾つかが、セグメント化されていない、画像全体の完全なコピーであるように構成されてもよい。
これは、センシング後にセグメントの再縫合(restitching)が必要となることを避けるのに役立つ(例えば図3を参照)。
スペクトルカメラは、投影画像コピーの少なくとも幾つかが画像全体のセグメントであるように構成されてもよく、検出されたセグメントを電気的に処理して一緒に縫合する(stitch)デジタル処理部を有してもよい。
これにより、センサアレイの種々の部分でセグメントをインターリーブする方法において柔軟性を向上させることができる(図6と図7を参照)。
光学複製機は、レンズアレイを含んでもよい。
これは例えば、レンズがより多くの光を集めることができる点で平面ミラーよりも優れているであろう(図2を参照)。
フィルタアレイと光学複製機は、複数の投影画像コピーのうち種々の画像コピーについて異なる倍率を与えるように配置されてもよい。
これにより、種々の分解能または画像サイズが得られる(例えば図5を参照)。
センサアレイ上に集積されたフィルタアレイを交換して、異なるフィルタアレイを有する別のセンサアレイを使用することにより、使用時にフィルタアレイは再構成可能であるように構成されてもよい。
これにより、種々のスペクトル帯域またはフィルタの種々の空間配置を必要とする種々の用途に適応することが可能となる(図8を参照)。
視野絞り、フィルタおよび複製機は、投影画像コピーに六角形輪郭を与えるように配置されてもよい。
これは、各画像コピーの中心からその周縁部までの最大径方向距離を低下させ、したがって周縁部で照度が低下するという問題、入射角が増加するという問題、口径食(vignetting)の問題を軽減するのに役立つという利点が得られる(例えば図9を参照)。
視野絞りは、フィールドレンズ(field lens)を有してもよい。
これにより、より多くの光を再度レンズアレイの方向へ向け、これにより口径食を低下させることができる(例えば図11を参照)。
1つ以上のセンサアレイは、回路トラック(circuit track)のレイアウトを有し、これらのトラックは、画像コピーの投影位置の周縁部に集中してもよい。
これにより、各画像コピー内でセンサをより集中させることができるので、センサアレイの表面積をより良好に利用できる。例えばこれにより、種々の画像コピー間にマージンを入れることができ、これにより対応するレンズをより大きくして光学特性を向上させることができる(例えば図12と図13を参照)。
カメラは、画像の種々の部分で検出される通過帯域、画像の種々の部分でのスペクトル分解能、スペクトル域の種々の部分でのスペクトル分解能、画像の種々の部分での検出の空間分解能、種々の通過帯域での検出の空間分解能、のうちいずれか1つ以上の変動が存在するように構成されてもよい。
通過帯域は、センサアレイの一部が、センサアレイの他の部分の不要な高次または低次のスペクトル応答に対応する帯域を検出できるように選択されてもよい。
これにより、こうしたリークを後で補償して、より正確なスペクトル検出性能を得て、または、他のフィルタがより緩和された仕様または公差を有することができるようにして、例えばコストを削減できる。
第2の態様は、スペクトルカメラを動作させる方法であって、該スペクトルカメラは、画像を生成するための対物レンズ、種々の光学チャネル上に画像の光学コピーを生成する光学複製機、複数の光学チャネルのうち種々の光学チャネルに対して、光スペクトルの異なる通過帯域を通過させるフィルタアレイ、1つ以上のセンサアレイ(その種々の部分でフィルタ済みの画像コピーを同時に検出するように配置されている)、1つ以上のセンサアレイ上に投影される画像コピーの輪郭を画定する視野絞りを有し、
フィルタアレイは、1つ以上のセンサアレイ上に集積され、1つ以上のセンサアレイは、隣接する各光学チャネル間のクロストークを妨げるための垂直な物理的バリアを有さない平面構造を有するものであり、
予備的な位置合わせを実行して、1つ以上のセンサアレイ上の投影画像コピーの輪郭とアライメントを設定し、複数の投影画像コピーのうち少なくとも隣接する幾つかが密接に結びつき(fit tightly)、センサが該バリアに不明瞭にされることで未使用状態にされることがないようにした工程、フレーム時間内で、種々の通過帯域での投影画像コピーを読み出す工程、検出された投影画像コピーの画像キューブを保存する工程を有する方法を提供する。
動作中、バリア用のギャップを有しないでセンサ面積を最大限活用することができることは、より優れた空間分解能を得ることに役立つ(例えば図18を参照)。
方法は、フィルタアレイと一緒に集積されたセンサアレイを、異なるフィルタアレイを有するセンサアレイと交換する工程を有してもよい(例えば図19を参照)。
スペクトルカメラは、投影画像コピーの少なくとも幾つかが画像全体のセグメントであるように配置さてもよく、方法は、検出されたセグメントを電気的に処理して一緒に縫合する工程を有してもよい(例えば図20を参照)。
第3の態様は、製造時にスペクトルカメラを構成する方法であって、該スペクトルカメラは、画像を生成するための対物レンズ、種々の光学チャネル上に画像の光学コピーを生成する光学複製機、複数の光学チャネルのうち種々の光学チャネルに対して、光スペクトルの異なる通過帯域を通過させるフィルタアレイ、1つ以上のセンサアレイ、ここで該1つ以上のセンサアレイは、その種々の部分でフィルタ済みの画像コピーを同時に検出するように配置されており、1つ以上のセンサアレイ上に投影される画像コピーの輪郭を画定する視野絞りを有し、
フィルタアレイは、1つ以上のセンサアレイ上に集積され、1つ以上のセンサアレイは、隣接する各光学チャネル間のクロストークを妨げるための垂直な物理的バリアを有さない平面構造を有し、1つ以上のセンサアレイ上の投影画像コピーの輪郭とアライメントは、複数の投影画像コピーのうち少なくとも隣接する幾つかが組み合わされるようになっており、センサが該バリアに不明瞭にされることで未使用状態にされることがなく、
画像コピーの数を選択して、画像コピーのセンサアレイ上での配置を与える工程、使用する通過帯域と、その画像コピー上での空間配置とを選択する工程、選択した通過帯域とその空間配置に従って、1つ以上のセンサアレイ上の集積層を製造し、フィルタアレイを構成する工程を有する方法を提供する。
集積フィルタを有することにより、加えて、物理的バリアを必要とすることなく、画像コピーを描出する(delineate)視野絞りを有することに起因してより多くのセンサが利用可能となることにより、設計時間での、画像コピーのレイアウトと対応するフィルタレイアウトのこうしたコンフィギュアビリティ(configurability)が、より容易かつ柔軟にされる(例えば図21を参照)。
通過帯域とその空間配置を選択する工程は、画像の種々の部分で検出される通過帯域、スペクトル分解能、画像の種々の部分での検出の空間分解能、種々の通過帯域での検出の空間分解能、のうちいずれか1つ以上の変動が存在するように配置されるように行ってもよい。
これは、カバーすべき種々のスペクトル範囲または種々のスペクトル分解能を得て、画像キューブの種々の部分で多少の詳細を与えることができる点で有用であることがある(例えば図14から図17を参照)。
通過帯域とその空間配置を選択する工程は、複数の画像コピーの少なくとも幾つかについて、複数の画像コピーのうち各画像コピーについてのアレイの一部が、複数の通過帯域のうち種々の多重通過帯域の空間パターンを有するように行ってもよい。
位置に応じて変化する光学性能パラメータについてのこの効果は、こうしたより細かい粒状度(granularity)のフィルタ構成により、例えば、種々の通過帯域にわたって変動をより均一に広げることができ、あるいは選択した通過帯域で変動を強めまたは弱めることができることである。
こうした位置依存パラメータは、例えば解像度、相対照度、入射角などである(例えば図4を参照)。
追加の特徴のいずれもが、共に組合せ可能であり、いずれの態様とも組合せ可能である。他の利点は、特に他の先行技術に対して当業者に明らかになるであろう。多数の変形および変更が、本発明の請求から逸脱することなく行うことができる。従って、本発明の形態は、例示的なものに過ぎず、本発明の範囲を限定することを意図していないことを明確に理解すべきである。
本発明がどのように具体化できるかについて、添付図面を参照して例を用いて説明する。
一実施形態に係るスペクトルカメラの概略図を示す。 他の実施形態に係るスペクトルカメラの概略図を示す。 種々のフィルタ配置を有する投影画像コピーの図を示す。 種々のフィルタ配置を有する投影画像コピーの図を示す。 種々のフィルタ配置を有する投影画像コピーの図を示す。 他の実施形態に係る、再縫合用のプロセッサを有するスペクトルカメラの概略図を示す。 再縫合前後の投影画像コピーの図を示す。 他の実施形態に係る、集積フィルタと交換可能なセンサアレイを有するスペクトルカメラの概略図を示す。 六角形フィルタ上の六角形画像コピーの図を示す。 他の実施形態に係る、フィールドレンズを有しないスペクトルカメラの概略図を示す。 他の実施形態に係る、フィールドレンズを有するスペクトルカメラの概略図を示す。 センサアレイと対応するレンズアレイの1つのバージョンを示しており、センサアレイ上の読み出し回路の種々の構成を示す。 センサアレイと対応するレンズアレイの1つのバージョンを示しており、センサアレイ上の読み出し回路の種々の構成を示す。 実施形態に係る、他のフィルタ配置を有する投影画像コピーを示す。 実施形態に係る、他のフィルタ配置を有する投影画像コピーを示す。 実施形態に係る、他のフィルタ配置を有する投影画像コピーを示す。 実施形態に係る、他のフィルタ配置を有する投影画像コピーを示す。 カメラの動作方法でのステップを示す。 カメラの動作方法でのステップを示す。 カメラの動作方法でのステップを示す。 製造時、こうしたカメラを構成する方法でのステップを示す。 製造時、こうしたカメラを構成する方法でのステップを示す。 他の実施形態に係る、光学複製用のミラーを有するスペクトルカメラの概略図を示す。 ファブリペローフィルタアレイが集積されたセンサアレイの断面図を示す。
本発明について特定の実施形態に関して一定の図面を参照して説明するが、本発明はこれに限定されず、請求項によってのみ限定される。記載した図面は、概略的なものに過ぎす、非限定的である。図面において、幾つかの要素のサイズは、説明目的のために誇張していることがあり、また、縮尺どおり描写していないことがある。
用語「備える、含む(comprising)」を本説明および請求項で使用した場合、他の要素またはステップを除外していない。単数名詞を参照するときに不定冠詞または定冠詞(例えば、"a", "an", "the")を使用した場合、他に言及していない限り、これは複数の当該名詞を含む。
請求項に使用した用語「備える、含む(comprising)」は、以降に列挙した手段に限定されるものと解釈すべきでない。それは、他の要素またはステップを除外していない。
説明した受信機の要素または部品は、任意の種類の情報処理を実施するための媒体中にエンコードされたロジックを備えてもよい。ロジックは、ディスクまたは他のコンピュータ読み取り可能な媒体中にエンコードされたソフトウエア、および/または特定用途向け集積回路(ASIC)、フィールド・プログラマブル・ゲート・アレイ(FPGA)、他のプロセッサ、ハードウエアなどにエンコードされた命令を含んでもよい。
ソフトウエアへの参照は、プロセッサによって直接または間接的に実行可能である、任意の言語の任意のタイプのプログラムを包含できる。
ロジック、ハードウエア、プロセッサまたは回路への参照は、任意の程度に集積化された任意の種類のロジックまたはアナログ回路を包含でき、汎用プロセッサ、デジタル信号プロセッサ、ASIC、FPGA、ディスクリート部品、またはトランジスタロジックゲートなどに限定されない。
光学への参照は、少なくとも、人間の可視波長範囲、赤外波長、および紫外帯域まで延びたより短い波長内にある波長を包含することを意図しており、光学フィルタの厚さの製造変動に対する敏感さがより顕著である。幾つかの実施形態では、光学フィルタおよび光学センサは、これらの波長の任意のサブセット、例えば、可視波長だけ、または可視波長およびその短い波長である範囲に限定してもよい。
光学フィルタアレイまたは光学センサアレイへの参照は、2次元アレイ、矩形状または非矩形状のアレイ、不等間隔アレイ、非平面アレイなどを包含することを意図している。
集積回路への参照は、少なくとも、例えばセンサアレイ上にモノリシックに集積された光学フィルタアレイを有するダイ(die)またはパッケージダイ、あるいは、光学フィルタアレイが別個に製造され、後でダイまたは同じ集積回路パッケージに追加されたデバイスなどを包含することを意図している。
波長スペクトルへの参照は、連続スペクトルまたはほぼ隣接したディスクリート帯域の範囲を包含することを意図している。
さらに、説明での用語「第1」「第2」「第3」などは、類似の要素を区別するために使用しており、必ずしも順次的、時間的な順番を記述するためではない。こうした用いた用語は、適切な状況下で交換可能であり、ここで説明した本発明の実施形態は、ここで説明、図示したものとは別の順番で動作可能であると理解すべきである。
さらに、説明での用語「上(top)」、「下(bottom)」、「の上に(over)」、「の下に(under)」等は、説明目的で使用しており、必ずしも相対的な位置を記述するためのものでない。こうして用いた用語は、適切な状況下で交換可能であって、ここで説明した本発明の実施形態がここで説明または図示した以外の他の向きで動作可能であると理解すべきである。
本明細書を通じて「一実施形態」または「実施形態」への参照は、該実施形態に関連して説明した特定の特徴、構造または特性が、本発明の少なくとも1つの実施形態に含まれることを意味する。こうして本明細書を通じて種々の場所での用語「一実施形態において」または「実施形態において」の出現は、必ずしも全て同じ実施形態を参照していないが、そういうこともある。さらに、特定の特徴、構造または特性は、1つまたはそれ以上の実施形態において、当業者に明らかなように本開示からいずれか適切な方法で組み合わせてもよい。
同様に、本発明の例示の実施形態の説明において、本開示を合理化し、種々の発明の態様の1つ以上の理解を支援する目的で、本発明の種々の特徴が単一の実施形態、図面またはその説明において時には一緒にグループ化されることを理解すべきである。しかしながら、この開示方法は、請求項の発明が、各請求項に明示的に記載されたものより多くの特徴を必要とするという意図を反映していると解釈すべきでない。むしろ、下記の請求項が反映しているように、発明の態様が、単一の前述した実施形態の全ての特徴より少ない点にある。こうして詳細な説明に続く請求項は、ここではこの詳細な説明に明示的に組み込まれており、各請求項は本発明の別個の実施形態としてそれ自体に立脚している。
さらに、ここで説明した幾つかの実施形態が他の実施形態に含まれる幾つかの別でない特徴を含むとともに、異なる実施形態の特徴の組合せが、当業者によって理解されるように、本発明の範囲内にあって異なる実施形態を形成することを意味する。例えば、下記の請求項において、請求した実施形態のいずれもがいずれの組合せで使用できる。
ここに用意した説明において、多数の特定の詳細が記述されている。しかしながら、本発明の実施形態が、これらの特定の詳細なしで実施できることは理解されよう。例えば、本説明の理解を曖昧にしないように、周知の方法、構造および手法は詳細には示していない。
本発明について、本発明の幾つかの実施形態の詳細な説明によって説明する。本発明の他の実施形態が、本発明の技術的教示から逸脱することなく、当業者の知識に従って構成可能であることは明らかであり、本発明は、添付の請求項の用語によってのみ限定される。
(実施形態によって対処される課題の概要)
ハイパースペクトルイメージングシステムまたはカメラが、種々のディスクリート部品、例えば、入射する電磁スペクトルを受光するための光学サブシステム、受光したスペクトル内で種々の帯域を生成するためのフィルタアレイ、種々の帯域を検出するための画像センサアレイなどで構成できる。光学サブシステムは、単一または種々のレンズ、アパーチャおよび/またはスリットの組合せで構成できる。フィルタアレイは、1つ以上のプリズム、グレーティング、光ファイバ、音響光学可変同調フィルタ、液晶可変同調フィルタなど、またはこれらの組合せで構成できる。
スペクトルイメージングの特徴は、全体スペクトルが各ポイントで取得され、オペレータは、サンプルの予備知識を必要とせず、後処理がデータセットから全ての利用可能な情報の掘り出しを可能にすることである。短所はコストと複雑さである。高速なコンピュータ、敏感な検出器、大きなデータストレージ容量が、ハイパースペクトルデータを解析するために必要になる。ハイパースペクトルキューブが大きな多次元データセット(数百メガバイトを超える可能性がある)であるため、著しいデータストレージ容量が必要である。
スペクトル情報のセンシングが、典型的には分散光学素子またはスペクトルフィルタを用いて達成される。プリズムまたはグレーティングなどの分散光学素子は、制限された光スループットを有すると共に、多重フレームにわたって時間がかかる空間的走査を必要とするところ、これは一度に1つのスペクトルおよび1つの空間次元だけを検知するためである。スペクトルフィルタは、一波長で2つの空間次元(幅Wおよび高さH)のみを撮影し、そして多重フレームにわたってスペクトル走査を必要とし、これにより、大きなスイッチングオーバーヘッドに起因して著しい時間が必要となる。
センサアレイのセンサ要素の上にあるフィルタにより、各センサ要素について特定の一波長を取得できる。標準的な光学系を用いてNB個の波長を撮影するために、シーンは、NB個のフレームにわたってセンサの前方で空間的に走査される必要があり、各位置がNB個の異なるフィルタを用いて検知されるようにする。1つのフレーム周期で全キューブを撮影することは、キューブの全3次元をセンサの2次元にマッピングする必要がある。同様に、各空間ポイントを何とかしてセンサアレイにおいてNB回複製する必要があり、その結果、NB個の異なるスペクトルサンプルが検知される。
(図1 一実施形態に係るスペクトルカメラ)
後述のような実施形態が、3D HSIキューブのより高速な取得を可能にし、W×H×NBサイズのキューブ(但し、NBは通過帯域の数)内の各ポイントをセンサアレイ上のセンサにより効率的にマッピングすることによって、スナップショットイメージングを可能にする。集積フィルタ(第2のキャビティを生じない)により、非効率的な物理的バリアを必要とせず、視野絞り単独でスペクトルのクロストークを避けることができる。キューブ内のNB個の画像コピーのそれぞれを2Dセンサ上に並べて配置することにより、シーンで検知されるWxH個の空間ポイントのそれぞれが、センサ上でNB回光学複製される。センサ上の制限空間に起因して、空間分解能とスペクトル分解能との間でトレードオフが存在することになる。したがって、こうしたデバイスでは、センサアレイを最大限利用することがより重要である。
図1は、一実施形態に係るカメラの概略図を示す。
対物レンズ10の後段に、視野絞り50と、センサアレイ40上に投影される多重の画像コピーを与える光学複製機20とがある。センサアレイ上にはフィルタアレイ30が集積される。光学複製は、NB個の光学チャネル(それぞれ1つの(単一または複合)レンズ系またはミラーからなる)を介して対物レンズの光をセンサに中継することにより実現できる。NB個のレンズ(系)は、NB個のフィルタタイル(tile)の上でNB個の複製シーンのコピーの正確な位置を確保するように慎重に配置できる。クロストークにつながらせず、密に充填された2Dセンサアレイ上に複製画像を配置できるように、視野絞りを使用してシーン画像の境界を形成する。
光学複製機は、対物レンズが生成した画像を中継し、センサ上で複数回複製する。このセットアップにより、対物レンズが生成する元画像を実際に直接に利用し、視野絞りを加えてセンサ上で所望の画像の輪郭を得ることができる。また、内部視野絞りを有する対物レンズを選択することも可能であるが、これは種々の汎用対物レンズを選択する際の柔軟性を低下させるだろう。シーン自体の中で、対物レンズの前段に視野絞りを配置する(カメラの外側であっても)ことが別の選択肢であるが、これは通常、幾分実用的でない、物理的により大きい視野絞りを必要とすることになる。
画像センサアレイと共に集積化されたフィルタアレイを有することが望ましい。この集積コンポーネントまたはモジュールは、光学サブシステムと組み合せて完全なカメラシステムを形成することができる。センサアレイは、典型的には、モノリシックに集積されたフィルタアレイを備えた集積回路であり、分光ユニットと称してもよい。長い収集時間の問題は、例えば、国際公開第2011064403号(IMEC)に記載しているようなHSIウェッジ技術によって形成された、高い光スループットの集積フィルタを用いて部分的に克服できる。こうしたカメラの実用的な商業的実装は、コンパクトで、低いコストで製造可能であり、再構成可能である必要がある。特定の態様では、プロセス技術の態様をシステム統合化と画像処理技術と組み合わせて、集積回路製造プロセス条件が緩和される。
(図2 他の実施形態に係るスペクトルカメラ)
図2は、図1の実施形態と類似の、他の実施形態に係るスペクトルカメラの概略図を示しており、光学複製を実行するための光路およびレンズセット25の効果の詳細な説明とともに特定の実装を示す。
また、センサアレイ上の画像コピーの平面図と、センサアレイから読み出された後にデータバッファ内に保存された画像キューブ100の説明がある。前述同様に、対物レンズ10の後段に視野絞り50が存在する。ここで光学複製機は、対物レンズから到来する光をNB個の光学チャネルに分割する(帯域ごとに1つ)ように構成されたレンズアレイ25により実装される。これにより、センサアレイ上で画像コピーのタイル状(tiled)レイアウトが生成される。この例では、帯域につき1つの大きいフィルタタイルで構成されるフィルタを示している。
図のように、4対8の長方形で32個の画像コピーが存在する。当然ながら、こうしたコピーはより少ないあるいは多い数存在してもよく、長方形である必要も長方形内にグループ化される必要もない。帯域特有の(band-specific)光学チャネルはそれぞれ、対物レンズからそのターゲットタイルへ光を中継する単一レンズまたは複合レンズを有してもよい。複合レンズにより、高い光スループット(速度)、広い視野および高い解像度が可能となる。これらの光学チャネルは、同じ面積を有することも同じ倍率を有することも必要としない。それらは、NB個の画像がオーバーラップ(クロストークに等しい)なしに密接に結びつくように(すなわち、シーンの中央を各フィルタタイルの中央にマッピングすることにより)慎重に配置して、対物レンズ画像をセンサ上にNB回中継するようにすべきである。さらに、これは対物(objective)画像の形状に制限を加えるところ、対物画像面の位置にある視野絞りを使用して満たすことができる。
また、NB個の光学チャネルにより対物光束から中継された光の口径食は、NB個の光学チャネルの位置および組み合わせ高さに応じて視野高さ(field height)を制限することにより、あるいは、対物画像面にフィールドレンズを追加し、対物光束をNB個の光学チャネルに対して曲げることにより避ける必要がある。
NB個の光学チャネルは、センサの前の固定位置に配置される。標準のレンズマウントを使用することにより、対物画像は、常に、レンズマウントの始まり(start)に対して一定の距離(すなわち、レンズマウントのFEDまたは「フランジ焦点距離」(flange focal distance))、さらに光学チャネル/タイル状センサに対して一定の距離で配置されることになる。これにより、対物レンズの焦点距離を修正し(ズームを実現するために)、さらに対物レンズをリフォーカスすることができる。これにより、修正された対物光束の形状、そして口径食が生じうるが、好適な寸法を採用して、これ(フィルタマスクを画素レベルで再配置し、特定のタイルフィルタの感度を通じて口径食を補償するフィールドレンズ)を回避できる。
示した構成の幾つかの効果は次の通りである。
対物レンズにより、ズームとリフォーカスの柔軟性が得られる。
それが標準のレンズマウントに適合し、コストを削減できる可能性がある。
画像コピー間のバリアが全く必要とされないので、調整済みの視野絞りおよびレンズ系の配置を使用することにより、理論的には、センサアレイの全領域を利用することが可能となる。
画像コピーのセグメントの再縫合は必要とされず、せいぜいタイル間での位置合わせが必要とされるだけである。
優れた光学特性(高い分解能、広い視野(FOV)、高い光スループット)を、特に複合レンズ系を使用した場合に達成できる。
(図3から図5 種々のフィルタ構成を有する投影画像コピー)
図3から図5は、種々のフィルタ構成を有する投影画像コピーの図を示す。
図3と図4で、1から9の符号を付され、3×3格子内に配置された9個の帯域が存在する。図3中の各画像コピーについて1つのフィルタが設けられる。
図4では各画像コピーについてより細かいパターンが存在し、この例で、各画像コピーは9個のより小さいフィルタを有し、各帯域で、複数の画像コピーのうちの種々の画像コピーにわたる9個のより小さいフィルタが存在する。この場合、それらは画像全体の9個の全帯域でフルカバレッジ(full coverage)が存在するように構成される。特に、帯域の数が少ないほどその9個の構成フィルタが中央に近くなるように構成される。それゆえ、帯域1が最も中央であり、帯域9が中央から最も遠い隅部の位置をとる。これは、帯域1が最も重要であって帯域9が最も重要でない、あるいは少なくとも中央から離れると増加する歪み(例えば、入射角や光のレベルに依存する歪み)に耐える場合に好適であろう。画像コピーが同じ位置にとどまるので、図3と図4ではレンズ内の変化が必要とされない。各帯域について完全な画像を有することを望む場合には、以下で図6を参照して説明するように、センサアレイから読み出した後に各帯域について画像の再縫合を実行できる。
図5は、更なる構成を示しており、8つの帯域が存在し、帯域5から8の画像コピーは帯域1から4の画像コピーよりも小さく、高さが2倍違う。
これは、それらに対応する光路(レンズまたはミラーを通る)が異なる倍率を有するように構成されていることを意味する。フィルタは、対応する領域を有することになる。
(光学的減衰(fall-off)およびモジュール感度の設計)
画像センサアレイおよびフィルタ構造の両方からなる集積モジュールを設計する場合、クロスコンポーネント(cross-component)の最適化を行うことができる。低コストで且つ/またはコンパクトなシステムを目標とするモジュールでは、より低品質の光学系が予想される。この意味で対処できる1つの影響が、口径食である。口径食では、画像中央と比べて周縁部での画像の輝度または彩度が低下する。この影響が、ファブリペローフィルタおよび画像センサの波長依存の効率とつながった場合、両方の影響を共に最適化して、波長依存の挙動を強化しないで波長依存の挙動を平坦化することができる。
口径食が、画像の中央部から側部への光強度の低下を生じさせる。強度減衰の影響は、当業者に知られているように、いわゆる照明プロファイルの使用により、照明によって補償可能である。口径食およびセンサ感度の両方の影響が、フィルタの特定の配置でモジュールの効率に影響を与える。感度を平坦化し、両方の影響のこの追加の挙動を克服するために、フィルタの配置の適切な選択およびレンズアレイの設計を、両方の影響を考慮して行うことができる。これは、必要に応じて、用途が許容すれば、照明プロファイルと組合せることができる。
先の段落で説明したように、ハイパースペクトルイメージングの設計の一部は、画像センサアレイ上での種々のフィルタ配置である。一般に、設計プロセスは、下記の部分に区分できる。
1.目標とする波長範囲の選択
2.当該範囲のための画像センサアレイの選択
3.目標とするスペクトルサンプリング(そして、スペクトル分解能)の選択
4.レンズアレイと視野絞りを設計することによる画像コピーの設計
5.異なるファブリペローフィルタおよびアレイでのこれらの配置の設計
(図6と図7 再縫合用のプロセッサ)
図6は、図1の実施形態と類似の、センサアレイの読み出し後の再縫合用プロセッサ200が追加された、他の実施形態に係るスペクトルカメラの概略図を示す。
プロセッサはカメラに組み込まれてもよく、例えば外部画像処理システムの一部であってもよい。これを使用すれば、図4に示されるフィルタ配置用のセンサアレイから読み出された各帯域について、画像の一部を再縫合することができるだろう。このプロセッサは、センサアレイがデータバッファ内に読み出されたときに、適切なアドレスが発生して、あたかも再縫合された、1つの帯域についての画像の一部を単一フレームに対応したアドレスに保存するように構成された、フレームバッファ用のアドレス発生器の形で実装できる。一例では、図4に対応する読み出し部であれば、図3に示すパターン内の位置に対応するアドレスで、または完全な画像の画像キューブとして保存できるだろう。
図7は、他の例に係る、再縫合前後に投影された画像コピーの図を示す。
この例では4つの画像コピーが存在し、それらのうち3つは分かれて周縁部に存在する。矢印で示すように、これらの部分は再縫合されて3つの完全な画像となる。
(図8 集積フィルタを変更するための交換可能なセンサアレイ)
図8は、図1の実施形態と類似の、他の実施形態に係るスペクトルカメラの概略図を示しており、集積フィルタを有する交換可能なセンサアレイ42を備えている。
この例では、交換可能なセンサアレイを旋回軸41周りに回転させることにより交換を実行でき、その結果、それは元のセンサアレイ40の位置をとる。原理的には、他の構成も考えられる。例えば、センサアレイを移動させるのでなく、交換可能なセンサアレイの位置まで光路を移動させてもよく、または、交換可能なアレイは、回転させるのでなくスライドさせてもよい。任意の数の種々のセンサアレイを旋回軸に固定できる。幾つかの例では、必要であれば、レンズアレイなどの光学複製機も交換して、画像コピーのレイアウトまたはその倍率を変更できる。幾つかの例では、視野絞りも変更する必要があるところ、これは別個の機構として実装できる。
(図9 六角形画像コピー)
図9は、六角形フィルタ上の六角形画像コピーの図を示す。これは、3つの完全な六角形画像コピー230,240,250と、幾つかの半分の画像コピー260,270,280,290を示す。
半分のコピー、更には隅部のコピーは、再縫合し、種々の帯域での完全な画像を生成できる。
(図10と図11 フィールドレンズを有しないスペクトルカメラとフィールドレンズを有するスペクトルカメラ)
図10と図11は、図2の実施形態と類似の、他の実施形態に係るスペクトルカメラの概略図を示しており、それぞれ、視野絞りの位置にフィールドレンズを有しないスペクトルカメラとフィールドレンズを有するスペクトルカメラを示している。
図10は、軸外光束は全レンズチャネルを照明しないことを示す。中央部付近の光学チャネルが周縁部の光学チャネルよりも多くの光を受容する点で、口径食につながる。
図11は、フィールドレンズが設けられる場合の光路に対する影響を示すと共に、軸外光のより多くが光学複製機に再度方向付けられて光学チャネルがより均一に照明されることを示す。
(図12と図13 センサアレイ上の読み出し回路の構成)
図12と図13は、センサアレイと対応するレンズアレイの2つのバージョンを示しており、センサアレイ上の読み出し回路の種々の構成を示す。
図12で、読み出し回路130はセンシング要素のエッジ周りに配置され、複数のセンシング要素は間に読み出し回路または他の回路用のギャップを有しない。一方、図13では、こうした回路が画像コピー間に配される(routed)ようにセンシング要素は広がっており、センシング要素は離れている。これは、画像コピーがわずかに隔てられるので、レンズアレイ25内の対応するレンズをより大きくすることができるという顕著な効果を有する。これは、この例ではギャップにセンサ要素が存在しないので、「複数の画像コピーのうち隣接するものが組み合わされ、センサ要素が未使用状態とされることがない」というコンセプトに含まれる。
(図14から図17 他のフィルタ構成を有する投影画像コピー)
図14から図17は、実施形態に係る、他のフィルタ構成を有する投影画像コピーを示す。
図14で、画像コピーは、1から4の符号を付された帯域に4つの完全な画像が存在し、その周縁部に配置された帯域5から9に画像の一部が配置されている。これらの部分は半分の大きさで示されており、これにより、それらの光学チャネルの倍率がより小さくなる。
図15では4つの完全な画像コピーが存在し、各画像300,310,320,330の中央に異なる帯域が存在するようにフィルタが配置されている。
図16では、各画像コピーに一帯域を有する4×4格子内に配置された16個の完全な画像コピー340,342,344,346,348,350,352,354,356,358,360,362,364,366,368,370が存在する。図のように、帯域は、50nmのステップで400nmから900nmまで及ぶスペクトル分解能を有し、520nmと570nmの間では、10nmのステップを用いてスペクトル分解能を特別に変化させる。したがって、単に帯域を選択することにより、スペクトル範囲の1つの部分に高いスペクトル分解能が存在する。
図17は、図14の実施形態と類似の、実施形態に係る他のフィルタ配置を有する投影画像コピーを示す。
右下隅部600には、拡大して、この隅部に種々のフィルタのより細かいパターンを示しており、このパターンは、センサ要素と同じ空間粒状度でフィルタを有することが示されている。それゆえこれは、モザイクタイプのパターンである。センサアレイの残りの8帯域と比較すると、スペクトル分解能またはスペクトル範囲は、画像コピーの残りの部分(例えば64帯域を有する)よりも高い。同じ帯域に位置する検出部間に、より大きいピッチが存在することになり(この例では8倍になる)、これにより空間分解能が低下する。したがってこれは、種々の空間位置での空間分解能の変動の例である。これはエイリアシングにつながりうるので、モザイクパターンの各繰り返しの多くの帯域にわたって画像を均質化し、または不鮮明にすることにより、光学ドメインでアンチエイリアシングを幾らか実行するべきである。
(図18から図20 カメラの動作方法でのステップ)
図18から図20は、カメラの動作方法でのステップを示す。図18において、最初のステップ400が、例えば、対物レンズまたは視野絞りの機械的調整、あるいはセンサアレイの場所の調整によって、画像コピーの輪郭を設定する予備的な位置合わせ(registration)である。ステップ410は、センサアレイから、1つのフレーム時間内で、種々の通過帯域での投影画像コピーの検出信号の読み出しである。ステップ420は、これらの信号を、当該時刻または多数の時刻について画像キューブを表現するデータベースでの値として保存する。図19は、図18に類似し、センサアレイを異なるフィルタアレイを持つものと交換するステップ430を追加している。図20は図18に類似し、図4、図6、図7に関連して前述したプロセッサを使用して再縫合する工程440が追加されている。
記載した実施形態のいずれも、空間走査機構を使用して、連続したフレーム周期で視野または視野の角度位置を変化させる場合、多重フレーム時間にわたって追加のサンプリングが可能である。これは、画像キューブを拡大でき、あるいは、空間方向での密度を高めることができる。
(図21と図22 製造時にカメラを構成する方法)
図21は、製造時、こうしたカメラを構成する方法でのステップを示す。ステップ500は、どれぐらいの数の画像コピーを供給し、これらをセンサアレイ上にどのように配置するかを選択する最初のステップを示す。ステップ510は、通過帯域を選択し、画像コピーでの通過帯域の空間配置を選択することを示す。ステップ520は、通過帯域およびこれらの空間配置に従って、集積フィルタの層を製造することを示す。
図22は、ステップ510をステップ515で置換している点を除いて図21と同様であるが、通過帯域およびこれらの空間配置の選択は、画像キューブの異なる部分でどの通過帯域が検出されるかの変動、あるいは画像キューブの異なる部分における検出の空間分解能またはスペクトル分解能の変動を有するようにしている。これは、画像コピーより微細な粒状性を有する空間パターンを含んでもよく、そのため画像コピーの個々の1つについてフィルタアレイの一部について、通過帯域の複数の異なるものの空間パターンが存在する。
(図23 光学複製(optical duplication)用のミラーを有するスペクトルカメラ)
図23は、他の実施形態に係る、光学複製用のミラーを有するスペクトルカメラの概略図を示す。この設計は、レンズを使用する上記他のフィルタレイアウトと同じフィルタレイアウトを使用できる。NB個の光学チャネルを分離するレンズの代わりにミラーを使用できる。収差を導入しないようにミラーは平坦であってもよく、画質は対物レンズにより決定される。光をリフォーカス(refocus)するレンズは存在しないので、各チャネルについて対物光コーンが少なくともNB個に減る。NB個の第1ミラーセット27は、可能な限り対物口径に近接して配置され(口径食を低下させるために)、NB個の光の組を対象から離すように方向付ける。第1セット内の個別のミラーのそれぞれが、種々のターゲットタイルについて偏向した光束が分離されるように配置され、方向付けられ、これにより第2セット28のミラーは、全くクロストークなしに特定の光束を反射する。第2組ミラーセットは、NB個の光路のバランスをとるように配置され、各部分画像(subimage)が、センサアレイ29(およびそのフィルタタイル)の正確な深さと位置で焦点が合うようになっている。原理上、フィルタはセンサアレイ上または他の場所(例えばミラー上)に集積されてもよい。
(図24 集積されたファブリペローフィルタ)
図24は、ファブリペローフィルタアレイ31が集積されたセンサアレイ40の断面図を示す。これは、上部半ミラーコーティング33と、下部半ミラーコーティング32を有する。部品間に隙間を示しているが、これは明確さのためであり、実際には隙間は存在しない。この部分の例のより詳細について説明する。
(半導体プロセス)
フィルタアレイは、半導体プロセス技術を用いて、画像センサアレイとともに集積可能であり、即ち、分光ユニットは、半導体プロセス技術およびプロセス工程を用いて、画像センサアレイを含む基板上に後処理により設けられる。こうした半導体技術の例が相補型金属酸化膜半導体(CMOS)プロセスであり、ここでは画像センサアレイはCMOSセンサであり、そして、電荷結合素子(CCD)プロセスであり、ここでは画像センサアレイはCCDセンサである。これらの製造技術は、集積電子回路を製造するのに理想的に適している。こうしたモノリシック集積化は、分光ユニットを基板に取り付けるためにインタフェース層が必要でないことから、低コストでの製造、そしてより高性能を提供することが可能になる。よって、迷光の影響がかなり減少する。
大きい範囲のテクノロジー世代を前提とすると、大きなクリティカル寸法(CD)、例えば、130nmを有する最も低コストのテクノロジーでセンサを製造することを選択でき、その結果、画像センサアレイのより大きな画素およびより小さな空間分解能が得られる。代替として、より小さなクリティカル寸法(CD)、例えば、45nmを有するより高いコストのテクノロジーで画像センサアレイを製造することを選択でき、その結果、画像センサアレイのより小さな画素およびより高い空間分解能が得られる。
画像センサアレイは、表面照射型センサとすることができ、フィルタアレイは、センサを備えた基板の上部に後処理で設けられる。必要に応じて、この基板は後で薄くし、基板のバルクを除去し、画像センサアレイおよびこれとモノリシックに集積された分光ユニットを含む薄いスライスとする。代替として、画像センサアレイは、裏面照射型センサとすることができ、最初にセンサを備えた基板を裏面から前方へ薄くする。薄くした基板の裏面において、分光ユニットが後処理で設けられる。
任意の次数のファブリペローフィルタが製造でき使用できるが、好ましくは、1次のファブリペローフィルタだけを画像センサアレイ上に形成して、より高次の成分を除去および/または阻止するための複雑さを低減している。1次のファブリペローフィルタを備えた、モノリシックに集積されたハイパースペクトルイメージングシステムは、典型的には、光学サブシステムにおいて集光レンズを必要としない。
光学サブシステム、モノリシックに集積されたフィルタアレイおよび画像センサアレイを備えた完全なハイパースペクトルイメージングシステムの例が開示される。これらの完全なイメージングシステムは、モノリシック集積の利点を活用しており、光学サブシステムを設計する際の自由度を与える。
フィルタの設計、例えば、フィルタのキャビティ長を定義する厚さは、チップ上の特定のフィルタの場所を考慮して、到来する電磁スペクトルの入射角の変動依存性を低減できる。
フィルタは、画像センサアレイ上に後処理で設けられ、全てのフィルタは、画像センサアレイの行(row)または列(column)と整列している。
フィルタは、モノリシックに集積でき、フィルタ構造が画像センサの上に直接に後処理で設けられることを意味する。この集積化は、別個に製造し、後で撮像器と共に組み立てるフィルタ構造と比較して、極めて重要な利点および幾つかの結果を有する。モノリシック集積の利点は、標準的なCMOS製造工程によるコスト低減、迷光の低減であり、1次用の設計を可能にし、集光レンズの必要性を回避する。
フィルタ構造が別個に製造され、そして画像センサと共に組み立ててハイパースペクトルモジュールとするハイブリッド集積と比較して、モノリシック集積にとって幾つかの利点がある。最初に、両方の生産シーケンスを組み合わせて1つの組合せフローにすることは、別個に製造され、後にセンサと共に組み立ててモジュールとするフィルタ構造のハイブリッド集積と比較した場合、全体の簡素化および生産コスト削減をもたらす。これは、特に、このフィルタの場合であって、フィルタ構造の後処理が、堆積、パターニングおよびエッチングなどのCMOS互換の製造工程だけを必要とするからである。これらの工程を画像センサの通常の生産フローに追加することによって、高価で、エラーが生じやすく、労働集約型のアセンブリ工程を防止できる。例えば、ブラッグスタックでの3層の酸化物およびアモルファスシリコン、127個の異なるキャビティ厚さ、約50ロットターンを備えたフィルタが必要であり、標準的なCMOS撮像器と比べて、20%前後の追加コストを与える。上部および下部ミラー層の堆積のためのロットターン数は、異なる層が同じツールにおいて交互に堆積可能である場合、低減できる。
第2に、フィルタ構造を撮像器の画素上に直接に製造することによって、フォトンがフィルタから下方の画素に直接通過できる。表面照射型センサの場合、フォトンが最初にメタライゼーション層および幾つかの誘電体層を通過することになる。フィルタ構造を別個に生産し、画像センサの上に積み上げた場合、両方の構造の間に非機能的な層または隙間が常に存在するようになる。
フィルタおよび基板の組合せが反転して、フィルタが支持基板と画像センサとの間に設置された場合でも、光は、最初に基板を通過し、そしてフィルタを通過し、最後に薄い空気または接着の隙間を通って、画像センサフォトダイオードに入射する。フィルタ構造を画像センサと組み合わせた場合、それが種々の層の間に空気または接着を有する相互の上部に積み上げられれば、フィルタ構造と下地の画素行との間のこの余分な基板は、特定の量の性能劣化を引き起こすことになる。その理由は下記に示す。
1.クロストーク
特定画素の上にあるフィルタ構造を出射したフォトンが、隙間を横切って隣接画素に入射する。この影響は、画素上へのフィルタの直接後処理によって隙間が減少または完全に除去された場合、大きく減少することになる。しかしながら、フィルタ自体の厚さの結果として、あるクロストークが存在し得る。一画素の上にあるフィルタに入射するフォトンが、フィルタを通過して隣接画素に入射することがあるためである。これは、より薄いフィルタを設計し、入射角を制御することによって減少する。
2.迷光
余分な非機能的な層は、屈折率が整合していなければ、その境界上で余分な反射を引き起こし、よって、上述のクロストークに加えて余分な迷光を生じさせる。種々の入射角について、フィルタと画像センサの画素アレイとの間の有効距離Sを減少させることによって、迷光は減少する。より小さい距離S、例えば、1nmでは、迷光が進行する距離(D)は、通常の画素寸法(例えば、1〜15_m)内である。これは、進行する光の距離Dが数十から数百画素の範囲に及ぶ、よりマクロ的な集積距離、例えば、1mm基板の例ではそうではなく、空間分解能およびスペクトル分解能の深刻な劣化をもたらす。ある例では、距離Dは相当に大きくなり、光を画素上に再び集光させるために追加の集光レンズが必要になる。
3.迷光によって生ずる寄生ファブリペロー
さらに、前項目に示したように、フォトダイオードの上にある誘電体スタックおよび金属は、光の一部を反射する。不均一集積による隙間およびキャビティの下部ミラーとともに、これは、実際のものと干渉する寄生ファブリペローを形成する。このプロセスは、モノリシック集積を用いて最適化できる。撮像器内の誘電体層は、同様な材料(例えば、酸化物)に製作された下部ブラッグスタックの一部となり、これらの層の幅に対してあまり敏感でないからである。
画像センサ上に後処理で組み立てられるハイブリッドフィルタ構造がこの問題に悩まされる1つの重要な理由が、極めて薄いフィルタ構造の構築は、フィルタを機械的に支持し、積み重ねを可能にする(透明な)支持基板の追加の挿入を別個に必要とすることである。この層をフィルタと画像センサとの間に設置した場合、非機能的な隙間は、この層および、支持層と画像センサとの間にある追加の空気または接着からなる。支持構造を上に設置した場合、それもまた追加の反射を発生することがあり、(例えば、反射防止コーティングを追加することによって)別個に最適化すべきであるが、フィルタと画像センサとの間に空気または接着の層が存在するようになる。これの全てが、上述したように、フィルタ構造を画像センサ上に直接に後処理で設けることによって不必要にできる。
第3の利点が、モノリシック集積は、極めて正確なCMOS製造手法と組み合わせて、かなり小さい厚さを持つフィルタ構造の構築を可能にすることである。後述するように、ファブリペローフィルタ構造は、キャビティ長を同調させることによって、特定の波長を選択するように設計される。より薄いフィルタは入射角に対してあまり感度がなく、それは非垂直入射においてフィルタ内の内部反射がカバーする距離が小さいからである。より厚いフィルタが、伝送ビームのより長い変位Dに悩まされることになり、10mm超に広がる。このことは、空間分解能およびスペクトル分解能での深刻な減少をもたらすものであり、フィルタを通過する光が画素の他の列または行に入射するからである。従って、このマクロ的なフィルタは集光レンズを必要とする。薄いフィルタは、これに対してかなり感度がなく、変位Dは、多くの例では、ほぼ最大の入射角および最小の画素サイズについて、画素寸法未満、即ち、好ましくは、1〜10nmの範囲に収まる。従来の生産手法は、フィルタ構造および画像センサのハイブリッド集積との組合せで、1次のファブリペローフィルタを製造するのに必要な精度に到達できない。よって、より高次のファブリペロー構造を使用する必要がある。この例では、必要な次数だけを選択するために、追加のダイクロイックフィルタまたは他のフィルタをモジュールに追加する必要がある。これは、追加のエネルギー損失、追加のコスト、そして、減少した全体システムの最適性を生じさせる。
最後に、ファブリペローフィルタが画像センサから離れてある距離に設置した場合、フィルタの出力は、レンズによって集光した場合、同心円の形態をとる位相差を示す。同心円は、異なる場所に建設的干渉および相殺的干渉を有する種々の干渉波の結果である。集光レンズは、マクロ的なフィルタに必要であり、フィルタ内部の反射によってカバーされる大きな距離のため、そして、これら全ての反射を1つの画素に再び集光するためである。開示した集積イメージングモジュールでは、フィルタ構造と画像センサとの間の距離は極めて小さく、フィルタが1次用に設計されているため、集光レンズの必要性がない。薄いフィルタは、この集光レンズを要しない。それは、内部反射がカバーする距離がかなり小さく、提案したフィルタの場合、全ての光が1つの画素に入射するからである(極めて多数の内部反射の後は、単一画素のサイズを超える光線に残るエネルギーは無視できる)。位相差の結果である同心円は、依然としてそこにあるが、同じ画素内に全て集光されるようになり、これらの効果は当該画素の出力に全て統合される。
能動IC(この例では画像センサ)の上部におけるフィルタ構造の直接後処理は、当該ICの汚染制限、機械的制限、温度制限および他の制限と適合すべきである。このことは、例えば、フィルタの製造で使用される工程のうち、下方の画像センサに損傷を与えるだろう材料またはプロセスを使用できるものはないことを意味する。
後述するように、最も重要な制限の1つは、CMOS生産環境を考慮すると、利用可能な材料での制約である。提案したフィルタにおいて、材料選択は、標準的な材料を使用し、標準的なプロセスと完全に適合するように行った。幾つかの材料、例えば、AuまたはAgを使用することが不可能であり、これらは種々の層およびツールの中に拡散する傾向があり、これにより電流の収量および将来の処理工程に悪影響を及ぼす。幾つかの例では、通常のプロセスラインの外部で堆積を行った場合、そして、ツールを当該目的のために使用しただけの場合、こうした層が最終工程(上部層)として許容可能である。これは、最終工程としてのみ行うことができ、ウエハは、その操作後に通常フローに入らないからである。材料選択に関連した他の制限が、プロセスにとって利用可能な温度収支(budget)または温度ウインドウである。画像センサに損傷を与えることなく後処理を実施するために。損傷を防止するには、プロセス工程の最大温度は、ある最大値、例えば、400℃を超えるべきでない。これもまた、設計に利用可能な材料および結晶化の選択肢を制限する。
画像センサおよび別個に生産されたフィルタ構造を後にモジュールに組み立てるハイブリッド手法に関して、そこにはあまり自由度がない。モノリシック設計の場合、設計の全体を通じて制約を考慮する必要がある。画像センサ自体の設計の際に、特定の設計選択を行って、フィルタのプロセスに対する制約条件を緩和する(例えば、後処理にとって許容される温度を上昇させる)場合、これも考慮できる。そして、これは、画像センサまたはフィルタ構造の代わりに、モジュールレベルでの最適化問題をもたらす。フィルタ構造への制約は、常に適用される。後で画像センサの上部に処理されるからである。
(ファブリペローフィルタ)
画像センサの全画素は、特定の波長に対して感度を有する、それ自体の光学フィルタを有することができる。センサ上での種々の光学フィルタの編成は、その使用法に依存する。集積化できる種々のタイプのフィルタ、例えば、ダイクロイックフィルタが存在する。説明した例で使用したタイプは、ファブリペロー干渉計である。
ファブリペローフィルタが、透明層(キャビティと称する)および当該層の両側にある2つの反射面で製作される。ファブリペロー波長選択が、反射されるキャビティ内で複数の光線を含み、これは、光の波長、半ミラー間の距離lおよび入射角θに基づいて建設的干渉および相殺的干渉を生じさせる。(b)より高次も選択され、これは次数選択の問題をもたらす。フィルタ動作は、この周知のファブリペロー原理に基づいており、各フィルタの高さが、所望の通過帯域に同調するように選択される。各フィルタが共振キャビティによって形成され、その共振周波数がフィルタの高さによって決定される。キャビティの上部および下部において、光線を部分的に反射する半透明ミラーが設置される。反射のため、光路差が導入され、相殺的干渉および建設的干渉を生じさせる(入射する波長に依存する)。こうしたフィルタの原理および特性のより詳細が、上記の国際公開第2011064403号に記載している。
(光学フィルタの設計)
反射面:
キャビティの両側にある反射面の設計および性能は、ファブリペロー光学フィルタの性能にとって重要である。高いフィネス(finesse)、良好なスペクトル分解能を持つファブリペロー光学フィルタが、高反射ミラーを用いることによって得られる。第2の重要なミラーのパラメータがこれらの吸収であり、これはフィルタの効率を決定するためである。ファブリペロー光学フィルタの全範囲が特定の波長範囲にわたって構築する必要がある場合、これらの2つのパラメータ(反射率および吸収率)が、このスペクトル範囲にわたって可能な限り一定に収まることは有益である。この例では、波長範囲は、ファブリペローフィルタのキャビティ長だけを変化させることによって、カバー/サンプリングでき、材料およびミラー層は一定に維持できる。選択した波長範囲は、モジュールの第2の部品である、選択した画像センサの感度と整合する必要がある。
モノリシック集積を提案する本手法は、特定の非標準的センサ設計を使用しており、コストを増加させ、速度を減少させる。CMOSセンサでのCMOS互換のプロセス工程への切り替えが集積化の問題を提起しており、それが、汚染および温度収支に起因して、例えば、材料選択に影響をもたらすからである。Agなどの金属が、下部ミラーに使用できない。最新のファブリペローフィルタは、Alを使用する必要があり、フィルタ品質または光スループット(速度)の重大な減少を引き起こす。誘電体スタックが好ましいが、汚染レベルおよび温度収支が材料選択を制限する。選択した周波数範囲において必要なスペクトル範囲を得るために、プロセス適合した材料がn/kの正しい組合せを有することが必要である。低n材料を有するこれらの誘電体材料の例がSiOであり、nをさらに減少させるように調整することが可能である。高n材料の例が、アモルファスシリコンであり、プロセスパラメータ、例えば、温度および水素含有量の調整のため、減少した吸収率を有する。硬い酸化物が良好な許容範囲を有するが、標準のCMOSプロセスで許容されたものより高い温度の必要性のため、使用できない。
こうした代替のミラーシステムの例が、(分散型)ブラッグスタックであり、2つのタイプの誘電体を2つ以上の材料(一方が低い屈折率を有し、もう一方が高い屈折率を有する)の交互配置したスタックに組み合わせることによって形成される。ブラッグスタックの第1の特性が、式(1)で与えられるように、その帯域幅であり、即ち、反射率がほぼ一定であるスペクトル範囲Δλである。
この式から、帯域幅Δλは、中心波長λおよび選択した材料の屈折率n,nの両方に依存することが判る。特定の中心波長付近で広いスペクトル範囲をカバーできるためには(例えば、700nm付近の600nmスペクトル範囲)、nとnの大きな差が必要になる。標準の半導体プロセスで使用される材料のリストから、SiOが最も低い屈折率のうちの1つ(1.46)および極めて低い吸収係数を有する。両方のパラメータが極めて大きなスペクトル範囲にわたって安定している。700nmの中心波長付近の600nmのスペクトル範囲(VNIR範囲)では、これは、ブラッグスタックでの第2材料が理想的には、可能な限り0に近い吸収係数に加えて、6.4に等しい屈折率を有する必要があることを意味する。プロセスフローと適合した、標準のICプロセス材料で利用可能なこうした理想的な材料は存在せず、既存の材料を良好な屈折率およびより低い吸収のために適合させる必要がある。SiOの屈折率は、多孔質(porous)にすることによって低くできる(1の屈折率を有する空気と混合させる)。これは、同じスペクトル範囲および中心波長で、5と等しい良好な製造可能な屈折率の必要性をもたらす。材料工学の他の例が、温度、水素の濃度などのプロセス(堆積)パラメータを変化させることによって、アモルファスシリコンの吸収率を低下させることである。
式(7)に示すように、こうしたブラッグミラーの反射率Rは、誘電体層のペアの数によって容易に制御される。層が多くなるほど、反射率は高くなり、当該ミラーを用いて構築されるファブリペローフィルタのフィネスが高くなる。式(2)において、nは周囲媒体の屈折率、nは基板の屈折率、nは第1材料の屈折率、nは第2材料の屈折率、Nはブラッグスタックでのペアの数である。
分散型ブラッグスタックの第1の例が、700nm付近の中心波長で540nm〜1000nmの範囲について、SiOと人工アモルファスシリコンの組合せである。第2の例が、1500nmの中心波長および1000nmの帯域幅、即ち、1000nm〜2000nmについて、SiOとSiGeの組合せである。ミラー層のためにブラッグスタックを使用した結果が、光の反射の際における追加の位相シフトである。
使用の際、2次漏れの出現は、波長λ用に設計したファブリペローフィルタが、高次と称されるλの倍数である入射波長も通過させることの結果である。しかしながら、ファブリペローフィルタおよび下地の画像センサの両方が妥当な効率を有する波長範囲に入るこれらの高次の波長だけを考慮すべきである。
(製造)
1Dまたは2Dのファブリペローフィルタを製造するための製造方法が、連続的なパターニングおよびエッチング工程を含み、k個の異なる厚さを製作するために、数多くの処理工程を必要とする。
(画像センサの平面性)
良好に制御された状態で開始するために、フィルタ構造を構築する前に、画像センサは平坦化することが重要である。これは、堆積工程を用い、続いて、全ての凹凸を除去するためにCMP(化学機械研磨)工程を実施することによって行われる。こうすることによって、処理の残りは正確なBEOL配置にもはや依存しない。この平坦化層の厚さおよび材料は、フィルタ構造の設計の際にある程度考慮できる。しかしながら、この層は、機能するフィルタ構造の一部ではなく、正しい材料変遷(屈折率にとって重要)が正しく考慮されている限り、フィルタ自体に対して大きな効果を有していない。ファブリペローフィルタがこの平坦化層の上に堆積されると、変動がウエハ全体に充分にゆっくりである限り(例えば、鋭いエッジがない)、この層の変動が上に伝搬することはない。CMPが、ウエハ全体にナノメートルスケールの平坦性および変動を持つ表面を生成できることから、この条件は成就できる。
(堆積許容誤差および他の変動)
ファブリペローフィルタの構成部品、即ち、ブラッグスタック層での堆積厚さおよびキャビティの厚さの変動が、設計したフィルタと製造したフィルタとの間の不整合を生じさせる。キャビティの厚さの変動の影響は、全てのフィルタの厚さがおおよそ等しい量だけ変化すると、理論的設計の左右へのスペクトル範囲のシフトを生じさせる点である。選択した波長でのこの広範囲シフトは、設計したフィルタ場所に対して上向きまたは下向きであり、設計パラメータの1つである通過帯域のスペクトル幅の小さな割合である場合は、許容できる。
ウエハ幅の堆積許容誤差に加えて、エッチング許容誤差、他のダイ内部変動、そして、ダイ間変動が存在し得る。従来、これは、ビニング(binning)により、特定の波長範囲について特定のデバイスを選択することによって軽減される。
区画化のために用いられるエッチングプロセスが無方向性のプロセスである場合、1つのラインフィルタと次のものとの間の遷移を形成する鋭いエッジが丸みを帯びるようになる。幾つかの実施形態では、各フィルタの幅は複数列のセンサ素子を覆うことができ、他の場合、1つまたは2つのセンサ素子を覆うことができ、この場合、こうした角の丸み付けが通過帯域に対してより多くの影響を有することがある。
(アライメント許容誤差)
標準のICプロセス技術を用いた場合、画素当り数ミクロンの寸法を持つ画素の行/列の上でのフィルタ構造のアライメントが充分に最新技術の可能性の範囲内にある。従って、トップレベルでのアライメントは、あまり重大ではない。
(処理ハードウエア)
例えば、画像処理のための上述した方法ステップの幾つかが、ハードウエアの形態のロジックによって、あるいは、例えば、処理エンジン、例えば、マイクロプロセッサまたはプログラマブルロジックデバイス(PLD)、例えば、PLA(プログラマブルロジックアレイ)、PAL(プログラマブルアレイロジック)、FPGA(フィールドプログラマブルゲートアレイ)を用いたソフトウエアで実装してもよい。
内蔵したプロセッサを備えた回路の例が、単一チップ上に他の部品とともに合体できる、内蔵プロセッサ周辺のVLSIチップとして構築してもよい。
代替として、他の適切なプロセッサが使用でき、これらは内蔵する必要はなく、例えば、米国インテル社によって供給されるペンティアムプロセッサである。ゼロウェイト状態のSRAMメモリをオンチップで、そして、例えばキャッシュメモリとして設けてもよい。典型的には、I/O(入力/出力)インタフェースが、例えば、データネットワークを経由して、外部ストレージにアクセスするために設けられる。FIFOバッファが、プロセッサをこれらのインタフェースを経由してデータ転送から切り離すために使用してもよい。インタフェースは、ネットワーク接続、即ち、適切なポートおよびネットワークアドレスを提供でき、例えば、インタフェースはネットワークカードの形態でもよい。
(ソフトウエア)
ソフトウエアプログラムが、内部ROM(リードオンリメモリ)および/またはいずれか他の不揮発性メモリに保存してもよく、例えば、これらは外部メモリに保存してもよい。外部メモリへのアクセスは、必要に応じてアドレスバス、データバスおよびコントロールバスを備えた外部バスインタフェースを含む従来のハードウエアによって提供してもよい。本発明の方法および装置の特徴は、プロセッサ上で走るソフトウエアとして実装してもよい。特に本発明に係る画像処理は、プロセッサの適切なプログラミングによって実装してもよい。上述した方法および手順は、適切なコンピュータ言語、例えばC言語でコンピュータプログラムとして記述してもよく、そして内蔵した設計での特定プロセッサ用にコンパイルされる。例えば、ソフトウエアは、C言語で記述して、既知のコンパイラおよび既知のアセンブラを用いてコンパイルしてもよい。ソフトウエアは、処理エンジン上で実行した場合、本発明の方法および画像プロセッサを提供するコードを有する。ソフトウエアプログラムは、任意の適切な機械読み取り可能な媒体、例えば、磁気ディスク、ディケット、固体メモリ、テープメモリ、CD−ROMまたはDVD−ROMなどの光ディスク等に保存してもよい。他の変形は、請求項の範囲内で想定できる。

Claims (18)

  1. スペクトル出力を生成するスペクトルカメラであって、
    画像を生成するための対物レンズ(10)、
    種々の光学チャネル上に画像の光学コピーを生成する光学複製機(20)、
    複数の光学チャネルのうち種々の光学チャネルに対して、光スペクトルの異なる通過帯域を通過させるフィルタアレイ(30)、
    1つ以上のセンサアレイ(40)、ここで該1つ以上のセンサアレイ(40)は、その種々の部分でフィルタ済みの画像コピーを同時に検出するように配置されており、
    1つ以上のセンサアレイ上に投影される画像コピーの輪郭を画定する視野絞り(50)
    を有し、
    フィルタアレイは、1つ以上のセンサアレイ上に集積され、
    1つ以上のセンサアレイは、隣接する各光学チャネル間のクロストークを妨げるための垂直な物理的バリアを有さない平面構造を有し、
    1つ以上のセンサアレイ上の投影画像コピーの輪郭とアライメントは、複数の投影画像コピーのうち少なくとも隣接する幾つかが組み合わされるようになっており、センサ要素が該バリアに不明瞭にされることで未使用状態にされることがない、
    スペクトルカメラ。
  2. フィルタアレイは、所望の透過波長の半波長分の厚さを有するファブリペロキャビティとして動作する薄膜を含む、
    請求項1に記載のスペクトルカメラ。
  3. フィルタアレイは、複数の画像コピーのうち少なくとも幾つかについて、各画像コピーについての該アレイの一部の内側に、種々の多重通過帯域の空間パターンが存在するように配置された、
    請求項1または2に記載のスペクトルカメラ。
  4. 投影画像コピーの少なくとも幾つかが、セグメント化されていない、画像全体の完全なコピーであるように構成された、
    スペクトルカメラ。
  5. 投影画像コピーの少なくとも幾つかが画像全体のセグメントであるように構成され、
    検出されたセグメントを電気的に処理して一緒に縫合するデジタル処理部を有する、
    請求項1から4のいずれか1項に記載のスペクトルカメラ。
  6. 光学複製機は、レンズアレイ(25)を含む、
    請求項1から5のいずれか1項に記載のスペクトルカメラ。
  7. フィルタアレイと光学複製機は、複数の投影画像コピーのうち種々の画像コピーについて異なる倍率を与えるように配置された、
    請求項1から6のいずれか1項に記載のスペクトルカメラ。
  8. センサアレイ上に集積されたフィルタアレイを交換して、異なるフィルタアレイを有する別のセンサアレイを使用することにより、使用時にフィルタアレイは再構成可能であるように構成された、
    請求項1から7のいずれか1項に記載のスペクトルカメラ。
  9. 視野絞り、フィルタおよび複製機は、投影画像コピーに六角形輪郭を与えるように配置された、
    請求項1から8のいずれか1項に記載のスペクトルカメラ。
  10. 視野絞りは、フィールドレンズを有する、
    請求項1から9のいずれか1項に記載のスペクトルカメラ。
  11. 1つ以上のセンサアレイは、回路トラックのレイアウトを有し、
    これらのトラックは、画像コピーの投影位置の周縁部に集中している、
    請求項1から10のいずれか1項に記載のスペクトルカメラ。
  12. 画像コピーの配置と通過帯域の選択は、
    画像の種々の部分で検出される通過帯域、
    画像の種々の部分でのスペクトル分解能、
    スペクトル域の種々の部分でのスペクトル分解能、
    画像の種々の部分での検出の空間分解能、
    種々の通過帯域での検出の空間分解能
    のうちいずれか1つ以上の変動が存在するように配置されるように行われる、
    請求項1から11のいずれか1項に記載のスペクトルカメラ。
  13. スペクトルカメラを動作させる方法であって、該スペクトルカメラは、
    画像を生成するための対物レンズ(10)、
    種々の光学チャネル上に画像の光学コピーを生成する光学複製機(20)、
    複数の光学チャネルのうち種々の光学チャネルに対して、光スペクトルの異なる通過帯域を通過させるフィルタアレイ(30)、
    1つ以上のセンサアレイ(40)、ここで該1つ以上のセンサアレイ(40)は、その種々の部分でフィルタ済みの画像コピーを同時に検出するように配置されており、
    1つ以上のセンサアレイ上に投影される画像コピーの輪郭を画定する視野絞り(50)
    を有し、
    フィルタアレイは、1つ以上のセンサアレイ上に集積され、
    1つ以上のセンサアレイは、隣接する各光学チャネル間のクロストークを妨げるための垂直な物理的バリアを有さない平面構造を有するものであり、
    予備的な位置合わせを実行して、1つ以上のセンサアレイ上の投影画像コピーの輪郭とアライメントを設定し、複数の投影画像コピーのうち少なくとも隣接する幾つかが密接に結びつき、センサが該バリアに不明瞭にされることで未使用状態にされることがないようにした工程(400)、
    1フレーム時間内で、種々の通過帯域での投影画像コピーを読み出す工程(410)、
    検知された投影画像コピーの画像キューブを保存する工程(420)
    を有する方法。
  14. フィルタアレイと一緒に集積されたセンサアレイを、異なるフィルタアレイを有するセンサアレイと交換する工程(430)を有する、
    請求項12に記載の方法。
  15. スペクトルカメラは、投影画像コピーの少なくとも幾つかが画像全体のセグメントであるように配置され、
    検出されたセグメントを電気的に処理して一緒に縫合する工程を有する、
    請求項12または13に記載の方法。
  16. 製造時にスペクトルカメラを構成する方法であって、該スペクトルカメラは、
    画像を生成するための対物レンズ(10)、
    種々の光学チャネル上に画像の光学コピーを生成する光学複製機(20)、
    複数の光学チャネルのうち種々の光学チャネルに対して、光スペクトルの異なる通過帯域を通過させるフィルタアレイ(30)、
    1つ以上のセンサアレイ(40)、ここで該1つ以上のセンサアレイ(40)は、その種々の部分でフィルタ済みの画像コピーを同時に検出するように配置されており、
    1つ以上のセンサアレイ上に投影される画像コピーの輪郭を画定する視野絞り(50)
    を有し、
    フィルタアレイは、1つ以上のセンサアレイ上に集積され、
    1つ以上のセンサアレイは、隣接する各光学チャネル間のクロストークを妨げるための垂直な物理的バリアを有さない平面構造を有し、
    1つ以上のセンサアレイ上の投影画像コピーの輪郭とアライメントは、複数の投影画像コピーのうち少なくとも隣接する幾つかが組み合わされるようになっており、センサが該バリアに不明瞭にされることで未使用状態にされることがなく、
    画像コピーの数を選択して、画像コピーのセンサアレイ上での配置を与える工程(500)、
    使用する通過帯域と、その画像コピー上での空間配置とを選択する工程(510,515)、
    選択した通過帯域とその空間配置に従って、1つ以上のセンサアレイ上の集積層を製造し、フィルタアレイを構成する工程(520)
    を有する方法。
  17. 通過帯域とその空間配置を選択する工程(515)は、
    画像の種々の部分で検出される通過帯域、
    スペクトル分解能、
    画像の種々の部分での検出の空間分解能、
    種々の通過帯域での検出の空間分解能
    のうちいずれか1つ以上の変動が存在するように配置されるように行う、
    請求項15に記載の方法。
  18. 通過帯域とその空間配置を選択する工程は、複数の画像コピーの少なくとも幾つかについて、複数の画像コピーのうち各画像コピーについてのアレイの一部が、複数の通過帯域のうち種々の多重通過帯域の空間パターンを有するように行う、
    請求項15または16に記載の方法。
JP2014539317A 2011-11-04 2012-10-30 集積フィルタとセンサアレイ上に投影された多重隣接画像コピーとを有するスペクトルカメラ Active JP6177786B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161555946P 2011-11-04 2011-11-04
US61/555,946 2011-11-04
PCT/EP2012/071510 WO2013064511A1 (en) 2011-11-04 2012-10-30 Spectral camera with integrated filters and multiple adjacent image copies projected onto sensor array

Publications (2)

Publication Number Publication Date
JP2015502523A true JP2015502523A (ja) 2015-01-22
JP6177786B2 JP6177786B2 (ja) 2017-08-09

Family

ID=47215514

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014539317A Active JP6177786B2 (ja) 2011-11-04 2012-10-30 集積フィルタとセンサアレイ上に投影された多重隣接画像コピーとを有するスペクトルカメラ

Country Status (5)

Country Link
US (1) US9772229B2 (ja)
EP (1) EP2776798B1 (ja)
JP (1) JP6177786B2 (ja)
IN (1) IN2014CN03038A (ja)
WO (1) WO2013064511A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014235010A (ja) * 2013-05-31 2014-12-15 株式会社トプコン スペクトル画像取得装置及びスペクトル画像取得方法
JP2018535411A (ja) * 2015-11-20 2018-11-29 レイセオン カンパニー 近接焦点イメージング干渉計

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6177786B2 (ja) 2011-11-04 2017-08-09 アイメックImec 集積フィルタとセンサアレイ上に投影された多重隣接画像コピーとを有するスペクトルカメラ
US9179126B2 (en) * 2012-06-01 2015-11-03 Ostendo Technologies, Inc. Spatio-temporal light field cameras
WO2015195746A1 (en) 2014-06-18 2015-12-23 Innopix, Inc. Spectral imaging system for remote and noninvasive detection of target substances using spectral filter arrays and image capture arrays
EA034651B1 (ru) * 2015-06-15 2020-03-03 Эгроувинг Лтд Устройство формирования многоспектральных изображений
SG10201911462UA (en) * 2015-08-04 2020-02-27 Agency Science Tech & Res Hyperspectral imaging apparatus and method
US9923007B2 (en) 2015-12-29 2018-03-20 Viavi Solutions Inc. Metal mirror based multispectral filter array
US9960199B2 (en) 2015-12-29 2018-05-01 Viavi Solutions Inc. Dielectric mirror based multispectral filter array
EP3504154A4 (en) * 2016-07-25 2020-03-04 Ramot at Tel-Aviv University Ltd. SYSTEM AND METHOD FOR OPTICAL FILTERING
KR102255789B1 (ko) * 2016-08-30 2021-05-26 삼성전자주식회사 광학모듈 및 이를 이용한 광학디바이스
US10914961B2 (en) 2017-02-13 2021-02-09 Viavi Solutions Inc. Optical polarizing filter
US10909723B2 (en) * 2017-06-13 2021-02-02 X-Rite, Incorporated Hyperspectral imaging spectrophotometer and system
DE102018222865A1 (de) * 2018-12-21 2020-06-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multiaperturabbildungsvorrichtung zur Erzeugung einer Tiefenkarte
DE102019101324B4 (de) * 2019-01-18 2021-06-10 Cubert GmbH Multilinsen-Kamerasystem und Verfahren zur hyperspektralen Aufnahme von Bildern
DE102019008472B4 (de) 2019-01-18 2023-06-29 Cubert GmbH Multilinsen-Kamerasystem und Verfahren zur hyperspektralen Aufnahme von Bildern
CN109827658B (zh) * 2019-03-22 2020-07-28 天津津航技术物理研究所 面向绿色植被检测的凝视型光谱芯片结构及其制备方法
KR20210020469A (ko) 2019-08-14 2021-02-24 삼성전자주식회사 분광 카메라
CN111024230B (zh) * 2019-11-28 2022-03-29 天津津航技术物理研究所 高低通分布式单谱段集成型光谱成像芯片结构
DE102019133516B4 (de) * 2019-12-09 2021-07-15 Cubert GmbH Verfahren und Vorrichtung zur Bestimmung von Wellenlängenabweichungen von Aufnahmen eines Multilinsen-Kamerasystems
GB202015948D0 (en) * 2020-10-08 2020-11-25 ams Sensors Germany GmbH Multi-spectral optical sensor and system
GB2609420A (en) * 2021-07-29 2023-02-08 ams Sensors Germany GmbH Sectional multi spectral sensor with optical blurring

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06129908A (ja) * 1992-10-15 1994-05-13 Hamamatsu Photonics Kk 分光イメージングセンサ
JPH08233658A (ja) * 1995-02-24 1996-09-13 Olympus Optical Co Ltd 分光装置及び分光画像記録装置
JPH09502812A (ja) * 1994-08-18 1997-03-18 グラマン アエロスペース コーポレイション マルチイメージ検出器組立体
JP2000050262A (ja) * 1998-07-27 2000-02-18 Sony Corp 画像復号装置及び方法、並びに画像符号化装置及び方法
JP2000292713A (ja) * 1998-12-15 2000-10-20 Olympus Optical Co Ltd 内視鏡用光学アダプタ
JP2001525534A (ja) * 1997-07-12 2001-12-11 オプティカル インサイツ,リミティド ライアビリティー カンパニー 多重スペクトル二次元画像分光計
JP2002009272A (ja) * 2000-06-26 2002-01-11 Canon Inc 光電変換装置及びそのリペア方法
JP2005114530A (ja) * 2003-10-07 2005-04-28 Olympus Corp 画像表示装置及び画像表示方法
JP2006019916A (ja) * 2004-06-30 2006-01-19 Photron Ltd 多画面分光撮影装置
JP2006093859A (ja) * 2004-09-21 2006-04-06 Olympus Corp 2眼撮像系を搭載したカメラ及びステレオ撮影可能なカメラ
JP2006145373A (ja) * 2004-11-19 2006-06-08 Konica Minolta Sensing Inc マルチアングル測色計、照明装置及び受光装置
JP2006145374A (ja) * 2004-11-19 2006-06-08 Konica Minolta Sensing Inc 反射特性測定装置及びマルチアングル測色計
US20060209413A1 (en) * 2004-08-19 2006-09-21 University Of Pittsburgh Chip-scale optical spectrum analyzers with enhanced resolution
JP2006524338A (ja) * 2003-04-22 2006-10-26 レイセオン カンパニー マイクロフィルタアレイを有する集積分光マイクロボロメータ
JP2008518229A (ja) * 2004-10-25 2008-05-29 アールピー ベンチャーズ テクノロジー オフィス アーベー マルチスペクトル及びハイパースペクトル撮像を行うシステム
JP2009544965A (ja) * 2006-07-28 2009-12-17 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 一体形画像認識・スペクトル検出装置並びに画像認識及び光のスペクトル検出によって光設定値を自動的に制御する装置及び方法
JP2011089895A (ja) * 2009-10-22 2011-05-06 Arata Satori ハイパースペクトル撮像装置及びハイパースペクトル撮像方法
JP2011106936A (ja) * 2009-11-17 2011-06-02 Seiko Epson Corp 分光測定装置、および分析装置
WO2011064403A1 (en) * 2009-11-30 2011-06-03 Imec Integrated circuit for spectral imaging system

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5982497A (en) * 1998-07-09 1999-11-09 Optical Insights, Llc Multi-spectral two-dimensional imaging spectrometer
JP4195169B2 (ja) * 2000-03-14 2008-12-10 富士フイルム株式会社 固体撮像装置および信号処理方法
US6747775B2 (en) * 2000-03-20 2004-06-08 Np Photonics, Inc. Detunable Fabry-Perot interferometer and an add/drop multiplexer using the same
GB0029224D0 (en) * 2000-11-30 2001-01-17 Secr Defence Optical filters
US20060055800A1 (en) * 2002-12-18 2006-03-16 Noble Device Technologies Corp. Adaptive solid state image sensor
US7065108B2 (en) * 2002-12-24 2006-06-20 Electronics And Telecommunications Research Institute Method of wavelength tuning in a semiconductor tunable laser
US7433042B1 (en) 2003-12-05 2008-10-07 Surface Optics Corporation Spatially corrected full-cubed hyperspectral imager
US7242478B1 (en) 2003-12-05 2007-07-10 Surface Optics Corporation Spatially corrected full-cubed hyperspectral imager
US7652765B1 (en) 2004-03-06 2010-01-26 Plain Sight Systems, Inc. Hyper-spectral imaging methods and devices
US20090073451A1 (en) 2004-06-30 2009-03-19 Tekolste Robert D Spectrally diverse, spatially sensitive apparatus and associated methods
JP2006177812A (ja) * 2004-12-22 2006-07-06 Konica Minolta Sensing Inc 二次元分光輝度計
US7130041B2 (en) 2005-03-02 2006-10-31 Li-Cor, Inc. On-chip spectral filtering using CCD array for imaging and spectroscopy
KR100664790B1 (ko) * 2005-06-27 2007-01-04 동부일렉트로닉스 주식회사 이미지 센서의 제조 방법
US7924483B2 (en) 2006-03-06 2011-04-12 Smith Scott T Fused multi-array color image sensor
JP4804194B2 (ja) * 2006-03-30 2011-11-02 キヤノン株式会社 レンズ装置及び撮像装置
US8436909B2 (en) * 2008-10-21 2013-05-07 Stmicroelectronics S.R.L. Compound camera sensor and related method of processing digital images
JP5446750B2 (ja) * 2009-11-10 2014-03-19 株式会社リコー レンズユニット、本体ユニット及び撮像装置
US20130279006A1 (en) * 2011-10-25 2013-10-24 Daryuan Song Stackable narrowband filters for dense wavelength division multiplexing
JP6177786B2 (ja) 2011-11-04 2017-08-09 アイメックImec 集積フィルタとセンサアレイ上に投影された多重隣接画像コピーとを有するスペクトルカメラ

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06129908A (ja) * 1992-10-15 1994-05-13 Hamamatsu Photonics Kk 分光イメージングセンサ
JPH09502812A (ja) * 1994-08-18 1997-03-18 グラマン アエロスペース コーポレイション マルチイメージ検出器組立体
JPH08233658A (ja) * 1995-02-24 1996-09-13 Olympus Optical Co Ltd 分光装置及び分光画像記録装置
US5729011A (en) * 1995-02-24 1998-03-17 Olympus Optical Co., Ltd. Spectroscopic apparatus and spectroscopic image recording apparatus
JP2001525534A (ja) * 1997-07-12 2001-12-11 オプティカル インサイツ,リミティド ライアビリティー カンパニー 多重スペクトル二次元画像分光計
JP2000050262A (ja) * 1998-07-27 2000-02-18 Sony Corp 画像復号装置及び方法、並びに画像符号化装置及び方法
JP2000292713A (ja) * 1998-12-15 2000-10-20 Olympus Optical Co Ltd 内視鏡用光学アダプタ
US6361491B1 (en) * 1998-12-15 2002-03-26 Olympus Optical Co., Ltd. Optical adaptor for highy precision endoscope
JP2002009272A (ja) * 2000-06-26 2002-01-11 Canon Inc 光電変換装置及びそのリペア方法
JP2006524338A (ja) * 2003-04-22 2006-10-26 レイセオン カンパニー マイクロフィルタアレイを有する集積分光マイクロボロメータ
JP2005114530A (ja) * 2003-10-07 2005-04-28 Olympus Corp 画像表示装置及び画像表示方法
JP2006019916A (ja) * 2004-06-30 2006-01-19 Photron Ltd 多画面分光撮影装置
US20060209413A1 (en) * 2004-08-19 2006-09-21 University Of Pittsburgh Chip-scale optical spectrum analyzers with enhanced resolution
JP2006093859A (ja) * 2004-09-21 2006-04-06 Olympus Corp 2眼撮像系を搭載したカメラ及びステレオ撮影可能なカメラ
JP2008518229A (ja) * 2004-10-25 2008-05-29 アールピー ベンチャーズ テクノロジー オフィス アーベー マルチスペクトル及びハイパースペクトル撮像を行うシステム
JP2006145373A (ja) * 2004-11-19 2006-06-08 Konica Minolta Sensing Inc マルチアングル測色計、照明装置及び受光装置
JP2006145374A (ja) * 2004-11-19 2006-06-08 Konica Minolta Sensing Inc 反射特性測定装置及びマルチアングル測色計
JP2009544965A (ja) * 2006-07-28 2009-12-17 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 一体形画像認識・スペクトル検出装置並びに画像認識及び光のスペクトル検出によって光設定値を自動的に制御する装置及び方法
JP2011089895A (ja) * 2009-10-22 2011-05-06 Arata Satori ハイパースペクトル撮像装置及びハイパースペクトル撮像方法
JP2011106936A (ja) * 2009-11-17 2011-06-02 Seiko Epson Corp 分光測定装置、および分析装置
WO2011064403A1 (en) * 2009-11-30 2011-06-03 Imec Integrated circuit for spectral imaging system
JP2013512445A (ja) * 2009-11-30 2013-04-11 アイメック スペクトル・イメージングシステム用の集積回路

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014235010A (ja) * 2013-05-31 2014-12-15 株式会社トプコン スペクトル画像取得装置及びスペクトル画像取得方法
JP2018535411A (ja) * 2015-11-20 2018-11-29 レイセオン カンパニー 近接焦点イメージング干渉計

Also Published As

Publication number Publication date
US9772229B2 (en) 2017-09-26
EP2776798A1 (en) 2014-09-17
EP2776798B1 (en) 2023-12-13
US20140267849A1 (en) 2014-09-18
WO2013064511A1 (en) 2013-05-10
JP6177786B2 (ja) 2017-08-09
IN2014CN03038A (ja) 2015-07-03

Similar Documents

Publication Publication Date Title
JP6177786B2 (ja) 集積フィルタとセンサアレイ上に投影された多重隣接画像コピーとを有するスペクトルカメラ
JP6104264B2 (ja) センサアレイ上に多重隣接画像コピーを投影するためのミラーを備えたスペクトルカメラ
JP6082401B2 (ja) センサアレイ上にインターリーブ配置された画像コピーのオーバーラップしたセグメントを備えたスペクトルカメラ
JP2017201317A (ja) 各画素についてモザイク状フィルタを備えたスペクトルカメラ
US11029207B2 (en) Integrated circuit for spectral imaging system
CN107851653B (zh) 延长用于成像***的近红外光谱响应的***和方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150415

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160329

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160621

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160928

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20161101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170712

R150 Certificate of patent or registration of utility model

Ref document number: 6177786

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250