CN112504454B - 一种基于像素级光谱调制的超分辨光谱成像滤波器结构 - Google Patents
一种基于像素级光谱调制的超分辨光谱成像滤波器结构 Download PDFInfo
- Publication number
- CN112504454B CN112504454B CN202011341571.3A CN202011341571A CN112504454B CN 112504454 B CN112504454 B CN 112504454B CN 202011341571 A CN202011341571 A CN 202011341571A CN 112504454 B CN112504454 B CN 112504454B
- Authority
- CN
- China
- Prior art keywords
- spectral
- pixels
- modulation
- full
- transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003595 spectral effect Effects 0.000 title claims abstract description 79
- 238000000701 chemical imaging Methods 0.000 title claims abstract description 34
- 238000003384 imaging method Methods 0.000 claims abstract description 9
- 238000001228 spectrum Methods 0.000 claims description 34
- 238000000411 transmission spectrum Methods 0.000 claims description 27
- 230000005540 biological transmission Effects 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 11
- 238000000034 method Methods 0.000 abstract description 11
- 239000004065 semiconductor Substances 0.000 abstract description 4
- 230000000295 complement effect Effects 0.000 abstract description 3
- 229910044991 metal oxide Inorganic materials 0.000 abstract description 3
- 150000004706 metal oxides Chemical class 0.000 abstract description 3
- 230000003287 optical effect Effects 0.000 abstract description 3
- 239000010408 film Substances 0.000 description 8
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003333 near-infrared imaging Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
- G01J2003/2826—Multispectral imaging, e.g. filter imaging
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
本发明属于滤波器技术领域，具体涉及一种基于像素级光谱调制的超分辨光谱成像滤波器结构，其由4种不同的像素级干涉薄膜及全透过谱段构成，各光谱调制像素的4邻域内均为全透像素，各全透像素4邻域内均为窄带光谱调制像素的4个不同通道。该新型结构包含5种不同的光学通道，可形成基于CMOS工艺的具有像素级光谱调制能力及高分辨、超分辨成像能力的快照式光谱成像传感器，并且有效避免像素间串扰。
Description
技术领域
本发明属于滤波器技术领域，具体涉及一种基于像素级光谱调制的超分辨光谱成像滤波器结构。
背景技术
光谱成像技术是一种非接触式的无损探测技术，可用于对物质的形貌及成分的多重信息实时检测。通过光谱成像技术可同时获取物质的二维空间及一维光谱信息。传统的光谱成像设备通常采用体积较大的核心分光原件如棱镜、光栅等，随着检测需求攀升及检测环境多样性及复杂性的提升，一种具有小体积、低质量、高成像效率、低成本的基于薄膜分光的微小型光谱成像芯片问世。
基于薄膜分光的光谱成像微***主要依据干涉分光原理，基于半导体工艺在CMOS传感器上进行干涉薄膜的工艺加工，按照不同成像方式设计出不同结构的光谱成像传感器芯片，根据芯片结构可分为线列扫描型芯片、瓦片式芯片及马赛克式芯片。其中马赛克式光谱成像传感芯片通过改变CMOS传感器上不同像素对应干涉薄膜结构，可实现像素级光谱调制的可见-近红外成像。
现有的马赛克式可见光范围或可见-近红外范围光谱成像传感器芯片，由CMOS传感器基底及其光敏面像元上生长的各像素级光谱调制结构干涉膜构成。对于n×n通道的光谱成像芯片，通常采用n×n的滤光单元组排列格式，由n×n通道构成的滤光单元组在传感器光敏面范围内呈周期性排列，构成光谱调制滤波结构如图1的2×2通道示例所示：该光谱调制滤波器结构包含4通道，各通道按照“田”字排列构成一个滤光单元组，在光敏面范围内，滤光单元组按照周期性排列形成覆盖光敏面的完整的光谱调制滤波器。对于包含2h×2r个像元的传感器，可形成h×r个滤光单元组。在数据采集的过程中，按快照式采集可实现一次拍摄获取目标场景内物体的图像信息及光谱信息。
但，现有技术中存在如下缺点：
缺点1：像素间串扰
现有马赛克式光谱调制结构采用干涉薄膜进行像素级窄带光谱调制，相邻像素为不同中心波长光波的窄带调制，相邻像素间存在光电串扰，获取的光谱数据准确度受到影响。
缺点2：图像分辨率损失
现有的n×n通道光谱成像传感器芯片在数据采集过程中，一次拍摄即可获取目标物的图像信息及场景信息。在数据处理过程中，需要将二维混合信息恢复为二维的图像信息及一维的光谱信息形式，在此过程中，需要对原始数据进行降采样。以空间分辨率为2h×2r个像素(行像素数为2h，列像素数为2r)的4谱段快照式光谱成像芯片为例：在单个滤光单元组中，各谱段按照2×2通道排列，可形成h×r个滤光单元组。降采样过程中，将各滤光单元组内图像信息进行合并，形成h×r×4的光谱成像数据，其中，前两维度为数据的空间分辨率，第三维度为数据的光谱通道数。即在该过程中需要牺牲图像维度分辨率进行光谱维度数据的提取，当增加光谱维度通道数目，会近一步降低数据的图像分辨率。在该种马赛克结构下进行数据采集，传感器的图像分辨性能难以得到提升。
发明内容
(一)要解决的技术问题
本发明要解决的技术问题是：如何提出一种可用于超分辨光谱成像的像素级光谱调制新结构，该结构仍然以马赛克式排列为主，但要求其在获取光谱维度信息的基础上，实现图像维度的像素无损失成像、超分辨成像。
(二)技术方案
为解决上述技术问题，本发明提供一种基于像素级光谱调制的超分辨光谱成像滤波器结构，所述滤波器结构采用马赛克式光谱成像传感器芯片结构，各滤光单元由16个像素按4×4排列的滤波结构构成，每滤光单元组含4×2共8个光谱调制谱段，包含4种光谱调制通道，其余8个像素为全透谱段，共计5种通道。
其中，所述滤波器结构中的各滤光单元组按照从左到右、从上到下顺序进行遍历，依次为：
谱段4、全透谱段、谱段1、全透谱段；
全透谱段、谱段2、全透谱段、谱段3；
谱段1、全透谱段、谱段4、全透谱段；
全透谱段、谱段3、全透谱段、谱段2。
其中，不考虑传感器边缘像素，各光谱调制像素的4邻域内均为全透像素，各全透像素的4邻域内均为窄带光谱调制像素的4个不同通道。
其中，光谱成像滤波器芯片全局范围内，由上述含8个光谱调制谱段及8个全透谱段的4×4排列的滤光单元组，按照二维周期性排列构成，形成像素级调制的高分辨成像滤波器结构。
(三)有益效果
本发明提供一种基于CMOS传感器集成像素级调制的干涉薄膜的光谱调制滤波器新结构，其由4种不同的像素级干涉薄膜及全透过谱段按以下排列构成：各滤光单元组由4×4像素构成，按照从左到右、从上到下顺序对像素级调制结构进行遍历，依次为谱段4、全透谱段、谱段1、全透谱段；全透谱段、谱段2、全透谱段、谱段3；谱段1、全透谱段、谱段4、全透谱段；全透谱段、谱段3、全透谱段、谱段2。不考虑传感器边缘像素，各光谱调制像素的4邻域内均为全透像素，各全透像素4邻域内均为窄带光谱调制像素的4个不同通道。
该新型结构包含5种不同的光学通道，可形成基于CMOS工艺的具有像素级光谱调制能力及高分辨、超分辨成像能力的快照式光谱成像传感器。
与现有技术相比较，本发明具备如下有益效果：
(1)避免像素间串扰
本发明采用新型的像素级调制光谱成像滤波器结构，可实现快照式各光谱调制结构像素的4邻域内均为全透像素(边缘不计)，各全透像素4邻域内均为窄带光谱调制像素的4个不同通道，有效避免像素间串扰。
(2)本发明采用新型的像素级调制光谱成像滤波器结构，在获取光谱信息的同时可获取更多的空间信息。通过数值建模利用某光谱调制像素周围的全透像素的图像信息对该光谱调制像素内的图像信息进行解算；同时，可通过插值方法依据某全透谱段周围光谱信息对该全透谱段光谱信息进行解算，在不牺牲光谱分辨率的同时提高空间分辨率，最终实现5通道像素级光谱调制的高分辨、超分辨成像。
即对于2h×2r个像素空间分辨率的传感器，去除边缘像素，采用该结构即可获取(2h-2)×(2r-2)×4维度的光谱成像数据，在现实情况下，h>>1，r>>1较现有结构h×r×4数据信息量得到极大提升，图像分辨率提高近4倍。
附图说明
图1为2×2马赛克式光谱成像传感器芯片滤光单元组结构示意图。
图2为像素级光谱调制的5通道高分辨成像滤波器滤光单元组结构示意图。
具体实施方式
为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
为解决现有技术问题，本发明提供一种基于像素级光谱调制的超分辨光谱成像滤波器结构，所述滤波器结构采用马赛克式光谱成像传感器芯片结构，各滤光单元由16个像素按4×4排列的滤波结构构成，每滤光单元组含4×2共8个光谱调制谱段，包含4种光谱调制通道，其余8个像素为全透谱段，共计5种通道。
如图2所示，所述滤波器结构中的各滤光单元组按照从左到右、从上到下顺序进行遍历，依次为：
谱段4、全透谱段、谱段1、全透谱段；
全透谱段、谱段2、全透谱段、谱段3；
谱段1、全透谱段、谱段4、全透谱段；
全透谱段、谱段3、全透谱段、谱段2。
其中，不考虑传感器边缘像素，各光谱调制像素的4邻域内均为全透像素，各全透像素的4邻域内均为窄带光谱调制像素的4个不同通道。
由此，光谱成像滤波器芯片全局范围内，由上述含8个光谱调制谱段及8个全透谱段的4×4排列的滤光单元组，按照二维周期性排列构成，形成像素级调制的高分辨成像滤波器结构。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (1)
1.一种基于像素级光谱调制的超分辨光谱成像滤波器结构，其特征在于，所述滤波器结构采用马赛克式光谱成像传感器芯片结构，各滤光单元由16个像素按4×4排列的滤波结构构成，每滤光单元含4×2共8个光谱调制谱段，包含4种光谱调制通道，其余8个像素为全透谱段，共计5种通道；
所述滤波器结构中的各滤光单元按照从左到右、从上到下顺序进行遍历，依次为：
谱段4、全透谱段、谱段1、全透谱段；
全透谱段、谱段2、全透谱段、谱段3；
谱段1、全透谱段、谱段4、全透谱段；
全透谱段、谱段3、全透谱段、谱段2；
不考虑传感器边缘像素，各光谱调制像素的4邻域内均为全透像素，各全透像素的4邻域内均为窄带光谱调制像素的4个不同通道；
光谱成像滤波器芯片全局范围内，由上述含8个光谱调制谱段及8个全透谱段的4×4排列的滤光单元，按照二维周期性排列构成，形成像素级调制的高分辨成像滤波器结构；
所述滤波器结构实现快照式各光谱调制结构像素的4邻域内均为全透像素，各全透像素4邻域内均为窄带光谱调制像素的4个不同通道，有效避免像素间串扰；
所述滤波器结构所形成的光谱成像数据的数据信息量得到极大提升，图像分辨率提高近4倍。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011341571.3A CN112504454B (zh) | 2020-11-25 | 2020-11-25 | 一种基于像素级光谱调制的超分辨光谱成像滤波器结构 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011341571.3A CN112504454B (zh) | 2020-11-25 | 2020-11-25 | 一种基于像素级光谱调制的超分辨光谱成像滤波器结构 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112504454A CN112504454A (zh) | 2021-03-16 |
| CN112504454B true CN112504454B (zh) | 2022-11-22 |
Family
ID=74966090
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011341571.3A Active CN112504454B (zh) | 2020-11-25 | 2020-11-25 | 一种基于像素级光谱调制的超分辨光谱成像滤波器结构 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112504454B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020150267A (ja) * | 2020-05-21 | 2020-09-17 | ソニー株式会社 | 固体撮像装置、電子機器、及び、固体撮像装置の製造方法 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008288629A (ja) * | 2007-05-15 | 2008-11-27 | Sony Corp | 画像信号処理装置、撮像素子、および画像信号処理方法、並びにコンピュータ・プログラム |
| CN101345248B (zh) * | 2007-07-09 | 2010-07-14 | 博立码杰通讯(深圳)有限公司 | 多光谱感光器件及其制作方法 |
| EP2773929B1 (en) * | 2011-11-04 | 2023-12-13 | IMEC vzw | Spectral camera with mosaic of filters for each image pixel |
| JP6260006B2 (ja) * | 2013-07-30 | 2018-01-17 | パナソニックＩｐマネジメント株式会社 | 撮像装置、並びにそれを用いた撮像システム、電子ミラーシステムおよび測距装置 |
| US10444415B2 (en) * | 2017-02-14 | 2019-10-15 | Cista System Corp. | Multispectral sensing system and method |
| CN108051087B (zh) * | 2017-12-14 | 2020-02-18 | 西安理工大学 | 一种针对快速成像的八通道多光谱相机设计方法 |
| JP7349806B2 (ja) * | 2018-03-28 | 2023-09-25 | ブラックマジック デザイン ピーティーワイ リミテッド | 画像処理方法及びフィルタアレイ |
| CN109141632A (zh) * | 2018-11-06 | 2019-01-04 | 德淮半导体有限公司 | 像素单元、图像传感器及其制造方法以及成像装置 |
| CN109827658B (zh) * | 2019-03-22 | 2020-07-28 | 天津津航技术物理研究所 | 面向绿色植被检测的凝视型光谱芯片结构及其制备方法 |
| CN110095189B (zh) * | 2019-04-24 | 2020-09-25 | 西安理工大学 | 一种双目的八谱段多光谱相机设计方法 |
| CN110649056B (zh) * | 2019-09-30 | 2022-02-18 | Oppo广东移动通信有限公司 | 图像传感器、摄像头组件及移动终端 |
| CN110719447A (zh) * | 2019-10-12 | 2020-01-21 | 南京威派视半导体技术有限公司 | 一种具有多通道窄带滤色片阵列的图像传感器 |
-
2020
- 2020-11-25 CN CN202011341571.3A patent/CN112504454B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020150267A (ja) * | 2020-05-21 | 2020-09-17 | ソニー株式会社 | 固体撮像装置、電子機器、及び、固体撮像装置の製造方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112504454A (zh) | 2021-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101102388B (zh) | 图像传感器以及采用其的图像感测方法 | |
| Lapray et al. | Multispectral filter arrays: Recent advances and practical implementation | |
| CN103579268B (zh) | 具有色彩滤光器的分割图像传感器的透镜阵列 | |
| Geelen et al. | A compact snapshot multispectral imager with a monolithically integrated per-pixel filter mosaic | |
| US9681057B2 (en) | Exposure timing manipulation in a multi-lens camera | |
| US8149400B2 (en) | Coded aperture snapshot spectral imager and method therefor | |
| JP4500360B2 (ja) | 画像処理装置 | |
| JP2006033493A (ja) | 撮像装置 | |
| CN102457683A (zh) | 透镜和颜色过滤器布置、超分辨率相机***及方法 | |
| CN102450020A (zh) | 四通道滤色器阵列内插 | |
| KR20160065464A (ko) | 컬러 필터 어레이, 이를 포함하는 이미지 센서 및 이를 이용한 적외선 정보 획득 방법 | |
| CN103688536A (zh) | 图像处理装置、图像处理方法及程序 | |
| US9188480B2 (en) | Color filter array and image sensor | |
| JP2018107794A (ja) | 画像生成装置及び撮像装置 | |
| EP2680591B1 (en) | Color imaging device | |
| US20140307135A1 (en) | Color imaging element | |
| CN111741239B (zh) | 图像传感器和电子设备 | |
| CN101119445A (zh) | 用于提高图像质量的图像传感器及使用其的图像感测方法 | |
| US8976275B2 (en) | Color imaging element | |
| CA2443658C (en) | Method and apparatus for sensing and interpolating color image data | |
| CN112504454B (zh) | 一种基于像素级光谱调制的超分辨光谱成像滤波器结构 | |
| WO2014084730A1 (en) | System and method for generating image using multiple lenses and multiple imagers | |
| US8711257B2 (en) | Color imaging device | |
| US6970608B1 (en) | Method for obtaining high-resolution performance from a single-chip color image sensor | |
| EP1528814A2 (en) | Imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |