CN112070675B - 一种基于图的正则化光场超分辨率方法和光场显微装置 - Google Patents
一种基于图的正则化光场超分辨率方法和光场显微装置 Download PDFInfo
- Publication number
- CN112070675B CN112070675B CN202010927846.5A CN202010927846A CN112070675B CN 112070675 B CN112070675 B CN 112070675B CN 202010927846 A CN202010927846 A CN 202010927846A CN 112070675 B CN112070675 B CN 112070675B
- Authority
- CN
- China
- Prior art keywords
- light field
- view
- resolution
- super
- views
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000006731 degradation reaction Methods 0.000 claims abstract description 11
- 230000015556 catabolic process Effects 0.000 claims abstract description 8
- 230000000295 complement effect Effects 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000009499 grossing Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000003384 imaging method Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 8
- 230000002708 enhancing effect Effects 0.000 claims description 7
- 238000000386 microscopy Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 239000000654 additive Substances 0.000 claims description 3
- 230000000996 additive effect Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002146 bilateral effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012984 biological imaging Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本发明提供了一种基于图的正则化光场超分辨率方法和光场显微装置,通过将光场的超分辨率问题转化为求解目标函数最小化的问题:建立光场图像的降质模型作为数据保真项;计算微透镜阵列的偏移量,标定微透镜阵列的中心位置;根据偏移量计算当前视图的像素点在其它视图上的投影,计算视图的像素点和对应的投影点的相似度评分;提取光场视图之间的互补信息,进行正则化平滑处理;最后利用正则化平滑,求解目标函数最小化时的高分辨率视图。实现了对所有视图进行超分辨率重构的功能,大幅度提升了所有视图的分辨率,并有效保留了光场结构。
Description
技术领域
本发明属于光场成像和图像处理技术领域,具体涉及一种基于图的正则化光场超分辨率方法和光场显微装置。
背景技术
光场显微镜(LFM,Light Field Microscopy)是一种采用计算成像技术的新型立体成像设备,无需扫描便能获得目标物体的3D信息。该设备的核心关键在于其可通过记录光经过样品时的二维空间和角度信息,快速获得目标物体的3D信息。因此,该设备在光学生物成像中具有极佳的应用潜力。当前主流光场显微镜结构及成像算法由Levoy提出,即在传统光学显微镜的中间像面处***一个微透镜阵列,通过单次曝光便可获得目标物体的四维光场信息。但是,由Levoy所提出的光场显微镜成像算法,是以牺牲空间分辨率为代价增加角度分辨率,这会严重影响最终的成像分辨率,甚至低于原始CCD的分辨率。这个问题大大限制了光场显微镜的应用范围,亟待解决。
通常,光场显微中的空间分辨率,取决于微透镜阵列中单个微透镜的像素个数;在不改变角度分辨率的前提条件下,减小传感器的像素尺寸,可使得单个微透镜对应的像素个数增多,这是增强空间分辨率的最为直接的方法。但传感器像素尺寸减少,带来的是传感器处通光量的减少,非常容易产生尖锐噪声,会使图像质量大幅度下降。因此,在不改变当前光场显微镜头光学结构的前提下,充分利用光场相互间的冗余信息和先验信息,也是增强空间分辨率的一条有效途径。Wanner等人利用结构张量算符,直接从极线斜率上提取每个视差图,在贝叶斯框架下完成了超分辨率重建;这种方法虽然无需知晓精准的相机内部几何关系,但在一定程度上损失了图像的边缘信息,并且每个视图都是单独进行超分辨重构,并没有充分利用视图之间的依赖关系。此外,Yoon等人利用两级卷积神经网络进行超分重建,首先借鉴单帧超分辨率方法对给定的光场视图进行超分重构,然后在超分基础上合成新的高分辨率视图;该方法虽然对于每个视图进行了独立超分重建,但仍旧没有考虑光场结构的影响。
发明内容
本发明要解决的技术问题是:提供一种基于图的正则化光场超分辨率方法和光场显微装置,用于提升所有视图的分辨率,并保留光场结构。
本发明为解决上述技术问题所采取的技术方案为:一种基于图的正则化光场超分辨率方法,包括以下步骤:
S1:搭建光场显微装置,按光的传播路径依次设置聚光镜、显微标本、显微镜、微透镜阵列、相机;
S2:计算微透镜阵列成像的偏移量;
S3:校准微透镜阵列的中心;
S4:根据偏移量计算当前视图的像素点在其它视图上的投影;
S5:计算视图的像素点和对应的投影点的相似度评分;根据相似度评分函数,在相邻两个视图中衡量像素点和它所有的投影点的相似性,定义构造矩阵;
S6:提取光场视图之间的互补信息,进行正则化平滑处理;根据构造矩阵从一个视图中提取其他视图的相应冗余信息用于增强分辨率;
S7:计算目标函数,用最近点迭代算法求目标函数的最小值;判断目标函数是否最小化,若是则结束流程,重构高分辨率视图;若否则执行步骤S4。
按上述方案,所述的步骤S2中,具体步骤为:当视点在主透镜平面时,设主透镜焦距为f1,微透镜阵列焦距为f2,单个微透镜孔径直径为D,主透镜面到微透镜阵列间距离为L1,微透镜阵列到像平面间距离为L2,视点的高度为H,第k个微透镜中心的位置为hk,hk=(k-1)D,视点对应第k个微透镜的偏移量为Δk,视点对应的像素元位置为Pk;根据相似三角形原理得到(1)式:
进一步推出视点对应第k个微透镜的偏移量为:
进一步的,所述的步骤S3中,具体步骤为:
S31:多角度采集光场的白图像;
S32:对白图像进行均值处理;
S33:通过峰值检测计算白图像的中心坐标。
进一步的,所述的步骤S4中,具体步骤为:
S41:根据步骤S2得到的偏移量进行视差估计;
S42:计算视图中像素点在相邻视图中的投影。
进一步的,所述的步骤S41中,具体步骤为:在相邻的两个视图中,视差的变化体现为像素点的平移,则视差确定时,视图ui中点P在相隔两个视图中的投影确定一个正方形。
进一步的,所述的步骤S42中,具体步骤为:计算视图中像素点在相邻视图中的投影:设矩阵算子Sx l表示投影图像在x方向上平移了l个像素,Sy m表示投影图像在y方向上平移了m个像素,0<α<1为加权系数,则在投影中引入BTV(BilatemlTotal Variation,双边全变差)正则化项为:
根据步骤S2计算的偏移量,确定视图中每个像素相对于其他视图的投影正方形。
根据相似度评分函数,在相邻两个视图中衡量像素点和它所有的投影点的相似性,定义Fi i′矩阵如下:
进一步的,所述的步骤S6中,具体步骤为:
S61:建立光场图像的降质模型作为数据保真项,用于描述图像的退化过程;设第i个视图的低分辨率图像为vi,光场视图的数量为k,则低分辨率图像为:
设vi对应的第i个视图的高分辨率图像为ui;设模糊矩阵为s,用于表示图像采集过程中经历的模糊;设采样矩阵为b,用于表示图像在采集过程中经历的下采样;设附加噪声为ni,用于表示图像成像过程中的噪声;则光场视图的降质模型为:
vi=sbui+ni (3);
S62:设vi'为光场中不同于vi的低分辩率图像;Fi i′为构造矩阵,用于提取当前视图在其他视图中冗余信息;则从一个视图中提取其他视图的相应冗余信息即互补信息用于增强其分辨率,对vi'与ui的关系建模为:
进一步的,所述的步骤S7中,设δ为视差值,用于表示其可在其他相邻视图中进行同样的操作;则将目标函数表示为:
一种光场显微装置,包括按光的传播路径依次设置的聚光镜、显微标本、显微镜、微透镜阵列、相机。
本发明的有益效果为:
1.本发明的一种基于图的正则化光场超分辨率方法和光场显微装置,通过将光场的超分辨率问题转化为求解目标函数最小化的问题,通过沿定义光场几何结构的光场极线,强制平滑来生成高分辨率视图,实现了对所有视图进行超分辨率重构的功能,大幅度提升了所有视图的分辨率,并有效保留了光场结构。
2.本发明提出了一种利用光场中冗余信息和先验信息的光场超分辨率重构算法,不需要进行大量样本训练,无需使用深度学习方法,也不需要预先知晓相机内部精确的几何关系,减少了消耗的资源。
3.本发明相较于传统方法,用最近点迭代算法对目标函数求最小化,重构出高分辨率视图,具有视差估计计算量较小,图像质量更高的优点。
附图说明
图1是本发明实施例的流程图。
图2是本发明实施例的视点和投影关系图。
图3是本发明实施例的光场显微原理图。
图4是本发明实施例的光场显微装置实物图。
图5是本发明实施例的微透镜阵列中心标定图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
参见图1,本发明的实施例的一种基于图的正则化光场超分辨率方法,包括以下步骤:
S1:参见图2、图3、图4,搭建光场显微装置,按光的传播路径依次设置聚光镜、显微标本、显微镜、微透镜阵列、相机;
S2:计算微透镜阵列成像的偏移量:
当视点在主透镜平面时,设主透镜焦距为f1,微透镜阵列焦距为f2,单个微透镜孔径直径为D,主透镜面到微透镜阵列间距离为L1,微透镜阵列到像平面间距离为L2,视点的高度为H,第k个微透镜中心的位置为hk,hk=(k-1)D,视点对应第k个微透镜的偏移量为Δk,视点对应的像素元位置为Pk;根据相似三角形原理得到(1)式:
进一步推出视点对应第k个微透镜的偏移量为:
S3:参见图5,校准微透镜阵列的中心:
S31:多角度采集光场的白图像;
S32:对白图像进行均值处理;
S33:通过峰值检测计算白图像的中心坐标;
S4:计算视图投影:
S41:根据步骤S2得到的偏移量进行视差估计:在相邻的两个视图中,视差的变化体现为像素点的平移,则视差确定时,视图ui中点P在相隔两个视图中的投影确定一个正方形;
S42:计算视图中像素点在相邻视图中的投影:设矩阵算子Sx l表示投影图像在x方向上平移了l个像素,Sy m表示投影图像在y方向上平移了m个像素,0<α<1为加权系数,则在投影中引入BTV(BilatemlTotal Variation,双边全变差)正则化项为:
根据步骤S2计算的偏移量,确定视图中每个像素相对于其他视图的投影正方形;
S5:计算相似度评分:
根据相似度评分函数,在相邻两个视图中衡量像素点和它所有的投影点的相似性,定义Fi i′矩阵如下:
S6:提取光场视图的互补信息:
S61:图像在成像过程中因为噪声、采样等因素使图像质量下降、导致图像退化称为图像的降质;当进行光场的重构时,建立光场图像的降质模型作为数据保真项,用于描述图像的退化过程;设第i个视图的低分辨率图像为vi,光场视图的数量为k,则低分辨率图像为:
设vi对应的第i个视图的高分辨率图像为ui;设模糊矩阵为s,用于表示图像采集过程中经历的模糊;设采样矩阵为b,用于表示图像在采集过程中经历的下采样;设附加噪声为ni,用于表示图像成像过程中的噪声;则光场视图的降质模型为:
vi=sbui+ni (3);
S62:光场从不同的视差角度获取场景信息,因此采样时在一个视图中丢失的细节可能保留在另一个视图中;设vi'为光场中不同于vi的低分辩率图像;Fi i′为构造矩阵,用于提取当前视图在其他视图中冗余信息;则从一个视图中提取其他视图的相应冗余信息即互补信息用于增强其分辨率,对vi'与ui的关系建模为:
S7:计算目标函数:设δ为视差值,用于表示其可在其他相邻视图中进行同样的操作;则将目标函数表示为:
用最近点迭代算法求目标函数的最小值;判断目标函数是否最小化,若是则结束流程,重构高分辨率视图;若否则执行步骤S4。
本发明将光场空间超分辨率问题转化为一个求解目标函数最小化问题;参见式(8),选取的目标函数由三项组成:第一项为数据保真项,第二项为每个视图在其他视图中的补充信息,第三项是基于图的先验知识,通过沿定义光场几何结构的光场极线,强制平滑来生成高分辨率视图。这三项共同组成一个二次型目标函数,进行最小化迭代后,便可得到所有视图的超分辨率重构结果。
以上实施例仅用于说明本发明的设计思想和特点,其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施,本发明的保护范围不限于上述实施例。所以,凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰,均在本发明的保护范围之内。
Claims (10)
1.一种基于图的正则化光场超分辨率方法,其特征在于:包括以下步骤:
S1:搭建光场显微装置,按光的传播路径依次设置聚光镜、显微标本、显微镜、微透镜阵列、相机;
S2:计算微透镜阵列成像的偏移量;
S3:校准微透镜阵列的中心;
S4:根据偏移量计算当前视图的像素点在其它视图上的投影;
S5:计算视图的像素点和对应的投影点的相似度评分;根据相似度评分函数,在相邻两个视图中衡量像素点和它所有的投影点的相似性,定义构造矩阵;
S6:提取光场视图之间的互补信息,进行正则化平滑处理;根据构造矩阵从一个视图中提取其他视图的相应冗余信息用于增强分辨率;
S7:计算目标函数,用最近点迭代算法求目标函数的最小值;判断目标函数是否最小化,若是则结束流程,重构高分辨率视图;若否则执行步骤S4。
3.根据权利要求2所述的超分辨率方法,其特征在于:所述的步骤S3中,具体步骤为:
S31:多角度采集光场的白图像;
S32:对白图像进行均值处理;
S33:通过峰值检测计算白图像的中心坐标。
4.根据权利要求3所述的超分辨率方法,其特征在于:所述的步骤S4中,具体步骤为:
S41:根据步骤S2得到的偏移量进行视差估计;
S42:计算视图中像素点在相邻视图中的投影。
5.根据权利要求4所述的超分辨率方法,其特征在于:所述的步骤S41中,具体步骤为:在相邻的两个视图中,视差的变化体现为像素点的平移,则视差确定时,视图ui中点P在相隔两个视图中的投影确定一个正方形。
8.根据权利要求7所述的超分辨率方法,其特征在于:所述的步骤S6中,具体步骤为:
S61:建立光场图像的降质模型作为数据保真项,用于描述图像的退化过程;设第i个视图的低分辨率图像为vi,光场视图的数量为k,则低分辨率图像为:
设vi对应的第i个视图的高分辨率图像为ui;设模糊矩阵为s,用于表示图像采集过程中经历的模糊;设采样矩阵为b,用于表示图像在采集过程中经历的下采样;设附加噪声为ni,用于表示图像成像过程中的噪声;则光场视图的降质模型为:
vi=sbui+ni (3);
S62:设vi'为光场中不同于vi的低分辩率图像;Fi i′为构造矩阵,用于提取当前视图在其他视图中冗余信息;则从一个视图中提取其他视图的相应冗余信息即互补信息用于增强其分辨率,对vi'与ui的关系建模为:
10.一种用于执行权利要求1至9中任意一项所述的一种基于图的正则化光场超分辨率方法的光场显微装置,其特征在于:包括按光的传播路径依次设置的聚光镜、显微标本、显微镜、微透镜阵列、相机。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010927846.5A CN112070675B (zh) | 2020-09-07 | 2020-09-07 | 一种基于图的正则化光场超分辨率方法和光场显微装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010927846.5A CN112070675B (zh) | 2020-09-07 | 2020-09-07 | 一种基于图的正则化光场超分辨率方法和光场显微装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112070675A CN112070675A (zh) | 2020-12-11 |
CN112070675B true CN112070675B (zh) | 2022-10-18 |
Family
ID=73663703
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010927846.5A Active CN112070675B (zh) | 2020-09-07 | 2020-09-07 | 一种基于图的正则化光场超分辨率方法和光场显微装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112070675B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113592716B (zh) * | 2021-08-09 | 2023-08-01 | 上海大学 | 光场图像空间域超分辨率方法、***、终端及存储介质 |
CN114926339B (zh) * | 2022-05-30 | 2023-02-03 | 北京拙河科技有限公司 | 基于深度学习的光场多视角图像超分辨率重建方法及*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104796624A (zh) * | 2015-04-20 | 2015-07-22 | 清华大学深圳研究生院 | 一种光场编辑传播方法 |
CN107945110A (zh) * | 2017-11-17 | 2018-04-20 | 杨俊刚 | 一种针对光场阵列相机的盲深度超分辨率计算成像方法 |
CN109035352A (zh) * | 2018-05-29 | 2018-12-18 | 天津大学 | L1-l2空间自适应电学层析成像正则化重建方法 |
CN109187591A (zh) * | 2018-06-04 | 2019-01-11 | 东南大学 | 一种x射线超分辨成像方法及其应用 |
CN111351446A (zh) * | 2020-01-10 | 2020-06-30 | 奕目(上海)科技有限公司 | 一种用于三维形貌测量的光场相机校准方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140022373A1 (en) * | 2012-07-20 | 2014-01-23 | University Of Utah Research Foundation | Correlative drift correction |
-
2020
- 2020-09-07 CN CN202010927846.5A patent/CN112070675B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104796624A (zh) * | 2015-04-20 | 2015-07-22 | 清华大学深圳研究生院 | 一种光场编辑传播方法 |
CN107945110A (zh) * | 2017-11-17 | 2018-04-20 | 杨俊刚 | 一种针对光场阵列相机的盲深度超分辨率计算成像方法 |
CN109035352A (zh) * | 2018-05-29 | 2018-12-18 | 天津大学 | L1-l2空间自适应电学层析成像正则化重建方法 |
CN109187591A (zh) * | 2018-06-04 | 2019-01-11 | 东南大学 | 一种x射线超分辨成像方法及其应用 |
CN111351446A (zh) * | 2020-01-10 | 2020-06-30 | 奕目(上海)科技有限公司 | 一种用于三维形貌测量的光场相机校准方法 |
Non-Patent Citations (1)
Title |
---|
Light field superresolution;Bishop T E et al.;《2009 IEEE International Conference on Computational Photography》;20090417;第1-9页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112070675A (zh) | 2020-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108074218B (zh) | 基于光场采集装置的图像超分辨率方法及装置 | |
CN104574347B (zh) | 基于多源遥感数据的在轨卫星图像几何定位精度评价方法 | |
US8305485B2 (en) | Digital camera with coded aperture rangefinder | |
US8436912B2 (en) | Range measurement using multiple coded apertures | |
US8330852B2 (en) | Range measurement using symmetric coded apertures | |
CN112070675B (zh) | 一种基于图的正则化光场超分辨率方法和光场显微装置 | |
CN108427961B (zh) | 基于卷积神经网络的合成孔径聚焦成像深度评估方法 | |
CN110120071A (zh) | 一种面向光场图像的深度估计方法 | |
CN114241031A (zh) | 基于双视角融合的鱼类体尺测量和体重预测的方法及装置 | |
KR102253320B1 (ko) | 집적영상 현미경 시스템에서의 3차원 영상 디스플레이 방법 및 이를 구현하는 집적영상 현미경 시스템 | |
CN113256772B (zh) | 一种基于视角转换的双角度光场高分辨重构***及方法 | |
CN115731336B (zh) | 图像渲染方法、图像渲染模型生成方法及相关装置 | |
TWI805282B (zh) | 使用焦點資訊深度估計的方法和裝置 | |
CN114663578A (zh) | 一种基于深度学习的多目标场景偏振三维成像方法 | |
Lee et al. | Improving focus measurement via variable window shape on surface radiance distribution for 3D shape reconstruction | |
CN113837947B (zh) | 一种获得光学相干层析大焦深图像的处理方法 | |
Yan et al. | Multiscale fusion and aggregation pcnn for 3d shape recovery | |
CN112329662B (zh) | 基于无监督学习的多视角显著性估计方法 | |
CN111260712B (zh) | 一种基于重聚焦极线图邻域分布的深度估计方法和装置 | |
Lee et al. | Optimizing image focus for 3D shape recovery through genetic algorithm | |
CN111696167A (zh) | 自范例学习引导的单张影像超分辨率重构方法 | |
Pei et al. | Focus measure for synthetic aperture imaging using a deep convolutional network | |
Chen et al. | A defocus and similarity attention-based cascaded network for multi-focus and misaligned image fusion | |
KR102454773B1 (ko) | 픽셀 빔을 나타내는 데이터를 생성하기 위한 장치 및 방법 | |
CN115410014A (zh) | 一种鱼眼图像的自监督特征点匹配方法及其存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |