CN118135120A - 一种纳米样品表面形貌三维重建及显微操作*** - Google Patents
一种纳米样品表面形貌三维重建及显微操作*** Download PDFInfo
- Publication number
- CN118135120A CN118135120A CN202410547691.0A CN202410547691A CN118135120A CN 118135120 A CN118135120 A CN 118135120A CN 202410547691 A CN202410547691 A CN 202410547691A CN 118135120 A CN118135120 A CN 118135120A
- Authority
- CN
- China
- Prior art keywords
- sample
- image
- displacement
- probe
- encoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000000523 sample Substances 0.000 claims abstract description 203
- 238000000034 method Methods 0.000 claims abstract description 72
- 238000005452 bending Methods 0.000 claims abstract description 13
- 238000011156 evaluation Methods 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims abstract description 8
- 238000006073 displacement reaction Methods 0.000 claims description 125
- 230000006870 function Effects 0.000 claims description 33
- 230000001276 controlling effect Effects 0.000 claims description 24
- 239000002086 nanomaterial Substances 0.000 claims description 24
- 238000011176 pooling Methods 0.000 claims description 23
- 238000010438 heat treatment Methods 0.000 claims description 20
- BASFCYQUMIYNBI-UHFFFAOYSA-N platinum Chemical compound [Pt] BASFCYQUMIYNBI-UHFFFAOYSA-N 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 16
- 239000000919 ceramic Substances 0.000 claims description 13
- 239000007788 liquid Substances 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000012546 transfer Methods 0.000 claims description 9
- 229910052751 metal Inorganic materials 0.000 claims description 8
- 239000002184 metal Substances 0.000 claims description 8
- 239000007787 solid Substances 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 8
- 238000001816 cooling Methods 0.000 claims description 7
- 239000002070 nanowire Substances 0.000 claims description 7
- 238000012876 topography Methods 0.000 claims description 7
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 239000004065 semiconductor Substances 0.000 claims description 6
- 229910052710 silicon Inorganic materials 0.000 claims description 6
- 239000010703 silicon Substances 0.000 claims description 6
- 239000000758 substrate Substances 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 5
- 229910052697 platinum Inorganic materials 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 230000001105 regulatory effect Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 2
- 238000003466 welding Methods 0.000 abstract description 12
- 230000033001 locomotion Effects 0.000 description 11
- 238000005259 measurement Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000012512 characterization method Methods 0.000 description 7
- 238000012625 in-situ measurement Methods 0.000 description 6
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 5
- PTVDYARBVCBHSL-UHFFFAOYSA-N copper;hydrate Chemical compound O.[Cu] PTVDYARBVCBHSL-UHFFFAOYSA-N 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000002844 melting Methods 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 239000000084 colloidal system Substances 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000008018 melting Effects 0.000 description 3
- 239000002105 nanoparticle Substances 0.000 description 3
- 229910052709 silver Inorganic materials 0.000 description 3
- 239000004332 silver Substances 0.000 description 3
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 239000000956 alloy Chemical class 0.000 description 2
- 229910045601 alloy Inorganic materials 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 229910052802 copper Inorganic materials 0.000 description 2
- 239000010949 copper Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000017525 heat dissipation Effects 0.000 description 2
- 150000002739 metals Chemical class 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005476 size effect Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 238000001069 Raman spectroscopy Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 239000000356 contaminant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000004519 grease Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000007747 plating Methods 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000008672 reprogramming Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Microscoopes, Condenser (AREA)
Abstract
本发明提供一种纳米样品表面形貌三维重建及显微操作***，包括通过控制样品固定台、温控平台和探针以等步距沿显微镜物镜轴向移动，由显微相机拍摄纳米样品的多景深图像序列即聚焦栈作为三维重建的数据输入，使用自编码器提取聚焦栈深度特征，引入注意力模块以提高特征提取能力，通过训练更新自编码器参数，使编码器输出具有深层特征的多张特征图像，通过聚焦评价将编码器输出的多张特征图像融合为1张深度特征图像，进而得到处理后的聚焦栈生成3D形貌图像，并基于该方法设置显微操作***，可视化控制样品固定台、温控平台和探针移动实现纳米材料真空恒温环境下焊接、转移、弯曲、扭转等操作，避免了大气环境下操作纳米样品存在的诸多风险。
Description
技术领域
本发明涉及纳米材料处理技术领域，具体涉及一种纳米样品表面形貌三维重建及显微操作***。
背景技术
纳米材料具有特殊的小尺寸效应、表面效应和量子尺寸效应等物理效应，因此具有迥异于普通宏观材料的力学、热学、电学等性能。随着纳米材料的各种优异性能逐渐被发掘，纳米材料被广泛应用于化学、航空航天、医学等多个领域。因此，对纳米材料的特殊性质进行测量与表征，对纳米器件的实际应用检测及设计至关重要。
在微观操作与装配领域，由于显微成像景深受限，操作者只能通过经验判断操作臂与样品的接触情况。对样品表面三维形貌信息进行恢复和三维重建，可以向操作人员提供更加精确的深度信息。微观三维形貌重建方法可以分为主动光学方法和被动光学方法，主动的三维成像设备包括激光共聚焦显微镜、白光干涉仪等，被动的三维重建方法包括基于运动恢复结构的单目视觉方法以及基于立体视觉恢复形貌的双目视觉方法等，这些典型的三维成像技术需要长时间的扫描或额外的光机结构，极大增加了时间成本和硬件成本，不利于快速、高效的三维成像。
目前，在微观操作领域，由于显微成像景深受限，在不借助额外测量设备的情况下，操作者只能通过经验判断操作臂与样品的接触情况，极易致使操作臂尖端弯曲或样品损毁。同时，对低维纳米材料进行搭接操作的实验设备，大多只配置有2台操作臂，因此只能对纳米颗粒、纳米线进行简单搭接，无法实现对二维薄膜材料的操作，并且不支持对材料进行弯曲和扭转等操作。同时，在大气环境下操作和转移样品，在测量时会产生很多不确定因素，因此目前的实验设备难以进行对纳米材料性能的原位测量与表征。
发明内容
根据现有技术的不足，本发明的目的是提供一种纳米样品表面形貌三维重建及显微操作***，相较传统使用灰度级原始图像获取聚焦信息的方法，该方法从深度特征中获取聚焦度，不需要任何预处理或后处理技术就能创建高质量的三维形貌，具有更好的特征提取能力、更低的计算成本和复杂性。
为了解决上述技术问题，本发明采用的技术方案为：
一种纳米样品表面形貌三维重建方法，包括：
数据采集：通过设置移动步距控制样品固定台、温控平台和探针以恒定距离沿显微镜物镜轴向移动，并由显微相机拍摄样品的多景深图像序列，获取聚焦栈，并作为微观形貌三维重建的数据输入；
训练学习：使用自编码器提取聚焦栈的深度特征，所述自编码器包括编码器和解码器，所述编码器和所述解码器均具有多个卷积块且均未加入池化层，卷积块包括卷积层、批量归一化层和Relu激活函数，所述自编码器的损失函数为均方误差，所述编码器的卷积块后引入注意力模块提高特征提取能力，通过训练更新所述自编码器的参数，使所述编码器输出具有深层特征的多张特征图像；
图像融合：将所述编码器输出的多张特征图像融合为1张深度特征图像，通过聚焦评价算子对特征图像的聚焦程度进行计算，取每一像素中聚焦度最大的值融合为深度特征图像；
三维重建：将所述自编码器和聚焦评价后生成的聚焦栈融合为三维图像，按照图像序列对比每一像素点的聚焦度，最大聚焦度所在图层的高度为该点的三维重建结果，融合后生成3D形貌图像。
进一步地，所述注意力模块包括通道注意力模块和空间注意力模块；
所述通道注意力模块将卷积块输出的特征图像分别通过最大池化层和平均池化层，输出结果通过包含两个隐藏层的多层感知机并按元素求和，使用sigmoid函数进行归一化，得到通道注意力权重函数：
式中，表示sigmoid函数，MLP表示多层感知机，/>和/>分别为最大池化和平均池化，/>为特征图像；
所述空间注意力模块将特征图像进行最大池化和平均池化，将图层融合后，通过sigmoid函数进行归一化，得到空间注意力权重函数：
。
进一步地，图像融合过程中，采用类高斯四邻域梯度算子GFG对图像梯度进行计算，表达式如下：
式中，表示由编码器输出的第/>张特征图像的/>像素点，/>是以像素点/>为中心像素与类高斯卷积模板卷积后的值，/>和/>分别表示该像素点在水平和垂直方向上的梯度，/>表示类高斯矩阵模板；
编码器输出的多张特征图像由此转化为由/>组成的多张特征矩阵/>，逐一比对多张特征矩阵/>各像素点的梯度值，取最大值融合为代表该层深度特征的图像，式中/>代表该聚焦栈的第/>张图像：
。
进一步地，三维重建过程中，聚焦栈中共包含张图像，对每一像素点/>组成长度为/>的特征矩阵：
图像为等距拍摄，使用图像序号表征该图像的深度信息，认为该特征矩阵/>中最大值为该像素点的聚焦点，并由该值/>的/>值表征该点所在高度位置，对每一像素点/>执行此操作，则3D形貌图表示为：
。
一种纳米样品表面形貌三维重建的显微操作***，包括：
真空腔，顶部设有上盖及观察窗，所述上盖及所述观察窗上方设置显微相机获取样品的多景深图像序列，所述显微相机用于获取样品的多景深图像序列；
位移平台，包括四自由度位移平台和三维位移平台，四自由度位移平台具有X、Y、Z方向上的平移自由度和绕Z方向旋转的旋转自由度，两个四自由度位移平台设置在所述真空腔内部且相对设置在上盖及观察窗两侧，所述两个四自由度位移平台上分别设置有样品固定台和温控平台，所述四自由度位移平台用于控制所述样品固定台或温控平台按照设定路径移动，多个三维位移平台设置在真空腔上，所述三维位移平台的数量根据需要设定，所述三维位移平台上设置伸入所述真空腔内的探针，所述三维位移平台用于控制所述探针按照设定路径移动；
控制模块，包括上位机，所述控制模块用于通过上位机对所述显微相机、两个四自由度位移平台和多个三维位移平台进行控制；
3D形貌图像获取模块，采用上述的纳米样品表面形貌三维重建方法，对显微相机获取样品的多景深图像序列进行处理，得到3D形貌图像。
进一步地，所述三维位移平台均通过线性促动器调节移动距离，获取探针在显微图像中的位置与线性促动器位移值的映射关系的方法为：在上位机上拖动探针进行位置控制，需要标定屏幕窗格坐标系与位移台平面直角坐标系的变换关系，标定方法为控制探针在x轴进行一段长度为s的位移，记位移前后带动探针移动的线性促动器的位置分别为,/>，记位移前后探针尖端在屏幕窗格上的位置分别记为/>,/>，则屏幕窗格坐标系和位移平台直角坐标系的映射关系/>为：
进行屏幕窗格坐标系与三维位移平台平面直角坐标系的转换：
式中，表示位移平台平面直角坐标系中线性促动器的位移距离，/>表示屏幕窗格坐标系中探针尖端的坐标；
其中为位移平台平面直角坐标系与屏幕窗格坐标系的偏转角度，三角函数值由下式计算：
得到屏幕窗格坐标系与位移平台平面直角坐标系的转换关系。
进一步地，所述探针包括固体探针和液体探针，所述固体探针包括依次相连的热电偶温度传感器、陶瓷加热管、针头夹具和针头本体；所述液体探针包括线性促动器和设在线性促动器末端的注射器。
进一步地，所述温控平台包括自下而上设置的水冷头、温度控制片、热敏温度传感器和温控平台外壳，所述温度控制片为陶瓷加热片或半导体制冷片，所述温控平台外壳上设置有电阻温度传感器RTD，所述RTD包括两个一定距离且镀铂的悬臂梁，作为传感器的传热部分，两个所述悬臂梁连接在镀铂的硅基底表面，硅基底表面的镀铂区域作为传感器的热沉。
进一步地，设置测量电路对RTD进行标定，通过RTD控制器输出模拟电压，经过标准电阻/>和RTD电阻/>串联分压，得到标准电阻/>和RTD电阻/>的电压分别为/>和/>，调节模拟电压大小，采集并绘制RTD电阻/>与电压/>的关系曲线，获取RTD电阻/>数值在微小范围内波动的电压/>区间，在该区间内选择测试电压/>，使用温控平台控制温度变化，获取并绘制测试电压/>下的RTD电阻/>和温度T之间的关系曲线，其斜率为RTD温度系数/>，进而根据温度系数/>获取温升/>，根据温升/>获取RTD的热导率/>；
根据标准电阻和RTD电阻/>的电压/>和/>，获取RTD电阻/>数值：
温升的计算公式为：
其中，为RTD电阻/>的电阻值变化量；
RTD的热导率计算公式如下:
其中，表示RTD悬臂的长度，/>表示RTD悬臂的横截面积。
进一步地，所述四自由度位移平台和所述三维位移平台均通过线性促动器调节移动距离；
所述四自由度位移平台上固定有样品固定台，样品固定台顶端装有低熔点金属，在对纳米线等样品进行测量时将样品一端焊接在样品固定台上，连接样品固定台的四自由度位移平台具有一个旋转自由度和三个平移自由度，通过控制样品固定台的位移和旋转精准控制纳米样品的弯曲和拧转。
与现有技术相比，本发明具有以下优点和有益效果：
1.相较传统使用灰度级原始图像获取聚焦信息的方法，本发明从深度特征中获取聚焦度，不需要任何预处理或后处理技术就能创建高质量的三维形貌，具有更好的特征提取能力、更低的计算成本和复杂性、较高的重建效率和较低的硬件成本。通过快速扫描重建微观样品的三维形貌，能够为操作人员提供精确的深度信息，有效防止探针尖端弯折和样品损毁。
2.现有的实验设备仅设置有2台操作臂对样品进行操作，因此只能实现纳米颗粒和纳米线的简单转移，无法进行更复杂的操作。本发明设置有多个三维位移平台对样品进行操作，三维位移平台可进行单独运动或协同运动，并且三维位移平台数量可以扩展，完全满足纳米材料样品搭接及原位测量表征的需要。
3.本发明可以实现全自动化的控制，用户只需通过在上位机搭载的人机界面中操作即可完成样品的转移、搭接、焊接、弯曲、扭转、拉伸等操作，极大地降低了人工操作难度，解决了人工进行纳米材料性质原位测量与表征费时费力问题。
4.本发明使用线性促动器替换三维位移平台的手动螺旋旋钮，既降低了人工操作的难度，也避免了螺旋旋钮的回程误差问题，样品操作更加稳定。
5.本发明能够为纳米材料性能测量与表征提供真空及恒温环境，并提供了与环境温度不同的样品接触点，便于进行热力学测量。
6.本发明可对探针进行加热并控制探针温度，能够精确完成样品加热与焊接操作；液体探针夹具可以实验液体样品的滴加和转移，准确控制样品的加入量，可滴加银胶辅助焊接操作。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分。本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明微观形貌三维重建流程图。
图2为本发明显微操作***整体结构示意图。
图3为本发明显微操作***内部结构示意图。
图4为本发明探针夹具连接件与探针连接的示意图。
图5为本发明固体探针的整体结构示意图。
图6为本发明固体探针的内部结构示意图。
图7为本发明液体探针的整体结构示意图。
图8为本发明液体探针的内部结构示意图。
图9为本发明温控平台的整体结构示意图。
图10为本发明温控平台的内部结构示意图。
图11为本发明控制模块示意图。
图12为本发明RTD标定测量电路原理图。
其中，1、线性促动器；2、三维位移平台；3、探针夹具连接件；4、KF法兰组件；5、波纹管；6、真空腔；7、上盖及观察窗；8、探针；81、热电偶温度传感器；82、陶瓷加热管；83、针头夹具；84、针头本体；9、温控平台；91、温控平台外壳、92、RTD；921、Si3N4/Pt悬臂梁；922、硅基底；93、温控元件；94、紫铜水冷头；10、温控平台连接件；11、样品固定台；12、注射器；13、上位机；14、显微相机；15、线性促动器控制器；16、RTD控制器；17、微电脑温控模块；18、热敏电阻温度传感器。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
实施例1
实施例1提供一种纳米样品表面形貌三维重建方法，如图1所示，包括：
步骤S1、数据采集：通过设置移动步距控制样品固定台11、温控平台9和探针8以恒定距离沿显微镜物镜轴向移动，并由显微相机14拍摄样品的多景深图像序列，获取聚焦栈，并作为微观形貌三维重建的数据输入；
步骤S2、训练学***面上空间距离与像素具有固定的映射关系，使用同原图大小相同的图片进行三维建模能更好的确认纳米样品和探针8的空间位置关系，编码器和解码器均具有三个卷积块，卷积块包括卷积层、批量归一化层和Relu激活函数，为保证图像大小不发生变化均未加入池化层，损失函数为均方误差，编码器卷积块后引入注意力模块以提高特征提取能力，通过训练更新自编码器的参数，使编码器输出的深层特征更加明确，进而使编码器输出具有深层特征的多张特征图像；
步骤S3、图像融合：将编码器输出的32张特征图像融合为1张深度特征图像，通过聚焦评价算子对特征图像的聚焦程度进行计算，取每一像素中聚焦度最大的值融合为深度特征图像；
步骤S4、三维重建：将自编码器和聚焦评价后生成的聚焦栈融合为三维图像，按照图像序列对比每一像素点的聚焦度，最大聚焦度所在图层的高度为该点的三维重建结果，融合后生成处理纳米样品的3D形貌图像。
本实施例提供的纳米样品表面形貌三维重建方法，是一种基于无监督深度学习的聚焦恢复形貌方法，通过控制载物台移动，并由显微相机14拍摄样品的多景深图像序列，获取聚焦栈，作为微观形貌三维重建的数据输入，进而通过训练学习，图像融合，三维重建，获取3D形貌图像，便于操作者在处理纳米样品时，全方位了解纳米样品的状态，使操作者精确判断探针与样品的接触情况，相较传统使用灰度级原始图像获取聚焦信息的方法，该方法从深度特征中获取聚焦度，不需要任何预处理或后处理技术就能创建高质量的三维形貌，具有更好的特征提取能力、更低的计算成本和复杂性。
实施例1中，注意力模块包括通道注意力模块和空间注意力模块；
通道注意力模块将卷积模块输出的特征图像分别通过最大池化层和平均池化层，输出结果通过包含两个隐藏层的多层感知机（MLP）并按元素求和，然后使用sigmoid函数进行归一化，得到通道注意力权重函数：
式中，表示sigmoid函数，MLP表示多层感知机，/>和/>分别为最大池化和平均池化，/>为特征图像；
空间注意力模块，将特征图像进行最大池化和平均池化，将图层融合后，通过sigmoid函数进行归一化，得到空间注意力权重函数：
式中，表示sigmoid函数，/>和/>分别为最大池化和平均池化。
实施例1中，在图像融合过程中，图像聚焦清晰的区域灰度值变化较失焦区域更大，使用聚焦评价算子用于计算图像的每个像素的聚焦水平。可根据不同场景选择适用的聚焦评价算子，采用类高斯四邻域梯度算子GFG对图像梯度进行计算，表达式如下：
式中，表示由编码器输出的第/>张特征图像的/>像素点，/>是以像素点/>为中心像素与类高斯卷积模板卷积后的值，/>和/>分别表示该像素点在水平和垂直方向上的梯度，/>表示类高斯矩阵模板；
编码器输出的32张特征图像由此转化为由/>组成的32张特征矩阵/>，逐一比对32张特征矩阵/>各像素点的梯度值，取最大值融合为代表该层深度特征的图像，式中/>代表该聚焦栈的第/>张图像：
。
实施例1中，在三维重建过程中，聚焦栈中共包含张图像，对每一像素点/>可组成长度为/>的特征矩阵：
。
图像为等距拍摄，使用图像序号表征该图像的深度信息，认为该特征矩阵/>中最大值为该像素点的聚焦点，并由该值/>的/>值表征该点所在高度位置，对每一像素点/>执行此操作，则3D形貌图可表示为：
。
实施例2
实施例2提供一种纳米样品表面形貌三维重建的显微操作***，如图2-图10所示，包括：
真空腔6，顶部设有上盖及观察窗7，上盖及观察窗7上方设置显微相机14，显微相机用于14获取样品的多景深图像序列；
位移平台，包括四自由度位移平台和三维位移平台2，四自由度位移平台具有四自由度位移平台具有X、Y、Z方向上的平移自由度和绕Z方向旋转的旋转自由度，两个四自由度位移平台设置在真空腔6内部且相对设置在上盖及观察窗7两侧，两个四自由度位移平台上分别设置有样品固定台11和温控平台9，四自由度位移平台用于控制样品固定台11或温控平台9按照设定路径移动，多个三维位移平台2设置在真空腔6上，三维位移平台2的数量可根据需要设定，三维位移平台2上设置伸入真空腔6内的探针8，三维位移平台2用于控制探针8按照设定路径移动；
控制模块，包括上位机13，用于通过上位机13对显微相机14、两个四自由度位移平台和多个三维位移平台2进行控制；
3D形貌图像获取模块，用于采用上述的纳米样品表面形貌三维重建方法，对显微相机14获取样品的多景深图像序列进行处理，得到3D形貌图像。
实施例2提供的一种纳米样品表面形貌三维重建的显微操作***，设置有两个第一四自由度位移和多个三维位移平台2对纳米材料进行操作，位移平台可进行单独运动或协同运动，并且三维位移平台2数量可以扩展，完全满足纳米材料样品搭接及原位测量表征的需要，另外，提供了真空且温度可控的测量环境，避免了在大气环境下操作和转移样品存在的诸多风险，且通过上盖及观察窗7及显微相机14，结合控制模块，能够可视化控制多台三维位移平台2实现纳米材料的焊接、转移、弯曲、扭转等操作。
本实施例具体实施方案中，如图1和图2所示，三维位移平台2的数量为4，数量可根据需要进行扩展，每两个三维位移平台2为一组，两组三维位移平台2分别设在真空腔6两端，通过4个三维位移平台2，能够全方位的操作纳米材料，实现纳米材料的焊接、转移、弯曲、扭转等操作。
如图11所示，控制模块包括上位机13，为实现探针8的可视化控制，需要上位机13连接显微相机14获取实时显示显微图像。在对探针8位置进行控制时，相较于摇杆或按键控制，使用鼠标来定位探针8位置更加便捷、精确，但这需要将显微相机14的显示图像纳入到上位机13的控制程序中。不同类型的显微工业相机支持的开发平台不同，与线性促动器1的开发平台未必兼容，且读取相机数据流存在初始化相机显示参数的可能。因此，可以使用Windows的API函数对显微相机14软件界面进行控制，实现与显微操作***用户界面的通信交互。使用上位机13控制程序时，将显微相机14软件的界面置于控制程序上方，并为显微相机14软件界面添加分层和透明的扩展窗口样式，即可使鼠标穿过该窗口对控制程序进行操作，并且显微相机14软件界面能够正常显示。必要时，初始化显微相机14软件界面的窗口，恢复其拍摄、存储、测量等功能。该方法可适配大多数的显微相机14，不需要重新进行编程，避免了显微相机14和线性促动器1开发平台的冲突，并且保留了显微相机14原有功能。
通过上位机13使用Windows的API函数对显微相机14软件界面进行控制，所用动态链接库User32.dll为***DLL文件，是Windows图形用户界面的主要支持。
具体为：
使用FindWindowA函数检索显微相机14软件界面的窗口句柄；
使用SetWindowPos函数更改显微相机14软件界面的大小、位置和Z顺序，使其置于上位机13控制程序顶端；
使用SetWindowLongA函数更改显微相机14软件界面的窗口属性，为窗体添加扩展窗口样式WS_EX_LAYERED和WS_EX_TRANSPARENT，WS_EX_LAYERED属性使窗体支持透明，WS_EX_TRANSPARENT则使鼠标穿透此窗体，使鼠标穿过显微相机14软件界面对上位机13控制程序进行控制。
实施例2中，四自由度位移平台和三维位移平台2均通过线性促动器1调节移动距离，将线性促动器1输出的直线运动传导至四自由度位移平台或三维位移平台2，实现纳米级别操作。相较于手动螺旋操纵杆，使用线性促动器1进行控制更加便捷、精确，同时减小了回程误差。
四自由度位移平台上固定有样品固定台11，固定台顶端装有低熔点金属，在对纳米线等样品进行测量时可将样品一端焊接在样品固定台11上，连接样品固定台11的四自由度位移平台具有一个旋转自由度和三个平移自由度，通过控制样品固定台11的位移和旋转即可精准控制纳米样品的弯曲和拧转。
控制模块通过上位机13连接线性促动器控制器15，对线性促动器1进行控制。
***初次使用时，需要依次设定线性促动器1的通讯口，并进行屏幕窗格坐标系与位移平台平面直角坐标系的转换。
为确保探针8能够准确跟随鼠标进行位移，需要获取探针8在显微图像中的位置与线性促动器1位移值的映射关系。探针8尖端在显微图像中的位置可使用屏幕窗格坐标系表示；探针8的实际位置使用其所在三维位移平台2平面直角坐标系来表示，该坐标系各轴坐标为相应线性促动器1的位移值。为确定该映射关系，需要向线性促动器控制器15输入位移指令，使探针8尖端出现在显微相机14拍摄的显微图像中，并控制探针8进行一段直线位移。
实施例2中，获取探针在显微图像中的位置与线性促动器位移值的映射关系的方法为：在上位机13上通过鼠标拖动探针8进行位置控制，需要标定屏幕窗格坐标系与位移台平面直角坐标系的变换关系，标定方法为控制探针8在x轴进行一段长度为s的位移，记位移前后带动探针8移动的线性促动器1的位置分别为,/>，记位移前后探针8尖端在屏幕窗格上的位置分别记为/>,/>，则屏幕窗格坐标系和位移平台直角坐标系的映射关系/>为：
。
进行屏幕窗格坐标系与三维位移平台2平面直角坐标系的转换：
式中，表示位移平台平面直角坐标系中线性促动器1的位移距离，/>表示屏幕窗格坐标系中探针8尖端的坐标。
其中，为位移平台平面直角坐标系与屏幕窗格坐标系的偏转角度，其三角函数值由下式计算：
进而能够得到屏幕窗格坐标系与位移平台平面直角坐标系的转换关系。
在确定两个坐标系的映射关系后，即可使用鼠标控制探针8精确运动。需要注意的是，在不同的放大倍数下A会有所差异，需要分别标定；上位机13输入线性促动器1的指令应当是绝对位置，若输入相对位移指令，则会造成位移误差的累计，影响控制的准确性。由于上位机13可对每一台线性促动器1进行单独控制，因此各探针8的三维位移平台2可进行单独或协同运动，并且***允许在任意位置安装任意数量的探针8及带动探针8移动的三维位移平台2，可以完全满足纳米样品搭接、转移等操作需要。
实施例2中，如图4-图8所示，探针8包括固体探针和液体探针，探针8固定在探针夹具连接件3上，探针夹具连接件3中部设有波纹管5，波纹管5通过KF法兰组件4设在探针夹具固定件3上固定在。
如图4-图6所示，固体探针包括依次相连的热电偶温度传感器81、陶瓷加热管82、针头夹具83和针头本体84，可对探针进行加热并控制探针温度，能够精确完成样品加热与焊接操作。
如图7和图8所示，液体探针包括线性促动器1和设在线性促动器1末端的注射器12，可以实验液体样品的滴加和转移，准确控制样品的加入量，可滴加银胶辅助焊接操作。
具体地，针头夹具83的前端与常见钻头夹具具有相同的结构，探针的尖端在实验过程中容易产生磨损，该结构便于更换针头本体84，针头夹具83后端镶嵌有陶瓷加热管82、热电偶温度传感器81，陶瓷加热管82及热电偶温度传感器81与微电脑温控模块17连接，可以实现探针的加热及温度控制，便于进行样品焊接。
若探针在实验中出现弯折、缺损、污染物附着等，需要人工更换探针，具体更换针头本体84或注射器12，并根据需要安装针头夹具83。探针中的陶瓷加热管82连接微电脑温控模块17通电后可对针头本体84进行加热，通过热电偶温度传感器81实时反馈针头本体84温度并调节微电脑温控模块17的输出电压，可以控制针头本体84温度。加热的针头本体84可融化低熔点金属，对样品进行焊接。
实施例中，如图9-图10所示，温控平台9包括温控平台外壳91、紫铜水冷头94、热敏温度传感器和温控元件93，紫铜水冷头94和温控元件93、热敏温度传感器探头自下而上卡设在温控平台外壳91中，温控元件93为陶瓷加热片或半导体制冷片，设置紫铜水冷头94，通过水循环散热防止半导体制冷片散热面温度过高而烧毁，通过过盈配合将温控平台外壳91、温控元件93、紫铜水冷头94装配为一体。温控平台外壳91两侧的吊耳作为温控平台连接件10，通过温控平台连接件10与四自由度位移平台连接，便于控制样品进行位移对焦。为便于热量传导，需要在温控元件93与温控平台外壳91内表面、温控元件93与紫铜水冷头94上表面的接触面上涂抹导热硅脂。将微电脑温控模块17与温控元件93连接，用于控制温控平台9加热与散热。热敏电阻温度传感器18探头安装在温控元件93与温控平台外壳91内表面的接触面上，用于反馈温控平台9的实时温度并调节微电脑温控模块17的电压输出。
本发明中，如图9-图10所示，温控元件93上设置有RTD92，RTD92包括两个间隔30μm、自身宽度3μm、总厚度0.3μm、镀铂厚度0.1μm的Si3N4/Pt悬臂梁921、两个S3N4/Pt悬臂梁921连接在镀铂的硅基底922表面。
具体地，所述温控平台外壳91上表面为安装有RTD92，温控平台外壳91与RTD92连接处用导电银浆固定。RTD92的主要部分为两个S3N4/Pt悬臂梁921，S3N4/Pt臂梁的外壳镀铂作为传热部分；与RTD92的连接处为铂的电镀区用于散热，作为传感器的热沉。RTD92四周的热沉通过导热银浆与铜导线固定连接后，与RTD控制器16进行连接。RTD控制器16包括PCB、机箱、电压输出模块、电压输入模块，能够实现电压的模拟输出和采集。
***初次使用时，需要对RTD92进行标定。RTD92的镀铂层通电后，其电阻会由于焦耳热而升高，电阻随温度升高而增大，因此可用作温度传感器。在使用RTD92之前，需要得到RTD92的电阻与温度的对应关系，即标定其R-T曲线，曲线斜率为电阻温度系数。
RTD92的温度受到两个热源的影响：通过温控***控制加热元件发热，加热元件将热量传导到RTD92，来控制RTD92传热部分和热沉的整体温度；在对RTD92通电时，过大的输入电压产生的焦耳热不可忽略，会明显改变RTD92的电阻值，而过小的输入电压会产生较小的电阻变化，增加测量误差。因此在标定R-T曲线之前，需要先寻找一个合适的测试电压，使RTD92处于该电压下能达到良好的测量效果，即需要在标定R-T曲线之前标定R-U曲线。
控制模块中，如图11所示，通过上位机13连接微电脑温控模块17、线性促动控制器15和显微相机14，控制陶瓷加热管82、陶瓷加热片、半导体制冷片的输入电压，并接收热电偶温度传感器81和热敏电阻温度传感器18的数据；通过上位机13连接RTD控制器16，控制RTD92电路的输入电压并测量RTD92两端电压。
如图12所示，设置测量电路对RTD92进行标定，通过RTD控制器16输出模拟电压，经过标准电阻/>和RTD92电阻/>串联分压，得到标准电阻/>和RTD92电阻/>的电压分别为和/>，调节模拟电压大小，采集并绘制RTD92电阻/>与电压/>的关系曲线，获取RTD92电阻/>数值在微小范围内波动的电压/>区间，在该区间内选择测试电压/>，使用温控平台9控制温度变化，获取并绘制测试电压/>下的RTD92电阻/>和温度T之间的关系曲线，其斜率为RTD92温度系数/>，进而根据温度系数/>获取温升/>，根据温升/>获取RTD92的热导率。
具体为，根据标准电阻和RTD92电阻/>的电压/>和/>，获取RTD92电阻/>数值：
。
温升的计算公式为：
。
RTD92的热导率计算公式如下:
其中，表示RTD92悬臂的长度，/>表示RTD92悬臂的横截面积。
本发明中，样品固定台11固定在四自由度位移平台上，样品固定台11顶端装有低熔点金属，在对纳米线等样品进行测量时可将样品一端焊接在样品固定台11上。连接样品固定台11的四自由度位移平台具有一个旋转自由度和三个平移自由度，通过控制样品固定台11的位移和旋转即可精准控制纳米样品的弯曲和拧转。
其中，低熔点金属常指熔点低于300℃的金属、合金及其金属衍生物，由于合金组成元素的多晶相特征以及组分的差异从而具有不同的熔点。
所述***的控制模块包括上位机13，用于显示、处理数据并发布指令，上位机13用于控制显微相机14、线性促动器控制器15、RTD控制器16和微电脑温控模块17。
具体地，显微相机14，用于拍摄显微图像，附有显示参数调节、测量等功能；线性促动器控制器15，用于采集和修改线性促动器1的位置、速度等各项参数；RTD控制器16，包括PCB、机箱、电压输出模块、电压输入模块，用于向RTD92输出和采集电压,为防止过大电压损坏RTD92，需控制RTD92两侧电压在mV级别；微电脑温控模块17，用于接收热敏电阻温度传感器18反馈的温度，通过24V直流稳压电源向温控元件93供电。
实验中，将真空腔6与真空泵连接可以提供真空的测量环境，避免了大气环境下转移和操作样品存在的诸多风险。通过微电脑温控模块17向陶瓷加热片或半导体制冷片通电，根据热敏电阻温度传感器18反馈的温度调节电压，控制放样平台及样品的环境温度。通过RTD控制器16控制RTD92进行加热，通过RTD92的电阻计算电阻丝温度，可提供一个不同于环境温度的接触点。RTD92拥有两根Si3N4/Pt悬臂梁921，使用探针将样品转移并焊接至两根悬臂上，仅对一端SiN/Pt悬臂梁921加热，其温度由RTD92的电阻值计算；另一端不加热，其温度等同于环境温度。这种方法可以配合拉曼光谱仪测定样品的导热率等参数。
将纳米材料一端焊接在温控平台9上，另一端焊接在样品固定台11上。连接样品固定台11的位移平台在三维位移平台2的基础上增加了一个旋转平台，可以控制样品实现弯曲、扭转、拉伸等操作，实现不同状态下的参数测量。
综上，本发明具有如下优点：
1.本发明提出一种基于无监督深度学习的聚焦恢复形貌方法，相较传统使用灰度级原始图像获取聚焦信息的方法，该方法从深度特征中获取聚焦度，不需要任何预处理或后处理技术就能创建高质量的三维形貌，具有更好的特征提取能力、更低的计算成本和复杂性、较高的重建效率和较低的硬件成本。通过快速扫描重建微观样品的三维形貌，能够为操作人员提供精确的深度信息，有效防止探针尖端弯折和样品损毁。
2.现有的实验设备仅设置有2台操作臂对样品进行操作，因此只能实现纳米颗粒和纳米线的简单转移，无法进行更复杂的操作。本***设置有多个三维位移平台2对样品进行操作，三维位移平台2可进行单独运动或协同运动，并且三维位移平台2数量可以扩展，完全满足纳米材料样品搭接及原位测量表征的需要。
3.可以实现全自动化的控制，用户只需通过在上位机13搭载的人机界面中操作即可完成样品的转移、搭接、焊接、弯曲、扭转、拉伸等操作，极大地降低了人工操作难度，解决了人工进行纳米材料性质原位测量与表征费时费力问题。
4.使用线性促动器1替换三维位移平台2的手动螺旋旋钮，既降低了人工操作的难度，也避免了螺旋旋钮的回程误差问题，样品操作更加稳定。
5.***能够为纳米材料性能测量与表征提供真空及恒温环境，并提供了与环境温度不同的样品接触点，便于进行热力学测量。
6.可对探针进行加热并控制探针温度，能够精确完成样品加热与焊接操作；液体探针夹具可以实验液体样品的滴加和转移，准确控制样品的加入量，可滴加银胶辅助焊接操作。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种纳米样品表面形貌三维重建方法，其特征在于，包括：
数据采集：通过设置移动步距控制样品固定台、温控平台和探针以恒定距离沿显微镜物镜轴向移动，并由显微相机拍摄样品的多景深图像序列，获取聚焦栈，并作为微观形貌三维重建的数据输入；
训练学习：使用自编码器提取聚焦栈的深度特征，所述自编码器包括编码器和解码器，所述编码器和所述解码器均具有多个卷积块且均未加入池化层，卷积块包括卷积层、批量归一化层和Relu激活函数，所述自编码器的损失函数为均方误差，所述编码器的卷积块后引入注意力模块提高特征提取能力，通过训练更新所述自编码器的参数，使所述编码器输出具有深层特征的多张特征图像；
图像融合：将所述编码器输出的多张特征图像融合为1张深度特征图像，通过聚焦评价算子对特征图像的聚焦程度进行计算，取每一像素中聚焦度最大的值融合为深度特征图像；
三维重建：将所述自编码器和聚焦评价后生成的聚焦栈融合为三维图像，按照图像序列对比每一像素点的聚焦度，最大聚焦度所在图层的高度为该点的三维重建结果，融合后生成3D形貌图像。
2.根据权利要求1所述的纳米样品表面形貌三维重建方法，其特征在于：
所述注意力模块包括通道注意力模块和空间注意力模块；
所述通道注意力模块将卷积块输出的特征图像分别通过最大池化层和平均池化层，输出结果通过包含两个隐藏层的多层感知机并按元素求和，使用sigmoid函数进行归一化，得到通道注意力权重函数：
式中，表示sigmoid函数，MLP表示多层感知机，/>和/>分别为最大池化和平均池化，/>为特征图像；
所述空间注意力模块将特征图像进行最大池化和平均池化，将图层融合后，通过sigmoid函数进行归一化，得到空间注意力权重函数：
。
3.根据权利要求1所述的纳米样品表面形貌三维重建方法，其特征在于：
图像融合过程中，采用类高斯四邻域梯度算子GFG对图像梯度进行计算，表达式如下：
式中，表示由编码器输出的第/>张特征图像的/>像素点，/>是以像素点/>为中心像素与类高斯卷积模板卷积后的值，/>和/>分别表示该像素点在水平和垂直方向上的梯度，/>表示类高斯矩阵模板；
编码器输出的多张特征图像由此转化为由/>组成的多张特征矩阵/>，逐一比对多张特征矩阵/>各像素点的梯度值，取最大值融合为代表该层深度特征的图像，式中/>代表该聚焦栈的第/>张图像：
。
4.根据权利要求1所述的纳米样品表面形貌三维重建方法，其特征在于：
三维重建过程中，聚焦栈中共包含张图像，对每一像素点/>组成长度为/>的特征矩阵：
图像为等距拍摄，使用图像序号表征该图像的深度信息，认为该特征矩阵/>中最大值为该像素点的聚焦点，并由该值/>的/>值表征该点所在高度位置/>，对每一像素点/>执行此操作，则3D形貌图/>表示为：
。
5.一种纳米样品表面形貌三维重建的显微操作***，其特征在于，包括：
真空腔，顶部设有上盖及观察窗，所述上盖及所述观察窗上方设置显微相机，所述显微相机用于获取样品的多景深图像序列；
位移平台，包括四自由度位移平台和三维位移平台，四自由度位移平台具有X、Y、Z方向上的平移自由度和绕Z方向旋转的旋转自由度，两个四自由度位移平台设置在所述真空腔内部且相对设置在上盖及观察窗两侧，所述两个四自由度位移平台上分别设置有样品固定台和温控平台，所述四自由度位移平台用于控制所述样品固定台或温控平台按照设定路径移动，多个三维位移平台设置在真空腔上，所述三维位移平台上设置伸入所述真空腔内的探针，所述三维位移平台用于控制所述探针按照设定路径移动；
控制模块，包括上位机，所述控制模块用于通过上位机对所述显微相机、两个四自由度位移平台和多个三维位移平台进行控制；
3D形貌图像获取模块，用于采用权利要求1-4任一项所述的纳米样品表面形貌三维重建方法，对显微相机获取样品的多景深图像序列进行处理，得到3D形貌图像。
6.根据权利要求5所述的纳米样品表面形貌三维重建的显微操作***，其特征在于：
所述三维位移平台均通过线性促动器调节移动距离，获取探针在显微图像中的位置与线性促动器位移值的映射关系的方法为：在上位机上拖动探针进行位置控制，需要标定屏幕窗格坐标系与位移台平面直角坐标系的变换关系，标定方法为控制探针在x轴进行一段长度为s的位移，记位移前后带动探针移动的线性促动器的位置分别为,/>，记位移前后探针尖端在屏幕窗格上的位置分别记为/>,/>，则屏幕窗格坐标系和位移平台直角坐标系的映射关系/>为：
进行屏幕窗格坐标系与三维位移平台平面直角坐标系的转换：
式中，表示位移平台平面直角坐标系中线性促动器的位移距离，/>表示屏幕窗格坐标系中探针尖端的坐标；
其中为位移平台平面直角坐标系与屏幕窗格坐标系的偏转角度，三角函数值由下式计算：
得到屏幕窗格坐标系与位移平台平面直角坐标系的转换关系。
7.根据权利要求5所述的适用于多环境下的纳米材料显微操作***，其特征在于：
所述探针包括固体探针和液体探针，所述固体探针包括依次相连的热电偶温度传感器、陶瓷加热管、针头夹具和针头本体；所述液体探针包括线性促动器和设在线性促动器末端的注射器。
8.根据权利要求5所述的适用于多环境下的纳米材料显微操作***，其特征在于：
所述温控平台包括自下而上设置的水冷头、温度控制片、热敏温度传感器和温控平台外壳，所述温度控制片为陶瓷加热片或半导体制冷片，所述温控平台外壳上设置有电阻温度传感器RTD，所述RTD包括两个一定距离且镀铂的悬臂梁，作为传感器的传热部分，两个所述悬臂梁连接在镀铂的硅基底表面，硅基底表面的镀铂区域作为传感器的热沉。
9.根据权利要求8所述的适用于多环境下的纳米材料显微操作***，其特征在于：
设置测量电路对RTD进行标定，通过RTD控制器输出模拟电压，经过标准电阻/>和RTD电阻/>串联分压，得到标准电阻/>和RTD电阻/>的电压分别为/>和/>，调节模拟电压大小，采集并绘制RTD电阻/>与电压/>的关系曲线，获取RTD电阻/>数值在微小范围内波动的电压/>区间，在该区间内选择测试电压/>，使用温控平台控制温度变化，获取并绘制测试电压/>下的RTD电阻/>和温度T之间的关系曲线，其斜率为RTD温度系数/>，根据温度系数获取温升/>，根据温升/>获取RTD的热导率/>；
根据标准电阻和RTD电阻/>的电压/>和/>，获取RTD电阻/>数值：
温升的计算公式为：
其中，为RTD电阻/>的电阻值变化量；
RTD的热导率计算公式如下:
其中，表示RTD悬臂的长度，/>表示RTD悬臂的横截面积。
10.根据权利要求7所述的适用于多环境下的纳米材料显微操作***，其特征在于：所述四自由度位移平台和所述三维位移平台均通过线性促动器调节移动距离；
所述四自由度位移平台上固定有样品固定台，样品固定台顶端装有低熔点金属，在对纳米线等样品进行测量时将样品一端焊接在样品固定台上，连接样品固定台的四自由度位移平台具有一个旋转自由度和三个平移自由度，通过控制样品固定台的位移和旋转精准控制纳米样品的弯曲和拧转。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410547691.0A CN118135120B (zh) | 2024-05-06 | 2024-05-06 | 一种纳米样品表面形貌三维重建及显微操作*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410547691.0A CN118135120B (zh) | 2024-05-06 | 2024-05-06 | 一种纳米样品表面形貌三维重建及显微操作*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118135120A true CN118135120A (zh) | 2024-06-04 |
| CN118135120B CN118135120B (zh) | 2024-07-12 |
Family
ID=91242970
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410547691.0A Active CN118135120B (zh) | 2024-05-06 | 2024-05-06 | 一种纳米样品表面形貌三维重建及显微操作*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118135120B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180249178A1 (en) * | 2015-09-07 | 2018-08-30 | Thomson Licensing | Method and device for encoding and decoding a light field based image, and corresponding computer program product |
| US20220084223A1 (en) * | 2020-09-14 | 2022-03-17 | The Regents Of The University Of Michigan | Focal Stack Camera As Secure Imaging Device And Image Manipulation Detection Method |
| US20220309696A1 (en) * | 2021-03-23 | 2022-09-29 | Mediatek Inc. | Methods and Apparatuses of Depth Estimation from Focus Information |
| CN115830240A (zh) * | 2022-12-14 | 2023-03-21 | 山西大学 | 一种基于图像融合视角的无监督深度学习三维重建方法 |
| CN116385520A (zh) * | 2023-04-04 | 2023-07-04 | 西安交通大学 | 融合全光源图像的磨损表面形貌光度立体重建方法及*** |
| CN116778187A (zh) * | 2023-06-09 | 2023-09-19 | 合肥工业大学 | 一种基于光场重聚焦数据增强的显著性目标检测方法 |
| CN117557720A (zh) * | 2023-11-03 | 2024-02-13 | 山西大学 | 一种轻量级深度网络的微观三维形貌重建方法 |
-
2024
- 2024-05-06 CN CN202410547691.0A patent/CN118135120B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180249178A1 (en) * | 2015-09-07 | 2018-08-30 | Thomson Licensing | Method and device for encoding and decoding a light field based image, and corresponding computer program product |
| US20220084223A1 (en) * | 2020-09-14 | 2022-03-17 | The Regents Of The University Of Michigan | Focal Stack Camera As Secure Imaging Device And Image Manipulation Detection Method |
| US20220309696A1 (en) * | 2021-03-23 | 2022-09-29 | Mediatek Inc. | Methods and Apparatuses of Depth Estimation from Focus Information |
| CN115830240A (zh) * | 2022-12-14 | 2023-03-21 | 山西大学 | 一种基于图像融合视角的无监督深度学习三维重建方法 |
| CN116385520A (zh) * | 2023-04-04 | 2023-07-04 | 西安交通大学 | 融合全光源图像的磨损表面形貌光度立体重建方法及*** |
| CN116778187A (zh) * | 2023-06-09 | 2023-09-19 | 合肥工业大学 | 一种基于光场重聚焦数据增强的显著性目标检测方法 |
| CN117557720A (zh) * | 2023-11-03 | 2024-02-13 | 山西大学 | 一种轻量级深度网络的微观三维形貌重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| CHAO LIU等: "Continuous optical zoom microscope with extended depth of field and 3D reconstruction", PHOTONIX, vol. 3, 15 September 2022 (2022-09-15), pages 20 * |
| SHIR GUR等: "Single Image depth estimation trained via depth from defocus cues", 2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 9 January 2020 (2020-01-09), pages 7675 - 7684 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118135120B (zh) | 2024-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9696270B1 (en) | Thermal conductivity measurement apparatus and related methods | |
| EP0538861B1 (en) | Electron microscope specimen holder | |
| Rosa et al. | Building large mosaics of confocal edomicroscopic images using visual servoing | |
| WO2002052393A1 (en) | Positioning an item in three dimensions via a graphical representation | |
| CN109709140B (zh) | 一种微尺度下局部对流换热系数的测量方法及装置 | |
| US11163131B2 (en) | Actuator for adjusting a movable element, uses and methods of adjustment | |
| TW200902438A (en) | Compact nanofabrication apparatus | |
| CN118135120B (zh) | 一种纳米样品表面形貌三维重建及显微操作*** | |
| JP2013179581A (ja) | 画像生成装置及びその制御方法 | |
| US8094925B2 (en) | Method for increasing the accuracy of the positioning of a first object relative to a second object | |
| CN105466739A (zh) | 具有样品调整控制器的光电子能谱设备 | |
| CN207779340U (zh) | 微槽群热沉毛细润湿长度的可视化测量装置 | |
| CN104391137B (zh) | 一种同步微区电化学成像和温度成像***及其方法 | |
| Wang et al. | Visual sensing based ultrahigh precision motion control with compensated mechanical drift across different stages | |
| CN110436406A (zh) | 一种自动精确定位制备固态纳米孔阵列的***及方法 | |
| JP6330212B2 (ja) | 微小試料の加熱方法 | |
| Arai et al. | Automated calibration for micro hand using visual information | |
| CN108375340A (zh) | 微槽群热沉毛细润湿长度的可视化测量装置与方法 | |
| JP2020155954A (ja) | 画像センサ | |
| Fatikow et al. | Automatic nanohandling station inside a scanning electron microscope | |
| Liu et al. | Real-time Stereoscopic Display of Atomic Force Microscopy Images for Nano Robotic Manipulation | |
| Tan et al. | Dynamic droplet morphology measurement method based on digital image correlation and refraction effect | |
| Pattanshetti et al. | On the Kinematic Model of Continuum Robots with Spatially Varying Nonlinear Stiffness | |
| JP2017187772A (ja) | アダプタ、顕微鏡調節方法、顕微鏡システム及びプログラム | |
| US20220179186A1 (en) | Micro 3d visualization and shape reconstruction compositions and methods thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |