CN107392934B - 原位高分辨透射电镜视频动态无漂移的处理方法 - Google Patents
原位高分辨透射电镜视频动态无漂移的处理方法 Download PDFInfo
- Publication number
- CN107392934B CN107392934B CN201710402099.1A CN201710402099A CN107392934B CN 107392934 B CN107392934 B CN 107392934B CN 201710402099 A CN201710402099 A CN 201710402099A CN 107392934 B CN107392934 B CN 107392934B
- Authority
- CN
- China
- Prior art keywords
- frame
- point
- current
- points
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 15
- 238000011065 in-situ storage Methods 0.000 title claims abstract description 10
- 238000003672 processing method Methods 0.000 title claims description 7
- 230000008859 change Effects 0.000 claims description 13
- 238000000034 method Methods 0.000 abstract description 6
- 238000012545 processing Methods 0.000 abstract description 2
- 230000033001 locomotion Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 239000013078 crystal Substances 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 230000000087 stabilizing effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010894 electron beam technology Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
Abstract
原位高分辨透射电镜视频动态无漂移的处理方法包括获取高分辨视频中的各帧图片，以第一帧图片为当前帧图片；寻找每一帧图片中的特征点；以第一帧的特征点为基础，根据灰度花样找到该特征点与第二帧到最后一帧的特征点的对应关系，灰度花样相同的特征点对应在样品的同一个点；判断任意两个特征点是否位于变形区域内；确定非变形区域；将非变形区域内的特征点逐帧对齐，形成无漂移视频。本发明优点在于：通过对特征点的搜索寻找出每一帧图片中的样品变形区域和非变形区域，将从第一帧到最后一帧的图片中的非变形区域进行配准，从而消除视频漂移。
Description
技术领域
本发明涉及透射电镜原位动态视频无漂移的处理方法。
背景技术
目前主流透射电镜（透射电子显微镜）的分辨能力已经达到0.12 nm，球差矫正的超高分辨率透射电镜分辨率甚至达到50 pm，小于固态物质原子间距。当透射电镜放大倍数在40万倍以上时能够观察到原子排列，实现高分辨观察物质的原子排列规律。然而在如此高的放大倍数进行观测时，样品任何微小的漂移都会被显著放大，使其观测图像模糊或者漂移。尤其是在进行原位透射电镜高分辨观测时，由于观测对象在动态变形或变化，使得所拍摄的高分辨视频存在明显的漂移和晃动。
针对数字图像的稳定化处理目前已有许多技术，通过计算按时间相邻的帧之间的可识别的“特征点”的运动的向量来检测抖动照相机移动，从而解决摄像机晃动或抖动造成的视频抖动或者晃动。如CN103827921A公开了一种用于在存在长期图像漂移的情况下使实时视频稳定的方法和***，该发明涉及安全监视***且更特别地涉及包含安装在高的室外支柱或其他构造上的安全监视***。通过对视频监视***中的图像稳定化，补偿了例如由照相机的安装支柱上的风和振动效应引起的照相机抖动。
但在进行原位透射电镜高分辨观测时，相机本身并无明显的振动或者漂移，而是拍摄对象存在动态变形或变化导致视频出现漂移。即拍摄样品自身存在的变形和移动是耦合在一起的。其中样品的变形（例如原子面迁移、原子排列转变）是科研工作者感兴趣的研究对象，而样品整体的刚性移动对研究人员分析样品的变形带来严重干扰。需要将两者解耦，消除样品的移动，并保持样品在固定位置，为研究人员进行后续的精细分析提供关键前提。由于透射电镜研究中样品的变形和移动总是耦合，且对于感兴趣区域的选择需要结合相关课题研究背景和要求而确定，依靠数字图像稳定化技术处理难以解决问题获得所需的目标区域。
发明内容
本发明的目的在于提供一种能滤除由原位透射电镜拍摄的高分辨观测视频中的动态漂移的处理方法。
原位高分辨透射电镜视频动态无漂移的处理方法，包括以下步骤：
步骤1：获取高分辨视频中的各帧图片，以第一帧图片为当前帧图片；
步骤2：寻找每一帧图片中的特征点：
步骤2-1：取当前帧图片中的任意一个像素点作为当前点；
步骤2-2：对当前点进行亮度判断，亮度判断包含两个条件，条件1：当前点的亮度高于以当前点为中心的20*20像素范围的平均亮度的2倍，条件2：以当前点为中心的5*5像素范围内的亮度变化梯度大于20灰度值/像素点；若当前点符合亮度判断的两个条件，则当前点为特征点，进入步骤2-3；若当前点不符合亮度判断的两个条件，则当前点并非特征点，进入步骤2-4；
步骤2-3：记录以当前点为圆心，半径为N（N≤10个像素点）的圆的区域内的各像素点的灰度值，这些像素点的灰度值形成特征点的灰度花样；
步骤2-4：判断当前点是否最后一个像素点，若是，则进入步骤6；若否，则获取下一个像素点作为当前点，重复步骤3-4；
步骤2-5：判断当前帧是否最后一帧，若否，则获取下一帧图片作为当前帧，重复步骤2-1到2-5；若是，则结束特征点的搜索；
步骤3：以第一帧的特征点为基础，根据灰度花样找到该特征点与第二帧到最后一帧的特征点的对应关系，灰度花样相同的特征点对应在样品的同一个点：
步骤3-1：获取第一帧的第一个特征点及其灰度花样作为当前特征点；
步骤3-2：依次在第二帧到最后一帧中找出灰度花样与当前特征点的灰度花样相同的特征点，若在第二帧到最后一帧的任意一帧中未出现与当前特征点的灰度花样相同的特征点，则将当前特征点删除；
步骤3-3：判断当前特征点是否最后一个特征点，若是则进入步骤4；若否则重复步骤3-1到3-3；
步骤4：判断任意两个特征点的距离在前后两帧距离变化幅度是否小于5%；若是，则认为该两个特征点的距离位于非变形区域；若否，则认为该两个特征点位于变形区域内；
步骤5：将距离变化幅度小于5%的特征点连接起来确定非变形区域；
步骤6：从第一帧到最后一帧，将非变形区域内的特征点逐帧对齐，形成无漂移视频。
本发明优点在于：通过对特征点的搜索寻找出每一帧图片中的样品变形区域和非变形区域，将从第一帧到最后一帧的图片中的非变形区域进行配准，从而消除视频漂移。能够清晰分析每一个原子点的排列方式变化和局域变形，为后续分析晶体缺陷、相结构演变提供细致的图像。
具体实施方式
原位高分辨透射电镜视频动态无漂移的处理方法，包括以下步骤：
步骤1：获取高分辨视频中的各帧图片，以第一帧图片为当前帧图片；
步骤2：寻找每一帧图片中的特征点：
步骤2-1：取当前帧图片中的任意一个像素点作为当前点；
步骤2-2：对当前点进行亮度判断，亮度判断包含两个条件，条件1：当前点的亮度高于以当前点为中心的20*20像素范围的平均亮度的2倍，条件2：以当前点为中心的5*5像素范围内的亮度变化梯度大于20灰度值/像素点；若当前点符合亮度判断的两个条件，则当前点为特征点，进入步骤2-3；若当前点不符合亮度判断的两个条件，则当前点并非特征点，进入步骤2-4；满足这两个条件的像素点表明该原子柱非常理想地与电子束平行，所以投影出来的点特别亮，适合作为特征点；
步骤2-3：记录以当前点为圆心，半径为N（N≤10个像素点）的圆的区域内的各像素点的灰度值，这些像素点的灰度值形成特征点的灰度花样；半径为10个像素点最为适合，既能呈现出当前点周围的灰度花样，计算量也较小；
步骤2-4：判断当前点是否最后一个像素点，若是，则进入步骤6；若否，则获取下一个像素点作为当前点，重复步骤3-4；
步骤2-5：判断当前帧是否最后一帧，若否，则获取下一帧图片作为当前帧，重复步骤2-1到2-5；若是，则结束特征点的搜索；
步骤3：以第一帧的特征点为基础，根据灰度花样找到该特征点与第二帧到最后一帧的特征点的对应关系，灰度花样相同的特征点对应在样品的同一个点：
步骤3-1：获取第一帧的第一个特征点及其灰度花样作为当前特征点；
步骤3-2：依次在第二帧到最后一帧中找出灰度花样与当前特征点的灰度花样相同的特征点，若在第二帧到最后一帧的任意一帧中未出现与当前特征点的灰度花样相同的特征点，则将当前特征点删除；
步骤3-3：判断当前特征点是否最后一个特征点，若是则进入步骤4；若否则重复步骤3-1到3-3；
步骤4：判断任意两个特征点的距离在前后两帧的距离变化幅度是否小于5%；若是，则认为该两个特征点的距离位于非变形区域；若否，则认为该两个特征点位于变形区域内；
步骤5：将距离变化幅度小于5%的特征点连接起来确定非变形区域；5%符合试验误差允许的范围，特征点之间变化小于5%，则把这些特征点连起来就能得到未变形区域的保守范围。
步骤6：从第一帧到最后一帧，将非变形区域内的特征点逐帧对齐，形成无漂移视频。
本发明优点在于：通过对特征点的搜索寻找出每一帧图片中的样品变形区域和非变形区域，将从第一帧到最后一帧的图片中的非变形区域进行配准，从而消除视频漂移。能够清晰分析每一个原子点的排列方式变化和局域变形，为后续分析晶体缺陷、相结构演变提供细致的图像。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。
Claims (1)
1.原位高分辨透射电镜视频动态无漂移的处理方法，包括以下步骤：
步骤1：获取高分辨视频中的各帧图片，以第一帧图片为当前帧图片；
步骤2：寻找每一帧图片中的特征点：
步骤2-1：取当前帧图片中的任意一个像素点作为当前点；
步骤2-2：对当前点进行亮度判断，亮度判断包含两个条件，条件1：当前点的亮度高于以当前点为中心的20*20像素范围的平均亮度的2倍，条件2：以当前点为中心的5*5像素范围内的亮度变化梯度大于20灰度值/像素点；若当前点符合亮度判断的两个条件，则当前点为特征点，进入步骤2-3；若当前点不符合亮度判断的两个条件，则当前点并非特征点，进入步骤2-4；
步骤2-3：记录以当前点为圆心，半径为N的圆的区域内的各像素点的灰度值，这些像素点的灰度值形成特征点的灰度花样；
步骤2-4：判断当前点是否最后一个像素点，若是，则进入步骤6；若否，则获取下一个像素点作为当前点，重复步骤3和步骤4；
步骤2-5：判断当前帧是否最后一帧，若否，则获取下一帧图片作为当前帧，重复步骤2-1到2-5；若是，则结束特征点的搜索；
步骤3：以第一帧的特征点为基础，根据灰度花样找到该特征点与第二帧到最后一帧的特征点的对应关系，灰度花样相同的特征点对应在样品的同一个点：
步骤3-1：获取第一帧的第一个特征点及其灰度花样作为当前特征点；
步骤3-2：依次在第二帧到最后一帧中找出灰度花样与当前特征点的灰度花样相同的特征点，若在第二帧到最后一帧的任意一帧中未出现与当前特征点的灰度花样相同的特征点，则将当前特征点删除；
步骤3-3：判断当前特征点是否最后一个特征点，若是则进入步骤4；若否则重复步骤3-1到3-3；
步骤4：判断任意两个特征点的距离在前后两帧距离变化幅度是否小于5％；若是，则认为该两个特征点的距离位于非变形区域；若否，则认为该两个特征点位于变形区域内；
步骤5：将距离变化幅度小于5％的特征点连接起来确定非变形区域；
步骤6：从第一帧到最后一帧，将非变形区域内的特征点逐帧对齐，形成无漂移视频。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710402099.1A CN107392934B (zh) | 2017-06-01 | 2017-06-01 | 原位高分辨透射电镜视频动态无漂移的处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710402099.1A CN107392934B (zh) | 2017-06-01 | 2017-06-01 | 原位高分辨透射电镜视频动态无漂移的处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107392934A CN107392934A (zh) | 2017-11-24 |
| CN107392934B true CN107392934B (zh) | 2020-06-12 |
Family
ID=60332996
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710402099.1A Active CN107392934B (zh) | 2017-06-01 | 2017-06-01 | 原位高分辨透射电镜视频动态无漂移的处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107392934B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112505083B (zh) * | 2020-11-20 | 2023-01-31 | 北京工业大学 | 扫描电镜内原位蠕变与疲劳测试点追踪定位方法及*** |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104751404A (zh) * | 2013-12-30 | 2015-07-01 | 腾讯科技（深圳）有限公司 | 一种图像变换的方法及装置 |
| WO2015126443A1 (en) * | 2013-03-14 | 2015-08-27 | Nec Laboratories America, Inc. | Moving object localization in 3d using a single camera |
| CN105844663A (zh) * | 2016-03-21 | 2016-08-10 | 中国地质大学（武汉） | 一种自适应orb目标跟踪方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7925049B2 (en) * | 2006-08-15 | 2011-04-12 | Sri International | Stereo-based visual odometry method and system |
-
2017
- 2017-06-01 CN CN201710402099.1A patent/CN107392934B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015126443A1 (en) * | 2013-03-14 | 2015-08-27 | Nec Laboratories America, Inc. | Moving object localization in 3d using a single camera |
| CN104751404A (zh) * | 2013-12-30 | 2015-07-01 | 腾讯科技（深圳）有限公司 | 一种图像变换的方法及装置 |
| CN105844663A (zh) * | 2016-03-21 | 2016-08-10 | 中国地质大学（武汉） | 一种自适应orb目标跟踪方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107392934A (zh) | 2017-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8368766B2 (en) | Video stabilizing method and system using dual-camera system | |
| US8760513B2 (en) | Methods and system for stabilizing live video in the presence of long-term image drift | |
| Sinha et al. | Pan–tilt–zoom camera calibration and high-resolution mosaic generation | |
| US8605161B2 (en) | Intra-frame optical-stabilization with intentional inter-frame scene motion | |
| JP5096645B1 (ja) | 画像生成装置、画像生成システム、方法、およびプログラム | |
| US8085986B2 (en) | Image processing apparatus and method for processing images more naturally and sharply | |
| US11295427B2 (en) | Methods and systems for image processing with multiple image sources | |
| CN106165395A (zh) | 图像处理装置、图像处理方法及图像处理程序 | |
| JP2012026841A (ja) | ステレオ測距装置及びステレオ測距方法 | |
| JPWO2019092844A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| EP2680567A1 (en) | Video noise reduction | |
| KR20130119706A (ko) | 이미지 센서를 이동시켜 영상 블러 현상을 보상하는 방법 및 시스템 | |
| CN108156383B (zh) | 基于相机阵列的高动态十亿像素视频采集方法及装置 | |
| CN107392934B (zh) | 原位高分辨透射电镜视频动态无漂移的处理方法 | |
| Van Eekeren et al. | Super-resolution on moving objects and background | |
| Gaidhani | Super-resolution | |
| WO2020145004A1 (ja) | 撮影ガイド装置 | |
| KR102450466B1 (ko) | 영상 내의 카메라 움직임 제거 시스템 및 방법 | |
| CN112233032B (zh) | 一种高动态范围图像鬼影消除的方法 | |
| US11206344B2 (en) | Image pickup apparatus and storage medium | |
| CN112036401B (zh) | 一种基于车牌图像属性标定的车牌识别一体机评测方法及装置 | |
| CN114882003A (zh) | 一种检测相机的拍摄位姿变化的方法、介质及计算设备 | |
| KR100303181B1 (ko) | 다수의 촬상소자를 이용한 고해상도 촬영장치의 보정방법 | |
| Kawasaki et al. | Super‐resolution omnidirectional camera images using spatio‐temporal analysis | |
| JP2017194656A (ja) | 撮像装置及びその制御方法、プログラム並びに記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |