CN106062815B - 使用准周期栅格的图像校正的方法及*** - Google Patents
使用准周期栅格的图像校正的方法及*** Download PDFInfo
- Publication number
- CN106062815B CN106062815B CN201580006546.0A CN201580006546A CN106062815B CN 106062815 B CN106062815 B CN 106062815B CN 201580006546 A CN201580006546 A CN 201580006546A CN 106062815 B CN106062815 B CN 106062815B
- Authority
- CN
- China
- Prior art keywords
- point
- sample
- images
- image
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 230000015654 memory Effects 0.000 claims description 32
- 230000000007 visual effect Effects 0.000 claims description 31
- 230000009466 transformation Effects 0.000 claims description 25
- 238000013139 quantization Methods 0.000 claims description 10
- 238000000844 transformation Methods 0.000 claims description 8
- 239000007787 solid Substances 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 239000000523 sample Substances 0.000 description 76
- 238000004891 communication Methods 0.000 description 21
- 238000003860 storage Methods 0.000 description 21
- 238000006073 displacement reaction Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 239000012472 biological sample Substances 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 238000000151 deposition Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000000429 assembly Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 239000012620 biological material Substances 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 238000013396 workstream Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Geometry (AREA)
Abstract
本文描述一种方法,其用于使用点的图案(例如准周期栅格)调整样本的一或多个图像以校正几何失真及/或使所述一或多个图像适当地对准。
Description
相关申请案的交叉参考
本申请案主张2014年1月10日申请的第61/926,246号美国临时专利申请案的优先权及权益,且所述美国临时专利申请案以全文引用方式并入本文中。
技术领域
本发明大体上涉及用于图像校正的方法及***。更特定来说,在某些实施例中,本发明涉及使用准周期栅格的图像校正。
背景技术
获取的图像可能含有几何失真-例如可能是难以校正的径向失真、投影失真及球面失真及色像差。举例来说,针对几何失真或其它光学像差或伪影,期望校正使用一或多个摄像机(例如,各自捕获不同的光谱带)所获取的显微图像集合。图像校正在(例如)出于临床或研究目的的生物样本的成像的应用中尤其重要,在临床或研究中,所获取的图像必须精确地表示被成像的真实对象。
在由单个摄像机或多个摄像机获得样本的多个图像的情况下,还期望配准那些图像以产生复合图像及/或使一个图像中所捕获到的场与其它图像中所捕获到的场有关。举例来说,给定生物样本的图像集合可包含在多个光谱带及/或各种放大率下所获得的图像。在个别图像中存在几何失真的环境下,可能使此类配准任务变得复杂。
在图像的集合包含多个视场(例如,重叠场)的情况下,可能还需要配准图像集合中所捕获到的那些多个视场。
对于个别图像,在无参考帧的情况下不能精确地得知图像的坐标与真实空间中的坐标之间的关系。此外,对于使用多个摄像机所获得的相同样本的图像集合,图像中的坐标与真实空间中的坐标之间的关系对不同摄像机可能为不同的,且因此,图像可能相对于彼此而偏置。此外,在具有不止单个视场的情况下,不能精确得知真实空间中的视场中的移位。可能需要对图像集合进行图像配准,即,使图像集合与固定坐标***有关。
可用于校正图像失真的一种技术是:使用具有已知(或可确定的)几何形状的测试图案以便确定如何调整在相同的条件下使用相同摄像机所获得的样本的图像,例如,在相对于被成像的对象的与使测试图案成像相同的固定相对位置中使用摄像机。举例来说,可将具有定位于其上的以荧光方式标记的不同尺寸的珠的载玻片用作测试图案,且可使用珠测试图案的图像以确定如何调整在相同条件下所获得的样本的图像。然而,在使用真实珠作为用于图像调整的测试图案时可能会遇到各种困难。困难之一是:不同的放大率需要不同尺寸的珠。此外,珠可能不能适当地分散,或它们可能太难清楚地成像。此外,成像及图像校正过程可能为乏味且耗时的。
需要一种用于调整样本的一或多个图像以校正几何失真及/或使所述一或多个图像适当地对准的更简单、更有效的方法。
发明内容
本文描述用于使用点(例如,布置于准周期晶格中)的图案调整样本的一或多个图像以校正几何失真及/或使所述一或多个图像适当地对准的***及方法。通过使用摄像机获得点的图案的图像,有可能比较点的经成像位置与图案的点的预期(实际)位置,且因此确定适用于图像的会将点的相对位置移位到其实际真实世界位置的几何变换。接着,可将相同变换应用到样本(例如,生物样本)或使用相同摄像机以与用于获得点的图案的图像相同的配置获得的其它对象的图像,借此校正图像中的失真。类似地,在一些实施例中,所述方法用于同时(或基本上同时)相对于彼此配准相同样本的多个图像及/或校正那些图像的失真。
在一些实施例中,准周期晶格的使用提供优于使用周期晶格使多个图像相对于彼此配准及/或校正图像失真的数个益处。使用准周期晶格优于周期晶格的益处之一是可避免按栅格周期的配准的数个可能误差,然而同时可保存平均栅格密度,从而允许使用准周期晶格以校正所关注的整个场内的图像像差。此外,通过使用准周期晶格还保存了所界定的(例如,量化的)几何特性,例如,保存了在晶格的主方向(量化角度)上距最近的邻近者的距离。因此,可识别晶格的点,且可产生以字母数字字符串描述每一点且记录其xy位置的字典。可使用所述字典搜索在准周期图案的图像中所识别的点的预期xy位置。
此外,在某些实施例中,准周期晶格在不同“代”的顶点处具有经不同地设定大小的点。此允许在广泛范围的各种放大率(例如,1.25X、2X、3X、4X、5X、5到10X、5到15X、10到20X、10到30X、10到50X、25到75X、75到100X、75到150X及其它所要放大率)上使用单个图案。
在一些实施例中,点的图案为具有以下性质中的一者、两者、三者或全部四者的准周期图案:(i)局部唯一性,即,通过扫描图案的图像的足够大的部分,有可能识别图案的正确位置;(ii)大约均匀的点的局部密度;(iii)根据容易识别的、量化的最近的邻近者关系使经成像点与其在图案中的预期位置匹配的能力;及(iv)图案元素具有可能共同位置的离散集合。在本文中,局部唯一性不一定要求在具有相同最近的邻近者关系的整个图案中仅存在单一点。因为识别图像中的多个点(例如,从约10到约600,例如,从约10到约50、从约10到约100、从约100到约300、从约200到约500、从约400到约600等等),所以将存在靠近在一起的点的区域(积累区域),且可基于积累区域的位置识别正确的对应点。因此,在一些实施例中,图案可具有数百万的点(例如,1到5百万个,例如,2百万个点),且仍有可能十分迅速地扫描图案的图像且十分迅速地识别对应的正确位置。
在某些实施例中,使用五边形的晶格。在某些实施例中,通过五边形的三角测量(例如,五边形的黄金分割三角测量(或其它量化三角测量))形成几何图案。在一些实施例中,可使用具有非五边形形状的晶格。
在一个方面中,本发明涉及一种用于调整样本的一或多个图像以校正几何失真及/或使所述一或多个图像对准的方法,所述方法包含:使用一或多个摄像机在相对于样本的固定位置处获得所述样本的一或多个图像;使用所述相同的一或多个摄像机在用于(或将用于)获得所述样本的所述一或多个图像的相同固定位置中获得二维图形图案的一或多个图像,其中所述图形图案是包括界定一或多种类型的几何形状的顶点处的点的晶格,其中所述点晶格为非周期的(例如,准周期的),且其中可确定经成像点的绝对(例如,预期)位置;及由计算装置的处理器使用所述二维图形图案的所述一或多个图像自动调整所述样本的所述一或多个图像以校正几何失真及/或使所述样本的所述一或多个图像对准。
在一些实施例中,所述点晶格为层级的。在一些实施例中,所述点晶格具有以下性质中的一者、两者、三者或全部四者:(i)局部唯一性(例如,即,通过扫描所述图案的图像的足够大的部分,有可能识别所述图案的正确部分);(ii)大约均匀的点的局部密度;(iii)根据容易识别的、量化的最近的邻近者关系使经成像点与其在所述图案中的预期位置匹配的能力;及(iv)图形图案的点具有可能共同位置的离散集合(例如,并非无限的)。
在一些实施例中,自动调整样本的一或多个图像的步骤包含:根据一或多个配准图像中的经成像点与所述点的经确定绝对位置(例如,点中心的绝对坐标)之间的映射,确定一或多个几何变换;及将所述一或多个几何变换应用到所述样本的所述一或多个图像以校正所述样本的所述一或多个图像中的几何失真及/或使所述样本的所述一或多个图像对准。在一些实施例中,所述样本的所述一或多个图像包含多井微量滴定板的一或多个图像,且其中所述一或多个摄像机包括微板成像器的一或多个摄像机。
在一些实施例中,所述图形图案相对于所述一或多个摄像机存在于与所述样本相同平面,或大约相同的平面。在一些实施例中,所述图形图案的点包含封闭圆圈、开口圆圈、封闭非圆形形状及/或开口非圆形形状。在一些实施例中,所述图形图案的所述点为界定被细分成三角形(例如,两种三角形)的五边形的顶点。在一些实施例中,所述点晶格为层级的,其中层级意味着所述图案包含根据其属于多个代中的哪一者而被不同地设定大小的点(例如,属于第一代的较大点集合、属于通过将由所述第一代点界定的形状细分而形成的第二代的较小点集合、属于通过将由所述第一及/或第二代点界定的形状细分而形成的第三代的甚至更小点集合等等)。
在一些实施例中,通过在固定数目的主方向上检测距经成像点的最近的邻近者(例如,在所述给定主方向上的最近的相同代邻近者)的距离以识别所述几何图案的对应唯一点及其已知绝对位置来确定经成像点的所述绝对位置。
在一些实施例中,所述方法还包含:在不同波长下使用多个摄像机获得样本的多个图像,或使用一个摄像机多次获得样本的多个图像;及在不同波长下使用二维图形图案的一或多个图像校正几何失真及/或使所述样本的所述多个图像对准(例如,配准所述样本的所述多个图像),其中所述图形图案的点晶格为非周期的(例如,准周期的)。在一些实施例中,所述图形图案也为层级的。
在一些实施例中,所述方法还包含:使用多个摄像机获得样本的多个图像,借此获得具有不同视场的图像;及使用通过使用所述多个摄像机获得的二维图形图案的图像校正几何失真及/或使所述样本的所述多个图像对准(例如,以配准所述样本的所述多个图像),其中所述图形图案的点晶格为非周期的(例如,准周期的)。在一些实施例中,所述图形图案也为层级的。
在一些实施例中,所述方法还包含:在多个分辨率(例如,多个放大率)下获得样本的多个图像;及使用二维图形图案的图像校正几何失真及/或使所述样本的所述多个图像对准(例如,以配准所述样本的所述多个图像),其中点的图形图案为层级的。
在另一方面中,本发明涉及一种用于调整样本的一或多个图像以校正几何失真及/或使所述一或多个图像对准的***,所述***包含:处理器;及存储器,其具有存储于其上的指令,其中当由所述处理器执行所述指令时,引起所述处理器:使用二维图形图案的一或多个图像自动调整所述样本的所述一或多个图像以校正几何失真及/或使所述样本的所述一或多个图像对准,其中所述图形图案是包括界定一或多种类型的几何形状的顶点处的点的晶格,其中所述点晶格为非周期的(例如,准周期的),其中可确定所述经成像点的绝对(例如,预期)位置,且其中使用相同的一或多个摄像机在用于(或将用于)获得所述样本的所述一或多个图像的相同固定位置中获得所述二维图形图案的所述一或多个图像。
在另一方面中,本发明涉及一种用于配准捕获不同视场的多个图像的方法,所述方法包含:用多个摄像机在相对于彼此的固定相对位置处及在真实空间中相对于样本的固定位置处获得所述样本的第一图像集合(例如,由微板成像器获得的多个井的图像),每一摄像机处于固定的放大率下,其中所述多个摄像机的视场并非为共同延伸的(例如,所述摄像机的所述视场彼此不同,但可重叠);使用所述多个摄像机在相对于彼此的所述相同固定相对位置处、在相对于二维图形图案的所述相同固定位置处且在与用于获得所述样本的所述第一图像集合相同的固定放大率下获得所述图形图案的第一配准图像集合(例如,图形图案相对于所述摄像机存在于与所述样本相同平面,或大约相同的平面)(例如,其中所述图形图案覆盖所述多个摄像机的整个视场),其中所述图形图案为包括界定一或多种类型的几何形状(例如,被细分成两种三角形的五边形)的顶点处的点(例如,封闭圆圈、开口圆圈、封闭非圆形形状及/或开口非圆形形状)的层级的、非随机的、非周期的(例如,准周期的)晶格,其中所述图案包括根据其属于多个代中的哪一者而被不同地设定大小的点(例如,属于第一代的较大点集合、属于通过将由所述第一代点界定的形状细分而形成的第二代的较小点集合、属于通过将由所述第一及/或第二代点界定的形状细分而形成的第三代的甚至更小点集合等等),借此允许在广泛范围的放大率上使用单个图案以配准来自所述多个摄像机的图像,其中所述点相对于彼此的位置为已知的;由计算装置的处理器使用所述二维图形图案的至少所述第一配准图像集合自动确定所述多个摄像机的图像场的相对位置;由所述计算装置的所述处理器根据所述图像场的所述经确定相对位置使所述样本的所述第一图像集合相对于彼此自动配准(例如,根据所述图像场的所述经确定相对位置将一或多个几何变换应用到所述样本的所述第一图像集合)。
在一些实施例中,所述方法还包含:由计算装置的处理器以图形方式再现来自样本的第一配准图像集合的复合图像。在一些实施例中,自动确定多个摄像机的图像场的相对位置包含:识别所述第一配准图像集合中所捕获到的图案的点的唯一真实空间位置。
在一些实施例中,自动确定多个摄像机的图像场的相对位置包含:从图案的已知相对位置约束衍生第一配准图像集合中所捕获到的所述图案的点的唯一真实空间位置(例如,经量化的最近的邻近者位置及/或角度)。
在一些实施例中,经不同地设定大小的点包括:具有第一尺寸且属于第一代的最大点集合;具有小于所述第一尺寸的第二尺寸且属于通过将由所述第一代点界定的形状细分而形成的第二代的点集合;及具有小于所述第二尺寸的第三尺寸且属于通过将由所述第一及/或第二代点界定的形状细分而形成的第三代的点集合。
在另一方面中,本发明涉及一种用于配准捕获不同的视场的多个图像的***,所述***包含:处理器;及存储器,其具有存储于其上的指令,其中当由所述处理器执行所述指令时,引起所述处理器:使用二维图形图案的至少第一配准图像集合确定多个摄像机的图像场的相对位置,其中所述第一配准图像集合为使用所述多个摄像机在相对于彼此的相同固定相对位置处、在相对于二维图形图案的相同固定位置处且在与用于获得样本的第一图像集合相同的固定放大率下所获得的所述图形图案的图像(例如,所述图形图案相对于所述摄像机存在于与所述样本相同平面,或大约相同的平面)(例如,其中所述图形图案覆盖所述多个摄像机的整个视场),其中所述多个摄像机的所述视场并非为共同延伸的(例如,所述摄像机的所述视场彼此不同,但可重叠),其中所述图形图案为包括界定一或多种类型的几何形状(例如,被细分成两种三角形的五边形)的顶点处的点(例如,封闭圆圈、开口圆圈、封闭非圆形形状及/或开口非圆形形状)的层级的、非随机的、非周期的(例如,准周期的)晶格,其中所述图案包括根据其属于多个代中的哪一者而被不同地设定大小的点(例如,属于第一代的较大点集合、属于通过将由所述第一代点界定的形状细分而形成的第二代的较小点集合、属于通过将由所述第一及/或第二代点界定的形状细分而形成的第三代的甚至更小点集合等等),借此允许在广泛范围的放大率上使用单个图案以配准来自所述多个摄像机的图像,其中所述点相对于彼此的位置为已知的;及根据所述图像场的所述经确定相对位置使所述样本的所述第一图像集合相对于彼此配准(例如,根据所述图像场的所述经确定相对位置将一或多个几何变换应用到所述样本的所述第一图像集合)。
在另一方面中,本发明涉及一种具有存储于其上的指令的非暂时性计算机可读媒体,其中当由处理器执行所述指令时引起所述处理器:使用二维图形图案的至少第一配准图像集合确定多个摄像机的图像场的相对位置,其中所述第一配准图像集合为使用所述多个摄像机在相对于彼此的相同固定相对位置处、在相对于二维图形图案的相同固定位置处且在与用于获得样本的第一图像集合相同的固定放大率下所获得的所述图形图案的图像(例如,所述图形图案相对于所述摄像机存在于与所述样本相同平面,或大约相同的平面)(例如,其中所述图形图案覆盖所述多个摄像机的整个视场),其中所述多个摄像机的所述视场并非为共同延伸的(例如,所述摄像机的所述视场彼此不同,但可重叠),其中所述图形图案为包括界定一或多种类型的几何形状(例如,被细分成两种三角形的五边形)的顶点处的点(例如,封闭圆圈、开口圆圈、封闭非圆形形状及/或开口非圆形形状)的层级的、非随机的、非周期的(例如,准周期的)晶格,其中所述图案包括根据其属于多个代中的哪一者而被不同地设定大小的点(例如,属于第一代的较大点集合、属于通过将由所述第一代点界定的形状细分而形成的第二代的较小点集合、属于通过将由所述第一及/或第二代点界定的形状细分而形成的第三代的甚至更小点集合等等),借此允许在广泛范围的放大率上使用单个图案以配准来自所述多个摄像机的图像,其中所述点相对于彼此的位置为已知的;及根据所述图像场的所述经确定相对位置使所述样本的所述第一图像集合相对于彼此配准(例如,根据所述图像场的所述经确定相对位置将一或多个几何变换应用到所述样本的所述第一图像集合)。
关于本发明的给定方面所描述的实施例的元件可用于本发明的另一方面的各种实施例中。举例来说,应期望,取决于一个独立技术方案的附属技术方案的特征可用于任何其它独立技术方案的设备及/或方法中。
附图说明
参考下文所描述的图式及权利要求书可更好地理解本发明的目的及特征。图式不一定是按比例的,而是通常将重点放在说明本发明的原理上。在图式中,使用相似的元件符号指示贯穿各种视图的相似部件。
虽然本文参考特定实例及特定实施例特别展示及描述本发明,但所属领域的技术人员应理解,可在不背离本发明的精神及范围的情况下,在其中的形式及细节上作出各种改变。
图1展示根据本发明的一些实施例由五边形的黄金分割三角测量所执行的栅格精细化的实例。
图2展示根据本发明的一些实施例通过执行图1中所展示的五边形的黄金分割三角测量所产生的图案,其中每一栅格点具有唯一的邻近者图案。
图3A展示根据本发明的一些示范性实施例满足某些制造要求的图案。图3A展示具有最大10.5mm×10.5mm的视场的完整图案布局(22mm宽)。图3A所展示的帧具有分辨率2X、10X、40X及100X。图3A包含5种尺寸(代)的点,在图3B到3F中进一步详细展示所述点。
图3B展示根据本发明的一些实施例用于图3A中所展示的图案布局的具有2X放大率的400×400像素图。
图3C展示根据本发明的一些实施例用于图3A中所展示的图案布局的具有10X放大率的400×400像素图。
图3D展示根据本发明的一些实施例用于图3A中所展示的图案布局的具有40X放大率的400×400像素图。
图3E展示根据本发明的一些实施例用于图3A中所展示的图案布局的具有100X放大率的400×400像素图。
图3F展示根据本发明的一些实施例用于图3A中所展示的图案布局的在100X放大率下的22.5微米圆盘(点)。
图4说明根据本发明的一些实施例识别计算栅格中的经成像点从而产生经成像点的绝对坐标。
图5展示根据本发明的一些示范性实施例匹配特定应用的给定约束集合(表设计已经保留23×26mm2图案区域)的准周期栅格的五边形轮廓。
图6A到F展示根据本发明的一些实施例在所指示的放大率(为更易观察起见,被剪裁成1000×1000像素且被限制为2X)下产生的点图像。图6A展示在1.25X放大率下所产生的点图像。图6B展示在5X放大率下所产生的点图像。图6C展示在10X放大率下所产生的点图像。图6D展示在20X放大率下所产生的点图像。图6E展示在40X放大率下所产生的点图像。图6F展示在66X放大率下所产生的点图像。
图7说明根据本发明的一些实施例在图案五边形外添加额外线。
图8证实根据本发明的一些实施例使用准周期栅格图案调整样本的图像所确定的几何变换的使用。图8展示来自两个通道的初始图案叠加(左上部)、来自两个通道的初始样本图像叠加(右上部)及来自图案图像的经确定向量场(左下部)。
图9证实根据本发明的一些实施例使用准周期栅格图案调整样本的图像所确定的几何变换的使用。图9展示经校正样本图像的两通道叠加。
图10说明根据本发明的一些实施例使用多个摄像机成像的多个场,其中在场中存在重叠。
图11是用于本文中所描述的图像校正方法及***中的实例网络环境的框图。
图12是用于本发明的说明性实施例中的实例计算装置及实例移动计算装置的框图。
具体实施方式
应预期,所主张的本发明的设备、***、装置、方法及过程涵盖使用来自本文中所描述的实施例的信息所发展的变化及调适。可由相关领域的一般技术人员执行本文中所描述的***、装置、方法及过程的调适及/或修改。
贯穿描述,在其中将设备、物品、装置及***描述为具有、包含或包括特定组件的情况下,或在其中将过程及方法描述为具有、包含或包括特定步骤的情况下,应预期,另外存在本发明的基本由所述组件组成或由所述组件组成的物品、装置及***,且存在根据本发明的基本上由所述处理步骤组成或由所述处理步骤组成的过程及方法。
应理解,只要本发明依然为可操作的,那么步骤的顺序或用于执行某一动作的顺序并不重要。此外,可同时实施两个或两个以上步骤或动作。
举例来说,在背景技术部分中,本文对任何公开案的提及并非承认所述公开案用作相对于本文所呈现的任何技术方案的现有技术。为清楚起见呈现背景技术部分且其并不意味是相对于任何技术方案的现有技术的描述。
本文描述用于调整样本的一或多个图像以校正几何失真及/或使所述一或多个图像适当地对准的***及方法。在某些实例中,样本为含有生物材料的井的微量滴定板。先前图像对准方法涉及:获得具有定位于其上的以荧光方式标记的不同尺寸的珠的载玻片的测试图像。此技术经受数个不同缺点。本文中所论述的一些实施例涉及使用允许在多种放大率上进行图像调整及配准的人工点图案。
举例来说,在一些实施例中,获取点的图案的一或多个图像,且对于每一图像,确定预期的无失真点的位置(例如,“真实世界”坐标)且比较其在图像中的位置。在一些实施例中,计算将经成像点的中心移动到其预期位置(其“真实世界”位置)的几何变换,且存储所述变换。接着,对于待成像的每一样本(例如,生物样本),使用与用于获得点的图案的图像相同的摄像机设置获取样本的图像集合。将所存储的使用点的图案所确定的几何变换应用到样本的图像以执行校正/配准,且存储及/或显示经校正的图像。
在一个实施例中,使用与用于(或将用于)获得样本(或其它对象)的图像相同的摄像机或相同的摄像机集合获得准周期栅格图案的一或多个图像的集合。相同摄像机调整及视场的相同相对定位如用于获得样本的图像般用于获得栅格图案的图像。因此,当获得样本的图像及栅格图案的图像时,假定在类似(或相同)光学条件及/或不同摄像机的相对对准下进行使用相同摄像机获得图像,且假定图像场的相对位移保持恒定。
然后,在一些实施例中,使用准周期栅格的已知性质重建所获取的图像的真正几何形状。此步骤消除由光学***诱发的几何失真。在一些实施例中,一种方法涉及:使用经成像图案的局部唯一性识别图案中的点及根据栅格图案的已知设计确定其真正位置。在另一方法中,使用准周期栅格的几何性质以从用于产生图案的已知相对定位约束(例如,量化的最近的邻近位置及量化角度)衍生出真正几何形状。从真正几何形状的知识衍生出消除几何失真的变换。
然后,在一些实施例中,在获得来自不同摄像机的图像的情况下,使用图案中所识别的经成像点的已知唯一位置使来自不同摄像机的图像彼此有关。然后,如果已知经成像点的唯一位置,那么衍生出图像场的相对位置,或如果图像场捕获部分重叠区域,那么可确定所述场的相对位置。
最后,在一些实施例中,可将上文步骤中所衍生出的几何变换应用到使用与用于获得准周期栅格图案的图像相同的摄像机及相同光学布置所获得的样本(或其它对象)的图像。
准周期晶格的使用提供优于使用周期晶格的数个益处。在一些实施例中,通过使用准周期晶格避免了按栅格周期的配准误差,而同时保存了平均栅格密度且保存了界定的(例如,量化的)几何特性(例如,最近的邻近者长度及角度)。
在一些实施例中,准周期晶格在不同“代”的顶点处具有经不同地设定大小的点((例如)如图1中所展示)。此允许在广泛范围的不同放大率上使用单个图案。
此外,在一些实施例中,图案为对称五边形的栅格。获得此类晶格的一种方式是:产生彭罗斯拼图(Penrose tiling)且使图案(点)的结构元素与拼图位置或顶点相关联。在一种方法中,图案从被细分成两种三角形的五边形开始,所述两种三角形以形成相同形状的新三角形的黄金分割被层级地细分((例如)如图1中所展示)。渐减尺寸的点在新产生的顶点处相关联。
在一些实施例中,需要非周期栅格(例如,并非通过其点的转变而复制的栅格)以避免点的错误匹配。举例来说,用于调整样本的一或多个图像以校正几何失真及/或使所述一或多个图像适当地对准的过程在其中无法确定给定点的唯一位置的情况下将不起作用。此外,在一些实施例中,期望图案的点均匀地填入所关注的场,使得可校正整个场。此外,在一些实施例中,期望点尺寸的层级在不同比例(例如,不同分辨率/放大率)下同时起作用。准周期栅格图案可提供上文所提及的全部这些期望性质以及其它性质。准周期栅格的一种适合图案类似于彭罗斯拼图。举例来说,五边形的黄金分割三角测量可产生具有所要性质的图案。在栅格精细化的每一步骤处,位于顶点处的点的尺寸减小,如图1中所展示。
图1展示通过执行如上文所论述的五边形的黄金分割三角测量的栅格精细化的实例。三角形的顶点处的较小点属于随后的代。
图2展示通过执行如上文所论述的黄金分割三角测量所产生的图案。图2中所展示的图案经设计使得每一栅格点具有唯一的邻近者图案。在一些实施例中,有可能使用邻近者的局部图案(例如,经由自动扫描图像)以识别图案的图像中的每一特定栅格点及比较每一特定栅格点在图像中的位置与其在图案中的预期位置,借此使图像中的位置与其预期位置相联系且使得能够校正起因于差异的任何失真。对使用相同摄像机布置所获得的样本的图像进行相同校正。
在某些实施例中,图案经稍微旋转以避免与图像边缘平行对准(及避免任何所得失真)。举例来说,可将图像旋转1到30度(例如,旋转9度)。在一些实施例中,可将图像旋转1到5度、3到10度、5到15度、10到15度、10到20度、15到25度、25到30度。在一些实施例中,可将图像旋转任何适合度数。
图3A展示满足某些制造要求的栅格图案。举例来说,在图3A中,显示具有10.5mm×10.5mm的最大视场及具有分辨率2X、10X、40X及100X的900×900像素的帧的完整图案布局(22mm宽)。图3B展示具有2X放大率的400×400像素图;图3C展示具有10X放大率的400×400像素图;图3D展示具有40X放大率的400×400像素图;且图3E展示具有100X放大率的400×400像素图。在图3A到3E中所展示的视图中,存在5种尺寸(代)的点,如下文表1中所展示。
表1:图3A到3F中的点的分布
直径(μm) | 最小距离(μm) | 最大距离(μm) | 计数 |
1.0 | 9.3 | 15.0 | 2521295 |
2.2 | 24.3 | 39.3 | 368322 |
4.7 | 63.7 | 103.1 | 53917 |
10.3 | 166.8 | 270.0 | 7935 |
22.5 | 436.9 | 706.9 | 1406 |
在上文表1的最后一列(标记为“计数”)中,存在简单的规律:计数随着点的直径的增加而减小。点之间的距离如黄金分割方(φ2=1.6182=2.618)般按比例调整,且面积/计数如黄金分割四次方(1.6184=6.854)般按比例调整。因此,如表1中所展示,对于直径=1μm的最大的点,到随后点的最小距离为9.3μm,到随后点的最大距离为15.0μm,且计数为2521295。对于下一最大点,直径为2.2μm,到随后点的最小距离为24.3μm,到随后点的最大距离为39.3μm,且计数为368322。点直径的尺度经选择以比线性尺寸略慢地增长使得较大点(圆盘)并未过度地覆盖较大区域,有可能隐蔽较小点。图3F展示100X放大率下的22.5微米圆盘。
紧接着每一点的图案的局部唯一性允许识别经计算栅格中的经成像点,且因此产生经成像点的绝对坐标。图4以图形方式证实此性质。在主方向(量化角度)上从每一点到其最近的邻近者的距离包括点的签名。此外,栅格具有使得最近的邻近者距离被量化的性质。如果最小长度为1,那么下一距离值为黄金分割(φ=1.618)倍大,且下一距离为φ2倍大,再下一距离为φ3倍大等等。如果将距离对应地标记为1、2及3及甚至更远离0的那些值,那么任何点可以具有10个数位的字(字母数字序列)为特征,针对每一数位具有4个可能值。在图4中的说明中,点签名为3023323102。每一点的签名被存储于字典中。在一些实施例中,字典含有点的xy位置以及其签名。
在一些实施例中,在含有2百万个点的整个栅格中,签名并非为唯一的。但通过在字典中搜索许多点,将存在靠近在一起的点的区域(积累区域),且因此可识别唯一点。此同样也提供误差校正机构。举例来说,即使部分点签名含有误差,仍有可能识别其中多数被正确地识别的点靠近在一起的几何区域。
在一些实施例中,可观察签名的旋转不变量。在一些实施例中,点与其旋转一起具有相同的不变量。接着,可获得离散傅里叶变换。幅度A0、A1、……A5为6个不变量。傅里叶分量A1、……A4具有虚部且因此具有相位。相位的三个组合为旋转不变量:
Φ1+Φ2+Φ3+Φ4mod(2π)
Φ3–2Φ2+Φ1
Φ4–2Φ3+Φ2
一旦图像中的点与经设计的图案中的点匹配,那么点之间的几何关系变为已知的。接着,有可能消除可归因于不同摄像机的使用而发生的位移,且还消除可能的投影失真及球面失真。在一个非限制性实例中,使用样条逼近执行图像到栅格的一部分的映射,但同样也可使用其它已知技术将图像映射到栅格的一部分。
在某些实例中,执行确定性的三角形分割,例如,其中使用两种类型的三角形(平面三角形及高三角形),其各自具有5种可能定向、每一者具有2个镜及额外的2个分割定向(右边及左边)。在一些实施例中,在仅使用单边三角形的情况下,可能存在太多的图案副本。在一些实施例中,图案为所要的,使得在每一图像放大处,有可能唯一地定位栅格中的经成像点。在一些实施例中,减少这些副本的一种方法是使用三角形的随机化旋向性。
因此,在某些实施例中,三角形分割经随机化以避免重复图案区域。此外,在某些实施例中,期望避免重叠点。此外,在一些实施例中,期望使较小点变为白色(或与较大点相比的另一适合色彩),使得当其在较大的点内侧时其仍能够在图像中可见。此外,在一些实施例中,平衡所述点(例如,贯穿图案而分布)使得可在不同的放大率下接近所述点。
在又一实例中,图像尺寸为2160×2160像素,且点的数目被优化到所述尺寸。因此,在一些实施例中,点的数目被优化到图像的尺寸。举例来说,可应用下文表2中所展示的以下放大率及图像分辨率:
表2:图像的放大率及图像分辨率
放大率(X) | 分辨率(μm) | 图像宽度(mm) |
1.25 | 4.8 | 10.368 |
5 | 1.2 | 2.592 |
10 | 0.6 | 1.296 |
20 | 0.3 | 0.648 |
40 | 0.15 | 0.324 |
66 | 0.091 | 0.196 |
在一些实施例中,可能存在对图案点尺寸及密度的某些约束。举例来说,约束可为最小点尺寸,例如,3微米,其对应于66X放大率下的约33个像素。接着,第一代G1点尺寸随后在1.25X下为最小的4.8px,其为约23微米。接着,下一代G2点尺寸随后比G1小2X以保证1.25X下的可靠分类。最后一(第三)代点必须保持距G1中心足够的距离,例如,L=R(G1)+3μm+1.5μm=16μm。此条件约束可实现的点密度。对于每一放大率,可使用具有用于检测(例如,用于执行)的足够直径的全点代,可丢弃一些代中的全部点以减小点的数目。在某些实施例中,每图像所使用(匹配)的点的所要数目在200到600的范围内,其足以用于二次变形,且同时,所述数目并非高得会降低计算速度。因此,在一些实施例中,计算点的最优数目,且使用所述数目使得可快速地执行计算,同时仍实现图像的精确度的所要等级。
在一些实施例中,对定位于图案内部的场存在约束。举例来说,在一些实施例中,可能计划例行地使用为约60%对角偏移的两个场。在一些实施例中,对角偏移可为任何所要百分比。在一些实施例中,方向及移位将决定相对于板坐标的图案角度及比例。举例来说,有可能使用图案的制造尺寸来界定比例,但如果制造尺寸与表的尺寸不一致,那么当拼接时可能存在非匹配的图像边缘。在一些实施例中,期望保证足够的定位容差,使得经对角地放置的场在图案区域内。
图5展示匹配特定应用的给定约束集合的准周期栅格的实例五边形轮廓。在本文中,表设计保留23×26mm2的图案区域。已知在具有合理的点密度的情况下,根据本文中所论述的一些实施例有可能实现设定大小为约21到25mm的图案。在一个实例中,选择拟合到表约束中的最大值。最大视场(下文中为“FOV”)为约10.5mm,其中60%重叠,且可将23.25mm的图案尺寸(21.8mm的边界框)定位于具有0.5mm容差(间隙)的图案内。在具有64%的重叠的情况下可实现1mm的容差。22mm的宽度也将围绕图案拟合五边形轮廓结构,其中在两个侧上具有额外100μm。在两个侧上还将水平地呈现1mm的额外空间。
现在可衍生出图案参数。在此实例中,23.25mm的图案尺寸可在执行29次迭代时在66X下提供每图像212个点。如果期望使区域变得更大以将FOV更自由地拟合到图案中,那么可能需要至少第30次迭代,此使G1及G5距离下降黄金分割(φ=1.618)。下一可用的图案尺寸范围在34到38mm的范围内。因此,在此实例中,选择29次迭代,填充5个点代。上文解释G1与G2点之间的较大尺寸差异(G2比G1约小2X以保证1.25X下的可靠分类)。点G3、G4及G5的剩余部分依循在3μm的‘制造限制’最小点尺寸的光谱内,而如果假定泊松噪声,那么半径中的线性步骤也为优化的以在标准衍生的相等步骤处产生区域。
δA~√A~R
现在可针对此实例确定不同代及放大率下的平均点计数、点尺寸(D)及平均最近邻近者点与点距离(NNDDD),如下文表3中所展示。
表3:图6A到6F中的不同放大率的点特性
图6A到F展示在所指示的放大率(为更好地观察起见,被剪裁成1000×1000像素且被限制为2X)下所产生的点图像。如可从图6F中的66X图像所见,在某些实施例中,期望将白色孔呈现于黑色G1及G2点的中心中,否则G1及G2点部分在视场外,质量中心并未良好地界定,且丢弃这些点将留下太大的清空区域(其将导致精确度的损失)。在本文中,G1与G5点之间的间隙为3μm,且中心到中心距离为16μm。
在某些实施例中,在图案五边形外部添加额外线,如图7中所展示。举例来说,从五边形的顶点到线的距离可被选择为R(G1)+间隙+半宽。线应具有半宽=10μm及3.5μm的间隙。最大点半径R(G1)=11.5μm。归因于线,五边形边界框按约80μm从21.84mm增长到21.92mm。
图8及9证实使用准周期栅格图案以调整样本的图像所确定的几何变换的使用。图8展示来自两个通道的初始图案叠加(图8的左上部)及来自两个通道的初始样本图像叠加(图8的右上部),其中点的图案的图像叠加及样本的图像叠加均展现通道的失真及/或未对准。首先,确定从图案的构造已知的图案的图像上的每一点的预期(绝对或相对)位置。从经确定的预期位置,获得从预期位置指向到经测量图像中的点的实际位置的移位的场(参见图8,左下部图像)。(例如)由一或多个多项式函数(例如,对应于x及y方向上的移位的两个函数,两者均为图像中的x及y位置的函数)粗略估计经确定的移位的场。多项式系数的组合可被解释为移位、按比例缩放、旋转及非线性变形。接着,只要所测量的光的光学路径与图案测量的光学路径至少大约相同,就可将多项式函数应用到样本的图像以校正几何失真。通过使全部经测量的图像与相同的预期图案位置对准,全部经测量的图像相对于彼此自动对准(图像自动配准)。
图9展示经校正样本图像的两通道叠加。
因此,在某些实施例中,用于图像对准及几何校正的一般工作流包含以下步骤:
1、获取图案的图像的集合,且对于每一图像:
a、找出预期无失真点的位置;及
b、计算将点中心带到预期位置的几何变换;及
c、存储所述变换。
2、对于每一样本:
a、获取样本的图像的集合,且对于每一图像:
i、应用几何变换;及
ii、存储所述图像。
在一些实施例中,可由几何重建实现找出预期的无失真点位置。在一个实例中,针对几何重建执行以下步骤:
1、对于图案图像中的每一图像,进行:
a、分割图像以找出所有点;
b、计算点中心;
c、选择图像的中间中的任意点且假定其位置为精确的;
d、预期最近的邻近点处于36°角度,且处于具有比率1、φ、φ2的距离,其中φ为黄金分割φ=1.618……。基于此几何关系,可将预期位置指派到邻近点中的每一者;
e、对于步骤1.d中所识别的每一点,在每一邻域中重复步骤1.d直到在图像中不存在更多点;及
f、丢弃处于相对于其最近的邻近者超过距预期位置的给定容差的相对位置的点。
2、跨越全部图案图像选择(例如,任意地)共同参考点以具有相同的预期位置,且将适当移位应用到预期点中心;
3、选择(例如,任意地)期望将定位最近的邻近者的角度,且因此旋转点的预期坐标;
4、选择(例如,任意地)期望将定位最近的邻近者的基本长度,且因此按比例调整点的预期坐标;
5、作为步骤2到4的结果,经正确地识别的全部点的预期位置必须重合;及
6、存储实际及预期点位置的表。
在一些实施例中,替代方法可为:识别用于图案产生的预期点位置表中的图案图像位置。在本文中,可经由类同于上文的步骤2到4的步骤将预期点位置转变到图像坐标。
在一些实施例中,可计算将点中心变换到预期位置的几何变换。在一些实施例中,可如下执行几何变换:
1、对于对应于图案图像的预期及实际位置的每一表:
a、计算用于将每一个别点移动到预期位置所需的移位。移位的集合与其应用的位置一起在本文中称为移位场;
b、通过由连续模型(例如,二阶多项式)粗略估计找到的移位场来将移位场延伸到整个图像。这可通过最小二乘拟合来实现;及
c、存储对样本图像使用的多项式系数。
接着,在一些实施例中,可对样本图像应用几何变换,举例来说,如下:
1、对于样本的集合中的每一图像:
a、根据建立的多项式,计算对应于图像的每一像素的移位;及
b、将移位应用到图像光栅数据。
图10展示使用多个摄像机(例如,1个以上、2个以上、3个以上、4个以上等等)所成像的多个场,其中在摄像机的场中存在重叠。为获得图10中所展示的图像,使用两个摄像机各自在不同波长下获得两个图像。在一些实施例中,在不同波长下获得全部图像。在一些实施例中,在与至少另一图像相同的波长下获得至少一个图像。在一些实施例中,摄像机的场中的重叠小于5%、约5%、约5%到约10%之间、约5%到约25%之间、约15%与约40%之间、约25%与约50%之间、约35%与约65%之间、约50%与约70%之间、约65%与约95%之间、超过95%、超过99%。可通过使用本文中所描述的实施例对由相同摄像机所获得的多个图像执行图像配准,也可通过使用本文中所描述的实施例对由两个不同摄像机所获得的两组图像执行图像配准,同时都考虑给定视场内的图像像差。
图11展示用于如本文中所描述的图像校正的方法及***中的说明性网络环境1100。简要概述来说,现参看图11,展示及描述示范性云计算环境1100的框图。云计算环境1100可包含一或多个资源提供器1102a、1102b、1102c(统称为1102)。每一资源提供器1102可包含计算资源。在一些实施方案中,计算资源可包含用于处理数据的任何硬件及/或软件。举例来说,计算资源可包含能够执行算法、计算机程序及/或计算机应用的硬件及/或软件。在一些实施方案中,示范性计算资源可包含应用服务器及/或具有存储及检索能力的数据库。可将每一资源提供器1102连接到云计算环境1100中的任何其它资源提供器1102。在一些实施方案中,可在计算机网络1108上连接资源提供器1102。可在计算机网络1108上将每一资源提供器1102连接到一或多个计算装置1104a、1104b、1104c(统称为1104)。
云计算环境1100可包含资源管理器1106。可在计算机网络1108上将资源管理器1106连接到资源提供器1102及计算装置1104。在一些实施方案中,资源管理器1106可有助于由一或多个资源提供器1102将计算资源供应到一或多个计算装置1104。资源管理器1106可从特定计算装置1104接收对计算资源的请求。资源管理器1106可识别能够提供由计算装置1104所请求的计算资源的一或多个资源提供器1102。资源管理器1106可选择资源提供器1102以提供计算资源。资源管理器1106可有助于资源提供器1102与特定计算装置1104之间的连接。在一些实施方案中,资源管理器1106可在特定资源提供器1102与特定计算装置1104之间建立连接。在一些实施方案中,资源管理器1106可将特定计算装置1104重新引导到具有所请求的计算资源的特定资源提供器1102。
图12展示可用于本发明中所描述的方法及***中的计算装置1200及移动计算装置1250的实例。计算装置1200希望呈现各种形式的数字计算机,例如膝上型计算机、桌上型计算机、工作站、个人数字助理、服务器、刀片式服务器、主机及其它适当计算机。移动计算装置1250希望呈现各种形式的移动装置,例如个人数字助理、蜂窝电话、智能电话及其它类似计算装置。本文所展示的组件、其连接及关系及其功能仅意味着实例,且并不意味着具有限制性。
计算装置1200包含处理器1202、存储器1204、存储装置1206、连接到存储器1204及多个高速扩展端口1210的高速接口1208、及连接到低速扩展端口1214及存储装置1206的低速接口1212。使用各种总线互连处理器1202、存储器1204、存储装置1206、高速接口1208、高速扩展端口1210及低速接口1212中的每一者,且所述每一者可被安装于共同的母板上或视情况而以其它方式安装。处理器1202可处理用于在计算装置1200内执行的指令,其包含存储于存储器1204中或存储于存储装置1206上以在外部输入/输出装置(例如,耦合到高速接口1208的显示器1216)上显示用于GUI的图形信息的指令。在其它实施方案中,可视情况连同多个存储器及多种类型的存储器使用多个处理器及/或多个总线。此外,可连接多个计算装置,其中每一装置提供必要操作的部分(例如,作为服务器库、刀片式服务器的群组或多处理器***)。
存储器1204将信息存储于计算装置1200内。在一些实施方案中,存储器1204为易失性存储器单元。在一些实施方案中,存储器1204为非易失性存储器单元。存储器1204也可为另一形式的计算机可读媒体,例如磁盘或光盘。
存储装置1206能够提供用于计算装置1200的大容量存储。在一些实施方案中,存储装置1206可为计算机可读媒体或可含有计算机可读媒体,例如软盘装置、硬盘装置、光盘装置或磁带装置、快闪存储器或其它类似的固态存储器装置或装置阵列,其包含存储区域网络或其它配置中的装置。可将指令存储于信息载体中。所述指令当由一或多个处理装置(例如,处理器1202)执行时实施一或多个方法(例如,上文所描述的那些方法)。还可由一或多个存储装置(例如计算机或机器可读媒体(例如,存储器1204、存储装置1206或处理器1202上的存储器))存储所述指令。
高速接口1208管理用于计算装置1200的带宽密集操作,而低速接口1212管理较低带宽密集操作。功能的此类分配仅为实例。在一些实施方案中,高速接口1208耦合到存储器1204、显示器1216(例如,通过图形处理器或加速器)且耦合到可接受各种扩展卡(未展示)的高速扩展端口1210。在实施方案中,低速接口1212耦合到存储装置1206及低速扩展端口1214。可包含各种通信端口(例如,USB、以太网、无线以太网)的低速扩展端口1214可(例如)通过网络适配器耦合到一或多个输入/输出装置,例如键盘、指向装置、扫描仪或网络装置(例如交换机或路由器)。
可以数个不同形式实施计算装置1200,如图中所展示。举例来说,可将其实施为标准服务器1220或可在此类服务器的群组中多次实施。此外,可将其实施于个人计算机(例如膝上型计算机1222)中。还可将其实施为机架式服务器***1224的部件。替代地,可将来自计算装置1200的组件与其它组件组合于移动装置(未展示)中,例如移动计算装置1250。此类装置中的每一者可含有计算装置1200及移动计算装置1250中的一或多者,且整个***可由彼此通信的多个计算装置组成。
移动计算装置1250包含处理器1252、存储器1264、输入/输出装置(例如显示器1254)、通信接口1266及收发器1268以及其它组件。移动计算装置1250还可具有用于提供额外存储的存储装置(例如微驱动器或其它装置)。使用各种总线互连处理器1252、存储器1264、显示器1254、通信接口1266及收发器1268中的每一者,且可将若干组件安装于共同的母板上或视情况而以其它方式安装。
处理器1252可在移动计算装置1250内执行指令,其包含存储于存储器1264中的指令。可将处理器1252实施为包含单独及多个模拟及数字处理器的芯片的芯片集。处理器1252可提供(例如)移动计算装置1250的其它组件的协调,例如控制用户接口、由移动计算装置1250运行的应用及由移动计算装置1250进行的无线通信。
处理器1252可通过控制接口1258及耦合到显示器1254的显示器接口1256与用户进行通信。显示器1254可为(例如)TFT(薄膜晶体管液晶显示器)显示器或OLED(有机发光二极管)显示器及其它适当显示器技术。显示器接口1256可包括用于驱动显示器1254将图形及其它信息呈现到用户的适当电路。控制接口1258可从用户接收命令且将其转换成到处理器1252的子任务。此外,外部接口1262可提供与处理器1252的通信,以便启用移动计算装置1250与其它装置的近区域通信。在一些实施方案中,外部接口1262可提供(例如)有线通信,或在其它实施方案中,外部接口1262可提供无线通信,且也可使用多个接口。
存储器1264将信息存储于移动计算装置1250内。可将存储器1264实施为计算机可读媒体、易失性存储器单元或非易失性存储器单元中的一或多者。还可提供扩展存储器1274且通过扩展接口1272将其连接到移动计算装置1250,扩展接口1272可包含(例如)SIMM(单列直插式存储器模块)卡接口。扩展存储器1274可为移动计算装置1250提供额外存储空间或还可存储用于移动计算装置1250的应用或其它信息。特定来说,扩展存储器1274可包含实施或增补上文所描述的处理的指令,且还可包含安全信息。因此,举例来说,可将扩展存储器1274提供为用于计算装置1250的安全模块,且可使用允许安全使用移动计算装置1250的指令对扩展存储器1274进行编程。此外,可经由SIMM卡连同额外信息(例如,可以非法侵入的方式将识别信息放置于SIMM卡上)一起提供安全应用。
存储器可包含(例如)快闪存储器及/或NVRAM存储器(非易失性随机存取存储器),如下文所论述。在一些实施方案中,指令被存储于信息载体中,且所述指令当由一或多个处理装置(例如,处理器1252)执行时实施一或多个方法(例如上文所描述的那些方法)。还可由一或多个存储装置(例如一或多个计算机或机器可读媒体(例如,存储器1264、扩展存储器1274或处理器1252上的存储器))存储所述指令。在一些实施方案中,可(例如)在收发器1268或外部接口1262上以传播信号接收指令。
移动计算装置1250可通过通信接口1266进行无线通信,必要时通信接口1266可包含数字信号处理电路。通信接口1266可提供各种模式或协议下的通信,例如GSM语音通话(全局移动通信***)、SMS(短消息服务)、EMS(增强的信息服务)、或MMS信息服务(多媒体信息服务)、CDMA(码分多址)、TDMA(时分多址)、PDC(个人数字蜂窝)、WCDMA(宽带码分多址)、CDMA2000或GPRS(通用分组无线服务)以及其它通信。可(例如)通过收发器1268使用射频发生此类通信。此外,可(例如)使用Wi-FiTM或其它此类收发器(未展示)发生短程通信。此外,GPS(全球定位***)接收器模块1270可将额外导航及定位有关无线数据提供到移动计算装置1250,所述无线数据可视情况由运行于移动计算装置1250上的应用使用。
移动计算装置1250还可使用音频编解码器1260进行音频通信,音频编解码器1260可从用户接收口头信息且将其转换成可用的数字信息。音频编解码器1260可(例如)通过(例如)移动计算装置1250的听筒中的扬声器同样向用户产生可听见的声音。此类声音可包含来自语音电话通话的声音,可包含所录制的声音(例如,语音消息、音乐文件等等),且还可包含由操作于移动计算装置1250上的应用所产生的声音。
可以数个不同形式实施移动计算装置1250,如图中所展示。举例来说,可将其实施为蜂窝电话1280。还可将其实施为智能电话1282的部件、个人数字助理或其它类似移动装置。
可在数字电子电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件及/或其组合中实现本文所描述的***及技术的各种实施方案。这些不同的实施方案可包含在包含至少一个可编程处理器的可编程***上可执行及/或可解译的一或多个计算机程序中的实施方案,所述可编程处理器可为通用或专用的,经耦合以从存储***、至少一个输入装置及至少一个输出装置接收数据及指令且将数据及指令传输到存储***、至少一个输入装置及至少一个输出装置。
这些计算机程序(也被称为程序、软件、软件应用或代码)包含用于可编程处理器的机器指令,且可以高级程序及/或面向对象的编程语言及/或汇编/机器语言实施所述计算机程序。如本文中所使用,术语机器可读媒体及计算机可读媒体是指用于将机器指令及/或数据提供到可编程处理器的任何计算机程序产品、设备及/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),其包含接收作为机器可读信号的机器指令的机器可读媒体。术语机器可读信号是指用于将机器指令及/或数据提供到可编程处理器的任何信号。
为提供与用户的交互,可将本文所描述的***及技术实施于具有用于将信息显示给用户的显示器装置(例如,CRT(阴极射线管)或LCD(液晶显示器)显示器)及用户通过其可将输入提供到计算机的键盘及指向装置(例如,鼠标或追踪球)的计算机上。同样也可使用其它种类的装置提供与用户的交互;举例来说,提供到用户的反馈可为任何形式的感觉反馈(例如,视觉反馈、听觉反馈或触觉反馈);且可以任何形式从用户接收输入,其包含听觉、语音或触觉输入。
可将本文所描述的***及技术实施于包含后端组件(例如,作为数据服务器)或包含中间件组件(例如,应用服务器)或包含前端组件(例如,具有通过其用户可与本文所描述的***及技术的实施方案交互的图形用户界面或网页浏览器)或此类后端、中间件或前端组件的任何组合的计算***中。可由数字数据通信(例如,通信网络)的任何形式或媒体互连***的组件。通信网络的实例包含局域网(LAN)、广域网(WAN)及因特网。
计算***可包含客户端及服务器。客户端及服务器通常远离彼此且通常通过通信网络交互。客户端与服务器的关系凭借运行于相应计算机上且彼此具有客户端-服务器关系的计算机程序而提升。
虽然参考特定优选实施例已特别展示及描述本发明,但所属领域的技术人员应理解,可在不背离如由所附权利要求书所界定的本发明的精神及范围的情况下,在其中的形式及细节上作出各种改变。
Claims (37)
1.一种用于调整样本的一或多个图像以校正几何失真及/或使所述一或多个图像对准的方法,所述方法包括:
使用一或多个摄像机在相对于样本的固定位置处获得所述样本的一或多个图像;
使用所述相同的一或多个摄像机在用于获得所述样本的所述一或多个图像的所述相同固定位置中获得二维图形图案的一或多个图像,
其中所述图形图案是包括界定一或多种类型的几何形状的顶点处的点的点晶格,
其中所述点晶格为非周期的,
且其中可确定所述经成像点的绝对位置;及
由计算装置的处理器使用所述二维图形图案的所述一或多个图像自动调整所述样本的所述一或多个图像以校正几何失真及/或使所述样本的所述一或多个图像对准。
2.根据权利要求1所述的方法,其中所述点晶格为层级的。
3.根据权利要求1或2所述的方法,其中所述点晶格具有以下性质中的一者、两者、三者或全部四者:
局部唯一性;
大约均匀的点的局部密度;
根据容易识别的、量化的最近的邻近者关系使经成像点与其在所述图案中的预期位置匹配的能力;及
所述图形图案的点具有可能共同位置的离散集合。
4.根据权利要求1或2所述的方法,其中自动调整所述样本的所述一或多个图像的所述步骤包括:根据所述一或多个配准图像中的经成像点与所述点的所述经确定绝对位置之间的映射,确定一或多个几何变换;及将所述一或多个几何变换应用到所述样本的所述一或多个图像以校正所述样本的所述一或多个图像中的几何失真及/或使所述样本的所述一或多个图像对准。
5.根据权利要求1或2所述的方法,其中所述样本的所述一或多个图像包括多井微量滴定板的一或多个图像,且其中所述一或多个摄像机包括微板成像器的一或多个摄像机。
6.根据权利要求1或2所述的方法,其中所述图形图案相对于所述一或多个摄像机存在于与所述样本相同的平面或大约相同的平面。
7.根据权利要求1或2所述的方法,其中所述图形图案的所述点包括从由封闭圆圈、开口圆圈、封闭非圆形形状及开口非圆形形状组成的群组中选出的至少一个构成部分。
8.根据权利要求1或2所述的方法,其中所述图形图案的所述点为界定被细分成三角形的五边形的顶点。
9.根据权利要求1或2所述的方法,其中所述点晶格为层级的,其中层级意味着所述图案包括根据其属于多个代中的哪一者而被不同地设定大小的点。
10.根据权利要求1或2所述的方法,其中通过在固定数目的主方向上检测距经成像点的最近的邻近者的距离以识别所述几何图案的对应唯一点及其已知绝对位置来确定所述经成像点的所述绝对位置。
11.根据权利要求1或2所述的方法,其包括:在不同波长下使用多个摄像机获得样本的多个图像,或使用一个摄像机多次获得样本的多个图像;及在不同波长下使用所述二维图形图案的所述一或多个图像校正几何失真及/或使所述样本的所述多个图像对准,其中所述图形图案的所述点晶格为非周期的。
12.根据权利要求11所述的方法,其中所述图形图案也为层级的。
13.根据权利要求1或2所述的方法,其包括:使用多个摄像机获得样本的多个图像,借此获得具有不同视场的图像;及使用通过使用所述多个摄像机获得的所述二维图形图案的所述图像校正几何失真及/或使所述样本的所述多个图像对准,其中所述图形图案的所述点晶格为非周期的。
14.根据权利要求13所述的方法,其中所述图形图案也为层级的。
15.根据权利要求1或2所述的方法,其包括:在多个分辨率下获得样本的多个图像;及使用所述二维图形图案的所述图像校正几何失真及/或使所述样本的所述多个图像对准,其中所述点的图形图案为层级的。
16.根据权利要求1所述的方法,其中所述点晶格为准周期的。
17.一种用于调整样本的一或多个图像以校正几何失真及/或使所述一或多个图像对准的***,所述***包括:
处理器;及
存储器,其具有存储于其上的指令,其中当由所述处理器执行所述指令时,引起所述处理器:
使用二维图形图案的一或多个图像自动调整所述样本的所述一或多个图像以校正几何失真及/或使所述样本的所述一或多个图像对准,
其中所述图形图案是包括界定一或多种类型的几何形状的顶点处的点的点晶格,
其中所述点晶格为非周期的,
其中可确定经成像点的绝对位置,且
其中使用相同的一或多个摄像机在用于获得所述样本的所述一或多个图像的相同固定位置中获得所述二维图形图案的所述一或多个图像。
18.根据权利要求17所述的***,其中所述点晶格为准周期的。
19.一种用于配准捕获不同视场的多个图像的方法,所述方法包括:
使用多个摄像机在相对于彼此的固定相对位置处及在真实空间中相对于样本的固定位置处获得所述样本的第一图像集合,每一摄像机处于固定的放大率下,其中所述多个摄像机的所述视场并非为共同延伸的;
使用所述多个摄像机在相对于彼此的所述相同固定相对位置处、在相对于二维图形图案的所述相同固定位置处且在与用于获得所述样本的所述第一图像集合相同的所述固定放大率下获得所述图形图案的第一配准图像集合,其中所述图形图案为包括界定一或多种类型的几何形状的顶点处的点的层级的、非随机的、非周期的晶格,其中所述图案包括根据其属于多个代中的哪一者而被不同地设定大小的点,借此允许在广泛范围的放大率上使用单个图案以配准来自所述多个摄像机的图像,其中所述点相对于彼此的位置为已知的;
由计算装置的处理器使用所述二维图形图案的至少所述第一配准图像集合自动确定所述多个摄像机的图像场的相对位置;及
由所述计算装置的所述处理器根据所述图像场的所述经确定相对位置使所述样本的所述第一图像集合相对于彼此自动配准。
20.根据权利要求19所述的方法,其进一步包括:由所述计算装置的所述处理器以图形方式再现来自所述样本的所述第一配准图像集合的复合图像。
21.根据权利要求19或20所述的方法,其中自动确定所述多个摄像机的所述图像场的所述相对位置包括:识别所述第一配准图像集合中所捕获到的所述图案的点的唯一真实空间位置。
22.根据权利要求19或20所述的方法,其中自动确定所述多个摄像机的所述图像场的所述相对位置包括:从所述图案的已知相对位置约束衍生出所述第一配准图像集合中所捕获到的所述图案的点的唯一真实空间位置。
23.根据权利要求19或20所述的方法,其中样本的所述第一图像集合包括由微板成像器获得的多个井的图像。
24.根据权利要求19或20所述的方法,其中所述摄像机的所述视场彼此不同。
25.根据权利要求24所述的方法,其中所述摄像机的所述视场重叠。
26.根据权利要求24所述的方法,其中所述摄像机的所述视场不重叠。
27.根据权利要求19或20所述的方法,其中所述图形图案相对于所述摄像机存在于与所述样本相同的平面或大约相同的平面。
28.根据权利要求27所述的方法,其中所述图形图案覆盖所述多个摄像机的整个所述视场。
29.根据权利要求19或20所述的方法,其中所述图形图案为准周期的。
30.根据权利要求19或20所述的方法,其中所述点包括从由封闭圆圈、开口圆圈、封闭非圆形形状及开口非圆形形状的组成的群组中选出的至少一个构成部分。
31.根据权利要求19或20所述的方法,其中所述一或多种类型的几何形状包括被细分成两种三角形的五边形。
32.根据权利要求19或20所述的方法,其中所述经不同地设定大小的点包括:
具有第一尺寸且属于第一代的最大点集合;
具有小于所述第一尺寸的第二尺寸且属于通过将由所述第一代点界定的形状细分而形成的第二代的点集合;及
具有小于所述第二尺寸的第三尺寸且属于通过将由所述第一及/或第二代点界定的形状细分而形成的第三代的点集合。
33.根据权利要求19或20所述的方法,其中自动配准所述第一图像集合包括:根据所述图像场的所述经确定相对位置将一或多个几何变换应用到所述样本的所述第一图像集合。
34.一种用于配准捕获不同的视场的多个图像的***,所述***包括:
处理器;及
存储器,其具有存储于其上的指令,其中当由所述处理器执行所述指令时,引起所述处理器:
使用二维图形图案的至少第一配准图像集合确定多个摄像机的图像场的相对位置,其中所述第一配准图像集合为使用所述多个摄像机在相对于彼此的相同固定相对位置处、在相对于二维图形图案的相同固定位置处且在与用于获得样本的第一图像集合相同的固定放大率下所获得的所述图形图案的图像,其中所述多个摄像机的所述视场并非为共同延伸的,其中所述图形图案为包括界定一或多种类型的几何形状的顶点处的点的层级的、非随机的、非周期的晶格,其中所述图案包括根据其属于多个代中的哪一者而被不同地设定大小的点,借此允许在广泛范围的放大率上使用单个图案以配准来自所述多个摄像机的图像,其中所述点相对于彼此的位置为已知的;及
根据所述图像场的所述经确定相对位置使所述样本的所述第一图像集合相对于彼此配准。
35.一种具有存储于其上的指令的非暂时性计算机可读媒体,其中当由处理器执行所述指令时引起所述处理器:
使用二维图形图案的至少第一配准图像集合确定多个摄像机的图像场的相对位置,其中所述第一配准图像集合为使用所述多个摄像机在相对于彼此的相同固定相对位置处、在相对于二维图形图案的相同固定位置处且在与用于获得样本的第一图像集合相同的固定放大率下所获得的所述图形图案的图像,其中所述多个摄像机的所述视场并非为共同延伸的,其中所述图形图案为包括界定一或多种类型的几何形状的顶点处的点的层级的、非随机的、非周期的晶格,其中所述图案包括根据其属于多个代中的哪一者而被不同地设定大小的点,借此允许在广泛范围的放大率上使用单个图案以配准来自所述多个摄像机的图像,其中所述点相对于彼此的位置为已知的;及
根据所述图像场的所述经确定相对位置使所述样本的所述第一图像集合相对于彼此配准。
36.一种用于调整样本的一或多个图像以校正所述一或多个图像中的几何失真的方法,所述方法包括:
使用一或多个摄像机在相对于样本的固定位置处获得所述样本的一或多个图像;
使用所述相同的一或多个摄像机在用于获得所述样本的所述一或多个图像的所述相同固定位置中获得二维图形图案的一或多个图像,
其中所述图形图案是包括界定一或多种类型的几何形状的顶点处的点的点晶格,
其中所述点晶格为非周期的,
且其中可确定所述经成像点的绝对位置;及
由计算装置的处理器使用所述二维图形图案的所述一或多个图像自动调整所述样本的所述一或多个图像以校正所述样本的所述一或多个图像中的几何失真。
37.一种用于调整样本的一或多个图像以校正所述一或多个图像中的几何失真的***,所述***包括:
处理器;及
存储器,其具有存储于其上的指令,其中当由所述处理器执行所述指令时,引起所述处理器:
使用二维图形图案的一或多个图像自动调整所述样本的所述一或多个图像以校正所述样本的所述一或多个图像中的几何失真,
其中所述图形图案是包括界定一或多种类型的几何形状的顶点处的点的点晶格,
其中所述点晶格为非周期的,
其中可确定经成像点的绝对位置,且
其中使用相同的一或多个摄像机在用于获得所述样本的所述一或多个图像的相同固定位置中获得所述二维图形图案的所述一或多个图像。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201461926246P | 2014-01-10 | 2014-01-10 | |
US61/926,246 | 2014-01-10 | ||
US14/592,474 | 2015-01-08 | ||
US14/592,474 US9582864B2 (en) | 2014-01-10 | 2015-01-08 | Method and system for image correction using a quasiperiodic grid |
PCT/EP2015/050349 WO2015104384A1 (en) | 2014-01-10 | 2015-01-09 | Method and system for image correction using a quasiperiodic grid |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106062815A CN106062815A (zh) | 2016-10-26 |
CN106062815B true CN106062815B (zh) | 2019-03-15 |
Family
ID=53521810
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580006546.0A Active CN106062815B (zh) | 2014-01-10 | 2015-01-09 | 使用准周期栅格的图像校正的方法及*** |
Country Status (4)
Country | Link |
---|---|
US (2) | US9582864B2 (zh) |
EP (2) | EP3092614B1 (zh) |
CN (1) | CN106062815B (zh) |
WO (1) | WO2015104384A1 (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9977876B2 (en) | 2012-02-24 | 2018-05-22 | Perkinelmer Informatics, Inc. | Systems, methods, and apparatus for drawing chemical structures using touch and gestures |
US9535583B2 (en) | 2012-12-13 | 2017-01-03 | Perkinelmer Informatics, Inc. | Draw-ahead feature for chemical structure drawing applications |
US8854361B1 (en) | 2013-03-13 | 2014-10-07 | Cambridgesoft Corporation | Visually augmenting a graphical rendering of a chemical structure representation or biological sequence representation with multi-dimensional information |
US9751294B2 (en) | 2013-05-09 | 2017-09-05 | Perkinelmer Informatics, Inc. | Systems and methods for translating three dimensional graphic molecular models to computer aided design format |
US9582864B2 (en) | 2014-01-10 | 2017-02-28 | Perkinelmer Cellular Technologies Germany Gmbh | Method and system for image correction using a quasiperiodic grid |
WO2018160205A1 (en) | 2017-03-03 | 2018-09-07 | Perkinelmer Informatics, Inc. | Systems and methods for searching and indexing documents comprising chemical information |
US10871640B2 (en) | 2019-02-15 | 2020-12-22 | Perkinelmer Cellular Technologies Germany Gmbh | Methods and systems for automated imaging of three-dimensional objects |
CN110188777B (zh) * | 2019-05-31 | 2023-08-25 | 东莞先知大数据有限公司 | 一种基于数据挖掘的多周期钢轨伤损数据对齐方法 |
DE102021205703A1 (de) | 2021-06-07 | 2022-12-08 | TechnoTeam Holding GmbH | Verfahren und Vorrichtung zur lichttechnischen Vermessung eines elektronischen Displays sowie Verfahren zur Ansteuerung eines elektronischen Displays |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102609918A (zh) * | 2012-02-15 | 2012-07-25 | 国家***第二海洋研究所 | 基于图像特征配准的航空多光谱遥感影像几何精校正方法 |
CN102841767A (zh) * | 2011-06-22 | 2012-12-26 | 华为终端有限公司 | 多投影拼接几何校正方法及校正装置 |
CN102956532A (zh) * | 2011-08-19 | 2013-03-06 | 考戈奈克斯股份有限公司 | 用于对齐晶片以用于制造的***和方法 |
CN103247029A (zh) * | 2013-03-26 | 2013-08-14 | 中国科学院上海技术物理研究所 | 一种用于拼接式探测器生成的高光谱图像几何配准方法 |
CN103345761A (zh) * | 2013-07-30 | 2013-10-09 | 中国地质大学(武汉) | 用于线阵高塔倾斜扫描成像数据校正及拼接的方法和*** |
CN103413272A (zh) * | 2013-07-22 | 2013-11-27 | 中国科学院遥感与数字地球研究所 | 低空间分辨率多源遥感图像空间一致性校正方法 |
CN103473765A (zh) * | 2013-09-03 | 2013-12-25 | 深圳大学 | 一种多光谱遥感图像的配准与校正方法、*** |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5852434A (en) * | 1992-04-03 | 1998-12-22 | Sekendur; Oral F. | Absolute optical position determination |
JP3676443B2 (ja) * | 1995-09-01 | 2005-07-27 | オリンパス株式会社 | 情報再生装置及び情報再生方法 |
CA2374811C (en) | 1999-05-28 | 2012-04-10 | Anoto Ab | Position determination |
US7145556B2 (en) * | 2001-10-29 | 2006-12-05 | Anoto Ab | Method and device for decoding a position-coding pattern |
US20030179916A1 (en) * | 2002-02-06 | 2003-09-25 | Magnuson Terry R. | High-throughput cell identification and isolation method and apparatus |
JP3735344B2 (ja) | 2002-12-27 | 2006-01-18 | オリンパス株式会社 | キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム |
US7138625B2 (en) * | 2003-05-02 | 2006-11-21 | Agilent Technologies, Inc. | User customizable plate handling for MALDI mass spectrometry |
US7138620B2 (en) | 2004-10-29 | 2006-11-21 | Silicon Light Machines Corporation | Two-dimensional motion sensor |
AU2006274486B2 (en) * | 2005-07-25 | 2009-09-17 | Silverbrook Research Pty Ltd | Product item having coded data identifying a layout |
WO2008095227A1 (en) * | 2007-02-08 | 2008-08-14 | Silverbrook Research Pty Ltd | System for controlling movement of a cursor on a display device |
US7980480B2 (en) * | 2007-09-21 | 2011-07-19 | Silverbrook Research Pty Ltd | Method of imaging a coding pattern having registration symbols |
US8282016B2 (en) * | 2008-10-02 | 2012-10-09 | Silverbrook Research Pty Ltd | Position-coding pattern having tag coordinates encoded by successive subsequences of cyclic position code |
US8413027B2 (en) * | 2010-01-27 | 2013-04-02 | Silverbrook Research Pty Ltd | Method of decoding a pattern-encoded coordinate |
EP2410406A1 (en) * | 2010-07-23 | 2012-01-25 | Anoto AB | Display with coding pattern |
EP2601513B1 (en) * | 2010-08-05 | 2014-05-14 | Cambridge Research & Instrumentation, Inc. | Enhancing visual assessment of samples |
EP2479650B1 (en) * | 2011-01-21 | 2015-09-16 | Anoto AB | Product with coding pattern |
DE102012223047B4 (de) * | 2011-12-16 | 2015-09-10 | Cognex Corporation | Mehrteil-Korrespondierer (corresponder) für mehrere Kameras |
US9338439B2 (en) * | 2012-04-02 | 2016-05-10 | Intel Corporation | Systems, methods, and computer program products for runtime adjustment of image warping parameters in a multi-camera system |
US9582864B2 (en) | 2014-01-10 | 2017-02-28 | Perkinelmer Cellular Technologies Germany Gmbh | Method and system for image correction using a quasiperiodic grid |
-
2015
- 2015-01-08 US US14/592,474 patent/US9582864B2/en active Active
- 2015-01-09 WO PCT/EP2015/050349 patent/WO2015104384A1/en active Application Filing
- 2015-01-09 EP EP15701683.3A patent/EP3092614B1/en active Active
- 2015-01-09 CN CN201580006546.0A patent/CN106062815B/zh active Active
- 2015-01-09 EP EP18165154.8A patent/EP3373239B1/en active Active
-
2017
- 2017-01-10 US US15/402,859 patent/US9972076B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102841767A (zh) * | 2011-06-22 | 2012-12-26 | 华为终端有限公司 | 多投影拼接几何校正方法及校正装置 |
CN102956532A (zh) * | 2011-08-19 | 2013-03-06 | 考戈奈克斯股份有限公司 | 用于对齐晶片以用于制造的***和方法 |
CN102609918A (zh) * | 2012-02-15 | 2012-07-25 | 国家***第二海洋研究所 | 基于图像特征配准的航空多光谱遥感影像几何精校正方法 |
CN103247029A (zh) * | 2013-03-26 | 2013-08-14 | 中国科学院上海技术物理研究所 | 一种用于拼接式探测器生成的高光谱图像几何配准方法 |
CN103413272A (zh) * | 2013-07-22 | 2013-11-27 | 中国科学院遥感与数字地球研究所 | 低空间分辨率多源遥感图像空间一致性校正方法 |
CN103345761A (zh) * | 2013-07-30 | 2013-10-09 | 中国地质大学(武汉) | 用于线阵高塔倾斜扫描成像数据校正及拼接的方法和*** |
CN103473765A (zh) * | 2013-09-03 | 2013-12-25 | 深圳大学 | 一种多光谱遥感图像的配准与校正方法、*** |
Also Published As
Publication number | Publication date |
---|---|
US9582864B2 (en) | 2017-02-28 |
WO2015104384A1 (en) | 2015-07-16 |
US20150199797A1 (en) | 2015-07-16 |
EP3373239A1 (en) | 2018-09-12 |
US20170243335A1 (en) | 2017-08-24 |
EP3373239B1 (en) | 2019-07-24 |
CN106062815A (zh) | 2016-10-26 |
EP3092614B1 (en) | 2018-05-09 |
US9972076B2 (en) | 2018-05-15 |
EP3092614A1 (en) | 2016-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106062815B (zh) | 使用准周期栅格的图像校正的方法及*** | |
CN110211043B (zh) | 一种用于全景图像拼接的基于网格优化的配准方法 | |
CN101645091B (zh) | 图像数据压缩方法、图像处理中的图案模型定位方法,图像处理设备 | |
EP1589482B1 (en) | Three-dimensional image measuring apparatus and method | |
CN108198230A (zh) | 一种基于散乱图像的作物果实三维点云提取*** | |
US8355592B1 (en) | Generating a modified image with semantic constraint | |
CN105247342A (zh) | 用于确定颗粒尺寸的方法及设备 | |
US11551388B2 (en) | Image modification using detected symmetry | |
CN104616247B (zh) | 一种用于基于超像素sift航拍地图拼接的方法 | |
US20180211415A1 (en) | Texture Modeling of Image Data | |
CN102956532B (zh) | 用于对齐晶片以用于制造的***和方法 | |
CN109145929A (zh) | 一种基于sift尺度空间特征信息提取方法 | |
Yan et al. | Automatic checkerboard detection for camera calibration using self-correlation | |
CN111813984A (zh) | 一种利用单应矩阵实现室内定位的方法、装置及电子设备 | |
CN109118565B (zh) | 一种顾及杆塔电力线遮挡的电力走廊三维模型纹理映射方法 | |
CN116630662A (zh) | 一种应用于视觉slam的特征点误匹配剔除方法 | |
Zhang et al. | An enhanced multi-view vertical line locus matching algorithm of object space ground primitives based on positioning consistency for aerial and space images | |
CN113724141B (zh) | 一种图像校正方法、装置及电子设备 | |
CN114387308A (zh) | 一种机器视觉特征跟踪*** | |
CN107976176A (zh) | 无人机数据处理方法及装置 | |
Zhu et al. | Efficient stitching method of tiled scanned microelectronic images | |
CN113538588A (zh) | 标定方法、标定装置及应用其的电子设备 | |
Stentoumis et al. | Stereo matching based on census transformation of image gradients | |
CN112419234B (zh) | 一种基于几何特征的重定位立体图像质量评价方法 | |
CN111860608B (zh) | ***图像配准方法、设备及计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |