CN112288781B - 图像配准方法、装置和计算机程序产品 - Google Patents

图像配准方法、装置和计算机程序产品 Download PDF

Info

Publication number
CN112288781B
CN112288781B CN201810963040.4A CN201810963040A CN112288781B CN 112288781 B CN112288781 B CN 112288781B CN 201810963040 A CN201810963040 A CN 201810963040A CN 112288781 B CN112288781 B CN 112288781B
Authority
CN
China
Prior art keywords
image
pixel
registered
candidate
bright spots
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810963040.4A
Other languages
English (en)
Other versions
CN112288781A (zh
Inventor
李林森
徐伟彬
金欢
姜泽飞
周志良
颜钦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Genemind Biosciences Co Ltd
Original Assignee
Genemind Biosciences Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Genemind Biosciences Co Ltd filed Critical Genemind Biosciences Co Ltd
Priority to CN201810963040.4A priority Critical patent/CN112288781B/zh
Publication of CN112288781A publication Critical patent/CN112288781A/zh
Application granted granted Critical
Publication of CN112288781B publication Critical patent/CN112288781B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像配准方法、装置和计算机程序产品。所称的图像配准方法包括：基于参考图像对待配准图像进行第一配准，包括确定待配准图像上的预定区域和参考图像上的相应预定区域的第一偏移量，基于第一偏移量移动待配准图像上的所有亮斑；基于参考图像对第一配准后的待配准图像进行第二配准，包括合并第一配准后的待配准图像和参考图像，计算合并图像上的预定区域的所有重合亮斑的偏移量，以确定第二偏移量，距离小于预定像素的两个或多个亮斑为一个重合亮斑，基于该第二偏移量移动第一配准后的待配准图像上的所有亮斑，以实现对待配准图像的配准。该方法能够实现高精度图像配准，满足对图像纠偏高精度要求的情景。

Description

图像配准方法、装置和计算机程序产品
技术领域
本发明涉及图像处理领域，具体地，涉及一种图像配准方法、一种图像配准装置和一种具有图像配准功能的计算机程序产品。
背景技术
在包含了于不同时间多次采集相同一个或多个对象的图像的应用中，一般需要对获得的多个图像进行纠偏/配准，使能够基于纠偏后的图像准确获取该对象的变化信息。
在包含利用获取核酸分子的图像进行核酸序列测定的平台中，一般需要在移动硬件、在不同时刻对同一个视野中的核酸分子进行图像采集，根据不同时刻拍摄得的多个图像包括识别图像中的信息，可确定该视野中的核酸分子的序列信息。在实际的图像采集中，由于硬件移动具有一定精度，即指定移动量和实际移动量具有一定误差，和/或由于该核酸分子所处的环境/体系的变化造成的核酸分子形态等的变化，会使得获得的多个时刻的该视野的图像中的固定的核酸分子的位置信息不同，使得难以直接利用获得的图像信息准确识别确定该核酸分子的序列。
由此，对不同时间获取的相同的一个或多个对象的多个图像进行纠偏的方法，有待进一步开发或者改进。
发明内容
本发明实施方式旨在至少解决相关技术中存在的技术问题之一或者至少提供一种可选择的实用方案。
依据本发明的一个实施方式，提供一种图像配准方法，该方法包括：基于参考图像对待配准图像进行第一配准，所称的参考图像和待配准图像对应相同对象，参考图像和待配准图像均包含多个亮斑，包括确定待配准图像上的预定区域和所称参考图像上的相应预定区域的第一偏移量，基于该第一偏移量移动待配准图像上的所有亮斑，获得第一配准后的待配准图像；基于参考图像对第一配准后的待配准图像进行第二配准，包括合并所述第一配准后的待配准图像和参考图像，获得合并图像，计算合并图像上的预定区域的所有重合亮斑的偏移量，以确定第二偏移量，距离小于预定像素的两个或多个亮斑为一个所述重合亮斑，基于该第二偏移量移动第一配准后的待配准图像上的所有亮斑，以实现对待配准图像的配准。
依据本发明的另一个实施方式，提供一种图像配准装置，该装置用以实施上述本发明实施方式中的图像配准方法，该装置包括：第一配准模块，用于基于参考图像对待配准图像进行第一配准，包括确定待配准图像上的预定区域和参考图像上的相应预定区域的第一偏移量，基于第一偏移量移动待配准图像上的所有亮斑，获得第一配准后的待配准图像，所称的参考图像和待配准图像对应相同对象，参考图像和待配准图像均包含多个亮斑；第二配准模块，用于基于参考图像对来自第一配准模块的第一配准后的待配准图像进行第二配准，包括合并第一配准后的待配准图像和参考图像，获得合并图像，计算合并图像上的预定区域的所有重合亮斑的偏移量，以确定第二偏移量，定义距离小于预定像素的两个或多个亮斑为一个重合亮斑，基于该第二偏移量移动第一配准后的待配准图像上的所有亮斑，以实现对待配准图像的配准。
依据本发明的又一个实施方式，提供一种计算机可读储存介质，用于存储供计算机执行的程序，执行所述程序包括完成上述任一实施方式中的图像配准方法。计算机可读存储介质包括但不限于只读存储器、随机存储器、磁盘或光盘等。
依据本发明的一个实施方式，还提供一种终端，一种计算机程序产品，包括指令，该指令在计算机执行所称的程序时，使计算机执行上述本发明实施方式中的图像配准方法的全部或部分步骤。
利用上述本发明实施方式中的图像配准方法、装置和/或包含实现图像配准的终端/计算机程序产品，能够实现图像的高精度纠偏，特别适于高精度图像纠偏要求的场景。
本发明实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实施方式的实践了解到。
附图说明
图1是本发明具体实施方式中的图像配准方法的流程示意图。
图2是本发明具体实施方式中的图像纠偏过程及纠偏结果示意图。
图3是本发明的具体实施方式中的图像配准方法的流程示意图。
图4是本发明具体实施方式中的候选亮斑的对应的矩阵以及连同像素示意图。
图5是本发明具体实施方式中的图像配准方法的流程示意图。
图6是本发明具体实施方式中的以像素点矩阵的中心像素点为中心的m1*m2范围的像素值示意图。
图7是本发明具体实施方式中的依据第二亮斑检测阈值进行判定之前和之后的亮斑检测结果对比示意图。
图8是本发明具体实施方式中的图像配准装置示意图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者顺序。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
本发明实施方式提供一种图像配准方法，亦即一种图像纠偏方法，如图1所示，包括：S10基于参考图像对待配准图像进行第一配准，参考图像和待配准图像对应相同对象，参考图像和待配准图像均包含多个亮斑，包括确定待配准图像上的预定区域和参考图像上的相应预定区域的第一偏移量，基于第一偏移量移动待配准图像上的所有亮斑，获得第一配准后的待配准图像；S20基于参考图像对第一配准后的待配准图像进行第二配准，包括合并第一配准后的待配准图像和参考图像，获得合并图像，计算合并图像上的预定区域的所有重合亮斑的偏移量，以确定第二偏移量，距离小于预定像素的两个或多个亮斑为一个重合亮斑，基于该第二偏移量移动第一配准后的待配准图像上的所有亮斑，以实现对待配准图像的配准。该方法通过两次关联配准，可相对称为粗配准和细配准，包括利用图像上的亮斑进行细配准，能够基于少量数据信息快速地实现图像的高精度纠偏，特别适于高精度图像纠偏要求的场景。例如，单分子级别的图像检测，比如来自第三代测序平台的测序反应的图像。所称单分子级别指分辨率为单个或少数几个分子的大小，例如10个、8个、5个、4个或3个以下分子。
所称的“亮斑”(也称为“亮点”，spots或peaks)，指图像上的发光点，一个发光点占有至少一个像素点。所称“像素点”同“像素”。
在某些具体实施方式中，待配准图像来自利用光学成像原理进行序列测定的测序平台。所称的测序，也称为序列测定，指核酸序列测定，包括DNA测序和/或RNA测序，包括长片段测序和/或短片段测序，测序生化反应包括碱基的延伸。测序可以通过测序平台进行，测序平台可选择但不限于Illumina公司的Hisq/Miseq/Nextseq测序平台、Thermo Fisher/Life Technologies公司的Ion Torrent平台、华大基因的BGISEQ平台和单分子测序平台；测序方式可以选择单端测序，也可以选择双末端测序；获得的测序结果/数据即测读出来的片段，称为读段(reads)，读段的长度称为读长。所称的“亮斑”对应延伸碱基或碱基簇的光学信号。
所称的图像上的预定区域，可以是整个图像，也可以是图像的一部分。在一个示例中，图像上的预定区域为图像的一部分，例如为图像中心的512*512区域。所称的图像中心，为该视野的中心，成像***的光轴与成像平面的交点可称为图像中心点，以该中心点为中心的区域可视为图像中心区域。
在某些具体实施方式中，待配准图像来自核酸测序平台，该平台包括成像***和核酸样本承载***，带有光学检测标记的待测核酸分子固定于反应器中，该反应器也称为芯片，芯片装载在一个可移动台子上，通过该移动台子带动芯片运动来实现对位于芯片不同位置(不同视野)的待测核酸分子进行图像采集。一般地，光学***和/或移动台子的运动存在精度限制，例如，指令指定运动至某个位置和该机械结构实际运动达到的位置存在偏差，特别是在对精度高要求的应用情景，由此，在依据指令移动硬件以对不同时间点的同一位置(视野)进行多次图像采集的过程中，不同时间点采集的同一视野的多个图像难以完全对齐，对该些图像进行纠偏对齐，有利于基于该多个时间点采集的多个图像中的信息的变化来准确确定核酸分子核苷酸顺序。
在某些具体实施方式中，所称的参考图像是通过构建获得的，参考图像可以在对待配准图像进行配准时构建，也可以预先构建保存需要时调用。
在一些示例中，构建参考图像包括：获取第一图像和第二图像，第一图像和第二图像与待配准图像对应相同对象；基于第一图像对第二图像进行粗配准，包括确定第二图像和第一图像的偏移量，基于该偏移量移动第二图像，获得粗配准后的第二图像；合并第一图像和粗配准后的第二图像，以获得参考图像，第一图像和第二图像均包含多个亮斑。如此，利用构建获得包含更多或相对更完整的信息的图像，利用该图像作为纠偏的基准，利于实现更准确的图像配准。对于核酸序列测定得到的图像，利用多个图像进行参考图像构建，利于使得该参考图像获得完整的对应核酸分子的亮斑信息，利于基于亮斑的图像纠偏。
在一些实施例中，第一图像、第二图像分别来自核酸序列测定反应(测序反应)的不同时刻的同一个视野。这里，定义实现A/U、T、G和C四种类型碱基的一次延伸为实现一轮测序反应。在一个示例中，一轮测序反应包括多次碱基延伸反应，例如单色测序，利用的四种类型碱基对应的反应底物(核苷酸类似物)均带有同一种荧光染料，一轮测序反应包括四次碱基延伸反应(4repeats)，对于一个视野来说，一次碱基延伸反应包含一次图像采集，第一图像和第二图像分别为不同次的碱基延伸反应的同一视野。如此，通过处理以及集合第一图像和第二图像的信息获得的参考图像作为纠偏的基准，利于进行更准确的图像纠偏。
在另一个示例中，单分子双色测序反应，利用的四种类型碱基对应的反应底物(核苷酸类似物)中的两种带有一种荧光染料、另两种带有另一种不同激发波长的荧光染料，一轮测序反应包括两次碱基延伸反应，带有不同染料的两种类型碱基反应底物于一次碱基延伸反应中进行结合反应，对于一个视野，一次碱基延伸反应包括两次于不同激发波长下的图像采集，第一图像和第二图像分别来自不同次的碱基延伸反应或者同一次碱基延伸反应中的不同激发波长下的同一视野。如此，通过处理以及集合第一图像和第二图像的信息获得的参考图像作为纠偏的基准，利于进行更准确的图像纠偏。
在又一个示例中，一轮测序反应包括一次碱基延伸反应，例如二代测序平台的双色测序反应，四种类型碱基反应底物(例如核苷酸类似物)分别带有染料a、带有染料b、带有染料a和染料b以及不带任何染料，染料a和染料b的激发波长不一样；四种类型反应底物于同一次碱基延伸反应中实现一轮测序反应，第一图像和第二图像分别来自不同轮测序反应或者同一轮测序反应中的不同激发波长下的同一视野。如此，通过处理以及集合第一图像和第二图像的信息获得的参考图像作为纠偏的基准，利于进行更准确的图像纠偏。
第一图像和/或第二图像，可以是一个图像也可以是多个图像。进一步地，在一些具体实施方式中，还包括利用第三图像和第四图像构建所称的参考图像，待配准图像、第一图像、第二图像、第三图像和第四图像来自测序反应的相同视野，第一图像、第二图像、第三图像和第四图像分别对应A/U、T、G和C四种类型碱基延伸反应时的视野，碱基延伸反应时的该视野存在多个带有光学可检测标记的核酸分子，至少一部分核酸分子在图像上表现为亮斑，构建参考图像还包括：基于第一图像对第三图像进行粗配准，包括确定第三图像和第一图像的偏移量，基于该偏移量移动第三图像，获得粗配准后的第三图像；基于第一图像对第四图像进行粗配准，包括确定第四图像和第一图像的偏移量，基于该偏移量移动第四图像，获得粗配准后的第四图像；合并第一图像和粗配准后的第二图像、粗配准后的第三图像以及粗配准后的第四图像，以获得参考图像。
S10中，对于第一配准的实现方式不作限制，例如可利用傅里叶变换，使用频域配准，确定第一偏移量。具体地，例如可参考Kenji TAKITA et al,IEICETRANS.FUNDAMENTALS,VOL.E86-A,NO.8 AUGUST 2003.中的纯相位相关函数(Phase-OnlyCorrelation Function)中的二维离散傅里叶变换确定第一偏移量、第二图像和第一图像的偏移量、第三图像和第一图像的偏移量和/或第四图像和第一图像的偏移量。第一配准/粗配准可达到1像素(1pixel)的精度。如此，可快速准确地确定第一偏移量和/或构建利于精确纠偏的参考图像。
在某些具体实施方式中，参考图像和待配准图像为二值化图像。如此，利于减少运算量快速纠偏。
在一个示例中，待纠偏图像和参考图像均为二值化图像，即图像中的各个像素非a即b，例如a为1，b为0，像素标记为1的较像素标记为0的亮，或者说强度大；这里，定义核酸测序过程中待测核酸分子延伸一个碱基或者一种碱基称为一轮(cycle)，参考图像是利用第1-4轮的图像cycle1-cycle4构建的，第一图像、第二图像选自图像cycle1-cycle4中的任一个、两个或三个。
在一个示例中，第一图像为图像cycle1，图像cycle2-4为第二图像，基于图像图像cycle1依次对图像cycle2-4进行粗配准，分别获得粗配准后的图像cycle2-4；合并图像cycle1和粗配准后的图像cycle2-4，获得参考图像。所称的合并图像为合并图像中的重合亮斑。主要基于对应核酸分子的亮斑的大小和成像***分辨率，在一个示例中，设定两个图像上距离不大于1.5个像素的两个亮斑为重合亮斑。这里，采用4个cycle的合成的图像中心区域作为参考图像，一来利于使得参考图像具有足够量的亮斑，利于后续配准，二来检测及定位出的图像中心区域中的亮斑，亮斑信息是相对更准确的，利于准确配准。
在一个示例中，进行如下步骤对图像进行纠偏：1)对采集自第五轮反应的某个视野的图cycle5进行粗纠偏，cycle5为二值化后的图像，取该图像中心例如512*512区域，与cycle1-cycle4合成的中心图像(相应参考图像的中心512*512区域)，进行二维离散傅里叶变换，使用频域配准，得到偏移量offset(x0,y0)，即实现图像粗配准，x0、y0能达到1pixel的精度；2)将上述粗配准后的图像和参考图像基于图像上的亮斑进行合并(merge)，包括计算cycle5图像的中心区域内与参考图像相应区域内的重合亮斑的偏移量offset(x1,y1)＝待纠偏图像的该亮斑的坐标位置-参考图像上的相应亮斑的坐标位置，可表示为offset(x1,y1)＝curCyclePoints-basePoints；求取所有重合亮斑的平均偏移量，从而得到[0,0]到[1,1]范围内的细偏移量。在一个示例中，设定两个图像上距离不大于1.5个像素的两个亮斑为重合亮斑；3)综上，得到一个视野图像(fov)不同cycle的偏移量(x0,y0)-(x1,y1)，对于一个亮斑(peak)可表示为：curCyclePoints+(x0,y0)-(x1,y1)，curCyclePoints表示该亮斑原始坐标，即在纠偏前的图像中的坐标。上述图像纠偏获得的纠偏结果具有较高的准确性，且纠偏精度小于或等于0.1像素。图2示意纠偏过程及结果，图2中，基于图像A对图像C进行纠偏，图像A和图像C中的圆圈表示亮斑、相同数字标记的亮斑为重合亮斑，图像C->A表示纠偏结果，即图像C对齐至图像A的结果。
在某些具体实施方式中，请参阅图3，图像配准方法还包括S01识别亮斑，包括利用k1*k2矩阵对图像进行亮斑检测，判定矩阵的中心像素值不小于矩阵非中心任一像素值的矩阵对应一个候选亮斑，以及确定候选亮斑是否为亮斑，k1和k2均为大于1的奇数，k1*k2矩阵包含k1*k2个像素点。所称的图像选自待配准图像、构建参考图像的图像中的至少一个。利用该方式检测图像上的亮斑，能够快速有效地实现图像上的亮斑(spots或peaks)的检测，特别是对采集自核酸序列测定反应的图像。该方法对待检测图像即原始输入数据没有特别的限制，适用于任何利用光学检测原理进行核酸序列测定的平台所产生的图像的处理分析，包括但不限于二代和三代测序，具有高准确性和高效的特点，能从图像中获取更多的代表序列的信息。特别是对于随机图像及高准确度要求的信号识别，尤其具有优势。
在一些实施例中，图像来自核酸序列测定反应，核酸分子上带有光学可检测标记，利如荧光标记，荧光分子在特定波长激光照射下能够被激发发出荧光，通过成像***采集图像。采集到的图像包括可能与荧光分子所在位置相对应的光斑/亮斑。可以理解地，当处于焦面位置时，所采集到的图像中的与荧光分子所在位置相对应的亮斑的尺寸较小且亮度较高；当位于非焦面位置时，所采集到的图像中的与荧光分子所在位置相对应的亮斑的尺寸较大且亮度较低。另外，视野中的可能存在其它非目标或者后续难以利用的物质/信息，比如杂质等；进一步地，在对单分子视野进行拍照中，大量分子聚集(簇)等也会干扰目标单分子信息采集。所称的单分子为一个少数几个分子，例如分子数目不大于10，例如为一个、两个、三个、四个、五个、六个、八个或者十个。
在一些示例中，矩阵的中心像素值大于第一预设值，矩阵非中心任一像素值大于第二预设值，第一预设值和第二预设值与图像的平均像素值相关。
在一些实施例中，可以利用k1*k2矩阵对图像进行遍历检测，所称的第一预设值和/或第二预设值的设置与该图像的平均像素值相关。对于灰度图像，像素值同灰度值。k1*k2矩阵，k1、k2可以相等也可以不相等。在一个示例中，成像***相关参数为：物镜60倍，电子传感器的尺寸为6.5μm，经过显微镜成的像再经过电子传感器，能看到的最小尺寸为0.1μm，获得的图像或者输入的图像可为512*512、1024*1024或2048*2048的16位的灰度或彩色图像，k1和k2的取值范围均为大于1且小于10。在一个示例中，k1＝k2＝3；在另一个示例中，k1＝k2＝5。若图像是彩色图像，彩色图像的一个像素点具有三个像素值，可以将彩色图像转化为灰度图像，再进行亮斑检测，以降低图像检测过程的计算量和复杂度。可选择但不限于利用浮点算法、整数方法、移位方法或平均值法等将非灰度图像转换成灰度图像。
在一个示例中，发明人经过大量图像处理统计，取第一预设值为该图像的平均像素的1.4倍，取第二预设值为该图像的平均像素值的1.1倍，能够排除干扰、获得来自于光学检测标记的亮斑检测结果。
可利用大小、与理想亮斑的相似程度和/或强度来对候选亮斑进一步进行筛选判断。在某些具体实施方式中，利用候选亮斑对应的连通域的大小来定量反映比较图像上候选亮斑的大小，以此来筛选判断候选亮斑是否为要的亮斑。
在一个示例中，确定候选亮斑是否为亮斑包括：计算一个候选亮斑对应的连通域的大小Area＝A*B，判定对应的连通域的大小大于第三预设值的候选亮斑为一个亮斑，A表示以该候选亮斑对应的矩阵的中心的所在行的相连像素/连通像素的大小，B表示以该候选亮斑对应的矩阵的中心的所在列的相连像素/连通像素的大小，定义一个k1*k2矩阵中大于平均像素值的相连像素为一个所称的候选亮斑对应的连通域。如此，能够能够有效获得对应标记分子且符合后续序列识别的亮斑，获得核酸序列信息。
在一个例子中，以该图像的平均像素值作为基准，相邻的不小于平均像素值的两个或多个像素为所称的相连像素/连通像素(pixel connectivity)，如图4所示，加粗加大的表示候选亮斑对应的矩阵的中心，粗线框表示候选亮斑对应的3*3矩阵，标记为1的像素为不小于该图像的平均像素值的像素点，标记为0的像素为小于平均像素值的像素点，可看出A＝3，B＝6，该候选亮斑对应的连通域的大小为A*B＝3*6。
所称的第三预设值可依据该图像上所有候选亮斑对应的连通域的大小这一信息来确定。例如通过计算该图上各候选亮斑对应的连通域的大小，取亮斑的连通域大小的平均值代表该图像一个特性，作为第三预设值；又例如，可将该图像上各个候选亮斑对应的连通域大小按从小到大排序，取第50、第60、第70、第80或第90分位数连通域大小作为该第三预设值。如此，可有效获得亮斑信息，利于后续识别核酸序列。
在某些示例中，通过统计设置参数来定量反映比较候选亮斑的强度特征，以此来筛选候选亮斑。在一个示例中，确定候选亮斑是否为亮斑包括：计算一个候选亮斑的分值Score＝((k1*k2-1)CV-EV)/((CV+EV)/(k1*k2))，判定分值大于第四预设值的候选亮斑为一个亮斑，CV表示候选亮斑对应的矩阵的中心像素值，EV表示亮斑对应的矩阵的非中心像素值的总和。如此，能够能够有效获得对应标记分子且符合后续序列识别的亮斑，获得核酸序列信息。
所称的第四预设值可依据该图像上所有候选亮斑的分值的大小这一信息来确定。例如，当该图像上的候选亮斑的数量大于一定数目符合统计上对量的要求，例如该图像上候选亮斑的数目大于30，可计算且将该图像的所有候选亮斑的Score值按升序排序，第四预设值可设置为第50、第60、第70、第80或90分位数Score值，如此，可排除掉小于第50、第60、第70、第80或第90分位数Score值的候选亮斑，利于有效获得目标亮斑，利于后续碱基序列准确识别。进行该处理或者说该筛选设置的依据是，一般地，认为中心与边缘强度/像素值差异大且汇聚的亮斑为与待检分子所在位置相对应的亮斑。一般情况下，图像上的候选亮斑的数量大于50、大于100或大于1000。
在某些示例中，结合形态和强度/亮度对候选亮斑进行筛选。在一个示例中，确定候选亮斑是否为亮斑包括：计算一个候选亮斑对应的连通域的大小Area＝A*B，以及计算一个候选亮斑的分值Score＝((k1*k2-1)CV-EV)/((CV+EV)/(k1*k2))，A表示以该候选亮斑对应的矩阵的中心的所在行的相连像素/连通像素的大小，B表示以该候选亮斑对应的矩阵的中心的所在列的相连像素/连通像素的大小，定义一个k1*k2矩阵中大于平均像素值的相连像素为一个所称的候选亮斑对应的连通域，CV表示候选亮斑对应的矩阵的中心像素值，EV表示亮斑对应的矩阵的非中心像素值的总和；判定对应的连通域的大小大于第三预设值且分值大于第四预设值的候选亮斑为一个亮斑。如此，能够有效地获得对应核酸分子且利于后续序列识别的亮斑信息。对于所称的第三预设值和/或第四预设值，可以参照前面具体实施方式进行考虑和设置。
在某些具体实施方式中，请参阅图5，图像配准方法还包括S03识别亮斑，待配准和/或参考图像来自发生碱基延伸反应的一个视野，发生碱基延伸反应的该视野上存在多个带有光学可检测标记的核酸分子，至少一部分核酸分子在图像上表现为亮斑，S03包括：预处理图像，获得预处理后的图像，所称的图像选自待配准图像和构建参考图像的图像中的至少一个；确定临界值以简化预处理后的图像，包括对小于临界值的预处理后的图像上的像素点的像素值赋值为第一预设值，对不小于临界值的预处理后的图像上的像素点的像素值赋值为第二预设值，以获得简化图像；基于预处理后的图像确定第一亮斑检测阈值c1；基于预处理后的图像和简化图像识别图像上的候选亮斑，包括判定满足以下a)-c)中至少两个条件的像素点矩阵为一个候选亮斑，a)在预处理后的图像中，像素点矩阵的中心像素点的像素值为最大，像素点矩阵可表示为r1*r2，r1和r2均为大于1的奇数，r1*r2像素点矩阵包含r1*r2个像素点，b)在简化图像中，像素点矩阵的中心像素点的像素值为第二预设值并且像素点矩阵的连通像素大于以及c)在预处理后的图像中的像素点矩阵的中心像素点的像素值大于第三预设值，并且满足g1*g2>c1，g1为以像素点矩阵的中心像素点为中心的m1*m2范围的二维高斯分布的相关系数，g2为该m1*m2范围的像素，m1和m2均为大于1的奇数，m1*m2范围包含m1*m2个像素点；以及确定候选亮斑是否为亮斑。利用该方式检测图像上的亮斑，包括利用发明人通过大量数据训练确定的判断条件或判断条件的组合，能够快速有效地实现图像上的亮斑的检测，特别是对采集自核酸序列测定反应的图像。该方法对待检测图像即原始输入数据没有特别的限制，适用于任何利用光学检测原理进行核酸序列测定的平台所产生的图像的处理分析，包括但不限于二代和三代测序，具有高准确性和高效的特点，能从图像中获取更多的代表序列的信息。特别是对于随机图像及高准确度要求的信号识别，尤其具有优势。
对于灰度图像，像素值同灰度值。若图像是彩色图像，彩色图像的一个像素点具有三个像素值，可以将彩色图像转化为灰度图像，再进行亮斑检测，以降低图像检测过程的计算量和复杂度。可选择但不限于利用浮点算法、整数方法、移位方法或平均值法等将非灰度图像转换成灰度图像。
在一些实施例中，预处理图像包括：利用开运算确定图像的背景；基于背景，利用顶帽运算将图像转化为第一图像；对第一图像进行高斯模糊处理，获得第二图像；对第二图像进行锐化，以获得所称的预处理后的图像。如此，能对图像进行有效的降噪或者说提高图像的信噪比，利于亮斑的准确检测。
开运算是一种形态学处理，即先膨胀后腐蚀的过程，腐蚀操作会使得前景(感兴趣的部分)变小，而膨胀会使得前景变大；开运算可以用来消除小物体，在纤细点处分离物体，并且在平滑较大物体的边界的同时不明显改变其面积。该实施方式对图像做开运算的结构元p1*p2(用来处理图像的基本模板)的大小不作特别限制，p1和p2为奇数。在一个示例中，结构元p1*p2可以为15*15、31*31等，最终都能够获得利于后续处理分析的预处理后的图像。
顶帽运算往往用来分离比临近点(亮点/亮斑)亮一些的斑块，在一幅图像具有大幅的背景，而微小物品比较有规律的情况下，可以使用顶帽运算进行背景提取。在一个示例中，对图像进行顶帽变换包括先对图像做开运算，进而利用原图像减去开运算结果，获得第一图像即顶帽变换后的图像。顶帽变换的数学表达式为dst＝tophat(src,element)＝src-open(src,element)。发明人认为，开运算的结果放大了裂缝或者局部低亮度的区域，因此从原图中减去开运算后的图，得到的图像突出了比原图轮廓周围的区域更明亮的区域，这一操作与选择的核的大小相关，可以认为与亮点/亮斑的预期大小相关，若亮点不是预期大小，处理后的效果会使得整张图产生许多小凸起，具体可以参考虚焦图片，即亮点/亮斑晕染成一团。在一个示例中，亮点的预期大小即选择的核的大小为3*3，得到的顶帽变换后的图像利于后续进一步去噪处理。
高斯模糊(Gaussian Blur)也称为高斯滤波，是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程。通俗的讲，高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。高斯滤波的具体操作是：用一个模板(或称卷积、掩模)扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。在一个示例中，对第一图像进行高斯模糊处理，在OpenCV中使用高斯滤波GaussianBlur函数进行，高斯分布参数Sigma取0.9，所使用的二维滤波器矩阵(卷积核)是3*3，从图像角度看经过该高斯模糊处理后，第一图像上的小突起被抹平，图像边缘光滑。进一步地，对第二图像即高斯过滤后的图像进行锐化，例如进行二维拉普拉斯锐化，从图像角度看经过处理后，边缘被锐化，高斯模糊后的图像得以恢复。
在一些实施例中，简化预处理后的图像包括：基于背景和预处理后的图像，确定临界值；比较预处理后的图像上的像素点的像素值与临界值，对小于临界值的预处理后的图像上的像素点的像素值赋值为第一预设值，对不小于临界值的预处理后的图像上的像素点的像素值赋值为第二预设值，获得简化图像。如此，根据发明人大量测试数据总结的确定临界值的方式以及确定的临界值，据此将预处理后的图像简化，例如二值化，利于后续亮斑准确检测，利于后续碱基准确识别、获得高质量数据等。
具体地，在一些示例中，获得简化图像包括：将预处理后获得的锐化后的结果除以开运算结果，获得和图像像素点对应的一组数值；通过该组数值，确定二值化预处理后的图像的临界值。例如，可将该组数值按大小升序排列，取该组数值中第20、30或40百分位数对应的数值作为二值化临界值/阈值。如此，获得的二值化图像利于后续亮斑的准确检测识别。
在一个示例中，图像预处理时的开运算的结构元为p1*p2，所称的将预处理后的图像(锐化后的结果)除以开运算结果，获得一组和结构元一样大小的数组/矩阵p1*p2，在每个数组中，将该数组包含的p1*p2个数值按大小升序排列，取该数组中第三十百分位数对应的数值作为该区域(数值矩阵)的二值化临界值/阈值，如此，分别确定阈值对图像上的各个区域进行二值化，最终获得的二值化结果在去噪的同时更加突出所需信息，利于后续亮斑的准确检测。
在一些示例中，利用大津法进行第一亮斑检测阈值的确定。大津法(OTSU算法)也可称为最大类间方差法，大津法利用类间方差最大来分割图像，意味着错分概率小，准确性高。假设预处理后的图像的前景和背景的分割阈值为T(c1)，属于前景的像素点数占整幅图像的比例为w0，其平均灰度为μ0；属于背景的像素点数占整幅图像的比例为w1，其平均灰度为μ1。待处理图像的总平均灰度记为μ，类间方差记为var，则有：
μ＝ω0*μ0+ω1*μ1；var＝ω0(μ0-μ)2+ω1(μ1-μ)2，将后者代入前者，得到等价公式：var＝ω0ω1(μ1-μ0)2。采用遍历的方法得到使类间方差最大的分割阈值T，即为所求的第一亮斑检测阈值c1。
在一些实施例中，基于预处理后的图像和简化图像识别图像上的候选亮斑，包括判断同时满足a)-c)三个条件的像素点矩阵为一个候选亮斑。如此，能有效地提高后续基于亮斑信息确定核酸序列的准确性和下机数据的质量。
具体地，在一个示例中，候选亮斑的判定需要满足的条件包括a)，k1、k2可以相等也可以不相等。在一个示例中，成像***相关参数为：物镜60倍，电子传感器的尺寸为6.5μm，经过显微镜成的像再经过电子传感器，能看到的最小尺寸为0.1μm，获得的图像或者输入的图像可为512*512、1024*1024或2048*2048的16位的灰度或彩色图像，k1和k2的取值范围均为大于1且小于10。在一个示例中，在一个预处理后的图像中，依据亮斑的预期大小设置k1＝k2＝3；在另一个示例中，设置k1＝k2＝5。
在一个示例中，候选亮斑的判定需要满足的条件包括b)，在简化图像中，像素点矩阵的中心像素点的像素值为第二预设值，并且该像素点矩阵的连通像素大于即中心像素点的像素值大于临界值且连通像素大于矩阵的三分之二。这里，相邻的像素值都为第二预设值的两个或多个像素为所称的相连像素/连通像素(pixel connectivity)，例如，简化图像为二值化图像，第一预设值为0，第二预设值为1，如图4所示，加粗加大的表示所称的像素点矩阵的中心，粗线框表示像素点矩阵3*3，即k1＝k2＝3，该矩阵的中心像素点的像素值为1，连通像素为4，小于该像素点矩阵不满足条件b)，非候选亮斑。
在一个示例中，候选亮斑的判定需要满足的条件包括c)，在预处理图像中，g2为修正后的m1*m2范围的像素，即为修正后的m1*m2范围像素总和。在一个例子中，依据简化图像相应m1*m2范围中像素值为第二预设值的像素点所占的比例进行修正，例如，如图6所示，m1＝m2＝5，所称的简化图像相应m1*m2范围中像素值为第二预设值的像素点所占的比例为13/25(13个“1”)，修正后的g2为原来的13/25。如此，利于更准确的检测识别亮斑，利于后续亮斑信息的分析读取。
在一些示例中，所称的判定候选亮斑是否为亮斑还包括：基于预处理后的图像确定第二亮斑检测阈值，以及判定像素值不小于第二亮斑检测阈值的候选亮斑为亮斑。在具体示例中，以候选亮斑的坐标所在的像素点的像素值作为该候选亮斑的像素值。通过利用基于预处理后的图像确定的第二亮斑检测阈值对候选亮斑的进一步筛选，能够排除掉至少一部分更可能是图像背景但亮度(强度)和/或形状表现为“亮斑”的亮斑，利于后续基于亮斑的序列的准确识别，提高下机数据的质量。
在一个示例中，可利用重心法获取候选亮斑的坐标，包括亚像素级坐标。利用双线性插值法计算候选亮斑的坐标位置的灰度值。
在某些具体示例中，判定候选亮斑是否为亮斑包括：将预处理后的图像划分为预定大小的一组区域(block)，对该区域中的像素点的像素值进行排序，以确定该区域对应的第二亮斑检测阈值；对于位于区域的候选亮斑，判定像素值不小于该区域对应的第二亮斑检测阈值的候选亮斑为亮斑。如此，区分图像的不同区域的差异比如光强的整体落差，分开进行亮斑的进一步检测识别，利于准确识别亮斑并且获得更多的亮斑。
所称的将预处理后的图像划分为预定大小的一组区域(block)，block之间可以有重叠也可以没有重叠。在一个示例中，block之间没有重叠。在一些实施例中，预处理后的图像的大小不小于512*512，例如为512*512、1024*1024、1800*1800或者2056*2056等，所称预定大小的区域可以设为为200*200。如此，利于快速计算判断识别亮斑。
在一些实施例中，确定该区域对应的第二亮斑检测阈值时，对每个block中的像素点的像素值按大小进行升序排列，取p10+(p10-p1)*4.1作为该block对应的第二亮斑检测阈值，即该block的背景，p1表示第百分之一分位的像素值，p10表示第百分之十分位的像素值。该阈值是发明人通过大量数据训练测试得出的较为稳定的阈值，能够消除大量背景上的亮斑。可以理解地，当光学***调整，图像整体像素分布发生改变时，此阈值可能需要适当调整。图7为进行该处理之前和之后的亮斑检测结果对比示意图，即排除掉区域背景前后的亮斑检测结果示意图，图7的上半部分为作该处理后的亮斑检测结果、下半部分为不作该处理的亮斑检测结果，十字标记的为候选亮斑或亮斑。
上述在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的序列表，可以具体实现在任何计算机可读存储介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读存储介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读存储介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读存储介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
请参阅图8，本发明实施方式提供一种图像配准装置100，该装置用以实施上述任一实施例中的图像配准方法的全部或部分步骤，该装置100包括：第一配准模块110，用于基于参考图像对待配准图像进行第一配准，包括确定待配准图像上的预定区域和参考图像上的相应预定区域的第一偏移量，基于第一偏移量移动待配准图像上的所有亮斑，获得第一配准后的待配准图像，参考图像和待配准图像对应相同对象，参考图像和待配准图像均包含多个亮斑；第二配准模块120，用于基于参考图像对来自第一配准模块的第一配准后的待配准图像进行第二配准，包括合并第一配准后的待配准图像和参考图像，获得合并图像，计算合并图像上的预定区域的所有重合亮斑的偏移量，以确定第二偏移量，距离小于预定像素的两个或多个亮斑为一个重合亮斑，基于该第二偏移量移动第一配准后的待配准图像上的所有亮斑，以实现对待配准图像的配准。
上述对本发明任一实施例中的图像配准方法的技术特征和优点的描述，也适用于该图像配准装置，在此不再赘述。可以理解地，上述任一实施例中的图像配准方法的附加技术特征，包括子步骤、附加步骤、可选择可替代或较佳的设置或处理等，可通过使得该装置或者该装置的模块进一步包括单元/模块或者子单元/子模块得以实施。
例如，在一些示例中，图像配准装置100还包括参考图像构建模块109，参考图像构建模块用于构建参考图像，包括：获取第一图像和第二图像，第一图像和第二图像与待配准图像对应相同对象；基于第一图像对第二图像进行粗配准，包括确定第二图像和第一图像的偏移量，基于该偏移量移动第二图像，获得粗配准后的第二图像；合并第一图像和粗配准后的第二图像，以获得参考图像，第一图像和第二图像均包含多个亮斑。
在一些示例中，在参考图像构建模块109中构建参考图像还包括利用第三图像和第四图像，待配准图像、第一图像、第二图像、第三图像和第四图像来自测序反应的相同视野，第一图像、第二图像、第三图像和第四图像分别对应A/U、T、G和C四种类型碱基延伸反应时的视野，碱基延伸反应时的该视野存在多个带有光学可检测标记的核酸分子，至少一部分核酸分子在图像上表现为亮斑，构建参考图像还包括：基于第一图像对第三图像进行粗配准，包括确定第三图像和第一图像的偏移量，基于该偏移量移动第三图像，获得粗配准后的第三图像；基于第一图像对第四图像进行粗配准，包括确定第四图像和第一图像的偏移量，基于该偏移量移动第四图像，获得粗配准后的第四图像；合并第一图像和粗配准后的第二图像、粗配准后的第三图像以及粗配准后的第四图像，以获得参考图像。
在一些示例中，参考图像和待配准图像为二值化图像。
在一些示例中，利用二维离散傅里叶变换确定第一偏移量、第二图像和第一图像的偏移量、第三图像和第一图像的偏移量和/或述第四图像和第一图像的偏移量。
在一些示例中，图像配准装置100还包括第一亮斑检测模块107，第一亮斑检测模块用于利用k1*k2矩阵对图像进行亮斑检测，判定矩阵的中心像素值不小于矩阵非中心任一像素值的矩阵对应一个候选亮斑，以及确定候选亮斑是否为亮斑，k1和k2均为大于1的奇数，k1*k2矩阵包含k1*k2个像素点。
在一些示例中，所称的矩阵的中心像素值大于第一预设值，矩阵非中心任一像素值大于第二预设值，第一预设值和/或第二预设值与图像的平均像素值相关。
在一些示例中，在第一亮斑检测模块107中，确定候选亮斑是否为亮斑包括：计算一个候选亮斑对应的连通域的大小Area＝A*B，判定对应的连通域的大小大于第三预设值的候选亮斑为一个亮斑，A表示以候选亮斑对应的矩阵的中心的所在行的连通大小，B表示以候选亮斑对应的矩阵的中心的所在列的连通大小，定义大于平均像素值的相连像素点为一个连通域，和/或计算一个候选亮斑的分值Score＝((k1*k2-1)CV-EV)/((CV+EV)/(k1*k2))，判定分值大于第四预设值的候选亮斑为一个亮斑，CV表示候选亮斑对应的矩阵的中心像素值，EV表示亮斑对应的矩阵的非中心像素值的总和。
在一些示例中，图像配准装置100还包括第二亮斑检测模块105，待配准图像或者构成参考图像的任何图像都采集自发生碱基延伸反应的一个视野，发生碱基延伸反应的该视野上存在多个带有光学可检测标记的核酸分子，至少一部分核酸分子在图像上表现为亮斑，第二亮斑检测模块105用于：预处理图像，获得预处理后的图像；确定临界值以简化预处理后的图像，包括对小于临界值的预处理后的图像上的像素点的像素值赋值为第一预设值，对不小于临界值的预处理后的图像上的像素点的像素值赋值为第二预设值，以获得简化图像；基于预处理后的图像确定第一亮斑检测阈值c1；基于预处理后的图像和简化图像识别图像上的候选亮斑，包括判定满足以下a)-c)中至少两个条件的像素点矩阵为一个候选亮斑，a)在预处理后的图像中，像素点矩阵的中心像素点的像素值为最大，像素点矩阵可表示为r1*r2，r1和r2均为大于1的奇数，r1*r2像素点矩阵包含r1*r2个像素点，b)在简化图像中，像素点矩阵的中心像素点的像素值为第二预设值并且像素点矩阵的连通像素大于以及c)在预处理后的图像中的像素点矩阵的中心像素点的像素值大于第三预设值，并且满足g1*g2>c1，g1为以像素点矩阵的中心像素点为中心的m1*m2范围的二维高斯分布的相关系数，g2为该m1*m2范围的像素，m1和m2均为大于1的奇数，m1*m2范围包含m1*m2个像素点；以及确定候选亮斑是否为亮斑。
在一些示例中，在第二亮斑检测模块105中，确定候选亮斑是否为亮斑包括：基于基于预处理后的图像确定第二亮斑检测阈值，以及判定像素值不小于第二亮斑检测阈值的候选亮斑为亮斑。
在一些示例中，候选亮斑的像素值为该候选亮斑的坐标所在的像素点的像素值。
在一些示例中，在第二亮斑检测模块105中，基于预处理后的图像确定第二亮斑检测阈值，判定像素值不小于第二亮斑检测阈值的候选亮斑为亮斑，包括：将预处理后的图像划分为预定大小的一组区域，对该区域中的像素点的像素值进行排序，以确定该区域对应的第二亮斑检测阈值，对于位于区域的候选亮斑，判定像素值不小于该区域对应的第二亮斑检测阈值的候选亮斑为亮斑。
在一些示例中，在第二亮斑检测模块105中，预处理图像包括：利用开运算确定图像的背景，基于背景，利用顶帽运算将图像转化为第一图像，对第一图像进行高斯模糊处理，获得第二图像，对第二图像进行锐化，获得预处理后的图像。
在一些示例中，在第二亮斑检测模块105中，确定临界值以简化预处理后的图像，获得简化图像包括：基于背景和预处理后的图像，确定临界值，比较预处理后的图像上的像素点的像素值与临界值，以获得简化图像。
在一些示例中，在第二亮斑检测模块105中，g2为修正后的m1*m2范围的像素，依据简化图像相应m1*m2范围中像素值为第二预设值的像素点所占的比例进行修正。
在一些示例中，在第一亮斑检测模块107和/或第二亮斑检测模块105中，确定候选亮斑是否为亮斑还包括：若判定候选亮斑为亮斑，计算亮斑的亚像素中心坐标和/或亚像素中心坐标的强度值，若判定候选亮斑非为亮斑，丢弃候选亮斑。
本发明实施方式还提供一种计算机程序产品，该产品包括指令，所称的指令在计算机执行该程序时，使计算机执行上述任一实施例中图像配准方法的全部或部分步骤。
本领域技术人员知晓，除了以纯计算机可读程序代码方式实现控制器/处理器外，完全可以通过将方法步骤进行逻辑变成来使得控制器以逻辑门、开关、专用集成电路、可编辑逻辑控制器和嵌入微控制器等的形式来实现相同的功能。因此，这种控制器/处理器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的的软件模块又可以是硬件部件内的结构。
在本说明书的描述中，一个实施方式、一些实施方式、一个或一些具体实施方式、一个或一些实施例、示例等的描述意指结合该实施方式或示例描述的具体特征、结构或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构等特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同限定。

Claims (33)

1.一种图像配准方法，其特征在于，包括：
基于参考图像对待配准图像进行第一配准，所述参考图像和所述待配准图像对应相同对象，所述参考图像和所述待配准图像均包含多个亮斑，包括，
确定所述待配准图像上的预定区域和所述参考图像上的相应预定区域的第一偏移量，基于所述第一偏移量移动所述待配准图像上的所有亮斑，获得第一配准后的待配准图像；
基于所述参考图像对第一配准后的待配准图像进行第二配准，包括，
合并所述第一配准后的待配准图像和所述参考图像，获得合并图像，
计算所述合并图像上的预定区域的所有重合亮斑的偏移量，以确定第二偏移量，距离小于预定像素的两个或多个亮斑为一个所述重合亮斑，
基于该第二偏移量移动所述第一配准后的待配准图像上的所有亮斑，以实现对所述待配准图像的配准。
2.权利要求1的方法，其特征在于，所述参考图像通过构建获得，构建所述参考图像包括：
获取第一图像和第二图像，所述第一图像和所述第二图像与所述待配准图像对应相同对象；
基于第一图像对第二图像进行粗配准，包括确定所述第二图像和所述第一图像的偏移量，基于该偏移量移动所述第二图像，获得粗配准后的第二图像；
合并所述第一图像和粗配准后的第二图像，以获得所述参考图像，所述第一图像和所述第二图像均包含多个亮斑。
3.权利要求2的方法，其特征在于，构建所述参考图像还包括利用第三图像和第四图像，所述待配准图像、第一图像、第二图像、第三图像和第四图像来自测序反应的相同视野，所述第一图像、第二图像、第三图像和第四图像分别对应A/U、T、G和C四种类型碱基延伸反应时的所述视野，碱基延伸反应时的该视野存在多个带有光学可检测标记的核酸分子，至少一部分所述核酸分子在所述图像上表现为所述亮斑，构建所述参考图像还包括：
基于第一图像对第三图像进行粗配准，包括确定所述第三图像和所述第一图像的偏移量，基于该偏移量移动所述第三图像，获得粗配准后的第三图像；
基于第一图像对第四图像进行粗配准，包括确定所述第四图像和所述第一图像的偏移量，基于该偏移量移动所述第四图像，获得粗配准后的第四图像；
合并所述第一图像和粗配准后的第二图像、粗配准后的第三图像以及粗配准后的第四图像，以获得所述参考图像。
4.权利要求1的方法，其特征在于，所述参考图像和所述待配准图像为二值化图像。
5.权利要求3的方法，其特征在于，利用二维离散傅里叶变换确定所述第一偏移量、所述第二图像和所述第一图像的偏移量、所述第三图像和所述第一图像的偏移量和/或述第四图像和所述第一图像的偏移量。
6.权利要求1-5任一方法，其特征在于，还包括识别所述亮斑，包括利用k1*k2矩阵对图像进行检测，判定所述矩阵的中心像素值不小于所述矩阵非中心任一像素值的矩阵对应一个候选亮斑，以及确定所述候选亮斑是否为所述亮斑，k1和k2均为大于1的奇数，k1*k2矩阵包含k1*k2个像素点。
7.权利要求6的方法，其特征在于，所述矩阵的中心像素值大于第一预设值，所述矩阵非中心任一像素值大于第二预设值，所述第一预设值和所述第二预设值与所述图像的平均像素值相关。
8.权利要求6的方法，其特征在于，确定所述候选亮斑是否为所述亮斑包括：
计算一个所述候选亮斑对应的连通域的大小Area＝A*B，判定对应的连通域的大小大于第三预设值的候选亮斑为一个所述亮斑，A表示以所述候选亮斑对应的矩阵的中心的所在行的连通大小，B表示以所述候选亮斑对应的矩阵的中心的所在列的连通大小，定义大于平均像素值的相连像素点为一个连通域，和/或
计算一个所述候选亮斑的分值Score＝((k1*k2-1)CV-EV)/((CV+EV)/(k1*k2))，判定分值大于第四预设值的所述候选亮斑为一个所述亮斑，CV表示所述候选亮斑对应的矩阵的中心像素值，EV表示所述亮斑对应的所述矩阵的非中心像素值的总和。
9.权利要求1-5任一方法，其特征在于，还包括识别所述亮斑，所述图像采集自发生碱基延伸反应的一个视野，发生碱基延伸反应的该视野上存在多个带有光学可检测标记的核酸分子，至少一部分所述核酸分子在所述图像上表现为亮斑，所述方法包括：
预处理所述图像，获得预处理后的图像；
确定临界值以简化所述预处理后的图像，包括对小于所述临界值的所述预处理后的图像上的像素点的像素值赋值为第一预设值，对不小于所述临界值的所述预处理后的图像上的像素点的像素值赋值为第二预设值，以获得简化图像；
基于所述预处理后的图像确定第一亮斑检测阈值c1；
基于所述预处理后的图像和所述简化图像识别所述图像上的候选亮斑，包括判定满足以下a)-c)中至少两个条件的像素点矩阵为一个所述候选亮斑，
a)在所述预处理后的图像中，像素点矩阵的中心像素点的像素值为最大，所述像素点矩阵可表示为r1*r2，r1和r2均为大于1的奇数，r1*r2像素点矩阵包含r1*r2个像素点，
b)在所述简化图像中，所述像素点矩阵的中心像素点的像素值为第二预设值并且所述像素点矩阵的连通像素大于(2/3)*r1*r2，以及
c)在所述预处理后的图像中的所述像素点矩阵的中心像素点的像素值大于第三预设值，并且满足g1*g2>c1，g1为以所述像素点矩阵的中心像素点为中心的m1*m2范围的二维高斯分布的相关系数，g2为该m1*m2范围的像素，m1和m2均为大于1的奇数，m1*m2范围包含m1*m2个像素点；以及
确定所述候选亮斑是否为所述亮斑。
10.权利要求9的方法，其特征在于，确定候选亮斑是否为亮斑包括：
基于所述预处理后的图像确定第二亮斑检测阈值，以及
判定像素值不小于所述第二亮斑检测阈值的候选亮斑为所述亮斑。
11.权利要求10的方法，其特征在于，所述候选亮斑的像素值为该候选亮斑的坐标所在的像素点的像素值。
12.权利要求10的方法，其特征在于，基于预处理后的图像确定第二亮斑检测阈值，判定像素值不小于所述第二亮斑检测阈值的候选亮斑为所述亮斑，包括：
将所述预处理后的图像划分为预定大小的一组区域，
对该区域中的像素点的像素值进行排序，以确定该区域对应的第二亮斑检测阈值，
对于位于所述区域的候选亮斑，判定像素值不小于该区域对应的第二亮斑检测阈值的候选亮斑为所述亮斑。
13.权利要求9的方法，其特征在于，预处理所述图像，包括：
利用开运算确定所述图像的背景，
基于所述背景，利用顶帽运算将所述图像转化为第一图像，
对所述第一图像进行高斯模糊处理，获得第二图像，
对所述第二图像进行锐化，获得所述预处理后的图像。
14.权利要求13的方法，其特征在于，所述确定临界值以简化所述预处理后的图像，获得简化图像，包括：
基于所述背景和所述预处理后的图像，确定所述临界值，
比较所述预处理后的图像上的像素点的像素值与所述临界值，以获得所述简化图像。
15.权利要求9的方法，其特征在于，g2为修正后的m1*m2范围的像素，依据所述简化图像相应m1*m2范围中像素值为第二预设值的像素点所占的比例进行所述修正。
16.权利要求6的方法，其特征在于，确定所述候选亮斑是否为所述亮斑还包括：
若判定所述候选亮斑为所述亮斑，计算所述亮斑的亚像素中心坐标和/或所述亚像素中心坐标的强度值，
若判定所述候选亮斑非为所述亮斑，丢弃所述候选亮斑。
17.一种图像配准装置，其特征在于，包括：
第一配准模块，用于基于参考图像对待配准图像进行第一配准，包括，
确定所述待配准图像上的预定区域和所述参考图像上的相应预定区域的第一偏移量，基于所述第一偏移量移动所述待配准图像上的所有亮斑，获得第一配准后的待配准图像，所述参考图像和所述待配准图像对应相同对象，所述参考图像和所述待配准图像均包含多个亮斑；
第二配准模块，用于基于所述参考图像对来自所述第一配准模块的第一配准后的待配准图像进行第二配准，包括，
合并所述第一配准后的待配准图像和所述参考图像，获得合并图像，
计算所述合并图像上的预定区域的所有重合亮斑的偏移量，以确定第二偏移量，距离小于预定像素的两个或多个亮斑为一个所述重合亮斑，
基于该第二偏移量移动所述第一配准后的待配准图像上的所有亮斑，以实现对所述待配准图像的配准。
18.权利要求17的装置，其特征在于，还包括参考图像构建模块，所述参考图像构建模块用于构建所述参考图像，包括：
获取第一图像和第二图像，所述第一图像和所述第二图像与所述待配准图像对应相同对象；
基于第一图像对第二图像进行粗配准，包括确定所述第二图像和所述第一图像的偏移量，基于该偏移量移动所述第二图像，获得粗配准后的第二图像；
合并所述第一图像和粗配准后的第二图像，以获得所述参考图像，所述第一图像和所述第二图像均包含多个亮斑。
19.权利要求18的装置，其特征在于，在所述参考图像构建模块中构建所述参考图像还包括利用第三图像和第四图像，所述待配准图像、第一图像、第二图像、第三图像和第四图像来自测序反应的相同视野，所述第一图像、第二图像、第三图像和第四图像分别对应A/U、T、G和C四种类型碱基延伸反应时的所述视野，碱基延伸反应时的该视野存在多个带有光学可检测标记的核酸分子，至少一部分所述核酸分子在所述图像上表现为所述亮斑，构建所述参考图像还包括：
基于第一图像对第三图像进行粗配准，包括确定所述第三图像和所述第一图像的偏移量，基于该偏移量移动所述第三图像，获得粗配准后的第三图像；
基于第一图像对第四图像进行粗配准，包括确定所述第四图像和所述第一图像的偏移量，基于该偏移量移动所述第四图像，获得粗配准后的第四图像；
合并所述第一图像和粗配准后的第二图像、粗配准后的第三图像以及粗配准后的第四图像，以获得所述参考图像。
20.权利要求17的装置，其特征在于，所述参考图像和所述待配准图像为二值化图像。
21.权利要求19的装置，其特征在于，利用二维离散傅里叶变换确定所述第一偏移量、所述第二图像和所述第一图像的偏移量、所述第三图像和所述第一图像的偏移量和/或述第四图像和所述第一图像的偏移量。
22.权利要求17-21任一装置，其特征在于，还包括第一亮斑检测模块，所述第一亮斑检测模块用于利用k1*k2矩阵对图像进行亮斑检测，判定所述矩阵的中心像素值不小于所述矩阵非中心任一像素值的矩阵对应一个候选亮斑，以及确定所述候选亮斑是否为所述亮斑，k1和k2均为大于1的奇数，k1*k2矩阵包含k1*k2个像素点。
23.权利要求22的装置，其特征在于，所述矩阵的中心像素值大于第一预设值，所述矩阵非中心任一像素值大于第二预设值，所述第一预设值和/或所述第二预设值与所述图像的平均像素值相关。
24.权利要求22的装置，其特征在于，在所述第一亮斑检测模块中，确定所述候选亮斑是否为所述亮斑包括：
计算一个所述候选亮斑对应的连通域的大小Area＝A*B，判定对应的连通域的大小大于第三预设值的候选亮斑为一个所述亮斑，A表示以所述候选亮斑对应的矩阵的中心的所在行的连通大小，B表示以所述候选亮斑对应的矩阵的中心的所在列的连通大小，定义大于平均像素值的相连像素点为一个连通域，和/或
计算一个所述候选亮斑的分值Score＝((k1*k2-1)CV-EV)/((CV+EV)/(k1*k2))，判定分值大于第四预设值的所述候选亮斑为一个所述亮斑，CV表示所述候选亮斑对应的矩阵的中心像素值，EV表示所述亮斑对应的所述矩阵的非中心像素值的总和。
25.权利要求17-21任一装置，其特征在于，还包括第二亮斑检测模块，所述图像采集自发生碱基延伸反应的一个视野，发生碱基延伸反应的该视野上存在多个带有光学可检测标记的核酸分子，至少一部分所述核酸分子在所述图像上表现为亮斑，所述第二亮斑检测模块用于：
预处理所述图像，获得预处理后的图像；
确定临界值以简化所述预处理后的图像，包括对小于所述临界值的所述预处理后的图像上的像素点的像素值赋值为第一预设值，对不小于所述临界值的所述预处理后的图像上的像素点的像素值赋值为第二预设值，以获得简化图像；
基于所述预处理后的图像确定第一亮斑检测阈值c1；
基于所述预处理后的图像和所述简化图像识别所述图像上的候选亮斑，包括判定满足以下a)-c)中至少两个条件的像素点矩阵为一个所述候选亮斑，
a)在所述预处理后的图像中，像素点矩阵的中心像素点的像素值为最大，所述像素点矩阵可表示为r1*r2，r1和r2均为大于1的奇数，r1*r2像素点矩阵包含r1*r2个像素点，
b)在所述简化图像中，所述像素点矩阵的中心像素点的像素值为第二预设值并且所述像素点矩阵的连通像素大于(2/3)*r1*r2，以及
c)在所述预处理后的图像中的所述像素点矩阵的中心像素点的像素值大于第三预设值，并且满足g1*g2>c1，g1为以所述像素点矩阵的中心像素点为中心的m1*m2范围的二维高斯分布的相关系数，g2为该m1*m2范围的像素，m1和m2均为大于1的奇数，m1*m2范围包含m1*m2个像素点；以及
确定所述候选亮斑是否为所述亮斑。
26.权利要求25的装置，其特征在于，在所述第二亮斑检测模块中，确定候选亮斑是否为亮斑包括：
基于所述预处理后的图像确定第二亮斑检测阈值，以及
判定像素值不小于所述第二亮斑检测阈值的候选亮斑为所述亮斑。
27.权利要求26的装置，其特征在于，所述候选亮斑的像素值为该候选亮斑的坐标所在的像素点的像素值。
28.权利要求26的装置，其特征在于，在所述第二亮斑检测模块中，基于预处理后的图像确定第二亮斑检测阈值，判定像素值不小于所述第二亮斑检测阈值的候选亮斑为所述亮斑，包括：
将所述预处理后的图像划分为预定大小的一组区域，
对该区域中的像素点的像素值进行排序，以确定该区域对应的第二亮斑检测阈值，
对于位于所述区域的候选亮斑，判定像素值不小于该区域对应的第二亮斑检测阈值的候选亮斑为所述亮斑。
29.权利要求25的装置，其特征在于，在所述第二亮斑检测模块中，预处理所述图像包括：
利用开运算确定所述图像的背景，
基于所述背景，利用顶帽运算将所述图像转化为第一图像，
对所述第一图像进行高斯模糊处理，获得第二图像，
对所述第二图像进行锐化，获得所述预处理后的图像。
30.权利要求29的装置，其特征在于，在所述第二亮斑检测模块中，所述确定临界值以简化所述预处理后的图像，获得简化图像包括：
基于所述背景和所述预处理后的图像，确定所述临界值，
比较所述预处理后的图像上的像素点的像素值与所述临界值，以获得所述简化图像。
31.权利要求25的装置，其特征在于，在所述第二亮斑检测模块中，g2为修正后的m1*m2范围的像素，依据所述简化图像相应m1*m2范围中像素值为第二预设值的像素点所占的比例进行所述修正。
32.权利要求22的装置，其特征在于，在所述第一亮斑检测模块中，确定所述候选亮斑是否为所述亮斑还包括：
若判定所述候选亮斑为所述亮斑，计算所述亮斑的亚像素中心坐标和/或所述亚像素中心坐标的强度值，
若判定所述候选亮斑非为所述亮斑，丢弃所述候选亮斑。
33.一种计算机程序产品，包括指令，其特征在于，所述指令在所述计算机执行所述程序时，使所述计算机执行如权利要求1-16任一项的方法的全部或部分步骤。
CN201810963040.4A 2018-08-22 2018-08-22 图像配准方法、装置和计算机程序产品 Active CN112288781B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810963040.4A CN112288781B (zh) 2018-08-22 2018-08-22 图像配准方法、装置和计算机程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810963040.4A CN112288781B (zh) 2018-08-22 2018-08-22 图像配准方法、装置和计算机程序产品

Publications (2)

Publication Number Publication Date
CN112288781A CN112288781A (zh) 2021-01-29
CN112288781B true CN112288781B (zh) 2024-07-05

Family

ID=74418974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810963040.4A Active CN112288781B (zh) 2018-08-22 2018-08-22 图像配准方法、装置和计算机程序产品

Country Status (1)

Country Link
CN (1) CN112288781B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024119327A1 (zh) * 2022-12-05 2024-06-13 深圳华大生命科学研究院 一种图像处理方法、装置、设备及介质
WO2024140739A1 (zh) * 2022-12-30 2024-07-04 广东润鹏生物技术有限公司 测序图像的光斑融合方法、装置、存储介质及计算机设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108022259A (zh) * 2016-11-04 2018-05-11 北京建筑大学 干涉sar复图像配准方法和***

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105550990B (zh) * 2015-12-10 2017-07-28 北京中科紫鑫科技有限责任公司 一种基于傅里叶配准的dna图像处理方法及装置
CN105427327B (zh) * 2015-12-10 2017-05-31 北京中科紫鑫科技有限责任公司 一种dna测序的图像配准方法及装置
CN107730541A (zh) * 2016-08-12 2018-02-23 广州康昕瑞基因健康科技有限公司 图像配准方法和***及图像拍摄对位方法和***
WO2018068511A1 (zh) * 2016-10-10 2018-04-19 深圳市瀚海基因生物科技有限公司 基因测序的图像处理方法及***
US10467749B2 (en) * 2016-10-10 2019-11-05 Genemind Biosciences Company Limited Method and system for processing an image comprising spots in nucleic acid sequencing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108022259A (zh) * 2016-11-04 2018-05-11 北京建筑大学 干涉sar复图像配准方法和***

Also Published As

Publication number Publication date
CN112288781A (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
CN112823352B (zh) 碱基识别方法、***和测序***
CN107945150B (zh) 基因测序的图像处理方法及***及计算机可读存储介质
WO2020037572A1 (zh) 检测图像上的亮斑的方法和装置、图像配准方法和装置
US11847766B2 (en) Method and device for detecting bright spots on image, and computer program product
CN111160337A (zh) 一种指针式仪表读数的自动识别方法、***、介质及设备
CN113012757B (zh) 识别核酸中的碱基的方法和***
CN111583114B (zh) 一种管道螺纹自动测量装置及测量方法
US12008775B2 (en) Method and device for image registration, and computer program product
CN112204615A (zh) 荧光图像配准方法、基因测序仪及***、存储介质
CN112288781B (zh) 图像配准方法、装置和计算机程序产品
CN112289377B (zh) 检测图像上的亮斑的方法、装置和计算机程序产品
WO2019196019A1 (zh) 荧光图像配准方法、基因测序仪及***、存储介质
CN112289381B (zh) 基于图像构建测序模板的方法、装置和计算机产品
CN116563298B (zh) 基于高斯拟合的十字线中心亚像素检测方法
WO2020037571A1 (zh) 基于图像构建测序模板的方法、装置和计算机程序产品
CN107274349B (zh) 生物芯片荧光图像倾斜角度的确定方法及装置
CN117557560A (zh) 基于pet和ct图像融合的肺结节病灶识别方法及***
US11170506B2 (en) Method for constructing sequencing template based on image, and base recognition method and device
CN112285070B (zh) 检测图像上的亮斑的方法和装置、图像配准方法和装置
JP2012514758A (ja) 顕微鏡法
CN112288783B (zh) 基于图像构建测序模板的方法、碱基识别方法和装置
CN113128500A (zh) 一种基于Mask-RCNN的非机动车车牌识别方法及***
CN113793309A (zh) 一种基于形态学特征的亚像素级椭圆检测方法
WO2023070662A1 (zh) 基于磁珠的检测方法、存储介质和检测设备
Paulik et al. Staining Independent Nonrigid Iterative Registration Method, for Microscopic Samples

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40035905

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 518000 podium 502A and 502B, podium 602, Luohu investment holding building, No. 112, Qingshuihe 1st Road, Qingshuihe community, Qingshuihe street, Luohu District, Shenzhen, Guangdong

Patentee after: Shenzhen Zhenmai Biotechnology Co.,Ltd.

Country or region after: China

Address before: 518000 5th and 6th floors, block 2, Shenye Jinyuan Building, No.116, Qingshuihe 1st Road, Qingshuihe street, Luohu District, Shenzhen City, Guangdong Province

Patentee before: Shenzhen Zhenmai Biotechnology Co.,Ltd.

Country or region before: China