CN107666546B - 图像拍摄对位方法和*** - Google Patents

图像拍摄对位方法和*** Download PDF

Info

Publication number
CN107666546B
CN107666546B CN201610614885.3A CN201610614885A CN107666546B CN 107666546 B CN107666546 B CN 107666546B CN 201610614885 A CN201610614885 A CN 201610614885A CN 107666546 B CN107666546 B CN 107666546B
Authority
CN
China
Prior art keywords
image
shooting
sub
platform
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610614885.3A
Other languages
English (en)
Other versions
CN107666546A (zh
Inventor
盛司潼
冀高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Kangxinrui Gene Health Technology Co Ltd
Original Assignee
Guangzhou Kangxinrui Gene Health Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Kangxinrui Gene Health Technology Co Ltd filed Critical Guangzhou Kangxinrui Gene Health Technology Co Ltd
Priority to CN201610614885.3A priority Critical patent/CN107666546B/zh
Priority to PCT/CN2017/093087 priority patent/WO2018019143A1/zh
Publication of CN107666546A publication Critical patent/CN107666546A/zh
Application granted granted Critical
Publication of CN107666546B publication Critical patent/CN107666546B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00249—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/06—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using cylindrical picture-bearing surfaces, i.e. scanning a main-scanning line substantially perpendicular to the axis and lying in a curved cylindrical surface
    • H04N1/0664—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using cylindrical picture-bearing surfaces, i.e. scanning a main-scanning line substantially perpendicular to the axis and lying in a curved cylindrical surface with sub-scanning by translational movement of the picture-bearing surface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/10—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using flat picture-bearing surfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/10—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using flat picture-bearing surfaces
    • H04N1/1008—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using flat picture-bearing surfaces with sub-scanning by translatory movement of the picture-bearing surface

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Studio Devices (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种图像拍摄对位方法和***，所述方法包括：提供一成像装置，所述成像装置包括获取图像的拍摄装置以及正对拍摄装置的载物平台，载物平台可从复位点开始沿X坐标轴方向移动和/或沿Y坐标轴方向移动；放置样本于载物平台上，移动载物平台使拍摄装置步进扫描样本，以确定样本区域内一矩形拍照区域；分割所述矩形拍照区域为多个呈矩阵排列的子区域；以及移动载物平台对预定子区域进行两次图像拍摄，并根据两次图像拍摄结果校正拍摄装置对位每个子区域时载物平台的移动误差。本发明的图像拍摄对位方法和***可以消除图像拍摄时载物平台的移动误差。

Description

图像拍摄对位方法和***
技术领域
本发明涉及基因测序领域，更具体地说，本发明涉及一种图像拍摄对位方法和***。
背景技术
基因测序领域通常需要对样本进行图像拍摄和识别，由于拍摄装置的镜头观测范围远小于样本的面积，因此镜头每次只能对样本的局部进行拍摄。现有技术通常采用连续步进的方式依次拍摄适配成像装置的观测范围的多个小区域，然后将多个小区域的图像拼接还原为样本图像。由于需要对样本每个小区域进行多次拍摄，载物平台来回移动的过程中产生的移动误差使得多次拍摄的图像不能完全重叠。另外，载物平台在不同方向的误差累积更为严重，还会导致不同行的小区域图像拍摄出现位移误差进而影响样本图像拼接还原的质量。
发明内容
本发明的目的在于提供一种图像拍摄对位方法和***，旨在解决现有技术图像拍时载物平台移动误差的问题。
一种图像拍摄对位方法包括：提供一成像装置，所述成像装置包括获取图像的拍摄装置以及正对拍摄装置的载物平台，载物平台可从复位点开始沿X坐标轴方向移动和/或沿Y坐标轴方向移动；放置样本于载物平台上，移动载物平台使拍摄装置步进扫描样本，以确定样本区域内一矩形拍照区域；分割所述矩形拍照区域为多个呈矩阵排列的子区域；以及移动载物平台对预定子区域进行两次图像拍摄，并根据两次图像拍摄结果校正拍摄装置对位每个子区域时载物平台的移动误差。
作为改进，所述移动载物平台对预定子区域进行两次图像拍摄，并根据两次图像拍摄结果校正拍摄装置对位每个子区域时载物平台的移动误差包括：从复位点开始移动载物平台，第一条件下使拍摄装置对位所述预定子区域并进行第一次图像拍摄，获得第一图像；从复位点开始移动载物平台，第一条件下使拍摄装置对位所述预定子区域并进行二次图像拍摄，获得第二图像；以及计算第一图像和第二图像之间的偏移量并换算为载物平台的移动误差。
作为改进，校正平台的移动误差后进一步包括：第二条件下移动载物平台对拍照区域内的子区域拍摄图像。
作为改进，所述第一条件为使用灯光照亮样本区域，所述第二条件为样本区域自发荧光。
作为改进，进一步包括当所述偏移量在预设阈值范围内时候，移动载物平台以校正偏移量后控制拍摄装置拍摄预定子区域的第三图像并再次计算载物平台的移动误差。
作为改进，移动载物平台以校正偏移量后控制拍摄装置拍摄预定子区域的第三图像并再次计算载物平台的移动误差包括：移动载物平台并校正偏移量，第一条件下使拍摄装置对位所述预定子区域进行第三次图像拍摄并获得第三图像；计算第一图像和第三图像之间的偏移量；如果第一图像和第三图像之间的偏移量在预设阈值范围内，且第一图像和第三图像之间的偏移量小于第一图像和第二图像之间的偏移量，则校正拍摄装置对位每个子区域时载物平台的移动坐标，否则结束载物平台移动误差校正。
作为改进，所述预设阈值范围为8-800像素距离。
作为改进，校正平台的移动误差后进一步包括：相同方向移动载物平台对拍照区域内的多行子区域依次拍摄图像 。
作为改进，所述相同方向移动载物平台对拍照区域内的多行子区域依次拍摄图像包括：沿相同方向步进移动载物平台依次对一行每个子区域进行图像拍摄；以及移动载物平台至复位点的X坐标进行复位后沿相同方向步进移动载物平台依次对另一行每个子区域进行图像拍摄，重复本步骤完成整个矩形拍照区域的图像拍摄。
作为改进，对一行每个子区域进行图像拍摄之前进一步包括：从复位点的X坐标移动载物平台使拍摄装置对位于该行子区域的边界子区域。
作为改进，所述边界子区域为距离复位点的X坐标最近的子区域，所述相同方向为X坐标轴方向。
作为改进，所述边界子区域为距离复位点的X坐标最远的子区域，所述相同方向为X坐标轴反方向。
一种图像拍摄对位***包括：成像装置，所述成像装置包括获取图像的拍摄装置以及正对拍摄装置的载物平台，载物平台可从复位点开始沿X坐标轴方向移动和/或沿Y坐标轴方向移动；拍照区域确定模块，所述拍照区域确定模块用于控制移动载物平台使拍摄装置步进扫描位于载物平台上的样本，进而确定样本区域内一矩形拍照区域；拍照区域分割模块，所述拍照区域分割模块用于控制分割所述矩形拍照区域为多个子区域，多个子区域包括沿X坐标轴方向排列的多行子区域；平台移动校正模块，所述平台移动校正模块用于控制移动载物平台对预定子区域进行两次图像拍摄，并根据两次图像拍摄结果校正拍摄装置对位每个子区域时载物平台的移动误差。
作为改进，所述平台移动校正模块进一步包括移动坐标校正模块，用于校正拍摄装置对位每个子区域时载物平台的移动坐标。
作为改进，所述的图像拍摄对位***，进一步包括普通拍照模块，所述普通拍照模块用于控制沿相同方向步进移动载物平台依次对一行每个子区域进行在第二条件下的图像拍摄；以及复位拍照模块，所述复位拍照模块用于控制移动载物平台至复位点的X坐标进行复位后沿相同方向步进移动载物平台依次对另外多行每个子区域进行第二条件下的图像拍摄，直到整个矩形拍照区域的图像拍摄。
作为改进，所述第一条件为使用灯光照亮样本区域，所述第二条件为样本区域自发荧光。
作为改进，所述复位拍照模块进一步用于控制：对每一行子区域进行图像拍摄前，从复位点的X坐标移动载物平台使拍摄装置对位于该行子区域的边界子区域。
作为改进，所述边界子区域为距离复位点的X坐标最近的子区域，所述相同方向为X坐标轴方向。
作为改进，所述边界子区域为距离复位点的X坐标最远的子区域，所述相同方向为X坐标轴反方向。
作为改进，所述平台移动校正模块进一步包括二次校正模块，所述二次校正模块用于判断当所述偏移量在预设阈值范围内时，控制拍摄装置拍摄预定子区域的第三图像并再次计算载物平台的移动误差。
作为改进，所述二次校正模块进一步判断当第一图像和第三图像之间的偏移量在预设阈值范围内，且第一图像和第三图像之间的偏移量小于第一图像和第二图像之间的偏移量时，校正拍摄装置对位每个子区域时载物平台的移动坐标。
相对于现有技术，本发明的图像拍摄对位方法和***在对多个子区域正式拍摄图像之前，先对预定子区域（对位参考子区域）进行两次图像拍摄，并根据两次图像拍摄结果校正载物平台的移动误差，可以最大限度消除或减少平台移动误差导致相同子区域前后拍摄的多幅图像之间发生较大的偏移，提高基因测序后续图像数据处理的准确性。进一步地，本发明图像拍摄对位方法和***在对不同行子区域拍摄之前对移动平台进行复位，还可以消除连续拍摄多行子区域图像时载物平台步进移动产生的累积误差，优化所有子区域图像拼接的效果。
附图说明
图1为本发明第一实施方式图像拍摄对位方法的流程示意图。
图2为图1拍摄方法中载物平台移动路线示意图。
图3为图1中校正拍摄装置对位每个子区域时载物平台的移动误差步骤的具体流程示意图。
图4为图3流程中对预定子区域拍摄的具有特征区域的第一图像示意图。
图5为图3流程中对预定子区域拍摄的具有相同特征区域的第二图像的示意图。
图6为图4-5所示第一图像和第二图像之间的偏移量示意图。
图7为图3流程进一步增加的二次校正步骤流程示意图。
图8为图7流程中第一图像和第三图像之间的偏移量示意图。
图9为本发明第二实施方式图像拍摄对位方法的流程示意图。
图10为图9中对拍照区域内的多行子区域依次拍摄图像的具体流程示意图。
图11为图10拍摄流程中载物平台移动路线示意图。
图12为图10拍摄流程中载物平台另一移动路线示意图。
图13-14为本发明一实施方式图像拍摄对位***的方框示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施方式，对本发明进行进一步详细说明。
请参考图1-图2，本发明第一实施方式提供一种图像拍摄对位方法，其包括步骤S11-S14。
步骤S11, 提供一成像装置，所述成像装置包括获取图像的拍摄装置以及正对拍摄装置的载物平台10，载物平台10可从复位点o开始沿X坐标轴方向移动和/或沿Y坐标轴方向移动。本实施方式中，拍摄装置包括镜头和获取图像的CCD图像传感器。
步骤S12,放置样本20于载物平台10上，移动载物平台10使拍摄装置步进扫描样本20，以确定样本区域内一矩形拍照区域30。一实施方式中，所述样本20为高通量基因测序样本，所述样本20包括多个待识别磁珠，由于磁珠体积较小且在边缘附近有不易识别的情况，因此选定高通量基因测序样本的中心附近矩形区域作为矩形拍照区域30，以便准确识别矩形拍照区域30对应图像的信息。本实施中，所述复位点位于拍照区域30之外。
步骤S13，分割所述矩形拍照区域30为多个呈矩阵排列的子区域31，呈矩阵排列子区域31包括沿X坐标轴方向排列的多行子区域。
一实施方式中，拍摄装置的聚焦范围远小于标样20的面积，对基因测序样本的拍摄以预先选择的成像效果较好的矩形拍照区域30进行。实际拍摄时，将预先选好的矩形拍照区域30分割为多个适配成像装置的聚焦范围的小区域31，然后移动成像装置分别对每个小区域31进行拍摄，最后合成将整个矩形拍照区域30的图像。本实施方式中，多个子区域31呈矩阵排列且包括沿X坐标轴方向排列的多行子区域。
步骤S14，移动载物平台对预定子区域进行两次图像拍摄，并根据两次图像拍摄结果校正拍摄装置对位每个子区域时载物平台的移动误差。本实施方式中，步骤S14进一步包括图3所示的步骤S141-S144 。
步骤S141，将一预定子区域定义为对位参考子区域，本实施方式中定义距离复位点最近的子区域A1为对位参考子区域。
步骤S142，从复位点开始移动载物平台，第一条件下使拍摄装置对位所述预定子区域并进行第一次图像拍摄，获得第一图像。
一实施方式中，请继续参考图2，从复位点o沿Y轴方向移动载物平台10，如图2中线路Y1，使拍摄装置和第一行子区域A1-A5的Y坐标（0, Y1）对齐。然后沿X坐标移动载物平台10，如图2中线路X1，即从复位点的X坐标（0, Y1）开始移动载物平台10,使拍摄装置对位于该第一行子区域A1-A5的右边界子区域A1进行第一次拍摄，以获得第一图像，本实施方式所述右边界子区域A1作为预定子区域为第一行距离复位点的X坐标最近的子区域31。较佳实施方式中，所述第一条件为使用灯光照亮样本区域。
步骤S143，从复位点开始移动载物平台，第一条件下使拍摄装置对位所述预定子区域并进行二次图像拍摄，获得第二图像。
一实施方式中，请参考图2，再次从复位点o沿Y轴方向移动载物平台10，如图2中线路Y1，使拍摄装置和第一行子区域A1-A5的Y坐标（0, Y1）对齐。然后沿X坐标移动载物平台10，如图2中线路X1，即从复位点的X坐标（0, Y1）开始移动载物平台10,使拍摄装置对位于该第一行子区域A1-A5的右边界子区域A1进行第二次拍摄，以获得第二图像。较佳实施方式中，所述第一条件为使用灯光照亮样本区域。
步骤S144，计算第一图像和第二图像之间的偏移量并换算为载物平台的移动误差。
参考图4-5，计算图4所示的第一图像内的特征区域42相对第一图像角落41的第一相对坐标。识别图5所示的第二图像内的相同特征区域52，并计算相同特征区域52相对第二图像对应角落51的第二相对坐标，然后将第一、第二相对坐标的差值定义为第一图像和第二图像之间的偏移量，根据图像和样本放大比例关系k将偏移量换算为载物平台的移动误差。本实施方式中，特征区域为通过图像识别方法从第一图像和第二图像中识别的特征明显的相同标样部分，替代实施方式中，所述特征区域也可以为多个。
步骤S145，校正拍摄装置对位每个子区域时载物平台的移动坐标。
本实施方式中，载物平台从复位点o沿X轴、Y轴方向移动并校正移动误差，使拍摄装置依次对位每个子区域并进行图像拍摄。一实施方式中，设原来每个子区域的坐标为（x,y）, 第一图像和第二图像之间的偏移量如图6所示为（w1,h1），则校正移动误差后每个子区域的坐标为（x-kw1,y-kh1）。
参考图7，替代实施方式中，步骤S144之后还包括二次校正步骤，所述二次校正步骤判断偏移量δ1在预设阈值范围内时候，移动载物平台以校正偏移量后控制拍摄装置拍摄预定子区域的第三图像并再次计算载物平台的移动误差，其包括S146-S150。
本实施方式中，所述步骤S146，用于判断步骤S144计算产生的偏移量δ1是否在预设阈值范围内，如果偏移量δ1小于第一阈值或大于第二预设阈值，则结束流程，停止载物平台校正移动误差。如果偏移量δ1在预设阈值范围内，即第二预设值≥偏移量δ1≥预设阈值，则执行步骤S147。
本实施方式中，所述步骤S147用于控制移动载物平台以校正偏移量δ1，例如将载物平台移动至校正后预定子区域的坐标，一实施方式中，如果预定子区域的原坐标为（x0,y0）, 第一图像和第二图像之间的偏移量如图6所示为（w1,h1），则校正偏移量δ1后预定子区域的坐标为（x0-kw1,y0-kh1），第一条件下使拍摄装置对位所述预定子区域并进行第三次图像拍摄，获得第三图像。
本实施方式中，所述步骤S148用于计算第一图像和第三图像之间的偏移量δ2并换算为载物平台的移动误差。一实施方式中，参考图8和步骤S144相同的方法，识别第三图像内的特征区域62，并计算特征区域62第三相对坐标，然后将第一、第三相对坐标的差值定义为第一图像和第三图像之间的偏移量，根据图像和样本放大比例关系k将偏移量换算为载物平台的移动误差。本实施方式中，特征区域为通过图像识别方法从第一图像和第三图像中识别的特征明显的相同标样部分，替代实施方式中，所述特征区域也可以为多个。一具体实施方式中，预定子区域62的当前坐标为（x0-kw1,y0-kh1）, 第一图像和第三图像之间的偏移量δ2如图8所示为（w2,h2），则校正移动误差后预定子区域的坐标为（x0-kw2-kw1,y0-kh2-kh1）。
本实施方式中，所述步骤S149用于判断步骤S148计算产生的偏移量δ2是否在预设阈值范围内，如果偏移量δ2小于第一阈值或大于第二预设阈值，则结束流程，停止载物平台校正移动误差。如果偏移量δ2在预设阈值范围内，即第二预设值≥偏移量δ1≥预设阈值，执行步骤S150.
本实施方式中，所述步骤S150用于进一步判断偏移量δ2是否小于偏移量δ1，如果偏移量δ2小于偏移量δ1，则执行步骤S145, 根据偏移量δ1和δ2校正拍摄装置对位每个子区域时载物平台的移动坐标。如果偏移量δ2大于等于偏移量δ1，则结束流程，停止或结束载物平台校正移动误差。
本实施方式中，所述偏移量使用绝对值进行判断，所述第一预设阈值可以为6-10个像素距离，第二预设阈值可以为700-900个像素距离，较佳实施方式中，所述第一预设阈值为8个像素距离，第二预设阈值可以为800个像素距离，所述预设阈值范围为8-800像素距离。
替代实施方式中，结束流程前还发出错误报警提示，所述错误提示可以是声音报警、文字报警或弹窗报警中的一种或多种。
参考图9，本发明第二实施方式提供一种图像拍摄对位方法，其和第一实施方式的区别在于进一步包括步骤S15：相同方向移动载物平台对拍照区域内的多行子区域依次拍摄图像。如图10所示，所述步骤S15包括步骤S151-S152。
步骤S151，沿相同方向步进移动载物平台依次对一行每个子区域进行在第二条件下的图像拍摄。
请一并参考图11，一实施方式中，先从复位点o沿Y轴方向移动载物平台10，如图2中线路Y1，使拍摄装置和第一行子区域A1-A5的Y坐标（0, Y1）对齐。
然后沿X坐标移动载物平台10，如图11中线路X1，即从复位点的X坐标（0, Y1）开始移动载物平台10,使拍摄装置对位于该第一行子区域A1-A5的左边界子区域A5，本实施方式所述左边界子区域A5为距离复位点的X坐标最远的子区域31。
然后沿相同方向，即X坐标轴反方向，步进移动载物平台10,如图11中线路P1,依次对第一行每个子区域A5-A1进行图像拍摄。
步骤S152，移动载物平台至复位点的X坐标进行复位后再次沿相同方向步进移动载物平台依次对另一行每个子区域进行第二条件下的图像拍摄，重复本步骤完成整个矩形拍照区域的图像拍摄。
本实施方式中，接续步骤S151，从第一行右边界子区域A1（距离复位点的X坐标最近的子区域）开始，移动载物平台10至复位点的X坐标(0,Y1)进行复位，如图11中的线路R1。
然后从第一行A1-A5的Y坐标（0，Y1）沿Y轴方向移动载物平台10，如图11中线路Y2，使拍摄装置和第二行子区域B1-AB的Y坐标（0，Y1+Y2）对齐。
再次沿X坐标移动载物平台10，如图11中线路X2，即从复位点的X坐标（0, Y1+Y2）开始移动载物平台10,使拍摄装置的镜头对位于该第二行子区域B1-AB的左边界子区域B5，本实施方式所述左边界子区域B1为距离复位点的X坐标最远的子区域。
然后沿相同方向，即X坐标轴反方向，步进移动载物平台10,如图11中线路P2,依次对第二行每个子区域B5-B1进行图像拍摄。
重复本步骤S152依次对第三行C1-C5、第四行D1-D5的每个子区域进行图像拍摄完成整个矩形拍照区域的图像拍摄。可选择地，本实施方式还可通过图像处理将每个子区域的图像合成为整个矩形拍照区域30的图像。本实施方式中，所述第二条件为样本区域自发荧光。
替代实施方式中，如图12所示，相同方向为X坐标轴方向，此时从每行右边界子区域A1-D1开始顺序对每行的每个子区域进行图像拍摄，如线路P1、P2所示。然后从左边界子区域A5-D5开始移动载物平台10至复位点的X坐标(0,Y1)进行复位，如线路R1、R2所示。
请参考图13，本发明第三实施方式提供一种图像拍摄对位***100，所述图像拍摄对位***100包括成像装置110、拍照区域确定模块120、拍照区域分割模块130、平台移动校正模块160、普通拍照模块140以及复位拍照模块150。本实施方式中，所述模块或***可以是执行特定功能的集成电路，也可以是存储在存储器中并通过处理器执行完成特定功能的软件程序。
请一并参考图11，所述成像装置110包括获取图像的拍摄装置以及正对拍摄装置的载物平台10，载物平台10可从复位点o开始沿X坐标轴方向移动和/或沿Y坐标轴方向移动。本实施方式中，拍摄装置包括镜头和获取图像的CCD图像传感器。
所述拍照区域确定模块120用于控制移动载物平台10使拍摄装置步进扫描位于载物平台10上的样本20，进而确定样本区域内一矩形拍照区域30。一实施方式中，所述样本20为高通量基因测序样本，所述样本20包括多个待识别磁珠，由于磁珠体积较小且在边缘附近有不易识别的情况，因此选定高通量基因测序样本的中心附近矩形区域作为矩形拍照区域30，以便准确识别矩形拍照区域30对应图像的信息。本实施中，所述复位点位于拍照区域30之外。
所述拍照区域分割模块130用于控制分割所述矩形拍照区域30为多个子区域31，多个子区域31包括沿X坐标轴方向排列的多行子区域。一实施方式中，拍摄装置的聚焦范围远小于标样20的面积，对基因测序样本的拍摄以预先选择的成像效果较好的矩形拍照区域30进行。实际拍摄时，将预先选好的矩形拍照区域30分割为多个适配成像装置的聚焦范围的小区域31，然后移动成像装置分别对每个小区域31进行拍摄，最后合成将整个矩形拍照区域30的图像。本实施方式中，多个子区域31呈矩阵排列。
所述平台移动校正模块160用于控制移动载物平台对预定子区域进行两次图像拍摄，并根据两次图像拍摄结果校正拍摄装置对位每个子区域时载物平台的移动误差。
校正平台的移动误差后，所述普通拍照模块140用于控制沿相同方向步进移动载物平台依次对一行每个子区域进行在第二条件下的图像拍摄。所述复位拍照模块150用于控制移动载物平台至复位点的X坐标进行复位后沿相同方向步进移动载物平台依次对另外多行每个子区域进行在第二条件下的图像拍摄，直到整个矩形拍照区域的图像拍摄。本实施方式中，所述第二条件为样本区域自发荧光。本实施方式中，所述第二条件为样本区域自发荧光。
一实施方式中，请参考图12，先从复位点o沿Y轴方向移动载物平台10，如图12中线路Y1，使拍摄装置和第一行子区域A1-A5的Y坐标（0, Y1）对齐。
然后沿X坐标移动载物平台10，如图12中线路X1，即从复位点的X坐标（0, Y1）开始移动载物平台10,使拍摄装置对位于该第一行子区域A1-A5的右边界子区域A1，本实施方式所述右边界子区域A1为距离复位点的X坐标最近的子区域31。
然后沿相同方向，即X坐标轴方向步进移动载物平台10,如图12中线路P1,依次对第一行每个子区域A1-A5进行图像拍摄。从第一行左边界子区域A5（距离复位点的X坐标最远的子区域）开始，移动载物平台10至复位点的X坐标(0,Y1)进行复位，如图12中的线路R1。
然后从第一行A1-A5的Y坐标（0，Y1）沿Y轴方向移动载物平台10，如图12中线路Y2，使拍摄装置和第二行子区域B1-AB的Y坐标（0，Y1+Y2）对齐。
再次沿X坐标移动载物平台10，如图12中线路X2，即从复位点的X坐标（0, Y1+Y2）开始移动载物平台10,使拍摄装置的镜头对位于该第二行子区域B1-AB的右边界子区域B1，本实施方式所述右边界子区域B1为距离复位点的X坐标最近的子区域31。
然后沿相同方向，即X坐标轴方向步进移动载物平台10,如图12中线路P2,依次对第二行每个子区域B1-B5进行图像拍摄。
重复依次对第三行C1-C5、第四行D1-D5的每个子区域进行图像拍摄完成整个矩形拍照区域的图像拍摄。然后通过图像处理合成将整个矩形拍照区域30的图像
替代实施方式中，如图11所示，相同方向为X坐标轴反方向，此时从每行左边界子区域A5-D5开始顺序对每行的每个子区域进行图像拍摄，如线路P1、P2所示。然后从左边界子区域A1-D1开始移动载物平台10至复位点的X坐标(0,Y1)进行复位，如线路R1、R2所示。
一实施方式中，如图14所示，所述平台移动校正模块160包括参考子区域定义模块161、第一图像拍摄模块162、第二图像拍摄模块163、移动误差计算模块164、平台移动校正模块165和二次校正模块166。
所述参考子区域定义模块161用于将一预定子区域定义为对位参考子区域，本实施方式中定义距离复位点最近的子区域A1为对位参考子区域。
所述第一图像拍摄模块162用于控制从复位点开始移动载物平台，第一条件下使拍摄装置对位所述预定子区域并进行第一次图像拍摄，获得第一图像。一实施方式中，请参考图2，先从复位点o沿Y轴方向移动载物平台10，如图2中线路Y1，使拍摄装置和第一行子区域A1-A5的Y坐标（0, Y1）对齐。然后沿X坐标移动载物平台10，如图2中线路X1，即从复位点的X坐标（0, Y1）开始移动载物平台10,使拍摄装置对位于该第一行子区域A1-A5的右边界子区域A1进行第一次拍摄，以获得第一图像，本实施方式所述右边界子区域A1作为预定子区域为第一行距离复位点的X坐标最近的子区域31。
所述第二图像拍摄模块163用于控制从复位点开始移动载物平台，第一条件下使拍摄装置对位所述预定子区域并进行二次图像拍摄，获得第二图像。一实施方式中，请参考图2，再次从复位点o沿Y轴方向移动载物平台10，如图2中线路Y1，使拍摄装置和第一行子区域A1-A5的Y坐标（0, Y1）对齐。然后沿X坐标移动载物平台10，如图2中线路X1，即从复位点的X坐标（0, Y1）开始移动载物平台10,使拍摄装置对位于该第一行子区域A1-A5的右边界子区域A1进行拍摄，以获得第二图像。较佳实施方式中，所述第一条件为使用灯光照亮样本区域。
所述移动误差计算模块164用于计算第一图像和第二图像之间的偏移量并换算为载物平台的移动误差。参考图4-5，计算图4所示的第一图像内的特征区域42相对第一图像角落41的第一相对坐标，识别图5第二图像内的相同特征区域52，并计算相同特征区域52相对第二图像对应角落51的第二相对坐标，然后将第一、第二相对坐标的差值定义为第一图像和第二图像之间的偏移量，根据图像和样本放大比例关系k将偏移量换算为载物平台的移动误差。本实施方式中，特征区域为通过图像识别方法从第一图像和第二图像中识别的特征明显的相同标样部分，替代实施方式中，所述特征区域也可以为多个。
所述移动坐标校正模块165用于校正拍摄装置对位每个子区域时载物平台的移动坐标。本实施方式中，载物平台从复位点o沿X轴、Y轴方向移动并校正移动误差，使拍摄装置依次对位每个子区域并进行图像拍摄。一实施方式中，设原来每个子区域的坐标为（x,y）,第一图像和第二图像之间的偏移量如图6所示为（w,h），则校正移动误差后每个子区域的坐标为（x-kw,y-kh）。
所述二次校正模块166用于判断当所述偏移量在预设阈值范围内时候，控制拍摄装置拍摄预定子区域的第三图像并再次计算载物平台的移动误差。当第一图像和第三图像之间的偏移量在预设阈值范围内，且第一图像和第三图像之间的偏移量小于第一图像和第二图像之间的偏移量时，校正拍摄装置对位每个子区域时载物平台的移动坐标。
一具体实施方式中，所述移动误差计算模块164计算产生的偏移量δ1是否超出预设阈值范围，如果超出预设阈值范围，则所述移动坐标校正模块165结束流程，停止载物平台移动误差校正。如果在预设阈值范围内，移动载物平台以校正偏移量δ1，第一条件下再次使拍摄装置对位所述预定子区域并进行第三次图像拍摄，获得第三图像。然后计算第一图像和第三图像之间的偏移量δ2；接着判断偏移量δ2是否超出预设阈值范围，如果超出预设阈值范围，则所述移动坐标校正模块165结束流程，停止载物平台移动误差校正。如果偏移量δ2在预设阈值范围内，进一步判断偏移量δ2是否小于偏移量δ1，如果偏移量δ2小于偏移量δ1，则根据偏移量δ1和δ2校正拍摄装置对位每个子区域时载物平台的移动坐标。如果偏移量δ2大于等于偏移量δ1，则结束流程，停止载物平台校正移动误差。本实施方式中，所述预设阈值范围为8-800像素距离。替代实施方式中，关于二次校正模块166的详细描述还可以参见前述步骤S144-S150。
相对于现有技术，本发明的图像拍摄对位方法和***在对多个子区域正式拍摄图像之前，先对预定子区域（对位参考子区域）进行两次图像拍摄，并根据两次图像拍摄结果校正载物平台的移动误差，可以最大限度消除或减少平台移动误差导致相同子区域前后拍摄的多幅图像之间发生较大的偏移，提高基因测序后续图像数据处理的准确性。当偏移量超出预设阈值时候，本发明还可以控制拍摄装置拍摄预定子区域的第三图像并再次计算载物平台的移动误差，进一步防止移动误差校正过度。进一步地，本发明图像拍摄对位方法和***在对不同行子区域拍摄之前对移动平台进行复位，还可以消除连续拍摄多行子区域图像时载物平台步进移动产生的累积误差，优化所有子区域图像拼接的效果。
以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (18)

1.一种图像拍摄对位方法，其特征在于包括：
提供一成像装置，所述成像装置包括获取图像的拍摄装置以及正对拍摄装置的载物平台，载物平台可从复位点开始沿X坐标轴方向移动和/或沿Y坐标轴方向移动；
放置样本于载物平台上，移动载物平台使拍摄装置步进扫描样本，以确定样本区域内一矩形拍照区域；
分割所述矩形拍照区域为多个呈矩阵排列的子区域；以及
移动载物平台对预定子区域进行两次图像拍摄，并根据两次图像拍摄结果校正拍摄装置对位每个子区域时载物平台的移动误差；
其中，所述移动载物平台对预定子区域进行两次图像拍摄，并根据两次图像拍摄结果校正拍摄装置对位每个子区域时载物平台的移动误差包括：
从复位点开始移动载物平台，第一条件下使拍摄装置对位所述预定子区域并进行第一次图像拍摄，获得第一图像；
从复位点开始移动载物平台，第一条件下使拍摄装置对位所述预定子区域并进行二次图像拍摄，获得第二图像；以及
计算第一图像和第二图像之间的偏移量并换算为载物平台的移动误差；
当所述偏移量在预设阈值范围内时候，移动载物平台以校正偏移量后控制拍摄装置拍摄预定子区域的第三图像并再次计算载物平台的移动误差。
2.根据权利要求1所述的图像拍摄对位方法，其特征在于，校正平台的移动误差后进一步包括：第二条件下移动载物平台对拍照区域内的子区域拍摄图像。
3.根据权利要求2所述的图像拍摄对位方法，其特征在于，所述第一条件为使用灯光照亮样本区域，所述第二条件为样本区域自发荧光。
4.根据权利要求1所述的图像拍摄对位方法，其特征在于，移动载物平台以校正偏移量后控制拍摄装置拍摄预定子区域的第三图像并再次计算载物平台的移动误差包括：
移动载物平台并校正偏移量，第一条件下使拍摄装置对位所述预定子区域进行第三次图像拍摄并获得第三图像；
计算第一图像和第三图像之间的偏移量；
如果第一图像和第三图像之间的偏移量在预设阈值范围内，且第一图像和第三图像之间的偏移量小于第一图像和第二图像之间的偏移量，则校正拍摄装置对位每个子区域时载物平台的移动坐标，否则结束载物平台移动误差校正。
5.根据权利要求4所述的图像拍摄对位方法，其特征在于，所述预设阈值范围为8-800像素距离。
6.根据权利要求1所述的图像拍摄对位方法，其特征在于，校正平台的移动误差后进一步包括：相同方向移动载物平台对拍照区域内的多行子区域依次拍摄图像。
7.根据权利要求6所述的图像拍摄对位方法，其特征在于，所述相同方向移动载物平台对拍照区域内的多行子区域依次拍摄图像包括：
沿相同方向步进移动载物平台依次对一行每个子区域进行图像拍摄；以及
移动载物平台至复位点的X坐标进行复位后沿相同方向步进移动载物平台依次对另一行每个子区域进行图像拍摄，重复本步骤完成整个矩形拍照区域的图像拍摄。
8.根据权利要求7所述的图像拍摄对位方法，其特征在于，对一行每个子区域进行图像拍摄之前进一步包括：从复位点的X坐标移动载物平台使拍摄装置对位于该行子区域的边界子区域。
9.根据权利要求8所述的图像拍摄对位方法，其特征在于，所述边界子区域为距离复位点的X坐标最近的子区域，所述相同方向为X坐标轴方向。
10.根据权利要求8所述的图像拍摄对位方法，其特征在于，所述边界子区域为距离复位点的X坐标最远的子区域，所述相同方向为X坐标轴反方向。
11.一种图像拍摄对位***，其特征在于包括：
成像装置，所述成像装置包括获取图像的拍摄装置以及正对拍摄装置的载物平台，载物平台可从复位点开始沿X坐标轴方向移动和/或沿Y坐标轴方向移动；
拍照区域确定模块，所述拍照区域确定模块用于控制移动载物平台使拍摄装置步进扫描位于载物平台上的样本，进而确定样本区域内一矩形拍照区域；
拍照区域分割模块，所述拍照区域分割模块用于控制分割所述矩形拍照区域为多个子区域，多个子区域包括沿X坐标轴方向排列的多行子区域；
平台移动校正模块，所述平台移动校正模块用于控制移动载物平台对预定子区域进行两次图像拍摄，并根据两次图像拍摄结果校正拍摄装置对位每个子区域时载物平台的移动误差；
其中，所述平台移动校正模块包括：
第一图像拍摄模块，用于控制从复位点开始移动载物平台，第一条件下使拍摄装置对位所述预定子区域并进行第一次图像拍摄，获得第一图像；
第二图像拍摄模块，用于控制从复位点开始移动载物平台，第一条件下使拍摄装置对位所述预定子区域并进行二次图像拍摄，获得第二图像；以及
移动误差计算模块，用于计算第一图像和第二图像之间的偏移量并换算为载物平台的移动误差；
二次校正模块，用于判断当所述偏移量在预设阈值范围内时候，移动载物平台以校正偏移量后控制拍摄装置拍摄预定子区域的第三图像并再次计算载物平台的移动误差。
12.根据权利要求11所述的图像拍摄对位***，其特征在于，所述平台移动校正模块进一步包括移动坐标校正模块，用于校正拍摄装置对位每个子区域时载物平台的移动坐标。
13.根据权利要求11所述的图像拍摄对位***，进一步包括，
普通拍照模块，所述普通拍照模块用于控制沿相同方向步进移动载物平台依次对一行每个子区域进行在第二条件下的图像拍摄；以及
复位拍照模块，所述复位拍照模块用于控制移动载物平台至复位点的X坐标进行复位后沿相同方向步进移动载物平台依次对另外多行每个子区域进行第二条件下的图像拍摄，直到整个矩形拍照区域的图像拍摄。
14.根据权利要求13所述的图像拍摄对位***，其特征在于，所述第一条件为使用灯光照亮样本区域，所述第二条件为样本区域自发荧光。
15.根据权利要求13所述的图像拍摄对位***，其特征在于，所述复位拍照模块进一步用于控制：对每一行子区域进行图像拍摄前，从复位点的X坐标移动载物平台使拍摄装置对位于该行子区域的边界子区域。
16.根据权利要求15所述的图像拍摄对位***，其特征在于，所述边界子区域为距离复位点的X坐标最近的子区域，所述相同方向为X坐标轴方向。
17.根据权利要求15所述的图像拍摄对位***，其特征在于，所述边界子区域为距离复位点的X坐标最远的子区域，所述相同方向为X坐标轴反方向。
18.根据权利要求11所述的图像拍摄对位***，其特征在于，所述二次校正模块进一步判断当第一图像和第三图像之间的偏移量在预设阈值范围内，且第一图像和第三图像之间的偏移量小于第一图像和第二图像之间的偏移量时，校正拍摄装置对位每个子区域时载物平台的移动坐标。
CN201610614885.3A 2016-07-29 2016-07-29 图像拍摄对位方法和*** Active CN107666546B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610614885.3A CN107666546B (zh) 2016-07-29 2016-07-29 图像拍摄对位方法和***
PCT/CN2017/093087 WO2018019143A1 (zh) 2016-07-29 2017-07-17 图像拍摄对位方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610614885.3A CN107666546B (zh) 2016-07-29 2016-07-29 图像拍摄对位方法和***

Publications (2)

Publication Number Publication Date
CN107666546A CN107666546A (zh) 2018-02-06
CN107666546B true CN107666546B (zh) 2020-01-07

Family

ID=61017305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610614885.3A Active CN107666546B (zh) 2016-07-29 2016-07-29 图像拍摄对位方法和***

Country Status (2)

Country Link
CN (1) CN107666546B (zh)
WO (1) WO2018019143A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108320276A (zh) * 2017-01-13 2018-07-24 广州康昕瑞基因健康科技有限公司 图像拍摄对位方法和***
CN111363673B (zh) * 2018-12-26 2021-09-28 深圳市真迈生物科技有限公司 定位方法、定位装置和测序***
WO2021114090A1 (zh) * 2019-12-10 2021-06-17 深圳迈瑞生物医疗电子股份有限公司 细胞图像分析装置及相机安装平行性校验方法
CN111157529B (zh) * 2020-04-04 2020-07-07 博奥生物集团有限公司 图像采集方法及装置、自动对准方法及设备、核酸检测器
CN112501271B (zh) * 2020-11-19 2022-09-02 武汉华大智造科技有限公司 载片平台调平方法、检测装置及存储介质
CN114827429A (zh) * 2021-01-19 2022-07-29 苏州浩科通电子科技有限公司 一种微小目标的大面积图像识别检测方法
CN113808188B (zh) * 2021-08-17 2023-09-19 苏州市路远智能装备有限公司 元件的拍摄方法
WO2024000288A1 (zh) * 2022-06-29 2024-01-04 深圳华大生命科学研究院 图像拼接方法、基因测序***及相应的基因测序仪
US11981124B2 (en) 2022-09-16 2024-05-14 Electronics For Imaging, Inc. Method and system for aligning images printed with digital printer and analog cylinders

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102625022A (zh) * 2011-01-29 2012-08-01 麦克奥迪实业集团有限公司 一种带有像方补偿运动的快速显微切片扫描方法及装置
CN103399015A (zh) * 2013-08-14 2013-11-20 宁波江丰生物信息技术有限公司 病理切片扫描仪及其载片平台定位精度测量方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004072076A (ja) * 2002-06-10 2004-03-04 Nikon Corp 露光装置及びステージ装置、並びにデバイス製造方法
CN102368283A (zh) * 2011-02-21 2012-03-07 麦克奥迪实业集团有限公司 一种基于数字切片的数字病理远程诊断***及其方法
CN102788552B (zh) * 2012-02-28 2016-04-06 王锦峰 一种线性坐标校正方法
CN103257438B (zh) * 2013-05-29 2015-02-18 哈尔滨工业大学 一种基于自动控制电动平移台的平面二维矩形扫描装置及其扫描方法
CN104865893B (zh) * 2014-02-24 2018-01-09 大族激光科技产业集团股份有限公司 运动平台控制***和运动平台误差计算方法
KR20170013855A (ko) * 2014-05-30 2017-02-07 더 보드 오브 트러스티스 오브 더 리랜드 스탠포드 쥬니어 유니버시티 큰 손상되지 않은 조직 샘플들을 이미징하기 위한 방법들 및 디바이스들

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102625022A (zh) * 2011-01-29 2012-08-01 麦克奥迪实业集团有限公司 一种带有像方补偿运动的快速显微切片扫描方法及装置
CN103399015A (zh) * 2013-08-14 2013-11-20 宁波江丰生物信息技术有限公司 病理切片扫描仪及其载片平台定位精度测量方法及装置

Also Published As

Publication number Publication date
CN107666546A (zh) 2018-02-06
WO2018019143A1 (zh) 2018-02-01

Similar Documents

Publication Publication Date Title
CN107666546B (zh) 图像拍摄对位方法和***
EP3291004A1 (en) Ranging method, automatic focusing method and device
CN109479082B (zh) 图象处理方法及装置
US8508587B2 (en) Imaging device
US8451335B2 (en) Imaging device
JP2005072888A (ja) 画像投影方法、及び画像投影装置
CN104811608A (zh) 图像捕获装置及其图像缺陷校正方法
JP2010141697A (ja) 撮像装置
US11022435B2 (en) Pattern projection depth value 3D scanning device and method
US9105079B2 (en) Method and system for obtaining optical proximity correction model calibration data
US10656406B2 (en) Image processing device, imaging device, microscope system, image processing method, and computer-readable recording medium
CN107895344B (zh) 视频拼接装置及方法
JP6088864B2 (ja) キャリブレーションシステム、およびキャリブレーション方法
CN114187363A (zh) 一种获取径向畸变参数值的方法、装置以及移动终端
JP2005345290A (ja) 筋状欠陥検出方法及び装置
CN106506971A (zh) 一种对焦方法及移动终端
CN107844789A (zh) 图像拍摄方法和***
CN112734721B (zh) 一种光轴偏转角度检测方法、装置、设备和介质
EP3564747A1 (en) Imaging device and imaging method
JP2010177832A (ja) 画像処理装置及び画像処理方法
CN107403431A (zh) 自动识别样本拍照区域方法和***
CN109600552B (zh) 图像重新聚焦的控制方法及***
JP2014235063A (ja) 情報処理装置および情報処理方法
JP2024073963A (ja) アライメント装置、アライメント方法
JP6074198B2 (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant