CN110653016B - 移液***及其校准方法 - Google Patents

移液***及其校准方法 Download PDF

Info

Publication number
CN110653016B
CN110653016B CN201911069484.4A CN201911069484A CN110653016B CN 110653016 B CN110653016 B CN 110653016B CN 201911069484 A CN201911069484 A CN 201911069484A CN 110653016 B CN110653016 B CN 110653016B
Authority
CN
China
Prior art keywords
image
offset
tip
obtaining
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911069484.4A
Other languages
English (en)
Other versions
CN110653016A (zh
Inventor
张彦杰
杜文翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inventec Appliances Shanghai Corp
Original Assignee
Inventec Appliances Shanghai Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inventec Appliances Shanghai Corp filed Critical Inventec Appliances Shanghai Corp
Priority to CN201911069484.4A priority Critical patent/CN110653016B/zh
Publication of CN110653016A publication Critical patent/CN110653016A/zh
Priority to TW109106851A priority patent/TWI733355B/zh
Application granted granted Critical
Publication of CN110653016B publication Critical patent/CN110653016B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01L—CHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L3/00—Containers or dishes for laboratory use, e.g. laboratory glassware; Droppers
    • B01L3/02—Burettes; Pipettes
    • B01L3/021—Pipettes, i.e. with only one conduit for withdrawing and redistributing liquids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Chemical & Material Sciences (AREA)
  • Clinical Laboratory Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本公开涉及一种移液***及其校准方法，属于移液设备技术领域，用于解决移液设备的校准问题。移液***的校准方法包括：通过影像撷取装置撷取校准点的第一影像；获得影像撷取装置的中心点相对于第一影像中校准点的第一偏移量，并依据第一偏移量校准影像撷取装置；通过校准后的影像撷取装置撷取移液***的移液管的尖端的第二影像和尖端发生位移后的第三影像；获得第三影像相对于第二影像的尖端的第二偏移量；依据位移、第三影像相对于第二影像的清晰度值的变异量和预设的对焦距离与清晰度值的映射关系表，获得第三影像的清晰度值相对于预设清晰度值的对焦距离偏移量；依据第二偏移量和对焦距离偏移量校准移液管。本公开能实现移液***的校准。

Description

移液***及其校准方法
技术领域
本公开涉及移液设备技术领域，具体地说，涉及一种移液***及其校准方法。
背景技术
液体的抽取与注射是产业应用中经常需要进行的操作。在自动化过程中，可利用移液设备进行液体的抽取与注射，通过移液设备的移液管和转盘达到微量移液的操作要求。
实际应用中，不同液体、不同操作场景均需要换用不同的移液管。在移液管的拆装过程中，由于组装偏差、转盘的移动偏差等原因，造成移液管的尖端位置产生三个维度不同程度的偏移。这种偏移对于微量移液操作造成如下影响：
在抽取液体时，移液管尖端的位置偏移造成移液管吸入气泡，过多的气泡会造成后续操作的错误；
在注射液体时，移液管尖端的位置偏移造成液体无法顺利注射至预定位置，导致液体流失；以及
在转盘转动时，移液管尖端的位置偏移造成移液管与转盘上的试管等部件发生碰撞，影响***运行。
可见，由于移液管尖端的位置偏移，移液操作和***运行受到影响。
需要说明的是，上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
有鉴于此，本公开揭露一种移液***及其校准方法，以实现移液***的校准，克服现有技术中由于移液管尖端的位置偏移导致移液操作和***运行受到影响的问题。
本公开的一个实施例揭露一种移液***的校准方法，所述校准方法包括：通过一影像撷取装置撷取一校准点的至少一第一影像；获得所述影像撷取装置的一中心点相对于所述第一影像中的所述校准点于一平面的一第一偏移量，依据所述第一偏移量调整所述影像撷取装置的位置，使所述中心点与所述校准点进行校准；通过校准后的所述影像撷取装置撷取所述移液***的一移液管的尖端的至少一第二影像和一第三影像，其中所述第三影像撷取自所述尖端与校准后的所述中心点的对焦距离发生位移之后；获得所述第三影像中的所述尖端相对于所述第二影像中的所述尖端于所述平面的一第二偏移量；分别依据所述位移、所述第三影像相对于所述第二影像的清晰度值的变异量和一预设的对焦距离与清晰度值的映射关系表，获得所述第三影像的清晰度值相对于一预设清晰度值的一对焦距离偏移量；以及，依据所述第二偏移量和所述对焦距离偏移量调整所述移液管的位置，使所述尖端与校准后的所述中心点进行校准。
在本公开的一个实施例中，所述获得所述影像撷取装置的一中心点相对于所述第一影像中的所述校准点于一平面的一第一偏移量的步骤包括：分别获得所述中心点和所述第一影像中的所述校准点于所述平面的直角坐标，其中所述平面平行于所述移液***的一转盘所在的平面；分别将所述中心点的直角坐标和所述校准点的直角坐标转换为极角，以获得所述中心点的极角相对于所述校准点的极角的夹角；以及，依据所述夹角获得所述第一偏移量。
在本公开的一个实施例中，所述获得所述第一影像中的所述校准点于所述平面的直角坐标的步骤包括：对所述第一影像进行平滑滤波，去除所述第一影像的噪点；对平滑滤波后的所述第一影像进行二值化，为平滑滤波后的所述第一影像中的每个像素点赋值；对二值化后的所述第一影像进行测边，标示出二值化后的所述第一影像的多个边缘点；对测边后的所述第一影像的所述多个边缘点进行轮廓标定，形成至少一个轮廓；对各个所述轮廓进行圆度检测，筛除圆度值小于一预设值的轮廓；对筛除后的所述轮廓进行面积筛选，筛出轮廓面积符合所述校准点的面积的一轮廓；以及，获得筛出的所述轮廓的形心于所述平面的直角坐标，作为所述第一影像中的所述校准点于所述平面的直角坐标。
在本公开的一个实施例中，所述获得所述第三影像中的所述尖端相对于所述第二影像中的所述尖端于一平面的一第二偏移量的步骤包括：分别获得所述第三影像中的所述尖端的中心于所述平面的一第一直角坐标，和所述第二影像中的所述尖端的中心于所述平面的一第二直角坐标，其中所述平面垂直于所述对焦距离所在的方向；依据所述第一直角坐标和所述第二直角坐标，获得所述第三影像中的所述尖端的中心相对于所述第二影像中的所述尖端的中心的像素偏移量，其中所述直角坐标以一像素作为一坐标单位；以及，依据一像素与距离的对应关系，将所述像素偏移量转换成距离偏移量，作为所述第二偏移量。
在本公开的一个实施例中，所述获得所述第三影像中的所述尖端的中心于所述平面的一第一直角坐标的步骤包括：对所述第三影像进行平滑滤波，去除所述第三影像的噪点；对平滑滤波后的所述第三影像进行二值化，为平滑滤波后的所述第三影像中的每个像素点赋值；对二值化后的所述第三影像进行测边，标示出二值化后的所述第三影像的多个边缘点；对测边后的所述第三影像的所述多个边缘点进行轮廓标定，形成至少一个轮廓；对各个所述轮廓进行圆度检测，筛除圆度值小于一预设值的轮廓；对筛除后的所述轮廓进行面积筛选，筛出轮廓面积符合所述尖端的面积的一轮廓；以及，获得筛出的所述轮廓的形心于所述平面的直角坐标，作为所述第三影像中的所述尖端的中心于所述平面的直角坐标。
在本公开的一个实施例中，所述依据一像素与距离的对应关系的步骤包括：通过所述影像撷取装置撷取一预设尺寸的物体的影像；以及，根据所述物体的影像的像素个数与所述预设尺寸，获得所述像素与距离的对应关系。
在本公开的一个实施例中，所述分别依据所述位移、所述第三影像相对于所述第二影像的清晰度值的变异量和一预设的对焦距离与清晰度值的映射关系表，获得所述第三影像的清晰度值相对于一预设清晰度值的一对焦距离偏移量的步骤包括：依据所述位移的方向和所述第三影像相对于所述第二影像的清晰度值的变异量，获得所述第三影像的清晰度值在所述映射关系表中的位置，其中所述映射关系表中所述清晰度值呈高斯分布；以及，根据所述第三影像的清晰度值在所述映射关系表中的位置，获得所述第三影像的清晰度值对应的对焦距离相对于一预设清晰度值对应的对焦距离的所述对焦距离偏移量，其中所述预设清晰度值是所述映射关系表中的最高清晰度值。
在本公开的一个实施例中，所述校准方法还包括设置所述影像撷取装置的成像景深，使所述对焦距离偏移量的可侦测范围位于一预设距离范围内，其中，撷取所述第三影像的步骤中，所述位移大于所述预设距离范围。
本公开的另一个实施例揭露一种移液***，所述移液***包括：一影像撷取装置；以及一处理器，所述处理器被配置为通过执行多条可执行指令实现：通过所述影像撷取装置撷取一校准点的至少一第一影像；获得所述影像撷取装置的一中心点相对于所述第一影像中的所述校准点于一平面的一第一偏移量，依据所述第一偏移量调整所述影像撷取装置的位置，使所述中心点与所述校准点进行校准；通过校准后的所述影像撷取装置撷取所述移液***的一移液管的尖端的至少一第二影像和一第三影像，其中所述第三影像撷取自所述尖端与校准后的所述中心点的对焦距离发生位移之后；获得所述第三影像中的所述尖端相对于所述第二影像中的所述尖端于所述平面的一第二偏移量；分别依据所述位移、所述第三影像相对于所述第二影像的清晰度值的变异量和一预设的对焦距离与清晰度值的映射关系表，获得所述第三影像的清晰度值相对于一预设清晰度值的一对焦距离偏移量；以及，依据所述第二偏移量和所述对焦距离偏移量调整所述移液管的位置，使所述尖端与校准后的所述中心点进行校准。
在本公开的一个实施例中，所述移液***还包括：一具有所述影像撷取装置的转盘。
本公开与现有技术相比的有益效果至少包括：
通过影像撷取装置撷取校准点的影像，获得影像撷取装置的中心点相对于校准点于平面维度的第一偏移量，实现影像撷取装置于平面维度的校准，使校准后的影像撷取装置用于后续校准步骤的定位；通过校准后的影像撷取装置至少两次撷取移液管的尖端的影像，获得移液管的尖端于平面维度的第二偏移量以及于对焦距离维度的对焦距离偏移量，实现移液管的尖端于平面维度和对焦距离维度的校准；从而，本公开利用了一影像撷取装置实现移液***的校准，从而实现后续移液操作和***运行的控制。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本公开一实施例中一种移液***的结构示意图；
图2示出本公开一实施例中一种移液装置的结构示意图；
图3示出本公开一实施例中一种移液***的校准方法的流程示意图；
图4示出本公开一实施例中一影像撷取装置撷取一校准点的一第一影像的示意图；
图5示出本公开一实施例中获得一第一偏移量的流程示意图；
图6示出本公开一实施例中获得校准点的直角坐标的流程示意图；
图7示出本公开一实施例中影像撷取装置撷取一移液管的尖端的一第二影像的示意图；
图8示出本公开一实施例中影像撷取装置撷取移液管的尖端的一第三影像的示意图；
图9示出本公开一实施例中获得一第二偏移量的流程示意图；
图10示出本公开一实施例中获得第三影像中的尖端的中心的一第一直角坐标的流程示意图；
图11示出本公开一实施例中获得一像素与距离的对应关系的流程示意图；
图12示出本公开一实施例中获得一对焦距离偏移量的流程示意图；以及
图13示出本公开一实施例中一种移液***的模块示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使得本公开将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。
图1示出一实施例中一种移液***的主要结构，在一些实施例中，本公开的移液***的校准方法可用于校准如图1所示的移液***。参照图1所示，该移液***包括一转盘10和一移液装置30。移液装置30例如是一个立式注射泵，通过移液管31实现移液操作。转盘10上设置有移液管替换区101以及移液区102。
图2示出该移液***中移液装置30的主要结构，移液装置30连接滑轨300，移液装置30带动移液管31沿滑轨300移动，实现移液操作。进一步的，本实施例的移液***还包括一装设于转盘10上的影像撷取装置21，以及一固定不动的校准点11。利用该影像撷取装置21和该校准点11，实现移液***的转盘10和移液管31的校准。
图3示出一实施例中一移液***的校准方法的步骤。参照图3所示，本实施例中移液***的校准方法包括：步骤S10、通过一影像撷取装置撷取一校准点的至少一第一影像；步骤S20、获得该影像撷取装置的一中心点相对于该第一影像中的该校准点于一平面的一第一偏移量，依据该第一偏移量调整该影像撷取装置的位置，使该中心点与该校准点进行校准；步骤S30、通过校准后的该影像撷取装置撷取该移液***的一移液管的尖端的至少一第二影像和一第三影像，其中该第三影像撷取自该尖端与校准后的该中心点的对焦距离发生位移之后；步骤S40、获得该第三影像中的该尖端相对于该第二影像中的该尖端于该平面的一第二偏移量；步骤S50、分别依据该位移、该第三影像相对于该第二影像的清晰度值的变异量和一预设的对焦距离与清晰度值的映射关系表，获得该第三影像的清晰度值相对于一预设清晰度值的一对焦距离偏移量；以及步骤S60、依据该第二偏移量和该对焦距离偏移量调整该移液管的位置，使该尖端与校准后的该中心点进行校准。
本实施例通过影像撷取装置撷取校准点的影像，获得影像撷取装置的中心点相对于校准点于平面维度的第一偏移量，实现影像撷取装置于平面维度的校准，使校准后的影像撷取装置用于后续校准步骤的定位；通过校准后的影像撷取装置至少两次撷取移液管的尖端的影像，获得移液管的尖端于平面维度的第二偏移量以及于对焦距离维度的对焦距离偏移量，实现移液管的尖端于平面维度和对焦距离维度的校准；从而，本实施例利用了一影像撷取装置实现移液***的校准，从而实现后续移液操作和***运行的控制。
其中，于本实施例中，影像撷取装置是一个显微镜摄像头，于其他实施例中，影像撷取装置是一个***头，只要其具备影像撷取功能即可。校准点是一个固定不动的参考点，于本实施例中，校准点是属于移液***，于其他实施例中，校准点不是属于移液***。
图4示出一实施例中影像撷取装置撷取校准点的第一影像的示意。参照图4所示，本实施例中校准点11位于影像撷取装置21的上方，在步骤S10撷取校准点11的影像前，移动影像撷取装置21至校准点11进入影像撷取装置21的撷取区域内。在其他实施例中，校准点与影像撷取装置之间的相对位置以调整，只要满足校准点能进入影像撷取装置的撷取区域内，使影像撷取装置参照校准点进行校准的条件即可。
图5示出一实施例中获得一第一偏移量的主要步骤。参照图5所示，步骤S20中获得该影像撷取装置的一中心点相对于该第一影像中的该校准点于一平面的一第一偏移量的步骤包括：S202、分别获得该中心点和该第一影像中的该校准点于该平面的直角坐标，其中该平面平行于该移液***的一转盘所在的平面；S204、分别将该中心点的直角坐标和该校准点的直角坐标转换为极角，以获得该中心点的极角相对于该校准点的极角的夹角；以及S206、依据该夹角获得该第一偏移量。
结合图4和图5来看，该平面标示为X-Y平面，X-Y平面平行于影像撷取装置21所在的平面。影像撷取装置21所在的平面是移液***中用于存放液体和接收液体的操作平台，例如在配置转盘的移液***中，影像撷取装置21所在的平面就是移液***的转盘。步骤S202中，先依据该X-Y平面建立X-Y直角坐标系，然后分别获得中心点211和第一影像中的校准点11在该X-Y直角坐标系中的直角坐标。由于装设完影像撷取装置21后，中心点211的位置就是已知的，因此在一些实施例中，以中心点211为原点建立X-Y直角坐标系，并通过将第一影像投影至X-Y直角坐标系获得第一影像中的校准点11的直角坐标，以方便第一偏移量的计算。在一些实施例中，预存一张中心点211的影像，并通过分别将中心点211的影像和第一影像投影至X-Y直角坐标系，获得中心点211的直角坐标和校准点11的直角坐标。
其中，校准点11的直角坐标是通过中心圆轮廓搜寻算法获得。图6示出一实施例中获得校准点的直角坐标的主要步骤，参照图6所示，步骤S202中获得该第一影像中的该校准点于该平面的直角坐标的步骤包括：S2021、对该第一影像进行平滑滤波，去除该第一影像的噪点；S2022、对平滑滤波后的该第一影像进行二值化，为平滑滤波后的该第一影像中的每个像素点赋值；S2023、对二值化后的该第一影像进行测边，标示出二值化后的该第一影像的多个边缘点；S2024、对测边后的该第一影像的该多个边缘点进行轮廓标定，形成至少一个轮廓；S2025、对各个该轮廓进行圆度检测，筛除圆度值小于一预设值的轮廓；S2026、对筛除后的该轮廓进行面积筛选，筛出轮廓面积符合该校准点的面积的一轮廓；以及S2027、获得筛出的该轮廓的形心于该平面的直角坐标，作为该第一影像中的该校准点于该平面的直角坐标。
具体来说，步骤S2022的二值化是将平滑滤波后的第一影像中超过一预设阈值的像素点设为1，反之设为0。于本实施例中，预设阈值是根据需要设定，此处不作限定。步骤S2023的测边是利用Canny边缘检测算法将二值化后的第一影像的边缘点标示出来。Canny边缘检测算法是用来标识出图像中的实际边缘的一个多级边缘检测算法。步骤S2024的轮廓标定将上一步检测到的相连的边缘点连在一起形成轮廓，由于第一影像中可能存在多个轮廓，因此测边时会检测出多组相连的边缘点，则轮廓标定时会标示出多个轮廓。步骤S2025的圆度检测通过公式“T＝4π*S/C2”计算上一步标示出的各个轮廓的圆度值，并筛除圆度值低的轮廓，留下接近圆形的轮廓。用于评判圆度值的预设值是根据需要设定，此处不作限定。在公式“T＝4π*S/C2”中，T是一轮廓的圆度值，S是该轮廓的面积，C是该轮廓的周长。一轮廓的面积S和周长C是通过软件测量获得。校准点的面积是已知的，步骤S2026的面积筛选通过计算上一步留下的各个轮廓的面积，并筛出轮廓面积最接近校准点面积的一个轮廓，然后通过步骤S2027获得该轮廓的形心于X-Y平面的直角坐标，作为校准点11的直角坐标。其中，一个轮廓的形心是该轮廓的几何中心。
同理，当需要获取中心点211的直角坐标时，也采用中心圆轮廓搜寻算法，此处不再展开说明。
获得中心点211的直角坐标和校准点11的直角坐标后，通过步骤S204分别将中心点211的直角坐标和校准点11的直角坐标转换为极角。以将校准点11的直角坐标转换为极角为例，通过下述公式获得校准点11的极角θ11：
Figure BDA0002260494360000091
其中，(x11，y11)是校准点11于X-Y直角坐标系中的直角坐标，X-Y直角坐标系以一个像素点作为单位坐标。同理，根据中心点211的直角坐标(x211，y211)以获得中心点211的极角θ211，此处不再展开说明。进一步，将中心点211的极角θ211减去校准点11的极角θ11，获得中心点211的极角θ211相对于校准点11的极角θ11的夹角Δθ，作为第一偏移量。在移液***配置转盘的实施例中，如图4所示，该夹角Δθ是转盘沿其转动方向的一个转动角度。
后续，依据该第一偏移量调整影像撷取装置21的位置，使中心点211与校准点11进行校准，以补偿第一偏移量。例如，控制移液***的转盘转动Δθ，使中心点211沿垂直于X-Y平面的方向与校准点11对准。
图7示出一实施例中影像撷取装置撷取一移液管的尖端的一第二影像的示意，图8示出一实施例中影像撷取装置撷取移液管的尖端的一第三影像的示意。参照图7和图8所示，本实施例中移液管31位于影像撷取装置21的上方，撷取移液管31的尖端311的影像前，移动移液管31至移液管31的尖端311进入影像撷取装置21的撷取区域内。在其他实施例中，移液管与影像撷取装置之间的相对位置可以调整，只要满足移液管的尖端能进入影像撷取装置的撷取区域内，并使移液管的尖端参照影像撷取装置进行校准的条件。移液管31装设于移液***的一移液装置30上，该移液装置30例如一立式注射泵。其中，图7中撷取第二影像时，移液管31的尖端311的中心与影像撷取装置21的中心点211在垂直于X-Y平面的Z坐标轴方向上是对准的，也即移液管31符合原始装配的状态，在原始装配状态下尖端311的中心投影至X-Y直角坐标系的原点。或者，以校准后的中心点211作为图7和图8中X-Y-Z三维坐标系的原点，由于中心点211已经相对于校准点11完成校准，将中心点211作为X-Y-Z三维坐标系的原点，有利于后续校准步骤的定位。图8中撷取第三影像时，移液管31重新装设过，其尖端311与校准后的中心点211之间的对焦距离发生了一定的位移，并且尖端311与校准后的中心点211之间于X-Y平面也可能发生了一些位移。
图9示出一实施例中获得一第二偏移量的主要步骤。参照图9所示，步骤S40中获得该第三影像中的该尖端相对于该第二影像中的该尖端于该平面的一第二偏移量的步骤包括：S402、分别获得该第三影像中的该尖端的中心于该平面的一第一直角坐标，和该第二影像中的该尖端的中心于该平面的一第二直角坐标，其中该平面垂直于该对焦距离所在的方向；S404、依据该第一直角坐标和该第二直角坐标，获得该第三影像中的该尖端的中心相对于该第二影像中的该尖端的中心的像素偏移量，其中该直角坐标以一像素作为一坐标单位；以及S406、依据一像素与距离的对应关系，将该像素偏移量转换成距离偏移量，作为该第二偏移量。
结合图7至图9来看，对焦距离所在的方向是Z轴方向，第二偏移量是第三影像中的尖端311的中心相对于第二影像中的尖端311的中心，也即校准后的中心点211于X-Y平面的偏移量Δx和Δy。由于X-Y直角坐标系以一个像素点作为单位坐标，因此获得的坐标偏移量Δx和Δy就是像素偏移量。进一步，依据像素与距离的对应关系，即可获得像素偏移量所对应的距离偏移量。
步骤S402中获得第三影像中的尖端的中心的第一直角坐标是采用中心圆轮廓搜寻算法。图10示出一实施例中获得第三影像中的尖端的中心的一第一直角坐标的主要步骤，参照图10所示，步骤S402中获得该第三影像中的该尖端的中心于该平面的一第一直角坐标的步骤包括：S4021、对该第三影像进行平滑滤波，去除该第三影像的噪点；S4022、对平滑滤波后的该第三影像进行二值化，为平滑滤波后的该第三影像中的每个像素点赋值；S4023、对二值化后的该第三影像进行测边，标示出二值化后的该第三影像的多个边缘点；S4024、对测边后的该第三影像的该多个边缘点进行轮廓标定，形成至少一个轮廓；S4025、对各个该轮廓进行圆度检测，筛除圆度值小于一预设值的轮廓；S4026、对筛除后的该轮廓进行面积筛选，筛出轮廓面积符合该尖端的面积的一轮廓；以及S4027、获得筛出的该轮廓的圆心于该平面的直角坐标，作为该第三影像中的该尖端的中心于该平面的直角坐标。中心圆轮廓搜寻算法的各个步骤的具体原理与上述实施例中校准点11的直角坐标的获取过程同理，因此不再重复说明。
如上所述，在一些实施例中，第二影像中的尖端311的中心于X-Y平面的第二直角坐标是X-Y直角坐标系的原点。在另一些实施例中，当需要获取第二影像中的尖端311的中心于X-Y平面的第二直角坐标时，同样采用中心圆轮廓搜寻算法，此处不再展开说明。
步骤S406通过影像撷取装置21拍摄一已知尺寸的物体，来获得像素与距离的对应关系。图11示出一实施例中获得一像素与距离的对应关系的主要步骤，参照图11所示，步骤S406中依据一像素与距离的对应关系的步骤包括：S4062、通过该影像撷取装置撷取一预设尺寸的物体的影像；以及S4064、根据该物体的影像的像素个数与该预设尺寸，获得该像素与距离的对应关系。例如，通过影像撷取装置21撷取一已知为100μm长的物体的影像，得到该物体的影像的像素个数为10个，则获得1像素等于10μm的对应关系。根据该像素与距离的对应关系，将第三影像中的尖端311相对于第二影像中的尖端311的像素偏移量转换成偏移距离。
例如，在一个示例中，参照图7和图8所示，通过中心圆轮廓搜寻算法计算得到第二影像中的尖端311的中心于X-Y平面的第二直角坐标是(297，249)，第三影像中的尖端311的中心于X-Y平面的第一直角坐标是(240，257)。则获得第三影像中的尖端311于X坐标轴的偏移量Δx＝-57，于Y坐标轴的偏移量Δy＝8。进一步根据像素与距离的对应关系，以获得第三影像中的尖端311在X轴偏移了570μm，在Y轴偏移了80μm。
第二影像和第三影像还用于获得尖端311的对焦距离偏移量。图12示出一实施例中获得对焦距离偏移量的主要步骤，参照图12所示，本实施例中，步骤S50中分别依据该位移、该第三影像相对于该第二影像的清晰度值的变异量和一预设的对焦距离与清晰度值的映射关系表，获得该第三影像的清晰度值相对于一预设清晰度值的一对焦距离偏移量的步骤包括：S502、依据该位移的方向和该第三影像相对于该第二影像的清晰度值的变异量，获得该第三影像的清晰度值在该映射关系表中的位置，其中该映射关系表中该清晰度值呈高斯分布；以及S504、根据该第三影像的清晰度值在该映射关系表中的位置，获得该第三影像的清晰度值对应的对焦距离相对于一预设清晰度值对应的对焦距离的该对焦距离偏移量，其中该预设清晰度值是该映射关系表中的最高清晰度值。
其中，对焦距离与清晰度值的映射关系表是预先设定的。在进行移液***的校准之前，先通过影像撷取装置多次拍摄尖端的影像，计算不同对焦距离下的清晰度值，获得能够反应对焦距离与清晰度值之间的对应关系的映射关系表。例如，在一个实施例中，对焦距离与清晰度值的映射关系表如下表1所示：
表1：对焦距离与清晰度值的映射关系表：
Figure BDA0002260494360000121
其中，清晰度值是正规化后的清晰度值。由于尖端与影像撷取装置的中心点之间存在一个最优对焦距离，当尖端与中心点之间的距离等于该最优对焦距离时，影像撷取装置所拍摄的尖端的影像具有最高清晰度值。当尖端与中心点之间的距离相对于该最优对焦距离变大或变小时，影像撷取装置所拍摄的尖端的影像的清晰度值都会相对于该最高清晰度值减小。也就是说，影像的清晰度值关于对焦距离呈现高斯分布(Gaussiandistribution)的特征。在该规律下，所获取到的映射关系表中的清晰度值呈高斯分布。因此，在获得尖端与中心点之间的对焦距离时，需要至少两次拍摄对焦距离发生了位移的尖端的影像，以获得一清晰度值在映射关系表中的具***置。在一些实施例中，多次重新装设移液管，直至能够获取到尖端与中心点之间的准确对焦距离。需要说明的是，于本实施例中，上述映射关系表中仅展示出了部分对焦距离和清晰度值，于其他实施例中，在映射关系表中，最高清晰度值左右两侧的多个清晰度值大致是对称分布的。
参照图7和图8所示，位移是一个沿Z坐标轴方向的已知量。通过使尖端311与中心点211之间的对焦距离发生位移，使两次撷取的尖端311的影像的清晰度值发生变化，以供获得尖端311的第三影像的清晰度值对应的对焦距离，作为尖端311与中心点211之间的实际距离。以图7和图8所示的Z坐标轴的方向为例，当尖端311相对于影像撷取装置21的中心点211沿Z坐标轴上移了一定距离，则尖端311与校准后的中心点211之间的对焦距离增大；当尖端311相对于影像撷取装置21的中心点211沿Z坐标轴下移了一定距离，则尖端311与校准后的中心点211之间的对焦距离减小。
第三影像相对于第二影像的清晰度值的变异量是指第三影像的清晰度值相对于第二影像的清晰度值的差值。采用已有的方式获得影像的清晰度值。具体来说，影像的清晰度值的评价算法有多种，在空间域中，主要是考察影像的空间上的对比度，即相邻像素间的灰度特征的梯度差；在频域中，主要是考察影像的频率分量，对焦清晰的影像高频分量较多，对焦模糊的影像低频分量较多。在一个实施例中，采用Laplace(拉普拉斯)算子获得第二影像和第三影像的清晰度值，Laplace算子分别计算X轴方向和Y轴方向的梯度，同一场景下影像越清晰，梯度值越高。Laplace算子的公式如下：
Figure BDA0002260494360000141
在Laplace算子的公式中，“src”是原始影像的二维矩阵，“dst”是以“src”分别对两个维度“x”和“y”进行二阶偏微再加总获得的二维矩阵，以借由求“x”方向与“y”方向的变化量找出影像的边缘值，获得表示影像的清晰度值的“dst”。
在一个实施例中，预设清晰度值为上述映射关系表中的最高清晰度值1，其对应的最优对焦距离为6280μm。根据Laplace算子计算得到尖端的第二影像的清晰度值为0.865822，然后增大对焦距离，将移液管上移20μm，再次拍摄获得尖端的第三影像，通过Laplace算子计算得到第三影像的清晰度值为0.890014。根据随对焦距离增大而清晰度值增大的特征和高斯分布的规律，可知相对于最优对焦距离，拍摄第二影像和第三影像时尖端与中心点之间的对焦距离都小于该最优对焦距离，则确定在映射关系表中第三影像的清晰度值0.890014位于最高清晰度值1的左侧，进而获得第三影像的清晰度值0.890014所对应的对焦距离为6260μm。当然，在移动移液管时，也要控制位移量，避免由于位移过大或过小影响后续步骤。在一些实施例中，通过多次重新装设移液管，以获得更加准确的尖端与中心点之间的对焦距离。接着，获得第三影像的清晰度值0.890014所对应的对焦距离为6260μm相对于该预设清晰度值1所对应的对焦距离6280μm的一对焦距离偏移量20μm，如图8中所示的Δz。
进一步的，在一个实施例中，移液***的校准方法还包括设置该影像撷取装置的成像景深，使该对焦距离偏移量的可侦测范围位于一预设距离范围内，其中，撷取该第三影像的步骤中，该位移大于该预设距离范围。采用如下公式设置影像撷取装置的成像景深dtot：
Figure BDA0002260494360000142
其中，NA是影像撷取装置的物镜的数值孔径，M是物镜的放大倍率，NA和M都是已知量，在本实施例中采用NA为0.3，M为2.66的物镜。λ是光波波长，通常λ＝0.55μm。n是移液管与物镜之间的介质的折射率，本实施例中介质为空气，折射率n＝1。e是影像撷取装置可分辨的最小距离，是一个已知量，本实施例中e＝2.2μm。因此，本实施例计算得到影像撷取装置的成像景深dtot＝8.86μm。当成像景深为8.86μm时，大于8.86μm的对焦距离偏移量是可侦测的，也即本实施例中对焦距离偏移量的可侦测范围大于8.86μm。因此，撷取第三影像的步骤中，重新装设移液管时需使移液管的尖端与影像撷取装置的中心点之间的对焦距离产生大于8.86μm的位移，从而使影像撷取装置所拍摄的尖端的第二影像和第三影像之间的清晰度值的变异量能否被检测到。
进一步的，获得第二偏移量和对焦距离偏移量后，则调整移液管的位置以补偿第二偏移量和对焦距离偏移量，使移液管的尖端与校准后的中心点在X坐标轴、Y坐标轴和Z坐标轴三维方向上对准，完成移液管的校准。
综上，上述实施例中的移液***的校准方法通过影像撷取装置撷取校准点的影像，获得影像撷取装置的中心点相对于校准点于X-Y平面的第一偏移量，实现影像撷取装置所在的移液***的转盘于X-Y平面的校准，使校准后的影像撷取装置用于后续校准步骤的定位；通过校准后的影像撷取装置至少两次撷取移液管的尖端的影像，获得移液管的尖端于X-Y平面的第二偏移量以及于Z坐标轴的对焦距离偏移量，实现移液管的尖端于X-Y平面和Z坐标轴的校准；从而，本公开的移液***的校准方法利用了一影像撷取装置实现移液***的转盘的转动方向的校准和移液管的三维方向的校准，以实现后续移液操作和***运行的控制。
本公开还揭露一种移液***。图13示出一实施例中一种移液***的主要模块，参照图13所示，本实施中移液***1包括：一影像撷取装置21；以及一处理器41，该处理器41被配置为通过执行多条可执行指令实现：通过该影像撷取装置21撷取一校准点的至少一第一影像；获得该影像撷取装置21的一中心点相对于该第一影像中的该校准点于一平面的一第一偏移量，依据该第一偏移量调整该影像撷取装置21的位置，使该中心点与该校准点进行校准；通过校准后的该影像撷取装置21撷取该移液***1的一移液管31的尖端的至少一第二影像和一第三影像，其中该第三影像撷取自该尖端与校准后的该中心点的对焦距离发生位移之后；获得该第三影像中的该尖端相对于该第二影像中的该尖端于该平面的一第二偏移量；分别依据该位移、该第三影像相对于该第二影像的清晰度值的变异量和一预设的对焦距离与清晰度值的映射关系表，获得该第三影像的清晰度值相对于一预设清晰度值的一对焦距离偏移量；以及，依据该第二偏移量和该对焦距离偏移量调整该移液管31的位置，使该尖端与校准后的该中心点进行校准。其中，在一些实施例中，可执行指令存储于处理器41中，在一些实施例中，可执行指令存储于该移液***1的一存储器中。可执行指令的具体执行过程和原理请参照上述移液***的校准方法实施例的描述，此处不再展开说明。
在一个实施例中，处理器41例如是一个CPU(central processing unit，中央处理器)。处理器41分别与移液***1的影像撷取装置21和移液管31连接，以实现第一偏移量、第二偏移量和对焦距离偏移量的计算，并根据第一偏移量、第二偏移量和对焦距离偏移量分别控制影像撷取装置21和移液管31进行位置调整，以实现移液***1的校准。
综上，上述实施例的移液***通过影像撷取装置撷取校准点的影像，获得影像撷取装置的中心点相对于校准点于平面维度的第一偏移量，实现影像撷取装置于平面维度的校准，使校准后的影像撷取装置用于后续校准步骤的定位；通过校准后的影像撷取装置至少两次撷取移液管的尖端的影像，获得移液管的尖端于平面维度的第二偏移量以及于对焦距离维度的对焦距离偏移量，实现移液管的尖端于平面维度和对焦距离维度的校准；从而，本公开利用了一影像撷取装置实现移液***的校准，以实现后续移液操作和***运行的控制。
以上内容是结合具体的优选实施方式对本公开所作的进一步详细说明，不能认定本公开的具体实施只局限于这些说明。对于本公开所属技术领域的普通技术人员来说，在不脱离本公开构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本公开的保护范围。

Claims (8)

1.一种移液***的校准方法，其特征在于，所述校准方法包括：
通过一影像撷取装置撷取一校准点的至少一第一影像；
获得所述影像撷取装置的一中心点相对于所述第一影像中的所述校准点于一平面的一第一偏移量，依据所述第一偏移量调整所述影像撷取装置的位置，使所述中心点与所述校准点进行校准；
通过校准后的所述影像撷取装置撷取所述移液***的一移液管的尖端的至少一第二影像和一第三影像，其中所述第三影像撷取自所述尖端与校准后的所述中心点的对焦距离发生位移之后；
获得所述第三影像中的所述尖端相对于所述第二影像中的所述尖端于所述平面的一第二偏移量；
分别依据所述位移、所述第三影像相对于所述第二影像的清晰度值的变异量和一预设的对焦距离与清晰度值的映射关系表，获得所述第三影像的清晰度值相对于一预设清晰度值的一对焦距离偏移量；以及
依据所述第二偏移量和所述对焦距离偏移量调整所述移液管的位置，使所述尖端与校准后的所述中心点进行校准。
2.如权利要求1所述的校准方法，其特征在于，所述获得所述影像撷取装置的一中心点相对于所述第一影像中的所述校准点于一平面的一第一偏移量的步骤包括：
分别获得所述中心点和所述第一影像中的所述校准点于所述平面的直角坐标，其中所述平面平行于所述移液***的一转盘所在的平面；
分别将所述中心点的直角坐标和所述校准点的直角坐标转换为极角，以获得所述中心点的极角相对于所述校准点的极角的夹角；以及
依据所述夹角获得所述第一偏移量。
3.如权利要求2所述的校准方法，其特征在于，所述获得所述第一影像中的所述校准点于所述平面的直角坐标的步骤包括：
对所述第一影像进行平滑滤波，去除所述第一影像的噪点；
对平滑滤波后的所述第一影像进行二值化，为平滑滤波后的所述第一影像中的每个像素点赋值；
对二值化后的所述第一影像进行测边，标示出二值化后的所述第一影像的多个边缘点；
对测边后的所述第一影像的所述多个边缘点进行轮廓标定，形成至少一个轮廓；
对各个所述轮廓进行圆度检测，筛除圆度值小于一预设值的轮廓；
对筛除后的所述轮廓进行面积筛选，筛出轮廓面积符合所述校准点的面积的一轮廓；以及
获得筛出的所述轮廓的形心于所述平面的直角坐标，作为所述第一影像中的所述校准点于所述平面的直角坐标。
4.如权利要求1所述的校准方法，其特征在于，所述获得所述第三影像中的所述尖端相对于所述第二影像中的所述尖端于一平面的一第二偏移量的步骤包括：
分别获得所述第三影像中的所述尖端的中心于所述平面的一第一直角坐标，和所述第二影像中的所述尖端的中心于所述平面的一第二直角坐标，其中所述平面垂直于所述对焦距离所在的方向；
依据所述第一直角坐标和所述第二直角坐标，获得所述第三影像中的所述尖端的中心相对于所述第二影像中的所述尖端的中心的像素偏移量，其中所述直角坐标以一像素作为一坐标单位；以及
依据一像素与距离的对应关系，将所述像素偏移量转换成距离偏移量，作为所述第二偏移量。
5.如权利要求4所述的校准方法，其特征在于，所述获得所述第三影像中的所述尖端的中心于所述平面的一第一直角坐标的步骤包括：
对所述第三影像进行平滑滤波，去除所述第三影像的噪点；
对平滑滤波后的所述第三影像进行二值化，为平滑滤波后的所述第三影像中的每个像素点赋值；
对二值化后的所述第三影像进行测边，标示出二值化后的所述第三影像的多个边缘点；
对测边后的所述第三影像的所述多个边缘点进行轮廓标定，形成至少一个轮廓；
对各个所述轮廓进行圆度检测，筛除圆度值小于一预设值的轮廓；
对筛除后的所述轮廓进行面积筛选，筛出轮廓面积符合所述尖端的面积的一轮廓；以及
获得筛出的所述轮廓的形心于所述平面的直角坐标，作为所述第三影像中的所述尖端的中心于所述平面的直角坐标。
6.如权利要求4所述的校准方法，其特征在于，所述依据一像素与距离的对应关系的步骤包括：
通过所述影像撷取装置撷取一预设尺寸的物体的影像；以及
根据所述物体的影像的像素个数与所述预设尺寸，获得所述像素与距离的对应关系。
7.如权利要求1所述的校准方法，其特征在于，所述分别依据所述位移、所述第三影像相对于所述第二影像的清晰度值的变异量和一预设的对焦距离与清晰度值的映射关系表，获得所述第三影像的清晰度值相对于一预设清晰度值的一对焦距离偏移量的步骤包括：
依据所述位移的方向和所述第三影像相对于所述第二影像的清晰度值的变异量，获得所述第三影像的清晰度值在所述映射关系表中的位置，其中所述映射关系表中所述清晰度值呈高斯分布；以及
根据所述第三影像的清晰度值在所述映射关系表中的位置，获得所述第三影像的清晰度值对应的对焦距离相对于一预设清晰度值对应的对焦距离的所述对焦距离偏移量，其中所述预设清晰度值是所述映射关系表中的最高清晰度值。
8.如权利要求1所述的校准方法，其特征在于，还包括设置所述影像撷取装置的成像景深，使所述对焦距离偏移量的可侦测范围位于一预设距离范围内，其中，撷取所述第三影像的步骤中，所述位移大于所述预设距离范围。
CN201911069484.4A 2019-11-05 2019-11-05 移液***及其校准方法 Active CN110653016B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911069484.4A CN110653016B (zh) 2019-11-05 2019-11-05 移液***及其校准方法
TW109106851A TWI733355B (zh) 2019-11-05 2020-03-03 移液系統及其校準方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911069484.4A CN110653016B (zh) 2019-11-05 2019-11-05 移液***及其校准方法

Publications (2)

Publication Number Publication Date
CN110653016A CN110653016A (zh) 2020-01-07
CN110653016B true CN110653016B (zh) 2021-05-28

Family

ID=69042910

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911069484.4A Active CN110653016B (zh) 2019-11-05 2019-11-05 移液***及其校准方法

Country Status (2)

Country Link
CN (1) CN110653016B (zh)
TW (1) TWI733355B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112924703A (zh) * 2021-01-26 2021-06-08 英华达（上海）科技有限公司 移液***及其移液操作方法
CN117310200B (zh) * 2023-11-28 2024-02-06 成都瀚辰光翼生物工程有限公司 移液点位校准方法及装置、移液控制设备和可读存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0977039B1 (en) * 1998-07-27 2010-04-07 Hitachi, Ltd. Handling method of body fluid sample and analysis apparatus using the same
CN103501909A (zh) * 2011-05-13 2014-01-08 艾克特瑞斯有限责任公司 用于自动追踪移液的方法和***
WO2013165594A1 (en) * 2012-04-30 2013-11-07 Life Technologies Corporation Modules and calibration method for a robotic polynucleotide sample preparation system
CN105960261A (zh) * 2013-12-04 2016-09-21 奥巴隆治疗公司 用于定位和/或表征胃内设备的***和方法
CN106029308B (zh) * 2014-02-28 2019-10-29 索尼公司 机械臂设备、校准方法以及计算机可读存储介质
EP3474994A4 (en) * 2016-06-24 2019-06-05 Kobra Biosolutions, LLC VERIFICATION PIPETTE AND VISION APPARATUS
CN108332946B (zh) * 2018-01-16 2019-02-12 广东工业大学 一种微透镜阵列模具车削加工中的反射焦距在位检测方法
CN109410229A (zh) * 2018-08-27 2019-03-01 南京珂亥韧光电科技有限公司 多目标透镜位置以及凹凸面识别的方法

Also Published As

Publication number Publication date
TWI733355B (zh) 2021-07-11
CN110653016A (zh) 2020-01-07
TW202119033A (zh) 2021-05-16

Similar Documents

Publication Publication Date Title
JP6151406B2 (ja) 基板検査方法
CN109859272B (zh) 一种自动对焦双目摄像头标定方法及装置
CN102768762B (zh) 一种针对盾构隧道病害数字照相检测的数码相机标定方法及其装置
CN111263142B (zh) 一种摄像模组光学防抖的测试方法、装置、设备及介质
KR101948906B1 (ko) 포커싱 및 경사 교정 디자인을 구비하는 마커 및 정렬 방법
CN110653016B (zh) 移液***及其校准方法
CN110044262B (zh) 基于图像超分辨率重建的非接触式精密测量仪及测量方法
CN110612428A (zh) 使用特征量的三维测量方法及其装置
CN112053401B (zh) 一种芯片拼接方法、装置、设备及存储介质
CN110966953A (zh) 物体表面轮廓的检测方法
JP5098174B2 (ja) ３次元形状測定装置
CN106303174B (zh) 一种光场相机中微透镜阵列倾斜的数字化调整方法
CN115628685B (zh) 关键尺寸的测量方法、设备及关键尺寸的分级定位方法
CN109239901B (zh) 一种显微成像***对焦面快速标定、对焦定位方法及装置
CN114111578B (zh) 一种大口径元件的位姿自动确定方法
Frangione et al. Multi-step approach for automated scaling of photogrammetric micro-measurements
KR101020921B1 (ko) 회전형 카메라 제어방법
KR101503021B1 (ko) 측정장치 및 이의 보정방법
CN112734721A (zh) 一种光轴偏转角度检测方法、装置、设备和介质
CN114119555B (zh) 一种基于物距对焦法的大口径元件边缘检测方法
Percoco et al. 3D image based modelling for inspection of objects with micro-features, using inaccurate calibration patterns: an experimental contribution
CN114788259B (zh) 测试图卡、相机制造装置、相机的制造方法以及计算机可读记录介质
JP2020085678A (ja) 検査システム、検査方法およびプログラム
US20220398778A1 (en) Lens calibration method for digital imaging apparatus
Heinemann et al. Camera calibration and orientation for PCB jet printing inspection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant