CN116342710A - 用于激光跟踪仪的双目相机的标定方法 - Google Patents
用于激光跟踪仪的双目相机的标定方法 Download PDFInfo
- Publication number
- CN116342710A CN116342710A CN202310154505.2A CN202310154505A CN116342710A CN 116342710 A CN116342710 A CN 116342710A CN 202310154505 A CN202310154505 A CN 202310154505A CN 116342710 A CN116342710 A CN 116342710A
- Authority
- CN
- China
- Prior art keywords
- target
- lens
- binocular camera
- component
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 130
- 238000003384 imaging method Methods 0.000 claims abstract description 89
- 230000003287 optical effect Effects 0.000 claims description 122
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000005259 measurement Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 description 20
- 238000001514 detection method Methods 0.000 description 16
- 238000013461 design Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012795 verification Methods 0.000 description 4
- 230000005484 gravity Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本公开描述一种用于激光跟踪仪的双目相机的标定方法,标定方法包括:双目相机发射第一光束,第一光束被目标反射回第一透镜,将第一光束汇聚至第一成像元件并获得包括第一分量和沿第二分量的第一光斑数据,双目相机发射第二光束,第二光束被目标反射回第二透镜,将第二光束汇聚至第二成像元件并获得包括第三分量和第四分量的第二光斑数据;令目标移动以改变目标与双目相机的距离;在目标移动过程中,获取第一分量、第三分量以及目标与双目相机的距离;基于第一分量、第三分量、第一透镜和第二透镜的焦距、以及第一成像元件和第二成像元件的预设设备参数标定第一透镜和第二透镜的距离。
Description
技术领域
本公开大体涉及一种智能制造装备产业,具体涉及一种用于激光跟踪仪的双目相机的标定方法。
背景技术
激光跟踪仪,也被称为坐标测量装置,激光跟踪仪的工作基本原理是在待测点上安置一个目标(也可称为“反射器”或“靶球”),激光跟踪仪的激光跟踪头发出的激光束沿着激光跟踪仪的测量光轴发射到目标上,激光束被目标反射,并返回到激光跟踪头,当目标移动时,激光跟踪仪调整激光束方向来瞄准目标。同时,返回的激光束被激光跟踪仪的检测***所接收和识别,用来测算目标的空间位置。
在现有技术中,当目标偏离激光跟踪仪的瞄准光轴时,激光跟踪仪通过双目相机能够对目标进行瞄准,以便激光跟踪仪的位置探测器(也可称为“精细瞄准单元”)接收到目标反射的激光束,从而监测到有效的激光束信号,由此激光跟踪仪能够根据位置探测器反馈的目标的坐标信号进行精细瞄准,跟踪锁定目标,测量目标的距离。
由于存在各种类型的误差,在使用激光跟踪仪的双目相机对目标进行瞄准前,若未对双目相机进行标定,会导致双目相机瞄准目标的测量精度下降,而目前的标定方法并不适用于激光跟踪仪的双目相机。
发明内容
本公开有鉴于上述现有技术的状况而完成,其目的在于提供一种操作简便、并且能够准确地对激光跟踪仪的双目相机进行标定的方法。
为此,本公开提供一种用于激光跟踪仪的双目相机的标定方法,所述激光跟踪仪包括能够绕第一旋转轴和第二旋转轴旋转并能够发射出激光束的测量主机和设置于所述测量主机的双目相机,令所述第一旋转轴和所述第二旋转轴的交点为双目相机的旋转中心,令所述第一旋转轴延伸的方向为第一方向,令所述第二旋转轴延伸的方向为第二方向,所述标定方法包括:所述双目相机发射第一光束,所述第一光束被目标接收并反射回所述双目相机,通过所述双目相机的第一透镜将所述目标反射的所述第一光束汇聚至所述双目相机的第一成像元件并获得第一光斑数据,所述第一光斑数据包括沿所述第二方向的第一分量和沿所述第一方向的第二分量,所述双目相机发射第二光束,所述第二光束被所述目标接收并反射回所述双目相机,通过所述双目相机的第二透镜将所述目标反射的所述第二光束汇聚至所述双目相机的第二成像元件并获得第二光斑数据,所述第二光斑数据包括沿所述第二方向的第三分量和沿所述第一方向的第四分量,所述第一透镜的光心与所述第二透镜的光心的连线平行于所述第二旋转轴;令所述目标移动以改变所述目标与所述双目相机的距离;在所述目标移动过程中,获取所述第一分量、所述第三分量以及所述目标与所述双目相机的距离;基于所述第一分量、所述第三分量、所述第一透镜和所述第二透镜的焦距、以及所述第一成像元件和所述第二成像元件的预设设备参数标定所述第一透镜和所述第二透镜的距离。
在本实施方式中,可以通过双目相机发射的第一光束和第二光束,分别获得对应的第一光斑数据和第二光斑数据,并且基于第一光斑数据的第一分量和第二光斑数据的第三分量,可以获得目标与双目相机的距离的计算公式。在这种情况下,能够通过将目标置于与双目相机的不同距离的位置,得到对应的第一分量和第三分量,并利用直线拟合方法,能够得到第一直线方程,由于第一直线方程的斜率与第一透镜和第二透镜的距离相关联,由此,能够基于第一直线方程,标定得出第一透镜和第二透镜的距离,从而能够提高双目相机瞄准目标的测量精度,能够直接调用第一透镜和第二透镜的距离用于准确地、便捷地计算双目相机在瞄准目标过程中需要转动的旋转角度。
另外,在本实施方式所涉及标定方法中,可选地,令所述目标在所述激光束所在的直线上移动以改变所述目标与所述双目相机的距离。在这种情况下,令目标在激光束所在的直线上移动以改变目标与双目相机的距离,也即令目标在双目相机的瞄准光轴上移动,首先能够更容易地控制目标的移动,其次目标在双目相机的瞄准光轴上移动,能够减少目标在第一方向和第二方向产生相对瞄准光轴的偏移造成的影响,能够利用激光跟踪仪的检测***更加精确地确定目标与双目相机的距离,从而能够简便地、精确地获得目标与双目相机的距离,由此,能够提高标定方法的准确性及精确度。
另外,在本实施方式所涉及的标定方法中,可选地,包括对第一参数进行标定,所述第一参数配置为在所述激光跟踪仪跟踪所述目标时,与所述第一分量和所述第三分量配合计算所述测量主机以所述旋转中心为中心点绕所述第一旋转轴的第一旋转角度,对所述第一参数进行标定的方法包括:将所述目标置于所述激光束所在的直线上;获取所述第一分量和所述第三分量;基于所述第一分量和所述第三分量获得第一参数。在这种情况下,由于在使用双目相机对目标进行瞄准时,可以利用第一参数计算出令双目相机瞄准目标时的第一旋转角度,由此降低了由于双目相机与瞄准光轴之间的视差造成无法准确计算第一旋转角度的影响,因此,在使用双目相机瞄准目标之前,对双目相机进行标定以获得第一参数,能够直接调用标定的第一参数,从而准确地、便捷地计算双目相机在瞄准目标过程中需要转动的旋转角度。
另外,在本实施方式所涉及的标定方法中,可选地,所述第一旋转角度的计算公式为:
其中α为所述第一旋转角度,u为所述第一成像元件和所述第二成像元件的预设设备参数、L为所述旋转中心至所述双目相机的距离、D为所述目标至所述双目相机的距离、f为所述第一透镜和所述第二透镜的焦距、K为所述第一参数,x1和x2分别表示所述第一分量和所述第三分量。由此,能够基于第一旋转角度的公式计算出双目相机在瞄准目标的过程中需要以旋转中心为中心点沿第一旋转轴旋转的角度。
另外,在本实施方式所涉及的标定方法中,可选地,包括对所述第一透镜和所述第二透镜的焦距进行标定,对所述第一透镜和所述第二透镜的焦距进行标定的方法包括:令所述目标在与所述双目相机具有第一预设距离的预设平面内,并使所述目标沿不同于所述第二方向的方式相对所述双目相机移动;令所述目标与所述旋转中心形成预设位置关系;获取所述目标在所述预设平面内沿不同于所述第二方向的方式相对所述双目相机移动的过程中的所述第二分量、所述第四分量以及所述目标与所述旋转中心的预设位置关系;基于所述预设位置关系、所述旋转中心至所述双目相机的第二预设距离、所述第二分量和所述第四分量、所述第一成像元件和所述第二成像元件的预设设备参数标定所述第一透镜和所述第二透镜的焦距。在这种情况下,通过对第一透镜和第二透镜的焦距进行标定,能够降低第一透镜与第一成像元件之间的装配误差以及第二透镜与第二成像元件之间的装配误差,由此,能够根据标定的第一透镜和第二透镜的焦距准确地、便捷地计算双目相机在瞄准目标过程中需要转动的旋转角度,也即第一旋转角度和第二旋转角度。
另外,在本实施方式所涉及的标定方法中,可选地,所述预设位置关系为所述目标在所述预设平面内沿与所述激光束所在直线垂直且相交的所述第一方向相对所述双目相机移动的过程中,所述目标与所述旋转中心的连线与所述激光束所在的直线之间的第二旋转角度小于预设角度。在这种情况下,目标通过在预设平面内沿与激光束所在直线垂直且相交的所述第一方向相对双目相机移动,能够更容易控制目标相对双目相机的移动,能够减少目标在相对双目相机移动过程中相对瞄准光轴的偏移造成的影响,从而能够利用激光跟踪仪的检测***更加精确地确定目标与双目相机的第一预设距离以及精确地获取第二旋转角度,另外当第二旋转角度小于预设角度时,能够通过反正切函数atan的特性,得到多个第二旋转角度及对应的多个第二分量和第四分量之间的关系,并利用直线拟合方法标定获得第二直线方程,也即第二旋转角度与第二分量和第四分量之间的关系,由此能够结合第二旋转角度的计算公式和标定出的第二直线方程的斜率,标定出第一透镜和第二透镜的焦距。
另外,在本实施方式所涉及的标定方法中,可选地,所述第二旋转角度具有第二函数关系:
其中,βi为所述目标在所述预设平面内沿与所述激光束所在直线垂直且相交的所述第一方向相对所述双目相机移动的过程中,在第i个时刻获取的所述第二旋转角度,L为所述旋转中心至所述双目相机的距离、D为所述目标至所述双目相机的距离、f为所述第一透镜和所述第二透镜的焦距,u为所述第一成像元件和所述第二成像元件的预设设备参数,yi为所述目标在所述预设平面内沿与所述激光束所在直线垂直且相交的所述第一方向相对所述双目相机移动的过程中,在第i个时刻获取的所述第二分量和所述第四分量的平均值。由此,当第二旋转角度小于预设角度时,能够通过反正切函数atan的特性,得到多个第二旋转角度及对应的多个第二分量和第四分量之间的关系,并利用直线拟合方法标定获得第二直线方程,进而能够利用第二直线方程的斜率,标定出的数值,从而能够基于预设的参数L、D、u,标定出第一透镜和第二透镜的焦距,同时通过利用第二分量和第四分量的平均值进行标定第二直线方程,能够提高标定方法的计算精确度。
另外,在本实施方式所涉及的标定方法中,可选地,包括对第二参数进行标定,所述第二参数配置为与所述第一分量和所述第三分量配合计算所述目标至所述双目相机的距离,对所述第二参数进行标定的方法包括:基于所述第一透镜和所述第二透镜的距离、所述第一透镜和所述第二透镜的焦距计算所述第二参数。由此,在双目相机瞄准目标的过程中,双目相机能够直接调用第二参数用于计算得出目标至双目相机的距离。
另外,在本实施方式所涉及的标定方法中,可选地,包括对第三参数和第四参数进行标定,所述第三参数配置为所述第一成像元件的图像中心与所述第一透镜的光轴在所述第二方向上的偏移量,所述第四参数配置为所述第二成像元件的图像中心与所述第二透镜的光轴在所述第二方向上的偏移量,对所述第三参数和第四参数进行标定的方法包括:基于所述第一参数和所述第二参数获取所述第三参数和所述第四参数。在这种情况下,能够基于标定的第二参数和第一参数标定出第三参数和第四参数,能够评估第一透镜的光轴和第一成像元件的图像中心之间的位置偏差以及第二透镜的光轴和第二成像元件的图像中心之间的位置偏差,由此在双目相机瞄准目标及对双目相机进行标定时考虑了第三参数和第四参数,从而能够提高双目相机瞄准目标的精度及对双目相机进行标定的精度,同时也能够指导激光跟踪仪的生产过程。
另外,在本实施方式所涉及的标定方法中,可选地,所述第一分量和所述第三分量的差值与所述目标至所述双目相机的距离具有第一函数关系:
其中,Di为在所述目标移动过程中,在第i个时刻所述目标至所述双目相机的距离、f为所述第一透镜和所述第二透镜的焦距、b为所述第二参数,A为所述第一透镜和所述第二透镜的距离,u为所述第一成像元件和所述第二成像元件的预设设备参数,xi为在所述目标移动过程中,在第i个时刻所述第一分量和所述第三分量的差值。在这种情况下,能够通过获取在目标至双目相机的不同距离的位置状态下的第一分量和第三分量,能够基于Di和xi之间的对应关系,标定获得第一直线方程,由此,能够基于第一直线方程的斜率及第一函数关系标定得出第一透镜和第二透镜的距离。
根据本公开,能够提供一种操作简便、并且能够准确地对激光跟踪仪的双目相机进行标定的方法。
附图说明
图1是示出了本实施方式示例所涉及的激光跟踪仪的示意图。
图2是示出了本实施方式示例所涉及的基于双目相机的瞄准目标的方法示意图。
图3是示出了本实施方式示例所涉及的双目相机的组成的示意图。
图4是示出了本实施方式示例所涉及的双目相机的实际光路的示意图。
图5是示出了本实施方式示例所涉及的双目相机的第一等效光路的示意图。
图6是示出了本实施方式示例所涉及的第一坐标系和第二坐标系的示意图。
图7是示出了本实施方式示例所涉及的基于双目相机测量目标的距离的示意图。
图8是示出了本实施方式示例所涉及的标定第一透镜和第二透镜的距离的流程示意图。
图9是示出了本实施方式示例所涉及的标定第一参数的光路示意图。
图10是示出了本实施方式示例所涉及的标定第一参数的流程示意图。
图11是示出了本实施方式示例所涉及的第一旋转角度的示意图。
图12是示出了本实施方式示例所涉及的第二旋转角度的示意图。
图13是示出了本实施方式示例所涉及的标定第一透镜和第二透镜的焦距的流程示意图。
图14是示出了本实施方式示例所涉及的标定第一透镜和第二透镜的焦距的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。在下面的说明中,对于相同的部件赋予相同的符号,省略重复的说明。另外,附图只是示意性的图,部件相互之间的尺寸的比例或者部件的形状等可以与实际的不同。
本实施方式涉及一种用于激光跟踪仪的双目相机的标定方法,也(以下可以简称为“标定方法”)。
图1是示出了本实施方式示例所涉及的激光跟踪仪30的示意图。图2是示出了本实施方式示例所涉及的基于双目相机10的瞄准目标20的方法示意图。
在本实施方式中,参见图1,激光跟踪仪30可以包括测量主机31及设置于测量主机31的双目相机10。基于双目相机10瞄准目标20的激光跟踪仪30的工作过程可以是在待测点上安置一个目标20(也可称为“反射器”或“靶球”),激光跟踪仪30的测量主机31可以发出激光束,并可以沿着激光跟踪仪30的测量光轴发射到目标20上,激光束可以被目标20反射,并可以返回到激光跟踪仪30,同时,返回的激光束被激光跟踪仪30的检测***所接收和识别,从而激光跟踪仪30的检测***能够测算目标20的空间距离及位置。当目标20移动范围较大时,激光跟踪仪30的检测***无法接收和识别到目标20反射回的激光束,然后激光跟踪仪30就可以基于设置于测量主机31的双目相机10瞄准目标20,调整测量主机31的位置姿态,以使目标20位于双目相机10的瞄准光轴M上,也即使目标20位于激光束所在的直线上,从而能够使反射回的激光束被激光跟踪仪30的检测***所接收和识别,进而能够使激光跟踪仪30的检测***测算目标20的空间位置,其中双目相机10的瞄准光轴M可以是激光跟踪仪30的测量光轴,也即激光跟踪仪30发出的激光束所在的直线。
在一些示例中,激光跟踪仪30的检测***可以包括激光干涉仪和激光绝对测距仪,可以用于测量目标20至双目相机10的距离D。在这种情况下,在标定方法中,能够利用激光跟踪仪30的检测***获取更高精度的距离D,从而便于检定方法的计算,并且能够简化设定距离D的过程(稍后描述)。
参见图2,在一些示例中,激光跟踪仪30还可以包括第一旋转轴13和第二旋转轴12,第一旋转轴13延伸的方向可以为第一方向,即图2中所示的Y轴方向(也可称为“竖直方向”),第二旋转轴12延伸的方向可以为第二方向,即图2中所示的X轴方向(也可称为“水平方向”),测量主机31,也即双目相机10可以绕第一旋转轴13在水平方向旋转,可以绕第二旋转轴12在竖直方向旋转,其中第一旋转轴13和第二旋转轴12的交点可以为双目相机10的旋转中心11。
在一些示例中,第一旋转轴13、第二旋转轴12以及双目相机10的瞄准光轴M可以两两竖直,20a可以是目标20在瞄准光轴M与第二旋转轴12,即图2中所示的X轴方向(也可称为“水平方向”)组成的平面内的投影位置,20b可以是目标20在瞄准光轴M与第一旋转轴13,即图2中所示的Y轴方向(也可称为“竖直方向”)组成的平面内的投影位置。在这种情况下,在双目相机10瞄准目标20的过程中,也即令目标20位于双目相机10的瞄准光轴M上,可以依照第一旋转角度α和第二旋转角度β,以旋转中心11为中心点,沿着第一旋转轴13和第二旋转轴12旋转双目相机10以使目标20位于瞄准光轴M上。
图3是示出了本实施方式示例所涉及的双目相机10的组成的示意图。
在一些示例中,双目相机10可以包括用于发射第一光束151的第一光源15、用于发射第二光束161的第二光源16、以及接收目标20反射回的第一光束151和第二光束161的采集单元17。在这种情况下,采集单元17能够接收目标20反射回的第一光束151和第二光束161,由此,采集单元17能够对应形成第一光束151的第一光斑152及第一光斑数据(稍后描述)和第二光束161的第二光斑162及第二光斑数据(稍后描述)。
在一些示例中,采集单元17可以包括第一采集单元171以及第二采集单元172,第一采集单元171可以具有第一透镜1711和第一成像元件1712,第二采集单元172可以具有第二透镜1721和第二成像元件1722(参见图3)。由此,第一光束151能够经目标20反射至第一透镜1711,穿过第一透镜1711在第一成像元件1712上聚集成像为第一光斑152并形成第一光斑数据,第二光束161能够经目标20反射至第二透镜1721,穿过第二透镜1721在第二成像元件1722上聚集成像为第二光斑162并形成第二光斑数据。
在一些示例中,第一透镜1711和第二透镜1721可以位于同一个平面内且第一透镜1711的光心和第二透镜1721的光心位于该平面内。由此有利于双目相机10的结构设计,并且能够使标定方法更加简便。
在一些示例中,第一透镜1711的光心与第二透镜1721的光心的连线可以平行于第二旋转轴12。由此有利于双目相机10的结构设计,并且能够使标定方法更加简便。
在一些示例中,第一透镜1711的光轴T1和第二透镜1721的光轴T2可以是平行,且对称分布在双目相机10的瞄准光轴M两侧。由此有利于双目相机10的结构设计,并且能够使标定方法更加简便。
在一些示例中,第一透镜1711的光轴T1和第二透镜1721的光轴T2在第一旋转轴13上的投影可以是重叠的,且光轴T1和光轴T2与瞄准光轴M在第一旋转轴13的投影重叠。由此,有利于双目相机10的结构设计,并且能够使标定方法更加简便及精确。
在一些示例中,第一透镜1711和第二透镜1721可以具有相同的焦距。由此,能够使标定方法更加简便。
在一些示例中,第一透镜1711和第二透镜1721可以具有不同的焦距。由此,能够提高双目相机10的适应性。
在一些示例中,第一成像元件1712和第二成像元件1722可以包括感光阵列(或称为像素阵列)。感光阵列可以是由多个像素点组成,可以将接收到的光信号转变为电信号输出。由此,能够获得第一光斑152及第一光斑数据、第二光斑162及第二光斑数据。
在一些示例中,第一成像元件1712的感光阵列和第二成像元件1722的感光阵列可以是CMOS感光元件或者CCD感光元件。
在一些示例中,第一成像元件1712的感光阵列和第二成像元件1722的感光阵列可以具有相同的预设设备参数。例如,第一成像元件1712的感光阵列和第二成像元件1722的感光阵列可以具有相同的有效像素阵列和像素尺寸,换言之,第一成像元件1712的感光阵列和第二成像元件1722的感光阵列在水平方向和竖直方向上,可以分别含有相同的像素点数量,也即可以具有相同的像素总宽度。每个像素点的尺寸大小可以是相同的,即每个像素点在水平方向上和竖直方向上的宽度可以是相同的。由此,能够使标定方法更加简便,同时也便于双目相机10的设计。
在一些示例中,第一光源15的数量可以为多个,多个第一光源15可以围绕第一采集单元171布置,具体地,多个第一光源15可以围绕第一透镜1711布置,第一光斑数据可以为多个第一光源15发射的多个第一光束151经目标20反射并被第一采集单元171获取的多个光斑获得的光斑数据。在这种情况下,由于多个第一光源15围绕第一采集单元171布置,第一采集单元171获取的多个第一光源15所形成的光斑也呈围绕状,利用多个光斑的联合重心计算第一光斑数据,能够获得一个精度较高的第一光斑数据,由此,不仅能够简化计算,还能够提高计算精度。
在一些示例中,第二光源16的数量可以为多个,多个第二光源16可以围绕第二采集单元172布置,具体地,多个第二光源16可以围绕第二透镜1721布置,第二光斑数据可以为多个第二光源16发射的多个第二光束161经目标20反射并被第二采集单元172获取的多个光斑获得的光斑数据。在这种情况下,由于多个第二光源16围绕第二采集单元172布置,第二采集单元172获取的多个第二光源16所形成的光斑也呈围绕状,利用多个光斑的联合重心计算第二光斑数据,能够获得一个精度较高的第二光斑数据,由此,不仅能够简化计算,还能够提高计算精度。
在一些示例中,可以使用重心跟踪法、灰度质心法、圆拟合法和Hough变换法中任一种计算多个第一光斑152和/或多个第二光斑162分别在第一成像元件1712和第二成像元件1722上的光斑的联合重心。由此,能够提高瞄准目标20的计算方法的适应性。
在一些示例中,第一光源15和第二光源16可以是散射光源。特别地,第一光源15和第二光源16可以是红外LED光源,发光角度为10-50度,由此,能够使得第一光束151和第二光束161在较大的范围内发射,从而能够提高目标20反射第一光束151和第二光束161的概率,能够扩大双目相机10的视场范围。
在一些示例中,第一光源15和第二光源16的视场交叠范围可以大于第一采集单元171和第二采集单元172的视场范围。由此能够进一步扩大双目相机10的视场范围。
在一些示例中,第一光源15可以是多个对称分布在第一透镜1711两侧的红外LED光源。由此,能够扩大双目相机10的视场范围。
在一些示例中,第二光源16可以是多个对称分布在第二透镜1721两侧的红外LED光源。由此,能够进一步扩大双目相机10的视场范围。
图4是示出了本实施方式示例所涉及的双目相机10的实际光路的示意图,图5是示出了本实施方式示例所涉及的双目相机10的第一等效光路的示意图。在本实施方式中,为了便于说明标定方法,本公开基于图,4的实际光路可以提出如图5所示的第一等效光路。
在本实施方式中,可以令第一透镜1711和第二透镜1721位于同一个平面内,具体而言,第一透镜1711的光轴和第二透镜1721的光轴可以平行,并且第一透镜1711的光心和第二透镜1721的光心可以位于上述的同一个平面内;第一透镜1711的光轴T1和第二透镜1721的光轴T2可以对称分布在双目相机10的瞄准光轴M两侧,第一透镜1711的光心与第二透镜1721的光心的连线可以平行于第二旋转轴12;双目相机10的旋转中心11可以位于瞄准光轴M上,且旋转中心11至第一透镜1711和第二透镜1721位于的同一平面的距离可以具有第二预设距离L;第一透镜1711和第二透镜1721之间的距离可以用第一透镜1711的光心和第二透镜1721的光心在第一透镜1711和第二透镜1721所在的平面内的距离A表示;第一成像元件1712的感光阵列和第二成像元件1722的感光阵列的参数可以具有相同的预设设备参数,例如具有相同的像素总宽度,并且每个像素点的尺寸大小可以是相同的,即每个像素点在第一方向上和第二方向上的宽度是相同的;第一光源15可以是两个对称分布在第一透镜1711两侧的红外LED光源,即图4中所示的第一光源15a和第一光源15b,第二光源16可以是两个对称分布在第二透镜1721两侧的红外LED光源,即图4中的第二光源16a和第二光源16b,基于光路成像原理,第一光源15a和第一光源15b可以有分别对应的虚光源15A和虚光源15B(参见图4),两个第二光源16a和第二光源16b可以有分别对应的虚光源16A和16B(参见图4),虚光源15A和虚光源15B可以等效为如图5所示的第一虚拟光源153,虚光源16A和16B可以等效为如图5所示的第二虚拟光源163,并且目标20可以位于第一透镜1711的光心与第一虚拟光源153连线的中点位置,同时目标20可以位于第二透镜1721的光心与第二虚拟光源163连线的中点位置。由此,有利于双目相机10的设计,及便捷地计算标定方法。以下依据图5所示的第一等效光路对标定方法进行说明。
需要说明的是,本公开对透镜和感光阵列的位置和部分参数的设定不应该理解为对本方法的限定,例如第一透镜1711和第二透镜1721的焦距也可以是不同的,第一透镜1711和第二透镜1721也可以不关于瞄准光轴M对称设置,感光阵列也可以具有不同的像素总宽度,在这些情况下,对下文所述的公式作适应性修改即可。
图6是示出了本实施方式示例所涉及的第一坐标系C1和第二坐标系C2的示意图。
在一些示例中,参见图6,以图5中C-C方向为视图方向,可以基于第一成像元件1712和第二成像元件1722分别建立第一坐标系C1和第二坐标系C2,第一成像元件1712的左上角可以是第一坐标系C1的原点O1,第一坐标系C1的横轴方向,也即X1轴方向可以是第二方向(也可称为“水平方向”),第一坐标系C1的纵轴方向,也即Y1轴方向可以是第一方向(也可称为“竖直方向”),参照图6,第一坐标系C1的说明可以同样地适用于第二坐标系C2,此处不再赘述。在这种情况下,能够将第一光斑数据在第一坐标系C1中分解为沿第二方向的第一分量和沿第一方向的第二分量,将第二光斑数据在第二坐标系C2中分解为沿第二方向的第三分量和沿第一方向的第四分量,由此,便于对第一光斑数据和第二光斑数据进行计算。
在一些示例中,第一坐标系C1和第二坐标系C2的横轴和纵轴的单位可以是像素点数量,换言之,位于第一坐标系C1和第二坐标系C2中的坐标可以用像素点偏移量表示。
在一些示例中,第一坐标系C1和第二坐标系C2的横轴方向可以重合。由此,有利于双目相机10的设计及使得标定方法更加简便。
在一些示例中,第一成像元件1712和第二成像元件1722可以具有相同的像素总宽度,换言之,在横轴和纵轴方向,第一成像元件1712和第二成像元件1722可以具有相同的像素总宽度,并且每个像素点在横轴和纵轴方向上的宽度可以是相同的,也即图6中所示的第一成像元件1712和第二成像元件1722可以具有相同的第三预设距离W。
另外,图6中P1和P2可以分别代表第一成像元件1712和第二成像元件1722的图像中心,也即第一成像元件1712和第二成像元件1722的感光元件的中心。
在一些示例中,第一光斑数据可以包括沿第二方向的第一分量和沿第一方向的第二分量,其中第一分量可以是第一光斑152在第一坐标系C1的X1轴方向的坐标值,换言之,第一分量可以是第一光斑152在在X1轴方向,也即第二方向相对第一坐标系C1的原点O1的像素点偏移量,第二分量可以是第一光斑152在第一坐标系C1的Y1轴方向,也即第一方向相对第一透镜1711的光轴T1的像素点偏移量。由此,能够通过明确定义第一光斑数据的格式含义,从而便于标定方法的计算。
在一些示例中,第二光斑数据可以包括沿第二方向的第三分量和沿第一方向的第四分量,其中第三分量可以是第二光斑162在第二坐标系C2中X2轴方向的坐标值,换言之,第三分量可以是第二光斑162在第二坐标系C2的X2轴方向,也即第二方向相对第二坐标系C2原点O2的像素点偏移量,第四分量可以是第二光斑162在Y2轴方向,也即第一方向相对第二透镜1721的光轴T2的像素点偏移量。由此,能够通过明确定义第二光斑数据的格式含义,从而便于标定方法的计算。
图7是示出了本实施方式示例所涉及的基于双目相机10测量目标20的距离的示意图。
在一些示例中,参见图7,目标20与双目相机10之间的距离可以用目标20至第一透镜1711和第二透镜1721位于的同一个平面的距离D表示。
参见图7,根据相似三角关系有式(1):
其中,d1可以是第一光斑152到第一透镜1711的光轴T1在第二方向上,也即第一坐标系C1中X1轴方向上的距离,d2可以是第二光斑162到第二透镜1721的光轴T2在第二方向上,也即第二坐标系C2中X2轴方向上的距离(参见图6),f可以是第一透镜1711和第二透镜1721的焦距,A可以是第一透镜1711和第二透镜1721之间的距离,由于目标20的位置相对瞄准光轴M移动,第一虚拟光源153和第二虚拟光源163在第二方向上,也即水平方向上整体移动的距离可以为h。
上述式(1)中两式相加消去h得到式(2):
由此,能够便捷地测出目标20相对双目相机10的距离D,也从而确定目标20相对双目相机10的空间位置,进而能够便捷地计算第一旋转角度α和第二旋转角度β。
需要说明的是,若第一透镜1711和第二透镜1721的焦距不同时,根据三角关系式可以表示为式(3):
参见图6,可以用x1和x2分别表示第一分量和第三分量,换言之,x1可以是第一光斑数据在第一坐标系C1中的X1轴坐标值,x2可以是第二光斑数据在第二坐标系C2中的X2轴坐标值;同时为了提高瞄准目标20的方法的计算精度,第一透镜1711的光轴T1和第一成像元件1712的图像中心P1在第一坐标系C1中沿X1轴方向,也即第二方向可以考虑有偏移量b1,可以用第三参数表示b1,第二透镜1721的光轴T2和第二成像元件1722的图像中心P2在第二坐标系C2中沿X2轴方向,也即第二方向可以考虑有预设的偏移量b2,可以用第四参数表示b2,其中当光轴T1位于图像中心P1右侧时,b1可以为正值,反之,b1可以为负值,同样的,当光轴T2位于图像中心P2右侧时,b2可以为正值,反之,b2可以为负值;第一成像元件1712和第二成像元件1722可以具有相同的预设设备参数,例如可以具有相同的像素总宽度,并以第三预设距离W表示,第一成像元件1712和第二成像元件1722的每个像素点的在水平方向上和竖直方向上的预设宽度以u表示,u的单位可以是毫米mm或者其他长度单位,由此可得式(4):
令b=b2-b1,式(2)可以转换为式(5):
令xi=x1-x2,式(5)可以等同转换为式(6),得到第一函数关系:
其中,Di可以为在目标20移动过程中,在第i个时刻目标20至双目相机10的距离、f可以为第一透镜1711和第二透镜1721的焦距、b可以为第二参数,A可以为第一透镜1711和第二透镜1721的距离,u可以为第一成像元件1712和第二成像元件1722的预设设备参数,也即u可以为第一成像元件1712和第二成像元件1722的每个像素点的在水平方向上和竖直方向上的预设宽度,xi可以为在目标20移动过程中,在第i个时刻第一分量和第三分量的差值。在这种情况下,能够通过获取在目标至双目相机的不同距离的位置状态下的第一分量和第三分量,能够基于Di和xi之间的对应关系,标定获得第一直线方程,由此,能够基于第一直线方程的斜率及第一函数关系标定得出第一透镜和第二透镜的距离。
图8是示出了本实施方式示例所涉及的标定第一透镜1711和第二透镜1721的距离A的流程示意图。
在一些示例中,可以基于式(6),也即第一函数关系,对第一透镜1711和第二透镜1721的距离A进行标定。
在一些示例中,参见图8,对第一透镜1711和第二透镜1721的距离A进行标定的方法可以包括:发射第一光束151,并利用第一光束151得到第一光斑数据,发射第二光束161,并利用第二光束161得到第二光斑数据(步骤S100)、令目标20移动以改变目标20与双目相机10的距离D(步骤S200)、获取第一分量、第三分量以及目标20与双目相机10的距离D(步骤S300)、标定第一透镜1711和第二透镜1721的距离A(步骤S400)。
在步骤S100中,双目相机10可以发射第一光束151和第二光束161,第一光束151可以被目标20接收并反射回双目相机10,通过双目相机10的第一透镜1711将目标20反射的第一光束151汇聚至双目相机10的第一成像元件1712并获得第一光斑数据,第二光束161可以被目标20接收并反射回双目相机10,通过双目相机10的第二透镜1721将目标20反射的第二光束161汇聚至双目相机10的第二成像元件1722并获得第二光斑数据,其中第一光斑数据可以包括沿第二方向的第一分量和沿第一方向的第二分量,第二光斑数据可以包括沿第二方向的第三分量和沿第一方向的第四分量。
在步骤S200中,可以令目标20移动以改变目标20与双目相机10的距离D。
在一些示例中,步骤S200中的距离D可以取预设的数据集合,可以令目标20移动至预设的距离D。由此,能够得到目标20位于不同的距离D的位置所对应的第一光斑数据和第二光斑数据。
在一些示例中,距离D可以是由激光跟踪仪30的检测***获得的。在这种情况下,随着目标20的移动,激光跟踪仪30的检测***能够实时地获取距离D,由此,能够更加精准的确定距离D及提高标定效率。
在一些示例中,可以通过人工移动目标20至预设距离D。由此,能够适用于短距离,例如少于20米的量程的精准标定。
在一些示例中,也可以通过自动移动装置移动目标20。由此,能够适用于长距离,例如20米-60米的量程的精准标定。
在一些示例中,可以令目标20在激光束所在的直线上移动以改变目标20与双目相机10的距离D,换言之,可以令目标20在双目相机10的瞄准光轴M上移动以获得目标20与双目相机10的距离D。在这种情况下,令目标20在激光束所在的直线上移动以改变目标20与双目相机10的距离D,也即令目标20在双目相机10的瞄准光轴M上移动,首先能够更容易地控制目标20的移动,其次目标20在双目相机10的瞄准光轴M上移动,能够减少目标20在第一方向和第二方向产生相对瞄准光轴M的偏移造成的影响,能够利用激光跟踪仪30的检测***更加精确地确定目标20与双目相机D的距离,从而能够简便地、精确地获得目标20与双目相机10的距离,由此,能够提高标定方法的准确性及精确度。
在步骤S300中,在目标20移动过程中,可以获取第一分量、第三分量以及目标20与双目相机10的距离D。在这种情况下,利用直线拟合方法,能够基于在第i个时刻目标20至双目相机10的距离Di与xi之间的对应关系,获得与第一函数关系对应的第一直线方程,由此,能够根据第一直线方程能够标定出第一函数关系中的变量和/>/>
在一些示例中,直线拟合方法可以包括最小二乘法、梯度下降法、高斯牛顿法中任意一种。
在步骤S400中,可以基于第一分量、第三分量、第一透镜1711和第二透镜1721的焦距f、以及第一成像元件1712和第二成像元件1722的预设设备参数u标定第一透镜1711和第二透镜1721的距离A。在这种情况下,能够基于步骤S300中标定出的的数值,标定出第一透镜1711和第二透镜1721的距离A。
在一些示例中,可以通过预设的软件实现直线拟合,获得第一直线方程。由此,能够提高标定方法的效率、便捷性及精准度。
在本实施方式中,可以通过双目相机10发射的第一光束151和第二光束161,分别获得对应的第一光斑数据和第二光斑数据,并且基于第一光斑数据的第一分量和第二光斑数据的第三分量,可以获得目标20与双目相机10的距离D的计算公式(5),并且可以基于式(5)得到式(6)。在这种情况下,能够通过将目标20置于与双目相机10的不同距离D的位置,得到对应的第一分量和第三分量,并利用直线拟合方法,能够得到第一直线方程,由于第一直线方程的斜率与第一透镜1711和第二透镜1721的距离A相关联,由此,能够基于第一直线方程,标定得出第一透镜1711和第二透镜1721的距离,从而能够提高双目相机瞄准目标的测量精度,能够直接调用第一透镜1711和第二透镜1721的距离A用于准确地、便捷地计算双目相机10在瞄准目标20过程中需要转动的旋转角度,也即第一旋转角度α和第二旋转角度β。
在一些示例中,标定方法可以包括对第二参数b进行标定,第二参数b可以配置为与第一分量和第三分量配合计算目标20至双目相机10的距离D。由此,在双目相机10瞄准目标20的过程中,双目相机10能够直接调用第二参数b并基于式(5)计算得出目标20至双目相机10的距离D。
在一些示例中,对所述第二参数b进行标定的方法可以包括:基于第一透镜1711和第二透镜1721的距离A、第一透镜1711和第二透镜1721的焦距f计算第二参数b。在这种情况下,基于第一透镜1711和第二透镜1721的距离A、第一透镜1711和第二透镜1721的焦距f、第一成像元件1712和第二成像元件1722的预设设备参数u,以及步骤S300标定的的数值,能够标定得出第二参数b。
图9是示出了本实施方式示例所涉及的标定第一参数K的光路示意图,图10是示出了本实施方式示例所涉及的标定第一参数K的流程示意图。
在一些示例中,标定方法还可以包括对第一参数K进行标定,第一参数K可以配置为在激光跟踪仪30跟踪目标20时,可以与第一分量和第三分量配合计算测量主机31,也即双目相机10以旋转中心11为中心点绕第一旋转轴13的第一旋转角度α。
在一些示例中,参见图9,第一透镜1711的光轴T1和第二透镜1721的光轴T2可以是平行的且可以对称分布在双目相机10的瞄准光轴M两侧,将目标20置于激光束所在的直线上,也即将目标20置于双目相机10的瞄准光轴M上,参见图9,可以有式(7):
d1=d2
结合图6,即有式(8):
由此可得式(9):
x1+x2=W+b1+b2
换言之,目标20置于激光束所在的直线上任意位置,也即目标20位于瞄准光轴M上的任意位置D时,第一光斑数据的第一分量和第二光斑数据的第三分量都可以满足的为式(10):
K=x1+x2=W+b1+b2
式(10)中的第三预设距离W、可以是预设的定值,第三参数b1和第四参数b2都可以通过对双目相机10进行标定获得,也可以认为在双目相机10瞄准目标20的过程中,第三参数b1和第四参数b2可以是保持不变的,换言之,可以令目标20位于瞄准光轴M上,可以基于第一光斑数据的第一分量和第二光斑数据的第三分量相加的和标定出第一参数K。在这种情况下,由于在使用双目相机10对目标20进行瞄准时,可以利用第一参数K计算出令双目相机10瞄准目标20时的第一旋转角度α,由此降低了由于双目相机10与瞄准光轴M之间的视差造成无法准确计算第一旋转角度α的影响,因此,在使用双目相机10瞄准目标20之前,对双目相机10进行标定以获得第一参数K,能够直接调用标定的第一参数K,从而准确地、便捷地计算双目相机10在瞄准目标20过程中需要转动的第一旋转角度α。
在一些示例中,根据上述式(10)的计算过程,参见图10,标定第一参数K的方法可以包括:将目标20置于激光束所在的直线上(步骤T100)、获取第一分量和第三分量(步骤T200)、基于第一分量和第三分量获得第一参数K(步骤T300)。
在步骤T100中,可以将目标20置于激光束所在的直线上,也即将目标20置于双目相机10的瞄准光轴M上。由此,能够基于式(10)标定出第一参数K。
在步骤T200中,获取目标20置于双目相机10的瞄准光轴M上时的第一分量和第三分量。
在步骤T300中,可以基于基于第一分量和第三分量获得第一参数K。
在一些示例中,可以将目标20置于双目相机10的瞄准光轴M上不同的位置,以此得到多个对应的第一分量和第三分量,并基于式(10)可以计算出对应的多个第一参数K,并可以取多个第一参数K的平均值作为第一参数K。由此,能够获取更高精度的第一参数K。
在一些示例中,标定方法还可以包括对第三参数b1和第四参数b2进行标定,对第三参数b1和第四参数b2进行标定的方法可以包括:基于第一参数K和第二参数b获取第三参数b1和第四参数b2,其中第三参数b1可以配置为第一成像元件1712的图像中心P1与第一透镜1711的光轴T1在第二方向上的偏移量,第四参数b2可以配置为第二成像元件1722的图像中心P2与第二透镜1721的光轴T2在第二方向上的偏移量。
在本实施方式中,在第三参数b1和第四参数b2的标定过程中,可以有式(11):
在这种情况下,能够基于前述标定的第二参数b和第一参数K标定出第三参数b1和第四参数b2,能够评估第一透镜1711的光轴T1和第一成像元件1712的图像中心P1之间的位置偏差以及第二透镜1721的光轴T2和第二成像元件1722的图像中心P2之间的位置偏差,由此在双目相机10瞄准目标20过程中及对双目相机10进行标定时考虑了第三参数b1和第四参数b2,从而能够提高双目相机10瞄准目标20的精度及对双目相机10进行标定的精度,同时也能够指导激光跟踪仪30的生产过程。
图11是示出了本实施方式示例所涉及的第一旋转角度α的示意图。
在一些示例中,参见图11,基于第一分量、第三分量、目标20与双目相机10之间的距离D、第二预设距离L、第一透镜1711和第二透镜1721的焦距f以及第一参数K可以计算得出第一旋转角度α。由此,能够便捷地计算第一旋转角度α。如图11所示,当目标20偏离双目相机10的瞄准光轴M时,目标20相对于双目相机10的旋转中心11在第二方向上,也即第一坐标系C1和第二坐标系C2的横轴方向上可以有第一旋转角度α,即式(12)
联系式(1)可以得出式(13):
结合式(12)和式(13),可以得出测量主机31也即双目相机10以旋转中心11为中心点绕第一旋转轴13的第一旋转角度α,即式(14):
其中u可以为所述第一成像元件1712和第二成像元件1722的预设设备参数u、L可以为双目相机10的旋转中心11至双目相机10的第二预设距离、D可以为目标20至双目相机10的距离、f可以为第一透镜1711和第二透镜1721的焦距、K可以为第一参数,x1和x2可以分别表示第一分量和第三分量。由此,能够基于第一旋转角度α的公式计算出双目相机10在瞄准目标20的过程中需要以旋转中心11为中心点沿第一旋转轴13旋转的角度。
图12是示出了本实施方式示例所涉及的第二旋转角度β的示意图。
为了便于说明计算过程,以图5中所示的B-B视图方向做投影,可以得到本公开提出的如图12所示的第二等效光路,换言之,可以将第一采集单元171的光路投影在第一方向,也即竖直方向上,从而可以得到图12所示的第二等效光路。第二等效光路可以包括第一透镜1711以及第一成像元件1712,第一透镜1711的光轴T1可以是双目相机10的瞄准光轴M在第一方向上的投影,第一透镜1711的光轴T1与瞄准光轴M在第一方向上的投影可以重叠,图12中以瞄准光轴M表示第一透镜1711的光轴T1,d可以为第一光斑152在第一方向上,也即竖直方向上相对瞄准光轴M的偏移距离,h1可以是目标20在第一方向上,也即竖直方向上相对瞄准光轴M的偏移距离,旋转中心11到第一透镜1711的间距可以为第二预设距离L。
需要说明的是,本公开的第二等效光路也可以以图5中所示的B-B视图方向的相反方向做投影得到以第二采集单元172为组成部分的第二等效光路。
在一些示例中,当目标20偏离双目相机10的瞄准光轴M时,目标20相对于双目相机10的旋转中心11在第一方向上,也即第一坐标系C1和第二坐标系C2的纵轴方向上可以有第二旋转角度β。由此,能够得出双目相机10在瞄准目标20的过程中,需要以旋转中心11为中心点,沿第一方向,绕第二旋转轴12旋转的第二旋转角度β。
参见图12,根据三角函数,可以得出第二旋转角度β,即式(15):
根据相似三角形公式,可得出式(16):
参见图6,可以用y1和y2分别表示第一光斑数据在第一坐标系C1中的第二分量和第二光斑数据在第二坐标系C2中的第四分量。在一些示例中,第一透镜1711的光轴T1和第二透镜1721的光轴T2在第一方向上的投影可以与瞄准光轴M重叠,也即第一透镜1711的光轴T1和第二透镜1721的光轴T2在第一方向上与瞄准光轴M可以不存在视差。由此可以有以下方式计算得出第二旋转角度β。
在一些示例中,在以图5中所示的B-B视图方向做投影得到的如图12所示的第二等效光路中,可以基于第一光斑数据的第二分量计算第二旋转角度β。在这种情况下,能够得的式(17):d=uy1,由此能够结合式(17)和式(16)计算得出式(18):
即第二旋转角度β:
在一些示例中,在以图5中所示的B-B相反方向的视图方向做投影得到第二等效光路中,可以基于第二光斑数据的第四分量计算第二旋转角度β。在这种情况下,能够得的式(19):d=uy2,由此能够结合式(19)和式(16)计算得出式(20):
即第二旋转角度β:
在一些示例中,可以基于第一光斑数据的第二分量和第二光斑数据的第四分量的平均值计算第二旋转角度β,可以得式(21):
在这种情况下,由于第一透镜1711的光轴T1和第二透镜1721的光轴T2在第一方向上与瞄准光轴M不存在视差,目标20位于第一透镜1711和第二透镜1721的视场内的任意位置,基于第一光斑数据的第二分量计算得到的第二旋转角度β和基于第二光斑数据的第四分量计算得到的第二旋转角度β能够是基本一致的,由此距离d能够简化为第二分量和第四分量的平均值,从而能够提高标定方法的计算精确度。
由此可以得出式(22)
其中,L可以为旋转中心11至双目相机10的第二预设距离、D可以为目标20至双目相机10的第一预设距离、f可以为第一透镜1711和第二透镜1721的焦距,u可以为第一成像元件1712和第二成像元件1722的预设设备参数,y1和y2可以为第二分量和第四分量。
图13是示出了本实施方式示例所涉及的标定第一透镜1711和第二透镜1721的焦距f的流程示意图,图14是示出了本实施方式示例所涉及的标定第一透镜1711和第二透镜1721的焦距f的示意图。
在一些示例中,可以基于上述式(18)、式(20)以及式(22)中任意一个公式对第一透镜1711和第二透镜1721的焦距f进行标定。
在一些示例中,参见图13,对第一透镜1711和第二透镜1721的焦距f进行标定的方法可以包括:令目标20在与双目相机10具有第一预设距离D的预设平面E内沿不同于第二方向的方式移动(步骤Y100)、令目标20与旋转中心11形成预设位置关系(步骤Y200)、获取第二分量、第四分量以及目标20与旋转中心11的预设位置关系(步骤Y300)、标定第一透镜1711和第二透镜1721的焦距f(步骤Y400)。在这种情况下,通过对第一透镜1711和第二透镜1721的焦距f进行标定,能够降低第一透镜1711与第一成像元件1712之间的装配误差以及第二透镜1721与第二成像元件1722之间的装配误差,由此,能够根据标定的第一透镜1711和第二透镜1721的焦距f准确地、便捷地计算双目相机10在瞄准目标20过程中需要转动的旋转角度,也即第一旋转角度α和第二旋转角度β。
在步骤Y100中,可以令目标20在与双目相机10具有第一预设距离D的预设平面E内沿不同于第二方向的方式相对双目相机移动,其中预设平面E可以与瞄准光轴M垂直,且与第一透镜1711和第二透镜1721所在的平面相距第一预设距离D(参见图13)。在这种情况下,在对第一透镜1711和第二透镜1721的焦距f进行标定时,第一预设距离D能够是定值,并且目标20在预设平面E内相对双目相机的移动方向没有与第二方向重叠,换言之,目标20在预设平面E内相对双目相机移动时,能够得到对应不同的第二旋转角度β状态下的第二分量和第四分量,若目标20是沿着第二方向与双目相机10发生相对移动的,则无法得到对应不同的第二旋转角度β状态下的第二分量和第四分量,也即无法标定出第一透镜1711和第二透镜1721的焦距f。
在一些示例中,可以令目标20位于双目相机10的瞄准光轴M时,也即将目标20置于激光束所在的直线上为初始位置。由此,激光跟踪仪30的检测***能够直接测算出目标20至双目相机10的距离D,从而不需要提前准备预设平面E,能够使检定方法更加灵活,并且以初始位置为开始检定的位置,能够便于获得并记录对应不同的第二旋转角度β状态下的第二分量和第四分量。
在一些示例中,可以令目标20位于双目相机10的瞄准光轴M上并保持不动,令双目相机10在竖直方向上转动,以获得不同的多个第二旋转角度β状态下的多个第二分量和第四分量。由此,激光跟踪仪30的检测***能够直接测算出目标20至双目相机10的距离D,从而不需要提前准备预设平面E,能够使检定方法更加灵活,并且这种使目标20与双目相机10发生相对移动的方式更加容易控制并能够获得更精准的多个第二旋转角度β及对应的多个第二分量和第四分量。
在一些示例中,可以令目标20位于双目相机10的瞄准光轴M上,并保持双目相机10保持不动,令目标20在预设平面E内沿不同于第二方向的方式移动,以获得多个第二旋转角度β及对应的多个第二分量和第四分量。
在步骤Y200中,令目标20与旋转中心11形成预设位置关系。
在一些示例中,参见图14,步骤Y200中的预设位置关系可以为目标20在预设平面E内沿与激光束所在直线垂直且相交的第一方向(预设平面E中的Y轴方向)相对双目相机10移动的过程中,目标20与旋转中心11的连线与激光束所在的直线,也即瞄准光轴M之间的第二旋转角度β可以小于预设角度,换言之,目标20在预设平面E内沿与瞄准光轴M垂直且相交的第一方向相对双目相机10移动的过程中,目标20与旋转中心11的连线与瞄准光轴M之间的第二旋转角度β可以小于预设角度,换言之,目标20可以在第二等效光路中,在第一预设距离D为定值的情况下,在第一方向相对瞄准光轴M移动h1距离,并且目标20与旋转中心11的连线与激光束所在的直线,也即瞄准光轴M之间的第二旋转角度β可以小于预设角度,预设角度的单位可以是弧度rad,需要说明的是,在本说明书中,不限定预设角度的方向。在这种情况下,目标20通过在预设平面E内沿与激光束所在直线垂直且相交的第一方向相对双目相机10移动,能够更容易控制目标20相对双目相机10的移动,能够减少目标20在相对双目相机10移动过程中相对瞄准光轴M的偏移造成的影响,从而能够利用激光跟踪仪30的检测***更加精确地确定目标20与双目相机10的第一预设距离D以及精确地获取第二旋转角度β,另外当第二旋转角度β小于预设角度时,反正切函数atan能够具有近似直线的特性,能够通过反正切函数atan的特性(参见稍后描述的式(23)),得到多个第二旋转角度β及对应的多个第二分量和第四分量之间的关系,并利用直线拟合方法标定获得第二直线方程,也即第二旋转角度β与第二分量和第四分量之间的关系,由此能够结合第二旋转角度β的计算公式和标定出的第二直线方程的斜率,标定出第一透镜1711和第二透镜1721的焦距f。
在一些示例中,根据反正切函数atan的特性,当第二旋转角度β小于预设角度时,可以得出以式(23),也即第二函数关系:
其中,βi可以为目标20在预设平面E内沿与激光束所在直线垂直且相交的第一方向相对双目相机10移动的过程中,在第i个时刻获取的第二旋转角度βi,L可以为旋转中心11至双目相机10的第二预设距离、D可以为目标20至双目相机10的第一预设距离,也即双目相机10与预设平面E的间距、f可以为第一透镜1711和第二透镜1721的待标定的焦距,u为第一成像元件1712和第二成像元件1722的预设设备参数,yi可以为目标20在预设平面E内沿不同于第二方向的方式相对双目相机10移动的过程中,在第i个时刻获取的第二分量和第四分量的平均值。由此,当第二旋转角度β小于预设角度时,能够通过反正切函数atan的特性(参见式(23)),得到多个第二旋转角度及对应的多个第二分量和第四分量之间的关系,并利用直线拟合方法标定获得第二直线方程,进而能够利用第二直线方程的斜率,标定出的数值,从而能够基于预设的参数L、D、u,标定出第一透镜1711和第二透镜1721的焦距f,同时通过利用第二分量和第四分量的平均值进行标定第二直线方程,能够提高标定方法的计算精确度。
在一些示例中,式(23)中的yi可以为目标20在预设平面E内沿不同于第二方向的方式相对双目相机10移动的过程中,在第i个时刻获取的第二分量或者第四分量。在这种情况下,能够基于第二分量或者第四分量标定出分别标定出第一透镜1711和第二透镜1721的焦距。
需要说明的是,在本说明书所描述的预设位置关系中,并不限定目标20相对双目相机10移动的具体轨迹,目标20也可以在预设平面E内沿不同于第二方向的其他任何方向相对双目相机10移动。
在步骤Y300中,可以获取目标20在预设平面E内沿不同于第二方向的方式相对双目相机10移动的过程中的第二分量、第四分量以及目标20与旋转中心11的预设位置关系。在这种情况下,能够利用直线拟合方法,例如最小二乘法、梯度下降法、高斯牛顿法中任意一种,基于目标20与旋转中心11的预设位置关系中的第二旋转角度β及其对应的第二分量和第四分量拟合出第二直线方程。
在步骤Y400中,基于上述预设位置关系、旋转中心11至双目相机10的第二预设距离L、第二分量和第四分量、第一成像元件1712和第二成像元件1722的预设设备参数u可以标定第一透镜1711和第二透镜1721的焦距f。在这种情况下,基于步骤Y200中得到的第二直线方程的斜率,能够标定出的数值,由此,能够基于第一预设距离D、第二预设距离L、第一成像元件1712和第二成像元件1722的预设设备参数u,标定出第一透镜1711和第二透镜1721的焦距f。
在一些示例中,第一透镜1711和第二透镜1721的焦距可以不同。在这种情况下,当对第一透镜1711的焦距进行标定时,能够基于上述所描述的步骤,利用直线拟合方法,得到第二旋转角度β及其对应的第二分量之间的直线方程关系式。由此,能够结合式(18),标定得到第一透镜1711的焦距。同样地,能够利用直线拟合方法,得到第二旋转角度β及其对应的第四分量之间的直线方程关系式,并结合式(20),标定得到第二透镜1721的焦距。
需要说明的是,在本说明书中,不限定预设角度、第一旋转角度α、第二旋转角度β的方向,也即双目相机10可以绕第一旋转轴13与第二旋转轴12双向转动。
以上在具体实施方式中描述了本发明的各种实施例。尽管这些描述直接描述了上述实施例,但是应该理解的是,本领域技术人员可以想到对这里示出和描述的特定实施例的修改和/或变形。落入本发明书范围内的任何这样的修改或变形也意图包括在其中。除非特别指出,否则发明人的意图是说明书和权利要求书中的词语和短语被赋予普通技术人员的普通和习惯的含义。
已经呈现了本申请人在提交本申请时已知的本发明的各种实施例的以上描述,并且旨在用于说明和描述的目的。本说明书并非旨在穷尽本发明,也不将本发明限制于所公开的确切形式,并且根据上述教导可以进行许多修改和变形。所描述的实施例用于解释本发明的原理及其实际应用,并且使得本领域的其他技术人员能够以各种实施例以及适合于预期的特定用途的各种修改来利用本发明。因此,旨在本发明不限于公开的用于实现本发明所披露的特定实施例。
虽然已经示出和描述了本发明的特定实施例,但是对于本领域技术人员而言显而易见的是,基于本发明的教导,可以做出变形和修改而不偏离本发明及其更广泛的方面,因此所附权利要求将在其范围内涵盖在本发明的真实精神和范围内的所有这些改变和修改。本领域技术人员将理解,一般而言,本发明中使用的术语一般意图为“开放”术语(例如术语“包括”应被解释为“包括但不限于”,术语“具有”应被解释为“至少具有”,术语“包括”应被解释为“包括但不限于”等)。
Claims (10)
1.一种用于激光跟踪仪的双目相机的标定方法,所述激光跟踪仪包括能够绕第一旋转轴和第二旋转轴旋转并能够发射出激光束的测量主机和设置于所述测量主机的双目相机,令所述第一旋转轴和所述第二旋转轴的交点为所述双目相机的旋转中心,令所述第一旋转轴延伸的方向为第一方向,令所述第二旋转轴延伸的方向为第二方向,其特征在于,
所述标定方法包括:
所述双目相机发射第一光束,所述第一光束被目标接收并反射回所述双目相机,通过所述双目相机的第一透镜将所述目标反射的所述第一光束汇聚至所述双目相机的第一成像元件并获得第一光斑数据,所述第一光斑数据包括沿所述第二方向的第一分量和沿所述第一方向的第二分量,
所述双目相机发射第二光束,所述第二光束被所述目标接收并反射回所述双目相机,通过所述双目相机的第二透镜将所述目标反射的所述第二光束汇聚至所述双目相机的第二成像元件并获得第二光斑数据,所述第二光斑数据包括沿所述第二方向的第三分量和沿所述第一方向的第四分量,所述第一透镜的光心与所述第二透镜的光心的连线平行于所述第二旋转轴;
令所述目标移动以改变所述目标与所述双目相机的距离;
在所述目标移动过程中,获取所述第一分量、所述第三分量以及所述目标与所述双目相机的距离;
基于所述第一分量、所述第三分量、所述第一透镜和所述第二透镜的焦距、以及所述第一成像元件和所述第二成像元件的预设设备参数标定所述第一透镜和所述第二透镜的距离。
2.根据权利要求1所述的标定方法,其特征在于,
令所述目标在所述激光束所在的直线上移动以改变所述目标与所述双目相机的距离。
3.根据权利要求2所述的标定方法,其特征在于,
包括对第一参数进行标定,所述第一参数配置为在所述激光跟踪仪跟踪所述目标时,与所述第一分量和所述第三分量配合计算所述测量主机以所述旋转中心为中心点绕所述第一旋转轴的第一旋转角度,
对所述第一参数进行标定的方法包括:
将所述目标置于所述激光束所在的直线上;
获取所述第一分量和所述第三分量;
基于所述第一分量和所述第三分量获得所述第一参数。
5.根据权利要求1所述的标定方法,其特征在于,
包括对所述第一透镜和所述第二透镜的焦距进行标定,对所述第一透镜和所述第二透镜的焦距进行标定的方法包括:
令所述目标在与所述双目相机具有第一预设距离的预设平面内,并使所述目标沿不同于所述第二方向的方式相对所述双目相机移动;
令所述目标与所述旋转中心形成预设位置关系;
获取所述目标在所述预设平面内沿不同于所述第二方向的方式相对所述双目相机移动的过程中的所述第二分量、所述第四分量以及所述目标与所述旋转中心的预设位置关系;
基于所述预设位置关系、所述旋转中心至所述双目相机的第二预设距离、所述第二分量和所述第四分量、所述第一成像元件和所述第二成像元件的预设设备参数标定所述第一透镜和所述第二透镜的焦距。
6.根据权利要求5所述的标定方法,其特征在于,
所述预设位置关系为所述目标在所述预设平面内沿与所述激光束所在直线垂直且相交的所述第一方向相对所述双目相机移动的过程中,所述目标与所述旋转中心的连线与所述激光束所在的直线之间的第二旋转角度小于预设角度。
8.根据权利要求1所述的标定方法,其特征在于,
包括对第二参数进行标定,所述第二参数配置为与所述第一分量和所述第三分量配合计算所述目标至所述双目相机的距离,
对所述第二参数进行标定的方法包括:
基于所述第一透镜和所述第二透镜的距离、所述第一透镜和所述第二透镜的焦距计算所述第二参数。
9.根据权利要求8所述的标定方法,其特征在于,
包括对第三参数和第四参数进行标定,所述第三参数配置为所述第一成像元件的图像中心与所述第一透镜的光轴在所述第二方向上的偏移量,所述第四参数配置为所述第二成像元件的图像中心与所述第二透镜的光轴在所述第二方向上的偏移量,
对所述第三参数和第四参数进行标定的方法包括:
基于所述第二参数获取所述第三参数和所述第四参数。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310154505.2A CN116342710B (zh) | 2023-02-10 | 2023-02-10 | 用于激光跟踪仪的双目相机的标定方法 |
CN202410322435.1A CN118115598A (zh) | 2023-02-10 | 2023-02-10 | 标定双目相机的方法及具有双目相机的激光跟踪仪 |
CN202410322432.8A CN118172424A (zh) | 2023-02-10 | 2023-02-10 | 激光跟踪仪的标定方法及激光跟踪仪 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310154505.2A CN116342710B (zh) | 2023-02-10 | 2023-02-10 | 用于激光跟踪仪的双目相机的标定方法 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410322432.8A Division CN118172424A (zh) | 2023-02-10 | 2023-02-10 | 激光跟踪仪的标定方法及激光跟踪仪 |
CN202410322435.1A Division CN118115598A (zh) | 2023-02-10 | 2023-02-10 | 标定双目相机的方法及具有双目相机的激光跟踪仪 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116342710A true CN116342710A (zh) | 2023-06-27 |
CN116342710B CN116342710B (zh) | 2024-01-30 |
Family
ID=86876649
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410322435.1A Pending CN118115598A (zh) | 2023-02-10 | 2023-02-10 | 标定双目相机的方法及具有双目相机的激光跟踪仪 |
CN202410322432.8A Pending CN118172424A (zh) | 2023-02-10 | 2023-02-10 | 激光跟踪仪的标定方法及激光跟踪仪 |
CN202310154505.2A Active CN116342710B (zh) | 2023-02-10 | 2023-02-10 | 用于激光跟踪仪的双目相机的标定方法 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410322435.1A Pending CN118115598A (zh) | 2023-02-10 | 2023-02-10 | 标定双目相机的方法及具有双目相机的激光跟踪仪 |
CN202410322432.8A Pending CN118172424A (zh) | 2023-02-10 | 2023-02-10 | 激光跟踪仪的标定方法及激光跟踪仪 |
Country Status (1)
Country | Link |
---|---|
CN (3) | CN118115598A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117218211A (zh) * | 2023-11-09 | 2023-12-12 | 广东兆恒智能科技有限公司 | 相机标定装置及标定方法 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106679940A (zh) * | 2016-12-06 | 2017-05-17 | 西南技术物理研究所 | 一种高精度激光发散角参数标定装置 |
CN108648232A (zh) * | 2018-05-04 | 2018-10-12 | 北京航空航天大学 | 一种基于精密二轴转台的双目立体视觉传感器一体式标定方法 |
CN108828606A (zh) * | 2018-03-22 | 2018-11-16 | 中国科学院西安光学精密机械研究所 | 一种基于激光雷达和双目可见光相机联合测量方法 |
WO2021128587A1 (zh) * | 2019-12-28 | 2021-07-01 | 深圳奥比中光科技有限公司 | 一种可调的深度测量装置及测量方法 |
CN114359365A (zh) * | 2022-01-11 | 2022-04-15 | 合肥工业大学 | 一种具有高分辨率的汇聚式双目视觉测量方法 |
WO2022083513A1 (zh) * | 2020-10-22 | 2022-04-28 | 北京一径科技有限公司 | 激光雷达角度的标定方法和*** |
CN114509005A (zh) * | 2022-02-25 | 2022-05-17 | 深圳市中图仪器股份有限公司 | 具有自动识别目标功能的坐标测量装置及其识别方法 |
CN114608806A (zh) * | 2022-02-15 | 2022-06-10 | 德特克(上海)数字技术有限责任公司 | 一种基于双目相机的激光振镜扫描***的标定方法 |
CN114636373A (zh) * | 2022-05-23 | 2022-06-17 | 中国人民解放军国防科技大学 | 一种基于双目相机的激光振镜标定方法 |
CN114998499A (zh) * | 2022-06-08 | 2022-09-02 | 深圳大学 | 一种基于线激光振镜扫描的双目三维重建方法及*** |
CN115598654A (zh) * | 2022-12-12 | 2023-01-13 | 深圳市中图仪器股份有限公司(Cn) | 基于反向跟踪的测量方法和测量*** |
CN115655116A (zh) * | 2022-12-12 | 2023-01-31 | 深圳市中图仪器股份有限公司 | 基于反向跟踪的六维激光跟踪测量*** |
-
2023
- 2023-02-10 CN CN202410322435.1A patent/CN118115598A/zh active Pending
- 2023-02-10 CN CN202410322432.8A patent/CN118172424A/zh active Pending
- 2023-02-10 CN CN202310154505.2A patent/CN116342710B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106679940A (zh) * | 2016-12-06 | 2017-05-17 | 西南技术物理研究所 | 一种高精度激光发散角参数标定装置 |
CN108828606A (zh) * | 2018-03-22 | 2018-11-16 | 中国科学院西安光学精密机械研究所 | 一种基于激光雷达和双目可见光相机联合测量方法 |
CN108648232A (zh) * | 2018-05-04 | 2018-10-12 | 北京航空航天大学 | 一种基于精密二轴转台的双目立体视觉传感器一体式标定方法 |
WO2021128587A1 (zh) * | 2019-12-28 | 2021-07-01 | 深圳奥比中光科技有限公司 | 一种可调的深度测量装置及测量方法 |
WO2022083513A1 (zh) * | 2020-10-22 | 2022-04-28 | 北京一径科技有限公司 | 激光雷达角度的标定方法和*** |
CN114359365A (zh) * | 2022-01-11 | 2022-04-15 | 合肥工业大学 | 一种具有高分辨率的汇聚式双目视觉测量方法 |
CN114608806A (zh) * | 2022-02-15 | 2022-06-10 | 德特克(上海)数字技术有限责任公司 | 一种基于双目相机的激光振镜扫描***的标定方法 |
CN114509005A (zh) * | 2022-02-25 | 2022-05-17 | 深圳市中图仪器股份有限公司 | 具有自动识别目标功能的坐标测量装置及其识别方法 |
CN114636373A (zh) * | 2022-05-23 | 2022-06-17 | 中国人民解放军国防科技大学 | 一种基于双目相机的激光振镜标定方法 |
CN114998499A (zh) * | 2022-06-08 | 2022-09-02 | 深圳大学 | 一种基于线激光振镜扫描的双目三维重建方法及*** |
CN115598654A (zh) * | 2022-12-12 | 2023-01-13 | 深圳市中图仪器股份有限公司(Cn) | 基于反向跟踪的测量方法和测量*** |
CN115655116A (zh) * | 2022-12-12 | 2023-01-31 | 深圳市中图仪器股份有限公司 | 基于反向跟踪的六维激光跟踪测量*** |
Non-Patent Citations (2)
Title |
---|
REN, JIE 等: "High Precision Calibration Algorithm for Binocular Stereo Vision Camera using Deep Reinforcement Learning", 《COMPUTATIONAL INTELLIGENCE AND NEUROSCIENCE》, pages 1 - 10 * |
王迪;杨龙;张志毅;: "基于单双目结合的线结构光扫描技术", 计算机工程与设计, no. 03, pages 157 - 163 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117218211A (zh) * | 2023-11-09 | 2023-12-12 | 广东兆恒智能科技有限公司 | 相机标定装置及标定方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116342710B (zh) | 2024-01-30 |
CN118115598A (zh) | 2024-05-31 |
CN118172424A (zh) | 2024-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2183544B1 (en) | Non-contact measurement apparatus and method | |
KR102236297B1 (ko) | 치과용 카메라를 교정하기 위한 교정 장치 및 방법 | |
US9858684B2 (en) | Image processing method and apparatus for calibrating depth of depth sensor | |
US20130329012A1 (en) | 3-d imaging and processing system including at least one 3-d or depth sensor which is continually calibrated during use | |
EP2372390B1 (en) | Telescope Based Calibration of a Three Dimensional Optical Scanner | |
US7797120B2 (en) | Telescope based calibration of a three dimensional optical scanner | |
JP2016516196A (ja) | 6自由度において追跡される構造化光スキャナの補正 | |
CN116342710B (zh) | 用于激光跟踪仪的双目相机的标定方法 | |
US11259000B2 (en) | Spatiotemporal calibration of RGB-D and displacement sensors | |
US11692812B2 (en) | System and method for measuring three-dimensional coordinates | |
US20220048199A1 (en) | Referencing pose manipulation system for marker based tracking of position measurement system | |
JP2017528714A (ja) | 3次元座標の光学測定のための方法および3次元測定デバイスの制御 | |
US20220364849A1 (en) | Multi-sensor depth mapping | |
CN116718108A (zh) | 双目相机 | |
KR100698535B1 (ko) | 경사 보정기능을 갖는 이동로봇의 위치 인식 장치 및 방법 | |
WO2005073669A1 (en) | Semi and fully-automatic camera calibration tools using laser-based measurement devices | |
CN110785624B (zh) | 多个取向的成像传感器的对准*** | |
Jia et al. | Depth Information Extraction of Seam Structure based on Visual Method | |
Sherman et al. | Stereo optical tracker for standoff monitoring of position and orientation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |