CN112146620B - 目标物体的测距方法及装置 - Google Patents

目标物体的测距方法及装置 Download PDF

Info

Publication number
CN112146620B
CN112146620B CN202011333374.7A CN202011333374A CN112146620B CN 112146620 B CN112146620 B CN 112146620B CN 202011333374 A CN202011333374 A CN 202011333374A CN 112146620 B CN112146620 B CN 112146620B
Authority
CN
China
Prior art keywords
target
frame
vanishing point
determining
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011333374.7A
Other languages
English (en)
Other versions
CN112146620A (zh
Inventor
李庆峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202011333374.7A priority Critical patent/CN112146620B/zh
Publication of CN112146620A publication Critical patent/CN112146620A/zh
Application granted granted Critical
Publication of CN112146620B publication Critical patent/CN112146620B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument

Landscapes

  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种目标物体的测距方法及装置。其中，该方法包括：根据目标传感器输出的第k帧角速度和第k+1帧角速度，确定目标相机在第k帧和第k+1帧之间的角度变化值；根据角度变化值和目标相机的焦距，确定目标灭点的位置在第k帧和第k+1帧之间的位置变化值；在目标灭点在第k+1帧之前的位置确定结果满足第一预设条件的情况下，根据位置变化值，确定目标灭点在目标相机拍摄到的第k+1帧图像中的第k+1位置；根据目标灭点的第k+1位置，确定第k+1帧图像中的目标物体与目标相机之间的距离。本发明解决了自动驾驶中的测距结果准确率较低的技术问题。

Description

目标物体的测距方法及装置
技术领域
本发明涉及计算机领域，具体而言，涉及一种目标物体的测距方法及装置。
背景技术
在自动驾驶环境感知中，动态障碍物的感知是自动驾驶的重要能力。激光雷达虽然有动态障碍物的感知能力，但是由于它体积大、价格昂贵，难以普遍应用到自动驾驶领域。
目前业界尝试使用单目相机实现测距，但是大部分的单目测距工作还是需要与其他昂贵的传感器如：激光雷达、毫米波雷达等融合使用。少部分的纯视觉研究方案中假设性太强，缺少动态估计的能力。例如，现有的技术方案的假设平行平面水平线的光线投影到像平面的投影坐标是固定的，这个投影坐标可以称为灭点。但是在实际的道路行驶过程中出现颠簸或是上下坡的时候，灭点将会发生变化。还有一些算法尝试使用平行车道线来计算灭点，但是当检测不到平行车道线或是车道线不平行的时候，灭点会计算失败。因此，目前的这些测距方法都会影响测距的精度甚至造成很离谱的测距数值，导致自动驾驶无法正确输出测距的感知结果，这会给自动驾驶的安全带来很大的隐患。
针对相关技术中，自动驾驶中的测距结果准确率较低的问题，目前尚未存在有效的解决方案。
发明内容
本发明实施例提供了一种目标物体的测距方法及装置，以至少解决自动驾驶中的测距结果准确率较低的技术问题。
根据本发明实施例的一个方面，提供了一种目标物体的测距方法，包括：根据目标传感器输出的第k帧角速度和第k+1帧角速度，确定目标相机在第k帧和第k+1帧之间的角度变化值，其中，所述目标相机和所述目标传感器设置在目标车辆上，k为自然数；根据所述角度变化值和所述目标相机的焦距，确定目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值；在所述目标灭点在所述第k+1帧之前的位置确定结果满足第一预设条件的情况下，根据所述位置变化值，确定所述目标灭点在所述目标相机拍摄到的第k+1帧图像中的第k+1位置；根据所述目标灭点的所述第k+1位置，确定所述第k+1帧图像中的目标物体与所述目标相机之间的距离。
根据本发明实施例的另一方面，还提供了一种目标物体的测距装置，包括：第一确定模块，用于根据目标传感器输出的第k帧角速度和第k+1帧角速度，确定目标相机在第k帧和第k+1帧之间的角度变化值，其中，所述目标相机和所述目标传感器设置在目标车辆上，k为自然数；第二确定模块，用于根据所述角度变化值和所述目标相机的焦距，确定目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值；第三确定模块，用于在所述目标灭点在所述第k+1帧之前的位置确定结果满足第一预设条件的情况下，根据所述位置变化值，确定所述目标灭点在所述目标相机拍摄到的第k+1帧图像中的第k+1位置；第四确定模块，用于根据所述目标灭点的所述第k+1位置，确定所述第k+1帧图像中的目标物体与所述目标相机之间的距离。
根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述目标物体的测距方法。
根据本发明实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过所述计算机程序执行上述的目标物体的测距方法。
在本发明实施例中，通过根据目标传感器输出的第k帧角速度和第k+1帧角速度，确定目标相机在第k帧和第k+1帧之间的角度变化值，目标相机和目标传感器设置在目标车辆上，k为自然数；根据角度变化值和目标相机的焦距，确定目标灭点的位置在第k帧和所述第k+1帧之间的位置变化值；在目标灭点在第k+1帧之前的位置确定结果满足第一预设条件的情况下，根据位置变化值，确定目标灭点在目标相机拍摄到的第k+1帧图像中的第k+1位置；根据目标灭点的所述第k+1位置，确定第k+1帧图像中的目标物体与目标相机之间的距离。达到了根据灭点在图像中的位置进行测距的目的，从而实现了提高测距结果准确率的技术效果，进而解决了自动驾驶中的测距结果准确率较低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的标物体的测距方法的应用环境的示意图；
图2是根据本发明实施例的目标物体的测距方法的流程图；
图3是根据本发明可选实施例的示意图一；
图4是根据本发明可选实施例的相机变化对灭点影响示意图；
图5是根据本发明可选实施例的图像中灭点示意图；
图6是根据本发明可选实施例的示意图二；
图7是根据本发明可选实施例的目标物体横向位置估计俯视图；
图8是根据本发明实施例的一种可选的目标物体的测距装置的结构示意图；
图9是根据本发明实施例的一种可选的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面对本申请涉及到的名词进行解释说明：
动态障碍物测距：测量出动态物体（车辆，行人等）距离当前车辆的实际距离，该距离包括纵向x和横向y两个方向的坐标位置信息。
灭点：在线性透视中，两条或多条代表平行线线条向远处地平线延伸至聚合的点称为灭点。
根据本发明实施例的一个方面，提供了一种目标物体的测距方法，可选地，作为一种可选的实施方式，上述目标物体的测距方法可以但不限于应用于如图1所示的场景中，该场景中包括：第一车辆102和第二车辆104。
其中，上述第一车辆102是行驶在上述第二车辆104之前的车辆，第二车辆104上可以安装有目标相机和目标传感器。第二车辆104上安装的目标相机用于对行驶在前方的车辆进行拍照，行驶在第二车辆104前方的车辆包括但不限于上述第一车辆102。上述目标传感器用于对车辆的角速度进行检测，目标传感器包括但不限于是惯性测量单元（Inertialmeasurement unit，简称IMU）传感器。
上述仅是一种示例，本实施例中对此不作任何限定。
具体的，通过上述目标物体的测距将实现以下步骤：
如步骤S102，根据目标传感器输出的第k帧角速度和第k+1帧角速度，确定目标相机在第k帧和第k+1帧之间的角度变化值，其中，所述目标相机和所述目标传感器设置在目标车辆上，k为自然数；如步骤S104，根据所述角度变化值和所述目标相机的焦距，确定目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值；如步骤S106，在所述目标灭点在所述第k+1帧之前的位置确定结果满足第一预设条件的情况下，根据所述位置变化值，确定所述目标灭点在所述目标相机拍摄到的第k+1帧图像中的第k+1位置；如步骤S108，根据所述目标灭点的所述第k+1位置，确定所述第k+1帧图像中的目标物体与所述目标相机之间的距离。
可选地，上述步骤的执行主体可以为服务器，也可以是第二车辆104上安装的处理器等，但不限于此。
可选地，作为一种可选的实施方式，如图2所示，上述目标物体的测距方法包括：
步骤S202，根据目标传感器输出的第k帧角速度和第k+1帧角速度，确定目标相机在第k帧和第k+1帧之间的角度变化值，其中，所述目标相机和所述目标传感器设置在目标车辆上，k为自然数；
步骤S204，根据所述角度变化值和所述目标相机的焦距，确定目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值；
步骤S206，在所述目标灭点在所述第k+1帧之前的位置确定结果满足第一预设条件的情况下，根据所述位置变化值，确定所述目标灭点在所述目标相机拍摄到的第k+1帧图像中的第k+1位置；
步骤S208，根据所述目标灭点的所述第k+1位置，确定所述第k+1帧图像中的目标物体与所述目标相机之间的距离。
通过上述步骤，通过根据目标传感器输出的第k帧角速度和第k+1帧角速度，确定目标相机在第k帧和第k+1帧之间的角度变化值，目标相机和目标传感器设置在目标车辆上，k为自然数；根据角度变化值和目标相机的焦距，确定目标灭点的位置在第k帧和所述第k+1帧之间的位置变化值；在目标灭点在第k+1帧之前的位置确定结果满足第一预设条件的情况下，根据位置变化值，确定目标灭点在目标相机拍摄到的第k+1帧图像中的第k+1位置；根据目标灭点的所述第k+1位置，确定第k+1帧图像中的目标物体与目标相机之间的距离。达到了根据灭点在图像中的位置进行测距的目的，从而实现了提高测距结果准确率的技术效果，进而解决了自动驾驶中的测距结果准确率较低的技术问题。
作为一个可选的实施方式，上述目标传感器可以是IMU（inertial measurementunit）传感器，目标相机可以是单目相机。本实施例提供了一种基于单目相机和IMU融合的实时动态障碍物测距算法，上述目标物体可以是障碍物，通常情况下位于上述目标车辆前方的物体均可认为是障碍，包括但不限于可以是车辆、行人等。障碍物可以是动态的，例如，正在行驶的车辆，正在移动的行人等。
作为一个优选的实施例，以上述目标传感器为惯性测量单元，上述目标相机为单目相机，目标物体为在目标车辆前方行驶的前方车辆为例进行说明。图3是根据本发明可选实施例的示意图一，示意图中包括前方车辆302和目标车辆304，其中，目标车辆304上安装有单目相机306和惯性测量单元308，单目相机和惯性测量单元可以安装在目标车辆的任意位置，图3中单目相机和惯性测量单元的设置位置仅为了说明本实施例，并不以此作为限定。在本实施例中，单目相机的朝向是目标车辆的前方，可以实时对前方车辆进行拍摄。
作为一个可选的实施方式，上述第k帧和第k+1帧可以是目标传感器和目标相机同时进行数据采集的时间。目标传感器采集第k帧角速度的时间，同时是目标相机进行第k帧图像拍摄的时间，同理目标传感器采集第k+1帧角速度的时间，同时是目标相机进行第k+1帧图像拍摄的时间。在本实施例中，可以利用深度学***行车道线计算出每帧图像上的灭点，其中，每帧图像包括第k帧图像和第k+1帧图像。同步IMU传感器输出的第k帧角速度和第k+1帧角速度，可以利用IMU传感器的陀螺仪计算第k帧图像和第k+1帧图像对应相机坐标系下的俯仰角度变化，然后换算成灭点在图像坐标系下的位置变化值，通过滤波融合车道线和IMU计算的灭点。利用融合的灭点，目标的接地点和相机的外参值，通过平面假设计算出目标在第k+1帧图像中的位置。
可选地，所述根据所述位置变化值，确定所述目标灭点在所述目标相机拍摄到的第k+1帧图像中的第k+1位置，包括：根据所述位置变化值和所述目标灭点在所述目标相机拍摄到的第k帧图像中的第k位置，确定所述目标灭点在所述目标相机拍摄到的第k+1帧图像中的第k+1预估位置；在所述第k+1帧图像中检测到满足第二预设条件的车道线的情况下，根据检测到的车道线，确定所述目标灭点在所述第k+1帧图像中的第k+1观测位置；根据所述第k+1预估位置和所述第k+1观测位置，确定所述目标灭点在所述第k+1帧图像中的所述第k+1位置。
作为一个可选的实施方式，图4是根据本发明可选实施例的相机变化对灭点影响示意图，在图中
Figure 592318DEST_PATH_IMAGE001
是目标灭点在所述目标相机拍摄到的第k帧图像中的第k位置，
Figure 944539DEST_PATH_IMAGE002
是目标灭点在目标相机拍摄到的第k+1帧图像中的第k+1预估位置，
Figure 868633DEST_PATH_IMAGE003
是位置变化值，
Figure 971718DEST_PATH_IMAGE004
是角度变化值，
Figure 803408DEST_PATH_IMAGE005
是相机焦距。在本实施例中，
Figure 308339DEST_PATH_IMAGE006
。
作为一个可选的实施方式，目标相机所拍摄的第k+1帧图像中包括车道线，如果第k+1帧图像中包括至少两条车道线，则可以通过第k+1帧图像中包括的至少两条车道线确定出第k+1帧图像中灭点的位置。在本实施例中，通过第k+1帧图像中车道线确定出的灭点位置是视觉观测值。由于前方车辆是动态的，而视觉观测值是静态的，由此得到的目标灭点在第k+1帧图像中的位置精度和鲁棒性可能不高。在本实施例中，可以融合第k+1观测位置与第k+1预估位置，此种方式增加了灭点的运动信息，结合视觉观测信息，可以使得目标灭点的估计更加准确，鲁棒性更好。
可选地，所述根据所述第k+1预估位置和所述第k+1观测位置，确定所述目标灭点在所述第k+1帧图像中的所述第k+1位置，包括：对所述第k+1预估位置和所述第k+1观测位置进行滤波处理，得到所述第k+1位置；或者对所述第k+1预估位置和所述第k+1观测位置进行加权平均处理，得到所述第k+1位置。
作为一个可选的实施方式，上述滤波处理可以是卡尔曼滤波，可以通过卡尔曼滤波融合第k+1预估位置和所述第k+1观测位置。在本实施例中，通过卡尔曼滤波可以融合视觉观测的目标灭点的观测位置，以及通过IMU传感器计算的运动预估位置，结合了运动信息和视觉观测信息，可以提高目标灭点位置的准确性。
作为一个可选的实施方式，也可以通过加权平均处理的方式实现第k+1预估位置和第k+1观测位置的融合。具体权值的选取可以根据实际情况而定，例如，若运动信息的权重大，则可以将第k+1预估位置的权值设置的大一些，例如可以是0.6、0.7等，相应的第k+1观测位置的权值可以设置的小一些，对应的可以是0.4、0.3等。相反地，若视觉观测的权重大，则可以将第k+1观测位置的权值设置的大一些，相应的将第k+1预估位置的权重设置的小一些。也可以将第k+1预估位置和第k+1观测位置的权值均设置为0.5，此种情况是对第k+1预估位置和第k+1观测位置进行均值处理。在本实施例中，通过加权平均处理的方式可以根据实际情况设置第k+1预估位置和第k+1观测位置的权重，按照权重融合了运动信息和视觉观测信息，由此可以提高目标灭点位置的准确性。
可选地，所述根据检测到的车道线，确定所述目标灭点在所述第k+1帧图像中的第k+1观测位置，包括：在所述检测到的车道线包括至少2条平行的车道线的情况下，对所述至少2条平行的车道线进行拟合操作，得到所述第k+1观测位置。
作为一个可选的实施方式，在现实场景中马路上的车道线之间是平行的，但是由于成像原理，在相机拍摄的图像中拍摄得到的多条车道线是相交于一点的，该点即为灭点。在本实施例中，以第k+1帧图像包括两条车道线为例，如图5所示是根据本发明可选实施例的图像中灭点示意图，图中包括车道线501和车道线502，车道线501和车道线502的延长线交与一点，该点即为目标灭点在在第k+1帧图像中的第k+1位置。本实施例中的车道线501和车道线502仅为了说明本实施例，具体地车道线的数量可以根据实际情况而定。在本实施例中，至少2条车道线为
Figure 137755DEST_PATH_IMAGE007
，通过最小二乘法计算出灭点，参见以下公式：
Figure 993715DEST_PATH_IMAGE008
其中，
Figure 363517DEST_PATH_IMAGE009
是图像上的灭点，
Figure 487068DEST_PATH_IMAGE010
是图像上的车道线，
Figure 487385DEST_PATH_IMAGE011
是最小二乘的拟合函数。
可选地，所述根据所述位置变化值，确定所述目标灭点在所述目标相机拍摄到的第k+1帧图像中的第k+1位置，包括：根据所述位置变化值和所述目标灭点在所述目标相机拍摄到的第k帧图像中的第k位置，确定所述目标灭点在所述目标相机拍摄到的第k+1帧图像中的第k+1预估位置；在所述第k+1帧图像中未检测到满足所述第二预设条件的车道线的情况下，将所述目标灭点在所述第k+1帧图像中的所述第k+1位置确定为等于所述第k+1预估位置。
作为一个可选的实施方式，在很多情况下由于车道线受到磨损，此种情况下无法检测到车道线，也就无法根据车道线确定第k+1帧图像中的目标灭点的第k+1观测位置，或者，也可能实际场景中的车道线并不是平行的，第k+1帧图像中的车道线可能并不会相交与一点，此种情况下也无法根据车道线确定出第k+1帧图像中的目标灭点的第k+1观测位置。在此种情况下，可以利用上一帧即第k帧图像估计出目标灭点在第k+1帧图像中第k+1预估位置，并将第k+1预估位置作为目标灭点在第k+1帧图像中的位置。
可选地，根据所述位置变化值和所述目标灭点在所述目标相机拍摄到的第k帧图像中的第k位置，确定所述目标灭点在所述目标相机拍摄到的第k+1帧图像中的第k+1预估位置，包括：将所述第k+1预估位置确定为等于所述第k位置与所述位置变化值的和。
作为一个可选的实施方式，如图4所示，在图中
Figure 361800DEST_PATH_IMAGE012
是目标灭点在所述目标相机拍摄到的第k帧图像中的第k位置，
Figure 4134DEST_PATH_IMAGE013
是目标灭点在目标相机拍摄到的第k+1帧图像中的第k+1预估位置，
Figure 218078DEST_PATH_IMAGE014
是位置变化值，
Figure 654875DEST_PATH_IMAGE015
。
可选地，所述方法还包括：在所述第k+1帧图像中检测到至少2条平行的车道线的情况下，确定所述第k+1帧图像中检测到满足所述第二预设条件的车道线；在所述第k+1帧图像中未检测到至少2条平行的车道线的情况下，确定所述第k+1帧图像中未检测到满足所述第二预设条件的车道线。
作为一个可选的实施方式，由于灭点是至少两条不平行的直线的延长线的交点。由于成像原理，在实际场景中平行的两条直线在图像中是不平行的，其延长线的交点即为灭点。也就是说，若想通过车道线确定目标灭点在第k+1帧图像中的位置，则需要证明车道线在实际场景中是平行的。而若实际场景中的车道线是平行的，在第k+1帧图像中所成像的车道线之间是不平行的，如图5所示。那么可以通过将第k+1帧图像中所成像的车道线进行物理坐标系的转换可以证明在实际场景中车道线是平行的。
作为一个优选的实施方式，可以利用深度学***的，可以计算出车道线在当前相机坐标系下的物理位置，如公式：
Figure 931453DEST_PATH_IMAGE017
其中，
Figure 265482DEST_PATH_IMAGE018
是车道线上像素点对应在相机坐标系下的世界物理坐标点，K是相机内参，H是相机到路面的映射关系，
Figure 669919DEST_PATH_IMAGE019
是车道线像素的齐次坐标。计算出车道线每个像素的世界物理坐标后，通过直线拟合每条车道线
Figure 722189DEST_PATH_IMAGE020
，然后算出拟合误差，如果拟合误差小于阈值，则认为该车道线是直线，阈值可以根据实际情况而定，例如：0.01、0.1等，具体选取可以根据实际情况而定。在本实施例中，通过上述坐标系转换的方式通过第k+1帧图像检测实际场景中的至少2条平行的车道线是否平行，若平行则确定第k+1帧图像的至少2条平行的车道线是满足第二预设条件的车道线，否则确定在第k+1帧图像中未检测到满足第二预设条件的车道线。
可选地，所述方法还包括：在所述目标灭点在所述第k+1帧之前的位置确定结果不满足所述第一预设条件的情况下，根据所述第k+1帧图像中检测到的物体的投影位置，确定所述目标灭点在所述第k+1帧图像中的所述第k+1位置。
作为一个可选的实施方式，如果长时间在视觉上没有灭点的观测，则可以根据第k+1帧图像中检测到的物体的投影位置，确定目标灭点在第k+1帧图像中的第k+1位置。
可选地，所述根据所述第k+1帧图像中检测到的物体的投影位置，确定所述目标灭点在所述第k+1帧图像中的所述第k+1位置，包括：根据所述第k+1帧图像中检测到的物体的投影位置、所述目标相机到地面的高度以及所述目标相机的焦距，确定所述目标灭点在所述第k+1帧图像中的所述第k+1位置。
作为一个可选的实施方式，图6所示是根据本发明可选实施例的示意图二，其中，
Figure 673702DEST_PATH_IMAGE021
为目标相机到地面的高度，
Figure 127817DEST_PATH_IMAGE022
为目标相机的焦距，
Figure 703155DEST_PATH_IMAGE023
是平行地面的光线和前方车辆接地点投影到图像上的像素差值，
Figure 242720DEST_PATH_IMAGE024
，其中，
Figure 499389DEST_PATH_IMAGE025
是第k+1帧图像中检测到的物体的投影位置，
Figure 604749DEST_PATH_IMAGE026
是目标灭点在第k+1帧图像中的第k+1位置。因此，可以结合图6中的上述参数得到目标灭点在第k+1帧图像中的第k+1位置。
可选地，所述根据所述第k+1帧图像中检测到的物体的投影位置、所述目标相机到地面的高度以及所述目标相机的焦距，确定所述目标灭点在所述第k+1帧图像中的所述第k+1位置，包括：在所述第k+1帧图像中检测到的物体包括N个物体的情况下，根据所述N个物体中的M个物体的投影位置、所述目标相机到地面的高度以及所述目标相机的焦距，分别确定所述目标灭点在所述第k+1帧图像中的第k+1预估位置，共得到M个所述第k+1预估位置，其中，所述N为1或大于1的自然数，M小于或等于N；根据所述M个所述第k+1预估位置，确定所述第k+1位置。
作为一个可选的实施方式，在目标车辆的前方可以包括多个目标物体，例如可以是多辆车辆，也可以是多个行人，还可以既有车辆右有行人。如果长时间没有灭点的观测，可以通过第k+1帧图像中包括多个目标物体中选取出置信度较高的目标距离反推出目标灭点在第k+1帧图像中的第k+1位置。具体地，可以使用随机抽样一致算法（Random sampleconsensus，简称RANSAC算法）循环剔除置信度较低的物体，利用置信度较高的物***置信息求出目标灭点在第k+1帧图像中的第k+1位置。在本实施例中，假设在第k+1帧图像中检测到的物体包括N个物体，可以通过上述实施例中根据物体的投影位置、目标相机到地面的高度以及目标相机的焦距确定灭点在图像中的位置的方式，依据N个物体中的M个物体的上述参数信息，确定出目标灭点在所述第k+1帧图像中的第k+1预估位置。上述M个物体是N个物体中置信度较高的物体。最后可以通过对M个第k+1预估位置求取均值，或通过卡尔曼滤波确定出目标灭点在第k+1帧图像中的第k+1位置。
可选地，所述根据所述N个物体中的M个物体的投影位置、所述目标相机到地面的高度以及所述目标相机的焦距，分别确定所述目标灭点在所述第k+1帧图像中的第k+1预估位置，共得到M个所述第k+1预估位置，包括：在所述N个物体中获取置信度从高到低排序的前M个物体；据所述前M个物体的投影位置、所述目标相机到地面的高度以及所述目标相机的焦距，分别确定所述目标灭点在所述第k+1帧图像中的第k+1预估位置，共得到所述M个所述第k+1预估位置。
作为一个可选的实施方式，可以使用随机抽样一致算法（Random sampleconsensus，简称RANSAC算法）循环剔除置信度较低的物体。具体地，可以按照置信度从高到低的顺序将N个物体进行排序，从N个物体中选取出置信度靠前的前M个物体。进而通过上述实施例中根据物体的投影位置、目标相机到地面的高度以及目标相机的焦距，分别确定目标灭点在第k+1帧图像中的第k+1预估位置，共得到M个第k+1预估位置。进而通过对M个第k+1预估位置求取均值的方式或者通过卡尔曼滤波可以得到目标灭点在第k+1帧图像的第k+1位置。
可选地，所述根据所述N个物体中的M个物体的投影位置、所述目标相机到地面的高度以及所述目标相机的焦距，分别确定所述目标灭点在所述第k+1帧图像中的第k+1预估位置，包括：在所述目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值为所述目标灭点的纵向坐标在所述第k帧和所述第k+1帧之间的变化值，所述第k+1位置为所述第k+1纵向坐标的情况下，对于M个物体中的每个物体，通过以下公式确定所述目标灭点在所述第k+1帧图像中的第k+1预估纵向坐标：
Figure 554250DEST_PATH_IMAGE027
其中，
Figure 49954DEST_PATH_IMAGE028
是所述M个物体中的第i个物体所对应的第k+1预估纵向坐标，
Figure 375893DEST_PATH_IMAGE029
是所述M个物体中的第i个物体的接地点在纵轴上投影的纵向坐标，
Figure 335758DEST_PATH_IMAGE021
是所述目标相机到地面的高度，
Figure 456161DEST_PATH_IMAGE030
是所述目标相机的焦距，
Figure 203275DEST_PATH_IMAGE031
是所述目标相机至所述目标物体之间的预估距离。
作为一个可选的实施方式，由于道路颠簸等因素导致的灭点在图像中位置的变化一般是纵向的，在本实施例中，目标灭点在第k帧和所述第k+1帧之间的位置变化值可以是纵向坐标的变化，那么可以通过如下公式确定出目标灭点在第k+1帧图像中的第k+1预估纵向坐标：
Figure 864064DEST_PATH_IMAGE027
Figure 881698DEST_PATH_IMAGE032
是所述M个物体中的第i个物体所对应的第k+1预估纵向坐标，
Figure 173002DEST_PATH_IMAGE029
是M个物体中的第i个物体的接地点在纵轴上投影的纵向坐标，
Figure 908877DEST_PATH_IMAGE021
是所述目标相机到地面的高度，
Figure 107777DEST_PATH_IMAGE033
是所述目标相机的焦距，
Figure 245497DEST_PATH_IMAGE031
是所述目标相机至所述目标物体之间的预估距离。
可选地，所述根据所述M个所述第k+1预估位置，确定所述第k+1位置，包括：将所述第k+1位置确定为等于所述M个所述第k+1预估位置的平均值。
作为一个可选的实施方式，可以将M个第k+1预估位置的平均值作为目标灭点在第k+1帧图像中的第k+1位置。
可选地，所述方法还包括：在所述第k+1帧之前所述目标相机拍摄到的连续P1帧图像中均检测不到至少2条平行的车道线的情况下，确定出所述目标灭点在所述第k+1帧之前的位置确定结果不满足所述第一预设条件；否则，确定出所述目标灭点在所述第k+1帧之前的位置确定结果满足所述第一预设条件，其中，P1为预设的大于1的自然数；或者在所述第k+1帧之前的预设时长内所述目标相机拍摄到的P2帧图像中均检测不到至少2条平行的车道线的情况下，确定出所述目标灭点在所述第k+1帧之前的位置确定结果不满足所述第一预设条件；否则，确定出所述目标灭点在所述第k+1帧之前的位置确定结果满足所述第一预设条件，其中，P2为预设的大于1的自然数。
作为一个可选的实施方式，下面对第一预设条件进行说明，第一预设条件可以包括两种情况：
情况1，在目标相机拍摄得到的第k+1帧图像之前，拍摄得到的连续P1帧图像中的每帧图像中均检测不到至少2条平行的车道线，此种情况认定为不满足第一预设条。相反若连续P1帧图像中存在某帧图像或者某几帧图像中检测到至少2条平行的车道线，则确定满足第一预设条件。
情况2，在目标相机拍摄得到的第k+1帧图像之前预设时长内，标相机可以拍摄了P3帧图像，其中，P3可以大于或等于P2。在P3大于P2的情况下，若P2帧图像中均检测不到至少2条平行的车道线，确定不满足所述第一预设条件，其中，P2帧图像可以是连续的图像也可以是间隔的图像；否则，确定出目标灭点在所述第k+1帧之前的位置确定结果满足第一预设条件，其中，P2为预设的大于1的自然数。
在本实施例中，在满足第一预设条件的情况下，即可使用前面第k帧的数据使用IMU作为灭点的运动预测得到的目标灭点在目标相机拍摄到的第k+1帧图像中的第k+1预估位置，融合通过视觉观测得到的目标灭点在第k+1帧图像的第k+1观测位置，得到目标灭点在第k+1帧图像中的第k+1位置。在不满足第一预设条件的情况下，即可根据第k+1帧图像中检测到的物体的投影位置，确定目标灭点在第k+1帧图像中的所述第k+1位置。
可选地，所述根据目标传感器输出的第k帧角速度和第k+1帧角速度，确定目标相机在第k帧和第k+1帧之间的角度变化值，包括：在所述目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值为所述目标灭点的纵向坐标在所述第k帧和所述第k+1帧之间的变化值，所述第k+1位置为所述第k+1纵向坐标的情况下，通过以下公式确定所述目标相机在第k帧和第k+1帧之间的角度变化值
Figure 707703DEST_PATH_IMAGE034
：
Figure 462032DEST_PATH_IMAGE035
其中，
Figure 933465DEST_PATH_IMAGE036
，
Figure 660112DEST_PATH_IMAGE037
是所述目标相机输出的所述第k帧角速度，
Figure 815192DEST_PATH_IMAGE038
是所述目标相机输出的所述第k+1帧角速度。
作为一个可选的实施方式，IMU可以由３轴的陀螺仪和３轴的角速度计组成，其中，陀螺仪输出３自由度的角速度，加速度计输出３自由度的加速度信息。图像相邻两帧的时间间隔可以是20ms-50ms。一般IMU的频率在100HZ-200HZ，远大于图像的频率。因此，在如此短时间内，陀螺仪输出的角速度通过积分可以准确的计算出这段时间内的角度变化，具体地，３轴的角速度可以分别是：
Figure 525659DEST_PATH_IMAGE039
Figure 331941DEST_PATH_IMAGE040
Figure 178674DEST_PATH_IMAGE041
其中，k，k+1分别是第k，k+1帧图像的时间，
Figure 982682DEST_PATH_IMAGE042
是陀螺仪输出的角速度值，
Figure 711603DEST_PATH_IMAGE043
是在k到k+1帧图像之间的积分得到的角度值。计算出两帧图像之间的相机的角度变化后，可以通过近似变换计算出灭点的变化。
可选地，所述根据所述角度变化值和所述目标相机的焦距，确定目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值，包括：通过以下公式确定所述目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值
Figure 524839DEST_PATH_IMAGE044
：
Figure 226078DEST_PATH_IMAGE045
其中，
Figure 200988DEST_PATH_IMAGE022
是所述目标相机的焦距，
Figure 682785DEST_PATH_IMAGE046
所述角度变化值。在本实施例中，如图4所示
Figure 34132DEST_PATH_IMAGE045
。
可选地，所述根据所述目标灭点的所述第k+1位置，确定所述第k+1帧图像中的目标物体与所述目标相机之间的距离，包括：在所述目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值为所述目标灭点的纵向坐标在所述第k帧和所述第k+1帧之间的变化值，所述第k+1位置为所述第k+1纵向坐标的情况下，通过以下公式确定所述第k+1帧图像中的目标物体与所述目标相机之间的距离d：
Figure 88413DEST_PATH_IMAGE047
Figure 30961DEST_PATH_IMAGE048
其中，
Figure 937737DEST_PATH_IMAGE049
是所述目标物体的接地点在纵轴上投影的纵向坐标，
Figure 827196DEST_PATH_IMAGE050
是所述目标灭点在所述第k+1帧图像中的所述第k+1纵向坐标，
Figure 503028DEST_PATH_IMAGE021
是所述目标相机到地面的高度，
Figure 882057DEST_PATH_IMAGE022
是所述目标相机的焦距。
作为一个可选的实施方式，参见图6，在图6所示的参数示意图中，可以通过公式
Figure 276129DEST_PATH_IMAGE051
得到相机镜头到前方车辆的距离，在本实施例中，
Figure 703699DEST_PATH_IMAGE023
可以通过公式
Figure 296354DEST_PATH_IMAGE052
得到，其中，
Figure 49547DEST_PATH_IMAGE049
可以是是前方车辆的接地点在纵轴上投影的纵向坐标，
Figure 399757DEST_PATH_IMAGE050
是目标灭点在所述第k+1帧图像中的第k+1纵向坐标，
Figure 395132DEST_PATH_IMAGE021
是所述目标相机到地面的高度，
Figure 842294DEST_PATH_IMAGE022
是所述目标相机的焦距。
可选地，所述方法还包括：通过以下公式确定所述第k+1帧图像中的所述目标物体与所述目标相机的横向距离x：
Figure 766388DEST_PATH_IMAGE053
其中，
Figure 869473DEST_PATH_IMAGE054
是所述目标灭点在所述第k+1帧图像中的横向坐标，
Figure 701163DEST_PATH_IMAGE055
是所述目标物体的接地点在横轴上投影的横向坐标，d是所述第k+1帧图像中的目标物体与所述目标相机之间的距离。
作为一个可选的实施方式，目标物体的横向位置信息也可以根据视觉几何估计出来，如图7所示是根据本发明可选实施例的目标物体横向位置估计俯视图，其中x是目标物体在相机坐标系下的横向距离，
Figure 206093DEST_PATH_IMAGE056
是目标物体接地点投影在图像上的横向坐标，
Figure 35509DEST_PATH_IMAGE057
是目标灭点的横向坐标。根据视觉几何关系可以得到：
Figure 625891DEST_PATH_IMAGE053
其中，d是所述第k+1帧图像中的目标物体与所述目标相机之间的距离，
Figure 261271DEST_PATH_IMAGE022
是目标相机的焦距。
可选地，所述方法还包括：通过以下公式确定所述第k+1帧图像中的所述目标物体的预估位置、预估速度和预估加速度：
Figure 886288DEST_PATH_IMAGE058
其中，T是所述第k帧与第k+1帧之间的时间间隔，
Figure 886605DEST_PATH_IMAGE059
，
Figure 761020DEST_PATH_IMAGE060
分别是所述第k+1帧图像中的所述目标物体的预估位置、预估速度和预估加速度，
Figure 636310DEST_PATH_IMAGE061
是分别所述第k帧图像中的所述目标物体的位置、速度和加速度。
作为一个可选的实施方式，在实际应用中，由于车道线磨损，车道线不存在平行关系或是行驶的道路不满足平面假设，这都会给位置估计带来大的误差，为了减少这种大误差带来的波动，本实施例中采取了恒加速度模型的卡尔曼滤波方法：
Figure 850253DEST_PATH_IMAGE058
Figure 287051DEST_PATH_IMAGE062
Figure 648762DEST_PATH_IMAGE059
，
Figure 829208DEST_PATH_IMAGE063
分别是所述第k+1帧图像中的所述目标物体的预估位置、预估速度和预估加速度，
Figure 163237DEST_PATH_IMAGE064
是分别所述第k帧图像中的所述目标物体的位置、速度和加速度。
可选地，所述目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值为所述目标灭点的纵向坐标在所述第k帧和所述第k+1帧之间的变化值，所述第k+1位置为所述第k+1纵向坐标。
本申请可以实时动态估计灭点，相比静态的灭点估计能得到更高精度的障碍物测距信息。在本申请中即使检测不到车道线、车道线不平行或是车道线检测错误的，可以通过测量置信度最高的目标距离反推出灭点。此外本申请通过结合单目视觉的灭点观测。通过卡尔曼滤波高精度的估计出灭点在图像上的位置。通过视觉几何关系可计算出高精度的动态障碍物位置信息，然后再次通过卡尔曼滤波计算出障碍物的位置和速度信息。可以使灭点估计更加准确，且鲁棒性更好。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面，还提供了一种用于实施上述目标物体的测距方法的目标物体的测距装置。如图8所示，该装置包括：第一确定模块82，用于根据目标传感器输出的第k帧角速度和第k+1帧角速度，确定目标相机在第k帧和第k+1帧之间的角度变化值，其中，所述目标相机和所述目标传感器设置在目标车辆上，k为自然数；第二确定模块84，用于根据所述角度变化值和所述目标相机的焦距，确定目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值；第三确定模块86，用于在所述目标灭点在所述第k+1帧之前的位置确定结果满足第一预设条件的情况下，根据所述位置变化值，确定所述目标灭点在所述目标相机拍摄到的第k+1帧图像中的第k+1位置；第四确定模块88，用于根据所述目标灭点的所述第k+1位置，确定所述第k+1帧图像中的目标物体与所述目标相机之间的距离。
可选地，上述装置还用于通过如下方式实现所述根据所述位置变化值，确定所述目标灭点在所述目标相机拍摄到的第k+1帧图像中的第k+1位置：根据所述位置变化值和所述目标灭点在所述目标相机拍摄到的第k帧图像中的第k位置，确定所述目标灭点在所述目标相机拍摄到的第k+1帧图像中的第k+1预估位置；在所述第k+1帧图像中检测到满足第二预设条件的车道线的情况下，根据检测到的车道线，确定所述目标灭点在所述第k+1帧图像中的第k+1观测位置；根据所述第k+1预估位置和所述第k+1观测位置，确定所述目标灭点在所述第k+1帧图像中的所述第k+1位置。
可选地，上述装置还用于通过如下方式实现所述根据所述第k+1预估位置和所述第k+1观测位置，确定所述目标灭点在所述第k+1帧图像中的所述第k+1位置：对所述第k+1预估位置和所述第k+1观测位置进行滤波处理，得到所述第k+1位置；或者对所述第k+1预估位置和所述第k+1观测位置进行加权平均处理，得到所述第k+1位置。
可选地，上述装置还用于通过如下方式实现所述根据检测到的车道线，确定所述目标灭点在所述第k+1帧图像中的第k+1观测位置：在所述检测到的车道线包括至少2条平行的车道线的情况下，对所述至少2条平行的车道线进行拟合操作，得到所述第k+1观测位置。
可选地，上述装置还用于通过如下方式实现所述根据所述位置变化值，确定所述目标灭点在所述目标相机拍摄到的第k+1帧图像中的第k+1位置：根据所述位置变化值和所述目标灭点在所述目标相机拍摄到的第k帧图像中的第k位置，确定所述目标灭点在所述目标相机拍摄到的第k+1帧图像中的第k+1预估位置；在所述第k+1帧图像中未检测到满足所述第二预设条件的车道线的情况下，将所述目标灭点在所述第k+1帧图像中的所述第k+1位置确定为等于所述第k+1预估位置。
可选地，上述装置还用于通过如下方式实现根据所述位置变化值和所述目标灭点在所述目标相机拍摄到的第k帧图像中的第k位置，确定所述目标灭点在所述目标相机拍摄到的第k+1帧图像中的第k+1预估位置：将所述第k+1预估位置确定为等于所述第k位置与所述位置变化值的和。
可选地，上述装置还用于在所述第k+1帧图像中检测到至少2条平行的车道线的情况下，确定所述第k+1帧图像中检测到满足所述第二预设条件的车道线；在所述第k+1帧图像中未检测到至少2条平行的车道线的情况下，确定所述第k+1帧图像中未检测到满足所述第二预设条件的车道线。
可选地，上述装置还用于在所述目标灭点在所述第k+1帧之前的位置确定结果不满足所述第一预设条件的情况下，根据所述第k+1帧图像中检测到的物体的投影位置，确定所述目标灭点在所述第k+1帧图像中的所述第k+1位置。
可选地，上述装置还用于通过如下方式实现所述根据所述第k+1帧图像中检测到的物体的投影位置，确定所述目标灭点在所述第k+1帧图像中的所述第k+1位置：根据所述第k+1帧图像中检测到的物体的投影位置、所述目标相机到地面的高度以及所述目标相机的焦距，确定所述目标灭点在所述第k+1帧图像中的所述第k+1位置。
可选地，上述装置还用于通过如下方式实现所述根据所述第k+1帧图像中检测到的物体的投影位置、所述目标相机到地面的高度以及所述目标相机的焦距，确定所述目标灭点在所述第k+1帧图像中的所述第k+1位置：在所述第k+1帧图像中检测到的物体包括N个物体的情况下，根据所述N个物体中的M个物体的投影位置、所述目标相机到地面的高度以及所述目标相机的焦距，分别确定所述目标灭点在所述第k+1帧图像中的第k+1预估位置，共得到M个所述第k+1预估位置，其中，所述N为1或大于1的自然数，M小于或等于N；根据所述M个所述第k+1预估位置，确定所述第k+1位置。
可选地，上述装置还用于通过如下方式实现所述根据所述N个物体中的M个物体的投影位置、所述目标相机到地面的高度以及所述目标相机的焦距，分别确定所述目标灭点在所述第k+1帧图像中的第k+1预估位置，共得到M个所述第k+1预估位置：在所述N个物体中获取置信度从高到低排序的前M个物体；根据所述前M个物体的投影位置、所述目标相机到地面的高度以及所述目标相机的焦距，分别确定所述目标灭点在所述第k+1帧图像中的第k+1预估位置，共得到所述M个所述第k+1预估位置。
可选地，上述装置还用于通过如下方式实现所述根据所述N个物体中的M个物体的投影位置、所述目标相机到地面的高度以及所述目标相机的焦距，分别确定所述目标灭点在所述第k+1帧图像中的第k+1预估位置：在所述目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值为所述目标灭点的纵向坐标在所述第k帧和所述第k+1帧之间的变化值，所述第k+1位置为所述第k+1纵向坐标的情况下，对于M个物体中的每个物体，通过以下公式确定所述目标灭点在所述第k+1帧图像中的第k+1预估纵向坐标：
Figure 770936DEST_PATH_IMAGE027
其中，
Figure 354364DEST_PATH_IMAGE032
是所述M个物体中的第i个物体所对应的第k+1预估纵向坐标，
Figure 72921DEST_PATH_IMAGE029
是所述M个物体中的第i个物体的接地点在纵轴上投影的纵向坐标，
Figure 527036DEST_PATH_IMAGE021
是所述目标相机到地面的高度，
Figure 102374DEST_PATH_IMAGE065
是所述目标相机的焦距，
Figure 874896DEST_PATH_IMAGE031
是所述目标相机至所述目标物体之间的预估距离。
可选地，上述装置还用于通过如下方式实现所述根据所述M个所述第k+1预估位置，确定所述第k+1位置：将所述第k+1位置确定为等于所述M个所述第k+1预估位置的平均值。
可选地，上述装置还用于在所述第k+1帧之前所述目标相机拍摄到的连续P1帧图像中均检测不到至少2条平行的车道线的情况下，确定出所述目标灭点在所述第k+1帧之前的位置确定结果不满足所述第一预设条件；否则，确定出所述目标灭点在所述第k+1帧之前的位置确定结果满足所述第一预设条件，其中，P1为预设的大于1的自然数；或者在所述第k+1帧之前的预设时长内所述目标相机拍摄到的P2帧图像中均检测不到至少2条平行的车道线的情况下，确定出所述目标灭点在所述第k+1帧之前的位置确定结果不满足所述第一预设条件；否则，确定出所述目标灭点在所述第k+1帧之前的位置确定结果满足所述第一预设条件，其中，P2为预设的大于1的自然数。
可选地，上述装置还用于通过如下方式实现所述根据目标传感器输出的第k帧角速度和第k+1帧角速度，确定目标相机在第k帧和第k+1帧之间的角度变化值：在所述目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值为所述目标灭点的纵向坐标在所述第k帧和所述第k+1帧之间的变化值，所述第k+1位置为所述第k+1纵向坐标的情况下，通过以下公式确定所述目标相机在第k帧和第k+1帧之间的角度变化值
Figure 131565DEST_PATH_IMAGE034
：
Figure 440186DEST_PATH_IMAGE035
其中，
Figure 186426DEST_PATH_IMAGE036
，
Figure 947708DEST_PATH_IMAGE037
是所述目标相机输出的所述第k帧角速度，
Figure 8068DEST_PATH_IMAGE038
是所述目标相机输出的所述第k+1帧角速度。
可选地，上述装置还用于通过如下方式实现所述根据所述角度变化值和所述目标相机的焦距，确定目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值：通过以下公式确定所述目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值
Figure 233513DEST_PATH_IMAGE066
：
Figure 353916DEST_PATH_IMAGE067
其中，
Figure 336915DEST_PATH_IMAGE068
是所述目标相机的焦距，
Figure 200966DEST_PATH_IMAGE046
所述角度变化值。
可选地，上述装置还用于通过如下方式实现所述根据所述目标灭点的所述第k+1位置，确定所述第k+1帧图像中的目标物体与所述目标相机之间的距离：在所述目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值为所述目标灭点的纵向坐标在所述第k帧和所述第k+1帧之间的变化值，所述第k+1位置为所述第k+1纵向坐标的情况下，通过以下公式确定所述第k+1帧图像中的目标物体与所述目标相机之间的距离d：
Figure 280918DEST_PATH_IMAGE047
Figure 805178DEST_PATH_IMAGE069
其中，
Figure 541052DEST_PATH_IMAGE070
是所述目标物体的接地点在纵轴上投影的纵向坐标，
Figure 5532DEST_PATH_IMAGE050
是所述目标灭点在所述第k+1帧图像中的所述第k+1纵向坐标，
Figure 143252DEST_PATH_IMAGE021
是所述目标相机到地面的高度，
Figure DEST_PATH_IMAGE071
是所述目标相机的焦距。
可选地，上述装置还用于通过以下公式确定所述第k+1帧图像中的所述目标物体与所述目标相机的横向距离x：
Figure 808720DEST_PATH_IMAGE053
其中，
Figure 828628DEST_PATH_IMAGE072
是所述目标灭点在所述第k+1帧图像中的横向坐标，
Figure 300061DEST_PATH_IMAGE056
是所述目标物体的接地点在横轴上投影的横向坐标，d是所述第k+1帧图像中的目标物体与所述目标相机之间的距离。
可选地，上述装置还用于通过以下公式确定所述第k+1帧图像中的所述目标物体的预估位置、预估速度和预估加速度：
Figure 26709DEST_PATH_IMAGE058
其中，T是所述第k帧与第k+1帧之间的时间间隔，
Figure 456553DEST_PATH_IMAGE059
，
Figure 167020DEST_PATH_IMAGE073
分别是所述第k+1帧图像中的所述目标物体的预估位置、预估速度和预估加速度，
Figure 409520DEST_PATH_IMAGE074
，是分别所述第k帧图像中的所述目标物体的位置、速度和加速度。
可选地，所述目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值为所述目标灭点的纵向坐标在所述第k帧和所述第k+1帧之间的变化值，所述第k+1位置为所述第k+1纵向坐标。
根据本发明实施例的又一个方面，还提供了一种用于实施上述目标物体的测距方法的电子设备，该电子设备可以是图1所示的目标车辆上安装的车载装置。如图9所示，该电子设备包括存储器902和处理器904，该存储器902中存储有计算机程序，该处理器904被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，根据目标传感器输出的第k帧角速度和第k+1帧角速度，确定目标相机在第k帧和第k+1帧之间的角度变化值，其中，所述目标相机和所述目标传感器设置在目标车辆上，k为自然数；
S2，根据所述角度变化值和所述目标相机的焦距，确定目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值；
S3，在所述目标灭点在所述第k+1帧之前的位置确定结果满足第一预设条件的情况下，根据所述位置变化值，确定所述目标灭点在所述目标相机拍摄到的第k+1帧图像中的第k+1位置；
S4，根据所述目标灭点的所述第k+1位置，确定所述第k+1帧图像中的目标物体与所述目标相机之间的距离。
可选地，本领域普通技术人员可以理解，图9所示的结构仅为示意，电子装置电子设备也可以是智能手机（如Android手机、iOS手机等）、平板电脑、掌上电脑以及移动互联网设备（Mobile Internet Devices，MID）、PAD等终端设备。图9其并不对上述电子装置电子设备的结构造成限定。例如，电子装置电子设备还可包括比图9中所示更多或者更少的组件（如网络接口等），或者具有与图9所示不同的配置。
其中，存储器902可用于存储软件程序以及模块，如本发明实施例中的目标物体的测距方法和装置对应的程序指令/模块，处理器904通过运行存储在存储器902内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的目标物体的测距方法。存储器902可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器902可进一步包括相对于处理器904远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器902具体可以但不限于用于存储图像等信息。作为一种示例，如图9所示，上述存储器902中可以但不限于包括上述目标物体的测距装置中的第一确定模块802、第二确定模块804、第三确定模块806及第四确定模块810。此外，还可以包括但不限于上述目标物体的测距装置中的其他模块单元，本示例中不再赘述。
可选地，上述的传输装置906用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置906包括一个网络适配器（Network Interface Controller，NIC），其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置906为射频（Radio Frequency，RF）模块，其用于通过无线方式与互联网进行通讯。
此外，上述电子设备还包括：显示器908，用于显示上述目标物体与目标相机之间的距离；和连接总线910，用于连接上述电子设备中的各个模块部件。
在其他实施例中，上述终端设备或者服务器可以是一个分布式***中的一个节点，其中，该分布式***可以为区块链***，该区块链***可以是由该多个节点通过网络通信的形式连接形成的分布式***。其中，节点之间可以组成点对点（P2P，Peer To Peer）网络，任意形式的计算设备，比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链***中的一个节点。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，根据目标传感器输出的第k帧角速度和第k+1帧角速度，确定目标相机在第k帧和第k+1帧之间的角度变化值，其中，所述目标相机和所述目标传感器设置在目标车辆上，k为自然数；
S2，根据所述角度变化值和所述目标相机的焦距，确定目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值；
S3，在所述目标灭点在所述第k+1帧之前的位置确定结果满足第一预设条件的情况下，根据所述位置变化值，确定所述目标灭点在所述目标相机拍摄到的第k+1帧图像中的第k+1位置；
S4，根据所述目标灭点的所述第k+1位置，确定所述第k+1帧图像中的目标物体与所述目标相机之间的距离。
可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器（Read-Only Memory，ROM）、随机存取器（Random Access Memory，RAM）、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种目标物体的测距方法，其特征在于，包括：
根据目标传感器输出的第k帧角速度和第k+1帧角速度，确定目标相机在第k帧和第k+1帧之间的角度变化值，其中，所述目标相机和所述目标传感器设置在目标车辆上，k为自然数；
根据所述角度变化值和所述目标相机的焦距，确定目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值；
在所述目标灭点在所述第k+1帧之前的位置确定结果满足第一预设条件的情况下，根据所述位置变化值，确定所述目标灭点在所述目标相机拍摄到的第k+1帧图像中的第k+1位置；
根据所述目标灭点的所述第k+1位置，确定所述第k+1帧图像中的目标物体与所述目标相机之间的距离。
2.根据权利要求1所述的方法，其特征在于，所述根据所述位置变化值，确定所述目标灭点在所述目标相机拍摄到的第k+1帧图像中的第k+1位置，包括：
根据所述位置变化值和所述目标灭点在所述目标相机拍摄到的第k帧图像中的第k位置，确定所述目标灭点在所述目标相机拍摄到的第k+1帧图像中的第k+1预估位置；
在所述第k+1帧图像中检测到满足第二预设条件的车道线的情况下，根据检测到的车道线，确定所述目标灭点在所述第k+1帧图像中的第k+1观测位置；
根据所述第k+1预估位置和所述第k+1观测位置，确定所述目标灭点在所述第k+1帧图像中的所述第k+1位置。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第k+1预估位置和所述第k+1观测位置，确定所述目标灭点在所述第k+1帧图像中的所述第k+1位置，包括：
对所述第k+1预估位置和所述第k+1观测位置进行滤波处理，得到所述第k+1位置；或者
对所述第k+1预估位置和所述第k+1观测位置进行加权平均处理，得到所述第k+1位置。
4.根据权利要求2所述的方法，其特征在于，所述根据检测到的车道线，确定所述目标灭点在所述第k+1帧图像中的第k+1观测位置，包括：
在所述检测到的车道线包括至少2条平行的车道线的情况下，对所述至少2条平行的车道线进行拟合操作，得到所述第k+1观测位置。
5.根据权利要求1所述的方法，其特征在于，所述根据所述位置变化值，确定所述目标灭点在所述目标相机拍摄到的第k+1帧图像中的第k+1位置，包括：
根据所述位置变化值和所述目标灭点在所述目标相机拍摄到的第k帧图像中的第k位置，确定所述目标灭点在所述目标相机拍摄到的第k+1帧图像中的第k+1预估位置；
在所述第k+1帧图像中未检测到满足第二预设条件的车道线的情况下，将所述目标灭点在所述第k+1帧图像中的所述第k+1位置确定为等于所述第k+1预估位置。
6.根据权利要求2或5所述的方法，其特征在于，所述方法还包括：
在所述第k+1帧图像中检测到至少2条平行的车道线的情况下，确定所述第k+1帧图像中检测到满足所述第二预设条件的车道线；
在所述第k+1帧图像中未检测到至少2条平行的车道线的情况下，确定所述第k+1帧图像中未检测到满足所述第二预设条件的车道线。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述目标灭点在所述第k+1帧之前的位置确定结果不满足所述第一预设条件的情况下，根据所述第k+1帧图像中检测到的物体的投影位置，确定所述目标灭点在所述第k+1帧图像中的所述第k+1位置。
8.根据权利要求7所述的方法，其特征在于，所述根据所述第k+1帧图像中检测到的物体的投影位置，确定所述目标灭点在所述第k+1帧图像中的所述第k+1位置，包括：
根据所述第k+1帧图像中检测到的物体的投影位置、所述目标相机到地面的高度以及所述目标相机的焦距，确定所述目标灭点在所述第k+1帧图像中的所述第k+1位置。
9.根据权利要求8所述的方法，其特征在于，所述根据所述第k+1帧图像中检测到的物体的投影位置、所述目标相机到地面的高度以及所述目标相机的焦距，确定所述目标灭点在所述第k+1帧图像中的所述第k+1位置，包括：
在所述第k+1帧图像中检测到的物体包括N个物体的情况下，根据所述N个物体中的M个物体的投影位置、所述目标相机到地面的高度以及所述目标相机的焦距，分别确定所述目标灭点在所述第k+1帧图像中的第k+1预估位置，共得到M个所述第k+1预估位置，其中，N为1或大于1的自然数，M小于或等于N；
根据所述M个所述第k+1预估位置，确定所述第k+1位置。
10.根据权利要求9所述的方法，其特征在于，所述根据所述N个物体中的M个物体的投影位置、所述目标相机到地面的高度以及所述目标相机的焦距，分别确定所述目标灭点在所述第k+1帧图像中的第k+1预估位置，共得到M个所述第k+1预估位置，包括：
在所述N个物体中获取置信度从高到低排序的前M个物体；
根据所述前M个物体的投影位置、所述目标相机到地面的高度以及所述目标相机的焦距，分别确定所述目标灭点在所述第k+1帧图像中的第k+1预估位置，共得到所述M个所述第k+1预估位置。
11.根据权利要求9所述的方法，其特征在于，所述根据所述N个物体中的M个物体的投影位置、所述目标相机到地面的高度以及所述目标相机的焦距，分别确定所述目标灭点在所述第k+1帧图像中的第k+1预估位置，包括：
在所述目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值为所述目标灭点的纵向坐标在所述第k帧和所述第k+1帧之间的变化值，所述第k+1位置为第k+1纵向坐标的情况下，对于M个物体中的每个物体，通过以下公式确定所述目标灭点在所述第k+1帧图像中的第k+1预估纵向坐标：
Figure DEST_PATH_IMAGE001
其中，
Figure 703793DEST_PATH_IMAGE002
是所述M个物体中的第i个物体所对应的第k+1预估纵向坐标，
Figure DEST_PATH_IMAGE003
是所述M个物体中的第i个物体的接地点在纵轴上投影的纵向坐标，
Figure 745567DEST_PATH_IMAGE004
是所述目标相机到地面的高度，
Figure DEST_PATH_IMAGE005
是所述目标相机的焦距，
Figure 712255DEST_PATH_IMAGE006
是所述目标相机至所述目标物体之间的预估距离。
12.根据权利要求1或7所述的方法，其特征在于，所述方法还包括：
在所述第k+1帧之前所述目标相机拍摄到的连续P1帧图像中均检测不到至少2条平行的车道线的情况下，确定出所述目标灭点在所述第k+1帧之前的位置确定结果不满足所述第一预设条件；否则，确定出所述目标灭点在所述第k+1帧之前的位置确定结果满足所述第一预设条件，其中，P1为预设的大于1的自然数；或者
在所述第k+1帧之前的预设时长内所述目标相机拍摄到的P2帧图像中均检测不到至少2条平行的车道线的情况下，确定出所述目标灭点在所述第k+1帧之前的位置确定结果不满足所述第一预设条件；否则，确定出所述目标灭点在所述第k+1帧之前的位置确定结果满足所述第一预设条件，其中，P2为预设的大于1的自然数。
13.根据权利要求1至5、8至11中任一项所述的方法，其特征在于，所述根据目标传感器输出的第k帧角速度和第k+1帧角速度，确定目标相机在第k帧和第k+1帧之间的角度变化值，包括：
在所述目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值为所述目标灭点的纵向坐标在所述第k帧和所述第k+1帧之间的变化值，所述第k+1位置为第k+1纵向坐标的情况下，通过以下公式确定所述目标相机在第k帧和第k+1帧之间的角度变化值
Figure DEST_PATH_IMAGE007
：
Figure 232098DEST_PATH_IMAGE008
其中，
Figure DEST_PATH_IMAGE009
，
Figure 984153DEST_PATH_IMAGE010
是所述目标相机输出的所述第k帧角速度，
Figure DEST_PATH_IMAGE011
是所述目标相机输出的所述第k+1帧角速度，
Figure 993566DEST_PATH_IMAGE012
是所述目标相机输出的所述第k帧角速度与所述第k+1帧角速度之间的第i帧角速度。
14.根据权利要求1至5、7至11中任一项所述的方法，其特征在于，所述根据所述目标灭点的所述第k+1位置，确定所述第k+1帧图像中的目标物体与所述目标相机之间的距离，包括：
在所述目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值为所述目标灭点的纵向坐标在所述第k帧和所述第k+1帧之间的变化值，所述第k+1位置为第k+1纵向坐标的情况下，通过以下公式确定所述第k+1帧图像中的目标物体与所述目标相机之间的距离d：
Figure DEST_PATH_IMAGE013
Figure 385233DEST_PATH_IMAGE014
其中，
Figure DEST_PATH_IMAGE015
是所述目标物体的接地点在纵轴上投影的纵向坐标，
Figure 714627DEST_PATH_IMAGE016
是所述目标灭点在所述第k+1帧图像中的所述第k+1纵向坐标，
Figure DEST_PATH_IMAGE017
是所述目标相机到地面的高度，
Figure 508139DEST_PATH_IMAGE018
是所述目标相机的焦距。
15.一种目标物体的测距装置，其特征在于，包括：
第一确定模块，用于根据目标传感器输出的第k帧角速度和第k+1帧角速度，确定目标相机在第k帧和第k+1帧之间的角度变化值，其中，所述目标相机和所述目标传感器设置在目标车辆上，k为自然数；
第二确定模块，用于根据所述角度变化值和所述目标相机的焦距，确定目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值；
第三确定模块，用于在所述目标灭点在所述第k+1帧之前的位置确定结果满足第一预设条件的情况下，根据所述位置变化值，确定所述目标灭点在所述目标相机拍摄到的第k+1帧图像中的第k+1位置；
第四确定模块，用于根据所述目标灭点的所述第k+1位置，确定所述第k+1帧图像中的目标物体与所述目标相机之间的距离。
CN202011333374.7A 2020-11-25 2020-11-25 目标物体的测距方法及装置 Active CN112146620B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011333374.7A CN112146620B (zh) 2020-11-25 2020-11-25 目标物体的测距方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011333374.7A CN112146620B (zh) 2020-11-25 2020-11-25 目标物体的测距方法及装置

Publications (2)

Publication Number Publication Date
CN112146620A CN112146620A (zh) 2020-12-29
CN112146620B true CN112146620B (zh) 2021-03-16

Family

ID=73887308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011333374.7A Active CN112146620B (zh) 2020-11-25 2020-11-25 目标物体的测距方法及装置

Country Status (1)

Country Link
CN (1) CN112146620B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112907678B (zh) * 2021-01-25 2022-05-13 深圳佑驾创新科技有限公司 车载相机外参姿态动态估计方法、装置、计算机设备
CN114037977B (zh) * 2022-01-07 2022-04-26 深圳佑驾创新科技有限公司 道路灭点的检测方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5752728B2 (ja) * 2013-02-28 2015-07-22 富士フイルム株式会社 車両間距離算出装置およびその動作制御方法
JP6251099B2 (ja) * 2014-03-24 2017-12-20 国立大学法人東京工業大学 距離算出装置
CN111104824A (zh) * 2018-10-26 2020-05-05 中兴通讯股份有限公司 车道偏离的检测方法、电子设备及计算机可读存储介质
CN111191487A (zh) * 2018-11-14 2020-05-22 北京市商汤科技开发有限公司 车道线的检测及驾驶控制方法、装置和电子设备

Also Published As

Publication number Publication date
CN112146620A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
CN112785702B (zh) 一种基于2d激光雷达和双目相机紧耦合的slam方法
CN109084732B (zh) 定位与导航方法、装置及处理设备
EP3517997B1 (en) Method and system for detecting obstacles by autonomous vehicles in real-time
EP2948927B1 (en) A method of detecting structural parts of a scene
CN111337947A (zh) 即时建图与定位方法、装置、***及存储介质
US20180075614A1 (en) Method of Depth Estimation Using a Camera and Inertial Sensor
US8467612B2 (en) System and methods for navigation using corresponding line features
CN110553648A (zh) 一种用于室内导航的方法和***
CN112146620B (zh) 目标物体的测距方法及装置
CN115371673A (zh) 一种未知环境中基于Bundle Adjustment的双目相机目标定位方法
Badino et al. Stereo-based free space computation in complex traffic scenarios
CN114529585A (zh) 基于深度视觉和惯性测量的移动设备自主定位方法
CN113701750A (zh) 一种井下多传感器的融合定位***
KR20160125803A (ko) 영역 추출 장치, 물체 탐지 장치 및 영역 추출 방법
CN111553342A (zh) 一种视觉定位方法、装置、计算机设备和存储介质
CN108322698B (zh) 基于多摄像机和惯性测量单元融合的***和方法
CN113379850B (zh) 移动机器人控制方法、装置、移动机器人及存储介质
CN112115930B (zh) 位姿信息的确定方法和装置
Aliakbarpour et al. Geometric exploration of virtual planes in a fusion-based 3D data registration framework
Yang et al. Road detection by RANSAC on randomly sampled patches with slanted plane prior
JP4622889B2 (ja) 画像処理装置、及び画像処理方法
Pełczyński et al. Motion vector estimation of a stereovision camera with inertial sensors
Kanatani et al. Detection of 3D points on moving objects from point cloud data for 3D modeling of outdoor environments
CN112528728B (zh) 一种用于视觉导航的图像处理方法、装置和移动机器人
Moemeni et al. Inertial-visual pose tracking using optical flow-aided particle filtering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221021

Address after: 518000 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 Floors

Patentee after: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

Patentee after: TENCENT CLOUD COMPUTING (BEIJING) Co.,Ltd.

Address before: 518000 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 Floors

Patentee before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

TR01 Transfer of patent right