CN112132895A - 基于图像的位置确定方法、电子设备及存储介质 - Google Patents

基于图像的位置确定方法、电子设备及存储介质 Download PDF

Info

Publication number
CN112132895A
CN112132895A CN202010947211.1A CN202010947211A CN112132895A CN 112132895 A CN112132895 A CN 112132895A CN 202010947211 A CN202010947211 A CN 202010947211A CN 112132895 A CN112132895 A CN 112132895A
Authority
CN
China
Prior art keywords
frame image
static target
key point
image
current frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010947211.1A
Other languages
English (en)
Other versions
CN112132895B (zh
Inventor
赵龙贺
钱智明
李正宁
魏曦
赵磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ecarx Hubei Tech Co Ltd
Original Assignee
Hubei Ecarx Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Ecarx Technology Co Ltd filed Critical Hubei Ecarx Technology Co Ltd
Priority to CN202010947211.1A priority Critical patent/CN112132895B/zh
Publication of CN112132895A publication Critical patent/CN112132895A/zh
Application granted granted Critical
Publication of CN112132895B publication Critical patent/CN112132895B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了基于图像的位置确定方法、电子设备及存储介质，应用于图像处理技术领域，本质矩阵包括旋转及平移两种属性，利用关键点通过本质矩阵来确定静态目标的位置，考虑了目标的旋转属性，不需要目标一致的物理尺寸，不需要静态目标的法向量垂直图像采集设备的图像平面，同时利用关键点进行计算，只需要确定关键点的位置即可，不需要严格的对静态目标像素边界进行定位，减少了客观条件对定位准确度的限制，能够增加基于图像确定的目标位置的准确性。

Description

基于图像的位置确定方法、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及基于图像的位置确定方法、电子设备及存储介质。
背景技术
随着无人机及车辆自动驾驶等技术的发展，无人驾驶技术越来越多的应用到人类社会的生产及生活中。在无人驾驶技术中，感知周围目标的准确位置，对于无人驾驶的避障，路径规划起着至关重要的作用。因此如何准确的确定目标相对于车辆/无人机的位置是一个关键性课题。
现有技术中，通过车辆/无人机携带的相机采集周围目标的图像，并基于的目标的物理尺寸和像素的比例，按照小孔成像的三角形的相似性计算目标在相机坐标系中的位置。
但是采用上述方法，需要满足三个条件：1.目标物理尺寸一致；2.目标的法向量垂直于图像的相平面；3.精确的定位目标边界在图像中的位置。而在实际的场景中这三个条件很难同时满足，从而造成基于图像确定的目标位置误差较大。
发明内容
本申请实施例的目的在于提供一种基于图像的位置确定方法、电子设备及存储介质，以实现增加基于图像确定的目标位置的准确性。具体技术方案如下：
第一方面，本申请实施例提供了一种基于图像的位置确定方法，所述方法包括：
获取当前帧图像；
对所述当前帧图像进行分析，得到所述当前帧图像中的参考静态目标的关键点的坐标作为第一关键点的坐标；
在所述当前帧图像之前的一历史帧图像中确定所述第一关键点所对应的第二关键点的坐标，得到所述参考静态目标的关键点对，其中，所述第一关键点及其对应的第二关键点组成所述参考静态目标的关键点对；
根据所述参考静态目标的关键点对中第一关键点的坐标及第二关键点的坐标，计算得到用于表示坐标变换的本质矩阵；
确定从所述历史帧图像的采集位置到所述当前帧图像的采集位置的坐标平移向量；
在所述当前帧图像及所述历史帧图像中，获取待检测静态目标的关键点对；
根据所述待检测静态目标的关键点对、所述本质矩阵及所述坐标平移向量，计算得到所述待检测静态目标的相对位置。
在一种可能的实施方式中，所述参考静态目标的关键点为所述参考静态目标的角点，所述对所述当前帧图像进行分析，得到所述当前帧图像中的参考静态目标的关键点的坐标作为第一关键点的坐标，包括：
确定所述当前帧图像中的参考静态目标所在的区域；
对所述参考静态目标所在的区域进行角点检测，得到所述参考静态目标的角点的坐标作为第一关键点的坐标。
在一种可能的实施方式中，所述对所述参考静态目标所在的区域进行角点检测，得到所述参考静态目标的角点的坐标作为第一关键点的坐标，包括：
对所述参考静态目标所在的区域进行角点检测，得到所述参考静态目标的初始角点；
对所述当前帧图像进行亚像素化处理，并按照预设间隔将亚像素化处理后的当前帧图像进行网格划分；
将亚像素化处理后的当前帧图像的每个网格内的初始角点进行非极大值抑制，得到非极大值抑制后的参考静态目标的角点的坐标作为第一关键点的坐标。
在一种可能的实施方式中，所述在所述当前帧图像之前的一历史帧图像中确定所述第一关键点所对应的第二关键点的坐标，得到所述参考静态目标的关键点对，包括：
在所述当前帧图像之前采用的各帧图像中，选取一帧图像作为历史帧图像；
利用光流跟踪算法在所述历史帧图像中跟踪得到与所述第一关键点光度最相似的点作为第二关键点，得到所述参考静态目标的关键点对。
在一种可能的实施方式中，所述在所述当前帧图像之前采用的各帧图像中，选取一帧图像作为历史帧图像，包括：
选取所述当前帧图像之前采集的第N帧图像作为待比较图像，其中，N为正整数；
判断选取的待比较图像与所述当前帧图像的视差是否大于预设视差阈值；
若所述视差不大于所述预设视差阈值，将N增加指定数值并返回执行所述选取所述当前帧图像之前采集的第N帧图像作为待比较图像的步骤；
若所述视差大于所述预设视差阈值，将选取的待比较图像作为所述历史帧图像。
在一种可能的实施方式中，所述本质矩阵包括归一化平移向量；
所述确定从所述历史帧图像的采集位置到所述当前帧图像的采集位置的坐标平移向量，包括：
获取从所述历史帧图像的采集位置到所述当前帧图像的采集位置的距离作为移动距离；
根据所述归一化平移向量及所述移动距离，计算从所述历史帧图像的采集位置到所述当前帧图像的采集位置的坐标平移向量。
在一种可能的实施方式中，所述本质矩阵包括归一化平移向量及旋转矩阵；
所述根据所述待检测静态目标的关键点对、所述本质矩阵及所述坐标平移向量，计算得到所述待检测静态目标的相对位置，包括：
针对所述待检测静态目标中的每一关键点对，获取该关键点对中的第三关键点及第四关键点在图像采集设备坐标系中的坐标，其中，所述第三关键点为所述待检测静态目标在所述当前帧图像中的关键点，所述第四关键点为所述待检测静态目标在所述历史帧图像中的关键点；
利用公式s0x0＝s1Rx1+t及
Figure RE-GDA0002782004770000041
计算得到第一尺度s1及第二尺度s0，其中，x0与x1分别表示所述第三关键点及所述第四关键点在图像采集设备坐标系中的坐标，R表示所述旋转矩阵，t表示坐标平移向量，∧表示反对称矩阵；
根据公式s0x0＝KP，计算得到所述待检测静态目标的相对位置，其中，K 表示图像采集设备的内参，P表示所述第三关键点对应的世界坐标系中的点相对于所述图像采集设备的三维坐标点，所述待检测静态目标的相对位置通过所述三维坐标点进行表示。
在一种可能的实施方式中，所述在所述当前帧图像及所述历史帧图像中，获取待检测静态目标的关键点对，包括：
将所述当前帧图像的各静态目标与所述历史帧图像的各静态目标进行配对，得到各全配对结果，其中，每个所述全配对结果中包括多个静态目标对，每个所述静态目标对中包括一个当前帧图像中的静态目标及一个历史帧图像中的静态目标；
分别计算各所述静态目标对中的两个静态目标的距离，得到各所述静态目标对的距离参数；
针对每一个全配对结果，计算该全配对结果中各静态目标对的距离参数的和，得到该全配对结果的总距离；
选取总距离最小的全配对结果，作为目标全配对结果；
在所述目标全配对结果的各静态目标对中选取待检测目标对应的静态目标对，得到第一静态目标及第二静态目标，其中，所述第一静态目标为所述当前帧图像中的静态目标，所述第二静态目标为所述历史帧图像中的静态目标；
获取所述第一静态目标的各关键点在图像采集设备坐标系下的坐标；
根据所述第一静态目标的各关键点的坐标及所述本质矩阵，分别确定所述第一静态目标的各关键点在所述第二静态目标中所对应的关键点的坐标，得到待检测静态目标的各关键点对。
第二方面，本申请实施例提供了一种电子设备，包括处理器及存储器；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现上述任一所述的基于图像的位置确定方法。
第三方面，本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的基于图像的位置确定方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的基于图像的位置确定方法。
本申请实施例提供的基于图像的位置确定方法、电子设备及存储介质，获取当前帧图像；对当前帧图像进行分析，得到当前帧图像中的参考静态目标的关键点的坐标作为第一关键点的坐标；在当前帧图像之前的一历史帧图像中确定第一关键点所对应的第二关键点的坐标，得到参考静态目标的关键点对，其中，第一关键点及其对应的第二关键点组成参考静态目标的关键点对；根据参考静态目标的关键点对中第一关键点的坐标及第二关键点的坐标，计算得到用于表示坐标变换的本质矩阵；确定从历史帧图像的采集位置到当前帧图像的采集位置的坐标平移向量；在当前帧图像及历史帧图像中，获取待检测静态目标的关键点对；根据待检测静态目标的关键点对、本质矩阵及坐标平移向量，计算得到待检测静态目标的相对位置。本质矩阵包括旋转及平移两种属性，利用关键点通过本质矩阵来确定静态目标的位置，考虑了目标的旋转属性，不需要目标一致的物理尺寸，不需要静态目标的法向量垂直图像采集设备的图像平面，同时利用关键点进行计算，只需要确定关键点的位置即可，不需要严格的对静态目标像素边界进行定位，减少了客观条件对定位准确度的限制，能够增加基于图像确定的目标位置的准确性。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的基于图像的位置确定方法的一种示意图；
图2为图1所示实施例中步骤S12的一种可能的实现方式的示意图；
图3为图1所示实施例中步骤S13的一种可能的实现方式的示意图；
图4为图2所示实施例中步骤S122的一种可能的实现方式的示意图；
图5为图3所示实施例中步骤S131的一种可能的实现方式的示意图；
图6为图1所示实施例中步骤S15的一种可能的实现方式的示意图；
图7为图1所示实施例中步骤S17的一种可能的实现方式的示意图；
图8为图1所示实施例中步骤S16的一种可能的实现方式的示意图；
图9为本申请实施例中计算待检测静态物的关键点对的一种示意图；
图10为本申请实施例的电子设备的一种示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了增加基于图像确定的目标位置的准确性，本申请实施例提供了一种基于图像的位置确定方法，包括：
获取当前帧图像；
对上述当前帧图像进行分析，得到上述当前帧图像中的参考静态目标的关键点的坐标作为第一关键点的坐标；
在上述当前帧图像之前的一历史帧图像中确定上述第一关键点所对应的第二关键点的坐标，得到上述参考静态目标的关键点对，其中，上述第一关键点及其对应的第二关键点组成上述参考静态目标的关键点对；
根据上述参考静态目标的关键点对中第一关键点的坐标及第二关键点的坐标，计算得到用于表示坐标变换的本质矩阵；
确定从上述历史帧图像的采集位置到上述当前帧图像的采集位置的坐标平移向量；
在上述当前帧图像及上述历史帧图像中，获取待检测静态目标的关键点对；
根据上述待检测静态目标的关键点对、上述本质矩阵及上述坐标平移向量，计算得到上述待检测静态目标的相对位置。
在本申请实施例中，本质矩阵包括旋转及平移两种属性，利用关键点通过本质矩阵来确定静态目标的位置，考虑了目标的旋转属性，不需要目标一致的物理尺寸，不需要静态目标的法向量垂直图像采集设备的图像平面，同时利用关键点进行计算，只需要确定关键点的位置即可，不需要严格的对静态目标像素边界进行定位，减少了客观条件对定位准确度的限制，能够增加基于图像确定的目标位置的准确性。
下面进行具体说明，参见图1，图1为本申请实施例的基于图像的位置确定方法的一种流程示意图，包括：
S11，获取当前帧图像。
本申请实施例中的基于图像的位置确定方法可以通过电子设备实现，具体的，该电子设备可以为无人机或无人驾驶汽车携带的具备计算功能的模块或器件，当然也可以通过与无人机或无人驾驶汽车通信连接的后端计算机实现。
当前帧图像可以为图像采集设备当前采集的一帧图像。图像采集设备可以为无人机或汽车等交通工具中携带摄像机、行车记录仪或相机等设备。
例如，可以通过图像采集设备持续采集视频数据，在对目标进程测位时，获取视频数据中的当前帧图像。当前帧图像中包括至少一个静态目标，此处的静态目标是指没有移动或移动速度可以忽略(小于预设速度阈值)的目标，例如，静态目标可以为标牌、车道线、导向箭头、灯杆等。
S12，对上述当前帧图像进行分析，得到上述当前帧图像中的参考静态目标的关键点的坐标作为第一关键点的坐标。
参考静态目标可以为当前帧图像中的任意一个或多个静态目标。可以通过计算机视觉技术，例如深度学习网络等，获取当前帧图像中参考静态目标的关键点的坐标，以下称为第一关键点的坐标。第一关键点的坐标具体可以为第一关键点在图像采集设备坐标系下的坐标。
在一种可能的实施方式中，参见图2，上述参考静态目标的关键点为上述参考静态目标的角点，上述S12，对上述当前帧图像进行分析，得到上述当前帧图像中的参考静态目标的关键点的坐标作为第一关键点的坐标，包括：
S121，确定上述当前帧图像中的参考静态目标所在的区域。
可以利用计算机视觉技术，对当前帧图像进行目标检测，得到当前帧图像中的参考静态目标所在的区域。例如，可以基于语义分割得到当前帧图像中的语义目标(静态目标)在图像中的区域，例如，静态目标可以为标牌、车道线、导向箭头、灯杆等，静态目标所在的区域可以通过目标框表示。
S122，对上述参考静态目标所在的区域进行角点检测，得到上传参考静态目标的角点的坐标作为第一关键点的坐标。
参考静态目标的角点即为参考静态目标的关键点。可以通过Harris(哈里斯)角点检测方法对静态目标所在的区域进行角点检测，得到静态目标的角点的坐标。
S13，在上述当前帧图像之前的一历史帧图像中确定上述第一关键点所对应的第二关键点的坐标，得到上述参考静态目标的关键点对，其中，上述第一关键点及其对应的第二关键点组成上述参考静态目标的关键点对。
历史帧图像为当前帧图像之前采集的一帧图像，历史帧图像中存在与当前帧图像中相同的参考静态目标。
历史帧图像中参考静态目标的关键点坐标的获取方式可以与当前帧图像中参考静态目标的关键点坐标的获取方式相同。但是为了减少确定历史帧图像中参考静态目标的关键点坐标的计算量，同时便于对当前帧图像及历史帧图像中同一参考静态目标的同一关键点进行配对，可选的，参见图3，上述S13，在上述当前帧图像之前的一历史帧图像中确定上述第一关键点所对应的第二关键点的坐标，得到上述参考静态目标的关键点对，包括：
S131，在上述当前帧图像之前采用的各帧图像中，选取一帧图像作为历史帧图像。
S132，利用光流跟踪算法在上述历史帧图像中跟踪得到与上述第一关键点光度最相似的点作为第二关键点，得到上述参考静态目标的关键点对。
可以利用基于KLT(Kanade-Lucas-Tomasi)光流跟踪算法，根据光度一致性原理，在历史帧图像跟踪找到与当前帧图像中参考静态目标的第一关键点光度最相似的点，作为历史帧图像中参考静态目标的第二关键点，从而得到历史帧图像中参考静态目标的第二关键点坐标，还可以将当前帧图像中的第一关键点与历史帧图像中的第二关键点组成关键点对。
在本申请实施例中，通过光流跟踪算法确定历史帧图像中静态目标的关键点坐标，能够减少确定历史帧图像中静态目标的关键点坐标的计算量，同时便于对当前帧图像及历史帧图像中相同静态目标的同一关键点进行配对。
S14，确定从上述历史帧图像的采集位置到上述当前帧图像的采集位置的坐标平移向量。
将图像采集设备在世界坐标系中，从历史帧图像的采集位置到当前帧图像采集位置的平移向量称为坐标平移向量。可以利用图像采集设备对应的 IMU(InertialMeasurement Unit，惯性测量单元)，获得坐标平移向量。其中，图像采集设备对应的IMU是指携带图像采集设备的无人机或汽车等交通工具中携带的IMU。由于IMU和图像采集设备是刚体变换，因此图像采集设备的运动信息可以通过IMU获得。
S15，根据上述参考静态目标的关键点对中第一关键点的坐标及第二关键点的坐标，计算得到用于表示坐标变换的本质矩阵。
本质矩阵用于表示历史帧图像到当前帧图像的坐标变换，包括旋转及平移两个属性。参考静态目标的关键点对中第一关键点坐标及第二关键点坐标，分别为该参考静态目标的同一关键点在当前帧图像及历史帧图像中的坐标。获取一参考静态目标的一关键点对，进行结构恢复，从而得到本质矩阵。
可选的，可以通过SFM(Structure From Motion)算法计算得到本质矩阵。按照对极约束方程
Figure RE-GDA0002782004770000101
计算得到本质矩阵E，其中，x0和x1分别表示当前帧图像及历史帧图像中同一关键点在图像采集设备坐标系下的坐标， x0＝K-1p0，K表示图像采集设备的内参，
Figure RE-GDA0002782004770000102
表示当前帧图像像素坐标系下该关键点的坐标，
Figure RE-GDA0002782004770000103
表示矩阵的转置；本质矩阵E＝t×R，其中，t表示归一化平移向量，R表示旋转矩阵R。可选的，可以选取参考静态目标的多个关键点对计算得到本质矩阵，从而增加置信度。
S16，在上述当前帧图像及上述历史帧图像中，获取待检测静态目标的关键点对。
待检测静态目标为需要进行测位的静态目标，待检测静态目标可以为参考静态目标，也可以为区别于参考静态目标的静态目标。当待检测静态为参考静态目标时，可以直接将参考静态目标的关键点对作为待检测静态目标的关键点对，例如，可以直接从内存中读取参考静态目标的关键点对作为待检测静态目标的关键点对。当待检测静态目标为区别于参考静态目标的静态目标时，待检测静态目标的关键点对的获取方法可以参见参考静态目标的关键点对的获取方法，此处不再赘述。可以将待检测静态目标的同一关键点在当前帧图像及历史帧图像中的像素坐标转换到图像采集设备的坐标系下，从而得到待检测静态目标的关键点对中两个关键点的坐标。
S17，根据上述待检测静态目标的关键点对、上述本质矩阵及上述坐标平移向量，计算得到上述待检测静态目标的相对位置。
根据待检测静态目标的关键点对中两个关键点在图像采集设备坐标系中的坐标，通过坐标平移向量及本质矩阵，可以图像采集设备在世界坐标系中相对于该关键点对对应的关键点的实际位置变化。然后可以通过三角形测距法等计算方法，计算得到该该关键点对对应的关键点相对于图像采集设备的坐标。针对待检测静态目标的每一关键点对均可以执行上述操作，从而可以得到该待检测静态目标的各关键点相对于图像采集设备的坐标，从而得到该待检测静态目标相对于图像采集设备的位置，即待检测静态目标的相对位置。
本申请实施例中以一个待检测静态目标的计算过程为例，本领域技术人员可以理解的是，当有多个待检测静态目标时，在得到本质矩阵及坐标平移向量之后，针对每个待检测静态目标，分别执行S16、S17步骤即可。
在本申请实施例中，本质矩阵包括旋转及平移两种属性，利用关键点通过本质矩阵来确定静态目标的位置，考虑了目标的旋转属性，不需要目标一致的物理尺寸，不需要静态目标的法向量垂直图像采集设备的图像平面，同时利用关键点进行计算，只需要确定关键点的位置即可，不需要严格的对静态目标像素边界进行定位，减少了客观条件对定位准确度的限制，能够增加基于图像确定的目标位置的准确性。
在利用角点检测确定静态目标的角点坐标的过程中，为了增加角点坐标的准确性，还可以对各角点进行校正。在一种可能的实施方式中，参见图4，上述S122，对上述参考静态目标所在的区域进行角点检测，得到上述参考静态目标的角点的坐标作为第一关键点的坐标，包括：
S1221，对上述参考静态目标所在的区域进行角点检测，得到上述参考静态目标的初始角点。
S1222，对上述当前帧图像进行亚像素化处理，并按照预设间隔将亚像素化处理后的当前帧图像进行网格划分。
S1223，将亚像素化处理后的当前帧图像的每个网格内的初始角点进行非极大值抑制，得到非极大值抑制后的参考静态目标的角点的坐标作为第一关键点的坐标。
可以采用Harris角点检测并亚像素化，然后按照等间距对当前帧图像进行网格划分，并在每个网格内进行非极大值抑制，得到位置均匀排列的角点，从而得到参考静态目标的角点坐标。
在本申请实施例中，通过亚像素化、网格划分及非极大值抑制等方式对角点进行校正，能够得到更加准确的角点坐标，从而增加基于图像确定的目标位置的准确性。
理论上历史帧图像可以为当前帧图像之前采集的任一帧图像，但是为了增加计算的准确性，在一种可能的实施方式中，参见图5，上述S131在上述当前帧图像之前采用的各帧图像中，选取一帧图像作为历史帧图像，包括：
S1311，选取上述当前帧图像之前采集的第N帧图像，作为待比较图像，其中，N为正整数。
当前帧图像之前采集的第N帧图像，是指从当前帧图像开始向前数N帧得到的图像，例如，当前帧图像为图像采集设备采集的第M帧图像，则待比较图像为图像采集设备采集的第M-N帧图像，其中，M为大于N的正整数。
S1312，判断当前选取的待比较图像与上述当前帧图像的视差是否大于预设视差阈值。
视差是从有一定距离的两个点上观察同一个目标所产生的方向差异，在立体视觉中衡量两帧图像之间同一个目标是否存在差别的重要指标，既是角点在两帧图像中成像位置的差异。预设视差阈值可以按照实际情况自定义设置，但应当保证同一角点在两帧图像中的成像位置存在明显差异。
S1313，若上述视差不大于上述预设视差阈值，将N增加指定数值并返回执行S1311选取上述当前帧图像之前采集的第N帧图像，作为待比较图像的步骤。
其中，指定数值可以根据实际情况自定义设置，例如设置为1、3、5或20 等。
S1314，若上述视差大于上述预设视差阈值，将当前选取的待比帧图像作为上述历史帧图像。
在本申请实施例中，能够保证当前帧图像与历史帧图像中同一角点的视差大于预设视差阈值，从而保证基于图像确定的目标位置的准确性。
除了直接将IMU测得的位移作为坐标平移向量外，还可以结合本质矩阵来计算坐标平移向量。在一种可能的实施方式中，上述本质矩阵包括归一化平移向量，参见图6，上述S15，确定从上述历史帧图像的采集位置到上述当前帧图像的采集位置的坐标平移向量，包括：
S151，获取从上述历史帧图像的采集位置到上述当前帧图像的采集位置的距离作为移动距离。
例如，可以利用图像采集设备对应的惯性测量单元得到移动距离。
S152，根据上述归一化平移向量及上述移动距离，计算从上述历史帧图像的采集位置到上述当前帧图像的采集位置的坐标平移向量。
上述步骤中基于单目图像采集设备结构恢复得到本质矩阵，本质矩阵中的归一化平移向量t是归一的化量，不能表征图像采集设备在世界坐标系中的平移变换。因此结合IMU提供的移动距离，由于IMU和图像采集设备是刚体变换，因此图像采集设备的运动信息可以使用IMU进行近似化。基于IMU的平移运动量
Figure RE-GDA0002782004770000131
计算模值
Figure RE-GDA0002782004770000132
得到移动距离，即是绝对的尺度量，对归一化平移向量t乘以tNorm得到世界坐标系下的图像采集设备平移向量，即坐标平移向量。
在本申请实施例中，结合本质矩阵来计算坐标平移向量，得到的坐标平移向量更加准确，从而能够提高基于图像确定的目标位置的准确性。
可以通过三角形测距法计算得到静态目标相对于上述图像采集设备的位置。在一种可能的实施方式中，上述本质矩阵包括归一化平移向量及旋转矩阵；参见图7，上述S17，根据上述待检测静态目标的关键点对、上述本质矩阵及上述坐标平移向量，计算得到上述待检测静态目标的相对位置，包括：
S171，针对上述待检测静态目标中的每一关键点对，获取该关键点对中的第三关键点及第四关键点在图像采集设备坐标系中的坐标，其中，上述第三关键点为上述待检测静态目标在上述当前帧图像中的关键点，上述第四关键点为上述待检测静态目标在上述历史帧图像中的关键点。
待检测静态目的一关键点对中的第三关键点及第四关键点，分别为该待检测静态目的同一关键点在当前帧图像及历史帧图像中的关键点。
S172，利用公式s0x0＝s1Rx1+t及
Figure RE-GDA0002782004770000141
计算得到第一尺度s1及第二尺度s0，其中，x0与x1分别表示上述第三关键点及上述第四关键点在图像采集设备坐标系中的坐标，R表示上述旋转矩阵，t表示坐标平移向量，∧表示反对称矩阵。
S173，根据公式s0x0＝KP，计算得到上述待检测静态目标的相对位置，其中，K表示图像采集设备的内参，P表示上述第三关键点对应的世界坐标系中的点相对于上述图像采集设备的三维坐标点，上述待检测静态目标的相对位置通过上述三维坐标点进行表示。
在本申请实施例中，利用关键点通过三角形测距法来确定静态目标的位置，不需要目标一致的物理尺寸，不需要静态目标的法向量垂直图像采集设备的图像平面，同时也不需要严格的对静态目标像素边界进行定位，减少了客观条件对定位准确度的限制，能够增加基于图像确定的目标位置的准确性。
由于本申请实施例中是基于关键点对去计算静态目标的位置，因此要求在静态目标内部有足够多的关键点，这样计算出来的静态目标位置才有足够的置信度。标志牌等静态目标中纹理比较丰富能够提取较多的关键点，因此对于标志牌等待检测静态目标，可以直接利用其关键点对计算该待检测静态目标的相对位置。而对于杆状物等待检测静态目标由于纹理比较光滑，几乎没有关键点，因此首先需要构建当前帧图像及历史帧图像表示同一待检测静态目标的同一关键点的关键点对。在一种可能的实施方式中，参见图8，上述S16在上述当前帧图像及上述历史帧图像中，获取待检测静态目标的关键点对，包括：
S161，将上述当前帧图像的各静态目标与上述历史帧图像的各静态目标进行配对，得到各全配对结果，其中，每个上述全配对结果中包括多个静态目标对，每个上述静态目标对中包括一个当前帧图像中的静态目标及一个历史帧图像中的静态目标。
可以采用任意相关的配对算法对当前帧图像的各静态目标与历史帧图像的各静态目标进行配对。本申请实施例中可以按照所有可能的配对情况，将当前帧图像的各静态目标与历史帧图像的各静态目标进行配对，得到各全配对结果，每个全配对结果中包含当前帧图像中全部静态目标与历史帧图像中全部静态目标的一种配对结果。为了更加方便理解，下面进行举例说明，当前帧图像中包括静态目标A、B及C；历史帧图像中包括静态目标a、b及c。按照所有可能的配对情况对当前帧图像的各静态目标与历史帧图像的各静态目标进行配对，得到六个全配对结果，包括：全配对结果1：A-a，B-b及C-c；全配对结果2：A-a，B-c及C-b；全配对结果3：A-b，B-a及C-c；全配对结果4： A-b，B-c及C-a；全配对结果5：A-c，B-b及C-a；全配对结果6：A-c，B-c 及C-b。
S162，分别计算各上述静态目标对中的两个静态目标的距离，得到各上述静态目标对的距离参数。
S163，针对每一个全配对结果，计算该全配对结果中各静态目标对的距离参数的和，得到该全配对结果的总距离。
S164，选取总距离最小的全配对结果，作为目标全配对结果。
S165，在上述目标全配对结果的各静态目标对中选取待检测目标对应的静态目标对，得到第一静态目标及第二静态目标，其中，上述第一静态目标为上述当前帧图像中的静态目标，上述第二静态目标为上述历史帧图像中的静态目标。
S166，获取上述第一静态目标的各关键点在图像采集设备坐标系下的坐标。
S167，根据上述第一静态目标的各关键点的坐标及上述本质矩阵，分别确定上述第一静态目标的各关键点在上述第二静态目标中所对应的关键点的坐标，得到待检测静态目标的各关键点对。
下面以匈牙利分配算法为例，进行举例说明，匈牙利分配算法是一个全局分配算法，基于匈牙利分配算法的静态目标(以杆状物为例)的跟踪，得到各静态目标对的距离参数。例如，针对一静态目标对包括杆状物A及杆状物B，该静态目标对的距离参数可以表示为
Figure RE-GDA0002782004770000161
其中
Figure RE-GDA0002782004770000162
A表示该静态目标对中杆状物A的像素集合，B表示该静态目标对中杆状物B的像素集合；dcenter＝‖Acenter-Bcenter‖2，dmax是杆状物最大距离，可以人为设定；Acenter表示杆状物A的中心点，Bcenter表示杆状物B的中心点。然后并建立总距离
Figure RE-GDA0002782004770000163
矩阵，其中M 和N分别表示当前帧图像及历史帧图像中杆状物的数量，按照尽可能多的匹配对{(0,2),(1,3),(2,0)…(m-1,n-i)}以及他们的距离和尽可能的小的匈牙利指派规则，最终找到最优匹配杆状物对。
当前帧图像及上述历史帧图像中相同的静态目标表示为(A,A′)，以及对应的直线方程(l′0,l′1),如图9所示，点P为共视点，分别在C0和C1图像坐标系下成像p0,p1，对应的图像采集设备坐标系下的坐标x0＝K-1p0，K是图像采集设备(例如，相机)的内参。计算的目标是基于p0得到x0，并根据x0计算x1，以形成关键点对(x0,x1)：首先在静态目标A上选取点p0并得到点p0在图像采集设备的坐标系下的坐标x0，按照对极约束方程
Figure RE-GDA0002782004770000164
化简得到关于x1的方程式既是对极线l1，其中E为本质矩阵；计算对极线l1和杆状物A’对应直线l‘1交点的坐标x1，形成关键点对(x0,x1)。
在本申请实施例中，在当前帧图像及历史帧图像中同一静态目标的同一关键点不容易区分对应关系的情况下，通过上述计算方式可以增加关键点对选取的准确性，从而提高基于图像确定的目标位置的准确性。通过单目图像采集设备获取连续图像序列，根据语义分割网络输出各个静态目标的位置，然后对各个静态目标提取均匀的关键点，根据本质矩阵，然后结合IMU的绝对运动量，恢复实际的尺度的本质矩阵，进而推算出各个静态目标在相机坐标系中的位置。本算法不需要要素的一致的物理尺寸，不需要严格的目标像素边界定位，不需要两帧之间目标法向量垂直相机平面的运动假设，能够提高基于图像确定的目标位置的准确性。并且对于图像采集设备运动没有相应的假设，能够适用于多种场景的高精确目标位置定位。
本申请实施例还提供了一种电子设备，包括：处理器及存储器；
上述存储器，用于存放计算机程序；
上述处理器用于执行上述存储器存放的计算机程序时，实现如下步骤：
获取当前帧图像；
对上述当前帧图像进行分析，得到上述当前帧图像中的参考静态目标的关键点的坐标作为第一关键点的坐标；
在上述当前帧图像之前的一历史帧图像中确定上述第一关键点所对应的第二关键点的坐标，得到上述参考静态目标的关键点对，其中，上述第一关键点及其对应的第二关键点组成上述参考静态目标的关键点对；
根据上述参考静态目标的关键点对中第一关键点的坐标及第二关键点的坐标，计算得到用于表示坐标变换的本质矩阵；
确定从上述历史帧图像的采集位置到上述当前帧图像的采集位置的坐标平移向量；
在上述当前帧图像及上述历史帧图像中，获取待检测静态目标的关键点对；
根据上述待检测静态目标的关键点对、上述本质矩阵及上述坐标平移向量，计算得到上述待检测静态目标的相对位置。
可选的，参见图10，本申请实施例的电子设备还包括通信接口202和通信总线204，其中，处理器201，通信接口202，存储器203通过通信总线204 完成相互间的通信。
可选的，上述处理器用于执行上述存储器存放的计算机程序时，还能够实现上述任一基于图像的位置确定方法。
上述电子设备提到的通信总线可以是PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质内存储有计算机程序，上述计算机程序被处理器执行时实现上述任一基于图像的位置确定方法。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一基于图像的位置确定方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk (SSD))等。
需要说明的是，在本文中，各个可选方案中的技术特征只要不矛盾均可组合来形成方案，这些方案均在本申请公开的范围内。诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于电子设备、存储介质及计算机程序的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (10)

1.一种基于图像的位置确定方法，其特征在于，所述方法包括：
获取当前帧图像；
对所述当前帧图像进行分析，得到所述当前帧图像中的参考静态目标的关键点的坐标作为第一关键点的坐标；
在所述当前帧图像之前的一历史帧图像中确定所述第一关键点所对应的第二关键点的坐标，得到所述参考静态目标的关键点对，其中，所述第一关键点及其对应的第二关键点组成所述参考静态目标的关键点对；
根据所述参考静态目标的关键点对中第一关键点的坐标及第二关键点的坐标，计算得到用于表示坐标变换的本质矩阵；
确定从所述历史帧图像的采集位置到所述当前帧图像的采集位置的坐标平移向量；
在所述当前帧图像及所述历史帧图像中，获取待检测静态目标的关键点对；
根据所述待检测静态目标的关键点对、所述本质矩阵及所述坐标平移向量，计算得到所述待检测静态目标的相对位置。
2.根据权利要求1所述的方法，其特征在于，所述参考静态目标的关键点为所述参考静态目标的角点，所述对所述当前帧图像进行分析，得到所述当前帧图像中的参考静态目标的关键点的坐标作为第一关键点的坐标，包括：
确定所述当前帧图像中的参考静态目标所在的区域；
对所述参考静态目标所在的区域进行角点检测，得到所述参考静态目标的角点的坐标作为第一关键点的坐标。
3.根据权利要求2所述的方法，其特征在于，所述对所述参考静态目标所在的区域进行角点检测，得到所述参考静态目标的角点的坐标作为第一关键点的坐标，包括：
对所述参考静态目标所在的区域进行角点检测，得到所述参考静态目标的初始角点；
对所述当前帧图像进行亚像素化处理，并按照预设间隔将亚像素化处理后的当前帧图像进行网格划分；
将亚像素化处理后的当前帧图像的每个网格内的初始角点进行非极大值抑制，得到非极大值抑制后的参考静态目标的角点的坐标作为第一关键点的坐标。
4.根据权利要求1所述的方法，其特征在于，所述在所述当前帧图像之前的一历史帧图像中确定所述第一关键点所对应的第二关键点的坐标，得到所述参考静态目标的关键点对，包括：
在所述当前帧图像之前采用的各帧图像中，选取一帧图像作为历史帧图像；
利用光流跟踪算法在所述历史帧图像中跟踪得到与所述第一关键点光度最相似的点作为第二关键点，得到所述参考静态目标的关键点对。
5.根据权利要求4所述的方法，其特征在于，所述在所述当前帧图像之前采用的各帧图像中，选取一帧图像作为历史帧图像，包括：
选取所述当前帧图像之前采集的第N帧图像作为待比较图像，其中，N为正整数；
判断选取的待比较图像与所述当前帧图像的视差是否大于预设视差阈值；
若所述视差不大于所述预设视差阈值，将N增加指定数值并返回执行所述选取所述当前帧图像之前采集的第N帧图像作为待比较图像的步骤；
若所述视差大于所述预设视差阈值，将选取的待比较图像作为所述历史帧图像。
6.根据权利要求1所述的方法，其特征在于，所述本质矩阵包括归一化平移向量；
所述确定从所述历史帧图像的采集位置到所述当前帧图像的采集位置的坐标平移向量，包括：
获取从所述历史帧图像的采集位置到所述当前帧图像的采集位置的距离作为移动距离；
根据所述归一化平移向量及所述移动距离，计算从所述历史帧图像的采集位置到所述当前帧图像的采集位置的坐标平移向量。
7.根据权利要求1所述的方法，其特征在于，所述本质矩阵包括归一化平移向量及旋转矩阵；
所述根据所述待检测静态目标的关键点对、所述本质矩阵及所述坐标平移向量，计算得到所述待检测静态目标的相对位置，包括：
针对所述待检测静态目标中的每一关键点对，获取该关键点对中的第三关键点及第四关键点在图像采集设备坐标系中的坐标，其中，所述第三关键点为所述待检测静态目标在所述当前帧图像中的关键点，所述第四关键点为所述待检测静态目标在所述历史帧图像中的关键点；
利用公式s0x0＝s1Rx1+t及
Figure FDA0002675705190000031
计算得到第一尺度s1及第二尺度s0，其中，x0与x1分别表示所述第三关键点及所述第四关键点在图像采集设备坐标系中的坐标，R表示所述旋转矩阵，t表示坐标平移向量，∧表示反对称矩阵；
根据公式s0x0＝KP，计算得到所述待检测静态目标的相对位置，其中，K表示图像采集设备的内参，P表示所述第三关键点对应的世界坐标系中的点相对于所述图像采集设备的三维坐标点，所述待检测静态目标的相对位置通过所述三维坐标点进行表示。
8.根据权利要求1所述的方法，其特征在于，所述在所述当前帧图像及所述历史帧图像中，获取待检测静态目标的关键点对，包括：
将所述当前帧图像的各静态目标与所述历史帧图像的各静态目标进行配对，得到各全配对结果，其中，每个所述全配对结果中包括多个静态目标对，每个所述静态目标对中包括一个当前帧图像中的静态目标及一个历史帧图像中的静态目标；
分别计算各所述静态目标对中的两个静态目标的距离，得到各所述静态目标对的距离参数；
针对每一个全配对结果，计算该全配对结果中各静态目标对的距离参数的和，得到该全配对结果的总距离；
选取总距离最小的全配对结果，作为目标全配对结果；
在所述目标全配对结果的各静态目标对中选取待检测目标对应的静态目标对，得到第一静态目标及第二静态目标，其中，所述第一静态目标为所述当前帧图像中的静态目标，所述第二静态目标为所述历史帧图像中的静态目标；
获取所述第一静态目标的各关键点在图像采集设备坐标系下的坐标；
根据所述第一静态目标的各关键点的坐标及所述本质矩阵，分别确定所述第一静态目标的各关键点在所述第二静态目标中所对应的关键点的坐标，得到待检测静态目标的各关键点对。
9.一种电子设备，其特征在于，包括处理器及存储器；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-8任一所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-8任一所述的方法步骤。
CN202010947211.1A 2020-09-10 2020-09-10 基于图像的位置确定方法、电子设备及存储介质 Active CN112132895B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010947211.1A CN112132895B (zh) 2020-09-10 2020-09-10 基于图像的位置确定方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010947211.1A CN112132895B (zh) 2020-09-10 2020-09-10 基于图像的位置确定方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112132895A true CN112132895A (zh) 2020-12-25
CN112132895B CN112132895B (zh) 2021-07-20

Family

ID=73845392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010947211.1A Active CN112132895B (zh) 2020-09-10 2020-09-10 基于图像的位置确定方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112132895B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190130592A1 (en) * 2015-12-29 2019-05-02 Government Of The United States As Represetned By Secretary Of The Air Force Method for fast camera pose refinement for wide area motion imagery
US20190156276A1 (en) * 2017-08-07 2019-05-23 Standard Cognition, Corp Realtime inventory tracking using deep learning
CN110243358A (zh) * 2019-04-29 2019-09-17 武汉理工大学 多源融合的无人车室内外定位方法及***
CN110853151A (zh) * 2019-10-15 2020-02-28 西安理工大学 一种基于视频的三维立体点集恢复方法
CN111063027A (zh) * 2019-12-27 2020-04-24 河北工程大学 一种数字全息显微成像设备三维重构数据传导***
CN111161408A (zh) * 2019-12-27 2020-05-15 华南理工大学 一种实现增强现实的方法及其应用、计算设备
CN111462210A (zh) * 2020-03-31 2020-07-28 华南理工大学 一种基于极线约束的单目线特征地图构建方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190130592A1 (en) * 2015-12-29 2019-05-02 Government Of The United States As Represetned By Secretary Of The Air Force Method for fast camera pose refinement for wide area motion imagery
US20190156276A1 (en) * 2017-08-07 2019-05-23 Standard Cognition, Corp Realtime inventory tracking using deep learning
CN110243358A (zh) * 2019-04-29 2019-09-17 武汉理工大学 多源融合的无人车室内外定位方法及***
CN110853151A (zh) * 2019-10-15 2020-02-28 西安理工大学 一种基于视频的三维立体点集恢复方法
CN111063027A (zh) * 2019-12-27 2020-04-24 河北工程大学 一种数字全息显微成像设备三维重构数据传导***
CN111161408A (zh) * 2019-12-27 2020-05-15 华南理工大学 一种实现增强现实的方法及其应用、计算设备
CN111462210A (zh) * 2020-03-31 2020-07-28 华南理工大学 一种基于极线约束的单目线特征地图构建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIANGYING QIN 等: "Accumulative Errors Optimization for Visual Odometry of ORB-SLAM2 Based on RGB-D Cameras", 《MDPI》 *
邹雄 等: "基于特征点法和直接法VSLAM的研究", 《计算机应用研究》 *

Also Published As

Publication number Publication date
CN112132895B (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
CN108961327B (zh) 一种单目深度估计方法及其装置、设备和存储介质
US10311595B2 (en) Image processing device and its control method, imaging apparatus, and storage medium
US10366504B2 (en) Image processing apparatus and image processing method for performing three-dimensional reconstruction of plurality of images
US9679384B2 (en) Method of detecting and describing features from an intensity image
CN108369741A (zh) 用于配准数据的方法和***
KR102169309B1 (ko) 정보 처리장치 및 그 제어방법
EP3093822B1 (en) Displaying a target object imaged in a moving picture
US10607350B2 (en) Method of detecting and describing features from an intensity image
Benseddik et al. SIFT and SURF Performance evaluation for mobile robot-monocular visual odometry
JP2019114103A (ja) 物体認識処理装置、物体認識処理方法及びプログラム
CN105934757A (zh) 一种用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的方法和装置
US11189053B2 (en) Information processing apparatus, method of controlling information processing apparatus, and non-transitory computer-readable storage medium
KR101995466B1 (ko) 특징점을 이용한 스테레오 카메라의 이미지 매칭 방법 및 장치
CN113888583A (zh) 一种视觉跟踪准确性的实时判断方法及装置
CN112132895B (zh) 基于图像的位置确定方法、电子设备及存储介质
CN116977671A (zh) 基于图像空间定位的目标跟踪方法、装置、设备及存储介质
JP2006113832A (ja) ステレオ画像処理装置およびプログラム
CN110533663B (zh) 一种图像视差确定方法、装置、设备及***
CN115222789A (zh) 实例深度估计模型的训练方法、装置及设备
CN114998743A (zh) 一种视觉地图点的构建方法、装置、设备及介质
WO2017042852A1 (en) Object recognition appratus, object recognition method and storage medium
CN112348876A (zh) 一种标志牌的空间坐标获取方法及装置
Urmanov et al. Computer methods of image processing of volcanoes
CN111723830B (zh) 一种图像映射方法、装置及设备、存储介质
Onyango Multi-resolution automated image registration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220318

Address after: 430051 No. b1336, chuanggu startup area, taizihu cultural Digital Creative Industry Park, No. 18, Shenlong Avenue, Wuhan Economic and Technological Development Zone, Hubei Province

Patentee after: Yikatong (Hubei) Technology Co.,Ltd.

Address before: No.c101, chuanggu start up zone, taizihu cultural Digital Industrial Park, No.18 Shenlong Avenue, Wuhan Economic and Technological Development Zone, Hubei Province

Patentee before: HUBEI ECARX TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right