CN112150560B - 确定消失点的方法、装置及计算机存储介质 - Google Patents

确定消失点的方法、装置及计算机存储介质 Download PDF

Info

Publication number
CN112150560B
CN112150560B CN202011033258.3A CN202011033258A CN112150560B CN 112150560 B CN112150560 B CN 112150560B CN 202011033258 A CN202011033258 A CN 202011033258A CN 112150560 B CN112150560 B CN 112150560B
Authority
CN
China
Prior art keywords
image
vanishing point
image coordinates
coordinates
straight lines
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011033258.3A
Other languages
English (en)
Other versions
CN112150560A (zh
Inventor
王永宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Goldway Intelligent Transportation System Co Ltd
Original Assignee
Shanghai Goldway Intelligent Transportation System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Goldway Intelligent Transportation System Co Ltd filed Critical Shanghai Goldway Intelligent Transportation System Co Ltd
Priority to CN202011033258.3A priority Critical patent/CN112150560B/zh
Publication of CN112150560A publication Critical patent/CN112150560A/zh
Application granted granted Critical
Publication of CN112150560B publication Critical patent/CN112150560B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种确定消失点的方法、装置及计算机存储介质，属于机器视觉技术领域。在该方法中，基于深度学习分割网络对第一图像进行图像分割，得到第一感兴趣区域和第二感兴趣区域；根据第一感兴趣区域，确定第一参考消失点的图像坐标；根据第二感兴趣区域，确定第二参考消失点的图像坐标；根据第一参考消失点的图像坐标和第二参考消失点的图像坐标，确定第一图像中的消失点的图像坐标。使用基于深度学习分割网络的图像分割技术识别标识直线和消失点的抗干扰能力更强、且效率更高。并且，采用第一图像中的标识直线的信息和消失点的信息共同来确定第一图像中的消失点，确定消失点所依据的信息更加全面，从而提高确定的消失点的准确性。

Description

确定消失点的方法、装置及计算机存储介质
技术领域
本申请实施例涉及机器视觉技术领域，特别涉及一种确定消失点的方法、装置及计算机存储介质。
背景技术
三维空间中相互平行的直线投影到图像时，这两条相互平行的直线在图像中会相交于一点，该点即为消失点。比如，在针对路面上相互平行的两条车道线采集的图像中，图像中这两条车道线会相交于一点。在机器视觉技术中，通过相机采集的图像中的消失点的图像坐标对相机进行标定可以避免在标定过程中需要执行大量的实验操作。其中，如何确定图像中的消失点的图像坐标在一定程度上会影响标定的相机的参数的准确性。该相机的参数可以包括相机的俯仰角和水平偏转角等。
相关技术中通过图像中车道线中灰度图来确定两条平行车道线的交点，将确定的交点直接作为图像中的消失点，导致确定的消失点的准确性较低。
发明内容
本申请实施例提供了一种确定消失点的方法、装置及计算机存储介质，可以提高确定的消失点的准确性。所述技术方案如下：
一方面，提供了一种确定消失点的方法，所述方法包括：
基于深度学***行的多条标识直线；
根据所述第一感兴趣区域，确定所述第一图像中的第一参考消失点的图像坐标；
根据所述第二感兴趣区域，确定所述第一图像中的第二参考消失点的图像坐标；
根据所述第一参考消失点的图像坐标和第二参考消失点的图像坐标，确定所述第一图像中的消失点的图像坐标。
可选地，所述根据所述第一感兴趣区域，确定所述第一图像中的第一参考消失点的图像坐标，包括：
将所述第一感兴趣区域的中心的图像坐标确定为所述第一参考消失点的图像坐标。
可选地，所述根据所述第二感兴趣区域，确定所述第一图像中的第二参考消失点的图像坐标，包括：
根据所述第二感兴趣区域，确定所述多条标识直线中每条标识直线的特征点；
根据所述多条标识直线中每条标识直线的特征点的图像坐标，确定所述多条标识直线中每两条标识直线的交叉点的图像坐标；
根据所述多条标识直线中每两条标识直线的交叉点的图像坐标，确定所述第二参考消失点的图像坐标。
可选地，所述根据所述第一参考消失点的图像坐标和第二参考消失点的图像坐标，确定所述第一图像中的消失点的图像坐标，包括：
将所述第一参考消失点的图像坐标和第二参考消失点的图像坐标进行加权融合，将得到的图像坐标作为所述第一图像中的消失点的图像坐标。
可选地，所述根据所述第一参考消失点的图像坐标和第二参考消失点的图像坐标，确定所述第一图像中的消失点的图像坐标，包括：
将所述第一参考消失点的图像坐标和第二参考消失点的图像坐标进行加权融合，得到第三参考消失点的图像坐标；
获取第二图像的中的消失点的图像坐标，所述第二图像也为针对所述多条标识直线采集的图像，且相机采集所述第一图像和所述第二图像的内参系数和外参系数均相同，所述内参系数包括光心位置和焦距，所述外参系数包括水平偏转角和俯仰角；
对所述第二图像的中的消失点的图像坐标和所述第三参考消失点的图像坐标进行加权融合，将得到的图像坐标作为所述第一图像中的消失点的图像坐标。
可选地，所述对所述第二图像的中的消失点的图像坐标和所述第三参考消失点的图像坐标进行加权融合，包括：
根据所述第三参考消失点的图像坐标，将所述第一图像中每条标识直线的特征点的图像坐标转换为二维空间坐标，所述二维空间坐标是指以所述多条标识直线所在二维平面构建的二维坐标系中的坐标；
根据每条标识直线的特征点的二维空间坐标，确定所述第一图像中每两条标识直线之间的平行度；
根据所述第一图像中每两条标识直线之间的平行度，确定加权权重；
根据所述加权权重对所述第二图像的中的消失点的图像坐标和所述第三参考消失点的图像坐标进行加权融合。
可选地，所述方法还包括：
根据多个图像中每个图像中的消失点的图像坐标，确定所述多个图像中的消失点的图像坐标的概率分布，所述多个图像为针对所述多条标识直线采集的图像，且相机采集所述多个图像的内参系数和外参系数均相同；
根据所述多个图像中的消失点的图像坐标的概率分布，确定目标图像坐标；
根据所述目标图像坐标、以及所述相机的内参系数，确定所述相机的外参系数。
另一方面，提供了一种确定消失点的装置，所述装置包括：
分割模块，用于基于深度学***行的多条标识直线；
第一确定模块，用于根据所述第一感兴趣区域，确定所述第一图像中的第一参考消失点的图像坐标；
第二确定模块，用于根据所述第二感兴趣区域，确定所述第一图像中的第二参考消失点的图像坐标；
第三确定模块，用于根据所述第一参考消失点的图像坐标和第二参考消失点的图像坐标，确定所述第一图像中的消失点的图像坐标。
可选地，所述第一确定模块用于：
将所述第一感兴趣区域的中心的图像坐标确定为所述第一参考消失点的图像坐标。
可选地，所述第二确定模块用于：
根据所述第二感兴趣区域，确定所述多条标识直线中每条标识直线的特征点；
根据所述多条标识直线中每条标识直线的特征点的图像坐标，确定所述多条标识直线中每两条标识直线的交叉点的图像坐标；
根据所述多条标识直线中每两条标识直线的交叉点的图像坐标，确定所述第二参考消失点的图像坐标。
可选地，所述第三确定模块用于：
将所述第一参考消失点的图像坐标和第二参考消失点的图像坐标进行加权融合，将得到的图像坐标作为所述第一图像中的消失点的图像坐标。
可选地，所述第三确定模块用于：
将所述第一参考消失点的图像坐标和第二参考消失点的图像坐标进行加权融合，得到第三参考消失点的图像坐标；
获取第二图像的中的消失点的图像坐标，所述第二图像也为针对所述多条标识直线采集的图像，且相机采集所述第一图像和所述第二图像的内参系数和外参系数均相同，所述内参系数包括光心位置和焦距，所述外参系数包括水平偏转角和俯仰角；
对所述第二图像的中的消失点的图像坐标和所述第三参考消失点的图像坐标进行加权融合，将得到的图像坐标作为所述第一图像中的消失点的图像坐标。
可选地，所述第三确定模块用于：
根据所述第三参考消失点的图像坐标，将所述第一图像中每条标识直线的特征点的图像坐标转换为二维空间坐标，所述二维空间坐标是指以所述多条标识直线所在二维平面构建的二维坐标系中的坐标；
根据每条标识直线的特征点的二维空间坐标，确定所述第一图像中每两条标识直线之间的平行度；
根据所述第一图像中每两条标识直线之间的平行度，确定加权权重；
根据所述加权权重对所述第二图像的中的消失点的图像坐标和所述第三参考消失点的图像坐标进行加权融合。
可选地，所述装置还包括：
第四确定模块，用于根据多个图像中每个图像中的消失点的图像坐标，确定所述多个图像中的消失点的图像坐标的概率分布，所述多个图像为针对所述多条标识直线采集的图像，且相机采集所述多个图像的内参系数和外参系数均相同；
第五确定模块，用于根据所述多个图像中的消失点的图像坐标的概率分布，确定目标图像坐标；
第六确定模块，用于根据所述目标图像坐标、以及所述相机的内参系数，确定所述相机的外参系数。
本申请实施例提供的技术方案带来的有益效果至少包括：
在本申请实施例中，相对于相关技术中通过灰度分布梯度值来识别车道线和消失点，当本申请实施例中的标识直线为车道线时，使用基于深度学习分割网络识别图像中的标识直线和消失点的抗干扰能力更强、且效率更高。并且，本申请实施例采用第一图像中的标识直线的相关信息和消失点的相关信息共同来确定第一图像中的消失点。相对于相关技术中仅仅根据车道线信息或者消失点信息来确定消失点，确定消失点所依据的信息更加全面，且不同的信息之间可以互补，从而提高确定的消失点的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种确定消失点的方法流程图。
图2是本申请实施例提供的一种均值漂移算法的过程示意图。
图3是本申请实施例提供的另一种确定消失点的方法流程图。
图4是本申请实施例提供的一种确定消失点的装置的结构示意图。
图5是本申请实施例提供的一种终端的结构示意图。
图6是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
在对本申请实施例进行解释说明之前，先对本申请实施例的应用场景进行解释说明。
在机器视觉技术中，通常需要将相机采集的图像中的某一像素点的图像坐标和该像素点在三维空间中对应的位置点的空间坐标进行转换。其中，像素点的图像坐标和该像素点在三维空间中对应的位置点的空间坐标之间的转换通过坐标转换矩阵即可实现。
坐标转换矩阵可以通过相机的内参系数和外参次数来确定。其中，相机的内参系数包括相机的光心位置以及相机的焦距。相机的外参系数包括相机的水平偏转角和俯仰角。由于相机的内参系数可以方便地基于内参标定工具获取到，因此，在机器视觉技术中，通常需要对相机的外参系数进行标定，以获取到相机的外参系数。
需要说明的是，本申请实施例中的内参系数中的光心位置和相机的焦距沿用了本领域的相关解释。其中，光心位置可以标记为(ox，oy)。(ox，oy)中的两个参数分别是指相机的光轴在图像坐标系的两条坐标轴上的偏移。相机的焦距可以标记为(fx，fy)。其中，fx与相机到拍摄目标之间的距离的比值和拍摄目标在图像中的宽度与拍摄目标的实际宽度之间的比值一致。fy与相机到拍摄目标之间的距离的比值和拍摄目标在图像中的高度与拍摄目标的实际高度之间的比值一致。
本申请实施例提供的确定消失点的方法就应用于上述对相机的外参系数进行标定的场景中。
下面对本申请实施例提供的确定消失点的方法进行详细解释说明。需要说明的是，该方法可以应用于相机中，也可以应用于服务器中，或者还可以应用于和相机连接的后台终端中，本申请实施例对确定消失点的方法的执行主体不做具体限定。
图1是本申请实施例提供的一种确定消失点的方法流程图。如图1所示，该方法包括如下几个步骤。
步骤101：基于深度学***行的多条标识直线。
上述第一图像为待标定的相机采集的任一单帧图像。在本申请实施例中，为了提高标定的相机的外参系数的准确性，当选择通过路面上相互平行的车道线来标定相机时，可以选择道路笔直且道路上包括多条相互平行的车道线的场景来采集图像。如此，第一图像中包括的多条标识直线便为这多条车道线。这多条车道线在第一图像中汇聚于一点，该点即为消失点。
可选地，本申请实施例也可以选择其他类型的标识直线来标定相机。其他类型的标识直线可以为人工设置的直线型标记物，也可以为路面上除了车道线之外其他类型的标识直线。本申请实施例对此不做限定。比如，工作人员预先在路面上布置的能够形成多条相互平行的直线的标记物所形成的标识直线。
为了提高确定的消失点的准确性，本申请实施例采用第一图像中的标识直线相关的信息和消失点相关的信息共同来确定第一图像中的消失点。如此，当选择通过路面上相互平行的车道线来标定相机时，相对于仅仅根据车道线信息或者消失点信息来确定消失点，确定消失点所依据的信息更加全面，且不同的信息之间可以互补，从而提高确定的消失点的准确性。
在一种可能的实现方式中，获取第一图像中的车道线信息和消失点信息的实现过程可以为：基于深度学***行的多条标识直线。
上述基于深度学习分割网络的图像分割可以为语义分割、也可以为实例分割。本申请实施例对此不做限定。
语义分割是一种通过深度学习分割网络来识别图像中每个像素点所属类别的技术。因此，通过语义分割能够识别出第一图像中哪些像素点的类别为消失点，并将类别为消失点的像素点组成的区域称为第一感兴趣区域。通过语义分割还能够识别出第一图像中哪些像素点的类别为诸如车道线等标识直线，并将类别为标识直线的像素点组成的区域称为第二感兴趣区域。因此，通过语义分割可以提取出第一车道线中哪些区域为标识直线所在的区域，哪些区域为消失点所在的区域。
此外，在语义分割中，还可以将第一感兴趣区域中各个像素点的像素值设置为1，第一图像中除了第一区域之外其他区域的像素点的像素值设置为0，此时得到的图像可以称为消失点掩膜。将第二感兴趣区域中各个像素点的像素值设置为1，第一图像中除了第二区域之外其他区域的像素点的像素值设置为0，此时得到的图像可以称为标识直线掩膜。比如，当选择通过路面上相互平行的车道线来标定相机时，第一图像为车道线图像，进行语义分割之后分别得到消失点掩膜和车道线掩膜。在语义分割中，深度学习分割网络通常是先得到消失点掩膜和标识直线掩膜。然后将消失点掩膜和第一图像中对应像素点的像素值进行相乘，得到的图像中像素值为非0的像素点组成的区域便为上述第一感兴趣区域。将标识直线掩膜和第一图像中对应像素点的像素值进行相乘，得到的图像中像素值为非0的像素点组成的区域便为上述第二感兴趣区域。
实例分割是在语义分割的基础上进一步识别出属于同一类别的各个实例。因此，通过实例分割不仅能够识别出第一感兴趣区域，还能识别出第二感兴趣区域中的每条标识直线，而不是像语义分割那样只是将所有的标识直线识别出来，但是没有区分各条标识直线。
下面以通过路面上相互平行的车道线来标定相机的场景为例，对基于深度学习分割网络的图像分割技术识别标识直线和消失点的技术效果进行说明。
目前，采集第一车道线图像的环境复杂多样。如果是在室外场景下采集车道线图像，室外场景的环境与道路环境影响较大。如果是在室内场景下采集车道线图像，室内场景的环境易受光线明暗影响。因此，无论是室内还是室外的场景，车道线的分割的准确性都会受到车道线破损、光照等因素的制约。相关技术中通过灰度分布梯度值进行车道线分割的方法，受限于提取的低阶特征信息，分割出的车道线的准确性难以满足需求。
本申请实施例采用基于深度学习分割网络的图像分割技术分别获取第一感兴趣区域和第二感兴趣区域。其中，诸如FCN(fully convolutional networks，全卷积网络)、SegNet(semantic segmentation，语义切分)、DeepLab系列(谷歌团队提出了一系列分割网络)、Mask R-CNN(Mask region-convolutional neural networks掩膜区域-卷积神经网络)、PSP-Net(pyramid scene parsing network，金字塔场景解析网络)等经典的深度学习分割网络能够通过前向预测与反向传播的方式来训练端到端的全卷积网络，从而提取车道线、路面的高阶特征并融合低阶视觉信息，以实现在像素级别对车道线图像进行车道线及消失点的有效分割。因此，相对于相关技术中通过灰度分布梯度值来识别车道线和消失点，使用基于深度学习网络的语义分割技术识别车道线和消失点的抗干扰能力更强、且效率更高。
步骤102：根据第一感兴趣区域，确定第一图像中的第一参考消失点的图像坐标。
在一种可能实现方式中，步骤102的实现过程可以为：将第一感兴趣区域的中心的图像坐标确定为第一参考消失点的图像坐标。该第一感兴趣区域的中心是指第一图像中类别为消失点的像素点构成的区域的中心。
可选地，还可以通过人工方式在第一感兴趣区域中确定出上述第一参考消失点。具体地，当检测到针对该第一感兴趣区域中某个像素点的选择操作时，将该像素点的图像坐标确定为第一参考消失点的图像坐标。
需要说明的是，本申请实施例中的图像坐标均是指在图像坐标系下的坐标。关于如何建立图像坐标系本申请实施例不做具体限定。示例地，以第一图像的左上角的起始位置为原点，在第一图像所在的二维平面内构建图像坐标系。这种情况下，在确定出某个像素点作为第一参考消失点时，以该像素点为中心分别向图像坐标系中的水平方向和垂直方向做投影，根据该像素点在图像坐标系中的水平方向的坐标轴上的投影和在图像坐标系中的垂直方向的坐标轴上的投影，即可得到第一参考消失点的图像坐标。该方法也可以称为大津法。
步骤103：根据第二感兴趣区域，确定第一图像中的第二参考消失点的图像坐标。
由于在第一图像中，消失点是指真实空间中相互平行的标识直线在第一图像中的汇聚点。因此，还可以根据第二感兴趣区域，确定出一个参考消失点，以便和步骤102中根据第一感兴趣区域确定的参考消失点进行融合，得到最终的消失点。如此，便可增强确定的消失点位置的准确性和稳定性。
在一种可能的实现方式中，步骤103的实现过程可以为：根据第二感兴趣区域，确定第一图像包括的多条标识直线中每条标识直线的特征点，根据多条标识直线中每条标识直线的特征点的图像坐标，确定多条标识直线中每两条标识直线的交叉点的图像坐标，根据多条标识直线中每两条标识直线的交叉点的图像坐标，确定第二参考消失点的图像坐标。
在步骤101中通过语义分割得到第二感兴趣区域的情况下，由于语义分割只是将所有的标识直线识别出来，但是没有区分各条标识直线。因此，还可以进一步通过团块组合的分组方式来区分各条标识直线，进而得到每条标识直线上的特征点。关于团块组合方式可以参考相关技术，在此不再陈述。
需要说明的是，本申请实施例并不限定如何区分语义分割后得到的多条标识直线的实现方式。任何其他能够区分语义分割后得到的多条标识直线的实现方式均在本申请实施例的保护范围之内。比如，在通过语义分割得到第一图像中各条标识直线的特征点之后，还可以通过人工方式标注出哪些特征点为同一车道线的特征点。或者，通过预先训练的神经网络模型来识别哪些特征点为同一车道线的特征点。如此，便可获取到第一图像包括的多条标识直线中每条标识直线的特征点。
在步骤101中通过实例分割得到第二感兴趣区域的情况下，由于实例分割能够区分各条标识直线，因此，通过实例分割便可直接得到每条标识直线上的特征点。
另外，前述根据多条标识直线每条标识直线的特征点的图像坐标，确定多条标识直线中每两条标识直线的交叉点的图像坐标的实现方式可以为：对于任一条标识直线，根据该条标识直线包括的特征点的图像坐标，拟合出该条标识直线在图像坐标系下的直线方程。该直线方程能够表征该条标识直线上任一特征点的横坐标和纵坐标之间的位置关系。在得到多条标识直线中每条标识直线的车道线方程之后，便可通过确定出每两条标识直线的交叉点的图像坐标。
上述在拟合该条标识直线在图像坐标系下的直线方程的过程中，可以先过滤掉该条标识直线上的异常特征点，再利用该条标识直线上的除异常特征点外的特征点拟合出直线方程。提高了拟合出的直线方程的准确性。当选择通过路面上相互平行的车道线来标定相机时，前述直线方程还可以称为车道线方程。
此外，上述根据多条标识直线中每两条标识直线的交叉点的图像坐标，确定第二参考消失点的图像坐标的实现方式可以为：采用均值漂移(mean-shift)聚类算法确定得到的各个交叉点中最密集区域的质心，将该质心的图像坐标确定为第二参考消失点的图像坐标。
均值漂移聚类算法是一种基于核密度的自适应梯度上升算法，每次聚类结果总是指向密度增加最大的地方，逐渐收敛到分布数据点中密度最大的地方。示例地，对于二维空间的n个数据点集，存在点集Sk，Sk表示数据点集X内到数据点x的距离小于圆半径h的数据点。其中，x为数据点集X内任一个数据点，也即是：
Sk＝{X:(X-x)<h}
将x假设为数据点的中心，则数据集X中各个数据点相对于数据点x的漂移向量可由下面公式求得：
通过迭代更新上述数据点的中心，找到Mh最小时对应的x，则寻到找数据点集X里密度最大的位置，最终寻找到的位置即为n个数据点集中最密集区域的质心。
图2是本申请实施例提供的一种均值漂移聚类算法的过程示意图。如图2所示，数据点的中心由A位置移动到B的位置，再由B位置移动到C位置，逐渐收敛到数据点集中密度最大的地方，C位置的质心即为上述第二参考消失点。
可选地，上述根据多条标识直线中每两条标识直线的交叉点的图像坐标，确定第二参考消失点的图像坐标的实现方式还可以为：将各个交叉点的图像坐标的平均坐标作为第二参考消失点的图像坐标。在此不再详细说明。
此外需要说明的是，步骤102和步骤103没有严格的先后执行顺序，二者可以先后执行，也可以并行执行，本申请实施例对此不做限定。
步骤104：根据第一参考消失点的图像坐标和第二参考消失点的图像坐标，确定第一图像中的消失点的图像坐标。
在一种可能的实现方式中，步骤104的实现过程可以为：将第一参考消失点的图像坐标和第二参考消失点的图像坐标进行加权融合，将得到的图像坐标确定为第一图像中的消失点的图像坐标。
假设上述加权融合过程中第一参考消失点的权重为λ、则第二参考消失点的权重可设置为(1-λ)。将第一参考消失点的图像坐标标记为(x1，y1)，将第二参考消失点的图像坐标标记为(x2，y2)，则加权融合后的第一图像中的消失点的图像坐标可以标记为(λ*x1+(1-λ)*x2，λ*y1+(1-λ)*y2)。
上述加权融合过程中第一参考消失点的权重和第二参考消失点的权重可以通过人工方式指定，也可以通过其他途径来确定，在此不做具体限定。
为了后续便于说明，将上述确定第一图像中的消失点的过程称为一次融合过程。
在另一种可能的实现方式中，步骤104的实现过程可以为：将第一参考消失点的图像坐标和第二参考消失点的图像坐标进行加权融合，得到第三参考消失点的图像坐标，获取第二图像的中的消失点的图像坐标，所述第二图像也为针对所述多条标识直线采集的图像，且相机采集第一图像和第二图像的内参系数和外参系数均相同，内参系数包括光心位置和焦距，外参系数包括水平偏转角和俯仰角；对第二图像的中的消失点的图像坐标和第三参考消失点的图像坐标进行加权融合，将得到的图像坐标作为第一图像中的消失点的图像坐标。
为了避免单帧图像确定的消失点不够准确，在本申请实施例中，在确定第一图像中的消失点时，还可以结合针对同一多条标识直线采集的其他图像中的消失点对上述一次融合过程确定的消失点进行校正。这种场景下，上述第二图像可以为第一图像的上一帧图像。
示例地，当选择通过路面上相互平行的车道线来标定相机时，上述针对同一多条标识直线采集的图像是指针对同一路面采集的车道线图像。其中，针对同一路面采集的车道线图像可以是指相机固定位置后针对同一路面采集的多帧图像。也可以是相机在缓慢移动过程中针对同一路面采集的多帧图像。需要说明的是，在后者的场景中，需要满足相机缓慢移动过程中相机中的车道线的分布基本没有发生变化。如此基于其他帧图像中的消失点的位置对当前帧图像中的消失点位置进行校正才有实际意义。
为了后续便于说明，将对第二图像的中的消失点的图像坐标和第三参考消失点的图像坐标进行加权融合的过程称为二次融合过程。在本申请实施例中，通过不同信息多次融合得到消失点，能够提升确定的消失点的准确性和稳定性，增强了抗干扰的能力。
另外，上述对第二图像的中的消失点的图像坐标和第三参考消失点的图像坐标进行加权融合实现方式可以为：根据第三参考消失点的图像坐标，将第一图像中每条标识直线的特征点的图像坐标转换为二维空间坐标，该二维空间坐标是指以这多条标识直线所在二维平面构建的二维坐标系中的坐标；根据每条标识直线的特征点的二维空间坐标，确定第一图像中每两条的标识直线之间的平行度；根据第一图像中每两条的标识直线之间的平行度，确定加权权重；根据加权权重对第二图像的中的消失点的图像坐标和第三参考消失点的图像坐标进行加权融合。
当选择通过路面上相互平行的车道线来标定相机时，上述二维空间坐标即为多条车道线所在的二维平面内构建的二维坐标系中的坐标。该二维空间坐标还可以称为路面坐标。此时，上述将车道线中的特征点的图像坐标转换为路面坐标的过程还可以称为逆透视变换过程。
上述确定的每两条标识直线之间的平行度可以是指这两条标识直线之间的平行程度。这种场景下，上述确定的每两条平行的标识直线之间的平行度越好，表明第三参考消失点和第一图像中的实际消失点之间越接近。上述确定的任意两条平行的车道线之间的平行度越差，表明第三参考消失点和第一图像中的实际消失点之间越远。因此，在本申请实施例中，可以根据一次融合后的得到的参考消失点，将标识直线经逆透视变换，然后确定车标识直线之间的平行度，最后根据确定的平行度来设置二次融合过程中的权重。
示例地，在确定出第一图像中任意两条平行的标识直线之间的平行度之后，确定所有标识直线之间的平行度的平均值。该平均值越大，则将二次融合过程中的第三参考消失点的图像坐标的权重设置的越大。该平均值越小，则将二次融合过程中的第三参考消失点的图像坐标的权重设置的越小。
可选地，上述确定的每两条标识直线之间的平行度可以是指这两条标识直线之间的偏离平行的程度。这种场景下，上述确定的每两条平行的标识直线之间的平行度越好，表明第三参考消失点和第一图像中的实际消失点之间差距越大。上述确定的任意两条平行的车道线之间的平行度越差，表明第三参考消失点和第一图像中的实际消失点之间越接近。此时，同样可以基于每两条标识直线之间的平行度设置二次融合过程中第三参考消失点的图像坐标的权重。
示例地，在确定出第一图像中任意两条平行的标识直线之间的平行度之后，确定所有标识直线之间的平行度的平均值。该平均值越大，则将二次融合过程中的第三参考消失点的图像坐标的权重设置的越小。该平均值越小，则将二次融合过程中的第三参考消失点的图像坐标的权重设置的越大。
上述步骤102至步骤104是以第一图像为例来说明如何确定某一帧图像中的消失点。在本申请实施例中，为了提高标定的相机的外参系数的准确性，可以根据针对前述多条标识直线采集的多帧图像中的消失点来标定的相机的外参系数。
因此，在一种可能的实现方式中，标定相机外参系数的实现过程可以为：根多个图像中每个图像中的消失点的图像坐标，确定多个图像中的消失点的图像坐标的概率分布，这多个图像均为针对同一多条标识直线采集的图像，且相机采集多个图像的内参系数和外参系数均相同；根据多个图像中的消失点的图像坐标的概率分布，确定目标图像坐标；根据目标图像坐标、以及相机的内参系数，确定相机的外参系数。
上述任一图像中的消失点的图像坐标均可以是通过步骤101至步骤104确定的消失点的图像坐标。
另外，上述根据多个图像坐标的概率分布，确定目标图像坐标的实现过程可以为：根据多个图像坐标的横坐标的概率分布，确定概率最大的一个横坐标，根据多个图像坐标的纵坐标的概率分布，确定概率最大的一个纵坐标。将概率最大的横坐标和概率最大的纵坐标组成的图像坐标作为上述目标图像坐标。
可选地，还可以直接将多个图像中每个图像中的消失点的图像坐标的平均坐标确定为目标图像坐标。在此不再详细说明。
此外，上述根据目标图像坐标、以及相机的内参系数，确定相机的外参系数中的相机的俯仰角α可以通过下述公式来确定：
其中，(ox，oy)表示相机的光心位置。(fx，fy)表示相机的焦距。表示上述目标图像坐标。
上述根据目标图像坐标、以及相机的内参系数，确定相机的外参系数中的相机的水平偏转角β可以通过下述公式来确定：
下面以图3为例对本申请实施例提供的确定消失点的方法应用在标定相机外参系数的场景进行简单说明。图3应用于选择通过路面上相互平行的车道线来标定相机的场景中。需要说明的是，图3仅仅用于举例说明，并不构成对本申请实施例提供的确定消失点的方法的限定。
在图3所示的流程中，首先采用深度学***行线交点，并利用均值漂移聚类算法获取第二参考消失点Q。再利用第一参考消失点P和第二参考消失点Q进行一次融合，获得第三参考消失点M。结合上一帧最终确定的消失点的图像坐标、第三参考消失点M以及平行车道线经逆透视变换后所得的平行度大小进行二次融合，获得当前帧最终消失点的图像坐标。根据各帧车道线图像中的消失点的图像坐标的概率分布，确定目标图像坐标。具体地，利用多帧车道线图像中单帧消失点的图像坐标得到消失点的横坐标概率图和消失点纵坐标概率图，计算最大概率的横坐标和纵坐标，将其作为目标图像坐标。目标图像坐标也可以称为最终的消失点的图像坐标，根据该最终的消失点的图像坐标及相机内参系数，即可计算出相机外参系数。
上述所有可选技术方案，均可按照任意结合形成本申请的可选实施例，本申请实施例对此不再一一赘述。
在本申请实施例中，当多条标识直线为车道线时，相对于相关技术中通过灰度分布梯度值来识别车道线和消失点，使用基于深度学习分割网络的图像技术识别车道线和消失点的抗干扰能力更强、且效率更高。并且，本申请实施例采用第一图像中的车道线的相关信息和消失点相关信息共同来确定第一图像中的消失点。相对于仅仅根据车道线相关的信息或者消失点相关的信息来确定消失点，确定消失点所依据的信息更加全面，且不同的信息之间可以互补，从而提高确定的消失点的准确性。
图4是本申请实施例提供的一种确定消失点的装置的结构示意图。如图4所示，该装置400包括：
分割模块401，用于基于深度学***行的多条标识直线；
第一确定模块402，用于根据第一感兴趣区域，确定第一图像中的第一参考消失点的图像坐标；
第二确定模块403，用于根据第二感兴趣区域，确定第一图像中的第二参考消失点的图像坐标；
第三确定模块404，用于根据第一参考消失点的图像坐标和第二参考消失点的图像坐标，确定第一图像中的消失点的图像坐标。
可选地，第一确定模块用于：
将第一感兴趣区域的中心的图像坐标确定为第一参考消失点的图像坐标。
可选地，第二确定模块用于：
根据第二感兴趣区域，确定多条标识直线中每条标识直线的特征点；
根据多条标识直线中每条标识直线的特征点的图像坐标，确定多条标识直线中每两条标识直线的交叉点的图像坐标；
根据多条标识直线中每两条标识直线的交叉点的图像坐标，确定第二参考消失点的图像坐标。
可选地，第三确定模块用于：
将第一参考消失点的图像坐标和第二参考消失点的图像坐标进行加权融合，将得到的图像坐标作为第一图像中的消失点的图像坐标。
可选地，第三确定模块用于：
将第一参考消失点的图像坐标和第二参考消失点的图像坐标进行加权融合，得到第三参考消失点的图像坐标；
获取第二图像的中的消失点的图像坐标，第二图像也为针对多条标识直线采集的图像，且相机采集第一图像和第二图像的内参系数和外参系数均相同，内参系数包括光心位置和焦距，外参系数包括水平偏转角和俯仰角；
对第二图像的中的消失点的图像坐标和第三参考消失点的图像坐标进行加权融合，将得到的图像坐标作为第一图像中的消失点的图像坐标。
可选地，第三确定模块用于：
根据第三参考消失点的图像坐标，将第一图像中每条标识直线的特征点的图像坐标转换为二维空间坐标，二维空间坐标是指以这多条标识直线所在二维平面构建的二维坐标系中的坐标；
根据每条标识直线的特征点的二维空间坐标，确定第一图像中每两条标识直线之间的平行度；
根据第一图像中每两条标识直线之间的平行度，确定加权权重；
根据加权权重对第二图像的中的消失点的图像坐标和第三参考消失点的图像坐标进行加权融合。
可选地，该装置还包括：
第四确定模块，用于根据多个图像中每个图像中的消失点的图像坐标，确定多个图像中的消失点的图像坐标的概率分布，多个图像为针对多条标识直线采集的图像，且相机采集多个图像的内参系数和外参系数均相同；
第五确定模块，用于根据多个图像中的消失点的图像坐标的概率分布，确定目标图像坐标；
第六确定模块，用于根据目标图像坐标、以及相机的内参系数，确定相机的外参系数。
在本申请实施例中，当多条标识直线为车道线时，相对于相关技术中通过灰度分布梯度值来识别车道线和消失点，使用基于深度学习分割网络的图像技术识别车道线和消失点的抗干扰能力更强、且效率更高。并且，本申请实施例采用第一图像中的车道线的相关信息和消失点相关信息共同来确定第一图像中的消失点。相对于仅仅根据车道线相关的信息或者消失点相关的信息来确定消失点，确定消失点所依据的信息更加全面，且不同的信息之间可以互补，从而提高确定的消失点的准确性。
需要说明的是：上述实施例提供的确定消失点的装置在确定消失点时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的确定消失点的装置与确定消失点的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图5是本申请实施例提供的一种终端500的结构框图。该终端500可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端500还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端500包括有：处理器501和存储器502。
处理器501可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器501可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器501可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器501还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器502可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器502还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器502中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器501所执行以实现本申请中方法实施例提供的确定消失点的方法。
在一些实施例中，终端500还可选包括有：***设备接口503和至少一个***设备。处理器501、存储器502和***设备接口503之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口503相连。具体地，***设备包括：射频电路504、触摸显示屏505、摄像头506、音频电路507、定位组件508和电源509中的至少一种。
***设备接口503可被用于将I/O(Input/Output，输入/输出)相关的至少一个***设备连接到处理器501和存储器502。在一些实施例中，处理器501、存储器502和***设备接口503被集成在同一芯片或电路板上；在一些其他实施例中，处理器501、存储器502和***设备接口503中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路504用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路504将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路504包括：天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路504可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路504还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏505用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏505是触摸显示屏时，显示屏505还具有采集在显示屏505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器501进行处理。此时，显示屏505还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏505可以为一个，设置终端500的前面板；在另一些实施例中，显示屏505可以为至少两个，分别设置在终端500的不同表面或呈折叠设计；在再一些实施例中，显示屏505可以是柔性显示屏，设置在终端500的弯曲表面上或折叠面上。甚至，显示屏505还可以设置成非矩形的不规则图形，也即异形屏。显示屏505可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件506用于采集图像或视频。可选地，摄像头组件506包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件506还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器501进行处理，或者输入至射频电路504以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端500的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器501或射频电路504的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路507还可以包括耳机插孔。
定位组件508用于定位终端500的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件508可以是基于美国的GPS(GlobalPositioning System，全球定位***)、中国的北斗***、俄罗斯的格雷纳斯***或欧盟的伽利略***的定位组件。
电源509用于为终端500中的各个组件进行供电。电源509可以是交流电、直流电、一次性电池或可充电电池。当电源509包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端500还包括有一个或多个传感器510。该一个或多个传感器510包括但不限于：加速度传感器511、陀螺仪传感器512、压力传感器513、指纹传感器514、光学传感器515以及接近传感器516。
加速度传感器511可以检测以终端500建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器511可以用于检测重力加速度在三个坐标轴上的分量。处理器501可以根据加速度传感器511采集的重力加速度信号，控制触摸显示屏505以横向视图或纵向视图进行用户界面的显示。加速度传感器511还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器512可以检测终端500的机体方向及转动角度，陀螺仪传感器512可以与加速度传感器511协同采集用户对终端500的3D动作。处理器501根据陀螺仪传感器512采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器513可以设置在终端500的侧边框和/或触摸显示屏505的下层。当压力传感器513设置在终端500的侧边框时，可以检测用户对终端500的握持信号，由处理器501根据压力传感器513采集的握持信号进行左右手识别或快捷操作。当压力传感器513设置在触摸显示屏505的下层时，由处理器501根据用户对触摸显示屏505的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器514用于采集用户的指纹，由处理器501根据指纹传感器514采集到的指纹识别用户的身份，或者，由指纹传感器514根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器501授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器514可以被设置终端500的正面、背面或侧面。当终端500上设置有物理按键或厂商Logo时，指纹传感器514可以与物理按键或厂商Logo集成在一起。
光学传感器515用于采集环境光强度。在一个实施例中，处理器501可以根据光学传感器515采集的环境光强度，控制触摸显示屏505的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏505的显示亮度；当环境光强度较低时，调低触摸显示屏505的显示亮度。在另一个实施例中，处理器501还可以根据光学传感器515采集的环境光强度，动态调整摄像头组件506的拍摄参数。
接近传感器516，也称距离传感器，通常设置在终端500的前面板。接近传感器516用于采集用户与终端500的正面之间的距离。在一个实施例中，当接近传感器516检测到用户与终端500的正面之间的距离逐渐变小时，由处理器501控制触摸显示屏505从亮屏状态切换为息屏状态；当接近传感器516检测到用户与终端500的正面之间的距离逐渐变大时，由处理器501控制触摸显示屏505从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图5中示出的结构并不构成对终端500的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
本申请实施例还提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端的处理器执行时，使得终端能够执行上实施例提供的确定消失点的方法。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在终端上运行时，使得终端执行上述实施例提供的确定消失点的方法。
图6是本申请实施例提供的一种服务器的结构示意图。该服务器可以是后台服务器集群中的服务器。具体来讲：
服务器600包括中央处理单元(CPU)601、包括随机存取存储器(RAM)602和只读存储器(ROM)603的***存储器604，以及连接***存储器604和中央处理单元601的***总线605。服务器600还包括帮助计算机内的各个器件之间传输信息的基本输入/输出***(I/O***)606，和用于存储操作***613、应用程序614和其他程序模块615的大容量存储设备607。
基本输入/输出***606包括有用于显示信息的显示器608和用于用户输入信息的诸如鼠标、键盘之类的输入设备609。其中显示器608和输入设备609都通过连接到***总线605的输入输出控制器610连接到中央处理单元601。基本输入/输出***606还可以包括输入输出控制器610以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器610还提供输出到显示屏、打印机或其他类型的输出设备。
大容量存储设备607通过连接到***总线605的大容量存储控制器(未示出)连接到中央处理单元601。大容量存储设备607及其相关联的计算机可读介质为服务器600提供非易失性存储。也就是说，大容量存储设备607可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的***存储器604和大容量存储设备607可以统称为存储器。
根据本申请的各种实施例，服务器600还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器600可以通过连接在***总线605上的网络接口单元611连接到网络612，或者说，也可以使用网络接口单元611来连接到其他类型的网络或远程计算机***(未示出)。
上述存储器还包括一个或者一个以上的程序，一个或者一个以上程序存储于存储器中，被配置由CPU执行。所述一个或者一个以上程序包含用于进行本申请实施例提供的确定消失点的方法的指令。
本申请实施例还提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由服务器的处理器执行时，使得服务器能够执行上述实施例提供的确定消失点的方法。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在服务器上运行时，使得服务器执行上述实施例提供的确定消失点的方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请实施例，凡在本申请实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请实施例的保护范围之内。

Claims (14)

1.一种确定消失点的方法，其特征在于，所述方法包括：
基于深度学***行的多条标识直线，所述多条标识直线在所述第一图像中汇聚于所述消失点；
根据所述第一感兴趣区域，确定所述第一图像中的第一参考消失点的图像坐标，所述第一参考消失点的图像坐标是与所述第一图像中的消失点相关的信息；
根据所述第二感兴趣区域，确定所述第一图像中的第二参考消失点的图像坐标，所述第二参考消失点的图像坐标是与所述第一图像中的多条标识直线相关的信息；
将所述第一参考消失点的图像坐标和第二参考消失点的图像坐标进行一次加权融合，得到第三参考消失点的图像坐标，
获取第二图像的中的消失点的图像坐标，所述第二图像为第一图像的上一帧图像，
对所述第二图像的中的消失点的图像坐标和所述第三参考消失点的图像坐标进行二次加权融合，以对第三参考消失点的图像坐标进行校正，将得到的图像坐标作为所述第一图像中的消失点的图像坐标，
其中，
一次加权融合所使用的加权权重以人工方式指定，
二次加权融合所使用的加权权重根据第一图像中每两条的标识直线之间的平行度确定，
在平行度用于表征两条标识直线之间的平行程度的情形下，平行度越好，第三参考消失点和第一图像中的实际消失点之间越接近，第三参考消失点的图像坐标的权重越大，
在平行度用于表征两条标识直线之间的偏离平行的程度的情形下，平行度越好，表明第三参考消失点和第一图像中的实际消失点之间差距越大，第三参考消失点的图像坐标的权重越小。
2.如权利要求1所述的方法，其特征在于，所述根据所述第一感兴趣区域，确定所述第一图像中的第一参考消失点的图像坐标，包括：
将所述第一感兴趣区域的中心的图像坐标确定为所述第一参考消失点的图像坐标。
3.如权利要求1所述的方法，其特征在于，所述根据所述第二感兴趣区域，确定所述第一图像中的第二参考消失点的图像坐标，包括：
根据所述第二感兴趣区域，确定所述多条标识直线中每条标识直线的特征点；
根据所述多条标识直线中每条标识直线的特征点的图像坐标，确定所述多条标识直线中每两条标识直线的交叉点的图像坐标；
根据所述多条标识直线中每两条标识直线的交叉点的图像坐标，确定所述第二参考消失点的图像坐标。
4.如权利要求1所述的方法，其特征在于，所述第二图像为针对所述多条标识直线采集的图像，且所述相机采集所述第一图像和所述第二图像的内参系数和外参系数均相同，所述内参系数包括光心位置和焦距，所述外参系数包括水平偏转角和俯仰角。
5.如权利要求1所述的方法，其特征在于，所述平行度以如下方式确定：
根据所述第三参考消失点的图像坐标，将所述第一图像中每条标识直线的特征点的图像坐标转换为二维空间坐标，所述二维空间坐标是指以所述多条标识直线所在二维平面构建的二维坐标系中的坐标；
根据每条标识直线的特征点的二维空间坐标，确定所述第一图像中每两条标识直线之间的平行度；
根据所述加权权重对所述第二图像的中的消失点的图像坐标和所述第三参考消失点的图像坐标进行加权融合。
6.如权利要求1至5任一所述的方法，其特征在于，所述方法还包括：
根据多个图像中每个图像中的消失点的图像坐标，确定所述多个图像中的消失点的图像坐标的概率分布，所述多个图像为针对所述多条标识直线采集的图像，且所述相机采集所述多个图像的内参系数和外参系数均相同；
根据所述多个图像中的消失点的图像坐标的概率分布，确定目标图像坐标；
根据所述目标图像坐标、以及所述相机的内参系数，确定所述相机的外参系数。
7.一种确定消失点的装置，其特征在于，所述装置包括：
分割模块，用于基于深度学***行的多条标识直线，所述多条标识直线在所述第一图像中汇聚于所述消失点；
第一确定模块，用于根据所述第一感兴趣区域，确定所述第一图像中的第一参考消失点的图像坐标，所述第一参考消失点的图像坐标是与所述第一图像中的消失点相关的信息；
第二确定模块，用于根据所述第二感兴趣区域，确定所述第一图像中的第二参考消失点的图像坐标，所述第二参考消失点的图像坐标是与所述第一图像中的多条标识直线相关的信息；
第三确定模块，用于将所述第一参考消失点的图像坐标和第二参考消失点的图像坐标进行一次加权融合，得到第三参考消失点的图像坐标，获取第二图像的中的消失点的图像坐标，所述第二图像为第一图像的上一帧图像，对所述第二图像的中的消失点的图像坐标和所述第三参考消失点的图像坐标进行二次加权融合，以对第三参考消失点的图像坐标进行校正，将得到的图像坐标作为所述第一图像中的消失点的图像坐标，
其中，
一次加权融合所使用的加权权重以人工方式指定，
二次加权融合所使用的加权权重根据第一图像中每两条的标识直线之间的平行度确定，
在平行度用于表征两条标识直线之间的平行程度的情形下，平行度越好，第三参考消失点和第一图像中的实际消失点之间越接近，第三参考消失点的图像坐标的权重越大，
在平行度用于表征两条标识直线之间的偏离平行的程度的情形下，平行度越好，表明第三参考消失点和第一图像中的实际消失点之间差距越大，第三参考消失点的图像坐标的权重越小。
8.如权利要求7所述的装置，其特征在于，所述第一确定模块用于：
将所述第一感兴趣区域的中心的图像坐标确定为所述第一参考消失点的图像坐标。
9.如权利要求7所述的装置，其特征在于，所述第二确定模块用于：
根据所述第二感兴趣区域，确定所述多条标识直线中每条标识直线的特征点；
根据所述多条标识直线中每条标识直线的特征点的图像坐标，确定所述多条标识直线中每两条标识直线的交叉点的图像坐标；
根据所述多条标识直线中每两条标识直线的交叉点的图像坐标，确定所述第二参考消失点的图像坐标。
10.如权利要求7所述的装置，其特征在于，所述第二图像为针对所述多条标识直线采集的图像，且所述相机采集所述第一图像和所述第二图像的内参系数和外参系数均相同，所述内参系数包括光心位置和焦距，所述外参系数包括水平偏转角和俯仰角。
11.如权利要求7所述的装置，其特征在于，所述第三确定模块用于：
根据所述第三参考消失点的图像坐标，将所述第一图像中每条标识直线的特征点的图像坐标转换为二维空间坐标，所述二维空间坐标是指以所述多条标识直线所在二维平面构建的二维坐标系中的坐标；
根据每条标识直线的特征点的二维空间坐标，确定所述第一图像中每两条标识直线之间的平行度。
12.如权利要求7至11任一所述的装置，其特征在于，所述装置还包括：
第四确定模块，用于根据多个图像中每个图像中的消失点的图像坐标，确定所述多个图像中的消失点的图像坐标的概率分布，所述多个图像为针对所述多条标识直线采集的图像，且所述相机采集所述多个图像的内参系数和外参系数均相同；
第五确定模块，用于根据所述多个图像中的消失点的图像坐标的概率分布，确定目标图像坐标；
第六确定模块，用于根据所述目标图像坐标、以及所述相机的内参系数，确定所述相机的外参系数。
13.一种确定消失点的装置，其特征在于，所述装置包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行上述权利要求1至6中的任一项权利要求所述的方法的步骤。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现上述权利要求1至6中的任一项权利要求所述的方法的步骤。
CN202011033258.3A 2020-09-27 2020-09-27 确定消失点的方法、装置及计算机存储介质 Active CN112150560B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011033258.3A CN112150560B (zh) 2020-09-27 2020-09-27 确定消失点的方法、装置及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011033258.3A CN112150560B (zh) 2020-09-27 2020-09-27 确定消失点的方法、装置及计算机存储介质

Publications (2)

Publication Number Publication Date
CN112150560A CN112150560A (zh) 2020-12-29
CN112150560B true CN112150560B (zh) 2024-02-02

Family

ID=73894562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011033258.3A Active CN112150560B (zh) 2020-09-27 2020-09-27 确定消失点的方法、装置及计算机存储介质

Country Status (1)

Country Link
CN (1) CN112150560B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112989956A (zh) * 2021-02-20 2021-06-18 潍柴动力股份有限公司 基于感兴趣区域的红绿灯识别方法、***及存储介质
CN112950725A (zh) * 2021-03-22 2021-06-11 深圳市城市交通规划设计研究中心股份有限公司 一种监控相机参数标定方法及装置
CN113375687B (zh) * 2021-05-12 2023-06-02 武汉极目智能技术有限公司 基于平行约束的车道线消失点补偿的方法及***、装置
CN114140426B (zh) * 2021-11-29 2023-05-26 广州海谷电子科技有限公司 一种湿度传感器陶瓷基片印刷碳线图像处理倾斜矫正算法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927748A (zh) * 2014-04-09 2014-07-16 东南大学 一种基于多矩形图像距离转换模型的坐标标定方法
CN105138955A (zh) * 2015-07-10 2015-12-09 深圳市中天安驰有限责任公司 一种道路消失点的检测方法
CN109583280A (zh) * 2017-09-29 2019-04-05 比亚迪股份有限公司 车道线识别方法、装置、设备及存储介质
WO2019184885A1 (zh) * 2018-03-30 2019-10-03 杭州海康威视数字技术股份有限公司 一种相机外参标定方法、装置及电子设备
CN110349219A (zh) * 2018-04-04 2019-10-18 杭州海康威视数字技术股份有限公司 一种相机外参标定方法及装置
CN110490943A (zh) * 2019-08-26 2019-11-22 长沙自由视像信息科技有限公司 4d全息捕捉***的快速精确标定方法、***及存储介质
CN111223150A (zh) * 2020-01-15 2020-06-02 电子科技大学 一种基于双消失点的车载摄像头外参数标定方法
CN111291601A (zh) * 2018-12-07 2020-06-16 阿里巴巴集团控股有限公司 车道线识别方法和装置以及电子设备
CN111336951A (zh) * 2018-12-18 2020-06-26 大陆汽车有限责任公司 用于校准图像传感器的外部参数的方法和设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009016941A (ja) * 2007-06-29 2009-01-22 Funai Electric Co Ltd 撮像装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927748A (zh) * 2014-04-09 2014-07-16 东南大学 一种基于多矩形图像距离转换模型的坐标标定方法
CN105138955A (zh) * 2015-07-10 2015-12-09 深圳市中天安驰有限责任公司 一种道路消失点的检测方法
CN109583280A (zh) * 2017-09-29 2019-04-05 比亚迪股份有限公司 车道线识别方法、装置、设备及存储介质
WO2019184885A1 (zh) * 2018-03-30 2019-10-03 杭州海康威视数字技术股份有限公司 一种相机外参标定方法、装置及电子设备
CN110349219A (zh) * 2018-04-04 2019-10-18 杭州海康威视数字技术股份有限公司 一种相机外参标定方法及装置
CN111291601A (zh) * 2018-12-07 2020-06-16 阿里巴巴集团控股有限公司 车道线识别方法和装置以及电子设备
CN111336951A (zh) * 2018-12-18 2020-06-26 大陆汽车有限责任公司 用于校准图像传感器的外部参数的方法和设备
CN110490943A (zh) * 2019-08-26 2019-11-22 长沙自由视像信息科技有限公司 4d全息捕捉***的快速精确标定方法、***及存储介质
CN111223150A (zh) * 2020-01-15 2020-06-02 电子科技大学 一种基于双消失点的车载摄像头外参数标定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Efficient vanishing point detection method in complex urban road environments;Weili Ding等;《IET》;20150801;第9卷(第4期);章节2.4 *

Also Published As

Publication number Publication date
CN112150560A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
CN112150560B (zh) 确定消失点的方法、装置及计算机存储介质
CN111126182B (zh) 车道线检测方法、装置、电子设备及存储介质
CN110967011A (zh) 一种定位方法、装置、设备及存储介质
CN110807361A (zh) 人体识别方法、装置、计算机设备及存储介质
CN110095128B (zh) 获取缺失道路情报的方法、装置、设备及存储介质
CN109886208B (zh) 物体检测的方法、装置、计算机设备及存储介质
CN112749613B (zh) 视频数据处理方法、装置、计算机设备及存储介质
CN111104893B (zh) 目标检测方法、装置、计算机设备及存储介质
CN113205515B (zh) 目标检测方法、装置、及计算机存储介质
CN112308103B (zh) 生成训练样本的方法和装置
CN110738185B (zh) 表单对象的识别方法、装置及存储介质
CN112381729B (zh) 图像处理方法、装置、终端及存储介质
CN111444749B (zh) 路面导向标志的识别方法、装置及存储介质
CN111754564B (zh) 视频展示方法、装置、设备及存储介质
CN111488895B (zh) 对抗数据生成方法、装置、设备及存储介质
CN110163192B (zh) 字符识别方法、装置及可读介质
CN113938606B (zh) 确定球机架设参数的方法、装置及计算机存储介质
CN113592874B (zh) 图像显示方法、装置和计算机设备
CN114623836A (zh) 车辆位姿确定方法、装置及车辆
CN114093020A (zh) 动作捕捉方法、装置、电子设备及存储介质
CN116681755B (zh) 位姿预测方法和装置
CN113409235B (zh) 一种灭点估计的方法及装置
CN113689484B (zh) 深度信息的确定方法、装置、终端及存储介质
CN112214645B (zh) 一种存储轨迹数据的方法及装置
CN111382771B (zh) 数据分类方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant