CN115311635B - 车道线处理方法、装置、设备及存储介质 - Google Patents
车道线处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115311635B CN115311635B CN202210883694.2A CN202210883694A CN115311635B CN 115311635 B CN115311635 B CN 115311635B CN 202210883694 A CN202210883694 A CN 202210883694A CN 115311635 B CN115311635 B CN 115311635B
- Authority
- CN
- China
- Prior art keywords
- lane
- lane line
- constraint
- line
- width
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 230000008859 change Effects 0.000 claims abstract description 59
- 238000012545 processing Methods 0.000 claims abstract description 39
- 238000005070 sampling Methods 0.000 claims description 99
- 238000000034 method Methods 0.000 claims description 36
- 238000010276 construction Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 abstract description 2
- 238000005457 optimization Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
本公开提供了一种车道线处理方法、装置、设备及存储介质。涉及计算机技术领域，具体涉及自动驾驶、计算机视觉和车道线检测等领域。具体实现方案为：确定待处理图像帧的第一车道线和第二车道线；在第一车道线和第二车道线构成的车道的宽度满足预设线性变化条件的情况下，构造车道宽度约束和车道线约束；基于车道宽度约束和车道线约束，得到第一车道线和第二车道线分别对应的曲线模型。根据本公开的技术方案，能提升车道线建模的准确性。
Description
技术领域
本公开涉及计算机技术领域，具体涉及自动驾驶、计算机视觉和车道线检测等领域。
背景技术
在高速自动驾驶领域，车辆需要根据周围的车道线信息来控制车辆完成自适应巡航。在没有高精地图的情况下，车辆需要具备纯视觉车道线建模的能力，一般车道线建模都是在车体坐标系下进行的，因此需要使用逆透视变换(Inverse Perspective Mapping，IPM)将在图像中提取的2D(two-dimensional，二维)转换成车体坐标系下的3D(three-dimensional，三维)车道线。IPM变换将地面强假设为平面，然而，当路面出现颠簸时，如果不做处理，将会导致感知的3D车道线出现严重偏差。
发明内容
本公开提供了一种车道线处理方法、装置、设备及存储介质。
根据本公开的第一方面，提供了一种车道线处理方法，包括：
确定待处理图像帧的第一车道线和第二车道线；
在第一车道线和第二车道线构成的车道的宽度满足预设线性变化条件的情况下，构造车道宽度约束和车道线约束；
基于车道宽度约束和车道线约束，得到第一车道线和第二车道线分别对应的曲线模型。
根据本公开的第二方面，提供了一种车道线处理装置，包括：
第一确定模块，用于确定待处理图像帧的第一车道线和第二车道线；
构造模块，用于在第一车道线和第二车道线构成的车道的宽度满足预设线性变化条件的情况下，构造车道宽度约束和车道线约束；
处理模块，用于基于车道宽度约束和车道线约束，得到第一车道线和第二车道线分别对应的曲线模型。
根据本公开的第三方面，提供了一种电子设备，包括：
至少一个处理器；以及
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行上述第一方面所提供的方法。
根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行上述第一方面所提供的方法。
根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现上述第一方面所提供的方法。
根据本公开的技术方案，能提升车道线建模的准确性。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开实施例的车道线处理方法的流程示意图；
图2是根据本公开实施例的车道宽度变化曲线闭式求解的示意图；
图3是根据本公开实施例的车道宽度变化曲线优化求解的示意图；
图4是根据本公开实施例的车道线建模的总体流程示意图；
图5是根据本公开实施例的车道线处理装置的结构示意图；
图6是根据本公开实施例的车道线处理的场景示意图；
图7是用来实现本公开实施例的车道线处理方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本公开的说明书实施例和权利要求书及上述附图中的术语"第一"、"第二"和"第三"等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。此外，术语"包括"和"具有"以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
相关技术中，应对颠簸路面的车道线建模，采用的主要是补偿的方式，根据技术原理的不同，分为两种方案：第一种是基于消影点预测相机俯仰角。第二种是基于深度学***行的车道线在图像中消影点来实时估算相机俯仰角，并将该角度补偿到相机外参中来应对颠簸的影响，但是这种方法应用场景很受限，仅在直道并且两边车道线平行的场景下奏效，使用场景很受限。第二种方法是一种端到端求解方式，输入的是图片，输出的是图像系到鸟瞰图系的单应变换矩阵，比如，单映矩阵估计网络(H-Net)，但是其实现代价较大并且估计精度较为一般。不管是基于传统几何还是深度学习的方法，都不能完全补偿因颠簸导致的“内八”或“外八”观测问题。
本公开为了至少部分地解决上述问题以及其他潜在问题中的一个或者多个问题，提出了一种抑制“内八”或“外八”观测对车道线建模的影响的处理方式，通过使用两个已知的先验信息来抑制“内八”和“外八”观测对车道线建模的影响，提高预测出的车道线模型的准确性，提升车道线建模的稳定性。具体地，两个已知的先验信息包括：第一，根据高速路上颠簸现象一般是偶发性的这个先验信息，在建模时将颠簸导致的感知3D车道线“内八”或“外八”视为一种观测噪声，因此可以通过最小二乘法抑制少数“内八”或“外八”观测对整体建模的影响。第二，根据高速路上车道宽度变化一般是线性的这个先验信息，而“内八”或“外八”观测会违反此规则，导致观测到的车道宽度在车辆前方远处出现反常变化，因此可通过对相邻两车道线构成的车道宽度变化进行建模，来进一步降低“内八”或“外八”观测对车道线建模的影响。
本公开实施例提供了一种车道线处理方法，图1是根据本公开实施例的车道线处理方法的流程示意图，该车道线处理方法可以应用于车道线处理装置。该车道线处理装置位于电子设备，该电子设备包括但不限于固定设备和/或移动设备。例如，固定设备包括但不限于服务器，服务器可以是云服务器或普通服务器。例如，移动设备包括但不限于：手机、平板电脑、车载终端中的一项或是多项终端。在一些可能的实现方式中，该车道线处理方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。如图1所示，该车道线处理方法包括：
S101：确定待处理图像帧的第一车道线和第二车道线；
S102：在第一车道线和第二车道线构成的车道的宽度满足预设线性变化条件的情况下，构造车道宽度约束和车道线约束；
S103：基于车道宽度约束和车道线约束，得到第一车道线和第二车道线分别对应的曲线模型。
本公开实施例中，待处理图像帧可以是由车辆采集的车道线的一帧图像。比如，待处理图像帧可以是来自车辆的环视摄像头采集的图像。又比如，待处理图像帧可以是来自车辆的侧视摄像头采集的图像。又比如，待处理图像帧可以是来自车辆的前视摄像头采集的图像。再比如，待处理图像帧可以是来自车辆的后视摄像头采集的图像。本公开不对待处理图像的来源进行限定。以上仅为示例性说明，不作为对待处理图像的全部可能的来源的限定，只是这里不做穷举。
本公开实施例中，不同摄像头在同一时间采集到多个视角的图像，具体将哪一图像作为待处理图像帧，可按照预设的第一种确定方式来确定。或者，同一摄像头在不同时间采集的多个图像，具体将哪一图像作为待处理图像帧，可按照预设的第二种确定方式来确定。本公开不对待处理图像的确定方式进行限定。
本公开实施例中，可根据车道宽度变化的二次曲线，判断第一车道线和第二车道线构成的车道的宽度，是否满足预设线性变化条件。
本公开实施例中，车道宽度变化的二次曲线，可用y＝w2w2+w1j+x0表示，其中，w2为二次项系数，w1一次项系数，w0为常数项。
本公开实施例中，预设线性变化条件，可根据用户需求如速度需求和精度需求进行设定或调整。比如，根据用户需求对二次项系数的最大值进行设定或调整。
本公开实施例中，车道宽度约束，包括：对第一车道线和第二车道线构成的车道的宽度的约束。
本公开实施例中，车道线约束，包括：对第一车道线和第二车道线的约束。
本公开实施例中，第一车道线和第二车道线分别对应的曲线模型，包括：第一车道线的三次曲线模型，第二车道线的三次曲线模型。
本公开实施例中，第一车道线和第二车道线分别对应的曲线模型，均可用y＝c3x3+c2x2+c1x+c0表示，其中，c3表示三次项系数，c2为二次项系数，c1一次项系数，c0为常数项。
可以理解，第一车道线的三次曲线模型中的c3、c2、c1和c0的值，与第二车道线的三次曲线模型中的c3、c2、c1和c0的值，可以相同，也可以不同。
本公开实施例的技术方案，确定待处理图像帧的第一车道线和第二车道线；在第一车道线和第二车道线构成的车道的宽度满足预设线性变化条件的情况下，构造车道宽度约束和车道线约束；基于车道宽度约束和车道线约束，得到第一车道线和第二车道线分别对应的曲线模型；如此，相对于基于车道线约束确定第一车道线和第二车道线分别对应的曲线模型而言，基于车道宽度约束和车道线约束，得到第一车道线和第二车道线分别对应的曲线模型，能抑制“内八”或“外八”观测问题对车道线建模的影响，提高了预测出的车道线模型的准确性，提升了车道线建模的稳定性，从而提升了车道线建模的准确性。
在一些实施例中，确定待处理图像帧的第一车道线和第二车道线，包括：将在待处理图像帧的上一图像帧出现过、且经过优化的相邻两条车道线，确定为第一车道线和第二车道线。
这里，上一图像帧是指相对于该待处理图像帧而言的上一个已经被处理过的图像帧。举例来说，待处理图像帧记为图像帧i，则图像帧i的上一图像帧记为图像帧i-1，图像帧i-1的上一图像帧记为图像帧i-2，i为大于等于2的整数。
这里，优化包括但不限于以下之一：基于车道线约束的单独优化；基于车道宽度约束和车道线约束的联立优化。
这里，可通过预设标志位来识别车道线是否经过优化。该预设标志位用于标识车道线是否经过优化。若检测到图像帧i-1中车道线1与车道线2，均被赋予预设标志位，则判断车道线1与车道线2均经过优化。
如此，由于第一车道线和第二车道线是经过优化的车道线，能够使确定出的第一车道线和第二车道线更准确，有助于提升闭式求解结果的正确性，从而能够提高第一车道线和第二车道线分别对应的曲线模型的准确性。
在一些实施例中，该车道线处理方法还可包括：按照设定的距离间隔进行采样，得到若干车道宽度采样点；基于若干车道宽度采样点拟合得到二次曲线；基于二次曲线确定第一车道线和第二车道线构成的车道的宽度满足预设线性变化条件。
这里，距离间隔是指相邻采样点之间的距离的间隔。这里，距离间隔可根据用户需求如速度需求或精度需求进行设定或调整。比如，若距离间隔设定为20米，则在X轴上按照20米一个间隔进行采样，X轴上的采样范围可以是(-60，80)。
这里，车道宽度变化的二次曲线，可用y＝w2x2+w1x+w0表示，其中，w2为二次项系数，w1一次项系数，w0为常数项。二次曲线的二次项系数是指y＝w2x2+w1x+w0中的w2。
假设按照设定的距离间隔采样，得到若干车道宽度采样点：(x1,d1),(x2,d2),...(xn,dn)，使用这些采样点拟合一条二次曲线y＝w2x2+w1x+w0，拟合误差可以基于(y(x1)-d1)，(y(x2)-d2)，…，(y(xn)-dn)确定。
如此，能为车道线建模时是否构造车道宽度约束提供选择依据，有助于提高车道线建模的准确性。
在一些实施例中，基于二次曲线确定第一车道线和第二车道线构成的车道的宽度满足预设线性变化条件，包括：确定拟合误差以及二次曲线的二次项系数；在拟合误差小于第一阈值且二次项系数小于第二阈值的情况下，确定第一车道线和第二车道线构成的车道的宽度满足预设线性变化条件。
这里，预设线性变化条件，包括：拟合误差小于第一阈值；二次项系数小于第二阈值。
这里，第一阈值和第二阈值均可根据用户需求如速度需求或精度需求进行设定或调整。若二次项系数与拟合误差都在设定的阈值内，则认为该车道宽度满足线性变化的假设，在后续的优化中就可以加入车道宽度线性变化约束。
如此，能为后续优化中是否加入车道宽度线性变化约束提供依据，比如，在拟合误差小于第一阈值且二次项系数小于第二阈值的情况下，确定第一车道线和第二车道线构成的车道的宽度满足预设线性变化条件，在后续优化中加入车道宽度线性变化约束。通过引入车道宽度线性变化约束，可以抑制掉这些“内八”或“外八”的异常观测，有助于提高车道线模型的准确性。
在一些实施例中，按照设定的距离间隔进行采样，得到若干车道宽度采样点，包括：按照设定的距离间隔在横轴上采样，确定车道宽度采样点的横坐标；根据车道宽度采样点的横坐标，分别确定第一车道线的纵坐标和第二车道线的纵坐标；确定第二车道线在第二车道线的纵坐标点处的法向量；根据第一车道线的纵坐标、第二车道线的纵坐标、以及第二车道线的纵坐标点处的法向量，确定车道宽度采样点在横坐标处的第一纵坐标，该第一纵坐标表示车道宽度采样点在横坐标处的宽度。
车道线模型采用三次曲线模型y＝c3x3+c2x2+c1x+c0，待优化的变量为三次曲线的系数c＝[c0,c1,c2,c3]T，用于拟合曲线的二维观测点记为pi＝[xi,yi]T，xi为横坐标值，yi为纵坐标值，记 其中，这里的观测点是通过传感器得到的。
以高速公路的车道线处理为例，高速路的特点是直道居多、弯道曲率一般较小，闭式求解车道宽度变化曲线时可以采用如下快速的近似解法，如图2所示，给定二次曲线的横坐标xi，分别计算第一车道线(左车道线)和第二车道线(右车道线)的纵坐标，得到和
其中，其中，T表示转置，cl表示第一车道线三次曲线的系数，cr表示第二车道线三次曲线的系数。
根据下述公式(1)确定第二车道线在点处的法向量ni：
其中，normalize表示归一化。
根据下述公式(2)得到第一车道线和第二车道线构成的车道在横坐标xi处宽度di：
如此，给出了一种确定车道宽度采样点的横坐标和纵坐标的方式，能为拟合二次曲线快速提供数据基础。
在一些实施例中，基于若干车道宽度采样点拟合得到二次曲线，包括：通过线性最小二乘法将若干车道宽度采样点拟合得到二次曲线。
在一些实施例中，构造车道宽度约束，包括：根据车道宽度采样点的横坐标，以及表征第一车道线的三次曲线模型和表征第二车道线的三次曲线模型，得到车道宽度采样点在横坐标处的第二纵坐标；确定第二车道线在车道宽度采样点的横坐标处的采样点和法向量；根据第二车道线在车道宽度采样点的横坐标处的采样点和法向量，以及车道宽度采样点在横坐标处的第二纵坐标，预测出第一车道线在车道宽度采样点的横坐标处的采样点；将第一车道线在车道宽度采样点的横坐标处的采样点到第一车道线之间的距离，确定为车道宽度约束。
实际应用中，车道宽度完全线性变化的假设过于强硬，所以，在优化中并不会将车道宽度变化直接建模成直线方程，而是改用二次曲线模型，并对二次项系数施加一个较大惩罚权重，引导拟合结果尽量满足线性假设。
如图3所示，按照设定的距离间隔在横轴上采样，处的车道宽度/>为可表示为其中，w＝[w0,w1,w2]T为要求解的二次曲线y＝w2x2+w1x+w0的三个系数。其中，/>表示宽度，i表示第几个采样点，r表示第二车道线(右车道线)，/>表示第二车道线上多个xi组成的向量。/>是4×1的向量，1：3是表示取/>的前三位，即/>
确定第二车道线在处的采样点/>和法向量ni。
其中，
其中，
根据第二车道线采样点法向量ni和车道宽度/>通过公式(3)预测左车道线采样点/>
最后，将采样点到左车道线的距离，确定为要构造的优化误差ewide，如公式(4)所示：
如此，颠簸路面会导致观测噪声变大，比如，原本平行的左右车道线受颠簸影响，会被观测成非平行的，即，通过构建车道宽度约束，可以抑制掉这些“内八”或“外八”的异常观测，能够应对颠簸路面的车道线建模，进而能提高车道线建模的稳定性。
在一些实施例中，构造车道线约束，包括：获取第一车道线的点到线距离约束、方向一致约束和曲率一致约束至少之一；获取第二车道线的点到线距离约束、方向一致约束和曲率一致约束至少之一；根据第一车道线和第二车道线分别对应的点到线距离约束、方向一致约束和曲率一致约束至少之一，确定车道线约束。
在一些实施方式中，点到线距离约束是基于观测点的x轴坐标对应的第一向量、y轴坐标以及三次曲线系数对应的第二向量确定的。
例如，第i个观测点pi＝[xi,yi]T，该基于该观测点构建的点到点到线距离约束可以为其中，yi为观测点pi的y轴坐标，xi为观测点pi的x轴坐标对应的第一向量。第一向量中包括曲线模型的中不带系数的各项。例如，三次曲线模型的c为观测点曲线模型系数对应的第二向量。第二向量中包括曲线模型的中的各系数。例如，三次曲线模型的c＝[c0,c1,c2,c3]T。T表示转置。
在一些实施方式中，方向一致约束是基于观测点的y轴坐标的一阶导数、观测点的x轴坐标对应的第一向量的一阶导数以及曲线模型系数对应的第二向量确定的。
其中，该观测点的y轴坐标的一阶导数是根据该观测点的前一个观测点和该观测点确定的。
例如，第i-1个观测点pi-1＝[xi-1,yi-1]T，第i个观测点pi＝[xi,yi]T。基于第i-1个观测点和第i个观测点构建的方向一致约束可以为 其中y轴坐标的一阶导数/> 是观测点pi的x轴坐标对应的第一向量xi的一阶导数。例如，三次曲线模型的c＝[c0,c1,c2,c3]T，/>
在一种实施方式中，曲率一致约束是基于观测点曲率和三次曲线曲率建立的。
其中，该观测点曲率是基于该观测点的前一个观测点、该观测点、该观测点的后一个观测点确定的。
该三次曲线曲率是基于该第二观测点的x轴坐标对应的第一向量的一阶导数和二阶导数，以及曲线模型系数对应的第二向量确定的。
例如，第i-1个观测点pi-1＝[xi-1,yi-1]T，第i个观测点pi＝[xi,yi]T，第i+1个观测点pi+1＝[xi+1,yi+1]T。基于第i-1个观测点、第i个观测点和第i+1个观测点构建的曲线一致约束可以为：
其中，观测点曲率可以为三次曲线曲率为/>其中，/>是观测点pi的x轴坐标对应的第一向量xi的二阶导数。‖‖表示两个观测点之间的欧式距离。例如，三次曲线模型的c＝[c0,c1,c2,c3]T，
在一些实施方式中，根据第一车道线和第二车道线分别对应的点到线距离约束、方向一致约束和曲率一致约束至少之一，确定车道线约束，包括：根据第一车道线对应的点到线距离约束，以及第二车道线对应的点到线距离约束，确定车道线约束。
在一些实施方式中，根据第一车道线和第二车道线分别对应的点到线距离约束、方向一致约束和曲率一致约束至少之一，确定车道线约束，包括：根据第一车道线对应的方向一致约束以及第二车道线对应的方向一致约束和曲率一致约束，确定车道线约束。
在一些实施方式中，根据第一车道线和第二车道线分别对应的点到线距离约束、方向一致约束和曲率一致约束至少之一，确定车道线约束，包括：根据第一车道线对应的曲率一致约束，以及第二车道线对应的曲率一致约束，确定车道线约束。
在一些实施方式中，根据第一车道线和第二车道线分别对应的点到线距离约束、方向一致约束和曲率一致约束至少之一，确定车道线约束，包括：根据第一车道线对应的点到线距离约束和方向一致约束，以及第二车道线对应的点到线距离约束，确定车道线约束。
在一些实施方式中，根据第一车道线和第二车道线分别对应的点到线距离约束、方向一致约束和曲率一致约束至少之一，确定车道线约束，包括：根据第一车道线对应的点到线距离约束和方向一致约束，以及第二车道线对应的方向一致约束，确定车道线约束。
在一些实施方式中，根据第一车道线和第二车道线分别对应的点到线距离约束、方向一致约束和曲率一致约束至少之一，确定车道线约束，包括：根据第一车道线对应的点到线距离约束和方向一致约束，以及第二车道线对应的曲率一致约束，确定车道线约束。
在一些实施方式中，根据第一车道线和第二车道线分别对应的点到线距离约束、方向一致约束和曲率一致约束至少之一，确定车道线约束，包括：根据第一车道线对应的点到线距离约束和方向一致约束，以及第二车道线对应的点到线距离约束和曲率一致约束，确定车道线约束。
在一些实施方式中，根据第一车道线和第二车道线分别对应的点到线距离约束、方向一致约束和曲率一致约束至少之一，确定车道线约束，包括：根据第一车道线对应的点到线距离约束和方向一致约束，以及第二车道线对应的方向一致约束和曲率一致约束，确定车道线约束。
在一些实施方式中，根据第一车道线和第二车道线分别对应的点到线距离约束、方向一致约束和曲率一致约束至少之一，确定车道线约束，包括：根据第一车道线对应的点到线距离约束、方向一致约束和曲率一致约束，以及第二车道线对应的点到线距离约束和方向一致约束，确定车道线约束。
在一些实施方式中，根据第一车道线和第二车道线分别对应的点到线距离约束、方向一致约束和曲率一致约束至少之一，确定车道线约束，包括：根据第一车道线对应的点到线距离约束、方向一致约束和曲率一致约束，以及第二车道线对应的点到线距离约束、方向一致约束和曲率一致约束，确定车道线约束。如此，能增加用作车道线约束的约束条件的数量，进而有助于提高求解得到的车道线的曲线模型的精准性。
可以理解，确定车道线约束的方式包括但不限于上述所列举的几种方式，在此不再穷举。
如此，能够增加车道线约束的多样性，进而增加车道线的曲线模型的多样性。一般来说，用作车道线约束的约束条件的数量，与车道线的曲线模型的精准性呈正比。在一定范围内，较多的约束条件，有助于提高求解得到的车道线的曲线模型的精准性。
在一些实施例中，基于车道宽度约束和车道线约束，得到车道线的曲线模型，包括：根据车道宽度约束和车道线约束确定总约束；采用非线性最小二乘法对总约束进行迭代直到收敛，求解得到车道宽度变化的二次曲线、第一车道线的三次曲线和第二车道线的三次曲线，车道线的曲线模型包括第一车道线的三次曲线和第二车道线的三次曲线。
这里，非线性最小二乘法包括但不限于：列文伯格-马夸尔特(Levenberg-Marquardt，LM)算法。
若efit表示点到线约束、edir表示方向一致约束、ecur表示曲率一致约束，则总约束可表示如下：
其中，N为车道线数量，M为感知车道线观测上采样点数，ck为第k条车道线模型，Q为车道数量，P为车道宽度观测采样点数，wl为第l条车道宽度变化模型，Ω1为误差项efit的权重，Ω2为误差项edir的权重，Ω3为误差项ecur的权重，Ω4为误差项ewide的权重；采用LM算法进行迭代直到收敛，求解得到车道宽度变化的二次曲线、左车道线的三次曲线和右车道线的三次曲线。
如此，基于车道宽度约束和车道线约束，得到第一车道线和第二车道线分别对应的曲线模型，能抑制“内八”或“外八”观测对车道线建模的影响，提高预测出的车道线模型的准确性，进而提升车道线建模的稳定性。
在一些实施例中，该车道线处理方法还可包括：为车道宽度变化的二次曲线的二次项系数施加一个大于第三阈值的惩罚权重，该惩罚权重用于引导二次曲线满足预设线性变化条件。
这里，第三阈值可根据用户需求如速度需求或精度需求进行设定或调整。
在一些实施例中，根据车道宽度约束和车道线约束确定总约束，包括：结合惩罚权重，以及车道宽度约束和车道线约束，确定总约束。
如此，通过为二次曲线的二次项系数施加一个大于第三阈值的惩罚权重，能使拟合得到的二次曲线尽可能满足线性假设，有助于提高车道线模型的准确性。
图4示出了车道线建模的总体流程图，如图4所示，该流程包括：
S401：对当前待处理图像帧的车道线进行观测；
S402：判断左右车道线是否优化过，如果是，执行S403；如果否，执行S407；
S403：通过闭式求解得到车道宽度变化的二次曲线，然后执行S404；
S404：判断拟合误差是否小于第一阈值，如果是，然后执行S405；如果否，执行S407；
S405：判断二次项系数是否小于第二阈值，如果是，然后执行S406；如果否，执行S407；
S406：基于车道线约束和车道宽度约束，确定车道线的曲线模型；
S407：基于车道线约束，确定车道线的曲线模型。
实际应用中，高速路上相邻两条车道线构成的车道宽度一般都符合线性变化的假设，但也存在一些不符合线性变化的变换的假设，比如高速汇出匝道、匝道汇入高速、交叉车道等，这些场景中车道宽度变化不满足线性模型，因此，在使用车道宽度线性变化约束之前，需要先闭式求解车道宽度变化模型，根据求解结果判断线性变化的假设是否成立，如果是，就可以构造车道和车道线的联立优化，否则仅进行车道线的单独优化。
如此，针出对相邻两条车道线构成的车道宽度变化进行线性建模，来间接抑制“内八”或“外八”对车道线建模的影响。此外，也对该约束的使用条件进行严格的判断，避免因车道宽度约束使用不当造成的误判问题。
应理解，图4所示的总体示意图仅仅是示例性而不是限制性的，并且其是可扩展的，本领域技术人员可以基于图4的例子进行各种显而易见的变化和/或替换，得到的技术方案仍属于本公开实施例的公开范围。
本公开提供的车道线处理方法，可以用于人工驾驶、自动驾驶等项目中。本公开提供的车道线处理方法，为自动驾驶项目的车道线建模后端优化提供了重要的支持，解决了颠簸路面车道线建模稳定性的业界难题，从而保障了车辆控制规划的稳定性。
本公开实施例提供了一种车道线处理装置，如图5所示，该车道线处理装置可以包括：第一确定模块501，用于确定待处理图像帧的第一车道线和第二车道线；构造模块502，用于在第一车道线和第二车道线构成的车道的宽度满足预设线性变化条件的情况下，构造车道宽度约束和车道线约束；处理模块503，用于基于车道宽度约束和车道线约束，得到第一车道线和第二车道线分别对应的曲线模型。
在一些实施例中，该第一确定模块501，包括：第一确定子模块，用于将在待处理图像帧的上一图像帧出现过、且经过优化的相邻两条车道线，确定为第一车道线和第二车道线。
在一些实施例中，该车道线处理装置可以包括：采样模块504(图中未示出)，用于按照设定的距离间隔进行采样，得到若干车道宽度采样点；拟合模块505(图中未示出)，用于基于若干车道宽度采样点拟合得到二次曲线；第二确定模块506(图中未示出)，用于基于二次曲线确定第一车道线和第二车道线构成的车道的宽度满足预设线性变化条件。
在一些实施例中，该车道线处理装置可以包括：第二确定模块506(图中未示出)，包括：第二确定子模块，用于确定拟合误差以及二次曲线的二次项系数；第三确定子模块，用于在拟合误差小于第一阈值且二次项系数小于第二阈值的情况下，确定第一车道线和所述第二车道线构成的车道的宽度满足预设线性变化条件。
在一些实施例中，该采样模块504(图中未示出)，可以包括：第四确定子模块，用于按照设定的距离间隔在横轴上采样，确定车道宽度采样点的横坐标；第五确定子模块，用于根据车道宽度采样点的横坐标，分别确定第一车道线的纵坐标和第二车道线的纵坐标；第六确定子模块，用于确定第二车道线在第二车道线的纵坐标点处的法向量；第七确定子模块，用于根据第一车道线的纵坐标、第二车道线的纵坐标、以及第二车道线的纵坐标点处的法向量，确定车道宽度采样点在横坐标处的第一纵坐标，第一纵坐标表示车道宽度采样点在横坐标处的宽度。
在一些实施例中，该拟合模块505(图中未示出)，用于通过线性最小二乘法将若干车道宽度采样点拟合得到二次曲线。
在一些实施例中，该构造模块502，可以包括：第八确定子模块，用于基于二次曲线采样得到车道宽度采样点在横坐标处的第二纵坐标；第九确定子模块，用于确定第二车道线在车道宽度采样点的横坐标处的采样点和法向量；预测子模块，用于根据第二车道线在车道宽度采样点的横坐标处的采样点和法向量，以及车道宽度采样点在横坐标处的第二纵坐标，预测出第一车道线在车道宽度采样点的横坐标处的采样点；第十确定子模块，用于将第一车道线在车道宽度采样点的横坐标处的采样点到第一车道线之间的距离，确定为车道宽度约束。
在一些实施例中，该构造模块502，还可以包括：第一获取子模块，用于获取第一车道线的点到线距离约束、方向一致约束和曲率一致约束至少之一；第二获取子模块，用于获取第二车道线的点到线距离约束、方向一致约束和曲率一致约束至少之一；第十一确定子模块，用于根据第一车道线和第二车道线分别对应的点到线距离约束、方向一致约束和曲率一致约束至少之一，确定车道线约束。
在一些实施例中，该处理模块503，可以包括：第十二确定子模块，用于根据车道宽度约束和车道线约束确定总约束；处理子模块，用于采用非线性最小二乘法对总约束进行迭代直到收敛，求解得到车道宽度变化的二次曲线、第一车道线的三次曲线和第二车道线的三次曲线，车道线的曲线模型包括第一车道线的三次曲线和第二车道线的三次曲线。
在一些实施例中，该处理模块503，还可包括：第十三确定子模块，用于为车道宽度变化的二次曲线的二次项系数施加一个大于第三阈值的惩罚权重，该惩罚权重用于引导车道宽度变化的二次曲线满足预设线性变化条件。第十二确定子模块，还用于结合惩罚权重，以及车道宽度约束和车道线约束，确定总约束。
本领域技术人员应当理解，本公开实施例的车道线处理装置中各处理模块的功能，可参照前述的车道线处理方法的相关描述而理解，本公开实施例的车道线处理装置中各处理模块，可通过实现本公开实施例所述的功能的模拟电路而实现，也可以通过执行本公开实施例所述的功能的软件在电子设备上的运行而实现。
本公开实施例的车道线处理装置，能间接抑制“内八”或“外八”对车道线建模的影响，提高预测出的车道线模型的准确性，提升车道线建模的稳定性，从而提升了车道线建模的准确性。
图6示出了车道线处理的场景示意图，从图6可以看出，电子设备如云服务器接收来自各车辆发送的图像帧，电子设备为每个车辆确定车道线的曲线模型，并向各车辆返回车道线的曲线模型，以由车辆基于车道线的曲线模型来控制车辆完成自适应巡航。具体确定过程包括：确定待处理图像帧的第一车道线和第二车道线；在第一车道线和第二车道线构成的车道的宽度满足预设线性变化条件的情况下，构造车道宽度约束和车道线约束；基于车道宽度约束和车道线约束，得到第一车道线和第二车道线分别对应的曲线模型。
应理解，图6所示的场景图仅仅是示意性而非限制性的，本领域技术人员可以基于图6的例子进行各种显而易见的变化和/或替换，得到的技术方案仍属于本公开实施例的公开范围。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(Read-OnlyMemory，ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RandomAccess Memory，RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(Input/Output，I/O)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(Central Processing Unit，CPU)、图形处理单元(Graphics Processing Unit，GPU)、各种专用的人工智能(ArtificialIntelligence，AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(Digital Signal Processor，DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如车道线处理方法。例如，在一些实施例中，车道线处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的车道线处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行车道线处理方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、现场可编程门阵列(Field Programmable Gate Array，FPGA)、专用集成电路(Application Specific Integrated Circuit，ASIC)、专用标准产品(Application-Specific Standard Products，ASSP)、芯片上***的***(System on Chip，SOC)、复杂可编程逻辑设备(Complex Programmable Logic Device，CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器、只读存储器、可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory，EPROM)、快闪存储器、光纤、便捷式紧凑盘只读存储器(Compact Disk Read Only Memory，CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，阴极射线管(Cathode Ray Tube，CRT)或者液晶显示器(Liquid Crystal Display，LCD)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端和服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式***的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (18)
1.一种车道线处理方法，包括：
确定待处理图像帧的第一车道线和第二车道线；
在所述第一车道线和所述第二车道线构成的车道的宽度满足预设线性变化条件的情况下，构造车道宽度约束和车道线约束；
基于所述车道宽度约束和所述车道线约束，得到所述第一车道线和所述第二车道线分别对应的曲线模型；
其中，构造车道线约束，包括：
获取所述第一车道线的点到线距离约束、方向一致约束和曲率一致约束至少之一；
获取所述第二车道线的点到线距离约束、方向一致约束和曲率一致约束至少之一；
根据所述第一车道线和所述第二车道线分别对应的点到线距离约束、方向一致约束和曲率一致约束至少之一，确定所述车道线约束；
其中，所述点到线距离约束是基于观测点的x轴坐标对应的第一向量、y轴坐标以及三次曲线系数对应的第二向量确定的，所述方向一致约束是基于观测点的y轴坐标的一阶导数、观测点的x轴坐标对应的第一向量的一阶导数以及曲线模型系数对应的第二向量确定的，所述曲率一致约束是基于观测点曲率和三次曲线曲率建立的。
2.根据权利要求1所述的方法，其中，所述确定待处理图像帧的第一车道线和第二车道线，包括：
将在所述待处理图像帧的上一图像帧出现过、且经过优化的相邻两条车道线，确定为所述第一车道线和所述第二车道线。
3.根据权利要求1或2所述的方法，还包括：
按照设定的距离间隔进行采样，得到若干车道宽度采样点；
基于所述若干车道宽度采样点拟合得到二次曲线；
基于所述二次曲线确定第一车道线和第二车道线构成的车道的宽度满足预设线性变化条件。
4.根据权利要求3所述的方法，其中，所述基于所述二次曲线确定第一车道线和第二车道线构成的车道的宽度满足预设线性变化条件，包括：
确定拟合误差以及所述二次曲线的二次项系数；
在所述拟合误差小于第一阈值且所述二次项系数小于第二阈值的情况下，确定所述第一车道线和所述第二车道线构成的车道的宽度满足所述预设线性变化条件。
5.根据权利要求3所述的方法，其中，所述按照设定的距离间隔进行采样，得到若干车道宽度采样点，包括：
按照所述设定的距离间隔在横轴上采样，确定车道宽度采样点的横坐标；
根据所述车道宽度采样点的横坐标，分别确定所述第一车道线的纵坐标和所述第二车道线的纵坐标；
确定所述第二车道线在所述第二车道线的纵坐标点处的法向量；
根据所述第一车道线的纵坐标、所述第二车道线的纵坐标、以及所述第二车道线的纵坐标点处的法向量，确定所述车道宽度采样点在所述横坐标处的第一纵坐标，所述第一纵坐标表示所述车道宽度采样点在所述横坐标处的宽度。
6.根据权利要求3所述的方法，其中，构造车道宽度约束，包括：
基于所述二次曲线采样得到所述车道宽度采样点在横坐标处的第二纵坐标；
确定所述第二车道线在所述车道宽度采样点的横坐标处的采样点和法向量；
根据所述第二车道线在所述车道宽度采样点的横坐标处的采样点和法向量，以及所述车道宽度采样点在所述横坐标处的第二纵坐标，预测出所述第一车道线在所述车道宽度采样点的横坐标处的采样点；
将所述第一车道线在所述车道宽度采样点的横坐标处的采样点到所述第一车道线之间的距离，确定为所述车道宽度约束。
7.根据权利要求1所述的方法，其中，所述基于所述车道宽度约束和所述车道线约束，得到所述第一车道线和所述第二车道线分别对应的曲线模型，包括：
根据所述车道宽度约束和所述车道线约束确定总约束；
采用非线性最小二乘法对所述总约束进行迭代直到收敛，求解得到车道宽度变化的二次曲线、所述第一车道线的三次曲线和所述第二车道线的三次曲线。
8.根据权利要求7所述的方法，还包括：
为所述车道宽度变化的二次曲线的二次项系数施加一个大于第三阈值的惩罚权重，所述惩罚权重用于引导所述车道宽度变化的二次曲线满足所述预设线性变化条件；
所述根据所述车道宽度约束和所述车道线约束确定总约束，包括：
结合所述惩罚权重，以及所述车道宽度约束和所述车道线约束，确定所述总约束。
9.一种车道线处理装置，包括：
第一确定模块，用于确定待处理图像帧的第一车道线和第二车道线；
构造模块，用于在所述第一车道线和所述第二车道线构成的车道的宽度满足预设线性变化条件的情况下，构造车道宽度约束和车道线约束；
处理模块，用于基于所述车道宽度约束和所述车道线约束，得到所述第一车道线和所述第二车道线分别对应的曲线模型；
其中，所述构造模块，包括：
第一获取子模块，用于获取所述第一车道线的点到线距离约束、方向一致约束和曲率一致约束至少之一；
第二获取子模块，用于获取所述第二车道线的点到线距离约束、方向一致约束和曲率一致约束至少之一；
第十一确定子模块，用于根据所述第一车道线和所述第二车道线分别对应的点到线距离约束、方向一致约束和曲率一致约束至少之一，确定所述车道线约束；
其中，所述点到线距离约束是基于观测点的x轴坐标对应的第一向量、y轴坐标以及三次曲线系数对应的第二向量确定的，所述方向一致约束是基于观测点的y轴坐标的一阶导数、观测点的x轴坐标对应的第一向量的一阶导数以及曲线模型系数对应的第二向量确定的，所述曲率一致约束是基于观测点曲率和三次曲线曲率建立的。
10.根据权利要求9所述的装置，其中，所述第一确定模块，包括：
第一确定子模块，用于将在所述待处理图像帧的上一图像帧出现过、且经过优化的相邻两条车道线，确定为所述第一车道线和所述第二车道线。
11.根据权利要求9或10所述的装置，还包括：
采样模块，用于按照设定的距离间隔进行采样，得到若干车道宽度采样点；
拟合模块，用于基于所述若干车道宽度采样点拟合得到二次曲线；
第二确定模块，用于基于所述二次曲线确定第一车道线和第二车道线构成的车道的宽度满足预设线性变化条件。
12.根据权利要求11所述的装置，其中，所述第二确定模块，包括：
第二确定子模块，用于确定拟合误差以及所述二次曲线的二次项系数；
第三确定子模块，用于在所述拟合误差小于第一阈值且所述二次项系数小于第二阈值的情况下，确定所述第一车道线和所述第二车道线构成的车道的宽度满足所述预设线性变化条件。
13.根据权利要求11所述的装置，其中，所述采样模块，包括：
第四确定子模块，用于按照所述设定的距离间隔在横轴上采样，确定车道宽度采样点的横坐标；
第五确定子模块，用于根据所述车道宽度采样点的横坐标，分别确定所述第一车道线的纵坐标和所述第二车道线的纵坐标；
第六确定子模块，用于确定所述第二车道线在所述第二车道线的纵坐标点处的法向量；
第七确定子模块，用于根据所述第一车道线的纵坐标、所述第二车道线的纵坐标、以及所述第二车道线的纵坐标点处的法向量，确定所述车道宽度采样点在所述横坐标处的第一纵坐标，所述第一纵坐标表示所述车道宽度采样点在所述横坐标处的宽度。
14.根据权利要求11所述的装置，其中，所述构造模块，包括：
第八确定子模块，用于基于所述二次曲线采样得到所述车道宽度采样点在横坐标处的第二纵坐标；
第九确定子模块，用于确定所述第二车道线在所述车道宽度采样点的横坐标处的采样点和法向量；
预测子模块，用于根据所述第二车道线在所述车道宽度采样点的横坐标处的采样点和法向量，以及所述车道宽度采样点在所述横坐标处的第二纵坐标，预测出所述第一车道线在所述车道宽度采样点的横坐标处的采样点；
第十确定子模块，用于将所述第一车道线在所述车道宽度采样点的横坐标处的采样点到所述第一车道线之间的距离，确定为所述车道宽度约束。
15.根据权利要求9所述的装置，其中，所述处理模块，包括：
第十二确定子模块，用于根据所述车道宽度约束和所述车道线约束确定总约束；
处理子模块，用于采用非线性最小二乘法对所述总约束进行迭代直到收敛，求解得到车道宽度变化的二次曲线、所述第一车道线的三次曲线和所述第二车道线的三次曲线。
16.根据权利要求15所述的装置，其中，所述处理模块，还包括：
第十三确定子模块，用于为所述车道宽度变化的二次曲线的二次项系数施加一个大于第三阈值的惩罚权重，所述惩罚权重用于引导所述车道宽度变化的二次曲线满足所述预设线性变化条件；
所述第十二确定子模块，还用于结合所述惩罚权重，以及所述车道宽度约束和所述车道线约束，确定所述总约束。
17.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210883694.2A CN115311635B (zh) | 2022-07-26 | 2022-07-26 | 车道线处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210883694.2A CN115311635B (zh) | 2022-07-26 | 2022-07-26 | 车道线处理方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115311635A CN115311635A (zh) | 2022-11-08 |
| CN115311635B true CN115311635B (zh) | 2023-08-01 |
Family
ID=83858185
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210883694.2A Active CN115311635B (zh) | 2022-07-26 | 2022-07-26 | 车道线处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115311635B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114140759A (zh) * | 2021-12-08 | 2022-03-04 | 阿波罗智能技术(北京)有限公司 | 高精地图车道线位置确定方法、装置及自动驾驶车辆 |
| WO2022110740A1 (zh) * | 2020-11-24 | 2022-06-02 | 华为技术有限公司 | 一种横向规划约束确定方法及装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8311283B2 (en) * | 2008-07-06 | 2012-11-13 | Automotive Research&Testing Center | Method for detecting lane departure and apparatus thereof |
| CN111126276B (zh) * | 2019-12-24 | 2022-09-20 | 苏州智加科技有限公司 | 车道线检测方法、装置、计算机设备及存储介质 |
| CN113155143A (zh) * | 2020-01-23 | 2021-07-23 | 宝马股份公司 | 用于评估自动驾驶用的地图的方法、设备和车辆 |
| WO2021212379A1 (zh) * | 2020-04-22 | 2021-10-28 | 华为技术有限公司 | 车道线检测方法及装置 |
| CN112033419A (zh) * | 2020-09-30 | 2020-12-04 | 福建中科云杉信息技术有限公司 | 用于港口自动驾驶车道线检测的方法、电子设备及介质 |
| WO2022082571A1 (zh) * | 2020-10-22 | 2022-04-28 | 华为技术有限公司 | 一种车道线检测方法和装置 |
-
2022
- 2022-07-26 CN CN202210883694.2A patent/CN115311635B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022110740A1 (zh) * | 2020-11-24 | 2022-06-02 | 华为技术有限公司 | 一种横向规划约束确定方法及装置 |
| CN114140759A (zh) * | 2021-12-08 | 2022-03-04 | 阿波罗智能技术(北京)有限公司 | 高精地图车道线位置确定方法、装置及自动驾驶车辆 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115311635A (zh) | 2022-11-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108279670B (zh) | 用于调整点云数据采集轨迹的方法、设备以及计算机可读介质 | |
| CN113674421B (zh) | 3d目标检测方法、模型训练方法、相关装置及电子设备 | |
| CN108027975B (zh) | 用于密集立体匹配的快速成本聚合 | |
| Eudes et al. | Error propagations for local bundle adjustment | |
| CN114387319B (zh) | 点云配准方法、装置、设备以及存储介质 | |
| CN115512124A (zh) | 一种重定位帧的确定方法、装置、车辆及存储介质 | |
| CN114140759A (zh) | 高精地图车道线位置确定方法、装置及自动驾驶车辆 | |
| CN114013449A (zh) | 针对自动驾驶车辆的数据处理方法、装置和自动驾驶车辆 | |
| CN114926549B (zh) | 三维点云处理方法、装置、设备以及存储介质 | |
| CN114187589A (zh) | 一种目标检测方法、装置、设备和存储介质 | |
| CN114120149A (zh) | 一种倾斜摄影测量建筑物特征点提取方法、装置、电子设备及介质 | |
| CN115438711A (zh) | 一种基于车路协同的分布式多级感知融合方法、装置、设备及存储介质 | |
| CN114663529B (zh) | 一种外参确定方法、装置、电子设备及存储介质 | |
| CN116402876A (zh) | 双目深度估计方法、装置、嵌入式设备和可读存储介质 | |
| CN115375836A (zh) | 基于多元置信度滤波的点云融合三维重建方法和*** | |
| CN117745845A (zh) | 一种外参信息确定方法、装置、设备和存储介质 | |
| CN115311635B (zh) | 车道线处理方法、装置、设备及存储介质 | |
| CN115447584A (zh) | 一种车道中心线的确定方法、装置、设备及存储介质 | |
| CN115937449A (zh) | 高精地图生成方法、装置、电子设备和存储介质 | |
| CN112258582B (zh) | 一种基于道路场景识别的相机姿态标定方法及装置 | |
| CN113901903A (zh) | 道路识别方法和装置 | |
| CN112861940A (zh) | 双目视差估计方法、模型训练方法以及相关设备 | |
| JP7425169B2 (ja) | 画像処理方法、装置、電子機器、記憶媒体及びコンピュータプログラム | |
| CN110349109A (zh) | 基于鱼眼畸变校正方法及其***、电子设备 | |
| CN116228834B (zh) | 图像深度获取方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |