CN111027381A - 利用单目相机识别障碍物的方法、装置、设备及存储介质 - Google Patents
利用单目相机识别障碍物的方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111027381A CN111027381A CN201911077426.6A CN201911077426A CN111027381A CN 111027381 A CN111027381 A CN 111027381A CN 201911077426 A CN201911077426 A CN 201911077426A CN 111027381 A CN111027381 A CN 111027381A
- Authority
- CN
- China
- Prior art keywords
- obstacle
- determining
- monocular camera
- image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012549 training Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 4
- 238000005065 mining Methods 0.000 claims description 4
- 230000007613 environmental effect Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 10
- 238000005259 measurement Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
本公开提供一种利用单目相机识别障碍物的方法、装置、设备及存储介质，包括：通过单目相机获取环境图像；利用预设识别模型在环境图像中确定障碍物信息；根据单目相机的参数、障碍物信息，确定障碍物相对于车辆的位置。本公开提供的方法、装置、设备及存储介质，能够利用单目相机采集的图像在图像中识别障碍物，此后，再结合单目相机的参数确定障碍物相对于车辆的位置，从而使车辆感知周围环境。采用本公开提供的方案，能够基于单目相机采集的图像进行障碍物的识别与定位，从而降低数据处理量。
Description
技术领域
本公开涉及辅助驾驶技术，尤其涉及一种利用单目相机识别障碍物的方法、装置、设备及存储介质。
背景技术
目前，辅助驾驶技术已日趋成熟。在辅助驾驶***中，感知自车周围环境中的障碍物是该***不可或缺的一部分。
现有技术中，可以利用相机获取真实的环境图像数据并采用深度学习技术识别图像中的障碍物。同时，为了对障碍物进行定位，还采用设置双目相机的方式，从而利用双目技术来实现图像中的障碍物的定位。
但是，双目装置安装要求高，定位精度极大地依赖于双目的配准效果；另外，双目相机相对单目计算量翻倍，这在计算资源比较有限的车载***中是难以接受的。
发明内容
本公开提供一种利用单目相机识别障碍物的方法、装置、设备及存储介质，以解决现有技术中车辆感知环境的方法依赖于双目相机装置的问题。
本公开的第一个方面是提供一种利用单目相机识别障碍物的方法，包括：
通过单目相机获取环境图像；
利用预设识别模型在所述环境图像中确定障碍物信息；
根据所述单目相机的参数、所述障碍物信息，确定所述障碍物相对于车辆的位置。
本公开的另一个方面是提供一种利用单目相机识别障碍物的装置，包括：
获取模块，用于通过单目相机获取环境图像；
确定模块，用于利用预设识别模型在所述环境图像中确定障碍物信息；
定位模块，用于根据所述单目相机的参数、所述障碍物信息，确定所述障碍物相对于车辆的位置。
本公开的又一个方面是提供一种利用单目相机识别障碍物的设备，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并配置为由所述处理器执行以实现如上述第一方面所述的利用单目相机识别障碍物的方法。
本公开的又一个方面是提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现如上述第一方面所述的利用单目相机识别障碍物的方法。
本公开提供的利用单目相机识别障碍物的方法、装置、设备及存储介质的技术效果是：
本公开提供的利用单目相机识别障碍物的方法、装置、设备及存储介质，包括：通过单目相机获取环境图像；利用预设识别模型在环境图像中确定障碍物信息；根据单目相机的参数、障碍物信息，确定障碍物相对于车辆的位置。本公开提供的方法、装置、设备及存储介质，能够利用单目相机采集的图像在图像中识别障碍物，此后，再结合单目相机的参数确定障碍物相对于车辆的位置，从而使车辆感知周围环境。采用本公开提供的方案，能够基于单目相机采集的图像进行障碍物的识别与定位，从而降低数据处理量。
附图说明
图1为本申请一示例性的应用场景图；
图2为本发明一示例性实施例示出的利用单目相机识别障碍物的方法的流程图；
图3为本发明一示例性实施例示出的单目相机成像原理图；
图4为本发明另一示例性实施例示出的利用单目相机识别障碍物的方法的流程图；
图5为本发明一示例性实施例示出的利用单目相机识别障碍物的装置的结构图；
图6为本发明另一示例性实施例示出的利用单目相机识别障碍物的装置的结构图；
图7为本发明一示例性实施例示出的利用单目相机识别障碍物设备的结构图。
具体实施方式
目前，车辆通过设置的双目相机采集周围环境图像，再对图像进行识别，实现障碍物的定位。但是，双目相机的安装成本较高，且双目相机采集的环境图像数据较多，在识别过程中的数据计算量也较多。
本申请提供的方案中，通过单目相机获取车辆周围的环境图像，并根据对获取的图像进行分析，确定图像中的障碍物相对于车辆的位置，进而达到识别障碍物、定位障碍物的效果。
图1为本申请一示例性的应用场景图。
如图1所示，在车辆上可以安装单目相机11，例如，可以在车辆前端安装单目相机，用于感应车辆前端的环境。还可以在车辆后端安装单目相机，用于感应车辆后端的环境。
单目相机可以与车辆上的电子设备12连接，可以将采集的图像发送给电子设备12，再通过电子设备12对图像进行识别，从而确定车辆周围环境中的障碍物。
电子设备12例如可以是设置在车辆上的车载电脑，具有数据处理能力。
图2为本发明一示例性实施例示出的利用单目相机识别障碍物的方法的流程图。
如图2所示，本实施例提供的利用单目相机识别障碍物的方法包括：
步骤201，通过单目相机获取环境图像。
其中，可以由具备计算能力的电子设备来执行本实施例提供的方法，例如如图1所示的电子设备。
具体的，单目相机与电子设备可以通过有线或无线的方式连接，单目相机可以将拍摄车辆周围环境的图像发送给电子设备，使得电子设备可以对环境图像进行处理。
进一步的，可以由单目相机主动将采集的环境图像发送给电子设备，也可以由电子设备向单目相机发送获取指令，从而使单目相机反馈环境图像。
步骤202，利用预设识别模型在环境图像中确定障碍物信息。
实际应用时，在电子设备中可以设置预设识别模型，该模型具有在环境图像中确定障碍物信息的功能。
其中，可以预先训练神经网络得到预设识别模型。可以预先准备训练数据，例如，可以准备大量的图像，并在图像中标注出障碍物。从而可以使用这些带有标记的图像数据训练模型。
具体的，除了标记出图像中的障碍物，还可以标记图像中对车辆行驶没有影响的障碍物，或者标记会对车辆影响较小并且难以识别的障碍物。在训练模型的过程中，可以通过当前的模型识别训练数据，并根据识别结果和预先标记的结果确定目标损失值。在这一过程中，若预测结果是对车辆行驶没有影响的障碍物，或者是对车辆行驶影响较小，且难以识别的障碍物类型，则可以将这些预测结果过滤掉，以免图像中的噪声对训练模型产生影响。
实际应用时，还可以通过在线挖掘技术搜索容易导致模型识别失败的困难样本。通过利用过滤的结果中的困难样本对模型进行优化，使得预设识别模型越来越准确。
其中，可以将通过单目相机获取的环境图像输入预设识别模型中，使得预设识别模型输出环境图像中的障碍物信息。例如输出障碍物的类型以及障碍物在图像中的位置。障碍物类型例如可以是小汽车、卡车、行人、自行车、三角锥路障、施工路牌等。
具体的，若预设识别模型在环境图像中没有识别到障碍物，则输出的障碍物信息可以是没有障碍物。
步骤203，根据单目相机的参数、障碍物信息，确定障碍物相对于车辆的位置。
进一步的，电子设备确定出环境图像中的识别出障碍物后，可以得到障碍物在环境图像中位置。例如，一障碍物的着地点在环境图像中的坐标是p＝(u,v)。车辆行驶时，需要准确的确定障碍物相对于自身的真实物理位置，才能够根据障碍物制定行驶策略。例如减速、避让等。
实际应用时，在环境图像中确定障碍物信息之后，电子设备还可以确定障碍物相对于车辆的位置。具体根据单目相机的参数、障碍物信息，确定障碍物相对于车辆的位置。
其中，不同的相机在相同位置拍摄相同的物体所得到的图像也不完全相同，具体是由于相机参数的不同造成的。因此，可以结合单目相机的参数，将障碍物在环境图像中的位置转换为其相对于车辆的位置。
图3为本发明一示例性实施例示出的所依据的单目相机成像原理图。图中假设单目相机安装在车顶前方位置。
如图3所示，依据小孔成像模型，相机成像时可以根据三角形相似原则确定环境图像中的障碍物p＝(u,v)在坐标系W上的真实物理位置P(X，Y，0)T。其中，坐标系W车头下的地面中心为原点，车前方为X轴正方向，车右方为Y轴正方向，向上为Z轴正方向。
具体的，障碍物位置P可以根据下式确定，
其中，可以采用常规的相机标定法得到相机的内参
相机的外参旋转矩阵R和转移向量t。
x,y为障碍物在相机坐标系归一化平面上的坐标，可以使用相机内参归一化得到，具体为
具体的，电子设备确定出障碍物位置P之后，可以由电子设备根据障碍物相对于车辆的位置制定车辆的行驶策略，也可以由电子设备将确定的障碍物位置以及其他信息发送给控制设备，再由控制设备制定车辆的行驶策略。
本实施例提供的方法利用单目相机识别障碍物，该方法由设置有本实施例提供的方法的设备执行，该设备通常以硬件和/或软件的方式来实现。
本实施例提供的利用单目相机识别障碍物的方法，包括：通过单目相机获取环境图像；利用预设识别模型在环境图像中确定障碍物信息；根据单目相机的参数、障碍物信息，确定障碍物相对于车辆的位置。本实施例提供的方法，能够利用单目相机采集的图像在图像中识别障碍物，此后，再结合单目相机的参数确定障碍物相对于车辆的位置，从而使车辆感知周围环境。采用本实施例提供的方案，能够基于单目相机采集的图像进行障碍物的识别与定位，从而有效地降低数据处理量。
图4为本发明另一示例性实施例示出的利用单目相机识别障碍物的方法的流程图。
如图4所示，本实施例提供的利用单目相机识别障碍物的方法，包括：
步骤401，利用带有标注信息的图像数据训练模型，得到预设识别模型。
其中，本实施例提供的方法还设置有预先训练用于识别障碍物模型的方案。
具体的，可以预先准备带有额外标注信息的图像数据，用于训练模型。例如，可以预先搭建一个神经网络，可以将预先准备的图像数据输入模型中，由模型识别图像数据中的障碍物信息，再与图像的标注信息进行比对，得到识别误差，从而根据识别误差优化神经网络中各层的参数，以达到优化模型的目的。
进一步的，可以采用梯度回传的方式优化神经网络。当模型输出的识别结果与预先标记的结果相近时，例如误差小于允许范围时，可以认为训练完毕。
实际应用时，可以在图像数据中标注障碍物信息，例如障碍物的类型或位置。可以使用这些带有标记的数据作为训练数据，从而训练神经网络。
其中，由于道路环境较为复杂，环境图像中可能包括一些对车辆正常行驶没有影响的障碍物，或者对车辆行驶有非常小的影响又难以识别的障碍物，例如在道路外的物体、被遮挡的障碍物等。为了减少这些噪音数据对模型造成过度干扰，还可以在图像数据中额外标注符合预设过滤条件的信息。
具体的，在迭代训练计算模型的目标损失值时，在图像中检测到符合预设过滤条件的预测将会被直接忽略，符合预设过滤条件的信息可以是位置信息，如图像中指定的区域。
进一步的，在训练预设识别模型时，采用在线困难挖掘技术确定困难样本，并利用困难样本训练模型。在训练模型的过程中，模型会搜索样本中比较难识别的样本，并用这些困难样本重复对模型进行训练，使得训练后的模型输出的识别结果更加准确。
实际应用时，可以将通过训练得到的预设识别模型设置在电子设备中，从而对环境图像进行识别。
其中，训练预设模型的电子设备可以与使用预设模型的电子设备是不同的电子设备。
步骤402，通过单目相机获取环境图像。
步骤402与步骤201的具体原理和实现方式类似，此处不再赘述。
步骤403，利用预设识别模型确定环境图像的障碍物置信值。
其中，电子设备可以将获取的环境图像输入预设识别模型中，以使预设识别模型对环境图像进行处理，例如提取图像中的特征，并根据特征确定环境图像中的障碍物置信值。
进一步的，预设识别模型还可以输出环境图像的障碍物置信值。例如，可以通过预设识别模型确定障碍物属于哪种类型的障碍物的置信值，假设共有k个障碍物类型，则针对一个障碍物，可以通过预设识别模型确定与其对应的k个置信值。置信值用于衡量障碍物属于一种障碍物类型的概率。例如，一个障碍物属于第一类障碍物的置信值是k1，该障碍物属于第二类障碍物的置信值是k2。
步骤404，根据障碍物置信值确定障碍物信息。
进一步的，还可以根据障碍物置信值确定障碍物信息，具体可以确定该障碍物的类型、障碍物在环境图像中的位置等。
实际应用时，障碍物置信值包括障碍物与预设数量的障碍物类型对应的置信值。可以在障碍物置信值中确定目标置信值，例如可以将确定的障碍物置信值中，最大的置信值作为目标置信值。例如，共确定了k个障碍物置信值，每个置信值与一个障碍物类型对应，可以将其中置信值最大的值确定为目标置信值。
还可以设置与各个障碍物类型对应的最优阈值。通过最优阈值，来确定环境图像中是否确实包括障碍物。具体根据目标置信值确定对应的障碍物类型，再获取该障碍物类型对应的最优阈值。若目标置信值大于获取的最优阈值，则可以认为环境图像中确实包括该类型的障碍物，进而能够降低预设模型误报警的情况。例如，目标置信值对应的障碍物类型是k1，则可以获取类型k1对应的最优阈值，再比对目标置信值与最优阈值。
进一步的，若目标置信值小于或等于获取的最优阈值，则还可以获取该障碍物类型对应的备用阈值，如上所述例子中，可以获取类型k1对应的备用阈值。可以比对目标置信值与获取的备用阈值，从而确定目标置信值是否大于与目标置信值对应的障碍物类型的备用阈值。
若是，则可以再获取上一帧环境图像中与所述障碍物类型对应的历史障碍物特征。例如，获取从上一帧环境图像中识别出的类型为k1的历史障碍物的特征，可以比对当前帧环境图像中识别出的该障碍物特征与历史障碍物特征。
实际应用时，模型是通过识别图像中的特征来确定障碍物信息的。因此，可以获取环境图像中与障碍物置信值对应的障碍物特征。
其中，若与当前的目标置信值对应的障碍物特征与获取的历史障碍物特征匹配，则可以认为该障碍物是存在的。例如，障碍物特征位置符合预设要求，比如特征位置所覆盖区域一致、位置相近，则可以认为该障碍物是存在的。这种方式能够避免漏识别环境图像中的障碍物。
具体的，若目标置信值小于或等于获取的备用阈值，则可以直接抛弃该目标置信值，认为是模型误报警的情况。
进一步的，若确定出确实存在某一类型的障碍物，则可以输出障碍物信息，例如输出障碍物的位置、类型等，以便车辆根据障碍物信息确定行驶策略。例如若障碍物的类型是行人，则行人可以朝任意方向移动，若障碍物的类型是静态物体，则其不会发生移动。
步骤405，根据障碍物信息确定障碍物在环境图像中的图像位置。
进一步的，本实施例提供的方法中，确定的障碍物信息中包括障碍物的位置，因此，可以直接根据障碍物信息获取障碍物在环境图像中的图像位置。具体可以是在图像中的像素位置。
步骤406，根据单目相机的内参、外参、图像位置，确定障碍物相对于车辆的位置。
其中，单目相机可以有内部参数和外部参数。内部参数
单目相机的外部参数包括旋转矩阵R和转移向量t。对该公式的解释与图3所示实施例类似，不再赘述。
其中，在真实行驶环境中，复杂的路况会造成车辆自身抖动，进而导致标定的相机参数不精确。因此，为了更加准确的确定障碍物位置，还可以利用惯性测量单元(IMU)对障碍物位置进行修正。
具体的，可以在车辆中安装惯性测量单元，该单元可以与电子设备连接，电子设备还可以读取惯性测量单元中的数据。
进一步的，电子设备可以读取惯性测量单元中确定的偏差量，具体可以包括俯仰角偏差α和偏航角偏差β，可以利用俯仰角偏差和偏航角偏差对障碍物相对于车辆的位置进行修正。具体可以基于下式确定障碍物相对于车辆修正后的位置：
这里Rα和Rβ分别是根据IMU测量得到的抖动旋转修正矩阵，通过旋转修正矩阵修正后的障碍物位置更加准确。
图5为本发明一示例性实施例示出的利用单目相机识别障碍物的装置的结构图。
如图5所示，本实施例提供的利用单目相机识别障碍物的装置，包括：
获取模块51，用于通过单目相机获取环境图像；
确定模块52，用于利用预设识别模型在所述环境图像中确定障碍物信息；
定位模块53，用于根据所述单目相机的参数、所述障碍物信息，确定所述障碍物相对于车辆的位置。
本实施例提供的利用单目相机识别障碍物的装置，包括获取模块，用于通过单目相机获取环境图像；确定模块，用于利用预设识别模型在环境图像中确定障碍物信息；定位模块，用于根据单目相机的参数、障碍物信息，确定障碍物相对于车辆的位置。本实施例提供的利用单目相机识别障碍物的装置，能够利用单目相机采集的图像在图像中识别障碍物，此后，再结合单目相机的参数确定障碍物相对于车辆的位置，从而使车辆感知周围环境。采用本实施例提供的方案，能够基于单目相机采集的图像进行障碍物的识别与定位，从而降低数据处理量。
本实施例提供的利用单目相机识别障碍物的装置的具体原理和实现方式均与图2所示的实施例类似，此处不再赘述。
图6为本发明另一示例性实施例示出的利用单目相机识别障碍物的装置的结构图。
如图6所示，在上述实施例的基础上，本实施例提供的利用单目相机识别障碍物的装置，可选的，所述装置还包括训练模块54，用于：
利用带有辅助标注信息的图像数据训练模型，得到所述预设识别模型；
其中，所述标注信息包括符合预设过滤条件的信息。
可选的，所述训练模块54具体在训练所述预设识别模型时，采用在线困难挖掘技术确定困难样本，并利用所述困难样本训练所述模型。
可选的，所述确定模块52包括：
置信值确定单元521，用于利用所述预设识别模型确定所述环境图像的障碍物置信值；
类型确定单元522，用于根据所述障碍物置信值确定所述障碍物信息。
可选的，所述障碍物置信值包括预设数量的障碍物类型对应的置信值；
所述类型确定单元522具体用于：
在所述障碍物置信值中确定目标置信值；
根据所述目标置信值对应的障碍物类型的最优阈值、所述目标置信值，确定是否存在与所述障碍物类型对应障碍物。
可选的，所述类型确定单元522具体用于：
若所述目标置信值大于或等于所述最优阈值，则确定存在与所述障碍物类型对应障碍物；
否则，确定所述目标置信值是否大于与所述目标置信值对应的障碍物类型的备用阈值；
若是，则获取上一帧环境图像中与所述障碍物类型对应的历史障碍物特征，并比对当前帧环境图像中的障碍物特征与所述历史障碍物特征，并根据比对结果确定所述障碍物信息。
可选的，所述定位模块53包括：
图像位置确定单元531，用于根据所述障碍物信息确定所述障碍物在所述环境图像中的图像位置；
相对位置确定单元532，用于根据所述单目相机的内参、外参、所述图像位置，确定所述障碍物相对于车辆的位置。
可选的：
所述定位模块53还用于利用惯性测量单元确定偏差量；
所述相对位置确定单元532具体用于：
根据所述偏差量、所述单目相机的内参、外参、所述图像位置，确定所述障碍物相对于车辆的位置。
本实施例提供的利用单目相机识别障碍物的装置的具体原理和实现方式均与图4所示的实施例类似，此处不再赘述。
图7为本发明一示例性实施例示出的利用单目相机识别障碍物设备的结构图。
如图7所示，本实施例提供的利用单目相机识别障碍物的设备包括：
存储器71；
处理器72；以及
计算机程序；
其中，所述计算机程序存储在所述存储器71中，并配置为由所述处理器72执行以实现如上所述的任一种利用单目相机识别障碍物的方法。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，
所述计算机程序被处理器执行以实现如上所述的任一种利用单目相机识别障碍物的方法。
本实施例还提供一种计算机程序，包括程序代码，当计算机运行所述计算机程序时，所述程序代码执行如上所述的任一种利用单目相机识别障碍物的方法。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (11)
1.一种利用单目相机识别障碍物的方法，其特征在于，包括：
通过单目相机获取环境图像；
利用预设识别模型在所述环境图像中确定障碍物信息；
根据所述单目相机的参数、所述障碍物信息，确定所述障碍物相对于车辆的位置。
2.根据权利要求1所述的方法，其特征在于，利用带有标注信息的图像数据训练模型，得到所述预设识别模型；
其中，所述标注信息包括符合预设过滤条件的信息。
3.根据权利要求1所述的方法，其特征在于，训练所述预设识别模型时，采用在线困难挖掘技术确定困难样本，并利用所述困难样本训练所述模型。
4.根据权利要求1所述的方法，其特征在于，所述利用预设识别模型在所述环境图像中确定障碍物信息，包括：
利用所述预设识别模型确定所述环境图像的障碍物置信值；
根据所述障碍物置信值确定所述障碍物信息。
5.根据权利要求4所述的方法，其特征在于，所述障碍物置信值包括预设数量的障碍物类型对应的置信值；
所述根据所述障碍物置信值确定所述障碍物信息，包括：
在所述障碍物置信值中确定目标置信值；
根据所述目标置信值对应的障碍物类型的最优阈值、所述目标置信值，确定是否存在与所述障碍物类型对应障碍物。
6.根据权利要求5所述的方法，其特征在于，所述根据所述目标置信值对应的障碍物类型的最优阈值、所述目标置信值，确定是否存在与所述障碍物类型对应障碍物，包括：
若所述目标置信值大于或等于所述最优阈值，则确定存在与所述障碍物类型对应障碍物；
否则，确定所述目标置信值是否大于与所述目标置信值对应的障碍物类型的备用阈值；
若是，则获取上一帧环境图像中与所述障碍物类型对应的历史障碍物特征，并比对当前帧环境图像中的障碍物特征与所述历史障碍物特征，并根据比对结果确定所述障碍物信息。
7.根据权利要求4所述的方法，其特征在于，所述根据所述单目相机的参数、所述障碍物信息，确定所述障碍物相对于车辆的位置，包括：
根据所述障碍物信息确定所述障碍物在所述环境图像中的图像位置；
根据所述单目相机的内参、外参、所述图像位置，确定所述障碍物相对于车辆的位置。
8.根据权利要求7所述的方法，其特征在于，还包括：
利用惯性测量单元确定偏差量；
所述根据所述单目相机的内参、外参、所述图像位置，确定所述障碍物相对于车辆的位置，包括：
根据所述偏差量、所述单目相机的内参、外参、所述图像位置，确定所述障碍物相对于车辆的位置。
9.一种利用单目相机识别障碍物的装置，其特征在于，包括：
获取模块，用于通过单目相机获取环境图像；
确定模块，用于利用预设识别模型在所述环境图像中确定障碍物信息；
定位模块，用于根据所述单目相机的参数、所述障碍物信息，确定所述障碍物相对于车辆的位置。
10.一种利用单目相机识别障碍物的设备，其特征在于，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并配置为由所述处理器执行以实现如权利要求1-8任一种所述的方法。
11.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，
所述计算机程序被处理器执行以实现如权利要求1-8任一种所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911077426.6A CN111027381A (zh) | 2019-11-06 | 2019-11-06 | 利用单目相机识别障碍物的方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911077426.6A CN111027381A (zh) | 2019-11-06 | 2019-11-06 | 利用单目相机识别障碍物的方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111027381A true CN111027381A (zh) | 2020-04-17 |
Family
ID=70204961
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911077426.6A Pending CN111027381A (zh) | 2019-11-06 | 2019-11-06 | 利用单目相机识别障碍物的方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111027381A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111578839A (zh) * | 2020-05-25 | 2020-08-25 | 北京百度网讯科技有限公司 | 障碍物坐标处理方法、装置、电子设备及可读存储介质 |
| CN111591284A (zh) * | 2020-05-28 | 2020-08-28 | 东软睿驰汽车技术（沈阳）有限公司 | 基于单目识别的视野盲区避障方法及装置 |
| CN111746543A (zh) * | 2020-06-30 | 2020-10-09 | 三一专用汽车有限责任公司 | 车辆变道的控制方法、控制装置、车辆和可读存储介质 |
| CN111857147A (zh) * | 2020-07-27 | 2020-10-30 | 盐城工业职业技术学院 | 一种农用拖拉机远程控制***及方法 |
| CN112184700A (zh) * | 2020-10-21 | 2021-01-05 | 西北民族大学 | 基于单目相机的农业无人车障碍物感知方法及装置 |
| CN112597869A (zh) * | 2020-12-17 | 2021-04-02 | 东风商用车有限公司 | 障碍物信息推送方法、装置、设备及可读存储介质 |
| CN112883909A (zh) * | 2021-03-16 | 2021-06-01 | 东软睿驰汽车技术（沈阳）有限公司 | 基于包围盒的障碍物位置检测方法、装置和电子设备 |
| CN113610056A (zh) * | 2021-08-31 | 2021-11-05 | 的卢技术有限公司 | 障碍物检测方法、装置、电子设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006031313A (ja) * | 2004-07-15 | 2006-02-02 | Daihatsu Motor Co Ltd | 障害物測定方法及び障害物測定装置 |
| CN104299244A (zh) * | 2014-09-26 | 2015-01-21 | 东软集团股份有限公司 | 基于单目相机的障碍物检测方法及装置 |
| CN106503653A (zh) * | 2016-10-21 | 2017-03-15 | 深圳地平线机器人科技有限公司 | 区域标注方法、装置和电子设备 |
| CN206710598U (zh) * | 2017-05-08 | 2017-12-05 | 南京热典智能科技有限公司 | 一体化集成的车载障碍物检测和识别装置 |
| CN108909624A (zh) * | 2018-05-13 | 2018-11-30 | 西北工业大学 | 一种基于单目视觉的实时障碍物检测和定位方法 |
| CN109900254A (zh) * | 2019-03-28 | 2019-06-18 | 合肥工业大学 | 一种单目视觉的路面坡度计算方法及其计算装置 |
| CN110414392A (zh) * | 2019-07-15 | 2019-11-05 | 北京天时行智能科技有限公司 | 一种障碍物距离的确定方法及装置 |
-
2019
- 2019-11-06 CN CN201911077426.6A patent/CN111027381A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006031313A (ja) * | 2004-07-15 | 2006-02-02 | Daihatsu Motor Co Ltd | 障害物測定方法及び障害物測定装置 |
| CN104299244A (zh) * | 2014-09-26 | 2015-01-21 | 东软集团股份有限公司 | 基于单目相机的障碍物检测方法及装置 |
| CN106503653A (zh) * | 2016-10-21 | 2017-03-15 | 深圳地平线机器人科技有限公司 | 区域标注方法、装置和电子设备 |
| CN206710598U (zh) * | 2017-05-08 | 2017-12-05 | 南京热典智能科技有限公司 | 一体化集成的车载障碍物检测和识别装置 |
| CN108909624A (zh) * | 2018-05-13 | 2018-11-30 | 西北工业大学 | 一种基于单目视觉的实时障碍物检测和定位方法 |
| CN109900254A (zh) * | 2019-03-28 | 2019-06-18 | 合肥工业大学 | 一种单目视觉的路面坡度计算方法及其计算装置 |
| CN110414392A (zh) * | 2019-07-15 | 2019-11-05 | 北京天时行智能科技有限公司 | 一种障碍物距离的确定方法及装置 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111578839A (zh) * | 2020-05-25 | 2020-08-25 | 北京百度网讯科技有限公司 | 障碍物坐标处理方法、装置、电子设备及可读存储介质 |
| CN111591284A (zh) * | 2020-05-28 | 2020-08-28 | 东软睿驰汽车技术（沈阳）有限公司 | 基于单目识别的视野盲区避障方法及装置 |
| CN111746543A (zh) * | 2020-06-30 | 2020-10-09 | 三一专用汽车有限责任公司 | 车辆变道的控制方法、控制装置、车辆和可读存储介质 |
| CN111857147A (zh) * | 2020-07-27 | 2020-10-30 | 盐城工业职业技术学院 | 一种农用拖拉机远程控制***及方法 |
| CN112184700A (zh) * | 2020-10-21 | 2021-01-05 | 西北民族大学 | 基于单目相机的农业无人车障碍物感知方法及装置 |
| CN112184700B (zh) * | 2020-10-21 | 2022-03-18 | 西北民族大学 | 基于单目相机的农业无人车障碍物感知方法及装置 |
| CN112597869A (zh) * | 2020-12-17 | 2021-04-02 | 东风商用车有限公司 | 障碍物信息推送方法、装置、设备及可读存储介质 |
| CN112883909A (zh) * | 2021-03-16 | 2021-06-01 | 东软睿驰汽车技术（沈阳）有限公司 | 基于包围盒的障碍物位置检测方法、装置和电子设备 |
| CN113610056A (zh) * | 2021-08-31 | 2021-11-05 | 的卢技术有限公司 | 障碍物检测方法、装置、电子设备及存储介质 |
| CN113610056B (zh) * | 2021-08-31 | 2024-06-07 | 的卢技术有限公司 | 障碍物检测方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111027381A (zh) | 利用单目相机识别障碍物的方法、装置、设备及存储介质 | |
| KR102483649B1 (ko) | 차량 위치 결정 방법 및 차량 위치 결정 장치 | |
| JP6670071B2 (ja) | 車両用画像認識システム、及び対応法 | |
| CN112132896B (zh) | 一种轨旁设备状态检测方法及*** | |
| WO2020097840A1 (en) | Systems and methods for correcting a high-definition map based on detection of obstructing objects | |
| JP7147420B2 (ja) | 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム | |
| JP7078021B2 (ja) | 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム | |
| CN111860352B (zh) | 一种多镜头车辆轨迹全跟踪***及方法 | |
| US20130265424A1 (en) | Reconfigurable clear path detection system | |
| JP7135665B2 (ja) | 車両制御システム、車両の制御方法及びコンピュータプログラム | |
| CN111210477A (zh) | 一种运动目标的定位方法及*** | |
| US11436815B2 (en) | Method for limiting object detection area in a mobile system equipped with a rotation sensor or a position sensor with an image sensor, and apparatus for performing the same | |
| CN112084810A (zh) | 一种障碍物检测方法、装置、电子设备及存储介质 | |
| CN114543819B (zh) | 车辆定位方法、装置、电子设备及存储介质 | |
| CN111967396A (zh) | 障碍物检测的处理方法、装置、设备及存储介质 | |
| CN111274862A (zh) | 用于产生车辆的周围环境的标签对象的设备和方法 | |
| CN113011285A (zh) | 车道线检测方法、装置、自动驾驶车辆及可读存储介质 | |
| CN115366885A (zh) | 用于辅助机动车的驾驶操作的方法、辅助装置及机动车 | |
| CN114359865A (zh) | 一种障碍物的检测方法及相关装置 | |
| CN111238490A (zh) | 视觉定位方法、装置以及电子设备 | |
| WO2021204867A1 (en) | A system and method to track a coupled vehicle | |
| CN116486290A (zh) | 一种无人机监测追踪方法、装置、电子设备及存储介质 | |
| CN111626078A (zh) | 识别车道线的方法及装置 | |
| CN115790568A (zh) | 基于语义信息的地图生成方法及相关设备 | |
| Wang et al. | Online drone-based moving target detection system in dense-obstructer environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200417 |