CN106740841B - 基于动态控制的车道线检测方法、装置及车载设备 - Google Patents

基于动态控制的车道线检测方法、装置及车载设备 Download PDF

Info

Publication number
CN106740841B
CN106740841B CN201710079303.0A CN201710079303A CN106740841B CN 106740841 B CN106740841 B CN 106740841B CN 201710079303 A CN201710079303 A CN 201710079303A CN 106740841 B CN106740841 B CN 106740841B
Authority
CN
China
Prior art keywords
camera
lane line
lane
line
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710079303.0A
Other languages
English (en)
Other versions
CN106740841A (zh
Inventor
周小成
张丹
罗赛
姜岩
彭进展
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Uisee Technologies Beijing Co Ltd
Original Assignee
Uisee Technologies Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Uisee Technologies Beijing Co Ltd filed Critical Uisee Technologies Beijing Co Ltd
Priority to CN201710079303.0A priority Critical patent/CN106740841B/zh
Publication of CN106740841A publication Critical patent/CN106740841A/zh
Application granted granted Critical
Publication of CN106740841B publication Critical patent/CN106740841B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10Path keeping
    • B60W30/12Lane keeping
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于动态控制的车道线检测方法、装置及车载设备,该方法包括:实时采集摄像头当前视野范围内的图像;在所述图像中识别车道线并检测所述车道线的中心线是否位于所述图像的中心区域;在未识别到车道线、或检测到所述车道线的中心线不位于所述图像的中心区域时,根据所述识别和/或所述检测的结果动态调整所述摄像头的位置和/或角度,以使所述车道线的中心线位于所述摄像头视野范围的中心区域。在本发明实施例的技术方案中,采用可调整位置和/或角度的摄像头,通过动态调控手段来使得车道中心线目标点位于摄像头视野中间,从而保证了车道线检测的准确性和有效性。

Description

基于动态控制的车道线检测方法、装置及车载设备
技术领域
本发明属于车辆自动驾驶技术领域,具体涉及一种基于动态控制的车道线检测方法、装置及车载设备。
背景技术
随着车辆技术的发展,车辆自动驾驶成为热点研究领域。基于摄像头的车道线监测是自动驾驶领域中的一个重要研究内容,如辅助驾驶中的车道线中心偏离警告和辅助驾驶/无人驾驶中的车道线中心保持功能等,都依赖于车道线检测结果。基于摄像头的车道线检测技术的基本目标是根据摄像头拍摄到的图像实时检测出车道线,据此得到车和车道线的相对位置,从而得到车是否偏离车道线中心,以指导后续的规划和控制,使得车辆能保持在车道线中心行驶或进行合理的规避。
现有技术中,不管是基于单目摄像头还是基于双目深度摄像头的车道线检测技术,都需要在固定安装摄像头并确定俯仰角、焦距等摄像头技术参数后对摄像头进行各种标定,并生成对应的标定参数,以在后续的行驶过程中通过标定参数还原图像中的车道线和车辆的真正物理关系。
但是,发明人在实现本发明的过程中发现,现有技术中这种基于固定摄像头位置的车道线检测存在如下问题:首先,当车辆在有起伏颠簸的路面上行驶时,由于车道线和车辆之间的对应关系发生了变化,基于固定参数标定的车道线检测可能会导出错误的车道线检测结果,虽然车道线检测算法和后续的规划控制算法可以通过滤波等技术处理这种情况,但都不能从根本上解决这个问题;其次,由于摄像头安装位置和角度固定,摄像头的视角有限,导致在实际应用中大多只能处理车道线在车辆正前方的情况,当车辆在曲率较大的弯道上行驶时,摄像头将会失去检测目标,从而不能指导车辆跟随车道线中心行驶。使用广角镜头在一定程度上可以缓解上述第2个问题,但是广角镜头的视野终归有限,并且由于广角镜头存在大的形变,会使得车道线检测算法更加复杂。
因此,如何在车辆行驶于不平整道路和曲率较大的道路上时检测出正确的车道线,便成为了目前亟待解决的技术问题。
发明内容
本发明的目的在于,提供一种基于动态控制的车道线检测方法、装置及车载设备,以解决现有的固定摄像头无法在不平整道路和曲率较大的道路上检测出正确的车道线的问题。
为解决上述技术问题,在本发明的一个方面,提供了一种基于动态控制的车道线检测方法,包括:
实时采集摄像头当前视野范围内的图像;
在所述图像中识别车道线并检测所述车道线的中心线是否位于所述图像的中心区域;
在未识别到车道线、或检测到所述车道线的中心线不位于所述图像的中心区域时,根据所述识别和/或所述检测的结果动态调整所述摄像头的位置和/或角度,以使所述车道线的中心线位于所述摄像头视野范围的中心区域。
可选地,所述方法还包括:
当未在所述图像中识别到车道线时,
在所述摄像头的可调整范围内持续搜索,
直到在所述摄像头当前视野范围内采集的图像中识别到与车头方向相一致的、或者与车辆行驶方向相一致的车道线。
可选地,所述方法还包括:
当在所述图像中识别到车道线,但检测到所述车道线的中心线不位于所述图像的中心区域时,
根据所述车道线的中心线与所述图像的中心线的偏离情况相应调整所述摄像头。
可选地,所述根据所述车道线的中心线与所述图像的中心线的偏离情况相应调整所述摄像头包括:
当检测到所述车道线的中心线与所述图像的中心线之间有第一位移偏差和/或第一角度偏差时,
向所述第一位移偏差的相反方向调整所述摄像头的位置移动第二位移,
和/或,
向所述第一角度偏差的相反方向调整所述摄像头的角度旋转第二角度。
可选地,所述在所述摄像头的可调整范围内持续搜索包括:
从当前位置调整所述摄像头进行搜索;
或者,将所述摄像头旋转到与车头方向相一致的、或者与车辆行驶方向相一致后,再调整所述摄像头进行搜索;
或者,根据在先的车道线识别情况,从车道线消失的位置和方向开始调整所述摄像头进行搜索;
或者,根据电子地图预测的车道线位置来调整所述摄像头进行搜索。
可选地,所述调整所述摄像头进行搜索为水平顺/逆时针旋转所述摄像头进行搜索。
可选地,所述方法还包括:
对所述摄像头采集的所述图像进行矫正后,再在所述图像中识别和/或检测车道线。
可选地,所述方法还包括:
根据所述识别和/或所述检测的结果,判断车辆的状态和位置是否正常;
当判断出发生异常时,发出提醒信息和/或发出控制信号操控所述车辆的状态。
可选地,所述方法还包括:
根据所述图像进行转换,在转换后的正投影平面上进行所述判断和所述控制信号的决策。
可选地,所述方法还包括:
通过对路况和车况的预测,来辅助进行所述摄像头的位置和/或角度的所述动态调整。
可选地,所述对路况和车况的预测包括:
根据当前车辆状态和当前道路情况,预测未来一段时间内所述车辆在所述道路中的运动轨迹;
根据当前摄像头状态和所述运动轨迹,预测所述未来一段时间内车道线偏离所述摄像头视野中心区域的位置和持续时间;
根据所述车道线偏离所述摄像头视野中心区域的位置,预测将所述摄像头调整到位需要的时间;
根据所述持续时间和所述调整到位需要的时间,判断在所述车辆到达所述车道线偏离所述摄像头视野中心区域的位置时,是否需要调整摄像头。
可选地,所述方法还包括:
当预测到多个临近位置可能发生多次调整时,在所述摄像头调整的范围阈值内,优先采用使得所述多次调整的总调整量最小的方式进行调整。
在本发明实施例的另一方面,还提供了一种基于动态控制的车道线检测装置,包括:
图像采集模块,用于实时采集摄像头当前视野范围内的图像;
车道线检测模块,用于在所述图像中识别车道线并检测所述车道线的中心线是否位于所述图像的中心区域;
摄像头控制模块,用于在未识别到车道线、或检测到所述车道线的中心线不位于所述图像的中心区域时,根据所述识别和/或所述检测的结果动态调整所述摄像头的位置和/或角度,以使所述车道线的中心线位于所述摄像头视野范围的中心区域。
可选地,所述装置还包括:
搜索模块,用于当未在所述图像中识别到车道线时,在所述摄像头的可调整范围内持续搜索,直到在所述摄像头当前视野范围内采集的图像中识别到与车头方向相一致的、或者与车辆行驶方向相一致的车道线。
可选地,所述装置还包括:
辅助调整模块,用于通过对路况和车况的预测,来辅助进行所述摄像头的位置和/或角度的所述动态调整。
可选地,所述装置还包括:
优化调整模块,用于当预测到多个临近位置可能发生多次调整时,在所述摄像头调整的范围阈值内,优先采用使得所述多次调整的总调整量最小的方式进行调整。
在本发明实施例的再一方面,还提供了一种车载设备,包括:摄像头、云台、存储器和一个或多个处理器;其中,
所述摄像头安装在所述云台上,所述摄像头用于实时采集当前视野范围内的图像;
所述摄像头与所述存储器及所述一个或多个处理器通信连接,所述存储器存储有可被所述一个或多个处理器执行的指令,所述指令被所述一个或多个处理器执行,以使所述一个或多个处理器能够实现如权利要求1-12中任一项所述的方法;
所述云台与所述一个或多个处理器耦接,根据所述动态调整的信号驱动调整所述摄像头的位置和/或角度。
在本发明实施例的技术方案中,采用可调整位置和/或角度的摄像头,通过动态调控手段来使得车道中心线目标点位于摄像头视野中间,从而保证了车道线检测的准确性和有效性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一个实施例中基于动态控制的车道线检测方法的流程示意图;
图2为本发明一个实施例中基于动态控制的车道线检测装置的模块结构示意图;
图3为本发明一个实施例中车载设备的结构示意图。
具体实施方式
为使本领域技术人员更好地理解本发明的技术方案,下面结合附图和具体实施方式对本发明作进一步详细描述。
现有技术中,车载摄像头通常是固定安装在目标车辆上,摄像头的位置和角度固定,同时车道线检测算法使用的标定参数也是基于这些固定安装位置的。但该方式实际仅适合于车辆在平直路面上行驶的情况,当车辆在有起伏颠簸的路面上或在曲率较大的弯道上行驶时,车道线和车辆之间的对应关系会发生变化,甚至车道线会从摄像头视野中消失,此时基于固定摄像头的标定参数可能会导致错误的车道线检测结果甚至无法进行车道线检测。目前,通过广角摄像头扩大检测区域的方式并不能有效解决上述问题。
在本发明实施例的技术方案中,采用可调整位置和/或角度的摄像头,通过动态调控手段来使得车道中心线目标点位于摄像头视野中间,从而保证了车道线检测的准确性和有效性。
实施例一:
如图1所示,本发明实施例公开的一种基于动态控制的车道线检测方法包括:
S1,实时采集摄像头当前视野范围内的图像;
S2,在所述图像中识别车道线并检测所述车道线的中心线是否位于所述图像的中心区域;
S3,在未识别到车道线、或检测到所述车道线的中心线不位于所述图像的中心区域时,根据所述识别和/或所述检测的结果动态调整所述摄像头的位置和/或角度,以使所述车道线的中心线位于所述摄像头视野范围的中心区域。
其中,本发明实施例中的摄像头为车载摄像头,所述车载摄像头可以为单目摄像头、双目摄像头或更多摄像头的组合,单个摄像头可采用常规镜头、广角镜头、长焦镜头或变焦镜头等,摄像头传感器可为CCD(Charge-coupled Device,电耦合元件)或CMOS(Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)等传感器,摄像头类型可为多色摄像头(比如RGB彩色摄像头)或单色摄像头(比如黑白摄像头、红外摄像头、R/G/B单色摄像头)等,在此摄像头的具体形式不作为对本发明实施方式的限制。
可选地,所述车载摄像头设置在车辆的顶部、尾部、内后视镜处、外后视镜处或任意可能的安装位置,以使所述车载摄像头的视野范围内至少包括部分道路情况。本发明实施例中的摄像头可自动调整其位置和/或角度,可选地,通过可受程序控制的驱动部件,比如电动马达等来自动调整所述摄像头的位置和/或角度。在本发明的一个实施例中,所述摄像头安装在云台上,所述云台可微调所述摄像头的位置和/或旋转调整所述摄像头的角度;可选地,所述云台可移动地设置在至少一个导轨上,通过在所述导轨上移动所述云台来大幅调整所述摄像头的位置。在本发明的一个实施例中,所述摄像头为防抖摄像头;在本发明的另一个实施例中,所述云台和/或所述导轨设有稳定器,可保持所述摄像头在车辆行驶和/或调整过程中的稳定性,比如可减震和/或可保持所述摄像头的动态平衡。此外,对于具有变焦能力的摄像头,还可通过对摄像头焦距/放大倍数的调整,使得车道线的中心线位于摄像头视野范围的中心区域。
实施例二:
在本发明的一个实施例中,主要通过图像处理方式来进行车道线的识别与检测。通常情况下,车道线的颜色、形状及其出现在图像中的位置相对固定,通过对摄像头采集的图像进行处理即可分离识别出绝大多数的车道线标志。典型地,图像处理和图像识别的步骤包括:预处理、灰度处理、边缘检测、图像分割和特征提取等,相关算法及具体实施已经成熟,在此不再赘述,图像处理和图像识别的具体过程不应视作对本发明实施方式的限制。
需要注意的是,现有技术中为简化车道线检测,一般仅在图像的ROI(region ofinterest,感兴趣区域)内进行识别和检测。在本发明的一个实施例中,为进一步利用检测结果控制调整摄像头的位置和/或角度,优选对图像整体进行识别和检测,尤其是在未识别到车道线的情况下,可能会进一步对图像两侧边缘的物体进行重点检测。
其中,为了防止云台和/或摄像头频繁移动,影响云台使用寿命和摄像头检测的稳定性,在本发明的实施例中,图像/视野范围的中心区域是一个具有一定宽度的范围区域。理想情况下,车道线的中心线与图像/视野范围的中心线重合当然是最利于车辆控制的方式,但这会给***控制带来极大的压力,因此并不强制要求两中心线重合,只要车道线的中心线位于图像/视野范围的中心线附近的一定区域内即可接受。故在本发明的实施例中,设置有一中心区域的范围阈值,在车道线中心线与图像/视野范围的中心线的距离和/或角度的偏差在该范围阈值内时,即认为车道线的中心线位于图像/视野范围的中心区域,此时无需进行或可以结束对摄像头位置和/或角度的调整;仅当车道线中心线与图像/视野范围的中心线的距离或角度的偏差超出该范围阈值时,才开始执行摄像头的调整操作。
实施例三:
在本发明的一个实施例中,所述根据所述识别和/或所述检测的结果动态调整所述摄像头的位置和/或角度包括多种决策手段和调整策略。
典型地,当在图像中识别到车道线,但检测到所述车道线的中心线不位于所述图像的中心区域时,根据所述车道线的中心线与所述图像的中心线的偏离情况相应调整所述摄像头。比如,当检测到车道线的中心线与图像的中心线之间有第一位移的偏差和/或第一角度的偏差时,向第一位移偏差的相反方向调整摄像头的位置移动第二位移,和/或向第一角度偏差的相反方向调整摄像头的角度旋转第二角度。其中,第一位移与第二位移的对应关系、第一角度与第二角度的对应关系根据摄像头参数和标定参数等计算得到。
而当未在图像中识别到车道线时,则需要在摄像头的可调整范围内持续搜索,直到与车头方向相一致的、或者与车辆行驶方向相一致的车道线出现在摄像头当前视野范围内(由采集图像识别确认),随后再根据车道线的中心线与图像的中心线的偏离情况相应调整摄像头(即上文所述调整方式)。可选地,搜索方式包括:
从当前位置调整摄像头进行搜索;
或者,将摄像头旋转到与车头方向相一致的、或者与车辆行驶方向相一致后,再调整摄像头进行搜索;
或者,根据在先的车道线识别情况,从车道线消失的位置和方向开始调整摄像头进行搜索;
或者,根据电子地图预测的车道线位置来调整摄像头进行搜索。
为提高效率、可靠性和安全性,最有可能存在车道线的位置应最优先搜索;但同时应考虑摄像头的调整是依赖机械部件,不应过于频繁和大幅度地动作,搜索过程应尽量保持简短和平滑。因此,在本发明的实施例中,优选通过水平旋转摄像头进行车道线的初步搜索;进一步地,根据车辆状态、在先的车道线识别情况、车载传感器和/或电子地图等来确定旋转方向(是顺时针还是逆时针)。比如,车辆右转弯时,优先向右(即顺时针)旋转来搜索;或者,车辆直线行驶时、车道线消失前处于在先的视野图像中的最右侧,则优先向右(即顺时针)旋转来搜索;又或者,车辆直线行驶时、根据一定的手段(包括但不限于在先车道线识别后的定位、电子地图或其他传感器等信息)确定车辆处于最左侧车道,则优先向右(即顺时针)旋转来搜索。旋转摄像头的优先方向还可根据更多的信息来综合判断和决策,在此不再一一例举,本领域相关技术人员应当理解,旋转方向的具体确定手段不应视作对本发明实施方式的限制。
此外,本领域相关技术人员可以理解,水平旋转搜索只是理论上较为便捷的搜索方式,在某些极端情况下,比如道路起伏较大、车辆事故、车道线被遮挡或车道线中断等,也可采用全向旋转和/或移动摄像头的方式来进行搜索,在此具体的搜索方式不应视作对本发明实施方式的限制。
实施例四:
通常,车载摄像头拍摄的图像一般会有些变形,最典型地,被摄物体(比如车道线)会有近大远小的问题,若是使用广角镜头则图像中物体的变形会更严重,因而单纯根据摄像头采集的图像直接进行判断和决策可能会有些偏差,并不能准确地为自动驾驶或辅助驾驶提供控制信号,反而会引发一定的安全问题。
在本发明的一个实施例中,先对摄像头采集的图像进行矫正和处理后再用于车道线的检测和自动驾驶/辅助驾驶的决策,以提供更准确、安全、可靠的车辆控制信号。具体地,在本发明的实施例中,对摄像头采集的图像进行矫正后再在所述图像中识别和/或检测车道线。典型地,所述矫正为对梯形物体图像的矫正,即把被拍摄成梯形的物体图像通过对两端的拉伸和/或收缩而矫正为矩形物体图像。进一步地,对于广角镜头所采集的图像,先进行广角畸变的矫正后,再进行梯形物体图像到矩形物体图像的矫正。由于不同摄像头及镜头所产生的形变不尽相同,在此具体的矫正方式不应视作对本发明实施方式的限制。
在本发明的一个实施例中,矫正后的图像虽然已经可以有效用于车道线的识别与检测,但为了更精确地对车辆进行控制,进一步地,还通过正投影处理将车辆相关的信息全部转换到同一个正投影平面上进行综合分析和决策。典型地,根据拍摄和/或矫正后的图像(也可结合其他传感器采集数据及电子地图等)进行转换,将车辆、摄像头及被摄物体等均转换到正投影平面(即从上往下看的俯视图)上,再在正投影平面上判断车辆行驶状态、摄像头姿态以及车辆/摄像头与被摄物的关系(距离、角度等)等等,从而决定是否需要调整以及具体如何控制车辆状态和/或摄像头姿态。
在本发明的实施例中,通过对摄像头拍摄的图像进行矫正,消除了图像中的形变,使得车道线识别和检测的结果更为准确可靠。此外,通过正投影转换处理,使得车辆与车道线的关系更接近实际真实状况,进而使得后续决策更精确有效。
在本发明的实施例中,正投影转换和后续的控制决策需要有准确的数据信息支持,数据信息包括但不限于车速、行驶方向、摄像头相对初始位置/角度的偏移量、摄像头高度、车道线位置、车道线方向和车道线曲率等,进一步地还可以与识别到的物体、其他传感器和/或其他车辆采集的信息数据结合,比如路标、里程碑、障碍物位置、GPS定位、车载雷达数据、后车视野中本车位置等。通过这些数据信息的组合运算,可以准确地在正投影平面中得到当前时刻车辆在道路中的位置、摄像头方向、摄像头位置、车道线在道路中的位置和道路中其他物体情况等等,从而可以根据摄像头采集的图像来合理而精确地控制车辆进行必要的机动,实现高效安全可靠的自动驾驶/辅助驾驶。
其中,为使计算快捷准确,车辆和摄像头的部分数据信息可采用事先检测标定的方式来设置。具体来说,在整个***初始启动时,亦即在摄像头进行图像采集之前,先将摄像头调整至默认的初始位置,通过较为完备的设施和手段预先检查和测量得到各项数据,将其作为摄像头相关的标定参数,随后在工作过程中,实时调用标定参数参与计算和/或校正,以保证数据精确性。
实施例五:
由于车道线检测是自动驾驶/辅助驾驶最基本的技术手段之一,故在本发明的实施例中,首要目的是将车道线尽量保持在摄像头视野中心,以保证可以进行最有效的车道线检测。其次,则是根据车道线检测的结果,判断车辆的状态和位置是否正常,以进行必要的提醒和/或控制来保证行驶安全。再次,则是根据道路情况、车辆状态和位置进行合理的决策和规划,使得车辆可以自动以最适宜的方式持续行驶在各种路况下,实现真正无需人工干预的无人驾驶。
其中,考虑到摄像头的调整主要是基于机械组件,从图像采集到车道线检测、再到控制决策、最后到启动调整乃至调整到位有一定的时延,为避免摄像头调整到位时已不能适应最新路况,比如车辆快速通过小弯道时,很可能摄像头还未调整到位车辆就已经重新进入直道;或者为避免过于频繁地调整摄像头,比如道路存在连续的起伏或小弯道时,本发明的实施例中还通过对路况和车况的预测来优化摄像头的调整。
在本发明的实施例中,通过对路况和车况的预测来优化摄像头的调整包括:
根据当前车辆状态(包括但不限于车速和行驶方向等)和当前道路情况(包括但不限于车道线位置、方向和曲率等),预测未来一段时间内所述车辆在所述道路中的运动轨迹;
根据当前摄像头状态(包括但不限于位置、角度等)和所述运动轨迹,预测所述未来一段时间内车道线偏离所述摄像头视野中心区域的位置和持续时间;
根据所述车道线偏离所述摄像头视野中心区域的位置,预测将所述摄像头调整到位需要的时间;
根据所述持续时间和所述调整到位需要的时间,判断在所述车辆到达所述车道线偏离所述摄像头视野中心区域的位置时,是否需要调整摄像头。
进一步地,上述通过预测来优化调整的方法可采用迭代的方式深入分析,亦即:若在上述预测过程中判定所述摄像头、所述车辆和/或所述道路的情况发生了变化,则将变化后的情况信息代入上述预测,以得到新的预测信息。
此外,可选地,当预测到多个临近位置可能发生多次调整时,在调整的范围阈值内,优先采用使得所述多次调整的总调整量最小的方式进行。进一步可选地,可通过适当放宽所述范围阈值来降低所述总调整量。
其中,所述当前道路情况除根据所述摄像头采集的图像进行识别外,还可进一步依据电子地图、GIS(Geographic Information System,地理信息***)信息、其他传感器、其他车辆和/或人工经验等提供的信息(包括但不限于车道变窄、车道加宽、车道线变更、限速信息、超车信息、指示灯信息、拥塞控制信息、事故信息、路标信息等)来综合分析,从而来预测得到更为准确的车辆运动轨迹。
通过***,本发明的实施例可以对摄像头的调整进行有效的优化,从而保证了摄像头调整的效率和可靠性,避免了调整的时延对***可靠性的影响。同时,本发明的实施例还可通过减少无效的调整和减少频繁的调整来延长机械组件的寿命。
实施例六:
基于上述实施例,参阅图2所示,与上述方法一一对应地,在本发明一个实施例中,还提供一种基于动态控制的车道线检测装置,包括:
图像采集模块10,用于实时采集摄像头当前视野范围内的图像;
车道线检测模块11,用于在所述图像中识别车道线并检测所述车道线的中心线是否位于所述图像的中心区域;
摄像头控制模块12,用于在未识别到车道线、或检测到所述车道线的中心线不位于所述图像的中心区域时,根据所述识别和/或所述检测的结果动态调整所述摄像头的位置和/或角度,以使所述车道线的中心线位于所述摄像头视野范围的中心区域。
可选地,所述装置还包括:
搜索模块,用于当未在所述图像中识别到车道线时,在所述摄像头的可调整范围内持续搜索,直到在所述摄像头当前视野范围内采集的图像中识别到与车头方向相一致的、或者与车辆行驶方向相一致的车道线。
可选地,所述摄像头控制模块中包括:
偏离控制模块,用于当在所述图像中识别到车道线,但检测到所述车道线的中心线不位于所述图像的中心区域时,根据所述车道线的中心线与所述图像的中心线的偏离情况相应调整所述摄像头。
可选地,所述偏离控制模块中包括:
偏差检测模块,用于检测所述车道线的中心线与所述图像的中心线之间的第一位移偏差和/或第一角度偏差,
位置调整模块,用于向所述第一位移偏差的相反方向调整所述摄像头的位置移动第二位移,
和/或,
角度调整模块,用于向所述第一角度偏差的相反方向调整所述摄像头的角度旋转第二角度。
可选地,所述搜索模块包括:
即时搜索模块,用于从当前位置调整所述摄像头进行搜索;
或者,同向搜索模块,用于将所述摄像头旋转到与车头方向相一致的、或者与车辆行驶方向相一致后,再调整所述摄像头进行搜索;
或者,消失位搜索模块,用于根据在先的车道线识别情况,从车道线消失的位置和方向开始调整所述摄像头进行搜索;
或者,预测搜索模块,用于根据电子地图预测的车道线位置来调整所述摄像头进行搜索。
可选地,所述搜索模块中,所述调整所述摄像头进行搜索为水平顺/逆时针旋转所述摄像头进行搜索。
可选地,所述装置还包括:
图像矫正模块,用于对所述摄像头采集的所述图像进行矫正后,再在所述图像中识别和/或检测车道线。
可选地,所述装置还包括:
异常判断模块,用于根据所述识别和/或所述检测的结果,判断车辆的状态和位置是否正常;
车辆控制模块,用于当判断出发生异常时,发出提醒信息和/或发出控制信号操控所述车辆的状态。
可选地,所述装置还包括:
正投影处理模块,用于根据所述图像进行转换,在转换后的正投影平面上进行所述判断和所述控制信号的决策。
可选地,所述装置还包括:
辅助调整模块,用于通过对路况和车况的预测,来辅助进行所述摄像头的位置和/或角度的所述动态调整。
可选地,所述辅助调整模块包括:
轨迹预测模块,用于根据当前车辆状态和当前道路情况,预测未来一段时间内所述车辆在所述道路中的运动轨迹;
偏离预测模块,用于根据当前摄像头状态和所述运动轨迹,预测所述未来一段时间内车道线偏离所述摄像头视野中心区域的位置和持续时间;
耗时预测模块,用于根据所述车道线偏离所述摄像头视野中心区域的位置,预测将所述摄像头调整到位需要的时间;
调整决策模块,用于根据所述持续时间和所述调整到位需要的时间,判断在所述车辆到达所述车道线偏离所述摄像头视野中心区域的位置时,是否需要调整摄像头。
可选地,所述装置还包括:
优化调整模块,用于当预测到多个临近位置可能发生多次调整时,在所述摄像头调整的范围阈值内,优先采用使得所述多次调整的总调整量最小的方式进行调整。
实施例七:
在本发明的一个实施中,还提供了一种非易失性计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行上述任意方法实施例中所描述的方法。
又或者,在本发明的一个实施中,还提供了一种计算机程序产品,所述计算机产品包括计算机可执行指令,该计算机可执行指令可执行上述任意方法实施例中所描述的方法。
实施例八:
在本发明的一个实施例中,用于执行上述基于动态控制的车道线检测方法的车载设备的一种硬件结构如图3所示,该车载设备包括:
摄像头530、云台540、一个或多个处理器510以及存储器520,图3中以一个处理器510为例。
存储器520作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本发明前述实施例中的基于动态控制的车道线检测方法所对应的程序指令/模块。处理器510通过运行存储在存储器520中的非易失性软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理。
存储器520可以包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需要的应用程序;存储数据区可存储根据基于双卡上网的装置的使用所创建的数据等。此外,存储器520可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器520可选包括相对于处理器510远程设置的存储器,这些远程存储器可以通过网络连接至该车载设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
摄像头530安装在所述云台540上,所述摄像头530用于实时采集当前视野范围内的图像。所述摄像头530与所述存储器520及所述一个或多个处理器510通信连接,该通信连接可以通过总线、无线通信或者其他方式连接,图3中以通过总线连接为例。
所述云台540与所述一个或多个处理器耦接,根据所述动态调整的信号驱动调整所述摄像头的位置和/或角度。
一个或者多个功能模块存储在所述存储器520中,当被所述一个或者多个处理器510执行时,执行上述任意方法实施例中的基于动态控制的车道线检测方法。
上述产品可执行本发明实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本发明实施例所提供的方法。
本发明实施例的车载设备优选以车载中控设备实现,但集成于车辆中控台的车载中控设备并非本发明实施例的唯一实施形式。实质上,与车辆相对独立的电子设备同样可适用于本发明的实施例,只要其与车辆控制***能进行适当的交互(包括但不限于接收提醒信息、接收车辆控制信号等)即可。故本发明实施例的车载设备还可以以多种形式存在,包括但不限于:
(1)通用计算终端:提供基本的计算机处理能力的通用设备,通常包括处理器和存储器,通过读取和运行计算机指令来完成相应的功能执行。这类终端包括:个人计算机、单片机、嵌入式设备,以及各种用于工业、商业或民用的小型/微型计算机等。
(2)服务器:提供计算服务的设备,服务器的构成包括处理器、硬盘、内存、***总线等,服务器和通用的计算机架构类似,但是由于需要提供高可靠的服务,因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(3)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机,以及低端手机等。
(4)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等,例如iPad。
(5)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod),掌上游戏机,电子书,以及智能玩具和便携式车载导航设备。
(6)其他具有数据交互功能的电子装置。
综上所述,在本发明实施例的技术方案中,采用可调整位置和/或角度的摄像头,通过动态调控手段来使得车道中心线目标点位于摄像头视野中间,从而保证了车道线检测的准确性和有效性。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (17)

1.一种基于动态控制的车道线检测方法,其特征在于,所述方法包括:
实时采集摄像头当前视野范围内的图像;
在所述图像中识别车道线并检测所述车道线的中心线是否位于所述图像的中心区域;
在未识别到车道线、或检测到所述车道线的中心线不位于所述图像的中心区域时,根据所述识别和/或所述检测的结果动态调整所述摄像头的位置和/或角度,以使所述车道线的中心线位于所述摄像头视野范围的中心区域。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当未在所述图像中识别到车道线时,
在所述摄像头的可调整范围内持续搜索,
直到在所述摄像头当前视野范围内采集的图像中识别到与车头方向相一致的、或者与车辆行驶方向相一致的车道线。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
当在所述图像中识别到车道线,但检测到所述车道线的中心线不位于所述图像的中心区域时,
根据所述车道线的中心线与所述图像的中心线的偏离情况相应调整所述摄像头。
4.根据权利要求3所述的方法,其特征在于,所述根据所述车道线的中心线与所述图像的中心线的偏离情况相应调整所述摄像头包括:
当检测到所述车道线的中心线与所述图像的中心线之间有第一位移偏差和/或第一角度偏差时,
向所述第一位移偏差的相反方向调整所述摄像头的位置移动第二位移,
和/或,
向所述第一角度偏差的相反方向调整所述摄像头的角度旋转第二角度。
5.根据权利要求2所述的方法,其特征在于,所述在所述摄像头的可调整范围内持续搜索包括:
从当前位置调整所述摄像头进行搜索;
或者,将所述摄像头旋转到与车头方向相一致的、或者与车辆行驶方向相一致后,再调整所述摄像头进行搜索;
或者,根据在先的车道线识别情况,从车道线消失的位置和方向开始调整所述摄像头进行搜索;
或者,根据电子地图预测的车道线位置来调整所述摄像头进行搜索。
6.根据权利要求5所述的方法,其特征在于,所述调整所述摄像头进行搜索为水平顺/逆时针旋转所述摄像头进行搜索。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对所述摄像头采集的所述图像进行矫正后,再在所述图像中识别和/或检测车道线。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述识别和/或所述检测的结果,判断车辆的状态和位置是否正常;
当判断出发生异常时,发出提醒信息和/或发出控制信号操控所述车辆的状态。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
根据所述图像进行转换,在转换后的正投影平面上进行所述判断和所述控制信号的决策。
10.根据权利要求1所述的方法,其特征在于,所述方法还包括:
通过对路况和车况的预测,来辅助进行所述摄像头的位置和/或角度的所述动态调整。
11.根据权利要求10所述的方法,其特征在于,所述对路况和车况的预测包括:
根据当前车辆状态和当前道路情况,预测未来一段时间内所述车辆在所述道路中的运动轨迹;
根据当前摄像头状态和所述运动轨迹,预测所述未来一段时间内车道线偏离所述摄像头视野中心区域的位置和持续时间;
根据所述车道线偏离所述摄像头视野中心区域的位置,预测将所述摄像头调整到位需要的时间;
根据所述持续时间和所述调整到位需要的时间,判断在所述车辆到达所述车道线偏离所述摄像头视野中心区域的位置时,是否需要调整摄像头。
12.根据权利要求11所述的方法,其特征在于,所述方法还包括:
当预测到多个临近位置可能发生多次调整时,在所述摄像头调整的范围阈值内,采用使得所述多次调整的总调整量最小的方式进行调整。
13.一种基于动态控制的车道线检测装置,其特征在于,该装置包括:
图像采集模块,用于实时采集摄像头当前视野范围内的图像;
车道线检测模块,用于在所述图像中识别车道线并检测所述车道线的中心线是否位于所述图像的中心区域;
摄像头控制模块,用于在未识别到车道线、或检测到所述车道线的中心线不位于所述图像的中心区域时,根据所述识别和/或所述检测的结果动态调整所述摄像头的位置和/或角度,以使所述车道线的中心线位于所述摄像头视野范围的中心区域。
14.根据权利要求13所述的装置,其特征在于,所述装置还包括:
搜索模块,用于当未在所述图像中识别到车道线时,在所述摄像头的可调整范围内持续搜索,直到在所述摄像头当前视野范围内采集的图像中识别到与车头方向相一致的、或者与车辆行驶方向相一致的车道线。
15.根据权利要求13所述的装置,其特征在于,所述装置还包括:
辅助调整模块,用于通过对路况和车况的预测,来辅助进行所述摄像头的位置和/或角度的所述动态调整。
16.根据权利要求15所述的装置,其特征在于,所述装置还包括:
优化调整模块,用于当预测到多个临近位置可能发生多次调整时,在所述摄像头调整的范围阈值内,采用使得所述多次调整的总调整量最小的方式进行调整。
17.一种车载设备,其特征在于,包括:摄像头、云台、存储器和一个或多个处理器;其中,
所述摄像头安装在所述云台上,所述摄像头用于实时采集当前视野范围内的图像;
所述摄像头与所述存储器及所述一个或多个处理器通信连接,所述存储器存储有可被所述一个或多个处理器执行的指令,所述指令被所述一个或多个处理器执行,以使所述一个或多个处理器能够实现如权利要求1-12中任一项所述的方法;
所述云台与所述一个或多个处理器耦接,根据动态调整的信号驱动调整所述摄像头的位置和/或角度。
CN201710079303.0A 2017-02-14 2017-02-14 基于动态控制的车道线检测方法、装置及车载设备 Active CN106740841B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710079303.0A CN106740841B (zh) 2017-02-14 2017-02-14 基于动态控制的车道线检测方法、装置及车载设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710079303.0A CN106740841B (zh) 2017-02-14 2017-02-14 基于动态控制的车道线检测方法、装置及车载设备

Publications (2)

Publication Number Publication Date
CN106740841A CN106740841A (zh) 2017-05-31
CN106740841B true CN106740841B (zh) 2018-07-10

Family

ID=58957061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710079303.0A Active CN106740841B (zh) 2017-02-14 2017-02-14 基于动态控制的车道线检测方法、装置及车载设备

Country Status (1)

Country Link
CN (1) CN106740841B (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107562054A (zh) * 2017-08-31 2018-01-09 深圳波比机器人科技有限公司 基于视觉、rfid、imu和里程计的自主导航机器人
CN111133489B (zh) * 2017-10-05 2022-02-11 本田技研工业株式会社 车辆控制装置、车辆控制方法及存储介质
CN108062778B (zh) * 2017-12-18 2021-05-14 广州大学 一种拍摄装置的位置调节方法及控制装置
CN108107897B (zh) * 2018-01-11 2021-04-16 驭势科技(北京)有限公司 实时传感器控制方法及装置
CN108363387B (zh) * 2018-01-11 2021-04-16 驭势科技(北京)有限公司 传感器控制方法及装置
CN109030018B (zh) * 2018-06-15 2020-05-05 天津大学 一种无人驾驶车辆的稳定性实验装置
CN108873896B (zh) * 2018-06-15 2021-07-02 驭势科技(北京)有限公司 一种车道线模拟方法、装置及存储介质
CN113408407B (zh) * 2018-10-31 2023-06-23 百度在线网络技术(北京)有限公司 电子地图车道线修正方法、设备及计算机可读存储介质
CN111311902B (zh) * 2018-12-12 2022-05-24 斑马智行网络(香港)有限公司 一种数据处理方法、装置、设备和机器可读介质
CN111352411B (zh) * 2018-12-20 2024-05-24 北京新联铁集团股份有限公司 空心车轴定位方法、装置及智能空心车轴探伤机
CN111353339A (zh) * 2018-12-21 2020-06-30 厦门歌乐电子企业有限公司 一种物体识别装置及方法
CN109782755B (zh) * 2018-12-27 2022-05-31 广东飞库科技有限公司 控制agv进行校准、agv校准位置的方法、计算机存储介质及agv
CN109739230B (zh) * 2018-12-29 2022-02-01 百度在线网络技术(北京)有限公司 驾驶轨迹生成方法、装置及存储介质
CN109726681A (zh) * 2018-12-29 2019-05-07 北京航空航天大学 一种基于机器学习识别与图像分割的盲道识别定位算法
CN109726683B (zh) 2018-12-29 2021-06-22 北京市商汤科技开发有限公司 目标对象检测方法和装置、电子设备和存储介质
CN109927733B (zh) * 2019-01-18 2021-07-02 驭势(上海)汽车科技有限公司 一种交互设备的引导方法、hmi计算机***及车辆
CN110196062B (zh) * 2019-06-27 2022-03-25 成都圭目机器人有限公司 一种单相机跟踪车道线的导航方法
CN110146094A (zh) * 2019-06-27 2019-08-20 成都圭目机器人有限公司 基于车道线的机器人定位导航***及其实现方法
CN110466453B (zh) * 2019-08-28 2021-02-23 安徽江淮汽车集团股份有限公司 盲点监测***车道宽度门限值调整方法
TWI778368B (zh) * 2020-06-08 2022-09-21 威盛電子股份有限公司 車載鏡頭的自動校正方法以及車載鏡頭裝置
CN111985448A (zh) * 2020-09-02 2020-11-24 深圳壹账通智能科技有限公司 车辆图像识别方法、装置、计算机设备及可读存储介质
CN113942522A (zh) * 2021-05-31 2022-01-18 重庆工程职业技术学院 一种智能驾驶行车安全保护***
CN113643313B (zh) * 2021-08-11 2023-09-29 深圳市天双科技有限公司 一种车载摄像头脏污动态检测方法
CN113778081B (zh) * 2021-08-19 2022-07-22 中国农业科学院农业资源与农业区划研究所 一种基于激光雷达和视觉的果园路径识别方法和机器人
CN116001681B (zh) * 2023-02-22 2023-11-10 江苏集萃道路工程技术与装备研究所有限公司 一种施工车辆主动安全预警***及方法
CN116289706B (zh) * 2023-02-24 2024-02-20 乌海市广纳煤焦化有限公司 车行通道闸***
CN116580182B (zh) * 2023-04-13 2024-06-18 北京金和网络股份有限公司 一种自动调整的目标检测的方法、***、设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3227870B2 (ja) * 1993-02-24 2001-11-12 いすゞ自動車株式会社 車線逸脱警報装置の調整方法
FR2955729B1 (fr) * 2010-01-22 2012-12-14 Valeo Vision Procede de detection pour un vehicule automobile
US9751529B2 (en) * 2011-06-09 2017-09-05 GM Global Technology Operations LLC Lane sensing through lane marker identification for lane centering/keeping
CN103738243B (zh) * 2013-10-29 2015-12-30 惠州华阳通用电子有限公司 一种车道偏离预警方法
EP2918974B1 (en) * 2014-03-11 2019-01-16 Volvo Car Corporation Method and system for determining a position of a vehicle
CN103991449B (zh) * 2014-06-12 2017-01-18 北京联合大学 一种车辆行进控制方法及***
CN105667518B (zh) * 2016-02-25 2018-07-24 福州华鹰重工机械有限公司 车道检测的方法及装置

Also Published As

Publication number Publication date
CN106740841A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN106740841B (zh) 基于动态控制的车道线检测方法、装置及车载设备
CN206623754U (zh) 车道线检测装置
CN106981082A (zh) 车载摄像头标定方法、装置及车载设备
US10753758B2 (en) Top-down refinement in lane marking navigation
JP7052663B2 (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
CN110758246B (zh) 一种自动泊车方法及装置
US9902401B2 (en) Road profile along a predicted path
KR102485480B1 (ko) 가상 주차선 생성에 의한 주차 지원 장치 및 그 방법
EP3650814B1 (en) Vision augmented navigation
JP7077910B2 (ja) 区画線検出装置及び区画線検出方法
CN110737266B (zh) 一种自动驾驶控制方法、装置、车辆和存储介质
US10679077B2 (en) Road marking recognition device
CN108107897B (zh) 实时传感器控制方法及装置
US8050460B2 (en) Method for recognition of an object
CN109686031A (zh) 基于安防的识别跟随方法
CN111028534A (zh) 一种泊车位检测方法及装置
US11482007B2 (en) Event-based vehicle pose estimation using monochromatic imaging
CN106092123A (zh) 一种视频导航方法及装置
CN108154119B (zh) 基于自适应跟踪框分割的自动驾驶处理方法及装置
CN114495568A (zh) 一种泊车方法、设备、存储介质和泊车***
JP2020077293A (ja) 区画線検出装置及び区画線検出方法
CN109297502A (zh) 基于图像处理与gps导航技术的激光投影指向方法及装置
JP2022006844A (ja) 物体検出方法及び物体検出装置
JP7003972B2 (ja) 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム
CN108363387B (zh) 传感器控制方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant