CN108416320A - 巡检设备、巡检设备的控制方法及控制装置 - Google Patents

巡检设备、巡检设备的控制方法及控制装置 Download PDF

Info

Publication number
CN108416320A
CN108416320A CN201810246797.1A CN201810246797A CN108416320A CN 108416320 A CN108416320 A CN 108416320A CN 201810246797 A CN201810246797 A CN 201810246797A CN 108416320 A CN108416320 A CN 108416320A
Authority
CN
China
Prior art keywords
inspection device
line
lane line
distance
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810246797.1A
Other languages
English (en)
Other versions
CN108416320B (zh
Inventor
谷玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201810246797.1A priority Critical patent/CN108416320B/zh
Publication of CN108416320A publication Critical patent/CN108416320A/zh
Priority to US16/128,909 priority patent/US10580124B2/en
Application granted granted Critical
Publication of CN108416320B publication Critical patent/CN108416320B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提供一种巡检设备、巡检设备的控制方法及控制装置，涉及巡检技术领域。该巡检设备能在车道内行驶，车道具有至少一个车道线，该控制方法包括：采集巡检设备周边的环境图像；从环境图像中识别车道线；确定巡检设备与车道线间的距离；根据巡检设备与车道线间的距离确定巡检设备与车道内的一预设路径间的偏差；根据偏差控制巡检设备向预设路径靠拢。

Description

巡检设备、巡检设备的控制方法及控制装置
技术领域
本公开涉及巡检技术领域，具体而言，涉及一种巡检设备、巡检设备的控制方法及巡检设备的控制装置。
背景技术
为了保证高速公路的安全性，需要经常对路面状况进行检测，以便及时对路面进行维护。目前，为了提高检测效率，经常会采用巡检机器人等专门的巡检设备检测路面的裂纹、平整度、道路几何数据、路面破损情况等，从而提高路面检测的效率。
现有的巡检设备通常可沿预设的路线在车道内行驶，并采用摄像头拍摄路面的图像，通过对图像信息进行处理可得到路面信息，以便分析路面情况。但是，由于摄像头视野有限，巡检设备一旦偏离预设路线，则难以准确采集路面的图像，影响检测结果的可靠性。同时，当车道出现转弯时，现有巡检设备无法自动转弯，需要人工操作转向。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种能够自动校正行驶路线的巡检设备、巡检设备的控制方法及巡检设备的控制装置。
根据本公开的一个方面，提供一种巡检设备的控制方法，用于在车道内行驶的巡检设备，所述车道具有至少一个车道线，所述控制方法包括：
采集所述巡检设备周边的环境图像；
从所述环境图像中识别所述车道线；
在识别出至少一个所述车道线时，确定所述巡检设备与所述车道线间的距离；
根据所述巡检设备与所述车道线间的距离确定所述巡检设备与所述车道内的一预设路径间的偏差；
根据所述偏差控制所述巡检设备向所述预设路径靠拢。
在本公开的一种示例性实施例中，从所述环境图像中识别出所述车道线包括：
对所述环境图像进行预处理，得到所述环境图像的灰度图像；
对所述灰度图像进行变换，得到特征图像；
对所述特征图像进行二值化处理，得到二值化图像；
对所述二值化图进行直线检测，并提取出所述车道线。
在本公开的一种示例性实施例中，对所述环境图像进行预处理包括：
对所述环境图像进行灰度处理；
提取灰度处理后的环境图像的预设区域作为所述灰度图像。
在本公开的一种示例性实施例中，所述灰度图像为单通道灰度图像。
在本公开的一种示例性实施例中，提取出所述车道线包括：
对所述二值化图像进行直线检测，得到多个候选线；
去除长度小于预设长度的候选线；
确定剩余的每个所述候选线的参考点的数量，所述参考点为所述二值化图像上与一所述候选线的距离小于预设距离的点；
选取所述参考点的数量最多的所述候选线作为所述车道线。
在本公开的一种示例性实施例中，确定所述参考点的数量包括：
对剩余的每个所述候选线在预设邻域内进行拟合；
计算所述参考点的数量。
在本公开的一种示例性实施例中，确定所述巡检设备与所述车道线间的距离包括：
计算车道线坐标，所述车道线坐标为所述车道线的中心点在所述环境图像上的坐标；
将所述车道线坐标转换到世界坐标系，得到相对坐标，所述相对坐标为所述车道线相对于所述巡检设备的坐标；
根据所述相对坐标与所述巡检设备的坐标确定所述巡检设备与所述车道线的距离。
在本公开的一种示例性实施例中，所述预设路径为所述车道的中心线；
在仅识别出一个所述车道线时，所述偏差为所述巡检设备和所述车道线的距离与所述车道线和所述中心线的距离之差；
在识别出两个所述车道线时，所述偏差为所述巡检设备与两个所述车道线的距离之差。
在本公开的一种示例性实施例中，两个所述车道线包括左车道线和右车道线，所述偏差为所述巡检设备和所述左车道线的间的距离与所述巡检设备与所述右车道线的距离之差；
控制所述巡检设备向所述车道的预设路径靠拢包括：
在所述偏差为负时，控制所述巡检设备向右移动；
在所述偏差为正时，控制所述巡检设备向左移动。
在本公开的一种示例性实施例中，控制所述巡检设备向所述车道的预设路径靠拢包括：
根据一预设的校正角度确定校正距离，所述校正角度为所述巡检设备向所述预设路径靠拢的角度，所述校正角度、所述校正距离和所述偏差的关系为：
其中，Δd为所述偏差，θ为所述校正角度，l为所述校正距离；
控制所述巡检设备沿所述校正角度行进所述校正距离。
根据本公开的一个方面，提供一种巡检设备的控制装置，用于在车道内行驶的巡检设备，所述车道具有至少一个车道线，所述控制装置包括：
图像采集模块，用于采集所述巡检设备周边的环境图像；
识别模块，用于从所述环境图像中识别所述车道线；
测距模块、用于在识别出至少一个所述车道线时，确定所述巡检设备与所述车道线间的距离；
偏差计算模块，用于根据所述巡检设备与所述车道线间的距离确定所述巡检设备与所述车道的预设路径间的偏差；
校正模块，用于根据所述偏差控制所述巡检设备向所述车道的中心线靠拢。
在本公开的一种示例性实施例中，所述图像采集模块包括：
第一摄像单元，设于所述巡检设备一侧，用于采集所述巡检设备一侧的环境图像；
第二摄像单元，设于所述巡检设备另一侧，用于采集所述巡检设备另一侧的环境图像。
根据本公开的一个方面，提供一种巡检设备，包括上述任意一项所述的巡检控制装置。。
本公开的巡检设备、巡检设备的控制方法及巡检设备的控制装置，可采集巡检设备周边的环境图像，并从环境图像中识别出至少一个车道线，根据巡检设备与车道线间的偏差控制巡检设备自动向车道的预设路径靠拢，从而实现巡检设备的自动纠偏，有利于保证检测效果，并可随着车道的弯曲而自动转弯，减少人工操控，有利于提高检测效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施方式控制方法的流程图。
图2为图1中步骤S120的流程图。
图3为图2中步骤S1240的流程图。
图4为图1中步骤S130的流程图。
图5为本公开实施方式控制方法的原理图。
图6为本公开实施方式控制装置的方框图。
图7为图6中图像采集模块的方框图。
图8为本公开实施方式巡检设备的方框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
用语“一个”、“一”、“该”和“所述”用以表示存在一个或多个要素/组成部分/等；用语“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等；用语“第一”、“第二”等仅作为标记使用，不是对其对象的数量限制。
本公开示例实施方式中提供了一种巡检设备的控制方法，可用于巡检设备，该巡检设备可在高速公路的一车道内沿一预设路径行驶，车道可通过车道线划分，且该车道具有至少一个车道线，例如，车道可具有两个车道线，即车道限定于两个车道线之间，该预设路径可以是车道的中心线。同时，该巡检设备可以是巡检机器人，当然也可以是其它能用于在车道内行驶，并对路面进行检测的设备。
如图1所示，本实施方式的巡检设备的控制方法可以包括：
步骤S110、采集所述巡检设备周边的环境图像。
步骤S120、从所述环境图像中识别所述车道线。
步骤S130、在识别出至少一个车道线时，确定所述巡检设备与所述车道线间的距离。
步骤S140、根据所述巡检设备与所述车道线间的距离确定所述巡检设备与所述车道内的一预设路径间的偏差。
步骤S150、根据所述偏差控制所述巡检设备向所述预设路径靠拢。
本公开示例实施方式的巡检设备的控制方法，可从实时采集的环境图像中识别出至少一个车道线，根据巡检设备与车道线间的偏差控制巡检设备自动向车道的预设路径靠拢，从而实现巡检设备的自动纠偏，有利于保证检测效果。同时，可随着车道的弯曲而自动转弯，减少人工操控，有利于提高检测效率。
下面以车道具有两个车道线，且预设路径为车道的中心线的情况为例，对本实施方式的控制方法的各步骤进行进一步说明：
在步骤S110中，采集巡检设备周边的环境图像。
巡检设备周边的环境图像可包括巡检设备两侧的环境图像，可在巡检设备的左侧和右侧各安装一个摄像头，通过这两个摄像头实时拍摄巡检设备两侧的环境图像，得到左侧环境图像和右侧环境图像，该左侧环境图像可包括左侧车道线，该右侧环境图像可包括右侧车道线。摄像头所采集的环境图像为RGB图像(R表示红色，G表示绿色，B表示蓝色)。在本公开的其它实施方式中，环境图像也可以是灰度图像。
在步骤S120中，从环境图像中识别车道线。
如图2所示，步骤S120可以包括步骤S1210至S1240，其中：
在步骤S1210中，对环境图像进行预处理，得到环境图像的灰度图像。该预处理可以包括：
可将环境图像用灰度表示，具体而言，可根据一预设的灰度计算公式计算灰度值，并将环境图像用灰度表示，得到单通道灰度图。该灰度计算公式为F＝0.5×R+0.5×G，其中，F表示灰度，R表示红色，G表示绿色。由于黄色的红色分量和绿色分量占比较大，白色也可由红色分量和绿色分量得到，因而车道线中的红色和绿色通道对白线和黄线具有很好的对比特性，当车道线为白线或黄线时，可以利用红色和绿色分量来同时提取出白线和黄线，从而可使车道线更加清晰。
从上述灰度处理后的环境图像中提取预设区域，该预设区域的图像为所需的灰度图像。由于灰度处理后的环境图像为单通道灰度图，相应的，该灰度图像也为单通道灰度图像，以便使车道线更加清晰，便于识别。该预设区域可以是车道线及周围一定范围内的区域，从而进行粗选，去除一些与车道线无关的图像，以便提取车道线。
在步骤S1220中，对灰度图像进行变换，得到特征图像。
可采用DLD变换和DLDLD变换对灰度图像进行变换，其中，D代表dark(暗)，L代表light(亮)，DLD变换，即暗亮暗变换，可被用于提取单车道线特征；DLDLD变换，即暗亮暗亮暗变换，可被用于提取双车道线特征。
在变换时，可同时进行DLD变换和DLDLD变换，举例而言，可基于DLD变换公式和DLD变换公式，可根据暗-亮-暗特征以及暗-亮-暗-亮-暗特征提取车道线的特征，得到特征图像，其中：
DLD变换公式为：
DLD(x,y)＝max(min(src[x,y]-src[x-2,y],src[x,y]-src[x+2,y]),0)；
DLD变换公式为：
DLDLD(x,y)＝max(min(src[x-3,y]-src[x-5,y],src[x-3,y]-src[x,y],src[x+3,y]-src[x+5,y],src[x+3,y]-src[x,y]),0)。
在上述公式中，src表示灰阶数的大小(即像素值)，例如，src(x，y)表示图像上(x，y)这一点的灰阶数的大小。另外，max表示取最大值，min表示取最小值。
在本公开的其它实施方式中，还可以通过其它方式得到上述的特征图像，在此不再一一列举。在步骤S1230中，对特征图像进行二值化处理，得到二值化图像。
可对上述特征图像进行二值化处理，得到二值化图像。具体可采用局部阈值二值化处理，举例而言，可按照预设规则将特征图像划分为多个窗口，该该预设规则可为限制窗口大小的规则，例如每个窗口的大小是1×32。对这多个窗口中的每一个窗口再按照一个灰度阈值将该窗口内的像素划分为两部分，将灰度大于该灰度阈值的像素的灰度设置为255，将灰度小于该灰度与之的像素的灰度设置为0，从而得到上述二值化图像，并减少干扰物对检测结果的影响。
在本公开的其它实施方式中，还可以采用全局阈值二值化处理等其他方式得到上述的二值化图像。
在步骤S1240中，对二值化图进行直线检测，并提取出车道线。
如图3所示，步骤S1240可以包括步骤S12410至步骤S12440，其中：
在步骤S12410中，对二值化图像进行直线检测，得到多个候选线。
可通过霍夫(HOUGH)变换对二值化图像进行直线检测，得到多个直线，这些直线均为候选线，同时，可通过对直线的角度范围的限制，去除误差较大的直线，减少误检，例如，直线的角度范围可以是-90°至-70°以及35°至45°，可滤除这两个范围以外的直线，减少误检。霍夫变换的具体原理已为所述领域技术人员所公知，在此不再详述。此外，也可以采用其它能够用于进行直线检测的算法对上述的二值化图像进行直线检测，在此不再一一列举。
在步骤S12420中，去除长度小于预设长度的候选线。
可根据经验和计算数据，确定一预设长度，若候选线的长度小于该预设长度，则说明该候选线不是车道线，若候选线的长度大于或等于预设长度，则说明该候选线可能是车道线，便于提出车道线。该预设长度可根据实验调试确定，也可以是经验数据，在此不做特殊限定。
在步骤S12430中，确定剩余的每个候选线的参考点的数量，参考点为二值化图像上与一候选线的距离小于预设距离的点。
以一个剩余的候选线为例，可先在该候选线的附近的一预设邻域内通过Ransac算法进行直线拟合，提高候选线的精度，当然，也可以使用其它算法进行直线拟合，在此不再一一列举。然后，在二值化图像上寻找与该候选线的距离小于预设距离的点，即参考点，并计算参考点的数量。可按照上述的方式，确定每个候选线的参考点的数量。
在步骤S12440中，选取参考点的数量最多的候选线作为车道线。
可根据参考点的数量对每个候选线进行打分并排序，选取分数最高的一个候选线为车道线，计算分数的公式如下：
score＝k1×num；
其中，score为候选线的分数，num为参考点的数量，k1为一大于0的系数，通过选择该系数来使score值处于预定的范围内，以便于比较。可以看出，一个候选线的参考点的数量num越大，该候选线的分数score越高，被选为车道线的候选线也就是参考点数量最多的候选线。
在步骤S130中，确定巡检设备与车道线间的距离。
巡检设备的位置可通过巡检设备自带的定位模块确定，该定位模块可包括GPS定位组件。如图4所示，步骤S130可以包括步骤S1310至步骤S1330，其中：
在步骤S1310中，计算车道线坐标，车道线坐标为车道线的中心点在环境图像上的坐标。
车道线的中心点为该车道线的图像的中心像素，该中心点也是对应的环境图像的一像素。可事先确定环境图像上的各个像素的坐标，再确定与该车道线的中心点对应的像素，该像素对应的坐标即为该车道线的坐标。
在步骤S1320中，将车道线坐标转换到世界坐标系，得到相对坐标，相对坐标为车道线相对于巡检设备的坐标。
以一个车道线为例，将车道线坐标(u，v)转换到世界坐标系下，得到相对于巡检设备的坐标(X，Y，Z)。其中，以对应该车道线的摄像头在地面的投影的中心为原点，Z是该摄像头的安装的高度，X表示摄像头在X方向上的位置，Y表示该摄像头在Y方向上的位置，X方向和Y方向相互垂直。将车道线坐标转换到世界坐标系的转换公式如下：
其中，fu、fv、u0和v0是该摄像头的内参数，fu和fv分别表示摄像头在u和v方向的焦距，u0和v0表示摄像头光心坐标，fu、fv、u0和v0可以通过摄像头内参数标定得到。R和T可通过摄像头外参数标定得到。其中，R是世界坐标系和摄像头坐标系间的旋转矩阵和和T是世界坐标系和摄像头坐标系间的平移矩阵。
可采用张正友标定算法对标定计算出摄像头的fu、fv、u0和v0，具体而言，可以使用张正友的棋盘格标定算法，将画有棋盘格的图像放置在摄像头前方，拍摄至少3幅不同角度和位置的图像，称为摄像头标定图像。再利用张正友标定算法对摄像头标定图形进行处理，自动计算出摄像头的内部参数，即fu、fv、u0和v0。当然，也可以采用其它方法对计算出摄像头的fu、fv、u0和v0。
可通过摄像头外参数标定得到R和T，将棋盘格标定板的中心位置与世界坐标系原点重合，水平放置在地面上，棋盘边与地面边平行，棋盘格上选取6个角点，分别记录这6个角点的世界坐标，摄像头获取一帧图像，并在该图像中提取6个角点的像素坐标。利用这6个坐标点，可以计算出12个外部参数。为了计算精确，可以将棋盘放置在不同的位置的地面上，重复以上过程，计算不同次得到的外部参数的平均值，得到R和T。
在步骤S1330中，根据相对坐标与巡检设备的坐标分别确定所述巡检设备与所述车道线的距离。
以一个车道线为例，其在世界坐标系下的坐标为(X，Y，Z)，Y就是该车道线相对于巡检设备的距离。若两个车道线到巡检设备的距离相同，则说明巡检设备沿车道的中心线行驶；若两个车道线到巡检设备的距离不同，则说明巡检设备偏离车道的中心线。
在步骤S140中，根据巡检设备与车道线间的距离确定所述巡检设备与所述车道的预设路径间的偏差。
该偏差为巡检设备与两个车道线间的距离的差值，举例而言，偏差Δd＝Yl-Yr，Yl为巡检设备与左侧车道线的距离，Yr为巡检设备与右侧车道线的距离。例如，在图5所示的实施例中，预设路径为车道的中心线，因此巡检设备与左右两个车道线之间的距离差即为偏差，在图5中用Δd示出。然而本公开不限于此，当预设路径为车道内的其它路径时，可通过其它方式来确定所述偏差。例如，当预设路径为距离左侧车道线距离为A的一条路径时，偏差可以是Δd＝Yl-A，其中Yl为巡检设备与左侧车道线的距离。相似地，也可以基于右侧车道线来确定所述偏差。
在步骤S150中，根据偏差控制巡检设备向车道的预设路径靠拢。
该预设路径为车道的中心线，如图5所示，可根据一预设的校正角度确定校正距离，该校正角度为巡检设备向车道的中心线靠拢的角度，校正角度、校正距离和偏差Δd的关系为：
其中，θ为校正角度，l为校正距离。可以看出，校正角度θ越小，则校正距离l越小，但巡检设备的转向幅度越大，因此，可在保证巡检设备行驶稳定的前提下，使校正角度θ较小。图5中的S1为巡检设备偏离时的位置，S2为巡检设备校正后的位置。
以Yl为巡检设备与左侧车道线的距离，Yr为巡检设备与右侧车道线的距离为例。在偏差为负时，即Δd小于零时，说明巡检设备向左偏移，此时，可控制巡检设备沿校正角度θ从左向右朝车道的中心线移动，移动的距离为校正距离l；在偏差为正时，即Δd大于零时，说明巡检设备向右偏移，此时，可控制巡检设备沿校正角度θ从右向左朝车道的中心线移动，移动的距离为校正距离l。在偏差为负时，即Δd等于零时，不需要控制巡检设备向左或向右移动，只需直行即可。
在本公开的其它实施方式中，仅识别出一个车道线，且预设路径为中心线，则巡检设备与预设路径的偏差为巡检设备和该车道线的距离与该车道线与中心线的距离之差。当该偏差大于车道线与中心线的距离时，可控制巡检设备向靠近车道线的方向移动；当该偏差小于车道线与中心线的距离时，可控制巡检设备向远离车道线的方向移动，由此，可减小该偏差，使巡检设备沿车道的中心线行驶，即沿预设路径在车道内行驶。
下述为本公开装置的实施方式，可以用于执行本发明方法实施方式。对于本公开装置的实施方式中未披露的细节，请参照本公开方法的实施方式。
本公开示例实施方式提供一种巡检设备的控制装置，该巡检设备可在高速公路的一车道内行驶，车道可通过车道线划分，且该车道具有至少一个车道线，例如，车道可具有两个车道线，即车道限定于两个车道线之间，该预设路径可以是车道的中心线。同时，该巡检设备可以是巡检机器人，当然也可以是其它能用于在车道内行驶，并对路面进行检测的设备。
如图6所示，该控制装置1可以包括图像采集模块11、识别模块12、测距模块13、偏差计算模块14和校正模块15。
在本实施方式中，图像采集模块11可用于采集所述巡检设备周边的环境图像。
如图7所示，图像采集模块11可以包括第一摄像单元111和第二摄像单元112，其中：
第一摄像单元111可以是一摄像头，其可设于所述巡检设备左侧，用于采集所述巡检设备左侧的环境图像。
第二摄像单元112可以是一摄像头，其可设于所述巡检设备右侧，用于采集所述巡检设备右侧的环境图像。
在本实施方式中，识别模块12可用于从所述环境图像中识别所述车道线。
在本实施方式中，测距模块13可用于在识别模块12识别出至少一个车道线时，确定所述巡检设备与所述车道线间的距离。
在本实施方式中，偏差计算模块14用于根据所述巡检设备与所述车道线间的距离确定所述巡检设备与所述车道内的一预设路径间的偏差。
在本实施方式中，校正模块15用于根据所述偏差控制所述巡检设备向所述预设路径靠拢。
上述控制装置中各单元、模块的具体细节已经在对应的控制方法中进行了详细描述，因此此处不再赘述。
如图8所示，本公开示例实施方式提供一种巡检设备，该巡检设备可以包括上述的控制装置1。
该巡检设备还可以包括路面检测模块10、路面检测传感器20、主控模块30、底盘控制模块40、定位模块50、无线通信模块60、电源模块70、移动底盘80和全景拍摄模块90，其中：
路面检测模块10包括平整度测量单元101、裂纹测量单元102、路面纹理测量单元103，可对路面进行平整度测量、裂纹检测、纹理检测。当然，还可以包括其它单元，在此不再一一列举。
路面检测传感器20可以包括摄像头、高频激光传感器、加速度计、激光扫描仪等。
主控模块30可以包括电路板和微处理器，用于处理信号，并输出指令。控制装置1可与主控模块30连接。
移动底盘80可包括多个麦克纳姆轮和多个驱动组件，每个驱动组件可包括电机和减速器，各个驱动组件一一对应的驱动各个麦克纳姆轮。
底盘控制模块40可根据主控模块30发出的指令，对移动底盘80进行控制，可实现该巡检设备的前进、左转、右转等运动功能，这里对移动底盘的驱动方式不做特殊限定。
定位模块50用于对巡检设备进行定位，确定巡检设备的坐标，通过与底盘控制模块40的配合，使巡检设备可在车道内进行运动。定位模块50可以包括GPS定位组件，用于实现对巡检设备的粗定位，服务器(中控台)可以知道巡检设备的粗位置。
无线通信模块60可将检测信息远程发送给服务器(中控台)或者其他巡检设备，该检测信息可包括路面检测模块10检测的结果、巡检设备的状态信息(如电量不足、故障等)或者命令反馈等。
全景拍摄装置90，用于采集周围全景图像，无线通信模块60在接收到命令后，可将全景图像发送给服务器。
电源模块70可为上述的各个模块提供电能，其可包括电源管理单元和电源存储单元。
当然，巡检设备还可以包括其它模块或单元，具体可参考现有的巡检设备，在此不再详述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (13)

1.一种巡检设备的控制方法，用于在车道内行驶的巡检设备，所述车道具有至少一个车道线，其特征在于，所述控制方法包括：
采集所述巡检设备周边的环境图像；
从所述环境图像中识别所述车道线；
在识别出至少一个所述车道线时，确定所述巡检设备与所述车道线间的距离；
根据所述巡检设备与所述车道线间的距离确定所述巡检设备与所述车道内的一预设路径间的偏差；
根据所述偏差控制所述巡检设备向所述预设路径靠拢。
2.根据权利要求1所述的控制方法，其特征在于，从所述环境图像中识别出所述车道线包括：
对所述环境图像进行预处理，得到所述环境图像的灰度图像；
对所述灰度图像进行变换，得到特征图像；
对所述特征图像进行二值化处理，得到二值化图像；
对所述二值化图进行直线检测，并提取出所述车道线。
3.根据权利要求2所述的控制方法，其特征在于，对所述环境图像进行预处理包括：
对所述环境图像进行灰度处理；
提取灰度处理后的环境图像的预设区域作为所述灰度图像。
4.根据权利要求2或3所述的控制方法，其特征在于，所述灰度图像为单通道灰度图像。
5.根据权利要求2所述的控制方法，其特征在于，提取出所述车道线包括：
对所述二值化图像进行直线检测，得到多个候选线；
去除长度小于预设长度的候选线；
确定剩余的每个所述候选线的参考点的数量，所述参考点为所述二值化图像上与一所述候选线的距离小于预设距离的点；
选取所述参考点的数量最多的所述候选线作为所述车道线。
6.根据权利要求5所述的控制方法，其特征在于，确定所述参考点的数量包括：
对剩余的每个所述候选线在预设邻域内进行拟合；
计算所述参考点的数量。
7.根据权利要求1所述的控制方法，其特征在于，确定所述巡检设备与所述车道线间的距离包括：
计算车道线坐标，所述车道线坐标为所述车道线的中心点在所述环境图像上的坐标；
将所述车道线坐标转换到世界坐标系，得到相对坐标，所述相对坐标为所述车道线相对于所述巡检设备的坐标；
根据所述相对坐标与所述巡检设备的坐标确定所述巡检设备与所述车道线的距离。
8.根据权利要求1所述的控制方法，其特征在于，所述预设路径为所述车道的中心线；
在仅识别出一个所述车道线时，所述偏差为所述巡检设备和所述车道线的距离与所述车道线和所述中心线的距离之差；
在识别出两个所述车道线时，所述偏差为所述巡检设备与两个所述车道线的距离之差。
9.根据权利要求8所述的控制方法，其特征在于，两个所述车道线包括左车道线和右车道线，所述偏差为所述巡检设备和所述左车道线的间的距离与所述巡检设备与所述右车道线的距离之差；
控制所述巡检设备向所述车道的预设路径靠拢包括：
在所述偏差为负时，控制所述巡检设备向右移动；
在所述偏差为正时，控制所述巡检设备向左移动。
10.根据权利要求9所述的控制方法，其特征在于，控制所述巡检设备向所述车道的预设路径靠拢包括：
根据一预设的校正角度确定校正距离，所述校正角度为所述巡检设备向所述预设路径靠拢的角度，所述校正角度、所述校正距离和所述偏差的关系为：
其中，Δd为所述偏差，θ为所述校正角度，l为所述校正距离；
控制所述巡检设备沿所述校正角度行进所述校正距离。
11.一种巡检设备的控制装置，用于在车道内行驶的巡检设备，所述车道具有至少一个车道线，其特征在于，所述控制装置包括：
图像采集模块，用于采集所述巡检设备周边的环境图像；
识别模块，用于从所述环境图像中识别所述车道线；
测距模块、用于在识别出至少一个所述车道线时，确定所述巡检设备与所述车道线间的距离；
偏差计算模块，用于根据所述巡检设备与所述车道线间的距离确定所述巡检设备与所述车道的预设路径间的偏差；
校正模块，用于根据所述偏差控制所述巡检设备向所述车道的中心线靠拢。
12.根据权利要求11所述的控制装置，其特征在于，所述图像采集模块包括：
第一摄像单元，设于所述巡检设备一侧，用于采集所述巡检设备一侧的环境图像；
第二摄像单元，设于所述巡检设备另一侧，用于采集所述巡检设备另一侧的环境图像。
13.一种巡检设备，其特征在于，包括权利要求11或12所述的巡检控制装置。
CN201810246797.1A 2018-03-23 2018-03-23 巡检设备、巡检设备的控制方法及控制装置 Active CN108416320B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810246797.1A CN108416320B (zh) 2018-03-23 2018-03-23 巡检设备、巡检设备的控制方法及控制装置
US16/128,909 US10580124B2 (en) 2018-03-23 2018-09-12 Inspection device, control method and control apparatus for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810246797.1A CN108416320B (zh) 2018-03-23 2018-03-23 巡检设备、巡检设备的控制方法及控制装置

Publications (2)

Publication Number Publication Date
CN108416320A true CN108416320A (zh) 2018-08-17
CN108416320B CN108416320B (zh) 2021-04-06

Family

ID=63132402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810246797.1A Active CN108416320B (zh) 2018-03-23 2018-03-23 巡检设备、巡检设备的控制方法及控制装置

Country Status (2)

Country Link
US (1) US10580124B2 (zh)
CN (1) CN108416320B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109471142A (zh) * 2018-10-25 2019-03-15 国网福建省电力有限公司厦门供电公司 一种基于rtk差分定位的工作轨迹识别方法
CN110871440A (zh) * 2018-09-04 2020-03-10 杭州海康机器人技术有限公司 机器人的行驶控制方法和装置
CN110921154A (zh) * 2019-12-06 2020-03-27 深圳市爱深盈通信息技术有限公司 一种控制垃圾回收巡逻车的方法、装置及垃圾回收巡逻车
CN111212260A (zh) * 2018-11-21 2020-05-29 杭州海康威视数字技术股份有限公司 一种基于监控视频绘制车道线的方法及装置
CN111768373A (zh) * 2020-06-18 2020-10-13 北京交通大学 基于深度学习的层级式路面标记破损检测方法
CN112949530A (zh) * 2021-03-12 2021-06-11 新疆爱华盈通信息技术有限公司 用于停车场巡检车的巡检方法与***、巡检车
CN113922270A (zh) * 2021-09-03 2022-01-11 东莞市简从科技有限公司 巡线车控制方法及巡线车
CN117270548A (zh) * 2023-11-23 2023-12-22 安徽领云物联科技有限公司 一种带有路线矫正功能的智慧巡检机器人

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034047B (zh) * 2018-07-20 2021-01-22 京东方科技集团股份有限公司 一种车道线检测方法及装置
CN112697162B (zh) * 2020-12-23 2023-03-17 千方捷通科技股份有限公司 一种巡检路线规划方法、装置、存储介质及终端
CN113780224B (zh) * 2021-09-17 2024-04-05 广东电网有限责任公司 一种变电站无人化巡视方法及***
CN116958841B (zh) * 2023-09-18 2023-12-26 众芯汉创(江苏)科技有限公司 基于图像识别的配电线路无人机巡检***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202134079U (zh) * 2011-06-16 2012-02-01 长安大学 一种无人驾驶车辆车道标志线识别与报警装置
US8473144B1 (en) * 2012-10-30 2013-06-25 Google Inc. Controlling vehicle lateral lane positioning
US20130197758A1 (en) * 2012-01-27 2013-08-01 Denso Corporation Vehicle automatic steering control apparatus
US20140197758A1 (en) * 2013-01-16 2014-07-17 Cree, Inc. Power supply with interface and embedded configuration information
CN105260713A (zh) * 2015-10-09 2016-01-20 东方网力科技股份有限公司 一种车道线检测方法和装置
CN105447892A (zh) * 2015-11-05 2016-03-30 奇瑞汽车股份有限公司 车辆偏航角的确定方法及装置
CN107066952A (zh) * 2017-03-15 2017-08-18 中山大学 一种车道线检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015121954A (ja) * 2013-12-24 2015-07-02 株式会社デンソー 輝度値算出装置及び車線検出システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202134079U (zh) * 2011-06-16 2012-02-01 长安大学 一种无人驾驶车辆车道标志线识别与报警装置
US20130197758A1 (en) * 2012-01-27 2013-08-01 Denso Corporation Vehicle automatic steering control apparatus
US8473144B1 (en) * 2012-10-30 2013-06-25 Google Inc. Controlling vehicle lateral lane positioning
US20140197758A1 (en) * 2013-01-16 2014-07-17 Cree, Inc. Power supply with interface and embedded configuration information
CN105260713A (zh) * 2015-10-09 2016-01-20 东方网力科技股份有限公司 一种车道线检测方法和装置
CN105447892A (zh) * 2015-11-05 2016-03-30 奇瑞汽车股份有限公司 车辆偏航角的确定方法及装置
CN107066952A (zh) * 2017-03-15 2017-08-18 中山大学 一种车道线检测方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110871440B (zh) * 2018-09-04 2021-11-23 杭州海康机器人技术有限公司 机器人的行驶控制方法和装置
CN110871440A (zh) * 2018-09-04 2020-03-10 杭州海康机器人技术有限公司 机器人的行驶控制方法和装置
CN109471142B (zh) * 2018-10-25 2021-03-09 国网福建省电力有限公司厦门供电公司 一种基于rtk差分定位的工作轨迹识别方法
CN109471142A (zh) * 2018-10-25 2019-03-15 国网福建省电力有限公司厦门供电公司 一种基于rtk差分定位的工作轨迹识别方法
CN111212260A (zh) * 2018-11-21 2020-05-29 杭州海康威视数字技术股份有限公司 一种基于监控视频绘制车道线的方法及装置
CN111212260B (zh) * 2018-11-21 2021-08-20 杭州海康威视数字技术股份有限公司 一种基于监控视频绘制车道线的方法及装置
CN110921154A (zh) * 2019-12-06 2020-03-27 深圳市爱深盈通信息技术有限公司 一种控制垃圾回收巡逻车的方法、装置及垃圾回收巡逻车
CN111768373A (zh) * 2020-06-18 2020-10-13 北京交通大学 基于深度学习的层级式路面标记破损检测方法
CN112949530A (zh) * 2021-03-12 2021-06-11 新疆爱华盈通信息技术有限公司 用于停车场巡检车的巡检方法与***、巡检车
CN112949530B (zh) * 2021-03-12 2024-05-28 芯算一体(深圳)科技有限公司 用于停车场巡检车的巡检方法与***、巡检车
CN113922270A (zh) * 2021-09-03 2022-01-11 东莞市简从科技有限公司 巡线车控制方法及巡线车
CN117270548A (zh) * 2023-11-23 2023-12-22 安徽领云物联科技有限公司 一种带有路线矫正功能的智慧巡检机器人
CN117270548B (zh) * 2023-11-23 2024-02-09 安徽领云物联科技有限公司 一种带有路线矫正功能的智慧巡检机器人

Also Published As

Publication number Publication date
US10580124B2 (en) 2020-03-03
US20190295241A1 (en) 2019-09-26
CN108416320B (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
CN108416320A (zh) 巡检设备、巡检设备的控制方法及控制装置
CN109435942B (zh) 一种基于信息融合的车位线车位识别方法及装置
CN110930459B (zh) 灭点提取方法、相机标定方法以及存储介质
CN106981082B (zh) 车载摄像头标定方法、装置及车载设备
CN109345593B (zh) 一种摄像机姿态的检测方法及装置
CN112861653A (zh) 融合图像和点云信息的检测方法、***、设备及存储介质
CN110826521A (zh) 驾驶员疲劳状态识别方法、***、电子设备和存储介质
CN110766760B (zh) 用于相机标定的方法、装置、设备和存储介质
WO2022078074A1 (zh) 车辆与车道线的位置关系检测方法、***和存储介质
CN112232275B (zh) 基于双目识别的障碍物检测方法、***、设备及存储介质
CN111027381A (zh) 利用单目相机识别障碍物的方法、装置、设备及存储介质
CN110728720B (zh) 用于相机标定的方法、装置、设备和存储介质
Sehestedt et al. Robust lane detection in urban environments
CN110766761B (zh) 用于相机标定的方法、装置、设备和存储介质
CN111967360A (zh) 基于车轮的目标车辆姿态检测方法
JP4735361B2 (ja) 車両乗員顔向き検出装置および車両乗員顔向き検出方法
WO2020133488A1 (zh) 车辆检测方法和设备
CN110751693A (zh) 用于相机标定的方法、装置、设备和存储介质
CN114758322A (zh) 基于机器识别的道路质量检测***
Stević et al. Vision-based extrapolation of road lane lines in controlled conditions
CN117746343A (zh) 基于等高轮廓图的人员流动检测方法及***
JP3227247B2 (ja) 走行路検出装置
CN111462243A (zh) 车载流媒体后视镜标定方法、***及装置
CN110861643A (zh) 一种无人驾驶车辆单向隧道通行方法及无人驾驶车辆
KR102629639B1 (ko) 차량용 듀얼 카메라 장착 위치 결정 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant