CN111507173B - 运算装置 - Google Patents

运算装置 Download PDF

Info

Publication number
CN111507173B
CN111507173B CN202010076310.7A CN202010076310A CN111507173B CN 111507173 B CN111507173 B CN 111507173B CN 202010076310 A CN202010076310 A CN 202010076310A CN 111507173 B CN111507173 B CN 111507173B
Authority
CN
China
Prior art keywords
vehicle
road edge
unit
estimated
wall
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010076310.7A
Other languages
English (en)
Other versions
CN111507173A (zh
Inventor
万代浩平
绪方健人
李荣笃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Publication of CN111507173A publication Critical patent/CN111507173A/zh
Application granted granted Critical
Publication of CN111507173B publication Critical patent/CN111507173B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D6/00Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits
    • B62D6/002Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits computing target steering angles for front or rear wheels
    • B62D6/006Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits computing target steering angles for front or rear wheels using a measured or estimated road friction coefficient
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00Measuring or testing not otherwise provided for
    • G01D21/02Measuring two or more variables by means not covered by a single other subclass
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明能够在不能充分得到墙面的信息的情况下,简单地判断所推定的道路边缘的真伪。运算装置具备:传感器信息获取部,其从搭载在车辆上并将车辆的周围的信息作为传感器信息进行收集的传感器获取传感器信息;特征点提取部,其使用传感器信息提取物体的特征点;目标点检测部,其用空间坐标表示特征点提取部提取到的特征点的位置,并作为目标点进行检测;道路边缘推定部,其将连续排列的目标点之间推定为道路边缘;以及闭塞判定部,其根据从传感器信息中得到的所推定的道路边缘的背后的信息,来判定是否取消道路边缘推定部所推定的道路边缘,道路边缘的背后是指相对于推定出的道路边缘而言与传感器相反一侧的区域。

Description

运算装置
技术领域
本发明涉及一种运算装置。
背景技术
为了唤起驾驶者的注意、自动驾驶,开发了利用传感器收集到的信息来检测墙壁等车辆无法行驶的道路边缘的技术。虽然理想的是可以通过传感器获取墙面的详细信息,但由于传感器的空间分辨率、墙面与传感器的位置关系,有时也无法获取足够的信息。在专利文献1中公开了一种矿山机械,其具备:行驶装置,其能够在矿山的行驶路径上行驶;车体,其由所述行驶装置支承;非接触传感器,其设置在所述车体的前部,能够以非接触的方式检测检测区域的物体,在所述行驶装置的行驶中,所述车体的前方的所述行驶路径以及所述行驶路径的旁侧被配置在所述检测区域内;障碍物检测部,其根据所述非接触传感器的输出信号,检测所述车体的前方的所述行驶路径的障碍物;距离检测部,其根据所述非接触传感器的输出信号,检测与所述行驶路径的旁侧的壁部的距离;以及行驶控制部,其根据所述障碍物检测部以及所述距离检测部的至少一方的检测结果,来控制所述行驶装置。
现有技术文献
专利文献
专利文献1:国际公开第2015/102096号
发明内容
本发明要解决的问题
在专利文献1所记载的发明中,在不能充分得到墙面的信息的情况下的应对方面存在改善的余地。
用于解决问题的技术手段
本发明的第1形态的运算装置具备:传感器信息获取部,其从搭载在车辆上并将车辆的周围的信息作为传感器信息进行收集的传感器获取所述传感器信息;特征点提取部,其使用所述传感器信息来提取物体的特征点;目标点检测部,其用空间坐标表示所述特征点提取部提取到的所述特征点的位置,并作为目标点进行检测;道路边缘推定部,其将连续排列的所述目标点之间推定为道路边缘;以及闭塞判定部,其根据从所述传感器信息中得到的所推定的所述道路边缘的背后的信息,来判定是否取消所述道路边缘推定部所推定的道路边缘,所述道路边缘的背后是指相对于推定出的所述道路边缘而言与所述传感器相反一侧的区域。
发明的效果
根据本发明,能够在不能充分得到墙面的信息的情况下,简单地判断所推定的道路边缘的真伪。
附图说明
图1是车辆9的硬件构成图。
图2是运算装置1的功能构成图。
图3是从上方观察车辆9正行驶的停车场所得的图。
图4是表示运算装置1对目标点的识别结果的图。
图5是表示道路边缘推定部116对道路边缘的推定结果的图。
图6是说明闭塞判定部118的第1方法的示意图。
图7是表示将闭塞判定部118的第1方法应用于图5所示出的道路边缘推定部116对道路边缘的推定结果所得的结果的图。
图8是说明闭塞判定部118的第3方法的示意图。
图9是表示运算装置1对道路边缘的推定处理的流程图。
图10是说明变形例4中的第1方法的图。
图11是从不同的角度观察图10所得的图。
具体实施方式
实施方式
以下,参照图1~图9说明运算装置的实施方式。
(硬件构成)
图1是搭载有运算装置1的车辆9的硬件构成图。车辆9具备运算装置1、显示装置2、车辆传感器3、车辆控制部4、摄像机5以及激光器6。此外,以下,为了将车辆9与其他车辆区别开,也称其为“自身车辆”9。
运算装置1具备作为中央运算装置的CPU11、作为读出专用的存储装置的ROM12、以及作为可读写的存储装置的RAM13,CPU11将存储在ROM12中的程序展开到RAM13中来执行,由此实现后述的多个功能。运算装置1使用摄像机5以及激光器6的输出来推定存在于车辆9的周围的墙壁,并将该墙壁的存在输出到显示装置2以及车辆控制部4。
但是,也可以代替CPU11、ROM12、以及RAM13的组合,而通过作为可重写的逻辑电路的FPGA(Field Programmable Gate Array,现场可编程门阵列)、作为面向特定用途的集成电路的ASIC(Application Specific Integrated Circuit,专用集成电路)来实现运算装置1。另外,也可以代替CPU11、ROM12以及RAM13的组合,而通过不同的构成的组合,例如CPU11、ROM12、RAM13和FPGA的组合来实现运算装置1。
显示装置2例如是液晶显示器,根据运算装置1的动作指令显示影像。车辆传感器3是测定车辆9的动作的传感器,例如具有测定车辆9的速度的速度计和测定方向盘的旋转角度的角度计。但是,车辆传感器3只要能够得到能够算出车辆9的位置和姿势的信息即可,例如也可以由构成GPS等卫星导航***的接收器和测定姿势角的陀螺仪构成。车辆传感器3将测量得到的信息输出至运算装置1。
车辆控制部4控制车辆9的发动机、马达等动力源、制动装置以及操舵装置。其中,车辆控制部4可以仅在用户明示的情况下有效地动作,也可以在车辆9中不具备车辆控制部4。车辆控制部4利用运算装置1的输出,根据存在于车辆9的周围的墙壁的存在来控制车辆9。
摄像机5将拍摄车辆9的周围而得到的图像作为拍摄图像输出至运算装置1。激光器6是激光测距仪,其至少向水平方向的多个角度照射激光,将每个角度的到障碍物的距离作为障碍物信息输出至运算装置1。此外,以下也将拍摄图像、障碍物信息称为“传感器信息”。
(功能构成)
图2是运算装置1的功能构成图。运算装置1具备传感器信息获取部111、车辆运动量获取部112、特征点提取部113、目标点检测部115、道路边缘推定部116、路面推定部117、闭塞判定部118、以及输出控制部119作为其功能。
传感器信息获取部111从摄像机5以及激光器6获取传感器信息。摄像机5的主要的传感器信息是拍摄其前方的风景而得的摄像机图像。激光器6获取激光器信息作为主要的传感器信息,所述激光器信息根据照射到周围的激光的反射,收集了激光的照射方向上的物体的位置和反射强度。车辆运动量获取部112从车辆传感器3获取车辆的速度以及转向角度的信息。即,车辆运动量获取部112能够确定自身车辆9的移动轨迹、每个时刻的自身车辆9的位置、姿势。车辆运动量获取部112将自身车辆9的位置及姿势存储在未示出的存储区域中,使得车辆9的位置及姿势可以与传感器信息进行对照。例如,在传感器信息中包含时间戳的情况下,车辆运动量获取部112将自身车辆9的位置及姿势与时刻信息一起记录。另外,在传感器信息中包含表示获取时刻的连续号码的情况下,将自身车辆9的位置及姿势与时刻信息一起记录其连续号码。
特征点提取部113从摄像机5的拍摄图像中提取特征点。特征点是指图像中的特征性的部位,例如映在图像中的物体的角点等。另外,特征点可以根据其特征进行某种程度的识别。如果是角点,则角的方向、其轮廓的强度成为该特征点的标识符。特征点提取部113例如可以应用作为公知技术的哈里斯算子。但是,特征点提取部113也可以将激光器6输出的障碍物信息直接用作特征点。
目标点检测部115确定特征点提取部113提取的特征点的空间坐标,作为目标点进行检测。对于附属于自身车辆9的摄像机5或激光器6的移动,从摄像机5的拍摄图像或激光器6的激光器信息中提取到的特征点的运动由其空间坐标确定。因此,目标点检测部115通过参照从车辆传感器3获取的自身车辆9的移动量,追踪由特征点提取部113提取到的特征点的运动,来导出该特征点的空间坐标,将赋予了该坐标信息的特征点作为目标点输出。此外,由于激光器6能够获取物体的空间坐标作为传感器信息,因此也可以将其作为赋予目标点的空间坐标。这里,目标点检测部115例如定义以某时刻的车辆9的中心位置为原点、以北为Y轴、以东为X轴、以铅垂上方向为Z轴的空间坐标系。然后,每当特征点提取部113提取特征点时,根据传感器信息获取部111获取的车辆9的位置及姿势,确定该特征点在空间坐标系中的坐标。
道路边缘推定部116使用目标点检测部115检测出的目标点来推定道路边缘。道路边缘推定部116将在空间坐标系中连续排列的多个目标点之间推定为道路边缘。道路边缘推定部116不仅将在一条直线上排列的多个目标点之间推定为道路边缘,而且在从直线离开规定的距离的情况下也将这些目标点之间推定为道路边缘。此外,规定的距离可以是固定值,也可以是可变值。在可变值的情况下,例如也可以根据传感器的分辨率进行设定。另外,即使在目标点之间的间隔比车辆9的横向宽度宽的情况下,也可以将这些目标点之间推定为道路边缘。此外,尽管详情将在后文进行描述,但是道路边缘推定部116对道路边缘的推定结果有时会被闭塞判定部118所覆盖。
路面推定部117使用传感器信息推定路面区域。在路面区域的推定中,能够利用颜色、花纹、形状以及光反射率等。路面推定部117也可以在摄像机5的拍摄图像中将与规定的颜色以及/或者规定的花纹一致的区域推定为路面。路面推定部117也可以根据目标点的高度信息,将与车辆9的轮胎的底面大致相同高度且在水平方向上扩展的区域推定为路面。路面推定部117也可以在激光器6输出的传感器信息中包含激光器的反射率的情况下,将反射率在规定的范围内的区域推定为路面。
闭塞判定部118判定道路边缘推定部116所推定的道路边缘的闭塞性的真伪。换言之,闭塞判定部118判定道路边缘推定部116判断为道路边缘的目标点之间是否真的被闭塞。闭塞判定部118通过三种方法判断通路的闭塞。第1方法是在推定出的道路边缘的后部检测出其他目标点的情况下判断为未被闭塞的方法。第2方法是在推定出的道路边缘的平面的信息随着自身车辆9的移动而改变的情况下判断为未被闭塞的方法。第3方法是利用路面推定部117的推定结果的方法,是如果推定出的道路边缘的跟前和后部双方被推定为路面,则判断为该道路边缘未被闭塞的方法。3个方法将在后文详细叙述。
输出控制部119向显示装置2以及车辆控制部4输出道路边缘推定部116所推定的、且推定结果未被闭塞判定部118覆盖的道路边缘的信息。例如,即使道路边缘推定部116推定存在某道路边缘,在闭塞判定部118将该推定判断为错误的情况下,输出控制部119也不输出该道路边缘的信息。
(道路边缘推定部116的动作例)
图3至图5是表示道路边缘推定部116的动作的示意图。图3是从上方观察自身车辆9正行驶的停车场所得的图,图4是运算装置1对目标点的识别结果,图5是道路边缘推定部116对道路边缘的推定结果。
在图3所示的停车场中,存在墙壁h11~h17、柱子h21~h25、车辆h31~h34。另外,为了强调柱子h21~h25的存在,将其显示得比较大。墙壁h11~h17是没有凹凸和花纹的均匀的墙壁。墙壁h11~h14排列在一条直线上,经由柱子24在弯曲了90度的顶端存在墙壁h15和墙壁h16。自身车辆9存在于图3的下部中央,向图示右方行进。在自身车辆9的前方存在墙壁h17,在该墙壁h17前,车辆h31~h34的前方朝向墙壁h17并排地停车。此外,车辆h32的右侧面位于墙壁h11~h14的大致延长线上。此外,以下,“墙壁”和“道路边缘”以相同的意思使用。
图4所示的各个圆圈是目标点检测部115检测出的目标点。此外,在图4中,为了表示与图3的对应,用虚线表示目标点以外的部分。另外,从柱子h21~h24的每一个能够检测出多个目标点,但这里为了简洁地说明,假设从各柱子检测出一个目标点来进行说明。目标点P21~P24分别对应于柱子h21~h24。
柱子h25以及车辆h31由于墙壁h14等的存在而无法从自身车辆9识别出来,因此用虚线表示。对于车辆h32~h34,至少车辆后方的宽度方向两端被识别为目标点。具体而言,车辆h32被识别到目标点P321及P322,车辆h33被识别到目标点P331及P332,车辆h34被识别到目标点P341及P342。
在图5中,道路边缘推定部116对道路边缘的推定结果用粗线表示,虚线表示与图3、图4的对应。目标点全部用虚线表示。道路边缘推定部116在检测出连续排列的多个目标点时,将这些目标点之间推定为道路边缘。因此,不仅将目标点P21~P24之间推定为道路边缘,而且也将偶然呈直线状排列的目标点P24和P322之间推定为道路边缘h99。即,推定出的道路边缘h99是实际上不存在的道路边缘,通过后述的闭塞判定部118的处理,该推定得以被取消。
(闭塞判定部118的动作)
参照附图说明对闭塞判定部118推定出的道路边缘的真伪进行推定的3个方法。此外,任一方法都是使用道路边缘的背后的信息的方法。
在第1方法中,在道路边缘推定部116所推定的道路边缘的背后存在目标点的情况下,闭塞判定部118判断为该道路边缘未被闭塞,即道路边缘推定部116的推定是错误的。此外,道路边缘的背后是相对于推定出的道路边缘而言与摄像机5、激光器6相反一侧的区域。另外,“道路边缘的背后”也可以说是“比道路边缘靠后部”。如前所述,由于车辆运动量获取部112将自身车辆9的位置及姿势以能够与传感器信息对照的方式进行保存,因此闭塞判定部118能够确定获取到各个目标点时的车辆9的位置,即摄像机5、激光器6的位置。
图6是说明闭塞判定部118的第1方法的示意图。在图6中,圆圈标记表示目标点检测部115检测出的目标点,粗线表示道路边缘推定部116推定的道路边缘,单点划线表示说明用的辅助线。车辆9在图示下部行驶,在某时刻处于位置9A,在另一时刻处于位置9B。假设由目标点检测部115检测出P411~P414以及P420的目标点,道路边缘推定部116将h91~h93推定为道路边缘的情形。
在这种情况下,由于在道路边缘推定部116所推定的道路边缘的背后存在目标点P420,因此闭塞判定部118判断为道路边缘推定部116对道路边缘的推定存在错误。在判断为车辆9根据在位置9A得到的传感器信息检测出目标点P420的情况下,闭塞判定部118判断为与连接此时的摄像机5、激光器6的位置和目标点P420的直线相交的道路边缘即道路边缘h91的推定错误。另外,在判断为车辆9根据在位置9B得到的传感器信息检测出目标点P420的情况下,闭塞判定部118判断为道路边缘h92的推定错误。
此外,在图6中,从车辆9的左侧面画出辅助线的原因在于,假设获取车辆9的左侧的信息的摄像机5、激光器6安装在车辆9的左侧面。假设在车辆9的前方安装有摄像机5、激光器6的情况下,则辅助线从车辆9的前方引出。
图7是表示将闭塞判定部118的第1方法应用于图5所示出的道路边缘推定部116对道路边缘的推定结果所得的结果的图。在图3~图5所示的例子中,检测到目标点P321,目标点P321存在于由道路边缘推定部116推定出的道路边缘h99的后部。在图7中,可知连接车辆9和目标点P321的线段与道路边缘h99交叉。因此,闭塞判定部118判断为道路边缘推定部116所进行的关于道路边缘h99的推定为错误。以上是第1方法的说明。
在第2方法中,闭塞判定部118将道路边缘推定部116所推定的道路边缘假定为与路面垂直地竖立的平面来算出基于车辆9的移动的传感器信息的变化,并且根据与实际获得的传感器信息的变化的背离来判定道路边缘推定部116所推定的道路边缘的真伪。例如,将车辆9移动前得到的拍摄图像中的推定出的道路边缘的平面的区域的图像作为处理对象,根据与车辆9移动后的位置关系以及姿势关系,算出在移动后的位置得到的该道路边缘的区域的图像。然后,闭塞判定部118将算出的图像与实际得到的拍摄图像进行比较,如果两者的背离超过规定的阈值,则判断为推定出的道路边缘为假的,即判断为该道路边缘的推定为错误。
在第3方法中,闭塞判定部118使用路面推定部117的推定结果。如果推定出的道路边缘的跟前和后部都被路面推定部117推定为路面,则闭塞判定部118判断为该道路边缘未被闭塞。
图8是说明闭塞判定部118的第3方法的示意图。图8所示的符号与图6相同,因此省略说明。但是,图8中的阴影线表示由路面推定部117推定为路面的区域。在这种情况下,由于隔着推定出的道路边缘h92的跟前以及后部被路面推定部117推定为路面,因此闭塞判定部118判断为推定出的道路边缘h92未被闭塞,即判断为路面推定部117的推定错误。
(流程图)
图9是表示运算装置1对道路边缘的推定处理的流程图。此处理在推定道路边缘的场景下经常反复执行。以下说明的各步骤的执行主体是CPU11。
在S601中,运算装置1首先通过传感器信息获取部111获取传感器信息。即,摄像机5拍摄摄像机图像,激光器6获取激光器信息。然后,使用特征点提取部113从这些摄像机图像、激光器信息中提取特征点。接着,使用目标点检测部115导出特征点的空间坐标,并检测目标点。然后,道路边缘推定部116确定在三维空间上或除去高度的二维平面上连续排列的目标点(S602),将所确定的目标点之间推定为道路边缘(S603)。运算装置1将在S603中推定为道路边缘的所有目标点之间作为处理对象,一个一个地切换处理对象并且执行S605~S615的处理。例如,在图5的例子中,运算装置1首先将道路边缘h11作为处理对象执行S605~S615的处理,接着将道路边缘h12作为处理对象执行S605~S615的处理,以下同样地将全部9个道路边缘作为处理对象。
在S605中,运算装置1判断作为处理对象的目标点之间是否比自身车辆9的宽度宽,在判断为比自身车辆9的宽度宽的情况下进入S611,在判断为在自身车辆9的宽度以下的情况下进入S620。在S611中,运算装置1判断在目标点之间的后部是否存在其他目标点,在判断为存在其他目标点的情况下进入S615,在判断为不存在其他目标点的情况下进入S612。在S612中,运算装置1将推定出的道路边缘假定为与路面垂直的平面,并且,将上述传感器信息中出现在该道路边缘方向的信息作为在该平面上的信息,从而来根据车辆移动量算出车辆9移动后的传感器信息。评价该算出结果与实际的传感器信息的背离。如果有背离,则在该道路边缘的方向上的传感器信息不在道路边缘的平面上。在运算装置1中,在判断为两者的背离比阈值大的情况下进入S615,在判断为背离在阈值以下的情况下进入S613。
在S613中,运算装置1利用路面推定部117的推定结果,判断处理对象的目标点之间的跟前和后部双方是否被推定为路面。在运算装置1中,在判断为这双方被推定为路面的情况下进入S615,在判断为至少一方被推定不是路面的情况下进入S620。在步骤S615中,闭塞判定部118取消将作为处理对象的目标点之间推定为道路边缘的道路边缘推定部116的推定,从而进入S620。此外,S611、S612以及S613分别对应于闭塞判定部118的第1方法、第2方法以及第3方法。
在S620中,运算装置1判断在S603中被推定为道路边缘的所有目标点之间是否被作为了S605~S615的处理对象。在判断为存在未处理的目标点之间的情况下,运算装置1将处理对象设定为未处理的目标点之间的任一个,返回S605,在判断为已将所有的目标点之间作为处理对象的情况下,结束图9所示的处理。
根据上述的实施方式,能够得到以下的作用效果。
(1)运算装置1具备:传感器信息获取部111,其从搭载在车辆9上并将车辆9的周围的信息作为传感器信息进行收集的摄像机5及激光器6获取传感器信息;特征点提取部113,其使用传感器信息来提取物体的特征点;目标点检测部115,其用空间坐标表示特征点提取部113提取到的特征点的位置,并作为目标点进行检测;道路边缘推定部116,其将连续排列的目标点之间推定为道路边缘;以及闭塞判定部118,其根据从传感器信息得到的所推定的道路边缘的背后的信息,来判定是否取消道路边缘推定部116推定的道路边缘。道路边缘的背后是指相对于推定出的道路边缘而言与传感器相反一侧的区域。因此,能够在不能充分得到墙面的信息的情况下,简单地判断所推定的道路边缘的真伪。
(2)在第1方法中,在推定的道路边缘的背后存在目标点的情况下,闭塞判定部118判定为取消推定出的道路边缘。因此,能够利用目标点与车辆的位置关系来评价道路边缘推定部116的推定。
(3)闭塞判定部118将从如图7所示的道路边缘h99那样由道路边缘推定部116推定出的道路边缘到如目标点P321那样所推定的道路边缘的背后的目标点为止的区域判定为可行驶的区域。因此,闭塞判定部118不仅输出道路边缘的有无,还输出车辆9可行驶的区域的信息,能够有助于车辆9的控制以及向驾驶员提供信息。
(4)运算装置1具备车辆运动量获取部112,该车辆运动量获取部112获取车辆9的移动的方向及距离作为车辆运动量。在第2方法中,闭塞判定部118将所推定的道路边缘假定为与路面垂直的平面,并将传感器信息中出现在该道路边缘的方向上的信息作为在该平面上的信息,从而根据基于车辆移动量算出的车辆移动后在该平面上的传感器信息和实际得到的传感器信息,判定道路边缘推定部所推定的道路边缘的真伪。因此,即使在不能得到特征点的情况下,也能够判定是否取消道路边缘。
(5)运算装置1具备路面推定部117,该路面推定部117根据传感器信息推定车辆的周边的、车辆9可行驶的路面的位置。在隔着道路边缘推定部116所推定的道路边缘的跟前以及后部被路面推定部117推定为路面的情况下,闭塞判定部118判定取消推定出的道路边缘。因此,能够利用路面推定技术来判定道路边缘的真伪。
(变形例1)
在上述的实施方式中,闭塞判定部118具备第1方法、第2方法、以及第3方法。但是,闭塞判定部118只要具备至少任意一个方法即可。
(变形例2)
如图9中的S611~S613所示,如果道路边缘推定部116的推定被第1方法~第3方法中的任意一个方法否定,则闭塞判定部118取消道路边缘推定部116的推定。然而,也可以仅在道路边缘推定部116的推定被2个以上的方法否定的情况下,取消道路边缘推定部116的推定。
(变形例3)
在第2方法中,也可以是在摄像机5输出的拍摄图像在车辆9移动前后不一致的情况下,闭塞判定部118判断为道路边缘推定部116推定的道路边缘是假的,即,判断为不是真的道路边缘。这是因为,例如,如果是没有花纹等的一样的墙壁,即使从不同的角度拍摄,也可以得到同样的影像。
根据本变形例,可以得到以下的作用效果。
(6)闭塞判定部118将所推定的道路边缘假定为与路面垂直的平面,并将拍摄图像中在该平面的方向上的图像作为在该平面的空间坐标上的图像,来根据车辆移动量算出车辆移动后在该平面上的图像,并根据该图像和在车辆移动前后车辆实际移动后拍摄到的拍摄图像,判定是否取消推定出的道路边缘。因此,闭塞判定部118能够简单地判断推定出的道路边缘的真伪。
(变形例4)
在上述实施方式中,在闭塞判定部118的第1方法中没有考虑高度方向。但是,闭塞判定部118也可以在第1方法中考虑高度方向。在这种情况下,首先,道路边缘推定部116通过已知的方法推定道路边缘的高度。然后,闭塞判定部118判断连接搭载在车辆9上的传感器和存在于推定出的道路边缘的后部的目标点的直线是否与推定出的道路边缘相交。在两者相交的情况下,闭塞判定部118判断为道路边缘推定部116的推定为错误,在两者不相交的情况下,闭塞判定部118不判断为道路边缘推定部116的推定为错误。
图10及图11是说明变形例4中的闭塞判定部118的第1方法的图。图10相当于从横向观察实施方式中的图7所得的图。在目标点P321是图示下部的P321A所示的位置的情况下,由于连接目标点P321和传感器的线段与道路边缘h99相交,因此道路边缘推定部116对道路边缘h99的推定被判断为错误。在目标点P321位于图示上部的P321B所示的位置的情况下,由于连接目标点P321和传感器的线段不与道路边缘h99相交,因此道路边缘推定部116对道路边缘h99的推定被判断为并非错误。
图11是从不同角度观察图10所得的图,相当于从摄像机5的拍摄图像中切取目标点P321的周围所得的图像。如图11所示,在使用摄像机5作为传感器的情况下,只要在拍摄图像中判断推定出的道路边缘h99的区域与目标点P321的位置是否重复即可。
(变形例5)
车辆9也可以不具备显示装置2及车辆控制部4中的至少一方。车辆9也可以不具备摄像机5及激光器6中的至少一方。车辆9也可以具备其它传感器,例如超声波传感器来代替摄像机5及激光器6。
上述各实施方式及变形例也可以分别组合。以上说明了各种实施方式及变形例,但本发明不限于这些内容。能够在本发明的技术思想的范围内考虑的其他方式也包含在本发明的范围内。
符号说明
1…运算装置
2…显示装置
3…车辆传感器
4…车辆控制部
5…摄像机
6…激光器
9…车辆
111…传感器信息获取部
112…车辆运动量获取部
113…特征点提取部
114…特征点追踪部
115…目标点检测部
116…道路边缘推定部
117…路面推定部
118…闭塞判定部
119…输出控制部。

Claims (5)

1.一种运算装置,其特征在于,具备:
传感器信息获取部,其从搭载在车辆上并将车辆的周围的信息作为传感器信息进行收集的传感器获取所述传感器信息;
特征点提取部,其使用所述传感器信息来提取物体的特征点;
目标点检测部,其用空间坐标表示所述特征点提取部提取到的所述特征点的位置,并作为目标点进行检测;
墙壁推定部,其将在空间坐标系中连续排列的所述目标点之间推定为墙壁;以及
闭塞判定部,其根据从所述传感器信息中得到的所推定的所述墙壁的背后的信息,来判定是否取消所述墙壁推定部所推定的墙壁,
所述墙壁的背后是指相对于推定出的所述墙壁而言与所述传感器相反一侧的区域,
在所推定的所述墙壁的背后存在所述目标点的情况下,所述闭塞判定部判定取消推定出的所述墙壁。
2.根据权利要求1所述的运算装置,其特征在于,
所述闭塞判定部将从推定出的所述墙壁到所推定的所述墙壁的背后的所述目标点为止的区域判定为可行驶的区域。
3.根据权利要求1所述的运算装置,其特征在于,
还具备车辆运动量获取部,该车辆运动量获取部获取所述车辆的移动的方向及距离作为车辆移动量,
所述闭塞判定部将所推定的所述墙壁假定为与路面垂直的平面,并将所述传感器信息中出现在该墙壁的方向上的信息作为在该平面上的信息,从而根据基于所述车辆移动量算出的车辆移动后在该平面上的所述传感器信息和实际得到的所述传感器信息,来判定是否取消所述墙壁推定部所推定的墙壁。
4.根据权利要求1所述的运算装置,其特征在于,
还具备车辆运动量获取部,该车辆运动量获取部获取所述车辆的移动的方向及距离作为车辆移动量,
所述传感器是摄像机,
所述传感器信息是所述摄像机拍摄得到的拍摄图像,
所述闭塞判定部将所推定的所述墙壁假定为与路面垂直的平面,并将所述拍摄图像中在该平面的方向上的图像作为在该平面的空间坐标上的图像,从而根据所述车辆移动量算出车辆移动后在该平面上的图像,并根据该图像和车辆实际移动后拍摄到的所述拍摄图像判定是否取消推定出的所述墙壁。
5.根据权利要求1所述的运算装置,其特征在于,
还具备路面推定部,该路面推定部根据所述传感器信息推定所述车辆的周边的、所述车辆可行驶的路面的位置,
在夹着所推定的所述墙壁的跟前以及后部被所述路面推定部推定为所述路面的情况下,所述闭塞判定部判定取消推定出的所述墙壁。
CN202010076310.7A 2019-01-30 2020-01-23 运算装置 Active CN111507173B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-014740 2019-01-30
JP2019014740A JP7281289B2 (ja) 2019-01-30 2019-01-30 演算装置

Publications (2)

Publication Number Publication Date
CN111507173A CN111507173A (zh) 2020-08-07
CN111507173B true CN111507173B (zh) 2024-04-05

Family

ID=69400420

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010076310.7A Active CN111507173B (zh) 2019-01-30 2020-01-23 运算装置

Country Status (4)

Country Link
US (1) US11205081B2 (zh)
EP (1) EP3690401A1 (zh)
JP (1) JP7281289B2 (zh)
CN (1) CN111507173B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4183549A1 (en) 2020-07-17 2023-05-24 Nissei ASB Machine Co., Ltd. Operation abnormality detection method, method for manufacturing resin container, operation abnormality detection device, device for manufacturing resin container, and device for manufacturing resin preform

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2390745A1 (en) * 2010-05-26 2011-11-30 Mitsubishi Electric Corporation Road configuration estimation apparatus, computer program, and road configuration estimation method
CN107076564A (zh) * 2014-10-22 2017-08-18 日产自动车株式会社 行驶路径运算装置
CN107111954A (zh) * 2015-01-05 2017-08-29 日产自动车株式会社 目标路径生成装置及行驶控制装置
CN108519605A (zh) * 2018-04-09 2018-09-11 重庆邮电大学 基于激光雷达和摄像机的路沿检测方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3645177B2 (ja) * 2000-11-29 2005-05-11 三菱電機株式会社 車両周辺監視装置
DE10218924A1 (de) * 2002-04-27 2003-11-06 Bosch Gmbh Robert Verfahren und Vorrichtung zur Kursprädiktion bei Kraftfahrzeugen
JP2008191781A (ja) * 2007-02-01 2008-08-21 Hitachi Ltd 衝突回避システム
US8457359B2 (en) * 2008-02-20 2013-06-04 Continental Teves Ag & Co. Ohg Method and assistance system for detecting objects in the surrounding area of a vehicle
US8670592B2 (en) * 2008-04-24 2014-03-11 GM Global Technology Operations LLC Clear path detection using segmentation-based method
JP5830876B2 (ja) * 2011-02-18 2015-12-09 富士通株式会社 距離算出プログラム、距離算出方法及び距離算出装置
JP5682757B2 (ja) * 2011-04-28 2015-03-11 トヨタ自動車株式会社 道路形状推定装置
JP5974923B2 (ja) * 2013-02-15 2016-08-23 アイシン・エィ・ダブリュ株式会社 道路端検出システム、方法およびプログラム
JP5892129B2 (ja) * 2013-08-29 2016-03-23 株式会社デンソー 道路形状認識方法、道路形状認識装置、プログラムおよび記録媒体
JP5997364B2 (ja) 2014-12-26 2016-09-28 株式会社小松製作所 鉱山機械、鉱山機械の管理システム、及び鉱山機械の管理方法
JP7111634B2 (ja) * 2019-01-21 2022-08-02 株式会社Soken 車両における対象物検出装置、対象物検出システムおよび対象物検出方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2390745A1 (en) * 2010-05-26 2011-11-30 Mitsubishi Electric Corporation Road configuration estimation apparatus, computer program, and road configuration estimation method
CN107076564A (zh) * 2014-10-22 2017-08-18 日产自动车株式会社 行驶路径运算装置
CN107111954A (zh) * 2015-01-05 2017-08-29 日产自动车株式会社 目标路径生成装置及行驶控制装置
CN108519605A (zh) * 2018-04-09 2018-09-11 重庆邮电大学 基于激光雷达和摄像机的路沿检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张凤静 ; 夏伟杰 ; .双目立体视觉测距***目标车辆检测算法研究.重庆科技学院学报(自然科学版).2011,(01),第166-169页. *

Also Published As

Publication number Publication date
US20200242372A1 (en) 2020-07-30
JP2020123154A (ja) 2020-08-13
EP3690401A1 (en) 2020-08-05
CN111507173A (zh) 2020-08-07
JP7281289B2 (ja) 2023-05-25
US11205081B2 (en) 2021-12-21

Similar Documents

Publication Publication Date Title
EP0810569B1 (en) Lane detection sensor and navigation system employing the same
JP6533619B2 (ja) センサキャリブレーションシステム
KR101670847B1 (ko) 차량 주변 이미지 생성 장치 및 방법
JP6897258B2 (ja) 傾斜検出装置
JP5157067B2 (ja) 自動走行用マップ作成装置、及び自動走行装置。
US11351986B2 (en) In-vehicle processing apparatus
JP6881464B2 (ja) 自己位置推定方法及び自己位置推定装置
EP3226207B1 (en) Automatic operation vehicle
KR101529156B1 (ko) 지면의 경사 추출 시스템 및 이를 이용한 차량
GB2313971A (en) Obstacle tracking by moving vehicle
CA3069117C (en) Parking assistance method and parking assistance device
KR101558756B1 (ko) 카메라 영상정보와 센서정보를 융합하여 차선을 인지하는 차선 감지 방법 및 장치
JP6776202B2 (ja) 車載カメラのキャリブレーション装置及び方法
US10744943B1 (en) System and method for trailer alignment
CN105480227A (zh) 主动驾驶技术中基于红外雷达与视频图像信息融合的方法
JP2015125760A (ja) 鉱山用作業機械
JP2018048949A (ja) 物体識別装置
CN107111741B (zh) 用于具有摄像机的机动车的方法,设备和***
JP6834401B2 (ja) 自己位置推定方法及び自己位置推定装置
CN111507173B (zh) 运算装置
JP2007326428A (ja) 駐車支援装置
JP4116116B2 (ja) 移動体の測距原点認識装置
KR20130130105A (ko) 무인주행차량을 위한 교차로 검출 방법 및 이를 이용한 무인주행차량
Matowicki et al. Analysis of possibility to utilize road marking for the needs of autonomous vehicles
JP7056379B2 (ja) 車両用走行制御装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant