CN113212498A - 车间距离测量方法、车间距离测量装置、电子设备、计算机程序以及计算机可读记录介质 - Google Patents

车间距离测量方法、车间距离测量装置、电子设备、计算机程序以及计算机可读记录介质 Download PDF

Info

Publication number
CN113212498A
CN113212498A CN202110076340.2A CN202110076340A CN113212498A CN 113212498 A CN113212498 A CN 113212498A CN 202110076340 A CN202110076340 A CN 202110076340A CN 113212498 A CN113212498 A CN 113212498A
Authority
CN
China
Prior art keywords
vehicle
distance
inter
feature point
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110076340.2A
Other languages
English (en)
Other versions
CN113212498B (zh
Inventor
金信亨
韩台圭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thinkware Systems Corp
Original Assignee
Thinkware Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210006462A external-priority patent/KR20210094475A/ko
Application filed by Thinkware Systems Corp filed Critical Thinkware Systems Corp
Priority to CN202310569809.5A priority Critical patent/CN116588092A/zh
Publication of CN113212498A publication Critical patent/CN113212498A/zh
Application granted granted Critical
Publication of CN113212498B publication Critical patent/CN113212498B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/34Control, warning or like safety means along the route or between vehicles or trains for indicating the distance between vehicles or trains by the transmission of signals therebetween
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14Adaptive cruise control
    • B60W30/16Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Automation & Control Theory (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Mechanical Engineering (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

公开了车间距离测量方法、车间距离测量装置、电子设备、计算机程序以及计算机可读记录介质。公开车间距离测量方法。本发明包括:获取行驶中的第一车辆的拍摄装置拍摄的行驶影像的步骤;从获取的行驶影像检测第二车辆的步骤;若从行驶影像未检测出第二车辆,则在构成行驶影像的多个帧中,从与未检测出第二车辆的帧之前的检测出第二车辆的帧相对应的第一帧检测第二车辆区域的第一特征点的步骤;跟踪检测的第一特征点,检测与目前帧相对应的第二帧内的第二特征点的步骤;计算第一特征点和第二特征点之间的特征点变化值的步骤;以及基于计算的特征点变化值,计算从第一车辆的拍摄装置到第二车辆为止的距离的步骤。

Description

车间距离测量方法、车间距离测量装置、电子设备、计算机程 序以及计算机可读记录介质
技术领域
本发明涉及基于车辆影像的车间距离测量方法、车间距离测量装置、电子设备、计算机程序以及计算机可读记录介质。更加详细地,涉及通过跟踪车辆影像的特征点,测量位于近距离的车辆之间的距离的车间距离测量方法、车间距离测量装置、电子设备、计算机程序以及计算机可读记录介质。
背景技术
车辆行驶中最重要的在于安全行驶以及交通事故的预防,为此,在车辆上安装有用于执行车辆的姿势控制、车辆结构装置的功能控制等的多种辅助装置以及安全带、安全气囊等安全装置。
不仅如此,最近还有在车辆上设置存储车辆的行驶影像以及从各种传感器传送的数据,从而在车辆发生事故时能够找出事故原因的黑匣子等装置的趋势。在智能手机、平板电脑等便携式终端也可以安装黑匣子或者导航仪应用程序等,从而可以活用为如上所述车辆用装置。
为此,最近开发以及普及有利用车辆行驶中拍摄的行驶影像,从而辅助车辆驾驶员的驾驶的先进驾驶辅助***(ADAS:Advanced Driver Assistance Systems),从而谋求安全驾驶和驾驶员的方便性。
在所述ADAS提供的功能中,前方车辆冲撞预警功能(FCWS:Forward CollisionWarning System)是在拍摄的行驶影像中检测位于车辆的行驶路线前方的前方车辆,测量与检测出的前方车辆之间的距离,然后根据距离向驾驶员发出存在冲撞危险的提示的功能。
即,为了FCWS而需要检测前方车辆,现有技术中为了检测前方车辆,采用了利用拍摄的行驶影像内的前方车辆的影子的影像处理方法或者学习很多车辆图像进行检测的机器学习(Machine Learning)方法等。所述两种方法都是在行驶影像内存在包括车辆下端部分的车辆区域时,检测性能变高。
然而,车辆在行驶中会接触多种行驶环境,也可能发生行驶影像内不包括车辆下端部分的情况。作为一例,在车辆行驶中发现前方车辆并减缓行驶速度的过程中,车辆和前方车辆之间的距离会变近。如图1所示,当车辆1和前方车辆2之间的距离远时(2-1),在通过车辆1拍摄的行驶影像中,包括前方车辆下端部分的车辆影像可能会包含在行驶影像中。然而,当车辆1和前方车辆2之间的距离变近时(作为一例,10m以内)(2-2)时,前方车辆的下端部分不会包含在行驶影像中。
如上所述,在车辆的行驶中,与前方车辆的距离变近而前方车辆下端部分不包含在行驶影像中时,具有通过基于现有影子或者基于学习的前方车辆检测方法,无法准确检测前方车辆的问题。
一方面,所述车间距离测量技术作为最近活跃讨论中的用于自动驾驶汽车的自动驾驶的核心技术,假设在自动驾驶中没有准确检测出前方车辆而无法测量车间距离,则可能会与事故有直接的联系,因此对车间距离测量技术的重要性逐渐在增大。
发明内容
本发明是为了解决上述问题而提出的,本发明的目的在于,提供即便随着自己车辆和作为距离测量对象的对象车辆(前方车辆或者后方车辆)之间的距离接近而未拍摄到对象车辆的下端部分,导致通过行驶影像无法检测对象车辆,也能通过跟踪特征点来跟踪对象车辆,测量对象车辆和自己车辆的距离的基于车辆影像的车间距离测量方法、车间距离测量装置、电子设备、计算机程序以及计算机可读记录介质。
另外,本发明的目的在于,提供利用测量的距离,基于车间距离提供提示的基于车辆影像的车间距离测量方法、车间距离测量装置、电子设备、计算机程序以及计算机可读记录介质。
另外,本发明的目的在于,提供利用测量的距离生成自己车辆的自动驾驶控制信号的基于车辆影像的车间距离测量方法、车间距离测量装置、电子设备、计算机程序以及计算机可读记录介质。
为了达成上述目的,根据本发明的一实施例的利用处理器的车间距离测量方法,包括:获取行驶中的第一车辆的拍摄装置拍摄的行驶影像的步骤;从所述获取的行驶影像检测第二车辆的步骤;若从所述行驶影像未检测出所述第二车辆,则在构成所述行驶影像的多个帧中,从与未检测出所述第二车辆的帧之前的检测出所述第二车辆的帧相对应的第一帧检测所述第二车辆区域的第一特征点的步骤;追踪所述检测的第一特征点,检测与目前帧相对应的第二帧内的第二特征点的步骤;计算所述第一特征点和所述第二特征点之间的特征点变化值的步骤;以及基于所述计算的特征点变化值,计算从所述第一车辆的拍摄装置到所述第二车辆为止的车间距离的步骤。
然后,检测所述第二车辆的步骤可以是通过由对车辆影像的机器学习(MachineLearning)或者深度学习(Deep Learning)构建的学习模型,检测所述第二车辆。
另外,检测所述第一特征点的步骤可以是随着所述第一车辆和所述第二车辆之间的距离接近而通过所述构建的学习模型未检测出所述第二车辆,则执行检测所述第二车辆区域的第一特征点的步骤。
然后,检测所述第一特征点的步骤可以是在帧的第二车辆区域,将车辆中间区域设定为关心区域,在所述设定的关心区域检测所述第一特征点。
另外,检测所述第二特征点的步骤可以是利用所述检测的第一特征点的光流(optical flow),追踪所述第二特征点,从而检测所述第二帧内的所述第二特征点。
然后,还可以包括:利用所述光流追踪所述第二特征点时,过滤所述第二帧内未显示的第二特征点以及与所述第二帧内未显示的第二特征点相对应的第一特征点的步骤。
另外,计算所述特征点变化值的步骤可以包括:计算所述第一特征点的平均像素位置的步骤;计算将从所述计算的第一特征点的平均像素位置到各个第一特征点之间的像素距离平均化的第一平均像素距离的步骤;计算所述第二特征点的平均像素位置的步骤;计算将从所述计算的第二特征点的平均像素位置到各个第二特征点之间的像素距离平均化的第二平均像素距离的步骤;以及计算所述第一平均像素距离和所述第二平均像素距离之间的平均像素距离比例的步骤。
然后,计算所述车间距离的步骤可以包括:将所述第一帧内的第二车辆的影像宽度和所述计算的平均像素距离比例相乘,计算所述第二帧内的第二车辆的影像宽度的步骤。
另外,计算所述车间距离的步骤还可以包括:基于所述计算的第二帧内的第二车辆的影像宽度、所述第一拍摄装置的焦点距离和所述第二车辆的预测宽度,计算从所第一车辆的拍摄装置到所述第二车辆为止的车间距离的步骤。
然后,计算所述车间距离的步骤还可以包括:计算所述检测的第二车辆的影像宽度和所述第二车辆所处的车道的影像宽度之间的影像宽度比例的步骤;基于所述计算的比例,决定所述第二车辆的大小等级的步骤;以及基于所述决定的第二车辆的大小等级,计算所述第二车辆的预测宽度的步骤。
另外,还可以包括:当所述计算的车间距离小于预设的距离时,生成提示数据用于提示与所述第一车辆和所述第二车辆之间的距离之差相对应的冲撞危险级别的步骤。
然后,还可以包括:基于所述计算的车间距离,生成控制信号用于控制所述第一车辆的自动驾驶的步骤。
一方面,为了达成上述目的,根据本发明的一实施例的车间距离测量装置,包括:影像获取部,获取行驶中的第一车辆的拍摄装置拍摄的行驶影像;车辆检测部,从所述获取的行驶影像检测第二车辆;特征点检测部,若从所述行驶影像未检测出所述第二车辆,则在构成所述行驶影像的多个帧中,从与未检测出所述第二车辆的帧之前的检测出所述第二车辆的帧相对应的第一帧检测所述第二车辆区域的第一特征点,追踪所述检测的第一特征点,检测与目前帧相对应的第二帧内的第二特征点;特征点变化值计算部,计算所述第一特征点和所述第二特征点之间的特征点变化值;以及车间距离计算部,基于所述计算的特征点变化值,计算从所述第一车辆的拍摄装置到所述第二车辆为止的车间距离。
然后,所述车辆检测部可以通过由对车辆影像的机器学习(Machine Learning)或者深度学习(Deep Learning)构建的学习模型,检测所述第二车辆。
另外,当随着所述第一车辆和所述第二车辆之间的距离接近而通过所述构建的学习模型未检测出所述第二车辆时,所述特征点检测部可以执行对所述第二车辆区域的第一特征点的检测。
然后,所述特征点检测部可以在帧的第二车辆区域,将车辆中间区域设定为关心区域,在所述设定的关心区域检测所述第一特征点。
另外,所述特征点检测部可以利用所述检测的第一特征点的光流(opticalflow),追踪所述第二特征点,从而检测所述第二帧内的所述第二特征点。
然后,所述特征点检测部可以在利用所述光流追踪所述第二特征点时,过滤所述第二帧内未显示的第二特征点以及与所述第二帧内未显示的第二特征点相对应的第一特征点。
另外,所述特征点变化值计算部可以包括:平均像素距离计算部,其计算所述第一特征点的平均像素位置,计算将从所述计算的第一特征点的平均像素位置到各个第一特征点之间的像素距离平均化的第一平均像素距离,计算所述第二特征点的平均像素位置,计算将从所述计算的第二特征点的平均像素位置到各个第二特征点之间的像素距离平均化的第二平均像素距离;以及比例计算部,计算所述第一平均像素距离和所述第二平均像素距离之间的平均像素距离比例。
然后,所述车间距离计算部可以将所述第一帧内的第二车辆的影像宽度和所述计算的平均像素距离比相乘,计算所述第二帧内的第二车辆的影像宽度。
另外,所述车间距离计算部可以基于所述计算的第二帧内的第二车辆的影像宽度、所述第一拍摄装置的焦点距离和所述第二车辆的预测宽度,计算从所第一车辆的拍摄装置到所述第二车辆为止的距离。
然后,所述车间距离计算部可以计算所述检测的第二车辆的影像宽度和所述第二车辆所处的车道的影像宽度之间的影像宽度比例,基于所述计算的比例,决定所述第二车辆的大小等级,基于所述决定的第二车辆的大小等级,计算所述第二车辆的预测宽度。
另外,还可以包括:提示数据生成部,当所述计算的车间距离小于预设的距离时,生成提示数据用于提示与所述第一车辆和所述第二车辆之间的距离之差相对应的冲撞危险级别。
然后,还可以包括:自动驾驶控制信号生成部,基于所述计算的车间距离,生成控制信号用于控制所述第一车辆的自动驾驶。
一方面,为了达成上述目的,根据本发明的一实施例的基于车间距离提供用于辅助驾驶员的提示的电子设备,包括:输出部,输出所述驾驶员可以确认的提示信息;影像获取部,获取拍摄装置拍摄的行驶影像;车辆检测部,从所述获取的行驶影像检测第二车辆;特征点检测部,若从所述行驶影像未检测出所述第二车辆,则在构成所述行驶影像的多个帧中,从与未检测出所述第二车辆的帧之前的检测出所述第二车辆的帧相对应的第一帧检测所述第二车辆区域的第一特征点,追踪所述检测的第一特征点,检测与目前帧相对应的第二帧内的第二特征点;特征点变化值计算部,计算所述第一特征点和所述第二特征点之间的特征点变化值;车间距离计算部,基于所述计算的特征点变化值,计算从所述第一车辆的拍摄装置到所述第二车辆为止的车间距离;以及控制部,控制所述输出部根据所述计算的距离输出前方车辆冲撞提醒或者前方车辆出发提醒。
然后,所述输出部进一步包括:显示部,将所述拍摄的行驶影像与提示对象进行结合,从而输出增强现实图像,所述控制部可以所述显示部生成用于所述前方车辆冲撞提醒的提示对象,并将所述生成的用于前方车辆冲撞提醒的提示对象与所述增强现实图像的前方车辆显示区域重叠显示。
一方面,为了达成上述目的,根据本发明的一实施例,可以提供记录有用于执行上述车间距离测量方法的程序的计算机可读记录介质。
另外,为了达成上述目的,根据本发明的一实施例,可以提供执行上述车间距离测量方法的程序。
根据上述本发明的各种实施例,即便随着自己车辆和作为距离测量对象的对象车辆之间的距离接近而未拍摄到对象车辆的下端部分,导致通过行驶影像无法检测对象车辆,也能通过跟踪特征点测量对象车辆和自己车辆之间的距离。
另外,根据本发明的各种实施例,近距离时,在低参数终端也能通过基于特征点的跟踪,达到快速的处理速度,可以实时处理。
另外,根据本发明的各种实施例,即便随着自己车辆和对象车辆之间的距离接近而对象车辆的区域被遮盖,也能准确执行冲撞提醒功能以及出发提醒功能。
另外,根据本发明的各种实施例,即便随着自己车辆和对象车辆之间的距离接近而对象车辆的区域被遮盖,也能准确计算自己车辆和对象车辆之间的距离,准确执行对自己车辆的自动驾驶控制。
附图说明
图1是用于说明根据自己车辆和前方车辆之间的距离拍摄的行驶影像以及现有技术的问题的示意图。
图2是示出根据本发明的一实施例的车间距离测量装置的框图。
图3是更加具体示出根据本发明的一实施例的车间距离测量装置的框图。
图4是用于说明根据本发明的一实施例的特征点检测以及跟踪过程的示意图。
图5是用于说明根据本发明的一实施例的用于车辆检测的学习数据集的构建以及利用构建的学习数据集检测车辆的过程的示意图。
图6是用于说明根据本发明的一实施例的特征点变化值计算部的示意图。
图7是用于说明根据本发明的一实施例的特征点平均位置计算方法的示意图。
图8是更加具体示出根据本发明的一实施例的车间距离计算部的框图。
图9是用于说明根据本发明的一实施例的车间距离测量方法的示意图。
图10是示出根据本发明的一实施例的第二车辆的影像宽度和第二车辆所处的车道的影像宽度之间的比例的示意图。
图11是用于说明将车辆区域向根据本发明的一实施例的检测的车辆左右边界位置拟合(fitting)的过程的示意图。
图12是用于说明根据本发明的一实施例的第二车辆的大小等级决定过程的概念图。
图13是示出根据本发明的一实施例的车间距离测量方法的流程图。
图14是更加具体示出根据本发明的一实施例的计算特征点变化值的步骤(S150)的流程图。
图15是更加具体示出根据本发明的一实施例的车间距离计算步骤(S160)的流程图。
图16是示出根据本发明的其他实施例的车间距离计算方法的流程图。
图17是示出根据本发明的一实施例的电子设备的框图。
图18是用于说明与根据本发明的一实施例的电子设备连接的***网络的示意图。
图19以及图20是示出根据本发明的一实施例的电子设备的前方车辆冲撞防止提示画面的示意图。
图21是示出根据本发明的一实施例的电子设备不具备拍摄部时的体现形态的示意图。
图22是示出根据本发明的一实施例的电子设备具备拍摄部时的体现形态的示意图。
图23是示出利用根据本发明的一实施例的HUD(平视显示器;Head-Up Display)的体现形态的示意图。
图24是示出根据本发明的一实施例的自动驾驶***的框图。
图25是示出根据本发明的一实施例的自动驾驶车辆的结构的框图。
附图标记:
10:车间距离测量装置,11:影像获取部,12:车辆检测部,13:特征点检测部,14:特征点变化值计算部,15:车间距离计算部
具体实施方式
以下内容仅示例本发明的原理。因此,虽未在本说明书中明确说明或者示出,本领域技术人员可以体现本发明的原理并发明出本发明的概念和范围中包含的多种装置。另外,应明确在原则上,本说明书中举出的所有条件术语以及实施例其意图在于供明确理解本发明的概念,而不是受如上所述特别举出的实施例以及状态的限制。
另外,应理解不仅是本发明的原理、观点以及实施例,而且举出特定实施例的所有详细说明其意图在于包括所述事项的结构以及功能上的均等物。另外,应理解所述均等物不仅包括目前公知的均等物,还包括将来要开发的均等物,即与结构无关而发明为能够执行相同功能的所有元件。
因此,例如,本发明的框图应理解为是示出使本发明的原理具体化的示例性电路的概念性观点。与其相似地,应理解所有流程图、状态转换图、伪代码等示出如下多种流程,即可以实际上显示在计算机可读介质中,而且与是否明确示出计算机或者处理器无关,而由计算机或者处理器执行。
在包含处理器或者作为与其类似概念表示的功能块的附图中示出的多种元件的功能不仅可以通过专用硬件提供,而且针对适当的软件,可以作为具有能够执行软件的能力的硬件提供。当通过处理器提供时,所述功能可以通过单一专用处理器、单一共享处理器或者多个个别处理器提供,其中一部分可以进行共享。
另外,作为处理器、控制或者与其类似的概念提供的术语的明确使用不应解释为排除引用具有可以执行软件的能力的硬件,而是不受限制,应理解为隐含数字信号处理器(DSP)硬件、用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)以及非挥发性存储器。还可以包括周知的其他硬件。
在本说明书的权利要求范围中,作为用于执行具体实施方式中记载的功能的手段示出的构成要素,其意图在于,包括执行所有形式的软件所具有的功能的所有方法,并与用于执行所述软件的适当电路相结合以执行所述功能,所述软件例如包括执行所述功能的电路元件的组合或者固件/微代码等。由所述权利要求范围而定的本发明是使由举出的多种手段提供的功能相结合,并与权利要求所要求的方式相结合,因此能够提供所述功能的任何手段都与从本说明书中掌握到的均等。
上述目的、特征以及有点可以通过附图和与其相关的以下具体实施方式而变得更加明确,而且由此本领域技术人员可以容易实施本发明的技术思想。另外,在说明本发明之际,当判断为对于与本发明相关的公知技术的具体说明可以混淆本发明的要旨时,省略对其的详细说明。
针对本发明的各种实施例进行详细说明之前,定义本发明中使用的名称,可以为如下。
本说明书中,车间距离可以是指现实世界坐标上的距离。其中,车间距离可以是指第一车辆和第二车辆之间的距离,或者更加准确为从设置在第一车辆上的拍摄装置到第二车辆为止的距离。
另外,本说明书中,车辆的宽度可以是指现实世界坐标上的车辆的宽度,或者现实世界坐标上的车辆的幅度。
另外,本说明书中,影像宽度可以是指建立在拍摄装置的拍摄元件的拍摄面上的像的像素宽度。
另外,本说明书中,像素距离可以是指建立在拍摄装置的拍摄元件的拍摄面上的像素之间的距离。
以下,参考附图详细说明本发明的各种实施例。
图2是示出根据本发明的一实施例的车间距离测量装置的框图。图3是更加具体示出根据本发明的一实施例的车间距离测量装置的框图。参考图2以及图3,根据本发明的一实施例的车间距离测量装置10可以包括影像获取部11、车辆检测部12、特征点检测部13、特征点变化值计算部14、车间距离计算部15、提示数据生成部17、行驶控制数据生成部18以及控制部19的全部或者一部分。另外,特征点变化值计算部14可以包括平均像素距离计算部14-1、平均像素距离比例计算部14-2。
其中,车间距离测量装置10可以测量成为距离测量的基准的第一车辆和成为距离测量的对象的第二车辆之间的距离。其中,第一车辆为成为距离测量的基准的车辆,与此不同地,还可以命名为“基准车辆”或者“自己车辆”,第二车辆为成为距离测量的对象的车辆,与此不同地,还可以命名为“对象车辆”。另外,第二车辆为位于第一车辆附近的车辆,可以包括位于第一车辆的前方的前方车辆以及位于第一车辆的后方的后方车辆。
所述车间距离测量装置10可以根据从第一车辆的拍摄装置拍摄的行驶影像是否检测出第二车辆,控制特征点检测以及跟踪功能的活性化,从而计算第一车辆和第二车辆之间的距离。
具体地,第一车辆可以行驶在车道上,在第一车辆的行驶中,可以在第一车辆的前方或者后方首次出现第二车辆。该情况下,车间距离测量装置10可以通过机器学习(Machine Learning)或者深度学习(Deep Learning)从行驶影像检测第二车辆。然后,车间距离测量装置10可以计算通过机器学习或者深度学习检测的第二车辆和第一车辆之间的车间距离。
然而,随着第一车辆和第二车辆之间的距离接近而未拍摄到第二车辆的下端部分,导致通过机器学习或者深度学习从行驶影像未检测出第二车辆时,车间距离测量装置10可以从行驶影像检测特征点跟踪检测的特征点,计算第一车辆和第二车辆之间的距离。具体地,车间距离测量装置10可以在构成行驶影像的多个帧中,选择与未检测出第二车辆的帧之前的检测出第二车辆的帧相对应的第一帧,在经选择的第一帧内的第二车辆区域检测第一特征点跟踪检测的第一特征点,检测与目前帧相对应的第二帧内的第二特征点,计算第一特征点和所述第二特征点之间的特征点变化值,基于计算的特征点变化值,计算从第一车辆的拍摄装置到第二车辆为止的距离。
即,将根据本发明的车间距离测量装置10的动作按照步骤顺序进行说明的话,可以为,第一步骤为在第一车辆前方首次出现第二车辆,第二步骤为车间距离测量装置10通过机器学习或者深度学习从行驶影像检测第二车辆,计算检测的第二车辆和第一车辆之间的车间距离,第三步骤为车间距离测量装置10通过机器学习或者深度学习从行驶影像未检测出第二车辆,则从行驶影像通过特征点检测以及跟踪,计算第二车辆和第一车辆之间的车间距离。
所述车间距离测量装置10可以由软件、硬件或者其组合来体现。作为一例,根据硬件性体现,可以由ASICs(专用集成电路;application specific integrated circuits)、DSPs(数字信号处理器;digital signal processors)、DSPDs(数字信号处理设备;digitalsignal processing devices)、PLDs(可编程逻辑电路;programmable logic devices)、FPGAs(现场可编程门阵列;field programmable gate arrays)、处理器(processors)、控制器(controllers)、微控制器(micro-controllers)、微处理器(micro-processors)、其他用于执行功能的电子单元中的至少一个来体现。
以下,为了方便说明,将成为距离测量对象的第二车辆为前方车辆的情况为例子,更加具体说明构成车间距离测量装置10的各个构成模块。
影像获取部11可以获取第一车辆的拍摄装置拍摄的行驶影像。具体地,影像获取部11可以在第一车辆行驶过程中实时获取设置在第一车辆上的拍摄装置拍摄的行驶影像。其中,获取的行驶影像中可以包括按照车线区分的多个车道、由多个车道构成的道路、行驶在道路上的多个车辆。
其中,车线(lane marking)可以是指形成车辆所处的车道(lane)的两侧线(line)。另外,车道(lane)可以是指一车道、二车道、…N车道等由车线形成,并供车辆行驶的道路。
车辆检测部12可以从由影像获取部11获取的行驶影像检测第二车辆。具体地,车辆检测部12可以对于车辆影像通过机器学习(Machine Learning)或者深度学习(DeepLearning)执行学习,从而构建用于车辆检测的学习模型,并通过构建的学习模型检测第二车辆。其中,构建的模型为用于从影像检测车辆的算法或者程序。
然后,用于车辆检测的学习模型可以利用显示车辆检测结果的输出值,学习成为更加进步的模型。作为一例,输出结果错误时,用户可以对输出结果输入响应,车辆检测部12可以基于驾驶员的响应,使用于车辆检测的学习模型学习。
即,根据本发明,可以执行机器学***移(shift)、翻转(rotation)、亮度(brightness)变化、模糊(blur)等因素而显示多种影像,因此可以考虑这些,增强数据。
另外,车辆检测部12在行驶影像中检测到多个车辆时,可以基于行驶状态信息,从检测的多个车辆中选择作为距离测量对象的第二车辆,所述行驶状态信息显示第一车辆是否准确行驶在特定车道上或者在脱离特定车道。
作为一例,当第一车辆在特定车道行驶时,车辆检测部12可以在行驶影像中包含的多个车辆中,选择与第一车辆位于相同车道上的第二车辆,然后检测经选择的第二车辆。
作为其他一例,当第一车辆在脱离特定车道时,车辆检测部12可以在行驶影像中包含的多个车辆中,选择位于脱离车道中的第一车辆的前面所朝向的车道上的第二车辆,然后检测经选择的第二车辆。
一方面,车辆检测部12检测出第二车辆,则车间距离计算部15可以计算检测的第二车辆和第一车辆之间的距离。即,车辆检测部12利用学习模型从行驶影像检测出第二车辆,则可以不激活特征点检测部13以及特征点变化值计算部14的功能,激活车间距离计算部15,计算检测的第二车辆和第一车辆之间的距离。其中,车间距离计算部15可以利用后述的车间距离计算算法,计算第一车辆和检测的第二车辆之间的距离。
然而,随着第一车辆和第二车辆之间的距离接近到不足预定距离而未拍摄到第二车辆的下端部分,导致车辆检测部12通过学习模型从行驶影像未检测出第二车辆时,可以激活特征点检测部13以及特征点变化值计算部14的功能,通过特征点的跟踪跟踪第二车辆,并激活车间距离计算部15,计算第一车辆和第二车辆之间的距离。
针对此,参考图4更加具体说明。
图4是用于说明根据本发明的一实施例的特征点检测以及跟踪过程的示意图。参考图4,当第一车辆21和第二车辆22之间的距离隔开预定距离以上时(22-1),通过第一车辆21的拍摄装置拍摄的行驶影像23-1包括第二车辆下端部分,因此车辆检测部12可以通过由机器学习(Machine Learning)或者深度学习(Deep Learning)构建的学习模型,在行驶影像23-1检测第二车辆影像23-2。
此时,用于车辆检测的学习中所需的数据集可以将根据车辆的种类(Sedan(轿车)、SUV(运动型多用途汽车)、Truck(卡车)、Large car(大型车))收集的车辆后尾图像数据集按照检测距离(近距离、中距离、远距离)进行分类,从而构建学习数据。然后,车辆检测部12可以生成分类器(Classifier),所述分类器是利用基于学习的方法(机器学习(Machine Learning)、深度学习(Deep Learning)等)学习经构建的学习数据来制成的。然后,车辆检测部12可以利用生成的分类器,在行驶影像23-1检测第二车辆影像23-2。
针对所述车辆检测部12的车辆检测动作,参考图5更加具体说明。
图5是用于说明构建用于车辆检测的学习数据集,并利用构建的学习数据集检测车辆的过程的示意图。
参考图5,可以是首先构建车辆学习数据集(Dataset)(S1000),利用构建的车辆学习数据集,选择性地数据学习(S1500)之后,生成用于车辆分类的分类器(classifiter)(S1700)。然后,通过相机1700输入到影像(S1950),则根据本发明的实施例的用于车辆检测的学习***可以通过所述生成的分类器检测车辆(S1900)。
按照各个步骤执行的具体步骤可以如附图右侧所示。
首先,具体说明车辆学习数据集构建步骤(S10000),则是根据本发明的实施例的用于车辆检测的学习***可以获取需要学习的影像(S1010),从学习的影像收获(crop)需要学习的车辆区域(S1030),对于收获的车辆区域中包含的车辆的属性进行注释(annotation)。此时,注释的车辆的属性可以为车辆的种类、影像内车辆的距离等。然后,根据本发明的实施例的用于车辆检测的学习***可以利用所述收获的车辆影像和其属性,生成学习用数据集(S1070)。
说明对选择性的数据集学习步骤(S1500)的具体步骤为如下。根据本发明的实施例的用于车辆检测的学习***可以从构建的数据集提取特征(feature)(S1510)。此时,提取特征的方式可以使用(i)灰度强度(Grayscale intensity)、(ii)RGB颜色信息(Red(红色)、Green(绿色)、Blue(蓝色)(RGB)color information)、(iii)HSV颜色信息(Hue(色度)、Saturation(饱和度)、Value(纯度)(HSV)color information)、(iv)YIQ颜色信息(YIQcolor information)、(v)边缘信息(Edge information)(grayscale(灰度)、binary(二进制)、eroded binary(腐蚀二进制))等方式。根据本发明的实施例的用于车辆检测的学习***利用所提取的特征分类车辆(S1530),加强(enforcement)通过学习(S1550)分类车辆的过程之后,可以生成用于分类车辆的分类器(classifier)(S1700)。
最后,具体说明车辆检测步骤(S1900)为如下。根据本发明的实施例的用于车辆检测的学习***可以从通过相机1700输入的影像(S1950)提取特征(S1920),对提取的特征使用分类器,检测车辆(S1930),输出检测的结果(S1970)。
一方面,若在车辆检测部12检测到第二车辆影像23-2,则车间距离计算部15可以计算检测的第二车辆22和第一车辆21之间的距离。
然而,车辆在行驶中会接触多种行驶环境,当第一车辆21在行驶中与第二车辆22的距离变近时(作为一例,接近到10m以内时)22-2,通过第一车辆21的拍摄装置拍摄的行驶影像不包括第二车辆下端部分,因此车辆检测部12通过由机器学习(Machine Learning)或者深度学习(Deep Learning)构建的学习模型,可能无法检测出第二车辆影像。
如上所述,车辆检测部12从行驶影像未检测出第二车辆影像时,特征点检测部13可以在构成行驶影像的多个帧中,选择与未检测出第二车辆的帧之前的检测到第二车辆的帧相对应的第一帧24-1。然后,特征点检测部13可以利用经选择的第一帧24-1,检测特征点。该情况下,特征点检测部13可以利用未处理关心区域的第一帧24-1检测特征点,或者利用处理关心区域的第一帧24-2检测特征点。作为一例,如图4所示,检测部13可以在第一帧24-1将第二车辆区域设定为关心区域,生成处理关心区域的第一帧24-2,在处理关心区域的第一帧24-1检测第一特征点24-3。然后,虽然记载为图4的附图标记24-3仅指代一个点,然而第一特征点可以是指在处理关心区域的第一帧24-2区分显示的所有点。此时,特征点检测部13可以在处理关心区域的第一帧24-2的第二车辆区域,将车辆中间区域设定为关心区域,在设定的关心区域检测第一特征点24-3。其中,车辆中间区域可以包括形成在车辆后面的车牌区域,包括从所述车牌区域隔开预定距离的车辆后保险杠区域以及后备箱区域。
其中,特征点检测部13可以利用Harris角点检测法或者FAST(features-from-accelerated-segment test)角点检测法,检测第一特征点。
然后,特征点检测部13可以跟踪检测的第一特征点24-3,检测与目前帧相对应的第二帧内的第二特征点。该情况下,特征点检测部13可以利用未处理关心区域的第二帧25-1,检测第二特征点,或者特征点检测部13可以利用处理关心区域的第二帧25-2,检测特征点。作为一例,如图4所示,特征点检测部13可以将第二车辆区域设定为关心区域,生成处理关心区域的第二帧25-2,在处理关心区域的第二帧25-2检测第二特征点25-3。然后,虽然记载为图4的附图标记25-3仅指代一个点,然而第二特征点可以是指在处理关心区域的第二帧25-2区分显示的所有点。
此时,特征点检测部13可以利用检测的第一特征点24-3的光流(optical flow)跟踪第二特征点25-3,从而检测处理关心区域的第二帧25-2内的第二特征点25-3。
一方面,特征点检测部13在利用光流跟踪第二特征点25-3时,可以过滤处理关心区域的第二帧25-2内未显示的第二特征点25-3以及与处理关心区域的第二帧25-2内未显示的第二特征点相对应的第一特征点24-3。即,第一车辆21和第二车辆22之间的距离更加接近时,在处理关心区域的第一帧24-2检测到的第一特征点24-3中,与一部分特征点(例如,检测的第一特征点24-3中位于车辆下端的特征点)相对应的第二特征点25-3可以不显示在处理关心区域的第二帧25-2中。由此,特征点检测部13在利用光流跟踪第二特征点25-3时,可以过滤处理关心区域的第二帧25-2内未显示的第二特征点25-3以及与处理关心区域的第二帧25-2内未显示的第二特征点相对应的第一特征点24-3进行去除,从而提高演算执行速度。
一方面,特征点变化值计算部14可以计算第一特征点和第二特征点之间的特征点变化值。其中,特征点变化值计算部14可以包括平均像素距离计算部14-1和平均像素距离比例计算部14-2。针对所述特征点变化值计算部14的动作,参考图6更加具体说明。
图6是用于说明根据本发明的一实施例的特征点变化值计算部的示意图。参考图6,平均像素距离计算部14-1可以计算第一特征点24-3的平均像素位置24-5和将从平均位置到各个第一特征点24-3之间的像素距离平均化的第一平均像素距离。具体地,平均像素距离计算部14-1可以在第一帧24-1的关心区域24-4将第一特征点24-3的像素位置坐标值平均化,计算平均像素位置24-5的坐标值。其中,关心区域24-4可以为车辆中间区域,作为一例,关心区域可以包括形成在车辆后面的车牌区域,包括从所述车牌区域隔开预定距离的车辆后保险杠区域以及后备箱区域。然后,虽然记载为图6的附图标记24-3仅指代一个点,然而第一特征点可以是指在除去附图标记24-5的关心区域24-4区分显示的所有点。
然后,平均像素距离计算部14-1可以将关心区域24-4内的第一特征点24-3的像素位置坐标值平均化,计算平均像素位置24-5的坐标值。
参考图7说明所述平均像素位置计算过程,则作为一例,特征点由以二维平面坐标系为基准,将(x,y)作为像素位置坐标值的第一点、将(x`,y`)作为像素位置坐标值的第二点和将(x``,y``)作为像素位置坐标值的第三点构成时,平均像素距离计算部14-1可以将第一点、第二点以及第三点各自的像素位置坐标值进行算术平均,从而计算平均像素位置坐标值(mx,my)。
一方面,返回到图6,平均像素距离计算部14-1可以计算将从经计算的平均像素位置24-5到各个第一特征点24-3之间的像素距离平均化的第一平均像素距离。其中,第一帧24-1可以为在构成行驶影像的多个帧中,与未检测出第二车辆的帧之前的检测出第二车辆的帧相对应的帧。
另外,平均像素距离计算部14-1可以计算利用光流跟踪的第二特征点25-3的平均像素位置25-5和将从平均像素位置到各个第二特征点25-3之间的像素距离平均化的第二平均像素距离。具体地,平均像素距离计算部14-1可以在第二帧25-1的关心区域25-4将第二特征点25-3的像素位置坐标值平均化,计算平均像素位置25-5的坐标值。其中,图6中用虚线表示的特征点在第一帧24-1的关心区域24-4表示第一特征点24-3的位置。然后,用实线表示的点表示第二特征点25-3,虽然记载为图6的附图标记25-3仅指代一个点,然而第二特征点可以是指在除去附图标记25-5的关心区域25-4区分显示的所有点。
然后,平均像素距离计算部14-1可以设定包括第二特征点25-3的关心区域25-4,将关心区域25-4内的特征点25-3的像素位置坐标值平均化,计算平均像素位置25-5的坐标值。然后,可以计算将从经计算的平均像素位置25-5到各个特征点25-3之间的像素距离平均化的第二平均像素距离。其中,第二帧25-1可以为目前帧。
一方面,根据上述实施例,举例说明了在帧24-1、25-1中将车辆中间区域设定为关心区域24-4、25-4,从而执行特征点检测、跟踪以及平均像素距离计算的情况,然而不限于此。根据本发明的其他实施例,也可以将整个帧24-1、25-1设定为关心区域,执行所述特征点检测、跟踪以及平均距离计算。
一方面,根据上述动作,计算出第一平均像素距离以及第二平均像素距离,则平均像素距离比例计算部14-2可以计算第一平均像素距离和第二平均像素距离之间的平均像素距离比例。具体地,平均像素距离比例计算部14-2可以如以下数学式1所示,将第二平均像素距离除以第一平均像素距离,从而计算平均像素距离比例。
【数学式1】
Figure BDA0002907773650000171
其中,Ratio1可以是指平均像素距离比例,curAvgDist可以是指第二平均像素距离,preAvgDist可以是指第一平均像素距离。
一方面,车间距离计算部15可以计算第一车辆和第二车辆之间的车间距离。具体地,车间距离计算部15可以基于第二车辆的影像宽度、设于第一车辆的拍摄装置的焦点距离以及第二车辆的预测宽度,计算从第一车辆的拍摄装置到第二车辆为止的距离。针对所述车间距离计算部15,参考图8至图12更加具体说明。
一方面,图6中举例说明了利用未处理关心区域的第一帧24-1以及未处理关心区域的第二帧25-1计算特征点变化值的情况,然而本发明不限于此。根据本发明的其他实施例,也可以利用处理关心区域的第一帧24-2以及处理关心区域的第二帧25-2计算特征点变化值。
图8是更加具体示出根据本发明的一实施例的车间距离计算部15的框图。图9是用于说明根据本发明的一实施例的车间距离测量方法的示意图。参考图8以及图9,车间距离计算部15可以包括影像宽度比例计算部15-1、车辆大小等级计算部15-2、车辆宽度计算部15-3、距离计算部15-4。
在第一车辆(未图示)可以设置有拍摄装置50用于拍摄第一车辆的行驶影像。其中,拍摄装置50可以设置在第一车辆上,由在车辆的行驶、泊车等状态下拍摄车辆周围的行车记录仪(Car dash cam)或者车载视频录像机(Car video recorder)等构成。或者,拍摄装置50还可以由形成在导航仪上的相机或者内设于驾驶员的手机设备的相机构成,所述导航仪用于向第一车辆的驾驶员提示路线。
所述拍摄装置50可以包括镜头部51和拍摄元件52,虽未在图6中示出,可以进一步包括镜头部驱动部、光圈、光圈驱动部、拍摄元件控制部以及图像处理器的全部或者一部分。其中,镜头部(lens unit)51可以执行收集光学信号的功能,透过镜头部51的光学信号到达拍摄元件52的拍摄区域光学成像。其中,拍摄元件52可以使用将光学信号转换成电信号的CCD(电荷耦合元件;Charge Coupled Device)、CIS(互补金属氧化物半导体图像传感器Complementary Metal Oxide Semiconductor Image Sensor)或者高速图像传感器等。
一方面,车间距离计算部15可以利用第一车辆的拍摄装置50拍摄的行驶影像,基于以下数学式2计算设置在第一车辆上的拍摄装置50和第二车辆30之间的距离。
【数学式2】
D=W×(f÷w)
其中,D可以是从设置在第一车辆上的拍摄装置到第二车辆为止的距离,W可以是第二车辆的宽度,f可以是拍摄装置的焦点距离(focal length),w可以是第二车辆的影像宽度。
即,从设置在第一车辆上的拍摄装置到第二车辆为止的距离D可以是指现实世界坐标上的从设置在第一车辆上的拍摄装置到第二车辆为止的距离。
然后,第二车辆的宽度W可以是指现实世界坐标上的第二车辆的宽度。
然后,影像宽度可以是指建立在拍摄装置50的拍摄元件52的拍摄面上的第二车辆的像素宽度。其中,第二车辆的影像宽度w可以为与后述的数学式3的Vehicle W相同的值。
一方面,车间距离计算部15首先可以从第一车辆的拍摄装置50获取的行驶影像计算第二车辆30的影像宽度和第二车辆30所处的车道的影像宽度之间的比例,并基于计算的比例,在多个大小等级中决定第二车辆30的大小等级,然后基于所决定的第二车辆的大小等级,计算第二车辆30的宽度W。参考图10更加具体说明所述车间距离计算部15的动作。
图10是示出根据本发明的一实施例的第二车辆的影像宽度和第二车辆所处的车道的影像宽度之间的比例的示意图。如图10所示,在第一车辆的拍摄装置50拍摄的行驶影像45中可以包括在第一车辆的前方行驶中的第二车辆30、所述第二车辆行驶中的车道40、将所述车道40与其他车道进行区分的左侧车线41以及右侧车线42。
该情况下,影像宽度比例计算部15-1可以计算第二车辆30的影像宽度VehicleW。具体地,车辆检测部12利用已经构建的学习模型从行驶影像检测出车辆时,影像宽度比例计算部15-1可以在检测的第二车辆30的影像中识别第二车辆30的左侧边界31和右侧边界32。参考图11更加具体说明所述边界识别。
参考图11,在通过相机获取的图像帧(W X H)81利用学习模型检测出车辆时,可以收获检测的车辆区域82,对于收获区域(w`X h`)83,通过索贝尔(Sobel)演算,检测垂直边缘(vertical edge)84。
然后,可以在检测的垂直边缘计算垂直直方图(histogram)累积值,将最大直方图值所处的点检测为车辆左右边界位置85。
然后,可以将车辆区域向检测的车辆左右边界位置拟合(fitting)86。
一方面,影像宽度比例计算部15-1可以将经识别的左侧边界31和经识别的右侧边界32之间的影像宽度决定为第二车辆的影像宽度VehicleW。
另外,影像宽度比例计算部15-1可以在经获取的行驶影像45中识别第二车辆30行驶中的车道40的左侧车线41和右侧车线42。然后,影像宽度比例计算部15-1可以设定表示第二车辆30的车道内位置的线33。其中,表示第二车辆30的车道内位置的线33可以由在行驶影像45中延长第二车辆30的最下端的线构成。作为一例,可以由延长第二车辆30的左侧车轮下端和右侧车辆下端的线构成。
一方面,可以决定第一支点43和第二支点44,将第一支点43和第二支点44之间的影像宽度决定为第二车辆30所处的车道的影像宽度LaneW,所述第一支点43是表示第二车辆30的车道内位置的线33和左侧车线41相交的支点,所述第二支点44是表示第二车辆30的车道内位置的线33和右侧车线42相交的支点。
一方面,计算第二车辆的影像宽度VehicleW和第二车辆30所处的车道的影像宽度LaneW,则影像宽度比例计算部15-1可以基于以下数学式3计算第二前方车辆的影像宽度和第二车辆所处的车道的影像宽度之间的比例。
【数学式3】
Ratio2=(VehicleW/LaneW)×100
其中,Vehicle W可以是指第二车辆的影像宽度,Lane W可以是指第二车辆所处的车道的影像宽度,Ratio 2可以是指第二前方车辆的影像宽度和第二车辆所处的车道的影像宽度之间的比例。
如上所述,若第一车辆和第二车辆的距离变近,则第二车辆的影像宽度和第二车辆所处的车道的影像宽度会变大,若第一车辆和第二车辆的距离变远,则第二车辆的影像宽度和第二车辆所处的车道的影像宽度会变小。然而,所述比例不受第一车辆和第二车辆之间的距离的影响,而与第二车辆的大小成比例,因此,根据本发明,可以将其作为用于计算第二车辆的大小的指标来使用。
一方面,根据上述示例,若计算出第二车辆的影像宽度和第二车辆所处的车道的影像宽度之间的比例,则车间距离计算部15可以在多个大小等级中决定第二车辆的大小等级。针对此,参考图12更加具体地说明。
图12是用于说明根据本发明的一实施例的第二车辆的大小等级决定过程的概念图。如图12所示,车辆大小等级计算部15-2将比例值划分成多个区间,针对多个区间,可以分别基于匹配有第二车辆的大小等级的临界值表,计算车辆的大小等级。
作为一例,临界值表可以以第一值和第二值为基准,划分为三个区间,当为小于第一值时,可以匹配有与小型车相对应的第一大小等级,当计算的比例大于第一值而小于第二值时,可以匹配有与中型车相对应的第二大小等级,当计算的比例大于第二值时,可以匹配有与大型车相对应的第三大小等级。
该情况下,当比例计算部15-1计算的比例小于第一值时,车辆大小等级计算部15-2可以将第二车辆的大小等级决定为第一大小等级。然后,当影像宽度比例计算部15-1计算的比例大于第一值而小于第二值时,车辆大小等级计算部15-2可以将第二车辆的大小等级决定为第二大小等级。然后,当影像宽度比例计算部15-1计算的比例大于第二值时,车辆大小等级计算部15-2可以将第二车辆的大小等级决定为第三大小等级。作为一例,第一值可以为48%,第二值可以为60%。
车辆宽度计算部15-3可以基于第二车辆的大小等级,决定第二车辆的宽度。具体地,如以下表1所示,存储部可以针对多个大小等级分别存储车辆宽度,该情况下,车辆宽度计算部15-3通过在存储部中事先存储的车辆宽度中,检测与所决定的大小等级相对应的车辆宽度,从而能够决定第二车辆的宽度VehicleW。
【表1】
第一等级大小 第二等级大小 第三等级大小
车辆实际宽度 1500mm 1900mm 2500mm
然后,如上述的数学式2所示,距离计算部15-4可以将拍摄装置50的焦点距离(focal length)f除以第二车辆30的影像宽度w,然后相乘车辆宽度计算部15-3计算的第二车辆30的宽度W,从而能够计算拍摄装置50和第二车辆30之间的距离。
一方面,若计算出拍摄装置50和第二车辆30之间的距离,则距离计算部15-4为了准确计算车辆之间的距离,通过适当补正拍摄装置50和第二车辆30之间的距离值,从而能够计算设置有拍摄装置50的第一车辆和第二车辆30之间的距离值。根据所述本发明,可以减少第一车辆和第二车辆之间的车间距离的误差,从而能够更加准确地测量车间距离。
即,针对从第一车辆隔开相同距离且宽度不同的小型车、中型车、大型车,假设想要使基于上述数学式2计算的各个距离值相同,则需要了解各个车辆的准确的宽度。然而,在现有的影像识别以及检测中,无法确认与所有的车型有关的全部数据,因此,现有技术是不考虑车辆的宽度互不相同的很多车辆(例如,小型车、中型车、大型车)的实际宽度,而通过预设的特定常数值处理车辆宽度来测量车间距离,因此存在经测量的车间距离值不准确的问题。
然而,为了解决所述问题,本发明通过利用前方车辆的影像宽度和车道影像宽度之间的比例来将前方车辆区分为小型车、中型车、大型车,然后基于经区分的结果,根据与小型车、中型车、大型车各自相匹配的平均宽度,测量车间距离,从而能够减少误差,更加准确地测量车间距离。
一方面,如上所述,若计算出第二车辆的预计车辆宽度,则车辆检测部12在检测第二车辆的环境下持续测量第二车辆的影像宽度,从而可以计算第一车辆的拍摄装置和第二车辆之间的距离。
然而,随着第一车辆和第二车辆的距离接近到不足预定距离而未拍摄到第二车辆的下端部分,导致车辆检测部12通过学习模型从行驶影像未检测出第二车辆时,可能无法测量第二车辆的影像宽度。
为此,根据本发明,随着第一车辆和第二车辆的距离接近到不足预定距离而未拍摄到第二车辆的下端部分,导致车辆检测部12通过学***均像素距离比例计算部14-2计算的平均距离比例,预测第二车辆的影像宽度。针对此,再次参考图6进行具体说明。
参考上述图6,第一帧24-1为构成行驶影像的多个帧中,与未检测出第二车辆的帧之前的检测到第二车辆的帧相对应的帧,车辆检测部12可以检测第一帧24-1内的第二车辆30,影像宽度比例计算部15-1可以计算第二车辆的影像宽度24-6。
然而,第二帧25-1作为目前帧,是未检测出第二车辆的帧,因此影像宽度比例计算部15-1可以将第二车辆的影像宽度24-6和平均像素距离比例计算部14-2计算的平均像素距离比例应用到以下数学式4,计算第二帧25-1中的第二车辆的影像宽度的预测值。
【数学式4】
curVehicleW=Ratio1×preVehicleW
其中,curVehicleW可以是指第二帧25-1中的第二车辆的影像宽度,Ratio 1可以是指根据数学式1计算的平均像素距离比例,preVehicleW可以是指第一帧24-1中的第二车辆的影像宽度。
然后,如上述数学式2所示,距离计算部15-4可以将拍摄装置50的焦点距离(focallength)f除以第二帧25-1中的第二车辆30的影像宽度(curVehicleW),然后相乘车辆宽度计算部15-3计算的第二车辆30的宽度W,从而能够计算拍摄装置50和第二车辆30之间的距离。
由此,根据本发明,即便随着第一车辆和第二车辆之间的距离接近而未拍摄到第二车辆的下端部分,导致通过行驶影像无法检测对象车辆,也能通过特征点跟踪,准确测量自己车辆和对象车辆之间的距离。
另外,在本发明的其他实施例中,车间距离计算部15通过计算第一帧24-1中检测到的第二车辆的影像宽度24-6(w)和第二帧25-1中检测到的第二车辆的影像宽度25-6(w)的比例,从而可以监控第二车辆和第一车辆的距离。控制部19可以使用所述车间距离计算部15监控的距离,向驾驶员提供冲撞提醒、自适应巡航控制(Adaptive Cruise Control)之类与车辆的行驶有关的多种功能。
一方面,当车间距离计算部15计算的距离小于预设的距离时,提示数据生成部17可以生成提示数据用于提示与第一车辆和第二车辆之间的距离之差相对应的冲撞危险级别。
另外,行驶控制数据生成部18可以基于车间距离计算部15计算的距离,生成控制数据以控制第一车辆的自动驾驶。
后面基于控制部19,说明所述提示数据生成部17以及行驶控制数据生成部18的动作。
控制部19控制车间距离测量装置10的整体动作。具体地,控制部19可以控制影像获取部11、车辆检测部12、特征点检测部13、特征点变化值计算部14、车间距离计算部15、提示数据生成部17、行驶控制数据生成部18的全部或者一部分。
尤其,控制部19可以控制车辆检测部12从行驶中的第一车辆的拍摄装置拍摄的行驶影像中检测第二车辆,若从行驶影像中未检测出第二车辆,则控制特征点检测部13在构成行驶影像的多个帧中,选择与未检测出第二车辆的帧之前的检测出第二车辆的帧相对应的第一帧,在经选择的第一帧内的所述第二车辆区域检测第一特征点跟踪检测的第一特征点,检测与目前帧相对应的第二帧内的第二特征点,并控制特征点变化值计算部14计算第一特征点和第二特征点之间的特征点变化值,控制车间距离计算部15基于计算的特征点变化值计算从第一车辆的拍摄装置到第二车辆为止的距离。
另外,若获得第一车辆和第二车辆之间的车间距离信息,则控制部19可以控制提示数据生成部17基于该信息生成提示数据以辅助第一车辆驾驶员的安全驾驶。具体地,当车间距离计算部15计算的车间距离小于预设的距离时,提示数据生成部17可以生成用于提示第一车辆和第二车辆之间的距离之差的提示数据。作为一例,由提示数据生成部17生成的提示数据可以是通过语音警告有必要注意车间距离的数据或者是通过图像提示的数据。
作为其他一例,当车间距离计算部15计算的车间距离小于预设的距离时,提示数据生成部17可以生成用于提示与第一车辆和第二车辆之间的距离之差相对应的冲撞危险级别的数据。作为一例,将第一车辆和第二车辆之间的距离之差分为多个级别,当车间距离小于第一值时,可以生成用于提示第一危险级别的数据,当车间距离大于第一值而小于第二值时,可以生成用于提示危险度相比第一危险级别高的第二危险级别的数据,当车间距离大于第二值时,可以生成用于提示危险度相比第二危险级别高的第三危险级别的数据。
一方面,若获得第一车辆和第二车辆之间的车间距离信息,则控制部19可以控制行驶控制数据生成部18基于该信息生成行驶控制数据以控制第一车辆的自动驾驶。具体地,当第一车辆以自动驾驶模式行驶中,且车间距离计算部15计算的车间距离小于预设的距离时,控制部19可以控制行驶控制数据生成部18生成用于控制第一车辆的自动驾驶的行驶控制数据(例如,将第一车辆的速度控制为从目前速度减速到预定速度或者控制为使第一车辆停止的指令数据等)。其中,在行驶控制数据生成部18生成的行驶控制数据可以被传送到统一控制第一车辆的自动驾驶的自动驾驶控制部,第一车辆自动驾驶控制部则可以基于该信息控制第一车辆中设置的各种单元(制动器、方向盘、电动马达、引擎等)以控制第一车辆自动行驶。
以下参考图13至图16更加具体说明根据本发明的一实施例的车间距离测量方法。
图13是示出根据本发明的一实施例的车间距离测量方法的流程图。如图13所示,首先,可以获取行驶中的第一车辆的拍摄装置拍摄的行驶影像(S100)。
然后,可以判断从获取的行驶影像是否检测出第二车辆(S120)。其中,从获取的行驶影像检测第二车辆可以是通过由机器学习(Machine Learning)或者深度学习(DeepLearning)构建的学习模型而执行。
假设从获取的行驶影像检测出第二车辆(S120:Y),则可以计算从第一车辆的拍摄装置到检测的第二车辆为止的距离(S170)。其中,距离计算步骤(S170)可以计算检测的第二车辆的影像宽度和车道的影像宽度之间的影像宽度比例,基于计算的影像宽度比例,决定第二车辆的大小等级,基于决定的第二车辆的大小等级,计算第二车辆的预测宽度,将第二车辆的影像宽度、第一拍摄装置的焦点距离和第二车辆的预测宽度应用到上述数学式2,从而计算从第一车辆的拍摄装置到第二车辆为止的距离。
然而,若从获取的行驶影像未检测出第二车辆(S120:N),则可以在构成行驶影像的多个帧中,选择与未检测出第二车辆的帧之前的检测出第二车辆的帧相对应的第一帧,在经选择的第一帧内的第二车辆区域检测第一特征点(S130)。即,检测第一特征点的步骤(S130)是当随着第一车辆和第二车辆之间的距离接近而通过构建的学习模型未检测出第二车辆时,可以执行检测第二车辆区域的第一特征点的步骤。所述检测第一特征点的步骤(S130)可以在第一帧的第二车辆区域,将车辆中间区域设定为关心区域,在设定的关心区域检测第一特征点。
然后,可以跟踪检测的第一特征点,检测与目前帧相对应的第二帧内的第二特征点(S140)。具体地,检测第二特征点的步骤(S140)可以利用检测的第一特征点的光流(optical flow)跟踪第二特征点,从而检测第二帧内的第二特征点。
另外,根据本发明的一实施例,还可以包括:利用光流跟踪第二特征点时,过滤第二帧内未显示的第二特征点以及与第二帧内未显示的第二特征点相对应的第一特征点的步骤。
然后,可以计算第一特征点和第二特征点之间的特征点变化值(S150)。其中,在后面参考图14说明计算特征点变化值的步骤(S150)。
然后,可以基于计算的特征点变化值,计算从第一车辆的拍摄装置到第二车辆为止的距离(S160)。其中,参考图15更加具体说明计算距离的步骤(S160)。
图14是更加具体示出根据本发明的一实施例的计算特征点变化值的步骤(S150)的流程图。参考图14,可以计算第一特征点的平均像素位置(S210)。然后,计算将从计算的平均像素位置到各个第一特征点之间的像素距离平均化的第一平均像素距离(S220)。具体地,平均像素距离计算部14-1可以将第一特征点的像素位置坐标值平均化,计算平均像素位置的坐标值,计算将计算的评价像素位置和各个第一特征点之间的像素距离平均化的第一平均像素距离。其中,第一帧为在构成行驶影像的多个帧中,与未检测出第二车辆的帧之前的检测出第二车辆的帧相对应的帧,可以为第二帧之前的帧。
然后,可以计算第二特征点的平均像素位置(S230)。然后,可以计算将从计算的平均像素位置到各个第二特征点之间的像素距离平均化的第二平均像素距离(S240)。具体地,平均像素距离计算部14-1可以将第二特征点的像素位置坐标值平均化,计算平均像素位置的坐标值,计算将计算的评价像素位置和各个第二特征点之间的像素距离平均化的第二平均像素距离。其中,第二帧可以为第一帧之后的帧。
然后,可以计算第一平均像素距离和所述第二平均像素距离之间的平均像素距离比例(S250)。具体地,如上述数学式1所示,平均像素距离比例计算部14-2可以将第二平均像素距离除以第一平均像素距离,从而计算平均像素距离比例。
图15是更加具体示出根据本发明的一实施例的车间距离计算步骤(S160)的流程图。参考图15,可以从第一帧检测第二车辆(S310),在第一帧计算第二车辆的影像宽度(S320)。
然后,可以基于第一帧中的第二车辆的影像宽度和平均像素距离比例计算部计算的平均像素距离比例,计算第二帧中的第二车辆的影像宽度的预测值(S330)。即,第二帧为未检测出第二车辆的帧,因此影像宽度比例计算部15-1可以将第二车辆的影像宽度和平均像素距离比例计算部14-2计算的平均像素距离比例应用到上述数学式4中,计算第二帧中的第二车辆的影像宽度的预测值。
然后,可以基于经计算的第二帧内的第二车辆的影像宽度、第一车辆的拍摄装置的焦点距离和第二车辆的预测宽度,计算从第一车辆的拍摄装置到第二车辆为止的距离(S340)。具体地,如上述数学式2所示,距离计算部15-4可以将第一车辆的拍摄装置的焦点距离(focal length)f除以第二帧中的第二车辆的影像宽度(curVehicleW),然后相乘车辆宽度计算部15-3计算的第二车辆30的预测宽度,从而计算第一车辆的拍摄装置和第二车辆之间的距离。
其中,计算第二车辆的预测宽度的过程可以由如下步骤构成,即计算车辆检测部12检测的第二车辆的影像宽度和第二车辆所处的车道的影像宽度之间的影像宽度比例的步骤;基于计算的比例,决定第二车辆的大小等级的步骤;以及基于决定的第二车辆的大小等级,计算第二车辆的预测宽度的步骤。所述第二车辆的预测宽度可以在车辆检测部12检测第二车辆的期间,被事先计算并进行存储。
图16是示出根据本发明的其他实施例的车间距离计算方法的流程图。
参考图16,首先车间距离测量装置10通过影像获取部11输入得到目前帧(第i帧)(S1100)。然后,车间距离测量装置10在所述输入的第i帧使用学习模型检测第二车辆(S1105),假设在所述第i帧存在检测的第二车辆(S1110:N),则计算与使用学习模型检测到的第二车辆之间的距离之后(S1115),存储第i帧和检测的车辆区域(S1120)。此时,所述检测的车辆区域可以设定为四边形(rectangle)形态或者圆形态或者多边形形态,然而不限于此。
然后,若第i帧和检测的车辆区域被存储,则车间距离测量装置10将i更新为i+1(S1125),作为目前帧输入得到第i+1帧。
然而,若在所述S1110步骤中未检测出第二车辆(S1110:Y),则车间距离测量装置10检测前一个帧(第i-1帧)中是否存在经存储的车辆区域(S1130)。然后,在所述S1130中,若第i-1帧中存在经存储的车辆区域(S1130:Y),则车间距离测量装置10在第i-1帧中从车辆区域的关心区域提取第一特征点(S1135),在第i帧提取与所述第i-1帧中提取的第一特征点相对应的第二特征点之后(S1140),利用所述第一特征点的平均像素位置和所述第二特征点的平均像素位置之差,计算与所述第二车辆之间的距离(S1145)。
与此相反地,在所述S1130步骤中,若第i-1帧中不存在经存储的车辆区域(S1130:N),则车间距离测量装置10判断为之前不存在第二车辆,输入得到从影像获取部11获取的新的目前帧(S1125)。
一方面,所述车间距离测量装置10可以由为了辅助驾驶员的驾驶而输出各种提示信息的电子设备的一模块构成,从而能够执行路线提示功能。针对此,参考图15至图17更加详细说明。
图17是示出根据本发明的一实施例的电子设备的框图。如图17所示,电子设备100可以包括存储部110、输入部120、输出部130、车间距离测量部140、增强现实提供部160、控制部170、通信部180、感应部190、电源部195的全部或者一部分。
其中,电子设备100可以由可以向车辆的驾驶员提供与驾驶相关的提示的智能手机、平板电脑、笔记本电脑、PDA(个人数码助理;personal digital assistant)、PMP(便携式多媒体播放器;portable multimedia player)、智能眼镜、谷歌眼镜、导航仪(navigation)、车辆用影像拍摄装置的行车记录仪(Car dash cam)或者车载视频录像机(Car video recorder)等多种装置构成,可以设置在车辆上。
与驾驶相关的提示可以包括路线提示、车线脱离提示、车道保持提示、前方车辆出发提示、红绿灯变更提示、前方车辆冲撞防止提示、车道变更提示、车道提示、弯道提示等用于辅助驾驶员的驾驶的多种提示。
其中,路线提示可以包括在拍摄行驶中的车辆的前方的影像中结合用户的位置、方向等各种信息,从而执行路线提示的增强现实路线提示、在2D(二维;2-Dimensional)或者3D(三维;3-Dimensional)的地图数据中结合用户的位置、方向等各种信息,从而执行路线提示的2D或者3D路线提示。
不仅如此,路线提示可以包括在航空地图数据中结合用户的位置、方向等各种信息,从而执行路线提示的航空地图路线提示。其中,路线提示其概念可以解释为,不仅包括用户乘坐在车辆上进行驾驶的情况,还包括用户走路或者跑步移动的情况下的路线提示。
另外,车线脱离提示可以提示行驶中的车辆是否脱离车线。
另外,车道保持提示可以提示车辆回到原来行驶中的车道上。
另外,前方车辆出发提示可以提示位于停车中的车辆的前方的车辆是否出发。其中,前方车辆出发提示可以利用在车间距离测量部140计算的车间距离执行。
另外,红绿灯变更提示可以提示位于停车中的车辆的前方的红绿灯的信号是否发生改变。作为一例,当表示停止信号的红色灯亮起的状态下转变为表示出发信号的绿色灯时,可以提示该情况。
另外,前方车辆冲撞防止提示是当与位于停止或者行驶中的车辆的前方的车辆的距离为一定距离以内时,可以进行提示以防止与前方车辆发生冲撞。其中,前方车辆冲撞防止提示可以是利用在车间距离测量部140计算的车间距离来执行。
另外,车道变更提示可以是为了提示到目的地为止的路线,提示车辆从所处车道向其他车道进行变更。
另外,车道提示可以提示车辆目前所处的车道。
另外,弯道提示可以是一定时间以后车辆所要行驶的道路为弯道的提示。
如可以提供所述多种提示的车辆的前方影像一样,与驾驶相关的影像可以是通过设置在车辆上的相机或者智能手机的相机进行拍摄。其中,相机可以是与设置在车辆上的电子设备100形成为一体,从而拍摄车辆的前方的相机。
作为其他一例,相机可以是与电子设备100独立设置在车辆上,从而拍摄车辆的前方的相机。该情况下,相机可以是朝向车辆的前方设置的另外的车辆用影像拍摄装置,电子设备100与另设的车辆用影像拍摄装置通过有/无线通信输入得到拍摄影像,或者当在电子设备100***有用于存储车辆用影像拍摄装置的拍摄影像的存储介质时,电子设备100可以输入得到拍摄影像。
以下,基于上述内容,更加详细说明根据本发明的一实施例的电子设备100。
存储部110执行用于存储电子设备100动作时所需的各种数据以及应用程序的功能。尤其,存储部110可以存储电子设备100动作时所需的数据,例如OS、路线探索应用程序、地图数据等。另外,存储部110可以存储通过电子设备100的动作生成的数据,例如经探索的路线数据、接收的影像等。
所述存储部110不仅由RAM(随机存取存储器;Random Access Memory)、闪速存储器、ROM(只读存储器;Read Only Memory)、EPROM(可编程只读存储器;ErasableProgrammable ROM)、EEPROM(电可擦只读存储器;Electronically Erasable andProgrammable ROM)、寄存器、硬盘、可移动磁盘、记忆卡、USIM(全球用户识别卡;UniversalSubscriber Identity Module)等内存形态的存储元件,还可以由USB存储器等可拆装形态的存储元件构成。
输入部120执行将从电子设备100的外部的物理输入转换为特定的电信号的功能。其中,输入部120可以包括用户输入部121和麦克风部123的全部或者一部分。
用户输入部121可以接收触摸、推动动作等用户输入。其中,用户输入部121可以由多种按钮的形态、接收触摸输入的触摸传感器、接收所靠近的动作的靠近传感器中的至少一个构成。
麦克风部123可以接收用户的语音以及在车辆的内外部产生的声音。
输出部130是通过影像以及/或者语音向用户输出电子设备100的数据的装置。其中,输出部130可以包括显示部131和音频输出部133的全部或者一部分。
显示部131是向用户输出可视觉识别的数据的装置。显示部131可以由设置在电子设备100的壳体前面的显示部构成。另外,显示部131可以与电子设备100形成为一体,从而输出视觉识别数据,也如HUD,与电子设备100独立设置,从而输出视觉识别数据。
音频输出部133是给用户输出可听觉识别的数据的装置。音频输出部133可以由将向电子设备100的用户告知的数据用声音表示的扬声器构成。
车间距离测量部140可以执行上述车间距离测量装置10的功能。
增强现实提供部160可以提供增强现实视野模式。其中,增强现实可以是向呈现用户实际看到的现实世界的画面上视觉重叠附加信息(例如,表示兴趣点(Point OfInterest:POI)的图形要素、提示前方车辆冲撞危险的图形要素、表示车辆间距离的图形要素、提示弯道的图形要素、有助于驾驶员的安全驾驶的多种附加信息等)来提供的方法。
所述增强现实提供部160可以包括校准部、3D空间生成部、对象生成部、映射部的全部或者一部分。
校准部为了从相机拍摄的拍摄影像中推测出属于相机的相机参数而可以执行校准(Calibration)。其中,相机参数作为构成相机矩阵的参数,可以包括相机外部参数(extrinsic parameters)、相机内部参数(intrinsic parameters),所述相机矩阵是表示实拍空间建立在照片中的关系的信息。
3D空间生成部可以基于相机拍摄的拍摄影像,生成虚拟3D空间。具体地,3D空间生成部可以在2D的拍摄影像中应用校准部推测的相机参数,从而生成虚拟3D空间。
对象生成部可以在增强现实上生成用于提示的对象,例如,前方车辆冲撞防止提示对象、路线提示对象、车道变更提示对象、车线脱离提示对象、弯道提示对象等。
映射部可以向在3D空间生成部生成的虚拟3D空间映射在对象生成部生成的对象。具体地,映射部可以决定对象生成部中生成的对象在虚拟3D空间中的位置,并在所决定的位置映射对象。
一方面,通信部180可以是为了使电子设备100与其他设备进行通信而设置的。通信部180可以包括位置数据部181、无线网络部183、广播收发部185、移动通信部186、近距离通信部187、有线通信部189的全部或者一部分。
位置数据部181是通过GNSS(全球导航卫星***;Global Navigation SatelliteSystem)获取位置数据的装置。GNSS是指利用从人工卫星接收的电波信号,能够计算接收终端的位置的导航***。作为GNSS的具体例子,根据其运营主体,可以为GPS(全球定位***;Global Positioning System)、Galileo(伽利略)、GLONASS(格洛纳斯***;GlobalOrbiting Navigational Satellite System)、COMPASS(指南针)、IRNSS(印度区域导航卫星***;Indian Regional Navigational Satellite System)、QZSS(准天顶卫星***;Quasi-Zenith Satellite System)。根据本发明的一实施例的***的位置数据部181可以接收在使用电子设备100的地区服务的GNSS信号,获取位置数据。或者,位置数据部181除了GNSS之外,还可以通过与基站或者AP(接入点;Access Point)的通信,获取位置数据。
无线网络部183是与无线网络连接来获取数据或者收发数据的装置。无线网络部183可以通过多种通信协议与网络连接,所述通信协议被定义为收发WLAN(无线局域网;Wireless LAN)、Wibro(无线宽带;Wireless broadband)、Wimax(全球微波接入互操作性;World interoperability for microwave access)、HSDPA(高速下行分组接入;HighSpeed Downlink Packet Access)的无线数据。
广播收发部185是通过各种广播***收发广播信号的装置。可以通过广播收发部185收发的广播***,可以为DMBT(开路数字电视;Digital Multimedia BroadcastingTerrestrial)、DMBS(数字多媒体广播卫星;Digital Multimedia BroadcastingSatellite)、MediaFLO(前向链路;Media Forward Link Only)、DVBH(手持数字视频广播;Digital Video Broadcast Handheld)、ISDBT(综合服务数字广播地面;IntegratedServices Digital Broadcast Terrestrial)等。通过广播收发部185收发的广播信号可以包括交通数据、生活数据等。
移动通信部186可以根据3G(第三代移动通信技术;3rd Generation)、3GPP(第三代合作伙伴项目;3rd Generation Partnership Project)、LTE(长期演进;Long TermEvolution)等多种移动通信规格,与移动通信网连接,从而进行语音以及数据通信。
近距离通信部187是用于进行近距离通信的装置。如上所述,近距离通信部187可以通过蓝牙(Bluetooth)、RFID(无线射频识别;Radio Frequency Identification)、红外线通信(IrDA,Infrared Data Association)、UWB(超宽频;Ultra WideBand)、ZigBee(无线个域网)、NFC(近场通信;Near Field Communication),Wi-Fi(Wireless-Fidelity)等进行通信。
有线通信部189是可以将电子设备100与其他设备进行有线连接的界面装置。有线通信部189可以是通过USB接口(Port)进行通信的USB模块。
所述通信部180可以利用位置数据部181、无线网络部183、广播收发部185、移动通信部186、近距离通信部187、有线通信部189中的至少一个与其他设备进行通信。
作为一例,当电子设备100不包含相机功能时,可以利用近距离通信部187、有线通信部189中的至少一个收发行车记录仪或者车载视频录像机等车辆用影像拍摄装置拍摄的影像。
作为其他一例,当与多个设备进行通信时,可以是一个通过近距离通信部187进行通信,其他一个是通过有线通信部189进行通信。
感应部190是可以感应电子设备100的目前状态的装置。感应部190可以包括动作感应部191和光感应部193的全部或者一部分。
动作感应部191可以感应电子设备100的3D空间上的运动。动作感应部191可以包括3轴地磁气传感器以及3轴加速度传感器。通过将由动作感应部191获取的运动数据与由位置数据部181获取的位置数据进行结合,从而能够更加准确地计算设置有电子设备100的车辆的轨迹。
光感应部193是检测电子设备100的周围照度(illuminance)的装置。可以通过由光感应部193获取的照度数据,改变显示部131的亮度以与周围亮度相对应。
电源部195是为了电子设备100的动作或者与电子设备100连接的其他设备的动作而提供所需电源的装置。电源部195可以是内设在电子设备100的电池或者从车辆等的外部电源供应得到电源的装置。另外,电源部195可以根据供应得到电源的形态,由有线通信模块119构成,或者由通过无线供应得到的装置构成。
控制部170控制电子设备100的整体动作。具体地,控制部170可以控制存储部110、输入部120、输出部130、车间距离测量部140、增强现实提供部160、通信部180、感应部190、电源部195的全部或者一部分。
具体地,控制部170可以控制输出部130根据在车间距离测量部140计算的车间距离输出前方车辆冲撞提醒或者前方车辆出发提醒。作为一例,输出部130可以包括:显示部131,将经拍摄的行驶影像与提示对象进行结合,从而输出增强现实图像。该情况下,控制部170可以控制显示部131生成用于前方车辆冲撞提醒或者前方车辆出发提醒的提示对象,并将经生成的提示对象与增强现实图像的前方车辆显示区域重叠显示。
假设执行前方车辆冲撞提醒时,出现的提示对象可以根据与第一车辆和第二车辆之间的距离之差相对应的冲撞危险级别,表示互相不同的提示对象。作为一例,将第一车辆和第二车辆之间的距离之差分为多个级别,当车间距离小于第一值时,可以表示用于提示第一危险级别的提示对象,当车间距离大于第一值而小于第二值时,可以表示用于提示危险度相比第一危险级别高的第二危险级别的提示对象,当车间距离大于第二值时,可以表示用于提示危险度相比第二危险级别高的第三危险级别的提示对象。
或者,执行前方车辆出发提醒时,出现的提示对象可以根据与第一车辆和第二车辆之间的距离之差相对应的出发请求级别,表示互相不同的提示对象。作为一例,将第一车辆和第二车辆之间的距离之差分为多个级别,当车间距离小于第一值时,可以表示用于提示第一出发请求级别的提示对象,当车间距离大于第一值而小于第二值时,可以表示用于提示相比第一出发请求级别需要更快的出发的第二出发请求级别的提示对象,当车间距离大于第二值时,可以表示用于提示相比第二出发请求级别需要更快的出发的第三出发请求级别的提示对象。
图18是用于说明与根据本发明的一实施例的电子设备连接的***网络的示意图。如图18所示,根据本发明的一实施例的电子设备100可以由导航仪、车辆用影像拍摄装置、智能手机或者其他车辆用增强现实界面提供装置等设置在车辆上的各种装置构成,可以与多种通信网以及其他电子设备61至64连接。
另外,电子设备100可以根据从人工卫星70接收的电波信号与GPS模块联动,从而能够计算目前的位置以及目前的时间。
各个人工卫星70可以发送频带不同的L波段频率。电子设备100可以基于从各个人工卫星70发送的L波段频率到达电子设备100为止所消耗的时间,计算目前位置。
一方面,电子设备100可以通过通信部180,并通过控制站(ACR)80、基站(RAS)85、AP(Access Point)等与网络90无线连接。当电子设备100与网络90连接时,也与网络90连接的其他电子设备61、62间接连接,从而能够交换数据。
一方面,电子设备100还可以通过具有通信功能的其他设备63,与网络90间接连接。例如,当电子设备100不具备能够与网络90连接的模块时,可以通过近距离通信模块等,与具有通信功能的其他设备63进行通信。
图19以及图20是示出根据本发明的一实施例的电子设备的前方车辆冲撞防止提示画面的示意图。如图19以及图20所示,电子设备100可以根据自己车辆和前方车辆之间的距离,生成表示车辆冲撞危险的提示对象,并将生成的提示对象通过增强现实进行输出。
作为一例,如图19所示,当自己车辆和前方车辆之间的距离为预定距离以上时,电子设备100可以生成并显示用于提示需要用户注意的状态的注意提示对象1501。
另外,如图20所示,当自己车辆和前方车辆之间的距离接近到预定距离以内而与前方车辆的冲撞危险变高时,电子设备100可以生成并显示用于提示有冲撞危险的危险提示对象1601。
其中,注意提示对象1501和危险提示对象1601由彼此不同的颜色和大小进行区分,从而可以提高驾驶员的辨认性。然后,作为一例,提示对象1501、1601由纹理(texture)图像构成,从而能够通过增强现实表达。
不仅如此,电子设备100也可以将车间距离测量部140计算的自己车辆和前方车辆之间的车间距离数值化,并显示在画面上以供驾驶员更加容易识别与前方车辆之间的距离。作为一例,车间距离测量部140计算自己车辆和前方车辆之间的车间距离,电子设备100可以生成表示车间距离的提示对象1502、1602,并显示在画面上。
另外,电子设备100也可以通过语音输出各种提示。
图21是示出根据本发明的一实施例的电子设备不具备拍摄部时的体现形态的示意图。如图21所示,与电子设备100独立设置的车辆用影像拍摄装置200可以利用有线/无线通信方式构成根据本发明的一实施例的***。
电子设备100可以包括设置在壳体191的前面的显示部131、用户输入部121和麦克风部123。
车辆用影像拍摄装置200可以包括相机222、麦克风224以及粘接部281。
图22是示出根据本发明的一实施例的电子设备具备拍摄部时的体现形态的示意图。如图22所示,当电子设备100包括拍摄部150时,可以是电子设备100的拍摄部150拍摄车辆的前方,用户识别电子设备100的显示部分的装置。由此,可以构成根据本发明的一实施例的***。
图23是示出利用根据本发明的一实施例的HUD(平视显示器;Head-Up Display)的体现形态的示意图。如图23所示,HUD可以与其他设备通过有/无线通信,从而将增强现实提示画面显示在HUD上。
作为一例,增强现实可以是通过利用车辆前窗的HUD或者利用另外的影像输出装置的影像合成等来提供,如上所述,增强现实提供部160可以生成现实影像或者在玻璃上覆盖的界面图像等。由此,可以构成增强现实导航仪或者车辆信息娱乐***等。
一方面,车间距离测量装置10由用于自动驾驶的***的一模块构成,从而能够执行路线提示功能。针对此,参考图24以及图25更加具体说明。
图24是示出根据本发明的一实施例的自动驾驶车辆的结构的框图。如图24所示,根据本实施例的自动驾驶车辆2000可以包括控制装置2100、感应模块2004a、2004b、2004c、2004d、引擎2006以及用户界面2008。
自动驾驶车辆2000可以具备自动驾驶模式或者手动模式。作为一例,可以根据通过用户界面2008接收的用户输入,由手动模式转换为自动驾驶模式,或者由自动驾驶模式转换为手动模式。
车辆2000通过自动驾驶模式运行时,自动驾驶车辆2000可以在控制装置2100的控制下运行。
在本实施例中,控制装置2100可以包括控制器2120、传感器2110、无线通信装置2130、目标检测装置2140,所述控制器2120包括存储器2122和处理器2124。
本实施例中,目标检测装置2140作为用于检测位于车辆2000外部的目标的装置,目标检测装置2140可以检测位于车辆2000外部的目标,根据检测结果生成目标信息。
目标信息可以包括与是否存在目标有关的信息、目标的位置信息、车辆和目标之间的距离信息以及车辆和目标的相对速度信息。
目标可以包括车线、其他车辆、行人、交通信号、光、道路、构造物、减速带、地物、动物等位于车辆2000外部的多种对象。其中,交通信号可以为包括交通信号灯、交通标志牌、道面上画出的图案或者文本的概念。然后,光可以为从其他车辆上的灯生成的光或者从路灯生成的光或者太阳光。
然后,构造物可以是位于道路周围,固定在地面上的物体。例如,构造物可以包括路灯、绿化树、建筑物、电线杆、红绿灯、桥。地物可以包括山、坡等。
所述目标检测装置2140可以包括相机模块。控制器2120可以从相机模块拍摄的外部图像提取对象信息,并使控制器2120处理与此有关的信息。
另外,目标检测装置2140还可以包括用于识别外部环境的成像装置。除了LIDAR(激光雷达)之外,可以利用RADAR(雷达)、GPS(全球定位***)装置、行驶距离测量装置(Odometry)以及其他计算机视觉装置、超声波传感器、红外线传感器,所述装置根据需要,可以选择性或者同时动作,从而进行更加精密的感应。
另外,传感器2110可以与用于感应车辆内部/外部环境的感应模块2004a、2004b、2004c、2004d进行连接,从而获取各种感应信息。其中,传感器2110可以包括姿势传感器(例如,横摆传感器(yaw sensor)、滚动传感器(roll sensor)、俯仰传感器(pitch sensor))、冲撞传感器、车轮传感器(wheel sensor)、速度传感器、倾斜传感器、重量感应传感器、航向传感器(heading sensor)、陀螺仪传感器(gyro sensor)、定位模块(position module)、车辆前进/后退传感器、电池传感器、燃料传感器、轮胎传感器、由方向盘旋转的转向传感器、车辆内部温度传感器、车辆内部湿度传感器、超声波传感器、照度传感器、加速踏板定位传感器、制动踏板定位传感器等。
由此,传感器2110可以获取与车辆姿势信息、车辆冲撞信息、车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆倾斜度信息、车辆前进/后退信息、电池信息、燃料信息、轮胎信息、车灯信息、车辆内部温度信息、车辆内部湿度信息、方向盘旋转角度、车辆外部照度、向加速踏板施加的压力、向制动踏板施加的压力等有关的感应信号。
另外,除此之外,传感器2110还可以包括加速踏板传感器、压力传感器、引擎转速传感器(engine speed sensor)、空气流量传感器(AFS)、吸气温度传感器(ATS)、水温传感器(WTS)、节流阀位置传感器(TPS)、TDC传感器、曲柄角(CAS)传感器等。
如上所述,传感器2110可以基于感应数据,生成车辆状态信息。
无线通信装置2130是为了体现与自动驾驶车辆2000之间的无线通信而形成的。例如,可以使自动驾驶车辆2000与用户的智能手机或者其他无线通信装置2130、其他车辆、中央装置(交通控制装置)、服务器等进行通信。无线通信装置2130可以根据连接无线协议收发无线信号。无线通信协议可以是Wi-Fi、蓝牙(Bluetooth)、Long-Term Evolution(长期演进;LTE)、Code Division Multiple Access(码分多址;CDMA)、Wideband Code DivisionMultiple Access(宽带码分多址;WCDMA)、Global Systems for Mobile Communications(全球移动通信***;GSM),通信协议并不受此限定。
另外,在本实施例中,自动驾驶车辆2000还可以通过无线通信装置2130进行车辆间通信。即,无线通信装置2130可以通过车辆对车辆(V2V)通信(vehicle-to-vehiclecommunication)与道路上的其他车辆以及其他车辆进行通信。自动驾驶车辆2000可以通过车辆间通信收发行驶警告、交通信息等信息,还可以向其他车辆邀请信息或者接收邀请。例如,无线通信装置2130可以通过专用短程通信(DSRC,dedicated short-rangecommunication)装置或者C-V2V(Celluar-V2V)装置进行V2V通信。另外,除了车辆之间的通信之外,还可以通过无线通信装置2130进行车辆和其他事物(例如,行人所携带的电子设备等)之间的通信(V2X,Vehicle to Everything communication)。
在本实施例中,控制器2120作为控制车辆2000内的各个单元的整体动作的单元,可以是车辆的制造公司在制造车辆时进行设置,或者是在制造车辆之后,为了执行自动驾驶的功能而进一步设置。或者,可以包括如下结构,即通过对制造时设置的控制器2120进行升级,从而持续执行附加功能。所述控制器2120也可以被命名为ECU(电子控制单元;Electronic Control Unit)。
控制器2120可以从连接的传感器2110、目标检测装置2140、无线通信装置2130等收集各种数据,并基于收集的数据,向包括车辆内其他结构的传感器2110、引擎2006、用户界面2008、无线通信装置2130、目标检测装置2140传送控制信号。另外,虽未图示,也可以向与车辆的行驶有关的加速装置、制动***、转向装置或者导航仪传送控制信号。
在本实施例中,控制器2120可以控制引擎2006,例如,可以感应自动驾驶车辆2000行驶中的道路的限速,控制引擎2006使行驶速度不超过限速,或者控制引起引擎2006使自动驾驶车辆2000的行驶速度在不超过限速范围内进行加速。
另外,控制器2120可以感应自动驾驶车辆2000行驶中与位于前方的车辆之间的距离,控制引擎2006根据车间距离控制车速。具体地,自动驾驶车辆2000上可以安装有根据本发明的一实施例的车间距离测量装置10,车间距离测量装置10可以测量车辆1000和对象车辆之间的距离,可以将测量的车间距离值传送至控制器2120。
该情况下,控制器2120可以基于由车间距离测量装置10获取的车间距离信息,控制车辆2000的减速、加速以及定速,从而控制车辆的自动驾驶。具体地,当获取的车间距离小于预设的距离时,控制器2120可以控制车辆2000上的各种单元(制动器、方向盘等)以控制车辆2000的速度从目前速度减速到预定速度或者使车辆2000停止。即,控制器2120可以基于由车间距离测量装置10获取的车间距离,控制车辆2000的自动驾驶。
另外,根据本发明的又一其他实施例,控制器2120也可以向车辆2000的驱动装置发生指令,控制行驶速度以使由车间距离测量装置10获取的车间距离保持预设的一定距离。
另外,根据本发明的又一其他实施例,当由车间距离测量装置10获取的车间距离大于预设的距离时,控制器2120可以控制车辆2000上的各种单元(制动器、方向盘等)以将车辆2000的速度从目前速度加速到预定速度。即,控制器2120可以基于由车间距离测量装置10获取的车间距离,控制车辆2000的自动驾驶。
所述车间距离测量装置10可以由自动驾驶车辆2000的控制装置2100内的一模块构成。即,可以使控制装置2100的存储器2122和处理器2124通过软件体现根据本发明的车间距离测量方法。
当在车辆的前方存在其他车辆或者障碍物时,可以控制引擎2006或者制动***以使行驶车辆减速,除了车速之外,还可以控制轨迹、行驶路线、转向角。另外,控制器2120可以根据车辆的行驶车线、行驶信号等其他外部环境的识别信息,生成所需的控制信号,从而控制车辆行驶。
控制器2120除了生成自身的控制信号之外,还可以与周围车辆或者中央服务器进行通信,并通过接收的信息,传送用于控制周围装置的指令,从而可以控制车辆行驶。
另外,当相机模块2150的位置发生改变或者拍摄角度发生改变时,可能根据本实施例难以准确识别车辆或者车线,因此为了防止该情况,控制器2120也可以生成控制信号以控制执行相机模块2150的校准(calibration)。因此,在本实施例中,控制器2120通过向相机模块2150产生校准控制信号,从而即便因自动驾驶车辆2000的移动而产生振动或者冲击等,导致相机模块2150的安装位置发生改变,相机模块2150也能持续保持正常的安装位置、方向、拍摄角度等。当事先存储的相机模块2150的最初安装位置、方向、拍摄角度信息和自动驾驶车辆2000的行驶中测量的相机模块2150的最初安装位置、方向、拍摄角度信息等发生改变而成为临界值以上时,控制器2120可以产生控制信号以执行相机模块2150的校准。
在本实施例中,控制器2120可以包括存储器2122和处理器2124。处理器2124可以根据控制器2120的控制信号运行存储在存储器2122中的软件。具体地,控制器2120可以将用于执行根据本发明的车间距离测量方法的数据以及指令存储在存储器2122中,为了实现在此公开的一个以上的方法而由处理器2124执行指令。
此时,存储器2122可以存储在可在非挥发性处理器2124执行的记录介质中。存储器2122可以通过适当的内外部装置存储软件和数据。存储器2122可以由RAM(randomaccess memory)、ROM(read only memory)、硬盘、与适配器连接的存储器2122装置构成。
存储器2122至少可以存储操作***(OS,Operating system)、用户应用程序、可执行指令。存储器2122还可以存储应用数据、排列数据结构。
处理器2124作为微处理器或者适当的电子处理器,可以为控制器、微控制器或者状态机。
处理器2124可以由计算设备的组合体现,计算设备可以由数字信号处理器、微处理器或者其组合构成。
一方面,自动驾驶车辆2000可以进一步包括用户界面2008,其针对上述控制装置2100,供用户进行输入。用户界面2008可以通过适当的相互作用供用户输入信息。例如,可以由触摸屏、键盘、操作按钮等构成。用户界面2008可以向控制器2120传送输入或者指令,控制器2120作为对输入或者指令的响应,可以控制车辆的动作。
另外,用户界面2008可以使自动驾驶车辆2000外部的装置与自动驾驶车辆2000通过无线通信装置2130进行通信。例如,用户界面2008可以与智能手机、平板电脑或者其他计算机设备进行连动。
进一步地,在本实施例中说明了自动驾驶车辆2000包括引擎2006,然而还可以包括其他类型的推进***。例如,车辆可以通过电能运行,可以通过氢能或者组合其的混合***运行。因此,控制器2120可以包括基于自动驾驶车辆2000的推进***的推进机制,然后向各个推进机制结构提供基于此的控制信号。
以下,参考图25更加详细说明根据本实施例的用于执行根据本发明的车间距离测量方法的控制装置2100的具体结构。
控制装置2100包括处理器2124。处理器2124可以是常用单一或者多种芯片微处理器、专用微处理器、微控制器、可编程门阵列等。处理器也可以被称为中央处理器(CPU)。另外,在本实施例中,处理器2124还可以由多个处理器的组合来使用。
控制装置2100还包括存储器2122。存储器2122还可以是能够存储电子信息的任意的电子元件。存储器2122也是除了单一存储器之外,还可以包括存储器2122的组合。
用于执行根据本发明的车间距离测量方法的数据以及指令2122a也可以存储在存储器2122中。当处理器2124执行指令2122a时,指令2122a和执行指令所需的数据2122b的全部或者一部分还可以被加载2124a、2124b到处理器2124上。
控制装置2100还可以包括允许进行信号收发的发送器2130a、接收器2130b或者收发器2130c。一个以上的天线2132a、2132b还可以与发送器2130a、接收器2130b或者各个收发器2130c进行电连接,还可以进一步包括电线。
控制装置2100还可以包括数字信号处理器(DSP)2170。可以通过DSP2170使车辆快速处理数字信号。
控制装置2100还可以包括通信界面2180。通信界面2180还可以包括用于将其他装置与控制装置2100进行连接的一个以上的界面以及/或者通信模块。通信界面2180可以使用户与控制装置2100相互作用。
控制装置2100的多种结构还可以通过一个以上的总线2190连接为一体,总线2190还可以包括电力总线、控制信号总线、状态信号总线、数据总线等。通过处理器2124的控制,结构可以通过总线2190传递相互信息,并执行所期待的功能。
一方面,为了方便说明,上述实施例中举出计算基准车辆和前方车辆之间的距离的例子进行了说明,然而并不局限于此。根据本发明的车间距离测量方法也可以相同适用在计算基准车辆和后方车辆之间的距离的情况。
一方面,在说明书以及权利要求范围中“第一”、“第二”、“第三”以及“第四”等术语时,假设有记载的话,其是为了区分类似的构成要素之间而使用的,而且并不是一定的,其是为了说明特定顺序或者发生顺序而使用的。与其相同使用的术语应理解为可在适当的环境下进行互换以使此处记载的本发明的实施例例如可以按照未在此处示出或者说明的其他顺序执行。与此相同地,当此处记载为方法包括一系列步骤时,此处公开的该步骤的顺序并不是一定执行该步骤的顺序,可以省略任意的记载的步骤以及/或者在该方法可以追加未在此处记载的任意的其他步骤。例如,在不脱离本发明的权利范围的情况下,第一构成要素可以被命名为第二构成要素,类似地,第二构成要素也可以被命名为第一构成要素。
另外,说明书以及权利要求范围的“左侧”、“右侧”、“前”、“后”、“上部”、“底部”、“在上”、“在下”等术语是为了说明而使用的,并不一定是说明不变的相对位置。与其相同使用的术语应理解为可在适当的环境下进行互换以使此处记载的本发明的实施例例如可以朝未在此处示出或者说明的其他方向动作。此处使用的术语“连接”被定义为是通过电力或者非电力方式直接或者间接连接。此处记载为相互“邻接”的对象根据使用该语句的文章而适当地可以为相互物理接触或者相互邻接或者相互在相同的一般范围或者区域的对象。此处存在的“一实施例中”的语句指代相同的实施例,但并不是一定的。
另外,在说明书以及权利要求范围中“被连接”、“连接的”、“被连结”、“连结的”、“被结合”、“结合的”等表述的多种变形称呼作为包括与其他构成要素直接连接或者通过其他构成要素间接连接的含义而使用。
与此相反地,当涉及到某一构成要素与其他构成要素“直接连接”或者“直接接通”时,应理解为在中间不存在其他构成要素。
另外,对在本说明书中使用的构成要素的接尾词“模块”以及“部”是仅考虑方便撰写说明书而赋予或者混用的,其本身并不具有相互区分的含义或者作用。
另外,本说明书中使用的术语是为了说明实施例而不是用来限定本发明。在文章中未作明确提及时,本说明书中使用的单数形式包括复数形式。本申请中,“构成”或者“包括”等术语不应解释为必须包括说明书中记载的多个构成要素或者多个步骤全部,应解释为也可以不包括其中一部分构成要素或者一部分步骤,或者还可以包括进一步的构成要素或者步骤。
以上针对本发明以其优选实施例为中心进行了说明。通过本说明书公开的所有实施例和条件性示例是本领域技术人员为了使读者方便理解本发明的原理和概念而记载的,本领域技术人员应理解本发明在不脱离本发明的本质上的特性的范围内可以由变形的形态体现。
因此,应在说明的观点而不是限定的观点上考虑公开的实施例。本发明的范围记载在专利权利要求范围而不是所述的说明,而且与其相同范围内的所有不同之处应解释为包含在本发明中。
一方面,上述的根据本发明的多种实施例的车间距离测量方法可以由程序体现并提供给服务器或者设备。由此,各个装置与存储有程序的服务器或者设备连接,从而能够下载所述程序。
另外,上述的根据本发明的多种实施例的方法可以由程序体现,并存储在多种非临时性可读介质(non-transitory computer readable medium)中来提供。非临时性可读介质是指半永久存储数据并通过设备可读取(reading)的介质而不是如寄存器、高速缓存、存储器等短时间内存储数据的介质。具体地,上述的多种应用或者程序可以存储在CD、DVD、硬盘、蓝光盘、USB、记忆卡、ROM等非临时性可读介质来提供。
另外,以上针对本发明的优选实施例进行了示出和说明,然而本发明并不局限于上述特定的实施例,本领域技术人员可以在不脱离权利要求范围所请求的本发明的要旨内进行多种变形实施,不仅如此,该变形实施不应与本发明的技术思想或者前景分开理解。

Claims (27)

1.一种车间距离测量方法,其为利用处理器的车间距离测量方法,其特征在于,包括:
获取行驶中的第一车辆的拍摄装置拍摄的行驶影像的步骤;
从所述获取的行驶影像检测第二车辆的步骤;
若从所述行驶影像未检测出所述第二车辆,则在构成所述行驶影像的多个帧中,从与未检测出所述第二车辆的帧之前的检测出所述第二车辆的帧相对应的第一帧检测所述第二车辆区域的第一特征点的步骤;
跟踪所述检测的第一特征点,检测与目前帧相对应的第二帧内的第二特征点的步骤;
计算所述第一特征点和所述第二特征点之间的特征点变化值的步骤;以及
基于所述计算的特征点变化值,计算从所述第一车辆的拍摄装置到所述第二车辆为止的车间距离的步骤。
2.根据权利要求1所述的车间距离测量方法,其特征在于,检测所述第二车辆的步骤中,通过由对车辆影像的机器学习或者深度学习构建的学习模型检测所述第二车辆。
3.根据权利要求2所述的车间距离测量方法,其特征在于,检测所述第一特征点的步骤中,随着所述第一车辆和所述第二车辆之间的距离接近而通过所述构建的学习模型未检测出所述第二车辆,则执行检测所述第二车辆区域的第一特征点的步骤。
4.根据权利要求1所述的车间距离测量方法,其特征在于,检测所述第一特征点的步骤中,在帧的第二车辆区域将车辆中间区域设定为关心区域,在所述设定的关心区域检测所述第一特征点。
5.根据权利要求1所述的车间距离测量方法,其特征在于,检测所述第二特征点的步骤中,利用所述检测的第一特征点的光流跟踪所述第二特征点,从而检测所述第二帧内的所述第二特征点。
6.根据权利要求5所述的车间距离测量方法,其特征在于,还包括:利用所述光流跟踪所述第二特征点时,过滤所述第二帧内未显示的第二特征点以及与所述第二帧内未显示的第二特征点相对应的第一特征点的步骤。
7.根据权利要求1所述的车间距离测量方法,其特征在于,计算所述特征点变化值的步骤,包括:
计算所述第一特征点的平均像素位置的步骤;
计算将从所述计算的第一特征点的平均像素位置到各个第一特征点之间的像素距离平均化的第一平均像素距离的步骤;
计算所述第二特征点的平均像素位置的步骤;
计算将从所述计算的第二特征点的平均像素位置到各个第二特征点之间的像素距离平均化的第二平均像素距离的步骤;以及
计算所述第一平均像素距离和所述第二平均像素距离之间的平均像素距离比例的步骤。
8.根据权利要求7所述的车间距离测量方法,其特征在于,计算所述车间距离的步骤包括将所述第一帧内的第二车辆的影像宽度和所述计算的平均像素距离比例相乘,计算所述第二帧内的第二车辆的影像宽度的步骤。
9.根据权利要求8所述的车间距离测量方法,其特征在于,计算所述车间距离的步骤还包括基于所述计算的第二帧内的第二车辆的影像宽度、所述第一拍摄装置的焦点距离和所述第二车辆的预测宽度,计算从所第一车辆的拍摄装置到所述第二车辆为止的车间距离的步骤。
10.根据权利要求9所述的车间距离测量方法,其特征在于,计算所述车间距离的步骤,还包括:
计算所述检测的第二车辆的影像宽度和所述第二车辆所处的车道的影像宽度之间的影像宽度比例的步骤;
基于所述计算的比例,决定所述第二车辆的大小等级的步骤;以及
基于所述决定的第二车辆的大小等级,计算所述第二车辆的预测宽度的步骤。
11.根据权利要求1所述的车间距离测量方法,其特征在于,还包括当所述计算的车间距离小于预设的距离时,生成提示数据用于提示与所述第一车辆和所述第二车辆之间的距离之差相对应的冲撞危险级别的步骤。
12.根据权利要求1所述的车间距离测量方法,其特征在于,还包括基于所述计算的车间距离,生成控制信号用于控制所述第一车辆的自动驾驶的步骤。
13.一种车间距离测量装置,其特征在于,包括:
影像获取部,获取行驶中的第一车辆的拍摄装置拍摄的行驶影像;
车辆检测部,从所述获取的行驶影像检测第二车辆;
特征点检测部,若从所述行驶影像未检测出所述第二车辆,则在构成所述行驶影像的多个帧中,从与未检测出所述第二车辆的帧之前的检测出所述第二车辆的帧相对应的第一帧检测所述第二车辆区域的第一特征点跟踪所述检测的第一特征点,检测与目前帧相对应的第二帧内的第二特征点;
特征点变化值计算部,计算所述第一特征点和所述第二特征点之间的特征点变化值;以及
车间距离计算部,基于所述计算的特征点变化值,计算从所述第一车辆的拍摄装置到所述第二车辆为止的距离。
14.根据权利要求13所述的车间距离测量装置,其特征在于,所述车辆检测部通过由对车辆影像的机器学习或者深度学习构建的学习模型检测所述第二车辆。
15.根据权利要求14所述的车间距离测量装置,其特征在于,当随着所述第一车辆和所述第二车辆之间的距离接近而通过所述构建的学习模型未检测出所述第二车辆时,所述特征点检测部执行对所述第二车辆区域的第一特征点的检测。
16.根据权利要求13所述的车间距离测量装置,其特征在于,所述特征点检测部,在帧的第二车辆区域将车辆中间区域设定为关心区域,在所述设定的关心区域检测所述第一特征点。
17.根据权利要求13所述的车间距离测量装置,其特征在于,所述特征点检测部利用所述检测的第一特征点的光流跟踪所述第二特征点,从而检测所述第二帧内的所述第二特征点。
18.根据权利要求17所述的车间距离测量装置,其特征在于,所述特征点检测部,在利用所述光流跟踪所述第二特征点时,过滤所述第二帧内未显示的第二特征点以及与所述第二帧内未显示的第二特征点相对应的第一特征点。
19.根据权利要求13所述的车间距离测量装置,其特征在于,所述特征点变化值计算部,包括:
平均像素距离计算部,其计算所述第一特征点的平均像素位置,计算将从所述计算的第一特征点的平均像素位置到各个第一特征点之间的像素距离平均化的第一平均像素距离,
计算所述第二特征点的平均像素位置,计算将从所述计算的第二特征点的平均像素位置到各个第二特征点之间的像素距离平均化的第二平均像素距离;以及
比例计算部,计算所述第一平均像素距离和所述第二平均像素距离之间的平均像素距离比例。
20.根据权利要求19所述的车间距离测量装置,其特征在于,所述车间距离计算部将所述第一帧内的第二车辆的影像宽度和所述计算的平均像素距离比相乘,计算所述第二帧内的第二车辆的影像宽度。
21.根据权利要求20所述的车间距离测量装置,其特征在于,所述车间距离计算部基于所述计算的第二帧内的第二车辆的影像宽度、所述第一拍摄装置的焦点距离和所述第二车辆的预测宽度,计算从所第一车辆的拍摄装置到所述第二车辆为止的距离。
22.根据权利要求21所述的车间距离测量装置,其特征在于,所述车间距离计算部计算所述检测的第二车辆的影像宽度和所述第二车辆所处的车道的影像宽度之间的影像宽度比例,基于所述计算的比例,决定所述第二车辆的大小等级,基于所述决定的第二车辆的大小等级,计算所述第二车辆的预测宽度。
23.根据权利要求13所述的车间距离测量装置,其特征在于,还包括提示数据生成部,当所述计算的车间距离小于预设的距离时,所述提示数据生成部生成提示数据用于提示与所述第一车辆和所述第二车辆之间的距离之差相对应的冲撞危险级别。
24.根据权利要求13所述的车间距离测量装置,其特征在于,还包括自动驾驶控制信号生成部,所述自动驾驶控制信号生成部基于所述计算的车间距离生成控制信号用于控制所述第一车辆的自动驾驶。
25.一种电子设备,其为基于车间距离提供用于辅助驾驶员的提示的电子设备,其特征在于,包括:
输出部,输出所述驾驶员可以确认的提示信息;
影像获取部,获取拍摄装置拍摄的行驶影像;
车辆检测部,从所述获取的行驶影像检测第二车辆;
特征点检测部,若从所述行驶影像未检测出所述第二车辆,则在构成所述行驶影像的多个帧中,从与未检测出所述第二车辆的帧之前的检测出所述第二车辆的帧相对应的第一帧检测所述第二车辆区域的第一特征点跟踪所述检测的第一特征点,检测与目前帧相对应的第二帧内的第二特征点;
特征点变化值计算部,计算所述第一特征点和所述第二特征点之间的特征点变化值;
车间距离计算部,基于所述计算的特征点变化值,计算从所述第一车辆的拍摄装置到所述第二车辆为止的车间距离;以及
控制部,控制所述输出部根据所述计算的距离输出前方车辆冲撞提醒或者前方车辆出发提醒。
26.根据权利要求25所述的电子设备,其特征在于,所述输出部进一步包括显示部,所述显示部将所述拍摄的行驶影像与提示对象进行结合,从而输出增强现实图像,
所述控制部控制所述显示部生成用于所述前方车辆冲撞提醒的提示对象,并将所述生成的用于前方车辆冲撞提醒的提示对象与所述增强现实图像的前方车辆显示区域重叠显示。
27.一种计算机可读记录介质,其特征在于,其记录有用于执行权利要求1至权利要求13中任一项所述的车间距离测量方法的程序。
CN202110076340.2A 2020-01-21 2021-01-20 车间距离测量方法、车间距离测量装置、电子设备、计算机程序以及计算机可读记录介质 Active CN113212498B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310569809.5A CN116588092A (zh) 2020-01-21 2021-01-20 车间距离测量方法、车间距离测量装置、电子设备、计算机程序以及计算机可读记录介质

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2020-0007865 2020-01-21
KR20200007865 2020-01-21
KR1020210006462A KR20210094475A (ko) 2020-01-21 2021-01-18 차량 영상 기반의 차간 거리 측정 방법, 차간 거리 측정 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
KR10-2021-0006462 2021-01-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310569809.5A Division CN116588092A (zh) 2020-01-21 2021-01-20 车间距离测量方法、车间距离测量装置、电子设备、计算机程序以及计算机可读记录介质

Publications (2)

Publication Number Publication Date
CN113212498A true CN113212498A (zh) 2021-08-06
CN113212498B CN113212498B (zh) 2023-08-04

Family

ID=74194544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110076340.2A Active CN113212498B (zh) 2020-01-21 2021-01-20 车间距离测量方法、车间距离测量装置、电子设备、计算机程序以及计算机可读记录介质

Country Status (3)

Country Link
US (1) US11680813B2 (zh)
EP (1) EP3855409A1 (zh)
CN (1) CN113212498B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102622169B1 (ko) * 2018-12-06 2024-01-08 팅크웨어(주) 주행 영상을 이용하여 차간 거리를 측정하는 차간 거리 측정 방법, 차간 거리 측정 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
KR20210017525A (ko) * 2019-08-08 2021-02-17 삼성전자주식회사 거리 추정 장치 및 이의 동작 방법
CN112735182B (zh) * 2019-10-11 2022-08-16 深圳富泰宏精密工业有限公司 行车安全提示方法、车辆
USD956067S1 (en) * 2019-12-17 2022-06-28 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
JPWO2021186853A1 (zh) * 2020-03-19 2021-09-23
USD1036453S1 (en) * 2020-08-27 2024-07-23 Mobileye Vision Technologies Ltd. Display screen with graphical user interface
KR20220037531A (ko) * 2020-09-17 2022-03-25 현대자동차주식회사 차량 및 그 제어방법
CN114572240B (zh) * 2020-11-30 2023-11-14 北京百度网讯科技有限公司 车辆行驶控制方法、装置、车辆、电子设备及存储介质
US11794766B2 (en) * 2021-10-14 2023-10-24 Huawei Technologies Co., Ltd. Systems and methods for prediction-based driver assistance
US11989949B1 (en) * 2023-03-31 2024-05-21 Geotab Inc. Systems for detecting vehicle following distance

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1834583A (zh) * 2005-03-09 2006-09-20 三菱自动车工业株式会社 车辆周边监视装置
CN101029823A (zh) * 2006-02-28 2007-09-05 沈阳东软软件股份有限公司 基于车辆状态分类的车辆跟踪方法和装置
CN101399969A (zh) * 2007-09-28 2009-04-01 三星电子株式会社 基于运动相机的运动目标检测与跟踪的***、设备和方法
JP2011022995A (ja) * 2009-06-16 2011-02-03 Nippon Soken Inc 消失点推定装置およびプログラム
DE102013022050A1 (de) * 2013-12-23 2015-06-25 Valeo Schalter Und Sensoren Gmbh Verfahren zum Verfolgen eines Zielfahrzeugs, insbesondere eines Motorrads, mittels eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
CN109532662A (zh) * 2018-11-30 2019-03-29 广州鹰瞰信息科技有限公司 一种车距及碰撞时间计算方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5418427B2 (ja) 2010-07-09 2014-02-19 アイシン精機株式会社 衝突時間算出装置、衝突時間算出方法及びプログラム
JP6569385B2 (ja) 2015-08-20 2019-09-04 株式会社Jvcケンウッド 車両検出装置、車両検出システム、車両検出方法、及び車両検出プログラム
US20180068459A1 (en) * 2016-09-08 2018-03-08 Ford Global Technologies, Llc Object Distance Estimation Using Data From A Single Camera
KR102376839B1 (ko) 2017-05-22 2022-03-18 쇼와 덴코 가부시키가이샤 할로겐화 아연 수용액의 제조 방법
WO2019221319A1 (ko) 2018-05-18 2019-11-21 포항공과대학교 산학협력단 경피 투과형 약물 전달 패치 및 이의 제조 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1834583A (zh) * 2005-03-09 2006-09-20 三菱自动车工业株式会社 车辆周边监视装置
CN101029823A (zh) * 2006-02-28 2007-09-05 沈阳东软软件股份有限公司 基于车辆状态分类的车辆跟踪方法和装置
CN101399969A (zh) * 2007-09-28 2009-04-01 三星电子株式会社 基于运动相机的运动目标检测与跟踪的***、设备和方法
JP2011022995A (ja) * 2009-06-16 2011-02-03 Nippon Soken Inc 消失点推定装置およびプログラム
DE102013022050A1 (de) * 2013-12-23 2015-06-25 Valeo Schalter Und Sensoren Gmbh Verfahren zum Verfolgen eines Zielfahrzeugs, insbesondere eines Motorrads, mittels eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
CN109532662A (zh) * 2018-11-30 2019-03-29 广州鹰瞰信息科技有限公司 一种车距及碰撞时间计算方法及装置

Also Published As

Publication number Publication date
CN113212498B (zh) 2023-08-04
EP3855409A1 (en) 2021-07-28
US11680813B2 (en) 2023-06-20
US20210224560A1 (en) 2021-07-22

Similar Documents

Publication Publication Date Title
CN113212498B (zh) 车间距离测量方法、车间距离测量装置、电子设备、计算机程序以及计算机可读记录介质
US11814063B2 (en) Method, apparatus, electronic device, computer program and computer readable recording medium for measuring inter-vehicle distance using driving image
CN111284487B (zh) 车道线显示方法以及执行该方法的电子设备
US20240127601A1 (en) Method for detecting vehicle and device for executing the same
US11828615B2 (en) AR processing device, augmented reality-based route guidance method and electronic device
US11227493B2 (en) Road speed limit identification method, road speed limit identification apparatus, electronic apparatus, computer program, and computer readable recording medium
US11727693B2 (en) Method, apparatus, electronic device, computer program and computer-readable recording medium for detecting lane marking based on vehicle image
US12002355B2 (en) Method for guiding path by extracting guiding information in lane and electronic device for executing the method
KR102077575B1 (ko) 차량 운전 보조 장치 및 차량
US20220335728A1 (en) Electronic device, method, and computer readable storage medium for detection of vehicle appearance
US12031834B2 (en) Method, apparatus, electronic device, computer program, and computer readable recording medium for measuring inter-vehicle distance based on vehicle image
KR20200070100A (ko) 차량 검출 방법 및 이를 수행하는 전자 기기
KR20210100777A (ko) 차량의 위치를 결정하는 장치 및 그의 동작 방법
KR20220018425A (ko) 증강 현실 처리 장치, 증강현실 기반 경로 안내 방법 및 전자 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant