CN104601942A - 停车区域跟踪装置及其方法 - Google Patents

停车区域跟踪装置及其方法 Download PDF

Info

Publication number
CN104601942A
CN104601942A CN201410049681.0A CN201410049681A CN104601942A CN 104601942 A CN104601942 A CN 104601942A CN 201410049681 A CN201410049681 A CN 201410049681A CN 104601942 A CN104601942 A CN 104601942A
Authority
CN
China
Prior art keywords
parking area
pillar
vertical view
template
edge pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410049681.0A
Other languages
English (en)
Other versions
CN104601942B (zh
Inventor
柳成淑
蒋裕珍
崔在燮
尹大仲
徐在逵
郑昊基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanyang Hak Won Co Ltd
Hyundai Motor Co
Kia Corp
Original Assignee
Hanyang Hak Won Co Ltd
Hyundai Motor Co
Kia Motors Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hanyang Hak Won Co Ltd, Hyundai Motor Co, Kia Motors Corp filed Critical Hanyang Hak Won Co Ltd
Publication of CN104601942A publication Critical patent/CN104601942A/zh
Application granted granted Critical
Publication of CN104601942B publication Critical patent/CN104601942B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06Automatic manoeuvring for parking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了停车区域跟踪装置及其方法。其中,该停车区域跟踪方法包括:通过获取车辆的周围事物创建俯视图;通过检测俯视图中的停车区域设置模板;检测俯视图中柱子的位置;从设置模板的停车区域中检测由柱石阻挡的区域;以及根据阻挡的区域改变模板的形状。一种停车区域跟踪装置包括:成像单元,具有用于记录车辆周围的图像的多个摄像机;以及控制单元,用于执行停车区域跟踪方法的步骤。

Description

停车区域跟踪装置及其方法
相关申请的交叉引用
本申请基于并要求于2013年10月30日向韩国知识产权局提交的韩国专利申请第10-2013-0130125号的优先权,通过引用将其全部结合于本文中。
技术领域
本发明涉及停车区域跟踪装置及其方法,并且更特别地,涉及能够检测并且追踪车辆周围的停车区域以便通知其驾驶员的停车区域跟踪装置及方法。
背景技术
通常,坐在车内的驾驶员的视野主要向前看。因此,驾驶员的左侧和右侧视野以及后方视野是非常受限的,原因在于它们基本上被车身自身阻挡。为了克服这个问题,提供可视性的途径包括补充驾驶员的有限视野的镜子,诸如外反射镜。最近,摄像机方法已用于获取车辆外部的视频图像以将其提供给驾驶员。
例如,存在的***被称为全景式监控影像***(AVM),其具有多个安装在车辆周围的摄像机以便示出360度图像。AVM***合成由多个摄像机获取的车辆周围图像,这些摄像机获取车辆周围区域以便提供俯视图,在俯视图中驾驶员可观察车辆就像他鸟瞰图中向下看车辆一样,从而显示车辆周围的障碍物和停车区域并且消除盲点。
发明内容
在AVM***中检测和追踪停车区域时,如果在俯视图中停车区域被诸如柱子等障碍物阻挡,那么连续追踪会变得不可能。
本发明要实现的一个目的是提供即使停车区域被诸如柱子等障碍物阻挡的情况下也能够连续追踪停车区域的停车区域跟踪装置和停车区域跟踪方法。
在本发明的一个方面中,提供一种停车区域跟踪方法,包括:通过获取车辆的周围事物创建俯视图;通过检测俯视图中的停车区域设置模板;检测俯视图中柱子的位置;从设置模板的停车区域中检测由柱子阻挡的区域;以及根据阻挡的区域改变模板的形状。
柱子的位置的检测可包括:在俯视图中设置柱子检测区域;创建相对于柱子检测区域中的摄像机的位置的每个角度的直线;检测包含在直线中的边缘像素的比例;以及使用边缘像素的比例检测柱子的位置。
检测边缘像素的比例可包括检测包含在直线中的边缘像素之中具有特定方向的边缘像素的比例。
边缘像素的比例的检测可包括通过比较包含在直线中的边缘像素与先前图像检测亮度差大于预定值的边缘像素的比例。
柱子的检测可包括使用由超声波传感器获取的车辆周围的物体的位置信息连同边缘像素的比例。
柱子的检测可包括:根据边缘像素的比例选取候选柱子;通过比较候选柱子的宽度与由超声波传感器获取的车辆周围的物体的宽度确定第一方向上的柱子的位置;以及关于由超声波传感器获取的车辆距柱子的距离的消息确定第二方向上的柱子的位置。
模板形状的改变可包括:将模板分成多个区域;并且从多个分开的区域中删除超出预定比例的由柱子阻挡的区域。
一种停车区域跟踪装置,可包括:成像单元,包括用于记录车辆周围的图像的多个摄像机;以及控制单元,被配置为将记录的图像转换成车辆的俯视图,通过在俯视图中检测停车区域设置模板,检测俯视图中的柱子的位置,检测设置模板的停车区域中由柱子阻挡的区域,以及根据阻挡的区域改变模板的形状。
此外,停车区域跟踪装置可包括:显示单元,显示俯视图;以及存储单元,存储有关停车区域以及由控制单元检测的柱子的消息。
此外,控制单元可包括:俯视图创建单元,合成车辆周围的图像以创建俯视图;停车区域检测单元,检测由俯视图创建单元创建的俯视图中的停车区域;模板设置单元,针对停车区域检测单元检测的停车区域创建模板;柱子检测单元,检测由俯视图创建单元创建的俯视图中的柱子的位置。
附图说明
结合附图根据以下详细说明,本发明的上述和其他目的、特征及优势将变得更加显而易见,其中:
图1是示出了根据本发明的示例性实施方式的停车区域跟踪装置的配置的框图;
图2是示出了根据本发明示例性实施方式的停车区域跟踪方法的流程图;
图3是示出了根据本发明示例性实施方式的检测停车区域和设置模板的过程的示意性描绘;
图4是示出了根据本发明示例性实施方式的检测柱子的过程的示意性描绘;
图5是示出了根据本发明示例性实施方式的检测边缘像素的过程的示意性描绘;
图6是示出了根据本发明另一示例性实施方式的检测边缘像素的过程的示意性描绘;
图7是示出了根据本发明的另一示例性实施方式的检测边缘像素的过程的示意性描绘;
图8是示出了根据本发明示例性实施方式的检测由柱子阻挡的区域的过程的示图;
图9是示出了根据本发明示例性实施方式的划分模板的实施例的示图;以及
图10是示出了根据本发明示例性实施方式的停车区域跟踪的过程的示意性描绘。
具体实施方式
在下文中,将参照附图详细地描述本发明。
应当理解,本文所使用的术语“车辆(vehicle)”或者“车辆的(vehicular)”或者其他的类似术语包括广义的机动车辆,诸如包括运动型多用途车辆(SUV)、公共汽车、卡车、各种商用车辆的载客车辆,包括各种小船(boat)和船舶(ship)的水运工具(watercraft),航天器等,并且包括混合动力汽车、电动车辆、***式混合电动车辆、氢动力车辆、及其他代用燃料车辆(例如从除石油以外的资源获得的燃料)。如本文中提及,混合车辆是具有两个或更多个动力源的车辆,例如,汽油动力和电动式车辆。
本文所用的术语仅出于描述特定实施方式的目的,而不旨在限制本发明。除非上下文另有明确说明,否则如本文所用的单数形式“一个(a)”、“一个(an)”和“该(the)”也旨在包括复数形式。应进一步理解,术语“包括(comprises)”和/或“包含(comprising)”在本说明书中使用时指定所述的特征、整数、步骤、操作、元件和/或组件的存在,但不排除一个或多个其他特征、整数、步骤、操作、元件、组件和/或其组的存在或添加。如本文所用,术语“和/或(and/or)”包括所关联的列出项目中的一个或多个的任何和所有组合。
图1是示出了根据本发明的示例性实施方式的停车区域跟踪装置的结构的框图。
参照图1,停车区域跟踪装置包括成像单元110、传感单元120、显示单元130、存储单元140、以及控制单元150。
成像单元110捕获车辆周围的周围事物。成像单元110可包括多个摄像机以便记录车辆周围的360度视野。例如,成像单元110可包括分别安装在前方、后方、左侧和右侧的四个摄像机。此外,成像单元110可以实施为大角度摄像机以便减少记录车辆周围的摄像机的数目。
由成像单元110捕获的车辆周围的图像可由控制单元150通过视频处理转变为从上方(即,空中)看车辆的俯视图。成像单元110可连续地记录车辆周围的周围事物以便可连续向驾驶员提供有关车辆周围的周围事物的信息。
传感单元120感测有关车辆情况的信息。传感单元120可包括转向角传感器和车轮转速传感器以感测车辆的行驶距离和方向。此外,传感单元120可包括检测车辆周围的物体的位置的超声波传感器。
显示单元130显示俯视图。此外,显示单元130可显示俯视图中的停车区域以及针对停车区域设置的模板。显示单元130可用各种显示面板来实施,诸如液晶显示器(LCD)、有机发光二极管显示器(OLED)或者等离子显示板(PDP),并且还可以用透明显示面板或柔性显示面板来实施。
存储单元140可存储由控制单元150检测的柱子和停车区域的信息。存储单元140可存储包含在俯视图中的停车区域和柱子的列表。此后,如果随着车辆移动在俯视图中检测出新的停车区域和柱子,那么可存储新的停车区域和柱子。此外,存储单元140可存储要针对停车区域设置的模板的形状。
控制单元150控制停车区域跟踪装置100的总体操作。此外,控制单元150可从俯视图中检测停车区域并且设置模板以跟踪停车区域。此外,如果停车区域被柱子阻挡,那么可改变针对该停车区域设置的模板的形状。在下文中,将详细地描述控制单元150的配置。
参照图1,控制单元150可包括俯视图创建单元151、停车区域检测单元152、模板设置单元153、以及柱子检测单元154。
俯视图创建单元151可合成由成像单元110捕获的车辆周围的图像以创建俯视图。
停车区域检测单元152检测由俯视图创建单元151创建的俯视图中的停车区域。此外,停车区域检测单元152可创建检测到的停车区域的列表。具体地,当在俯视图中检测出停车区域时,通过考虑车辆移动的位移来确定检测的停车区域与先前检测的停车区域是否一致。如果确定检测的停车区域与先前检测的停车区域一致,那么检测的停车区域被并入先前检测的停车区域中。否则,该检测的停车区域在停车区域列表中注册为新的停车区域。
此外,模板设置单元153可针对由停车区域检测单元152检测到的停车区域创建模板。如果在俯视图中检测到许多停车区域,那么模板可通过用户的选择来设置或者考虑到车辆和障碍物的当前位置自动地在停车区域确定最好的。
如果存在接近停车区域的柱子,那么由柱子阻挡的区域可从设置模板的区域中检测出。如果存在由柱子阻挡的区域,那么模板的形状可根据阻挡的部分来改变。具体地,模板可被分成多个区域,并且可删除划分的区域中的由超出预定比例的柱子阻挡的区域。
柱子检测单元154检测由俯视图创建单元151创建的俯视图中的柱子的位置。柱子检测单元154在俯视图中设置柱子检测区域然后相对于摄像机的位置为每个角度创建直线。然后,柱子检测单元154检测包含在直线中的边缘像素并且使用一部分边缘像素来检测柱子。柱子检测单元154在检测到具有特定方向的边缘像素时可检测该边缘像素与包含在直线中的边缘像素的比例。此外,柱子检测单元154可比较包含在直线中的边缘像素与先前图像以检测亮度差大于预定值的边缘像素的比例。此外,柱子检测单元154可使用由传感单元120检测的与车辆周围检测到的物体有关的位置信息以确定柱子的位置。
此外,柱子检测单元154可创建检测的柱子的列表。具体地,当在俯视图中检测出柱子时,通过考虑车辆移动的位移确定检测的柱子与先前检测的柱子是否一致。如果确定检测的柱子与先前检测的柱子是一致的,那么检测的柱子被并入先前检测的柱子。否则,检测的柱子在柱子列表中注册为新的柱子。
图2是示出了根据本发明示例性实施方式的停车区域跟踪方法的流程图。
参照图2,停车区域跟踪装置100中执行的停车区域跟踪方法包括创建俯视图(S210),并且通过在创建的俯视图中检测车辆能够停放的区域来设置模板(S220)。然后,在俯视图中检测柱子的位置(S230),检测设置模板的区域中由柱子阻挡的区域(S240),并且根据阻挡的区域改变模板的形状(S250)。尽管在图2中检测出了停车区域,设置了模板,然后检测出了柱子的位置,但仅仅是示例性实施方式并且所述步骤可颠倒次序或同时执行。在下文中,将详细地描述每个步骤。
首先,创建俯视图(S210)。具体地,在车辆的全部周围捕获360度视野图像,并且合成捕获的图像来创建俯视图。为此,停车区域跟踪装置100可包括许多摄像机。处理捕获的车辆周围的视频图像以将其转换成俯视图的技术在本领域中已经是众所周知的,在此将不会描述。
一旦创建了俯视图,就在俯视图中检测停车区域并且针对该停车区域设置模板(S220)。通过在停车区域中设置模板,可以连续地跟踪停车区域。这将参考图3来详细地描述。
图3的(a)至(c)是示出了根据本发明示例性实施方式的检测停车区域和设置模板的过程的示意性描绘。
图3的(a)示出了在其中检测停车区域的俯视图。参照图3的(a),可以看到在俯视图中检测出了许多停车区域。一旦检测出停车区域,就可创建检测的停车区域的列表。具体地,当在俯视图中检测出停车区域时,通过考虑车辆移动的位移确定检测的停车区域与先前检测的停车区域是否一致。如果确定检测的停车区域与先前检测的停车区域一致,那么该检测的停车区域被并入先前检测的停车区域。否则,该检测的停车区域在停车区域列表中注册为新的停车区域。
图3的(b)示出了在其中针对检测出的停车区域设置模板的俯视图。参照图3的(b),可以看出在图3的(a)中检测的停车区域之一中,设置了具有“TT”形状的模板。如果在俯视图中检测出多个停车区域,那么模板可通过用户的选择来设置或者考虑到障碍物和车辆的当前位置自动地在停车区域确定最好的。图3的(c)示出了设置模板之后的俯视图,其中,即使车辆移动也使用该设置的模板连续地跟踪停车区域。
一旦创建俯视图,就在俯视图中检测柱子的位置(S230)。这将参考图4详细地描述。
图4的(a)和(b)是示出了根据本发明示例性实施方式的检测柱子的过程的示意性描绘。
首先,针对俯视图设置柱子检测区域。在图4的(a)中,相对于摄像机的位置成100°角的两条直线410之间的区域被设置为柱子检测区域。因为三维俯视图中显示的物体是在摄像机的位置的径向方向上,所以柱子检测区域可以针对摄像机的位置的径向方向设置,如图4(a)所示。柱子检测区域的角度可以被不同地设置。因为三维显示的物体的形状随着相对于摄像机位置的角度变大而变形,通过设置柱子检测区域可以将具有低可靠性的区域排除,并且仅在柱子检测区域中的数据可以被处理以便可以增加处理速度。在针对图4的(a)设置的柱子检测区域之中,车辆和停车线之间的区域可以从柱子检测区域中排除。
一旦设置柱子检测区域,就在柱子检测区域中相对于摄像机的位置为每个角度创建直线。此外,检测包含在直线中的边缘像素的比例。具体地,边缘像素的比例可基于构成每条直线的像素的总数来检测。边缘像素的比例可以由柱状图来表示,如图4的(b)所示。然后,边缘像素的比例是预定的比例或更高的区域可被检测为柱子的位置。参照图4的(b),约35°与约65°之间出现的两个峰值可与柱子的两个边缘相对应,并且柱子的位置可以使用柱状图中示出的两个峰值来检测。
在检测边缘像素的比例中,可以检测出具有特定方向的边缘像素与包含在直线中的边缘像素的比例。这个将参考图5来详细地描述。
图5的(a)和(b)是示出了根据本发明示例性实施方式的检测边缘像素的过程的示意性描绘。
参照图5的(a),可以检测出关于为检测边缘像素所创建的直线的方向性为±90°的边缘像素。三维俯视图中显示的物体可在摄像机位置的径向方向上延伸。因此,在为检测边缘像素所创建的直线之中,包含在形成柱子的边界线的直线中的边缘像素可关于该直线具有±90°的方向性,如图5的(a)所示。因此,在检测边缘像素中,仅检测关于直线具有±90°方向性的边缘像素并且因此在除柱子之外的其他区域中检测到较少的边缘像素,从而获得柱子位置中的更清晰峰值。
图5的(b)示出了当全部边缘像素被包括时的柱状图(由虚线表示)以及当边缘像素具有特定方向时的柱状图(由实线表示)。参考图5的(b),当检测出具有特定方向的边缘像素的比例时,可以检测出比柱子的位置更清晰的峰值。
此外,在检测边缘像素的比例中,可将包含在直线中的边缘像素与先前图像相比较以检测亮度差大于预定值的边缘像素的比例。这将参考图6来详细地描述。
图6的(a)至(c)是示出了根据本发明另一实施方式的检测边缘像素的过程的示意性描绘。
图6的(a)是当前俯视图,图6的(b)是先前俯视图,并且图6的(c)是示出了由于车辆移动导致的位置差已校正之后的亮度差的图像。在获得当前俯视图和先前俯视图之间的亮度差中,为了在图像中补偿车辆移动的距离上的差异,两个俯视图中的一个变为参考而另一个可与之匹配。车辆的移动距离和方向可使用转向角传感器值和车轮转速传感器值来计算。
由于对应于柱子的边缘像素在地面上不存在,因而当前俯视图和先前俯视图之间存在大的亮度差。参照图6的(c),可以看出在对应于柱子的边界线上存在大的亮度差。因此,在检测边缘像素的比例中,在包含于直线中的边缘像素之中,可以检测出亮度差大于预定值的边缘像素的比例,所以可以避免检测到地面上的边缘像素。
此外,在使用边缘像素的比例检测柱子的位置中,还可以使用从超声波传感器中获得的车辆周围的物体的位置信息。这将参考图7来详细地描述。
图7的(a)和(b)是示出了根据本发明另一实施方式的检测边缘像素的过程的示意性描绘。
一旦得出包括在直线中的边缘像素的比例,就可以根据边缘像素的比例选择候选柱子。具体地,其中边缘像素的比例是预定的或更高比例的位置可被检测为候选柱子。在图7的(a)和(b)中,一个候选柱子在柱子检测区域中被选出。然后,将候选柱子的宽度与由超声波传感器获得的车辆周围的物体的宽度相比较以确认柱子,从而确定在第一方向上的柱子的位置。参照图7的(a)和(b)示出的超声波传感器信息,不连续的区域出现在对应于候选柱子的区域之后。使用边缘像素的比例选择的候选柱子的宽度与不连续的区域之前的区域的宽度相比,所以可以确定候选柱子与柱子相对应并且可以确定第一方向上的柱子的位置。然后,可以使用车辆的距离信息确定第二方向上的柱子的位置。
图7的(a)示出了当柱子位于与第一停车线相同的位置时检测第二方向上的柱子的位置,并且图7的(b)示出了当柱子位于第一停车线的内侧时检测第二方向上的柱子的位置。
具体地,如果具有相同形状的许多停车区域被连续地安排,那么由停车区域的入口线的延伸所形成的线的方向被称作第一方向(以下简称主方向),垂直于第一方向的方向被称作第二方向(以下简称次方向)。
此外,停车区域跟踪装置100可创建检测的柱子的列表。具体地,当在俯视图中检测出柱子时,通过考虑车辆移动的位移确定检测的柱子与先前检测的柱子是否一致。更具体地,将当前检测的柱子的位置与先前检测的柱子相比较以便基于是否存在重叠部分确定它们是否是一致的。如果确定当前检测的柱子与先前检测的柱子是一致的,那么当前检测的柱子被并入先前检测的柱子。否则,当前检测的柱子在柱子的列表中注册为新的柱子。具体地,为了可靠地检测柱子,只有在相同的位置检测到柱子多于两次时才将其向柱子列表记录。
在针对停车区域设置了模板并且检测出柱子的位置之后,从针对其设置了模板的停车区域中检测出由柱子阻挡的区域(S240)。这将参考图8来详细地描述。
图8(a)至(c)是示出了根据本发明示例性实施方式的检测由柱子阻挡的区域的过程的示图。
首先,设置构成柱子边缘的两个点。可以基于构成柱子边缘的两个点810和820从设置了模板的停车区域中检测出由柱子阻挡的区域,如图8的(a)所示。构成柱子的两个点可被设置为在主方向的直线上。
然后,确定俯视图上的摄像机的位置。在形成柱子的两个点之中,摄像机的位置可以基于靠近主方向上的停车线和次方向上的停车线的交叉点的点被包括在俯视图的哪个摄像机区域来确定。参照图8的(a),摄像机的位置可基于由哪个摄像机获取的右边的点810来确定。
一旦确定了摄像机的位置,就创建从形成柱子的边缘的两个点延伸的直线830以及从摄像机和靠近主方向的停车线和次方向的停车线的交叉点的点延伸的直线840。
然后,由柱子阻挡的区域可以基于靠近主方向上的停车线和次方向上的停车线的交叉点的点810的相对位置来检测。如果摄像机相对于靠近主要方向上的停车线和次要方向上的停车线的交叉点的点810位于停车线的外侧(如图8的(b)所示),位于停车线内侧并且靠近另一个点820的区域可以被检测为由两条直线形成的四个区域中的阻挡区域。此外,如果摄像机相对于靠近主要方向上的停车线和次要方向上的停车线的交叉点的点810位于停车线的内侧(如图8的(c)所示),位于停车线外侧并且靠近另一个点820的区域可以被检测为由两条直线形成的四个区域中的阻挡区域。
除以上描述的方法之外,检测由柱子阻挡的区域的方法可以通过将相对于摄像机的位置由与柱子接触的两条直线形成的区域之中两个接触点与摄像机相反的区域设置为由柱子阻挡的区域来执行。
然后,为停车区域设置的模板的形状是根据阻挡的区域改变的。就是说,模板的形状可以为由柱子阻挡的区域的视图可变地设置。具体地,模板可以被分成多个区域,超出预定比例的由柱子阻挡的区域可以从划分的区域中删除。这将参考图9描述。
图9示出了根据本发明的示例性实施方式的分开的模板的实例。
参照图9,模板可以被分成五个区域。分开的区域之中的区域1至区域4可由柱子阻挡。
如图9所示,对于每个分开的区域,如果由柱子阻挡的区域超出预定比例(50%,例如),那么可删除该区域以便可以改变模板的形状。例如,在图8的(a)中,区域1被阻挡超出50%所以将区域1从模板的形状中删除。例如,在图8的(b)中,区域2被阻挡超出50%所以将区域2从模板的形状中删除。
图10的(a)至(h)是示出了根据本发明示例性实施方式的停车区域跟踪的过程的示意性描绘。
图10的(a)示出了检测出停车区域的俯视图。图10的(b)示出了为一个检测的停车区域设置了模板的俯视图。此外,图10的(c)至(g)示出了当车辆移动时使用模板跟踪停车区域。最终,图10的(h)示出了通过考虑由柱子阻挡的区域改变的模板的形状。
从图10的(a)至(h)中可以看出,根据本发明示例性实施方式的停车区域跟踪方法,即使在使用模板跟踪停车区域的过程中停车区域的区域是由诸如柱子的障碍物阻挡的,仍然可以通过改变模板的形状来连续地跟踪停车区域。
根据上述的本发明的示例性实施方式的停车区域跟踪方法可作为终端设备中的可执行程序来实施。这样的程序可以被存储在各种型式的有形存储介质中。
具体地,执行上述方法的程序代码可以被存储在各种型式的有形存储介质中,诸如瞬时存储器、只读存储器(ROM)、可擦除编程ROM(EPROM)、电子可擦除编程ROM(EEPROM)、硬盘、活动磁盘、存储卡、USB存储器、以及CD-ROM。
如以上所阐述的,根据本发明的示例性实施方式,停车区域可以通过改变模板形状的方式被连续地跟踪即使在跟踪停车区域的过程中停车区域由诸如柱子的障碍物阻挡。
尽管出于说明性目的描述了本发明的优选实施方式,然而,本领域中的技术人员将认识到在不背离所附权利要求中公开的本发明的范围和精神的前提下各种变形、添加以及替换均是可能的。因此,同样应当理解的是这样的变型、添加以及替换在本发明的范围之内。
附图中的每个部件的标号

Claims (14)

1.一种停车区域跟踪方法,包括以下步骤:
通过捕获车辆的周围事物创建俯视图;
通过检测所述俯视图中的停车区域设置模板;
检测所述俯视图中柱子的位置;
从设置所述模板的所述停车区域中检测由所述柱子阻挡的区域;以及
根据所述阻挡的区域改变所述模板的形状。
2.根据权利要求1所述的停车区域跟踪方法,其中,检测所述柱子的位置的步骤包括以下步骤:
在所述俯视图中设置柱子检测区域;
创建相对于所述柱子检测区域中的摄像机的位置的每个角度的直线;
检测包含在所述直线中的边缘像素的比例;以及
使用所述边缘像素的比例检测所述柱子的所述位置。
3.根据权利要求2所述的停车区域跟踪方法,其中,检测所述边缘像素的比例的步骤包括:检测包含在所述直线中的所述边缘像素之中具有特定方向的所述边缘像素的比例。
4.根据权利要求2所述的停车区域跟踪方法,其中,检测所述边缘像素的比例的步骤包括:通过比较包含在所述直线中的所述边缘像素与先前图像,检测亮度差大于预定值的所述边缘像素的比例。
5.根据权利要求2所述的停车区域跟踪方法,其中,检测柱子的步骤包括:使用由超声波传感器获取的所述车辆周围的物体的位置信息连同所述边缘像素的所述比例。
6.根据权利要求2所述的停车区域跟踪方法,其中,检测所述柱子的步骤包括:
根据所述边缘像素的所述比例选取候选柱子;
通过比较所述候选柱子的宽度与由超声波传感器获取的所述车辆周围的物体的宽度确定所述柱子在第一方向上的位置;以及
通过使用通过所述超声波传感器获取的有关所述车辆距所述柱子的距离的消息确定所述柱子在第二方向上的位置。
7.根据权利要求1所述的停车区域跟踪方法,其中,改变所述模板的形状的步骤包括:
将所述模板分成多个区域;以及
从多个划分的所述区域中删除超出预定比例的、由所述柱子阻挡的区域。
8.一种停车区域跟踪装置,包括:
成像单元,包括用于记录车辆周围的图像的多个摄像机;以及
控制单元,被配置为将记录的所述图像转换成所述车辆的俯视图,通过检测所述俯视图中的停车区域来设置模板,检测所述俯视图中柱子的位置,检测设置所述模板的所述停车区域中由所述柱子阻挡的区域,以及根据所述阻挡的区域改变所述模板的形状。
9.根据权利要求8所述的停车区域跟踪装置,还包括,显示单元,显示所述俯视图。
10.根据权利要求8所述的停车区域跟踪装置,还包括,存储单元,存储由所述控制单元检测的有关所述柱子和所述停车区域的信息。
11.根据权利要求8所述的停车区域跟踪装置,其中,所述控制单元包括俯视图创建单元,所述俯视图创建单元合成所述车辆周围的所述图像以创建所述俯视图。
12.根据权利要求11所述的停车区域跟踪装置,其中,所述控制单元包括停车区域检测单元,所述停车区域检测单元检测由所述俯视图创建单元创建的所述俯视图中的所述停车区域。
13.根据权利要求12所述的停车区域跟踪装置,其中,所述控制单元包括模板设置单元,所述模板设置单元为所述停车区域检测单元检测的所述停车区域创建所述模板。
14.根据权利要求11所述的停车区域跟踪装置,其中,所述控制单元包括柱子检测单元,所述柱子检测单元检测由所述俯视图创建单元创建的所述俯视图中的所述柱子的位置。
CN201410049681.0A 2013-10-30 2014-02-13 停车区域跟踪装置及其方法 Active CN104601942B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0130125 2013-10-30
KR20130130125A KR101470230B1 (ko) 2013-10-30 2013-10-30 주차 영역 추적 장치 및 그 방법

Publications (2)

Publication Number Publication Date
CN104601942A true CN104601942A (zh) 2015-05-06
CN104601942B CN104601942B (zh) 2019-03-19

Family

ID=52678016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410049681.0A Active CN104601942B (zh) 2013-10-30 2014-02-13 停车区域跟踪装置及其方法

Country Status (4)

Country Link
US (1) US9539945B2 (zh)
KR (1) KR101470230B1 (zh)
CN (1) CN104601942B (zh)
DE (1) DE102014201409B4 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016165016A1 (en) * 2015-04-14 2016-10-20 Magor Communications Corporation View synthesis-panorama
KR102184431B1 (ko) * 2019-02-21 2020-11-30 주식회사 와이즈오토모티브 사각 지대 탐색 장치 및 방법
JP7323339B2 (ja) * 2019-05-31 2023-08-08 フォルシアクラリオン・エレクトロニクス株式会社 立柱検出装置及び立柱検出方法
CN113450597B (zh) * 2021-06-09 2022-11-29 浙江兆晟科技股份有限公司 基于深度学习的船舶辅助航行方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080055407A1 (en) * 2006-08-31 2008-03-06 Koichi Abe Apparatus And Method For Displaying An Image Of Vehicle Surroundings
CN101426671A (zh) * 2006-04-25 2009-05-06 丰田自动车株式会社 停车辅助装置以及停车辅助方法
CN101426669A (zh) * 2006-04-25 2009-05-06 丰田自动车株式会社 停车辅助装置以及停车辅助方法
CN101758809A (zh) * 2008-12-25 2010-06-30 株式会社丰田自动织机 泊车辅助装置
CN101816175A (zh) * 2007-10-01 2010-08-25 日产自动车株式会社 停车辅助装置以及停车辅助方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4918200B2 (ja) * 2001-04-24 2012-04-18 パナソニック株式会社 駐車運転支援装置
US7741961B1 (en) * 2006-09-29 2010-06-22 Canesta, Inc. Enhanced obstacle detection and tracking for three-dimensional imaging systems used in motor vehicles
KR101510655B1 (ko) * 2010-01-26 2015-04-10 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치
KR101197865B1 (ko) 2011-02-09 2012-11-05 주식회사 만도 주차공간 인식 방법 및 그 장치
JP5746937B2 (ja) 2011-09-01 2015-07-08 ルネサスエレクトロニクス株式会社 オブジェクト追跡装置
KR101316433B1 (ko) 2011-09-14 2013-10-08 현대자동차주식회사 차량 주변정보 제공 시스템 및 그 방법
US8903127B2 (en) * 2011-09-16 2014-12-02 Harman International (China) Holdings Co., Ltd. Egomotion estimation system and method
KR20130072709A (ko) 2011-12-22 2013-07-02 현대자동차주식회사 영상인식 및 초음파 센서 기술 융합기반 주차 지원 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101426671A (zh) * 2006-04-25 2009-05-06 丰田自动车株式会社 停车辅助装置以及停车辅助方法
CN101426669A (zh) * 2006-04-25 2009-05-06 丰田自动车株式会社 停车辅助装置以及停车辅助方法
US20080055407A1 (en) * 2006-08-31 2008-03-06 Koichi Abe Apparatus And Method For Displaying An Image Of Vehicle Surroundings
CN101816175A (zh) * 2007-10-01 2010-08-25 日产自动车株式会社 停车辅助装置以及停车辅助方法
CN101758809A (zh) * 2008-12-25 2010-06-30 株式会社丰田自动织机 泊车辅助装置

Also Published As

Publication number Publication date
US20150116492A1 (en) 2015-04-30
CN104601942B (zh) 2019-03-19
DE102014201409A1 (de) 2015-04-30
KR101470230B1 (ko) 2014-12-08
DE102014201409B4 (de) 2021-12-16
US9539945B2 (en) 2017-01-10

Similar Documents

Publication Publication Date Title
CN100456828C (zh) 车辆周围环境显示装置
JP5172314B2 (ja) ステレオカメラ装置
KR20160072190A (ko) 사발형 영상 시스템
US9183449B2 (en) Apparatus and method for detecting obstacle
US20190156131A1 (en) Image Processing Device, Outside Recognition Device
US20080043113A1 (en) Image processor and visual field support device
JP2002166802A (ja) 車両周辺モニタ装置
JP6313992B2 (ja) 牽引車用周囲監視装置
CN108124095B (zh) 用于交通工具的影像处理方法及影像***
CN103999122A (zh) 用于改进多摄像机***中的对象探测的方法
US11673544B2 (en) Auto park human machine interface display based control
JP2004240480A (ja) 運転支援装置
US9305222B2 (en) Image processing apparatus and image processing method
CN104601942A (zh) 停车区域跟踪装置及其方法
JP6523018B2 (ja) 駐車支援装置、及び駐車支援システム
US20210327113A1 (en) Method and arrangement for producing a surroundings map of a vehicle, textured with image information, and vehicle comprising such an arrangement
CN104517096A (zh) 环景监视***的图像处理方法和***
US10248132B2 (en) Method and apparatus for visualization of an environment of a motor vehicle
US11377027B2 (en) Image processing apparatus, imaging apparatus, driving assistance apparatus, mobile body, and image processing method
US9884589B2 (en) System and method for assisting vehicle driving for using smart phone
JP6327115B2 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
US8872921B2 (en) Vehicle rearview back-up system and method
CN113614810A (zh) 图像处理装置、车辆控制装置、方法和程序
CN114103812A (zh) 倒车入库引导***及方法
US9796328B2 (en) Method and system for correcting misrecognized information of lane

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant