CN101995239A - 利用鸟瞰影像判断障碍物的***及方法 - Google Patents

利用鸟瞰影像判断障碍物的***及方法 Download PDF

Info

Publication number
CN101995239A
CN101995239A CN2009101617455A CN200910161745A CN101995239A CN 101995239 A CN101995239 A CN 101995239A CN 2009101617455 A CN2009101617455 A CN 2009101617455A CN 200910161745 A CN200910161745 A CN 200910161745A CN 101995239 A CN101995239 A CN 101995239A
Authority
CN
China
Prior art keywords
image
bird
eye view
vehicle
barrier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009101617455A
Other languages
English (en)
Other versions
CN101995239B (zh
Inventor
徐子建
陈加增
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Automotive Research and Testing Center
Original Assignee
Automotive Research and Testing Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Automotive Research and Testing Center filed Critical Automotive Research and Testing Center
Priority to CN2009101617455A priority Critical patent/CN101995239B/zh
Publication of CN101995239A publication Critical patent/CN101995239A/zh
Application granted granted Critical
Publication of CN101995239B publication Critical patent/CN101995239B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一种利用鸟瞰影像判断障碍物的***及方法,有关利用鸟瞰影像技术来判断车辆周围障碍物的技术,利用安置于不同位置的多个影像采集器分别采集多个车身周围影像,且该多个影像中至少具有一重叠区域,影像处理器将该等影像进行独立鸟瞰影像转换,再由障碍物计算单元比对两张独立鸟瞰影像的重复区域其相关性,由相关性大小判断障碍物是否存在。并且,本发明建构有一组空间转换数据的映射表,该映射表包含车辆的方向盘角度、排档或车速等行车状态资料,因此当行车状态改变时,可经由映射表快速转换出适当视角的环场鸟瞰影像,并透过障碍物计算单元所测得的障碍物位置标示于环场鸟瞰影像上,以利使用者安全驾驶。

Description

利用鸟瞰影像判断障碍物的***及方法
技术领域
本发明有关障碍物检测***,尤其是一种应用于驾驶车辆时所使用的障碍物检测***。
背景技术
摄影机的成本日渐下降,摄影器材现已普遍应用于车辆行车辅助上,然大多仅单纯被动的提供车辆周围的影像以辅助驾驶者避免事故的发生。由于驾驶者难以同时监视多个摄影画面,且传统平面影像应用于停车辅助时的视觉死角仍大,因此目前也有业者开发出可透过安置于车身周围的多个摄影机,将其所取得的多个影像整合并转换其视角而成为一由车顶俯视的虚拟环场鸟瞰影像***,此较为符合人眼视觉习惯且也能进一步克服视觉死角的技术手段。
但是,一般环场鸟瞰***在转换平面影像为环场鸟瞰影像时,因需同时复合多张影像,因此若于影像重叠区域出现具有高度的物体时,则会因为影像缝合的死角而无法显示此有高度的障碍物于环场影像上,故此,习知环场影像技术仍有其须改善之处。
有鉴于此,为能够检测影像缝合处的障碍物且佐以画面警示或声音警示提醒辅助驾驶者该处有障碍物,则传统技术多使用雷达或超声波装置来检测障碍物再与摄影影像结合,以补足习知环场鸟瞰影像技术的缺失。如专利公开号JP2007041791(A)的申请专利所揭示,一种显示鸟瞰影像的***及方法,其先以多个摄影机采集车辆四周的影像,将其影像缝合成一环场鸟瞰影像,以影像得知车辆前、后、左、右附近是否存在障碍物,而为克服在影像缝合处难以显示具有高度障碍物的问题,该专利则以四个超声波装置检测该死角区域来解决。但是此种方式虽然可克服上述问题,但相对会增加超声波装置的成本。
再者,习知技术中二维鸟瞰环场影像***多将虚拟视点设定在车辆上方,然而,在车辆前进、后退或转弯移动时,驾驶者所需要移动方向的影像区域视野大小也自不同,但习知技术却仅使用一固定虚拟视角的鸟瞰画面,难以符合驾驶者需求。
因此,本发明提出一种利用鸟瞰影像判断障碍物***及方法,可有效解决先前技术的缺点。
发明内容
本发明的主要目的为提出一种利用鸟瞰影像判断障碍物的***及方法,其采集具有重复区域的两张鸟瞰影像,并比较其重复区域影像的相关性以判断具高度的障碍物出现位置。
本发明的另一目的为提出一种利用鸟瞰影像判断障碍物的***及方法,以鸟瞰影像直接判断障碍物位置,无须增添雷达或超声波其他障碍物检测仪器,可降低生产/组装成本。
本发明的再一目的为提出一种利用鸟瞰影像判断障碍物的***及方法,在影像信号输入时藉由映射表的使用来达到快速转换以节省***运算时间。
本发明的又一目的为提出一种利用鸟瞰影像判断障碍物的***及方法,其藉由车辆行驶状况来搭配一组对应方向盘角度与虚拟摄影机俯视角度的映射表,而输出不同的环场鸟瞰影像,以提供不同视觉角度的鸟瞰影像给驾驶者。
本发明的再一目的为提出一种利用鸟瞰影像判断障碍物的***及方法,其结合可变换视角的环场鸟瞰影像与利用鸟瞰影像判断障碍物技术,进而可在转弯或倒车时提供更具弹性的障碍物检测区域以及鸟瞰视野给驾驶者参考。
为达到上述的目的本发明揭示一种利用鸟瞰影像判断障碍物的***,包含:
多个影像采集器,其设于一车辆上,该等影像采集器取得多个该车辆周围的影像;
一影像处理器,将该等影像分别转换成多个独立鸟瞰影像,其中二相邻的该独立鸟瞰影像包含一重复区域;以及
一障碍物计算单元,比较二相邻的该独立鸟瞰影像的该重复区域的相关性,由该相关性来判断是否有障碍物。
由架设于车辆上的多个影像采集器采集影像,并透过影像处理器将该等影像转换为多个独立鸟瞰影像,再由障碍物计算单元比对计算二相邻的独立鸟瞰影像的重复区域以获得重复区域的相关系数,加以判断该区域是否有障碍物出现;同时影像处理器结合该多个鸟瞰影像为一车辆环场鸟瞰影像,于摄影区域检测出障碍物时,将障碍物标示于该环场鸟瞰影像上,藉以提醒驾驶人。
此外,本发明也揭示一种利用鸟瞰影像判断障碍物的方法,包括采集一车辆的车身信号,并选择所对应的映射表,并采集该车辆附近的多个影像,根据该映射表建立一环场鸟瞰影像,其中二相邻的该影像包含一重复区域;
分别将该等影像转换为多个独立鸟瞰影像;
判断相邻的该独立鸟瞰影像的该重复区域的相关性;
判断该重复区域是否有障碍物;以及
若有该障碍物,将该障碍物标示于该环场鸟瞰影像中。
其先采集车身信号以及车身周围多个影像,其中相邻的影像包含一重复区域,并根据方向盘转角信号挑选出有关空间转换信息的映射表,进行环场鸟瞰影像转换;再将该等影像分别转换为独立鸟瞰影像;接续,判断相邻的该独立鸟瞰影像的重复区域的相关性;根据该相关性大小判断该重复区域是否有障碍物存在;最后,若重复区域存在障碍物时则将此障碍物标示于环场鸟瞰影像中,同时在依据方向盘转角信号调整鸟瞰影像视角以改变障碍物检测范围。
本发明的有益效果在于,改善习知技术在影像缝合处发生因影像死角而无法显示障碍物的缺点,利用当障碍物存在影像重叠处时进行环场鸟瞰影像转换后必会发生扭曲失真的特性,进一步转化为判断障碍物位置的手段,将具有重叠摄影的两张原始影像,个别转换为鸟瞰影像图,在比对两张鸟瞰影像其重复区域的相关性,相关性小者则存在有障碍物,并分析细部的子区域来精确断定该障碍物位置。
由此,本发明省去安装超声波或雷达等其他检测设备,纯粹利用影像技术即可测得障碍物最近距离。除此之外,为了加强驾驶者行车转弯或后退时的检测范围,在影像转换技术中,本发明以多个映射表进行环场鸟瞰影像转换,其中每一张映射表包含每一种行车状态下的空间转换信息,所以本发明环场鸟瞰影像的虚拟视角会依照行车状况而变化,且本***显示障碍物检测范围也因虚拟视角的变动而改变,为更人性化的行车辅助装置,因此驾驶者在使用本发明的技术手段时,可获得直行、转弯、后退等状况下不同视角的环场鸟瞰影像,因而能够更安全地驾驶上路。
底下藉由具体实施例配合所附的图式详加说明,当更容易了解本发明的目的、技术内容、特点及其所达成的功效。
附图说明
图1为本发明一实施例的***示意图;
图2(a)至图2(e)为本发明影像摄影范围的示意图;
图3为计算重复区域的相关系数的示意图;
图4为本发明判断无障碍物的环场鸟瞰影像的示意图;
图5为本发明判断有障碍物的环场鸟瞰影像的示意图;
图6为本发明可变换虚拟视角的环场鸟瞰影像示意图;
图7为本发明一实施例的步骤流程图。
附图标记说明:10-影像采集器;12-车身信号采集器;14-影像处理器;141-映射表;16-显示器;18-障碍物计算单元;20-警示装置;211~216-重复区域;22-环场鸟瞰影像;24-车身;28-相关系数γ小于0.5的区域;30-车道线;32-鸟瞰影像缝合线;34,36-原始影像;38,40-独立鸟瞰影像;381,401-重复区域;42,44-车辆;46-圆筒型障碍物;48,50-原始影像;52,54-独立鸟瞰影像;521,541-重复区域;60-车身;62-环场鸟瞰影像范围;64-虚拟视角;66-障碍物。
具体实施方式
本发明主要的技术手段将不同摄影机所采集的影像转换为二独立鸟瞰影像,再对此二独立的鸟瞰影像的重复区域作相关性比对,而比对结果若其相关性高者则判断该区域未存在具高度的障碍物;反之,若相关性低者则判断存在具高度的障碍物。以此方法来准确判断是否存有障碍物与其位置与距离。
首先请参考图1,为本发明的一实施例的***架构图,在本实施例中,以六个设于车上的影像采集器10来采集车身周围的影像,其中每相邻的影像采集器10所采集的影像均存在部份重叠的同一区域影像,此区域影像底下统一称为重复区域,而影像采集器10为电荷耦合元件(CCD)摄影机或互补式金属氧化半导体(CMOS)摄影机。本实施例并配合有车身信号采集器12以获得行车状况,车身信号包含方向盘转角角度、车速信号或排档信号,再由影像处理器14接收原始影像以及车身信号所提供的资料。本实施例中主要以方向盘转角信号来判断车辆转弯情况,因此根据车身的方向盘转角信号,影像处理器14选择正确合适的映射表141进行影像空间转换,其中映射表141在本实施例执行前已先建立有相关摄影机位置以及方向盘转角角度的空间转换信息,同时映射表141也纪录有扭曲校正、透视转换与影像缝合等信息,是以原始影像透过映射表即可快速转换成为多种视角的环场鸟瞰影像。而影像处理器14将原始影像套入映射表141中并输出适当虚拟视角的环场鸟瞰图,再将其输出于一显示器16,该显示器16显示该车辆周围的行车辅助线或停车辅助线。
为了进行车身周围障碍物检测,本发明的影像处理器14除了转换一整体的环场鸟瞰图之外,必须将六张原始影像个别转换为独立鸟瞰影像进而获得六张独立鸟瞰影像后并比对其重复区域再判断二独立鸟瞰影像的重复区域的影像相关性,以此作为检测障碍物的手段。其中如果相关性高,表示重复区域未存在具高度的障碍物;反之,如果相关性低,则表示重复区域存在具高度的障碍物。而本实施例将所测得的障碍物显示其位置于环场鸟瞰影像上,进一步可加装警示装置20,其可为发光二极体、蜂鸣器或喇叭,以发出警示信号提醒驾驶者注意障碍物。
接续,进一步详细说明本发明如何藉由比对二独立鸟瞰影像的重复区域以判断出障碍物的技术手段。***坦平面,也即只能将具高度的物体视为平面物体而进行影像处理。故,具高度的物体在进行鸟瞰影像转换时将会发生扭曲现象导致无法获得有效的环场鸟瞰影像,此为习知技术的缺点。而本发明则应用鸟瞰影像发生扭曲的特征点,来实施本发明检测障碍物的技术。
本发明由六个影像采集器10来采集车身周围六个区域的影像,再透过影像处理器14转换为一环场鸟瞰影像22,其中该影像采集器10为摄影机。请参考图2(a),本发明由安置于车辆24上的第一摄影机与第二摄影机分别采集车身前、后的A区域与B区域;第三摄影机与第四摄影机分别采集车身24左、右的C区域以及D区域,如图2(b)所示;以及第五摄影机与第六摄影机分别采集车身24左、右的E区域以及F区域,如图2(c)所示。其中上述每两个相邻区域的影像皆具有一重复区域,即如图2(d)中的斜线区域211、212、213、214、215、216所示,此也为障碍物检测的区域,而该些重复区域经过影像处理缝合后的环场影像范围则为车身24附近区域22,即如图2(e)所示。
接续,影像处理器14将上述A、B、C、D、E、F六个区域的原始影像各自转换为独立鸟瞰影像后再由障碍物计算单元18分别比对两张相邻鸟瞰影像的重复区域,并判断其相关性。再以图2(a)中的A区域的独立鸟瞰影像与与图2(c)中的E区域的独立鸟瞰影像为例,此A区域与E区域会包含如图2(e)所示的相同重复区域212。请接续参考图3,图中f(s,t)代表A区域的重复区域灰阶值,w(s,t)代表E区域的重复区域灰阶值,影像处理器14将重复区域切割为九个子区域,计算两区域的相对子区域灰阶值的相关系数γ,而相关系数的计算公式为
γ = Σ s Σ t [ f ( s , t ) - f ‾ ] [ w ( s , t ) - w ‾ ] { Σ s Σ t [ f ( s , t ) - f ‾ ] 2 Σ s Σ t [ w ( s , t ) - w ‾ ] 2 } 1 / 2
其中
Figure B2009101617455D0000063
为A区域与E区域重复区域影像的平均灰阶值。此公式的意义为计算两张鸟瞰影像同个区域的每一单点差异并累积每单点的差异值,进而获得两张鸟瞰影像的相关系数γ。倘若两张鸟瞰影像间重复区域的影像为完全相同,则相关系数为1;若两重复区域的影像完全不相关,其相关系数则为0。以判断障碍物相关系数的阀值设定为0.5为例,若相关系数小于该阀值,代表此子区域存在障碍物。如图3中的区域28,因相关系数γ小于0.5,以此即可判定此区域28有障碍物存在。是以,当重复区域为平坦表面时鸟瞰影像不会扭曲失真,而所得的相关系数γ大于阀值0.5,则表示重复区域没有障碍物存在。
请接续参阅图4,用以说明本发明判断无障碍物的示意图。如图所示,图中车辆周围未有障碍物存在,车辆42侧边为两条于地面的车道线30以及图中具有四条鸟瞰影像缝合线32。当开始判断有无障碍物时,位于车辆前侧的摄影机先采集车辆42前方原始影像36,以及右侧的摄影机采集车辆42右侧原始影像34,再透过影像处理器14个别转换为独立的鸟瞰影像38、40,在图4中可见前方与右侧转换后的鸟瞰影像的重复区域381、401,并经由障碍物计算单元判断此处鸟瞰影像的重复区域的相关性大小,由于本例的重复区域381、401为平坦的路面,因此判断结果为相关性大,则代表此处无障碍物存在。
而图5则为本发明判断有障碍物的示意图,同样以车辆44前方影像与侧方影像为例,当车辆44右前方出现一圆筒型障碍物46,影像采集器10采集的原始影像48、50转换为二独立鸟瞰影像52、54后,由于此圆筒型障碍物46具有高度,因此在进行影像转换为鸟瞰影像后,圆筒型障碍物46形体会扭曲失真,导致两张鸟瞰影像52及54的重复区域521、541的相关性低,对此即可辨别该区域具有障碍物存在。
故经由上述的影像处理过程,本发明可将重复区域设定在驾驶者的视觉死角处,透过本发明判断重复区域的结果即可知是否存在障碍物。
另外,本发明也可利用重复区域的相关系数变化来判断障碍物位置。以本发明的上述实施例为例,先分别计算两张鸟瞰影像的重复区域中九个子区域的相关系数,假使若有一障碍物位于该重复区域中的部分子区域里,其相关系数会呈现小值;反之,在该重复区域中障碍物未落入的其他部份子区域,其相关系数则呈现大值。换言之,在该重复区域中的无障碍物的子区域与有障碍物的子区域交界处,其相关系数因为障碍物出现而发生骤减,进而利用此特性本发明可计算获得该障碍物离车身最近的距离。以上为本发明主要特征技术,针对摄影机的死角以及鸟瞰影像转换后画面失真的缺点,本发明比对转换鸟瞰影像后的相关性,以精确地获得障碍物位置。相较于习知技术,本发明更能增强鸟瞰影像技术有关障碍物检测的功效。另外,为了使鸟瞰影像输出更贴近人性,本发明也对环场鸟瞰影像的处理方法提出新的改进。
接续针对本发明环场鸟瞰影像的技术进一步说明,本发明的特征在于增添了一组映射表,在此实施例中,映射表为在整体***装置架设完毕后,先设定每个摄影机位于车体的空间信息,并建立每一间隔的方向盘角度(5度、10度、15度...)所对应的虚拟视点变换的座标转换信息,故映射表记录了原始影像的一单位点对应到鸟瞰影像的另一单位点的转换过程。因此,影像采集器10采集到影像时,会配合当时的方向盘转角信号进而选择出所对应的映射表,再将取得影像套入该映射表即可将影像信号快速处理,其中本发明鸟瞰影像转换计算方法利用摄影机座标转换矩阵、虚拟视点座标转换矩阵、透视转换公式以及反透视转换进行影像转换,进而获得一张二维车辆环场鸟瞰图。
以下举一实例说明:当驾驶者控制车辆向右转弯时,如图6所示,影像处理器接收到车身60信号,将影像透过事前已设定好的映射表转换,以提供偏向左后方的虚拟视角64所呈现车头右前最大区域的环场鸟瞰影像范围62给驾驶者,并对存在于该鸟瞰影像范围的障碍物66进行检测。上述为本发明的一项优点,乃由于车辆周围的障碍物并非全然都会对车辆造成威胁,而本发明的障碍物计算单元也不需监控车辆周围的全部范围,本发明可仅针对车辆行进的方向而调整障碍物检测区域,使障碍物检测范围与方法更为为智慧。
请参照图7为本发明的步骤流程图并同时参考图1。首先,步骤S10为车身信号采集器12先采集车身信号,其中此车身信号可为车辆方向盘转角信号、排档信号或车速信号,以及步骤S12由设置在车辆上的影像采集装置10采集车辆四周的六个原始影像,且其中相邻的影像采集装置10所采集的影像具有至少一重叠区域;取得影像及车身信号后,如步骤S14,影像处理器14根据车身信号选择所对应的映射表141,其中选出的映射表对影像进行扭曲校正、透视转换以及缝合影像以产生一环场鸟瞰影像;获得该环场鸟瞰影像,如步骤S20;显示器16输出该环场鸟瞰影像,如步骤S22;接续,影像处理器14分别将六个原始影像转换为个别的独立鸟瞰影像,如步骤S24;根据步骤S26所示,障碍物计算单元18判断二相邻的独立鸟瞰影像其重复区域的相关性,本实施例先将重复区域切割为多个子区域,并计算出子区域的相关系数其中相关系数的公式系为
γ = Σ s Σ t [ f ( s , t ) - f ‾ ] [ w ( s , t ) - w ‾ ] { Σ s Σ t [ f ( s , t ) - f ‾ ] 2 Σ s Σ t [ w ( s , t ) - w ‾ ] 2 } 1 / 2
其中,f(s,t)与w(s,t)分别为二相邻的该独立鸟瞰影像的该重复区域的该子区域灰阶值,
Figure B2009101617455D0000083
分别为二相邻的该独立鸟瞰影像的该重复区域的该子区域平均灰阶值;根据相关系数是否小于阀值来判断障碍物是否存在,其中相关系数大于阀值,则代表无障碍物出现,相关系数小于阀值,则表示障碍物存在,如步骤S28;若有障碍物存在,则在该环场鸟瞰影像中标示障碍物位置,并透过警示装置20警报提醒驾驶者,如步骤S30;如无障碍物存在,则本流程结束作业。
经由上述说明,可见本发明改善习知技术在影像缝合处发生因影像死角而无法显示障碍物的缺点,本发明利用当障碍物存在影像重叠处时进行环场鸟瞰影像转换后必会发生扭曲失真的特性,进一步转化为判断障碍物位置的手段,将具有重叠摄影的两张原始影像,个别转换为鸟瞰影像图,在比对两张鸟瞰影像其重复区域的相关性,相关性小者则存在有障碍物,并分析细部的子区域来精确断定该障碍物位置,由此,本发明省去安装超声波或雷达等其他检测设备,纯粹利用影像技术即可测得障碍物最近距离。除此之外,为了加强驾驶者行车转弯或后退时的检测范围,在影像转换技术中,本发明以多个映射表进行环场鸟瞰影像转换,其中每一张映射表包含每一种行车状态下的空间转换信息,所以本发明环场鸟瞰影像的虚拟视角会依照行车状况而变化,且本***显示障碍物检测范围也因虚拟视角的变动而改变,为更人性化的行车辅助装置,因此驾驶者在使用本发明的技术手段时,可获得直行、转弯、后退等状况下不同视角的环场鸟瞰影像,因而能够更安全地驾驶上路。
以上对本发明的描述是说明性的,而非限制性的,本专业技术人员理解,在权利要求限定的精神与范围之内可对其进行许多修改、变化或等效,但是它们都将落入本发明的保护范围内。

Claims (10)

1.一种利用鸟瞰影像判断障碍物的***,其特征在于,包含:
多个影像采集器,其设于一车辆上,该等影像采集器取得多个该车辆周围的影像;
一影像处理器,将该等影像分别转换成多个独立鸟瞰影像,其中二相邻的该独立鸟瞰影像包含一重复区域;以及
一障碍物计算单元,比较二相邻的该独立鸟瞰影像的该重复区域的相关性,由该相关性来判断是否有障碍物。
2.如权利要求1所述的利用鸟瞰影像判断障碍物的***,其特征在于,更包含车身信号采集器,其采集该车辆的方向盘转角信号、车速信号或排档信号,该影像处理器根据该车身信号采集器所采集的信号,转换出一环场鸟瞰影像,该环场鸟瞰影像的虚拟视角随着该车辆的方向盘转角信号变换。
3.如权利要求2所述的利用鸟瞰影像判断障碍物的***,其特征在于,该影像处理器更包含多个映射表,其为有关该车辆的方向盘转角角度以及该等影像采集器的位置的空间转换信息,且该映射表将该影像进行影像扭曲校正、影像透视转换以及影像缝合,而转换为该环场鸟瞰影像。
4.如权利要求2所述的利用鸟瞰影像判断障碍物的***,其特征在于,更包括一显示器,电性连接该影像处理器,该显示器输出该环场鸟瞰影像,且将该障碍物的位置显示于该环场鸟瞰影像中,且该显示器显示该车辆周围的行车辅助线或停车辅助线。
5.如权利要求1所述的利用鸟瞰影像判断障碍物的***,其特征在于,该障碍物计算单元将二相邻的该独立鸟瞰影像的该重复区域分别切割成多个子区域,并计算二相邻的该独立鸟瞰影像的该重复区域的该子区域二者的相关系数,而该相关系数的公式为
γ = Σ s Σ t [ f ( s , t ) - f ‾ ] [ w ( s , t ) - w ‾ ] { Σ s Σ t [ f ( s , t ) - f ‾ ] 2 Σ s Σ t [ w ( s , t ) - w ‾ ] 2 } 1 / 2
f(s,t)与w(s,t)分别为二相邻的该独立鸟瞰影像的该子区域灰阶值,
Figure F2009101617455C0000012
Figure F2009101617455C0000013
分别为二相邻的该独立鸟瞰影像的该子区域平均灰阶值,以该相关系数判定该子区域是否有该障碍物,进而获得该车辆与该障碍物的距离。
6.一种利用鸟瞰影像判断障碍物的方法,其特征在于,所述方法包含步骤:
采集一车辆的车身信号,并选择所对应的映射表,并采集该车辆附近的多个影像,根据该映射表建立一环场鸟瞰影像,其中二相邻的该影像包含一重复区域;
分别将该等影像转换为多个独立鸟瞰影像;
判断相邻的该独立鸟瞰影像的该重复区域的相关性;
判断该重复区域是否有障碍物;以及
若有该障碍物,将该障碍物标示于该环场鸟瞰影像中。
7.如权利要求6所述的利用鸟瞰影像判断障碍物的方法,其特征在于,该环场鸟瞰影像的虚拟视点根据该方向盘转角信号变换。
8.如权利要求6所述的利用鸟瞰影像判断障碍物的方法,其特征在于,判断二相邻的该独立鸟瞰影像的该重复区域的该相关性的步骤,更包含将二相邻的该独立鸟瞰影像的该重复区域分别切割成多个子区域,并计算二相邻的该独立鸟瞰影像的该重复区域的该子区域二者的相关系数,该相关系数的公式为
γ = Σ s Σ t [ f ( s , t ) - f ‾ ] [ w ( s , t ) - w ‾ ] { Σ s Σ t [ f ( s , t ) - f ‾ ] 2 Σ s Σ t [ w ( s , t ) - w ‾ ] 2 } 1 / 2 ,
f(s,t)与w(s,t)分别为二相邻的该独立鸟瞰影像的该重复区域的该子区域灰阶值,
Figure F2009101617455C0000022
Figure F2009101617455C0000023
分别为二相邻的该独立鸟瞰影像的该重复区域的该子区域平均灰阶值,以该相关系数判定该子区域是否有该障碍物,进而获得该车辆与该障碍物的距离。
9.如权利要求6所述的利用鸟瞰影像判断障碍物的方法,其特征在于,该映射表为根据该车身信号与该等影像采集器位置而建立的空间转换信息。
10.如权利要求6所述的利用鸟瞰影像判断障碍物的方法,其特征在于,该车身信号包含方向盘转角信号、排档信号或车速信号。
CN2009101617455A 2009-08-11 2009-08-11 利用鸟瞰影像判断障碍物的***及方法 Active CN101995239B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2009101617455A CN101995239B (zh) 2009-08-11 2009-08-11 利用鸟瞰影像判断障碍物的***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2009101617455A CN101995239B (zh) 2009-08-11 2009-08-11 利用鸟瞰影像判断障碍物的***及方法

Publications (2)

Publication Number Publication Date
CN101995239A true CN101995239A (zh) 2011-03-30
CN101995239B CN101995239B (zh) 2012-05-23

Family

ID=43785707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009101617455A Active CN101995239B (zh) 2009-08-11 2009-08-11 利用鸟瞰影像判断障碍物的***及方法

Country Status (1)

Country Link
CN (1) CN101995239B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102774324A (zh) * 2012-07-06 2012-11-14 广东好帮手电子科技股份有限公司 一种全景泊车辅助***及其实现方法
CN102970460A (zh) * 2011-08-31 2013-03-13 帷丰科技有限公司 调校车用影像装置的方法及其***
US20140118550A1 (en) * 2012-10-30 2014-05-01 Hyundai Motor Company Apparatus and method for detecting obstacle for around view monitoring system
CN103987582A (zh) * 2011-12-15 2014-08-13 松下电器产业株式会社 驾驶辅助装置
CN104185010A (zh) * 2013-05-23 2014-12-03 通用汽车环球科技运作有限责任公司 在前方路缘观察***中的增强的立体视图生成
CN104185009A (zh) * 2013-05-23 2014-12-03 通用汽车环球科技运作有限责任公司 前方路缘观察***中的增强的俯瞰视图生成
CN104735403A (zh) * 2013-12-18 2015-06-24 欧特明电子股份有限公司 车用障碍物侦测显示***
CN104760537A (zh) * 2015-04-21 2015-07-08 重庆大学 一种新型车载安全驾驶辅助***
CN104811663A (zh) * 2015-04-17 2015-07-29 浙江吉利汽车研究院有限公司 车辆的图像处理方法及处理装置
CN106926794A (zh) * 2015-12-31 2017-07-07 合盈光电科技股份有限公司 车辆监控***及其方法
CN107336669A (zh) * 2016-04-28 2017-11-10 合盈光电科技股份有限公司 车辆安全防护***及其方法
CN108370433A (zh) * 2015-12-18 2018-08-03 株式会社电装 显示控制装置以及显示控制方法
TWI650018B (zh) * 2017-07-18 2019-02-01 晶睿通訊股份有限公司 提供使用者介面以進行場景之監控畫面縫合之方法及其電子裝置
CN110406472A (zh) * 2018-04-27 2019-11-05 华创车电技术中心股份有限公司 停车辅助***及停车辅助方法
CN110525360A (zh) * 2019-08-26 2019-12-03 广汽蔚来新能源汽车科技有限公司 基于车载终端的辅助驾驶方法、装置、***及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4907883B2 (ja) * 2005-03-09 2012-04-04 株式会社東芝 車両周辺画像表示装置および車両周辺画像表示方法
JP4899367B2 (ja) * 2005-07-27 2012-03-21 日産自動車株式会社 俯瞰画像表示システム及び俯瞰画像の表示方法
CN101442618A (zh) * 2008-12-31 2009-05-27 葛晨阳 用于车辆辅助驾驶的360度环形视频合成方法

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102970460A (zh) * 2011-08-31 2013-03-13 帷丰科技有限公司 调校车用影像装置的方法及其***
CN102970460B (zh) * 2011-08-31 2015-08-26 帷享科技有限公司台中分公司 调校车用影像装置的方法及其***
CN103987582A (zh) * 2011-12-15 2014-08-13 松下电器产业株式会社 驾驶辅助装置
US9697735B2 (en) 2011-12-15 2017-07-04 Panasonic Intellectual Property Management Co., Ltd. Drive assistance device
CN102774324A (zh) * 2012-07-06 2012-11-14 广东好帮手电子科技股份有限公司 一种全景泊车辅助***及其实现方法
CN102774324B (zh) * 2012-07-06 2014-12-10 广东好帮手电子科技股份有限公司 一种全景泊车辅助***及其实现方法
US9104920B2 (en) * 2012-10-30 2015-08-11 Hyundai Motor Company Apparatus and method for detecting obstacle for around view monitoring system
US20140118550A1 (en) * 2012-10-30 2014-05-01 Hyundai Motor Company Apparatus and method for detecting obstacle for around view monitoring system
CN103793684A (zh) * 2012-10-30 2014-05-14 现代自动车株式会社 用于全景式监控***的检测障碍物的设备和方法
CN103793684B (zh) * 2012-10-30 2018-11-16 现代自动车株式会社 用于全景式监控***的检测障碍物的设备和方法
CN104185009A (zh) * 2013-05-23 2014-12-03 通用汽车环球科技运作有限责任公司 前方路缘观察***中的增强的俯瞰视图生成
CN104185010A (zh) * 2013-05-23 2014-12-03 通用汽车环球科技运作有限责任公司 在前方路缘观察***中的增强的立体视图生成
CN104185009B (zh) * 2013-05-23 2017-04-12 通用汽车环球科技运作有限责任公司 前方路缘观察***中的增强的俯瞰视图生成
CN104185010B (zh) * 2013-05-23 2017-06-09 通用汽车环球科技运作有限责任公司 在前方路缘观察***中的增强的立体视图生成
CN104735403A (zh) * 2013-12-18 2015-06-24 欧特明电子股份有限公司 车用障碍物侦测显示***
CN104811663B (zh) * 2015-04-17 2018-09-04 浙江吉利汽车研究院有限公司 车辆的图像处理方法及处理装置
CN104811663A (zh) * 2015-04-17 2015-07-29 浙江吉利汽车研究院有限公司 车辆的图像处理方法及处理装置
CN104760537A (zh) * 2015-04-21 2015-07-08 重庆大学 一种新型车载安全驾驶辅助***
CN108370433A (zh) * 2015-12-18 2018-08-03 株式会社电装 显示控制装置以及显示控制方法
CN108370433B (zh) * 2015-12-18 2020-05-26 株式会社电装 显示控制装置以及显示控制方法
CN106926794A (zh) * 2015-12-31 2017-07-07 合盈光电科技股份有限公司 车辆监控***及其方法
CN106926794B (zh) * 2015-12-31 2019-12-31 合盈光电科技股份有限公司 车辆监控***及其方法
CN107336669A (zh) * 2016-04-28 2017-11-10 合盈光电科技股份有限公司 车辆安全防护***及其方法
TWI650018B (zh) * 2017-07-18 2019-02-01 晶睿通訊股份有限公司 提供使用者介面以進行場景之監控畫面縫合之方法及其電子裝置
CN110406472A (zh) * 2018-04-27 2019-11-05 华创车电技术中心股份有限公司 停车辅助***及停车辅助方法
CN110525360A (zh) * 2019-08-26 2019-12-03 广汽蔚来新能源汽车科技有限公司 基于车载终端的辅助驾驶方法、装置、***及存储介质
CN110525360B (zh) * 2019-08-26 2022-04-26 合创汽车科技有限公司 基于车载终端的辅助驾驶方法、装置、***及存储介质

Also Published As

Publication number Publication date
CN101995239B (zh) 2012-05-23

Similar Documents

Publication Publication Date Title
CN101995239B (zh) 利用鸟瞰影像判断障碍物的***及方法
US11971475B2 (en) 2D MIMO vehicular radar sensing system
JP7342197B2 (ja) 撮像装置及び撮像装置の制御方法
US20110026771A1 (en) Obstacle determination system and method implemented through utilizing bird's-eye-view images
US10863335B2 (en) Vehicle trailer angle detection system using short range communication devices
US20200334475A1 (en) Vehicular trailer angle detection system
CN102745138B (zh) 一种双视场动态轨迹倒车影像***
US20130162825A1 (en) Avm top view based parking support system
EP1895766B1 (en) Camera with two or more angles of view
CN107627957A (zh) 作业车
GB2554427B (en) Method and device for detecting a trailer
US20210034903A1 (en) Trailer hitching assist system with trailer coupler detection
CN105015418B (zh) 车载显示屏视频切换方法
CN102303563A (zh) 前车碰撞预警***及方法
TWM593949U (zh) 用於車輛之影像整合警示系統
JP5951785B2 (ja) 画像処理装置及び車両前方監視装置
JP3960153B2 (ja) 車両周辺監視装置
CN104670089A (zh) 一种全景式行车监视报警***
CN110667477A (zh) 一种车辆夜间影视处理***及方法
CN111753741A (zh) 基于深度学习的特种车辆辅助驾驶方法、装置及存储介质
CN111856606A (zh) 一种基于红外热成像的前视智能驾驶辅助装置及方法
US20240236276A1 (en) Method and Apparatus for SVM Top View Image Processing
CN217598448U (zh) 一种车辆盲区可视化监控***及汽车
WO2020153262A1 (ja) 計測装置および測距装置
CN115009169A (zh) 一种视觉可转换的辅助驾驶安全***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant