CN105574511B - 具平行架构的适应性物体分类装置及其方法 - Google Patents

Abstract

本发明公开了一种具平行架构的适应性物体分类装置及其方法，其中具平行架构的适应性物体分类方法包含储存多笔场景参数及多笔分类器参数的步骤，先撷取至少一影像数据后，框选出影像数据中的多个障碍物影像，可根据每一障碍物影像范围选定适当的框选范围。再利用多个影像处理单元以一对一的平行处理方式分别对应计算出多个障碍物影像的多笔障碍物特征数据，并根据多个障碍物特征数据选取对应的场景参数及对应的多个分类器参数并进行运算，以取得多笔分类数据，若判定分类数据为所预设的障碍物种类，则输出所框选障碍物影像的位置，如此可达到实时侦测障碍物的目的。

Description

具平行架构的适应性物体分类装置及其方法

技术领域

本发明涉及一种适应性物体分类装置及其方法，特别是指一种具平行架构的适应性物体分类装置及其方法。

背景技术

由于近年行车安全越来越被重视，随着影像设备的成本大幅降低以及影像辨识技术日渐成熟，影像辨识***应用在车辆安全上越来越广泛，并且在安全***中，使用影像辨识是降低整个***成本的一个重要的方法。根据统计数据显示，驾驶员只要在发生碰撞的0.5秒前得到预警，即可以避免至少60％的追尾撞车事故、30％的迎面撞车事故和50％的路面相关事故，而若有1秒钟的预警时间，则可避免90％的事故。但在影像辨识***中，计算量庞大是一个主要的困难点，对于实时运算要求严苛的车辆安全***中更加需要被重视。

以防撞***而言，使用的行人侦测***通常都是非常昂贵的设备，譬如用红外线侦测、激光雷达侦测等，由于道路场景的复杂，如在同一场景有多个行人、车辆以及猫狗等，因此更需要更强健的特征参数将行人与其他背景信息分离出来。此外，行人侦测***在侦测过程中，常受到拍摄现场各种环境变化因素的干扰而使得侦测结果的准确率下降，例如在光照不均的环境中造成行人部分过亮或过暗，或是在行人的驱体被部分遮蔽的情况下，常常无法准确的判断场景中是否有行人存在。另一种行人侦测的方法为利用背景撷取方法得到前景信息以作为近一步的影像处理方法，然而利用此方法撷取影像得到的为较为破碎的前景，造成后端辨识的困难，并且因需要长时间撷取，从而增加***的负担。因此，如何提升障碍物的侦测效率以及满足实时侦测需求是亟待解决的问题。

有鉴于此，本案发明人遂针对上述现有技术的不足，提出一种具平行架构的适应性物体分类装置及其方法，以有效克服上述的问题。

发明内容

本发明的主要目的在于提供一种具平行架构的适应性物体分类装置及其方法，平行处理多个障碍物影像，从而能够加速影像处理效率，进而简化影像处理的复杂度及减少耗时。

本发明的另一目的在于提供一种具平行架构的适应性物体分类装置及其方法，其可根据所撷取的影像判断出对应的场景，可根据各种不同场景来弹性调整分类器参数，能够运算出准确度更高的障碍物影像及其种类，以解决现有侦测***误判的问题。

本发明的又一目的在于提供一种具平行架构的适应性物体分类装置及其方法，其可根据所撷取的影像的远深及障碍物影像的尺寸，框选出适当的障碍物影像范围再进行影像处理，能够提升影像处理效率。

本发明的再一目的在于提供一种具平行架构的适应性物体分类装置及其方法，其可嵌入于车辆的防撞***中，以达到实时侦测的目的。

为了达到上述目的，本发明提供了一种具平行架构的适应性物体分类方法，该方法包含储存多笔场景参数及多笔分类器参数的步骤，适应性物体分类方法包括下列步骤：撷取至少一影像数据；框选出影像数据中的多个障碍物影像，且根据每一障碍物影像范围选定适当的框选范围。再利用多个影像处理单元分别对应计算出多个障碍物影像的多笔障碍物特征数据，并根据多个障碍物特征数据选取对应的场景参数及对应的多个分类器参数并进行运算，以取得多笔分类数据。其中，多个分类器参数包括不同障碍物种类的多笔方向梯度特征参数，每一分类数据由每一障碍物特征数据乘上相对应的分类器参数，并加总而取得。比较分类数据是否大于一浮动阀值，浮动阀值对应一障碍物种类，若是，则判定分类数据对应的障碍物种类，并输出所框选障碍物影像的位置，若否，则判定分类数据不对应任何一个障碍物种类。由于本发明不仅可以平行处理多个障碍物影像，有效缩短运算时间，从而达到实时侦测的目的，又可根据影像数据判断出对应的场景，不仅能够根据场景参数适应性调整分类器参数，并搭配障碍物特征数据进行运算以取得更可靠的分类数据，因此可大幅提升整体侦测准确度，极具市场竞争优势。

其中，框选多个障碍物影像步骤之前，还包括以下步骤：从影像数据中选定一有兴趣区域，再从有兴趣区域中框选出影像数据中的多个障碍物影像。并考虑到影像数据中的多个障碍物影像具远深及影像大小问题，故框选多个障碍物影像步骤之后，还包括调整每一障碍物影像的框选范围大小的步骤。

其中，方向梯度算法还包括以下步骤：先计算每一障碍物影像的边缘值，方向梯度算法(HOG)将每一障碍物影像划分为多个小区块，再计算每一小区块中的每一像素的方向及边缘参数值并加总，以取得九个特征向量，并统计每一小区块内的九个特征向量，获得障碍物影像的障碍物特征数据。

本发明还提供了一种具平行架构的适应性物体分类装置，该装置储存有多笔场景参数及多笔分类器参数，适应性物体分类装置包括至少一影像撷取器及一影像处理器。影像撷取器撷取至少一影像数据，并框选出影像数据中的多个障碍物影像，且根据每一障碍物影像范围选定适当的框选范围。影像处理器包括多个影像处理单元，多个影像处理单元分别对应计算出多个障碍物影像的多笔障碍物特征数据，根据多个障碍物特征数据选取对应的场景数据及对应的多个分类器参数并进行运算，以取得多笔分类数据，再将分类数据与一浮动阀值比较，浮动阀值对应一障碍物种类，并输出相对应浮动阀值的所框选障碍物影像的位置。

下面通过具体实施例详加说明，当更容易了解本发明的目的、技术内容、特点及其所达成的功效。

附图说明

图1为本发明的方块示意图；

图2为本发明的步骤流程图；

图3为本发明中的平行化多重框选障碍物影像示意图；

图4A至图4D为本发明侦测影像数据中障碍物的流程示意图。

附图标记说明：10-储存器；102-场景参数；104-分类器参数；12-影像撷取器；122-影像数据；124、124a、124b、124c、124d-障碍物影像；14-影像处理器；142、142a、142b、142c、142d-影像处理单元；144-调整尺寸单元；16-显示器。

具体实施方式

为使防撞***(AEB)能够快速判断出刹车时间，本发明提供了一种具备平行化架构与管线式运算技术的适应性物体分类装置及其方法，来解决现有技术无法实时侦测的缺点。

如图1所示为本发明的方块示意图。适应性物体分类装置内建于一防撞***中，适应性物体分类装置包括一储存器10、至少一影像撷取器12及一影像处理器14，影像处理器14电性连接储存器10及影像撷取器12。其中，储存器10可为同步动态随机存取储存器(Synchronous Dynamic Random Access Memory，SDRAM)，其内部储存有多笔场景参数102及多笔分类器参数104，影像处理器14包含多个影像处理单元142及多个调整尺寸单元(resize unit)144，该多个影像处理单元142电性连接该多个调整尺寸单元144。影像撷取器12撷取一影像数据122之后，框选出影像数据122中的多个障碍物影像124，且根据每一障碍物影像124范围选定适当的框选范围。由于影像撷取器12具有远近撷取影像能力，障碍物影像124范围亦随之不同，故利用该多个调整尺寸单元144将所框选的每一障碍物影像124范围调整为适当的框选范围，如此可以减少后续影像处理的数据量。为了加速影像处理效率，其中框选出几个障碍物影像124就对应有几个影像处理单元142进行平行处理，亦即影像处理单元142与障碍物影像124为一对一的平行处理方式，故多个影像处理单元142对应计算出多个障碍物影像的多笔障碍物特征数据。再根据多个障碍物特征数据选取对应的场景参数102及对应的多个分类器参数104并进行运算，以取得多笔分类数据，再将分类数据与一浮动阀值比较，浮动阀值对应一障碍物种类，并输出相对应浮动阀值的所框选障碍物影像124的位置于一显示器16中。利用平行处理数个障碍物影像124方法，能够加速影像处理效率，进而简化影像处理的复杂度及减少耗时。

为更进一步了解本发明如何以平行架构及管线式运算方式来达到实时侦测功效，如图1、图2及图3所示，图2为本发明的步骤流程图，图3为本发明的平行化多重框选障碍物影像示意图。首先，如步骤S10，撷取至少一影像数据122，在此以一张影像数据为例说明。可根据目前行车动态的兴趣区间，动态调整扫瞄的区域，避免扫瞄不需要运算的影像区域以减少运算量，如步骤S12，从影像数据中选定一有兴趣区域(ROI)，再从有兴趣区域中框选出影像数据122中的多个障碍物影像，多个障碍物影像为车辆、行人、动物、电线杆、路树、路障或以上的组合，如图3所示，多个障碍物影像包含有障碍物影像124a、障碍物影像124b、障碍物影像124c及障碍物影像124d，如步骤S14，利用多个调整尺寸单元144分别对应来调整每一障碍物影像124a、124b、124c、124d的框选范围大小，使每一障碍物影像124范围选定为适当的框选范围，由于障碍物种类的不同，其长、宽、高以及考虑到拍摄焦距远近所呈现的影像大小差异，利用调整尺寸单元144针对不同障碍物影像来调整框选范围大小，能够提升影像处理速率。如步骤S16，利用多个影像处理单元分别对应计算出多个障碍物影像的多笔障碍物特征数据，如影像处理单元142a计算出障碍物影像124a的障碍物特征数据，影像处理单元142b计算出障碍物影像124b的障碍物特征数据，影像处理单元142c计算出障碍物影像124c的障碍物特征数据，影像处理单元142d计算出障碍物影像124d的障碍物特征数据，其中，影像处理单元142a、142b、142c、142d是平行处理所对应的障碍物影像124a、124b、124c、124d，并根据多个障碍物特征数据选取对应的场景参数102及对应的多个分类器参数104并进行运算，以取得多笔分类数据。其中，场景参数102为过曝场景、夜间场景、向阳场景或黄昏场景，并可依据不同场景而弹性调整，分类器参数104包括不同障碍物种类的多笔方向梯度特征参数，并可依据障碍物种类而及时调整。最后如步骤S18，比较分类数据是否大于一浮动阀值，浮动阀值对应一障碍物种类，若是，则执行步骤S20，判定分类数据对应的障碍物种类，并输出所框选障碍物影像的位置；若否，则执行步骤22，则判定分类数据不对应任何一个障碍物种类，其中障碍物种类为车体、行人或路障。由于本发明可根据所撷取的影像判断出对应的场景，可根据各种不同场景来弹性调整分类器参数104，能够运算出准确度更高的障碍物影像124及其种类，以解决现有侦测***误判的问题，且多个影像处理单元142内建于车辆的防撞***中。

为进一步说明本发明的影像处理单元142如何计算出障碍物影像的障碍物特征数据，以及如何根据障碍物特征数据选取对应的场景参数及对应的分类器参数并进行运算，以取得分类数据，在此障碍物影像以行人侦测影像为例说明。如图1及图4A至图4D所示，图4A至图4D为本发明侦测影像数据中障碍物的流程示意图。在此，本发明是使用方向梯度算法(Histogram of Oriented Gradient,HOG)计算障碍物特征值，主要为统计整张影像的梯度强度以及方向信息作为后续分类的依据，使用方向梯度算法对于障碍物的边缘增加强度以及对障碍物变形能力有较高容忍度。另，本发明储存的多笔分类器参数来自于支持向量机分类器(Support Vector Machine,SVM)，其为利用向量内积将障碍物的特征参数对应到一超平面，将障碍物特征值的分离度为最大。具体而言，支持向量机分类器使用数百张或数千张的行人样本作为行人影像数据库，经由方向梯度算法计算出障碍物特征值后，再输入至支持向量机分类器进行脱机训练，最后将训练结果的多笔分类器参数作为后续障碍物种类的分类依据。

如图4A所示，撷取一影像数据122，并框选出影像数据122中的多个障碍物影像124a、障碍物影像124b、障碍物影像124c，再如图4B所示，每一影像处理单元142利用方向梯度算法先计算每一该障碍物影像的边缘值，将框选后的每一障碍物影像124划分为多个小区块(block)，再计算每一该小区块中的每一像素的方向及边缘参数值并加总，以取得每一小区块内的九个特征向量。举例来说，侦测到障碍物影像124为行人时，障碍物影像124大小为64(n)×128(m)，将障碍物影像124中的每一个像素进行边缘侦测(Edge Detection)，可得到每一个像素的边缘方向与边缘强度，接下来将障碍物影像124分成大小为16×16且部分重迭的单元(cell)进行方向梯度算法的运算，且每次位移8格，在此，为了减少运算时间，会利用管线式设计方法，将数据流预先储存于一小块内存中(SRAM)，以减少数据搬移时间，加速指令周期，其中内存电性连接影像处理器14。由于边缘方向相差180度可视为同一方向，因此将每个单元依边缘方向在0～180度分成九个特征向量，也就是每个16×16个区块会对应到九个方向，如图4C所示，此阶段的总数据量为9×(n/8)×(m/8)个障碍物特征数据。其中每一单元内所有像素分别对其所属的方向特征向量做投票统计，所投的票数为像素的边缘强度，这九个方向的信息可用九维的向量来代表，也就是九个特征向量。将四个相邻单元视为一个区块，不同区块间可相互重迭，区块用其内4个单元的特征向量来描述障碍物影像124位置的局部边缘信息。在此利用平行运算，将四个单元同时间进行计算，并且将其放入内存以进行统计，以加速整体指令周期。最后以36维向量来代表，36维向量经正规化(Normalize)使向量长度为1，将所有7x15个区块的36维向量组合起来可得到3780维的向量，此向量包含了行人整体与局部的信息，也就是障碍物影像124的障碍物特征数据。

接续，将每笔障碍物特征数据乘上相对应的分类器参数，例如障碍物特征数据9×(n/8)×(m/8)乘上分类器参数9×(n/8)×(m/8)，并加总而取得一结果值，此结果值为此框选区域的分数，如此分数大于一浮动阀值，就代表此框选区域具有所侦测的障碍物，反之则无障碍物，如图4D所示，在此以侦测行人为例，因此，框选区域的分数大于一浮动阀值即表示框选区域具有所侦测的障碍物为行人，并显示框选区域的行人影像，如显示障碍物影像124b、障碍物影像124c；反之，框选区域的分数小于一浮动阀值，则框选区域具有所侦测的障碍物非行人，例如有可能是车辆、路障或其他障碍物或无任何障碍物。由于障碍物种类不同，分类器参数与浮动阀值也会随之变动，因此可实时调整分类器参数，以达到更准确的侦测效率，不再局限于现有的因无法适应性调整场景参数及分类参数而产生侦测错误的问题。也就是说，影像处理单元142可根据障碍物特征数据选取对应的场景参数及对应的分类器参数并进行运算，以取得分类数据，加强此装置的辨识精准度。综上所述，由于现有技术侦测障碍物及分类出障碍物种类必须于影像中逐一搜寻侦测出障碍物，再依序侦测运算处理并分类出障碍物种类，此影像运算量相当大且耗时，不易达到实时判断的效率。而本发明为了使防撞***能快速精确判断刹车时机，因此设计了具平行架构及管线式运算架构的适应性物体分类装置，使用一对一的影像处理平行运算多个障碍物影像，能够加速统计向量的处理效率，提供准确度更高的障碍物数据予防撞***，能避免交通事故发生，进而简化影像处理的复杂度及耗时问题。

另外，由于目前所使用的分类器参数是事先训练好的参数，并嵌入防撞***中，当车辆在室外行驶中遇到不同场景时，如黄昏、向阳、夜间或过曝等场景，因无法调整适当的场景参数，也无法因为场景不同而调整分类器参数，因此容易造成误判及侦测率下降等缺点。而本发明可根据所撷取的影像判断出对应的场景，可根据各种不同场景来弹性调整分类器参数，因具备可适应性的场景判断能力，能够运算出准确度更高的障碍物影像及其种类，以解决现有侦测***误判的问题。更进一步而言，本发明可根据所撷取的影像的远深及障碍物影像的尺寸，框选出适当的障碍物影像范围再进行影像处理，能够提升影像处理效率，进而解决目前影像范围大而造成的运算量庞大问题。

以上所述仅为本发明的较佳实施例而已，并非用来限定本发明实施的范围。故即凡依本发明权利要求范围所述的特征及精神所为的均等变化或修饰，均应包括于本发明的保护范围内。

Claims (12)

1.一种具平行架构的适应性物体分类方法，该方法包含储存多笔场景参数及多笔分类器参数的步骤，其特征在于，该适应性物体分类方法包括下列步骤：

撷取至少一影像数据；

框选出该影像数据中的多个障碍物影像，且根据每一该障碍物影像范围选定适当的框选范围；

利用多个影像处理单元分别对应计算出该多个障碍物影像的多笔障碍物特征数据，并根据该多个障碍物特征数据选取对应的该场景参数及对应的该多个分类器参数并进行运算，以取得多笔分类数据，每一该分类数据由每一该障碍物特征数据乘上相对应的该分类器参数，并加总而取得；以及

比较该多个分类数据是否大于一浮动阀值，该浮动阀值对应一障碍物种类并根据该障碍物种类及该多个场景参数不同而对应的阀值，若是，则判定该分类数据对应的该障碍物种类，并输出所框选该障碍物影像的位置，若否，则判定分类数据不对应任何一个该障碍物种类。

2.根据权利要求1所述的具平行架构的适应性物体分类方法，其特征在于，于框选该多个障碍物影像的步骤之前，进一步包括以下步骤：从该影像数据中选定一有兴趣区域，再从该有兴趣区域中框选出该影像数据中的该多个障碍物影像。

3.根据权利要求2所述的具平行架构的适应性物体分类方法，其特征在于，于框选该多个障碍物影像步骤之后，进一步包括以下步骤：调整每一该障碍物影像的该框选范围大小。

4.根据权利要求1所述的具平行架构的适应性物体分类方法，其特征在于，每一该影像处理单元利用一方向梯度算法将每一该障碍物影像划分为多个小区块，并统计每一该小区块内的九个特征向量，获得该障碍物影像的该障碍物特征数据。

5.根据权利要求4所述的具平行架构的适应性物体分类方法，其特征在于，该方向梯度算法包括以下步骤：先计算每一该障碍物影像的边缘值，再计算每一该小区块中的每一像素的方向及边缘参数值并加总，以取得该九个特征向量。

6.根据权利要求1所述的具平行架构的适应性物体分类方法，其特征在于，该多个场景参数包含过曝场景、夜间场景、向阳场景或黄昏场景；该多个分类器参数包括不同障碍物种类的多笔方向梯度特征参数。

7.一种具平行架构的适应性物体分类装置，该装置储存有多笔场景参数及多笔分类器参数，其特征在于，该适应性物体分类装置包括：

至少一影像撷取器，用于撷取至少一影像数据，并框选出该影像数据中的多个障碍物影像，且根据每一该障碍物影像范围选定适当的框选范围；以及

一影像处理器，电性连接该影像撷取器，该影像处理器包含多个影像处理单元，多个影像处理单元用于分别对应计算出该多个障碍物影像的多笔障碍物特征数据，根据该多个障碍物特征数据选取对应的场景数据及对应的分类器参数并进行运算，以取得多笔分类数据，每一该分类数据由每一该障碍物特征数据乘上相对应的该分类器参数，并加总而取得，再将该多个分类数据与一浮动阀值比较，该浮动阀值对应一障碍物种类，根据该障碍物种类及该多个场景参数不同而对应的阀值，并输出相对应该浮动阀值的所框选该障碍物影像的位置。

8.根据权利要求7所述的具平行架构的适应性物体分类装置，其特征在于，该影像撷取器能够从该影像数据中选定一有兴趣区域，再从该有兴趣区域中框选出该影像数据中的该多个障碍物影像。

9.根据权利要求8所述的具平行架构的适应性物体分类装置，其特征在于，该影像处理器包含多个调整尺寸单元，多个调整尺寸单元分别电性连接该多个影像处理单元，多个调整尺寸单元根据该影像撷取器撷取该影像数据的远近，利用每一该调整尺寸单元对应调整每一该障碍物影像的该框选范围大小。

10.根据权利要求7所述的具平行架构的适应性物体分类装置，其特征在于，每一该影像处理单元利用一方向梯度算法将每一该障碍物影像划分为多个小区块，并统计每一该小区块内的九个特征向量，获得该障碍物影像的该障碍物特征数据。

11.根据权利要求7所述的具平行架构的适应性物体分类装置，其特征在于，该多个场景参数包含过曝场景、夜间场景、向阳场景或黄昏场景；该多个分类器参数包括不同该障碍物种类的多笔方向梯度特征参数。

12.根据权利要求7所述的具平行架构的适应性物体分类装置，其特征在于，该影像撷取器及该影像处理器内建于一车辆的防撞***中。