CN112672047B - 图像采集***及图像处理方法 - Google Patents

Abstract

本公开涉及一种图像采集***。所述图像采集***包括：毫米波雷达组件，用于探测图像采集***所属主体周围的目标对象，获取所述目标对象的关联雷达信息，包括所述目标对象的外形尺寸、相对于所述主体的距离、速度以及角度；光学图像采集组件，用于获取所述目标对象及其所处场所的图像；以及图像采集指令组件，确定毫米波雷达组件所获取的目标对象的关联信息是否满足预定条件时，并在满足预定条件时，向光学图像采集组件发出图像实时采集指令。

Description

图像采集***及图像处理方法

技术领域

本公开涉及一种图像采集***，尤其涉及一种基于该图像采集***进行对象检测方法。

背景技术

现有摄像机具有人脸抓拍、道路监控、SMART事件等功能，通过深度学习算法，以海量图片及视频资源为基础，通过机器自身学习提取目标特征，形成深层可供学习的图像信息。在运动目标检测、跟踪、抓拍、筛选、越界侦测、区域入侵侦测、图像取证等方面有突出的特点。随着环境的变化及目标运动的复杂化，算法复杂度的增加对处理器的计算能力提出更加苛刻的要求。

现有摄像机在图像采集过程中一般使用红外灯补光等技术，弥补由于环境条件较差引起的CMOS成像等问题，在运动目标检测过程中主要依赖图像分析处理算法，通过去噪、锐化等技术调整图像质量。现有运动目标检测技术包括：帧差法、背景差、光流法，及特征匹配法等。通常的方式是通过连续采集视频帧序列，并针对每一帧序列，利用目标检测方法，检测特征目标，随后在出现特征目标时确定特征属性，最后对任意两个相邻帧序列，搜索特征属性位置，得到目标帧位置坐标。这种现有技术需要计算大量的视频帧，在环境较差条件(雨雪雾霾沙尘)下很难识别并跟踪目标。

因此，人们期望能够提供一种图像采集***和方法，一方面能够降低计算量，另一方面提高对运动目标的检测能力，提高处理器综合计算效能。

发明内容

本发明旨在解决上述技术问题之一。根据本公开的一个方面，提供了一种一种图像采集***，包括：毫米波雷达组件，用于探测图像采集***所属主体周围的目标对象，获取所述目标对象的关联雷达信息，包括所述目标对象的外形尺寸、相对于所述主体的距离、速度以及角度；光学图像采集组件，用于获取所述目标对象及其所处场所的图像；以及图像采集指令组件，确定毫米波雷达组件所获取的目标对象的关联信息是否满足预定条件时，并在满足预定条件时，向光学图像采集组件发出图像实时采集指令。

通过图像采集指令组件发出图像实时采集指令，可以使得实际需要处理和计算的视频帧数量得到显著的降低，也就是降低了无效的数据处理过程。

根据本公开的图像采集***，还包括：光学图像预处理组件，针对图像采集指令组件所实时获取的光学图像，同步获取光学图像中对应目标对象的同步关联雷达信息，并从实时获取的光学图像中去除不满足所述预定条件的目标对象的图像。

根据本公开的图像采集***，还包括：雷达信息分类组件，对毫米波雷达组件所实时获取的目标对象的关联雷达信息进行分类，并对不满足预定条件的关联雷达信息所对应的目标对象进行标记，以便光学图像预处理组件直接利用所标记的目标对象来去除同步实时获取的光学图像中的对应目标对象。

根据本公开的图像采集***，其中所述预定条件包括：目标对象相对主体的速度、距离或角度。

根据本公开的另一个方面，还提供了一种图像处理方法，包括：通过毫米波雷达组件探测图像采集***所属主体周围的目标对象，获取所述目标对象的关联雷达信息，包括所述目标对象的外形尺寸、相对于所述主体的距离、速度以及角度；通过光学图像采集组件基于图像采集指令组件在确定毫米波雷达组件所获取的目标对象的关联信息满足预定条件时所发送来的图像实时采集指令与毫米波雷达组件同步地获取所述目标对象及其所处场所的图像；以及通过光学图像预处理组件获取图像采集指令组件所实时获取的光学图像中对应目标对象的同步关联雷达信息，并从实时获取的光学图像中去除不满足所述预定条件的目标对象的图像。

根据本公开的图像处理方法，还包括：通过雷达信息分类组件对毫米波雷达组件所实时获取的目标对象的关联雷达信息进行分类，并对不满足预定条件的关联雷达信息所对应的目标对象进行标记，以便光学图像预处理组件直接利用所标记的目标对象来去除同步实时获取的光学图像中的对应目标对象。

根据本公开的图像处理方法，其中所述预定条件包括：目标对象相对主体的速度、距离或角度。

因此，本公开充分利用毫米波雷达模块在复杂环境条件下的物理技术探测优势，弥补摄像机在实际环境中易受光照等与背景环境因素影响的不足，同时利用CMOS图像传感器处理技术，提高目标侦测的效率。本公开通过去除不满足检测预定条件的目标对象，能够减少任意两个相邻帧序列中的检测对象，从而加速了数据的图像帧的处理速度，由此提高了摄像机对运动目标的检测能力，提高处理器综合计算效能。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1所示的是根据本公开的图像采集***所应用主体一种实例的的示意图。

图2所示的是根据本公开的图像采集***的原理示意图。

图3所示的是根据本公开的图像处理方法的流程示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本开。除非另有定义，本文使用的所有其他科学和技术术语具有与本发明所属领域的普通技术人员通常理解的相同的含义。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一也可以被称为第二，反之亦然。取决于语境，如在此所使用的词语“如果”可以被解释成为“在…时”或“当…时”或“响应于确定”。

为了使本领域技术人员更好地理解本公开，下面结合附图和具体实施方式对本公开作进一步详细说明。

图1所示的是根据本公开的图像采集***所应用的主体一种实例的的示意图。如图1所示，图像采集***所应用主体例如为行驶在道路上的车辆，车辆上安装有多个米波雷达以及光学图像采集组件。每个米波雷达各自与射频模块和信号处理器相连，分布于车辆的前部、后部、两侧以及底部，所有成像雷达被编号并存储于所述信号处理器的存储设备中。尽管在附图1中显示了车辆前后左右以及底部都设置了成像雷达，但是对本公开而言，仅仅需要在车辆前部以及后部各设置一个雷达就足够实现本公开的目的。而在车辆两侧、后部以及底部设置成像雷达，即可以实现本公开的目的也可以辅助前置以及后置成像雷达实现车辆的辅助驾驶或自动驾驶功能。例如后置成像雷达可以验证前置雷达成像的准确性。射频模块通过每个成像雷达的发射天线发射雷达波以及通过接收天线接收目标对象对所发射的雷达波的散射形成的散射信号，从进一步形成雷达回波数据。处理器对从射频模块传送来的雷达回波数据进行处理形成目标对象的关联雷达信息。最后，处理器中的图像采集指令组件基于目标对象的关联雷达信息判断是否满足预定的条件，从而能够指令图像采集组件是否实时采集光学图像。随后，处理器中对基于满足条件的关联雷达信息对实时采集的光学图像进行处理，识别图像中的有效对象和获取有效对象的关联信息，从而向用户发出提醒或自动控制诸如车辆等主体的后续行为。

雷达成像现在一般采用SAR体制，在飞机或卫星上装载雷达，照射地面待成像区域。根据不同物体的反射回波的强度和参数特征不同，可以成出图像。毫米波雷达通过收发无线电波，测量与汽车周围车辆的距离，角度和相对速度的装置。目前作为车载雷达(预测碰撞可能性，并联动警报装置及制动***，减轻碰撞时的受损程度)被广泛地使用。不易受大雾雨雪等恶劣天气以及尘土污垢等的影响，可稳定地检测车辆。由于普通目标对雷达波的散射不强，通常导致接收天线所接收到散射信号较弱。因此单纯使用雷达成像难以获得较好的成像效果。为此，如何结合雷达信号与光学信号能够获得更为准确的目标对象的图像。

图2所示的是根据本公开的图像采集***的原理示意图。如图2所示，图像采集***200包括：毫米波雷达组件210、光学图像采集组件220以及图像采集指令组件230。毫米波雷达组件210探测图像采集***所属主体周围的目标对象，获取所述目标对象的关联雷达信息，包括所述目标对象的外形尺寸、相对于所述主体的距离、速度以及角度。光学图像采集组件220获取所述目标对象及其所处场所的图像。图像采集指令组件230确定毫米波雷达组件所获取的目标对象的关联信息是否满足预定条件时，并在满足预定条件时，向光学图像采集组件发出图像实时采集指令。

因此，如图2所示，在图像采集***所应用的主体，例如车辆，行驶在道路上时，设置于交通工具上的毫米波雷达组件210的发射天线发射雷达波照射主体周围的各种目标对象时，设置于交通工具上的接收天线接收所述目标对象对发射天线发射的雷达波产生散射而形成的散射信号。随后所述毫米波雷达组件210的射频模块通过所形成的散射信号形成回波数据。接着，所述毫米波雷达组件210的处理器(未示出)根据所述回波数据连续生成雷达图像。最后，所述毫米波雷达组件210的处理器中的识别每个目标对象，并基于回波数据标识每个目标对象的关联雷达信息，包括所述目标对象的外形尺寸、相对于所述主体的距离、速度以及角度。

图像采集指令组件230会从所述毫米波雷达组件210获得每个目标对象的关联雷达信息，并判断毫米波雷达组件所获取的目标对象的关联信息是否满足预定条件时，并在满足预定条件时，向光学图像采集组件220发出图像实时采集指令。具体而言，例如，当毫米波雷达组件210所获得的关联雷达信息显示，某个目标对象为1米的物体时，图像采集指令组件230就会向光学图像采集组件220发出图像实时采集指令，以便获得实时光学图像。通过这种方式，使得光学图像采集组件220只需要获取收到该指令后的实时光学图像，从而极大减少了在大量的视频帧中搜索特征帧的复杂度。类似地，当毫米波雷达组件210所获得的关联雷达信息显示，某个目标对象相对于主体的靠近速度超过1米/秒时，图像采集指令组件230就会向光学图像采集组件220发出图像实时采集指令，以便获得实时光学图像。通过这种方式，使得光学图像采集组件220只需要获取收到该指令后的实时光学图像，从而也极大减少了在大量的视频帧中搜索特征帧的复杂度。这样，光学图像采集组件220通过实时获取图像向用户进行显示以便警示用户。相比较而言，在没有毫米波雷达组件210的协助下，光学图像采集组件220一方面会一直实时地获取光学图像并一直向用户预警，另一方面，由于视频帧图像数量巨大，就需要消耗大量的计算能力来对目标对象进行识别。更重要的是，在光学条件不佳的情况下，所获取的光学目标对象会不清楚，导致难以分辨，难以区分远近以及难以识别，这会为用户带来决策困难。而由于毫米波雷达组件210的存在，使得光学图像采集组件220所获得光学图像中的目标对象处于预定的范围内，因此目标对象更容易被识别。

可选择地，为了便于对光学图像中的对象进行目标对象的识别，可以基于关联雷达信息对所获得的光学图像进行预处理。返回参考图2，如图2所示，可以在图像采集指令组件230与毫米波雷达组件之间配置一个雷达信息分类组件240。雷达信息分类组件240对毫米波雷达组件所实时获取的目标对象的关联雷达信息进行分类，并对不满足预定条件的关联雷达信息所对应的目标对象进行标记，以便光学图像预处理组件直接利用所标记的目标对象来去除同步实时获取的光学图像中的对应目标对象。具体而言，雷达信息分类组件240基于预定分类条件，对关联雷达信息分类为预警信息和非预警信息。举例而言，对于相对距离远的目标对象的雷达信息设置为非预警信息，对于在预定距离范围之内的目标对象的雷达信息设置为预警信息。类似地，对于相对靠近速度高的目标对象的雷达信息设置为预警信息，对于相对靠近速度低的目标对象的雷达信息设置为非预警信息。各种参数可以组合形成关联雷达信息，从而以组合方式分类为预警信息和非预警信息。

在设置了雷达信息分类组件240的情况下，图像采集指令组件230直接基于在雷达信息分类组件240针对所有关联雷达信息分类出预警信息的情况下向光学图像采集组件220发出实时光学图像采集指令。因此，通过基于雷达主动探测的预警机制，处理器根据输入的预警特征及雷达数据从而获得CMOS图像，产生预警。这样，光学图像采集组件220所采集目标对象在所采集的光学图像将处于更突出的位置或状态。从而为后续的目标对象识别提供了更突出的参数特征。

可选择地，返回参见图2，在光学图像采集组件220之后布置光学图像预处理组件250。所述光学图像预处理组件250对光学图像采集组件220所实时采集的图像数据，基于雷达信息分类组件240对毫米波雷达组件210同步获取的关联雷达信息的分类处的预警信息和非预警信息，从实时获取的光学图像中去除不满足所述预定条件的目标对象的图像。具体而言，当同步获得的光学图像中的某些目标对象其对应的关联雷达信息显示处于非预警信息状态时，可以直接将该非预警信息状态下的目标对象去除，从而降低了后续对图像进行处理的待处理目标对象的数量，从而能够加快图像处理或对象识别和检测的速度。

图3所示的是根据本公开的图像处理方法的流程示意图。如图3所示，首先，在步骤S310处，通过毫米波雷达组件210探测主体周围的目标对象，获取目标对象及其关联雷达信息，尤其是运动目标对象及其关联雷达信息。具体而言，通过同步机制缓存目标对象的目标信息，包括目标运动相对距离、速度、角度等等。随后，在步骤S320处，通过雷达信息分类组件240将所获得的关联雷达信息进行分类并对不满足预定条件的关联雷达信息所对应的目标对象进行标记。通俗而言，就是通过雷达信息分类组件240产生预处理事件集。接着，在步骤S330处，通过图像采集指令组件230向光学图像采集组件220发出图像实时采集指令。随后，在步骤S340处，通过光学图像采集组件220基于所接收的图像实时采集指令实时采集光学图像，启动图像预采集。最后，在步骤S350处，通过光学图像预处理组件250基于不满足预定条件的关联雷达信息所对应的目标对象的标记从实时获取的光学图像中去除被标记的目标对象的图像。

总体而言，通过毫米波雷达模块侦测到运动目标，通过同步机制缓存目标信息，包括目标运动相对距离、速度、角度。接着基于雷达回波信号形成目标对象的预处理事件集，并基于该预处理事件启动光学图像的同步采集。对于不满足启动光学图像同步采集的虚警事件，则去除光学图像中的对应的无关目标对象，从而输出含有预处理事件对应的目标对象的光学图像，也就是输出含有对应非虚警事件的目标对象的光学图像。

俗语“约”和“大约”可用于意指在一些实施方案中目标尺寸的±20％以内、在一些实施方案中目标尺寸的±10％以内、在一些实施方案中目标尺寸的±5％以内，以及还有在一些实施方案中目标尺寸的±2％以内。术语“约”和“大约”可包括目标尺寸。

本文所述的技术方案可实现为方法，其中已经提供了至少一个实施例。作为所述方法的一部分所执行的动作可以以任意合适的方式排序。因此，可以构建实施方案，其中各动作以与所示的次序所不同的次序执行，其可包括同时执行一些动作，即使这些动作在说明性实施方案中被示为顺序动作。此外，方法在一些实施方案中可包括比示出的那些更多的动作，在其他实施方案中包括比示出的那些更少的动作。

虽然在此描述了本发明的至少一个说明性的实施方案，但是对于本领域的技术人员而言，可容易地进行多种改变、修改和改进。这样的改变、修改和改进旨在在本发明的精神和范围以内。因此，前述说明仅通过举例方式并不旨在作为限制。本发明仅由下列权利要求及其等同物所限定。

Claims (4)

1.一种图像采集***，包括：

毫米波雷达组件，用于探测图像采集***所属主体周围的目标对象，获取所述目标对象的关联雷达信息，包括所述目标对象的外形尺寸、相对于所述主体的距离、速度以及角度；

光学图像采集组件，用于获取所述目标对象及其所处场所的图像；

图像采集指令组件，确定毫米波雷达组件所获取的目标对象的关联信息是否满足预定条件时，并在满足预定条件时，向光学图像采集组件发出图像实时采集指令；

光学图像预处理组件，针对图像采集指令组件所实时获取的光学图像，同步获取光学图像中对应目标对象的同步关联雷达信息，并从实时获取的光学图像中去除不满足所述预定条件的目标对象的图像；以及

雷达信息分类组件，对毫米波雷达组件所实时获取的目标对象的关联雷达信息进行分类，并对不满足预定条件的关联雷达信息所对应的目标对象进行标记，以便光学图像预处理组件直接利用所标记的目标对象来去除同步实时获取的光学图像中的对应目标对象。

2.根据权利要求1所述的图像采集***，其中所述预定条件包括：目标对象相对主体的速度、距离或角度。

3.一种图像处理方法，包括：

通过毫米波雷达组件探测图像采集***所属主体周围的目标对象，获取所述目标对象的关联雷达信息，包括所述目标对象的外形尺寸、相对于所述主体的距离、速度以及角度；

通过光学图像采集组件基于图像采集指令组件在确定毫米波雷达组件所获取的目标对象的关联信息满足预定条件时所发送来的图像实时采集指令与毫米波雷达组件同步地获取所述目标对象及其所处场所的图像；以及

通过光学图像预处理组件获取图像采集指令组件所实时获取的光学图像中对应目标对象的同步关联雷达信息，并从实时获取的光学图像中去除不满足所述预定条件的目标对象的图像；

通过雷达信息分类组件对毫米波雷达组件所实时获取的目标对象的关联雷达信息进行分类，并对不满足预定条件的关联雷达信息所对应的目标对象进行标记，以便光学图像预处理组件直接利用所标记的目标对象来去除同步实时获取的光学图像中的对应目标对象。

4.根据权利要求3所述的图像处理方法，其中所述预定条件包括：目标对象相对主体的速度、距离或角度。

Images