CN112529786A - 图像处理设备及方法和非暂时性计算机可读存储介质 - Google Patents

Abstract

本发明提供了图像处理设备及方法和非暂时性计算机可读存储介质。图像处理设备包括：第一校正单元，用于使用第一校正量对对象区域的图像进行第一灰度级校正；第一估计单元，用于估计所述第一校正单元校正后的对象区域的图像中的特定物体的数量；第二校正单元，用于使用与所述第一校正量不同的第二校正量对对象区域的图像进行第二灰度级校正；第二估计单元，用于估计所述第二校正单元校正后的对象区域的图像中的特定物体的数量；以及选择单元，用于选择所述第一估计单元所估计出的特定物体的数量和所述第二估计单元所估计出的特定物体的数量中的较大者。

Description

图像处理设备及方法和非暂时性计算机可读存储介质

技术领域

本发明涉及图像处理设备、图像处理方法和非暂时性计算机可读存储介质。

背景技术

存在一种已知技术，该技术用于分析从监视照相机以固定的时间间隔获取到的图像，并记录图像感测范围内的诸如人体和车辆等的特定物体的数量，其目的是掌握拥挤状况或利用营销。估计特定物体的数量的方法的示例包括用于测量由人体检测单元检测到的人数的技术、以及用于根据基于后续帧图像之间的变化量和运动的检测结果而计算出的拥挤程度来估计特定物体的数量的技术。

在上述技术中，估计是基于根据图像计算出的特征点和运动的检测结果进行的，从而估计精度根据输入图像的对比度而变化，并且在低对比度状态下(例如，特别是在雾或霭中拍摄图像的情况下以及在通过玻璃拍摄图像的情况下)降低。

作为强调对比度的技术，日本专利6486055讨论了一种根据从图像的直方图设置的校正程度来进行灰度级校正的技术。日本特开2002-305683讨论了一种用于参考图像的特定对象区域进行灰度级校正的技术。

然而，由于上述专利文献中讨论的传统技术并不旨在估计特定物体的数量，因此即使改善了图像质量也可能存在如下的情况：根据传统技术的灰度级校正在估计特定物体的数量的处理方面并不是优选的。因此，传统技术不适合于提高特定物体的数量的估计精度。

发明内容

鉴于上述问题做出了本发明，并且本发明旨在提高图像中的特定物体的数量的估计精度。

根据本发明的第一方面，提供一种图像处理设备，包括：第一校正单元，其被配置为使用第一校正量对图像进行第一灰度级校正；第一估计单元，其被配置为估计所述第一校正单元校正后的图像中的特定物体的数量；第二校正单元，其被配置为使用与所述第一校正量不同的第二校正量对图像进行第二灰度级校正；第二估计单元，其被配置为估计所述第二校正单元校正后的图像中的特定物体的数量；以及选择单元，其被配置为选择所述第一估计单元所估计出的特定物体的数量和所述第二估计单元所估计出的特定物体的数量中的较大者。

根据本发明的第一方面，提供一种图像处理方法，包括：使用第一校正量对图像进行第一灰度级校正；估计校正后的图像中的特定物体的数量；使用与所述第一校正量不同的第二校正量对图像进行第二灰度级校正；估计校正后的图像中的特定物体的数量；以及选择特定物体的估计数量中的较大者。

根据本发明的第一方面，提供一种存储有程序的非暂时性计算机可读存储介质，所述程序在被计算机读取并执行时使得所述计算机执行图像处理方法的步骤，所述图像处理方法包括：使用第一校正量对图像进行第一灰度级校正；估计校正后的图像中的特定物体的数量；使用与所述第一校正量不同的第二校正量对图像进行第二灰度级校正；估计校正后的图像中的特定物体的数量；以及选择特定物体的估计数量中的较大者。

本发明可以提高图像中的特定物体的数量的估计精度。

通过以下参考附图对典型实施例的描述，本发明的其它特征将变得明显。

附图说明

图1是示出根据第一典型实施例的图像处理设备的结构示例的框图。

图2是示出图像处理设备中的图像处理的示例的流程图。

图3A是示出估计对象图像的图，以及图3B至3D是通过估计对象图像获取的图。

图4是示出根据第二典型实施例的图像处理***的结构示例的框图。

图5是示出由数量记录单元针对时间上连续的帧图像记录了估计人数的记录帧图像的分配的示例的图。

图6是示出图像处理***中的图像处理的示例的流程图。

图7A至7C是各自示出估计对象图像和由数量估计单元获取到的位置信息的示例的图。

具体实施方式

在下文中，将参考附图详细描述实施例。注意，以下实施例不意图限制要求保护的发明的范围。在实施例中描述了多个特征，但是并不限制要求所有这样的特征的发明，并且可以适当地组合多个这样的特征。此外，在附图中，相同的附图标记被赋予相同或相似的结构，并且省略其重复描述。

(第一典型实施例)

图1是示出根据第一典型实施例的图像处理设备的结构示例的框图。

图像处理设备包括：图像获取单元1，用于获取图像；灰度级校正单元2，用于校正所获取到的图像的灰度级；数量估计单元3，用于估计校正后图像中的特定物体的数量；以及数量记录单元4，用于记录由数量估计单元3估计出的数量。

图像获取单元1从要估计特定物体的数量的区域(对象区域)获取图像。灰度级校正单元2基于预定校正量对由图像获取单元1获取到的图像进行灰度级校正。数量估计单元3通过分析由灰度级校正单元2进行了灰度级校正的图像，来估计摄像范围内的特定物体的数量(例如，在特定物体是人体的情况下的人数)。数量估计单元3能够与人数一起获取关于图像上的特定物体的位置信息。数量记录单元4记录由数量估计单元3估计出的特定物体的估计数量。数量记录单元4记录由数量估计单元3获取到的关于特定物体的位置信息。

将通过使用估计作为特定物体的示例的人体的数量的示例来描述本典型实施例，但是特定物体不限于此，并且可以是车辆等。估计人体的数量(人数)的方法没有特别限制，并且可以是用于测量检测到与人体的头到肩膀相对应的凸形的次数的方法，或者是使用其它特征量或运动量的检测结果的估计方法。

图2是示出根据第一典型实施例的信息处理设备的图像处理的示例的流程图。

在步骤S1中，图像获取单元1首先获取对象区域的图像。图像获取单元1可以从诸如互补金属氧化物半导体(CMOS)传感器等的摄像元件获取图像，或者获取在诸如硬盘驱动器等的外部设备中记录的图像。随后，在步骤S2中，灰度级校正单元2生成具有不同校正量的多个校正曲线。作为用于生成校正曲线的方法，可以参考预先准备的校正曲线表来顺序地生成校正曲线，或者可以通过以下(参考图3A至3D)描述的方法来生成与图像相对应的校正曲线。

图3A至3D是示出用于生成校正曲线的方法的图。图3A示出估计对象图像，以及图3B至3D各自示出可以从估计对象图像获取的直方图的示例。图3A示出作为估计对象的并且在雾或霭等的影响下对比度降低的图像30的示例。阴影部分31表示诸如阴暗区域等的照度局部低的区域。因此，在示出图3A的直方图的图3B中，在中亮度区域中频数高。

直方图通常通过以下方式形成：将由图像的各像素可以拍摄的亮度的范围除以预定的分割数量而分割为多个部分，并通过扫描图像对具有属于各个部分的亮度的像素的数量进行计数来计算频数。虽然在本典型实施例中描述了将亮度的范围分割为八个的示例以进行说明，但是分割数量没有具体限制。

下面将参考图3A至3D描述用于生成校正曲线的方法的示例。

灰度级校正单元2首先根据亮度将图像分割为多个区域。可以进行用以减少图像的高频分量的滤波处理等作为用于根据全局亮度分布而分割为区域的预处理。

将提供以预定的亮度Y1用作为边界来分割图像的示例的描述。

例如，在图3A所示的示例中，灰度级校正单元2通过将亮度小于预定亮度Y1的区域(阴影部分31)设置为低亮度区域、并且将其它区域设置为非低亮度区域来分割图像。随后，灰度级校正单元2创建图像的直方图。此时，在对低亮度区域中存在的像素的频数进行计数时，灰度级校正单元2不将频数加1，而是将通过使1乘以第一权重w1而获得的值加到频数来计算频数。相反，对于非低亮度区域，灰度级校正单元2将通过使1乘以第二权重w2而获得的值加到频数来计算频数。此时，灰度级校正单元2设置第一权重w1和第二权重w2，使得所有像素的权重的平均值变为1。

图3C示出利用如上所述所分配的权重创建的加权直方图的示例。如果以这种方式利用所分配的权重来计算直方图，则如图3C所示，所得到的直方图表示低亮度区域的频数被强调。

此后，灰度级校正单元2生成校正曲线35，该校正曲线35具有与加权直方图的各部分中的频数成比例倾斜的输入/输出特性，如图3D所示。也就是说，灰度级校正单元2确定校正曲线，使得校正曲线的倾斜度在具有较高亮度频数的区域中变得更大。灰度级校正单元2可以基于以这种方式创建的校正曲线，通过对由图像获取单元1获取到的图像进行灰度级校正，来获取强调低亮度区域的对比度的图像。结果，与根据未进行灰度级校正的图像来估计数量的情况相比，根据本典型实施例的数量估计单元3能够提高低亮度区域中的数量的估计精度。可选地，通过使用高于亮度Y1的亮度Y2代替亮度Y1而将图像分割为高亮度区域和非高亮度区域来创建强调高亮度区域中的频数的直方图，这使得能够创建强调高亮度区域中的对比度的校正曲线。通过使用第一亮度Y1和第二亮度Y2，可以生成强调亮度大于或等于第一亮度Y1且小于或等于第二亮度Y2的中亮度区域中的频数的校正曲线。此外，可以通过改变第一亮度Y1、第二亮度Y2、第一权重w1和第二权重w2来创建各种校正曲线。

返回参考图2，在步骤S2之后的步骤S3中，灰度级校正单元2基于生成的各校正曲线进行灰度级校正，并且输出用于估计的多个图像。

在步骤S4中，数量估计单元3针对通过灰度级校正单元2进行了灰度级校正的用于估计的多个图像来对人数进行估计。随后在步骤S5中，数量估计单元3比较针对用于估计的多个图像所估计出的人数。此外，在步骤S6中，数量估计单元3根据比较的结果从多个估计人数中选择最大估计人数，并且将最大估计人数提供给数量记录单元4。数量记录单元4记录由数量估计单元3提供的估计出的人数。这里，不同的区域可以采用校正曲线中的不同的最大估计人数，使得整个区域可以预先被分割为多个用于记录的区域，并且可以针对用于记录的各区域记录最大估计人数。换句话说，可以根据任何分割区域中的对象物体的估计数量来估计对象区域中的图像中所包括的特定物体的数量。

如上所述，在本典型实施例中，使用强调了低亮度区域中的对比度的图像来估计特定物体的数量，这可以提高图像中的特定物体的数量的估计精度。在本典型实施例中，估计经过了校正的估计用的图像中的人数，并从估计人数中选择最大估计人数，这可以进一步提高图像中的特定物体的数量的估计精度。

(第二实施例)

图4是示出根据第二典型实施例的图像处理***的结构示例的框图。

与根据上述第一典型实施例的图像处理设备相同的图像处理***的构成要素或对应部分由相同的附图标记表示，并且将省略其描述。

图像处理***包括用于拍摄对象区域的图像的摄像设备10以及用于对由摄像设备10拍摄的图像进行处理的信息处理设备20。

摄像设备10包括：代替图像获取单元1的摄像单元11、用于校正来自摄像单元11的图像的灰度级的灰度级校正单元2、用于与信息处理设备20通信的通信单元13、以及用于记录估计信息的估计信息记录单元14。

摄像单元11将通过摄像所拍摄的连续帧图像输出至灰度级校正单元2。通信单元13将利用灰度级校正单元2进行了灰度级校正的帧图像发送至信息处理设备20。估计信息记录单元14将经由通信单元13从信息处理设备20获取的估计数量、以及针对可以从灰度级校正单元2获取并用作估计对象的帧图像的校正曲线记录为一组估计信息。

信息处理设备20包括用于与摄像设备10通信的通信单元21、用于记录来自摄像设备10的视频的视频记录单元22、用于输入设置的设置输入单元23、数量估计单元3和数量记录单元4。视频记录单元22包括诸如存储装置和存储器装置等的记录装置。在本典型实施例中，数量估计单元3能够输出表示图像上的物体的位置的位置信息以及估计人数。

通信单元21将由数量估计单元3估计的位置信息发送至摄像设备10。

视频记录单元22记录经由通信单元21从摄像设备10接收到的帧图像。设置输入单元23经由诸如显示装置和键盘等的用户接口，输入视频记录单元22中记录的帧图像的确认、对特定物体的数量进行估计的估计对象区域的选择、以及诸如数量估计单元3的记录周期的设置等的设置。

下面将参考图5来描述对图像处理***中的周期性的人数估计。

图5是示出将记录帧图像分配给时间上连续的帧图像的图。记录帧图像是记录了由数量估计单元3估计出的估计人数的帧图像。图5示出记录帧图像40、41和42以及除记录帧图像40、41和42之外的非记录帧图像(例如，43、44、45和46)。

数量估计单元3按每个记录周期T以与上述第一典型实施例同样的方式估计图像中的人数。可以利用设置输入单元23设置记录周期T。可以利用设置输入单元23改变记录周期T。当在记录周期T期间从摄像设备10提供的帧图像的数量是N时，在两个记录帧图像之间(例如，在记录帧图像40和41之间，以及在记录帧图像41和42之间)，存在没有估计人数的N-2个非记录帧图像。本典型实施例使用N-2个非记录帧图像来搜索用于下一记录帧图像的适当校正曲线。

图6是示出根据本典型实施例的图像处理***中的图像处理的示例的流程图。

在步骤S11中，摄像单元11首先拍摄对象区域的图像以获取帧图像。随后，在步骤S12中，灰度级校正单元2判断来自摄像单元11的当前帧图像是否是记录帧图像。在当前帧图像是记录帧图像的情况下(步骤S12中为“是”)，处理进入步骤S13。在步骤S13中，灰度级校正单元2参考估计信息记录单元14中过去记录的估计信息以生成表示最大估计人数的校正曲线。

如果当前帧图像不是记录帧图像(步骤S12中的“否”)，则处理进入步骤S14。在步骤S14中，灰度级校正单元2生成用于搜索的校正曲线，并且处理进入步骤S15。下面将描述用于生成用于搜索的校正曲线的方法。

在步骤S15中，灰度级校正单元2基于在步骤S13或步骤S14中生成的校正曲线进行灰度级校正。

在步骤S16中，数量估计单元3估计经由通信单元21从摄像设备10获取的帧图像的人数。

随后，在步骤S17中，数量估计单元3判断当前帧图像是否是记录帧图像。如果数量估计单元3判断为当前帧图像是记录帧图像(步骤S17中为“是”)，则处理进入步骤S18。在步骤S18中，数量估计单元3将估计人数记录在数量记录单元4中，并且处理返回到步骤S11。

如果数量估计单元3判断为当前帧图像不是记录帧图像(步骤S17中为“否”)，则处理进入步骤S19。在步骤S19中，数量估计单元3将估计人数和与针对用作估计对象的当前帧图像的校正曲线有关的数据记录为一组估计信息，并且处理返回到步骤S11。

图7A至7C是各自示出估计对象图像和由数量估计单元3获取到的位置信息的示例的图。

下面参考图7A至7C对生成用于搜索的校正曲线的方法进行说明。

虽然在生成用于搜索的校正曲线的方法中，以与第一实施例同样的方式生成加权直方图以生成校正曲线，但是在第二实施例中使用记录为估计信息记录的位置信息来生成权重。将提供对图像被分割为6×4的矩形块并且计算针对各块的权重的情况的描述，例如，如在图7A中所示。例如，通过以下表达式(1)和(2)计算权重W_(i,j)。

在表达式(1)中，N_(x,y)是一个块中的估计人数，N_sum是整个帧图像中的估计人数，如图7B所示。在表达式(1)中，σ是任意系数，n和m是区域分割数量。在本实施例中，n＝6且m＝4。图7C示出利用σ＝1计算出的权重的示例。如从图7C中可以看出，使用表达式(1)和(2)计算权重可以使得在具有较高的人密度的块中权重更大。这里，由于数量估计单元3布置在比灰度级校正单元2更后的级中，因此使用针对在当前帧图像之前的帧图像估计出的位置信息。因而，位置信息的更新率有可能由于通信单元13和21的延迟并且根据数量估计单元3的计算成本(计算时间)而降低。为了避免这种情况，代替所有分割区域，矩形块形状的分割区域中的每隔一个的分割区域可以用作数量估计单元3的估计对象区域。对于非估计对象区域，根据其周围的估计对象区域中的估计数量的线性预测的结果可以用作估计数量。

如上所述，根据密度进行处理，这通过集中于人存在的可能性较高的区域而强调了对比度，因而增加了图像中的特定物体的数量的估计效率。与之相比，可以考虑出现新的特定物体的可能性、或者存在通过数量估计单元3的初始阶段的估计而没有检测到的特定物体的可能性。具体地，在针对预定数量的帧、帧之间的估计数量不改变或减少的情况下，可以进行加权计算使得具有低密度的区域的权重增加。灰度级校正单元2可以逐个区域进行灰度级校正。在这种情况下，灰度级校正单元2可以逐个区域地更新仅针对估计数量增加的区域的校正曲线，并且独立地对单独的区域进行灰度级校正。

由于针对存储在视频记录单元22中的图像、针对各帧进行不同的灰度级校正，因此在相邻帧图像之间可能发生亮度的急剧变化。因此，灰度级校正单元2可以使用针对当前帧图像计算出的权重、校正曲线和针对紧挨着的前一帧图像计算出的权重、或者使用预定系数合成的校正曲线。此时，为了响应于视角和照度等的急剧变化，可以添加能够利用背景减法计算帧之间的变化量和/或运动量的图像变化量计算单元(未示出)。在这种情况下，灰度级校正单元2可以进行设置，使得帧之间的变化量越大，使用预定系数针对当前帧图像计算出的权重变得越大，或者校正曲线的影响变得越大。

在通过设置输入单元23选择估计对象区域的情况下，在步骤S12至S19中的处理对象区域中包含估计对象区域的条件下，通过限制要进行灰度级校正的区域可以降低计算成本。

如上所述，本典型实施例可以如第一典型实施例那样提高图像中的特定物体的数量的估计精度。在本典型实施例中，使用非记录帧搜索适合于下一记录帧图像的校正曲线可以进一步提高图像中的特定物体的数量的估计精度。根据本典型实施例，根据特定物体的密度来确定校正量、以及确定校正量以使得强调密度高于阈值的区域中的亮度频数，这能够进一步提高图像中的特定物体的数量的估计精度。

虽然已经描述了本发明的期望的典型实施方式，但是本发明不限于这些典型实施方式，并且在不背离本发明的主旨的情况下可以进行各种修改和改变。虽然在图4中灰度级校正单元2布置在摄像设备10中，但是灰度级校正单元2可以布置在信息处理设备20中。虽然摄像设备10和信息处理设备20被示为分开的设备，但是信息处理设备20可以被合并在摄像设备10中。

(其它典型实施例)

虽然以上已经详细描述了典型实施例，但是本发明可以适用于例如作为***、设备、方法、程序或记录介质(存储介质)的典型实施例。更具体地，本发明可以适用于包括多个装置(例如，主机计算机、接口装置、摄像设备和web应用)的***，或者可以适用于包括单个装置的设备。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给***或装置，该***或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然已经参考典型实施例描述了本发明，但是应当理解，本发明不限于所公开的典型实施例。所附权利要求的范围应被赋予最宽泛的解释，以涵盖所有这样的修改以及等同的结构和功能。

Claims (13)

1.一种图像处理设备，包括：

第一校正单元，其被配置为使用第一校正量对图像进行第一灰度级校正；

第一估计单元，其被配置为估计所述第一校正单元校正后的图像中的特定物体的数量；

第二校正单元，其被配置为使用与所述第一校正量不同的第二校正量对图像进行第二灰度级校正；

第二估计单元，其被配置为估计所述第二校正单元校正后的图像中的特定物体的数量；以及

选择单元，其被配置为选择所述第一估计单元所估计出的特定物体的数量和所述第二估计单元所估计出的特定物体的数量中的较大者。

2.根据权利要求1所述的图像处理设备，还包括计算单元，所述计算单元被配置为计算图像的亮度的直方图；

其中，所述第一校正单元使用所述计算单元计算出的直方图来确定所述第一校正量，以及

其中，所述第二校正单元使用所述计算单元计算出的直方图来确定所述第二校正量。

3.根据权利要求2所述的图像处理设备，

其中，所述第一校正单元分配权重以使得强调基于第一亮度所设置的区域的亮度频数，来确定所述第一校正量，以及

其中，所述第二校正单元分配权重以使得强调基于第二亮度所设置的区域的亮度频数，来确定所述第二校正量。

4.根据权利要求3所述的图像处理设备，

其中，所述第一校正单元确定所述第一校正量以使得在具有较高亮度频数的区域中所述第一校正量较大，以及

其中，所述第二校正单元确定所述第二校正量以使得在具有较高亮度频数的区域中所述第二校正量较大。

5.根据权利要求1所述的图像处理设备，还包括分割单元，所述分割单元被配置为将对象区域的图像分割为第一区域和第二区域，

其中，所述第一校正单元对所述第一区域进行所述第一灰度级校正，以及所述第二校正单元对所述第二区域进行所述第二灰度级校正。

6.根据权利要求5所述的图像处理设备，还包括第三估计单元，所述第三估计单元被配置为在所述分割单元将图像分割成的所述第一区域和所述第二区域中的任一区域中，根据所述第一估计单元或所述第二估计单元所估计出的特定物体的数量来估计图像中包括的特定物体的数量。

7.根据权利要求1所述的图像处理设备，还包括第一检测单元，所述第一检测单元被配置为检测特定物体的密度，

其中，所述第一校正单元根据所述第一检测单元所检测到的特定物体的密度来确定所述第一校正量，

其中，所述第二校正单元根据所述第一检测单元所检测到的特定物体的密度来确定所述第二校正量。

8.根据权利要求7所述的图像处理设备，

其中，所述第一校正单元确定所述第一校正量以使得强调所述第一检测单元所检测到的特定物体的密度高于阈值的区域的亮度频数，以及

其中，所述第二校正单元确定所述第二校正量以使得强调所述第一检测单元所检测到的特定物体的密度高于阈值的区域的亮度频数。

9.根据权利要求1所述的图像处理设备，

其中，所述图像包括多个帧图像，

其中，所述第一校正单元对所述多个帧图像中的各帧图像进行所述第一灰度级校正，

其中，所述第二校正单元对所述多个帧图像中的各帧图像进行所述第二灰度级校正，

其中，所述图像处理设备还包括：

第一合成单元，其被配置为合成针对所述多个帧图像中的各帧图像的第一校正量；以及

第二合成单元，其被配置为合成针对所述多个帧图像中的各帧图像的第二校正量。

10.根据权利要求9所述的图像处理设备，还包括：

第二检测单元，其被配置为检测所述多个帧图像之间的变化量；以及

改变单元，其被配置为根据所述第二检测单元所检测到的变化量来改变所述第一校正量或所述第二校正量。

11.根据权利要求1所述的图像处理设备，还包括：

输入单元，其被配置为输入所述第一估计单元估计特定物体的数量的区域、或者所述第二估计单元估计特定物体的数量的区域；以及

控制单元，其被配置为控制要被所述第一校正单元进行所述第一灰度级校正或者要被所述第二校正单元进行所述第二灰度级校正的区域。

12.一种图像处理方法，包括：

使用第一校正量对图像进行第一灰度级校正；

估计校正后的图像中的特定物体的数量；

使用与所述第一校正量不同的第二校正量对图像进行第二灰度级校正；

估计校正后的图像中的特定物体的数量；以及

选择特定物体的估计数量中的较大者。

13.一种存储有程序的非暂时性计算机可读存储介质，所述程序在被计算机读取并执行时使得所述计算机执行图像处理方法的步骤，所述图像处理方法包括：

使用第一校正量对图像进行第一灰度级校正；

估计校正后的图像中的特定物体的数量；

使用与所述第一校正量不同的第二校正量对图像进行第二灰度级校正；

估计校正后的图像中的特定物体的数量；以及

选择特定物体的估计数量中的较大者。

Images