CN111386533B - 使用对称定位的空白区域检测和识别图像数据中图形字符表示的方法和装置 - Google Patents

Abstract

本文公开了使用对称定位的空白区域检测和识别图像数据中图形字符表示的方法、***和装置。示例公开的方法包括：检测图像数据中的空白区域；使用处理器标识空白区域的对称定位的对；以及将空白区域的对称定位对之间的图像数据的区域指定为用于图像处理功能的候选区域。

Description

使用对称定位的空白区域检测和识别图像数据中图形字符表 示的方法和装置

技术领域

本发明总体上涉及图像处理，并且更具体地涉及使用对称定位的空白区域检测和识别图像数据中图形字符表示的方法和装置。

背景技术

一些图像处理技术涉及分析表示环境的图像数据以发现和/或识别位于该环境中的一个或多个项。为了在环境中发现和/或识别项，将所捕获的图像数据与已知与该项相对应的参考图像数据进行比较。如果所捕获的图像数据与参考图像数据基本上相似，则该项被确定为存在于环境中。

待在图像数据中发现和/或识别的示例项包括人、物体、结构和字符的图形表示。如本文中所使用，字符是表示集合(诸如，语言)的成分的符号。示例字符包括字母、数字、标点(例如，感叹号、与号、问号、斜杠等)和图标。字形是当字符被显示或呈现时的该字符的图形表示。换句话说，字形是图形字符表示。字体是字形的集合。每个字符不一定与特定的字形相对应，因为两者之间没有一对一的关系。

光学字符识别(OCR)是用于将图像数据中发现的图形字符表示(诸如，字形)转换为机器可读代码点(诸如，ASCII代码点)的示例技术。通常，OCR涉及对图像数据搜索与所存储的图形字符表示匹配的模式和/或特征。在图像数据中发现此类模式和/或特征之后，(例如，经由对进入诸如表之类的数据结构的查找函数)标识相对应的代码点。由此，OCR提供包括机器可读代码点的输出，这些机器可读代码点与图像数据中以图形方式表示的字符相对应。具有在图像数据中发现的机器可读的信息形式使得机器能够例如搜索、编辑和/或以其他方式使用该信息。

附图说明

图1描绘了示例环境，该示例环境包括可在其中实现本公开的教导的示例环境。

图2图示出图1的图像捕获设备、深度传感器和容器中的一个容器的示例布置。

图3是从图2的图像捕获设备和深度传感器的视角看的图1的容器中的一个容器的视图。

图4是表示图1的装载管理器的示例实现方式的框图。

图5A和图5B图示出与图1的容器相关联的图形字符表示的不适当的检测。

图6是表示图4的ID提取器的示例实现方式的框图。

图7是由图1和/或图2的示例图像捕获设备捕获的示例图像。

图8图示出由图6的示例边缘检测器和空白像素分组器执行的操作的示例结果。

图9A-9C图示出由图6的示例空白像素分组器执行的示例操作。

图10图示出由图6的示例对发现器执行的操作的示例结果。

图11图示出由图6的示例对滤波器执行的操作的示例结果。

图12图示出由图6的示例候选区域指定器执行的操作的示例结果。

图13是表示可以被执行以实现图1和/或图4的示例装载管理器的示例操作的流程图。

图14是表示可以被执行以实现图4和/或图6的示例ID提取器的示例操作的流程图。

图15是示例逻辑电路的框图，该示例逻辑电路用于实现图13的示例操作以实现图1和/或图4的示例容器装载管理器和/或用于实现图14的示例操作以实现图4和/或图6的示例ID提取器。

具体实施方式

如上所述，OCR模块的任务是将图像数据中的图形字符表示(GCR)(诸如，字形)转换为机器可读代码点(诸如，ASCII码)。在一些情况下，OCR模块对图像数据进行预处理以标识一个或多个候选。如本文中所使用，“候选区域”是被确定为可能包括GCR的图像数据的区域。候选区域可以替代地被称为感兴趣区域。在标识了图像数据中的候选区域之后，OCR模块对候选区域的图像数据执行一个或多个识别算法以标识其中的任何GCR。

由此，OCR模块的性能(例如，准确性、效率等)高度依赖于快速且恰当地标识图像数据中的候选区域。例如，如果OCR模块对实际上没有GCR的图像数据区域执行(多个)识别算法，则浪费了计算资源。如果在预处理期间没有将实际包括GCR的图像数据的区域标识为候选区域，则相对应字符中的至少一些字符将不被识别，并因此不被转换为相对应的代码点。如果包括GCR的图像数据的区域仅被部分地标识为候选区域，则相对应的中的一些字符可能被误识别，并因此被转换为不正确的代码点。此外，越快标识候选区域，(多个)识别算法就可越快开始。

在图像数据中发现候选区域存在挑战。例如，OCR模块在图像数据中发现候选区域的能力受由环境中的条件和/或图像捕获装备的能力导致的不良图像质量的不利影响。另外，挑战可来自于与待识别的GCR相关联的不利情况。例如，一些图像处理技术依赖于与待识别的图像数据相关联的不同强度和/或清晰边界条件之间的间隔的存在。在OCR的上下文中，一个此类技术是将最大稳定极值区域(MESR)标识为个体(即，单独的)GCR的指示，使得个体GCR可以从图像数据的相邻方面(例如，其他GCR)分割或分离。MSER是在其中像素之间的强度变化低于阈值(即，是稳定的)的一个区域。如果GCR周围的边界具有与GCR本身相似的强度，则MSER算法趋于失败。因此，邻近边界的GCR的至少一部分可能未被检测。下面结合图5A和图5B详细描述在其中图像数据中邻近GCR的暗区域导致已知OCR***失败的示例场景。

本文公开的示例方法和装置认识到此类挑战，并提供对图像数据中的候选区域的准确且高效的检测。如下面详细地所描述，本文公开的示例在图像数据中标识候选区域，该候选区域可能包括例如识别算法(例如，OCR)的至少一个目标。在一些示例中，目标是一组感兴趣的GCR，诸如，多字形字母数字标识符。本文所公开的示例认识到，目标通常位于图像数据中两个对称定位的空白区域之间。换句话说，本文所公开的示例认识到，目标的GCR的组通常夹在不包括GCR的两个区域之间。

如下面更详细地所描述，所公开的示例检测贯穿图像数据的空白区域。进一步地，本文所公开的示例确定所检测的空白区域中的任何两个空白区域是否构成对称对。如果在图像数据中检测到空白区域的对称对，则本文所公开的示例确定目标的GCR的组可能位于两个对称定位的空白区域之间。本文所公开的示例将对称定位的空白区域的对之间的区域指定为用于例如字符识别算法的候选区域。在一些实施例中，本文所公开的示例(例如，通过绘制形状，诸如，矩形)生成围绕候选区域的边界框，以将候选区域与图像数据的其余部分隔离。本文所公开的示例将候选区域的图像数据提供给识别模块(诸如，OCR模块)，使得位于候选区域中的GCR能被识别并被指派代码点。

值得注意的是，通过检测并使用对称定位的空白区域来标识图像数据的候选区域，本文所公开的示例避免已知***的陷阱和限制。例如，通过基于对称定位的空白区域而不是上述MESR方法来确定候选区域，本文所公开的示例避免与位于具有与GCR相似外观(例如，强度)的边界附近的GCR相关联的检测失败。此外，本文所公开的示例将字符识别操作聚集于可能包括目标GCR的候选区域，而不是聚集于在图像数据上滑动窗口以搜索GCR，在图像数据上滑动窗口以搜索GCR是缓慢且计算代价昂贵的过程。换句话说，本文所公开的示例改善了分配有执行字符识别操作任务的机器的效率和准确性。

图1图示出在其中可以实现本文所公开的示例方法、***和装置以检测图像数据中的候选区域的示例环境。图1的示例表示包括第一容器102a、第二容器102b和第三容器102c的装载坞站100。容器的示例类型包括运货卡车拖车、包装车、飞行器装载单元和有轨车。在图1的图示示例中，容器102a-c中的每一个包括位于外表面上的唯一的容器标识符。在图1的示例中，容器标识符是字母数字字符串。例如，第一容器102a包括容器标识符“JHG61777 LO”，第二容器102b包括容器标识符“GHI 52387 BV”，而第三容器102c包括容器标识符“ORD 52468 OP”。如下面详细地所描述，本文所公开的示例通过提供对在表示容器102a-c的图像数据中的容器标识符更准确且更高效的检测和识别来增强部署在装载坞站100处的***。

在图1的示例中，装载器104分配有将装载包装(其中一个以附图标记106示出)装载到容器102a-c中的任务。虽然图1的装载器104是人，但替代的示例包括编程为将包装装载到容器102a-c中的装载器的一个或多个机器。在许多实例中，装载器104面临大量的包装和严格的时间约束。通信技术的进步，诸如基于互联网的采购和订购，增加了依赖于准确且及时的货物和材料递送的消费者和企业的数量。对负责提供此类服务的那些企业的要求进而也有所增加。除了递送更大量的包裹外，随着运输和物流行业的发展和竞争的加剧，分配的递送时间也已缩短以满足要求。此外，许多实体在确保准确且及时的包裹递送的承诺下运营，从而提高了准确、及时和高效性能的重要性。

当装载包裹时出现的示例问题包括容器中的空间未充分利用以及将包裹放入不正确的容器中。容器中未充分利用的空间可能导致收益损失和/或效率降低。不正确第装载的包裹可能无法按时到达正确的目的地，并且可能产生与特殊处理相关联的额外费用。另外，不正确地装载的包裹在不正确的容器中占用宝贵的空间，这些宝贵的空间否则能够运输额外的正确装载的包裹。

为了应对这些和其他挑战，运输和物流实体已指望机器来改进装载坞站操作。例如，图1的示例装载坞站100利用移动计算设备108、处理平台110、图像捕获设备112，以及深度传感器114来改进将包裹装载到容器102a-c上。移动计算设备108被配置成通过提供关于要装载哪个容器的指令和/或通过将关于容器102a-c中空间的当前利用的反馈提供给装载器104来协助装载器104将包裹装载到容器102a-c中的任务。图1的示例移动计算设备108是能够被安装到装载器104或由装载器104以其他方式携带的可穿戴设备。例如，移动计算设备108可安装到装载器104的前臂(例如，经由一个或多个皮带)、装载器104的头部(例如，作为抬头显示(HUD)设备)或由装载器104穿戴的衣物制品(例如，经由皮带扣)。此外，移动计算设备108可以在包裹装载操作期间由装载器104的手部携带。示例移动计算设备108包括数据捕获设备，数据该捕获设备能够从例如打印在包裹106上或粘附到包裹106的记号116获取标识信息。此外，示例移动计算设备108包括用于接收无线传输的天线、能够处理信息的逻辑电路(例如，图10的处理平台1000)和能够将例如指令显示给装载器104的用户界面。附加地或可替代地，示例移动计算设备108可以与例如能够将指令显示给装载器104的一个或多个外部输出组件进行通信。

移动计算设备108与处理平台110进行通信，以促进由装载器104正确且高效地装载包裹。在图1的图示示例中，处理平台110实现根据本公开的教导构造的装载管理器118。如下面结合图4详细地所描述，图1的装载管理器118将包裹106的容器指派信息传送给移动计算设备108，使得装载器104快递并且方便地被通知为包裹106分配的容器102a-c中的一个容器。在图1的示例中，装载管理器118从与处理平台110进行通信数据源120获得用于包裹的容器指派。此外，如下面结合图4详细地所描述，装载管理器118使用由深度传感器114提供的深度信息来计算容器102a-c的空间利用信息。装载管理器118将空间利用信息传送给移动计算设备108，使得如果有必要的话，装载器104可以改善容器空间的当前利用。

值得注意的是，为了执行这些和其他功能，装载管理器118需要知道当前位于装载坞站100处的容器102a-c上的容器标识符。为了获取该知识，装载管理器118接收并分析由图像捕获设备112提供的图像数据，以检测并识别容器标识符。如下面结合图6详细地所描述，示例装载管理器118包括根据本公开的教导构造的ID提取器，以准确且高效地检测并识别由图像捕获设备112提供的图像数据中的容器标识符。具体而言，本文所公开的示例ID提取器提供了GCR到机器可读代码点的更准确且更高效的转换，并且因此提供了关于容器标识符的更准确且更高效的知识。通过提供此类改进，本文所公开的示例ID提取器改善了在处理平台上执行的计算应用的准确性和效率。

在图1的图示示例中，图像捕获设备112中的每一个指向各个容器的、包括该容器特有的容器标识符的部分。图1的示例容器102a-c中的每一个包括位于容器的顶部、后部处的相应容器标识符的至少一个实例。在替代示例中，一个图像捕获设备可被分配对多于一个的容器成像的任务。此外，深度传感器114中的每一个被指向容器10a-c中的一个容器的开口中。深度传感器114生成坐标系中的点的深度值。深度值表示深度传感器114与容器102a-c内的最近表面之间的距离。这些距离中的多个可用于估计相对应容器的满度。用于估计容器的满度的示例***在2015年11月18日提交的第14/944860号美国专利申请中公开，在此通过引用将其并入本文中。

图2图示出图像捕获设备112中的一个图像捕获设备和深度传感器114中的一个深度传感器相对于容器中的相对应的一个容器102a的示例位置。如图2所示，图像捕获设备112和深度传感器114指向容器102a的后部200。在图示示例中，容器102a的后部200包括提供对容器102a的内部空间的接取的门。图像捕获设备112的视场使得由图像捕获设备112生成的图像数据包括容器102a的、包括容器标识符的至少一部分(例如，顶部、后部)。深度传感器114的视场使得由深度传感器114生成的深度数据对应于深度传感器114与容器102a的内部空间内的表面之间的距离。

图3图示出从如图2所布置的从图像捕获设备112和深度传感器114的视角看的容器102a的示例视图。如图3所示，图像捕获设备112捕获包括容器标识符的容器102a的后部。进一步地，深度传感器114(和图像捕获设备112)具有进入对应于门的开口300的视图。装载器104通过开口300将包裹106装载到容器102a中。如下面详细地所描述，示例装载管理器118经由根据本公开的教导构造的ID提取器来检测并利用容器上对称定位的第一空白区域302和第二空白区域304来标识目标容器标识符的候选区域。

图4是表示与移动计算设备108、图像捕获设备112、深度传感器114和数据源120进行通信的图1的装载管理器118的示例实现方式的框图。图4的示例装载管理器118包括被配置为从图像捕获设备112接收图像数据的图像接收器400和被配置为从深度传感器114接收图像数据的深度值接收器402。在图4的示例中，图像接收器400和深度值接收器402各自分别被配置成从图像捕获设备112和深度传感器114请求或以其他方式获取图像数据。图像数据由图像接收器400和/或深度值接收器402响应于例如容器到达装载坞站100、关于容器102a-c中的一个容器中的空间利用的查询、关于包裹106的容器指派的查询和/或根据调度表获得。

图1的图像接收器400将图像数据提供给装载管理器118的ID提取器404。图4的示例ID提取器404分析图像数据以检测和识别图像数据中的容器标识符。由图4的示例ID提取器404执行的检测和识别包括发现容器标识符的图形字符表示(GCR)以及将GCR转换为机器可读代码点。然而，检测容器标识符的GCR是具有挑战性的任务，尤其是当容器标识符位于容器的上边缘305附近时。如图3所示，GCR上部元素(即，字母和数字的顶部)在容器的上边缘305附近。图5A进一步图示出GCR到上边缘305的邻近度，其是图1的容器102a的一部分的图像。如图5A中所见，容器102a的上边缘305显得像跨GCR的上部部分的暗线。值得注意的是，GCR在图像数据中也显得像暗要素。由此，对应于容器的上边缘305的暗线在图像数据中具有与GCR相似的强度。此外，GCR与容器102a的上边缘(如果有的话)之间的间隔是微小的。

如上文所解释，GCR与图像数据中表示的其他要素(例如，容器的上边缘)之间的强度缺乏区分、以及GCR与要素之间的微小的、可能不可区分的间隔在检测和分割图像数据中的GCR时导致错误。也就是说，容器标识符的这些方面降低了发现和隔离候选GCR的传统技术(诸如，上面所述的MSER技术)的性能。例如，图5B图示出检测图5A中所示的容器标识符的GCR的尝试。在图5B中，标记(其中一个标记以附图标记500来标注)对应于分配有标识候选GCR任务的MSER算法的输出。理想地，标记500将对应于GCR的形状。然而，如图5B中所见，标记500不包括GCR的上部部分。也就是说，MSER算法未能检测到GCR的上部部分，并且因此任何随后的识别过程将无法标识(并因此转换)GCR。此外，MSER算法的输出包括不包括GCR的若干区域，从而导致识别计算的浪费的执行。

下面结合图6详细地描述ID提取器404的示例实现，该ID提取器404避免了图5A和图5B的上述问题并且改善了GCR的检测和识别。示例ID提取器404的输出是对应于容器标识符的GCR的一个或多个代码点。也就是说，示例ID提取器404提供容器标识符的机器可读版本，使得装载管理器118知道装载坞站100中存在哪个容器。

在图4的示例中，图4的示例ID提取器404将容器标识符的机器可读版本提供给数据源120。示例数据源120包括关于容器102a-c中的哪个容器应当接收特定包裹的信息(例如，根据与包裹的目的地相匹配的容器的目的地)。在图示示例中，数据源120维护当前位于装载坞站100处的可用容器的列表。进一步，由数据源120维护的列表包括关于相对应容器的信息(例如，目的地、尺寸等)。

在图示示例中，容器指派器406从移动计算设备108接收与包裹106相关联的标识信息(例如，通用标识符、库存单元(SKU)、通用产品代码(UPC)、地址、物理大小、重量、危险材料的标识或特殊处理指令)。例如，装载器104使用移动计算设备108的数据捕获设备来对记号116成像或扫描记号116，该记号116被传送到装载管理器118的容器指派器406。替代地，装载器104使用工作站的数据捕获设备来对记号116成像或扫描记号116，并且工作站将所捕获的数据传送到容器指派器406。

在图示示例中，容器指派器406利用与包裹106相关联的标识信息查询数据源120，以确定容器102a-c中的哪个容器应当接收包裹106。如上所述，ID提取器404向数据源120通知哪个容器在装载坞站100中，并且因此可用于接收包裹106。在图4的示例中，容器指派器406将包括将消息发送给移动计算设备108，该消息包括将包裹106装载到容器102a-c中的所选择或所指派的一个容器的指令。在一些示例中，该指令包括将与容器102a-c中的所选择的一个容器相对应的容器标识符显示在移动计算设备108上。值得注意的是，由于针对包裹106的容器的选择涉及容器标识符，因此，如由示例ID提取器404所提供的在图像数据中准确且高效地检测和识别容器标识符改善了容器指派器406的性能，并且因此改善了经由移动计算设备108向装载器104传送指令。

返回参考ID提取器404，与容器标识符相对应的机器可读代码点被另外提供给装载管理器118的尺寸获取器408。使用由ID提取器提供的容器的标识，图4的尺寸获取器408获得所标识容器的内部空间的一个或多个尺寸。为了这么做，尺寸获取器408利用与容器标识符相对应的代码点来查询数据源120。在图示示例中，数据源120包括各种类型的容器的尺寸，并且响应于接收到容器标识符而提供这些尺寸。

由尺寸获取器408获取的尺寸被提供给满度估计器410。另外，深度值接收器402将深度信息提供给满度估计器410。利用所获取的尺寸和深度信息，满度估计器410生成容器中空间利用的实时估计。在图示示例中，满度估计器410利用在美国专利申请第14/944860号中公开的技术来生成实时估计。在图示示例中，满度估计器将利用信息传送给移动计算设备108，该移动计算设备108将利用信息显示给装载器104。值得注意的是，由于基于容器标识符获得容器的尺寸，因此如由示例ID提取器404提供的对图像数据中的容器标识符的准确且高效的检测和识别改善了满度估计器410的性能，并且因此改善了经由移动计算设备108将利用信息传送到装载器104。

图6是表示图4的ID提取器404的示例实现方式的框图。为了检测图像数据中可能包括对应于容器标识符的GCR的位置，图6的示例ID提取器404利用容器标识符在容器上的布置和位置以及容器标识符周围的表面的特性。具体地，示例ID提取器404通过发现和定位图像数据中对称定位的空白区域来检测包括目标GCR的候选区域。容器标识符位于容器标识符上对称定位的空白区域或表面之间。返回参考图3，第一空白区域302与容器标识符的前沿GCR相邻，而第二空白区域304与容器标识符的后沿GCR相邻。换句话说，第一空白区域302位于容器标识符的第一侧，而第二空白区域304位于容器标识符的相对的第二侧。图6的示例ID提取器404利用位于第一空白区域302与第二空白区域304之间的距离的中点处的容器标识符的中点。具体地，图6的示例ID提取器404将空白区域302与304之间的图像数据指定为针对容器标识符的GCRS的候选区域306。然后，对候选区域306进行分析以识别位于其中的GCR。

为了检测和识别对称定位的空白区域，图6的示例ID提取器404包括边缘检测器600、空白像素分组器602、对发现器604、对滤波器606和候选区域指定器608。图6的示例ID提取器404包括用于对所确定的候选区域执行一个或多个字符识别操作的识别器610。替代地，示例ID提取器404可以将所确定的候选区域的图像数据提供给用于执行字符识别操作的另一设备。在图示示例中，边缘检测器600从图4的图像接收器400接收图像数据。图7示出包括由边缘检测器600所接收的图像数据的示例图像700。图7的示例描绘了坞站区域中的容器702。容器702包括位于上边缘704附近的容器标识符。在图7的图示示例中，示出了覆盖开口的帘706，通过该开口对容器702进行装载。为了说明图像700的哪个部分应当由ID提取器404标识，已围绕要标识的容器标识符向图像添加了框708。也就是说，示例ID提取器404被配置成将由框708限定轮廓的区域标识为候选区域。

图6的示例边缘检测器600标识在具有特性(诸如，亮度)的急变或突变的图像数据中的点。换句话说，边缘检测器600标识图像数据中的具有不连续性的点。在图示示例中，边缘检测器600对所接收的图像数据执行Canny算法以标识边缘。然而，任何合适的技术都可用于标识图像的边缘。图8示出了由边缘检测器600执行的操作的结果的示例图示。在图示示例中，由示例边缘检测器600所检测的边缘以浅色实线示出。

图6的示例空白像素分组器602根据空白像素分组器602定义的准则将空白像素的水平线分组。在图示示例中，空白像素是未被示例边缘检测器600标识为边缘的那些像素。也就是说，空白像素是相对于其相邻像素具有特性(例如，亮度)的突变的像素。在图8中，空白像素被示为白色空间。

图9A-9C图示出由示例空白像素分组器实现的过程。图9A的点表示根据边缘检测器600的结果的图像数据中的多个空白像素。也就是说，图9A的点由被标识为边缘的像素包围。如图9B所示，空白像素分组器602将坐标系中具有相同X值的连续相邻空白像素连接为水平(即，沿着X轴)线。在图9B的示例中，空白像素分组器602将空白像素中的水平对齐的空白像素连接成五条相应的线。图9B中示出经由线图示连接在一起的线。

接下来，示例空白像素分组器602将线中的某些线一起分组成矩形区域。在图示示例中，空白像素分组器602使用联合查找算法将相邻的水平线分在一起。具体地，空白像素分组器602比较水平线中的每两条水平线以确定这两条水平线是否具有针对某些特性的相似值。例如，图6的空白像素分组器602确定水平线中的相邻的水平线是否具有相似的宽度(即，沿X轴的长度)。如果两条水平线满足相似性准则，则将那些水平线一起分组成矩形区域。当然，矩形区域可以具有多余两条线，因为空白像素分组器602在水平线中的每条水平线之间执行比较。在一些示例中，空白像素分组器602定义了针对要被视为组的线的分组的水平线的最小阈值。在此类实例中，不满足线的最小阈值的矩形区域不被指定为空白区域。

由示例空白像素分组器602执行的联合发现算法产生的示例矩形区域在图9C中示出为框900。图9C的框900是如由图6的示例空白像素分组器602所确定的图像数据中的示例空白区域。返回参考图8，由示例空白像素分组器602生成的空白区域被示为具有虚线的矩形，其中一个矩形以附图标记800来标记。由此，图8的图示包括与图6的示例边缘检测器600所检测的边缘相对应的浅色实线部分和由图6的示例空白像素分组器602所检测的轮廓空白区域的虚线矩形。

图6的示例对发现器604分析边缘检测器600和空白像素分组器602的输出，以在所检测的空白区域之中发现对称定位的对。在图示示例中，对发现器604使用联合发现算法来发现具有相似属性的空白区域。在图示示例中，联合发现算法被配置成发现空白区域中具有相似的(即，在阈值公差内的)宽度(即，沿着图像数据的X轴的长度)、相似的高度(即，沿着图像数据的Y轴的长度)、带有相似的Y坐标值的最上面的水平线(即，上边缘)、以及距图像数据的竖直(即，沿Y轴)中心的相似距离的那些空白区域。由此，图6的示例对发现器604发现具有相似大小以及相似地但距竖直中心相反地定位的空白区域。换句话说，图6的示例对发现器604查找对称定位的空白区域的对。丢弃由对发现器604未标识那些空白区域。图10示出了由示例对发现器604执行的操作的结果的示例图示。在图10的示例中，在对发现器604执行操作之后保留的空白区域显示为虚线矩形。

ID提取器404的示例对滤波器606在对发现器604已发现对称定位的空白区域对之后分析图像数据。图6的示例对滤波器606利用目标容器标识符(即，要标识为包括GCR的区域)位于对称定位的空白区域之间以及容器标识符的GCR是由边缘检测器600所检测的边缘的知识。图6的示例对滤波器606在两个空白区域之间的空间中滤除其余的空白区域对中的不满足阈值交叉边缘计数的那些空白区域对。

示例对滤波器606在每个空白区域对之间的空间的中心绘制水平线。此水平线本文中称为交叉边缘线。交叉边缘线跨空白区域对之间的空间延伸，并且因此遍历位于空间中的任何边缘。示例对滤波器606对由交叉边缘线遍历的边缘的数量计数。如果由交叉边缘线遍历的边缘的数量满足阈值边缘计数(例如，十(10))，则示例对滤波器606不丢弃相对应的空白区域对。如果由交叉边缘线遍历的边缘数量，则示例对滤波器606丢弃相对应的空白区域对。图11示出了由对滤波器606执行的操作的结果的示例图示。在此，图11所示的空白区域对由于位于两个空白区域之间的、与容器标识符的GCR相对应的大量边缘而保留。值得注意的是，图11中的剩余空白区域对应于图3的第一空白区域302和第二空白区域304。

在图6的图示示例中，对滤波器606的输出被提供给ID提取器404的示例候选区域指定器608。示例候选区域指定器608将每个剩余的对称定位的对的两个空白区域之间的空间指定或标记作为候选区域。在图示示例中，候选区域指定器608围绕位于每个剩余对的各个空白区域之间的空间适配边界框。图12示出了由候选区域指定器608执行的操作的结果的示例图示。由示例候选区域指定器608生成的边界框1200在图12中示出为实心矩形。边界框由例如边界框的线的坐标或落在边界框内的像素的范围来限定。值得注意的是，图12中被指定为候选区域的剩余空白区域对之间的空间对应于图3的候选区域306。

在图6的示例中，将候选区域指定器608的输出提供给ID提取器404的示例识别器610。在一些示例中，识别器610从候选区域指定器608接收多余一个的候选区域。示例识别器610执行例如OCR操作，以识别在(多个)候选区域中发现的GCR并将其转换为机器可读代码点。虽然图6的示例ID提取器404包括识别器610，但是示例ID提取器404可以附加地或可替代地将与(多个)候选区域相对应的图像数据提供给另一模块或设备，该另一模块或设备分配有执行识别GCR并将GCR转换为机器可读代码点的识别操作的任务。

图13是表示可由逻辑电路(例如，图15的示例平台1500)执行以实现图1和/或4的示例装载管理器118的机器可读指令的流程图。在图13的示例中，容器到达图1的装载坞站100(框1300)。例如，第一容器102a可以倒向进入装载坞站100，其中后部200面向图像捕获设备112中的一个图像捕获设备和深度传感器114中的一个深度传感器(如图2所示)。容器102a到达装载坞站102a是针对图13的操作的示例触发，因为示例装载管理器118可以连续地和/或响应于(多个)替代触发来执行图13的操作。

示例图像接收器400指令或以其他方式触发图像捕获设备112将图像数据提供给装载管理器118(框1302)。在图13的示例中，所获得的图像数据表示容器102a的包括容器标识符的部分。装载管理器118的示例ID提取器404从图像数据提取容器标识符(框1304)。下面结合图14描述框1304的示例实现方式。如下面详细地所描述，ID提取器404检测容器102a上的候选区域，对候选区域执行识别算法以将候选区域中的GCR转换为机器可读代码点，并将该代码点提供给数据源120。

如上所述，装载管理器118被配置成从例如移动计算设备108(例如，经由扫描包裹106上的记号116)接收与包裹106相关联的标识符。当接收到此类标识符时(框1306)，示例容器指派器406使用包裹标识符来查询数据源120(框1308)。数据源120具有装载坞站100中当前可用容器的列表(如由ID提取器404所提供)，(例如，基于包裹106的目的地和/或容器)用针对包裹106的容器指派来回复查询。在图13的示例中，容器指派器406将标识所指派的容器的消息传送给移动计算设备108(框1310)。因此，装载器104被通知要将包裹106装载到容器102a-c中的哪个容器上。

如上所述，与如由ID提取器404获得的容器标识符相对应的机器可读代码点被另外提供给尺寸获取器408。在图13的示例中，尺寸获取器408使用与容器标识符相对应的代码点来查询数据源120，以确定相对应容器的内部空间的一个或多个尺寸(框1312)。例如，尺寸获取器408在容器为空时确定容器的体积。换句话说，尺寸获取器408确定容器的容量。

在图13的示例中，深度值接收器402从深度传感器114中的一个深度传感器获得深度值(框1314)。例如，深度值接收器402使用与容器标识符相对应的代码点来选择深度传感器114中的、朝向相对应容器的一个深度传感器。深度传感器114返回的深度值表示从深度传感器114到容器中不同表面的距离。由满度估计器410使用容器的尺寸和深度值来估计容器的当前满度(框1316)。在图示示例中，满度估计器410利用在美国专利申请第14/944860号中公开的技术来生成实时估计。

在图示示例中，满度估计器410将利用信息传送到移动计算设备108，该移动计算设备108向装载器104显示利用信息(框1318)。

图14是表示可由逻辑电路(例如，图15的示例平台1500)执行以实现图4和/或6的示例ID提取器404和/或图13的框1304的机器可读指令的流程图。在图14的示例中，如上文结合图13的框1302所述，由示例ID提取器404接收表示容器的图像数据。示例边缘检测器600通过检测图像数据中相对于相邻点具有强烈对比度的点来标识图像数据中的边缘(框1400)。在图示示例中，边缘检测器600通过将像素或像素组的亮度水平与相邻像素或相邻像素组的亮度水平进行比较来(例如，经由Canny算法)确定图像数据的像素是边缘。

图6的示例空白像素分组器602标识图像数据中的空白区域。在图14的示例中，空白像素分组器602使用由边缘检测器600执行的边缘检测来标识空白像素。具体而言，空白像素是未被示例边缘检测器600标识为边缘的那些像素。为了对空白区域分组，示例空白像素分组器602将具有相同X坐标值的连续的空白像素连接成水平线(框1402)。进一步地，空白像素分组器602将水平线中的具有相似宽度的相邻(沿Y轴)水平一起线分组为矩形区域(框1404)。矩形区域被指定为空白区域。

图6的示例对发现器604在所检测的空白区域之中发现对称定位的对(框1406)。在图示示例中，对发现器604使用联发现算法来发现具有相似特性(诸如例如，相似的宽度、相似的高度、具有相似Y坐标值的最上面的水平线以及距图像数据的竖直中心相似距离)的空白区域。

ID提取器404的示例对滤波器606滤除空白区域对中的、在相对应的两个空白区域之间的空间中不满足阈值交叉边缘计数的任何空白区域对。为了分析空白区域对中的各个空白区域对，示例对滤波器606跨各个空白区域之间的空间绘制交叉边缘线(框1408)。对滤波器606对沿交叉边缘线的边缘数量计数，作为在空白区域之间存在例如亮度的陡变的不连续性的指示，其指示可能存在GCR(框1408)。如果交叉边缘计数满足阈值(例如，十(10)条边缘)(框1410)，则对滤波器606丢弃相对应的空白区域对(框1412)。否则，对滤波器606确定对滤波器606是否未分析任何其他空白区域对(框1414)。如果对滤波器606未分析所有空白区域对，则控制进行到框1410，并且分析下一空白区域对。

当对滤波器606已经分析了所有空白区域对，候选区域指定器608将每个剩余空白区域对之间的空间或区域指定为候选区域(框1416)。例如，候选区域指定器608在存储器中记录属于剩余空白区域对之间的空间的像素的坐标。在图14的示例中，识别器对(多个)候选区域执行字符识别以识别GCR并将其转换为机器可读代码点(框1418)。

图15是表示示例逻辑电路的框图，该示例逻辑电路可用于实现例如图1的处理平台110以及因此实现图1和/或图4的示例装载管理器118和/或图4和/或图6的ID提取器404。图15的示例逻辑电路是能够执行指令以便例如实现由本说明书附图的流程图表示的示例操作的处理平台1500。如下所述，替代性示例逻辑电路包括硬件(例如，门阵列)，其专门配置用于执行由本说明书附图的流程图表示的操作。

图15的示例处理平台1500包括处理器1502，诸如例如，一个或多个微处理器、控制器和/或任何合适类型的处理器。图15的示例处理平台1500包括可由处理器1502(例如，经由存储器控制器)访问的存储器1504(例如，易失性存储器、非易失性存储器)。示例处理器1502与存储器1504交互以获得例如存储在存储器1504中的机器可读指令，这些机器可读指令对应于例如由本公开的流程图表示的操作。附加地或替代地，对应于流程图的示例操作的机器可读指令可以存储在一个或多个可移除介质(例如，光盘、数字多功能盘、可移除闪存等)上，者一个或多个可移除介质可以耦合到处理平台1500以提供对存储在其上的机器可读指令的访问。

图15的示例处理平台1500包括网络接口1506，以实现经由例如一个或多个网络与其他机器的通信。示例网络接口1506包括被配置为根据任何合适的(多个)协议操作的任何合适类型的(多个)通信接口(例如，有线接口和/或无线接口)。

图15的示例处理平台1500包括输入/输出(I/O)接口1508，以使得能够接收用户输入并将输出数据传送给用户。

虽然在本文中结合装载坞站处的包裹装载操作描述了本文中公开的示例方法、***和装置，但是本文公开的示例方法、***和装置可以在任何其他合适的情境或环境(诸如例如，配送中心、仓库、工厂、农场、零售店、机场、火车装载地点或航运港口)中实现。此外，虽然下面使用与装载坞站处的包装装载操作相关联的术语公开了本文公开的示例方法、***和装置，但本文公开的示例方法、***和装置适用于涉及不同术语的替代环境。例如，虽然下面描述的示例包括识别容器标识符，但本文公开的示例可应用于结合任何适当环境的任何适当类型的字符识别。

以上描述涉及附图的框图。由框图表示的示例的替代实现包括一个或多个附加或替代要素、过程和/或设备。附加地或可替代地，可以组合、划分、重新布置或省略图中的示例框中的一个或多个。由图的框表示的组成部分由硬件、软件、固件和/或硬件、软件和/或固件的任何组合来实现。在一些示例中，由框表示的组成部分中的至少一个由逻辑电路实现。如本文中所使用，术语“逻辑电路”明确地定义为包括至少一个硬件部件的物理设备，该硬件部件被配置(例如，经由根据预定配置的操作和/或经由所存储的机器可读指令的执行)为控制一个或多个机器和/或执行一个或多个机器的操作。逻辑电路的示例包括一个或多个处理器、一个或多个协处理器、一个或多个微处理器、一个或多个控制器、一个或多个数字信号处理器(DSP)、一个或多个专用集成电路(ASIC)、一个或多个现场可编程门阵列(FPGA)、一个或多个微控制器单元(MCU)、一个或多个硬件加速器、一个或多个专用计算机芯片、以及一个或多个片上***(SoC)设备。诸如ASIC或FPGA之类的一些示例逻辑电路是用于执行操作(例如，由本公开的流程图表示的操作中的一个或多个操作)的专门配置的硬件。一些示例逻辑电路是执行机器可读指令以执行操作(例如，由本公开的流程图表示的一个或多个操作)的硬件。一些示例逻辑电路包括专门配置的硬件和执行机器可读指令的硬件的组合。

以上描述涉及附图的流程图。流程图表示本文公开的示例方法。在一些示例中，由流程图表示的方法实现由框图表示的装置。本文公开的示例方法的替代实现可包括附加或替代操作。此外，可以组合、划分、重新布置或省略本文公开的方法的替代实现的操作。在一些示例中，由流程图表示的操作由存储在介质(例如，有形的机器可读介质)上的机器可读指令(例如，软件和/或固件)实现，用于由一个或多个逻辑电路(例如，(多个)处理器)执行。在一些示例中，由流程图表示的操作由一个或多个专门设计的逻辑电路(例如，(多个)ASIC)的一个或多个配置实现。在一些示例中，流程图的操作由(多个)专门设计的逻辑电路和存储在介质(例如，有形的机器可读介质)上以由(多个)逻辑电路执行的机器可读指令的组合来实现。

如本文中所使用，术语“有形的机器可读介质”、“非瞬态机器可读介质”和“机器可读存储设备”中的每一个明确地定义为机器可读指令(例如，以例如软件和/或固件的形式的程序代码)可被存储在其上的存储介质(例如，硬盘驱动器的盘片、数字多功能盘、紧凑盘、闪存、只读存储器、随机存取存储器等)。进一步，如本文中所使用，术语“有形的机器可读介质”、“非瞬态机器可读介质”和“机器可读存储设备”中的每一个被明确地定义为排除传播信号。也就是说，如在本专利的任何权利要求中所使用，术语“有形的机器可读介质”、“非瞬态机器可读介质”和“机器可读存储设备”中的任何一个都不能被解读为由传播信号实现。

如本文中所使用，术语“有形的机器可读介质”、“非瞬态机器可读介质”和“机器可读存储设备”中的每一个都被明确定义为存储介质，在该存储介质上，机器可读指令被存储达任何适当的时间段(例如，永久地，在延长的时间段(例如，当与机器可读指令相关联的程序正在执行时)和/或短时间段(例如，当机器可读指令被高速缓存时和/或在缓冲过程期间)。

尽管本文中已公开了某些示例装置、方法和制品，但本专利涵盖的范围并不限于此。相反，本专利涵盖落入本专利权利要求范围内的全部装置、方法和制品。

Claims (17)

1.一种标识图像数据中的候选区域的方法，所述方法包括：

使用处理器检测所述图像数据中的空白区域；

使用所述处理器标识所述空白区域的对称定位的对；以及

将所述空白区域的所述对称定位的对之间的所述图像数据的区域指定为用于图像处理功能的候选区域，

其中标识所述空白区域的所述对称定位的对包括：

将所述空白区域中的第一空白区域的第一尺寸与所述空白区域中的第二空白区域的第二尺寸进行比较；

将所述第一空白区域距所述图像数据的中心轴线的第一距离与所述第二空白区域距所述中心轴线的第二距离进行比较；以及

如果满足以下条件，则将所述空白区域中的所述第一空白区域和所述第二空白区域标识为所述对称定位的对：

所述第一尺寸与所述第二尺寸基本相似；以及

所述第一距离与所述第二距离基本相似。

2.如权利要求1所述的方法，其中检测所述图像数据中的所述空白区域包括：

检测所述图像数据中的边缘；以及

将所述图像数据的、作为边缘的部分指定为空白。

3.如权利要求1所述的方法，进一步包括：

对所述对称定位的对的空白区域之间的空间中的边缘数量进行计数；

将所述边缘数量与阈值进行比较；以及

当所述边缘数量不满足所述阈值时，丢弃所述对称定位的对。

4.如权利要求1所述的方法，进一步包括：围绕所述候选区域适配边界框。

5.如权利要求1所述的方法，其中检测所述图像数据中的所述空白区域包括：

将连续的空白像素分组成水平线；以及

将所述水平线中的、具有相似特性的水平线进行分组。

6.如权利要求1所述的方法，其中所述图像处理功能是字符识别操作。

7.一种用于标识图像数据中的候选区域的装置，所述装置包括：

检测器，用于确定图像数据的哪些部分是空白区域；

发现器，用于标识所述空白区域的对称定位的对；以及

指定器，用于将所述空白区域的所述对称定位的对之间的所述图像数据的区域指定为用于图像处理功能的候选区域，其中所述检测器、所述发现器或所述指定器中的至少一个经由逻辑电路来实现，

其中所述发现器用于通过以下方式标识所述空白区域的所述对称定位的对：

将所述空白区域中的第一空白区域的第一尺寸与所述空白区域中的第二空白区域的第二尺寸进行比较；

将所述第一空白区域距所述图像数据的中心轴线的第一距离与所述第二空白区域距所述中心轴线的第二距离进行比较；以及

如果满足以下条件，则将所述空白区域中的所述第一空白区域和所述第二空白区域标识为所述对称定位的对：

所述第一尺寸与所述第二尺寸基本相似；以及

所述第一距离与所述第二距离基本相似。

8.如权利要求7所述的装置，其中所述检测器用于通过以下方式确定所述图像数据的哪些部分是空白区域：

检测所述图像数据中的边缘；以及

将所述图像数据的、作为边缘的部分指定为空白。

9.如权利要求7所述的装置，进一步包括滤波器，所述滤波器用于：

对所述对称定位的对的空白区域之间的空间中的边缘数量进行计数；

将所述边缘数量与阈值进行比较；以及

当所述边缘数量不满足所述阈值时，丢弃所述对称定位的对。

10.如权利要求7所述的装置，其中所述指定器用于围绕所述候选区域适配边界框。

11.如权利要求7所述的装置，其中所述检测器用于通过以下方式确定所述图像数据中的哪些部分是空白区域：

将连续的空白像素分组成水平线；以及

将所述水平线中的、具有相似特性的水平线进行分组。

12.如权利要求7所述的装置，其中所述图像处理功能是字符识别操作。

13.一种机器可读存储设备，所述机器可读存储设备包括指令，所述指令在被执行时，使机器至少用于：

检测图像数据中的空白区域；

标识所述空白区域的对称定位的对；以及

将所述空白区域的所述对称定位的对之间的所述图像数据的区域指定为用于图像处理功能的候选区域，

其中所述指令在被执行时使所述机器通过以下方式标识所述空白区域的所述对称定位的对：

将所述空白区域中的第一空白区域的第一尺寸与所述空白区域中的第二空白区域的第二尺寸进行比较；

将所述第一空白区域距所述图像数据的中心轴线的第一距离与所述第二空白区域距所述中心轴线的第二距离进行比较；以及

如果满足以下条件，则将所述空白区域中的所述第一空白区域和所述第二空白区域标识为所述对称定位的对：

所述第一尺寸与所述第二尺寸基本相似；以及

所述第一距离与所述第二距离基本相似。

14.如权利要求13所述的机器可读存储设备，其中所述指令在被执行时使所述机器通过以下方式检测所述图像数据中的所述空白区域：

检测所述图像数据中的边缘；以及

将所述图像数据的、作为边缘的部分指定为空白。

15.如权利要求13所述的机器可读存储设备，其中所述指令在被执行时，使所述机器用于：

对所述对称定位对的空白区域之间的空间中的边缘数量进行计数；

将所述边缘数量与阈值进行比较；以及

当所述边缘数量不满足所述阈值时，丢弃所述对称定位的对。

16.如权利要求13所述的机器可读存储设备，其中所述指令在被执行时使所述机器围绕所述候选区域适配边界框。

17.如权利要求13所述的机器可读存储设备，其中所述指令在被执行时使所述机器通过以下方式检测所述图像数据中的所述空白区域：

将连续的空白像素分组成水平线；以及

将所述水平线中的、具有相似特性的水平线进行分组。