CN107122699A - 用于计算机辅助识别运送容器为空的方法和用于计算机辅助识别运送容器为空的设备 - Google Patents
用于计算机辅助识别运送容器为空的方法和用于计算机辅助识别运送容器为空的设备 Download PDFInfo
- Publication number
- CN107122699A CN107122699A CN201710103080.7A CN201710103080A CN107122699A CN 107122699 A CN107122699 A CN 107122699A CN 201710103080 A CN201710103080 A CN 201710103080A CN 107122699 A CN107122699 A CN 107122699A
- Authority
- CN
- China
- Prior art keywords
- conveying containers
- deviation
- various embodiments
- data
- image capture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/0036—Checkout procedures
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
- A47F9/00—Shop, bar, bank or like counters
- A47F9/02—Paying counters
- A47F9/04—Check-out counters, e.g. for self-service stores
- A47F9/045—Handling of baskets or shopping trolleys at check-out counters, e.g. unloading, checking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/752—Contour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G3/00—Alarm indicators, e.g. bells
- G07G3/003—Anti-theft control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/20—Point-of-sale [POS] network systems
- G06Q20/204—Point-of-sale [POS] network systems comprising interface for record bearing medium or carrier for electronic funds transfer or payment credit
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/20—Point-of-sale [POS] network systems
- G06Q20/209—Specified transaction journal output feature, e.g. printed receipt or voice output
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Sorting Of Articles (AREA)
Abstract
提供了一种用于计算机辅助识别运送容器为空的方法。该方法包括:捕获所述运送容器的区域的图像数据;使用所述图像数据来确定表示所述运送容器的轮廓图案;确定表示所述轮廓图案与至少一个参考图案的偏差的偏差变量,其中所述至少一个参考图案表示空的运送容器;以及如果所述偏差变量满足预定义准则,则输出信号。
Description
相关申请的交叉引用
本申请要求于2016年2月24日提交的欧洲专利申请序列号16157106.2的优先权,其全部内容通过引用并入本文。
技术领域
各种实施例一般涉及一种用于计算机辅助识别运送容器为空的方法以及用于计算机辅助识别运送容器为空的设备。
背景技术
一般来说,运送容器可用于运送物体,例如在生产或销售领域中的货物。在这种情况下,例如当在结账出口处登记货物时可能需要识别是否某物——如果适当的话——什么东西位于运送容器中(这也可以称为“篮子底部”识别——BoB)。因此,可以减少如果未登记的货物未经识别地通过了结账出口而出现的成本(这也可以称为损失预防)。
传统上使用图案识别的计算机辅助方法来识别布置在运送容器中的物体。在这种情况下,识别物体的相区分的图案,并将其与其中存储了已知物体例如货物的图案的数据库进行比较。
包含在运送容器中的物体的图案与数据库的比较以及数据库的容量可能需要相当大的费用,特别是如果大量物体与它们各自的图案一起存储在数据库中和/或如果意欲识别彼此相似的物体。作为示例,如果例如不能确保总是以相同的取向呈现物体,则可能需要在每种情况按照每个物体的各种视图来为每个物体存储数据集。彼此类似的物体可能需要更大量的特征以进行比较从而实现可靠的识别。
随着数据库的容量增加,也就是说随着数据集的数量增加和/或每个数据集的条目数量增加,所需的存储需求和所要求的计算能力或所要求的数据分析速度可能增加以便确保对物体的时间上有效的识别——例如实时地识别。此外,随着数据库的容量增加,用于维护数据集(数据维护需求)以及因此所要求的人员的费用可能增加,以便防止由于过时的数据集而导致的数据库的容量的不受控制的增长。因此,这些用于计算机辅助图案识别的***可能在采购方面和/或在维护方面产生相当大的成本支出——特别是如果例如每个结账出口都需要相应的***。此外,在要可区别的物体的数量非常大的情况下,图案识别处理非常复杂,并且随着彼此类似的图案的数量增加,对图案识别中的差错的敏感性同样也增加。
此外,例如在平面物体(例如在一个取向上具有小的横截面);具有很少或没有加重和/或着色的物体,例如仅具有低信息、颜色和/或纹理内容(例如,实质上均匀的布局例如黑色,白色,灰色等);和/或透明物体的情况下,运送容器的内容的常规识别可能是有限的和/或不准确的。此外,未被存储在数据库中的物体通常未被识别或者被不正确地识别。
发明内容
提供了一种用于计算机辅助识别运送容器为空的方法。该方法包括:捕获所述运送容器的区域的图像数据;使用所述图像数据来确定表示所述运送容器的轮廓图案;确定偏差变量,其表示所述轮廓图案与至少一个参考图案的偏差,其中所述至少一个参考图案表示空的运送容器;以及如果所述偏差变量满足预定义准则,则输出信号。
附图说明
在附图中,相似的附图标记贯穿不同视图一般指代相同的部分。附图不一定按比例绘制,相反重点一般放在说明本发明的原理上。在下面的描述中,参考以下附图来描述本发明的各种实施例,其中:
图1以示意性流程图示出了根据各种实施例的方法;
图2以示意视图示出了根据各种实施例的设备;
图3以示意性透视视图示出了根据各种实施例的设备;
图4以示意性侧视图或横截面视图示出了根据各种实施例的运送容器;
图5以示意性侧视图或横截面视图示出了根据各种实施例的运送容器;
图6以示意性流程图示出了根据各种实施例的方法;
图7以示意性流程图示出了根据各种实施例的方法;
图8以示意性流程图示出了根据各种实施例的方法;
图9以示意性透视视图示出了根据各种实施例的设备;
图10以示意性透视视图示出了根据各种实施例的设备;
图11以示意性透视视图示出根据各种实施例的图像捕获***;
图12以示意视图示出了根据各种实施例的方法;
图13以示意视图示出了根据各种实施例的方法;
图14以示意视图示出了根据各种实施例的方法;
图15以示意视图示出了根据各种实施例的方法;
图16以示意视图示出了根据各种实施例的方法;
图17以示意视图示出了根据各种实施例的方法;
图18以示意视图示出了根据各种实施例的方法;
图19以示意视图示出了根据各种实施例的方法;
图20以示意视图示出了根据各种实施例的方法;和
图21至图37以示意视图分别示出了根据各种实施例的方法。
具体实施方式
以下详细描述对附图进行参考,附图通过图示的方式示出了可以实践本发明的具体细节和实施例。
词语“示范性”在本文中用来意指“用作示例、实例或说明”。本文描述为“示范性”的任何实施例或设计不一定被解释为比其它实施例或设计优选或有利。
在下面的详细描述中,对附图进行参考,附图形成本描述的一部分并且为了说明的目的示出了在其中可以实现本发明的特定实施例。在这点上,关于所描述的(一个或多个)图的取向来使用诸如例如“在顶部”、“在底部”、“在前面”、“在后面”、“前面”、“后面”等等之类的方向术语。由于实施例的组件可以以多个不同的取向进行定位,所以方向术语用于图示并且无论如何不以任何方式进行限制。不言而喻,在不脱离本发明的保护范围的情况下,可以使用其它实施例并且可以进行结构或逻辑改变。不言而喻,除非另外特别指出,否则本文所描述的各种示范性实施例的特征可以彼此组合。因此,下面的详细描述不应被解释为限制性含义的,并且本发明的保护范围由所附权利要求来限定。
在此描述的上下文中,术语“连接”和“耦合”用于描述直接和间接连接以及直接或间接耦合。在附图中,相同或相似的元件提供有相同的附图标记——就这是有利的来说。
根据各种实施例,提供了一种用于计算机辅助识别运送容器为空的方法(即,示例性地,用于识别运送容器是否为空,或者换句话说,包含在运送容器中是否没有物体)和用于计算机辅助识别运送容器为空的设备,其具有较低的复杂性,由此可以减少计算复杂性和存储费用。这使得可以使用更简单的装备,从而使得可以减少采购期间的成本支出。此外,可以减少数据库的容量,使得可以减少用于维护和用于维持数据集的费用,这可以导致成本的节省。
示例性地,根据各种实施例,提供了一种用于计算机辅助识别运送容器为空的方法和用于计算机辅助识别运送容器为空的设备,其确定从——例如借助于相机记录的——运送容器(可能装有一个或多个物体)的一个或多个图像所确定的一个或多个图案与处于空状态(即,运送容器中没有物体)中的运送容器的一个或多个已存储图案的图案偏差。
图案偏差例如由运送容器中的物体引起,也就是说,如果运送容器不是空的,则图案偏差出现或变大。示例性地,将要检查的运送容器的一个已记录图像或多个已记录图像(更精确地,从一个或多个图像中提取的特征)与空的一个或多个参考运送容器的一个或多个参考运送容器图像(更精确地,与例如在先前的训练方法中从一个或多个参考运送容器图像中提取的参考运送容器特征)进行比较,并且基于图案偏差,做出关于待检查的运送容器是否是空的判定。
根据各种实施例,不再需要使用其中存储了要被识别的每个可能物体的数据库,而是可以将数据库的容量减少到所使用的运送容器。因此,数据库的容量不再随着可以借助于运送容器运送并且要被识别的物体的数量和/或变化而增加。
根据各种实施例,此外还借助于三维(3D)图像捕获来获得深度信息。深度信息可以用来例如识别物体是否位于运送容器的不同区域中,例如,在下平面和/或上平面上。因此可以区分物***于运送容器的哪个区域。作为示例,可以通过区域之一获得深度信息,使得示例性而言可以从上面识别某物是位于运送容器的下部区域中还是位于运送容器下面的区域中。因此可以减少所需的图像捕获传感器的数量——因为可以从同一个视角完全地检查运送容器。
根据各种实施例,提供了一种用于对(例如打开的)运送容器(也可以称为运送介质)中的物体(物品)进行计算机辅助分析的***。该***使得可以例如以自动的方式在特定的时间点和/或地点处确定运送容器的状态(例如空的或不空的)。
根据各种实施例,一种用于计算机辅助识别运送容器为空的方法可以包括以下:捕获运送容器的区域的图像数据;使用所述图像数据来(例如借助于特征识别)确定(例如,由运送容器引起的)表示所述运送容器的轮廓图案;确定表示所述轮廓图案与至少一个参考图案的偏差的偏差变量。所述至少一个参考图案表示空的运送容器。该方法还可以包括:如果所述偏差变量满足预定义准则,则输出信号。
根据各种实施例,该方法还可以包括:捕获所述运送容器的附加区域的(例如附加的)图像数据;基于所述(例如,附加的)图像数据来确定(例如,由所述附加区域引起的)表示所述附加区域的附加轮廓图案。所述至少一个参考图案的参考图案包括所述附加轮廓图案。
根据各种实施例,该方法还可以包括:将所述附加轮廓图案存储在数据存储介质上。
根据各种实施例,所述至少一个参考图案可以是数据库的一部分或者形成数据库。
根据各种实施例,所述至少一个参考图案或数据库可以包括多个参考图案(例如,两个或多于两个,例如三个,四个,五个,六个,七个,八个,九个,十个或多于十,例如二十,五十,例如一百或多于一百)。
根据各种实施例,该方法还可以包括:从数据存储介质(例如,从所述数据库)中读出所述至少一个参考图案的参考图案。
根据各种实施例,可以将所述运送容器布置在用于捕获所述图像数据的图像捕获区域中,其中所述图像捕获区域限定(示例性地,运送容器的)图像背景;其中所述至少一个参考图案的参考图案包括表示图像背景的轮廓图案(例如,如果在所述图像捕获区域中没有布置运送容器或者布置了空运送容器)。示例性地,可以将运送容器布置在捕获所述图像数据的图像捕获***和所述图像背景之间。
根据各种实施例,所述偏差变量可以表示所述轮廓图案与所述至少一个参考图案的对比度偏差。
根据各种实施例,所述偏差变量可以表示所述轮廓图案与所述至少一个参考图案的轮廓分布偏差。
根据各种实施例,所述偏差变量可以表示所述轮廓图案与所述至少一个参考图案的区间占据偏差。
根据各种实施例,该方法还可以包括:识别所述运送容器是否布置在其中执行捕获所述图像数据的图像捕获区域中。如果(例如在搜索阶段期间)识别到所述运送容器布置在所述图像捕获区域中,则执行捕获所述图像数据。
所述搜索阶段可以包括以下:捕获反射(例如在IR范围中),以及(例如,以基于特征的方式)将所述反射与所述参考图案(例如,与来自运送介质的所述参考图像的特征)进行比较。
根据各种实施例,该方法还可以包括:识别所述运送容器是否布置在其中执行捕获所述图像数据的图像捕获区域中,并且如果在所述图像捕获区域中没有布置运送容器,则输出另外的信号(也可以称为未被识别信号)。
根据各种实施例,该方法还可以包括:识别所述运送容器是否是来自多个容器类型的容器类型,并且如果识别不是所述多个容器类型的容器类型,则输出另外的信号(也可以称为未被识别信号)。
根据各种实施例,所述预定义准则可以表示空的运送容器,并且所述信号可以包括识别为空的信号。
根据各种实施例,所述预定义准则可以表示非空的运送容器,并且所述信号可以包括识别为非空的信号。
根据各种实施例,所述预定义准则可以表示其中识别为空是不可靠的差错区域,并且所述信号可以包括或构成差错信号。
根据各种实施例,输出所述信号可以包括输出输入请求,其中结账***处理转换到待机状态,直到响应于所述输入请求而执行输入。
根据各种实施例,输出所述信号可以包括输出输入请求,其中所述方法还包括:如果响应于所述输入请求的输入表示所述运送容器的空状态,则基于所述轮廓图案来更新所述至少一个参考图案。
根据各种实施例,输出所述信号可以包括输出输入请求。该方法还包括:如果响应于所述输入请求的输入表示所述运送容器的空状态,则基于所述轮廓图案来形成附加参考图案;以及将所述附加参考图案添加到所述至少一个参考图案(例如,到所述数据库)。
根据各种实施例,捕获所述运送容器的所述图像数据可以包括以下:捕获其中布置有所述运送容器的图像捕获区域的图像数据;确定包括所述运送容器的区域的所述图像数据的所述图像捕获区域的所述图像数据的一部分(也可以称为“感兴趣区域”-ROI或分析区域)。
根据各种实施例,可以使用所述运送容器的一个或多个标记来执行确定所述图像数据的一部分。示例性地,一个标记或多个标记可以用于借助于适用于其的识别算法来实现ROI的界定。
根据各种实施例,所述运送容器可以包括一个或多个标记(例如灰度标记(例如:ArUco)和/或反射标记)。
根据各种实施例,捕获所述运送容器的图像数据可以包括以下:捕获其中布置有所述运送容器的图像捕获区域的图像数据;其中确定所述轮廓图案包括以下:确定表示由所述图像捕获区域限定的图像背景的所述图像捕获区域的图像数据的一部分;将所述图像数据的所述部分与参考图像数据进行比较,其中所述参考图像数据表示空的图像捕获区域(也可以称为图像背景比较)。示例性地,可以通过确定所述图像背景的什么部分被所述运送容器隐藏来确定所述轮廓图案(例如,网格结构)。
根据各种实施例,确定所述轮廓图案可以包括以下:确定具有预定义轮廓密度的所述图像数据的一部分(例如,感兴趣区域);使用具有所述预定义轮廓密度的所述图像数据的所述部分来确定所述轮廓图案。示例性地,所述运送容器的特征密集区域可以用于识别为空。
根据各种实施例,捕获图像数据可以包括以下:连续捕获多个图像数据;以及确定表示所述运送容器和/或具有预定义轮廓密度的所述多个图像数据的图像数据。示例性地,可以执行一系列记录,其中示出所述运送容器的图像用于识别为空。因此,如果所述运送容器没有保留在所述图像捕获区域中和/或不总是相同地位于所述图像捕获区域中,则可以便于识别为空。
根据各种实施例,捕获所述运送容器的所述图像数据可以包括如下:捕获其中布置有所述运送容器的图像捕获区域的图像数据;确定所述运送容器相对于所述图像捕获区域的空间地点(位置和/或对准);基于所述空间地点(位置和/或对准)来确定包括所述区域的所述图像数据的所述图像捕获区域的所述图像数据的一部分(例如,感兴趣区域)。
根据各种实施例,该方法还可以包括:识别所述运送容器的容器类型。所述运送容器是来自多种容器类型的容器类型。所述参考图案表示所述容器类型的空运送容器。
根据各种实施例,该方法还可以包括:从多个参考图案中选择所述参考图案,将其每个参考图案分配给所述多个容器类型中的一个容器类型。
根据各种实施例,该方法还可以包括:识别所述运送容器的容器类型。所述运送容器是来自多个容器类型的容器类型;其中所述准则表示所述容器类型。
根据各种实施例,该方法还可以包括:从多个准则中选择所述准则,将其每个准则分配给所述多个容器类型中的一个容器类型。
根据各种实施例,该方法还可以包括:基于所述图像数据来确定(例如所述运送容器的)颜色信息。所述偏差变量还表示所述颜色信息与参考颜色信息的偏差。所述参考颜色信息表示空的运送容器。
根据各种实施例,确定所述偏差变量可以包括以下:根据预定义加权特性来对所述颜色信息的偏差和所述轮廓图案的偏差进行加权。
根据各种实施例,该方法还可以包括:基于所述图像数据来确定(例如所述运送容器的)地形信息。所述偏差变量还表示所述地形信息与参考地形信息的偏差。所述参考地形信息表示空的运送容器。
根据各种实施例,确定所述偏差变量可以包括以下:根据预定义加权特性来对所述地形信息的偏差和所述轮廓图案的偏差进行加权。
根据各种实施例,该方法还可以包括:基于所述图像数据来确定深度信息。所述偏差变量还表示所述深度信息与参考深度信息的偏差。所述参考深度信息表示空的运送容器。
根据各种实施例,确定所述偏差变量可以包括以下:根据预定义加权特性来对所述深度信息的偏差和所述轮廓图案的偏差进行加权。
根据各种实施例,确定所述深度信息可以包括:通过所述区域和/或通过所述运送容器的区间元件捕获所述运送容器的附加区域的图像信息(其例如布置在第一区域和第二区域之间)。
根据各种实施例,该方法还可以包括:确定所述运送容器的所述图像数据的第一部分,其表示所述运送容器的第一区间元件;以及确定所述运送容器的所述图像数据的第二部分,其表示所述运送容器的第二区间元件。所述第一区间元件和所述第二区间元件相对于彼此成角度地延伸和/或彼此相隔一段距离地进行布置。通过所述第一区间元件来捕获所述图像数据的所述第二部分。所述轮廓图案表示所述第一区间元件和/或所述第二区间元件。示例性地,根据各种实施例,可以区分所述运送容器的哪个区域被检查——例如通过识别将所述区域彼此分开的所述区间元件、和/或例如通过识别界定所述区域的所述区间元件。
根据各种实施例,所述轮廓图案可以表示以下中的至少一个:所述图像背景的轮廓图案(例如,基部结构和/或图像背景结构的轮廓图案);所述运送容器的网格结构和/或所述运送容器的区间元件;所述运送容器的和/或所述运送容器的区间元件的一个或多个支柱布置;所述运送容器的和/或所述运送容器的区间元件的广告介质;如果将物体布置在所述运送容器中则由所述物体引起的干扰;和/或由执行捕获所述图像数据的图像捕获区域所限定的图像背景。
根据各种实施例,运送容器可以是购物手推车(例如,紧凑购物手推车)或购物篮。
根据各种实施例,所述运送容器可以包括第一区域(例如第一运送区域)和第二区域(例如第二运送区域)。所述第一区域和所述第二区域通过所述运送容器的至少一个区间元件彼此分开。
根据各种实施例,区间元件可以包括以下中的至少一个:网格结构;一个或多个支柱布置;和/或广告介质。
根据各种实施例,所述运送容器可以包括底架。所述底架可以包括至少三个例如至少四个车轮(例如自动转向脚轮)。
根据各种实施例,所述底架可以提供两个平移自由度和可选地一个旋转自由度,所述运送容器沿着所述自由度是可移动的。
根据各种实施例,所述两个平移自由度的第一平移自由度和所述两个平移自由度的第二平移自由度可以相对于彼此是不同的,例如彼此垂直。所述两个平移自由度可以例如沿着由支撑表面限定的区间例如水平地延伸。
根据各种实施例,所述运送容器可以包括塑料和/或金属,例如铝和/或钢。
根据各种实施例,所述第二区域可以布置在所述第一区域和所述底架之间。
根据各种实施例,所述第一区域可以包括可枢转区间元件,该可枢转区间元件被配置成使得能够将至少两个运送容器的一个推入另一个中。
根据各种实施例,所述运送容器可以包括抓紧条和/或把手。例如,把手可枢转地安装。
根据各种实施例,所述运送容器可以包括在第一侧上的开口和在与所述第一侧相对的第二侧上的区间元件(例如,示例性地为基部或侧壁)。所述区间元件的横截面面积小于与其平行的开口的横截面面积,使得所述区间元件配合到所述开口中。示例性地,多个运送容器可以被配置成一个配合到另一个中。
根据各种实施例,一种用于计算机辅助识别运送容器为空的设备可以包括以下:用于捕获图像数据的光学图像捕获***;用于存储至少一个参考图案和/或其中存储了至少一个参考图案的数据存储介质,其中所述参考图案表示空的运送容器;处理器,所述处理器被配置为执行以下方法:捕获所述运送容器的区域的图像数据;使用所述图像数据来确定(例如,由所述运送容器引起的)表示所述运送容器的轮廓图案;确定表示所述轮廓图案与至少一个参考图案的偏差的偏差变量。所述至少一个参考图案表示空的运送容器;如果所述偏差变量满足预定义准则,则输出信号。
根据各种实施例,光学图像捕获***可以限定执行捕获图像数据的图像捕获区域。将所述运送容器布置在用于捕获所述图像数据的所述图像捕获区域中。所述图像捕获区域定义所述运送容器的图像背景。所述至少一个参考图案的参考图案包括图像背景的轮廓图案(例如,如果在所述图像捕获区域中没有布置运送容器和/或布置了空运送容器)。
处理器还可以被配置为执行本文所描述的方法之一,例如,如上所述。
根据各种实施例,图像捕获***可以包括用于(例如,立体地)捕获深度信息的(例如借助于一个或两个相机所提供的)至少两个(光学)图像捕获传感器。为了确定所述深度信息,借助于两个图像捕获传感器捕获的所述图像数据可以彼此叠加,例如考虑所述两个图像捕获传感器相对于彼此的相对空间地点(位置和/或对准)。
替代地或者附加地,所述图像捕获***可以包括用于捕获深度信息的至少一个全光相机(也可称为光场相机)。
替代地或者附加地,所述图像捕获***可以包括被配置为将光学图案投影到所述图像捕获区域中的投影仪,并且包括被配置为捕获用于捕获深度信息的所述光学图案的图像捕获传感器。
相机可以包括(光学)图像捕获传感器和被分配给所述图像捕获传感器的至少一个透镜布置。全光相机的透镜布置可以包括由多个微透镜组成的光栅。
图像捕获传感器(也可以称为图像传感器或光学传感器)可以包括例如响应于电磁辐射(例如光,例如可见光)而生成和/或修改电信号的一个或多个光电有源区域(也可以称为像素)。所述图像捕获传感器可以包括例如CCD传感器(电荷耦合器件传感器)和/或有源像素传感器(也可以称为CMOS传感器)或由其形成。
根据各种实施例,可以以波长敏感的方式配置图像捕获传感器(例如,用于捕获颜色信息和/或用于捕获投影到所述图像捕获区域中的图案)。
根据各种实施例,所述处理器可以被配置为确定用于确定所述偏差变量的所述轮廓图案的对比度偏差。
根据各种实施例,所述处理器可以被配置为确定用于确定所述偏差变量的所述轮廓图案的区间占据偏差。
根据各种实施例,所述处理器可以被配置为确定用于确定所述偏差变量的所述轮廓图案的轮廓分布偏差。
根据各种实施例,所述数据存储介质可以是非易失性数据存储器。所述数据存储介质可以包括例如硬盘和/或至少一个半导体存储器(诸如例如只读存储器、随机存取存储器和/或闪存)或由其形成。所述只读存储器例如可以是可擦除可编程只读存储器(也可以称为EPROM)。所述随机存取存储器可以是非易失性随机存取存储器(也可以称为NVRAM)。
根据各种实施例,所述设备还可以包括被配置为执行一个或多个结账***处理的(例如数字)结账***。结账***处理例如可以是计算处理、库存处理和/或登记处理。
结账***可以包括以下中的至少一个:屏幕(也可以称为主屏幕,例如触敏屏幕),打印机(例如用于打印出***和/或标签),用于登记物体的扫描器(例如条形码扫描器),收银机抽屉,(例如可编程的)结账键盘(也可以是触敏屏幕的一部分),电子支付手段终端(也可以称为EC终端,“EC”——电子现金,例如用于读取借记卡和/或***),和/或附加屏幕(也可以称为辅助屏幕,例如顾客监视器),信号输出(也可以是屏幕的一部分),操作员站(其中可以安排操作所述结账***的用户)。
可以将表示结账处理的状态的信息显示在主屏幕上。可以将显示在所述主屏幕上的信息的一部分显示在辅助屏幕上。
根据各种实施例,可以借助于信号输出——例如通过借助于屏幕所输出的输入请求和/或例如通过借助于声学信号输出所输出的声学信号——来输出信号。
例如可以以这样的方式输出输入请求,即只有在已经执行了响应于所述输入请求的输入时才继续登记处理是可能。
根据各种实施例,可以将包括一个或多个数据集的数据库(也可以被称为参考数据库)存储在所述数据存储介质中。每个数据集可以包括参考图案。此外,每个数据集可以包括以下信息项中的至少一个:参考深度信息;参考地形信息;参考颜色信息;分配给所述参考图案的空间地点(例如,运送容器的位置和/或对准);加权特性;和/或分配给所述参考图案的运送容器类型。
替代地,可以使用相对于平移和/或旋转而言是不变的算法来执行识别和/或捕获。作为示例,可以使用用于图像特征的快速且鲁棒的识别的算法,所谓的“鲁棒特征识别算法”(SURF——加速鲁棒特征——算法)。用于基于特征的识别的算法可以是旋转不变的,例如,使得运送容器的识别可以独立于其对准而被执行。然后可以省去关于运送容器的空间地点的信息。
根据各种实施例,所述图像捕获***可以以使得所述图像捕获区域(或所述图像背景)具有支撑表面(例如,大厅的地板)的方式对准。
根据各种实施例,一种用于计算机辅助识别运送容器为空的方法可以包括以下:捕获其中布置有运送容器的图像捕获区域的图像数据。所述图像捕获区域限定图像背景;使用所述图像数据来确定表示所述运送容器和/或所述图像背景的轮廓图案;确定表示所述轮廓图案与至少一个参考图案的至少一个偏差的偏差变量。所述至少一个参考图案表示空的运送容器。该方法还可以包括:如果所述偏差变量满足预定义准则,则输出信号。示例性地,可以确定所述图像背景的和/或所述运送容器的轮廓是否被物体隐藏和/或干扰。
所述地形信息可以表示例如三维分布(例如,位置空间中的区间)。基于所述深度信息,可以确定例如位置空间中的空间地点(例如,相对于参考点的位置、对准和/或距离)。例如,可以基于所述颜色信息来确定颜色直方图和/或颜色光谱。偏差变量可以表示例如三维分布、空间地点,颜色光谱和/或颜色直方图与相应参考数据的偏差。
根据各种实施例,所述准则可以表示阈值。例如,如果所述偏差变量小于所述阈值,则可以输出识别为空的信号。例如,如果所述偏差变量大于所述阈值,则可以输出识别为非空的信号。
根据各种实施例,所述运送容器可以包括购物车、购物篮或某些其它手推车(和/或篮)或由其形成。
根据各种实施例,识别已经保留在所述运送容器内——例如在购物车的下部板条箱支撑件上——的物体可以成为可能。
根据各种实施例,与常规图案识别相比,可以改进和/或使得能够识别在所述运送容器中是否布置了以下物体(例如货物,也可以称为物品)中的一个(例如借助于颜色直方图或深度信息不能可靠地确定那些物体):平面物体(其可以限制例如3D捕获),几乎没有任何或没有加重和/或着色的物体(例如仅具有极少信息、颜色和/或纹理内容),单色和/或均匀物体(例如,实质上均匀的布局,诸如黑色、白色、灰色等),透明物体。
根据各种实施例,识别物体可以基于以下事实:物体干扰(或阻挡)所述运送容器的和/或所述图像背景的所述轮廓图案(例如网格轮廓)和/或引起相对于所述运送容器和/或相对于所述图像背景(例如,支撑表面和/或地板)的对比度。
根据各种实施例,提供了在打开的运送容器中的物体的计算机辅助识别。因此,可以在特定的时间和/或地点中的点处例如以自动的方式识别所述运送容器的状态(空状态,非空状态和/或装满状态)。
根据各种实施例,图像捕获***(例如:英特尔实感F200,英特尔R200和/或英特尔SR300)可以包括2D图像捕获传感器和/或3D图像捕获传感器。
可以借助于电子(可编程的)数据处理***来提供处理器。电子数据处理***还可以包括数据存储介质。作为示例,电子数据处理***可以包括微型计算机或由其形成,微型计算机例如PC***(个人计算机***)或数字结账***。
处理器可以借助于USB接口(通用串行总线接口)——例如经由USB 3.0——而耦合到图像捕获***。
根据各种实施例,数据处理***可以包括(例如借助于协处理器卡或外部图形卡提供的)至少一个协处理器,例如图形处理单元(GPU)。借助于协处理器,可以通过将计算密集型处理交换到协处理器中来实现计算密集型处理的加速。
图1以示意性流程图示出了根据各种实施例的方法100。
根据各种实施例,方法100可以包括:在101中,捕获运送容器的区域的图像数据。方法100还可以包括:在103中,使用图像数据来确定(例如,由运送容器引起的)表示运送容器的轮廓图案。方法100还可以包括:在105中,确定表示轮廓图案与至少一个参考图案的偏差的偏差变量。所述至少一个参考图案表示空的运送容器。方法100还可以包括:在107中,如果偏差变量满足预定义准则,则输出信号。
图2以示意视图示出了根据各种实施例的设备200。
设备200可以包括光学图像捕获***202,数据存储介质204和处理器206。例如借助于数据线,处理器206可以耦合到光学图像捕获***202和数据存储介质204(即,使得数据可以在它们之间传送)。
作为示例,处理器206可以被配置为借助于光学图像捕获***202捕获图像数据。作为示例,处理器206可以控制图像捕获***202。
作为示例,可以将图像数据存储在图像捕获***202的数据存储介质202d(也可以称为缓冲存储器202d)中。可以借助于光学传感器202s(也可以称为图像捕获传感器202s)来捕获图像数据。至少借助于处理器206处理图像数据使得能够从缓冲存储器202d读出所述图像数据。
光学传感器202s可以包括指向图像捕获区域208——例如在方向208b(也可以称为图像捕获方向208b)中——的光电活性表面202o。
图3以示意性透视视图示出了根据各种实施例的设备300。
根据各种实施例,如图3中所示,在图像捕获区域208中可以布置运送容器400例如购物手推车。运送容器400可以包括具有多个可旋转地安装的轮子312r的底架312和运送框架322。可以借助于底架312可移动地安装运送框架322。运送框架322可以提供至少一个运送区域322a。
运送容器400可以包括把手302g,借助于该把手302g,可以引导运送容器400——例如由人引导。运送容器400可以在支撑表面208u上竖立和/或移动。支撑表面208u可以界定图像捕获区域208。支撑表面208u可以限定例如图像捕获区域208的图像背景。
作为示例,图像捕获传感器202s的图像捕获方向208b可以指向支撑表面208u。图像捕获方向208b可以可选地被配置用于改变图像捕获方向208b,例如用于改变至少一个角度202w(例如,立体角)。作为示例,因此,例如基于图像数据和/或对图像捕获区域208中的运送容器的地点的识别,可以适配图像捕获方向208b。示例性地,作为示例,可以将图像捕获方向208b跟踪到移动的运送容器400,和/或将其适配于未被精确定位的运送容器400。
替代地或者附加地,角度202w可以限定图像捕获角202w(也可称为视角)。图像捕获角202w可以理解为意指由记录格式的边缘所界定的位置空间中的角度。在常规矩形图像格式的情况下,图像捕获角度202w可以被认为意指与图像对角线相关联的值。水平和垂直图像捕获角202w可以小于与图像对角线相关联的值。
图像捕获***202可以借助于载体320例如借助于结账台320来保持。可选地,可以将结账***的多个元件例如屏幕、打印机、扫描器和/或支付手段终端布置在结账台320上。
根据各种实施例,可以在图像捕获区域208(也可以称为相机的视场)中搜索运送容器400。
为了捕获运送容器400的图像数据(以及基于其识别为空),可以在图像捕获***202和运送容器400之间提供直接的视觉链接。换句话说,可以执行在运送容器400中的物体的光学识别。
图4以示意性侧视图或横截面视图示出了根据各种实施例的运送容器400,例如第一运送容器类型的运送容器400。
运送框架322可以包括多个运送区域322a,322b(第一运送区域322a和第二运送区域322b),每个运送区域322a和322b可以被配置用于接收(意图被运送的)物体。作为示例,可以借助于支撑区间元件402a,402b(例如基部元件)来提供和/或界定每个运送区域322a,322b。
运送框架322可以包括多个区间元件,例如一个或多个支撑区间元件402a,402b(例如基部元件402a,402b),一个或多个侧部区间元件412a,412b(例如侧部元件412a,412b)。每个运送区域322a,322b可以由一个或多个区间元件界定——例如由至少一个支撑区间元件402a,402b以及可选地由多个(涉及四个)侧部区间元件412a,412b来界定。例如在打开状态和关闭状态之间可枢转地安装401至少一个第一侧部区间元件412b。在打开状态中,可以形成开口402o,将其(大小和地点)配置为使得第二侧部区间元件412b配合到开口402o中。因此,多个运送容器400可以例如沿着方向403一个推入到另一个中。
作为示例,第一运送区域322a的横截面面积(例如,横向地关于方向403截取的截面)可以在从第一侧部区间元件412a指向第二侧部区间元件412b的方向403上减小。
在至少一个方向上,每个运送区域322a,322b可以被打开502o(即具有开口502o),使得例如示例性地,物体可以穿过开口502o进入运送区域322a,322b。
根据各种实施例,运送容器400可以包括具有多个通孔(例如网格或者格子)的区间元件(例如支撑区间元件402a,402b和/或侧部区间元件412a,412b))。作为示例,运送容器400可以包括未完全关闭的中间基部区域402a,以便能够从预定义的视角(例如从上方)在第二运送区域322b(示例性地为下部运送区域322b)中进行识别,其中该中间基部区域402a布置在图像捕获***202和第二运送区域322b之间。
根据各种实施例,第一支撑区间元件402a(也可以称为中间基部区域402a)和/或第二支撑区间元件402b可以具有多个通孔。换句话说,第一支撑区间元件402a和/或第二支撑区间元件402b可以不是视觉上不透明的。这使得通过第一支撑区间元件402a,可以例如借助于深度信息来确定物体是否布置在第二运送区域322b中成为可能。作为示例,基于深度信息,可以确定将特定特征分配给第一支撑区间元件402a,并且如果例如只意图检查第二运送区域322b则可以拒绝该特定特征以形成轮廓图案。
替代地或附加地,这可以使得通过第一支撑区间元件402a,可以使用第二支撑区间元件402b的和/或图像背景602h的轮廓来形成轮廓图案成为可能。类似地,这可以使得通过第二支撑区间元件402b,可以使用图像背景的轮廓来形成轮廓图案。因此可以便于识别为空(示例性地,因为轮廓图案具有更多特征)。
替代地或者附加地,侧部区间元件412a,412b(例如面向图像捕获***202的那些)可以具有多个通孔。这可以使得通过侧部区间元件412a,412b,可以使用第一支撑区间元件402b的、第二支撑区间元件402b的、和/或图像背景的轮廓以形成轮廓图案。作为示例,基于深度信息,可以确定将特定特征分配给侧部区间元件412a,412b并且可以将其拒绝以形成轮廓图案。
作为示例,(不是视觉上不透明的)区间元件402a,402b,412a,412b可以包括(例如金属或非金属)网格结构或由其形成。替代地或者附加地,(非视觉上不透明的)区间元件402a,402b,412a,412b可以包括连续的(例如透明或部分透明)区间或者连续的区间和网格结构的组合(例如透明和/或半透明)或由其形成。
多个运送容器类型可以包括底架312和运送框架322。作为示例,两个运送容器类型可以在以下中的至少一个方面不同:在存在第一区域322a和/或第二区域322b的情况下,第一区域322a的和/或第二区域322b的范围。
图5以示意性侧视图或横截面视图示出了根据各种实施例的运送容器400,例如第二运送容器类型的运送容器400。
在至少存在底架312方面,第一运送容器类型可以与第二运送容器类型不同。
运送容器400可以包括开放运送区域322a(具有开口502o)。运送区域322a可以由支撑区间元件402a和多个侧部区间元件412a,412b来界定。
根据各种实施例,第一运送区域322a的横截面面积(例如,横向地关于方向403截取的截面)可以在从开口502o指向支撑区间元件402a的方向403上减小。因此可以实现的是,多个运送容器400可以例如沿着方向403而一个配合到另一个中,例如用于堆叠多个运送容器400。
运送容器400可以包括把手502,其可以可选地可枢转地安装。
类似于上面给出的描述,可选地通过支撑区间元件402a,可以捕获图像背景的轮廓并且将其用于形成轮廓图案——如果这具有例如多个通孔。因此可以便于识别为空。
类似于上面给出的描述,可选地通过侧部区间元件412a,412b,可以捕获图像背景的和/或支撑区间元件402a的轮廓,并且将其用于形成轮廓图案——如果这具有例如多个通孔。因此可以便于识别为空。
多个运送容器类型可以不具有底架312。作为示例,两个运送容器类型可以在区域322a的至少一个范围(例如高度和/或宽度)方面不同。
图6以示意性流程图示出了根据各种实施例的方法600。
根据各种实施例,可以捕获602e运送容器400的区域的图像数据602。可以使用图像数据602来确定表示运送容器400的轮廓图案604a,604b,604c。
第一轮廓图案604a可以表示例如由于运送容器400而被干扰612h的图像捕获区域(例如,支撑表面208u)的图像背景602h。示例性地,运送容器400的结构400s(例如网格)可以隐藏图像背景602h的一部分,使得其轮廓分布被干扰612,例如,被阻挡612s。
替代地,第二轮廓图案604b可以表示例如运送容器400的结构400s(例如网格400s)。
根据各种实施例,第三轮廓图案604c可以表示运送容器400的结构400s(例如网格)和图像捕获区域208的图像背景602h。
此外,第一轮廓图案604a,第二轮廓图案604b和/或第三轮廓图案604c可以用于确定偏差变量。
例如,如果运送容器400是空的,则轮廓图案604(例如轮廓图案604a,轮廓图案604b和/或轮廓图案604c)可以用作参考图案。示例性地,可以学习参考轮廓图案。
示例性地,可以最初学习运送容器400(诸如例如购物手推车)的或其特征密集区域的和/或支撑表面/图像背景的光学特征。可以将所识别的特征存储在参考数据库中。
图7以示意性流程图示出了根据各种实施例的方法700。
根据各种实施例,如果物体702被布置在运送容器400中,则确定的轮廓图案604(例如轮廓图案604a,轮廓图案604b和/或轮廓图案604c)可以具有表示物体702的轮廓。示例性地,运送容器400的和/或图像背景的轮廓可以被物体702干扰,例如(至少部分地)隐藏。作为示例,轮廓图案604可以具有由物体702引起的一个或多个干扰702u(例如阻挡)。
可以将轮廓图案604与参考轮廓图案704(也可以称为参考图案704)进行比较。如果运送容器400是空的,则参考图案704可以表示图像捕获区域的图像背景602h和/或运送容器400的结构400s。
可以基于轮廓图案604和参考图案704来确定表示轮廓图案604与参考图案704的偏差的偏差变量706。参考图案704可以包括其中没有布置运送容器400或者布置了空运送容器400(例如,以图像背景602h为背景的空运送容器400)的图像捕获区域的轮廓图案。
偏差变量706可以表示对比度偏差706a,颜色偏差706a,轮廓分布偏差706b和/或区间占据偏差706c。对比度偏差706a可以示例性地指示参考图案704和轮廓图案604之间的对比度706k中的偏差的幅度。轮廓分布偏差706b可以示例性地指示参考图案704和轮廓图案604之间的轮廓的分布中的阻挡的幅度。区间占据偏差706c可以示例性地指示在每种情况下由参考图案704和轮廓图案604的轮廓所占据的区域中的偏差的幅度。
可以例如通过比较参考图案704和轮廓图案604的相互对应的像素的值706w(例如,对比度值706w和/或亮度值706w)例如逐像素地确定对比度偏差706a。
作为对比度偏差706a的替代或附加,可以例如通过比较参考图案704和轮廓图案604的相互对应的像素的值706w(例如,颜色值706w和/或亮度值706w)例如逐像素地确定颜色偏差706a。
对于轮廓分布偏差706b,作为示例,可以将参考图案704的参考轮廓704k分配给轮廓图案604的轮廓604k并且可以确定轮廓604k与参考轮廓704k的偏差706(例如空间和/或逐像素)。可以例如在由至少两个坐标706x,706y(空间坐标和/或像素坐标)跨越的位置空间和/或像素空间中确定轮廓604k与参考轮廓704k的偏差706。
可以例如通过比较参考图案704的和轮廓图案604的区间占据706f(例如,占据的像素的数量和/或图案的占据比例)来确定区间占据偏差706c。
偏差变量706可以具有数值(例如区间占据偏差706c,对比度偏差706a和/或颜色偏差),矢量(例如轮廓偏差,深度偏差,空间坐标和/或像素坐标)和/或矩阵(例如,地形偏差)。
图8以示意性流程图示出了根据各种实施例的方法800。
根据各种实施例,偏差变量706可以与预定义准则806进行比较。此外,如果偏差变量706满足准则806,则可以输出信号。该信号可以包括例如视觉信号(例如彩色信号和/或几何信号)、输入请求和/或声学信号,或者由它们形成。
预定义准则806可以包括表示空运送容器的第一准则806a(也可以称为空准则806a)。然后,该信号可以包括表示识别为空的第一信号802a(也可以称为识别为空的信号802a)。示例性地,例如如果偏差变量706小于由第一准则806a表示的第一阈值,则可以输出第一信号802a。
预定义准则806可以包括表示差错区域的第二准则806b(也可以被称为差错准则806b)。然后,该信号可以包括表示差错识别的第二信号802b(也可以称为差错信号802b)。示例性地,例如如果偏差变量706大于第一阈值并且小于由第三准则806c表示的第二阈值,则可以输出第二信号802b。
预定义准则806可以包括表示非空运送容器的第三准则806c(也可以称为非空准则806c)。然后,该信号可以包括表示识别为非空的第三信号802c(也可以称为识别为非空的信号802c)。示例性地,如果偏差变量706大于由第三准则806c表示的第二阈值,则可以输出第三信号802c。
示例性地,差错区域可以位于空准则806a和非空准则806c之间,并且表示其中不能可靠地进行关于运送容器400是否为空的明确判定的区域。
在差错识别的情况下,方法100可以从开始起始。作为示例,运送容器400的不同区域和/或不同的分析区域可以用于形成轮廓图案604。
图9以示意性透视视图示出了根据各种实施例的设备900。
结账***可以包括主屏幕802,条形码扫描器804,辅助屏幕808和EC终端816。屏幕802可以被配置用于输出信号。作为示例,可以在屏幕上显示彩色信号、几何信号和/或输入请求,其表示运送容器400(这里布置在图像捕获区域208外部)的状态(例如空或非空)和/或图像捕获区域208的状态(例如具有或不具有运送容器400)。
设备900可以包括图像捕获***202,所述图像捕获***202包括多个光学传感器202s。每个传感器202s可以限定捕获区域208s,所述捕获区域208s一起限定图像捕获区域208。作为示例,图像捕获***202的至少两个传感器202s的捕获区域208s可以重叠。所示出的安装位置可以被理解为是作为示例。替代地,两个传感器202s可以以这样的方式安装,使得它们的捕获区域彼此相距一定距离或彼此相邻。
支撑表面208u可以具有表示例如地板覆盖物(例如,其瓷砖和/或其接缝)的轮廓。
根据各种实施例,可以在图像捕获区域208中搜索运送容器400。在这种情况下,可以识别运送容器400是否是来自多个(已知的)容器类型中的容器类型,例如第一容器类型或第二容器类型。替代地或附加地,可以识别运送容器400是否被布置在图像捕获区域208中。
此外,如果在图像捕获区域208中没有识别到多个容器类型的容器类型和/或没有识别到运送容器400,则可以输出信号(也可以称为未被识别信号)。在图像捕获区域208中没有识别到多个容器类型的容器类型和/或没有识别到运送容器400的情况下,差错识别可能是明显的。未被识别信号然后可以是差错信号。
在差错识别的情况下,方法100可以从开始起始。作为示例,来自图像捕获区域208的不同区域的图像数据可以用于形成轮廓图案604。
根据各种实施例,信号(例如,差错信号)可以包括输入请求,其中结账***处理转换到待机状态,直到执行了响应于输入请求的输入。因此可以激励操作者(例如结账收银员)(例如通过移动运送容器400)建立状态,其中可以识别运送容器400和/或其运送容器类型。因此可以进一步减少未登记的物品。
如果识别了运送容器和/或运送容器类型,则可以确定轮廓图案604。替代地或者附加地,可以选择表示运送容器类型的参考图案。因此,可以更精确地执行偏差变量的确定,或者可以减少差错识别。示例性地,参考图案可以适配于所确定的运送容器类型,使得识别的运送容器类型的参考图案用于确定偏差变量。
可选地,可以基于所识别的运送容器类型来适配预定义的准则。作为示例,第一准则可以用于第一运送容器类型,而第二准则可以用于第二运送容器类型。因此,可以更准确地执行识别为空或者可以减少差错识别。
主屏幕802可以被配置用于显示表示借助于条形码扫描器804登记的一个物品或多个物品的信息。登记的物品例如可以与分配给它的信息(例如,登记信息)例如商品编号信息、商品名称信息和/或价格信息一起列出并显示在主要屏幕802上。
图10以示意性透视视图示出了根据各种实施例的设备1000。
根据各种实施例,可以将至少一个光学传感器202s固定到保持辅助屏幕808的保持器808h(例如,杆)。辅助屏幕808可以示例性地被配置用于显示借助于主屏幕802所显示的信息的一部分,例如物品名称信息和/或价格信息。
图11以示意性透视视图示出了根据各种实施例的图像捕获***202。
图像捕获***202可以包括多个(例如两个或多于两个)图像捕获传感器202s。图像捕获***202可以包括固定结构,可以将图像捕获***202固定在该固定结构处。此外,图像捕获***202可以包括数据线202k,借助于该数据线202k,图像捕获***202例如可以耦合到处理器206。
图像捕获***202可以被配置为捕获表示例如在位置空间中的二维(2D)信息的图像数据。可选地,图像捕获***202可以被配置为捕获表示例如在位置空间中的三维(3D)信息(也可以称为深度信息)的图像数据。
图像捕获***202可以可选地包括被配置为例如借助于结构化激光(即,以图案的形式结构化的光)来将光学图案投影到图像捕获区域208中的激光投影仪202p。换句话说,激光投影仪202p可以根据图案(例如,以网格的形式)将光发射到图像捕获区域208中。发射的光可以在可见光范围之外,例如在红外(IR)光谱范围(大于约780nm)中。替代地或者附加地,可使用其它光谱范围,例如也在可见光范围(约380nm至约780nm)中。如果将来自外部光源的光发射到图像捕获区域中,则可以使用例如位于外部光源发射的光的光谱范围之外的光谱范围。至少一个图像捕获传感器202s可以被配置为捕获激光投影仪202p的光谱范围。因此,可以借助于图像捕获传感器202s捕获由图像捕获区域中的物体的和/或图像捕获区域中的地形引起的图案的变形(即,可以确定地形信息)。换句话说,图像捕获传感器202s可以捕获3D图像数据。然后可以由处理器进一步处理3D图像数据。基于投影到图像捕获区域208中的光学图案,替代地或者附加地,例如通过确定图像捕获***202与图像捕获区域中的轮廓、物体和/或结构之间的距离和/或通过评估地形信息,可以获得深度信息。
替代地或者附加地,可以将图像捕获***202设计来借助于至少两个图像捕获传感器202s来捕获立体图像数据。然后,图像数据可以包括分配给彼此的并且从不同角度同时记录的两个图像数据部分。
可以借助于处理器来处理图像数据,以便从而例如测量图像捕获***202与图像捕获区域中的轮廓、物体和/或结构之间的距离(即,确定深度信息)。
图12以示意视图示出了根据各种实施例的方法1200。
在2D模式中,首先可以识别运送容器400是否布置在图像捕获区域208中(即,是否存在运送容器400)。作为示例,可以借助于检测(物体上的)例如在IR范围中的反射来执行识别。可以识别反射是否源自于运送容器,例如源自于其结构和/或源自于标记。这使得可以更快地执行识别。反射可以可选地与参考图案进行比较。为此目的,参考图案可以包括参考反射数据。
可以基于图像数据602来执行运送容器400的识别。作为示例,基于图像数据602,可以执行图案识别和/或轮廓识别,将其与数据库进行比较。轮廓识别例如可以仅仅确定轮廓是否存在。
替代地或者附加地,可以确定(在图示中叠加在图像数据上的)轮廓图案604,以便识别运送容器400是否布置在图像捕获区域208中。
此外,在2D模式中,例如如果识别到运送容器400布置在图像捕获区域208中,则基于轮廓图案604,可以确定物体是否布置在运送容器400中。如果轮廓图案604与参考图案704的偏差满足准则(例如,轮廓图案604的所有元素对应于参考图案704的元素),可以例如在主屏幕802上输出识别为空的信号802a。识别为空的信号802a可以显示例如表示运送容器400被识别为空的事实的信息,例如,字母和/或颜色(例如绿色)。
可选地,在2D模式中,可以使用颜色信息1204的偏差,以便确定偏差变量。作为示例,可以确定图像数据602的像素是否(以及如果有的话,是多少)具有偏离参考颜色信息的颜色值。如果运送容器400仅具有灰色色调,则例如可以确定图像数据602是否具有颜色值。
替代地或者附加地,在3D模式中,可以确定图像数据602的像素是否(以及如果有的话,是多少)具有从参考深度信息偏离的深度值(例如,相对于图像捕获***202的距离)。可选地,可以基于图像数据602来确定表示运送容器400的地形(或者其内容——如果合适的话)。
通过示例,首先在2D模式中可以检查第一运送区域322a,并且可选地,之后可以以3D模式检查位于其后面的第二运送区域322b(即,将第一运送区域322a布置在第二运送区域322b和图像捕获***202之间)。
图13以示意视图示出了根据各种实施例的方法1300。
在2D图像模式中,可以确定运送容器400是否未布置在图像捕获区域208中(例如,未放置在结账***的前面和/或至少部分地被隐藏)。作为示例,轮廓图案604可以具有比由准则预定义的特征更少的特征。替代地或者附加地,轮廓图案604可以具有表示运送容器400的边缘的特征。示例性地,可以确定运送容器400是否未完全布置在图像捕获区域208中和/或是否至少部分地(例如被人)隐藏。
如果在图像捕获区域208中没有识别运送容器400和/或识别到所述运送容器没有完全布置在图像捕获区域208中和/或至少部分地被隐藏,则可以输出差错信号802b,例如差错信号802b(例如,未被识别信号)。例如可以在主屏幕802上输出差错信号802b。差错信号802b可以显示例如表示没有识别运送容器400的事实的信息,例如,字母和/或颜色(例如黄色)。
可选地,另外,可以使用(在2D模式中)颜色信息1204和/或(在3D模式中)深度信息1206,以便识别运送容器400是否布置在图像捕获区域208中。作为示例,如果将图像捕获区域208照射到极度大的程度,则不能明确地识别轮廓图案604。在这种情况下,如果基于轮廓图案和/或颜色信息1204和/或深度信息1206识别运送容器400导致不同的结果,则差错信号802b可以包括表示差错原因的信息。
可选地,如果没有识别运送容器类型,则差错信号802b可以包括表示差错原因“没有识别运送容器类型”的信息。
如果运送容器400包括倾向于差错识别(例如,广告区间或高反射差错)的区域,则可以掩蔽掉这些区域(差错区域)(即,不用于确定轮廓图案604)。替代地或者附加地,差错信号802b可以包括表示对应差错原因的信息(例如“识别的差错区域”)。
图14以示意视图示出了根据各种实施例的方法1400。
在图像捕获区域208中识别出运送容器400(例如,在2D模式中)但是不能做出关于所述运送容器是空的还是非空(也就是说物体布置在运送容器400中)的判定的情况下,可以输出差错信号802b。作为示例,如果图像数据有噪点、曝光不足和/或过度曝光,则如果没有轮廓图案可以被确定,则可以输出差错信号802b。作为示例,在2D模式中,透明物体、薄物体和/或小物体可能仅部分地干扰轮廓图案,但是达到这样很大程度使得确定轮廓图案被损害。
可选地,附加地,可以使用颜色信息1204(在2D模式下)和/或深度信息1206(在3D模式下),以便识别是否存在运送容器400。然而,也可能发生这样的情况:在其中不能明确地分配颜色信息1204——例如如果物体具有低饱和度(例如白色)、高反射率或至少部分地被运送容器400的一部分覆盖。
差错信号802b可以表示例如表示差错原因“识别运送容器类型”和/或“无可能判定”的信息,例如,字母和/或颜色(例如橙色)。
图15以示意视图示出了根据各种实施例的方法1500。
根据各种实施例,基于轮廓图案604(这里以与图像数据602重叠的方式示出),可以识别物体702是否布置在运送容器400中,例如在第一运送区域322a中。
如果在2D模式中在运送容器400中识别到物体702(例如物品),则可以例如在主屏幕802上输出识别为非空的信号802c。识别为非空的信号802c可以显示例如表示将运送容器400识别为非空的事实的信息,例如字母和/或颜色(例如红色)。替代地或者附加地,识别为非空的信号802c可以包括输入请求1402。输入请求1402可以要求例如关于识别为非空的信号802c是否正确的确认(即,未触发假警报)。如果识别为非空的信号802c不正确(即,触发了假警报),即,不正确地识别到物体布置在运送容器400中,则可选地,例如可以以这样的方式适配准则:类似于导致假警报的图案的轮廓图案604将在未来触发差错信号(例如所确定的轮廓图案落入差错区域内)。
可选地,基于颜色信息1204,可以识别和/或确认物体702是否布置在运送容器400中,例如在第一运送区域322a中。作为示例,可以同时触发轮廓和颜色识别。
图16以示意视图示出了根据各种实施例的方法1600。
根据各种实施例,基于轮廓图案604,可以识别物体702是否布置在运送容器400中,例如在第一运送区域322a中。作为示例,物体702可以隐藏图像背景的和/或底架312(参见图3)的第一支撑区间元件402a(参见图3和图4)的一部分。可以基于轮廓图案604确定隐藏和/或隐藏的区间占据。
如果物体702是透明的,则颜色信息1204可能具有例如太小以致不能满足准则的偏差。
可选地,基于深度信息1206,可以识别和/或确认物体702布置在运送容器400中,例如在第一运送区域322a中。作为示例,可以同时触发轮廓和地形识别。
图17以示意视图示出了根据各种实施例的方法1700。
如果物体702布置在运送容器400的第二区域中,该第二区域至少部分地例如被第一区域322a隐藏,则可以基于轮廓图案604来识别由物体702引起的偏差。作为示例,物体702可以隐藏底架312的和/或图像背景602h的第二支撑区间元件402b的一部分(参见图3)。
可选地,基于颜色信息1204和/或深度信息1206,可以识别和/或确认物体702布置在运送容器400中,例如在第二运送区域322b中。作为示例,可以触发轮廓识别并且同时触发颜色识别和/或深度识别。
为了将运送容器400识别为空,根据各种实施例,可以使用轮廓图案604,以及可选地,颜色信息1204和/或深度信息1206。数据库可以包括表示空运送容器400的参考图像数据和/或参考颜色信息和/或参考深度信息。为了将运送容器400识别为空,因此可以省去物品数据库。
图18以示意视图示出了根据各种实施例的方法1800。
根据各种实施例,图像数据可以表示第一运送区域322a的第一部分1802(也可称为第一部分区域1802)。
根据各种实施例,可以捕获运送容器的附加区域的附加图像数据。附加区域的附加图像数据可以表示第一运送区域322a的第二部分1804(也可以称为第二部分区域1804)。可以一次地(例如同时地和/或借助于同一光学传感器)、连续地和/或借助于不同光学传感器来捕获图像数据和附加图像数据。
基于附加图像数据,可以确定附加轮廓图案614(第二轮廓图案614),其可以用作参考图案704。示例性地,第二部分区域1804可以用作参考以便确定物体是否布置在第一部分区域1802中。
替代地或附加地,附加区域的附加图像数据可以表示第二运送区域322b。基于附加图像数据,可以确定另一附加轮廓图案624(第三轮廓图案624)。可以一次地(例如同时地和/或借助于同一光学传感器)、连续地和/或通过不同光学传感器来捕获图像数据和附加图像数据。偏差变量然后可以表示例如由物体702引起的第三轮廓图案624的干扰702u。
在界定运送区域322a,322b(例如在篮子的情况下,示例性地,如果存在的话,是篮子内部区间,诸如例如相对大区间的网格)的区间元件、例如支撑区间元件402a,402b(在篮子的情况下,示例性地为例如具有支柱布置和/或连续的***基部的篮子储存库)布置在图像捕获区域208(示例性地为相机的视场)中的情况下,可以确定物体702存在于运送容器400中,例如搁置在支撑区间元件402a,402b上。为此目的,可以从先前学习的轮廓图案704(即已存储的参考图案704)的和/或当前确定的轮廓图案614(即,附加轮廓图案614)的特性性质中确定由物体的可见表面引起的偏差。偏差可以由偏差变量表示。
示例性地,偏差变量可以是在运送容器400的检查区域中的预期轮廓(例如,网格结构或网格区间)和/或其干扰702u的不存在702u的度量,这是由物体702所引起的。作为示例,预期的轮廓图案(例如,网格结构或网格区间)可以存在于第二部分区域1804中(例如围绕物体702)和/或存在于图像数据的不同部分中。
替代地或者附加地,偏差变量可以是例如在相邻区域和/或区间之间(例如在支撑区间元件402a,402b和物体702之间)的对比度转变和/或对比度跃变的度量。这可以基于学习的(例如已存储的)参考图案704和/或基于两个已确定的轮廓图案604,614,624来实现——例如借助于建立已确定的(例如连续的和/或相邻的)轮廓图案604,614,624彼此之间的关系或者与参考图案704的关系。
替代地或者附加地,可以确定表示支撑表面208u(例如具有接缝的瓷砖地板,应用的设计元素比如地板上的广告标志,直到周期性地学习的污染物等)的轮廓图案1814 。然后,例如以偏离参考图案704和/或已确定轮廓图案604,614,624(示例性地为预期的轮廓/纹理)的方式,偏差变量可以是物体702引起的支撑表面208u的和/或其干扰702u的预期轮廓的不存在702u的度量。
根据各种实施例,通过使用本文所述的方法(例如,用于在所检查的区间和附近之间的比较),可以识别在第二运送区域322b(示例性地在下部储存库上的篮子下方)中借助于3D和/或颜色识别(例如具有窄瓶子以及因此对于3D投影对应分析来说太小的表面积的瓶子板条箱,无色物体和/或具有很少颜色的物体)不能检测和/或难以检测的物体。
根据各种实施例,可以确定不是由物体702引起的干扰(也可以称为寄生干扰)(例如,对金属的反射,由于生锈导致的运送容器400的变色、运送容器400的变形等)。因此,寄生干扰(也可以称为负情况)可以与运送容器400中的物体702的存在(也可以称为正情况)区分开。结果,可以避免或减少假警报。
根据各种实施例,可以可选地借助于颜色识别来提供颜色信息。作为示例,偏差变量可以包括在空运送容器400的情况下图像数据的颜色信息与表示运送容器400和/或图像背景602h(例如支撑表面208u)的参考图像数据的偏差。示例性地,可以执行轮廓差异识别和色差识别(相对于参考数据集的偏离特征)。最初可以学习图像捕获区域208中的支撑表面208u的颜色信息并将其存储在数据库中。
如果在分析区域中识别出相对于参考颜色光谱的改变,例如,这可以用作运送容器400不是空的事实的指示符。
根据各种实施例,可以动态地评估在颜色空间中相对于参考颜色信息的偏差。因此可以减少由于环境光的影响引起的假警报。换句话说,例如基于附加轮廓图案614,可以考虑图像捕获区域208的照明状态以用于确定偏差变量。
根据各种实施例,可以可选地借助于深度识别来提供3D信息(深度信息)。最初可以学习其中要意图确定深度信息的区域的位置(例如,在第二支撑区间元件402b上方,支撑表面208u和第一支撑区间元件402a之间的可调节区域)(可以示例性地限定为要检查的区)。作为示例,这可以基于所识别的运送容器类型来执行。可以将要检查的区域的位置(例如其边界和/或其阈值)存储在例如分配给相应的运送容器类型的数据库中。
如果在待识别的区域(可以是例如第二运送区域322b)中识别深度信息与参考深度信息的偏差,则这可以用作运送容器400不为空的指示符。
根据各种实施例,可以可选地借助于加权特性来提供组合方差。
示例性地,由偏差变量表示的、来自不同参考信息项的每个偏差可以用于识别非空状态(运送容器400不为空)。每个有源传感器可以有助于识别非空状态。个体传感器的数据可以借助于加权特性来进行加权。因此,可以提供用于提高评估质量的智能(例如可学习的)组合。作为示例,如果识别到假警报,则可以适配加权特性。在这种情况下,例如基于差错原因,可以向与差错原因相关联的数据(轮廓图案,深度信息和/或颜色信息)给予较小的加权。替代地或附加地,加权特性可以取决于运送容器类型。加权特性和/或其相关性可以存储在数据库中。
根据各种实施例,用于计算机辅助识别运送容器400为空的方法和用于计算机辅助识别运送容器400为空的设备可以成本有效地改装。
根据各种实施例,可以省去对目标物体(要识别的物体702)的复杂学习。换句话说,可以省去物体数据库。可以使用运送容器数据库来代替它。
根据各种实施例,可以提供图像捕获传感器202s在现有***设备例如结账***(示例性地是结账器具)的元件的安装件上的简单(例如,随后)安装。
根据各种实施例,图像捕获方向208b可以指向支撑表面208u。因此,由于图像捕捉传感器202s以非关键视角安装,所以可以减少对人(例如,顾客)的私人领域的侵犯。
根据各种实施例,可以同时执行捕获附加图像数据和图像数据。作为附加轮廓图案614的替代或附加,可以从数据存储介质读出参考图案704。
可以为所使用的图像数据提供足够大的维度以便示例性地提供最高可能的信噪比和/或足够的阈值。可以为所使用的图像数据提供足够小的维度以便示例性地要求尽可能小的计算复杂度。
图19以示意视图示出了根据各种实施例的方法1900。
根据各种实施例,可以首先执行(例如,支撑表面602h的基础结构的,比如结构和/或纹理的)图像背景602h的(例如,特征密集区域的)和/或运送容器400的轮廓图案614学习,例如轮廓图案614的特征、轮廓和/或图案(例如借助于图案识别),以及可选地运送容器400的和/或图像背景602h的深度信息和/或颜色信息。这些数据可以存储在数据库(参考数据库)中。
为此目的,可以借助于图像捕获***202捕获空运送容器400的图像信息(例如在支撑表面208u之前)。可以基于图像信息确定参考图案704,614。可以借助于数据存储介质204存储参考图案704,614。
图20以示意视图示出了根据各种实施例的方法2000。
根据各种实施例,可以基于图像数据602来执行在图像捕获区域208中识别运送容器400和/或其空间地点(位置确定)。替代地或者附加地,在图像捕获区域208中识别运送容器400和/或其空间地点可以使用声学传感器(例如使用声音反射)、光电传感器(例如遮光板)和/或无线电标签传感器(例如RFID——借助电磁波的识别)来执行。作为示例,运送容器400可以包括无线电标签(也可以称为RFID应答器)和/或光学反射器(光学标记)。
根据各种实施例,例如在2D图像空间中可以(以反射数据的形式)捕获反射,例如其区别形式。反射可以例如通过以限定角度发射到图像捕获区域208中的和/或用限定波长范围(例如,IR,例如由IR保护器发射的)发射的光来施加。反射可以通过运送容器和/或光学反射器的金属网格结构引起。基于捕获的反射数据(例如通过特征比较)与参考数据的比较,可以确定运送容器是否位于图像捕获区域208中。这可以导致相当优化的反应时间。
可选地,可以基于空间地点来确定分析区域602b(ROI)。分析区域602b可以示例性地表示例如借助于处理器206在进一步的进程中处理的图像数据的区域。
根据各种实施例,借助于处理器206,可以确定轮廓图案604的状态,例如运送容器400的网格结构的轮廓是否完整或者是否被物体阻挡或隐藏。
可选地,基于图像数据602或分析区域602b,可以确定由运送容器400中的物体702引起的(示例性地,由存在于篮子或在运送介质的下部区域中的物品所引起的)相对于例如表示位于运送容器400下方的基部结构208u和/或运送容器400的其它部分的参考图案704的颜色偏差和/或纹理偏差。
可选地,偏差数据可以与声学传感器、光电传感器和/或无线标签传感器的数据组合。因此可以减少朝向假警报的趋势(示例性地是判定确定性的优化)。
可选地,可以基于图像数据602或分析区域602b确定深度信息。作为示例,可以基于深度信息来适配分析区域602b,例如使得其与第二运送区域322b重叠。
根据各种实施例,可以例如向操作人员和/或借助于屏幕802输出表示识别为空的结果的信号。
根据各种实施例,可以执行用于识别运送容器400为空的组合处理,所述处理包括以下步骤:
- 可以识别表示要分析的运送容器400的已确定的轮廓图案是否具有由运送容器400中的物体702引起的干扰702u。换句话说,可以确定与***已知的轮廓图案(所述轮廓图案表示例如暴露的晶格结构)的偏差。
- 可选地,例如限制于分析区域602b,可以执行相对于参考图像数据——例如相对于图像背景颜色和特征信息——的色差分析。
- 可选地,可以识别物体702是否布置在(例如可缩放和/或可调整的)分析区域602b中,该物体引起运送容器400的至少部分隐藏的区域;
- 可以识别运送容器400是否具有空的状态(空状态);
- 如果识别到与空状态不同的状态(例如,如果物体702布置在运送容器400中)和/或没有运送容器400,则可以输出(例如生成)信号(指示信号);
- 可选地,可以执行对时间上可变的物体(具有例如改变的表面,例如广告材料保持器)的学习和/或屏蔽,以便提供对空运送容器400的可靠识别(例如,即使其轮廓图案偏离参考图案)。学习可以包括确定表示可变物体的轮廓图案,以及更新参考图案和/或数据库以虑及该可变物体。
图21以示意性流程图示出了根据各种实施例的方法2100。
可选地,方法2100可以包括:在2101(也可以称为初始阶段2101)中,启动图像捕获***。
此外,方法2100可以包括:在2103(也可以称为运送容器搜索阶段2103)中,在图像捕获***的图像捕获区域中搜索运送容器。
此外,方法2100可以包括:在2105(也可以称为识别为空的阶段2105或检测阶段2105或物品检测阶段2105)中,识别运送容器是否为空。根据各种实施例,识别为空的阶段2105可以包括:确定偏差变量;以及确定所述偏差变量是否满足预定义准则。
此外,方法2100可以包括:在2107(也可以称为评估阶段2107)中,确定识别为空是否成功。
此外,方法2100可以包括:在2109中(也可以称为信号输出阶段2109)输出表示识别为空的结果的信号。
图22以示意性流程图示出了根据各种实施例的初始阶段2101。
初始阶段2101可以可选地包括:在2201(也可以称为程序开启2101)中,开启被配置为执行根据各种实施例的方法的程序。作为示例,可以将处理器置于准备好操作的状态。处理器可以被配置为例如凭借所述处理器执行所述程序从而来执行根据各种实施例的方法。
此外,初始阶段2101可以包括:在2203(也可以称为相机初始化2203)中,启动图像捕获***,例如图像捕获***的一个图像捕获传感器或多个图像捕获传感器。作为示例,可以将图像捕获***(例如,一个图像捕获传感器或多个图像捕获传感器)置于准备好操作的状态。替代地或者附加地,可以启动至少一个另外的(例如,非光学)传感器,例如至少一个声学传感器、至少一个光电传感器和/或至少一个无线电标签传感器。
此外,初始阶段2101可以包括:在2205中,提供(例如,加载和/或创建)一个参考图案或多个参考图案。可以例如从参考数据库加载(即调用)参考图案。
此外,初始阶段2101可以包括:在2207中,提供(例如,加载和/或创建)参考数据。参考数据可以包括一个或多个参考图案、参考地形信息、参考颜色信息和/或参考深度信息或由其形成。可以为传感器生成参考数据。
图23以示意性流程图示出了根据各种实施例的运送容器搜索阶段2103。
运送容器搜索阶段2103可以包括:在2301中,提供(例如,加载和/或创建)图像数据(也可以称为相机帧)。图像数据可以表示个体图像。可以为了加载目的捕获图像数据。
此外,运送容器搜索阶段2103可以包括:在2303(也可以称为识别2303图像捕获区域为空)中,识别运送容器是否布置在图像捕获区域中。为了识别图像捕获区域中的运送容器的目的,可以执行捕获图像捕获区域中的3D数据(例如地形数据和/或深度信息)。作为示例,为此目的,可以将光学图案发射(例如投影)到图像捕获区域中,并且可以捕获表示光学图案的图像捕获区域的图像数据。可以基于光学图案来执行捕获3D数据(例如,地形数据和/或深度信息)(然后也可以称为IR搜索阶段2303)。示例性地,光学图案可能受到图像捕获区域中的运送容器的影响。示例性地,如果运送容器布置在图像捕获区域中时,为了捕获3D数据,可以捕获由运送容器引起的光学图案的改变。图像捕获***的至少一个图像捕获传感器可以被配置为捕获光学图案的光谱范围。
此外,运送容器搜索阶段2103可以包括:在2305中,判定在图像捕获区域中是否识别运送容器。如果在图像捕获区域中没有识别到运送容器2305b(判定=否2305b),则可以通过提供另外的图像数据继续2301。如果在图像捕获区域中识别到运送容器2305a(判定=是2305a),则可以继续2307。例如可以基于3D数据来执行有关在图像捕获区域中是否识别到运送容器的判定。作为示例,3D数据可以表示:如果运送容器布置在图像捕获区域中时光学图案是否改变和/或在何种程度上改变。示例性地,运送容器搜索阶段2103可以形成循环,在该循环中捕获图像数据,直到已经识别到将运送容器引入到图像捕获区域中和/或已经布置在其中。
为了判定在图像捕获区域中是否识别到运送容器的目的,可以执行确定表示3D数据与参考3D数据的偏差的3D偏差变量,其中参考3D数据表示空图像捕获区域。示例性地,可以将3D数据与参考3D数据进行比较。如果偏差满足预定义准则,则可以判定在图像捕获区域中识别到运送容器(判定=是2305a)。如果偏差不满足预定义准则,则可以判定在图像捕获区域中没有识别到运送容器(判定=否 2305b)。
运送容器搜索阶段2103可以可选地包括:在2307中,使用另外的图像数据(也可以称为另外的相机帧)来形成多个图像数据。另外的图像数据可以表示至少一个另外的个体图像。多个图像数据可以示例性地表示图像序列(例如,以时间和/或空间序列)。为了形成多个图像数据的目的,可以在已经识别到将运送容器引入到图像捕获区域中和/或布置在图像捕获区域中之后捕获该另外的图像数据。示例性地,因此可以捕获例如表示在不同地点中的运送容器的大量图像数据。
如果存在多个图像数据,则运送容器搜索阶段2103可以包括:在2309中,选择表示运送容器和/或具有预定义轮廓密度的图像数据。作为示例,为此目的,可以从多个图像数据中确定(示例性地,选择)表示运送容器和/或具有预定义轮廓密度的图像数据。为了选择图像数据的目的,可以丢弃(即,不考虑)多个图像数据中的已经处理过的图像数据。
此外,运送容器搜索阶段2103可以包括:在2311中,使用轮廓图案来识别运送容器。为此目的,可以使用图像数据来执行确定表示运送容器的轮廓图案。在2311中,例如,可以识别运送容器类型和/或运送容器的地点(图像捕获区域中的对准和/或位置)。
此外,运送容器搜索阶段2103可以包括:在2313中,判定是否识别运送容器。
图24以示意性流程图示出了根据各种实施例的方法2400。
方法2400可以包括运送容器搜索阶段2103和识别为空的阶段2105。
此外,方法2400可以包括:在2401中,判定是否存在另外的图像数据。
如果判定2313在图像捕获区域中识别到运送容器2103a(判定=是2103a),则可以继续识别为空的阶段2105。
如果判定2313没有识别到运送容器2103b(判定=否2103b),则可以执行2401有关是否存在另外的图像数据(其例如还没有被分析)的判定。
如果判定2401另外的图像数据存在2401a(判定=是2401a),则可以在2309中执行从多个图像数据中选择其它图像数据。如果判定2401没有另外的图像数据存在2401b(判定=否2401b),则可以继续运送容器搜索阶段2103;例如在2301中,可以提供(例如,捕获和/或加载)其它图像数据。
图25以示意性流程图示出了根据各种实施例的方法2500。
方法2500可以包括运送容器搜索阶段2503和识别为空的阶段2505。
可选地,方法2500可以包括:在2501中,确定分析区域。示例性地,可以从图像数据中选择在识别为空的阶段2105(识别运送容器为空)中使用的部分。因此可以减少费用。
图26以示意性流程图示出了根据各种实施例的识别为空的阶段2105。
识别为空的阶段2105可以包括:在2601中,基于轮廓图案来确定偏差变量。为此目的,可以使用图像数据(或图像数据的一部分)来确定表示运送容器的轮廓图案;以及确定表示该轮廓图案与至少一个参考图案的偏差的偏差变量。该至少一个参考图案表示空的运送容器。
可选地,识别为空的阶段2105可以包括:在2603中,基于颜色信息来确定偏差变量。为此目的,可以执行使用图像数据(或图像数据的一部分)来确定表示运送容器的颜色信息;以及确定表示该颜色信息与参考颜色信息的偏差的偏差变量。该参考颜色信息表示空的运送容器。
可选地,识别为空的阶段2105可以包括:在2605中,基于深度信息来确定偏差变量。为此目的,可以执行使用图像数据(或图像数据的一部分)来确定表示运送容器的深度信息;以及确定表示该深度信息与参考深度信息的偏差的偏差变量。该参考深度信息表示空的运送容器。
可选地,识别为空的阶段2105可以包括:在2607中,基于地形信息来确定偏差变量。为此目的,可以执行使用图像数据(或图像数据的一部分)来确定表示运送容器的地形信息;以及确定表示该地形信息与参考地形信息的偏差的偏差变量。该参考地形信息表示空的运送容器。例如可以使用光学图案来确定地形信息。
可以连续地(也可以称为单线程)执行图26中示出的序列。作为示例,在确定偏差变量2601,2603,2605,2607的每个处理之后,可以确定是否可以可靠地进行明确判定(例如,运送容器是否为空)(参见差错区域的识别)。为此目的可以确定偏差变量的可靠性。
作为示例,可以通过咨询用于确定偏差变量的其它信息(颜色信息,深度信息和/或地形信息)来改善(就其可靠性方面而言为提高)偏差变量。作为示例,如果确定不能可靠地进行明确的判定,则可以执行确定偏差变量2603,2605,2607的另一处理。示例性地,偏差变量的数据可以逐步连续地叠加,直到获得足够的判定可靠性。
图27以类似于图26的示意性流程图示出了根据各种实施例的识别为空的阶段2105。
可以至少部分地彼此并行地执行(也可以称为多线程)图27中示出的序列。作为示例,可以同时处理至少两个(例如三个或四个)信息项以用于确定偏差变量2601,2603,2605,2607。
图28以示意性流程图示出了根据各种实施例的评估阶段2107。
评估阶段2107可以包括:在2801中,判定在运送容器中是否识别到物体(例如物品)。如果在运送容器中识别到物体2801a(判定=是2801a),则可以输出相应的信号2109(例如,识别为非空的信号)。如果在运送容器中没有识别到物体2801b(判定=否2801b),则可以可选地输出相应的信号2109(例如,识别为空的信号)。
如果在运送容器中没有识别到物体2801b(判定=否2801b),则可选地在评估阶段2107的2803中,可以执行确定是否不可能借助于所使用的图像数据进行判定的处理,例如因为偏差变量不够可靠和/或因为图像数据不具有足够的代表性。
如果确定基于所使用的图像数据的判定不可能2803a(判定=是2803a),则可以输出对应的信号2109(例如,差错信号)。如果借助于所使用的图像数据的判定是可能的2803b(判定=否2803b),则在评估阶段2107的2805中,可选地,可以执行最终判定在运送容器中是否识别到没有物体(例如物品)的处理。
如果最终判定在运送容器中没有识别到物体2805a(判定=是2805a),则可以从运送容器搜索阶段2103开始,例如,可以例如通过提供运送容器的新图像数据来继续2301。示例性地,然后可以执行循环2301,2303,2305,直到已经识别到下一个运送容器。
如果没有最终判定在运送容器中没有识别到物体2805b(判定=否2805b),则在2401中可以执行判定是否存在另外的图像数据(其例如尚未被分析)的处理。示例性地,可以使用多个图像数据的另外的图像数据来检查关于在运送容器中没有布置物体的判定。
根据各种实施例,如果基于相同的多个图像数据的预定义数量的决策对应,则可以执行最终判定2805的处理。因此可以减少不正确识别的风险。
如果存在另外的图像数据2401a(判定=是2401a),则可以执行从多个图像数据中选择2309其它图像数据。如果没有另外的图像数据存在2401a(判定=否2401b),则可以从以运送容器搜索阶段2103开始而起始,例如可以继续2301。在这种情况下,例如可以从相同的运送容器捕获新的图像数据。
图29以示意性流程图示出了根据各种实施例的信号输出阶段2109。
信号输出阶段2109可以包括:在2901中,输出输入请求和/或将结账***处理转送到待机状态(也可以称为程序停止和/或等待用户输入)。作为示例,可以停止程序。
信号输出阶段2109可以包括:在2903中,确定是否已经执行了响应于输入请求的输入。
如果已经执行了响应于输入请求的输入2903a(判定=是2903a),则可以从以运送容器搜索阶段2103开始而起始,例如可以继续2301。如果尚未执行响应于输入请求的输入2903b(判定=否2903b),则可以保持待机状态和/或输入请求的输出。
图30以类似于图21到图29的示意性流程图示出了根据各种实施例的方法3000。
图31以示意性流程图示出了根据各种实施例的方法3100。
方法3100可以包括:在3101中,处理图像数据(也可以称为处理阶段3101)。
方法3100可以可选地包括:在3103中,例如如果不存在(例如适当的)参考图案和/或存在太少的参考图案,则形成和/或适配参考图案(也可以称为参考图案学习阶段3103)。
方法3100可以可选地包括:在3105中,形成和/或适配准则(也可以称为准则学习阶段3105)。
方法3100还可以包括:在3107中,确定偏差变量(也可以称为识别阶段3107)。
方法3100还可以包括:在3109中,输出结果(也可以称为输出阶段3109),例如,输出偏差变量。
图32以示意性流程图示出了根据各种实施例的处理阶段3101。
处理阶段3101可以包括:在3201中,捕获图像数据。
处理阶段3101还可以包括:在3203中,使用图像数据确定轮廓图案。作为示例,可以使用高斯差分(DoG)算法来形成轮廓图案。高斯差分算法可以包括基于图像数据来形成图像数据的模糊版本,并且从图像数据中减去它。可以使用高斯内核来形成模糊版本——例如通过使用高斯内核对图像数据进行卷积。替代地或者附加地,模糊版本可以使用软焦透镜来形成。
处理阶段3101还可以包括:在3205中,请求参考图案。
处理阶段3101还可以包括:在3207中,判定是否存在参考图案。如果存在参考图案3207a(判定=是3207a),则可以继续3209。如果不存在参考图案3207b(判定=否3207b),则可以例如通过形成参考图案来继续3103。
处理阶段3101可以可选地包括:在3209中,针对轮廓图案与参考图案的每个偏差,形成分析区域。为此目的,可以确定轮廓图案与参考图案的一个或多个偏差。
图33以示意性流程图示出了根据各种实施例的参考图案学习阶段3103。
参考图案学习阶段3103可以包括:在3301中,提供(例如形成)灰色图像数据。为此目的,可以将图像数据转换成灰色色调(就它们不是以灰色色调存在来说)。
参考图案学***均波动。平均波动可以表示灰色图像数据的灰度值的平均波动。为了确定平均波动的目的,可以确定平均值偏差和/或标准偏差。
参考图案学习阶段3103可以可选地包括:在3305中,使用灰色图像数据形成灰度等级值矩阵。
参考图案学***均波动。波动可以表示灰度等级值矩阵的对比度、均匀性和/或能量。
参考图案学习阶段3103还可以包括:在3309中,基于灰色图像数据例如使用波动来形成参考图案(根据灰度等级值矩阵和/或根据灰色图像数据)。
参考图案学习阶段3103可以可选地包括:在3311中,例如在参考数据库中存储参考图案和可选地存***动。替代地或者附加地,可以进一步直接处理参考图案。
替代地或者附加地,如果最终判定在运送容器中没有布置物体,和/或如果输入表示在运送容器中没有布置物体的事实,则可以执行参考图案学习阶段3103 。
图34以示意性流程图示出了根据各种实施例的准则学习阶段3105。
准则学习阶段3105可以包括:在3401中,形成分析区域的灰色图像数据。为此目的,可以将图像数据的分析区域转换成灰色色调(就其不以灰色色调存在来说)。
准则学***均波动。平均波动可以表示灰色图像数据的灰度等级值的平均波动。为了确定平均波动的目的,可以确定平均值偏差和/或标准偏差。
替代地或者附加地,准则学***均波动。波动可以表示灰度等级值矩阵的对比度、均匀性和/或能量。
图35以示意性流程图示出了根据各种实施例的方法3500。
方法3500可以包括处理阶段3101和输出阶段3109。可选地,方法3500可以包括准则学习阶段3105。
方法3500还可以包括:在3501中,识别轮廓图案与参考图案的偏差是否存在,例如如果已经识别了至少一个偏差,则识别是否存在另外的偏差。
在处理阶段3101之后例如在针对轮廓图案与参考图案的每个偏差形成分析区域3209之后,可以执行识别轮廓图案与参考图案的偏差是否存在。示例性地,因此可以将分析区域迭代地分配给每个偏差。
在3109中,可以输出轮廓图案与参考图案的偏差是否存在的结果。
如果识别到轮廓图案与参考图案的偏差3605a(判定=是3605a),则可以可选地执行准则学习阶段3105,例如继续形成3401分析区域的灰色图像数据。
图36以示意性流程图示出了根据各种实施例的识别阶段3107。
识别阶段3107可以包括:在3601中,将轮廓图案与参考图案进行比较。为此目的,可以将轮廓图案与参考数据库进行比较,例如以便选择相应的轮廓图案。可以基于比较来确定偏差变量。
识别阶段3107还可以包括:在3603中,将偏差变量与准则进行比较。
识别阶段3607还可以包括:在3603中,判定在运送容器中是否识别到物体。如果偏差变量符合准则,则可以判定在运送容器中已经识别到物体。如果偏差变量不符合准则,则可以判定在运送容器中没有识别到物体。
如果在运送容器中识别到物体3605a(判定=是3605a),则可以继续3109,也就是说,可以输出3109在运送容器中识别了物体的结果。如果在运送容器中没有识别到物体3605b(判定=否3605b),则可以继续3501。示例性地,然后可以处理下一个偏差和/或下一个分析区域。
如果已经处理了图像数据的所有偏差和/或分析区域,则可以继续2401。
图37以类似于图31到图36的示意性流程图示出了根据各种实施例的方法3700。
可以进一步处理输出3109的结果,例如用于输出信号。
尽管已经参考具体实施例特别地示出和描述了本发明,但是本领域技术人员应当理解,在不脱离由所附权利要求限定的本发明的精神和范围的情况下,可以在此在形式和细节上进行各种改变。因此,本发明的范围由所附权利要求来指出,并且因此旨在涵盖落入权利要求的等同物的含义和范围内的所有变化。
Claims (11)
1.一种用于计算机辅助识别运送容器为空的方法,所述方法包括:
捕获所述运送容器的区域的图像数据;
使用所述图像数据确定表示所述运送容器的轮廓图案;
确定表示所述轮廓图案与至少一个参考图案的偏差的偏差变量,其中所述至少一个参考图案表示空的运送容器;和
如果所述偏差变量满足预定义准则,则输出信号。
2.根据权利要求1所述的方法,还包括:
捕获所述运送容器的附加区域的图像数据;
基于所述图像数据来确定表示所述附加区域的附加轮廓图案;
其中所述至少一个参考图案的参考图案包括所述附加轮廓图案。
3.根据权利要求1所述的方法,
其中将所述运送容器布置在用于捕获所述图像数据的图像捕获区域中,其中所述图像捕获区域限定所述运送容器的图像背景;和
其中所述至少一个参考图案的参考图案包括表示所述图像背景的轮廓图案。
4.根据权利要求1所述的方法,
其中所述预定义准则表示空的运送容器,并且所述信号包括识别为空的信号。
5.根据权利要求1所述的方法,
其中输出所述信号包括输出输入请求,以及
其中结账***处理转换到待机状态,直到响应于所述输入请求而执行输入。
6.根据权利要求1所述的方法,还包括:
基于所述图像数据来确定颜色信息;
其中所述偏差变量还表示所述颜色信息与参考颜色信息的偏差,其中所述参考颜色信息表示空的运送容器。
7.根据权利要求1所述的方法,还包括:
基于所述图像数据来确定地形信息;
其中所述偏差变量还表示所述地形信息与参考地形信息的偏差,其中所述参考地形信息表示空的运送容器。
8.根据权利要求1所述的方法,还包括:
基于所述图像数据来确定深度信息;
其中所述偏差变量还表示所述深度信息与参考深度信息的偏差,其中所述参考深度信息表示空的运送容器。
9.根据权利要求1所述的方法,
其中确定所述深度信息包括通过所述区域捕获所述运送容器的附加区域的图像信息。
10.根据权利要求1所述的方法,
其中所述轮廓图案表示由以下组成的组中的至少一个:
所述运送容器的网格结构;
如果将物体布置在所述运送容器中则由所述物体引起的干扰;和
由在其中执行捕获所述图像数据的图像捕获区域所限定的图像背景。
11.一种用于计算机辅助识别运送容器为空的设备,所述设备包括:
被配置为捕获图像数据的光学图像捕获***;
被配置为存储至少一个参考图案的数据存储介质,其中所述参考图案表示空的运送容器;
处理器,所述处理器被配置为执行以下方法:
由所述图像捕获***捕获运送容器的图像数据;
使用所述图像数据来确定表示所述运送容器的轮廓图案;
确定表示所述轮廓图案与至少一个参考图案的偏差的偏差变量,其中所述至少一个参考图案表示空的运送容器;和
如果所述偏差变量满足预定义准则,则输出信号。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP16157106.2A EP3211611A1 (de) | 2016-02-24 | 2016-02-24 | Verfahren zum rechnergestützten leer-erkennen eines transportbehälters und vorrichtung zum rechnergestützten leer-erkennen eines transportbehälters |
EP16157106.2 | 2016-02-24 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107122699A true CN107122699A (zh) | 2017-09-01 |
Family
ID=55442673
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710103080.7A Pending CN107122699A (zh) | 2016-02-24 | 2017-02-24 | 用于计算机辅助识别运送容器为空的方法和用于计算机辅助识别运送容器为空的设备 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10546198B2 (zh) |
EP (1) | EP3211611A1 (zh) |
CN (1) | CN107122699A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111325188A (zh) * | 2020-03-24 | 2020-06-23 | 通力电梯有限公司 | 监测自动扶梯的方法和监测自动扶梯的设备 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108320291B (zh) * | 2018-01-25 | 2021-09-14 | 中国科学院深海科学与工程研究所 | 基于大津算法的海底地貌边界提取方法 |
US11144897B2 (en) * | 2019-10-09 | 2021-10-12 | Zebra Technologies Corporation | Methods and systems to detect items left in merchandise carriers |
EP3839855B1 (de) * | 2019-12-17 | 2024-04-03 | Diebold Nixdorf Systems GmbH | Selbstbedienungs-registrierterminal und verfahren |
EP3839803A1 (de) * | 2019-12-17 | 2021-06-23 | Wincor Nixdorf International GmbH | Verfahren, steuervorrichtung und registrierterminal zum rechnergestützten leer-erkennen eines transportbehälters |
US11625916B2 (en) * | 2020-07-31 | 2023-04-11 | Zebra Technologies Corporation | Automatic identification and presentation of edges, shapes and unique objects in an image used for a machine vision job setup |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080226129A1 (en) * | 2007-03-12 | 2008-09-18 | Malay Kundu | Cart Inspection for Suspicious Items |
US20100158386A1 (en) * | 2007-08-02 | 2010-06-24 | Emza Visual Sense Ltd. | Universal counting and measurement system |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102010034176A1 (de) * | 2010-08-12 | 2012-02-16 | Würth Elektronik Ics Gmbh & Co. Kg | Behälter mit Erfassungsvorrichtung |
DE102011111600A1 (de) * | 2011-08-25 | 2013-02-28 | Audi Ag | n einer Klappe eines Fahrzeugs und zugehöriges Fahrzeug |
US9582739B2 (en) * | 2014-11-18 | 2017-02-28 | Harry Friedbert Padubrin | Learning contour identification system using portable contour metrics derived from contour mappings |
-
2016
- 2016-02-24 EP EP16157106.2A patent/EP3211611A1/de active Pending
-
2017
- 2017-02-16 US US15/434,146 patent/US10546198B2/en active Active
- 2017-02-24 CN CN201710103080.7A patent/CN107122699A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080226129A1 (en) * | 2007-03-12 | 2008-09-18 | Malay Kundu | Cart Inspection for Suspicious Items |
US20100158386A1 (en) * | 2007-08-02 | 2010-06-24 | Emza Visual Sense Ltd. | Universal counting and measurement system |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111325188A (zh) * | 2020-03-24 | 2020-06-23 | 通力电梯有限公司 | 监测自动扶梯的方法和监测自动扶梯的设备 |
Also Published As
Publication number | Publication date |
---|---|
US20170243068A1 (en) | 2017-08-24 |
US10546198B2 (en) | 2020-01-28 |
EP3211611A1 (de) | 2017-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107122699A (zh) | 用于计算机辅助识别运送容器为空的方法和用于计算机辅助识别运送容器为空的设备 | |
CN108492157B (zh) | 无人售货***及无人售货方法 | |
US10579875B2 (en) | Systems and methods for object identification using a three-dimensional scanning system | |
JP6878575B2 (ja) | 紙幣管理方法、システム、プログラム及び記録媒体 | |
CN103366358B (zh) | 污点检测 | |
CN106952402A (zh) | 一种数据处理方法及装置 | |
CN105448000B (zh) | 商品登录装置、商品登录方法以及存储介质 | |
CN111415461A (zh) | 物品识别方法及***、电子设备 | |
CN107424160A (zh) | 通过视觉***查找图像中线的***和方法 | |
EP2751748A1 (en) | Methods and arrangements for identifying objects | |
CN107688345A (zh) | 屏幕状态自动检测机器人、方法及计算机可读存储介质 | |
JP7225434B2 (ja) | 情報処理システム | |
CN112883955B (zh) | 货架布局检测方法、装置及计算机可读存储介质 | |
US20210398097A1 (en) | Method, a device and a system for checkout | |
JP6653813B1 (ja) | 情報処理システム | |
Bobbit et al. | Visual item verification for fraud prevention in retail self-checkout | |
US20220414900A1 (en) | Item identification using multiple cameras | |
US20220414899A1 (en) | Item location detection using homographies | |
CN111428743B (zh) | 商品识别方法、商品处理方法、装置及电子设备 | |
US20230129779A1 (en) | Method, control device and registration terminal for computer-supported detection of the empty state of a transport container | |
JP6836256B2 (ja) | 情報処理システム | |
SE1751401A1 (en) | Training of an automatic in-store registration system | |
CN116188538A (zh) | 一种多摄像头的行为轨迹跟踪方法 | |
EP3659095A1 (en) | Systems and methods for authentication of consumer products | |
CN118133860A (zh) | 区域标定方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170901 |