CN109844807B - 用于对物体进行分割和确定尺寸的方法、***和装置 - Google Patents
用于对物体进行分割和确定尺寸的方法、***和装置 Download PDFInfo
- Publication number
- CN109844807B CN109844807B CN201780050826.0A CN201780050826A CN109844807B CN 109844807 B CN109844807 B CN 109844807B CN 201780050826 A CN201780050826 A CN 201780050826A CN 109844807 B CN109844807 B CN 109844807B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- image data
- clusters
- combined image
- reference sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000004513 sizing Methods 0.000 title abstract description 20
- 230000001131 transforming effect Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 description 45
- 238000003384 imaging method Methods 0.000 description 29
- 230000009466 transformation Effects 0.000 description 29
- 230000033001 locomotion Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 20
- 238000012545 processing Methods 0.000 description 18
- 239000013598 vector Substances 0.000 description 8
- 238000003860 storage Methods 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 5
- 238000012384 transportation and delivery Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013439 planning Methods 0.000 description 2
- 230000000284 resting effect Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/083—Shipping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/77—Determining position or orientation of objects or cameras using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Economics (AREA)
- Multimedia (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Operations Research (AREA)
- Strategic Management (AREA)
- Quality & Reliability (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Development Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
公开了用于对物体进行分割和确定尺寸的方法、***和装置。本文中公开的示例方法包括:基于由多个传感器生成的图像数据,确定所述多个传感器中车辆正朝向其移动的第一传感器;将所述第一传感器指定为参考传感器;组合来自所述多个传感器的图像数据,以生成表示所述车辆和由所述车辆承载的物体的经组合图像数据,所述组合基于参考传感器;基于所述经组合图像数据生成多个集群;以及将所述集群中最接近所述参考传感器的第一集群识别为所述物体。
Description
技术领域
本公开一般涉及图像处理***,并且更具体地,涉及用于对物体进行分割和确定尺寸的方法、***和装置。
背景
运输和物流***包括提高某些递送服务的效率和准确性的规划操作。例如,当多个物体(例如,包裹)将被装载到集装箱(例如,运货卡车)中时,运输和物流***可以确定哪些物体将经由哪个集装箱运输以及如何将物体装载到集装箱中。通过获得要被运输的物体的一个或多个尺寸的知识,这样的***能够更好地执行规划操作。
附图说明
图1描绘了包括根据本公开的教导构造的示例物体尺寸确定***的示例环境。
图2是表示图1的示例货运尺寸确定器(dimensioner)的示例实现的框图。
图3是表示图2的示例参考设置器的示例实现的框图。
图4是表示由图3的示例参考设置器实现的方向方案的视图。
图5是表示图2的货运分析器的示例实现的框图。
图6是表示可被执行以实现图2和/或图3的示例参考设置器的示例操作的流程图。
图7是表示可被执行以实现图2和/或图5的示例货运分析器的示例操作的流程图。
图8是表示图1的图像传感器校准器的示例实现的框图。
图9A-9F图示了与图1和/或图8的示例图像传感器校准器相关联的示例阶段。
图10是表示可被执行以实现图1和/或图8的示例图像传感器校准器的示例操作的流程图。
图11是能够执行图6的示例操作以实现图2和/或图3的示例参考设置器、执行图7的示例操作以实现图2和/或图5的示例货运分析器、和/或执行图10的示例操作以实现图1和/或图8的示例图像传感器校准器的示例逻辑电路的框图。
具体实施方式
通信技术的进步,诸如基于互联网的采购和订购,增加了依赖准确和及时递送货物和材料的消费者和企业的数量。反过来,对负责提供此类服务的那些企业的要求也有所增加。除了递送更多的包裹外,随着运输和物流行业的发展和竞争的加剧,分配的递送时间也缩短了以满足需求。此外,许多实体在确保准确和及时递送包裹的承诺下运营,从而提高了准确和及时履行的重要性。
为了应对这些和其他挑战,运输和物流实体寻求各种操作的不同方面的改进。例如,将包裹装载到集装箱(例如,运货卡车拖车)中的过程包括确定应将哪些包裹装载到哪些集装箱中、确定集装箱中包裹的优选空间布置、将数据传送给装载者(例如,负责将包裹物理地放入集装箱中的人或机器)、以及跟踪与正被装载的包裹有关的信息。这些操作中的一些操作涉及确定或获得包裹的一个或多个特性,诸如例如包裹的重量、包裹的形状和/或包裹的一个或多个尺寸。测量或获得物体(诸如包裹)的一个或多个尺寸的过程有时被称为确定尺寸(dimensioning)。
然而,确定要被装载到集装箱中的每个包裹的尺寸消耗宝贵的时间。为了减少确定包裹的尺寸所花费的时间,一些***利用诸如扫描仪或成像器之类的机器来获得测量结果。在利用机器获得测量结果的已知***中,要被成像或扫描的包裹是静止的并且与其他物体隔离,这是由于与要被确定尺寸的物体接近(例如,邻接或搁置)其它物体(例如,叉车的叉子)相关联的挑战和复杂性。这种已知***引起与在被确定尺寸之前将包裹与其他物体隔离有关的额外的时间和资源消耗。
本文公开的示例方法、***和装置在物体正被诸如叉车之类的车辆承载时提供对物体的有效且准确的确定尺寸。具体地,本文公开的示例包括在多个捕获位置处的图像传感器,该图像传感器生成表示车辆的以及要被确定尺寸的物体(如果存在的话)的颜色数据和深度数据。如下面详细描述的,本文公开的示例识别车辆正朝向其移动的图像传感器之一。也就是说,本文公开的示例能够确定哪个/哪些图像传感器最接近直接指向车辆的正面。本文公开的示例选择车辆正朝向其移动的图像传感器作为用于组合由不同图像传感器生成的图像数据的基准,以生成表示车辆和正被车辆承载的任何物体的组合图像数据。
如下面详细描述的,本文公开的示例在图像数据中生成集群(cluster)并使用集群来识别正被车辆承载的物体。例如,使用车辆正朝向其行驶的图像传感器的知识,本文公开的示例通过确定组合图像数据中的哪个集群具有最接近参考图像传感器的质心来识别正被车辆承载的物体。本文公开的示例通过移除集群中的其他集群来对物体进行分割。因此,尽管物体靠近车辆的部分(例如,搁置在车辆的部分上或以其他方式接触车辆的部分),但是本文公开的示例隔离了对应于物体的图像数据。
本文公开的示例认识到对组合图像数据执行的聚集(clustering)可能包括由于例如物体与车辆的部分的紧密接近和/或接触而导致的错误。也就是说,与物体相关联的集群中的某些数据点实际上可能对应于例如叉车正面的叉子。为了从集群中移除这样的数据点,本文公开的示例认识到车辆的正面与正被车辆承载的物体的颜色不同。如下面详细描述的,本文公开的示例维护包括车辆正面的颜色信息的知识库。使用对应于车辆正面的颜色的知识库,本文公开的示例在任何这样的部分保留的情况下,从组合图像数据移除车辆正面的部分。也就是说,本文公开的示例将物体与车辆的与物体接触的部分隔离,在叉车的情况下,该部分位于车辆的正面附近。在物体完全从车辆分割的情况下,本文公开的示例通过计算物体的一个或多个特性(例如,形状、尺寸或体积)来准确且有效地确定物体的尺寸。
虽然前面解释了与包裹装载和递送相关联的挑战,但是在涉及对物体的准确和有效确定尺寸的需求的其他环境和应用中存在类似的挑战。例如,当物体未被准确放置在分配位置时,库存存货操作和仓库管理操作会受到影响。此外,虽然以下结合装载坞站(dock)处的包裹装载操作描述本文公开的示例方法、***和装置,但是本文公开的示例方法、***和装置可以在任何其他合适的情境或环境(诸如,例如,仓库、零售店、机场、火车装载地点或航运港口)中实施。此外,虽然以下描述了叉车和确定正被叉车承载的包裹的尺寸,但是本文公开的示例方法、***和装置适用于附加或替代类型的物体和/或附加或替代类型的承载器(例如,集装箱、携带物体的人和/或不同类型的车辆)。
图1示出了可在其中实现本文公开的示例方法、***和装置的示例环境。图1的示例表示包括根据本公开的教导构造的尺寸确定***100的装载坞站。图1的示例尺寸确定***包括北成像站102、西成像站104、南成像站106和东成像站108。图1的成像站102-108被安装到框架110。替代性示例包括以任何合适的方式(例如,安装到墙壁)部署的任何合适数量(例如,三(3)个或五(5)个)的成像站。术语“北”、“西”、“南”和“东”用于便于引用而非限制。图1的成像站102-108中的每一个分别包括图像传感器112-118,其能够捕获相应坐标系中的颜色数据和深度数据。例如,图像传感器112-118中的每一个是RGB-D传感器(例如,传感器),其为坐标系中的每个像素生成RGB值和深度值。在替代示例中,成像站102-108中的每一个包括提供深度数据的三维(3D)图像传感器和提供颜色数据的单独的二维(2D)图像传感器。在这种情况下,2D图像传感器被配准到合作的3D图像传感器的坐标系,或反之亦然,使得每个像素的颜色数据与该像素的深度数据相关联。
图1的图像传感器112-118中的每一个指向成像区域120。图像传感器112-118中的每一个朝向成像区域120的地板倾斜(例如,以四十五(45)度角)。如此,图像传感器112-118中的每一个生成表示成像区域120的颜色数据和深度数据。当承载物体124的车辆122进入成像区域120时,图像传感器112-118从各个视角生成表示车辆122和物体124的颜色数据和深度数据。在图1的示例中,车辆122是叉车,并且物体124是要由尺寸确定***100确定尺寸的包裹。例如,车辆122可以处于将物体124从仓库位置移动到拖车或与图1中所示的装载坞站相关联的其他类型的集装箱的过程中。在所示示例中,车辆可以沿第一方向126或第二方向128进入成像区域120。然而,取决于例如装载坞站的周围环境布置,任何合适数量的方向都是可能的。如图1所示,车辆122正在第一方向126上进入成像区域120,第一方向126朝向西成像站114。
为了有效且准确地确定正被车辆122承载的物体124的尺寸而不中断车辆122的移动并且不需要从车辆122移除物体124,图1的示例尺寸确定***包括根据本公开的教导构造的货运尺寸确定器130。在图1所示的示例中,货运尺寸确定器130在部署在装载坞站处的处理平台132上实现。然而,本文公开的示例货运尺寸确定器130可以在任何合适的处理平台中实现,诸如,例如,部署在车辆122上的处理平台和/或由与车辆122或更一般地装载坞站相关联的人携带的移动处理平台。以下结合图11描述处理平台132的示例实现。
图2是表示图1的货运尺寸确定器130的示例实现的框图。图1的示例货运尺寸确定器130接收由图像传感器112-118生成的颜色数据和深度数据。图1的示例货运尺寸确定器130包括参考设置器200,用于确定图像传感器112-118中的哪一个是特定时间的参考传感器,并且基于图像传感器112-118中的哪一个是参考传感器来从不同视角生成表示车辆122和物体124的点云。为了确定图像传感器112-118中的哪一个是参考传感器,示例参考设置器200使用所接收的颜色数据和深度数据来确定车辆122正在例如第一方向126上移动。换句话说,示例参考设置器200确定车辆122正朝向例如西图像传感器114移动。图2的示例参考设置器200选择车辆122正朝向其移动的图像传感器作为该特定时间的参考传感器。参考图1中所示的示例场景,参考设置器200选择西图像传感器114作为参考传感器。值得注意的是,图2的示例参考设置器200动态地确定车辆移动方向,并动态地选择图像传感器112-118中的一个作为参考传感器。也就是说,图2的示例参考设置器200为当前场景实时选择图像传感器112-118中的一个作为参考传感器,并且如果随后遇到不同的场景,则参考设置器200针对该场景选择图像传感器112-118中的不同的一个图像传感器作为参考传感器。
为了从不同视角生成表示车辆122和物体124的点云,图2的示例参考设置器200将由非参考传感器生成的颜色数据和深度数据变换到参考传感器的坐标系。在图1所示的示例场景中,非参考传感器是北图像传感器112、南图像传感器116和东图像传感器118。如此,当呈现图1的示例时,示例参考设置器200将来自北图像传感器112、南图像传感器116和东图像传感器188的颜色数据和深度数据变换到西图像传感器114的坐标系。由图2的示例参考设置器200执行的变换的结果是包括云的点的颜色信息的3D点云。
图2的示例参考设置器200将3D点云和指示图像传感器114中的哪个的参考相机标识符(ID)提供到货运分析器202。如下面结合图5和图6详细描述的,图2的示例货运分析器202将点聚集在3D点云中并使用3D点云的深度数据来确定哪个集群最接近参考传感器(例如,图1中所示的示例场景中的西图像传感器114)。图2的示例货运分析器202将最接近参考传感器的集群识别为物体124。示例货运分析器202使用所识别的集群来将物体124与其他元素分割。例如,货运分析器202删除与车辆122对应的集群和与车辆122中的人对应的集群。如此,图2的示例货运分析器202将点云的与物体124对应的元素与点云的其他元素隔离。
另外,图2的示例货运分析器202使用3D点云的颜色数据、结合已知对应于车辆122的面部的颜色数据库来识别3D点云中对应于车辆122的前结构的点。由于例如物体124与车辆122的部分的紧密接近,这种点可能在隔离对应于物体124的集群之后保留。在其中车辆122是叉车的图1所示的示例中,由货运分析器202识别的前结构是具有承载物体124的叉子和叉子沿着其横穿的轨道的组件。点云的对应于这种结构的数据点可能保留,并且如果不被分割出来,则可能使确定尺寸计算失真。因此,图2的示例货运分析器202利用物体124与车辆122的前结构之间的颜色差异来通过例如移除3D点云中具有与车辆122的前结构的已知颜色值对应的颜色值的点,从车辆122的前结构分割物体124。值得注意的是,由货运分析器202提供的物体124从承载物体124的结构的分割使得物体124能够从与物体124接触的结构隔离。
因此,图2的示例货运分析器202提供仅对应于物体124的图像数据,使得可以执行物体124的准确确定尺寸。图2的示例货运分析器202执行对物体124的任何合适的分析,诸如,例如,提供物体124的特性(例如,不同面的宽度、长度、高度、体积和/或面积)的尺寸确定分析。图2的示例货运尺寸确定器130包括货运特性数据库204,用于存储所获得的特性信息、相关联的颜色数据和/或深度数据、参考相机ID、和/或与图1的尺寸确定***100相关联的任何其他数据。
图3是表示图2的参考设置器200的示例实现的框图。图2的示例参考设置器200包括移动分析器300,该移动分析器具有特征检测器302、特征匹配器304、映射器306、方向识别器308和传感器选择器310。图3的示例移动分析器300接收颜色数据和深度数据的一系列帧。图3的示例特征检测器302使用颜色数据来识别该一系列帧中的每一个中的特征。例如,特征检测器302识别可以重复地且可区分地识别的已知可识别结构、文本或图像和/或图像数据的其他方面。图3的示例特征匹配器304识别在多个帧中发生的相同特征。也就是说,示例特征匹配器304确定特征检测器302是否跨越该一系列帧中的多于一个帧检测到相同的特征。例如,特征匹配器304确定与第一时间相关联的第一帧的哪些部分对应于与在第一时间之后的第二时间相关联的第二帧中也检测到的特征。如果匹配特征在不同帧中的位置不同,则确定这些特征处于运动中。图3的示例3D映射器306将使用颜色数据检测到的匹配特征映射到深度数据。因此,图3的示例3D映射器306生成指示跨一系列帧的匹配特征的3D数据。
图3的示例方向识别器308利用由3D映射器306生成的数据来确定或至少估计匹配特征的移动方向,并且因此确定或至少估计对应于匹配特征的车辆122的移动方向。具体地,图3的示例方向识别器308为图像传感器112-118中的每一个定义两个可能的移动方向(即,朝向和远离)。参考图1的示例装载坞站,车辆122可以沿第一方向126或第二方向128进入成像区域120。因此,图3的示例方向识别器308将车辆122的第一可能方向定义为Z+,将第二可能方向定义为Z-,将第三可能方向定义为X+,并且将第四可能方向定义为X-。图4示出了由图3的示例方向识别器308使用的示例Z方向和示例X方向的关系。在所示示例中,方向识别器308旋转点云,使得Z轴(其对应于由图像传感器112-118捕获的深度数据)平行于地面。
图3的示例方向识别器308计算用于如由3D映射器306提供给方向识别器308的匹配特征对的Z方向和X方向中的每一个的运动向量。在一些示例中,方向识别器308仅使用匹配特征对中指示移动的那些。对于每个匹配特征对,图3的示例方向识别器308通过确定对应运动向量的最大幅度和符号来生成投票(vote)。也就是说,图3的示例方向识别器308确定由每个匹配特征对指示的可能的移动方向。图3的示例方向识别器308确定哪个方向具有最多的投票,并为对应的一系列帧选择该方向。换句话说,图3的示例方向识别器308根据以下等式选择移动方向,其中i表示从时间t和t+1处的连续帧取得的匹配特征对:
MovementDirection=max(Vote(Z+(-)),Vote(X+(-))); (1)
所确定的移动方向被提供给图3的示例传感器选择器310。图3的示例传感器选择器310基于所确定的移动方向选择图像传感器112-118中的一个作为参考传感器。如图4所指示,如果方向识别器308识别Z+方向,则示例传感器选择器310选择北图像传感器112作为参考传感器,如果方向识别器308识别X-方向,则示例传感器选择器310选择西图像传感器114作为参考传感器,如果方向识别器308识别Z-方向,则示例传感器选择器310选择南图像传感器116作为参考传感器,或者如果方向识别器308识别X+方向,则示例传感器选择器310选择东图像传感器118作为参考传感器。
图3的示例传感器选择310将参考传感器选择提供给参考设置器200的3D数据变换器312。另外,示例3D数据变换器312接收由图像传感器112-118生成的由异常值去除器314和背景去除器316过滤的深度数据。具体地,图3的示例异常值去除器314去除点云中超过与成像区域120相关联的阈值(例如,深度)的点。此外,图3的示例背景去除器316去除点云中已知(例如,根据在车辆进入成像区域120之前获得的成像区域120的背景图像)对应于背景元素(例如,装载坞站的固定结构,诸如框架110和/或贴在墙壁上的标志)的点。图3的示例3D变换器312将来自非参考图像传感器的图像数据变换或映射到参考传感器的坐标系。继续图1的示例场景,3D变换器312被通知西图像传感器114被选择作为参考传感器,并且因此,将由北图像传感器112、南图像传感器116和东图像传感器118生成的图像数据变换到西图像传感器114的坐标系。在图3所示的示例中,3D变换器312利用与图像传感器112-118相关联的校准矩阵318来执行变换。图3的示例校准矩阵318包括表示图像传感器112-118的对之间的空间关系的值。为了将由图像传感器112-118中的第一图像传感器生成的数据点变换到图像传感器112-118中的第二图像传感器的坐标系,图3的示例3D变换器312使用与图像传感器112-118中的第一图像传感器和第二图像传感器之间的空间关系相关联的校准矩阵318的值对由图像传感器112-118中的第一图像传感器生成的数据点执行操作(例如,乘法)。
因此,图3的示例参考设置器200从不同图像传感器112-118的不同视角生成表示成像区域120(以及存在于成像区域120中的车辆122)的3D点云。
图5是表示图2的货运分析器202的示例实施方式的框图。示例货运分析器包括集群生成器500、集群选择器502、集群去除器504、前去除器506、经训练颜色模型508和特性测量器510。如上所述,示例货运分析器202被提供有指示图像传感器112-118中的哪一个是当前参考传感器的标识符和已经被变换到参考传感器的坐标系的包括来自图像传感器112-118的颜色数据和深度数据的点云。
示例集群生成器500将所接收的点云中可能对应于共同物体的点组合成集群。在图5所示的示例中,集群生成器500执行欧几里德集群提取算法以生成集群。如此,图5的示例集群生成器500生成物体124和点云中的任何其他物体的集群。示例集群生成器500将集群和相关联的数据提供给集群选择器502。图5的示例集群选择器502使用参考传感器ID和与集群相关联的深度数据和/或坐标(其在参考坐标系中),来将集群中的一个识别为具有最接近参考传感器的质心。继续图1的示例场景,示例集群选择器502确定对应于物体124的集群具有最接近西图像传感器114的质心,因为承载物体124的车辆122正朝向西图像传感器114移动。因此,集群选择器502识别点云中与物体124对应的点。在图5的示例中,集群去除器504删除点云中不对应于被识别为对应于物体124的集群的点。也就是说,通过示例集群去除器504去除被识别为对应于物体124的集群以外的集群。例如,通过集群去除器504去除对应于车辆122的部分的集群。在一些示例中,集群去除器504另外去除未聚集的点。
在图5的示例中,前去除器506使用经训练颜色模型508来识别在集群去除器504已经执行上述删除之后保留在点云中的车辆122的一个或多个前结构。由于集群生成器500错误地将对应于车辆的数据点与对应于物体124的数据点分组在一起,因此可能保留与例如车辆的前结构对应的数据点。这种错误可能是由于物体124靠近车辆122和/或与车辆122接触造成的。经训练颜色模型508包括已知对应于车辆122的前结构的(多个)颜色值。例如,当车辆122是特定类型的叉车时,已知承载组件(例如,叉子和叉子沿着其上下移动的轨道)是黑色的。图5的示例前去除器506在点云中搜索已知对应于车辆122的特定类型的颜色值。示例前去除器506删除点云中对应于车辆122的(多个)前结构的任何识别的点。值得注意的是,这种去除去掉了对应于与物体124接触的结构的图像数据的点云,该结构在没有示例货运分析器202的情况下难以与物体124区分以用于例如确定物体124的尺寸的目的。
图5的示例前去除器506提供点云,其中不对应于物体124的点被去除。
其中不对应于物体124的点被去除的点云被提供给特性测量器510。图5的示例特性测量器510计算物体124的任何期望特性,诸如,例如,物体124的一个或多个尺寸。这些特性被提供给例如货运特性数据库204和/或被传送给请求者。
图6是表示能够实现图2和/或图4的示例参考设置器200的示例操作的流程图。如上面结合图1所述,尺寸确定***100的图像传感器112-118从不同视角生成表示成像区域120的颜色数据和深度数据。在图6的示例中,参考设置器200获得或以其他方式被提供有颜色数据和深度数据(框600)。示例特征检测器302(图3)通过分析所获得的颜色数据的至少两帧来识别存在于成像区域120中的多个特征(例如,可以重复地且可区分地识别的已知可识别结构、文本或图像和/或图像数据的其他方面)(框602)。示例特征匹配器304(图3)确定是否有任何特征出现在多个帧中,并且如果是,则将共同特征标识为跨帧的匹配特征(框604)。示例3D映射器306(图3)将匹配特征映射到所获得的深度数据(框606)。
示例方向识别器308(图3)生成表示匹配特征的运动的运动向量(框608)。示例方向识别器308生成各个运动向量的方向指示(框610)。也就是说,每个运动向量指示特定方向上的移动(例如,朝向图1的西图像传感器114),并且方向识别器308确定各个运动向量的哪个方向。换句话说,每个运动向量对车辆122的移动方向进行投票。在图6的示例中,示例方向识别器308仅针对匹配特征中指示移动的的那些(例如,通过超过坐标位置之间的阈值差异)生成投票。也就是说,丢弃不超过匹配特征之间的阈值差异的运动向量的投票。图3的示例方向识别器308确定哪个方向具有最多的投票,并为对应的一系列帧选择该方向(框612)。例如,方向识别器308使用上面的示例等式(1)-(7)来生成投票并确定要选择哪个方向。
示例传感器选择器310(图3)使用所确定的车辆122的移动方向来基于所确定的移动方向将图像传感器112-118中的一个指定为参考传感器(框614)。例如,如果方向识别器308在图4的示例***中识别X-方向,则传感器选择器310选择西图像传感器114。
通过车辆122正朝向其移动的图像传感器112-118的知识,参考设置器200的示例3D数据变换器312将非参考图像传感器112-118的颜色数据和深度数据变换到参考传感器的坐标系(框616)。在图6所示的示例中,3D数据变换器312接收由异常值去除器314并且由背景去除器316过滤的图像数据,该异常值去除器314去除点云中对应于不感兴趣的点的边远点,该背景去除器316去除点云中已知对应于与装载坞站相关联的背景的点。在图3所示的示例中,3D变换器312利用与图像传感器112-118相关联的校准矩阵318来执行变换。在图6的示例中,3D数据变换器312将变换后的图像数据和参考传感器ID提供给货运分析器202。
图7是表示可被执行以实现例如图2和/或图5的货运分析器202的示例操作的流程图。在图7的示例中,货运分析器202获得或以其他方式被提供有由例如参考设置器200生成的点云(框700)。在图7的示例中,集群生成器500(图5)将可能对应于共同物体的点组合成集群(框702)。也就是说,示例集群生成器500使用例如欧几里德集群提取技术或算法识别点云中可能对应于同一物体的点并将这些点分组在一起以形成集群。在图7的示例中,示例集群选择器502(图5)使用参考传感器ID和与集群相关联的深度数据和/或坐标(其在参考坐标系中),来将集群中的一个识别为具有最接近参考传感器的质心(框704)。这样的集群对应于物体124。示例集群去除器504删除点云中不对应于被识别为对应于物体124的集群的点(框706)。例如,通过集群去除器504去除属于对应于车辆122的集群的点。
示例前去除器506(图5)利用经训练颜色模型508来识别点云中与车辆122的一个或多个前结构对应的剩余(例如,在由集群去除器504执行删除之后)点(框708)。例如,前去除器506在点云中搜索经训练颜色模型508中已知对应于车辆122的(多个)前结构的颜色值。示例前去除器506(图5)删除点云中对应于车辆122的(多个)前结构的任何识别的点(框710)。值得注意的是,这种去除去掉了对应于与物体124接触的结构的图像数据的点云,该结构在没有示例货运分析器202的情况下难以与物体124区分以用于例如确定物体124的尺寸的目的。
在图7的示例中,特性测量器510(图5)计算物体124的任何期望特性,诸如,例如,物体124的一个或多个尺寸(框712)。这些特性被传送或存储在例如特性数据库204(图2)中(框714)。
返回参照图1,为了提高不同图像传感器112-118与彼此的校准或对准的准确度,示例尺寸确定***100包括根据本公开的教导构造的图像传感器校准器134。在一些情况下,图像传感器112-118需要覆盖大面积,并且因此被间隔开显著距离。例如,北图像传感器112可以与西图像传感器114间隔开,使得在北图像传感器112的第一视场(即,北视场)和西图像传感器114的第二视场(即,西视场)之间仅存在几个重叠点。通常,校准技术因不同视场之间的重叠点不足(例如,在准确度和/或速度方面)受到影响。
图1的示例图像传感器校准器134提高了校准过程的准确度和速度,该校准过程的任务是对准例如图1的图像传感器112-118。在一些示例中,图像传感器校准器134生成用于图3的校准矩阵318的数据,该校准矩阵用于例如将来自非参考图像传感器112-118的图像数据变换到参考图像传感器112-118。在图1所示的示例中,图像传感器校准器134在部署在装载坞站处的处理平台132上实现。然而,本文公开的示例图像传感器校准器134可以在任何合适的处理平台中实现,诸如,例如,部署在车辆122上的处理平台和/或由与车辆122或更一般地与装载坞站相关联的人携带的移动处理平台。以下结合图11描述处理平台132的示例实现。
如下面详细描述的,图1的示例图像传感器校准器134执行第一校准阶段和第二校准阶段以生成准确的校准矩阵,其可以被称为变换矩阵。由图1的图像传感器校准器134实现的第一校准阶段基于2D图像数据。在一些示例中,2D图像数据包括坐标处的RGB值。替代地,2D图像数据可包括坐标处的灰度值。由示例图像传感器校准器134实现的第一校准阶段在本文中可称为初始校准,其生成初始变换矩阵,因为第一校准阶段生成粗略或粗糙变换矩阵。由图1的图像传感器校准器134实现的第二校准阶段基于包括深度信息的3D图像数据。由示例图像传感器校准器134实现的第二校准阶段在本文中可称为细化校准,因为第二校准阶段细化初始变换矩阵以更准确地反映图像传感器112-118之间的空间关系。
图8是表示图1的图像传感器校准器134的示例实现的框图。为了说明的目的,下面结合图8描述图9A-9F。也就是说,图9A-9F的示例元素是出于说明而非限制的目的,因为示例图像传感器校准器134可以在除了图9A-9F中所示的环境之外的附加或替代环境中应用或实现。
图8的示例传感器校准器134包括初始矩阵生成器800,用于基于由图像传感器112-118提供的2D图像数据(例如,灰度值或RGB值)生成初始变换矩阵。在图8所示的示例中,初始矩阵生成器800基于故意放置在成像区域120中的校准结构或元件生成初始变换矩阵,以用于校准图像传感器112-118的目的。图9A示出了由例如图1的东图像传感器118生成的2D图像数据的第一帧900。在图9A的示例第一帧900中,校准工具902已经被放置在成像区域120中。图9A的示例校准工具902是具有棋盘图案的板。图9B示出了由例如图1的西图像传感器114生成的2D图像数据的第二帧904。在图9B的示例第二帧904中,从与来自东图像传感器118的视角不同的视角示出校准工具902。在一些示例中,初始矩阵生成器800使用第一帧900和第二帧904以及来自其他(北和南)图像传感器112和116的2D图像数据的附加帧来生成初始变换矩阵。具体地,校准工具902的棋盘图案给初始变换矩阵提供可以在不同图像传感器112-118之间匹配的数据点(例如,直线和拐角)。示例初始矩阵生成器800基于由校准工具902提供的数据点生成初始变换矩阵的映射值。
在一些情况下,由初始矩阵生成器800生成的初始变换矩阵包括对准误差。图8的示例图像传感器校准器134包括经细化矩阵生成器802,其使用3D图像数据来将初始变换矩阵细化为经细化变换矩阵。在图8的示例中,经细化矩阵生成器802包括3D对准器,用于基于初始变换矩阵对准由不同图像传感器112-118生成的3D图像数据。也就是说,图8的示例3D对准器804使用初始变换矩阵来将由图像传感器112-118之一生成的深度值与由图像传感器112-118中的一个或多个其他图像传感器生成的深度值对准。因此,图8的示例3D对准器804将初始变换矩阵应用于3D图像数据。图9C示出了初始变换矩阵的应用如何可能导致深度数据中的对准误差。图9C中所示的对准误差是由初始变换矩阵中的准确度引起的。
图8的示例图像传感器校准器134包括预处理模块806,用于调节变换后的深度值以供进一步处理。例如,预处理模块806去除深度点云中对应于成像区域120的地板的点。图9D示出了图9C的点云,其中对应于地板的点已经被图8的示例预处理模块806去除。可以执行附加或替代的预处理操作。
图8的示例图像传感器校准器134包括重叠提取器808,用于执行点云的最近邻搜索以识别点云中的重叠点。图8的示例重叠提取器808提取点云中的所识别的重叠点并丢弃非重叠点。图9E示出了由图8的示例重叠提取器808提取的重叠点。当存在对准误差时,在识别的重叠点之间存在偏移。
图8的示例图像传感器校准器134包括成对视图配准模块810,用于基于由示例重叠提取器808识别的重叠点和重叠点之间的偏移来细化初始变换矩阵。具体地,示例成对视图配准模块810生成补偿各个重叠点之间的偏移的平移因子(例如,乘数)。如此,为了实现适当的对准,可以使用由成对视图配准模块810生成的值,对初始变换矩阵的值执行操作(例如,乘法或点积)。在所示示例中,经细化变换矩阵对应于初始变换矩阵和由图8的成对视图配准模块810生成的值的组合。图9F示出了根据由示例成对视图配准模块810生成的经细化变换矩阵的深度值的改进对准。
图10是表示能够实现图1和/或图8的示例图像传感器校准器134的示例操作的流程图。在图10的示例中,图像传感器校准器134从例如图像传感器112-118中的两个图像传感器获得表示成像区域120的2D图像数据(框1000)。例如,图像传感器校准器134获得由西图像传感器114和东图像传感器118生成的2D图像数据。示例初始矩阵生成器800基于所获得的2D图像数据生成初始变换矩阵(框1002),在所示示例中,该所获得的2D图像数据包括外在校准工具(例如,图9的校准工具902)。
在图10的示例中,3D对准器804(图8)使用初始变换矩阵对准来自图像传感器112-118中的两个图像传感器的深度值(框1004)。在图10的示例中,预处理模块806(图8)通过例如去除对应于成像区域120的地板的点来调节来自两个图像传感器112-118的深度值(框1006)。
为了校正或改进由于初始变换矩阵的不准确性导致的对准误差,示例重叠提取器808执行对点云的最近邻搜索以识别点云中的重叠点(框1008)。示例重叠提取器808提取重叠点并丢弃点云的非重叠点(框1010)。
在图10的示例中,成对视图配准模块810基于由示例重叠提取器808识别的重叠点来细化初始变换矩阵。具体地,成对视图配准模块810基于所提取的重叠点之间的偏移来生成经细化变换矩阵。在一些示例中,经细化变换矩阵被存储为图3的示例校准矩阵318。
图11是表示可用于实现例如图2和/或图3的示例参考设置器200、图2和/或图5的示例货运分析器202、和/或更一般地,图1和/或图2的示例货运尺寸确定器130的示例逻辑电路的框图。附加地或替代地,图11中呈现的示例逻辑电路可以用于实现图8的示例初始矩阵生成器800、图8的经细化矩阵生成器802、和/或更一般地,图1和/或图8的示例图像传感器校准器134。图11的示例逻辑电路是能够执行指令的处理平台1100,以便例如实现由本说明书附图的流程图表示的示例操作。如下所述,替代性示例逻辑电路包括硬件(例如,门阵列),其专门配置用于执行由本说明书附图的流程图表示的操作。
图11的示例处理平台1100包括处理器1102,诸如,例如,一个或多个微处理器、控制器和/或任何合适类型的处理器。图11的示例处理平台1100包括可由处理器1102访问(例如,经由存储器控制器)的存储器(例如,易失性存储器、非易失性存储器)1104。示例处理器1102与存储器1104交互以获得例如存储在存储器1104中的机器可读指令,其对应于例如由本公开的流程图表示的操作。附加地或替代地,对应于流程图的示例操作的机器可读指令可以存储在一个或多个可移动介质(例如,光盘、数字多功能盘、可移动闪存等)上,该可移动介质可以耦合到处理平台1100以提供对存储在其上的机器可读指令的访问。
图11的示例处理平台1100包括网络接口1106,以实现经由例如一个或多个网络与其他机器的通信。示例网络接口1106包括被配置为根据任何合适的(多个)协议操作的任何合适类型的(多个)通信接口(例如,有线接口和/或无线接口)。
图11的示例处理平台1100包括输入/输出(I/O)接口1108,以使得能够接收用户输入并将输出数据传送给用户。
以上描述涉及附图的框图。由框图表示的示例的替代实现包括一个或多个附加或替代元件、过程和/或设备。附加地或替代地,可以组合、划分、重新布置或省略图中的示例框中的一个或多个。由图的框表示的组成部分由硬件、软件、固件和/或硬件、软件和/或固件的任何组合来实现。在一些示例中,由框表示的组成部分中的至少一个由逻辑电路实现。如本文所使用的,术语“逻辑电路”明确地定义为包括至少一个硬件组件的物理设备,该硬件组件被配置(例如,经由根据预定配置的操作和/或经由执行存储的机器可读指令)为控制一个或多个机器和/或执行一个或多个机器的操作。逻辑电路的示例包括一个或多个处理器、一个或多个协处理器、一个或多个微处理器、一个或多个控制器、一个或多个数字信号处理器(DSP)、一个或多个专用集成电路(ASIC)、一个或多个现场可编程门阵列(FPGA)、一个或多个微控制器单元(MCU)、一个或多个硬件加速器、一个或多个专用计算机芯片、以及一个或多个片上***(SoC)设备。诸如ASIC或FPGA之类的一些示例逻辑电路是用于执行操作(例如,由本公开的流程图表示的一个或多个操作)的专门配置的硬件。一些示例逻辑电路是执行机器可读指令以执行操作(例如,由本公开的流程图表示的一个或多个操作)的硬件。一些示例逻辑电路包括专门配置的硬件和执行机器可读指令的硬件的组合。
以上描述涉及附图的流程图。流程图表示本文公开的示例方法。在一些示例中,由流程图表示的方法实现由框图表示的装置。本文公开的示例方法的替代实现可包括附加或替代操作。此外,可以组合、划分、重新布置或省略本文公开的方法的替代实现的操作。在一些示例中,由流程图表示的操作由存储在介质(例如,有形机器可读介质)上的机器可读指令(例如,软件和/或固件)实现,用于由一个或多个逻辑电路(例如,(多个)处理器)执行。在一些示例中,由流程图表示的操作由一个或多个专门设计的逻辑电路(例如,ASIC)的一个或多个配置实现。在一些示例中,流程图的操作由专门设计的逻辑电路和存储在介质(例如,有形机器可读介质)上以由逻辑电路执行的机器可读指令的组合来实现。
如本文所使用的,术语“有形机器可读介质”、“非暂时性机器可读介质”和“机器可读存储设备”中的每一个明确地定义为机器可读指令(例如,以例如软件和/或固件的形式的程序代码)可被存储在其上的存储介质(例如,硬盘驱动器的盘片、数字多功能盘、光盘、闪存、只读存储器、随机存取存储器等)。进一步,如本文所使用的,术语“有形机器可读介质”、“非暂时性机器可读介质”和“机器可读存储设备”中的每一个被明确地定义为排除传播信号。也就是说,如在本专利的任何权利要求中所使用的,术语“有形机器可读介质”、“非暂时性机器可读介质”和“机器可读存储设备”中的任何一个都不能被理解为由传播信号实现。
如本文所使用的,术语“有形机器可读介质”、“非暂时性机器可读介质”和“机器可读存储设备”中的每一个被明确地定义为存储介质,机器可读介质被存储在该存储介质上达任何合适的持续时间(例如,永久地、达延长的时间段(例如,当与机器可读指令相关联的程序正在执行时)、和/或短时间段(例如,当机器可读指令被缓存和/或在缓冲过程期间))。
尽管本文已经公开了某些示例装置、方法和制品,但是本专利的覆盖范围不限于此。相反,本专利涵盖公平落入本专利权利要求范围内的所有装置、方法和制品。
Claims (20)
1.一种方法,包括:
使用逻辑电路基于由多个传感器生成的图像数据,确定车辆正朝向所述多个传感器中的哪个传感器移动并且将该传感器指定为参考传感器,所述图像数据表示所述车辆和正被所述车辆承载的物体;
使用所述逻辑电路组合来自所述多个传感器的图像数据,以生成表示所述车辆和由所述车辆承载的所述物体的经组合图像数据,所述组合基于所述参考传感器;
使用所述逻辑电路基于所述经组合图像数据生成多个集群;以及
使用所述逻辑电路将所述集群中最接近所述参考传感器的第一集群识别为所述物体。
2.如权利要求1所述的方法,进一步包括:通过从所述经组合图像数据中去除所述集群中的第二集群来从所述集群中的所述第二集群分割所述集群中的所述第一集群。
3.如权利要求2所述的方法,进一步包括:确定所述集群中的所述第一集群的尺寸。
4.如权利要求1所述的方法,进一步包括:
识别所述车辆的比所述车辆的其它结构更靠近所述参考传感器的第一结构;以及
去除所述经组合图像数据中与所述车辆的第一结构对应的点。
5.如权利要求4所述的方法,其特征在于:
识别所述车辆的第一结构包括确定所述车辆的前组件的颜色;以及
去除所述经组合图像数据中与所述车辆的第一结构对应的点包括确定所述点具有所确定的所述车辆的前组件的颜色。
6.如权利要求5所述的方法,其特征在于:
所述车辆是叉车;并且
所述叉车的前组件是所述叉车的承载部分,所述物体被承载在所述承载部分上。
7.如权利要求1所述的方法,其特征在于,组合所述图像数据以生成经组合图像数据包括将所述图像数据变换到所述参考传感器的坐标系中。
8.一种有形机器可读介质,包括指令,所述指令在被执行时使机器至少:
基于由多个传感器生成的图像数据,确定车辆正朝向所述多个传感器中的哪个传感器移动并且将该传感器指定为参考传感器,所述图像数据表示所述车辆和正被所述车辆承载的物体;
组合来自所述多个传感器的图像数据,以生成表示所述车辆和由所述车辆承载的所述物体的经组合图像数据,所述组合基于所述参考传感器;
基于所述经组合图像数据生成多个集群;以及
将所述集群中最接近所述参考传感器的第一集群识别为所述物体。
9.如权利要求8所述的有形机器可读介质,其特征在于,所述指令在被执行时使所述机器通过从所述经组合图像数据中去除所述集群中的第二集群来从所述集群中的所述第二集群分割所述集群中的所述第一集群。
10.如权利要求9所述的有形机器可读介质,其特征在于,所述指令在被执行时使所述机器确定所述集群中的所述第一集群的尺寸。
11.如权利要求8所述的有形机器可读介质,其特征在于,所述指令在被执行时使所述机器:
识别所述车辆的比所述车辆的其它结构更靠近所述参考传感器的第一结构;以及
去除所述经组合图像数据中与所述车辆的第一结构对应的点。
12.如权利要求11所述的有形机器可读介质,其特征在于,所述指令在被执行时使所述机器:
通过确定所述车辆的前组件的颜色来识别所述车辆的第一结构;以及
通过确定所述经组合图像数据中与所述车辆的第一结构对应的点具有所确定的所述车辆的前组件的颜色来去除所述点。
13.如权利要求12所述的有形机器可读介质,其特征在于:
所述车辆是叉车;并且
所述叉车的前组件是所述叉车的承载部分,所述物体被承载在所述承载部分上。
14.如权利要求8所述的有形机器可读介质,其特征在于,所述指令在被执行时使所述机器通过将所述图像数据变换到所述参考传感器的坐标系中来组合所述图像以生成经组合图像数据。
15.一种装置,包括:
参考设置器,用于:
基于由多个传感器生成的图像数据,确定车辆正朝向所述多个传感器中的哪个传感器移动并且将该传感器指定为参考传感器,所述图像数据表示所述车辆和正被所述车辆承载的物体;以及
组合来自所述多个传感器的图像数据,以生成表示所述车辆和由所述车辆承载的所述物体的经组合图像数据,所述组合基于所述参考传感器;以及
货运分析器,用于:
基于所述经组合图像数据生成多个集群;以及
将所述集群中最接近所述参考传感器的第一集群识别为所述物体,其中所述参考设置器或所述货运分析器中的至少一者是经由逻辑电路实现的。
16.如权利要求15所述的装置,其特征在于,所述货运分析器用于通过从所述经组合图像数据中去除所述集群中的第二集群来从所述集群中的所述第二集群分割所述集群中的所述第一集群。
17.如权利要求16所述的装置,其特征在于,所述货运分析器用于确定所述集群中的所述第一集群的尺寸。
18.如权利要求15所述的装置,其特征在于,所述货运分析器用于:
识别所述车辆的最接近所述参考传感器的第一部分;以及
去除所述经组合图像数据中与所述车辆的第一部分对应的点。
19.如权利要求18所述的装置,其特征在于,所述货运分析器用于:
通过确定所述车辆的前组件的颜色来识别所述车辆的第一部分;以及
通过确定所述经组合图像数据中与所述车辆的第一部分对应的点具有所确定的所述车辆的前组件的颜色来去除所述点。
20.如权利要求19所述的装置,其特征在于:
所述车辆是叉车;并且
所述叉车的前组件是所述叉车的承载部分,所述物体被承载在所述承载部分上。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/242,126 | 2016-08-19 | ||
US15/242,126 US10776661B2 (en) | 2016-08-19 | 2016-08-19 | Methods, systems and apparatus for segmenting and dimensioning objects |
PCT/US2017/037863 WO2018034730A1 (en) | 2016-08-19 | 2017-06-16 | Methods, systems and apparatus for segmenting and dimensioning objects |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109844807A CN109844807A (zh) | 2019-06-04 |
CN109844807B true CN109844807B (zh) | 2024-03-01 |
Family
ID=59270136
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780050826.0A Active CN109844807B (zh) | 2016-08-19 | 2017-06-16 | 用于对物体进行分割和确定尺寸的方法、***和装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10776661B2 (zh) |
CN (1) | CN109844807B (zh) |
CA (1) | CA3029559C (zh) |
DE (1) | DE112017004142T5 (zh) |
GB (1) | GB2567590B (zh) |
WO (1) | WO2018034730A1 (zh) |
Families Citing this family (53)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10614578B2 (en) * | 2016-03-23 | 2020-04-07 | Akcelita, LLC | System and method for tracking people, animals and objects using a volumetric representation and artificial intelligence |
US10360445B2 (en) * | 2016-03-23 | 2019-07-23 | Akcelita, LLC | System and method for tracking persons using a volumetric representation |
US10049462B2 (en) * | 2016-03-23 | 2018-08-14 | Akcelita, LLC | System and method for tracking and annotating multiple objects in a 3D model |
US11042161B2 (en) | 2016-11-16 | 2021-06-22 | Symbol Technologies, Llc | Navigation control method and apparatus in a mobile automation system |
US10949798B2 (en) | 2017-05-01 | 2021-03-16 | Symbol Technologies, Llc | Multimodal localization and mapping for a mobile automation apparatus |
US10591918B2 (en) | 2017-05-01 | 2020-03-17 | Symbol Technologies, Llc | Fixed segmented lattice planning for a mobile automation apparatus |
US10663590B2 (en) | 2017-05-01 | 2020-05-26 | Symbol Technologies, Llc | Device and method for merging lidar data |
WO2018204308A1 (en) | 2017-05-01 | 2018-11-08 | Symbol Technologies, Llc | Method and apparatus for object status detection |
US11449059B2 (en) | 2017-05-01 | 2022-09-20 | Symbol Technologies, Llc | Obstacle detection for a mobile automation apparatus |
US10726273B2 (en) | 2017-05-01 | 2020-07-28 | Symbol Technologies, Llc | Method and apparatus for shelf feature and object placement detection from shelf images |
US11367092B2 (en) | 2017-05-01 | 2022-06-21 | Symbol Technologies, Llc | Method and apparatus for extracting and processing price text from an image set |
US11093896B2 (en) | 2017-05-01 | 2021-08-17 | Symbol Technologies, Llc | Product status detection system |
WO2018201423A1 (en) | 2017-05-05 | 2018-11-08 | Symbol Technologies, Llc | Method and apparatus for detecting and interpreting price label text |
US10521914B2 (en) | 2017-09-07 | 2019-12-31 | Symbol Technologies, Llc | Multi-sensor object recognition system and method |
US10572763B2 (en) | 2017-09-07 | 2020-02-25 | Symbol Technologies, Llc | Method and apparatus for support surface edge detection |
US11327504B2 (en) | 2018-04-05 | 2022-05-10 | Symbol Technologies, Llc | Method, system and apparatus for mobile automation apparatus localization |
US10832436B2 (en) | 2018-04-05 | 2020-11-10 | Symbol Technologies, Llc | Method, system and apparatus for recovering label positions |
US10809078B2 (en) | 2018-04-05 | 2020-10-20 | Symbol Technologies, Llc | Method, system and apparatus for dynamic path generation |
US10740911B2 (en) | 2018-04-05 | 2020-08-11 | Symbol Technologies, Llc | Method, system and apparatus for correcting translucency artifacts in data representing a support structure |
US10823572B2 (en) | 2018-04-05 | 2020-11-03 | Symbol Technologies, Llc | Method, system and apparatus for generating navigational data |
DK3572767T3 (da) | 2018-05-25 | 2021-03-08 | Mettler Toledo Gmbh | Dynamisk palledimensionering - gaffelløftertarering |
US10930001B2 (en) | 2018-05-29 | 2021-02-23 | Zebra Technologies Corporation | Data capture system and method for object dimensioning |
US10611372B2 (en) * | 2018-09-06 | 2020-04-07 | Zebra Technologies Corporation | Dual-mode data capture system for collision detection and object dimensioning |
US11010920B2 (en) | 2018-10-05 | 2021-05-18 | Zebra Technologies Corporation | Method, system and apparatus for object detection in point clouds |
US11506483B2 (en) | 2018-10-05 | 2022-11-22 | Zebra Technologies Corporation | Method, system and apparatus for support structure depth determination |
US11379788B1 (en) | 2018-10-09 | 2022-07-05 | Fida, Llc | Multilayered method and apparatus to facilitate the accurate calculation of freight density, area, and classification and provide recommendations to optimize shipping efficiency |
US11003188B2 (en) | 2018-11-13 | 2021-05-11 | Zebra Technologies Corporation | Method, system and apparatus for obstacle handling in navigational path generation |
US11090811B2 (en) | 2018-11-13 | 2021-08-17 | Zebra Technologies Corporation | Method and apparatus for labeling of support structures |
US11416000B2 (en) | 2018-12-07 | 2022-08-16 | Zebra Technologies Corporation | Method and apparatus for navigational ray tracing |
US11079240B2 (en) | 2018-12-07 | 2021-08-03 | Zebra Technologies Corporation | Method, system and apparatus for adaptive particle filter localization |
US11100303B2 (en) | 2018-12-10 | 2021-08-24 | Zebra Technologies Corporation | Method, system and apparatus for auxiliary label detection and association |
US11015938B2 (en) | 2018-12-12 | 2021-05-25 | Zebra Technologies Corporation | Method, system and apparatus for navigational assistance |
US10731970B2 (en) | 2018-12-13 | 2020-08-04 | Zebra Technologies Corporation | Method, system and apparatus for support structure detection |
CA3028708A1 (en) | 2018-12-28 | 2020-06-28 | Zih Corp. | Method, system and apparatus for dynamic loop closure in mapping trajectories |
CN109813285A (zh) * | 2019-01-31 | 2019-05-28 | 莱克电气股份有限公司 | 基于视觉的清洁机器人环境识别方法、存储介质、一种清洁机器人 |
US11158075B2 (en) * | 2019-06-03 | 2021-10-26 | Zebra Technlogies Corporation | Method, system and apparatus for depth sensor artifact removal |
US11080566B2 (en) | 2019-06-03 | 2021-08-03 | Zebra Technologies Corporation | Method, system and apparatus for gap detection in support structures with peg regions |
US11200677B2 (en) | 2019-06-03 | 2021-12-14 | Zebra Technologies Corporation | Method, system and apparatus for shelf edge detection |
US11341663B2 (en) | 2019-06-03 | 2022-05-24 | Zebra Technologies Corporation | Method, system and apparatus for detecting support structure obstructions |
US11662739B2 (en) | 2019-06-03 | 2023-05-30 | Zebra Technologies Corporation | Method, system and apparatus for adaptive ceiling-based localization |
US11960286B2 (en) | 2019-06-03 | 2024-04-16 | Zebra Technologies Corporation | Method, system and apparatus for dynamic task sequencing |
US11151743B2 (en) | 2019-06-03 | 2021-10-19 | Zebra Technologies Corporation | Method, system and apparatus for end of aisle detection |
US11402846B2 (en) | 2019-06-03 | 2022-08-02 | Zebra Technologies Corporation | Method, system and apparatus for mitigating data capture light leakage |
JP7313998B2 (ja) * | 2019-09-18 | 2023-07-25 | 株式会社トプコン | 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム |
US11507103B2 (en) | 2019-12-04 | 2022-11-22 | Zebra Technologies Corporation | Method, system and apparatus for localization-based historical obstacle handling |
US11107238B2 (en) | 2019-12-13 | 2021-08-31 | Zebra Technologies Corporation | Method, system and apparatus for detecting item facings |
US11822333B2 (en) | 2020-03-30 | 2023-11-21 | Zebra Technologies Corporation | Method, system and apparatus for data capture illumination control |
US20220016779A1 (en) * | 2020-07-15 | 2022-01-20 | The Board Of Trustees Of The University Of Illinois | Autonomous Robot Packaging of Arbitrary Objects |
US11450024B2 (en) | 2020-07-17 | 2022-09-20 | Zebra Technologies Corporation | Mixed depth object detection |
US11593915B2 (en) | 2020-10-21 | 2023-02-28 | Zebra Technologies Corporation | Parallax-tolerant panoramic image generation |
US11392891B2 (en) | 2020-11-03 | 2022-07-19 | Zebra Technologies Corporation | Item placement detection and optimization in material handling systems |
US11847832B2 (en) | 2020-11-11 | 2023-12-19 | Zebra Technologies Corporation | Object classification for autonomous navigation systems |
US11954882B2 (en) | 2021-06-17 | 2024-04-09 | Zebra Technologies Corporation | Feature-based georegistration for mobile computing devices |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008057504A2 (en) * | 2006-11-06 | 2008-05-15 | Aman James A | Load tracking system based on self- tracking forklift |
Family Cites Families (124)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5408322A (en) | 1993-04-26 | 1995-04-18 | Materials Research Corporation | Self aligning in-situ ellipsometer and method of using for process monitoring |
US20020014533A1 (en) | 1995-12-18 | 2002-02-07 | Xiaxun Zhu | Automated object dimensioning system employing contour tracing, vertice detection, and forner point detection and reduction methods on 2-d range data maps |
US5831719A (en) | 1996-04-12 | 1998-11-03 | Holometrics, Inc. | Laser scanning system |
US5988862A (en) | 1996-04-24 | 1999-11-23 | Cyra Technologies, Inc. | Integrated system for quickly and accurately imaging and modeling three dimensional objects |
US6332098B2 (en) | 1998-08-07 | 2001-12-18 | Fedex Corporation | Methods for shipping freight |
US6820895B2 (en) | 1998-09-23 | 2004-11-23 | Vehicle Safety Systems, Inc. | Vehicle air bag minimum distance enforcement apparatus, method and system |
JP2002321698A (ja) | 2001-04-27 | 2002-11-05 | Mitsubishi Heavy Ind Ltd | 航空貨物運搬用ボーディング・ブリッジ |
CA2451659A1 (en) | 2001-06-29 | 2003-01-09 | Melvyn Lionel Smith | Overhead dimensioning system and method |
US6995762B1 (en) | 2001-09-13 | 2006-02-07 | Symbol Technologies, Inc. | Measurement of dimensions of solid objects from two-dimensional image(s) |
US20060106742A1 (en) * | 2002-04-29 | 2006-05-18 | Speed Trac Technologies, Inc. | System and method for weighing and tracking freight |
US7248754B2 (en) | 2003-05-05 | 2007-07-24 | International Business Machines Corporation | Apparatus and method for determining whether machine readable information on an item matches the item |
US7137207B2 (en) | 2003-06-23 | 2006-11-21 | Armstrong Timothy D | Measuring arrangement to determine location of corners for a building foundation and a wooden base frame, and the use thereof |
DE10336638A1 (de) | 2003-07-25 | 2005-02-10 | Robert Bosch Gmbh | Vorrichtung zur Klassifizierung wengistens eines Objekts in einem Fahrzeugumfeld |
TWI266035B (en) | 2003-11-11 | 2006-11-11 | Hon Hai Prec Ind Co Ltd | A system and method for measuring point-cloud |
JP4849818B2 (ja) * | 2005-04-14 | 2012-01-11 | イーストマン コダック カンパニー | ホワイトバランス調整装置及び色識別装置 |
US8294809B2 (en) * | 2005-05-10 | 2012-10-23 | Advanced Scientific Concepts, Inc. | Dimensioning system |
ES2431047T5 (es) | 2005-06-28 | 2018-01-16 | Outotec Pty Ltd | Un sistema y método para medir y mapear una superficie con relación a una referencia |
WO2007030026A1 (en) | 2005-09-09 | 2007-03-15 | Industrial Research Limited | A 3d scene scanner and a position and orientation system |
US7605817B2 (en) | 2005-11-09 | 2009-10-20 | 3M Innovative Properties Company | Determining camera motion |
US8157205B2 (en) | 2006-03-04 | 2012-04-17 | Mcwhirk Bruce Kimberly | Multibody aircrane |
CA2737302C (en) | 2006-04-28 | 2013-06-18 | Global Sensor Systems Inc. | Device for measuring package size |
US20070272732A1 (en) | 2006-05-26 | 2007-11-29 | Mettler-Toledo, Inc. | Weighing and dimensioning system and method for weighing and dimensioning |
US7647752B2 (en) | 2006-07-12 | 2010-01-19 | Greg Magnell | System and method for making custom boxes for objects of random size or shape |
US8531457B2 (en) | 2006-11-29 | 2013-09-10 | Technion Research And Development Foundation Ltd. | Apparatus and method for finding visible points in a cloud point |
US7474389B2 (en) * | 2006-12-19 | 2009-01-06 | Dean Greenberg | Cargo dimensional and weight analyzing system |
US7940279B2 (en) | 2007-03-27 | 2011-05-10 | Utah State University | System and method for rendering of texel imagery |
US8132728B2 (en) | 2007-04-04 | 2012-03-13 | Sick, Inc. | Parcel dimensioning measurement system and method |
US8094937B2 (en) * | 2007-04-17 | 2012-01-10 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | System and method for labeling feature clusters in frames of image data for optical navigation |
JP4561769B2 (ja) | 2007-04-27 | 2010-10-13 | アイシン・エィ・ダブリュ株式会社 | 経路案内システム及び経路案内方法 |
US20100118116A1 (en) | 2007-06-08 | 2010-05-13 | Wojciech Nowak Tomasz | Method of and apparatus for producing a multi-viewpoint panorama |
EP2165289A4 (en) | 2007-06-11 | 2012-07-04 | Hand Held Prod Inc | OPTICAL READING SYSTEM FOR EXTRACTING INFORMATION IN A DIGITAL IMAGE |
US7726575B2 (en) | 2007-08-10 | 2010-06-01 | Hand Held Products, Inc. | Indicia reading terminal having spatial measurement functionality |
JP4466705B2 (ja) | 2007-09-21 | 2010-05-26 | ヤマハ株式会社 | ナビゲーション装置 |
US8396284B2 (en) | 2007-10-23 | 2013-03-12 | Leica Geosystems Ag | Smart picking in 3D point clouds |
US9841314B2 (en) * | 2008-08-29 | 2017-12-12 | United Parcel Service Of America, Inc. | Systems and methods for freight tracking and monitoring |
US8636201B2 (en) | 2008-09-14 | 2014-01-28 | Eliezer Magal | Automatic identification system for randomly oriented objects |
US20100091094A1 (en) * | 2008-10-14 | 2010-04-15 | Marek Sekowski | Mechanism for Directing a Three-Dimensional Camera System |
US8479996B2 (en) | 2008-11-07 | 2013-07-09 | Symbol Technologies, Inc. | Identification of non-barcoded products |
US8463079B2 (en) | 2008-12-16 | 2013-06-11 | Intermec Ip Corp. | Method and apparatus for geometrical measurement using an optical device such as a barcode and/or RFID scanner |
US8812226B2 (en) | 2009-01-26 | 2014-08-19 | GM Global Technology Operations LLC | Multiobject fusion module for collision preparation system |
US8265895B2 (en) | 2009-03-27 | 2012-09-11 | Symbol Technologies, Inc. | Interactive sensor systems and methods for dimensioning |
US8284988B2 (en) | 2009-05-13 | 2012-10-09 | Applied Vision Corporation | System and method for dimensioning objects using stereoscopic imaging |
US8743176B2 (en) | 2009-05-20 | 2014-06-03 | Advanced Scientific Concepts, Inc. | 3-dimensional hybrid camera and production system |
US8542252B2 (en) | 2009-05-29 | 2013-09-24 | Microsoft Corporation | Target digitization, extraction, and tracking |
US8933925B2 (en) | 2009-06-15 | 2015-01-13 | Microsoft Corporation | Piecewise planar reconstruction of three-dimensional scenes |
US20110047636A1 (en) | 2009-08-21 | 2011-02-24 | Syngenta Participations Ag | Crop Automated Relative Maturity System |
KR101619076B1 (ko) | 2009-08-25 | 2016-05-10 | 삼성전자 주식회사 | 모바일 플랫폼의 동적 물체 검출 및 추적 방법 |
US8942884B2 (en) | 2010-01-14 | 2015-01-27 | Innovative Transport Solutions, Llc | Transport system |
US20110216063A1 (en) | 2010-03-08 | 2011-09-08 | Celartem, Inc. | Lidar triangular network compression |
US8619265B2 (en) | 2011-03-14 | 2013-12-31 | Faro Technologies, Inc. | Automatic measurement of dimensional data with a laser tracker |
US9400170B2 (en) | 2010-04-21 | 2016-07-26 | Faro Technologies, Inc. | Automatic measurement of dimensional data within an acceptance region by a laser tracker |
US8199977B2 (en) | 2010-05-07 | 2012-06-12 | Honeywell International Inc. | System and method for extraction of features from a 3-D point cloud |
US8134717B2 (en) | 2010-05-21 | 2012-03-13 | LTS Scale Company | Dimensional detection system and associated method |
US20110310088A1 (en) | 2010-06-17 | 2011-12-22 | Microsoft Corporation | Personalized navigation through virtual 3d environments |
US8872851B2 (en) | 2010-09-24 | 2014-10-28 | Intel Corporation | Augmenting image data based on related 3D point cloud data |
EP2439487B1 (de) | 2010-10-06 | 2012-08-22 | Sick Ag | Volumenmessvorrichtung für bewegte Objekte |
US9449233B2 (en) | 2010-12-01 | 2016-09-20 | The Trustees Of The University Of Pennsylvania | Distributed target tracking using self localizing smart camera networks |
US8744644B2 (en) | 2011-01-19 | 2014-06-03 | Electronics And Telecommunications Research Institute | Apparatus and method for detecting location of vehicle |
KR101758058B1 (ko) | 2011-01-20 | 2017-07-17 | 삼성전자주식회사 | 깊이 정보를 이용한 카메라 모션 추정 방법 및 장치, 증강 현실 시스템 |
US9207302B2 (en) | 2011-01-30 | 2015-12-08 | Xueming Jiang | Fully-automatic verification system for intelligent electric energy meters |
US8447549B2 (en) | 2011-02-11 | 2013-05-21 | Quality Vision International, Inc. | Tolerance evaluation with reduced measured points |
US8660338B2 (en) | 2011-03-22 | 2014-02-25 | Honeywell International Inc. | Wide baseline feature matching using collobrative navigation and digital terrain elevation data constraints |
US9854209B2 (en) * | 2011-04-19 | 2017-12-26 | Ford Global Technologies, Llc | Display system utilizing vehicle and trailer dynamics |
US20140351073A1 (en) * | 2011-05-11 | 2014-11-27 | Proiam, Llc | Enrollment apparatus, system, and method featuring three dimensional camera |
US20120287249A1 (en) * | 2011-05-12 | 2012-11-15 | Electronics And Telecommunications Research Institute | Method for obtaining depth information and apparatus using the same |
US9070285B1 (en) | 2011-07-25 | 2015-06-30 | UtopiaCompression Corporation | Passive camera based cloud detection and avoidance for aircraft systems |
KR101907081B1 (ko) | 2011-08-22 | 2018-10-11 | 삼성전자주식회사 | 3차원 점군의 물체 분리 방법 |
US9129277B2 (en) * | 2011-08-30 | 2015-09-08 | Digimarc Corporation | Methods and arrangements for identifying objects |
US9002099B2 (en) | 2011-09-11 | 2015-04-07 | Apple Inc. | Learning-based estimation of hand and finger pose |
US8793107B2 (en) | 2011-12-01 | 2014-07-29 | Harris Corporation | Accuracy-based significant point derivation from dense 3D point clouds for terrain modeling |
CN103164842A (zh) | 2011-12-14 | 2013-06-19 | 鸿富锦精密工业(深圳)有限公司 | 点云提取***及方法 |
US20130162806A1 (en) | 2011-12-23 | 2013-06-27 | Mitutoyo Corporation | Enhanced edge focus tool |
EP2615580B1 (en) | 2012-01-13 | 2016-08-17 | Softkinetic Software | Automatic scene calibration |
ES2535122T3 (es) | 2012-03-01 | 2015-05-05 | Caljan Rite-Hite Aps | Transportador extensible con luz |
US8668136B2 (en) | 2012-03-01 | 2014-03-11 | Trimble Navigation Limited | Method and system for RFID-assisted imaging |
US9329269B2 (en) | 2012-03-15 | 2016-05-03 | GM Global Technology Operations LLC | Method for registration of range images from multiple LiDARS |
US8989342B2 (en) | 2012-04-18 | 2015-03-24 | The Boeing Company | Methods and systems for volumetric reconstruction using radiography |
US9153061B2 (en) | 2012-05-04 | 2015-10-06 | Qualcomm Incorporated | Segmentation of 3D point clouds for dense 3D modeling |
WO2013170260A1 (en) | 2012-05-11 | 2013-11-14 | Proiam, Llc | Hand held dimension capture apparatus, system, and method |
US9846960B2 (en) | 2012-05-31 | 2017-12-19 | Microsoft Technology Licensing, Llc | Automated camera array calibration |
US9135543B2 (en) | 2012-06-20 | 2015-09-15 | Apple Inc. | Compression and obfuscation of three-dimensional coding |
US9420265B2 (en) | 2012-06-29 | 2016-08-16 | Mitsubishi Electric Research Laboratories, Inc. | Tracking poses of 3D camera using points and planes |
WO2014018553A1 (en) | 2012-07-24 | 2014-01-30 | Datalogic ADC, Inc. | Systems and methods of object measurement in an automated data reader |
ES2545374T3 (es) | 2012-07-31 | 2015-09-10 | Sick Ag | Sistema de detección para el montaje en una cinta transportadora |
US8757479B2 (en) | 2012-07-31 | 2014-06-24 | Xerox Corporation | Method and system for creating personalized packaging |
US9939259B2 (en) | 2012-10-04 | 2018-04-10 | Hand Held Products, Inc. | Measuring object dimensions using mobile computer |
US9472022B2 (en) | 2012-10-05 | 2016-10-18 | University Of Southern California | Three-dimensional point processing and model generation |
US20140192050A1 (en) | 2012-10-05 | 2014-07-10 | University Of Southern California | Three-dimensional point processing and model generation |
US20140104413A1 (en) | 2012-10-16 | 2014-04-17 | Hand Held Products, Inc. | Integrated dimensioning and weighing system |
WO2014068784A1 (ja) * | 2012-11-05 | 2014-05-08 | 三菱電機株式会社 | 三次元画像撮影システム及び粒子線治療装置 |
WO2014080330A2 (en) * | 2012-11-22 | 2014-05-30 | Geosim Systems Ltd. | Point-cloud fusion |
MY172143A (en) | 2012-12-13 | 2019-11-14 | Mimos Berhad | Method for non-static foreground feature extraction and classification |
US9196084B2 (en) * | 2013-03-15 | 2015-11-24 | Urc Ventures Inc. | Determining object volume from mobile device images |
US9154773B2 (en) | 2013-03-15 | 2015-10-06 | Seiko Epson Corporation | 2D/3D localization and pose estimation of harness cables using a configurable structure representation for robot operations |
US9558559B2 (en) | 2013-04-05 | 2017-01-31 | Nokia Technologies Oy | Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system |
JP5967303B2 (ja) | 2013-05-29 | 2016-08-10 | トヨタ自動車株式会社 | 駐車支援装置 |
US9443297B2 (en) | 2013-07-10 | 2016-09-13 | Cognex Corporation | System and method for selective determination of point clouds |
US20150088618A1 (en) | 2013-08-26 | 2015-03-26 | Ims Solutions, Inc. | Road tolling |
US10007336B2 (en) * | 2013-09-10 | 2018-06-26 | The Board Of Regents Of The University Of Texas System | Apparatus, system, and method for mobile, low-cost headset for 3D point of gaze estimation |
US9615012B2 (en) * | 2013-09-30 | 2017-04-04 | Google Inc. | Using a second camera to adjust settings of first camera |
US20150106403A1 (en) * | 2013-10-15 | 2015-04-16 | Indooratlas Oy | Generating search database based on sensor measurements |
US9412040B2 (en) | 2013-12-04 | 2016-08-09 | Mitsubishi Electric Research Laboratories, Inc. | Method for extracting planes from 3D point cloud sensor data |
MY177646A (en) | 2014-02-28 | 2020-09-23 | Icm Airport Technics Australia Pty Ltd | Luggage processing station and system thereof |
CN103945208B (zh) | 2014-04-24 | 2015-10-28 | 西安交通大学 | 一种针对多视点裸眼3d显示的并行同步缩放引擎及方法 |
AU2015280776B2 (en) | 2014-06-27 | 2019-08-22 | Crown Equipment Corporation | Vehicle positioning or navigation utilizing associated feature pairs |
US11051000B2 (en) | 2014-07-14 | 2021-06-29 | Mitsubishi Electric Research Laboratories, Inc. | Method for calibrating cameras with non-overlapping views |
DE102014011821A1 (de) * | 2014-08-08 | 2016-02-11 | Cargometer Gmbh | Vorrichtung und Verfahren zur Volumenbestimmung eines durch ein Flurförderzeug bewegten Objekts |
US20160044862A1 (en) | 2014-08-14 | 2016-02-18 | Raven Industries, Inc. | Site specific product application device and method |
CN104200086B (zh) | 2014-08-25 | 2017-02-22 | 西北工业大学 | 宽基线可见光相机位姿估计方法 |
US20160061591A1 (en) | 2014-08-28 | 2016-03-03 | Lts Metrology, Llc | Stationary Dimensioning Apparatus |
JP2016057108A (ja) | 2014-09-08 | 2016-04-21 | 株式会社トプコン | 演算装置、演算システム、演算方法およびプログラム |
US9600892B2 (en) | 2014-11-06 | 2017-03-21 | Symbol Technologies, Llc | Non-parametric method of and system for estimating dimensions of objects of arbitrary shape |
WO2016081722A1 (en) * | 2014-11-20 | 2016-05-26 | Cappasity Inc. | Systems and methods for 3d capture of objects using multiple range cameras and multiple rgb cameras |
US9396554B2 (en) | 2014-12-05 | 2016-07-19 | Symbol Technologies, Llc | Apparatus for and method of estimating dimensions of an object associated with a code in automatic response to reading the code |
JP2016120892A (ja) * | 2014-12-25 | 2016-07-07 | 富士通株式会社 | 立体物検出装置、立体物検出方法および立体物検出プログラム |
US10115035B2 (en) * | 2015-01-08 | 2018-10-30 | Sungkyunkwan University Foundation For Corporation Collaboration | Vision system and analytical method for planar surface segmentation |
US9646410B2 (en) * | 2015-06-30 | 2017-05-09 | Microsoft Technology Licensing, Llc | Mixed three dimensional scene reconstruction from plural surface models |
CN107852453B (zh) | 2015-07-10 | 2020-06-23 | 深圳市大疆创新科技有限公司 | 具有分光器的双镜头*** |
US9549125B1 (en) | 2015-09-01 | 2017-01-17 | Amazon Technologies, Inc. | Focus specification and focus stabilization |
US20170150129A1 (en) * | 2015-11-23 | 2017-05-25 | Chicago Measurement, L.L.C. | Dimensioning Apparatus and Method |
KR102373926B1 (ko) * | 2016-02-05 | 2022-03-14 | 삼성전자주식회사 | 이동체 및 이동체의 위치 인식 방법 |
US9791862B1 (en) | 2016-04-25 | 2017-10-17 | Thayermahan, Inc. | Systems and method for unmanned undersea sensor position, orientation, and depth keeping |
US9778388B1 (en) | 2016-12-22 | 2017-10-03 | Thayermahan, Inc. | Systems and methods for autonomous towing of an underwater sensor array |
US11558601B2 (en) * | 2017-11-06 | 2023-01-17 | Symbol Technologies, Llc | Methods and apparatus for initializing object dimensioning systems |
-
2016
- 2016-08-19 US US15/242,126 patent/US10776661B2/en active Active
-
2017
- 2017-06-16 CA CA3029559A patent/CA3029559C/en active Active
- 2017-06-16 DE DE112017004142.2T patent/DE112017004142T5/de active Pending
- 2017-06-16 CN CN201780050826.0A patent/CN109844807B/zh active Active
- 2017-06-16 GB GB1902180.7A patent/GB2567590B/en active Active
- 2017-06-16 WO PCT/US2017/037863 patent/WO2018034730A1/en active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008057504A2 (en) * | 2006-11-06 | 2008-05-15 | Aman James A | Load tracking system based on self- tracking forklift |
Also Published As
Publication number | Publication date |
---|---|
WO2018034730A1 (en) | 2018-02-22 |
US20180053305A1 (en) | 2018-02-22 |
GB201902180D0 (en) | 2019-04-03 |
GB2567590A (en) | 2019-04-17 |
US10776661B2 (en) | 2020-09-15 |
GB2567590B (en) | 2022-02-16 |
CA3029559A1 (en) | 2018-02-22 |
DE112017004142T5 (de) | 2019-05-02 |
CA3029559C (en) | 2021-03-16 |
CN109844807A (zh) | 2019-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109844807B (zh) | 用于对物体进行分割和确定尺寸的方法、***和装置 | |
US10354411B2 (en) | Methods, systems and apparatus for segmenting objects | |
US10290115B2 (en) | Device and method for determining the volume of an object moved by an industrial truck | |
JP6649796B2 (ja) | 物体状態特定方法、物体状態特定装置、および、搬送車 | |
US20210319582A1 (en) | Method(s) and System(s) for Vehicular Cargo Management | |
US20200278450A1 (en) | Three-dimensional point cloud generation method, position estimation method, three-dimensional point cloud generation device, and position estimation device | |
JP5780083B2 (ja) | 検品装置、検品システム、検品方法及びプログラム | |
US10346659B1 (en) | System for reading tags | |
US11017548B2 (en) | Methods, systems, and apparatuses for computing dimensions of an object using range images | |
CN111814739B (zh) | 快递包裹体积的检测方法、装置、设备及存储介质 | |
Nick et al. | Camera-assisted localization of passive rfid labels | |
US20210192780A1 (en) | Method(s) and System(s) for Vehicular Cargo Management | |
US11762394B2 (en) | Position detection apparatus, position detection system, remote control apparatus, remote control system, position detection method, and program | |
US20210233249A1 (en) | Methods for Unit Load Device (ULD) Localization | |
KR20110069205A (ko) | 컨테이너 하역 시스템의 컨테이너 위치 및 거리 측정 장치 및 그 방법 | |
US20230035883A1 (en) | Filling rate measurement method, information processing device, and recording medium | |
CN111386533B (zh) | 使用对称定位的空白区域检测和识别图像数据中图形字符表示的方法和装置 | |
GB2597875A (en) | Methods, systems and apparatus for segmenting and dimensioning objects | |
GB2601940A (en) | Methods, systems and apparatus for segmenting and dimensioning objects | |
CN113084815A (zh) | 一种带载机器人的物理尺寸计算方法及装置、机器人 | |
US20230213371A1 (en) | Filling rate measurement method, information processing device, and recording medium | |
WO2023061501A1 (zh) | 基于货架标识的导航***、方法 | |
CN115171061A (zh) | 车辆检测方法、装置和设备 | |
Liebold et al. | Integrated Georeferencing of LIDAR and Camera Data acquired from a moving platform | |
Akman et al. | Self-localisation and Map Building for Collision-Free Robot Motion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |