DE112019004975T5

DE112019004975T5 - METHOD, SYSTEM AND DEVICE FOR DETERMINING A SUPPORT STRUCTURE DEPTH

Info

Publication number: DE112019004975T5
Application number: DE112019004975.5T
Authority: DE
Inventors: Raymond Phan; Yuanhao Yu; Richard Jeffrey RZESZUTEK; Joseph Lam
Original assignee: Zebra Technologies Corp
Current assignee: Zebra Technologies Corp
Priority date: 2018-10-05
Filing date: 2019-09-05
Publication date: 2021-07-08
Also published as: US20200109939A1; WO2020072170A1; JP7141525B2; JP2022512604A; CA3113942A1; CA3113942C; US11506483B2

Abstract

Ein Verfahren zum Bestimmen einer Trägerstrukturtiefe einer Trägerstruktur mit einer Vorderseite und einer Rückseite, die durch die Trägerstrukturtiefe getrennt sind, umfasst: das Erhalten einer Punktwolke der Trägerstruktur und einer Maske, die für eine Vielzahl von Abschnitten eines Bildes der Trägerstruktur, das von einer Erfassungsstellung aus erfasst wurde, jeweilige Vertrauensniveaus anzeigt, dass die Abschnitte die Rückseite der Trägerstruktur darstellen; das Auswählen eines Anfangssatzes von Punkten aus der Punktwolke, die sich innerhalb eines Sichtfeldes befinden, das von der Erfassungsstellung ausgeht; das Auswählen einer nicht verdeckten Teilmenge von Tiefenmessungen aus dem Anfangssatz von Punkten, wobei die Tiefenmessungen in der nicht verdeckten Teilmenge mit jeweiligen Bildkoordinaten korrespondieren; das Abrufen eines Vertrauensniveaus für jede der Tiefenmessungen in der nicht verdeckten Teilmenge aus der Maske; und das Bestimmen der Trägerstrukturtiefe basierend auf den Tiefenmessungen in der nicht verdeckten Teilmenge und den abgerufenen Vertrauensniveaus.A method for determining a support structure depth of a support structure having a front side and a rear side separated by the support structure depth comprises: obtaining a point cloud of the support structure and a mask that covers a plurality of portions of an image of the support structure taken from a detection position has been detected, respective confidence levels indicate that the sections represent the rear side of the support structure; selecting an initial set of points from the point cloud that are within a field of view emanating from the detection position; selecting an unobscured subset of depth measurements from the initial set of points, the depth measurements in the unobscured subset corresponding to respective image coordinates; retrieving a confidence level for each of the depth measurements in the unobscured subset from the mask; and determining the support structure depth based on the depth measurements in the unobscured subset and the confidence levels retrieved.

Description

HINTERGRUNDBACKGROUND

Umgebungen, in denen Bestände von Objekten verwaltet werden, wie z. B. Produkte zum Kauf in einer Einzelhandelsumgebung, können komplex und flüchtig sein. Zum Beispiel kann eine gegebene Umgebung eine Vielzahl von Objekten mit unterschiedlichen Merkmalen (Größe, Form, Preis und dergleichen) enthalten. Außerdem kann sich die Platzierung und Menge der Objekte in der Umgebung häufig ändern. Darüber hinaus können die Bildgebungsbedingungen, wie z. B. die Beleuchtung, sowohl im Laufe der Zeit als auch an verschiedenen Orten in der Umgebung variabel sein. Diese Faktoren können die Genauigkeit verringern, mit der Informationen über die Objekte in der Umgebung erfasst werden können.Environments in which inventory of objects is managed, such as B. Products for purchase in a retail setting can be complex and volatile. For example, a given environment can contain a multitude of objects with different characteristics (size, shape, price and the like). In addition, the placement and amount of objects in the environment can change frequently. In addition, the imaging conditions such as B. the lighting, both over time and in different places in the area can be variable. These factors can reduce the accuracy with which information about the objects in the environment can be gathered.

FigurenlisteFigure list

Die beigefügten Figuren, in denen gleiche Bezugszeichen identische oder funktional ähnliche Elemente in den einzelnen Ansichten bezeichnen, sind zusammen mit der nachfolgenden detaillierten Beschreibung in die Offenbarung inkorporiert und bilden einen Bestandteil der Offenbarung und dienen dazu, hierin beschriebene Ausführungsformen von Konzepten, die die beanspruchte Erfindung umfassen, weiter zu veranschaulichen und verschiedene Prinzipien und Vorteile dieser Ausführungsformen zu erklären.

1 ist eine schematische Darstellung eines mobilen Automatisierungssystems.
2A zeigt eine mobile Automatisierungsvorrichtung im System von 1.
2B ist ein Blockdiagramm bestimmter interner Hardwarekomponenten der mobilen Automatisierungsvorrichtung im System von 1.
3 ist ein Flussdiagramm eines Verfahrens zum Bestimmen einer Trägerstrukturtiefe.
4A ist ein Diagramm einer Punktwolke und einer Regalebene, die in Block 305 des Verfahrens von 3 erhalten wird.
4B ist ein Diagramm von Beispielbildern, die von der Vorrichtung des Systems von 1 erfasst und bei Block 310 des Verfahrens von 3 erhalten werden.
5A ist ein Diagramm, das eines der Bilder von 4B detaillierter darstellt.
5B ist ein Diagramm, das eine Beispielrückseite einer Regalmaske zeigt, die mit dem Bild von 5A korrespondiert.
6A ist ein Flussdiagramm eines Verfahrens zur Durchführung von Block 315 des Verfahrens von 3.
6B ist ein Diagramm, das die Durchführung des Verfahrens von 6A in Verbindung mit der Punktwolke von 4A zeigt.
7A ist ein Flussdiagramm eines Verfahrens zur Durchführung von Block 320 des Verfahrens von 3.
7B ist ein Diagramm, das die Durchführung des Verfahrens von 7A in Verbindung mit dem Bild von 5A zeigt.
8A und 8B sind Diagramme, die eine beispielhafte Durchführung von Block 325 des Verfahrens von 3 zeigen.
8C ist ein Diagramm, das ein weiteres Ausführungsbeispiel von Block 325 des Verfahrens von 3 zeigt.
9 ist ein Diagramm, das eine Trägerstrukturtiefe zeigt, die durch die Durchführung des Verfahrens von 3 bestimmt wird.

The accompanying figures, in which like reference characters designate identical or functionally similar elements in the individual views, are incorporated in the disclosure together with the following detailed description and form a part of the disclosure and serve to provide embodiments of concepts described herein that meet the claimed invention to further illustrate and explain various principles and advantages of these embodiments.

1 is a schematic representation of a mobile automation system.
2A FIG. 10 shows a mobile automation device in the system of FIG 1 .
2 B FIG. 13 is a block diagram of certain internal hardware components of the mobile automation device in the system of FIG 1 .
3 Figure 3 is a flow diagram of a method for determining a support structure depth.
4A Figure 4 is a diagram of a point cloud and shelf level shown in block 305 of the procedure of 3 is obtained.
4B FIG. 13 is a diagram of sample images generated by the apparatus of the system of FIG 1 captured and at block 310 of the procedure of 3 can be obtained.
5A is a diagram showing one of the images of 4B represents in more detail.
5B FIG. 13 is a diagram showing an example back of a shelf mask associated with the image of FIG 5A corresponds.
6A Figure 3 is a flow diagram of a method for performing Block 315 of the procedure of 3 .
6B Figure 13 is a diagram illustrating the implementation of the method of 6A in connection with the point cloud of 4A shows.
7A Figure 3 is a flow diagram of a method for performing Block 320 of the procedure of 3 .
7B Figure 13 is a diagram illustrating the implementation of the method of 7A in conjunction with the image of 5A shows.
8A and 8B are diagrams showing an exemplary implementation of Block 325 of the procedure of 3 demonstrate.
8C Figure 13 is a diagram showing another embodiment of Block 325 of the procedure of 3 shows.
9 FIG. 13 is a diagram showing a beam structure depth obtained by performing the method of FIG 3 is determined.

Fachleute werden erkennen, dass Elemente in den Figuren der Einfachheit und Klarheit halber dargestellt sind und nicht notwendigerweise maßstabsgetreu gezeichnet wurden. Zum Beispiel können die Dimensionen einiger der Elemente in den Figuren relativ zu anderen Elementen übertrieben sein, um das Verständnis von Ausführungsformen der vorliegenden Erfindung zu verbessern.Those skilled in the art will recognize that elements in the figures are shown for simplicity and clarity and are not necessarily drawn to scale. For example, the dimensions of some of the elements in the figures may be exaggerated relative to other elements in order to improve understanding of embodiments of the present invention.

Die Vorrichtungs- und Verfahrenskomponenten wurden, wo es angemessen ist, durch herkömmliche Symbole in den Zeichnungen dargestellt, die nur jene spezifischen Details zeigen, die zum Verständnis der Ausführungsformen der vorliegenden Erfindung relevant sind, um somit die Offenbarung nicht mit Einzelheiten zu verdecken, die für die Fachleute auf dem Gebiet, die auf die vorliegende Beschreibung zurückgreifen, ohne weiteres ersichtlich sind.The apparatus and method components have, where appropriate, been represented in the drawings by conventional symbols showing only those specific details relevant to an understanding of embodiments of the present invention, so as not to obscure the disclosure with details necessary to those skilled in the art having recourse to the present description will be readily apparent.

DETAILLIERTE BESCHREIBUNGDETAILED DESCRIPTION

Die hierin offenbarten Beispiele beziehen sich auf ein Verfahren zum Bestimmen einer Trägerstrukturtiefe einer Trägerstruktur mit einer Vorderseite und einer Rückseite, die durch die Trägerstrukturtiefe getrennt sind, wobei das Verfahren umfasst: Erhalten (i) einer Punktwolke der Trägerstruktur und (ii) einer Maske, die für eine Vielzahl von Abschnitten eines Bildes der Trägerstruktur, das von einer Erfassungsstellung aus erfasst wurde, jeweilige Vertrauensniveaus anzeigt, dass die Abschnitte die Rückseite der Trägerstruktur darstellen; Auswählen eines Anfangssatzes von Punkten aus der Punktwolke, die sich innerhalb eines Sichtfeldes befinden, das von der Erfassungsstellung ausgeht; Auswählen einer nicht verdeckten Teilmenge von Tiefenmessungen aus dem Anfangssatz von Punkten, wobei die Tiefenmessungen in der nicht verdeckten Teilmenge mit jeweiligen Bildkoordinaten korrespondiert; Abrufen eines Vertrauensniveaus für jede der Tiefenmessungen in der nicht verdeckten Teilmenge aus der Maske; und Bestimmen der Trägerstrukturtiefe basierend auf den Tiefenmessungen in der nicht verdeckten Teilmenge und den abgerufenen Vertrauensniveaus.The examples disclosed herein relate to a method for determining a support structure depth of a support structure having a front side and a rear side which are separated by the support structure depth, the method comprising: obtaining (i) a point cloud of the support structure and (ii) a mask which for a plurality of sections of an image of the support structure that was captured from a detection position, indicates respective confidence levels that the sections represent the rear side of the support structure; Selecting an initial set of points from the point cloud that are within a field of view emanating from the detection position; Selecting an unobscured subset of depth measurements from the initial set of points, the depth measurements in the unobscured subset corresponding to respective image coordinates; Retrieving from the mask a confidence level for each of the depth measurements in the unobscured subset; and determining the support structure depth based on the depth measurements in the unobscured subset and the confidence levels retrieved.

Weitere hierin offenbarte Beispiele sind auf eine Computervorrichtung zum Bestimmen einer Trägerstrukturtiefe einer Trägerstruktur mit einer Vorderseite und einer Rückseite, die durch die Trägerstrukturtiefe getrennt sind, gerichtet, wobei die Computervorrichtung umfasst: einen Speicher, der (i) eine Punktwolke der Trägerstruktur und (ii) eine Maske speichert, die für eine Vielzahl von Abschnitten eines Bildes der Trägerstruktur, das aus einer Erfassungsstellung erfasst wurde, jeweilige Vertrauensniveaus anzeigt, dass die Abschnitte die Rückseite der Trägerstruktur darstellen; eine Bildgebungssteuerung, die mit dem Speicher verbunden ist und konfiguriert ist, um: aus der Punktwolke einen Anfangssatz von Punkten auszuwählen, die sich innerhalb eines Sichtfeldes befinden, das von der Erfassungsstellung ausgeht; aus dem Anfangssatz von Punkten eine nicht verdeckte Teilmenge von Tiefenmessungen auszuwählen, wobei die Tiefenmessungen in der nicht verdeckten Teilmenge mit jeweiligen Bildkoordinaten korrespondiert; aus der Maske ein Vertrauensniveau für jede der Tiefenmessungen in der nicht verdeckten Teilmenge abzurufen; und basierend auf den Tiefenmessungen in der nicht verdeckten Teilmenge und den abgerufenen Vertrauensniveaus die Trägerstrukturtiefe zu bestimmen.Further examples disclosed herein are directed to a computing device for determining a support structure depth of a support structure having a front and a rear side separated by the support structure depth, the computing device comprising: a memory containing (i) a point cloud of the support structure and (ii) stores a mask which, for a plurality of sections of an image of the support structure captured from a detection position, indicates respective confidence levels that the sections represent the rear side of the support structure; an imaging controller coupled to the memory and configured to: select from the point cloud an initial set of points located within a field of view emanating from the acquisition position; select a non-hidden subset of depth measurements from the initial set of points, the depth measurements in the non-hidden subset corresponding to respective image coordinates; retrieve from the mask a confidence level for each of the depth measurements in the unobscured subset; and based on the depth measurements in the uncovered subset and the retrieved confidence levels, determine the support structure depth.

Weitere hier offenbarte Beispiele sind auf ein computerlesbares Medium gerichtet, das computerlesbare Befehle speichert, die von einem Prozessor eines Servers ausgeführt werden können, wobei die Ausführung der computerlesbaren Befehle den Server veranlasst zum: Erhalten (i) einer Punktwolke der Trägerstruktur und (ii) einer Maske, die für eine Vielzahl von Abschnitten eines Bildes der Trägerstruktur, das von einer Erfassungsstellung aus erfasst wurde, jeweilige Vertrauensniveaus anzeigt, dass die Abschnitte die Rückseite der Trägerstruktur darstellen; Auswählen eines Anfangssatzes von Punkten aus der Punktwolke, die sich innerhalb eines Sichtfeldes befinden, das von der Erfassungsstellung ausgeht; Auswählen einer nicht verdeckten Teilmenge von Tiefenmessungen aus dem Anfangssatz von Punkten, wobei die Tiefenmessungen in der nicht verdeckten Teilmenge mit jeweiligen Bildkoordinaten korrespondieren; Abrufen eines Vertrauensniveaus für jede der Tiefenmessungen in der nicht verdeckten Teilmenge aus der Maske; und Bestimmen der Trägerstrukturtiefe basierend auf den Tiefenmessungen in der nicht verdeckten Teilmenge und den abgerufenen Vertrauensniveaus.Further examples disclosed herein are directed to a computer-readable medium that stores computer-readable instructions that can be executed by a processor of a server, the execution of the computer-readable instructions causing the server to: obtain (i) a point cloud of the support structure and (ii) a Mask which, for a plurality of sections of an image of the support structure that was captured from a detection position, indicates respective confidence levels that the sections represent the rear side of the support structure; Selecting an initial set of points from the point cloud that are within a field of view emanating from the detection position; Selecting an unobscured subset of depth measurements from the initial set of points, the depth measurements in the unobscured subset corresponding to respective image coordinates; Retrieving from the mask a confidence level for each of the depth measurements in the unobscured subset; and determining the support structure depth based on the depth measurements in the unobscured subset and the confidence levels retrieved.

1 zeigt ein mobiles Automatisierungssystem 100 gemäß den Lehren dieser Offenbarung. Das System 100 ist so dargestellt, dass es in einer Einzelhandelsumgebung eingesetzt wird, kann aber in anderen Ausführungsformen in einer Vielzahl anderer Umgebungen eingesetzt werden, einschließlich Lagerhäusern, Krankenhäusern und dergleichen. Das System 100 umfasst einen Server 101, der mit mindestens einer mobilen Automatisierungsvorrichtung 103 (hier auch einfach als Vorrichtung 103 bezeichnet) und mindestens einer Client-Computervorrichtung 105 über Kommunikationsverbindungen 107 kommuniziert, die im vorliegenden Beispiel drahtlose Verbindungen umfassen. Im vorliegenden Beispiel werden die Verbindungen 107 durch ein drahtloses lokales Netzwerk (WLAN) bereitgestellt, das innerhalb der Einzelhandelsumgebung durch einen oder mehrere Zugangspunkte (nicht dargestellt) bereitgestellt wird. In anderen Beispielen befinden sich der Server 101, die Client-Vorrichtung 105 oder beide außerhalb der Einzelhandelsumgebung, und die Verbindungen 107 umfassen daher Weitbereichsnetzwerke wie das Internet, mobile Netzwerke und dergleichen. Das System 100 umfasst im vorliegenden Beispiel auch ein Dock 108 für die Vorrichtung 103. Das Dock 108 steht mit dem Server 101 über eine Verbindung 109 in Kommunikation, die im vorliegenden Beispiel eine kabelgebundene Verbindung ist. In anderen Beispielen ist die Verbindung 109 jedoch eine drahtlose Verbindung. 1 shows a mobile automation system 100 according to the teachings of this revelation. The system 100 is shown for use in a retail setting, but in other embodiments can be used in a variety of other settings, including warehouses, hospitals, and the like. The system 100 includes a server 101 with at least one mobile automation device 103 (here also simply as a device 103 and at least one client computing device 105 via communication links 107 communicated, which in the present example comprise wireless connections. In this example, the connections 107 provided by a wireless local area network (WLAN) provided within the retail environment through one or more access points (not shown). In other examples, the server is 101 who have favourited the client device 105 or both outside of the retail environment, and the connections 107 therefore include wide area networks such as the Internet, mobile networks, and the like. The system 100 also includes a dock in the present example 108 for the device 103 . The dock 108 stands with the server 101 over a connection 109 in communication, which in the present example is a wired connection. In other examples the connection is 109 however a wireless connection.

Die Client-Computervorrichtung 105 ist in 1 als eine mobile Computervorrichtung dargestellt, wie z. B. ein Tablet, Smartphone oder dergleichen. In anderen Beispielen ist die Client-Vorrichtung 105 als eine andere Art von Computervorrichtung implementiert, wie z. B. ein Desktop-Computer, ein Laptop-Computer, ein anderer Server, ein Kiosk, ein Monitor und dergleichen. Das System 100 kann eine Vielzahl von Client-Vorrichtungen 105 umfassen, die über entsprechende Verbindungen 107 mit dem Server 101 kommunizieren.The client computing device 105 is in 1 depicted as a mobile computing device such as B. a tablet, smartphone or the like. In other examples is the client device 105 implemented as another type of computing device, such as a computer B. a desktop computer, a laptop computer, another server, a kiosk, a monitor and the like. The system 100 can handle a variety of client devices 105 Include that have appropriate links 107 with the server 101 communicate.

Das System 100 wird im gezeigten Beispiel in einer Einzelhandelsumgebung eingesetzt, die eine Vielzahl von Trägerstrukturen wie Regalmodule 110-1, 110-2, 110-3 usw. umfasst (gemeinsam als Regale 110 bezeichnet und allgemein als ein Regal 110 bezeichnet - diese Nomenklatur wird auch für andere hier diskutierte Elemente verwendet). In anderen Beispielen können auch zusätzliche Arten von Trägerstrukturen vorhanden sein, wie z. B. Stecktafeln. Jedes Regalmodul 110 trägt eine Vielzahl von Produkten 112. Jedes Regalmodul 110 umfasst eine Regalrückseite 116-1, 116-2, 116-3 und eine Trägerfläche (z. B. Trägerfläche 117-3 wie in 1 dargestellt), die sich von der Regalrückseite 116 zu einer Regalkante 118-1, 118-2, 118-3 erstreckt.The system 100 is used in the example shown in a retail environment that has a large number of support structures such as shelf modules 110-1 , 110-2 , 110-3 etc. includes (collectively as shelves 110 and commonly referred to as a shelf 110 - this nomenclature is also used for other elements discussed here). In other examples, additional types of support structures can also be present, such as e.g. B. Pegboards. Every shelf module 110 carries a wide variety of products 112 . Every shelf module 110 includes a shelf back 116-1 , 116-2 , 116-3 and a support surface (e.g. support surface 117-3 as in 1 shown) that extends from the back of the shelf 116 to a shelf edge 118-1 , 118-2 , 118-3 extends.

Die Regalmodule 110 sind typischerweise in einer Vielzahl von Gängen angeordnet, von denen jeder eine Vielzahl von Modulen 110 enthält, die Ende an Ende ausgerichtet sind. In solchen Anordnungen weisen die Regalkanten 118 in die Gänge, durch die sich Kunden in der Einzelhandelsumgebung sowie die Vorrichtung 103 bewegen können. Wie aus 1 ersichtlich ist, bezieht sich der hier verwendete Begriff „Regalkante“ 118, der auch als Kante einer Trägerfläche (z. B. der Trägerflächen 117) bezeichnet werden kann, auf eine Fläche, die von benachbarten Flächen mit unterschiedlichen Neigungswinkeln begrenzt wird. In dem in 1 dargestellten Beispiel steht die Regalkante 118-3 in einem Winkel von etwa neunzig Grad relativ zu jeder der Trägerflächen 117-3 und der Unterseite (nicht dargestellt) der Trägerfläche 117-3. In anderen Beispielen betragen die Winkel zwischen der Regalkante 118-3 und den angrenzenden Flächen, wie z. B. der Trägerfläche 117-3, mehr oder weniger als neunzig Grad. Die Regalkanten 118 definieren eine Vorderseite der Regale 110, die von den Regalrückseiten 116 durch eine Regaltiefe getrennt ist. Ein gemeinsamer Referenzrahmen 102 ist in 1 dargestellt. Im vorliegenden Beispiel ist die Regaltiefe in der Y-Dimension des Referenzrahmens 102 definiert, während die Regalrückseiten 116 und die Regalkanten 118 parallel zur XZ-Ebene dargestellt sind.The shelf modules 110 are typically arranged in a plurality of aisles, each of which has a plurality of modules 110 that are aligned end to end. In such arrangements, the shelf edges 118 into the aisles through which customers move into the retail environment as well as the device 103 can move. How out 1 As can be seen, the term “shelf edge” 118 used here refers to the edge of a support surface (e.g. the support surfaces 117 ) can be referred to on a surface that is delimited by neighboring surfaces with different angles of inclination. In the in 1 The example shown is the shelf edge 118-3 at an angle of about ninety degrees relative to each of the support surfaces 117-3 and the underside (not shown) of the support surface 117-3 . In other examples, the angles are between the shelf edge 118-3 and the adjacent surfaces, such as. B. the support surface 117-3 , more or less than ninety degrees. The shelf edges 118 define a front of the shelves 110 coming from the shelf backs 116 is separated by a shelf depth. A common frame of reference 102 is in 1 shown. In this example, the shelf depth is in the Y dimension of the reference frame 102 defined while the shelf backs 116 and the shelf edges 118 are shown parallel to the XZ plane.

Die Vorrichtung 103 wird in der Einzelhandelsumgebung eingesetzt und kommuniziert mit dem Server 101 (z. B. über die Verbindung 107), um autonom oder teilautonom entlang einer Länge 119 (in 1 als parallel zur X-Achse des Referenzrahmens 102 dargestellt) von mindestens einem Teil der Regale 110 zu navigieren. Die Vorrichtung 103, autonom oder in Verbindung mit dem Server 101, ist so konfiguriert, dass sie kontinuierlich ihre Position innerhalb der Umgebung bestimmt, beispielsweise in Bezug auf eine Karte der Umgebung. Die Vorrichtung 103 kann auch so konfiguriert sein, dass sie die Karte aktualisiert (z. B. über einen Prozess der simultanen Kartierung und Lokalisierung, oder SLAM).The device 103 is used in the retail environment and communicates with the server 101 (e.g. via the connection 107 ) to be autonomous or semi-autonomous along a length 119 (in 1 than parallel to the X-axis of the reference frame 102 shown) from at least part of the shelves 110 to navigate. The device 103 , autonomous or in connection with the server 101 , is configured to continuously determine its position within the environment, for example in relation to a map of the environment. The device 103 can also be configured to update the map (e.g. via a simultaneous mapping and localization process, or SLAM).

Die Vorrichtung 103 ist mit einer Vielzahl von Navigations- und Datenerfassungssensoren 104 ausgestattet, wie z. B. Bildsensoren (z. B. eine oder mehrere Digitalkameras) und Tiefensensoren (z. B. ein oder mehrere LIDAR (Light Detection and Ranging) -Sensoren, eine oder mehrere Tiefenkameras, die strukturierte Lichtmuster verwenden, wie z. B. Infrarotlicht, oder dergleichen). Die Vorrichtung 103 kann so konfiguriert werden, dass sie die Sensoren 104 einsetzt, um sowohl zwischen den Regalen 110 zu navigieren (z. B. gemäß den oben erwähnten Pfaden) als auch um Regaldaten, wie Punktwolken und Bilddaten, während einer solchen Navigation zu erfassen.The device 103 comes with a wide variety of navigation and data acquisition sensors 104 equipped, such as E.g. image sensors (e.g. one or more digital cameras) and depth sensors (e.g. one or more LIDAR (Light Detection and Ranging) sensors, one or more depth cameras that use structured light patterns such as infrared light, or similar). The device 103 can be configured to use the sensors 104 uses to both between the shelves 110 to navigate (e.g. according to the above-mentioned paths) as well as to acquire shelf data, such as point clouds and image data, during such a navigation.

Der Server 101 enthält eine spezielle Bildverarbeitungssteuerung, wie z. B. einen Prozessor 120, der speziell dafür ausgelegt ist, die mobile Automatisierungsvorrichtung 103 zu steuern und/oder zu unterstützen, um in der Umgebung zu navigieren und Daten zu erfassen. Der Prozessor 120 kann ferner so konfiguriert sein, dass er die erfassten Daten über eine Kommunikationsschnittstelle 124 abruft, um sie in einem Speicher 132 zu speichern und anschließend zu verarbeiten (z. B. um in den erfassten Daten Objekte wie Regalprodukte zu erkennen und mit den Objekten korrespondierende Statusinformationen zu ermitteln). Der Server 101 kann auch so konfiguriert sein, dass er Statusmeldungen (z. B. Meldungen, die anzeigen, dass Produkte nicht vorrätig sind, einen niedrigen Lagerbestand haben oder verlegt wurden) an die Client-Vorrichtung 105 als Reaktion auf die Ermittlung von Produktstatusdaten sendet. Die Client-Vorrichtung 105 enthält eine oder mehrere Steuerungen (z. B. zentrale Prozessoreinheiten (CPUs) und/oder feldprogrammierbare Gate-Arrays (FPGAs) und dergleichen), die so konfiguriert sind, dass sie die vom Server 101 empfangenen Meldungen verarbeiten (z. B. anzeigen).The server 101 contains a special image processing control, such as B. a processor 120 which is specially designed for the mobile automation device 103 to control and / or support in order to navigate in the environment and to collect data. The processor 120 can also be configured to transmit the captured data via a communication interface 124 retrieves to them in a memory 132 to save and then to process (e.g. to recognize objects such as shelf products in the recorded data and to determine status information corresponding to the objects). The server 101 may also be configured to have status messages (e.g., messages indicating that products are out of stock, out of stock, or misplaced) to the client device 105 sends in response to the discovery of product status data. The client device 105 contains one or more controllers (e.g. central processing units (CPUs) and / or field programmable gate arrays (FPGAs) and the like) that are configured in such a way that they are used by the server 101 process received messages (e.g. display).

Der Prozessor 120 ist mit einem nicht flüchtigen, computerlesbaren Speichermedium, wie dem oben erwähnten Speicher 122, verbunden, auf dem computerlesbare Befehle zur Durchführung verschiedener Funktionen gespeichert sind, einschließlich der Steuerung der Vorrichtung 103 zur Erfassung von Regaldaten, der Nachbearbeitung der Regaldaten und der Erzeugung und Bereitstellung bestimmter Navigationsdaten für die Vorrichtung 103, wie z. B. Zielorte, an denen Regaldaten erfasst werden sollen. Der Speicher 122 umfasst eine Kombination aus flüchtigem (z. B. Random Access Memory oder RAM) und nichtflüchtigem Speicher (z. B. Read Only Memory oder ROM, Electrically Erasable Programmable Read Only Memory oder EEPROM, Flash-Speicher). Der Prozessor 120 und der Speicher 122 umfassen jeweils eine oder mehrere integrierte Schaltungen. In einigen Ausführungsformen ist der Prozessor 120 als eine oder mehrere zentrale Prozessoreinheiten (CPUs) und/oder Grafikverarbeitungseinheiten (GPUs) implementiert.The processor 120 is with a non-transitory, computer-readable storage medium, such as the memory mentioned above 122 , on which computer-readable instructions are stored for performing various functions, including controlling the device 103 for the acquisition of shelf data, the post-processing of the shelf data and the generation and provision of certain navigation data for the device 103 such as B. Destinations at which shelf data are to be recorded. The memory 122 includes a combination of volatile (e.g. random access memory or RAM) and non-volatile memory (e.g. read only memory or ROM, Electrically Erasable Programmable Read Only Memory or EEPROM, flash memory). The processor 120 and the memory 122 each comprise one or more integrated circuits. In some embodiments, the processor is 120 implemented as one or more central processing units (CPUs) and / or graphics processing units (GPUs).

Der Server 101 enthält auch die oben erwähnte Kommunikationsschnittstelle 124, die mit dem Prozessor 120 verbunden ist. Die Kommunikationsschnittstelle 124 umfasst geeignete Hardware (z. B. Sender, Empfänger, Netzwerkschnittstellen-Steuerungen und dergleichen), die es dem Server 101 ermöglicht, über die Verbindungen 107 und 109 mit anderen Computervorrichtungen - insbesondere der Vorrichtung 103, der Client-Vorrichtung 105 und dem Dock 108 - zu kommunizieren. Bei den Verbindungen 107 und 109 kann es sich um direkte Verbindungen oder um Verbindungen handeln, die ein oder mehrere Netzwerke durchqueren, darunter sowohl lokale als auch Weitbereichsnetzwerke. Die spezifischen Komponenten der Kommunikationsschnittstelle 124 werden je nach Art des Netzwerks oder anderer Verbindungen ausgewählt, über die der Server 101 kommunizieren soll. Im vorliegenden Beispiel wird, wie bereits erwähnt, ein drahtloses lokales Netzwerk in der Einzelhandelsumgebung durch den Einsatz von einem oder mehreren drahtlosen Zugangspunkten implementiert. Die Verbindungen 107 umfassen daher entweder oder sowohl drahtlose Verbindungen zwischen der Vorrichtung 103 und der mobilen Vorrichtung 105 und den oben erwähnten Zugangspunkten als auch eine kabelgebundene Verbindung (z. B. eine Ethernet-basierte Verbindung) zwischen dem Server 101 und dem Zugangspunkt.The server 101 also contains the communication interface mentioned above 124 that came with the processor 120 connected is. The communication interface 124 includes appropriate hardware (e.g., transmitters, receivers, network interface controllers, and the like) to enable the server 101 allows through the connections 107 and 109 with other computing devices - particularly the device 103 , the client device 105 and the dock 108 - to communicate. In the connections 107 and 109 they can be direct connections or connections crossing one or more networks, including both local as well as wide area networks. The specific components of the communication interface 124 are selected based on the type of network or other connections that the server uses 101 should communicate. In the present example, as already mentioned, a wireless local area network is implemented in the retail environment through the use of one or more wireless access points. The connections 107 therefore include either or both wireless connections between the device 103 and the mobile device 105 and the above-mentioned access points as well as a wired connection (e.g. an Ethernet-based connection) between the server 101 and the access point.

Der Speicher 122 speichert eine Vielzahl von Anwendungen, die jeweils eine Vielzahl von computerlesbaren Befehlen enthalten, die vom Prozessor 120 ausgeführt werden können. Die Ausführung der oben erwähnten Befehle durch den Prozessor 120 konfiguriert den Server 101, um verschiedene hierin besprochene Aktionen durchzuführen. Die im Speicher 122 gespeicherten Befehle umfassen eine Steuerungsanwendung 128, die auch als eine Folge von logisch unterschiedlichen Anwendungen implementiert sein kann. Im Allgemeinen ist der Prozessor 120 so konfiguriert, dass er über die Ausführung der Anwendung 128 oder von Teilkomponenten davon und in Verbindung mit den anderen Komponenten des Servers 101 verschiedene Funktionen implementiert, die sich auf die Steuerung der Vorrichtung 103 beziehen, um zwischen den Regalen 110 zu navigieren und Daten zu erfassen, sowie um die erfassten Daten zu erhalten und verschiedene Nachbearbeitungsvorgänge an den erfassten Daten durchzuführen. Im vorliegenden Beispiel, auf das weiter unten näher eingegangen wird, wird der Server 101 durch die Ausführung der Anwendung 128 so konfiguriert, dass er auf der Grundlage der erfassten Daten (z. B. von der Vorrichtung 103), einschließlich der Punktwolken- und Bilddaten, die die Regale 110 repräsentieren, eine Regaltiefe für ein oder mehrere Regale 110 bestimmt.The memory 122 stores a variety of applications, each containing a variety of computer readable instructions issued by the processor 120 can be executed. The execution of the above-mentioned instructions by the processor 120 configures the server 101 to perform various actions discussed herein. The ones in memory 122 stored commands include a control application 128 which can also be implemented as a sequence of logically different applications. Generally the processor 120 configured so that he is about to run the application 128 or of subcomponents thereof and in connection with the other components of the server 101 various functions implemented that relate to the control of the device 103 relate to between shelves 110 to navigate and collect data, as well as to receive the collected data and to perform various post-processing operations on the collected data. In the present example, which will be discussed in more detail below, the server 101 by running the application 128 configured to be based on the data collected (e.g. from the device 103 ), including the point cloud and image data that the shelves 110 represent a shelf depth for one or more shelves 110 certainly.

Der Prozessor 120, wie er über die Ausführung der Steuerungsanwendung 128 konfiguriert ist, wird hier auch als Steuerung 120 bezeichnet. Wie nun ersichtlich wird, kann ein Teil oder die gesamte Funktionalität, die durch die unten beschriebene Steuerung 120 implementiert wird, auch durch vorkonfigurierte Spezialhardware-Steuerungen (z. B. eine oder mehrere Logikschaltungsanordnungen, die speziell zur Optimierung der Geschwindigkeit der Bildverarbeitung konfiguriert sind, z. B. über FPGAs und/oder anwendungsspezifische integrierte Schaltungen (ASICs), die für diesen Zweck konfiguriert sind) anstatt durch die Ausführung der Steuerungsanwendung 128 durch den Prozessor 120 ausgeführt werden.The processor 120 how he is running the control application 128 configured is also used here as a controller 120 designated. As will now be seen, some or all of the functionality may be limited by the controller described below 120 is implemented, also by preconfigured special hardware controls (e.g. one or more logic circuit arrangements that are specially configured to optimize the speed of image processing, e.g. via FPGAs and / or application-specific integrated circuits (ASICs) designed for this purpose configured) rather than by running the control application 128 through the processor 120 are executed.

In den 2A und 2B ist die mobile Automatisierungsvorrichtung 103 detaillierter dargestellt. Die Vorrichtung 103 umfasst ein Gestell 201, das einen Antriebsmechanismus 203 enthält (z. B. einen oder mehrere Elektromotoren, die Räder, Schienen oder dergleichen antreiben). Die Vorrichtung 103 umfasst ferner einen Sensormast 205, der auf dem Gestell 201 abgestützt ist und sich im vorliegenden Beispiel vom Gestell 201 nach oben (z. B. im Wesentlichen vertikal) erstreckt. Der Mast 205 trägt die zuvor erwähnten Sensoren 104. Die Sensoren 104 umfassen insbesondere mindestens einen Bildsensor 207, wie z. B. eine Digitalkamera, sowie mindestens einen Tiefensensor 209, wie z. B. eine 3D-Digitalkamera. Die Vorrichtung 103 umfasst auch zusätzliche Tiefensensoren, wie z. B. LIDAR-Sensoren 211. In anderen Beispielen umfasst die Vorrichtung 103 zusätzliche Sensoren, wie z. B. eine oder mehrere RFID-Lesevorrichtungen, Temperatursensoren und dergleichen.In the 2A and 2 B is the mobile automation device 103 shown in more detail. The device 103 includes a frame 201 that has a drive mechanism 203 contains (e.g. one or more electric motors that drive wheels, rails or the like). The device 103 further comprises a sensor mast 205 that is on the rack 201 is supported and in the present example from the frame 201 upwards (e.g. substantially vertically). The mast 205 carries the aforementioned sensors 104 . The sensors 104 in particular comprise at least one image sensor 207 such as B. a digital camera and at least one depth sensor 209 such as B. a 3D digital camera. The device 103 also includes additional depth sensors, such as B. LIDAR sensors 211 . In other examples, the device includes 103 additional sensors, such as B. one or more RFID reading devices, temperature sensors and the like.

Im vorliegenden Beispiel trägt der Mast 205 sieben Digitalkameras 207-1 bis 207-7 und zwei LIDAR-Sensoren 211-1 und 211-2. Der Mast 205 trägt auch eine Vielzahl von Beleuchtungsbaugruppen 213, die so konfiguriert sind, dass sie die Sichtfelder der jeweiligen Kameras 207 beleuchten. Das heißt, die Beleuchtungsbaugruppe 213-1 leuchtet das Sichtfeld der Kamera 207-1 aus, und so weiter. Die Sensoren 207 und 211 sind am Mast 205 so ausgerichtet, dass die Sichtfelder jedes Sensors einem Regal 110 zugewandt sind, entlang dessen Länge 119 sich die Vorrichtung 103 bewegt. Die Vorrichtung 103 ist so konfiguriert, dass sie einen Standort der Vorrichtung 103 (z. B. ein Standort des Mittelpunkts des Gestells 201) in dem gemeinsamen Referenzrahmen 102 verfolgt, der zuvor in der Einzelhandelseinrichtung eingerichtet wurde, so dass die von der mobilen Automatisierungsvorrichtung 103 erfassten Daten in dem gemeinsamen Referenzrahmen registriert werden können.In this example, the mast carries 205 seven digital cameras 207-1 to 207-7 and two LIDAR sensors 211-1 and 211-2 . The mast 205 also carries a variety of lighting assemblies 213 that are configured to cover the fields of view of the respective cameras 207 illuminate. That is, the lighting assembly 213-1 the field of view of the camera lights up 207-1 off, and so on. The sensors 207 and 211 are on the mast 205 aligned so that the fields of view of each sensor correspond to a shelf 110 facing along its length 119 the device 103 emotional. The device 103 is configured to have a location of the device 103 (e.g. a location of the center of the rack 201 ) in the common frame of reference 102 that was previously set up in the retail facility so that the mobile automation device 103 recorded data can be registered in the common frame of reference.

Die mobile Automatisierungsvorrichtung 103 umfasst eine Spezialsteuerung, wie z. B. einen Prozessor 220, wie in 2B gezeigt, die mit einem nichttransitorischen, computerlesbaren Speichermedium, wie z. B. einem Speicher 222, verbunden ist. Der Speicher 222 umfasst eine Kombination aus flüchtigem (z. B. Random Access Memory oder RAM) und nichtflüchtigem Speicher (z. B. Read Only Memory oder ROM, Electrically Erasable Programmable Read Only Memory oder EEPROM, Flash-Speicher). Der Prozessor 220 und der Speicher 222 umfassen jeweils eine oder mehrere integrierte Schaltungen. Der Speicher 222 speichert computerlesbare Befehle zur Ausführung durch den Prozessor 220. Insbesondere speichert der Speicher 222 eine Steuerungsanwendung 228, die, wenn sie vom Prozessor 220 ausgeführt wird, den Prozessor 220 so konfiguriert, dass er verschiedene Funktionen im Zusammenhang mit der Navigation der Vorrichtung 103 und der Erfassung von Daten für die nachfolgende Verarbeitung, z. B. durch den Server 101, ausführt. In einigen Ausführungsformen kann eine solche Nachverarbeitung durch die Vorrichtung 103 selbst über die Ausführung der Anwendung 228 durchgeführt werden. In anderen Beispielen kann die Anwendung 228 auch als eine Reihe verschiedener Anwendungen implementiert sein.The mobile automation device 103 includes a special control such. B. a processor 220 , as in 2 B shown with a non-transitory, computer-readable storage medium, such as. B. a memory 222 , connected is. The memory 222 includes a combination of volatile (e.g. random access memory or RAM) and non-volatile memory (e.g. read only memory or ROM, Electrically Erasable Programmable Read Only Memory or EEPROM, flash memory). The processor 220 and the memory 222 each comprise one or more integrated circuits. The memory 222 stores computer readable instructions for execution by the processor 220 . In particular, the memory stores 222 a control application 228 that if from the processor 220 is running the processor 220 configured so that it has various related functions with the navigation of the device 103 and the collection of data for subsequent processing, e.g. B. by the server 101 , executes. In some embodiments, such post-processing may be performed by the device 103 even about running the application 228 be performed. In other examples, the application 228 also be implemented as a number of different applications.

Der Prozessor 220 kann, wenn er durch die Ausführung der Anwendung 228 so konfiguriert ist, auch als Bildgebungssteuerung 220 bezeichnet werden. Fachleute werden erkennen, dass die vom Prozessor 220 über die Ausführung der Anwendung 228 implementierte Funktionalität auch durch eine oder mehrere speziell entwickelte Hardware- und Firmware-Komponenten implementiert werden kann, einschließlich logischer Schaltungskonfigurationen, die für die Verarbeitung von Bild- und/oder Tiefensensordaten optimiert sind, wie z. B. über speziell konfigurierte FPGAs, ASICs und dergleichen in anderen Ausführungsformen.The processor 220 can if he is by running the application 228 configured also as an imaging controller 220 are designated. Those skilled in the art will recognize that from the processor 220 about the execution of the application 228 implemented functionality can also be implemented by one or more specially designed hardware and firmware components, including logical circuit configurations that are optimized for processing image and / or depth sensor data, such as e.g. B. via specially configured FPGAs, ASICs and the like in other embodiments.

Der Speicher 222 kann auch ein Archiv 232 speichern, das z. B. eine oder mehrere Karten enthält, die die Umgebung repräsentieren, in der die Vorrichtung 103 arbeitet, zur Verwendung während der Ausführung der Anwendung 228. Die Vorrichtung 103 kann mit dem Server 101 über eine Kommunikationsschnittstelle 224 über die in 1 gezeigte Verbindung 107 kommunizieren, um beispielsweise Anweisungen zur Navigation zu bestimmten Standorten zu erhalten und Datenerfassungsvorgänge einzuleiten. Die Kommunikationsschnittstelle 224 ermöglicht es der Vorrichtung 103 auch, mit dem Server 101 über das Dock 108 und die Verbindung 109 zu kommunizieren.The memory 222 can also be an archive 232 save the z. B. contains one or more maps representing the environment in which the device is located 103 works, for use while the application is running 228 . The device 103 can with the server 101 via a communication interface 224 about the in 1 connection shown 107 Communicate, for example, to receive instructions on how to navigate to specific locations and to initiate data collection processes. The communication interface 224 enables the device 103 also, with the server 101 over the dock 108 and the connection 109 to communicate.

Wie in der nachfolgenden Diskussion deutlich wird, können in anderen Beispielen einige oder alle der vom Server 101 durchgeführten Verarbeitungen von der Vorrichtung 103 durchgeführt werden, und einige oder alle der von der Vorrichtung 103 durchgeführten Verarbeitungen können vom Server 101 durchgeführt werden. Das heißt, obwohl sich im dargestellten Beispiel die Anwendung 128 im Server 101 befindet, können in anderen Ausführungsformen einige oder alle der unten beschriebenen Aktionen zur Bestimmung der Regaltiefe der Regale 110 aus erfassten Daten vom Prozessor 220 der Vorrichtung 103 durchgeführt werden, entweder in Verbindung mit oder unabhängig vom Prozessor 120 des Servers 101. Wie Fachleute erkennen werden, kann die Verteilung solcher Berechnungen zwischen dem Server 101 und der mobilen Automatisierungsvorrichtung 103 von den jeweiligen Verarbeitungsgeschwindigkeiten der Prozessoren 120 und 220, der Qualität und Bandbreite der Verbindung 107 sowie dem Kritikalitätsgrad der zugrunde liegenden Anweisung(en) abhängen.In other examples, as will become apparent in the discussion below, some or all of the from the server 101 processing performed by the device 103 and some or all of the from the device 103 Processing carried out can be done by the server 101 be performed. That is, although the application is in the example shown 128 in the server 101 in other embodiments, some or all of the actions described below can be used to determine the shelf depth of the shelves 110 from data captured by the processor 220 the device 103 performed either in conjunction with or independently of the processor 120 of the server 101 . As those skilled in the art will appreciate, such computations can be distributed among the server 101 and the mobile automation device 103 the respective processing speeds of the processors 120 and 220 , the quality and bandwidth of the connection 107 as well as the criticality level of the underlying instruction (s).

Die Funktionalität der Anwendung 128 wird nun näher beschrieben. Insbesondere wird die oben erwähnte Bestimmung der Trägerstrukturtiefe beschrieben, wie sie vom Server 101 durchgeführt wird. In 3 ist ein Verfahren 300 zur Bestimmung der Trägerstrukturtiefe dargestellt. Das Verfahren 300 wird im Zusammenhang mit seiner Durchführung durch den Server 101 unter Bezugnahme auf die in 1 dargestellten Komponenten beschrieben.The functionality of the application 128 will now be described in more detail. In particular, the above-mentioned determination of the support structure depth is described as it is done by the server 101 is carried out. In 3 is a procedure 300 to determine the support structure depth. The procedure 300 is related to its implementation by the server 101 with reference to the in 1 components shown.

In Block 305 ist der Server 101 so konfiguriert, dass er eine Punktwolke der Trägerstruktur sowie eine Ebenendefinition erhält, die mit der Vorderseite der Trägerstruktur korrespondiert. Im vorliegenden Beispiel, in dem die Trägerstrukturen Regale wie die in 1 gezeigten Regale 110 sind, stellt die in Block 305 erhaltene Punktwolke daher zumindest einen Teil eines Regalmoduls 110 dar (und kann eine Vielzahl von Regalmodulen 110 darstellen), und die Ebenendefinition korrespondiert mit einer Regal ebene, die mit der Vorderseite der Regalmodule 110 korrespondiert. Mit anderen Worten definiert die Ebenendefinition eine Ebene, die die Regalkanten 118 enthält.In block 305 is the server 101 configured so that it receives a point cloud of the support structure and a plane definition that corresponds to the front of the support structure. In the present example, in which the support structures have shelves like those in 1 shelves shown 110 are put in block 305 obtained point cloud therefore at least part of a shelf module 110 represent (and can accommodate a variety of shelf modules 110 represent), and the level definition corresponds to a shelf level that corresponds to the front of the shelf modules 110 corresponds. In other words, the level definition defines a level that the shelf edges 118 contains.

Die in Block 305 erhaltene Punktwolke und Ebenendefinition kann aus dem Archiv 132 abgerufen werden. Beispielsweise kann der Server 101 zuvor erfasste Daten von der Vorrichtung 103 empfangen haben, einschließlich einer Vielzahl von Lidar-Abtastungen der Regalmodule 110, und eine Punktwolke aus den Lidar-Abtastungen erzeugt haben. Jeder Punkt in der Punktwolke repräsentiert einen Punkt auf einer Oberfläche der Regale 110, Produkte 112 und dergleichen (z. B. einen Punkt, den die Abtastlinie eines Lidarsensors 211 getroffen hat) und ist durch einen Satz von Koordinaten (X, Y und Z) im Referenzrahmen 102 definiert. Die Ebenendefinition kann auch vorher vom Server 101 erzeugt und im Archiv 132 gespeichert werden, z. B. aus der oben erwähnten Punktwolke. Der Server 101 kann beispielsweise so konfiguriert sein, dass er die Punktwolke, die Lidar-Rohdaten, die von den Kameras 207 erfassten Bilddaten oder eine Kombination davon verarbeitet, um die Regalkanten 118 gemäß den vordefinierten Eigenschaften der Regalkanten 118 zu identifizieren. Beispiele für solche Eigenschaften sind, dass die Regalkanten 118 wahrscheinlich im Wesentlichen planar sind und auch wahrscheinlich näher an der Vorrichtung 103 sind als andere Objekte (wie die Regalrückseiten 116 und Produkte 112), wenn die Vorrichtung 103 die Länge 119 eines Regalmoduls 110 abfährt. Die Ebenendefinition kann in einer Vielzahl von geeigneten Formaten erhalten werden, wie z. B. einem geeigneten Satz von Parametern, die die Ebene definieren. Ein Beispiel für solche Parameter sind ein Normalenvektor (d. h. ein Vektor, der gemäß dem Referenzrahmen 102 definiert ist und der senkrecht zur Ebene steht) und eine Tiefe (die den Abstand entlang des Normalenvektors vom Ursprung des Referenzrahmens 102 zur Ebene angibt).The one in block 305 obtained point cloud and layer definition can be taken from the archive 132 can be retrieved. For example, the server 101 previously collected data from the device 103 including a variety of lidar scans of the shelf modules 110 , and generated a point cloud from the lidar scans. Each point in the point cloud represents a point on a surface of the shelves 110 , Products 112 and the like (e.g., a point the scan line of a lidar sensor 211 has hit) and is by a set of coordinates (X, Y, and Z) in the frame of reference 102 Are defined. The level definition can also be previously defined by the server 101 generated and in the archive 132 be saved, e.g. B. from the point cloud mentioned above. The server 101 For example, it can be configured to read the point cloud, the raw lidar data received from the cameras 207 Captured image data, or a combination thereof, processed to the shelf edges 118 according to the predefined properties of the shelf edges 118 to identify. Examples of such properties are that the shelf edges 118 likely to be substantially planar and also likely to be closer to the device 103 than other objects (like the back of the shelves 116 and products 112 ) when the device 103 the length 119 of a shelf module 110 departs. The level definition can be obtained in a variety of suitable formats, such as: B. an appropriate set of parameters defining the plane. An example of such parameters is a normal vector (ie, a vector which, according to the Frame of reference 102 and that is perpendicular to the plane) and a depth (which is the distance along the normal vector from the origin of the reference frame 102 indicating the level).

Bezugnehmend auf 4A ist eine Punktwolke 400 dargestellt, die das Regalmodul 110-3 zeigt. Die Regalrückseite 116-3 sowie das Regal 117-3 und die Regalkante 118-3 sind daher in der Punktwolke 400 dargestellt. Ebenfalls in 4A dargestellt ist eine Ebenendefinition 404, die mit der Vorderseite des Regalmoduls 110-3 korrespondiert (d.h. die Ebenendefinition 404 enthält die Regalkanten 118-3). Die Punktwolke 400 und die Ebenendefinition 404 müssen nicht in der in 4A gezeigten grafischen Form vorliegen. Wie Fachleute erkennen werden, kann die Punktwolke als eine Liste von Koordinaten und die Ebenendefinition 404 als die oben erwähnten Parameter erhalten werden.Referring to 4A is a point cloud 400 shown that the shelf module 110-3 shows. The back of the shelf 116-3 as well as the shelf 117-3 and the shelf edge 118-3 are therefore in the point cloud 400 shown. Also in 4A a level definition is shown 404 that connects to the front of the shelf module 110-3 corresponds (ie the level definition 404 contains the shelf edges 118-3 ). The point cloud 400 and the level definition 404 do not have to be in the in 4A graphical form shown. As those skilled in the art will appreciate, the point cloud can be viewed as a list of coordinates and the plane definition 404 than the above-mentioned parameters can be obtained.

Zurück zu 3 ist in Block 310 der Server 101 so konfiguriert, dass er mindestens ein Bild der Trägerstruktur erhält, wie es (z. B. von der Vorrichtung 103) von einer Erfassungsstellung aus erfasst wurde. Die Erfassungsstellung ist eine Position und Ausrichtung der Erfassungsvorrichtung, wie z. B. einer Kamera 207, innerhalb des Referenzrahmens. Die Vorrichtung 103 ist, wie oben erwähnt, so konfiguriert, dass sie ein oder mehrere Regalmodule 110 durchfährt und Bilder der Regalmodule 110 erfasst. Wie nun ersichtlich wird, erfolgt jede Bilderfassung bei einer bestimmten Position und Ausrichtung der Vorrichtung 103. Darüber hinaus umfasst die Vorrichtung 103 eine Vielzahl von Kameras 207, wie in 2A gezeigt, die jeweils eine vordefinierte physische Position und Ausrichtung auf der Vorrichtung 103 haben. Somit kann bei jeder Stellung (d. h. Position und Ausrichtung) der Vorrichtung 103 eine Vielzahl von Bildern erfasst werden, eines für jede Kamera 207. Jedes Bild entspricht somit einer bestimmten Erfassungsstellung, d. h. der physischen Position der Kamera 207 gemäß dem Referenzrahmen 102.Back to 3 is in block 310 the server 101 configured to receive at least one image of the support structure as it is (e.g. from the device 103 ) was recorded from a recording position. The detection position is a position and orientation of the detection device, such as, for. B. a camera 207 , within the frame of reference. The device 103 is, as mentioned above, configured to contain one or more shelving modules 110 drives through and pictures of the shelf modules 110 detected. As can now be seen, each image acquisition takes place with a certain position and orientation of the device 103 . In addition, the device includes 103 a variety of cameras 207 , as in 2A shown each having a predefined physical position and orientation on the device 103 to have. Thus, in any position (ie position and orientation) of the device 103 a variety of images are captured, one for each camera 207 . Each image thus corresponds to a specific capture position, ie the physical position of the camera 207 according to the frame of reference 102 .

4B veranschaulicht die Erfassung von zwei Beispielbildern 408-1, 408-2 durch die Vorrichtung 103, während die Vorrichtung 103 das Regalmodul 110-3 in einer Bewegungsrichtung 406 durchfährt. Insbesondere steuert die Vorrichtung 103 in einer ersten Vorrichtungsstellung 412-1 die Kamera 207-1, um das erste Bild 408-1 zu erfassen. Die Position und Orientierung der Kamera 207-1 zum Zeitpunkt der Erfassung des ersten Bildes 408-1 korrespondiert somit mit einer ersten Erfassungsstellung. Später während der Vorbeifahrbewegung am Regalmodul 110-3, in einer zweiten Vorrichtungsstellung 412-2, steuert die Vorrichtung 103 die Kamera 207-1 zur Erfassung des zweiten Bildes 408-2. Wie nun ersichtlich wird, korrespondiert das zweite Bild 408-2 mit einer zweiten Erfassungsstellung, die durch die Vorrichtungsstellung 412-2 und die physische Ausrichtung der Kamera 207-1 relativ zur Vorrichtung 103 definiert ist. Jede der anderen Kameras 207 kann auch so gesteuert werden, dass sie Bilder in jeder Vorrichtungsstellung 412 erfasst. Die Bilder, die von diesen anderen Kameras 207 erfasst werden, korrespondieren mit noch mehr Erfassungspositionen. 4B illustrates the acquisition of two sample images 408-1 , 408-2 through the device 103 while the device 103 the shelf module 110-3 in one direction of movement 406 drives through. In particular, the device controls 103 in a first device position 412-1 the camera 207-1 to the first picture 408-1 capture. The position and orientation of the camera 207-1 at the time the first image was captured 408-1 thus corresponds to a first detection position. Later while driving past the shelf module 110-3 , in a second device position 412-2 controls the device 103 the camera 207-1 for capturing the second image 408-2 . As can now be seen, the second image corresponds 408-2 with a second detection position created by the device position 412-2 and the physical orientation of the camera 207-1 relative to the device 103 is defined. Any of the other cameras 207 can also be controlled to display images in any device position 412 detected. The pictures taken by these other cameras 207 are recorded, correspond to even more recording positions.

Zurück zu 3 ist in Block 310 der Server 101 auch so konfiguriert, dass er, z. B. durch Abruf aus dem Archiv 132, eine Maske erhält, die auch als BoS (Back of Shelf (Rückseite des Regals)) -Maske oder BoS-Karte bezeichnet wird. Die Maske korrespondiert mit dem mindestens einen oben erwähnten Bild. Das heißt, für jedes Bild, das in Block 310 abgerufen wird, kann auch eine korrespondierende Maske abgerufen werden. Die Maske wird aus dem korrespondierenden Bild abgeleitet und zeigt für jeden einer Vielzahl von Abschnitten des Bildes ein Vertrauensniveau an, dass der Abschnitt die Regalrückseite 116 darstellt. Die Abschnitte können einzelne Pixel sein, wenn die Maske die gleiche Auflösung wie das Bild hat. In anderen Beispielen hat die Maske eine geringere Auflösung als das Bild, und jedes Vertrauensniveau in der Maske korrespondiert daher mit einem Abschnitt des Bildes, der mehrere Pixel enthält.Back to 3 is in block 310 the server 101 also configured so that he, e.g. B. by retrieving it from the archive 132 , receives a mask also known as a Back of Shelf (BoS) mask or BoS card. The mask corresponds to the at least one image mentioned above. That is, for each picture that is in block 310 is called up, a corresponding mask can also be called up. The mask is derived from the corresponding image and, for each of a plurality of sections of the image, indicates a level of confidence that the section is the back of the shelf 116 represents. The sections can be individual pixels if the mask is of the same resolution as the image. In other examples, the mask has a lower resolution than the image, and each level of confidence in the mask therefore corresponds to a portion of the image that contains multiple pixels.

5A veranschaulicht das in 4A gezeigte Bild 408-1. Wie in 5A gezeigt, stellt ein Abschnitt 500 des Bildes 408-1 die Regalrückseite 116-3 dar. Die Abschnitte 504-1, 504-2 und 504-3 zeigen die Produkte 112, und ein Abschnitt 508 zeigt die Regalkante 118-3. 5B zeigt eine aus dem Bild 408-1 abgeleitete Maske 512. Zur Erzeugung der Maske können verschiedene Mechanismen verwendet werden. Beispielsweise kann das Bild 408-1 in Felder einer vordefinierten Größe (z. B. 5 × 5 Pixel) zerlegt werden, und jedes Feld kann durch eine geeignete Klassifizierungsoperation klassifiziert werden, um ein Vertrauensniveau zu erzeugen, das einen Grad anzeigt, mit dem das Feld mit einem Referenzbild der Regalrückseite 116-3 übereinstimmt. Die Maske 512 kann dann durch Kombination der jedem Feld zugewiesenen Vertrauensniveaus konstruiert werden. 5A illustrates this in 4A shown picture 408-1 . As in 5A shown represents a section 500 of the picture 408-1 the back of the shelf 116-3 represent. The sections 504-1 , 504-2 and 504-3 show the products 112 , and a section 508 shows the shelf edge 118-3 . 5B shows one from the picture 408-1 derived mask 512 . Various mechanisms can be used to generate the mask. For example, the image 408-1 can be broken down into fields of a predefined size (e.g. 5 × 5 pixels), and each field can be classified by an appropriate classification operation to produce a confidence level indicating a degree to which the field is compared with a reference image of the rear of the shelf 116-3 matches. The mask 512 can then be constructed by combining the confidence levels assigned to each field.

In 5B sind die Vertrauensniveaus der Maske 512 in Graustufen dargestellt. Dunklere Bereiche der Maske 512 zeigen ein geringeres Vertrauen an, dass der korrespondierende Abschnitt des Bildes 408-1 die Regalrückseite 116-3 darstellt (oder, mit anderen Worten, ein höheres Vertrauen, dass der korrespondierende Abschnitt des Bildes 408-1 die Regalrückseite 116-3 nicht darstellt) und hellere Bereiche der Maske 512 zeigen ein höheres Vertrauen an, dass der korrespondierende Abschnitt des Bildes 408-1 die Regalrückseite 116-3 darstellt. Zum Beispiel zeigt ein Bereich 516 ein Vertrauensniveau von Null an, dass der Abschnitt 508 des Bildes 408-1 die Regalrückseite 116-3 darstellt. Ein anderer Bereich 520 der Maske 512 zeigt ein maximales Vertrauensniveau (z. B. 100 %) an, dass der korrespondierende Abschnitt des Bildes 408-1 die Regalrückseite 116-3 darstellt. Andere Bereiche der Maske 512 zeigen mittlere Vertrauensniveaus an. Beispielsweise zeigt ein Bereich 524 ein Vertrauensniveau von etwa 50 % an, da das Muster auf dem Produkt 112, das im Abschnitt 504-3 des Bildes 408-1 dargestellt ist, der Regalrückseite 116-3 ähnelt. Der Bereich 528 der Maske 512 zeigt dagegen ein Vertrauensniveau von ca. 30 % an.In 5B are the confidence levels of the mask 512 shown in grayscale. Darker areas of the mask 512 indicate a lower confidence that the corresponding Section of the image 408-1 the back of the shelf 116-3 represents (or, in other words, a higher confidence that the corresponding section of the image 408-1 the back of the shelf 116-3 not shown) and lighter areas of the mask 512 indicate a higher confidence that the corresponding section of the image 408-1 the back of the shelf 116-3 represents. For example one area shows 516 a zero confidence level on that section 508 of the picture 408-1 the back of the shelf 116-3 represents. Another area 520 the mask 512 indicates a maximum confidence level (e.g. 100%) that the corresponding section of the image 408-1 the back of the shelf 116-3 represents. Other areas of the mask 512 indicate medium levels of confidence. For example, shows an area 524 a confidence level of around 50% as the pattern is on the product 112 that is in the section 504-3 of the picture 408-1 is shown, the back of the shelf 116-3 resembles. The area 528 the mask 512 on the other hand indicates a confidence level of approx. 30%.

Über das in 5B gezeigte Graustufenbild hinaus sind verschiedene andere Mechanismen zum Speichern der Vertrauensniveaus der Maske 512 denkbar. Beispielsweise können die Vertrauensniveaus in einer Liste gespeichert werden, mit zugehörigen Sätzen von Bildkoordinaten, die anzeigen, welcher Abschnitt des Bildes 408-1 mit dem jeweiligen Vertrauensniveau korrespondiert.About the in 5B In addition to the grayscale image shown, there are various other mechanisms for storing the confidence levels of the mask 512 conceivable. For example, the confidence levels can be stored in a list, with associated sets of image coordinates indicating which portion of the image 408-1 corresponds to the respective level of trust.

Nachdem die Punktwolke, die Ebenendefinition, das/die Bild(er) und die Maske(n) in den Blöcken 305 und 310 erhalten wurden, ist der Server 101 dann so konfiguriert, dass er eine Teilmenge der Punkte in der Punktwolke identifiziert, für die korrespondierende Vertrauensniveaus in der Maske 512 existieren. Das heißt, der Server 101 identifiziert Punkte in der Punktwolke, die zum Zeitpunkt der Erfassung des Bildes für die Kamera 207 sichtbar waren. Der Server 101 ist dann so konfiguriert, dass er die Tiefen solcher Punkte relativ zur Regalebene in Verbindung mit den korrespondierenden Vertrauensniveaus aus der Maske 512 verwendet, um eine Tiefe der Regalrückseite 116 relativ zur Regalebene zu bestimmen. Die obige Funktionalität wird weiter unten ausführlicher erläutert.After the point cloud, the layer definition, the image (s) and the mask (s) in the blocks 305 and 310 received is the server 101 then configured to identify a subset of the points in the point cloud for the corresponding confidence levels in the mask 512 exist. That is, the server 101 identifies points in the point cloud at the time the image was captured for the camera 207 were visible. The server 101 is then configured to calculate the depths of such points relative to the shelf level in conjunction with the corresponding confidence levels from the mask 512 used to have a depth of the back of the shelf 116 to be determined relative to the shelf level. The above functionality is explained in more detail below.

Zurück zu 3 ist in Block 315 der Server 101 so konfiguriert, dass er einen Anfangssatz von Punkten aus der Punktwolke auswählt, die in ein Sichtfeld fallen, das durch die oben erwähnte Erfassungsstellung festgelegt wurde. In 4B ist das Sichtfeld der Kamera 207-2 in jeder Erfassungsstellung 412 in gestrichelten Linien dargestellt. Die Erfassungsstellung wird gemäß dem Referenzrahmen 102 definiert, und gemäß den vordefinierten Betriebsparametern (z. B. Brennweite) der Kamera 207 können auch die Position und das Ausmaß des Sichtfelds innerhalb des Referenzrahmens 102 definiert werden.Back to 3 is in block 315 the server 101 configured to select an initial set of points from the point cloud that fall within a field of view established by the above-mentioned detection position. In 4B is the field of view of the camera 207-2 in every detection position 412 shown in dashed lines. The registration position is according to the frame of reference 102 defined, and according to the predefined operating parameters (e.g. focal length) of the camera 207 can also specify the position and extent of the field of view within the frame of reference 102 To be defined.

Der Server 101 kann so konfiguriert sein, dass er in Block 315 jeden Punkt der Punktwolke bewertet, um zu bestimmen, ob der Punkt in das Sichtfeld fällt, das mit dem in Block 310 erhaltenen Bild korrespondiert. Beispielsweise kann der Server 101 so konfiguriert sein, dass er das Sichtfeld als ein Volumen innerhalb des Referenzrahmens 102 definiert und bestimmt, ob jeder Punkt der Punktwolke in das definierte Volumen fällt. Punkte, die in das definierte Volumen fallen, werden für den Anfangssatz ausgewählt. In einigen Beispielen ist der Server 101 jedoch so konfiguriert, dass er eine baumbasierte Suche durchführt, um den Anfangssatz von Punkten zu erzeugen, wie unten in Verbindung mit 6 erläutert.The server 101 can be configured to be in block 315 evaluates each point of the point cloud to determine whether the point falls within the field of view that corresponds to the one in block 310 received image corresponds. For example, the server 101 be configured so that it has the field of view as a volume within the frame of reference 102 defines and determines whether each point of the point cloud falls within the defined volume. Points falling within the defined volume are selected for the initial set. In some examples, the server is 101 however configured to perform a tree-based search to generate the initial set of points, as described below in connection with 6th explained.

In 6A wird ein Verfahren 600 zum Auswählen des Anfangssatzes von Punkten in Block 315 dargestellt. In Block 605 ist der Server 101 so konfiguriert, dass er eine Baumdatenstruktur erzeugt, z. B. einen k-d (k-dimensionalen) Baum, einen Octree oder dergleichen. Im vorliegenden Beispiel wird in Block 605 ein k-d-Baum erzeugt. Die Baumdatenstruktur enthält für jeden Punkt in der Punktwolke Koordinaten der ersten und zweiten Dimension orthogonal zur Tiefe des Punktes. Das heißt, jeder Punkt wird in dem Baum durch seine X- und Z-Koordinaten gemäß dem Referenzrahmen 102 dargestellt, wobei die Y-Koordinate für die Auswahl des Anfangssatzes weggelassen wird (die Y-Koordinaten werden später in dem Verfahren 300 verwendet, wie weiter unten erläutert wird).In 6A becomes a procedure 600 to select the initial set of points in block 315 shown. In block 605 is the server 101 configured to generate a tree data structure, e.g. B. a kd (k-dimensional) tree, an octree or the like. In this example, in block 605 a kd tree is created. The tree data structure contains coordinates of the first and second dimensions orthogonal to the depth of the point for each point in the point cloud. That is, each point is in the tree by its X and Z coordinates according to the frame of reference 102 with the Y-coordinate omitted for the selection of the initial set (the Y-coordinates will be used later in the procedure 300 used as explained below).

Wie Fachleute verstehen, kann der k-d-Baum durch Bestimmung des Medians einer der beiden oben genannten Dimensionen (z. B. der X-Dimension) aufgebaut werden. Alle Punkte, deren X-Koordinate unter dem Median liegt, werden einem ersten Zweig des Baumes zugeordnet, während die übrigen Punkte einem zweiten Zweig zugeordnet werden. Für jeden Zweig wird der Median der anderen Koordinate (im vorliegenden Beispiel Z) bestimmt und die dem Zweig zugeordneten Punkte werden erneut unterteilt, je nachdem, ob ihre Z-Koordinaten über oder unter dem Z-Median liegen. Dieser Vorgang wird wiederholt, wobei die Punkte zwischen den Zweigpaaren auf der Basis von abwechselnden Dimensionsmedianen weiter unterteilt werden (d. h. eine Unterteilung auf Basis der X-Dimension, gefolgt von einer Unterteilung auf Basis der Z-Dimension, gefolgt von einer weiteren Unterteilung auf Basis der X-Dimension usw.), bis jeder Knoten des Baums einen einzelnen Punkt enthält.As those skilled in the art will understand, the k-d-tree can be constructed by determining the median of one of the two dimensions mentioned above (e.g. the X dimension). All points whose X coordinate is below the median are assigned to a first branch of the tree, while the remaining points are assigned to a second branch. The median of the other coordinate (in the present example Z) is determined for each branch and the points assigned to the branch are subdivided again, depending on whether their Z coordinates are above or below the Z median. This process is repeated with the points between the pairs of branches being further subdivided based on alternate dimension medians (ie, a subdivision based on the X dimension, followed by a subdivision based on the Z dimension, followed by a further subdivision based on the X dimension, and so on) until each node of the tree contains a single point.

In Block 610 ist der Server 101 so konfiguriert, dass er die Koordinaten eines Sichtfeldzentrums in den zwei im Baum dargestellten Dimensionen bestimmt. Wie oben erwähnt, wird das durch das Sichtfeld definierte Volumen aus den Betriebsparametern der Kamera 207 und der Erfassungsstellung bestimmt. In 6B ist ein Sichtfeld 602 der Kamera 207-2 in der Vorrichtungsstellung 412-1 dargestellt. Das Sichtfeldzentrum 602 wird in drei Dimensionen durch die Linie 604 definiert. Um zweidimensionale Koordinaten des Sichtfeldzentrums in zwei Dimensionen (d. h. in der X- und Z-Dimension) zu bestimmen, ist der Server 101 so konfiguriert, dass er eine vordefinierte Tiefe auswählt und die Koordinaten bestimmt, bei denen die Mittellinie 604 die vordefinierte Tiefe schneidet. Die vordefinierte Tiefe kann im Speicher 122 als eine Tiefe gespeichert werden, die zu der in Block 305 erhaltenen Tiefe der Regalebene hinzugefügt wird. In anderen Beispielen können die Punktwolke, die Regalebene, die Erfassungsstellungen und dergleichen in einen Referenzrahmen transformiert werden, dessen Ursprung auf der Regalebene selbst liegt (z. B. dessen XZ-Ebene auf der Regalebene liegt), um die hier beschriebenen Berechnungen zu vereinfachen. Wie in 6B gezeigt, schneidet die Mittellinie 604 die vordefinierte Tiefe in einer FOV (Field of View (Sichtfeld))-Mitte 608. Die vordefinierte Tiefe wird vorzugsweise so gewählt, dass sie die Tiefe der Regalrückseite 116 überschreitet (obwohl die Tiefe der Regalrückseite 116 möglicherweise nicht genau bekannt ist).In block 610 is the server 101 configured to determine the coordinates of a field of view center in the two dimensions shown in the tree. As mentioned above, the volume defined by the field of view is derived from the operating parameters of the camera 207 and the detection position. In 6B is a field of view 602 the camera 207-2 in the device position 412-1 shown. The center of the field of view 602 is in three dimensions through the line 604 Are defined. In order to determine two-dimensional coordinates of the field of view center in two dimensions (ie in the X and Z dimensions), the server is 101 configured to select a predefined depth and determine the coordinates at which the centerline 604 intersects the predefined depth. The predefined depth can be stored in memory 122 saved as a depth corresponding to that in block 305 obtained depth of the shelf level will be added. In other examples, the point cloud, the shelf level, the acquisition positions and the like can be transformed into a reference frame whose origin lies on the shelf level itself (e.g. whose XZ plane lies on the shelf level) in order to simplify the calculations described here. As in 6B shown intersects the center line 604 the predefined depth in a FOV (field of view) - center 608. The predefined depth is preferably chosen to be the depth of the rear of the shelf 116 exceeds (although the depth of the back of the shelf 116 may not be known exactly).

In Block 615 ist der Server 101 so konfiguriert, dass er Punkte für den Satz auswählt, indem er Punkte aus dem Baum abruft, die innerhalb eines vordefinierten Radius des Zentrums 608 liegen. 6B zeigt einen vordefinierten Radius 612, der sich vom Zentrum 608 aus erstreckt. Wie nun für Fachleute ersichtlich wird, gibt es verschiedene Mechanismen zur Durchführung von radiusbasierten Suchen in Bäumen wie z. B. k-d-Bäumen. Im vorliegenden Beispiel, wie in 6B dargestellt, umfassen die in Block 615 abgerufenen Punkte die Beispielpunkte 616, während andere Punkte 618 nicht abgerufen werden, da sie weiter vom Zentrum 608 entfernt sind als der Radius 612.In block 615 is the server 101 configured to select points for the set by retrieving points from the tree that are within a predefined radius of the center 608 lie. 6B shows a predefined radius 612 that moves away from the center 608 from extends. As will now be apparent to those skilled in the art, there are various mechanisms for performing radius-based searches in trees such as trees. B. kd trees. In this example, as in 6B shown, include those in block 615 retrieved points the sample points 616 while other points 618 cannot be accessed as it is further from the center 608 away than the radius 612 .

In Block 620 kann der Server 101 so konfiguriert werden, dass er überprüft, ob die dreidimensionale Position jedes in Block 615 abgerufenen Punktes innerhalb des FOV 602 liegt, da der vordefinierte Radius 612 über die tatsächlichen Grenzen des FOV 602 hinausgehen kann. In anderen Beispielen kann der Block 620 weggelassen werden. Die Überprüfung in Block 620 kann, wenn sie durchgeführt wird, eine Transformationsmatrix verwenden, die auch als Kamerakalibrierungsmatrix bezeichnet wird und so konfiguriert ist, dass sie dreidimensionale Koordinaten aus der Punktwolke in zweidimensionale Koordinaten in einem Bildreferenzrahmen (z. B. Pixelkoordinaten im Bild 408-1) transformiert. Die Überprüfung in Block 620 kann daher für jeden in Block 615 abgerufenen Punkt die Erzeugung der entsprechenden Bildkoordinaten und die Bestimmung, ob die Bildkoordinaten innerhalb der Grenzen des Bildes 408-1 liegen, beinhalten.In block 620 can the server 101 be configured to check the three-dimensional position of each in block 615 retrieved point within the FOV 602 because the predefined radius 612 beyond the actual limits of the FOV 602 can go out. In other examples, the block 620 can be omitted. The review in block 620 when performed, may use a transformation matrix, also known as the camera calibration matrix, configured to convert three-dimensional coordinates from the point cloud to two-dimensional coordinates in an image reference frame (e.g., pixel coordinates in the image 408-1 ) transformed. The review in block 620 can therefore for everyone in block 615 retrieved point generating the appropriate image coordinates and determining whether the image coordinates are within the boundaries of the image 408-1 lie, include.

Zurück zu 3, nachdem der Anfangssatz von Punkten 616 innerhalb des FOV 602 ausgewählt wurde, ist der Server 101 in Block 320 so konfiguriert, dass er einen nicht verdeckten Satz von Tiefenmessungen aus den Punkten im Anfangssatz auswählt. Der in Block 315 ausgewählte Anfangssatz von Punkten kann, obwohl er innerhalb des FOV 602 liegt, dennoch Punkte enthalten, die von der Kamera 207 nicht abgebildet wurden, weil sie durch andere Objekte von der Sicht der Kamera 207 verdeckt sind. Beispielsweise, mit erneuter Bezugnahme auf 6B, korrespondiert der Punkt 616a, obwohl er innerhalb des FOV 602 liegt, mit einem Abschnitt des Regals 117, den die Kamera 207-2 in der in 6B gezeigten Erfassungsstellung nicht abbilden kann, weil sich ein Produkt 112 zwischen der Kamera 207-2 und dem Punkt 616a befindet. Der Punkt 616a kann in der Punktwolke erscheinen, da ein Lidar-Scanner anders positioniert ist als die Kamera 207-2, weil ein Lidar-Scanner den Punkt 616a von einer nachfolgenden Vorrichtungsstellung 412 aus erfasst hat, oder dergleichen. Der Punkt 616a ist mit anderen Worten ein verdeckter Punkt, für den das Bild 408-1 und die Maske 512 keine entsprechenden Daten haben. In Block 320 ist der Server 101 so konfiguriert, dass er solche verdeckten Punkte aus der weiteren Betrachtung entfernt und Daten für nicht verdeckte Punkte, wie z. B. den Punkt 616b, beibehält.Back to 3 after the initial set of points 616 within the FOV 602 selected is the server 101 in block 320 configured to select an unobscured set of depth measurements from the points in the initial set. The one in block 315 selected initial set of points may, although it is within the FOV 602 lies, nonetheless contain points taken by the camera 207 Not imaged because they were through other objects from the camera's point of view 207 are covered. For example, referring again to FIG 6B , the point corresponds 616a even though he's within the FOV 602 lies, with a section of the shelf 117 the camera 207-2 in the in 6B cannot depict the detection position shown because a product 112 between the camera 207-2 and the point 616a is located. The point 616a can appear in the point cloud because a lidar scanner is positioned differently than the camera 207-2 because a lidar scanner got the point 616a from a subsequent device position 412 has captured, or the like. The point 616a in other words is a hidden point for which the image 408-1 and the mask 512 have no corresponding data. In block 320 is the server 101 configured to remove such hidden points from further consideration and retrieve data for non-hidden points, such as B. the point 616b , maintains.

Im Allgemeinen geht die Auswahl in Block 320 von der Annahme aus, dass für jeden verdeckten Punkt aus der Punktwolke auch ein nicht verdeckter Punkt in der Punktwolke vorhanden ist, der mit dem für die Verdeckung verantwortlichen Objekt korrespondiert. In Block 320 wird weiterhin angenommen, dass der oben erwähnte nicht verdeckte Punkt für die Kamera 207 sichtbar ist und daher im Bild 408-1 dargestellt wird. In 7A ist ein Beispielverfahren 700 zur Auswahl der nicht verdeckten Teilmenge von Tiefenmessungen dargestellt.In general, the selection is in blocks 320 on the assumption that for every hidden point from the point cloud there is also a non-hidden point in the point cloud that corresponds to the object responsible for the masking. In block 320 it is further assumed that the above-mentioned unobstructed point is for the camera 207 is visible and therefore in the picture 408-1 is pictured. In 7A is an example procedure 700 to select the uncovered subset of depth measurements.

In Block 705 ist der Server 101 so konfiguriert, dass er die Bildkoordinaten für jeden Punkt in dem in Block 315 ausgewählten Ausgangssatz bestimmt. Wie oben erwähnt, können die Bildkoordinaten durch Verwendung der Kamerakalibrierungsmatrix in einem Prozess erhalten werden, der auch als Vorwärtsprojektion bezeichnet wird (d. h. Projektion eines Punktes in drei Dimensionen „vorwärts“ in ein erfasstes Bild, im Gegensatz zur Rückprojektion, bei der ein Punkt in einem Bild „zurück“ in die Punktwolke projiziert wird). 7B illustriert die Ergebnisse von Block 705 für die zuvor besprochenen Punkte 616a und 616b. Die Punkte 616a und 616b korrespondieren mit Bildkoordinaten, die gemäß einem Bildreferenzsystem 702 definiert sind (das im vorliegenden Beispiel parallel zur XZ-Ebene des Referenzsystems 102 liegt). Wie in 7B zu sehen ist, werden die Tiefenmessungen im Referenzrahmen 102, die den Punkten 616 zugeordnet sind, bei der Durchführung des Verfahrens 700 ebenfalls beibehalten, obwohl sie nicht direkt in den Bildkoordinaten (die zweidimensional sind) dargestellt werden. Die Tiefenmessungen können in einer Liste 704 oder einem anderen geeigneten Format in Verbindung mit den Bildkoordinaten aufbewahrt werden. Weitere Beispielpunkte 706, 708, 709, 712 und 714 sind ebenfalls dargestellt. Wie in der Liste 704 der Tiefenmessungen dargestellt, befindet sich der Punkt 708 auf der Oberfläche eines Produkts, während sich der Punkt 709 hinter dem Produkt befindet, z. B. auf der Regalrückseite 116 (in einer Tiefe von 528 mm, verglichen mit einer Tiefe von 235 mm für den Punkt 708). Die Punkte 712 und 714 befinden sich ebenfalls auf der Regalrückseite 116 und haben eine zugehörige Tiefe von 530 mm bzw. 522 mm.In block 705 is the server 101 configured to provide the image coordinates for each point in the block 315 selected source sentence determined. As mentioned above, the image coordinates can be obtained by using the camera calibration matrix in a process also known as forward projection (i.e., projecting a point in three dimensions "forward" into a captured image, as opposed to back projection, which uses a point in a Image is projected "back" into the point cloud). 7B illustrates the results of Block 705 for the points discussed earlier 616a and 616b . The points 616a and 616b correspond to image coordinates that are in accordance with an image reference system 702 are defined (in the present example parallel to the XZ plane of the reference system 102 lies). As in 7B can be seen, the depth measurements are in the frame of reference 102 that the points 616 are assigned when carrying out the procedure 700 also retained, although they are not represented directly in the image coordinates (which are two-dimensional). The depth measurements can be in a list 704 or some other suitable format in association with the image coordinates. More example points 706 , 708 , 709 , 712 and 714 are also shown. As in the list 704 of the depth measurements, the point is located 708 on the surface of a product while the point 709 behind the product, e.g. B. on the back of the shelf 116 (in a depth of 528 mm compared to a depth of 235 mm for the point 708 ). The points 712 and 714 are also located on the back of the shelf 116 and have a corresponding depth of 530 mm and 522 mm, respectively.

In Block 710 ist der Server 101 so konfiguriert, dass er eine Baumdatenstruktur erzeugt, z. B. einen weiteren k-d-Baum, der die in Block 705 ermittelten Bildkoordinaten enthält. In Block 715 ist der Server 101 so konfiguriert, dass er Nachbargruppen von Punkten auswählt. Insbesondere ist der Server 101 so konfiguriert, dass er für einen ausgewählten Punkt im Baum die nächstgelegenen Nachbarn dieses Punkts abruft (z. B. eine vordefinierte Anzahl von Nachbarn, Nachbarn innerhalb eines vordefinierten Radius oder eine Kombination der obigen Punkte). Der Server 101 ist ferner so konfiguriert, dass er aus den in Block 715 abgerufenen nächsten Nachbarn den Nachbarn mit der geringsten Tiefe auswählt. So ist, wieder bezugnehmend auf 7B und beginnend mit dem Punkt 616a, der nächste Nachbar der Punkt 616b, und die geringste Tiefe zwischen den Punkten 616a und 616b ist die Tiefe, die dem Punkt 616b zugeordnet ist. Die Tiefenmessung (sowie die entsprechenden Bildkoordinaten) des Punktes 616b wird daher für die Erfassung in die nicht verdeckten Teilmenge von Tiefenmessungen beibehalten, während der Punkt 616a verworfen wird. Die Durchführung von Block 715 wird für jeden verbleibenden Punkt in dem Anfangssatz wiederholt, bis eine Bestimmung in Block 720 anzeigt, dass keine Punkte mehr zu verarbeiten sind. Für die in 7B dargestellten Beispielpunkte,In block 710 is the server 101 configured to generate a tree data structure, e.g. B. Another kd-tree that contains the in block 705 contains determined image coordinates. In block 715 is the server 101 configured to select neighboring groups of points. In particular, the server is 101 configured to get the closest neighbors of that point for a selected point in the tree (e.g. a pre-defined number of neighbors, neighbors within a pre-defined radius, or a combination of the above points). The server 101 is also configured to consist of the in block 715 retrieved nearest neighbor selects the neighbor with the shallowest depth. So is referring to again 7B and starting with the point 616a , the closest neighbor the point 616b , and the shallowest depth between the points 616a and 616b is the depth to the point 616b assigned. The depth measurement (as well as the corresponding image coordinates) of the point 616b is therefore retained for detection in the unobscured subset of depth measurements while the point 616a is discarded. Execution of block 715 is repeated for each remaining point in the initial sentence until a determination in block 720 indicates that there are no more points to process. For the in 7B example points shown,

Wenn alle Punkte aus dem Anfangssatz verarbeitet wurden und die Teilmenge der nicht verdeckten Tiefenmessungen ausgewählt wurde, kehrt der Server 101 zu Block 325 des Verfahrens 300 zurück. In Block 325 kann der Server 101 optional so konfiguriert werden, dass er eine endgültige Teilmenge von Tiefenmessungen aus der nicht verdeckten Teilmenge von Tiefenmessungen auswählt. Wenn man zum Beispiel die in 7B gezeigten Punkte nimmt, wird die daraus erhaltene nicht verdeckte Teilmenge von Tiefenmessungen in 8A gezeigt, in der zu sehen ist, dass die Punkte 616a und 709 aus der nicht verdeckten Teilmenge 800 verworfen worden sind. In Block 325 kann der Server 101 so konfiguriert werden, dass er eine oder mehrere zusätzliche Filteroperationen durchführt, um weitere Punkte aus der nicht verdeckten Teilmenge auszuschließen.When all of the points from the initial set have been processed and the subset of unobscured depth measurements has been selected, the server returns 101 to block 325 of the procedure 300 back. In block 325 can the server 101 optionally configured to select a final subset of depth measurements from the unobstructed subset of depth measurements. For example, if you have the in 7B points shown, the uncovered subset of depth measurements obtained therefrom is in 8A shown in which it can be seen that the points 616a and 709 from the uncovered subset 800 have been discarded. In block 325 can the server 101 can be configured to perform one or more additional filter operations to exclude additional points from the uncovered subset.

Ein erstes Beispiel für einen Filtervorgang, der in Block 325 angewendet wird, besteht darin, alle Punkte mit einem BoS-Vertrauensniveau aus der Maske 512 zu verwerfen, das unter einem vorgegebenen Schwellenwert liegt. Der vorgegebene Schwellenwert beträgt im vorliegenden Beispiel 55 % (es versteht sich jedoch, dass stattdessen auch verschiedene andere Schwellenwerte angewendet werden können). 8B zeigt die Maske 512 mit den Vertrauensniveaus 816b, 806, 808, 812 und 814, die mit den Bildkoordinaten der Punkte 616b, 706, 708, 712 bzw. 714 korrespondieren. Im vorliegenden Beispiel wird angenommen, dass die Vertrauensniveaus 816b, 806, 808, 812 und 814 30%, 0%, 50%, 100% bzw. 90% betragen. Die Punkte mit Vertrauensniveaus unter 55 % (d. h. die Punkte 616b, 706 und 708) werden daher verworfen, und die endgültige Teilmenge der Tiefenmessungen umfasst die Tiefenmessungen für die Punkte 712 und 714 sowie ihre zugehörigen Bildkoordinaten.A first example of a filtering process in block 325 is applied is to mask all points with a BoS confidence level 512 to discard that is below a predetermined threshold. In the present example, the predefined threshold value is 55% (it is understood, however, that various other threshold values can also be used instead). 8B shows the mask 512 with the confidence levels 816b , 806 , 808 , 812 and 814 with the image coordinates of the points 616b , 706 , 708 , 712 or. 714 correspond. In the present example it is assumed that the confidence levels 816b , 806 , 808 , 812 and 814 30%, 0%, 50%, 100% and 90%, respectively. The points with confidence levels below 55% (i.e. the points 616b , 706 and 708 ) are therefore discarded and the final subset of depth measurements includes the depth measurements for the points 712 and 714 as well as their associated image coordinates.

Andere Beispiele für die in Block 325 durchgeführte Filterung umfassen das Verwerfen von Punkten mit Tiefenmessungen, die einen vordefinierten maximalen Tiefenschwellenwert überschreiten. 8C zeigt ein weiteres Beispielbild 818, das aus einer anderen Vorrichtungsstellung (und damit in einer anderen Erfassungsstellung) erfasst wurde als die Stellung, in der das Bild 418-1 erfasst wurde. Im Bild 818 ist eine Kante 819 des Regalmoduls 110-3 sichtbar, und bestimmte Punkte sowohl im Bild 818 als auch in der Punktwolke korrespondieren daher mit Bereichen der Einrichtung jenseits des Regalmoduls 110-3. Zum Beispiel kann der Punkt 820 eine zugehörige Tiefenmessung von 2500 mm haben. Der oben erwähnte maximale Schwellenwert kann als maximale bekannte Regaltiefe in der gesamten Einrichtung gewählt werden (z. B. 700 mm). Der Punkt 820 kann daher in Block 325 verworfen werden.Other examples of those in block 325 Any filtering performed may include discarding points with depth measurements that exceed a predefined maximum depth threshold. 8C shows another example image 818 that was captured from a different device position (and thus in a different detection position) than the position in which the image was captured 418-1 was recorded. In the picture 818 is an edge 819 of the shelf module 110-3 visible, and certain points both in the picture 818 as well as in the point cloud therefore correspond to areas of the facility beyond the shelf module 110-3 . For example, the point can 820 have an associated depth measurement of 2500 mm. The maximum threshold mentioned above can be chosen as the maximum known shelf depth in the entire facility (e.g. 700 mm). The point 820 can therefore in block 325 be discarded.

Zurück zu 3 werden in Block 330 die Tiefenmessungen der endgültigen Teilmenge gemäß den entsprechenden Vertrauensniveaus aus der Maske 512 gewichtet. Im vorliegenden Beispiel werden also die Tiefenmessungen für die Punkte 712 und 714 gemäß ihrer jeweiligen Vertrauensniveaus (100 % bzw. 90 %) gewichtet. Zum Beispiel können die Tiefen mit ihren jeweiligen Gewichtungen multipliziert werden (z. B. 530 × 1 und 522 × 0,9). In Block 335 wird die Regalhöhe aus den gewichteten Tiefen bestimmt. Das heißt, die in Block 335 ermittelte Regaltiefe ist ein gewichteter Durchschnitt der Tiefenmessungen in der endgültigen Teilmenge aus Block 325. Im vorliegenden Beispiel wird der gewichtete Durchschnitt der Tiefenmessungen für die Punkte 712 und 714 durch Summieren der gewichteten Tiefen und Dividieren des Ergebnisses durch die Summe der Gewichte (d.h. 1,9 oder 190%) ermittelt, was ein Ergebnis von 526,2 mm ergibt. 9 zeigt die ermittelte Regaltiefe als eine gestrichelte Linie 900, die von der Regalebene 404 ausgeht (und senkrecht zur Regalebene 404 steht).Back to 3 will be in block 330 the depth measurements of the final subset according to the corresponding confidence levels from the mask 512 weighted. So in the present example, the depth measurements for the points 712 and 714 weighted according to their respective confidence levels (100% and 90%). For example, the depths can be multiplied by their respective weights (e.g. 530 × 1 and 522 × 0.9). In block 335 the shelf height is determined from the weighted depths. That is, the one in block 335 determined shelf depth is a weighted average of the depth measurements in the final subset of the block 325 . In this example, the weighted average of the depth measurements for the points 712 and 714 by summing the weighted depths and dividing the result by the sum of the weights (i.e. 1.9 or 190%), giving a result of 526.2 mm. 9 shows the determined shelf depth as a dashed line 900 that from the shelf level 404 goes out (and perpendicular to the shelf level 404 stands).

In Block 340 ist der Server 101 so konfiguriert, dass er bestimmt, ob noch Erfassungsstellungen zu verarbeiten sind (d. h. ob noch weitere Vorrichtungsstellungen für die aktuelle Kamera vorhanden sind oder ob noch weitere Kameras in der aktuellen Vorrichtungsstellung verbleiben). Wenn die Bestimmung in Block 340 positiv ist, wird die Durchführung des Verfahrens 300 für alle nachfolgenden Bilder und korrespondierenden Masken wiederholt. Wenn die Bestimmung in Block 340 negativ ist, wird die Durchführung des Verfahrens 300 beendet. In einigen Beispielen wird Block 335 nur nach einer negativen Bestimmung in Block 340 ausgeführt und verwendet die mehreren gewichteten endgültigen Sätze von Tiefenmessungen aus jeder Ausführung von Block 330, um eine einzelne Regaltiefe für das Regalmodul 110 zu bestimmen. Die über die Durchführung des Verfahrens 300 ermittelte Regaltiefe kann beispielsweise an eine weitere Anwendung des Servers 101 oder an eine anderes Computervorrichtung) zurückgegeben werden, um Lücken in den Regalen 110 oder andere Objektzustandsdaten zu identifizieren.In block 340 is the server 101 configured in such a way that it determines whether there are still capture positions to be processed (ie whether there are still further device positions for the current camera) or whether further cameras remain in the current device position). If the determination in block 340 is positive, the procedure will be carried out 300 repeated for all subsequent images and corresponding masks. If the determination in block 340 is negative, the procedure will be carried out 300 completed. In some examples, Block 335 only after a negative determination in block 340 and uses the multiple weighted final sets of depth measurements from each execution of block 330 to select a single shelf depth for the shelf module 110 to determine. The one about the implementation of the procedure 300 The determined shelf depth can, for example, be transferred to another application of the server 101 or to another computing device) to fill in gaps on the shelves 110 or to identify other object status data.

In der vorstehenden Beschreibung wurden spezifische Ausführungsformen beschrieben. Ein Durchschnittsfachmann erkennt jedoch, dass verschiedene Modifikationen und Änderungen vorgenommen werden können, ohne den Schutzumfang der Erfindung, wie sie in den untenstehenden Ansprüchen definiert ist, abzuweichen. Dementsprechend sind die Beschreibung und die Figuren vielmehr in einem illustrativen als in einem einschränkenden Sinne zu betrachten, und alle derartigen Modifikationen sollen im Umfang der vorliegenden Lehren eingeschlossen sein.In the above description, specific embodiments have been described. However, one of ordinary skill in the art will recognize that various modifications and changes can be made without departing from the scope of the invention as defined in the claims below. Accordingly, the specification and figures are to be regarded in an illustrative rather than a restrictive sense, and all such modifications are intended to be included within the scope of the present teachings.

Die Nutzen, Vorteile, Lösungen für Probleme und alle Elemente, die zum Auftreten oder einer Verstärkung eines Nutzens, eines Vorteils, oder einer Lösung führen können, sind nicht als kritische, erforderliche oder wesentliche Merkmale oder Elemente in einigen oder sämtlichen Ansprüchen zu verstehen. Die Erfindung ist lediglich durch die angehängten Ansprüche definiert, einschließlich jeglicher Änderungen, die während der Anhängigkeit dieser Anmeldung vorgenommen wurden und aller Äquivalente der erteilten Ansprüche.The benefits, advantages, solutions to problems and all elements that may lead to the occurrence or amplification of a benefit, an advantage or a solution are not to be understood as critical, required or essential features or elements in any or all of the claims. The invention is defined only by the appended claims, including any changes made during the pendency of this application and all equivalents of the granted claims.

Darüber hinaus können in diesem Dokument relationale Begriffe wie erster und zweiter, oberer und unterer und dergleichen lediglich verwendet sein, um eine Entität oder Aktion von einer anderen Entität oder Aktion zu unterscheiden, ohne notwendigerweise eine tatsächliche derartige Beziehung oder Reihenfolge zwischen solchen Entitäten oder Aktionen zu erfordern oder zu implizieren. Die Ausdrücke „umfasst“, „umfassend“, „hat”, „haben“, „aufweist“, „aufweisend“, „enthält“, „enthaltend“ oder jede andere Variation davon sollen eine nicht-ausschließliche Einbeziehung abdecken, derart, dass ein Prozess, Verfahren, Produkt oder Vorrichtung, das eine Liste von Elementen umfasst, hat, aufweist, enthält, nicht nur diese Elemente aufweist, sondern auch andere Elemente aufweisen kann, die nicht ausdrücklich aufgelistet sind oder einem solchen Prozess, Verfahren, Produkt oder Vorrichtung inhärent sind. Ein Element, dem „umfasst ... ein“, „hat ... ein”, „aufweist ... ein“ oder „enthält ...ein“ vorausgeht, schließt ohne weitere Einschränkungen die Existenz zusätzlicher identischer Elemente in dem Prozess, dem Verfahren, dem Produkt oder der Vorrichtung, die das Element umfasst, hat, aufweist oder enthält, nicht aus. Die Begriffe „ein“ und „eine“ sind als eine oder mehrere definiert, sofern es hierin nicht ausdrücklich anders angegeben wird. Die Begriffe „im Wesentlichen“, „im Allgemeinen“, „ungefähr“, „etwa“ oder jede andere Version davon sind so definiert, dass sie von einem Fachmann auf diesem Gebiet nahekommend verstanden werden, und in einer nicht-einschränkenden Ausführungsform ist der Ausdruck definiert als innerhalb von 10%, in einer weiteren Ausführungsform als innerhalb von 5%, in einer weiteren Ausführungsform als innerhalb von 1% und in einer weiteren Ausführungsform als innerhalb von 0,5%. Der Ausdruck „gekoppelt“, wie er hierin verwendet wird, ist als verbunden definiert, jedoch nicht notwendigerweise direkt und nicht notwendigerweise mechanisch. Eine Vorrichtung oder eine Struktur, die auf eine bestimmte Art „ausgeführt“ ist, ist zumindest auch so ausgeführt, kann aber auch auf Arten ausgeführt sein, die nicht aufgeführt sind.Furthermore, relational terms such as first and second, upper and lower, and the like, may be used in this document only to distinguish one entity or action from another entity or action, without necessarily implying any actual such relationship or order between such entities or actions require or imply. The terms “comprises”, “comprising”, “has”, “having”, “having”, “having”, “containing”, “containing” or any other variation thereof are intended to cover non-exclusive inclusion such that a Process, method, product or device that comprises, has, has, contains, not only has these elements, but may also have other elements that are not expressly listed or are inherent in such a process, method, product or device are. An element preceded by "comprises ... a", "has ... a", "has ... a" or "contains ... a" excludes, without further restrictions, the existence of additional identical elements in the process, does not affect the method, product, or device comprising, having, or containing the element. The terms “a” and “an” are defined as one or more unless expressly stated otherwise herein. The terms “substantially,” “generally,” “approximately,” “about,” or any other version thereof, are defined to be readily understood by one of ordinary skill in the art, and in one non-limiting embodiment, the term is defined as within 10%, in a further embodiment as within 5%, in a further embodiment as within 1% and in a further embodiment as within 0.5%. As used herein, the term “coupled” is defined as connected, but not necessarily directly and not necessarily mechanically. A device or a structure that is “designed” in a certain way is at least also designed that way, but can also be designed in ways that are not listed.

Es versteht sich, dass einige Ausführungsformen von einem oder mehreren generischen oder spezialisierten Prozessoren (oder „Verarbeitungsgeräten“) wie Mikroprozessoren, digitale Signalprozessoren, kundenspezifische Prozessoren und Field-Programmable-Gate-Arrays (FPGAs) und einmalig gespeicherten Programmanweisungen (einschließlich sowohl Software als auch Firmware) umfasst sein können, die den einen oder die mehreren Prozessoren steuern, um in Verbindung mit bestimmten Nicht-Prozessorschaltungen einige, die meisten oder alle der hierin beschriebenen Funktionen des Verfahrens und/oder der Vorrichtung zu implementieren. Alternativ können einige oder alle Funktionen durch eine Zustandsmaschine implementiert sein, die keine gespeicherten Programmanweisungen aufweist, oder in einer oder mehreren anwendungsspezifischen integrierten Schaltungen (ASICs), in denen jede Funktion oder einige Kombinationen von bestimmten Funktionen als benutzerdefinierte Logik implementiert sind. Natürlich kann eine Kombination der beiden Ansätze verwendet werden.It will be understood that some embodiments may include one or more generic or specialized processors (or "processing devices") such as microprocessors, digital signal processors, custom processors, and field programmable gate arrays (FPGAs) and one-time stored program instructions (including both software and Firmware) that control the one or more processors to implement in conjunction with certain non-processor circuitry some, most, or all of the functions of the method and / or apparatus described herein. Alternatively, some or all of the functions may be implemented by a state machine that does not have stored program instructions, or in one or more application specific integrated circuits (ASICs) in which each function or some combination of certain functions is implemented as user-defined logic. Of course, a combination of the two approaches can be used.

Darüber hinaus kann eine Ausführungsform als ein computerlesbares Speichermedium implementiert sein, auf dem computerlesbarer Code gespeichert ist, um einen Computer (der zum Beispiel einen Prozessor umfasst) zu programmieren, um ein Verfahren auszuführen, wie es hierin beschrieben und beansprucht ist. Beispiele solcher computerlesbaren Speichermedien weisen eine Festplatte, eine CD-ROM, eine optische Speichervorrichtung, eine magnetische Speichervorrichtung, einen ROM (Nur-Lese-Speicher), einen PROM (programmierbarer Nur-Lese-Speicher), einen EPROM (löschbarer programmierbarer Nur-Lese-Speicher), einen EEPROM (elektrisch löschbarer programmierbarer Nur-Lese-Speicher) und einen Flash-Speicher auf, sind aber nicht hierauf beschränkt auf. Ferner wird davon ausgegangen, dass ein Durchschnittsfachmann, ungeachtet möglicher signifikanter Anstrengungen und vieler Designwahlen, die zum Beispiel durch verfügbare Zeit, aktuelle Technologie und wirtschaftliche Überlegungen motiviert sind, ohne Weiteres in der Lage ist, solche Softwareanweisungen und -programme und ICs mit minimalem Experimentieren zu generieren, wenn er durch die hierin offenbarten Konzepte und Prinzipien angeleitet wird.Additionally, an embodiment may be implemented as a computer readable storage medium having stored thereon computer readable code for programming a computer (e.g., comprising a processor) to perform a method as described and claimed herein. Examples of such computer readable storage media include a hard disk, CD-ROM, optical storage device, magnetic storage device, ROM (read only memory), PROM (programmable read only memory), EPROM (erasable programmable read only Memory), an EEPROM (electrically erasable programmable read-only memory) and a flash memory, but are not limited to. Further, it is believed that one of ordinary skill in the art, regardless of the significant effort that may be made and many design choices motivated by, for example, available time, current technology, and economic considerations, will readily be able to create such software instructions and programs and ICs with minimal experimentation when guided by the concepts and principles disclosed herein.

Die Zusammenfassung der Offenbarung wird bereitgestellt, um es dem Leser zu ermöglichen, schnell das Wesen der technischen Offenbarung zu ermitteln. Sie wird mit dem Verständnis bereitgestellt, dass sie nicht zur Auslegung oder Einschränkung des Umfangs oder der Bedeutung der Ansprüche verwendet wird. Ferner kann der vorangehenden detaillierten Beschreibung entnommen werden, dass verschiedene Merkmale in verschiedenen Ausführungsformen zum Zwecke der Verschlankung der Offenbarung zusammengefasst sind. Diese Art der Offenbarung ist nicht so auszulegen, dass sie die Absicht widerspiegelt, dass die beanspruchten Ausführungsformen mehr Merkmale erfordern, als ausdrücklich in jedem Anspruch angegeben sind. Vielmehr ist es so, wie die folgenden Ansprüche zeigen, dass der erfinderische Gegenstand in weniger als allen Merkmalen einer einzigen offenbarten Ausführungsform liegt. Somit werden die folgenden Ansprüche hiermit in die detaillierte Beschreibung inkorporiert, wobei jeder Anspruch für sich als ein separat beanspruchter Gegenstand steht.The abstract of the disclosure is provided to enable the reader to quickly ascertain the nature of the technical disclosure. It is provided with the understanding that it will not be used to interpret or limit the scope or meaning of the claims. Furthermore, it can be inferred from the preceding detailed description that various features are combined in various embodiments for the purpose of streamlining the disclosure. This type of disclosure is not to be construed as reflecting the intent that the claimed embodiments require more features than are expressly stated in each claim. Rather, as the following claims demonstrate, inventive subject matter resides in less than all features of a single disclosed embodiment. Thus, the following claims are hereby incorporated into the Detailed Description, with each claim standing on its own as a separately claimed subject matter.

Claims

Verfahren zum Bestimmen einer Trägerstrukturtiefe einer Trägerstruktur mit einer Vorderseite und einer Rückseite, die durch die Trägerstrukturtiefe getrennt sind, wobei das Verfahren umfasst: Erhalten (i) einer Punktwolke der Trägerstruktur, und (ii) einer Maske, die für eine Vielzahl von Abschnitten eines Bildes der Trägerstruktur, das aus einer Erfassungsstellung erfasst wurde, jeweilige Vertrauensniveaus anzeigt, dass die Abschnitte die Rückseite der Trägerstruktur darstellen; Auswählen eines Anfangssatzes von Punkten aus der Punktwolke, die sich innerhalb eines Sichtfeldes befinden, das von der Erfassungsstellung ausgeht; Auswählen einer nicht verdeckten Teilmenge von Tiefenmessungen aus dem Anfangssatz von Punkten, wobei die Tiefenmessungen in der nicht verdeckten Teilmenge mit jeweiligen Bildkoordinaten korrespondieren; Abrufen eines Vertrauensniveaus aus der Maske für jede der Tiefenmessungen in der nicht verdeckten Teilmenge; und Bestimmen der Trägerstrukturtiefe basierend auf den Tiefenmessungen in der nicht verdeckten Teilmenge und den abgerufenen Vertrauensniveaus.A method for determining a support structure depth of a support structure having a front side and a rear side which are separated by the support structure depth, the method comprising: Obtaining (i) a point cloud of the support structure, and (ii) a mask which indicates respective levels of confidence for a plurality of sections of an image of the support structure captured from a detection position that the sections represent the rear side of the support structure; Selecting an initial set of points from the point cloud that are within a field of view emanating from the detection position; Selecting an unobscured subset of depth measurements from the initial set of points, the depth measurements in the unobscured subset corresponding to respective image coordinates; Retrieving a confidence level from the mask for each of the depth measurements in the unobscured subset; and Determine the beam structure depth based on the depth measurements in the unobscured subset and the confidence levels obtained.

Verfahren nach Anspruch 1, ferner umfassend: Erhalten einer weiteren Maske, die mit einem weiteren Bild der Trägerstruktur korrespondiert, das aus einer weiteren Erfassungsstellung erfasst wurde; Auswählen eines weiteren Anfangssatzes von Punkten; Auswählen eines weiteren nicht verdeckten Satzes von Tiefenmessungen; Abrufen eines weiteren Vertrauensniveaus für jede der Tiefenmessungen in der weiteren nicht verdeckten Teilmenge.Procedure according to Claim 1 , further comprising: obtaining a further mask which corresponds to a further image of the carrier structure that was acquired from a further acquisition position; Selecting another initial set of points; Selecting another unobscured set of depth measurements; Retrieving another level of confidence for each of the depth measurements in the further unobscured subset.

Verfahren nach Anspruch 2, ferner umfassend: Bestimmen der Trägerstrukturtiefe basierend auf den Tiefenmessungen in der nicht verdeckten Teilmenge, den Tiefenmessungen in der weiteren nicht verdeckten Teilmenge, den Vertrauensniveaus und den weiteren Vertrauensniveaus.Procedure according to Claim 2 , further comprising: determining the support structure depth based on the depth measurements in the non-concealed subset, the depth measurements in the further non-concealed subset, the confidence levels and the further confidence levels.

Verfahren nach Anspruch 1, wobei eine Erfassungsstellung eine Kameraposition und -ausrichtung innerhalb eines gemeinsamen Referenzrahmens definiert.Procedure according to Claim 1 , wherein a detection position defines a camera position and orientation within a common frame of reference.

Verfahren nach Anspruch 1, wobei das Auswählen des Anfangssatzes von Punkten umfasst: Erzeugen einer Baumdatenstruktur, die für jeden Punkt in der Punktwolke eine erste und eine zweite Dimension orthogonal zur Trägerstrukturtiefe umfasst; Bestimmen eines Sichtfeldzentrums in der ersten und zweiten Dimension; und Abrufen des Anfangssatzes von Punkten innerhalb eines vordefinierten Radius des Sichtfeldzentrums aus der Baumdatenstruktur.Procedure according to Claim 1 wherein selecting the initial set of points comprises: generating a tree data structure comprising, for each point in the point cloud, first and second dimensions orthogonal to the beam structure depth; Determining a field of view center in the first and second dimensions; and retrieving the initial set of points within a predefined radius of the field of view center from the tree data structure.

Verfahren nach Anspruch 1, wobei das Auswählen der nicht verdeckten Teilmenge von Tiefenmessungen umfasst: Bestimmen von Bildkoordinaten, die mit jedem des Anfangssatzes von Punkten korrespondieren; Identifizieren von Nachbargruppen der Bildkoordinaten; und Auswählen der Bildkoordinate, die mit der kleinsten Tiefenmessung korrespondiert, für jede Nachbargruppe.Procedure according to Claim 1 wherein selecting the unobscured subset of depth measurements comprises: determining image coordinates corresponding to each of the initial set of points; Identifying neighboring groups of the image coordinates; and selecting the image coordinate corresponding to the smallest depth measurement for each neighboring group.

Verfahren nach Anspruch 1, wobei das Bestimmen der Trägerstrukturtiefe umfasst: Erhalten einer Ebenendefinition, die mit der Vorderseite der Trägerstruktur korrespondiert; Transformieren jeder Tiefenmessung der nicht verdeckten Teilmenge von Tiefenmessungen in eine Tiefe relativ zur Ebenendefinition; Gewichten jeder transformierten Tiefenmessung gemäß den abgerufenen Vertrauensniveaus; und Bestimmen eines Durchschnitts der gewichteten Tiefenmessungen.Procedure according to Claim 1 wherein determining the beam structure depth comprises: obtaining a plane definition corresponding to the front of the beam structure; Transforming each depth measurement of the unobscured subset of depth measurements to a depth relative to the plane definition; Weighting each transformed depth measurement according to the retrieved confidence levels; and averaging the weighted depth measurements.

Verfahren nach Anspruch 1, ferner umfassend: vor dem Bestimmen der Trägerstrukturtiefe, Verwerfen von Tiefenmessungen, für welche die abgerufenen Vertrauensniveaus unterhalb einer minimalen Vertrauensschwelle liegen.Procedure according to Claim 1 , further comprising: before determining the support structure depth, discarding depth measurements for which the retrieved confidence levels are below a minimum confidence threshold.

Verfahren nach Anspruch 1, ferner umfassend: vor dem Bestimmen der Trägerstrukturtiefe, Verwerfen von Tiefenmessungen, die einen maximalen Tiefenschwellwert überschreiten.Procedure according to Claim 1 , further comprising: before determining the support structure depth, discarding depth measurements that exceed a maximum depth threshold value.

Computervorrichtung zum Bestimmen einer Trägerstrukturtiefe einer Trägerstruktur mit einer Vorderseite und einer Rückseite, die durch die Trägerstrukturtiefe getrennt sind, wobei die Computervorrichtung umfasst: einen Speicher, der (i) eine Punktwolke der Trägerstruktur und (ii) eine Maske speichert, die für eine Vielzahl von Abschnitten eines Bildes der Trägerstruktur, das aus einer Erfassungsstellung erfasst wurde, jeweilige Vertrauensniveaus anzeigt, dass die Abschnitte die Rückseite der Trägerstruktur darstellen; eine Bildgebungssteuerung, die mit dem Speicher verbunden ist und so konfiguriert ist, dass sie: aus der Punktwolke einen Anfangssatz von Punkten auswählt, die sich innerhalb eines Sichtfeldes befinden, das von der Erfassungsstellung ausgeht; aus dem Anfangssatz von Punkten eine nicht verdeckte Teilmenge von Tiefenmessungen auswählt, wobei die Tiefenmessungen in der nicht verdeckten Teilmenge mit jeweiligen Bildkoordinaten korrespondieren; ein Vertrauensniveau aus der Maske für jede der Tiefenmessungen in der nicht verdeckten Teilmenge abruft; und basierend auf den Tiefenmessungen in der nicht verdeckten Teilmenge und den abgerufenen Vertrauensniveaus die Trägerstrukturtiefe bestimmt.Computer device for determining a support structure depth of a support structure having a front side and a rear side which are separated by the support structure depth, the computer device comprising: a memory which stores (i) a point cloud of the support structure and (ii) a mask which indicates respective levels of confidence that the sections represent the rear side of the support structure for a plurality of sections of an image of the support structure captured from a detection position; an imaging controller connected to memory and configured to: selecting from the point cloud an initial set of points located within a field of view emanating from the detection position; selects a non-hidden subset of depth measurements from the initial set of points, the depth measurements in the non-hidden subset corresponding to respective image coordinates; retrieve a confidence level from the mask for each of the depth measurements in the unobscured subset; and determines the support structure depth based on the depth measurements in the uncovered subset and the confidence levels retrieved.

Computervorrichtung nach Anspruch 10, wobei die Bildgebungssteuerung ferner so konfiguriert ist, dass sie: eine weitere Maske erhält, die mit einem weiteren Bild der Trägerstruktur korrespondiert, das aus einer weiteren Erfassungsstellung erfasst wurde; einen weiteren Anfangssatz von Punkten auswählt; einen weiteren nicht verdeckten Satz von Tiefenmessungen auswählt; ein weiteres Vertrauensniveau für jede der Tiefenmessungen in der weiteren nicht verdeckten Teilmenge abruft.Computer device after Claim 10 wherein the imaging controller is further configured such that it: receives a further mask which corresponds to a further image of the carrier structure that was acquired from a further acquisition position; select another initial set of points; select another unobscured set of depth measurements; retrieves another level of confidence for each of the depth measurements in the further unobscured subset.

Computervorrichtung nach Anspruch 11, wobei die Bildgebungssteuerung ferner so konfiguriert ist, dass sie: die Trägerstrukturtiefe basierend auf den Tiefenmessungen in der nicht verdeckten Teilmenge, den Tiefenmessungen in der weiteren nicht verdeckten Teilmenge, den Vertrauensniveaus und den weiteren Vertrauensniveaus bestimmt.Computer device after Claim 11 wherein the imaging controller is further configured to: determine the support structure depth based on the depth measurements in the unobscured subset, the depth measurements in the further unobscured subset, the confidence levels, and the further confidence levels.

Computervorrichtung nach Anspruch 10, wobei eine Erfassungsstellung eine Kameraposition und -ausrichtung innerhalb eines gemeinsamen Referenzrahmens definiert.Computer device after Claim 10 , wherein a detection position defines a camera position and orientation within a common frame of reference.

Computervorrichtung nach Anspruch 10, wobei die Bildgebungssteuerung ferner so konfiguriert ist, dass sie den Anfangssatz von Punkten auswählt, um: eine Baumdatenstruktur zu erzeugen, die für jeden Punkt in der Punktwolke eine erste und eine zweite Dimension orthogonal zur Trägerstrukturtiefe umfasst; ein Sichtfeldzentrum in der ersten und zweiten Dimension zu bestimmen, und aus der Baumdatenstruktur den Anfangssatz von Punkten innerhalb eines vordefinierten Radius des Sichtfeldzentrums abzurufen.Computer device after Claim 10 wherein the imaging controller is further configured to select the initial set of points to: generate a tree data structure including, for each point in the point cloud, first and second dimensions orthogonal to the girder structure depth; determine a field of view center in the first and second dimensions and retrieve from the tree data structure the initial set of points within a predefined radius of the center of the field of view.

Computervorrichtung nach Anspruch 10, wobei die Bildgebungssteuerung ferner so konfiguriert ist, dass sie die nicht verdeckte Teilmenge von Tiefenmessungen auswählt, um: Bildkoordinaten zu bestimmen, die mit jedem des Anfangssatzes von Punkten korrespondieren; Nachbargruppen der Bildkoordinaten zu identifizieren; und für jede Nachbargruppe die Bildkoordinate auszuwählen, die mit der kleinsten Tiefenmessung korrespondiert.Computer device after Claim 10 wherein the imaging controller is further configured to select the unobscured subset of depth measurements to: determine image coordinates corresponding to each of the initial set of points; Identify neighboring groups of the image coordinates; and select the image coordinate for each neighboring group that corresponds to the smallest depth measurement.

Computervorrichtung nach Anspruch 10, wobei die Bildgebungssteuerung ferner so konfiguriert ist, dass sie die Trägerstrukturtiefe bestimmt, um: eine Ebenendefinition zu erhalten, die mit der Vorderseite der Trägerstruktur korrespondiert; jede Tiefenmessung der nicht verdeckten Teilmenge von Tiefenmessungen in eine Tiefe relativ zur Ebenendefinition zu transformieren; jede transformierte Tiefenmessung gemäß den abgerufenen Vertrauensniveaus zu gewichten; und einen Durchschnitt der gewichteten Tiefenmessungen zu bestimmen.Computer device after Claim 10 wherein the imaging controller is further configured to determine the support structure depth to: obtain a plane definition corresponding to the front of the support structure; transform each depth measurement of the unobscured subset of depth measurements to a depth relative to the plane definition; weight each transformed depth measurement according to the retrieved confidence levels; and average the weighted depth measurements.

Computervorrichtung nach Anspruch 10, wobei die Bildgebungssteuerung ferner so konfiguriert ist, dass sie: vor dem Bestimmen der Trägerstrukturtiefe Tiefenmessungen verwirft, für welche die abgerufenen Vertrauensniveaus unterhalb einer minimalen Vertrauensschwelle liegen.Computer device after Claim 10 wherein the imaging controller is further configured to: prior to determining the support structure depth, discard depth measurements for which the retrieved confidence levels are below a minimum confidence threshold.

Computervorrichtung nach Anspruch 10, wobei die Bildgebungssteuerung ferner so konfiguriert ist, dass sie: vor dem Bestimmen der Trägerstrukturtiefe Tiefenmessungen verwirft, die einen maximalen Tiefenschwellwert überschreiten.Computer device after Claim 10 wherein the imaging controller is further configured to: prior to determining the support structure depth, discard depth measurements that exceed a maximum depth threshold.

Computerlesbares Medium, auf dem computerausführbare Befehle gespeichert sind, wobei die Befehle umfassen: Erhalten (i) einer Punktwolke der Trägerstruktur, und (ii) einer Maske, die für eine Vielzahl von Abschnitten eines Bildes der Trägerstruktur, das aus einer Erfassungsstellung erfasst wurde, jeweilige Vertrauensniveaus anzeigt, dass die Abschnitte die Rückseite der Trägerstruktur darstellen; Auswählen eines Anfangssatzes von Punkten aus der Punktwolke, die sich innerhalb eines Sichtfeldes befinden, das von der Erfassungsstellung ausgeht; Auswählen einer nicht verdeckten Teilmenge von Tiefenmessungen aus dem Anfangssatz von Punkten, wobei die Tiefenmessungen in der nicht verdeckten Teilmenge mit jeweiligen Bildkoordinaten korrespondieren; Abrufen eines Vertrauensniveaus aus der Maske für jede der Tiefenmessungen in der nicht verdeckten Teilmenge; und Bestimmen der Trägerstrukturtiefe basierend auf den Tiefenmessungen in der nicht verdeckten Teilmenge und den abgerufenen Vertrauensniveaus.Computer-readable medium having stored thereon computer-executable instructions, the instructions comprising: Obtaining (i) a point cloud of the support structure, and (ii) a mask which indicates respective levels of confidence for a plurality of sections of an image of the support structure captured from a detection position that the sections represent the rear side of the support structure; Selecting an initial set of points from the point cloud that are within a field of view emanating from the detection position; Selecting an unobscured subset of depth measurements from the initial set of points, the depth measurements in the unobscured subset corresponding to respective image coordinates; Retrieving a confidence level from the mask for each of the depth measurements in the unobscured subset; and Determine the beam structure depth based on the depth measurements in the unobscured subset and the confidence levels obtained.

Computerlesbares Medium nach Anspruch 19, wobei die Befehle ferner umfassen: Bestimmen der Trägerstrukturtiefe basierend auf den Tiefenmessungen in der nicht verdeckten Teilmenge, den Tiefenmessungen in der weiteren nicht verdeckten Teilmenge, den Vertrauensniveaus und den weiteren Vertrauensniveaus.Computer readable medium according to Claim 19 wherein the instructions further comprise: determining the support structure depth based on the depth measurements in the unobscured subset, the depth measurements in the further unobscured subset, the confidence levels and the further confidence levels.