DE112019004975T5

DE112019004975T5 - Verfahren, system und vorrichtung zur bestimmung einer trägerstrukturtiefe

Info

Publication number: DE112019004975T5
Application number: DE112019004975.5T
Authority: DE
Inventors: Raymond Phan; Yuanhao Yu; Richard Jeffrey RZESZUTEK; Joseph Lam
Original assignee: Zebra Technologies Corp
Current assignee: Zebra Technologies Corp
Priority date: 2018-10-05
Filing date: 2019-09-05
Publication date: 2021-07-08
Also published as: US20200109939A1; WO2020072170A1; JP7141525B2; JP2022512604A; CA3113942A1; CA3113942C; US11506483B2

Abstract

Ein Verfahren zum Bestimmen einer Trägerstrukturtiefe einer Trägerstruktur mit einer Vorderseite und einer Rückseite, die durch die Trägerstrukturtiefe getrennt sind, umfasst: das Erhalten einer Punktwolke der Trägerstruktur und einer Maske, die für eine Vielzahl von Abschnitten eines Bildes der Trägerstruktur, das von einer Erfassungsstellung aus erfasst wurde, jeweilige Vertrauensniveaus anzeigt, dass die Abschnitte die Rückseite der Trägerstruktur darstellen; das Auswählen eines Anfangssatzes von Punkten aus der Punktwolke, die sich innerhalb eines Sichtfeldes befinden, das von der Erfassungsstellung ausgeht; das Auswählen einer nicht verdeckten Teilmenge von Tiefenmessungen aus dem Anfangssatz von Punkten, wobei die Tiefenmessungen in der nicht verdeckten Teilmenge mit jeweiligen Bildkoordinaten korrespondieren; das Abrufen eines Vertrauensniveaus für jede der Tiefenmessungen in der nicht verdeckten Teilmenge aus der Maske; und das Bestimmen der Trägerstrukturtiefe basierend auf den Tiefenmessungen in der nicht verdeckten Teilmenge und den abgerufenen Vertrauensniveaus.

Description

HINTERGRUND
Umgebungen, in denen Bestände von Objekten verwaltet werden, wie z. B. Produkte zum Kauf in einer Einzelhandelsumgebung, können komplex und flüchtig sein. Zum Beispiel kann eine gegebene Umgebung eine Vielzahl von Objekten mit unterschiedlichen Merkmalen (Größe, Form, Preis und dergleichen) enthalten. Außerdem kann sich die Platzierung und Menge der Objekte in der Umgebung häufig ändern. Darüber hinaus können die Bildgebungsbedingungen, wie z. B. die Beleuchtung, sowohl im Laufe der Zeit als auch an verschiedenen Orten in der Umgebung variabel sein. Diese Faktoren können die Genauigkeit verringern, mit der Informationen über die Objekte in der Umgebung erfasst werden können.
Figurenliste
Die beigefügten Figuren, in denen gleiche Bezugszeichen identische oder funktional ähnliche Elemente in den einzelnen Ansichten bezeichnen, sind zusammen mit der nachfolgenden detaillierten Beschreibung in die Offenbarung inkorporiert und bilden einen Bestandteil der Offenbarung und dienen dazu, hierin beschriebene Ausführungsformen von Konzepten, die die beanspruchte Erfindung umfassen, weiter zu veranschaulichen und verschiedene Prinzipien und Vorteile dieser Ausführungsformen zu erklären.

1 ist eine schematische Darstellung eines mobilen Automatisierungssystems.
2A zeigt eine mobile Automatisierungsvorrichtung im System von 1.
2B ist ein Blockdiagramm bestimmter interner Hardwarekomponenten der mobilen Automatisierungsvorrichtung im System von 1.
3 ist ein Flussdiagramm eines Verfahrens zum Bestimmen einer Trägerstrukturtiefe.
4A ist ein Diagramm einer Punktwolke und einer Regalebene, die in Block 305 des Verfahrens von 3 erhalten wird.
4B ist ein Diagramm von Beispielbildern, die von der Vorrichtung des Systems von 1 erfasst und bei Block 310 des Verfahrens von 3 erhalten werden.
5A ist ein Diagramm, das eines der Bilder von 4B detaillierter darstellt.
5B ist ein Diagramm, das eine Beispielrückseite einer Regalmaske zeigt, die mit dem Bild von 5A korrespondiert.
6A ist ein Flussdiagramm eines Verfahrens zur Durchführung von Block 315 des Verfahrens von 3.
6B ist ein Diagramm, das die Durchführung des Verfahrens von 6A in Verbindung mit der Punktwolke von 4A zeigt.
7A ist ein Flussdiagramm eines Verfahrens zur Durchführung von Block 320 des Verfahrens von 3.
7B ist ein Diagramm, das die Durchführung des Verfahrens von 7A in Verbindung mit dem Bild von 5A zeigt.
8A und 8B sind Diagramme, die eine beispielhafte Durchführung von Block 325 des Verfahrens von 3 zeigen.
8C ist ein Diagramm, das ein weiteres Ausführungsbeispiel von Block 325 des Verfahrens von 3 zeigt.
9 ist ein Diagramm, das eine Trägerstrukturtiefe zeigt, die durch die Durchführung des Verfahrens von 3 bestimmt wird.

Fachleute werden erkennen, dass Elemente in den Figuren der Einfachheit und Klarheit halber dargestellt sind und nicht notwendigerweise maßstabsgetreu gezeichnet wurden. Zum Beispiel können die Dimensionen einiger der Elemente in den Figuren relativ zu anderen Elementen übertrieben sein, um das Verständnis von Ausführungsformen der vorliegenden Erfindung zu verbessern.
Die Vorrichtungs- und Verfahrenskomponenten wurden, wo es angemessen ist, durch herkömmliche Symbole in den Zeichnungen dargestellt, die nur jene spezifischen Details zeigen, die zum Verständnis der Ausführungsformen der vorliegenden Erfindung relevant sind, um somit die Offenbarung nicht mit Einzelheiten zu verdecken, die für die Fachleute auf dem Gebiet, die auf die vorliegende Beschreibung zurückgreifen, ohne weiteres ersichtlich sind.
DETAILLIERTE BESCHREIBUNG
Die hierin offenbarten Beispiele beziehen sich auf ein Verfahren zum Bestimmen einer Trägerstrukturtiefe einer Trägerstruktur mit einer Vorderseite und einer Rückseite, die durch die Trägerstrukturtiefe getrennt sind, wobei das Verfahren umfasst: Erhalten (i) einer Punktwolke der Trägerstruktur und (ii) einer Maske, die für eine Vielzahl von Abschnitten eines Bildes der Trägerstruktur, das von einer Erfassungsstellung aus erfasst wurde, jeweilige Vertrauensniveaus anzeigt, dass die Abschnitte die Rückseite der Trägerstruktur darstellen; Auswählen eines Anfangssatzes von Punkten aus der Punktwolke, die sich innerhalb eines Sichtfeldes befinden, das von der Erfassungsstellung ausgeht; Auswählen einer nicht verdeckten Teilmenge von Tiefenmessungen aus dem Anfangssatz von Punkten, wobei die Tiefenmessungen in der nicht verdeckten Teilmenge mit jeweiligen Bildkoordinaten korrespondiert; Abrufen eines Vertrauensniveaus für jede der Tiefenmessungen in der nicht verdeckten Teilmenge aus der Maske; und Bestimmen der Trägerstrukturtiefe basierend auf den Tiefenmessungen in der nicht verdeckten Teilmenge und den abgerufenen Vertrauensniveaus.
Weitere hierin offenbarte Beispiele sind auf eine Computervorrichtung zum Bestimmen einer Trägerstrukturtiefe einer Trägerstruktur mit einer Vorderseite und einer Rückseite, die durch die Trägerstrukturtiefe getrennt sind, gerichtet, wobei die Computervorrichtung umfasst: einen Speicher, der (i) eine Punktwolke der Trägerstruktur und (ii) eine Maske speichert, die für eine Vielzahl von Abschnitten eines Bildes der Trägerstruktur, das aus einer Erfassungsstellung erfasst wurde, jeweilige Vertrauensniveaus anzeigt, dass die Abschnitte die Rückseite der Trägerstruktur darstellen; eine Bildgebungssteuerung, die mit dem Speicher verbunden ist und konfiguriert ist, um: aus der Punktwolke einen Anfangssatz von Punkten auszuwählen, die sich innerhalb eines Sichtfeldes befinden, das von der Erfassungsstellung ausgeht; aus dem Anfangssatz von Punkten eine nicht verdeckte Teilmenge von Tiefenmessungen auszuwählen, wobei die Tiefenmessungen in der nicht verdeckten Teilmenge mit jeweiligen Bildkoordinaten korrespondiert; aus der Maske ein Vertrauensniveau für jede der Tiefenmessungen in der nicht verdeckten Teilmenge abzurufen; und basierend auf den Tiefenmessungen in der nicht verdeckten Teilmenge und den abgerufenen Vertrauensniveaus die Trägerstrukturtiefe zu bestimmen.
Weitere hier offenbarte Beispiele sind auf ein computerlesbares Medium gerichtet, das computerlesbare Befehle speichert, die von einem Prozessor eines Servers ausgeführt werden können, wobei die Ausführung der computerlesbaren Befehle den Server veranlasst zum: Erhalten (i) einer Punktwolke der Trägerstruktur und (ii) einer Maske, die für eine Vielzahl von Abschnitten eines Bildes der Trägerstruktur, das von einer Erfassungsstellung aus erfasst wurde, jeweilige Vertrauensniveaus anzeigt, dass die Abschnitte die Rückseite der Trägerstruktur darstellen; Auswählen eines Anfangssatzes von Punkten aus der Punktwolke, die sich innerhalb eines Sichtfeldes befinden, das von der Erfassungsstellung ausgeht; Auswählen einer nicht verdeckten Teilmenge von Tiefenmessungen aus dem Anfangssatz von Punkten, wobei die Tiefenmessungen in der nicht verdeckten Teilmenge mit jeweiligen Bildkoordinaten korrespondieren; Abrufen eines Vertrauensniveaus für jede der Tiefenmessungen in der nicht verdeckten Teilmenge aus der Maske; und Bestimmen der Trägerstrukturtiefe basierend auf den Tiefenmessungen in der nicht verdeckten Teilmenge und den abgerufenen Vertrauensniveaus.
1 zeigt ein mobiles Automatisierungssystem 100 gemäß den Lehren dieser Offenbarung. Das System 100 ist so dargestellt, dass es in einer Einzelhandelsumgebung eingesetzt wird, kann aber in anderen Ausführungsformen in einer Vielzahl anderer Umgebungen eingesetzt werden, einschließlich Lagerhäusern, Krankenhäusern und dergleichen. Das System 100 umfasst einen Server 101, der mit mindestens einer mobilen Automatisierungsvorrichtung 103 (hier auch einfach als Vorrichtung 103 bezeichnet) und mindestens einer Client-Computervorrichtung 105 über Kommunikationsverbindungen 107 kommuniziert, die im vorliegenden Beispiel drahtlose Verbindungen umfassen. Im vorliegenden Beispiel werden die Verbindungen 107 durch ein drahtloses lokales Netzwerk (WLAN) bereitgestellt, das innerhalb der Einzelhandelsumgebung durch einen oder mehrere Zugangspunkte (nicht dargestellt) bereitgestellt wird. In anderen Beispielen befinden sich der Server 101, die Client-Vorrichtung 105 oder beide außerhalb der Einzelhandelsumgebung, und die Verbindungen 107 umfassen daher Weitbereichsnetzwerke wie das Internet, mobile Netzwerke und dergleichen. Das System 100 umfasst im vorliegenden Beispiel auch ein Dock 108 für die Vorrichtung 103. Das Dock 108 steht mit dem Server 101 über eine Verbindung 109 in Kommunikation, die im vorliegenden Beispiel eine kabelgebundene Verbindung ist. In anderen Beispielen ist die Verbindung 109 jedoch eine drahtlose Verbindung.
Die Client-Computervorrichtung 105 ist in 1 als eine mobile Computervorrichtung dargestellt, wie z. B. ein Tablet, Smartphone oder dergleichen. In anderen Beispielen ist die Client-Vorrichtung 105 als eine andere Art von Computervorrichtung implementiert, wie z. B. ein Desktop-Computer, ein Laptop-Computer, ein anderer Server, ein Kiosk, ein Monitor und dergleichen. Das System 100 kann eine Vielzahl von Client-Vorrichtungen 105 umfassen, die über entsprechende Verbindungen 107 mit dem Server 101 kommunizieren.
Das System 100 wird im gezeigten Beispiel in einer Einzelhandelsumgebung eingesetzt, die eine Vielzahl von Trägerstrukturen wie Regalmodule 110-1, 110-2, 110-3 usw. umfasst (gemeinsam als Regale 110 bezeichnet und allgemein als ein Regal 110 bezeichnet - diese Nomenklatur wird auch für andere hier diskutierte Elemente verwendet). In anderen Beispielen können auch zusätzliche Arten von Trägerstrukturen vorhanden sein, wie z. B. Stecktafeln. Jedes Regalmodul 110 trägt eine Vielzahl von Produkten 112. Jedes Regalmodul 110 umfasst eine Regalrückseite 116-1, 116-2, 116-3 und eine Trägerfläche (z. B. Trägerfläche 117-3 wie in 1 dargestellt), die sich von der Regalrückseite 116 zu einer Regalkante 118-1, 118-2, 118-3 erstreckt.
Die Regalmodule 110 sind typischerweise in einer Vielzahl von Gängen angeordnet, von denen jeder eine Vielzahl von Modulen 110 enthält, die Ende an Ende ausgerichtet sind. In solchen Anordnungen weisen die Regalkanten 118 in die Gänge, durch die sich Kunden in der Einzelhandelsumgebung sowie die Vorrichtung 103 bewegen können. Wie aus 1 ersichtlich ist, bezieht sich der hier verwendete Begriff „Regalkante“ 118, der auch als Kante einer Trägerfläche (z. B. der Trägerflächen 117) bezeichnet werden kann, auf eine Fläche, die von benachbarten Flächen mit unterschiedlichen Neigungswinkeln begrenzt wird. In dem in 1 dargestellten Beispiel steht die Regalkante 118-3 in einem Winkel von etwa neunzig Grad relativ zu jeder der Trägerflächen 117-3 und der Unterseite (nicht dargestellt) der Trägerfläche 117-3. In anderen Beispielen betragen die Winkel zwischen der Regalkante 118-3 und den angrenzenden Flächen, wie z. B. der Trägerfläche 117-3, mehr oder weniger als neunzig Grad. Die Regalkanten 118 definieren eine Vorderseite der Regale 110, die von den Regalrückseiten 116 durch eine Regaltiefe getrennt ist. Ein gemeinsamer Referenzrahmen 102 ist in 1 dargestellt. Im vorliegenden Beispiel ist die Regaltiefe in der Y-Dimension des Referenzrahmens 102 definiert, während die Regalrückseiten 116 und die Regalkanten 118 parallel zur XZ-Ebene dargestellt sind.
Die Vorrichtung 103 wird in der Einzelhandelsumgebung eingesetzt und kommuniziert mit dem Server 101 (z. B. über die Verbindung 107), um autonom oder teilautonom entlang einer Länge 119 (in 1 als parallel zur X-Achse des Referenzrahmens 102 dargestellt) von mindestens einem Teil der Regale 110 zu navigieren. Die Vorrichtung 103, autonom oder in Verbindung mit dem Server 101, ist so konfiguriert, dass sie kontinuierlich ihre Position innerhalb der Umgebung bestimmt, beispielsweise in Bezug auf eine Karte der Umgebung. Die Vorrichtung 103 kann auch so konfiguriert sein, dass sie die Karte aktualisiert (z. B. über einen Prozess der simultanen Kartierung und Lokalisierung, oder SLAM).
Die Vorrichtung 103 ist mit einer Vielzahl von Navigations- und Datenerfassungssensoren 104 ausgestattet, wie z. B. Bildsensoren (z. B. eine oder mehrere Digitalkameras) und Tiefensensoren (z. B. ein oder mehrere LIDAR (Light Detection and Ranging) -Sensoren, eine oder mehrere Tiefenkameras, die strukturierte Lichtmuster verwenden, wie z. B. Infrarotlicht, oder dergleichen). Die Vorrichtung 103 kann so konfiguriert werden, dass sie die Sensoren 104 einsetzt, um sowohl zwischen den Regalen 110 zu navigieren (z. B. gemäß den oben erwähnten Pfaden) als auch um Regaldaten, wie Punktwolken und Bilddaten, während einer solchen Navigation zu erfassen.
Der Server 101 enthält eine spezielle Bildverarbeitungssteuerung, wie z. B. einen Prozessor 120, der speziell dafür ausgelegt ist, die mobile Automatisierungsvorrichtung 103 zu steuern und/oder zu unterstützen, um in der Umgebung zu navigieren und Daten zu erfassen. Der Prozessor 120 kann ferner so konfiguriert sein, dass er die erfassten Daten über eine Kommunikationsschnittstelle 124 abruft, um sie in einem Speicher 132 zu speichern und anschließend zu verarbeiten (z. B. um in den erfassten Daten Objekte wie Regalprodukte zu erkennen und mit den Objekten korrespondierende Statusinformationen zu ermitteln). Der Server 101 kann auch so konfiguriert sein, dass er Statusmeldungen (z. B. Meldungen, die anzeigen, dass Produkte nicht vorrätig sind, einen niedrigen Lagerbestand haben oder verlegt wurden) an die Client-Vorrichtung 105 als Reaktion auf die Ermittlung von Produktstatusdaten sendet. Die Client-Vorrichtung 105 enthält eine oder mehrere Steuerungen (z. B. zentrale Prozessoreinheiten (CPUs) und/oder feldprogrammierbare Gate-Arrays (FPGAs) und dergleichen), die so konfiguriert sind, dass sie die vom Server 101 empfangenen Meldungen verarbeiten (z. B. anzeigen).
Der Prozessor 120 ist mit einem nicht flüchtigen, computerlesbaren Speichermedium, wie dem oben erwähnten Speicher 122, verbunden, auf dem computerlesbare Befehle zur Durchführung verschiedener Funktionen gespeichert sind, einschließlich der Steuerung der Vorrichtung 103 zur Erfassung von Regaldaten, der Nachbearbeitung der Regaldaten und der Erzeugung und Bereitstellung bestimmter Navigationsdaten für die Vorrichtung 103, wie z. B. Zielorte, an denen Regaldaten erfasst werden sollen. Der Speicher 122 umfasst eine Kombination aus flüchtigem (z. B. Random Access Memory oder RAM) und nichtflüchtigem Speicher (z. B. Read Only Memory oder ROM, Electrically Erasable Programmable Read Only Memory oder EEPROM, Flash-Speicher). Der Prozessor 120 und der Speicher 122 umfassen jeweils eine oder mehrere integrierte Schaltungen. In einigen Ausführungsformen ist der Prozessor 120 als eine oder mehrere zentrale Prozessoreinheiten (CPUs) und/oder Grafikverarbeitungseinheiten (GPUs) implementiert.
Der Server 101 enthält auch die oben erwähnte Kommunikationsschnittstelle 124, die mit dem Prozessor 120 verbunden ist. Die Kommunikationsschnittstelle 124 umfasst geeignete Hardware (z. B. Sender, Empfänger, Netzwerkschnittstellen-Steuerungen und dergleichen), die es dem Server 101 ermöglicht, über die Verbindungen 107 und 109 mit anderen Computervorrichtungen - insbesondere der Vorrichtung 103, der Client-Vorrichtung 105 und dem Dock 108 - zu kommunizieren. Bei den Verbindungen 107 und 109 kann es sich um direkte Verbindungen oder um Verbindungen handeln, die ein oder mehrere Netzwerke durchqueren, darunter sowohl lokale als auch Weitbereichsnetzwerke. Die spezifischen Komponenten der Kommunikationsschnittstelle 124 werden je nach Art des Netzwerks oder anderer Verbindungen ausgewählt, über die der Server 101 kommunizieren soll. Im vorliegenden Beispiel wird, wie bereits erwähnt, ein drahtloses lokales Netzwerk in der Einzelhandelsumgebung durch den Einsatz von einem oder mehreren drahtlosen Zugangspunkten implementiert. Die Verbindungen 107 umfassen daher entweder oder sowohl drahtlose Verbindungen zwischen der Vorrichtung 103 und der mobilen Vorrichtung 105 und den oben erwähnten Zugangspunkten als auch eine kabelgebundene Verbindung (z. B. eine Ethernet-basierte Verbindung) zwischen dem Server 101 und dem Zugangspunkt.
Der Speicher 122 speichert eine Vielzahl von Anwendungen, die jeweils eine Vielzahl von computerlesbaren Befehlen enthalten, die vom Prozessor 120 ausgeführt werden können. Die Ausführung der oben erwähnten Befehle durch den Prozessor 120 konfiguriert den Server 101, um verschiedene hierin besprochene Aktionen durchzuführen. Die im Speicher 122 gespeicherten Befehle umfassen eine Steuerungsanwendung 128, die auch als eine Folge von logisch unterschiedlichen Anwendungen implementiert sein kann. Im Allgemeinen ist der Prozessor 120 so konfiguriert, dass er über die Ausführung der Anwendung 128 oder von Teilkomponenten davon und in Verbindung mit den anderen Komponenten des Servers 101 verschiedene Funktionen implementiert, die sich auf die Steuerung der Vorrichtung 103 beziehen, um zwischen den Regalen 110 zu navigieren und Daten zu erfassen, sowie um die erfassten Daten zu erhalten und verschiedene Nachbearbeitungsvorgänge an den erfassten Daten durchzuführen. Im vorliegenden Beispiel, auf das weiter unten näher eingegangen wird, wird der Server 101 durch die Ausführung der Anwendung 128 so konfiguriert, dass er auf der Grundlage der erfassten Daten (z. B. von der Vorrichtung 103), einschließlich der Punktwolken- und Bilddaten, die die Regale 110 repräsentieren, eine Regaltiefe für ein oder mehrere Regale 110 bestimmt.
Der Prozessor 120, wie er über die Ausführung der Steuerungsanwendung 128 konfiguriert ist, wird hier auch als Steuerung 120 bezeichnet. Wie nun ersichtlich wird, kann ein Teil oder die gesamte Funktionalität, die durch die unten beschriebene Steuerung 120 implementiert wird, auch durch vorkonfigurierte Spezialhardware-Steuerungen (z. B. eine oder mehrere Logikschaltungsanordnungen, die speziell zur Optimierung der Geschwindigkeit der Bildverarbeitung konfiguriert sind, z. B. über FPGAs und/oder anwendungsspezifische integrierte Schaltungen (ASICs), die für diesen Zweck konfiguriert sind) anstatt durch die Ausführung der Steuerungsanwendung 128 durch den Prozessor 120 ausgeführt werden.
In den 2A und 2B ist die mobile Automatisierungsvorrichtung 103 detaillierter dargestellt. Die Vorrichtung 103 umfasst ein Gestell 201, das einen Antriebsmechanismus 203 enthält (z. B. einen oder mehrere Elektromotoren, die Räder, Schienen oder dergleichen antreiben). Die Vorrichtung 103 umfasst ferner einen Sensormast 205, der auf dem Gestell 201 abgestützt ist und sich im vorliegenden Beispiel vom Gestell 201 nach oben (z. B. im Wesentlichen vertikal) erstreckt. Der Mast 205 trägt die zuvor erwähnten Sensoren 104. Die Sensoren 104 umfassen insbesondere mindestens einen Bildsensor 207, wie z. B. eine Digitalkamera, sowie mindestens einen Tiefensensor 209, wie z. B. eine 3D-Digitalkamera. Die Vorrichtung 103 umfasst auch zusätzliche Tiefensensoren, wie z. B. LIDAR-Sensoren 211. In anderen Beispielen umfasst die Vorrichtung 103 zusätzliche Sensoren, wie z. B. eine oder mehrere RFID-Lesevorrichtungen, Temperatursensoren und dergleichen.
Im vorliegenden Beispiel trägt der Mast 205 sieben Digitalkameras 207-1 bis 207-7 und zwei LIDAR-Sensoren 211-1 und 211-2. Der Mast 205 trägt auch eine Vielzahl von Beleuchtungsbaugruppen 213, die so konfiguriert sind, dass sie die Sichtfelder der jeweiligen Kameras 207 beleuchten. Das heißt, die Beleuchtungsbaugruppe 213-1 leuchtet das Sichtfeld der Kamera 207-1 aus, und so weiter. Die Sensoren 207 und 211 sind am Mast 205 so ausgerichtet, dass die Sichtfelder jedes Sensors einem Regal 110 zugewandt sind, entlang dessen Länge 119 sich die Vorrichtung 103 bewegt. Die Vorrichtung 103 ist so konfiguriert, dass sie einen Standort der Vorrichtung 103 (z. B. ein Standort des Mittelpunkts des Gestells 201) in dem gemeinsamen Referenzrahmen 102 verfolgt, der zuvor in der Einzelhandelseinrichtung eingerichtet wurde, so dass die von der mobilen Automatisierungsvorrichtung 103 erfassten Daten in dem gemeinsamen Referenzrahmen registriert werden können.
Die mobile Automatisierungsvorrichtung 103 umfasst eine Spezialsteuerung, wie z. B. einen Prozessor 220, wie in 2B gezeigt, die mit einem nichttransitorischen, computerlesbaren Speichermedium, wie z. B. einem Speicher 222, verbunden ist. Der Speicher 222 umfasst eine Kombination aus flüchtigem (z. B. Random Access Memory oder RAM) und nichtflüchtigem Speicher (z. B. Read Only Memory oder ROM, Electrically Erasable Programmable Read Only Memory oder EEPROM, Flash-Speicher). Der Prozessor 220 und der Speicher 222 umfassen jeweils eine oder mehrere integrierte Schaltungen. Der Speicher 222 speichert computerlesbare Befehle zur Ausführung durch den Prozessor 220. Insbesondere speichert der Speicher 222 eine Steuerungsanwendung 228, die, wenn sie vom Prozessor 220 ausgeführt wird, den Prozessor 220 so konfiguriert, dass er verschiedene Funktionen im Zusammenhang mit der Navigation der Vorrichtung 103 und der Erfassung von Daten für die nachfolgende Verarbeitung, z. B. durch den Server 101, ausführt. In einigen Ausführungsformen kann eine solche Nachverarbeitung durch die Vorrichtung 103 selbst über die Ausführung der Anwendung 228 durchgeführt werden. In anderen Beispielen kann die Anwendung 228 auch als eine Reihe verschiedener Anwendungen implementiert sein.
Der Prozessor 220 kann, wenn er durch die Ausführung der Anwendung 228 so konfiguriert ist, auch als Bildgebungssteuerung 220 bezeichnet werden. Fachleute werden erkennen, dass die vom Prozessor 220 über die Ausführung der Anwendung 228 implementierte Funktionalität auch durch eine oder mehrere speziell entwickelte Hardware- und Firmware-Komponenten implementiert werden kann, einschließlich logischer Schaltungskonfigurationen, die für die Verarbeitung von Bild- und/oder Tiefensensordaten optimiert sind, wie z. B. über speziell konfigurierte FPGAs, ASICs und dergleichen in anderen Ausführungsformen.
Der Speicher 222 kann auch ein Archiv 232 speichern, das z. B. eine oder mehrere Karten enthält, die die Umgebung repräsentieren, in der die Vorrichtung 103 arbeitet, zur Verwendung während der Ausführung der Anwendung 228. Die Vorrichtung 103 kann mit dem Server 101 über eine Kommunikationsschnittstelle 224 über die in 1 gezeigte Verbindung 107 kommunizieren, um beispielsweise Anweisungen zur Navigation zu bestimmten Standorten zu erhalten und Datenerfassungsvorgänge einzuleiten. Die Kommunikationsschnittstelle 224 ermöglicht es der Vorrichtung 103 auch, mit dem Server 101 über das Dock 108 und die Verbindung 109 zu kommunizieren.
Wie in der nachfolgenden Diskussion deutlich wird, können in anderen Beispielen einige oder alle der vom Server 101 durchgeführten Verarbeitungen von der Vorrichtung 103 durchgeführt werden, und einige oder alle der von der Vorrichtung 103 durchgeführten Verarbeitungen können vom Server 101 durchgeführt werden. Das heißt, obwohl sich im dargestellten Beispiel die Anwendung 128 im Server 101 befindet, können in anderen Ausführungsformen einige oder alle der unten beschriebenen Aktionen zur Bestimmung der Regaltiefe der Regale 110 aus erfassten Daten vom Prozessor 220 der Vorrichtung 103 durchgeführt werden, entweder in Verbindung mit oder unabhängig vom Prozessor 120 des Servers 101. Wie Fachleute erkennen werden, kann die Verteilung solcher Berechnungen zwischen dem Server 101 und der mobilen Automatisierungsvorrichtung 103 von den jeweiligen Verarbeitungsgeschwindigkeiten der Prozessoren 120 und 220, der Qualität und Bandbreite der Verbindung 107 sowie dem Kritikalitätsgrad der zugrunde liegenden Anweisung(en) abhängen.
Die Funktionalität der Anwendung 128 wird nun näher beschrieben. Insbesondere wird die oben erwähnte Bestimmung der Trägerstrukturtiefe beschrieben, wie sie vom Server 101 durchgeführt wird. In 3 ist ein Verfahren 300 zur Bestimmung der Trägerstrukturtiefe dargestellt. Das Verfahren 300 wird im Zusammenhang mit seiner Durchführung durch den Server 101 unter Bezugnahme auf die in 1 dargestellten Komponenten beschrieben.
In Block 305 ist der Server 101 so konfiguriert, dass er eine Punktwolke der Trägerstruktur sowie eine Ebenendefinition erhält, die mit der Vorderseite der Trägerstruktur korrespondiert. Im vorliegenden Beispiel, in dem die Trägerstrukturen Regale wie die in 1 gezeigten Regale 110 sind, stellt die in Block 305 erhaltene Punktwolke daher zumindest einen Teil eines Regalmoduls 110 dar (und kann eine Vielzahl von Regalmodulen 110 darstellen), und die Ebenendefinition korrespondiert mit einer Regal ebene, die mit der Vorderseite der Regalmodule 110 korrespondiert. Mit anderen Worten definiert die Ebenendefinition eine Ebene, die die Regalkanten 118 enthält.
Die in Block 305 erhaltene Punktwolke und Ebenendefinition kann aus dem Archiv 132 abgerufen werden. Beispielsweise kann der Server 101 zuvor erfasste Daten von der Vorrichtung 103 empfangen haben, einschließlich einer Vielzahl von Lidar-Abtastungen der Regalmodule 110, und eine Punktwolke aus den Lidar-Abtastungen erzeugt haben. Jeder Punkt in der Punktwolke repräsentiert einen Punkt auf einer Oberfläche der Regale 110, Produkte 112 und dergleichen (z. B. einen Punkt, den die Abtastlinie eines Lidarsensors 211 getroffen hat) und ist durch einen Satz von Koordinaten (X, Y und Z) im Referenzrahmen 102 definiert. Die Ebenendefinition kann auch vorher vom Server 101 erzeugt und im Archiv 132 gespeichert werden, z. B. aus der oben erwähnten Punktwolke. Der Server 101 kann beispielsweise so konfiguriert sein, dass er die Punktwolke, die Lidar-Rohdaten, die von den Kameras 207 erfassten Bilddaten oder eine Kombination davon verarbeitet, um die Regalkanten 118 gemäß den vordefinierten Eigenschaften der Regalkanten 118 zu identifizieren. Beispiele für solche Eigenschaften sind, dass die Regalkanten 118 wahrscheinlich im Wesentlichen planar sind und auch wahrscheinlich näher an der Vorrichtung 103 sind als andere Objekte (wie die Regalrückseiten 116 und Produkte 112), wenn die Vorrichtung 103 die Länge 119 eines Regalmoduls 110 abfährt. Die Ebenendefinition kann in einer Vielzahl von geeigneten Formaten erhalten werden, wie z. B. einem geeigneten Satz von Parametern, die die Ebene definieren. Ein Beispiel für solche Parameter sind ein Normalenvektor (d. h. ein Vektor, der gemäß dem Referenzrahmen 102 definiert ist und der senkrecht zur Ebene steht) und eine Tiefe (die den Abstand entlang des Normalenvektors vom Ursprung des Referenzrahmens 102 zur Ebene angibt).
Bezugnehmend auf 4A ist eine Punktwolke 400 dargestellt, die das Regalmodul 110-3 zeigt. Die Regalrückseite 116-3 sowie das Regal 117-3 und die Regalkante 118-3 sind daher in der Punktwolke 400 dargestellt. Ebenfalls in 4A dargestellt ist eine Ebenendefinition 404, die mit der Vorderseite des Regalmoduls 110-3 korrespondiert (d.h. die Ebenendefinition 404 enthält die Regalkanten 118-3). Die Punktwolke 400 und die Ebenendefinition 404 müssen nicht in der in 4A gezeigten grafischen Form vorliegen. Wie Fachleute erkennen werden, kann die Punktwolke als eine Liste von Koordinaten und die Ebenendefinition 404 als die oben erwähnten Parameter erhalten werden.
Zurück zu 3 ist in Block 310 der Server 101 so konfiguriert, dass er mindestens ein Bild der Trägerstruktur erhält, wie es (z. B. von der Vorrichtung 103) von einer Erfassungsstellung aus erfasst wurde. Die Erfassungsstellung ist eine Position und Ausrichtung der Erfassungsvorrichtung, wie z. B. einer Kamera 207, innerhalb des Referenzrahmens. Die Vorrichtung 103 ist, wie oben erwähnt, so konfiguriert, dass sie ein oder mehrere Regalmodule 110 durchfährt und Bilder der Regalmodule 110 erfasst. Wie nun ersichtlich wird, erfolgt jede Bilderfassung bei einer bestimmten Position und Ausrichtung der Vorrichtung 103. Darüber hinaus umfasst die Vorrichtung 103 eine Vielzahl von Kameras 207, wie in 2A gezeigt, die jeweils eine vordefinierte physische Position und Ausrichtung auf der Vorrichtung 103 haben. Somit kann bei jeder Stellung (d. h. Position und Ausrichtung) der Vorrichtung 103 eine Vielzahl von Bildern erfasst werden, eines für jede Kamera 207. Jedes Bild entspricht somit einer bestimmten Erfassungsstellung, d. h. der physischen Position der Kamera 207 gemäß dem Referenzrahmen 102.
4B veranschaulicht die Erfassung von zwei Beispielbildern 408-1, 408-2 durch die Vorrichtung 103, während die Vorrichtung 103 das Regalmodul 110-3 in einer Bewegungsrichtung 406 durchfährt. Insbesondere steuert die Vorrichtung 103 in einer ersten Vorrichtungsstellung 412-1 die Kamera 207-1, um das erste Bild 408-1 zu erfassen. Die Position und Orientierung der Kamera 207-1 zum Zeitpunkt der Erfassung des ersten Bildes 408-1 korrespondiert somit mit einer ersten Erfassungsstellung. Später während der Vorbeifahrbewegung am Regalmodul 110-3, in einer zweiten Vorrichtungsstellung 412-2, steuert die Vorrichtung 103 die Kamera 207-1 zur Erfassung des zweiten Bildes 408-2. Wie nun ersichtlich wird, korrespondiert das zweite Bild 408-2 mit einer zweiten Erfassungsstellung, die durch die Vorrichtungsstellung 412-2 und die physische Ausrichtung der Kamera 207-1 relativ zur Vorrichtung 103 definiert ist. Jede der anderen Kameras 207 kann auch so gesteuert werden, dass sie Bilder in jeder Vorrichtungsstellung 412 erfasst. Die Bilder, die von diesen anderen Kameras 207 erfasst werden, korrespondieren mit noch mehr Erfassungspositionen.
Zurück zu 3 ist in Block 310 der Server 101 auch so konfiguriert, dass er, z. B. durch Abruf aus dem Archiv 132, eine Maske erhält, die auch als BoS (Back of Shelf (Rückseite des Regals)) -Maske oder BoS-Karte bezeichnet wird. Die Maske korrespondiert mit dem mindestens einen oben erwähnten Bild. Das heißt, für jedes Bild, das in Block 310 abgerufen wird, kann auch eine korrespondierende Maske abgerufen werden. Die Maske wird aus dem korrespondierenden Bild abgeleitet und zeigt für jeden einer Vielzahl von Abschnitten des Bildes ein Vertrauensniveau an, dass der Abschnitt die Regalrückseite 116 darstellt. Die Abschnitte können einzelne Pixel sein, wenn die Maske die gleiche Auflösung wie das Bild hat. In anderen Beispielen hat die Maske eine geringere Auflösung als das Bild, und jedes Vertrauensniveau in der Maske korrespondiert daher mit einem Abschnitt des Bildes, der mehrere Pixel enthält.
5A veranschaulicht das in 4A gezeigte Bild 408-1. Wie in 5A gezeigt, stellt ein Abschnitt 500 des Bildes 408-1 die Regalrückseite 116-3 dar. Die Abschnitte 504-1, 504-2 und 504-3 zeigen die Produkte 112, und ein Abschnitt 508 zeigt die Regalkante 118-3. 5B zeigt eine aus dem Bild 408-1 abgeleitete Maske 512. Zur Erzeugung der Maske können verschiedene Mechanismen verwendet werden. Beispielsweise kann das Bild 408-1 in Felder einer vordefinierten Größe (z. B. 5 × 5 Pixel) zerlegt werden, und jedes Feld kann durch eine geeignete Klassifizierungsoperation klassifiziert werden, um ein Vertrauensniveau zu erzeugen, das einen Grad anzeigt, mit dem das Feld mit einem Referenzbild der Regalrückseite 116-3 übereinstimmt. Die Maske 512 kann dann durch Kombination der jedem Feld zugewiesenen Vertrauensniveaus konstruiert werden.
In 5B sind die Vertrauensniveaus der Maske 512 in Graustufen dargestellt. Dunklere Bereiche der Maske 512 zeigen ein geringeres Vertrauen an, dass der korrespondierende Abschnitt des Bildes 408-1 die Regalrückseite 116-3 darstellt (oder, mit anderen Worten, ein höheres Vertrauen, dass der korrespondierende Abschnitt des Bildes 408-1 die Regalrückseite 116-3 nicht darstellt) und hellere Bereiche der Maske 512 zeigen ein höheres Vertrauen an, dass der korrespondierende Abschnitt des Bildes 408-1 die Regalrückseite 116-3 darstellt. Zum Beispiel zeigt ein Bereich 516 ein Vertrauensniveau von Null an, dass der Abschnitt 508 des Bildes 408-1 die Regalrückseite 116-3 darstellt. Ein anderer Bereich 520 der Maske 512 zeigt ein maximales Vertrauensniveau (z. B. 100 %) an, dass der korrespondierende Abschnitt des Bildes 408-1 die Regalrückseite 116-3 darstellt. Andere Bereiche der Maske 512 zeigen mittlere Vertrauensniveaus an. Beispielsweise zeigt ein Bereich 524 ein Vertrauensniveau von etwa 50 % an, da das Muster auf dem Produkt 112, das im Abschnitt 504-3 des Bildes 408-1 dargestellt ist, der Regalrückseite 116-3 ähnelt. Der Bereich 528 der Maske 512 zeigt dagegen ein Vertrauensniveau von ca. 30 % an.
Über das in 5B gezeigte Graustufenbild hinaus sind verschiedene andere Mechanismen zum Speichern der Vertrauensniveaus der Maske 512 denkbar. Beispielsweise können die Vertrauensniveaus in einer Liste gespeichert werden, mit zugehörigen Sätzen von Bildkoordinaten, die anzeigen, welcher Abschnitt des Bildes 408-1 mit dem jeweiligen Vertrauensniveau korrespondiert.
Nachdem die Punktwolke, die Ebenendefinition, das/die Bild(er) und die Maske(n) in den Blöcken 305 und 310 erhalten wurden, ist der Server 101 dann so konfiguriert, dass er eine Teilmenge der Punkte in der Punktwolke identifiziert, für die korrespondierende Vertrauensniveaus in der Maske 512 existieren. Das heißt, der Server 101 identifiziert Punkte in der Punktwolke, die zum Zeitpunkt der Erfassung des Bildes für die Kamera 207 sichtbar waren. Der Server 101 ist dann so konfiguriert, dass er die Tiefen solcher Punkte relativ zur Regalebene in Verbindung mit den korrespondierenden Vertrauensniveaus aus der Maske 512 verwendet, um eine Tiefe der Regalrückseite 116 relativ zur Regalebene zu bestimmen. Die obige Funktionalität wird weiter unten ausführlicher erläutert.
Zurück zu 3 ist in Block 315 der Server 101 so konfiguriert, dass er einen Anfangssatz von Punkten aus der Punktwolke auswählt, die in ein Sichtfeld fallen, das durch die oben erwähnte Erfassungsstellung festgelegt wurde. In 4B ist das Sichtfeld der Kamera 207-2 in jeder Erfassungsstellung 412 in gestrichelten Linien dargestellt. Die Erfassungsstellung wird gemäß dem Referenzrahmen 102 definiert, und gemäß den vordefinierten Betriebsparametern (z. B. Brennweite) der Kamera 207 können auch die Position und das Ausmaß des Sichtfelds innerhalb des Referenzrahmens 102 definiert werden.
Der Server 101 kann so konfiguriert sein, dass er in Block 315 jeden Punkt der Punktwolke bewertet, um zu bestimmen, ob der Punkt in das Sichtfeld fällt, das mit dem in Block 310 erhaltenen Bild korrespondiert. Beispielsweise kann der Server 101 so konfiguriert sein, dass er das Sichtfeld als ein Volumen innerhalb des Referenzrahmens 102 definiert und bestimmt, ob jeder Punkt der Punktwolke in das definierte Volumen fällt. Punkte, die in das definierte Volumen fallen, werden für den Anfangssatz ausgewählt. In einigen Beispielen ist der Server 101 jedoch so konfiguriert, dass er eine baumbasierte Suche durchführt, um den Anfangssatz von Punkten zu erzeugen, wie unten in Verbindung mit 6 erläutert.
In 6A wird ein Verfahren 600 zum Auswählen des Anfangssatzes von Punkten in Block 315 dargestellt. In Block 605 ist der Server 101 so konfiguriert, dass er eine Baumdatenstruktur erzeugt, z. B. einen k-d (k-dimensionalen) Baum, einen Octree oder dergleichen. Im vorliegenden Beispiel wird in Block 605 ein k-d-Baum erzeugt. Die Baumdatenstruktur enthält für jeden Punkt in der Punktwolke Koordinaten der ersten und zweiten Dimension orthogonal zur Tiefe des Punktes. Das heißt, jeder Punkt wird in dem Baum durch seine X- und Z-Koordinaten gemäß dem Referenzrahmen 102 dargestellt, wobei die Y-Koordinate für die Auswahl des Anfangssatzes weggelassen wird (die Y-Koordinaten werden später in dem Verfahren 300 verwendet, wie weiter unten erläutert wird).
Wie Fachleute verstehen, kann der k-d-Baum durch Bestimmung des Medians einer der beiden oben genannten Dimensionen (z. B. der X-Dimension) aufgebaut werden. Alle Punkte, deren X-Koordinate unter dem Median liegt, werden einem ersten Zweig des Baumes zugeordnet, während die übrigen Punkte einem zweiten Zweig zugeordnet werden. Für jeden Zweig wird der Median der anderen Koordinate (im vorliegenden Beispiel Z) bestimmt und die dem Zweig zugeordneten Punkte werden erneut unterteilt, je nachdem, ob ihre Z-Koordinaten über oder unter dem Z-Median liegen. Dieser Vorgang wird wiederholt, wobei die Punkte zwischen den Zweigpaaren auf der Basis von abwechselnden Dimensionsmedianen weiter unterteilt werden (d. h. eine Unterteilung auf Basis der X-Dimension, gefolgt von einer Unterteilung auf Basis der Z-Dimension, gefolgt von einer weiteren Unterteilung auf Basis der X-Dimension usw.), bis jeder Knoten des Baums einen einzelnen Punkt enthält.
In Block 610 ist der Server 101 so konfiguriert, dass er die Koordinaten eines Sichtfeldzentrums in den zwei im Baum dargestellten Dimensionen bestimmt. Wie oben erwähnt, wird das durch das Sichtfeld definierte Volumen aus den Betriebsparametern der Kamera 207 und der Erfassungsstellung bestimmt. In 6B ist ein Sichtfeld 602 der Kamera 207-2 in der Vorrichtungsstellung 412-1 dargestellt. Das Sichtfeldzentrum 602 wird in drei Dimensionen durch die Linie 604 definiert. Um zweidimensionale Koordinaten des Sichtfeldzentrums in zwei Dimensionen (d. h. in der X- und Z-Dimension) zu bestimmen, ist der Server 101 so konfiguriert, dass er eine vordefinierte Tiefe auswählt und die Koordinaten bestimmt, bei denen die Mittellinie 604 die vordefinierte Tiefe schneidet. Die vordefinierte Tiefe kann im Speicher 122 als eine Tiefe gespeichert werden, die zu der in Block 305 erhaltenen Tiefe der Regalebene hinzugefügt wird. In anderen Beispielen können die Punktwolke, die Regalebene, die Erfassungsstellungen und dergleichen in einen Referenzrahmen transformiert werden, dessen Ursprung auf der Regalebene selbst liegt (z. B. dessen XZ-Ebene auf der Regalebene liegt), um die hier beschriebenen Berechnungen zu vereinfachen. Wie in 6B gezeigt, schneidet die Mittellinie 604 die vordefinierte Tiefe in einer FOV (Field of View (Sichtfeld))-Mitte 608. Die vordefinierte Tiefe wird vorzugsweise so gewählt, dass sie die Tiefe der Regalrückseite 116 überschreitet (obwohl die Tiefe der Regalrückseite 116 möglicherweise nicht genau bekannt ist).
In Block 615 ist der Server 101 so konfiguriert, dass er Punkte für den Satz auswählt, indem er Punkte aus dem Baum abruft, die innerhalb eines vordefinierten Radius des Zentrums 608 liegen. 6B zeigt einen vordefinierten Radius 612, der sich vom Zentrum 608 aus erstreckt. Wie nun für Fachleute ersichtlich wird, gibt es verschiedene Mechanismen zur Durchführung von radiusbasierten Suchen in Bäumen wie z. B. k-d-Bäumen. Im vorliegenden Beispiel, wie in 6B dargestellt, umfassen die in Block 615 abgerufenen Punkte die Beispielpunkte 616, während andere Punkte 618 nicht abgerufen werden, da sie weiter vom Zentrum 608 entfernt sind als der Radius 612.
In Block 620 kann der Server 101 so konfiguriert werden, dass er überprüft, ob die dreidimensionale Position jedes in Block 615 abgerufenen Punktes innerhalb des FOV 602 liegt, da der vordefinierte Radius 612 über die tatsächlichen Grenzen des FOV 602 hinausgehen kann. In anderen Beispielen kann der Block 620 weggelassen werden. Die Überprüfung in Block 620 kann, wenn sie durchgeführt wird, eine Transformationsmatrix verwenden, die auch als Kamerakalibrierungsmatrix bezeichnet wird und so konfiguriert ist, dass sie dreidimensionale Koordinaten aus der Punktwolke in zweidimensionale Koordinaten in einem Bildreferenzrahmen (z. B. Pixelkoordinaten im Bild 408-1) transformiert. Die Überprüfung in Block 620 kann daher für jeden in Block 615 abgerufenen Punkt die Erzeugung der entsprechenden Bildkoordinaten und die Bestimmung, ob die Bildkoordinaten innerhalb der Grenzen des Bildes 408-1 liegen, beinhalten.
Zurück zu 3, nachdem der Anfangssatz von Punkten 616 innerhalb des FOV 602 ausgewählt wurde, ist der Server 101 in Block 320 so konfiguriert, dass er einen nicht verdeckten Satz von Tiefenmessungen aus den Punkten im Anfangssatz auswählt. Der in Block 315 ausgewählte Anfangssatz von Punkten kann, obwohl er innerhalb des FOV 602 liegt, dennoch Punkte enthalten, die von der Kamera 207 nicht abgebildet wurden, weil sie durch andere Objekte von der Sicht der Kamera 207 verdeckt sind. Beispielsweise, mit erneuter Bezugnahme auf 6B, korrespondiert der Punkt 616a, obwohl er innerhalb des FOV 602 liegt, mit einem Abschnitt des Regals 117, den die Kamera 207-2 in der in 6B gezeigten Erfassungsstellung nicht abbilden kann, weil sich ein Produkt 112 zwischen der Kamera 207-2 und dem Punkt 616a befindet. Der Punkt 616a kann in der Punktwolke erscheinen, da ein Lidar-Scanner anders positioniert ist als die Kamera 207-2, weil ein Lidar-Scanner den Punkt 616a von einer nachfolgenden Vorrichtungsstellung 412 aus erfasst hat, oder dergleichen. Der Punkt 616a ist mit anderen Worten ein verdeckter Punkt, für den das Bild 408-1 und die Maske 512 keine entsprechenden Daten haben. In Block 320 ist der Server 101 so konfiguriert, dass er solche verdeckten Punkte aus der weiteren Betrachtung entfernt und Daten für nicht verdeckte Punkte, wie z. B. den Punkt 616b, beibehält.
Im Allgemeinen geht die Auswahl in Block 320 von der Annahme aus, dass für jeden verdeckten Punkt aus der Punktwolke auch ein nicht verdeckter Punkt in der Punktwolke vorhanden ist, der mit dem für die Verdeckung verantwortlichen Objekt korrespondiert. In Block 320 wird weiterhin angenommen, dass der oben erwähnte nicht verdeckte Punkt für die Kamera 207 sichtbar ist und daher im Bild 408-1 dargestellt wird. In 7A ist ein Beispielverfahren 700 zur Auswahl der nicht verdeckten Teilmenge von Tiefenmessungen dargestellt.
In Block 705 ist der Server 101 so konfiguriert, dass er die Bildkoordinaten für jeden Punkt in dem in Block 315 ausgewählten Ausgangssatz bestimmt. Wie oben erwähnt, können die Bildkoordinaten durch Verwendung der Kamerakalibrierungsmatrix in einem Prozess erhalten werden, der auch als Vorwärtsprojektion bezeichnet wird (d. h. Projektion eines Punktes in drei Dimensionen „vorwärts“ in ein erfasstes Bild, im Gegensatz zur Rückprojektion, bei der ein Punkt in einem Bild „zurück“ in die Punktwolke projiziert wird). 7B illustriert die Ergebnisse von Block 705 für die zuvor besprochenen Punkte 616a und 616b. Die Punkte 616a und 616b korrespondieren mit Bildkoordinaten, die gemäß einem Bildreferenzsystem 702 definiert sind (das im vorliegenden Beispiel parallel zur XZ-Ebene des Referenzsystems 102 liegt). Wie in 7B zu sehen ist, werden die Tiefenmessungen im Referenzrahmen 102, die den Punkten 616 zugeordnet sind, bei der Durchführung des Verfahrens 700 ebenfalls beibehalten, obwohl sie nicht direkt in den Bildkoordinaten (die zweidimensional sind) dargestellt werden. Die Tiefenmessungen können in einer Liste 704 oder einem anderen geeigneten Format in Verbindung mit den Bildkoordinaten aufbewahrt werden. Weitere Beispielpunkte 706, 708, 709, 712 und 714 sind ebenfalls dargestellt. Wie in der Liste 704 der Tiefenmessungen dargestellt, befindet sich der Punkt 708 auf der Oberfläche eines Produkts, während sich der Punkt 709 hinter dem Produkt befindet, z. B. auf der Regalrückseite 116 (in einer Tiefe von 528 mm, verglichen mit einer Tiefe von 235 mm für den Punkt 708). Die Punkte 712 und 714 befinden sich ebenfalls auf der Regalrückseite 116 und haben eine zugehörige Tiefe von 530 mm bzw. 522 mm.
In Block 710 ist der Server 101 so konfiguriert, dass er eine Baumdatenstruktur erzeugt, z. B. einen weiteren k-d-Baum, der die in Block 705 ermittelten Bildkoordinaten enthält. In Block 715 ist der Server 101 so konfiguriert, dass er Nachbargruppen von Punkten auswählt. Insbesondere ist der Server 101 so konfiguriert, dass er für einen ausgewählten Punkt im Baum die nächstgelegenen Nachbarn dieses Punkts abruft (z. B. eine vordefinierte Anzahl von Nachbarn, Nachbarn innerhalb eines vordefinierten Radius oder eine Kombination der obigen Punkte). Der Server 101 ist ferner so konfiguriert, dass er aus den in Block 715 abgerufenen nächsten Nachbarn den Nachbarn mit der geringsten Tiefe auswählt. So ist, wieder bezugnehmend auf 7B und beginnend mit dem Punkt 616a, der nächste Nachbar der Punkt 616b, und die geringste Tiefe zwischen den Punkten 616a und 616b ist die Tiefe, die dem Punkt 616b zugeordnet ist. Die Tiefenmessung (sowie die entsprechenden Bildkoordinaten) des Punktes 616b wird daher für die Erfassung in die nicht verdeckten Teilmenge von Tiefenmessungen beibehalten, während der Punkt 616a verworfen wird. Die Durchführung von Block 715 wird für jeden verbleibenden Punkt in dem Anfangssatz wiederholt, bis eine Bestimmung in Block 720 anzeigt, dass keine Punkte mehr zu verarbeiten sind. Für die in 7B dargestellten Beispielpunkte,
Wenn alle Punkte aus dem Anfangssatz verarbeitet wurden und die Teilmenge der nicht verdeckten Tiefenmessungen ausgewählt wurde, kehrt der Server 101 zu Block 325 des Verfahrens 300 zurück. In Block 325 kann der Server 101 optional so konfiguriert werden, dass er eine endgültige Teilmenge von Tiefenmessungen aus der nicht verdeckten Teilmenge von Tiefenmessungen auswählt. Wenn man zum Beispiel die in 7B gezeigten Punkte nimmt, wird die daraus erhaltene nicht verdeckte Teilmenge von Tiefenmessungen in 8A gezeigt, in der zu sehen ist, dass die Punkte 616a und 709 aus der nicht verdeckten Teilmenge 800 verworfen worden sind. In Block 325 kann der Server 101 so konfiguriert werden, dass er eine oder mehrere zusätzliche Filteroperationen durchführt, um weitere Punkte aus der nicht verdeckten Teilmenge auszuschließen.
Ein erstes Beispiel für einen Filtervorgang, der in Block 325 angewendet wird, besteht darin, alle Punkte mit einem BoS-Vertrauensniveau aus der Maske 512 zu verwerfen, das unter einem vorgegebenen Schwellenwert liegt. Der vorgegebene Schwellenwert beträgt im vorliegenden Beispiel 55 % (es versteht sich jedoch, dass stattdessen auch verschiedene andere Schwellenwerte angewendet werden können). 8B zeigt die Maske 512 mit den Vertrauensniveaus 816b, 806, 808, 812 und 814, die mit den Bildkoordinaten der Punkte 616b, 706, 708, 712 bzw. 714 korrespondieren. Im vorliegenden Beispiel wird angenommen, dass die Vertrauensniveaus 816b, 806, 808, 812 und 814 30%, 0%, 50%, 100% bzw. 90% betragen. Die Punkte mit Vertrauensniveaus unter 55 % (d. h. die Punkte 616b, 706 und 708) werden daher verworfen, und die endgültige Teilmenge der Tiefenmessungen umfasst die Tiefenmessungen für die Punkte 712 und 714 sowie ihre zugehörigen Bildkoordinaten.
Andere Beispiele für die in Block 325 durchgeführte Filterung umfassen das Verwerfen von Punkten mit Tiefenmessungen, die einen vordefinierten maximalen Tiefenschwellenwert überschreiten. 8C zeigt ein weiteres Beispielbild 818, das aus einer anderen Vorrichtungsstellung (und damit in einer anderen Erfassungsstellung) erfasst wurde als die Stellung, in der das Bild 418-1 erfasst wurde. Im Bild 818 ist eine Kante 819 des Regalmoduls 110-3 sichtbar, und bestimmte Punkte sowohl im Bild 818 als auch in der Punktwolke korrespondieren daher mit Bereichen der Einrichtung jenseits des Regalmoduls 110-3. Zum Beispiel kann der Punkt 820 eine zugehörige Tiefenmessung von 2500 mm haben. Der oben erwähnte maximale Schwellenwert kann als maximale bekannte Regaltiefe in der gesamten Einrichtung gewählt werden (z. B. 700 mm). Der Punkt 820 kann daher in Block 325 verworfen werden.
Zurück zu 3 werden in Block 330 die Tiefenmessungen der endgültigen Teilmenge gemäß den entsprechenden Vertrauensniveaus aus der Maske 512 gewichtet. Im vorliegenden Beispiel werden also die Tiefenmessungen für die Punkte 712 und 714 gemäß ihrer jeweiligen Vertrauensniveaus (100 % bzw. 90 %) gewichtet. Zum Beispiel können die Tiefen mit ihren jeweiligen Gewichtungen multipliziert werden (z. B. 530 × 1 und 522 × 0,9). In Block 335 wird die Regalhöhe aus den gewichteten Tiefen bestimmt. Das heißt, die in Block 335 ermittelte Regaltiefe ist ein gewichteter Durchschnitt der Tiefenmessungen in der endgültigen Teilmenge aus Block 325. Im vorliegenden Beispiel wird der gewichtete Durchschnitt der Tiefenmessungen für die Punkte 712 und 714 durch Summieren der gewichteten Tiefen und Dividieren des Ergebnisses durch die Summe der Gewichte (d.h. 1,9 oder 190%) ermittelt, was ein Ergebnis von 526,2 mm ergibt. 9 zeigt die ermittelte Regaltiefe als eine gestrichelte Linie 900, die von der Regalebene 404 ausgeht (und senkrecht zur Regalebene 404 steht).
In Block 340 ist der Server 101 so konfiguriert, dass er bestimmt, ob noch Erfassungsstellungen zu verarbeiten sind (d. h. ob noch weitere Vorrichtungsstellungen für die aktuelle Kamera vorhanden sind oder ob noch weitere Kameras in der aktuellen Vorrichtungsstellung verbleiben). Wenn die Bestimmung in Block 340 positiv ist, wird die Durchführung des Verfahrens 300 für alle nachfolgenden Bilder und korrespondierenden Masken wiederholt. Wenn die Bestimmung in Block 340 negativ ist, wird die Durchführung des Verfahrens 300 beendet. In einigen Beispielen wird Block 335 nur nach einer negativen Bestimmung in Block 340 ausgeführt und verwendet die mehreren gewichteten endgültigen Sätze von Tiefenmessungen aus jeder Ausführung von Block 330, um eine einzelne Regaltiefe für das Regalmodul 110 zu bestimmen. Die über die Durchführung des Verfahrens 300 ermittelte Regaltiefe kann beispielsweise an eine weitere Anwendung des Servers 101 oder an eine anderes Computervorrichtung) zurückgegeben werden, um Lücken in den Regalen 110 oder andere Objektzustandsdaten zu identifizieren.
In der vorstehenden Beschreibung wurden spezifische Ausführungsformen beschrieben. Ein Durchschnittsfachmann erkennt jedoch, dass verschiedene Modifikationen und Änderungen vorgenommen werden können, ohne den Schutzumfang der Erfindung, wie sie in den untenstehenden Ansprüchen definiert ist, abzuweichen. Dementsprechend sind die Beschreibung und die Figuren vielmehr in einem illustrativen als in einem einschränkenden Sinne zu betrachten, und alle derartigen Modifikationen sollen im Umfang der vorliegenden Lehren eingeschlossen sein.
Die Nutzen, Vorteile, Lösungen für Probleme und alle Elemente, die zum Auftreten oder einer Verstärkung eines Nutzens, eines Vorteils, oder einer Lösung führen können, sind nicht als kritische, erforderliche oder wesentliche Merkmale oder Elemente in einigen oder sämtlichen Ansprüchen zu verstehen. Die Erfindung ist lediglich durch die angehängten Ansprüche definiert, einschließlich jeglicher Änderungen, die während der Anhängigkeit dieser Anmeldung vorgenommen wurden und aller Äquivalente der erteilten Ansprüche.
Darüber hinaus können in diesem Dokument relationale Begriffe wie erster und zweiter, oberer und unterer und dergleichen lediglich verwendet sein, um eine Entität oder Aktion von einer anderen Entität oder Aktion zu unterscheiden, ohne notwendigerweise eine tatsächliche derartige Beziehung oder Reihenfolge zwischen solchen Entitäten oder Aktionen zu erfordern oder zu implizieren. Die Ausdrücke „umfasst“, „umfassend“, „hat”, „haben“, „aufweist“, „aufweisend“, „enthält“, „enthaltend“ oder jede andere Variation davon sollen eine nicht-ausschließliche Einbeziehung abdecken, derart, dass ein Prozess, Verfahren, Produkt oder Vorrichtung, das eine Liste von Elementen umfasst, hat, aufweist, enthält, nicht nur diese Elemente aufweist, sondern auch andere Elemente aufweisen kann, die nicht ausdrücklich aufgelistet sind oder einem solchen Prozess, Verfahren, Produkt oder Vorrichtung inhärent sind. Ein Element, dem „umfasst ... ein“, „hat ... ein”, „aufweist ... ein“ oder „enthält ...ein“ vorausgeht, schließt ohne weitere Einschränkungen die Existenz zusätzlicher identischer Elemente in dem Prozess, dem Verfahren, dem Produkt oder der Vorrichtung, die das Element umfasst, hat, aufweist oder enthält, nicht aus. Die Begriffe „ein“ und „eine“ sind als eine oder mehrere definiert, sofern es hierin nicht ausdrücklich anders angegeben wird. Die Begriffe „im Wesentlichen“, „im Allgemeinen“, „ungefähr“, „etwa“ oder jede andere Version davon sind so definiert, dass sie von einem Fachmann auf diesem Gebiet nahekommend verstanden werden, und in einer nicht-einschränkenden Ausführungsform ist der Ausdruck definiert als innerhalb von 10%, in einer weiteren Ausführungsform als innerhalb von 5%, in einer weiteren Ausführungsform als innerhalb von 1% und in einer weiteren Ausführungsform als innerhalb von 0,5%. Der Ausdruck „gekoppelt“, wie er hierin verwendet wird, ist als verbunden definiert, jedoch nicht notwendigerweise direkt und nicht notwendigerweise mechanisch. Eine Vorrichtung oder eine Struktur, die auf eine bestimmte Art „ausgeführt“ ist, ist zumindest auch so ausgeführt, kann aber auch auf Arten ausgeführt sein, die nicht aufgeführt sind.
Es versteht sich, dass einige Ausführungsformen von einem oder mehreren generischen oder spezialisierten Prozessoren (oder „Verarbeitungsgeräten“) wie Mikroprozessoren, digitale Signalprozessoren, kundenspezifische Prozessoren und Field-Programmable-Gate-Arrays (FPGAs) und einmalig gespeicherten Programmanweisungen (einschließlich sowohl Software als auch Firmware) umfasst sein können, die den einen oder die mehreren Prozessoren steuern, um in Verbindung mit bestimmten Nicht-Prozessorschaltungen einige, die meisten oder alle der hierin beschriebenen Funktionen des Verfahrens und/oder der Vorrichtung zu implementieren. Alternativ können einige oder alle Funktionen durch eine Zustandsmaschine implementiert sein, die keine gespeicherten Programmanweisungen aufweist, oder in einer oder mehreren anwendungsspezifischen integrierten Schaltungen (ASICs), in denen jede Funktion oder einige Kombinationen von bestimmten Funktionen als benutzerdefinierte Logik implementiert sind. Natürlich kann eine Kombination der beiden Ansätze verwendet werden.
Darüber hinaus kann eine Ausführungsform als ein computerlesbares Speichermedium implementiert sein, auf dem computerlesbarer Code gespeichert ist, um einen Computer (der zum Beispiel einen Prozessor umfasst) zu programmieren, um ein Verfahren auszuführen, wie es hierin beschrieben und beansprucht ist. Beispiele solcher computerlesbaren Speichermedien weisen eine Festplatte, eine CD-ROM, eine optische Speichervorrichtung, eine magnetische Speichervorrichtung, einen ROM (Nur-Lese-Speicher), einen PROM (programmierbarer Nur-Lese-Speicher), einen EPROM (löschbarer programmierbarer Nur-Lese-Speicher), einen EEPROM (elektrisch löschbarer programmierbarer Nur-Lese-Speicher) und einen Flash-Speicher auf, sind aber nicht hierauf beschränkt auf. Ferner wird davon ausgegangen, dass ein Durchschnittsfachmann, ungeachtet möglicher signifikanter Anstrengungen und vieler Designwahlen, die zum Beispiel durch verfügbare Zeit, aktuelle Technologie und wirtschaftliche Überlegungen motiviert sind, ohne Weiteres in der Lage ist, solche Softwareanweisungen und -programme und ICs mit minimalem Experimentieren zu generieren, wenn er durch die hierin offenbarten Konzepte und Prinzipien angeleitet wird.
Die Zusammenfassung der Offenbarung wird bereitgestellt, um es dem Leser zu ermöglichen, schnell das Wesen der technischen Offenbarung zu ermitteln. Sie wird mit dem Verständnis bereitgestellt, dass sie nicht zur Auslegung oder Einschränkung des Umfangs oder der Bedeutung der Ansprüche verwendet wird. Ferner kann der vorangehenden detaillierten Beschreibung entnommen werden, dass verschiedene Merkmale in verschiedenen Ausführungsformen zum Zwecke der Verschlankung der Offenbarung zusammengefasst sind. Diese Art der Offenbarung ist nicht so auszulegen, dass sie die Absicht widerspiegelt, dass die beanspruchten Ausführungsformen mehr Merkmale erfordern, als ausdrücklich in jedem Anspruch angegeben sind. Vielmehr ist es so, wie die folgenden Ansprüche zeigen, dass der erfinderische Gegenstand in weniger als allen Merkmalen einer einzigen offenbarten Ausführungsform liegt. Somit werden die folgenden Ansprüche hiermit in die detaillierte Beschreibung inkorporiert, wobei jeder Anspruch für sich als ein separat beanspruchter Gegenstand steht.

Claims

Verfahren zum Bestimmen einer Trägerstrukturtiefe einer Trägerstruktur mit einer Vorderseite und einer Rückseite, die durch die Trägerstrukturtiefe getrennt sind, wobei das Verfahren umfasst: Erhalten (i) einer Punktwolke der Trägerstruktur, und (ii) einer Maske, die für eine Vielzahl von Abschnitten eines Bildes der Trägerstruktur, das aus einer Erfassungsstellung erfasst wurde, jeweilige Vertrauensniveaus anzeigt, dass die Abschnitte die Rückseite der Trägerstruktur darstellen; Auswählen eines Anfangssatzes von Punkten aus der Punktwolke, die sich innerhalb eines Sichtfeldes befinden, das von der Erfassungsstellung ausgeht; Auswählen einer nicht verdeckten Teilmenge von Tiefenmessungen aus dem Anfangssatz von Punkten, wobei die Tiefenmessungen in der nicht verdeckten Teilmenge mit jeweiligen Bildkoordinaten korrespondieren; Abrufen eines Vertrauensniveaus aus der Maske für jede der Tiefenmessungen in der nicht verdeckten Teilmenge; und Bestimmen der Trägerstrukturtiefe basierend auf den Tiefenmessungen in der nicht verdeckten Teilmenge und den abgerufenen Vertrauensniveaus.
Verfahren nach Anspruch 1, ferner umfassend: Erhalten einer weiteren Maske, die mit einem weiteren Bild der Trägerstruktur korrespondiert, das aus einer weiteren Erfassungsstellung erfasst wurde; Auswählen eines weiteren Anfangssatzes von Punkten; Auswählen eines weiteren nicht verdeckten Satzes von Tiefenmessungen; Abrufen eines weiteren Vertrauensniveaus für jede der Tiefenmessungen in der weiteren nicht verdeckten Teilmenge.
Verfahren nach Anspruch 2, ferner umfassend: Bestimmen der Trägerstrukturtiefe basierend auf den Tiefenmessungen in der nicht verdeckten Teilmenge, den Tiefenmessungen in der weiteren nicht verdeckten Teilmenge, den Vertrauensniveaus und den weiteren Vertrauensniveaus.
Verfahren nach Anspruch 1, wobei eine Erfassungsstellung eine Kameraposition und -ausrichtung innerhalb eines gemeinsamen Referenzrahmens definiert.
Verfahren nach Anspruch 1, wobei das Auswählen des Anfangssatzes von Punkten umfasst: Erzeugen einer Baumdatenstruktur, die für jeden Punkt in der Punktwolke eine erste und eine zweite Dimension orthogonal zur Trägerstrukturtiefe umfasst; Bestimmen eines Sichtfeldzentrums in der ersten und zweiten Dimension; und Abrufen des Anfangssatzes von Punkten innerhalb eines vordefinierten Radius des Sichtfeldzentrums aus der Baumdatenstruktur.
Verfahren nach Anspruch 1, wobei das Auswählen der nicht verdeckten Teilmenge von Tiefenmessungen umfasst: Bestimmen von Bildkoordinaten, die mit jedem des Anfangssatzes von Punkten korrespondieren; Identifizieren von Nachbargruppen der Bildkoordinaten; und Auswählen der Bildkoordinate, die mit der kleinsten Tiefenmessung korrespondiert, für jede Nachbargruppe.
Verfahren nach Anspruch 1, wobei das Bestimmen der Trägerstrukturtiefe umfasst: Erhalten einer Ebenendefinition, die mit der Vorderseite der Trägerstruktur korrespondiert; Transformieren jeder Tiefenmessung der nicht verdeckten Teilmenge von Tiefenmessungen in eine Tiefe relativ zur Ebenendefinition; Gewichten jeder transformierten Tiefenmessung gemäß den abgerufenen Vertrauensniveaus; und Bestimmen eines Durchschnitts der gewichteten Tiefenmessungen.
Verfahren nach Anspruch 1, ferner umfassend: vor dem Bestimmen der Trägerstrukturtiefe, Verwerfen von Tiefenmessungen, für welche die abgerufenen Vertrauensniveaus unterhalb einer minimalen Vertrauensschwelle liegen.
Verfahren nach Anspruch 1, ferner umfassend: vor dem Bestimmen der Trägerstrukturtiefe, Verwerfen von Tiefenmessungen, die einen maximalen Tiefenschwellwert überschreiten.
Computervorrichtung zum Bestimmen einer Trägerstrukturtiefe einer Trägerstruktur mit einer Vorderseite und einer Rückseite, die durch die Trägerstrukturtiefe getrennt sind, wobei die Computervorrichtung umfasst: einen Speicher, der (i) eine Punktwolke der Trägerstruktur und (ii) eine Maske speichert, die für eine Vielzahl von Abschnitten eines Bildes der Trägerstruktur, das aus einer Erfassungsstellung erfasst wurde, jeweilige Vertrauensniveaus anzeigt, dass die Abschnitte die Rückseite der Trägerstruktur darstellen; eine Bildgebungssteuerung, die mit dem Speicher verbunden ist und so konfiguriert ist, dass sie: aus der Punktwolke einen Anfangssatz von Punkten auswählt, die sich innerhalb eines Sichtfeldes befinden, das von der Erfassungsstellung ausgeht; aus dem Anfangssatz von Punkten eine nicht verdeckte Teilmenge von Tiefenmessungen auswählt, wobei die Tiefenmessungen in der nicht verdeckten Teilmenge mit jeweiligen Bildkoordinaten korrespondieren; ein Vertrauensniveau aus der Maske für jede der Tiefenmessungen in der nicht verdeckten Teilmenge abruft; und basierend auf den Tiefenmessungen in der nicht verdeckten Teilmenge und den abgerufenen Vertrauensniveaus die Trägerstrukturtiefe bestimmt.
Computervorrichtung nach Anspruch 10, wobei die Bildgebungssteuerung ferner so konfiguriert ist, dass sie: eine weitere Maske erhält, die mit einem weiteren Bild der Trägerstruktur korrespondiert, das aus einer weiteren Erfassungsstellung erfasst wurde; einen weiteren Anfangssatz von Punkten auswählt; einen weiteren nicht verdeckten Satz von Tiefenmessungen auswählt; ein weiteres Vertrauensniveau für jede der Tiefenmessungen in der weiteren nicht verdeckten Teilmenge abruft.
Computervorrichtung nach Anspruch 11, wobei die Bildgebungssteuerung ferner so konfiguriert ist, dass sie: die Trägerstrukturtiefe basierend auf den Tiefenmessungen in der nicht verdeckten Teilmenge, den Tiefenmessungen in der weiteren nicht verdeckten Teilmenge, den Vertrauensniveaus und den weiteren Vertrauensniveaus bestimmt.
Computervorrichtung nach Anspruch 10, wobei eine Erfassungsstellung eine Kameraposition und -ausrichtung innerhalb eines gemeinsamen Referenzrahmens definiert.
Computervorrichtung nach Anspruch 10, wobei die Bildgebungssteuerung ferner so konfiguriert ist, dass sie den Anfangssatz von Punkten auswählt, um: eine Baumdatenstruktur zu erzeugen, die für jeden Punkt in der Punktwolke eine erste und eine zweite Dimension orthogonal zur Trägerstrukturtiefe umfasst; ein Sichtfeldzentrum in der ersten und zweiten Dimension zu bestimmen, und aus der Baumdatenstruktur den Anfangssatz von Punkten innerhalb eines vordefinierten Radius des Sichtfeldzentrums abzurufen.
Computervorrichtung nach Anspruch 10, wobei die Bildgebungssteuerung ferner so konfiguriert ist, dass sie die nicht verdeckte Teilmenge von Tiefenmessungen auswählt, um: Bildkoordinaten zu bestimmen, die mit jedem des Anfangssatzes von Punkten korrespondieren; Nachbargruppen der Bildkoordinaten zu identifizieren; und für jede Nachbargruppe die Bildkoordinate auszuwählen, die mit der kleinsten Tiefenmessung korrespondiert.
Computervorrichtung nach Anspruch 10, wobei die Bildgebungssteuerung ferner so konfiguriert ist, dass sie die Trägerstrukturtiefe bestimmt, um: eine Ebenendefinition zu erhalten, die mit der Vorderseite der Trägerstruktur korrespondiert; jede Tiefenmessung der nicht verdeckten Teilmenge von Tiefenmessungen in eine Tiefe relativ zur Ebenendefinition zu transformieren; jede transformierte Tiefenmessung gemäß den abgerufenen Vertrauensniveaus zu gewichten; und einen Durchschnitt der gewichteten Tiefenmessungen zu bestimmen.
Computervorrichtung nach Anspruch 10, wobei die Bildgebungssteuerung ferner so konfiguriert ist, dass sie: vor dem Bestimmen der Trägerstrukturtiefe Tiefenmessungen verwirft, für welche die abgerufenen Vertrauensniveaus unterhalb einer minimalen Vertrauensschwelle liegen.
Computervorrichtung nach Anspruch 10, wobei die Bildgebungssteuerung ferner so konfiguriert ist, dass sie: vor dem Bestimmen der Trägerstrukturtiefe Tiefenmessungen verwirft, die einen maximalen Tiefenschwellwert überschreiten.
Computerlesbares Medium, auf dem computerausführbare Befehle gespeichert sind, wobei die Befehle umfassen: Erhalten (i) einer Punktwolke der Trägerstruktur, und (ii) einer Maske, die für eine Vielzahl von Abschnitten eines Bildes der Trägerstruktur, das aus einer Erfassungsstellung erfasst wurde, jeweilige Vertrauensniveaus anzeigt, dass die Abschnitte die Rückseite der Trägerstruktur darstellen; Auswählen eines Anfangssatzes von Punkten aus der Punktwolke, die sich innerhalb eines Sichtfeldes befinden, das von der Erfassungsstellung ausgeht; Auswählen einer nicht verdeckten Teilmenge von Tiefenmessungen aus dem Anfangssatz von Punkten, wobei die Tiefenmessungen in der nicht verdeckten Teilmenge mit jeweiligen Bildkoordinaten korrespondieren; Abrufen eines Vertrauensniveaus aus der Maske für jede der Tiefenmessungen in der nicht verdeckten Teilmenge; und Bestimmen der Trägerstrukturtiefe basierend auf den Tiefenmessungen in der nicht verdeckten Teilmenge und den abgerufenen Vertrauensniveaus.
Computerlesbares Medium nach Anspruch 19, wobei die Befehle ferner umfassen: Bestimmen der Trägerstrukturtiefe basierend auf den Tiefenmessungen in der nicht verdeckten Teilmenge, den Tiefenmessungen in der weiteren nicht verdeckten Teilmenge, den Vertrauensniveaus und den weiteren Vertrauensniveaus.