DE102018121039A1

DE102018121039A1 - Informationsverarbeitungsvorrichtung, verfahren zur steuerung von informationsverarbeitungsvorrichtung und speichermedium

Info

Publication number: DE102018121039A1
Application number: DE102018121039.6A
Authority: DE
Inventors: Hisayoshi Furihata; Kazuhiko Kobayashi
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-08-31
Filing date: 2018-08-29
Publication date: 2019-02-28
Also published as: US20190066333A1; CN109426835A; JP7197971B2; CN109426835B; US10964057B2; JP2019046095A

Abstract

Eine Informationsverarbeitungsvorrichtung umfasst: zumindest einen Prozessor, der programmiert ist zum Veranlassen der Vorrichtung zum: Halten von Labelinformationen bezüglich eines Vorhandenseins eines Zielobjekts, wobei die Labelinformationen für das Zielobjekt in einem Bild eingestellt sind; Erfassen einer Zuverlässigkeit der Labelinformationen; Veranlassen einer Anzeigevorrichtung zum Anzeigen der Labelinformationen und eines Bilds entsprechend den Labelinformationen in dem Bild basierend auf der Zuverlässigkeit; Annehmen einer durch einen Benutzer vorgenommenen Bedienung; und Modifizieren der Labelinformationen basierend auf der Bedienung.

Description

Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf eine Informationsverarbeitungsvorrichtung, ein Verfahren zur Steuerung einer Informationsverarbeitungsvorrichtung und ein Speichermedium, und sie bezieht sich insbesondere auf eine Technik zum Erkennen eines Objekts in einem Bild.
Beschreibung der verwandten Technik
Eine Technik zum Er-/Lernen von Mustern aus Bildern, die durch Fotografieren von Objekten erhalten werden, und Erkennen von Typen und Lageorientierungen der Objekte ist bekannt. Um Muster zu er-/lernen muss eine Person ein Label einstellen, das einen korrekten Antwortwert für Bilder bezeichnet. Daten der Bilder und des Labels werden Lerndaten genannt.
Um einen genauen Erkenner bzw. Recognizer zu erzeugen, muss eine große Menge von Lerndaten vorbereitet bzw. erstellt werden. Das japanische Patent Nr. 5953151 beschreibt eine Methode zum Erhalten von Lerndaten, für die eine ausreichende Genauigkeit gewährleistet ist, durch Wiederholen von einem „manuellen Labelingvorgang“ und einem „Vorgang zum Bewerten einer Genauigkeit von einem Erkenner“, bis eine gewünschte Genauigkeit erreicht wird.
Es besteht jedoch die Möglichkeit, dass Labelinformationen, die durch eine Person eingestellt werden, einen Fehler enthalten. Die im japanischen Patent Nr. 5953151 beschriebene Technik weist ein Problem dahingehend auf, dass die Genauigkeit des Erkenners abnimmt, wenn Muster unter Verwendung von Lerndaten er-/gelernt werden, die inkorrekte Labelinformationen umfassen.
Diese Erfindung wurde in Anbetracht des vorgenannten Problems gemacht und stellt eine Technik bereit, die ermöglicht, dass für ein Zielobjekt eingestellte Labelinformationen modifiziert werden, und es einem Benutzer erlaubt, Lerndaten effizient zu überprüfen.
KURZFASSUNG DER ERFINDUNG
Gemäß einem Aspekt der vorliegenden Erfindung ist eine Informationsverarbeitungsvorrichtung bereitgestellt, mit: zumindest einem Prozessor, der programmiert ist zum Veranlassen der Vorrichtung zum: Halten von Labelinformationen bezüglich eines Vorhandenseins eines Zielobjekts, wobei die Labelinformationen für das Zielobjekt in einem Bild eingestellt sind; Erfassen einer Zuverlässigkeit der Labelinformationen; Veranlassen einer Anzeigevorrichtung zum Anzeigen der Labelinformationen und eines Bilds entsprechend den Labelinformationen in dem Bild basierend auf der Zuverlässigkeit; Annehmen einer durch einen Benutzer vorgenommenen Bedienung; und Modifizieren der Labelinformationen basierend auf der Bedienung.
Weitere Merkmale der vorliegenden Erfindung werden aus der folgenden Beschreibung von beispielhaften Ausführungsbeispielen unter Bezugnahme auf die beigefügten Zeichnungen deutlich.
Figurenliste

1A und 1B zeigen Beispiele von einem Bild und Labelinformationen gemäß einem ersten Ausführungsbeispiel.
2 zeigt eine Konfiguration einer Informationsverarbeitungsvorrichtung gemäß dem ersten Ausführungsbeispiel.
3 ist ein Ablaufdiagramm, das eine Verarbeitung der Informationsverarbeitungsvorrichtung gemäß dem ersten Ausführungsbeispiel veranschaulicht.
4 ist ein Ablaufdiagramm, das eine Verarbeitung einer Zuverlässigkeitserfassungseinheit gemäß dem ersten Ausführungsbeispiel veranschaulicht.
5 zeigt ein Beispiel, in dem Labelinformationen geringer Zuverlässigkeit und ein Bild angezeigt werden, gemäß dem ersten Ausführungsbeispiel.
6 zeigt ein Beispiel von einem Bild und Labelinformationen gemäß einem zweiten Ausführungsbeispiel.
7 zeigt ein Beispiel, in dem Labelinformationen geringer Zuverlässigkeit und ein Bild angezeigt werden, gemäß dem zweiten Ausführungsbeispiel.
8 zeigt ein Beispiel, in dem ein Modell angezeigt wird, das die Form eines Zielobjekts darstellt, gemäß einer ersten Abwandlung.
9A und 9B zeigen Beispiele von Variationen, in denen Labelinformationen geringer Zuverlässigkeit und Bilder angezeigt werden, gemäß einer zweiten Abwandlung.

BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
Es werden nun ein oder mehr beispielhafte Ausführungsbeispiele der vorliegenden Erfindung unter Bezugnahme auf die Zeichnungen ausführlich beschrieben. Es sollte beachtet werden, dass die relative Anordnung der Komponenten, die numerischen Ausdrücke und die numerischen Werte, die bei diesen Ausführungsbeispielen dargelegt werden, den Umfang der vorliegenden Erfindung nicht beschränken, sofern es nicht ausdrücklich anderweitig angegeben ist.
Erstes Ausführungsbeispiel
Zusammenfassung
Dieses Ausführungsbeispiel wird ein Beispiel beschreiben, in dem einem Benutzer erlaubt wird, Lerndaten zu überprüfen, wobei die Möglichkeit berücksichtigt wird, dass Labelinformationen in den Lerndaten einen Fehler umfassen.
Bei diesem Ausführungsbeispiel werden/sind Labelinformationen bezüglich des Vorhandenseins bzw. Vorliegens eines Zielobjekts an einer beliebigen Position in einem Bild eingestellt. 1A zeigt ein Beispiel eines aufgenommenen Bilds. In 1A sind rechteckförmige parallelflache Objekte, die durch Bezugszeichen 110, 111 und 112 bezeichnet sind, Zielobjekte, für die die Labelinformationen einzustellen sind. Indessen ist ein zylindrisches Objekt, das durch Bezugszeichen 120 bezeichnet ist, ein Nichtzielobjekt, für das die Labelinformationen nicht einzustellen sind. 1B zeigt ein Beispiel, in dem der Benutzer die Labelinformationen eingestellt hat. 130 und 131 in 1B bezeichnen Beispiele, in denen die Labelinformationen an Positionen eingestellt sind, wo die Zielobjekte vorhanden sind. Hier ist eine Position, wo die Labelinformationen eingestellt sind, mit einem schwarzen Punkt dargestellt. 132 und 133 bezeichnen Beispiele, in denen die Labelinformationen inkorrekt an Positionen eingestellt sind, wo kein Zielobjekt vorhanden ist. 140 bezeichnet ein Beispiel, in dem die Labelinformationen nicht eingestellt sind, obwohl ein Zielobjekt vorhanden ist.
Wenn der Benutzer ein Label bzw. eine Be-/Kennzeichnung einstellt, besteht die Möglichkeit, dass die Labelinformationen inkorrekt eingestellt werden, wie es in den Beispielen in 1B der Fall ist. Bei diesem Ausführungsbeispiel wird eine Zuverlässigkeit bzw. eine Verlässlichkeit/Glaubwürdigkeit der Labelinformationen berechnet, und werden das Bild und die Labelinformationen ausgewählt und angezeigt, wenn die Zuverlässigkeit gering ist (d.h., wenn die Zuverlässigkeit gleich oder kleiner einem vorbestimmten Wert ist). Somit wird eine effiziente Überprüfung von Labelinformationen ermöglicht.
System konfiguration
Zunächst wird eine Systemkonfiguration gemäß diesem Ausführungsbeispiel unter Bezugnahme auf 2 beschrieben. In 2 bezeichnet 200 eine Informationsverarbeitungsvorrichtung gemäß diesem Ausführungsbeispiel und bezeichnet 300 eine Aufnahmevorrichtung zum Aufnehmen von Bildern. 400 bezeichnet eine Anzeigevorrichtung zum Anzeigen von Bildinformationen und 500 bezeichnet eine Bedienungsvorrichtung, die durch den Benutzer zu bedienen ist. Die Informationsverarbeitungsvorrichtung 200 umfasst eine Bilderfassungseinheit 210, eine Labelinformationshalteeinheit 220, eine Zuverlässigkeitserfassungseinheit 230, eine Anzeigesteuereinheit 240, eine Bedienungsannahmeeinheit 250 und eine Labelinformationsmodifikationseinheit 260.
Die Aufnahmevorrichtung 300 ist eine Kamera zum Aufnehmen von Bildern. Bei diesem Ausführungsbeispiel sind Bilder Graustufenbilder, aber sind sie nicht darauf beschränkt. Die Anzeigevorrichtung 400 ist ein Monitor zum Anzeigen von Bildern. Bei diesem Ausführungsbeispiel werden ein Bild, das durch die Bilderfassungseinheit 210 erfasst wird, und Labelinformationen, die durch die Labelinformationshalteeinheit 220 gehalten werden, unter der Steuerung der Anzeigesteuereinheit 240 angezeigt. Die Bedienungsvorrichtung 500 ist eine Vorrichtung, die durch den Benutzer zu bedienen ist. Bei diesem Ausführungsbeispiel ist die Bedienungsvorrichtung 500 eine Maus, aber kann sie alternativ eine Tastatur oder ein Berührungsfeld sein.
Vorrichtungskonfiguration
Nachfolgend werden Bestandselemente der Informationsverarbeitungsvorrichtung 200 ausführlich beschrieben. Die Bilderfassungseinheit 210 erfasst durch die Aufnahmevorrichtung 300 aufgenommene Bilder. Bei diesem Ausführungsbeispiel ist die Anzahl von zu erfassenden Bildern eins oder mehr.
Die Labelinformationshalteeinheit 220 hält Labelinformationen, die für jedes durch die Bilderfassungseinheit 210 erfasste Bild eingestellt sind. Die Labelinformationen gemäß diesem Ausführungsbeispiel sind Informationen bezüglich des Vorhandenseins eines Zielobjekts an einer beliebigen Position in einem Bild und Informationen in Bezug darauf, ob ein Zielobjekt an jeder Position in einem Bild vorhanden ist oder nicht. Im Speziellen wird eine Information gehalten, die 1 ist, wenn ein Zielobjekt vorhanden ist, und wird eine Information gehalten, die 0 ist, wenn kein Zielobjekt vorhanden ist. Was die Labelinformationen betrifft, stellt der Benutzer ein Label „1“ an einer Position ein, wo ein Zielobjekt vorhanden ist, und wird ein Label „0“ an anderen Positionen eingestellt. Ein Label hält auch Informationen bezüglich einer Position. Die Position wird durch einen zweidimensionalen Koordinatenwert in einem Bild dargestellt.
Die Zuverlässigkeitserfassungseinheit 230 erfasst eine Zuverlässigkeit, die den Grad einer Korrektheit bzw. Richtigkeit bezeichnet, für jedes Element von durch die Labelinformationshalteeinheit 220 gehaltenen Labelinformationen. Einzelheiten einer Methode zum Berechnen der Zuverlässigkeit werden nachstehend beschrieben. Eine Erkennungseinheit 235 erkennt, ob ein Zielobjekt an einer bezeichneten Position in einem Bild vorhanden ist oder nicht, und berechnet die Wahrscheinlichkeit, dass ein Zielobjekt vorhanden ist, und gibt diese aus. Bei diesem Ausführungsbeispiel wird die Wahrscheinlichkeit, dass ein Zielobjekt vorhanden ist, unter Verwendung eines Erkenners (was synonym ist mit Lerner, Lernmodell, usw.) basierend auf einem neuronalen Netzwerk berechnet. Der Erkenner kann die Zuverlässigkeit selbst inmitten eines Lernens ausgeben. Die Zuverlässigkeit kann unter Verwendung eines Erkenners (Lerners) erfasst werden, der zum Beispiel eingerichtet wird durch Er-/Lernen von Bildmerkmalen eines Zielobjekts unter Verwendung von durch die Labelinformationshalteeinheit 220 gehaltenen Informationen als Trainingsdaten. Es ist zu beachten, dass ein Erkenner, der erkennt, ob ein Zielobjekt in einem Bild vorhanden ist oder nicht, eingerichtet werden kann durch Durchführen eines Er-/Lernens unter Verwendung von Bildern, in denen Zielobjekte vorhanden sind, und Bildern, in denen kein Zielobjekt vorhanden ist. Die Erkennungseinheit 235 kann außerhalb der Informationsverarbeitungsvorrichtung 200 bereitgestellt sein.
Die Anzeigesteuereinheit 240 führt eine Steuerung zum Anzeigen eines Bilds, das durch die Bilderfassungseinheit 210 erfasst wird, und der Labelinformationen, die durch die Labelinformationshalteeinheit 220 gehalten werden, auf der Anzeigevorrichtung 400 basierend auf der Zuverlässigkeit durch, die durch die Zuverlässigkeitserfassungseinheit 230 berechnet wird. Die Bedienungsannahmeeinheit 250 nimmt eine Benutzereingabe an, die unter Verwendung der Bedienungsvorrichtung 500 vorgenommen wird. Die Labelinformationsmodifikationseinheit 260 modifiziert die durch die Labelinformationshalteeinheit 220 gehaltenen Labelinformationen gemäß einer durch die Bedienungsannahmeeinheit 250 angenommenen Benutzerbedienung.
Verarbeitung
Als Nächstes wird eine Verarbeitung gemäß diesem Ausführungsbeispiel beschrieben. 3 ist ein Ablaufdiagramm, das einen Ablauf einer Verarbeitung veranschaulicht, die durch die Informationsverarbeitungsvorrichtung 200 gemäß diesem Ausführungsbeispiel durchgeführt wird. Diese Verarbeitung dient zum Darstellen bzw. Zeigen von Labelinformationen, die modifiziert werden müssen, aus Labelinformationen, die durch den Benutzer bereits für Bilder eingestellt sind, und Annehmen einer Modifikation von dem Benutzer.
(Schritt S310)
Die Zuverlässigkeitserfassungseinheit 230 erfasst eine Zuverlässigkeit, die den Grad einer Korrektheit bzw. Richtigkeit bezeichnet, von den Labelinformationen, die für ein durch die Bilderfassungseinheit 210 erfasstes Bild eingestellt sind und durch die Labelinformationshalteeinheit 220 gehalten werden. Hier ist 4 ein Ablaufdiagramm, das einen Ablauf einer Zuverlässigkeitserfassungsverarbeitung veranschaulicht.
(Schritt S3101)
Zunächst wählt die Zuverlässigkeitserfassungseinheit 230 ein Element von durch die Labelinformationshalteeinheit 220 gehaltenen Labelinformationen aus. Das ausgewählte Labelinformationselement wird durch L bezeichnet. Auch wird ein Bild entsprechend diesen Labelinformationen aus Bildern ausgewählt, die durch die Bilderfassungseinheit 210 erfasst werden/sind. Das ausgewählte Bild wird durch I bezeichnet.
(Schritt S3102)
Als Nächstes gibt die Zuverlässigkeitserfassungseinheit 230 Informationen bezüglich des Bilds I und des Labels L an die Erkennungseinheit 235 aus, und erhält sie von der Erkennungseinheit 235 das Ergebnis einer Erkennung, ob ein Zielobjekt an einer Position in dem Bild I, die durch das Label L bezeichnet wird, vorhanden ist oder nicht. Im Speziellen wird die Wahrscheinlichkeit P, dass ein Zielobjekt vorhanden ist, durch die Erkennungseinheit 235 berechnet, und wird das Ergebnis dieser Berechnung von der Erkennungseinheit 235 erhalten.
(Schritt S3103)
Bezüglich der durch die Erkennungseinheit 235 berechneten Wahrscheinlichkeit P ist es wahrscheinlich, dass die Labelinformationen inkorrekt sind, wenn die Wahrscheinlichkeit P niedrig ist, obwohl das ausgewählte Label L 1 ist, oder wenn die Wahrscheinlichkeit P hoch ist, obwohl das Label L 0 ist. Wenn das Label L 1 ist, stellt die Zuverlässigkeitserfassungseinheit 230 die Zuverlässigkeit E als E = P ein. Umgekehrt, wenn das Label L 0 ist, stellt die Zuverlässigkeitserfassungseinheit 230 die Zuverlässigkeit E als E = 1-P ein.
(Schritt S3104)
Die Zuverlässigkeitserfassungseinheit 230 bestimmt, ob die Zuverlässigkeit für alle Elemente von Labelinformationen und Bilder erfasst wurde oder nicht. Wenn die Zuverlässigkeit für alle Elemente von Labelinformationen und Bilder erfasst wurde, endet die Verarbeitung. Andererseits, wenn die Zuverlässigkeit nicht für alle Elemente von Labelinformationen und Bilder erfasst wurde, kehrt die Verarbeitung zu Schritt S3101 zurück.
Auf diese Weise wird die Verarbeitungsfolge für alle Elemente von Labelinformationen durchgeführt, während das auszuwählende Labelinformationselement geändert wird. Die Verarbeitungsfolge von 4 endet hier. Daraufhin schreitet die Verarbeitung zu Schritt S320 von 3 voran.
(Schritt S320)
Die Anzeigesteuereinheit 240 veranlasst die Anzeigevorrichtung 400 zum Anzeigen eines Bilds, das durch die Bilderfassungseinheit 210 erfasst und gehalten wird, und der Labelinformationen, die durch die Labelinformationshalteeinheit 220 gehalten werden, basierend auf der durch die Zuverlässigkeitserfassungseinheit 230 erfassten Zuverlässigkeit.
Die Zuverlässigkeit der Labelinformationen ist gering, wenn 1 als ein Label an einer Position eingestellt ist, wo kein Zielobjekt vorhanden ist, oder wenn 0 als ein Label an einer Position eingestellt ist, wo ein Zielobjekt vorhanden ist. Hier wird basierend auf dieser Tendenz bestimmt, dass ein Label geringer Zuverlässigkeit eine hohe Wahrscheinlichkeit für Inkorrektheit bzw. Unrichtigkeit bezeichnet, und wird dieses Label zusammen mit dem Bild angezeigt.
Zunächst wird ein Element von Labelinformationen, dessen Zuverlässigkeit E gleich oder kleiner einem vorbestimmten Wert ist, aus den durch die Zuverlässigkeitserfassungseinheit 230 erfassten Labelinformationen ausgewählt. Das ausgewählte Labelinformationselement wird durch L bezeichnet. Als Nächstes wird ein Bereich entsprechend dem Label L in dem Bild ausgewählt. Der ausgewählte Bereich in dem Bild wird durch J bezeichnet. Der Bereich J ist ein rechteckiger Bereich einer vorbestimmten Größe, wobei die Koordinaten des Labels L zum Beispiel als die Mitte dienen.
Dann wird ein Bild, das den Bereich J umfasst, auf dem Monitor der Anzeigevorrichtung 400 angezeigt. 5 zeigt ein Anzeigebeispiel. In 5 bezeichnet 700 das auf dem Monitor angezeigte Fenster. 710 bezeichnet ein Beispiel des angezeigten Bereichs J. Der durch 720 bezeichnete schwarze Punkt dient als eine Information, die bezeichnet, dass das Label 1 ist. Zum Beispiel wird eine Konfiguration eingesetzt, in der der schwarze Punkt 720 angezeigt wird, wann das Label 1 ist, und der schwarze Punkt 720 nicht angezeigt wird, wenn das Label 0 ist. Hier ist ein zylindrisches Objekt, das ein Nichtzielobjekt ist, in dem Bereich J enthalten. Dementsprechend sollte der schwarze Punkt 720, der dem Label 1 entspricht, das bezeichnet, dass ein Zielobjekt vorhanden ist, nicht angezeigt werden. Somit kann der Benutzer bestimmen, ob die Labelinformationen korrekt sind oder nicht, indem er den auf dem Monitor angezeigten Bereich J prüft bzw. kontrolliert, und prüft bzw. kontrolliert, ob ein Label ver-/gegeben ist oder nicht (d.h., ob ein schwarzer Punkt ver-/gegeben ist oder nicht).
Zum Beispiel, wenn das Label 1 ist (d.h., wenn der schwarze Punkt 720 gegeben ist), obwohl in 710 in 5 kein Zielobjekt vorhanden ist, kann bestimmt werden, dass die eingestellten Labelinformationen inkorrekt sind. Auch, wenn das Label 0 ist (d.h., wenn kein schwarzer Punkt gegeben ist), obwohl ein Zielobjekt vorhanden ist, wie in dem Fall von 140 in 1B, kann auch bestimmt werden, dass die eingestellten Labelinformationen inkorrekt sind.
(Schritt S330)
Die Bedienungsannahmeeinheit 250 nimmt eine Benutzereingabe an, die unter Verwendung der Bedienungsvorrichtung 500 vorgenommen wird. Hier kann eine Modifikation der Labelinformationen durch eine Mausbedienung angenommen werden. Zum Beispiel ist eine Schaltfläche in einem durch die Anzeigevorrichtung 400 angezeigten Fenster angeordnet, und wird eine Modifikation der Labelinformationen ermöglicht bzw. aktiviert, indem die Schaltfläche mit der Maus angeklickt wird. Hier bezeichnen 730 und 731 in 5 Beispiele der Schaltfläche. 730 bezeichnet eine Modifikationsschaltfläche zum Ausführen eines Vorgangs zum Modifizieren der Labelinformationen. 731 bezeichnet eine Umschaltschaltfläche zum Umschalten auf Kandidatenlabelinformationen, die als Nächstes anzuzeigen sind.
(Schritt S340)
Die Labelinformationsmodifikationseinheit 260 bestimmt, ob die Labelinformationen zu modifizieren sind oder nicht, gemäß der durch die Bedienungsannahmeeinheit 250 angenommenen Benutzerbedienung. In dem Beispiel von 5 ist das Label 1, obwohl kein Zielobjekt vorhanden ist. Zum Beispiel, wenn die Modifikationsschaltfläche 730 gedrückt wird, wird bestimmt, dass die Labelinformationen zu modifizieren sind. Wenn die Umschaltschaltfläche 731 gedrückt wird, wird bestimmt, dass die Labelinformationen nicht zu modifizieren sind. Wenn die Labelinformationen zu modifizieren sind, schreitet die Verarbeitung zu Schritt S350 voran. Andererseits, wenn die Labelinformationen nicht zu modifizieren sind, schreitet die Verarbeitung zu Schritt S360 voran.
(Schritt S350)
Die Labelinformationsmodifikationseinheit 260 modifiziert die durch die Labelinformationshalteeinheit 220 gehaltenen Labelinformationen gemäß der durch die Bedienungsannahmeeinheit 250 angenommenen Benutzerbedienung. Zum Beispiel wird das Label 1, das unter der Annahme eingestellt wurde, dass ein Zielobjekt vorhanden ist, auf 0 korrigiert, und wird das Label 0, das unter der Annahme eingestellt wurde, dass kein Zielobjekt vorhanden ist, auf 1 korrigiert. Mit diesem Vorgang können die Labelinformationen modifiziert werden, die inkorrekt eingestellt wurden.
(Schritt S360)
Die Anzeigesteuereinheit 240 bestimmt, ob die Verarbeitung zu beenden ist oder nicht. Wenn eine (nicht gezeigte) Schaltfläche zum Beenden der Modifikationsvorgangsfolge gedrückt wird, oder wenn alle Modifikationsvorgänge abgeschlossen sind, endet die Verarbeitung. Andererseits, wenn der Schalter 731 gedrückt wird, endet die Verarbeitung nicht, sondern kehrt sie zu Schritt S320 zurück. Die Verarbeitungsfolge von 3 endet hier.
Wie es vorstehend beschrieben ist, wird/kann die Informationsverarbeitungsvorrichtung gemäß diesem Ausführungsbeispiel die Zuverlässigkeit von Labelinformationen berechnen, die für ein Zielobjekt eingestellt werden/sind, und die Labelinformationen und ein Bild entsprechend den Labelinformationen basierend auf der Zuverlässigkeit, z.B., ob die Zuverlässigkeit gleich oder kleiner dem vorbestimmten Wert ist, auswählen und anzeigen. Somit kann der Benutzer, der die Labelinformationen und das Bild betrachtet, die angezeigt werden, inkorrekte Labelinformationen modifizieren, und kann der Benutzer dementsprechend Lerndaten effizient überprüfen.
Zweites Ausführungsbeispiel
Zusammenfassung
Dieses Ausführungsbeispiel wird ein Beispiel beschreiben, in dem Parameter, die eine Position und eine Orientierung bezeichnen, als die Labelinformationen bezüglich des Vorhandenseins bzw. Vorliegens eines Zielobjekts in einem Bild eingestellt werden/sind. Es ist zu beachten, dass die Orientierung bei diesem Ausführungsbeispiel sich auf einen numerischen Wert bezieht, der einen Winkel in einem Bild bezeichnet.
6 zeigt ein Beispiel, in dem Labelinformationen gemäß diesem Ausführungsbeispiel eingestellt sind. 810 in 6 bezeichnet ein Beispiel, in dem die Labelinformationen mit einer korrekten Orientierung an einer Position eingestellt sind, wo ein Zielobjekt vorhanden ist. Die Labelinformationen drücken die Position und die Orientierung eines Zielobjekts mit einem schwarzen Punkt und einem Vektor aus. Hier bezeichnet die Orientierung, welche Richtung des Bilds einer vorbestimmten Richtung eines Zielobjekts entspricht. Bei diesem Ausführungsbeispiel besteht die korrekte Antwort darin, dass ein Vektor in der Richtung eingestellt wird/ist, die auf die obere Fläche bzw. die Oberseite eines Zielobjekts gerichtet ist. 811 und 820 bezeichnen Beispiele, in denen die Positionen, wo Zielobjekte vorhanden sind, korrekt sind, aber die Labelinformationen mit inkorrekten Orientierungen eingestellt sind. 821 bezeichnet ein Beispiel, in dem die Labelinformationen inkorrekt an einer Position eingestellt sind, wo kein Zielobjekt vorhanden ist. 830 bezeichnet ein Beispiel, in dem die Labelinformationen nicht eingestellt sind, obwohl ein Zielobjekt vorhanden ist.
Bei diesem Ausführungsbeispiel wird die Zuverlässigkeit für die Labelinformationen berechnet, die Informationen bezüglich einer Position und einer Orientierung enthalten, und werden ein Bild und die Labelinformationen basierend auf der Zuverlässigkeit ausgewählt und angezeigt. Somit wird eine effiziente Überprüfung der Labelinformationen ermöglicht.
Systemkonfiguration und Vorrichtungskonfiguration
Zunächst wird eine Systemkonfiguration gemäß diesem Ausführungsbeispiel beschrieben. Die Systemkonfiguration gemäß diesem Ausführungsbeispiel ist gleich derjenigen gemäß dem ersten Ausführungsbeispiel. Der Inhalt einer Verarbeitung, die durch Bestandselemente der Vorrichtungen durchgeführt wird, unterscheidet sich jedoch aufgrund der Zunahme in den Informationen, die in den Labelinformationen enthalten sind.
Zunächst enthalten die durch die Labelinformationshalteeinheit 220 gehaltenen Labelinformationen Informationen, die bezeichnen, ob ein Zielobjekt an jeder Position in einem Bild vorhanden ist oder nicht, und Informationen bezüglich der Orientierung bzw. Ausrichtung des Zielobjekts. Im Speziellen enthalten die Labelinformationen eine Information, die 1 ist, wenn ein Zielobjekt vorhanden ist, und eine Information, die 0 ist, wenn kein Zielobjekt vorhanden ist, und enthalten sie auch Informationen bezüglich der Position und der Orientierung. Die Position wird durch einen zweidimensionalen Koordinatenwert in einem Bild dargestellt, und die Orientierung wird durch einen numerischen Wert dargestellt, der einen Winkel in einem Bild bezeichnet.
Die Zuverlässigkeitserfassungseinheit 230 erfasst die Zuverlässigkeit auf die gleiche Art und Weise wie bei dem ersten Ausführungsbeispiel basierend auf der Wahrscheinlichkeit P, dass ein Zielobjekt an einer bezeichneten/designierten Position in einer bezeichneten/designierten Orientierung vorhanden ist, wobei die Wahrscheinlichkeit P durch die Erkennungseinheit 235 berechnet wird. Die Erkennungseinheit 235 erkennt, ob ein Zielobjekt an der bezeichneten/designierten Position in der bezeichneten/designierten Orientierung in einem Bild vorhanden ist oder nicht. Bei diesem Ausführungsbeispiel wird die Wahrscheinlichkeit P, dass ein Zielobjekt an der bezeichneten/designierten Position in der bezeichneten/designierten Orientierung vorhanden ist, unter Verwendung eines Erkenners basierend auf einem neuronalen Netzwerk berechnet. Es ist zu beachten, dass ein Erkenner, der erkennt, ob ein Zielobjekt in einem Bild vorhanden ist oder nicht, und auch die Orientierung eines Zielobjekts erkennt, wenn dieses vorhanden ist, eingerichtet werden kann durch Durchführen eines Er-/Lernens unter Verwendung von Bildern, in denen Zielobjekte vorhanden sind, und Bildern, in denen kein Zielobjekt vorhanden ist, sowie Bildern, in denen Zielobjekte unterschiedliche Orientierungen ein-/annehmen.
Die Anzeigesteuereinheit 240 veranlasst die Anzeigevorrichtung 400 zum Anzeigen eines Bilds, das durch die Bilderfassungseinheit 210 erfasst und gehalten wird, und der Labelinformationen, die durch die Labelinformationshalteeinheit 220 gehalten werden, basierend auf der durch die Zuverlässigkeitserfassungseinheit 230 erfassten Zuverlässigkeit. Hier werden die Labelinformationen so angezeigt, dass die Orientierung verstanden bzw. nachvollzogen werden kann. Bei diesem Ausführungsbeispiel wird die Orientierung mit einem Vektor ausgedrückt. 7 zeigt ein Anzeigebeispiel. In 7 bezeichnet 900 ein auf dem Monitor angezeigtes Fenster. 910 bezeichnet ein Beispiel eines Bereichs, der den Labelinformationen in einem Bild entspricht. Der schwarze Punkt und der Vektor, die durch 920 bezeichnet sind, bezeichnen Informationen in Bezug darauf, ob ein Zielobjekt vorhanden ist oder nicht, und Informationen bezüglich der Orientierung.
Zum Beispiel ist der Vektor, der in 910 von 7 durch 920 bezeichnet ist, nicht in der vorbestimmten Richtung des Zielobjekts (hier einer Richtung, die senkrecht zu der oberen Fläche bzw. der Oberseite des Zielobjekts ist) orientiert, und kann dementsprechend bestimmt werden, dass die eingestellten Labelinformationen inkorrekt sind.
Die Bedienungsannahmeeinheit 250 nimmt eine Benutzereingabe an, die unter Verwendung der Bedienungsvorrichtung 500 vorgenommen wird. Zum Beispiel wird eine Konfiguration eingesetzt, in der in dem Fall des Modifizierens der Orientierung ein Winkel eingegeben werden kann, indem ein Bereich in einem Bild unter Verwendung der Maus bezeichnet/designiert wird. Eine Modifikation, um ein Label zu ver-/geben oder nicht zu ver-/geben, wird auf ähnliche Weise zu dem ersten Ausführungsbeispiel durchgeführt. Die Labelinformationsmodifikationseinheit 260 modifiziert die durch die Labelinformationshalteeinheit 220 gehaltenen Labelinformationen gemäß einer durch die Bedienungsannahmeeinheit 250 angenommenen Benutzerbedienung.
Wie es vorstehend beschrieben ist, wird/kann die Informationsverarbeitungsvorrichtung gemäß diesem Ausführungsbeispiel die Zuverlässigkeit der Labelinformationen berechnen, die für ein Zielobjekt eingestellt werden/sind und Informationen bezüglich der Position und der Orientierung enthalten, und die Labelinformationen und ein Bild entsprechend den Labelinformationen basierend auf der Zuverlässigkeit, z.B., ob die Zuverlässigkeit gleich oder kleiner dem vorbestimmten Wert ist, auswählen und anzeigen. Somit kann der Benutzer, der die Labelinformationen und das Bild betrachtet, die angezeigt werden, inkorrekt eingestellte Labelinformationen modifizieren, und kann der Benutzer dementsprechend Lerndaten effizient überprüfen.
Nach Er-/Lernen des Vorhandenseins eines Zielobjekts unter Verwendung der durch die Labelinformationshalteeinheit 220 gehaltenen Labelinformationen ist es denkbar, dass die Zuverlässigkeit der neuen Labelinformationen erfasst wird, wenn der Benutzer Labelinformationen als Trainingsdaten neu einstellt. Die neuen Labelinformationen werden als Trainingsdaten eingesetzt, wenn die Zuverlässigkeit höher ist als der vorbestimmte Wert, und werden nicht als Trainingsdaten eingesetzt, wenn die Zuverlässigkeit geringer ist als der vorbestimmte Wert.
Erste Abwandlung
Bei dem ersten und dem zweiten Ausführungsbeispiel berechnet die Zuverlässigkeitserfassungseinheit 230 die Zuverlässigkeit, die den Grad einer Korrektheit bzw. Richtigkeit bezeichnet, für die durch die Labelinformationshalteeinheit 220 gehaltenen Labelinformationen, und wird zu dieser Zeit die Zuverlässigkeit durch die Erkennungseinheit 235 basierend auf dem Ergebnis einer Erkennung unter Verwendung eines neuronalen Netzwerks berechnet.
Es können jedoch beliebige andere Methoden zur Berechnung der Zuverlässigkeit verwendet werden, solange der Grad einer Korrektheit bzw. Richtigkeit der für ein Bild eingestellten Labelinformationen berechnet werden kann. Zum Beispiel kann eine Methode eingesetzt werden, in der ein dreidimensionales Formmodell eines Zielobjekts auf ein Bild basierend auf der Position und der Orientierung, die durch die Labelinformationen bezeichnet werden, projiziert wird, und die Zuverlässigkeit basierend auf dem Grad einer Übereinstimmung bzw. Kongruenz zwischen dem projizierten dreidimensionalen Formmodell und dem Bild eingestellt wird. Im Speziellen können Linien, die ein dreidimensionales Formmodell bilden, auf ein Bild projiziert werden, und kann die Zuverlässigkeit basierend auf dem Grad einer Übereinstimmung bzw. Kongruenz zwischen den projizierten Linien und in dem Bild detektierten Kanten bzw. Rändern eingestellt werden.
Alternativ kann der Grad einer Übereinstimmung bzw. Kongruenz berechnet werden, indem ein Template-Matching bzw. Vorlagenabgleich auf einem Bild unter Verwendung eines dreidimensionalen Formmodells eines Zielobjekts als Template bzw. Vorlage durchgeführt wird, und kann die Zuverlässigkeit basierend auf dem Grad einer Übereinstimmung bzw. Kongruenz eingestellt werden. In diesem Fall wird eine hohe Zuverlässigkeit eingestellt, wenn der Grad einer Übereinstimmung bzw. Kongruenz hoch ist. Umgekehrt wird eine geringe Zuverlässigkeit eingestellt, wenn der Grad ener Übereinstimmung bzw. Kongruenz gering ist.
Es kann ein Entfernungsbild verwendet werden, um die Zuverlässigkeit basierend auf der Qualität bzw. Eigenschaft/Beschaffenheit des Entfernungsbilds einzustellen. Zum Beispiel kann es Fälle geben, in denen es schwierig ist, ein Zielobjekt unter einer Bedingung, dass das Zielobjekt versteckt ist, oder abhängig von der Winkelbedingung des Zielobjekts zu sehen. In diesem Fall kann erwartet werden, dass es wahrscheinlich ist, dass inkorrekte Labelinformationen eingestellt werden. Dann können Variationen bzw. Veränderungen in Entfernungsinformationen und einer Neigung einer Fläche basierend auf dem Entfernungsbild geprüft werden, und kann die Zuverlässigkeit basierend auf den Werten von diesen eingestellt werden. Im Speziellen kann eine geringe Zuverlässigkeit eingestellt werden, wenn der Entfernungswert erheblich variiert, oder wenn es schwierig ist, ein Objekt zu beobachten bzw. zu bemerken, da eine Fläche des Objekts relativ zu der Richtung einer Sichtlinie der Aufnahmevorrichtung 300 erheblich geneigt ist.
Alternativ kann eine Methode eingesetzt werden, in der, wenn der Benutzer die Labelinformationen einstellt, der Benutzer auch die Zuverlässigkeit gemäß dem Grad einer Übereinstimmung bzw. Kongruenz einstellt, und die Zuverlässigkeitserfassungseinheit 230 die Zuverlässigkeit der Labelinformationen berechnet, indem die eingestellte Zuverlässigkeit gelesen wird.
Zweite Abwandlung
Wenn ein Bild und die Labelinformationen angezeigt werden, zeigt die Anzeigesteuereinheit 240, die bei dem ersten und bei dem zweiten Ausführungsbeispiel beschrieben ist, die Informationen bezüglich der Position und der Orientierung, die in den Labelinformationen enthalten sind, unter Verwendung eines schwarzen Punkts und eines Vektors an.
Es können jedoch beliebige andere Methoden zum Anzeigen der in den Labelinformationen enthaltenen Informationen verwendet werden, solange die Informationen in einer verständlichen bzw. nachvollziehbaren Art und Weise angezeigt werden können. Zum Beispiel kann ein Modell, das die Form eines Zielobjekts darstellt, in einem Bild angezeigt werden. 8 zeigt ein Beispiel, in dem ein Modell basierend auf den Informationen bezüglich der Position und der Orientierung, die in einem Label enthalten sind, angezeigt wird. In 8 bezeichnet 1000 ein auf dem Monitor angezeigtes Fenster. 1010 bezeichnet ein Beispiel eines Bereichs, der den Labelinformationen in einem Bild entspricht. Der schwarze Punkt und der Vektor, die durch 120 bezeichnet sind, bezeichnen Informationen, die bezeichnen, dass ein Zielobjekt vorhanden ist und Informationen in Bezug auf die Orientierung. Gestrichelte Linien 1030 bezeichnen ein Modell, das die Form eines Objekts darstellt, und werden in dem Bild basierend auf den Informationen bezüglich der Position und der Orientierung angezeigt. Die Methode des Anzeigens eines Modells ist dahingehend vorteilhaft, dass, im Vergleich zu der Methode des einfachen Anzeigens der Position und der Orientierung mit einem schwarzen Punkt und einem Vektor, leicht geprüft werden kann, ob ein Bild und die Labelinformationen übereinstimmen bzw. zusammenpassen. Es ist zu beachten, dass, was 1010 in 8 betrifft, eine Verschiebung zwischen dem Bild und dem Modell als Ergebnis eines Vergleichs von diesem herausgefunden bzw. beobachtet werden kann, und dementsprechend bestimmt werden kann, dass die eingestellten Labelinformationen inkorrekt sind. In anderen Methoden können die Informationen bezüglich der Position und der Orientierung mit Zeichen oder Zahlen angezeigt werden. Ansonsten können die Informationen bezüglich der Position und der Orientierung mit einer Tabelle oder einem Graphen angezeigt werden.
Dritte Abwandlung
Die Anzeigesteuereinheit 240, die bei dem ersten und bei dem zweiten Ausführungsbeispiel beschrieben ist, schneidet einen Bereich aus, der den Labelinformationen in einem Bild entspricht, und zeigt diesen an. Es können jedoch beliebige andere Methoden zum Anzeigen eines Bilds verwendet werden, solange ein Bereich, der durch Labelinformationen geringer Zuverlässigkeit, die durch die Zuverlässigkeitserfassungseinheit 230 berechnet wird, bezeichnet wird, in einer verständlichen bzw. nachvollziehbaren Art und Weise angezeigt werden kann.
Zum Beispiel können eine Vielzahl von Bildern, die einer Vielzahl von Elementen von Labelinformationen geringer Zuverlässigkeit entsprechen, kollektiv bzw. gemeinsam angezeigt werden. Hier zeigt 9A ein Beispiel, in dem eine Vielzahl von Bildern kollektiv bzw. gemeinsam angezeigt werden. 1100, 1101 und 1102 in 9 bezeichnen Beispiele von Bereichen, die durch Labelinformationen geringer Zuverlässigkeit bezeichnet werden. In dem Fall des Anzeigens von einer Vielzahl von Bildern können die Bilder gemäß der Zuverlässigkeit sortiert bzw. geordnet angezeigt werden. Das heißt, dass in diesem Beispiel eine Vielzahl von Sätzen von Labelinformationen und einem Bereich entsprechend der Labelinformationen in einem Bild basierend auf der Zuverlässigkeit angezeigt werden.
In einer anderen Methode kann ein gesamtes Bild angezeigt werden, und kann ein Bereich, der durch Labelinformationen geringer Zuverlässigkeit bezeichnet wird, in einer hervorgehobenen Art und Weise angezeigt werden. 9B zeigt ein Beispiel, in dem ein gesamtes Bild angezeigt wird, und Bereiche, die durch Labelinformationen geringer Zuverlässigkeit bezeichnet werden, hervorgehoben sind, indem diese Bereiche mit Rahmen umgeben bzw. eingefasst sind. Rahmen mit gestrichelter Linie, die durch 1110, 1111 und 1112 in 9B bezeichnet sind, bezeichnen die Bereiche, die durch Labelinformationen geringer Zuverlässigkeit bezeichnet werden.
Das heißt, dass in diesem Beispiel, wenn ein Bild eine Vielzahl von Bereichen umfasst, die Labelinformationen entsprechen, das gesamte Bild angezeigt wird, und Bereiche, die Labelinformationen mit einer Zuverlässigkeit entsprechen, die gleich oder kleiner dem vorbestimmten Wert ist, in einer hervorgehobenen Art und Weise angezeigt werden.
Alternativ kann eine Konfiguration eingesetzt werden, in der ein gesamtes Bild angezeigt wird und eine Verteilung der Zuverlässigkeit von Bereichen als Heat-Map angezeigt wird, sodass die Labelinformationen und die Zuverlässigkeit verglichen werden können.
Die Methode des Anzeigens einer Vielzahl von Kandidaten auf diese Art und Weise ermöglicht, dass ein gesamtes Bild zu einer Zeit geprüft wird, und kann dementsprechend die Effizienz der Überprüfung der Labelinformationen durch den Benutzer verbessern.
Vierte Abwandlung
Die Labelinformationen, die bei dem ersten und bei dem zweiten Ausführungsbeispiel beschrieben sind, enthalten Informationen bezüglich der Position und der Orientierung eines Zielobjekts. Die Labelinformationen können jedoch alternativ andere Parameter als die Position und die Orientierung eines Zielobjekts sein, und können zum Beispiel die Position und die Orientierung eines speziellen Teils bzw. Stücks bzw. Abschnitts (eines zu greifenden Teils/Stücks/Abschnitts) eines Zielobjekts sein.
Im Speziellen sind im Fall der Betrachtung eines Systems, in dem ein Roboter ein Zielobjekt aufnimmt bzw. ergreift, das in einem Bild erkannt wird, die Position und der Winkel des zu greifenden Teils eines Zielobjekts erforderlich. In diesem Fall können die Position und der Winkel des zu greifenden Teils eines Zielobjekts als die Labelinformationen verwendet werden. Der Inhalt einer Verarbeitung ist gleich demjenigen gemäß dem ersten und dem zweiten Ausführungsbeispiel, mit der Ausnahme, dass die Position und der Winkel, die durch die Labelinformationen ausgedrückt werden, verschieden sind. Auch in diesem Fall kann die Zuverlässigkeitserfassungseinheit 230 ein dreidimensionales Formmodell eines Zielobjekts auf ein Bild projizieren, und die Zuverlässigkeit basierend auf dem Grad einer Übereinstimmung bzw. Kongruenz zwischen dem projizierten dreidimensionalen Formmodell und dem Bild einstellen, wie es bei der ersten Modifikation dargelegt ist. Wenn der Grad einer Übereinstimmung bzw. Kongruenz berechnet wird, kann ein Bewertungswert berechnet werden, wobei ein Bereich nahe der zu greifenden Position als wichtig betrachtet wird.
Außerdem können auch Informationen, die die Farbe und den Typ eines Zielobjekts bezeichnen, zu den Labelinformationen hinzugefügt werden/sein. In diesem Fall erkennt die Erkennungseinheit 235, aufgrund des erhöhten Informationsgehalts, auch die Farbe und den Typ eines Zielobjekts, und gibt sie dann die Wahrscheinlichkeit aus. Die Zuverlässigkeitserfassungseinheit 230 berechnet die Zuverlässigkeit gemäß einem Unterschied bzw. einer Differenz zwischen der durch die Erkennungseinheit 235 ausgegebenen Wahrscheinlichkeit und den eingestellten Labelinformationen.
Fünfte Abwandlung
Bei dem ersten und dem zweiten Ausführungsbeispiel sind Bilder, die durch die Bilderfassungseinheit 210 erfasst werden, Graustufenbilder. Die zu erfassenden Bilder können entweder Graustufenbilder oder Farbbilder sein, solange die Bilder durch Fotografieren eines Zielobjekts erhalten werden. Die zu erfassenden Bilder können alternativ Entfernungsbilder sein, die Informationen bezüglich des Abstands zu einem Zielobjekt enthalten. Ferner kann die Methode zum Erfassen von Bildern jede beliebige Methode sein, die ermöglicht, dass durch die Aufnahmevorrichtung 300 aufgenommene Bilder erfasst werden. Bilder können über ein Netzwerk erfasst werden, oder Bilder, die vorübergehend in einem Speicher gespeichert werden/sind, können erfasst werden.
Die Aufnahmevorrichtung 300 kann jede beliebige Art von Vorrichtung sein, die Bilder erhält. Die Aufnahmevorrichtung 300 kann eine Kamera sein, die zweidimensionale Bildinformationen erhält, oder kann ein Entfernungssensor sein, der Entfernungsbilder erhält.
Sechste Abwandlung
In 1B ist jedes Element der Labelinformationen, die bei dem ersten und dem zweiten Ausführungsbeispiel beschrieben sind, durch einen Punkt bezeichnet. Die Methodes zum Ver-/Geben der Labelinformationen ist nicht darauf beschränkt, die Labelinformationen als einen Punkt zu ver-/geben, und die Labelinformationen können alternativ als ein Bereich bzw. Gebiet ver-/geben werden.
Wirkungen
Beim ersten Ausführungsbeispiel wird die Zuverlässigkeit der Labelinformationen berechnet, und werden das Bild und die Labelinformationen ausgewählt und angezeigt, wenn die Zuverlässigkeit gleich oder kleiner dem vorbestimmten Wert ist. Somit können die Labelinformationen effizient überprüft werden.
Beim zweiten Ausführungsbeispiel wird die Zuverlässigkeit für die Labelinformationen berechnet, die Informationen bezüglich der Position und der Orientierung enthalten, und werden ein Bild und die Labelinformationen basierend auf der Zuverlässigkeit ausgewählt und angezeigt. Somit können die Labelinformationen effizient überprüft werden.
Definition
Bei der vorliegenden Erfindung können die durch die Labelinformationshalteeinheit 220 gehaltenen Labelinformationen Informationen sein, die die Position und die Orientierung eines Zielobjekts darstellen, oder Informationen sein, die die Position und den Winkel eines speziellen Teils darstellen, das an einem Zielobjekt festgelegt ist, wie etwa eine zu greifende Position. Weiterhin können Informationen bezüglich der Farbe und des Typs eines Objekts auch hinzugefügt werden/sein.
Bei der vorliegenden Erfindung kann die durch die Zuverlässigkeitserfassungseinheit 230 erfasste Zuverlässigkeit unter Verwendung jeder beliebigen Methode erfasst werden, solange die Zuverlässigkeit berechnet werden kann, die einen Grad einer Korrektheit bzw. Richtigkeit der Labelinformationen darstellt. Die Zuverlässigkeit kann gemäß dem Ergebnis einer Erkennung basierend auf einem neuronalen Netzwerk berechnet werden, oder die Zuverlässigkeit kann durch Verwendung eines dreidimensionalen Formmodells eines Zielobjekts als Referenz und Prüfung des Grads einer Übereinstimmung bzw. Kongruenz zwischen dem dreidimensionalen Formmodell und einem Bild berechnet werden. Die Zuverlässigkeit kann unter Verwendung von Entfernungsinformationen hinsichtlich eines Entfernungsbilds basierend auf der Neigung und den Variationen bzw. Veränderungen der Entfernungsinformationen berechnet werden. Wenn der Benutzer die Labelinformationen einstellt, kann der Benutzer auch die Zuverlässigkeit gemäß dem Grad von Sicherheit bzw. Vertrauen/Zuversichtlichkeit einstellen, und kann die Zuverlässigkeit durch Auslesen der eingestellten Zuverlässigkeit erfasst werden.
Bei der vorliegenden Erfindung können durch die Anzeigesteuereinheit 240 angezeigte Informationen unter Verwendung einer beliebigen Methode angezeigt werden, solange ein Bereich bzw. Gebiet, der bzw. das durch Labelinformationen bezeichnet wird, deren durch die Zuverlässigkeitserfassungseinheit 230 erfasste Zuverlässigkeit gleich oder kleiner dem vorbestimmten Wert ist, in einer verständlichen bzw. nachvollziehbaren Art und Weise angezeigt werden kann. Ein Bereich bzw. Gebiet entsprechend Labelinformationen geringer Zuverlässigkeit in einem Bild kann ausgeschnitten und angezeigt werden, oder andernfalls kann ein gesamtes Bild angezeigt werden und kann ein Bereich bzw. Gebiet entsprechend Labelinformationen geringer Zuverlässigkeit durch einen rechteckigen Rahmen oder dergleichen bezeichnet werden.
Gemäß der vorliegenden Erfindung können Labelinformationen, die für ein Zielobjekt eingestellt werden/sind, modifiziert werden, und kann der Benutzer Lerndaten effizient überprüfen.
Weitere Ausführungsbeispiele
Ein oder mehr Ausführungsbeispiele der vorliegenden Erfindung können auch verwirklicht werden durch einen Computer eines Systems oder einer Vorrichtung, der computerausführbare Anweisungen (z.B. ein oder mehr Programme), die auf einem Speichermedium (das vollständiger auch als ein „nicht-vorübergehendes computerlesbares Speichermedium“ bezeichnet werden kann) aufgezeichnet sind, ausliest und ausführt, um die Funktionen von ein oder mehr der vorstehend beschriebenen Ausführungsbeispiele durchzuführen, und/oder ein oder mehr Schaltungen (z.B. eine anwendungsspezifische integrierte Schaltung (ASIC)) zur Durchführung der Funktionen von ein oder mehr der vorstehend beschriebenen Ausführungsbeispiele umfasst, sowie durch ein Verfahren, das durch den Computer des Systems oder der Vorrichtung durchgeführt wird, indem dieser zum Beispiel die computerausführbaren Anweisungen von dem Speichermedium ausliest und ausführt, um die Funktionen von ein oder mehr der vorstehend beschriebenen Ausführungsbeispiele durchzuführen, und/oder die ein oder mehr Schaltungen steuert, um die Funktionen von ein oder mehr der vorstehend beschriebenen Ausführungsbeispiele durchzuführen. Der Computer kann ein oder mehr Prozessoren (z.B. Zentralverarbeitungseinheit (CPU), Mikroverarbeitungseinheit (MPU)) aufweisen und kann ein Netzwerk separater Computer oder separater Prozessoren umfassen, um die computerausführbaren Anweisungen auszulesen und auszuführen. Die computerausführbaren Anweisungen können an den Computer zum Beispiel von einem Netzwerk oder dem Speichermedium bereitgestellt werden. Das Speichermedium kann zum Beispiel ein oder mehr von einer Festplatte, einem Direktzugriffsspeicher (RAM), einem Festwertspeicher (ROM), einem Speicher verteilter Rechensysteme, einer optischen Platte (wie etwa einer Compact Disc (CD), einer Digital Versatile Disc (DVD) oder einer Blu-ray Disc (BD)™), einer Flashspeichervorrichtung, einer Speicherkarte und dergleichen umfassen.
Während die vorliegende Erfindung mit Bezug auf beispielhafte Ausführungsbeispiele beschrieben wurde, ist es selbstverständlich, dass die Erfindung nicht auf die offenbarten beispielhaften Ausführungsbeispiele beschränkt ist. Dem Umfang der folgenden Patentansprüche ist die breiteste Auslegung zuzugestehen, so dass alle derartigen Modifikationen und äquivalente Strukturen und Funktionen umfasst sind.
Eine Informationsverarbeitungsvorrichtung umfasst: zumindest einen Prozessor, der programmiert ist zum Veranlassen der Vorrichtung zum: Halten von Labelinformationen bezüglich eines Vorhandenseins eines Zielobjekts, wobei die Labelinformationen für das Zielobjekt in einem Bild eingestellt sind; Erfassen einer Zuverlässigkeit der Labelinformationen; Veranlassen einer Anzeigevorrichtung zum Anzeigen der Labelinformationen und eines Bilds entsprechend den Labelinformationen in dem Bild basierend auf der Zuverlässigkeit; Annehmen einer durch einen Benutzer vorgenommenen Bedienung; und Modifizieren der Labelinformationen basierend auf der Bedienung.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 5953151 [0003, 0004]

Claims

Informationsverarbeitungsvorrichtung mit: zumindest einem Prozessor, der programmiert ist zum Veranlassen der Vorrichtung zum: Halten von Labelinformationen bezüglich eines Vorhandensein eines Zielobjekts, wobei die Labelinformationen für das Zielobjekt in einem Bild eingestellt sind; Erfassen einer Zuverlässigkeit der Labelinformationen; Veranlassen einer Anzeigevorrichtung zum Anzeigen der Labelinformationen und eines Bilds entsprechend den Labelinformationen in dem Bild basierend auf der Zuverlässigkeit; Annehmen einer durch einen Benutzer vorgenommenen Bedienung; und Modifizieren der Labelinformationen basierend auf der Bedienung.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei der zumindest eine Prozessor ferner programmiert ist zum Veranlassen der Vorrichtung zum: Erkennen des Zielobjekts durch Berechnen einer Wahrscheinlichkeit, dass das Zielobjekt an einer Position in dem Bild vorhanden ist, wobei die Position durch die Labelinformationen bezeichnet ist, und wobei, wenn die Vorrichtung die Zuverlässigkeit der Labelinformationen erfasst, die Zuverlässigkeit basierend auf einem Ergebnis des Erkennens des Zielobjekts erfasst wird.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei, wenn die Vorrichtung die Zuverlässigkeit der Labelinformationen erfasst, ein Modell, das eine Form des Zielobjekts darstellt, auf das Bild entsprechend den Labelinformationen in dem Bild basierend auf den Labelinformationen projiziert wird, und die Zuverlässigkeit basierend auf einem Unterschied zwischen dem projizierten Modell und dem Bild erfasst wird.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei das Bild ein Entfernungsbild ist, und wenn die Vorrichtung die Zuverlässigkeit der Labelinformationen erfasst, die Zuverlässigkeit der Labelinformationen basierend auf Entfernungsinformationen bezüglich des Entfernungsbilds erfasst wird.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei die Labelinformationen Informationen enthalten, die bezeichnen, ob das Zielobjekt an einer beliebigen Position in dem Bild vorhanden ist oder nicht.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei die Labelinformationen Informationen, die bezeichnen, ob das Zielobjekt an einer beliebigen Position in dem Bild vorhanden ist oder nicht, und Informationen bezüglich einer Orientierung des Zielobjekts an der Position enthalten.
Informationsverarbeitungsvorrichtung gemäß Anspruch 6, wobei, wenn die Vorrichtung die Anzeigevorrichtung zum Anzeigen der Labelinformationen und des Bilds entsprechend den Labelinformationen in dem Bild veranlasst, ein Modell, das eine Form des Zielobjekts darstellt, auf dem Bild entsprechend den Labelinformationen in dem Bild basierend auf den Informationen bezüglich der Position und der Orientierung, die in den Labelinformationen enthalten sind, angezeigt wird.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei die Labelinformationen Informationen bezüglich eines Teils des Zielobjekts sind, wobei der Teil zu greifen ist.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei, wenn die Vorrichtung die Anzeigevorrichtung zum Anzeigen der Labelinformationen und des Bilds entsprechend den Labelinformationen in dem Bild veranlasst, Labelinformationen mit der Zuverlässigkeit, die gleich oder kleiner einem vorbestimmten Wert ist, und ein Bild entsprechend den Labelinformationen in dem Bild angezeigt werden.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei, wenn die Vorrichtung die Anzeigevorrichtung zum Anzeigen der Labelinformationen und des Bilds entsprechend den Labelinformationen in dem Bild veranlasst, eine Vielzahl von Sätzen der Labelinformationen und des Bilds entsprechend den Labelinformationen in dem Bild basierend auf der Zuverlässigkeit angezeigt werden.
Informationsverarbeitungsvorrichtung gemäß Anspruch 1, wobei, wenn die Vorrichtung die Anzeigevorrichtung zum Anzeigen der Labelinformationen und des Bilds entsprechend den Labelinformationen in dem Bild veranlasst, wenn eine Vielzahl von Bildern entsprechend den Labelinformationen in einem Bild umfasst sind, das eine Bild vollständig angezeigt wird und ein Bild entsprechend Labelinformationen mit der Zuverlässigkeit, die gleich oder kleiner einem vorbestimmten Wert ist, in dem Bild in einer hervorgehobenen Art und Weise angezeigt wird.
Informationsverarbeitungsvorrichtung mit: zumindest einem Prozessor, der programmiert ist zum Veranlassen der Vorrichtung zum: Erfassen eines Lerners, der ein Bildmerkmal eines Zielobjekts unter Verwendung eines Bilds erlernt hat, das durch Fotografieren des Zielobjekts erhalten wird, wobei eine Vielzahl von Elementen von Labelinformationen bezüglich einer Position, wo das Zielobjekt vorhanden ist, als Trainingsdaten dienen; Erfassen einer Zuverlässigkeit, die eine Wahrscheinlichkeit bezeichnet, dass die Labelinformationen in Entsprechung zu der Position, wo das Zielobjekt vorhanden ist, gegeben sind, für zumindest ein Element von Labelinformationen, die als Trainingsdaten an den Lerner gegeben werden; und Veranlassen einer Anzeigevorrichtung zum Anzeigen der Labelinformationen und eines Bilds entsprechend den Labelinformationen in dem Bild basierend auf der Zuverlässigkeit.
Informationsverarbeitungsvorrichtung gemäß Anspruch 12, wobei, wenn die Vorrichtung die Zuverlässigkeit erfasst, der Lerner veranlasst wird zum Ausgeben einer Wahrscheinlichkeit, dass das Zielobjekt an der Position vorhanden ist, für die die Labelinformationen gegeben sind, und die Zuverlässigkeit unter Verwendung der Wahrscheinlichkeit erfasst wird.
Informationsverarbeitungsvorrichtung gemäß Anspruch 12, wobei der zumindest eine Prozessor ferner programmiert ist zum Veranlassen der Vorrichtung zum: Modifizieren der Labelinformationen basierend auf einer Benutzerbedienung.
Informationsverarbeitungsvorrichtung gemäß Anspruch 12, wobei, wenn die Vorrichtung die Anzeigevorrichtung zum Anzeigen der Labelinformationen und des Bilds entsprechend den Labelinformationen in dem Bild veranlasst, eine Vielzahl von Sätzen der Labelinformationen und des Bilds entsprechend den Labelinformationen in dem Bild basierend auf der Zuverlässigkeit angezeigt werden.
Informationsverarbeitungsvorrichtung gemäß Anspruch 12, wobei, wenn die Vorrichtung die Anzeigevorrichtung zum Anzeigen der Labelinformationen und des Bilds entsprechend den Labelinformationen in dem Bild veranlasst, wenn eine Vielzahl von Bildern entsprechend den Labelinformationen in einem Bild umfasst sind, das eine Bild vollständig angezeigt wird und ein Bild entsprechend Labelinformationen mit der Zuverlässigkeit, die gleich oder kleiner einem vorbestimmten Wert ist, in dem Bild in einer hervorgehobenen Art und Weise angezeigt wird.
Informationsverarbeitungsvorrichtung gemäß Anspruch 12, wobei, wenn die Vorrichtung die Anzeigevorrichtung zum Anzeigen der Labelinformationen und des Bilds entsprechend den Labelinformationen in dem Bild veranlasst, Labelinformationen mit der Zuverlässigkeit, die gleich oder kleiner einem vorbestimmten Wert ist, und ein Bild entsprechend den Labelinformationen in dem Bild angezeigt werden.
Verfahren zur Steuerung einer Informationsverarbeitungsvorrichtung, die eine Halteeinrichtung zum Halten von Labelinformationen bezüglich eines Vorhandenseins eines Zielobjekts umfasst, wobei die Labelinformationen für das Zielobjekt in einem Bild eingestellt sind, wobei das Verfahren aufweist: Erfassen einer Zuverlässigkeit der Labelinformationen; Veranlassen einer Anzeigevorrichtung zum Anzeigen der Labelinformationen und eines Bilds entsprechend den Labelinformationen in dem Bild basierend auf der Zuverlässigkeit; Annehmen einer durch einen Benutzer vorgenommenen Bedienung; und Modifizieren der Labelinformationen basierend auf der Bedienung.
Verfahren zur Steuerung einer Informationsverarbeitungsvorrichtung, wobei das Verfahren aufweist: Erfassen eines Lerners, der ein Bildmerkmal eines Zielobjekts unter Verwendung eines Bilds erlernt hat, das durch Fotografieren des Zielobjekts erhalten wird, wobei eine Vielzahl von Elementen von Labelinformationen bezüglich einer Position, wo das Zielobjekt vorhanden ist, als Trainingsdaten dienen; Erfassen einer Zuverlässigkeit, die eine Wahrscheinlichkeit bezeichnet, dass die Labelinformationen in Entsprechung zu der Position, wo das Zielobjekt vorhanden ist, gegeben sind, für zumindest ein Element von Labelinformationen, die als Trainingsdaten an den Lerner gegeben werden; und Veranlassen einer Anzeigevorrichtung zum Anzeigen der Labelinformationen und eines Bilds entsprechend den Labelinformationen in dem Bild basierend auf der Zuverlässigkeit.
Nicht-vorübergehendes computerlesbares Speichermedium, das ein Computerprogramm speichert, das zum Veranlassen eines Computers zum Durchführen eines Verfahrens zur Steuerung einer Informationsverarbeitungsvorrichtung dient, die eine Halteeinrichtung zum Halten von Labelinformationen bezüglich eines Vorhandenseins eines Zielobjekts umfasst, wobei die Labelinformationen für das Zielobjekt in einem Bild eingestellt sind, wobei das Verfahren aufweist: Erfassen einer Zuverlässigkeit der Labelinformationen; Veranlassen einer Anzeigevorrichtung zum Anzeigen der Labelinformationen und eines Bilds entsprechend den Labelinformationen in dem Bild basierend auf der Zuverlässigkeit; Annehmen einer durch einen Benutzer vorgenommenen Bedienung; und Modifizieren der Labelinformationen basierend auf der Bedienung.