-
Gebiet
-
Die vorliegende Offenbarung betrifft das Detektieren eines Objekts, das versehentlich im Fahrgastraum eines Fahrzeugs zurückgelassen wurde.
-
Hintergrund
-
Es geschieht sehr häufig, dass ein Benutzer eines Fahrzeugs persönliche Objekte (z. B. eine Handtasche, einen Geldbeutel, ein Telefon, einen Laptop, eine Getränkedose usw.) auf dem Armaturenbrett, dem Vorder- oder Rücksitz eines Fahrzeugs zurücklässt. Ein Straftäter könnte durch das wertvolle persönliche Objekt dazu verleitet werden, das wertvolle Objekt zu stehlen. Bei diesem Prozess würde der Straftäter einen Schaden am Fahrzeug verursachen (ein Glasfenster zerbrechen) müssen, um Zugriff auf das wertvolle Objekt zu erlangen. Somit besteht ein Bedarf, den Benutzer des Fahrzeugs zu warnen, falls ein wertvolles Objekt im Fahrgastraum des Fahrzeugs zurückgelassen wird. Es ist jedoch auch wichtig, dass der Benutzer des Fahrzeugs nicht unnötig gewarnt wird, wenn das zurückgelassene Objekt bzw. die zurückgelassenen Objekte nicht wertvoll ist bzw. sind.
-
Die japanische Patentanmeldung
JP2006338535A offenbart, dass das Vergleichen des gesamten oder eines Teils des Autoinnenraumbildes mit einem zuvor gespeicherten Referenzbild verwendet wird, um im Fahrgastraum des Fahrzeugs zurückgelassene Objekte zu detektieren.
-
Die japanische Patentanmeldung
JP2005115911A offenbart, dass der Zustand des Innenraums des Fahrzeugs zu der Zeit, zu der der Fahrer in das Fahrzeug einsteigt, und der Zustand des Innenraums des Fahrzeugs zu der Zeit, zu der der Fahrer aus dem Fahrzeug aussteigt, verglichen werden und eine Beurteilung vorgenommen wird, ob eine Sache zurückgelassen wird.
-
Daher wird ein Benutzer bei dem oben erwähnten Stand der Technik gewarnt werden, selbst wenn ein Blatt Papier oder ein Kleidungsstück im Fahrzeug zurückgelassen wird. Somit würde der Benutzer unnötig gewarnt werden. Daher ist es dem Stand der Technik nicht möglich, den Benutzer eines Fahrzeugs nur zu warnen, wenn wertvolle persönliche Objekte im Fahrzeug zurückgelassen werden. Mit anderen Worten wird der Stand der Technik den Benutzer möglicherweise unnötig über alle zurückgelassenen Objekte, selbst jene mit geringem Wert, warnen.
-
Daher besteht ein Bedarf an einem Verfahren und einem System, das den Fahrer des Fahrzeugs nur warnt, falls ein wertvolles Objekt zurückgelassen wird.
-
Kurzfassung
-
Ausführungsformen der vorliegenden Erfindung sind auf ein Verfahren und ein System zum Detektieren eines Objekts, das im Fahrgastraum des Fahrzeugs zurückgelassen wird, ausgerichtet, wie in den angehängten Ansprüchen dargelegt.
-
Das Verfahren beginnt mit dem Empfangen eines oder mehrerer Bilder von mindestens einer Bildaufnahmeeinrichtung, die im Fahrgastraum eines Fahrzeugs installiert ist, und Subtrahieren eines vorbestimmten Hintergrunds von einem vorbestimmten Gebiet von Interesse des einen oder der mehreren Bilder. Des Weiteren wird das Gebiet von Interesse der aufgenommenen Bilder zum Detektieren eines oder mehrerer Objekte innerhalb des Fahrzeugs zum Beispiel basierend auf einer Differenz in der Pixelintensität verarbeitet. Für jedes detektierte Objekt wird ein Bild des detektierten Objekts aus dem einen oder den mehreren Bildern, die von der Bildaufnahmeeinrichtung empfangen werden, extrahiert. Jedes Bild der detektierten Objekte wird unter Verwendung eines vortrainierten Neuronalnetzwerk-Objektklassifizierermodells klassifiziert. Eine Warnung wird dem Benutzer basierend auf der Klassifikation bereitgestellt, wenn mindestens ein detektiertes Objekt zu einer vorbestimmten Klasse, d. h. einer Klasse wertvoller Objekte mit Objekten, wie etwa Schmuck, Mobiltelefon, Geldbeutel usw., gehört.
-
Das System zum Detektieren eines Objekts im Fahrgastraum des Fahrzeugs umfasst mindestens eine Bildaufnahmeeinrichtung, die innerhalb des Fahrgastraums eines Fahrzeugs installiert ist, einen Prozessor, einen Speicher und eine Audioausgabeeinrichtung. Der Prozessor ist funktionsfähig mit der Bildaufnahmeeinrichtung, dem Speicher und der Audioausgabeeinrichtung gekoppelt. Der Prozessor ist zum Empfangen eines oder mehrerer Bilder von der Bildaufnahmeeinrichtung ausgelegt. Der Prozessor ist ferner zum Subtrahieren eines im Speicher gespeicherten vorbestimmten Hintergrunds von einem vorbestimmten Gebiet von Interesse des einen oder der mehreren Bilder ausgelegt. Der Prozessor ist ferner zum Verarbeiten des Gebiets von Interesse ausgelegt, um ein oder mehrere Objekte innerhalb des Fahrzeugs zum Beispiel basierend auf einer Differenz in der Pixelintensität zu detektieren. Für jedes detektierte Objekt extrahiert der Prozessor ein Bild des detektierten Objekts aus dem einen oder den mehreren Bildern, die von der Bildaufnahmeeinrichtung empfangen werden. Ferner klassifiziert der Prozessor jedes der detektierten Objekte basierend auf dem extrahierten Bild des Objekts unter Verwendung eines im Speicher gespeicherten vortrainierten Neuronalnetzwerk-Objektklassifizierermodells. Der Prozessor ist ferner zum Warnen eines Benutzers des Fahrzeugs unter Verwendung der Audioausgabeeinrichtung basierend auf der Klassifikation ausgelegt, wenn mindestens ein detektiertes Objekt zu einer vorbestimmten Klasse, d. h. einer Klasse wertvoller Objekte mit Objekten, wie etwa Schmuck, Mobiltelefon, Geldbeutel usw., gehört.
-
Somit stellt das Verfahren und das System zum Detektieren eines Objekts, das im Fahrgastraum des Fahrzeugs zurückgelassen wird, dem Benutzer des Fahrzeugs eine Warnung bereit, falls ein wertvolles Objekt zurückgelassen wird, und vermeidet ein unnötiges Warnen des Benutzers, falls das im Fahrzeug zurückgelassene Objekt als nicht wertvoll kategorisiert wird.
-
Es ist auch ein Computerprogramm bereitgestellt, das Programmanweisungen umfasst, um zu bewirken, dass ein Computerprogramm das obige Verfahren ausführt, die auf einem Aufzeichnungsmedium, Trägersignal oder Nurlesespeicher umgesetzt sein können.
-
Figurenliste
-
Die Erfindung wird aus der folgenden Beschreibung einer Ausführungsform davon, die nur beispielshalber gegeben ist, unter Bezugnahme auf die begleitenden Zeichnungen besser verständlich, in denen gilt:
- 1 veranschaulicht beispielhaft ein Fahrzeug gemäß manchen Ausführungsformen der vorliegenden Erfindung;
- 2 ist ein Flussdiagramm, das eine Ausführungsform des erfindungsgemäßen Verfahrens oder Prozesses zum Detektieren eines Objekts, das im Fahrgastraum des Fahrzeugs zurückgelassen wird, gemäß manchen Ausführungsformen der vorliegenden Erfindung veranschaulicht;
- 3 veranschaulicht ein typisches Beispiel für ein Begrenzungskasten-Faltungs-Neuronalnetzwerk (CNN: Convolutional Neural Network) für eine Szene, um eine spezielle Klasse von Objekt zu identifizieren; und
- 4 ist ein Funktionsblockdiagramm, das die primären Komponenten eines Systems/einer Vorrichtung zum Detektieren eines Objekts, das im Fahrgastraum des Fahrzeugs zurückgelassen wird, gemäß manchen Ausführungsformen der vorliegenden Erfindung veranschaulicht.
-
Ausführliche Beschreibung der Zeichnungen
-
1 veranschaulicht beispielhaft ein Fahrzeug 101 gemäß manchen Ausführungsformen der vorliegenden Erfindung. Das Fahrzeug umfasst eine Bildaufnahmeeinrichtung, die als 102 oder 103 bezeichnet ist, oder mehrere Bildaufnahmeeinrichtungen 102, 103, die im Innenraum des Fahrzeugs installiert sind. Die Bildaufnahmeeinrichtungen sind dazu ausgelegt, ein Bild des Innenraums des Fahrzeugs oder des Fahrgastraums des Fahrzeugs 101 aufzunehmen. Des Weiteren, wie beispielhaft veranschaulicht, wird eine mobile Einrichtung 104 auf dem Vordersitz des Fahrzeugs 101 zurückgelassen. Ein Kleidungsstück 105 wird auch beispielhaft als auf dem Rücksitz des Fahrzeugs 101 zurückgelassen dargestellt. Bei einer bevorzugten Ausführungsform sollen das System und das Verfahren den Benutzer des Fahrzeugs warnen, falls ein wertvoller Gegenstand zurückgelassen wird. Eine Warnung wird zum Beispiel bereitgestellt, falls das Mobiltelefon 104 zurückgelassen wird, und es wird keine Warnung bereitgestellt, falls nur das Kleidungsstück 105 zurückgelassen wird. Eine Warnung wird außerdem bereitgestellt, wenn mehrere Objekte als zurückgelassen detektiert werden, wenn mindestens eines der mehreren Objekte als wertvoll klassifiziert wird.
-
2 ist ein Flussdiagramm, das eine Ausführungsform des erfindungsgemäßen Verfahrens oder Prozesses zum Detektieren eines Objekts, das im Fahrgastraum des Fahrzeugs zurückgelassen wird, gemäß manchen Ausführungsformen der vorliegenden Erfindung veranschaulicht.
-
Das Verfahren beginnt mit dem Empfangen 201 eines oder mehrerer Bilder von mindestens einer Bildaufnahmeeinrichtung 103, die im Fahrgastraum eines Fahrzeugs 101 installiert ist, und Subtrahieren 202 eines vorbestimmten Hintergrunds von einem vorbestimmten Gebiet von Interesse des einen oder der mehreren Bilder. Es versteht sich, dass andere Verfahren verwendet werden können, um ein Objekt als vom Hintergrund verschieden zu identifizieren. Der vorbestimmte Hintergrund wird unter Verwendung von mindestens einem Bild des Fahrgastraums des Fahrzeugs erzeugt, während keine Objekte innerhalb des Fahrgastraums des Fahrzeugs platziert sind.
-
Einem Fachmann ist klar, dass das Gebiet von Interesse das Gebiet des durch die Bildaufnahmeeinrichtung 103 aufgenommenen Bildes beinhalten kann, dass die Vordersitze, die Rücksitze und das Armaturenbrett des Fahrzeugs 101 abdeckt, wo ein Benutzer des Fahrzeugs ein Objekt am wahrscheinlichsten platzieren wird. Das Gebiet von Interesse kann jedoch ein anderer Bereich des Bildes sein, in dem es für einen Benutzer des Fahrzeugs möglich ist, ein Objekt zu platzieren, wie etwa eine hintere Ablage hinter dem Rücksitz des Fahrzeugs.
-
Des Weiteren werden die Gebiete von Interesse der aufgenommenen Bilder zum Detektieren eines oder mehrerer Objekte innerhalb des Fahrzeugs basierend auf einer Differenz in der Pixelintensität verarbeitet 203. Für jedes detektierte Objekt wird ein Bild des detektierten Objekts aus dem einen oder den mehreren Bildern, die von der Bildaufnahmeeinrichtung empfangen werden, extrahiert 204.
-
Jedes Bild der detektierten Objekte wird unter Verwendung eines vortrainierten Neuronalnetzwerk-Objektklassifizierermodells oder eines Maschinenlernalgorithmus klassifiziert 205. Das Bild des detektierten Objekts wird durch Zuschneiden des Gebiets des Bildes, in dem das Objekt detektiert wird, abgeleitet. Das Bild des detektierten Objekts wird durch das vortrainierte Neuronalnetzwerk-Objektklassifizierermodell oder ein Modell, das einen Maschinenlernalgorithmus einsetzt, gegeben. Das Modell klassifiziert das Objekt, d. h. eine Handtasche, einen Geldbeutel, ein Kleidungsstück, Schmuck usw., und einem Fachmann ist klar, dass Schmuck gewöhnlich das wertvollste und ein Kleidungsstück das am wenigsten wertvolle Objekt ist.
-
Neuronalnetzwerke, zum Beispiel Faltungs-Neuronalnetzwerke, können zum Detektieren und Unterscheiden einer beliebigen Klasse von Szenenobjekt trainiert werden. 3 veranschaulicht ein typisches Beispiel für ein Begrenzungskasten-Faltungs-Neuronalnetzwerk (CNN) für eine Büroszene, die eine Maus, einen Vogel und eine Flasche zeigt, die als ein Objekt mit niedrigem Wert klassifiziert werden können. Ein Mobiltelefon und/oder ein Laptop können als ein Objekt mit hohem Wert klassifiziert werden. Das System klassifiziert die Objekte nur bei einer Ausführungsform direkt basierend dem Erscheinungsbild. Mit anderen Worten, falls ein Mobiltelefon die visuellen Charakteristiken eines Mobiltelefons aufweist, detektiert das System somit ein Mobiltelefon als ein Objekt mit hohem Wert, was dann verwendet werden kann, um eine geeignete Warnung für den Fahrer erstellen.
-
Bei der vorliegenden Anmeldung wird eine Begrenzungskastendetektion bevorzugt, da das System nur das Vorhandensein des wertvollen Objekts detektieren will. CNNs mit einer anderen Konfiguration können die Verwendung einer semantischen Segmentierung ermöglichen, bei der eine Pro-Pixel-Kennzeichnung des Objekttyps durchgeführt wird. Allgemein sind semantische Segmentierungsnetzwerke typischerweise größer als Begrenzungskastennetzwerke (für eine gegebene Leistungsfähigkeitsmetrik) und können erheblich mehr Rechenressourcen erfordern.
-
Eine Warnung wird für den Benutzer basierend auf der Klassifikation bereitgestellt 206, wenn mindestens ein detektiertes Objekt zu einer vorbestimmten Klasse, d. h. einer Klasse wertvoller Objekte mit Objekten, wie etwa Schmuck, Mobiltelefon, Geldbeutel usw., gehört.
-
Bei einer Ausführungsform kann der Benutzer unter Verwendung einer dringenden Audiowarnung gewarnt werden, wenn geschätzt wird, dass der mindestens eine detektierte Gegenstand über einem ersten Schwellenwert liegt. Die Audiowarnung ist eine nicht dringende Audiowarnung, wenn geschätzt wird, dass der mindestens eine detektierte Gegenstand über einem zweiten Schwellenwert, aber unter dem ersten Schwellenwert liegt. Der Wert des detektierten Gegenstands von einer Klasse von Gegenständen, z. B. Taschen und Handtaschen, kann als weniger wertvoll als Schmuck, Uhren usw. angesehen werden.
-
4 ist ein Funktionsblockdiagramm, das die primären Komponenten eines Systems/einer Vorrichtung 300 zum Detektieren eines Objekts, das im Fahrgastraum des Fahrzeugs 101 zurückgelassen wird, gemäß manchen Ausführungsformen der vorliegenden Erfindung veranschaulicht. Die Bildaufnahmeeinrichtung ist entweder eine Weitwinkelkamera oder eine Fischaugenkamera.
-
Der Prozessor 301 ist funktionsfähig mit der Bildaufnahmeeinrichtung 304, dem Speicher 302, dem Sendeempfänger und der Audioausgabeeinrichtung 305 gekoppelt. Der Prozessor 301 ist zum Empfangen eines oder mehrerer Bilder von der Bildaufnahmeeinrichtung 304 ausgelegt. Der Prozessor 301 ist ferner zum Subtrahieren eines vorbestimmten Hintergrunds, der im Speicher 302 gespeichert ist, von einem vorbestimmten Gebiet von Interesse des einen oder der mehreren Bilder ausgelegt. Der Prozessor erzeugt den vorbestimmten Hintergrund basierend auf mindestens einem Bild des Fahrgastraums des Fahrzeugs und speichert den vorbestimmten Hintergrund im Speicher.
-
Der Prozessor 301 ist ferner zum Verfolgen des Gebiets von Interesse ausgelegt, um ein oder mehrere Objekte innerhalb des Fahrzeugs 101 basierend auf einer Differenz in der Pixelintensität zu detektieren. Für jedes detektierte Objekt extrahiert der Prozessor 301 ein Bild des detektierten Objekts aus dem einen oder den mehreren Bildern, die von der Bildaufnahmeeinrichtung 304 empfangen werden. Ferner klassifiziert der Prozessor 301 jedes der detektierten Objekte basierend auf dem extrahierten Bild des Objekts unter Verwendung eines vortrainierten Neuronalnetzwerk-Objektklassifizierermodells, das im Speicher 302 gespeichert ist. Das vortrainierte Neuronalnetzwerk-Objektklassifizierermodell kann aktualisiert werden, indem ein aktualisiertes vortrainiertes Neuronalnetzwerk-Objektklassifizierermodell über den Sendeempfänger 303 empfangen wird, und der Prozessor 301 ist zum Speichern des aktualisierten vortrainierten Neuronalnetzwerk-Objektklassifizierermodells im Speicher 302 ausgelegt.
-
Der Prozessor 301 ist ferner zum Warnen eines Benutzers des Fahrzeugs 101 unter Verwendung der Audioausgabeeinrichtung 305 basierend auf der Klassifikation ausgelegt, wenn mindestens ein detektiertes Objekt zu einer vorbestimmten Klasse, d. h. einer Klasse wertvoller Objekte mit Objekten, wie etwa Schmuck, Mobiltelefon, Geldbeutel usw., gehört.
-
Bei einer bevorzugten Ausführungsform ist der Prozessor ferner zum Bereitstellen einer dringenden Audiowarnung unter Verwendung der Audioausgabeeinrichtung ausgelegt, wenn geschätzt wird, dass der mindestens eine detektierte Gegenstand über einem ersten Schwellenwert liegt, und zum Bereitstellen einer nicht dringenden Audiowarnung unter Verwendung der Audioausgabeeinrichtung ausgelegt, wenn geschätzt wird, dass der mindestens eine detektierte Gegenstand über einem zweiten Schwellenwert, aber unter dem ersten Schwellenwert liegt. Der Prozessor 301 ist zum Schätzen des Werts des klassifizierten Objekts durch Nachschlagen einer im Speicher 302 gespeicherten Datenbank ausgelegt, die einen geschätzten Wert für jedes Objekt speichert, für das das vortrainierte Neuronalnetzwerk-Objektklassifizierermodell trainiert ist.
-
Somit stellt das System zum Detektieren eines Objekts, das im Fahrgastraum des Fahrzeugs zurückgelassen wird, dem Fahrer des Fahrzeugs eine Warnung bereit, falls ein wertvolles Objekt zurückgelassen wird, und vermeidet somit ein unnötiges Warnen des Benutzers, falls das im Fahrzeug zurückgelassene Objekt nicht wertvoll ist.
-
Des Weiteren wird ein Durchschnittsfachmann verstehen, dass die verschiedenen illustrativen logischen/funktionellen Blöcke, Module, Schaltungen, Techniken/Algorithmen und Prozessschritte, die in Verbindung mit den hierin offenbarten Ausführungsformen beschrieben sind, als elektronische Hardware oder eine Kombination aus Hardware und Software implementiert werden können. Um diese Austauschbarkeit von Hardware und einer Kombination aus Hardware und Software zu verdeutlichen, sind verschiedene illustrative Komponenten, Blöcke, Module, Schaltungen und Schritte oben allgemein hinsichtlich ihrer Funktionalität beschrieben worden. Ob eine derartige Funktionalität als Hardware oder eine Kombination aus Hardware und Software implementiert wird, hängt von der Gestaltungswahl eines Durchschnittsfachmanns ab. Derartige Fachleute können die beschriebene Funktionalität auf verschiedene Weisen für jede spezielle Anwendung implementieren, aber derartige offensichtliche Gestaltungswahlen sollten nicht so interpretiert werden, dass sie ein Abweichen vom Schutzumfang der vorliegenden Erfindung bewirken.
-
Der in der vorliegenden Offenbarung beschriebene Prozess kann unter Verwendung verschiedener Mittel implementiert werden. Der in der vorliegenden Offenbarung beschriebene Prozess kann zum Beispiel in Hardware, Firmware, Software oder einer beliebigen Kombination davon implementiert werden. Für eine Hardwareimplementierung können die Verarbeitungseinheiten oder Prozessoren innerhalb einer/eines oder mehrerer anwendungsspezifischer integrierter Schaltungen (ASICs: Application Specific Integrated Circuits), Digitalsignalprozessoren (DSPs), digitaler Signalverarbeitungseinrichtungen (DSPDs: Digital Signal Processing Devices), programmierbarer Logikeinrichtungen (PLDs: Programmable Logic Devices), feldprogrammierbarer Gate-Arrays (FPGAs: Field Programmable Gate Arrays), Prozessoren, Steuerungen, Mikrocontrollern, Mikroprozessoren, elektronischer Einrichtungen, anderer elektronischer Einheiten, die zum Durchführen der hierin beschriebenen Funktionen konstruiert sind, oder einer Kombination davon implementiert werden
-
Für eine Firmware- und/oder Softwareimplementierung können Softwarecodes in einem Speicher gespeichert und durch einen Prozessor ausgeführt werden. Ein Speicher kann innerhalb der Prozessoreinheit oder extern zu der Prozessoreinheit implementiert werden. Wie hierin verwendet, bezieht sich der Ausdruck „Speicher“ auf eine beliebige Art von flüchtigem Speicher oder nichtflüchtigem Speicher.
-
Weiterhin wird, obwohl Elemente der Erfindung im Singular beschrieben oder beansprucht sein können, der Plural in Betracht gezogen, es sei denn, dass eine Beschränkung auf den Singular ausdrücklich angegeben ist.
-
Die unter Bezugnahme auf die Zeichnungen beschriebenen Ausführungsformen in der Erfindung umfassen eine Computervorrichtung und/oder Prozesse, die in einer Computervorrichtung durchgeführt werden. Die Erfindung erstreckt sich jedoch auch auf Computerprogramme, insbesondere Computerprogramme, die auf oder in einem Träger gespeichert sind, der dazu eingerichtet ist, die Erfindung in die Praxis umzusetzen. Das Programm kann die Form von Sourcecode, Objektcode oder eines Codes zwischen Source- und Objektcode aufweisen, wie etwa in teilweise kompilierter Form oder in einer beliebigen anderen Form, die sich zur Verwendung bei der Implementierung des Verfahrens gemäß der Erfindung eignet. Der Träger kann ein Speicherungsmedium, wie etwa ROM, umfassen, z. B. einen Speicherstick oder eine Festplatte. Der Träger kann ein elektrisches oder optisches Signal sein, das über ein elektrisches oder ein optisches Kabel oder durch Funk oder andere Mittel übertragen werden kann.
-
In der Spezifikation werden die Ausdrücke „umfassen, umfasst, eingeschlossen und umfassend“ oder eine beliebige Variation davon und die Ausdrücke „beinhalten, beinhaltet, enthalten und einschließlich“ oder eine beliebige Variation davon als vollständig austauschbar angesehen und allen sollte die größtmögliche Interpretation gewährt werden, und umgekehrt.
-
Die Erfindung ist nicht auf die vorstehend beschriebenen Ausführungsformen beschränkt, sondern kann sowohl in der Konstruktion als auch in den Einzelheiten variiert werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- JP 2006338535 A [0003]
- JP 2005115911 A [0004]
