DE102019205889A1

DE102019205889A1 - Extended filing assistance

Info

Publication number: DE102019205889A1
Application number: DE102019205889.2A
Authority: DE
Inventors: Lena Amann; Annette Schanz; Andreas Knoll; Lorenz Fischer; Tobias Pfleghaar; Isabella Riether; Florian Küber; Florian Bechler; Tobias Metzger
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2019-04-25
Filing date: 2019-04-25
Publication date: 2020-10-29

Abstract

Ein Verfahren (200) zum Lokalisieren eines gesuchten Gegenstands (140) an Bord eines Kraftfahrzeugs (105) umfasst Schritte des Bestimmens des gesuchten Gegenstands (140); des optischen Abtastens eines Innenraums des Kraftfahrzeugs (105); des Erkennens eines an Bord des Kraftfahrzeugs (105) befindlichen Gegenstands (145) auf der Abtastung; des Vergleichens des erkannten Gegenstands (145) mit dem gesuchten Gegenstand (140); und des Bestimmens, ob sich der gesuchte Gegenstand (140) an Bord des Kraftfahrzeugs (105) befindet.A method (200) for locating a searched object (140) on board a motor vehicle (105) comprises steps of determining the searched object (140); optically scanning an interior of the motor vehicle (105); recognizing an object (145) on board the motor vehicle (105) on the scan; comparing the recognized object (145) with the searched object (140); and determining whether the searched item (140) is on board the motor vehicle (105).

Description

Die vorliegende Erfindung betrifft ein Kraftfahrzeug. Insbesondere betrifft die Erfindung die Überwachung eines Innenraums des Kraftfahrzeugs.The present invention relates to a motor vehicle. In particular, the invention relates to the monitoring of an interior of the motor vehicle.

Ein Kraftfahrzeug wird zum Transportieren von Personen oder Gegenständen verwendet. Gelegentlich ist zu klären, ob sich ein bestimmter Gegenstand an Bord des Kraftfahrzeugs befindet oder nicht. Beispielsweise sollte das Kraftahrzeug nicht betrieben werden, wenn nicht ein Warndreieck und ein Verbandskasten an Bord sind. Wurde einer dieser Gegenstände entfernt, so kann das Betreiben des Kraftfahrzeugs unzulässig sein; außerdem können diese Gegenstände im Fall einer Notsituation nicht verfügbar sein, sodass ein vermeidbarer zusätzlicher Schaden eintreten kann.A motor vehicle is used to transport people or objects. Occasionally it has to be clarified whether or not a certain object is on board the motor vehicle. For example, the motor vehicle should not be operated without a warning triangle and a first-aid kit on board. If one of these objects has been removed, it may not be permitted to operate the vehicle; in addition, these items may not be available in the event of an emergency, so that avoidable additional damage can occur.

Allgemein ist ein Fahrer des Kraftfahrzeugs dazu angehalten, sich vor Antritt einer Fahrt davon zu überzeugen, dass alle vorgeschriebenen Gegenstände an Bord sind. Dazu muss der Fahrer gegebenenfalls mehrere Ablagen des Kraftfahrzeugs durchsuchen, bis alle Gegenstände aufgefunden sind. Der Fahrer kann an unterschiedlichen Stellen des Fahrzeugs suchen müssen, wobei einige Stellen, etwa ein Kofferraum, nur von außen zugänglich sein können. Ein Fahrtantritt kann dadurch verzögert werden oder der Fahrer kann wegen des erforderlichen Aufwands bei der Überprüfung nachlässig werden.In general, a driver of the motor vehicle is required to make sure that all prescribed items are on board before starting a journey. To this end, the driver may have to search through several storage spaces in the motor vehicle until all objects have been found. The driver may have to search at different points in the vehicle, with some points, such as a trunk, only being accessible from the outside. The start of a journey can be delayed as a result or the driver can become negligent because of the effort required to check.

Eine der Erfindung zu Grunde liegende Aufgabe besteht in der Bereitstellung einer verbesserten Technik zur Lokalisierung eines Gegenstands an Bord des Kraftfahrzeugs. Die Erfindung löst diese Aufgabe mittels der Gegenstände der unabhängigen Ansprüche. Unteransprüche geben bevorzugte Ausführungsformen wieder.An object on which the invention is based is to provide an improved technique for localizing an object on board the motor vehicle. The invention solves this problem by means of the subjects of the independent claims. Sub-claims reproduce preferred embodiments.

Ein Verfahren zum Lokalisieren eines gesuchten Gegenstands an Bord eines Kraftfahrzeugs umfasst Schritte des Bestimmens des gesuchten Gegenstands; des optischen Abtastens eines Innenraums des Kraftfahrzeugs; des Erkennens eines an Bord des Kraftfahrzeugs befindlichen Gegenstands auf der Abtastung; des Vergleichens des erkannten Gegenstands mit dem gesuchten Gegenstand; und des Bestimmens, ob sich der gesuchte Gegenstand an Bord des Kraftfahrzeugs befindet.A method for locating a searched item on board a motor vehicle comprises steps of determining the searched item; optically scanning an interior of the motor vehicle; recognizing an item on board the motor vehicle on the scan; comparing the recognized object with the object sought; and determining whether the searched item is on board the motor vehicle.

Das Verfahren kann mittels Elementen durchgeführt werden, die sich bereits an Bord eines üblichen Kraftfahrzeugs befinden können. Insbesondere kann ein System zur optischen Überwachung des Innenraums des Kraftfahrzeugs mittels des Verfahrens überraschend einer zusätzlichen Nutzung zugeführt werden. Das System kann einem anderen Zweck dienen, etwa einem Diebstahlschutz oder der Bestimmung einer Sitzposition eines Insassen, um beispielsweise im Fall eines Unfalls die Auslösung oder Entfaltung eines Airbags zu steuern.The method can be carried out using elements that can already be located on board a conventional motor vehicle. In particular, a system for optically monitoring the interior of the motor vehicle can surprisingly be put to additional use by means of the method. The system can serve another purpose, such as theft protection or the determination of a seated position of an occupant, for example to control the deployment or deployment of an airbag in the event of an accident.

In einer Ausführungsform werden das Abtasten, Erkennen und/oder Vergleichen erst durchgeführt, wenn der gesuchte Gegenstand bekannt ist. Das Verfahren kann somit nur dann durchlaufen werden, wenn tatsächlich eine Suche durchgeführt werden soll und ein unnötiger Verarbeitungsaufwand kann vermieden werden.In one embodiment, the scanning, recognition and / or comparison are only carried out when the object being searched for is known. The method can therefore only be run through when a search is actually to be carried out and unnecessary processing expenditure can be avoided.

In einer anderen Ausführungsform wird der an Bord des Kraftfahrzeugs befindliche Gegenstand abgetastet und erkannt, bevor der gesuchte Gegenstand bestimmt wird. Anders ausgedrückt kann der Innenraum des Kraftfahrzeugs vorauseilend einmal oder zeitversetzt mehrmals abgetastet werden, und der Gegenstand kann bereits erkannt werden, bevor nach ihm gesucht wird. So kann bei Eintreffen eines Suchauftrags sehr schnell entschieden werden, ob sich der gesuchte Gegenstand an Bord des Kraftfahrzeugs befindet oder nicht.In another embodiment, the object on board the motor vehicle is scanned and recognized before the object searched for is determined. In other words, the interior of the motor vehicle can be scanned in advance once or several times with a time delay, and the object can already be recognized before it is searched for. Thus, when a search request arrives, a decision can be made very quickly as to whether or not the object searched for is on board the motor vehicle.

Bevorzugt wird eine Vielzahl an Bord des Kraftfahrzeugs befindlicher Gegenstände erkannt. Optional wird ein Inventar von Gegenständen geführt, die sich an Bord des Kraftfahrzeugs befinden. Das Inventar kann schnell ausgelesen oder durchsucht werden. Weiter können alte Versionen des Inventars gespeichert werden, sodass eine rückblickende Analyse ermöglicht wird, welcher Gegenstand sich in welchen Zeiträumen an Bord befand.A large number of objects located on board the motor vehicle are preferably recognized. An inventory of objects that are on board the motor vehicle is optionally kept. The inventory can be quickly read or searched. Furthermore, old versions of the inventory can be saved so that a retrospective analysis is made possible as to which item was on board and in which time periods.

Der Innenraum kann zeitversetzt mehrmals optisch abgetastet werden, wobei bestimmt wird, ob der erkannte Gegenstand durch einen hinzugefügten Gegenstand verdeckt wird. So kann der Gegenstand auch gefunden werden, wenn er nicht optisch erfasst werden kann. Sollte der hinzugefügte Gegenstand wieder entfernt werden, ohne dass der erkannte Gegenstand wieder erfasst werden kann, so kann ein Hinweis darauf ausgegeben werden, dass möglicherweise beide Gegenstände gemeinsam aus dem Kraftfahrzeug entfernt wurden. Beim zeitversetzt mehrfachen Abtasten kann der Gegenstand auch über mehrere Orte verfolgt werden, an denen er sich an Bord des Kraftfahrzeugs befinden kann. Die Historie seiner Orte kann ebenfalls gespeichert und bei Bedarf bereitgestellt werden.The interior can be optically scanned several times with a time delay, it being determined whether the recognized object is covered by an added object. In this way, the object can be found even if it cannot be optically detected. Should the added object be removed again without the recognized object being able to be detected again, an indication can be output that both objects may have been removed from the motor vehicle together. In the case of multiple scanning with a time delay, the object can also be tracked over several locations where it can be located on board the motor vehicle. The history of its locations can also be saved and made available if necessary.

Auf der Basis der Abtastung kann ein Ort bestimmt werden, an dem sich der erkannte Gegenstand an Bord des Kraftfahrzeugs befindet. Dazu können eine Position einer optischen Abtasteinrichtung und/oder eine Position des Gegenstands auf einem damit angefertigten Bild ausgewertet werden. Die bestimmte Position kann dem erkannten Gegenstand zugeordnet werden. In einer Ausführungsform wird die Position im Inventar abgelegt.On the basis of the scanning, a location can be determined at which the recognized object is located on board the motor vehicle. To this end, a position of an optical scanning device and / or a position of the object can be evaluated on an image produced with it. The specific position can be assigned to the recognized object. In one embodiment, the position is stored in the inventory.

In einer Ausführungsform wird, nachdem bestimmt wurde, dass das Kraftfahrzeug einen Unfall hatte, ein Hinweis auf den Ort eines vorbestimmten Gegenstands ausgegeben. Der Gegenstand kann aufgrund des Unfalls von besonderer Wichtigkeit sein und beispielsweise ein Warndreieck, eine Signalweste, eine Taschenlampe, ein Mobiltelefon, eine Decke oder einen Verbandskasten betreffen. Optional kann ein Hinweis zur Verwendung des Gegenstands ausgegeben werden. So kann für das Warndreieck ein empfohlener Abstand seines Aufstellorts zum Kraftfahrzeug angegeben werden, oder für den Verbandskasten können Ratschläge zur Leistung Erster Hilfe bereitgestellt werden. Die Bestimmung des Unfalls kann durch ein anderes System an Bord des Kraftfahrzeugs erfolgen.In one embodiment, after it has been determined that the motor vehicle has had an accident, an indication of the location of a predetermined object is output. Due to the accident, the object can be of particular importance and relate, for example, to a warning triangle, a signal vest, a torch, a mobile phone, a blanket or a first-aid kit. A note on the use of the item can optionally be output. For example, a recommended distance from its installation location to the motor vehicle can be specified for the warning triangle, or advice on first aid can be provided for the first-aid kit. The accident can be determined by another system on board the motor vehicle.

In einer Ausführungsform kann der Ort eines Gegenstands an Bord des Kraftfahrzeugs nach dem Unfall bestimmt werden. Durch den Unfall kann sich der Ort des Gegenstands geändert haben, insbesondere wenn das Kraftfahrzeug auf ein Objekt geprallt ist, geschleudert ist oder sich überschlagen hat. Insbesondere ein sicherheitsrelevanter Gegenstand kann so verbessert aufgefunden werden, selbst wenn eine Vielzahl Gegenstände im Innenraum des Kraftfahrzeugs verstreut liegen. In one embodiment, the location of an object on board the motor vehicle can be determined after the accident. The location of the object may have changed as a result of the accident, especially if the motor vehicle hit an object, was thrown or rolled over. In particular, a security-relevant object can be found in an improved manner, even if a large number of objects are scattered in the interior of the motor vehicle.

Der gesuchte Gegenstand kann durch eine sprachliche Bezeichnung repräsentiert sein, wobei bestimmt wird, ob der erkannte Gegenstand der Bezeichnung entspricht. Dabei kann die sprachliche Bezeichnung insbesondere generisch sein und beispielsweise die Art des gesuchten Gegenstands bezeichnen. Es können dann alle Gegenstände an Bord untersucht werden, die unter die gegebene Bezeichnung fallen. So kann beispielsweise nach einer Brille gesucht werden und eine oder mehrere verschiedene Brillen können gefunden werden.The searched object can be represented by a linguistic designation, whereby it is determined whether the recognized object corresponds to the designation. The linguistic designation can in particular be generic and, for example, designate the type of object sought. All objects on board that fall under the given designation can then be examined. For example, you can search for glasses and find one or more different glasses.

Der gesuchte Gegenstand kann auch spezifisch angegeben sein. Beispielsweise kann der gesuchte Gegenstand durch ein Bild repräsentiert sein. Dann kann bestimmt werden, ob der erkannte Gegenstand dem spezifischen Gegenstand, insbesondere dem durch das Bild repräsentierten Gegenstand, entspricht. Im obigen Beispiel kann etwa nach der persönlichen Sonnenbrille des Fahrers gesucht werden, wobei andere an Bord befindliche Brillen nicht als passend bestimmt werden.The item searched for can also be specified specifically. For example, the object searched for can be represented by an image. It can then be determined whether the recognized object corresponds to the specific object, in particular the object represented by the image. In the example above, it is possible to search for the driver's personal sunglasses, but other glasses on board are not determined to be suitable.

Zur Definition des spezifischen Gegenstands können Bilder von Gegenständen, die sich bereits an Bord des Kraftfahrzeugs befanden, gesammelt werden. Automatisch oder mit Unterstützung eines Benutzers können unterschiedliche Bilder desselben Gegenstands einander zugeordnet werden. Ein für einen spezifischen Gegenstand repräsentatives Bild kann ausgewählt werden. Dem spezifischen Gegenstand können ein Name, eine Bezeichnung oder ein Schlagwort zugeordnet werden. Ein Benutzer kann einen Katalog von ausgewählten Bildern bekannter Gegenstände durchgehen und einen zu suchenden Gegenstand auswählen. Der zu suchende Gegenstand kann auch auf der Basis eines Namens, einer Bezeichnung oder eines Schlagworts bestimmt werden, die korrespondierenden Einträgen des Katalogs entsprechen.To define the specific object, images of objects that were already on board the motor vehicle can be collected. Different images of the same object can be assigned to one another automatically or with the assistance of a user. An image representative of a specific item can be selected. A name, a description or a keyword can be assigned to the specific item. A user can browse a catalog of selected images of known objects and select an object to search for. The object to be searched for can also be determined on the basis of a name, a designation or a keyword that correspond to corresponding entries in the catalog.

Der gesuchte Gegenstand kann vorbestimmt sein und vor dem Antritt einer Fahrt mit dem Kraftfahrzeug lokalisiert werden; wobei bevorzugt ein Hinweis auf das Fehlen des gesuchten Gegenstands ausgegeben wird, falls der vorbestimmte Gegenstand nicht an Bord des Kraftfahrzeugs gefunden werden kann. Insbesondere ein sicherheitsrelevanter Gegenstand wie ein Warndreieck oder ein vorgeschriebener Gegenstand wie ein Fahrzeugschein oder ein Reserverad können so vor Antritt der Fahrt automatisch auf Vorhandensein an Bord überprüft werden. Eine manuelle Überprüfung kann sich erübrigen.The object searched for can be predetermined and localized before starting a journey with the motor vehicle; an indication of the missing item being preferably output if the predetermined item cannot be found on board the motor vehicle. In particular, a safety-relevant object such as a warning triangle or a prescribed object such as a vehicle registration document or a spare wheel can be automatically checked for its presence on board before starting the journey. A manual check may be unnecessary.

Nach einem weiteren Aspekt der Erfindung umfasst eine Vorrichtung zur Lokalisierung eines gesuchten Gegenstands an Bord eines Kraftfahrzeugs eine Schnittstelle zur Bestimmung eines Hinweises auf den gesuchten Gegenstand; eine Kamera zur optischen Abtastung eines Innenraums des Kraftfahrzeugs; und eine Verarbeitungseinrichtung. Dabei ist die Verarbeitungseinrichtung dazu eingerichtet, einen an Bord des Kraftfahrzeugs befindlichen Gegenstand auf der Abtastung zu erkennen, den erkannten Gegenstand mit dem gesuchten Gegenstand zu vergleichen; und zu bestimmen, ob sich der gesuchte Gegenstand an Bord des Kraftfahrzeugs befindet.According to a further aspect of the invention, a device for localizing a searched object on board a motor vehicle comprises an interface for determining a reference to the searched object; a camera for optically scanning an interior of the motor vehicle; and a processing device. The processing device is set up to detect an object on board the motor vehicle on the scan, to compare the detected object with the object searched for; and determine whether the searched item is on board the motor vehicle.

Die Verarbeitungseinrichtung kann dazu eingerichtet sein, ein hierin beschriebenes Verfahren ganz oder teilweise auszuführen. Dazu kann die Verarbeitungseinrichtung einen programmierbaren Mikrocomputer oder Mikrocontroller umfassen und das Verfahren kann in Form eines Computerprogrammprodukts mit Programmcodemitteln vorliegen. Das Computerprogrammprodukt kann auch auf einem computerlesbaren Datenträger abgespeichert sein. Merkmale oder Vorteile des Verfahrens können auf die Vorrichtung übertragen werden oder umgekehrt.The processing device can be set up to carry out a method described herein in whole or in part. For this purpose, the processing device can comprise a programmable microcomputer or microcontroller and the method can be in the form of a computer program product with program code means. The computer program product can also be stored on a computer-readable data carrier. Features or advantages of the method can be transferred to the device or vice versa.

Die Vorrichtung kann mit einem System zur Abtastung oder Überwachung des Innenraums, beispielsweise zum Insassenschutz, integriert ausgeführt sein. Eine oder mehrere Kameras können zur optischen Abtastung unterschiedlicher Bereiche des Innenraums vorgesehen sein. Außerdem kann eine Beleuchtungseinrichtung vorgesehen sein. Eine Kamera kann in unterschiedlichen optischen Bereichen arbeiten, beispielsweise im sichtbaren Bereich oder im Infrarotbereich.The device can be designed to be integrated with a system for scanning or monitoring the interior, for example for occupant protection. One or more cameras can be provided for optical scanning of different areas of the interior. In addition, a lighting device can be provided. A camera can work in different optical ranges, for example in the visible range or in the infrared range.

Die Schnittstelle kann zur Interaktion mit einer Person eingerichtet sein. Die Schnittstelle kann sich an Bord des Kraftfahrzeugs befinden und beispielsweise auf einer eingebauten interaktiven Konsole ausgeführt werden. In einer Ausführungsform ist die Schnittstelle drahtlos ausgeführt und weiter bevorzugt zur Kommunikation mit einer externen oder mobilen Einrichtung eingerichtet. Die mobile Einrichtung kann ein Mobiltelefon („Smartphone“) umfassen. Die externe Einrichtung kann einen mobilen oder ortsfesten Computer betreffen.The interface can be set up for interaction with a person. The interface can be located on board the motor vehicle and can be executed, for example, on a built-in interactive console. In one embodiment, the interface is wireless and more preferably set up for communication with an external or mobile device. The mobile device can comprise a mobile phone (“smartphone”). The external device can relate to a mobile or stationary computer.

Nach noch einem weiteren Aspekt der Erfindung umfasst ein Kraftfahrzeug eine hierin beschriebene Vorrichtung.According to yet another aspect of the invention, a motor vehicle comprises a device described herein.

Die Erfindung wird nun mit Bezug auf die beigefügten Figuren genauer beschrieben, in denen:

1 ein System; und
2 ein Ablaufdiagramm eines Verfahrens darstellt.

The invention will now be described in more detail with reference to the accompanying figures, in which:

1 a system; and
2 represents a flow diagram of a method.

1 zeigt ein System 100, das ein Kraftfahrzeug 105 und ein optionales Gerät 110 umfasst. An Bord des Kraftfahrzeugs 105 ist eine Vorrichtung 115 angebracht, die eine oder mehrere Kameras 120, eine Verarbeitungseinrichtung 125 und bevorzugt eine Schnittstelle 130 und/oder eine Speichereinrichtung 135 umfasst. 1 shows a system 100 driving a motor vehicle 105 and an optional device 110 includes. On board the motor vehicle 105 is a device 115 attached to the one or more cameras 120 , a processing facility 125 and preferably an interface 130 and / or a storage device 135 includes.

Die Vorrichtung 115 ist dazu eingerichtet, zu bestimmen, ob sich ein gesuchter Gegenstand 140 an Bord des Kraftfahrzeugs 105 befindet. Dazu kann ein Innenraum des Kraftfahrzeugs 105 mittels der wenigstens einen Kamera 120 abgetastet werden und ein Gegenstand 145, der sich im Innenraum befindet, kann erkannt werden. Ein Hinweis auf einen erkannten Gegenstand 145 kann in der Speichervorrichtung 135 abgelegt werden. Ferner kann entschieden werden, ob der Gegenstand 145 dem gesuchten Gegenstand 140 entspricht oder nicht, und ein entsprechender Hinweis kann mittels der Schnittstelle 130 ausgegeben werden.The device 115 is set up to determine whether there is a searched item 140 on board the motor vehicle 105 is located. An interior of the motor vehicle can do this 105 by means of the at least one camera 120 be scanned and an object 145 located in the interior can be recognized. An indication of a recognized object 145 can in the storage device 135 be filed. It can also be decided whether the object 145 the searched object 140 corresponds or not, and a corresponding note can be sent via the interface 130 are issued.

Das Kraftfahrzeug 105 umfasst eine beliebige Art von Kraftfahrzeug, bevorzugt jedoch einen Personenkraftwagen. Das Gerät 110 kann mittels der Schnittstelle 130 kommunikativ mit der Vorrichtung 115 verbunden werden. Üblicherweise ist das Gerät 110 zur Interaktion mit einer Person eingerichtet, die bevorzugt im Kraftfahrzeug 105 befördert wird oder wurde, oder die beispielsweise Besitzer, Halter oder Eigentümer des Kraftfahrzeugs 105 ist. Das Gerät 110 kann ein Mobilgerät wie ein Mobiltelefon oder ein Laptop Computer sein und drahtlos mit der Schnittstelle 130 verbunden werden. Das Gerät 110 kann auch fest an Bord des Kraftfahrzeugs 105 angebracht sein, wobei die Schnittstelle 130 üblicherweise drahtgebunden ausgeführt ist. Das Gerät 110 kann eine Eingabe und/oder eine Ausgabe unterstützen, beispielsweise jeweils auf akustische, optische oder haptische Weise. Die Schnittstelle 130 kann auch zur Kommunikation mit einer weiteren Einrichtung an Bord des Kraftfahrzeugs 105 eingerichtet sein.The car 105 includes any type of motor vehicle, but preferably a passenger car. The device 110 can by means of the interface 130 communicative with the device 115 get connected. Usually the device is 110 set up to interact with a person, who prefers to be in the motor vehicle 105 is or has been transported, or the, for example, owner, keeper or owner of the motor vehicle 105 is. The device 110 can be a mobile device like a cell phone or a laptop computer and wireless with the interface 130 get connected. The device 110 can also be permanently on board the motor vehicle 105 be attached, the interface 130 is usually carried out wired. The device 110 can support an input and / or an output, for example in an acoustic, optical or haptic manner. the interface 130 can also be used for communication with another device on board the motor vehicle 105 be set up.

Die Vorrichtung 115 kann teilweise oder vollständig mit einer anderen Vorrichtung oder einem System integriert oder kombiniert sein, wobei die andere Vorrichtung oder das andere System an Bord des Kraftfahrzeugs für eine andere Aufgabe vorgesehen ist als die Vorrichtung 115. Insbesondere kann die wenigstens eine Kamera 120 sowohl von der Vorrichtung 115, als auch von einer anderen Vorrichtung an Bord des Kraftfahrzeugs 105 genutzt werden.The device 115 can be partially or completely integrated or combined with another device or a system, the other device or the other system on board the motor vehicle being provided for a different task than the device 115 . In particular, the at least one camera 120 both from the device 115 , as well as from another device on board the motor vehicle 105 be used.

Bevorzugt sind mehrere Kameras 120 vorgesehen, die idealerweise möglichst jeden Teil des Innenraums des Kraftfahrzeugs 105 abtasten können, an dem sich ein Gegenstand 145 befinden kann. Dabei wird üblicherweise davon ausgegangen, dass der Gegenstand 145 eine Größe aufweist, die innerhalb eines vorbestimmten Bereichs liegt. Der Innenraum kann einen Fahrgastraum und einen optionalen Transportraum, insbesondere einen Kofferraum umfassen. Im Fahrgastraum und/oder im Transportraum können jeweils eine oder mehrere Kameras 120 angebracht sein. Beispielsweise können im Fahrgastraum je eine Kamera 120 auf einen Sitz, unter einen Sitz, auf eine Rückbank, in ein Handschuhfach, in eine Ablage oder auf einen Fahrzeugboden gerichtet sein. Ein größerer Bereich des Innenraums kann durch mehrere Kameras 120 abgedeckt sein. Im Transportraum können ebenfalls mehrere Abschnitte gebildet sein, die mittels mehrerer Kameras 120 abgedeckt sein können.Multiple cameras are preferred 120 provided that ideally as possible every part of the interior of the motor vehicle 105 can feel at which an object is located 145 can be located. It is usually assumed that the object 145 has a size that is within a predetermined range. The interior can comprise a passenger compartment and an optional transport space, in particular a trunk. One or more cameras can be installed in the passenger compartment and / or in the transport compartment 120 to be appropriate. For example, there can be one camera in each passenger compartment 120 be aimed at a seat, under a seat, on a back seat, in a glove compartment, in a shelf or on a vehicle floor. A larger area of the interior can be viewed by multiple cameras 120 be covered. Several sections can also be formed in the transport space, which are monitored by means of several cameras 120 can be covered.

Eine Kamera 120 kann eine feste oder steuerbare Brennweite und eine feste oder steuerbare Ausrichtung haben. Eine Position einer Kamera 120 am Kraftfahrzeug 105 ist üblicherweise unveränderlich.A camera 120 can have a fixed or controllable focal length and a fixed or controllable orientation. A position of a camera 120 on the motor vehicle 105 is usually immutable.

Die Speichereinrichtung 135 kann mit der Verarbeitungseinrichtung 125 integriert ausgeführt sein und ist dazu eingerichtet, Informationen bezüglich eines oder mehrerer Gegenstände 145 an Bord des Kraftfahrzeugs 105 abzuspeichern. Jeder abgespeicherten Information über einen Gegenstand 145 können ein Ort an Bord des Kraftfahrzeugs 105, ein Abtast- oder Bestimmungszeitpunkt, eine Perspektive, ein vorhergehender Ort und/oder weitere Informationen zugeordnet sein, die ebenfalls in der Speichereinrichtung 135 abgelegt werden können.The storage device 135 can with the processing facility 125 be designed integrated and is set up to provide information relating to one or more objects 145 on board the motor vehicle 105 to save. Any stored information about an object 145 can be a place on board the motor vehicle 105 , a sampling or determination time, a perspective, a previous location and / or further information can be assigned, which are also in the storage device 135 can be filed.

Außerdem kann ein Katalog in der Speichereinrichtung 135 abgelegt sein, der Informationen über Gegenstände 145 enthält, die bereits erkannt wurden. Anhand des Katalogs kann eine Auswahl eines zu suchenden Gegenstands 140 erfolgen. Die Angabe des zu suchenden Gegenstands 140 kann mittels der Schnittstelle 130 oder mittels des Geräts 110 erfolgen. Die Ausgabe eines Hinweises darauf, ob sich ein gesuchter Gegenstand 140 an Bord befindet oder nicht, und gegebenenfalls weitere Informationen über einen gefundenen Gegenstand 145, der dem gesuchten Gegenstand entspricht, können über die Schnittstelle 130 bzw. das Gerät 110 bereitgestellt werden.A catalog can also be stored in the storage device 135 be filed of the information about objects 145 that have already been recognized. Using the catalog, a selection of an object to be searched for 140 respectively. The Specification of the item to be searched for 140 can by means of the interface 130 or by means of the device 110 respectively. The output of an indication of whether there is a wanted item 140 is on board or not, and further information about an item found, if applicable 145 that corresponds to the searched item can be accessed via the interface 130 or the device 110 to be provided.

2 zeigt ein Ablaufdiagramm eines Verfahrens 200, das insbesondere unter Verwendung einer Vorrichtung 115 oder eines Systems 100 ausgeführt werden kann. Im Ablaufdiagramm sind zwei Varianten des Verfahrens 200 wiedergegeben, die auch miteinander kombiniert werden können und die sich bezüglich des Zeitpunkts des Erfassens eines gesuchten Gegenstands 140 unterscheiden. 2 shows a flow chart of a method 200 that in particular using a device 115 or a system 100 can be executed. In the flow chart are two variants of the procedure 200 reproduced, which can also be combined with one another and which differ with regard to the time at which a searched object is detected 140 distinguish.

Der gesuchte Gegenstand 140 kann in einer ersten Variante (A) in einem Schritt 205 erfasst werden. Dazu können insbesondere eine Bezeichnung, ein Bild, ein Schlüsselwort oder eine Beschreibung des Gegenstands 140 durch einen Benutzer eingegeben oder aus einer Sammlung bekannter Gegenstände 145 ausgewählt werden.The item you are looking for 140 can in a first variant (A) in one step 205 are recorded. In particular, a designation, an image, a keyword or a description of the object can be used for this purpose 140 entered by a user or from a collection of known items 145 to be chosen.

Grundsätzlich können allgemein eine generische und eine spezifische Suche voneinander unterschieden werden. Bei der generischen Suche werden einer oder mehrere Gegenstände 145 gesucht, die unter eine Definition des gesuchten Gegenstands 140 fallen. Beispielsweise können mehrere Schlüsselbünde 145 unter die generische Bezeichnung „Schlüsselbund“ des Gegenstands 140 fallen. Bei der spezifischen Suche wird ein individueller Gegenstand 145 gesucht, der mit dem gesuchten Gegenstand 140 identisch ist. Beispielsweise kann ein individueller Schlüsselbund 145 gesucht werden, der mit einem gesuchten Schlüsselbund 140 identisch ist. Andere Schlüsselbunde 145, die nicht mit dem gesuchten Schlüsselbund 145 identisch sind, können nicht gefunden werden.In general, a generic and a specific search can be distinguished from one another. The generic search will find one or more items 145 searched under a definition of the object sought 140 fall. For example, you can have multiple keyrings 145 under the generic name "key ring" of the item 140 fall. The specific search becomes an individual item 145 wanted, the one with the searched item 140 is identical. For example, an individual keychain 145 to be searched for, the one with a wanted keychain 140 is identical. Other keychains 145 that doesn't match the keychain you're looking for 145 are identical cannot be found.

In einem Schritt 210 kann der Innenraum des Kraftfahrzeugs 105 optisch abgetastet werden, insbesondere mittels der wenigstens einen Kamera 120. Dazu kann eine Beleuchtungseinrichtung aktiviert werden und eine Kamera 120 kann beispielsweise dazu angesteuert werden, ihre Brennweite und/oder ihre Ausrichtung im Kraftfahrzeug 105 zu ändern. Beim Abtasten fällt eine Abtastung an, die hier auch Bild genannt wird, das üblicherweise in einem elektronischen Format vorliegt.In one step 210 can the interior of the motor vehicle 105 are optically scanned, in particular by means of the at least one camera 120 . For this purpose, a lighting device and a camera can be activated 120 can be controlled, for example, their focal length and / or their orientation in the motor vehicle 105 to change. When scanning, a scan occurs, which is also called an image here, which is usually in an electronic format.

In einem Schritt 215 kann ein Gegenstand, der auf dem Bild (= auf der Abtastung) wenigstens teilweise abgebildet ist, erkannt werden. Die Objekterkennung kann klassisch, etwa auf der Basis einer Kantendetektion, mittels Mustervergleichs, mittels eines neuronalen Netzwerks oder anderweitig durchgeführt werden. In einer Ausführungsform erfolgt die Objekterkennung nicht an Bord des Kraftfahrzeugs 105, sondern seitens einer externen Stelle, die mittels der Schnittstelle 130 kommunikativ an die Vorrichtung 115 angebunden ist. Außerdem kann bestimmt werden, ob der erkannte Gegenstand 145 dem gesuchten Gegenstand 140 entspricht. Ist dies nicht der Fall, kann eine weitere Verarbeitung ausgesetzt werden und das Verfahren 200 kann enden.In one step 215 an object that is at least partially depicted on the image (= on the scan) can be recognized. Object recognition can be carried out classically, for example on the basis of edge detection, by means of pattern comparison, by means of a neural network or otherwise. In one embodiment, the object recognition does not take place on board the motor vehicle 105 , but by an external body that uses the interface 130 communicative to the device 115 is connected. In addition, it can be determined whether the recognized object 145 the searched object 140 corresponds. If this is not the case, further processing can be suspended and the proceedings 200 can end.

In einem Schritt 220 können ein Ort und/oder eine Lage des Gegenstands 145 an Bord des Kraftfahrzeugs 105 bestimmt werden. Beide Informationen können auf der Basis eines Bilds oder von Bildern verschiedener Kameras 120 bestimmt werden. In one step 220 can be a place and / or a location of the object 145 on board the motor vehicle 105 to be determined. Both pieces of information can be based on one image or on images from different cameras 120 to be determined.

Bestimmte Informationen können in einem Schritt 225 in der Speichereinrichtung 135 abgelegt werden. Dabei können die abgelegten Informationen anderen abgespeicherten Informationen zugeordnet werden.Certain information can be found in one step 225 in the storage device 135 be filed. The stored information can be assigned to other stored information.

In einem Schritt 230 kann ein Hinweis auf ein Bestimmungsergebnis bereitgestellt werden. Der Hinweis kann eine Identifikation des Gegenstands 145, einen Abtast- oder Bestimmungszeitpunkt, ein Bild des Gegenstands 145, eine Bezeichnung, ein Schlüsselwort, ein Symbol und/oder einen Namen des Gegenstands 145 umfassen. Im Anschluss an einen der Schritte 225 oder 230 kann das Verfahren 200 zum Schritt 210 zurückkehren und erneut durchlaufen.In one step 230 an indication of a determination result can be provided. The notice can be an identification of the object 145 , a sampling or determination time, an image of the object 145 , a designation, a keyword, a symbol and / or a name of the object 145 include. Following one of the steps 225 or 230 can do the procedure 200 to step 210 return and go through again.

In einer zweiten Variante (B) beginnt das Verfahren 200 mit dem Schritt 210 und das Abtasten und Erkennen wenigstens eines Gegenstands 145 führen zunächst nur zum Ablegen von Informationen über den oder die erfassten Gegenstände 145 in der Speichereinrichtung 135. Wird dann in einem Schritt 235 eine Definition eines zu suchenden Gegenstands 140 erfasst, so kann eine Suche in den gespeicherten Informationen durchgeführt werden. Optional werden aufgrund des Schritts 235 die Schritte 210 und 215, optional einschließlich der Schritte Schritt 220 oder 225, durchlaufen, und die Suche kann auf dem Ergebnis dieses Durchlaufs dieser Schritte erfolgen. Ein Ergebnis dieser Bestimmung kann im Schritt 230 bereitgestellt werden.The process begins in a second variant (B) 200 with the step 210 and scanning and recognizing at least one object 145 initially only lead to the filing of information about the object or objects recorded 145 in the storage device 135 . Then in one step 235 a definition of an object to be searched for 140 recorded, a search can be made in the stored information. Optional because of the step 235 the steps 210 and 215 , optionally including the steps step 220 or 225 , and the search can be based on the result of that iteration of these steps. A result of this determination can be found in step 230 to be provided.

BezugszeichenlisteList of reference symbols

100100: Systemsystem
105105: KraftfahrzeugMotor vehicle
110110: Gerätdevice
115115: Vorrichtungcontraption
120120: Kameracamera
125125: VerarbeitungseinrichtungProcessing facility
130130: Schnittstelleinterface
135135: SpeichereinrichtungStorage facility
140140: gesuchter Gegenstandwanted item
145145: an Bord des Kraftfahrzeugs befindlicher Gegenstand item on board the motor vehicle
200200: VerfahrenProcedure
205205: Erfassen gesuchter Gegenstand (Variante A)Record wanted item (variant A)
210210: Abtasten InnenraumScanning interior
215215: Erkennen GegenstandRecognize object
220220: Bestimmen OrtDetermine place
225225: Hinweis ausgebenOutput note
230230: erkannten Gegenstand und Ort ablegendiscard recognized object and location
235235: Erfassen gesuchter Gegenstand (Variante B)Record wanted item (variant B)

Claims

Verfahren (200) zum Lokalisieren eines gesuchten Gegenstands (140) an Bord eines Kraftfahrzeugs (105), wobei das Verfahren (200) folgende Schritte umfasst: Bestimmen (205, 235) des gesuchten Gegenstands (140); Abtasten (210) eines Innenraums des Kraftfahrzeugs (105); Erkennen (215) eines an Bord des Kraftfahrzeugs (105) befindlichen Gegenstands (145) auf der Abtastung; Vergleichen (215) des erkannten Gegenstands (145) mit dem gesuchten Gegenstand (140); und Bestimmen (215), ob sich der gesuchte Gegenstand (140) an Bord des Kraftfahrzeugs (105) befindet.Method (200) for locating a searched object (140) on board a motor vehicle (105), the method (200) comprising the following steps: Determining (205, 235) the searched item (140); Scanning (210) an interior of the motor vehicle (105); Detecting (215) an object (145) located on board the motor vehicle (105) on the scan; Comparing (215) the recognized object (145) with the searched object (140); and determining (215) whether the searched item (140) is on board the motor vehicle (105).

Verfahren (200) nach Anspruch 1, wobei das Abtasten (210) des Innenraums optisch erfolgtMethod (200) according to Claim 1 , wherein the scanning (210) of the interior takes place optically

Verfahren nach Anspruch 1 oder 2, wobei der an Bord des Kraftfahrzeugs (105) befindliche Gegenstand (145) erkannt wird, bevor der gesuchte Gegenstand (140) bestimmt wird.Procedure according to Claim 1 or 2 wherein the object (145) on board the motor vehicle (105) is detected before the object (140) sought is determined.

Verfahren (200) nach Anspruch 3, wobei eine Vielzahl an Bord des Kraftfahrzeugs (105) befindliche Gegenstände (145) erkannt werden.Method (200) according to Claim 3 wherein a plurality of objects (145) located on board the motor vehicle (105) are detected.

Verfahren (200) nach Anspruch 3 oder 4, wobei der Innenraum zeitversetzt mehrmals optisch abgetastet (210) wird und bestimmt wird, ob der erkannte Gegenstand (145) durch einen hinzugefügten Gegenstand (145) verdeckt wird.Method (200) according to Claim 3 or 4th wherein the interior space is optically scanned (210) several times with a time delay and it is determined whether the recognized object (145) is covered by an added object (145).

Verfahren (200) nach einem der vorangehenden Ansprüche, wobei auf der Basis der Abtastung ein Ort bestimmt wird, an dem sich der erkannte Gegenstand (145) an Bord des Kraftfahrzeugs (105) befindet.Method (200) according to one of the preceding claims, wherein on the basis of the scan a location is determined at which the recognized object (145) is located on board the motor vehicle (105).

Verfahren (200) nach Anspruch 6, wobei bestimmt wird, dass das Kraftfahrzeug (105) einen Unfall hatte und ein Hinweis auf den Ort eines vorbestimmten Gegenstands (145) gegeben wird.Method (200) according to Claim 6 wherein it is determined that the motor vehicle (105) has had an accident and an indication of the location of a predetermined object (145) is given.

Verfahren (200) nach einem der vorangehenden Ansprüche, wobei der gesuchte Gegenstand (140) durch eine sprachliche Bezeichnung repräsentiert ist und bestimmt (215) wird, ob der erkannte Gegenstand (145) der Bezeichnung entspricht.Method (200) according to one of the preceding claims, wherein the searched object (140) is represented by a linguistic designation and it is determined (215) whether the recognized object (145) corresponds to the designation.

Verfahren (200) nach einem der vorangehenden Ansprüche, wobei der gesuchte Gegenstand (140) durch ein Bild repräsentiert ist und bestimmt wird, ob der erkannte Gegenstand (145) dem durch das Bild repräsentierten Gegenstand (140) entspricht.Method (200) according to one of the preceding claims, wherein the searched object (140) is represented by an image and it is determined whether the recognized object (145) corresponds to the object (140) represented by the image.

Verfahren (200) nach einem der vorangehenden Ansprüche, wobei der gesuchte Gegenstand (140) vorbestimmt ist und vor dem Antritt einer Fahrt mit dem Kraftfahrzeug (105) lokalisiert wird; und ein Hinweis auf das Fehlen des gesuchten Gegenstands (140) ausgegeben wird, falls dieser nicht an Bord des Kraftfahrzeugs (105) gefunden werden kann.The method (200) according to any one of the preceding claims, wherein the searched object (140) is predetermined and is localized before starting a journey with the motor vehicle (105); and an indication of the missing item (140) is output if it cannot be found on board the motor vehicle (105).

Vorrichtung (115) zur Lokalisierung eines gesuchten Gegenstands (140) an Bord eines Kraftfahrzeugs (105), wobei die Vorrichtung folgendes umfasst: eine Schnittstelle zur Bestimmung eines Hinweises auf den gesuchten Gegenstand (140); eine Kamera zur optischen Abtastung eines Innenraums des Kraftfahrzeugs (105); eine Verarbeitungseinrichtung, die dazu eingerichtet ist, einen an Bord des Kraftfahrzeugs (105) befindlichen Gegenstand (145) auf der Abtastung zu erkennen, den erkannten Gegenstand (145) mit dem gesuchten Gegenstand (140) zu vergleichen; und zu bestimmen, ob sich der gesuchte Gegenstand (140) an Bord des Kraftfahrzeugs (105) befindet.Device (115) for localizing a searched object (140) on board a motor vehicle (105), the device comprising: an interface for determining an indication of the searched object (140); a camera for optically scanning an interior of the motor vehicle (105); a processing device which is set up to recognize an object (145) located on board the motor vehicle (105) on the scan, to compare the recognized object (145) with the object (140) sought; and determine whether the searched item (140) is on board the motor vehicle (105).

Vorrichtung (115) nach Anspruch 11, wobei die Schnittstelle drahtlos ausgeführt und zur Kommunikation mit einer externen oder mobilen Einrichtung eingerichtet ist.Device (115) after Claim 11 , wherein the interface is wireless and is set up for communication with an external or mobile device.

Kraftfahrzeug (105), umfassend eine Vorrichtung (115) nach Anspruch 11 oder 12.Motor vehicle (105), comprising a device (115) according to Claim 11 or 12 .