DE102019220575A1

DE102019220575A1 - System und verfahren zum betreiben von physischen entitäten basierend auf einer virtuellen darstellung der physischen entitäten

Info

Publication number: DE102019220575A1
Application number: DE102019220575.5A
Authority: DE
Inventors: Samarjit Das; Sirajum Munir
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2019-02-20
Filing date: 2019-12-27
Publication date: 2020-08-20
Also published as: GB2581585B; GB2581585A; KR20200101865A; US20200265708A1; GB202000689D0; CN111596554A; US11120682B2

Abstract

Ein Verfahren zum Betreiben einer ausgewählten elektronischen Vorrichtung aus mehreren elektronischen Vorrichtungen umfasst Erzeugen von Bilddaten von zumindest der ausgewählten elektronischen Vorrichtung mit einer Bilderfassungsvorrichtung, Anzeigen einer virtuellen Darstellung von zumindest der ausgewählten elektronischen Vorrichtung auf einer Anzeigevorrichtung basierend auf den erzeugten Bilddaten und Empfangen von Benutzereingabe mit einer Eingabevorrichtung. Das Verfahren umfasst ferner Verknüpfen der Benutzereingabe mit der ausgewählten elektronischen Vorrichtung unter Verwendung einer Steuerung, Senden von Vorrichtungsdaten an die ausgewählte elektronische Vorrichtung mit einem Sender-Empfänger und Durchführen einer Operation mit der ausgewählten elektronischen Vorrichtung basierend auf den gesendeten Vorrichtungsdaten.

Description

Technisches Gebiet
Diese Offenbarung bezieht sich auf das Gebiet elektronischer Steuersysteme und, insbesondere, auf elektronische Steuersysteme zum Steuern von abgesetzt befindlichen elektronischen Vorrichtungen.
Stand der Technik
Einige elektronische Vorrichtungen sind abgesetzt über spezialisierte Steuervorrichtungen und Schnittstellen steuerbar. Beispielsweise können einige Leuchten über eine Anwendung (d. h. eine „App“), die auf einem Smartphone ausgeführt wird, aktiviert und deaktiviert werden. Diese Anwendungen können allerdings für einige Benutzer verwirrend sein, da dem Benutzer möglicherweise nicht klar ist, welche Leuchten mit der Anwendung steuerbar sind. Beispielsweise hat ein Benutzer fünf abgesetzt steuerbare Leuchten in einem Raum. Die Leuchten werden in der Anwendung durch nicht anschauliche Namen identifiziert, was es schwierig macht, eine bestimmte Leuchte zur Steuerung auszuwählen. Der Benutzer kann aufgrund der Schwierigkeit beim Auswählen einer bestimmten Leuchte für abgesetzte Steuerung davon abgebracht werden, die Anwendung zum Steuern der Leuchten zu verwenden.
Basierend darauf sind Verbesserungen an der Technologie wünschenswert, die Benutzern ermöglichen, elektronische Vorrichtungen einfach und effizient abgesetzt zu steuern.
Kurzdarstellung
Gemäß einer beispielhaften Ausführungsform der Offenbarung umfasst ein Verfahren zum Betreiben einer ausgewählten elektronischen Vorrichtung aus mehreren elektronischen Vorrichtungen Erzeugen von Bilddaten von zumindest der ausgewählten elektronischen Vorrichtung mit einer Bilderfassungsvorrichtung, Anzeigen einer virtuellen Darstellung von zumindest der ausgewählten elektronischen Vorrichtung auf einer Anzeigevorrichtung basierend auf den erzeugten Bilddaten und Empfangen von Benutzereingabe mit einer Eingabevorrichtung. Das Verfahren umfasst ferner Verknüpfen der Benutzereingabe mit der ausgewählten elektronischen Vorrichtung unter Verwendung einer Steuerung, Senden von Vorrichtungsdaten an die ausgewählte elektronische Vorrichtung mit einem Sender-Empfänger und Durchführen einer Operation mit der ausgewählten elektronischen Vorrichtung basierend auf den gesendeten Vorrichtungsdaten.
Gemäß einer weiteren beispielhaften Ausführungsform der Offenbarung dient eine elektronische Steuerungsvorrichtung zum Betreiben einer ausgewählten elektronischen Vorrichtung von mehreren elektronischen Vorrichtungen. Die elektronische Steuerungsvorrichtung umfasst eine Bilderfassungsvorrichtung, einen Speicher, eine Anzeigevorrichtung, eine Eingabevorrichtung, eine Steuerung und einen Sender-Empfänger. Die Bilderfassungsvorrichtung ist dazu ausgelegt, Bilddaten von zumindest der ausgewählten elektronischen Vorrichtung zu erzeugen. Der Speicher ist mit der Bilderfassungsvorrichtung wirkverbunden und ist dazu ausgelegt, die Bilddaten zu speichern. Die Anzeigevorrichtung ist mit dem Speicher wirkverbunden und ist dazu ausgelegt, eine virtuelle Darstellung von zumindest der ausgewählten elektronischen Vorrichtung anzuzeigen. Die Eingabevorrichtung ist dazu ausgelegt, eine Benutzereingabe zu empfangen. Die Steuerung ist dazu ausgelegt, die Benutzereingabe mit der ausgewählten elektronischen Vorrichtung zu verknüpfen. Der Sender-Empfänger ist mit der ausgewählten elektronischen Vorrichtung wirkverbunden und ist dazu ausgelegt, Vorrichtungsdaten an die ausgewählte elektronische Vorrichtung zu senden. Die ausgewählte elektronische Vorrichtung ist dazu ausgelegt, in Reaktion auf Empfangen der gesendeten Vorrichtungsdaten eine Operation durchzuführen.
Gemäß einer weiteren beispielhaften Ausführungsform der Offenbarung umfasst ein elektronisches Steuerungssystem mehrere elektronische Vorrichtungen, die jeweils einen ersten Sender-Empfänger und eine Steuerungsvorrichtung zum abgesetzten Betreiben einer ausgewählten elektronischen Vorrichtung der mehreren elektronischen Vorrichtungen umfassen. Die Steuerungsvorrichtung umfasst eine Bilderfassungsvorrichtung, einen Speicher, eine Anzeigevorrichtung, eine Eingabevorrichtung, eine Steuerung und einen zweiten Sender-Empfänger. Die Bilderfassungsvorrichtung ist dazu ausgelegt, Bilddaten von zumindest der ausgewählten elektronischen Vorrichtung zu erzeugen. Der Speicher ist mit der Bilderfassungsvorrichtung wirkverbunden und ist dazu ausgelegt, die Bilddaten zu speichern. Die Anzeigevorrichtung ist mit dem Speicher wirkverbunden und ist dazu ausgelegt, eine virtuelle Darstellung von zumindest der ausgewählten elektronischen Vorrichtung anzuzeigen. Die Eingabevorrichtung ist dazu ausgelegt, eine Benutzereingabe zu empfangen. Die Steuerung ist dazu ausgelegt, die Benutzereingabe mit der ausgewählten elektronischen Vorrichtung zu verknüpfen. Der zweite Sender-Empfänger ist mit der ausgewählten elektronischen Vorrichtung wirkverbunden und ist dazu ausgelegt, Vorrichtungsdaten an den ersten Sender-Empfänger der ausgewählten elektronischen Vorrichtung zu senden. Die ausgewählte elektronische Vorrichtung ist dazu ausgelegt, in Reaktion auf Empfangen der gesendeten Vorrichtungsdaten eine Operation durchzuführen.
Figurenliste
Die oben beschriebenen, wie auch andere, Merkmale und Vorteile sollten für Durchschnittsfachleute offensichtlicher werden bei Bezugnahme auf die folgende ausführliche Beschreibung und die beigefügten Figuren, wobei:

1 ist ein Blockdiagramm, ein elektronisches Steuerungssystem umfassend eine Steuerungsvorrichtung zum abgesetzten Steuern von mehreren elektronischen Vorrichtungen darstellend;
2 ist ein Flussdiagramm, ein beispielhaftes Verfahren des Betreibens des elektronischen Steuerungssystems aus 1 darstellend;
3 ist ein Blockdiagramm, eine beispielhafte Verwendung des elektronischen Steuerungssystems aus 1 darstellend; und
4 ist ein Blockdiagramm, eine weitere beispielhafte Verwendung des elektronischen Steuerungssystems aus 1 darstellend.

Ausführliche Beschreibung
Zum Zwecke der Beförderung des Verständnisses der Prinzipien der Offenbarung wird jetzt Bezug genommen auf die in den Zeichnungen dargestellten und in der folgenden schriftlichen Spezifikation beschriebenen Ausführungsformen. Es versteht sich, dass dadurch keine Einschränkung des Schutzumfangs der Offenbarung beabsichtigt ist. Es versteht sich ferner, dass diese Offenbarung beliebige Veränderungen und Modifikationen an den dargestellten Ausführungsformen umfasst und weitere Anwendungen der Prinzipien der Offenbarung, wie sie bei einem Fachmann normalerweise auftreten würden, umfasst, auf die sich diese Offenbarung bezieht.
Aspekte der Offenbarung werden in der beigefügten Beschreibung offenbart. Alternative Ausführungsformen der Offenbarung und ihre Äquivalente können ersonnen werden, ohne vom Geist oder Schutzumfang der Offenbarung abzuweichen. Es ist anzumerken, dass hier jede Diskussion bezüglich „einer Ausführungsform“, „einer beispielhaften Ausführungsform“ und ähnliches anzeigt, dass die beschriebene Ausführungsform ein bestimmtes Merkmal, eine Struktur oder Charakteristik umfassen kann, und dass ein solches bestimmtes Merkmal, eine solche Struktur oder Charakteristik nicht notwendigerweise in jeder Ausführungsform enthalten sein muss. Darüber hinaus umfassen Bezugnahmen auf das Genannte nicht notwendigerweise eine Bezugnahme auf die gleiche Ausführungsform. Schließlich versteht es sich, unabhängig davon, ob es explizit beschrieben wird, für einen Durchschnittsfachmann, dass jedes der bestimmten Merkmale, jede der Strukturen oder Charakteristiken der gegebenen Ausführungsformen in Verbindung oder Kombination mit denjenigen aus einer beliebigen anderen hier erörterten Ausführungsform genutzt werden kann.
Im Rahmen der Offenbarung bedeutet die Phrase „A und/oder B“ so viel wie (A), (B) oder (A und B). Im Rahmen der Offenbarung bedeutet die Phrase „A, B und/oder C“ so viel wie (A), (B), (C), (A und B), (A und C), (B und C) oder (A, B und C).
Die Begriffe „umfassend“, „aufweisend“ und ähnliche, wie bezüglich Ausführungsformen der Offenbarung verwendet, sind synonym.
Wie in 1 gezeigt, ist ein elektronisches Steuerungssystem 100 dazu ausgelegt, die Lücke zwischen der physischen Welt und einer virtuellen Darstellung davon zu überbrücken. Das elektronische Steuerungssystem 100 umfasst eine Steuerungsvorrichtung 104 und zumindest eine elektronische Vorrichtung 108 (d. h. eine physische Entität). Die Steuerungsvorrichtung 104 und die elektronische Vorrichtung 108 sind jeweils mit einem elektronischen Netzwerk, wie etwa dem Internet 112, wirkverbunden. Das elektronische Steuerungssystem 100 ermöglicht einem Benutzer, die elektronische Vorrichtung 108 durch Interagieren mit einer virtuellen Darstellung der elektronischen Vorrichtung 108 auf der Steuerungsvorrichtung 104 zu betreiben. Beispielsweise zeigt die Steuerungsvorrichtung 104 ein Innenbild eines intelligenten Zuhauses an, und Klicken auf ein Pixel einer Leuchte (d. h. einer beispielhaften elektronischen Vorrichtung 108) aktiviert oder deaktiviert ein Leuchtmittel der Leuchte. Darüber hinaus sendet, in einer Handelsumgebung, wenn ein Bediener eine virtuelle Darstellung eines Kunden auswählt, das elektronische Steuerungssystem 100 Rabattcoupons oder andere spezielle Preisangebote an den ausgewählten Kunden. Auf diese Weise verknüpft das elektronische Steuerungssystem 100 eine virtuelle Darstellung von durch die Steuerungsvorrichtung 104 gezeigten Entitäten mit Entitäten der physischen Welt. Das elektronische Steuerungssystem 100 ist auch dazu ausgelegt, automatisch Ziele (d. h. eine ausgewählte elektronische Vorrichtung 108) zu vereindeutigen und ein Kommunikationsmedium zum Senden von Befehlen an die beabsichtigten Ziele bereitzustellen. Die einzelnen Elemente des elektronischen Steuerungssystems 100 werden nachfolgend beschrieben.
In einer beispielhaften Ausführungsform ist die Steuerungsvorrichtung 104 eine persönliche elektronische Vorrichtung, wie etwa ein Smartphone, ein Tablet-Computer oder ein Desktop-Computer, die eine Bilderfassungsvorrichtung 116, eine Anzeigevorrichtung 120, eine Eingabevorrichtung 124, einen Sender-Empfänger 128 und einen Speicher 132 umfasst, die jeweils mit einer Steuerung 136 wirkverbunden sind. Die Bilderfassungsvorrichtung 116, die hier auch als eine Kamera oder eine Digitalkamera bezeichnet wird, ist dazu ausgelegt, Bilddaten 140 entsprechend einer virtuellen Darstellung eines Bereichs zu erzeugen. Insbesondere umfassen die Bilddaten 140 eine virtuelle Darstellung der physischen Elemente und Strukturen, die in einem Sichtfeld 142 (3) der Bilderfassungsvorrichtung 116 befindlich sind. Wenn sich die elektronische Vorrichtung 108 innerhalb des Sichtfelds 142 der Bilderfassungsvorrichtung 116 befindet, erzeugt die Bilderfassungsvorrichtung 116 Bilddaten 140 mit Datenpunkten entsprechend einer virtuellen Darstellung der elektronischen Vorrichtung 108. Wie nachfolgend beschrieben, ist, in einer anderen Ausführungsform, die Bilderfassungsvorrichtung 116 eine Sicherheitskamera in einer Handelseinrichtung (siehe 4).
Wie in 1 gezeigt, ist die Anzeigevorrichtung 120, in einer Ausführungsform, ein Flüssigkristallanzeige-Feld (LCD), dazu ausgelegt, Text, Bilder und andere visuell nachvollziehbare Daten anzuzeigen. Die Anzeigevorrichtung 120 ist, in einer anderen Ausführungsform, eine Anzeige, wie von Durchschnittsfachleuten gewünscht, einschließlich u. a. einer organischen Leuchtdiodenanzeige mit aktiver Matrix. Die Anzeigevorrichtung 120 ist dazu ausgelegt, die virtuelle Darstellung des Bereichs und der elektronischen Vorrichtung 108 anzuzeigen, wie in den Bilddaten 140 enthalten. Wenn sich beispielsweise die elektronische Vorrichtung 108 im Sichtfeld 142 der Bilderfassungsvorrichtung 116 befindet, zeigt die Anzeigevorrichtung 120 eine virtuelle Darstellung der elektronischen Vorrichtung 108 und des Bereichs in der Nähe der elektronischen Vorrichtung 108 an. Wie nachfolgend beschrieben, ist, in einer anderen Ausführungsform, die Anzeigevorrichtung 120 ein Sicherheitsmonitor in einer Handelseinrichtung (siehe 4).
Die Anzeigevorrichtung 120 kann auch eine grafische Benutzerschnittstelle (GUI) zum Betreiben der Steuerungsvorrichtung 104 und/oder der elektronischen Vorrichtung 108 anzeigen. GUI-Daten 144 entsprechend der angezeigten GUI werden im Speicher 132 gespeichert.
In der beispielhaften Ausführungsform aus 1 ist die Eingabevorrichtung 124 ein über der Anzeigevorrichtung 120 angewendeter Touchscreen, der dazu ausgelegt ist, auf die Berührung mit einem Finger oder einem Griffel zu reagieren. Die Eingabevorrichtung 124 ist berührungsempfindlich und transparent und ist, beispielsweise, ein kapazitiver Touchscreen. Die Eingabevorrichtung 124 erzeugt Eingabedaten 148, die im Speicher 132 gespeichert werden. Die Eingabevorrichtung 124 ist dazu ausgelegt, dem Benutzer zu ermöglichen, mit der elektronischen Vorrichtung 108 zu interagieren durch Berühren des Teils der Anzeigevorrichtung 120, auf dem die virtuelle Darstellung der elektronischen Vorrichtung 108 angezeigt wird. In noch einer weiteren Ausführungsform ist die Eingabevorrichtung 124 eine beliebige Vorrichtung, die dazu ausgelegt ist, ein Eingangssignal und die Eingabedaten 148 zu erzeugen, wie von Durchschnittsfachleuten gewünscht. Beispielsweise kann die Eingabevorrichtung 124 mehrere Tasten umfassen, die dazu ausgelegt sind, einem Bediener der Steuerungsvorrichtung 104 zu ermöglichen, die Eingabedaten 148 zu erzeugen.
Der Sender-Empfänger 128 der Steuerungsvorrichtung 104, der auch als drahtloser Sender und Empfänger bezeichnet wird, ist dazu ausgelegt, elektronische Daten (d. h. Vorrichtungsdaten 152) drahtlos von der Steuerungsvorrichtung 104 an die elektronische Vorrichtung 108 zu senden und drahtlos elektronische Daten von der elektronischen Vorrichtung 108 über das Internet 112 zu empfangen. Daher wirkverbindet der Sender-Empfänger 128 die Steuerungsvorrichtung 104 mit der elektronischen Vorrichtung 108. In weiteren Ausführungsformen sendet und empfängt der Sender-Empfänger 128 Daten unter Verwendung eines zellenbasierten Netzwerks, eines drahtlosen Lokalbereichsnetzwerks („Wi-Fi“), eines persönlichen Bereichsnetzwerks und/oder eines beliebigen anderen drahtlosen Netzwerks. Entsprechend ist der Sender-Empfänger 128 kompatibel mit einem beliebigen gewünschten drahtlosen Kommunikationsstandard oder -protokoll, einschließlich u. a. Nahfeldkommunikation („NFC“), IEEE 802.11, IEEE 802.15.1 („Bluetooth®“), globales System für mobile Kommunikationen („GSM“) und Mehrfachzugriff mit Codemultiplex („CDMA“).
Der Speicher 132 ist, in einer Ausführungsform, dazu ausgelegt, die Bilddaten 140, die GUI-Daten 144, die Eingabedaten 148 und die Vorrichtungsdaten 152 zu speichern. Der Speicher 132 ist auch dazu ausgelegt, eine Datenbank 156 zu speichern, die basierend auf dem physischen Erscheinungsbild jeder elektronischen Vorrichtung 108 der mehreren elektronischen Vorrichtungen erzeugt wird. In einer weiteren Ausführungsform wird die Datenbank 156 auf einem abgesetzten Computer (nicht gezeigt) gespeichert, der mit der Steuerungsvorrichtung 104 über das Internet 112 verbunden ist. Der Speicher 132 wird hier auch als ein nicht-flüchtiges computerlesbares Medium bezeichnet.
Die Steuerung 136 der Steuerungsvorrichtung 104 ist dazu ausgelegt, Programmanweisungen auszuführen, um die Bilderfassungsvorrichtung 116, die Anzeigevorrichtung 120, die Eingabevorrichtung 124 und den Speicher 132 zu betreiben. Die Steuerung 136 ist als zumindest ein Mikrocontroller und/oder Mikroprozessor bereitgestellt. In einer Ausführungsform verarbeitet Steuerung 136 die Eingabedaten 148, die Bilddaten 140 und die Datenbank 156, um Eingaben vom Benutzer zu vereindeutigen und eine vom Benutzer ausgewählte elektronische Vorrichtung 108 von den anderen elektronischen Vorrichtungen 108 zu identifizieren.
Erneut Bezug nehmend auf 1, umfasst die elektronische Vorrichtung 108 eine Ausgabe 160, einen Sender-Empfänger 164, einen Beschleunigungsmesser 168, ein Gyroskop 166 und einen Speicher 172, die jeweils mit einer Steuerung 176 wirkverbunden sind. Die elektronische Vorrichtung 108 ist repräsentativ für eine beliebige Vorrichtung, die mittels der Steuerungsvorrichtung 104 abgesetzt steuerbar ist. Beispiele der elektronischen Vorrichtung 108 umfassen u. a. eine beliebige Kombination aus Leuchten, Leuchtmitteln, Smartphones, Deckenlüftern, Fernsehern, Desktop-Computern, Tablet-Computern, digitaler Beschilderung, Autobahnanschlagtafeln, Musikspielern und ähnlichem. Die Ausgabe 160 der elektronischen Vorrichtung 108 hängt, daher, von der bestimmten Ausführungsform ab. In der hier beschriebenen beispielhaften Ausführungsform ist die Ausgabe 160 ein Beleuchtungselement einer Leuchte 108a (3), der Motor eines Deckenlüfters 108b (3) und die Anzeige eines Smartphones oder eines Fernsehers 108c (3). Die Ausgabe 160 kann in mindestens zwei Zuständen ausgelegt sein, umfassend einen „Aus-Zustand“ und einen „Ein-Zustand“. In der Ausführungsform mit Leuchte 108a emittiert die Ausgabe 160 im „Aus-Zustand“ kein Licht, und die Ausgabe 160 emittiert Licht im „Ein-Zustand“. In der Ausführungsform mit Deckenlüfter 108b dreht die Ausgabe 160 im „Aus-Zustand“ die Lüfterblätter nicht, und die Ausgabe 160 dreht die Lüfterblätter im „Ein-Zustand“. In der Ausführungsform mit Smartphone und Fernseher 108c zeigt die Ausgabe 160 im „Aus-Zustand“ kein Bild an, und die Ausgabe 160 zeigt im „Ein-Zustand“ ein Bild an. Basierend darauf ist die elektronische Vorrichtung 108, in einer Ausführungsform, ein Smartphone, oder ist, in einer anderen Ausführungsform, in ein Smartphone integriert. Das Smartphone kann, in jeder Ausführungsform, durch eine Einzelperson getragen werden.
Der Sender-Empfänger 164 der elektronischen Vorrichtung 108, der auch als drahtloser Sender und Empfänger bezeichnet wird, ist dazu ausgelegt, elektronische Daten drahtlos von der elektronischen Vorrichtung 108 an die Steuerungsvorrichtung 104 zu senden und drahtlos elektronische Daten von der Steuerungsvorrichtung 104 über das Internet 112 zu empfangen. Daher wirkverbindet der Sender-Empfänger 164 die elektronische Vorrichtung 108 mit der Steuerungsvorrichtung 104. In weiteren Ausführungsformen sendet und empfängt der Sender-Empfänger 164 Daten unter Verwendung eines zellenbasierten Netzwerks, eines drahtlosen Lokalbereichsnetzwerks („Wi-Fi“), eines persönlichen Bereichsnetzwerks und/oder eines beliebigen anderen drahtlosen Netzwerks. Entsprechend ist der Sender-Empfänger 164 kompatibel mit einem beliebigen gewünschten drahtlosen Kommunikationsstandard oder - protokoll, einschließlich u. a. Nahfeldkommunikation („NFC“), IEEE 802.11, IEEE 802.15.1 („Bluetooth®“), globales System für mobile Kommunikationen („GSM“) und Mehrfachzugriff mit Codemultiplex („CDMA“).
In einer Ausführungsform empfängt der Sender-Empfänger 164 die Vorrichtungsdaten 152 von der Steuerungsvorrichtung 104. Die Vorrichtungsdaten 152 sind dazu ausgelegt, den Zustand der Ausgabe 160 der elektronischen Vorrichtung 108 zu ändern. Wenn beispielsweise die elektronische Vorrichtung 108 eine Leuchte ist, können die Vorrichtungsdaten 152 die elektronische Vorrichtung 108 veranlassen, das Beleuchtungselement aus dem „Aus-Zustand“ in den „Ein-Zustand“ zu ändern. In ähnlicher Weise können andere Vorrichtungsdaten 152 die elektronische Vorrichtung 108 veranlassen, das Beleuchtungselement aus dem „Ein-Zustand“ in den „Aus-Zustand“ zu ändern.
Der Sender-Empfänger 164 ist auch dazu ausgelegt, Identifizierungsdaten 180, die im Speicher 172 gespeichert sind, bei Empfangen einer entsprechenden elektronischen Anforderung von der Steuerungsvorrichtung 104 an die Steuerungsvorrichtung 104 zu senden. Die Identifizierungsdaten 180 identifizieren eindeutig die elektronische Vorrichtung 108 für die Steuerungsvorrichtung 104, sodass jede elektrische Vorrichtung 108 von mehreren elektronischen Vorrichtungen durch die Steuerungsvorrichtung 104 einzeln auswählbar und identifizierbar ist.
Das Gyroskop 166 und der Beschleunigungsmesser 168 sind Sensoren, die dazu ausgelegt sind, Bewegungsdaten 184 zu erzeugen, während die elektronische Vorrichtung 108 durch einen Benutzer transportiert, getragen und/oder genutzt wird, wie etwa Ausführungsformen, bei denen die elektronische Vorrichtung 108, beispielsweise, ein Smartphone oder ein Tablet-Computer ist. Wenn sich der Benutzer bewegt, können die Bewegungsdaten 184 einer Schrittrate des Benutzers, einer Geschwindigkeit des Benutzers und/oder einer Beschleunigung des Benutzers entsprechen. Daher sind die Bewegungsdaten 184 durch die Steuerungsvorrichtung 104 verwendbar, um der Steuerungsvorrichtung 104 zu ermöglichen, die elektronische Vorrichtung 108 automatisch aus mehreren anderen elektronischen Vorrichtungen zu identifizieren durch Abgleichen einer Bewegung der elektronischen Vorrichtung 108 gemäß den Bilddaten 140 mit der Bewegung der elektronischen Vorrichtung 108 gemäß den Bewegungsdaten 184. Das Gyroskop 166 wird als ein beliebiger Typ von Gyroskop bereitgestellt, wie etwa als ein einachsiges oder ein mehrachsiges mikroelektromechanisches (MEMS) Gyroskop. Der Beschleunigungsmesser 168 wird als ein beliebiger Typ von Beschleunigungsmesser bereitgestellt, wie etwa als ein einachsiger oder ein mehrachsiger MEMS-Beschleunigungsmesser.
Der Speicher 172 ist dazu ausgelegt, die Identifizierungsdaten 180, die Bewegungsdaten 184 und die Anwendungsdaten 188 zu speichern. Der Speicher 172 wird hier auch als ein nicht-flüchtiges computerlesbares Medium bezeichnet.
Die Anwendungsdaten 188 sind in einigen Ausführungsformen der elektronischen Vorrichtung 108 enthalten, wie etwa, wenn die elektronische Vorrichtung 108 ein Smartphone oder ein Tablet-Computer ist. Die Anwendungsdaten 188 ermöglichen der elektronischen Vorrichtung 108, eine „App“ auszuführen, die die elektronische Vorrichtung 108 für elektronische Datenübertragung mit der Steuerungsvorrichtung 104 auslegt. Die Anwendungsdaten 188 können dazu führen, dass eine GUI auf der Ausgabe 160 angezeigt wird. Die „App“ kann auch die Erzeugung der Bewegungsdaten 184 mit dem Gyroskop 166 und dem Beschleunigungsmesser 168 regulieren.
Im Betrieb ist das elektronische Steuerungssystem 100 dazu ausgelegt, ein Verfahren 200 zum Steuern der elektronischen Vorrichtung 108 mit der Steuerungsvorrichtung 104 umzusetzen, das durch das Flussdiagramm aus 2 dargestellt wird. Das Verfahren 200 wird in Verbindung mit einer beispielhaften Intelligentes-Zuhause-Ausführungsform des elektronischen Steuerungssystems 100 beschrieben, die in 3 dargestellt wird.
Wie in 3 gezeigt, befindet sich das elektronische Steuerungssystem 100 in einem beispielhaften intelligenten Zuhause und umfasst die Steuerungsvorrichtung 104, ausgelegt als ein Smartphone und drei elektronische Vorrichtungen 108 (d. h. mehrere elektronische Vorrichtungen), umfassend die elektronische Leuchtenvorrichtung 108a, die elektronische Deckenlüftervorrichtung 108b und die elektronische Fernsehvorrichtung 108c. Beim intelligenten Zuhause arbeitet die Steuerungsvorrichtung 104 als eine „Fernsteuerung“ für die elektronischen Vorrichtungen 108a, 108b, 108c, die dazu ausgelegt ist, jede der Ausgaben 160 der elektronischen Vorrichtungen 108a, 108b, 108c zu aktivieren und zu deaktivieren.
Gemäß dem Verfahren 200 wünscht der Benutzer, eine ausgewählte der elektronischen Vorrichtungen 108a, 108b, 108c fernzusteuern. In diesem Beispiel ist die ausgewählte elektronische Vorrichtung die elektronische Leuchtenvorrichtung 108a. In Block 204 umfasst das Verfahren 200 Erzeugen der Bilddaten 140 von zumindest der ausgewählten elektronischen Vorrichtung 108a mit der Bilderfassungsvorrichtung 116 der Steuerungsvorrichtung 104. Zum Erzeugen der Bilddaten 140 richtet der Benutzer die Bilderfassungsvorrichtung 116 auf die ausgewählte elektronische Vorrichtung 108a, sodass die ausgewählte elektronische Vorrichtung 108a im Sichtfeld 142 der Bilderfassungsvorrichtung 116 ist, in der gleichen Weise, in der ein Benutzer ein Smartphone benutzen würde, um ein Bild oder ein Video der ausgewählten elektronischen Vorrichtung 108a aufzunehmen. Die Bilderfassungsvorrichtung 116 erzeugt die Bilddaten 140, und zumindest ein Teil der Bilddaten 140 wird im Speicher 132 gespeichert.
Danach verarbeitet, in Block 208 und wie in 3 gezeigt, die Steuerung 136 der Steuerungsvorrichtung 104 die Bilddaten 140, und eine virtuelle Darstellung der ausgewählten elektronischen Vorrichtung 108a und des Bereichs rund um die ausgewählte elektronische Vorrichtung 108a werden auf der Anzeigevorrichtung 120 gezeigt. Wie gezeigt, umfasst, in diesem Beispiel, die virtuelle Darstellung eine virtuelle Darstellung der Leuchte 240, eine virtuelle Darstellung des Deckenlüfters 244 und eine virtuelle Darstellung des Fernsehers 248. Das Bild auf der Anzeigevorrichtung 120 ändert sich, wenn der Benutzer die Bilderfassungsvorrichtung 116 der Steuerungsvorrichtung 104 bewegt, und die Anzeigevorrichtung 120 wird kontinuierlich aktualisiert, sodass das Bild auf der Anzeigevorrichtung 120 dem Bereich im Sichtfeld 142 der Bilderfassungsvorrichtung 116 entspricht.
In Block 212 bestimmt die Steuerungsvorrichtung 104, ob eine Eingabe durch die Eingabevorrichtung 124 empfangen wurde. Wenn keine Eingabe empfangen wurde, fährt die Steuerungsvorrichtung 104 fort, die Bilddaten 140 zu erzeugen und die virtuellen Darstellungen 240, 244, 248 anzuzeigen. Wenn allerdings, bei Block 212, die Steuerungsvorrichtung 104 bestimmt, dass eine Eingabe mit der Eingabevorrichtung 124 empfangen wurde, speichert die Steuerungsvorrichtung 104 entsprechende Eingabedaten 140 im Speicher 132, und das Verfahren 200 fährt bei Block 216 fort. In einer Ausführungsform stellt der Benutzer eine Eingabe in die Steuerungsvorrichtung 136 bereit durch Berühren der Anzeigevorrichtung 120 (d. h. die über die Anzeigevorrichtung 120 gelegte berührungsempfindliche Eingabevorrichtung 124) an einem Ort entsprechend der virtuellen Darstellung 240 der ausgewählten elektronischen Vorrichtung 108a. Beispielsweise in 3 berührt der Benutzer die Eingabevorrichtung 124 am Eingabeort 252, der der virtuellen Darstellung der Leuchte 240 entspricht, und entsprechende Eingabedaten 148 werden erzeugt.
Bei Block 216 des Verfahrens 200 bestimmt die Steuerungsvorrichtung 104, ob die Eingabedaten 140 einer der elektronischen Vorrichtungen 108 entsprechen, und die Steuerung 136 verknüpft die Eingabedaten 140 mit der ausgewählten elektronischen Vorrichtung 108a. In einem Beispiel vergleicht die Steuerungsvorrichtung 104 die Bilddaten 140 in einem lokalen Bereich 256, der den Eingabeort 252 umgibt, mit der Datenbank 156, um zu bestimmen, ob die Eingabedaten 140 einer der virtuellen Darstellungen 240, 244, 248 der elektronischen Vorrichtungen 108a, 108b, 108c entsprechen. Die Datenbank 156 wird mit Bilddaten der elektronischen Vorrichtungen 108, umfassend mehrere Winkel und mehrere Typen von Beleuchtung, aufgebaut. In einer speziellen Ausführungsform ist die Datenbank 156 ein neuronales Netzwerk, das mit Bilddaten der elektronischen Vorrichtungen 108 trainiert wird. De Bilddaten 140 vom lokalen Bereich 252 werden in die Datenbank 156 (d. h. das neuronale Netzwerk) eingegeben, und das neuronale Netzwerk erzeugt eine entsprechende Ausgabe, die den lokalen Bereich 252 entweder als eine virtuelle Darstellung 240, 244, 248 von einer der elektronischen Vorrichtungen 108a, 108b, 108c umfassend oder als keine virtuelle Darstellung 240, 244, 248 von einer der elektronischen Vorrichtungen 108a, 108b, 108c umfassend identifiziert.
Wenn, bei Block 216, der Vergleich der Bilddaten 140 am lokalen Bereich 256 und der Datenbank 156 anzeigt, dass der Eingabeort 252 keine virtuelle Darstellung 240, 244, 248 von einer der elektronischen Vorrichtungen 108a, 108b, 108c umfasst, kehrt das Verfahren 200 zu Block 204 zurück, und die Bilderfassungsvorrichtung 116 fährt fort, die Bilddaten 140 zu erzeugen. Dies liegt daran, dass die Eingabedaten 148 nicht mit einer Zustandsänderung der Ausgabe 160 von einer der elektronischen Vorrichtungen 108a, 108b, 108c verknüpft wurde. Die Steuerungsvorrichtung 104 unternimmt daher keine Aktion, um zu versuchen, eine der elektronischen Vorrichtungen 108a, 108b, 108c basierend auf den Eingabedaten 148 zu steuern.
Wenn, bei Block 216, der Vergleich der Bilddaten 140 am lokalen Bereich 256 und der Datenbank 156 anzeigt, dass der Eingabeort 252 eine virtuelle Darstellung 240, 244, 248 von einer der elektronischen Vorrichtungen 108a, 108b, 108c umfasst, identifiziert die Steuerung 136 die ausgewählte elektronische Vorrichtung 108a. Daher hat, bei Block 216, die Steuerungsvorrichtung 104 eine Verbindung zwischen der virtuellen Darstellung 240 der Leuchte 108a und der physischen Leuchte 108a hergestellt. Das Verfahren 200 fährt mit Block 220 fort.
Bei Block 220 des Verfahrens 200 sendet die Steuerungsvorrichtung 104 die Vorrichtungsdaten 152 an die ausgewählte elektronische Vorrichtung 108a, wie durch den Benutzer am Eingabeort 252 identifiziert. Insbesondere errichtet die Steuerungsvorrichtung 104 eine elektronische Kommunikationsverbindung mit der ausgewählten elektronischen Vorrichtung 108a über das Netzwerk 112 (d. h. das Internet 112, eine Lokalbereichsnetzwerkverbindung, eine Bluetooth-Verbindung und/oder eine Wi-Fi-Verbindung) und verwendet den Sender-Empfänger 128 zum Senden der Vorrichtungsdaten 152 an die ausgewählte elektronische Vorrichtung 108a über die elektronische Kommunikationsverbindung. Die ausgewählte elektronische Vorrichtung 108a empfängt die Vorrichtungsdaten 152 mit dem Sender-Empfänger 164, und die Steuerung 176 verarbeitet die Gerätedaten 152, um eine durch die Ausgabe 160 durchzuführende Operation zu bestimmen. In der beispielhaften Ausführungsform umfasst die durch die Ausgabe 160 durchgeführte Operation Ändern des Zustands der Leuchte vom „Ein-Zustand“ in den „Aus-Zustand“ oder vom „Aus-Zustand“ in den „Ein-Zustand“.
In Abhängigkeit von der Ausführungsform hängt die durch die elektronische Vorrichtung 108 durchgeführte Operation basierend auf den gesendeten Vorrichtungsdaten 152 von den durch die Steuerungsvorrichtung 104 empfangenen, bestimmten Eingabedaten 148 ab. Wenn beispielsweise der Benutzer den Eingabeort 252 mit einem einzelnen Tippen des Fingers berührt, sind die Vorrichtungsdaten 152 ein „Einschaltsignal“, das dazu führt, dass die durch die elektronische Vorrichtung 108 durchgeführte Operation die Ausgabe 160 aktiviert, wie etwa durch Einschalten der Leuchte 108a, Einschalten des Deckenlüfters 108b und Einschalten des Fernsehers 108c. Wohingegen, wenn der Benutzer den Eingabeort 252 mit einem doppelten Tippen des Fingers berührt, die Eingabedaten 148 ein „Ausschaltsignal“ sind, das dazu führt, dass die durch die elektronische Vorrichtung 108 durchgeführte Operation die Ausgabe 160 deaktiviert, wie etwa durch Ausschalten der Leuchte 108a, Ausschalten des Deckenlüfters 108b und Ausschalten des Fernsehers 108c. Jede andere Eingabeauslegung kann auch durch die Steuerungsvorrichtung 104 umgesetzt werden, um Fernsteuerung eines beliebigen Aspekts der elektronischen Vorrichtungen 108 zu steuern, wie etwa Helligkeit / Abblendsteuerung für die Leuchte 108a; Gebläsedrehzahlsteuerung für den Deckenlüfter 108b; und Lautstärke-, Kanal- und Eingangssteuerung für den Fernseher 108c.
Das elektronische Steuerungssystem 100 bietet Vorteile gegenüber vorhandener Technologie. Beispielsweise sind einige Leuchten mit einer dedizierten Vorrichtung oder mittels einer „App“, die nur Symbole der Leuchte umfasst, fernsteuerbar; allerdings sind bekannte Leuchten nicht über eine „App“ fernsteuerbar, die ein tatsächliches Bild (d. h. eine virtuelle Darstellung 240) der zu steuernden Leuchte anzeigt. Daher vereinfacht das elektronische Steuerungssystem 100 Fernsteuerung einer elektronischen Vorrichtung 108 durch Verhindern, dass sich der Benutzer an Details der elektrischen Vorrichtung 108 erinnern muss, wie etwa einen identifizierenden Namen der elektronischen Vorrichtung 108. Stattdessen richtet der Benutzer einfach die Steuerungsvorrichtung 104 auf die ausgewählte elektronische Vorrichtung 108 und berührt den entsprechenden Bereich der Eingabevorrichtung 124 / Anzeigevorrichtung 120, um die ausgewählte elektronische Vorrichtung 108 zu steuern. In einem intelligenten Zuhause mit vielen elektronischen Vorrichtungen 108 macht das elektronische Steuerungssystem 100 Steuerung der elektronischen Vorrichtungen 108 sehr einfach und bequem für den Benutzer.
In einer Ausführungsform wird durch das elektronische Steuerungssystem 100 eine Einrichtungsprozedur durchgeführt, wenn eine elektronische Vorrichtung 108 zum intelligenten Zuhause hinzugefügt wird. Beispielsweise stellt, während der Installation einer Leuchte, wie etwa der Leuchte 108a, der Installateur eine Zuordnung von Bilddaten entsprechend der Leuchte 108a zu einer elektronischen Identifizierung der Leuchte 108a, wie etwa eine IP-Adresse der Leuchte, bereit. Ein beliebiger anderer Einrichtungs- und Zuordnungsansatz kann durch das elektronische Steuerungssystem 100 in Reaktion darauf verfolgt werden, dass zusätzliche elektronische Vorrichtungen 108 zum System 100 hinzugefügt werden.
Beispielsweise ist die Steuerungsvorrichtung 104, in einigen Ausführungsformen, dazu ausgelegt, einen Versuch-und-Irrtum-Ansatz durchzuführen, um die Zuordnung und die Identifizierung einer elektronischen Vorrichtung 108 zu bestimmen. Wenn beispielsweise ein Benutzer eine blaue Lampe als die ausgewählte elektronische Vorrichtung 108 auswählt, kann es zwei blaue Lampen geben, die sich im intelligenten Zuhause befinden. Die Steuerung 136 identifiziert eine erste der blauen Lampen und sendet Vorrichtungsdaten 152 an die erste blaue Lampe, um die Lampe zu erleuchten. Wenn die nicht ausgewählte Lampe (d. h. die zweite blaue Lampe, die nicht den Eingabedaten 148 entspricht) erleuchtet wird, detektiert die Steuerung 136 so viel durch Verarbeiten der Bilddaten 140, die zeigen, dass die erste blaue Lampe entsprechend den Eingabedaten 148 Zustände nicht geändert hat. Entsprechend sendet die Steuerungsvorrichtung 104 weitere Vorrichtungsdaten 152 an die ausgewählte Lampe, die den Eingabedaten 148 entsprechen, um die ausgewählte Lampe zu veranlassen, Zustände zu ändern. Die Änderung im Zustand der ausgewählten Lampe (d. h. der zweiten elektronischen Vorrichtung 108) wird, in einigen Ausführungsformen, durch die Steuerung 136 als eine Änderung im Erscheinungsbild der ausgewählten Lampe identifiziert, wie virtuell durch die Bilddaten 140 dargestellt.
Wenn darüber hinaus das elektronische Steuerungssystem 100 visuelle Erkennung von Objekten durchführt, erfasst es verschiedene visuelle Eigenschaften des Objekts. Wenn beispielsweise Steuerung 136 detektiert, dass die Bilddaten einer Lampe (einer beispielhaften elektronischen Vorrichtung 108) entsprechen, speichert die Steuerung 136 Eigenschaften der detektierten Lampe in einer Datendatei, die die Farbe der Lampe, die Größe der Lampe und den Ort der Lampe relativ zu einer anderen detektierten elektronischen Vorrichtung 108 im intelligenten Zuhause umfassen. Gemäß diesem Ansatz führt, wenn Eingabedaten 148 durch einen Benutzer erzeugt werden, die Steuerung 136 Objektdetektion im lokalen Bereich 252 der Bilddaten 140 durch, um die Kategorie von Objekten im lokalen Bereich 252 zu bestimmen. Das heißt, dass die Steuerung 136 bestimmt, ob es einen Kühlschrank oder eine Lampe im lokalen Bereich 252 gibt. Dann, nach Detektieren der Objektkategorie, beispielsweise Leuchten, extrahiert die Steuerung 136 mehr Informationen über die Eigenschaften des detektierten Objekts, wie etwa die Farbe, Größe, Platzierung und den Ort des Objekts in den Bilddaten 140. Die Steuerung 136 verwendet diese Informationen zum Vereindeutigen der Lampe gegenüber anderen Leuchten und anderen elektronischen Vorrichtungen 108 im intelligenten Zuhause.
4 stellt eine weitere beispielhafte Verwendung des elektronischen Steuerungssystems 100 in einer Handelseinrichtung dar. Die Handelseinrichtung umfasst ein erstes Gestell 264 mit Kleidung, das von einem ersten Kunden 268 angesehen wird, und ein zweites Gestell 272 mit Kleidung, das von einem zweiten Kunden 276 angesehen wird. Der erste Kunde 268 hat ein erstes Smartphone 280, und der zweite Kunde 276 hat ein zweites Smartphone 284. Die Steuerungsvorrichtung 104 ist, in dieser beispielhaften Ausführungsform, ein zweiteiliges System, das eine Bilderfassungsvorrichtung 116, gezeigt als eine Sicherheitskamera, und eine Anzeigevorrichtung 120, bereitgestellt als ein Monitor, umfasst. Die mehreren elektronischen Vorrichtungen 108 in dieser Ausführungsform umfassen einen ersten Tablet-Computer 284, einen zweiten Tablet-Computer 288 und das erste Smartphone 280. Wie nachfolgend erläutert, ist das zweite Smartphone 284 keine der elektronischen Vorrichtungen 108.
Das erste Smartphone 280 ist als eine der elektronischen Vorrichtungen 108 enthalten, da das erste Smartphone eine „App“ (d. h. App-Daten 188) umfasst, die das Smartphone 280 dazu auslegen, sich mit dem elektronischen Steuerungssystem 100 wirkzuverbinden. Daher ist die Steuerungsvorrichtung 104 dazu ausgelegt, die Vorrichtungsdaten 152 an das erste Smartphone 280 zu senden, um das erste Smartphone 280 zu veranlassen, eine Operation durchzuführen, wie etwa Anzeigen einer Benachrichtigung 292, umfassend Daten im Hinblick auf Preisangebote. Das zweite Smartphone 284 ist nicht als eine der elektronischen Vorrichtungen 108 enthalten, da das zweite Smartphone 284 nicht die „App“ (d. h. App-Daten 188) umfasst und nicht mit dem elektronischen Steuerungssystem 100 wirkverbunden ist. Daher ist die Steuerungsvorrichtung 104 nicht dazu ausgelegt, die Vorrichtungsdaten 152 an das zweite Smartphone 284 zu senden.
Das elektronische Steuerungssystem 100 aus 4 ist eine Verbesserung gegenüber vorhandenen Handelseinrichtungs-Sicherheitsüberwachungssystemen. Insbesondere ermöglicht, zusätzlich zum Bereitstellen der typischen Vorteile in Verbindung mit einem Sicherheitsüberwachungssystem, wie etwa Echtzeit-Videoüberwachung, das elektronische Steuerungssystem 100 einem Bediener der Steuerungsvorrichtung 104, spezialisierte Werbungen, Vorschlägen und andere Informationen für einen ausgewählten Kunden aus mehreren Kunden bereitzustellen.
Beispielsweise wird einem Bediener, der sich eine virtuelle Darstellung der Handelseinrichtung auf dem Anzeigebildschirm 120 ansieht, eine virtuelle Darstellung des ersten Kunden 296 und eine virtuelle Darstellung des zweiten Kunden 300 gezeigt (d. h. Blöcke 204 und 208 des Flussdiagramms aus 2). Darüber hinaus zeigt die Anzeigevorrichtung 120 eine virtuelle Darstellung von zumindest einigen der elektronischen Vorrichtungen 304, 308 an. Das Smartphone 280, das eine elektronische Vorrichtung 108 ist, kann angezeigt werden oder nicht, da sich das Smartphone 280 in einer Tasche oder Handtasche des Kunden 268 befinden kann.
Durch Ansehen der Anzeigevorrichtung 120 bestimmt der Bediener der Steuerungsvorrichtung 104, dass der erste Kunde 268 die Kleidungsauswahl des ersten Kleidungsgestells 264 durchstöbert, aber keinen Artikel zum Kauf ausgewählt hat. Der erste Kunde 268 hat möglicherweise den Tablet-Computer 284 angesehen, der, beispielsweise, den normalen Preis der Artikel anzeigt, und war nicht überzeugt, eine Auswahl zu treffen. Um den ersten Kunden 268 dazu zu bringen, eine Auswahl zu treffen und, letztlich, einen Kauf zu tätigen, verwendet der Bediener die Eingabevorrichtung 124, um den Bereich der Anzeigevorrichtung 120 entsprechend der virtuellen Darstellung des ersten Kunden 296 am Eingabeort 312 zu berühren (d. h. Block 212 aus 2).
Danach bestimmt die Steuerungsvorrichtung 104 die effizientesten Mittel, beispielsweise, zum Präsentieren eines speziellen Preisangebots für den ersten Kunden 268. In einer Ausführungsform verarbeitet die Steuerung 136 die Bilddaten 140, um zu bestimmen, welche der elektronischen Vorrichtungen 280, 284, 288 innerhalb eines lokalen Bereichs 316 nahe des Eingabeorts 312 befindlich sind. Wie in 4 gezeigt, sind das Smartphone 280 und der Tablet-Computer 284 innerhalb des lokalen Bereichs 316 befindlich. Der Prozess zum Durchführen dieser Bestimmung wird nachfolgend beschrieben.
Die Steuerungsvorrichtung 104 bestimmt, dass der Tablet-Computer 284 im lokalen Bereich 316 befindlich ist, durch Verarbeiten der Bilddaten 140 entsprechend der virtuellen Darstellung des Tablet-Computers 304 und der Datenbank 156. Da die Datenbank 156 mit Bildern und dem Ort des Tablet-Computers 284 aufgebaut ist, ist die Steuerungsvorrichtung 104 in der Lage, den Tablet-Computer 284 aus den Bilddaten 140 zu identifizieren.
Die Steuerungsvorrichtung 104 bestimmt, dass das erste Smartphone 280, das die App-Daten 188 umfasst, im lokalen Bereich 316 befindlich ist, basierend auf den Bewegungsdaten 184 und den Bilddaten 140. Die Steuerungsvorrichtung 104 empfängt die durch das Gyroskop 166 und den Beschleunigungsmesser 168 erzeugten Bewegungsdaten 184 vom ersten Smartphone 280 über das Internet / lokale Netzwerk 112. Die Steuerungsvorrichtung 104 ist in der Lage, elektronisch mit dem ersten Smartphone 280 zu kommunizieren und die Bewegungsdaten 184 zu empfangen, da das Smartphone 280 die App-Daten 188 umfasst, die die Berechtigungen errichtet, die zum Extrahieren der Bewegungsdaten 184 aus dem Smartphone 280 verwendet werden. Die App-Daten 188 ermöglichen dem ersten Smartphone 280, elektronische Daten an die Steuerungsvorrichtung 104 zu senden und elektronische Daten von der Steuerungsvorrichtung 104 zu empfangen. Die Bewegungsdaten 184 werden verarbeitet, um eine feinkörnige Bewegungssignatur des Kunden 268 / Smartphones 280 basierend auf zumindest einem aus einer Bewegungsgeschwindigkeit des Kunden 268, einer Beschleunigung des Kunden 268, einer Bewegungszeit des Kunden 268 und einer stationären Zeit des Kunden 268 zu bestimmen. Dann vergleicht die Steuerung 136 die Bewegungsdaten 184 mit den Bilddaten 140, um eine der virtuellen Darstellungen des Kunden 296, 300 zu bestimmen, die Bewegungen entsprechend den Bewegungsdaten 184 hat.
Zusätzlich zum Ausbilden der feinkörnigen Bewegungssignatur des Kunden 268 basierend auf den Bewegungsdaten 184 kann die Steuerungsvorrichtung 104 auch zusätzliche Daten verwenden, um den ausgewählten Kunden 268 aus der virtuellen Darstellung 296, 300 davon zu identifizieren. Beispielsweise können Wi-Fi-Verkehrsdaten, Bluetooth-Pakete, Gyroskopdaten, Magnetometerdaten und/oder Lichtsensordaten verwendet werden, um die feinkörnige Bewegungssignatur eines Smartphones 280 aufzubauen, die sich durch die Bilddaten 140 bewegt. Unter Verwendung dieser Daten werden Kunden 268, 276 getrennt, abgeglichen und identifiziert durch Durchführen einer multimodalen Sensorfusion durch Korrelieren der Bewegungssignatur über unterschiedliche Erfassungsmodalitäten. Wenn ein Kunde 268, 276 durch einen Laden läuft, werden subtile Bewegungen aufgrund seines Gangs (Mikrobewegung) und einer langfristigen Gehbewegungsbahn (Makrobewegung) in den Bilddaten 140 sowie durch einen Sensor des Smartphones 280 (d. h. des Beschleunigungsmessers 168) gezeigt. Außerdem wird der durch das Smartphone 280 erzeugte Wi-Fi-Verkehr ausgenutzt, um Ankunftswinkel (AoA) und Entfernung von der Bilderfassungsvorrichtung 116 zu schätzen, um die Mikrobewegungen und die Makrobewegungen des Kunden 268, 276 zu erfassen. Die Steuerungsvorrichtung 104 vereinigt diese Daten miteinander und erfasst die gleiche Bewegungssignatur aus unterschiedlichen Perspektiven, dabei der Steuerungsvorrichtung 104 ermöglichend, die Kunden 268, 276, die als virtuelle Darstellungen der Kunden 296, 300 auf der Anzeigevorrichtung 120 gezeigt werden, zu detektieren, zu lokalisieren und zu identifizieren.
Wenn eine Übereinstimmung zwischen den Bewegungsdaten 184 und den virtuellen Darstellungen des Kunden 296 auftritt, sendet die Steuerungsvorrichtung 104 die Vorrichtungsdaten 152 an das entsprechende Smartphone 280, was in diesem Beispiel das erste Smartphone 280 ist. Die Vorrichtungsdaten 152 veranlassen das erste Smartphone 280, eine Operation durchzuführen, wie etwa Anzeigen eines speziellen rabattierten Preisangebots 292, das ein niedrigerer Preis als der auf dem Tablet-Computer 284 angezeigte normale Preis ist. So hat das elektronische Steuerungssystem 100 auf diese Weise einen persönlichen Rabatt für den Kunden 268 bereitgestellt, der den Kunden 268 veranlassen könnte, einen Artikel der Kleidung zu kaufen.
Wenn keine Übereinstimmung zwischen den Bewegungsdaten 184 und der virtuellen Darstellung des Kunden 296 auftritt, sendet die Steuerungsvorrichtung 104 die Vorrichtungsdaten 152 an die nächstgelegene elektrische Vorrichtung 108, wie etwa den ersten Tablet-Computer 284. Der Tablet-Computer 284 empfängt die Vorrichtungsdaten 152 und führt eine Operation durch, wie etwa Anzeigen von rabattierten Preisangeboten anstelle von Anzeigen des normalen Preises der Artikel. Daher ist, auch wenn der Kunde 268, 276 kein Smartphone hat, auf dem die App-Daten 188 ausgeführt werden, das elektronische Steuerungssystem 100 dazu ausgelegt, einen persönlichen Rabatt für den ausgewählten Kunden 268 zu liefern, der den Kunden 268 veranlassen kann, einen Artikel der Kleidung zu kaufen.
Das elektronische Steuerungssystem 100 in dieser Ausführungsform verbessert ein typisches Sicherheitskamerasystem, indem es einem Bediener davon ermöglicht, ausgewählte Kunden 268, 276 mit speziellen Angeboten, Vorschlägen, Werbungen, Rabatten, Empfehlungen und Informationen zu erreichen.
Darüber hinaus kann das elektronische Steuerungssystem 100 auf andere Bereiche angewendet werden, um den Betrieb der Bilderfassungssysteme zu verbessern. Beispielsweise können die hier beschriebenen Techniken und Verfahren für Flughäfen, Krankenhäuser, Stadien, Theater, akademische Gebäude und Kongresszentren verallgemeinert werden. Das elektronische Steuerungssystem 100 ist überall verwendbar, wo eine Verknüpfung von Pixeln eines Bildes mit physischen Entitäten vorteilhaft ist.
Während die Offenbarung in den Zeichnungen und der vorstehenden Beschreibung dargestellt und ausführlich beschrieben wurde, sollte selbige als veranschaulichend und dem Wesen nach nicht einschränkend betrachtet werden. Es versteht sich, dass nur die bevorzugten Ausführungsformen vorgestellt wurden und dass ein Schutz aller Änderungen, Modifikationen und weiterer Anwendungen, die im Geist der Offenbarung liegen, gewünscht ist.

Claims

Verfahren zum Betreiben einer ausgewählten elektronischen Vorrichtung aus mehreren elektronischen Vorrichtungen, das Folgendes umfasst: Erzeugen von Bilddaten von zumindest der ausgewählten elektronischen Vorrichtung mit einer Bilderfassungsvorrichtung; Anzeigen einer virtuellen Darstellung von zumindest der ausgewählten elektronischen Vorrichtung auf einer Anzeigevorrichtung basierend auf den erzeugten Bilddaten; Empfangen einer Benutzereingabe mit einer Eingabevorrichtung; Verknüpfen der Benutzereingabe mit der ausgewählten elektronischen Vorrichtung unter Verwendung einer Steuerung; Senden von Vorrichtungsdaten an die ausgewählte elektronische Vorrichtung mit einem Sender-Empfänger; und Durchführen einer Operation mit der ausgewählten elektronischen Vorrichtung basierend auf den gesendeten Vorrichtungsdaten.
Verfahren nach Anspruch 1, das ferner Folgendes umfasst: Aufbauen einer Datenbank basierend auf einem Erscheinungsbild der mehreren elektronischen Vorrichtungen; und Verknüpfen der Benutzereingabe mit der ausgewählten elektronischen Vorrichtung durch Vergleichen der Bilddaten der ausgewählten elektronischen Vorrichtung mit dem Erscheinungsbild der ausgewählten elektronischen Vorrichtung in der Datenbank.
Verfahren nach Anspruch 1, das ferner Folgendes umfasst: Errichten einer elektronischen Kommunikationsverbindung mit der ausgewählten elektronischen Vorrichtung; und Senden der Vorrichtungsdaten an die ausgewählte elektronische Vorrichtung unter Verwendung des Sender-Empfängers über die elektronische Kommunikationsverbindung.
Verfahren nach Anspruch 1, wobei: die ausgewählte elektronische Vorrichtung eine Leuchte ist, die Operation die Leuchte aktiviert und/oder deaktiviert, die Leuchte Licht emittiert, wenn sie aktiviert ist, und die Leuchte daran gehindert wird, Licht zu emittieren, wenn sie deaktiviert ist.
Verfahren nach Anspruch 1, wobei: die ausgewählte elektronische Vorrichtung eine weitere Anzeigevorrichtung umfasst, und die Operation Anzeigen der Vorrichtungsdaten auf der anderen Anzeigevorrichtung umfasst.
Verfahren nach Anspruch 5, wobei: die Vorrichtungsdaten Preisangebote umfassen.
Verfahren nach Anspruch 1, wobei: die ausgewählte elektronische Vorrichtung ein Smartphone ist, die Operation Anzeigen einer Benachrichtigung auf dem Smartphone umfasst, und die Benachrichtigung Daten im Hinblick auf Preisangebote umfasst.
Elektronische Steuerungsvorrichtung zum Betreiben einer ausgewählten elektronischen Vorrichtung aus mehreren elektronischen Vorrichtungen, wobei die elektronische Steuerungsvorrichtung Folgendes umfasst: eine Bilderfassungsvorrichtung, dazu ausgelegt, Bilddaten von zumindest der ausgewählten elektronischen Vorrichtung zu erzeugen; einen Speicher, mit der Bilderfassungsvorrichtung wirkverbunden und dazu ausgelegt, die Bilddaten zu speichern; eine Anzeigevorrichtung, mit dem Speicher wirkverbunden und dazu ausgelegt, eine virtuelle Darstellung von zumindest der ausgewählten elektronischen Vorrichtung anzuzeigen; eine Eingabevorrichtung, dazu ausgelegt, eine Benutzereingabe zu empfangen; eine Steuerung, dazu ausgelegt, die Benutzereingabe mit der ausgewählten elektronischen Vorrichtung zu verknüpfen; und einen Sender-Empfänger, mit der ausgewählten elektronischen Vorrichtung wirkverbunden und dazu ausgelegt, Vorrichtungsdaten an die ausgewählte elektronische Vorrichtung zu senden; wobei die ausgewählte elektronische Vorrichtung dazu ausgelegt ist, in Reaktion auf Empfangen der gesendeten Vorrichtungsdaten eine Operation durchzuführen.
Elektronische Steuerungsvorrichtung nach Anspruch 8, die ferner Folgendes umfasst: eine Datenbank, gespeichert im Speicher, wobei die Datenbank auf einem Erscheinungsbild der mehreren elektronischen Vorrichtungen basiert, wobei die Steuerung dazu ausgelegt ist, die Benutzereingabe mit der ausgewählten elektronischen Vorrichtung zu verknüpfen durch Vergleichen der Bilddaten der ausgewählten elektronischen Vorrichtung mit dem Erscheinungsbild der ausgewählten elektronischen Vorrichtung in der Datenbank.
Elektronische Steuerungsvorrichtung nach Anspruch 8, wobei: die Steuerung dazu ausgelegt ist, eine elektronische Kommunikationsverbindung mit der ausgewählten elektronischen Vorrichtung zu errichten; und der Sender-Empfänger dazu ausgelegt ist, die Vorrichtungsdaten über die elektronische Kommunikationsverbindung an die ausgewählte elektronische Vorrichtung zu senden.
Elektronische Steuerungsvorrichtung nach Anspruch 8, wobei: die ausgewählte elektronische Vorrichtung eine Leuchte ist, die Operation die Leuchte aktiviert und/oder deaktiviert, die Leuchte dazu ausgelegt ist, Licht zu emittieren, wenn sie aktiviert ist, und die Leuchte daran gehindert wird, Licht zu emittieren, wenn sie deaktiviert ist.
Elektronische Steuerungsvorrichtung nach Anspruch 8, wobei: die ausgewählte elektronische Vorrichtung eine weitere Anzeigevorrichtung umfasst, und die Operation Anzeigen der Vorrichtungsdaten auf der anderen Anzeigevorrichtung umfasst.
Elektronische Steuerungsvorrichtung nach Anspruch 12, wobei: die Vorrichtungsdaten Preisangebote umfassen.
Elektronische Steuerungsvorrichtung nach Anspruch 8, wobei: die ausgewählte elektronische Vorrichtung ein Smartphone ist, die Operation Anzeigen einer Benachrichtigung auf dem Smartphone umfasst, und die Benachrichtigung Daten im Hinblick auf Preisangebote umfasst.
Elektronisches Steuerungssystem, das Folgendes umfasst: mehrere elektronische Vorrichtungen, jeweils einen ersten Sender-Empfänger umfassend; eine Steuerungsvorrichtung zum abgesetzten Betreiben einer ausgewählten elektronischen Vorrichtung der mehreren elektronischen Vorrichtungen, wobei die Steuerungsvorrichtung Folgendes umfasst: eine Bilderfassungsvorrichtung, dazu ausgelegt, Bilddaten von zumindest der ausgewählten elektronischen Vorrichtung zu erzeugen, einen Speicher, mit der Bilderfassungsvorrichtung wirkverbunden und dazu ausgelegt, die Bilddaten zu speichern, eine Anzeigevorrichtung, mit dem Speicher wirkverbunden und dazu ausgelegt, eine virtuelle Darstellung von zumindest der ausgewählten elektronischen Vorrichtung anzuzeigen, eine Eingabevorrichtung, dazu ausgelegt, eine Benutzereingabe zu empfangen, eine Steuerung, dazu ausgelegt, die Benutzereingabe mit der ausgewählten elektronischen Vorrichtung zu verknüpfen, und einen zweiten Sender-Empfänger, mit der ausgewählten elektronischen Vorrichtung wirkverbunden und dazu ausgelegt, Vorrichtungsdaten an den ersten Sender-Empfänger der ausgewählten elektronischen Vorrichtung zu senden, wobei die ausgewählte elektronische Vorrichtung dazu ausgelegt ist, in Reaktion auf Empfangen der gesendeten Vorrichtungsdaten eine Operation durchzuführen.
Elektronisches Steuerungssystem nach Anspruch 15, das ferner Folgendes umfasst: eine Datenbank, gespeichert im Speicher, wobei die Datenbank auf einem Erscheinungsbild der mehreren elektronischen Vorrichtungen basiert, wobei die Steuerung dazu ausgelegt ist, die Benutzereingabe mit der ausgewählten elektronischen Vorrichtung zu verknüpfen durch Vergleichen der Bilddaten der ausgewählten elektronischen Vorrichtung mit dem Erscheinungsbild der ausgewählten elektronischen Vorrichtung in der Datenbank.
Elektronisches Steuerungssystem nach Anspruch 15, das ferner Folgendes umfasst: der erste Sender-Empfänger ist dazu ausgelegt, eine elektronische Kommunikationsverbindung mit dem zweiten Sender-Empfänger der ausgewählten elektronischen Vorrichtung zu errichten; und der erste Sender-Empfänger ist dazu ausgelegt, die Vorrichtungsdaten über die elektronische Kommunikationsverbindung an den zweiten Sender-Empfänger zu senden.
Elektronisches Steuerungssystem nach Anspruch 15, das ferner Folgendes umfasst: die ausgewählte elektronische Vorrichtung ist eine Leuchte, die Operation aktiviert und/oder deaktiviert die Leuchte, die Leuchte ist dazu ausgelegt, Licht zu emittieren, wenn sie aktiviert ist, und die Leuchte wird daran gehindert, Licht zu emittieren, wenn sie deaktiviert ist.
Elektronisches Steuerungssystem nach Anspruch 15, wobei: die ausgewählte elektronische Vorrichtung eine weitere Anzeigevorrichtung umfasst, die Operation Anzeigen der Vorrichtungsdaten auf der anderen Anzeigevorrichtung umfasst, und die Vorrichtungsdaten Preisangebote umfassen.
Elektronisches Steuerungssystem nach Anspruch 15, wobei: die ausgewählte elektronische Vorrichtung ein Smartphone ist, die Operation Anzeigen einer Benachrichtigung auf dem Smartphone umfasst, und die Benachrichtigung Daten im Hinblick auf Preisangebote umfasst.