DE102020209054A1 - Vorrichtung und verfahren zur personenerkennung, -verfolgung und -identifizierung unter verwendung drahtloser signale und bilder - Google Patents

Vorrichtung und verfahren zur personenerkennung, -verfolgung und -identifizierung unter verwendung drahtloser signale und bilder Download PDF

Info

Publication number
DE102020209054A1
DE102020209054A1 DE102020209054.8A DE102020209054A DE102020209054A1 DE 102020209054 A1 DE102020209054 A1 DE 102020209054A1 DE 102020209054 A DE102020209054 A DE 102020209054A DE 102020209054 A1 DE102020209054 A1 DE 102020209054A1
Authority
DE
Germany
Prior art keywords
movement
camera
wireless transceiver
data
estimated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020209054.8A
Other languages
English (en)
Inventor
Vivek Jain
Samarjit Das
Sirajum Munir
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of DE102020209054A1 publication Critical patent/DE102020209054A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/35—Services specially adapted for particular environments, situations or purposes for the management of goods or merchandise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • H04W64/003—Locating users or terminals or network equipment for network management purposes, e.g. mobility management locating network equipment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • H04W64/006—Locating users or terminals or network equipment for network management purposes, e.g. mobility management with additional information processing, e.g. for direction or speed determination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W8/00—Network data management
    • H04W8/22—Processing or transfer of terminal data, e.g. status or physical capabilities
    • H04W8/24—Transfer of terminal data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

Vorrichtung, die einen Drahtlos-Sender-Empfänger umfasst, der dazu ausgelegt ist, Paketdaten mit einer Mobilvorrichtung zu kommunizieren, die einer oder mehreren Personen im Nahbereich des Drahtlos-Sender-Empfängers zugeordnet ist, und eine Steuervorrichtung in Kommunikation mit dem Drahtlos-Sender-Empfänger und einer Kamera, wobei die Steuervorrichtung dazu ausgelegt ist, eine Vielzahl von Paketdaten von einer oder mehreren Personen zu empfangen, wobei die Paketdaten mindestens Amplitudeninformationen aufweisen, die mit dem mit dem Drahtlos-Sender-Empfänger kommunizierenden Drahtloskanal verknüpft sind, und Bilder mit Bewegungsbahnen von Personen aus der Kamera zu empfangen, Durchführen der Erkennung, Verfolgung und Pseudoidentifizierung von Personen durch Verschmelzen von Bewegungsbahnen aus Drahtlossignalen und Kamerabildern.

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Offenbarung betrifft drahtlose und kamerabasierte Überwachungssysteme.
  • STAND DER TECHNIK
  • Einzelhandelsgeschäfte, Flughäfen, Kongresszentren und intelligente Bereiche/Wohngebiete überwachen möglicherweise Personen im Nahbereich. Die Erkennung, Verfolgung und Pseudoidentifizierung von Personen kann in verschiedenen Einsatzbereichen unterschiedliche Anwendungen aufweisen. Bei vielen Anwendungen können Kameras zur Verfolgung von Personen eingesetzt werden. Kameras in Einzelhandelsgeschäften zum Beispiel können in der Decke montiert sein und nach unten blicken, wodurch sie nicht in der Lage sind, Personen mithilfe von Gesichtserkennungsalgorithmen exakt zu identifizieren. Fernerhin können Gesichtserkennungsalgorithmen an Orten, an denen sich Tausende von Menschen aufhalten können (z. B. auf einem Flughafen oder in einem großen Einzelhandelsgeschäft), unter Umständen nicht gut abschneiden.
  • KURZDARSTELLUNG
  • Gemäß einer Ausführungsform weist eine Vorrichtung einen Drahtlos-Sender-Empfänger auf, der dazu ausgelegt ist, Paketdaten mit einer Mobilvorrichtung zu kommunizieren, die einer oder mehreren Personen im Nahbereich des Drahtlos-Sender-Empfängers zugeordnet ist; Die Vorrichtung weist ferner eine Kamera auf, die dazu ausgelegt ist, Bilddaten von einer oder mehreren Personen im Nahbereich zu erfassen. Die Vorrichtung weist ferner eine Steuervorrichtung in Kommunikation mit dem Drahtlos-Sender-Empfänger und der Kamera auf, wobei die Steuervorrichtung dazu ausgelegt ist, eine Vielzahl von Paketdaten aus der Mobilvorrichtung zu empfangen, wobei die Paketdaten mindestens Amplitudeninformationen in Bezug auf einen mit dem Drahtlos-Sender-Empfänger kommunizierenden Drahtloskanal enthalten, eine Kamerabewegung, die eine Bewegung der einen oder mehreren Personen unter Verwendung der Bilddaten darstellt, und eine Paketbewegung zu bestimmen, die eine Bewegung der einen oder mehreren Personen unter Verwendung der Paketdaten darstellt, als Reaktion auf die Kamerabewegung und die Paketbewegung jede der einen oder mehreren Personen zu identifizieren und als Reaktion auf die Identifizierung der einen oder mehreren Personen Informationen in Bezug auf jede der einen oder mehreren Personen auszugeben.
  • Gemäß einer anderen Ausführungsform weist ein System einen Drahtlos-Sender-Empfänger auf, der dazu ausgelegt ist, Paketdaten mit einer Mobilvorrichtung zu kommunizieren, die einer oder mehreren Personen im Nahbereich des Drahtlos-Sender-Empfängers zugeordnet ist; Das System weist auch eine Kamera auf, die dazu ausgelegt ist, die eine oder die mehreren Personen zu identifizieren und eine geschätzte Kamerabewegung unter Verwendung von mindestens Bilddaten zu erkennen. Das System weist auch eine Steuervorrichtung in Kommunikation mit dem Drahtlos-Sender-Empfänger und der Kamera auf. Die Steuervorrichtung ist dazu ausgelegt, eine Vielzahl von Paketdaten aus der Mobilvorrichtung zu empfangen, wobei die Paketdaten mindestens Amplitudeninformationen aufweisen, die mit dem Drahtloskanal verknüpft sind, der mit dem Drahtlos-Sender-Empfänger kommuniziert, eine Paketbewegung jeder der einen oder mehreren Personen als Reaktion auf die Vielzahl von Paketdaten zu schätzen, und jede der einen oder mehreren Personen als Reaktion auf die geschätzte Kamerabewegung und die geschätzte Paketbewegung zu identifizieren.
  • Gemäß einer weiteren Ausführungsform umfasst ein Verfahren zum Identifizieren einer Person unter Verwendung einer Kamera und eines Drahtlos-Sender-Empfängers das Empfangen von Paketdaten aus einer Mobilvorrichtung, die mit einer oder mehreren Personen im Nahbereich des Drahtlos-Sender-Empfängers verknüpft ist, das Erhalten von Bilddaten, die mit der Kamera verknüpft sind, die mit dem Drahtlos-Sender-Empfänger verknüpft ist, das Bestimmen einer geschätzten Kamerabewegung der Person unter Verwendung der Bilddaten, das Bestimmen einer geschätzten Bewegung der Person unter Verwendung der Paketdaten aus der Mobilvorrichtung, das Vergleichen der geschätzten Kamerabewegung mit der geschätzten Bewegung; und das Identifizieren der einen oder mehreren Personen als Reaktion auf den Vergleich.
  • Figurenliste
    • 1 ist ein Übersichtssystemdiagramm eines drahtlosen Systems gemäß einer Ausführungsform der Offenbarung.
    • 2 ist ein Beispiel für die in einer Kamera erfassten Bilddaten gemäß einer Ausführungsform in der vorliegenden Offenbarung.
    • 3 ist ein Beispiel für ein Flussdiagramm eines Algorithmus gemäß einer Ausführungsform dieser Offenbarung.
    • 4 ist ein Beispiel für ein Flussdiagramm einer Ausführungsform, die eine Bewegungssignatur der Kamera und eine Bewegungssignatur aus einem Drahtlos-Sender-Empfänger vergleicht.
    • 5 ist ein Beispiel für ein Flussdiagramm einer sekundären Ausführungsform, die eine Bewegungssignatur der Kamera und eine Bewegungssignatur aus einem Drahtlos-Sender-Empfänger vergleicht.
    • 6 ist ein Beispiel für die Visualisierung einer Bewegungssignatur mittels Kamera und einer Bewegungssignatur mittels Wi-Fi.
  • DETAILLIERTE BESCHREIBUNG
  • Im Folgenden werden die Ausführungsformen der vorliegenden Offenbarung beschrieben. Es versteht sich jedoch, dass die offenbarten Ausführungsformen lediglich Beispiele sind und andere Ausführungsformen verschiedene und alternative Formen annehmen können. Die Figuren sind nicht unbedingt maßstabsgetreu; einige Merkmale könnten überzeichnet oder minimiert sein, um Details bestimmter Komponenten zu zeigen. Daher sind bestimmte konstruktive und funktionelle Details, die hier offenbart werden, nicht als einschränkend zu interpretieren, sondern lediglich als eine repräsentative Grundlage für das Unterweisen eines Fachmanns in den unterschiedlichen Anwendungsmöglichkeiten der Ausführungsformen. Wie der Fachmann erkennen wird, können verschiedene Merkmale, die mit Bezug auf eine der Figuren dargestellt und beschrieben werden, mit Merkmalen, die in einer oder mehreren anderen Figuren dargestellt sind, kombiniert werden, um Ausführungsformen hervorzubringen, die nicht explizit dargestellt oder beschrieben sind. Die abgebildeten Kombinationen von Merkmalen liefern repräsentative Ausführungsformen für typische Anwendungen. Verschiedene Kombinationen und Modifikationen der Merkmale, die den Unterweisungen dieser Offenbarung entsprechen, könnten jedoch für bestimmte Anwendungen oder Umsetzungen erwünscht sein.
  • Das Erkennen, Verfolgen und Identifizieren von Personen kann für eine Vielzahl von Anwendungen wichtig sein, darunter Einzelhandelsgeschäfte, Flughäfen, Kongresszentren und intelligente Städte. Bei vielen Anwendungen werden Kameras zur Verfolgung von Personen eingesetzt. In vielen Einrichtungen, z. B. in Einzelhandelsgeschäften, sind die Kameras jedoch nach unten gerichtet in einer Decke montiert und können Personen durch Gesichtserkennungsalgorithmen nicht einwandfrei identifizieren. Außerdem lassen sich die Gesichtserkennungsalgorithmen möglicherweise nicht auf Hunderttausende von Menschen skalieren, z. B. auf einem Flughafen oder in einem großen Einzelhandelsgeschäft. Gleichzeitig kann die Gesichtserkennung aufgrund von Datenschutzbedenken an einigen Orten reguliert sein. Für viele Analytikanwendungen ist jedoch keine feinkörnige Identifizierung von Personen erforderlich, da der Schwerpunkt auf Daten pro Person und nicht auf spezifischen Personen liegt. Um solche Daten zu erhalten, ist es jedoch unerlässlich, zwischen verschiedenen Personen zu unterscheiden und diese auch wieder zu identifizieren, wenn sich dieselbe Person im Nahbereich befindet. In einer Ausführungsform werden Kameradaten und auch Daten von Drahtlosvorrichtungen, die durch die Person mitgeführt werden (wie z. B. eindeutige spezifische Gerätedetails - MAC-Adresse, Liste der AP-Geräte, nach denen gesucht wird, usw.), um die Bewegung oder Wegstrecke dieser Person in einem bestimmten Umfeld (Einzelhandel, Büro, Einkaufszentren, Krankenhaus usw.) zu erfassen.
  • Um Personen pseudoidentifizieren und verfolgen zu können, können Drahtlostechnologien verwendet werden, um die durch den Benutzer mitgeführten Drahtlosvorrichtungen (z. B. Telefone, am Körper tragbare Geräte) zu verfolgen. Beispielsweise werden Bluetooth- und Wi-Fi-Pakete aufgespürt, um Personen in der Nähe zu identifizieren und zu lokalisieren. Aktuelle Lösungen nutzen jedoch meist das RSSI-Merkmal des Drahtlossignals und erhalten einen grobkörnigen Standort, z. B. wenn sich eine bestimmte Drahtlosvorrichtung (und die Person) innerhalb eines bestimmten Radius (z. B. 50 Meter) befindet. Um eine Drahtlosvorrichtung zu lokalisieren, gibt es außerdem Techniken, die den Einsatz mehrerer Infrastrukturanker erfordern, um das Paket aus der Vorrichtung gleichzeitig zu empfangen und dann eine Trilateration unter Verwendung von RSSI-Werten durchzuführen. Die Genauigkeit dieser Lösungen ist aufgrund von Fluktuationen und Mangel an Informationen, die durch RSSI bereitgestellt werden, eingeschränkt. Im Vergleich zu RSSI liefert CSI (Channel State Information - Kanalzustandsinformationen) weitaus reichhaltigere Angaben darüber, wie sich ein Signal vom Sender zu einem Empfänger ausbreitet, und erfasst den kombinierten Einfluss von Signalstreuung, Schwund und Leistungsabfall mit der Entfernung. Unsere vorgeschlagene Lösung verwendet CSI und verwendet eine einzelne Systemeinheit (mit mehreren Antennen) und reduziert somit den Aufwand beim Einsatz mehrerer Einheiten. Für eine bessere Leistung können jedoch mehrere Systemeinheiten eingesetzt werden.
  • 1 ist ein Übersichtssystemdiagramm eines drahtlosen Systems 100 gemäß einer Ausführungsform der Offenbarung. Das drahtlose System 100 kann ein Drahtlosgerät 101 enthalten, das zur Erzeugung und Kommunikation von CSI-Daten verwendet wird. Das Drahtlosgerät 101 kann mit Mobilvorrichtungen (z. B. Mobiltelefon, am Körper tragbares Gerät, Tablet) eines Mitarbeiters 115 oder eines Kunden 107 kommunizieren. Beispielsweise kann eine Mobilvorrichtung eines Mitarbeiters 115 das Drahtlossignal 119 an das Drahtlosgerät 101 senden. Bei Empfang eines Drahtlospakets erhält die Systemeinheit 101 die zugehörigen CSI-Werte des Paketempfangs. Außerdem kann das Drahtlospaket identifizierbare Informationen über die Geräte-ID enthalten, z. B. die MAC-Adresse, die zur Identifizierung des Mitarbeiters 115 verwendet wird. Somit nutzen das System 100 und das Drahtlosgerät 101 möglicherweise nicht die von der Vorrichtung des Mitarbeiters 115 ausgetauschten Daten zum Bestimmen verschiedener Hotspots.
  • Während Wi-Fi als drahtlose Kommunikationstechnologie eingesetzt werden kann, kann auch jede andere Art von Drahtlostechnologie verwendet werden. Bluetooth kann zum Beispiel eingesetzt werden, wenn das System CSI von einem drahtlosen Chipsatz erhalten kann. Die Systemeinheit kann möglicherweise einen Wi-Fi-Chipsatz enthalten, der an bis zu drei Antennen angeschlossen ist, wie durch das Drahtlosgerät 101 und das Drahtlosgerät 103 dargestellt ist. Eine Systemeinheit kann eine Empfangsstation umfassen, die einen Wi-Fi-Chipsatz enthält, der bis zu drei Antennen in einer Ausführungsform aufweist. Die Systemeinheit kann in beliebiger Höhe oder an der Decke montiert sein. In anderen Ausführungsformen kann ein Chipsatz, der CSI-Informationen nutzt, verwendet werden. Das Drahtlosgerät 101 kann eine Kamera zum Überwachen verschiedener Personen enthalten, die in der Nähe eines POI laufen. In einem anderen Beispiel kann das Drahtlosgerät 103 keine Kamera enthalten und lediglich mit den Mobilvorrichtungen kommunizieren.
  • Das System 100 kann verschiedene Regalgassen wie beispielsweise 109, 111, 113, 114 abdecken. Die Reihen können als Laufweg zwischen den Regalen 105 oder den Wänden einer Ladenfläche definiert sein. Die zwischen den verschiedenen Regalgassen 109, 111, 113, 114 erfassten Daten können dazu verwendet werden, eine Wärmebildkarte zu erstellen und sich auf das Kundenaufkommen in einem Geschäft zu konzentrieren. Das System kann die Daten aus allen Reihen analysieren und diese Daten dazu verwenden, das Kundenaufkommen in anderen Bereichen des Geschäfts zu identifizieren. Beispielsweise können die aus der Mobilvorrichtung verschiedener Kunden 107 erfassten Daten Bereiche identifizieren, in denen das Geschäft ein hohes Kundenaufkommen aufweist. Diese Daten können zur Platzierung bestimmter Produkte verwendet werden. Durch Nutzen der Daten kann ein Geschäftsleiter bestimmen, wo sich die stark frequentierten Bereiche im Vergleich zu den wenig frequentierten Bereichen befinden. Darüber hinaus kann das System durch Verschmelzen von Pseudoidentifizierungsinformationen über WiFi mit kamerabasierten Analysen (z. B. Geschlecht, Altersgruppe, ethnische Zugehörigkeit) Profile einzelner Kunden und kundenspezifische Analysen für einzelne Regalgassen erstellen. Durch Erfassen des gesamten Weges der einzelnen Kunden kann das System auch ladenweite kundenspezifische Analysen liefern.
  • Die CSI-Daten können in Paketen kommuniziert werden, die in Drahtlossignalen vorhanden sind. In einem Beispiel kann ein Drahtlossignal 121 durch einen Kunden 107 und dessen Mobilvorrichtung erzeugt werden. Das System 100 kann die verschiedenen Informationen aus dem Drahtlossignal 121 nutzen, um zu bestimmen, ob der Kunde 107 ein Mitarbeiter oder ein anderes Merkmal ist, z. B. Ankunftswinkel (AoA) des Signals. Der Kunde 107 kann auch mit dem Drahtlosgerät 103 über das Signal 122 kommunizieren. Fernerhin können die in dem Drahtlossignal 121 gefundenen Paketdaten sowohl mit dem Drahtlosgerät 101 als auch mit dem Gerät 103 kommunizieren. Die Paketdaten in den Drahtlossignalen 121, 119 und 117 können dazu verwendet werden, Informationen zur Bewegungsbahn und Daten zum Kundenaufkommen im Zusammenhang mit den Mobilvorrichtungen von Mitarbeitem/Kunden bereitzustellen.
  • 2 ist ein Beispiel für die in einer Kamera erfassten Bilddaten gemäß einer Ausführungsform in der vorliegenden Offenbarung. Die Kamera in 2 kann, wie durch die Bilddaten dargestellt, in einem Drahtlosgerät 101 in der Decke montiert sein. In anderen Ausführungsformen kann das Drahtlosgerät 101 irgendwo anders montiert sein, z. B. in einem Regal oder an der Wand. Die Bewegungsbahn 201 einer Person 203 wird angezeigt und kann gemäß den verschiedenen unten offenbarten Ausführungsformen bestimmt werden. Die durch die Kamera erfassten Bilddaten können dazu verwendet werden, Informationen bezüglich einer Person (z. B. Kunde oder Mitarbeiter, Geschlecht, Altersgruppe, ethnische Zugehörigkeit) zu erfassen, die sich in einem bestimmten räumlichen Bereich bewegt. Wie weiter unten beschrieben, können die Bilddaten auch mit einer Wärmebildkarte oder anderen Informationen überlagert werden. Die Kamera kann einen Begrenzungsrahmen 205 um eine Person herum legen. Die Kamera kann Menschen mit Objekterkennungstechniken wie YOLO, SSD, Faster RCNN usw. erkennen. Der Begrenzungsrahmen kann eine Grenze um eine Person oder ein Objekt herum identifizieren, die auf einem grafischen Bild zum Identifizieren der Person oder des Objekts angezeigt werden kann. Die Begrenzungsrahmen können mithilfe von Optical Flow, Mean-Shift Tracking, Kalman-Filter, Partikelfilter oder anderen Arten von Techniken verfolgt werden. Das Verfolgen kann durch Analysieren der Position einer Person über einen beliebig langen Zeitraum geschätzt werden. Ferner kann einer Person, die mithilfe der verschiedenen, weiter unten erläuterten Techniken identifiziert wurde, eine Identifikationsnummer 207 zugewiesen werden.
  • 3 ist ein Beispiel für ein Flussdiagramm eines Algorithmus gemäß einer Ausführungsform dieser Offenbarung. Das System 100 zeigt eine beispielhafte Ausführungsform eines Algorithmus zum Identifizieren eines Kamerabildes mit Bewegungsverfolgung eines Drahtlos-Sender-Empfängers (z. B. Wi-Fi-Sender-Empfänger, Bluetooth-Sender-Empfänger, RFID-Sender-Empfänger usw.). In einer Ausführungsform kann das System eine Kamera 301 und einen Drahtlos-Sender-Empfänger 302 verwenden. Auf hoher Ebene können die Kamera 301 verschiedene Daten (z. B. Bilddaten) und der Drahtlos-Sender-Empfänger 302 seine eigenen Daten (z. B. Drahtlospaketdaten) verwenden, um die Bewegung verschiedener Personen oder Objekte zu schätzen, die die Kamera 301 und der Drahtlos-Sender-Empfänger 302 identifizieren, und dann zu bestimmen, ob die Person unter Verwendung beider Datenquellen zugeordnet werden kann.
  • In Schritt 303 kann die Kamera 301 eine Person i in einem oder mehreren Bildern erkennen. Die Person kann mithilfe der Objektidentifikationsverfolgung verschiedener Bilder, die Algorithmen zum Identifizieren verschiedener Objekte verwenden, erkannt werden. Die Kamera 301 kann Menschen mit Objekterkennungstechniken wie YOLO, SSD, Faster RCNN usw. erkennen. Wenn die Person erkannt wird, kann die Kamera 301 dann in Schritt 305 einen Begrenzungsrahmen um die Person i schätzen. Der Begrenzungsrahmen kann eine Grenze um eine Person oder ein Objekt identifizieren, die zum Identifizieren der Person oder des Objekts auf einem grafischen Bild angezeigt werden kann. In Schritt 307 kann die Kamera einen Standort der Person i durch Identifizieren einer Position des Körpers der Person i schätzen. Beispielsweise kann die Kamera 301 eine Position durch Blicken auf die Füße oder auf einen anderen mit der Person verknüpften Gegenstand schätzen. In einem anderen Beispiel können Begrenzungsrahmen mithilfe von Optical Flow, Mean-Shift Tracking, Kalman-Filter, Partikelfilter oder anderen Arten von Techniken verfolgt werden. In Schritt 309 kann das System 300 die Spur der Person i schätzen. Die Spur kann durch Analysieren der Position der Person i über einen beliebig langen Zeitraum geschätzt werden. Zum Beispiel kann das System eine Person in verschiedenen Intervallen, z. B. 1 Sekunde, 5 Sekunden, 10 Sekunden usw., verfolgen. In einem Beispiel kann es für die Kameraeinheit 301 optional sein, den Standort der Person zu schätzen und die Person zu verfolgen. In Schritt 311 schätzt die Kamera 301 eine Bewegungssignatur der Person i als MSi cam. Ein Beispiel für die Bewegungssignatur MSi cam ist in 6 dargestellt. Die Bewegungssignatur kann eine Bewegungsbahn über eine bestimmte Zeitdauer (z. B. TW1) sein. Die Zeitdauer kann zum Beispiel 5 Sekunden oder eine längere oder kürzere Zeitspanne betragen. Die mit der Kamera verknüpfte Bewegungssignatur MSi cam kann einer Person zugeordnet und in Verbindung mit den durch den Drahtlos-Sender-Empfänger 302 hergestellten Schätzungen zum Identifizieren einer Person i zu verwenden.
  • In einer Ausführungsform kann der Drahtlos-Sender-Empfänger 302 gleichzeitig mit der Kamera 301 arbeiten, um die Person j zu identifizieren. Der Drahtlos-Sender-Empfänger empfängt Pakete, die durch das Smartphone oder eine andere Mobilvorrichtung der Person j in Schritt 313 erzeugt werden. So kann die Mobilvorrichtung Funkverkehr (z. B. Wi-Fi-Verkehr) erzeugen, der auf einer zentralen Systemeinheit empfangen wird. In Schritt 315 kann ein Drahtlos-Sender-Empfänger (z. B. EyeFI-Gerät) die Drahtlospakete (z. B. Wi-Fi-Pakete) empfangen. Aus den empfangenen Paketen können CSI-Werte extrahiert werden. Wenn ein Drahtlosdatenpaket empfangen wird, kann die entsprechende MAC-Adresse zum Identifizieren der Person verwendet werden. Die MAC-Adresse kann dann einer zugehörigen Person zugeordnet werden. Der Drahtlos-Sender-Empfänger 302 kann in Schritt 317 somit Pseudoidentifikationsinformationen als IDj extrahieren.
  • In Schritt 319 kann das System den Ankunftswinkel (Angle of Arrival, AoA) des Pakets unter Verwendung eines Algorithmus (z. B. SpotFi-Algorithmus oder ein auf einem neuronalen Netz basierender AoA-Schätzungsalgorithmus) durch Nutzen der CSI-Werte aus mehreren Antennen messen. Unter Verwendung der AoA- und/oder rohen CSI-Werte kann das System die Bewegungsbahn der Person j schätzen. Die Bewegungssignatur der Drahtlossignatur kann innerhalb eines vorbestimmten Zeitfensters (z. B. TW2) unter Verwendung eines Drahtlossignals (z. B. Wi-Fi) liegen. Wenn der Drahtlos-Sender-Empfänger und die Kamera zeitsynchronisiert sind, könnte TW2 kleiner als TW1 sein, da eine Mobilvorrichtung möglicherweise während der gesamten Zeitdauer, in der die Person über die Kamera sichtbar war, keinen Verkehr erzeugt. In Schritt 321 kann der Drahtlos-Sender-Empfänger 302 dann die Bewegungssignatur MSj Wi-Fi der Person j schätzen. Ein Beispiel für die Bewegungssignatur MSj Wi-Fi ist in 6 dargestellt.
  • Das System 300 kann dann MSi cam mit MSj Wi-Fi vergleichen, um zu bestimmen, ob diese ähnlich sind. Wenn sie ähnlich sind, verwendet EyeFi IDj zum Identifizieren der Person i. In Schritt 323 kann das System bestimmen, ob die geschätzten Bewegungssignaturen aus der Kamera 301 und dem Drahtlos-Sender-Empfänger 302 ähnlich sind. Die Kameradaten und die Drahtlosdaten können zusammengeführt werden, um die Identität einer Person zu bestimmen. Algorithmen können zum Durchführen einer multimodalen Sensorfusion verwendet werden. Bei der Bestimmung zwischen dem Vergleich der beiden Bewegungssignaturen, ob Person i und Person j dieselbe Person sind, kann ein Schwellenwert verwendet werden. Wenn eine Abweichung zwischen den beiden Vergleichen bestimmt, dass diese ähnlich sind, kann das System 300 die Person als IDj oder Hash-IDj identifizieren. Wenn der Vergleich zwischen den Bewegungssignaturen eine Abweichung zeigt, die weiter als der Schwellenwert entfernt ist, kann das System in Schritt 327 ein nächstes Paar von Bewegungssignaturen (MSi cam mit MSj Wi-Fi) versuchen. So kann das System möglicherweise bestimmen, dass keine Übereinstimmung zwischen den beiden geschätzten Bewegungssignaturen besteht, und den Vorgang der Identifizierung einer anderen Teilmenge von Kameradaten und Drahtlosdaten zum Identifizieren einer Person erneut starten. Andernfalls verwendet es das nächste durch die Kamera und den Drahtlos-Sender-Empfänger erkannte Personenpaar, um zu prüfen, ob die Personen ähnlich sind.
  • 4 ist ein Beispiel für ein Flussdiagramm eines Systems 400, das eine Bewegungssignatur der Kamera und eine Bewegungssignatur aus einem Drahtlos-Sender-Empfänger vergleicht. 4 ist ein Beispiel für ein Flussdiagramm einer sekundären Ausführungsform, die eine Bewegungssignatur der Kamera und eine Bewegungssignatur aus einem Drahtlos-Sender-Empfänger vergleicht (Komponente 323 von 3). In dieser Ausführungsform werden in den Schritten 401 und 413 von 4 die Daten jeder Modalität auf ein „semantisches Konzept“ abgebildet, wobei die Daten sensorinvariant sind. Beispielsweise werden in den Schritten 403 und 415 für jede Person die folgenden „Konzepte“ extrahiert: (a) Standort, (b) Änderung des Standorts, (c) Ankunftswinkel (AoA), (d) Änderung des AoA, (e) Stehen vs. Bewegen, (f) Bewegungsrichtung, (g) Orientierung der Person, (i) Schritte/Gang, (j) Telefon in der Hand oder in der Tasche, (i) Ausdehnung von Hindernissen in der Nähe und (k) Bewegungsbahn aus dem Blickfeld und WiFi, unabhängig von anderen Erfassungsmodalitäten unter Verwendung eines auf neuronalen Netzen basierenden Ansatzes oder anderer Ansätze. Zur Verfeinerung dieser Konzepte ist möglicherweise eine Kaskade neuronaler Netze erforderlich. In einer anderen Ausführungsform können anstelle des Schätzens der semantischen Konzepte aus jeder Modalität (z. B. Drahtlos-Sender-Empfänger, Kamera) IMUs (Inertial Measurement Unit - Trägheitsmesseinheit) als Mittelweg zum Schätzen einiger Konzepte wie in den Schritten 405 und 417 verwendet werden. Denn es kann schwierig sein, Gangmerkmale entweder über einen Drahtlos-Sender-Empfänger oder über eine Kamera zu schätzen. Wenn eine Person jedoch eine App installiert und ein Mobiltelefon bei sich trägt, das mithilfe eines Beschleunigungsmessers oder Gyroskops des Mobiltelefons IMU-Daten erzeugt, kann es relativ einfach sein, CSI-Daten in IMU-Daten und Bilddaten in IMU-Daten zu übersetzen. Die übersetzten IMU-Daten aus jeder Modalität können einen Mittelweg bieten, um die Ähnlichkeit zwischen demselben Konzept aus den beiden Modalitäten zu schätzen. IMU-Daten können auch für die Trainingsphase genutzt werden. Nachdem das Training abgeschlossen ist und die Übersetzungsfunktionen aus jeder Modalität für jedes Konzept gelernt wurden, ist es möglich, dass die IMU-Daten und die Installation der Anwendung später für die Produktnutzung nicht mehr erforderlich sind.
  • In Schritt 405 können Daten der Trägheitsbewegungseinheit (IMU) aus Smartphones zum Extrahieren der Konzepte verwendet werden. Ähnliche semantische Konzepte werden für MSj Wi-Fi mit Wi-Fi-Daten extrahiert. Die semantischen Konzepte können durch Verschmelzen von Kamera- und Wi-Fi-Daten in Schritt 407 verfeinert und aktualisiert werden. Es kann ein einzelnes neuronales Netz für jede Modalität oder eine Kaskade von neuronalen Netzen erforderlich sein, um die semantischen Konzepte gemeinsam zu verfeinern. Am Ende werden SCi cam und SCj Wi-Fi erzeugt, um das semantische Konzept der Person i mittels Kamera und das semantische Konzept der Person j mittels Wi-Fi darzustellen. Danach schätzt das System den normalisierten gewichteten Abstand D, um zu bestimmen, ob SCi cam ähnlich zu SCj Wi-Fi ist. Es kann zu diesem Zweck auch die Kosinusähnlichkeit oder die euklidische Abstands- oder Clusteranalyse oder andere Ähnlichkeitsmaße oder eine Kombination davon verwenden. Wenn D kleiner als ein Schwellenwert T1 ist, gibt das System ein „Ja“ zurück, was bedeutet, dass SCi cam ähnlich zu SCj Wi-Fi ist. Andernfalls gibt es ein „Nein“ zurück.
  • In einer Ausführungsform werden die Daten aus jeder Modalität auf ein „semantisches Konzept“ abgebildet, wobei das Konzept sensorinvariant ist. Beispielsweise werden für jede Person die folgenden „Konzepte“ extrahiert: (a) Standort, (b) Änderung des Standorts, (c) Ankunftswinkel (AoA), (d) Änderung des AoA, (e) Stehen vs. Bewegen, (f) Bewegungsrichtung, (g) Orientierung der Person, (i) Schritte/Gang, (j) Telefon in der Hand oder in der Tasche, (i) Ausdehnung von Hindernissen in der Nähe und (k) Bewegungsbahn aus dem Wi-Fi und Blickfeld, unabhängig oder durch Verschmelzen beider Erfassungsmodalitäten. Sobald wir diese semantischen Konzepte aus jeder Erfassungsmodalität für jede Person haben, führt die Systemeinheit eine Schätzung der Ähnlichkeit zwischen den Konzepten aus jeder Modalität für jedes Personenpaar durch. Als Beispiel sei SCi Cam das semantische Konzept der Person i mittels Kamera und SCj Wi-Fi das semantische Konzept der Person j mittels Wi-Fi und MACj die MAC-Adresse, die mit dem von der Person j empfangenen Paket verknüpft ist. Um zu bestimmen, ob SCi Cam ähnlich zu SCj Wi-Fi ist, verwendet das System die Kosinusähnlichkeit oder den normalisierten gewichteten Abstand oder euklidischen Abstand oder die Clusteranalyse oder andere Ähnlichkeitsmaße oder eine Kombination davon. Sobald sich herausgestellt hat, dass diese beiden semantischen Konzepte ähnlich sind, wird MACj zum Identifizieren der Person i verwendet, und entweder die tatsächliche MAC-Adresse (MACj) oder ein Hash-Wert der MAC-Adresse wird für die zukünftige Verfolgung mit dem Begrenzungsrahmen der Person i verknüpft, wodurch eine konsistente Identifikationsmarkierung bereitgestellt wird.
  • 5 ist ein Beispiel für ein Flussdiagramm 500 einer sekundären Ausführungsform, die eine Bewegungssignatur der Kamera und eine Bewegungssignatur aus einem Drahtlos-Sender-Empfänger vergleicht (als Teil der Komponente 323 von 3). Ein LSTM- (Long Short Term Memory - Langes Kurzzeitgedächtnis) Netz kann zum Erfassen der Bewegungssignatur jeder Person unter Verwendung von Bilddaten verwendet werden, und ein weiteres LSTM-Netz kann zum Erfassen von Bewegungsmustern unter Verwendung von Drahtlos-CSI-Daten verwendet werden. Ein Ähnlichkeitsmaß wird angewandt, um die Ähnlichkeit zwischen zwei Bewegungssignaturen zu bestimmen. LTSM kann eine Variante des RNN (Recurrent Neural Network - Rekurrentes neurales Netz) sein. Andere RNN-Netze können ebenfalls hierfür verwendet werden, z. B. GRU (Gated Recurrent Unit - Begrenzte rekursive Einheit). Zusätzlich können anstelle von LSTM auch aufmerksamkeitsbasierte Netze verwendet werden, um Bewegungssignaturen aus jeder Erfassungsmodalität zu erfassen. Um die Ähnlichkeit zwischen zwei Bewegungssignaturen zu schätzen, kann das System die Kosinusähnlichkeit oder den normalisierten gewichteten Abstand oder den euklidischen Abstand oder die Clusteranalyse oder andere Ähnlichkeitsmaße oder eine Kombination davon verwenden.
  • In einer solchen Ausführungsform können beide Eingabemerkmale zum Verfeinern und Aktualisieren der Eingabemerkmale in Schritt 505 verschmolzen werden. Die Eingabemerkmale der Kameradaten (z. B. Bewegungsbahn, Orientierungsinformationen) werden in ein LSTMN-Netz N1 und die Eingabemerkmale der Drahtlospaketdaten in Schritt 507 und 509 in ein LSTM-Netz N2 eingespeist. Schritt 507 stellt die Eingabemerkmale dar, die aus den Bilddaten gespeist werden, und in Schritt 509 werden die Eingabemerkmale aus den Drahtlosdaten gespeist. In Schritt 511 erzeugt das Netzwerk N1 eine latente Darstellung der Bewegungsbahn MTi Cam der Person i. In Schritt 513 erzeugt das Netzwerk N2 eine latente Darstellung der Bewegungsbahn MTj Wi-Fi der Person j. In Schritt 515 wird eine Kosinusähnlichkeit S zwischen MTi cam und MTj wi-Fi geschätzt. Bei der Entscheidung 517 bestimmt das System, ob die Kosinusähnlichkeit S kleiner als ein vordefinierter Schwellenwert T ist. Wenn in Schritt 519 S kleiner als ein Schwellenwert T2 ist, wird ein „Ja“ gemeldet, was bedeutet, dass die Person i und Person j dieselbe Person sind. Andernfalls bestimmt das System in Schritt 521, dass S größer als der Schwellenwert T2 ist, und gibt ein „Nein“ zurück, was anzeigt, dass die Person i und Person j nicht dieselbe Person sind. So kann das System 500 den Vorgang für eine andere Teilmenge von Personen erneut starten, die durch die Bilddaten und den Drahtlos-Sender-Empfänger identifiziert wurden.
  • In einer anderen Ausführungsform wird anstelle von drei Antennen eine andere Anzahl von Antennen verwendet, z. B. eine, zwei, vier und weitere. In einer anderen Ausführungsform wird, anstatt dem LSTM-Modell alle CSI-Werte aller Unterträger bereitzustellen, eine PCA (Principal Component Analysis - Hauptkomponentenanalyse) angewandt und werden zunächst einige wenige wichtige Komponenten verwendet, wodurch die CSI-Werte aus den verrauschten Unterträgern verworfen werden. In einer anderen Ausführungsform wird RSSI zusätzlich zu CSI oder unabhängig davon verwendet. In einer weiteren Ausführungsform tragen anstelle von Menschen Roboter oder andere Objekte drahtlose Chipsätze, die mithilfe des oben erwähnten Ansatzes erkannt, verfolgt und identifiziert werden. In einer anderen Ausführungsform kann möglicherweise anstelle eines Smartphones ein Drahtlosanhänger oder ein Gerät getragen werden, das einen Drahtlos-Chipsatz enthält. In einer anderen Ausführungsform werden statt einer einzelnen Systemeinheit eine Anzahl von Systemeinheiten in einem gesamten Gebiet eingesetzt, um Mobilitätsmuster im gesamten Raum zu erfassen.
  • 6 ist ein Beispiel für die Visualisierung einer Bewegungssignatur mittels Kamera und einer Bewegungssignatur mittels eines Drahtlossignals (z. B. eines Wi-Fi-Signals). MSi cam 605 sei die Bewegungssignatur der Person i 601 mittels Kamera. Die Kamerabewegungssignatur 605 kann eine Matrix sein, die die Bewegungsbahn der Person innerhalb eines Zeitfensters TW1 liefert. Es wird ein Beispiel für MSi Wi-Fi 603 gezeigt sowie eine Bewegungssignatur der Person i, die einen Drahtlos-Sender-Empfänger (wie z. B. einen Wi-Fi-Sender-Empfänger) verwendet. Unter der Annahme, dass die Person i ein Smartphone oder eine andere Mobilvorrichtung bei sich trägt, die möglicherweise Funkverkehr (z. B. Wi-Fi) erzeugt, werden die Pakete in unserer Systemeinheit empfangen. Aus den empfangenen Paketen können CSI-Werte extrahiert werden. Die Systemeinheit kann auch den Ankunftswinkel (AoA) des Pakets unter Verwendung des SpotFi-Algorithmus (oder einer anderen Art von Algorithmus) durch Nutzen der CSI-Werte aus mehreren Antennen messen. Unter Verwendung der AoA- und/oder rohen CSI-Werte kann das System die Bewegungsbahn der Person i schätzen, wie mit MSi Wi-Fi 603 in dargestellt ist.
  • Die hierin offenbarten Prozesse, Verfahren oder Algorithmen sind an eine Verarbeitungsvorrichtung, eine Steuervorrichtung oder einen Computer lieferbar bzw. durch diese implementierbar, wozu jede vorhandene programmierbare elektronische Steuereinheit oder dedizierte elektronische Steuereinheit gehören kann. In ähnlicher Weise können die Prozesse, Verfahren oder Algorithmen als Daten und Anweisungen gespeichert sein, die durch eine Steuervorrichtung oder einen Computer in vielen Formen ausführbar sind, einschließlich unter anderem Informationen, die dauerhaft auf nicht beschreibbaren Speichermedien wie ROM-Vorrichtungen gespeichert sind, und Informationen, die veränderbar auf beschreibbaren Speichermedien wie Disketten, Magnetbändern, CDs, RAM-Vorrichtungen und anderen magnetischen und optischen Medien gespeichert sind. Die Prozesse, Verfahren oder Algorithmen können auch in einem ausführbaren Software-Objekt implementiert sein. Alternativ können die Prozesse, Verfahren oder Algorithmen ganz oder teilweise durch geeignete Hardwarekomponenten realisiert sein, wie z. B. durch anwendungsspezifische integrierte Schaltungen (ASICs), feldprogrammierbare Gate-Arrays (FPGAs), Zustandsautomaten, Steuervorrichtungen oder andere Hardwarekomponenten oder -vorrichtungen oder durch eine Kombination von Hardware-, Software- und Firmwarekomponenten.
  • Obwohl oben beispielhafte Ausführungsformen beschrieben sind, ist nicht beabsichtigt, dass diese Ausführungsformen alle möglichen Formen beschreiben, die durch die Ansprüche umfasst werden. Die in der Spezifikation verwendeten Worte sind eher beschreibende als einschränkende Worte, und es versteht sich, dass verschiedene Änderungen vorgenommen werden können, ohne vom Geist und Umfang der Offenbarung abzuweichen. Wie zuvor beschrieben, können die Merkmale verschiedener Ausführungsformen kombiniert werden, um weitere Ausführungsformen der Erfindung zu bilden, die möglicherweise nicht explizit beschrieben oder abgebildet sind. Obwohl verschiedene Ausführungsformen hinsichtlich eines oder mehrerer gewünschter Merkmale möglicherweise als vorteilhaft oder bevorzugt gegenüber anderen Ausführungsformen oder Implementierungen nach dem Stand der Technik beschrieben sein können, wird der Fachmann erkennen, dass ein oder mehrere Merkmale oder Eigenschaften einen Kompromiss eingehen können, um gewünschte Eigenschaften des Gesamtsystems zu erreichen, die von der konkreten Anwendung und Implementierung abhängen. Diese Eigenschaften können unter anderem Kosten, Festigkeit, Haltbarkeit, Lebensdauerkosten, Marktfähigkeit, Aussehen, Verpackung, Größe, Wartungsfreundlichkeit, Gewicht, Herstellbarkeit, Montagefreundlichkeit usw. umfassen. Soweit Ausführungsformen in Bezug auf ein oder mehrere Merkmale als weniger wünschenswert als andere Ausführungsformen oder Ausführungsformen nach dem Stand der Technik beschrieben sind, fallen diese Ausführungsformen nicht aus dem Geltungsbereich der Offenbarung und können für bestimmte Anwendungen wünschenswert sein.

Claims (20)

  1. Vorrichtung, umfassend: einen Drahtlos-Sender-Empfänger, der dazu ausgelegt ist, Paketdaten mit einer Mobilvorrichtung zu kommunizieren, die einer oder mehreren Personen in einem Nahbereich des Drahtlos-Sender-Empfängers zugeordnet ist; eine Kamera, die dazu ausgelegt ist, Bilddaten von einer oder mehreren Personen im Nahbereich zu erfassen; und eine Steuervorrichtung in Kommunikation mit dem Drahtlos-Sender-Empfänger und der Kamera, wobei die Steuervorrichtung dazu eingerichtet ist: eine Vielzahl von Paketdaten aus der Mobilvorrichtung zu empfangen, wobei die Paketdaten mindestens Amplitudeninformationen im Zusammenhang mit einem Drahtloskanal enthalten, der mit dem Drahtlos-Sender-Empfänger kommuniziert; eine Kamerabewegung zu bestimmen, die eine Bewegung der einen oder mehreren Personen unter Verwendung der Bilddaten darstellt, und eine Paketbewegung, die eine Bewegung der einen oder mehreren Personen unter Verwendung der Paketdaten darstellt; als Reaktion auf die Kamerabewegung und die Paketbewegung jede der einen oder mehreren Personen zu identifizieren, und als Reaktion auf die Identifizierung der einen oder mehreren Personen Informationen auszugeben, die mit jeder der einen oder mehreren Personen verknüpft sind.
  2. Vorrichtung nach Anspruch 1, wobei die Steuervorrichtung ferner dazu ausgelegt ist, die eine oder mehreren Personen als Reaktion auf einen Vergleich der Kamerabewegung und der Paketbewegung zu identifizieren.
  3. Vorrichtung nach Anspruch 1, wobei der Drahtlos-Sender-Empfänger drei oder mehr Antennen enthält.
  4. Vorrichtung nach Anspruch 1, wobei die Steuervorrichtung dazu ausgelegt ist, mit einer oder mehreren auf der Mobilvorrichtung gespeicherten Anwendungen zu kommunizieren.
  5. Vorrichtung nach Anspruch 1, wobei der Drahtlos-Sender-Empfänger dazu ausgelegt ist, eine der Mobilvorrichtung zugeordnete Medienzugangskontroll- (MAC) Adresse zu empfangen, und die Steuervorrichtung dazu eingerichtet ist, die MAC-Adresse zu hashen.
  6. Vorrichtung nach Anspruch 1, wobei der Drahtlos-Sender-Empfänger dazu ausgelegt ist, Trägheitsbewegungsdaten aus der Mobilvorrichtung zu empfangen.
  7. Vorrichtung nach Anspruch 1, wobei die Steuervorrichtung ferner dazu ausgelegt ist, einen Ankunftswinkel der einen oder mehreren Personen als Reaktion auf die Vielzahl von Paketdaten zu schätzen.
  8. Vorrichtung nach Anspruch 1, wobei die Steuervorrichtung dazu eingerichtet ist, die Paketbewegung unter Verwendung mindestens eines langen Kurzzeitspeichermodells zu bestimmen.
  9. Vorrichtung nach Anspruch 1, wobei der Drahtlos-Sender-Empfänger ein Wi-Fi-Sender-Empfänger oder ein Bluetooth-Sender-Empfänger ist.
  10. Vorrichtung nach Anspruch 1, wobei die Steuervorrichtung ferner dazu ausgelegt ist, die Paketbewegung unter Verwendung mindestens eines geschätzten Ankunftswinkels zu bestimmen.
  11. Vorrichtung nach Anspruch 1, wobei die Steuervorrichtung ferner dazu ausgelegt ist, die Paketbewegung unter Verwendung von mindestens Trägheitsbewegungsdaten aus der Mobilvorrichtung zu bestimmen.
  12. System, umfassend: einen Drahtlos-Sender-Empfänger, der dazu ausgelegt ist, Paketdaten mit einer Mobilvorrichtung zu kommunizieren, die einer oder mehreren Personen in einem Nahbereich des Drahtlos-Sender-Empfängers zugeordnet ist; eine Kamera, die dazu ausgelegt ist, die eine oder die mehreren Personen zu identifizieren und eine geschätzte Kamerabewegung unter Verwendung von mindestens Bilddaten zu erkennen. und eine Steuervorrichtung in Kommunikation mit dem Drahtlos-Sender-Empfänger und der Kamera, wobei die Steuervorrichtung dazu eingerichtet ist: eine Vielzahl von Paketdaten aus der Mobilvorrichtung zu empfangen, wobei die Paketdaten mindestens Amplitudeninformationen im Zusammenhang mit dem Drahtloskanal enthalten, der mit dem Drahtlos-Sender-Empfänger kommuniziert; eine Paketbewegung jeder der einen oder mehreren Personen als Reaktion auf die Vielzahl von Paketdaten zu schätzen; und jede der einen oder mehreren Personen als Reaktion auf die geschätzte Kamerabewegung und die geschätzte Paketbewegung zu identifizieren.
  13. System nach Anspruch 12, wobei die Steuervorrichtung dazu ausgelegt ist, als Reaktion auf die Identifizierung jeder der einen oder mehreren Personen ein grafisches Bild auszugeben, das Begrenzungsrahmen um ein Bild jeder der einen oder mehreren Personen aufweist.
  14. System nach Anspruch 12, wobei die Steuervorrichtung ferner dazu ausgelegt ist, die geschätzte Paketbewegung unter Verwendung mindestens eines geschätzten Ankunftswinkels zu bestimmen.
  15. System nach Anspruch 12, wobei die Kamera dazu ausgelegt ist, die geschätzte Kamerabewegung unter Verwendung mindestens eines geschätzten Standorts und einer geschätzten Verfolgung von Bilddaten der einen oder mehreren Personen zu identifizieren.
  16. System nach Anspruch 12, wobei der Drahtlos-Sender-Empfänger ein Wi-Fi-Sender-Empfänger oder ein Bluetooth-Sender-Empfänger ist.
  17. System nach Anspruch 12, wobei die Steuervorrichtung dazu eingerichtet ist, die geschätzte Paketbewegung als Reaktion auf Kanalzustandsinformationen der Paketdaten zu bestimmen.
  18. Verfahren zum Identifizieren einer Person unter Verwendung einer Kamera und eines Drahtlos-Sender-Empfängers, umfassend: Empfangen von Paketdaten aus einer Mobilvorrichtung, die mit einem ersten Datensatz verknüpft ist, der repräsentativ für eine oder mehrere Personen im Nahbereich des Drahtlos-Sender-Empfängers ist; Erhalten von Bilddaten, die mit einem zweiten Datensatz verknüpft sind, der repräsentativ für eine oder mehrere mit der Kamera verknüpfte Personen ist; Bestimmen einer geschätzten Bewegung einer oder mehrerer Personen aus der ersten Datenmenge unter Verwendung der Paketdaten aus der Mobilvorrichtung; Bestimmen einer geschätzten Kamerabewegung der einen oder mehreren Personen aus dem zweiten Datensatz unter Verwendung der Bilddaten; Vergleichen der geschätzten Bewegung mit der geschätzten Kamerabewegung; und Identifizieren der einen oder mehreren Personen als Reaktion auf den Vergleich.
  19. Verfahren nach Anspruch 18, wobei die Paketdaten Kanalzustandsinformationen aufweisen.
  20. Verfahren nach Anspruch 18, wobei die Paketdaten Drahtloskanalzustandsinformationsdaten aufweisen.
DE102020209054.8A 2019-07-29 2020-07-20 Vorrichtung und verfahren zur personenerkennung, -verfolgung und -identifizierung unter verwendung drahtloser signale und bilder Pending DE102020209054A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/525,069 US10997474B2 (en) 2019-07-29 2019-07-29 Apparatus and method for person detection, tracking, and identification utilizing wireless signals and images
US16/525,069 2019-07-29

Publications (1)

Publication Number Publication Date
DE102020209054A1 true DE102020209054A1 (de) 2021-02-04

Family

ID=72339281

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020209054.8A Pending DE102020209054A1 (de) 2019-07-29 2020-07-20 Vorrichtung und verfahren zur personenerkennung, -verfolgung und -identifizierung unter verwendung drahtloser signale und bilder

Country Status (4)

Country Link
US (1) US10997474B2 (de)
CN (1) CN112381853A (de)
DE (1) DE102020209054A1 (de)
GB (1) GB2586099B (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926639A (zh) * 2021-02-20 2021-06-08 浙江大华技术股份有限公司 一种轨迹跟踪方法、装置、存储介质及电子装置
CN114676739B (zh) * 2022-05-30 2022-08-19 南京邮电大学 一种基于Faster-RCNN的无线信号的时序动作检测和识别方法
CN116484309B (zh) * 2023-03-09 2023-09-29 重庆市规划和自然资源信息中心 户籍人口数据与不动产登记数据融合方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009068089A1 (en) 2007-11-28 2009-06-04 Nokia Corporation Wireless device detection
WO2012024516A2 (en) 2010-08-18 2012-02-23 Nearbuy Systems, Inc. Target localization utilizing wireless and camera sensor fusion
US9330468B2 (en) 2012-02-29 2016-05-03 RetailNext, Inc. Method and system for analyzing interactions
EP3186657B1 (de) 2014-10-31 2021-04-14 Siemens Schweiz AG Verfahren, digitales werkzeug, vorrichtung und system zur detektion von bewegungen von objekten und/oder lebewesen in einem funkbereich, insbesondere eines innenraums
US10217120B1 (en) 2015-04-21 2019-02-26 Videomining Corporation Method and system for in-store shopper behavior analysis with multi-modal sensor fusion
US20170046891A1 (en) * 2015-08-12 2017-02-16 Tyco Fire & Security Gmbh Systems and methods for location identification and tracking using a camera
CN106899827A (zh) 2015-12-17 2017-06-27 杭州海康威视数字技术股份有限公司 图像数据采集、查询、视频监控方法、设备及***
US9830709B2 (en) 2016-03-11 2017-11-28 Qualcomm Incorporated Video analysis with convolutional attention recurrent neural networks
US10305766B1 (en) * 2017-11-07 2019-05-28 Amazon Technologies, Inc. Coexistence-insensitive presence detection
US10950125B2 (en) * 2018-12-03 2021-03-16 Nec Corporation Calibration for wireless localization and detection of vulnerable road users

Also Published As

Publication number Publication date
US20210034927A1 (en) 2021-02-04
GB202011608D0 (en) 2020-09-09
GB2586099A (en) 2021-02-03
US10997474B2 (en) 2021-05-04
GB2586099B (en) 2023-07-12
CN112381853A (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
DE102020209054A1 (de) Vorrichtung und verfahren zur personenerkennung, -verfolgung und -identifizierung unter verwendung drahtloser signale und bilder
US9177195B2 (en) System and method for detecting, tracking and counting human objects of interest using a counting system and a data capture device
DE102020204977A1 (de) Vorrichtung zur personenidentifizierung und bewegungsrichtungsschätzung
US20160238690A1 (en) Enhanced Indoor Localization Method
DE202015009183U1 (de) Das Analysieren semantischer Orte und verwandter Daten aus einer Vielzahl von Standortdatenberichten
US11615620B2 (en) Systems and methods of enforcing distancing rules
DE102014009845A1 (de) Bestimmung von Nähe unter Verwendung von mehreren Transpondern
DE202013011781U1 (de) System zum Bestimmen und Vergleichen von Wegen von Nutzern in einem Gebäude
US9245247B2 (en) Queue analysis
WO2020114138A1 (zh) 信息的关联分析方法及装置、储存介质、电子装置
JPWO2007026744A1 (ja) 広域分散カメラ間の連結関係推定法および連結関係推定プログラム
AT511881A1 (de) Verfahren und system zur lokalisierung eines kommunikationsgerätes
DE102021211867A1 (de) Systeme und verfahren zum erkennen von krankheitssymptomen von nutzern
CN102999951A (zh) 基于无线网络接收信号强度的人员智能考勤方法
Komai et al. Elderly person monitoring in day care center using Bluetooth Low Energy
KR102043922B1 (ko) Cctv 분할 운영시스템 및 그 운영방법
WO2013043590A1 (en) System and method for detecting, tracking and counting human objects of interest using a counting system and a data capture device
CN113112526A (zh) 目标跟踪方法、装置、设备和介质
CN111586367A (zh) 空间区域内人员实时定位追踪方法、***及终端设备
KR102519151B1 (ko) 입국장 내 우범 여행자 추적 시스템 및 방법
DE102015207047A1 (de) Verfahren und System automatisierten Sequenzieren von Fahrzeugen in nebeneinander angeordneten Durchfahrtskonfigurationen über eine bildbasierte Einstufung
EP3910539A1 (de) Systeme und verfahren zur identifizierung von personen von interesse
CN112800918A (zh) 一种非法运动目标的身份识别方法及装置
DE112018005119B4 (de) Systeme und verfahren zum steuern eines oder mehrerer produktlesegeräte und zum bestimmen von produkteigenschaften
DE102019220630A1 (de) System und Verfahren zur Objektlokalisierung in einer Innenumgebung

Legal Events

Date Code Title Description
R012 Request for examination validly filed