DE102014203749A1

DE102014203749A1 - Verfahren und Vorrichtung zum Überwachen mindestens eines Innenraums eines Gebäudes sowie Assistenzsystem für mindestens einen Innenraum eines Gebäudes

Info

Publication number: DE102014203749A1
Application number: DE102014203749.2A
Authority: DE
Inventors: Ingo Herrmann; Roland Klinnert; Michael Krueger; Kathrin Graner; Peter Theunissen; Henning Hayn; Merce Mueller-Gorchs
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2014-02-28
Filing date: 2014-02-28
Publication date: 2015-09-17
Also published as: GB2525476A; GB201503173D0; US20150248754A1

Abstract

Die Erfindung betrifft ein Verfahren (100) zum Überwachen mindestens eines Innenraums eines Gebäudes. Dabei weist das Verfahren (100) einen Schritt (120) des Vergleichens aufgenommener Bilddaten, die den mindestens einen Innenraum repräsentieren, mit Referenzdaten auf, die eine Referenzsituation repräsentieren, um abhängig von einem Vergleichsergebnis eine Überwachungsinformation zu erzeugen, die eine überwachungsrelevante Situation in dem mindestens einen Innenraum repräsentiert.

Description

Stand der Technik
Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Überwachen mindestens eines Innenraums eines Gebäudes, auf eine entsprechende Vorrichtung sowie auf ein entsprechendes Computerprogrammprodukt und auf ein Assistenzsystem für mindestens einen Innenraum eines Gebäudes.
Hausnotrufsysteme sind technische Systeme, mit welchen insbesondere ältere oder behinderte Menschen einen Notruf an eine Telefonzentrale absetzen können. Das Auslösen eines Notrufs kann manuell über eine Taste oder automatisch über Sensoren, z. B. Sturzsensoren, aktiviert werden.
Offenbarung der Erfindung
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Überwachen mindestens eines Innenraums eines Gebäudes, weiterhin eine Vorrichtung, die dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogrammprodukt und schließlich ein Assistenzsystem für mindestens einen Innenraum eines Gebäudes gemäß den Hauptansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.
Gemäß Ausführungsformen der vorliegenden Erfindung kann zumindest ein Innenraum eines Gebäudes insbesondere durch ein Analysieren von Bilddaten
hinsichtlich eines Vorliegens einer Situation überwacht werden, die für die Überwachung als relevant definiert ist. Insbesondere kann dabei ein Kamerasystem bzw. optisches Sensorsystem zur Innenraumüberwachung genutzt oder bereitgestellt werden. Hierbei kann beispielsweise ein optischer Sensor im heimischen bzw. häuslichen Umfeld eingesetzt werden, wobei durch ein automatisiertes Auswerten von Sensorsignalen, zum Beispiel pro Wohnung oder pro Zimmer, von einem oder mehreren Sensoren ein Assistenzsystem bzw. Assistenzfunktionen realisiert werden können.
Vorteilhafterweise kann gemäß Ausführungsformen der vorliegenden Erfindung zumindest ein Innenraum eines Gebäudes zuverlässig und genau überwacht werden. Dabei können überwachungsrelevante Situationen insbesondere durch eine automatisierte optische Überwachung sicher erkannt und voneinander unterschieden werden. Es kann eine Erkennung von Situationen im Sinne einer Einhaltung oder Abweichung von normalen Situationen verbessert werden. Hierbei kann insbesondere auch eine Robustheit der Überwachung erhöht werden, sodass ein Auftreten von Fehlalarmen reduziert werden kann. Zudem können vielfältige Assistenz- und Komfortsysteme realisiert werden, die auf einer zuverlässigen Situationserkennung bzw. Raumüberwachung basieren.
Es wird ein Verfahren zum Überwachen mindestens eines Innenraums eines Gebäudes vorgestellt, wobei das Verfahren folgenden Schritt aufweist:
Vergleichen aufgenommener Bilddaten, die den mindestens einen Innenraum repräsentieren, mit Referenzdaten, die eine (als normal oder als anomal definierte) Referenzsituation repräsentieren, um abhängig von einem Vergleichsergebnis eine Überwachungsinformation zu erzeugen, die eine überwachungsrelevante Situation in dem mindestens einen Innenraum repräsentiert.
Im Schritt des Vergleichens kann dabei die Überwachungsinformation erzeugt werden, wenn die Bilddaten von Referenzdaten abweichen, die eine als normal definierte Referenzsituation repräsentieren. Auch kann im Schritt des Vergleichens die Überwachungsinformation erzeugt werden, wenn die Bilddaten mit Referenzdaten zumindest teilweise übereinstimmen, die eine als anomal definierte Referenzsituation repräsentieren. Die überwachungsrelevante Situation kann dabei eine Situation sein, die gemäß einem bezeichneten Überwachungsziel als relevant definiert ist. Das Verfahren kann einen Schritt des Einlesens der aufgenommenen Bilddaten und der Referenzdaten aufweisen. Auch kann das Verfahren einen Schritt des Aufnehmens der Bilddaten aufweisen.
Dabei können im Schritt des Vergleichens von einer Infrarotkamera aufgenommene Infrarot-Bilddaten als die aufgenommenen Bilddaten verwendet werden. Bei der Infrarotkamera kann es sich um eine Kamera bzw. Thermokamera zur Darstellung von Wärmestrahlung handeln, wie sie beispielsweise für Temperaturmessgeräte oder Nachtsichtgeräte eingesetzt wird. Die Infrarotkamera kann ausgebildet sein, um im fernen Infrarot wirksam zu sein. Die Infrarot-Bilddaten können im Ferninfrarotbereich aufgenommene Bilddaten repräsentieren. Eine solche Ausführungsform bietet den Vorteil, dass ein Infrarotbild die Privatsphäre von Bewohnern des Gebäudes deutlich mehr schützt als ein Bild im sichtbaren Lichtbereich. Außerdem sind Infrarotkameras unempfindlich gegenüber Helligkeitsunterschieden und funktionieren auch bei Dunkelheit. Aus den Bildern eines Infrarotsensors bzw. einer Infrarotkamera können mittels Bildverarbeitung deutlich mehr Informationen extrahiert werden, als aus Signalen von einfachen Bewegungsmeldern, so zum Beispiel Informationen für eine Personenidentifikation, ein Zählen von Objekten oder Personen, Richtungsinformationen, Temperaturinformationen etc.
Somit kann verglichen mit einigen bekannten Sensoren, wie beispielsweise von Bewegungsmeldern oder Kameras, die im sichtbaren Lichtbereich aufnehmen, unter Verwendung von Infrarot-Bilddaten bzw. mittels einer Infrarotkamera beispielsweise vorteilhaft erreicht werden, dass Eingriffe in die Privatsphäre von Personen vermieden werden, eine Empfindlichkeit gegenüber Helligkeitsänderungen beseitigt oder verringert wird, eine Erkennung von sich nicht bewegenden Personen ermöglicht wird, etc. Insbesondere verglichen mit Kameras, beispielsweise mit CCD- oder CMOS-Technik, im sichtbaren Lichtbereich kann ein Rechenaufwand bei einer Bildverarbeitung verringert werden und kann eine Empfindlichkeit für veränderliche Lichtverhältnisse reduziert werden. Infrarotkameras können auch bei Dunkelheit aussagefähige Bilddaten bereitstellen. Durch Infrarotkameras wird ein Eingriff in die Privatsphäre der Bewohner vermieden. Infrarotkameras können zudem kostengünstig verfügbar sein. Verglichen mit herkömmlichen Bewegungsmeldern, die beispielsweise auf Radar-, Ultraschall- oder Infrarottechnik basieren, können Infrarotkameras Sensordaten mit hohem Informationsgehalt bereitstellen. Ferner kann unter Verwendung von Infrarot-Bilddaten zwischen unterschiedlichen Personen bzw. Bewohnern des Gebäudes, z. B. Ehemann, Ehefrau, Pflegepersonal, unterschieden werden. Zudem können Haustiere sicher erkannt werden und kann eine solche Haustierimmunität bei der Überwachung eine Störanfälligkeit verringern und eine Robustheit erhöhen. Auch kann unter Verwendung von Infrarot-Bilddaten eine Bewegungsrichtung von Personen oder Objekten erkannt werden, z. B. kann zwischen einem Betreten und einem Verlassen des zumindest einen Raums unterschieden werden. Ferner kann unter Verwendung von Infrarot-Bilddaten auch ein stationärer Zustand eines Objekts, beispielsweise im Falle einer bewegungslosen Person, erkannt werden.
Gemäß einer Ausführungsform können im Schritt des Vergleichens die Bilddaten mit Referenzdaten verglichen werden, die zumindest ein Objektmuster repräsentieren, um zumindest ein durch die Bilddaten repräsentiertes Objekt zu erkennen, das eine Person, ein Tier oder einen Gegenstand repräsentiert. Somit kann eine Objekterkennung unter Verwendung von Referenzdaten und aufgenommenen Bilddaten durchgeführt werden. Dabei können Objekte erkannt und voneinander unterschieden werden, sodass eine Robustheit und eine Treffsicherheit des Verfahrens erhöht werden können. Insbesondere ist es auch möglich, individuelle Personen zu unterscheiden. Ein wichtiges Qualitätsmerkmal ist dabei die hohe Treffsicherheit, da eine robuste Klassifikation von Situationen insbesondere auch bei Haushalten mit mehreren Bewohnern möglich ist.
Hierbei können im Schritt des Vergleichens erste Bilddaten mit um ein Zeitintervall bezüglich der ersten Bilddaten versetzt aufgenommenen, zweiten Bilddaten verglichen werden, um eine Position, eine Bewegung, eine Geschwindigkeit und zusätzlich oder alternativ ein Verhalten einer in den Bilddaten erkannten Person zu bestimmen. Hierzu kann eine Beziehung oder Abweichung zwischen den ersten Bilddaten und den zweiten Bilddaten im Bereich der in den Bilddaten erkannten Person bestimmt werden. Eine solche Ausführungsform bietet den Vorteil, dass insbesondere eine Erkennung von Aufstehvorgängen mit Geschwindigkeit und Bewegungsrichtung sowie eine Überwachung von Aktivitäten des täglichen Lebens zumindest einer Person erfolgen kann.
Somit können insbesondere eine Verbesserung einer Klassifikation von Situationen, im Sinne von Situational Awareness, zur frühestmöglichen Erkennung von Inaktivität oder einer Abweichung vom normalen Verhalten sowie eine Reduzierung von Fehlalarmen, beispielsweise u. a. durch das Erkennen von Personen, besseres Unterscheiden zwischen Betreten und Verlassen eines Raums, sowie dem Erkennen, dass eine Wohnung verlassen wird bzw. Bewohner wieder nach Hause kommen, und einer Haustierimmunität, und eine Erweiterung der Überwachung auf Haushalte mit mehreren Personen erreicht werden. Für eine solche Erweiterung können Einzelpersonenmodelle erlernt werden, die in der Anwendung dann separat oder beliebig kombiniert verwendet werden können. Unter dem Begriff Situational Awareness kann eine automatische Auswertung von Sensordaten zur Bestimmung eines aktuellen Zustands von Bewohner und/oder deren Umfeldes verstanden werden.
Auch können im Schritt des Vergleichens erste Bilddaten mit um ein Zeitintervall bezüglich der ersten Bilddaten versetzt aufgenommenen, zweiten Bilddaten verglichen werden, um eine Differenz zwischen Werten zumindest eines in den ersten Bilddaten und den zweiten Bilddaten repräsentierten Pixels zu bestimmen. Hierbei kann die Überwachungsinformation abhängig von einem Vergleich der Differenz mit einem Schwellwert erzeugt werden. Eine solche Ausführungsform bietet den Vorteil, dass insbesondere gefährliche oder potenziell gefährliche überwachungsrelevante Situationen sicher und auf unaufwendige Weise erkannt und von harmlosen Situationen unterschieden werden können.
Dabei kann der Schwellwert auf das Zeitintervall, auf einen Maximalwert des zumindest einen Pixels, auf einen Minimalwert des zumindest einen Pixels, auf einen Wertegradienten des zumindest einen Pixels, auf einen Mittelwert einer Mehrzahl von Pixeln und zusätzlich oder alternativ auf eine Position des zumindest einen Pixels bezogen sein. Eine solche Ausführungsform bietet den Vorteil, dass aufgrund der Vielfalt von Referenzwerten, auf die sich der Schwellwert beziehen kann, auch eine Vielfalt von Situationen zuverlässig erkannt werden kann.
Ferner kann das Verfahren einen Schritt des Generierens der Referenzdaten unter Verwendung vordefinierter Musterdaten, verglichener Bilddaten, zumindest einer Überwachungsinformation und zusätzlich oder alternativ von Umgebungsdaten des mindestens einen Innenraums aufweisen. Hierbei können die Referenzdaten im Schritt des Generierens trainiert werden. Bei den Umgebungsdaten kann es sich beispielsweise um Wetterdaten oder dergleichen handeln. Eine solche Ausführungsform bietet den Vorteil, dass Referenzdaten, die eine auf eine Vielfalt von Anwendungsfällen abgestimmte und präzise Erkennung von überwachungsrelevanten Situationen ermöglichen, zur Verfügung stehen oder bereitgestellt werden können.
Auch kann das Verfahren einen Schritt des Ausgebens einer Warninformation und zusätzlich oder alternativ einer Handlungsinformation zum Beheben der überwachungsrelevanten Situation abhängig von der Überwachungsinformation aufweisen. Hierbei kann die Warninformation und zusätzlich oder alternativ die Handlungsinformation unter Verwendung der Überwachungsinformation erzeugt werden. Die Warninformation kann ausgebildet sein, um bei einer Verarbeitung durch eine geeignete Vorrichtung innerhalb oder außerhalb des Gebäudes einen Alarm zu bewirken, wobei der Alarm einen automatisch ausführbaren Befehl, eine Nachricht, ein akustisches Alarmsignal und zusätzlich oder alternativ optisches Alarmsignal oder dergleichen aufweisen kann. Die Handlungsinformation kann ausgebildet sein, um bei einer Verarbeitung durch eine geeignete Vorrichtung eine Ausgabe einer akustischen Nachricht und zusätzlich oder alternativ optischen Nachricht innerhalb oder außerhalb des Gebäudes zu bewirken. Eine solche Ausführungsform bietet den Vorteil, dass ansprechend auf ein Erkennen einer kritischen überwachungsrelevanten Situation, z. B. einer bewegungslosen Person, automatisch ein Alarm ausgelöst werden kann bzw. Gegenmaßnahmen eingeleitet oder angefordert werden können.
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
Ferner wird ein Assistenzsystem für mindestens einen Innenraum eines Gebäudes vorgestellt, wobei das Assistenzsystem folgende Merkmale aufweist:
zumindest eine Kamera, die in dem mindestens einen Innenraum angeordnet ist, wobei die zumindest eine Kamera ausgebildet ist, um Bilddaten aufzunehmen und bereitzustellen; und
eine Ausführungsform der vorstehend genannten Vorrichtung, die datenübertragungsfähig mit der zumindest einen Kamera verbunden ist.
Bei dem Assistenzsystem kann es sich um ein Hausnotrufsystem oder dergleichen handeln. In dem Gebäude kann in mindestens einem Innenraum zumindest eine Kamera pro Innenraum angeordnet sein. In Verbindung mit dem Assistenzsystem kann eine Ausführungsform der vorstehend genannten Vorrichtung zum Überwachen vorteilhaft eingesetzt beziehungsweise verwendet werden. Hierbei können in vorteilhafter Weise durch Verwendung der zumindest einen Kamera sowie der Vorrichtung zum Überwachen eine Vielzahl von Überwachungsfunktionen ausgeführt werden, die herkömmlicherweise mittels mehrerer Sensoren erledigt werden, z. B. Feuermelder, Gassensoren, Bewegungsmelder, Kameras etc. Somit können Assistenz-, Sicherheits- und Komfortfunktionen realisiert werden, die beispielsweise auch unter dem Begriff Ambient Assisted Living bekannt sind.
Gemäß einer Ausführungsform kann die Vorrichtung als Teil der zumindest einen Kamera oder als eine eigenständige Vorrichtung getrennt von der zumindest einen Kamera ausgebildet sein. Die eigenständige Vorrichtung kann in dem Gebäude angeordnet sein. Eine solche Ausführungsform bietet den Vorteil, dass die Hauptüberwachungsfunktionen im Gebäude selbst ausgeführt werden können, sodass eine Verbindung nach außerhalb nicht zwingend erforderlich ist.
Auch kann das Assistenzsystem eine in dem Gebäude angeordnete Basisstation und einen getrennt von dem Gebäude angeordneten Server aufweisen. Hierbei kann die Basisstation datenübertragungsfähig mit der zumindest einen Kamera verbunden sein. Der Server kann datenübertragungsfähig mit der Basisstation verbunden sein. Die Basisstation kann dabei in dem Gebäude angeordnet sein. Auch kann der Server datenübertragungsfähig mit zumindest einer weiteren Basisstation in zumindest einem weiteren Gebäude verbunden sein. Dabei kann die Vorrichtung als Teil der Basisstation oder des Servers ausgebildet sein. Eine solche Ausführungsform bietet den Vorteil, dass eine Überwachung bzw. Bildauswertung zentral für ein Gebäude oder für mehrere Gebäude erfolgen kann.
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
Der hier vorgestellte Ansatz wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
1 ein Ablaufdiagramm eines Verfahrens zum Überwachen mindestens eines Innenraums eines Gebäudes gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
2 eine schematische Darstellung eines Assistenzsystems für mindestens einen Innenraum eines Gebäudes gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
3 eine schematische Darstellung eines Assistenzsystems gemäß einem Ausführungsbeispiel der vorliegenden Erfindung in einem Gebäude;
4 ein von einer Infrarotkamera aufgenommenes Bild mehrerer Personen;
5 ein Ablaufdiagramm für eine Objekterkennung bei einem Verfahren zum Überwachen mindestens eines Innenraums eines Gebäudes gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
6 ein Ablaufdiagramm für eine Klassifikation von Situationen bei einem Verfahren zum Überwachen mindestens eines Innenraums eines Gebäudes gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und
7A bis 7F von einer Infrarotkamera aufgenommene Bilder von Personen in unterschiedlichen Situationen.
In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
1 zeigt ein Ablaufdiagramm eines Verfahrens 100 zum Überwachen mindestens eines Innenraums eines Gebäudes gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Verfahren 100 weist einen Schritt 110 des Generierens von Referenzdaten, die eine als normal oder als anomal definierte Referenzsituation repräsentieren, unter Verwendung vordefinierter Musterdaten, verglichener Bilddaten, zumindest einer Überwachungsinformation und zusätzlich oder alternativ von Umgebungsdaten des mindestens einen Innenraums auf. Auch weist das Verfahren 100 einen Schritt 120 des Vergleichens aufgenommener Bilddaten, die den mindestens einen Innenraum repräsentieren, mit den Referenzdaten auf, um abhängig von einem Vergleichsergebnis eine Überwachungsinformation zu erzeugen, die eine überwachungsrelevante Situation in dem mindestens einen Innenraum repräsentiert. Das Verfahren 100 weist ferner einen Schritt 130 des Ausgebens einer Warninformation und zusätzlich oder alternativ einer Handlungsinformation zum Beheben der überwachungsrelevanten Situation abhängig von der Überwachungsinformation auf.
Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung werden im Schritt 120 des Vergleichens von einer Infrarotkamera aufgenommene Infrarot-Bilddaten als die aufgenommenen Bilddaten verwendet.
Dabei kann der Schritt 110 des Generierens vor und zusätzlich oder alternativ nach dem Schritt 120 des Vergleichens durchgeführt werden. Optional kann der Schritt 110 des Generierens und zusätzlich oder alternativ der Schritt 130 des Ausgebens auch übersprungen werden. Somit kann das Verfahren 100 eine Abfolge von Schritten aufweisen, die gemäß einem Ausführungsbeispiel den Schritt 110 des Generierens, den Schritt 120 des Vergleichens und den Schritt 130 des Ausgebens umfasst, gemäß einem weiteren Ausführungsbeispiel den Schritt 120 des Vergleichens, den Schritt 110 des Generierens und den Schritt 130 des Ausgebens umfasst, gemäß noch einem weiteren Ausführungsbeispiel den Schritt 110 des Generierens, den Schritt 120 des Vergleichens, den Schritt 110 des Generierens und den Schritt 130 des Ausgebens umfasst, gemäß einem weiteren Ausführungsbeispiel den Schritt 120 des Vergleichens und den Schritt 130 des Ausgebens umfasst, und gemäß noch einem weiteren Ausführungsbeispiel den Schritt 120 des Vergleichens umfasst.
Gemäß einem Ausführungsbeispiel können im Schritt 120 des Vergleichens die Bilddaten mit Referenzdaten verglichen werden, die zumindest ein Objektmuster repräsentieren, um zumindest ein durch die Bilddaten repräsentiertes Objekt zu erkennen, das eine Person, ein Tier oder einen Gegenstand repräsentiert.
Hierbei können gemäß einem Ausführungsbeispiel im Schritt 120 des Vergleichens erste Bilddaten mit um ein Zeitintervall bezüglich der ersten Bilddaten versetzt aufgenommenen, zweiten Bilddaten verglichen werden, um eine Position, eine Bewegung, eine Geschwindigkeit und zusätzlich oder alternativ ein Verhalten einer in den Bilddaten erkannten Person zu bestimmen.
Auch können gemäß einem Ausführungsbeispiel im Schritt 120 des Vergleichens erste Bilddaten mit um ein Zeitintervall bezüglich der ersten Bilddaten versetzt aufgenommenen, zweiten Bilddaten verglichen werden, um eine Differenz zwischen Werten zumindest eines in den ersten Bilddaten und den zweiten Bilddaten repräsentierten Pixels zu bestimmen. Dabei kann im Schritt 120 des Vergleichens die Überwachungsinformation abhängig von einem Vergleich der Differenz mit einem Schwellwert erzeugt werden. Der Schwellwert kann auf das Zeitintervall, auf einen Maximalwert des zumindest einen Pixels, auf einen Minimalwert des zumindest einen Pixels, auf einen Wertegradienten des zumindest einen Pixels, auf einen Mittelwert einer Mehrzahl von Pixeln und zusätzlich oder alternativ auf eine Position des zumindest einen Pixels bezogen sein.
2 zeigt eine schematische Darstellung eines Assistenzsystems 200 für mindestens einen Innenraum eines Gebäudes gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Gezeigt sind von dem Assistenzsystem 200 hierbei lediglich beispielhaft und darstellungsbedingt eine Kamera 210, eine Vorrichtung 220 zum Überwachen mindestens eines Innenraums eines Gebäudes, eine Basisstation 230 und ein Server 240. Ferner ist in 2 ein Gebäude 250 gezeigt. Die Vorrichtung 220 ist ausgebildet, um die Schritte des Verfahrens zum Überwachen aus 1 auszuführen. Auch wenn es in 2 nicht explizit gezeigt ist, kann die Vorrichtung 220 geeignete Einrichtungen aufweisen, die ausgebildet sind, um die Schritte des Verfahrens zum Überwachen aus 1 auszuführen.
Das Assistenzsystem 200 weist gemäß dem in 2 dargestellten Ausführungsbeispiel der vorliegenden Erfindung die Kamera 210, die Vorrichtung 220, die Basisstation 230 und den Server 240 auf. Dabei sind die Kamera 210, die Vorrichtung 220 und die Basisstation 230 in dem Gebäude 250 angeordnet.
Der Server 240 ist räumlich getrennt bzw. entfernt von dem Gebäude 250 angeordnet. Gemäß einem Ausführungsbeispiel weist das Assistenzsystem 200 eine Mehrzahl von Kameras 210 auf.
Die Kamera 210 ist beispielsweise als eine Infrarotkamera ausgeführt. Dabei ist die Kamera 210 in einem lediglich darstellungsbedingt nicht gezeigten Innenraum bzw. Zimmer des Gebäudes 250 angeordnet. Die Kamera 210 ist ausgebildet, um Bilddaten aufzunehmen und bereitzustellen. Auch ist die Kamera 210 mit der Vorrichtung 220 datenübertragungsfähig, beispielsweise mittels einer Kommunikationsschnittstelle in Gestalt eines Kabels, Funk oder dergleichen, verbunden. Die Vorrichtung 220 ist datenübertragungsfähig, beispielsweise mittels Kommunikationsschnittstellen in Gestalt von Kabeln, Funk oder dergleichen, mit der Kamera 210 sowie mit der Basisstation 230 verbunden. Dabei ist die Basisstation 230 datenübertragungsfähig, beispielsweise mittels Kommunikationsschnittstellen in Gestalt von Kabeln, Funk oder dergleichen, mit der Vorrichtung 220 und mit dem Server 240 verbunden. Auch wenn es in 2 nicht explizit gezeigt ist, so kann der Server 240 mit zumindest einer weiteren Basisstation zumindest eines weiteren Gebäudes datenübertragungsfähig verbindbar sein.
Gemäß dem in 2 dargestellten Ausführungsbeispiel der vorliegenden Erfindung ist die Vorrichtung 220 als eine eigenständige Vorrichtung ausgeführt. Gemäß anderen Ausführungsbeispielen kann die Vorrichtung 220 als Teil der zumindest einen Kamera 210 oder als Teil der Basisstation 230 oder als Teil des Servers 240 ausgebildet bzw. ausgeführt sein, wobei die zumindest eine Kamera 210 und die Basisstation 230 datenübertragungsfähig direkt miteinander verbunden sind.
3 zeigt eine schematische Darstellung eines Assistenzsystems für mindestens einen Innenraum eines Gebäudes gemäß einem Ausführungsbeispiel der vorliegenden Erfindung in einem Gebäude. Bei dem Assistenzsystem handelt es sich hierbei um ein Assistenzsystem ähnlich dem Assistenzsystem aus 2. Dabei sind von dem Assistenzsystem in 3 lediglich beispielhaft vier Kameras 210, eine Basisstation 230 sowie eine Leitung zu einem Server 240 gezeigt. Ferner ist ein Gebäude 250, bei dem es sich beispielsweise um eine Wohnung handelt, mit lediglich beispielhaft vier Zimmern bzw. Innenräumen 301, 302, 303 und 304 gezeigt. Die Vorrichtung zum Überwachen mindestens eines Innenraums eines Gebäudes kann gemäß dem in 3 dargestellten Ausführungsbeispiel der vorliegenden Erfindung als Teil der Kameras 210, der Basisstation 230 oder des Servers 240 ausgeführt sein.
Eine erste der Kameras 210 ist in einem ersten Innenraum 301 angeordnet und ausgebildet, um Bilddaten aufzunehmen und bereitzustellen, die den ersten Innenraum 301 repräsentieren bzw. darstellen. Eine zweite der Kameras 210 ist in einem zweiten Innenraum 302 angeordnet und ausgebildet, um Bilddaten aufzunehmen und bereitzustellen, die den zweiten Innenraum 302 repräsentieren bzw. darstellen. Eine dritte der Kameras 210 ist in einem dritten Innenraum 303 angeordnet und ausgebildet, um Bilddaten aufzunehmen und bereitzustellen, die den dritten Innenraum 301 repräsentieren bzw. darstellen. Eine vierte der Kameras 210 ist in einem vierten Innenraum 304 angeordnet und ausgebildet, um Bilddaten aufzunehmen und bereitzustellen, die den vierten Innenraum 304 repräsentieren bzw. darstellen. Beispielsweise handelt es sich bei dem ersten Innenraum 301 um einen Flur, bei dem zweiten Innenraum 302 um ein Schlafzimmer, bei dem dritten Innenraum 303 um ein Badezimmer und bei dem vierten Innenraum 304 um eine Wohnküche bzw. ein Wohnzimmer mit offener Küche.
Die Basisstation 230 ist gemäß dem in 3 dargestellten Ausführungsbeispiel der vorliegenden Erfindung in dem vierten Innenraum 304 angeordnet. Die Basisstation 230 ist mit jeder der Kameras 210 datenübertragungsfähig verbunden. Genau gesagt ist die Basisstation 230 ausgebildet, um Bilddaten von jeder der Kameras 210 zu empfangen, wenn die Vorrichtung zum Überwachen in der Basisstation 230 oder in dem Server 240 ausgeführt ist. Wenn die Vorrichtung zum Überwachen in den Kameras 210 ausgeführt ist, so ist die Basisstation 230 ausgebildet, um verarbeitete Bilddaten, beispielsweise Überwachungsinformationen, Warninformationen und/oder Handlungsinformationen, von den Kameras 210 zu empfangen. Auch ist die Basisstation 230 datenübertragungsfähig mit dem Server 240 verbunden, was in 3 darstellungsbedingt lediglich angedeutet ist.
Gemäß einem Ausführungsbeispiel sind die Kameras 210 als Infrarotkameras ausgeführt. Anders ausgedrückt basieren die Kameras 210 bzw. optischen Sensoren auf Infrarot-Kameramodulen. Die Kameras 210 bzw. Infrarotkameras sind dabei bevorzugt im Ferninfrarotbereich empfindlich. Ferninfrarotsensoren detektieren insbesondere eine thermische Eigenstrahlung von Personen und Objekten, d. h. ein empfangenes Signal ist bzw. aufgenommene Bilddaten sind abhängig von einer Temperatur einer abstrahlenden Oberfläche.
Anders ausgedrückt zeigt 3 ein Gebäude 250 bzw. eine Wohnung mit installiertem Assistenzsystem bzw. Kamerasystem. Dabei zeigt 3 eine Wohnung, bestehend aus Flur 301, Badezimmer 303, Schlafzimmer 302 und Wohnzimmer 304 mit offener Küche. In jedem der Zimmer bzw. Innenräume 301, 302, 303 und 304 ist jeweils ein optischer Sensor bzw. eine Kamera 210 installiert. Die Sensoren bzw. Kameras 210 sind per Kabel oder Funk, z. B. WLAN, Bluetooth, Zigbee, mit der Basisstation 230 des Assistenzsystems verbunden, das einem Hausnotrufsystem ähnlich ausgeführt ist. Die Basisstation 230 ist beispielsweise über eine Telekommunikationsverbindung, z. B. analog, per Ethernet, GSM, 3G etc., mit dem Server 240 verbunden, der z. B. im Internet, als Teil einer Telefonzentrale etc. ausgeführt sein kann. Jede der Kameras 210 weist beispielsweise mindestens einen optischen Sensor, eine Linse, eine Recheneinheit, z. B. einen Mikrocontroller, ASIC o.ä., eine Energieversorgung, z. B. einen Netzanschluss, eine Batterie o.ä., und eine Kommunikationseinheit, z. B. eine Kabelverbindung, WLAN, Bluetooth, Zigbee o.ä., auf. Die Kameras 210 sind ausgebildet, um Bilder, insbesondere Infrarotbilder, der Innenräume 301, 302, 303 und 304 aufzunehmen. Die Bilder sind durch Bilddaten repräsentiert. Diese Bilddaten werden beispielsweise von Bildverarbeitungsalgorithmen gefiltert, analysiert und interpretiert. Eine solche Bildverarbeitung ist in der Vorrichtung zum Überwachen ausführbar und kann in den Kameras 210 selbst, in einem separaten Gerät, in der Basisstation 230 oder auf dem Server 240 erfolgen. Gemäß einem Ausführungsbeispiel kann der Server 240 auch lokal anstatt entfernt angeordnet sein. Das interpretierte Bildsignal bzw. beispielsweise eine Überwachungsinformation, z. B. „leblose Person erkannt“, kann als Eingangssignal für Assistenzfunktionen und/oder weitere Assistenzsysteme dienen.
4 zeigt ein von einer Infrarotkamera aufgenommenes Bild 400 bzw. ein Bild eines Infrarotsensors. Das Bild 400 bzw. Wärmebild zeigt hierbei mehrere Personen, lediglich beispielhaft zehn Personen. Eine der Kameras aus 2 bzw. 3 kann ausgebildet sein, um ein Bild wie das Bild 400 aufzunehmen. Somit kann das Bild 400 von einer der Kameras aus 2 bzw. 3 aufgenommen sein. In 4 sind unterschiedliche Temperaturmuster in dem Bild 400 erkennbar, die den unterschiedlichen Personen entsprechen.
5 zeigt ein Ablaufdiagramm 500 für eine Objekterkennung bei einem Verfahren zum Überwachen mindestens eines Innenraums eines Gebäudes gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Dabei ist ein in dem Ablaufdiagramm 500 dargestellter Ablauf der Objekterkennung als Teil des Verfahrens zum Überwachen aus 1 ausführbar. Der in dem Ablaufdiagramm 500 gezeigte Ablauf der Objekterkennung stellt einen zyklischen Ablauf dar.
Der in dem Ablaufdiagramm 500 veranschaulichte Ablauf der Objekterkennung weist einen Block 501 auf, bei dem eine Bildaufnahme erfolgt. Anschließend erfolgt in einem Block 502 eine Bildvorverarbeitung bzw. eine Bildsegmentierung. In einem Verzweigungsblock 503, zu dem ein optionaler Eintritt 504 in den Ablauf führt, wird eine Bestimmung durchgeführt, ob es eine starke Veränderung in einer Bilddatenstatistik gibt. Falls es eine starke Veränderung in der Bilddatenstatistik gibt, wird von dem Block 503 zu einem Block 505 übergegangen, in dem eine vom Anwendungsfall abhängige bzw. Usecaseabhängige Weiterverarbeitung erfolgt. Falls es keine starke Veränderung in der Bilddatenstatistik gibt, wird von dem Block 503 zu einem Block 506 übergegangen, in dem eine Anzahl N von Objekten in den Bilddaten bestimmt wird.
Es folgt ein Block 507, in dem ein Laufindex i auf 1 gesetzt wird (i := 1). Bei einem darauf folgenden Verzweigungsblock 508 wird geprüft, ob der Laufindex i kleiner oder gleich der Anzahl N von Objekten ist (i ≤ N). Falls diese Bedingung nicht erfüllt ist, springt der Ablauf zurück zu der Bildaufnahme in dem Block 501. Falls die Bedingung erfüllt ist, wird von dem Block 508 zu einem Block 509 übergegangen, bei dem für das Objekt mit dem Laufindex i eine Klassifikation und gegebenenfalls eine Objektverfolgung bzw. ein Objekttracking durchgeführt wird.
Anschließend folgt ein Verzweigungsblock 510, bei dem eine Entscheidung getroffen wird, ob das Objekt ein Tier ist. Falls das Objekt ein Tier ist, so geht der Ablauf von dem Block 510 zu einem Block 511, bei dem eine spezielle Weiterverarbeitung für den Fall Tier erfolgt. Falls das Objekt kein Tier ist, wird von dem Block 510 zu einem Verzweigungsblock 512 übergegangen, bei dem eine Entscheidung getroffen wird, ob das Objekt ein Mensch ist. Falls das Objekt ein Mensch ist, so geht der Ablauf von dem Block 512 zu einem Block 513, bei dem eine spezielle Weiterverarbeitung für den Fall Mensch erfolgt. Der Block 513 kann zu einem in 6 gezeigten Ablauf führen oder denselben aufweisen. Falls das Objekt kein Mensch ist, wird von dem Block 512 zu einem Block 514 übergegangen, bei dem der Laufindex i um 1 erhöht wird (i := i + 1). Anschließend erfolgt ein Sprung von dem Block 514 vor den Block 508.
In einer stark vereinfachten Implementierung wäre es ebenso möglich die Blöcke 506 bis 514 wegzulassen und nach Block 503 direkt zu Block 501 zurückspringen, d. h. nur Auswertung der Bilddatenstatistik mit entsprechender Reaktion.
Wegen Korrektur der Rücksprungposition ist die Reihenfolge von 506 und 507 irrelevant. Daher wäre auch eine Zusammenfassung von 506 und 507 in einem Block möglich.
6 zeigt ein Ablaufdiagramm 600 für eine Klassifikation von Situationen bei einem Verfahren zum Überwachen mindestens eines Innenraums eines Gebäudes gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Dabei ist ein in dem Ablaufdiagramm 600 veranschaulichter Ablauf der Klassifikation von Situationen als Teil des Verfahrens zum Überwachen aus 1 und gegebenenfalls in Kombination mit dem Ablauf der Objekterkennung aus 5 ausführbar.
Der in dem Ablaufdiagramm 600 dargestellte Ablauf der Klassifikation von Situationen kann den in 5 gezeigten Block der speziellen Weiterverarbeitung für den Fall Mensch als Eingang bzw. Start aufweisen. Dabei ist der in dem Ablaufdiagramm 600 dargestellte Ablauf der Klassifikation von Situationen abhängig von einem jeweiligen Anwendungsfall. Entscheidungen bei Verzweigungen erfolgen hierbei auf einer Basis eines Regelwerks oder eines Klassifikators.
In einem Block 601 erfolgt eine Klassifikation einer Körperposition. In einem darauf folgenden Verzweigungsblock 602 wird überprüft, ob eine Person liegt. Wenn in dem Block 602 bestimmt wird, dass die Person liegt, folgt ein Verzweigungsblock 603, in dem geprüft wird, ob die Person an einer untypischen Stelle liegt. Liegt die Person an einer untypischen Stelle, geht der Ablauf von dem Block 603 zu einem Block 604 über, in dem ein Alarm ausgelöst wird. Falls die Person nicht an einer untypischen Stelle liegt, geht der Ablauf von dem Verzweigungsblock 603 zu einem Verzweigungsblock 605, in dem bestimmt wird, ob eine starke Abnahme einer Körpertemperatur der Person vorliegt. Falls dies bejaht wird, wird in einem Block 606 ein Alarm ausgelöst. Liegt jedoch keine starke Abnahme der Körpertemperatur vor, so geht der Ablauf von dem Verzweigungsblock 605 zu einem Verzweigungsblock 607 über, in dem überprüft wird, ob sich die Person beispielsweise im Bette aufgerichtet und/oder deren Füße auf dem Boden sind. Wird dies bejaht, so wird in einem Block 608 vom Anwendungsfall abhängig weiter verfahren und beispielsweise ein Alarm ausgelöst oder Licht eingeschaltet. Falls die Überprüfung in dem Verzweigungsblock 607 zu einem negativen Ergebnis führt, erfolgt in einem Block 609 eine Fortsetzung des zyklischen Ablaufs. Die Abfolge der Blöcke 603, 605 und 607 ist nur beispielhaft und kann beliebig variiert werden.
Wird in dem Verzweigungsblock 602 bestimmt, dass die Person nicht liegt, so geht der Ablauf zu einem Verzweigungsblock 610 über, in dem geprüft wird, ob eine Person den Raum betritt. Ist dies der Fall, so erfolgt in einem Block 611 eine vom Anwendungsfall abhängige Weiterverarbeitung. Betritt keine Person den Raum, folgt auf den Verzweigungsblock 610 ein Verzweigungsblock 612, in dem bestimmt wird, ob die Person den Raum oder das Gebäude bzw. die Wohnung verlässt. Die Abfolge der Blöcke 610, 612 und 616 ist nur beispielhaft und kann beliebig variiert werden.
Falls die Bestimmung in dem Block 612 positiv beantwortet wird, so wird in einem Verzweigungsblock 613 ermittelt, ob eine Temperaturverteilung auffällig ist und/oder eine Kleidung nicht adäquat ist. Ist dies der Fall, wird in einem Block 614 ein Alarm an eine Zentrale oder eine Warnung an eine Person ausgelöst. Ist die Temperaturverteilung unauffällig und/oder die Kleidung adäquat, erfolgt eine vom Anwendungsfall abhängige Weiterverarbeitung in einem Block 615.
Wird die Bestimmung in dem Block 612 negativ beantwortet, dann wird in einem Verzweigungsblock 616 überprüft, eine Temperaturverteilung auffällig ist und/oder Kleidung nass ist. Wenn dies der Fall ist, wird in einem Block 617 ein Alarm an eine Zentrale oder eine Warnung an eine Person ausgelöst. Falls die Temperaturverteilung nicht auffällig ist und/oder Kleidung nicht nass ist, erfolgt in einem Block 618 eine Fortsetzung des zyklischen Ablaufs.
7A bis 7F zeigen von einer Infrarotkamera aufgenommene Bilder von Personen in unterschiedlichen Situationen. Eine der Kameras aus 2 bzw. 3 kann ausgebildet sein, um Bilder wie die Bilder aus den 7A bis 7F aufzunehmen. Somit können die Bilder aus den 7A bis 7F von einer der Kameras aus 2 bzw. 3 aufgenommen sein. Ferner können die Bilder aus den 7A bis 7F bzw. den Bildern zugrunde liegende Bilddaten durch ein Verfahren wie das Verfahren zum Überwachen aus 1 und gegebenenfalls durch zumindest einen der Abläufe aus 5 und 6 verwendet werden. Anders ausgedrückt zeigen die 7A bis 7F Aufnahmen einer Infrarotkamera von zwei Personen in verschiedenen Situationen. Bildverarbeitungsalgorithmen des Verfahrens aus 1 bzw. der Abläufe aus 5 und 6 sind ausgebildet, um die Situationen auf Basis dieser Bilder zu erkennen.
7A zeigt ein Wärmebild 710 von zwei Personen, von denen die in der Figur links abgebildete Person sitzt und die in der Figur rechts abgebildete Person steht. 7B zeigt ein Wärmebild 720 von zwei stehenden Personen. 7C zeigt ein Wärmebild 730 von zwei Personen, von denen die in der Figur rechts dargestellte Person gerade dabei ist sich einen Ärmel hochzukrempeln.
7D zeigt ein Wärmebild 740 von zwei Personen, von denen die in der Figur links abgebildete Person sitzt, in einer frontalen Ansicht. 7E zeigt ein Wärmebild 750 von zwei Personen, von denen die in der Figur links dargestellte Person sitzt, in einer seitlichen Ansicht. 7F zeigt ein Wärmebild 760 von zwei Personen, von denen die in der Figur links abgebildete Person wieder steht.
Unter Bezugnahme auf die 1 bis 7F werden im Folgenden verschiedene Ausführungsbeispiele der vorliegenden Erfindung zusammenfassend und mit anderen Worten erläutert.
Gemäß einem Ausführungsbeispiel wird zumindest eine Kamera 210 bzw. Vorrichtung 220 verwendet, um ein Assistenzsystem 200 zu realisieren, welches eine aktuelle Situation von Bewohnern eines Gebäudes 250 zuverlässig erkennt („Situational Awareness“). Ein Ablauf der Erkennung der Bewohner durch die zumindest eine Kamera 210, die Vorrichtung 220 bzw. das Assistenzsystem 200 ist in 5 dargestellt. Ein Ziel für das Assistenzsystem 200 ist z. B. eine frühestmögliche Erkennung von Inaktivität oder eine Erkennung von Abweichungen von zuvor analysierter oder erlernter, als normal definierter Aktivität. Hiermit ist es nicht nur möglich, einen Alarm auszulösen, wenn keine Aktivität festgestellt wird, sondern dies auch getrennt für mehrere Personen zu erkennen. Außerdem ist es möglich, frühzeitig zu warnen, wenn es noch Aktivität gibt, diese aber von als normal definierter Aktivität abweicht. Das Assistenzsystem 200 wird so nicht oder minimal durch Haustiere gestört. Zusätzlich zur Aktivitätserkennung können hierbei folgende Situationen erkannt werden: ob eine Person den Raum betritt, ob eine Person den Raum verlässt, wie viele Personen sich in einem Raum befinden, welche Person sich in einem Raum befindet, sowie eine Erkennung von Haustieren im Raum. Eine Erkennung einer Personenanzahl sowie eine Erkennung von Haustieren erfolgt beispielsweise gemäß dem in 5 dargestellten Ablauf. Ausreichend Auflösung vorausgesetzt, können verschiedene Personen relativ leicht voneinander getrennt werden, da sich typische Umrisse von Personen im Wärmebild gut erkennen lassen, wie es in 4 bzw. 7A bis 7F erkennbar ist. Eine Wiedererkennung bzw. Identifikation z. B. mehrerer Personen in einem Haushalt ist durch eine Kalibrierung auf die Personen realisierbar. Ist diese erfolgt, kann über individuell unterschiedliche Verteilungen einer Hauttemperatur eine Erkennung der Personen erfolgen.
Gemäß einem Ausführungsbeispiel wird zumindest eine Kamera 210 bzw. Vorrichtung 220 verwendet, um ein Assistenzsystem 200 zu realisieren, welches gestürzte oder bewegungslose Personen zuverlässig erkennt und einen Alarm auslöst. Eine Funktionsweise der Erkennung einer solchen Situation folgt beispielsweise dem in 6 dargestellten Ablauf. Anders als bei Ultraschall oder Radar ist unter Verwendung eines Wärmebilds eine Person auch dann zu erkennen, wenn sie sich nicht bewegt. Eine z. B. infolge eines Anfalls gestürzte Person lässt sich im Wärmebild als liegende Person an einer dafür nicht vorgesehenen Stelle detektieren, insbesondere in Abgrenzung zu einem Szenario, bei dem ein Bewohner beispielsweise auf einer Couch liegt und schläft. Unter Zuhilfenahme einer kontinuierlichen Überwachung des Objekts bzw. Bewohners ist es prinzipiell auch möglich, einen Vitalitätszustand zu überwachen. So ist es durch Ausführen des Verfahrens 100 zum Überwachen erkennbar, dass eine Körpertemperatur eines Menschen im Schlaf bei gleichbleibender Umgebungstemperatur je nach dieser nur wenig absinkt, wohingegen beispielsweise ein Kreislaufzusammenbruch zu einer vergleichsweise deutlichen und raschen Absenkung der Körpertemperatur führt.
Gemäß einem Ausführungsbeispiel wird zumindest eine Kamera 210 bzw. Vorrichtung 220 verwendet, um ein Assistenzsystem 200 für stark sturzgefährdete Personen zu realisieren, welches beispielsweise Aufstehvorgänge aus einem Bett, von einem Stuhl oder Sofa erkennen und dann Pflegepersonal alarmieren kann. Das Pflegepersonal kann die Person dann zum Zielort begleite, z. B. Badezimmer, Küche, um ein Sturzrisiko zu minimieren. Auf Basis der Überwachungsinformation kann auch eine Beleuchtung eingeschaltet werden. Das Assistenzsystem 200 kann ausgebildet sein, um einen Aufstehvorgang z. B. aus einer Kombination der personenbezogenen Ereignisse Aufrichten sowie Füße auf dem Boden abzuleiten, vergleichbar mit dem Ablauf aus 6. Beim Aufstehen eines Bewohners ergibt sich zum einen eine deutliche Formveränderung des sogenannten Hot Spots im Wärmebild, zum anderen eine Positionsverlagerung innerhalb eines kurzen Zeitintervalls. Das Assistenzsystem 200 kann ausgebildet sein, um dies statistisch im Gesamtbild auszuwerten, wobei keine hoch entwickelten Bilderkennungsalgorithmen verwendet zu werden brauchen und wobei die Bilddaten und die Überwachungsinformation vom jeweiligen Szenario abhängen. Im einfachen Fall einer Person, die beispielsweise längere Zeit in einem normal temperierten Wohnzimmer auf einem Sessel saß, siehe z. B. 7D bzw. 7E, ist ein Anteil warmer Pixel, also von Pixeln mit Werten, die eine hohe Temperatur repräsentieren, im Bild direkt nach dem Aufstehen größer als vor dem Aufstehen, weil der Sessel sich deutlich erwärmt hat und daher mehr Wärmestrahlung abgibt als eine Oberseite der vorher darauf sitzenden Person, siehe z. B. 7F. Wird bei dem Verfahren 100 zum Überwachen hierbei ein Mittelwert über alle Pixel der Bilddaten gebildet und über die Zeit verfolgt, so wird bei einem solchen Aufstehvorgang der Mittelwert sprunghaft signifikant ansteigen.
Gemäß einem Ausführungsbeispiel wird zumindest eine Kamera 210 bzw. Vorrichtung 220 verwendet, um ein Assistenzsystem 200 zu realisieren, welches ausgebildet ist, um Aktivitäten des täglichen Lebens zu überwachen. Dazu gehören beispielsweise Zeitpunkt und Dauer von persönlicher Hygiene, z. B. Waschen der Hände am Waschbecken im Bad, Nahrungsaufnahme warmer Mahlzeiten, z. B. Essen am Tisch, Benutzung von Küchengeräten, wie Herd, Kühlschrank, Spüle etc., und von sozialen Kontakten, z. B. Besuch, sowie eine Überwachung von Therapien, z. B. regelmäßige Laufübungen bei Personen mit Gehbehinderung. Über Sensorinformationen bzw. die Bilddaten sind solche Aktivitäten durch das Assistenzsystem 200 bzw. das Verfahren 100 zum Überwachen quantifizierbar. Zusätzlich ist durch das Assistenzsystem 200 bzw. das Verfahren 100 ein Zustand von Kleidung überprüfbar. Insbesondere führt verdunstende Flüssigkeit zu einer lokalen Temperaturabnahme im Bereich einer Außenoberfläche der Kleidung. Dies ist für das Assistenzsystem 200 als eine Bilddatenveränderung detektierbar. Somit kann das Assistenzsystem 200 ausgebildet sein, um Feuchtigkeit aufgrund von Verschütten von Flüssigkeit bei der Nahrungsaufnahme, z. B. Getränke, flüssige Nahrung, oder bei Inkontinenz zu erkennen, wobei hierzu auch der Ablauf aus 6 herangezogen werden kann. Zusätzlich kann das Assistenzsystem 200 ausgebildet sein, um durch Verknüpfung mit externen Informationen bzw. Umgebungsinformationen zu erkennen, ob Bewohner aktuellen Witterungsbedingungen außerhalb des Gebäudes 250 oder einer Temperatur innerhalb des Gebäudes 250 entsprechend angemessen gekleidet sind. Beispielsweise kann das Assistenzsystem 200 ausgebildet sein, um bei Verlassen des Gebäudes 250 überprüfen, ob beispielsweise Mantel und Schuhe getragen werden. Eine solche Überwachungsinformation kann mit Daten einer Wettervorhersage beispielsweise aus dem Internet verglichen werden, wobei dies auch in Verbindung mit dem Ablauf aus 6 erfolgen kann. In einem Ganzkörperwärmebild sind beispielsweise unzureichend mit Kleidung bedeckte Körperstellen aufgrund ihrer in dem Gebäude 250 höheren Temperatur erkennbar, wie es in 7C zu sehen ist. Insbesondere hat in den Bilddaten direkt nach einem Anziehen eine Jacke praktisch Raumtemperatur, wohingegen beispielsweise ein am Körper getragenes T-Shirt als wärmer erkennbar ist.
Gemäß einem Ausführungsbeispiel wird zumindest eine Kamera 210 bzw. Vorrichtung 220 verwendet, um ein Assistenzsystem 200 zu realisieren, welches ausgebildet ist, um Gefahren zu erkennen. Beispielsweise kann ein Alarm ausgelöst werden, wenn brennende Gegenstände, wie Kerzen, Zigaretten etc., oder aktive Elektrogegenstände, z. B. Bügeleisen, Herd, Fernseher, erkannt werden und gleichzeitig detektiert wurde, dass sich keine Person in der Wohnung bzw. dem Gebäude 250 befindet. Es kann auch ein Alarm beim Überschreiten von bestimmten Temperaturschwellwerten, z. B. 140 °C, ausgelöst werden. Auch ist eine Warnung vor heißem Wasser, beispielsweise eines Wasserkochers oder heißem Duschwasser, oder zu heißem Essen und Getränken möglich. Zusätzlich kann die zumindest eine Kamera 210 bzw. Vorrichtung 220 verwendet werden, um eine Anwesenheit nicht autorisierter Personen in dem Gebäude 250 zu detektieren. Eine nicht autorisierte Person kann durch Erkennung/Nicht-Erkennung bzw. Identifikation durch Bildverarbeitung, ungewöhnliches Verhalten, bzw. Panikaktivität von Bewohner/Bewohnern, und/oder eine ungewöhnliche Situation erkannt werden, beispielsweise falls eine Person in das Gebäude 250 eindringt, obwohl zu dieser Uhrzeit und diesem Wochentag keine weitere Person erwartet wird.
Gemäß einem Ausführungsbeispiel ist das Assistenzsystem 200 als mobiles Assessment-System verwendbar. Das bedeutet, dass ein Assistenzsystem 200 mit einer geeigneten Anzahl von Kameras 210 und einer Aufzeichnungseinrichtung für eine bestimmte Zeitdauer bei einer Person in einem Gebäude aufgestellt ist. Aufgezeichnete Überwachungsinformationen sind nutzbar, um zu bestimmen, wie viel und welche Art von Hilfe diese Person bekommen sollte, z. B. zur Einschätzung der Pflegestufe.
Gemäß einem Ausführungsbeispiel ist die zumindest eine Kamera 210 bzw. Vorrichtung 220 des Assistenzsystems 200 als Bewegungsmotivator einsetzbar, ähnlich wie bei Videospielen. Hiermit können Bewegungen/Aktivität zur Analyse einer Aktivität und Motivation eines Nutzers interaktiv rückgekoppelt werden.
Zusammenfassend betrachtet stellt das beschriebene Verfahren 100 zum Überwachen bzw. das Assistenzsystem 200 unter anderem eine essenzielle Verbesserung der sogenannten Situational Awareness dar. Dabei kann eine verbesserte automatische Erkennung von überwachungsrelevanten Situationen erreicht werden, wie z. B. Wohnung Verlassen und Zurückkehren. Die Situational Awareness kann auch für Haushalte mit mehr als einer Person verbessert werden. Nicht nur Inaktivität (Situational Awareness), sondern auch Aktivitätsabweichungen von einem definierten oder erlernten Normalfall, wie z. B. langsamer, schneller, andere Laufrouten, etc., können erkannt werden. Auch können in Verbindung mit dem Verfahren 100 zum Überwachen bzw. dem Assistenzsystem 200 zusätzliche Assistenz- und Komfortfunktionen realisiert werden, wie z. B. eine robuste Sturzerkennung und Erkennung von bewegungslosen Personen, eine Erkennung von Aufstehvorgängen, z. B. aus dem Bett, zur Benachrichtigung von Pflegepersonal bzw. zur Lichtsteuerung zur Minimierung des Sturzrisikos z. B. beim Toilettengang, also ein begleiteter Toilettengang, eine Überwachung von Aktivitäten des täglichen Lebens (Activities of Daily Living, ADL), wie z. B. persönliche Hygiene, Nahrungsaufnahme, soziale Interaktionen, z. B. Anzahl der Kontakte mit anderen Menschen, ferner Alarmsysteme basierend auf der Messung von Temperaturen, z. B. Körpertemperatur, Temperatur von Gegenständen und Geräten, z. B. Herd, für eine Brandmeldung oder dergleichen, eine Licht- oder Heizungssteuerung abhängig von anwesenden Personen, eine Überwachung, ob und wie lange Fenster und Türen geöffnet sind, sowie eine Erkennung von Aktivitäten wie Laufwegen, Bewegungsgeschwindigkeit, Körperhaltung, und hiermit auch die Möglichkeit, bei Abweichungen vom normalen Verhalten/normalen Situationen zu warnen, oder auch zum Senden einer Aufforderung an einen Nutzer, ein Verhalten oder eine Situation zu ändern. Das Verfahren 100 zum Überwachen bzw. das Assistenzsystem 200 können auch Verwendung finden zur Gestenerkennung (beispielsweise aber nicht einschränkend auch im Dunkeln), z. B. zur Auslösung eines Notrufs, falls die Überwachung ergibt, dass eine Person nicht mehr aufstehen kann.
Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden.
Ferner können die hier vorgestellten Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden.
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.

Claims

Verfahren (100) zum Überwachen mindestens eines Innenraums (301, 302, 303, 304) eines Gebäudes (250), wobei das Verfahren (100) folgenden Schritt aufweist: Vergleichen (120) aufgenommener Bilddaten, die den mindestens einen Innenraum (301, 302, 303, 304) repräsentieren, mit Referenzdaten, die eine Referenzsituation repräsentieren, um abhängig von einem Vergleichsergebnis eine Überwachungsinformation zu erzeugen, die eine überwachungsrelevante Situation in dem mindestens einen Innenraum (301, 302, 303, 304) repräsentiert.
Verfahren (100) gemäß Anspruch 1, bei dem im Schritt (120) des Vergleichens von einer Infrarotkamera (210) aufgenommene Infrarot-Bilddaten als die aufgenommenen Bilddaten verwendet werden.
Verfahren (100) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (120) des Vergleichens die Bilddaten mit Referenzdaten verglichen werden, die zumindest ein Objektmuster repräsentieren, um zumindest ein durch die Bilddaten repräsentiertes Objekt zu erkennen, das eine Person, ein Tier und/oder einen Gegenstand repräsentiert.
Verfahren (100) gemäß Anspruch 3, bei dem im Schritt (120) des Vergleichens erste Bilddaten mit um ein Zeitintervall bezüglich der ersten Bilddaten versetzt aufgenommenen, zweiten Bilddaten verglichen werden, um eine Position, eine Bewegung, eine Geschwindigkeit und/oder ein Verhalten einer in den Bilddaten erkannten Person zu bestimmen.
Verfahren (100) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (120) des Vergleichens erste Bilddaten mit um ein Zeitintervall bezüglich der ersten Bilddaten versetzt aufgenommenen, zweiten Bilddaten verglichen werden, um eine Differenz zwischen Werten zumindest eines in den ersten Bilddaten und den zweiten Bilddaten repräsentierten Pixels zu bestimmen, wobei die Überwachungsinformation abhängig von einem Vergleich der Differenz mit einem Schwellwert erzeugt wird.
Verfahren (100) gemäß Anspruch 5, bei dem der Schwellwert auf das Zeitintervall, auf einen Maximalwert des zumindest einen Pixels, auf einen Minimalwert des zumindest einen Pixels, auf einen Wertegradienten des zumindest einen Pixels, auf einen Mittelwert einer Mehrzahl von Pixeln und/oder auf eine Position des zumindest einen Pixels bezogen ist.
Verfahren (100) gemäß einem der vorangegangenen Ansprüche, mit einem Schritt (110) des Generierens der Referenzdaten unter Verwendung vordefinierter Musterdaten, verglichener Bilddaten, zumindest einer Überwachungsinformation und/oder von Umgebungsdaten des mindestens einen Innenraums (301, 302, 303, 304).
Verfahren (100) gemäß einem der vorangegangenen Ansprüche, mit einem Schritt (130) des Ausgebens einer Warninformation und/oder einer Handlungsinformation zum Beheben der überwachungsrelevanten Situation abhängig von der Überwachungsinformation.
Vorrichtung (220), die ausgebildet ist, um alle Schritte eines Verfahrens (100) gemäß einem der vorangegangenen Ansprüche 1 durchzuführen, umzusetzen und/oder anzusteuern.
Assistenzsystem (200) für mindestens einen Innenraum (301, 302, 303, 304) eines Gebäudes (250), wobei das Assistenzsystem (200) folgende Merkmale aufweist: zumindest eine Kamera (210), die in dem mindestens einen Innenraum (301, 302, 303, 304) angeordnet ist, wobei die zumindest eine Kamera (210) ausgebildet ist, um Bilddaten aufzunehmen und bereitzustellen; und eine Vorrichtung (220) gemäß Anspruch 9, die datenübertragungsfähig mit der zumindest einen Kamera (210) verbunden ist.
Assistenzsystem (200) gemäß Anspruch 10, bei dem die Vorrichtung (220) als Teil der zumindest einen Kamera (210) oder als eine eigenständige Vorrichtung getrennt von der zumindest einen Kamera (210) ausgebildet ist.
Assistenzsystem (200) gemäß einem der Ansprüche 10 bis 11, mit einer in dem Gebäude (250) angeordneten Basisstation (230) und einem getrennt von dem Gebäude (250) angeordneten Server (240), wobei die Basisstation (230) datenübertragungsfähig mit der zumindest einen Kamera (210) verbunden ist, wobei der Server (240) datenübertragungsfähig mit der Basisstation (230) verbunden ist, wobei die Vorrichtung (220) als Teil der Basisstation (230) oder des Servers (240) ausgebildet ist.
Computerprogramm, das dazu eingerichtet ist, alle Schritte eines Verfahrens (100) nach Anspruch 1 durchzuführen.
Maschinenlesbares Speichermedium mit einem darauf gespeicherten Computerprogramm nach Anspruch 13.