-
TECHNISCHES GEBIET
-
Die vorliegende Erfindung betrifft eine Technik zur Unterstützung der Überwachung einer Person auf einem Bett.
-
STAND DER TECHNIK
-
Um einen Unfall durch Sturz aus dem Bett zu verhindern, gibt es ein System, das bei der Überwachung eines Patienten in einem Krankenhaus oder in einer Pflegeeinrichtung unterstützt. Patentschrift 1 schlägt ein System vor, dass eine Handlung zum Sich-Aufrichten oder eine Handlung zum Verlassen des Betts des Patienten unter Verwendung eines Bilds einer Kamera erkennt, die schräg über dem Bett installiert ist. Bei dieser Art von System wird die Handlung zum Sich-Aufrichten oder die Handlung zum Verlassen des Betts des Patienten anhand einer Bettregion bestimmt. Daher müssen vorab Informationen eingestellt (eingelernt) werden, die die Bettregion in dem Bild für das System definieren. Doch für ein Großkrankenhaus mit einer großen Anzahl von Betten ist die manuelle Einstellung der Bettregion eine große Last, die die Einführung und Installation des Systems behindert. Weil überdies eine Aufstellposition des Betts in einem Krankenhaus, einer Pflegeeinrichtung oder dergleichen nicht immer festgelegt, sondern manchmal verschoben ist, ist es sehr kompliziert, die Bettregion jedes Mal von Hand einzustellen, wenn das Bett verschoben wird. Aus diesem Grund schlägt Patentschrift 2 ein Verfahren zur automatischen Erkennung der Bettregion anhand des Bilds vor.
-
DOKUMENTE DES STANDS DER TECHNIK
-
PATENTSCHRIFTEN
-
- Patentschrift 1: japanische ungeprüfte Patentanmeldung mit der Veröffentlichungsnummer 2012-071003
- Patentschrift 2: japanische ungeprüfte Patentanmeldung mit der Veröffentlichungsnummer 2016-112040
-
KURZDARSTELLUNG DER ERFINDUNG
-
DURCH DIE ERFINDUNG ZU LÖSENDE PROBLEME
-
Bei dem in Patentschrift 2 vorgeschlagenen Verfahren werden gerade Kanten aus dem Bild extrahiert und eine Kombination der geraden Kanten, die als Umriss des Betts betrachtet wird, wird auf der Grundlage einer Länge von jeder geraden Kante und eines Kreuzungswinkels zwischen den geraden Kanten eingegrenzt. Bei dem Verfahren kann die genaue Erkennung für das Bild erwartet werden, in dem der Umriss des Betts klar sichtbar ist und die Anzahl gerader Kanten außer dem Umriss des Betts gering ist. Falls jedoch ein Teil des Umrisses des Betts hinter einer Bettdecke verborgen ist, kann ein Kandidat für die gerade Kante, die die Außenlinie bzw. einen Teil des Umrisses des Betts bildet, nicht extrahiert werden, und die Bettregion kann nicht genau erkannt werden. Falls eine Struktur einer Tagesdecke oder der Bettdecke eine linienförmige Textur hat oder falls sich ein Tisch oder ein medizinisches Gerät in der Umgebung um das Bett befindet, besteht die Möglichkeit, dass die Genauigkeit der Erkennung der Bettregion erheblich vermindert ist, weil viele gerade Kanten zusätzlich zum Umriss des Betts extrahiert werden.
-
Die vorliegende Erfindung wurde in Anbetracht der oben beschriebenen Umstände gemacht und es ist eine Aufgabe der vorliegenden Erfindung, eine Technik zum genauen Erkennen der Bettregion anhand des Bilds bereitzustellen.
-
MITTEL ZUM LÖSEN DES PROBLEMS
-
Um die oben genannte Aufgabe zu erfüllen, wendet die vorliegende Erfindung ein Verfahren zum Angeben der Bettregion anhand eines lokalen Bereichs nach Angabe einer ungefähren Position des Betts anhand des Bilds mittels Objekterkennung an.
-
Insbesondere ist ein erster Aspekt der vorliegenden Erfindung ein Überwachungshilfssystem, das bei der Überwachung einer Person auf einem Bett unterstützt, wobei das Überwachungshilfssystem umfasst: eine Bilderfassungseinheit, die dazu eingerichtet ist, ein Bild zu erfassen, das von einem Bildgebungsgerät aufgenommen wird; eine Regionseinstelleinheit, die dazu eingerichtet ist, mindestens eine Bestimmungsregion in dem Bild auf der Grundlage einer Bettregion einzustellen; einen Detektor, der dazu eingerichtet ist, die Person aus dem von der Bilderfassungseinheit erfassten Bild zu erkennen; eine Bestimmungseinheit, die dazu eingerichtet ist, einen Zustand der Person auf der Grundlage einer Beziehung zwischen der Bestimmungsregion und einer Position, in der die Person erkannt wird, zu bestimmen; und eine Ausgabeeinheit, die dazu eingerichtet ist, eine Benachrichtigung in Übereinstimmung mit einem Bestimmungsergebnis der Bestimmungseinheit bereitzustellen. Die Regionseinstelleinheit empfängt ein Regionseinstellungsbild von der Bilderfassungseinheit, gibt mittels Objekterkennung anhand des Regionseinstellungsbilds eine ungefähre Position des Betts an und gibt die Bettregion an, indem sie einen Umriss des Betts aus einem lokalen Bereich extrahiert, der die ungefähre Position enthält.
-
Weil bei dieser Ausgestaltung die Erkennung der Bettregion und die Einstellung der Bestimmungsregion automatisch vorgenommen werden können, ist die Arbeit der Einführung und Installation des Systems vereinfacht, und die Einstellung kann leicht geändert werden, falls das Bett oder das Bildgebungsgerät verschoben wird, wodurch die Zweckmäßigkeit des Systems verbessert wird. Das Verfahren zum Angeben der Bettregion durch Extrahieren des Umrisses des Betts aus dem lokalen Bereich nach Angabe der ungefähren Position des Betts mittels der Objekterkennung wird als ein Bettregion-Erkennungsalgorithmus angewendet, sodass eine Erkennungsgenauigkeit und eine Erfolgsquote für die Bettregion im Vergleich zu dem herkömmlichen Verfahren verbessert werden können.
-
Vorzugsweise gibt die Regionseinstelleinheit die ungefähre Position des Betts mittels der Objekterkennung unter Verwendung eines Diskriminators an, in dem maschinelles Lernen eines Bettbilds durchgeführt wird. Daher weist die Regionseinstelleinheit eine ausgezeichnete Erkennungsgenauigkeit und Robustheit auf.
-
Das Regionseinstellungsbild kann ein Bild eines Blicks von schräg oberhalb des Betts nach unten auf das gesamte Bett sein. An diesem Punkt kann der Diskriminator das gesamte Bett erkennen, und die Regionseinstelleinheit kann einen trapezförmigen Umriss aus einem lokalen Bereich erkennen, der das gesamte vom Diskriminator erkannte Bett enthält. Alternativ kann der Diskriminator eine Ecke des Betts erkennen, und die Regionseinstelleinheit kann eine von der Ecke ausgehende Strecke aus einem lokalen Bereich, der die vom Diskriminator erkannte Ecke enthält, als Außenlinie des Betts erkennen.
-
Die vorliegende Erfindung kann als ein Überwachungshilfssystem mit zumindest einem Teil der obigen Ausgestaltung und Arbeitsweise oder als eine Bettregion-Erkennungsvorrichtung in dem Überwachungshilfssystem verstanden werden. Die vorliegende Erfindung kann auch als ein Überwachungshilfsverfahren, ein Steuerverfahren für ein Überwachungshilfssystem oder ein Bettregion-Erkennungsverfahren verstanden werden, das zumindest einen Teil der obigen Verarbeitung, ein Programm, das einen Computer zur Durchführung dieser Verfahren veranlasst, oder ein computerlesbares Aufzeichnungsmedium umfasst, in dem das Programm dauerhaft aufgezeichnet ist. Die obigen Ausgestaltungen und Prozesse können miteinander kombiniert werden, sofern kein technischer Widerspruch erzeugt wird.
-
WIRKUNG DER ERFINDUNG
-
Bei der vorliegenden Erfindung kann die Bettregion anhand des Bilds genau erkannt werden.
-
Figurenliste
-
- 1 ist ein Blockschaltbild, das eine Hardwarekonfiguration und einen funktionalen Aufbau eines Überwachungshilfssystems schematisch darstellt.
- 2 ist eine Ansicht, die ein Installationsbeispiel eines Bildgebungsgeräts veranschaulicht.
- 3 ist ein Flussdiagramm, das eine Regionseinstellungsverarbeitung gemäß einer ersten Ausführungsform veranschaulicht.
- 4A bis 4D veranschaulichen Beispiele eines Bilds der Regionseinstellungsverarbeitung und einer Bestimmungsregion.
- 5 ist ein Flussdiagramm, das eine Überwachungsverarbeitung veranschaulicht.
- 6 ist ein Flussdiagramm, das eine Regionseinstellungsverarbeitung gemäß einer zweiten Ausführungsform veranschaulicht.
- 7A bis 7D veranschaulichen Beispiele eines Bilds der Regionseinstellungsverarbeitung und der Bestimmungsregion.
-
WEGE ZUR AUSFÜHRUNG DER ERFINDUNG
-
Die vorliegende Erfindung betrifft eine Technik zur Unterstützung der Überwachung einer Person auf einem Bett. Die Technik kann auf ein System angewendet werden, das automatisch Verhaltensweisen zum Verlassen des Betts oder Aufstehen der Patienten oder Pflegebedürftigen in einem Krankenhaus oder einer Pflegeeinrichtung erkennt und eine erforderliche Benachrichtigung bereitstellt, wenn ein gefährlicher Zustand erzeugt wird. Beispielsweise kann das System vorzugsweise verwendet werden, um die Überwachung von älteren Personen, Patienten mit Demenz und Kindern zu unterstützen.
-
Im Folgenden wird ein Beispiel eines bevorzugten Aspekts für die Ausführung der vorliegenden Erfindung mit Bezug auf die Zeichnungen beschrieben. Doch sind eine Ausgestaltung und eine Wirkungsweise, die bei der folgenden Ausführungsform beschrieben werden, nur Beispiele, und der Umfang der vorliegenden Erfindung ist nicht darauf beschränkt.
-
<Erste Ausführungsform>
-
(Systemkonfiguration)
-
Eine Konfiguration eines Überwachungshilfssystems gemäß einer ersten Ausführungsform der vorliegenden Erfindung wird mit Bezug auf 1 und 2 beschrieben. 1 ist ein Blockschaltbild, das eine Hardwarekonfiguration und einen funktionalen Aufbau eines Überwachungshilfssystems 1 schematisch darstellt, und 2 ist eine Ansicht, die ein Installationsbeispiel eines Bildgebungsgeräts veranschaulicht.
-
Das Überwachungshilfssystem 1 umfasst ein Bildgebungsgerät 10 und eine Informationsverarbeitungsvorrichtung 11 als hauptsächliche Hardwarekonfiguration. Das Bildgebungsgerät 10 und die Informationsverarbeitungsvorrichtung 11 sind leitungsgebunden oder drahtlos miteinander verbunden. Obwohl in 1 nur ein Bildgebungsgerät 10 dargestellt ist, kann eine Vielzahl von Bildgebungsgeräten 10 mit der Informationsverarbeitungsvorrichtung 11 verbunden sein.
-
Das Bildgebungsgerät 10 ist ein Gerät, das die Person auf dem Bett abbildet, um Bilddaten zu erfassen. Eine Kamera für monochromatisches oder farbiges sichtbares Licht, eine Infrarotkamera und dergleichen können als das Bildgebungsgerät 10 verwendet werden. In der Ausführungsform wird das mit einer Infrarot-LED-Beleuchtung 100 und einer Nahinfrarotkamera 101 aufgebaute Bildgebungsgerät 10 verwendet, um die Überwachung der Person auch nachts (auch wenn ein Raum dunkel ist) zu ermöglichen. Wie in 2 dargestellt, ist das Bildgebungsgerät 10 derart installiert, dass es von einer oberen Seite einer Kopfseite eines Betts 20 in Richtung einer Fußseite über ein gesamtes Bett 20 blickt. Das Bildgebungsgerät 10 nimmt in vorgegebenen Zeitabständen (beispielsweise 10 BpS) ein Bild auf und die Bilddaten werden von der Informationsverarbeitungsvorrichtung 11 sequenziell erfasst.
-
Die Informationsverarbeitungsvorrichtung 11 ist eine Vorrichtung mit einer Funktion, die vom Bildgebungsgerät 10 erfassten Bilddaten in Echtzeit zu analysieren, eine Handlung zum Sich-Aufrichten oder eine Handlung zum Verlassen des Betts der Person 21 auf dem Bett 20 automatisch zu erkennen und erforderlichenfalls eine Benachrichtigung bereitzustellen. Die Informationsverarbeitungsvorrichtung 11 umfasst eine Bilderfassungseinheit 110, einen Detektor 111, eine Bestimmungseinheit 112, eine Ausgabeeinheit 113, eine Regionseinstelleinheit 114 und einen Datenspeicher 115 als eine spezifische Funktion. Die Informationsverarbeitungsvorrichtung 11 der Ausführungsform umfasst eine CPU (Prozessor), einen Arbeitsspeicher, einen Datenspeicher (wie ein HDD und ein SSD), ein Eingabegerät (wie eine Tastatur, eine Maus und ein Touch-Panel), ein Ausgabegerät (wie ein Display und einen Lautsprecher) und eine Kommunikationsschnittstelle. Die CPU führt ein Programm aus, das im Datenspeicher oder im Arbeitsspeicher gespeichert ist, um jede Funktion der Informationsverarbeitungsvorrichtung 11 zu implementieren. Doch ist die Konfiguration der Informationsverarbeitungsvorrichtung 11 nicht auf dieses Beispiel beschränkt. Beispielsweise ist es möglich, dass Verteiltes Rechnen von einer Vielzahl von Computern ausgeführt wird, dass ein Teil der obigen Funktionen von einem Cloud-Server ausgeführt wird oder dass ein Teil der obigen Funktionen von einer Schaltung wie einem ASIC oder einem FPGA ausgeführt wird.
-
Die Bilderfassungseinheit 110 ist eine Funktion zum Erfassen des vom Bildgebungsgerät 10 aufgenommenen Bilds. Die von der Bilderfassungseinheit 110 eingehenden Bilddaten werden vorübergehend in einem Arbeitsspeicher oder einem Datenspeicher gespeichert und bei der Verarbeitung des Detektors 111 oder der Bestimmungseinheit 112 verwendet.
-
Der Detektor 111 ist eine Funktion zum Analysieren des von der Bilderfassungseinheit 110 erfassten Bilds, um eine vorgegebene Region (wie einen Kopf, ein Gesicht und einen Oberkörper) der überwachten Person 21 anhand des Bilds zu erkennen. Jedes Verfahren kann als Verfahren zum Erkennen einer vorgegebenen Region anhand des Bilds angewendet werden. Beispielsweise kann vorzugsweise ein Objekterkennungsalgorithmus verwendet werden, der eine Technik, die auf einem Diskriminator basiert, in dem eine klassische Haar-ähnliche Merkmalsmenge oder eine HOG-Merkmalsmenge verwendet wird, oder eine Technik, bei der ein modernes Faster R-CNN verwendet wird, verwendet. Der Detektor 111 der Ausführungsform erkennt einen Kopf 22 (einen Teil oberhalb eines Halses) der Person 21 mithilfe des Diskriminators, in dem die Haar-ähnliche Merkmalsmenge verwendet wird, und gibt eine Position (x, y) und eine Größe (die Anzahl vertikaler und horizontaler Bildpunkte) des Kopfs 22 als Erkennungsergebnis aus. Beispielsweise wird die Position (x, y) des Kopfs 22 durch eine Bildkoordinate eines Mittelpunkts eines rechteckigen Rahmens dargestellt, der den Kopf 22 umgibt. Der Detektor 111 der Ausführungsform gibt das Erkennungsergebnis bezogen auf Position und Größe eines Bildkoordinatensystems aus. Alternativ kann der Detektor 111 das Bildkoordinatensystem in ein räumliches Koordinatensystem umwandeln und eine dreidimensionale Position oder eine dreidimensionale Größe in dem räumlichen Koordinatensystem der Person 21 ausgeben.
-
Die Bestimmungseinheit 112 ist eine Funktion, die eine Sich-Aufrichten-Bestimmung oder eine Das-Bett-Verlassen-Bestimmung der Person 21 unter Verwendung eines Erkennungsergebnisses des Detektors 111 vornimmt. Insbesondere bestimmt die Bestimmungseinheit 112 auf der Grundlage der Erfassungsposition des Kopfs 22, ob sich die Person 21 aufrichtet oder ob die Person das Bett verlässt. Ein Bestimmungsalgorithmus der Bestimmungseinheit 112 wird später beschrieben.
-
Die Ausgabeeinheit 113 ist eine Funktion zum Bereitstellen einer erforderlichen Benachrichtigung, wenn die Bestimmungseinheit 112 die Handlung zum Sich-Aufrichten oder die Handlung zum Verlassen des Betts der Person 21 erkennt. Die Ausgabeeinheit 113 wechselt die Notwendigkeit (sie stellt beispielsweise nur im Falle eines gefährlichen Zustands eine Benachrichtigung bereit) der Benachrichtigung, einen Benachrichtigungsinhalt (beispielsweise einen Inhalt einer Meldung), Benachrichtigungsmittel (beispielsweise eine Stimme, eine Mail, einen Signaltongeber oder eine Signallampe), ein Benachrichtigungsziel (beispielsweise eine Pflegekraft oder ein Arzt), eine Benachrichtigungsfrequenz und dergleichen entsprechend dem Grad der Gefährlichkeit der Handlung der Person 21.
-
Die Regionseinstelleinheit 114 ist eine Funktion zum Einstellen einer Bestimmungsregion auf das vom Bildgebungsgerät 10 aufgenommene Bild. Um den Zustand der Person 21 auf dem Bett 20 zu überwachen, stellt das Überwachungshilfssystem 1 die Bestimmungsregion auf der Grundlage der Region des Betts 20 in dem Bild ein. Das Überwachungshilfssystem 1 der ersten Ausführungsform hat eine Funktion zum automatischen Durchführen der Erkennung der Bettregion und der Einstellung der Bestimmungsregion mithilfe der Regionseinstelleinheit 114, wodurch die Zweckmäßigkeit für einen Benutzer verbessert ist. Der spezifische Algorithmus wird später beschrieben.
-
Der Datenspeicher 115 ist eine Funktion zum Speichern verschiedener Daten, die bei der Verarbeitung vom Überwachungshilfssystem 1 verwendet werden. Im Datenspeicher 115 ist ein Speicherbereich vorgesehen, um zumindest verschiedene Parameter (wie einen Grenzwert), die bei der Sich-Aufrichten-Bestimmung oder der Das-Bett-Verlassen-Bestimmung verwendet werden, die Einstellinformationen über die Bestimmungsregion, Bilddaten einer Vielzahl von früheren Einzelbildern oder ein Erkennungsergebnis (das zur Berechnung der Bewegungsgeschwindigkeit oder der Bewegungsrichtung verwendet wird) zu speichern.
-
(Erkennung einer Bettregion und Einstellung einer Bestimmungsregion)
-
Beispiele der Verarbeitung zum Erkennen der Bettregion und der Verarbeitung zum Einstellen der Bestimmungsregion werden mit Bezug auf 3 sowie 4A bis 4D beschrieben. 3 ist ein Flussdiagramm, das die Regionseinstellungsverarbeitung der ersten Ausführungsform veranschaulicht, die von der Informationsverarbeitungsvorrichtung 11 durchgeführt wird, und 4A bis 4D sind Beispiele des Bilds und der Bestimmungsregion. Diese Verarbeitung wird durchgeführt, wenn die Bestimmungsregion nicht eingestellt ist (beispielsweise zum Zeitpunkt der Installation des Überwachungshilfssystems 1) oder wenn die Bestimmungsregion an die Verschiebung des Betts oder des Bildgebungsgeräts 10 angepasst werden muss.
-
In Schritt S30 empfängt die Bilderfassungseinheit 110 ein Regionseinstellungsbild vom Bildgebungsgerät 10 (4A). Vorzugsweise ist das Regionseinstellungsbild ein Bild, in dem sich keine Person oder kein Objekt auf dem Bett 20 befindet, oder ein Bild, in dem eine gesamte Matratze des Betts 20 freiliegt, doch muss das Regionseinstellungsbild nicht zwingend ein Bild in einem solchen idealen Zustand sein. Ein Bild, das den gleichen Zustand aufweist wie ein mittels der Überwachungsbestimmungsverarbeitung (die später zu beschreiben ist) erfasstes Bild, kann als das Regionseinstellungsbild verwendet werden.
-
In Schritt S31 erkennt die Regionseinstelleinheit 114 das Bett anhand des Regionseinstellungsbilds. Insbesondere wird, wie in 4B dargestellt, die Verarbeitung zum Bewerten einer Bett-Ähnlichkeit eines Teilbilds in einem Erkennungsfenster 40 wiederholt, während die Position und die Größe des Erkennungsfensters 40 verändert werden, wodurch das Bett 20 mit einer beliebigen Größe und in einer beliebigen Position in dem Regionseinstellungsbild erkannt wird. Die Verarbeitung in Schritt S31 entspricht einer Verarbeitung zum Angeben einer ungefähren Position des Betts 20 anhand des Regionseinstellungsbilds.
-
Obwohl ein beliebiger Objekterkennungsalgorithmus zum Erkennen des Betts verwendet werden kann, wird unter dem Gesichtspunkt der Erkennungsgenauigkeit und Robustheit vorzugsweise ein Algorithmus verwendet, der einen Diskriminator verwendet, in dem maschinelles Lernen des Bilds des Betts durchgeführt wird. Beispielsweise kann vorzugsweise ein Diskriminator, in dem eine klassische Haar-ähnliche Merkmalsmenge oder eine HOG-Merkmalsmenge verwendet wird, oder ein Diskriminator, in dem durch ein modernes Faster R-CNN gekennzeichnetes Deep Learning verwendet wird, verwendet werden.
-
Die Verarbeitung schreitet zu Schritt S33 weiter, wenn das Bett in Schritt S31 erfolgreich erkannt wird (JA in Schritt S32), und die Verarbeitung wird unterbrochen, wenn die Erkennung des Betts fehlschlägt (NEIN in Schritt S32).
-
In Schritt S33 führt die Regionseinstelleinheit 114 eine Kantenextraktionsverarbeitung an einem lokalen Bereich 41 durch, der das gesamte Bett 20 enthält. Ein bekanntes Kantenextraktionsverfahren wie ein Differenzfilter oder ein Laplace-Filter kann als die Kantenextraktion verwendet werden. Anschließend erkennt die Regionseinstelleinheit 114 in Schritt S34 den Umriss des trapezförmigen Betts 20 anhand des Kantenextraktionsbilds. Ein bekannter Algorithmus wie eine Hough-Transformation kann als die Umrisserkennung verwendet werden. Wie in 4C dargestellt, wird eine in Schritt S34 erkannte, von dem trapezförmigen Umriss (durch eine gestrichelte Linie angegeben) umgebene Region in Schritt S34 als Bettregion 42 eingestellt.
-
In Schritt S35 stellt die Regionseinstelleinheit 114 auf der Grundlage der Bettregion 42 Bestimmungsregionen A1 bis A3 ein, wie in 4D dargestellt ist. Die Bestimmungsregion A1 ist eine Region, die auf die Kopfseite des Betts 20 eingestellt ist, und entspricht einem Bereich, in dem sich der Kopf 22 der Person 21 zu einer Liegezeit (wenn die Person 21 im Bett 20 liegt) befinden kann (im Folgenden als „Liegeregion A1“ bezeichnet). Die Bestimmungsregion A2 ist eine Region, die auf die Fußseite des Betts 20 eingestellt ist, und entspricht einem Bereich, in dem sich der Kopf 22 der Person 21 zu einer Aufrichtzeit (wenn die Person 21 eine obere Körperhälfte aufrichtet) befinden kann (im Folgenden als Aufrichtregion A2" bezeichnet). In der ersten Ausführungsform werden Positionen und Größen der Regionen A1, A2 relativ zur Bettregion 42 vorab bestimmt und die Bereiche der Regionen A1, A2 werden durch Berechnung bestimmt, wenn die Bettregion 42 angegeben wird. Die Bestimmungsregion A3 ist eine Region außer den Regionen A1, A2. Wenn die Person 21 das Bett verlässt (wenn die Person 21 vom Bett entfernt ist), befindet sich der Kopf 22 der Person 21 in der Region A3 (im Folgenden als „Aufstehregion A3“ bezeichnet).
-
In Schritt S36 speichert die Regionseinstelleinheit 114 die Informationen über die Bettregion 42 (wie die Koordinaten und Umrisse der vier Ecken der Bettregion 42) und die Informationen über die Regionen A1 bis A3 (wie die Koordinaten eines Scheitelpunkts jeder Region) im Datenspeicher 115. Dann wird die Einstellverarbeitung beendet.
-
(Überwachungsverarbeitung)
-
Ein Beispiel der Überwachungsverarbeitung wird mit Bezug auf 5 beschrieben. 5 ist ein Flussdiagramm, das die von der Informationsverarbeitungsvorrichtung 11 durchgeführte Überwachungsverarbeitung veranschaulicht. Das Verarbeitungsflussdiagramm in 5 wird jedes Mal ausgeführt, wenn ein Einzelbild vom Bildgebungsgerät 10 aufgenommen wird.
-
In Schritt S50 erfasst die Bilderfassungseinheit 110 ein Bild eines Einzelbilds von dem Bildgebungsgerät 10. Das erfasste Bild wird vorübergehend im Datenspeicher 115 gespeichert. Anschließend macht der Detektor 111 den Kopf der Person anhand des in Schritt S50 erfassten Bilds ausfindig (Schritt S51). Informationen über die erkannte Kopfposition (xy-Koordinate) werden im Datenspeicher 115 gespeichert und zugleich mit Zeitinformationen über das Bild oder einer Einzelbildnummer des Bilds korreliert.
-
Die Bestimmungseinheit 112 bestimmt, zu welcher der Regionen A1 bis A3 die erkannte Position des Kopfs gehört und stuft den Zustand der Person ein (Schritt S52). An diesem Punkt wird der Fall, dass der Kopf in der Liegeregion A1 detektiert wird, als „Liegezustand“ bezeichnet, wird der Fall, dass der Kopf in der Aufrichtregion A2 detektiert wird, als „Aufrichtzustand“ bezeichnet und wird der Fall, dass der Kopf in der Aufstehregion A3 detektiert wird, als „Aufstehzustand“ bezeichnet. Die Informationen über den Zustand der Person werden im Datenspeicher 115 gespeichert und zugleich mit Zeitinformationen oder einer Einzelbildnummer des Bilds korreliert.
-
Anschließend vergleicht die Bestimmungseinheit 112 den in Schritt S52 bestimmten Zustand der Person mit dem Zustand der Person im vorherigen Einzelbild, das im Datenspeicher 115 gespeichert ist, und prüft, ob sich der Zustand geändert hat (Schritt S53). Wenn ein Wechsel vom Liegezustand zum Aufrichtzustand oder ein Wechsel vom Aufrichtzustand zum Aufstehzustand festgestellt wird, stellt die Ausgabeeinheit 113 eine Benachrichtigung bereit (Schritt S54). Dann kehrt die Verarbeitung wieder zu Schritt S50 zurück, um die Überwachung fortzusetzen.
-
Weil bei dem oben beschriebenen System der ersten Ausführungsform die Erkennung der Bettregion und die Einstellung der Bestimmungsregion automatisch vorgenommen werden können, ist die Arbeit der Einführung und Installation des Systems vereinfacht, und die Einstellung kann leicht geändert werden, falls das Bett oder das Bildgebungsgerät verschoben wird, wodurch die Zweckmäßigkeit des Systems verbessert wird. Als ein Verfahren zum Erkennen des Bettbereichs nach Angabe der ungefähren Position des Betts anhand des Bilds mittels Objekterkennung wird überdies der Bettbereich (Bettumriss) anhand des lokalen Bereichs angegeben. Im Vergleich können die Genauigkeit der Erkennung des Bettbereichs und die Erfolgsquote verbessert werden. Das Verfahren zum Angeben der Bettregion (des Umrisses des Betts) anhand des lokalen Bereichs nach Angabe der ungefähren Position des Betts anhand des Bilds mittels der Objekterkennung wird als ein Bettregion-Erkennungsalgorithmus angewendet, sodass eine Erkennungsgenauigkeit und eine Erfolgsquote für die Bettregion im Vergleich zu dem herkömmlichen Verfahren verbessert werden können.
-
<Zweite Ausführungsform>
-
Nachfolgend wird eine zweite Ausführungsform der vorliegenden Erfindung beschrieben. Das gesamte Bett wird bei der Bettregion-Erkennung der ersten Ausführungsform erkannt. Demgegenüber wird in der zweiten Ausführungsform eine Ecke des Betts erkannt. Die sonstigen Ausgestaltungen und Teile der Verarbeitung gleichen denen der ersten Ausführungsform. Die Ausgestaltung und die Verarbeitung, die der zweiten Ausführungsform eigentümlich sind, werden nachstehend beschrieben.
-
Beispiele der Verarbeitung zum Erkennen der Bettregion und der Verarbeitung zum Einstellen der Bestimmungsregion werden mit Bezug auf 6 sowie 7A bis 7D beschrieben. 6 ist ein Flussdiagramm, das die Regionseinstellungsverarbeitung der zweiten Ausführungsform veranschaulicht, die von der Informationsverarbeitungsvorrichtung 11 durchgeführt wird, und 7A bis 7D sind Beispiele des Bilds und der Bestimmungsregion. Diese Verarbeitung wird durchgeführt, wenn die Bestimmungsregion nicht eingestellt ist (beispielsweise zum Zeitpunkt der Installation des Überwachungshilfssystems 1) oder wenn die Bestimmungsregion an die Verschiebung des Betts oder des Bildgebungsgeräts 10 angepasst werden muss.
-
In Schritt S60 empfängt die Bilderfassungseinheit 110 das Regionseinstellungsbild vom Bildgebungsgerät 10. Wie in 7A dargestellt, kann das Regionseinstellungsbild gleich dem sein, das in der ersten Ausführungsform verwendet wird.
-
In Schritt S61 erkennt die Regionseinstelleinheit 114 eine Ecke des Betts anhand des Regionseinstellungsbilds. Insbesondere wird, wie in 7B dargestellt, die Verarbeitung zum Bewerten der Bett-Ähnlichkeit des Teilbilds in einem Erkennungsfenster 70 wiederholt, während die Position und die Größe des Erkennungsfensters 70 verändert werden, wodurch eine Ecke 71 des Betts 20 mit einer beliebigen Größe und in einer beliebigen Position in dem Regionseinstellungsbild erkannt wird. Als ein Verfahren zum Erkennen einer Ecke kann dieselbe Technik wie das bei der ersten Ausführungsform beschriebene Betterkennungsverfahren auf das Verfahren zum Erkennen einer Ecke angewendet werden (während jedoch in der ersten Ausführungsform das für das maschinelle Lernen verwendete Bild das Bild des gesamten Betts ist, wird in der zweiten Ausführungsform das Bild der Ecke des Betts verwendet). Wie in 7B dargestellt, werden in der zweiten Ausführungsform die rechte und die linke Ecke 71, 72 auf der Fußseite des Betts 20 mithilfe von zwei Arten von Diskriminatoren ausfindig gemacht. Die Verarbeitung in Schritt S61 entspricht einer Verarbeitung zum Angeben einer ungefähren Position des Betts 20 anhand des Regionseinstellungsbilds.
-
Die Verarbeitung schreitet zu Schritt S63 weiter, wenn die zwei Ecken 71, 72 in Schritt S61 erfolgreich erkannt werden (JA in Schritt S62), und die Verarbeitung wird unterbrochen, wenn die Erkennung der Ecken fehlschlägt (NEIN in Schritt S62).
-
In Schritt S63 stellt die Regionseinstelleinheit 114 lokale Bereiche 73, 74 ein, die die Ecken 71, 72 enthalten, und führt die Kantenextraktionsverarbeitung an den lokalen Bereichen 73, 74 durch. Ein bekanntes Kantenextraktionsverfahren wie ein Differenzfilter oder ein Laplace-Filter kann als die Kantenextraktion verwendet werden. Anschließend macht die Regionseinstelleinheit 114 in Schritt S64 ausgehend von den Ecken 71, 72 nach unten verlaufende Strecken 75, 76 (durch gestrichelte Linien angegeben) anhand des Kantenextraktionsbilds ausfindig. Ein bekannter Algorithmus wie eine Hough-Transformation kann als die Streckenerkennung verwendet werden. Eine Region, die von einem trapezförmigen Umriss umgeben wird, der durch die zwei Ecken 71, 72 und die zwei Strecken 75, 76 definiert wird, wird als Bettregion 77 eingestellt. Die anschließenden Teile der Verarbeitung (Schritte S65, S66) gleichen den Schritten S35, S36 der ersten Ausführungsform, sodass die Beschreibung weggelassen wird.
-
Bei dem System der oben beschriebenen zweiten Ausführungsform können auch die gleiche Funktion und die gleiche Wirkung wie die der ersten Ausführungsform erhalten werden.
-
<Sonstiges>
-
Die Beschreibungen der Ausführungsformen veranschaulichen nur die vorliegende Erfindung. Die vorliegende Erfindung ist nicht auf die vorstehenden bestimmten Aspekte beschränkt, sondern es können vielfältige Abwandlungen vorgenommen werden, ohne vom Umfang ihrer technischen Idee abzuweichen. Beispielsweise wird in der vorstehenden Ausführungsform das gesamte Bett oder die Ecke erkannt, doch kann der Umriss des Betts durch Erkennen anderer Merkmale des Betts (beispielsweise des seitlichen Endes des Betts, des Endes auf der Fußseite oder der Kopfseite) erhalten werden. Die Position kann angegeben werden. Eine Anzahl und eine Form der Bestimmungsregionen können nach Belieben bestimmt werden. Obwohl der Kopf in den Ausführungsformen das Erkennungsziel ist, kann außer dem Kopf eine Region (wie ein Gesicht, ein Teil des Gesichts (Organ im Gesicht) und ein Oberkörper) das Erkennungsziel sein.
-
Bezugszeichenliste
-
- 1
- Überwachungshilfssystem
- 10
- Bildgebungsgerät
- 11
- Informationsverarbeitungsvorrichtung
- 110
- Bilderfassungseinheit
- 111
- Detektor
- 112
- Bestimmungseinheit
- 113
- Ausgabeeinheit
- 114
- Regionseinstelleinheit
- 115
- Datenspeicher
- 100
- Beleuchtung
- 101
- Nahinfrarotkamera
- 20
- Bett
- 21
- Person
- 22
- Kopf
- 40
- Erkennungsfenster
- 41
- lokale Region
- 42
- Bettregion
- A1
- Liegeregion
- A2
- Aufrichtregion
- A3
- Aufstehregion
- 70
- Erkennungsfenster
- 71, 72
- Ecke
- 73, 74
- lokale Region
- 75, 76
- Strecke
- 77
- Bettregion
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- JP 2012071003 [0002]
- JP 2016112040 [0002]
