DE102022104499A1 - Synchronisierung von Bewegungen eines Serviceroboters mit denen einer Person - Google Patents

Synchronisierung von Bewegungen eines Serviceroboters mit denen einer Person Download PDF

Info

Publication number
DE102022104499A1
DE102022104499A1 DE102022104499.8A DE102022104499A DE102022104499A1 DE 102022104499 A1 DE102022104499 A1 DE 102022104499A1 DE 102022104499 A DE102022104499 A DE 102022104499A DE 102022104499 A1 DE102022104499 A1 DE 102022104499A1
Authority
DE
Germany
Prior art keywords
person
movements
frequency
service robot
stylized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022104499.8A
Other languages
English (en)
Inventor
Christian STERNITZKE
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tediro GmbH
Original Assignee
Tediro GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tediro GmbH filed Critical Tediro GmbH
Publication of DE102022104499A1 publication Critical patent/DE102022104499A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112—Gait analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/486—Bio-feedback
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Dentistry (AREA)
  • Pulmonology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Vascular Medicine (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

Die Erfindung betrifft ein System und Verfahren zur Erfassung von Bewegungen und/oder Vitalparametern einer Person und Synchronisation dieser mit den Bewegungen oder Signalisierungen eines Serviceroboters. Hierzu werden Vitalparameter und/oder Bewegungen der Person durch den Serviceroboter erfasst und hinsichtlich ihrer Frequenz ausgewertet. Basierend auf der ermittelten Frequenz werden Bewegungen und Signalisierungsparamater des Serviceroboter angepasst, was auch Verkörperungselemente des Serviceroboters umfassen kann.

Description

  • Gebiet der Erfindung
  • Die Erfindung umfasst die mobile Servicerobotik, Medizintechnik und hier insbesondere die Vitaldatenerfassung (vornehmlich berührungslos) sowie Mensch-Technik-Interaktion.
  • Hintergrund der Erfindung
  • Immer mehr Aufgaben werden heutzutage durch technische Systeme übernommen. Dazu zählen auch mobile Serviceroboter. Diese können mit Personen trainieren, ohne dass notwendigerweise eine Aufsichtsperson dabei ist. Wenn solche mobilen Serviceroboter bspw. für Übungen mit Personen eingesetzt werden, die aufgrund von Herzproblemen nur begrenzt belastbar sind, die psychische Probleme haben, unter hoher Nervosität leiden etc., kann dies dazu führen, dass die Personen bei den Übungen stark belastet werden, mental durch hohen Stress oder physisch in eine Überlastung hinein bis hin zum Kollabieren. Die erfinderische Aufgabe ist es, einen Serviceroboter so auszustatten, dass er, entweder in Kombination mit externer Sensorik an der zu überwachenden Person, oder aber - bevorzugt mit eigener Sensorik zur berührungslosen Erfassung von Daten - eine Person erstens so überwacht, dass für Stress oder Überlastung relevante Parameter idealerweise fortlaufend überwacht werden können und zweitens eine Intervention durch den Serviceroboter derart stattfindet, dass die überwachte Person aus dem Bereich hoher Belastung gebracht wird. Damit geht es um die Reduktion des Verletzungsrisikos der Person. Der Person ist bspw. die Problematik der eigenen Situation gar nicht bewusst, sie kann sich also bspw. nicht bewusst artikulieren. Es geht demnach um technische Mittel, um eine Mensch-Technik-Interaktion sicherer zu machen, indem eine Person sensorisch erfasst wird, die erfassten Daten ausgewertet werden und sich in Systemzustände des Roboters überführt werden, die eine risikoreduzierende Mensch-Technik-Interaktion ermöglichen.
  • Der in diesem Dokument beschriebener Serviceroboter adressiert diese Problematik, indem der Serviceroboter bspw. Diagnosen und/oder Übungen übernimmt oder einfach nur mit Personen interagiert. Der Serviceroboter kann, in einem Aspekt, Bewegungen einer Person erfassen und auswerten und/oder Vitalparameter einer Person. Dazu zählen bspw. Blutdruck, Herzfrequenz, Atemfrequenz und/oder weitere kardiovaskuläre Parameter einer Person. Derartige Informationen können, abgesehen von unmittelbar diagnostischen und/ oder Übungszwecken, auch zur Ansteuerung eigener Hard- und Softwarekomponenten nutzen, um bspw. auf die Person einzuwirken oder mit ihr direkt oder indirekt zu kommunizieren. Infolge dessen kann der Serviceroboter bspw. seine Geschwindigkeit reduzieren, um die Belastung der Person zu reduzieren. Der Serviceroboter kann, alternativ oder ergänzend, auch Signalisierungen in ihrer Frequenz anpassen, bspw. eine oszillierende Leuchte oder ein anderes Verkörperungselement, und zwar derart, dass die Oszillationsfrequenz auf eine Frequenz eingestellt wird, die bspw. unterhalb der Atmungsfrequenz der erfassten Person liegt. Da Personen dazu tendieren, ihr Verhalten an andere Personen anzupassen, vornehmlich indirekt, kann das dazu führen, dass bspw. die Atmungsfrequenz der Person reduziert wird oder nicht weiter ansteigt. Damit kann bspw. die Belastung der Person reduziert werden.
  • Stand der Technik
  • Dem Fachmann sind verschiedenartige Serviceroboter im Gesundheits- bzw. Geriatriebereich bekannt. Bei CN106671105 handelt es sich um einen mobilen Serviceroboter zur Betreuung älterer Menschen. Der Serviceroboter überwacht durch Sensorik Parameter des Körpers wie die Temperatur, aber auch die Mimik. Der Serviceroboter erkennt auch, ob der Mensch gefallen ist und kann über ein Netzwerk entsprechend Hilfe alarmieren.
  • Ähnlich gelagert sind CN104889994 und CN204772554 , in denen ein Serviceroboter aus dem Medizinbereich die Herzfrequenz erkennt, Patienten mit Sauerstoff versorgt und dabei über eine Spracherkennung und über ein Multimedia-Modul für Entertainmentzwecke verfügt. Die Sauerstoff-Ermittlung im Blut erfolgt auch in CN105082149 . CN105078445 bezieht sich auf einen Serviceroboter, der es ermöglicht, insbesondere bei älteren Menschen ein Elektrokardiogramm aufzuzeichnen und den Sauerstoffgehalt im Blut zu messen. Ähnlich angesiedelt ist CN105078450 mit einer Elektroenzephalogramm-Messung.
  • Einige der Gesundheitsroboter beziehen sich explizit auf die Durchführung von Übungen mit Patienten oder auch Tests. In CN108053889 wird relativ abstrakt ein System beschrieben, das basierend auf abgespeicherten Informationen Übungen mit einem Patienten durchführt. CN108039193 beschreibt ein System zur automatischen Generierung von Gesundheitsreports, das in einem Roboter eingesetzt wird. Das Erfassen von Bewegungen/Fitnessübungen mithilfe eines Roboters, das Aufzeichnen und Abspeichern der Daten derselben zu Analysezwecken und die Übermittlung an externe Systeme werden in CN107544266 beschrieben. Gleichzeitig ist dieser Roboter in der Lage, die Einnahme von Medikamenten über verschiedene Sensoren zu überwachen.
  • CN106709254 beschreibt einen Roboter zur medizinischen Diagnose eines Patienten, der zugleich, basierend auf der Diagnose, auch einen Plan zur Behandlung erstellt. Hierzu wertet der Roboter Sprach- und Bildinformationen aus und vergleicht diese mit in Speichern hinterlegten Informationen. Hierbei kommt ein neuronales Netzwerk zum Einsatz.
  • In CN106407715 wird ein Serviceroboter beschrieben, der mittels Sprachverarbeitung und Bilderkennung die Anamnese eines Patienten durchführt. Neben dem Abfragen über Sprachein- und Sprachausgabevorrichtungen über ein Touchpad wird auch ein Foto der Zunge, das von einer Kamera des Roboters aufgenommen wird, für die Anamnese herangezogen.
  • CN105078449 beschreibt einen Serviceroboter mit einem Tablet-Computer als Kommunikationsvorrichtung, über das u.a. ein kognitives Funktionstraining bzw. ein kognitiv-psychologischer Test stattfindet, um Alzheimer in Patienten zu entdecken. Das Tablet zeichnet hierzu ein nach einem bestimmten Prozess ablaufendes Telefonat zwischen dem Patienten und einem Kind auf und leitet aus dem Gesprächsverlauf ab, ob der Patient unter Alzheimer leidet.
  • Der Serviceroboter ist derart konfiguriert, dass der Serviceroboter mittels seiner Sensorik weitere Parameter erheben kann, darunter den Blutdruck auf kontaktlosem Weg, bspw. mittels einer Kamera. Der Stand der Technik zur Ermittlung des Blutdrucks über eine kamerabasierte Auswertung befindet sich zumeist im Forschungsstadium: Zaunseder et at al. (2018) gibt einen Überblick vor allem über solche Verfahren, die eine farbliche Auswertung des Blutflusses vornehmen. Der Übersichtsartikel von Rouast et al. (2018) geht noch etwas darüber hinaus. Sich konkret mit Auswertungsalgorithmen zur Ermittlung des Blutdrucks auf Basis verfügbarer Signaldaten beschäftigt bspw. Karylyak et. al (2013) oder Wang et al. (2014), während sich McDuff et al. (2014) bspw. der Ermittlung der Zeitpunkte des systolischen und diastolischen Drucks widmet, während Bai et al. (2018) bspw. die Wirksamkeit eines neuen Signalfilters prüft. Generelle Ansätze zur Ermittlung des Blutdrucks aus erfassten Messwerten finden sich bspw. in Parati et al. (1995). Liu et al. (2018) beschäftigen sich mit konkreten Implementierungen der farblichen Auswertung und vergleichen auch verschiedene Subregionen des Gesichts, ähnlich wie bspw. Verkruysse et al. (2008), während Lee et al. (2019) eine konkrete Implementierung auf Basis von Bewegungen des Gesichts beschreibt. Unakafov (2018) dagegen vergleicht verschiedene Verfahren auf Basis eines frei verfügbaren Datensatzes. Auf dem Weg zur praktischen Anwendung befindet sich bspw. der Ansatz von Pasquadibisceglie et al. (2018), der ein Verfahren der farblichen Auswertung in einen Spiegel integriert. Dagegen nutzt Luo et al. (2019) ein Smartphone für die Aufzeichnung der Farbdaten. Konkreter auf dem Weg zur Umsetzung befindet sich der Ansatz unter Aufzeichnung von Farbdaten von Wei et al. (2018), der bereits den Charakter einer klinischen Studie vorweist. Anders gelagert dagegen ist der Ansatz von Ghijssen et al. (2018). Hier wird mittels eines Lasers Licht durch einen Finger hindurch gesendet und auf der gegenüberliegenden Seite durch einen Sensor detektiert, wobei das ausgesendete Licht Speckle-Muster vorweist, die es einerseits erlauben, den rhythmischen vaskulären Blutfluss zu detektieren und zudem, wie bei den zuvor beschriebenen Ansätzen, die rhythmische vaskuläre Ausdehnung der Gefäße zu erfassen.
  • Quellen:
  • Zaunseder et al. Cardiovascular assessment by imaging photoplethysmography - a review. Biomed. Eng.-Biomed. Tech. 2018; 63(5): 617-634, DOI: 0.1515/bmt-2017-01.
  • Kurylyak et al. Blood Pressure Estimation from a PPG Signal, 2013 IEEE International Instrumentation and Measurement Technology Conference (I2MTC). DOI: 10.1109/I2MTC.2013.6555424.
  • McDuff et al. Remote Detection of Photoplethysmographic Systolic and Diastolic Peaks Using a Digital Camera. IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING, VOL. 61, NO. 12, DECEMBER 2014, DOI: 10.1109/TBME.2014.2340991.
  • Bai et al. Real-Time Robust Noncontact Heart Rate Monitoring With a Camera, IEEE Access VOLUME 6, 2018. DOI: 10.1109/ACCESS.2018.2837086.
  • Pasquadibisceglie et al. A personal healthcare system for contact-less estimation of cardiovascular parameters. 2018 AEIT International Annual Conference. DOI: 10.23919/AEIT.2018.8577458.
  • Wang et al. Cuff-Free Blood Pressure Estimation Using Pulse Transit Time and Heart Rate. 2014 12th International Conference on Signal Processing (ICSP). DOI: 10.1109/ICOSP.2014.7014980.
  • Luo et al. Smartphone-Based Blood Pressure Measurement Using Transdermal Optical Imaging Technology. Circular Cardiovascular Imaging. 2019;12:e008857. DOI: 10.1161/CIRCIMAGING. 119.008857.
  • Wei et al. Transdermal Optical Imaging Reveal Basal Stress via Heart Rate Variability Analysis: A Novel Methodology Comparable to Electrocardiography. Frontiers in Psychology 9:98. DOI: 10.3389/fpsyg.2018.00098.
  • Parati et al. Spectral Analysis of Blood Pressure and Heart Rate Variability in Evaluating Cardiovascular Regulation. Hypertension. 1995;25:1276-1286. DOI: 10.1161/01.HYP.25.6.1276.
  • Rouast et al. Remote heart rate measurement using low-cost RGB face video: a technical literature review. Front. Comput. Sci., 2018, 12(5): 858-872. DOI: 10.1007/s11704-016-6243-6.
  • Lee et al. Vision-Based Measurement of Heart Rate from Ballistocardiographic Head Movements Using Unsupervised Clustering. Sensors 2019, 19, 3263. DOI: 10.3390/s19153263.
  • Liu et al., Transdermal optical imaging revealed different spatiotemporal patterns of facial cardiovascular activities. Scientific Reports, (2018) 8:10588. DOI: 10.1038/s41598-018-28804-0.
  • Unakafov. Pulse rate estimation using imaging photoplethysmography: generic framework and comparison of methods on a publicly available dataset. Biomed. Phys. Eng. Express 4 (2018) 045001. DOI: 10.1088/2057-1976/aabd09.
  • Verkruysse et al. Remote plethysmographic imaging using ambient light. 22 December 2008 / Vol. 16, No. 26 / OPTICS EXPRESS 21434. DOI: 10.1364/OE.16.021434.
  • Ghijssen et al. Biomedical Optics Express Vol. 9, Issue 8, pp. 3937-3952 (2018). DOI: 10.1364/BOE.9.003937.
  • Die erfindungsgemäße Lösung zum risikoreduzierenden Mensch-Technik-Interaktion zielt darauf ab, insbesondere mittels Vitaldatenerfassung (darunter Atem- und Herzdaten) den Zustand einer Person zu ermitteln und den Serviceroboter angepasst zu steuern (bspw. Geschwindigkeitsreduktionen einzuleiten oder bestimmte Positionen anzusteuern), andererseits durch Anpassung der Frequenz von Signalen den Zustand der Person zu beeinflussen, um so das Risiko der Person zu reduzieren.
  • So ist bspw. auf dem Serviceroboter ein computer-implementiertes Verfahren zur Erfassung von Vitalparametern einer Person hinterlegt. Dieses umfasst die Erfassung und das Tracking der Person, optional die Erfassung und das Tracking einer Körperregion der Person, auf bzw. über die die Vitalparameter erhoben werden, die Erfassung der Vitalparameter, den Vergleich der erfassten Vitalparametern mit mindestens einem hinterlegten Schwellwert und das Auslösen eines Ereignisses bei Über- oder Unterschreiten des Schwellwert. Hierbei umfasst das Verfahren verschiedene mögliche Funktionen, um die erfindungsgemäße Aufgabe zu erfüllen. In einem Aspekt handelt es sich beim Ereignis um eine Geschwindigkeitsreduktion des Serviceroboters. In einem alternativen und/oder ergänzenden Aspekt handelt es sich beim Ereignis um das Ansteuern einer Zielposition, wobei es sich bspw. bei der Zielposition um eine Sitzgelegenheit handeln kann. Der besagte Schwellwert von Vitalparametern wird bspw. aus zuvor erfassten Vitalparametern dynamisch ermittelt, in einem Aspekt über eine Mittelwertbildung erfasster Vitalparameter über ein definiertes Zeitintervall erfolgt. Die Vitalparametererfassung (durch den Serviceroboter) erfolgt in einem Aspekt berührungslos, in einem alternativen und/oder ergänzenden Aspekt durch einen an der zu überwachenden Person befestigten Vitalparameter-Sensor. Neben der VitalparameterErfassung erfolgt optional eine Erfassung von Körperbewegungen der Person und eine Auswertung der erfassten Vitalparameter unter Abgleich der erfassten Körperbewegungen. Dabei erfolgt bspw. die Erfassung von Vitalparametern in Abhängigkeit der erfassten Bewegungen der Person. Bei den Vitalparametern kann es sich um die Pulsrate, Pulsratenvariabilität, Herzrate, Herzratenvariabilität, den systolische und/oder diastolischen Blutdruck und/oder die Atemfrequenz handeln. In einem weiteren, optionalen Schritt kann die Ermittlung des Sturzrisikos der Person aus dem oder den erfassten Vitalparameter(n) erfolgen, wobei es sich bspw. um das akute Sturzrisiko handelt. In einem Aspekt erfolgt die Erfassung der Vitalparameter während der Durchführung eines Tests und/oder eine Übung mit der Person. Die Erfindung umfasst nicht nur dieses computer-implementierte Verfahren, sondern auch eine Vorrichtung zur Durchführung desselben.
  • Weiterhin umfasst die Erfindung ein System zur Erfassung von Vitalparametern einer Person, mit einem Rechner, einem Speicher und mindestens einem Sensor zur berührungslosen Erfassung der Bewegungen der Person im Zeitablauf und ein Vitalparameter-Auswertungs-Modul, wobei es sich beim Sensor zur Erfassung der Bewegungen der Person um eine Kamera, einen LIDAR, einen Ultraschall- und/oder Radarsensor handelt und wobei eine Einheit auf Basis der Daten des Vitalparameter-Auswertungs-Moduls eine Benachrichtigung eines Systems über eine Schnittstelle, eine Ausgabe über eine Ausgabeeinheit (bspw. ein Display oder einen Lautsprecher), eine Geschwindigkeitsänderung des Systems selbst und/oder eine Ansteuerung einer Zielposition des Systems initiieren kann. Das System schließt, in einem Aspekt, weiter ein Körperregions-Detektions-Modul und ein Körperregion-Tracking-Modul zum Tracking der Erfassungsregion der Vitalparameter und eine Vitalparameter-Erfassungs-Einheit zur Erfassung von Vitalparametern der Person ein. Es kann weiter bspw. ein Applikationsmodul mit Regeln zur Durchführung mindestens einer Übung oder eines Tests umfassen. Alternativ und/oder ergänzend kann das System zudem eine Schnittstelle und einen an einer Person befestigten Vitalparameter-Sensor einschließen.
  • Alternativ und/oder komplementär zu dem oben beschrieben System, der Vorrichtung und dem Verfahren umfasst die Erfindung auch die folgenden möglichen Konfigurationen: Ein System zur Synchronisation der Bewegungen und/oder Vitalparameter einer Person mit der Bewegung und/oder Leuchtfrequenz stilisierter Verkörperungselemente eines Serviceroboters, umfassend eine Personenerfassungs- und Trackingeinheit, einer Puls-Atem-Auswertungseinheit, und einer Initialisierungseinheit, wobei die Bewegungen mit einer Frequenz erfolgen bzw. die Leuchtfrequenz einer Frequenz entspricht, die innerhalb einer definierten Bandbreite um die ermittelte Frequenz der Bewegungen bzw. Vitalparameter der Person liegt. So können z.B. die stilisierten Verkörperungselemente in Hard- und/oder Software implementiert sein, wobei bspw. in Software implementierte, stilisierte Verkörperungselemente die Anzeige mindestens eines stilisierten Gesichts oder Gesichtselementes auf einem Display, mindestens ein stilisiertes Gesicht, Gesichtselement oder einen Rumpf, Brustkorb oder Herz, oder bspw. mindestens eine Leuchte umfassen. Die stilisierten Verkörperungselemente werden bspw. zu einer Imitation der Atmungsfrequenz, Pulsfrequenz und/oder Herzfrequenz durch die Initialisierungseinheit angeregt. In einem Aspekt umfasst das System weiterhin eine Bewegungssignalerfassungs- und eine Verarbeitungseinheit zur Erfassung und Auswertung erfasster Bewegungen der Person. Die genannte Puls-Atem-Auswertungseinheit und/oder die Bewegungssignalerfassungs- und Verarbeitungseinheit können sich bspw. auch in einem tragbaren Sensor befinden.
  • In einem weiteren Aspekt schließt die Erfindung ein computer-implementiertes Verfahren zur Synchronisation der Bewegungen und/oder Vitalparameter einer Person und eines Serviceroboters ein, umfassend die Erfassung und das Tracking einer Person und ihrer Bewegungen und/oder Vitalparameter, die Ermittlung der Frequenz der Bewegungen und/oder der Vitalparameter der Person, und die Variation einer Bewegungsfrequenz und/oder einer Leuchtfrequenz von stilisierten Verkörperungselementen des Serviceroboters mit einer Frequenz, die innerhalb einer definierten Bandbreite von der ermittelten Frequenz der erfassten Bewegungen und/oder Vitalparameter der Person liegt. In einem Aspekt imitiert die Bewegung stilisierter Verkörperungselemente die Bewegung eines Gesichts, Gesichtselements, Rumpfs, Brustkorbs oder Herzschlags und/oder der Atmung der erfassten Person. In einem alternativen oder ergänzenden Aspekt wird die Frequenzdifferenz zwischen den Bewegungen der stilisierten Verkörperungselemente und der ermittelten Frequenz der Bewegungen und/oder Vitalparameter der Person im Zeitverlauf von der Initialisierungseinheit in etwa konstant gehalten. Bei den erfassten Bewegungen und/oder Vitalparameter der Person handelt es sich z.B. um die Pulsfrequenz, Herzfrequenz und/oder die Atemfrequenz. Die Bewegungen der stilisierten Verkörperungselemente werden bspw. von der Initialisierungseinheit auf eine Frequenz eingestellt, die niedriger ist als die Frequenz der erfassten Bewegungen und/oder der Vitalparameter der Person. Die Frequenz des oder der stilisierten Verkörperungselemente kann in einem Aspekt von der Initialisierungseinheit so gesteuert werden, dass sie im Zeitablauf langsamer wird/werden. Die Erfindung umfasst neben dem computer-implementierten Verfahren auch eine Vorrichtung zur Durchführung desselben, wie es oben beschrieben wurde.
  • Figurenliste
  • Es zeigen:
    • 1 Skizze einer möglichen Ausführung des Serviceroboters;
    • 2 Architektursicht
    • 3 Managementsystem für den Serviceroboter
    • 4 Ablauf Vitalparameterermittlung
    • 5 System zur Vitalparameterermittlung
    • 6 Interferenzreduktion
    • 7 System zur Synchronisation von Bewegungen zwischen einer Person und einem Serviceroboter
    • 8 Ablauf der Bewegungssynchronisation
    • 9 Vitaldatenerfassung und Triggern eines Ereignisses
  • Detaillierte Beschreibung der Erfindung
  • Serviceroboter und Systemlandschaft
  • Unter dem Begriff Nutzer wird eine Person verstanden, die den Serviceroboter 17 nutzt und die in diesem Falle primär vom Serviceroboter 17 durch die beschriebenen Apparaturen sensorisch ausgewertet wird. Hierbei kann es sich um Menschen fortgeschrittenen Alters handeln, mit denen der Serviceroboter 17 ein geriatrischer Test durchführt, Personen in medizinischen Einrichtungen, Sportler beim Training, oder andere Personen, die mit dem Serviceroboter 17 interagieren.
  • 1 stellt den mobilen Serviceroboter 17 dar. Dieser verfügt über eine Vielzahl von Sensoren und Vorrichtungen, die für einen Serviceroboter typisch sind, weshalb die exakte Darstellung der allgemeinen Robotikkomponenten, -module und -funktionen nur exemplarisch zu verstehen ist. Der Serviceroboter 17 verfügt über einen Laserscanner (LIDAR) 1 zum Abtasten des Umfelds des Serviceroboters 17. Andere Sensoren sind hierbei alternativ und/oder ergänzend ebenfalls möglich z.B. eine Kamera (2D und/oder 3D) 185, ein Ultraschall- und/oder Radarsensor 194.
  • Der Serviceroboter 17 verfügt über mindestens ein Display 2, das in einem Aspekt ein Touchpad ist. In dem in 1 dargestellten Aspekt verfügt der Serviceroboter 17 über zwei der Touchpads. Die Touchpads wiederum besitzen bspw. ein Mikrofon 193 und einen Lautsprecher 192, welche eine akustische Kommunikation mit dem Serviceroboter 17 erlauben. Ferner verfügt der Serviceroboter 17 über mindestens einen Sensor 3 zur berührungslosen dreidimensionalen Erfassung der Bewegungsdaten einer Person. In einem nicht limitierenden Beispiel ist der Sensor ein Microsoft Kinect Gerät. Alternativ dazu kann auch eine Orbecc Astra 3D-Kamera zum Einsatz kommen. Derartige 3D-Kameras verfügen zumeist auch über eine RGB-Kamera zur Farberkennung. In einem alternativen Aspekt kann eine herkömmliche Mono-Kamera zum Einsatz kommen. Technologien, die in 3D-Kameras hierbei zum Einsatz kommen können, sind das Stereo-Prinzip, Time-of-Flight-Sensoren (ToF) oder aber Speckle-Sensoren.
  • Im Abstand von z.B. 5 cm über dem Boden befindet sich um die äußere Hülle des Serviceroboters 17 eine druckempfindliche Stoßstange 4, zumindest in den Bereichen, die in einer möglichen Fahrtrichtung des Serviceroboters 17 liegen. Die Motorsteuerung 191 ist mit der druckempfindlichen Stoßstange 4 verbunden und erkennt Kollisionen des Serviceroboters 17 mit einem Gegenstand. Im Fall einer Kollision wird die Antriebseinheit 7 sofort gestoppt. Der Serviceroboter 17 verfügt zudem über eine Energiequelle 8 wie einen Akkumulator zur Versorgung der Antriebs- und Rechnereinheit 9, der Sensorik (Laserscanner 1, Sensor 3, und Stoßstange 4) sowie der Ein- und Ausgabeeinheiten 2. Die Energiequelle 8 ist eine Batterie oder ein Akkumulator.
  • Die Rechnereinheit 9 verfügt über mindestens einen Speicher 10 und mindestens eine Schnittstelle 188 (wie z.B. WLAN) zum Datenaustausch. Dazu zählen (nicht abgebildet) in einem optionalen Aspekt eine Vorrichtung, um einen mobilen Speicher (bspw. einen Transponder/RFID Token) auszulesen. In einem weiteren Aspekt kann dieser mobile Speicher auch beschrieben werden. In einem Aspekt erlaubt diese oder eine weitere Schnittstelle 188 (wie z.B. WLAN) die drahtlose Kommunikation mit einem Netzwerk. Der Serviceroboter 17 verfügt über im weiteren Verlauf dieses Dokuments beschriebene Regeln zur Durchführung von Auswertungen, die im Speicher 10 abgelegt sind. Alternativ und/oder ergänzend können diese Regeln auch im Speicher einer Cloud 18 abgelegt sein, auf die der Serviceroboter 17 über die mindestens eine Schnittstelle 188 (wie z.B. WLAN) zugreift. Dies muss an anderer Stelle so nicht explizit erwähnt sein, wird mit der Offenbarung jedoch umfasst.
  • Der Sensor 3 erkennt eine Person und deren Handlungen und erstellt auf Basis der Bewegungen der Person ein Skelettmodell. Hierbei ist der Sensor 3 in einem Aspekt auch in der Lage, Gehhilfen/Unterarmgehstützen (UAGS) zu erkennen. Der Serviceroboter 17 verfügt ferner optional über ein oder mehrere Mikrofone 193, welche unabhängig von den Touchpads implementiert sein können, um die Sprache der Person aufzuzeichnen und in einer Rechnereinheit auszuwerten.
  • 2 illustriert, dass der Serviceroboter 17 über eine Schnittstelle 188 mit der Cloud 18 verbunden ist. Ein Trainer hat die Möglichkeit, über ein Terminal 13 auf ein in der Cloud 18 gelagertes Personenadministrationsmodul 160 mit einem Rechner 161 zuzugreifen, der wiederum mit einem Speicher 162 in Verbindung steht.
  • Personal kann im Personenadministrationsmodul 160 Personendaten hinterlegen oder in einem Aspekt über eine Schnittstelle 188 (wie z.B. WLAN) diese Personendaten aus anderen Systemen importieren. Zu diesen anderen Systemen zählen vor allem Krankenhausmanagementsysteme (KIS) und/oder Personendatenmanagementsysteme. Die Personendaten umfassen neben dem Namen und ggf. der Zimmernummer der Personen auch Informationen zum allgemeinen Gesundheitszustand, usw. Der Rechner 161 in dem Personenadministrationsmodul 160 erzeugt hierbei pro Person eine ID, die mit den Personendaten im Speicher 162 abgespeichert wird. Das Personal kann die durchzuführenden Tests und/oder Übungen definieren. Über die Cloud 18 ist das Managementsystem mit einem Regelwerk 150 verbunden, bestehend aus einer Rechnereinheit 151 und einem Speicher 152. Das Regelwerk 150 hält Regeln zur Durchführung und Auswertung der Tests und/oder Übungen vor, die mit denen des Serviceroboters 17 übereinstimmen können und bspw. zentral im Regelwerk gepflegt und dann an mehrere Serviceroboter 178 verteilt werden.
  • Im Regelwerk 150 ist die Klassifizierung von Objekten und Bewegungen hinterlegt, aber auch die Kombination daraus, um die Beobachtungen im Sinne des Tests/der Übung auszuwerten. So ist bspw. die Stellung der Beine, des Oberkörpers, der Arme, Hände usw. auf Basis eines Skelettmodells hinterlegt. Zusätzlich können Gegenstände, die im Rahmen des Tests/der Übung ausgewertet werden sollen, erkannt werden. Das Regelwerk 150 kann initial template-basiert mit Hilfe von Fachleuten angelegt werden, d.h. es werden Grenzwerte für einzelne Gliedmaßen festgelegt. Für die Grenzwerte können auch Fuzzy-Algorithmen zum Einsatz kommen. Alternativ können auch einzelne Bilder oder Bildsequenzen, die bspw. wieder mit Blick auf Aufnahmen einer Person in ein Skelettmodell übersetzbar sind, durch Personal gelabelt werden und es werden mithilfe von Algorithmen des maschinellen Lernens inkl. neuronaler Netze Klassifikationen festgelegt, die die Grenzwerte abbilden. Daneben können auch Verfahren des Imitation Learning eingesetzt werden, um Regeln zu definieren.
  • In einem Aspekt existiert auch ein cloudbasiertes Navigationsmodul 170 mit einem Navigationsrechner 171 und einem Navigationsspeicher 172.
  • Der Serviceroboter 17 kann mit einer Cloudanwendung in der Cloud 18 verbunden sein. Der Trainer kann der Person, die den Test/die Übung durchführen soll, eine mobile Speichereinheit wie bspw. einen Token zuweisen. Der Token enthält die Personen-ID und/oder eine weitere Token-ID, der Person bzw. seiner ID zugewiesen ist. Mit diesem Token bzw. der Seriennummer und/oder der ID kann sich die Person am Serviceroboter 17 identifizieren. Es ist auch eine Identifizierung über andere Wege möglich, bspw. über die Eingabe von Login-Daten in einem bildschirmgeführten Menü, aber auch mittels biometrischer Merkmale wie bspw. einem Gesichts-Scan oder einer Software auf einem Mobilgerät, die einen Code bereit hält, der in den Serviceroboter 17 eingegeben oder eingelesen wird. Der Serviceroboter 17 lädt nun aus der Cloud 18 entsprechend den vom Personal hinterlegten Test, Diagnoseverfahren, Übung etc. ohne jedoch die personenbezogenen Daten über eine Schnittstelle 188 (wie z.B. WLAN) herunter - die Zuordnung erfolgt über die Personen-ID. Nach Absolvieren des Tests/der Übung lädt der Serviceroboter 17 die Daten des Tests/der Übung verschlüsselt in das Personenadministrationsmodul 160 - die Zuordnung erfolgt über die Personen-ID. Erst in dem Personenadministrationsmodul 160 findet eine Entschlüsselung der Daten statt (vgl. unten). Das Personal kann nachfolgend die Daten auswerten.
  • In einem weiteren Aspekt überträgt das Personal die Hinweise zur Durchführung eines Tests/der Übung oder einer Teilkomponente davon auf einen Speichermedium (z.B. Transponder in der Form eines RFID-Tags), welchen die Person erhält, um sich am Serviceroboter 17 zu identifizieren, wozu dieser eine RFID-Schnittstelle 183 aufweist. Dabei werden bspw. die Daten vom Speichermedium an den Serviceroboter 17 übertragen inkl. der Personen-ID, die vom Personenadministrationsmodul 160 vorgegeben wurde. Nach Absolvieren des Tests/der Übung überträgt der Serviceroboter 17 die Daten wieder auf das Speichermedium, so dass das Personal beim Auslesen des Speichermediums die Daten in das Personenadministrationsmodul 160 übertragen kann. In einem ergänzenden und/oder alternativen Aspekt können die Daten auch verschlüsselt über eine drahtlose oder drahtgebundene Schnittstelle 188 (wie z.B. WLAN) an das Personenadministrationsmodul 160 übertragen werden. Es sind auch Kombinationen aus dem oben beschrieben Ansatz und dem Datenaustausch via Speichermedium (bspw. Transponder) möglich.
  • In einem Aspekt ist der Serviceroboter 17 über eine Cloud oder direkt mit einem tragbaren Sensor 201 ausgestattet, der zur Vitalparametererfassung einer Person dient. Dabei kann es sich bspw. um eine Smartwatch handeln, die Pulsfrequenz, Atmung, etc. erfasst.
  • 3 illustriert die Architektursicht, die jedoch im Verlauf dieses Dokuments beschriebene Applikationen ausblendet. Auf der Softwareebene finden sich verschiedene Module mit Grundfunktionen des Serviceroboters 17. Im Navigationsmodul 101 sind bspw. verschiedene Module enthalten. Darunter ist ein 2D oder 3D-Umfelderfassungsmodul 102, die bspw. Umgebungsinformationen auswertet basierend auf verschiedenen Sensordaten. Das Pfadplanungsmodul 103 erlaubt dem Serviceroboter 17 die Ermittlung eines eigenen Pfads, den er zurücklegt. Der Bewegungsplaner 104 nutzt bspw. die Ergebnisse der Pfadplanung aus dem Pfadplanungsmodul 103 und errechnet eine optimale Wegstrecke für den Serviceroboter unter Berücksichtigung bzw. Optimierung verschiedener Kostenfunktionen. Als Kostenfunktionen fungieren neben den Daten aus der Pfadplanung auch solche aus der Hindernisvermeidung, einer Vorzugsfahrrichtung, usw., wie bspw. auch eine erwartete Bewegungsrichtung einer überwachten Person. Dabei spielen auch Aspekte der Fahrdynamik eine Rolle, wie die Geschwindigkeitsadaption bspw. in Kurven, usw. Das Selbstlokalisierungsmodul 105 erlaubt es dem Serviceroboter 17, seine eigene Position auf einer Karte zu bestimmen, bspw. mittels Odometriedaten, dem Abgleich erfasster Umfeldparameter aus der 2D/3D-Umfelderfassung mit in einer Karte aus dem Kartenmodul 107 hinterlegten Umfeldparametern, usw. Das Kartierungsmodul 106 erlaubt es dem Serviceroboter 17, sein Umfeld zu kartieren. Erstellte Karten werden bspw. im Kartenmodul 107 abgelegt, welches jedoch auch andere als nur selbsterstellte Karten enthalten kann. Das Lademodul 108 zum automatischen Laden. Darüber hinaus kann es eine Datenbank mit Raumdaten 109 geben, die bspw. Informationen beinhaltet, in welchem Raum eine Auswertung mit einer Person durchgeführt werden soll, usw. Ein Bewegungsauswertungsmodul 120 beinhaltet z.B. ein Bewegungsablaufextraktionsmodul 121 und ein Bewegungsablaufbewertungsmodul 122. Diese umfassen jeweils die Regeln zur Bewegungsauswertung, die im weiteren Verlauf dieses Dokuments näher beschrieben werden. Das Personenerkennungsmodul 110 beinhaltet bspw. ein Personenidentifizierungsmodul 111, welches bspw. Regeln enthält, um aus erfassten Sensordaten zu bestimmen, ob es sich um eine Person handelt oder um etwas anderes. Ein visuelles-Personentracking-Modul 112 für visuelles Personentracking basiert bspw. vor allem auf Kameradaten als Eingangsgrößen, das laserbasierte Personentracking-Modul 113 nutzt entsprechend den LIDAR 1. Ein Personenreidentifizierungsmodul 114 erlaubt es bspw., im Falle eines Unterbrechens des Trackingvorgangs eine danach erfasste Person insofern einzuordnen, ob es sich dabei um eine handelt, die zuvor getrackt wurde. Ein Sitzerkennungsmodul 115 erlaubt es, bspw. einen Stuhl zu detektieren, bspw. mittels abgespeicherter Muster. Der Serviceroboter 17 verfügt bspw. darüber hinaus über ein Mensch-Roboter-Interaktions-Modul 130, umfassend eine graphische Nutzeroberfläche 131, ein Sprachsyntheseeinheit 133 und ein Sprachauswertungsmodul 132. Daneben gibt es ein Applikationsmodul 125, welches eine Vielzahl von Applikationen umfassen kann wie Übungen und/oder Tests mit Personen.
  • Auf der Hardwareebene 180 befindet sich eine Odometrieeinheit 181, bspw. eine Schnittstelle zur Kommunikation mit RFID-Transpondern, eine Kamera 185, Bedienelemente 186, eine Schnittstelle 188 wie WLAN, eine Ladesteuerung 190 für die Energieversorgung, eine Motorsteuerung 191, Lautsprecher 192, mindestens ein Mikrofon 193, bspw. ein Radar- und/oder Ultraschallsensor 194, ein Detektor 195, der an anderer Stelle näher beschrieben wird, ebenso bspw. ein Spektrometer 196 und bspw. eine Projektionsvorrichtung 920. LIDAR 1, Display 2 und Antrieb 7 wurden bereits beschrieben.
  • Der Serviceroboter verfügt mit der Kamera 185, einem LIDAR 1 und Radar- und/oder Ultraschallsensor 194 über Sensorik, die nicht nur zu Navigationszwecke eingesetzt werden kann, sondern bspw. auch zur Personenerfassung und Tracking, weshalb diese Sensoren, zusammen mit entsprechenden Softwaremodulen, hardwareseitig eine Personenerfassungs- und Trackingeinheit 4605 bilden, wobei hierbei auch weitere Sensorik eingesetzt werden kann, bspw. in Zusammenspiel mit einem Inertialsensor 5620, der sich an der zu erfassenden und/oder trackenden Person befindet. Mit Blick auf die Personenerfassung und das Personentracking kann in einem ersten Schritt ein Personenerkennungsmodul 110 zum Einsatz kommen, dass aus Sensordaten eine Person erkennt und verschiedene Untermodule aufweisen kann. Dazu zählt bspw. ein Personenidentifizierungsmodul 111, dass es erlaubt, eine Person zu identifizieren. Dabei können bspw. charakteristische Merkmale der Person abgespeichert werden. Durch das Personenreidentifizierungsmodul 114 ist eine Wiedererkennung der Person möglich, bspw. nach Unterbrechung des Personentrackings, das durch ein visuelles Personentrackingmodul 112 (bspw. Daten einer Kamera 185 auswertend) oder ein laserbasiertes Personentrackingmodul 113 (bspw. Daten eines LIDAR 1 auswertend) erfolgen kann. Die Wiedererkennung der Person im Personenreidentifizierungsmodul 114 kann durch Mustervergleich erfolgen, wobei die Muster sich bspw. aus den abgespeicherten Personenmerkmalen ergeben. Ein Bewegungsauswertungsmodul 120 erlaubt die Auswertung verschiedener Bewegungen. Erfasste Bewegungen können im Bewegungsablaufextraktionsmodul 121 zunächst vorprozessiert werden, d.h. es werden Merkmale der Bewegungen extrahiert, die im Bewegungsablaufbewertungsmodul 122 klassifiziert und bewertet werden, bspw. um eine spezifische Bewegung zu identifizieren. Mit Blick auf die Erfassung und Auswertung von Bewegungen einer Person kann dabei ein Skelettmodell im Skelett-Erstellungs-Modul 5635 erstellt werden, welches Gelenkpunkte an den Gelenken der Person ermittelt und Richtungsvektoren zwischen den Gelenkpunkten. Eine Merkmalsextraktion auf Basis von Gelenkpunkten findet bspw. im skelettmodell-basierten Merkmalsextraktions-Modul 5460 statt. Es sind im Dokument eine Reihe spezifischer Merkmalsextraktionsmodule aufgeführt ebenso wie mehrere Merkmalklassifikationsmodule, die bspw. auf diesen genannten Merkmalsextraktionsmodulen aufsetzen können. In einem Aspekt zählen dazu das Gangmerkmalsextraktions-Modul 5605, welches ebenfalls Daten des Skelett-Erstellungs-Moduls 5635 verwendet, ein Gangmerkmalsklassifizierungs-Modul 5610 und ein Gangablaufklassifizierungs-Modul 5615.
  • Mit Blick auf Schwellwertvergleiche ist teilweise von Überschreitungen eines Schwellwerts die Rede, was dann zu einer bestimmten Bewertung einer Situation führt. Dabei können verschiedene Berechnungen genutzt werden, die teils eine konträre Interpretation der Auswertungsergebnisse herbeiführen könnten. Ein Beispiel sei ein Vergleich zweier Muster, die zur Personenwiedererkennung genutzt werden. Wenn hier bspw. ein Ähnlichkeitskoeffizient errechnet wird, bspw. eine Korrelation, bedeutet eine hohe Korrelation, die über einem Schwellwert liegt, dass bspw. eine Identität von zwei Personen vorliegt. Wenn jedoch zwischen den einzelnen Werten eine Differenz vorliegt, bedeutet ein hoher Differenzwert das Gegenteil, d.h. eine hohe Unähnlichkeit. Es werden solche alternativen Berechnungen jedoch als synonym für bspw. die erste Berechnung über die Korrelation angesehen.
  • Der Einsatz von Verfahren des maschinellen Lernens kann bspw. das Festlegen expliziter Schwellwerte bspw. für Bewegungsabläufe überflüssig machen zugunsten einer Musterauswertung. D.h. anstelle von Schwellwertvergleichen bspw. für dedizierte Distanzen eines Gelenkpunkts aus einem Skelettmodell finden Mustervergleiche statt, die mehrere Gelenkpunkte zugleich auswerten. Sofern nachfolgend von einem Schwellwertvergleich gesprochen wird, insbesondere mit Blick auf einen Bewegungsablauf, kann auch im Falle der Nutzung von Algorithmen des maschinellen Lernens ein Weg für einen Mustervergleich gefunden werden. Als Grundlage für einen solchen Mustervergleich können bspw. Körperposen eines Bewegungsablaufs, ob korrekt oder falsch, im Zeitverlauf erfasst und zusammenhängend ausgewertet werden. Auf Basis extrahierter Merkmale wie bspw. Gelenkpunkte kann ein Klassifikator erstellt werden, der dann mit weiteren erfassten, als korrekt oder falsch vorgegebene Körperposen und die daraus abgeleiteten Verläufe der Gelenkpunkte vergleicht.
  • Blutdruckermittlung und Ermittlung weiterer Kardioparameter
  • Der Roboter 17 ist, in einem Aspekt, ferner mit einem System ausgestattet, welches sich wiederholende Bewegungen des menschlichen Körpers erfasst, die mit dem Blutausstoß des Herzens in die großen Blutgefäße bei jedem Herzschlag korrelieren. Dabei werden Änderungen erfasst, die einerseits durch Bewegungen der großen Blutgefäße entstehen und sich bspw. wellenförmig im Körper ausbreiten, und/oder die durch Bewegungen von Arterien in der Haut ergeben. Letztere sind robuster gegenüber Schwankungen der Beleuchtung des Körperteils und/oder unterschiedlichen Farbtönen der Haut. Alternativ und/oder ergänzend werden Änderungen des Blutvolumens bzw. der Blutfluss in der Haut, z.B. im Zeitablauf, erfasst, welche(r) mit dem Herzschlag korrelieren. 4 stellt nachfolgend den Prozess der Datenerfassung und Auswertung dar.
  • Es werden eine Körperregion und mehrerer Subregionen im Schritt 3005 identifiziert. Bspw. ist die Körperregion das Gesicht, wobei die Auswertung z.B. mittels der Kamera 185 erfolgt. Das System nutzt Algorithmen aus dem Stand der Technik, um das Gesicht (alternativ andere Körperregionen) zu erfassen, bspw. das Framework OpenCV, OpenPose oder dlib, wobei die Auswertung bspw. mittels des visuellen Personentracking-Moduls 112 und/oder des laserbasierten Personentracking-Moduls 113 erfolgt. Dabei werden als Teilregionen mindestens die Stirn, die Wangen oder das Kinn erfasst, z.B. mehrere Körperregionen zusammen, die dann einzeln und/oder getrennt nach den weiter unten beschriebenen Schritten ausgewertet werden. Hierbei kann bspw. eine Selektion von Kandidatenregionen vorgenommen werden, d.h. Teilregionen des Gesichts, die für die Auswertung relevant sind, wozu im Stand der Technik bekannte Segmentierungsverfahren (wie bspw. RANSAC) eingesetzt werden können. Diese Teilregionen werden, wie auch die Körperregion als solche, durch die genannten Frameworks bzw. Module im Zeitablauf im Schritt 3010 getrackt.
  • In einem optionalen Schritt 3015 erfolgt eine Ausrichtung der Kamera 185 möglichst parallel zur Region, die getrackt werden soll. Dazu kann eine Minimierung des Erfassungswinkel des Gesichts, der sich aus einer Achse ergibt, die senkrecht der das Gesicht erfassenden Kamera steht, und einer Achse, die sich senkrecht auf der Sagittalebene des Gesichts befindet, erfolgen. Hierbei ermittelt das System bspw. eine Ebene, die durch das Gesicht läuft und die im Wesentlichen parallel ist zur Draufsicht auf das Gesicht und die bspw. der Sagittalebene entspricht. Basierend bspw. auf Histogram-of-Gradients (HoG) verfügt das System über eine Klassifizierung, die die Abweichungen von dieser Draufsicht beschreiben, um damit die Neigung des Gesichts im dreidimensionalen Raum zu erfassen. In einem Aspekt nutzt das System dieses Vorgehen, um einen in die Kamera 185 des Systems blickendes Gesicht danach zu bewerten, inwieweit das Gesicht parallel zur Kameralinse ausgerichtet ist. Bei Abweichungen kann das System in einem Aspekt die Neigung der Kamera 185 im dreidimensionalen Raum durch eine entsprechende Mechanik wie eine optionale Kippeinheit 5130 anpassen, bspw. durch Ansteuerung von zwei mit orthogonal zueinander angeordneten Kippachsen, die durch Stellmotoren angetrieben werden. Unter dem Begriff Kippeinheit wird in diesem Dokument daher eine Kippeinheit mit mindestens zwei Achsen verstanden, die einerseits eine Schrägstellung der horizontalen Ebene ermöglicht und andererseits eine Rotation um die vertikale Achse. Alternativ und/oder ergänzen werden die Räder des Serviceroboters 17 derart angesteuert, dass der Serviceroboter 17 sich in Richtung der Person dreht, um die ermittelte Abweichung der Kameraebene von der Gesichtsebene zu reduzieren. In einem alternativen und/oder ergänzenden Aspekt triggert eine solche Abweichung die Sprachausgabe des Serviceroboters 17, um dem Personen Anweisungen zu erteilen, sein Gesicht entsprechend auszurichten. Dabei sind bspw. Regeln hinterlegt, die eine Ausrichtung in XY-Ebene fordern, wenn Abweichung in XY-Ebene festgestellt wurde. Abgleich der Gesichtsneigung und Ansteuerung der Kippmechanismen, der Orientierung des Serviceroboters 17 und/oder die Sprachausgabe mit Blick auf den Personen werden bspw. so lange durchgeführt, bis die Winkel zwischen der Kameraebene und der Gesichtsebene ein Minimum erreicht haben. Alternativ und/oder ergänzend kann der Erfassungswinkel der Kamera 185 im Vergleich zur Sagittalebene und ggf. auch der Transversalebene minimiert werden, was bspw. auch Fahrmanöver des Roboters 17 beinhaltet.
  • Das System ist in einem optionalen Aspekt zum Ausleuchten des Körperteils wie des Gesichts im Schritt 3020 konfiguriert. D.h. dass während einer Aufnahme durch die Kamera 185 das Gesichts (oder ein anderer Körperteil) mittels einer Belichtungsleuchte 5120 bestrahlt wird, die das aufzunehmende Körperteil der Person ausleuchtet. Dabei kommt mindestens eine Belichtungsleuchte 5120 zum Einsatz, welche sich z.B. nahe an der Kamera 185 befindet. Idealerweise befindet diese sich unterhalb und/oder oberhalb der Kamera 185, ist also vertikal um diese Kamera 185 versetzt. Bspw. wird das emittierte Licht gestreut, um eine möglichst homogene Ausleuchtung der aufzunehmenden Fläche zu gewährleisten. Eine seitliche Anordnung der Kamera 185 kann, je nach Position des Gesichts und seiner Dimensionen, möglicherweise zu einem Schattenwurf der Nase führen, der die Wangen, welche sich seitlich von der Nase befinden und deren Aufzeichnung ein überdurchschnittliches Signal-Rauschverhältnis liefern, betrifft, und damit ggf. die Auswertungsqualität verschlechtern, wäre aber möglich.
  • Die eingesetzte Kamera 185 liefert für die Auswertung mindestens einen Farbkanal, darunter z.B. mindestens den grünen Farbkanal, da das hierbei emittierte Licht von Hämoglobin besonders gut absorbiert wird. In einem weiteren Aspekt liefert die Kamera 185 auch einen Farbkanal für den Farbton orange und/oder cyan. Die Farbtiefe je Kanal beträgt bspw. mindestens 8 Bit, die Bildfrequenz 30 Bilder pro Sekunde. In einem Aspekt kann es sich bei der Kamera 185 auch um eine RGB-D-Kamera 185 handelt, welche eine Tiefenerkennung neben einer Farberkennung zur Verfügung stellt, bspw. auf Basis von time-of-flight-Sensorik oder Speckle-Mustern, um darüber rhythmische, vaskuläre Blutflüsse und rhythmische, vaskuläre Ausdehnungen zu erfassen.
  • Im ersten Schritt 3025 findet eine Signalextraktion statt. Dazu wird zunächst eine Selektion des Eingangssignals auf Basis der Videosignale der getrackten Regionen vorgenommen, was entweder eine durch die Pumprhythmen des Herzens hervorgerufene Bewegung und/oder eine Farbänderung mit Blick auf den Fluss des Bluts, insbesondere des Hämoglobins, sein kann, wodurch sich besagte rhythmische, vaskuläre Blutflüsse und/oder rhythmische, vaskuläre Ausdehnungen erfassen lassen.
  • Es findet im zweiten Schritt mit Blick auf die Rohdaten eine Farbkanalauswertung unter Einbeziehen von bekannten Informationen statt, welche Merkmale durch welchen Farbkanal abgebildet werden, sofern es sich um eine Erfassung des Blutflusses handelt. Hierunter wird insbesondere eine Gewichtung der Kanäle im Schritt 3030 verstanden. Dabei kann vornehmlich der grüne Farbkanal ausgewertet werden, der grüne und rote Farbkanal (bspw. als Differenzbetrachtung des grünen und roten Kanals), die Kombination von grün, cyan und orange, etc. Für die Erfassung der Bewegungen werden alternativ oder ergänzend die Ortsauflösung ermittelt. D.h. es werden die vertikalen und/oder horizontalen Bewegungen von erfassten Eigenschaften des Gesichts getrackt bspw. die Position des Gesichts und seiner Teilregionen im Zeitablauf erfasst und ausgewertet. Darunter fallen sowohl die Bewegungen des Kopfs als auch die einzelner Gesichtsteile.
  • Die sich daran anschließende Signalermittlung nutzt im ersten Teilschritt (der Präprozessierung 3035) bspw. mindestens ein Filter. Dazu zählt eine Trendbereinigung (bspw. mit Skalierung und/oder Normalisierung); eine gleitende Durchschnittswert-Betrachtung, eine Hochpassfilterung; eine Bandpassfilterung, ggf. als adaptive Bandpassfilterung ausgestaltet; eine amplitudenselektive Filterung; eine Kalmanfilterung, und/oder eine kontinuierliche Wavelet-Transformation. Es können alternativ und/oder ergänzend auch eine lineare Polynomapproximation der kleinsten Quadrate zum Einsatz kommen.
  • Daran schließt sich ein Signaltrennungsverfahren 3040 an, um das Signal-Rauschverhalten zu verbessern und die Zahl der zu betrachteten Merkmalsdimensionen zu reduzieren. Hierbei kann bspw. eine Hauptkomponentenanalyse oder eine Unabhängigkeitsanalyse genutzt werden, in einem Aspekt auch Verfahren des maschinellen Lernens.
  • Die Signalprozessierung 3045 umfasst die Ermittlung der Pulsrate und ggf. weiterer Größen im Rahmen einer Fouriertransformation (schnelle bspw. diskrete Fouriertransformation, insbesondere zur Ermittlung der maximalen Leistungsspektrumsdichte), autoregressiver Modelle (bspw. mittels Burg's Methode), dem Einsatz von Bandpassfiltern in Zusammenhang mit der Detektion von Maxima bspw. einer Spitzenerkennung, eine kontinuierliche Wavelet-Transformation, und/oder Modelle des Maschinellen Lernens, insbesondere des nicht-überwachten Lernens. Alternativ und/oder ergänzend kann auch eine diskrete Kosinustransformation eingesetzt werden.
  • Im Rahmen einer Postprozessierung 3050 können ferner Verfahren zum Einsatz kommen, um bspw. Fehler durch Bewegungen des Kopfes, etc. auszugleichen, wozu wiederum Kalmanfilter, (adaptive) Bandpassfilter, eine Ausreißerdetektion, gleitende Durchschnitte, Bayes'sche Fusion und/oder Verfahren des maschinellen Lernens zum Einsatz kommen können.
  • Die bis hier erfolgten Prozessierungsschritte geben bereits einen Teil der relevanten Parameter wieder wie die Pulsrate, Pulsratenvariabilität, Pulswellenlaufzeit, Pulswellenform, etc. Eine weiterführende Errechnung relevanter Parameter im Schritt 3055, bspw. erfolgt auf Basis verschiedener, im Stand der Technik beschriebener Ansätze, womit sich bspw. der systolische und diastolische Blutdruck ermitteln lässt, wozu lineare oder nichtlineare Prognoseverfahren eingesetzt werden können.
  • Die genannten Verfahren des maschinellen Lernens, bspw. neuronale Netze wie konvolutionäre neuronale Netze, sind in der Lage, in den Daten versteckte und teils unbekannte Merkmale in den Daten zu erkennen und bei der Auswertung zu berücksichtigen, bspw. im Rahmen durchgeführter Clusteranalysen. Hierbei werden bspw. auf Basis von Trainingsdaten Gewichte für die Klassifikationen oder lineare bzw. nicht-lineare Prognosemodelle generiert, die dann im Rahmen des beschriebenen Prozesses im Produktivbetrieb eingesetzt werden. So kann bspw. als neuronales Netz ein mehrschichtiges Feed-Forward-Rückwärtspropagations-Netzwerk eingesetzt werden mit je Input-Parameter als Neuron, einem Neuron je Output, bspw. für den systolischen und diastolischen Blutdruck, das z.B. zwei verdeckte Ebenen nutzt, wobei die erste Ebene mindestens 30, die zweite mindestens 15 Neuronen umfasst.
  • Die ermittelten Werte für die Pulsrate, Pulsratenvariabilität und ggf. weiterer Werte, ggf. nach erfolgter Postprozessierung, werden in einem Aspekt mit im Speicher 10 abgelegten Werten im Schritt verglichen und daraus basierend die Pulsrate, Pulsratenvariabilität, bzw. weitere Größen ermittelt, insbesondere auch der systolische und diastolische Blutdruck.
  • Die Filterung im Rahmen der Prä- und Postprozessierung ist abhängig von den zu detektierenden Größen ab. Für die Pulsamplitude kann, in einem Aspekt, ein Bandpassfilter genutzt werden, der das Spektrum 0-6 Herz abdeckt, bspw. mindestens 0,7-4,5 Hz. In einem Aspekt kann das Signal des Pulses in diesem Frequenzbereich auch enger gesampelt werden, bspw. mit einem Fenster von 0,1 Hz. Anschließend kann eine Glättung durch einen Tiefpassfilter erfolgen. Die Pulsrate, Herzrate bzw. Pulsfrequenz oder Herzfrequenz kann bspw. mittels eines Bandpassfilters prozessiert werden, der eine Breite zwischen 0,7 und 4 Hz hat. Um die Pulsratenvariabilität zu ermitteln, ist wiederum ein Bandpassfilter mit einem Fenster zwischen 0 und 0,4 Hz einsetzbar, in einem Aspekt gesampelt mit Abständen von 0,02 Hz. Die Pulswellenlaufzeit kann durch Vergleich der Werte von mindestens zwei erfassten Regionen erfolgen, wobei eine Bandbreite zwischen 0,5 und bspw. 6 Hz ausgewertet werden kann, in einem Aspekt gesampelt in Intervalle von 0,1 Hz. Durch den Vergleich der Werte mehrerer Regionen lässt sich damit die Pulswellenlaufzeit ermitteln. Die Pulsform ergibt sich aus einem ungesampelten Verlauf im Spektralfenster von ca. 0-6 Hz, bspw. charakterisiert durch die Fläche unter der Kurve, die Höhe und/oder Breite. Die Pulsenergie ergibt sich aus der ersten Ableitung dieser Werte.
  • So kann der Blutdruck bspw. mittels eines linearen Modells aus der Pulswellenlaufzeit und der Puls- bzw. Herzrate sowie dem vorangegangenen Blutdruckwert ermittelt werden, für lineare Regressionsmodelle oder neuronale Netze verwendet werden können. Anstelle eines vorangegangenen Blutdruckwerts lassen sich bspw. auch die Form der gemessenen Pulse auswerten, z.B. indem die Differenzen zwischen der Pulskurve und der durch den Maximalwert verlaufenden Senkrechten ermittelt werden.
  • Das System zur Blutdruckermittlung wird, wie in 5 dargelegt, wie folgt illustriert: Das System zur Ermittlung kardiovaskulärer Parameter einer Person, in einem Aspekt ein Serviceroboter 17, umfasst einen Rechner 9, einen Speicher 10 und eine Kamera 185 (z.B. eine 2D und/oder 3D-Kamera) sowie weiterhin ein Körperregions-Detektions-Modul 4810 zur Detektion von Körperregionen, ein Körperregion-Tracking-Modul 4815, ein Gesichtserkennungs-Modul 5005, ein Gesichts-Kandidatenregion-Modul 5010 und ein kardiovaskuläre-Bewegungen-Modul 5110 zur Erfassung von Bewegungen, die auf kardiovaskuläre Aktivitäten zurückzuführen sind. Die Kamera 185 (in einem Aspekt identisch mit dem Sensor zur berührungslosen Erfassung einer Person 3) stellt mindestens den grünen Farbkanal mit 8 Bit zur Verfügung. Das System weist außerdem eine Belichtungsleuchte 5120 auf, um das Gesicht während der Aufzeichnung durch die Kamera 185 auszuleuchten, die sich bspw. oberhalb und/oder unterhalb von der Kamera 185 befindet. Das System verfügt über ein Blutdruck-Ermittlungs-Modul 5125 zur Ermittlung des systolischen oder diastolischen Blutdrucks 5125 und/oder bspw. über eine Kippeinheit 5130, um den Erfassungswinkel der Kamera 185 im Vergleich zur Sagittalebene zu minimieren. Dazu verfügt das System bspw. über Regeln, um bspw. eine senkrechte Linie zwischen die Augen der erfassten Person zu legen, so dass der Kopf in zwei Hälften geteilt wird. Es erfolgt eine Segmentierung des Gesichts, wobei über die einzelnen Segmente histograms-of-gradients gelegt werden. Sofern diese eine (spiegelverkehrte) Ähnlichkeit aufweisen, die unter einem Schwellwert liegt, wird das Gesicht als senkrecht erfasst wahrgenommen. Die Kamera 185 kann nun über eine optionale Kipp-Einheit 5130 so angesteuert werden, dass während der Ansteuerung dieser Vergleich der spiegelverkehrten Gesichtshälften über die histograms-of-gradients vorgenommen wird und die Kamera so positioniert wird, dass diese Schwellwerte der histograms-of-gradients unterschritten werden. In einem Aspekt verfügt das System über ein Personenerkennungsmodul 110, Personenidentifizierungsmodul 111, ein visuelles Personentracking-Modul 112, Bewegungsauswertungsmodul 120, ggf. ein Skelett-Erstellungs-Modul 5635 und ggf. ein skelettmodell-basiertes-Merkmalsextraktions-Modul 5640 und/oder einen Bewegungsplaner 104.
  • Abweichend von einer optischen Erfassung der Vitalparameter ist auch eine Erfassung der Vitalparameter mittels Radar möglich. Dabei wird, in einem Aspekt und wie oben geschildert, eine Körperregion identifiziert und bspw. auch getrackt, in der die Vitaldatenerfassung vorgenommen wird,
  • Triggern von Verkörperungselementen auf Basis von kardiovaskulären Indikatoren
  • Der Serviceroboter 17 errechnet die Pulsrate bzw. Pulsfrequenz, Herzfrequenz oder einen anderen, kardiovaskulären Parameter einer Person, mit der der Serviceroboter 17 interagiert, indem der Serviceroboter 17 den Parameter mit dem beschriebenen System durch Aufzeichnung und Auswertung des Gesichts und der darin sich widerspiegelnden kardiovaskulären Bewegungen der Gesichtsoberfläche und/oder des Kopfs und/oder vaskulärer Blutströme unter der Haut ermittelt, wie das bspw. oben beschrieben wurde. Alternativ erhält der Serviceroboter Vitaldaten und/oder Bewegungsdaten vom tragbaren Sensor 201, der bspw. auch ein Elektrokardiogramm (EKG) erstellen kann.
  • Alternativ und/oder ergänzend zum mindestens einen kardiovaskulären Parameter kann der Serviceroboter 17 mittels der Kamera 185 oder mittels des Ultraschall- und/oder Radarsensors 194 den Brustkorb einer Person identifizieren und auch tracken, was bspw. mittels eines Frameworks wie OpenPose, OpenCV, etc. erfolgen kann, bspw. mittels des visuellen Personentracking-Moduls 112 und/oder des laserbasierten Personentracking-Moduls 113. Dabei können bspw. Skelettmodell-Gelenkpunkte aus dem Skelett-Erstellungsmodul 5635 genutzt werden, um Körperregionen zu identifizieren, die danach ausgewertet werden sollen. So kann bspw. der Oberkörper über die Schultergelenkpunkte und die Hüftgelenkpunkte identifiziert werden, indem die Fläche, die sich aus diesen Punkten ergibt, ermittelt wird und dann der obere Bereich dieser Fläche, bspw. die oberen 50%, als Brustbereich definiert wird. Dieser Ansatz kann alternativ oder ergänzend durch die Auswertung von Tiefeninformationen ergänzt werden, welche die äußere Hülle einer Person wiedergeben. Kamera 185 und die beiden Personentracking-Module 112 und 113, ggf. aber auch andere Sensoren wie der LIDAR 1, werden auch als Personenerfassungs- und Trackingeinheit 4605 bezeichnet. Mit dieser Personenerfassungs- und Trackingeinheit 4605 kann der Serviceroboter 17 Bewegungen einer Person im Zeitablauf erfassen, die bspw. eine Atmung wiedergeben. Diese Erfassung umfasst im Fall, dass die Person sich in etwa frontal vor dem Serviceroboter befinden sollte, sowohl Bewegungen in horizontaler Richtung als auch in der Tiefe. Diese Bewegungen können bspw. mittels eines Bandpassfilters mit einem Fenster von 0,005 bis 0,125 Hz, mindestens 0,05 bis 0,08 Hz, und subsequenter schneller Fouriertransformation ermittelt werden. Darüber lässt sich die Atemfrequenz ermitteln.
  • Ist der Brustbereich der Person durch Kleidung bedeckt und somit bspw. die direkte Erfassung des Brustkorbs erschwert, kann die Ermittlung der Atemfrequenz bspw. in Anlehnung an Martinez et al. 2017, „Breathing Rate Monitoring during Sleep from a Depth Camera under Real-Life Conditions, 2017 IEEE Winter Conference on Applications of Computer Vision (WACV), 24-31 March 2017 (DOI: 10.1109/WACV.2017.135) erfolgen. Dabei wird eine Interferenzreduktion 2980 vorgenommen, was die Detektion von Bewegungen angeht, die durch mit Stoff verdeckt sind, also vornehmlich des Oberkörpers/Bauch. Interferenzen, die durch unterschiedliche Phasen der erfassten Bewegungen des Stoffs entstehen und die eigentlichen Atembewegungen in ihrer Detektion erschweren, werden durch die Ermittlung des Leistungsdichtespektrums eliminiert, was die Erfassung der Bewegungen des Brustkorbs erleichtert. Dabei wird für jeden im Zeitablauf erfassten Pixel im dreidimensionalen Raum das Leistungsdichtespektrum bspw. mittels einer schnellen Fourier-Transformation (FFT) im Schritt 2982 ermittelt, dann die Leistungsdichtespektren für alle Pixel im Schritt 2984 aggregiert und das Maximum über quadratische Interpolation im Schritt 2986 ermittelt, wobei die Position des Maximums die Atemfrequenz im Schritt 2988 angibt. Diese wird anschließend mit Blick auf Frequenzänderungen gemonitort 2990. Die anschließende Merkmalsklassifizierung im Schritt 2992 basiert auf einer Klassifikation, die durch die Aufzeichnung von Atembewegungen generiert wurde, wozu Standard-Klassifikationsverfahren und/oder neuronale Netze eingesetzt werden können. Eine Darstellung dieser Abläufe findet sich in 6.
  • Die ermittelte Puls- oder Atemfrequenz (ggf. auch Herzrate oder andere, kardiovaskuläre Parameter) der vom Roboter erfassten Person werden genutzt, um Bewegungen oder Signalisierungen des Serviceroboters 17 mit den genannten Parametern der Person zu synchronisieren. In einem Aspekt kann diese Synchronisation bspw. zur Beruhigung der Person eingesetzt werden, deren Parameter durch den Serviceroboter 17 gespiegelt werden.
  • Die Bewegungen und/oder Signalisierungen des Serviceroboters 17 erfolgen in einem Aspekt über Verkörperungselemente, d.h. solche Elemente, die eine Person zumindest anteilig nachbilden wie bspw. einen stilisierten Kopf darstellen oder Teile davon wie stilisierte Augen, Mund etc. So kann bspw. das Blinzeln stilisierter Augen angepasst werden. Stilisiert heißt bspw., dass es sich mit Blick auf Augen um in Hardware implementierte Augen handeln kann, bspw. Kugeln mit aufgedruckten Kreisen und Halbkugeln, die mechanisch die aufgedruckten Kreise auf den Kugeln verdecken können. Die Augen können alternativ auch auf einem Display dargestellt werden, bspw. in Form von Kreisen, usw. Mit Blick auf einen Mund kann dieser bspw. wie bei einem Smilie über einen Strich definiert sein, der unterschiedliche Orientierungen und/oder Krümmungen einnehmen kann. Alternativ und/oder ergänzend kann für den Fall, dass der Serviceroboter 17 über einen stilisierten und beweglichen Brustkorb verfügt, auch dessen Bewegungsfrequenz angepasst werden. In einem alternativen oder ergänzenden Aspekt sind die Verkörperungselemente bspw. durch eine blinkende Leuchte 200 des Serviceroboters 17 implementiert, bspw. eine LED, die in einem Aspekt rot sein kann und die damit ein Herz stilisiert. Diese Leuchte 200 befindet sich bspw. im Inneren des Serviceroboters 17 oder auf dessen Oberfläche, wobei sie nicht notwendigerweise sich in dem Bereich befinden muss, den ein Mensch bei einem verkörperten Serviceroboter als Brustbereich ansehen muss. Sie kann sich damit auch im oberen oder unteren Bereich des Serviceroboters 17 befinden. Sie kann neben dem Herzschlag auch die Atmung stilisieren. Befindet sie sich im Inneren des Serviceroboters 17, so ist deren Licht von außen zu erkennen. Dazu kann die Oberfläche des Serviceroboters 17 bspw. zumindest anteilig transparent sein. In einem alternativen und/oder ergänzenden Aspekt wird der Farbton oder die Helligkeit eines Displays variiert, um einen Herzschlag oder eine Atmung zu stilisieren.
  • Bewegungssynchronisation heißt in dem Fall, dass der Serviceroboter 17 die beschriebenen Bewegungen und/oder Signalisierungen an die der Person anpasst, indem die Signalisierungsfrequenz der stilisierten Verkörperungselemente in etwa der gemessenen Frequenz der Vitalparameter wie Atmung, Puls, Herzschlag usw. entspricht. Dies erfolgt bspw. nicht nur statisch, sondern dynamisch, d.h. im Zeitverlauf. Alternativ kann Bewegungssynchronisation auch heißen, dass der Serviceroboter 17 nicht die exakt gleiche Frequenz wählt, die für die Person ermittelt wurde, sondern eine niedrigere Frequenz. Dabei kann diese Frequenz im Zeitverlauf nachgeführt werden, d.h. die Differenz wird im Zeitverlauf etwa konstant gehalten. Dabei kann der Serviceroboter auch die Frequenz der Bewegungen / Signalisierungen im Zeitverlauf reduzieren. Dies kann bspw. dann der Fall sein, wenn die Person über eine überdurchschnittlich hohe Puls- oder Atemfrequenz verfügt, die bspw. auf hohe Nervosität hindeutet (alternativ andere, ermittelte Parameter, die auf hohe Nervosität hindeuten). Dabei kann der Serviceroboter durch Wahl einer Bewegungsfrequenz bzw. Leuchtfrequenz (Oszillationsfrequenz) von bspw. den stilisierten Augen, Brustkorb, Leuchte 200 oder weiterer Elemente, eine Frequenz wählen, die kleiner ist als die der Person, und die der Serviceroboter 17 im Zeitverlauf reduziert. Damit kann der Serviceroboter 17 zu einer Beruhigung der Person beitragen. Der Serviceroboter 17 ermittelt dabei bspw. die Pulsfrequenz der Person im Zeitablauf und reduziert ggf. solange seine Bewegungsfrequenz bzw. Leuchtfrequenz, bis die Person ebenfalls eine übliche Pulsfrequenz vorweist, wobei die übliche Pulsfrequenz im Speicher 10 des Serviceroboters 17 hinterlegt sein kann. Dabei kann die Differenz zwischen der erfassten der Pulsfrequenz und der Bewegungsfrequenz/Leuchtfrequenz des Serviceroboters 17 in etwa konstant bleiben. Dies geschieht durch die Ermittlung einer Frequenzbandbreite um die ermittelte Bewegungsfrequenz der Person, was bspw. die Atmungsfrequenz, Herzschlag- oder Pulsfrequenz umfasst.
  • Die Erfassung der Pulsrate bzw. Pulsfrequenz, Herzrate bzw. Herzfrequenz und/oder Atmung bzw. Atemfrequenz erfolgt mittels einer Bewegungsfrequenzermittlungseinheit 4606, die bspw. aus der Kamera 185 und an anderer Stelle in diesem Dokument beschriebenen computerimplementierten Verfahren zur Ermittlung der Pulsrate bzw. Pulsfrequenz, Herzrate bzw. Herzfrequenz und/oder Atmung bzw. Atemfrequenz, wobei aber auch andere Bewegungen der Person denkbar sind. Die Parameter für Puls, Herz und/oder Atem werden konkret durch eine Puls-Atem-Auswertungseinheit 4615 erfasst und ausgewertet. Insbesondere die Atmung wird über eine Bewegungssignalerfassungs- und Verarbeitungseinheit 4620 erfasst und ausgewertet, welche Hintergrundsignale des Körpers von denen der Bekleidung unterscheidet. Hierzu sind an anderer Stelle in diesem Dokument mit Blick auf die Signalverarbeitung Details genannt. Die genannten stilisierten Gesichter oder Gesichtselemente, Köpfe, Rümpfe oder Brustkörbe, Herz, Leuchte(n) 200, werden auch als stilisierte Verkörperungselemente 4625 bezeichnet. Diese werden durch eine Initialisierungseinheit 4607 mit einer bestimmten Frequenz bewegt bzw. angesteuert. Dies kann, je nach Art des stilisierten Verkörperungselements, unterschiedliche erfolgen. Augenbewegungen auf einem Display können bspw. rein softwarebasiert implementiert, während andere stilisierte Verkörperungselemente 4625 bspw. Stellmotoren bedürfen, die bspw. Augenlider bewegen oder einen stilisierten Brustkorb bewegen. In einem Aspekt verfügt das System weiterhin über ein Personenerkennungsmodul 110, Personenidentifizierungsmodul 111, Trackingmodul (112, 113) und/oder Bewegungsauswertungsmodul 120. In einem optionalen Aspekt verfügt das System über einen tragbaren Sensor 201 wie bspw. eine Smartwatch, die bspw. von der durch den Roboter sensorisch erfassten Person getragen wird. Dieser kann, in einem Aspekt, die Puls-Atem-Auswertungseinheit 4615 und/oder Bewegungssignalerfassungs- und Verarbeitungseinheit 4620 beinhalten. Ein Überblick über die Komponenten des Systems ist in 7 dargelegt. In einem Aspekt kann das System auch gemeinsam mit einem Skelett-Erstellungs-Modul 5635, skelettmodell-basierten Merkmalsextraktions-Modul 5460, mglw. auch Gangmerkmalsextraktions-Modul 5605, Gangmerkmalsklassifizierungs-Modul 5610 und Gangablaufklassifizierungs-Modul 5615 eingesetzt werden, um die Frequenz der Parameter der Person während des Gehens oder einer anderen Fitness-Übung zu monitoren.
  • Der Ablauf stellt sich nach 8 wie folgt dar: Es erfolgt eine Erfassung von Bewegungen und/oder Vitalparametern einer Person (Schritt 6000), was bspw. Puls-, Herzrate oder Atemfrequenz umfasst. Die erfassten Bewegungen und/oder Vitalparameter der Person werden getrackt, d.h. im Zeitablauf erfasst (Schritt 6005). In einem optionalen Aspekt 6010 erfolgt eine Bandpassfilterung der erfassten Parameter und eine Fouriertransformation 6015 der erfassten Parameter. (Damit) erfolgt eine Ermittlung der Frequenz der Bewegungen und/oder Vitalparameter (Schritt 6020). Es erfolgt eine optionale Ermittlung einer Bandbreite 6025 um die ermittelte Frequenz, bspw. basierend auf einer in einem Speicher (z.B. 10) abgelegten Tabelle, die ermittelten Frequenzen Bandbreiten zuordnet. Die von der Initialisierungseinheit (4607) initiierte Bandbreite der Frequenz von der ermittelten Frequenz der Person kann sich bspw. in einem Intervall von 50% nach unten und/oder oben oder in einem Intervall von weniger als 15% nach unten und/oder oben bewegen, bspw. um weniger als 5% nach unten und 0% nach oben. Weiter erfolgt eine Bewegung und/oder Ansteuerung 6030 stilisierter Verkörperungselemente, bspw. mit einer Frequenz, die innerhalb der ermittelten Bandbreite liegt, die der ermittelten Frequenz entspricht, etc. Dies kann bspw. das Oszillieren einer Leuchte 200 umfassen, die Bewegung von Augen eines Serviceroboters 17, etc. Es erfolgt in einem optionalen Aspekt eine Absenkung 6035 der Ansteuerungsfrequenz, bspw. bis zu einem Schwellwert, der in einem Speicher (z.B. 10) abgelegt ist. Dabei kann, in einem Aspekt, ein Konstanthalten der Differenz zwischen ermittelter und angesteuerter Frequenz erfolgen (Schritt 6040). Alternativ und/oder ergänzend kann die Ansteuerungsfrequenz niedriger gehalten werden als die erfasste Frequenz der Bewegungen und/oder Vitalparameter der Person.
  • Beispiel 1: Verfahren zur berührungslosen Erfassung von Vitalparametern einer Person
  • In einem Aspekt verfügt der Serviceroboter 17 über im Speicher 10 abgelegte Regeln zur Durchführung eines computer-implementierten Verfahrens zum Auslösen von Ereignissen basierend auf der Beobachtung einer Person und von dieser Person ermittelten Vitaldaten. Hierzu auch 9: In einem ersten Schritt 9000 erfolgt die Erfassung und das Tracking einer Person. Dabei wird in einem Folgeschritt 9010 eine Körperregion erfasst und getrackt, von der Vitaldaten erfasst werden sollen, die dann im Folgeschritt 9020 erfasst werden. Parallel dazu, in einem optionalen Schritt 9015, werden Körperbewegungen der Person erfasst (bspw. mittels Auswertung von Daten eines Skelettmodells über das Skelett-Erstellungs-Modul 5635) und es findet ein optionaler Abgleich der erfassten Vitaldate und der erfassten Körperbewegungen im optionalen Schritt 9025 statt. Durch diese Kombination der Daten kann bspw. erkannt werden, ob eine Überlastung der Person stattfindet, indem also einerseits eine Bewegung der Person ausgewertet wird (bspw. während eines Tests oder einer Übung), andererseits Vitaldaten wie bspw. der Puls. Dabei kann durch die Korrelation dieser Daten, ggf. zeitlich versetzt (also zunächst Ermittlung von Bewegungen im Zeitverlauf und dann zeitlich nachfolgend ein Anstieg des Pulses der Person) der Serviceroboter 17 den Schluss ziehen, dass der Pulsanstieg durch die Bewegungsintensität der Person hervorgerufen wurde. Dies kann bspw. zum optionalen Schritt 9050 führen, der Ermittlung des Sturzrisikos der Person. Hierbei handelt es sich bspw. um ein akutes Sturzrisiko, bspw. durch einen plötzlichen Abfall des Blutdrucks verursacht. Darauf basierend kann ein Ereignis ausgelöst werden (Schritt 9060), wobei dieses Ereignis auch ohne Auslösen des Schritts 9050 erreicht werden kann. In einem optionalen Aspekt werden die erfassten Vitalparameter aus Schritt 9020 im optionalen Schritt 9030 dahingehend ausgewertet, dass eine Schwellwertermittlung erfolgt basierend auf erfassten Parametern. Das kann in einem Aspekt so erfolgen, dass Vitalparameter im Zeitablauf, d.h. dynamisch, erfasst werden und aus dem Anstieg der Kurve, die die erfassten Parameter im Zeitablauf darstellen, ein Schwellwert für einen definierten Gradienten ermittelt wird, wobei der Schwellwert dann in der Einheit des ermittelten Vitalparameters angegeben wird. Es kann, alternativ und/oder ergänzend, auch eine Mittelwertbildung des Vitalparameters über einen definieren Zeitraum vorgenommen werden und dann dieser Wert als Schwellwert herangezogen werden, oder dieser Mittelwert mit dem Schwellwert verglichen werden. In einem weiteren Schritt 9040 werden erfasste Vitalparameter mit dem Schwellwert verglichen (Schritt 9040) und bei Über- oder Unterschreiten des Schwellwerts wird optional ein Sturzrisiko ermittelt (Schritt 9050), gefolgt vom Auslösen eines Ereignisses (Schritt 9060).
  • Bei den beschriebenen Ereignissen aus Schritt 9060 kann es sich bspw. darum handeln, die Geschwindigkeit des Serviceroboters 17 zu reduzieren oder zu einer Position zu fahren, wo sich bspw. eine Sitzgelegenheit für die Person befindet, deren Vitaldaten erfasst werden, so dass die Person sich dort setzen kann. Es kann aber auch über eine Schnittstelle 188 ein anderes System benachrichtigt werden, bspw. ein externes Alarmierungssystem. Die Erfassung der Vitaldaten erfolgt entweder berührungslos über Sensorik des Serviceroboters 17 oder über einen sich an der Person befindlichen Sensor 201. Bei den Vitalparametern handelt es sich bspw. um die Pulsrate, Pulsratenvariabilität, Herzrate, Herzratenvariabilität, den systolische und/oder diastolischen Blutdruck und/oder die Atemfrequenz.
  • Die berührungslose Erfassung von Vitalparametern wird hier durch folgende Aspekte ABEV1 bis ABEV20 charakterisiert:
    • ABEV1. Computer-implementiertes Verfahren zur Steuerung eines Serviceroboters (17) unter Einbezug von Vitalparametern einer Person, umfassend
      • • Erfassung und Tracking der Person;
      • • Erfassung und Tracking einer Körperregion der Person, auf bzw. über die die Vitalparameter erhoben werden;
      • • Erfassung der Vitalparameter und
      • • Vergleich der erfassten Vitalparametern mit mindestens einem hinterlegten Schwellwert und
      • • Auslösen eines Ereignisses bei Über- oder Unterschreiten des Schwellwert.
    • ABEV2. Computer-implementiertes Verfahren nach ABEV1, wobei das Ereignis eine Geschwindigkeitsreduktion umfasst.
    • ABEV3. Computer-implementiertes Verfahren nach ABEV1, wobei das Ereignis das Ansteuern einer Zielposition umfasst.
    • ABEV4. Computer-implementiertes Verfahren nach ABEV3, wobei es sich bei der Zielposition um eine Sitzgelegenheit handelt.
    • ABEV5. Computer-implementiertes Verfahren nach ABEV1, wobei der mindestens eine Schwellwert aus zuvor erfassten Vitalparametern dynamisch ermittelt wird.
    • ABEV6. Computer-implementiertes Verfahren nach ABEV5, wobei der dynamisch ermittelte Schwellwert basierend auf einer Mittelwertbildung erfasster Vitalparameter über ein definiertes Zeitintervall erfolgt.
    • ABEV7. Computer-implementiertes Verfahren nach ABEV1, wobei die Erfassung der Vitalparameter berührungslos erfolgt.
    • ABEV8. Computer-implementiertes Verfahren nach ABEV1, wobei die Erfassung der Vitalparameter durch einen an der Person befestigten Vitalparameter-Sensor (5425) erfolgt.
    • ABEV9. Computer-implementiertes Verfahren nach ABEV1, weiter umfassend die Erfassung von Körperbewegungen der Person und eine Auswertung der erfassten Vitalparameter unter Abgleich der erfassten Körperbewegungen.
    • ABEV10. Computer-implementiertes Verfahren nach ABEV1, wobei die Erfassung von Vitalparametern in Abhängigkeit der erfassten Bewegungen der Person erfolgt.
    • ABEV11. Computer-implementiertes Verfahren nach ABEV1, wobei die erfassten Vitalparameter die Pulsrate, Pulsratenvariabilität, Herzrate, Herzratenvariabilität, den systolische und/oder diastolischen Blutdruck und/oder die Atemfrequenz umfassen.
    • ABEV12. Computer-implementiertes Verfahren nach ABEV1, weiter umfassend die Ermittlung des Sturzrisikos aus den erfassten Vitalparametern.
    • ABEV13. Computer-implementiertes Verfahren nach ABEV12, wobei es sich beim Sturzrisiko um ein akutes Sturzrisiko handelt.
    • ABEV14. Computer-implementiertes Verfahren nach ABEV1, wobei die Erfassung der Vitalparameter während der Durchführung eines Tests und/oder eine Übung mit der Person erfolgt.
    • ABEV15. Vorrichtung zur Durchführung eines Verfahrens nach ABEV1-ABEV14.
    • ABEV16. Serviceroboter (17) mit einem Rechner (9), einem Speicher (10) und mindestens einem Sensor zur berührungslosen Erfassung der Bewegungen der Person im Zeitablauf, und ein Vitalparameter-Auswertungs-Modul (5420), wobei es sich beim Sensor zur Erfassung der Bewegungen der Person um eine Kamera (185), einen LIDAR (1), einen Ultraschall- und/oder Radarsensor (194) handelt und wobei das Vitalparameter-Auswertungs-Modul (5420) eine Benachrichtigung eines externen Systems über eine Schnittstelle (188), eine Ausgabe über eine Ausgabeeinheit (2 oder 192), eine Geschwindigkeitsänderung des Serviceroboters 17 und/oder eine Ansteuerung einer Zielposition des Systems initiiert.
    • ABEV17. Serviceroboter (17) nach ABEV15, weiter umfassend ein Körperregions-Detektions-Modul (4810) und ein Körperregion-Tracking-Modul (4815) zum Tracking der Erfassungsregion der Vitalparameter und eine Vitalparameter-Erfassungs-Einheit (5415) zur Erfassung von Vitalparametern der Person.
    • ABEV18. Serviceroboter (17) nach ABEV15, umfassend ein Applikationsmodul (125) mit Regeln zur Durchführung mindestens einer Übung oder eines Tests.
    • ABEV19. Serviceroboter (17) nach ABEV15, umfassend eine Schnittstelle (188) und einen an einer Person befestigten Vitalparameter-Sensor (5425).
  • Bezugszeichenliste
    • 1
    LIDAR
    2
    Display
    3
    Sensor zur berührungslosen Erfassung einer Person
    4
    druckempfindliche Stoßstange
    5
    Stützrad
    6
    Antriebsrad
    7
    Antriebseinheit
    8
    Energiequelle
    9
    Rechner
    10
    Speicher
    17
    Serviceroboter
    13
    Terminal
    18
    Cloud
    100
    Softwareebene
    101
    Navigationsmodul
    102
    2D oder 3D-Umfelderfassungsmodul
    103
    Pfadplanungsmodul
    104
    Bewegungsplaner
    105
    Selbstlokalisierungsmodul
    106
    Kartierungsmodul
    107
    Kartenmodul
    108
    Lademodul
    110
    Personenerkennungsmodul
    111
    Personenidentifizierungsmodul
    112
    visuelles Personentracking-Modul
    113
    laserbasiertes Personentracking-Modul
    114
    Personenreidentifizierungsmodul
    115
    Sitzerkennungsmodul
    120
    Bewegungsauswertungsmodul
    121
    Bewegungsablaufextraktionsmodul
    122
    Bewegungsablaufbewertungsmodul
    130
    Mensch-Roboter-Interaktionsmodul
    131
    graphische Nutzeroberfläche
    132
    Sprachauswertungsmodul
    133
    Sprachsyntheseeinheit
    150
    Regelwerk
    151
    Rechner des Regelwerks
    152
    Speicher des Regelwerks
    160
    Personenadministrationsmodul
    161
    Rechner des Personenadministrationsmoduls
    162
    Speicher des Personenadministrationsmoduls
    170
    Navigationsmodul in der Cloud
    171
    Navigationsrechner
    172
    Navigationsspeicher
    180
    Hardwarenebene
    181
    Odometrie
    183
    RFID
    185
    Kamera
    186
    Bedienelemente
    188
    Schnittstelle
    190
    Ladesteuerung
    191
    Motorsteuerung
    192
    Lautsprecher
    193
    Mikrofon
    194
    Radar und/oder Ultraschallsensor
    195
    Detektor
    196
    Spektrometer
    200
    Leuchte
    201
    Tragbarer Sensor
    4605
    Personenerfassungs- und Trackingeinheit
    4606
    Bewegungsfrequenzermittlungseinheit
    4607
    Initialisierungseinheit
    4615
    Puls-Atem-Auswertungseinheit
    4620
    Bewegungssignalerfassungs- und Verarbeitungseinheit
    4625
    stilisierte Verkörperungselemente
    4630
    Anregungseinheit
    4810
    Körperregions-Detektions-Modul
    4815
    Körperregion-Tracking-Modul
    5005
    Gesichtserkennungs-Modul
    5010
    Gesichts-Kandidatenregion-Modul
    5110
    kardiovaskuläre-Bewegungen-Modul
    5120
    Belichtungsleuchte
    5125
    Blutdruck-Ermittlungs-Modul
    5130
    Kippeinheit
    5415
    Vitalparameter-Erfassungs-Einheit
    5420
    Vitalparameter-Auswertungs-Modul
    5425
    Vitalparameter-Sensor
    5605
    Gangmerkmalsextraktions-Modul
    5610
    Gangmerkmalsklassifizierungsmodul
    5615
    Gangablaufklassifikations-Modul
    5620
    Inertialsensor
    5635
    Skelett-Erstellungs-Modul
    5640
    skelettmodell-basiertes-Merkmalsextraktions-Modul
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • CN 106671105 [0004]
    • CN 104889994 [0005]
    • CN 204772554 [0005]
    • CN 105082149 [0005]
    • CN 105078445 [0005]
    • CN 105078450 [0005]
    • CN 108053889 [0006]
    • CN 108039193 [0006]
    • CN 107544266 [0006]
    • CN 106709254 [0007]
    • CN 106407715 [0008]
    • CN 105078449 [0009]

Claims (15)

  1. System zur Synchronisation der Bewegungen und/oder Vitalparameter einer Person mit der Bewegung und/oder Leuchtfrequenz stilisierter Verkörperungselemente (4625) eines Serviceroboters (17), umfassend eine Personenerfassungs- und Trackingeinheit (4605), einer Puls-Atem-Auswertungseinheit (4615), und einer Initialisierungseinheit (4607), wobei die Bewegung mit einer Frequenz erfolgt bzw. die Leuchtfrequenz einer Frequenz entspricht, die innerhalb einer definierten Bandbreite um die ermittelte Frequenz der Bewegungen bzw. Vitalparameter der Person liegt.
  2. System nach Anspruch 1, weiter umfassend eine Bewegungssignalerfassungs- und Verarbeitungseinheit (4620) zur Erfassung und Auswertung erfasster Bewegungen der Person.
  3. System nach Anspruch 1, wobei die stilisierten Verkörperungselemente (4625) in Hard- und/oder Software implementiert sind.
  4. System nach Anspruch 3, wobei in Software implementierte, stilisierte Verkörperungselemente (4625) die Anzeige mindestens eines stilisierten Gesichts oder Gesichtselementes auf einem Display (2) umfassen.
  5. System nach Anspruch 3, wobei in Hardware implementierte, stilisierte Verkörperungselemente (4625) mindestens ein stilisiertes Gesicht, Gesichtselement oder einen Rumpf, Brustkorb oder Herz umfassen.
  6. System nach Anspruch 3, wobei in Hardware implementierte, stilisierte Verkörperungselemente (4625) mindestens eine Leuchte (200) umfassen.
  7. System nach Anspruch 1, wobei die stilisierten Verkörperungselemente zu einer Imitation der Atmungsfrequenz, Pulsfrequenz und/oder Herzfrequenz durch die Initialisierungseinheit (4607) angeregt werden.
  8. System nach Anspruch 1 und/oder 2, wobei sich die Puls-Atem-Auswertungseinheit (4615) und/oder eine Bewegungssignalerfassungs- und Verarbeitungseinheit (4620) in einem tragbaren Sensor (201) befinden.
  9. Computer-implementiertes Verfahren zur Synchronisation der Bewegungen und/oder Vitalparameter einer Person und eines Serviceroboters (17), umfassend • Erfassung und Tracking einer Person und ihrer Bewegungen und/oder Vitalparameter; • Ermittlung der Frequenz der Bewegungen und/oder der Vitalparameter der Person; · Variation einer Bewegungsfrequenz und/oder einer Leuchtfrequenz von stilisierten Verkörperungselementen (4625) des Serviceroboters mit einer Frequenz, die innerhalb einer definierten Bandbreite von der ermittelten Frequenz der erfassten Bewegungen und/oder Vitalparameter der Person liegt.
  10. Computer-implementiertes Verfahren nach Anspruch 9, wobei die Bewegung stilisierter Verkörperungselemente (4625) die Bewegung eines Gesichts, Gesichtselements, Rumpfs, Brustkorbs oder Herzschlags und/oder eine Atmung der Person imitiert.
  11. Computer-implementiertes Verfahren nach Anspruch 9, wobei die Frequenzdifferenz zwischen den Bewegungen der stilisierten Verkörperungselemente (4625) und der ermittelten Frequenz der Bewegungen und/oder Vitalparameter der Person im Zeitverlauf von der Initialisierungseinheit (4607) in etwa konstant gehalten wird.
  12. Computer-implementiertes Verfahren nach Anspruch 9, wobei es sich bei den erfassten Bewegungen und/oder Vitalparameter der Person um die Pulsfrequenz, Herzfrequenz und/oder die Atemfrequenz handelt.
  13. Computer-implementiertes Verfahren nach Anspruch 9, wobei die Bewegungen der stilisierten Verkörperungselemente (4625) von der Initialisierungseinheit (4607) auf eine Frequenz eingestellt werden, die niedriger ist als die Frequenz der erfassten Bewegungen und/oder der Vitalparameter der Person.
  14. Computer-implementiertes Verfahren nach Anspruch 9, wobei die Frequenz des oder der stilisierten Verkörperungselemente (4625) von der Initialisierungseinheit (4607) so gesteuert wird, dass sie im Zeitablauf langsamer werden.
  15. Vorrichtung zur Durchführung des Verfahrens nach den Ansprüchen 8-14.
DE102022104499.8A 2021-02-27 2022-02-24 Synchronisierung von Bewegungen eines Serviceroboters mit denen einer Person Pending DE102022104499A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021001062.0 2021-02-27
DE102021001062 2021-02-27

Publications (1)

Publication Number Publication Date
DE102022104499A1 true DE102022104499A1 (de) 2022-09-01

Family

ID=82799404

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022104499.8A Pending DE102022104499A1 (de) 2021-02-27 2022-02-24 Synchronisierung von Bewegungen eines Serviceroboters mit denen einer Person

Country Status (1)

Country Link
DE (1) DE102022104499A1 (de)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104889994A (zh) 2015-06-30 2015-09-09 广州绿松生物科技有限公司 智能健康服务机器人
CN204772554U (zh) 2015-06-30 2015-11-18 广州绿松生物科技有限公司 智能健康服务机器人
CN105078445A (zh) 2015-08-24 2015-11-25 华南理工大学 基于健康服务机器人的老年人健康服务***
CN105078450A (zh) 2015-08-24 2015-11-25 华南理工大学 一种可实现脑电检测的健康服务机器人
CN105082149A (zh) 2015-08-24 2015-11-25 华南理工大学 一种可实现血氧饱和度检测的健康服务机器人
CN105078449A (zh) 2015-08-24 2015-11-25 华南理工大学 基于健康服务机器人的老年痴呆症监护***
CN106407715A (zh) 2016-10-19 2017-02-15 上海派毅智能科技有限公司 一种智能服务机器人健康辨识***及方法
CN106671105A (zh) 2017-01-17 2017-05-17 五邑大学 面向老人的智能陪护机器人
CN106709254A (zh) 2016-12-29 2017-05-24 天津中科智能识别产业技术研究院有限公司 一种医疗诊断机器人***
CN107544266A (zh) 2016-06-28 2018-01-05 广州零号软件科技有限公司 家庭健康服务机器人
CN108039193A (zh) 2017-11-17 2018-05-15 哈尔滨工大服务机器人有限公司 一种自动生成体检报告的方法及装置
CN108053889A (zh) 2017-12-20 2018-05-18 中国科学院合肥物质科学研究院 一种基于Agent技术的健康促进服务机器人

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104889994A (zh) 2015-06-30 2015-09-09 广州绿松生物科技有限公司 智能健康服务机器人
CN204772554U (zh) 2015-06-30 2015-11-18 广州绿松生物科技有限公司 智能健康服务机器人
CN105078445A (zh) 2015-08-24 2015-11-25 华南理工大学 基于健康服务机器人的老年人健康服务***
CN105078450A (zh) 2015-08-24 2015-11-25 华南理工大学 一种可实现脑电检测的健康服务机器人
CN105082149A (zh) 2015-08-24 2015-11-25 华南理工大学 一种可实现血氧饱和度检测的健康服务机器人
CN105078449A (zh) 2015-08-24 2015-11-25 华南理工大学 基于健康服务机器人的老年痴呆症监护***
CN107544266A (zh) 2016-06-28 2018-01-05 广州零号软件科技有限公司 家庭健康服务机器人
CN106407715A (zh) 2016-10-19 2017-02-15 上海派毅智能科技有限公司 一种智能服务机器人健康辨识***及方法
CN106709254A (zh) 2016-12-29 2017-05-24 天津中科智能识别产业技术研究院有限公司 一种医疗诊断机器人***
CN106671105A (zh) 2017-01-17 2017-05-17 五邑大学 面向老人的智能陪护机器人
CN108039193A (zh) 2017-11-17 2018-05-15 哈尔滨工大服务机器人有限公司 一种自动生成体检报告的方法及装置
CN108053889A (zh) 2017-12-20 2018-05-18 中国科学院合肥物质科学研究院 一种基于Agent技术的健康促进服务机器人

Similar Documents

Publication Publication Date Title
EP4003164A1 (de) System zur erfassung von bewegungsabläufen und/oder vitalparametern einer person
Hassan et al. Heart rate estimation using facial video: A review
Sathyanarayana et al. Vision-based patient monitoring: a comprehensive review of algorithms and technologies
Zhang et al. Driver drowsiness detection using multi-channel second order blind identifications
EP2916724A1 (de) Verfahren und vorrichtung zur bestimmung von vitalparametern
DE102013208588A1 (de) Verarbeitung eines videos zur schätzung einer atemrate
WO2013165550A1 (en) Methods and systems for measuring dynamic changes in the physiological parameters of a subject
DE19621435A1 (de) Verfahren und Vorrichtung zum Überwachen von Augen für die Erfassung eines Schläfrigkeitszustands
EP1549214A1 (de) Vorrichtung und verfahren zur erleichterung von einer visuellen wahrnehmung
DE102015210332A1 (de) Erkennen eines fieberkrampfs mit einer wärmebildkamera
DE102015208144A1 (de) Erhöhen der Genauigkeit eines physiologischen Signals, Erhalten von einem Video eines Patienten
DE102019104798A1 (de) Vorrichtung und verfahren zur passiven arrhythmiedetektion auf der basis von photoplethysmogramm (ppg)-intervallen zwischen den schlägen und morphologie
Jothsna et al. A fuzzy expert system for the drowsiness detection from blink characteristics
Rescio et al. Ambient and wearable system for workers’ stress evaluation
Pursche et al. Using neural networks to enhance the quality of ROIs for video based remote heart rate measurement from human faces
Nikolaiev et al. Non-contact video-based remote photoplethysmography for human stress detection
DE102017118636B3 (de) Verfahren zur kontaktlosen Bestimmung der Herzfrequenz einer Person
Trivedi Attention monitoring and hazard assessment with bio-sensing and vision: Empirical analysis utilizing CNNs on the kitti dataset
KR20220069177A (ko) 자율 주행 차량의 스마트 제어 시스템 및 방법
DE102022104499A1 (de) Synchronisierung von Bewegungen eines Serviceroboters mit denen einer Person
Vettivel et al. System for detecting student attention pertaining and alerting
EP2750588B1 (de) Verfahren zur zustandserkennung eines fahrzeugführers durch erfassung einer plethysmographischen grösse
Shinde et al. Facial features based prediction of Parkinson's disease
Qiu et al. Artificial intelligence in remote photoplethysmography: Remote heart rate estimation from video images
George Improved motor imagery decoding using deep learning techniques

Legal Events

Date Code Title Description
R086 Non-binding declaration of licensing interest