AT520579B1 - Verfahren und Vorrichtung zur Detektion eines hindernisfreien Bereichs - Google Patents

Verfahren und Vorrichtung zur Detektion eines hindernisfreien Bereichs Download PDF

Info

Publication number
AT520579B1
AT520579B1 ATA50823/2017A AT508232017A AT520579B1 AT 520579 B1 AT520579 B1 AT 520579B1 AT 508232017 A AT508232017 A AT 508232017A AT 520579 B1 AT520579 B1 AT 520579B1
Authority
AT
Austria
Prior art keywords
image
recording unit
obstacle
image recording
pixels
Prior art date
Application number
ATA50823/2017A
Other languages
English (en)
Other versions
AT520579A1 (de
Original Assignee
Tec Innovation Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tec Innovation Gmbh filed Critical Tec Innovation Gmbh
Priority to ATA50823/2017A priority Critical patent/AT520579B1/de
Priority to EP18792355.2A priority patent/EP3688663A1/de
Priority to PCT/AT2018/060223 priority patent/WO2019060936A1/de
Priority to US16/651,216 priority patent/US11205074B2/en
Publication of AT520579A1 publication Critical patent/AT520579A1/de
Application granted granted Critical
Publication of AT520579B1 publication Critical patent/AT520579B1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3652—Guidance using non-audiovisual output, e.g. tactile, haptic or electric stimuli
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Pain & Pain Management (AREA)
  • Veterinary Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Detektion des Abbilds eines hindernisfreien, eine Bildaufnahmeeinheit (1) umgebenden Bereichs wobei a) mit der Bildaufnahmeeinheit (1) zumindest eine Aufnahme eines Teilbereichs der Umgebung (10) der Bildaufnahmeeinheit (1) erstellt wird und basierend auf dieser zumindest einen Aufnahme ein Digitalbild (D) erstellt wird, dadurch gekennzeichnet, b) dass das so erstellte Digitalbild (D) auf das Vorliegen möglicher Begrenzungen (B) eines hindernisfreien Bereichs untersucht wird, wobei für einzelne Pixel (P) des Digitalbilds (D) jeweils ein Begrenzungsindikatorwert (BI) abhängig von den pixelweise vorgegebenen Bilddaten des Digitalbilds (D) innerhalb einer Umgebung des jeweiligen Pixels (P) ermittelt wird, der angibt, mit welcher Wahrscheinlichkeit sich innerhalb einer vorgegebenen Pixel-Umgebung das Abbild der Begrenzung (B) eines hindernisfreien Bereichs befindet, c) dass für das Digitalbild (D) eine Koordinaten-Parametrisierung mit zwei Parametern vorgegeben wird, die insbesondere den Pixelkoordinaten entspricht, d) dass eine Begrenzungskurve (BK) des hindernisfreien Bereichs, insbesondere in Form eines Streckenzugs, als Kurve ermittelt wird, auf der sich Bildpunkte befinden, die - verglichen mit Bildpunkten in ihrer Umgebung - einen hohen Begrenzungsindikatorwert (BI) aufweisen, e) dass das Abbild des hindernisfreien Bereichs durch die Begrenzungskurve (BK) und gegebenenfalls weitere vorab vorgegebene Kurven oder Geraden, insbesondere die Begrenzungskanten des Digitalbilds (D), festgelegt wird.

Description

Beschreibung
[0001] Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Detektion des Abbilds eines hindernisfreien, eine Bildaufnahmeeinheit umgebenden Bereichs gemäß dem Oberbegriff des Patentanspruchs 1 und des Patentanspruchs 14.
[0002] Aus dem Stand der Technik sind Orientierungshilfen wie z. B. taktile Bodenleitsysteme im städtischen Raum bekannt, anhand derer sich Personen mit eingeschränktem Sehvermögen z. B. mithilfe eines Blindenstock oder Langstocks selbstständig orientieren und bewegen können. Nachteil bei derartigen Orientierungshilfen ist allerdings, dass diese im ländlichen Raum kaum vorhanden sind und dass diese für Personen mit eingeschränkter Motorik schwer oder gar nicht nutzbar sind.
[0003] Aus der AT 513881 A2 ist weiters eine im ländlichen Raum oder der freien Natur oder auch für Personen mit eingeschränktem Sehvermögen und eingeschränkter Motorik nutzbare Vorrichtung zur Detektierung einer Umgebung bekannt. Die Vorrichtung kann beispielsweise in einen Schuh oder einen Blindenstock oder Langstock eingebaut werden und ermittelt mithilfe eines Abstandssensors ein Abstand zu einem potentiellen Hindernis. Je nach ermitteltem Abstand wird über eine Feedback-Einheit eine Warnung an den Benutzer übermittelt.
Nachteil bei der bekannten Vorrichtung ist allerdings, dass lediglich ein einziger Abstandswert angegeben ist, der festlegt, wie weit sich ein Gegenstand vom der Aufnahmeeinheit entfernt befindet, wobei die Entfernungsmessung lediglich entlang einer einzigen Richtung ausgehend von der Aufnahmeeinheit gemessen wird.
[0004] In der KR 20140087091 A und der WO 2015 143203 A1 sind Verfahren und Vorrichtungen zu Detektion einer hindernisfreien Umgebung für blinde Personen beschrieben, die beispielsweise die Ermittlung von Begrenzungskurven für einzelne Pixel und die Verwendung neuronaler Netzwerke zeigen.
[0005] Aufgabe der Erfindung ist es daher, die aus dem Stand der Technik bekannte Vorrichtung zur Abstandsdetektion zu verbessern und ein Verfahren bereitzustellen, das eine gefahrlose Fortbewegung von Personen mit eingeschränktem Sehvermögen und eingeschränkter Motorik in jeder Umgebung sicherstellt. Insbesondere ist es Aufgabe der Erfindung, auch richtungsabhängige Abstandsinformationen zur Verfügung zu stellen, die für eine Vielzahl von Richtungen, insbesondere für jede Bildspalte des Digitalbilds, jeweils einen auf diese Richtung bezogenen Abstand angeben.
[0006] Die Erfindung löst diese Aufgabe bei einem Verfahren der eingangs genannten Art, wobei a) mit der Bildaufnahmeeinheit zumindest eine Aufnahme eines Teilbereichs der Umgebung der Bildaufnahmeeinheit erstellt wird und basierend auf dieser zumindest einen Aufnahme ein Digitalbild erstellt wird, mit den in Anspruch 1 angegebenen Merkmalen. Es ist erfindungsgemäß vorgesehen,
b) dass das so erstellte Digitalbild auf das Vorliegen möglicher Begrenzungen eines hindernisfreien Bereichs untersucht wird, wobei für einzelne Pixel des Digitalbilds jeweils ein Begrenzungsindikatorwert abhängig von den pixelweise vorgegebenen Bilddaten des Digitalbilds innerhalb einer Umgebung des jeweiligen Pixels ermittelt wird, der angibt, mit welcher Wahrscheinlichkeit sich innerhalb einer vorgegebenen Pixel-Umgebung das Abbild der Begrenzung eines hindernisfreien Bereichs befindet,
c) dass für das Digitalbild eine Koordinaten-Parametrisierung mit zwei Parametern vorgegeben wird, die insbesondere den Pixelkoordinaten entspricht,
d) dass eine Begrenzungskurve des hindernisfreien Bereichs, insbesondere in Form eines Streckenzugs, als Kurve ermittelt wird, auf der sich Bildpunkte befinden, die - verglichen mit Bildpunkten in ihrer Umgebung - einen hohen Begrenzungsindikatorwert aufweisen,
e) dass das Abbild des hindernisfreien Bereichs durch die Begrenzungskurve und gegebenenfalls weitere vorab vorgegebene Kurven oder Geraden, insbesondere die Begrenzungskanten des Digitalbilds, festgelegt wird.
Um ein besonders zuverlässiges Abbild des hindernisfreien, die Bildaufnahmeeinheit umgeben-
den Bereichs, zur Verfügung zu stellen, kann vorgesehen sein, dass als Begrenzungskurve ein Streckenzug gewählt wird, der durch eine Anzahl von Pixeln des Digitalbilds verläuft, wobei für eine Anzahl von vorgegebenen ersten Parametern, insbesondere für jede Bildspalte des Digitalbilds oder für eine Anzahl von Bildspalten mit jeweils einer vorgegebenen x-Koordinate, jeweils ein Bildpunkt, insbesondere ein Pixel, ausgewählt wird, durch das der Streckenzug verläuft.
[0007] Um die Begrenzungskurve besonders zuverlässig zu ermitteln, kann vorgesehen sein, dass zur Ermittlung der Begrenzungskurve in Schritt d) ein Optimierungsverfahren durchgeführt wird, bei dem für einzelne in Betracht kommende Begrenzungskurven jeweils für einzelne Bildpunkte auf der jeweiligen Begrenzungskurve, insbesondere für eine Vielzahl von Bildpunkten mit jeweils vorgegebenen ersten Parametern oder x- Koordinaten, jeweils ein zu optimierender Maßwert ermittelt wird, der sich aus den folgenden Teilmaßwerten zusammensetzt,
- dem Begrenzungsindikatorwert, sowie
- dem Wert des zweiten Parameters, insbesondere der y-Koordinate, oder eines davon abgeleiteten Werts, und/oder
- dem Unterschied des zweiten Parameters im jeweiligen Punkt vom zweiten Parameter in einem auf derselben Begrenzungskurve liegenden benachbarten Punkt, dessen erster Parameter um einen vorgegebenen Wert abweicht, und der insbesondere in einer benachbarten Spalte des Digitalbilds liegt, oder ein von diesem Unterschied abgeleiteter Wert.
[0008] Zur Ermittlung einer besonders glatten Begrenzungskurve welche vorzugsweise in Bodennähe verläuft, sodass beispielsweise vom Boden vertikal entfernt verlaufende Fensterkanten bei der Ermittlung der Begrenzungskurve ignoriert werden, kann vorgesehen sein, dass zur Ermittlung der Begrenzungskurve in Schritt d) ein Optimierungsverfahren durchgeführt wird, bei dem für einzelne in Betracht kommende Begrenzungskurven jeweils diejenigen Bildpunkte auf der jeweiligen Begrenzungskurve, insbesondere für eine Vielzahl von Bildpunkten mit jeweils vorgegebenen ersten Parametern oder x-Koordinaten, gewählt werden,
- die im Vergleich zu anderen Bildpunkten, insbesondere mit demselben vorgegebenen ersten Parameter oder derselben x-Koordinate, möglichst hohe Begrenzungsindikatorwerte und/oder
- die möglichst hohe Werte des zweiten Parameters, insbesondere der y-Koordinate, aufweisen und/oder
- die einen zweiten Parameter, insbesondere eine y-Koordinate, aufweisen, der näherungsweise dem zweiten Parameter des jeweiligen Nachbarpunkts auf der Begrenzungskurve entspricht oder zu diesem zweiten Parameter nur geringen Unterschied aufweist, insbesondere sodass aus der Lage der Bildpunkte eine Begrenzungskurve resultiert, deren Anderung in Richtung des zweiten Parameters, insbesondere der y-Koordinate, möglichst gering ist.
[0009] Eine hohe Genauigkeit und Zuverlässigkeit bei der Erkennung einer Begrenzung eines hindernisfreien Bereichs kann erzielt werden, wenn der Begrenzungsindikatorwert pixelweise mittels eines neuronalen Netzwerks, insbesondere für alle Pixel auf dieselbe Weise und unabhängig von den übrigen Pixeln, berechnet wird, wobei das neuronale Netzwerk als Eingangswerte die einzelnen Helligkeits- oder Farbwerte innerhalb einer, insbesondere für jedes Pixel gleich vorgegebenen, Umgebung um das jeweilige Pixel, insbesondere mit vorgegebener relativer Lage zum jeweiligen Pixel, erhält.
[0010] Um ein effektives Training für neuronale Netzwerke bereitzustellen, sodass sie genaue Begrenzungsindikatorwerte liefern, kann vorgesehen sein, dass das neuronale Netzwerk unter Verwendung einer Vielzahl von vorgegebenen Trainingsbildern erstellt wird, wobei für jedes der Trainingsbilder jeweils eine Trainings-Begrenzungskurve vorgegeben wird und das neuronale Netzwerk darauf trainiert wird, für das jeweilige Trainingsbild, in den im Bereich der TrainingsBegrenzungskurve liegenden Bildpunkte einen Begrenzungsindikatorwert zu liefern, der von den im übrigen Bildbereich ermittelten Begrenzungsindikatorwerten abweicht.
[0011] Ein weiterer Vorteil der Erfindung ist darin begründet, dass im Gegensatz zu aus dem Stand der Technik bekannten Verfahren im Rahmen des Trainings lediglich manuell festgelegt wird, wo die Grenzen des begehbaren Bereichs liegen, oder nicht. Dadurch fällt der Annotationsaufwand wesentlich geringer aus, als bei bekannten Verfahren, welche mit den Pixeln jeweils
noch weitere Informationen wie beispielsweise, dass es sich dabei um ein Pixel, welches z. B. einen Teil eines Fensters oder einer Wand darstellt, handelt, hinterlegen.
[0012] Um für einen Benutzer des Verfahrens eine besonders gefahrlose Fortbewegung sicherzustellen, kann vorgesehen sein, dass die tatsächliche Größe und Form des abgebildeten hindernisfreien Bereichs innerhalb der Umgebung der Bildaufnahmeeinheit ermittelt wird,
- aufgrund der Lage des hindernisfreien Bereichs im Digitalbilds,
- aufgrund der relativen Lage, insbesondere Höhe und Ausrichtung, der Bildaufnahmeeinheit gegenüber der Umgebung,
- gegebenenfalls Parametern der Bildaufnahmeeinheit, insbesondere Auflösung und Brennweite, sowie
- unter der Annahme, dass der im Digitalbild erfasste hindernisfreie Bereich auf einer vorgegebenen dreidimensionalen Fläche, insbesondere auf einer Ebene, liegt.
[0013] Um ein erfindungsgemäßes Verfahren besonders für Personen mit eingeschränktem Sehvermögen und eingeschränkter Motorik flexibel einsetzbar zu machen, kann vorgesehen sein, dass die zumindest eine Aufnahme mit einer fest an einer Person oder an einem Tier montierten, insbesondere in einem Schuh, Handschuh, Gurt, Helm Gehstock oder Gehhilfe angeordneten, Bildaufnahmeeinheit aufgenommen wird.
[0014] Um ein erfindungsgemäßes Verfahren nicht fortlaufend, sondern nur gezielt unter vorgegebenen Bedingungen durchzuführen, sodass beispielsweise eine zur Durchführung des Verfahrens benötigte Bildaufnahmeeinheit nicht permanent mit Spannung versorgt werden muss, kann vorgesehen sein, dass die Lage und Ausrichtung der Bildaufnahmeeinheit überwacht wird und die Bildaufnahmeeinheit nur dann Bilder erstellt oder die Schritte b) bis e) nur dann durchgeführt werden,
- wenn die Bildaufnahmeeinheit in einer vorgegebenen Lage ist, bei der sowohl die Ausrichtung der horizontalen Bildachse der Bildaufnahmeeinheit als auch die Blickrichtung der Bildaufnahmeeinheit annähernd waagrecht, insbesondere mit einer Winkelabweichung von höchstens 30° um eine waagrechte Achse, ausgerichtet sind, oder
- wenn der die Bildaufnahmeeinheit enthaltende Schuh vollständig auf den Boden aufgesetzt ist.
[0015] Um den Ablauf eines erfindungsgemäßen Verfahrens gezielt zu starten, kann von Vorteil sein, dass die Digitalbilder mit einer in einem Schuh montierten Bildaufnahmeeinheit aufgenommen werden, wobei die Höhe der Bildaufnahmeeinheit über dem Boden ermittelt wird, wenn der Schuh auf dem Boden steht und
die tatsächliche Größe und Form des abgebildeten hindernisfreien Bereichs erfindungsgemäß unter der Voraussetzung bestimmt wird, dass sich die Bildaufnahmeeinheit in der ermittelten Höhe befindet.
[0016] Eine besonders gefahrlose Fortbewegung kann für Personen mit eingeschränktem Sehvermögen und eingeschränkter Motorik ermöglicht werden, wenn in Schritt b) neben dem Begrenzungsindikatorwert auch ein Hindernisindikator ermittelt wird, der angibt, von welcher Art von Hindernis der hindernisfreie Bereich begrenzt wird, und wenn für einzelne Bildpunkte auf der Begrenzungskurve jeweils der Hindernisindikator ermittelt wird und vorzugsweise der Person dargestellt wird.
[0017] Zur einfachen und präzisen Bereitstellung eines Abstands zur Begrenzung des hindernisfreien Bereichs für einen Benutzer eines erfindungsgemäßen Verfahrens, kann vorgesehen sein, dass ein erster Abstand der Begrenzungskurve oder zumindest eines Punkts auf der Begrenzungskurve des hindernisfreien Bereichs von der Bildaufnahmeeinheit ermittelt wird, - dass zusätzlich zur Aufnahme des Digitalbilds durch Abstandsmessung mittels Ultraschall ein zweiter Abstand bestimmt wird, wobei ein hierfür verwendeter Ultraschallsensor im Bereich der Bildaufnahmeeinheit angeordnet ist und - nach derselben Richtung ausgerichtet ist wie die Bildaufnahmeeinheit, oder - einen mit dem Aufnahmebereich der Bildaufnahmeeinheit teilweise überlappenden Erfassungsbereich aufweist, - dass der zweite Abstand und der erste Abstand des hindernisfreien Bereichs miteinander ver-
glichen werden und ein weiterer Abstandsmesswert unter Verwendung des ersten Abstands und des zweiten Abstands erstellt wird, wobei vorzugsweise bei Abweichungen jeweils der jeweils geringere Abstand als weiterer Abstandsmesswert angesehen wird.
Die Erfindung betrifft weiters ein Verfahren, das sicherstellt, dass sich eine Person mit eingeschränktem Sehvermögen und eingeschränkter Motorik selbstständig in einer Umgebung fortbewegen kann, da die Person vor Hindernissen gewarnt wird. Erfindungsgemäß ist dabei vorgesehen, dass ein der Größe des hindernisfreien Bereichs entsprechender Abstandswert um eine Person ermittelt oder vorgegeben wird, und anschließend abhängig von diesem Abstandswert an zumindest einer Körperstelle, insbesondere in zumindest einem Schuh, der Person zumindest eines von mehreren sequentiell in Richtung des sensibleren Körperbereichs, insbesondere zur Fußspitze hin, angeordneten Aktuatorelementen, insbesondere Vibrationselementen, aktiviert wird, wobei die Auswahl der Aktuatorelemente abhängig vom Abstandswert vorgenommen wird und wobei ein Aktuatorelement in einem umso sensibleren Körperbereich ausgewählt wird, insbesondere umso näher bei der Fußspitze ausgewählt wird, je kleiner der Abstandswert ist.
Die Erfindung betrifft weiters eine Vorrichtung zur Detektion des Abbilds eines hindernisfreien, eine Bildaufnahmeeinheit umgebenden Bereichs umfassend eine Bildaufnahmeeinheit und eine der Bildaufnahmeeinheit nachgeschaltete Verarbeitungseinheit. Erfindungsgemäß ist dabei vorgesehen, dass die Bildaufnahmeeinheit zur Erstellung zumindest einer Aufnahme eines Teilbereichs der Umgebung der Bildaufnahmeeinheit und zur Übermittlung der Aufnahme an die Verarbeitungseinheit ausgebildet ist und dass die Verarbeitungseinheit dazu ausgebildet ist,
- ein Digitalbild basierend auf dieser zumindest einen Aufnahme zu erstellen und das so erstellte Digitalbild auf das Vorliegen möglicher Begrenzungen eines hindernisfreien Bereichs zu untersuchen,
- für einzelne Pixel des Digitalbilds jeweils ein Begrenzungsindikatorwert abhängig von den pixelweise vorgegebenen Bilddaten des Digitalbilds innerhalb einer Umgebung des jeweiligen Pixels zu ermitteln, der angibt, mit welcher Wahrscheinlichkeit sich innerhalb einer vorgegebenen PixelUmgebung das Abbild der Begrenzung eines hindernisfreien Bereichs befindet,
- für das Digitalbild eine Koordinaten-Parametrisierung mit zwei Parametern vorzugeben, die insbesondere den Pixelkoordinaten entspricht,
- eine Begrenzungskurve des hindernisfreien Bereichs, insbesondere in Form eines Streckenzugs, als Kurve zu ermitteln, auf der sich Bildpunkte befinden, die - verglichen mit Bildpunkten in ihrer Umgebung - einen hohen Begrenzungsindikatorwert aufweisen, und
- das Abbild des hindernisfreien Bereichs durch die Begrenzungskurve und gegebenenfalls weitere vorab vorgegebene Kurven oder Geraden, insbesondere die Begrenzungskanten des Digitalbilds, festzulegen.
[0018] Zur Ermittlung eines zuverlässigen Abbilds des hindernisfreien, die Bildaufnahmeeinheit umgebenden Bereichs, kann vorgesehen sein, dass die Verarbeitungseinheit dazu ausgebildet ist,
- als Begrenzungskurve einen Streckenzug zu wählen, wobei der Streckenzug durch eine Anzahl von Pixeln des Digitalbilds verläuft, und
- für eine Anzahl von vorgegebenen ersten Parametern, insbesondere für jede Bildspalte des Digitalbilds oder für eine Anzahl von Bildspalten mit jeweils einer vorgegebenen x-Koordinate, jeweils einen Bildpunkt, insbesondere ein Pixel, auszuwählen, durch das der Streckenzug verläuft.
[0019] Zur besonders zuverlässig Ermittlung der Begrenzungskurve kann bei einer Ausführungsform der Erfindung vorgesehen sein, dass die Verarbeitungseinheit dazu ausgebildet ist, zur Ermittlung der Begrenzungskurve ein Optimierungsverfahren durchzuführen, wobei die Verarbeitungseinheit dazu ausgebildet ist, für einzelne in Betracht kommende Begrenzungskurven jeweils für einzelne Bildpunkte auf der jeweiligen Begrenzungskurve, insbesondere für eine Vielzahl von Bildpunkten mit jeweils vorgegebenen ersten Parametern oder x-Koordinaten, jeweils ein zu optimierender Maßwert zu ermitteln, wobei sich der aus den folgenden Teilmaßwerten zusammensetzt:
- dem Begrenzungsindikatorwert, sowie
- dem Wert des zweiten Parameters, insbesondere der y-Koordinate, oder eines davon abgelei-
teten Werts, und/oder
- dem Unterschied des zweiten Parameters im jeweiligen Punkt vom zweiten Parameter in einem auf derselben Begrenzungskurve liegenden benachbarten Punkt, dessen erster Parameter um einen vorgegebenen Wert abweicht, und der insbesondere in einer benachbarten Spalte des Digitalbilds liegt, oder ein von diesem Unterschied abgeleiteter Wert.
[0020] Um einen glatten Verlauf der Begrenzungskurve bevorzugt in Bodennähe sicherzustellen, bei dem vertikal vom Boden entfernt verlaufende Kanten unberücksichtigt bleiben, kann vorgesehen sein, dass die Verarbeitungseinheit dazu ausgebildet ist, zur Ermittlung der Begrenzungskurve ein Optimierungsverfahren durchzuführen, wobei die Verarbeitungseinheit dazu ausgebildet ist, für einzelne in Betracht kommende Begrenzungskurven jeweils diejenigen Bildpunkte auf der jeweiligen Begrenzungskurve, insbesondere für eine Vielzahl von Bildpunkten mit jeweils vorgegebenen ersten Parametern oder x-Koordinaten, auszuwählen,
- die im Vergleich zu anderen Bildpunkten, insbesondere mit demselben vorgegebenen ersten Parameter oder derselben x-Koordinate, möglichst hohe Begrenzungsindikatorwerte und/oder möglichst hohe Werte des zweiten Parameters, insbesondere der y-Koordinate, aufweisen und/ oder
- die einen zweiten Parameter, insbesondere eine y-Koordinate, aufweisen, der näherungsweise dem zweiten Parameter des jeweiligen Nachbarpunkts auf der Begrenzungskurve entspricht oder zu diesem zweiten Parameter nur geringen Unterschied aufweist, sodass insbesondere aus der Lage der Bildpunkte eine Begrenzungskurve resultiert, deren Anderung in Richtung des zweiten Parameters, insbesondere der y-Koordinate, möglichst gering ist.
[0021] Zum Erzielen einer hohen Genauigkeit und Zuverlässigkeit bei der Erkennung einer Begrenzung eines hindernisfreien Bereichs kann vorgesehen sein, dass die Verarbeitungseinheit dazu ausgebildet ist,
- den Begrenzungsindikatorwert pixelweise mittels eines neuronalen Netzwerks, insbesondere für alle Pixel auf dieselbe Weise und unabhängig von den übrigen Pixeln, zu berechnen, und
- dem neuronalen Netzwerk als Eingangswerte die einzelnen Helligkeits- oder Farbwerte innerhalb einer, insbesondere für jedes Pixel gleich vorgegebenen, Umgebung um das jeweilige Pixel, insbesondere mit vorgegebener relativer Lage zum jeweiligen Pixel, zu übergeben.
[0022] Zum effektiven Training der neuronalen Netzwerke, sodass diese genaue Begrenzungsindikatorwerte liefern, kann vorgesehen sein, dass die Verarbeitungseinheit dazu ausgebildet ist, - das neuronale Netzwerk unter Verwendung einer Vielzahl von vorgegebenen Trainingsbildern zu erstellen, und
- für jedes der Trainingsbilder jeweils eine Trainings-Begrenzungskurve vorzugeben und das neuronale Netzwerk darauf zu trainieren, für das jeweilige Trainingsbild, in den im Bereich der Trainings-Begrenzungskurve liegenden Bildpunkte einen Begrenzungsindikatorwert zu liefern, der von den im übrigen Bildbereich ermittelten Begrenzungsindikatorwerten abweicht.
[0023] Um eine gefahrlose Fortbewegung eines Benutzers einer erfindungsgemäßen Vorrichtung in einer ihm unbekannten Umgebung zu gewährleisten, kann vorgesehen sein, dass die Verarbeitungseinheit dazu ausgebildet ist, die tatsächliche Größe und Form des abgebildeten hindernisfreien Bereichs innerhalb der Umgebung der Bildaufnahmeeinheit zu ermitteln,
- aufgrund der Lage des hindernisfreien Bereichs im Digitalbilds,
- aufgrund der relativen Lage, insbesondere Höhe und Ausrichtung, der Bildaufnahmeeinheit gegenüber der Umgebung,
- gegebenenfalls Parametern der Bildaufnahmeeinheit, insbesondere Auflösung und Brennweite, sowie
- unter der Annahme, dass der im Digitalbild erfasste hindernisfreie Bereich auf einer vorgegebenen dreidimensionalen Fläche, insbesondere auf einer Ebene, liegt.
Um eine erfindungsgemäße Vorrichtung für eine Person mit eingeschränktem Sehvermögen und eingeschränkter Motorik auf vielfältige Weise mitführbar zu machen, kann vorgesehen sein, dass die Bildaufnahmeeinheit fest an einer Person oder an einem Tier montiert ist, insbesondere in einem Schuh, Handschuh, Gurt, Helm Gehstock oder Gehhilfe angeordnet ist.
Bei einer besonders energiesparenden Ausführungsform der Erfindung, bei der beispielsweise
die Bildaufnahmeeinheit nicht permanent mit Spannung versorgt werden muss, kann vorgesehen sein, dass die Verarbeitungseinheit dazu ausgebildet ist, die Lage und Ausrichtung der Bildaufnahmeeinheit zu überwachen und weitere Verarbeitungsschritte nur dann durchzuführen, - wenn die Bildaufnahmeeinheit in einer vorgegebenen Lage ist, bei der sowohl die Ausrichtung der horizontale Bildachse der Bildaufnahmeeinheit als auch die Blickrichtung der Bildaufnahmeeinheit annähernd waagrecht, insbesondere mit einer Winkelabweichung von höchstens 30° um eine waagrechte Achse, ausgerichtet sind, oder - wenn der die Bildaufnahmeeinheit enthaltende Schuh vollständig auf den Boden aufgesetzt ist - und/oder dass die Bildaufnahmeeinheit dazu ausgebildet ist, nur dann Bilder zu erstellen - wenn die Bildaufnahmeeinheit in einer vorgegebenen Lage ist, bei der sowohl die Ausrichtung der horizontale Bildachse der Bildaufnahmeeinheit als auch die Blickrichtung der Bildaufnahmeeinheit annähernd waagrecht, insbesondere mit einer Winkelabweichung von höchstens 30° um eine waagrechte Achse, ausgerichtet sind, oder - wenn der die Bildaufnahmeeinheit enthaltende Schuh vollständig auf den Boden aufgesetzt ist. Zum gezielten Starten der Aufnahme von Digitalbildern und ermitteln von Parametern mit der Bildaufnahmeeinheit kann vorgesehen sein, dass die Bildaufnahmeeinheit in einem Schuh montiert ist, wobei die Verarbeitungseinheit dazu ausgebildet ist, die Höhe der Bildaufnahmeeinheit über dem Boden zu ermitteln, wenn der Schuh auf dem Boden steht und die tatsächliche Größe und Form des abgebildeten hindernisfreien Bereichs unter der Voraussetzung zu bestimmen, dass sich die Bildaufnahmeeinheit in der ermittelten Höhe befindet. Zur besonders gefahrlosen Fortbewegung für Personen mit eingeschränktem Sehvermögen und eingeschränkter Motorik in einer ihnen fremden Umgebung kann vorgesehen sein, dass die Verarbeitungseinheit dazu ausgebildet ist, - neben dem Begrenzungsindikatorwert auch ein Hindernisindikator zu ermitteln, der angibt, von welcher Art von Hindernis der hindernisfreie Bereich begrenzt wird, und - für einzelne Bildpunkte auf der Begrenzungskurve jeweils der Hindernisindikator zu ermitteln. Zur einfachen und präzisen Bereitstellung eines Abstands zur Begrenzung des hindernisfreien Bereichs für einen Benutzer, kann vorgesehen sein, dass eine erfindungsgemäße Vorrichtung einen im Bereich der Bildaufnahmeeinheit angeordneten Ultraschallsensor umfasst, wobei der Ultraschallsensor
- nach derselben Richtung ausgerichtet ist wie die Bildaufnahmeeinheit, oder
- einen mit dem Aufnahmebereich der Bildaufnahmeeinheit teilweise überlappenden Er-
fassungsbereich aufweist, dadurch gekennzeichnet, dass die Verarbeitungseinheit dazu ausgebildet ist, - einen ersten Abstand der Begrenzungskurve oder zumindest eines Punkts auf der Begrenzungskurve des hindernisfreien Bereichs von der Bildaufnahmeeinheit zu ermitteln, - zusätzlich zur Aufnahme des Digitalbilds durch Abstandsmessung mittels des Ultraschallsensors einen zweiten Abstand zu bestimmen, und - den zweiten Abstand und den ersten Abstand des hindernisfreien Bereichs miteinander zu vergleichen und einen weiteren Abstandsmesswert unter Verwendung des ersten Abstands und des zweiten Abstands zu erstellen, und - vorzugsweise bei Abweichungen jeweils den jeweils geringeren Abstand als weiteren Abstandsmesswert festzulegen.
[0024] Zur Darstellung der ermittelten Parameter für einen Benutzer während der Fortbewegung in einer ihm unbekannten Umgebung kann vorgesehen sein, dass eine erfindungsgemäße Vorrichtung eine Feedback-Einheit umfasst, wobei die Feedback-Einheit zur, insbesondere drahtlosen, Datenkommunikation mit der Verarbeitungseinheit und zur Darstellung des ermittelten Abstandsmesswerts und/oder des ermittelten Hindernisindikatorwerts und/oder der tatsächlichen Größe und Form des abgebildeten hindernisfreien Bereichs für die Person ausgebildet ist.
[0025] Die Erfindung betrifft weiters eine Vorrichtung, die einer Person mit eingeschränktem Sehvermögen und eingeschränkter Motorik ein selbstständiges Fortbewegen in einer unbekannten Umgebung ermöglicht, da die Vorrichtung die Person vor Hindernissen warnt. Erfindungsgemäß ist dabei vorgesehen, dass die Feedback-Einheit als Schuh mit Aktuatorelementen ausgebildet ist, und dass die Verarbeitungseinheit dazu ausgebildet ist,
- einen der Größe des hindernisfreien Bereichs entsprechender Abstandswert um eine Person zu ermitteln oder vorzugeben, und
- abhängig von diesem Abstandswert die Feedback-Einheit anzusteuern,
im Schuh der Person zumindest eines von mehreren sequentiell in Richtung des sensibleren Körperbereichs, insbesondere zur Fußspitze hin, angeordneten Aktuatorelementen, insbesondere Vibrationselementen, zu aktivieren, die Auswahl der Aktuatorelemente abhängig vom Abstandswert vorzunehmen, und ein Aktuatorelement in einem umso sensibleren Körperbereich auszuwählen, insbesondere umso näher bei der Fußspitze auszuwählen, je kleiner der Abstandswert ist.
[0026] Weitere Vorteile und Ausgestaltung der Erfindung ergeben sich aus der Beschreibung und den beiliegenden Zeichnungen.
[0027] Beispielhafte Ausführungsformen der Erfindung sind in den Zeichnungen schematisch dargestellt und werden im Folgenden unter Bezugnahme auf die Zeichnungen beispielhaft beschrieben.
[0028] Fig. 1 zeigt eine Umgebung um eine Bildaufnahmeeinheit.
[0029] Fig. 2 zeigt eine Verteilung der Begrenzungsindikatorwerte in einem Abbild der Umgebung.
[0030] Fig. 2a zeigt einen Ausschnitt von Pixeln aus Fig. 2.
[0031] Fig. 3 zeigt schematisch die ermittelte Begrenzungskurve in einem Abbild der Umgebung.
[0032] Fig. 4 zeigt einen Schuh mit Aktuatorelementen.
[0033] Fig. 5 zeigt die spaltenweise Berechnung von Potentialen mittels des Viterbi-Algorithmus für das Beispiel in Fig. 2a.
[0034] Fig. 6 zeigt die berechneten Potentiale für das Beispiel in Fig. 2a. [0035] Fig. 7 zeigt den ermittelten Verlauf der Begrenzungskurve.
[0036] Fig. 1 zeigt eine Umgebung 10 in Form eines Raums, in dem sich eine Person mit eingeschränktem Sehvermögen fortbewegen möchte. In einer der den Raum begrenzenden Wände ist ein Fenster angeordnet, wobei das Fenster eine untere Fensterkante 12 aufweist. Da der Raum der Person nicht bekannt ist, ist sie auf Hilfsmittel angewiesen, die sie vor Hindernissen, wie beispielsweise zwei in Fortbewegungsrichtung der Person befindlichen Wänden, warnen und beispielsweise den begehbaren, hindernisfreien Bereich erkennen.
[0037] Die Person trägt daher ein Hilfsmittel, wie beispielsweise einen Schuh 20, in dem eine Bildaufnahmeeinheit 1 angeordnet ist. Bei der im Schuh 20 montierten Bildaufnahmeeinheit 1 handelt es sich um eine wasserdichte, robuste Kamera, wie sie häufig beispielsweise im Sportbereich Einsatz findet. Derartige Kameras sind klein genug, dass sie auch in einem Schuh 20 Platz finden. Die Bildaufnahmeeinheit 1 ist im in Fig. 1 gezeigten Ausführungsbeispiel an der Schuhspitze im Bereich der Zehen des Trägers des Schuhs 20 angeordnet und in Fortbewegungsrichtung des Trägers des Schuhs 20 ausgerichtet.
[0038] Im in Fig. 1 gezeigten Ausführungsbeispiel sind im Schuh 20 zusätzlich zur Bildaufnahmeeinheit 1, eine Verarbeitungseinheit 4, ein Energiespeicher 3 und ein Ultraschallsensor 2 angeordnet. Die Bildaufnahmeeinheit 1 ist dazu ausgebildet Aufnahmen in Form von Digitalbildern zur Verfügung zu stellen und von ihr erstellte Digitalbilder D an die Verarbeitungseinheit 4 weiterzuleiten. Die Verarbeitungseinheit 4 ist dazu ausgebildet, die an sie übermittelten Digitalbilder D zu verarbeiten und die im Folgenden näher beschriebenen erfindungsgemäßen Verfahrensschritte durchzuführen. Dabei können selbstverständlich auch mehrere Ultraschallsensoren 2 im Schuh 20 angeordnet sein. Andere zur Durchführung eines erfindungsgemäßen Verfahrens oder zur Übermittlung der ermittelten Hindernisse benötigte Vorrichtungen wie beispielsweise eine Feedback-Einheit können ebenfalls im Schuh 20 angeordnet sein, oder auch unabhängig vom Hilfsmittel von der Person am Körper getragen oder auf andere Weise mit sich geführt werden.
[0039] Um das Abbild eines hindernisfreien Bereichs, der die Bildaufnahmeeinheit 1 umgibt, zu erfassen, wird zunächst mit der Bildaufnahmeeinheit 1 zumindest eine Aufnahme eines Teilbereichs des Raums erstellt. Es besteht dabei auch die Möglichkeit, mehrere Aufnahmen zu erstellen und diese zu einem einzigen Digitalbild D zusammenzufügen, insbesondere auch aus mehreren unterschiedlichen Aufnahmen eine auszuwählen und das Digitalbild D basierend auf dieser Aufnahme zu erstellen. Ebenso kann das Digitalbild D als Resultat unterschiedlicher Zwischenverarbeitungsschritte wie insbesondere Filtern, Schärfen, Farbkorrekturen etc aus einer oder mehreren Aufnahmen erstellt werden. Diese Schritte können alternativ auch in der unten beschriebenen Verarbeitungseinheit 4 vorgenommen werden.
[0040] Das so erstellte Digitalbild D wird von der Bildaufnahmeeinheit 1 an die Verarbeitungseinheit 4 weitergeleitet und von der Verarbeitungseinheit 4 auf das Vorliegen möglicher Begrenzungen B des hindernisfreien Bereichs untersucht. Diese im Digitalbild D zu findende Begrenzung B des hindernisfreien Bereichs entspricht im in Fig. 1 dargestellten Raum der Mauerkante 11.
[0041] Zur Überprüfung, ob im Digitalbild D eine Begrenzung B eines hindernisfreien Bereichs vorliegt, wird von der Verarbeitungseinheit 4 für einzelne Pixel P, insbesondere für alle Pixel, des Digitalbilds D jeweils ein Begrenzungsindikatorwert BI ermittelt. Dazu wird für die pixelweise vorgegebenen Bilddaten des Digitalbilds D jeweils eine Umgebung um jedes Pixel P festgelegt, innerhalb derer der Begrenzungsindikatorwert BI für das jeweilige Pixel P ermittelt wird. Der Begrenzungsindikatorwert BI gibt dabei an, mit welcher Wahrscheinlichkeit sich innerhalb einer vorgegebenen Pixel-Umgebung das Abbild der Begrenzung B eines hindernisfreien Bereichs befindet.
[0042] Um die Bereiche zu bestimmen, an denen sich eine Begrenzung B befindet, die den begehbaren Bereich begrenzt, wird zur Ermittlung des Begrenzungsindikatorwerts BI im gezeigten Ausführungsbeispiel ein neuronales Netzwerk verwendet. Das neuronale Netzwerk berechnet pixelweise, insbesondere für alle Pixel P auf dieselbe Weise, den Begrenzungsindikatorwert Bl. Als Eingangswerte werden dem neuronalen Netzwerk dabei die einzelnen Helligkeits- oder Farbwerte innerhalb einer Umgebung um das jeweilige Pixel P übergeben. Die Umgebung um das jeweilige Pixel P kann vorteilhafterweise eine quadratische Form aufweisen mit einer Kantenlänge von jeweils 200 Pixeln, in dessen Mittelpunkt sich das jeweilige Pixel P befindet. Selbstverständlich können im Zusammenhang mit der Erfindung auch andere Umgebungen als Eingangswerte für das neuronale Netzwerk verwendet werden.
[0043] Zunächst wird mittels des neuronalen Netzwerks eine Wahrscheinlichkeits-Verteilungskarte berechnet, die für jedes Pixel P ein Begrenzungsindikatorwert BI umfasst. Die Größe der Wahrscheinlichkeits-Verteilungskarte entspricht dabei im Wesentlichen, insbesondere bis auf Randbereiche, der Größe des Digitalbilds. Der Begrenzungsindikatorwert BI gibt dabei eine Wahrscheinlichkeit an, ob die gesuchte Begrenzung B des hindernisfreien Bereichs im jeweiligen Pixel P abgebildet ist.
[0044] Zur Erstellung des neuronalen Netzwerks werden in einer Trainingsphase eine Vielzahl von vorgegebenen Trainingsbildern verwendet, wobei für jedes der Trainingsbilder jeweils eine Trainings-Begrenzungskurve vorgegeben wird und das neuronale Netzwerk darauf trainiert wird, für das jeweilige Trainingsbild, in den im Bereich der Trainings-Begrenzungskurve liegenden Bildpunkte einen Begrenzungsindikatorwert Bl zu liefern, der von den im übrigen Bildbereich ermittelten Begrenzungsindikatorwerten Bl abweicht.
[0045] Um das neuronale Netzwerk so zu erstellen, dass es zuverlässige Begrenzungsindikatorwerte BI liefert und möglichst effektiv Begrenzungen B des hindernisfreien Bereichs erkennt, werden Trainingsbilder verwendet, welche sowohl Digitalbilder D von Umgebungen 10 im Innen-, als auch im Außenbereich umfassen, in denen verschiedene Arten der Begrenzung B eines hindernisfreien Bereichs abgebildet sind. Bei den abgebildeten Begrenzungen B kann es sich beispielsweise um Stufen, Gehsteigkanten, Wände oder andere Begrenzungen B handeln.
[0046] Für das Training des neuronalen Netzwerks werden auch Digitalbilder D von Umgebungen 10 im Außenbereich bei unterschiedlichen Wetterbedingungen verwendet. Um die Effektivität
des Trainings des neuronalen Netzwerks zu erhöhen, werden zusätzlich Bildtransformationen wie Rotation, horizontale Spiegelung, Kontrastveränderung, Helligkeitsveränderung und Weichzeichnung angewendet.
[0047] Fig. 2 zeigt eine schematische beispielhafte Repräsentation mit deutlich verringerter Pixelzahl für vom neuronalen Netzwerk ermittelte Begrenzungsindikatorwerte BI jeweils für die Umgebung um Pixel P eines Ausschnitts eines Abbilds des in Fig. 1 dargestellten Raums. Dabei entsprechen weiße Bereiche Pixeln P, für die ein geringer Begrenzungsindikatorwert BI ermittelt wurde, d.h. dass diese nur mit geringer Wahrscheinlichkeit das Abbild einer Begrenzung des hindernisfreien Bereichs enthalten. Längsschraffierte Bereiche entsprechen Pixeln P, für die ein höherer Begrenzungsindikatorwert BI ermittelt wurde, sodass diese Pixel P mit höherer Wahrscheinlichkeit das Abbild einer Begrenzung B enthalten. Der höchste Begrenzungsindikatorwert Bl wurde in Fig. 2 für längs- und querschraffierte Bereiche ermittelt, sodass diese Pixel P mit der höchsten Wahrscheinlichkeit eine Begrenzung B abbilden.
[0048] Als nächster Verfahrensschritt wird für das Digitalbild eine Koordinaten-Parametrisierung mit zwei Parametern vorgegeben, die insbesondere den Pixelkoordinaten, beispielsweise in Form von einer x- und y-Koordinate, entspricht. Im in Fig. 2 gezeigten schematischen Ausschnitts des Abbilds des Raums gibt die x-Koordinate die Spaltennummer an und nimmt ausgehend vom linken Bildrand nach rechts zu und die y-Koordinate gibt die Zeilennummer an und nimmt ausgehend vom oberen Bildrand nach unten zu.
[0049] Diese Parametrisierung ist jedoch nicht zwingend. Alternativ kann beispielsweise auch ein anderes Koordinatensystem gewählt werden, bei dem ausgehend von einem festgelegten Kamerapunkt Linien gleichen Abstands zum Kamerapunkt in Form von Schichtlinien im Digitalbild D vorgegeben werden.
[0050] Insbesondere ist es bei dieser Parametrisierung auch nicht zwingend, dass sich die einzelnen so vorgegebenen Koordinatenlinien unmittelbar in Pixeln P, d.h. in Bildpunkten, für die unmittelbar Begrenzungsindikatorwerte vorliegen, schneiden. Vielmehr ist es auch möglich, dass für die durch die Parametrisierung vorgegebenen Bildpunkte auch durch Interpolation aus naheliegenden Pixeln P erstellte Begrenzungsindikatorwerte BI vorgegeben und verwendet werden.
[0051] Im Anschluss an die Ermittlung der Begrenzungsindikatorwerte BI wird von der Verarbeitungseinheit 4 eine Begrenzungskurve BK des hindernisfreien Bereichs, insbesondere in Form eines Streckenzugs, als Kurve ermittelt. Dabei wird die Begrenzungskurve BK so gewählt, dass sich auf ihr diejenigen Bildpunkte befinden, die - verglichen mit Bildpunkten in ihrer Umgebung einen hohen Begrenzungsindikatorwert BI aufweisen. Das heißt, dass die Begrenzungskurve BK nicht zwingend durch einzelne Pixel P verlaufend gewählt wird, sondern auch durch zwischen mehreren Pixeln P interpolierten Bildpunkten verlaufend gewählt werden kann.
[0052] Das Abbild des hindernisfreien Bereichs, der für die Person gefahrlos begehbar ist, wird somit durch die Begrenzungskurve BK und gegebenenfalls weitere vorab vorgegebene Kurven oder Geraden, insbesondere die Begrenzungskanten des Digitalbilds D, festgelegt. Im gezeigten Ausführungsbeispiel wird zur Ermittlung der Begrenzungskurve BK der Streckenzug so gewählt, dass er durch eine Anzahl von Pixeln P des Digitalbilds D verläuft. Dabei wird für eine Anzahl von vorgegebenen ersten Parametern, insbesondere für jede Bildspalte des Digitalbilds D oder für eine Anzahl von Bildspalten mit jeweils einer vorgegebenen x-Koordinate, jeweils ein Bildpunkt, insbesondere ein Pixel P, ausgewählt, durch das der Streckenzug verläuft.
[0053] Wie in Fig. 2 ersichtlich ist, ist es auch möglich, dass für zwei oder mehr Pixel P beispielsweise mit derselben x-Koordinate ein gleich hoher Begrenzungsindikatorwert ermittelt wird. In Fig. 2 ist dies beispielsweise durch die in der Abbildung des Raums ebenfalls abgebildete Fensterkante 12 im linken oberen Bereich der Wahrscheinlichkeits-Verteilungskarte der Fall.
[0054] Um derartige mögliche Mehrdeutigkeiten in der vom neuronalen Netzwerk geschätzten Wahrscheinlichkeits-Verteilungskarte zu reduzieren und die wahrscheinlichste Begrenzung des hindernisfreien Bereichs zu finden, wird im gezeigten Ausführungsbeispiel von der Verarbeitungseinheit 4 ein Optimierungsverfahren angewendet. Zur Ermittlung der Begrenzungskurve BK wird
für einzelne in Betracht kommende Begrenzungskurven BK jeweils für einzelne Bildpunkte auf der jeweiligen Begrenzungskurve BK, insbesondere für eine Vielzahl von Bildpunkten mit jeweils vorgegebenen ersten Parametern oder x-Koordinaten, jeweils ein zu optimierender Maßwert ermittelt. Der Maßwert setzt sich dabei aus den folgenden Teilmaßwerten zusammen:
- dem Begrenzungsindikatorwert Bl, sowie
- dem Wert des zweiten Parameters, insbesondere der y-Koordinate, oder eines davon abgeleiteten Werts, und/oder
- dem Unterschied des zweiten Parameters im jeweiligen Punkt vom zweiten Parameter in einem auf derselben Begrenzungskurve BK liegenden benachbarten Punkt, dessen erster Parameter um einen vorgegebenen Wert abweicht, und der insbesondere in einer benachbarten Spalte des Digitalbilds D liegt, oder ein von diesem Unterschied abgeleiteter Wert.
[0055] Da große Sprünge in der Begrenzungskurve BK zwischen zwei benachbarten Spalten meist auf Unsicherheiten in der Wahrscheinlichkeits-Verteilungskarte zurückzuführen sind, kann beispielsweise durch Festlegung von UÜbergangswahrscheinlichkeiten zwischen benachbarten Spalten festgelegt werden, welche mögliche Begrenzungskurve BK zu bevorzugen ist. Mit derartigen Ubergangswahrscheinlichkeiten kann gewählt werden, wie stark die resultierende Begrenzungskurve BK durchgezogen sein soll, bzw. in wie weit Sprünge erlaubt sind.
[0056] Alternativ können beispielsweise Hindernisse, die der Person näher sind, bzw. sich unmittelbar vor der Person befinden, höher bewertet werden, als solche, die von der Person weiter entfernt sind und sich im Hintergrund befinden. Alternativ können mögliche Begrenzungen B, die sich im unteren Bereich des Digitalbilds D befinden, oder auch eine durchgezogene Begrenzung B ohne Sprünge, bevorzugt werden.
[0057] Zur konkreten Bestimmung einer hinsichtlich der vorher genannten Kriterien optimalen Begrenzungskurve BK kann beispielsweise der Viterbi-Algorithmus verwendet werden, der beispielsweise in Viterbi, A., Error bounds for convolutional codes and an asymptotically optimum decoding algorithm. In: IEEE Transactions on Information Theory. Band 13, Nr. 2, 1967, S. 260269, beschrieben ist.
[0058] Das durch den Viterbi-Algorithmus zu maximierende Potential ® zur Ermittlung des Verlaufs der Begrenzungskurve BK im Digitalbild D setzt sich zusammen aus:
- dem Output des neuronalen Netzwerks o„(x;, yı), d.h. den ermittelten Begrenzungungsindikatorwerten Bl bzw. den Wahrscheinlichkeiten, dass ein Pixel P eine Begrenzung B eines hindernisfreien Bereichs enthält, gewichtet mit einem Gewichtungsfaktor w,, ,
- einem von der Höhe des Pixels P im Digitalbild „(x;, yı) abhänigigen Wert, beispielsweise durch dessen y-Koordinate oder einem davon abgeleiteten Wert. Dieser Wert wird mit einem Gewichtungsfaktor w„ gewichtet.
- einem Wert, der von den Nachbarschaftsbeziehungen der einzelnen Punkte auf der Begrenzungskurve abhängt (X; Yı Xi+1, Yir1), gewichtet mit einem Gewichtungsfaktor w,.
Dabei bezeichnet x; bzw. yıi jeweils die x-Koordinate bzw. die y-Koordinate des i-ten Punkts P; auf der Begrenzungskurve BK. Es wird eine Begrenzungskurve mit den Punkten Pi bzw Koordinaten xi, yi gesucht, für die der folgende Summenausdruck ® für eine Begrenzungskurve maximal ist:
DS = 2 WnBn x YA 2 WpOn X Yi) + 2 WE XL Yo Xiry Yirı)
[0059] Im Folgenden wird eine mögliche Implementierung der Ermittlung des Verlaufs der Begrenzungskurve BK mittels des Viterbi-Algorithmus in einem stark vereinfachten Beispiel anhand der in Fig. 2 gekennzeichneten und in Fig. 2a vergrößert dargestellten Pixel erläutert. Typischerweise wird der Viterbi-Algorithmus zur Bestimmung der Begrenzungskurve BK auf das gesamte Bild angewendet.
[0060] Das gezeigte stark vereinfachte Beispiel (Fig. 2a) enthält dabei einen Ausschnitt des Digitalbilds D mit Spalten x = 1...4, und Zeilen y = 1...3, von Pixeln, wobei die Spaltenanzahl bei der Zählung nach links steigt und die Zeilenanzahl bei der Zählung nach unten erhöht wird. Für die gekennzeichneten Pixel sind in Tabelle 1 die vom neuronalen Netzwerk ermittelten Begrenzungsindikatorwerte BI tabellarisch zusammengestellt.
[0061] Tabelle 1: Ermittelte Begrenzungsindikatorwerte BI der ausgewählten Pixel.
X= 1 Xx=2 X=3 Xx=4 y=1 1,0 1,0 3,0 1,0 y=2 2,0 3,0 2,0 3,0 y=3 3,0 2,0 1,0 2,0
[0062] Bei der Ermittlung des Verlaufs der Begrenzungskurve BK basierend auf vollständigen Digitalbildern D kann die Anzahl der Spalten und Zeilen im Bereich von 1000 bis 5000 liegen. Im gezeigten Beispiel werden die in Tabelle 2 aufgelisteten Gewichtungsfaktoren bzw. Funktionen vorgegeben:
[0063] Tabelle 2: Im Beispiel verwendete Gewichtungsfaktoren und Funktionen.
Wr 1,0
On X yı)=Dn (Pi) Bl(xi, yi) = BI(P))
Wr 0,25
On x yı)= On (Pi) y(Pi) = yı
Wr -0,5
OpXu Yo Xi Yirı)= DEP P'u4) [ir — Yıl=|Y(P'u-4)-y(Pi)]
[0064] Zur Ermittlung des Verlaufs der Begrenzungskurve BK wird zunächst für die Spalte x = 1 pixelweise die folgenden Berechnungen durchgeführt, die beispielsweise für das Pixel in der Zeile y=1 dargestellt werden. Dabei wird die Summe aus dem Begrenzungsindikatorwert Bl=1,0 multipliziert mit dem vorgegebenen Gewichtungsfaktor w,„ =1,0 und der Höhe y(P+)=y1=1 multipliziert mit dem Gewichtungsfaktor w, =0,25 für die Höhe gebildet, sodass als Ergebnis 1,25 erhalten wird. Diese Berechnung wird anschließend auf dieselbe Weise für alle Pixel P der Spalte xi=1 durchgeführt. Die berechneten Ergebnisse für die Spalte x = 1 sind in Fig. 5 dargestellt.
[0065] Für die weiteren Spalten wird pixelweise für alle Pixel P die folgende Vorgehensweise gewählt, die beispielhaft für das Pixel in der Zeile y=1 der Spalte x=2 näher dargestellt wird, die Bestimmung erfolgt auf analoge Weise für die übrigen Pixel bzw Spalten.
[0066] Unter allen Pixeln der jeweils vorhergehenden Spalte xi=1 wird jeweils dem ermittelten Potential jeweils der Betrag der Differenz der y-Koordinatenwerte der jeweiligen Pixel |y(Pi.4)y(Pi)|, gewichtet um den Gewichtungsfaktor für die Nachbarschaft w, =-0,5 hinzugezählt (Fig. 5). Unter diesen pixelweise berechneten Werten wird jeweils der Maximalwert aus der jeweiligen Spalte ermittelt. So ergibt sich beispielsweise für das Pixel an der Position xi41=2, y=1 der Maximalwert unter Berücksichtigung des Pixels an der Position xi=1, y=3.
[0067] Zu dem ermittelten Maximalwert werden noch der Begrenzungsindikatorwert BI für das betreffende Pixel sowie die Höhe, jeweils mit den ihnen zugeordneten Gewichtungen addiert, wie dies bereits in Bezug auf die Pixel der ersten Zeile dargestellt wurde, um den Potentialwert für das betreffende Pixel zu bilden: Als Potentialwert © für das Pixel an der Position xi.1=2, y=1 ergibt sich:
O(Pin1) = max ı {B(P) + WolY(Pi)-Y(P)[} + Way(Piai) + Win Pa(Pi)
[0068] Dabei kann zur Bestimmung des Potentials anstelle des y-Koordinatenwerts y(Pi.1) auch ein davon abgeleiteter Wert verwendet werden, beispielsweise das Ergebnis f(y(P;.1)) der Auswertung einer Funktion f des y-Koordiatenwerts y(Pi.1).
[0069] In Fig. 6 sind die einzelnen rechnerisch ermittelten Potentialwerte dargestellt. Ebenso sind diejenigen Pixel, deren Werte für die Bestimmung der Potentiale in den jeweils nachfolgenden Pixeln verwendet werden, mit diesen durch Pfeile verknüpft dargestellt, beispielsweise wird der Potentialwert des Pixels an der Stelle x=1,y=3 für die Bestimmung des Potentialwerts des Pixels an der Stelle x=2,y=2 verwendet.
[0070] In der letzten Spalte wird nach dem Pixel mit dem höchsten Potential gesucht. Ausgehend von diesem Pixel wird nun rückwärts, dh nach abfallender Spaltennummer, jeweils dasjenige Pixel gesucht, das bei der Berechnung des Pixels des Potentials herangezogen wurde.
[0071] In Fig. 7 wurde das größte Potential in dem Pixel an der Position x=4, y=2 gefunden. Für die Bestimmung dieses Pixels wurde das Pixel an der Position x=3, y=2 verwendet, da von diesem unter den Pixeln in der dritten Spalte (x=3) der größte Potential-Anteil (9.25) herrührt. Ausgehend von diesem Pixel wird nunmehr nach dem Pixel in der zweiten Spalte (x=2) gesucht, das bei der Berechnung des Potentials dieses Pixels verwendet wurde. Dabei handelt es sich um das Pixel an der Position x=2, y=2. Schließlich wird ausgehend von diesem Pixel nach dem Pixel in der ersten Spalte (x=1) gesucht, das bei der Berechnung des Potentials dieses Pixels verwendet wurde. Dabei handelt es sich um das Pixel an der Position x=1, y=3.
[0072] Die so ermittelten Pixel werden im Rahmen des Viterbi-Algorithmus wird zur Festlegung des Kurvenverlaufs der Begrenzungskurve BK herangezogen.
[0073] Als weitere Vorgaben bei der Ermittlung des Kurvenverlaufs wird im gezeigten Beispiel berücksichtigt, dass die Begrenzungskurve BK keine abrupten Sprünge aufweisen und auf geringer Höhe im Digitalbild D, d.h. bei hohen y-Koordinaten verlaufen soll.
[0074] Dazu können zur Berechnung eines von der y-Koordinatenangabe abgeleiteten Werts zur Bestimmung des Potentials der Nachbarschaft beispielsweise Funktionen Anwendung finden, bei denen kleine Abweichungen vernachlässigt werden, sodass beispielsweise Betragsdifferenzen, die kleiner als ein vorgegebener Schwellenwert, beispielsweise 5, sind, vernachlässigt werden. Auch dadurch kann erzielt erreicht werden, dass die ermittelte Begrenzungsindikatorkurve BK keine raschen Anderungen bzw. Sprünge aufweist. Darüber hinaus können auch andere oder weitere Vorgaben für die Festlegung des Kurvenverlaufs getroffen werden.
[0075] Fig. 3 zeigt schematisch das Ergebnis der Anwendung eines derartigen Optimierungsverfahrens zur Ermittlung der Begrenzungskurve BK ausgehend von den vom neuronalen Netzwerk ermittelten Begrenzungsindikatorwerten BI für die Pixel P des in Fig. 2 dargestellten Ausschnitts des Abbilds der Umgebung 10, bzw. des Raums. Bei der Ermittlung der in Fig. 3 dargestellten Begrenzungskurve BK wurde der Streckenzug so gewählt, dass er durch eine Anzahl von Pixeln P des Digitalbilds D verläuft.
[0076] Dabei wurde mit dem vorstehend beschriebenen Optimierungsverfahren für jede Bildspalte des Digitalbilds D mit jeweils einer vorgegebenen x-Koordinate jeweils ein Bildpunkt, insbesondere ein Pixel P, ausgewählt, das sich weit unten im Abbild befindet, um den Streckenzug hindurch verlaufen zu lassen. Auf diese Weise kann effektiv die in Fig. 2 noch teilweise vom neuronalen Netzwerk mit Begrenzungsindikatorwerten BI versehene untere Fensterkante 12 als Begrenzung B eines hindernisfreien Bereichs ausgeschieden werden.
[0077] Diese Vorgangsweise ist beispielsweise ebenfalls besonders vorteilhaft, wenn der Benutzer der Erfindung diese beim Hinaufsteigen von Stufen verwendet, da in diesem Fall immer die ihm am nächsten gelegene Stufe zuerst identifiziert wird, sodass er effektiv von einer Stufe zur nächsten geleitet wird.
[0078] Nachdem zunächst die Begrenzung B des hindernisfreien Bereichs ermittelt wurde, wird anschließend die tatsächliche Größe und Form des abgebildeten hindernisfreien Bereichs innerhalb der Umgebung 10 der Bildaufnahmeeinheit 1 von der Verarbeitungseinheit 4 ermittelt, um für den Benutzer des Verfahrens festzustellen, in welchem Bereich er sich gefahrlos fortbewegen kann, ohne auf Hindernisse zu stoßen. Im erstellten Digitalbild D entspricht die Größe des abgebildeten hindernisfreien Bereichs dem frei begehbaren Raum, der sich zwischen der Bildaufnahmeeinheit 1 und der Mauerkante 11 in Fig. 1 erstreckt.
[0079] Zur Ermittlung der Form und Größe des hindernisfreien Bereichs werden die Lage des hindernisfreien Bereichs im Digitalbild D, die relative Lage, insbesondere Höhe und Ausrichtung, der Bildaufnahmeeinheit 1 gegenüber der Umgebung 10 und gegebenenfalls Parameter der Bildaufnahmeeinheit 1, insbesondere Auflösung und Brennweite genutzt. Weiters wird zur Ermittlung
der Form und Größe des hindernisfreien Bereichs die Annahme getroffen, dass der im Digitalbild D erfasste hindernisfreie Bereich auf einer vorgegebenen dreidimensionalen Fläche, insbesondere auf einer Ebene, liegt.
[0080] Im Ausführungsbeispiel wird vorteilhafterweise die Lage und Ausrichtung der Bildaufnahmeeinheit 1 überwacht, sodass von der Bildaufnahmeeinheit 1 nur dann Bilder erstellt oder erfindungsgemäße Verfahrensschritte durchgeführt werden, wenn sich die Bildaufnahmeeinheit 1 in einer vorgegebenen Lage befindet. Als vorgegebene Lage kann beispielsweise sowohl eine Lage definiert werden, in der sowohl die Ausrichtung der horizontalen Bildachse der Bildaufnahmeeinheit 1, als auch die Blickrichtung der Bildaufnahmeeinheit 1 annähernd waagrecht, insbesondere mit einer Winkelabweichung von höchstens 30° um eine waagrechte Achse, ausgerichtet sind, oder auch eine Lage, in der die Bildaufnahmeeinheit 1 enthaltende Schuh 20 vollständig auf den Boden aufgesetzt ist.
[0081] Zusätzlich wird im Ausführungsbeispiel die Höhe der im Schuh 20 montierten Bildaufnahmeeinheit 1 über dem Boden, die die Bildaufnahmeeinheit 1 einnimmt, wenn der Schuh 20 auf dem Boden steht, ermittelt. Dabei wird beispielsweise die tatsächliche Größe und Form des abgebildeten hindernisfreien Bereichs nur unter der Voraussetzung bestimmt, dass sich die Bildaufnahmeeinheit 1 in der ermittelten Höhe befindet. Somit ist die Höhe als weiteres Kriterium für einen energiesparenden, effizienten Verfahrensablauf nutzbar.
[0082] Wenn die Person, die den Schuh 20 mit eingebauter Bilderfassungseinheit 1 trägt, beispielsweise auf einer Liegefläche ruht, befinden sich die Füße der Person und somit deren Schuhe nicht mehr in einer auf dem Boden aufgesetzten Position und die Blickrichtung der Bildaufnahmeeinheit 1 ist im Vergleich zur vorgegebenen Lage rotiert. In diesem Fall ist eine Erstellung von Digitalbildern D nicht erforderlich, da sich die Person nicht fortbewegen möchte und die Bildaufnahmeeinheit 1 muss vom Energiespeicher 3 nicht mit Energie versorgt werden.
[0083] Wenn der Schuh 20 mit der darin montierten Bildaufnahmeeinheit 1 beispielsweise keinen Kontakt mit dem Boden hat und sich somit auch nicht in der ermittelten Höhe befindet, werden daher vorteilhafterweise keine Digitalbilder D von der Bildaufnahmeeinheit 1 erstellt. Dies ist beispielsweise der Fall, wenn die Person, die den Schuh 20 trägt, während des Gehens den Fuß anhebt oder wenn die Person ruht und dabei die Beine hoch lagert.
[0084] Somit kann sichergestellt werden, dass die Bildaufnahmeeinheit 1 nicht permanent Spannung für die Erstellung von Digitalbildern D verbraucht, sondern nur, wenn sich die Bildaufnahmeeinheit 1 in einer Position befindet, in der die Durchführung des erfindungsgemäßen Verfahrens vorgesehen ist, d.h. dass von der Person die den Schuh 20 trägt, auch tatsächlich eine Hilfestellung bei der Fortbewegung benötigt wird. In diesem Fall ist gleichzeitig auch sichergestellt, dass die Größe bzw. Form des hindernisfreien Bereichs bzw. der Abstand zu potentiellen Hindernissen zuverlässig ermittelt werden können.
[0085] Als Verbesserung des gezeigten Ausführungsbeispiels kann zusätzlich zur Ermittlung der Größe und Form des hindernisfreien Bereichs ein erster Abstand A1 der Begrenzungskurve BK oder zumindest eines Punkts auf der Begrenzungskurve BK des hindernisfreien Bereichs von der Bildaufnahmeeinheit 1 ermittelt werden. Aus der bekannten Position der Bildaufnahmeeinheit 1 und unter der Annahme, dass die Person, die den Schuh 20 mit integrierter Bildaufnahmeeinheit 1 trägt, auf einer Ebene steht, kann aus der zweidimensionalen Aufnahme, die das von der Bildaufnahmeeinheit 1 aufgenommene Digitalbild D darstellt, die Distanz zu einem Hindernis bestimmt werden.
[0086] Zusätzlich zur Aufnahme des Digitalbilds D und der Auswertung hinsichtlich des ersten Abstands A1 wird durch Abstandsmessung mittels Ultraschall ein zweiter Abstand A2 bestimmt. Ein hierfür verwendeter Ultraschallsensor 2 ist im Ausführungsbeispiel in Fig. 1 im Schuh 20 im Bereich der Schuhspitze neben der Bildaufnahmeeinheit 1 angeordnet und nach derselben Richtung ausgerichtet, wie die Bildaufnahmeeinheit 1, sodass der Aufnahmebereich der Bildaufnahmeeinheit 1 teilweise mit dem Erfassungsbereich des Ultraschallsensors 2 überlappt.
[0087] Anschließend werden der erste Abstand A1 und der zweite Abstand A2 des hindernis-
freien Bereichs miteinander verglichen und ein weiterer Abstandsmesswert A unter Verwendung des ersten Abstands A1 und des zweiten Abstands A2 erstellt. Dabei wird vorzugsweise bei Abweichungen zwischen dem ersten Abstand A1 und dem zweiten Abstand A2 jeweils der geringere Abstand als weiterer Abstandsmesswert A angesehen. In Fig. 1 sind derart ermittelte Distanzlinien in ermittelten Abständen von 10 cm, 50 cm, 100 cm und 150 cm zur Bildaufnahmeeinheit 1 eingezeichnet.
[0088] Diese Vorgehensweise ist besonders vorteilhaft, da beispielsweise Hindernisse aus Glas wie z. B. Glastüren oder bodentiefe Glasfenster oder durchsichtige Trennwände von einer Bildaufnahmeeinheit 1 unter Umständen nur unzureichend aufgenommen werden können, sodass diese bei der Ermittlung der Begrenzungskurve BK mittels des neuronalen Netzwerk NN nicht richtig erkannt werden. Der Ultraschallsensor 2 ermittelt in diesem Fall den Abstand zum Hindernis aus Glas jedoch richtig. Dass der geringere der beiden mit verschiedenen Methoden ermittelte Abstände A1, A2 als weiterer Abstandsmesswert A angenommen wird, bietet für die Person, die die Erfindung bei der Fortbewegung benutzt, zusätzliche Sicherheit, da die Gefahr, gegen ein Hindernis zu stoßen, durch diese Abstandswahl, reduziert wird.
[0089] Bei allen Ausführungsformen der Erfindung kann weiters vorgesehen sein, dass neben dem Begrenzungsindikatorwert BI auch ein Hindernisindikator HI ermittelt wird. Der Hindernisindikatorwert HI gibt dabei an, von welcher Art von Hindernis der hindernisfreie Bereich begrenzt wird. Die Verarbeitungseinheit 4 bzw das neuronale Netzwerk NN ist dabei ausgebildet, für einzelne Bildpunkte auf der Begrenzungskurve BK jeweils den Hindernisindikator HI zu ermitteln und vorzugsweise der Person darzustellen. Auf diese Weise kann der Person, die den Schuh 20 trägt, mitgeteilt werden, welche Hindernisse bzw. Objekte wie z. B. Gehsteigkanten, Wände, Menschen, Tier oder dergleichen, sich in ihrer Bewegungsrichtung befinden, sodass sie die Möglichkeit erhält, dementsprechend darauf zu reagieren.
[0090] Bei allen Ausführungsformen der Erfindung kann alternativ oder zusätzlich vorgesehen sein, dass die zumindest eine Aufnahme mit einer fest an einer Person oder an einem Tier montierten, insbesondere in einem Handschuh, Gurt, Helm, Gehstock oder Gehhilfe angeordneten, Bildaufnahmeeinheit 1 aufgenommen wird. So ist es beispielsweise möglich, dass für gebrechliche Personen, die auf Gehhilfen, wie beispielsweise Krücken oder Gehstöcken, angewiesen sind, die Bildaufnahmeeinheit 1 in Krücken verbaut wird.
[0091] Alternativ können beispielsweise auch Schuhe 20 oder Halsbänder für Assistenzhunde mit einer derartigen Bildaufnahmeeinheit 1 ausgerüstet werden, sodass Personen mit eingeschränktem Sehvermögen und eingeschränkter Motorik sich besonders sicher in einer ihnen unbekannten Umgebung bewegen können, da sie Hilfestellung von ihrem Assistenzhund und zusätzlich erfindungsgemäß ermittelte Hinweise und Warnungen erhalten.
[0092] Bei allen Ausführungsformen der Erfindung werden die ermittelten Ergebnisse, wie beispielsweise Form und Größe eines hindernisfreien Bereichs um die Bildaufnahmeeinheit 1 oder der Abstand der Bildaufnahmeeinheit 1 zu potentiell im Fortbewegungsrichtung befindlichen Hindernissen für den Benutzer der Erfindung wahrnehmbar dargestellt. Die Verarbeitungseinheit 4 ist dazu ausgebildet, die ermittelten Ergebnisse beispielsweise an eine Feedback-Einheit weiterzuleiten.
[0093] Der Benutzer kann die Feedback-Einheit dabei beispielsweise am Körper tragen, sodass die ermittelten Ergebnisse in einer für ihn wahrnehmbaren Form an ihn übermittelt werden können. Wenn der Benutzer der Erfindung beispielsweise eine Person mit eingeschränktem Sehvermögen ist, kann es sich bei der Feedback-Einheit beispielsweise um Kopfhörer handeln, die die Person auf dem Kopf trägt.
[0094] Die Verarbeitungseinheit 4 ist dazu ausgebildet, die ermittelten Ergebnisse zu Form und Größe des begehbaren hindernisfreien Bereichs an die Feedback-Einheit zu übermitteln und die Feedback-Einheit derart anzusteuern, dass beispielsweise mit Abnahme der Entfernung zur Begrenzung B des hindernisfreien Bereichs beispielsweise Tonfolgen lauter oder höher werdender Töne, in einem schneller werdenden Rhythmus, abgegeben werden, sodass für die Person er-
fassbar ist, dass sie sich einem Hindernis nähert.
[0095] Es kann beispielsweise auch vorgesehen sein, dass je nachdem, ob in welcher Richtung sich ein Hindernis im Verhältnis zur Person befindet, dh links oder rechts von der Person oder gerade vor der Person, nur Töne auf das linke oder das rechte Ohr oder an beide Ohren der Person appliziert werden, um sie auf die Lage des Hindernisses aufmerksam zu machen.
[0096] Fig. 4 zeigt einen Schuh 20 mit einer darin montierten Bildaufnahmeeinheit 1, einem Ultraschallsensor 2, einem Energiespeicher 3, einer Verarbeitungseinheit 4, und Aktuatorelementen 5. Die Bildaufnahmeeinheit 1 und der Ultraschallsensor 2 sind in der Schuhspitze verbaut, sodass beide in dieselbe Richtung ausgerichtet sind. Der Energiespeicher 3 und die Verarbeitungseinheit 4 sind im Ausführungsbeispiel im Absatz 21 des Schuhs 20 angeordnet. Sechs Aktuatorelemente 5 sind im Bereich der Zehen bzw. des Fußballens des Trägers des Schuhs 20 im Schuhsohlebereich 22 angeordnet, wobei die Aktuatorelemente 5 derart angeordnet sind, dass sie eine vom Fußballen in Richtung der Fußspitze verlaufende Linie bilden. Die Aktuatorelemente 5 sind im Ausführungsbeispiel als Vibrationselemente ausgeführt, die vibrieren, wenn sie beispielsweise von der Verarbeitungseinheit 4 angesteuert werden. Die Aktuatorelemente können beispielsweise auch stiftförmig ausgeführt sein und bei Aktivierung nach oben in den Fuß drücken.
[0097] Zunächst wird ein der Größe eines hindernisfreien Bereichs um die in der Schuhspitze angeordnete Bildaufnahmeeinheit 1, bzw. um eine Person, die den Schuh 20 trägt, entsprechender Abstandswert von der Verarbeitungseinheit 4 ermittelt. Zur Ermittlung des Abstandswerts wird zumindest ein von der Bildaufnahmeeinheit 1 erstelltes Digitalbild D und/oder der Ultraschallsensor 2 verwendet.
[0098] Um den ermittelten Abstand für die Person erfassbar zu machen, wird abhängig vom Abstandswert an zumindest einer Körperstelle im Schuh 20 der Person zumindest eines von mehreren sequentiell in Richtung des sensibleren Körperbereichs, insbesondere zur Fußspitze hin, angeordneten Aktuatorelementen 5 aktiviert. Die Auswahl der Aktuatorelemente 5 wird dabei abhängig vom Abstandswert vorgenommen. Bei kleiner werdendem Abstandswert zu einem Hindernis werden Aktuatorelemente 5 in einem umso sensibleren Körperbereich, insbesondere umso näher bei der Fußspitze, ausgewählt.
[0099] Das heißt, dass bei vergleichsweise großem Abstand zu einem Hindernis zunächst das Aktuatorelement 5 im Bereich des Fußballens der Person angesteuert wird. Wenn der Abstand zum Hindernis geringer wird, wird ausgehend vom Aktuatorelement 5 im Bereich des Fußballens so lange das der Fußspitze näher gelegene Aktuatorelement 5 angesteuert, bis schließlich bei geringem Abstand zum Hindernis das Aktuatorelement im Bereich der Zehen der Person gewählt wird. Damit wird der Person signalisiert, dass sie Gefahr läuft, gegen ein Hindernis zu stoßen, falls sie sich noch weiter in der eingeschlagenen Richtung fortbewegen sollte.
[00100] Die Erfindung kann jedoch nicht nur dazu genutzt werden, Personen mit eingeschränktem Sehvermögen und/oder eingeschränkter Motorik die Fortbewegung im Alltag zu erleichtern. Alternativ kann die Erfindung auch dazu genutzt werden, einen hindernisfreien Bereich um eine beispielsweise im Bereich der Stoßstange eines Fahrzeugs angeordnete Bildaufnahmeeinheit 1 zu detektieren und Form und Größe des frei befahrbaren Bereichs in Fahrtrichtung des Fahrzeugs zu ermitteln. Dies kann beispielsweise im Bereich des autonomen Fahrens von Interesse sein, um die befahrbare Umgebung zu ermitteln, oder den Abstand zu einem vorausfahrenden Fahrzeug zu detektieren, und beispielsweise je nach Abstand zum vorausfahrenden Fahrzeug die Geschwindigkeit des autonom fahrenden Fahrzeugs zu regulieren.

Claims (1)

  1. Patentansprüche
    1. Verfahren zur Detektion des Abbilds eines hindernisfreien, eine Bildaufnahmeeinheit (1) umgebenden Bereichs wobei
    a) mit der Bildaufnahmeeinheit (1) zumindest eine Aufnahme eines Teilbereichs der Umgebung (10) der Bildaufnahmeeinheit (1) erstellt wird und basierend auf dieser zumindest einen Aufnahme ein Digitalbild (D) erstellt wird, dadurch gekennzeichnet,
    b) dass das so erstellte Digitalbild (D) auf das Vorliegen möglicher Begrenzungen (B) eines hindernisfreien Bereichs untersucht wird, wobei für einzelne Pixel (P) des Digitalbilds (D) jeweils ein Begrenzungsindikatorwert (Bl) abhängig von den pixelweise vorgegebenen Bilddaten des Digitalbilds (D) innerhalb einer Umgebung des jeweiligen Pixels (P) ermittelt wird, der angibt, mit welcher Wahrscheinlichkeit sich innerhalb einer vorgegebenen Pixel-Umgebung das Abbild der Begrenzung (B) eines hindernisfreien Bereichs befindet,
    c) dass für das Digitalbild (D) eine Koordinaten-Parametrisierung mit zwei Parametern vorgegeben wird, die insbesondere den Pixelkoordinaten entspricht,
    d) dass eine Begrenzungskurve (BK) des hindernisfreien Bereichs, insbesondere in Form eines Streckenzugs, als Kurve ermittelt wird, auf der sich Bildpunkte befinden, die - verglichen mit Bildpunkten in ihrer Umgebung - einen hohen Begrenzungsindikatorwert (Bl) aufweisen,
    e) dass das Abbild des hindernisfreien Bereichs durch die Begrenzungskurve (BK) und gegebenenfalls weitere vorab vorgegebene Kurven oder Geraden, insbesondere die Begrenzungskanten des Digitalbilds (D), festgelegt wird.
    2, Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Begrenzungskurve (BK) ein Streckenzug gewählt wird, der durch eine Anzahl von Pixeln (P) des Digitalbilds (D) verläuft, wobei für eine Anzahl von vorgegebenen ersten Parametern, insbesondere für jede Bildspalte des Digitalbilds (D) oder für eine Anzahl von Bildspalten mit jeweils einer vorgegebenen x-Koordinate, jeweils ein Bildpunkt, insbesondere ein Pixel (P), ausgewählt wird, durch das der Streckenzug verläuft.
    3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass zur Ermittlung der Begrenzungskurve (BK) in Schritt d) ein Optimierungsverfahren durchgeführt wird, bei dem für einzelne in Betracht kommende Begrenzungskurven (BK) jeweils für einzelne Bildpunkte auf der jeweiligen Begrenzungskurve (BK), insbesondere für eine Vielzahl von Bildpunkten mit jeweils vorgegebenen ersten Parametern oder x-Koordinaten, jeweils ein zu optimierender Maßwert ermittelt wird, der sich aus den folgenden Teilmaßwerten zusammensetzt,
    - dem Begrenzungsindikatorwert (Bl), sowie
    - dem Wert des zweiten Parameters, insbesondere der y-Koordinate, oder eines davon abgeleiteten Werts, und/oder
    - dem Unterschied des zweiten Parameters im jeweiligen Punkt vom zweiten Parameter in einem auf derselben Begrenzungskurve (BK) liegenden benachbarten Punkt, dessen erster Parameter um einen vorgegebenen Wert abweicht, und der insbesondere in einer benachbarten Spalte des Digitalbilds (D) liegt, oder ein von diesem Unterschied abgeleiteter Wert.
    4. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass zur Ermittlung der Begrenzungskurve (BK) in Schritt d) ein Optimierungsverfahren durchgeführt wird, bei dem für einzelne in Betracht kommende Begrenzungskurven (BK) jeweils diejenigen Bildpunkte auf der jeweiligen Begrenzungskurve (BK), insbesondere für eine Vielzahl von Bildpunkten mit jeweils vorgegebenen ersten Parametern oder x- Koordinaten, gewählt werden,
    - die im Vergleich zu anderen Bildpunkten, insbesondere mit demselben vorgegebenen ersten Parameter oder derselben x-Koordinate, möglichst hohe Begrenzungsindikatorwerte (BI) und/oder
    - die möglichst hohe Werte des zweiten Parameters, insbesondere der y-Koordinate, aufweisen und/oder
    - die einen zweiten Parameter, insbesondere eine y-Koordinate, aufweisen, der näherungs-
    10.
    11.
    Ästerreichisches AT 520 579 B1 2022-07-15
    weise dem zweiten Parameter des jeweiligen Nachbarpunkts auf der Begrenzungskurve entspricht oder zu diesem zweiten Parameter nur geringen Unterschied aufweist, insbesondere sodass aus der Lage der Bildpunkte eine Begrenzungskurve (BK) resultiert, deren Änderung in Richtung des zweiten Parameters, insbesondere der y-Koordinate, möglichst gering ist.
    Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass der Begrenzungsindikatorwert (Bl) pixelweise mittels eines neuronalen Netzwerks, insbesondere für alle Pixel (P) auf dieselbe Weise und unabhängig von den übrigen Pixeln (P), berechnet wird, wobei das neuronale Netzwerk (NN) als Eingangswerte die einzelnen Helligkeits- oder Farbwerte innerhalb einer, insbesondere für jedes Pixel (P) gleich vorgegebenen, Umgebung um das jeweilige Pixel (P), insbesondere mit vorgegebener relativer Lage zum jeweiligen Pixel (P), erhält.
    Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass das neuronale Netzwerk unter Verwendung einer Vielzahl von vorgegebenen Trainingsbildern erstellt wird, wobei für jedes der Trainingsbilder jeweils eine Trainings-Begrenzungskurve vorgegeben wird und das neuronale Netzwerk darauf trainiert wird, für das jeweilige Trainingsbild, in den im Bereich der Trainings-Begrenzungskurve liegenden Bildpunkte einen Begrenzungsindikatorwert (Bl) zu liefern, der von den im übrigen Bildbereich ermittelten Begrenzungsindikatorwerten (Bl) abweicht.
    Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die
    tatsächliche Größe und Form des abgebildeten hindernisfreien Bereichs innerhalb der Um-
    gebung (10) der Bildaufnahmeeinheit (1) ermittelt wird, aufgrund der Lage des hindernisfreien Bereichs im Digitalbilds (D),
    - aufgrund der relativen Lage, insbesondere Höhe und Ausrichtung, der Bildaufnahmeeinheit (1) gegenüber der Umgebung (10),
    - gegebenenfalls Parametern der Bildaufnahmeeinheit (1), insbesondere Auflösung und Brennweite, sowie
    - unter der Annahme, dass der im Digitalbild (D) erfasste hindernisfreie Bereich auf einer vorgegebenen dreidimensionalen Fläche, insbesondere auf einer Ebene, liegt.
    Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die zumindest eine Aufnahme mit einer fest an einer Person oder an einem Tier montierten, insbesondere in einem Schuh (20), Handschuh, Gurt, Helm Gehstock oder Gehhilfe angeordneten, Bildaufnahmeeinheit aufgenommen wird.
    Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die Lage und Ausrichtung der Bildaufnahmeeinheit überwacht wird und die Bildaufnahmeeinheit (1) nur dann Bilder erstellt oder die Schritte b) bis e) des Anspruchs 1 nur dann durchgeführt werden,
    - wenn die Bildaufnahmeeinheit (1) in einer vorgegebenen Lage ist, bei der sowohl die Ausrichtung der horizontale Bildachse der Bildaufnahmeeinheit (1) als auch die Blickrichtung der Bildaufnahmeeinheit (1) annähernd waagrecht, insbesondere mit einer Winkelabweichung von höchstens 30° um eine waagrechte Achse, ausgerichtet sind, oder
    - wenn der die Bildaufnahmeeinheit (1) enthaltende Schuh (20) vollständig auf den Boden aufgesetzt ist.
    Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die Digitalbilder mit einer in einem Schuh (20) montierten Bildaufnahmeeinheit (1) aufgenommen werden,
    wobei die Höhe der Bildaufnahmeeinheit (1) über dem Boden ermittelt wird, wenn der Schuh (20) auf dem Boden steht und
    die tatsächliche Größe und Form des abgebildeten hindernisfreien Bereichs nach Anspruch 6 unter der Voraussetzung bestimmt wird, dass sich die Bildaufnahmeeinheit (1) in der ermittelten Höhe befindet.
    Verfahren nach einem der vorangehenden Ansprüche, insbesondere nach einem der Ansprüche 8 bis 10, dadurch gekennzeichnet, dass in Schritt b) neben dem Begrenzungsin-
    12.
    13.
    14.
    Ästerreichisches AT 520 579 B1 2022-07-15
    dikatorwert (Bl) auch ein Hindernisindikator ermittelt wird, der angibt, von welcher Art von Hindernis der hindernisfreie Bereich begrenzt wird, und
    dass für einzelne Bildpunkte auf der Begrenzungskurve (BK) jeweils der Hindernisindikator ermittelt wird und vorzugsweise der Person dargestellt wird.
    Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet,
    - dass ein erster Abstand (A1) der Begrenzungskurve (BK) oder zumindest eines Punkts auf der Begrenzungskurve (BK) des hindernisfreien Bereichs von der Bildaufnahmeeinheit (1) ermittelt wird,
    - dass zusätzlich zur Aufnahme des Digitalbilds (D) durch Abstandsmessung mittels Ultraschall ein zweiter Abstand (A2) bestimmt wird, wobei ein hierfür verwendeter Ultraschallsensor (2) im Bereich der Bildaufnahmeeinheit (1) angeordnet ist und
    - nach derselben Richtung ausgerichtet ist wie die Bildaufnahmeeinheit (1), oder - einen mit dem Aufnahmebereich der Bildaufnahmeeinheit (1) teilweise überlappenden Erfassungsbereich aufweist,
    - dass der zweite Abstand (A2) und der erste Abstand (A1) des hindernisfreien Bereichs miteinander verglichen werden und ein weiterer Abstandsmesswert (A) unter Verwendung des ersten Abstands (A1) und des zweiten Abstands (A2) erstellt wird, wobei vorzugsweise bei Abweichungen jeweils der jeweils geringere Abstand als weiterer Abstandsmesswert (A) angesehen wird.
    Verfahren, insbesondere nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass ein der Größe des hindernisfreien Bereichs entsprechender Abstandswert um eine Person ermittelt oder vorgegeben wird, und anschließend abhängig von diesem Abstandswert an zumindest einer Körperstelle, insbesondere in zumindest einem Schuh (20), der Person zumindest eines von mehreren sequentiell in Richtung des sensibleren Körperbereichs, insbesondere zur Fußspitze hin, angeordneten Aktuatorelementen (5), insbesondere Vibrationselementen, aktiviert wird, wobei die Auswahl der Aktuatorelemente (5) abhängig vom Abstandswert vorgenommen wird und wobei ein Aktuatorelement (5) in einem umso sensibleren Körperbereich ausgewählt wird, insbesondere umso näher bei der Fußspitze ausgewählt wird, je kleiner der Abstandswert ist.
    Vorrichtung zur Detektion des Abbilds eines hindernisfreien, eine Bildaufnahmeeinheit (1) umgebenden Bereichs umfassend eine Bildaufnahmeeinheit (1) und eine der Bildaufnahmeeinheit (1) nachgeschaltete Verarbeitungseinheit (4),
    wobei die Bildaufnahmeeinheit (1) zur Erstellung zumindest einer Aufnahme eines Teilbe-
    reichs der Umgebung (10) der Bildaufnahmeeinheit (1) und zur Übermittlung der Aufnahme
    an die Verarbeitungseinheit (4) ausgebildet ist und
    wobei die Verarbeitungseinheit (4) dazu ausgebildet ist,
    - ein Digitalbild (D) basierend auf dieser zumindest einen Aufnahme zu erstellen und das so erstellte Digitalbild (D) auf das Vorliegen möglicher Begrenzungen (B) eines hindernisfreien Bereichs zu untersuchen,
    - für einzelne Pixel (P) des Digitalbilds (D) jeweils ein Begrenzungsindikatorwert (Bl) abhängig von den pixelweise vorgegebenen Bilddaten des Digitalbilds (D) innerhalb einer Umgebung des jeweiligen Pixels (P) zu ermitteln, der angibt, mit welcher Wahrscheinlichkeit sich innerhalb einer vorgegebenen Pixel-Umgebung das Abbild der Begrenzung (B) eines hindernisfreien Bereichs befindet,
    - für das Digitalbild (D) eine Koordinaten-Parametrisierung mit zwei Parametern vorzugeben, die insbesondere den Pixelkoordinaten entspricht,
    - eine Begrenzungskurve (BK) des hindernisfreien Bereichs, insbesondere in Form eines Streckenzugs, als Kurve zu ermitteln, auf der sich Bildpunkte befinden, die - verglichen mit Bildpunkten in ihrer Umgebung - einen hohen Begrenzungsindikatorwert (Bl) aufweisen, und
    - das Abbild des hindernisfreien Bereichs durch die Begrenzungskurve (BK) und gegebenenfalls weitere vorab vorgegebene Kurven oder Geraden, insbesondere die Begrenzungskanten des Digitalbilds (D), festzulegen.
    15.
    16.
    17.
    18.
    19.
    Ästerreichisches AT 520 579 B1 2022-07-15
    Vorrichtung nach Anspruch 14, dadurch gekennzeichnet, dass die Verarbeitungseinheit (4)
    dazu ausgebildet ist,
    - als Begrenzungskurve (BK) einen Streckenzug zu wählen, wobei der Streckenzug durch eine Anzahl von Pixeln (P) des Digitalbilds (D) verläuft, und
    - für eine Anzahl von vorgegebenen ersten Parametern, insbesondere für jede Bildspalte des Digitalbilds (D) oder für eine Anzahl von Bildspalten mit jeweils einer vorgegebenen x-Koordinate, jeweils einen Bildpunkt, insbesondere ein Pixel (P), auszuwählen, durch das der Streckenzug verläuft.
    Vorrichtung nach Anspruch 14 oder 15, dadurch gekennzeichnet, dass die Verarbeitungs-
    einheit (4) dazu ausgebildet ist, zur Ermittlung der Begrenzungskurve (BK) ein Optimierungs-
    verfahren durchzuführen, wobei die Verarbeitungseinheit (4) dazu ausgebildet ist, für ein-
    zelne in Betracht kommende Begrenzungskurven (BK) jeweils für einzelne Bildpunkte auf
    der jeweiligen Begrenzungskurve (BK), insbesondere für eine Vielzahl von Bildpunkten mit
    jeweils vorgegebenen ersten Parametern oder x-Koordinaten, jeweils ein zu optimierender
    Maßwert zu ermitteln, wobei sich der aus den folgenden Teilmaßwerten zusammensetzt:
    - dem Begrenzungsindikatorwert (Bl), sowie
    - dem Wert des zweiten Parameters, insbesondere der y-Koordinate, oder eines davon abgeleiteten Werts, und/oder
    - dem Unterschied des zweiten Parameters im jeweiligen Punkt vom zweiten Parameter in einem auf derselben Begrenzungskurve (BK) liegenden benachbarten Punkt, dessen erster Parameter um einen vorgegebenen Wert abweicht, und der insbesondere in einer benachbarten Spalte des Digitalbilds (D) liegt, oder ein von diesem Unterschied abgeleiteter Wert.
    Vorrichtung nach einem der Ansprüche 14 bis 16, dadurch gekennzeichnet, dass die Ver-
    arbeitungseinheit (4) dazu ausgebildet ist, zur Ermittlung der Begrenzungskurve (BK) ein
    Optimierungsverfahren durchzuführen, wobei die Verarbeitungseinheit dazu ausgebildet ist,
    für einzelne in Betracht kommende Begrenzungskurven (BK) jeweils diejenigen Bildpunkte
    auf der jeweiligen Begrenzungskurve (BK), insbesondere für eine Vielzahl von Bildpunkten mit jeweils vorgegebenen ersten Parametern oder x-Koordinaten, auszuwählen,
    - die im Vergleich zu anderen Bildpunkten, insbesondere mit demselben vorgegebenen ersten Parameter oder derselben x-Koordinate, möglichst hohe Begrenzungsindikatorwerte (Bl) und/oder möglichst hohe Werte des zweiten Parameters, insbesondere der y-Koordinate, aufweisen und/oder
    - die einen zweiten Parameter, insbesondere eine y-Koordinate, aufweisen, der näherungsweise dem zweiten Parameter des jeweiligen Nachbarpunkts auf der Begrenzungskurve entspricht oder zu diesem zweiten Parameter nur geringen Unterschied aufweist, sodass insbesondere aus der Lage der Bildpunkte eine Begrenzungskurve (BK) resultiert, deren Änderung in Richtung des zweiten Parameters, insbesondere der y-Koordinate, möglichst gering ist.
    Vorrichtung nach einem der Ansprüche 14 bis 17, dadurch gekennzeichnet, dass die Ver-
    arbeitungseinheit (4) dazu ausgebildet ist,
    - den Begrenzungsindikatorwert (Bl) pixelweise mittels eines neuronalen Netzwerks, insbesondere für alle Pixel (P) auf dieselbe Weise und unabhängig von den übrigen Pixeln (P), zu berechnen, und
    - dem neuronalen Netzwerk als Eingangswerte die einzelnen Helligkeits- oder Farbwerte innerhalb einer, insbesondere für jedes Pixel (P) gleich vorgegebenen, Umgebung um das jeweilige Pixel (P), insbesondere mit vorgegebener relativer Lage zum jeweiligen Pixel (P), zu übergeben.
    Vorrichtung nach einem der Ansprüche 14 bis 18, dadurch gekennzeichnet, dass die Ver-
    arbeitungseinheit (4) dazu ausgebildet ist,
    - das neuronale Netzwerk unter Verwendung einer Vielzahl von vorgegebenen Trainingsbildern zu erstellen, und
    - für jedes der Trainingsbilder jeweils eine Trainings-Begrenzungskurve vorzugeben und
    20.
    21.
    22.
    23.
    24.
    25.
    Ästerreichisches AT 520 579 B1 2022-07-15
    das neuronale Netzwerk darauf zu trainieren, für das jeweilige Trainingsbild, in den im Bereich der Trainings-Begrenzungskurve liegenden Bildpunkte einen Begrenzungsindikatorwert (Bl) zu liefern, der von den im übrigen Bildbereich ermittelten Begrenzungsindikatorwerten (Bl) abweicht.
    Vorrichtung nach einem der Ansprüche 14 bis 19, dadurch gekennzeichnet, dass die Ver-
    arbeitungseinheit (4) dazu ausgebildet ist, die tatsächliche Größe und Form des abgebilde-
    ten hindernisfreien Bereichs innerhalb der Umgebung (10) der Bildaufnahmeeinheit (1) zu
    ermitteln,
    - aufgrund der Lage des hindernisfreien Bereichs im Digitalbilds (D),
    - aufgrund der relativen Lage, insbesondere Höhe und Ausrichtung, der Bildaufnahmeeinheit (1) gegenüber der Umgebung (10),
    - gegebenenfalls Parametern der Bildaufnahmeeinheit (1), insbesondere Auflösung und Brennweite, sowie
    - unter der Annahme, dass der im Digitalbild (D) erfasste hindernisfreie Bereich auf einer vorgegebenen dreidimensionalen Fläche, insbesondere auf einer Ebene, liegt.
    Vorrichtung nach einem der Ansprüche 14 bis 20, dadurch gekennzeichnet, dass die Bildaufnahmeeinheit (1) fest an einer Person oder an einem Tier montiert ist, insbesondere in einem Schuh (20), Handschuh, Gurt, Helm Gehstock oder Gehhilfe angeordnet ist.
    Vorrichtung nach Anspruch 21, dadurch gekennzeichnet, dass die Verarbeitungseinheit (4) dazu ausgebildet ist, die Lage und Ausrichtung der Bildaufnahmeeinheit (1) zu überwachen und weitere Verarbeitungsschritte nur dann durchzuführen,
    - wenn die Bildaufnahmeeinheit (1) in einer vorgegebenen Lage ist, bei der sowohl die Ausrichtung der horizontale Bildachse der Bildaufnahmeeinheit (1) als auch die Blickrichtung der Bildaufnahmeeinheit (1) annähernd waagrecht, insbesondere mit einer Winkelabweichung von höchstens 30° um eine waagrechte Achse, ausgerichtet sind, oder
    - wenn der die Bildaufnahmeeinheit (1) enthaltende Schuh (20) vollständig auf den Boden aufgesetzt ist
    und/oder dass die Bildaufnahmeeinheit (1) dazu ausgebildet ist, nur dann Bilder zu erstellen
    - wenn die Bildaufnahmeeinheit (1) in einer vorgegebenen Lage ist, bei der sowohl die Ausrichtung der horizontalen Bildachse der Bildaufnahmeeinheit (1) als auch die Blickrichtung der Bildaufnahmeeinheit (1) annähernd waagrecht, insbesondere mit einer Winkelabweichung von höchstens 30° um eine waagrechte Achse, ausgerichtet sind, oder
    - wenn der die Bildaufnahmeeinheit (1) enthaltende Schuh (20) vollständig auf den Boden aufgesetzt ist.
    Vorrichtung nach Anspruch 22, dadurch gekennzeichnet, dass die Bildaufnahmeeinheit (1) in einem Schuh (20) montiert ist, wobei die Verarbeitungseinheit (4) dazu ausgebildet ist, die Höhe der Bildaufnahmeeinheit (1) über dem Boden zu ermitteln, wenn der Schuh (20) auf dem Boden steht und
    die tatsächliche Größe und Form des abgebildeten hindernisfreien Bereichs unter der Voraussetzung zu bestimmen, dass sich die Bildaufnahmeeinheit (1) in der ermittelten Höhe befindet.
    Vorrichtung nach einem der Ansprüche 14 bis 23, dadurch gekennzeichnet, dass die Ver-
    arbeitungseinheit (4) dazu ausgebildet ist,
    - neben dem Begrenzungsindikatorwert (Bl) auch ein Hindernisindikator zu ermitteln, der angibt, von welcher Art von Hindernis der hindernisfreie Bereich begrenzt wird, und
    - für einzelne Bildpunkte auf der Begrenzungskurve (BK) jeweils der Hindernisindikator zu ermitteln.
    Vorrichtung nach einem der Ansprüche 14 bis 24 umfassend einen im Bereich der Bildaufnahmeeinheit (1) angeordneten Ultraschallsensor (2), wobei der Ultraschallsensor (2) - nach derselben Richtung ausgerichtet ist wie die Bildaufnahmeeinheit (1), oder - einen mit dem Aufnahmebereich der Bildaufnahmeeinheit (1) teilweise überlappenden Erfassungsbereich aufweist,
    dadurch gekennzeichnet, dass die Verarbeitungseinheit (4) dazu ausgebildet ist,
    - einen ersten Abstand (A1) der Begrenzungskurve (BK) oder zumindest eines Punkts auf der Begrenzungskurve (BK) des hindernisfreien Bereichs von der Bildaufnahmeeinheit (1) zu ermitteln,
    - zusätzlich zur Aufnahme des Digitalbilds (D) durch Abstandsmessung mittels des Ultraschallsensors (2) einen zweiten Abstand (A2) zu bestimmen, und
    - den zweiten Abstand (A2) und den ersten Abstand (A1) des hindernisfreien Bereichs miteinander zu vergleichen und einen weiteren Abstandsmesswert (A) unter Verwendung des ersten Abstands (A1) und des zweiten Abstands (A2) zu erstellen, und
    - vorzugsweise bei Abweichungen jeweils den jeweils geringeren Abstand als weiteren Abstandsmesswert (A) festzulegen.
    26. Vorrichtung nach einem der Ansprüche 14 bis 25, gekennzeichnet durch eine FeedbackEinheit, wobei die Feedback-Einheit zur, insbesondere drahtlosen, Datenkommunikation mit der Verarbeitungseinheit (4) und zur Darstellung des ermittelten Abstandsmesswerts und/oder des ermittelten Hindernisindikatorwerts und/oder der tatsächlichen Größe und Form des abgebildeten hindernisfreien Bereichs für die Person ausgebildet ist.
    27. Vorrichtung, insbesondere nach einem der Ansprüche 14 bis 26, vorzugsweise ein Schuh (20), umfassend eine Feedback-Einheit mit Aktuatorelementen (5) und eine Verarbeitungseinheit (4) die dazu ausgebildet ist,
    - einen der Größe des hindernisfreien Bereichs entsprechender Abstandswert um eine Per-
    son zu ermitteln oder vorzugeben, und
    - abhängig von diesem Abstandswert die Feedback-Einheit anzusteuern, im Schuh (20) der Person zumindest eines von mehreren sequentiell in Richtung des sensibleren Körperbereichs, insbesondere zur Fußspitze hin, angeordneten Aktuatorelementen (5), insbesondere Vibrationselementen, zu aktivieren, die Auswahl der Aktuatorelemente (5) abhängig vom Abstandswert vorzunehmen, und ein Aktuatorelement (5) in einem umso sensibleren Körperbereich auszuwählen, insbesondere umso näher bei der Fußspitze auszuwählen, je kleiner der Abstandswert ist.
    Hierzu 7 Blatt Zeichnungen
ATA50823/2017A 2017-09-26 2017-09-26 Verfahren und Vorrichtung zur Detektion eines hindernisfreien Bereichs AT520579B1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
ATA50823/2017A AT520579B1 (de) 2017-09-26 2017-09-26 Verfahren und Vorrichtung zur Detektion eines hindernisfreien Bereichs
EP18792355.2A EP3688663A1 (de) 2017-09-26 2018-09-24 Verfahren und vorrichtung zur detektion eines hindernisfreien bereichs
PCT/AT2018/060223 WO2019060936A1 (de) 2017-09-26 2018-09-24 Verfahren und vorrichtung zur detektion eines hindernisfreien bereichs
US16/651,216 US11205074B2 (en) 2017-09-26 2018-09-24 Method and device for detecting an obstacle-free area

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
ATA50823/2017A AT520579B1 (de) 2017-09-26 2017-09-26 Verfahren und Vorrichtung zur Detektion eines hindernisfreien Bereichs

Publications (2)

Publication Number Publication Date
AT520579A1 AT520579A1 (de) 2019-05-15
AT520579B1 true AT520579B1 (de) 2022-07-15

Family

ID=63962992

Family Applications (1)

Application Number Title Priority Date Filing Date
ATA50823/2017A AT520579B1 (de) 2017-09-26 2017-09-26 Verfahren und Vorrichtung zur Detektion eines hindernisfreien Bereichs

Country Status (4)

Country Link
US (1) US11205074B2 (de)
EP (1) EP3688663A1 (de)
AT (1) AT520579B1 (de)
WO (1) WO2019060936A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200036678A (ko) * 2018-09-20 2020-04-07 삼성전자주식회사 청소 로봇 및 그의 태스크 수행 방법
EP3901573A4 (de) * 2018-12-17 2022-07-06 Chiba Institute of Technology Informationsverarbeitungsvorrichtung und mobiler roboter

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140087091A (ko) * 2012-12-26 2014-07-09 건국대학교 산학협력단 카메라와 촉각형 인터페이스를 이용한 시각 장애인 보조 시스템
US20150198455A1 (en) * 2014-01-14 2015-07-16 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
WO2015143203A1 (en) * 2014-03-19 2015-09-24 Schepens Eye Research Institute Active confocal imaging systems and methods for visual prostheses

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100127007A (ko) 2009-05-25 2010-12-03 이용근 시각 장애인을 위한 보행 안내 장치 및 방법
AT513882A2 (de) 2013-01-08 2014-08-15 Pajestka Kevin Vorrichtung zur Detektierung einer Umgebung
US9811756B2 (en) 2015-02-23 2017-11-07 Mitsubishi Electric Research Laboratories, Inc. Method for labeling images of street scenes

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140087091A (ko) * 2012-12-26 2014-07-09 건국대학교 산학협력단 카메라와 촉각형 인터페이스를 이용한 시각 장애인 보조 시스템
US20150198455A1 (en) * 2014-01-14 2015-07-16 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
WO2015143203A1 (en) * 2014-03-19 2015-09-24 Schepens Eye Research Institute Active confocal imaging systems and methods for visual prostheses

Also Published As

Publication number Publication date
WO2019060936A1 (de) 2019-04-04
US11205074B2 (en) 2021-12-21
AT520579A1 (de) 2019-05-15
EP3688663A1 (de) 2020-08-05
US20200293776A1 (en) 2020-09-17

Similar Documents

Publication Publication Date Title
DE112015002934B4 (de) Vorrichtung zum Erfassen eines Fahrunvermögenzustands eines Fahrers
DE112015002948B4 (de) Vorrichtung zum erfassen eines fahrunvermögenzustands eines fahrers
DE112008001804B4 (de) Verfahren zum Bestimmen eines wahrscheinlichen Bewegungs-Aufenthaltsbereichs eines Lebewesens
DE69824225T2 (de) Das Bild einer Hand verwendende Hinweisvorrichtung
EP3765927B1 (de) Verfahren zum erzeugen eines trainingsdatensatzes zum trainieren eines künstlichen-intelligenz-moduls für eine steuervorrichtung eines fahrzeugs
DE102008062916A1 (de) Verfahren zur Ermittlung einer Kollisionswahrscheinlichkeit eines Fahrzeuges mit einem Lebewesen
DE102015205685B4 (de) Fahrbahnmarkierungserkennungseinrichtung, fahrbahnmarkierungserkennungsverfahren sowie fahrzeug mit einer fahrbahnmarkierungserkennungseinrichtung
DE10301468A1 (de) Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs
EP3671546A1 (de) Verfahren und system zum bestimmen von landmarken in einer umgebung eines fahrzeugs
DE102012216593A1 (de) Draufsichtbasiertes avm-einparkhilfesystem
EP2427855A2 (de) Verfahren zur darstellung von unterschiedlich gut sichtbaren objekten aus der umgebung eines fahrzeugs auf der anzeige einer anzeigevorrichtung
WO2019223974A1 (de) Trainingsverfahren für ein fahrerassistenzverfahren, fahrerassistenzverfahren, steuergerät und fahrzeug mit dem steuergerät
EP1486932A2 (de) Bildverarbeitungssystem für ein Fahrzeug
EP2506807B1 (de) Adaptives steuerungs- und regelungssystem für prothesen mit willkürlicher steuerung
EP3355147B1 (de) Verfahren zum betrieb eines sich selbsttätig fortbewegenden fahrzeugs
AT520579B1 (de) Verfahren und Vorrichtung zur Detektion eines hindernisfreien Bereichs
DE112011105445T5 (de) Rote-Augen-Bestimmungsvorrichtung
DE102017215079A1 (de) Erfassen von Verkehrsteilnehmern auf einem Verkehrsweg
EP3526433A1 (de) SITUATIONSABHÄNGIGE VERSCHLIEßKÖRPERSTEUERUNG
EP3663881B1 (de) Verfahren zur steuerung eines autonomen fahrzeugs auf der grundlage von geschätzten bewegungsvektoren
AT521647A1 (de) Verfahren und System zur Datenaufbereitung, zum Trainieren eines künstlichen neuronalen Netzes und zum Analysieren von Sensordaten
DE112017006982T5 (de) Bedienungseignungsbeurteilungsvorrichtung,bedienungseignungsbeurteilungsverfahren undbedienungseignungsbeurteilungsprogramm
DE112018007056T5 (de) Fahrunterstützungsvorrichtung, Fahrunterstützungsverfahren und Fahrunterstützungsprogramm
DE102017123226A1 (de) Verfahren zum Bestimmen einer kritischen Höhe eines vorausliegenden Streckenabschnitts für ein Fahrzeug, das ein Zugfahrzeug und einen Anhänger umfasst
DE102017113860A1 (de) Objekterkennung basierte Richtungssteuerung von Licht und Schall