DE102013102528B4 - Verfahren zur Bestimmung einer Verbauposition einer Innenraumsensorik in einem Fahrzeug - Google Patents

Verfahren zur Bestimmung einer Verbauposition einer Innenraumsensorik in einem Fahrzeug Download PDF

Info

Publication number
DE102013102528B4
DE102013102528B4 DE102013102528.5A DE102013102528A DE102013102528B4 DE 102013102528 B4 DE102013102528 B4 DE 102013102528B4 DE 102013102528 A DE102013102528 A DE 102013102528A DE 102013102528 B4 DE102013102528 B4 DE 102013102528B4
Authority
DE
Germany
Prior art keywords
vehicle
head
model
data
sensor system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102013102528.5A
Other languages
English (en)
Other versions
DE102013102528A1 (de
Inventor
Daniel Slieter
Matthias Gebhard
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dr Ing HCF Porsche AG
Original Assignee
Dr Ing HCF Porsche AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dr Ing HCF Porsche AG filed Critical Dr Ing HCF Porsche AG
Priority to DE102013102528.5A priority Critical patent/DE102013102528B4/de
Publication of DE102013102528A1 publication Critical patent/DE102013102528A1/de
Application granted granted Critical
Publication of DE102013102528B4 publication Critical patent/DE102013102528B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512Passenger detection systems
    • B60R21/01552Passenger detection systems detecting position of specific human body parts, e.g. face, eyes or hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/647Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/164Detection; Localisation; Normalisation using holistic features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Instrument Panels (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

Verfahren zur Bestimmung einer Verbauposition einer Innenraumsensorik in einem Fahrzeug, mit mindestens einer Kamera, welche zur Bestimmung einer Kopfpose mindestens eines Insassen des Fahrzeugs einzusetzen ist, wobei die Verbauposition der Innenraumsensorik durch mindestens eine virtuelle, auf einem mathematischen Operator basierende Szene evaluiert wird, wobei der mathematische Operator in Abhängigkeit eines spezifischen Fahrzeugmodells, spezifischer Fahrzeugdaten, eines Kopfmodells, welches auf messtechnisch zu erfassenden Daten von verschiedenen Kopfposen des mindestens einen Insassen beruht, und von verschiedenen Koordinaten möglicher Verbaupositionen der Innenraumsensorik gebildet wird.

Description

  • Die vorliegende Erfindung betrifft ein Verfahren und ein entsprechendes System zur Evaluation einer Verbauposition einer Innenraumsensorik in einem Fahrzeug.
  • Anhand einer Kopfpose eines Insassen eines Fahrzeugs können vielseitige Informationen über Intentionen des entsprechenden Insassen abgeleitet werden. Insbesondere im Bereich der Fahrererkennung kann durch Wissen über eine aktuelle Kopfpose eines jeweiligen Fahrers eine Prädiktion des Fahr- bzw. Fahrerverhaltens erreicht werden.
  • Aus DE 103 60 176 A1 ist ein Kraftfahrzeug mit einem Sensor zur Fahrerüberwachung bekannt, bei dem der Sensor im Kraftfahrzeug in einer Position angebracht ist und geeignet ausgerichtet ist, dass eine möglichst ungehinderte Erfassung des Fahrers des Kraftfahrzeugs möglich ist.
  • Aus EP 1 530 525 B1 ist ein Verfahren zur Bestimmung der aktuellen Position eines sich auf eine dynamische Abschaltzone vor einem Airbagmodul hinbewegenden Kopfes eines Insassen im Innenraum eines Kraftfahrzeuges bekannt.
  • Aus DE 10 2010 044 449 A1 ist ein Verfahren zur Erkennung des Grades der Fahrfähigkeit des Fahrers eines Kraftfahrzeugs unter Verwendung einer Fahrerbeobachtungskamera zur Beobachtung des Fahrers und einer Innenraumkamera zur Beobachtung des Kraftfahrzeuginnenraums bekannt.
  • Da eine Schätzung der Kopfpose eines jeweiligen Fahrers meist auf einer Interpretation digitaler Bilder beruht, ist die Verbauposition, welche in dem jeweiligen Fahrzeug für die Innenraumsensorik, insbesondere einer bildgebenden digitalen Vorrichtung, im speziellen einer Kamera, bestimmt ist, von großer Wichtigkeit für Effektivität und Qualität einer Schätzung der Kopfpose.
  • Bisher wurde die Verbauposition durch designtechnische Restriktionen vorgegeben. Dazu wurden in aufwendigen Verfahren geeignete Prototypen von Fahrzeugen, welche eine Inneraumsensorik umfassen, aufgebaut. Diese Prototpen zeigen jedoch immer auch einige Nachteile. So müssen, um einen Prototypen zu erschaffen, bauliche und strukturelle Veränderungen an einem existierenden Fahrzeug real vorgenommen werden. Dadurch ist eine Ausrichtung des Innenraumsensors grob durch diese baulichen und strukturellen Veränderungen vorbestimmt.
  • Weiterhin ist durch eine hohe Anzahl an möglichen Derivaten eines jeweiligen Fahrzeugs, also an Anpassungsformen für verschiedene Baureihen und Ausstattungsvarianten, eine Vielzahl an Prototypen erforderlich.
  • Ferner gestaltete sich eine Evaluierung von verschiedenen infrage kommenden Innenraumsensoren bisher schwierig, da eine Verwendung einer zu einem Vergleichsobjekt identischen Verbauposition aus baulichen oder strukturellen Gründen oft unmöglich und ein bestimmungsgemäßer Gebrauch der infrage stehenden Innenraumsensoren dadurch nicht immer möglich war.
  • Weiterhin ergaben sich bei der Verwendung von Prototypen zur Bestimmung der bestmöglichen Verbauposition der Innenraumsensorik Probleme durch eine fehlende Referenz.
  • Aufgrund von Einschränkungen beim Verbau in einem jeweiligen Prototyp ist ein Einsatz von markerbasierten Systemen, welche eine Referenz in Form eines oder mehrerer Marker vorsehen, meist nicht möglich. Insbesondere ist ein Anbringen von Markern an den jeweiligen Insassen nicht möglich. Dieses Fehlen von Markern und einer damit verbundenen Grundwahrheit, welche als Bezugspunkt für etwaige Vergleiche von Messungen notwendig ist, erschwert eine Evaluation von unterschiedlichen Verbaupositionen eines Innenraumsensors enorm.
  • Verfahren und Computerprodukte zur Blickerfassung sind bereits vorbekannt.
  • So werden in der DE 10 2007 001 738 A1 ein Verfahren und ein Computerprogrammprodukt zur Blickerfassung offenbart. Dabei ist vorgesehen, mittels einer Kamera und einer Datenverarbeitungseinrichtung festzustellen, ob ein Proband seinen Blick während der Bildaufnahme in einen festgelegten räumlich begrenzten Bereich gerichtet hat.
  • In der DE 102 57 963 A1 sind ein Verfahren und eine Vorrichtung zur Bestimmung der 3D-Position von PKW-Insassen offenbart. Dabei werden unter Beobachtung von Fahrzeuginsassen durch mindestens zwei Kameras, geeignete Merkmale aus den aufgezeichneten Videodaten extrahiert und mittels Mustererkennung verifiziert. Ein Kopfmodell dient dabei als Grundlage für ein Tracking der verifizierten Merkmale.
  • Vor diesem Hintergrund ist es eine Aufgabe der vorliegenden Erfindung, eine Möglichkeit vorzusehen, eine Verbauposition einer Innenraumsensorik in einem Fahrzeug zu bestimmen, wobei ein Vergleich von verschiedenen Einbaupositionen und/oder Ausprägungsformen der vorzusehenden Innenraumsensorik vorzusehen ist.
  • Diese Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des unabhängigen Patentanspruchs 1 und ein System mit den Merkmalen des unabhängigen Patentanspruchs 14 gelöst.
  • Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung, den beiliegenden Zeichnungen und den jeweiligen Unteransprüchen.
  • Erfindungsgemäß wird dabei ein Verfahren bereitgestellt, welches zur Bestimmung einer Verbauposition einer Innenraumsensorik in einem Fahrzeug, insbesondere mindestens einer Kamera, welche zur Bestimmung einer Kopfpose mindestens eines Insassen des Fahrzeugs einzusetzen ist, vorgesehen ist. Dabei wird die Verbauposition der Innenraumsensorik durch mindestens eine virtuelle, auf einem mathematischen Operator basierende Szene evaluiert, wobei der mathematische Operator in Abhängigkeit eines spezifischen Fahrzeugmodells, spezifischer Fahrzeugdaten, eines Kopfmodells, welches auf messtechnisch zu erfassenden Daten von verschiedenen Kopfposen des mindestens einen Insassen beruht und verschiedener Koordinaten möglicher Verbaupositionen der Innenraumsensorik gebildet wird.
  • Im Kontext des vorliegenden erfindungsgemäßen Verfahrens ist unter Innenraumsensorik jede Form von Sensorik zu verstehen, mittels derer Informationen über das Geschehen im Inneren des Fahrzeugs erfasst werden können. Insbesondere sind dies 2D- und/oder Tiefenkameras, laser- und/oder radarbasierte Vorrichtungen sowie Infrarotsensoren.
  • Es ist erfindungsgemäß vorgesehen, eine virtuelle Szene zur Evaluierung verschiedener Verbaupositionen der Innenraumsensorik zu verwenden.
  • Die Berechnung der mindestens einen virtuellen Szene, welche als Simulation einer realen Fahrt zu verstehen ist, erfolgt dabei auf Basis des mathematischen Operators, welcher in Abhängigkeit des für das jeweilige Fahrzeug spezifischen Fahrzeugmodells, der spezifischen Fahrzeugdaten, des Kopfmodells, welches auf messtechnisch erfassten Daten von verschiedenen Kopfposen des mindestens einen Insassen beruht und der verschiedenen Koordinaten möglicher Verbaupositionen gebildet wird.
  • Ein spezifisches Fahrzeugmodell ist dabei nicht als Fahrzeuggruppe zu verstehen, sondern als digitales Modell eines einzelnen Fahrzeugs, was insbesondere in Form einer CAD-Zeichnung dargestellt werden kann. Selbstverständlich enthält das spezifische Fahrzeugmodell Informationen über die Fahrzeuggruppe, ferner jedoch zudem Ausstattungsmerkmale des jeweiligen Fahrzeugs. Dabei wird das spezifische Fahrzeugmodell bspw. aus 3D-Mesh- und/oder Texturdaten gebildet.
  • Die spezifischen Fahrzeugdaten umfassen sowohl die fahrzeugeigenen Parameter wie bspw. Maße von Baueinheiten oder Freiflächen als auch variable Daten über bspw. Gaspedalstellung, Motordrehzahl, Gierwinkel, Lenkwinkel und ähnliches.
  • Um eine möglichst hohe Realitätsnähe zu erhalten, ist erfindungsgemäß vorgesehen, dass die Kopfpose des jeweiligen mindestens einen Insassen, insbesondere des Fahrers, messtechnisch erfasst wird, d. h. die Kopfpose des jeweiligen mindestens einen Insassen wird durch die Innenraumsensorik, insbesondere durch mindestens eine Kamera vermessen und als Datengrundlage für ein Kopfmodell verwendet, welches Auskunft über spezifische Eigenschaften des jeweiligen Kopfes gibt. Dabei werden insbesondere Größe, Lage und Position des Kopfes verwendet.
  • Zur Evaluierung einer bestmöglichen Verbauposition der Innenraumsensorik ist erfindungsgemäß vorgesehen, verschiedene Einbauorte in der mindestens einen virtuellen Szene zu simulieren und diese miteinander zu vergleichen.
  • Eine Evaluation auf Basis einer virtuellen Szene weist dabei eine Vielzahl von Vorteilen auf. Bspw. können ohne großen Aufwand verschiedene Verbaupositionen simuliert und dadurch miteinander verglichen werden. Durch Verwendung eines digitalen Modells können Störvariablen minimiert und die Reliabilität von zugrundeliegenden Messungen maximiert werden. Dabei ist besonders die mit dem erfindungsgemäßen Verfahren einhergehende Kontrolle über Licht und Schattenwurf, welche die Innenraumsensorik beeinflussen, von Vorteil.
  • Weiterhin ist es möglich, verschiedene Sensoren in beliebiger Weise zu kombinieren, selbst wenn diese in der Realität in der Regel aus technischen Gründen in einer jeweiligen Ausgestaltung nicht zu verwenden wären. Eine solche Kombination erscheint bspw. dann sinnvoll, wenn verschiedene Ausführungsformen von geeigneten Sensoren zu vergleichen sind, welche in einem zukünftigen Entwicklungsschritt kombiniert werden sollen.
  • Ferner können digitalisierte Daten des mindestens einen Insassen, ermittelt durch die Innenraumsensorik, als auch die Innenraumsensorik selbst, direkt in das CAD-Modell des Fahrzeugs integriert werden. Dadurch ist es möglich, die Innenraumsensorik von Beginn an bei einer Konstruktion eines Fahrzeugs zu berücksichtigen, wodurch eine spätere Anpassung von Bauelementen des Fahrzeuginnenraums vermieden werden kann.
  • Weiterhin ermöglicht das erfindungsgemäße Verfahren einen Vergleich von Verfahren und/oder Vorrichtungen, welche mit der Innenraumsensorik in Verbindung stehen. Basierend auf einer virtuellen Kopfposen-Szene können verschiedene Verfahren und/oder Vorrichtungen evaluiert werden. Bspw. können anhand derselben virtuellen Szene verschiedene Fahrerbeobachtungssysteme auf ihre Genauigkeit oder Fehlerwahrscheinlichkeit hin verglichen werden.
  • In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens ist vorgesehen, dass die Evaluation der Verbauposition mindestens folgende Verfahrensschritte umfasst:
    1. a) Aufzeichnung realer Fahrten,
    2. b) Kopfposeschätzung und Erstellen eines Kopfmodells mittels eines Tiefensensors sowie Fusion von Fahrzeugdaten, welche bei der Aufzeichung realer Fahrten erhoben wurden mit Daten des Kopfmodells und dem Fahrzeugmodell zu einer 3D-Szene,
    3. c) Positionierung des Innenraumsensors in verschiedenen Verbaupositionen,
    4. d) Evaluierung der verschiedenen Verbaupositionen anhand gerenderter, also im dreidimensionalen Raum digitalisierter Szenen.
  • Dabei ist erfindungsgemäß vorgesehen, die Daten, welche während realer Fahrten von einem Tiefensensor gesammelt wurden, als Grundlage für die Kopfposeschätzung zu verwenden, welche wiederum zur Erzeugung des Kopfmodells verwendet wird, welches schließlich mit dem auf den spezifischen Fahrzeugdaten beruhenden Fahrzeugmodell zu einer virtuellen 3D-Szene fusioniert wird. In dieser virtuellen 3D-Szene kann der Innenraumsensor frei in verschiedenen infrage kommenden Verbaupositionen positioniert und die dadurch erzeugten virtuellen Szenen jeweilig evaluiert werden.
  • In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens ist vorgesehen, dass das Kopfmodell durch eine Verbindung aus 3D-Mesh- und Texturdaten gebildet werden kann.
  • Im Bereich des computergestützten Designs ist eine Erzeugung von virtuellen Szenen, insbesondere 3D-Szenen durch Mesh-Techniken in Verbindung mit Texturen bekannt. Erfindungsgemäß wird diese Technik verwendet, um ein qualitativ hochwertiges Kopfmodell zu erzeugen, welches als Grundlage für die Evaluation der Verbauposition der Innenraumsensorik dient.
  • In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens ist vorgesehen, dass das spezifische Fahrzeugmodell durch eine Verbindung aus 3D-Mesh- und Texturdaten gebildet werden kann.
  • Da auch das spezifische Fahrzeugmodell als Grundlage für die Evaluation der Verbauposition der Innenraumsensorik dient, ist auch hier eine qualitativ hochwertige 3D-Szene entscheidend. Daher werden auch hier die bereits erwähnten Techniken der Fusion von 3D-Mesh und Texturen angewandt.
  • In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens ist vorgesehen, dass der mathematische Operator verwendet wird, um das Fahrermodell mit Kopfanimation, das Fahrzeugmodell mit Lenkradanimation sowie simulierte Umgebungsbedingungen bereitzustellen.
  • Um eine Funktionsweise eines jeweiligen Innenraumsensors zu evaluieren, sind in der dazu verwendeten virtuellen Szene Bedingungen zu schaffen, wie sie auch in der Realität vorherrschen bzw. vorherrschen können. Dazu ist zwingend notwendig, sowohl eine Kopfanimation als auch ein Fahrzeugmodell mit Lenkradsimulation und simulierte Umgebungsbedingungen in die virtuelle Szene einzubeziehen. Die Animation eines Kopfes als vornehmliches Zielobjekt der Inneraumsensorik ist dabei von besonderer Bedeutung.
  • Erfindungsgemäß ist die Möglichkeit zur Kontrolle der genannten Parameter durch Verwendung einer virtuellen Szene vorgesehen. Dadurch wird eine Analyse der Kopfanimation unabhängig von den Störvariablen Umgebungsbedingungen, Fahrzeug- und Lenkradeinfluss ermöglicht. Innerhalb der virtuellen Szene können Störeinflüsse beliebig einbezogen oder ausgeschlossen werden, wenn diese bekannt und in die Generierung der virtuellen Szene einbezogen sind.
  • Ferner ist erfindungsgemäß vorgesehen, dass von dem Fahrermodell auf die Stellung des Lenkrades und damit auf das jeweilige Fahrmanöver geschlossen werden kann. Dies ist nur möglich, wenn das Lenkrad auch in das jeweilige spezifische Fahrzeugmodell eingeschlossen wird.
  • In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens ist vorgesehen, dass das Kopfmodell unter Verwendung eines 2D-Sensors und/oder eines Tiefensensors erzeugt wird.
  • Eine verlässliche Versorgung mit Tiefeninformationen ist in einer realen Anwendung im Fahrzeug häufig schwierig. Daher ist erfindungsgemäß eine Kopfposeschätzung auf Basis einer 2D- und/oder einer Tiefendarstellung des Fahrzeuginnenraums sowie einer 2D- und/oder einer Tiefendarstellung des mindestens einen Fahrzeuginsassen vorgesehen. Ferner bietet eine Fusion aus 2D- und Tiefendarstellung eine verbesserte Kopfposeschätzung, da in der 2D-Darstellung verhältnismäßig einfach die Information über den Hintergrund von der des Kopfes des mindestens einen Insassen des jeweiligen Fahrzeugs getrennt werden kann und der Tiefensensor Informationen über die räumliche Ausrichtung des Kopfes liefert.
  • In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens ist vorgesehen, dass die Kopfpose, welche durch den mathematischen Operator bestimmt wird, in Verbindung mit den spezifischen Fahrzeugdaten zur Bildung eines Modells, welches sowohl das jeweilige Fahrzeug als auch die Kopfpose und die Arme des mindestens einen Insassen des jeweiligen Fahrzeugs aufweist, verwendet wird.
  • Neben fahrzeugspezifischen Einflüssen, wie bspw. der Stellung des Lenkrads und den Umgebungseinflüssen, spielt auch die Position der Arme des mindestens einen Insassen des jeweiligen Fahrzeugs eine Rolle für die Verarbeitung der Kopfpose. Daher ist erfindungsgemäß vorgesehen, eine Simulation der Arme mindestens des mindestens einen Insassen mit in die Simulation aufzunehmen und dadurch deren Auswirkung auf die Innenraumsensorik auszuwerten.
  • In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens ist vorgesehen, dass die mindestens eine virtuelle Szene zum Test einer Fahrererkennung eingesetzt werden kann, welcher mindestens die folgenden Schritte umfasst:
    1. a) Wahl der Verbauposition der Innenraumsensorik
    2. b) Szenenrendering
    3. c) Algorithmentest.
  • Ein Ziel der Kopfposebestimmung ist eine Fahrererkennung durch technische Mittel und daraus abgeleitet eine Prädiktion des Fahrverhaltens. Um dies zu leisten, ist eine ganze Reihe an Algorithmen denkbar, welche gegeneinander verglichen werden müssen, um den bestmöglichen Algorithmus zu bestimmen. Dabei kann die Wahl der Verbauposition der Innenraumsensorik für die Genauigkeit eines Algorithmus entscheidend sein. Daher ist es durch Einsatz des vorliegenden erfindungsgemäßen Verfahrens möglich, verschiedene Algorithmen unter Berücksichtigung verschiedener Verbaupositionen miteinander zu vergleichen, d. h. dass dem jeweiligen Algorithmus zugrunde liegende Szenenrendering zu testen.
  • In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens ist vorgesehen, dass eine Fehlerberechnung, welche auf einer Modellüberlagerung einer 3D-Tiefenkarte basiert, als Ausgangspunkt für eine weitere Modellüberlagerung verwendet wird und ein Ergebnis der mindestens einen Modellüberlagerung als Kopfmodell in dem erfindungsgemäßen Verfahren verwendet wird.
  • Um eine möglichst valide Kopfposeschätzung für die Erstellung einer virtuellen Szene zu erreichen, ist bei einer Ausführungsform des vorliegenden erfindungsgemäßen Verfahrens ein Abgleich einer Tiefenkarte und einer Punktewolke, generiert durch einen Tiefensensor, vorgesehen. Dazu wird die Tiefenkarte mit der Punktewolke verglichen, indem die Tiefenkarte von der Punktewolke überlagert wird. Anhand dieser Überlagerung sind Fehler in den jeweiligen Modellen zu berechnen, welche zur Kopfposeschätzung und damit zur Bildung des Kopfmodells beitragen. Dabei kann der Vorgang der Fehlerberechnung durch Wiedereinspeisen des errechneten Modells in die Überlagerungsdarstellung mehrmals durchlaufen werden, was zu einer erhöhten Genauigkeit des Kopfmodells führt.
  • In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens ist vorgesehen, dass die Kopfpose relativ zu einem Fahrzeugkoordinatensystem des spezifischen Fahrzeugs bestimmt wird.
  • Um eine exakte Positionierung der Innenraumsensorik zu gewährleisten, ist erfindungsgemäß vorgesehen, die Kopfpose in räumlichen Bezug zu den Informationen der Innenraumsensorik zu stellen. Dazu wird die Kopfpose in Abhängigkeit zu einem Fahrzeugkoordinatensystem vermessen und deren Bewegung dargestellt.
  • In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens ist vorgesehen, dass verschiedene Messdaten von verschiedenen Kamerapositionen im Fahrzeug verglichen werden und darunter die beste Position ausgewählt wird.
  • Ferner ist vorgesehen, dass der Prozess der Evaluation mit einem weiteren, verfeinerten Satz von Messdaten wiederholt wird.
  • Ein Ziel des erfindungsgemäßen Verfahrens ist die Evaluation der Verbauposition der Innenraumsensorik eines Fahrzeugs, insbesondere einer Kamera. Dazu ist erfindungsgemäß vorgesehen, dass verschiedene Messdaten aus verschiedenen Verbaupositionen aufgezeichnet, zur Bildung eines Kopfmodells verwendet und schließlich miteinander verglichen werden. Auf diese Weise können die zu vergleichenden Verbaupositionen immer weiter verfeinert werden, um schließlich die finale Verbauposition zu erhalten.
  • In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens ist vorgesehen, dass die Kopfposebestimmung für einen Vergleich von Kopfposeschätzungsalgorithmen zur Fahreraufmerksamkeitsbestimmung und/oder zur Fahrmanöverprädiktion genutzt wird.
  • Die Kopfpose eines Fahrers eines Fahrzeuges kann Aufschluss über dessen Intentionen geben. Daher ist erfindungsgemäß vorgesehen, über die Kopfposeschätzung bzw. die Kopfmodellbildung eine Prädiktion des Fahrverhaltens des jeweiligen Fahrers zu leisten und die daraus gewonnen Informationen einem jeweiligen Fahrzeugmanagement zur Verfügung zu stellen.
  • In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens ist vorgesehen, dass die Kopfposebestimmung für einen Vergleich verschiedener Kameramodelle genutzt wird.
  • Wie bereits dargelegt, eignet sich die Kopfposebestimmung mittels mindestens einer virtuellen Szene dazu, unterschiedliche Innenraumsensoren zu evaluieren. Insbesondere im Bereich der Kameras ist eine Vielzahl an Sensoren verfügbar, welche mittels des vorliegenden erfindungsgemäßen Verfahrens evaluiert werden können.
  • In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens ist vorgesehen, dass die Kopfposebestimmung für eine Ausrichtung eines Head-Up-Displays (HUD) genutzt wird.
  • Da die Erkennungsleistung eines HUD stark vom Sehwinkel des Betrachters abhängt, ist erfindungsgemäß eine Positionierung in Abhängigkeit der Kopfpose des Fahrers vorgesehen. Dazu wird das HUD in die mindestens eine virtuelle Szene eingefügt und ein bestmöglicher Sehwinkel für den Fahrer bestimmt.
  • Ferner betrifft die vorliegende Erfindung ein System zur Evaluation einer Verbauposition einer Innenraumsensorik in einem Fahrzeug. Das erfindungsgemäße System dient insbesondere dazu das erfindungsgemäße Verfahren zur Bestimmung einer Verbauposition einer Innenraumsensorik auszuführen.
  • In einer Ausgestaltung des erfindungsgemäßen Systems ist vorgesehen, dass das System mindestens folgende Komponenten umfasst: eine Vorrichtung zur Ausführung von notwendigen Rechenoperationen, eine Schnittstelle zur Erfassung von Daten der Innenraumsensorik und eine Innenraumsensorik, wobei Daten, welche von der Inneraumsenorik gesammelt werden, durch die Schnittstelle erfasst und schließlich der Vorrichtung zur Ausführung der notwendigen Rechenoperationen zur Verfügung gestellt werden, welche Vorrichtung unter Verwendung der durch die Schnittstelle erfassten Daten ein virtuelles Äquivalent zu der durch die Innenraumsensorik aufgezeichneten Szene errechnet.
  • Dabei ist unter Vorrichtung zur Ausführung der notwendigen Rechenoperationen jede Form von automatisiertem Rechenelement zu verstehen, dass die für eine bestimmungsgemäße Ausführung des erfindungsgemäßen Verfahrens notwendigen Berechnungen zu leisten vermag.
  • Als Schnittstelle zur Erfassung von Daten der Innenraumsensorik kommen insbesondere Hochgeschwindigkeitsschnittstellen wie bspw. ein Universal Serial Bus (USB) in Betracht.
  • Die Erfindung ist anhand von Ausführungsformen in der Zeichnung schematisch dargestellt und wird unter Bezugnahme auf die Zeichnung ausführlich beschrieben.
    • 1 zeigt einen schematischen Ablauf eines Evaluierungsprozesses, wie er in einer ersten Ausführungsform des erfindungsgemäßen Verfahrens vorgesehen ist.
    • 2 zeigt die Ergebnisse einer Evaluierung anhand eines Fehler/Gierwinkel Diagramms,
    • 3 zeigt einen schematischen Überblick über die Bildung eines spezifischen Fahrzeugmodells mit einem Insassen, welcher sowohl Kopf als auch Arme aufweist, anhand von spezifischen Fahrzeugdaten und einer Kopfposeschätzung, wie es in einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens vorgesehen ist.
    • 4 zeigt einen Vergleich zwischen zwei Verbaupositionen zur Optimierung eines Algorithmus zur Fahrererkennung, wie es in einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens vorgesehen ist.
    • 5 zeigt einen schematischen Ablauf einer Kopfposeschätzung mittels Tiefeninformation, wie sie in einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens vorgesehen ist.
    • 6 zeigt eine virtuelle Szene, in der ein Innenraumsensor relativ zu einem Fahrzeugkoordinatensystem positioniert wird, wie es in einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens vorgesehen ist.
    • 7 zeigt eine virtuelle Szene, in der verschiedene Verbaupositionen für Innenraumsensorik dargestellt sind, wie sie in einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens vorgesehen sind.
  • Wie in 1 dargestellt, läuft eine Evaluierung einer Verbauposition für eine Innenraumsensorik, wie sie in einer ersten Ausführungsform des vorliegenden erfindungsgemäßen Verfahrens vorgesehen ist, in fünf Verfahrensschritten ab.
    In einem ersten Schritt 1 werden Aufzeichnungen realer Fahrten mittels geeigneter 2D- und Tiefensensoren erstellt. Darüber hinaus erfolgt bei den realen Fahrten eine Aufzeichnung von Fahrzeugdaten, wie bspw. einem Lenkradwinkel, Gierwinkel oder ähnlichem.
  • Durch die Innenraumsensorik, insbesondere durch 2D- und Tiefensensoren, aufgezeichnetes Datenmaterial wird in einem zweiten Schritt 2 zur Berechnung einer Kopfposeschätzung verwendet. Dabei erfolgt eine Fusion der 2D- und der Tiefensensordaten zu einem Kopfmodell.
  • In einem dritten Verfahrensschritt 3 wird das Kopfmodell mit den aus den realen Fahrten gewonnen Fahrzeugdaten und einem virtuellen Fahrzeugmodell, welches als CAD-Zeichnung vorliegt, zu einer 3D-Szene fusioniert.
  • 1 zeigt weiterhin eine Visualisierung eines vierten Verfahrensschritts 4, in dem ein Innenraumsensor in verschiedenen Verbaupositionen simuliert wird und dessen jeweilige Ausgaben untereinander verglichen werden.
  • In einem fünften und letzten Verfahrensschritt 5 werden die Ausgaben der verschiedenen Verbaupositionen evaluiert. Dies geschieht unter anderem anhand von Fehler/Gierwinkel-Diagrammen.
  • 2 zeigt eine solche Evaluation anhand eines Fehler/Gierwinkel-Diagramms. Dabei zeigt sich in dem hier dargestellten konkreten Beispiel, dass eine Verbauposition einer Innenraumsensorik in einem Kombiinstrument des jeweiligen Fahrzeugs 2a eine geringere Fehlerhäufigkeit bedingt als dies bei einem Verbau in einer A-Säule 2c oder in einem Innenspiegel des jeweiligen Fahrzeugs 2b der Fall wäre.
  • In 3 ist der Verfahrensschritt der Kopfposeschätzung mittels 2D- und Tiefeninformation dargestellt. Die Informationen 3a des 2D-Sensors und die Informationen 3b des Tiefensensors werden zu einer Kopfposeschätzung fusioniert und bilden zusammen mit den Fahrzeugdaten, welche während der realen Fahrten aufgezeichnet wurden, ein Modell des Fahrzeugs 3c samt Insassen.
  • Ein Vergleich zwischen zwei Verbaupositionen zur Optimierung eines Algorithmus zur Fahrererkennung ist in 4 dargestellt. Dabei zeigt sich, dass der Algorithmus unabhängig vom Einbauort 4a im Algorithmentest jeweils dieselben relevanten Gesichtsbereiche eines Insassen 4b markiert.
  • Zur Schätzung der Tiefeninformation, wie sie in 5 schematisch dargestellt ist, werden eine Tiefenkarte 5a und eine Punktewolke, wie in 5b angedeutet, welche von einem Tiefensensor bereitgestellt werden, durch Überlagerung der Punktewolke und der Tiefenkarte zu einem Modell 5c fusioniert und anhand der Deckung der durch die Überlagerung erhaltenen Informationen mögliche Fehler berechnet. Das Ergebnis dieser Modellbildung kann wiederum als Eingangsmaterial für eine erneute Modellbildung 5d mit anschließender Fehlerberechnung verwendet werden.
  • Um einen virtuellen Innenraumsensor 6a mit der nötigen Präzision in einem virtuellen Fahrzeug verbauen zu können, ist, wie in 6 dargestellt, ein Fahrzeugkoordinatensystem 6b vorgesehen.
  • Die möglichen Verbaupositionen A, B, C, D werden zunächst, wie in 7a gezeigt, grob, d. h. mit großen Abständen zueinander evaluiert, um sich dann in weiteren Evaluationsschritten mit zunehmend kleineren Abständen der miteinander zu vergleichenden Verbaupositionen Da, Db, Dc, wie es in 7b dargestellt ist, schließlich der optimalen Verbauposition sukkzessive anzunähern.

Claims (14)

  1. Verfahren zur Bestimmung einer Verbauposition einer Innenraumsensorik in einem Fahrzeug, mit mindestens einer Kamera, welche zur Bestimmung einer Kopfpose mindestens eines Insassen des Fahrzeugs einzusetzen ist, wobei die Verbauposition der Innenraumsensorik durch mindestens eine virtuelle, auf einem mathematischen Operator basierende Szene evaluiert wird, wobei der mathematische Operator in Abhängigkeit eines spezifischen Fahrzeugmodells, spezifischer Fahrzeugdaten, eines Kopfmodells, welches auf messtechnisch zu erfassenden Daten von verschiedenen Kopfposen des mindestens einen Insassen beruht, und von verschiedenen Koordinaten möglicher Verbaupositionen der Innenraumsensorik gebildet wird.
  2. Verfahren nach Anspruch 1, wobei die Evaluation der Verbauposition der Innenraumsensorik mindestens folgende Verfahrensschritte umfasst: a) Aufzeichnung realer Fahrten, b) Kopfposeschätzung und Erstellen eines Kopfmodells mittels mindestens eines Tiefensensors und eine Fusion von Fahrzeugdaten, welche bei der Aufzeichnung realer Fahrten erhoben wurden sowie von Daten des Kopfmodells und dem Fahrzeugmodell zu einer virtuellen Szene, c) Positionierung des Innenraumsensors in verschiedenen Verbaupositionen, d) Evaluierung verschiedener Verbaupositionen anhand gerenderter Szenen.
  3. Verfahren nach Anspruch 1 oder 2, wobei das spezifische Kopfmodell durch eine Verbindung aus 3D-Mesh- und Texturdaten gebildet wird.
  4. Verfahren nach einem der voranstehenden Ansprüche, wobei das spezifische Fahrzeugmodell durch eine Verbindung aus 3D-Mesh- und Texturdaten gebildet wird.
  5. Verfahren nach einem der voranstehenden Ansprüche, wobei der mathematische Operator verwendet wird, um ein Fahrermodell mit Kopfanimation, das Fahrzeugmodell mit Lenkradanimation sowie simulierte Umgebungsbedingungen zu erzeugen.
  6. Verfahren nach einem der voranstehenden Ansprüche, wobei das Kopfmodell unter Verwendung eines 2D-Sensors und/oder eines Tiefensensors erzeugt wird.
  7. Verfahren nach einem der voranstehenden Ansprüche, wobei die Kopfpose des mindestens einen Insassen des Fahrzeugs in Verbindung mit den spezifischen Fahrzeugdaten zur Bildung eines Modells, welches sowohl das spezifische Fahrzeug, als auch die Kopfpose und die Arme des mindestens einen Insassen des jeweiligen Fahrzeugs aufweist, verwendet wird.
  8. Verfahren nach einem der voranstehenden Ansprüche, wobei die Kopfpose relativ zu einem Fahrzeugkoordinatensystem des spezifischen Fahrzeugs bestimmt wird.
  9. Verfahren nach einem der voranstehenden Ansprüche, wobei verschiedene Messdaten von verschiedenen Kamerapositionen im Fahrzeug verglichen werden und die Position, welche die geringste Fehlerhäufigkeit bedingt, ausgewählt wird.
  10. Verfahren nach Anspruch 9, wobei das Verfahren mit einem weiteren, anhand der Ergebnisse der vorangehenden Messung optimierten Satz von Messdaten wiederholt wird.
  11. Verfahren nach einem der voranstehenden Ansprüche, wobei die Kopfposebestimmung für einen Vergleich von Kopfposeschätzungsalgorithmen zur Fahreraufmerksamkeitsbestimmung und/oder zur Fahrmanöverprädiktion genutzt wird.
  12. Verfahren nach einem der voranstehenden Ansprüche, wobei die Kopfposebestimmung für einen Vergleich verschiedener Kameramodelle genutzt wird.
  13. Verfahren nach einem der voranstehenden Ansprüche, wobei die Kopfposebestimmung für eine Ausrichtung eines Head-Up-Displays (HUD) genutzt wird.
  14. System zur Ausführung einer Evaluation einer Verbauposition nach einem der voranstehenden Ansprüche, wobei das System mindestens folgende Komponenten umfasst: eine Vorrichtung zur Ausführung der notwendigen Rechenoperationen und eine Schnittstelle zur Erfassung von Daten der Innenraumsensorik, wobei Daten, welche von der Innenraumsenorik gesammelt werden, durch die Schnittstelle erfasst und der Vorrichtung zur Ausführung der notwendigen Rechenoperationen zur Verfügung gestellt werden, welche Vorrichtung unter Verwendung der durch die Schnittstelle erfassten Daten ein virtuelles Äquivalent der durch die Innenraumsensorik aufgezeichneten Szene errechnet.
DE102013102528.5A 2013-03-13 2013-03-13 Verfahren zur Bestimmung einer Verbauposition einer Innenraumsensorik in einem Fahrzeug Active DE102013102528B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102013102528.5A DE102013102528B4 (de) 2013-03-13 2013-03-13 Verfahren zur Bestimmung einer Verbauposition einer Innenraumsensorik in einem Fahrzeug

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102013102528.5A DE102013102528B4 (de) 2013-03-13 2013-03-13 Verfahren zur Bestimmung einer Verbauposition einer Innenraumsensorik in einem Fahrzeug

Publications (2)

Publication Number Publication Date
DE102013102528A1 DE102013102528A1 (de) 2014-09-18
DE102013102528B4 true DE102013102528B4 (de) 2022-04-21

Family

ID=51418555

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102013102528.5A Active DE102013102528B4 (de) 2013-03-13 2013-03-13 Verfahren zur Bestimmung einer Verbauposition einer Innenraumsensorik in einem Fahrzeug

Country Status (1)

Country Link
DE (1) DE102013102528B4 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461980B (zh) * 2020-03-30 2023-08-29 北京百度网讯科技有限公司 点云拼接算法的性能估计方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10257963A1 (de) 2002-12-12 2004-07-08 Daimlerchrysler Ag Verfahren und Vorrichtung zur Bestimmung der 3D-Position von PKW-Insassen
DE10360176A1 (de) 2003-12-20 2005-07-21 Volkswagen Ag Kraftfahrzeug mit einem Sensor zur Fahrerüberwachung
EP1530525B1 (de) 2003-05-13 2008-05-28 Continental Automotive GmbH Verfahren zur bestimmung der aktuellen kopfposition von fahrzeuginsassen
DE102007001738A1 (de) 2007-01-11 2008-07-17 Audi Ag Verfahren und Computerprogrammprodukt zur Blickerfassung
DE102010044449A1 (de) 2009-12-31 2011-07-07 Volkswagen AG, 38440 Erkennen des Grades der Fahrfähigkeit des Fahrers eines Kraftfahrzeugs

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10257963A1 (de) 2002-12-12 2004-07-08 Daimlerchrysler Ag Verfahren und Vorrichtung zur Bestimmung der 3D-Position von PKW-Insassen
EP1530525B1 (de) 2003-05-13 2008-05-28 Continental Automotive GmbH Verfahren zur bestimmung der aktuellen kopfposition von fahrzeuginsassen
DE10360176A1 (de) 2003-12-20 2005-07-21 Volkswagen Ag Kraftfahrzeug mit einem Sensor zur Fahrerüberwachung
DE102007001738A1 (de) 2007-01-11 2008-07-17 Audi Ag Verfahren und Computerprogrammprodukt zur Blickerfassung
DE102010044449A1 (de) 2009-12-31 2011-07-07 Volkswagen AG, 38440 Erkennen des Grades der Fahrfähigkeit des Fahrers eines Kraftfahrzeugs

Also Published As

Publication number Publication date
DE102013102528A1 (de) 2014-09-18

Similar Documents

Publication Publication Date Title
EP3438901A1 (de) Testfahrtszenario-datenbanksystem für realitätsnahe virtuelle testfahrtszenarien
AT521607B1 (de) Verfahren und Vorrichtung zum Testen eines Fahrerassistenzsystem
DE102017107396B4 (de) Testverfahren und Testvorrichtung für Fahrerassistenzsysteme
DE102018128289B4 (de) Verfahren und vorrichtung für eine autonome systemleistung und zur einstufung
DE102008013366B4 (de) Verfahren zur Bereitstellung von Information für Fahrerassistenzsysteme
DE102013204415A1 (de) Vorrichtung und Verfahren zur Parkpositionsanzeige eines Fahrzeugs
DE102006044086A1 (de) System und Verfahren zur Simulation von Verkehrssituationen, insbesondere unfallkritischen Gefahrensituationen, sowie ein Fahrsimulator
DE102019125627B4 (de) Innenraumüberwachungsvorrichtung
DE102015208429A1 (de) Verfahren und Vorrichtung zur Erkennung und Bewertung von Fahrbahnreflexionen
EP2546778A2 (de) Verfahren zum evaluieren einer Objekterkennungseinrichtung eines Kraftfahrzeugs
DE102014106506A1 (de) Verfahren zum Durchführen einer Diagnose eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
EP3729213B1 (de) Verhaltensmodell eines umgebungssensors
DE102017202194A1 (de) Verfahren und Vorrichtung zum Ermitteln einer visuellen Ablenkung eines Fahrers eines Fahrzeugs
DE102015206546A1 (de) Fahrbahnmarkierungserkennungsvorrichtung
DE102020211970A1 (de) Verfahren zum Steuern eines Fahrzeugs
DE102018222862A1 (de) Verfahren und System zur Lokalisierung einer Akustikquelle relativ zu einem Fahrzeug
DE102020200169B3 (de) Verfahren zur Zusammenführung mehrerer Datensätze für die Erzeugung eines aktuellen Spurmodells einer Fahrbahn und Vorrichtung zur Datenverarbeitung
DE102013215408A1 (de) Anzeigesystem für ein Fahrzeug und Verfahren für die Anzeige einer Fahrzeugumgebung
DE102013102528B4 (de) Verfahren zur Bestimmung einer Verbauposition einer Innenraumsensorik in einem Fahrzeug
EP2996327A2 (de) Surround-view-system für fahrzeuge mit anbaugeräten
DE102020214596A1 (de) Verfahren zum Erzeugen von Trainingsdaten für ein Erkennungsmodell zum Erkennen von Objekten in Sensordaten einer Umfeldsensorik eines Fahrzeugs, Verfahren zum Erzeugen eines solchen Erkennungsmodells und Verfahren zum Ansteuern einer Aktorik eines Fahrzeugs
DE102010012340B4 (de) Verfahren zum Erfassen der Bewegung eines Menschen in einem Fertigungsprozess, insbesondere in einem Fertigungsprozess für ein Kraftfahrzeug
DE102021129864A1 (de) Verfahren und System zur Annotation von Sensordaten
DE102006048869A1 (de) Projektionsanordnung zur Darstellung eines Designs auf einer Oberfläche eines Kraftfahrzeuges
DE102016216268A1 (de) Erzeugung von sensordaten in einer virtuellen fahrumgebung

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final