-
Die vorliegende Erfindung betrifft ein Verfahren zum Erfassen zumindest eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs. Darüber hinaus betrifft die vorliegende Erfindung ein Kamerasystem für ein Kraftfahrzeug. Schließlich betrifft die vorliegende Erfindung ein Kraftfahrzeug mit einem derartigen Kamerasystem.
-
Kamerasysteme für Kraftfahrzeuge sind aus dem Stand der Technik bekannt. Diese Kamerasysteme können beispielsweise eine Mehrzahl von Kameras umfassen, die verteilt an dem Kraftfahrzeug angeordnet ist. Mit diesen Kameras kann dann ein Umgebungsbereich des Kraftfahrzeugs erfasst werden. Mit den Kameras können insbesondere Bildsequenzen bzw. Videodaten bereitgestellt werden, welche den Umgebungsbereich beschreiben bzw. abbilden. Diese Videodaten können dann beispielsweise auf einer Anzeigeeinrichtung im Innenraum des Kraftfahrzeugs dargestellt werden.
-
Weiterhin ist es aus dem Stand der Technik bekannt, die Bilder der Kameras dazu zu verwenden, um Objekte in dem Umgebungsbereich zu erfassen. Zu diesem Zweck können beispielsweise entsprechende Objekterkennungsalgorithmen verwendet werden. Weiterhin ist es aus dem Stand der Technik bekannt, hierzu eine Segmentierung der Bilder durchzuführen. Dabei können inhaltlich zusammenhängende Bereiche in dem Bild durch das Zusammenfassen benachbarter Bildpunkte entsprechend einem bestimmten Homogenitätskriterium erzeugt werden. Die Objekterkennungsalgorithmen, welche auf Segmentierung basieren, können in unterschiedliche Kategorien eingeteilt werden. Beispielsweise sind sogenannte kantenorientierte Verfahren bekannt, bei denen in dem Bild nach Kanten oder Objektübergängen gesucht wird. Hier können beispielsweise Verfahren wie der Sobel-Operator oder der Canny-Kantendetektor verwendet werden. Darüber hinaus sind grenzwertbasierte Verfahren, wie beispielsweise das Otsu-Verfahren bekannt. Darüber hinaus werden regionenorientierte Verfahren, clusterbasierte Verfahren, sogenannte Split-And-Merge-Verfahren, graphenbasierte Verfahren und/oder trainierbare Verfahren verwendet.
-
Bei den meisten existierenden Verfahren zur Segmentierung erfolgt die Detektion eines Bereichs in dem Bild anhand eines Grenzwerts, welcher beispielsweise in Abhängigkeit von wechselnden Anforderungen bzw. Szenen angepasst werden muss. Zudem werden durch die Segmentierung oft eine Vielzahl von Bereichen bzw. Regionen erkannt, welche nachfolgend entsprechend untersucht werden müssen. Insbesondere müssen diese Bereiche entsprechenden Objekten zugeordnet werden. Somit können diese Bereiche in Form einer Klassifizierung klassifiziert werden, also einer Semantik bzw. einer Bedeutung zugeordnet werden. Diese Lösungen sind rechentechnisch komplex und erfordern daher eine hohe Rechenleistung. Dies bringt den Nachteil mit sich, dass diese in Kamerasystemen für Kraftfahrzeuge, die beispielsweise einen digitalen Signalprozessor (DSP) aufweisen, nur begrenzt eingesetzt werden können.
-
Es ist Aufgabe der vorliegenden Erfindung, eine Lösung aufzuzeigen, wie ein Objekt in einem Umgebungsbereich anhand von Bildern einer Kamera einfacher und zuverlässiger erfasst werden kann.
-
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Kamerasystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Ansprüchen gelöst. Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand der abhängigen Ansprüche, der Beschreibung und der Figuren.
-
Ein erfindungsgemäßes Verfahren dient zum Erfassen zumindest eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs. Das Verfahren umfasst das Bereitstellen zumindest eines Bilds mittels der Kamera. Ferner umfasst das Verfahren das Bestimmen eines Straßenbereichs in dem zumindest einen Bild, welcher einer Straße in dem Umgebungsbereich zugeordnet ist. Ferner beinhaltet das Verfahren das Einteilen des Straßenbereichs in eine Mehrzahl von Bildblöcken sowie das Bestimmen eines jeweiligen Intensitätswerts für die Bildblöcke, welcher eine Intensität von zumindest einem Bildpunkt des Bildblocks beschreibt. Ferner ist es vorgesehen, dass denjenigen der Bildblöcke eine Kennung Kantenblöcke zugeordnet wird, deren jeweiliger Intensitätswert zu zumindest einem benachbarten der Bildblöcke eine vorbestimmte Variation aufweist. Schließlich wird das zumindest eine Objekt anhand der Bildblöcke mit der Kennung Kantenblöcke erfasst.
-
Mit Hilfe des Verfahrens sollen ein oder mehrere Objekte in dem Umgebungsbereich des Kraftfahrzeugs erfasst bzw. erkannt werden. Dazu wird mittels zumindest einer Kamera des Kraftfahrzeugs zumindest ein Bild bereitgestellt. Insbesondere ist es vorgesehen, dass mit der Kamera eine Mehrzahl von Bildern bzw. eine Bildsequenz bereitgestellt wird, welche den Umgebungsbereich beschreibt bzw. abbildet. Mittels einer entsprechenden Auswerteeinrichtung kann dann das zumindest eine Bild bearbeitet bzw. untersucht werden. Insbesondere ist es vorgesehen, dass das zumindest eine Bild einem Objekterkennungsalgorithmus unterzogen wird. Hierbei wird ein Straßenbereich in dem Bild erkannt bzw. bestimmt, welcher einer Straße in dem Umgebungsbereich zugeordnet wird. Als Straße ist insbesondere die Fahrbahn zu verstehen, auf der sich das Kraftfahrzeug momentan befindet bzw. auf welcher das Kraftfahrzeug momentan fährt. Wenn der Straßenbereich in dem Bild erkannt wurde, wird der Straßenbereich in eine Mehrzahl von Bildblöcken eingeteilt. Die einzelnen Bildblöcke stellen also Teilbereiche des Straßenbereichs dar. Die Bildblöcke können beispielsweise in mehreren Zeilen und mehreren Spalten nebeneinander angeordnet sein. Die jeweiligen Bildblöcke können zumindest einen Bildpunkt des Bildes umfassen. Insbesondere weisen die Bildblöcke die gleiche Größe auf.
-
Weiterhin ist es vorgesehen, dass für jeden Bildblock jeweils ein Intensitätswert bestimmt wird, welcher die Intensität zumindest eines Bildpunkts des jeweiligen Bildblocks beschreibt. Somit kann beispielsweise der Intensitätswert des Bildpunkts, welcher in dem Bildblock mittig angeordnet ist, verwendet werden. Es kann auch vorgesehen sein, dass für die einzelnen Bildpunkte des Bildblocks jeweils die Intensität bestimmt wird und als der Intensitätswert den Mittelwert der Intensitäten der Bildpunkte in dem Bildblock verwendet wird. Durch den Intensitätswert kann also der jeweilige Bildblock in dem Straßenbereich beschrieben werden. Ferner ist es vorgesehen, dass für jeden der Bildblöcke untersucht wird, wie sich der Intensitätswert des Bildblocks zu dem Intensitätswert zumindest eines benachbarten Bildblocks verhält. Insbesondere wird ein Unterschied zwischen dem Intensitätswert des Bildblocks zu zumindest einem Intensitätswert des benachbarten Bildblocks bestimmt. Es wird also überprüft, ob die Intensitäten der benachbarten Bildblöcke eine vorbestimmte Variation aufweist. Wenn der Unterschied des Intensitätswerts des Bildblocks zu dem Intensitätswert des Nachbarbildblocks einen vorbestimmten Unterschied aufweist, wird diesem Bildblock eine Kennung Kantenblöcke zugewiesen. Die Kennung bzw. ID Kantenblock beschreibt, dass dieser Bildblock eine starke Kante umfassen kann. Insgesamt wird jedem der Bildblöcke in dem Straßenbereich, der im Vergleich zu dem Nachbarbildblock die vorbestimmte Intensitätsvariation aufweist, diese Kennung zugeordnet. Dies ermöglicht es, dass diese Kantenblöcke innerhalb des Straßenbereichs näher untersucht werden können. Insbesondere werden diese Kantenblöcke daraufhin untersucht, ob sie einem Objekt zuzuordnen sind. Damit kann es ermöglicht werden, dass ein Objekt, welches sich auf der Straße in dem Umgebungsbereich des Kraftfahrzeugs befindet, erfasst werden kann.
-
Bevorzugt wird zum Bestimmen des Straßenbereichs das zumindest eine Bild mittels eines texturorientierten Verfahrens oder anhand der Intensität der Bildpunkte des Bilds segmentiert. Um den Straßenbereich in dem zumindest einen Bild zu erkennen, der der Straße bzw. der Fahrbahn in dem Umgebungsbereich des Kraftfahrzeugs zugeordnet ist, wird das zumindest eine Bild entsprechend segmentiert. Hierbei kann es vorgesehen sein, dass hierzu ein texturorientiertes Verfahren verwendet wird. Hierbei wird berücksichtigt, dass die Straße bzw. die Fahrbahn aufgrund ihrer Oberfläche eine typische Textur aufweist. Hierzu kann beispielsweise ein entsprechendes Verfahren verwendet werden, das diese typischen Oberflächenstrukturen der Straße bzw. der Fahrbahn in dem Bild erkennen kann. Alternativ oder zusätzlich kann es vorgesehen sein, dass zum Segmentieren des Bilds bzw. zum Erkennen des Straßenbereichs die Intensitätswerte zumindest einer vorbestimmten Anzahl der Bildpunkte in dem Bild untersucht werden. Hierzu können die einzelnen Bildpunkte bezüglich ihrer Intensität näher untersucht werden. Beispielsweise können diejenigen Bildpunkte zusammengefasst werden, die einem vorbestimmten Homogenitätskriterium genügen. Beispielsweise kann hierzu das Bild mit einem entsprechenden Zeilenhistogramm und/oder Spaltenhistrogramm untersucht werden. Ferner kann es vorgesehen sein, dass die jeweilige Helligkeit der Bildpunkte untersucht wird. Auf diese Weise kann der Straßenbereich, der die Straße bzw. die Fahrbahn in dem Bild abbildet, zuverlässig erfasst werden.
-
In einer Ausführungsform wird eine Mehrzahl von Kostenwerten vorgegeben, die Bildblöcke werden in Abhängigkeit von einem Unterschied ihres Intensitätswerts zu dem Intensitätswert des zumindest einen benachbarten Bildblocks einem der Kostenwerte zugeordnet und denjenigen Bildblöcken wird die Kennung Kantenblock zugeordnet, deren Kostenwert einen vorbestimmten Schwellenwert überschreitet. Vorliegend werden diejenigen Bildblöcke untersucht, die dem Straßenbereich in dem Bild zugeordnet sind. Diesen Bildblöcken kann beispielsweise die Kennung bzw. die ID „Straße“ zugeordnet sein. Ferner wird eine Mehrzahl von Kostenwerten vorgegeben. Diese Kostenwerte können beispielsweise jeweiligen Klassen in einem Histogramm entsprechen. Beispielsweise können insgesamt 64 Kostenwerte vorgegeben werden. Anschließend wird für jeden der Bildblöcke der Unterschied seines Intensitätswerts zu dem Intensitätswert zumindest eines benachbarten Bildblocks bestimmt. In Abhängigkeit von dieser Variation des Intensitätswerts wird jedem der Bildblöcke einer der vorbestimmten Kostenwerte zugeordnet. Dabei kann es auch vorgesehen sein, dass mehrere Bildblöcke einem der Kostenwerte zugeordnet werden. Dabei können die Kostenwerte derart bestimmt werden, dass ein niedriger Kostenwert eine niedrige Intensitätsvariation und ein hoher Kostenwert eine hohe Intensitätsvariation beschreibt. Ferner wird ein Schwellwert vorgegeben und diejenigen Bildblöcke, deren Kostenwert diesen vorbestimmten Schwellwert unterschreitet, werden dann als Kantenblöcke bezeichnet bzw. diesen Bildpunkten wird die Kennung Kantenblock zugeordnet. Dies ermöglicht es, die Kantenblöcke auf einfache Weise und mit einer geringen Rechenleistung zu identifizieren. Somit kann die Zuordnung der Bildblöcke zu den Kantenblöcken mit Hilfe eines digitalen Signalprozessors oder einer anderen entsprechenden Auswerteeinrichtung der Kamera durchgeführt werden.
-
In einer Ausgestaltung wird eine Anzahl der Bildblöcke, die den jeweiligen Kostenwerten zugeordnet sind, ausgehend von dem niedrigsten Kostenwert jeweils nacheinander bestimmt und aufsummiert. Zudem wird derjenige der Kostenwerte bestimmt, bei dem die Summe der Bildblöcke einen vorbestimmten Anteil bezüglich der Anzahl der Bildblöcke in dem Straßenbereich erreicht und der Schwellenwert wird anhand des bestimmten Kostenwerts bestimmt. Mit anderen Worten kann ein entsprechendes Histogramm bestimmt werden, bei dem die Klassen den Kostenwerten entsprechen. Damit kann die jeweilige Anzahl der Bildblöcke, die den Kostenwerten zugeordnet sind, aufsummiert werden. Es kann also ausgehend von dem niedrigsten Kostenwert eine akkumulierte Summe der Anzahl der Bildblöcke bestimmt werden. Der niedrigste Kostenwert umfasst dabei diejenigen Bildblöcke, bei denen die Intensitätsvariation bezüglich des benachbarten Bildblocks am geringsten ist. Beispielsweise können dem niedrigsten Kostenwert diejenigen Bildblöcke zugeordnet sein, bei denen der Intensitätswert dem Intensitätswert des benachbarten Blocks entspricht. Anschließend wird überprüft, wann bzw. bei welchem der Kostenwerte die akkumulierte Summe einen vorbestimmten Anteil der Gesamtanzahl der Bildblöcke in dem Straßenbereich erreicht hat. Dieser Gesamtanteil kann in Abhängigkeit von der Komplexität der Szene in dem Bild vorbestimmt werden. Beispielsweise kann dieser vorbestimmte Anteil 90 % betragen. Derjenige Kostenwert, bei dem die akkumulierte Summe den Anteil bezüglich der Gesamtanzahl der Bildblöcke erreicht hat, wird dann zum Bestimmen des Schwellenwerts herangezogen. Beispielsweise können diejenigen Kostenwerte, die ausgehend von dem niedrigsten Kostenwert nach diesem ausgewählten Kostenwert folgen, als Kantenblöcke bezeichnet werden. Damit können die Kantenblöcke auf einfache Weise und mit geringem Rechenaufwand ermittelt werden.
-
Weiterhin ist es vorteilhaft, wenn eine Region von Interesse des Bilds in mehrere Spalten eingeteilt wird, wobei eine Breite der jeweiligen Spalten derart bestimmt wird, dass diese zumindest einen Bildpunkt umfassen, und für jede der Spalten wird eine Anzahl in der Spalte enthaltenen Bildblöcke mit der Kennung Kantenblock bestimmt. In dem zumindest einen Bild wird ein vorbestimmter Teil bzw. eine Region von Interesse ausgewählt. Diese Region von Interesse kann so gewählt werden, dass diese unterhalb einer horizontalen Linie in dem Bild angeordnet ist. Die horizontale Linie in dem Bild kann so bestimmt werden, dass sich über dieser horizontalen Linie beispielsweise ein Himmel befindet. Insbesondere befindet sich in dem ausgewählten Teil des Bilds der Straßenbereich. Der ausgewählte Teil des Bilds wird dann in eine Mehrzahl von Spalten eingeteilt. Hierbei kann eine vorbestimmte Anzahl an Spalten vorgesehen werden. Die Spaltenbreite ist dabei so gewählt, dass diese zumindest einen Bildblock umfasst. Für jede der Spalten wird nach Art eines Histogramms die Anzahl der Bildblöcke, denen die Kennung Kantenblock zugeordnet ist, bestimmt. Mit anderen Worten wird also bestimmt, wie viele Bildblöcke mit der Kennung Kantenblock sich in der jeweiligen Spalte befinden. Damit kann nachfolgend bestimmt werden, in welchem Bereich sich möglicherweise das Objekt befinden kann. Insbesondere kann bestimmt werden, in welchem Bereich des Bilds, der bei der Segmentierung dem Straßenbereich zugeordnet wurde, sich das Objekt befinden kann. Alternativ oder zusätzlich kann es auch vorgesehen sein, dass die ausgewählte Region von Interesse des Bilds in eine Mehrzahl von Zeilen eingeteilt wird und für jede der Zeilen die Anzahl der in der Zeile enthaltenen Bildblöcke mit der Kennung Kantenblock bestimmt wird.
-
Bevorzugt wird anhand der Spalten, bei denen die Anzahl der enthaltenen Bildblöcke mit der Kennung Kantenblock einen vorbestimmten Grenzwert überschreitet, zumindest eine Objektregion innerhalb des Bilds bestimmt wird. Durch die Untersuchung der vorbestimmten Spalten nach Art eines vertikalen Histogramms können diejenigen Bereiche innerhalb des Bilds bzw. der Region von Interesse des Bilds erkannt werden, an denen sich das Objekt befinden kann. Dabei können diejenigen Spalten ermittelt werden, bei denen die Anzahl der enthaltenen Bildblöcke mit der Kennung Kantenblock einen vorbestimmten Grenzwert überschreitet. Dabei kann es auch vorgesehen sein, dass überprüft wird, ob bei nebeneinander angeordneten Spalten dieser Grenzwert überschritten wird. Anhand derjenigen Spalten, bei denen der Grenzwert überschritten wird, kann in dem Bild und insbesondere in dem Straßenbereich eine Objektregion definiert werden. Diese Objektregion beschreibt einen Teil des Bilds bzw. der Region von Interesse des Bilds, der zunächst als Straße bestimmt wurde, in dem sich gegebenenfalls ein Objekt befinden kann. Diese Objektregion kann dann nachfolgend näher untersucht werden. Insbesondere kann hierbei bestimmt werden, ob tatsächlich ein Objekt vorhanden ist, das sich beispielsweise auf der Straße bzw. auf der Fahrbahn befindet oder ob es sich bei dem vermeintlichen Objekt um einen Teil der Straße handelt.
-
In einer Ausgestaltung wird eine jeweilige Helligkeit der Bildblöcke in der Objektregion und/oder eine jeweilige Position der Bildblöcke mit der Kennung Kantenblock in der Objektregion bestimmt und das zumindest eine Objekt wird anhand der bestimmten Helligkeit der Bildblöcke und/oder der Position der Bildblöcke mit der Kennung Kantenblock erkannt. Anhand der jeweiligen Position bzw. der Anordnung der Bildblöcke mit der Kennung Kantenblock kann beispielsweise ein vorbestimmtes Muster erkannt werden. Hierbei kann weiterhin untersucht werden, ob dieses Muster einem Objekt zuzuordnen ist. Ferner kann überprüft werden, ob die Kantenblöcke beispielsweise eine Grenze der Straße bzw. der Fahrbahn beschreiben. Alternativ oder zusätzlich kann es vorgesehen sein, dass die Verteilung der Helligkeit innerhalb der Objektregion untersucht wird. Auch somit kann erkannt werden, ob innerhalb der Objektregion ein entsprechendes Muster erkannt werden kann. Weiterhin kann beispielsweise erkannt werden, ob in der Objektregion von Sonnenlicht beleuchtete Bereiche oder Schattenbereiche vorhanden sind. Ferner können beispielsweise Reflexionen auf der Straßenoberfläche erkannt werden. Dies ist insbesondere der Fall, wenn sich Wasser auf der Fahrbahnoberfläche befindet. Somit kann untersucht werden, ob sich in der Objektregion tatsächlich ein Objekt befindet.
-
Weiterhin ist es vorteilhaft, wenn eine räumliche Erstreckung der Objektregion bestimmt wird und das zumindest eine Objekt anhand der bestimmten räumlichen Erstreckung erfasst wird. Zum Erkennen des Objekts kann grundsätzlich die räumliche Erstreckung bzw. die Abmessungen der Objektregion berücksichtigt werden. Wenn es sich bei dem Objekt beispielsweise um einen Fußgänger handelt, ist es üblicherweise der Fall, dass die Objektregion eine geringe räumliche Erstreckung entlang einer horizontalen Richtung aufweist. In diesem Fall erstreckt sich die Objektregion beispielsweise nur über wenige nebeneinander angeordneter Spalten. Hierbei kann beispielsweise auch anhand der Breite der Objektregion in horizontaler Richtung erkannt werden, wie weit der Fußgänger von dem Kraftfahrzeug entfernt ist. Ferner kann beispielsweise anhand der Objektregion erkannt werden, ob es sich bei dem Objekt um eine Fahrbahnmarkierung handelt. Aufgrund der optischen Verzerrung weisen beispielsweise Fahrbahnmarkierungen zum Begrenzen der Fahrbahn bzw. der Straße eine größere räumliche Erstreckung auf, als Mittellinien, die beispielsweise mittig in dem Bild angeordnet sind. Auf diese Weise kann das Objekt auf der Straße zuverlässig erfasst werden.
-
In einer weiteren Ausgestaltung werden zumindest zwei Bilder bereitgestellt, für jedes der zumindest zwei Bilder wird die Objektregion bestimmt und das Objekt wird anhand eines Vergleichs der Objektregionen in den zumindest zwei Bildern erfasst. Mittels der Kamera kann eine Bildsequenz mit zumindest zwei Bildern bereitgestellt werden, die zeitlich nacheinander aufgenommen wurden. Dabei kann in jedem die Objektregion erkannt werden. In den zumindest zwei Bildern können die einander entsprechenden Objektregionen dann miteinander verglichen werden. Somit kann beispielsweise überprüft werden, ob sich die Objektregion in Abhängigkeit von der Zeit verändert. Somit kann beispielsweise bestimmt werden, ob die Objektregion in mehreren zeitlich aufeinanderfolgenden Bildern erkannt wurde. Somit kann beispielsweise überprüft werden, ob es sich bei dem vermeintlichen Objekt um ein reales Objekt oder beispielsweise um eine momentan vorhanden Sonneneinstrahlung oder einen momentan vorhandenen Schatten handelt. Dabei kann es zudem vorgesehen sein, dass die aktuelle Fahrgeschwindigkeit und/oder die Fahrtrichtung des Kraftfahrzeugs erfasst wird und bei dem Vergleich der Objektregionen der zumindest zwei Bilder berücksichtigt wird. Somit kann auf zuverlässige Weise überprüft werden, ob ein reales Objekt auf der Straße bzw. Fahrbahn vorhanden ist.
-
Weiterhin ist es vorteilhaft, wenn das zumindest zweite Objekt anhand eines Vergleichs der Objektregionen in den zumindest zwei Bildern als statisches oder als bewegtes Objekt erkannt wird. Das erste Bild kann beispielsweise den Umgebungsbereich zu einem ersten Zeitpunkt beschreiben. Das zweite Bild kann den Umgebungsbereich zu einem auf den ersten Zeitpunkt folgenden zweiten Zeitpunkt beschreiben. Wenn sich die Objektregion in dem zweiten Bild im Vergleich zu dem ersten Bild verkleinert, kann beispielsweise davon ausgegangen werden, dass es sich um ein bewegtes Objekt handelt, das sich von dem Kraftfahrzeug wegbewegt. Vergrößert sich die Objektregion in dem zweiten Bild im Vergleich zu dem ersten Bild, kann davon ausgegangen werden, dass sich das Objekt auf das Fahrzeug zu bewegt. Somit kann erkannt werden, ob sich auf der Fahrbahn ein Objekt befindet und zudem kann bestimmt werden, ob es sich bei dem Objekt um ein statisches, also nicht bewegtes Objekt oder ein bewegtes Objekt handelt.
-
Insbesondere ist es vorgesehen, dass die Objektregion innerhalb des Straßenbereichs bestimmt wird. Somit kann der Bereich des Bilds, der bei der Segmentierung ursprünglich als Straße definiert wurde, näher untersucht werden. Somit kann bestimmt werden, ob die Bildblöcke, die Kennung Kantenblock aufweisen, ein Objekt beschreiben, das sich auf der Straße befindet. Zudem kann untersucht werden, ob die Bildblöcke mit der Kennung Kantenblock beispielsweise einen Teil der Straße, insbesondere ein Schlagloch oder dergleichen, beschreiben. Auf diese Weise kann ein Konfidenzmaß für den Straßenbereich bereitgestellt werden, welches beschreibt, mit welcher Wahrscheinlichkeit sich es bei dem Straßenbereich tatsächlich um eine reale Straße handelt. Anhand des auf der Straße erkannten Objekts kann eine dreidimensionale Objekterkennung durchgeführt werden. Ferner können dreidimensionale Rekonstruktionen durchgeführt werden. Auch kann es vorgesehen sein, dass ein dreidimensionales Clusterverfahren durchgeführt wird. Ferner kann die Information bezüglich des Objekts verwendet werden, um einen optischen Fluss zu bestimmen.
-
Zudem ist es vorteilhaft, wenn das zumindest eine Objekt als Fußgänger, als Fahrzeug, als Fahrbahnmarkierung oder als Wand klassifiziert wird. Weiterhin kann das Objekt beispielsweise als Schlagloch, als Schatten, als Pfütze oder dergleichen klassifiziert werden. Somit kann insbesondere bestimmt werden, ob das auf der Straße erkannte Objekt ein Hindernis für das Kraftfahrzeug darstellt. Diese Information kann für die Fahrerassistenzsysteme des Kraftfahrzeugs bereitgestellt werden.
-
In einer weiteren Ausgestaltung wird das zumindest eine erfasste Objekt in eine digitale Umgebungskarte, welche den Umgebungsbereich beschreibt, eingetragen. Beispielsweise kann die Relativlage des Objekts zu dem Kraftfahrzeug in die Umgebungskarte eingetragen werden. Dabei kann es zudem vorgesehen sein, dass zusätzlich eine Information in der digitalen Umgebungskarte zu dem Objekt hinterlegt wird, welche das Objekt klassifiziert. Diese digitale Umgebungskarte kann dann von den unterschiedlichen Fahrerassistenzsystemen des Kraftfahrzeugs genutzt werden. Beispielsweise kann mit einem Fahrerassistenzsystem auf Grundlage der digitalen Umgebungskarte das Kraftfahrzeug so manövriert werden, dass eine Kollision mit dem Objekt verhindert wird.
-
Ein erfindungsgemäßes Kamerasystem für ein Kraftfahrzeug ist zum Durchführen eines erfindungsgemäßen Verfahrens ausgelegt. Das Kamerasystem kann beispielsweise eine Mehrzahl von Kameras umfassen, die verteilt an dem Kraftfahrzeug angeordnet sind. Zudem kann das Kamerasystem eine Steuereinrichtung, die beispielsweise durch ein elektronisches Steuergerät des Kraftfahrzeugs gebildet ist, aufweisen, mit der die Bilder der Kameras ausgewertet werden können.
-
Ein erfindungsgemäßes Kraftfahrzeug umfasst ein erfindungsgemäßes Fahrerassistenzsystem. Das Kraftfahrzeug ist insbesondere als Personenkraftwagen ausgebildet.
-
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten in gleicher Weise für das erfindungsgemäße Kamerasystem sowie das erfindungsgemäße Kraftfahrzeug.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind.
-
Die Erfindung wird nun anhand von bevorzugten Ausführungsbeispielen sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.
-
Dabei zeigen:
-
1 in schematischer Darstellung ein Kraftfahrzeug gemäß einer Ausführungsform der vorliegenden Erfindung, welches ein Kamerasystem mit einer Mehrzahl von Kameras umfasst;
-
2 eine schematische Darstellung einer Modularchitektur zum Erfassen zumindest eines Objekts in einem Umgebungsbereich des Kraftfahrzeugs;
-
3 ein schematisches Ablaufdiagramm eines Verfahrens zum Erfassen des zumindest einen Objekts in dem Umgebungsbereich des Kraftfahrzeugs gemäß einer weiteren Ausführungsform;
-
4 ein Diagramm, das die Anzahl an Bildblöcken zeigt, welche jeweiligen Kostenwerten zugeordnet sind;
-
5 ein Bild, das in mehrere Bildblöcke eingeteilt ist, wobei in einem Straßenbereich, der einer Straße zugeordnet ist, Kantenblöcke markiert sind;
-
6 ein weiteres Bild, in dem in dem Straßenbereich Kantenblöcke markiert sind;
-
7 ein Verfahren zum Erfassen des zumindest einen Objekts in dem Umgebungsbereich des Kraftfahrzeugs gemäß einer weiteren Ausführungsform;
-
8 das Bild gemäß 5, bei dem die Anzahl an Kantenblöcken für eine Mehrzahl von Spalten bestimmt ist; und
-
9 das Bild gemäß 8, wobei klassifizierte Objekte in dem Bild markiert sind.
-
In den Figuren werden gleiche und funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
-
1 zeigt ein Kraftfahrzeug 1 gemäß einer Ausführungsform der vorliegenden Erfindung in einer Draufsicht. Das Kraftfahrzeug 1 ist in dem vorliegenden Fall als Personenkraftwagen ausgebildet. Das Kraftfahrzeug 1 umfasst ein Kamerasystem 2. Mit dem Kamerasystem 2 können Objekte 10 in einem Umgebungsbereich 8 des Kraftfahrzeugs 1 erfasst werden. Das Kamerasystem 2 umfasst wiederum eine Steuereinrichtung 3, die beispielsweise durch ein elektronisches Steuergerät des Kraftfahrzeugs 1 gebildet sein kann.
-
Das Kamerasystem 2 umfasst zumindest eine Kamera 4, die beispielsweise als CCD-Kamera oder als CMOS-Kamera ausgebildet sein kann. In dem vorliegenden Ausführungsbeispiel umfasst das Kamerasystem 2 vier Kameras 4, die verteilt an dem Kraftfahrzeug 1 angeordnet sind. Vorliegend ist eine der Kameras 4 in einem Heckbereich 5 des Kraftfahrzeugs 1, eine der Kameras 4 ist in einem Frontbereich 7 des Kraftfahrzeugs 1 angeordnet und die übrigen zwei Kameras 4 sind an den jeweiligen Seitenbereichen 6, insbesondere in einem Bereich der Seitenspiegel, des Kraftfahrzeugs 1 angeordnet. Die Anzahl und Anordnung der Kameras 4 des Kamerasystems 2 ist vorliegend rein beispielhaft zu verstehen.
-
Mit den Kameras 4 kann der Umgebungsbereich 8 des Kraftfahrzeugs 1 erfasst werden. Die vier Kameras 4 sind bevorzugt baugleich ausgebildet. Insbesondere kann eine Bildsequenz oder Videodaten mit den Kameras 4 bereitgestellt werden, welche den Umgebungsbereich 8 beschreiben. Diese Bildsequenzen können dann von den jeweiligen Kameras 4 an die Steuereinrichtung 3 übertragen werden. Hierzu sind die Kameras 4 mittels entsprechender Datenleitungen bzw. einem Fahrzeugdatenbus mit der Steuereinrichtung 3 verbunden. Die Datenleitungen sind vorliegend der Übersichtlichkeit halber nicht dargestellt. Mittels der Steuereinrichtung 3 können dann die einzelnen Bilder 9, die mit den Kameras 4 erfasst werden, verarbeitet werden. Insbesondere können Objekte 10 in den jeweiligen Bildern 9 erkannt werden.
-
2 zeigt eine schematische Darstellung einer Modularchitektur, welche zum Erfassen des Objekts 10 dient. Gemäß dieser Modularchitektur kann beispielsweise die Steuereinrichtung 3 des Kamerasystems 2 betrieben werden. Dabei ist die Modularchitektur derart ausgebildet, dass beim Erkennen des Objekts 10 Rechenleistung eingespart werden kann. Die Modularchitektur umfasst einen Objektdetektor 11, mittels welchem das Objekt 10 in dem Bild 9 erkannt werden kann. Darüber hinaus ist ein Segmentierungsblock 12 vorgesehen, mittels welchem das Bild 9 segmentiert werden kann. Der Segmentierungsblock 12 kann eine akkumulierte Blockkomplexität aufweisen, mittels welchem einzelne Bildpunkte des Bilds 9 bezüglich ihrer Homogenität oder Intensität untersucht werden können. Ferner kann überprüft werden, ob einzelne Bildpunkte zusammengefasst werden. Darüber hinaus können entsprechende Ecken oder Kanten in dem Bild 9 erkannt werden. Zudem ist ein weiterer Block 13 vorgesehen, mittels welchem das Objekt beschrieben werden kann. Wenn mit dem Objektdetektor 11 das Objekt 10 in dem Bild erkannt wurde, kann dies in eine digitale Umgebungskarte 14 eingetragen werden. Die digitale Umgebungskarte 14 beschreibt den Umgebungsbereich 8 des Kraftfahrzeugs 1. In der digitalen Umgebungskarte 14 kann die relative Lage zwischen dem Kraftfahrzeug 1 und dem Objekt 10 hinterlegt sein.
-
3 zeigt ein schematisches Ablaufdiagramm eines Verfahrens zum Erfassen eines Objekts 10 in dem Umgebungsbereich 8 des Kraftfahrzeugs 1. In einem Schritt S1 wird das Verfahren gestartet. Hierbei kann beispielsweise die Funktionalität der Objekterkennung mittels entsprechender Konfigurationsparameter bereitgestellt werden.
-
Der Objekterkennungsprozess beginnt mit der Initialisierung dieser Konfigurationsparameter.
-
In einem Schritt S2 werden die benötigten Daten zum Segmentieren des Bildes 9 gesammelt. Insbesondere kann hierbei ein Konfidenzmaß zum Durchführen der Segmentierung bestimmt werden. Bei der Segmentierung soll insbesondere ein Straßenbereich 15 in dem Bild 9 erkannt werden, der einer Straße bzw. einer Fahrbahn in dem Umgebungsbereich 8 zugeordnet ist. Zum Erkennen des Straßenbereichs 15 bei der Segmentierung kann beispielsweise ein texturorientiertes Verfahren verwendet werden.
-
In einem Schritt S3 können mit dem Objektdetektor 11 die zum Durchführen der Segmentierung notwendigen Mittel bestimmt und initialisiert werden. Diese Mittel können beispielsweise Zwischenspeicher, Datenstrukturen oder dergleichen sein. Diese Mittel können dazu dienen, das Konfidenzmaß für die Segmentierung zu analysieren. Nach der Segmentierung können die zusammenhängenden Bereiche in dem Bild 9 jeweils mit einer entsprechenden Kennung versehen werden. Beispielsweise kann dem Straßenbereich 15 die Kennung bzw. ID „Straße“ zugewiesen werden.
-
In einem Schritt S4 erfolgt eine erste Stufe der Objekterkennung. Hierzu wird das Bild 9 in eine Mehrzahl von Bildblöcken 16 eingeteilt. Dabei können die Bildblöcke 16 beispielsweise in mehreren Zeilen und Reihen nebeneinander angeordnet sein. Die Bildblöcke 16 können jeweils zumindest einen Bildpunkt umfassen und insbesondere gleich groß gewählt sein. Für jeden der Bildblöcke 16 wird ein Intensitätswert bestimmt, welcher die Intensität des jeweiligen Bildblocks 16 beschreibt. Ferner wird überprüft, ob der Intensitätswert eines Bildblocks 16 im Vergleich zu einem benachbarten Bildblock 16 eine vorbestimmte Variation aufweist. Falls der Intensitätswert eines der Bildblöcke 16 diese vorbestimmte Variation zu einem benachbarten Bildblock 16 aufweist, wird diesem Bildblock in einem Schritt S5 die Kennung Kantenblock 17 zugeordnet. Die Kennung Kantenblock 17 beschreibt, dass dieser Bildblock 16 eine starke Kante beschreibt.
-
In einem Schritt S6 wird eine zweite Stufe der Objekterkennung durchgeführt. Hierzu wird eine Region von Interesse 18 in dem Bild 9 bestimmt. Die Region von Interesse 18 wird in eine Mehrzahl von Spalten 19 eingeteilt. Anschließend wird die Anzahl der Bildblöcke 16 mit der Kennung Kantenblock 17 jeder der Spalten 19 bestimmt. In Abhängigkeit der Anzahl von Kanteblöcken 17 pro Spalte 19 wird dann eine Objektregion 21 in dem Bild bestimmt.
-
In einem Schritt S7 erfolgt eine dritte Stufe der Objekterkennung. Hierbei werden die Kantenblöcke 17 in der Objektregion 21 näher untersucht. Beispielsweise kann hier überprüft werden, ob die Kantenblöcke 17 ein vorbestimmtes Muster aufweisen. Somit kann bestimmt werden, ob sich das Objekt 9 auf der Straße befindet. In einem Schritt S8 kann das erkannte Objekt 10 bzw. die erkannten Objekte 10 entsprechend klassifiziert und in dem Bild 9 markiert werden. Anschließend wird das Verfahren in einem Schritt S9 beendet.
-
4 zeigt ein Diagramm, anhand von dem der Schritt S4 bzw. die erste Stufe der Objekterkennung näher erläutert werden soll. Dabei wird eine Mehrzahl von Kostenwerten 22 vorgegeben. Diese sind in der linken Spalte des Diagramms dargestellt. In dem vorliegenden Ausführungsbeispiel werden 64 Kostenwerte 22 vorgegeben. Die Kostenwerte 22 beschreiben den Unterschied eines Intensitätswerts eines Bildblocks 16 zu dem Intensitätswert des benachbarten Bildblocks 16. Dabei entspricht ein Kostenwert mit dem Wert 0 dem Fall, in dem die Intensitätswerte benachbarter Bildblöcke 16 gleich sind. Der Kostenwert 22 mit dem Wert 64 beschreibt den Fall, bei dem sich die Intensitätswerte benachbarter Bildblöcke 16 maximal unterscheiden. In der rechten Spalte des Diagramms ist die jeweilige Anzahl 23 an Bildblöcken für jeden der Kostenwerte 22 dargestellt.
-
Dabei werden ausgehend von dem Kostenwert 22 mit dem niedrigsten Wert bzw. dem Kostenwert 22 mit dem Wert 0 die jeweilige Anzahl 23 der Bildblöcke 16 addiert. Falls die akkumulierte Summe Acc einem vorbestimmten Anteil der Gesamtanzahl der Bildblöcke 16 erreicht, wird derjenige Kostenwert 22 bestimmt, bei dem die akkumulierte Summe Acc diesen Anteil erreicht hat, dieser Anteil kann in Abhängigkeit von der Szene gewählt werden. Dieser Anteil kann beispielsweise 90 % betragen. In dem vorliegenden Beispiel kann die Gesamtanzahl der Bildblöcke 16 beispielsweise 100 betragen. Der vorbestimmte Anteil von 90 % bzw. die akkumulierte Summe Acc von 90 wird vorliegend bei dem Kostenwert 22 mit dem Wert 3 erreicht. Dabei wird der Schwellenwert derart bestimmt, dass alle Bildblöcke, die einen Kostenwert größer oder gleich als 4 aufweisen, die Kennung Kantenblock 17 zugewiesen wird.
-
5 zeigt ein Bild 9, das mit einer der Kameras 4 bereitgestellt wurde. Innerhalb der Region von Interesse 18 sind die einzelnen Bildblöcke 16 zu erkennen. Ferner sind die Bildblöcke 16 mit der Kennung Kantenblock 17 zu erkennen. Diese sind einerseits an den Randbereichen 24 des Straßenbereichs 15 angeordnet. In ihm sind die Kantenblöcke 17 in einem Bereich 25 angeordnet, in dem sich das Objekt 10 bzw. ein Fußgänger 26 befindet. Ferner sind die Kantenblöcke 17 in einem Bereich 27 angeordnet, der einer Beschädigung der Fahrbahnoberfläche zugewiesen ist.
-
Im Vergleich hierzu zeigt 6 ein Bild 9 einer weiteren Szene bzw. Umgebung. Auch hier ist der Straßenbereich zu erkennen. Zudem sind die Kantenblöcke 17 in dem Straßenbereich 15 zu erkennen, die vorliegend in einem Bereich 28 angeordnet sind, der einer Fahrbahnmarkierung 29 zugeordnet ist.
-
7 zeigt ein weiteres Ablaufdiagramm zur Erläuterung des Verfahrens zum Erkennen des Objekts 9 und insbesondere zur näheren Erläuterung des Schritts S4 des Verfahrens gemäß 3. Auch hier wird das Verfahren mit dem Schritt S1 gestartet. In einem Schritt S2 wird das Konfidenzmaß für die Segmentierung des Bilds 9 und insbesondere zum Bestimmen des Straßenbereichs 15 gesammelt. In dem Schritt S3 werden die notwendigen Mittel zum Segmentieren bestimmt und initialisiert. In einem Schritt S10 wird überprüft, ob bereits alle Bildblöcke 16 bearbeitet wurden. Ist dies nicht der Fall wird das Verfahren mit einem Schritt S11 fortgeführt. Hierbei wird überprüft, ob der Bildblock 16 dem Straßenbereich 15 zugeordnet ist. Ist dies nicht der Fall, wird das Verfahren wieder mit dem Schritt S10 fortgeführt. Ist der Bildblock 16 dem Straßenbereich 15 zugeordnet, wird das Verfahren mit einem Schritt S12 fortgeführt. Hierbei werden die Kostenwerte 22 definiert und der Bildblock 16 einem der Kostenwerte 22 zugeordnet.
-
In einem Schritt S13 wird überprüft, ob bereits alle Kostenwerte 22 durchgelaufen sind. Ist dies nicht der Fall, wird in einem Schritt S14 die akkumulierte Summe Acc für den nachfolgenden Kostenwert 22 bestimmt. Diesen wird in einem Schritt S15 überprüft, ob die akkumulierte Summe Acc den vorbestimmten Anteil überschreitet. Ist dies erfüllt, wird in einem Schritt S16 der Schwellenwert anhand des aktuellen Kostenwerts 22 bestimmt. Ist der vorbestimmte Anteil noch nicht erreicht, wird das Verfahren wieder mit dem Schritt S13 fortgeführt. Schließlich wird das Verfahren in einem Schritt S17 beendet.
-
8 zeigt das Bild gemäß 5, wobei die Region von Interesse 18 in die Mehrzahl von Spalten 19 eingeteilt wird. Für jede Spalte 19 wird die Anzahl an Kantenblöcken 17 in der Spalte bestimmt. Anhand der jeweiligen Anzahl der Kantenblöcke 17 pro Spalte 13 kann in der Region von Interesse 18 dann die Objektregion 21 definiert werden. Somit können beispielsweise diejenigen Spalten, die eine ähnliche Anzahl an Kantenblöcken 17 aufweisen, zusammengefasst werden. Dies ist vorliegend durch die Rechtecke 20 verdeutlicht.
-
Diese Objektregionen 21 können dann näher untersucht werden. Beispielsweise kann im Bereich der Objektregionen 21 ein Rechteck definiert werden, indem die Position der Kantenblöcke 17 untersucht wird. Somit kann beispielsweise untersucht werden, ob ein vorbestimmtes Muster erkannt werden kann, welches die Kantenblöcke 17 bilden. Ferner können die einzelnen Bildblöcke 16 der Objektregion bezüglich ihrer Helligkeit untersucht werden. Somit kann beispielsweise bestimmt werden, ob es sich um einen Schatten, einen Bereich mit erhöhter Beleuchtung, beispielsweise in Folge von Sonneneinstrahlung oder dergleichen handelt. Ferner kann es vorgesehen sein, dass die räumliche Erstreckung der Objektregion 21 untersucht wird. Somit kann beispielsweise unterschieden werden, ob es sich um einen Fußgänger 26 oder um eine Fahrbahnmarkierung 29 handelt.
-
Bei Fußgängern 26 ist es üblicherweise der Fall, dass die Objektregion 21 verhältnismäßig geringe räumliche Ausmaße aufweist. Ferner ist es hier üblicherweise zu erkennen, dass die Kantenblöcke 17 in benachbarten Spalten 19 vorhanden sind. Wenn der Fußgänger 26 von dem Kraftfahrzeug 1 zu weit entfernt ist, werden die Kantenblöcke 17 nur in einer schmalen Objektregion 21 aufzufinden sein. Auch wenn hierbei der Fußgänger 26 nicht erkannt werden kann, kann trotzdem ein Bereich mit starken Kanten bestimmt werden.
-
Die Fahrbahnmarkierungen 29 können beispielsweise anhand ihrer räumlichen Erstreckung erkannt werden. Dabei kann ein Abbildungsfehler, der durch die Linse der Kamera 4 begründet ist, berücksichtigt werden. Ferner können die Fahrbahnmarkierungen an ihrer Helligkeit erkannt werden. Bei anderen Objekten 9 wie beispielsweise geparkten Fahrzeugen 30 oder Wänden 31 treten üblicherweise eine geringe Anzahl an Kantenblöcken 17 auf.
-
9 zeigt das Bild gemäß 8, wobei die klassifizierten Objekte 10 in dem Bild 9 entsprechend markiert sind. Hier sind beispielsweise ein geparktes Fahrzeug 30 sowie die Wände 31 zu erkennen. Mit Hilfe des Verfahrens können somit die Objekte 9 zuverlässig erkannt werden. Insbesondere können Objekte 9 innerhalb des Straßenbereichs 15 erkannt werden, der bei der Segmentierung zunächst vollständig der Straße zugeordnet wurde.
