DE112021002170T5

DE112021002170T5 - Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren

Info

Publication number: DE112021002170T5
Application number: DE112021002170.2T
Authority: DE
Inventors: Hiroki MOIZUMI; Koji Doi; Takeshi Nagasaki
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2020-06-11
Filing date: 2021-02-05
Publication date: 2023-03-02
Also published as: CN115769253A; JPWO2021250934A1; WO2021250934A1; JP7323716B2

Abstract

Es werden eine Bildverarbeitungsvorrichtung und ein Bildverarbeitungsverfahren geschaffen, die eine Verarbeitungslast einer Bildverarbeitung zum Identifizieren von mehreren Identifizierungszielen aus einem Bild verringern und die Identifizierungsgenauigkeit verbessern können. Eine Bildverarbeitungsvorrichtung IPA enthält eine Mehrklassenidentifizierungseinheit 122, eine Verfolgungsverarbeitungseinheit 131 und eine Identifizierungseinheit 132. Die Mehrklassenidentifizierungseinheit 122 führt eine Mehrklassenidentifizierungsverarbeitung an einem Bild, das durch eine Bildgebungsvorrichtung ID aufgenommen wird, durch und identifiziert mehrere Typen von Identifizierungszielen. Die Verfolgungsverarbeitungseinheit 131 führt eine Bildverfolgung, in der das Identifizierungsziel, das durch die Mehrklassenidentifizierungsverarbeitung identifiziert wurde, als ein Verfolgungsziel gesetzt ist, durch und berechnet einen vorhergesagten Ort des Verfolgungsziels in einem Bild zu einem späteren Zeitpunkt auf der Grundlage eines Bilds zu einer vorhergehenden Zeit. Die Identifizierungseinheit 132 führt einen Zweiklassenidentifizierungsprozess, der dem Typ des Verfolgungsziels entspricht, an dem vorhergesagten Ort des Bilds zur späteren Zeit durch und identifiziert den Typ des Verfolgu ngsziels.

Description

Technisches Gebiet
Die vorliegende Offenbarung bezieht sich auf eine Bildverarbeitungsvorrichtung und ein Bildverarbeitungsverfahren.
Technischer Hintergrund
Es sind bereits Erfindungen, die mit einer Objektdetektionsvorrichtung, einem Objektdetektionsverfahren und einem Programm in Beziehung stehen, bekannt (siehe PTL 1 unten). PTL 1 offenbart eine Objektdetektionsvorrichtung, die eine Detektionseinheit und eine nichtlineare Verarbeitungseinheit enthält (Zusammenfassung, Anspruch 1 und Absatz 0006 im selben Dokument). Die Detektionseinheit detektiert einen oder mehrere Objektkandidatenbereiche aus einem aufgenommenen Bild. Die nichtlineare Verarbeitungseinheit gibt das aufgenommene Bild, das mindestens den Objektkandidatenbereich enthält, teilweise oder vollständig in ein neuronales Netz ein, das eine Lage eines Objekts im Objektkandidatenbereich und eine Entfernung zum Objekt gleichzeitig schätzt. Ferner gibt die nichtlineare Verarbeitungseinheit Objektinformationen, die mindestens Informationen über die Entfernung zum Objekt enthalten, unter Verwendung einer Ausgabe des neuronalen Netzes aus.
Die herkömmliche Objektdetektionsvorrichtung, die in PTL 1 beschrieben ist, detektiert das Objekt, das in einem Bildgebungsbereich vorhanden ist, auf der Grundlage des Bilds, das durch eine fahrzeuginterne Kamera aufgenommen wurde, und gibt die Objektinformationen, die mindestens Informationen über die Entfernung zum detektierten Objekt enthalten, aus. Beispiele des Objekts, das durch die Objektdetektionsvorrichtung detektiert wird, umfassen weitere Fahrzeuge, Fußgänger, Zweiradfahrzeuge wie z. B. Fahrräder und Motorräder und Straßenrandinstallationen wie z. B. Ampeln, Verkehrszeichen, Strommasten und Schilder, die um das Trägerfahrzeug, an dem die Objektdetektionsvorrichtung montiert ist, vorhanden sind, und Hindernisse, die die Bewegung des Trägerfahrzeugs stören können (PTL 1, Absatz 0008).
Die Detektion des Objektkandidatenbereichs durch die Detektionsfunktion der Objektdetektionsvorrichtung verwendet als Grundlage die Bestimmung des Vorliegens oder des Fehlens des Objekts im aufgenommenen Bild der fahrzeuginternen Kamera unter Verwendung des Abtastrechtecks, das der Größe des Objekts, das detektiert werden soll, entspricht (PTL 1, Absatz 0021). Dann wird ein Bildmerkmal für den Bildbereich im Abtastrechteck berechnet, um unter Verwendung einer Identifizierungsvorrichtung ist, die im Voraus zum Lernen veranlasst worden ist, zu bestimmen, ob ein weiteres Fahrzeug im Abtastrechteck vorhanden ist oder nicht, oder eine Wahrscheinlichkeit auszugeben, die die Wahrscheinlichkeit des weiteren Fahrzeugs angibt (PTL 1, Absatz 0022).
Entgegen haItu ngsliste
Patentl iteratu r
PTL 1: JP 2019-008460 A
Zusammenfassung der Erfindung
Technisches Problem
Ähnlich der Objektdetektionsvorrichtung enthalten Beispiele der Identifizierungsvorrichtung, die identifiziert, ob ein Objekt, das detektiert werden soll, im Abtastrechteck vorhanden ist, eine Zweiklassenidentifizierungsvorrichtung, die ein Fahrzeug und weitere Objekte identifiziert, und eine Mehrklassenidentifizierungsvorrichtung, die jeweils mehrere Objekte wie z. B. ein Fahrzeug, einen Fußgänger und weitere Objekte identifiziert. Allerdings besteht mit der Entwicklung eines fortschrittlichen Fahrerunterstützungssystems (ADAS) und eines automatisierten Ansteuerungssystem (ADS) eine Tendenz, dass mehrere Typen von Zielen identifiziert werden.
Um die Zunahme der Typen von.ldentifizierungszielen in der Bildverarbeitung des Identifizierens des Objekts, das aus dem Bild der Bildgebungsvorrichtung identifiziert werden soll, zu bewältigen, ist es z. B. nötig, die Identifizierungsgenauigkeit durch gemeinsames Verwendung einer großen Anzahl von Identifizierungsvorrichtungen oder Vergrößern der Hierarchie jeder Identifizierungsvorrichtung zu verbessern. Allerdings wird, wenn die Anzahl von Identifizierungsvorrichtungen oder die Anzahl von Hierarchien von Identifizierungsvorrichtungen erhöht wird, die Last der Objektidentifizierungsverarbeitung erhöht und kann die Verarbeitungszeit eine erforderliche Zeit überschreiten.
Die vorliegende Offenbarung schafft eine Bildverarbeitungsvorrichtung und ein Bildverarbeitungsverfahren, die eine Verarbeitungslast einer Bildverarbeitung zum Identifizieren von mehreren Identifizierungszielen aus einem Bild verringern und die Identifizierungsgenauigkeit verbessern können.
Lösung des Problems
Ein Aspekt der vorliegenden Offenbarung ist eine Bildverarbeitungsvorrichtung, die eine Mehrklassenidentifizierungseinheit, die eine Mehrklassenidentifizierungsverarbeitung an einem Bild, das durch eine Bildgebungsvorrichtung aufgenommen wurde, durchführt und mehrere Typen von Identifizierungszielen identifiziert, eine Verfolgungsverarbeitungseinheit, die eine Bildverfolgung, in der das Identifizierungsziel, das durch die Mehrklassenidentifizierungsverarbeitung identifiziert wurde, als ein Verfolgungsziel gesetzt ist, durchführt und einen vorhergesagten Ort des Verfolgungsziels in einem Bild zu einem späteren Zeitpunkt auf der Grundlage eines Bilds zu einer vorhergehenden Zeit berechnet, und eine Identifizierungseinheit, die einen Zweiklassenidentifizierungsprozess, der dem Typ eines Verfolgungsziels entspricht, an dem vorhergesagten Ort im Bild zur späteren Zeit durchführt und den Typ des Verfolgungsziels identifiziert, enthält.
Vorteilhafte Wirkungen der Erfindung
Gemäß dem ersten Aspekt der vorliegenden Offenbarung, ist es möglich, die Bildverarbeitungsvorrichtung und das Bildverarbeitungsverfahren zu schaffen, die die Verarbeitungslasteiner Bildverarbeitung zum Identifizieren von mehreren Identifizierungszielen aus einem Bild verringern und die Identifizierungsgenauigkeit verbessern können.
Figurenliste

[1] 1 ist ein Blockdiagramm, das eine Ausführungsform einer Bildverarbeitungsvorrichtung gemäß der vorliegenden Offenbarung veranschaulicht.
[2A] 2A ist ein Ablaufplan, der eine Ausführungsform eines Bildverarbeitungsverfahrens gemäß der vorliegenden Offenbarung. veranschaulicht.
[2B] 2B ist ein Ablaufplan, der eine Ausführungsform des Bildverarbeitungsverfahrens gemäß der vorliegenden Offenbarung veranschaulicht.

Beschreibung der Ausführungsformen
Im Folgenden werden Ausführungsformen einer Bildverarbeitungsvorrichtung und eines Bildverarbeitungsverfahrens gemäß der vorliegenden Offenbarung unter Bezugnahme auf die Zeichnungen beschrieben.
1 ist ein Blockdiagramm, das eine Ausführungsform einer Bildverarbeitungsvorrichtung gemäß der vorliegenden Offenbarung veranschaulicht. Die Bildverarbeitungsvorrichtung IPA gemäß der vorliegenden Ausführungsform ist z. B. eine Vorrichtung, die mehrere Typen von Identifizierungszielen aus einem Bild, das durch die Bildgebungsvorrichtung ID aufgenommen wurde, identifiziert. Insbesondere ist die Bildverarbeitungsvorrichtung IPA z. B. eine Vorrichtung, die an einem Fahrzeug montiert ist und mehrere verschiedene Objekte in der Nähe des Fahrzeugs aus einem Bild, das durch eine Bildgebungsvorrichtung ID wie z. B. eine monokulare Kamera oder eine Stereokamera aufgenommen wurde, identifiziert. Es ist festzuhalten, dass das Bild, das durch die Bildgebungsvorrichtung ID aufgenommen wird, nicht besonders beschränkt ist und z. B. ein Farbbild, ein Graustufenbild oder dergleichen geeignet gewählt werden kann.
In dem Beispiel, das in 1 veranschaulicht ist, ist die Bildgebungsvorrichtung ID eine Stereokamera, die an einem Fahrzeug montiert ist. Die Bildverarbeitungsvorrichtung IPA enthält z. B. eine Verarbeitungseinheit 100, die eine Verarbeitungsvorrichtung wie z. B. eine CPU enthält, eine Speichereinheit 200, die eine Speichervorrichtung wie z. B. einen ROM oder einen RAM enthält, und ein Computerprogramm, das in der Speichereinheit 200 gespeichert ist und durch die Verarbeitungseinheit 100 ausgeführt wird. Obwohl es nicht veranschaulicht ist, enthält die Bildverarbeitungsvorrichtung IPA z. B. eine Eingabe/Ausgabe-Einheit, die Signale einliest und ausgibt.
Die Verarbeitungseinheit 100 der Bildverarbeitungsvorrichtung IPA enthält z. B. eine Signalverarbeitungseinheit 110 und eine Erkennungsverarbeitungseinheit 150. Die Signalverarbeitungseinheit 110 enthält z. B. eine Bilderfassungseinheit 111 und eine Parallaxenberechnungseinheit 112. Die Erkennungsverarbeitungseinheit 150 enthält z. B. eine erste Erkennungsverarbeitungseinheit 120, eine zweite Erkennungsverarbeitungseinheit 130 und eine Ausgabeverarbeitungseinheit 140. Die erste Erkennungsverarbeitungseinheit 120 enthält z. B. eine Bildbereichsauswahleinheit 121 und eine Mehrklassenidentifizierungseinheit 122. Die zweite Erkennungsverarbeitungseinheit 130 enthält z. B. eine Verfolgungsverarbeitungseinheit 131 und eine Identifizierungseinheit 132. Die Identifizierungseinheit 132 enthält z. B. mehrere Zweiklassenidentifizierungseinheiten 132a und 132b.
Jede Einheit der Verarbeitungseinheit 100 ist z. B. ein Funktionsblock der Verarbeitungseinheit 100, der durch Ausführen des Computerprogramms, das in der Speichereinheit 200 gespeichert ist, durch die Verarbeitungseinheit 100 realisiert wird. Jede Einheit der Verarbeitungseinheit 100 kann z. B. durch eine fest zugeordnete Verarbeitungsvorrichtung realisiert werden und mehrere Funktionsblöcke können durch eine Verarbeitungsvorrichtung realisiert werden. Zusätzlich kann die Speichereinheit 200 z. B. durch einen Typ oder mehrere Typen von Speichervorrichtungen konfiguriert sein oder kann durch eine einzelne Speichervorrichtung konfiguriert sein.
In dem Beispiel, das in 1 veranschaulicht ist, enthält die Bildverarbeitungsvorrichtung IPA die Speichereinheit 200; allerdings kann die Bildverarbeitungsvorrichtung IPA mit einer externen Speichereinheit 200 verbunden sein. Darüber hinaus ist in dem Beispiel, das in 1 veranschaulicht ist, die Bildverarbeitungsvorrichtung IPA mit einer externen Bildgebungsvorrichtung ID verbunden; allerdings kann die Bildverarbeitungsvorrichtung IPA die Bildgebungsvorrichtung ID enthalten. in dem Beispiel, das in 1 veranschaulicht ist, enthält die Identifizierungseinheit 132 das Paar von Zweiklassenidentifizierungseinheiten 132a und 132b, kann jedoch drei oder mehr Zweiklassenidentifizierungseinheiten enthalten.
Das Identifizierungsziel 202, das durch die Bildverarbeitungsvorrichtung IPA aus dem Bild, das durch die Bildgebungsvorrichtung ID aufgenommen wurde, identifiziert werden soll, wird z. B. im Voraus in der Speichereinheit 200 gespeichert. Das Identifizierungsziel 202 enthält mehrere Typen wie z. B. weitere Fahrzeuge, Fußgänger, bewegte Körper, Hindernisse, Fahrbahnen, Fahrbahnmarkierungen, Straßenschilder und Signale um das Trägerfahrzeug, an dem die Bildverarbeitungsvorrichtung IPA montiert ist. Ferner kann das weitere Fahrzeug, das durch die Bildverarbeitungsvorrichtung IPA identifiziert werden soll, mehrere Typen wie z. B. ein leichtes Fahrzeug wie ein Fahrrad, ein motorisiertes Fahrrad, ein Motorrad, einen leichten Personenkraftwagen, eine normalen Personenkraftwagen, einen großen Personenkraftwagen, einen Bus und einen Lastwagen enthalten. Ferner kann das weitere Fahrzeug z. B. einen Typ auf der Grundlage einer Position, eine Lage, einer Fahrtrichtung, einer Geschwindigkeit, einer Beschleunigung, einer Winkelgeschwindigkeit und dergleichen in Bezug auf das Trägerfahrzeug wie z. B. ein vorausfahrendes Fahrzeug, ein folgendes Fahrzeug, ein entgegenkommendes Fahrzeug, ein querendes Fahrzeug, ein rechtsabbiegendes Fahrzeug und ein linksabbiegendes Fahrzeug enthalten.
Als nächstes wird eine Ausführungsform des Bildverarbeitungsverfahrens gemäß der vorliegenden Offenbarung unter Bezugnahme auf 2A und 2B zusammen mit dem Betrieb der Bildverarbeitungsvorrichtung IPA, die in 1 veranschaulicht ist, beschrieben. 2A und 2B sind Ablaufpläne des Bildverarbeitungsverfahrens IPM der vorliegenden Ausführungsform unter Verwendung der Bildverarbeitungsvorrichtung IPA, die in 1 veranschaulicht ist.
Die Bildgebungsvorrichtung ID nimmt z. B. ein Bild in einem vorgegebenen Zyklus und einer vorgegebenen Bildgebungszeit auf. Die Bildverarbeitungsvorrichtung IPA verarbeitet jedes Bild, das in einem vorgegebenen Zyklus durch die Bildgebungsvorrichtung ID durch das Bildverarbeitungsverfahren IPM aufgenommen, das in 2A veranschaulicht ist, wurde. Wenn das Bildverarbeitungsverfahren IPM, das in 2A veranschaulicht ist, gestartet wird, führt die Bildverarbeitungsvorrichtung IPA zuerst eine Bilderfassungsverarbeitung P1 aus.
In der Bilderfassungsverarbeitung P1 erfasst z. B. die Bilderfassungseinheit 111 ein Bild von der Bildgebungsvorrichtung ID und speichert das Bild in der Speichereinheit 200 als einen Abschnitt von Bildinformationen 201. Es ist festzuhalten, dass z. B. dann, wenn die Bildgebungsvorrichtung ID eine Stereokamera ist, die Bildinformationen 201 Bildinformationen sowohl eines rechten Bilds, das durch die rechte Kamera aufgenommen wird, und ein linkes Bild, das durch die linke Kamera aufgenommen wird, enthalten.
In der Bilderfassungsverarbeitung P1 verwendet z. B. die Parallaxenberechnungseinheit 112 das rechte Bild und das linke Bild als Eingaben und führt eine Verarbeitung des Suchens eines Bereichs im linken Bild ähnlich einem bestimmten Bereich im rechten Bild durch, um die Parallaxe zu erhalten. Die Parallaxenberechnungseinheit 112 führt diese Verarbeitung an dem gesamten Bereich des rechten Bilds durch, um das Parallaxenbild auszugeben. Die Parallaxenberechnungseinheit 112 speichert das Parallaxenbild in der Speichereinheit 200 als einen Abschnitt der Bildinformationen 201.
Als nächstes führt die Bildverarbeitungsvorrichtung IPA z. B. eine Bildbereichsauswahlverarbeitung P2 aus. In der Bildbereichsauswahlverarbeitung P2 wählt die Bildverarbeitungsvorrichtung IPA einen Bildbereich, der wahrscheinlich beliebige der mehreren Typen von Identifizierungszielen enthält, aus dem Bild, das durch die Bildgebungsvorrichtung ID aufgenommen wurde. Insbesondere erfasst z. B. die erste Erkennungsverarbeitungseinheit 120 das Parallaxenbild, das die Ausgabe der Parallaxenberechnungseinheit 112 ist, aus den Bildinformationen 201, die in der Parallaxenberechnungseinheit 112 oder der Speichereinheit 200 gespeichert sind.
In der Bildbereichsauswahlverarbeitung P2 verwendet z. B. die Bildbereichsauswahleinheit 121 das Parallaxenbild als eine Eingabe und gruppiert zueinander benachbarte und zueinander naheliegende Parallaxen im Parallaxenbild, um einen rechteckigen Rahmen zu erzeugen, der die gruppierten Parallaxen umgibt. Zusätzlich wählt die Bildbereichsauswahleinheit 121 einen rechteckigen Rahmen, wobei die vertikalen und die horizontalen Größen des erzeugten rechteckigen Rahmens gleich oder größer als eine vorgegebene Größe sind, als einen Bildbereich, der beliebige von mehreren Typen von Identifizierungszielen enthalten kann.
Die Bildbereichsauswahleinheit 121 gibt die Ortsinformationen des gewählten Bildbereichs, d. h. die Koordinaten im Parallaxenbild und die vertikale Breite und die horizontale Breite, die die vertikale und die horizontale Größe sind, als den Bildbereich 203, der möglicherweise das Identifizierungsziel enthält, aus und speichert den Bildbereich in der Speichereinheit 200. Hier weist z. B. dann, wenn mehrere Bildbereiche aus dem Parallaxenbild gewählt werden, die Bildbereichsauswahleinheit 121 jedem Bildbereich Identifizierungsnummern N von 1 bis n (natürliche Zahlen) zu und speichert den Bildbereich in der Speichereinheit 200 als den Bildbereich 203.
Es ist festzuhalten, dass die Bildbereichsauswahleinheit 121 den Typ des Identifizierungsziels, das wahrscheinlich in dem Bildbereich des Parallaxenbilds, der durch den rechteckigen Rahmen umgeben ist, enthalten ist, z. B. durch das Seitenverhältnis des rechteckigen Rahmens schätzen und lediglich den Bildbereich wählen kann, der wahrscheinlich das Identifizierungsziel eines bestimmten Typs enthält. Es ist festzuhalten, dass, falls die Bildgebungsvorrichtung ID eine monokulare Kamera ist, die Bildbereichsauswahleinheit 121 einen Bildbereich, der beliebig von mehreren Typen von Identifizierungszielen enthalten kann, aus dem Bild der monokularen Kamera wählen kann.
In diesem Fall kann die Bildbereichsauswahleinheit 121 z. B. ein Detektionsergebnis eines Objekts durch ein Millimeterwellenradar, das am Fahrzeug montiert ist, verwenden, um den Bildbereich zu wählen. Darüber hinaus kann z. B. die Bildbereichsauswahleinheit 121 einen bestimmten Bereich des Bilds der Bildgebungsvorrichtung ID im Voraus festlegen und eine Rasterabtastung unter Verwendung eines Fensters einer beliebigen Größe an dem Bereich durchführen, wodurch ein Bildbereich gewählt wird, der beliebig von mehreren Typen von Identifizierungszielen enthalten kann.
Als nächstes führt die Mehrklassenidentifizierungseinheit 122 z. B. eine Verarbeitung P3 zum Setzen der Identifizierungsnummer N des Bildbereichs, der in der Mehrklassenidentifizierungsverarbeitung als N = 1 verarbeitet werden soll, aus. Ferner führt die Mehrklassenidentifizierungseinheit 122 eine Mehrklassenidentifizierungsverarbeitung P4 zum Durchführen einer Mehrklassenidentifizierungsverarbeitung an dem Bild, das durch die Bildgebungsvorrichtung ID aufgenommen wurde, durch, um mehrere Typen von Identifizierungszielen zu identifizieren.
Insbesondere identifiziert in der Mehrklassenidentifizierungsverarbeitung P4 die Mehrklassenidentifizierungseinheit 122 z. B. mehrere Typen von Identifizierungszielen aus dem Bildbereich, der durch die Bildbereichsauswahleinheit 121 gewählt wurde. Zum Beispiel führt die Mehrklassenidentifizierungseinheit 122 die Mehrklassenidentifizierungsverarbeitung P4 an jedem der Bildbereiche, die die Identifizierungsnummern N von 1 bis n, die in der oben beschriebenen Auswahlverarbeitung P2 gewählt wurden, besitzen, sequenziell aus.
Die Mehrklassenidentifizierungsverarbeitung P4 enthält z. B. eine Registrierungsnummerbestimmungsverarbeitung P4a, eine Mehrklassenidentifizierungsverarbeitung P4b, eine Typbestimmungsverarbeitung P4c, eine Typkandidatenregistrierungsverarbeitung P4d und P4e und eine Zuwachsverarbeitung P4f. Zunächst bestimmt in der Registrierungsnummerbestimmungsverarbeitung P4a die Mehrklassenidentifizierungseinheit 122, ob die Registrierungsnummer des Verfolgungsziels in der später beschriebenen Verfolgungsverarbeitung P6a kleiner als eine obere Grenzwertnummer ist oder nicht.
Zum Beispiel führt dann, wenn bestimmt wird, dass die Registrierungsnummer nicht kleiner als die obere Grenzwertnummer ist (NEIN), d. h. die Registrierungsnummer in der Registrierungsnummerbestimmungsverarbeitung P4a die obere Grenzwertnummer erreicht hat, die Mehrklassenidentifizierungseinheit 122 die Verarbeitung nach der Mehrklassenidentifizierungsverarbeitung P4b nicht aus und schreitet fort zur nächsten Verarbeitung P5. Andererseits führt z. B. dann, wenn in der Registrierungsnummerbestimmungsverarbeitung P4a bestimmt wird, dass die Registrierungsnummer kleiner als die obere Grenzwertnummer ist (JA), die Mehrklassenidentifizierungseinheit 122 die Mehrklassenidentifizierungsverarbeitung P4b aus.
Zum Beispiel identifiziert in der Mehrklassenidentifizierungsverarbeitung P4b die Mehrklassenidentifizierungseinheit 122 mehrere Typen von Identifizierungszielen, die in der Speichereinheit 200 gespeichert sind, als das Identifizierungsziel 202 aus dem Bildbereich. Zum Beispiel bewertet die Mehrklassenidentifizierungseinheit 122 eine Ähnlichkeit zwischen dem Bildbereich 203, der durch die Bildbereichsauswahleinheit 121 gewählt und in der Speichereinheit 200 gespeichert wurde, und Mehrklassenidentifizierungs-Lerndaten 204, die in der Speichereinheit 200 gespeichert sind.
Die Mehrklassenidentifizierungs-Lerndaten 204 sind z. B. Lerndaten, die durch Eingeben einer großen Anzahl von Bildern von Personenkraftwagen, Bildern von Motorrädern und Bildern von weiteren Objekten, die identifiziert werden sollen, maschinell gelernt wurden. Mit anderen Worten führt die Mehrklassenidentifizierungseinheit 122 die Mehrklassenidentifizierungsverarbeitung unter Verwendung der Mehrklassenidentifizierungs-Lerndaten 204, die durch Eingeben von mehreren Typen von Identifizierungszielen maschinell gelernt wurden, durch.
Insbesondere führt gemäß der vorliegenden Ausführungsform die Mehrklasseriidentifizierungseinheit 122 die Mehrklassenidentifizierungsverarbeitung z. B. unter Verwendung der Mehrklassenidentifizierungs-Lerndaten 204 durch, wobei mindestens Personenkraftwagen als das Identifizierungsziel eines ersten Typs und die Motorräder als das Identifizierungsziel eines zweiten Typs eingegeben wurden und das maschinelles Lernen durchgeführt wurde. Gemäß der vorliegenden Ausführungsform wird ein Fall beschrieben, in dem der Typ des Identifizierungsziels in der Mehrklassenidentifizierungsverarbeitung P4b z. B. zwei Typen von Personenkraftwagen und Motorräder ist; allerdings sind der Typ des Identifizierungsziels und dessen Anzahl nicht sind besonders beschränkt.
Zum Beispiel berechnet in der Mehrklassenidentifizierungsverarbeitung P4b die Mehrklassenidentifizierungseinheit 122 einen Bewertungswert der Ähnlichkeit zwischen dem Bildbereich 203 und den Mehrklassenidentifizierungs-Lerndaten 204. Speziell berechnet z. B. die Mehrklassenidentifizierungseinheit 122 einen Bewertungswert der Ähnlichkeit zwischen dem Bildbereich 203 und den Mehrklassenidentifizierungs-Lerndaten 204, wobei das Identifizierungsziel (i) des ersten Typs Personenkraftwagen sind und das Identifizierungsziel (ii) des zweiten Typs Motorräder sind. Dann führt die Mehrklassenidentifizierungseinheit 122 eine Bestimmungsverarbeitung P4c des Typs des Identifizierungsziels, das im Bildbereich 203 vorliegt, auf der Grundlage des Bewertungswerts der Ähnlichkeit aus.
In der Bestimmungsverarbeitung P4c identifiziert z. B. in einem Fall, in dem der Bewertungswert der Ähnlichkeit größer oder gleich einem vorgegebenen Schwellenwert ist, die Mehrklassenidentifizierungseinheit 122 den Typ des Identifizierungsziels, das im Bildbereich 203 vorliegt. Insbesondere identifiziert z. B. dann, wenn der Bewertungswert der Ähnlichkeit zwischen dem Bildbereich 203 und dem Personenkraftwagen, der das Identifizierungsziel (i) des ersten Typs ist, größer oder gleich einem vorgegebenen Schwellenwert ist, die Mehrklassenidentifizierungseinheit 122 den Personenkraftwagen, der das Identifizierungsziel (i) des ersten Typs ist, und seine Ortsinformationen aus dem Bildbereich 203. Ferner führt die Mehrklassenidentifizierungseinheit 122 die Verarbeitung P4d des Zuweisens einer Registrierungsnummer zu dem Personenkraftwagen, der das Identifizierungsziel (i) des ersten Typs ist und der im Bildbereich 203 identifiziert wurde, und des Registrierens des Personenkraftwagens als ein Verfolgungsziel und einen Typkandidaten 205 in der Speichereinheit 200 aus.
In der Bestimmungsverarbeitung P4c identifiziert z. B. dann, wenn der Bewertungswert der Ähnlichkeit zwischen dem Bildbereich 203 und dem Motorrad, das das Identifizierungsziel (ii) des zweiten Typs ist, größer oder gleich dem vorgegebenen Schwellenwert ist, die Mehrklassenidentifizierungseinheit 122 das Motorrad, das das Identifizierungsziel (ii) des zweiten Typs ist, und seine Ortsinformationen aus dem Bildbereich 203. Ferner führt die Mehrklassenidentifizierungseinheit 122 die Verarbeitung P4e des Zuweisens einer Registrierungsnummer zu dem Motorrad, das das Identifizierungsziel (ii) des zweiten Typs ist, das aus dem Bildbereich 203 identifiziert wurde, und des Registrierens des Motorrads als ein Verfolgungsziel und einen Typkandidaten 205 in der Speichereinheit 200 aus. Zum Beispiel führt die Mehrklassenidentifizierungseinheit 122 die Zuwachsverarbeitung P4f aus, nachdem die Verarbeitung P4d oder die Verarbeitung P4e beendet worden ist.
In der Bestimmungsverarbeitung P4c identifiziert z. B. dann, wenn der Bewertungswert der Ähnlichkeit zwischen dem Bildbereich 203 und dem Identifizierungsziel (i) des ersten Typs und dem Identifizierungsziel (ii) des zweiten Typs kleiner als der vorgegebene Schwellenwert ist, die Mehrklassenidentifizierungseinheit 122, dass das Identifizierungsziel nicht im Bildbereich 203 enthalten ist. In diesem Fall führt die Mehrklassenidentifizierungseinheit 122 z. B. die Zuwachsverarbeitung P4f aus.
In der Zuwachsverarbeitung P4f erhöht z. B. die Mehrklassenidentifizierungseinheit 122 die Identifizierungsnummer N des Bildbereichs 203, der in der nächsten Mehrklassenidentifizierungsverarbeitung P4 verarbeitet werden soll, zu N + 1. Zum Beispiel führt die Mehrklassenidentifizierungseinheit 122 die Mehrklassenidentifizierungsverarbeitung P4, die die Verarbeitung P4a zur Verarbeitung P4f enthält, wiederholt aus, bis die erhöhte Identifizierungsnummer N des Bildbereichs 203 die Nummer n der Bildbereiche 203, die in der Auswahlverarbeitung P2 gewählt wurden, überschreitet.
Nach Abschluss der Mehrklassenidentifizierungsverarbeitung P4 für alle Bildbereiche 203, die in der Auswahlverarbeitung P2, die oben beschrieben ist, gewählt wurden, führt die Verfolgungsverarbeitungseinheit 131 z. B. die Verarbeitung P5 des Setzens der Registrierungsnummer R des Verfolgungsziels, das in der späterer beschriebenen Identifizierungsverarbeitung P6 verarbeitet werden soll, zu 1 aus. Darüber hinaus berechnet die Verfolgungsverarbeitungseinheit 131 einen vorhergesagten Ort des Verfolgungsziels, das in der Speichereinheit 200 als das Verfolgungsziel und der Typkandidat 205 registriert wurde, und führt die Identifizierungsverarbeitung P6 zum Bestätigen des Typs des Verfolgungsziels aus.
Zum Beispiel führt die Verfolgungsverarbeitungseinheit 131 die Identifizierungsverarbeitung P6 an jedem der Verfolgungsziele mit den Registrierungsnummern R von 1 bis m (natürliche Zahlen), die in der Typkandidatenregistrierungsverarbeitung P4d und P4e, die oben beschrieben ist, als das Verfolgungsziel und der Typkandidat 205 in der Speichereinheit 200 registriert wurden, sequenziell aus. Die Identifizierungsverarbeitung P6 enthält z. B. eine Verfolgungsverarbeitung P6a, eine Typkandidatenbestimmungsverarbeitung P6b, eine Zweiklassenidentifizierungsverarbeitung P6c und P6h, eine Typbestimmungsverarbeitung P6d und P6i, eine Registrierungsverarbeitung P6e und P6j, eine Verarbeitung zur Berechnung P6f und P6k des vorhergesagten Orts, eine Registrierungslöschverarbeitung P6g und eine Zuwachsverarbeitung P6I.
Zunächst führt in der Verfolgungsverarbeitung P6a die Verfolgungsverarbeitungseinheit 131 eine Bildverfolgung durch, in der das Identifizierungsziel, das durch die Mehrklassenidentifizierungsverarbeitung P4 identifiziert wurde, als ein Verfolgungsziel gesetzt wird, und berechnet einen vorhergesagten Ort des Verfolgungsziels in einem Bild zu einem späteren Zeitpunkt auf der Grundlage eines Bilds zu einer vorhergehenden Zeit. Zum Beispiel berechnet die Verfolgungsverarbeitungseinheit 131 den vorhergesagten Ort des Verfolgungsziels zur aktuellen Zeit auf der Grundlage der Ortsinformationen des Verfolgungsziels zur vorhergehenden Zeit.
In der Verfolgungsverarbeitung P6a verwendet die Verfolgungsverarbeitungseinheit 131 z. B. ein Verfahren zum Suchen des Verfolgungsziels zur aktuellen Zeit durch Vorlagenabgleich unter Verwendung des Bilds des Verfolgungsziels zur vorhergehenden Zeit als eine Vorlage oder ein Verfahren zum Schätzen des Bewegungsbetrags jedes Pixels im Bereich des Verfolgungsziels durch einen optischen Fluss oder dergleichen. Dann sagt die Verfolgungsverarbeitungseinheit 131 die Bewegung des Verfolgungsziels zur aktuellen Zeit aus dem Ort des Verfolgungsziels zur vorhergehenden Zeit und dem vergangenen Bewegungsbetrag des Verfolgungsziels vorher.
Zusätzlich bezieht sich z. B. in der Typkandidatenbestimmungsverarbeitung P6b die Verfolgungsverarbeitungseinheit 131 auf das Verfolgungsziel und den Typkandidaten 205, die in der Speichereinheit 200 registriert sind, und bestimmt, ob der Typ des Verfolgungsziels, der in der Mehrklassenidentifizierungsverarbeitung P4 identifiziert wurde, der Personenkraftwagen des ersten Typs (i) oder des Motorrads des zweiten Typs (ii) ist.
In der Typkandidatenbestimmungsverarbeitung P6b führt dann, wenn die Verfolgungsverarbeitungseinheit 131 bestimmt, dass der Typ des Verfolgungsziels der Personenkraftwagen des ersten Typs (i) ist, die Identifizierungseinheit 132 die Zweiklassenidentifizierungsverarbeitung gemäß dem Typ des Verfolgungsziels an dem vorhergesagten Ort des Bilds zur späteren Zeit durch, um den Typ des Verfolgungsziels zu identifizieren. Insbesondere führt die Identifizierungseinheit 132 die Zweiklassenidentifizierungsverarbeitung P6c unter Verwendung der Zweiklassenidentifizierungseinheit 132a durch, die dem Identifizierungsziel (i) des ersten Typs entspricht.
Unter Verwendung von Zweiklassenidentifizierungs-Lerndaten 206, die in der Speichereinheit 200 gespeichert sind, führt die Zweiklassenidentifizierungseinheit 132a die Zweiklassenidentifizierungsverarbeitung an dem vorhergesagten Ort des Identifizierungsziels und seiner Umgebung durch, um den Typ des Verfolgungsziels zu identifizieren. Hier sind die Zweiklassenidentifizierungs-Lerndaten 206 Zweiklassenidentifizierungs-Lerndaten für Personenkraftwagen, wobei maschinelles Lernen durch Eingeben einer großen Anzahl von Bildern des Identifizierungsziels (i) des ersten Typs, der ein Typ unter den mehreren Typen von Identifizierungszielen der Bildverarbeitungsvorrichtung IPA ist, d. h. der Personenkraftwagen, und weiterer Identifizierungsziele durchgeführt wird.
In der Zweiklassenidentifizierungsverarbeitung P6c berechnet z. B. die Zweiklassenidentifizierungseinheit 132a einen Bewertungswert der Ähnlichkeit zwischen dem vorhergesagten Ort des Verfolgungsziels und dem Bildbereich um den vorhergesagten Ort und den Zweiklassenidentifizierungs-Lerndaten 206. Als nächstes führt die Zweiklassenidentifizierungseinheit 132a die Typbestimmungsverarbeitung P6d aus. In der Typbestimmungsverarbeitung P6d bestimmt z. B. in einem Fall, in dem der Bewertungswert der Ähnlichkeit größer oder gleich dem vorgegebenen Schwellenwert ist, die Zweiklassenidentifizierungseinheit 132a, dass der Typ des Verfolgungsziels das Identifizierungsziel (i) des ersten Typs, d. h. ein Personenkraftwagen, ist, und führt die Registrierungsverarbeitung P6e aus.
In der Registrierungsverarbeitung P6e registriert z. B. die Zweiklassenidentifizierungseinheit 132a den Personenkraftwagen, der das Identifizierungsziel (i) des ersten Typs ist, als den Typ des Verfolgungsziels in den Ausgabeinformationen 208 der Speichereinheit 200. Zusätzlich registriert in der Registrierungsverarbeitung P6e die Zweiklassenidentifizierungseinheit 132a den vorhergesagten Ort des Verfolgungsziels in den Ausgabeinformationen 208 der Speichereinheit 200 als den Ort des Personenkraftwagens, der das Identifizierungsziel (i) des ersten Typs ist. Als nächstes führt die Zweiklassenidentifizierungseinheit 132a z. B. eine Verarbeitung zur Berechnung P6f des vorhergesagten Orts aus.
In der Verarbeitung P6f zur Berechnung des vorhergesagten Orts erhält z. B. die Zweiklassenidentifizierungseinheit 132a eine Differenz zwischen den Ortsinformationen des Verfolgungsziels zur vorhergehenden Zeit und den Ortsinformationen des Verfölgungsziels zur aktuellen Zeit und berechnet die Bewegungsgeschwindigkeit des Verfolgungsziels durch Teilen der Differenz durch das Rahmenbildgebungsintervall. Ferner berechnet die Zweiklassenidentifizierungseinheit 132a den vorhergesagten Ort des Verfolgungsziels zur folgenden Zeit z. B. auf der Grundlage der Ortsinformationen des Verfolgungsziels zur aktuellen Zeit und der Bewegungsgeschwindigkeit des Verfolgungsziels. Der vorhergesagte Ort des Verfolgungsziels, der hier berechnet wird, wird z. B. in der Verfolgungsverarbeitung P6a zur folgenden Zeit verwendet.
Zusätzlich bestimmt in der Typbestimmungsverarbeitung P6d, die oben beschrieben ist, z. B. in einem Fall, in dem der Bewertungswert der Ähnlichkeit kleiner als der vorgegebene Schwellenwert ist, die Zweiklassenidentifizierungseinheit 132a, dass das Verfolgungsziel ein Identifizierungsziel oder ein Hintergrund eines weiteren Typs außer dem Personenkraftwagen, der das Identifizierungsziel (i) des ersten Typs ist, ist, und führt die Registrierungslöschverarbeitung P6g aus. In der Registrierungslöschverarbeitung P6g löscht z. B. die Zweiklassenidentifizierungseinheit 132a das Verfolgungsziel und den Typkandidaten 205, die in der Speichereinheit 200 registriert wurden.
Zusätzlich führt in der Typkandidatenbestimmungsverarbeitung P6b, die oben beschrieben ist, dann, wenn die Verfolgungsverärbeitungseinheit 131 bestimmt, dass der Typ des Verfolgungsziels das Motorrad des zweiten Typs (ii) ist, die Identifizierungseinheit 132 die Zweiklassenidentifizierungsverarbeitung gemäß dem Typ des Verfolgungsziels an dem vorhergesagten Ort des Bilds zur späteren Zeit durch, um den Typ des Verfolgungsziels zu identifizieren. Insbesondere führt die Identifizierungseinheit 132 die Zweiklassenidentifizierungsverarbeitung P6h unter Verwendung der Zweiklassenidentifizierungseinheit 132b, die dem zweiten Typ (ii) entspricht, durch.
Unter Verwendung von Zweiklassenidentifizierungs-Lerndaten 207, die in der Speichereinheit 200 gespeichert sind, führt die Zweiklassenidentifizierungseinheit 132b die Zweiklassenidentifizierungsverarbeitung an dem vorhergesagten Ort des Identifizierungsziels und seiner Umgebung durch, um den Typ des Verfolgungsziels zu identifizieren. Hier sind die Zweiklassenidentifizierungs-Lerndaten 207 Zweiklassenidentifizierungs-Lerndaten für Motorräder, wobei maschinelles Lernen durch Eingeben einer großen Anzahl von Bildern der Identifizierungsziele (ii) des zweiten Typs, d. h. Motorräder, die ein Typ unter mehreren Typen von Identifizierungszielen der Bildverarbeitungsvorrichtung IPA sind, und weiterer Identifizierungsziele durchgeführt wird. Es ist festzuhalten, dass die Zweiklassenidentifizierungs-Lerndaten 206 und die Zweiklassenidentifizierungs-Lerndaten 207 durch verschiedene Verfahren für maschinelles Lernen gelernt werden können.
In der Zweiklassenidentifizierungsverarbeitung P6h berechnet z. B. die Zweiklassenidentifizierungseinheit 132b einen Bewertungswert der Ähnlichkeit zwischen dem vorhergesagten.Ort des Verfolgungsziels und dem Bildbereich um den vorhergesagten Ort und den Zweiklassenidentifizierungs-Lerndaten 207. Als nächstes führt die Zweiklassenidentifizierungseinheit 132b die Typbestimmungsverarbeitung P6i aus. In der Typbestimmungsverarbeitung P6i bestimmt z. B. in einem Fall, in dem der Bewertungswert der Ähnlichkeit ein vorgegebener Schwellenwert oder mehr ist, die Zweiklassenidentifizierungseinheit 132b, dass der Typ des Verfolgungsziels das Identifizierungsziel (ii) des zweiten Typs, d. h. das Motorrad, ist, und führt die Registrierungsverarbeitung P6j aus.
In der Registrierungsverarbeitung P6j registriert z. B. die Zweiklassenidentifizierungseinheit 132b das Motorrad, das vom zweiten Typs (ii) identifiziert werden soll, als den Typ des Verfolgungsziels in den Ausgabeinformationen 208 der Speichereinheit 200. Zusätzlich registriert in der Registrierungsverarbeitung P6j die Zweiklassenidentifizierungseinheit 132b den vorhergesagten Ort des Verfolgungsziels als den Ort des Motorrads, das das Identifizierungsziel (ii) des zweiten Typs ist, in den Ausgabeinformationen 208 der Speichereinheit 200. Als nächstes führt z. B. die Zweiklassenidentifizierungseinheit 132b eine Verarbeitungzur Berechnung des vorhergesagten Orts P6k aus.
In der Verarbeitung P6k zur Berechnung eines vorhergesagten Orts erhält z. B. die Zweiklassenidentifizierungseinheit 132b eine Differenz zwischen den Ortsinformationen des Verfolgungsziels zur vorhergehenden Zeit und den Ortsinformationen des Verfolgungsziels zur aktuellen Zeit und berechnet die Bewegungsgeschwindigkeit des Verfolgungsziels durch Teilen der Differenz durch das Rahmenbildgebungsintervall. Ferner berechnet die Zweiklassenidentifizierungseinheit 132b den vorhergesagten Ort des Verfolgungsziels zur folgenden Zeit z. B. auf der Grundlage der Ortsinformationen des Verfolgungsziels zur aktuellen Zeit und der Bewegungsgeschwindigkeit des Verfolgungsziels. Der vorhergesagte Ort des Verfolgungsziels, das hier berechnet wird, wird z. B. in der Verfolgungsverarbeitung P6a zur folgenden Zeit verwendet.
Zusätzlich bestimmt in der Typbestimmungsverarbeitung P6i, die oben beschrieben ist, z. B. in einem Fall, in dem der Bewertungswert der Ähnlichkeit kleiner als der vorgegebene Schwellenwert ist, die Zweiklassenidentifizierungseinheit 132b, dass das Verfolgungsziel ein Identifizierungsziel oder ein Hintergrund eines weiteren Typs außer dem Motorrad, das das Identifizierungsziel (ii) des zweiten Typs ist, ist, und führt die Registrierungslöschverarbeitung P6g aus: In der Registrierungslöschverarbeitung P6g löscht z. B. die Zweiklassenidentifizierungseinheit 132b das Verfolgungsziel und den Typkandidaten 205, die in der Speichereinheit 200 registriert wurden.
Nachdem die Verarbeitung P6f und P6k zur Berechnung des vorhergesagten Orts oder die Registrierungslöschverarbeitung P6g, die oben beschrieben ist, endet, führt die Verfolgungsverarbeitungseinheit 131 z. B. eine Zuwachsverarbeitung P6I aus. In der Zuwachsverarbeitung P6I erhöht z. B. die Verfolgungsverarbeitungseinheit 131 die Registrierungsnummer R des Verfolgungsziels und des Typkandidaten 205, der in der nächsten Identifizierungsverarbeitung P6 verarbeitet werden soll, zu R + 1. Zum Beispiel führt, bis die Registrierungsnummer R des erhöhten Verfolgungsziels und des Typkandidaten 205 die Nummer m eines Verfolgungsziels und Typkandidaten 205, die in der Mehrklassenidentifizierungsverarbeitung P4 registriert wurden, überschreitet, die Verfölgungsverarbeitungseinheit 131 die Identifizierungsverarbeitung P6, die die Verfolgungsverarbeitung P6a zur Zuwachsverarbeitung P6I, die oben beschrieben ist, enthält, wiederholt aus.
Nach dem Ende der Identifizierungsverarbeitung P6 werden der vorhergesagte Ort und der Typ des Verfolgungsziels von der zweiten Erkennungsverarbeitungseinheit 130 oder der Speichereinheit 200 zur Ausgabeverarbeitungseinheit 140 als Ausgabeinformationen 208 ausgegeben, wie in 1 veranschaulicht ist. Die Ausgabeverarbeitungseinheit 140 gibt die Ausgabeinformationen 208 z. B. zu einer Fahrzeugsteuervorrichtung, die das ADS, das ADAS oder dergleichen bildet, aus, derart, dass die Ausgabeinformationen 208 in der Signalerzeugungsverarbeitung in automatischem Fahren oder einer fortschrittlichen Fahrunterstützung verwendet werden.
Im Folgenden werden Funktionen der Bildverarbeitungsvorrichtung IPA der vorliegenden Ausführungsform und das Bildverarbeitungsverfahren IPM unter ihrer Verwendung beschrieben.
In den letzten Jahren haben ADAS und ADS unter Verwendung einer Bildgebungsvorrichtung ID wie z. B. einer fahrzeuginternen Kamera und ein Außenerkennungssensor wie z. B. ein Radar Aufmerksamkeit erregt. Um eine Zunahme des Typs eines Identifizierungsziels in der Bildverarbeitung zum Identifizieren des Objekts, das aus dem Bild der Bildgebungsvorrichtung ID identifiziert werden soll, zu bewältigen ist es z. B. nötig, die Identifizierungsgenauigkeit durch gemeinsame Verwendung einer großen Anzahl von Identifizierungsvorrichtungen oder Vergrößern der Hierarchie jeder Identifizierungsvorrichtung zu verbessern. Allerdings wird dann, wenn die Nummer der Identifizierungsvorrichtung oder die Anzahl von Hierarchien von Klassifikatoren erhöht wird, die Last der Objektidentifizierungsverarbeitung erhöht und muss die Verarbeitungszeit nicht in der erforderlichen Zeit liegen.
Wie oben beschrieben ist, enthält die Bildverarbeitungsvorrichtung IPA gemäß der vorliegenden Ausführungsform die Mehrklassenidentifizierungseinheit 122, die Verfolgungsverarbeitungseinheit 131 und die Identifizierungseinheit 132. Die Mehrklassenidentifizierungseinheit 122 führt die Mehrklassenidentifizierungsverarbeitung P4 an dem Bild durch, das durch die Bildgebungsvorrichtung ID aufgenommen wurde, um mehrere Typen von Identifizierungszielen zu identifizieren. Die Verfolgungsverarbeitungseinheit 131 führt eine Bildverfolgung, in der das Identifizierungsziel, das durch die Mehrklassenidentifizierungsverarbeitung P4 identifiziert wurde, als ein Verfolgungsziel gesetzt ist, durch und berechnet einen vorhergesagten Ort des Verfolgungsziels in einem Bild zu einem späteren Zeitpunkt auf der Grundlage eines Bilds zu einer vorhergehenden Zeit. Die Identifizierungseinheit 132 führt die Zweiklassenidentifizierungsverarbeitung P6c und P6h gemäß dem Typ des Verfolgungsziels an dem vorhergesagten Ort des Bilds zur späteren Zeit durch, um den Typ des Verfolgungsziels zu identifizieren.
Zusätzlich führt das Bildverarbeitungsverfahren IPM der vorliegenden Ausführungsform die Mehrklassenidentifizierungsverarbeitung P4 an einem Bild durch, das durch die Bildgebungsvorrichtung ID aufgenommen wurde, um mehrere Typen von Identifizierungszielen zu identifizieren. Ferner führt das Bildverarbeitungsverfahren IPM die Bildverfolgung, in der das Identifizierungsziel, das durch die Mehrklassenidentifizierungsverarbeitung P4 identifiziert wurde, als das Verfolgungsziel gesetzt ist, durch und berechnet den vorhergesagten Ort des Verfolgungsziels im Bild zur nachfolgenden Zeit auf der Grundlage des Bilds zur vorhergehenden Zeit. Dann führt das Bildverarbeitungsverfahren IPM die Zweiklassenidentifizierungsverarbeitung P6c und P6h gemäß dem Typ des Verfolgungsziels an dem vorhergesagten Ort des Bilds zur späteren Zeit durch, um den Typ des Verfolgungsziels zu identifizieren.
Gemäß der Bildverarbeitungsvorrichtung IPA und dem Bildverarbeitungsverfahren IPM der vorliegenden Ausführungsform ist es möglich, die Verarbeitungslast einer Bildverarbeitung zum Identifizieren von mehreren Identifizierungszielen aus einem Bild zu verringern und die Identifizierungsgenauigkeit zu verbessern. Insbesondere ist es gemäß der Bildverarbeitungsvorrichtung IPA und dem Bildverarbeitungsverfahren IPM der vorliegenden Ausführungsform möglich, die Verarbeitungslast einer Bildverarbeitung im Vergleich zu dem Fall des Identifizierens von mehreren Identifizierungszielen aus einem Bild unter Verwendung lediglich einer Mehrklassenidentifizierungsvorrichtung oder lediglich einer Zweiklassenidentifizierungsvorrichtung zu verringern.
Der Grund ist, dass durch Verwenden der Mehrklassenidentifizierungsverarbeitung durch die Mehrklassenidentifizierungseinheit 122 und der Zweiklassenidentifizierungsverarbeitung durch die Identifizierungseinheit 132 in Kombination die Hierarchie der Mehrklassenidentifizierungsverarbeitung im Vergleich mit dem Fall, in dem lediglich die Mehrklassenidentifizierungsverarbeitung verwendet wird, flacher gestaltet werden kann und die Verarbeitungslast verringert werden kann. Wie oben beschrieben ist, wird durch flaches Gestalten der Hierarchie der Mehrklassenidentifizierungsverarbeitung selbst dann, wenn die Identifizierungsgenauigkeit der Mehrklassenidentifizierungsverarbeitung abnimmt, das Identifizierungsziel, das durch die Mehrklassenidentifizierungsverarbeitung identifiziert wurde, als das Verfolgungsziel gesetzt und wird die Zweiklassenidentifizierungsverarbeitung am Verfolgungsziel durchgeführt, derart, dass die Identifizierungsgenauigkeit verbessert werden kann.
Zusätzlich kann durch Setzen des Identifizierungsziels, das durch die Mehrklassenidentifizierungsverarbeitung P4 identifiziert wurde, als das Verfolgungsziel und Durchführen der Zweiklassenidentifizierungsverarbeitung gemäß dem Typ des Verfolgungsziels an dem vorhergesagten Ort des Verfolgungsziels des Bilds zur späteren Zeit die Zweiklassenidentifizierungsverarbeitung mit dem Typ durchgeführt werden, der lediglich auf den extrem beschränkten Bildbereich beschränkt ist. Als Ergebnis kann die Verarbeitungslast durch Verringern des Verarbeitungsaufwands des Zweiklassenidentifizierungsprozesses verringert werden und kann die falsche Erkennung der Mehrklassenidentifizierungsverarbeitung unterschieden werden, um die Identifizierungsgenauigkeit der mehreren Typen von Identifizierungszielen zu verbessern.
In der Bildverarbeitungsvorrichtung IPA gemäß der Ausführungsform führt die Mehrklassenidentifizierungseinheit 122 die Mehrklassenidentifizierungsverarbeitung P4 unter Verwendung der Mehrklassenidentifizierungs-Lerndaten 204, die durch Eingeben der mehreren Typen von Identifizierungszielen maschinell gelernt wurden, durch. Mit dieser Konfiguration kann eine Mehrklassenidentifizierungsverarbeitung zum Identifizieren mehrerer Typen von Identifizierungszielen aus einem Bild auf der Grundlage eines Ergebnisses des maschinellen Lernens genau durchgeführt werden.
In der Bildverarbeitungsvorrichtung IPA der Ausführungsform führt die Mehrklassenidentifizierungseinheit 122 die Mehrklassenidentifizierungsverarbeitung P4 unter Verwendung der Mehrklassenidentifizierungs-Lerndaten 204 durch, wobei mindestens das Identifizierungsziel (i) des ersten Typs und das Identifizierungsziel (ii) des zweiten Typs eingegeben worden sind und das maschinelles Lernen durchgeführt wurde. Mit dieser Konfiguration ist es möglich, zwischen dem Identifizierungsziel (i) des ersten Typs und dem Identifizierungsziel (ii) des zweiten Typs aus den mehreren Typen von Identifizierungszielen, die im Bild enthalten sind, genau zu unterscheiden.
Ferner ist in der Bildverarbeitungsvorrichtung IPA gemäß der vorliegenden Ausführungsform das Identifizierungsziel (i) des ersten Typs ein Personenkraftwagen und ist das Identifizierungsziel (ii) des zweiten Typs ein Motorrad. Mit dieser Konfiguration ist es möglich, zwischen dem Personenkraftwagen, der das Identifizierungsziel (i) des ersten Typs ist, und dem Motorrad, das das Identifizierungsziel (ii) des zweiten Typs ist, unter den mehreren Typen von Identifizierungszielen, die im Bild enthalten sind, genau zu unterscheiden.
Ferner enthält in der Bildverarbeitungsvorrichtung IPA gemäß der vorliegenden Ausführungsform die Identifizierungseinheit 132 mehrere Zweiklassenidentifizierungseinheiten 132a und 132b. Zusätzlich führt jede der mehreren Zweiklassenidentifizierungseinheiten 132a und 132b die Zweiklassenidentifizierungsverarbeitung unter Verwendung der Zweiklassenidentifizierungs-Lerndaten 206, 207 durch, wobei maschinelles Lernen durch Eingeben eines Identifizierungsziels eines Typs unter den mehreren Typen durchgeführt wird. Mit dieser Konfiguration kann jede der Zweiklassenidentifizierungseinheit 132a und der Zweiklassenidentifizierungseinheit 132b genau bestimmen, ob das Objekt ein Identifizierungsziel eines Typs unter mehreren Typen ist oder nicht.
Ferner ist in der Bildverarbeitungsvorrichtung IPA gemäß der vorliegenden Ausführungsform die Anzahl der Zweiklassenidentifizierungseinheiten 132a und 132b gleich der Anzahl von Typen, die durch die Mehrklassenidentifizierungseinheit 122 identifiziert werden. Insbesondere identifiziert in der Bildverarbeitungsvorrichtung IPA gemäß der vorliegenden Ausführungsform die Mehrklassenidentifizierungseinheit 122 zwei Typen des Identifizierungsziels (i) des ersten Typs und des Identifizierungsziels (ii) des zweiten Typs und enthält die Identifizierungseinheit 132 zwei Zweiklassenidentifizierungseinheiten 132a und 132b. Mit dieser Konfiguration ist es möglich, die Zweiklassenidentifizierungsverarbeitung an allen Typen von Identifizierungszielen, die durch die Mehrklassenidentifizierungseinheit 122 identifiziert wurden, durchzuführen und die Identifizierungsgenauigkeit des Typs des Identifizierungsziels zu verbessern.
Zusätzlich enthält die Bildverarbeitungsvorrichtung IPA gemäß der vorliegenden Ausführungsform die Bildbereichsauswahleinheit 121, die einen Bildbereich wählt, der beliebige von mehreren Typen von Identifizierungszielen aus dem Bild enthalten kann. Dann identifiziert die Mehrklassenidentifizierungseinheit 122 mehrere Typen von Identifizierungszielen aus dem Bildbereich, der durch die Bildbereichsauswahleinheit 121 gewählt wurde. Mit dieser Konfiguration kann die Mehrklassenidentifizierungsverarbeitung durch die Mehrklassenidentifizierungseinheit 122 lediglich an dem beschränkten Bildbereich durchgeführt werden und kann die Verarbeitungslast durch Verringern des Verarbeitungsaufwands der Mehrklassenidentifizierungsverarbeitung verringert werden.
Wie oben beschrieben ist, ist es gemäß der vorliegenden Ausführungsform möglich, die Bildverarbeitungsvorrichtung IPA und das Bildverarbeitungsverfahren IPM zu schaffen, die die Verarbeitungslasteiner Bildverarbeitung zum Identifizieren von mehreren Identifizierungszielen aus einem Bild verringern und die Identifizierungsgenauigkeit verbessern können.
Obwohl die Ausführungsformen der Bildverarbeitungsvorrichtung und des Bildverarbeitungsverfahrens gemäß der vorliegenden Offenbarung unter Bezugnahme auf die Zeichnungen genau beschrieben wurden, ist die konkrete Konfiguration nicht auf diese Ausführungsform beschränkt und selbst dann, wenn Entwurfsänderungen und dergleichen in einem Umfang vorliegen, der nicht vom Hauptinhalt der vorliegenden Offenbarung abweicht, sind sie in der vorliegenden Offenbarung enthalten.
Bezugszeichenliste

121: Bildbereichsauswahleinheit
122: Mehrklassenidentifizierungseinheit
131: Verfolgungsverarbeitungseinheit
132: Identifizierungseinheit
132a: Zweiklassenidentifizierungseinheit
132b: Zweiklassenidentifizierungseinheit
204: Mehrklassenidentifizierungs-Lerndaten
206: Zweiklassenidentifizierungs-Lerndaten
207: Zweiklassenidentifizierungs-Lerndaten
ID: Bildgebungsvorrichtung
IPA: Bildverarbeitungsvorrichtung
IPM: Bildverarbeitungsverfahren
P4: Mehrklassenidentifizierungsprozess
P6c: Zweiklassenidentifizierungsprozess
P6h: Zweiklassenidentifizierungsprozess

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2019008460 A [0005]

Claims

Bildverarbeitungsvorrichtung, die Folgendes umfasst: eine Mehrklassenidentifizierungseinheit, die eine Mehrklassenidentifizierungsverarbeitung an einem Bild, das durch eine Bildgebungsvorrichtung aufgenommen wurde, durchführt und mehrere Typen von Identifizierungszielen identifiziert; eine Verfolgungsverarbeitungseinheit, die eine Bildverfolgung, in der das Identifizierungsziel, das durch die Mehrklassenidentifizierungsverarbeitung identifiziert wurde, als ein Verfolgungsziel gesetzt ist, durchführt und einen vorhergesagten Ort des Verfolgungsziels in einem Bild zu einem späteren Zeitpunkt auf der Grundlage eines Bilds zu einer vorhergehenden Zeit berechnet; und eine Identifizierungseinheit, die einen Zweiklassenidentifizierungsprozess, der dem Typ des Verfolgungsziels entspricht, an dem vorhergesagten Ort im Bild zur späteren Zeit durchführt und den Typ des Verfolgungsziels identifiziert.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Mehrklassenidentifizierungseinheit die Mehrklassenidentifizierungsverarbeitung unter Verwendung von Mehrklassenidentifizierungs-Lerndaten, die durch Eingeben der mehreren Typen von Identifizierungszielen maschinell gelernt wurden, durchführt.
Bildverarbeitungsvorrichtung nach Anspruch 2, wobei die Mehrklassenidentifizierungseinheit die Mehrklassenidentifizierungsverarbeitung unter Verwendung der Mehrklassenidentifizierungs-Lerndaten, die durch Eingeben mindestens des Identifizierungsziel eines ersten Typs und des Identifizierungsziels eines zweiten Typs maschinell gelernt wurden, durchführt.
Bildverarbeitungsvorrichtung nach Anspruch 3, wobei das Identifizierungsziel des ersten Typs ein Personenkraftwagen ist und das Identifizierungsziel des zweiten Typs ein Motorrad ist.
Bildverarbeitungsvorrichtung nach Anspruch 1, wobei die Identifizierungseinheit mehrere Zweiklassenidentifizierungseinheiten enthält und die mehreren Zweiklassenidentifizierungseinheiten die Zweikiassenidentifizierungsverarbeitung unter Verwendung von Zweiklassenidentifizierungs-Lerndaten, die durch Eingeben des Identifizierungsziels jeweils eines der mehreren Typen maschinell gelernt wurden, durchführen.
Bildverarbeitungsvorrichtung nach Anspruch 5, wobei die Anzahl der Zweiklassenidentifizierungseinheiten gleich der Anzahl von Typen, die durch die Mehrklassenidentifizierungseinheit identifiziert wurden, ist.
Bildverarbeitungsvorrichtung nach Anspruch 1, die Folgendes umfasst: eine Bildbereichsauswahleinheit, die einen Bildbereich wählt, der wahrscheinlich einen der mehreren Typen von .Identifizierungszielen im Bild enthält, wobei . die Mehrklassenidentifizierungseinheit die mehreren Typen von Identifizierungszielen aus dem Bildbereich, der durch die Bildbereichsauswahleinheit gewählt wurde, identifiziert.
Bildverarbeitungsverfahren, das Folgendes umfasst: Identifizieren mehrerer Typen von Identifizierungszielen durch Durchführen einer Mehrklassenidentifizierungsverarbeitung an einem Bild, das durch eine Bildgebungsvorrichtung aufgenommen wurde; Durchführen einer Bildverfolgung, in der das Identifizierungsziel, das in der Mehrklassenidentifizierungsverarbeitung identifiziert wurde, als ein Verfolgungsziel gesetzt ist, und Berechnen eines vorhergesagten Orts des Verfolgungsziels in einem Bild zu einem späteren Zeitpunkt auf der Grundlage eines Bilds zu einer vorhergehenden Zeit; und Identifizieren des Typs des Verfolgungsziels durch Durchführen eines Zweiklassenidentifizierungsprozesses, der dem Typ des Verfolgungsziels entspricht, an dem vorhergesagten Ort im Bild zur späteren Zeit.