BE1029668B1 - Methoden, systemen, opslagmedia en apparatuur voor end-to-end scenario-extractie uit 3d input puntenwolken, scenario-indeling en het genereren van sequentiële rij-eigenschappen voor de identificatie van veiligheidskritieke scenario-categorieën - Google Patents

Abstract

Methoden, systemen, opslagmedia en apparatuur voor end-to-end scenario-extractie uit 3D invoerpuntenwolken, scenario-indeling en het genereren van sequentiële rijeigenschappen voor de identificatie van veiligheidskritieke scenariocategorieën worden onthuld.

Description

METHODEN, SYSTEMEN, OPSLAGMEDIA EN APPARATUUR VOOR END-TO-END

SCENARIO-EXTRACTIE UIT 3D INPUT PUNTENWOLKEN, SCENARIO-INDELING

EN HET GENEREREN VAN SEQUENTIËLE RIJ-EIGENSCHAPPEN VOOR DE

IDENTIFICATIE VAN VEILIGHEIDSKRITIEKE SCENARIO-CATEGORIEËN

GEBIED VAN DE ONTHULLING

[0001] De onderhavige uitvinding heeft betrekking op methoden, systemen, opslagmedia en apparatuur voor end-to-end scenario-extractie uit 3D invoerpuntenwolken, scenario- indeling en het genereren van sequentiële rijkenmerken voor de identificatie van veiligheidskritieke scenariocategorieën.

[0002] Hoewel dichte 3D-puntenwolken precisie mogelijk maken, brengen zij aanzienlijke opslag- en transmissielasten met zich mee. Er wordt een sterk gecomprimeerde weergave van 3D-puntenwolken voorgesteld.

ACHTERGROND

[0003]US10739777B2 toegekend aan Waymo beschrijft een methode voor het genereren van een weergave van een traject van een doelagent in een omgeving. Een input die de weergave van het traject van een doelagent in de omgeving omvat, wordt verwerkt met behulp van een convolutioneel neuraal netwerk om gegevens te genereren die een toekomstig traject van de doelagent in de omgeving na het huidige tijdstip karakteriseren. Er wordt geen methode beschreven voor de geautomatiseerde classificatie in real time van kenmerken van echte rijscènes met gebruikmaking van ruwe

LIDAR-informatie.

[0004]US 2021/0132619, in afwachting als WO2021091900A1, naar Waymo beschrijft een methode voor het genereren van cut-in waarschijnlijkheden van agenten rondom een voertuig. Agent trajectgegevens voor een of meer agenten in een omgeving worden verkregen. De agent trajectgegevens voor elke agent omvatten een huidige locatie en huidige waarden voor een vooraf bepaalde set bewegingsparameters van de agent. Het omvat ook een vorige plaats en vorige waarden voor de vooraf bepaalde reeks bewegingsparameters van de agent voor elk van één of meer vorige tijdstippen. Het omvat verder een geplande toekomstige plaats en geplande toekomstige waarden voor de vooraf bepaalde reeks bewegingsparameters van het voertuig voor elk van één of meer toekomstige tijdspunten. Een netwerkinput gegenereerd uit de trajectgegevens van de agent en de trajectgegevens van het voertuig met behulp van een neuraal netwerk wordt verwerkt om een cut-in output te genereren, waarbij de cut-in output bestaat uit respectieve cut-in waarschijnlijkheden voor elk van een veelheid van locaties in de omgeving. Dit document is echter beperkt tot cut-in scenario's. Daarom wordt er geen universele methode voor de automatische categorisering van rijscènes in beschreven.

Bovendien vereist dit document online verwerking.

[0005]US2019318267A1 in afwachting van Baidu beschrijft een computer- geïmplementeerde methode voor het trainen van een machine-leermodel voor het evalueren van autonoom rijden van voertuigen. Voor elk van een veelvoud van rijscenario's, beantwoordend aan sensorgegevens van één of meerdere sensoren van een voertuig en het rijscenario, worden de statistieken van het rijden en de milieugegevens van het voertuig verzameld terwijl het voertuig door een menselijke bestuurder in overeenstemming met het rijscenario wordt bestuurd. Na voltooiing van het rijscenario, wordt de bestuurder verzocht om een label voor het voltooide rijscenario te selecteren. Het geselecteerde label wordt opgeslagen naar aanleiding van de keuze van de bestuurder. Kenmerken uit de rijstatistieken en de omgevingsgegevens worden geëxtraheerd op basis van vooraf bepaalde criteria. De pseudo-beelden worden gebruikt om gedrag van autonoom drijven van een veelheid van autonome het drijven voertuigen later te evalueren. Echter, dit document onthult alleen een training simulatie. Het onthult geen methode voor de geautomatiseerde classificatie in real time van kenmerken van echte rijscènes met behulp van ruwe LIDAR-informatie.

[0006]WO2021021862 aan de Universiteit van Michigan onthult een gecomprimeerde weergave voor LiIDAR-kaarten. Tweedimensionale kenmerkkaarten van een scène worden geconstrueerd. Puntwolkgegevens voor een scène worden verkregen. De pixels in de puntenwolkgegevens worden geprojecteerd in een x-y vlak. Het x-y-vlak wordt verdeeld in een array van cellen. Potentiële kandidaat-cellen worden geclassificeerd.

Lijnsegmenten worden gegenereerd door cellen in de matrix van cellen die als potentiële kandidaat-cellen zijn geclassificeerd, met elkaar te verbinden. Elk lijnsegment wordt opgeslagen als een kenmerk in de scène. Elk kenmerk in de scène wordt voorgesteld met een benaderingsfunctie met een gemiddelde en een covariantie. Voor elk kenmerk wordt de benaderingsfunctie toegewezen aan een bepaald kenmerk. In dit document wordt echter niet ingegaan op de omzetting van 3D-puntenkaarten in pseudo- afbeeldingen met de afmetingen HxWxC, waarbij C het aantal kenmerkenkanalen is voor de extractie van kenmerken van rijscenario's van een geautomatiseerd voertuig.

[0007]US10474161B2, toegekend aan Baidu, onthult een computer-geïmplementeerde methode voor het besturen van een autonoom rijdend voertuig (ADV). Een eerste beeld wordt vastgelegd door een eerste camera, het eerste beeld dat een deel van een rjomgeving van de ADV vastlegt. Een tweede beeld wordt vastgelegd die een eerste dieptekaart van een eerste puntenwolk weergeeft. Het komt overeen met het deel van de rij-omgeving dat door een licht detectie en afstand (LIDAR) apparaat wordt geproduceerd.

Het tweede beeld wordt geüpsampled met een vooraf bepaalde schaalfactor om overeen te komen met de beeldschaal van het eerste beeld. Een tweede dieptekaart wordt gegenereerd door een convolutioneel neuraal netwerk (CNN) model toe te passen op het eerste beeld en het geüpsamplede tweede beeld. De tweede dieptekaart heeft een hogere resolutie dan de eerste dieptekaart. De tweede dieptekaart vertegenwoordigt een tweede puntenwolk die wordt gebruikt om de rijomgeving rondom de ADV waar te nemen.

Dit document beschrijft echter niet de conversie van 3D puntenkaarten in pseudo- afbeeldingen met afmetingen HxWxC, waarbij C het aantal kenmerkkanalen is voor de extractie van kenmerken van rijscenario's van een geautomatiseerd voertuig.

[0008] US10353053B2, toegekend aan Baidu, onthult een leersysteem voor objectdetectie voor het detecteren van omringende objecten. Radargegevens van een omgeving worden ontvangen, waaronder een 3D-puntenwolk, een 2D- of 3D-radarbeeld.

Verder worden gegevens van de omgeving ontvangen die zijn gescand met één of beide van een LIDAR-systeem of een vision-systeem. Machine learning wordt toegepast om objecten te detecteren op basis van de ontvangen radargegevens en de ontvangen andere gegevens en de dataset. Een objectkenmerk van een object wordt geïdentificeerd. De dataset wordt bijgewerkt op basis van een gedetecteerd object of het geïdentificeerde objectkenmerk.

OVERZICHT

[0009] De huidige uitvinders hebben nu verrassend ontdekt dat scenario's rechtstreeks kunnen worden geëxtraheerd uit ruwe, dat wil zeggen onbewerkte, 3D-puntenwolken met behulp van deep learning-methoden. In het bijzonder hebben de uitvinders ontdekt dat een nieuwe en inventieve combinatie van deze methoden end-to-end scenario-extractie mogelijk maakt, van input puntenwolken tot output scenario's inclusief tijdstempels of echte segmenten van gegevens. Bovendien maken de methoden geautomatiseerde scenario-indeling mogelijk uit een reeks bekende scenario-categorieën, zoals cut-in, cut- out, of naderend remmend voertuig.

[0010] Voorts kunnen met de methode van de uitvinding sequentiële rij-eigenschappen worden gegenereerd om andere relevante scenario's te identificeren die niet tot een bekende categorie behoren, bijvoorbeeld door middel van clustering.

[0011] Ten slotte maakt de methode en het systeem van de onderhavige uitvinding het mogelijk de aanzienlijke opslag- en transmissielast van 3D-puntenwolken te verminderen door kenmerken en scenario's te extraheren en deze te associëren met een tijdstempel, waardoor een sterk gecomprimeerde weergave van 3D-puntenwolken mogelijk wordt. In één geval worden alleen de segmenten die volgens de uitvinding zijn geëxtraheerd, geüpload naar hot storage. De resterende gegevens kunnen op inactieve momenten worden overgebracht naar een koude opslag.

[0012]Een aspect van de onderhavige uitvinding heeft betrekking op een methode voor end-to-end scenario-extractie uit 3D invoerpuntenwolken, scenario-indeling en het genereren van sequentiële rij-eigenschappen voor de identificatie van bijkomende veiligheidskritieke scenariocategorieën. De computer-geïmplementeerde methode kan omvatten: = het verstrekken van (202) 3D-puntwolken van een rijscene, verkregen door de waarnemingssystemen van een geautomatiseerd voertuig; = extraheren (204) van kenmerken uit de 3D-puntenwolken via een initieel ruggengraatnetwerk om 3D-puntenwolkframes te verkrijgen als pseudobeelden met afmetingen HxWxC, waarin C het aantal kenmerkkanalen is;

= verrijking (206) van de pseudobeelden met kenmerken van voorbije of toekomstige tiidscontext via tijdscontextaggregatienetwerken om verrijkte pseudobeelden te verkrijgen; 5 © facultatief de verrijkte pseudo-beelden verder verrijken met modules voor objectdetectie, semantische segmentatie of rijpaanrepresentatie; = optioneel, bij voorkeur parallel aan de classificatiestap (210), het aggregeren (208) van de verrijkte pseudobeelden door een aggregatienetwerk of een clusternetwerk om veiligheidskritieke scenario's te identificeren, waarbij de veiligheidskritieke scenario's bij voorkeur voorheen onbekend waren; = het classificeren (210) van veiligheidskritieke scenario's uit de verrijkte pseudobeelden via een classificatienetwerk, waarbij het classificatienetwerk bij voorkeur een begin- en eindtijdstempel voor het scenario verschaft; = naar keuze (212) alleen de veiligheidskritieke scenario's of de onderliggende verrijkte pseudobeelden naar een "hot storage" te zenden.

[0013]Een ander aspect van de huidige onthulling heeft betrekking op een systeem voor end-to-end scenario-extractie uit 3D invoerpuntenwolken, scenario-indeling en het genereren van sequentiële rij-eigenschappen voor de identificatie van veiligheidskritieke scenario-categorieën. Het systeem kan een of meer hardwareprocessoren omvatten die door machineleesbare instructies worden geconfigureerd, waaronder een of meer hardwareprocessoren (122) die door machineleesbare instructies (106) worden geconfigureerd om: = het verstrekken van 3D-puntenwolken van een rijscene, verkregen door de waarnemingssystemen van een geautomatiseerd voertuig; = extraheren van kenmerken uit de 3D-puntenwolken via een initieel ruggengraatnetwerk om 3D-puntenwolkframes te verkrijgen als pseudobeelden met afmetingen HxWxC, waarin C het aantal kenmerkkanalen is; = verrijking van de pseudo-beelden met kenmerken van voorbije of toekomstige tjdscontext door middel van tijdscontextaggregatienetwerken om verrijkte pseudo- beelden te verkrijgen; = facultatief de verrijkte pseudo-beelden verder verrijken met modules voor objectdetectie, semantische segmentatie of rijpaanrepresentatie;

= optioneel, bij voorkeur parallel aan de classificatiestap (210), het aggregeren (208) van de verrijkte pseudobeelden door een aggregatienetwerk om veiligheidskritische scenario's te identificeren, waarbij de veiligheidskritische scenario's bij voorkeur voorheen onbekend waren; = classificatie van veiligheidskritieke scenario's uit de verrijkte pseudobeelden via een classificatienetwerk, waarbij het classificatienetwerk bij voorkeur een begin- en eindtijdstempel voor het scenario geeft; = naar keuze alleen de veiligheidskritieke scenario's of de onderliggende verrijkte pseudobeelden naar een "hot storage" te zenden.

[0014]Een ander aspect van de huidige onthulling heeft betrekking op een computer- leesbaar opslagmedium voor end-to-end scenario-extractie uit 3D invoerpuntenwolken, scenario-indeling en het genereren van sequentiële rijeigenschappen voor de identificatie van veiligheidskritieke scenario-categorieën.

[0015]In sommige belichamingen, kan het computer-leesbare opslagmedium instructies bevatten die door één of meerdere bewerkers uitvoerbaar zijn om 3D puntwolken van een rijscène door de waarnemingssystemen van een geautomatiseerd voertuig te verkrijgen.

[0016]In sommige belichamingen kan het computer-leesbare opslagmedium instructies bevatten die door één of meerdere processoren uitvoerbaar zijn om kenmerken uit de 3D-puntenwolken via een initieel ruggengraatnetwerk te extraheren.

[0017]In sommige belichamingen kan het computer-leesbare opslagmedium instructies bevatten die door één of meerdere processoren uitvoerbaar zijn om 3D-puntenwolken rechtstreeks van de LiDAR te verkrijgen, waarin 3D-puntenwolkframes een volledige of gedeeltelijke rotatie van de LIDAR-sensor betekenen.

[0018]In sommige belichamingen kan het computer-leesbare opslagmedium instructies bevatten die door één of meerdere processoren kunnen worden uitgevoerd om de 3D- puntenwolk in pseudo-afbeeldingen van grootte HxBxC om te zetten.

[0019]In sommige belichamingen kan het computer-leesbare opslagmedium instructies bevatten die door één of meer processoren kunnen worden uitgevoerd om het geëxtraheerde kenmerk met vroegere of toekomstige tijdelijke contextkenmerken te verrijken via tijdelijke contextaggregatienetwerken. In sommige belichamingen kan het computer-leesbare opslagmedium instructies bevatten die door één of meerdere processoren uitvoerbaar zijn om de verrijkte pseudo-beelden in categorieën of veiligheidskriticiteit door een classificatienetwerk te classificeren. De scenario categorieën kunnen omvatten cut-in, cut-out, overname, juiste draai of onbeschermde linkse draai.

[0020] In sommige belichamingen kan het computer-leesbare opslagmedium instructies bevatten die door één of meer processoren kunnen worden uitgevoerd om de geclassificeerde verrijkte pseudo-beelden via een aggregatienetwerk samen te voegen.

[0021]Een ander aspect van de huidige onthulling heeft betrekking op een apparaat dat is geconfigureerd voor end-to-end scenario-extractie uit 3D invoerpuntenwolken, scenario-indeling en het genereren van sequentiële rijkenmerken voor de identificatie van veiligheidskritieke scenariocategorieën.

[0022]In sommige aspecten kan het apparaat ten minste één geheugen omvatten dat computerprogramma-instructies opslaat en ten minste één processor die is geconfigureerd om de computerprogramma-instructies uit te voeren, zodat het apparaat ten minste bewerkingen uitvoert die verband houden met end-to-end-scenario-extractie uit 3D-invoerpuntenwolken, scenario-indeling en het genereren van sequentiële rijkenmerken voor de identificatie van veiligheidskritieke scenario-categorieën.

[0023] In sommige aspecten kunnen de computerprogramma-instructies het verstrekken van 3D-puntenwolken van een rijscène omvatten die door de waarnemingssystemen van een geautomatiseerd voertuig worden verkregen.

[0024]In sommige aspecten kunnen de computerprogramma-instructies het extraheren van kenmerken uit de 3D-puntenwolken via een initieel ruggengraatnetwerk omvatten.

[0025]In sommige aspecten kunnen de computerprogramma-instructies het omzetten van de pseudo-afbeeldingen in 3D-puntenwolkframes omvatten. In sommige aspecten kunnen de computerprogramma-instructies het omzetten van de 3D-puntenwolkframes in pseudo-afbeeldingen van grootte HxBxC omvatten.

[0026] In sommige aspecten kunnen de computerprogramma-instructies het verrijken van de pseudo-afbeeldingen met vroegere of toekomstige temporele contextkenmerken door temporele contextaggregatienetwerken omvatten. [0027]In sommige aspecten kunnen de computerprogramma-instructies het classificeren van de verrijkte pseudo-afbeeldingen in categorieën of veiligheidskritiek door middel van een classificatienetwerk omvatten, in het bijzonder door middel van een classificerend diep neuraal netwerk.

[0028]In sommige aspecten kunnen de computerprogramma-instructies het samenvoegen van de geclassificeerde verrijkte pseudo-afbeeldingen door een samenvattend netwerk omvatten, in het bijzonder een classificerend diep neuraal netwerk.

KORTE BESCHRIJVING VAN DE TEKENINGEN

[0029] FIG. 1 illustreert een systeem geconfigureerd voor end-to-end scenario-extractie uit 3D invoerpuntenwolken, scenario-indeling en het genereren van sequentiële rijkenmerken voor de identificatie van veiligheidskritieke scenario-categorieën.

[0030] AFBEELDING 2 illustreert een methode voor end-to-end scenario-extractie uit 3D- invoerpuntenwolken, scenario-indeling en het genereren van sequentiële rij- eigenschappen voor de identificatie van veiligheidskritieke scenariocategorieën.

[0031]Figuur 3 illustreert een methode voor end-to-end scenario-extractie uit 3D- invoerpuntenwolken, scenario-indeling en het genereren van sequentiële rij- eigenschappen voor de identificatie van veiligheidskritieke scenariocategorieën.

UITVOERIGE BESCHRIJVING

[0032]FIG. 1 illustreert een systeem geconfigureerd voor kenmerkextractie, in overeenstemming met een of meer belichamingen. In sommige gevallen kan systeem 100 één of meerdere computerplatforms 102 omvatten. De een of meer verwerkingsplatforms 102 kunnen communicably aan een of meer verre platforms 104 worden gekoppeld. In sommige gevallen, kunnen de gebruikers tot systeem 100 via verre platform(en) 104 toegang hebben.

[0033]De een of meer computerplatforms 102 kunnen worden geconfigureerd door middel van machineleesbare instructies 106. De machineleesbare instructies 106 kunnen modules bevatten. De modules kunnen worden uitgevoerd als een of meer functionele logica's, hardwarelogica's, elektronische schakelingen, softwaremodules en dergelijke.

De modules kunnen één of meer van de volgende modules omvatten: module 108 die puntenwolken levert, module 110 die extraheert, module 112 die verrijkt, module 114 die pseudobeelden samenvoegt, module 116 die classificeert, module 118 die scenario's doorgeeft en/of andere modules.

[0034] Puntwolken verschaffende module 108 kan geconfigureerd zijn om 3D-puntwolken te verschaffen van een rijscène verkregen door de waarnemingssystemen van een geautomatiseerd voertuig. Extractiemodule 110 kan worden geconfigureerd om via een initieel ruggengraatnetwerk kenmerken uit de 3D-puntenwolken te extraheren om 3D- puntenwolkframes te verkrijgen als pseudobeelden met de afmetingen HxWxC. C is het aantal kenmerkkanalen. Verrijkingsmodule 112 kan worden geconfigureerd om de pseudobeelden te verrijken met voorbije of toekomstige temporele contextkenmerken via temporele contextaggregatienetwerken om verrijkte pseudobeelden te verkrijgen.

Pseudobeelden aggregatiemodule 114 kan geconfigureerd zijn om optioneel de verrijkte pseudobeelden te aggregeren via een aggregatienetwerk om veiligheidskritieke scenario's te identificeren. Classificeermodule 116 kan worden geconfigureerd om veiligheidskritieke scenario's van de verrijkte pseudobeelden te classificeren via een classificatienetwerk. Scenario-overdrachtsmodule 118 kan worden geconfigureerd om naar keuze alleen de veilgheidskritieke scenario's of de onderliggende verrijkte pseudobeelden naar een "hot storage" over te dragen.

[0035]In sommige gevallen kunnen de een of meer computerplatforms 102 op communicatieve wijze worden gekoppeld aan het (de) platform(en) op afstand 104. In sommige gevallen, kan de communicatieve koppeling communicatieve koppeling door een genetwerkte omgeving 120 omvatten. De netwerkomgeving 120 kan een radiotoegangsnetwerk zijn, zoals LTE of 5G, een lokaal gebiedsnetwerk (LAN), een wide area network (WAN) zoals het Internet, of draadloze LAN (WLAN), bijvoorbeeld.Het zal worden gewaardeerd dat dit niet beperkend is bedoeld, en dat het toepassingsgebied van deze onthulling implementaties omvat waarin één of meer gegevensverwerkende platforms 102 en platform(en) op afstand 104 operatief kunnen worden gekoppeld via een andere communicatiekoppeling. Eén of meerdere één of meerdere gegevensverwerkende platforms 102 kan worden gevormd om met de genetwerkte omgeving 120 via draadloze of getelegrafeerde verbindingen te communiceren.

Bovendien, in een belichaming, kunnen de één of meerdere gegevensverwerkende platforms 102 worden gevormd om direct met elkaar via draadloze of getelegrafeerde verbindingen te communiceren. Voorbeelden van een of meer computerplatforms 102 kunnen omvatten, maar is niet beperkt tot, smartphones, draagbare apparaten, tabletten, laptopcomputers, desktopcomputers, Internet of Things (loT) apparaat, of andere mobiele of stationaire apparaten. In een belichaming, kan systeem 100 ook één of meerdere gastheren of servers omvatten, zoals de één of meerdere verre platforms 104 die met de genetwerkte omgeving 120 door draadloze of bekabelde verbindingen worden verbonden. Volgens één belichaming, kunnen de verre platforms 104 in basisstations worden uitgevoerd of functioneren (die ook als Knooppunt Bs of geëvolueerde Knooppunt

Bs (eNBs) kunnen worden bedoeld). In andere belichamingen, kunnen de verre platforms 104 webservers, mailservers, toepassingservers, enz. omvatten. Volgens bepaalde belichamingen, kunnen de verre platforms 104 standalone servers, netwerkservers, of een serie van servers zijn. [0036]Een of meer computerplatforms 102 kunnen een of meer processoren 122 bevatten voor het verwerken van informatie en het uitvoeren van instructies of bewerkingen. Een of meer processoren 122 kunnen om het even welk type van processor voor algemene of specifieke doeleinden zijn. In sommige gevallen kunnen meerdere processoren 122 volgens andere belichamingen worden gebruikt. De een of meer processoren 122 kunnen bijvoorbeeld een of meer algemene computers, computers voor speciale doeleinden, microprocessoren, digitale signaalprocessoren (DSP's), FPGA's (Field Programmable Gate Arrays), ASIC's (Application Specific Integrated Circuits) en processoren op basis van een multikernprocessorarchitectuur omvatten. In sommige gevallen kunnen de een of meer processoren 122 zich op afstand van de een of meer computerplatforms 102 bevinden, zoals binnen een extern platform zoals de een of meer externe platforms 122 van Fig. 1.

[0037]Een of meer processoren 122 kunnen functies uitvoeren die verband houden met de werking van systeem 100, waaronder bijvoorbeeld het voorcoderen van antenneversterking/faseparameters, het coderen en decoderen van individuele bits die een communicatiebericht vormen, het formatteren van informatie en de algehele besturing van een of meer computerplatforms 102, met inbegrip van processen die verband houden met het beheer van communicatiemiddelen.

[0038]De een of meer computerplatforms 102 kunnen voorts een (intern of extern) geheugen 124 omvatten of daaraan gekoppeld zijn, dat aan een of meer processoren 122 gekoppeld kan zijn, voor de opslag van informatie en instructies die door een of meer processoren 122 kunnen worden uitgevoerd. Geheugen 124 kan een of meer geheugens zijn en van elk type dat geschikt is voor de lokale toepassingsomgeving, en kan worden geïmplementeerd met behulp van elke geschikte vluchtige of niet-vluchtige gegevensopslagtechnologie, zoals een op halfgeleiders gebaseerd geheugenapparaat, een magnetisch geheugenapparaat en -systeem, een optisch geheugenapparaat en - systeem, een vast geheugen en een verwijderbaar geheugen. Geheugen 124 kan bijvoorbeeld bestaan uit een willekeurige combinatie van RAM (random access memory),

ROM (read only memory), statische opslag zoals een magnetische of optische schijf,

HDD (hard disk drive), of een ander type niet-overbrengbaar machinaal of door een computer leesbaar medium. De instructies die in geheugen 124 zijn opgeslagen, kunnen programma-instructies of computerprogrammacode bevatten die, wanneer ze door een of meer processoren 122 worden uitgevoerd, de een of meer computerplatforms 102 in staat stellen om taken uit te voeren zoals hierin beschreven.

[0039]In sommige belichamingen kunnen een of meer computerplatforms 102 ook een of meer antennes bevatten of eraan gekoppeld zijn voor het zenden en ontvangen van signalen en/of gegevens naar en van een of meer computerplatforms 102. De een of meer antennes kunnen worden geconfigureerd om te communiceren via, bijvoorbeeld, een veelvoud van radio-interfaces die aan de een of meer antennes kunnen worden gekoppeld. De radio-interfaces kunnen overeenkomen met een veelheid van radiotoegangstechnologieën, waaronder een of meer van LTE, 5G, WLAN, Bluetooth, near field communication (NFC), radio frequency identifier (RFID), ultrawideband (UWB), en dergelijke. De radio-interface kan componenten bevatten, zoals filters, converters

(bijvoorbeeld digitaal-naar-analoog converters en dergelijke), mappers, een Fast Fourier

Transform (FFT) module en dergelijke, om symbolen te genereren voor een transmissie via een of meer downlinks en om symbolen te ontvangen (bijvoorbeeld via een uplink).

[0040] Fig. 2 illustreert een voorbeeld stroomdiagram van een methode 200, volgens één belichaming. De methode 200 kan het verstrekken omvatten van 3D-puntwolken van een riiscène verkregen door de waarnemingssystemen van een geautomatiseerd voertuig bij blok 202. De methode 200 kan het extraheren van kenmerken uit de 3D-puntenwolken via een initieel ruggengraatnetwerk omvatten om 3D-puntenwolkframes als pseudobeelden van grootte HxWxC te verkrijgen in blok 204, waarbij C het aantal kenmerkkanalen is. De methode 200 kan het verrijken van de pseudobeelden met vroegere of toekomstige temporele contextkenmerken omvatten via temporele contextaggregatienetwerken om verrijkte pseudobeelden te verkrijgen in blok 206. De methode 200 kan optioneel het aggregeren van de verrijkte pseudobeelden via een aggregatienetwerk omvatten om veiligheidskritieke scenario's te identificeren bij blok 208.

De methode 200 kan het classificeren van veiligheidskritieke scenario's van de verrijkte pseudobeelden via een classificatienetwerk omvatten bij blok 210. De methode 200 kan optioneel inhouden dat alleen de veiligheidskritieke scenario's of hun onderliggende verrijkte pseudobeelden naar een "hot storage" worden verzonden in blok 212.

[0041]In sommige gevallen kan de methode 200 worden uitgevoerd door een of meer hardwareprocessoren, zoals de processoren 122 van Fig. 1, geconfigureerd door machinaal leesbare instructies, zoals de machinaal leesbare instructies 106 van Fig. 1.

In dit aspect kan de methode 200 worden geconfigureerd om te worden uitgevoerd door de modules, zoals de modules 108, 110, 112, 114, 116 en/of 118 die hierboven in Fig. 1 zijn besproken.

[0042] FIG. 3 illustreert een andere belichaming van de methode en het systeem van de onderhavige uitvinding (300). Het systeem (300) analyseert verschillende frames bestaande uit 3D-puntenwolken van de scène (302). Bovendien kan het systeem ook waargenomen voorwerpen en hun toestanden ontvangen, die door het waamemingssysteem van het voertuig worden gegenereerd. De waargenomen objecten kunnen 3D-grensvlakken van andere voertuigen en obstakels op de weg, getraceerde object-ID's, snelheid en trajecten omvatten, en kunnen ook andere elementen omvatten, zoals verkeersborden, rijstroken, infrastructuur, enz. In verdere belichamingen kan nog meer ruwe extra informatie worden toegevoegd, zoals RGB-waarden van camera's, de staat van het egovoertuig (bv. snelheid, enz.).

[0043]Een initieel backbone-netwerk (304) extraheert de kenmerken van elk 3D- puntenwolkframe en converteert deze naar pseudo-afbeeldingen van de grootte HxWxC, waarbij C het aantal kenmerkkanalen is. De mogelijke extra informatie van de bijkomende belichamingen kan worden verwerkt met een overeenkomstig ruggengraatnetwerk, afhankelijk van de aard en structuur van de gegevens.

[0044]In één belichaming genereert een meerlagig perceptron (MLP) kenmerken die worden gekoppeld aan de kenmerken die worden geëxtraheerd uit de 3D-puntenwolken.

[0045] Een temporeel contextnetwerk (CNN) voegt context toe van vroegere en toekomstige frames om de kenmerken voor scenariodetectie te verfijnen (306, 308). Dit

CNN-netwerk kan een temporaal aandachtsnetwerk zijn met een leerbare variërende stap. In een andere belichaming is dit CNN een multischaal temporaal piramidenetwerk dat verschillende contextlengtes kan gebruiken om snel en langzaam veranderende context te coderen. Dit netwerk kan ook andere temporele gerelateerde architecturen omvatten, zoals LSTM of RNN.

[0046]Een classificerend CNN-netwerk (312) bovenop deze kenmerken ontvangt deze frames en analyseert ze samen. Dit netwerk kan een CNN zijn, zoals een resnet of een

Transformer netwerk. De classificator heeft een bereik dat zich uitbreidt uit een eindig aantal temporele geaggregeerde kenmerken van voorgaande en toekomstige frames. De output is een vertrouwensscore die aangeeft of al dan niet een bekende categorie uit de outputs is geïdentificeerd.

[0047] Bovendien kan dit netwerk ook getraind worden om scenario's te identificeren op basis van risico, zodat elk scenario gescoord wordt vanuit een risicoperspectief, maar niet ingedeeld wordt in een specifieke categorie. In bijkomende belichamingen kan het uiteindelijke netwerk gewoon extra kenmerken genereren en een extra — clusteringalgoritme kan ze gebruiken om scenario's te verkrijgen die gelijkaardig zijn maar niet tot specifieke bekende categorieën behoren.

[0048]Een offboard aggregatiemodule (312) houdt frames en categorieën bij. Het aggregatienetwerk bepaalt welke frames welk scenario vormen op basis van de classificatie. De aggregatiemodule retourneert een paar scenario's en bijbehorende begin/eindtijdstempels.

VOORBEELDEN

[0049] Voorbeeld 1 omvat een methode bestaande uit: het verschaffen van 3D- puntwolken van een rijscène verkregen door de waarnemingssystemen van een geautomatiseerd voertuig, het extraheren van kenmerken uit de 3D-puntwolken via een initieel ruggengraatnetwerk om 3D-puntwolkframes te verkrijgen als pseudobeelden met afmetingen HxBxC, het verrijken van de pseudobeelden met vroegere of toekomstige temporele contextkenmerken via temporele contextaggregatienetwerken om verrijkte pseudobeelden te verkrijgen, het eventueel aggregeren van de verrijkte pseudobeelden via een aggregatienetwerk om veiligheidskritieke scenario's te identificeren, het classificeren van veiligheidskritieke scenario's uit de verrijkte pseudobeelden via een classificatienetwerk en het eventueel verzenden van alleen de veiligheidskritieke scenario's of de onderliggende verrijkte pseudobeelden naar een "hot storage".

[0050] Voorbeeld 2 omvat de methode van voorbeeld (voorbeelden) 1 en/of enkele andere voorbeelden (voorbeelden) in dit document, waarbij de geclassificeerde verrijkte pseudobeelden met tijdstempel worden geüpload naar de cloud voor opslag of verdere verwerking.

[0051] Voorbeeld 3 omvat de methode van voorbeeld (voorbeelden) 1 en/of enkele andere voorbeeld (voorbeelden) hierin, waarbij de scenariocategorieën bestaan uit een afsnijdend, afsnijdend, of een naderend remmend voertuig.

[0052] Voorbeeld 4 omvat de methode van voorbeeld 1 en/of andere voorbeelden in dit document, waarin de waarnemingssystemen van de AV de ED-grenslijnen van andere voertuigen of wegobstakels, ID's van getraceerde objecten, snelheden en trajecten of omgevingsgegevens waarnemen.

[0053] Voorbeeld 5 omvat de methode van voorbeeld (voorbeelden) 1 en/of enkele andere voorbeelden (voorbeelden) in dit document, waarbij de omgevingsgegevens verkeersborden, rijstroken of infrastructuurgerelateerde gegevens omvatten.

[0054] Voorbeeld 6 omvat de methode van voorbeeld (voorbeelden) 1 en/of een of meer andere voorbeelden hierin, waarbij verdere ruwe gegevens aan de 3D-puntenwolken worden toegevoegd.

[0055] Voorbeeld 7 omvat de methode van voorbeeld (voorbeelden) 1 en/of een of meer andere voorbeelden in dit document, waarbij de verdere onbewerkte gegevens RGB- waarden van camera's of de toestand van de AV omvatten.

[0056] Voorbeeld 8 omvat de methode van voorbeeld (voorbeelden) 1 en/of een of meer andere voorbeelden in dit document, waarin de staat van het AV de snelheid van het AV omvat.

[0057] Voorbeeld 9 omvat de methode van voorbeeld (voorbeelden) 1 en/of enkele andere voorbeelden (voorbeelden) hierin, waarbij het temporele contextaggregatienetwerk een convolutioneel neuraal netwerk is.

[0058] Voorbeeld 10 omvat de methode van voorbeeld (voorbeelden) 1 en/of een of meer andere voorbeelden hierin, waarin het temporele contextaggregatienetwerk een temporaal aandachtsnetwerk is met een leerbare variërende stap of een multischaal temporaal piramidenetwerk.

[0059] Voorbeeld 11 omvat de methode van voorbeeld (voorbeelden) 1 en/of enkele andere voorbeelden (voorbeelden) hierin, waarin het temporele contextaggregatienetwerk verdere temporele architecturen omvat.

[0060] Voorbeeld 12 omvat de methode van voorbeeld (voorbeelden) 1 en/of een of meer andere voorbeelden hierin, waarin de verdere temporele architecturen LSTM of RNN zijn.

[0061] Voorbeeld 13 omvat de methode van voorbeeld (voorbeelden) 1 en/of een of meer andere voorbeelden hierin, waarbij het classificatienetwerk een CNN is.

[0062] Voorbeeld 14 omvat de methode van voorbeeld (voorbeelden) 1 en/of een of meer andere voorbeelden (voorbeelden) in dit document, waarbij het classificatienetwerk een resnet of een transformatienetwerk is.

[0063] Voorbeeld 15 omvat de methode van voorbeeld(en) 1 en/of enkele andere voorbeeld(en) hierin, waarbij het classificatienetwerk zich uitbreidt uit een eindig aantal in de tijd geaggregeerde kenmerken van vorige en toekomstige frames en het classificatienetwerk een bekende categorie van outputs aangeeft.

[0064] Voorbeeld 16 omvat de methode van voorbeeld(en) 1 en/of enkele andere voorbeelden hierin, waarbij het classificatienetwerk getraind is om scenario's te identificeren op basis van hun risicoprofiel.

[0065] Voorbeeld 17 omvat de methode van voorbeeld (voorbeelden) 1 en/of enkele andere voorbeelden (voorbeelden) in dit document, waarbij het classificatienetwerk getraind is om scenario's te scoren op basis van hun risicoprofiel.

[0066] Voorbeeld 18 omvat de methode van voorbeeld (voorbeelden) 1 en/of een of meer andere voorbeelden hierin, waarin het classificatienetwerk wordt getraind om verdere kenmerken te genereren.

[0067] Voorbeeld 19 omvat de methode van voorbeeld(en) 1 en/of enkele andere voorbeeld(en) hierin, waarin een verder netwerk wordt gebruikt om scenario's te verkrijgen die lijken op het bekende scenario en de verkregen scenario's niet tot de bekende scenario's behoren.

[0068] Voorbeeld 20 omvat de methode van voorbeeld(en) 1 en/of enkele andere voorbeeld(en) hierin, waarin het aggregatienetwerk geconfigureerd is om frames en categorieën bij te houden en het aggregatienetwerk verder geconfigureerd is om te bepalen of frames overeenkomen met scenario's op basis van hun classificatie.

[0069] Voorbeeld 21 omvat de methode van voorbeeld(en) 1 en/of enkele andere voorbeeld(en) hierin, waarin het aggregatienetwerk geconfigureerd is om paren van scenario's en overeenkomstige begin- of eindtijdstempels terug te sturen.

[0070] Tabel van de Engelse uitdrukkingen in de tekeningen voor vertalingsdoeleinden:

Engelse uitdrukking in de tekening Vertaling 3D Point Cloud 3D puntenwolk

Features enriched by temporal context | Eigenschappen verrijkt met temporele

Claims (13)

CONCLUSIES:

1. Een computer-geïmplementeerde methode (200), omvattend: = het verstrekken van (202) 3D-puntwolken van een rijscène, verkregen door de waarnemingssystemen van een geautomatiseerd voertuig; =" extraheren (204) van kenmerken uit de 3D-puntenwolken via een initieel ruggengraatnetwerk om 3D-puntenwolkframes te verkrijgen als pseudobeelden met afmetingen HxWxC, waarin C het aantal kenmerkkanalen is; verrijking (206) van de pseudobeelden met kenmerken van voorbije of toekomstige tijdscontext via tijdscontextaggregatienetwerken om verrijkte pseudobeelden te verkrijgen; = het eventueel aggregeren (208) van de verrijkte pseudobeelden via een aggregatienetwerk om veiligheidskritieke scenario's te identificeren; = het classificeren van (210) veiligheidskritieke scenario's uit de verrijkte pseudo-beelden via een classificatienetwerk; =" naar keuze (212) alleen de veiligheidskritieke scenario's of de onderliggende verrijkte pseudobeelden naar een "hot storage" te zenden.

2. De methode van stelling 1, waarbij de verrijkte pseudo-afbeeldingen worden geüpload naar de cloud voor opslag of verdere verwerking.

3. De methode een van de voorgaande eisen, waarin de scenario categorieën omvatten cut-in, cut-out, of naderen remmen voertuig.

4, De methode van een van de voorgaande argumenten, waarbij de waarnemingssystemen van de AV de ED-grensljnen van andere voertuigen of wegobstakels, ID's van getraceerde objecten, snelheden en trajecten of omgevingsgegevens waarnemen.

5, De methode van een van de voorgaande beweringen, waarin het temporele contextaggregatienetwerk een convolutioneel neuraal netwerk (CNN) is.

6. De methode van een van de voorgaande beweringen, waarin het temporele contextaggregatienetwerk een temporaal aandachtsnetwerk is met een leerbare variërende stap of een multischaal temporaal piramidenetwerk.

7. De methode van één van de voorgaande beweringen, waarin het classificatienetwerk zich uitbreidt uit een eindig aantal in de tijd geaggregeerde kenmerken van voorgaande en toekomstige 3D-puntenwolkframes en waarin het classificatienetwerk een bekende categorie van outputs aangeeft.

8. De methode van één van de voorgaande beweringen, waarin het classificatienetwerk getraind is om scenario's te identificeren op basis van hun risicoprofiel.

9. De methode van één van de voorgaande beweringen, waarin het classificatienetwerk getraind is om scenario's te scoren op basis van hun risicoprofiel.

10. De methode van een van de voorgaande beweringen, waarin een verder netwerk wordt gebruikt om scenario's te verkrijgen die lijken op het bekende scenario en waarin de verkregen scenario's niet tot de bekende scenario's behoren.

11. De methode van één van de voorgaande beweringen, waarin het aggregatienetwerk geconfigureerd is om 3D-puntenwolkframes en -categorieën bij te houden en waarin het aggregatienetwerk verder geconfigureerd is om te bepalen of 3D- puntenwolkframes overeenkomen met scenario's op basis van hun classificatie.

12. De methode van een van de voorgaande beweringen, waarin het aggregatienetwerk geconfigureerd is om paren van scenario's en overeenkomstige begin- of eindtijdstempels terug te sturen.

13. Een systeem (100), bestaande uit een of meer hardwareprocessoren (122), geconfigureerd door machineleesbare instructies (106) om: =" verstrekken van 3D-puntenwolken van een rijscène, verkregen door de waarnemingssystemen van een geautomatiseerd voertuig; =" kenmerken uit de 3D-puntenwolken te extraheren via een initieel ruggengraatnetwerk om 3D-puntenwolkframes te verkrijgen als pseudobeelden met afmetingen HxWxC, waarin C het aantal kenmerkkanalen is;

=" de pseudo-beelden verrijken met kenmerken van de voorbije of toekomstige tiidscontext via tijdscontextaggregatienetwerken om verrijkte pseudo-beelden te verkrijgen;

= de verrijkte pseudobeelden eventueel via een aggregatienetwerk samen te voegen om veiligheidskritieke scenario's te identificeren;

=" veiligheidskritieke scenario's te classificeren op basis van de verrijkte pseudo- beelden via een classificatienetwerk;

= naar keuze alleen de veiligheidskritieke scenario's of hun onderliggende verrijkte pseudobeelden naar een warme opslagplaats zenden.

14, Een niet-overdraagbaar digitaal opslagmedium (124) met instructies (106) die door een of meer processoren (122) kunnen worden uitgevoerd om een methode uit te voeren, waarbij de methode het volgende omvat

= verstrekken van 3D-puntenwolken van een rijscène, verkregen door de waarnemingssystemen van een geautomatiseerd voertuig; =" kenmerken uit de 3D-puntenwolken te extraheren via een initieel ruggengraatnetwerk om 3D-puntenwolkframes te verkrijgen als pseudobeelden met afmetingen HxWxC, waarin C het aantal kenmerkkanalen is;

=" de pseudo-beelden verrijken met kenmerken van de voorbije of toekomstige tijdscontext via tijdscontextaggregatienetwerken om verrijkte pseudo-beelden te verkrijgen;

=" de verrijkte pseudobeelden eventueel via een aggregatienetwerk samen te voegen om veiligheidskritieke scenario's te identificeren;

=" veiligheidskritieke scenario's te classificeren op basis van de verrijkte pseudo- beelden via een classificatienetwerk;

=" naar keuze alleen de veiligheidskritieke scenario's of de onderliggende verrijkte pseudobeelden naar een warme opslagplaats zenden.

15, Een apparaat (100), bestaande uit ten minste één geheugen (124) dat computerprogramma-instructies (106) opslaat; en ten minste één processor (122) die geconfigureerd is om de computerprogramma-instructies uit te voeren, zodat het apparaat ten minste =" verstrekken van 3D-puntenwolken van een rijscène, verkregen door de waarnemingssystemen van een geautomatiseerd voertuig; =" kenmerken uit de 3D-puntenwolken te extraheren via een initieel ruggengraatnetwerk om 3D-puntenwolkframes te verkrijgen als pseudobeelden met afmetingen HxWxC, waarin C het aantal kenmerkkanalen is;

=" de pseudo-beelden verrijken met kenmerken van de voorbije of toekomstige tiidscontext via tijdscontextaggregatienetwerken om verrijkte pseudo-beelden te verkrijgen;

=" de verrijkte pseudobeelden eventueel via een aggregatienetwerk samen te voegen om veiligheidskritieke scenario's te identificeren;

=" veiligheidskritieke scenario's te classificeren op basis van de verrijkte pseudo- beelden via een classificatienetwerk;

=" naar keuze alleen de veiligheidskritieke scenario's of de onderliggende verrijkte pseudobeelden naar een warme opslagplaats zenden.