SE1451335A1 - Omvärldsuppfattningssystem och förfarande för omvärldsuppfattning i stridsfordon - Google Patents

Abstract

SAMMANDRAG Uppfinningen hanfOr sig till ett system (1) kir omvarldsuppfattning i stridsfordon (2), innefattande ett flertal bildupptagande sensorer (3A-3E) konfigurerade att registrera bildsekvenser uppvisande olika delvyer (VA-VE) av stridsfordonets omgivningar, samt ett flertal klientenheter (C1-C3) varav var och en är konfigurerad att pa en bildskarm (D1-D3) uppvisa en av en anvandare av klientenheten Onskad vy (Vp) av stridsfordonets omgivningar. De bildupptagande sensorerna är konfigurerade att anslutas till ett natverk (4) och att sanda namnda bildsekvenser over namnda natverk medelst en teknik dar varje bildsekvens som sands av en bildupptagande sensor kan tas emot av ett flertal mottagare, sasom multicast. Klientenheterna är ocksa konfigurerad att anslutas till namnda natverk och att via namnda natverk mottaga atminstone en bildsekvens registrerad av itminstone en bildupptagande sensor (3A-3E). Vidare är vane klientenhet konfigurerad att pa egen hand, utifran den atminstone ena mottagna bildsekvensen, generera namnda onskade vy genom bearbetning av bilder fran den atminstone ena bildsekvensen, samt att ombestirja uppvisning av den onskade vyn pa namnda bildskarm.

Description

Ink. I. Patent- och registreringvoltel 2014 -11- 0 7 1 OMVARLDSUPPFATTNINGSSYSTEM OCH FORFARANDE FOR OMVARLDSUPPFATTNING I STRIDSFORDON TEKNISKT OMRADE 5 Forefiggande uppfinning avser ett omvarldsuppfattningssystem och ett forfarande fOr omvarldsuppfattning (eng. situation awareness) i stridsfordon. I synnerhet avser uppfinningen ett omvarldsuppfattningssystem och forfarande for att majliggOra for operatorer av stridsfordon, sasom forare, skyttar, fordonsbefal, och eventuell Ovrig besattning, sasom uppsutten trupp, att via bildskarmar inne i stridsfordonet uppfatta 10 omvarlden utanfOr stridsfordonet. Uppfinningen avser aven ett stridsfordon innefattande ett sadant omvarldsuppfattningssystem samt ett datorprogram for omvarldsuppfattning i stridsfordon.

BAKGRUND 15 Moderna stridsfordon är typiskt utrustade med en uppsattning sensorer, sasom radarsensorer, akustiska sensorer, periskop och/eller elektro-optiska sensorer, sasom kameror, IR-kameror och bildforstarkare for avkanning av miljOn (objekt/hot/terrang) i omgivningen av stridsfordonet. Den medelst sensoruppsattningen insamlade informationen anvands i regel for att tillhandahalla 20 en omvarldsbild at operatOrer och annan personal i stridsfordonet. !bland kompletteras sensorinformationen med taktisk information, vilken typiskt tillhandahalls via ett i fordonet ingaende stridsledningssystem, exempelvis innefattande digitaliserade kartor med lagrad och/eller uppdaterad taktisk information, och ibland aven med teknisk information, exempelvis avseende 25 fordonets hastighet/position, kvarvarande branslemangd och ammunition etc., erhallen medelst andra i fordonet ingaende sensorer.

En ofta central komponent i ett omvarldssystem av ovan angivet slag är ett observationssystem for att tillhandahalla visuell information avseende 2 stridsfordonets omgivningar till fordonsoperatOrer och annan eventuell personal belagen inuti stridsfordonet. Ett sadant observationssystem innefattar typiskt ett flertal optoelektriska sensorer, sasom kameror eller videokameror, var och en konfigurerad att Overvaka en del av stridsfordonets omgivningar. I aldre typer av observationssystem var varje kamera typiskt kopplad till en separat bildskarm, vilket kravde ett flertal bildskarmar for att fOrmedla en full 360-graders vy av omgivningarna kring stridsfordonet. I andra typer av tidiga observationssystem kunde vyerna fran de olika kamerorna visas upp intill varandra pa en ensam bildskarm. 10 I modernare observationssystem, exempelvis sadana som beskrivs i US2012/0229596, US2013073775 och W02004036894, satts bilderna fran ett flertal videokameror, var och en anordnad att overvaka omgivningarna i en viss riktning i forhallande till fordonet, ihop till en panoramavy, varpa hela eller delar av denna panoramavy kan visas upp pa olika bildskarmar tillhOrande olika medlemmar 15 av fordonsbesattningen. Ofta genereras en komplett 360-graders panoramavy eller en hel ear med rymdvinkeln 417 steradianer av en kraftfull dator utifran ett flertal videostrOmmar som mottas fran de olika videokamerorna, varpa utvalda delar av denna panoramavy presenteras fOr de olika besattningsmedlemmarna pa olika bildskarmar kopplade till namnda dator. 20 Ett problem med dessa panoramagenererande observationssystem är att det atgar mycket datorkraft for att utifran de olika videostrommarna skapa en komplett 360-graders panoramavy eller sfar. Detta staller heiga krav pa grafikkort och andra komponenter som utfOr de berakningar som kravs for all pa korrekt satt sy ihop videostrommarna fran de olika kamerorna, i synnerhet vid hogupplost video med videobilder per sekund eller mer.

Ett annat problem är att den stora datamangd som skapas kin alla videokameror staller hOga krav pa den dator som tar in alla videostrOmmar. Kanda losningar fOr att hantera den stora mangden indata bestir exempelvis i att utrusta datorn med hardvara som sorterar ut de videokameror som behOvs for att skapa det eller de 30 synfalt som efterfragas av besattningsmedlemmarna, sa att datorn endast belastas av dessa videostrOmmar. I praktiken medfor denna losning en begransning i hur 3 manga bildskarmar och besattningsmedlemmar som datorn kan stOdja. Den sorterande hArdvaran medfOr ocksd en Okad kostnad da sidan hArdvara normalt inte finns i en standarddator.

Saledes finns ett behov av ett fOrbattrat omvarldsuppfattningssystem och eft fOrbattrat forfarande for omvarldsuppfattning i stridsfordon.

SYFTE MED UPPFINNINGEN Ett syfte med foreliggande uppfinning är aft tillhandahalla en losning for omvarldsuppfattning i stridsfordon, vilken loser eller atminstone lindrar eft eller fler 10 av de ovan angivna problemen med omvarldsuppfattningssystem enligt kand teknik.

Eft sarskilt syfte med fOreliggande uppfinning är aft astadkomma ett omvarldsuppfattningssystem fOr stridsfordon, vilket kan gOras billigare och mer robust an tidigare kanda omvarldsuppfattningssystem. 15 SAMMANFATTNING AV UPPFINNINGEN Dessa och andra syften, vilka framgar av nedanstAende beskrivning, uppnas medelst ett system fifir omvarldsuppfattning i ett stridsfordon, vilket system uppvisar sardragen angivna i bifogade sjalvstandiga patentkrav 1. Vidare upprfas namnda syften med ett stridsfordon enligt krav 12, forfarande for omvarldsuppfattning i stridsfordon enligt krav 13, ett datorprogram for omvarldsuppfattning i stridsfordon enligt krav 20 samt en datorprogramprodukt enligt krav 21. Foredragna ufforingsformer av systemet och fOrfarandet anges de osjalvstandiga patentkraven 2-11 och 14-19.

Enligt en aspekt uppnas syftena medelst ett system for omvarldsuppfattning i 25 stridsfordon, varvid systemet innefattar ett flertal, d.v.s. Atminstone tvg, bildupptagande sensorer konfigurerade aft registrera bildsekvenser uppvisande delar, eller delvyer, av stridsfordonets omgivningar. Systemet innefattar vidare ett 4 flertal klientenheter, var och en konfigurerad att pa en bildskarm uppvisa en av en anvandare av klientenheten onskad vy av stridsfordonets omgivningar. De bildupptagande sensorerna ar konfigurerade att anslutas till ett natverk, typiskt Ethernet, och att sanda namnda bildsekvenser Over namnda natverk medelst en 5 teknik dar en bildsekvens som skickas en och endast en gang fran en bildupptagande sensor kan tas emot av eft flertal mottagare, exempelvis medelst multicast-teknik. Klientenheterna dr aven de konfigurerad att anslutas till namnda natverk, varvid natverket kan sagas utgOra ett i stridsfordonet ingaende lokalt natverk till vilket alla bildupptagande sensorer och alla klientenheter är anslutna. 10 Klientenheterna är konfigurerade att via namnda natverk mottaga atminstone en bildsekvens registrerad av atminstone en bildupptagande sensor, samt att utifran namnda atminstone en bildsekvens pa egen hand generera den Onskade vyn av stridsfordonets omgivningar genom att bearbeta bilder fran namnda atminstone en bildsekvens, samt ombesorja uppvisning av den Onskade vyn pa namnda 15 bildskarm.

Klienten är vidare konfigurerad att, om den av anvandaren Onskade vyn kraver bild frail mer an en bildupptagande sensor, begara, ta emot och pa egen hand sy ihop bilder frail flera bildupptagande sensorer.

Till skillnad fran de fiesta kanda system for omvarldsuppfattning i stridsfordon, vilka alltsa i regel best& av en kraftfull specialdator som tar in bildsekvenserna fran alla i systemet ingaende bildupptagande sensorer, syr ihop de olika bildsekvenserna till en ofta full, 360-graders panoramavy, och visar upp Onskade delar av denna panoramavy pa olika bildskarmar kopplade till namnda dator, sa bestar alltsa systemet enligt fOreliggande uppfinning av ett distribuerat system dar ett flertal separata klientenheter alla ar anslutna till de bildupptagande sensorerna via ett i stridsfordonet ingaende natverk. Pa sa satt kan vane klientenhet baserat pa en indikation om onskad vy fran klientenhetens anvandare begara bildsekvenser enbart frill den eller de bildupptagande sensorer som behtivs fOr att skapa den Onskade vyn, varvid det maximala antalet bilder som behover sammanfogas av 30 systemet kan reduceras kraftigt. Genom anvandning av multimottagarteknik, sasom IP multicast, garanteras att var och en av flertalet klientenheter kan begara och erhalla de bildsekvenser som kravs for uppvisande av den Onskade vyn, oavsett vilka bildsekvenser som begars av &riga klientenheter.

Saledes, genom att majliggora for eft flertal klientenheter aft begara de bildsekvenser som behovs for att skapa en onskad vy direkt fran de 5 natverksanslutna bildupptagande sensorerna, och genom att fOrse vane klientenhet med funktionalitet for aft sjalva generera namnda Onskade vy utifran den eller de begarda bildsekvenserna, elimineras behovet av en kraftfull och specialanpassad dator kapabel att ta emot och satta samman bildsekvenser fran eft stort antal bildupptagande sensorer fOr att sedan presentera hela eller delar av den 10 sammansatta panoramavyn pa dartill anslutna bildskarmar. Vidare minskar komplexiteten och komponentkostnaden fOr systemet utan en sadan kapacitetskravande dator eller centralenhet, samtidigt som systemet blir mer robust och skalbart och mindre sarbart.

Det foreslagna systemet är sá utformat att bearbetning av bildsekvenser fran de bildupptagande sensorerna sker av och endast av klientenheterna, vilket betyder att systemet inte inbegriper flagon ytterligare fran klientenheterna fristaende databehandlingsenhet som har till uppgift att sammanfoga eller pa annat satt bearbeta bildsekvenserna for senare vidarebefordran till respektive klientenhet. lnte heller innefattar systemet nagra speciella hardvarukomponenter i form av speciellt 20 avancerade och kostsamma videobehandlingskort for behandling av bildsekvenserna fran de olika bildupptagande sensorerna, eller multiplex-enheter (mux) for delning av bildsekvenser. IstaIlet mOjliggOr kombinationen av natverksanslutna bildupptagande sensorer med multimottagarfunktionalitet och natverksanslutna klientenheter fOrmstigna att inhamta och bearbeta just de 25 bildsekvenser som kravs for Onskad vy direkt fran de bildupptagande sensorerna att systemet kan utgOras av standardkomponenter. Exempelvis, enligt en utfOringsform, utgOrs klientenheterna av standarddatorer (eng. general-purpose computer) utan sarskilda videbehandlingskort, sarskilda instickskort eller andra speciella hardvarukomponenter (eng. special-purpose hardware) med sarskilt syfte 30 aft bearbeta datatunga bildsekvenser. 6 overhuvudtaget kan sagas att systemet i en fOredragen utfOringsform inte innefattar nagra ytterligare hardvaru- eller mjukvarukomponenter som mod ifierar bildsekvenserna pa vagen mellan de bildupptagande sensorerna och klientenheterna. Som beskrivs nedan kan systemet uttiver bildupptagande sensorer 5 och klientenheter i vissa utforingsformer innefatta en natverksomkopplare men denna har da som enda uppgift att styra och duplicera data i natverket, vilket inte innebar modifiering av bildsekvenserna.

I en utfOringsform ar atminstone en klientenhet konfigurerad att mottaga ett flertal bildsekvenser registrerade av olika bildupptagande sensorer, sammanfoga bilder 10 fran de mottagna bildsekvenserna till en sammanfogad bild innefattande bildinformation registrerad av olika bildupptagande sensorer och, pa namnda bildskarm uppvisa den sammanfogade bilden eller en del darav som namnda Onskade vy. I denna utfOringsform innefattar saledes ovan angivna bearbetning av bilder fran atminstone en av klientenheten mottagen bildsekvens sammanfogning av bilder fran ett flertal, d.v.s. atminstone tva, bildsekvenser registrerade av olika bildupptagande sensorer.

Enligt en utforingsform är saledes atminstone en och fordelaktigen samtliga av de i systemet ingaende klientenheterna konfigurerade att endast begara bildsekvenser fran de bildupptagande sensorer som behovs fOr att skapa den av klientenhetens 20 anvandare Onskade vyn. Systemet är utformat sa att anvandaren kan indikera, medelst klientenheten, en onskad vy som kraver bildinformation fran mer an bildupptagande sensor, varvid klientenheten, om anvandaren indikerar en sadan onskad vy, är konfigurerad att begara, mottaga och pa egen hand sammanfoga bilder fran flera bildupptagande sensorer, samt att pa en bildskarm ombesorja 25 uppvisning av den Onskade vyn i form av namnda sammanfogade bild eller en del darav.

I en fOredragen utfOringsform ar atminstone en klientenhet konfigurerad att vid behov generera en panoramavy utifran ett flertal mottagna bildsekvenser registrerade av olika bildupptagande sensorer och presentera den genererade 30 panoramavyn som namnda Onskade vy. Ovan beskrivna sammanfogning av bilder kan darfor vid behov utforas pa sadant satt att den sammanfogade bilden utgor en 7 panoramabild, d.v.s. en sammanhangande bild som spanner over eft synfalt som är storre an synfaltet hos en enskild bildupptagande sensor. Med eft nagot annorlunda ordval kan den sammanfogade bilden i sadant fall sagas uppvisa en panoramavy vilken omfattar ett storre synfalt an de delvyer som registreras av respektive 5 bildupptagande sensor.

Klientenheterna kan fOr sadan panoramagenerering vara konfigurerade att skapa de onskade vyer som uppvisas pa de med klientenheterna associerade bildskarmarna genom sammanfogning av ett vasentligen godtyckligt antal bilder fran olika bildsekvenser registrerade av olika bildupptagande sensorer. Emellertid, 10 eftersom ett syfte med fOreliggande uppfinning ar att eliminera berakningstunga processer och darmed behovet av dyra och komplexa hOgkapacitetskomponenter, är varje klientenhet foretradelsevis konfigurerad att da behov av panoramagenerering fareligger skapa den Onskade vyn genom sammanfogning av heist bara tva och som mest tie bilder fran bildsekvenser registrerade av olika 15 bildupptagande sensorer. Oftast racker det aft sammanfoga bildsekvenser kin just tva bildupptagande sensorer for att skapa en av en fordonsoperator Onskad panoramavy. Det betyder all varje klientenhet vid panoramagenerering i regel inte behOver sy ihop bilder frin olika bildsekvenser med mer an en som, aven om klientenheter kapabla att sammanfoga vasentligt fler bilder fran olika bildsekvenser ocksa faller val inom ramen fOr fOreliggande uppfinning. Eftersom varje klientenhet i regel bara behover sy ihop tva bilder At gangen behOver klientenheterna inte besitta nagon storre berakningskapacitet trots systemets formaga att uppvisa ett stort antal olika panoramabilder for ett stort antal olika anvandare.

Vidare behOver systemet pa detta satt aldrig skapa en fullstandig 360-graders panoramavy eller gar Over stridsfordonets omgivningar, vilket ofta maste goras i panoramagenererande omvarldsuppfattningssystem enligt kand teknik. I det fOreslagna systemet skapar varje klientenhet sjalv den vy som for stunden Onskas av klientenhetens anvandare utifran det minimala antalet bildsekvenser som kravs for att skapa den onskade vyn, vilket utOver att minimera kraven Pa 30 berakningskapacitet has klientenheterna aven minimerar kraven pa dataiiverforingskapacitet i natverket. Det innebar aven all ingen i systemet 8 ingaende komponent behover ta emot och hantera alla de fran de olika bildupptagande sensorerna registrerade bildsekvenserna, en process som i likhet med sammanfogandet av alla bildsekvenser är mycket kapacitetskravande.

Aft systemet med fOrdel är kapabelt att medelst klientenheterna generera och 5 presentera panoramavyer av stridsfordonets omgivningar fOr medlemmarna i fordonsbesattningen betyder inte att sa maste vara fallet. IstaIlet kan atminstone en av klientenheterna vara konfigurerad att generera den onskade vyn utifran en bildsekvens mottagen fran en endaste bildupptagande sensorer. Klientenheten maste da inte vara konfigurerad fOr sammanfogning av bilder fOr generering av en 10 panoramavy men bar likval vara konfigurerad for andra typer av bearbetning av bilderna i den enda mottagna bildsekvensen innan dessa presenteras som den onskade vyn pa klientenhetens bildskarm. Sadan bearbetning kan exempelvis innefatta: extrahering av utvalda bilddelar, varvid klientenheten kan vara konfigurerad att klippa ut delar av bilderna i den mottagna sekvensen for generering 15 av den Onskade vyn; projicering av bilderna eller namnda delar pa en !Ad yta, varvid klientenheten kan vara konfigurerad att skapa en sfarisk eller cylindrisk projektion av bilderna i den mottagna sekvensen for generering av den Onskade vyn; och/eller skalning av bilderna eller namnda delar, varvid klientenheten kan vara konfigurerad att skala om bilderna i den mottagna sekvensen fOr generering av den 20 Onskade vyn.

Foretradelsevis är klientenheterna dock forsedda med funktionalitet fOr att kunna sammanfoga bilder fran flera olika bildsekvenser och konfigurerade att sammanfoga bilder fran olika bildsekvenser till en panoramavy om sa kravs kir att visa den Onskade vy som indikeras av klientenhetens anvandare. 25 FOretradesvis är klientenheterna konfigurerade att generera den Onskade vyn utifran ett minimum av bildsekvenser, vilket kan innefatta bildsekvenser fran en, flera eller samtliga bildupptagande sensorer men typiskt innefattar bildsekvenser fran en eller tva bildupptagande sensorer. Exempelvis kan klientenheten vara konfigurerad att generera den onskade vyn fran endast en bildsekvens, utan att 30 utfara flagon sammanfogning av bilder, sá lange den Onskade vyn som indikeras av anvandaren helt faller inom synfaltet eller en central del av synfaltet fOr en enskild 9 upptagande bildsensor, och all generera den Onskade vyn genom sammanfogning av bilder fran tva eller fler bildupptagande sensorer om den onskade vyn faller utanfOr namnda synfalt eller centrala del av synfaltet.

I en utfaringsform är de bildupptagande sensorerna och klientenheterna anslutna till 5 varandra via en eller flera i systemet ingaende natverksomkopplare, sasom en Ethernet-switch, vilken är konfigurerad att fran klientenheterna ta emot forfragningar om tillsandande av bildsekvenser fran utvalda bildupptagande sensorer och, baserat pa namnda farfragningar, selektivt fOrmedla bildsekvenser fran de olika bildupptagande sensorerna till de olika klientenheterna. 10 Varje klientenhet är vidare konfigurerad att ta emot en indikation om onskad vy fran en anvandare av klientenheten, typiskt en operator eller annan besattningsmedlem av stridsfordo net, och, baserat pa namnda indikation om Onskad vy, bestamma vilka bildupptagande sensorer vars registrerade bildsekvenser maste sammanfogas far att generera den Onskade vyn. Klientenheten ar vidare konfigurerad att sanda en 15 forfragan (inom multicast-teknologi ibland kallad "join request") till namnda natverksomkopplare om tillsandande av bildsekvenser frail just dessa bildupptagande sensorer, varvid natverksomkopplaren efter mottagande av namnda farfragan tillser att den aktuella klientenheten tillsands de efterfragade bildsekvenserna. 20 Varje bildupptagande sensor är fardelaktigen konfigurerad att sanda vane registrerad bildsekvens en och endast en gang, varvid natverksomkopplaren är konfigurerad att ta emot namnda bildsekvens och, atminstone om namnda bildsekvens har efterfragats av ett flertal klientenheter, duplicera bildsekvensen och skicka den mottagna bildsekvensen eller en kopia darav till var och en av klientenheterna varifran en farfragan om tillsandande av den aktuella bildsekvensen mottag its.

Denna funktionalitet erhalles i en utforingsform saledes av atminstone en i systemet ingaende omkopplare i form av en Ethernet-switch med stad for multicast, vilken samverkar med de bildupptagande sensorerna forsedda med natverksgranssnitt med stad far multicast far all astadkomma erforderlig distribution av bildsekvenser frin de bildupptagande sensorerna till klientenheterna med ett minimum av datatrafik i natverket.

Klientenheterna kan i regel utgOras av vilken typ av databehandlingsenhet som heist kapabel att pa onskat satt bearbeta bilderna fran den eller de mottagna 5 bildsekvenserna for all darifran generera den onskade vyn. For ovan namnda panoramagenerering maste klientenheterna exempelvis vara formtigna att sammanfoga bilder fran olika bildsekvenser till en panoramabild och orsaka uppvisning av namnda panoramabild pa en i klientenheten ingaende eller till klientenheten ansluten bildskarm. Exempelvis kan klientenheterna utgoras av 10 stationara datorenheter, barbara datorenheter, pekdatorer (eng. tablet computer) eller hjalmintegrerade datorenheter.

Enligt en utfOringsform innefattar atminstone en klientenhet eller en dartill ansluten komponent en riktningsgivare, sasom ett gyro eller en accelerometer, varvid klientenheten är konfigurerad att avkanna hur klientenheten eller den dartill anslutna 15 komponenten är riktad, och, baserat pa namnda riktning, bestamma vilken vy av stridsfordonets omgivningar som utgor onskad vy och som saledes ska uppvisas pa klientenhetens bildskarm.

I den ovan beskrivna utfOringsformen enligt vilken klientenheterna skickar forfragningar om tillsandande av onskade bildsekvenser till en natverksomkopplare genom vilka klientenheterna är ansluta till de bildupptagande sensorerna, baseras namnda fOrfragningar med fordel pa den aktuella riktningen hos klientenheten eller den dartill anslutna komponenten, varvid den vy som uppvisas pa klientenhetens bildskarm kommer att bero pa namnda riktning.

Exempelvis kan klientenheten vara integrerad i eller ansluten till en hjalm innefattande en hjalmdisplay samt en riktningsgivare kapabel att avkanna hur en anvandare av hjalmen riktar sitt huvud, varvid klientenheten är konfigurerad att, baserat pa namnda huvudriktning, bestamma vilken vy som utgOr Onskad vy och saledes ska uppvisas pa namnda hjalmdisplay. Pa sa satt kan en operator eller annan besattningsmedlem av stridsfordonet formedlas en mycket verklighetsnara 11 kansla av att se rakt igenom stridsfordonets vaggar och/eller tak samtidigt som denne befinner sig i skydd inuti stridsfordonet.

I ett annat exempel utgOrs klientenheten av en pekdator, sasom en surfplatta, med inbyggd riktningsgivare, varvid en anvandare kan vanda pekdatorn i den riktning 5 anvandaren onskar "se" ut genom stridsfordonet.

Sasom inses av ovanstaende beskrivning kan den Onskade vy som uppvisas pa klientenhetens bildskarm genereras fran en endaste bildsekvens registrerad av en enskild bildupptagande sensor, eller fran ett flertal bildsekvenser registrerade av olika bildupptagande sensorer, varvid bilderna kin olika bildsekvenser pa ett eller 10 annat sail kan sammanfogas till en sammanfogad bild utgOrandes namnda onskade vy.

Det ska i detta sammanhang betonas att en sammanfogad bild inte nodvandigtvis är en panoramabild. De bildupptagande sensorerna kan exempelvis innefatta bade konventionella videokameror och IR-kameror, varvid den onskade vyn kan utgoras 15 av en sammanfogad bild som sammanfogats utifran en bild registrerad av en videokamera och en bild registrerad av en IR-kamera, exempelvis en sammanfogad bild dar bildinformation fran IR-kameran overlagrats bildinformation fran videokameran. 'Armed ska aven inses att de delvyer som registreras av de olika bildupptagande sensorerna inte nodvandigtvis maste vara olika delar eller olika 20 delvyer av stridsfordonets omgivningar. De kan exempelvis utgoras av en visuell vy och en infrarod vy av samma del av stridsfordonets omgivningar, registrerade av en konventionell videokamera och en IR-kamera, vilka vyer kan sammanfogas av de olika klientenheterna fOr att i en onskad vy ge fordonets operatOrer mOjlighet att se bildinformation fran IR-kameran Overlagrad bildinformation fran den konventionella 25 videokameran.

Huvudsakligen är dock det foreslagna systemet tankt att anvandas for att uppvisa panoramavyer i form av bilder och i synnerhet videobilder for fordonsoperatorerna pa de olika klientenheterna, vilka saledes framst är tankta att sammanfoga bilder fran bildupptagande sensorer i form av konventionella kameror eller videokameror till panoramabilder for uppvisning pa klientenheternas bildskarmar. 12 Enligt en utforingsfrom innefattar atminstone en av klientenheterna panoreringsmedel konfigurerade att astadkomma panorering i en av klientenheten uppvisad panoramavy baserat pa indata inmatad eller pa annat satt genererad av anvandaren av klientenheten.

Enligt en utfOringsform ar atminstone en av klientenheterna konfigurerad att pa sin bildskarm uppvisa en sfarisk panoramavy eller delar darav astadkommen genom applicering av en sfarisk projektion pa de sammanfogade bilderna fran de olika bildsekvenserna. Pa sá satt kan en nara nog helt realistisk kansla av all omges av stridsfordonets omgivningar farmed las till fordonsoperatarer eller andra med lemmar av fordonsbesattningen belagna inuti stridsfordonet. En full sfarisk panorama kraver dock sammanfogning av ett stort antal bilder, vilket kraver Okad prestanda hos klientenheterna bade vad galler fOrmaga att sammanfoga bilder och fOrmaga att ta emot och hantera den stora datamangden i de manga olika bildsekvenser som ska sammanfogas. Klientenheterna kan darfor med fordel vara konfigurerade att endast 15 generera och uppvisa endast en del av en fullt sfarisk panoramavy, exempelvis en delvy bestaende av tva eller tre sammanfogade bildsekvenser.

Enligt en annan utfOringsform är namnda atminstone en klientenhet konfigurerad att pa dess bildskarm uppvisa en cylindrisk panoramavy eller delar darav astadkommen genom applicering av en cylindrisk projektion pa de sammanfogade bilderna fran de olika bildsekvenserna. Darmed kan en nara nog lika realistisk kansla av att vara omgiven av stridsfordonets omgivningar formedlas till fordonets besattningsmedlemmar med lagre prestandakrav pa de i systemet ingaende klientenheterna. Aven i detta fall är klientenheterna med fordel konfigurerade att generera och uppvisa endast en del av en fullt cylindrisk panoramavy, exempelvis 25 en delvy bestaende av tva eller tre sammanfogade bildsekvenser.

Enligt en annan aspekt av uppfinningen tillhandahalls ett stridsfordon innefattande det ovan beskrivna systemet for omvarldsuppfattning.

I en utforingsform innefattar stridsfordonet saledes ett flertal bildupptagande sensorer, sasom videokameror, var och en konfigurerad att registrera en 30 bildsekvens uppvisande en delvy av fordonets omgivningar, samt ett flertal 13 klientenheter varav var och en är konfigurerad att pa en bildskarm uppvisa en Onskad vy av stridsfordonets omgivningar, varvid den onskade vyn innefattar bildinformation skapad genom sammanfogning av bilder registrerade av olika bildupptagande sensorer. De bildupptagande sensorerna och klientenheterna är 5 anslutna till varandra genom ett i stridsfordonet ingaende natverk och de bildupptagande sensorerna är konfigurerade att sanda namnda bildsekvenser over namnda natverk medelst en teknik dar varje bildsekvens kan tas emot av ett flertal mottagare. Vidare är var och en av klientenheterna konfigurerad att via namnda natverk mottaga ett flertal bildsekvenser registrerade av olika bildupptagande 10 sensorer och att utifran de mottagna bildsekvenserna pa egen hand generera den Onskade vyn, typiskt i form av en panoramavy, genom sammanfogning av bilder fran de olika bildsekvenserna, samt ombesorja uppvisning av den Onskade vyn pa namnda bildskarm.

Uttiver ovan beskrivna system och stridsfordon tillhandahaller fOreliggande uppfinning aven ett fOrfarande fOr omvarldsuppfattning i stridsfordon.

Enligt en utforingsform tillhandahalls ett forfarande for omvarldsuppfattning i stridsfordon, innefattande stegen att registrera ett flertal bildsekvenser uppvisandes delvyer av stridsfordonets omgivningar medelst ett flertal bildupptagande sensorer, och att pa var och en av ett flertal bildskarmar associerade med en respektive klientenhet av ett flertal klientenheter uppvisa en av en anvandare av klientenheten Onskad vy av stridsfordonets omgivningar. Vidare innefattar forforandet stegen att: sanda bildsekvenserna fran de bildupptagande sensorerna Over ett i stridsfordonet ingaende natverk medelst en teknik dar vane bildsekvens kan tas emot av ett flertal mottagare, samt att i var och en av namnda flertal klientenheter: ta emot, Over namnda natverk, atminstone en bildsekvens registrerad av atminstone en bildupptagande sensor; utifran namnda atminstone ena bildsekvens generera namnda Onskade vy genom bearbetning av bilder fran namnda atminstone ena bildsekvens, och - uppvisa den Onskade vyn pa den med klientenheten associerade bildskarmen. 14 Sasom framgar av ovanstaende beskrivning innefattar steget att generera den Onskade vyn typiskt generering av en panoramavy, varvid steget att uppvisa den Onskade vyn innefattar uppvisning av panoramavyn eller delar darav pa bildskarmen.

Sasom ocksa tam* av ovanstaende beskrivning kan fOrfarandet innefatta stegen att: registrera en riktning hos respektive klientenhet eller en till respektive klientenhet ansluten komponent, och 10 - fran respektive klientenhet sanda namnda fOrfragan om tillsandande av utvalda bildsekvenser for generering av namnda Onskade vy baserat pa namnda riktning .

Enligt ytterligare en aspekt av fOreliggande beskrivning tillhandahalls ett 15 datorprogram fOr tillhandahallande av omvarldsuppfattning i ett stridsfordon innefattande ett flertal bildupptagande sensorer konfigurerade att registrera bildsekvenser uppvisande respektive delvyer av stridsfordonets omgivningar. Datorprogrammet innefattar programkod som da den exekveras av en processor i en av ett flertal klientenheter fOrmar klientenheten att pa en bildskarm uppvisa en av 20 en anvandare av klientenheten onskad vy av stridsfordonets omgivningar. Vidare innefattar datorprogrammet programkod som cla den exekveras av namnda processor fOrmar klientenheten att, via ett i stridsfordonet ingiende natverk Over vilket de bildupptagande sensorerna sander namnda bildsekvenser medelst en teknik dar vane bildsekvens kan tas emot av ett flertal mottagare: 25 - ta emot gtminstone en bildsekvens registrerad av atminstone en bildupptagande sensor; utifran namnda atminstone en bildsekvens generera namnda Onskade vy genom bearbetning av bilder fran namnda atminstone en bildsekvens, och uppvisa den Onskade vyn pa en med klientenheten associerad bildskarm.

Datorprogrammet kan vidare innefatta programkod som da den exekveras av namnda processor fOrmar klientenheten att utfOra vilket eller vilka som heist av de metodsteg som ovan beskrivits sasom utforda av en klientenhet. 5 Enligt ytterligare en aspekt av foreliggande beskrivning tillhandahalls en datorprogramprodukt innefattande ett lagringsmedium, sasom ett icke-flyktigt minne, varvid namnda lagringsmedium lagrar det ovan beskrivna datorprogrammet.

Enligt en ytterligare aspekt av threliggande beskrivning tillhandahalls en klientenhet, 10 exempelvis i form av en stationar dator, en laptop, en pekdator, en hjalmintegrerad dator eller nagon annan typ av databehandlingsenhet, innefattande en sAdan datorprogramprodukt.

Ytterligare fOrdelaktiga aspekter av systemet, stridsfordonet, fOrfarandet och 15 datorprogrammet enligt uppfinningen kommer att framga av den harefter fOljande detaljbeskrivningen, samt av de darpa foljande patentkraven.

FIGURBESKRIVNING FOreliggande uppfinning kommer att forstas battre med hanvisning till fOljande 20 detaljerade beskrivning da denna studeras tillsammans med de bifogade ritningarna, dar lika hanvisningsbeteckningar hanfor sig till lika delar i de olika vyerna, och i vilka: Fig. 1 schematiskt illustrerar en utfOringsform av ett system fOr tillhandahallande av omvarldsuppfattning i ett stridsfordon; 25 Fig. 2 schematiskt illustrerar ett exempel pa en panoramavy som medelst systemet i Fig. 1 helt eller delvis kan genereras och uppvisas for tillhandahallande av omvarldsuppfattning at en eller flera medlemmar av fordonsbesattningen; 16 Fig. 3 schematiskt illustrerar ett annat exempel pa en panoramavy som medelst systemet i Fig. 1 helt eller delvis kan genereras och uppvisas for tillhandahallande av omvarldsuppfattning at en eller flera medlemmar av fordonsbesattningen; och Fig. 4 schematiskt illustrerar ett exempel pa datakommunikation mellan enheterna i ett natverk till vilka systemkomponenterna i Fig. 1 gr. anslutna.

Fig. 5 schematiskt illustrerar ett flodesdiagram Over en utforingsform av ett ferfarande for tillhandahallande av omvarldsuppfattning i ett stridsfordon.

DETALJERAD BESKRIVNING AV UPPFINNINGEN 10 Med "sammanfogning av bilder" menas had en process i vilken en ny bild genereras genom sammanfogning av tva eller fler ursprungsbilder, varvid den nya bilden innefattar bildinformation fran var och en av de sammanfogade ursprungsbilderna.

Med "panoramavy" menas had en vidvinkelvy som innefattar men bildinformation an vad som kan registreras av en ensam bildupptagande sensor. En panoramabild är 15 saledes en vidvinkelbild skapad genom sammanfogning av ett flertal bilder registrerade av olika bildupptagande sensorer, sammanfogade pa ett sadant satt att panoramabilden uppvisar ett starre synfalt an vad de enskilda bilderna gar var for sig.

Med samtidig hanvisning till Fig. 1-3 ska i det foljande beskrivas ett system 1 for tillhandahallande av omvarldsuppfattning i ett stridsfordon 2.

Omvarldsuppfattningssystemet 1 är konfigurerat far att integreras i stridsfordonet 2. Had beskrivs stridfordonet 2 som ett landgaende fordon, sasom en stridsvagn, men det b6r papekas att systemet aven gar att realisera och implementera hos en vattenfarkost, sasom t.ex. ett ytstridsfartyg, eller en luftburen farkost, sasom t.ex. en helikopter eller ett flyg plan. 17 Systemet 1 innefattar en sensoranordning 3 innefattande ett flertal bildupptagande sensorer 3A-3E, var och en anordnad aft registrera en bildsekvens utvisande atminstone en del av stridsfordonets omgivningar under operation.

De bildupptagande sensorerna 3A-3E kan vara digitala elektro-optiska sensorer innefattande atminstone en elektro-optisk sensor for upptagning av bildsekvenser utgOrandes stillbildssekvenser och/eller videosekvenser.

De bildupptagande sensorerna 3A-3E kan utgoras av digitala kameror eller videokameror konfigurerade att registrera bilder inom det visuella och/eller infraroda (IR) omradet. De kan ocksa utgOras av bildforstarkare konfigurerade att registrera 10 bilder inom det narinfraroda omradet (eng. Near Infrared — NIR).

De bildupptagande sensorerna 3A-3E kan vara anordnade exteriOrt hos stridsfordonet 2 eller interiOrt hos stridsfordonet 2 i skydd av transparent, skyddande material genom vilket registrering av bildsekvenserna sker.

De bildupptagande sensorerna 3A-3E är fOretradesvis inriktade i fOrhallande till 15 varandra sa att bildupptagningsomradena Mr de olika sensorerna, d.v.s. de delvyer som i Fig. 1 benamns VA-VE, delvis Overlappar varandra. Aven om den exemplifierande utforingsformen i Fig. 1 endast innefattar fern bildupptagande sensorer 3A-3E anordnade att tacka ett knappt 180-gradigt synfalt ska det inses att systemet 1 med fOrdel kan innefatta ett godtyckligt antal bildupptagande sensorer 20 som med fOrdel är anordnade att tacka 360° av stridsfordonets omgivningar.

Systemet 1 innefattar vidare ett flertal klientenheter C1-C3, var och en associerad med en bildskarm eller display D1-D3, vilken kan vara integrerad i eller ansluten till klientenheten. Klientenheterna är konfigurerade att ta emot bildsekvenser fran de bildupptagande sensorerna 3A-3E, fOretradelsevis en eller tva bildsekvenser at 25 gingen, och bearbeta och vid behov sammanfoga bilder fran de olika bildsekvenserna for uppvisning pa den med klientenheten associerade bildskarmen D1-D3, sasom kommer aft beskrivas i mer detalj nedan.

FOr det har andamalet innefattar klientenheterna C1-C3 en databehandlingsenhet eller processor P1-P3 och ett digitalt lagringsmedium eller minne M1-M3. Det ska 18 inses att de atgarder eller metodsteg som han anges utforas av en klientenhet ClC3 utfors genom att klientenhetens processor P1-P3 exekverar en viss del, d.v.s. en viss programkodssekvens, av ett datorprogram som lagras i klientenhetens minne M1-M3.

I en utfaringsform utgors klientenheterna av standarddatorer i den mening att de inte innefattar nagon speciell hardvara (eng. special-purpose hardware) for bearbetning av de mottagna bildsekvenserna. Klientenheterna kan exempelvis utgoras av barbara eller stationara persondatorer eller mindre barbara datorenheter, sisom en pekdator eller surfplatta. I Fig. 1 utgOrs klientenheterna Cl och 02 av persondatorer kopplade till externa bildskarmar D1, D2 i form av hjalmdisplayer integrerade i hjalmar som bars av besattningsmedlemmar av stridsfordonet 2, medan klientenheten C3 utgors av en pekdator avsedd att hallas i handen av en ytterligare besattningsmedlem av stridsfordonet 2. Det ska darvid inses att klientenheterna C1-C3 utgor separata och sjalvstandiga databehandlande enheter.

Klientenheterna C1-C3 och de bildupptagande sensorerna 3A-3E är alla anslutna till ett i stridsfordonet 2 ingaende natverk 4. I en foredragen utfOringsform är natverket ett Ethernet-nat, foretradesvis ett Gigabit-Ethernet-nat (Gig E). Klientenheterna C3 är anslutna till de bildupptagande sensorerna 3A-3E Over namnda natverk 4 via en natverksomkopplare 5, typiskt i form av en Ethernet-switch. 20 De bildupptagande sensorerna 3A-3E är konfigurerade att registrera bildsekvenser uppvisande en respektive delvy VA-VE av stridsfordonets omgivningar, samt att sanda dessa bildsekvenser Over namnda natverk 4 medelst en teknik (t.ex. multicast-teknik) som mOjliggor att ett flertal mottagare kan nas av en viss bildsekvens trots att denna endast skits en gang av en bildupptagande sensor 3A- 3E. Varje klientenhet 01-03 är i sin tur konfigurerad att via namnda natverk 4 ta emot en eller flera bildsekvenser uppvisande olika delvyer VA-VE av stridsfordonets omgivningar och pa egen hand generera en onskad vy genom att bearbeta bilderna fran den eller de mottagna bildsekvenserna, samt ombesorja uppvisning av den Onskade vyn pa namnda bildskarm D1-D3. 19 I den exemplifierande utforingsformen som visas i Fig. 1-3 anvands omvarldsystemet 1 for att pi bildskarmarna D1-D3 tillhorande fordonsbesattningens klientenheter C1-C3 uppvisa strOmmad video av stridsfordonets omgivningar, skapad genom bearbetning av en eller fler videostrOmmar registrerade av de 5 bildupptagande sensorerna 3A-3E. I den har utforingsformen Jr klientenheterna ClC3 kapabla att uppvisa panoramavideo som skapats genom sammanfogning av tva eller fler videostrOmmar registrerade av de bildupptagande sensorerna 3A-3E.

I denna utfOringsform utgors de bildupptagande sensorerna 3A-3E av digitala natverksvideokameror konfigurerade att registrera bildsekvenser vilka saledes utgOr 10 videostrOmmar avbildandes de olika delvyerna VA-VE av stridsfordonets omgivningar. Mer specifikt utgOrs de bildupptagande sensorerna 3A-3E i denna utforingsform av Ethernet-videokameror med multicast-funktion, vilket betyder att videokamerorna 3A-3E Jr anslutna till Ethernet-natet 4 och är konfigurerade att sanda varje registrerad bildsekvens medelst en teknik som trots att vane 15 bildsekvens endast sands en endaste gang kan tas emot av ett flertal mottagare, d.v.s. klientenheter.

Vidare innefattar klientenheterna C1-C3 i denna utforingsform en respektive riktningsgivare S1-S3 konfigurerad att avkanna en nuvarande riktning hos riktningsgivaren och saledes riktningen hos den klientenhet eller komponent i vilken riktningsgivaren ingar. Detta mOjliggOr for en anvandare av en klientenhet C1-C3 att indikera en Onskad vy av stridsfordonets omgivningar genom att rikta klientenheten eller en dartill ansluten komponent innefattande riktningsgivaren S1-S3 at det hall anvandaren onskar "se". Sasom illustreras i Fig. 1 kan riktningsgivare S1-S2 exempelvis fastas pa en hjalm eller hjalmdisplay D1-D2 och anslutas till klientenheten C1-C2 fOr att lata anvandaren indikera Onskad vy av stridsfordonets omgivningar genom att vrida pa huvudet och "titta" at 6nskat hall. Sasom ocksa illustreras i Fig. 1 kan riktningsgivaren S3 i andra fall integreras i en barb& klientenhet, sasom pekdatorn C3, varvid anvandaren kan indikera Onskad vy genom att rikta pekdatorn at det hall denne onskar se. I en ytterligare utfOringsform (ej 30 visad) kan omvarldssystemet 1 innefatta medal fOr ogonfoljning, sAsom en kamera anordnad att detektera Ogonrorelser hos en anvandare av en klientenhet C1-C3, varvid anvandaren kan tillatas indikera Onskad vy av stridsfordonets omgivningar genom att titta i en viss riktning.

Av ovanstaende beskrivning ska inses att observationssystemet 1 typiskt satt innefattar ett MMI (eng. man-machine interface) konfigurerat att lata anvandaren 5 indikera en onskad vy genom att via namnda MMI ange en riktning i vilken anvandaren viii se stridsfordonets omgivningar och att ett sidant MMI kan utformas pa ett flertal olika satt. Siledes ska inses att observationssystemet 1 enligt fareliggande beskrivning inte är begransat till nagon sarskild av ett antal majliga losningar far att istadkomma dylik funktionalitet. 10 Nar en anvandare av en klientenhet C1-C3 indikerar en onskad vy av stridsfordonets omgivningar beraknar klientenheten vilken eller vilka delvyer VA-VE som erfordras far att generera den onskade vyn.

I handelse av att den onskade vyn ryms inom en av delvyerna VA-VE, det viii saga om den bildinformation som operataren onskar fa uppvisad pa bildskarmen D1-D3 15 motsvarar eller utgar en delmangd av en av delvyerna VA-VE, behaver klientenheten C1-C3 bara begara och ta emot bildsekvenser frin en enda bildupptagande sensor 3A-3E och inte utfora nagon som heist sammanfogning av bilder. Aven i denna situation kravs dock en viss grad av bearbetning av de i bildsekvensen ingaende bilderna far att utifrin dessa generera den onskade vyn for uppvisning pi 20 bildskarmen D1-D3. Exempelvis kan bearbetningen i delta fall besta i att extrahera delar av bilderna, projicera bilderna eller de extraherade bilddelarna pa en [DOA yta och/eller skala om bilderna eller de extraherade bilddelarna innan de presenteras som namnda Onskade vy pa den med klientenheten C1-C3 associerade bildskarmen D1-D3. 25 Den Onskade vyn kan siledes genereras frin en bildsekvens registrerad av en enda bildupptagande sensor 3A-3E. Fordelaktigen ar klientenheterna C1-C3 konfigurerade att, baserat pa en indikation om anskad vy av stridsfordonets omgivningar, indikerad av respektive klientenhets anvandare medelst exempelvis ovan angivna riktningsgivare S1-S3, bestamma fran hur manga och vilka av de 30 bildupptagande sensorerna 3A-3E som bildsekvenser maste erhallas far att kunna 21 generera den Onskade vyn. Vidare är klientenheterna C1-C3 ftirdelaktigen konfigurerade att fran de bildupptagande sensorerna begara de och endast de bildsekvenser som kravs for aft kunna generera den Onskade vyn. Det har betyder aft klientenheterna C1-C3 i mOjligaste man efterstravar att generera den Onskade 5 vyn utifran en bildsekvens registrerad av en enda bildupptagande sensor 3A-3E och att ytterligare bildsekvenser fran andra bildupptagande sensorer 3A-3E endast efterfragas vid behov. I beskrivande syfte kommer det trots detta hadanefter att antas att den av anvandaren Onskade vyn kraver sammanfogning av bilder fran atminstone tva bildsekvenser registrerade av olika bildupptagande sensorer 3A-3E, 10 fOr att darigenom skapa en panoramabild motsvarande namnda Onskade vy fOr uppvisning fOr anvandaren.

Sisom illustreras i Fig. 2 kan klientenheten i vissa utforingsformer vara konfigurerad att skapa en fullstandig, upp till 360-graders panoramavy genom sammanfogning av alla eller atminstone eft storre antal bildsekvenser avbilande olika delvyer VA-VE, samt ombestirja uppvisning av hela eller delar av denna upp till 360-gradiga panoramavy pa klientenhetens bildskarm.

Som namnts ovan är klientenheterna C1-C3 dock konfigurerade att minimera antalet bildsekvenser som anvands fOr generering av den av anvandaren Onskade vyn och eftersom denna i regel inte kraver sammanfogning av mer an tva eller max 20 tre bildsekvenser är klientenheterna C1-C3 med fordel konfigurerade att begransa begaran om bildsekvenser fran de olika videokamerorna till tva eller hOgst tre bildsekvenser.

Fig. 3 visar ett exempel pa detta dar klientenheten Cl har begart tva bildsekvenser registrerade av olika videokameror och avbildande tva delvis overlappande delvyer 25 VB, Vc av stridsfordonets omgivningar. Klientenheten Cl är vidare konfigurerad att sammanfoga de tva delvyerna till en panoramavy genom att sy ihop (eng. image stiching) de tva delvyerna med en enda som 6, typiskt med anvandning av bildinformation som aterfinns i de Overlappande omridena 7 av de tva delvyerna VB, Vc enligt principer som är valkanda inom teknikomradet fOr bildbehandling. 22 I exemplet som visas i Fig. 3 har klientenheten Cl saledes skickat en forfragan till omkopplaren 5 (se Fig. 1) om att erhalla videostrommar fran videokamerorna 3B och 3C baserat pa en indikation fran klientenhetens anvandare om Onskad vy fOr uppvisning pa klientenhetens bildskarm Dl. Som svar pa denna fOrfragan har 5 omkopplaren 5 tillsant videostrammarna fran videokamerorna 3B och 3C till klientenheten Cl, varpa klientenheten medels mjukvara far generering av panoramabilder, lagrad i minnet M1 hos klientenheten, sammanfogat bilderna avbildande delvyerna VB, Vc till en panoramavy som i det har exemplet innehallerden onskade vy Vp som uppvisas pa bildskarmen Dl. Aven om sommen 6 10 mellan de sammanfogade delvyerna av forklarande skal visas i Fig. 3 ska det inses att panoramavyn som uppvisas pa bildskarmen D1 i regel är helt stimlOs i den mening att sOmmen eller sOmmarna nnellan sammanfogade bilder fran olika bildsekvenser i regel inte är synliga i den sammansatta panoramabilden.

Det ska ocksa inses att den Onskade vyn Vp som visas pa bildskarmen D1 inte behOver innehalla hela delvyerna VB och Vc, eller ens nagon fullstandig delvy overhuvudtaget. Istallet utgOr den onskade vyn som uppvisas pa bildskarmen D1 typiskt en delmangd av en sammanfogad bild som klientenheten Cl genererar utifran de begarda och mottagna videostrommarna. Exempelvis kan klientenheten Cl bestalla videostrOmmar fran videokamerorna 3B och 3C, varpa klientenheten 20 kan ta emot dessa videostrOmmar och darmed delvyerna VB och Vc, generera en sammanfogad bild motsvarande vyn Vp i Fig. 3 genom att sy samman delvyerna VB och Vc, och lagra denna sammanfogade bild i minnet Ml, varpa en Onskad vy VP2 innefattande bildinformation fran bada delvyerna VB och Vc men endast en delmangd av bildinformationen i namnda sammanfogade bild kan uppvisas pa bildskarmen Dl.

Alt lagra en stone bild i klientenhetens minne M1 an vad som for stunden uppvisas pa den med klientenheten associerade bildskarmen D1 är fordelaktigt eftersom detta medger snabb uppdatering i visningen av den onskade vyn till MO av sma andringar i indikation av Onskad vy fran operatorerna, exempelvis till fOljd av sma huvudrorelser hos en operator forsedd med en hjalmintegrerad riktningssensor S1, S2 med vars hjalp operataren indikerar Onskad vy for uppvisning pa en bildskarm, 23 sasom beskrivits ovan. Att den sammanfogade och lagrade bilden har stOrre storlek an den bild som visas upp som onskad vy pa bildskarmen gor att det finns en viss Onskade och uppvisade vyn, varvid bildinformation inom denna 5 6nskas utan att nya berakningstunga sammanfogningar av bilder behOver g6ras. Exempelvis kan den sammanfogade bilden som lagras i klientenhetens minne motsvara en vy pa 90 graders horisontellt synfalt runt fordonet 2 medan den Onskade vyn som uppvisas pa bildskarmen endast motsvarar 60 graders horisontellt synfalt. 10 Som angetts ovan ar systemet 1 fOrdelaktigen utformat sá att vane klientenhet ClC3 är konfigurerad att baserat pa den Onskade vy som indikeras av klientenhetens anvandare efterfraga det minimala antal bildsekvenser fran videokamerorna 3A-3E som kravs fOr att generera namnda Onskade vy. I en utforingsform är tva den Ovre gransen for antalet bildsekvenser fran olika videokameror som far efterfragas och 15 sattas samman av respektive klientenhet. I en annan utfOringsform är namnda Ovre grans tre. I annu en utforingsform är klientenheterna konfigurerade att genom anvandarinmatning lata anvandarna ange en Ovre grans fOr antalet bildsekvenser som ska efterfragas och sammanfogas baserat pa anvandarens indikation om Onskad vy. Pa sá satt kan det maximala antalet bilder som sammanfogas av 20 klientenheten exempelvis anpassas till respektive anvandarens personliga preferenser och/eller berakningskapaciteten hos respektive klientenhet.

Fig. 4 visar ett exempel pa datakommunikation mellan enheterna i natverket 4. Omkopplaren i Fig. 4 motsvarar saledes natverksomkopplaren 5 i Fig. 1 medan videokamerorna 1-3 och klientenheterna 1 och 2 i Fig. 4 kan utgOras av vilka som 25 heist av de bildupptagande sensorerna 3A-3E respektive klientenheterna C1-C3 i Fig. 1.

I ett fOrsta steg S11 skickar en fOrsta klientenhet "Klientenhet 1" en fOrfragan till omkopplaren om tillsandande av bildsekvenser fran videokamerorna 1 och 2. Som beskrivits ovan baserar klientenheten valet av videokameror pa en indikation om 30 onskad vy for uppvisning pa en bildskarm, mottagen fran klientenhetens anvandare. 24 I eft andra steg S12 skickar en andra klientenhet "Klientenhet 2" pa motsvarande satt en forfragan till omkopplaren om tillsandande av bildsekvenser fran videokamerorna 2 och 3.

I ett tredje steg S13 tar omkopplaren emot en bildsekvens fran "Videokamera 1" och vidarebefordrar denna till "Klientenhet 1" eftersom detta är den enda klientenhet som efterfragat denna bildsekvens.

I ett fjarde steg S14 tar omkopplaren emot en bildsekvens fran "Videokamera 2". Denna dr efterfragad av sa'val "Klientenhet 1" och "Klientenhet 2". Omkopplaren duplicerar darfOr bildsekvensen och skickar sedan varsin kopia av bildsekvensen till de tva klientenheterna.

I ett femte steg S15 tar omkopplaren emot en bildsekvens frAn "Videokamera 3" och vidarebefordrar denna till "Klientenhet 2" eftersom detta är den enda klientenhet som efterfragat denna bildsekvens.

Sonn namnts ovan är allts A de natverksanslutna videokamerorna 3A-3E 15 konfigurerade aft sanda de registrerade bildsekvenser Over natverket 4 medelst en teknik som mOjliggOr for ett flertal klientenheter C1-C3 aft ta emot samma bildsekvens, trots aft denna endast sants en gang av en videokamera. Detta astadkoms i en utfOringsform genonn att konfigurera de i Ethernet-nAtet 4 ingaende natverksenheterna fOr anvandning av IP multicast. 20 IP multicast ar en valkand teknologi som ofta anvands for att strOmma media Over Internet eller andra natverk. Tekniken bygger pa anvandande av gruppadresser fOr IP multicast och vane videokamera 3A-3E är fordelaktigen konfigurerade aft anvanda en specifik gruppadress som destinationsadress fOr de datapaket som de registrerade bildsekvenserna skickas i. Klientenheterna anvander sedan dessa 25 gruppadresser fOr att informera natverket all de är intresserade av vissa utvalda bildsekvenser genom att ange att de vill ta emot datapaket skickade till en viss gruppadress. Nar en klientenhet informerar natverket onn att den viii ta emot paket till en viss gruppadress sager man aft klientenheten ansluter (eng. join) till en grupp med den gruppadressen. Ovan namnda forfragningar som skickas fran klientenheterna C1-C3 till natverksomkopplaren 6 är i en utforingsform sadana anslutningsforfragningar (eng. join requests) som indikerar vilka videostrommar klientenheten vill ta emot och vilka den saledes inte vill ta emot.

Fig. 5 är ett flOdesschema illustrerande en exemplifierande utforingsform av ett 5 forfarande for tillhandhahallande av omvarldsuppfattning i ett stridsfordon. FOrfarandet kommer nedan att beskrivas med samtidig hanvisning till tidigare beskrivna figurer.

I ett fOrsta steg, S21, registreras ett flertal bildsekvenser uppvisandes delvyer VA-VE av stridsfordonets omgivningar medelst ett flertal bildupptagande sensorer 3A-3E.

I ett andra steg, S22, skickas dessa bildsekvenser Over ett i stridsfordonet 2 ingaende natverk 4 medelst multimottagarteknik, d.v.s. en teknik dar vane bildsekvens kan tas emot av ett flertal mottagare, sasom multicast.

I ett tredje steg, S23, tas utvalda bildsekvenser emot i klientenheterna C1-C3. Som namnts tidigare dr klientenheterna C1-C3 fOretradesvis konfigurerade att begara 15 och ta emot bildsekvenser fran ett minimum av bildupptagande sensorer 3A-3E, dar de bildupptagande sensorerna och darmed de begarda bildsekvenserna valjs ut av klientenheten baserat pa en indikation om Onskad vy for uppvisning, mottagen av klientenheten fran en anvandare darav.

I ett fjarde steg, S24, skapar varje klientenhet pa egen hand den Onskade vyn 20 genom bearbetning av bilder fran atminstone en mottagen bildsekvens och, om mer an en bildsekvens behavs for att skapa den Onskade vyn, genom sammanfogning av bilder fran minst tva bildsekvenser registrerade av olika bildupptagande sensorer. Som namnts ovan är den Onskade vyn typiskt men inte nadvandigtvis en del av en panoramavy som skapas i och av respektive klientenhet medelst mjukvara fOr generering av panoramabilder utifran ett flertal bildsekvenser, vilken mjukvara finns lagrad i respektive klientenhet.

I ett femte steg, S25, uppvisar vane klientenhet den Onskade vyn pa en med respektive klientenhet associerad bildskarm D1-D3. 26 Det har ovan beskrivits att den onskade vyn som uppvisas p6 klientenhetens bildskarm kan vara en sammanfogad bild sammanfogad av bilder fran olika bildsekvenser. Dessa bilder kan med fordel utgoras av bildrutor i videostrommar. Saledes ska det inses att det som i en foredragen utforingsform uppvisas pa klientenheternas bildskarmar är en panoramavideo, eller del av en panoramavideo, som genererats genom sammanfogning av bildrutor fran videostrommar registrerade av olika videokameror 3A-3E.

Den foregaende beskrivningen av fOredragna utfOringsformer av uppfinningen har tillhandahallits i illustrerande och beskrivande syfte. Den är inte avsedd att vara uttOmmande eller begransa uppfinningen till just de beskrivna utfOringsformerna.

Darmed ska inses att uppfinningen avser omfatta alla tankbara utforingsformer som faller inom ramen fOr de harpa fOljande patentkraven.

Ink. t. Pant- nth registruthq iirk et 2014 -11- 07 27

Claims (21)

PATENTKRAV

1. System (1) fOr omvarldsuppfattning i stridsfordon (2), varvid systemet innefattar ett flertal bildupptagande sensorer (3A-3E), var och en konfigurerad att registrera en bildsekvens uppvisande en delvy (VA-VE) av stridsfordonets omgivningar, samt ett flertal klientenheter (C1-C3), var och en konfigurerad att pa en bildskarm (D1-D3) uppvisa en av en anvandare av klientenheten onskad vy (Vp) av stridsfordonets omgivningar, kannetecknat av att de bildupptagande sensorerna (3A-3E) är konfigurerade att anslutas till ett natverk (4) och att sanda namnda bildsekvenser Over namnda natverk (4) medelst en teknik dar vane bildsekvens som sands av en bildupptagande sensor (3A-3E) kan tas emot av ett flertal mottagare, och av att var och en av namnda klientenheter (C1-C3) är konfigurerad att anslutas till namnda natverk (4) och att via namnda natverk mottaga atminstone en bildsekvens registrerad av atminstone en bildupptagande sensor (3A-3E), samt att utifran namnda atminstone en bildsekvens pa egen hand generera namnda onskade vy (Vp) genom bearbetning av bilder fran namnda atminstone en bildsekvens, samt att ombesorja uppvisning av den Onskade vyn (Vp) pa namnda bildskarm (D1-D3).

2. System (1) enligt krav 1, varvid atminstone en av klientenheterna (C1-C3) är konfigurerad att mottaga ett flertal bildsekvenser registrerade av olika bildupptagande sensorer (3A-3E), sammanfoga bilder fran de mottagna bildsekvenserna till en sammanfogad bild innefattande bildinformation registrerad av olika bildupptagande sensorer (3A-3E) och, pa namnda bildskarm (D1-D3) uppvisa den sammanfogade bilden eller en del darav som namnda Onskade vy (Vp).

3. System (1) enligt krav 2, varvid namnda sammanfogade bild dr en panoramabild.

4. System (1) enligt nagot av fOregiende krav, varvid atminstone en av klientenheterna (C1-C3) är konfigurerad att mottaga en indikation fran en 28 anvandare av klientenheten (C1-C3) pa namnda Onskade vy (Vp) och att, baserat pa namnda indikation, efterfraga och mottaga endast de bildsekvenser som kravs fOr generering av namnda Onskade vy (Vp).

5. System (1) enligt krav 4, varvid namnda atminstone ena klientenhet (C1-C3) är konfigurerad att efterfraga och mottaga som mest tre och fOretradesvis endast en eller tva bildsekvenser for generering av namnda Onskade vy (Vp).

6. System (1) enligt nagot av foregaende krav, vidare innefattande en natverksomkopplare (5) via vilken de bildupptagande sensorerna (3A-3E) är anslutna till klientenheterna (C1-C3), varvid klientenheterna är konfigurerad att sanda fOrfragningar till natverksomkopplaren (5) om tillsandande av utvalda bildsekvenser for generering av namnda Onskade vy (Vp), varvid natverksomkopplaren (5) ar konfigurerad att baserat pa namnda fOrfragningar selektivt fOrmedla de efterfragade bildsekvenserna fran de olika bildupptagande sensorerna (3A-3E) till de olika klientenheterna (C1-C3).

7. System (1) enligt krav 6, varvid Atminstone en av klientenheterna (C1-C3) eller en dartill ansluten komponent innefattar en riktningssensor (S1-S3), varvid klientenheten (C1-C3) är konfigurerad att basera namnda fOrfragan om tillsandande av utvalda bildsekvenser pa en aktuell riktning hos klientenheten (C1-C3) eller den dartill anslutna komponenten.

8. System (1) enligt nagot av fOreggende krav, varvid namnda natverk (4) är ett Ethernet-nat.

9. System (1) enligt nagot av fOregaende krav, varvid de bildupptagande sensorerna (3A-3E) är videokameror.

10. System (1) enligt nagot av fOregaende krav, varvid namnda system (1) inte innefattar nagra bildbehandlande hArdvarukomponenter som modifierar 29 bildsekvenserna fran det att de sands av de bildupptagande sensorerna (3A-3E) till dess aft de tas emot av klientenheterna (C1-C3).

11. System (1) enligt nagot av foregaende krav, varvid namnda klientenheter (C1- C3) utgors av standarddatorer utan sarskilda videobehandlingskort, sarskilda instickskort eller andra speciella hardvarukomponenter med sarskilt syfte aft bearbeta bildsekvenser och som vanligen inte aterfinns i standarddatorer.

12. Stridsfordon (2) kannetecknat av att det innefattar ett system (1) enligt nagot av fOregaende krav for tillhandahallande av omvarldsuppfattning for fordonsoperatarer inuti stridsfordonet.

13. FOrfarande fOr omvarldsuppfattning i stridsfordon, innefattande stegen att: 1. registrera (S21) eft flertal bildsekvenser uppvisandes delvyer (VA-VE) av stridsfordonets omgivningar medelst ett flertal bildupptagande sensorer (3A-3E), och pa var och en av ett flertal bildskarmar (D1-D3) associerade med en respektive klientenhet (C1-C3) av ett flertal klientenheter (C1-C3), uppvisa en av en anvandare av klientenheten (C1-C3) onskad vy (Vp) av stridsfordonets omgivningar, kannetecknat av stegen att: 2. sanda (S22) bildsekvenserna fran de bildupptagande sensorerna Over ett i stridsfordonet ingaende natverk medelst en teknik dar vane bildsekvens kan tas emot av ett flertal mottagare, och att i var och en av namnda flertal klientenheter (C1-C3): 3. ta emot (S23), Over namnda natverk (4), atminstone en bildsekvens registrerad av atminstone en bildupptagande sensor (3A-3E); utifran namnda atminstone enbildsekvens generera (S24) namnda Onskade vy (Vp) genom bearbetning av bilder i namnda atminstone en bildsekvens, och 4. uppvisa (S25) den onskade vyn (Vp) pa den med klientenheten (C1-C3) associerade bildskarmen (D1-D3).

14. FOrfarande enligt krav 13, innefattande stegen att i atminstone en av namnda flertal klientenheter (C1-C3) ta emot ett flertal bildsekvenser registrerade av olika bildupptagande sensorer (3A-3E), att bearbeta bilderna genom sammanfogning av bilder fran de olika bildsekvenserna till en sammanfogad bild innefattande bildinformation registrerad av olika bildupptagande sensorer (3A-3E), och att pa namnda bildskarm (D1-D3) uppvisa den sammanfogade bilden eller en del darav som namnda Onskade vy (Vp).

15. FOrfarande enligt krav 14, varvid sammanfogning sker sã aft den sammanfogade bilden utgor en panoramabild.

16. Forfarande enligt nagot av kraven 13-15, vidare innefattande stegen att i atminstone en av namnda flertal klientenheter (C1-C3) ta emot en indikation frin en anvandare av klientenheten (C1-C3) pa namnda Onskade vy (VP) och att, baserat pa namnda indikation, medelst klientenheten (C1-C3) efterfraga och mottaga endast de bildsekvenser som kravs for generering av namnda onskade vy (Vp).

17. FOrfarande enligt krav 16, varvid steget aft medelst klientenheten (C1-C3) efterfraga och mottaga endast de bildsekvenser som kravs for generering av namnda Onskade vy (Vp) innebar att som mest tre och foretradesvis endast en eller tva bildsekvenser efterfragas och mottages for generering av namnda Onskade vy (Vp).

18. FOrfarande enligt nagot av kraven 13-17, vidare innefattande stegen att: 1. ansluta de bildupptagande sensorerna (3A-3E) och klientenheterna (C1-C3) till varandra via en i natverket ingaende natverksomkopplare (5); 2. fran respektive klientenhet (C1-05) sands (S11, S12) forfragningar till natverksomkopplaren (5) om tillsandande av utvalda bildsekvenser fOr generering av namnda Onskade vy (Vp); 31 3. medelst natverksomkopplaren (5) och baserat pa namnda forfragningar selektivt formedla (S13-S15) de efterfragade bildsekvenserna fran de bildupptagande sensorerna (3A-3E) till klientenheterna (C1-C3).

19. FOrfarande enligt krav 18, vidare innefattande stegen at 1. registrera en riktning hos respektive klientenhet (C1-C3) eller en till respektive klientenhet ansluten komponent, och 2. fran respektive klientenhet (C1-C3) sanda (S11, S12) namnda forfragan om tillsandande av utvalda bildsekvenser for generering av namnda Onskade vy (Vp) baserat pa namnda riktning.

20. Datorprogram for tillhandahallande av omvarldsuppfattning i ett stridsfordon (2) innefattande ett flertal bildupptagande sensorer (3A-3E) konfigurerade att registrera bildsekvenser uppvisande respektive delvyer (VA-VE) av stridsfordonets omgivningar, varvid datorprogrammet innefattar programkod som da den exekveras av en processor (P1-P3) i en klientenhet (C1-C3) formar klientenheten att pa en bildskarm (D1-D3) uppvisa en av en anvandare av klientenheten onskad vy (Vp) av stridsfordonets omgivningar, kannetecknat av att datorprogrammet vidare innefattar programkod som dá den exekveras av namnda processor (P1-P3) %mar klientenheten att, via ett i stridsfordonet (2) ingaende natverk (4) Over vilket de bildupptagande sensorerna (3A-3E) sander namnda bildsekvenser medelst en teknik dar varje bildsekvens kan tas emot av ett flertal mottagare: 1. ta emot (S23) atminstone en bildsekvens registrerad av atminstone en bildupptagande sensor (3A-3E); - utifran namnda atminstone en bildsekvens generera (S24) namnda Onskade vy (Vp) genom bearbetning av bilder fran namnda atminstone en bildsekvens, och 2. uppvisa (S25) den Onskade vyn (Vp) pa namnda bildskarm (D1-D3).

21. Datorprogramprodukt innefattande ett lag ringsmedium, sasom ett icke-flyktigt minne (M1-M3), kannetecknad av att namnda lagringsmedium lagrar datorprogrammet enligt krav 20. . I. l'atool. opli 1/22014 —11— 07 I 7 I. M. MI P1 M1Fig. 3VP2 1, nntt 0011 UIlItftIflVIrVt 2014 -11- 07 2/2 Kamera 1Kamera 3Klientenhet 1 Kamera 2Omkopplare 00 3 Klientenhet 2 1S11 I S12 S13 / 514 • 1S 00 FOrfragan om bildsekvens fran kamera nr x El Videostrom frAn kamera nr x