<Desc/Clms Page number 1>
Werkwijze en inrichting voor videoverwerking. Deze uitvinding heeft betrekking op een werkwijze voor videoverwerking, waarbij eventuele beweging tussen opeenvolgende velden van de in even en oneven gesplitste beelden wordt gedetecteerd en de mode, namelijk videomode of filmmode wordt bepaald.
De uitvinding heeft meer bepaald betrekking op het verwerken van videosignalen afkomstig van een videoband, een DVD, een laserdisc, een tuner enz. en dus van standaard PAL, SECAM en NTSC videosignalen.
Aangezien in het bijzonder bij filmmode, hetzij zogenoemde "2 : 2 pull down", hetzij zogenoemde"3 : 2 pull down", waarbij de filmbeelden in even en oneven velden gesplitst wordt, de kwaliteit van het beeld op het scherm storende effecten kan vertonen wanneer deze signalen op de klassieke manier verwerkt worden, is het bekend via bewegingsdetectie tussen opeenvolgende velden te bepalen volgens welke mode het actuele videosignaal omgezet werd om dan specifiek de filmmodesignalen verder te bewerken.
Bij bekende werkwijzen geschiedt de bewegingsdetectie door de eventuele beweging van de flanken van de velden te detecteren, hetgeen voor gevolg heeft dat bij veel details in een veld snel ingegrepen zal worden. Dit vergt veel hulpmiddelen zoals een batterij van correlatoren.
Het toepassen van deze bekende werkwijzen vergt dus een relatief dure en omvangrijke inrichting.
<Desc/Clms Page number 2>
De uitvinding heeft een werkwijze voor videoverwerking als doel die deze en andere nadelen vermijdt en die ook bij filmmode, een beeld van goede kwaliteit op het scherm kan vertonen, en dit met een relatief goedkope inrichting die compact kan uitgevoerd worden.
Dit doel wordt volgens de uitvinding bereikt doordat de sequentie van beweging en stilstand tussen opeenvolgende velden gedetecteerd wordt en deze sequentie over een aantal velden in een geheugen opgeslagen wordt waarna deze sequentie vergeleken wordt met patronen eigen aan de mode, en, wanneer gewone videomode gedetecteerd wordt, mediaanfiltering wordt uitgevoerd, terwijl wanneer filmmode (2 : 2 pull down of 3 : 2 pull down) gedetecteerd wordt, de mediaanfiltering wordt uitgeschakeld en, in synchronisatie met de filmfase, de bij elkaar horende even en oneven velden afkomstig uit een zelfde filmbeeld, opnieuw samengevoegd worden, tot het originele filmbeeld verkregen wordt en dit beeld herhaald wordt tot terug een volgend origineel filmbeeld kan geconstrueerd worden door middel van voornoemde samenvoeging.
De bewegingsdetectie, dit is de detectie van voornoemde sequentie van beweging en stilstand, kan worden uitgevoerd door een driepuntsmediaanfiltering waarna het resultaat van deze mediaanfiltering en de binnenkomende informatie van een volgend veld door twee laagdoorlaatfilters gefilterd wordt, het absoluut verschil van het resultaat van deze twee laagdoorlaatfilters wordt berekend en de verschillen worden gesommeerd waarbij de som, eventueel gedeeld door een getal, vergeleken wordt met een drempelwaarde. Het resultaat van deze vergelijking, voornoemde in een geheugen opgeslagen sequentie van de beweging en stilstand tussen opeenvolgende velden vormt.
<Desc/Clms Page number 3>
De te verwerken videosignalen worden bij voorkeur onderworpen aan een doubling, en bij voorkeur ook een quadrupling en bijvoorkeur ook een veldfrequentieverdubbeling.
De uitvinding heeft ook betrekking op een inrichting die bijzonder geschikt is voor het toepassen van de werkwijze volgens een van de vorige uitvoeringsvormen.
De uitvinding heeft aldus betrekking op een inrichting die een bewegingsdetector bevat, een daarop aangesloten filmmode/videomode detector, synchronisatiemiddelen om de verwerking met de filmfase te synchroniseren en een eigenlijke filmverwerker.
Bij voorkeur is de bewegingsdetector aangesloten op een mediaanfilter met als ingangen het actuele veld en het volgende veld van de videobeelden, en bevat hij twee laagdoorlaatfilters waarvan de ene op de uitgang van de mediaanfilter aansluit en waarvan de andere als ingang de informatie van het volgende binnenkomende veld heeft, een differentiator die op de twee laagdoorlaatfilters aansluit om het verschil tussen de uitgangen ervan te berekenen, een op deze differentiator aangesloten sommator, en een op deze sommator aangesloten teller, een daarop aangesloten comparator voor het vergelijken van de uitgang van de teller met een drempelwaarde.
Bij voorkeur bevat de filmmode/videomode detector een schuifregister waarin het resultaat van de comparator over een aantal velden opgeslagen wordt zodat kan vergeleken worden met een patroon eigen aan een bepaalde mode.
<Desc/Clms Page number 4>
De inrichting kan middelen bevatten om doubling toe te passen, middelen om quadrupling toe te passen en een veldfrequentieomvormer van 50 of 60 Hz naar 100 of 120 Hz.
Met het inzicht de kenmerken van de uitvinding beter aan te tonen, zijn hierna, als voorbeeld zonder enige beperking, voorkeurdragende uitvoeringsvormen van een werkwijze en inrichting voor videoverwerking volgens de uitvinding beschreven met verwijzing naar de bijgaande figuren, waarin : figuur 1 een blokschema weergeeft van een inrichting gebruikt voor het toepassen van de werkwijze volgens de uitvinding ; figuur 2 schematisch de 2 : 2 pull down omzetting en verwerking weergeeft ; figuur 3 schematisch de bewegingssequentie weergeeft tussen de velden bij 2 : 2 pull down bewerkte film ; figuur 4 schematisch de 3 : 2 pull down omzetting en verwerking weergeeft ; figuur 5 schematisch de bewegingssequentie weergeeft tussen de velden bij 3 : 2 pull down bewerkte film.
Uitgaande van interliniërende video met 525 lijnen op 60 Hz of 625 lijnen op 50 Hz, wordt in de eerste plaats de interliniëring verwijderd en wordt dus de video eerst omgezet naar niet geinterlinieerde video.
Hiertoe wordt gebruik gemaakt van een bekende of progressieve scantechniek waarbij een drie-puntsmediaan verkregen met behulp van een mediaanfilter 1 de bewegingscompensatie verricht.
Bij geinterlinieerd video bestaat elk raster uit twee velden ("fields") waarbij opeenvolgende even en oneven
<Desc/Clms Page number 5>
velden een halve lijn ten opzichte van elkaar verschoven zijn. De drie-puntsmediaan heeft als ingang de verticaal onderliggende pixels van twee opeenvolgende lijnen uit het actuele veld dat via 1A binnenkomt en de verticaal onderliggende pixel van de tussenliggende lijn van het volgende veld dat via 1B binnenkomt.
Het resultaat van de mediaanbewerking, gecombineerd met de originele lijnen van het actuele beeld, geeft een bewegingsgecompenseerd beeld van 625 of 525 lijnen niet geinterlinieerd en 50/60 Hz.
Het resultaat van de mediaanfilter 1 wordt opgeslagen in een geheugenbank (displaybank) 2 die bestaat uit twee beeldfifo's 3 en 4 die tussenliggend (geïnterleaved) geschreven worden. De even pixels gaan in fifo 3, de oneven pixels in fifo 4.
Doubling" is het constant uitlezen van de displaybank 2 aan de normale snelheid.
Na. verwijdering van de interliniëring wordt een stabiel beeld zonder lijnflikkering verkregen. Om een zo optimaal mogelijke fosfordekking te verkrijgen op CRT gebaseerde schermsystemen, wordt nog een quadrupling techniek toegepast.
Simultaan aan de berekening van de mediaan in de mediaanfilter 1 worden verticaal tussenliggende pixels berekend via verticale lineaire interpolatie in de interpolator 5 die via 5A op de uitgang van de mediaanfilter 1 aansluit. Opnieuw worden 625/525 lijnen niet geinterlinieerd 50/60 Hz verkregen.
<Desc/Clms Page number 6>
Het resultaat van deze interpolatie wordt opgeslagen in een geheugenbank (displaybank) 6 die zoals de hogergenoemde uit twee beeldfifo's 7 en 8 bestaat die tussenliggend (geinterleaved) geschreven worden. De even pixels gaan in fifo 7, de oneven pixels in fifo 8.
Om tot een gequadrupled beeld te komen wordt afwisselend een lijn van de displaybank 2 en een lijn van de displaybank 6 gelezen door een geheugenbesturing of geheugencontroller 9, waarbij het resultaat naar een digitaal naar analoog omvormer 10 gestuurd wordt.
Elke lijn bestaat uit 1024 pixels, 512 even pixels uit fifo 3 of 7 en 512 oneven pixels uit fifo 4 of 8 die geinterleaved en in de correcte pixelfase worden uitgelezen. Uiteindelijk wordt een totaalbeeld van 1250 of 1050 lijnen niet geinterlinieerd, bij een lijnfrequentie van 64 kHz en een rasterfrequentie van 50 resp. 60 Hz verkregen.
Om de vlakflikkering eigen aan lage rasterfrequenties van 50 - of 60 Hz onzichtbaar te maken wordt daarenboven overgegaan tot een veldfrequentieverhoging of zogenoemde "field rate upconvers ion 11 waarbij de frequentie verhoogd wordt tot 100 of 120 Hz.
In een eerste uitvoeringsvorm worden de lijnen van de voornoemde displaybank 2 door de geheugencontroller 9 tweemaal na elkaar en tweemaal zo snel uitgelezen dan normaal en dus met een frequentie van 100 of 120 Hz in plaats van 50 of 60 Hz waarbij een beeld gevormd wordt met 625 resp. 525 lijnen niet geinterlinieerd weergegeven bij dubbele rasterfrequentie. De lijnfrequentie bedraagt dan 64 kHz.
<Desc/Clms Page number 7>
Om het voordeel van de betere fosforvulling te behouden, zou naar een lijnfrequentie van 128 kHz moeten overgegaan worden, wat voor de meeste displaytoestellen niet haalbaar is. Om dit op te lossen wordt in een tweede uitvoeringsvorm door de geheugencontroller 9 eerst de volledige inhoud van de displaybank 2 met een tweemaal zo hoge snelheid dan normaal uitgelezen en vervolgens met een tweemaal zo hoge snelheid dan normaal de volledige inhoud van de displaybank 6 uitgelezen. Gezien beide displaybanken 2 en 6 afwisselend met een tweemaal zo hoge snelheid uitgelezen worden, zal opnieuw een resulterende veldfrequentie van 100 of 120 Hz verkregen worden.
Aangezien de inhoud van de displaybank 2 spatiaal verschillend is van de inhoud van de displaybank 6, moet er voor gezorgd worden dat de data van beide displaybanken 2 en 6, die temporeel wel met elkaar overeenstemmen, niet op dezelfde positie op het scherm geschreven worden. Om een correcte interliniëring op 100 of 120 Hz te maken, wordt dan de uitgaande verticale rasterpuls (100/120 Hz) om het andere raster een halve 64 kHz lijn opgeschoven.
Door de interliniëring komt de informatie van de ene displaybank 2 tussen de informatie van de andere displaybank 6 te liggen wat een optimale fosfordekking geeft binnen eenzelfde tijd als bij de normale quadrupling (20 ms of 16, 6 ms).
Deze beeldvorm kan omwille van de interliniëring met niet equidistante rasterpulsen in plaats van equidistante rasterpulsen enkel op toestellen gebruikt worden die deze vorm van interliniëring ondersteunen, zoals HDTV compatibele toestellen.
<Desc/Clms Page number 8>
De rasterpuls voor het tweede 100 of 120 Hz veld moet berekend worden. De lengte van het raster wordt gemeten aan de hand van het aantal 64 kHz lijnen in een origineel veld.
De tweede rasterpuls wordt in het midden tussen twee originele rasterpulsen gepositioneerd. Zonder interliniëring zouden equidistante 100 of 120 Hz rasterpulsen verkregen worden.
De veldfrequentieverhoging kan dus zowel toegepast worden op de doubling techniek als op de quadrupling techniek worden toegepast, waarbij doubling en quadrupling afzondelijk, al dan niet in combinatie met veldfrequentieverhoging kunnen worden toegepast. Bij doubling wordt de displaybank 2 constant uitgelezen aan normale snelheid, bij quadrupling wordt om de andere lijn uitgelezen van de displaybanken 2 en 6 aan normale snelheid, bij doubling en veldfrequentieverdubbeling wordt de displaybank 2 constant uitgelezen aan dubbele snelheid terwijl bij quadrupling en veldfrequentieverdubbeling afwisselend volledige velden uitgelezen worden van de displaybanken 2 en 6 aan dubbele snelheid met daarna een interliniëring op de rasterpuls.
Benevens de video mode, dit zijn normale video opnames waarbij tussen elk veld (20 of 16, 6 ms periode) beweging kan ontstaan, kan de inrichting andere mode transmissies verwerken zoals ook filmmode of afgeleiden daarvan zoals video editing mode transmissies, waarbij een menging wordt gemaakt van normale video beelden met filmmodebeelden, en film editing mode, waarbij de inbreng of input volledig uit filmmodebeelden bestaat maar de correcte sequentie zoek is.
Filmmode kan voorkomen als zogenoemde"2 : 2 pull down", waarbij 24 filmbeelden per seconde omgezet worden naar PAL
<Desc/Clms Page number 9>
50 Hz met 50 beelden per seconde of 30 filmbeelden per seconde omgezet worden naar NTSC 60 Hz met 60 beelden per seconde, of als zogenoemde"3 : 2 pull down", waarbij 24 filmbeelden per seconde omgezet worden naar NTSC 60 Hz en dus 60 beelden per seconde.
Bij"2 : 2 pull down" wordt, om de film te kunnen uitzenden in de PAL transmissiestandaard, deze film iets versneld naar 25 beelden per seconde, waarna elk filmbeeld of frame opgesplitst wordt in een even en een oneven beeld of veld, zodat twee velden A en B of C en D of E en F enz. verkregen worden die bij elkaar horen en zieh temporeel op dezelfde positie bevinden maar spatiaal op een andere plaats gelegen zijn, namelijk verticaal gezien een halve scanlijn uit elkaar gelegen zijn, zoals weergegeven in het bovenste gedeelte van figuur 2.
Elk veld A, B, C enz. bestaat uit lijnen, bij PAL 312, 5 lijnen die in figuur 2 als A, A., A enz. voor veld A, Bo, B, enz voor veld B enz. bestaan. Het originele filmbeeld kan hersteld worden door het even en oneven veld achtereenvolgens op het scherm te tonen en te interliniëren.
Ook om een film met 30 beelden per seconde in NTSC standaard te kunnen uitzenden wordt elk beeld of frame op analoge manier in een even en een oneven veld gesplitst.
Bij"3 : 2 pull down" worden, zoals weergegeven in het bovenste gedeelte van figuur 4, rasters bestaande uit een even en een oneven veld, bijvoorbeeld veld A en veld B, samengesteld uit, enerzijds, even en oneven velden van hetzelfde tijdstip, en, anderzijds, een even veld van het ene tijdstip en een oneven veld van het andere tijdstip, bijvoorbeeld uit oneven veld A, even veld A', oneven veld
<Desc/Clms Page number 10>
A, even veld B, oneven veld B'enz. zodat uiteindelijk ook tot 60 beelden per seconde gekomen wordt.
Van zes originele beeldrasters wordt overgegaan naar 15 geinterlinieerde velden. Opeenvolgend worden drie beelden of rasters gesplitst in een even en oneven veld verkregen, gevolgd door twee gesplitste rasters met een even veld van een beeld en een oneven beeld van een ander beeld, hetgeen er op neer komt dat er elke vijf opeenvolgende velden één veld wordt herhaald.
Filmtransmissies en dus 2 : 2 en 3 : 2 pull down beelden zullen mits correcte detectie en verwerking kwalitatief veel betere resultaten opleveren dan normale videobeelden.
Bij het hoger beschreven de-interliniëren, wordt gebruik gemaakt van een mediaanfilter 1 om de correcte bewegingscompensatie te verkrijgen. Een mediaanfilter heeft echter het nadeel dat hij niet goed overweg kan met diagonaal bewegende lijnen, waardoor trapjes of kartelingen, zogenoemde"jaggies"ontstaan op de diagonalen.
Dit is een zeer storend effect dat des te meer opvalt bij filmtransmissies in 2 : 2 of 3 : 2 pull down vorm.
Om dit effect sterk te verminderen bij filmtransmissies, moet het de-interliniëren zonder mediaanfilter geschieden.
Daarom wordt in de eerste plaats met een bewegingsdetector 11 gedetecteerd tussen welke velden er zich beweging voordoet en tussen welke velden zich absoluut geen beweging voordoet.
<Desc/Clms Page number 11>
Dit geschiedt door het waarnemen van correlaties tussen deze velden.
Hiertoe wordt als eerste stap een prefiltering uitgevoerd.
Opeenvolgende velden A (met lijnen AO'Al A-enz.) en B (met lijnen B, B, enz) die eventueel bij elkaar horen komen wel uit eenzelfde tijdstip, maar zijn doordat het beeld verticaal opgesplitst werd bij de omzetting van film naar videotransmissie, spatiaal verschillend.
Bijgevolg mag niet de pixel x uit de lijn AO met de pixel x uit de lijn BO vergeleken worden omdat deze spatiaal uit elkaar liggen, maar zal het resultaat van voornoemde mediaanfilter 1, namelijk de mediaan van pixel x van AO' A, en B0 vergeleken worden met de pixel x uit de lijn BO aangezien deze mediaan spatiaal samenvalt met pixel x uit lijn Bow Hierdoor wordt reeds een eerste verbetering verkregen om eventuele correlatie te kunnen vinden tussen een veld A en een-veld B.
Het resultaat van de mediaanfilter 1, enerzijds, en de via 12 binnenkomende informatie van het volgende veld, anderzijds, worden elk gefilterd met een laagdoorlaatfilter 13 of 14 (low pass filter), bijvoorbeeld een relatief goedkope recursieffilter die doorlopend het gemiddelde maakt over een aantal opeenvolgende pixels, bijvoorbeeld 32 volgens de vergelijking :
EMI11.1
("oud-'oud nieuw)- De bewegingscorrelatie wordt uitgevoerd op de lage frequenties en niet op scherpe overgangen of details om
<Desc/Clms Page number 12>
niet te sterk afhankelijk te zijn van de netto bandbreedte van het ingangsignaal en van de eventuele fouten van de mediaanfilter 1.
Vervolgens wordt per beeldpunt in de differentiator 15 het absolute verschil berekend tussen het resultaat van de laagdoorlaatfilter 13 voor het resultaat van de mediaanfilter en de laagdoorlaatfilter 14 voor het binnenkomende volgende beeld.
De opeenvolgende absolute verschillen worden in de sommator 16 gesommeerd en telkens zieh een overflow voordoet van
EMI12.1
Q bijvoorbeeld of 512 wordt de erop aangesloten teller 17 geincrementeerd. Dit komt er op neer dat de totale som van de absolute verschillen door bijvoorbeeld 512 wordt gedeeld om het eindgetal te beperken in grootte.
Dit proces wordt uitgevoerd over een volledig veld, maar bij voorkeur tevens beperkt of gesleuteld door zogenoemde "windowing"van een bepaalde startlijn tot een bepaalde stoplijn en van een bepaalde startpixel tot een bepaalde stoppixel.
Op het einde van elk veld wordt aan de uitgang van de teller 17 een getal verkregen dat in principe de mate van beweging tussen twee opeenvolgende videovelden aangeeft.
In een derde stap wordt een relevante maatstaf gedefinieerd voor de bepaling of er nu beweging of stilstand is.
Bij de beweging van heldere beelden zal het resultaat van de som van de absolute verschillen tussen twee opeenvolgende velden gemiddeld hoger liggen dan bij donkere velden. Bijgevolg wordt in de berekening van de
<Desc/Clms Page number 13>
drempelwaarde voor de maatstaf van beweging rekening gehouden met de luminantiewaarde van het actuele verwerkte beeld.
Tegelijk met de som van de absolute verschillen wordt dus ook de totale som van de luminanties berekend. Als drempelwaarde voor beweging wordt een proefondervindelijk bepaalde fractie van de som van de luminantiewaarden gebruikt, bijvoorbeeld 1/64ste. Afhankelijk van de actuele bewerking kan deze drempelwaarde verdubbeld of gehalveerd worden.
Wanneer er zieh kleine details in het ene beeld of veld bevinden die zieh verplaatsen naar het volgende beeld, bijvoorbeeld ruis of detailstructuren, kan dit een verstorend effect hebben op het resultaat van de bewegingsdetectie.
Wanneer de drempelwaarde te laag uitvalt, kan dit bij actuele stilstand tussen de opeenvolgende beelden of velden toch beweging als resultaat geven, wat onjuist is. Om deze reden wordt deze informatie uitgefilterd met voornoemde laagdoorlaatfilters 13 en 14 in de prefiltering.
In zoverre een flankenverbetering (zogenoemde "edge boost") zoals verder zal omschreven worden, toegepast wordt vooraleer de bewegingsdetectie plaatsvindt, hetgeen om architecturale redenen vereist kan zijn bij quadrupling, kunnen details of fijne structuren toch een significante rol gaan spelen in de bepaling van de drempelwaarde zodat bij de berekening van deze drempelwaarde met de stand van het toestel voor flankenverbetering moet rekening gehouden worden. Hoe sterker de flankenverbetering (hoe hoger de "edge boost"), hoe hoger de uiteindelijke drempelwaarde.
<Desc/Clms Page number 14>
Deze bijkomende aanpassing van de drempelwaarde als compensatie voor de flankenverbetering wordt simultaan op de nominale waarde, bijvoorbeeld l/64ste van de luminantiewaarde, het dubbele en de helft daarvan uitgevoerd.
Vervolgens wordt de drempelwaarde aangepast aan de verwerkingsmanier ("processing mode").
Is deze verwerkingsmanier de detectiemode met continue monitoring van de binnenkomende data, dan wordt de bewegingsdetectie op nominale gevoeligheid, bijvoorbeeld 1/64ste van de luminantiewaarde, geplaatst.
In het geval één of andere filmmode werd gedetecteerd en de bewerking daaraan aangepast werd, wordt de bewegingsdetectie op lage gevoeligheid, bijvoorbeeld het dubbele van de nominale drempelwaarde, geplaatst.
Bij een derde manier of mode, de film resynchronisatie manier ("film resync mode 11 genoemd) waarbij het systeem zich nog in filmmode bevindt, maar de bewegingsdetectie eenmalig een foute filmfase vastgesteld heeft, valt de bewerking terug in standaard mediaanverwerking en wordt de bewegingsdetectie op hoge gevoeligheid, bijvoorbeeld de helft van de nominale drempelwaarde geplaatst opdat een snelle detectie zou mogelijk worden.
Voornoemde drempelwaarde voor beweging wordt op het einde van elk veld bepaald.
De eigenlijke filmmode/video detectie geschiedt dan als volgt :
<Desc/Clms Page number 15>
Wanneer voornoemde resultaat van de teller 17 hoger is dan deze drempelwaarde is er beweging tussen de opeenvolgende velden en zal een op de teller 17 aangesloten comparator 18 van de bewegingsdetector 11 een logische "1" genereren die binnengeklokt wordt in een schuifregister 19.
Wanneer daarentegen voornoemde som lager is dan de drempelwaarde, dan is er correlatie of geen beweging en zal de comparator 18 van bewegingsdetector 11 een logische"0" detecteren die eveneens in dit schuifregister 19 ingevoerd wordt.
Het schuifregister 19 is een aantal bits, bijvoorbeeld elf bits, lang hetgeen betekent dat de historiek van de bewegingsdetector 11 over een aantal, bijvoorbeeld elf velden kan gemeten worden.
Bij de filmmode/video detectie wordt door een detector 20 de sequentie van het schuifregister 19 afgetast naar een bepaald patroon dat eigen is aan de diverse manieren of modes.
De uitgang van de detector 20 is via 20A op de comparator 18 aangesloten voor de terugkoppeling van de drempelwaarde die in feite in deze detector 20 bepaald wordt.
Bij beweging in het geval van zogenoemde 2 : 2 pull down bewerkte film, waarbij dus een film met 24 beelden per seconde omgezet werd naar 50 beelden per seconde in PAL transmissiestaandaard 50 Hz of een film met 30 beelden per seconde omgzet werd naar 60 beelden per seconde in NTSC 60 Hz, zal de bewegingssequentie 0101010101... zijn zoals weergegeven in figuur 3.
<Desc/Clms Page number 16>
Wanneer de detector 20 dus een 01010101.. sequentie waarneemt zal besloten worden dat er een"2 : 2 pull down mode"aanwezig is.
Bij beweging in het geval van zogenoemde 3 : 2 pull down bewerkte film, waarbij dus een film met 24 beelden per seconde omgezet werd naar 60 beelden per seconde in NTSC 60 Hz, zal de bewegingssequentie 1010010100101... zijn, zoals weergegeven in figuur 5, zodat wanneer de detector 20 deze sequentie waarneemt zal besloten worden dat er een"3 : 2 pull down mode"aanwezig is.
Wanneer de detector 20 een bewegingsfrequentie 1111111 waarneemt dan wordt aangenomen dat er gewone video aanwezig is dat via de standaard mediaanfiltering moet bewerkt worden.
Het systeem maakt bij detectie van een 2 : 2 of 3 : 2"pull down mode de filmmode indicatie hoog, hetgeen betekent dat de bewegingsdetector 11 in de ongevoelige wijze moet worden geplaatst en dat de verwerkingssynchronisatie moet worden gestart. De detectielengte van de bewegingsdetectie wordt ook omgeschakeld naar een kortere woordlengte van bijvoorbeeld zes bits in plaats van elf bits.
Voornoemde verwerkingssynchronisatie is nodig om bij detectie van de bewegingssequenties horende bij 2 : 2 of 2 : 3 "pull down mode" het verwerken van de data in de correcte fase te doen verlopen.
De mediaanfilter 1 wordt voor de verwerking uitgeschakeld en samenhorende velden worden samengevoegd (gemerged) en het samengevoegde beeld wordt herhaald zoals verder in detail zal worden uiteengezet.
<Desc/Clms Page number 17>
Voor deze synchronisatie bevat de inrichting een synchronisator 21 met twee oscillerende schuifregisters waarvan de ene, hierna genoemd"3 : 2 pull down syncer"22, de sequentie 10100 maakt en oneindig herhaalt of met andere woorden continu de 3 : 2 pull down verwerkingssequentie maakt, en de andere, hierna genoemd"2 : 2 pull down syncer" 23 de sequentie 01 maakt en herhaalt of met andere woorden continu de 2 : 2 pull down verwerkingssequentie maakt.
De uitgang van de synchronisator 21 sluit via 21A op voornoemde geheugencontroller 9 aan.
Wanneer een van voornoemde filmmodes door de detector 20 gedetecteerd wordt, wordt de betreffende pull down syncer 22 of 23 gesynchroniseerd door een synchronisatiepuls komende van de filmmode/video detectie, bijvoorbeeld van de detector 20. Vanaf dat ogenblik wordt de verwerking onderworpen aan de ingeschakelde syncer 22 of 23 die dan ook volledig synchroon met de binnenkomende filmfase loopt.
De ingeschakelde syncer 22 of 23 doet tevens dienst als monitorreferentie voor de filmmode/video detectie. Wanneer de syncer 22 of 23 een nul afgeeft, en de detector 20 geeft een af, dan is er een fout geslopen in de filmfase (storing in de videobron, teveel verticale aan/uit structuren, situatie van video editing, fout gemonteerde"cue flashes" enz). In dergelijke situatie zal de inrichting in filmresyncmode gaan, waarbij de bewegingsdetector 11 op zeer gevoelig geplaatst wordt, en de verwerking voorlopig terug omgeschakeld wordt naar mediaanfiltering.
Voor deze foutdetectie van de filmfase is de uitgang van de synchronisator 21 via 21B teruggekoppeld naar de detector 20.
<Desc/Clms Page number 18>
Deze maatregelen maken dat zelfs wanneer de beweging klein en ook de tijd van bewegen kort is, er toch een grote kans is om de nieuwe filmfase snel terug te vinden. Indien er teveel beweging is, zal de bewegingsdetector 11 verzadigd worden, en bestaat er een kans dat de inrichting geen onderscheid meer kan maken tussen filmmode en videomode.
De inrichting zal dan omschakelen naar normale videomode, dit is normale mediaanfiltering, en zal terug naar filmmode beginnen zoeken met een elf bit woordlengte voor de historiek van de bewegingsdetector 11 en een nominale gevoeligheid. Vanuit deze positie zal bij voldoende beweging relatief snel terug de correcte filmfase gevonden worden. Het omschakelen van gevoeligheid van de bewegingsdetector 11 kan via een interface uitgeschakeld worden. Er is dan keuze uit drie vaste instellingen van de gevoeligheid.
De eigenlijke filmbewerking geschiedt als volgt :
EMI18.1
Een nul naar één overgang van de bewegingsdetector 11 betekent dat er beweging gedetecteerd is tussen de opeenvolgende velden. Een één naar één overgang betekent continue beweging tussen de opeenvolgende velden. Een nul naar nul overgang betekent stilstand tussen de opeenvolgende velden. Een één naar nul overgang betekent een overgang van beweging naar stilstand tussen de opeenvolgende velden.
Als de correcte filmmode gevonden is en de syncer 22 of 23 is in de correcte fase, dan moet er, wanneer de uitgang van de syncer 22 of 23 één is, samenvoeging (merging) plaatsvinden van de opeenvolgende velden, terwijl, wanneer de uitgang van de syncer 22 of 23 nul is, er herhaling van het
<Desc/Clms Page number 19>
samengevoegde beeld moet plaatsgrijpen, zoals schematisch aangeduid is in het onderste gedeelte van figuur 2 voor de 2 : 2 pull down of in het onderste gedeelte van figuur 4 voor de 3 : 2 pull down.
Bij 2 : 2 pull down worden de velden A en B, C en D enz. samengevoegd waarbij de lijn BO tussen de lijnen AO en A. wordt ingebracht, de lijn B1 tussen de lijnen A- en A2 enz.. De samengevoegde velden worden telkens éénmaal herhaald zoals weergegeven door pijlen onderaan in figuur 2.
Bij 3 : 2 pull down worden de velden A en A', B en B'enz samengevoegd, waarbij de lijn A'0 tussen de lijnen Ao en A-wordt ingebracht, de lijn A'-tussen de lijnen A. en A2 enz.. De samengevoegde velden worden telkens tweemaal of éénmaal herhaald zoals weergegeven door pijlen onderaan in figuur 4.
Waar in normale videomode het resultaat van de mediaanfilter 1 gecombineerd wordt met de originele lijnen van- het actuele veld, worden nu via 21A en de geheugencontroller 9 de lijnen van het actuele veld gecombineerd met de originele lijnen van het volgend veld zodat er een beeld ontstaat van 625 of 525 lijnen dat gewoon de samenvoeging is van het even en oneven veld uit een zelfde beeld van de film.
Tussen de opeenvolgende lijnen wordt dus niet de mediaan ingebracht maar de lijn van een volgend veld. Bij 2 : 2 pull down wordt dus bijvoorbeeld tussen de lijnen AO en A- de lijn B ingebracht zoals weergegeven in figuur 2, en bij 3 : 2 pull down wordt, zoals weergegeven in figuur 4,
<Desc/Clms Page number 20>
EMI20.1
bijvoorbeeld tussen de lijnen AO en Al, lijn ingebracht.
In het geval van filmmode wordt dus de mediaanfilter l enkel gebruikt om te meten maar niet voor de verwerking.
Dit resultaat van de samenvoeging wordt naar de displaybank 2 gestuurd.
Voornoemde informatie wordt ook via de mediaanfilter 1 naar de interpolator 5 gestuurd zodat de interpolatie ook op de samengevoegde velden geschiedt. Het resulaat van de interpolatie wordt naar de displaybank 6 gestuurd.
De displaybanken 2 en 6 worden uitgelezen zoals hoger beschreven werd.
De herhaling van de samengevoegde velden, die onderaan in de figuren 2 en 4 door pijlen is weergegeven, gebeurt door te verhinderen dat er geschreven wordt naar de displaybanken 2 en 6, zodat bij het uitlezen van deze displaybanken 2 en 6 dezelfde zogenoemde "oude" informatie uitgelezen wordt.
De bij elkaar horende even en oneven velden afkomstig uit een zelfde filmbeeld, worden opnieuw samengevoegd, tot het originele filmbeeld verkregen wordt en dit beeld wordt herhaald tot terug een volgend origineel filmbeeld kan geconstrueerd worden door middel van voornoemde samenvoeging.
Zoals reeds eerder vermeld kunnen de flanken en de details van de videobeelden selectief verbeterd worden door een zogenoemde "edge boost".
<Desc/Clms Page number 21>
Een dergelijke verbetering wordt uitgevoerd op het inkomende signaal door middel van twee faselineaire "Finite impuls response" of FIR filters met een coëfficiëntensom van 0, waarbij de ene een banddoorlaatfilter is met de coëfficiënten -1 0 2 0 -1 en de andere een hoogdoorlaatfilter met de coëfficiënten -1 2 - l. De sample frequentie is 16 MHz.
De resultaten van beide filters worden samengevoegd en op schaal gebracht, bijvoorbeeld gedeeld of vermenigvuldigd, en aan het originele videosignaal toegevoegd. Beide filters bezitten bijvoorbeeld acht standen. Hierdoor kunnen diverse combinaties van beide filters gemaakt worden.
Indien te grote flanken gedetecteerd worden kan het filtereffect eventueel afgezwakt worden om vastlopen te vermijden.
De uitvinding is geenszins beperkt tot de hiervoor beschreven en in de figuren weergegeven uitvoeringsvormen, doch dergelijke werkwijze en inrichting voor videobewerking kan-in verschillende varianten worden verwezenlijkt zonder buiten het kader van de uitvinding te treden.
<Desc / Clms Page number 1>
Method and device for video processing. This invention relates to a video processing method, in which any movement between successive fields of the even and odd split images is detected and the mode, namely video mode or movie mode, is determined.
More particularly, the invention relates to the processing of video signals from a video tape, a DVD, a laser disc, a tuner, etc., and thus from standard PAL, SECAM and NTSC video signals.
In particular, in movie mode, either so-called "2: 2 pull down" or so-called "3: 2 pull down", where the movie images are split into odd and even fields, the quality of the image on the screen can have disturbing effects when these signals are processed in the classical manner, it is known to determine via motion detection between successive fields according to which mode the current video signal was converted and then specifically process the film mode signals further.
In known methods, the motion detection takes place by detecting the possible movement of the flanks of the fields, which means that many details in a field will be intervened quickly. This requires many tools such as a battery of correlators.
The application of these known methods thus requires a relatively expensive and bulky device.
<Desc / Clms Page number 2>
The object of the invention is a method for video processing which avoids these and other drawbacks and which, also in film mode, can display a good quality image on the screen, and this with a relatively inexpensive device which can be made compact.
This object is achieved according to the invention in that the sequence of movement and standstill between successive fields is detected and this sequence is stored in a memory over a number of fields, after which this sequence is compared with patterns specific to the mode, and, when ordinary video mode is detected. , median filtering is performed, while when movie mode (2: 2 pull down or 3: 2 pull down) is detected, median filtering is turned off and, in synchronization with the film phase, the associated even and odd fields from the same film image, are reassembled until the original film image is obtained and this image is repeated until a subsequent original film image can be constructed again by means of the aforementioned joining.
The motion detection, which is the detection of the aforementioned sequence of motion and standstill, can be performed by a three-point median filtering, after which the result of this median filtering and the incoming information from a next field are filtered by two low-pass filters, the absolute difference of the result of these two low-pass filters are calculated and the differences are summed whereby the sum, possibly divided by a number, is compared with a threshold value. The result of this comparison, the aforementioned memorized sequence of movement and standstill between successive fields.
<Desc / Clms Page number 3>
The video signals to be processed are preferably subjected to a doubling, and preferably also a quadrupling, and preferably also a field frequency doubling.
The invention also relates to a device which is particularly suitable for applying the method according to one of the previous embodiments.
The invention thus relates to a device comprising a motion detector, a film / video mode detector connected thereto, synchronizing means for synchronizing the processing with the film phase and an actual film processor.
The motion detector is preferably connected to a median filter with the current field and the next field of the video images as inputs, and it contains two low-pass filters, one of which connects to the output of the median filter and the other of which has the input of the next incoming input. field, a differentiator that connects to the two low-pass filters to calculate the difference between its outputs, a summator connected to this differentiator, and a counter connected to this summator, a comparator connected to it for comparing the output of the counter with a threshold value.
Preferably, the film mode / video mode detector contains a shift register in which the result of the comparator is stored over a number of fields, so that it can be compared with a pattern specific to a certain mode.
<Desc / Clms Page number 4>
The device may include means for applying doubling, means for applying quadrupling, and a field frequency converter from 50 or 60 Hz to 100 or 120 Hz.
With the insight to better demonstrate the features of the invention, preferred embodiments of a method and apparatus for video processing according to the invention are described below, by way of example without limitation, with reference to the accompanying figures, in which: figure 1 shows a block diagram of an apparatus used for applying the method according to the invention; figure 2 schematically represents the 2: 2 pull down conversion and processing; Figure 3 schematically represents the motion sequence between the fields in 2: 2 pull down edited film; figure 4 schematically represents the 3: 2 pull down conversion and processing; Figure 5 schematically shows the motion sequence between the fields in 3: 2 pull down edited film.
Assuming interlacing video with 525 lines at 60 Hz or 625 lines at 50 Hz, the interlacing is firstly removed and thus the video is first converted to uninterlaced video.
To this end, use is made of a known or progressive scanning technique in which a three-point median obtained with the aid of a median filter 1 performs the movement compensation.
In interlaced video, each grid consists of two fields ("fields") with consecutive even and odd
<Desc / Clms Page number 5>
fields are shifted half a line from each other. The three-point median has the input of the vertically underlying pixels of two consecutive lines from the current field entering via 1A and the vertically underlying pixel of the intermediate line of the next field entering via 1B.
The result of the median operation, combined with the original lines of the current image, produces a motion compensated image of 625 or 525 lines uninterlaced and 50/60 Hz.
The result of the median filter 1 is stored in a memory bank (display bank) 2 which consists of two image phifs 3 and 4 which are written in-between (interleaved). The even pixels go into fifo 3, the odd pixels go into fifo 4.
Doubling "is the constant reading of display bank 2 at normal speed.
After. removal of the interlacing produces a stable image without line flicker. In order to obtain the best possible phosphor coverage on CRT-based screen systems, another quadrupling technique is used.
Simultaneously with the calculation of the median in the median filter 1, vertically intermediate pixels are calculated via vertical linear interpolation in the interpolator 5 which connects via 5A to the output of the median filter 1. Again, 625/525 lines non-interlaced 50/60 Hz are obtained.
<Desc / Clms Page number 6>
The result of this interpolation is stored in a memory bank (display bank) 6 which, like the aforementioned, consists of two image phifs 7 and 8 which are written in-between (interleaved). The even pixels go into fifo 7, the odd pixels go into fifo 8.
In order to arrive at a quadrupled image, a line from the display bank 2 and a line from the display bank 6 are alternately read by a memory controller or memory controller 9, the result being sent to a digital to analog converter 10.
Each line consists of 1024 pixels, 512 even pixels from fifo 3 or 7 and 512 odd pixels from fifo 4 or 8 that are interleaved and read in the correct pixel phase. Ultimately, an overall picture of 1250 or 1050 lines is not interlaced, at a line frequency of 64 kHz and a frame frequency of 50 and 50 resp. 60 Hz obtained.
In addition, to make the surface flicker inherent in low grid frequencies of 50 - or 60 Hz invisible, a field frequency increase or so-called "field rate upconversion 11" has been carried out, whereby the frequency is increased to 100 or 120 Hz.
In a first embodiment, the lines of the aforementioned display bank 2 are read by the memory controller 9 twice in succession and twice as fast as normal and thus at a frequency of 100 or 120 Hz instead of 50 or 60 Hz, whereby an image is formed with 625 resp. 525 lines not interlaced at double raster frequency. The line frequency is then 64 kHz.
<Desc / Clms Page number 7>
In order to maintain the advantage of the better phosphor filling, a line frequency of 128 kHz should be switched, which is not feasible for most display devices. To solve this, in a second embodiment, the memory controller 9 first reads the entire contents of the display bank 2 at twice the speed than usual and then reads the entire contents of the display bank 6 at twice the speed. Since both display banks 2 and 6 are alternately read at twice the speed, a resulting field frequency of 100 or 120 Hz will again be obtained.
Since the content of the display bank 2 is spatially different from the content of the display bank 6, it must be ensured that the data of both display banks 2 and 6, which temporally correspond with each other, are not written in the same position on the screen. To make a correct interlacing at 100 or 120 Hz, the outgoing vertical raster pulse (100/120 Hz) is shifted half a 64 kHz line around the other raster.
Due to the interlacing, the information from one display bank 2 lies between the information from the other display bank 6, which gives an optimal phosphor coverage within the same time as with the normal quadrupling (20 ms or 16.6 ms).
Because of the interlacing with non-equidistant lattice pulses, instead of equidistant lattice pulses, this image form can only be used on devices that support this form of interlacing, such as HDTV compatible devices.
<Desc / Clms Page number 8>
The raster pulse for the second 100 or 120 Hz field must be calculated. The length of the grid is measured by the number of 64 kHz lines in an original field.
The second grating pulse is positioned midway between two original grating pulses. Without interlacing, equidistant 100 or 120 Hz screen pulses would be obtained.
The field frequency increase can thus be applied both to the doubling technique and to the quadrupling technique, in which doubling and quadrupling can be applied separately, whether or not in combination with field frequency increase. With doubling, the display bank 2 is constantly read at normal speed, with quadrupling every other line is read from the display banks 2 and 6 at normal speed, with doubling and field frequency doubling, the display bank 2 is constantly reading at double speed, while with quadrupling and field frequency doubling alternately fields are read from the display banks 2 and 6 at double speed with subsequent interlacing on the raster pulse.
In addition to the video mode, these are normal video recordings in which movement can occur between each field (20 or 16.6 ms period), the device can process other mode transmissions such as film mode or derivatives thereof, such as video editing mode transmissions, whereby a mixing made from normal video images with movie mode images, and film editing mode, where the input or input consists entirely of movie mode images but the correct sequence is missing.
Movie mode can appear as a so-called "2: 2 pull down", where 24 movie frames per second are converted to PAL
<Desc / Clms Page number 9>
50 Hz with 50 frames per second or 30 film frames per second are converted to NTSC 60 Hz at 60 frames per second, or as a so-called "3: 2 pull down", whereby 24 film frames per second are converted to NTSC 60 Hz and thus 60 frames per second.
In "2: 2 pull down", in order to be able to broadcast the movie in the PAL transmission standard, this movie is slightly accelerated to 25 frames per second, after which each movie frame or frame is split into an even and an odd image or field, so that two fields A and B or C and D or E and F etc. are obtained which belong together and which are temporally in the same position but are spatially different, namely vertically seen half a scan line apart, as shown in the top part of figure 2.
Each field A, B, C etc. consists of lines, at PAL 312, 5 lines which in figure 2 exist as A, A., A etc. for field A, Bo, B, etc. for field B etc. The original film image can be restored by successively showing the odd and even field on the screen and interlacing.
Also, in order to be able to broadcast a film at 30 frames per second in NTSC standard, each image or frame is split in an even and an odd field in an analogous manner.
In "3: 2 pull down", as shown in the top portion of Figure 4, grids consisting of an even and an odd field, for example, field A and field B, are composed of, on the one hand, even and odd fields of the same time, and, on the other hand, an even field from one time and an odd field from another time, for example from odd field A, even field A ', odd field
<Desc / Clms Page number 10>
A, even field B, odd field B'enz. so that ultimately also 60 images per second are achieved.
From six original image grids, it is switched to 15 interlaced fields. Sequentially, three images or grids split in an odd and even field are obtained, followed by two split grids with an even field from one image and an odd image from another image, which means that every five consecutive fields becomes one field repeated.
Film transmissions and thus 2: 2 and 3: 2 pull down images will, if correctly detected and processed, yield much better results than normal video images.
In the above-described de-interlacing, a median filter 1 is used to obtain the correct motion compensation. However, a median filter has the disadvantage that it does not work well with diagonally moving lines, resulting in steps or jaggies, so-called "jaggies" on the diagonals.
This is a very disturbing effect that is even more noticeable with film transmissions in 2: 2 or 3: 2 pull down form.
To greatly reduce this effect in film transmissions, de-interlacing must be performed without a median filter.
Therefore, in the first place, a motion detector 11 detects between which fields movement is occurring and between which fields absolutely no movement is occurring.
<Desc / Clms Page number 11>
This is done by observing correlations between these fields.
A prefilter is performed as the first step for this purpose.
Consecutive fields A (with lines A0'Al A-etc.) and B (with lines B, B, etc.) that may belong together come from the same time, but are because the image was split vertically when converting from film to video transmission, spatially different.
Consequently, the pixel x from the line A0 should not be compared with the pixel x from the line BO because they are spaced apart, but the result of said median filter 1, namely the median of pixel x of A0 'A, and B0 will be compared with the pixel x from the line BO since this median coincides spatially with pixel x from the line Bow. This already yields a first improvement in order to find any correlation between a field A and a field B.
The result of the median filter 1, on the one hand, and the information coming in from the next field via 12, on the other hand, are each filtered with a low-pass filter 13 or 14 (low pass filter), for example a relatively inexpensive recursion filter that continuously averages over a number of successive pixels, for example 32 according to the equation:
EMI11.1
("old-old new") - The motion correlation is performed on the low frequencies and not on sharp transitions or details to
<Desc / Clms Page number 12>
not be too dependent on the net bandwidth of the input signal and any errors of the median filter 1.
Then, per pixel in the differentiator 15, the absolute difference is calculated between the result of the low-pass filter 13 for the result of the median filter and the low-pass filter 14 for the incoming next image.
The consecutive absolute differences are summed in the summator 16 and each time an overflow of
EMI12.1
For example, Q or 512, the counter 17 connected thereto is incremented. This boils down to dividing the total sum of the absolute differences by, for example, 512 to limit the final number in size.
This process is performed over an entire field, but preferably also limited or scrambled by so-called "windowing" of a certain start line to a certain stop line and from a certain start pixel to a certain stop pixel.
At the end of each field, a number is obtained at the output of the counter 17, which in principle indicates the degree of movement between two consecutive video fields.
In a third step, a relevant measure is defined for determining whether there is movement or standstill.
In the movement of clear images, the result of the sum of the absolute differences between two consecutive fields will on average be higher than in dark fields. Consequently, in the calculation of the
<Desc / Clms Page number 13>
threshold for the measure of motion taking into account the luminance value of the current processed image.
The total sum of the luminances is therefore calculated simultaneously with the sum of the absolute differences. The threshold value for movement is an experimentally determined fraction of the sum of the luminance values, for example 1 / 64th. Depending on the current operation, this threshold can be doubled or halved.
When there are small details in one image or field that move to the next image, for example noise or detail structures, this can have a disruptive effect on the result of the motion detection.
If the threshold value falls too low, this can still result in movement when the stationary images or fields are stationary, which is incorrect. For this reason, this information is filtered out with the aforementioned low-pass filters 13 and 14 in the pre-filtering.
To the extent that an edge enhancement (so-called "edge boost") as will be described further, is applied before motion detection takes place, which may be required for architectural reasons in quadrupling, details or fine structures may still play a significant role in determining the threshold value so that the position of the edge enhancement device must be taken into account when calculating this threshold value. The stronger the edge enhancement (the higher the "edge boost"), the higher the final threshold.
<Desc / Clms Page number 14>
This additional adjustment of the threshold value to compensate for the edge enhancement is performed simultaneously on the nominal value, for example, 1 / 64th of the luminance value, double and half thereof.
Then the threshold value is adapted to the processing mode ("processing mode").
If this processing method is the detection mode with continuous monitoring of the incoming data, the motion detection is placed at nominal sensitivity, for example 1 / 64th of the luminance value.
In case some film mode was detected and the operation adapted to it, the motion detection is set to low sensitivity, for example, double the nominal threshold.
In a third mode or mode, the film resynchronization mode (called "film resync mode 11") where the system is still in movie mode, but the motion detection has detected a single erroneous film phase once, the operation reverts to standard median processing and the motion detection is noticed high sensitivity, for example half of the nominal threshold set so that rapid detection would be possible.
The aforementioned motion threshold is determined at the end of each field.
The actual film mode / video detection then takes place as follows:
<Desc / Clms Page number 15>
When the aforementioned result of the counter 17 is higher than this threshold value, there is movement between the successive fields and a comparator 18 of the motion detector 11 connected to the counter 17 will generate a logic "1" which is clocked into a shift register 19.
On the other hand, if said sum is less than the threshold value, then there is correlation or no motion and the comparator 18 of motion detector 11 will detect a logic "0" which is also input to this shift register 19.
The shift register 19 is a number of bits, for example eleven bits, long, which means that the history of the motion detector 11 can be measured over a number of, for example, eleven fields.
In the film mode / video detection, a detector 20 scans the sequence of the shift register 19 to a specific pattern specific to the various modes or modes.
The output of the detector 20 is connected via 20A to the comparator 18 for the feedback of the threshold value actually determined in this detector 20.
When moving in the case of so-called 2: 2 pull down edited film, so a film at 24 frames per second was converted to 50 frames per second in PAL transmission standard 50 Hz or a film at 30 frames per second was converted to 60 frames per second second in NTSC 60 Hz, the motion sequence will be 0101010101 ... as shown in Figure 3.
<Desc / Clms Page number 16>
Thus, when detector 20 detects a 01010101 .. sequence, it will be decided that a "2: 2 pull down mode" is present.
When moving in the case of so-called 3: 2 pull down edited film, thus converting a film at 24 frames per second to 60 frames per second in NTSC 60 Hz, the motion sequence will be 1010010100101 ... as shown in figure 5 so that when detector 20 detects this sequence, it will be decided that a "3: 2 pull down mode" is present.
When the detector 20 detects a movement frequency 1111111, it is assumed that there is ordinary video present that must be processed through the standard median filtering.
When detecting a 2: 2 or 3: 2 "pull down mode, the system makes the movie mode indication high, which means that the motion detector 11 must be placed in the insensitive manner and the processing synchronization must be started. The detection length of the motion detection is also switched to a shorter word length of, for example, six bits instead of eleven bits.
The aforementioned processing synchronization is necessary in order to process the data in the correct phase upon detection of the motion sequences corresponding to 2: 2 or 2: 3 "pull down mode".
The median filter 1 is turned off for processing, and associated fields are merged (merged) and the merged image is repeated as will be explained in further detail.
<Desc / Clms Page number 17>
For this synchronization, the device includes a synchronizer 21 with two oscillating shift registers, one of which, hereinafter referred to as "3: 2 pull down syncer" 22, makes the sequence 10100 and repeats indefinitely or in other words continuously makes the 3: 2 pull down processing sequence, and the other, hereinafter referred to as "2: 2 pull down syncer" 23, creates and repeats sequence 01 or, in other words, continuously creates the 2: 2 pull down processing sequence.
The output of the synchronizer 21 connects via 21A to the aforementioned memory controller 9.
When one of the aforementioned film modes is detected by the detector 20, the respective pull down syncer 22 or 23 is synchronized by a synchronization pulse coming from the film mode / video detection, for example from the detector 20. From that moment on, the processing is subjected to the activated syncer 22 or 23 which is therefore completely synchronized with the incoming film phase.
The enabled syncer 22 or 23 also serves as a monitor reference for movie / video detection. When the syncer 22 or 23 gives a zero, and the detector 20 gives a zero, an error has occurred in the film phase (video source failure, too many vertical on / off structures, video editing situation, incorrectly mounted cue flashes "etc). In such a situation, the device will go into film sync mode, with the motion detector 11 being placed on very sensitive, and the processing temporarily switched back to median filtering.
For this film phase error detection, the output of synchronizer 21 is fed back to detector 20 via 21B.
<Desc / Clms Page number 18>
These measures mean that even if the movement is small and the time of movement is short, there is still a great chance of finding the new film phase quickly. If there is too much movement, the motion detector 11 will become saturated, and there is a chance that the device may no longer be able to distinguish between film mode and video mode.
The device will then switch to normal video mode, this is normal median filtering, and will start back to movie mode with an eleven bit word length for the motion detector 11 history and a nominal sensitivity. From this position, the correct film phase will be found relatively quickly with sufficient movement. Switching the sensitivity of the motion detector 11 can be switched off via an interface. There is then a choice of three fixed sensitivity settings.
The actual movie editing is done as follows:
EMI18.1
A zero to one transition of the motion detector 11 means that motion has been detected between the successive fields. A one to one transition means continuous movement between successive fields. A zero to zero transition means standstill between the consecutive fields. A one to zero transition means a transition from motion to standstill between the consecutive fields.
If the correct movie mode is found and the syncer 22 or 23 is in the correct phase, then when the output of the syncer 22 or 23 is one, the merging of the consecutive fields must occur, while, when the output of the the syncer 22 or 23 is zero, there is repetition of it
<Desc / Clms Page number 19>
merged image must take place, as schematically indicated in the lower part of figure 2 for the 2: 2 pull down or in the lower part of figure 4 for the 3: 2 pull down.
With 2: 2 pull down, fields A and B, C and D etc. are merged with line BO inserted between lines AO and A. Line B1 between lines A- and A2 etc. The merged fields are repeated once as shown by arrows at the bottom of figure 2.
At 3: 2 pull down, fields A and A ', B and B'enz are merged, with line A'0 inserted between lines Ao and A-, line A'-between lines A. and A2, etc. The merged fields are repeated twice or once as shown by arrows at the bottom of Figure 4.
Where in normal video mode the result of the median filter 1 is combined with the original lines of the current field, now via 21A and the memory controller 9 the lines of the current field are combined with the original lines of the next field so that an image is created of 625 or 525 lines that is simply the combination of the odd and even field from the same image of the film.
The median of the next field is therefore not entered between the consecutive lines, but the line of the next field. For example, at 2: 2 pull down, line B is inserted between lines A0 and A- as shown in Figure 2, and at 3: 2 pull down as shown in Figure 4,
<Desc / Clms Page number 20>
EMI20.1
for example, line inserted between lines A0 and A1.
Thus, in the case of film mode, the median filter 1 is only used for measuring but not for processing.
This result of the combining is sent to the display bank 2.
The aforementioned information is also sent via the median filter 1 to the interpolator 5, so that the interpolation also takes place on the merged fields. The result of the interpolation is sent to the display bank 6.
The display banks 2 and 6 are read as described above.
The merged fields, which are indicated by arrows at the bottom of Figures 2 and 4, are repeated by preventing writing to display banks 2 and 6, so that when reading these display banks 2 and 6 the same so-called "old" information is read.
The associated even and odd fields from the same film image are reassembled until the original film image is obtained and this image is repeated until a subsequent original film image can be constructed again by means of the aforementioned joining.
As mentioned earlier, the edges and details of the video images can be selectively improved by a so-called "edge boost".
<Desc / Clms Page number 21>
Such an improvement is performed on the incoming signal by means of two phase linear "Finite impulse response" or FIR filters with a coefficient sum of 0, one being a band-pass filter with the coefficients -1 0 2 0 -1 and the other a high-pass filter with the coefficients -1 2 - l. The sample frequency is 16 MHz.
The results of both filters are combined and scaled, for example divided or multiplied, and added to the original video signal. For example, both filters have eight positions. This allows various combinations of both filters to be made.
If too large flanks are detected, the filter effect can be attenuated to avoid jamming.
The invention is by no means limited to the embodiments described above and shown in the figures, but such a method and device for video editing can be realized in different variants without departing from the scope of the invention.