CZ21485U1 - Device for image digital correction - Google Patents

Description

Oblast technikyTechnical field

Technické řešení se týká systémů pro číslicové zpracování digitalizovaných obrazů se zaměřením na odstranění geometrických vad prostřednictvím specializovaných funkčních jednotek.The technical solution concerns systems for digital processing of digitized images with a focus on elimination of geometric defects by means of specialized functional units.

Dosavadní stav technikyBACKGROUND OF THE INVENTION

Obrazy snímané obrazovými senzory vybavenými optickými objektivy jsou většinou zatíženy geometrickými vadami zpravidla nepřímo úměmě kvalitě a ceně objektivu. Jedná se většinou o geometrické vady, např, kulovou nebo válcovou, které postihují spojitě celé pole obrazu. Digitální obraz je tvořen maticí pixelů (vzorků), z nichž každý nabývá určitou číselnou hodnotu. Tato io matice reprezentuje spojitou funkci v osách x a y. Cílem korekce je dosáhnout toho, aby pixely v matici korigovaného obrazu nabyly hodnot odpovídajících stavu snímaného objektu. K tomu je třeba vypočítat nové hodnoty jednotlivých pixelů v matici obrazu.Images captured by image sensors equipped with optical lenses are usually subject to geometric defects, usually indirectly related to the quality and cost of the lens. These are mostly geometric defects, such as spherical or cylindrical, which affect the entire field of the image continuously. A digital image is made up of a matrix of pixels (samples), each of which has a numerical value. This io matrix represents a continuous function in the x and y axes. The aim of the correction is to make the pixels in the corrected image matrix acquire values corresponding to the state of the object being scanned. To do this, you need to calculate new values for each pixel in the image matrix.

Dosud známá řešení jsou koncipována tak, že obraz je převzorkován algoritmy využívajícími tzv. FIR filtry. Jedná se např. o algoritmy výběru nej bližšího sousedního pixelů, bilineámí interpola15 cí, případně polynomiální interpolací. Kvalita převzorkování je silně závislá na použitém FIR filtru a jeho velikosti, kdy větší filtr vede zpravidla k lepším výsledkům. Větší filtr však také výrazně zvyšuje výpočetní náročnost převzorkování a cenu implementujícího zařízení, proto se obvykle používají filtry malých rozměrů. Negativním důsledkem však bývá zpravidla omezení frekvenční charakteristiky obrazového signálu v oblasti vyšších frekvencí.Previously known solutions are designed so that the image is resampled by algorithms using FIR filters. These are algorithms for selection of the nearest neighboring pixels, bilinear interpolation, or polynomial interpolation. The quality of resampling is strongly dependent on the FIR filter used and its size, where a larger filter usually results in better results. However, a larger filter also greatly increases the computational cost of upsampling and the cost of implementing equipment, so small size filters are usually used. However, a negative consequence is usually the limitation of the frequency response of the video signal in the region of higher frequencies.

Technické řešení si klade za úkol navrhnout poměrně jednoduché zařízení k provádění kvalitní digitální korekce geometrických vad obrazu.The aim of the technical solution is to design a relatively simple device for quality digital correction of image defects.

Podstata technického řešeníThe essence of the technical solution

Uvedený úkol řeší zařízení k provádění digitální korekce obrazu, jehož podstata spočívá v tom, že je tvořeno prvním bufferem propojeným obousměrně s blokem vertikálního převzorkování, jehož součástí jsou FIR filtry, napojeným na jednotku vertikální interpolace odchylek, na jehož výstupu se nachází vyrovnávací buffer propojený obousměrně s blokem horizontálního převzorkování, jehož součástí jsou FIR filtry, přičemž bloky převzorkování jsou napojeny na řídicí jednotku.The object of the present invention is to provide a digital image correction device consisting of a first buffer coupled bidirectionally to a vertical resampling block comprising FIR filters coupled to a vertical imbalance interpolation unit having a bidirectional buffer buffer output. with a horizontal oversampling block comprising FIR filters, with the oversampling blocks connected to the control unit.

Součástí bloků převzorkování jsou s výhodou Lanczosovy filtry.The resampling blocks preferably comprise Lanczos filters.

3o Přehled obrázků na výkresech3o Overview of the drawings

Technické řešení bude dále objasněno pomocí výkresů, na nichž obr. 1 názorně ukazuje postup převzorkování a obr. 2 je schéma zapojení příkladného zařízení k provádění převzorkování obrazu,BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 illustrates the resampling procedure and FIG. 2 is a circuit diagram of an exemplary image resampling apparatus;

Příklad provedení technického řešeníExample of technical solution

Východiskem je snímaný objekt, který se promítne na stínítko fotoaparátu nebo mikroskopu vytvoří na něm obraz. Stínítko je tvořeno maticí 4096 x 4096 pixelů, z nichž každý představuje vymezenou plošku schopnou samostatné komunikace, tj. přijímání a předávání hodnoty (value).The starting point is a subject that is projected onto the screen of a camera or microscope to create an image. The screen consists of a matrix of 4096 x 4096 pixels, each representing a defined area capable of communicating independently, i.e., receiving and transmitting value.

V popisovaném příkladu je touto hodnotou (value) zaznamenaný osvit, tj. odstín šedé mezi hodnotami 0 = černá a 255 = bílá. Na každý pixel matice se promítne jedna konkrétní malá ploška objektu o určité reflektanci (odrazivosti), již pák odpovídá hodnota (value) na tomto pixelů.In the example, this value is the recorded exposure, that is, the shade of gray between 0 = black and 255 = white. On each pixel of the matrix is projected one specific small area of the object with a certain reflectance (reflectance), which corresponds to the value of that pixel.

V ideálním případě by rozložení bodů/plošek na matici v osách x, y přesně odpovídalo rozložení obrazů těchto bodů/plošek na dvojrozměrném objektu v osách x, y krát měřítko. Vzhledem kIdeally, the distribution of dots / areas on the matrix in the x, y axes would exactly match the distribution of the images of those dots / areas on the two-dimensional object in the x, y-axis times the scale. Due to

- 1 CZ 21485 Ul nedokonalosti objektivu, konkrétně v popisovaném případě v důsledku kulové vady čočky objektivu, však dochází při promítnutí objektu na matici ke zkreslení obrazu. Většina bodů/plošek objektu se promítne do jiné než ideální polohy, je vůči ideální poloze posunuta do různých směrů. Plošky objektu, které by se v ideálním případě měly promítnout na určité pixely matice, se promítnou do subpixelových poloh. Nicméně takto vytvořený, byť zkreslený obraz na matici představuje spojitou funkci - v každém pixelu matice je definována hodnota (value) od 0 do 255 a obraz/funkci si lze představit jako trojrozměrný topografický model na ploše x krát y.However, lens imperfections, particularly in the present case, due to a lens lens spherical defect, result in image distortion when the object is projected onto the matrix. Most of the points / faces of the object are projected to a position other than the ideal position, offset to the ideal position in different directions. Object pads, which should ideally project to certain pixels of the matrix, are projected to sub-pixel positions. However, a distorted image on a matrix created in this way represents a continuous function - a value from 0 to 255 is defined in each pixel of the matrix and the image / function can be imagined as a three-dimensional topographic model on an area x times y.

Vstupním údajem pro přepočet hodnoty každého pixelu je údaj o posunutí / odchylce obrazu, ke které došlo v důsledku geometrické vady objektivu v místě tohoto pixelu, tedy x-ová a y-ová io souřadnice této odchylky. Odchylka se zjistila tak, že se původním obrazem proložila čtvercová síť o straně čtverce 64 pixelů. Odchylky pixelů v uzlových bodech sítě jsou známy jako parametry použité optické soustavy a vyplývají z hodnot uváděných výrobcem. Uvnitř čtverce se pak hodnota odchylky aproximativně přiřadí každému pixelu lineární interpolací. Pro každý pixel je tedy k dispozici x-ová a y-ová hodnota odchylky.The input data for the conversion of each pixel value is the image shift / deviation that occurred due to the geometric defect of the lens at that pixel, that is, the x and y coordinates as well as the coordinates of the deviation. The deviation was detected by interlacing the original image with a 64 pixel square grid. Pixel deviations at network nodes are known as the parameters of the optical system used and result from the values reported by the manufacturer. Within the square, the deviation value is then approximatively assigned to each pixel by linear interpolation. Thus, x and y deviation values are available for each pixel.

Prvním krokem převzorkování je uložení pixelů vstupního obrazu do první paměti, dále první buffer I ukládá řádek po řádku, pixel po pixelu. Neukládá se však celý obraz najednou, ale kvůli úspoře paměti jen horizontální pruh o výšce 31 pixelů. Jak vyplyne z dalšího, vychází tato výška proto, že byla zvolena velikost filtru 7 pixelů a dále 12 pixelů jako maximální odchylka nahoru a dolů. Horizontální pruh vstupního obrazu uložený v prvním bufferu I se v průběhu vzorkování posouvá v obraze směrem dolů - na začátku jsou v bufferu uloženy řádky 1 až 31 vstupního obrazu, po zpracování tohoto pásma se do prvního bufferu 1 uloží a zpracovávají se řádky 2 až 32 atd. Posun řádků v prvním bufferu I naopak probíhá směrem vzhůru.The first step of resampling is storing the pixels of the input image in the first memory, then the first buffer I stores row by row, pixel by pixel. However, it does not save the entire image at one time, but only a 31-pixel horizontal bar to save memory. As will be apparent from the following, this height is based on a 7 pixel filter size and 12 pixels as the maximum up and down deviation. The horizontal input image band stored in the first buffer I moves down the image during sampling - initially rows 1 to 31 of the input image are stored in the buffer, after processing this band, the first buffer 1 is stored and rows 2 to 32, etc. On the other hand, the rows in the first buffer I move upwards.

K dispozici je sada 16 variant FIR filtru pro vertikální převzorkování, tedy sloupcových a 16 variant pro horizontální převzorkování, tedy řádkových. FIR filtr (z anglického „Finite ImpulseThere is a set of 16 variants of FIR filter for vertical oversampling, ie column and 16 variants for horizontal oversampling, ie row. FIR filter (Finite Impulse

Response“ Filter - filtr s konečnou impulsní odezvou) je obecně matice koeficientů s určitými vhodnými, předem známými vlastnostmi, která při aplikaci na vstupní obraz, tedy na vzorkovaný pixel a jeho okolí, provede přepočet jeho hodnoty pro výstupní obraz. Výstupní obraz má pak také určité, předem očekávané vlastnosti. V tomto případě byly použity sloupcové Lanczosovy filtry o rozměru 7x1 pixelů pro vertikální převzorkování a řádkové Lanczosovy filtry o rozměruResponse “Filter” is generally a coefficient matrix with certain suitable, known properties, which, when applied to an input image, that is, a sampled pixel and its surroundings, recalculates its value for the output image. The output image also has certain predictable properties. In this case, 7x1 pixel Lanczos column filters were used for vertical resampling and Lanczos line filters were used.

1x7 pixelů pro horizontální převzorkování. Lanczosův filtr je použit proto, že zachovává frekvenční charakteristiku převzorkováného obrazu i v oblasti vysokých frekvencí. Principiálně je však možné použít libovolný FIR filtr.1x7 pixels for horizontal resampling. The Lanczos filter is used because it maintains the frequency response of the resampled image even at high frequencies. In principle, however, any FIR filter can be used.

Při převzorkování není použit tentýž FIR filtr pro všechny pixely, nýbrž jeho různé varianty v závislosti na spočtené odchylce jednotlivých pixelů. Odchylka pixelu je reálné číslo, které udává, o kolik by musel být pixel posunut, aby se na něj promítla správná ploška snímaného objektu viz výše. Desetinná část odchylky tedy udává subpixelovou polohu plošky, Subpixelová poloha je aproximována pomocí 16 variant polohy, kde varianta 1 je určena pro případ, že ploška se promítá celá přesně na určitý pixel (ne nutně správný), varianta 9 je pro případ, že ploška se promítá rovnoměrně na dva sousední pixely a varianta 16 pro případ, že ploška se promítá téměřIn the resampling, the same FIR filter is not used for all pixels, but its different variants depending on the calculated deviation of the individual pixels. The pixel offset is a real number that indicates how much the pixel would have to be shifted to reflect the correct area of the object being scanned, see above. The decimal part of the deviation thus indicates the sub-pixel position of the patch, the Sub-pixel position is approximated by 16 position variants, where option 1 is intended in case the patch is projected exactly to a particular pixel (not necessarily correct). projects evenly on two adjacent pixels and the variant 16 in case the spot is projected almost

4o celá na sousední pixel. Každé variantě polohy tedy odpovídá jedna varianta FIR filtru. Těchto 16 variant FIR filtrů je předpočítáno a uloženo v pomocné paměti.4o whole to the adjacent pixel. Thus, one variant of the FIR filter corresponds to each position variant. These 16 variants of FIR filters are pre-calculated and stored in auxiliary memory.

V předchozím textu bylo uvedeno, které vstupní hodnoty a jaké nástroje jsou k dispozici. Nyní tedy ke zpracování řádků v horizontálních pásmech - horizontálnímu převzorkování:In the previous text it was stated which input values and which tools are available. Now, to process rows in horizontal zones - horizontal resampling:

Pri zvolené šířce pásma a velikosti filtru lze plnohodnotně zpracovat řádky obrazu počínaje 16. a konce 4080. Zpracování každého řádku probíhá pixel po pixelu. Pro každý jednotlivý pixel je nejprve vypočtena lineární interpolací jeho vertikální odchylka. Podle aproximované varianty subpixelové části odchylky se vybere vhodná varianta sloupcového FIR filtru a ta je na vzorkovaný pixel aplikována. Pro názornost lze tento proces popsat tak, že je na tento pixel „přiložen“ sloupcový FIR filtr o velikosti 7 pixelů a je posunut nahoru nebo dolů o tolik pixelů resp. zlomků so pixelů, kolik udává vypočtená odchylka pixelu. Jakmile je filtr umístěn na správné pozici, proběhne jeho aplikace (filtrace) - tzn. hodnoty pixelů „ležících“ pod filtrem jsou znásobeny odpo-2CZ 21485 Ul vídajícími koeficienty filtru a všechny takto získané hodnoty jsou sečteny do jediné hodnoty, což je hodnota výsledného pixelu vzniklého vertikálním pře vzorkováním. Jedná se tedy o vážený součet pixelů původního obrazu. Tyto vertikálně převzorkované pixely jsou průběžně ukládány do vyrovnávací paměti - dále vyrovnávací buffer Π. Tento buffer může být o mnoho menší než první buffer I, ve skutečnosti musí být schopen ukládat pouze několik pixelů aktuálně zpracovávaného řádku obrazu, neboť následné zpracování - horizontální pře vzorkování probíhá souběžně s vertikálním prevzorkováním.With the selected bandwidth and filter size, you can fully process image lines starting from 16th and ending 4080. Each line is processed pixel by pixel. For each individual pixel, its vertical deviation is first calculated by linear interpolation. According to the approximated variant of the sub-pixel part of the deviation, a suitable variant of the column FIR filter is selected and applied to the sampled pixel. To illustrate this process, a 7-pixel FIR filter is applied to this pixel and is shifted up or down by as many pixels as possible. fractions so pixels, as calculated by the pixel deviation calculated. Once the filter is placed in the correct position, it is applied (filtering) - ie. the values of the pixels "lying" below the filter are multiplied by the corresponding filter coefficients and all the values thus obtained are added to a single value, which is the value of the resulting pixel resulting from vertical sampling. This is the weighted sum of the pixels of the original image. These vertically resampled pixels are continuously cached - buffer Π. This buffer may be much smaller than the first buffer I, in fact, it must be able to store only a few pixels of the currently processed line of the image, since the subsequent processing - horizontal pre-sampling takes place in parallel with the vertical resampling.

Horizontální převzorkování probíhá obdobně jako vertikální převzorkování, řádek po řádku, pixel po pixelu. Nejprve je pro daný pixel vypočtena lineární interpolací horizontální odchylka, jejíž desetinná část je aproximována jednou z 16 variant. Na základě toho je vybrána odpovídající varianta 7 pixelového řádkového FIR filtru, který je „přiložen“ na aktuálně zpracovávaný pixel. Poté je filtr posunut doleva nebo doprava na základě celočíselné části spočtené horizontální odchylky. Hodnota výsledného pixelu je opět určena jako vážený součet pixelů „pod“ filtrem, kde koeficienty filtru jsou váhy jednotlivých sčítanců (pixelů).Horizontal resampling is similar to vertical resampling, line by line, pixel by pixel. First, the horizontal deviation is calculated for a given pixel by linear interpolation, the decimal part of which is approximated by one of the 16 variants. Based on this, the corresponding variant of the 7 pixel line FIR filter that is "applied" to the currently processed pixel is selected. Then the filter is shifted to the left or right based on the integer part of the calculated horizontal deviation. The value of the resulting pixel is again determined as the weighted sum of pixels “below” the filter, where the filter coefficients are the weights of the individual adders (pixels).

Je zřejmé, že pokud je zvolena jako maximální odchylka doleva i doprava hodnota 12 pixelů, lze při 7 pixelovém FIR filtru plnohodnotně zpracovat všechny pixely v řádku počínaje 16. a konce 4090.Obviously, if 12 pixels is selected as the maximum left and right deviation, a 7 pixel FIR filter can fully process all the pixels in a row beginning at 1690 and ending at 4090.

Výsledné pixely jsou výstupem celého zařízení a mohou být např. ukládány v externí paměti.The resulting pixels are the output of the entire device and can, for example, be stored in external memory.

Postup převzorkování je naznačen na obr. 1, kde je vymezen krok vertikálního převzorkování v pásmu 30 řádků a krok horizontálního převzorkování v jednom řádku. Pixely původního obrazu jsou zde znázorněny prázdnými terčíky, pixely po vertikálním převzorkování šedými terčíky a terčík po horizontálním (+ vertikálním) černým terčíkem.The resampling procedure is shown in Fig. 1, where a vertical resampling step in the 30-line band and a horizontal resampling step in a single line are defined. The pixels of the original image are represented by blank dots, pixels resampling vertically by gray dots, and by horizontal (+ vertical) black dots.

Zapojení zařízení k provádění popsaného postupu je znázorněno na obr. 2. Z nekorigovaného obrazu 1 předává řídicí jednotka 2 postupně data - řádky pixelů do prvního bufferu I. Blok 3 vertikálního převzorkování, který je taktován řídicí jednotkou 2, přebírá údaje o vertikální odchylce jednotlivých bodů v prvním bufferu I z vertikální interpolační jednotky 4, podle hodnoty odchylky zvolí odpovídající variantu vertikálního FIR filtru a aplikuje ji na odpovídající pixel v prvním bufferu I, provede přepočet a vertikálně převzorkovaný pixel odešle do vyrovnávacího bufferu II. Zde je k provedení horizontálního převzorkování v daném okamžiku k dispozici alespoň část řádku. Blok 5 horizontálního převzorkování, který je rovněž taktován řídicí jednotkou 2, přebírá údaje o horizontální odchylce jednotlivých pixelů ve vyrovnávacím bufferu Π z horizontální interpolační jednotky 6, podle hodnoty odchylky zvolí odpovídající variantu horizontálního FIR filtru a aplikuje ji na odpovídající pixel ve vyrovnávacím bufferu Π, provede přepočet a horizontálně převzorkovaný pixel odešle např. do externí paměti, která není znázorněna, V ní se pak složí již převzorkovaný obraz.The connection of the device for carrying out the described procedure is shown in FIG. 2. From the uncorrected image 1, the control unit 2 gradually transmits the pixel data lines to the first buffer I. The vertical oversampling block 3 clocked by the control unit 2 takes over in the first buffer I from the vertical interpolation unit 4, according to the deviation value, selects the corresponding variant of the vertical FIR filter and applies it to the corresponding pixel in the first buffer I, recalculates and sends the vertically resampled pixel to the buffer buffer II. Here, at least part of the line is available to perform horizontal resampling at any given time. The horizontal oversampling block 5, which is also clocked by the control unit 2, takes over the horizontal offset data of the individual buffers Π from the horizontal interpolation unit 6, selects the corresponding horizontal FIR filter variant according to the offset value and applies it to the corresponding pixel in the buffer Π. it recalculates and sends the horizontally resampled pixel to, for example, an external memory, which is not shown, in which the already resampled image is stored.

Uvedené řešení představuje nový systém korekce obrazového signálu, vhodný zejména pro případy, kdy je kladen velký nárok na geometrickou přesnost snímaných obrazů a současně není k dispozici výpočetní výkon počítače, který by byl zapotřebí tehdy, pokud by součástí korekce mělo být otáčení nebo změna měřítka ve větším rozsahu. Zařízení může být realizováno jak klasickými prostředky - jednoúčelově zapojenými obvody, tak i ve formě programovatelného hardware, kde se potřebného zapojení dosáhne konfigurací programovatelného logického obvodu, např. typu FPGA. Vzhledem k relativní jednoduchosti implementujícího zařízení a malé kapacitě pamětí si lze představit on line zpracování obrazu snímaného běžnými frekvencemi.This solution is a new video signal correction system, particularly suitable for cases where high accuracy is required in the scanned images and the computer's computing power is not required if the correction should include rotation or scaling to a larger extent. The device can be realized both by classical means - single-purpose circuits, as well as in the form of programmable hardware, where the necessary connection is achieved by configuration of a programmable logic circuit, eg FPGA type. Given the relative simplicity of the implementation device and the low memory capacity, it is possible to imagine the on-line processing of the image captured at common frequencies.

NÁROKY NA OCHRANUPROTECTION REQUIREMENTS

Claims (2)

1. Zařízení k provádění digitální korekce obrazu, vyznačující se tím, zeje tvořeno prvním bufferem (I) propojeným obousměrně s blokem (3) vertikálního převzorkování, jehožAn apparatus for performing digital image correction, characterized in that it comprises a first buffer (I) connected bidirectionally to a vertical resampling block (3), the -3CZ 21485 Ul součástí jsou FIR filtry, napojeným na jednotku (4) vertikální interpolace odchylek, na jehož výstupu se nachází vyrovnávací buffer (II) propojený obousměrně s blokem (5) horizontálního převzorkování, přičemž bloky (3, 5) převzorkování jsou napojeny na řídicí jednotku (6).The FIR filters are connected to a vertical imbalance interpolation unit (4), the output of which is a buffer buffer (II) connected bidirectionally to the horizontal oversampling block (5), wherein the oversampling blocks (3, 5) are connected to the control unit (6). 2. Zařízení podle nároku 1, vyznačující se tím, že součástí bloků (3, 5) převzor5 kování jsou Lanczosovy filtry.Apparatus according to claim 1, characterized in that the forging blocks (3, 5) comprise Lanczos filters.