CZ308988B6 - Způsob zpracování obrazu metodou postupného gradientu jasu obrazových pixelů v podélné ose a zařízení k provádění tohoto způsobu - Google Patents

Abstract

Vynález je z oblasti digitálního zpracování obrazu. Jedná se o způsob čištění obrazu, který má odstranit nedůležité pozadí, šumy a ponechat pouze anomálie vhodné k dalšímu zpracování. Způsob spočívá v provedení následujících kroků: a) je vytvořen digitální obraz oblasti zájmu s možnou povrchovou vadou, anomálií, b) digitální obraz je převeden do maticové podoby, c) je provedena redukce rozlišení obrazu pomocí průměrování pixelů v uživatelsky definovaném čtvercovém okně, d) v redukovaném snímku je provedena derivace jasových hodnot pixelů ve směru osy X nebo Y a pomocí prahování je vytvořen nový binarizovaný snímek, a e) v derivovaném obraze je provedeno vyhledání osamocených pixelů a tyto jsou z obrazu odstraněny. Vynález se také týká zařízení (1) pro zpracování obrazu, které odhaduje pozici hledaných objektů v obraze. Zařízení (1) je tvořeno digitální kamerou (2) a výpočetní částí (3). Digitální kamera (2) obsahuje přizpůsobovací obvody (4) analogové části a komunikační rozhraní (5) pro přenos dat. Výpočetní část (3) je tvořena jednotkou (7) zpracování dat s CPU, vyhodnocovacím a diagnostickým modulem (8), rozhraním (9) a řídicím a ovládacím modulem (10).

Description

Způsob zpracování obrazu metodou postupného gradientu jasu obrazových pixelů v podélné ose a zařízení k provádění tohoto způsobu

Oblast techniky

Vynález spadá do oblasti digitálního zpracování obrazu. Jedná se o prvotní úpravu obrazu před jeho další analýzou.

Dosavadní stav techniky

Zařízení pro zpracování digitálního obrazu, resp. zařízení, které pro svůj účel zpracovávají digitální obraz, je mnoho typů. Nejčastěji je možné se s nimi setkat v průmyslovém prostředí, kdy takové zařízení hodnotí například povrch výrobků a hledá povrchové vady, kontroluje průměr děr, pozici drážek, hloubku výbrusů, výslednou barvu výrobků apod. Cílem je obvykle nahradit lidský faktor při repetitivním hodnocení některého z ukazatelů kvality výrobků. Strojové hodnocení je „vždy“ objektivní, nezávislé na denní době a množství odpracovaných hodin. Bohužel strojové hodnocení je objektivní pouze a jen v případě, že pracuje v neměnných pracovních podmínkách, které se maximálně blíží podmínkám při kalibraci stroje. V případě změny například intenzity okolního osvětlení může dojít k posunu prahu jasností nastavených vnitřně algoritmem a zařízení začne např. přehlížet vady, nebo generovat falešné detekce apod. Taková stavy je poté nutné validovat ručně a opět se do procesu hodnocení kvality zapojuje lidský faktor. Tyto stavy jsou samozřejmě nechtěné a prodražují a zpomalují výrobu. V případě využití zařízení pro kontrolu kvality pomocí hodnocení digitálního obrazuje tedy vždy cíleno na co největší robustnost nejen mechanických prvků, ale i ovládacího a vyhodnocovacího algoritmu.

Pod takovým zařízením je možné si představit digitální kameru s integrovaným vyhodnocovací prvkem, obvykle ve formě mikroprocesoru nebo embeded zařízení. Spojení digitální kamery a výpočetní jednotky umožní generovat informace o snímaných objektech a tyto validovat pro další použití. V současné době je neustále vyvíjen a vylepšován hardware pro zpracování obrazu, resp. pro paralelní výpočty využívané v hodnocení obrazu. Tento hardware umožňuje vyvíjet nové algoritmy, které jsou robustnější a mnohem přesnější než starší typy.

Hodnocení kvality výrobků se skládá obvykle ze dvou částí. V první části je sejmut digitální obraz hodnocené oblasti a předzpracován. Ve druhé části je obvykle přítomná umělá inteligence ve formě neuronové sítě, která hodnotí předzpracovaný obraz a dává jednoznačný výsledek.

Pokud se první část vynechá, neuronová síť podává horší výsledky a je obvykle nutný mnohem vyšší výkon procesorové části zařízení pro hodnocení kvality, aby se dosáhlo stejného výsledku. Ke zpracování a vyhodnocování obrazů lze přistoupit různým způsobem, např. patentová přihláška US 2015243018 Al popisuje metody kontroly waferů, což jsou obecně kruhové polotovary určené k dalšímu zpracování, v konkrétním případě US 2015243018 Al se jedná o křemíkové wafery. Principem je nasvětlování hrany waferu zaostřeným, kolimovaným světelným svazkem. Detektor zachytí stín a ten je dále zpracováván metodou hranové detekce. Zásadní je zde detekce stínu, který předmět vrhá, a nikoli detekce přímého povrchu předmětu, jako je tomu u níže předkládaného vynálezu. V US 2015243018 Al je popsána detekce hran pomocí barvy pixelů, sytosti barev, jasu při srovnání dvou sousedních pixelů. Řešení podle níže předkládaného vynálezu je založeno na zpracovávání přímo nasvětleného povrchu předmětu, a nikoli jen jeho profilu a na rozdíl od US 2015243018 Al, řešení podle předkládaného vynálezu využívá pro detekci hran komplexní algoritmus založený nejen na porovnání sousedních pixelů. Na rozdíl od US 2015243018 Al, se dle předkládaného vynálezu nerozlišuje kolimovaný světelný svazek; nasvětlení se nerozlišuje vůbec. Principem snímání obrazu podle předkládaného vynálezu je přítomnost světla obecně.

Jiné řešení nabízí patentová přihláška US 20070110319 Al, která popisuje způsob detekce hran v

- 1 CZ 308988 B6 obrazu a potlačení šumu v obrazu jako celku. Vyhodnocení úrovně šumu vychází ze srovnání jasových gradientů a intenzity hran. Jasové gradienty jsou zjišťovány pomocí matice obrazových bodů 3x3, které mohou nabývat jednu ze čtyř definovaných možností. Z těchto gradientů je vyvozen směr hrany. Hrany jsou sčítány pro stanovení intenzity hran v celém obraze. Naproti tomu řešení dle níže předkládaného vynálezu využívá pro detekci hran komplexní algoritmus založený nejen na porovnání malých matic sousedních bodů/pixelů, neprovádí se detekce gradientu jasových složek, resp. nevyvozuje se z nich intenzita hran v obrazu. V řešení podle předkládaného vynálezu se šum jako celek neodstraňuje, ale ignoruje se. Jinými slovy, v předkládaném řešení slouží algoritmus k odstranění osamocených pixelů, nikoli k odstranění šumu jako celku.

V obou řešeních popsaných ve výše uvedených patentových přihláškách se provádí redukce velikosti originálního obrazu; u předkládaného vynálezu nikoli. A na rozdíl od předkládaného vynálezu řešení popsaná ve výše uvedených patentových přihláškách nepoužívají filtr osamocených pixelů v obraze a nevyužívají histogram pro detekci oblastí v obrazu.

Podstata vynálezu

Podstatou vynálezu je způsob prvotní úpravy digitálního obrazu před jeho dalším zpracováním.

Digitální obraz (obr. 1) je obvykle nutné před jeho dalším zpracováním upravit, vyčistit. Pokud v obraze hledáme například text, vše ostatní je nežádoucí. Jakékoliv rušivé vlivy jako například podkladový motiv (obr. 1), přechodové stíny, nebo také různé úrovně osvětlení, lišící se od referenčních podmínek jsou nežádoucí.

Obvykle se v průmyslových aplikacích provádí stanovení okolních podmínek při pořizování obrazu. Pokud je vyhodnocována určitá oblast v obraze například průmyslovou kamerou, je kladen vysoký důraz na dodržení referenčních podmínek. Pokud se například změní intenzita osvětlení vlivem denní doby, změnou osvětlovacích těles apod., není obraz vyhodnocován správně a dochází k falešným detekcím, nebo naopak k detekcím nedochází. Detekcí je myšlena informace, poskytnutá zařízením pro hodnocení kvality výrobků, která odpovídá vnitřní struktuře hodnotícího algoritmu a je obecného charakteru. Například rozsvícení signalizačního světla určité barvy, vygenerování akčního zásahu programovatelným automatem apod. Podstatou způsobu je tedy provedení následujících kroků:

a) je vytvořen digitální obraz oblasti zájmu s možnou povrchovou vadou, anomálií,

b) digitální obraz je převeden do maticové podoby,

c) je provedena redukce rozlišení obrazu pomocí průměrování pixelů v uživatelsky definovaném čtvercovém okně,

d) v redukovaném snímku je poté ve směru osy X, nebo Y, provedena derivace jasových hodnot pixelů a pomocí prahování vytvořen nový binarizovaný snímek a

e) v derivovaném obraze je provedeno vyhledání osamocených pixelů a tyto jsou z obrazu odstraněny.

Výsledný obraz obsahuje pouze ty oblasti, které jsou vzhledem k původnímu obrazu jasovou složkou anomální, resp. obsahují ostrý jasový přechod. Uvedený algoritmus je imunní vůči plynulým změnám jasu v obraze a nedetekuje je jako anomálie.

Způsob zpracování obrazu podle vynálezu využívá digitální interpretace zkoumaného obrazu. Tento digitální obraz je vstupem algoritmu a je ve formě dvourozměrné matice (Px(orig)) o rozměrech odpovídajících fýzickému rozlišení digitálního obrazu. Jednotlivé buňky matice

-2CZ 308988 B6 představují jasovou složku obrazu, resp. pixelu. Pixely mají další parametr, který odpovídá jejich fýzické pozici v obraze. Tímto parametrem jsou souřadnice, obvykle dvourozměrné. Třetím rozměrem může být specifikována barevná složka pixelu. V popisovaném případě bude souřadnice pouze dvourozměrná. Pozice určité buňky v matici odpovídá pozici pixelu se stejnými souřadnicemi.

V následujícím textu budou často zmiňovány buňky matice a pixely. Jedná se v podstatě jen o jiný pohled na stejnou věc. Pixel vychází z anglického „picture element“ a představuje nejmenší jednotku digitální rastrové grafiky. Každý pixel má svou pevnou pozici a určitou barvu. Buňka matice je analogicky také dále nedělitelná, s pevně definovanou pozicí a vnitřní hodnotou. Pokud bude tedy v následujícím textu zmíněn pixel, bude tím myšlena obrazová interpretace určité buňky v matici.

Digitální obraz ve formě matice je zmenšen na uživatelsky definovanou velikost. Ke zmenšení je použit tzv. „okénkový“ mechanizmus, kdy je matice rozdělena na určitý počet menších, čtvercových matic s hodností h. Parametr h je uživatelsky nastavitelný. V každém okénku je vypočítána střední hodnotajasu jednotlivých pixelů a tato hodnota je poté umístěna do nové matice s redukovaným obrazem.

Každý nový pixel redukovaného obrazu, je tedy průměrem jasových hodnot pixelů čtvercového okna originálního obrazu podle vzorce:

kde Px(_red)x,_y je nový pixel redukovaného obrazu na souřadnici x,y, hje rozměr čtvercového okénka a Px(orig)ij představuje pixel originálního obrazu na souřadnici ij.

V redukovaném snímku, resp. nové matici (Px(red)) je poté ve směru osy X, nebo Y, provedena derivace jasových hodnot jednotlivých pixelů a pomocí prahování vytvořena nová matice s binarizovaným obrazem. Diskrétní derivace jasových hodnot pixelů, resp. buněk matice Px(red) je výsledkem absolutní hodnoty rozdílu dvou vedlejších buněk v ose X, nebo Y:

dx_x ~ - Px(or^)x₊il

Prahování je definováno uživatelsky nastavitelnou proměnnou, jejíž hodnota je rozhodovacím prahem pro definici nového pixelu. V případě, že je hodnota derivace jasových složek větší než prahová úroveň, má výsledný pixel hodnotu 1. V opačném případě má daný pixel hodnotu 0. Obrázek vzniklý derivací jasových hodnot v ose X, nebo Y, je uveden na obrázku 2. Nový obraz je reprezentován maticí dX. která má stejnou velikost jako Px(red).

Dále je provedena detekce osamocených pixelů v obraze s uživatelsky definovaným detekčním rádiem. Detekční rádius je vhodné volit jako hodnotu odvozenou od jednoho z rozměrů matice dX. Empirickými pokusy jsme zjistili optimální hodnotu definovanou jako 1/30 toho rozměru matice dX, který odpovídá směru derivace jasových hodnot jednotlivých pixelů. Detekce osamocených pixelů probíhá tak, že v případě nalezení buňky s nenulovým obsahem matice dX je v okolí této buňky hledána další nenulová buňka.

Okolím buňky se rozumí čtvercové okno o délce strany 1/30 velikosti matice dXve směru X, nebo Y (definice výše). Pokud jsou v okolí buňky s nenulovou hodnotou pouze buňky s nulovou hodnotou, je nenulová hodnota buňky nahrazena novou hodnotou nula. Hodnocení je prováděno prostřednictvím sumy obsahu všech buněk v okolí buňky s nenulovou hodnotou. Pokud je suma hodnot buněk v okolí buňky s nenulovou hodnotou vyšší než uživatelsky definované minimum, je

-3CZ 308988 B6 původní buňka s nenulovým obsahem ponechána v původním stavu. Uvedeným postupem vznikne nová matice Px(grad), která obsahuje buňky s nenulovým obsahem pouze na těch souřadnicích, které vyhověly všem krokům algoritmu zpracování obrazu metodou postupného gradientu jasu obrazových pixelů v podélné ose. Matice Px(grad) obsahuje pouze fragmenty původního obrazu. Z histogramu četností buněk s nenulovým obsahem, resp. pixelů, je možné odhadnout pozici hledaných objektů nacházejících se v původním obraze. Dalšímu zpracování, například pomocí umělé neuronové sítě, jsou tedy předloženy pouze ty části původního obrazu, které odpovídají pozici shluků buněk s nenulovém obsahem v matici Px(grad). Tímto postupem je digitální kamerou snímaný obraz upraven a jsou z něj vybrány pouze ty oblasti, které jsou z pohledu dalšího zpracování důležité.

Data odpovídající vybrané oblasti zájmu mohou být dále poskytnuta například zařízení pro hodnocení kvality výrobků, které detekuje přítomnost vad, přičemž zařízení pro hodnocení kvality výrobků signalizuje zjištění vady například rozsvícením signalizačního světla určité barvy, vygenerováním akčního zásahu programovatelným automatem apod.

Podstatou vynálezu je také zařízení pro zpracování digitálního obrazu, které z něj odstraňuje nedůležité pozadí, šumy a ponechává v něm pouze anomálie vhodné k dalšímu zpracování.

Zařízení pro zpracování obrazu se skládá z digitální kamery a výpočetní části, které jsou spolu propojeny prostřednictvím přenosového média.

Digitální kamera obsahuje přizpůsobovací obvody analogové části CCD nebo CMOS a komunikační rozhraní pro přenos digitalizovaných dat, které jsou spolu propojeny.

Výpočetní část je tvořena jednotkou zpracování dat s CPU, rozhraním pro styk s okolím, řídicím a ovládacím modulem a vyhodnocovacím a diagnostickým modulem.

V modulu jsou integrovány algoritmus zmenšení obrazu průměrováním dle velikosti čtvercového okna, algoritmus derivace bezprostředně sousedících pixelů a binarizace obrazu, algoritmus filtru osamocených pixelů v obraze s definovaným detekčním rádiem, algoritmus histogramu výskytu anomálií v obraze a algoritmus odhadu pozice hledaných objektů.

V moduluje integrován obecný ovládací a řídicí software pro chod zařízení.

Způsob vyhodnocení obrazu podle vynálezu je velmi robustní a není významně ovlivněn uvedenými negativními vlivy, znehodnocujícími správnou analýzu obrazu.

Využití je možné například v prostředí automatizace, obecně při detekci povrchových vad při výrobě, v medicíně při hodnocení anomálií, při hledání určitých znaků na velké ploše, při hodnocení kvalitativních parametrů výrobků apod.

Objasnění výkresů

Vynález je blíže osvětlen s pomocí výkresů, na kterých je:

na obr. 1 originální obraz z digitální kamery před úpravami, na obr. 2 obraz upravený pomocí gradientu v ose X, na obr. 3 výstupní obraz po aplikaci uvedené metody a na obr. 4 blokové schéma zařízení pro zpracování obrazu.

-4CZ 308988 B6

Příklady uskutečnění vynálezu

Příklad 1

Zařízení 1 pro zpracování obrazu metodou postupného gradientu jasu obrazových pixelů v podélné ose je podle obr. 4 tvořeno digitální kamerou 2, která je prostřednictvím přenosového média 6 jednosměrně propojena s výpočetní částí 3. Digitální kamera 2 obsahuje přizpůsobovací obvody 4 analogové části CCD nebo CMOS a komunikační rozhraní 5 pro přenos digitalizovaných dat. Přizpůsobovací obvod 4 je jednosměrně propojen s komunikačním rozhraním 5 pro přenos digitalizovaných dat.

Výpočetní část 3 je tvořena jednotkou 7 zpracování dat s CPU, rozhraním 9 pro styk s okolím, řídicím a ovládacím modulem 10 a vyhodnocovacím a diagnostickým modulem 8.

Jednotka 7 je s vyhodnocovacím a diagnostickým modulem 8, rozhraním 9 pro styk s okolím, a s řídicím a ovládacím modulem 10, spojena obousměrně.

Ve vyhodnocovacím a diagnostickém modulu 8 jsou integrovány algoritmus zmenšení obrazu průměrováním dle velikosti čtvercového okna, algoritmus derivace bezprostředně sousedících pixelů a binarizace obrazu, algoritmus filtru osamocených pixelů v obraze s definovaným detekčním rádiem, algoritmus histogramu výskytu anomálií v obraze a algoritmus odhadu pozice hledaných objektů.

V řídicím a ovládacím modulu 10 je integrován obecný ovládací a řídicí software pro chod zařízení 1.

Zařízení 1 pro zpracování obrazu metodou postupného gradientu jasu obrazových pixelů v podélné ose pořídí prostřednictvím digitální kamey 2 obraz oblasti zájmu - vyražené číslo na ocelovém sochoru. Digitální obraz vzniká pomocí přizpůsobovacích obvodů 4 analogové části CCD nebo CMOS digitální kamery. Digitální obraz je převeden do maticové podoby, kdy každému pixelů odpovídá vždy jedna konkrétní buňka matice. Digitální obraz má rozlišení 1920 x 1080, resp. velikost matice odpovídá hodnotě 1920 ve směru osy X a 1080 ve směru Y.

Následně je obraz ve formě matice buněk přenesen pomocí komunikačního rozhraní 5 pro přenos digitalizovaných dat skrz přenosové médium 6, do výpočetní části 3 zařízení. Ve výpočetní části 3 je přítomná jednotka 7 zpracování dat s CPU, která iniciuje soustavu algoritmů obsažených ve vyhodnocovacím a diagnostickém modulu 8. V prvním kroku je provedena redukce rozlišení obrazu algoritmem pro zmenšení obrazu průměrováním, kdy je průměrování pixelů provedeno v uživatelsky definovaném čtvercovém okně. Pro redukci je použita velikost okna 5.

V redukovaném snímku je poté ve směru osy X provedena derivace jasových hodnot pixelů a pomocí prahování vytvořen binarizovaný snímek obsahující pouze černé a bílé pixely. Tento úkon je proveden pomocí algoritmu derivace bezprostředně sousedících pixelů a binarizace obrazu. Následně je provedeno prahování obrazu uživatelsky nastavitelnou hodnotou, kdy je tato hodnota prahem pro definici nového pixelů. V případě evaluace obrazu ocelového sochoru, který je snímán na přímém slunečním světle bude zvolena hodnota prahování 180. Tento úkon je proveden pomocí algoritmu derivace bezprostředně sousedících pixelů a binarizace obrazu.

Dále je provedena detekce osamocených pixelů v obraze, kdy je nastavena hodnota detekčního rádiusu 64. Tento úkon je proveden pomocí algoritmu filtrace osamocených pixelů v obraze.

Uvedeným postupem vznikne upravený obraz, který obsahuje pouze fragmenty původního originálního obrazu získaného pomocí digitální kamery 2.

-5CZ 308988 B6

Dále je proveden výpočet histogramu četností světlých pixelů za účelem nalezení hledaných čísel na čele Sochoru pomocí algoritmu histogram výskytu anomálií. Vznikne obdélníková oblast s největší pravděpodobností výskytu ražených čísel. Obdélníková oblast je poté transponována na originální obraz a odpovídající pixely jsou předloženy umělé neuronové síti k dalšímu posouzení. 5 Obdélníková oblast pravděpodobného výskytu čísel je nalezena pomocí algoritmu odhad pozice hledaných objektů.

Průmyslová využitelnost

Vynález lze využít jako vstupní filtr pro digitální obraz, před jeho dalším zpracováním např. umělou neuronovou sítí, nebo pro detekci pozice jasové anomálie v obraze. Metoda je použitelná všude tam, kde dochází ke změnám v osvětlení snímaných předloh, popř. tam, kde je rušivé pozadí, znesnadňující detekci objektů v obraze (rýhy po kotoučové pile, jasový gradient světla čelní strany 15 objektu jako důsledek stříhání, jasový gradient světla čelní strany objektu při pálení plazmou apod.).

Claims (2)

PATENTOVÉ NÁROKY

1. Způsob zpracování obrazu metodou postupného gradientu jasu obrazových pixelů v podélné ose, vyznačující se tím, že se postupně provedou následující kroky:

a) je vytvořen digitální obraz oblasti zájmu s možnou povrchovou vadou, anomálií,

b) digitální obraz je převeden do maticové podoby,

c) je provedena redukce rozlišení obrazu pomocí průměrování pixelů v uživatelsky definovaném čtvercovém okně,

d) v redukovaném snímku je poté ve směru osy X, nebo Y, provedena derivace jasových hodnot pixelů a pomocí prahování vytvořen nový binarizovaný snímek a

e) v derivovaném obraze je provedeno vyhledání osamocených pixelů a tyto jsou z obrazu odstraněny.

2. Zařízení (1) pro zpracování obrazu způsobem podle nároku 1, vyznačující se tím, že je tvořeno digitální kamerou (2) a výpočetní částí (3), kde digitální kamera (2) obsahuje přizpůsobovací obvody (4) analogové části CCD nebo CMOS a komunikační rozhraní (5) pro přenos digitalizovaných dat a výpočetní část (3) je tvořena jednotkou (7) zpracování dat s CPU, vyhodnocovacím a diagnostickým modulem (8), rozhraním (9) pro styk s okolím a řídicím a ovládacím modulem (10), přičemž ve vyhodnocovacím a diagnostickém modulu (8) jsou integrovány algoritmus zmenšení obrazu průměrováním dle velikosti čtvercového okna, algoritmus derivace bezprostředně sousedících pixelů a binarizace obrazu, algoritmus filtru osamocených pixelů v obraze s definovaným detekčním rádiem, algoritmus histogramu výskytu anomálií v obraze a algoritmus odhadu pozice hledaných objektů, v řídicím a ovládacím modulu (10) je integrován obecný ovládací a řídicí software pro chod zařízení (1), digitální kamera (2) je s výpočetní částí (3) jednosměrně propojena prostřednictvím přenosového média (6), přizpůsobovací obvod (4) je jednosměrně propojen s komunikačním rozhraním (5) pro přenos digitalizovaných dat a jednotka (7) je obousměrně propojena s vyhodnocovacím a diagnostickým modulem (8), rozhraním (9) pro styk s okolím a řídicím a ovládacím modulem (10).