CZ308990B6 - Způsob zpracování předzpracovaného obrazu a zařízení k provádění tohoto způsobu - Google Patents
Způsob zpracování předzpracovaného obrazu a zařízení k provádění tohoto způsobu Download PDFInfo
- Publication number
- CZ308990B6 CZ308990B6 CZ2020157A CZ2020157A CZ308990B6 CZ 308990 B6 CZ308990 B6 CZ 308990B6 CZ 2020157 A CZ2020157 A CZ 2020157A CZ 2020157 A CZ2020157 A CZ 2020157A CZ 308990 B6 CZ308990 B6 CZ 308990B6
- Authority
- CZ
- Czechia
- Prior art keywords
- image
- pixels
- module
- algorithm
- created
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000012545 processing Methods 0.000 title claims abstract description 31
- 230000007547 defect Effects 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims abstract description 9
- 238000012935 Averaging Methods 0.000 claims abstract description 8
- 238000004891 communication Methods 0.000 claims abstract description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 25
- 238000011156 evaluation Methods 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 7
- 230000002547 anomalous effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000001303 quality assessment method Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
Způsob zpracování předzpracovaného obrazu spočívá v provedení kroků: je vytvořen digitální obraz oblasti zájmu s možnou povrchovou vadou; digitální obraz je převeden do maticové podoby; je provedena redukce rozlišení obrazu průměrováním pixelů v uživatelsky definovaném čtvercovém okně; v redukovaném snímku je postupně ve směru os X a Y, provedena derivace jasových hodnot pixelů a pomocí prahování jsou vytvořeny dva nové binarizované snímky; je provedena kombinace obou obrazů formou logického součinu odpovídajících si pixelů v externím modulu se samostatným výpočetním jádrem a je vytvořen nový binarizovaný obraz; a v tomto obraze je provedeno vyhledání osamocených pixelů a tyto jsou z obrazu odstraněny; a následně je na obraz aplikována metoda shlukování pixelů typu K-means, která zajistí diferenciaci jednotlivých anomálií vhodných k dalšímu zpracování. Zařízení (1) pro zpracování obrazu je tvořeno digitální kamerou (2) a výpočetní částí (3), kde digitální kamera (2) obsahuje přizpůsobovací obvody (4) analogové části a komunikační rozhraní (5) pro přenos digitalizovaných dat.
Description
Způsob zpracování předzpracovaného obrazu a zařízení k provádění tohoto způsobu
Oblast techniky
Vynález spadá do oblasti digitálního zpracování obrazu. Jedná se o prvotní úpravu obrazu před jeho další analýzou.
Dosavadní stav techniky
Zařízení pro zpracování digitálního obrazu, resp. zařízení, které pro svůj účel zpracovávají digitální obraz, je mnoho typů. Nejčastěji je možné se s nimi setkat v průmyslovém prostředí, kdy takové zařízení hodnotí například povrch výrobků a hledá povrchové vady, kontroluje průměr děr, pozici drážek, hloubku výbrusů, výslednou barvu výrobků apod. Cílem je obvykle nahradit lidský faktor při repetitivním hodnocení některého z ukazatelů kvality výrobků. Strojové hodnocení je „vždy“ objektivní, nezávislé na denní době a množství odpracovaných hodin. Bohužel strojové hodnocení je objektivní pouze a jen v případě, že pracuje v neměnných pracovních podmínkách, které se maximálně blíží podmínkám při kalibraci stroje. V případě změny například intenzity okolního osvětlení může dojít k posunu prahu jasností nastavených vnitřně algoritmem a zařízení začne např. přehlížet vady, nebo generovat falešné detekce apod. Takové stavy je poté nutné validovat ručně a opět se do procesu hodnocení kvality zapojuje lidský faktor. Tyto stavy jsou samozřejmě nechtěné a prodražují a zpomalují výrobu. V případě využití zařízení pro kontrolu kvality pomocí hodnocení digitálního obrazuje tedy vždy cíleno na co největší robustnost nejen mechanických prvků, ale i ovládacího a vyhodnocovacího algoritmu.
Pod takovým zařízením je možné si představit digitální kameru s integrovaným vyhodnocovací prvkem, obvykle ve formě mikroprocesoru nebo embeded zařízení. Spojení digitální kamery a výpočetní jednotky umožní generovat informace o snímaných objektech a tyto validovat pro další použití. V současné době je neustále vyvíjen a vylepšován hardware pro zpracování obrazu, resp. pro paralelní výpočty využívané v hodnocení obrazu. Tento hardware umožňuje vyvíjet nové algoritmy, které jsou robustnější a mnohem přesnější než starší typy.
Hodnocení kvality výrobků se skládá obvykle ze dvou částí. V první části je sejmut digitální obraz hodnocené oblasti a předzpracován. Ve druhé části je obvykle přítomná umělá inteligence ve formě neuronové sítě, která hodnotí předzpracovaný obraz a dává jednoznačný výsledek. Pokud se první část vynechá, neuronová síť podává horší výsledky a je obvykle nutný mnohem vyšší výkon procesorové části zařízení pro hodnocení kvality, aby se dosáhlo stejného výsledku.
Patent EP 2045773 B1 popisuje obecně změnu rozlišení obrazu. Cílem řešení podle EP 2045773 Bije minimalizovat „zoubkování hran“. Primárně je vynález určen pro televize, které často mění rozlišení na základě přijímaného signálu. 4K televize, která má nativně výborný obraz v rozlišení 4K, může obraz v rozlišení SD interpretovat takovým způsobem, že je v principu „nerozlišitelný“. Naproti tomu řešení podle předkládaného vynálezu využívá standardní změnu rozlišení obrazu pomocí průměrování čtverce o definované velikosti.
Jeden za způsobů analýzy obrazu je popsán v přihlášce US 2010303348 Al, zahrnující techniky zpracování obrazu, které využívají prostorově spektrální informace relevantní pro obraz, odvozené z alespoň jednoho znázornění ze sady selektivně různých znázornění daného obrazu, například více rozlišeními, jako je prostorová pyramida reprezentací, aby přesně a správně identifikoval osvětlení a hmotné aspekty obrazu.
V přihlášce WO 2016087589 Al je popsána metoda shlukování pixelů, avšak na rozdíl od předkládaného vynálezu je aplikována na soustavu digitálních obrazů, kdy jsou shlukovány takové pixely, které mají napříč obrazy podobné parametry detekovatelných markérů. Ve
- 1 CZ 308990 B6
WO 2016087589 Al použitá metoda shlukování je hierarchická, eventuálně K-means. Ve WO 2016087589 AI popsaný vynález využívá multispektrální obrazy, v nichž jsou definovány regiony určené pro analýzu, na rozdíl od řešení podle předkládaného vynálezu, které využívá jediný obraz bez pevně definovaných regionů. WO 2016087589 AI neřeší problematiku ostrých stínů a změny osvětlení, protože se jedná o snímky z mikroskopů. Naproti tomu řešení podle předkládaného vynálezu je robustnější a využívá rozšířené algoritmy pro detekci podezřelých oblastí.
V přihlášce WO 2017175231 AI je popsána metoda zpracování obrazů snímaných pod vodní hladinou. Shlukováním jsou v obrazu vytvořeny linie korespondující se „zamlžením“. Výsledný obraz je opraven tak, že je na něj použit obraz „zamlžený“, a ten je odečten. Naproti tomu cílem řešení podle předkládaného vynálezu je, shlukovat takové pixely obrazu, které jsou pravděpodobně součástí jednoho celku - alfanumerického znaku. V řešení podle předkládaného vynálezu není prováděna oprava obrazu, ani jiná obdobná úprava (zvýšení kontrastu apod.), nýbrž se v obrazu hledají oblasti s čísly a alfanumerickými znaky.
V přihlášce PV 2019-167 je popsán způsob zpracování obrazu metodou postupného gradientu jasu obrazových pixelů v ploše. Výsledný obraz podle PV 2019-167 obsahuje pouze ty oblasti, které jsou vzhledem k původnímu obrazu jasovou složkou anomální, resp. obsahují ostrý jasový přechod.
Řešení podle předkládaného vynálezu zpracovává výstupní obraz PV 2019-167 pomocí shlukování metodou typu K-means, která zajistí diferenciaci jednotlivých anomálií. Výhodou je zejména to, že výsledné obrazové anomálie v podobě pixelů jsou přiřazeny do jednoznačných množin a je tedy zřejmé, které pixely jsou příslušné k určitému znaku.
Řešení podle předkládaného vynálezu tak přidává další krok, kterým se zvyšuje pravděpodobnost odhadu pozice hledaných anomálií v obraze, tedy zařízení podle předkládaného vynálezu je např. schopné odfiltrovat ostrý stín, který dělí snímaný obraz a zároveň ponechá hledané oblasti v obraze, kde se nacházejí například písmena a čísla. Obecně lze řešením podle tohoto vynálezu zpracovat i jakékoliv vstupní obrazy s anomáliemi, které jsou binarizované.
Podstata vynálezu
Podstatou vynálezu je dodatečné zpracování předem upraveného digitálního obrazu.
Obvykle se v průmyslových aplikacích provádí stanovení okolních podmínek při pořizování obrazu. Pokud j e vyhodnocována určitá oblast v obraze například průmyslovou kamerou, j e kladen vysoký důraz na dodržení referenčních podmínek. Pokud se například změní intenzita osvětlení vlivem denní doby, změnou osvětlovacích těles, nebo v případě přítomnosti stínu ve snímané oblasti, popř. pohybujícího se stínu apod., není obraz vyhodnocován správně a dochází k falešným detekcím, nebo naopak k detekcím nedochází.
Detekcí je myšlena informace, poskytnutá zařízením pro hodnocení kvality výrobků, která odpovídá vnitřní struktuře hodnotícího algoritmu a je obecného charakteru. Například rozsvícení signalizačního světla určité barvy, vygenerování akčního zásahu programovatelným automatem apod.
Předem upraveným digitálním obrazem podle předkládaného vynálezu je myšlen obraz (obr. 1) upravený pomocí následujících kroků:
a) je vytvořen digitální obraz oblasti zájmu s možnou povrchovou vadou, anomálií, b) digitální obraz je převeden do maticové podoby,
c) je provedena redukce rozlišení obrazu pomocí průměrování pixelů v uživatelsky definovaném čtvercovém okně,
-2CZ 308990 B6
d) v redukovaném snímku je poté postupně ve směru os X a Y, provedena derivace jasových hodnot pixelů a pomocí prahování vytvořeny dva nové binarizované snímky a
e) je provedena kombinace obou obrazů formou logického součinu odpovídajících si pixelů v externím modulu se samostatným výpočetním jádrem a pamětí a vytvořen nový binarizovaný obraz a
f) v tomto obraze je provedeno vyhledání osamocených pixelů a tyto jsou z obrazu odstraněny.
Na takto upravený obraz (obr. 2) je podle předkládaného vynálezu dále aplikována metoda shlukování pixelů typu K-means, která zajistí diferenciaci jednotlivých anomálií vhodných k dalšímu zpracování.
Metoda shlukování typu K-means je jedna z nejjednodušších a nej používanějších ne hierarchických metod vhodných pro strojového učení. Metoda vychází z premisy, že shlukované body leží v obecné euklidovském prostoru. Počet shluků je obvykle předem definovaný a vychází ze znalosti oblasti použití, popř. ze znalosti CO vlastně shlukujeme a CO od toho očekáváme. Shluk (množina) je jasně definován svým středem, který leží ve stejném prostoru, jako shlukované body (pixely). Body náleží do toho shluku, kterému středu jsou nejblíže. Počáteční náhodná (random) definice souřadnice středu se iterativně upravuje tak, že se vypočítá těžiště přiřazených bodů a k novému středu se přiřadí další body, a tak stále dokola, dokud není rozdíl mezi dvěma po sobě jdoucími iteracemi pod uživatelsky definovanou mezí.
K danému středu se vypočítá euklidovská vzdálenost každého přiřazeného bodu, resp. mezi i-tým a j-tým objektem, dle následující rovnice.
Kritérium pro ukončení iterací je výpočet a minimalizace chyby SSE dle následující rovnice k
SSE =ΣΣ cl(x, m^2 j=lXECj kde Cj je j-tý shluk, nij je střed shluku Q a d(x,nij), Deje Euklidovská vzdálenost mezi body x a středem shluku nij.
Na obr. 3 je demonstrace náhodného souboru bodů a jejich náhodné přiřazení do dvou množin, odpovídající jejich barvě. Obrázek 4. potom vyjadřuje rozmístění bodů do dvou shluků po 22 iteracích, kdy zelené a černé kruhy zobrazují postupnou migraci středů obou shluků. Z obr. 4 je jasně patrné, že došlo k jednoznačnému přiřazení všech bodů nejvhodnějším shlukům. Tento stav je možné s výhodou využít pro jasné vymezení pixelů k daným znakům v obraze.
Data odpovídající vybrané oblasti zájmu mohou být dále poskytnuta například zařízení pro hodnocení kvality výrobků, které detekuje přítomnost vad. Zařízení pro hodnocení kvality výrobků pak signalizuje zjištění vady například rozsvícením signalizačního světla určité barvy, vygenerováním akčního zásahu programovatelným automatem apod.
Výsledný obraz obsahuje pouze ty oblasti, které jsou vzhledem k původnímu obrazu jasovou složkou anomální, resp. obsahují ostrý jasový přechod odpovídající definici uživatele zařízení. Navíc jsou anomální složky, resp. Jednotlivé pixely přiřazeny určité množině, shluku, a je možné tak lépe posoudit jejich význam. Zjednodušeně je možné říci, že např. dvě čísla vedle sebe podmíní vznik dvou samostatných množin, ke kterým budou přiřazeny obrazové pixely dle příslušnosti k danému číslu. Jedná se tedy o jednoznačné přiřazení obrazových bodů určité oblasti v obraze a je tedy možné s vysokou pravděpodobností předpokládat, že obrazové body v jedné množině jsou
-3CZ 308990 B6 vůči sobě v určitém vztahu. Uvedený způsob zpracování je svou podstatou imunní vůči plynulým změnám jasu v obraze a nedetekuje tyto přechody jako anomálie.
Způsob vyhodnocení obrazu podle vynálezu je velmi robustní a není významně ovlivněn uvedenými negativními vlivy, znehodnocujícími správnou analýzu obrazu.
Podstatou vynálezu je také zařízení pro zpracování digitálního obrazu, které má ve výpočetní části integrován mikrokontroler.
Zařízení pro zpracování obrazu se skládá z digitální kamery a výpočetní části, které jsou spolu propojeny prostřednictvím přenosového média.
Digitální kamera obsahuje přizpůsobovací obvody analogové části CCD nebo CMOS a komunikační rozhraní pro přenos digitalizovaných dat, které jsou spolu jednosměrně propojeny.
Výpočetní část je tvořena jednotkou zpracování dat s CPU, rozhraním pro styk s okolím, řídicím a ovládacím modulem, vyhodnocovacím a diagnostickým modulem a externím modulem se samostatným výpočetním jádrem a pamětí.
Vyhodnocovací a diagnostický modul, řídicí a ovládací modul a rozhraní pro styk s okolím jsou obousměrně propojeny s jednotkou zpracování dat s CPU. S jednotkou zpracování dat s CPU je dále prostřednictvím rozhraní pro styk s okolím obousměrně propojen také externí modul se samostatným výpočetním jádrem a pamětí.
Ve vyhodnocovacím a diagnostickém modulu jsou integrovány algoritmus zmenšení obrazu průměrováním dle velikosti čtvercového okna, algoritmus derivace bezprostředně sousedících pixelů v ploše a binarizace obrazu, algoritmus filtru osamocených pixelů v obraze s definovaným detekčním rádiem, algoritmus histogramu výskytu anomálií v obraze a algoritmus odhadu pozice hledaných objektů. V řídicím a ovládacím moduluje integrován obecný ovládací a řídicí software pro chod zařízení.
Externí modul se skládá z jednočipového mikrokontroléru, nutných elektronických součástek pro zabezpečení funkce mikrokontroléru, paměti typu RAM a napájecího zdroje. Externí modul komunikuje s jednotkou zpracování dat s CPU pomocí rozhraní pro styk s okolím, které dovoluje přenášet data obousměrně. Součástí mikrokontroléru externího modulu je jednoúčelový program, který na vyžádání provádí jednu a tutéž operaci nad maticí dat, kteráje přítomna v operační paměti RAM. Ve své podstatě se jedná o paralelní zpracování dat, kdy matematické operace nad daty nezatěžují hlavní jednotku zpracování dat s CPU a je tedy možné zpracovat více dat za jednotku času. Daty je myšlena matice, obsahující jasové složky pixelů.
Využití řešení podle vynálezu je možné například v prostředí automatizace, obecně při detekci povrchových vad při výrobě, v medicíně při hodnocení anomálií, při hledání určitých znaků na velké ploše, při hodnocení kvalitativních parametrů výrobků apod.
Objasnění výkresů
Vynález je blíže osvětlen s pomocí výkresů, na kterých je:
na obr. 1 originální obraz z digitální kamery před úpravami, na obr. 2 je obraz vzniklý kombinací obrazů derivovaných v osách X a Y logickým součinem AND, na obr. 3 je demonstrace náhodného souboru bodů a jejich náhodné přiřazení do dvou množin,
-4CZ 308990 B6 na obr. 4 je rozmístění bodů do dvou shluků po 22 iteracích, na obr. 5 blokové schéma zařízení pro zpracování obrazu.
Příklady uskutečnění vynálezu
Příklad 1
Zařízení 1 pro zpracování obrazu metodou postupného gradientu jasu obrazových pixelů v ploše se shlukováním typu K-means je podle obrázku 5 tvořeno digitální kamerou 2, která je prostřednictvím přenosového média 6 jednosměrně propojena s výpočetní částí 3. Digitální kamera 2 obsahuje přizpůsobovací obvody 4 analogové části CCD nebo CMOS a komunikační rozhraní 5 pro přenos digitalizovaných dat. Přizpůsobovací obvod 4 je jednosměrně propojen s komunikačním rozhraním 5.
Výpočetní část 3 je tvořena jednotkou 7 zpracování dat s CPU, rozhraním 9 pro styk s okolím, řídicím a ovládacím modulem 10. vyhodnocovacím a diagnostickým modulem 8, mikrokontrolerem 12 a externím modulem 11 se samostatným výpočetním jádrem a pamětí.
Jednotka 7 je s modulem 8, rozhraním 9, modulem 10 amikrokontrolerem 12 spojena obousměrně. Jednotka 7 je dále prostřednictvím rozhraní 9 obousměrně propojena s externím modulem 11.
V modulu 8 jsou integrovány algoritmus zmenšení obrazu průměrováním dle velikosti čtvercového okna, algoritmus derivace bezprostředně sousedících pixelů v ploše a binarizace obrazu, algoritmus kombinace obou obrazů formou logického součinu odpovídajících si pixelů, algoritmus filtru osamocených pixelů v obraze s definovaným detekčním rádiem, algoritmus histogramu výskytu anomálií v obraze a algoritmus odhadu pozice hledaných objektů metodou shlukování pixelů typu K-means.
V modulu 10 je integrován obecný ovládací a řídicí software pro chod zařízení L
Zařízení 1 pro zpracování obrazu metodou postupného gradientu jasu obrazových pixelů v ploše pořídí prostřednictvím digitální kamery 2 obraz oblasti zájmu - vyražené číslo na ocelovém sochoru. Digitální obraz vzniká pomocí přizpůsobovacích obvodů 4 analogové části CCD nebo CMOS digitální kamery. Digitální obraz je převeden do maticové podoby, kdy každému pixelů odpovídá vždy jedna konkrétní buňka matice. Digitální obraz má rozlišení 1920 x 1080, resp. velikost matice odpovídá hodnotě 1920 ve směru osy X a 1080 ve směru Y.
Následně je obraz ve formě matice buněk přenesen pomocí komunikačního rozhraní 5 pro přenos digitalizovaných dat skrz přenosové médium 6, do výpočetní části 3 zařízení. Ve výpočetní části 3 je přítomná jednotka 7 zpracování dat s CPU, která iniciuje soustavu algoritmů obsažených ve vyhodnocovacím a diagnostickém modulu 8. V prvním kroku je provedena redukce rozlišení obrazu algoritmem pro zmenšení obrazu průměrováním, kdy je průměrování pixelů provedeno v uživatelsky definovaném čtvercovém okně. Pro redukci je použita velikost okna 5.
V redukovaném snímkuje poté ve směru osy X a osy Y provedena derivace jasových hodnot pixelů a pomocí prahování vytvořen binarizovaný snímek obsahující pouze černé a bílé pixely. Dále jsou pomocí prahování vytvořeny dva nové binarizované snímky. Jeden z těchto nových binarizovaných snímků odpovídá derivaci pixelů v ose X a druhý odpovídá derivaci pixelů v ose Y. Celý tento úkon je proveden pomocí algoritmu derivace bezprostředně sousedících pixelů v ploše a binarizace obrazu.
-5CZ 308990 B6
Dále je provedena kombinace obou vzniklých obrazů v externím modulu 11 se samostatným výpočetním jádrem a pamětí, který je obousměrně propojen s rozhraním 9 pro styk s okolím. Kombinace obou vzniklých obrazů formou logického součinu odpovídajících si pixelů je z důvodu distribuce výpočetní náročnosti celého procesu čištění obrazu provedena v externím modulu 11, kde dochází k vytvoření nového obrazu s výrazným potlačením šumu a zvýrazněním hran anomálií v obraze. Anomálií jsou myšleny takové shluky pixelů, které svou podstatou nezapadají do konceptu snímaného obrazu a mohou představovat, např. povrchové vady. Příkladem může být snímek lakovaného povrchu s odprýsknutým kusem laku. Nově vytvořený obraz je pomocí rozhraní 9 přenesen zpět do jednotky 7 zpracování dat s CPU.
V jednotce 7 zpracování dat s CPU je dále provedena detekce osamocených pixelů v obraze, kdy je nastavena hodnota detekčního rádiusu 64, stanovená pomocí modulu 10. Tento úkon je proveden pomocí algoritmu filtrace osamocených pixelů v obraze.
Uvedeným postupem vznikne upravený obraz, který obsahuje pouze fragmenty původního originálního obrazu získaného pomocí digitální kamery 2.
V mikrokontroleru 12 je poté v binarizovaném obrazu provedeno shlukování osamocených pixelů metodou K-means, kdy pixely jsou přiřazeny do toho shluku, jehož středu jsou nejblíže. Počáteční náhodná definice souřadnic středů se iterativně upravuje tak, že se vypočítá těžiště přiřazených bodů a k novému středu se přiřazují další pixely. K danému středu se vypočítá euklidovská vzdálenost každého přiřazeného pixelů, dle následující rovnice.
Tento postup se opakuje tak dlouho, dokud není rozdíl mezi dvěma po sobě jdoucími iteracemi pod uživatelsky definovanou mezí. Kritérium pro ukončení iterací je výpočet a minimalizace chyby SSE dle následující rovnice k
SSE =ΣΣ d^x,mjY j=lXECj kde Cj je j-tý shluk, nij je střed shluku Cj a d(x,nij), Deje Euklidovská vzdálenost mezi body x a středem shluku nij. Vytvořené shluky jsou poté jasně definovány svými středy a k nim náležejícími pixely a mají přímou souvislost s hledanými anomáliemi v obraze. Shluky jsou poté transponovány na originální obraz a odpovídající pixely jsou předloženy umělé neuronové síti k dalšímu posouzení.
Průmyslová využitelnost
Vynález lze využít všude tam, kde je potřeba zpracovat takový obraz, který obsahuje soustavu samostatných, jasně oddělených objektů, například čísla. Výsledná detekce anomálií není závislá na změnách nasvětlení předlohy, na přítomnosti rušivého pozadí, znesnadňující detekci anomálií (rýhy po kotoučové pile, jasový gradient světla čelní strany objektu jako důsledek stříhání, jasový gradient světla čelní strany objektu při pálení plazmou, intenzivní stíny) apod.
Claims (1)
- PATENTOVÉ NÁROKY1. Způsob zpracování předzpracovaného obrazu, kde způsob zpracování zahrnuje následující kroky:a) je vytvořen digitální obraz oblasti zájmu s možnou povrchovou vadou, anomálií,b) digitální obraz je převeden do maticové podoby,c) je provedena redukce rozlišení obrazu pomocí průměrování pixelů v uživatelsky definovaném čtvercovém okně,d) v redukovaném snímku je poté postupně ve směru os X a Y, provedena derivace jasových hodnot pixelů a pomocí prahování vytvořeny dva nové binarizované snímky ae) je provedena kombinace obou obrazů formou logického součinu odpovídajících si pixelů v externím modulu se samostatným výpočetním jádrem a pamětí a vytvořen nový binarizovaný obraz af) v tomto obraze je provedeno vyhledání osamocených pixelů a tyto jsou z obrazu odstraněny, vyznačující se tím, že následně je na obraz aplikována metoda shlukování pixelů typu K-means, kdy pixely jsou pomocí vzorceDE(xi,Xj) = JZtli(xit - Xjt)2, kde De je Euklidovská vzdálenost mezi pixely Xfij) a středem shluku a M je počet pixelů, přiřazeny do toho shluku, jehož středu jsou nejblíže a počáteční náhodná definice souřadnic středů se iterativně upravuje tak dlouho, dokud není splněna kriteriální podmínka pro ukončení iterací.Zařízení (1) pro zpracování obrazu způsobem podle nároku 1, tvořené digitální kamerou (2) a výpočetní částí (3), kde digitální kamera (2) obsahuje přizpůsobovací obvody (4) analogové části CCD nebo CMOS a komunikační rozhraní (5) pro přenos digitalizovaných dat, a kde výpočetní část (3) je tvořena jednotkou (7) zpracování dat s CPU, rozhraním (9) pro styk s okolím, řídicím a ovládacím modulem (10), vyhodnocovacím a diagnostickým modulem (8) a externím modulem (11) se samostatným výpočetním jádrem a pamětí, přičemž v modulu (8) jsou integrovány algoritmus zmenšení obrazu průměrováním dle velikosti čtvercového okna, algoritmus derivace bezprostředně sousedících pixelů ve směru os X a Y a binarizace obrazu, algoritmus kombinace obou obrazů formou logického součinu odpovídajících si pixelů, algoritmus filtru osamocených pixelů v obraze s definovaným detekčním rádiem, algoritmus histogramu výskytu anomálií v obraze a algoritmus odhadu pozice hledaných objektů metodou shlukování pixelů typu K-means, v modulu (10) je integrován obecný ovládací a řídicí software pro chod zařízení (1), digitální kamera (2) je s výpočetní částí (3) jednosměrně propojena prostřednictvím přenosového média (6), přizpůsobovací obvod (4) je jednosměrně propojen s komunikačním rozhraním (5), jednotka (7) je obousměrně propojena s modulem (8), modulem (10) a rozhraním (9), kde-7CZ 308990 B6 rozhraní (9) je dále obousměrně propojeno s externím modulem (11), vyznačující se tím, že výpočetní část (3) je dále tvořena mikrokontrolerem (12), přičemž mikrokontroler (12) je s jednotkou (7) obousměrně propojen.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CZ2020157A CZ2020157A3 (cs) | 2020-03-20 | 2020-03-20 | Způsob zpracování předzpracovaného obrazu a zařízení k provádění tohoto způsobu |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CZ2020157A CZ2020157A3 (cs) | 2020-03-20 | 2020-03-20 | Způsob zpracování předzpracovaného obrazu a zařízení k provádění tohoto způsobu |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CZ308990B6 true CZ308990B6 (cs) | 2021-11-10 |
| CZ2020157A3 CZ2020157A3 (cs) | 2021-11-10 |
Family
ID=78410344
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CZ2020157A CZ2020157A3 (cs) | 2020-03-20 | 2020-03-20 | Způsob zpracování předzpracovaného obrazu a zařízení k provádění tohoto způsobu |
Country Status (1)
| Country | Link |
|---|---|
| CZ (1) | CZ2020157A3 (cs) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100303348A1 (en) * | 2009-05-26 | 2010-12-02 | Tandent Vision Science, Inc. | Multi-resolution analysis in image segregation |
| EP2045773B1 (en) * | 2007-10-02 | 2012-02-22 | Vestel Elektronik Sanayi ve Ticaret A.S. | Method and apparatus for changing the spatial resolution of a digital image |
| WO2016087589A1 (en) * | 2014-12-03 | 2016-06-09 | Ventana Medical Systems, Inc. | Methods, systems, and apparatuses for quantitative analysis of heterogeneous biomarker distribution |
| WO2017175231A1 (en) * | 2016-04-07 | 2017-10-12 | Carmel Haifa University Economic Corporation Ltd. | Image dehazing and restoration |
-
2020
- 2020-03-20 CZ CZ2020157A patent/CZ2020157A3/cs unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2045773B1 (en) * | 2007-10-02 | 2012-02-22 | Vestel Elektronik Sanayi ve Ticaret A.S. | Method and apparatus for changing the spatial resolution of a digital image |
| US20100303348A1 (en) * | 2009-05-26 | 2010-12-02 | Tandent Vision Science, Inc. | Multi-resolution analysis in image segregation |
| WO2016087589A1 (en) * | 2014-12-03 | 2016-06-09 | Ventana Medical Systems, Inc. | Methods, systems, and apparatuses for quantitative analysis of heterogeneous biomarker distribution |
| WO2017175231A1 (en) * | 2016-04-07 | 2017-10-12 | Carmel Haifa University Economic Corporation Ltd. | Image dehazing and restoration |
Also Published As
| Publication number | Publication date |
|---|---|
| CZ2020157A3 (cs) | 2021-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3176751B1 (en) | Information processing device, information processing method, computer-readable recording medium, and inspection system | |
| CN107808161B (zh) | 一种基于光视觉的水下目标识别方法 | |
| WO2018192662A1 (en) | Defect classification in an image or printed output | |
| CN117095005B (zh) | 一种基于机器视觉的塑料母粒质检方法及*** | |
| JP2000513466A (ja) | 無作為に向けられた製品用のカラー・パターン評価システム | |
| Ma | Defect detection and recognition of bare PCB based on computer vision | |
| CN112419261B (zh) | 具有异常点去除功能的视觉采集方法及装置 | |
| CA3194402A1 (en) | A line clearance system | |
| CN110687122A (zh) | 一种陶瓦表面裂纹检测方法及*** | |
| CN115100104A (zh) | 玻璃油墨区的缺陷检测方法、装置、设备及可读存储介质 | |
| CN117274258A (zh) | 主板图像的缺陷检测方法、***、设备及存储介质 | |
| CN115587966A (zh) | 一种在光照不均匀条件下零件有无缺漏的检测方法及*** | |
| CN107038690A (zh) | 一种基于多特征融合的运动阴影去除方法 | |
| CN107545565B (zh) | 一种太阳能网版检测方法 | |
| KR20180072020A (ko) | 이미지 데이터의 보정 방법, 장치 및 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램 | |
| CN113971681A (zh) | 一种复杂环境下带式输送机边缘检测方法 | |
| Wu et al. | Automatic gear sorting system based on monocular vision | |
| JP2005165387A (ja) | 画面のスジ欠陥検出方法及び装置並びに表示装置 | |
| CN112288682A (zh) | 基于图像配准的电力设备缺陷定位方法 | |
| Lin et al. | Detection of surface flaws on textured LED lenses using wavelet packet transform based partial least squares techniques | |
| CZ308990B6 (cs) | Způsob zpracování předzpracovaného obrazu a zařízení k provádění tohoto způsobu | |
| CN115131355B (zh) | 利用电子设备数据检测防水布异常的智能方法 | |
| JP2004296592A (ja) | 欠陥分類装置、欠陥分類方法およびプログラム | |
| CZ34042U1 (cs) | Zařízení k provádění zpracování předem zpracovaného obrazu metodou shlukování typu K-means | |
| CZ308988B6 (cs) | Způsob zpracování obrazu metodou postupného gradientu jasu obrazových pixelů v podélné ose a zařízení k provádění tohoto způsobu |