FI123049B

FI123049B - Tallentava konenäköjärjestelmä

Info

Publication number: FI123049B
Application number: FI20075604A
Authority: FI
Inventors: Antti Knuuttila
Original assignee: Mapvision Ltd Oy
Priority date: 2007-09-03
Filing date: 2007-09-03
Publication date: 2012-10-15
Also published as: EP2193329A4; FI20075604A0; US20100259608A1; JP2010538286A; WO2009030813A1; EP2193329A1; US10012500B2; FI20075604A

Description

TALLENTAVA KONENÄKÖJÄRJESTELMÄ KEKSINNÖN ALA

Keksintö liittyy mittaustekniikkaan ja erityisesti kappaleiden mittaamiseen konenäköjärjestel-5 millä.

KEKSINNÖN TAUSTA

Teollisten valmistusprosessien yhteydessä suoritetaan suuri määrä mittauksia niin kappaleen valio mistamisen kuin laadunvalvonnan yhteydessä. Perintei sesti näitä mittauksia on suoritettu koordinaattimittauskoneella. Tällaisessa järjestelmässä mittausjärjestelmä mittaa kappaleesta halutut pisteet mekaanisesti koettamalla. Perinteisen järjestelmän etuja ovat 15 suuri tarkkuus ja sovellusten lukumäärä. Mittausjär jestelmän heikkous on sen hitaus. Lisäksi tällaiset järjestelmät eivät havaitse kaikkia poikkeamia mitattavassa kappaleessa. Jos esimerkiksi mitataan kappaleeseen tehtyä reikää, se mitataan koettamalla haluttu 20 määrä pisteitä reiän kehältä. Mikäli kappaleessa on virheellinen kohta, se havaitaan ainoastaan silloin, kun mittalaitteen koetin osuu virheelliseen kohtaan.

Tämän ongelman ratkaisemiseksi on kehitetty erilaisia konenäköjärjestelmiä, jotka näkevät kappa-25 leen kokonaisuutena ja pystyvät havaitsemaan kappa leesta poikkeavat muodot. Erityisen edullisia ko-

C\J

^ nenäköjärjestelmiä ovat sellaiset, joissa mittaavan ^ järjestelmän kamerat ja osoitinlaite on kalibroitu sa- Γ1'' S5 maan mittausavaruuteen. Edullisesti tämä mittausava- co 30 ruus on kolmiulotteinen. Tällainen järjestelmä esite-

Er tään esimerkiksi patenttijulkaisussa W002086418.

CL

Edellä kuvattujen järjestelmien käyttö laa- § dunvalvontaan on erityisen hyödyllistä liukuhihnateol- ^ lisuudessa, jossa kappaleita valmistetaan hyvin suuria o c\j 35 määriä. Tällaisessa teollisuudessa työntekijät eivät voi tarkistaa jokaista valmistettua kappaletta. Vas- 2 taava tarve esiintyy myös teollisuudella, joka käyttää näitä kappaleita omissa tuotteissaan. Esimerkiksi autoteollisuudelle on hyvin tärkeää, että heidän valmistamansa tuotteet ovat käyttäjille turvallisia. Tämän 5 vuoksi laadun tulisi olla ensiluokkaista. Mikäli jossakin komponentissa epäillään virhettä, tuloksena voi olla tarkistuskampanja, jossa autoja kutsutaan huoltoon tiettyjen osien tarkastamiseksi. Tämä on välttämätöntä erityisesti niissä tapauksissa, jossa osa voi 10 särkyä äkillisesti ja aiheuttaa vakavan vaaratilanteen. Tyypillisesti tällainen kampanja on erittäin kallis, sillä viallisten osien määrää ei pystytä rajaamaan tarkasti, vaan mahdollisesti viallisia tarkastetaan varmuuden vuoksi suurempi määrä, kuin mitä vi-15 allisia on todellisuudessa valmistettu. Lisäksi on mahdollista, että vika esiintyy kappaleen sellaisessa kohdassa, jota ei ole mitattu valmistusvaiheessa esimerkiksi sen vuoksi, että mittausta ei ole kyetty tekemään. Esimerkiksi hitsaussaumojen laadun mittaaminen 20 konenäköjärjestelmällä on tunnetusti vaikea ongelma.

Edellä mainittujen seikkojen vuoksi on ilmeinen tarve parannetuille mittausjärjestelmille, jotka kykenevät ratkaisemaan tunnetun tekniikan mukaisten järjestelmien ongelmat ja siten parantamaan mittaustu-25 losten luotettavuutta ja mittaustiedon hyväksikäyttöä.

KEKSINNÖN YHTEENVETO c\j o Keksinnön tarkoituksena on tuoda esille uuden c\j rl tyyppinen mittausjärjestelmä, jonka avulla on mahdol- o ' 30 lista suorittaa uusia mittauksia aiemmin mitatuille 00 kappaleille ilman uutta fyysistä mittaustapahtumaa.

X

£ Esillä oleva mittausjärjestelmä hyödyntää g tunnetun tekniikan mukaista kalibroitua konenäköjär- ίο jestelmää. Järjestelmä kykenee tallentamaan mittausku- r-- § 35 vat sekä mittajärjestelmän kalibrointitiedot. Kalib- ^ rointitietojen sijasta voidaan tallentaa myös ne tie dot, jotka vaaditaan varsinaisen kalibrointitiedon 3 laskemiseksi. Nämä tiedot tallennetaan tietokantaan, josta ne voidaan myöhemmin noutaa, mikäli uudet mittaukset ovat tarpeellisia. Uusia mittauksia suoritettaessa mittausjärjestelmän ottamat kuvat ja kalibrointi-5 data yhdistetään uusien mittauksien suorittamiseksi. Mittaukset on mahdollista ohjelmoida eräajoksi, jolloin hyvin suurikin määrä kappaleita voidaan mitata uudestaan tai niistä voidaan mitata uusia ominaisuuksia tai kohteita.

10 Eräässä keksinnön mukaisessa sovelluksessa keksinnön mukaista menetelmää sovelletaan mittaavassa konenäköjärjestelmässä kappaleen mittaamiseksi, joka konenäköjärjestelmä on kalibroitu mittausavaruuteen. Kappale voidaan varustaa yksilöllisellä tunnisteella. 15 Järjestelmä käsittää kamerajärjestelmän käsittäen vä hintään kaksi kameraa ja tietojärjestelmän, joka on yhdistetty mainittuun kamerajärjestelmään. Keksinnölle on tunnuksenomaista se, että järjestelmä on järjestetty mittaamaan kappaletta kamerajärjestelmän avulla, 20 tallentamaan kuvat tietojärjestelmään ja liittämään mainittujen tallennettujen kuvien yhteyteen kyseisen mittaustapahtuman kalibrointitiedot. Eräässä keksinnön mukaisessa sovelluksessa järjestelmä edelleen käsittää osoitinlaitteen, joka on kalibroitu samaan mittausava-25 ruuteen mainitun kamerajärjestelmän kanssa.

Eräässä keksinnön mukaisessa sovelluksessa järjestelmä edelleen käsittää tietovaraston mainittu-c\j £ jen kuvien ja vastaavien mittaustapahtumien tallentaen , , miseksi.

S5 30 Eräässä keksinnön mukaisessa sovelluksessa co mittausjärjestelmä on järjestetty kalibroimaan itsensä ir jokaisen mittauksen jälkeen. Järjestelmä on tyypilli-

CL

sesti kalibroitu kolmiulotteiseen mittausavaruuteen.

§ Erässä keksinnön mukaisessa sovelluksessa m ^ 35 mittausjärjestelmä on edelleen järjestetty suoritta en en maan kappaleen uudelleen mittaus tallennettujen kuvien ja mittaustapahtuman kalibrointitietojen perusteella.

4

Kappaleiden uudelleen mittauksessa voidaan suorittaa halutut mittaukset uudelleen. Ne voivat olla samat mittaukset kuin alkuperäisessä mittauksessa tai kokonaan uudet piirteet. Samojen mittauksien toistaminen 5 voi olla edullista, mikäli mittaukseen käytettävät algoritmit ja tekniikat ovat kehittyneet parempien tuloksien saamiseksi.

Esillä olevan keksinnön etu on kappaleiden laatuvalvonnan parantaminen jälkikäteen tehtävillä 10 mittauksilla. Tyypillisesti kappaleita valmistetaan suuria määriä ja on tyypillistä, että suuresta sarjasta ainoastaan osa kappaleista on viallisia. Perinteinen tapa korjata ongelma on tarkastaa kaikki lopputuotteet, jotka sisältävät osia viallisesta sarjasta. 15 Tämä on erityisen tärkeää tuotteissa, jotka voivat aiheuttaa vaaratilanteita käyttäjilleen. Esimerkkejä tällaisista tuotteista ovat kulkuneuvot sekä sähkölaitteet. Vialliset osat kulkuneuvoissa voivat aiheuttaa esimerkiksi liikenneonnettomuuksia ja vialliset 20 osat sähkölaitteissa voivat aiheuttaa esimerkiksi tu lipaloja. Mikäli osat ja lopputuotteet on varustettu yksilöllisellä tunnisteella, niin silloin on mahdollista jäljittää vialliset yksilöt eikä kalliita seulontatarkastuksia tarvita.

25 Koska täydellisen laadun saavuttaminen kus tannustehokkaasti on mahdotonta, on olemassa ilmeinen

tarve menetelmälle ja järjestelmälle, jolla voidaan CM

£ varmistaa kustannustehokkaasti valmistettujen kappa- ^ leiden laatu. Koska laadunvarmistusjärjestelmät eivät r-- 9 30 ole täydellisiä, on olemassa tarve järjestelmälle, m jolla voidaan varmistaa kappaleiden laatu myös kappale leen toimittamisen jälkeen. Esillä oleva keksintö tar-

CL

joaa ratkaisun tähän ongelmaan, o

CD

£ 35 KUVIOLUETTELO

o

Kuvio 1 esittää erästä keksinnön mukaista menetelmää, ja 5 kuvio 2 esittää erästä keksinnön mukaista j ärj estelmää.

5 KEKSINNÖN YKSITYISKOHTAINEN KUVAUS

Kuviossa 1 esitetään erästä esillä olevan keksinnön mukaista menetelmää. Esillä olevan keksinnön mukaista järjestelmää käytettäessä mittausjärjestelmä täytyy kalibroida, vaihe 10. Mittausjärjestelmiä on 10 erilaisia ja niitä voidaan kalibroida useilla eri tavoilla. Esimerkiksi mittausjärjestelmään voi kuulua joukko kameroita sekä osoitinlaitteita tai muita valaisimia. Tyypillisesti järjestelmä kalibroidaan kolmiulotteiseen mittausavaruuteen, mutta se voidaan ka-15 libroida myös mihin tahansa muuhun mittausavaruuteen. Esillä olevan keksinnön kannalta olennaista on se, että kaikki oleellinen kalibrointitieto voidaan tallentaa ja liittää mittaustapahtuman yhteyteen. Kalibrointi voidaan toistaa tietyn väliajoin tai jopa jokaisen 20 mittauksen välillä.

Kun järjestelmä on kalibroitu, voidaan suorittaa varsinainen mittaus, vaihe 11. Myös erilaisia mittaustapahtumia on useita erilaisia. Esimerkiksi mikäli järjestelmässä on suuri määrä mittaavia kameroi-25 ta, tietyissä mittauksissa voidaan käyttää ainoastaan osaa järjestelmään asennetuista kameroista. Tämä ei vaikuta mittaustuloksen tarkkuuteen, sillä tyypilli-^ sesti kaikki mitattavat yksityiskohdat eivät näy kai- q kille kameroille.

^ 30 Lopuksi suoritetut kalibrointitiedot ja mit- x taustulokset tallennetaan arkistoitavaksi, vaihe 12.

cr “ Mittaustulokset ja kalibrointitiedot tallennetaan si- o ten, että jokaista mittaustapahtumaa vastaava kalib- rointitieto voidaan noutaa myöhemmin. Tämä voidaan o o 35 tehdä esimerkiksi luomalla arkisto, jossa jokaisen mittaustuloksen yhteyteen on tallennettu vastaava ka- 6 librointitieto tai mikäli kalibrointitietoa ei haluta tallentaa jokaisen mittaustuloksen yhteyteen, luodaan viittausjärjestelmä ja mittauksen yhteyteen liitetään kalibrointitiedoston viite, joka tallennetaan tieto-5 järjestelmään erilleen. Tyypillisesti mittausjärjes telmä on kameroilla kuvaava mittausjärjestelmä, joten mittaustapahtuman tallennettavat tiedot ovat joukko kuvia. Näiden kuvien yhteyteen voidaan liittää tieto siitä, millä mittausjärjestelmän osalla kappaletta on 10 kuvattu sekä sitä vastaava kalibrointitieto tai viite kalibrointitietoon. Mikäli mittaustapahtumassa käytetään osoitinlaitetta, esimerkiksi laser-osoitinta, myös siihen liittyvä tieto voidaan tallentaa.

Edellä mainitulla tavalla saatuja mittausta-15 pahtumia voidaan tarkastella myöhemmin. Esimerkiksi, jos tiedetään, että johonkin tiettyyn valmistussarjaan liittyy viallisia kappaleita, koko valmistussarjaa vastaavat mittaustapahtumat voidaan käydä läpi. Jokaiseen kappaleeseen täytyy liittää tunnistetieto, jonka 20 perusteella kappale voidaan myöhemmin jäljittää. Esi merkiksi, mikäli valmistettava kappale on autoon liitettävä kampiakseli, valmistajan täytyy liittää kampiakseliin tunnistetieto, jonka perusteella juuri sen kyseisen kampiakselin mittaustapahtuma voidaan noutaa 25 tietokannasta. Tämän jälkeen kappale voidaan mitata uudestaan. Jotta tämä tieto olisi erityisen hyödyllinen, autonvalmistajan täytyy tietää, mihin autoon tämä

CM

£ kyseinen kampiakseli on asennettu. Mikäli kampiakseli ^ osoittautuu uusintamittauksessa vialliseksi, se täytyy ? 30 vaihtaa. Esillä olevaa keksintöä hyödyntämällä kam- co piakselin vaihtaminen voidaan kohdentaa tiettyihin au- ί töihin, joissa vika esiintyy. Samaa vikaa voidaan et-

CL

. siä kaikista samaan valmistussarjaan kuuluvista kam- § piakseleista ja kaikki vialliset yksilöt voidaan kut-

LO

^ 35 sua vaihdettavaksi, o cm Esillä olevan keksinnön mukainen menetelmä mahdollistaa myös sellaisten mittausten tekemisen jäi- 7 kikäteen, joita ei pystytty valmistuksen aikaisilla mittalaitteilla mittaamaan. Esimerkiksi hitsaussaumo-jen mittaaminen kuvasta on erittäin vaikea tehtävä perinteisille konenäkömittausjärjestelmille. Tekniikan 5 kehittyessä mittauksia voidaan tehdä luotettavammin ja on mahdollista, että tulevaisuudessa luotettavammissa mittauksissa voidaan havaita virheellinen hitsaus-sauma. Nämä vialliset hitsaussaumat voidaan sitten tunnistaa mittaustapahtumista, mikäli uuden tekniikan 10 mukaista menetelmää sovelletaan kaikkiin tallennettuihin mittaustapahtumiin. Esillä olevan keksinnön mukainen menetelmä mahdollistaa siten kappaleiden laadunvalvonnan siten, että epäilyksen alla olevia kappaleita ei tarvitse tarkastella fyysisesti, vaan tallenne-15 tusta mittaustapahtumien joukosta voidaan löytää vialliset yksilöt käsittelemällä mittaustapahtumat kehittyneillä mittausmenetelmillä.

Kuviossa 2 esitetään erästä esillä olevan keksinnön mukaista järjestelmää. Kuvion 2 järjestelmä 20 käsittää konenäköjärjestelmän, jossa on kolme kameraa 23 - 25. Kameroiden lukumäärä vaihtelee sovelluksen mukaan, mutta tyypillisesti kameroiden lukumäärää lisäämällä voidaan parantaa mittausten luotettavuutta. Kameroiden lukumäärää rajoittava tekijä nykyisellään 25 on hinta, joten on ilmeistä, että tulevaisuudessa järjestelmissä on huomattavasti enemmän kameroita. Kamerat 23 - 25 on vastaavasti kiinnitetty tukiin 20 - 22.

C\J

^ Tuet voivat olla mitä tahansa rakenteita, jotka pysty- ^ tään kiinnittämään konenäköjärjestelmän tukirakentei- S5 30 siin mahdollisimman paikallaan pysyvästi. Kiinteä ra- co kenne, jota ei ole esitetty tässä, voi olla esimerkik- jr si metallinen kehikko. Kuviossa 2 kameroilla 23 - 25 Q_ . kuvataan kappaletta 26. Kamerat 23 - 25 on edelleen § yhdistetty tietojärjestelmään 27 kuvien tallentamisek-

LO

^ 35 si ja mittaustapahtuman laskemiseksi. Tietojärjestelmä o cvj 27 voidaan edelleen yhdistää muihin mittausta avusta viin laitteisiin.

8

Tyypillisesti tietojärjestelmä 27 on edelleen yhdistetty tietokantapalvelimeen 28. Tämä on edullista sen vuoksi, että tietokantapalvelin 28 voidaan sijoittaa vapaammin pois tehdasympäristöstä. Koska tietokan-5 tapalvelimeen 28 tallennetaan hyvin suuri määrä kuvia ja siihen liittyviä kalibrointitietoja kuviossa 1 esitetyn menetelmän mukaisesti, käytettävän tallennusjär-jestelmän tulee olla suuri kapasiteetiltaan. Tallennus j ärj estelmiä on olemassa useita erilaisia vaihtoeh-10 toja ja valinta tulee tehdä tallennettavan tiedon määrän mukaan. Tallennettuja tietoja voidaan myös poistaa. Järjestelmä on mahdollista yhdistää esimerkiksi huoltamoiden ja romuttamojen tietojärjestelmiin, jolloin osan mittaustiedot voidaan poistaa silloin kun 15 osa tai lopputuote poistetaan käytöstä. Esimerkiksi autoteollisuuden tapauksessa silloin, kun auto romutetaan. Toisaalta, on myös mahdollista, että mittausta-pahtumat tallennetaan esimerkiksi nauhoille, jotka tuhotaan kokonaisuudessaan esimerkiksi kymmenen vuoden 20 arkistoinnin jälkeen.

Koska kaikki varsinaiset mittaustulokset saadaan tietojärjestelmän 27 käsittelemästä materiaalista, mittaukset voidaan toistaa myöhemmin käyttäen samaa lähdemateriaalia. Lähdemateriaalina mittaustapah-25 tumalle toimivat kameroiden ottamat kuvat sekä kuvia vastaava kameroiden sekä mahdollisesti muiden komponenttien kalibrointitieto. Tällöin kaikki mittausta-

OJ

^ pahtumat voidaan toistaa esimerkiksi purkamalla mate- ^ riaali nauhalta ja käsittelemällä jokainen mittausta- N- ? 30 pahtuma uudestaan. Uudelleen käsittelyssä voidaan toistaa alkuperäisiä mittauksia kehittyneemmillä algo-ir ritmeilla tai suorittaa kokonaan uusia mittauksia van-

CL

hän materiaalin pohjalta. Tyypillisesti uudelleen mit-'φ § taukset tehdään eräajona, jolloin kaikkien kappaleiden n ^ 35 mittaustapahtumien toistaminen kestää tyypillisesti o c\J muutamasta tunnista useisiin päiviin. Mittaustapahtu mien toistamiseen vaadittava aika riippuu luonnolli- 9 sesti mittausmateriaalin kattavuudesta se mitattujen kappaleiden määrästä.

Keksintöä ei rajata pelkästään edellä esitettyjä sovellusesimerkkejä koskevaksi, vaan monet muun-5 nokset ovat mahdollisia pysyttäessä patenttivaatimusten määrittelemän keksinnöllisen ajatuksen puitteissa.

c\j δ

CvJ

i^.

cp δ

X

Q.

o

CD

LO

1^ o o

C\J

Claims

1. Menetelmä kappaleen mittaamiseksi mittaa-valla konenäköjärjestelmällä, joka mainittu konenäkö-järjestelmä on kalibroitu mittausavaruuteen, jossa me- 5 netelmässä: varustetaan kappale yksilöllisellä tunnuksella kuvataan kappaletta joukolla kameroita; tallennetaan kuvat tietojärjestelmään; ja liitetään mainittujen tallennettujen kuvien yhtey-10 teen kyseisen mittaustapahtuman kalibrointitiedot tai kalibrointitietojen laskemiseen tarvittavat tiedot; tunnettu siitä, että menetelmä edelleen käsittää vaiheet: suoritetaan kappaleen uudelleen mittaus tallen-15 nettujen kuvien ja mittaustapahtuman kalibrointitieto-jen perusteella; ja jäljitetään vialliset yksilöt.

2. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, että kalibroidaan mittausjärjes- 20 telmä kolmiulotteiseen mittausavaruuteen.

3. Jonkin aikaisemman patenttivaatimuksen 1 tai 2 mukainen menetelmä, tunnettu siitä, että kalibroidaan mittausjärjestelmään vähintään kaksi ka meraa .

4. Jonkin aikaisemman patenttivaatimuksen 1 - 3 mukainen menetelmä, tunnettu siitä, että kalib-^ roidaan mittausjärjestelmään osoitinlaite. δ CM

^ 5. Järjestelmä kappaleen mittaamiseksi mit es ' 30 taavalla konenäköjärjestelmällä, joka mainittu ko- 00 nenäköjärjestelmä on kalibroitu mittausavaruuteen, jo- x £ ka järjestelmä käsittää: mitattavan kappaleen (26); o kamerajärjestelmän käsittäen vähintään kaksi kame- o 35 raa (23 - 25) ; ja o CM tietojärjestelmän (27), joka on yhdistetty mainittuun kamerajärjestelmään, joka järjestelmä on järjestetty: 5 varustamaan kappale yksilöllisellä tunnuksella mittaamaan kappaletta kamerajärjestelmän avulla; tallentamaan kuvat tietojärjestelmään; liittämään mainittujen tallennettujen kuvien yhteyteen kyseisen mittaustapahtuman kalibrointitiedot 10 tai kalibrointitietojen laskemiseen vaadittavat tiedot; tunnettu siitä, että järjestelmä on edelleen j ärj estetty: suorittamaan kappaleen uudelleen mittaus tallen-15 nettujen kuvien ja mittaustapahtuman kalibrointitieto-jen perusteella; ja jäljittämään vialliset yksilöt.

6. Patenttivaatimuksen 5 mukainen järjestelmä, tunnettu siitä, että järjestelmä edelleen kä- 20 sittää ulkoisen tietovaraston (28) mainittujen kuvien ja vastaavien mittaustapahtumien tallentamiseksi.

7. Patenttivaatimuksen 5 tai 6 mukainen järjestelmä, tunnettu siitä, että järjestelmä edelleen käsittää osoitinlaitteen, joka on kalibroitu sa- 25 maan mittausavaruuteen mainitun kamerajärjestelmän kanssa.

8. Jonkin aikaisemman patenttivaatimuksen 5 - CM „ £ 7 mukainen järjestelmä, tunnettu siitä, että mit- ^ tausjärjestelmä on järjestetty kalibroimaan itsensä 9 30 jokaisen mittauksen jälkeen. co

9. Jonkin aikaisemman patenttivaatimuksen 5 - g 8 mukainen järjestelmä, tunnettu siitä, että mit- CL tausjärjestelmä on kalibroitu kolmiulotteiseen mitta-§ usavaruuteen. ΙΓ) ^ 35

10. Jonkin aikaisemman patenttivaatimuksen 5 o cm - 9 mukainen järjestelmä, tunnettu siitä, että mittausjärjestelmä on edelleen järjestetty suoritta- maan kappaleen uudelleen mittaus tallennettujen kuvien ja mittaustapahtuman kalibrointitietojen perusteella. c\j δ c\j i 1^ o δ X cc CL o CD m o o c\j PATE N TKRAV