NL2022442B1 - Positiebepalingsinrichting - Google Patents

Positiebepalingsinrichting Download PDF

Info

Publication number
NL2022442B1
NL2022442B1 NL2022442A NL2022442A NL2022442B1 NL 2022442 B1 NL2022442 B1 NL 2022442B1 NL 2022442 A NL2022442 A NL 2022442A NL 2022442 A NL2022442 A NL 2022442A NL 2022442 B1 NL2022442 B1 NL 2022442B1
Authority
NL
Netherlands
Prior art keywords
image
pixels
determining
milking
camera
Prior art date
Application number
NL2022442A
Other languages
English (en)
Other versions
NL2022442A (nl
Inventor
Ivan Ganeff Martin
De Waard Nicky
Original Assignee
Lely Patent Nv
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lely Patent Nv filed Critical Lely Patent Nv
Priority to NL2022442A priority Critical patent/NL2022442B1/nl
Publication of NL2022442A publication Critical patent/NL2022442A/nl
Application granted granted Critical
Publication of NL2022442B1 publication Critical patent/NL2022442B1/nl
Priority to CN202010070452.2A priority patent/CN111466295B/zh
Priority to US17/422,293 priority patent/US12039792B2/en
Priority to EP20703308.5A priority patent/EP3915044A1/en
Priority to PCT/NL2020/050035 priority patent/WO2020153844A1/en
Priority to CA3125426A priority patent/CA3125426A1/en

Links

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01JMANUFACTURE OF DAIRY PRODUCTS
    • A01J5/00Milking machines or devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/647Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01JMANUFACTURE OF DAIRY PRODUCTS
    • A01J5/00Milking machines or devices
    • A01J5/007Monitoring milking processes; Control or regulation of milking machines
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01JMANUFACTURE OF DAIRY PRODUCTS
    • A01J5/00Milking machines or devices
    • A01J5/017Automatic attaching or detaching of clusters
    • A01J5/0175Attaching of clusters
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01JMANUFACTURE OF DAIRY PRODUCTS
    • A01J7/00Accessories for milking machines or devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G01B11/0608Height gauges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145Illumination specially adapted for pattern recognition, e.g. using gratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12Acquisition of 3D measurements of objects
    • G06V2201/121Acquisition of 3D measurements of objects using special illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Environmental Sciences (AREA)
  • Animal Husbandry (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Verschaft is een Positiebepalingsinrichting, en een melkinrichting daarmee, voor bepalen van een relatieve positie van een object, omvattende een 3D time-of-flightcamera met een 2D-rangschikking van beeldpunten, ingericht voor, in het bijzonder herhaaldelijk, opnemen van een beeld van de ruimte, en een ermee verbonden besturing met een beeldverwerkingsinrichting. De 3D time-of-flightcamera heeft een bestuurbare lichtbron, en is ingericht om met behulp van teruggekaatst uitgezonden licht zowel een 2D-beeld van de ruimte op te nemen, als voor een of meer beeldpunten afstandsinformatie te verzamelen. De beeIdvenNerkingsinrichting is ingericht om in het 2D-beeld op basis van beeldvenNerkingscriteria een mogelijk object te herkennen als een eerste verzameling beeldpunten, en om voor een deelverzameling van genoemde beeldpunten afstandinformatie te bepalen, en om genoemde relatieve positie te bepalen door analyse van het 2D beeld alsmede de genoemde afstandinformatie. Doordat aldus van veel minder (beeld)punten afstandinformatie wordt bepaald, die vee|a| veel ruisiger is dan de 2D-helderheidsinformatie, kan de positiebepaling sneller en betrouwbaarder zijn.

Description

Θ 2022442 ©B1 OCTROOI (2?) Aanvraagnummer: 2022442 (51) Int. Cl.:
G06K9/00 (2019.01) (22) Aanvraag ingediend: 24 januari 2019 (30) Voorrang:
(4/) Aanvraag ingeschreven:
februari 2019 (43) Aanvraag gepubliceerd:
maart 2019 (73) Octrooihouder(s):
Lely Patent N.V. te Maassluis (72) Uitvinder(s):
Martin Ivan Ganeff te Maassluis Nicky de Waard te Maassluis
Octrooi verleend:
januari 2020 (74) Gemachtigde:
ir. M.J.F.M. Corten te Maassluis (45) Octrooischrift uitgegeven:
januari 2020 (54) Positiebepalingsinrichting (57) Verschaft is een Positiebepalingsinrichting, en een melkinrichting daarmee, voor bepalen van een relatieve positie van een object, omvattende een 3D time-of-flightcamera met een 2D-rangschikking van beeldpunten, ingericht voor, in het bijzonder herhaaldelijk, opnemen van een beeld van de ruimte, en een ermee verbonden besturing met een beeldverwerkingsinrichting. De 3D time-of-flightcamera heeft een bestuurbare lichtbron, en is ingericht om met behulp van teruggekaatst uitgezonden licht zowel een 2D-beeld van de ruimte op te nemen, als voor een of meer beeldpunten afstandsinformatie te verzamelen. De beeldverwerkingsinrichting is ingericht om in het 2D-beeld op basis van beeldverwerkingsinrichting een mogelijk object te herkennen als een eerste verzameling beeldpunten, en om voor een deelverzameling van genoemde beeldpunten afstandinformatie te bepalen, en om genoemde relatieve positie te bepalen door analyse van het 2D beeld alsmede de genoemde afstandinformatie. Doordat aldus van veel minder (beeld)punten afstandinformatie wordt bepaald, die veelal veel ruisiger is dan de 2D-helderheidsinformatie, kan de positiebepaling snelleren betrouwbaarder zijn.
NL B1 2022442
Dit octrooi is verleend ongeacht het bijgevoegde resultaat van het onderzoek naar de stand van de techniek en schriftelijke opinie. Het octrooischrift komt overeen met de oorspronkelijk ingediende stukken.
Positiebepalingsinrichting
De onderhavige uitvinding heeft betrekking op een positiebepalingsinrichting voor bepalen van een positie van een object in de ruimte ten opzichte van de positiebepalingsinrichting.
Dergelijke positiebepalingsinrichtingen kunnen in velerlei toepassingen worden ingezet, zoals voor navigatie van autonome voertuigen of behandeling van een object, zoals door robots in een productielijn of dergelijke.
Voor bepaling van een positie in de ruimte is in beginsel enige vorm van stereovisie nodig. Bekende positiebepalingsinrichtingen omvatten vaak hetzij twee 2Dcamera's en een besturing voor vergelijken van de beelden met behulp van bijvoorbeeld triangulatie, of een 3D-inrichting met ingebouwde afstandbepaling, teneinde de vereiste positiegegevens te kunnen bepalen. Voorbeelden van laatstgenoemde 3D-inrichtingen zijn laser- of lidarscanners, alsmede 3D time-of-flightcamera's (in het navolgende: TOF camera's), zoals beschreven in het artikel A 3D Time of Flight Camera for Object Detection, door Th. Ringbeck en B. Hagebeuker, in Optical 3-D Measurement Techniques 09-12.07.2007, ΕΤΗ Zürich. Dergelijke 3D TOF-camera's zenden zelf gemoduleerd licht uit, waarbij gereflecteerde straling op een reeks beeldpunten valt. Door bepalen van hetzij de looptijd van de straling, hetzij de faseverschuiving van de modulatie kan de afstand van de camera tot een object dat de straling naar het beeldpunt reflecteerde worden bepaald.
Dergelijke bekende inrichtingen kennen in de praktijk verschillende nadelen. Zo vereisen de stereocamera's met twee 2D-camera's zware beeldverwerking om de beelden goed met elkaar te kunnen correleren. Bovendien moeten de twee camera's vaak relatief ver uiteen staan om voldoende nauwkeurigheid te bereiken, zodat de resulterende inrichting dienovereenkomstig groot zal zijn. 3D TOF-camera's zijn weliswaar veel compacter, maar vereisen nog een betrekkelijk lange belichtingsduur om voldoende ruisvrije (afstands)informatie te verschaffen, waardoor bijvoorbeeld snelle bewegingen moeilijk te vangen zijn. Ze geven bovendien een zeer grote hoeveelheid informatie, waardoor het uiteindelijke positie bepalen uit die informatie vaak betrekkelijk omslachtig en traag is.
Er is derhalve behoefte aan een positiebepalingsinrichting die genoemde nadelen althans ten dele wegneemt, en daarmee een compacte maar toch snelle en efficiënte positiebepaling van een object kan verschaffen.
De uitvinding bereikt dit doel met een positiebepalingsinrichting volgens conclusie 1, in het bijzonder een positiebepalingsinrichting voor bepalen van een positie van een object in de ruimte ten opzichte van de positiebepalingsinrichting, omvattende een 3D TOF-camera met een 2D-rangschikking van beeldpunten, ingericht voor opnemen van een beeld van de ruimte, en een met genoemde camera verbonden besturing met een beeldverwerkingsinrichting voor verwerken van het opgenomen beeld, waarbij de 3D TOF-camera een door de besturing bestuurbare lichtbron voor uitzenden van licht omvat, en is ingericht om met behulp van teruggekaatst uitgezonden licht zowel een 2D-beeld van de ruimte op te nemen, als voor een of meer beeldpunten afstandsinformatie te verzamelen, waarbij de beeldverwerkingsinrichting is ingericht om in het 2D-beeld een mogelijk object te herkennen op basis van een of meer beeldverwerkingscriteria, welk mogelijke object een eerste verzameling van de beeldpunten van het beeld omvat, om voor een deelverzameling van genoemde eerste verzameling van beeldpunten, die kleiner is dan genoemde eerste verzameling, afstandinformatie te bepalen, en om is ingericht voor bepalen van genoemde positie ten opzichte van de camera door analyse van het 2D beeld alsmede van de afstandinformatie van genoemde deelverzameling van beeldpunten.
De onderhavige uitvinding berust op het inzicht dat het meestal niet nodig is om voor elk opgenomen beeldpunt in het bepaalde beeld van een object afstandinformatie te verzamelen, aangezien een object in het 2D-beeld ook wat betreft kleur en/of helderheid een continue, aaneengesloten verzameling beeldpunten zal verschaffen. Om de positie in de ruimte te berekenen is niet van elk punt van die verzameling de 3D-positie nodig, zodat maken en analyseren van een 3D representatie van het object niet nodig is. Bovendien is de positie van een ruimtelijk uitgestrekt object toch al in feite niet de positie van elk afzonderlijk punt van die verzameling, maar eerder een positie van een enkel punt van het object, tenzij de ruimtelijke grenzen van het object worden aangegeven. Vaak is bijvoorbeeld een maximale uitgestrektheid/positie in een bepaalde richting bepalend voor de positie van het object, zoals het middelpunt van een bol, of een hoekpunt van een kubus. En juist in een dergelijke situatie zal duidelijk zijn dat het kennen van de volledige ruimtelijke positie van elk van de beeldpunten veel overbodige informatie bevat. Hoewel 3D TOF-camera's in beginsel de afstandinformatie voor alle beeldpunten simultaan bepalen, dient vervolgens die informatie nog te worden uitgelezen en verwerkt door de beeldverwerkingsinrichting, bijvoorbeeld om te komen tot coördinaten van de bijbehorende punten, en dus tot de ruimtelijke positie. Door volgens de uitvinding slechts een deelverzameling te kiezen, kan dit sneller en doelmatiger. Hierbij dient voorts het volgende als een belangrijke overweging. De meeste 3D TOF-camera's hebben beeldpunten die zowel helderheidsinformatie als afstandinformatie bepalen uit de opgevangen gereflecteerde straling. Deze straling is vaak, maar niet noodzakelijkerwijs, (nabij) infraroodstraling, en de helderheidsinformatie is vaak absoluut, d.w.z. niet golflengteafhankelijk. Het helderheidsbeeld is dan ook in grijstinten, zonder enige kleurinformatie. Maar datzelfde beeldpunt neemt van exact hetzelfde punt van de ruimte de afstandinformatie waar, doordat van de van dat punt in de ruimte gereflecteerde uitgezonden (gemoduleerde) straling de faseverschuiving wordt bepaald. Belangrijk hierbij is dat er geen enkele parallax of andere verschuiving is tussen het helderheidsbeeld en de afstandinformatie, en dat die informatie ook (vrijwel) gelijktijdig wordt bepaald. Dat betekent dat, zodra er een keuze is gemaakt voor beeldpunten waarvan de afstandinformatie relevant wordt geacht, die reeds beschikbare afstandinformatie kan worden uitgelezen en verwerkt. Dit bespaart uitlees- en verwerkingstijd. Bovendien kan de helderheidsinformatie veel sneller met voldoende signaalsterkte en betrouwbaarheid worden bepaald dan de 3D afstandinformatie. Derhalve kan de gewenste deelverzameling zodanig snel worden bepaald dat er nauwelijks vertraging in het verzamelen van die gewenste afstandinformatie hoeft op te treden. Overigens is het ook mogelijk om de gewenste afstandinformatie te bepalen uit een volgend opgenomen beeld, al zal dit voornamelijk goed werken als het object langzaam of niet beweegt ten opzichte van de TOF-camera.
In het bijzonder is de positiebepalingsinrichting ingericht voor herhaaldelijk bepalen van de positie van het object, waarbij de 3D TOF-camera herhaaldelijk een beeld van de ruimte opneemt. Bij deze uitvoeringsvorm wordt het mogelijk om het object te volgen bij beweging. Dat kan een beweging van het object zelf in de ruimte zijn, maar ook een relatieve beweging doordat de positiebepalingsinrichting (zich) verplaatst (/wordt). Een dergelijk volgen zal nauwkeuriger worden naarmate de beeldherhalingsfrequentie hoger wordt en/of de nauwkeurigheid en betrouwbaarheid van de opgenomen beeldinformatie beter wordt. Beide factoren kunnen worden verbeterd met de onderhavige uitvinding door slechts een deel van de 3D afstandsinformatie van de camera te gebruiken.
Bijzondere uitvoeringsvormen zijn beschreven in de aangehechte afhankelijke conclusies, alsmede in het nu volgende deel van de beschrijving.
In uitvoeringsvormen is de beeldverwerkingsinrichting ingericht om uit het mogelijke object in het 2D-beeld de genoemde deelverzameling te bepalen als slechts 1 beeldpunt. In het bijzonder is genoemde ene beeldpunt alzijdig omgeven door andere beeldpunten van genoemde eerste verzameling. Hierdoor is er minder kans op lokaal sterk variëren van de afstandinformatie, met kans op onnauwkeurigheden. Meer in het bijzonder is genoemd ene beeldpunt een geometrisch zwaartepunt van genoemd mogelijke object. Zonder nadere informatie over de objecten bestaat hier de grootste kans op een lokaal extreem in de afstandinformatie, en dus geen of slechts een kleine lokale variatie in die afstand, hetgeen de nauwkeurigheid ten goede kan komen.
Het zal duidelijk zijn dat een deelverzameling van slechts één beeldpunt leidt tot de absoluut minimale uit te lezen en te verwerken hoeveelheid (afstand)informatie, terwijl toch vaak een bruikbare ruimtelijke positie kan worden bepaald. Een duidelijk gunstige toepassing betreft een object met een vrijwel vlakke bovenzijde waarbij het bijvoorbeeld slechts nodig is om te bepalen óf een in het beeld waargenomen mogelijk object een daadwerkelijk object is of slechts een vlek op een achter- of ondergrond. Zodra uit de afstand tot de camera duidelijk is dat het een daadwerkelijk object betreft, is reeds op basis van het 2D-beeld, zoals een helderheidsbeeld, de 3D positie in de ruimte ten opzichte van de camera goed te bepalen. Een ander voorbeeld betreft gelijkvormige objecten van verschillende grootte. Hier is het reeds voldoende om de afstand tot de camera voor één punt in de deelverzameling van het mogelijke object te bepalen om verder op basis van het 2D-beeld de positie van het object te bepalen. Als de objecten in dit voorbeeld bollen van verschillende grootte betreffen, dan zal als het ene punt met voordeel het middelpunt worden genomen. Uit de voor dat beeldpunt bepaalde afstand tot de camera, alsmede bij voorkeur ook de voor de bijbehorende kijkrichting van de camera bekende afstand tot de ondergrond kan met eenvoudige goniometrie de doorsnede van de bol worden bepaald. Met de van genoemd middelpunt bekende positie ten opzichte van de camera kan daarmee de volledige positie van de bol worden bepaald. Iets dergelijks geldt ook voor andere objecten van op zich bekende vorm. Merk op dat het gunstig is om de achter- en/of ondergrond vooraf, dus eenmalig, door te meten. Bij elk beeldpunt van de camera hoort dan een zekere afstand tot die achter- en/of ondergrond, zodat de achter- en/of ondergrond volledig in kaart is.
In uitvoeringsvormen is de beeldverwerkingsinrichting ingericht om uit het mogelijke object in het 2D-beeld de genoemde deelverzameling te bepalen als precies 2 of 3 beeldpunten. Het met deze uitvoeringsvormen bepalen van de positie voor twee resp. drie punten kan helpen bij het bepalen van de oriëntatie van het object. Dit werkt uiteraard het beste bij objecten waarvan bekend is dat zij een of meer grote zijvlakken hebben. Bijvoorbeeld is bij het meten van drie punten de oriëntatie van een vlak volledig bepaald, hetgeen gunstig kan zijn voor doelmatige berekeningen van de positie van het bijbehorende object.
In uitvoeringsvormen is de beeldverwerkingsinrichting ingericht om, ingeval deze meerdere verschillende verzamelingen beeldpunten van het opgenomen beeld herkent als mogelijke objecten, bij elk van de mogelijke objecten voor een bijbehorende deelverzameling beeldpunten afstandinformatie bepaalt, en voorts om de mogelijke objecten op basis van de daarvoor bepaalde afstandinformatie te classificeren volgens een vooraf bepaald classificatiecriterium. Bijvoorbeeld herkent de beeldverwerkingsinrichting twee mogelijke objecten in het beeld. Voor elk mogelijk object wordt afstandinformatie van een deelverzameling van de bijbehorende beeldpunten bepaald. Stel nu, als criterium, dat het object zich (al dan niet geheel) binnen een bepaald afstandsbereik moet bevinden. Door vervolgens voor elk mogelijk object de afstandinformatie te evalueren, dan kan de (beeldverwerkingsinrichting (oftewel de positiebepalingsinrichting als geheel) bepalen welk van de mogelijke objecten het goede object is, en alleen daarvan de positie bepalen.
In bijzondere uitvoeringsvormen omvat de 2D-rangschikking van beeldpunten ook kleurenbeeldpunten, in het bijzonder RGB-beeldpunten. Daarbij is de 3D-TOFcamera ingericht voor het opnemen van een kleurenbeeld van de ruimte, hierbij is de 3D-camera voorzien van aanvullende kleurenbeeldpunten, die zich bij voorkeur verspreid tussen de beeldpunten voor verzamelen van afstandinformatie bevinden. Deze laatstgenoemde waren met name vroeger een stuk groter, zodat er plaats over kon blijven voor de kleinere RGB-beeldpunten. Maar ook bij de inmiddels kleiner geworden afstandmeet-beeldpunten, die vaak gevoelig zijn voor ofwel alleen de uitgezonden (monochromatische) straling of voor alle straling, biedt het voordeel om RGBbeeldpunten in de 2D-rangschikking op te nemen. Dat kan weliswaar ten koste gaan van de mogelijk bereikbare 3D-resolutie, maar die is bij de huidige uitvinding minder relevant. Daarentegen biedt het hebben van RGB-beeldpunten het voordeel dat de hoeveelheid beschikbare informatie stijgt, maar wel met bekende en doelmatieg technieken voor het verzamelen en verwerken daarvan. Bijvoorbeeld biedt de nu beschikbare kleurinformatie voordelen bij het bepalen van objecten, doordat per kleur het contrast in het beeld kan verschillen, enzovoort. Overigens hoeft de totale hoeveelheid te verwerken informatie niet daadwerkelijk toe te nemen als een keuze kan worden gemaakt welke van de kleuren worden uitgelezen. Hiermee wordt bedoeld dat soms het beeld met de rode (R) beeldpunten een veel beter resultaat geeft voor objectherkenning dan de groene of blauwe beeldpunten, of een andere combinatie natuurlijk. Door dan uitsluitend de bijbehorende informatie van de beeldpunten uit te lezen, hier dus de rode, is er niet méér informatie dan wanneer de helderheid van de 3D-beeldpunten zou worden uitgelezen.
Overigens vallen de kleuren-/RGB-beeldpunten nu niet meer exact samen met die 3Dafstandinformatiebeeldpunten, doch de verschuiving is in de praktijk zo gering dat die geen rol van betekenis zal spelen, met name niet wanneer een beeldpunt op een afstand van de rand van een mogelijk object is gekozen.
Het hierboven beschreven aspect van de uitvinding heeft betrekking op een positiebepalingsinrichting die in beginsel van slechts één meet- of sensorinrichting gebruik maakt, namelijk de 3D time-of-flight camera. Daarbij wordt slechts een 2D beeld, zoals een helderheidsbeeld, gebruikt, benevens een afstand- of hoogtemeting van één punt. Het is alternatief mogelijk om de positie te bepalen met behulp van een afzonderlijke hoogtebepalingsinrichting. De uitvinding heeft derhalve in een ander aspect met voordeel betrekking op een positiebepalingsinrichting voor, in het bijzonder herhaaldelijk, bepalen van een positie van een object in de ruimte ten opzichte van de positiebepalingsinrichting, omvattende een 2D-camera met een 2D-rangschikking van beeldpunten, ingericht voor, in het bijzonder herhaaldelijk, opnemen van een beeld van de ruimte, een hoogtebepalingsinrichting voor bepalen van een hoogte van het object in de ruimte, en een met genoemde camera en de hoogtebepalingsinrichting verbonden besturing met een beeldverwerkingsinrichting voor verwerken van het opgenomen beeld, waarbij de beeldverwerkingsinrichting is ingericht om in het 2D-beeld een mogelijk object te herkennen op basis van een of meer beeldverwerkingscriteria, en voor bepalen van de positie ten opzichte van de camera door analyse van het 2D beeld alsmede van de bepaalde hoogte. De 3D camera is hierbij vervangen door een gewone 2D camera. Dit heeft het voordeel dat de informatiedichtheid en ook de beeldfrequentie (duidelijk) hoger kan zijn dan bij een 3D-camera. Ook kan hierbij eenvoudiger gebruik worden gemaakt van een RGB-camera, zodat meer informatie, in de vorm van kleurinformatie, beschikbaar is voor het detecteren en herkennen van objecten.
De hoogtebepalingsinrichting is niet bijzonder beperkt, doch omvat met voordeel een laserafstandmeter of een reeks fotoelektrische cellen. Hiermee is op betrekkelijk eenvoudige wijze de hoogte van een object te meten, zoals met een verticale opstelling van de laserafstandmeting boven het object, of een zijdelingse opstelling van de fotoelektrische cellen (straler(s) aan één kant, detector(en) aan de andere kant). In het kader van de uitvinding betreft het object veelal een melkdier. Hierbij is in het bijzonder de hoogte ter hoogte van de ruggegraat van belang. Deze kan bijvoorbeeld worden gemeten door dwars over het mlkdier te bewegen met een laserscannerverplaatser, een draaiende spiegel, enzovoort. Bij fotoelektrische cellen kan zijdelings een reeks fotoelektrische cellen worden opgesteld, waarbij de hoogste cel die straling registreert de bovengrens van het dier aangeeft.
De uitvinding heeft voorts betrekking op een melkinrichting volgens conclusie 8, in het bijzonder een melkinrichting voor melken van een melkdier, omvattende melkbekers, een robotarm voor aansluiten van de melkbekers op spenen van het melkdier, alsmede een robotbesturing voor besturen van de robotarm, waarbij de besturing een positiebepalingsinrichting volgens de uitvinding omvat. Bij dergelijke robotmelkinrichtingen is het voordelig om een goed, betrouwbaar en snel werkende positiebepalingsinrichting te hebben, omdat melkdieren door groeien en door vullen van de uier in de tijd wisselend van vorm zijn, voorts natuurlijk onderling relatief sterk van vorm en grootte kunnen verschillen, en daarenboven min of meer wild kunnen bewegen door spanning of speelsheid. Onder al deze omstandigheden blijft het van belang om melkbekers correct en snel op de spenen te kunnen aansluiten. Hierbij dient bijvoorbeeld het aantal bewegingen van de robotarm beperkt te blijven om onnodige onrust en ander ongemak bij de dieren te voorkomen en ook om de capaciteit va nde melkinrichting zo groot mogelijk te maken. De uitvinding bereikt dat met behulp van de nieuwe dierpositieinrichting. De daarvoor genoemde beschrijving met voordelen en speciale uitvoeringen is dan ook onverkort van toepassing op deze melkinrichting volgens de uitvinding.
In uitvoeringsvormen is de positiebepalingsinrichting ingericht voor bepalen van de positie van de spenen van het melkdier. Zoals hierboven beschreven is het aansluiten van melkbekers op spenen de belangrijkste taak van de robotarm in een automatische melkinrichting. Merk hierbij op dat niet alleen de melkdieren zelf bewegen, maar dat ook nog eens de uier met de spenen vanwege hun flexibele ophanging kan bewegen ten opzichte van bijvoorbeeld de poten van het melkdier, en daarmee extra beweeglijk zijn in de ruimte. Buitendien duurt de melkafgiftereflex onder invloed van oxytocine niet onbeperkt lang, zodat ook hierom een snelle en doelmatige aansluiting van de melkbekers op de spenen van groot belang is. De uitvinding helpt hierbij, door doelmatig spenen in het beeld te kunnen onderscheiden van bijvoorbeeld poten, staart of hekwerk.
In uitvoeringsvormen omvat de melkinrichting een melkbox voor melken van het melkdier, en is de positiebepalingsinrichting ingericht voor bepalen of zich een melkdier in de melkbox bevindt en/of voor bepalen van de positie van het melkdier in de box. In het bijzonder is de robotbesturing ingericht voor besturen van de robotarm op basis van de door de positiebepalingsinrichting bepaalde positie van het melkdier in de melkbox.
Het is van belang om de robotarm niet onnodig te bewegen, maar pas wanneer een melkdierzich daadwerkelijk in de melkbox bevindt. Te vroeg bewegen kan ook gevaarlijk zijn voor het melkdier. De meeste melkdieren, en met name koeien, zijn dusdanig groot dat ze zeer eenvoudig te herkennen zijn door op een geschikte plek in het beeld, zoals midden in de melkbox, van één of twee beeldpunten de afstand te bepalen, en te vergelijken met de eerder gedane achtergrondmeting. Van wellicht nog groter belang is het bepalen van de positie van het melkdier in de melkbox. Op basis van deze informatie kan de robotarm namelijk doelmatig onder het melkdier worden gebracht. Enerzijds kan dat bijvoorbeeld een botsing met een poot voorkomen. Anderzijds kan de robotarm met de daarop verschafte speendetectieinrichting in een zodanige uitgangspositie worden geplaatst dat laatstgenoemde nog sneller de posities van de spenen kan bepalen. Hierbij geldt als de positie van het melkdier bij voorkeur, doch niet uitsluitend, de positie van het achtereinde van het melkdier, zoals de positie van de staartaanzet. Dit is bij met name koeien een betrekkelijk vast punt dat ook nog eens vrij eenvoudig te bepalen is. Hiertoe wordt verwezen naar het artikel met Engelse vertaling Report of study and investigation concerning milking system for milk cow aiming at resource saving and high productivity breeding uit 1984. Dit document leert om voor doelmatige aansluiting de staartaanhechting te zoeken in een van bovenaf genomen 2Dbeeld van de koe, en dan op basis van de eerderbepaalde correlatie van uier/speenpositie en de positie van de staartaanhechting de robotarm met de speendetectieinrichting te positioneren.
Nu is het zo dat melkkoeien en ook andere melkdieren nogal in hoogte kunnen verschillen, tot wel een halve meter binnen een kudde. Als de staartaanzet zich niet verticaal onder de camera bevindt, zal een zijdelingse verplaatsing ten opzichte van die verticaal bij verschillende hoogte leiden tot verschillende posities in het x, y-vlak. De correcte positie kan volgens de onderhavige uitvinding beter worden bepaald met kennis van de hoogte van het melkdier. En juist deze hoogte kan goed worden bepaald met behulp van een afstand- (dus hoogte-)meting van slechts een enkel beeldpunt van het melkdier. De keuze voor het beeldpunt is vanwege de vrij vlakke bovenzijde van een koe niet bijzonder beperkt. Ook andere goed herkenbare punten die een vrijwel constante hoogte aangeven kunnen worden gebruikt. Niettemin is het voordelig om een punt op de ruggegraat te nemen, wat op zich met voordeel te doen is door een punt te kiezen op een in langsrichting midden in het als melkdier/koe herkende object. Deze punten vormen een lijn, die vrijwel overeen zal komen met de ruggegraat. Met deze kennis van de hoogte van het melkdier/de koe is een zijdelings verplaatste positie veel beter te koppelen aan een ruimtelijke positie. Dit komt extra sterk naar voren bij het in de ruimte volgen van de positie van het melkdier, wat wederom van belang is bij tijdens aansluiten bewegende melkdieren.
In een alternatieve uitvoeringsvorm is de melkinrichting voorzien van een positiebepalingsinrichting volgens het tweede aspect van de uitvinding, waarbij de hoogtebepalingsinrichting een dieridentificatie-inrichting voor identificeren van het te melken melkdier omvat, alsmede een werkzaam met de melkinrichting verbonden gegevensbestand dat per melkdier een hoogte bevat, waarbij de hoogtebepalingsinrichting, en waarbij de hoogtebepalingsinirchting de hoogte van het melkdier bepaalt door uit het gegevensbestand opvragen van het bij het geïdentificeerde melkdier horende hoogtegegeven. De, in een automatische oftewel robotmelkinrichting altijd verschafte dieridentificatieinrichting identificeert dan het te melken melkdier wanneer het zich meldt in de melkbox, en haalt vervolgens een bij dat melkdier horende hoogtewaarde op uit het gegevensbestand. Dat neemt de noodzaak van een afzonderlijke hoogtemeetinrichting weg, omdat de hoogte bepaald wordt uit eerder opgeslagen gegevens. Anderzijds kan aldus niet een door groeien gewijzigde, of door een fout bij invoeren verkeerde, hoogte worden meegenomen.
De uitvinding zal nu worden toegelicht aan de hand van de tekening, waarin:
- Figuur 1 een schematisch zijaanzicht is van een melkinrichting volgens de uitvinding;
- Figuur 2 een schematisch beeld opgenomen met een positiebepalingsinrichting volgens de uitvinding,
- Figuur 3 een diagram voor bepalen van de positie volgens de stand van de techniek, en
- Figuur 4 een diagram voor berekenen van een coördinaat met een positiebepalingsinrichting volgens de uitvinding.
Figuur 1 toont een schematisch zijaanzicht is van een melkinrichting 1 volgens de uitvinding. De melkinrichting 1 omvat melkbekers 2 op een robotarm 3, alsmede een speendetectiecamera 4. Een 3D time-of-flight (TOF) is aangeduid met 5, en een alternatieve TOF-camera met 5', op een verbindingsarm 6 naar een wagen 7 op een stang 8.
Een melkdier, hier een koe, is aangeduid met verwijzingscijfer 9 en heeft spenen 10. TOF-camera 5 heeft een uitgezonden bundel 11, terwijl met 12 een lijn of richting is aangeduid naar een punt P recht boven het middenpunt tussen de spenen 10. De positie van de staartaanzet is aangeduid met S. Tot slot is met 13 een besturing aangeduid. Duidelijkheidshalve zijn niet weergegeven of aangeduid de gebruikelijke onderdelen, zoals een lichtbron in de 3D TOF-camera's 5, 5', en een daarin of in de besturing 13 geïntegreerd verschafte beeldverwerkingsinrichting.
Een dergelijke melkinrichting 1 sluit automatisch melkbekers 2 aan op de spenen 10. Daartoe bepaalt de speendetectiecamera 4 de positie van de spenen 10, ten opzichte van de camera. De camera 4 dient bij voorkeur dicht bij de spenen te worden geplaatst voordat de posities daarvan kunnen worden bepaald. Hierbij wordt vaak gebruik gemaakt van de omstandigheid dat de positie van de uier, en daarmee ook de spenen, ten opzichte van een vast punt van de koe 9 vrij stabiel is, afgezien van langzaam groeien van de koe. Het is dan gunstig om een relatie te kennen tussen bijvoorbeeld de positie van de staartaanzet S en de positie van de spenen, hetzij in de vorm van een punt P recht boven het midden van de spenen, hetzij na aansluiten van de melkbekers 2 op de spenen 10 bepaald. Een dergelijke relatie kan worden vastgelegd in de besturing 13. Bij een volgende melking is het dan voldoende om hetzelfde punt S (of eventueel een ander, eerder bepaald punt) de detecteren, en via de relatie de bijbehorende geschatte positie van punt P en/of direct van de spenen te bepalen, om een goede startpositie voor inzwenken van de robotarm 3 en voor plaatsen van de speendetectiecamera 4 te hebben.
Het is op zich bekend om de positie van punt S te bepalen met een 3Dcamera, door een 3D-representatie van de koe 9 te maken, deze in 3D te analyseren door bijvoorbeeld naar randdetectie te kijken waar de hoogte van de koe snel afvalt, enzovoort. Volgens de onderhavige uitvinding is zo'n 3D analyse niet nodig, en volstaat het om een enkele afstand tot de camera 5 (of 5') te meten, zoals naar punt P. Dit zal later worden uitgelegd.
De getoonde 3D TOF camera 5 heeft een betrekkelijk brede uitgezonden lichtbundel 11, zodat de kans groot is dat de koe 9 voldoende duidelijk in beeld komt, en de relevante één of meer punten door de camera 5 kunnen worden opgenomen. Het is alternatief ook mogelijk om een 3D TOF camera 5' via een verbindingsarm 6 op een wagen 7 te monteren, die over een stang 8 van de melkinrichting 1 beweegbaar is. Aldus is de camera 5' altijd optimaal te plaatsen, waarbij van voordeel is dat de bundel van de camera 5' smaller kan zijn, hetgeen de betrouwbaarheid, nauwkeurigheid en lichtsterkte van de 3D TOF-camera 5' beter kan zijn.
Bijvoorbeeld wordt bij het plaatsen van de wagen, maar ook voor het opzoeken van de hierboven beschreven relatie tussen uier-/spenenpositie en positie van de staartaanzet S gebruik gemaakt van dierherkenning. In elke automatische melkinrichting zijn de koeien herkenbaar met behulp van een tag- en taglezersysteem, dat hier omwille van de eenvoud niet afzonderlijk is weergegeven.
Figuur 2 toont een schematisch beeld opgenomen met een positiebepalingsinrichting volgens de uitvinding. Het beeld toont duidelijkheidshalve slechts een omtrek 20. De omtrek 20 kan bijvoorbeeld zijn gevonden met behulp van randdetectietechnieken, helderheidsdrempels of andere beeldverwerkingstechnieken, die op zich bekend zijn. Niet altijd zal de omtrek direct zo duidelijk worden gevonden, doch kan met behulp van kennis van te verwachten objecten (door bijv, dieridentificatie en kennis van hier koeien) en kunstmatige intelligentie in de vorm van algoritmes veelal goed worden geïnterpoleerd. Een dergelijke door een omtrek begrensde verzameling beeldpunten wordt geïnterpreteerd als een 'Object1'. De detectie van zo'n object kan worden ondersteund door een afstand tot een punt in het object te bepalen, ente vergelijken met een achtergrondwaarde, d.w.z. een afstand die is gemeten bij afwezigheid van elk object.
In het geval van de melkinrichting 1 volgens Figuur 1 komt dit neer op bepalen van een correlatie tussen kijkrichting van de camera 5, 5', en een referentieafstand tot de vloer van de melkinrichting. Als een object wordt herkend, hier de omtrek 20 van een koe, dan kan de aanwezigheid worden bevestigd als een gemeten afstand tot een punt midden in het object, of bijvoorbeeld langs de lijn 12 naar een punt P, (veel) geringer is dan de bijbehorende referentieafstand.
Het is ook mogelijk dat in het beeld meerdere objectkandidaten worden herkend. De besturing kan dan de objectkandidaten analyseren door van elke kandidaat een afstand te meten, en te vergelijken met de referentieafstand, maar ook meteen verwachtingswaarde van die afstand, bijvoorbeeld op basis van een vastgestelde dieridentiteit of algemene kennis van de koeien 9 die i nde melkinrichting komen.
De omtrek 20 wordt vervolgens door de besturing 13 geanalyseerd. Enkele bruikbare analysestappen worden hieronder uitgewerkt, doch met nadruk wordt gesteld dat andere stappen eveneens mogelijk zijn.
Eerst wordt een middellijn 21 in het beeld van de koe bepaald, door een langsrichting van de omtrek te bepalen, en deze in tweeën te delen. Deze middellijn 21 staat in beginsel voor de positie van de ruggegraat van de koe, tevens de lijn van hoogste punten op de rug van de koe. Deze middellijn kan in beginsel ook worden bepaald uit het midden tussen evenwijdige raaklijnen R1 en R2 aan de omtrek.
Vervolgens wordt loodrecht op de middellijn 21 een raaklijn R3 aan de omtrek 20 bepaald. Het snijpunt 22 van de middellijn 21 en de raaklijn R3 wordt in dit geval door de besturing als het vaste punt bepaald. Dit punt 22 komt overeen met de positie van de staartaanzet van de koe. Ten opzichte van deze staartaanzet kan de verwachte positie van de spenen worden bepaald door de besturing. Deze wordt bijvoorbeeld bepaald uit de ligging van een punt P midden tussen de vier spenen, welk punt op een afstand D over de middellijn 21 naar voren toe ligt. Deze afstand D is in beginsel een vaste waarde, die hooguit bij een nog groeiende koe verandert, maar eenvoudig kan worden bepaald wanneer de melkbekers eenmaal zijn aangesloten. Voorts zou per individuele speen 10 nog een referentiepositie ten opzichte van genoemd punt P kunnen zijn bepaald, zodat een aansluitende robotarm de melkbeker naar een nog preciezere beginpositie kan brengen.
Tot slot wordt nog een hoogte van de koe bepaald in een punt op de middellijn, bijvoorbeeld in een punt dat overeenkomt met een projectie van punt P op de middellijn, en in de Figuur komt dat uiteraard overeen met punt P. Voor het beeldpunt in het beeld dat overeenkomt met dat punt wordt de hoogte bepaald met behulp van de 3Deigenschappen van de camera. De positie daarvan op zich goed is te bepalen uit een verhouding van de (referentie)afstand D en de totale lengte van de koe. Ook deze verhouding kan af en toe worden bijgewerkt voor een nog groeiende koe. Merk op dat de hoogte van punt P in principe goed overeenkomt met de hoogte van punt 22, de te bepalen positie van de staartaanzet. Van dit punt 22 is natuurlijk eveneens de aftsand te meten en daaruit de hoogte, of zelfs de coördinaten te bepalen. De hoogte van punt P is echter eenvoudiger en nauwkeuriger vast te stellen omdat punt P op een min of meer vlak deel van de koe ligt, en punt 22 juist op een rand, zodat de afstandbepaling met de 3D ToF-camera voor punt P betrouwbaarder is. In het algemeen is het daarom voordelig om als punt voor bepalen van de hoogte van het dier niet op de omtrek 20 ligt, maar juist alzijdig omgeven is door andere punten van het object in het beeld. Ook zou als alternatief punt bijvoorbeeld het geometrisch zwaartepunt van de omtrek 20 kunnen worden genomen. Door de relatieve vlakheid van de rug van de koe komt de hoogte daarvan nog steeds goed overeen, zodat afwijkingen nog aanvaardbaar zullen zijn.
Figuur 3 toont schematisch een diagram voor bepalen van de positie volgens de stand van de techniek. Hier zal worden verduidelijkt dat de boven beschreven wijze voor bepalen van de positie dient te worden verfijnd. Immers wordt in de stand van de techniek door de besturing met behulp van het beeld van de camera een x en/of y coördinaat van een vast punt van het koebeeld bepaald. Dat punt 22, zoals bijvoorbeeld bepaald met behulp van de voor Figuur 2 beschreven werkwijze, is in het diagram aangegeven. Merk op dat punt 22 hier buiten de lijn y = 0 ligt. Dit komt overeen met een koe die niet preciesmidden onder de camera staat, wat immers goed mogelijk is. Tevens is een schaalverdeling voor de x- en de y-coördinaat aangegeven, ten opzichte van een oorsprong (0, 0) die overeenkomt met het midden van de camera en is aangegeven met de letter O. Volgens deze schaalverdeling zouden de coördinaten van het punt 22 gelijk zijn aan (xm, ym). Maar hierbij wordt geen rekening gehouden met de hoogte, d.w.z. de zcoördinaat, waarop het punt 22 zich bevindt. In werkelijkheid bepaalt de besturing uit het koebeeld van de camera namelijk niet de echte coördinaten van punt 22, maar enerzijds de hoek β in het x-y vlak (poolcoördinaten), alsmede een hoek α met de verticaal door de oorsprong. Deze hoek is een directe en ondubbelzinnige functie van de afstand in het koebeeld tussen het punt 22 en de oorsprong O. Met andere woorden elke ring met straal A van beeldpunten rond het beeldpunt behorende bij O, de verticale projectie op het afgebeelde vloeroppervlak, hoort bij een hoek α met de verticaal. Deze functie hoeft slechts eenmaal te worden bepaald, en zou zelfs kunnen worden berekend op basis van de optische eigenschappen van de camera, met name de beeldhoek van de lens alsmede van de beeldopnemer met de beeldpunten. Het zal duidelijk zijn dat bij een hoek α ongelijk nul geen eenduidig stel waarden voor x en y kan worden bepaald. Omgekeerd kan uit de afstand A in het koebeeld de hoek α met de verticaal worden bepaald.
De echte x- en y-coördinaten kunnen dus niet worden bepaald zonder kennis van de hoogte onder de camera, of de hoogte boven het vloeroppervlak. Die echte coördinaten kunnen volgens de uitvinding dus wèl nauwkeurig worden bepaald met nadere kennis van de hoogte, zoals verduidelijkt aan de hand van Figuur 4.
Figuur 4 toont schematisch zo'n diagram voor berekenen van coördinaten met een positiebepalingsinrichting volgens de uitvinding. In het koebeeld zijn getoond, naast de oorsprong O, het punt 22 (= de staartaanzet) alsmede het punt P waarvoor de afstand tot de camera is bepaald. Voor punt P wordt bepaald in het koebeeld de afstand tot de oorsprong als Ap, in willekeurige eenheden, en daaruit de hoek op, alsmede de hoek βρ van de lijn door O en P in het koebeeld ten opzichte van de lijn y = 0. Voor punt 22 worden overeenkomstige waarden bepaald als A22, 022 en β22.Τβνβη5 wordt voor punt P met behulp van de 3D ToF-camera de echte afstand d tot de camera bepaald. De hoogte hp onder de camera, dus onder het punt O, kan dan worden bepaald uit hp = dcos(ap).
Deze hoogte is gelijk gesteld aan de overeenkomstige hoogte van het punt 22. Dan kunnen na enige hoekmeetkundige bewerkingen de coördinaten van van punt 22 in de ruimte worden bepaald als (telkens afgezien van het min-teken):
X22 = d(sinap/tan(O22)) x οοε(β22) y22 = d(sin(aP))/(tan(a22)) x 5ίη(β22) h22 = hp = dcos(ap)
Overigens is er bij een 3D-TOF camera vaak al een programma ingebouwd of meegeleverd dat automatisch de coördinaten van een gemeten beeldpunt bepaalt, zodat het niet nodig is om de gehele bovenstaande werkwijze uit te voeren. Maar merk op dat het punt waarvan de coördinaten aldus worden bepaald nog wel door de gebruiker of automatisch door de besturing dient te worden bepaald.
Een belangrijk opmerking is nog dat bij dit voorbeeld gebruik is gemaakt van de omstandigheid dat de oriëntatie van het dier evenwijdig is aan de lijn y = 0. Mocht het dier gedraaid staan, dan zal de oriëntatie mede moeten worden bepaald, door bijvoorbeeld 2D analyse van de bepaalde omtrek 20, om in de relatie tussen positie van punt S en de positie van de spenen/punt P te verdisconteren.
Het zal duidelijk zijn er variatie mogelijk is in de keuze van bijvoorbeeld het punt voor bepalen van de hoogte, en de wijze voor berekenen van de coördinaten Nogmaals wordt hier benadrukt dat de onderhavige uitvinding voordelen verschaft doordat deze slechts een tweedimensionaal beeld analyseert, en met behulp van een enkele afstandmeting de nauwkeurigheid van positiebepaling uit dat tweedimensionale beeld sterk verbetert, zonder dat er een veel rekenkracht kostende driedimensionale beeldanalyse nodig is.
Ook wordt opgemerkt dat het mogelijk is om van twee of drie punten op de koe de afstand te meten, en daarvoor de coördinaten te bepalen. Aldus kan nog beter rekening worden gehouden met de vormeigenschappen van de koe, of ander melkdier, maar nog steeds zonder een moeilijke 3D representatie te hoeven analyseren. De 2 of 3 punten bepalen bijvoorbeeld een lijn respectievelijk een vlak, zodat bijvoorbeeld de oriëntatie van de koe nog duidelijker wordt. Daardoor kan dan weer de relatie tussen staartaanzetpositie en speenpositie optimaal worden gebruikt.
Nog een alternatief betreft een 3D TOF-camera met aanvullende RGBbeeldpunten, bij voorkeur verschaft tussen de TOF-beeldpunten. Aldus kan aanvullende kleurinformatie worden verzameld in het beeld, hetgeen de besturing kan ondersteunen in het analyseren van het 2D-beeld, bijvoorbeeld doordat bepaalde objectkandidaten kunnen worden uitgesloten, of doordat eenvoudig kan worden bepaald dat twee of meer kandidaten bij elkaar horen door overeenkomsten in kleur of dergelijke.
Tot slot word thier nog opgemerkt dat de positiebepalingsinrichting in het getoonde voorbeeld bedoeld is om de dierpositie te bepalen, het is echter ook mogelijk om van andere objecten een positie te bepalen. Dit kan algemeen een box betreffen waar telkens een entiteit (voorwerp, dier, mens) in terecht komt, en daarbij bewegingsvrijheid heeft, te denken valt aan (vang)kooien in een dierentuin of in het wild, in kamers waar mensen in terecht kunnen komen, enzovoort.
Een specifiek voorbeeld dat hier nog wordt genoemd heeft betrekking op de melkinrichting zoals getoond in Figgur 1. De daar getoonde speendetectiecamera 4 kan in beginsel ook worden uitgevoerd als de positiebepalingsinrichting volgens de uitvinding. Hierbij neemt de camera een beeld op waarin een of meer spenen zichtbaar zijn. Bedenk dat bij voorkeur de robotarm 3 met de camera 4 reeds in een positie is dat een speen (of eventueel meerdere) zichtbaar zal zijn in het beeld. Het beeld is wederom een 2D-beeld, en wederom zal een enkele afstandmeting tot een punt op de speen kunnen volstaan om de positie ten opzichte van de camera 4 voldoende nauwkeurig te bepalen. Vervang hierbij omtrek van de koe 9 door omtrek van de speen 10 en de hierboven beschreven werkwijze kan worden overgenomen. Daarom wordt ee nverdere uitwering hier niet noodzakelijk geacht. Wel wordt opgemerkt dat het hierbij vaker zal voorkomen dat er meerdere objecten in een beeld worden herkend. Het zal dan vaak wenselijk zijn om per herkend object (tenminste per speen) een afstandmeting te doen. Aldus is bijvoorbeeld eenvoudig vast te stellen of een speen een voorspeen of een achterspeen is, of zelfs een achterpoot. Ook zou het hierbij mogelijk kunnen zijn om een herkend object beter te classificeren. Bijvooreeld kan het voorkomen dat een voorspeen en een achterspeen in het beeld elkaar deels verdekken. Het totale object lijkt dan niet meer op een speen, maar op een object met als omtrek een soort W. In zo'n geval zou de besturing/camera 4 kunnen testen of de twee benen van de W op (ruim) verschillende afstand staan. Zo ja, dan is het waarschijnlijk een set van twee spenen. Daarop kan de besturing zekere beslissingen nemen ten aanzien van de omtrek van de W en hoe deze op te delen in twee spenen.
De beschreven uitvoeringsvorm en de genoemde alternatieven zijn niet beperkend bedoeld. De beschermingsomvang wordt bepaald door de aangehechte conclusies.

Claims (12)

  1. CONCLUSIES
    1. Positiebepalingsinrichting voor, in het bijzonder herhaaldelijk, bepalen van een positie van een object in de ruimte ten opzichte van de positiebepalingsinrichting, omvattende:
    - een 3D time-of-flightcamera met een 2D-rangschikking van beeldpunten, ingericht voor, in het bijzonder herhaaldelijk, opnemen van een beeld van de ruimte, en een met genoemde camera verbonden besturing met een beeldverwerkingsinrichting voor verwerken van het opgenomen beeld, waarbij de 3D time-of-flightcamera een door de besturing bestuurbare lichtbron voor uitzenden van licht omvat, en is ingericht om met behulp van teruggekaatst uitgezonden licht zowel een 2D-beeld van de ruimte op te nemen, als voor één of meer beeldpunten afstandsinformatie te verzamelen, waarbij de beeldverwerkingsinrichting is ingericht:
    - om in het 2D-beeld een mogelijk object te herkennen op basis van een of meer beeldverwerkingscriteria, welk mogelijke object een eerste verzameling van de beeldpunten van het beeld omvat,
    - om voor een deelverzameling van genoemde eerste verzameling van beeldpunten, die kleiner is dan genoemde eerste verzameling, afstandinformatie te bepalen, en
    - voor bepalen van de positie ten opzichte van de camera door analyse van het 2D beeld alsmede van de afstandinformatie van genoemde deelverzameling van beeldpunten.
  2. 2. Positiebepalingsinrichting volgens conclusie 1, waarbij de beeldverwerkingsinrichting is ingericht om uit het mogelijke object in het 2D-beeld de genoemde deelverzameling te bepalen als slechts 1 beeldpunt, in het bijzonder alzijdig omgeven door andere beeldpunten van genoemde eerste verzameling, en meer in het bijzonder een geometrisch zwaartepunt van genoemd mogelijke object.
  3. 3. Positiebepalingsinrichting volgens conclusie 1, waarbij de beeldverwerkingsinrichting is ingericht om uit het mogelijke object in het 2D-beeld de genoemde deelverzameling te bepalen als precies 2 of 3 beeldpunten.
  4. 4. Positiebepalingsinrichting volgens een der voorgaande conclusies, waarbij de 2D-rangschikking van beeldpunten ook kleurenbeeldpunten, in het bijzonder RGBbeeldpunten omvat, waarbij de 3D time-of-flightcamera is ingericht voor het opnemen van een kleurenbeeld van de ruimte.
  5. 5. Positiebepalingsinrichting volgens een der voorgaande conclusies, waarbij de beeldverwerkingsinrichting is ingericht om, in het geval deze meerdere verschillende verzamelingen beeldpunten van het opgenomen beeld herkent als mogelijke objecten, bij elk van de mogelijke objecten voor een bijbehorende deelverzameling beeldpunten afstandinformatie bepaalt, en voorts is ingericht om de mogelijke objecten op basis van de daarvoor bepaalde afstandinformatie te classiferen volgens een vooraf bepaald classeringscriterium.
  6. 6. Positiebepalingsinrichting voor, in het bijzonder herhaaldelijk, bepalen van een positie van een object in de ruimte ten opzichte van de positiebepalingsinrichting, omvattende:
    - een 2D-camera met een 2D-rangschikking van beeldpunten, ingericht voor, in het bijzonder herhaaldelijk, opnemen van een beeld van de ruimte,
    - een hoogtebepalingsinrichting voor bepalen van een hoogte van het object in de ruimte, en
    - een met genoemde camera en de hoogtebepalingsinrichting verbonden besturing met een beeldverwerkingsinrichting voor verwerken van het opgenomen beeld, waarbij de beeldverwerkingsinrichting is ingericht:
    - om in het 2D-beeld een mogelijk object te herkennen op basis van een of meer beeldverwerkingscriteria, en
    - voor bepalen van de positie ten opzichte van de camera door analyse van het 2D beeld alsmede van de bepaalde hoogte.
  7. 7. Positiebepalingsinrichting volgens conclusie 6, waarbij de hoogtemeter een laserafstandmeter of een reeks fotoelektrische cellen omvat.
  8. 8. Melkinrichting voor melken van een melkdier, omvattende melkbekers, een robotarm voor aansluiten van de melkbekers op spenen van het melkdier, alsmede een robotbesturing voor besturen van de robotarm, waarbij de besturing een positiebepalingsinrichting volgens een der voorgaande conclusies omvat.
  9. 9. Melkinrichting volgens conclusie 8, waarbij de positiebepalingsinrichting is ingericht voor bepalen van de positie van de spenen van het melkdier.
  10. 10. Melkinrichting volgens conclusie 8 of 9, waarbij de melkinrichting een melkbox omvat voor melken van het melkdier, en waarbij de positiebepalingsinrichting is ingericht voor bepalen of zich een melkdier in de melkbox bevindt en/of voor bepalen van de positie van het melkdier in de box.
  11. 11. Melkinrichting volgens conclusie 10, waarbij de robotbesturing is ingericht voor besturen van de robotarm op basis van de door de positiebepalingsinrichting bepaalde positie van het melkdier in de melkbox.
  12. 12. Melkinrichting volgens conclusie 8, voorzien van een positiebepalingsinrichting volgens conclusie 6, waarbij de hoogtebepalingsinrichting een 5 dieridentificatie-inrichting voor identificeren van het te melken melkdier omvat, alsmede een werkzaam met de melkinrichting verbonden gegevensbestand dat per melkdier een hoogte bevat, waarbij de hoogtebepalingsinrichting, en waarbij de hoogtebepalingsinirchting de hoogte van het melkdier bepaalt door uit het gegevensbestand opvragen van het bij het geïdentificeerde melkdier horende 10 hoogtegegeven.
NL2022442A 2019-01-24 2019-01-24 Positiebepalingsinrichting NL2022442B1 (nl)

Priority Applications (6)

Application Number Priority Date Filing Date Title
NL2022442A NL2022442B1 (nl) 2019-01-24 2019-01-24 Positiebepalingsinrichting
CN202010070452.2A CN111466295B (zh) 2019-01-24 2020-01-21 位置确定装置
US17/422,293 US12039792B2 (en) 2019-01-24 2020-01-23 Position-determining device
EP20703308.5A EP3915044A1 (en) 2019-01-24 2020-01-23 Position-determining device
PCT/NL2020/050035 WO2020153844A1 (en) 2019-01-24 2020-01-23 Position-determining device
CA3125426A CA3125426A1 (en) 2019-01-24 2020-01-23 Position-determining device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
NL2022442A NL2022442B1 (nl) 2019-01-24 2019-01-24 Positiebepalingsinrichting

Publications (2)

Publication Number Publication Date
NL2022442A NL2022442A (nl) 2019-02-27
NL2022442B1 true NL2022442B1 (nl) 2020-01-07

Family

ID=65576614

Family Applications (1)

Application Number Title Priority Date Filing Date
NL2022442A NL2022442B1 (nl) 2019-01-24 2019-01-24 Positiebepalingsinrichting

Country Status (5)

Country Link
EP (1) EP3915044A1 (nl)
CN (1) CN111466295B (nl)
CA (1) CA3125426A1 (nl)
NL (1) NL2022442B1 (nl)
WO (1) WO2020153844A1 (nl)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021259886A1 (en) * 2020-06-25 2021-12-30 Signify Holding B.V. A sensing system for determining a parameter of a set of animals
CN115281095B (zh) * 2022-05-30 2024-03-29 北京工业大学 一种基于激光图像识别的挤奶装置及方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7039220B2 (en) * 2002-08-14 2006-05-02 C-Scan, L.L.P. Methods and apparatus for the dimensional measurement of livestock using a single camera
WO2004029546A1 (ja) * 2002-09-30 2004-04-08 Ishikawajima-Harima Heavy Industries Co., Ltd. 物体の計測方法及び物体の計測装置
NL1037471C2 (nl) * 2009-11-13 2011-05-16 Lely Patent Nv Dierpositiesensor.
US8395779B2 (en) * 2011-06-08 2013-03-12 The Boeing Company Laser surveillance system
CN104968194B (zh) * 2013-02-06 2017-04-05 利拉伐控股有限公司 ***处理方法和装置
CN104297758B (zh) * 2014-08-15 2017-06-16 大连海事大学 一种基于2d脉冲式激光雷达的辅助靠泊装置及其方法
NL2016721B1 (nl) * 2016-05-03 2017-11-10 Lely Patent Nv Werkwijze voor uitvoeren van een speengerelateerde handeling, en robotinrichting daarvoor
CN105941165B (zh) * 2016-06-22 2019-10-01 中国农业科学院农业信息研究所 一种智能挤奶***
EP3388864A1 (en) * 2017-04-10 2018-10-17 Bea S.A. Method of human body recognition and human body recognition sensor

Also Published As

Publication number Publication date
EP3915044A1 (en) 2021-12-01
WO2020153844A1 (en) 2020-07-30
US20220087208A1 (en) 2022-03-24
NL2022442A (nl) 2019-02-27
CN111466295A (zh) 2020-07-31
CN111466295B (zh) 2023-07-18
CA3125426A1 (en) 2020-07-30

Similar Documents

Publication Publication Date Title
CN104094594B (zh) 3d缩放成像器
TWI798305B (zh) 用於更新高度自動化駕駛地圖的系統和方法
CA2764135C (en) Device and method for detecting a plant
RU2415567C2 (ru) Система машинного доения (варианты) и способ машинного доения
RU2469530C2 (ru) Устройство и способ для предоставления информации о животных при их прохождении через проход для животных
US6974373B2 (en) Apparatus and methods for the volumetric and dimensional measurement of livestock
NL2022442B1 (nl) Positiebepalingsinrichting
EP3520605A1 (en) Arrangement and method for determining a weight of an animal
CN110334678A (zh) 一种基于视觉融合的行人检测方法
US20210216758A1 (en) Animal information management system and animal information management method
JP2019211364A (ja) 動物体の体重推定装置及び体重推定方法
KR102506029B1 (ko) 영상 기반 가축 개체 성장 추이 모니터링 장치 및 방법
CN109410282B (zh) 一种输液杆的检测跟踪方法和装置
CA3093646C (en) Method and system for extraction of statistical sample of moving objects
CN112308014B (zh) 双眼瞳孔与角膜反光点高速精确搜索定位方法
US12039792B2 (en) Position-determining device
NO330423B1 (no) Anordning og fremgangsmate for fisketelling eller biomassebestemmelse
CA3113942C (en) Method, system and apparatus for support structure depth determination
Pal et al. Algorithm design for teat detection system methodology using TOF, RGBD and thermal imaging in next generation milking robot system
RU2742931C2 (ru) Устройство и способ классификации сосков относительно показателей размера
JPH11211831A (ja) 複数移動物体の位置計測方法及びその位置計測プログラムを記載した記録媒体ならびに複数移動物体の位置計測システム
NL2028749B1 (en) Monitoring system for growth monitoring individual livestock animals
JP7493545B2 (ja) 位置推定装置、位置推定方法、及びプログラム
RU2769671C1 (ru) Способ и устройство для бесконтактного сканирования биологических объектов
EP4332621A1 (en) Laser scanner with stereo camera vision for improved selective feature scanning

Legal Events

Date Code Title Description
MM Lapsed because of non-payment of the annual fee

Effective date: 20220201