NL1038363C2 - AUTOMATIC MILK DEVICE WITH CAMERA CONTROL. - Google Patents
AUTOMATIC MILK DEVICE WITH CAMERA CONTROL. Download PDFInfo
- Publication number
- NL1038363C2 NL1038363C2 NL1038363A NL1038363A NL1038363C2 NL 1038363 C2 NL1038363 C2 NL 1038363C2 NL 1038363 A NL1038363 A NL 1038363A NL 1038363 A NL1038363 A NL 1038363A NL 1038363 C2 NL1038363 C2 NL 1038363C2
- Authority
- NL
- Netherlands
- Prior art keywords
- teat
- image
- camera
- dairy animal
- control device
- Prior art date
Links
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01J—MANUFACTURE OF DAIRY PRODUCTS
- A01J5/00—Milking machines or devices
- A01J5/017—Automatic attaching or detaching of clusters
- A01J5/0175—Attaching of clusters
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Animal Husbandry (AREA)
- Environmental Sciences (AREA)
- Image Analysis (AREA)
Description
Automatische melkinrichting met camerabesturing TECHNISCH GEBIEDAutomatic milking device with camera control TECHNICAL AREA
De onderhavige uitvinding heeft betrekking op een automatische 5 melkinrichting volgens de aanhef van conclusie 1, in het bijzonder een automatische melkinrichting voor het automatisch melken van een melkdier, met ten minste een speenbeker en een robotarm voor op een speen van het melkdier aanbrengen van de speenbeker, alsmede een besturingsinrichting die is ingericht voor besturen van de robotarm, waarbij de besturingsinrichting ten minste omvat, 10 een camera voor maken van een beeld van een deel van het melkdier dat tenminste de speen omvat, waarbij de besturingsinrichting op basis van het beeld de robotarm bestuurt, een beeldscherm voor weergeven van het beeld van de camera, een instructieingeefinrichting voor door een gebruiker ingeven van instructies voor nader aansturen van de besturingsinrichting, waarbij de 15 besturingsinrichting is ingericht om het beeld op het beeldscherm weer te geven en instructies te ontvangen vanuit de instructieingeefinrichting in ten minste een van de volgende gevallen: voor de eerste keer dat het melkdier wordt gemolken, en indien ten minste een poging tot op de speen aanbrengen van de speenbeker mislukt.The present invention relates to an automatic milking device according to the preamble of claim 1, in particular an automatic milking device for automatically milking a dairy animal, with at least one teat cup and a robot arm for mounting the teat cup on a teat of the dairy animal , and a control device adapted to control the robot arm, the control device comprising at least a camera for making an image of a part of the dairy animal comprising at least the teat, the control device based on the image being the robot arm controls, a screen for displaying the image of the camera, an instruction setting device for user input of instructions for further control of the control device, the control device being arranged to display the image on the screen and to receive instructions from the instruction indicator in at least one of the in the following cases: for the first time that the dairy animal is milked, and if at least one attempt to attach the teat cup to the teat fails.
2020
STAND VAN DE TECHNIEKSTATE OF THE ART
Uit NL-1034596 is een inrichting bekend voor het aansturen van een robotarm van een automatische melkinrichting, waarbij met name voor het zogenaamde inmelken van een melkdier een afstandbediening wordt beschreven. 25 Hiermee is een gebruiker in staat om, op basis van een beeld van de koe met daarin de uier, de robotarm naar een beginstand voor aansluiten te verplaatsen, door het geven van verplaatsingscommando's. De visuele terugkoppeling naar de gebruiker kan ook op afstand plaatsvinden, zoals met een mobiele telefoon.NL-1034596 discloses a device for controlling a robot arm of an automatic milking device, wherein a remote control is described, in particular for the so-called milking of a dairy animal. With this a user is able, on the basis of an image of the cow with the udder therein, to move the robot arm to a starting position for connection, by giving displacement commands. The visual feedback to the user can also take place remotely, such as with a mobile phone.
Uit andere documenten is bekend om een robotarm een speenbeker 30 te late aansluiten op basis van camerabeelden, maar daarbij is niet aangegeven hoe dat gebeurt, anders dan eveneens met het geleiden van de robotarm.It is known from other documents for a robotic arm to late connect a teat cup 30 on the basis of camera images, but it is not indicated how this happens, other than also by guiding the robotic arm.
Het blijkt dat een dergelijke inrichting in de praktijk vaak niet naar behoren werkt. Met name is het niet gunstig dat de robotarmbesturing op basis 1038363 2 van visuele terugkoppeling betrekkelijk veel tijd vergt. Ook is die werkwijze daardoor minder geschikt voor verhelpen van mislukte aansluitpogingen.It appears that such a device often does not work properly in practice. In particular, it is not favorable that the robot arm control on the basis of visual feedback requires a relatively large amount of time. This method is therefore also less suitable for remedying failed connection attempts.
5 SAMENVATTING VAN DE UITVINDINGSUMMARY OF THE INVENTION
Het is een doel van de onderhavige uitvinding om een besturing te verschaffen die de bovengenoemde nadelen althans ten dele vermindert of wegneemt.It is an object of the present invention to provide a controller that at least partially reduces or eliminates the aforementioned disadvantages.
De uitvinding verschaft daartoe een automatische melkinrichting van 10 de in de aanhef genoemde soort, gekenmerkt doordat de instructieingeefinrichting is ingericht voor het door de gebruiker in het beeld op het beeldscherm aangeven van de positie van de speen waarop de speenbeker dient te worden aangebracht. Dit biedt het voordeel dat de actie door de gebruiker slechts zeer weinig tijd hoeft te vergen. Het aangeven van een positie duurt immers minder lang dan het naar 15 een positie toe sturen van de robotarm. Bovendien biedt dit het voordeel dat het besturingssysteem ervan kan leren. Vaak is het namelijk zo dat het besturingssysteem niet kan beslissen welk deel van het beeld de relevante speen aanduidt, bijvoorbeeld omdat de speenstand sterk afwijkt van een gebruikelijke stand, of omdat meerdere beelddelen voldoen aan daarvoor gestelde criteria van 20 contrast, vorm, enzovoort. Ook kan het zijn dat uierbeharing een verstorende rol speelt. Door de gebruiker in het beeld aan te laten geven welk deel het goede is, dus de speen betreft, kan het besturingssysteem dat deel nader analyseren, bijvoorbeeld op kleur, omgeving enzovoort, en als referentiepositie opslaan. Met deze nadere informatie kan het systeem ook bij nieuwe pogingen en opvolgende 25 melkingen met hogere betrouwbaarheid en/of snelheid de robotarm naar de speen sturen. Een belangrijk voordeel is voorts dat, als eenmaal de positie is aangegeven, het besturingssysteem dan in de meeste gevallen die positie in het beeld kan blijven volgen. Als het melkdier beweegt, is dus de correcte positie nog steeds te herkennen door het besturingssysteem. Dit is niet of veel minder het 30 geval indien alleen de robotarm naar een positie wordt toe bewogen. Als het melkdier, zoals een koe, beweegt, dient de procedure te worden herhaald, totdat daadwerkelijk is aangesloten.To this end, the invention provides an automatic milking device of the type mentioned in the preamble, characterized in that the instruction measuring device is arranged for indicating by the user in the image on the screen the position of the teat to which the teat cup is to be fitted. This offers the advantage that the action by the user only needs very little time. After all, indicating a position takes less time than sending the robot arm to a position. Moreover, this offers the advantage that the operating system can learn from it. In fact, it is often the case that the control system cannot decide which part of the image indicates the relevant teat, for example because the teat position differs considerably from a usual position, or because several image parts meet the criteria of contrast, shape, etc. set for that purpose. Udder hair may also play a disruptive role. By having the user indicate in the image which part is the good, that is to say the teat, the control system can further analyze that part, for example on color, environment and so on, and store it as a reference position. With this further information, the system can also send the robot arm to the teat during new attempts and subsequent milkings with higher reliability and / or speed. Another important advantage is that once the position is specified, the control system can in most cases continue to follow that position in the image. If the dairy animal moves, the correct position can still be recognized by the control system. This is not or much less the case if only the robot arm is moved to a position. If the dairy animal, such as a cow, moves, the procedure must be repeated until it is actually connected.
Een algemene opmerking die hier dient te worden gemaakt is dat de uitvinding niet alleen toepasbaar is op een melkbeker, maar ook op andere 3 speenbehandelingsinrichtingen, zoals reinigings- en/of voormelkbekers en borstels. Daartoe kan "speenbeker" in de gehele aanvrage in principe ook worden gelezen als "speenbehandelingsinrichting". Voorts wordt opgemerkt dat het criterium "indien ten minste een poging tot op de speen aanbrengen van de 5 speenbeker mislukt" tevens omvat "indien een poging tot op de speen aanbrengen van de speenbeker langer duurt dan een voorafbepaalde drempeltijd". Dit kan bijvoorbeeld gebeuren doordat het melkdier onrustig is tijdens de aansluitpoging. De speenpositie kan dan "met de hand" worden bepaald, zodat althans de kans op een daaropvolgende snelle aansluiting groter is.A general remark to be made here is that the invention is applicable not only to a teat cup, but also to other teat treatment devices, such as cleaning and / or foremilk cups and brushes. To that end, "teat cup" can in principle also be read throughout the application as "teat treatment device". It is further noted that the criterion "if at least one attempt to place the teat cup on the teat fails" also includes "if an attempt to place the teat cup on the teat lasts longer than a predetermined threshold time". This can happen, for example, because the dairy animal is restless during the connection attempt. The teat position can then be determined "by hand", so that at least the chance of a subsequent fast connection is greater.
10 Bijzondere uitvoeringsvormen zijn beschreven in de afhankelijke conclusies. In het bijzonder omvat de instructieingeefinrichting een aanraakbeeldscherm. Een dergelijk aanraakbeeldscherm is zeer geschikt om een directe koppeling te leggen tussen beeld, en de positie van de speen daarin, en een bijbehorende instructie. Bijvoorbeeld, en met voordeel, kan de positie op het 15 beeldscherm worden aangegeven met een al dan niet speciale pen die samenwerkt met het aanraakbeeldscherm. Hierbij valt te denken aan een pen zoals bekend van PDA's. Uiteraard is het ook mogelijk om de positie met een vinger of dergelijke aan te duiden. Bij deze uitvoeringsvormen valt het beeldscherm samen met de instructieingeefinrichting. In alternatieve 20 uitvoeringsvormen is het ook mogelijk om de positie aan te duiden met bijvoorbeeld een cursor (pijltje, enzovoort) in het beeldscherm, waarbij de cursor met behulp van een muis, trackball, cursortoetsen enzovoort op de juiste plaats kan worden gebracht.Particular embodiments are described in the dependent claims. In particular, the instruction setting device comprises a touch screen. Such a touch screen is very suitable for establishing a direct link between the image, and the position of the teat therein, and an associated instruction. For example, and advantageously, the position on the display can be indicated with a special or non-special pen which cooperates with the touch screen. One can think of a pen as known from PDAs. It is of course also possible to indicate the position with a finger or the like. In these embodiments, the display coincides with the instruction setting device. In alternative embodiments, it is also possible to indicate the position with, for example, a cursor (arrow, etc.) in the screen, wherein the cursor can be placed in the correct place with the aid of a mouse, trackball, cursor keys, etc.
In voordelige uitvoeringsvormen is de besturingsinrichting ingericht 25 om de in het beeld aangegeven positie van de speen als referentiepositie voor opvolgend gebruik op te slaan. Op deze wijze is de besturingsinrichting zelflerend, doordat deze de aangegeven positie dan ook kan hergebruiken in volgende aansluitingen, of pogingen daartoe, van de speenbeker. Met voordeel is de besturingsinrichting ingericht om van het beeld alsmede de daarin aangegeven 30 positie een beeldanalyse te maken, met name op contrast, kleur en/of vorm, teneinde de beeldeigenschappen van de speen te analyseren en geschikt te maken voor later gebruik. Bijvoorbeeld kan een kleurpatroon op of vorm van de speen worden gebruikt om later in een beeld te herkennen. De daartoe benodigde beeldanalysetechnieken worden aan de vakman bekend verondersteld.In advantageous embodiments, the control device is adapted to store the position of the teat indicated in the image as a reference position for subsequent use. In this way the control device is self-learning, because it can therefore reuse the indicated position in subsequent teats, or attempts thereto, of the teat cup. The control device is advantageously adapted to make an image analysis of the image and the position indicated therein, in particular for contrast, color and / or shape, in order to analyze the image properties of the teat and make it suitable for later use. For example, a color pattern on or shape of the teat can be used to recognize later in an image. The image analysis techniques required for this are assumed to be known to those skilled in the art.
44
Met voordeel omvat de besturingsinrichting een communicatieinrichting, en vormen het beeldscherm alsmede de instructieingeefinrichting een deel van een externe computerinrichting zoals een PC, een laptop, een PDA, een smartphone of vergelijkbare computer met Internet-5 en/of communicatiemogelijkheden, zoals bijvoorbeeld een Apple iPad™. Aldus is de gebruiker (vrijwel) volkomen bewegingsvrij en kan op elke gewenste plaats de benodigde beelden ontvangen en de benodigde instructies geven.Advantageously, the control device comprises a communication device, and the screen and the instruction setting device form part of an external computer device such as a PC, a laptop, a PDA, a smartphone or comparable computer with Internet-5 and / or communication possibilities, such as for example an Apple iPad ™. The user is thus (virtually) completely motion-free and can receive the required images and give the required instructions at any desired location.
In het bijzonder omvat de camera een 3D-beeldcamera omvat. Een dergelijke camera is zeer geschikt om efficiënt beeld en instructies te verwerken. 10 Immers is een dergelijke camera in staat om direct diepteinformatie te koppelen aan het gegeven beeld. Indien aldus de 3D-camera een beeld geeft, zal de door de gebruiker aangegeven positie ook direct de diepteinformatie omvatten, waardoor de drie ruimtelijke coördinaten meteen vastliggen. Hierbij dient er wel van uit te worden gegaan dat de 3D-camera in staat was om de diepteinformatie 15 voor dat beeld te verzamelen, maar dat de besturingsinrichting bijvoorbeeld niet in staat was om met voldoende zekerheid de speenpositie in dat beeld te bepalen. Het 3D-beeld (d.w.z. het beeld van de 3D-camera op het scherm) is overigens op zichzelf meestal monochroom met intensiteit afhankelijk van de waargenomen afstand, of veelkleurig met de kleur afhankelijk van de waargenomen afstand, 20 hetgeen voor interpretatie door een gebruiker niet zo erg is. Het is daarnaast mogelijk om een gewone optische (video-)camera te integreren in de 3D-camera, met een zodanig kleine parallaktische verschuiving ten opzichte van de 3D-ontvangers, dat een in het optische beeld aangegeven positie voldoende nauwkeurig is over te brengen naar het bijbehorende 3D-beeld.In particular, the camera comprises a 3D image camera. Such a camera is very suitable for processing images and instructions efficiently. After all, such a camera is capable of directly linking depth information to the given image. If the 3D camera thus displays an image, the position indicated by the user will also immediately contain the depth information, whereby the three spatial coordinates are immediately fixed. It should be assumed here that the 3D camera was able to collect the depth information for that image, but that the control device, for example, was unable to determine the teat position in that image with sufficient certainty. The 3D image (ie the image of the 3D camera on the screen) is incidentally usually monochrome with intensity depending on the observed distance, or multi-colored with the color depending on the observed distance, which is not interpreted by a user. is so bad. In addition, it is possible to integrate a normal optical (video) camera into the 3D camera, with such a small para-displacement with respect to the 3D receivers, that a position indicated in the optical image can be transferred sufficiently accurately to the corresponding 3D image.
25 Alternatief of aanvullend omvat de besturingsinrichting ten minste 2 camera's die beide een beeld van een deel van het melkdier dat tenminste de speen omvat maken, vanuit verschillende hoeken, en waarbij de besturingsinrichting is ingericht om de gebruiker in elk der beelden de positie aan te laten duiden. Ook op deze wijze is snel, nauwkeurig en efficiënt de juiste positie 30 in drie dimensies aan te geven. Immers is de afstand van de speen tot elk van de beelden niet bekend, maar de combinatie van beide posities in de beelden levert met eenvoudige triangulatie de juiste eenduidige positie op: de speen ligt immers op het snijpunt van de lijn van het optische midden van de eerste camera naar de aangeduide speenpositie in het bij de eerste camera horende beeld, en de lijn van 5 het optische midden van de tweede camera naar de in het beeld van die tweede camera aangeduide speenpositie.Alternatively or additionally, the control device comprises at least 2 cameras, both of which make an image of a part of the dairy animal comprising at least the teat, from different angles, and wherein the control device is adapted to allow the user to position the user in each of the images indicate. In this way too, the correct position 30 can be indicated quickly, accurately and efficiently in three dimensions. After all, the distance from the teat to each of the images is not known, but the combination of both positions in the images yields the correct unambiguous position with simple triangulation: after all, the teat lies at the intersection of the line of the optical center of the first camera to the indicated teat position in the image associated with the first camera, and the line from the optical center of the second camera to the teat position indicated in the image of that second camera.
De camera's zijn met name optische camera's, die zeer goedkoop zijn maar ook een zeer hoog oplossend vermogen en een hoge gevoeligheid 5 hebben. Met voordeel worden de beelden naast elkaar op een beeldscherm weergegeven. De gebruiker kan dan in beide beelden (vrijwel) gelijktijdig de gewenste positie aanduiden. Het is overigens natuurlijk mogelijk om dat aanduiden in achtereenvolgens weergegeven beelden te laten plaatsvinden. In de hier beschreven uitvoeringsvormen kunnen de twee, of meer, camera's vast zijn 10 aangebracht, bijvoorbeeld op en dicht bij de wanden van een melkbox of andere melkplaats. Ze kunnen dan robuust zijn uitgevoerd, en goed beschermd tegen vuil en tegen stoten van het melkdier. Uiteraard kunnen zij ook op bijvoorbeeld de robotarm zijn aangebracht. Dit garandeert een zo goed mogelijk blikveld op de spenen.The cameras are in particular optical cameras, which are very inexpensive but also have a very high resolution and a high sensitivity. The images are advantageously displayed side by side on a screen. The user can then indicate the desired position (almost) simultaneously in both images. Incidentally, it is of course possible for that indication to take place in successively displayed images. In the embodiments described here, the two or more cameras can be fixed, for example on and close to the walls of a milking box or other milking parlor. They can then be robust and well protected against dirt and bumps from the dairy animal. They can of course also be arranged on the robot arm. This guarantees the best possible view of the teats.
15 In uitvoeringsvormen is de camera zodanig verplaatsbaar dat de camera vanuit ten minste twee gezichtshoeken een beeld van een deel van het melkdier dat tenminste de speen kan maken. Met name valt te denken aan een op de robotarm gemonteerde camera, die in het bijzonder verzwenkbaar is opgehangen. Hierdoor is er slechts één camera nodig, hoewel de tijdsvertraging 20 tussen de twee, of meer, beelden in sommige gevallen een nadeel kan zijn. Het maakt hierbij in beginsel niet uit of de camera een optische of een 3D-beeldcamera is.In embodiments, the camera is movable such that the camera from at least two angles of view an image of a part of the dairy animal that can make at least the teat. In particular, think of a camera mounted on the robot arm, which is suspended in particular for pivoting. As a result, only one camera is required, although the time lag between the two, or more, images may be a disadvantage in some cases. In principle, it does not matter whether the camera is an optical or a 3D image camera.
De uitvinding heeft tevens betrekking op een werkwijze volgens conclusie 7. De aldaar beschreven werkwijze stelt de gebruiker zeer goed in staat 25 om de speenbeker doelmatig op de speen aan te sluiten, die optimaal gebruik maakt van de inrichting volgens de uitvinding.The invention also relates to a method according to claim 7. The method described therein very well enables the user to connect the teat cup efficiently to the teat, which makes optimum use of the device according to the invention.
In beginsel zijn alle verbijzonderingen van de inrichting volgens de uitvinding tevens toepasbaar in de werkwijze volgens de uitvinding, bijvoorbeeld het gebruik van een 3D-beeldcamera. Doch in het bijzonder omvat de werkwijze 30 tevens het vanuit ten minste twee gezichtshoeken maken van een beeld van een deel van het melkdier dat tenminste de speen omvat, waarbij elk van de beelden wordt weergegeven op het beeldscherm, en waarbij de gebruiker in elk beeld de positie van de speen aangeeft. Zoals hierboven reeds aangeduid is dit voldoende om, via eenvoudige triangulatie, tot een nauwkeurige positionering in drie 6 dimensies te komen. De twee beelden kunnen worden verkregen door middel van twee camera's, hetgeen de mogelijkheid verschaft tot simultane beelden, maar ook door middel van een enkele camera en achtereenvolgens aangeven in de beelden.In principle, all the details of the device according to the invention can also be applied in the method according to the invention, for example the use of a 3D image camera. However, in particular, the method 30 also comprises taking from at least two angles of view an image of a portion of the dairy animal comprising at least the teat, wherein each of the images is displayed on the screen, and wherein the user displays the image in each image. position of the teat. As already indicated above, this is sufficient to achieve accurate positioning in three 6 dimensions via simple triangulation. The two images can be obtained by means of two cameras, which provides the possibility of simultaneous images, but also by means of a single camera and successively indicated in the images.
55
KORTE BESCHRIJVING VAN DE TEKENINGBRIEF DESCRIPTION OF THE DRAWING
De uitvinding zal hierna kort worden uitgelegd aan de hand van de tekening, waarin: - Figuur 1 een schematisch aanzicht van een automatische melkinrichting 10 volgens de uitvinding, - Figuur 2 een alternatieve beeldschermindeling volgens de uitvinding, en - Figuur 3 een principe-opstelling voor twee camera's, volgens de uitvinding toont.The invention will hereinafter be briefly explained with reference to the drawing, in which: - Figure 1 shows a schematic view of an automatic milking device 10 according to the invention, - Figure 2 shows an alternative display layout according to the invention, and - Figure 3 shows a principle arrangement for shows two cameras according to the invention.
15 BESCHRIJVING VAN DE FIGURENDESCRIPTION OF THE FIGURES
Figuur 1 toont een schematisch aanzicht van een automatische melkinrichting volgens de uitvinding. Hierin is 1 een melkdier, met een speen 2 en een speenpunt 3. Met 4 is een camera aangeduid met een beeldveld 5, en die is aangebracht op een robotarm 6 met daarop voorts een speenbeker 7. Een 20 besturingsinrichting is aangeduid met 8, die werkzaam is verbonden met beeldscherm 9, met een muis 10. In het beeld 11 bevindt zich een aanwijzer 12. Met 16 is een communicatieverbinding aangeduid.Figure 1 shows a schematic view of an automatic milking device according to the invention. Herein 1 is a dairy animal, with a teat 2 and a teat tip 3. A camera is indicated by an image field 5, and which is mounted on a robot arm 6, furthermore with a teat cup 7. A control device is indicated by 8, which is is operatively connected to screen 9, to a mouse 10. In the image 11 there is a pointer 12. Number 16 denotes a communication link.
Het melkdier 1, zoals een koe of buffel, heeft spenen 2 waarop, teneinde melk te winnen, een speenbeker 7 kan worden aangebracht. Bij 25 automatische melkinrichtingen zoals volgens de uitvinding is daartoe een speendetectieinrichting verschaft, hier in de vorm van een camera 4 en een besturingsinrichting 8. De camera heeft een blikveld 5 waarin een deel van het melkdier wordt afgebeeld dat de speen 2 bevat. Hierin dient de speenpunt 3 als referentiepunt om de speenbeker 7 te kunnen aansluiten, hoewel natuurlijk ook 30 andere referentiepunten denkbaar zijn. Op basis van het referentiepunt kan de besturingsinrichting 8 de robotarm 6 besturen om de speenbeker aan te sluiten.The dairy animal 1, such as a cow or buffalo, has teats 2 on which, in order to win milk, a teat cup 7 can be fitted. For this purpose, a teat detection device is provided for this purpose in automatic milking devices such as according to the invention, here in the form of a camera 4 and a control device 8. The camera has a field of view 5 in which a part of the dairy animal containing the teat 2 is depicted. Herein the teat point 3 serves as a reference point for connecting the teat cup 7, although of course other reference points are also conceivable. The control device 8 can control the robot arm 6 on the basis of the reference point to connect the teat cup.
Bij automatische melkinrichtingen kan het voorkomen dat dit aansluiten niet lukt. Dit is vaak het geval bij nieuwe, nog niet gemolken melkdieren, omdat de besturingsinrichting nog geen kennis heeft omtrent de 7 eigenschappen van de spenen, zoals positie, kleur, vorm enz., die immers sterk kunnen variëren van melkdier tot melkdier. Om de besturingsinrichting het nieuwe melkdier te "leren" wordt het dier ingemolken, d.w.z. dat de eerste keer de besturingsinrichting wordt geholpen bij het aansluiten van de speenbeker, althans 5 in die gevallen waarin de besturingsinrichting niet slaagt in dat aansluiten. Hierbij kan ervoor worden gekozen om dit inmelken altijd te doen, dus zonder de besturingsinrichting zelfstandig een of meer pogingen te laten doen.With automatic milking devices it can happen that this connection does not succeed. This is often the case with new dairy animals that have not yet been milked, because the control device does not yet have knowledge of the teat properties, such as position, color, shape, etc., which can, after all, vary widely from dairy animal to dairy animal. In order to "teach" the control device to the new dairy animal, the animal is milked in, i.e. the first time the control device is assisted in connecting the teat cup, at least in those cases where the control device fails to connect. It can be opted here to always do this milking in, i.e. without letting the control device make one or more attempts independently.
Een andere mogelijkheid van niet slagen in het aansluiten kan voorkomen als bijvoorbeeld de spenen sterk bevuild of gewond zijn, zodat deze er 10 sterk anders uitzien in het beeld, waardoor de besturingsinrichting de speen niet meer herkent. Ook wanneer het melkdier onrustig is kan het aansluiten falen, enzovoort.Another possibility of failure to connect can occur if, for example, the teats are heavily soiled or injured, so that they look very different in the image, as a result of which the control device no longer recognizes the teat. Even when the dairy animal is restless, the connection can fail, and so on.
In al deze gevallen zal de gebruiker te hulp kunnen schieten. Daartoe kan de gebruiker het beeld 11 met de speen 2 bekijken op een beeldscherm 9. 15 Met behulp van een muis 10 of een andere instructieingeefinrichting kan de gebruiker de gewenste positie aanduiden, in het voorbeeld door de aanwijzer/pijl 12 op de punt van speenpunt 2 te plaatsen. Met behulp van een communicatieverbinding 16 kan het beeldscherm, en daarmee de gebruiker, zich ook ver weg van de melkinrichting bevinden. Communicatieinrichting 16 is hier 20 getekend als een kabel, maar kan ook draadloos zijn, zoals een mobiele-telefoonverbinding, enzovoort.In all these cases the user can come to the rescue. To this end, the user can view the image 11 with the teat 2 on a screen 9. With the aid of a mouse 10 or another instruction indicating device, the user can indicate the desired position, in the example by the pointer / arrow 12 at the tip of the teat tip 2. With the aid of a communication connection 16, the screen, and thus the user, can also be located far away from the milking device. Communication device 16 is shown here as a cable, but can also be wireless, such as a mobile telephone connection, and so on.
In dit geval is de camera 4 een 3D-camera, zodat de pixels in het beeld 11 telkens diepteinformatie bevatten. Door aanwijzen in het beeld 11 van de punt van de speen 2 zijn dan de 3 coördinaten van die punt bekend, en kan de 25 besturingsinrichting 8 overgaan tot aansluiten van de speenbeker 7.In this case, the camera 4 is a 3D camera, so that the pixels in the image 11 each contain depth information. By pointing in the image 11 of the tip of the teat 2, the 3 coordinates of that point are then known, and the control device 8 can proceed to connect the teat cup 7.
Uiteraard zijn er vele alternatieven denkbaar, zoals een aanraakscherm 9, waarbij de gebruiker met een pen of dergelijke de positie aantikt, of een toetsenbord met pijltjestoetsen voor verplaatsen van de aanwijzer 12. Ook is het denkbaar dat camera 4 in feite 2 camera's voorstelt, die in Figuur 1 30 elkaar dan zouden verdekken. Dergelijke twee camera's kunnen dan twee beelden vanuit verschillende gezichtshoeken verschaffen.Of course, many alternatives are conceivable, such as a touch screen 9, in which the user taps the position with a pen or the like, or a keyboard with arrow keys for moving the pointer 12. It is also conceivable that camera 4 actually represents 2 cameras, which in Figure 1 would then cover each other. Such two cameras can then provide two images from different angles.
In Figuren 2 en 3 is een alternatief aangeduid, met op het scherm 9 twee deelbeelden 11L en 11R met respectieve aanwijzers 12L en 12R. De deelbeelden 11L en 11R zijn in dit geval gemaakt vanuit twee verschillende 8 gezichtshoeken, door camera's 4L respectievelijk 4R, zodat ze parallaktisch versprongen zijn. Bovendien blijkt de linkerspeen enigszins scheef te staan in de richting van de linkercamera, hetgeen pas blijkt uit de verschillende standen in de twee deelbeelden. De rechterspeen hangt wel verticaal.An alternative is indicated in Figures 2 and 3, with on the screen 9 two sub-images 11L and 11R with respective indicators 12L and 12R. The sub-images 11L and 11R are in this case made from two different 8 angles of view, by cameras 4L and 4R, respectively, so that they are parallakically offset. Moreover, the left teat appears to be slightly skewed in the direction of the left camera, which is only apparent from the different positions in the two sub-images. The right teat is hanging vertically.
5 De gebruiker kan wederom de gewenste positie aangeven in de deelbeelden, met de aanwijzers 12L en 12R. Hier zal een aanraakscherm extra voordelen bieden omdat dan, met twee pennen, vingers of dergelijke, de beide posities in hoofdzaak gelijktijdig zijn aan te geven.The user can again indicate the desired position in the sub-images, with the indicators 12L and 12R. Here, a touch screen will offer additional advantages because, with two pins, fingers or the like, the two positions can be indicated substantially simultaneously.
Figuur 3 geeft aan hoe de driedimensionale positie van de speenpunt 10 van speen 2 volgt uit het snijpunt van lijn 13L, van het optische middel 14L van de camera 4L naar de in het beeld 11L aangeduide speenpunt en lijn 13 R, van het optische middel 14R van de camera 4R naar de in het beeld 11R aangeduide speenpunt. Samen met de bekende basislijn 15 tussen de twee optische middens volgen de drie coördinaten van punt 3 dan met simpel rekenwerk.Figure 3 shows how the three-dimensional position of the teat point 10 of teat 2 follows from the intersection of line 13L, from the optical means 14L of the camera 4L to the teat point indicated in the image 11L and line 13 R, of the optical means 14R from the camera 4R to the teat point indicated in the image 11R. Together with the known baseline 15 between the two optical centers, the three coordinates of point 3 then follow with simple calculations.
15 Opgemerkt wordt dat de twee deelbeelden 11L en 11R ook door een enkele camera kunnen worden gemaakt, zij het na verplaatsen en eventueel verzwenken daarvan. Als de verplaatsing over een bekende basislijn als verplaatsing plaatsvindt, kan eveneens de exacte ruimtelijke positie van de speenpunt 3 worden bepaald.It is noted that the two sub-images 11L and 11R can also be made by a single camera, albeit after displacement and possibly pivoting thereof. If the displacement over a known baseline takes place as displacement, the exact spatial position of the teat tip 3 can also be determined.
20 103836320 1038363
Claims (8)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| NL1038363A NL1038363C2 (en) | 2010-11-05 | 2010-11-05 | AUTOMATIC MILK DEVICE WITH CAMERA CONTROL. |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| NL1038363A NL1038363C2 (en) | 2010-11-05 | 2010-11-05 | AUTOMATIC MILK DEVICE WITH CAMERA CONTROL. |
| NL1038363 | 2010-11-05 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| NL1038363C2 true NL1038363C2 (en) | 2011-09-06 |
Family
ID=43937444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| NL1038363A NL1038363C2 (en) | 2010-11-05 | 2010-11-05 | AUTOMATIC MILK DEVICE WITH CAMERA CONTROL. |
Country Status (1)
| Country | Link |
|---|---|
| NL (1) | NL1038363C2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9848575B2 (en) * | 2011-03-17 | 2017-12-26 | Mirobot Ltd. | Human assisted milking robot and method |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998045808A1 (en) * | 1997-04-04 | 1998-10-15 | Alfa Laval Agri Ab | Method and apparatus for generating image information when carrying out animal related operations |
| WO2002000011A1 (en) * | 2000-06-28 | 2002-01-03 | Idento Electronics B.V. | Milking system with three-dimensional imaging |
| WO2007050012A1 (en) * | 2005-10-24 | 2007-05-03 | Delaval Holding Ab | Arrangement and method for visual detection in a milking system |
| WO2008030086A1 (en) * | 2006-09-05 | 2008-03-13 | Maasland N.V. | Implement for automatically milking a dairy animal |
| JP2009000782A (en) * | 2007-06-21 | 2009-01-08 | Idec Corp | System for controlling robot, and robot hand |
| NL1034596C2 (en) * | 2007-10-30 | 2009-05-06 | Lely Patent Nv | Method and device for connecting a teat cup. |
| WO2010008274A2 (en) * | 2008-07-15 | 2010-01-21 | Lely Patent N.V. | Dairy animal treatment system |
-
2010
- 2010-11-05 NL NL1038363A patent/NL1038363C2/en not_active IP Right Cessation
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998045808A1 (en) * | 1997-04-04 | 1998-10-15 | Alfa Laval Agri Ab | Method and apparatus for generating image information when carrying out animal related operations |
| WO2002000011A1 (en) * | 2000-06-28 | 2002-01-03 | Idento Electronics B.V. | Milking system with three-dimensional imaging |
| WO2007050012A1 (en) * | 2005-10-24 | 2007-05-03 | Delaval Holding Ab | Arrangement and method for visual detection in a milking system |
| WO2008030086A1 (en) * | 2006-09-05 | 2008-03-13 | Maasland N.V. | Implement for automatically milking a dairy animal |
| JP2009000782A (en) * | 2007-06-21 | 2009-01-08 | Idec Corp | System for controlling robot, and robot hand |
| NL1034596C2 (en) * | 2007-10-30 | 2009-05-06 | Lely Patent Nv | Method and device for connecting a teat cup. |
| WO2010008274A2 (en) * | 2008-07-15 | 2010-01-21 | Lely Patent N.V. | Dairy animal treatment system |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9848575B2 (en) * | 2011-03-17 | 2017-12-26 | Mirobot Ltd. | Human assisted milking robot and method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1940218B1 (en) | Arrangement and method for visual detection in a milking system | |
| US9848575B2 (en) | Human assisted milking robot and method | |
| US6167839B1 (en) | Arrangement and a method of performing an animal-related action | |
| US10373306B2 (en) | System and method for filtering data captured by a 3D camera | |
| US9081384B2 (en) | Autonomous electronic apparatus and navigation method thereof | |
| CN102105049A (en) | Method and apparatus for positioning a milking cup on a teat of an animal | |
| US20230042756A1 (en) | Autonomous mobile grabbing method for mechanical arm based on visual-haptic fusion under complex illumination condition | |
| WO2000062602A1 (en) | Method and apparatus for recognising and determining a position and robot including such an apparatus | |
| RU2014119947A (en) | MILKING HALL AND METHOD OF ITS OPERATION | |
| NL1034596C2 (en) | Method and device for connecting a teat cup. | |
| SE517179C2 (en) | Device and method for determining a site for an animal-related organ | |
| CA2775395C (en) | Vision system for robotic attacher | |
| WO2021065265A1 (en) | Size estimation device, size estimation method, and recording medium | |
| JP2018153874A (en) | Presentation device, presentation method, program and work system | |
| NL1038363C2 (en) | AUTOMATIC MILK DEVICE WITH CAMERA CONTROL. | |
| CN110298877A (en) | A kind of the determination method, apparatus and electronic equipment of object dimensional pose | |
| US10922154B1 (en) | Systems and methods for inter-process communication within a robot | |
| CA2849212C (en) | Vision system for robotic attacher | |
| JP2020174536A (en) | Harvesting device, control method thereof, and program | |
| WO2019004902A1 (en) | Control of a milking station | |
| CN113043268A (en) | Robot eye calibration method, device, terminal, system and storage medium | |
| CN220087364U (en) | Be provided with range unit's 3D camera system and camera equipment | |
| KR20240043420A (en) | Apparatus for auto-detecting teat of dairy cow and method thereof | |
| CN116267625A (en) | Intelligent machine vision system and method for milking robot | |
| CN113515194A (en) | Display content control apparatus and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM | Lapsed because of non-payment of the annual fee |
Effective date: 20221201 |