DE102012022005A1

DE102012022005A1 - Verfahren, Vorrichtung und System

Info

Publication number: DE102012022005A1
Application number: DE102012022005A
Authority: DE
Inventors: Anthony Daniels; Paul Hawkins
Original assignee: Sony Europe Ltd; Sony Corp
Current assignee: Sony Europe BV United Kingdom Branch; Sony Corp
Priority date: 2011-11-11
Filing date: 2012-11-09
Publication date: 2013-05-16
Also published as: US20130120581A1; GB201119501D0; GB2496428A; GB2496428B; CN103106404A

Abstract

Vorrichtung zum Detektieren der Position eines Sportprojektils innerhalb einer Szene, wobei die Vorrichtung aufweist: eine Schnittstelle, die betreibbar ist, eine Mehrzahl von Bildern einer Szene zu empfangen, wobei die Mehrzahl von Bildern im Wesentlichen gleichzeitig durch eine Mehrzahl von Kameras aufgenommen wird oder wurde und wobei jede Kamera ein unterschiedliches Blickfeld der Szene hat, ein Sportprojektilmusterspeichermodul mit Daten, die ein charakteristisches Muster der Oberfläche des Sportprojektils anzeigen, eine Sportprojektilmusterdetektionseinheit, die betreibbar ist, für jedes der Bilder unter Verwendung der Daten des Sportprojektilmusterspeichermoduls mindestens einen Teil des Sportprojektils innerhalb des Bildes zu identifizieren und Positions- und Orientierungsdaten für das Sportprojektil innerhalb des Bildes zu erzeugen, eine Sportprojektilpositionsdetektionseinheit, die betreibbar ist, die Position des Balls innerhalb der Szene auf der Grundlage der Positions- und Orientierungsdaten für das Sportprojektil innerhalb jedes der Bilder und der relativen Positionen der Kameras zu bestimmen

Description

Gebiet der Erfindung
Die vorliegende Erfindung betrifft eine Vorrichtung, ein Verfahren und ein System.
Technischer Hintergrund
Die hier vorgestellte Beschreibung des technischen Hintergrunds dient dem Zweck einer allgemeinen Darstellung des Zusammenhangs der vorliegenden Erfindung. Die Arbeit der Erfinder, soweit sie im Abschnitt des technischen Hintergrunds dargelegt wird, sowie Aspekte der Beschreibung werden weder direkt noch indirekt als Stand der Technik betrachtet.
Bei Ballsportarten, z. B. bei Fußball, ist es wesentlich zu wissen, ob ein Tor erzielt wurde. Ein Tor wird im Allgemeinen gezählt, wenn der gesamte Ball eine vorbestimmte Torlinie insgesamt überschritten hat. Schiedsrichter haben die Aufgabe, den Ball zu beobachten und zu entscheiden, ob der Ball die Torlinie überschritten hat oder nicht, und folglich, ob ein Tor gezählt wird oder nicht. Ein derartiges Vorgehen, obwohl es gut etabliert ist, kann jedoch recht unzuverlässig sein. Falls die Sicht der Schiedsrichter behindert ist oder falls den Schiedsrichtern ein Fehler unterläuft, können wichtige Spielentscheidungen inkorrekt getroffen werden. Es besteht daher das Bedürfnis, eine kamera- und/oder computerbasierte Technologie zu etablieren, um zu bestimmen, ob ein Ball eine Linie überschritten hat, um dadurch die Schiedsrichter bei der Entscheidungsfindung zu unterstützen.
Ein Vorschlag für eine derartige Technologie beinhaltet das Ausrüsten des Spielballs mit einem Sensor, der durch eine Anzahl von Detektionseinheiten derart detektiert wird, dass die Position des Balls zu jedem Zeitpunkt berechnet werden kann. Der Sensor sollte daher Radiofrequenzpulse (RF) aussenden, die von den Detektionseinheiten in periodischen Intervallen gemessen werden, wobei die Zeitspanne des Pulses zum Erreichen jeder Detektionseinheit den Abstand oder die Distanz des Balls zum jeweiligen Sensor anzeigt. Ein Problem bei diesem Ansatz besteht jedoch darin, dass der Sensor innerhalb des Balls das Gewicht und/oder die Balance des Balls merklich ändern kann. Dies ist jedoch in höchstem Maße unerwünscht. Auch ist die Qualitätskontrolle schwierig, da es möglich ist, dass der Ball verfälscht wird (z. B. wenn er in die Zuschauermenge geschossen wird), so dass die Charakteristika des Sensors geändert werden.
Ein anderer Vorschlag beinhaltet das Anbringen von Sensoren an die zwei Torpfosten, wobei jeweils ein Torpfosten an jedem Ende der Torlinie platziert wird. Die Sensoren sind dann so ausgebildet, dass sie die Anwesenheiten von Objekten detektieren, die zwischen ihnen erscheinen (z. B. mittels einer Lasertechnologie), so dass dadurch die Anwesenheit von Objekten detektiert werden kann, welche die Torlinie überqueren. Dieses System ist jedoch ziemlich unzuverlässig, weil es schwierig ist, zwischen einem die Torlinie überquerenden Ball und anderen die Torlinie überquerenden Objekten (z. B. den Fußballspielern selbst) zu unterscheiden. Auch unterliegen die Torpfosten, an welchen die Sensoren angebracht werden, während des Fußballspiels einer merklichen Bewegung und sind daher nicht vollständig mit der Torlinie selbst ausgerichtet, wodurch sich die Zuverlässigkeit und die Genauigkeit des Systems vermindern.
Die vorliegende Erfindung hat die Lösung dieser Probleme zum Ziel.
Zusammenfassung
Gemäß einem Aspekt der vorliegenden Erfindung wird eine Vorrichtung zum Detektieren der Position eines Sportprojektils (sporting projectile) innerhalb einer Szene geschaffen, wobei die Vorrichtung aufweist: eine Schnittstelle, die betreibbar oder bedienbar ist, eine Mehrzahl von Bildern einer Szene zu empfangen, wobei die Mehrzahl von Bildern im Wesentlichen gleichzeitig durch eine Mehrzahl von Kameras aufgenommen wird oder wurde und wobei jede Kamera ein unterschiedliches Blickfeld der Szene hat, ein Sportprojektilmuster- oder -anordnungsspeichermodul (sporting projectile pattern memory module) mit Daten, die ein charakteristisches Muster oder eine charakteristische Anordnung (characteristic pattern) der Oberfläche des Sportprojektils anzeigen, eine Sportprojektilmuster- oder anordnungsdetektionseinheit (sporting projectile pattern detection unit), die betreibbar oder bedienbar ist, für jedes der Bilder unter Verwendung der Daten des Sportprojektilmusterspeichermoduls mindestens einen Teil des Sportprojektils innerhalb des Bildes zu identifizieren und Positions- und Orientierungsdaten für das Sportprojektil innerhalb des Bildes zu erzeugen, eine Sportprojektilpositionsdetektionseinheit, die betreibbar oder bedienbar ist, die Position des Balls innerhalb der Szene auf der Grundlage der Positions- und Orientierungsdaten für das Sportprojektil innerhalb jedes der Bilder und der relativen Positionen der Kameras zu bestimmen.
Die Ballpositionsdetektionseinheit kann betreibbar oder bedienbar sein, die Position des Sportprojektils innerhalb der Szene auf der Grundlage mindestens einer Parametereinstellung für jede der Kameras zu bestimmen.
Der Sportprojektilmuster- oder -anordnungsspeicher kann betreibbar oder bedienbar sein, von der Vorrichtung abnehmbar oder entfernbar zu sein.
Der Sportprojektilmuster- oder -anordnungsspeicher kann betreibbar oder bedienbar sein, Daten, die ein charakteristisches Muster oder eine charakteristische Anordnung der Oberfläche des Sportprojektils anzeigen, elektronisch von einer externen Quelle zu empfangen.
Die Sportprojektilmuster- oder -anordnungsdetektionseinheit betreibbar oder bedienbar sein, für jedes der Bilder Teile des charakteristischen Musters der Oberfläche des Sportprojektils, die spezifiziert sind durch die im Sportprojektilmusterspeichermodul enthaltene Daten mit mindestens einem Teil des Sportprojektils innerhalb des Bildes in Übereinstimmung zu bringen.
Die Sportprojektilmuster- oder -anordnungsdetektionseinheit betreibbar oder bedienbar sein, für jedes der Bilder Konfidenzwerte für das Bild zu bestimmen, wobei die Konfidenzwerte Bereiche des Bildes anzeigen, in welchen mindestens ein Teil des Sportprojektils zu identifizieren ist.
Die Vorrichtung kann ferner aufweisen: einen Speicher, der betreibbar oder bedienbar ist, erste und zweite Sätze von Bildern zu speichern, wobei in jedem der ersten und zweiten Sätze von Bildern eine Mehrzahl von Bildern enthalten ist, die im Wesentlichen gleichzeitig durch die Mehrzahl von Kameras zu einer ersten bzw. zweiten Zeit aufgenommen wurden.
Die Ballanmuster- oder -anordnungsdetektionseinheit kann betreibbar oder bedienbar sein, für ein Bild innerhalb des ersten Satzes von Bildern Bereiche des Bildes innerhalb des ersten Satzes von Bildern zu bestimmen, in welchen mindestens ein Teil des Sportprojektils wahrscheinlich identifiziert werden kann, wobei die Bereiche unter Verwendung mindestens eines Aspekts der Positions- und Orientierungsdaten eines Bildes innerhalb des zweiten Satzes von Bildern bestimmt werden.
Die Szene kann eine vorbestimmte Torlinie enthalten, wobei die Sportprojektilpositionsdetektionseinheit betreibbar oder bedienbar ist, ein Toranzeigesignal zu generieren, falls ermittelt wird, dass das Sportprojektil die vorbestimmte Torlinie um eine Distanz überschritten hat, die größer ist als der Radius des Sportprojektils.
Gemäß einem anderen Aspekt wird ein System zum Detektieren der Position eines Sportprojektils innerhalb einer Szene geschaffen, wobei das System aufweist: die Vorrichtung nach einem der vorangehend beschriebenen Ausführungsformen, eine Mehrzahl von Kameras, wobei jede der Kameras so angeordnet ist, dass sie ein unterschiedliches Blickfeld der Szene besitzt, und wobei jede der Kameras betreibbar ist, ein Bild der Szene aufzunehmen und das Bild der Vorrichtung zuzuführen.
Das System kann des Weiteren einen Drahtlostransceiver aufweisen, der betreibbar oder bedienbar ist, das Toranzeigesignal zu empfangen und das Toranzeigesignal in drahtloser Art und Weise an ein Headset zu übertragen.
Der Drahtlostransceiver kann betreibbar oder bedienbar sein, das Toranzeigesignal drahtlos über einen sicheren Kanal an das Headset zu übertragen.
Die Mehrzahl von Kameras kann zwei Kameras, die auf einer Linie mit der vorbestimmten Torlinie angeordnet sind, zwei Kameras, die vor der vorbestimmten Torlinie angeordnet sind, und zwei Kameras, die hinter der vorbestimmten Torlinie angeordnet sind, aufweisen.
Gemäß einem anderen Aspekt wird Verfahren zum Detektieren der Position eines Sportprojektils innerhalb einer Szene geschaffen, wobei das Verfahren aufweist: Empfangen einer Mehrzahl von Bildern der Szene, wobei die Mehrzahl der Bilder im Wesentlichen gleichzeitig durch eine Mehrzahl von Kameras aufgenommen wird oder wurde, wobei jede Kamera ein unterschiedliches Blickfeld der Szene besitzt, Speichern von Daten, die ein charakteristisches Muster der Oberfläche des Sportprojektils anzeigen, für jedes der Bilder Verwenden der gespeicherten Daten zum Identifizieren mindestens eines Teils des Sportprojektils innerhalb des Bildes und Erzeugen von Positions- und Orientierungsdaten des Sportprojektils innerhalb des Bildes, Bestimmen der Position des Balls innerhalb der Szene auf der Grundlage der Positions- und Orientierungsdaten für das Sportprojektil innerhalb jedes der Bilder und der relativen Positionen der Kameras.
Das Verfahren kann ferner aufweisen das Bestimmen der Position des Sportprojektils innerhalb der Szene auf der Grundlage mindestens einer Parametereinstellung für jede der Kameras.
Das Verfahren kann des Weiteren aufweisen das Empfangen von Daten, die ein charakteristisches Muster der Oberfläche des Sportprojektils anzeigen, in elektronischer Form von einer externen Quelle.
Das Verfahren kann noch aufweisen das In-Übereinstimmung-Bringen von Teilen des charakteristischen Musters der Oberfläche des Sportprojektils, die bestimmt werden durch die gespeicherten Daten, mit mindestens einem Teil des Sportprojektils innerhalb des Bildes für jedes der Bilder.
Das Verfahren kann auch aufweisen das Bestimmen von Konfidenzwerten für jedes der Bilder, wobei die Konfidenzwerte Bereiche des Bildes anzeigen, in welchen mindestens ein Teil des Sportprojektils zu identifizieren ist.
Das Verfahren kann des Weiteren aufweisen das Speichern eines ersten und eines zweiten Satzes von Bildern, wobei jeder der ersten und zweiten Sätze von Bildern eine Mehrzahl von Bildern aufweist, die im Wesentlichen gleichzeitig durch die Mehrzahl von Kameras zu einem ersten bzw. zu einem zweiten Zeitpunkt aufgenommen werden oder wurden.
Das Verfahren kann ferner aufweisen – für ein Bild innerhalb des ersten Satzes von Bildern – das Bestimmen von Bereichen des Bildes innerhalb des ersten Satzes von Bildern, in welchen mindestens ein Teil des Sportprojektils wahrscheinlich zu identifizieren ist, wobei die Bereiche unter Verwendung mindestens eines Aspekts der Positions- und Orientierungsdaten von einem Bild innerhalb eines zweiten Satzes von Bildern bestimmt werden.
Die Szene kann eine vorbestimmte Torlinie aufweisen, wobei das Verfahren des Weiteren das Erzeugen eines Toranzeigesignals für den Fall aufweist, dass für das Sportprojektil ermittelt wird, dass es die vorbestimmte Torlinie um eine Distanz überschritten hat, die größer ist als der Radius des Sportprojektils.
Die vorangehenden Absätzen wurden im Rahmen einer allgemeinen Einführung gegeben und sollen nicht den Rahmen der folgenden Ansprüche beschränken. Die beschriebenen Ausführungsformen können zusammen mit den weiteren Vorteilen am besten unter Bezugnahme auf die nachfolgende Detailbeschreibung unter Berücksichtigung der beigefügten Figuren gewürdigt werden.
Kurzbeschreibung der Figuren
Eine vollständigere Darlegung der Offenbarung und viele der sich ergebenden Vorteile davon werden deutlicher ersichtlich unter Bezugnahme auf die nachfolgende Detailbeschreibung und die beigefügten Figuren.
1A illustriert in schematischer Art und Weise die Positionen einer Mehrzahl von Kameras in Bezug auf eine Torlinie eines Fußballfeldes gemäß einer Ausführungsform der Erfindung.
1B illustriert in schematischer Art und Weise die Kameras und die Torlinie gemäß 1B, und zwar von einer anderen Perspektive aus betrachtet.
2 illustriert in schematischer Art und Weise ein System zum Detektieren der Position eines Balls innerhalb einer Szene gemäß einer Ausführungsform der Erfindung.
3 illustriert in schematischer Art und Weise eine Vorrichtung zum Detektieren der Position eines Balls innerhalb einer Szene gemäß einer Ausführungsform der Erfindung.
4A illustriert in schematischer Art und Weise die Positionen von Kamerakalibrationsbezugsmarkierungen gemäß einer Ausführungsform der Erfindung.
4B illustriert in schematischer Art und Weise eine erste mögliche Position von Kamerakalibrierungsbezugsmarkierungen gemäß einer Ausführungsform der Erfindung.
4C illustriert in schematischer Art und Weise eine zweite mögliche Position von Kamerakalibrierungsbezugsmarkierungen gemäß einer Ausführungsform der Erfindung.
5A illustriert in schematischer Art und Weise einen Ball mit einer charakteristischen Anordnung oder einem charakteristischen Muster auf seiner Oberfläche.
5B illustriert in schematischer Art und Weise ein Bild einer Szene, bei welcher nur ein Bereich des Balls aus 5A sichtbar ist.
5C illustriert in schematischer Art und Weise die Bestimmung der Position der Mitte des Balls in der Szene aus 5B gemäß einer Ausführungsform der Erfindung.
6A illustriert in schematischer Art und Weise zwei sichtbare Bereiche eines Balls mit einer charakteristischen Anordnung oder einem charakteristischen Muster auf seiner Oberfläche.
6B illustriert in schematischer Art und Weise eine vergrößerte Ansicht des ersten sichtbaren Bereichs aus 6A, wobei der erste sichtbare Bereich erste Orientierungsdaten gemäß einer Ausführungsform der Erfindung aufweist.
6C illustriert in schematischer Art und Weise eine vergrößerte Ansicht des ersten sichtbaren Bereichs aus 6A, wobei der zweite sichtbare Bereich erste Orientierungsdaten gemäß einer Ausführungsform der Erfindung aufweist.
7 illustriert in schematischer Art und Weise die berechnete Trajektorie eines Balls während eines Zeitintervalls, während welchem der Ball von der Sicht einer Kamera verdeckt wird, gemäß einer Ausführungsform der Erfindung.
8 illustriert in schematischer Art und Weise den Betrieb eines Systems zum Bestimmen der Position eines Balls innerhalb einer Szene gemäß einer Ausführungsform der Erfindung.
Beschreibung von Ausführungsformen
Es wird nun auf die Figuren Bezug genommen, wobei gleiche Bezugszeichen identische oder korrespondierende Teile bei den verschiedenen Ansichten bezeichnen.
Die 1A und 1B illustrieren die Positionen einer Mehrzahl von Kameras 100, die in der Nähe einer oder um eine Torlinie 112 eines Fußballfeldes 118 herum angeordnet sind. Jede der Kameras ist ausgebildet, Bilder der im Wesentlichen selben Szene aus unterschiedlichen Gesichtsfeldern oder Blickwinkeln aufzunehmen, wobei die Szene die Torlinie 112 und das gesamte Tor 122 umfasst. Bei dieser Ausführungsform sind zwei Kameras 100 hinter der Torlinie, zwei Kameras 100 auf der Höhe (in line) der Torlinie und zwei Kameras vor der Torlinie angeordnet. Wenn ein Spiel läuft, werden die Kameras so bedient, dass sie Bilder der Szene aufnehmen, wenn sich der Ball in der Nähe der Torlinie befindet.
Bei einer Ausführungsform sind die Kameras 100 weit entfernt von der Torlinie derart angeordnet, dass sich die Größe des Balls bei den aufgenommenen Bildern der Szene nicht signifikant ändert. Zum Beispiel kann jede der Kameras ungefähr 50 Meter von der Torlinie entfernt angeordnet sein. Dies ist deshalb vorteilhaft, weil die Größe des Balls sich innerhalb des Blickwinkels oder Blickfeldes jeder Kamera nicht ändert, so dass Bildverarbeitungstechniken zum Detektieren des Balls innerhalb der aufgenommenen Bilder, z. B. im Sinne eines Block-Matching-Verfahrens mit größerer Effizienz ausgeführt werden können. Dies ist deshalb so, weil das Modell des Balles, welches bei dem Block-Matching-Verfahren verwendet werden, nur eine geringe Skalierung (limited scaling) erfordert.
Obwohl die Kameras 100 in jeder Höhe in Bezug auf das Fußballfeld angeordnet werden können, werden bei den Ausführungsformen die Kameras derart positioniert, dass Objekte außer dem Ball (z. B. Zuschauer am Rande des Spielfelds) kaum das Blickfeld der Kamera behindern. Wo die Kameras 100 z. B. in einem Stadium angeordnet sind, können die Kameras 100 z. B. im Schutzdach vorgesehen sein, welches die Menge abdeckt.
Des Weiteren können, obwohl in den Ausführungsformen sechs Kameras dargestellt werden, unterschiedliche Anzahlen von Kameras verwendet werden. Falls die Anzahl der Kameras vermindert wird, ist es jedoch schwieriger, in akkurater Weise die Position des Balls in einer Situation zu bestimmen, bei welcher der Blick einer oder mehrerer Kameras verdeckt ist.
Die Kameras werden so positioniert, dass vorbestimmte Kamerakalibrierungsreferenzmarkierungen sich klar innerhalb des Sichtbereichs jeder Kamera befinden. Wie später erläutert wird, sind diese Markierungen zum Detektieren und Korrigieren von Bewegung bei den Kameras notwendig. Bei einer Ausführungsform sind die Referenzmarkierungen an den Tornetzhaltern 116 und an den Torpfosten 120 angebracht. Durch Positionieren der Referenzmarkierungen an diesen Stellungen ist die Wahrscheinlichkeit dafür, dass diese Punkte innerhalb der Szene in Bewegung geraten, sehr gering. Zusätzlich wird durch Anordnen der Referenzmarkierungen in der Nähe oder im obersten Bereich der Tornetzhalter 116 die Wahrscheinlichkeit dafür, dass die Markierungen verdeckt werden, reduziert.
Um die Wahrscheinlichkeit dafür, dass die Kameras durch Wind bewegt werden (z. B. im Falle eines Fußballstadiums im Freien), sollten die Kameras an einer geschützten Stelle angeordnet werden. Auch können die Kameras mit einem aerodynamisch designten Gehäuse ausgebildet werden, so dass eine Bewegung aufgrund von Wind weiter reduziert wird.
2 illustriert in schematischer Art und Weise ein System 200 zum Detektieren der Position eines Balls innerhalb einer Szene gemäß einer Ausführungsform der Erfindung. Jede Kamera 100 ist betreibbar, um ein Bild der Szene von einem unterschiedlichen Blickfeld aus aufzunehmen. Wie aus der 2 entnehmbar ist, wird dann jedes der von den jeweiligen Kameras 1–6 aufgenommene Bild I1–I6 an einen Kamerakalibrierungscomputer 202 weitergeleitet.
Der Kamerakalibrierungscomputer 202 ist so betreibbar, dass er mindestens eine der Kamerakalibrierungsreferenzmarkierungen 402 im aufgenommenen Bild detektiert und die Position der Referenzmarkierung mit seiner Position in einem vorangehenden Bild vergleicht. Wie später beschrieben werden wird, verbleibt in der Szene selbst die Referenzmarkierung stationär, so dass jeglicher Unterschied in der Position der Referenzmarkierung zwischen dem aktuellen und vorangehenden Bildern anzeigt, dass die Kamera selbst einer Bewegung unterworfen war (z. B. einem Schwenken, Schwingen, Neigen, Drehen oder Wanken). Falls eine Bewegung der Position einer Referenzmarkierung detektiert wird, ist der Kamerakalibrierungscomputer 202 betreibbar, eine Korrekturtransformation auf das empfangene Bild derart anzuwenden, dass die Bewegung der Kamera korrigiert wird. Dies bedeutet mit anderen Worten, dass auf sämtliche Pixel des Bildes die Korrekturtransformation angewandt wird. Dies wirkt jeglicher Bewegung der Pixel im Bild aufgrund der Kamerabewegung entgegen.
Sämtliche bekannten Verfahren im Stand der Technik zum Detektieren einer Differenz in der Position einer Referenzmarkierung zwischen einem ersten und zweiten Bild und zum darauf folgenden Transformieren des zweiten Bildes zum Verschieben des Unterschieds können hier verwendet werden. Eine derartige Technik besteht darin, eine Transformationsmatrix anzuwenden, welche es ermöglicht, dass die relevanten Kalibrierungsvariablen so angepasst werden, dass die Pixeldifferenz zwischen dem ersten und zweiten Bild am besten angepasst werden. Sobald erst die Bildverarbeitung durch jeden der Kamerakalibrierungscomputer 202 beendet ist, werden die korrigierten aufgenommenen Bilder I1'–I6' and die Steuerung 204 übermittelt.
Die Steuerung 204 ist betreibbar oder bedienbar, um in akkurater Art und Weise die Position des Balls innerhalb der Szene aus den aufgenommenen korrigierten Bildern I1'–I6' zu bestimmen. Wie später erläutert wird, erreicht die Steuerung 204 dies durch Verarbeiten jedes der Bilder I1'–I6', um Positions- und Orientierungsdaten für den Ball innerhalb dieses Bildes zu ermitteln. Die Steuerung 204 kombiniert dann die Positions- und Orientierungsdaten für jedes Bild und verwendet die sich ergebenden kombinierten Daten, und zwar zusammen mit den bekannten Relativpositionen jeder Kamera 100, um die Positionen des Balls innerhalb der Szene zu ermitteln. Die Steuerung 204 ist auch betreibbar, um die Trajektorie des Balls innerhalb der Szene während Zeitspannen zu ermitteln, in welchem der Ball von der Sicht sämtlicher Kameras verdeckt ist (z. B. dann, wenn eine große Anzahl von Spielern sich in der Nähe der Torlinie befindet und folglich dazwischen den Ball von der Sicht sämtlicher Kameras verdecken). Wie später beschrieben wird, wird dies dadurch erreicht, indem die Position, die Geschwindigkeit und die Stoß- oder Impactcharakteristikdaten (impact characteristic data) für den Ball unmittelbar vor und unmittelbar nach dem Zeitintervall, in welchem der Ball verdeckt ist, verwendet werden.
Falls die Position des Balls innerhalb der Szene durch die Steuerung 204 ermittelt wurde, entweder direkt aus den aufgenommenen Bildern I1'–I6' (in dem Fall, dass mindestens ein Teil des Balls ausreichend sichtbar ist durch die Kameras 100) oder durch den Balltrajektoriendetektionsmechanismus (in dem Fall, dass der Ball verdeckt ist), bestimmt die Steuerung 204, ob der Ball als Ganzes die gesamte Torlinie überquert hat oder nicht. Dies wird ermittelt unter Berücksichtigung der Mitte oder des Zentrums des Balls, und zwar dahingehend, dass, falls die Mitte des Balls die gesamte Torlinie um eine Länge überschritten hat, die dem Radius des Balls entspricht, dann ein Tor gezählt wird. Es ist klar, dass die Position des Balls nahe der Szene tatsächlich ermittelt wird durch diese Position des Zentrums oder der Mitte des Balls innerhalb der Szene.
In einem Fall, bei welchem festgestellt wird, dass der Ball als Ganzes die gesamte Torlinie überschritten hat, wird ein Toranzeigesignal, welches anzeigt, dass ein Tor zu werten ist, von der Steuerung 204 an einen Drahtlostransceiver 206 (wireless transceiver) übermittelt. Der Drahtlostransceiver überträgt dann das Toranzeigesignal in drahtloser Art und Weise an ein Headset 208, welches von dem Schiedsrichtern übertragen wird. Das Drahtlossignal wird über einen sicheren Kanal übertragen. Es ist vorteilhaft, das Toranzeigesignal über einen sicheren Kanal zu übertragen, um zu verhindern, dass falsche Signale von falschen Quellen (rogue sources) (z. B. anderen Drahtlostransceivern im Besitz Dritter, die versuchen, das Ergebnis eines Fußballspiels durch Übersenden eines falschen Toranzeigesignals an das Headset 208 zu beeinflussen), an das Headset 208 übersandt werden. Der sichere Kanal kann z. B. etabliert werden durch einen Handshaking-Authentifizierungsvorgang zwischen dem Headset 208 und dem Drahtlostransceiver 206 z. B. vor dem Beginn des Fußballspiels.
Zu bemerken ist, dass, obwohl 2 die Kamerakalibrierungscomputer 202 als von der Steuerung 204 separiert darstellt, es möglich wäre, die Kamerakalibrierungscomputer 202 stattdessen innerhalb der Steuerung 204 auszubilden. Es wäre ebenso akzeptabel, dass die Drahtlostransceiver 206 innerhalb der Steuerung 204 vorgesehen sind.
Obwohl das Beispiel eines Headsets 208 dargelegt wurde, könnte das Drahtlossignal auch an eine andere Art Empfänger oder Receiver übertragen werden, z. B. an eine Armbanduhr oder an ein Ohrteil oder Hörgerät, welche durch die Schiedsrichter getragen werden. Es kann auch eine Mehrzahl derartiger Empfänger oder Receiver vorgesehen sein oder werden, so dass sämtliche Schiedsrichter in simultaner Art und Weise das Toranzeigesignal empfangen können.
Die Steuerung 204 kann auch betreibbar sein, um mehr als nur das Toranzeigesignal zu übertragen. Zum Beispiel kann in einem Fall, bei welchem das Tor gilt oder fast gilt, die detektierte Position des Balls innerhalb der Szene als computerisiertes Bild oder Video dargestellt werden. Dann könnten das Bild oder Video an die Fernsehstation zusammen mit dem Übersenden des Toranzeigesignals an die Schiedsrichter an Fernsehstationen zum Einfügen in die Fernsehübertragung des Fußballspiels übersandt werden.
Obwohl das System 200 beschrieben wurde dass es nur einen Satz aufgenommener Bilder I1–I6 in Zusammenhang mit den Ausführungsformen verarbeitet, kann das System auch Abfolgen von Bildern verarbeiten, die durch die Kameras 100 mit einer vorgegebenen Bildrate oder Framerate aufgenommen wurden. So werden z. B. die Bilder I1₁–I6₁ zur Zeit t₁, die Bilder I1₂–I6₂ zum Zeitpunkt t₂, die Bilder I1_n–I6_n zum Zeitpunkt t_n und so weiter aufgenommen. Dies ermöglicht die Bestimmung der Position des Balls zu den Zeitpunkten t₁, t₂, ..., t_n und so weiter, so dass die Position des Balls nachverfolgt werden kann über die Zeit, die der Ball im Spiel ist. Jede vorbestimmte Bildrate oder Framerate kann verwendet werden, obwohl bei Ausführungsformen die Bildrate oder Framerate so gewählt wird, dass sie hoch genug ist, um eine sich ändernde Position des Balls zu verfolgen, jedoch nicht so hoch, dass irgendeine Verarbeitungsverzögerung in der Steuerung 204 auftritt (es soll also eine Verarbeitung im System in Echtzeit möglich sein). Zum Beispiel können die Bildraten oder Frameraten 25, 30, 50, 60 oder 100 Bilder oder Frames pro Sekunde und pro Kamera sein (korrespondierend zu insgesamt 150, 180, 300, 360 oder 600 Bilder oder Frames pro Sekunde für sechs Kameras.
3 illustriert in schematischer Art und Weise die Steuerung 204 in größerem Detail, und zwar gemäß einer Ausführungsform der Erfindung. Die Steuerung 204 weist eine Schnittstelle auf, über welche jedes der korrigierten aufgenommenen Bilder I1'–I6' von den Kamerakalibrierungscomputern 202 in die Steuerung 204 eintreten. Die Bilder werden im Speicher 302 gespeichert. Die Steuerung 204 weist auch eine CPU 304 zum Ausführen der Verarbeitungsschritte zur Bestimmung der benötigten Ballposition und Balltrajektorie. Des Weiteren ist ein Ballanordnungsspeichermodul oder Ballmusterspeichermodul 206 (ball pattern memory module) zum Speichern von Daten vorgesehen, die eine charakteristische Anordnung oder ein charakteristisches Muster der Oberfläche des Balls anzeigen. Ferner ist eine Schnittstelle für den oder die Drahtlostransceiver vorgesehen, über welche das Toranzeigesignal zum Headset 208 übertragen werden kann. Neben den Bildern I1'–I6' kann der Speicher 302 auch andere Sätze von Bildern speichern, die von den Kameras 100 zu unterschiedlichen Zeiten oder Zeitpunkten als denjenigen, bei welchen die Bilder I1'–I6' aufgenommen wurden, aufgenommen werden. Der Speicher 302 kann auch Computerinstruktionen speichern, die durch die CPU 304 ausgeführt werden.
Zum Detektieren der Position des Balls innerhalb der Szene wird jedes der Bilder I1'–I6' durch die CPU 304 verarbeitet. Die CPU 304 versucht zunächst einen Teil des Balls in jedem Bild durch Auffinden von Bereichen oder Abschnitten des Bildes zu identifizieren, welche zu charakteristischen Anordnungen oder Mustern auf der Oberfläche des Balls passen, die spezifiziert sind oder werden durch Daten im Ballmusterspeichermodul 306 oder Ballanordnungsspeichermodul 306. Dies kann erreicht werden durch Verwenden einer Block-Matchingtechnik oder Block-Übereinstimmungstechnik (block matching technique). Obwohl jede andere geeignete Bildverarbeitung, die im Stand der Technik bekannt ist, zum Auswählen von Bereichen eines Bildes, die im Wesentlichen mit einem vorbestimmten Muster oder einer vorbestimmten Anordnung übereinstimmen, verwendet werden kann.
Falls eine derartige Übereinstimmung auftritt, ermittelt die CPU 304 Positionsdaten für den Übereinstimmungsbereich (matching section) des Bildes. Zum Beispiel können diese Positionsdaten eine Liste mit Positionen der Pixel sein, die die Kante des Übereinstimmungsbereichs innerhalb des Bildes beschreiben oder definieren, die Position von Pixeln können dabei x- und y-Koordinaten sein, die in Bezug auf einen Bezugspunkt oder Referenzpunkt im Bild aufgestellt werden. Der vorbestimmte Referenzpunkt kann z. B. eine der Ecken des Bildes sein. Er kann auch bestimmt werden mittels einer Position eines vorbestimmten Objekts innerhalb des Bildes.
Die CPU 304 kann auch Orientierungsdaten für den Ball im Bild bestimmen. Diese Orientierungsdaten basieren auf den Bereichen oder Abschnitten der charakteristischen Anordnung oder des charakteristischen Musters auf der Oberfläche des Balls, die im Bild detektiert werden, und ermöglichen, wie dies später beschrieben wird, der CPU 304 die Position der Mitte oder des Zentrums des Balls innerhalb der Szene selbst dann zu bestimmen, wenn z. B. nur ein Teil oder Bereich der Oberfläche des Balls innerhalb des Blickfelds jeder der Kameras 100 zu sehen ist.
Die CPU 304 ist auch in der Lage, die tatsächliche oder Echtzeitposition (real-life position) der Mitte des Balls innerhalb der Szene über die bestimmten Positions- und Orientierungsdaten für den Ball in jedem der aufgenommenen Bilder (I1'–I6') zusammen mit den Relativpositionen für jede der Kameras 100 zu bestimmen.
Für jedes aufgenommene Bild der Szene wandelt die CPU 304 die ermittelten Bildpositionsdaten für einen übereinstimmenden oder passenden Bereich (matching section) im Bild zu Szenenpositionsdaten für den übereinstimmenden oder passenden Bereich innerhalb der Szene. Wenn z. B. die Bildpositionsdaten definiert sind durch die Pixelpositionen (x₁, y₁), (x₂, y₂), ..., (x_n, y_n) definiert sind, dann werden die korrespondierenden Szenenpositionsdaten die Position (real x₁, real y₁), (real x₂, real y₂), ..., (real x_n, real y_n) sein. Die Positionen innerhalb der Szene werden definiert in Bezug auf den Punkt innerhalb der Szene, der zum vorbestimmten Referenz- oder Bezugspunkt innerhalb des Bildes korrespondiert. Wenn z. B. der vorbestimmte Referenzpunkt oder Bezugspunkt innerhalb des Bildes definiert ist oder wird durch die Position eines stationären Objekts innerhalb des Bildes, dann wird der korrespondierende Punkt innerhalb der Szene die Position des Objekts selbst sein.
Die Bildpositionsdaten und die Szenepositionsdaten für ein Bild werden in Bezug gesetzt durch ein Skalierungsverhältnis (scaling ratio) (z. B. 0,5 cm in der Szene ist gleich einem Pixel), welche abhängig ist von verschiedenen Parametereinstellungen für die Kamera, welche das Bild aufnimmt, z. B. die Brennweite und der Zoom der Kamera. Zum Beispiel werden für eine längere Brennweite und für größere Zoomwerte die Werte für die Länge jedes der Pixel, welche die Bildpositionsdaten definieren, zu geringeren realen Distanzen innerhalb der Szene korrespondieren, als dies für kürzere Brennweiten und geringere Werte für den Zoom der Fall wäre, wodurch sich ein geringeres Skalierungsverhältnis ergibt.
Sind erst einmal Szenepositionsdaten für jedes der aufgenommenen Bilder I1'–I6' bestimmt, wird die Position des Balls innerhalb der Szene aus den Szenepositionsdaten, den Orientierungsdaten und den Relativpositionen oder relativen Positionen der Kameras 100 ermittelt. Die relativen Positionen und verschiedene Parametereinstellungen für jede der Kameras 100 sind im Speicher 302 gespeichert und können in geeigneter Weise für verschiedene Kamerapositionen und Einstellungen in verschieden groß ausgelegten Fußballstadien geändert werden. Die relativen Positionen der Kameras können definiert werden z. B. durch Definieren der Position einer ersten Kamera als Ursprung und durch Definieren der Positionen sämtlicher anderer Kameras relativ zu diesem Ursprung.
Die Relativpositionen der Kameras 100 müssen für die CPU 304 zugänglich sein, damit die CPU 304 die dreidimensionale Position des Balls innerhalb der Szene aus zweidimensionalen Szenepositionsdaten und Orientierungsdaten für jede der Kameras 100 bestimmen kann. Falls z. B. die erste Kamera in der Lage ist, die Position des Balls in einem ersten Koordinatensystem zu ermitteln, welches definiert ist durch die Parameter (x₁, y₁) in Bezug auf einen ersten vorbestimmten Referenzpunkt, und eine zweite Kamera, die unterschiedlich positioniert ist in Bezug auf die erste Kamera, in der Lage ist, die Positionen des Balls in einem zweiten Koordinatensystem zu bestimmen, welches definiert ist durch die Parameter (x₂, y₂) in Bezug auf einen zweiten vorbestimmten Referenzpunkt, dann kann die CPU 304 die dreidimensionale Position der Kamera nur dann ermitteln, falls sie weiß, wie die ersten und zweiten Koordinatensysteme in Bezug zueinander liegen. Da dieser Zusammenhang zwischen ersten und zweiten Koordinatensystemen diktiert wird durch die relativen Positionen der Kameras 100, müssen die relativen Positionen der Kameras 100 für die CPU 304 zugänglich sein, um die dreidimensionale Position des Balls ermitteln zu können.
Obwohl das oben beschriebene Beispiel für einen vereinfachte Situation angegeben wurde, bei welcher der Ball im Hinblick auf die Sicht irgendeiner Kamera nicht verdeckt wurde, müssen die relativen Positionen der Kameras 100 auch für die CPU 304 zugänglich sein, damit die CPU 304 in der Lage ist, die Position des Balls zu bestimmen, wenn der Ball teilweise im Hinblick auf die Sicht verdeckt ist. Dies ist deshalb so, weil für jedes Bild innerhalb eines aufgenommenen Satzes von Bildern I1'–I6' die Positionsdaten für die übereinstimmenden oder passenden Bereiche oder Abschnitte innerhalb des Bildes in einem Koordinatensystem speziell für die Kamera definiert werden, welche des Bild aufgenommen hat. Damit die CPU 304 in der Lage ist, die Positionen des Balls innerhalb der Szene aus den Positions- und Orientierungsdaten zu ermitteln, muss der CPU 304 der Zusammenhang zwischen den Koordinatensystemen für jede Kamera 100 zugänglich sein. Wiederum wird der Zusammenhang zwischen den unterschiedlichen Koordinatensystemen diktiert durch die relativen Positionen oder Relativpositionen der Kameras. Folglich müssen die relativen Positionen der Kameras der CPU 304 zugänglich oder bekannt sein.
Die CPU 304 kann eine Anzahl von so genannten Konfidenzwerten (confidence values) erzeugen, wenn der Versuch unternommen wird, die übereinstimmenden oder passenden Bereiche oder Abschnitte innerhalb eines Bildes zu ermitteln. Die Konfidenzwerte können z. B. zur Farbe des Balls, zur Gestalt des Balls oder zur Anordnung oder einem Muster des Balls korrespondieren und würden der CPU 304 ermöglichen, dem Vorgang der Ballanordnungsdetektion oder Ballmusterdetektion auf Bereiche oder Flächen des Bildes zu fokussieren, wo übereinstimmende oder passende Bereiche oder Abschnitte wahrscheinlich gefunden werden können. Falls der CPU 304 z. B. aus den innerhalb des Ballanordnungsspeichermoduls 306 gespeicherten Daten bekannt ist, dass die Oberfläche des Balls weitestgehend weiß gefärbt ist, kann die CPU 304 ausschließlich nach hell gefärbten Bereichen oder Abschnitten des Bildes suchen. Alternativ dazu kann die CPU 304 bestimmte Farben suchen, die auf der Oberfläche des Balls nicht vorhanden sind, um dadurch zu verhindern, dass Bereiche oder Flächen des Bildes verarbeitet werden, in welchen diese Farben auftreten. Dies ist dahingehend vorteilhaft, dass der Aufwand des Verarbeitens für die CPU 304 beim Auffinden von übereinstimmenden oder passiven Bereichen oder Abschnitten innerhalb eines Bildes reduziert wird.
Die CPU 304 kann den Vorgang des Auffindens von Ballanordnungen oder Ballmustern auf den Bereichen oder Flächen jedes Bildes in einem Satz von Bildern I1_n'–I6_n' auch auf Flächen der Bereiche fokussieren, wo der Ball sich wahrscheinlich aufhält, auf der Grundlage der Position des Balls in vorangehend aufgenommenen Bildern, die im Speicher 302 gespeichert sind. Wenn der Ball z. B. im Bild I1_n-1' bei den Koordinaten (x, y) gefunden wurde, welches zum Zeitpunkt t_n-1 aufgenommen wurde durch eine bestimmte Kamera 100, dann kann die CPU 304 mit der Suche in Bezug auf das Ballmuster oder die Ballanordnung in einem vorbestimmten Bereich beginnen, welcher sich in der Nachbarschaft der Koordinaten (x, y) im nächsten Bild I1_n' befindet, welches zum Zeitpunkt t_n durch die spezielle Kamera 100 aufgenommen wurde. Die ermittelte Position des Balls innerhalb mindestens eines anderen Bildes innerhalb desselben Satzes von Bildern I1_n'–I6_n', das mindestens eine Bild, welches durch eine andere Kamera 100 aufgenommen wurde, können ebenso verwendet werden. Alternativ dazu kann jede andere geeignete und vorhersagende Bildverarbeitungstechnik, die im Stand der Technik bekannt ist, verwendet werden. Wiederum hat dies den Vorteil des Verminderns des Verarbeitungsaufwands für die CPU 304, wenn übereinstimmende oder passende Bereiche oder Abschnitte innerhalb eines Bildes aufgefunden werden sollen, weil ein intelligenter Startpunkt für diese Suche ausgewählt wird. Auch kann dadurch die Position des Balls sehr viel schneller ermittelt werden.
Die CPU 304 kann auch Rauschen oder Störsignale und/oder falsche Bälle aus jedem der Bilder z. B. unter Verwendung der Konfidenzwerte oder durch Verwenden einer anderen geeigneten Vorgehensweise, die im Stand der Technik bekannt ist eliminieren. Derartige Vorgehensweisen können die Verwendung von Daten aus nur einem einzelnen Bild oder die Verwendung von Daten aus einer Mehrzahl von Bildern umfassen. Die Mehrzahl von Bildern kann Bilder innerhalb desselben Satzes I1_n'–I6_n' oder unterschiedliche Sätze von Bildern, die zu unterschiedlichen Zeiten aufgenommen wurden, umfassen.
Zum Bestimmen der Trajektorie (auf welche manchmal auch als Geschwindigkeit Bezug genommen wird, weil die Geschwindigkeit den Wert der Fahrtgeschwindigkeit oder Schnelligkeit (speed) und die Richtung enthält) des Balls innerhalb der Szene während eines Zeitintervalls, in welchem der Ball vom Blick durch sämtliche Kameras verdeckt ist, wird eine erste Abfolge von Bildern durch die Kameras 100 bei einer ersten Bildrate oder Framerate unmittelbar vor dem Zeitintervall, über welches der Ball verdeckt ist, aufgenommen. Diese erste Abfolge von Bildern wird im Speicher 302 gespeichert. Eine zweite Abfolge von Bildern wird dann durch die Kameras 100 bei einer zweiten vorbestimmten Bildrate oder Framerate unmittelbar nach dem Zeitintervall, während welchem der Ball verdeckt ist, aufgenommen. Die zweite Abfolge von Bildern wird ebenfalls im Speicher 302 gespeichert. Für jeden separaten Satz von Bildern I1_n'–I6_n', die zum Zeitpunkt t_n aufgenommen und im Speicher 302 gespeichert wurden, wird die Position des Balls innerhalb der Szene durch die CPU 304 gemäß der vorangehenden Beschreibung ermittelt.
Die CPU 304 bestimmt dann die Schnelligkeit (speed) und die Richtung des Balls unmittelbar vor dem Zeitintervall, in welchem der Ball verdeckt ist, und zwar unter Verwendung der bestimmten Position des Balls für jeden Satz von Bildern I1_n'–I6_n' innerhalb der ersten Abfolge von Bildern zusammen mit der ersten vorbestimmten Bildrate oder Framerate. Auch ermittelt die CPU 304 die Schnelligkeit und die Richtung des Balls unmittelbar nach dem Zeitintervall, während welchem der Ball verdeckt ist, unter Verwendung der bestimmten Position des Balls für jeden Satz von Bildern I1_m'–I6_m' innerhalb der zweiten Abfolge von Bildern zusammen mit der zweiten vorbestimmten Bildrate oder Framerate. Für eine Abfolge von Bildern kann die CPU 204 z. B. die Schnelligkeit des Balls zu einem Zeitpunkt t_n bestimmen, wenn der Satz von Bildern I1_n'–I6_n' aufgenommen wird, und zwar durch Berechnen der Differenz zwischen der Position des Balls innerhalb der Szene, die bestimmt wird aus dem Satz von Bildern I1_n'–I6_n', die zum Zeitpunkt t_n aufgenommen wurden, und der Position des Balls innerhalb der Szene, die bestimmt wurde aus dem vorangehenden Satz von Bildern I1_n-1'–I6_n-1', die zum Zeitpunkt t_n-1 aufgenommen wurden. Die CPU 304 dividiert dann diese Differenz durch das Zeitintervall t_n–t_n-1, welche für aufeinander folgend aufgenommene Bildsätze gleich ist zum Kehrwert der vorbestimmten Bildrate oder Framerate.
Die Schnelligkeit (speed) und die Richtung (direction) des Balls kann auch kollektiv als Geschwindigkeit (velocity) des Balls aufgefasst werden.
Unter Verwendung von Stoß- oder Impactcharakteristikdaten (impact characteristic data) für den Ball im Zusammenhang mit den ermittelten Geschwindigkeiten vor und nach dem Zeitintervall, während welchem der Ball verdeckt ist, kann die CPU 304 die Position des Balls während dieses Zeitintervalls ermitteln. Die Stoß- oder Impactcharakteristikdaten werden im Speicher 302 gespeichert und enthalten sämtliche Daten, die zum Modellieren der Trajektorie des Balls sinnvoll sind, falls der Ball einen Impuls erfährt, während er verdeckt ist (z. B. falls er den Torpfosten trifft oder getreten wird). Die Stoß- oder Impactcharakteristikdaten können z. B. den Druck enthalten, mit welchem der Ball aufgepumpt ist, Informationen im Hinblick auf die Aerodynamik des Balls oder im Hinblick darauf, wie die elastischen Eigenschaften des Materials, aus welchem der Ball aufgebaut ist, sich mit verschiedenen Temperaturen und unterschiedlichen Wetterbedingungen ändern. Die Stoß- oder Impactcharakteristikdaten werden experimentell für den Spielball vor dem Beginn des Fußballspiels ermittelt und beschreiben wichtigerweise den Wert einer Deformation, den der Ball bei einer gegebenen Kraft eines Stoß oder Impacts für eine gegebene Zeit nach dem Stoß oder Impact erfährt.
Die Bestimmung der Trajektorie des verdeckten oder verborgenen Balls kann automatisch erfolgen für Zeitintervalle, in welchen die CPU 304 ermittelt, dass der Ball nicht sichtbar ist. Falls dann die bestimmte Trajektorie zeigt, dass der gesamte Ball die gesamte Torlinie überquert haben muss, kann das Toranzeigesignal an das Headset 208 übersandt werden. Alternativ dazu kann für eine Reduktion des Verarbeitungsaufwands die Detektion der Trajektorie des verdeckten Balls manuell in Fällen eingeleitet werden, bei welchen der Ball verdeckt wird, während er sehr nahe der Torlinie ist. Ein derartiger manueller Zugang ist möglich, da Sätze korrigierter aufgenommener Bilder I1_n'–I6_n', die mit einer vorbestimmten Bildrate oder Framerate aufgenommen wurden, im Speicher 302 für eine vorbestimmte Zeitspanne, z. B. für 30 Sekunden, gespeichert werden können, um je nach Notwendigkeit zur Verfügung zu stehen.
Die im Ballanordnungsspeichermodul 306 oder Ballmusterspeichermodul 306 enthaltenen Daten, die die charakteristische Anordnung oder das charakteristische Muster der Oberfläche des Balls anzeigen, können geändert oder aktualisiert werden im Hinblick auf Fußbälle mit einer abweichenden oder unterschiedlichen charakteristischen Anordnung oder einem charakteristischen Muster (z. B. für gewöhnliche und hoch sichtbar gemusterte Fußbälle). Darüber hinaus besitzen unterschiedliche Hersteller unterschiedliche Balldesigns. Daher kann für eine Anzahl unterschiedlicher Bälle und Balldesigns eine Bibliothek von Ballanordnungen oder Mustern innerhalb des Speichermoduls 306 gespeichert sein oder werden. Dieses Ändern oder Aktualisieren kann z. B. dadurch erfolgen, dass das Ballanordnungsspeichermodul oder Ballmusterspeichermodul 306 physikalisch entfernbar und ersetzbar ist oder dadurch, dass das Ballmusterspeichermodul 306 betreibbar ist, so dass es neue oder aktualisierte Daten in elektronischer Art und Weise von einer externen Quelle, z. B. einem externen Computer (nicht dargestellt) empfängt. Falls das Ballmusterspeichermodul 306 dazu ausgebildet ist, neue oder aktualisierte Daten elektronisch zu empfangen, kann dies entweder drahtgebunden oder drahtlos mittels einer entsprechenden Verbindung zwischen der äußeren Quelle und dem Ballmusterspeichermodul 306 erfolgen.
Damit der Speicher 302 mit den Daten aktualisiert wird, die z. B. die Position der Kameras 100, die verschiedenen Parameter der Kameras 100 und die Stoß- oder Impactcharakteristikdaten für den Ball maßgeblich sind, ist es notwendig, dass die Steuerung 204 eine Benutzerschnittstelle (nicht dargestellt) aufweist, damit derartige Daten in die Steuerung 204 eingegeben werden können. Diese Benutzerschnittstelle kann z. B. eine traditionelle Anzeige, eine Tastatur und eine Maus enthalten oder eine Touchscreenschnittstelle. Da der Umstand, ob ein Tor gezählt wird oder nicht, durch die CPU 304 auf der Grundlage des Umstands, ob die Mitte des Balls die gesamte Torlinie um eine Distanz überschritten hat, die größer ist als der Radius des Balls, sind die Daten, die den Radius des Balls anzeigen, entweder innerhalb des Speichers 302 oder im Ballanordnungsspeichermodul oder Ballmusterspeichermodul 306 der Steuerung 204 enthalten.
Die 4A–4C zeigen in schematischer Art und Weise die Positionen der Kamerakalibrierungsreferenzmarkierungen gemäß einer Ausführungsform der vorliegenden Erfindung.
4A zeigt in schematischer Art und Weise eine Ansicht von der Seite des Tores. Die Kamerakalibrierungsreferenzmarkierungen 402 oder Kamerakalibrierungsbezugsmarkierungen 402 sind am oder im oberen Bereich oder in der Nähe des oberen Bereichs jedes der Tornetzträger 116 (goal net support) und am unteren Bereich jedes Torpfostens 120 ausgebildet. Die Referenzmarkierungen 402 können an unterschiedlichen Orten angeordnet sein. Es ist jedoch wichtig, dass derartige Orte derart ausgewählt werden, dass die Referenzmarkierungen 402 innerhalb der Szene stationär oder unbeweglich vorliegen, so dass jegliche Änderung in der Position der Referenzmarkierungen 402 zwischen einem aufgenommenen Bild und dem nächsten hervorgerufen wird aufgrund der Bewegung der Kamera 100 und nicht aufgrund einer Bewegung der Referenzmarkierung. Jede der Referenzmarkierungen 402 ist so positioniert, dass sie durch mindestens eine der Kameras 100 sichtbar ist (sichtbar von mindestens einer Kamera 100 in einem Ausmaß, dass der Kamerakalibrierungscomputer 202 in zuverlässiger Art und Weise den Ort der Referenzmarkierung 202 bestimmen kann).
Bei einer Ausführungsform kann jede der Kameras 100 in der Lage sein, in deutlicher Art und Weise eine Mehrzahl von Referenzmarkierungen 402 derart zu erblicken, dass die Kamerabewegung in wirkungsvoller oder effektiver Art und Weise in den aufgenommenen Bildern selbst dann aufgehoben werden kann oder kompensiert werden kann, falls das Sichtfeld der Kamera in Bezug auf eine oder mehrere Referenzmarkierungen 402 verdeckt wird. Zum Beispiel können die Referenzmarkierungen 402 und die Kameras 100 so positioniert werden, dass jede Kamera 100 in der Lage ist, eine Referenzmarkierung 402 am Boden oder am unteren Bereich des Torpfostens 120 und eine Referenzmarkierung 402 an jedem der Tornetzträger 116 zu erblicken. Tatsächlich kann durch Platzieren der Referenzmarkierungen 402 oben oder am oberen Bereich jedes Tornetzträgers 116 die Wahrscheinlichkeit dafür, dass eine Referenzmarkierung 402 sich zwischen aufgenommenen Bildern bewegt oder verdeckt wird, sehr gering sein.
4B zeigt in schematischer Art und Weise eine vergrößerte Ansicht der Referenzmarkierung 402 oben am oder am oberen Bereich eines Tornetzträgers 116. Zwei Referenzmarkierungen 402 sind dargestellt und so angeordnet, dass jede Referenzmarkierung 402 in klarer Art und Weise innerhalb des Gesichtsfeldes einer unterschiedlichen Kamera 100 liegt (d. h., dass die Kameras 100 in der Figur sehr viel näher benachbart zu den Referenzmarkierungen dargestellt sind, als dies tatsächlich der Fall ist). Bei einer Ausführungsform kann eine größere Anzahl von Referenzmarkierungen 402 oben oder am oberen Bereich des Tornetzträgers 116 derart vorgesehen sein, dass jeder innerhalb des Gesichtsfeldes einer unterschiedlichen Kamera 100 liegt.
4C illustriert in schematischer Art und Weise eine vergrößerte Ansicht einer Referenzmarkierung am Boden oder am unteren Bereich eines Torpfostens 120. In der 4C wird die Referenzmarkierung 402 von einer Vorderansicht oder Frontalansicht aus betrachtet. Jede der Referenzmarkierungen 402 korrespondiert zu einer bestimmten Kamera 100, wo immer diese auch lokalisiert sein mögen. Die Referenzmarkierungen sollten also so orientiert sein, dass sie im Blickfeld der Kamera von einer im Wesentlichen frontalen Perspektive oder Ansicht aus betrachtet werden. Dies vereinfacht es dem Kamerakalibrierungscomputer 202, der mit einer Kamera 100 verbunden ist, die Position der Referenzmarkierung 402 zu ermitteln. Wie sich aus 4B ergibt, kann bei einer bevorzugten Ausführungsform eine größere Anzahl von Referenzmarkierungen 402 vorgesehen sein, als dies dargestellt ist. Diese können am Boden oder am untere Bereich des Tornetzträgers 116 so angeordnet sein, dass jeder von ihnen innerhalb des Blickfelds einer unterschiedlichen Kamera 100 liegt.
Wie in den 4A–4C dargestellt ist, besitzt bei einer Ausführungsform die Referenzmarkierung 402 eine rechteckige Gestalt und wird gebildet von einem hell gefärbten inneren Rechteck mit einer dunkel gefärbten rechteckigen Wand. Dies erleichtert das Diktieren der Position der Referenzmarkierung 402 in jedem Bild, da ein bestimmtes Muster oder eine bestimmte Anordnung für die Markierung vorliegt. Um ferner in einfacherer Art und Weise die Referenzmarkierung 402 in jedem Bild zu erfassen, kann die Referenzmarkierung 402 fluoreszierend und/oder reflektierend ausgebildet sein. Das Positionieren der Referenzmarkierungen 402 oben oder im oberen Bereich der Tornetzhalter 116 und am unteren Bereich oder Boden der Torpfosten 120 wird bevorzugt, da im Gegensatz zu anderen Teilen oder Bereichen des Torrahmens, diese Bereiche oder Teile nur einer sehr geringen Bewegung während des Verlaufs des Fußballspiels unterworfen sind.
5A zeigt in schematischer Art und Weise einen Fußball 500 mit einer charakteristischen Anordnung oder einem charakteristischen Muster 502 auf seiner Oberfläche. Bei diesem speziellen Beispiel besteht das Muster 502 aus dunkel gefärbten hexagonalen Formen auf einem hell gefärbten Hintergrund. Die Daten, welche das charakteristische Muster 502 anzeigen, sind im Ballanordnungsmodul oder Ballmustermodul 306 enthalten.
5B zeigt in schematischer Art und Weise eine Szene 504 während eines Fußballspiels, bei welcher der Fußball 500 teilweise durch ein Hindernis 506 im Blickfeld verdeckt wird (in diesem Fall ist das Hindernis das Bein eines Fußballspielers). In dem Fall, bei welchem ein Bild der Szene durch eine Kamera 100 aufgenommen wird, wird dieses durch den Kamerakalibrierungscomputer 202, der mit der Kamera verbunden ist, korrigierend ausgeglichen und dann an die Steuerung 204 übertragen, wobei die CPU 304 innerhalb der Steuerung das Bild verarbeitet, um die Positions- und Orientierungsdaten für den Ball innerhalb des Bildes auf der Grundlage der Daten aufzufinden, die die charakteristische Anordnung oder das charakteristische Muster 502 des Balls, welches im Ballmusterspeichermodul 306 gespeichert ist.
5C zeigt in schematischer Art und Weise eine vergrößerte Ansicht der Szene 504, welche den Ball 500 und das Hindernis 506 aufweist. 5C zeigt auch Bereiche oder Abschnitte 508, 510 des Bildes der Szene, welche mit dem charakteristischen Muster 502 des Balls übereinstimmen und welche daher durch die CPU 304 detektiert werden. Diese übereinstimmenden Bereiche oder Abschnitte 508, 510 korrespondieren zum Ball innerhalb des Bildes der Szene. In vielen Fällen, bei welchen das Hindernis 506 größer ist, kann es passieren, dass nur ein einzelner der übereinstimmenden Bereiche oder Abschnitte 508, 510 sichtbar ist und daher durch die CPU 304 detektiert werden kann.
Des Weiteren können sich im Verlauf des Spiels die Licht- oder Belichtungsbedingungen innerhalb der Szene ändern. Diese Änderung in der Beleuchtung können dazu führen, dass die Farben des Balls dunkler oder heller erscheinen. Falls das Spielfeld eine künstliche Beleuchtung aufweist, die während des Spiels eingeschaltet wird, kann die Farbe des Balls heller erscheinen und mit einem aufgeweißten oder aufgehellten Bereich, bei welchem das künstliche Licht vom Ball reflektiert wird. Um dies zu berücksichtigen, kann das charakteristische Muster 502 des Balls, welches im Speichermodul 306 gespeichert ist, einen Beleuchtungs- oder Lichtalgorithmus aufweisen und anwenden, um diese Veränderungen zu korrigieren. Derartige Algorithmen sind im Stand der Technik der Bildverarbeitung bekannt und werden hier nicht im Detail beschrieben.
Wie zuvor beschrieben wurde, ist die CPU 304 in der Lage, die bestimmten Positions- und Orientierungsdaten für den Ball innerhalb jedes Bildes innerhalb des Satzes von Bildern I1_n'–I6_n' zu verwenden, um die tatsächliche Position der Mitte oder des Zentrums 512 des Balls 500 innerhalb der Szene zu bestimmen.
Die 6A–6C illustrieren in schematischer Art und Weise ein Beispiel für Orientierungsdaten für ein Bild eines Balls innerhalb einer Szene. 6A zeigt wiederum den Fußball 500 mit einem charakteristischen Muster 502. Die sichtbaren Abschnitte 600 und 602 sind dargestellt, von denen jeder charakteristische Musterabschnitte 604 bzw. 606 aufweist. Es wird angenommen, dass für ein bestimmtes Bild der Szene innerhalb eines aufgenommenen Satzes von Bildern I1_n'–I6_n' die sichtbaren Bereiche oder Abschnitte 600, 602 die einzigen sichtbaren Abschnitte des Balls innerhalb des Bildes sind. Dementsprechend werden gemäß der bereits gegebenen Beschreibung die charakteristischen Musterbereiche oder Musterabschnitte 604 und 606 innerhalb der sichtbaren Bereiche oder Abschnitte 600, 602 durch die CPU 304 detektiert und es werden Positionsdaten für jeden der sichtbaren Abschnitte 600, 602 ermittelt. Bei diesem Beispiel werden die charakteristischen Musterabschnitte 604 und 606 die Orientierungsdaten für den Ball innerhalb des Bildes ausbilden.
Die 6B und 6C zeigen in schematischer Weise vergrößerte Ansichten der sichtbaren Bereiche 600 und 602. Die CPU 304 bildet jeden der charakteristischen Musterbereiche 604, 606 auf die korrespondierenden Bereiche der Daten ab, die das charakteristische Muster 502 anzeigen, welches innerhalb des Ballmusterspeichermoduls 306 gespeichert ist. In Kombination mit den Positionsdaten für jeden der sichtbaren Bereiche 600, 602 besitzt die CPU 304 dann ausreichend Information, um die Position der Mitte oder des Zentrums 512 des Balls 500 innerhalb des Bildes zu ermitteln. Dies ist deshalb so, weil, wenn die Positionsdaten für jeden der sichtbaren Bereiche 600 und 602 innerhalb des Bildes gegeben sind, nur eine Position der Mitte oder des Zentrums 512 des Balls 500 in der Lage ist, die spezifischen charakteristischen Musterbereiche 604 und 606 innerhalb der jeweiligen sichtbaren Bereiche oder Abschnitte 600 und 602 hervorzubringen.
Zur Vereinfachung illustrieren die 6A–6C, wie die CPU 304 die Position der Mitte oder des Zentrums des Balls innerhalb eines einzelnen Bildes innerhalb eines aufgenommenen Satzes von Bildern I1_n'–I6_n' unter Verwendung der Positions- und Orientierungsdaten für den Ball innerhalb des Bildes ermittelt. Es wäre jedoch nicht möglich, die 3-dimensionale Position der Mitte des Balls innerhalb der Szene für ein einzelnes Bild zu bestimmen, da das aufgenommene Bild selbst nur 2-dimensional ist. Falls beispielsweise nur der sichtbare Bereich 600 innerhalb des aufgenommenen Bildes sichtbar wäre, wäre es sehr schwierig für die CPU 304, in genauer Art und Weise die Position des Zentrums oder der Mitte des Balls innerhalb der Szene zu ermitteln, weil wahrscheinlich mehrfache Positionen des Balls denkbar sind, welche im Wesentlichen den charakteristischen Musterabschnitt 604 innerhalb des sichtbaren Bereichs 600 hervorrufen können.
In der Realität wird die CPU 304 deshalb so betrieben, dass sie Positions- und Orientierungsdaten für den Ball für jedes Bild innerhalb eines aufgenommenen Satzes von Bildern I1_n'–I6_n' verwendet, und zwar zusammen mit den Positionen und verschiedenen Parametereinstellungen der Kameras 100, um die 3-dimensionale p1 der Mitte des Balls innerhalb der Szene zu bestimmen. Falls z. B. ein erster sichtbarer Bereich oder Abschnitt mit einem ersten charakteristischen Musterabschnitt in einem ersten Bild zusammen mit einem zweiten sichtbaren Bereich oder Abschnitt mit einem zweiten charakteristischen Musterabschnitt in einem zweiten Bild existiert, wird die CPU 304 so betrieben, dass sie die Position der Mitte des Balls innerhalb der Szene auf der Grundlage der Positionsdaten und auf der Grundlage des charakteristischen Musterabschnitts für jedes der ersten und zweiten sichtbaren Bereiche unter Verwendung desselben Prinzips ermittelt, wie dies in Zusammenhang in den 6A–6C beschrieben wurde. Da zwei separate Bilder (von zwei separaten Kameras) verwendet wurden, ist es möglich, die 3-dimensionale Position der Mitte des Balls innerhalb der Szene zu ermitteln.
7 zeigt in schematischer Art und Weise eine Trajektorie des Balls, die mittels der CPU 304 während eines Zeitintervalls bestimmt wurde, während der Ball vom Blick der Kameras 10 verdeckt war. Es wird davon ausgegangen, dass der Ball zum Zeitpunkt t_n verdeckt wird, wenn die Positionen des Balls innerhalb der Szene durch die CPU 304 aus dem Satz von Bildern I1_n'–I6_n', der von den Kameras 100 zum Zeitpunkt t_n aufgenommen wurde, nicht mehr akkurat ermittelt werden kann. Zum Beispiel kann der Ball durch eine große Anzahl von Hindernissen derart umgeben werden, dass kein Teil des Balls mehr durch irgendeine der Kameras 100 sichtbar ist. Alternativ dazu kann der Ball ausschließlich von einer einzelnen Kamera 100 sichtbar sein, wobei in diesem Fall die CPU 304 nicht mit ausreichenden Positions- und Orientierungsdaten versehen werden kann, um die Positionen des Balls innerhalb der Szene zu bestimmen.
7 zeigt, wie der Ball 500 mit dem Zentrum oder der Mitte 512 über die eingehende Trajektorie 702 in den verdeckten Bereich 700 eindringt und über die ausgehende Trajektorie 704 den verdeckten Bereich 700 wieder verlässt. Die CPU 304 ist in der Lage, die Geschwindigkeit v₁ des Balls zum Zeitpunkt t₁ unmittelbar vor dem Verdecktwerden durch den verdeckten Bereich 700 zu berechnen sowie die Geschwindigkeit v₂ des Balls zum Zeitpunkt t₂ unmittelbar nach dem Verdecktwerden im verdeckten Bereich 700, das zuvor beschrieben wurde. Die CPU 304 ist in der Lage, dann die verdeckte Trajektorie 708 des Balls innerhalb des verdeckten Bereichs 700 unter Verwendung mindestens eines Aspekts der bestimmten Position des Balls innerhalb der Szene zu den Zeiten t₁ und t₂, der bestimmten Geschwindigkeit des Balls zu den Zeiten t₁ und t₂ und der Stoß- oder Impactcharakteristikdaten für den Ball, die im Speicher 302 gespeichert sind.
In dem in 7 dargestellten Beispiel befindet sich die Torlinie 706 innerhalb des verdeckten Bereichs 700. Die verdeckte Trajektorie 708, die durch die CPU 304 ermittelt wurde, zeigt, dass die Mitte oder das Zentrum 512 des Balls 500 die Torlinie 708 während des Zeitintervalls überquert hat, während welchem der Ball verdeckt war. Daher wurde das Tor gezählt. Ausführungsformen der vorliegenden Erfindung ermöglichen daher eine Bestimmung, ob der Ball die Torlinie überschritten hat oder nicht, und zwar selbst während Zeitintervallen, während welchen der Ball von der Sicht durch die Kameras 100 verdeckt ist.
Durch Kenntnis der Beschleunigungen, Geschwindigkeiten, Positionen und/oder relativen Zeiten für die einlaufende und auslaufende Trajektorie ist das System in der Lage, die Positions-/Zeitinformation zu interpolieren durch Berechnen der Kraft, die auf den Ball während der Änderung einer Trajektorie wirkt. Durch Kenntnis der Kraft, die auf den Ball wirkt, wird man in die Lage versetzt, die Kompression auf den Ball zu berechnen, sowie die Position/Zeit des Objekts, welches mit dem Ball in Kontakt trat.
Falls also vor dem Verdecken des Balls der Ball mit der Geschwindigkeit v1 beträgt, sind der Winkel der Trajektorie und die Schnelligkeit oder Geschwindigkeit des Balls bekannt. Falls, nachdem der Ball wieder gesehen wurde, der Ball mit einer Geschwindigkeit v2 in Bewegung ist, sind der Winkel der Trajektorie und die Schnelligkeit oder Geschwindigkeit des Balls bekannt. Da angenommen wird, dass eine Kraft vorliegt, die auf den Ball während der verdeckten Zeitspanne einwirkt (entweder da der Ball von einem Objekt abgelenkt wird, oder weil z. B. ein Spieler den Ball tritt), so dass der Ball sich mit der Geschwindigkeit v2 bewegt, kann die Position, bei welcher die Kraft eingewirkt haben muss, als fernster Abstand angenommen werden, in welchem sich der Ball bewegt hat.
Da die Änderung in der Geschwindigkeit, welche der Ball erfährt, ein Ergebnis ist des Einwirkens der Kraft auf den Ball, ist es möglich, die Kraft zu berechnen, die auf den Ball eingewirkt hat. Da des Weiteren die Geschwindigkeit v2 (d. h. die Schnelligkeit und die Richtung) des Balls bekannt sind, ist es möglich, zu extrapolieren, wann die Kraft auf den Ball eingewirkt haben muss. Entsprechend kann die entfernteste Position des Balls berechnet werden.
Zusätzlich ist es durch Kenntnis der Kompression des Balls möglich zu ermitteln, wann die Kraft auf den Ball eingewirkt haben muss. Falls z. B. die Kraft aufgeprägt wurde, gerade bevor der Ball wieder sichtbar wurde, wird der Ball aufgrund der angewandten Kraft deformiert erscheinen. Falls jedoch die Kraft aufgeprägt wurde, kurz nachdem der Ball verdeckt wurde, würde der Ball wieder seine Gestalt angenommen haben und somit weniger deformiert erscheinen. Der Grad, in welchem der Ball deformiert ist, wird gemäß dem Druck auf dem Ball berechnet (und auf der Grundlage anderer relevanter Stoß- oder Impactcharakteristika) sowie gemäß der auf den Ball eingewirkten Kraft.
Es wird nun eine kurze Beschreibung des Betriebs oder der Bedienung des Systems gemäß 8 gegeben. Während des Spiels nehmen sämtliche Kameras 100 Bilder aus verschiedenen Gesichtsfeldern oder Blickwinkeln des Spiels auf, wie dies im Zusammenhang mit Schritt 800 dargestellt ist. Die Kameras 800 nehmen auch die Referenzmarkierungen 402 auf, die am Fuß des Torpfostens und am oberen Bereich der Tornetzträger 116 angeordnet sind. Für jedes Bild wird die Position im Bild im Zusammenhang mit mindestens einer der Referenzmarkierungen 402 bestimmt, wie dies im Zusammenhang mit Schritt 802 dargestellt ist. Da davon ausgegangen wird, dass die Referenzmarkierungen 402 sich an einer festen Stelle innerhalb der Szene befinden, beruht jegliche Bewegung der Referenzmarkierungen 402 zwischen aufeinander folgenden Bildern aufgrund einer Bewegung der Kameras 100. Im Schritt 804 wird die Differenz der Position zwischen der mindestens einen Referenzmarkierung 402, welche durch jede Kamera 100 in aufeinander folgenden Bildern aufgenommen wurde, verwendet, um eine Bewegungstransformation zu ermitteln. Dies bedeutet mit anderen Worten, dass sämtliche anderen Pixel im aufgenommenen Bild um denselben Wert bewegt werden, da die Bewegung der Referenzmarkierungen 402 im Bild aufgrund der Bewegung der Kamera 100 erfolgt. Folglich wird auf die Position jedes Pixels im aufgenommenen Bild die Bewegungstransformation angewandt.
Nach dem Anwenden der Bewegungstransformation auf jedes Pixel werden Bereiche oder Abschnitte jedes Bildes, die mit dem charakteristischen Muster der Balloberfläche übereinstimmen, detektiert. Es werden Positions- und Orientierungsdaten für jeden dieser übereinstimmenden Bereiche ermittelt, wie dies im Schritt 806 dargestellt ist. Die Positions- und Orientierungsdaten für jedes Bild werden dann verwendet, um die Position des Balls innerhalb der Szene gemäß Schritt 808 zu ermitteln. Die Bestimmung der übereinstimmenden oder passenden Bereiche oder Abschnitte, die Ermittlung der Positions- und Orientierungsdaten für die übereinstimmenden Bereiche und die nachfolgende Ermittlung der Position des Balls innerhalb der Szene wird im Zusammenhang mit den 3 und 5A–6C erläutert.
Im Schritt 810 wird aus der ermittelten Position des Balls innerhalb der Szene entschieden, ob der gesamte Ball die gesamte Torlinie überquert hat oder nicht. Falls angenommen werden kann, dass der gesamte Ball die gesamte Torlinie überschritten hat, wird ein Toranzeigesignal erzeugt, wie dies in Zusammenhang mit Schritt 812 dargestellt ist. Dieses Toranzeigesignal wird dann an das Headset des Schiedsrichters übermittelt.
Obwohl die vorangehende Beschreibung im Zusammenhang mit Torlinien gegeben wurde, ist die vorliegende Erfindung nicht auf diesen Aspekt beschränkt. Dies bedeutet insbesondere, dass bei Ausführungsformen der oder die Schiedsrichter einen Hinweis erhalten können im Hinblick über das Überqueren einer Linie innerhalb des Spielfelds durch den Ball, z. B. der Seitenauslinie (throw in line) oder der Torauslinie oder Abstoßlinie (goal kick line) oder dergleichen.
Obwohl die vorangehende Beschreibung Bezug genommen hat auf Bälle, können auch sämtliche andere Sportprojektile betrachtet werden, z. B. Federbälle oder Eishockeypucks.
Insofern Ausführungsformen der vorliegenden Erfindung einer Implementierung unterliegen, zumindest teilweise, und zwar unter Verwendung softwaregesteuerter Datenverarbeitungsvorrichtungen, bilden auch ein Computerprogramm zum Bereitstellen einer derartigen Softwaresteuerung und einer Übertragung, Speicher oder andere Medien, durch welche ein Computerprogramm bereitgestellt wird, Aspekte der vorliegenden Erfindung.
Zahlreiche Abwandlungen und Variationen der vorliegenden Offenbarung sind im Lichte der oben angegebenen Lehre denkbar. Es versteht sich daher von selbst, dass innerhalb des Rahmens der Patentansprüche die vorliegende Erfindung entsprechend abgewandelt werden kann.
Insofern Ausführungsformen der vorliegenden Erfindung im Sinne einer Implementierung vorgestellt wurden, und zwar zumindest teilweise mittels einer softwaregesteuerten Datenverarbeitungsvorrichtung, ergibt es sich, dass nichtflüchtige und maschinenlesbare Speichermedien, welche eine derartige Software tragen, z. B. eine optische Platte, eine magnetische Platte, einen Halbleiterspeicher oder dergleichen, ebenfalls Gegenstand der vorliegenden Erfindung sind.

Claims

Vorrichtung zum Detektieren der Position eines Sportprojektils innerhalb einer Szene, wobei die Vorrichtung aufweist: eine Schnittstelle, die betreibbar ist, eine Mehrzahl von Bildern einer Szene zu empfangen, wobei die Mehrzahl von Bildern im Wesentlichen gleichzeitig durch eine Mehrzahl von Kameras aufgenommen wird oder wurde und wobei jede Kamera ein unterschiedliches Blickfeld der Szene hat, ein Sportprojektilmusterspeichermodul mit Daten, die ein charakteristisches Muster der Oberfläche des Sportprojektils anzeigen, eine Sportprojektilmusterdetektionseinheit, die betreibbar ist, für jedes der Bilder unter Verwendung der Daten des Sportprojektilmusterspeichermoduls mindestens einen Teil des Sportprojektils innerhalb des Bildes zu identifizieren und Positions- und Orientierungsdaten für das Sportprojektil innerhalb des Bildes zu erzeugen, eine Sportprojektilpositionsdetektionseinheit, die betreibbar ist, die Position des Balls innerhalb der Szene auf der Grundlage der Positions- und Orientierungsdaten für das Sportprojektil innerhalb jedes der Bilder und der relativen Positionen der Kameras zu bestimmen.
Vorrichtung nach Anspruch 1, wobei die Ballpositionsdetektionseinheit betreibbar ist, die Position des Sportprojektils innerhalb der Szene auf der Grundlage mindestens einer Parametereinstellung für jede der Kameras zu bestimmen.
Vorrichtung nach einem der Ansprüche 1 oder 2, wobei der Sportprojektilmusterspeicher betreibbar ist, von der Vorrichtung abnehmbar zu sein.
Vorrichtung nach einem der Ansprüche 1 bis 2, wobei der Sportprojektilmusterspeicher betreibbar ist, Daten, die ein charakteristisches Muster der Oberfläche des Sportprojektils anzeigen, elektronisch von einer externen Quelle zu empfangen.
Vorrichtung nach einem der Ansprüche 1 bis 4, wobei die Sportprojektilmusterdetektionseinheit betreibbar ist, für jedes der Bilder Teile des charakteristischen Musters der Oberfläche des Sportprojektils, die spezifiziert sind durch die im Sportprojektilamusterspeichermodul enthaltene Daten mit mindestens einem Teil des Sportprojektils innerhalb des Bildes in Übereinstimmung zu bringen.
Vorrichtung nach einem der Ansprüche 1 bis 5, wobei die Sportprojektilmusterdetektionseinheit betreibbar ist, für jedes der Bilder Konfidenzwerte für das Bild zu bestimmen, wobei die Konfidenzwerte Bereiche des Bildes anzeigen, in welchen mindestens ein Teil des Sportprojektils zu identifizieren ist.
Vorrichtung nach einem der Ansprüche 1 bis 6, mit einem Speicher, der betreibbar ist, erste und zweite Sätze von Bildern zu speichern, wobei in jedem der ersten und zweiten Sätze von Bildern eine Mehrzahl von Bildern enthalten ist, die im Wesentlichen gleichzeitig durch die Mehrzahl von Kameras zu einer ersten bzw. zweiten Zeit aufgenommen wurden.
Vorrichtung nach Anspruch 7, wobei die Ballmusterdetektionseinheit betreibbar ist, für ein Bild innerhalb des ersten Satzes von Bildern Bereiche des Bildes innerhalb des ersten Satzes von Bildern zu bestimmen, in welchen mindestens ein Teil des Sportprojektils wahrscheinlich identifiziert werden kann, wobei die Bereiche unter Verwendung mindestens eines Aspekts der Positions- und Orientierungsdaten eines Bildes innerhalb des zweiten Satzes von Bildern bestimmt werden.
Vorrichtung nach einem der Ansprüche 1 bis 8, wobei die Szene eine vorbestimmte Torlinie enthält und wobei die Sportprojektilpositionsdetektionseinheit betreibbar ist, ein Toranzeigesignal zu generieren, falls ermittelt wird, dass das Sportprojektil die vorbestimmte Torlinie um eine Distanz überschritten hat, die größer ist als der Radius des Sportprojektils.
System zum Detektieren der Position eines Sportprojektils innerhalb einer Szene, wobei das System aufweist: die Vorrichtung nach einem der Ansprüche 1 bis 9, eine Mehrzahl von Kameras, wobei jede der Kameras so angeordnet ist, dass sie ein unterschiedliches Blickfeld der Szene besitzt, und wobei jede der Kameras betreibbar ist, ein Bild der Szene aufzunehmen und das Bild der Vorrichtung zuzuführen.
System nach Anspruch 10, welches des Weiteren einen Drahtlostransceiver aufweist, der betreibbar ist, das Toranzeigesignal zu empfangen und das Toranzeigesignal in drahtloser Art und Weise an ein Headset zu übertragen.
System nach Anspruch 11, wobei der Drahtlostransceiver betreibbar ist, das Toranzeigesignal drahtlos über einen sicheren Kanal an das Headset zu übertragen.
System nach einem der Ansprüche 10 bis 12, wobei die Mehrzahl von Kameras zwei Kameras, die auf einer Linie mit der vorbestimmten Torlinie angeordnet sind, zwei Kameras, die vor der vorbestimmten Torlinie angeordnet sind, und zwei Kameras, die hinter der vorbestimmten Torlinie angeordnet sind, aufweist.
Verfahren zum Detektieren der Position eines Sportprojektils innerhalb einer Szene, wobei das Verfahren aufweist: Empfangen einer Mehrzahl von Bildern der Szene, wobei die Mehrzahl der Bilder im Wesentlichen gleichzeitig durch eine Mehrzahl von Kameras aufgenommen wird oder wurde, wobei jede Kamera ein unterschiedliches Blickfeld der Szene besitzt, Speichern von Daten, die ein charakteristisches Muster der Oberfläche des Sportprojektils anzeigen, für jedes der Bilder Verwenden der gespeicherten Daten zum Identifizieren mindestens eines Teils des Sportprojektils innerhalb des Bildes und Erzeugen von Positions- und Orientierungsdaten des Sportprojektils innerhalb des Bildes, Bestimmen der Position des Balls innerhalb der Szene auf der Grundlage der Positions- und Orientierungsdaten für das Sportprojektil innerhalb jedes der Bilder und der relativen Positionen der Kameras.
Verfahren nach Anspruch 14, mit Bestimmen der Position des Sportprojektils innerhalb der Szene auf der Grundlage mindestens einer Parametereinstellung für jede der Kameras.
Verfahren nach einem der Ansprüche 14 bis 15, mit Empfangen von Daten, die ein charakteristisches Muster der Oberfläche des Sportprojektils anzeigen, in elektronischer Form von einer externen Quelle.
Verfahren nach einem der Ansprüche 14 bis 16, mit In-Übereinstimmung-Bringen von Teilen des charakteristischen Musters der Oberfläche des Sportprojektils, die bestimmt werden durch die gespeicherten Daten, mit mindestens einem Teil des Sportprojektils innerhalb des Bildes für jedes der Bilder.
Verfahren nach einem der Ansprüche 14 bis 17, mit Bestimmen von Konfidenzwerten für jedes der Bilder, wobei die Konfidenzwerte Bereiche des Bildes anzeigen, in welchen mindestens ein Teil des Sportprojektils zu identifizieren ist.
Verfahren nach einem der Ansprüche 14 bis 18, mit Speichern eines ersten und eines zweiten Satzes von Bildern, wobei jeder der ersten und zweiten Sätze von Bildern eine Mehrzahl von Bildern aufweist, die im Wesentlichen gleichzeitig durch die Mehrzahl von Kameras zu einem ersten bzw. zu einem zweiten Zeitpunkt aufgenommen werden oder wurden.
Verfahren nach Anspruch 19, mit – für ein Bild innerhalb des ersten Satzes von Bildern – Bestimmen von Bereichen des Bildes innerhalb des ersten Satzes von Bildern, in welchen mindestens ein Teil des Sportprojektils wahrscheinlich zu identifizieren ist, wobei die Bereiche unter Verwendung mindestens eines Aspekts der Positions- und Orientierungsdaten von einem Bild innerhalb eines zweiten Satzes von Bildern bestimmt werden.
Verfahren nach einem der Ansprüche 14 bis 20, wobei die Szene eine vorbestimmte Torlinie aufweist und wobei das Verfahren des Weiteren Erzeugen eines Toranzeigesignals für den Fall aufweist, dass für das Sportprojektil ermittelt wird, dass es die vorbestimmte Torlinie um eine Distanz überschritten hat, die größer ist als der Radius des Sportprojektils.
Computerprogramm mit computerlesbaren Instruktionen, welche, wenn sie in einen Computer geladen werden, den Computer in die Lage versetzen, ein Verfahren nach einem der Ansprüche 14 bis 21 auszuführen.
Computerprogrammerzeugnis, welches ausgebildet ist, das Computerprogramm gemäß Anspruch 22 darin oder darauf zu speichern.