DE102009007715B4

DE102009007715B4 - Verfahren und System zum automatischen Auffinden von elektronischen Bildern in einer Datensammlung

Info

Publication number: DE102009007715B4
Application number: DE102009007715A
Authority: DE
Inventors: Michael Dr. Alger
Original assignee: Vodafone Holding GmbH
Current assignee: Vodafone Holding GmbH
Priority date: 2009-02-05
Filing date: 2009-02-05
Publication date: 2011-04-07
Anticipated expiration: 2029-02-06
Also published as: DE102009007715A1

Abstract

Verfahren zum automatischen Auffinden von elektronischen Bildern in einer Datensammlung (40), wobei die Datensammlung (40) eine Mehrzahl von Datensätzen (41; 45) aufweist, die jeweils zumindest ein elektronisches Bild (42; 46) aufweisen, gekennzeichnet durch folgende Schritte: ein elektronisches Suchbild (21) und auf das elektronische Suchbild (21) bezogene ergänzende Informationen werden in einer Analyseeinrichtung (30) bereitgestellt; über ein automatisches Suchverfahren werden mittels der Analyseeinrichtung (30) anhand der das elektronische Suchbild (21) ergänzenden Informationen zu den ergänzenden Informationen in Bezug stehende elektronische Bilder (42; 46; 32) in den Datensätzen (41; 45) der Datensammlung (40) gesucht; das elektronische Suchbild (21) wird in der Analyseeinrichtung (30) mittels einer ersten Bildanalysemethode analysiert; das Ergebnis des analysierten elektronischen Suchbilds (21) wird in der Analyseeinrichtung (30) mittels einer zweiten Bildanalysemethode mit den zu den ergänzenden Informationen in Bezug stehenden elektronischen Bildern (42; 46; 32) verglichen; diejenigen zu den ergänzenden Informationen in Bezug stehenden elektronischen Bilder (42; 46;...

Description

Die vorliegende Erfindung betrifft ein Verfahren sowie ein System zum automatischen Auffinden von elektronischen Bildern in einer Datensammlung, wobei die Datensammlung eine Mehrzahl von Datensätzen aufweist, die jeweils zumindest ein elektronisches Bild, optional auch das elektronische Bild ergänzende Informationen, aufweisen.
Die einfache, internationale Verbreitung von Bildmaterial im Internet hat das Bedürfnis erweckt, nach Bildern im Internet suchen zu können.
Auf dem Gebiet der automatischen Analyse digitaler Bilder ist mittlerweile eine große Bandbreite unterschiedlicher Verfahren und Möglichkeiten bekannt geworden. Mit der zunehmenden Verbreitung der digitalen Fotografie beispielsweise ergeben sich immer neue Möglichkeiten, digitale Bilder in Kommunikationsnetzen zu übertragen und aufgrund der analysierten Inhalte der Bilder immer neue Anwendungen zu erzeugen.
Ein grundlegendes Merkmal hierbei ist, dass die Inhalte der digitalen Bilder analysiert werden können. Dies geschieht in der Regel mittels, geeigneter Bildanalyseverfahren, die auf entsprechenden Rechnereinheiten implementiert sind und die die Inhalte der digitalen Bilder, vorzugsweise automatisch, analysieren.
Ein Anwendungsbeispiel für den Einsatz derartiger Bildanalyseverfahren ist etwa die bildbasierte Suche oder Anfrage. Eine solche Lösung ist beispielsweise in der DE 102 45 900 A1 beschrieben. Bei dieser bekannten Lösung wird mittels eines elektronischen Geräts mit Kamerafunktion ein Bild aufgenommen, das anschließend zu einer Rechnereinheit übertragen wird. Dort wird das Bild mittels eines Bilderkennungsverfahrens analysiert und in symbolische Informationen umgesetzt. Aufgrund dieser Symbole können dann geeignete Informationen bereitgestellt werden.
Es sind aber auch Lösungen bekannt, bei denen Bilder als Suchanfrage in ein System eingegeben werden und bei denen dann eine Datenbank mit vielen Referenzbildern nach einem ähnlichen oder gleichen Bild durchsucht wird. Die Treffer werden als Liste mit den passenden Referenzbildern ausgegeben. Der Nutzer sendet in einem solchen Fall ein Bild als Suchanfrage an eine Rechnereinheit. Das System zur bildbasierten Suche vergleicht nun das eingesendete Bild mit Referenzbildern in einer Datenbank. Die passenden Referenzbilder werden zu einer Trefferliste zusammengefasst.
Es gibt aber auch eine andere Art der Bildsuche mit Hilfe von Suchmaschinen im Internet. Hier wird ein Begriff in Form einer Textinformation eingegeben, welcher dann Bilder als Antwort liefert. Es kann eine Beschreibung des Bildes als Suchbegriff verwendet werden, und die Bilder der Datenbank, die in der Regel mit als „Tags” bezeichneten Zusatzinformationen in Form von Schlagworten verknüpft sind, werden mit den Suchbegriffen verglichen. Die passenden Referenzbilder werden dann als Trefferliste zusammengefasst.
In der US 2007/0147658 A1 wird eine Lösung zur Suche nach bildern beschrieben, bei denen das Bild identifizierende Informationen, die für das Bild spezifisch sind, vorher als steganographische Informationen in den Bilddaten eingebettet sind. Eine Bildsucheinrichtung dekodiert die steganographischen Informationen und vergleicht diese mit externen Suchbedingungen. Entsprechende Bilder werden dann ausgegeben.
Aus der EP0 713 186 B1 ist ein Verfahren zur Suche von Bildern in einer Datenbank bekannt, wobei in der Datenbank eine Vielzahl von Bildbeschreibungsdateien gespeichert ist, von denen jede Bilddaten enthält, die Gebiete und Grenzpunktkoordinatenfolgen darstellen, die sich auf ein bestimmtes Bild in der Datenbank beziehen. In einem Einzelbereichverarbeitungsschritt wird aus den Bildbeschreibungsdateien bestimmt, ob irgendein Einzelbereich eines durch seine Bildbeschreibungsdatei in der Datenbank beschriebenen Bildes in dem eingegebenen bestimmten Bild enthalten ist. In einem Verbindungsbereichverarbeitungsschritt wird, ob das bezeichnete Bild gleichzeitig innerhalb seiner Dimensionen auch eine Vielzahl von durch den Einzelbereichverarbeitungsschritt bestimmten Einzelbereichen enthält, und zwar im Hinblick auf mindestens ein Bild in der Datenbank, wobei der Verbindungsbereichverarbeitungsschritt jeden vom Einzelbereichverarbeitungsschritt bestimmten Einzelbereich als Verbindungsbereich setzt und dem gesetzten Verbindungsbereich weitere vom Einzelbereichverarbeitungsschritt bestimmte Einzelbereiche hinzufügt, bis das Hinzufügen eines Einzelbereichs zu einem Verbindungsbereich verursacht, dass dieser Verbindungsbereich eine Zusammensetzung hat, die nicht im bezeichneten Bild enthalten ist und diesen oder jeden so erzielten Verbindungsbereich zurückhält. In einem Speicherschritt werden Daten gespeichert, die jeden zurückgehaltenen Verbindungsbereich darstellen, wie er vom Verbindungsbereichverarbeitungsschritt bestimmt wurde. In einem weiteren Schritt werden Ähnlichkeitswerte berechnet, die den Grad von Ähnlichkeit zwischen dem oder jedem zurückgehaltenen und gespeicherten Verbindungsbereich und dem bezeichneten Bild darstellen, In einem weiteren Schritt werden Bilder aus der Datenbank gesucht, die in Übereinstimmung mit den berechneten Ähnlichkeitswerten dem bezeichneten Bild ähnlich sind.
Die EP 0 657 831 B1 beschreibt eine Lösung zum Abrufen eines Bildes aus einer Bilddatenbank. Eine Auswahleinrichtung dient zum Auswählen von Bilddaten durch Vergleichen neu eingegebener zusätzlicher Informationen mit zuvor eingegebenen zusätzlichen Informationen von in einer Datenbank gespeicherten Bilddaten. Eine Eingabeeinrichtung dient zum Eingeben eines veranschaulichenden Bildes des gewünschten Bildes, wobei die die Eingabeeinrichtung zur Eingabe von zumindest zwei veranschaulichenden Bildern des gewünschten Bildes eingerichtet ist. Weiterhin vorgesehen ist eine Merkmalsberechnungseinrichtung zur Berechnung von Merkmalsdaten des veranschaulichenden Bildes, wobei die Merkmalsberechnungseinrichtung zur Berechnung von Werten von Merkmalen der zumindest zwei eingegebenen veranschaulichenden Bilder eingerichtet ist. Darüber hinaus ist eine Entfernungsberechnungseinrichtung zur Berechnung von Entfernungswerten zwischen den Werten der Merkmalsdaten des veranschaulichenden Bildes und Werten von Merkmalsdaten der ausgewählten Bilddaten vorgesehen, wobei die Entfernungsberechnungseinrichtung zur Berechnung von Entfernungswerten zwischen den jeweiligen durch die Merkmalsberechnungseinrichtung berechneten Werten und Werten der Merkmalsdaten der ausgewählten Bilddaten eingerichtet ist.
Die einfache, internationale Verbreitung von Bildmaterial im Internet macht es zunehmend schwer, die Einhaltung von Rechten an Bildern, beispielsweise an Urheberrechten, zu kontrollieren. Es besteht deshalb das Bedürfnis, nach Bildern oder Bildern von geschützten Produkten selbst im Internet suchen zu können, um deren missbräuchliche Verwendung festzustellen und gegebenenfalls zu verfolgen. Dabei muss aber gewährleistet sein, dass die exakte Kopie eines Bildes, oder eine ähnliche Abbildung eines bestimmten Produktes gefunden wird.
Dazu sind die bekannten Lösungen nicht gut geeignet. Ein Abgleich findet heute manuell statt und ist deshalb kaum vollständig möglich. Andere Ansätze versehen schätzenswerte Bilder mit digitalen Wasserzeichen und prüfen die unerlaubte Verwendung durch Dritte, indem speziell angepasste Suchmaschinen diese Wasserzeichen suchen. Ein rein manueller Abgleich ist zudem aufwändig, personalintensiv, teuer und langsam. Zudem ist eine direkte Antwort „dieses Bild befindet sich auf diesen bestimmten Internetseiten” ist automatisch nicht möglich. Die visuelle Prüfung, welche dieser Bilder Kopien eines bestimmten, zu schützenden Bildes sind, ist somit derzeit kaum machbar. Weiterhin kann die Kennzeichnung geschützter Bilder manipuliert werden, erfordert Verwaltungsaufwand. Die bekannten Lösungen können nur markierte Bilder schützen, die im Internet oder sonst wie elektronisch gespeichert sind, aber weder den Bestand älterer, noch unmarkierter Bilder noch Bilder Dritter von geschützten Gegenständen. Schließlich bieten die bekannten Lösungen auch nicht die Möglichkeit, direkt nach Kopien von Bildern oder nach fremden Abbildungen eigener Produkte suchen zu können.
Ausgehend vom genannten Stand der Technik liegt der vorliegenden Erfindung die Aufgabe zugrunde, ein Verfahren und ein System der eingangs genannten Art derart weiterzubilden, dass auf einfache und dennoch zufriedenstellende Weise elektronische Bilder in einer Datensammlung gefunden werden können.
Diese Aufgabe wird erfindungsgemäß gelöst durch das Verfahren mit den Merkmalen gemäß dem unabhängigen Patentanspruch 1 sowie durch das System mit den Merkmalen gemäß dem unabhängigen Patentanspruch 10. Weitere Merkmale und Details der Erfindung ergeben sich aus den Unteransprüchen, der Beschreibung sowie der Zeichnung. Dabei gelten Merkmale und Details, die im Zusammenhang mit dem Verfahren beschrieben sind, selbstverständlich auch im Zusammenhang mit dem System, und jeweils umgekehrt, so dass hinsichtlich der Offenbarung zu beiden Erfindungsaspekten stets wechselseitig und vollinhaltlich Bezug genommen wird.
Mit der vorliegenden Erfindung kann insbesondere festgestellt werden, ob ein bestimmtes Bild unerlaubt in einer Datensammlung, etwa im Internet, verwendet wurde. Weiterhin kann die Fundstelle identifiziert werden. Durch die vorliegende Erfindung kann insbesondere festgestellt werden, ob Abbildungen Dritter eigener Produkte im Internet oder sonst wo veröffentlicht ist.
Gemäß dem ersten Aspekt der Erfindung wird ein Verfahren zum automatischen Auffinden von elektronischen Bildern in einer Datensammlung, wobei die Datensammlung eine Mehrzahl von Datensätzen aufweist, die jeweils zumindest ein elektronisches Bild aufweisen, bereitgestellt, das gekennzeichnet ist durch folgende Schritte: ein elektronisches Suchbild und auf das elektronische Suchbild bezogene ergänzende Informationen werden in einer Analyseeinrichtung bereitgestellt; über ein automatisches Suchverfahren werden mittels der Analyseeinrichtung anhand der das elektronische Suchbild ergänzenden Informationen zu den ergänzenden Informationen in Bezug stehende elektronische Bilder in den Datensätzen der Datensammlung gesucht, das elektronische Suchbild wird in der Analyseeinrichtung mittels einer ersten Bildanalysemethode analysiert; das Ergebnis des analysierten elektronischen Suchbilds wird in der Analyseeinrichtung mittels einer zweiten Bildanalysemethode mit den zu den ergänzenden Informationen in Bezug stehenden elektronischen Bildern verglichen; diejenigen zu den ergänzenden Informationen in Bezug stehenden elektronischen Bilder der Datensätze, deren Übereinstimmungsgrad mit dem elektronischen Suchbild einen vorgegebenen Schwellwert übersteigt, werden in einer Resultatsdatei abgelegt.
Vorteilhaft können die Datensätze jeweils zumindest ein elektronisches Bild sowie das elektronische Bild ergänzende Informationen aufweisen.
Mit dem erfindungsgemäßen Verfahren wird eine Möglichkeit geschaffen, bestimmte Bilder in einer Datensammlung aufzufinden.
Das erfindungsgemäße Verfahren dient zum automatischen Auffinden von elektronischen Bildern in einer Datensammlung, wobei die Datensammlung eine Mehrzahl von Datensätzen aufweist, die jeweils zumindest ein elektronisches Bild, optional auch das elektronische Bild ergänzende Informationen, aufweisen. Dabei ist die Erfindung nicht auf bestimmte Typen von Datensätzen oder auf eine bestimmte Ausgestaltung der Datensammlung beschränkt. Beispielsweise kann vorgesehen sein, dass die Datensammlung in Form eines Datennetzes, insbesondere als das Internet, als ein Intranet, oder dergleichen ausgebildet ist. Handelt es sich bei der Datensammlung um das Internet, so sind die Datensätze der Datensammlung vorteilhaft als Internetseiten ausgebildet.
Ein Datensatz umfasst zunächst wenigstens ein elektronisches Bild, wobei natürlich auch mehrere Bilder pro Datensatz vorhanden sein können. Weiterhin kann der Datensatz vorteilhaft auch noch das wenigstens eine elektronische Bild ergänzende Informationen aufweisen. Auch diese Informationen können auf unterschiedliche Weise ausgebildet sein. Hierbei kann es sich beispielsweise um Textinformationen, Audioinformationen, Adressinformationen, und dergleichen handeln. Vorteilhaft können die das wenigstens eine elektronische Bild der Datensätze ergänzenden Informationen in Form von Textinformationen und/oder Adressinformationen ausgebildet sein. Wenn es sich bei den Datensätzen um Internetseiten handelt, kann es sich bei den Adressdaten vorteilhaft um die Internetadresse der entsprechenden Internetseite, die so genannte URL, handeln.
Zu Beginn des Verfahrens werden ein elektronisches Suchbild und auf das elektronische Suchbild bezogene ergänzende Informationen in einer Analyseeinrichtung bereitgestellt. Dem Verfahren wird somit ein elektronisch gespeichertes Bild übergeben. Zusätzlich werden das Suchbild ergänzende Informationen, beispielsweise beschreibende Stichworte, übergeben. Dabei kann das Verfahren auf unterschiedliche Weise gestartet werden. Einige vorteilhafte, jedoch nicht ausschließliche Beispiele werden im Folgenden näher erläutert.
Beispielsweise kann vorgesehen sein, dass das Suchbild und die ergänzenden Informationen in der Analyseeinrichtung abgelegt sind und dass diese zu Beginn des Verfahrens aktiviert werden. Alternativ oder zusätzlich kann vorgesehen sein, dass das Suchbild und die ergänzenden Informationen von der Analyseeinrichtung ermittelt werden. Alternativ oder zusätzlich kann auch vorgesehen sein, dass das Suchbild und die ergänzenden Informationen von der Analyseeinrichtung über ein zur Analyseeinrichtung externes Endgerät auf die Analyseeinrichtung übertragen werden.
Beispielsweise kann ein elektronisch gespeichertes Bild an das Verfahren übergeben werden. Es ist aber auch möglich, dass ein Gegenstand oder ein gedrucktes Bild fotografiert und elektronisch gespeichert an das Verfahren gesendet werden. Dies kann beispielsweise mit einer digitalen Fotokamera, einem Mobiltelefon mit einer solchen Kamerafunktion, oder dergleichen erfolgen.
Zusätzlich werden beschreibende Stichworte übergeben. In einer Ausführung der Erfindung können auch Bilder auf der Internetseite eines Auftraggebers extrahiert und – vorzugsweise gesammelt – and das Verfahren übergeben werden. Dabei können Stichworte und beschreibenden Texte, wie beispielsweise Produktnamen, ebenfalls direkt aus der Internetseite gelesen werden.
Das Verfahren, beziehungsweise das System kann in regelmäßigen Abständen die Datensammlung, beispielsweise das Internet, durchsuchen und dabei früher identifizierte Fundstellen auch vorrangig bearbeiten.
Nach Bereitstellung des Suchbildes und der dazu ergänzenden Informationen wird über ein automatisches Suchverfahren mittels der Analyseeinrichtung anhand der das elektronische Suchbild ergänzenden Informationen zu den ergänzenden Informationen in Bezug stehende elektronische Bilder in den Datensätzen der Datensammlung gesucht. Wenn die Datensammlung als Internet und die Datensätze als Internetseiten ausgebildet sind, können die das Suchbild ergänzenden Informationen in eine Suchmaschine eingegeben und darauf basierend zu den ergänzenden Informationen in Bezug stehende, das heißt „passende” Bilder in den einzelnen Datensätzen der Datensammlung gesucht und gefunden werden. Zu jedem zu prüfenden Suchbild gibt es nun eine Anzahl von Suchbegriffen, nämlich die ergänzenden Informationen, die in eine Suchmaschine herkömmlicher Technik eingegeben werden können. Handelt es sich bei der Datensammlung um das Internet, können so alle Bilder weltweit geliefert werden, die die Suchkriterien erfüllen.
Zusätzlich wird auch das elektronische Suchbild in der Analyseeinrichtung mittels einer Bildanalysemethode analysiert. Das Suchbild wird somit zusätzlich als Referenz einem Verfahren zur Bilderkennung und Bildanalyse unterworfen.
Das analysierte elektronische Suchbild wird dann in der Analyseeinrichtung mittels einer Bildanalysemethode mit den zu den ergänzenden Informationen in Bezug stehenden elektronischen Bildern verglichen. Sowohl das Suchbild, als auch die gefundenen Bilder werden allesamt in die Bilderkennung und Bildanalyse gegeben und miteinander verglichen.
Die vorliegende Erfindung ist nicht auf bestimmte Bildanalysemethoden beschräkt. Beispielsweise kann die Bildanalyse nach der ViPR-Methode (Visual Pattern Recognition), unter Verwendung des so genannten SIFT-Algorithmus, oder dergleichen erfolgen. Je nach Ausgestaltung können die erste und zweite Bildanalysemethode unterschiedlich ausgebildet sein. Natürlich ist auch denkbar, dass die Bildanalysen mit nur einer einzigen, einheitlichen Bildanalysemethode durchgeführt werden.
Diejenigen zu den ergänzenden Informationen in Bezug stehenden elektronischen Bilder der Datensätze, deren Übereinstimmungsgrad mit dem elektronischen Suchbild einen vorgegebenen Schwellwert übersteigt, werden in einer Resultatsdatei abgelegt, bei der es sich um eine Art Zwischenergebnis handeln kann.
Über den Schwellenwert kann bestimmt werden, wie groß der Umfang der tatsächlich relevanten Bilder ist. Insbesondere kann vorteilhaft sein, wenn der Grad der Übereinstimmung zweier Bilder, der durch den Schwellenwert definiert wird, einstellbar gestaltet ist. Auf diese Weise können auch zu dem Suchbild nur ähnliche Bilder erfasst werden. Dies können beispielsweise Fotos eines Produktes sein, welche ein Dritter angefertigt hat, die aber ein geschütztes Produkt zeigen. Die Ähnlichkeit mit den eigenen Bildern des Produktes, den Suchbildern, ist Maß für die Entscheidung zur weiteren Verarbeitung.
Mit der Resultatsdatei kann dann auf unterschiedliche Weise weiter fortgefahren werden.
Beispielsweise können die in der Resultatsdatei abgelegten elektronischen Bilder von der Analyseeinrichtung als Ergebnisdatei bereitgestellt werden.
Vorteilhaft können die in der Resultatsdatei abgelegten elektronischen Bilder einem weiteren Analyseschritt unterworfen werden, bei dem die die elektronischen Bilder ergänzenden Informationen anhand vorgegebener, insbesondere einstellbarer, Analyseparameter analysiert werden, bei dem mit den Analyseparametern in Bezug stehende ergänzende Informationen zu den elektronischen Bildern aus den Datensätzen extrahiert werden und bei dem von der Analyseeinrichtung eine Ergebnisdatei bereitgestellt wird, die zumindest eine Teilmenge der in der Resultatsdatei abgelegten elektronischen Bilder und ergänzend dazu extrahierte ergänzende Informationen aufweist.
Wenn es sich bei der Datensammlung um das Internet, und bei den Datensätzen um Internetseiten handelt, können zu den gefundenen und nicht verworfenen Bildern somit zusätzlich auch die Fundstellen, etwa die Internetadressen in Form der URLs ausgegeben werden.
Bei der Ergebnisdatei kann es sich dann um eine Art liste handeln, aus der ersichtlich wird, wo sich die Suchbilder in der Datensammlung befinden.
Vorteilhaft kann die von der Analyseeinrichtung bereitgestellte Ergebnisdatei von der Analyseeinrichtung auf ein externes Endgerät übertragen wird. Dabei kann es sich beispielsweise um ein solches Endgerät handeln, von dem auch das Suchbild ursprünglich auf die Analyseeinrichtung übertragen worden ist.
Das Verfahren kann weitere Informationen wie Texte und Beschreibungen mit einbeziehen. So kann beispielsweise ein Angebot eines bestimmten Produkts identifiziert werden anhand des Bildes, und als verdächtig festgehalten werden, wenn der Preis des Angebotes deutlich unter dem Marktpreis ist.
Das Verfahren kann auf die Suche in Datenbanken speziell angepasst werden, beispielsweise hinsichtlich der aktuellen und zurückliegenden Angebote bei Auktions-Seiten oder Online-Shops.
Markenpiraterie ist ein globales Problem, das durch die automatische Suche nach Bildern kopierter Produkte wirksamer bekämpft werden kann als durch manuelle Verfahren. Dies ist durch das erfindungsgemäße Verfahren und dessen vorteilhafte Weiterbildungen nunmehr möglich. Ebenso nimmt die unerlaubte Verwendung von Bildmaterial zu, ohne dass sie bisher wirksam mit technischen Mitteln unterbunden werden könnte. Auch dies ist mit dem Verfahren gemäß der vorliegenden Erfindung nunmehr möglich.
Die Vorteile der Erfindung liegen insbesondere in der Beschreibung eines automatischen Verfahrens zur Suche einer großen Zahl von Bildern internationaler Verbreitung.
Gemäß dem zweiten Aspekt der Erfindung wird ein System zum automatischen Auffinden von elektronischen Bildern in einer Datensammlung, wobei die Datensammlung eine Mehrzahl von Datensätzen aufweist die jeweils zumindest ein elektronisches Bild aufweisen, bereitgestellt, das gekennzeichnet ist durch eine Analyseeinrichtung, aufweisend eine Einrichtung zum Bereitstellen eines elektronischen Suchbilds und auf das elektronische Suchbild bezogene ergänzende Informationen, eine Sucheinrichtung zum automatischen Suchen von zu den ergänzenden Informationen in Bezug stehenden elektronischen Bildern in den Datensätzen der Datensammlung anhand der das elektronische Suchbild ergänzenden Informationen, eine Einrichtung zur Bildanalyse des elektronischen Suchbilds, eine Vergleichseinrichtung, die ausgebildet ist, um das Ergebnis des analysierten elektronischen Suchbilds mittels einer Bildanalysemethode mit den zu den ergänzenden Informationen des Suchbildes in Bezug stehenden elektronischen Bildern zu vergleichen, und eine Einrichtung zum Ablegen einer Resultatsdatei, in der diejenigen zu den ergänzenden Informationen des Suchbildes in Bezug stehenden elektronischen Bilder der Datensätze, deren Übereinstimmungsgrad mit dem elektronischen Suchbild einen vorgegebenen Schwellwert übersteigt, abgelegt sind.
Insbesondere weist das System Mittel zur Durchführung des wie vorstehend beschriebenen erfindungsgemäßen Verfahrens auf, so dass auf die Ausführungen zum Verfahren vollinhaltlich Bezug genommen und verwiesen wird.
Vorteilhaft können die Datensätze jeweils zumindest ein elektronisches Bild sowie das elektronische Bild ergänzende Informationen aufweisen.
Vorteilhaft verfügt die Einrichtung zum Ablegen einer Resultatsdatei auch über Vergleichsmittel, die die gefundenen Bilder gegen den vorgegebenen Schwellenwert vergleichen.
Vorteilhaft kann das System zum automatischen Auffinden von elektronischen Bildern in einer Datensammlung ausgebildet sein, die in Form eines Datennetzes, insbesondere als das Internet, ausgebildet ist. Insbesondere können die Datensätze der Datensammlung als Internetseiten ausgebildet sein. Vorteilhaft können die das wenigstens eine elektronische Bild eines Datensatzes ergänzenden Informationen in Form von Textinformationen und/oder Adressinformationen ausgebildet sein.
Das System kann vorzugsweise eine Einrichtung zum Erzeugen einer Ergebnisdatei aus der Resultatsdatei aufweisen.
Vorteilhaft kann die Analyseeinrichtung des Systems eine Einrichtung zur Durchführung eines weiteren Analyseschritts aufweisen, die zur Analyse von die elektronischen Bilder ergänzenden Informationen anhand vorgegebener, insbesondere einstellbarer, Analyseparameter ausgebildet ist, wobei die Analyseeinrichtung eine Extraktionseinrichtung zum Extrahieren von mit den Analyseparametern in Bezug stehenden ergänzenden Informationen zu den elektronischen Bildern aufweist, und wobei die Analyseeinrichtung eine Einrichtung zum Erzeugen einer Ergebnisdatei aufweist, welche zur Erzeugung einer Ergebnisdatei aus zumindest einer Teilmenge der in der Resultatsdatei abgelegten elektronischen Bilder und ergänzend dazu extrahierter ergänzender Informationen ausgebildet ist.
Vorteilhaft ist weiterhin ein System, bei dem der Analyseeinrichtung ein elektronisches Suchbild und auf das elektronische Suchbild bezogene ergänzende Informationen bereitgestellt werden, und das dadurch gekennzeichnet ist, dass die Analyseeinrichtung eine Einrichtung, in der das Suchbild und die ergänzenden Informationen in der Analyseeinrichtung abgelegt sind, sowie Mittel zum Aktivieren des Suchbilds und der ergänzenden Informationen aufweist und/oder dass die Analyseeinrichtung eine Einrichtung zum Ermitteln des Suchbilds und der ergänzenden Informationen aufweist und/oder dass die Analyseeinrichtung eine Schnittstelle zu wenigstens einem externen Endgerät aufweist, die zum Empfangen eines Suchbilds und der das Suchbild ergänzenden Informationen von einem externen Endgerät und/oder zum Übertragen einer Ergebnisdatei zu einem externen Endgerät ausgebildet ist.
Die vorliegende Erfindung stellt insbesondere eine Möglichkeit bereit, um im Internet nach Bildern und Produktfotos zu suchen, wobei als Ergebnis die Fundstellen gemeldet werden. Dies geschieht beispielsweise nach einem „Match” mit eingestellten Fotos. Auch ist ein regelmäßiges Crawlen bestimmter Internet-Domains oder eine On-Demand-Suche möglich.
Vorteile der Erfindung gegenüber dem Stand der Technik sind insbesondere, dass keine Wasserzeichen in den zu überwachenden Bildern vorhanden sein müssen, dass kein Verwaltungsaufwand erforderlich ist, dass keine Manipulation möglich ist und dass eine sofortige Prüfung des Bestandes durchführbar ist. Durch die Erfindung können eigene Bilder und fremde Bilder eigener Produkte ermittelt werden. Die vorliegende Erfindung ist insbesondere als Online-Service realisierbar. Ein Kunde lädt Bilder seiner Produkte hoch, wählt den genauen Service und erhält die Ergebnisse, beispielsweise per eMail.
Das erfindungsgemäße Verfahren und das erfindungsgemäße System aktiviert beispielsweise Produktfotos, durchsucht ausgewählte Domains anhand der zugehörigen Beschreibung und matcht die gefundenen Bilder – vorteilhaft zur Nachtzeit bei geringer Auslastung des Systems oder zu geplanten Zeiten zur Optimierung der Auslastung. Bei Treffern kann die Fundstelle, beispielsweise die URL, der Betreiber und dergleichen zur weiteren Verfolgung an den Kunden gegeben werden – beispielsweise ohne Kosten in Form eines reinen Online-Betriebs.
Die vorliegende Erfindung lässt sich folglich auch wie folgt umschreiben. Es wird ein elektronisches Suchbild genommen, zu dem ergänzende Informationen in Form einer Beschreibung oder dergleichen gehören. Auf Basis der ergänzenden Informationen werden über eine Suchmaschine andere Bilder gefunden. Erfindungsgemäß geht es nun darum herauszufinden, welche der gefundenen Bilder als Fundstelle im Vergleich zum Suchbild geeignet sind. Dazu werden alle gefundenen Bilder mit dem Suchbild verglichen. Solche gefundenen Bilder, die nicht in einem gewissen Maße zum Suchbild identisch sind, werden verworfen. Bei den relevantren gefundenen Bildern werden dazu ergänzende Informationen, beispielsweise die dazugehörigen Internetseiten, nach – insbesondere einstellbaren – Kriterien analysiert. Es wird eine Ergebnisliste mit den passenden Bildern und dazugehörigen Informationen, beispielsweise den Internetadressen, erstellt und dem Kunden verfügbar gemacht. Diese Fundstellen können dann einer genaueren Begutachtung unterzogen werden.
Für die vorliegende Erfindung ist eine Vielzahl unterschiedlicher Anwendungsmöglichkeiten denkbar. Beispielsweise kann ein Produkthersteller Preisvergleichsportale auf Angebote seiner Marke mit weit unter dem üblichen liegenden Preisen überwachen. Ein Produkthersteller kann Online-Auktionshäuser nach Angeboten mit Fotos von seiner Webseite, die seine Rechte verletzen, durchsuchen. Ein Produkthersteller kann gegen Produktfälscher vorgehen. Produkthersteller können graue Importeure über Markenrechtsverletzungen verfolgen. Internet- oder Werbeagentur können die unautorisierte Verbreitung von Fotos im Internet, die von den Sites der Kunden entnommen wurden, verfolgen. Eine Bildagentur kann für Kunden die Originalität eines Bildes anhand der – auch legitimen – Verbreitung und Nutzung durch Andere prüfen.
Die Erfindung wird nachfolgend anhand eines Ausführungsbeispiels in größerem Detail beschrieben. Dabei ist in der einzigen Figur ein erfindungsgemäßes System dargestellt, das zur Durchführung des erfindungsgemäßen Verfahrens ausgebildet ist.
Das System 10 ist zum automatischen Auffinden von elektronischen Bildern in einer Datensammlung ausgebildet, wobei die Datensammlung in Form des Internets 40 vorliegt. Die Datensammlung verfügt über eine Anzahl von Datensätzen in Form von Internetseiten. In der Figur sind zur Erläuterung des Prinzips zwei Internetseiten 41 und 45 dargestellt, wobei jede Internetseite über elektronische Bilder 42, 46, erläuternde Textinformationen 43, 47 sowie Adressdaten 44, 48 in Form von Internetadressen verfügt. Eine zweite Komponente des Systems 10 wird durch eine Analyseeinrichtung 30 gebildet. Eine dritte Komponente des Systems 10 wird durch ein Endgerät 20 gebildet, welches einem Nutzer des Systems 10 zugeordnet ist. Erfindungsgemäß kann eine Vielzahl solcher Endgeräte 20 vorgesehen sein. Die Endgeräte können als digitale Kamera, als Mobiltelefon mit Kamerafunktion, oder dergleichen ausgebildet sein.
Über das Endgerät 20 kann der Nutzer ein Suchbild 21 mit das Suchbild ergänzenden Informationen, beispielsweise in Form von Schlagworten oder dergleichen, erzeugen beziehungsweise bereitstellen. Das Suchbild 21 mit den dazugehörigen erläuternden Informationen wird vom Endgerät 20 an die Analyseeinrichtung 30 übertragen, was durch den Pfeil 22 verdeutlicht ist. Das Suchbild 21 und die daugehörigen ergänzenden Informationen werden anschließend in der Analyseeinrichtung 30 bearbeitet.
Über eine Suchmaschine werden von der Analyseeinrichtung 30 im Internet 40 zu den beschreibenden Angaben des Suchbilds 21 passende Bilder gesucht, die sich auf den Internetseiten 41, 45 befinden. Dazu kommuniziert die Analyseeinrichtung 30 mit dem Internet 40, was durch den Pfeil 50 symbolisiert ist. Nun werden alle auf den Internetseiten 41, 45 gefundenen Bilder mit dem Suchbild 21 verglichen. Diejenigen Bilder, deren Übereinstimmungsgrad mit dem Suchbild 21 unter einem vorgegebenen Schwellenwert liegt, werden verworfen. Diejenigen Bilder der Internetseiten 41, 45, deren Übereinstimmungsgrad mit dem Suchbild 21 oberhalb eines vorgegeben Schwellenwert liegt, werden in einer Resultatsdatei 31 abgelegt. Im dargestellten Beispiel umfasst die Resultatsdatei 31 drei Bilder 42, 46 und 32.
Die Bilder der Resultatsdatei 31 werden nun einem weiteren Analyseschritt unterworfen. Dazu werden die zu den Bildern der Resultatsdatei 31 gehörenden Internetseiten nach deren Inhalten analysiert. Die Analyse erfolgt vorteilhaft nach einstellbaren Analyseparametern.
Basierend auf den Analyseergebnissen wird eine Ergebnisdatei 33 erzeugt, beinhaltend die übrigbleibenden Bilder 42 und 46 sowie die dazugehörigen Internetadressen 44, 48 derjenigen Internetseiten, auf den sich die Bilder 42, 46 befinden. Die Ergebnisdatei 33 wird schließlich von der Analyseeinrichtung 30 an das Endgerät 20 des Nutzers übertragen, was durch den Pfeil 34 verdeutlicht ist. Der Nutzer kann nun die jeweiligen Internetseiten 41, 45 aufrufen, um diese genauer zu untersuchen.
Bezugszeichenliste

10: System
20: Einem Nutzer zugeordnetes Endgerät
21: Elektronisches Suchbild (und diese ergänzende Informationen)
22: Übertragungsweg
30: Analyseeinrichtung
31: Resultatsdatei
32: Elektronisches Bild
33: Ergebnisdatei
34: Übertragungsweg
40: Datensammlung (Internet)
41: Datensatz (Internetseite)
42: Elektronisches Bild
43: Textinformation
44: Adressinformation (Internetadresse)
45: Datensatz (Internetseite)
46: Elektronisches Bild
47: Textinformation
48: Adressinformation (Internetadresse)
50: Kommunikationsverbindung Analyseeinrichtung – Datensammlung

Claims

Verfahren zum automatischen Auffinden von elektronischen Bildern in einer Datensammlung (40), wobei die Datensammlung (40) eine Mehrzahl von Datensätzen (41; 45) aufweist, die jeweils zumindest ein elektronisches Bild (42; 46) aufweisen, gekennzeichnet durch folgende Schritte: ein elektronisches Suchbild (21) und auf das elektronische Suchbild (21) bezogene ergänzende Informationen werden in einer Analyseeinrichtung (30) bereitgestellt; über ein automatisches Suchverfahren werden mittels der Analyseeinrichtung (30) anhand der das elektronische Suchbild (21) ergänzenden Informationen zu den ergänzenden Informationen in Bezug stehende elektronische Bilder (42; 46; 32) in den Datensätzen (41; 45) der Datensammlung (40) gesucht; das elektronische Suchbild (21) wird in der Analyseeinrichtung (30) mittels einer ersten Bildanalysemethode analysiert; das Ergebnis des analysierten elektronischen Suchbilds (21) wird in der Analyseeinrichtung (30) mittels einer zweiten Bildanalysemethode mit den zu den ergänzenden Informationen in Bezug stehenden elektronischen Bildern (42; 46; 32) verglichen; diejenigen zu den ergänzenden Informationen in Bezug stehenden elektronischen Bilder (42; 46; 32) der Datensätze (41; 45), deren Übereinstimmungsgrad mit dem elektronischen Suchbild (21) einen vorgegebenen Schwellwert übersteigt, werden in einer Resultatsdatei (31) abgelegt.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Datensätze (41; 45) jeweils zumindest ein elektronisches Bild (42; 46) sowie das elektronische Bild (42; 46) ergänzende Informationen (43, 44; 47, 48) aufweisen.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass dieses zum automatischen Auffinden von elektronischen Bildern (42; 46) in einer Datensammlung (40) ausgebildet ist, die in Form eines Datennetzes, insbesondere als das Internet, ausgebildet ist.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Datensätze (41; 45) der Datensammlung (40) als Internetseiten ausgebildet sind.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die das wenigstens eine elektronische Bild (42; 46) der Datensätze (41; 45) ergänzenden Informationen in Form von Textinformationen (43; 47) und/oder Adressinformationen (44; 48) ausgebildet sind.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die in der Resultatsdatei (31) abgelegten elektronischen Bilder (42; 46; 32) von der Analyseeinrichtung (30) als Ergebnisdatei bereitgestellt werden.
Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die in der Resultatsdatei (31) abgelegten elektronischen Bilder (42; 46; 32) einem weiteren Analyseschritt unterworfen werden, bei dem die die elektronischen Bilder (42; 46) ergänzenden Informationen (43, 44; 47, 48) anhand vorgegebener, insbesondere einstellbarer, Analyseparameter analysiert werden, bei dem mit den Analyseparametern in Bezug stehende ergänzende Informationen (44; 48) zu den elektronischen Bildern (42; 46) aus den Datensätzen (41; 45) extrahiert werden und bei dem von der Analyseeinrichtung (30) eine Ergebnisdatei (33) bereitgestellt wird, die zumindest eine Teilmenge der in der Resultatsdatei (31) abgelegten elektronischen Bilder (42; 46) und ergänzend dazu extrahierte ergänzende Informationen (44; 48) aufweist.
Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass ein elektronisches Suchbild (21) und auf das elektronische Suchbild bezogene ergänzende Informationen der Analyseeinrichtung (30) bereitgestellt werden, indem das Suchbild und die ergänzenden Informationen in der Analyseeinrichtung abgelegt sind und aktiviert werden und/oder indem das Suchbild und die ergänzenden Informationen von der Analyseeinrichtung ermittelt werden und/oder indem das Suchbild (21) und die ergänzenden Informationen von der Analyseeinrichtung (30) über ein zur Analyseeinrichtung (30) externes Endgerät auf die Analyseeinrichtung (30) übertragen (22) werden.
Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die von der Analyseeinrichtung (30) bereitgestellte Ergebnisdatei (33) von der Analyseeinrichtung (30) auf ein externes Endgerät (20) übertragen (34) wird.
System (10) zum automatischen Auffinden von elektronischen Bildern in einer Datensammlung (40), wobei die Datensammlung (40) eine Mehrzahl von Datensätzen (41; 45) aufweist die jeweils zumindest ein elektronisches Bild (42; 46) aufweisen, gekennzeichnet durch eine Analyseeinrichtung (30), aufweisend eine Einrichtung zum Bereitstellen eines elektronischen Suchbilds (21) und auf das elektronische Suchbild (21) bezogene ergänzende Informationen, eine Sucheinrichtung zum automatischen Suchen von zu den ergänzenden Informationen des Suchbilds in Bezug stehenden elektronischen Bildern (42; 46) in den Datensätzen (41; 45) der Datensammlung (40) anhand der das elektronische Suchbild (21) ergänzenden Informationen, eine Einrichtung zur Bildanalyse des elektronischen Suchbilds (21), eine Vergleichseinrichtung, die ausgebildet ist, um das Ergebnis des analysierten elektronischen Suchbilds (21) mittels einer Bildanalysemethode mit den zu den ergänzenden Informationen des Suchbildes (21) in Bezug stehenden elektronischen Bildern (42; 46) zu vergleichen, und eine Einrichtung zum Ablegen einer Resultatsdatei (31), in der diejenigen zu den ergänzenden Informationen des Suchbildes (21) in Bezug stehenden elektronischen Bilder (42; 46; 32) der Datensätze (41; 45), deren Übereinstimmungsgrad mit dem elektronischen Suchbild (21) einen vorgegebenen Schwellwert übersteigt, abgelegt sind.
System nach Anspruch 10, dadurch gekennzeichnet, dass die Datensätze (41; 45) jeweils zumindest ein elektronisches Bild (42; 46) sowie das elektronische Bild (42; 46) ergänzende Informationen (43, 44; 47, 48) aufweisen.
System nach Anspruch 10 oder 11, dadurch gekennzeichnet, dass dieses zum automatischen Auffinden von elektronischen Bildern (42; 46) in einer Datensammlung (40) ausgebildet ist, die in Form eines Datennetzes, insbesondere als das Internet, ausgebildet ist.
System nach Anspruch 12, dadurch gekennzeichnet, dass die Datensätze (41; 45) der Datensammlung (40) als Internetseiten ausgebildet sind.
System nach einem der Ansprüche 10 bis 13, dadurch gekennzeichnet, dass die das wenigstens eine elektronische Bild (42; 46) eines Datensatzes (41; 45) ergänzenden Informationen in Form von Textinformationen (43; 47) und/oder Adressinformationen (44; 48) ausgebildet sind.
System nach einem der Ansprüche 10 bis 14, dadurch gekennzeichnet, dass eine Einrichtung zum Erzeugen einer Ergebnisdatei (33) aus der Resultatsdatei (31) vorgesehen ist.
System nach einem der Ansprüche 10 bis 15, dadurch gekennzeichnet, dass die Analyseeinrichtung (30) eine Einrichtung zur Durchführung eines weiteren Analyseschritts aufweist, die zur Analyse von die elektronischen Bilder (42; 46) ergänzenden Informationen (43, 44; 47, 48) anhand vorgegebener, insbesondere einstellbarer, Analyseparameter ausgebildet ist, dass die Analyseeinrichtung (30) eine Extraktionseinrichtung zum Extrahieren von mit den Analyseparametern in Bezug stehenden ergänzenden Informationen (44; 48) zu den elektronischen Bildern (42; 46) aufweist, und dass die Analyseeinrichtung (30) eine Einrichtung zum Erzeugen einer Ergebnisdatei aufweist, welche zur Erzeugung einer Ergebnisdatei (33) aus zumindest einer Teilmenge der in der Resultatsdatei (31) abgelegten elektronischen Bilder (42; 46) und ergänzend dazu extrahierter ergänzender Informationen (44; 48) ausgebildet ist.
System nach einem der Ansprüche 10 bis 16, bei dem der Analyseeinrichtung (30) ein elektronisches Suchbild (21) und auf das elektronische Suchbild bezogene ergänzende Informationen bereitgestellt werden, dadurch gekennzeichnet, dass die Analyseeinrichtung (30) eine Einrichtung, in der das Suchbild und die ergänzenden Informationen in der Analyseeinrichtung abgelegt sind, sowie Mittel zum Aktivieren des Suchbilds und der ergänzenden Informationen aufweist und/oder dass die Analyseeinrichtung eine Einrichtung zum Ermitteln des Suchbilds und der ergänzenden Informationen aufweist und/oder dass die Analyseeinrichtung (30) eine Schnittstelle zu wenigstens einem externen Endgerät (20) aufweist, die zum Empfangen (22) eines Suchbilds (21) und der das Suchbild ergänzenden Informationen von einem externen Endgerät (20) und/oder zum Übertragen (34) einer Ergebnisdatei (33) zu einem externen Endgerät (20) ausgebildet ist.