-
GEBIET DER OFFENBARUNG
-
Diese Offenbarung betrifft generell die Identifizierung von Medieninhalt und im Spezielleren Verfahren und Vorrichtungen zur Messung von Markenexposition in Medienstreams und zur Spezifizierung von Interessenbereichen in zugeordneten Videoframes.
-
HINTERGRUND
-
Eine „Übertragung“ (engl.: „Broadcast“), wie es hier verwendet wird, bezeichnet jede Art elektronischer Übertragung jeder Art von Mediensignalen von einer Quelle an eine oder mehrere Empfangsvorrichtung beliebiger Art. Ein „Broadcast“ kann daher eine kabelgebundene Übertragung, eine Satellitenübertragung, eine terrestrische Übertragung, eine herkömmliche kostenfreie Fernsehübertragung, eine Radioübertragung und/oder eine Internet-Übertragung sein; ein „Broadcast-Vorrichtung“ kann eine Einheit sein, die Signale für den Empfang durch eine Mehrzahl von Empfangsvorrichtungen aussendet. Die Signale können Medieninhalt (hier auch als „Content“ oder „Programme“ bezeichnet) und/oder Reklame (hier als „Werbung“ (engl.: „advertisments“) bezeichnet) umfassen. Ein „Werbeträger“ (engl.: „advertiser“) ist eine Einheit, die Werbung zur Übertragung zur Verfügung stellt. Traditionell haben Werbetreibende Sender dafür bezahlt, kommerzielle Werbung dergestalt in Übertragungsinhalt (z.B. in ein serielles Format „Inhalt-Werbung-Inhalt-Werbung“) einzubinden, dass das Publikum, um das gesamte interessierende Programm zu sehen, auch die eingebundene Werbung sehen muss. Dieser Ansatz versetzt Sender in der Lage, dem Publikum kostenfrei Programmgestaltung zur Verfügung stellen zu können, wobei sie für die Programmgestaltung von den zahlenden Werbetreibenden Gebühren vereinnehmen.
-
Zur Unterstützung dieses Bezahlmodells möchten Unternehmen, die für Einnahmen auf die Übertragung von Video- und/oder Audioprogrammen angewiesen sind, wie Werbetreibende, Sender und Contentprovider, Größe und demographische Zusammensetzung des Publikums kennen, das Programme konsumiert. Ebenso wollen Händler (z.B. Hersteller, Großhändler und/oder Einzelhändler) diese Information kennen, damit sie ihre Werbung auf die Bevölkerungsgruppen abstimmen können, die ihre Produkte mit höchster Wahrscheinlichkeit kaufen. Publikumserfassungsunternehmen haben diesem Bedürfnis beispielsweise durch Identifikation der demographischen Zusammensetzung einer Gruppe statistisch ausgewählter Haushalte und/oder Einzelpersonen (d. h. Befragte) und der Gewohnheiten des Programmkonsums der Mitglieder der Befragtengruppen Rechnung getragen. Beispielsweise können Publikumserfassungsuntemehmen Einschaltdaten eines ausgewählten Haushalts sammeln, indem sie den auf dem/den Fernseher(n) dieses Haushalts angezeigten Inhalt überwachen und ermitteln, welche(s) Mitglied(er) des Haushalts sich im Raum befinden, wenn dieser Inhalt wiedergegeben wird. Im Kontext der Radioerfassung wird ein analoger Ansatz verfolgt.
-
Die Erfassung dieser Publikumserfassungsdaten ist schwieriger geworden, weil die Vielfalt der Übertragungssysteme zugenommen hat. Während es in früher der Fall war, dass Fernsehübertragungen beinahe ausschließlich terrestrisch basiert waren, sind beispielsweise Hochfrequenzübertragungssysteme (d. h. herkömmliches kostenfreies Fernsehen), Kabel- und Satellitenübertragungssysteme heute alltäglich. Darüber hinaus erfordern diese kabel- und/oder satellitenbasierten Übertragungsysteme für die Abstimmung, Dekodierung und/oder Anzeige von Übertragungsprogrammen häufig die Verwendung eines speziellen Empfangsgeräts, wie zum Beispiel eine Set-Top-Box (STB) oder eine integrierter Empfangsdecoder (IRD). Und um die Sache noch weiter zu verkomplizieren, haben einige dieser Empfangsvorrichtungen für alternative Übertragungssysteme sowie andere Empfangsvorrichtungen, beispielsweise lokale Medienwiedergabegeräte (z.B. Videokassettenrekorder, digitale Videorekorder und/oder persönliche Videorekorder) die zeitversetzte Betrachtung von Übertragungen oder anderen Programmen ermöglicht.
-
Diese Möglichkeit, Programme aufzuzeichnen und wiederzugeben (zeitversetzte Betrachtung), hat dahingehend zu Bedenken in der Werbeindustrie geführt, dass Verbraucher eine solche Technologie zur zeitlichen Versetzung benutzen, um beim Betrachten aufgezeichneter Programme Werbung zu überspringen oder durch diese im Schnelldurchlauf hindurchzugehen, wodurch die Wirksamkeit des traditionellen Modells der eingebundenen Werbung untergraben wird. Um diesem Umstand Rechnung zu tragen, haben die Händler und Werbetreibenden damit begonnen, anstelle der Einbindung von Werbung in Inhalte oder zusätzlich dazu den Produzenten von Inhalten dafür eine Gebühr zu bezahlen, dass sie ihr(e) Produkt(e) innerhalb des Inhalts selbst plazieren. So kann beispielsweise der Hersteller eines Produkts (z.B. Sonnenbrillen) dem Hersteller von Inhalten eine Gebühr bezahlen, damit sein Produkt in einem Übertragungsprogramm erscheint (z.B. damit seine Sonnenbrillen von einem Schauspieler im Programm getragen werden) und/oder sein Produkt im Programm namentlich erwähnt wird. Es ist ersichtlich, dass das Beispiel der Sonnenbrillen nur beispielhaft ist und jedes beliebige andere Produkt oder Dienstleistung von Interesse auf jede wünschenswerte Weise in die Programmgestaltung integriert werden könnte (wenn es sich z.B. bei dem Produkt um ein alkoholfreies Getränk handelt, kann der Werbetreibende eine Gebühr bezahlen, damit ein Mitglied der Besetzung aus einer Dose trinkt, die das Logo des alkoholfreien Getränks zeigt).
-
Auf vergleichbare Weise haben Werbetreibende häufig für die Platzierung von Werbung, wie Werbetafeln, Schilder usw., an Orten bezahlt, von denen aus wahrscheinlich die Übertragung eines Programms stattfindet, so dass ihre Werbung im Übertragungsinhalt erscheint. Bekannte Beispiele dieses Ansatzes sind Werbetafeln und andere Schilder, die in Arenen positioniert sind, in denen Sportereignisse, Konzerte, politische Veranstaltungen usw. stattfinden. Wenn daher beispielsweise ein Baseballspiel übertragen wird, werden die entlang des Randes des Baseballfeldes platzierten Schilder (z.B. „Kaufe Sunshine Sonnenbrillen“) als zufälliger Hintergrund des Sportereignisses ebenfalls übertragen.
-
Aufgrund der Platzierung der beispielhaften Sonnenbrillen im Programm und/oder aufgrund des Vorhandenseins der beispielhaften Werbetafeln am Ort des übertragenen Ereignisses ist die Werbung für die Sonnenbrillen bzw. die Werbebeschilderung (zusammengefasst und/oder einzeln hier als „eingebettete Werbung“ bezeichnet) statt in einer mit dem Inhalt verschachtelten Werbung in den Inhalt des Übertragungsinhalts eingebettet. Somit ist es einem Publikum nicht möglich, eine eingebettete Reklame schnell vorzuspulen oder zu überspringen, ohne auch einen Teil des Programms, in das die Werbung eingebettet ist, schnell vorzuspulen oder zu überspringen. Folglich wird davon ausgegangen, dass die Zuschauer mit geringerer Wahrscheinlichkeit Werbung überspringen, und umgekehrt, dass die Zuschauer mit höherer Wahrscheinlichkeit Werbung ansehen als bei dem herkömmlichen verschachtelten Inhalt-Werbung-Inhalt-Werbung-Ansatz zur Übertragungswerbung.
-
Der Werbeansatz, ein Produkt in den Inhalt einzubetten, wird hier als „beabsichtigte Produktplatzierung“ bezeichnet und die durch beabsichtigte Produktplatzierung platzierten Produkte werden hier als „absichtlich platzierte Produkte“ bezeichnet. Es ist ersichtlich, dass Inhalt absichtlich platzierte Produkte (d. h. Produkte, die als Gegenleistung für eine Gebühr des Werbetreibenden und/oder Händlers als Requisiten im Inhalt verwendet werden) und nicht absichtlich platzierte Produkte umfassen kann. „Nicht absichtlich platzierte Produkte“ wie hier verwendet sind, die aufgrund einer Auswahl des Inhalteherstellers ohne Zahlung einer Gebühr durch einen Werbetreibenden oder Händler als Requisiten im Inhalt eingesetzt werden. Für ein nicht absichtlich platziertes Produkt, das als Requisite verwendet wird, wird daher kostenfreie Werbung gemacht, wobei es jedoch beispielsweise zur Handlungserzählung und zu Werbezwecken aufgenommen sein kann.
-
Auf vergleichbare Weise wird die Werbemethode, ein Schild, eine Werbetafel oder einer anderen Werbeanzeige an einer Stelle anzuordnen, wo man davon ausgeht, dass sie in ein übertragenes Programm, wie eine Sportveranstaltung aufgenommen wird, hier als „absichtliche Platzierung von Displays“ bezeichnet, und werden Werbedisplays jeglicher Art, die durch absichtliche Platzierung von Display platziert werden, hier als „absichtlich platzierte Displays“ bezeichnet. Es ist ersichtlich, dass Inhalt absichtlich platzierte Displays (d. h. aus Displayselementen, die zur Erfassung in einem übertragenen Programm platziert werden) und unabsichtlich platzierte Displays (d. h. Displayselementen, die nicht von den Werbetreibenden dafür vorgesehen sind, in dem Inhalt erfasst zu werden, aber aufgrund von Maßnahmen eines Herstellers von Inhalten, beispielsweise durch Filmen eines Films oder einer Fernsehshow am Times Square, Filmen eines Livenachrichtenberichts auf einer Straße neben einer Reklamefläche oder eines Schilds an einer Geschäftsfassade usw. zufällig in den Inhalt aufgenommen worden) enthalten. Zusätzlich bezeichnet „absichtlich platzierte Werbung“, wie es hier verwendet wird, allgemein jedes absichtlich platzierte Produkt und/oder jedes absichtlich platzierte Display. Analog dazu bezeichnet „nicht absichtlich platzierte Werbung“ allgemein jedes nicht absichtlich platzierte Produkt und/oder jedes nicht absichtlich platzierte Display.
-
Die Markeninformation (z.B. Name des Herstellers, Name des Vertreibers, Name des Providers, Name des Produkts/Dienstleistung, Schlagwort usw.) sowie die visuelle Erscheinung (z.B. Bildschirmgröße, Bildschirmanordnung, Verdeckung, Bildqualität, Lage des Veranstaltungsorts, ob die Darstellung statisch oder sich ändert (z.B. animiert), ob die Erscheinung real ist oder eine virtuelle Überlagerung usw.) und/oder hörbarer Ton desselben, der in einer eingebetteten Werbung (z.B. eine absichtliche oder nicht absichtliche Produktplatzierung, Displayplatzierung oder Werbeplatzierung) enthalten ist, werden hier als „Markenidentifizierung“ oder gleichwertig als „Logo“ des zugeordneten Produkts und/oder Dienstleistung bezeichnet. So bilden beispielsweise im Fall einer absichtlichen Displayplatzierung eines am Rand eines Baseballfeldes aufgestellten Schilds mit dem Aufruf „Kaufen Sie Sunshine Sonnenbrillen“ die Worte und das allgemeine Erscheinungsbild der Phrase „Kaufen Sie Sunshine Sonnenbrillen“ die Markenidentifizierung (z.B. das Logo), die dieser absichtlichen Displayplatzierung entspricht.
-
ZUSAMMENFASSUNG
-
Das hier beschriebene Verfahren und Vorrichtungen betreffen allgemein die Identifizierung von Medieninhalt und im Spezielleren Verfahren und Vorrichtungen zur Erfassung der Markenexposition in Medienstreams und zur Bestimmung von Interessenbereichen in zugeordneten Videoframes. Bei einer hier offenbarten beispielhaften Implementierung umfasst ein beispielhaftes Verfahren zur Ermittlung von in Medieninhalt enthaltenen Markenexpositionen zu ermitteln, ob eine in einem dem Medieninhalt entsprechenden Medienstream detektierten Szene einer Referenzszene entspricht. Zusätzlich umfasst das beispielhafte Verfahren einen erwarteten Interessenbereich in der detektierten Szene auf der Grundlage von die Referenzszene beschreibender Information zu identifizieren, wenn: (a) ermittelt wird, dass die detektierte Szene mit der Referenzszene übereinstimmt, und (b) die Referenzszene nicht als Szene ohne Interesse festgelegt wurde. Darüber umfasst das beispielhafte Verfahren zu ermitteln, ob eine der Referenzszene zugeordneter Referenzmarkenidentifizierung in dem in der detektierten Szene identifizierten erwarteten Interessenbereich enthalten ist.
-
Bei einem weiteren hier offenbarten beispielhaften Verfahren umfasst ein Verfahren zur Spezifizierung eines Interessenbereichs in einer grafischen Darstellung, beispielsweise eine grafische Darstellung, die einem Medienstream zugeordnet ist, für den Markenexpositionen ermittelt werden, einen anfänglichen Vorlagenbereich (engl.: template region) zu ermitteln, um den Interessenbereich anzugeben, wobei eine Stelle des Vorlagenbereichs auf einer von einem Benutzer in der grafischen Darstellung gewählten ersten Stelle beruht. Zusätzlich umfasst das beispielhafte Verfahren eine erste Modifikation, die am anfänglichen Vorlagenbereich in Antwort auf eine vom Benutzer in der grafischen Darstellung gewählte zweite Stelle durchzuführen ist zu ermitteln, wobei die erste Modifikation wenigstens eine vom Benutzer gewählte ist und/oder einer Standardmodifikation entspricht. Darüber hinaus umfasst das beispielhafte Verfahren die zweite ausgewählte Stelle in der grafischen Darstellung zu detektieren, wobei die zweite ausgewählte Stelle wenigstens außerhalb und/oder innerhalb des anfänglichen Vorlagenbereichs liegt, jedoch im Wesentlichen nicht auf einer Begrenzung, die den anfänglichen Vorlagenbereich definiert. In einer beispielhaften Implementierung umfasst das Verfahren auch den anfänglichen Vorlagenbereich in Richtung auf die zweite ausgewählte Stelle hin umzuformen, wobei die Umformung der ersten Modifikation entspricht und die Umformung in Antwort auf die Detektion der zweiten gewählten Stelle durchgeführt wird, ohne dass dabei der Benutzer eine im Wesentlichen auf der den anfänglichen Vorlagenbereich definierenden Begrenzung liegende Stelle wählen muss, um die Umformung einzuleiten.
-
Weitere beispielhafte Implementierungen sind unten im Übrigen der Beschreibung und in den beigefügten Ansprüchen beschrieben.
-
Figurenliste
-
- 1 ist eine schematische Darstellung eines beispielhaften Systems zur Erfassung von Markenexposition in Medienstreams.
- 2 stellt eine beispielhafte Weise dar, um die beispielhafte Markenexpositionsüberwachungsvorrichtung von 1 zu implementieren.
- 3 stellt eine beispielhafte Weise dar, um die beispielhafte Szenenerkennungsvorrichtung von 1 zu implementieren.
- 4 stellt eine beispielhafte Weise dar, um die beispielhafte Markenerkennungsvorrichtung von 2 zu implementieren.
- 5A - 5D stellen beispielhaft von der beispielhaften Szenenerkennungsvorrichtung von 2 vorgenommene Szenenklassifizierungen dar.
- 6A - 6B zusammen bilden ein Flussdiagramm, welches beispielhaft maschinenlesbar Anweisungen darstellt, die zur Implementierung der beispielhaften Szenenerkennungsvorrichtung von 2 ausgeführt werden können.
- 7A - 7C zusammen bilden ein Flussdiagramm, welches Beispiele maschinenlesbarer Anweisungen darstellt, die zur Implementierung der beispielhaften grafischen Benutzerschnittstelle (GUI) von 2 ausgeführt werden können.
- 8A - 8B sind Flussdiagramme, die beispielhaft maschinenlesbare Anweisungen darstellen, die zur Implementierung der beispielhaften Markenerkennungsvorrichtung von 2 ausgeführt werden können.
- 9 ist eine schematische Darstellung einer beispielhaften Prozessorplattform, die zur Durchführung einiger oder aller maschinenlesbarer Anweisungen von 6A - 6B, 7A - 7C und/oder 8A - 8B verwendet werden kann, um die hier beschriebene Verfahren und Vorrichtung zu implementieren.
- 10 stellt beispielhaft eine Folge von Operationen dar, die durch ein beispielhaftes Verfahren zur automatischen Schaffung eines Interessenbereichs durchgeführt werden, welche zur Implementierung der hier beschriebenen Verfahren und Vorrichtung verwendet werden kann.
-
DETAILLIERTE BESCHREIBUNG
-
Die Begriffe „Markenexposition“ sowie „Exposition gegenüber Markenidentifizierung“, wie sie hier verwendet werden, beziehen sich auf die Darstellung einer oder mehrerer Markenidentifizierungen in Medieninhalt, der durch einen Medieninhaltsstream geliefert werden, wobei damit die Möglichkeit geschaffen wird, dass ein Betrachter des Medieninhalts einer oder mehreren Markenidentifizierung(en) (z.B. Logo(s)) ausgesetzt wird. Eine Markenexposition, wie sie hier verwendet wird, erfordert es nicht, dass der Betrachter die Markenidentifizierung im Medieninhalt tatsächlich beobachtet, sondern gibt an, dass der Betrachter die Möglichkeit zur Betrachtung der Markenidentifizierung unabhängig davon hatte, ob der Betrachter dies tatsächlich getan hat oder nicht. Um die Wirksamkeit absichtlicher oder nicht absichtlicher Produktplazierung, Displayplazierung oder Werbeplazierung zu ermitteln, können die Markenexposition tabellarisch aufgeführt und/oder aufgezeichnet werden.
-
In der folgenden Beschreibung wird eine Übertragung eines Baseballspiels als Beispiel für einen Medienstream verwendet, der zur Ermittlung von Markenexposition gemäß den hier beschriebenen Verfahren und/oder Vorrichtung verarbeitet werden kann. Es ist ersichtlich, dass die beispielhafte Baseballspielübertragung nur zur Veranschaulichung dient und die hier offenbarten Verfahren und Vorrichtung sich ohne weiteres für die Verarbeitung von Medienstreams anwendbar sind, um Markenexposition zu ermitteln, die einen beliebigen Typ Medieninhalt zugeordnet ist. Der Medieninhalt kann beispielsweise einen Typ Sportveranstaltung einschließlich eines Baseballspiels, so wie ein beliebiges Fernsehprogramm, Film, Inhalt von Streamingvideo, Videospielpräsentation usw. entsprechen.
-
1 ist eine schematische Darstellung eines beispielhaften Systems zur Erfassung von Markenexposition in Medienstreams. Das beispielhafte System von 1 verwendet ein oder mehrere Markenerfassungsverfahren, wie zum Beispiel Audio-Codes, Audio-Signaturen, Video-Codes, Video-Signaturen, Bild-Codes, Bildsignaturen usw., um in von einem oder mehreren Medienstreams gelieferten, präsentierten Medieninhalt (wie z.B. Inhalt, der aktuell übertragen wird, oder vorher aufgezeichneter Inhalt) zu identifizieren. In einer beispielhaften Implementierung werden Bildsignaturen, die einem oder mehreren Teilen eines Medienstreams entsprechen, mit einer Datenbasis von Referenzbildsignaturen verglichen, welche entsprechende Teile eines Referenzmedieninhalts angeben, um die Identifikation einer oder mehrerer im Medienstream übertragener Szenen und/oder eine oder mehrere in den übertragenen Szenen enthaltenen Markenidentifizierung zu unterstützen.
-
Zur Verarbeitung (z.B. Empfang, Wiedergabe, Betrachtung, Aufzeichnung, Dekodierung usw.) und zur Darstellung einer Anzahl und/oder Typ (Typen) von Inhalt umfasst das beispielhafte System von 1 aus einer Anzahl und/oder Typ(en) von Medienvorrichtung(en) 105. Die Medienvorrichtung(en) 105 können beispielsweise mittels einer Set-Top-Box (STB), einem digitalen Videorecorder (DVR), einem Videokassettenrekorder (VCR), einem Personal Computer (PC), einer Spielkonsole, einem Fernsehgerät, einem Medienplayer usw. oder einer Kombination davon implementiert werden. Beispiele von Medieninhalte umfassen, ohne darauf beschränkt zu sein, Fernsehprogramme, Filme, Videos, Websites, Reklame/Werbung, Audio, Spiele usw. In dem beispielhaften System von 1 erhält die beispielhafte Medienvorrichtung 105 Inhalt von einer beliebigen Anzahl und/oder Typ(en) von Quellen, wie zum Beispiel: ein Satellitenempfänger und/oder eine Satellitenantenne 110, ein Hochfrequenz-(HF)-Eingangssignal 115, welches einer beliebigen Anzahl und/oder Typ(en) von Kabelfernsehensignal(en) und/oder terrestrischer Übertragung(en) entspricht, eine beliebige Anzahl und/oder Typ(en) von Datenkommunikationsnetzen wie das Internet 120, eine beliebige Anzahl und/oder Typ(en) von Daten- und/oder Medienspeicher(n) 125, wie beispielsweise eine Festplatte (HDD), eine VCR-Kassette, eine Digital Versatile Disc (DVD), eine Compact Disk (CD), ein Flash-Speichervorrichtung usw. Bei dem beispielhaften System von 1 kann der Medieninhalt (unabhängig von seiner Quelle) beispielsweise Videodaten, Audiodaten, Bilddaten, Website-Daten usw. umfassen.
-
Zur Generierung des Inhalts zur Verarbeitung und Darstellung mittels der beispielhaften Medienvorrichtungen 105 umfasst das beispielhafte System von 1 eine beliebige Anzahl und/oder Typ(en) von Inhaltprovidem 130, wie beispielsweise Fernsehstationen, Satellitenstationen, Filmstudios, Provider von Websites usw. Bei den veranschaulichten Beispiel von 1 liefert/liefern der/die Inhaltprovider 130 den Inhalt an die beispielhafte Medienvorrichtung 105 mittels einer oder alle einer Satellitenübertragung unter Verwendung eines Satellitensenders 135 und eines Satelliten und/oder einer Satellitenweiterleitungsvorrichtung 140, einer mittels dem HF-Eingangssignal 115 empfangenen terrestrischen Übertragung, einer mittels dem HF-Eingangssignal 115 empfangenen Kabelfemsehübertragung, des Internets 120 und/oder eines oder mehrerer Medienspeicher 125, oder stellen es auf andere Weise bereit.
-
Zur Erfassung von Markenexposition (d. h. Exposition gegenüber Markenidentifizierung) in von den beispielhaften Medienvorrichtungen 105 verarbeiteten und wiedergegebenen Medienstreams umfasst das beispielhafte System von 1 wenigstens eine Markenexpositionsüberwachungsvorrichtung, von denen eine bei dem Bezugszeichen 150 von 1 dargestellt ist. Die beispielhafte Markenexpositionsüberwachungsvorrichtung 150 von 1 verarbeitet einen von der beispielhaften Medienvorrichtung 105 ausgegebenen Medienstream 160, um wenigstens eine über die Medienvorrichtung 105 wiedergegebene Markenidentifizierung zu identifizieren. Allgemein dient die beispielhafte Markenexpositionsüberwachungsvorrichtung 150, um Markenidentifizierung zu identifizieren und Markenexposition(en) anzuzeigen, wobei bekannte oder früher erlernte Information, sofern möglich, verwendet wird, und sie dann, wenn eine solche automatische Identifizierung nicht möglich ist, standardmäßig eine manuelle Benutzereingabe anfordert. Auf einem hohen Niveau erreicht die beispielhafte Markenexpositionsüberwachungsvorrichtung 150 diese Kombination automatischer und manueller Verarbeitung von Markenexposition dadurch, dass zunächst der Medienstream 160 in eine Gruppe aufeinanderfolgender detektierter Szenen unterteilt wird, von denen jede eine entsprechende Gruppe aufeinanderfolgender Bildframes enthält. Die beispielhafte Markenexpositionsüberwachungsvorrichtung 150 schließt dann Szenen aus, von denen bekannt ist, dass sie keine Markenidentifizierungsinformation enthalten. Als nächstes vergleicht die beispielhafte Markenexpositionsüberwachungsvorrichtung 150 jede nicht ausgeschlossene detektierte Szene mit einer Bibliothek von Referenzszenen, um zu ermitteln, ob die Markenexpositionsüberwachung automatisch durchgeführt werden kann. Eine automatische Markenexpositionsüberwachung ist beispielsweise möglich, wenn die detektierte Szene mit der in der Referenzbibliothek gespeicherten Information übereinstimmt, die einer wiederholten Szene von Interesse oder einer bekannten Szene ohne Interesse entspricht. Falls jedoch die detektierte Szene mit der Information in der Referenzbibliothek nicht (oder nicht vollständig) übereinstimmt, ist die automatische Markenexpositionsüberwachung nicht möglich und die beispielhafte Markenexpositionsüberwachungsvorrichtung 150 geht dann zum manuellen Benutzereingriff über, um einige oder alle Markenidentifizierung in der detektierten Szene zur Berichterstattung über Markenexposition zu identifizieren.
-
Untersucht man den Betrieb der beispielhaften Markenexpositionsüberwachungsvorrichtung 150 von 1 genauer, ermittelt (z.B. sammelt, berechnet, extrahiert, detektiert, erkennt usw.) die beispielhafte Markenexpositionsüberwachungsvorrichtung 150 Inhaltsidentifikationsinformation (wie z.B. wenigstens eines von einem Audio-Code, einer Audio-Signatur, einem Video-Code, einer Video-Signatur, einem Bildcode, eine Bildsignatur usw.), um den Medienstream 160 in eine Gruppe aufeinanderfolgender Szenen zu unterteilen. So kann beispielsweise die Markenexpositionsüberwachungsvorrichtung 150 detektieren, dass eine Szene des Medienstreams 160 einer Folge benachbarter Videoframes (d. h. Bildframe) entspricht, die im Wesentlichen vergleichbare Charakteristika wie beispielsweise eine Folge von Frames besitzen, welche im Wesentlichen den gleichen Kameraparametern (z.B. Winkel, Höhe, Blende, Brennweite usw.) entsprechen und einen Hintergrund aufweisen, der statistisch stationär ist (z.B. kann der Hintergrund einzelne Komponenten haben, die sich bewegen, jedoch erscheint der gesamte Hintergrund im Durchschnitt relativ unbeweglich). Die Markenexpositionsüberwachungsvorrichtung 150 des dargestellten Beispiels verwendet eine Szenenänderungsdetektion zur Kennzeichnung des Anfangsbildframes und des Endbildframes, die einer Szene entsprechen. Bei einer beispielhaften Implementierung führt die Markenexpositionsüberwachungsvorrichtung 150 die Szenenränderungsdetektion durch, indem eine Bildsignatur für jeden Frame des Media-Streams 160 (möglicherweise nach dem Subsampling) erzeugt wird und dann die Bildsignaturen einer Folge von Frames verglichen wird, um zu ermitteln, wann eine Szenenänderung auftritt. Beispielsweise kann die Markenexpositionsüberwachungsvorrichtung 150, die dem Anfangsbild einer Szene entsprechende Bildsignatur mit den Bildsignaturen eines oder mehrerer dem Anfangsbild folgenden Bildframes vergleichen. Wenn sich die Bildsignatur des Anfangsbilds nicht wesentlich von der Bildsignatur eines nachfolgenden Frames unterscheidet, gilt der nachfolgende Frame als Teil derselben Szene wie das Anfangsbild. Wird jedoch festgestellt, dass sich die Bildsignaturen bedeutsam unterscheiden, dann gilt der nachfolgende, sich unterscheidende Frame als Beginn einer neuen Szene und wird zum ersten Frame dieser neuen Szene. Bei Verwendung eines Beispiels eines Medienstreams 160, der eine Übertragung eines Baseballspiels liefert, tritt eine Szenenänderung ein, wenn beispielsweise das Video von einem Bild des Schlagmanns zu einem Bild des äußeren Felds wechselt, nachdem der Schlagmann den Ball erfolgreich getroffen hat.
-
Nachdem die Szene detektiert ist, ermittelt die Markenexpositionsüberwachungsvorrichtung 150 des dargestellten Beispiels wenigstens einen Schlüsselframe und Schlüssel-Bildsignatur, die für die Szene repräsentativ sind. Zum Beispiel können der/die Schlüsselframe(s) und die Schlüssel-Bildsignatur(en) für Szene als der Frame und die Signatur gewählt werden, die dem ersten Frame in der Szene, dem letzten Frame in der Szene, dem Frame in der Mitte der Szene usw. entsprechen. Bei einem weiteren Beispiel können der/die Schlüsselframe(s) und die Schlüssel-Bildsignatur(en) als Mittelwert und/oder als eine andere statistische Kombination der Frames und/oder Signaturen festgelegt werden, die der detektierten Szene entsprechen.
-
Zur Senkung der Anforderungen an die Verarbeitung kann die Markenexpositionsüberwachungsvorrichtung 150 eine detektierte Szene unter Umständen ausschließen, bei denen es wahrscheinlich ist, dass die Szene keine Markenidentifizierung (z.B. Logo) enthält. Bei einer beispielhaften Implementierung ist die Markenexpositionsüberwachungsvorrichtung 150 konfiguriert, um Fachwissen, das dem speziellen Typ von bearbeitetem Medieninhalt verwendet, um zu ermitteln, wann eine Szene Charakteristika aufweist, die angeben, dass die Szene keine Markenidentifizierung enthält. Zum Beispiel kann man im Zusammenhang mit Medieninhalt, der der Übertragung eines Baseballspiels entspricht, wissen, dass eine Szene mit einem Hintergrund, der nur den Rasen des Baseballfeldes zeigt, keine Markenidentifizierung enthält. In einem solchen Fall kann die Markenexpositionsüberwachungsvorrichtung 150 eine Szene von der Markenexpositionsüberwachung ausschließen, wenn die Szene Charakteristika einer Szene aufweist, die den Rasen des Baseballfeldes darstellt (z.B. eine Szene mit einer Mehrheit von Pixel, die hauptsächlich grün und dergestalt verteilt sind, dass beispielsweise die oberen und die unteren Bereiche der Szene Regionen aufweisen, in denen grüne Pixel gruppiert sind). Wenn eine detektierte Szene ausgeschlossen wird, dann meldet die Markenexpositionsüberwachungsvorrichtung 150 des dargestellten Beispiels die ausgeschlossene Szene und setzt die Bearbeitung zur Detektion der nächsten Szene des Medienstreams 160 fort.
-
Nimmt man an, dass eine detektierte Szene nicht ausgeschlossen wird, dann vergleicht die beispielhafte Markenexpositionsüberwachungsvorrichtung 150 die Bildsignatur für die detektierte Szene mit einer oder mehreren (nicht dargestellten) Datenbasen von Referenzsignaturen, die für früher erlernte und/oder bekannte Szenen repräsentativ sind, um zu ermitteln, ob die aktuelle detektierte Szene eine bekannte Szene oder eine neue Szene ist. Falls die aktuelle Szene einer in der Datenbasis/Datenbasen gespeicherten, früher erlernten und/oder bekannten Szene entspricht, erhält die Markenexpositionsüberwachungsvorrichtung 150 Statusinformation für die Szene aus der Datenbasis/den Datenbasen. Wenn die Statusinformation angibt, dass die Szene vorher in der Datenbasis/den Datenbasen als Szene ohne Interesse (z.B. als eine Szene, von der bekannt ist, dass sie keine Markenidentifizierung (z.B. Logos) enthält) gekennzeichnet wurde, wird die Szene als Szene ohne Interesse angezeigt und kann in der Datenbasis/den Datenbasen als erlernte Information gespeichert werden, die zu verwenden ist, um zukünftige Szenen ohne Interesse zu identifizieren. Zum Beispiel und wie unten detaillierter beschrieben, kann eine Szene als Szene ohne Interesse gekennzeichnet werden, wenn sich herausstellt, dass in der Szene keine Markenidentifizierung (z.B. Logos) sichtbar sind. Die Markenexpositionsüberwachungsvorrichtung 150 des dargestellten Beispiels setzt dann die Verarbeitung fort, um die nächste Szene des Medienstreams 160 zu detektieren.
-
Wird jedoch angegeben, dass die aktuelle Szene eine Szene von Interesse ist, dann ermittelt die Markenexpositionsüberwachungsvorrichtung 150 einen oder mehrere erwartete Interessenbereiche innerhalb der aktuellen Szene, die eine Markenidentifizierung (z.B. ein Logo) enthalten kann, wie weiter unten detailliert diskutiert wird. Die Markenexpositionsüberwachungsvorrichtung 150 verifiziert dann den/die erwartete(n) Interessenbereich(e) mit einer oder mehreren (nicht dargestellten) Datenbasen, in welchen Information gespeichert ist, die repräsentativ für (z.B. früher erlernte und/oder bekannte) Referenzmarkenidentifizierungen (z.B. Logos) ist. Wenn alle erwarteten Interessenbereiche dahingehend verifiziert sind, dass sie entsprechende erwartete Markenidentifizierung enthalten, meldet die beispielhafte Markenexpositionsüberwachungsvorrichtung 150 Exposition gegenüber entsprechenden Markenidentifizierungen.
-
Falls jedoch die aktuelle Szene keiner (z.B. früher erlernten und/oder bekannten) Referenzszene entspricht und/oder wenigstens ein Interessenbereich nicht einem oder mehreren (z.B. früher erlernten und/oder bekannten) Markenidentifizierungen entspricht, leitet die Markenexpositionsüberwachungsvorrichtung 150 an der GUI 152 eine Sitzung der grafischen Benutzerschnittstelle (GUI) ein. Die GUI 152 ist konfiguriert, um die aktuelle Szene anzuzeigen und den Benutzer 170 aufzufordern, eine Identifizierung der Szene und/oder der in der/den Interessenbereich(en) enthaltenen Markenidentifizierungen bereitzustellen. Für jede automatisch oder über Informationseingabe durch den Benutzer 170 über das GUI 152 erkannte Markenidentifizierung werden entsprechende Daten und/oder Meldungen in einer beispielhaften Markenexpositionsdatenbasis 155 zur nachfolgenden Verarbeitung gespeichert. Nachdem die Szene und/oder die Markenidentifizierung(en) vom Benutzer 170 über das GUI 152 identifiziert worden sind, werden die aktuelle Szene und/oder die Markenidentifizierung(en) in der entsprechenden Datenbasis bzw. Datenbasen gespeichert. Auf diese Weise werden die aktuelle Szene und/oder die Markenidentifizierung(en) zusammen mit entsprechender beschreibender Information von der Markenexpositionsüberwachungsvorrichtung 150 erlernt und können verwendet werden, um zukünftiges Auftreten der Szene und/oder der Markenidentifizierung(en) in dem Medienstream 160 zu detektieren, ohne dabei die Ausgabevorrichtung und/oder das GUI 152 erneut zu verwenden. Eine beispielhafte Weise, die beispielhafte Markenexpositionsüberwachungsvorrichtung 150 von 1 zu implementieren, ist unten in Verbindung mit 2 beschrieben.
-
Während der Szenen- und/oder Markenidentifizierungserkennung kann die Markenexpositionsüberwachungsvorrichtung 150 dem Benutzer 170 auch entsprechenden Audio-Inhalt bereitstellen, um ferner eine Identifizierung von akustischer Nennung einer Marke zu ermöglichen. Bei Detektion einer akustischen Nennung einer Marke kann der Benutzer 170 dann die akustische Nennung der Markenexpositionsüberwachungsvorrichtung 150 beispielsweise durch Klicken auf ein Symbol auf der GUI 152, durch Eingabe beschreibender Information für die Markenidentifizierung (z.B. Logo) usw. angeben. Darüber hinaus können Schlüsselwörter aus Untertiteln, Bildschirmeinblendungen usw. erfasst und mit der/den detektierten akustischen Nennung(en) der Marke zugeordnet werden. Zusätzlich oder alternativ können von Inhaltprovidem 130 eingefügte Audio-, Bild- und/oder Video-Codes zur Identifizierung von Inhalt zur Identifizierung von Markenidentifizierung verwendet werden. Beispielsweise kann ein Audio-Code für ein Audiosegment des Medienstreams 160 extrahiert und ein Querverweis zu einer Datenbasis von Referenz-Audio-Codes hergestellt werden. Die Audioexposition einer detektieren Markenidentifizierung kann auch in der beispielhaften Markenexpositionsdatenbasis 155 gespeichert werden. Die in der beispielhaften Markenexpositionsdatenbasis 155 gespeicherten akustischen Nennungen können auch Daten enthalten, die die akustische(n) Nennung(en) mit der/den übertragenen Szene(n) verknüpft. Zusätzlich dazu können die identifizierten akustischen Nennungen den Meldungen und/oder Daten hinzugefügt werden, die aus der beispielhaften Markenexpositionsdatenbasis 155 generierte Markenexposition betreffen.
-
Zur Aufzeichnung von Information (z.B. Bewertungsinformation) bezüglich des Konsums von Medieninhalt durch Publikum, der von dem Medienstream 160 bereitgestellt wird, enthält das beispielhafte System von 1 eine Anzahl und/oder Typ(en) von Zuschauererfassungssystemen, von denen eines in 1 mit dem Bezugszeichen 180 bezeichnet ist. Das beispielhafte Zuschauererfassungssystem 180 von 1 zeichnet Information, die Personen, Beantworter von Befragungen, Haushalte usw. repräsentiert, welche den von den Inhaltprovidern 130 zur Verfügung gestellten und/oder gelieferten Inhalt konsumieren und/oder diesem ausgesetzt sind, auf und/oder speichert sie in einer beispielhaften Zuschauerdatenbasis 185. Die in der beispielhaften Zuschauerdatenbasis 185 gespeicherte Zuschauerinformation bzw. -daten können außerdem mit der in der beispielhaften Markenexpositionsdatenbasis 155 von der Markenexpositionsüberwachungsvorrichtung 150 aufgezeichneten Markenexpositionsinformation/-daten kombiniert werden. Bei dem dargestellten Beispiel wird die kombinierten Zuschauer-/Markenexpositionsinformationen/-daten in einer beispielhaften Zuschauer- und Markenexpositionsdatenbasis 195 gespeichert. Die Kombination von Zuschauerinformationen und/oder -daten und auf Marken beruhender Expositionserfassungsinformation 195 kann beispielsweise zur Ermittlung und/oder zur Schätzung eines oder mehrerer statistischer Werte eingesetzt werden, welche die Anzahl von Personen und/oder Haushalten repräsentieren, die einer oder mehreren Markenidentifizierungen ausgesetzt waren.
-
2 stellt eine beispielhafte Implementierung der beispielhaften Markenexpositionsüberwachungsvorrichtung 150 von 1 dar. Zur Verarbeitung des Medienstreams 160 von 1 enthält die Markenexpositionsüberwachungsvorrichtung 150 von 2 eine Szenenerkennungsvorrichtung 252. Die beispielhafte Szenenerkennungsvorrichtung 252 von 2 arbeitet, um Szenen zu erkennen, und erzeugt eine oder mehrere Bildsignaturen für jede im Medienstream 160 enthaltene, identifizierte Szene. Bei einer beispielhaften Implementierung enthält der Medienstream 160 einen Video-Stream, der eine Folge von Bildframes mit einer bestimmten Bildfrequenz (z.B. 30 Bilder pro Sekunde) umfasst. Eine Szene entspricht einer Folge von benachbarten Bildframes mit im Wesentlichen gleichen Charakteristika. Beispielsweise entspricht eine Szene einer Folge von Bildern, die mit vergleichbaren Kamera-Parametern (z.B. Winkel, Höhe, Blende, Brennweite) aufgenommen wurden und einen Hintergrund aufweisen, der statistisch stationär ist (z.B. kann der Hintergrund einzelne Komponenten besitzen, die sich bewegen, jedoch erscheint der gesamte Hintergrund im Mittelschnitt relativ stationär). Um eine Szenendetektion durchzuführen, erzeugt die beispielhafte Szenenerkennungsvorrichtung 252 eine Bildsignatur für jeden Bildframe (möglicherweise nach Unterabtastung (engl.: Subsampling)) bei einer niedrigeren Bildfrequenz). Die beispielhafte Szenenerkennungsvorrichtung vergleicht dann die Bildsignaturen innerhalb einer Folge von Frames mit der/den Schlüsselsignatur(en) einer aktuellen Szene, um zu ermitteln, ob die Bildsignaturen im Wesentlichen gleich oder unterschiedlich sind. Wie oben diskutiert, kann eine aktuelle Szene durch einen oder mehrere Schlüsselframes (z.B. der erste Frame usw.) mit einer oder mehreren entsprechenden Schlüsselsignaturen repräsentiert sein. Wenn die Bildsignaturen der Folge von Frames im Wesentlichen gleich der Schlüsselsignaturen sind, werden die Bildframes als der aktuellen Szene entsprechend betrachtet, und es wird wenigstens eines der Frames in der Folge (z.B. der Anfangsframe, der mittlere Frame, der letzte Frame usw.) als Schlüsselframe verwendet, um die Szene anzugeben. Die dem Schlüsselframe entsprechende Bildsignatur wird dann als die Bildsignatur für die Szene selbst verwendet. Wenn sich jedoch eine einem aktuellen Frame entsprechende aktuelle Bildsignatur ausreichend von der/den Schlüsselframesignatur(en) unterscheidet, wird der der aktuellen Bildsignatur entsprechende aktuelle Frame ermittelt, um den Beginn einer neuen Szene des Medienstreams 160 zu markieren. Zusätzlich wird der jüngste vorhergehende Frame ermittelt, um das Ende der vorhergehenden Szene zu markieren.
-
Wie die Bildsignaturen zur Ermittlung der Anfangs- und Endframes von Szenen im Medienstreams 160 verglichen werden, hängt von den Eigenschaften der von der Szenenerkennungsvorrichtung 252 implementierten speziellen Bildsignaturmethode ab. Bei einer beispielhaften Implementierung erzeugt die Szenenerkennungsvorrichtung 252 ein Histogramm der Luminanz- (z.B. Y) und Chrominanzkomponenten (z.B. U und V) für jeden Bildframe oder für einen oder mehrere Bereiche jedes Bildes. Dieses Bild-Histogramm wird zur Bildsignatur für den Bildframe. Zum Vergleich der Bildsignaturen zweier Frames führt die beispielhafte Szenenerkennungsvorrichtung 252 einen klassenweisen (engl.: bin-wise) Vergleich der Bild-Histogramme der beiden Frames durch. Die beispielhafte Szenenerkennungsvorrichtung 252 summiert dann die Differenzen für jede Histogramm-Klasse und vergleicht die berechnete Differenz mit einem oder mehreren Grenzwerten. Die Grenzwerte können voreingestellt und/oder programmierbar sein und können zugeschnitten sein, um für einen Ausgleich hinsichtlich eines Kompromisses zwischen Szenegranularitäts- und Verarbeitungsbelastungsanforderungen zu sorgen.
-
Die Szenenerkennungsvorrichtung 252 des dargestellten Beispiels kann auch einen Szenenausschluss implementieren, um Anforderungen an die Verarbeitung weiter zu senken. Wie oben diskutiert, kann die beispielhafte Szenenerkennungsvorrichtung 252 eine Szene beispielsweise auf der Grundlage vorher erworbenen Fachwissens bezüglich des durch den beispielhaften Medienstream 160 übermittelten Medieninhalts ausschließen. Das Fachwissen, das für den speziellen Typ von verarbeitetem Medieninhalt einzigartig sein kann oder nicht, kann zur Erzeugung einer Bibliothek von Ausschussmerkmalen verwendet werden, welche eine Szene angeben, die keine Markenidentifizierung (z.B. Logos) enthält. Wenn Szenenausschluss implementiert ist, kann die Szenenerkennungsvorrichtung 252 eine detektierte Szene zum Ausschluss kennzeichnen, wenn sie alle oder einige Ausschlussmerkmale besitzt. Beispielsweise kann, wie oben diskutiert, im Zusammenhang von Medieninhalt, der der Übertragung eines Baseballspiels entspricht, eine vor allem durch einen vorwiegend grünlichen Hintergrund charakterisierte Szene für den Ausschluss gekennzeichnet werden, weil die Szene einer Kameraaufnahme entspricht, die den Rasen des Baseballfeldes abbildet. Dies ist vor allem deshalb der Fall, weil es aufgrund des Fachwissens bezüglich übertragener Baseballspiele bekannt ist, dass Kameraaufnahmen des Rasens des Baseballfeldes gelten, wenn überhaupt, anzuzeigende Markenidentifizierung enthalten. Wie oben diskutiert, meldet die beispielhafte Szenenerkennungsvorrichtung 252 des dargestellten Beispiels eine ausgeschlossene Szene und setzt dann die Bearbeitung fort, um die nächste Szene des Medienstreams 160 zu detektieren. Alternativ könnte die beispielhafte Szenenerkennungsvorrichtung 252 die ausgeschlossene Szene einfach verwerfen und die Bearbeitung zur Detektion der nächsten Szene des Medienstreams 160 fortsetzen. Eine beispielhafte Weise der Implementierung der beispielhaften Szenenerkennungsvorrichtung 252 von 2 ist unten in Verbindung mit 3 diskutiert.
-
Unter der Annahme, dass die detektierte aktuell bearbeitete Szene („aktuelle Szene“ genannt) nicht ausgeschlossen wird, beginnt die beispielhafte Szenenerkennungsvorrichtung 252, die Szene in eine der folgenden vier Kategorien zu klassifizieren: eine wiederholte Szene von Interesse, eine wiederholte Szene von geändertem Interesse, eine neue Szene, oder eine neue Szene ohne Interesse. Zum Beispiel ist eine Szene ohne Interesse eine Szene, die keine sichtbare Markenidentifizierung (z.B. Logos) enthaltend bekannt oder früher als solche identifiziert wurde. Eine wiederholte Szene von Interesse ist eine Szene von Interesse, von der bekannt ist, dass sie sichtbare Markenidentifizierung (z.B. Logos) enthält und in der alle sichtbaren Markenidentifizierungen bereits bekannt sind und identifiziert werden können. Eine wiederholte Szene von geändertem Interesse ist eine Szene von Interesse, von der bekannt ist, dass sie sichtbare Markenidentifizierungen (z.B. Logos) enthält und in der einige sichtbare Markenidentifizierungen (z.B. Logos) bereits bekannt sind und identifiziert werden können, andere sichtbare Markenidentifizierungen jedoch unbekannt sind und/oder nicht automatisch identifiziert werden können. Eine neue Szene entspricht einer unbekannten Szene und es ist daher unbekannt, ob die Szene sichtbare Markenidentifizierungen (z.B. Logos) enthält.
-
Um zu ermitteln, ob die aktuelle Szene eine Szene ohne Interesse oder ob die Szene eine der anderen Szenen von Interesse ist, die sichtbare Markenidentifizierungen enthalten können, vergleicht die beispielhafte Szenenerkennungsvorrichtung 252 die Bildsignatur der Szene mit einer oder mehreren Referenzsignaturen. Die Referenzsignaturen können zu vorbekannten Szeneninformation, die in einer Szenen-Datenbasis 262 gespeichert ist und/oder zu vorbekannten Szeneninformation, die in einer Datenbasis für erlerntes Wissen 264 gespeichert ist, entsprechen. Wenn die Bildsignatur der aktuellen Szene keiner der verfügbaren Referenzsignaturen entspricht, klassifiziert die beispielhafte Szenenerkennungsvorrichtung 252 die Szene als neue Szene. Wenn die Bildsignatur der Szene einer oder mehreren verfügbaren Bildsignaturen entspricht, aber Information, die der/den übereinstimmenden Referenzsignatur(en) zugeordnet ist und in der Szenendatenbasis 262 und/oder der Datenbasis für erlerntes Wissen 264 angibt, dass die Szene keine sichtbaren Markenidentifizierungen enthält, klassifiziert die beispielhafte Szenenerkennungsvorrichtung 252 die Szene als Szene ohne Interesse. Andernfalls wird die Szene von der beispielhaften Szenenerkennungsvorrichtung 252, wie unten diskutiert, entweder als wiederholte Szene von Interesse oder als wiederholte Szene von geändertem Interesse klassifiziert.
-
In einer bespielhaften Implementierung, die die oben beschriebenen Bild-Histogramme zur Angabe von Bildsignaturen verwendet, könnte ein erster Grenzwert (oder erste Grenzwerte) zur Detektion von Szenen verwendet werden, und ein zweiter Grenzwert (oder zweite Grenzwerte) zur Szenenklassifizierung auf der Grundlage von Vergleichen mit Referenzszenen verwendet werden. Bei einer solchen Implementierung würde(n) der/die erste(n) Grenzwert(e) ein höheres Maß an Ähnlichkeit definieren als der/die zweite(n) Grenzwert(e). Insbesondere würde, wenn der/die erste(n) Grenzwert(e) ein Maß an Ähnlichkeit definieren, bei dem es (wenigstens statistisch) wenig oder keine Änderung zwischen den Bildframes gab, der/die zweite(n) Grenzwert(e) ein Maß an Ähnlichkeit definieren, bei dem beispielsweise einige Bereiche der verglichenen Frames relativ ähnlich sein könnten, während andere Bereiche unterschiedlich sein könnten. Im Zusammenhang mit dem Beispiel des übertragenen Baseballspiels kann eine Folge von Frames, die einen ersten am Homeplate stehenden Schlagmann zeigt, den/die ersten Grenzwert(e) erfüllen, so dass alle Frames der Folge als zur selben Szene gehörig festgelegt werden. Wenn ein zweiter Schlagmann am Homeplate stehend gezeigt wird, kann ein Vergleich des ersten Frames der den zweiten Schlagmann zeigt, mit dem/den Frame(s), welche(s) den ersten Schlagmann zeigt, nicht den/die ersten Grenzwert(e) erfüllen, wobei dadurch der Beginn einer neuen Szene, die den zweiten Schlagmann enthält, identifiziert wird. Da jedoch der Hintergrund hinter dem Homeplate zum Großteil unverändert bleibt, kann ein Vergleich der ersten Szene, die den ersten Schlagmann enthält, mit der zweiten Szene die den zweiten Schlagmann enthält, den/die zweiten Grenzwert(e) erfüllen, was angibt, dass die beiden Szenen als vergleichbare Szenen klassifiziert werden sollten. Bei diesem speziellen Beispiel würde die Szene, die den zweiten Schlagmann enthält, gegenüber der Szene, die den ersten Schlagmann enthält, als wiederholte Szene betrachtet werden.
-
Die Szenendatenbasis 262 kann unter Verwendung beliebiger Datenstruktur(en) umgesetzt und in einer beliebigen Anzahl und/oder Typ(en) von Speichern und/oder Speichervorrichtungen 260 gespeichert sein. Die Datenbasis für erlerntes Wissen 264 kann unter Verwendung beliebiger Datenstruktur(en) umgesetzt und in einer beliebigen Anzahl und/oder Typ(en) von Speichern und/oder Speichervorrichtungen 260 gespeichert sein. Beispielsweise kann die Szenendatenbasis 262 und/oder die Datenbasis für erlerntes Wissen 264 unter Verwendung von Bitmap-Dateien, einer JPEG-Dateispeicherorten usw. implementiert werden.
-
Um zu ermitteln, ob eine Szene mit einer Signatur, die einer oder mehreren Referenzsignaturen entspricht, eine wiederholte Szene von Interesse oder eine wiederholte Szene von geändertem Interesse ist, identifiziert die beispielhafte Szenenerkennungsvorrichtung 252 von 2 einen oder mehrere in der betreffenden Szene enthaltenen erwarteten Interessenbereiche auf der Grundlage gespeicherter Information, die Referenzszene(n) zugeordnet ist, die der/den abgeglichenen Referenzsignatur(en) entsprechen. Eine in der beispielhaften Markenexpositionsüberwachungsvorrichtung 150 enthaltene beispielhafte Markenerkennungsvorrichtung 254 (auch bekannt als Logo-Detektor 254) führt dann eine Markenidentifizierungserkennung (auch bekannt als „Logo-Detektion“) durch, indem sie die erwartete(n) Interessenbereich(e) mit Information vergleicht und verifiziert, die einem oder mehreren entsprechenden erwarteten Referenzmarkenidentifizierungen entsprechen, die in der Datenbasis für erlerntes Wissen 264 und/oder einer Markenbibliothek 266 gespeichert sind. Beispielsweise kann die Markenerkennungsvorrichtung 254 verifizieren, dass der/die erwartete(n) Markenidentifizierung(en) tatsächlich in dem/den erwarteten Interessenbereich(en) enthalten sind, indem jeder erwartete Interessenbereich im Schlüsselframe der Szene mit bekannten Markenidentifizierungsvorlagen und/oder mit den in der beispielhaften Datenbasis für erlerntes Wissen 264 und/oder einer Markenbibliothek 266 gespeicherten Vorlagen verglichen wird. Die Markenbibliothek 266 kann unter Verwendung beliebiger Datenstruktur(en) implementiert und in einer beliebigen Anzahl und/oder Typ(en) von Speichern und/oder Speichervorrichtung 260 gespeichert werden. Beispielsweise kann die Markenbibliothek 266 die Information in einer relationalen Datenbank, einer Liste von Signaturen, einer Bitmap-Datei usw. speichern. Beispielverfahren zur Erkennung von Markenidentifizierungen (oder Logo-Detektion) sind unten detaillierter diskutiert.
-
Als nächstes leitet die beispielhafte Markenerkennungsvorrichtung 254 für jeden verifizierten Interessenbereich eine Nachverfolgungsfunktion (engl.: tracking function) ein, um die Inhalte des verifizierten Interessenbereichs für alle in der aktuellen Szene enthaltene tatsächliche Bildframes zu verfolgen. Beispielsweise kann die Nachverfolgungsfunktion einen bestimmten Interessenbereich im Schlüsselframe der aktuellen Szene mit einem oder mehreren entsprechenden Interessenbereichen in jedem der weiteren Frames in der aktuellen Szene vergleichen. Wenn die Nachverfolgungsfunktion feststellt, dass der/die entsprechende(n) erwartete(n) Interessenbereich(e) in allen Bildframes der aktuellen Szene übereinstimmen, klassifiziert die beispielhafte Szenenerkennungsvorrichtung 252 die Szene als wiederholte Szene von Interesse. Falls jedoch wenigstens ein Interessenbereich in wenigstens einem der Bildframes der aktuellen Szene nicht anhand einer entsprechenden erwarteten Referenzmarkenidentifizierung verifiziert werden kann, klassifiziert die Szenenerkennungsvorrichtung 252 die Szene als wiederholte Szene von geändertem Interesse. Die Verarbeitung wiederholter Szenen von geändertem Interesse ist unten eingehender diskutiert. Nach einer Klassifizierung der Szene arbeitet die Szenenerkennungsvorrichtung 252 weiter, um die nächste Szene im Medienstream 160 zu detektieren und zu klassifizieren.
-
Um für eine Identifizierung unbekannter und/oder nicht identifizierter Markenidentifizierungen, die in neuen Szenen und wiederholten Szenen von geändertem Interesse enthalten sind, zu sorgen, weist die beispielhafte Markenexpositionsüberwachungsvorrichtung 150 von 1 die GUI 152 auf. Die auch in 2 dargestellte beispielhafte GUI 152 zeigt die Szene betreffende Information an und fordert den Benutzer 170 auf, die Identität der Szene und/oder eine oder mehrere mögliche Markenidentifizierungen, die in einem oder mehreren Interessenbereichen enthalten sind, zu identifizieren und/oder zu bestätigen. Die beispielhafte GUI 152 kann mittels eines beliebigen Typs von Ausgabevorrichtungen 270, beispielsweise ein Fernseher (TV), ein Computerbildschirm, ein Monitor usw., angezeigt werden, wenn von der beispielhaften Szenenerkennungsvorrichtung 252 eine neue Szene oder eine wiederholte Szene von geändertem Interesse identifiziert wird. Bei einer beispielhaften Implementierung stoppt die beispielhafte Szenenerkennungsvorrichtung 252 den Medienstream 160 von 1 (d. h. sie hält ihn an), wenn eine Szene als neue Szene oder als wiederholte Szene von geändertem Interesse klassifiziert wird, und dann fordert die GUI 152 den Benutzer 170 zur Identifikation der Szene und/oder zur Identifikation einer oder mehrerer Interessenbereiche und in dem/den identifizierten Interessenbereich(en) vorhandene Markenidentifizierungen auf. Beispielsweise kann die GUI 152 ein leeres Feld anzeigen, um einen vom Benutzer 170 bereitgestellten Szenenamen und/oder Information bezüglich einer Markenidentifizierung zu akzeptieren; ein Pulldown-Menü möglicher Szenenamen und/oder Markenidentifizierungen bereitstellen, einen Szenenamen und/oder eine Markenidentifizierung vorschlagen, der vom Benutzer 170 akzeptiert und/oder überschrieben werden kann, usw. Zur Erzeugung eines Pulldown-Menüs und/oder eines anfänglichen Werts, der vom Benutzer 170 zur Identifikation der Szene und/oder von in dem/den entsprechenden Interessenbereich(en) der Szene enthaltenen Markenidentifizierung in Betracht gezogen werden kann, kann die GUI 152 Daten erhalten, die in der Szenendatenbasis 262, der Datenbasis für erlerntes Wissen 264 und/oder der Markenbibliothek 266 gespeichert sind.
-
Zur Detektion der Größe und Form einer oder mehrerer in einer Szene enthaltener Interessenbereiche erhält die in 2 dargestellte GUI 152 eine manuelle Eingabe, welche die Erzeugung und/oder die Schätzung der Lage, der Begrenzung und/oder der Größe jedes Interessenbereichs ermöglicht. Beispielsweise könnte die Beispiel-GUI 152 implementiert werden, um dem Benutzer 170 zu ermöglichen, einen gegebenen Interessenbereich beispielsweise durch folgende Maßnahmen zu markieren: (a) Klicken auf eine Ecke des Interessenbereichs und Ziehen des Cursors zu der entferntesten Ecke, (b) Platzierung des Cursors auf jeder Ecke des Interessenbereichs und Klicken, während sich der Cursor in den einzelnen Ecken befindet, (c) Klicken auf eine Stelle im Interessenbereich, wobei die GUI 152 die Größe und/oder die Form schätzt, um den Interessenbereich zu berechnen, usw.
-
Bestehende Verfahren zur Spezifizierung und/oder Identifizierung von Interessenbereichen in Videoframes beruhen üblicherweise auf von einem Benutzer spezifizierten, manuell markierten Interessenbereichen. Viele manuelle Markierungsverfahren verlangen, dass ein Benutzer sämtliche Eckpunkte eines Polygons, das den gewünschten Interessenbereich begrenzt, sorgfältig markiert oder ansonsten die Ränder einer anderen geschlossenen grafischen Form, die den Interessenbereich begrenzt, sorgfältig zeichnen. Solche manuellen Markierungsverfahren können eine genaue Kontrolle der Motorik und der Koordinierung zwischen Hand und Auge erfordern, was zur Ermüdung führen kann, wenn die Anzahl der zu spezifizierenden Interessenbereiche erheblich ist. Zusätzlich besteht die Wahrscheinlichkeit, dass verschiedene Benutzer Interessenbereiche unter Anwendung bestehender manueller Markierungsverfahren unterschiedlich markiere, was zu einer nicht reproduzierbaren, ungenauen und/oder inkonsistenten Überwachungsleistung aufgrund der Variabilität bei der Spezifizierung von Interessenbereichen für Videoframes führen kann, die dem Inhalt der Übertragung zugeordnet sind, welcher Gegenstand der Überwachung sind.
-
Bei einem ersten beispielhaften Verfahren zum Markieren von Interessensbereichen, das mittels der beispielhaften GUI 152 implementiert werden kann, stützt sich die GUI 152 auf die manuelle Markierung des Umfangs des Interessenbereichs. Bei diesem ersten beispielhaften Markierungsverfahren nutzt der Benutzer 170 eine Maus (oder eine andere zweckmäßige Eingabevorrichtung), um einen angezeigten Cursor zu jeder Stelle zu bewegen, die die Begrenzung des gewünschten Interessenbereichs markiert. Der Benutzer 170 markiert jede Begrenzungsstelle durch Klicken einer Maustaste. Nachdem alle Begrenzungsstellen markiert sind, verbindet die beispielhafte GUI 152 die markierten Stellen in der Reihenfolge, in der sie markiert wurden, wobei dadurch ein Polygon (wie z.B. ein Rechteck) gebildet wird, das den Interessenbereich definiert. Ein Bereich außerhalb des Polygons wird als außerhalb des Interessenbereichs liegend betrachtet. Wie oben erwähnt, ist ein möglicher Nachteil dieses ersten beispielhaften Verfahrens zur Markierung von Interessenbereichen, dass manuell gezeichnete Polygone ungenau und inkonsistent sein können. Dieser mögliche Mangel an Konsistenz kann speziell problematisch sein, wenn der/die Interessenbereich(e) für eine erste Gruppe von Szenen von einem Benutzer 170 markiert werden und der/die Interessenbereich(e) für eine zweite Gruppe von Szenen von einem anderen Benutzer 170 markiert werden. Beispielsweise können Inkonsistenzen bei Markieren von Interessenbereichen die Genauigkeit oder Zuverlässigkeit von Abgleichalgorithmen/Abgleichmethoden negativ beeinflussen, die auf den markierten Interessenbereichen beruhen.
-
Bei einem zweiten beispielhaften Verfahren zum Markieren von Interessenbereichen, das mittels der beispielhaften GUI 152 implementiert werden kann, implementiert die GUI 152 einen automatischen und konsistenten Ansatz zur Markierung eines gewünschten Interessenbereichs in einem Typ grafischer Darstellung. Beispielsweise kann dieses zweite beispielhafte Verfahren zur Markierung von Interessenbereichen für die Markierung eines gewünschten Interessenbereichs in einem Bild, das zum Beispiel einem Videoframe oder einem Standbild entspricht, verwendet werden. Zusätzlich oder alternativ dazu kann das zweite beispielhafte Verfahren zur Markierung von Interessenbereichen für die Markierung eines gewünschten Interessenbereichs in einer Zeichnung, einem Diagramm, einer Folie, einem Poster, einer Tabelle, einem Dokument usw. verwendet werden, welche beispielsweise mittels eines Typs eines computergestützen Zeichen- und/oder Entwurfsanwendung, einer Anwendung zur Textverarbeitung, einer Anwendung zur Erzeugung von Präsentationen usw. erzeugt wurden. Das vorhergehende Beispiel grafischer Darstellungen dient lediglich der Veranschaulichung und ist hinsichtlich der Art der grafischen Präsentationen einschränkend nicht einschränkend gemeint, für die das zweite beispielhafte Verfahren zur Markierung von Interessenbereichen für die Markierung eines gewünschten Interessenbereichs angewendet werden kann.
-
Bei diesem beispielhaften Verfahren zum automatischen Markieren von Interessenbereichen kann der Benutzer 170 einen gewünschten Interessenbereich ohne Vorgabe oder auf der Grundlage eines gespeicherten und/oder eines früher erstellten Interessenbereichs erstellen, der als Vorlage dient. Eine beispielhafte Folge von Operationen zur Erzeugung eines Interessenbereichs ohne Vorgaben unter Verwendung dieses beispielhaften Verfahrens zur automatischen Markierung von Interessenbereichen ist in 10 dargestellt. Bezug nehmend auf 10 verwendet der Benutzer 170 zur Erzeugung eines Interessenbereichs in einer beispielhaften Szene 1000 ohne Vorgaben eine Maus (oder eine andere geeignete Eingabevorrichtung), um auf eine Stelle innerhalb des gewünschten Interessenbereichs zu klicken, um eine Referenzstelle 1005 zu erzeugen. Sobald die Referenzstelle 1005 markiert ist, ermittelt die beispielhafte GUI 152 einen anfänglichen Bereich 1010 rund um die Referenzstelle 1005, der als Vorlage zur Erzeugung von Interessenbereichen dienen soll, und stellt diesen dar.
-
Bei einer beispielhaften Implementierung vergleicht das in 10 dargestellte automatische Verfahren zur Markierung von Interessenbereichen für die Erzeugung des anfänglichen Vorlagenbereichs 1010 benachbarte Pixel rekursiv. Beispielsweise werden, beginnend mit der anfänglich ausgewählten Referenzstelle 1005, benachbarte Pixel in den vier Richtungen nach oben, nach unten, nach links und nach rechts verglichen, um zu ermitteln, ob sie mit der Referenzstelle 1005 vergleichbar (z.B. in Luminenz und Chrominanz) sind. Wenn eines dieser vier Pixel vergleichbar ist, bildet jedes dieser vergleichbaren benachbarten Pixel den Ausgangspunkt für einen weiteren Vergleich in den vier Richtungen nach oben, nach unten, nach links und nach rechts. Dieses Verfahrens setzt sich rekursiv fort, bis keine weiteren vergleichbaren benachbarten Pixel gefunden werden. Werden keine vergleichbare benachbarte Pixel gefunden, wird der anfängliche Vorlagenbereich 1010 als Polygon (z.B. durch Eckpunkte, wie beispielsweise ein durch vier Eckpunkte spezifiziertes Rechteck) oder als Ellipse festgelegt (z.B. durch Haupt- und Nebenachsen spezifiziert), die sämtliche Pixel begrenzen, bei denen rekursiv festgestellt wurde, dass sie mit der anfänglichen Referenzstelle 1005 vergleichbar sind. Bei dem in 10 dargestellten Beispiel entspricht die Referenzstelle 1005 einer Position auf dem (mit dem Bezugszeichen 1015 gekennzeichneten) Buchstaben „X“, wie gezeigt. Durch rekursiven Pixel-Vergleich werden alle dunklen Pixel, die der Buchstabe „X“ (Bezugszeichen 1015) umfasst, als der Referenzstelle 1005 ähnlich erkannt. Der anfängliche Vorlagenbereich 1010 wird dann als rechteckiger Bereich festgelegt, der alle Pixel begrenzt, für die rekursiv festgestellt wurde, dass sie mit dem Buchstaben „X“ (Bezugszeichen 1015) vergleichbar sind.
-
Das in 10 dargestellte automatische Verfahren zur Markierung von Interessenbereichen kann zur Erzeugung eines einzelnen Interessenbereichs auch automatisch zwei oder mehr anfängliche Vorlagenbereiche miteinander kombinieren. Bei dem veranschaulichten Beispiel in 10 führt, wie oben beschrieben, eine Wahl der Referenzstelle 1005 dazu, dass der anfängliche Vorlagenbereich 1010 als Begrenzung aller Pixel festgelegt wird, für die rekursiv festgestellt wurde, dass sie dem Buchstaben „X“ (Bezugszeichen 1015) vergleichbar sind. Als nächstes würde, wenn die Auswahl der Referenzstelle 1020 gewählt wurde, ein zweiter anfänglicher Vorlagenbereich 1025 als alle Pixel begrenzend ermittelt werden, für die rekursiv festgestellt wurde, dass sie dem (mit dem Bezugszeichen 1030 gekennzeichneten) Buchstaben „Y“ vergleichbar sind. Nach Ermittlung der ersten und zweiten anfänglichen Vorlagenbereiche 1010 und 1025 auf der Grundlage der entsprechenden ersten und zweiten Referenzstellen 1005 und 1020 könnte ein kombinierter Interessenbereich 1035 festgelegt werden. Beispielsweise kann der kombinierte Interessenbereich 1035 als Polygon (z.B. als Rechteck) oder als Ellipse festgelegt werden, die sämtliche Pixel in den ersten und zweiten anfänglichen Vorlagenbereichen 1010 und 1025 begrenzen. Allgemeiner, die Vereinigung einiger oder aller aus zugeordneten Referenzstellen erzeugten anfänglichen Vorlagenbereiche kann verwendet werden, um eine Begrenzungsform, beispielsweise ein Polygon, eine Ellipse usw. zu bilden. Jede Stelle innerhalb der Begrenzungsform wird dann als Teil des erzeugten Interessenbereichs betrachtet und kann zum Beispiel als Markenidentifizierungsvorlage dienen.
-
Zusätzlich oder alternativ kann eine Gruppe von Hilfswerkzeugen eingesetzt werden zur Veränderung beispielsweise den Vorlagenbereich 1010 auf regelmäßige und präzise Art und Weise durch vom Benutzer 170 nachfolgend gelieferte Eingabebefehle zu modifizieren. Der Benutzer 170 kann beispielsweise, statt wie oben beschrieben Zusammenlegung den anfänglichen Vorlagenbereich 1010 mit dem zweiten Vorlagenbereich 1025 zu kombinieren, auf eine zweite Stelle 1050 außerhalb des schraffierten Vorlagenbereichs 1010 klicken, um zu bewirken, dass der Vorlagenbereich 1010 bis zu der gewählten zweiten Stelle 1050 wächst. Das Ergebnis ist ein neuer Vorlagenbereich 1055. Auf vergleichbare Weise kann der Benutzer 170 auf eine (nicht dargestellte) dritten Stelle innerhalb des schraffierten Vorlagenbereichs 1010 klicken, um zu bewirken, dass der Vorlagenbereich 1010 bis zu der ausgewählten dritten Stelle schrumpft.
-
Darüber hinaus kann der Benutzer auf eine weitere Gruppe Hilfswerkzeuge zugreifen, im aktuellen Vorlagenbereich (z.B. den Vorlagenbereich 1010) auf mehrere Arten als lediglich durch einfaches Verkleinern oder Vergrößern des Vorlagenbereichs bezüglich einer ausgewählten Stelle zu modifizieren. Bei dem dargestellten Beispiel war das Hilfswerkzeug, das zur Modifikation des Vorlagenbereichs 1010, damit er zum Vorlagenbereich 1055 wird, verwendet wurde, ein GROW_TO_POINT Hilfswerkzeug. Weitere Beispiele von Hilfswerkzeugen umfassen ein GROW_ONE_STEP Hilfswerkzeug, ein GROW_ONE_DIRECTIONAL_STEP Hilfswerkzeug, ein GROW_TO_POINT_DIRECTIONAL Hilfswerkzeug und ein UNDO Hilfswerkzeug usw. Bei dem dargestellten Beispiel würde ein Klick auf die ausgewählte Stelle 1050 bei aktiviertem GROW_ONE_STEP Hilfswerkzeug dazu fuhren, dass sich der Vorlagenbereich 1010 um nur einen Auflösungsschritt vergrößert, um zum neuen Vorlagenbereich 1060 zu werden. Wäre jedoch das GROW_ONE_DIRECTIONAL_STEP Hilfswerkzeug aktiviert, dann würde sich der Vorlagenbereich 1010 um einen Auflösungsschritt nur in Richtung der ausgewählten Stelle 1015 vergrößern, um zum neuen Vorlagenbereich 1065 zu werden (der dem gesamten in 10 abgebildeten dunklen schraffierten Bereich entspricht). Wenn ein GROW_TO_POINT_DIRECTIONAL Hilfswerkzeug aktiviert wäre (Beispiel nicht dargestellt), würde sich der Vorlagenbereich 1010 bis zu der ausgewählten Stelle vergrößern, jedoch nur in Richtung der ausgewählten Stelle. Im Fall der DIRECTIONAL Hilfswerkzeuge bestimmt das Hilfswerkzeug Seite, Rand usw. des der gewählten Stelle nächsten Anfangsvorlagenbereichs, um die Ausdehnungsrichtung des Vorlagenbereichs zu bestimmen. Zusätzlich können weitere Hilfswerkzeuge verwendet werden, um Typ, Größe, Farbe usw. der Form/Polygons (z.B. ein Rechteck) zu wählen, die verwendet wird, um den anfänglichen Vorlagenbereich zu erzeugen, um die Schrittgröße der Auflösung zu spezifizieren, usw. Zwar sind die Hilfswerkzeuge mit dem Begriff „GROW“ bezeichnet und zeigen die dargestellten Beispiele, dass diese Hilfswerkzeuge den Vorlagenbereich 1010 erweitern. Diese Werkzeuge können jedoch auch bewirken, dass der Vorlagenbereich 1010 auf entsprechende Weise schrumpft, indem eine Stelle innerhalb statt außerhalb des beispielhaften Vorlagenbereichs 1010 gewählt wird. Als solche können die hier beschriebenen Hilfswerkzeuge bewirken, dass ein Anfangsvorlagenbereich durch Ausdehnung oder Schrumpfung wächst, je nachdem, ob eine Stelle außerhalb bzw. innerhalb des Vorlagenbereichs gewählt wird.
-
Wie oben erwähnt, kann der Benutzer 170 das beispielhafte Verfahren zur automatischen Erzeugung von Interessenbereichen auch zur Erzeugung eines gewünschten Interessenbereichs auf der Grundlage eines als Vorlage dienenden gespeicherten und/oder früher erstellten Interessenbereichs (z.B. eines Referenz-Interessenbereichs) einsetzen. Zur Schaffung eines Interessenbereichs mithilfe eines gespeicherten und/oder früher erstellten Interessenbereichs benutzt der Benutzer 170 eine Maus (oder eine andere geeignete Eingabevorrichtung) zur Wahl einer Referenzstelle ungefähr im Zentrum des gewünschten Interessenbereichs. Alternativ kann der Benutzer 170 zur Definition einer Begrenzung um den gewünschten Interessenbereich herum mehrere Referenzstellen markieren. Um anzugeben, dass die beispielhafte GUI 152 einen Interessenbereich nicht ohne Vorgabe neu sondern vielmehr aus einem gespeicherten und/oder früher erstellten Interessenbereichen erstellen soll, kann der Benutzer 170 vor der Wahl er Referenzstelle(n) eine andere Maustaste (oder eine Eingabeauswahl an der Eingabevorrichtung) benutzen und/oder eine vorher festgelegte Taste drücken, vor der Auswahl der Referenzstelle eine Suchtaste auf der Grafikanzeige drücken usw. Nach Auswahl der Referenzstelle verwendet die beispielhafte GUI 152 zum Abgleich (engl.: matching) eines der/den ausgewählten Referenzstell(en) zugeordneten Bereichs mit einem oder mehreren gespeicherten und/oder früher erstellten Interessenbereichen ein geeignetes Vorlagenabgleichverfahren (wie z.B. das unten beschriebene Verfahren zum Vorlagenabgleich mittels normalisierter Kreuzkorrelation). Die GUI 152 zeigt dann den gespeicherten und/oder früher erstellten Interessenbereich an, der dem der/den ausgewählten Referenzstelle(n) zugeordneten Bereich am besten entspricht. Der Benutzer 170 kann dann den ausgegebenen Bereich annehmen oder den Bereich unter Zuhilfenahme der oben im Zusammenhang mit der vorgabenfreien Erzeugung eines Interessenbereichs beschriebenen Hilfswerkzeuge modifizieren.
-
In einigen Fällen kann ein Benutzer 170 verlangen, einen verdeckten Teil eines gewünschten Interessenbereichs anzuschließen, weil beispielsweise ein Objekt dergestalt positioniert ist, dass es eine oder mehrere im Interessenbereich enthaltene Markenidentifizierung(en) (z.B. Logos) teilweise verdeckt. Beispielsweise kann im Kontext der Präsentation von Medieninhalt eines Baseballspiels eine Markenidentifizierung in einem Interessenbereich ein Schild oder eine andere Werbung sein, die hinter dem Homeplate positioniert ist, die vom Schlagmann teilweise verdeckt wird. In Situationen wie diesen kann es angenehmer sein, zunächst einen größeren Interessenbereich (z.B. den dem gesamten Schild oder anderen Werbung entsprechenden Bereich) zu spezifizieren und dann den verdeckten Teil des größeren Bereichs (z.B. den dem Schlagmann entsprechenden Teil) zur Erzeugung des endgültigen gewünschten Interessenbereichs auszuschließen. Um einen solchen Ausschluss eines Bereichs durchzuführen, kann der Benutzer 170 ein EXCLUSION MARK-UP Hilfswerkzeug zur Erzeugung eines neuen Bereichs verwenden, der einem Interessenbereich überlagert wird (z.B. unter Verwendung mit einer anderen Farbe, Schattierung usw.), der ursprünglich ohne Vorgabe oder aus einem gespeicherten und/oder früher erzeugten Interessenbereich erzeugt wurde. Darüber hinaus können zur Modifizierung von Größe und/oder Form des darüber gelagerten Bereichs die bereits oben beschriebenen Hilfswerkzeuge (wie die Hilfswerkzeuge GROW_TO_POINT, GROW_ONE_STEP, GROW_ONE_DIRECTIONAL_STEP usw.) verwendet werden. Wenn der Benutzer 170 mit dem darüber gelegten Bereich zufrieden ist, schließt die GUI 152 den darüber gelegten Bereich (der beispielsweise dem verdeckten Bereich entspricht) aus dem ursprünglich erzeugten Interessenbereich aus und bildet den endgültigen gewünschten Interessenbereich.
-
Zurückverweisend auf 2, sobald die Information für die aktuelle Szene, den/die Interessenbereich(e) und/oder die darin enthaltenen Markenidentifizierung über die GUI 152 für eine neue Szene oder eine wiederholte Szene von geändertem Interesse zur Verfügung gestellt wurden, aktualisiert die beispielhafte GUI 152 die beispielhafte Datenbasis für erlerntes Wissen 264 beispielsweise mit den Markenidentifizierungen (z.B. Logos), Identität(en), Stelle(n), Größe(n), Ausrichtung(en) usw. betreffender Information. Die sich daraus ergebende aktualisierte Information kann anschließend zum Vergleich mit einer anderen im Medienstream 160 von 1 detektierten, identifizierten Szene und/oder mit einer in einem oder mehreren anderen Medienstreams enthaltenen Szene verwendet werden. Darüber hinaus und wie oben diskutiert, wird dann für jeden neu markierten Interessenbereich eine Verfolgungsfunktion eingeleitet. Die Verfolgungsfunktion verwendet den markierten Interessenbereich als Vorlage, um den entsprechenden Interessenbereich in den benachbarten Bildframes zu verfolgen, die die aktuelle detektierte Szene umfassen. Insbesondere ermittelt eine beispielhafte Verfolgungsfunktion, wie sich ein in einem Schlüssel frame einer Szene markierter Interessenbereich über die benachbarten Frames hinweg, die die Szene umfassen, ändern kann (z.B. in Anordnung, Größe, Ausrichtung usw.). Parameter, welche den Interessenbereich beschreiben und wie er sich (wenn überhaupt) im Laufe der Szene ändert, werden verändert, um eine Expositionserfassung für im Interessenbereich befindliche Markenidentifizierung(en) zu erreichen sowie um die beispielhafte Datenbasis für erlerntes Wissen 264 mit Information zu aktualisieren, die betrifft, wie die im Interessenbereich enthaltene Markenidentifizierung(en) in nachfolgenden Szenen auftreten kann.
-
Ferner kann, wenn der markierte Interessenbereich einen ausgeschlossenen Bereich enthält, der einen verdeckten Teil eines größeren Interessenbereichs darstellt (z.B. ein mithilfe des oben beschriebenen EXCLUSION MARK-UP Hilfswerkzeugs markierten ausgeschlossener Bereich), die beispielhafte Verfolgungsfunktion konfiguriert sein, um den ausgeschlossenen Bereich separat zu verfolgen, um zu ermitteln, ob sich der durch den ausgeschlossenen Bereich dargestellte verdeckte Bereich in den benachbarten Frames ändert und/oder verkleinert (z.B. teilweise oder gänzlich entfernt wird). Beispielsweise kann die Verfolgungsfunktion ein geeignetes Bildvergleichsverfahren anwenden, um zu ermitteln, ob sich wenigstens Teile des markierten Interessenbereichs und wenigstens Teile des ausgeschlossenen Interessenbereichs einander ähnlich geworden sind, um zu ermitteln, ob sich der verdeckte Bereich geändert und/oder verkleinert hat. Wenn sich der verdeckte Bereich in den benachbarten Frames ändert und/oder verkleinert, kann die Verfolgungsfunktion den markierten Interessenbereich mit dem/den nicht verdeckten Teil(en) des ausgeschlossenen Bereichs kombinieren, um einen neuen zusammengesetzten Interessenbereich und/oder eine zusammengesetzte Markenidentifizierungsvorlage (unten beschrieben) zur Verwendung bei der Erkennung von Markenidentifizierung zu erhalten. Als nächstes startet die beispielhafte Szenenerkennungsvorrichtung 252 den Medienstream 160 von 1 erneut, um die Untersuchung der Markenidentifizierungsexposition im Medienstream 160 von 1 fortzusetzen.
-
Wie oben diskutiert, enthält die beispielhafte Markenexpositionsüberwachungsvorrichtung 150 von 2 die Markenerkennungsvorrichtung 254 (auch bekannt als der Logo-Detektor 254) zur Erkennung eines in einer Szene erscheinenden Markenidentifizierung (z.B. Logos) und zur Erfassung von Information bezüglich der Markenidentifizierung. Die beispielhafte Markenerkennungsvorrichtung 254 von 2 ermittelt alle in der Szene erscheinenden Markenidentifizierungen. Beispielsweise kann die Markenerkennungsvorrichtung 254 Markenidentifizierungen in einer aktuellen Szene von Interesse durch Vergleich des/der Interessenbereich(e) mit einem oder mehreren Referenzmarkenidentifizierungen (z.B. ein oder mehrerer Referenz-Logos), die in der Datenbasis für erlerntes Wissen 264 gespeichert sind, und/oder mit in der Markenbibliothek 266 gespeicherten bekannten Markenidentifizierungen erkennen. Die Referenzmarkenidentifizierungsinformation kann unter Verwendung einer Datenstruktur(en) in der Markenbibliothek 266 und/oder der Datenbasis für erlerntes Wissen 264 gespeichert werden. Beispielsweise kann die Markenbibliothek 266 und/oder die Datenbasis für erlerntes Wissen 264 die Referenzmarkenidentifizierungsinformation unter Verwendung von Bitmap-Dateien, einer Sammlung von JPEG-Dateien usw. speichern.
-
Zur Verringerung der Verarbeitungsanforderungen und zur Verbesserung der Erkennungseffizienz dergestalt, dass beispielsweise Markenidentifizierungen in Echtzeit erkannt werden können, verwendet die beispielhafte Markenerkennungsvorrichtung 254 bekannte und/oder erlernte Information, um die aktuelle Szene lediglich hinsichtlich der Referenzmarkenidentifizierungen zu untersuchen, deren Auftreten in der Szene erwartet wird. Wenn es sich beispielsweise bei der aktuellen Szene um eine wiederholte Szene von Interesse handelt, die einer Referenzszene (beispielsweise eine früher erlernte oder bekannte) entspricht, kann die beispielhafte Markenerkennungsvorrichtung 254 gespeicherte Information bezüglich der abgeglichenen Referenzszene benutzen, um den/die Interessenbereich(e) und dazugehörige Markenidentifizierung(en) zu ermitteln, deren Auftreten in der aktuellen Szene erwartet wird. Daneben kann die beispielhafte Markenerkennungsvorrichtung 254 die in einer Szene auftretenden erkannten Markenidentifizierung über die einzelnen Bildframes verfolgen, die die Szene umfassen, um zusätzliche Markenidentifizierungsparameter und/oder zusammengesetzte Markenidentifizierungsschablonen (wie oben diskutiert) zu ermitteln, um bei der zukünftigen Erkennung von Markenidentifizierungen beizutragen, um für genauere Berichte über Markenexposition zu sorgen usw.
-
Bei einer beispielhaften Implementierung führt die Markenerkennungsvorrichtung 254 zum Vergleich eines Interessenbereichs in der aktuellen Szene mit einer oder mehreren der passenden Referenzszene zugeordneten Referenzmarkenidentifizierungen (z.B. ein oder mehrere Referenz-Logos) einen Vorlagenabgleich (engl.: template matching) durch. Wenn beispielsweise ein Benutzer zuerst eine Markenidentifizierung (z.B. ein Logo) in einer detektierten Szene (zum Beispiel eine neue Szene) markiert, stellt der markierte Bereich einen Interessenbereich dar. Ausgehend von diesem markierten Interessenbereich werden Vorlagen unterschiedlicher Größen, Perspektiven usw. erstellt, die Referenzmarkenidentifizierungen für die resultierende Referenzszene sind. Darüber hinaus können durch die oben diskutierte beispielhafte Verfolgungsfunktion zusammengesetzte Vorlagen für Referenzmarkenidentifizierungen aus benachbarten Frames gebildet werden, die einen ausgeschlossenen Interessenbereich enthalten, der einen verdeckten Bereich angibt, der sich ändert und/oder verkleinert. Anschließend wird für eine neue detektierte Szene ein Vorlagenabgleich hinsichtlich der der passenden Referenzszene zugeordneten verschiedenen erwarteten Referenzmarkenidentifizierung(en) vorgenommen, um möglichen (und erwarteten) perspektivischen Unterschieden (z.B. unterschiedliche Aufnahmewinkel, Zoom usw.) zwischen einer Referenzmarkenidentifizierung und deren tatsächlicher Erscheinung in der aktuellen detektierten Szene Rechnung zu tragen. Beispielsweise kann eine bestimmte Referenzmarkenidentifizierung vor dem Vorlagenabgleich mit dem Interessenbereich in der aktuellen detektierten Szene von der Hälfte ihrer Größe bis zur doppelten Größe in vorher festgelegten Schritten skaliert werden. Zusätzlich oder alternativ kann die Ausrichtung der spezifischen Referenzmarkenidentifizierung vor dem Vorlagenabgleich mit dem Interessenbereich in der aktuellen detektierten Szene über beispielsweise in vorher festgelegten Schritten -30 Grad bis +30 Grad geändert werden. Darüber hinaus kann der Vorlagenabgleich, wie er mittels der beispielhaften Markenerkennungsvorrichtung 254 implementiert ist, auf einem Vergleich der Luminanzwerte, Chrominanz oder einer Kombination derselben für den/die Interessenbereich(e) und die Referenzmarkenidentifizierungen beruhen.
-
Ein beispielhaftes Vorlagenabgleichsverfahren, das mittels der beispielhaften Markenerkennungsvorrichtung 254 zum Vergleich eines Interessenbereichs mit den skalierten Version und/oder unterschiedlichen Ausrichtungen der Referenzmarkenidentifizierungen implementiert sein kann, ist in der Veröffentlichung „Fast Normalized Cross Correlation“ von J. P. Lewis beschrieben, die unter http://www.idiom.com/∼zilla/Work/nvisionInterface/nip.pdf (abgerufenen am 24. Oktober 2007) zur Verfügung steht. Bei einer beispielhaften Implementierung, die auf dem von Lewis diskutierten Vorlagenabgleichsverfahren beruht, berechnet die beispielhafte Markenerkennungsvorrichtung 254 die normalisierte Kreuzkorrelation (z.B. auf der Basis von Luminanz- und/oder Chrominanzwerten) des Interessenbereichs mit jeder Vorlage, die eine bestimmten Referenzmarkenidentifizierung angibt, die eine spezielle Skalierung und Ausrichtung aufweist. Die größte normalisierte Kreuzkorrelation für alle Vorlagen, die für alle verschiedenen Skalierungen und Ausrichtungen sämtlicher verschiedener Markenidentifizierungen von Interesse repräsentativ sind, wird ein Abgleich bzw. Treffer zugewiesen, sofern die Korrelation einen Grenzwert überschreitet. Wie in Lewis dargelegt, zählen zu den Vorteilen der Implementierung normalisierter Kreuzkorrelation Unempfindlichkeit gegen Schwankungen der Amplitude im Interessenbereich, Unempfindlichkeit gegen Rauschen usw. Darüber hinaus kann eine solche beispielhafte Implementierung der beispielhaften Markenerkennungsvorrichtung 254 unter Verwendung von Fourier-Transformationen und fortlaufenden Summen, wie in Lewis diskutiert, implementiert werden zur Senkung der Verarbeitungsanforderungen gegenüber einer räumlichen Implementierung der normalisierten Kreuzkorrelation.
-
Zur Meldung von Erfassung von und anderer Information über im Medienstream 160 erkannten und/oder detektierten Markenidentifizierungen (z.B. Logos) enthält die beispielhafte Markenexpositionsüberwachungsvorrichtung 150 von 2 einen Berichtsgenerator 256. Der beispielhafte Berichtsgenerator 256 von 2 sammelt die von der Markenerkennungsvorrichtung 254 detektierten Markenidentifizierungen zusammen mit den dazugehörigen Erscheinungsbild-Parametern usw., ordnet die Information und erzeugt einen Bericht. Dieser Bericht kann mithilfe verschiedener Verfahren, beispielsweise durch Ausdruck auf Papier, Erzeugung oder Aktualisierung einer Computerdatei, Aktualisierung einer Datenbasis, Erzeugung einer Anzeige, Versand einer E-Mail usw. ausgegeben werden.
-
Auch wenn in 2 eine beispielhafte Weise zur Implementierung der beispielhaften Markenexpositionsüberwachungsvorrichtung 150 von 1 dargestellt ist, können jedoch einige oder alle in 2 dargestellten Elemente, Verfahren und/oder Vorrichtungen auf beliebige Art und Weise kombiniert, unterteilt, neu angeordnet, weggelassen, eliminiert und/oder implementiert werden. Darüber hinaus können die beispielhafte Szenenerkennungsvorrichtung 252, die beispielhafte Markenerkennungsvorrichtung 254, die beispielhafte GUI 152, der beispielhafte Massenspeicher 260, die beispielhafte Szenendatenbasis 262, die beispielhafte Datenbasis für erlerntes Wissen 264, die beispielhafte Markenbibliothek 266, der Berichtsgenerator 256, und/oder allgemeiner die beispielhafte Markenexpositionsüberwachungsvorrichtung 150 mittels Hardware, Software, Firmware und/oder einer Kombination von Hardware, Software und/oder Firmware implementiert werden. Beispielsweise könnte jede der beispielhaften Szenenerkennungsvorrichtung 252, die beispielhafte Markenerkennungsvorrichtung 254, der beispielhafte GUI 152, des beispielhaften Massenspeichers 260, der beispielhaften Szenendatenbasis 262, der beispielhaften Datenbasis für erlerntes Wissen 264, der beispielhaften Markenbibliothek 266, des Berichtsgenerators 256 und/oder allgemeiner, die beispielhafte Markenexpositionsüberwachungsvorrichtung 150 durch einen oder mehrere Schaltkreise, programmierbare(r) Prozessor(en), anwendungsspezi-fische(r) integrierte Schaltkreis(e) (ASIC(s)), programmierbarer Logikvorrichtung(en) (Programmable Logic Device(s) (PLD(s)) und/oder anwenderprogrammierbare(r) Logikvorrich-tung(en) (Field Programmable Logic Device(s) (FPLD(s)) usw. implementiert werden. Wenn einer der beigefügten Ansprüche so aufgefasst wird, als ob er eine reine Software-Implementierung abdeckt, wird hierdurch ausdrücklich definiert, dass wenigstens eine der beispielhaften Markenexpositionsüberwachungsvorrichtung 150, der beispielhaften Szenenerkennungsvorrichtung 252, der beispielhaften Markenerkennungsvorrichtung 254, der beispielhaften GUI 152, des beispielhaften Massenspeichers 260, der beispielhaften Szenendatenbasis 262, der beispielhaften Datenbasis für erlerntes Wissen 264, der beispielhaften Markenbibliothek 266 und/oder des Berichtsgenerators 256 ein körperliches Medium umfasst, wie ein Speicher, Digital Versatile Disk (DVD), Compact Disk (CD) usw. Darüber hinaus kann die beispielhafte Markenexpositionsüberwachungsvorrichtung 150, anstelle derjenigen oder neben denjenigen in 2 dargestellten, ein oder mehrere Elemente, Verfahren und/oder Vorrichtungen umfassen und/oder kann mehr als einen oder alle dargestellten Verfahren und/oder Vorrichtungen umfassen.
-
Eine beispielhafte Implementierung, die beispielhafte Szenenerkennungsvorrichtung 252 von 2 zu implementieren, ist in 3 dargestellt. Die beispielhafte Szenenerkennungsvorrichtung 252 von 3 umfasst einen Signaturgenerator 352 zur Erzeugung einer oder mehrerer Bildsignaturen für jeden beispielsweise im Medienstream 160 enthaltenen Frame (möglicherweise nach dem Unterabtastung/Subsampling). Die eine oder mehrere Signaturen werden dann zur Szenenidentifizierung und/oder Detektion von Szenenänderungen verwendet. Bei dem dargestellten Beispiel erzeugt der Signaturgenerator 252 eine Bildsignatur für einen im Medienstream 160 enthaltenen Bildframe durch Erzeugung eines Bild-Histogramms der in dem Bildframe enthaltenen Luminanz- und/oder Chrominanzwerte.
-
Zur Implementierung der oben diskutierten Szenenidentifizierung und Detektion von Szenenänderungen umfasst die beispielhafte Szenenerkennungsvorrichtung 252 von 3 einen Szenendetektor 354. Der beispielhafte Szenendetektor 354 des dargestellten Beispiels detektiert Szenen im Medienstream 160 durch Vergleich aufeinander folgender Bildframes mit einem Anfangsframe, der eine aktuelle detektierte Szene angibt. Wie oben diskutiert, werden aufeinander folgende Bildframes, die vergleichbare Bildsignaturen aufweisen, gruppiert, um eine Szene zu bilden. Ein oder mehrere Bilder und deren zugeordneter Signaturen werden dann zur Bildung des/der Schlüsselframe(s) und der zugeordneten Schlüsselsignatur(en) für den detektierten Frame verwendet. Im dargestellten Beispiel vergleicht der beispielhafte Szenendetektor 354 zur Detektion einer Szene durch Ermittlung, ob eine Szenenänderung eingetreten ist, die für einen aktuellen Bildframe erzeugte Bildsignatur mit der Bildsignatur des Anfangsframes (oder des geeigneten Schlüsselframes) der aktuell detektierten Szene. Falls die generierte Bildsignatur für den aktuellen Bildframe mit der Bildsignatur des Anfangsframes (oder Schlüsselframes) ausreichende ähnlich ist (z.B. wenn zwischen aufeinanderfolgenden Frames im Medienstream 160 nur vernachlässigbare Bewegungen aufgetreten sind, wenn die Kamera-Parameter im Wesentlichen gleich sind und die Hintergründe statistisch stationär sind usw.), schließt der beispielhafte Szenendetektor 354 den aktuellen Bildframe in die aktuelle detektierte Szene ein und der nächste Frame wird dann untersucht, indem mit dem Anfangsframe (oder Schlüsselframe) der Szene verglichen wird. Wenn jedoch der Szenendetektor 354 eine bedeutsame Veränderung zwischen den Bildsignaturen detektiert (z.B. beim Beispiel einer Präsentation eines Baseballspiels, wenn ein Schlagmann im vorhergehenden Frame durch einen Außenfeldspieler im aktuellen Bildframe des Medienstreams 160 ersetzt wird), identifiziert der beispielhafte Szenendetektor 354 den aktuellen Imageframe als Beginn einer neuen Szene, speichert den aktuellen Bildframe als Anfangsframe (und/oder Schlüsselframe) für diese neue Szene und speichert die Bildsignatur für den aktuellen Imageframe zur Verwendung als Anfangsbildsignatur (und/oder Schlüssel-Bildsignatur) für diese neue Szene. Der beispielhafte Szenendetektor markiert dann den unmittelbar vorherigen Frame als den Endframe der aktuellen Szene und ermittelt einen oder mehrere Schlüsselframes und zugeordnete Schlüssel-Bildsignatur(en), in die aktuelle Szene anzugeben. Wie oben diskutiert, können der Schlüsselframe und die Schlüssel-Bildsignatur für die aktuelle Szene so gewählt sein, dass sie zum Beispiel der Frame und die Signatur sind, die dem ersten Frame in der Szene, dem letzten Frame in der Szene, dem mittleren Frame in der Szene usw. entsprechen. Bei einem weiteren Beispiel können der Schlüsselframe und die Schlüssel-Bildsignatur als Mittelwert und/oder eine andere statistische Kombination der Frames und/oder Signaturen festgelegt werden, die der detektierten Szene entsprechen. Die aktuelle Szene ist dann zur Szenenklassifizierung bereit.
-
Die beispielhafte Szenenerkennungsvorrichtung 252 von 3 umfasst auch eine Szenenausschlussvorrichtung 355, mit der bestimmte detektierte Szenen von der Markenexpositionsbearbeitung ausgeschlossen werden können. Wie oben diskutiert, kann eine detektierte Szene ausgeschlossen werden, wenn es den Umständen nach wahrscheinlich ist, dass die Szene keine Markenidentifizierungen (z.B. Logos) enthält. Bei einer Implementierung ist die Szenenausschlussvorrichtung 355 konfiguriert, dem speziellen Typ von verarbeiteten Medieninhalt entsprechende Fachkenntnis verwendet, um zu ermitteln, wann eine detektierte Szene Charakteristika aufweist, die darauf hinweisen, dass die Szene keine Markenidentifizierungen enthält. Wenn eine detektierte Szene ausgeschlossen wird, ruft die Szenenausschlussvorrichtung 355 des dargestellten Beispiels den Berichtsgenerator 256 von 2 auf, um die ausgeschlossene Szene anzuzeigen.
-
Zur Kategorisierung einer nicht ausgeschlossenen detektierten Szene umfasst die beispielhafte Szenenerkennungsvorrichtung 252 von 2 eine Szenenklassifizierungsvorrichtung 356. Die beispielhafte Szenenklassifizierungsvorrichtung 356 vergleicht die (als aktuelle Szene bezeichnete) aktuelle detektierte Szene mit einer oder mehreren Referenzszenen (z.B. früher erlernte und/oder bekannte Szenen), die in der Szenendatenbasis 262 und/oder in der Datenbasis für erlerntes Wissen 264 gespeichert sind. Beispielsweise kann die Szenenklassifizierungsvorrichtung 356 eine Bildsignatur, die für die aktuelle Szene repräsentativ ist, mit einer oder mehreren Referenz-Bildsignaturen vergleichen, welche für eine oder mehrere entsprechende Referenzszenen repräsentativ sind. Auf der Grundlage der Vergleichsergebnisse klassifiziert die beispielhafte Szenenklassifizierungsvorrichtung 356 die aktuelle Szene in eine der folgenden vier Kategorien: eine wiederholte Szene von Interesse, eine wiederholte Szene von geändertem Interesse, eine neue Szene, oder eine Szene ohne Interesse. Wenn beispielsweise die Bildsignatur der aktuellen Szene der Bildsignatur einer Referenzszene nicht entspricht, klassifiziert die beispielhafte Szenenklassifizierungsvorrichtung 356 die Szene als neue Szene und zeigt die aktuelle Szene über die Ausgabevorrichtung 270 in 2 an. So wird beispielsweise eine Benutzeraufforderung über die GUI 152 angezeigt, um den Benutzer 170 auf die Notwendigkeit der Identifizierung der Szene aufmerksam zu machen.
-
Entspricht jedoch die Bildsignatur der aktuellen Szene der Bildsignatur einer Referenzszene, und wurde die entsprechende Referenzszene bereits als Szene ohne Interesse markiert, wird die die aktuelle Szene beschreibende Information (z.B. Schlüsselframe, Schlüsselsignatur usw.) zur Benutzung bei der Detektion nachfolgender Szenen ohne Interesse in der beispielhaften Datenbasis für erlerntes Wissen 264 gespeichert und die nächste Szene im Medienstream 160 untersucht. Wird jedoch eine Übereinstimmung festgestellt wird, und die entsprechende Referenzszene nicht als Szene ohne Interesse markiert wird, ermittelt die beispielhafte Szenenklassifizierungsvorrichtung 356 eine oder mehrere erwartete Interessenbereiche in der detektierten Szene auf der Grundlage von Information über die Interessenbereiche fest, die der passenden Referenzszene entspricht. Die beispielhafte Szenenklassifizierungsvorrichtung 356 ruft dann die beispielhaften Markenerkennungsvorrichtung 254 zur Durchführung einer Markenerkennung durch Vergleich des/der erwarteten, in der Szene identifizierten Interessenbereich(e) mit einer oder mehreren Referenzmarkenidentifizierungen (z.B. früher erlernte und/oder bekannte Markenidentifizierungen) auf, die in der Datenbasis für erlerntes Wissen 264 und/oder der Markenbibliothek 266 gespeichert sind. Falls dann ein oder mehrere in der identifizierten Szene enthaltene Interessenbereiche mit keiner entsprechenden, erwarteten, in der Datenbasis für erlerntes Wissen 264 und/oder in der Markendatenbank 266 gespeicherten Referenzmarkenidentifizierung übereinstimmt, wird die aktuelle Szene als eine wiederholte Szene von geändertem Interesse klassifiziert und an der Ausgabevorrichtung 270 angezeigt. Beispielsweise kann über die GUI 152 eine Benutzeraufforderung angezeigt werden, um den Benutzer 170 auf die Notwendigkeit der Detektion und/oder Identifizierung einer oder mehrerer in dem/den nicht passenden Interessenbereich(en) enthaltenen Markenidentifizierungen hinzuweisen. Die vom Benutzer 170 bereitgestellte Markierung/Identifizierung der Markenidentifizierung (z.B. Logo) wird dann zur Aktualisierung der Datenbasis für erlerntes Wissen 264 verwendet. Zusätzlich dazu kann die Datenbasis für erlerntes Wissen 264 aktualisiert werden, in die aktuelle detektierte Szene als Referenz für die Detektion zukünftiger wiederholter Szenen von Interesse zu verwenden, falls die aktuelle Szene eine neue Szene war. Wenn jedoch alle in der aktuellen Szene enthaltenen Interessenbereiche mit dem/den entsprechenden erwarteten, in der Datenbasis für erlerntes Wissen 264 und/oder der Markendatenbank 266 gespeicherten Referenzmarkenidentifizierung(en) übereinstimmen, wird die aktuelle Szene als eine wiederholte Szene von Interesse klassifiziert und der/die erwartete(n) Interessenbereich(e) werden dann von der Markenerkennungsvorrichtung 254 automatisch untersucht, um einen Bericht über die Markenexposition, ohne zusätzliche Beteiligung des Benutzers 170 bereitzustellen. Darüber hinaus und wie oben diskutiert, wird dann für jeden erwarteten Interessenbereich eine Verfolgungsfunktion gestartet. Die Verfolgungsfunktion verwendet den erwarteten Interessenbereich als Vorlage zur Verfolgung des entsprechenden Interessenbereichs in den benachbarten Bildframes, die aktuelle detektierte Szene umfassen. Um eine Expositionserfassung der im Interessenbereich befindlichen Markenidentifizierung(en) sowie zur Aktualisierung der beispielhaften Datenbasis für erlerntes Wissen 264 mit Information darüber, wie die im Interessenbereich befindlichen Markenidentifizierung(en) in den nachfolgenden Szenen erscheinen können, werden Parameter verwendet, welche den Interessenbereich und, wie es sich im Verlauf der Szene ändert, beschreiben.
-
Auch wenn in 3 eine beispielhafte Implementierungsart der beispielhaften Szenenerkennungsvorrichtung 252 von 2 dargestellt ist, können einige oder alle in 3 dargestellten Elemente, Verfahren und/oder Vorrichtungen auf beliebige Art und Weise kombiniert, unterteilt, neu angeordnet, weggelassen, eliminiert und/oder implementiert werden. Ferner können der beispielhaften Signaturgenerator 352, der beispielhaften Szenendetektor 354, die beispielhafte Szenenklassifizierungsvorrichtung 356, und/oder allgemeiner die beispielhafte Szenenerkennungsvorrichtung 252 von 3 mittels Hardware, Software, Firmware und/oder eine Kombination aus Hardware, Software und/oder Firmware implementiert sein. Darüber hinaus kann die beispielhafte Szenenerkennungsvorrichtung 252 anstelle der oder zusätzlich zu den in 3 dargestellten Datenstrukturen, Elementen, Verfahren und/oder Vorrichtungen eine oder mehrere Datenstrukturen, Elemente, Verfahren und/oder Vorrichtungen umfassen und/oder kann mehr als eine oder alle dargestellte Datenstrukturen, Elemente, Verfahren und/oder Vorrichtungen umfassen.
-
Eine beispielhafte Implementierung der beispielhaften Markenerkennungsvorrichtung 254 von 2 ist in 4 dargestellt. Zur Detektion einer oder mehrerer Markenidentifizierungen (z.B. ein oder mehrere Logos) in einem Interessenbereich der identifizierten Szene umfasst die beispielhafte Markenerkennungsvorrichtung 254 von 4 einen Markenidentifikationsdetektor 452. Der beispielhafte Markenidentifikationsdetektor 452 von 4 vergleicht den Inhalt jedes beispielsweise durch die Szenenerkennungsvorrichtung 252 von 2 spezifizierten Interessenbereichs mit einer oder mehreren (z.B. früher erlernten und/oder bekannten) Referenzmarkenidentifizierungen, die einer passenden Referenzszene entsprechen und in der beispielhaften Datenbasis für erlerntes Wissen 264 und/oder der Markenbibliothek 266 gespeichert sind. Beispielsweise und wie oben diskutiert, kann der Markenidentifikationsdetektor 452 einen Vorlagenabgleich vornehmen, um den Interessenbereich mit einer oder mehreren skalierten Versionen und/oder einer oder mehreren unterschiedlichen Ausrichtungen der Referenzmarkenidentifizierungen (z.B. Referenzlogos) zu vergleichen, die in der Datenbasis für erlerntes Wissen 264 und/oder der Markenbibliothek 266 gespeichert sind, um im Interessenbereich enthaltene Markenidentifizierungen (z.B. Logos) zu ermitteln.
-
Der Markenidentifikationsdetektor 452 kann einen Interessenbereichsdetektor (ROI-Detektor) 462 und eine Interessenbereichsverfolgungsvorrichtung (ROI-Verfolgungsvorrichtung) 464 umfassen. Der beispielhafte ROI-Detektor 462 lokalisiert einen Interessenbereich in einem Schlüsselframe, der die aktuelle Szene darstellt, indem jeder bekannte oder früher erlernte (z.B. beobachtete) Interessenbereich gesucht wird, der der passenden Referenzszene der aktuellen Szene zugeordnet ist. Zusätzlich dazu kann der beispielhafte ROI-Detektor 462 für jeden erwarteten, der passenden Referenzszene zugeordneten Interessenbereich ROI alle bekannten oder früher erlernten Stellen, Perspektiven (z.B. Größe, Winkel usw.) usw. suchen. Bei Finden eines Interessenbereichs ROI in der aktuellen Szene, der einem erwarteten Interessenbereich ROI in der Referenzszene entspricht, werden der beobachtete Interessenbereich ROI, seine Lage, seine Perspektiven und seine Zuordnung zur aktuellen Szene in der Datenbasis für erlerntes Wissen 264 gespeichert Die Datenbasis für erlerntes Wissen 264 wird daher bei Detektion mit jeder neuen erlernten Information jedes Mal aktualisiert, wenn ein Interessenbereich in einer Szene detektiert wird. Die beispielhafte ROI-Verfolgungsvorrichtung 464 verfolgt dann den vom ROI-Detektor 464 im Schlüsselframe der aktuellen Szene detektierten Interessenbereich. Beispielsweise kann die ROI-Verfolgungsvorrichtung 464 nach dem detektierten Interessenbereich ROI in den dem Schlüsselframe der aktuellen Szene benachbarten Bildframes und in einer Umgebung der bekannten Lage und Perspektive des detektierten Interessenbereichs ROI im Schlüsselframe der aktuellen Szene suchen. Während des Verfolgungsvorgangs werden Erscheinungsparameter wie Lage, Größe, Qualität der Übereinstimmung (engl.: matching quality), visuelle Qualität usw. aufgezeichnet, um bei der Detektion von Interessenbereich(en) ROI(s) in zukünftigen wiederholten Bildframes beizutragen und um Expositionserfassungen zu erhalten. (Bei nachfolgenden Abgleichvorgängen können diese Parameter als Suchbegriffe und/oder Vorlagen verwendet werden.) Die beispielhafte ROI-Verfolgungsvorrichtung 464 hält die Verarbeitung der aktuellen Szene an, wenn alle Frames in der Szene verarbeitet sind und/oder wenn der Interessenbereich ROI nicht in einer bestimmten festgelegten Anzahl aufeinander folgender Frames nicht aufgefunden werden kann.
-
Zur Identifizierung der einer oder mehrere Markenidentifizierungen zugeordneten, tatsächlichen Marken umfasst die beispielhaften Markenerkennungsvorrichtung 254 von 4 eine Markenidentifizierungsabgleichsvorrichtung 454. Die beispielhafte Markenidentifizierungsabgleichsvorrichtung 454 verarbeitet die vom Markenidentifikationsdetektor 452 detektierte(n) Markenidentifizierung(en), um die in der Markendatenbasis 266 gespeicherte Markenidentitätsinformation zu erhalten. Beispielsweise kann die in der Markendatenbasis 266 gespeicherte Markeninformation, ohne darauf beschränkt zu sein, interne Identifizierungen, Namen von Rechtspersönlichkeiten (z.B. Unternehmen, Einzelpersonen usw.), die den Markenidentifizierungen zugeordneten Markenbesitzen, Produktnamen, Dienstleistungsbezeichnungen usw. umfassen.
-
Zur Erfassung der Exposition gegenüber Markenidentifizierungen (z.B. Logos), die beispielsweise in Szenen in dem Medienstream 160 detektiert wurden, umfassen die beispielhaften Markenerkennungsvorrichtung 254 von 4 ein Erfassungs- und Verfolgungsmodul 456. Das beispielhafte Erfassungs- und Verfolgungsmodul 456 von 4 sammelt Erscheinungsbilddaten, die der/den Bildframes jeder detektierten Szenen enthaltenen detektierten/erkannten Markenidentifizierung(en) (z.B. Logos) entsprechen, sowie darüber detektierte(n)/erkannte(n) Markenidentifizierung(en) über die Bildframes hinweg variieren können, die die detektierte Szene umfassen. Solche Berichtsdaten können Informationen bezüglich der Lage, Größe, Ausrichtung, Übereinstimmungsqualität (engl.: match quality), visuelle Qualität usw. für jeden Frame in der detektierten Szene umfassen. (Diese Daten ermöglichen ein neues Bezahlungs-/Verkaufsmodell für Werbung, bei welchem die Werbetreibenden pro Frame und/oder nach Expositionsdauer der eingebetteten Markenidentifizierungen zahlen.) Bei einer beispielhaften Implementierung ermittelt das Erfassungs- und Verfolgungsmodul 456 für jede detektierte/erkannte Markenidentifizierung eine gewichtete Lage und Größe. Beispielsweise kann das Erfassungs- und Verfolgungsmodul 456 Lage und/oder Größe einer Markenidentifizierung nach Dauer der Exposition bei dieser speziellen Lage und/oder Größe zur Ermittlung der gewichteten Lage- und/oder Größeninformation gewichten. Mittels eines Berichtsgenerators 256 kann aus der zuvor genannten Information ein Bericht über die Markenexposition erzeugt werden.
-
Auch wenn in 4 ein Beispiel für eine Implementierung der beispielhaften Markenerkennungsvorrichtung 254 von 2 dargestellt ist, können einige oder alle in 4 dargestellten Elemente, Verfahren und/oder Vorrichtungen auf beliebige Art und Weise kombiniert, unterteilt, neu angeordnet, weggelassen, eliminiert und/oder umgesetzt werden. Außerdem können sich der beispielhafte Markenidentifikationsdetektor 452, die beispielhafte Markenidentifikationsabgleichsvorrichtung 454, das beispielhaften Erfassungs- und Verfolgungsmodul 456, und/oder allgemeiner die beispielhafte Markenerkennungsvorrichtung 254 von 4 mittels Hardware, Software, Firmware und/oder einer beliebigen Kombination aus Hardware, Software und/oder Firmware implementiert werden. Beispielsweise könnte jedes des beispielhaften Markenidentifikationsdetektors 452, der beispielhaften Markenidentifizierungsabgleichsvorrichtung 454, des beispielhaften Erfassungs- und Verfolgungsmodul 456 und/oder allgemeiner, die beispielhafte Markenerkennungsvorrichtung 254 mittels eines oder mehrerer Schaltkreise, programmierbarer Prozessor(en), anwendungsspezifischer integrierter Schaltkreis(e) (ASIC(s)), programmierbarer Logikvorrichtung(en) (Programmable Logic Device(s) (PLD(s)) und/oder anwenderprogrammierbarer Logikvorrich-tung(en) (Field Programmable Logic Device(s) (FPLD(s)) usw. implementiert werden. Wenn einer der beigefügten Ansprüche so ausgelegt wird, dass er eine reine Software-Implementierung erfasst, wird hiermit ausdrücklich definiert, dass wenigstens eines der beispielhaften Markenerkennungsvorrichtung 254, des beispielhaften Markenidentifikationsdetektors 452, der beispielhaften Markenidentifizierungsabgleichsvorrichtung 454 und/oder des beispielhaften Erfassungs- und Verfolgungsmoduls 456 ein körperliches Medium, wie ein Speicher, Digital Versatile Disk (DVD), Compact Disk (CD) usw. umfasst. Darüber hinaus kann die beispielhaften Markenerkennungsvorrichtung 254 von 4 anstelle der oder zusätzlich zu den in 4 dargestellten Elementen, Verfahren und/oder Vorrichtungen ein oder mehrere Elemente, Verfahren und/oder Vorrichtungen umfassen und/oder kann mehr als einen oder alle dargestellte Elemente, Verfahren und/oder Vorrichtungen umfassen.
-
Zur besseren Veranschaulichung des Betriebs des beispielhaften Signaturgenerators 352, des beispielhaften Szenendetektors 354, der beispielhaften Szenenausschlussvorrichtung 355, die beispielhafte Szenenklassifizierungsvorrichtung 356, des beispielhaften ROI-Detektors 464 und der beispielhaften ROI-Verfolgungsvorrichtung 464 sind in 5A - 5D Beispielszenen dargestellt, die zur Erfassung von Markenexposition verarbeitet werden können. Die in 5A - 5D dargestellten Beispielszenen werden von einem Medienstream 160 erhalten, der beispielhafte Übertragungen von Sportereignissen bereitstellt. Die beispielhaften Sportereignissendungen dienen lediglich der Veranschaulichung und die hier offenbarten Verfahren und Vorrichtungen sind ohne weiteres auf die Verarbeitung von Medienstreams zur Ermittlung von Markenexposition in Verbindung mit beliebigem Medieninhalt verwendet. Bezug nehmend auf die Figuren veranschaulicht 5A vier beispielhafte Schlüsselframes 505, 510, 515 und 525, die vier entsprechenden beispielhaften Szenen zugeordnet sind, die für einen Szenenausschluss auf der Grundlage bekannten oder erlernten Fachwissens für den geeignet wären. Insbesondere stellt der beispielhafte Schlüsselframe 505 eine Szene mit einem Hintergrund (z.B. ein Golfplatz) dar, der ein Vorherrschen gleichmäßig gruppierter grünlicher Pixel aufweist. Falls das Fachwissen, welche dem Typ Medieninhalt entspricht, der aus dem beispielhaften Schlüsselframe 505 erzeugt wurde (z.B. eine erwartete Übertragung eines Golfereignisses), angibt, dass eine Szene mit einem Vorherrschen gleichmäßig gruppierter grünlicher Pixeln ausgeschlossen werden sollte, weil sie einer Kameraaufnahme des Spielfelds (zum Beispiel des Golfkurses) entspricht, kann die beispielhafte Szenenausschlussvorrichtung 355 mit solchem Wissen konfiguriert werden und die dem beispielhaften Schlüsselframe 505 entsprechende Szene ausschließen.
-
Der beispielhafte Schlüsselframe 510 entspricht einer Szene von kurzer Dauer, da die Szene einen überwiegenden Anteil von Komponenten in schneller Bewegung enthält. Bei einer beispielhaften Implementierung könnte die Szenenausschlussvorrichtung 355 konfiguriert werden, um eine solche Szene auszuschließen, da es unwahrscheinlich ist, dass eine Markenidentifizierung ausreichend lang in der Szene verbleiben würde, um von einer den Medieninhalt konsumierenden Person bedeutungsvoll wahrgenommen zu werden. Der beispielhafte Schlüsselframe 515 entspricht einer Szene mit einer Zuschauermenge bei der Übertragung eines Sportereignisses. Auch eine solche Szene kann von der beispielhaften Szenenausschlussvorrichtung 355 ausgeschlossen werden, wenn beispielsweise das der Szenenausschlussvorrichtung 355 zur Verfügung stehende Fachwissen angibt, dass eine im Wesentlichen gleichmäßig bunte Szene einer Aufnahme des Publikums entspricht und daher nicht davon ausgegangen wird, dass sie Markenidentifizierung(en) enthält. Der beispielhafte Schlüsselframe 520 entspricht einer Szene aus einem Werbespot, der während der beispielhaften Übertragung eines Sportereignisses ausgestrahlt wird. Bei einer beispielhaften Implementierung könnte die Szenenausschlussvorrichtung 355 konfiguriert werden, um Szenen auszuschließen, die einem übertragenen Werbespot entsprechen (z.B. auf der Grundlage eines detektierten Audiocodes im beispielhaften Medienstream 160, auf der Grundlage eines detektierten Übergangs (z.B. leerer Bildschirm) im beispielhaften Medienstream 160, usw.), wenn beispielsweise der Bericht über Markenexposition auf eingebettete Werbung beschränkt bleiben soll.
-
5B veranschaulicht zwei beispielhafte Schlüsselframes 525 und 530, die zwei Beispielszenen zugeordnet sind, welche von der beispielhaften Szenenklassifizierungsvorrichtung 356 als Szenen ohne Interesse eingestuft werden könnten. Bei dem dargestellten Beispiel entspricht der Schlüsselframe 525 einer neuen detektierten Szene, die vom Benutzer 170 als Szene ohne Interesse markiert werden kann, weil der beispielhafte Schlüsselframe 525 keine Markenidentifizierungen (z.B. Logos) enthält. Die dem Schlüsselframe 525 entsprechende Szene wird dann zur erlernten Referenzszene ohne Interesse. Als nächster entspricht der beispielhafte Schlüsselframe 530 einer vom beispielhaften Szenendetektor 354 detektierten nachfolgenden Szene. Durch Vergleich der vergleichbaren Bildsignaturen (z.B. der Bildhistogramme) des Schlüsselframes 520 und des Schlüsselframes 530 der nachfolgenden detektierten Szene kann die beispielhafte Szenenklassifizierungsvorrichtung 356 ermitteln, dass das Bildframe 530 einer Wiederholung der dem beispielhaften Schlüsselframe 525 entsprechenden Referenzszene entspricht. In einem solchen Fall würde die beispielhafte Szenenklassifizierungsvorrichtung 356 dann ermitteln, dass der Schlüsselframe 530 einer Szene ohne Interesse entspricht, da die passende, mit dem beispielhaften Schlüsselframe 525 übereinstimmende Referenzszene als eine Szene ohne Interesse markiert wurde.
-
5C veranschaulicht zwei beispielhafte Schlüsselframes 535 und 540, die zwei Beispielszenen zugeordnet sind, welche von der beispielhaften Szenenklassifizierungsvorrichtung 356 als Szenen ohne Interesse eingestuft werden könnten. Bei dem dargestellten Beispiel entspricht der Schlüsselframe 535 einer neuen detektierten Szene, die vom Benutzer 170 als Szene ohne Interesse gekennzeichnet werden kann, da im beispielhaften Schlüsselframe 535 ein Interessenbereich 545 mit einer Markenidentifizierungen (z.B. mit einem Schild, das Werbung für „Banner One“ trägt) enthalten ist. Die dem Schlüsselframe 535 entsprechende Szene würde dann zu einer erlernten Referenzszene von Interesse werden. Darüber hinaus kann der Benutzer 170 den Interessenbereich 545 markieren, der dann von der beispielhaften ROI-Verfolgungsvorrichtung 464 zur Erzeugung einer oder mehrerer Referenzvorlagen zur Markenidentifizierung zur Detektion nachfolgender, dieser Referenzszene und diesem Interessenbereich entsprechender wiederholter Szenen von Interesse verwendet würde. Als nächstes entspricht der beispielhafte Schlüsselframe 540 einer vom beispielhaften Szenendetektor 354 detektierten nachfolgenden Szene. Durch Vergleich der vergleichbaren Bildsignaturen (z.B. der Bildhistogramme) des Schlüsselframes 535 und des Schlüsselframes 540 der nachfolgenden detektierten Szene kann die beispielhafte Szenenklassifizierungsvorrichtung 356 ermitteln, dass der Bildframe 540 einer Wiederholung der dem beispielhaften Schlüsselframe 535 entsprechenden Referenzszene entspricht. Da es sich bei der Referenzszene um eine Szene von Interesse handelt, würde die beispielhafte Szenenklassifizierungsvorrichtung 356 dann den beispielhaften ROI-Detektor 462 aufrufen, um auf der Grundlage der dem Referenzinteressenbereich 535 entsprechenden Referenzvorlage(n) den erwarteten Interessenbereich im beispielhaften Schlüsselframe 540 zu finden. Bei dem dargestellten Beispiel findet der ROI-Detektor 462 den dem Referenzinteressenbereich 535 entsprechenden Interessenbereich 550, da die beiden Interessenbereiche mit Ausnahme erwarteter Änderungen von Ausrichtung, Größe, Lage usw. im Wesentlichen ähnlich sind. Da der beispielhafte ROI-Detektor 462 den erwarteten Interessenbereich 550 im dargestellten Beispiel gefunden und überprüft hat, würde die beispielhafte Szenenklassifizierungsvorrichtung 356 die dem beispielhaften Schlüsselframe 540 entsprechende Szene in Bezug auf die dem beispielhaften Schlüsselframe 535 entsprechende Referenzszene als wiederholte Szene von Interesse klassifizieren.
-
5D veranschaulicht zwei beispielhafte Schlüsselframes 555 und 560, die zwei Beispielszenen zugeordnet sind, welche von die beispielhafte Szenenklassifizierungsvorrichtung 356 als Szenen von Interesse eingestuft werden könnten. Im dargestellten Beispiel entspricht der Schlüsselframe 555 einer neuen detektierten Szene, die vom Benutzer 170 als Szene von Interesse markiert werden kann, da im beispielhaften Schlüsselframe 555 ein Interessenbereich 565 mit einer Markenidentifizierung (z.B. mit einem Schild, das Werbung für „Banner One“ trägt) enthalten ist. Die dem Schlüsselframe 555 entsprechende Szene würde dann zu einer erlernten Referenzszene von Interesse werden. Darüber hinaus kann der Benutzer 170 den Interessenbereich 565 markieren, der dann von der beispielhaften ROI-Verfolgungsvorrichtung 464 zur Erzeugung einer oder mehrerer Referenzvorlagen zur Markenidentifizierung zur Detektion nachfolgender, dieser Referenzszene und diesem Interessenbereich entsprechender wiederholter Szenen von Interesse verwendet würde. Als nächstes entspricht der beispielhafte Schlüssel frame 560 einer vom beispielhaften Szenendetektor 354 detektierten nachfolgenden Szene. Durch Vergleich der vergleichbaren Bildsignaturen (z.B. der Bildhistogramme) des Schlüsselframes 555 nur des Schlüsselframes 560 der nachfolgenden Szene kann die beispielhafte Szenenklassifizierungsvorrichtung 356 ermitteln, dass der Bildframe 560 einer Wiederholung der dem beispielhaften Schlüsselframe 555 entsprechenden Referenzszene entspricht. Da es sich bei der Referenzszene um eine Szene von Interesse handelt, würde die beispielhafte Szenenklassifizierungsvorrichtung 356 dann den beispielhaften ROI-Detektor 462 aufrufen, um auf der Grundlage der dem Referenzinteressenbereich 565 entsprechenden Referenzvorlage(n) im beispielhaften Schlüsselframe 560 den geeigneten erwarteten Interessenbereich zu finden.
-
Bei dem dargestellten Beispiel findet der ROI-Detektor 462 keinen dem Referenzinteressenbereich 565 entsprechenden Interessenbereich, da keine Markenidentifizierung vorhanden ist, der der Werbung „Banner One“ im beispielhaften Schlüsselframe 560 entspricht. Da der beispielhafte ROI-Detektor den erwarteten Interessenbereich im dargestellten Beispiel nicht überprüfen konnte, würde die beispielhafte Szenenklassifizierungsvorrichtung 356 die dem beispielhaften Schlüsselframe 560 entsprechende Szene in Bezug auf die dem beispielhaften Schlüsselframe 555 entsprechende Referenzszene als wiederholte Szene von geändertem Interesse klassifizieren. Da die dem beispielhaften Schlüsselframe 560 entsprechende Szenen als wiederholte Szene von geändertem Interesse klassifiziert ist, würde der Benutzer 170 als nächstes aufgefordert werden, in der Szene vorhandene Markenidentifizierung(en) zu markieren. Bei dem dargestellten Beispiel kann der Benutzer 170 den Interessenbereich 570 markieren, weil er eine Markenidentifizierung enthält, die einem Schild mit der Werbung „Logo Two“ entspricht. Die beispielhafte ROI-Verfolgungsvorrichtung 464 würde dann zur Erzeugung einer oder mehrerer Referenzvorlagen zur Markenidentifizierung auf der Grundlage des gekennzeichneten Interessenbereichs 570 zur Erfassung nachfolgender wiederholter Szenen von Interesse einschließlich dieses neuen Referenzinteressenbereichs aufgerufen werden.
-
6A - 6B zusammen bilden ein Flussdiagramm, welches Beispiele von maschinenlesbaren (engl.: machine accessible) Anweisungen 600 darstellt, die zur Implementierung der beispielhafte Szenenerkennungsvorrichtung 252 von 2 und/oder 3, und/oder wenigstens eines Teils der beispielhaften Markenexpositionsüberwachungsvorrichtung 150 von 1 und/oder 2 ausgeführt werden können. 7A - 7C zusammen bilden ein Flussdiagramm, welches Beispiele von maschinenlesbaren Anweisungen 700 darstellt, die zur Implementierung der beispielhaften GUI 152 von 1 und/oder 2 und/oder wenigstens eines Teils der beispielhaften Markenexpositionsüberwachungsvorrichtung 150 von 1 und/oder 2 ausgeführt werden können. 8A - 8B sind Flussdiagramme, welche Beispiele von maschinenlesbaren Anweisungen 800 und 850 darstellen, die zur Implementierung der beispielhaften Markenerkennungsvorrichtung 254 von 2 und/oder 3 und/oder wenigstens eines Teils der beispielhaften Markenexpositionsüberwachungsvorrichtung 150 von 1 und/oder 2 ausgeführt werden können. Die beispielhaften maschinenlesbaren Anweisungen von 6A - 6B, 7A - 7C und/oder 8A - 8B können von einem Prozessor, einem Controller und/oder jeder anderen geeigneten Verarbeitungsvorrichtung ausgeführt werden. Beispielsweise können die beispielhaften maschinenlesbaren Anweisungen von 6A - 6B, 7A - 7C und/oder 8A - 8B als kodierte Anweisungen ausgeführt sein, die auf einem körperlichen Medium, wie ein Flash-Speicher, ein Nur-Lese-Speicher (ROM) und/oder ein Speicher mit wahlfreiem Zugriff (RAM) gespeichert werden, welche einem Prozessor (z.B. dem in Verbindung mit 9 unten beschriebenen beispielhaften Prozessor 905) zugeordnet sind. Alternativ können einige oder alle der beispielhaften Markenexpositionsüberwachungsvorrichtung 150, der beispielhaften GUI 152, der beispielhaften Szenenerkennungsvorrichtung 252 und/oder der beispielhaften Markenerkennungsvorrichtung 254 mittels (einer) Kombination(en) von einem oder mehreren Schaltkreise(n), programmierbaren Prozessor(en), anwendungsspezifischen integrierten Schaltkreise(n) (ASIC(s)), programmierbaren Logikvorrichtung(en) (Programmable Logic Device(s) (PLD(s)) und/oder anwenderprogrammierbaren Logikvorrichtung(en) (Field Programmable Logic Device(s) (FPLD(s)), diskreter Logik, Hardware, Firmware usw. implementiert werden. Auch einige oder alle beispielhaften maschinenlesbaren Anweisungen von 6A - B, 7A - C und/oder 8A - 8B können manuell oder als Kombination einiger der vorher genannten Verfahren, beispielsweise als Kombination von Firmware, Software, diskreter Logik und/oder Hardware, implementiert sein. Auch wenn die maschinenlesbaren Anweisungen unter Bezug auf die beispielhaften Flussdiagramme von 6A - 6B, 7A - 7C und 8A - 8B beschrieben sind, können zahlreiche andere Verfahren zur Implementierung der maschinenlesbaren Anweisungen von 6A - 6B, 7A - 7C, und/oder 8A - 8B eingesetzt werden. Beispielsweise kann die Reihenfolge der Ausführung der Blöcke geändert werden und/oder einer oder mehrerer der beschriebenen Blöcke kann/können geändert, ausgelassen, unterteilt oder kombiniert werden. Zusätzlich können einige oder alle beispielhaften maschinenlesbaren Anweisungen von 6A - 6B, 7A - 7C und/oder 8A - 8B z.B. durch separate Verarbeitungs-Threads, Prozessoren, Vorrichtungen, diskrete Logik, Schaltkreise usw. sequenziell und/oder parallel ausgeführt werden.
-
Bezug nehmend auf 6A - 6B beginnt die Ausführung der beispielhaften maschinenlesbaren Anweisungen 600 damit, dass die in der beispielhaften Markenexpositionsüberwachungsvorrichtung 150 enthaltene beispielhafte Szenenerkennungsvorrichtung 252 einen Medienstream wie den beispielhaften Medienstream 160 von 1 (Block 602 von 6A) empfängt. Die beispielhafte Szenenerkennungsvorrichtung 252 detektiert dann eine im empfangenen Medienstream 160 enthaltene Szene, indem sie die für die Bildframes des Medienstreams 160 erzeugten Bildsignaturen vergleicht (Block 604). Wie oben diskutiert, werden aufeinander folgende Bildframes, die im Wesentlichen vergleichbare Bildsignaturen (z.B. im Wesentlichen vergleichbare Bild-Histogramme) aufweisen, als Teil der gleichen Szene identifiziert. Bei einer beispielhaften Implementierung wird ein der im Wesentlichen vergleichbarer Bildframe als für die Szene repräsentativer Schlüsselframe gespeichert, und die für den Schlüsselframe erstellte Bildsignatur dient als die Bildsignatur der detektierten Szene. Ein beispielhaftes Verfahren für die Erzeugung der Bildsignatur bei Block 604, das Bild-Histogramme verwendet, ist oben in Verbindung mit 2 diskutiert.
-
Als nächstes führt die beispielhafte Szenenerkennungsvorrichtung 252 durch Untersuchung des Schlüsselframes der bei Block 604 detektierten aktuellen Szenen auf Charakteristika, die darauf hinweisen, dass die Szene keine Markenidentifizierungen (z.B. Logos) enthält, einen Szenenausschluss durch (Block 606). Beispielsweise kann und wie oben diskutiert, für den Typ an Medieninhalt, der erwartungsgemäß zu verarbeiten ist, spezifisches Fachwissen zur Konfiguration der beispielhaften Szenenerkennungsvorrichtung 252 eingesetzt werden, um Szenencharakteristika zu erkennen, welche eine Szene angeben, in der keine Markenidentifizierungen vorhanden sind, die eine Markenexposition verursachen könnten. Im Kontext des beispielhaften Baseballspiels kann eine Szene, die hauptsächlich durch eine Ansicht eines blauen Himmels (z.B. bei Verfolgung eines auftauchenden Ballflugs), eine Ansicht des Bodens (z.B. bei Verfolgung eines Balls am Boden) charakterisiert ist oder die sich schnell ändernde Ansichten aufweisen (wenn z.B. eine Kamera schwenkt, um einem Baseläufer zu folgen), bei Block 606 ausgeschlossen werden.
-
Wenn die aktuelle detektierte Szene ausgeschlossen wird (Block 608), ruft die beispielhafte Szenenerkennungsvorrichtung 252 den Berichtsgenerator 256 auf, um den Ausschluss der aktuellen detektierten Szene anzuzeigen (Block 610). Zusätzlich dazu oder alternativ kann die beispielhafte Szenenerkennungsvorrichtung 252 Information speichern, die die ausgeschlossene Szene als erlerntes Wissen beschreiben, das für den Ausschluss zukünftiger detektierter Szenen und/oder für die Klassifizierung zukünftiger Szenen als Szenen ohne Interesse zu verwenden ist. Die beispielhafte Szenenerkennungsvorrichtung 252 untersucht dann den Medienstream 160 um zu ermitteln, ob der Medienstream 160 beendet ist (Block 630). Wenn das Ende des Medienstreams 160 erreicht ist, endet die Ausführung der beispielhaften maschinenlesbaren Anweisungen 600. Falls der Medienstream 160 noch nicht abgeschlossen ist (Block 630), kehrt die Kontrolle zu Block 604 zurück, um der beispielhaften Szenenerkennungsvorrichtung 252 die Detektion einer nächsten Szene im Medienstream 160 zu ermöglichen.
-
Bezug nehmend auf Block 608, vergleicht, wenn die aktuelle detektierte (auch als „aktuelle Szene“ bezeichnet) Szene nicht ausgeschlossen wird, die beispielhafte Szenenerkennungsvorrichtung 252 die aktuelle Szene mit einer oder mehreren Referenzszenen (z.B. früher erlernte und/oder bekannte Szenen), die in einer oder mehreren Datenbasen (z.B. in der Szenendatenbasis 262 und/oder in der Datenbasis für erlerntes Wissen 264 von 2) gespeichert sind (Block 612). Ein beispielhaftes Verfahren für die Durchführung des Vergleichs bei Block 612 ist oben in Verbindung mit 2 diskutiert. Beispielsweise kann die beispielhafte Szenenerkennungsvorrichtung 252 bei Block 612 die Bildsignatur (z.B. das Bild-Histogramm) der aktuellen Szene mit den Bildsignaturen (z.B. Bild-Histogrammen) für die Referenzszenen vergleichen. Eine Übereinstimmung der Signaturen kann erklärt werden, wenn die Signatur der aktuellen Szene, wie von einem oder mehreren Grenzwerten spezifiziert, ein gewisses Maß an Ähnlichkeit mit der Signatur einer Referenzszene hat. Die Steuerung geht dann zu Block 614 von 6B weiter.
-
Wenn die beispielhafte Szenenerkennungsvorrichtung 252 ermittelt, dass die Bildsignatur der aktuellen Szene keiner Signatur einer (z.B. früher erlernten und/oder bekannten) Referenzszene (Block 614), wird die Szene als neue Szene klassifiziert (Block 626). Die beispielhafte Szenenerkennungsvorrichtung 252 stoppt dann (z.B. pausiert) den Medienstream 160 und gibt die Szene zusammen mit Szenenklassifizierungsinformation an die beispielhafte GUI 152 weiter, um die Identifizierung der Szene und in der Szene enthaltener Markenidentifizierungen (z.B. Logos) zu ermöglichen (Block 627). Die beispielhaften maschinenlesbaren Anweisungen 700, die zur Durchführung des Identifizierungsverfahrens bei Block 627 ausgeführt werden können, sind in 7A - 7C dargestellt und weiter unten detaillierter diskutiert. Nachdem bei Block 627 eine Identifizierung mittels der GUI 152 ausgeführt ist, startet die beispielhafte Szenenerkennungsvorrichtung 252 den Medienstream 160 erneut und die Steuerung geht zu Block 610 von 6A über, wo die beispielhafte Szenenerkennungsvorrichtung 252 den Berichtsgenerator 256 aufruft, um auf der Grundlage der bei Block 627 erhaltenen Identifizierung der aktuellen Szene und/oder der darin enthaltenen Markenidentifizierungen die Markenexposition anzuzeigen. Die Steuerung kehrt dann zu Block 630 zurück, um zu ermitteln, ob im Medienstream 160 weitere Szenen übrig sind.
-
Bezug nehmend auf Block 614 von 6B wird, wenn die Bildsignatur der aktuellen Szene mit der einer (zum Beispiel einer früher erlernten und/oder bekannten) Referenzszene entsprechenden Bildsignatur übereinstimmt, die der passenden Referenzszene zugeordnete gespeicherte Information abgerufen (Block 616). Falls die passende Referenzszene als Szene ohne Interesse markiert ist/war und/oder auf andere Weise festgelegt wurde, dass sie eine Szene ohne Interesse ist (z.B. eine Szene, von der bekannt ist, dass sie keine Markenidentifizierungen enthält) (Block 618), wird die aktuelle Szene als eine Szene ohne Interesse klassifiziert (Block 619). Die Steuerung geht zu Block 610 von 6A über, wo die beispielhafte Szenenerkennungsvorrichtung 252 den Berichtsgenerator 256 aufruft, um anzuzeigen, dass die aktuelle Szene als eine Szene ohne Interesse klassifiziert wurde. Die Steuerung kehrt dann zu Block 630 zurück, um zu ermitteln, ob im Medienstream 160 weitere Szenen übrig sind.
-
Falls jedoch die Referenzszene nicht als Szene ohne Interesse markiert war oder auf andere Weise als Szene ohne Interesse festgelegt wurde (Block 618), dann werden für die aktuelle Szene ein oder mehrere Interessenbereiche festgelegt (Block 620). Der/die Interessenbereich(e) werden für die passende Referenzszene auf der Grundlage der bei Block 616 erhaltenen gespeicherten Information über Interessenbereiche festgelegt. Der/die festgelegte(n) Interessenbereich(e) der Szene wird/werden dann der beispielhaften Markenerkennungsvorrichtung 254 bereitgestellt, um einen Vergleich mit einer oder mehreren Referenzmarkenidentifizierungen (z.B. früher erlernte und/oder bekannte) zu ermöglichen (Block 621). Die beispielhaften maschinenlesbaren Anweisungen 800, die zur Durchführung des Vergleichsverfahrens bei Block 621 ausgeführt werden können, sind in 8A dargestellt und unten detaillierter diskutiert.
-
Wenn die beispielhafte Szenenerkennungsvorrichtung 252 auf der Grundlage der Verarbeitung bei Block 621, die beispielsweise von der beispielhaften Markenerkennungsvorrichtung 254 durchgeführt wird, ermittelt, dass mindestens ein Interessenbereich nicht zu einer Referenzmarkenidentifizierung (früher erlernte und/oder bekannte) passt (Block 622), wird die Szene als wiederholte Szene von geändertem Interesse klassifiziert (Block 628). Ein Interessenbereich in einer aktuellen Szene kann nicht zu einer der passenden Referenzszene zugeordneten Referenzmarkenidentifizierung(en) passen, wenn beispielsweise der Interessenbereich Markenidentifizierung(en) (z.B. Logos) enthält, die animiert sind, virtuell sind und/oder sich mit der Zeit ändern. Die beispielhafte Szenenerkennungsvorrichtung 252 stoppt dann (z.B. pausiert) den Medienstream 160 und stellt die Szene, die Szenenklassifizierung und die Information über den/die Interessenbereich(e) der beispielhaften GUI 152 bereit, um eine Identifizierung der Szene und in der Szene enthaltener Markenidentifizierung(en) zu ermöglichen (Block 629). Die maschinenlesbaren Anweisungen 700, die zur Durchführung des Identifizierungsverfahrens bei Block 629 ausgeführt werden können, sind in 7A - 7C dargestellt und unten detaillierter beschrieben. Nachdem bei Block 629 eine Identifizierung mittels der GUI 152 durchgeführt ist, startet die beispielhafte Szenenerkennungsvorrichtung den Medienstream 160 erneut und die Steuerung geht zu Block 610 von 6A über, wo die beispielhafte Szenenerkennungsvorrichtung 252 den Berichtsgenerator 256 aufruft, um auf der Grundlage der bei Block 629 erhaltenen Identifizierung der aktuellen Szene und/oder darin enthaltener Markenidentifizierung(en) die Markenexposition anzuzeigen. Die Steuerung kehrt dann zu Block 630 zurück, um zu ermitteln, ob im Medienstream 160 weitere Szenen übrig sind.
-
Bezug nehmend auf Block 622 klassifiziert, wenn alle in der Szene vorhandenen Interessenbereiche zu Referenzmarkenidentifizierungen (z.B. früher erlernte und/oder bekannte) passen, wird die beispielhafte Szenenerkennungsvorrichtung 252 die Szene als wiederholte Szene von Interesse (Block 624). Die beispielhafte Szenenerkennungsvorrichtung 252 stellt dann die Szene, der/die ermittelte(n) Interessenbereich(e) und der/die detektierten/erkannten Markenidentifizierung(en) beispielsweise der beispielhaften Markenerkennungsvorrichtung 254 bereit, um eine Aktualisierung der Markenidentifizierungscharakteristika und/oder die Sammlung und/oder Berechnung von mit der/den festgestellte(n)/zugehörige(n) Markenidentifizierung(en) in Beziehung stehender Markenexpositionsinformation zu ermöglichen (Block 625). Die maschinenlesbaren Anweisungen 850, die zur Durchführung der Verarbeitung bei Block 625 ausgeführt werden können, sind in 8B dargestellt und unten detaillierter diskutiert. Die Steuerung geht dann zu Block 610 von 6A weiter, wo die beispielhafte Szenenerkennungsvorrichtung 252 den Berichtsgenerator 256 aufruft, um Markenexposition auf der Grundlage der bei Block 625 erkannten/detektierten Markenidentifizierungen anzuzeigen. Die Steuerung kehrt dann zu Block 630 zurück, um zu ermitteln, ob im Medienstream 160 weitere Szenen übrig sind.
-
Bezug nehmend auf 7A - 7C beginnt die Ausführung der maschinenlesbaren Anweisungen 700 damit, dass die GUI 152 beispielsweise von der beispielhaften Szenenerkennungsvorrichtung 252 oder über eine bei Block 627 und/oder Block 629 von 6B durchgeführte Verarbeitung eine detektierte Szene und eine Klassifikation dieser Szene erhält (Block 701). Die beispielhafte GUI 152 zeigt dann beispielsweise mittels der Ausgabevorrichtung 270 die Szene an (Block 702). Dann bewertet die beispielhafte GUI 152 die bei Block 701 erhaltene Szenenklassifizierung (Block 704). Wenn die Szene als neue Szene klassifiziert wird (Block 706), dann fordert die beispielhafte GUI 152 den Benutzer 170 auf, anzugeben, ob die aktuelle Szene eine Szene von Interesse (oder mit anderen Worten keine Szene ohne Interesse) ist (Block 708). Bei dem dargestellten Beispiel ist die aktuelle Szene standardmäßig eine Szene, sofern der Benutzer nichts anderes angibt. Beispielsweise kann die GUI 152 bei Block 708 den Benutzer 170 zur Eingabe von Identifikationsinformation, eines Befehls, zum Klick auf eine Schaltfläche usw. auffordern, um anzugeben, ob die Szene von Interesse oder ohne Interesse ist. Zusätzlich dazu oder alternativ kann die GUI 152 automatisch ermitteln, dass die Szene ohne Interesse ist, wenn der Benutzer 170 innerhalb eines vorher festgelegten Zeitintervalls nach Anzeige der Szene nicht beginnt, einen oder mehrere Interessenbereiche in der aktuellen Szene zu markieren. Wenn der Benutzer 170 (z.B. durch Zustimmung oder durch Unterlassen, eine Angabe bezüglich der aktuellen Szene einzugeben) angibt, dass die Szene ohne Interesse ist (Block 710), wird die detektierte Szene als Szene ohne Interesse angezeigt (Block 712) und die Ausführung der beispielhaften maschinenlesbaren Anweisungen 700 endet. Wenn der Benutzer 170 jedoch angibt, dass die Szene von Interesse ist (Block 710), kann der Benutzer 170 einen Szenentitel für die aktuelle Szene eingeben (Block 714). Die beispielhafte GUI 152 speichert dann den Szenentitel (zusammen mit der Bildsignatur) für die aktuelle Szene in einer Datenbasis (z.B. in der Datenbasis für erlerntes Wissen 264) (Block 716). Nach Abschluss der Verarbeitung bei Block 716 oder falls die Szene nicht als neue Szene eingestuft wurde (Block 706), geht die Steuerung zu Block 718 von 7B weiter.
-
Als nächstes fordert die beispielhafte GUI 152 den Benutzer 170 auf, einen Interessenbereich in der angezeigten Szene anzuklicken (Block 718). Hat der Benutzer 170 auf einen Interessenbereich geklickt, ermittelt die beispielhafte GUI 152, an welcher Stelle der Benutzer 170 geklickt hat und legt einen kleinen Bereich um die angeklickte Stelle herum fest (Block 720). Die beispielhafte GUI 152 berechnet dann den Interessenbereich und hebt den Interessenbereich in der über die Ausgabevorrichtung 270 angezeigten aktuellen Szene hervor (Block 722). Wenn der Benutzer 170 dann auf einen Bereich innerhalb oder außerhalb des hervorgehobenen angezeigten Interessenbereichs klickt, um den Interessenbereich hinsichtlich der Größe zu ändern und/oder umzuformen (Block 724), berechnet die beispielhafte GUI 152 den aktualisierten Interessenbereich neu und zeigt ihn an. Die Steuerung geht zu Block 724 zurück, um dem Benutzer 170 zu ermöglichen, die Größenänderung und/oder Umformung des hervorgehobenen angezeigten Interessenbereichs fortzusetzen. Bei einer weiteren Implementierung können Verfahren zur Ergänzung von Interessenbereich(en) der Blöcke 718 - 726 angepasst werden, um das oben in Verbindung mit 10 beschriebene Beispiel der automatischen Erzeugung eines Interessenbereichs umzusetzen.
-
Wenn die GUI 152 detektiert, dass der Benutzer 170 innerhalb eines vorgegebenen Zeitraums nicht auf einen Bereich innerhalb oder außerhalb des hervorgehobenen Bereichs geklickt hat (Block 724), dann vergleicht die beispielhafte GUI 152 den vom Benutzer 170 erzeugten Interessenbereich mit einer oder mehreren Referenzmarkenidentifizierungen (z.B. mit früher erlernte und/oder bekannte) (Block 728). Zum Beispiel kann die beispielhafte GUI 152 bei Block 728 den erstellten Interessenbereich und die Klassifizierung der aktuellen Szene, beispielsweise als neue Szene oder wiederholte Szene von geändertem Interesse, der beispielhaften Markenerkennungsvorrichtung 254 bereitstellen, um einen Vergleich mit einer oder mehreren Referenzmarkenidentifizierungen (z.B. früher erlernte und/oder bekannte) zu ermöglichen. Zusätzlich dazu kann, wenn die Szene als neue Szene statt als wiederholte Szene von geändertem Interesse klassifiziert wird, die beispielhafte Markenerkennungsvorrichtung 254 die Vergleichsparameter weniger streng anlegen/definieren, um Markenidentifizierungen zu erhalten, die dem erzeugten Interessenbereich ähnlich sind, jedoch nicht unbedingt mit ihm übereinstimmen. Die beispielhafte maschinenlesbare Anweisungen 800, die zur Durchführung des Vergleichsverfahrens bei Block 728 ausgeführt werden können, sind in 8A dargestellt und unten detaillierter diskutiert.
-
Als nächstes, nachdem die Markenidentifizierung(en) bei Block 728 verglichen wird/werden, zeigt die beispielhafte GUI 152 die am stärksten dem Interessenbereich entsprechende Referenzmarkenidentifizierung (z.B. früher erlernte und/oder bekannte) an (Block 730). Die beispielhafte GUI 152 fordert dann den Benutzer auf, für den erzeugten Interessenbereich die angezeigte Markenidentifizierung anzunehmen oder eine neue Markenidentifizierung einzugeben (Block 732). Sobald der Benutzer die von der beispielhaften GUI 152 angezeigte Markenidentifizierung angenommen und/oder eine neue Markenidentifizierung eingegeben hat, speichert die beispielhaften GUI 152 die Beschreibung des Interessenbereichs und die Markenidentifizierung in einer Datenbasis (z.B. in der Datenbasis für erlerntes Wissen 264) (Block 734). Beispielsweise kann die Beschreibung des Interessenbereichs und/oder der darin enthaltenen Markenidentifizierung(en), ohne darauf beschränkt zu sein, Information bezüglich Größe, Form, Farbe, Lage, Textur, Expositionsdauer usw. enthalten. Zusätzlich dazu oder alternativ kann die beispielhafte GUI 152 Information bezüglich der erzeugten Interessenbereich(e) und der identifizierten Markenidentifizierung(en) beispielsweise der beispielhaften Markenerkennungsvorrichtung 254 bereitstellen, um eine Anzeige der Markenidentifizierung(en) zu ermöglichen. Die beispielhafte maschinenlesbare Anweisungen 850, die zur Durchführung der Verarbeitung bei Block 734 ausgeführt werden können, sind in 8B dargestellt und unten detaillierter diskutiert.
-
Wenn der Benutzer 170 angibt, dass mehr Interessenbereiche in der aktuellen Szene zu identifizieren sind (z.B. in Antwort auf eine Eingabeaufforderung) (Block 736), kehrt als nächstes die Steuerung zu Block 718 zurück, wo die GUI 152 den Benutzer auffordert, auf einen neuen Interessenbereich in der Szene zu klicken, um eine Identifizierung von dort vorhandenen Markenidentifizierung(en) zu beginnen. Wenn jedoch der Benutzer angibt, dass alle Interessenbereiche identifiziert wurden, geht die Steuerung zu Block 737 von 7C weiter, wo für jeden neu markierten Interessenbereich eine Verfolgungsfunktion eingeleitet wird. Wie oben diskutiert, verwendet die Verfolgungsfunktion den/die markierten Interessenbereich(e) als Vorlage(n) zur Verfolgung des/der entsprechenden Interessenbereichs/e in den benachbarten Bildframes, die die aktuelle detektierte Szene umfassen. Nach Abschluss der Verarbeitung bei Block 737 wird Medienstream 160 erneut gestartet (Block 738), nachdem er zuvor gestoppt (z.B. pausiert) wurde. Die beispielhafte GUI 152 stellt dann die Szene und den/die Interessenbereich(e) beispielsweise der beispielhaften Markenerkennungsvorrichtung 254 bereit, um eine Aktualisierung der Markenidentifizierungscharakteristika und/oder die Erfassung und/oder Berechnung von Markenexpositionsinformation, die die identifizierte(n) Markenidentifizierung(en) betrifft, zu ermöglichen (Block 740). Daraufhin endet die Ausführung der beispielhaften maschinenlesbaren Anweisungen 700.
-
Bezug nehmend auf 8A beginnt die Ausführung der beispielhaften maschinenlesbaren Anweisungen 800 mit einer Markenerkennungsvorrichtung wie der beispielhaften Markenerkennungsvorrichtung 254, die eine Szene, die Klassifikation der Szene und einen oder mehrere Interessenbereiche beispielsweise von der beispielhafte Szenenerkennungsvorrichtung 252, der beispielhaften GUI 152, der Verarbeitung bei Block 621 von 6B und/oder der Verarbeitung bei Block 728 von 7C erhält (Block 801). Die beispielhafte Markenerkennungsvorrichtung 254 erhält dann aus der bei Block 801 erhaltenen Information den nächsten in der aktuellen Szene zu untersuchenden Interessenbereich (Block 802). Dann vergleicht die beispielhafte Markenerkennungsvorrichtung 254 den Interessenbereich mit einem oder mehreren erwarteten Referenzmarkenidentifizierungsvorlagen (die z.B. einer Referenzszene entsprechen, die zu der aktuellen Szene passt), welcher beispielsweise einen oder mehrere erwartete Stellen, Größen, Ausrichtungen usw. aufweist, um zu ermitteln, welche Referenzmarkenidentifizierung mit dem Interessenbereich übereinstimmt (Block 804). Ein auf der Grundlage eines Vorlagenabgleichs beruhendes beispielhaftes Verfahren für den Abgleich von Markenidentifizierungen, das zur Implementierung der Verarbeitung bei Block 804 verwendet werden kann, ist oben in Verbindung mit 4 diskutiert. Wenn die bei Block 801 erhaltene Szenenklassifizierung anzeigt, dass die Szene eine neue Szene ist, können zusätzlich die bei Block 804 verwendeten Vergleichsparameter für das Abgleichsverfahren für Markenidentifizierungen weniger streng angelegt/definiert werden, um Markenidentifizierungen zu erhalten, die dem verglichenen Interessenbereich ähnlich sind, jedoch nicht notwendigerweise mit ihm übereinstimmen.
-
Als nächstes gibt die beispielhafte Markenerkennungsvorrichtung 254 die Referenzmarkenidentifizierung zurück, der mit dem untersuchten Interessenbereich übereinstimmt (oder ihm sehr stark ähnelt) (Block 806). Falls ein Interessenbereich nicht für die Markenexpositionsanzeige untersucht wurde (Block 808), geht die Steuerung zu Block 802 zurück, um den nächsten Interessenbereich zu verarbeiten. Wenn jedoch sämtliche Interessenbereiche analysiert wurden (Block 808), endet die Ausführung der beispielhaften maschinenlesbaren Anweisungen 800.
-
Bezug nehmend auf 8B beginnt die Ausführung der beispielhaften maschinenlesbaren Anweisungen 850 mit einer Markenerkennungsvorrichtung wie die beispielhafte Markenerkennungsvorrichtung 254, die Information über einen oder mehrere Interessenbereiche und über eine oder mehrere entsprechende, darin detektierte Markenidentifizierungen beispielsweise von der beispielhaften Szenenerkennungsvorrichtung 252, der beispielhaften GUI 152, der Verarbeitung bei Block 625 von 6B und/oder der Verarbeitung bei Block 734 von 7C erhält (Block 852). Die beispielhafte Markenerkennungsvorrichtung 254 erhält dann aus der/den detektierten, bei Block 852 erhaltenen Markenidentifizierung(en) die zu untersuchenden nächsten detektierten Markenidentifizierung (Block 854). Als nächstes werden eine oder mehrere Datenbasen (z.B. die Datenbasis für erlerntes Wissen 264 2, die Markenbibliothek 266 von 2, usw.) nach Information bezüglich der detektierten Markenidentifizierung abgefragt (Block 856). Die Markenidentifizierungsdaten können, ohne darauf beschränkt zu sein, interne Identifizierungen, Namen von Rechtspersönlichkeiten (z.B. Unternehmen, Einzelpersonen usw.), denen die den Markenidentifizierungen zugeordneten Marken gehören, Markennamen, Produktnamen, Dienstleistungsbezeichnungen usw. umfassen.
-
Als nächstes werden die Charakteristika einer in einem Interessenbereich der Szene detektierten Markenidentifizierung aus der bei Block 852 erhaltenen Information erhalten (Block 858). Als nächstes erhält die beispielhafte Markenerkennungsvorrichtung 254 die Charakteristika der der detektierten Markenidentifizierung entsprechenden Referenzmarkenidentifizierung und vergleicht die Charakteristika der detektierten Markenidentifizierung mit den Charakteristika der Referenzmarkenidentifizierung (Block 860). Die Charakteristika der Markenidentifizierung können, ohne darauf beschränkt zu sein, Lage, Größe, Textur, Farbe, Qualität, Expositionsdauer usw. umfassen. Der Vergleich bei Block 860 erlaubt der beispielhaften Markenerkennungsvorrichtung 254, zeitliche Änderungen der Charakteristika von Markenidentifizierungen zu detektieren und/oder anzuzeigen. Nach Abschluss der Verarbeitung bei Block 860 werden die bei Block 856 abgerufene Identifikationsinformation der detektierten Markenidentifizierung, die bei Block 858 ermittelten Charakteristika der detektierten Markenidentifizierung und/oder die bei Block 860 detektierten Änderungen der Markenidentifizierung in einer oder mehreren Datenbasen (z.B. in der Markenexpositions-Datenbasis 155 von 1) zur Berichterstellung und/oder zur weiteren Untersuchung gespeichert (Block 812). Falls dann ein Interessenbereich noch nicht für die Markenexpositionsanzeige untersucht wurde (Block 814), geht die Steuerung zu Block 854 zurück, um den nächsten Interessenbereich zu verarbeiten. Wenn alle Interessenbereiche analysiert wurden, endet dann die Ausführung der beispielhaften maschinenlesbaren Anweisungen 850.
-
9 ist eine schematische Darstellung einer beispielhaften Prozessorplattform 900, die die hier offenbarten Vorrichtungen und Verfahren zu implementieren vermag. Die beispielhafte Prozessorplattform 900 kann beispielsweise ein Server, ein Personal Computer (PC), ein Personal Digital Assistant (PDA), eine Intemetvorrichtung, ein DVD-Player, ein CD-Player, ein digitaler Videorecorder, ein persönlicher Personal Videorecorder, eine Set-Top-Box oder ein anderer Typ von Computervorrichtung sein.
-
Die Prozessorplattform 900 des Beispiels von 9 umfasst wenigstens einem programmierbaren Universalprozessor 905. Der Prozessor 905 führt im Hauptspeicher des Prozessors 905 (z.B. in einem RAM 915 und/oder einem ROM 920) vorhandene kodierte Anweisungen 910 und/oder 912 aus. Der Prozessor 905 kann ein Typ einer Verarbeitungseinheit sein wie zum Beispiel ein Prozessorkern, ein Prozessor und/oder ein Mikrocontroller. Der Prozessor 905 kann unter Anderem die beispielhaften maschinenlesbaren Anweisungen von 6A - 6B, 7A - 7C, und/oder 8A - 8B ausführen, um alle oder wenigstens Teil der beispielhaften Markenexpositionsüberwachungsvorrichtung 150, der beispielhaften GUI 152, der beispielhaften Szenenerkennungsvorrichtung 252, der beispielhaften Markenerkennungsvorrichtung 254 usw. zu implementieren.
-
Der Prozessor 905 steht über einen Bus 925 mit dem Hauptspeicher (einschließlich eines ROM 920 und/oder des RAM 915) in Verbindung. Das RAM 915 kann mittels DRAM, SDRAM und/oder einen anderen Typ von RAM-Vorrichtung implementiert sein, das ROM kann mittels eines Flash-Speichers und/oder eines anderen gewünschten Speichervorrichtungstyps implementiert sein. Zugriff auf den Speicher 915 und 920 kann durch einen Speicher-Controller (nicht dargestellt) gesteuert werden. Das RAM 915 und/oder eine andere in der beispielhaften Prozessorplattform 900 enthaltene Speichervorrichtung kann zur Speicherung und/oder Implementierung beispielsweise der beispielhaften Markenexpositionsdatenbasis 155, der beispielhaften Szenendatenbasis 262, der beispielhaften Datenbasis für erlerntes Wissen 264 und/oder der beispielhaften Markenbibliothek 266 eingesetzt werden.
-
Die Prozessorplattform 900 umfasst auch einen Schnittstellenschaltkreis 930. Der Schnittstellenschaltkreis 930 kann mittels eines Typ Schnittstellenstandards implementiert sein, wie eine USB-Schnittstelle, eine Bluetooth-Schnittstelle, eine Schnittstelle für externe Speicher, einen seriellen Anschluss, einen Universaleingang/-ausgang usw. Eine oder mehrere Eingabevorrichtungen 935 und eine oder mehrere Ausgabevorrichtungen 940 sind mit dem Schnittstellenschaltkreis 930 verbunden. Der Schnittstellenschaltkreis 930 kann beispielsweise mit einer geeigneten Eingabevorrichtung 935 verbunden sein, um den beispielhaften Medienstream 160 zu empfangen. Zusätzlich dazu oder alternativ kann der Schnittstellenschaltkreis 930 mit einer geeigneten Ausgabevorrichtung 940 verbunden sein, um die Ausgabevorrichtung 270 und/oder die GUI 152 zu implementieren.
-
Die Prozessorplattform 900 umfasst auch eine oder mehrere Massenspeichervorrichtungen 945 zur Speicherung von Software und Daten. Beispiele für solche Massenspeichervorrichtungen 945 sind Floppy-Disk-Laufwerke, Festplatten-Laufwerke, Compact-Disk-Laufwerke und Digital-Versatile-Disk- (DVD)-Laufwerke. Die Massenspeichervorrichtung 945 kann beispielsweise die beispielhafte Markenexpositionsdatenbasis 155, die beispielhafte Szenendatenbasis 262, die beispielhafte Datenbasis für erlerntes Wissen 264 und/oder die beispielhafte Markenbibliothek 266 implementieren.
-
Als Alternative zur Implementierung der hier beschriebenen Verfahren und/oder Vorrichtungen in einem System, wie in der in 9 dargestellten Vorrichtung, können die hier beschriebenen Verfahren und/oder Vorrichtungen in eine Struktur wie zum Beispiel ein Prozessor oder ein ASIC (Application Specific Integrated Circuit, anwendungsspezifischen integrierten Schaltkreis) eingebettet werden.
-
Abschließend ist zu sagen, dass hier zwar bestimmte beispielhafte Verfahren, Vorrichtungen und Herstellungsgegenstände beschrieben sind, der Umfang des Geltungsbereichs dieses Patents jedoch nicht darauf beschränkt ist. Im Gegenteil, dieses Patent deckt alle Verfahren, Vorrichtungen und Herstellungsgegenstände ab, die entweder wörtlich, buchstäblich oder im Äquivalenzbereich wohl in den Umfang der beigefügten Ansprüche fallen.