DE60216542T2

DE60216542T2 - Normkonformer Wasserzeichen für Zugangsverwaltung

Info

Publication number: DE60216542T2
Application number: DE60216542T
Authority: DE
Inventors: Viresh Sunnyvale Ratnakar; Onur G. Sunnyvale Guleryuz
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2001-07-20
Filing date: 2002-07-18
Publication date: 2007-09-27
Anticipated expiration: 2022-07-19
Also published as: US7046818B2; EP1282074A3; US20030033529A1; ATE347716T1; DE60216542D1; EP1282074B1; EP1282074A2; JP2003179745A; JP4082131B2

Description

Hintergrund der Erfindung
Gebiet der Erfindung
Die Erfindung betrifft standard- oder formatkonforme sichtbare Wasserzeichentechniken für digitale Bilder und Videos, welche auf decodierten Transformationskoeffizienten basieren. Die Techniken können in Vorrichtungen, Verfahren und Programmen von Anweisungen, wie zum Beispiel Software, implementiert werden.
Beschreibung des technischen Hintergrunds
Ein Wasserzeichen ist ein digitales Muster, das in den Originalinhalt eines Ausgangssignals, wie zum Beispiel eines digitalen Bildes, eingebettet ist. Ein Wasserzeichen kann in ein digitales Bild durch Manipulieren der Pixelwerte in der räumlichen Domaindarstellung eingesetzt werden oder durch Ändern bestimmter Transformationskoeffizienten in der Frequenzbereichsdarstellung (wie zum Beispiel DCT). In dem Fall einer blockbasierten DCT Darstellung, wie sie zum Beispiel in den JPEG oder MPEG Kompressionstandards verwendet wird, können Frequenzkoeffizienten in den ausgewählten Blöcken geändert werden, um ein gewünschtes Wasserzeichenmuster zu bilden.
Es gibt verschiedene Arten von Wasserzeichen, die unterschiedlichen Zwecken dienen. Eine Art von Wasserzeichen ist sichtbar an einem digitalen Bild oder einem Videobild angebracht, um eine nichtautorisierte Verwendung des Bildes oder des Videos zu verhindern oder von einer solchen abzuschrecken. Das Wasserzei chen kann etwas Einfaches und Unauffälliges sein, wie zum Beispiel ein kleines Logo in einer Ecke des Bildes oder des Videobildes. Allerdings kann ein solches Wasserzeichen ohne einen drastischen Qualitätsverlust leicht weggeschnitten oder verborgen werden. Im anderen Extrem kann das gesamte Bild in einer Weise „korrumpiert" werden, die unter Verwendung eines Schlüssels aufgehoben werden kann. Dies ist ähnlich der Verschlüsselung von Daten, mit der Ausnahme, dass eine direkte Verschlüsselung der Daten nicht Format-konform ist.
Das Dokument „Partial Scrambling of Information" (1999), F. Hiroshi et al., TT Review, Telecommunications Association Tokio, Japan, Seiten 116 bis 123 offenbart ein Verfahren zum Verwürfeln (scrambling) von digitalen Bildern und Audiodaten. Dieses Verfahren verwendet einen Chiffrieralgorithmus, der Daten für das Verwürfeln transformiert. Das Ausmaß mit dem die Bilddaten verwürfelt werden, kann durch Verwürfelungsparameter gesteuert werden, die einen wirksamen Schutz von Werbung und Urheberrecht ermöglichen.
Ein anderes Dokument mit dem Titel „Efficient Frequency Domain Video Scrambling for Content Access Control" (1999), Zeng, W. und Lei, S. Proceedings of ACM Multimedia, Seiten 285 bis 294, offenbart ein gemeinsames Verschlüsselungs- und Kompressionsrahmen, in dem Videodaten effizient in dem Frequenzbereich verwürfelt werden, indem ein selektives Bitverwürfeln angewandt wird, ein Blockdurchmischen und Blockrotation von Transformationskoeffizienten und Bewegungsvektoren.
Ziel und Zusammenfassung der Erfindung
Ziel der Erfindung
Es ist daher ein Ziel der vorliegenden Erfindung Wasserzeichen-Markierungstechniken bereitzustellen, die ein Problem des sichtbaren Wasserzei chens angehen, das zwischen den beiden oben erwähnten Extremen liegt und eine Reihe von Lösungen für unbewegte Bilder und bewegte Bilder bietet.
Zusammenfassung der Erfindung
Gemäß einem Aspekt der Erfindung wird ein Verfahren zum Einfügen eines Wasserzeichens in digitale Daten bereitgestellt. Die digitalen Daten in die das Wasserzeichen eingesetzt werden soll, umfassen eine Mehrzahl von Blöcken von codierten Transformationskoeffizienten, wobei jeder Block einen Koeffizienten erster Art umfasst, wie zum Beispiel einen DC-Koeffizienten (Durchschnittswert), und eine Mehrzahl von Koeffizienten einer zweiten Art umfasst, wie zum Beispiel AC-Koeffizienten. Das Verfahren umfasst den Schritt des Anwendens eines Verwürfelungsalgorithmus auf jeden Block in einem Bereich mit einem vorherbestimmten Bitmuster der digitalen Daten, um das Wasserzeichen in die digitalen Daten einzufügen, so dass die resultierenden und mit einem Wasserzeichen versehenen digitalen Daten Format-kompatibel sind. Der Verwürfelungsalgorithmus wird durch das Durchführen von mindestens einer der folgenden Verwürfelungsoperationen angewendet (i) für zumindest einige der Blöcke in dem Bitmusterbereich Durchführen von XORing von Magnitude Bits von jedem von ausgewählten der Koeffizienten zweiter Art mit einer Pseudo-Zufallsnummer, (ii) für eine ausgewählte Anzahl von Paaren von Blöcken in dem Bitmusterbereich Tauschen der Mehrzahl von Koeffizienten der zweiten Art von einem Block in jedem Paar mit der Mehrzahl von Koeffizienten des zweiten Typs aus dem anderen Block in dem Paar, (iii) für Blöcke in einer ersten Folge von Blöcken in dem Bitmusterbereich, Durcheinandermischen von unterschiedlichen Werten der Koeffizienten erster Art unter Blöcke in der ersten Folge, oder (iv) für Blöcke in einer zweiten Folge von Blöcken in dem Bitmusterbereich Durcheinandermischen ausgewählter Bits der Koeffizienten erster Art unter Blöcke in der zweiten Folge. Das eingesetzte Wasserzeichen ist vorzugsweise sichtbar und auffällig, und der Verwürfelungsalgorithmus ist vorzugsweise reversibel.
Vorzugsweise ist jeder der Koeffizienten zweiter Art mit einem Code (R_i, s(V_i)) codiert, gefolgt von s(V_i) Bits von den am wenigst signifikanten Positionen der ersten komplementären Darstellungen von V_i, und wenn der Verwürfelungsalgorithmus angewandt wird durch das Durchführen von wenigstens Operation (i), dann umfassen vorzugsweise die Magnitude Bits von jedem von ausgewählten der Koeffizienten zweiter Art, an denen mit einer Pseudo-Zufallsnummer XORring durchgeführt wurde, die s(V_i) Bits dieses Koeffizienten.
Wenn der Verwürfelungsalgorithmus angewandt wird, in dem zumindest Operation (ii) durchgeführt wird, dann ist die ausgewählte Anzahl von Paaren von Blöcken, an denen Operation (ii) angewandt wird, vorzugsweise darauf beschränkt innerhalb einer vorbestimmten Anzahl von Reihen von digitalen Daten zu liegen.
Wenn der Verwürfelungsalgorithmus angewandt wird, in dem zumindest Operation (iii) durchgeführt wird, dann werden die unterschiedlichen Werte des Koeffizienten erster Art vorzugsweise unter Blöcke in der ersten Folge gemischt, ohne das die Summe der Werte der Koeffizienten erster Art in der ersten Folge von Blöcken geändert wird.
Wenn der Verwürfelungsalgorithmus angewandt wird, in dem zumindest Operation (iv) durchgeführt wird, dann sind die ausgewählten Bits der Koeffizienten erster Art, die unter Blöcke in der zweiten Folge gemischt werden, vorzugsweise ausgewählte, am weitesten links stehende Bits.
Ein weiterer Aspekt der Erfindung betrifft ein Verfahren zum Einsetzen von mehreren Wasserzeichen in ein Bild, das auch Videobilder umfassen kann. Das Bild umfasst eine Mehrzahl von Blöcken von codierten Transformationskoeffizienten, wobei jeder Block einen Koeffizienten erster Art und eine Mehrzahl von Koeffizienten zweiter Art enthält. Das Verfahren umfasst die Schritte des Anwendens eines ersten Wasserzeichens auf jeden Block in einem ersten Bereich des Bildes mit vorherbestimmtem Bitmuster; und Anwenden eines zweiten Wasserzeichens auf jeden Block in einem zweiten Bereich des Bildes mit einem vorherbestimmten Bitmuster; wobei mehrere Wasserzeichen eingefügt werden, so dass das resultierende mit einem Wasserzeichen versehende Bild Format-kompatibel ist, und wobei jedes Wasserzeichen durch das Durchführen von mindestens einer der Verwürfelungsoperationen (i), (ii), (iii) oder (iv) eingefügt wird, wie es oben beschrieben wurde.
Bei diesem Verfahren umfasst das Gebiet mit dem ersten vorherbestimmten Bitmuster vorzugsweise ein zentrales Gebiet des Bildes und das Gebiet mit dem zweiten vorherbestimmten Muster umfasst einen äußeren Ring, der das zentrale Gebiet umgibt.
In Übereinstimmung mit weiteren Aspekten der Erfindung kann jedes der oben beschriebenen Verfahren, oder Schritte derselben, in einem Programm von Anweisungen (zum Beispiel Software) verwirklicht werden, die auf einem Computer oder einem anderen Mikroprozessor gesteuerten Gerät zur Durchführung gespeichert sein können oder auf dieses übertragen werden können. Alternativ kann jedes der Verfahren, oder der Schritte derselben, unter Verwendung von funktionell äquivalenter Hardware (wie zum Beispiel applications specific integrated circuit (ASIC), digital Signalverarbeitungsschaltkreise (digital signal processing circuitry) etc.) oder einer Kombination von Software und Hardware implementiert werden.
In einem weiteren Aspekt umfasst die Erfindung eine Vorrichtung zum Einfügen eines Wasserzeichens in digitale Daten, die eine Mehrzahl von Blöcken von codierten Transformationskoeffizienten umfassen, wobei jeder Block einen Koeffizienten erster Art und eine Mehrzahl von Koeffizienten zweiter Art enthält. Die Vorrichtung umfasst ein Verarbeitungsgerät, das konfiguriert ist, einen Verwürfelungsalgorithmus auf jeden Block in einem Gebiet der digitalen Daten mit vorherbestimmten Bitmuster anzuwenden, um das Wasserzeichen in die digitalen Daten einzufügen, so dass die resultierenden und mit einem Wasserzeichen versehenen digitalen Daten Format-kompatibel sind. Der Verwürfelungsalgorithmus wird durch das Durchführen von zumindest einer der Verwürfelungsoperationen (i), (ii), (iii), oder (iv) angewendet, wie es oben beschrieben wurde.
Vorzugsweise ist das Verarbeitungsgerät mindestens eines aus: Ein Mikroprozessor, ein Anwendungs-spezifischer integrierter Schaltkreis oder ein digitaler Signalprozessor.
In Übereinstimmung mit einem weiteren Aspekt der Erfindung wird ein Verfahren zum Verkaufen von Bildern (welche Videos umfassen können) über ein Netzwerk bereitgestellt. Dieses Verfahren umfasst die Schritte des Bereitstellens einer Mehrzahl von Bildern auf einer Seite des Netzwerks, die durch Netzwerkbrowser-Software zugänglich ist; das Ermöglichen, das ein Kunde, der die Netzwerkbrowsing Software verwendet, auf die Netzwerkseite zugreifen kann und eine Version von jedem aus der Mehrzahl der Bilder betrachten kann, die eine niedrige Qualität aufweisen, und zumindest ein Bild auswählen kann und eine mit einem Wasserzeichen versehene Version eines jeden ausgewählten Bildes abrufen kann; und das Übertragen eines Schlüssels zu dem Kunden in Austausch für eine spezifische Bezahlung, wobei der Kunde eine hochqualitative, wasserzeichenfreie Version von jedem ausgewählten Bild anschauen oder ausdrucken kann, für das eine Zahlung empfangen wurde; und wobei das Wasserzeichen auf jedem ausgewählten Bild in einen Bereich mit vorherbestimmten Bitmuster dieses Bildes eingesetzt wurde, so dass jedes resultierende und mit einem Wasserzeichen versehene Bild Format-kompatibel ist, und der angewandte Verwürfelungsalgorithmus durch das Durchführen von zumindest einem der Verwürfelungsoperationen (i), (ii), (iii) oder (iv) durchgeführt wird, wie sie oben beschrieben wurden.
Vorzugsweise ist die Version mit niedriger Qualität eines jeden Bildes, das zum Betrachten durch Kunden verfügbar ist, eine Thumbnail (Miniaturbild) Version.
Zusätzlich kann der Schlüssel einen Rückverwürfeler umfassen und einen Druckertreiber und er kann außerdem sitzungsbasiert sein.
Ein weiteres Verfahren zum Verkaufen von Bildern (inklusive Video) über ein Netzwerk umfasst die Schritte des Bereitstellens einer Mehrzahl von Bildern auf einer Seite des Netzwerks, auf die mittels Netzwerkbrowsing-Software zugegriffen werden kann; das Ermöglichen, das eine Kunden, der die Netzwerkbrowsing Software verwendet, auf die Netzwerkseite zugreifen kann und eine Version mit niedriger Qualität von jedem aus der Mehrzahl von Bildern betrachten kann; das Ermöglichen, das der Kunde wenigstens ein Bild auswählen kann und eine Version von jedem ausgewählten Bild abrufen kann, das ein erstes Wasserzeichen in einem ersten Bereich mit vorbestimmten Bitmuster hat, wie zum Beispiel einem zentralen Bereich, und einem zweiten Wasserzeichen in einem zweiten Bereich mit vorbestimmten Bitmuster, wie zum Beispiel einem äußeren Ring, der den zentralen Bereich umgibt; und Übertragen eines ersten Schlüssels zu dem Kunden in Austausch für eine erste spezifische Zahlung, mit dem der Kunde das erste Wasserzeichen von jedem ausgewählten Bild entfernen kann, für das die erste spezifische Zahlung empfangen wurde; Übertragen eines zweiten Schlüssels zu dem Kunden im Austausch für eine zweite spezifische Zahlung, mit dem der Kunde das zweite Wasserzeichen von jedem ausgewählten Bild entfernen kann, für das die zweite spezifische Zahlung empfangen wurde; wobei die ersten und zweiten Wasserzeichen derart eingesetzt wurden, das jedes mit einem Wasserzeichen versehene Bild Format-kompatibel ist und indem wenigstens eine der Verwürfelungsoperationen (i), (ii), (iii) oder (iv) durchgeführt wurde, wie sie oben beschrieben wurden.
Weitere Ziele und Errungenschaften sowie ein besseres Verständnis der Erfindung werden unter Bezugnahme auf die folgende Beschreibung und die Ansprüche besser verstanden und gewürdigt werden, die in Verbindung mit den beigefügten Zeichnungen zu sehen sind.
Kurze Beschreibung der Zeichnungen
1(a) zeigt ein nicht mit einem Wasserzeichen versehenes Bild.
1(b) zeigt das Bild von 1(a) mit einem auffällig sichtbaren Wasserzeichen, das in Übereinstimmung mit Ausführungsformen der Erfindung angebracht wurde.
1(c) zeigt das Bild von 1(a) mit einem konventionellen „verschnittenen" sichtbaren Wasserzeichen.
1(d) zeigt das Bild von 1(a) mit einem Ecklogo als sichtbares Wasserzeichen.
2 ist eine schematische Darstellung der Blockordnung, die in Ausführungsformen dieser Erfindung verwendet wird, und unter Verwendung eines Y-Cb-Cr JPEG-Bildes mit Breite 160 und horizontal und vertikal durch 2 subgesampelte Chrominanz dargestellt ist.
3 ist eine schematische Darstellung, welche die Magnitude Bits für eine Folge von unterschiedlichen DC-Werten zeigt.
4 ist ein Flussdiagramm, das den Wasserzeichenmarkierungsprozess in Übereinstimmung mit Ausführungsformen der Erfindung darstellt.
5 ist ein Blockdiagramm, das Komponenten in einem beispielhaften Bildverarbeitungssystem darstellt, das zur Implementierung von Aspekten der Erfindung verwendet werden kann.
6 ist ein Blockdiagramm, das Komponenten eines Client Server Computer Systems darstellt, das zur Implementierung von Aspekten der Erfindung verwendet werden kann.
Beschreibung der bevorzugten Ausführungsformen
A. Überblick
Die vorliegende Erfindung bietet sichtbare Wasserzeichenmarkierungstechniken, welche die nicht autorisierte Verwendung der mit einem Wasserzeichen versehenen digitalen Daten verhindert oder davon abhält und auf diese Weise verschiedene Probleme löst, die in realen und praxisnahen kommerziellen Bildanwendungen auftreten. Ein Überblick über die Lösungen, die durch diese Erfindung bereitgestellt werden, ist unten beschrieben.
Es wird ein stehendes Bild, I, wie in 1(a) gezeigt betrachtet. Die Erfindung stellt einen verschlüsselten Verwürfelungsalgorithmus S bereit, sodass I' = S(I, K) ein Bild mit derselben Abmessung wie I ist und zu I ähnlich ist, mit der Ausnahme von bestimmten Bereichen, die ein unterscheidendes Muster bilden. In diesen Bereichen, die das sichtbare Wasserzeichen umfassen, erscheint das verwürfelte Bild I' zufällig oder korrumpiert. Der Gesamt- und beabsichtige Effekt wird beispielhaft durch das Bild in 1(b) gezeigt. Die Verwürfelung ist sicher in dem Sinne, dass es für einen Angreifer beinahe unmöglich ist, das Originalbild aus I' zurück zu gewinnen, ohne den Schlüssel K zu kennen. Darüber hinaus ist die Verwürfelung vollständig reversibel, wenn man den Schlüssel hat. D. h., es existiert ein komplementärer Rückverwürfelungsalgorithmus D, so dass D(I', K) exakt dasselbe ist wie I. Die Effekte in dem Fall eines Videos sind im Wesentlichen dieselben – das verwürfelte Video ist zwar betrachtbar, aber es zeigt ein bestimmtes Muster, das Teile von zumindest einigen der Videobilder korrumpiert. Zum Vergleich sind in den 1(c) und 1(d) ebenfalls Beispiele von zwei traditionellen, sichtbaren Wasserzeichenmarkierungsformen dargestellt. 1(c) zeigt ein „vermischtes" sichtbares Wasserzeichen, das durch eine einfache Alphavermischung (alpha blending) erzeugt wurde, und 1(d) zeigt das einfachst mögliche sichtbare Wasserzeichen – ein Logo in einer Ecke des Bildes.
Für unkomprimierte Rohbilder (raw images) kann der in 1(b) gezeigte gewünschte Effekt zum Beispiel durch XORing der Pixelwerte innerhalb des Bitmusterbereichs mit einer verschlüsselten, pseudo-zufälligen Zahlenabfolge erreicht werden. Während diese Vorgehensweise für unkomprimierte Bilder akzeptabel ist, ist sie für mit einem Verlust (lossy) komprimierte Daten nicht besonders nützlich. Die Komprimierung führt eine Komplikation ein: Der Ansatz des Multiplizierens von Rohpixeln würde verlangen, dass das Bild zuerst dekomprimiert wird, dann die Modifikationen angewandt werden, und dann das Bild wieder komprimiert wird – ein verlustreicher Prozess. Mit einer solchen Vorgehensweise würde es schwierig sein sicherzustellen, dass das Originalbild exakt bei der nachfolgenden Rückverwürfelung wieder gewonnen werden kann.
Diese Erfindung bietet einen Verwürfeler S und einen Rückverwürfeler D für transformationskoeffizienten-codierte Hostsignale (wie zum Beispiel Huffmancodierte JPEG Bilder), um dieses Problem zu lösen. In Übereinstimmung mit der Erfindung wird ein komprimiertes Bild I verwürfelt, um I' = S(I, K) zu erzeugen, welches ebenfalls ein gültiges Bild in demselben komprimierten Format ist und das unterscheidende Muster aufweist. (Es soll angemerkt werden, dass – da die Beschreibung auf komprimierte Bilder gerichtet ist – die Bezeichnung nicht durch zusätzliche Kennzeichnungen kompliziert wird, wie zum Beispiel durch die Verwendung einer Terminologie wie „c(I)", um komprimierte Bilder anzudeuten). Ein sehr vorteilhaftes Merkmal dieses Format-kompatiblen sichtbaren Wasserzeichenansatzes ist es, dass I' mit jedem Bildbetrachter angesehen werden kann, der in der Lage ist I zu betrachten, und außerdem durch jede kompressionserkennende Kompetente eines Bild- und/oder Netzwerksystems geleitet werden kann.
In einigen Ausführungsformen bietet der Verwürfelungsalgorithmus auch andere wünschenswerte Eigenschaften: Er führt keine Codierungs-Overheads ein. D.h., die Größe (in Bytes) von I' ist exakt dieselbe wie die von I. In anderen Ausführungsformen wird ein abweichender Verwürfelungsalgorithmus bereitgestellt, bei dem eine geringe Größenerhöhung auftritt, um das Wasserzeichen stärker erscheinen zu lassen.
B. JPEG in der Übersicht
Der „Joint Photographic Experts Group" (JPEG) Kompressionsstandard ist eine transformationsbasierte Kompressions/Dekompressionsarchitektur, die weit verbreitet ist, um Bilder effizient zu speichern und zu übertragen. Während die Techniken dieser Erfindung mit anderen bekannten transformationsbasierten Komprimierungs/Dekomprimierungsformaten verwendet werden kann, sind derartige Techniken insbesondere im Hinblick auf den weit verbreiteten JPEG Standard konstruiert. Daher sind einige Grundideen von JPEG unten wieder gegeben, wobei eine Betonung auf denjenigen liegt, die für die sichtbare Wasserzeichenmarkierungstechnik dieser Erfindung wichtig sind.
Ein JPEG Bild besteht aus 8 × 8 Blöcken, die unter Verwendung der diskreten Kosinustransformation (Descrete Cosine Transform) (DCT) transformiert wurden, unter Verwendung einer Tabelle von 64 skalaren Quantisierern quantisiert wurden und dann entropiecodiert wurden. Die 8 × 8 Blöcke des Bildes sind in Minimum Coded Units (MCU's) gruppiert. Jede MCU entspricht einer gleichen Fläche des Bildes, wobei die Abmessungen dieser Fläche Mehrfache von 8 sind. Die Zahl von 8 × 8 Blöcken von unterschiedlichen Farbebenen, die ein MCU umfasst, können unterschiedlich sein, abhängig vom Subsampling. Die Details des Subsamplings können in einer Vielzahl von JPEG Referenzen gefunden werden. Für die Zwecke dieser Erfindung ist es ausreichend, die Struktur eines JPEG Bildes I, das aus N Farbebenen besteht, wie folgt zusammenzufassen:

1. I ist eine Folge von codierten MCU's. Es gibt h-Reihen von jeweils w MCU's. Die MCU's sind in Rasterordnung codiert.
2. Jede MCU besteht aus m_n 8 × 8 Blöcken von Farbkomponentennummer n (0 < n < N).
3. Eine MCU wird durch Codieren der m₀ Blöcke von der Farbkomponentennummer 0 codiert (in Rasterordnung innerhalb der MCU), dann der ml Blöcke von Komponente 1 usw.

Es ist nützlich diese JPEG Bildstruktur in einer farbkomponentenartigen Weise zu betrachten. D.h., man sollte die 8 × 8 Blöcke für jede (möglicherweise subgesampelte) Farbkomponente separat betrachten und in der relativen Ordnung, in der sie innerhalb des JPEG Formats gefunden werden wird. Dies vereinfacht die Darstellung, da es auf diese Weise nicht nötig ist auf weitere Details von MCU's Bezug zu nehmen. Angenommen F_n,k bezeichnet den 8 × 8 Block von quantisierten Koeffizienten, welcher mit k von der Farbkomponentennummer n bezeichnet ist. Es sollte beachtet werden, dass diese Bezeichnung die Tatsache berücksichtigt, das k, aufgrund des Subsamplings und der MCU Struktur, nicht notwendigerweise der Rasterindex des Blocks ist.
Hier ist 0 ≤ n < N und 0 ≤ k < whm_k. Die Bezeichnung wird in 2 dargestellt, welche die drei Farbebenen eines typischen JPEG Bildes im Y, Cb, Cr Format zeigt, wo die Chrominanzkomponenten (Cb und Cr) sowohl horizontal als auch vertikal mit 2 subgesampelt sind. Die dickeren Linien trennen MCU's während die dünneren Linien die 8 × 8 Blöcke innerhalb der Y Komponente der MCU's trennen. Jede Cb und Cr MCU besteht aus nur einem 8 × 8 Block. Die auf dem Wasserzeichenmuster liegenden Blöcke sind schattiert abgebildet. Die Bildbreite ist 160 und die MCUs sind 16 × 16 Bereiche des Bildes.
Angenommen F_n,k(z) bezeichnet die Koeffizientennummer z (0 ≤ z ≤ 63) in der in einem JPEG verwendeten Zickzackordnung. Der erste Koeffizient F_n,k(0) ist der DC Koeffizient, welcher der skalierte Durchschnitt aller Pixelwerte in dem 8 × 8 Block ist. Die DC Werte innerhalb jedes Blocks der Farbebene sind in JPEG unterschiedlich codiert, um Korrelationen über Blöcke auszunutzen. Somit beträgt für k > 0, der in dem Bitsstream codierte Wert F_n,k(0) – F_n,k-1(0). D_n,k bezeichnet diesen Differenz DC-Wert, wobei beachtetet werden muss, dass D_n,0 = F_n,0(0) ist.
Der JPEG Standard erlaubt es, dass entweder eine Huffmancodierung oder eine arithmetische Codierung für die Entropiecodierung verwendet wird. Während die Techniken der vorliegenden Erfindung mit jeder bekannten Entropiecodierung verwendet werden können, konzentriert sich die folgende Diskussion auf huffmancodierte Bilder, da die Huffmancodierung in den meisten Fällen die gewählte Alternative ist. In einem huffmancodierten JPEG Bild sind unterschiedliche DC-Werte D_n,k wie folgt codiert. Wenn ein Wert ν codiert werden soll, bezeichnet s (ν) die „Magnitudenkategorie" von ν, welches die Anzahl von Bits im Betrag von ν ist, bis zu der höchsten Signifikanten 1. Zum Beispiel ist s(0) = 0, s(1) = s(–1) = 1, s(3) = s(2) = s(–2) = s(–3) = 2 usw. Der JPEG Bitsstream besteht aus einem Huffmancode für s(D_n,k) gefolgt von s(D_n,k) am wenigsten signifikante Bits von der 1 er Komplement-Darstellung von D_n,k. Die DC Huffinancode-Tabellen können für unterschiedliche Farbkomponenten unterschiedlich sein, oder einige von ihnen können gleich sein.
Die Codierung von AC Koeffizienten (1 ≤ z ≤ 63) verwendet ebenfalls die Magnitudenkategoriefunktion s(.). Außerdem wird die häufig auftretende Situation von langen Reihen von Nullen innerhalb von Folgen von AC Koeffizienten in dem JPEG Format ausgenutzt. Für die Folge von AC Koeffizienten in einem Block F_n,k wird die folgende Darstellung betrachtet: (R0, V0), (R1 V1), ..., (Rl, Vl)
Hier ist R₀ die Länge der Reihe von Nullen die zu dem ersten Nichtnull-Koeffizienten führen (der den Wert V₀ hat). Dies wird von einer Anzahl von R₁ Nullen gefolgt und dann von einem weiteren Nichtnullwert (V₁) usw. Der JPEG Bitstream besteht aus Huffmancodes für Paare von (R_i, s(V_i). Ein jeder derartige Code wird von s(V_i) zusätzlichen Bits gefolgt, die von den am wenigsten signifikanten Positionen in der ersten komplementären Darstellung von V_i genommen werden. Die AC Huffmancodiertabellen können ebenfalls für verschiedene Farbkomponenten unterschiedlich sein.
C. Der Verwürfelungsalgorithmus
Das Ziel des Verwürfelungsprozesses ist es diejenigen 8 × 8 Blöcke zu „korrumpieren", die in dem Musterbereich liegen, während sichergestellt wird, dass das kodierte Bild nicht außerhalb des Musterbereichs korrumpiert ist und es weiter sichergestellt wird, das diese Korruption durch den Rückverwürfeler aufgehoben werden kann.
Angenommen ρ(n, k) ist eine binäre Funktion, d.h. sie ist 1, wenn und nur wenn F_n,k in dem Bitmusterbereich liegt (Blocknummer k von Komponentennummer n). Die Funktion ρ (und damit das Muster) muss nicht geheim sein und kann daher jedem Angreifer verfügbar sein. In einigen Ausführungsformen erzeugt der Verwürfelungsalgorithmus effizient ein JPEG Bild I' = S(I, K), sodass I' und I für MCU's exakt gleich sind, bei denen ρ(i, j) gleich 0 ist, und unterschiedlich sind wo ρ(i, j) = 1 ist. Mit anderen Worten werden die Blöcke, bei denen ρ = 1 ist durch S verwürfelt. Der Rückverwürfeler D kehrt die Verwürfelung mit dem korrekten Schlüssel vollständig um.
Der Verwürfelungsalgorithmus umfasst einen Satz von Operationen. In einer Ausführungsform werden alle diese Operationen angewandt, während in anderen Aus führungsformen eine Untergruppe dieser Operationen angewandt wird. In einer praktischen Implementierung wird die ausgewählte Operation (die ausgewählten Operationen) in einem einzigen Durchgang durch das Bild angewandt. Zur Klarstellung wird jede dieser Operationen unten separat beschrieben. Die Verwürfelungs- und Rückverwürfelungsalgorithmen verwenden vorzugsweise einen gemeinsamen Pseudozufallszahlengenerator (Pseudo Random Number Generator) (PRNG), dessen Startpunkt der geheime Schlüssel ist. PRNG kann auch zur Erzeugung von Maskierwerten (Masking Values) verwendet werden, sowie für zufällige Permutationen und Auswählen (Random Permutation and Selections). Um die Bezeichnung einfach zu halten wird der Index _PRNG verwendet, um anzuzeigen, dass ein Wert, eine Permutation oder eine Auswahl durch Benutzung des PRNG erhalten wurde.
C.1. AC Masken
Für jeden Block F_n,k für den ρ(n, k) = 1 ist, werden die Magnitudenbits der AC Koeffizienten durch XORing mit einem Wert maskiert, der von dem PRNG erhalten wird. Wie oben diskutiert, werden die AC Koeffizienten codiert, in dem sie in Run-Value Paare gruppiert werden, (R_i, V_i, und der codierte Bitstream besteht aus einem Huffmancode für (R_i, s(V_i)), gefolgt von s(V_i) Bits von den am wenigsten signifikanten Positionen der 1er Komplement-Darstellung von V_i. Wenn diese s(V_i) Bits als B bezeichnet werden, umfasst die AC Masking Operation das Ersetzen von B mit B + X_PRNG, wobei X_PRNG zufällige Werte repräsentiert. Dies hält die Formatkonformität bei und verändert nicht die Größe des codierten Bildes. Es ist dem Fachmann klar, dass der Rückverwürfeler diese Operation umkehren kann, in dem wiederum mit X_PRNG ein XORing vorgenommen wird.
C.2. AC Swaps
Da die AC Koeffizienten unabhängig von Block zu Block codiert werden, kann die Gesamtheit von AC Koeffizienten über zwei beliebige Blöcke getauscht (ges wapt) werden, für die ρ = 1 ist. D.h. wenn ρ(n, k1) gleich ρ(n, k₂) = 1 ist, dann kann F_n,k1(1 ..., 63) mit F_n,k2(1 ... 63) getauscht werden. Dies würde die Bitrate nicht im Geringsten ändern. Wenn die AC Huffmantabellen für zwei Farbkomponenten dieselben sind (wie es üblicherweise für die Chrominanzkomponenten Cb und Cr in JPEG Bildern der Fall ist), dann kann der Austausch (Swap) tatsächlich auch über diese Komponenten gemacht werden.
In der Praxis kann es besser sein, den Austausch nur innerhalb einer kleinen Anzahl von Reihen vorzunehmen, um die Pufferanforderungen an den Verwürfeler und den Rückverwürfeler zu minimieren. Somit umfasst in einer Ausführungsform die AC Tauschoperation (Swap Operation) das Auswählen (unter Verwendung des PRNG's) einer Anzahl von Paaren von Blöcken F_n1, _k1, F_n2, _k2, die so beschränkt sind, um innerhalb einer gepufferten Menge von MCU Reihen zu liegen, und so dass beide der ausgewählten Blöcke in dem Muster liegen und dieselbe AC-Huffmantabelle verwenden. Für jedes derartige Paar werden alle AC Koeffizienten ausgetauscht.
C.3. DC Durchmischung
Die zuvor genannten zwei Operationen modifizieren die AC Koeffizienten. In der Praxis hat jedoch die Modifikation von DC Koeffizienten einen viel größeren Einfluss auf die Wasserzeichensichtbarkeit als die Modifikation der AC Koeffizienten. Dementsprechend beschreibt dieser und der nächste Unterabschnitt Operationen, welche die DC Koeffizienten modifizieren.
Angenommen (innerhalb der Farbkomponentenanzahl n) beträgt eine maximale aufeinanderfolgende Folge von l Blöcken Fn,k, Fn,k+1, ..., Fn,kl-1,die alle auf dem Muster liegen. Dies ist maximal in dem Sinne das: ρ(n, k – 1) = ρ(n, k + l) = 0 und ρ(n, i) = 1 ist, für k ≤ i < k + l. Die DC Durchmischungsoperation (DC Shuffle Operation) korrumpiert den DC Wert eines jeden Blocks in der Folge und stellt sicher, dass der DC Wert für den ersten Block nach der Folge unverändert verbleibt, und das die benötigten Bits dieselben bleiben, in dem die unterschiedlichen DC Werte durchmischt werden.
In Erinnerung behaltend, dass die Bezeichnung D_n,k verwendet wird, um den unterschiedlichen DC Wert für F_n,k zu bezeichnen, wird der DC Wert für den Block nach der Folge durch die Gleichung (1) dargestellt:
Solange sich die Summe
nicht ändert, können die individuellen D_n,i Werte somit frei geändert werden, ohne die DC Werte des ersten Blocks nach der Folge zu beeinflussen. Darüber hinaus, wenn die Änderungen vorgenommen werden, in dem einfach die D_n,i permutiert werden, wird die Bitrate exakt dieselbe sein.
In einer Ausführungsform erzeugt die DC Durchmischungsoperation eine zufällige Permutation σ_PRNG und wendet diese an die Folge von D_n,i Werten an, k ≤ i < k + l. Es sollte beachtet werden, dass der unterschiedliche DC Wert des ersten Blocks nach der Folge an dieser Permutation ebenfalls teilnimmt, aber das Nettoergebnis ist, das sein DC-Wert (der tatsächliche, nicht der unterschiedliche) nicht geändert wird.
C.4. DC Bit-Durchmischung
3 zeigt die Folge von DC Werten, die in dem obigen Unterabschnitt identifiziert wurden. Hier sind die ersten l Blöcke diejenigen die korrumpiert werden sollen, während der Block F_n,k+l den Wert ρ(n, k + l) = 0 aufweist und bei der Dekomprimierung unmodifiziert verbleiben muss. Die Figur zeigt 1 und 0 Bit Werte beginnend von der am meisten rechten Spalte (bezeichnet mit 0) bis zu der Spaltennummer, die der Magnitudenkategorie des unterschiedlichen DC Werts entspricht. Somit werden in der Reihe D_n,i alle Spalten mit der Nummerierung s(D_n,i) und größer mit X markiert, um anzuzeigen, dass diese Bits in dem Bitstream nicht vorliegen.
Nun wird die bitweise Zusammensetzung der D_n,i Werte in dieser Folge von Blöcken betrachtet, k ≤ i < k + l. Zur Vereinfachung wird der Index n fallen gelassen. Angenommen, s_i bezeichnet s(D_n,i) und angenommen b_i(j), (0 ≤ j < s_i) bezeichnet die s_i Bits der 1er-Komplement-Darstellung von D_n,i. Dann ist:
Hier stellt der erste Ausdruck sicher, dass wenn das am meisten links stehende Bit (d.h. Bitnummer s_i – 1) = 0 ist, die geeignete negative Zahl durch die Subtraktionsoperation 2^si – 1 erhalten wird. Die Gleichung (2) kann umgeschrieben werden als:
Hier sollte beachtet werden, dass aufgrund der 1er-Komplement-Darstellung das am weitesten links stehende Bit b_i(s_i – 1) von jedem D_n,i ein überproportionales Gewicht hat.
Durch Einsetzen des Wertes von D_n,i aus Gleichung (3) in Gleichung (1) kann erkannt werden, das der DC Wert des ersten Blocks nach der Folge, d.h. F_n,k+l(0) eine Konstante ist zuzüglich einer gewichteten Summe aller der b_i(j) Werte, wobei das Gewicht 2^j für Bits beträgt, die nicht am weitesten links stehend sind. Das Gewicht von jedem am weitesten links stehendem Bit ist 3 × 2^j-1 – 1.
Somit kann eine Bitebenen-Permutation an diesen Bits angewandt werden, während F_n,k+l(0) unverändert bleibt, solange darauf geachtet wird, nicht am weitesten links stehende Bits mit nicht am weitesten links stehenden Bits zu mischen. Angenommen q bezeichnet den Maximalwert von s_i, für k ≤ i < k + l. Dann werden für jede Bitebene j, (0 ≤ j < q) zwei pseudo-zufällige Permutationen innerhalb der b_i(j) Werte angewandt: σ_PRNG(j) und π_PRNG(j). In der ersten Permutation, σ_PRNG(j), nehmen nur diejenigen Bits von der Bitebene j teil, die am weitesten links stehen. D.h., nur die b_i(j) für die gilt s_i – 1 = j, nehmen in σ_PRNG(j) teil. Die nicht am weitesten links stehenden Bits nehmen in der zweiten Permutation teil. D.h. nur die b_i(j) für die gilt s_i – 1 > j nehmen an π_PRNG(j) teil.
Es wird festgestellt, dass die Anwendung dieser 2q Permutationen (zwei disjunkte Permutationen σ_PRNG(j) und π_PRNG(j) auf jeder Bitebene) sicherstellt, das die DC-Werte innerhalb des Bitmusterbereichs sicher korrumpiert werden, während der DC-Wert des ersten folgenden Blocks unberührt bleibt. Darüber hinaus verbleibt die codierte Größe exakt dieselbe wie sie vor dieser Operation war.
Vier Operationen, die mit dem Verwürfelungsalgorithmus der vorliegenden Erfindung angewandt werden, wurden nun beschrieben. Der Rückverwürfeler ist straight-forward aufgebaut, in dem Sinne dass er nur die inversen Operationen anwendet. Die Verwürfelungsoperationen wurden so gestaltet, dass sie reversibel sind. Die Bestimmungen, die während der Verwürfelung (wie zum Beispiel die s (D_n,i) Werte) gemacht werden, werden durch die Verwürfelung nicht beeinflusst und können daher durch den Rückverwürfeler mit identischen Ergebnissen wiederholt werden.
C.5. Eine Variante mit moderater Größenerhöhung
Die zuvor beschriebenen vier Operationen wurden gestaltet um sicherzustellen, dass die komprimierte Größe des verwürfelten Bildes I' exakt dieselbe ist, wie die des Originalbildes I. Manchmal ist dies keine strenge Anforderung, und es kann akzeptabel sein eine moderate Größenvergößerung in Kauf zu nehmen. In derartigen Situationen kann die Sichtbarkeit des Wasserzeichens erheblich durch eine zusätzliche Operation erhöht werden. Hier kann eine Pseudozufallsnummer jedem DC-Wert innerhalb des Bitmusterbereichs hinzugefügt werden. Somit, wenn ρ(n, k) = 1 ist, dann gilt Fn,k(0) = Fn,k(0) + XPRNG,wobei X_PRNG positiv oder negativ sein kann. Es sollte angemerkt werden, dass dies eine reversible Operation ist, wenn darauf geachtet wird, dass der Additionsmodulo die Grenze der Magnitude von DC-Unterschiedswerten ist. Da jeder derartige tatsächliche DC-Wert modifiziert wird, werden sich auch die unterschiedlichen DC-Werte ändern. Darüber hinaus ist es nicht garantiert, dass die Änderungen die komprimierte Größe beibehalten. Tatsächlich, da die „Zufälligkeit" der DC-Koeffizientenunterschiede erhöht wird, wird sich die komprimierte Größe erhöhen. Allerdings kann die Größenerhöhung durch Platzieren von Grenzen zu den additiven Werten X_PRNG klein gehalten werden.
D. Zusammenfassung von Wasserzeichenoperationen anhand eines Fliesdiagramms
Das Fliesdiagramm von 4 fasst den Wasserzeichenmarkierungsprozess beispielhaft in Übereinstimmung mit Ausführungsformen der Erfindung zusammen und illustriert diesen. Wie in der Figur dargestellt, werden in Schritt 41 Blöcke von decodierten Transformationskoeffizienten (zum Beispiel DCT) des Bil des/Videobildes der mit einem Wasserzeichen versehen werden soll, erhalten. Danach werden in Schritt 42 diejenigen Blöcke in einem vorbestimmten Bitmusterbereich des Bildes/Videobildes identifiziert. In Schritt 43 wird eine AC-Maskierungsoperation auf die AC-Koeffizienten von Blöcken in dem Bitmusterbereich angewandt. Eine zweite Wassermarkierungsoperation wird in Schritt 44 durchgeführt. Dort wird eine bestimmte Anzahl von Paaren von Blöcken in dem Bitmusterbereich ausgewählt und die AC-Koeffizienten werden über die Blockpaare getauscht. In den Schritten 45 und 46 werden Wasserzeichenmarkierungsoperationen an den DC-Koeffizienten in einer Folge von Blöcken in dem Bitmuster-Bereich durchgeführt, ohne den DC-Koeffizienten in dem ersten Block nach der Folge zu beeinflussen. In Schritt 45 werden die unterschiedlichen DC-Werte zwischen Blöcken in einer Folge von Blöcken in dem Bitmusterbereich durchmischt, während in Schritt 46 DC-Bits zwischen DC-Koeffizienten in einer Folge von Blöcken in dem Bitmusterbereich durchmischt werden. Keine dieser vier Operationen erhöht die Byte-Größe des Bildes. Wenn dies eine strenge Anforderung ist, fährt der Prozess mit der „Nein" Folge von Entscheidungsblock 47 fort, um das mit einem Wasserzeichen versehene Bild bzw. Videobild zu erzeugen. Wenn allerdings eine moderate Größenerhöhung akzeptabel ist, kann der Prozess durch die „Ja" Folge von Block 47 mit Schritt 48 weiterfahren, wo eine weitere Wasserzeichenmarkierungsoperation angewandt wird. Hier wird eine Pseudozufallsnummer jedem DC-Koeffizienten in dem Bitmusterbereich hinzugefügt und dann das mit einem Wasserzeichen versehene Bild bzw. Videobild erzeugt.
Es wird bemerkt worden sein, dass der in 4 gezeigte Prozess alle Wasserzeichenoperationen verwendet, die die Größe beibehalten. Während dies eine bevorzugte Ausführungsform ist, ist es nicht die einzige Ausführungsform. In anderen Ausführungsformen können unterschiedliche Untergruppen dieser Operationen angewandt werden, um unterschiedliche Grade von Effektivität zu erreichen, wobei beachtet werden muss, dass je mehr Operationen angewandt werden, umso effektiver das resultierende Wasserzeichen ist.
E. Videodaten
In dem Fall von DCT-codierten Videodaten, wie zum Beispiel in den verschiedenen MPEG Formaten, verursacht die Bewegungsvorhersage ein Problem. Die Anwendung des Verwürfelungsalgorithmus, der oben beschrieben wurde, auf MPEG-Videos kann in einer Korruption von Blöcken außerhalb des Bitmusters resultieren (für die ρ = 0 ist), da deren Bewegungsvektoren aus Bereichen anderer Videobilder vorhergesagt werden müssen, die korrumpiert wurden. Somit würde sich das kennzeichnende Muster in dem Video zeigen, aber es würde wahrscheinlich auch eine zusätzliche Korruption außerhalb dieses Bereichs vorliegen. Diese zusätzliche Korruption kann klein oder groß sein, abhängig von der Videosequenz und den Blockmatching-Algorithmen, die während der Codierung verwandt werden.
Eine Möglichkeit um dieses Problem zu vermindern, ist es die Verwürfelung nur auf bidirektional codierte Videobilder (B-frames) anzuwenden, da diese Videobilder nicht verwendet werden, um irgendwelche Blöcke oder andere Videobilder vorherzusagen. Üblicherweise umfassen B-frames einen signifikanten Teil von allen Videobildern, und in derartigen Fällen tauchen die Muster sichtbar auf, allerdings in einer blinkenden Weise. Manchmal enthalten codierte Videosequenzen aber keine B-frames. In derartigen Fällen sind die einzigen Videobilder, die korrekt korrumpiert werden können (d.h. ohne die Korruption auf umgebende Bereiche auf anderen Videobildern weiterzuführen) diejenigen uni-direktional vorhergesagten Videobilder (P-Frames), welche unmittelbar vor einem nichtvorhergesagten Videobild (I-Frame) sind.
Die Begriffe „Bild" und „Bilder", wie sie in den Ansprüchen verwendet werden, sollen auch Videos umfassen, zusätzlich zu nichtbewegten Bildern.
F. Implementierungen
Die Techniken der vorliegenden Erfindung können konventionell in Software implementiert werden, welche auf einem Bildverarbeitungssystem des Typs läuft, der in 5 dargestellt ist. Wie es in 5 dargestellt ist, umfasst das System eine zentrale Prozessoreinheit (central processing unit) (CPU) 51, die Rechenressourcen bereitstellt und den Computer steuert. Die CPU 51 kann mittels eines Mikroprozessors oder ähnlichem implementiert werden und kann auch einen Graphikprozessor und/oder einen Floatingpoint Co-Prozessor für mathematische Berechnungen umfassen. Das System 50 umfasst weiter einen Systemspeicher 52, der in der Form eines Random Access Memory (RAM) und einem Read Only Memory (ROM) vorliegen kann.
Es wird ebenfalls eine Anzahl von Steuergeräten und Peripheriegeräten bereitgestellt, wie es in 5 gezeigt ist. Das Eingangssteuergerät 53 stellt ein Interface für eine oder mehrere Eingabegeräte 54 dar, wie zum Beispiel für eine Tastatur, eine Maus oder einen Schreibstift. Es ist ebenfalls ein Steuergerät 55 vorgesehen, welches mit einem Scanner 56 oder einem äquivalenten Gerät kommuniziert, um Dokumente mit Bildern zu digitalisieren, die in Übereinstimmung mit der Erfindung verarbeitet werden sollen. Ein Speichersteuergerät 57 wirkt mit einem oder mehreren Speichergeräten 58 zusammen, von denen jedes ein Speichermedium, wie zum Beispiel ein Magnetband oder eine Diskette, umfasst, oder ein optisches Medium das verwendet werden kann, um Programme von Anweisungen für Betriebssysteme, Utilities und Anwendungsprogramme zu speichern, die Ausführungsformen von Programmen umfassen können, welche verschiedene Aspekte der vorliegenden Erfindung implementieren. Das Speichergerät (Geräte) 58 kann auch verwendet werden, um Daten zu speichern, die in Übereinstimmung mit der Erfindung verarbeitet werden sollen. Ein Anzeigesteuergerät 59 stellt eine Schnittstelle für ein Anzeigegerät 61 bereit, welches eine Kathodenstrahlröhre (Cathode Ray Tube) (CRT) sein kann, ein Dünnfilmtransistoranzeigegerät (Thin Film Transistor Display) (TFT) oder ein Videoabspielgerät sein kann. Ein Druckersteuergerät 62 ist ebenfalls vorgesehen, um mit einem Drucker 63 zu kommunizieren, um Dokumente auszudrucken, die Bilder enthalten, die in Übereinstimmung mit der Erfindung verarbeitet sind. Ein Kommunikationssteuergerät 64 wirkt mit einem Kommunikationsgerät 65 zusammen, welches es dem Gerät 50 erlaubt, sich mit entfernten Geräten über irgendeines von einer Vielzahl von Netzwerken zu verbinden, inklusive dem Internet, einem Local Area Network (LAN), einem Wide Area Network (WAN) oder über irgendwelche geeigneten elektromagnetischen Trägersignale inklusive Infrarotsignalen.
In den dargestellten Systemen sind alle wesentlichen Systemkomponenten mit dem Bus 66 verbunden, der mehr als einen physischen Bus repräsentieren kann.
Abhängig von der bestimmten Anwendung der Erfindung können verschiedene Systemkomponenten in großer räumlicher Nähe zueinander sein oder auch nicht. Zum Beispiel können die Eingangsdaten (zum Beispiel das Eingangsbild, an dem S oder D angewandt werden soll) und/oder die Ausgangsdaten, zum Beispiel das Ausgangsbild (an dem S oder D angewandt wurde) entfernt voneinander von einem physischen Ort zu einem Anderen übertragen werden. Außerdem kann auf Programme, die verschiedene Aspekte dieser Erfindung implementieren, von einem entfernten Ort (wie zum Beispiel einem Server) über ein Netzwerk zugegriffen werden. Derartige Daten und/oder Programme können durch eine Vielzahl von maschinenlesbaren Medien übertragen werden, inklusive Magnetbändern oder Disketten oder optischen Disks, Netzwerksignalen, oder jedem anderen geeigneten elektromagnetischen Trägersignal, inklusive Infrarotsignalen.
Während die vorliegende Erfindung bequem mittels Software implementiert werden kann, ist auch eine Hardwareimplementierung oder eine kombinierte Hardware/Softwareimplementierung möglich. Eine Hardwareimplementierung kann zum Beispiel unter Verwendung von ASCI(s), digitaler Signalverarbeitungsschaltkreise oder ähnlichem realisiert werden. So gesehen umfasst der Begriff gerätelesbares Medium weiter Hardware, auf denen ein Programm von Anweisungen fest verdrahtet ist. In Anbetracht dieser Implementierungsalternativen sollte es klar sein, dass die Figuren und die zugehörige Beschreibung die funktionalen Informationen bereitstellen, die ein Fachmann benötigen würde, um einen Programmcode (d.h. Software) zu schreiben oder um Schaltkreise (d.h. Hardware) herzustellen, um die benötigte Verarbeitung durchzuführen.
G. Anwendungen
Die sichtbaren Wasserzeichenmarkierungstechniken der vorliegenden Erfindung, die entwickelt wurden, um eine nichtauthorisierte Verwendung der digitalen Daten zu verhindern oder davor abzuschrecken, können in einer Vielzahl von realen und praktischen kommerziellen Bildanwendungen verwendet werden. Eine derartige Anwendung ist ein internetbasierter „Bildershop", der hoch qualitative professionelle Kunst verkauft, die Kunden aus der Entfernung kaufen können, um sie auszudrucken. Eine derartige Anwendung ist schematisch in 6 dargestellt. Die zum Verkauf angebotenen Bilder werden als Bilddateien 71 auf einem Server 72 vorgehalten, auf den über ein Netzwerk, wie zum Beispiel das Internet 73, zugegriffen werden kann. Unter Verwendung eines Client-Computers 74 verwendet der Kunde eine Internet-Client-Software, wie zum Beispiel einen Web-Browser 75, um auf die Webseite des „Bildershops" zuzugreifen, um „Thumbnails" der Kunstwerke durchzusehen, und um diejenigen abzurufen, an denen er (sie) interessiert ist. Wenn er (sie) ein Bild mit hoher Qualität abruft, sendet der Server 72 ein mit einem Wasserzeichen versehenes Bild, welches er (sie) anschauen kann. Das abgerufene Bild, obwohl es sichtbar ist, liegt aufgrund des aufdringlich sichtbaren Wasserzeichens in einer verschlechterten Version vor. Mit dem korrekten Schlüssel kann dem Kunden ein integrierter Rückverwürfeler und Druckertreiber bereitgestellt werden, welcher das Bild ohne das Wasserzeichen ausdrucken wird. Während die Schlüsselmanagementfragen abhängig von den Anforderungen des Gesamtsystems variieren werden, kann der Schlüssel in dem obigen System zum Beispiel ein sitzungsbasierter sein, der von der Clientsoftware sicher abgerufen werden kann, wenn die Zahlung des Kunden erfolgt ist.
Um die Transaktionen zu vereinfachen enthält der Server 72 in Übereinstimmung mit dieser Erfindung geeignete Entfernungswerkzeuge 76, die das Wasserzeichen entfernen, die in der Form von Software vorliegen können und Schlüssel, Rückverwürfeler und Druckertreiber enthalten können. In Übereinstimmung mit dieser Erfindung können die Bilder entweder vor oder nachdem sie zu dem Server 72 hochgeladen wurden mit einem Wasserzeichen versehen werden; wenn sie danach versehen werden, würde der Server 72 auch Werkzeuge zur Wasserzeichenmarkierung umfassen. Der Server enthält auch geeignete Software 77, welche die Bezahlung verifiziert und mit den Wasserzeichenentfernungswerkzeugen zusammenwirkt, so dass dem Client 74 die geeigneten Werkzeuge zur Entfernung des Wasserzeichens (der Wasserzeichen) übertragen werden können. Diese Software 77 umfasst auch vorzugsweise Software zur Sicherstellung einer sicheren Übertragung von Bildern, der Bezahlung und von Wasserzeichenentfernungswerkzeugen.
Der Vorteil der Verwendung des sichtbaren Wasserzeichenmodells dieser Erfindung in dem obigen System, im Gegensatz zum einfachen verschlüsseln des gesamten Bildes, ist der, das Clientsoftware das mit einem Wasserzeichen versehene Bild anzeigen kann. Darüber hinaus können Standardtechnologien zum Abrufen von Inhalt über das Internet verwendet werden, wobei es bekannt ist, das die zwischengespeicherte Kopie des Kunstwerks (sowohl in dem Netzwerk als auch in dem lokalen Laufwerkzwischenspeicher des Clients) aufgrund des auffälligen Wasserzeichens nur von geringem Wert sein wird. Für Videos könnte die Beispielanwendung über Satellit oder Kabelnetzwerke geliefert werden. Wieder würde das mit einem Wasserzeichen versehene Video anschaubar sein, um einen Eindruck seines Inhalts zu vermitteln, ohne alles von demselben preiszugeben. Zahlende Kunden können den Schlüssel (die Schlüssel) abrufen, die zum Rückver würfeln benötigt sind und das ohne mit einem Wasserzeichen versehene Video anschauen.
Eine weitere Anwendung umfasst das Wasserzeichenmarkieren desselben Bildes/Videos mehrere Male mit unterschiedlichen Mustern und Schlüsseln. Zum Beispiel könnte ein erster mit einem Wasserzeichen versehener Musterbereich eine kleine zentrale Fläche verschleiern. Ein zweiter mit einem Wasserzeichen versehener Musterbereich könnte einen größeren umlaufenden Ring verschleiern. Ein Anwender bezahlt dann eine bestimmte Geldmenge, um den Schlüssel zu erhalten, um das Wasserzeichen an dem umlaufenden Ring zu entfernen. Der Anwender zahlt dann eine zusätzliche Geldmenge, um das Wasserzeichen auf dem zentralen Bereich zu entfernen.
H. Wirkungen
Wie die vorhergehende Beschreibung zeigt, bietet die vorliegende Erfindung sichtbare Wasserzeichenmarkierungstechniken für digitale Bilder und Videos in komprimierten, transformationsbasierten Formaten. Der Einsetzalgorithmus verwürfelt Teile der digitalen Daten reversibel aber sicher, um das Bild deutlich zu markieren. Ein voller Zugriff auf das Bild wird durch Bereitstellen des korrekten Schlüssels erhalten, um das Wasserzeichen vollständig zu entfernen, um so ein Bild wiederherzustellen, das exakt dasselbe ist, wie das Original. Die mit einem Wasserzeichen versehenen Daten sind vollständig formatkompatibel und bei den meisten der Techniken von derselben Größe wie das Original. Die Verwürfelungs- und Rückverwürfelungsalgorithmen sind sehr effizient und arbeiten mit Transformations-Koeffizienten (wie zum Beispiel DCT), die durch Decodieren der Entropiecodes (zum Beispiel Huffman) erhalten werden. Die Algorithmen verlangen vorteilhafterweise nicht, das die Koeffizienten de-zigzagged oder de-quantisiert werden. Tatsächlich untersuchen die Algorithmen nur die kompakte Folge der Nichtnullkoeffizienten innerhalb eines jeden Blocks.
Während die Erfindung in Übereinstimmung mit mehreren spezifischen Ausführungsformen beschrieben wurde, werden dem Fachmann weitere Alternativen, Modifikationen, Variationen und Anwendungen im Lichte der vorhergehenden Beschreibung klar werden. Somit ist die hierin beschriebene Erfindung dazu gedacht, alle derartigen Alternativen, Modifikationen, Variationen und Anwendungen zu umfassen, wie sie in den Rahmen der beigefügten Ansprüche fallen.

Claims

Ein Verfahren zum Einfügen eines Wasserzeichens in digitale Daten, die eine Mehrzahl von Blöcken kodierter Transformationskoeffizienten aufweisen, wobei jeder Block einen Koeffizient einer ersten Art und eine Mehrzahl von Koeffizienten zweiter Art aufweist, wobei das Verfahren den Schritt umfasst: Anwenden eines Verwürfelungsalgorithmus auf jeden Block in einem Bereich mit einem vorherbestimmten Bitmuster der digitalen Daten, um das Wasserzeichen in die digitalen Daten einzufügen, so dass die resultierenden digitalen Daten mit Wasserzeichen in einem Format sind, das mit dem JPEG-Standart konform ist, dadurch gekennzeichnet, dass der Verwürfelungsalgorithmus durch das Durchführen von mindestens einer der folgenden Verwürfelungsoperationen angewendet wird: (i) für Blöcke in einer ersten Folge von Blöcken in dem Bitmuster-Bereich Durcheinandermischen von unterschiedlichen Werten von Koeffizienten der ersten Art unter Blöcken in der ersten Folge (45), wobei nach der Folge der Durchschnittswert für den ersten Block unverändert bleibt oder (ii) für Blöcke in einer zweiten Folge von Blöcken in dem Bitmuster-Bereich Durcheinandermischen ausgewählter Bits von Koeffizienten der ersten Art unter Blöcken in der zweiten Folge (46).
Das Verfahren gemäß Anspruch 1, wobei der Verwürfelungsalgorithmus durch das Durchführen von mindestens zwei der Verwürfelungsoperationen (i) und (ii) angewendet wird.
Das Verfahren gemäß einem der Ansprüche 1–2, wobei das eingesetzte Wasserzeichen sichtbar und auffällig ist.
Das Verfahren gemäß einem der Ansprüche 1–3, wobei der Verwürfelungsalgorithmus reversibel ist.
Das Verfahren gemäß einem der Ansprüche 1–4, wobei der Verwürfelungsalgorithmus durch das Durchführen von mindestens der Operation (i) angewendet wird und wobei die unterschiedlichen Werte der Koeffizienten erster Art in der ersten Folge unter Blöcken durchmischt werden, ohne die Summe der Werte der Koeffizienten erster Art in der ersten Folge von Blöcken zu verändern.
Das Verfahren gemäß einem der Ansprüche 1–5, wobei der Verwürfelungsalgorithmus durch das Durchführen von mindestens einer Operation (ii) angewendet wird und wobei die ausgewählten Bits der Koeffizienten erster Art, die in der zweiten Folge unter Blöcken durchmischt werden, ausgewählte am weitesten links stehende Bits sind.
Ein Verfahren zum Einsetzen von mehreren Wasserzeichen in einem Bild, das eine Mehrzahl von Blöcken von kodierten Transformationskoeffizienten umfasst, wobei jeder Block einen Koeffizienten erster Art aufweist und eine Mehrzahl von Koeffizienten zweiter Art, wobei das Verfahren die Schritte umfasst: Anwenden eines ersten Wasserzeichens auf jeden Block in einem ersten Bereich des Bildes mit vorherbestimmten Bitmuster und Anwenden eines zweiten Wasserzeichens auf jeden Block in einem zweiten Bereich des Bildens mit einem vorherbestimmten Bitmuster, wobei mehrere Wasserzeichen eingefügt werden, so dass das resultierende Bild mit Wasserzeichen mit dem JPEG-Standart konform ist, dadurch gekennzeichnet, dass jedes Wasserzeichen durch das Durchführen von mindestens einer der folgenden Verwürfelungsoperationen angewendet wird: (i) für Blöcke in einer ersten Folge von Blöcken in dem Bitmuster-Bereich Durcheinandermischen von unterschiedlichen Werten von Koeffizienten der ersten Art unter Blöcken in der ersten Folge (45), wobei nach der Folge der Durchschnittswert für den ersten Block unverändert bleibt oder (ii) für Blöcke in einer zweiten Folge von Blöcken in dem Bitmuster-Bereich Durcheinandermischen ausgewählter Bits von Koeffizienten der ersten Art unter Blöcken in der zweiten Folge (46).
Das Verfahren gemäß Anspruch 7, wobei das Gebiet mit dem ersten vorherbestimmten Bitmuster ein zentrales Gebiet des Bildes umfasst und das Gebiet mit dem zweiten vorherbestimmten Muster einen äußeren Ring umfasst, der das zentrale Gebiet umgibt.
Eine Vorrichtung zum Einfügen eines Wasserzeichens in digitale Daten, die eine Vielzahl von Blöcken von kodierten Transformationskoeffizienten umfassen, wobei jeder Block einen Koeffizienten erster Art und eine Mehrzahl von Koeffizienten zweiter Art aufweist, wobei die Vorrichtung umfasst: ein Verarbeitungsgerät, das konfiguriert ist, einen Verwürfelungsalgorithmus auf jeden Block in einem Gebiet der digitalen Daten mit vorherbestimmtem Bitmuster anzuwenden, um das Wasserzeichen in die digitalen Daten einzufügen, so dass die resultierenden digitalen Daten mit Wasserzeichen mit dem JPEG-Standart konform sind, dadurch gekennzeichnet, dass der Verwürfelungsalgorithmus durch das Durchführen von mindestens einer der folgenden Verwürfelungsoperationen angewendet wird: (i) für Blöcke in einer ersten Folge von Blöcken in dem Bitmuster-Bereich Durcheinandermischen von unterschiedlichen Werten von Koeffizienten der ersten Art unter Blöcken in der ersten Folge (45), wobei nach der Folge der Durchschnittswert für den ersten Block unverändert bleibt oder (ii) für Blöcke in einer zweiten Folge von Blöcken in dem Bitmuster-Bereich Durcheinandermischen ausgewählter Bits von Koeffizienten der ersten Art unter Blöcken in der zweiten Folge (46).
Die Vorrichtung gemäß Anspruch 9, wobei das Verarbeitungsgerät so konfiguriert ist, dass es den Verwürfelungsalgorithmus durch das Durchführen von mindestens zwei der Verwürfelungsoperationen (i) und (ii) anwendet.
Die Vorrichtung gemäß einem der Ansprüche 9–10, wobei das Verarbeitungsgerät mindestens eines ist aus: einem Mikroprozessor, einem anwendungspezifischen integrierten Schaltkreis oder einem digitalen Signalverarbeiter.
Ein Programm von Befehlen zum Durchführen eines Verfahrens gemäß einem der Ansprüche 1–8.
Ein computerlesbares Medium, welches ein Programm gemäß Anspruch 12 hat.