DE69411257T2

DE69411257T2 - Verfahren und Vorrichtung zum Detektieren eines Videoschnitts

Info

Publication number: DE69411257T2
Application number: DE69411257T
Authority: DE
Inventors: Yukinobu Yokohama-Shi Kanagawa Taniguchi; Yoshinobu Yokohama-Shi Kanagawa Tonomura
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1993-12-17
Filing date: 1994-12-16
Publication date: 1998-12-17
Anticipated expiration: 2014-12-17
Also published as: EP0659016A3; US5642294A; EP0659016B1; EP0659016A2; DE69411257D1

Description

HINTERGRUND DER ERFINDUNG

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur Videoschnitterfassung und insbesondere ein Verfahren sowie eine Vorrichtung zur Erfassung von Schnittpunkten (Punkten, an denen Szenen welchseln) aus einer Mehrzahl von Bilddatensequenzen.
Ein Punkt des Wechsels einer Szene im Video durch eine Kamera-an-aus-Operation oder eine Schneidepause (einschließlich Überblendung, Wischen oder dergleichen) beim Videoeditieren wird gewöhnlich als ein Schneidepunkt bezeichnet. Kameraoperationen (Schwenken, Zoomen usw.) sowie Objektbewegungen im Video werden nicht als Schnitte angesehen. Die Erfassung derartiger Videoschneidepunkte wird auch als Szenenänderungserfassung bezeichnet, und es wurden verschiedene Verfahren vorgeschlagen.
Ein typisches vorgeschlagenes Verfahren ist ein Verfahren, bei dem Intensitätsdifferenzen zwischen zwei zeitlich aufeinanderfolgenden Bildern It und It-1 in einer Sequenz aufgenommener Bilder an ihren jeweiligen entsprechenden Pixeln berechnet werden, und wenn die Summe von Absolutwerten der Intensitätsdifferenzen über den gesamten Rahmen (wobei die Summe gewöhnlich als Rahmen-zu-Rahmen-Differenz bezeichnet wird), repräsentiert durch D(t), größer als ein gegebener Schwellenwert ist, wird t als ein Schneidepunkt angesehen (Otsuji, Tonomura und Ohba, "Motion Picture Browsing Using Intensity Information," Technical Report of Institute of Electronics, Information and Communication Engineers of Japan, IE90-103, 1991), vgl. diesbezüglich auch US-A-5 083 860. In diesem Beispiel können manchmal ein Pixelhängebereich, eine Intensitätshistogrammdifferenz, eine blockweise Farbkorrelation oder eine χ²-Testgröße anstatt der Rahmen-zu-Rahmen-Differenz als D(t) verwendet werden (Otsuji und Tonomura, "Studies of Automatic Video Cut Detection Method," Technical Report of Institute of Television Engineers of Japan, Bd. 16, Nr. 43, S. 7 - 12). Dieses Verfahren weist den Nachteil auf, fälschlicherweise eine schnelle Objektbewegung oder ein Blitzlicht im Video als einen Schnitt zu erfassen.
Es wurde auch ein Verfahren vorgeschlagen, bei dem die Rahmen-zu-Rahmen-Differenz D(t) nicht direkt mit dem Schwellenwert verarbeitet wird, sondern ein durch Verarbeitung der Rahmen-zu- Rahmen-Differenz D(t) mit verschiedenen Zeitfiltern erhaltener Wert der Schwellenwertverarbeitung unterzogen wird (K. Otsuji und Y. Tonomura, "Projection Detecting Filter for Video Cut Detection," Proc. of ACM Multimedia 93, 1993, S. 251 - 257). Dieses Verfahren ist fast frei vom Problem der falschen Erfassung einer schnellen Objektbewegung oder eines Blitzlichts im Video.
Der Stand der Technik weist die nachfolgend aufgeführten Probleme auf.
Ein erstes Problem ist die Unfähigkeit der Erfassung zeitlich langsamer Szenenänderungen. Der Grund hierfür liegt darin, daß gemäß dem herkömmlichen Schneidepunkterfassungsverfahren die ein Szenenänderungsverhältnis repräsentierende Größe nur aus zwei zeitlich aufeinanderfolgenden Rahmen (Einzelbildern) berechnet wird und somit eine Langzeit-Szenenänderung nicht wesentlich reflektiert.
Typische langsame Szenenänderungen oder -übergänge sind Spezialeffekte, die in Videos in ihrer Editierstufe eingefügt werden, wie beispielsweise Einblenden, Ausbienden, Überblenden und Wischen. Das Einblenden ist eine Technik, die den Videosignalpegel allmählich erhöht, um zu bewirken, daß ein Bild nach und nach erscheint. Das Ausblenden ist eine Technik, das den Videosignalpegel allmählich senkt, um zu bewirken, daß ein Bild nach und nach verschwindet. Das Überblenden ist eine Technik, die zum Zeitpunkt des Übergangs von einer Szene A zu B den Videosignalpegel der Szene A senkt, während gleichzeitig der Videosignalpegel der Szene B erhöht wird, wodurch bewirkt wird, daß die Szene A in die Szene B überblendet. Das Wischen ist eine Technik, die das Bild der Szene A nach und nach auswischt, während gleichzeitig das Bild der Szene B zum Erscheinen gebracht wird. Da sich bei diesen Spezialeffekten Szenen langsam ändern (der vollständige Wechsel einer Szene dauert beispielsweise ca. eine Sekunde), kann die Änderung durch das herkömmliche Verfahren des Vergleichens zweier zeitlich aufeinanderfolgender Bilder oder Rahmen (etwa 1/30 s beabstandet) nicht erfaßt werden. Der Grund hierfür liegt darin, daß die Differenz zwischen zwei derartigen zeitlich aufeinanderfolgenden Bildern in der langsamen Szenenänderung so klein ist, daß es schwer ist zu diskriminieren, ob die Differenz dem Rauschen oder der Szenenänderung zuzuordnen ist.
Ein zweites Problem ist die Falscherfassung von Blitzlicht in Video als einen Schneidepunkt. Wenn ein Blitz verwendet wird, steigt der Intensitätspegel des Bilds plötzlich an, und deshalb steigt die Intensitätsdifferenz zwischen den Bildern vor und nach Benutzung des Blitzes abrupt an. Somit wird bei dem herkömmlichen Schneidepunkterfassungsschema, das ein plötzliches Ansteigen in der Intensitätsdifferenz als einen Schneidepunkt ansieht, das Blitzlicht fälschlicherweise als ein Schneidepunkt erfaßt.
Ein drittes Problem ist die Nichterfassung von Schneidepunkten in einem auf Video- oder Fernsehstandard transformierten Video. Die Fernsehstandard-Transformation ist eine Film-Video- Umwandlung, die für die Fernsehausstrahlung eines auf Film gespeicherten Videos die Rahmenrate des Films (24 Rahmen/s) in die Rahmenrate des Fernsehsignals (30 Rahmen/s) umwandelt. Bei einigen Fernsehstandard-Transformationsschemata wird alle vier Rahmen ein Rahmen hinzugefügt. Da der Rahmen, der in diesem Fall hinzugefügt wird, durch Kombinieren von Feldern von Bildern vor und nach dem Rahmen erzeugt wird, wird die Bildänderung klein, und das traditionelle Schneidepunkterfassungsverfahren ist dafür anfällig, die Nichterfassung des Schnitts aus denselben Gründen herbeizuführen, wie sie vorstehend unter Bezug auf das Überblenden angegeben sind.
Um das vorgenannte zweite und das dritte Problem zu lösen, wurde ein Verfahren zum Verhindern der Falscherfassung und Nichterfassung von Schneidepunkten durch Verwendung eines Zeitfilters vorgeschlagen. Bei der Auslegung dieses Zeitfilters ist es jedoch erforderlich, vorab zu überprüfen, welche Art von Video zu behandeln ist; somit ist dieses Verfahren nicht für eine Echtzeitverarbeitung geeignet und anfällig für die Falscherfassung von Blitzlicht in einem auf Fernsehstand ard transformierten Video.

Zusammenfassung der Erfindung

Es ist demzufolge eine Aufgabe der vorliegenden Erfindung, ein Verfahren und eine Vorrichtung zur Videoschneidepunkterfassung zu schaffen, die die Erfassung zeitlich langsamer Szenenänderungen ermöglichen und eine Echtzeitverarbeitung eines auf Fernsehstandard transformierten Videos und eines ein Blitzlicht enthaltenden Videos durch dasselbe Schema erlauben.
Um die obige Aufgabe zu lösen, wird bei dem Videoschneidepunkterfassungsverfahren gemäß der vorliegenden Erfindung der Abstand d(t-i, t-j), zwischen Bilddaten It-i und It-j jedes Paars aus einem Bild It zum aktuellen (momentanen) Zeitpunkt t und Bildern von J vorhergehenden Rahmen in einer eingegebenen Bilddatensequenz, die die Bedingung 0 ≤ i < j ≤ J erfüllen, berechnet und eine Abstandstabelle angefertigt, in der solche Abstände gespeichert sind. Die Abstände d(ti, t-j) in der Abstandstabelle werden dazu verwendet, das Szenenänderungsverhältnis C(t-jc) einer Sequenz von einen Rahmen jc enthaltenden Bildern vom Rahmen (t-J) bis t als das Szenenänderungsverhältnis im Rahmen (t-jc) zu berechnen, und das derart erhaltene Szenenänderungsverhältnis C(t-jc) wird mit einem vorbestimmten Schwellenwert verglichen, um zu bestimmen, ob der Rahmen (t-jc) ein Schneidepunkt ist.
Die Vorrichtung zur Videoschneidepunkterfassung gemäß der vorliegenden Erfindung umfaßt: eine Pufferspeicheranordnung zum sequentiellen Puffern von Bilddaten von zumindest J + 1 zeitlich aufeinanderfolgenden Rahmen; eine Bild-zu-Bild-Abstandsrechenanordnung zum Berechnen des Abstands zwischen den Bilddaten zweier Bilder It-i und It-j in den vorstehenden Bilddaten It, It-1, ..., It-J beim aktuellen Rahmen t und den J vorhergehenden Rahmen in der Pufferspeicheranordnung, die die Bedingung 0 ≤ i < j ≤ J erfüllen; eine Abstandstabellenanordnung zum Speichern derartiger durch die Bild-zu-Bild-Abstandsrechenanordnung berechneter Bild-zu-Bild- Abstände; eine Szenenänderungsverhältnisrechenanordnung, die auf die Abstandstabellenanordnung zugreift, um das Szenenänderungsverhältnis von einem Rahmen (t-j) zum aktuellen Rahmen t als das Szenenänderungsverhältnis in einem Rahmen (t-jc) zu berechnen; und eine Entscheidungsanordnung zum Vergleichen des so berechneten Szenenänderungsverhältnisses mit einem vorbestimmten Schwellenwert, um zu bestimmen, ob der Rahmen (t-jc) ein Schneidepunkt ist.
Gemäß der vorliegenden Erfindung wird das Szenenänderungsverhältnis C(t-jc) unter Berücksichtigung des Rahmendifferenzbereichs zwischen zwei zeitlich auseinanderliegenden Bildern sowie demjenigen zwischen zwei zeitlich aufeinanderfolgenden Bildern berechnet. Dies gewährleistet eine stabile Erfassung von Schneidepunkten. Nun sei angenommen, daß eine Szene zum Zeitpunkt eines Bilds * in einer Bilddatensequenz A-B-*-D-E geändert wurde, die Bilder A und B vor dem Schnitt einander ähnlich sind und die Bilder *, D und E nach dem Schnitt einander ebenfalls ähnlich sind; somit sind der Abstand d(A,B), d(*,E) und d(D,E) klein, während die Abstände d(A,*), d(A,D), d(A,E), d(B,*), d(B,D) und d(B,E) über das Bild * groß sind. Es ist möglich, die Schnitterfassung durch Berechnen des Szenenänderungsverhältnisses unter Verwendung dieser Eigenschaft zu erzielen.
Bei einem derartigen Schema kann, wenn sich eine Szene zeitlich langsam durch einen Effekt wie Ein/Ausblenden, Überblenden oder Wischen ändert, der Szenenübergang erfaßt werden. Das heißt, bei der eine zeitlich langsame Szenenänderung enthaltenden Bildsequenz A-B-*-D-E nehmen die Abstände oder Rahmendifferenzen d(A,D), d(A,B), d(B,D) und d(B,E) zwischen zwei zeitlich auseinanderliegenden Bildern große werte an; der Szenenübergang kann durch Verwendung dieser Eigenschaft sicher erfaßt werden.
Die vorliegende Erfindung schließt außerdem die Möglichkeit einer falschen Erfassung von Blitzlicht in einem Video als einen Schnitt aus. Unter der Annahme, daß eine Blitzlicht enthaltende Bilddatensequenz aus Bildern A, B, *, D, E, ... zusammengesetzt ist und daß das Bild * aufgrund des Blitzlichts heller als die anderen Bilder A, B, D und E ist, ist der Abstand d(A,B) zwischen den Bildern A und B klein, aber da der Intensitätspegel des Bilds * höher als jene der Bilder B und D ist, nehmen die Abstände d(B,*) und d(*,D) große werte an. Einige der herkömmlichen Verfahren legen den Schneidepunkt in Abhängigkeit davon fest, ob der Abstand d(B,*) größer als ein bestimmter Schwellenwert ist, und weisen somit den Nachteil auf, Blitzlicht fälschlicherweise als den Schneidepunkt zu erfassen. Der Abstand d(B,*) ist auch am Schneidepunkt groß, es ist jedoch eine charakteristische Eigenschaft von Blitzlicht, daß der Abstand d(*,D) einen großen Wert annimmt; die Verwendung dieser Eigenschaft erlaubt eine Unterscheidung zwischen dem Schneidepunkt und Blitzlicht und verhindert deshalb eine Nichterkennung des Schneidepunkts.
Die vorliegende Erfindung eliminiert darüber hinaus die Möglichkeit einer Nichterfassung in einem auf Fernsehstandard transformierten Video. Unter der Annahme, daß von den auf Fernsehstandard transformierten Bildern A, B, *, D, E die Bilder A, B und die Bilder *, D, E verschiedene Szenen sind, gibt es einen Fall, daß das Bild * durch Superponieren der Bilder B und E für die Fernsehstandard-Transformation hergestellt ist, in dem der Stand der Technik oft versagt, einen Szenenwechsel oder -übergang zu erfassen. Der Grund hierfür liegt darin, daß die Abstände d(A,B), d(B,*), ..., d(D,E) zwischen benachbarten Bildern anders als bei gewöhnlichen Schnitten nicht plötzlich ansteigen und kleiner als ein vorbestimmter Schwellenwert bleiben. In diesem Fall ist jedoch durch Berücksichtigung der Tatsache, daß der Abstand d(B,D) über das Bild * groß wird, ersichtlich, daß der Zeitpunkt * ein Schneidepunkt ist.

KURZE BESCHREIBUNG DER ZEICHNUNGEN

Fig. 1 ist ein Blockschaltbild, das den Aufbau der Vorrichtung zur Schnitterfassung gemäß der vorliegenden Erfindung hinsichtlich ihres Funktionsprinzips darstellt;
Fig. 2 ist ein Diagramm, das eine einen Schnitt enthaltende Bildsequenz zeigt;
Fig. 3A ist ein Graph, der ein Beispiel des Histogramms von Differenzen zwischen zwei Bildern ohne zwischen ihnen vorhandenem Schnitt zeigt;
Fig. 3B ist ein Graph, der ein Beispiel des Histogramms von Differenzen zwischen zwei Bildern mit einem zwischen ihnen vorhandenen Schnitt zeigt;
Fig. 4 ist ein Diagramm zur Erläuterung der Blockübereinstimmung zwischen zwei Bildern;
Fig. 5 ist ein Diagramm, das ein Beispiel einer unter Vewendung der in Fig. 2 gezeigten Bildsequenz gebildeten Abstandstabelle zeigt;
Fig. 6 ist ein Diagramm zur Erläuterung einer Eigenschaft der Abstandstabelle;
Fig. 7 ist ein Diagramm, das ein Beispiel einer ein Blitzbild enthaltenden Bildsequenz zeigt;
Fig. 8 ist ein Diagramm, das ein Beispiel einer mit der in Fig. 7 dargestellten Bildsequenz erzeugten Abstandstabelle zeigt;
Fig. 9 ist ein Diagramm zur Erläuterung einer Eigenschaft der in Fig. 8 gezeigten Abstandstabelle;
Fig. 10 ist ein Diagramm, das ein Beispiel einer einen Schnitt enthaltenden, auf Fernsehstandard transformierten Bildsequenz zeigt;
Fig. 11 ist ein Diagramm, das ein Beispiel einer mit der in Fig. 10 dargestellten Bildsequenz erzeugten Abstandstabelle zeigt;
Fig. 12 ist ein Diagramm zur Erläuterung einer Eigenschaft der in Fig. 11 gezeigten Abstandstabelle;
Fig. 13 ist ein Diagramm, das ein Beispiel einer eine Überblendung enthaltenden Bildsequenz zeigt;
Fig. 14 ist ein Diagramm, das ein Beispiel einer mit der in Fig. 13 dargestellten Bildsequenz erzeugten Abstandstabelle zeigt;
Fig. 15 ist ein Diagramm zur Erläuterung einer Eigenschaft der in Fig. 14 gezeigten Abstandstabelle;
Fig. 16 ist ein Diagramm zur Erläuterung eines Beispiels eines Verfahrens zum Erhalten des Szenenänderungsverhältnisses aus der Abstandstabelle;
Fig. 17 ist ein Diagramm zur Erläuterung eines Verfahrens zum Erhalten des Szenenänderungsverhältnisses mit der Abstandstabelle, in der gilt J = 5;
Fig. 18 ist ein Flußdiagramm, das die Prozedur des Schnitterfassungsverfahrens gemäß der vorliegenden Erfindung darstellt;
Fig. 19A ist ein Diagramm, das eine Schablone zur Verwendung bei der Erfassung eines plötzlichen Schnitts zeigt;
Fig. 19B ist ein Diagramm, das eine Schablone zur Verwendung bei der Erfassung einer Überblendung zeigt;
Fig. 19C ist ein Diagramm, das eine Schablone zur Verwendung bei der Erfassung eines Blitzes zeigt;
Fig. 20 ist ein Diagramm, das eine Abstandstabelle für den Vergleich mit einer Schablone zeigt;
Fig. 21 ist ein Flußdiagramm, das die Prozedur eines Verfahrens zum Erfassen einer gewünschten Szenenänderung unter Verwendung einer Schablone zeigt;
Fig. 22 ist ein Blockschaltbild, das ein anderes Beispiel der Vorrichtung zur Schnitterfassung gemäß der vorliegenden Erfindung zeigt;
Fig. 23 ist ein Diagramm zur Erläuterung der Erzeugung der Abstandstabelle; und
Fig. 24 ist ein Blockschaltbild, das ein weiteres Beispiel der Vorrichtung zur Schnitterfassung gemäß der vorliegenden Erfindung zeigt.

BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN

Eine Ausführungsform der vorliegenden Erfindung wird nachstehend unter Bezug auf die begleitenden Zeichnungen beschrieben.
Fig. 1 stellt in Blockform die grundlegende Konfiguration der vorliegenden Erfindung dar. In Fig. 1 wird eine mit einer geeigneten Abtastrate von einer Bildsignalquelle (nicht gezeigt) empfangene Sequenz von Bilddaten I&sub0;, I&sub1;, It in einen Pufferspeicher 11 eingegeben. Die für einen jeweiligen Rahmen empfangenen Bilddaten werden nachstehend als Bilddaten eines Rahmens bezeichnet, und den Bilddaten einer derartigen Sequenz von Rahmen wird eine Sequenz von Rahmennummern entsprechend diskreten Zeitpunkten 0, 1, ..., t-1, t zugeordnet. Die Bildabtastrate, das Bildformat und die Bildgröße können beliebig sein. Das heißt, das NTSC-Standardvideosignal kann mit einer Rate von 30 Rahmen/s oder einer niedrigeren Abtastrate abgetastet werden. Die Bilddatensequenz kann aus analogen Signalen wie bei NTSC oder digitalen Signalen gebildet sein. Die externe Bildsignalquelle kann eine Bilddatei sein, die in einem Speicher wie einer Festplatte oder einer CD-ROM gespeichert ist. Die Bilddatenrahmen I&sub0;, I&sub1;, ... werden sequentiell in den Pufferspeicher 11 eingegeben, der immer J + 1 Rahmen von Bilddaten It, It-1, ..., It-J am aktuellen Punkt t bis zum von ihm zurückliegenden J-ten vorübergehend puffert. Der Pufferspeicher 11 kann beispielsweise aus einer Schiebepufferanordnung gebildet sein, und er puffert die eingegebenen Rahmen von Bilddaten, während er sie Rahmen um Rahmen verschiebt und den älteren Rahmen von Bilddaten verwirft. Demzufolge enthält der Pufferspeicher 11 immer eine vorbestimmte Anzahl an Rahmen von Bilddaten in der Reihenfolge ihrer Eingabe. Der Pufferspeicher 11 kann übrigens auch von der Art sein, die Sekundärdaten speichert, welche durch Verarbeiten von Bilddaten der einzelnen Rahmen erhalten werden, wie beispielsweise Intensitätshistogramm- oder Farbhistogrammdaten oder Randinformation. Die hier genannten Bilddaten können sich im allgemeinen auch auf derartige Sekundärdaten beziehen.
Ein Biid-zu-Bild-Abstandsrechenteil 12 berechnet bei jeder Eingabe von Bilddaten It in es den Abstand zwischen zwei Rahmen von Bilddaten It-i und It-j das heißt, beispielsweise den Bild-zu- Bild-Abstand d(t-i, t-j) für i = 0 und j = 1, 2, ..., J, wie später beschrieben wird. Der Bild-zu-Bild- Abstand (IID) ist eine Größe, die das repräsentiert, was als "Differenz" zwischen zwei Bildern bezeichnet wird; wenn die zwei Bilder It-i und It-j exakt gleich sind, gilt d(t-i, t-j) = 0, und je größer die "Differenz" ist, desto größer wird der wert, den der Abstand annimmt. Der Bild-zu- Bild-Abstand d(t-i, t-j), der aus dem Bild-zu-Bild-Abstandsrechenteil 12 ausgegeben wird, wird in einem Abstandstabellenspeicherteil 13 gespeichert. Bei jedem Schreiben der Bilddaten It eines neuen Rahmens in den Pufferspeicher 11 berechnet der Bild-zu-Biid-Abstandsrechenteil 12 den Bild-zu-Bild-Abstand zwischen den eingegebenen Bilddaten It und jedem der Bilder It-1, It-2, ... der im Pufferspeicher 11 gespeicherten anderen Rahmen und aktualisiert den Inhalt des Abstandstabellenteils 13. Der Abstandstabellenspeicherteil 13 enthält vorübergehend den für i und j berechneten Abstand d(t-i, t-j) zwischen jedem Paar von Bildern, das die Bedingung 0 ≤ i < j ≤ J zum selben Zeitpunkt (der Rahmennummer) t erfüllt. In der nachstehend angegebenen Beschreibung wird die Abstandstabelle, die im Abstandstabellenspeicherteil 13 erzeugt wird, ebenfalls mit derselben Bezugszahl 13 bezeichnet. Fig. 1 zeigt den Fall für J = 3. Die Bild-zu- Bild-Abstände d(t-i, t-j), die in dem Abstandsrechenteil 12 für i = 0 und j = 1, 2, ..., J bei jeder Eingabe des neuen Bilds It in den Pufferspeicher 11 berechnet werden, werden an jeweiligen Positionen (0, j) (entsprechend Adressen des Tabellenspeicherteils 13) in die Abstandstabelle 13 geschrieben, während gleichzeitig alle Abstandsdaten d(t-i, t-j), die bis dahin durch die Position (i, j) in der Abstandstabelle 13 spezifiziert waren, an eine Position (i + 1, j + 1) in der Abstandstabelle 13 verschoben werden, und die Daten, deren verschobene Position (i + 1, j + 1) außerhalb des Bereichs von 0 ≤ i + 1 < j + 1 ≤ J liegt, werden verworfen.
Ein Szenenänderungsverhältnisrechenteil 14 berechnet ein Szenenänderungsverhältnis C(t-jc) unter Zugriff auf die Abstandstabelle 13. Das Szenenänderungsverhältnis C(t-jc) ist eine Größe, die die Sicherheit des sogenannten Schneidepunkts repräsentiert; in der Ausführungsform nimmt das Szenenänderungsverhältnis einen wert im Bereich von -1 bis 1 an, und je näher es bei 1 liegt, destö höher ist die Wahrscheinlichkeit eines Schnitts. Wenn das Szenenänderungsverhältnis C(t-jc) größer als ein gegebener Schwellenwert ist, entscheidet der Entscheidungsteil 1 5, daß der Rahmen tic ein Schneidepunkt ist. Als die Funktion, die das Szenenänderungsverhältnis definiert, wird eine Optimumfunktion nach Maßgabe der Art von zu bearbeitenden Schnitten gewählt, wie später beschrieben wird.
Eine Beschreibung von Funktionsweisen des Bild-zu-Bild-Abstand rechenteils 12, des Abstandstabellenspeicherteils 13 und des Szenenänderungsverhältnisrechenteils 14 wird auf der Basis ihrer speziellen Betriebsbeispiele angegeben.
Es sei nun angenommen, daß die zum aktuellen Zeitpunkt t im Pufferspeicher 11 gehaltenen Rahmen-um-Rahmen-Bilddaten It-7, It-6, ..., It die in Fig. 2 gezeigte Sequenz aufweisen. In Fig. 2 sind die Rahmen It-7, It-8, It-5 und It-4 jeweils ein Bild, das über die gesamte Fläche des Rahmens schwarz ist (wobei der Intensitätswert jedes Pixels den Minimalwert 0 aufweist). Die Rahmen It-3, It-2, It-1 und It sind jeweils ein Bild, das über die gesamte Fläche des Rahmens weiß ist (wobei der Intensitätswert jedes Pixels den Maximalwert BMAX aufweist). In diesem Fall ist die Rahmennummer (entsprechend dem Zeitpunkt) t-3 entsprechend dem Bild It-3 ein Schneidepunkt tc.
Zunächst werden einige Beispiele von Funktionen beschrieben, die dazu verwendet werden, den Bild-zu-Bild-Abstand zu definieren, der im Bild-zu-Bild-Abstandsrechenteil 12 berechnet wird.
Eine erste Abstandsfunktion verwendet die folgende Gesamtsumme von Absolutwerten von Rahmen-zu-Rahmen-Abständen an allen Pixelpositionen (x, y):
wobei P die Gesamtanzah an einen Rahmenbereich bildenden Pixeln ist und Ii(x, y) sowie Ij(x, y) lntensitätswerte an Pixeln (x, y) der Bilder It-i sowie It-j sind. In diesem Beispiel ist die Gesamtsumme der Rahmen-zu-Rahmen-Abstände durch die Helligkeit für den Fall normiert, in dem alle Pixel den maximalen Intensitätswert BMAX aufweisen. Folglich liegt der Abstand innerhalb des Bereichs von 0 ≤ d(t-i, t-j) ≤ 1. Beispielsweise wird durch Setzen von BMAX = 255 der Abstand zwischen den Bildern I&sub0; und I&sub4; in Fig. 2 zu d(t, t-4) = Σx,y 0 - BMAX (BMAX x P) = 1,0 berechnet.
Eine zweite Abstandsfunktion ist durch ein Verfahren inplementiert, das Intensitäts- oder Farbhistogramme zweier Bilder vergleicht. Das Intensitätshistogramm stellt die Anzahl an Pixeln dar, die zur jeweiligen von N Klassen gehören, in die die Intensitätspegel von jeweiligen, das Bild eines Rahmens bildenden Pixeln klassifiziert sind, wobei die Anzahl an zu einer Klasse gehörenden Pixeln als Häufungswert oder Häufigkeit bezeichnet wird. Wenn das Intensitätshistogramm der Bilder It-i und It-j durch Hi(n) bzw. Hj(n) repräsentiert ist, wobei n = 1, 2, ..., N, wird die Abstandsfunktion durch die folgende Gleichung ausgedrückt:
wobei N die Schrittanzahl des Histogramms ist. Im Fall des Farbhistogramms ist, wenn die Histogramme von R-, G- und B-Signalpegeln durch HR(n), HG(n) bzw. HB(n) repräsentiert sind, der Bild-zu-Bild-Abstand durch die folgende Gleichung ausgedrückt:
Eine dritte Abstandsfunktion ist eine, die als d(t-i, t-j) eine statistische Größe verwendet, die eine Abweichung der Differenzen zwischen jeweiligen Pixeln der Bilder It-i und It-j vom Zentrum eines Differenzhistogramms repräsentiert. Zuerst wird eine Differenz δ(x, y) = Ii(x, y) - Ij(x, y) zwischen den zwei Bildern It-i und It-j für alle sie bildenden Pixel berechnet. Hier repräsentieren Ii(x, y) und Ij(x, y) Intensitätspegel an den Pixeln (x, y) der Bilder It-i bzw. It-j. In den Fig. 3A und 3B sind Beispiele dieses Differenzhistogramms gezeigt. Fig. 3A zeigt eine typische Histogrammkonfiguration in dem Fall, in dem die Bilder It-i und It-j zur gleichen Szene gehören, das heißt, wenn kein Schneidepunkt zwischen den zwei Bildern vorhanden ist. Wie in Fig. 3A dargestellt, sind Änderungen in den Intensitätspegeln an den meisten der Pixel selbst dann klein, wenn sich ein Gegenstand im Video ein wenig bewegt; somit konvergieren die Differenzen in der Nähe von Null, und der Häufungswert wird mit einer Zunahme des Abstands von Null kleiner. Fig. 3B zeigt ein Beispiel einer Histogrammkonfiguration in dem Fall, in dem ein Schneidepunkt zwischen den Bildern It-i und It-j vorhanden ist. Anders als in Fig. 3A weist das Histogramm keine steile Spitze in der Nähe von Null auf, sondern hat einen hohen, ausgebreiteten Schwanz; somit muß die Abstandsfunktion nur so definiert werden, daß der Bild-zu-Bild-Abstand umso größer wird, je höher der Schwanz des Histogramms ist. Um die statistische Größe zu implementieren, die den Abstand d(t-i, t-j) erhöht, wenn der Schwanz des Histogramms höher wird, kann eine Standardabweichung &epsi; der Differenzen δ(x, y) als die Abstandsfunktion verwendet werden, wie durch folgende Gleichung ausgedrückt ist:
wobei δ' der Mittelwert der Differenzen δ(x, y) für alle Pixel ist.
Eine vierte Abstandsfunktion ist eine, die als den Abstand einen Zählwert der Anzahl an Pixeln verwendet, wo die Absolutwerte der Differenzen δ(x, y) zwischen den Bildern It-i und It-j die Standardabweichung übersteigen, wie durch die folgende Gleichung ausgedrückt ist:
In diesem Beispiel ist die Abstandsfunktion im Zusammenhang mit dem Fall der Verwendung einer Standardabweichung &epsi; der Intensitätsdifferenzen zwischen den zwei Bildern It-i und It-j erläutert worden, aus der ein Bild-zu-Bild-Abstand zu bestimmen ist. Es ist jedoch auch möglich, eine Standardabweichung &epsi;m der Intensitätsdifferenzen δ(x, y) zwischen den Bildern It-i-m und It-j-m zu verwenden, die der m-te Rahmen sind, der den Bildern It-i und It-j vorausgeht, und den Bild-zu- Bild-Abstand als einen Zählwert der Pixel festzulegen, wo die Absolutwerte der Intensitätsdifferenzen zwischen den Bildern It-i und It-j &epsi;m übersteigen, wie durch
ausgedrückt ist, wobei m eine ganzzahlige Konstante größer oder gleich 1 ist. Es ist festzuhalten, daß, wenn m als 0 gewählt wird, der Ausdruck (5') dem Ausdruck (5) äquivalent wäre.
Eine fünfte Abstandsfunktion wird verwendet, um eine falsche Erfassung von Schnitten zu verhindern, die durch Verwackeln oder ruckartige Bewegung der Kamera verursacht wird. Die Standardabweichung &epsi;k der Differenzen δ(x, y) zwischen Bildern It-i-k und It-j-k, die mit einem Rahmenintervall (j-i) beabstandet sind, wird für jedes k = 1, 2,..., n (wobei n eine ganze Zahl größer oder gleich 1 und vorzugsweise etwa 4 oder 5 ist) berechnet. In diesem Fall ist der Abstand, der verwendet werden kann, ein Zählwert der Anzahl an Pixeln, wo die Differenzen δ(x, y) zwischen den Bildern It-i und I-j den Mittelwert T = Σk &epsi;k/n der Standardabweichungen &epsi;k übersteigen, wie durch die folgende Gleichung ausgedrückt ist:
Eine sechste Abstandsfunktion ist durch ein Verfahren implementiert, das das Bild It-i in Blöcke einer vorbestimmten Größe unterteilt, wie in Fig. 4 gezeigt, eine Überprüfung ausführt, um zu bestimmen, ob ein Bereich im Bild It-j vorhanden ist, mit dem jeder Block übereinstimmt, die Blöcke zählt, die mit keinem Bereich im Bild It-j übereinstimmen und den Zählwert als den Abstand d(t-i, t-j) verwendet. In anderen worten wird die Position auf dem Bild It-j, an die sich ein bestimmter Block des Bilds It-i bewegt hat, erfaßt und die Anzahl an Blöcken gezählt, von denen nicht erfaßt werden konnte, daß sie sich bewegt haben; dieser Zählwert wird als Abstand verwendet. Die Übereinstimmung jedes Blocks (p x q Pixel beispielsweise) im Bild It-i mit einem beliebigen Bereich auf dem Bild It-j ist durch eine nachstehend genannte Funktion definiert. Beispielsweise wird die Anordnung von Intensitätspegeln des Bereichs gleicher Größe auf dem Bild It-j zum Vergleichwert als ein weiterer Vektor verwendet, und der Abstand zwischen diesen zwei Vektoren wird durch die folgende Gleichung ausgedrückt:
Wenn der Abstand D kleiner als ein vorbestimmter Schwellenwert Dth ist, wird festgelegt, daß der Block und der Bereich miteinander übereinstimmen, während, wenn der Abstand D größer als der Schwellenwert Dth ist, festgelegt wird, daß sie nicht übereinstimmen. Bei jeder Überprüfung des Übereinstimmungsabstands wird der Bereich für den Vergleich auf dem Bild It-j um eine Schrittweite mit einer vorbestimmten Anzahl an Pixeln verschoben; dies wird über die gesamte Fläche des Bildes It-j wiederholt. Bezüglich der anderen Blöcke des Bilds It-i wird in ähnlicher Weise ebenfalls eine Überprüfung ausgeführt, um zu bestimmen, mit welcher Fläche im Bild It-j jeder Block übereinstimmt, und die Anzahl an Blöcken, die nicht übereinstimmen, wird als der Abstand zwischen den zwei Bildern verwendet. Dementsprechend kann der Bild-zu-Bild-Abstand durch die folgende Gleichung ausgedrückt werden:
Nachstehend folgt eine Beschreibung der Abstandstabelle 13. Die Abstandstabelle 13 ist eine tabellarische Darstellung des vom Bild-zu-Bild-Abstandsrechenteil 12 berechneten Bild-zu-Bild- Abstands d(t-i, t-j) in der Form einer J-(i = 0, ..., J-1 )-x-J-(j = 1, ..., J)-Matrix. Die Größe dieser Tabelle wird mit J bezeichnet. Die Abstandstabelle 13 erstreckt sich beispielsweise über einen hierfür zugewiesenen Bereich eines Speichers in einem Computer; für eine effiziente Verwendung des Speichers wird ein Datenbereich, der nicht mehr benötigt wird, verwendet, indem er mit neuen Abstandsdaten überschrieben wird.
Fig. 5 zeigt, als eine Tabelle, die zum Zeitpunkt t erhalten wird, Werte des Bild-zu-Bild-Abstands d(t-i, t-j) in der durch Gleichung (1) berechneten Bilddatensequenz von Fig. 2 für alle Paare ganzer Zahlen i und j innerhalb des Bereichs von 0 ≤ i < j ≤ 7. Die Verteilung der Bild-zu-Bild- Abstände d(t-i, t-j) weist im allgemeinen Symmetrie auf, und es gilt d(t-i, t-j) = d(t-j, t-i); somit ist in der Abstandstabelle von Fig. 5 keine Berechnung für den Bereich erforderlich, wo i > j gilt. Außerdem ist es möglich, nur diejenigen Abstände d(t-i, t-j) in der Abstandstabelle von Fig. 5 zu berechnen, die eine Bedingung wie 0 < j-i ≤ 3 erfüllen, wie später beschrieben wird.
Fig. 6 ist ein Diagramm, das eine Eigenschaft der in Fig. 5 dargestellten Abstandstabelle zeigt. Wenn der Zeitpunkt, das heißt die Rahmennummer, (t-jc) ein Schneidepunkt ist (jc = 4 in Fig. 5), weist die Abstandstabelle die Eigenschaft auf, daß die werte des Bild-zu-Bild-Abstands im Bereich A1 größer sind als jene in den Bereichen A2 und A3. Der Bereich A1 ist einer, der die Bedingung i < jc ≤ j erfüllt, und der Bild-zu-Bild-Abstand an der unteren linken Ecke des Bereichs entspricht d(t-jc-1, t-jc). Der Bereich A2 ist einer, der die Bedingung i < j ≤ jc-1 erfüllt, und der Bereich A3 die Bedingung jc ≤ i < j.
Fig. 7 zeigt ein weiteres Beispiel der Bilddatensequenz, in der in einem Bild It-4 entsprechend einem Rahmen (t-4) Blitzlicht vorhanden ist. Die Abstandstabelle, die durch Gleichung (1) für diese Bilddatensequenz zum Zeitpunkt t erhalten wird, ist wie in Fig. 8 gezeigt gebildet. Fig. 9 ist ein Diagramm zur Erläuterung der Eigenschaft dieser Abstandstabelle. Wenn Blitzlicht in einem Rahmen (t-jF) vorhanden ist, sind die Bild-zu-Bild-Abstandswerte in den Bereichen A1, A2 und A3 kleiner als in dem durch i = jF und j = jF definierten Bereich A4.
Fig. 10 zeigt ein anderes Beispiel der Bilddatensequenz, das einen Schnitt in einer auf Video- oder Fernsehstandard transformierten Bildsequenz enthält. In Fig. 10 ist das Bild des Rahmens (t- 4) eine superponierte Version der Bilder It-3 und It-5, und geradzahlige Felder bilden schwarz gestreifte Bilder und ungeradzahlige Felder weiß gestreifte Bilder. Fig. 11 zeigt die Abstandstabeile, die mit Gleichung (1) für die Bilddatensequenz zum Zeitpunkt t erhalten wird, und Fig. 12 ein Diagramm, das eine Eigenschaft dieser Abstandstabelle zeigt. Wenn ein solches defokussiertes, auf Fernsehstandard transformiertes Bild wie das Bild It-4 in einem Rahmen (t-jT) (jT = 4 in Fig. 10) vorhanden ist, sind die Bild-zu-Bild-Abstandswerte in den Bereichen A2 und A3 kleiner als jene im Bereich A1, und die Bild-zu-Bild-Abstandswerte in dem durch i = jT und j = jT definierten A4 liegen im wesentlichen zwischen den Werten in den Bereichen A2 und A3 und in dem Bereich A1, wie in Fig. 12 gezeigt.
Fig. 13 zeigt ein Beispiel einer Bilddatensequenz, die eine Überblendung enthält. In Fig. 13 sind die Bilder It-7 und It-6 Bilder, die über ihre gesamte Fläche schwarz sind, und die Bilder It-2, It-1 und It sind über ihre gesamte Fläche weiß; die Szene wird mit den dazwischenliegenden Bildern It-5, It- 4 und It-3 schrittweise heiter. Fig. 14 zeigt die Abstandstabelle, die mit Gleichung (1) für die Bilddatensequenz zum Zeitpunkt t erhalten wird, und Fig. 15 ein Diagramm, das deren Eigenschaft zeigt. Wenn sich die Szene mit der Zeit langsam ändert, tendiert der Bild-zu-Bild-Abstand dazu, mit einem Ansteigen der Entfernung von der oberen rechten Ecke des in Fig. 15 gezeigten Bereichs A zu sinken.
Es ist hier festzuhalten, daß die Biid-zu-Bild-Abstandsdaten d(t-i, t-j) an jeder Position (i, j) in der am Punkt t erzeugten Abstandstabelle identisch mit den Abstandsdaten an der Position (i-1, j-1) in der zum unmittelbar vorhergehenden Zeitpunkt (t-1) erzeugten Abstandstabelle sind, wie aus der Tatsache hervorgeht, daß die Abstandsdaten d(t-i, t-j) zu d(t-1-i+1, t-1-j+1) umgeschrieben werden können. Das heißt, bei jeder Aktualisierung der Zeit t werden die Bild-zu-Bild-Abstandsdaten d(t-i, t-j) an der Position (i, j) in der Abstandstabelle an die Position (i + 1, j + 1) verschoben, während gleichzeitig neue Abstandsdaten d(t, t-1), d(t, t-2), ..., d(t, t-J) an Positionen (0, 1), (0, 2), ..., (0, J) in der Tabelle geschrieben werden. In diesem Fall werden Daten, deren verschobene Position (i + 1, j + 1) außerhalb der Tabelle liegt, verworfen. Somit sind die Bild-zu- Bild-Abstände, die berechnet werden müssen, um die Abstandstabelle zu jedem Zeitpunkt t zu berechnen, nur d(t, t-1), d(t, t-2), ..., d(t, t-J).

[Szenenänderungsverhältnis]

Als nächstes wird der Szenenänderungsverhältnisrechenteil 14 beschrieben. Das Szenenände rungsverhältnis C(t-jc) wird mit einer vorbestimmten Funktion unter Verwendung von Daten der zum Zeitpunkt t mit Bildern von J vorhergehenden Rahmen erzeugten Bild-zu-Bild-Abstandstabelle berechnet. Das für den Zeitpunkt t berechnete Szenenänderungsverhältnis C(t-jc) ist eine Evaluierungsgröße, die dazu verwendet wird zu bestimmen, ob das Bild eines dem gegenwärtigen Zeitpunkt vorhergehenden jc-ten Rahmens ein Schnitt ist; wenn diese Größe größer ein vorbestimmter Schwellenwert Cth ist, wird festgelegt, daß das Bild ein Schnitt ist. Der Szenenänderungsverhältnisrechenteil 14 berechnet das Szenenänderungsverhältnis durch Verwendung der vorgenannten Eigenschaften, die die Abstandstabelle 13 für den Schneidepunkt, das Blitzlicht, die Fernsehstandard-Defokussierung und die langsame Szenenänderung aufweist. Der Entscheidungsteil 15 vergleicht das so berechnete Szenenänderungsverhältnis C(t-jc) mit dem Schwellenwert Cth, um zu ermitteln, ob der Rahmen (t-jc) ein Schnitt ist. Als nächstes werden Beispiele der Funktion beschrieben, die das Szenenänderungsverhältnis in dem Szenenänderungsverhältnisrechenteil 14 definieren. Im folgenden ist jc eine vorbestimmte feste ganze Zahl, die eine Bedingung 1 ≤ jc ≤ J erfüllt.
Wie aus der Abstandstabelle von Fig. 5, die mit der einen plötzlichen Schnitt enthaltenden Bildsequenz erzeugt ist, und der Abstandstabelle von Fig. 11, die mit der einen Schnitt enthaltenden, auf Fernsehstandard transformierten Bildsequenz erzeugt ist, ersichtlich ist, ist der Bild- zu-Bild-Abstandswert, wenn ein Szenenänderungspunkt (d.h. ein Schneidepunkt) vorhanden ist, im Bereich A1 der Tabelle groß, die Abstandswerte in den Bereichen A2 und A3 jedoch klein. Es wäre verständlich, daß die Abstandstabelle von Fig. 14 mit der eine Überblendung enthaltenden Bildsequenz ebenfalls dieselbe Tendenz wie vorstehend beschrieben aufweist, indem bei beiden Abstandstabellen dieselben Bereiche A1, A2 und A3 wie jene in den Fig. 6 und 12 angewendet werden. Im Gegensatz dazu sind in der Abstandstabelle von Fig. 8 für die ein Blitzlicht enthaltende Birdsequenz die Abstandswerte in den Bereichen A1, A2 und A3 alle im wesentlichen gleich. Dann wird unter Beachtung dieser Bereiche A1, A2 und A3 eine Abstandstabelle der Größe J, wie in Fig. 16 gezeigt, zum aktuellen Zeitpunkt 1 mit Bildern von J vorherigen Rahmen innerhalb der Bereiche von 0 ≤ i < j ≤ J und j-i ≤ g gebildet, wobei g eine vorbestimmte feste ganze Zahl ist, die eine Bedingung 0 < g ≤ J erfüllt. Fig. 16 zeigt den Fall, wo g = jc-1. Der Wert jc wird beispielsweise auf die kleinste ganze Zahl größer als J/2 gesetzt. In dieser Abstandstabelle sind die Funktionen für das Szenenänderungsverhältnis wie folgt definiert:
Obenstehend ist a(jc) die Summe aller durch Kreuze im Bereich A1 bezeichneter Bild-zu-Bild- Abstände, b(jc) die Summe aller durch Dreiecke im Bereich A2 bezeichneter Bild-zu-Bild-Abstände und b'(jc) die Summe aller durch Dreiecke im Bereich A3 bezeichneter Bild-zu-Bild-Abstände. MAX[b(jc), b'(c)] steht dafir, daß der größere der werte b(jc) und b'(jc) verwendet wird. S repräsentiert die Abstandsdatenanzahl (die Anzahl an Kreuzen) im Bereich A1; im Beispiel von Fig. 16 gilt S = (jc-1)jc/2. Wenn J eine ungerade Zahl ist, weisen die Bereiche A2 und A3 dieselbe Anzahl an Abstandsdaten auf. β ist ein Koeffizient, der dazu verwendet wird, die Datenanzahl S im Bereich A1 äquivalent zur Datenanzahl im Bereich A2 oder A3 zu machen. Gemäß der Anordnung der Bereiche A1, A2 und A3 in Fig. 16 sind, wenn J ungerade ist, die Datenanzahlen in den Bereichen A1, A2 und A3 alle gleich; somit gilt β = 1.
-Wenn g = J, wird der gesamte Bereich der Abstandstabelle einschließlich der oberen rechten Ecke (0, J) verwendet. In einem derartigen Fall gilt S = jc(J-jc + 1), und β = 2(J-jc + 1)/(jc-1) ist etwa 2. Im Bereich A1 der in den Fig. 2, 10 und 13 gezeigten Abstandstabellen sind die Abstandswerte über nahezu den ganzen Bereich groß; selbst wenn der Eckbereich mit einer bestimmten Größe einschließlich der Position (0, J) an der oberen rechten Ecke entfernt wird, indem g so gewählt wird, daß g kleiner als J ist, ist es somit möglich, die Eigenschaft beizubehalten, daß der Abstandswert im Bereich A1 größer als jene in den Bereichen A2 und A3 ist. Somit ermöglicht Gleichung (8) die Erfassung eines Schnitts. Die Verteilung von Abstandswerten wird bei jeder Aktualisierung der Zeit 1 um einen Schritt in die Richtung nach unten rechts verschoben, wie vorstehend ausgeführt, und somit sind, wenn g kleiner als J ist, die Bild-zu-Bild- Abstände, die für die Erzeugung der Abstandstabelle bei jeder Aktualisierung der Zeit t berechnet werden müssen, nur g Abstandswerte d(t, t-1), d(t, t-2), ..., d(t, t-g); somit kann die Rechenmenge reduziert werden, ohne die Qualität der Schnitterfassung zu beeinträchtigen. Je kleiner der Wert g ist, desto stärker wird die erforderliche Rechenmenge reduziert, wenn jedoch der Wert g zu klein ist, steigt die Anzahl an Fehlern der Schnitterfassung, weshalb der Wert g vorzugsweise im Bereich von jc-1 ≤ g < J liegt.
Wenn das Szenenänderungsverhältnis C(t-jc), das durch Einsetzen der Daten der zum Zeitpunkt t erzeugten Abstandstabelle von Fig. 16 in Gleichung (8) erhalten wurde, größer als der vorbestimmte Schwellenwert Cth ist, wird festgelegt, daß eine Szenenänderung (oder Schnitt) im Bild des vorhergehenden Rahmens (t-jc) auftrat, welcher der jc-te vom aktuellen Zeitpunkt ist.
In Fig. 17 sind Beispiele der Bereiche A1, A2 und A3 auf der Abstandstabelle gezeigt, wenn J = 5 und g = jc = 3. Die Datenanzahl S im Bereich A1 beträgt 6, und die Datenanzahlen in den Bereichen A2 und A3 betragen jeweils 3, weshalb der Koeffizient β nur auf 2 gesetzt werden muß. Wie aus Fig. 17 ersichtlich ist, sind die Funktionen C(t-jc), a(jc), b(jc) und b'(jc) durch die folgenden Gleichungen gegeben:
Obenstehend ist a(jc) die Summe der zum in Fig. 17 gezeigten Bereich A1 gehörenden Abstände d(t-i, t-j), b(jc) die Summe der zum Bereich A2 gehörenden Abstände d(t-i, t-j) und b'(jc) die Summe der zum Bereich A3 gehörenden Abstände d(t-i, t-j). Wenn Gleichung (1) als Bild-zu-Bild- Abstandsfunktion verwendet wird, nimmt demzufolge das Szenenänderungsverhältnis C(t-jc) immer einen Wert im Bereich von -1 ≤ C(t-jc) ≤ 1 an.
Wenn der Rahmen (t-jc) einen Schneidepunkt aufweist, ist der Wert a(jc) wie vorstehend beschrieben größer als jene b(jc) und b'(jc), weshalb das Szenenänderungsverhältnis C(t-jc) einen positiven Wert annimmt. a(jc) ist in anderen Worten die Summe von Bild-zu-Bild-Abständen zwischen allen entsprechenden Pixeln zweier Bilder, die mit Intervallen von drei oder weniger Rahmen ausgewählt sind, eines aus den ersten drei und das andere aus den zweiten drei Bildern einer Sechs-Bilder-Folge, und wenn die Szene zum Zeitpunkt (t-jc) einer wesentlichen Änderung unterworfen war, sollte die Summe a(jc) groß sein. b(jc) ist die Summe der Abstände aller Paare von Bildern in insgesamt drei Bildern des ersten Rahmens (t-jc) und zwei ihm vorausgehenden Rahmen; je kleiner die Szenenänderung vor dem Rahmen (t-jc) ist, desto kleiner ist die Summe b(jc). b'(jc) ist die Summe der Abstände aller Bildpaare in drei Bildern nach dem Rahmen (t-jc), je kleiner die Szenenänderung nach dem Rahmen (t-jc) ist, desto kleiner ist die Summe b'(jc).
Um auf der Basis beispielsweise der Abstandstabelle von Fig. 17 konkrete Zahlenwerte in Gleichung (9) einzusetzen, wird die Bereichsmusterkarte von Fig. 17 auf die Tabelle von Fig. 5 gelegt, mit der Position (i, j) der ersteren an der Position (i, j) = (6, 7) der letzteren gehalten, und das zum Zeitpunkt (t-1) (jc = 3 in Fig. 17) erhältliche Szenenänderungsverhältnis C(t-jc) wird unter Verwendung der Daten in dem entsprechenden Bereich wie folgt berechnet:
Zum nächsten Zeitpunkt t wird die Bereichsmusterkarte von Fig. 17 um einen Schritt nach oben links verschoben. Als Ergebnis davon werden Datenelemente 0, 0, 1 an den Positionen (1, 2), (1, 3) und (1, 4) als die neuen Abstandsdaten an den Positionen (0, 1), (0, 2) und (0, 3) in Fig. 17 geschrieben. Das Szenenänderungsverhältnis in diesem Fall wird wie folgt berechnet:
In diesen zwei Rechenbeispielen ist der aus der Abstandstabelle zum Zeitpunkt (t-1) berechnete Wert des Szenenänderungsverhältnisses C(t-4) negativ, was angibt, daß kein Schnitt gefunden wurde. Im Gegensatz dazu ist das aus der Abstandstabelle zum Zeitpunkt t berechnete Szenenänderungsverhältnis 1; dies bedeutet, daß ein Schnitt in den dritten vorhergehenden Rahmen (t- 3) zum Zeitpunkt t erfaßt würde, wenn der Schwellenwert Cth auf 1/16 gesetzt ist. Der Schwellenwert Cth = 1/16 ist übrigens ein experimentell bestimmter Wert, um die Anzahl an Entscheidungsfehlern zu minimieren.
Wie aus diesem Beispiel ersichtlich ist, nimmt das Szenenänderungsverhältnis C(t-jc) am Schneidepunkt einen Wert in der Nähe von 1 an. Wenn beispielsweise außerdem ein Verwackeln oder Schwenken der Kamera (horizontale Kamerabewegung) im Video vorhanden ist, wird dies oft fälschlicherweise als ein Schneidepunkt erfaßt. Der Grund hierfür liegt darin, daß auch beim Vorhandensein eines Kameraverwackelns oder -schwenkens a(jc) einen großen Wert annimmt sowie b(jc) und b'(jc) ebenfalls große Werte annehmen; in Gleichung (2) löschen sie einander aus, was den Wert des Szenenänderungsverhältnisses C(t-jc) reduziert.
Um Schnitte in einer Sequenz tatsächlich eingegebener Bilder durch Anwendung von Gleichung (9) auf die Abstandstabelle von Fig. 17 zu erfassen, ist es erforderlich, daß die Bild-zu-Bild- Abstände d(t-i, t-j) in den in Fig. 17 gezeigten Bereichen A1, A2 und A3 immer nur in insgesamt sechs Rahmen bestimmt werden, die den aktuellen (t) und die fünf vorhergehenden umfassen; außerdem müssen bei jeder Aktualisierung des Zeitpunkts t nur die Bild-zu-Bild-Abstände an den Positionen (0, 1), (0, 2) und (0, 3) in Fig. 17 neu berechnet werden, und alle bis dahin gehaltenen Speicherelemente werden um einen Schritt nach unten rechts verschoben.
Nachstehend folgt eine Beschreibung der Szenenänderungsverhältnisse, die zu Zeitpunkten (t-1), t und (t + 1) erhalten werden können und mit Gleichung (9) durch Anwendung der vorgenannten Bereichsmusterkarte in Fig. 17 auf die Abstandstabelle von Fig. 8 berechnet werden, welche mit der Blitzlicht enthaltenden Bildsequenz von Fig. 7 erzeugt ist.
Wie aus dem Obenstehenden ersichtlich ist, sind in beiden Fällen der zu den Zeitpunkten (t-1) und t erhältlichen Szenenänderungsverhältnisse, da sich drei "1en" bei i = jF im Bereich A4 in Fig. 9 und drei von vier "1en" bei j = jF gegenseitig auslöschen, die Szenenänderungsverhältnisse C(t-4) und C(t-3) kleiner als der Schwellenwert 1/16; dadurch wird das Blitzlicht nicht fälschlicherweise als ein Schneidepunkt erfaßt. Beim Stand der Technik wird, da der Bild-zu-Bild- Abstand d(t-3, t-4) in Fig. 8 einen großen Wert annimmt, der Rahmen (t-4) oft fälschlicherweise als einen Schneidepunkt enthaltend festgelegt.
In dem Fall, in dem die Bildsequenz ein in Fig. 10 gezeigtes Fernsehstandard-defokussiertes Bild enthält, sind die Abstandswerte im Bereich A4 in Fig. 12 Zwischenwerte, da jedoch die Abstandswerte im Bereich A1 groß sind, nimmt das Szenenänderungsverhältnis C(t-jc) einen Wert in der Nähe von 1 an. Das Folgende sind die Szenenänderungsverhältnisse, die zu den Zeitpunkten (t-1), t und (t + 1) erhältlich sind und unter Verwendung von Gleichung (9) berechnet werden, wobei die Bereichsmusterkarte von Fig. 17 auf die Abstandstabelle von Fig. 11 an Zeitpositionen (t-1), t und (t + 1) auf dieselbe Weise wie vorstehend beschrieben gelegt wird.
Da C(t-3) > 1/16 und C(t-4) > 1/16, werden die Rahmen (t-3) und (t-4) korrekt als Schneidepunkte festgelegt. Das heißt, in diesem Beispiel erstreckt sich ein Schnitt über mehrere Rahmen. Wenn die Bild-zu-Bild-Abstände wie d(t-3, t-4) und d(t-4, t-5) in Fig. 11 klein sind, kann der Stand der Technik die Rahmen (t-4) und (t-5) oft nicht als Schneidepunkte erfassen.
-Wenn die Bildsequenz mehrere sich langsam ändernde Bilder enthält, wie bei der in Fig. 13 gezeigten Überblendung, nimmt der Abstandswert zur oberen rechten Ecke des in Fig. 15 gezeigten Bereichs A hin zu; die zu den Zeitpunkten (t-1), t und (t+1) erhältlichen und unter Verwendung von Gleichung (9) berechneten Szenenänderungsverhältnisse C(t-jc), mit der Bereichsmusterkarte von Fig. 17 auf die Abstandstabelle von Fig. 14 bei Zeitpunkten (t-1), t und (t + 1) auf dieselbe Weise wie vorstehend beschrieben gelegt, sind wie folgt:
Somit kann die Szenenänderung korrekt erfaßt werden.
Die folgende Gleichung (10) kann übrigens auch als Gleichung verwendet werden, die das Szenenänderungsverhältnis C(t-jc) definiert, das der Szenenänderungsverhältnisrechenteil 14 berechnet.
Fig. 18 ist ein Flußdiagramm, das eine Ausführungsform des Verfahrens für die Echtzeiterfassung von Videoschnitten in einer Eingangsbildsequenz gemäß der vorliegenden Erfindung zeigt. Die Echtzeitverarbeitung bedeutet die Fähigkeit, die Videoschnitterfassung während des Wiedergebens, Aufzeichnens und Übertragens von Videos bei einer Standardrate auszuführen. In der folgenden Beschreibung sind der Zeitpunkt 1 bei jeder Eingabe eines Bildrahmens und die Rahmennummern einer Sequenz von Bildern gleich, und die verwendete Abstandstabelle 13 ist dieselbe wie die in Fig. 17 gezeigte, bei der J = 5 und g = jc = 3.
In Schritt S1 wird der Zeitpunkt t auf 0 initialisiert. Das heißt, die Verarbeitungsstartzeit wird als angesehen. In Schritt S2 wird das Bild zum Zeitpunkt t in den Pufferspeicher 11 eingelesen. Diese Verarbeitung enthält die Vorverarbeitung der A/D-Umsetzung des Videosignals in verarbeitbare digitale Daten. In Schritt S3 werden die Daten d(t-i, t-j) an jeder Position (i, j) in den Datenbereichen A1, A2 und A3 in der Abstandstabelle an die Position (i + 1, j + 1) verschoben, wonach beispielsweise im Bild-zu-Bild-Abstandsrechenteil 12 Abstände d(t, t-j) für j = 1, 2, 3 unter Verwendung von Gleichung (1) berechnet werden, und dann werden die so berechneten Abstandswerte an Positionen (0, 1), (0, 2) und (0, 3) in der Abstandstabelle 13 gespeichert. Dieses Schema unterscheidet sich von dem Verfahren des Stands der Technik darin, daß die Abstände zwischen zeitlich auseinanderliegenden Bildern, wie beispielsweise d(t, t-2) und d(t, t- 3), sowie der Abstand d(t, t-1) zwischen zeitlich benachbarten Bildern berechnet und für die Schnitterfassung verwendet werden. In Schritt S4 werden die Daten der Abstandstabelle 13 dazu verwendet, das Szenenänderungsverhältnis C(t-3) im Szenenänderungsverhältnisrechenteil 14 beispielsweise unter Verwendung der Gleichung (9) zu berechnen. In Schritt S5 wird überprüft, um zu sehen, ob das Szenenänderungsverhältnis C(t-3) größer als der Schwellenwert 1/16 ist; falls es größer ist, wird festgelegt, daß der Rahmen (t-3) ein Schneidepunkt ist (Schritt S6), und falls nicht, wird festgelegt, daß der Rahmen (t-3) kein Schneidepunkt ist (Schritt S7). Danach wird der Zeitpunkt t um eins inkrementiert, und der Prozess kehrt zu Schritt S2 zurück.
Für den Fall der Berechnung des Szenenänderungsverhältnisses kann übrigens C(t-jc) nicht bis zum Zeitpunkt t erfaßt werden, wie aus dem Flußdiagramm von Fig. 18 ersichtlich, und deswegen ist eine zeitliche Verzögerung entsprechend jc Rahmen bei der Schneidepunkterfassung erforderlich, aber dies stellt in der Praxis kein Problem dar. Bei der tatsächlichen Verarbeitung von Fig. 18 werden die Berechnung des Szenenänderungsverhältnisses in Schritt S4 und die nachfolgenden Schritte S5 bis S7 nicht ausgeführt, bis die Bereiche A1, A2 und A3 der in Fig. 17 gezeigten Abstandstabelle gefüllt sind, indem die Schritte S2, S3 und S8 mit einer vorbestimmten Häufigkeit wiederholt werden. Im Fall von Fig. 17 sind die drei Bereiche der Abstandstabelle 13 mit Abstandsdaten gefüllt, wenn Bilder von 3 x 5 Rahmen nach der Eingabe des ersten Bildrahmens eingegeben sind. Da gewöhnlich kein Schnitt in den ersten zehn oder mehr Videorahmen zu erwarten sind, muß eine Schnitterfassung nicht immer bei den ersten zehn oder mehr Rahmen ausgeführt werden.
Nachstehend folgt eine Beschreibung eines anderen Beispiels der Funktion, die das Szenenänderungsverhältnis definiert. Wie vorstehend unter Bezug auf die Fig. 5, 8, 11 und 14 beschrieben, weisen die Bild-zu-Bild-Abstandsdaten in der Abstandstabelle eine charakteristische Verteilung nach Maßgabe der Art der in der Bildsequenz enthaltenen Szenenänderung auf. Dann wird eine Tabelle oder werden Tabellen der Abstandsdatenverteilungen, die typisch für eine oder mehrere Arten von Szenenänderungen (d.h. Schnitte) sind, welche erfaßt werden sollen, im Szenenänderungsverhältnisrechenteil 14 vorbereitet. Diese Tabellen werden nachstehend als Schablonen bezeichnet. Die Fig. 19A, 19B und 19C zeigen Beispiele einer Erfassungsschablone TCT(i, j) eines plötzlichen Schritts, einer Überblendungs-Erfassungsschablone TFD(i, j) und einer Blitzlicht- Erfassungsschablone TFL(i, j), die jeweils eine Größe von J = 5 aufweisen. Das Szenenänderungsverhältnis C(t-jc) in diesem Fall ist durch die Ähnlichkeit zwischen den einzelnen Schablonen und einer in Fig. 20 gezeigten Abstandstabelle definiert, die bei jeder Eingabe von Bilddaten io eines Rahmens erzeugt wird, und dieselbe Größe J wie die Schablone aufweist. Die Ähnlichkeit zwischen der Schablone und der vorgenannten Abstandstabelle wird durch einen Kreuzkorrelationskoeffizienten R(d, T) repräsentiert. Dies kann durch die folgende Gleichung ausgedrückt werden:
wobei i,j jedes Paar von werten sind, die 0 ≤ i < j ≤ J erfüllen, S die Anzahl derartiger Paare (i, j) ist und - der Summationsoperator für alle Paare (i, j) ist. Auch in diesem Fall können die Bereiche der Schablone und der Abstandstabelle durch j-i < g definiert werden, wobei 0 < g < J ist.
Der Szenenänderungsverhältnisrechenteil 14 berechnet als das Szenenänderungsverhältnis mit Gleichung (11) die Ähnlichkeit R(d, T) zwischen der Abstandstabelle wie in Fig. 20, die für jeden eingegebenen Bildrahmen erzeugt wird, und einem oder mehreren gewünschten der in Fig. 19A, 19B und 19C gezeigten Schablonen. Wenn der so berechnete Ähnlichkeitswert größer als ein vorbestimmter Schwellenwert Rth ist, wird festgelegt, daß die entsprechende Szenenänderung im Rahmen (t-jc) vorhanden ist.
Fig. 21 ist ein Flußdiagramm der Verarbeitung zur Erfassung, unter Verwendung der vorgenannten Schablonen, welche Szenenänderungen (oder Schnitte) in welchem Rahmen in der eingegebenen Bildsequenz vorhanden sind. Die grundlegende Prozedur ist dieselbe wie im Fall von Fig. 18. In diesem Fall ist jedoch ein Blitz als eines von in der Bildsequenz zu erfassenden Ereignissen hinzugefügt, obwohl er kein Schnitt ist. In Schritt S1 wird der Zeitpunkt t zu 0 initialisiert, und in Schritt S2 werden Bilddaten zum aktuellen Zeitpunkt t in den Pufferspeicher 11 eingelesen. In Schritt S3 werden die Abstandsdaten d(t-i, t-j) an jeder Position (i, j) in der Abstandstabelle an die Position (i + 1, j + 1) verschoben. Jene im Pufferspeicher 11 gehaltenen j + 1 Bildrahmen vom aktuellen bis zum J-ten vorhergehenden Rahmen werden dazu verwendet, die Bild-zu-Bild- Abstände d(t, t-j) (mit j = 1, 2, ..., J) auf der Basis von Gleichung (1) zu berechnen, und die so berechneten Abstandswerte werden an jeweiligen Positionen (i, j) in der Tabelle geschrieben. Auf diese Weise wird die Abstandstabelle zum aktuellen Zeitpunkt t erzeugt. In Schritt S4 wird die Ähnlichkeit zwischen der Erfassungsschablone eines plötzlichen Schnitts von Fig. 19A und der Abstandstabelle zum aktuellen Zeitpunkt unter Verwendung von Gleichung (11) berechnet. In Schritt S5 wird die so berechnete Ähnlichkeit mit dem vorbestimmten Schwellenwert Rth verglichen. Wenn ersterer kleiner als letzterer ist, dann wird festgelegt, daß kein plötzlicher Schnitt vorhanden ist, und der Prozess geht zu Schritt S6, in dem die Ähnlichkeit zwischen der Überblendungs-Erfassungsschablone von Fig. 19B und der Abstandstabelle zum aktuellen Zeitpunkt unter Verwendung von Gleichung (11) auf ähnliche Weise berechnet wird. In Schritt S7 wird die Ähnlichkeit der Abstandstabelle und der Überblendungs-Erfassungsschablone mit dem Schwellenwert Rth verglichen. Wenn die Ähnlichkeit kleiner als der Schwellenwert ist, wird festgelegt, daß keine Überblendung vorhanden ist, und der Prozess geht zu Schritt S8 weiter, in dem die Ähnlichkeit zwischen der Blitz-Erfassungsschablone von Fig. 19C und der Abstandstabelle zum aktuellen Zeitpunkt unter Verwendung von Gleichung (11) berechnet wird. In Schritt S9 wird die Ähnlichkeit der Abstandstabelle und der Blitz-Erfassungsschablone mit dem Schwellenwert Rth verglichen. Wenn die Ähnlichkeit kleiner als der Schwellenwert ist, wird festgelegt, daß kein Blitz vorhanden ist, und in Schritt S10 wird der Zeitpunkt t aktualisiert, wonach der Prozess zu Schritt S2 zurückgeht. Wenn in einem beliebigen der Schritte S5, S7 und S9 die Ähnlichkeit größer als der Schwellenwert Rth ist, wird festgelegt, daß die entsprechende Szenenänderung im Rahmen (t-jc) vorhanden ist, wonach in Schritt S10 der Zeitpunkt aktualisiert wird und der Prozess zu Schritt S2 zurückkehrt.
Die Prinzipien des Schnitterfassungsschemas gemäß der vorliegenden Erfindung wurden in Verbindung mit ihren speziellen Betriebsbeispielen beschrieben; die Vorrichtung zur Schnitterfassung, die das Schnitterfassungsschema der vorliegenden Erfindung implementiert, ist nicht speziell auf die in Fig. 1 dargestellte Konfiguration beschränkt, sondern kann auch wie nachstehend beschrieben konfiguriert sein.
Fig. 22 stellt in Blockform eine andere Ausführungsform der Vorrichtung zur Schnitterfassung dar, bei der J + 1 Rahmenpuffer 11&sub0; - 11J entsprechend dem Pufferspeicher in Fig. 1 vorgesehen und J Bild-zu-Bild-Abstandsrechenteile 12&sub1; - 12J entsprechend dem Bild-zu-Bild-Abstandsrechenteil 12 in Fig. 1 vorgesehen sind. Vor dem Laden eines neuen Bildrahmens It in den Puffer werden bis dahin in den Rahmenpuffern 11&sub1; - 11J-1 gehaltene Bildrahmen in die Puffer 11&sub0; - 11J übertragen (weshalb die bis dahin im Puffer 11J gehaltenen Bilddaten verworfen werden), wonach der neue Bildrahmen It in den Puffer 11&sub0; geschrieben wird. Bei Beendigung des Ladens der Bildrahmen in alle Puffer werden die Bild-zu-Bild-Abstandsrechenteile 12&sub1; - 12J mit Bildrahmen It-1, It-2, ..., It-J beliefert, die aus dem jeweiligen der Rahmenpuffer 11&sub1; - 11J ausgelesen wurden, und sie werden alle gemeinsam mit dem letzten Bildrahmen It zum aktuellen Zeitpunkt aus dem Rahmenpuffer 11&sub0; beliefert; die Bild-zu-Bild-Abstandsrechenteile 12&sub1; - 12J berechnen den jeweiligen der Bild-zu-Bild-Abstände d(t, t-1), d(t, t-2), ..., d(t, t-J) unter Verwendung beispielsweise der Gleichung (1). Diese Bild-zu-Biid-Abstandswerte werden an den Abstandstabellenspeicherteil 13 geliefert, in dem sie an Adressenbereichen entsprechend den Positionen (0, 1), (0, 2) (0, J) einer in Fig. 23 gezeigten Abstandstabelle der Größe J = 5 geschrieben werden. Vor diesem Schreiben werden jedoch alle bis dahin an der Position (i, j) in der Tabelle gespeicherten Daten d(t-i, t-j) an die Position (i + 1, j + 1) verschoben, wie durch Pfeile in Fig. 23 angegeben ist. Die Daten, die durch diese Verschiebung aus der Tabelle herausbewegt werden, werden verworfen, wie vorstehend ausgeführt. Auf diese Weise berechnet der Szenenänderungsverhältnisrechenteil 14 das Szenenänderungsverhältnis C(t-j) auf der Basis des vorgenannten gewünschten Szenenänderungsverhältnisrechenschemas unter Verwendung der zum aktuellen Zeitpunkt t erzeugten Abstandstabelle. Der Entscheidungsteil 15 vergleicht das Szenenänderungsverhältnis mit dem Schwellenwert und entscheidet abhängig vom Ergebnis des Vergleichs, ob eine Szenenänderung passierte oder nicht.
Die Ausführungsform von Fig. 22 erfordert das Vorsehen mehrerer Rahmenpuffer und Bild-zu- Biid-Abstandsrechenteile, ermöglicht jedoch eine schnelle Verarbeitung von Bilddaten auf einer Pipeline-Basis.
Fig. 24 stellt in Blockform noch eine weitere Ausführungsform der Vorrichtung zur Schnitterfassung dar. Diese Ausführungsform ist eine computerisierte Version der Vorrichtung zur Schnitterfassung, die die grundlegende Konstruktion von Fig. 1 in praktischerer Form implementieren soll. Ein Bildsequenzspeicherteil 11, der Bild-zu-Biid-Abstandsrechenteil 12, der Abstandstabellenspeicherteil 13 und der Szenenänderungsverhältnisrechenteil 14 werden von einem Rechensteuerteil (CPU) 20 gesteuert, der über einen Bus 19 mit ihnen verbunden ist. Ein Bilddateneingabeteil 10 holt einen Rahmen der eingegebenen Bilddaten It und überträgt ihn an den Bildsequenzspeicherteil 11 unter Steuerung des Rechensteuerteils 20. Der Bildsequenzspeicherteil 11 ist beispielsweise ein Hauptspeicherteil des Computers, in dem vorher zugewiesene Pufferbereiche 11&sub0; - 11J für J + 1 Rahmen vorgesehen sind und Bilder der neuesten J + 1 Rahmen gehalten werden. Wie im Fall von Fig. 22 werden, wenn der neue Bildrahmen zum aktuellen Zeitpunkt t in den Eingabeteil 10 eingegeben wird, Bilddaten It, ..., It-J+1 in den Bereichen 11&sub0; - 11J-1 (nicht gezeigt) des Bildsequenzspeicherteils 11 in den jeweiligen der Bereiche 11&sub1; - 11J geschrieben, wonach die neuesten Bilddaten vom Eingabeteil 10 in den Bereich 11&sub0; geschrieben werden. Bei Beendigung des Schreibens in den Bildsequenzspeicherteil 11 liest der Rechensteuerteil 20 ein Paar Bildrahmen It und It-j aus dem Speicherteil 11 aus, liefert sie dann an den Biid-zu-Bild-Abstandsrechenteil 12 zur Berechnung des Bild-zu-Bild-Abstands d(t, t-j) und überträgt den berechneten Abstand an die Position (0, j) in der Tabelle (vgl. Fig. 23) des Abstandstabellenspeicherteils 13. Diese Betrieb wird für j = 1, 2, ..., J in einer sequentiellen Reihenfolge wiederholt. Dadurch werden J neue Elemente von Abstandsdaten an die Abstandstabelle des Abstandstabellenspeicherteils 13 geliefert.
Wie vorstehend beschrieben, wird gemäß der vorliegenden Erfindung das Szenenänderungsverhältnis als eine Rahmen-zu-Rahmen-Differenz nicht nur durch Vergleichen zweier zeitlich aufeinanderfolgender Bilder, sondern unter Berücksichtigung auch der Größe der Änderung zwischen zwei zeitlich auseinanderliegenden Bildern berechnet, wodurch eine zeitlich langsame Szenenänderung erfaßt werden kann und ein auf Fernsehstandard transformiertes Video und ein ein Blitzlicht enthaltendes Video durch Verwendung des gemeinsamen Schemas in Echtzeit verarbeitet werden können.
Es ist klar, daß viele Modifikationen und Variationen ausgeführt werden können, ohne den Bereich der neuen Konzepte der vorliegenden Erfindung zu verlassen.

Claims

1. Videoschnitterfassungsverfahren zum Erfassen eines Schneidepunkts in einer Videodatensequenz, umfassend die Schritte:

(a) Berechnen des Abstands d(t-i, t-j) zwischen Bilddaten jedes Paars von Bildern It-i und It-j, die dazwischen ein Rahmenintervall kleiner oder gleich J aufweisen, in einer Sequenz von J + 1 Rahmen von Bildern It, It-1, ..., It-J, welche zuletzt zum aktuellen Zeitpunkt t nacheinander geliefert worden sind, und Erzeugen einer Abstandstabelle mit einem Datenwert des Abstands d(t-i, t-j) an jeder Position (i, j) der Tabelle, wobei J eine feste ganze Zahl größer oder gleich 3 ist und i sowie j ganzzahlige Variable innerhalb des Bereichs von 0 ≤ i < j ≤ J sind;

(b) Berechnen eines Szenenänderungsverhältnisses C(t-jc) für den Bereich vom J-ten vorhergehenden Rahmen (t-J) bis zum aktuellen Zeitpunkt t, auf der Basis der in der Abstandstabeile gehaltenen Bild-zu-Bild-Abstände, wobei jc eine vorbestimmte ganzzahlige Konstante im Bereich von 0 < jc ≤ J ist; und

(c) Vergleichen des Szenenänderungsverhältnisses mit einem vorbestimmten Schwellenwert und Entscheiden auf der Basis des Ergebnisses des Vergleichs, ob das Bild des jc-ten vorhergehenden Rahmens ein Schneidepunkt ist.

2. Verfahren nach Anspruch 1, bei dem der Schritt (a) einen Schritt des Berechnens, als einen Wert entsprechend dem Bild-zu-Bild-Abstand d(t-i, t-j), einer Differenzensumme aufweist, die durch Addieren von Absolutwerten von Intensitätsdifferenzen zwischen Pixeln an entsprechenden Positionen (x, y) von Bildern It-i und It-j über die gesamten Bereiche des i-ten und des j- ten Rahmens, die dem aktuellen Zeitpunkt t vorhergehen, erhalten wird.

3. Verfahren nach Anspruch 1, bei dem der Schritt (a) einen Schritt der Erzeugung von Intensitätshistogrammen mit einer vorbestimmten Anzahl an Klassen für Bilder It-i und It-j des dem aktuellen Zeitpunkt t vorhergehenden i-ten und des j-ten Rahmens und des Berechnens, als einen Wert entsprechend dem Bild-zu-Bild-Abstand d(t-i, t-j), einer Differenzensumme aufweist, die durch Addieren von Absolutwerten von Häufigkeitsunterschieden zwischen entsprechenden Klassen der Histogramme erhalten wird.

4. Verfahren nach Anspruch 1, bei dem der Schritt (a) einen Schritt der Berechnung von Intensitätsdifferenzen zwischen Pixeln an entsprechenden Positionen (x, y) von Bildern 1t-i und 1t-j über die gesamten Bereiche des dem aktuellen Zeitpunkt t vorhergehenden i-ten und des j-ten Rahmens und des Lieferns einer Standardabweichung der Intensitätsdifferenzen als einen Wert entsprechend dem Bild-zu-Bild-Abstand d(t-i, t-j) aufweist.

5. Verfahren nach Anspruch 1, bei dem der Schritt (a) folgenden Schritt aufweist: Berechnen von Intensitätsdifferenzen zwischen Pixeln an entsprechenden Positionen (x, y) von Bildern It-i und It-j über die gesamten Bereiche des dem aktuellen Zeitpunkt t vorhergehenden i-ten und des j-ten Rahmens; Berechnen einer Standardabweichung der Intensitätsdifferenzen; Zählen der Anzahl an Pixeln, deren Absolutwerte der lntensitätsdifferenzen größer als die Standardabweichung ist; und Liefern des Zählwerts als einen Wert entsprechend dem Bild-zu-Bild-Abstand d(t-i, t-j).

6. Verfahren nach Anspruch 1, bei dem der Schritt (a) folgenden Schritt aufweist: Berechnen, als erste Differenzen, von Intensitätsdifferenzen zwischen Pixeln an entsprechenden Positionen (x, y) der Bilder It-i und It-j über die gesamten Bereiche des dem aktuellen Zeitpunkt vorhergehenden i-ten und des j-ten Rahmens; Berechnen, als zweite Differenzen, von Intensitätsdifferenzen zwischen Pixeln an entsprechenden Positionen (x, y) von Bildern It-i-m und It-j-m über die gesamten Bereiche der den Bildern It-i und It-j vorhergehenden m-ten Rahmen; Berechnen einer Standardabweichung der zweiten Differenzen; Zählen der Anzahl an Pixeln, deren Absolutwert der ersten Differenzen größer als die Standardabweichung ist; und Liefern des Zählwerts als einen Wert entsprechend dem Bild-zu-Bild-Abstand d(t-i, t-j).

7. Verfahren nach Anspruch 1, bei dem der Schritt (a) folgenden Schritt aufweist: Berechnen von Intensitätsdifferenzen zwischen Pixeln an entsprechenden Positionen (x, y) von Bildern It-i-k und It-j-k über die gesamten Bereiche des dem aktuellen Zeitpunkt t vorhergehenden (k+i)-ten und des (k+j)-ten Rahmens; wiederholtes Berechnen einer Standardabweichung der Intensitätsdifferenzen, und zwar für k = 1, ..., n; Berechnen eines Mittelwerts T der resultierenden n Standardabweichungen, wobei n eine vorbestimmte ganze Zahl größer oder gleich 1 ist; Berechnen von Intensitätsdifferenzen zwischen Pixeln an entsprechenden Positionen (x, y) von Bildern It-i und It-j; Zählen der Anzahl an Pixeln, deren Absolutwerte der Intensitätsdifferenzen größer als die mittlere Standardabweichung T ist; und Liefern des Zählwerts als einen Wert entsprechend dem Bild-zu-Bild-Abstand d(t-i, t-j).

8. Verfahren nach Anspruch 1, bei dem der Schritt (a) folgenden Schritt aufweist: Unterteilen eines Bilds It-i eines dem aktuellen Zeitpunkt t vorhergehenden i-ten Rahmens in aus jeweils p mal q Pixeln zusammengesetzte Blöcke; Ausführen einer Überprüfung, um für jeden der Blöcke zu bestimmen, ob das Bild It-j einen mit diesem Block übereinstimmenden Bereich aufweist; Zählen der Anzahl an Blöcken, die mit keinem Bereich in dem Bild It-j übereinstimmen; und Liefern des Zählwerts als einen Wert entsprechend dem Bild-zu-Bild-Abstand d(t-i, t-j).

9. Verfahren nach Anspruch 1, bei dem der Schritt (a) einen Schritt des Verschiebens von Abstandsdaten an den Positionen (i, j) in der zum Zeitpunkt t-1 erzeugten Abstandstabelle auf Positionen (i + 1, j + 1), des Berechnens neuer Abstände d(t, t-1), d(t, t-2), ..., d(t, t-J) als die Abstände zum aktuellen Zeitpunkt t und des Schreibens der berechneten Werte an Positionen (0, 1), (0, 2),..., (0, J) der Abstandstabelle aufweist, wodurch die Abstandstabelle zum Zeitpunkt t erzeugt wird.

10. Verfahren nach Anspruch 1, bei dem der Bereich, über den der Bild-zu-Bild-Abstand im Schritt (a) zu erhalten ist, auf einen Bereich beschränkt ist, der j-i ≤ g erfüllt, wobei g eine vorbestimmte positive ganzzahlige Konstante kleiner als J ist.

11. Verfahren nach Anspruch 10, bei dem der Schritt (a) einen Schritt des Verschiebens von Abstandsdaten an den Positionen (i, j) in der zum Zeitpunkt t-1 erzeugten Abstandstabelle auf Positionen (i + 1, j + 1), des Berechnens neuer Abstände d(t, t-1), d(t, t-2), ..., d(t, t-g) als die Abstände zum aktuellen Zeitpunkt t und des Schreibens der berechneten Werte an Positionen (0, 1), (0, 2),..., (0, g) der Abstandstabelle aufweist, wodurch die Abstandstabelle zum Zeitpunkt t erzeugt wird.

1 2. Verfahren nach Anspruch 11, bei dem der Schritt (b) einen Schritt aufweist, in dem, wenn ein erster Bereich in der Abstandstabelle durch jc ≤ j ≤ J, 0 ≤ i < jc und j-i ≤ g definiert ist, wenn die Gesamtsumme von Abständen im ersten Bereich durch a(jc) repräsentiert ist, wenn ein zweiter Bereich in der Abstandstabelle durch 0 ≤ i ≤ jc-1, j-i ≤ g definiert ist, wenn die Gesamtsumme von Abständen im zweiten Bereich durch b(jc) repräsentiert ist, wenn ein dritter Bereich in der Abstandstabelle durch jc ≤ i < j ≤ J, j-i ≤ g definiert und die Gesamtsumme von Abständen im dritten Bereich durch b'(jc) repräsentiert ist, das Szenenänderungsverhältnis wie folgt berechnet wird:

C(t-jc) = {a(jc) - βMAX[b(jc), b'(jc)]}/S

wobei β ein vorbestimmter Koeffizient ist, um die Datenanzahlen im ersten Bereich der Datenanzahl im zweiten oder im dritten Bereich entsprechend dem größeren von b(jc) und b'(jc) äquivalent zu machen, und S die Anzahl an Daten im ersten Bereich ist.

13. Verfahren nach Anspruch 11, bei dem der Schritt (b) einen Schritt aufweist, in dem, wenn ein erster Bereich in der Abstandstabelle durch jc ≤ j ≤ J, 0 ≤ i < jc und j-i ≤ g definiert ist, wenn die Gesamtsumme von Abständen in diesem Bereich durch a(jc) repräsentiert ist, wenn ein zweiter Bereich in der Abstandstabelle durch 0 ≤ i < j ≤ jc-1, j-i ≤ g definiert ist, wenn die Gesamtsumme von Abständen im zweiten Bereich durch b(jc) repräsentiert ist, wenn ein dritter Bereich in der Abstandstabelle durch jc ≤ i < j ≤ J, j-i ≤ g definiert und die Gesamtsumme von Abständen im dritten Bereich durch b'(jc) repräsentiert ist, das Szenenänderungsverhältnis wie folgt berechnet wird:

C(t-jc) = {a(jc) - β[b(jc) + b'(jc)]}/S

wobei β ein vorbestimmter Koeffizient ist, um die Datenanzahl im ersten Bereich der Datenanzahl im zweiten und im dritten Bereich äquivalent zu machen, und S die Anzahl an Daten im ersten Bereich ist.

14. Verfahren nach Anspruch 9, bei dem der Schritt (b) einen Schritt des Berechnens, als das Szenenänderungsverhältnis, der Ähnlichkeit zwischen einer vorbestimmten Schablone mit derselben Größe wie die Abstandstabelle für die Erfassung eines Schnitts zumindest einer gewünschten Art und der zum Zeitpunkt t erzeugten Abstandstabelle aufweist.

15. Verfahren nach Anspruch 14, bei dem die Ähnlichkeit ein Kreuzkorrelationskoeffizient der Abstandstabelle und der Schablone ist.

16. Vorrichtung zur Videoschnitterfassung, die einen Schneidepunkt aus einer Bilddatensequenz erfaßt, umfassend:

eine Pufferspeicheranordnung zum sequentiellen Puffern von Bilddaten von zumindest J + 1 zeitlich aufeinanderfolgenden Rahmen;

eine Bild-zu-Bild-Abstandsrechenanordnung zum Berechnen des Abstands d(t-i, t-j) zwischen Bilddaten jedes Paars von Bildern It-i und 1t-j im Bereich von 0 ≤ i < j ≤ J in einer Sequenz von J + 1 Rahmen von Bildern It, It-1, It-J, die zuletzt zum aktuellen Zeitpunkt t geliefert wurden;

eine Abstandstabellenanordnung zum Speichern des durch die Bild-zu-Bild-Abstandsrechenanordnung berechneten Bild-zu-Bild-Abstands;

eine Szenenänderungsverhältnisrechenanordnung zum Berechnen eines Szenenänderungsverhältnisses C(t-jc) für den Bereich vom J-ten vorhergehenden Rahmen bis zum aktuellen Zeitpunkt t auf der Basis der Abstandstabellenanordnung, wobei jc eine vorbestimmte ganzzahlige Konstante ist, die 0 < jc ≤ J erfüllt; und

eine Entscheidungsanordnung zum Vergleichen des berechneten Szenenänderungsverhältnisses mit einem vorbestimmten Schwellenwert und zum Entscheiden, ob der Rahmen (t-jc) ein Schneidepunkt ist.

17. Vorrichtung nach Anspruch 16, bei der die Pufferspeicheranordnung zumindest erste bis (J + 1 )-te Rahmenpuffer zum vorübergehenden Halten von Bilddaten It, It-1, ..., It-J von zumindest J + 1 Rahmen aufweist, welche von einem Rahmen t bis zum J-ten vorhergehenden Rahmen reichen; die Biid-zu-Bild-Abstandsrechenanordnung einen ersten bis J-ten Bild-zu-Bild- Abstandsrechenteil aufweist, die mit Bilddaten It-1, It-2, ..., It-J von dem jeweiligen des zweiten bis (J + 1)-ten Rahmenpuffers beliefert und gemeinsam mit Bilddaten It vom ersten Rahmenpuffer beliefert werden sowie Abstände d(t, t-1), ..., d(t, t-J) zwischen den Bilddaten It und den jeweiligen der Bilddaten It-1, ..., It-J berechnen; und die Abstandstabellenanordnung eine Anordnung zum Erzeugen der Abstandstabellenanordnung durch Schieben von Abstandsdaten an Positionen (i, j) in der Tabellenanordnung auf Positionen (i + 1, j + 1) und Schreiben von Abstandsdaten an die jeweiligen von Positionen (0, 1), ..., (0, J) in der Tabellenanordnung aufweist.

18. Vorrichtung nach Anspruch 16, bei der die Bild-zu-Bild-Abstandsrechenanordnung eine Anordnung zum Berechnen der Bild-zu-Bild-Abstände in einem weiter beschränkten Bereich ist, der i-j ≤ g erfüllt, wobei g eine vorbestimmte positive ganzzahlige Konstante kleiner als J ist.

19. Vorrichtung nach Anspruch 17, bei der die Abstandstabellenanordnung eine Anordnung zum Erzeugen der Abstandstabellenanordnung durch Verschieben von Abstandsdaten an Positionen (i, j) in der zu einem Zeitpunkt t-1 erzeugten Abstandstabellenanordnung an Positionen (i + 1, j + 1) und zum Schreiben neuer, von der Bild-zu-Bild-Abstandsrechenanordnung zum aktuellen Zeitpunkt t berechneter Bild-zu-Bild-Abstände d(t, t-1), d(t, t-2), ..., d(t, t-g) auf Positionen (0, 1), (0, 2), ..., (0, g) der Abstandstabellenanordnung aufweist.

20. Vorrichtung nach Anspruch 19, bei der die Szenenänderungsverhältnisrechenanordnung eine Anordnung ist, mit der, wenn ein erster Bereich in der Abstandstabelle durch jc ≤ j ≤ J, 0 ≤ i < jc und j-i ≤ g definiert ist, wenn die Gesamtsumme von Abständen im ersten Bereich durch a(jc) repräsentiert ist, wenn ein zweiter Bereich in der Abstandstabelle durch 0 ≤ i < j ≤ jc-1, j-i ≤ g definiert ist, wenn die Gesamtsumme von Abständen im zweiten Bereich durch b(jc) repräsentiert ist, wenn ein dritter Bereich in der Abstandstabelle durch jc ≤ i < j ≤ J, j-i ≤ g definiert und die Gesamtsumme von Abständen im dritten Bereich durch b'(jc) repräsentiert ist, das Szenenänderungsverhältnis wie folgt berechnet wird:

C(t-jc) = {a(jc) - βMAX[b(jc), b'(jc)]}/S

21. Vorrichtung nach Anspruch 19, bei der die Szenenänderungsverhältnisrechenanordnung eine Anordnung ist, mit der, wenn ein erster Bereich in der Abstandstabelle durch jc ≤ j ≤ J, 0 ≤ i < jc und j-i ≤ g definiert ist, wenn die Gesamtsumme von Abständen im ersten Bereich durch a(jc) repräsentiert ist, wenn ein zweiter Bereich in der Abstandstabelle durch 0 ≤ i < j ≤ jC-1, j-i ≤ g definiert ist, wenn die Gesamtsumme von Abständen im zweiten Bereich durch b(jc) repräsentiert ist, wenn ein dritter Bereich in der Abstandstabelle durch jc ≤ i < j ≤ J, j-i ≤ g definiert und die Gesamtsumme von Abständen im dritten Bereich durch b'(jc) repräsentiert ist, das Szenenänderungsverhältnis wie folgt berechnet wird:

C(t-jc) = {a(jc) - β[b(jc) + b'(jc)]}/S

22. Vorrichtung nach Anspruch 16, bei der die Szenenänderungsverhältnisrechenanordnung eine Anordnung ist, die eine vorbestimmte Schablone mit derselben Größe wie die Abstandstabellenanordnung für die Erfassung eines Schnitts zumindest einer gewünschten Art aufweist, um die Ähnlichkeit zwischen der Schablone und der zum Zeitpunkt t erzeugten Abstandstabellenanordnung als das Szenenänderungsverhältnis zu berechnen.