-
HINTERGRUND DER ERFINDUNG
-
1. Gebiet der Erfindung
-
Die vorliegende Erfindung betrifft allgemein die visuelle und akustische Wiedergabe von Musikstücken, und zwar insbesondere auf Tablet-Computern oder anderen elektronischen Geräten, die zu diesem Zweck verwendet werden können.
-
2. Beschreibung des Standes der Technik
-
Vor einigen Jahren begannen Verleger, Notentexte auch in papierlosen digitalen Formaten herauszugeben. Mit der Einführung von Tablet-Geräten wie dem iPad® wurden Computerprogramme (nachfolgend ”Apps” genannt) zum Anzeigen von Notentexten auf den hochauflösenden Bildschirmen dieser Geräte verfügbar. Die erste dieser Apps zeigte digitale Notentexte als Dateien, die in dem portablen Dokumentenformat (PDF) gespeichert waren. Bald danach wurde bei diesen Apps die Möglichkeit hinzugefügt, den Notentext mit grafischen Markierungen zu kommentieren. Bei neueren Apps wurde für den Gebrauch mit geeigneten Hardwareplattformen die Fähigkeit implementiert, gleichzeitig mit dem Anzeigen des Notentextes eine Audio- oder Videodatei abzuspielen.
-
Noch spätere Generationen von Tablet-Apps ermöglichen zusätzliche Interaktivität. Zum Beispiel erlaubt die NoteStar®-App von Yamaha Musikern, Musik zu hören, die synchron mit einer fortlaufenden Anzeige eines digitalen Notentextes wiedergegeben wird. Bislang stellen solche handelsübliche Apps Notentexte entweder in nativen App-Formaten oder in standardisierten anwendungsübergreifenden Formaten wie MusicXML- und PDF-Dateien dar.
-
Derzeit gibt es für MusicXML-Dateien keinen Standardmechanismus, um Inhalte von Audiodateien und Notentextdateien synchronisiert wiederzugeben. Außerdem stellen MusicXML-Dateien Notentext in einem logischen Format dar, das für eine MIDI-Wiedergabe und nicht für eine visuelle Wiedergabe optimiert ist. Dadurch können die feinen Details und satztechnischen Optimierungen, die einen klassischen Notenstich auszeichnen, mit MusicXML-Dateien nicht wiedergegeben werden. Daher ist die Qualität und Ablesbarkeit des auf dem elektronischen Gerät angezeigten Notentextes oft deutlich schlechter als die einer guten Veröffentlichung des gleichen Musikstücks auf Papier. Um solche papierenen Veröffentlichungen herzustellen, wird von den Verlegern oft enormer Aufwand betrieben, um die Noten und andere Symbole so anzuordnen, dass diese leicht von Interpreten, Schülern oder Musikfans erfasst werden können. Dies trifft insbesondere auf orchestrale oder andere polyphone Musik zu, bei der eine Mehrzahl von Stimmen auf einem einzigen Blatt untereinander angeordnet sind und eine Partitur bilden.
-
Das PDF-Format hingegen ist in der Lage, Notentexte in einem qualitativen hochwertigen Format darzustellen. Da es aber im Unterschied zum MusicXML-Format keine Informationen enthält, die direkt an die Musik anknüpfen, kann das PDF-Format nicht dazu benutzt werden, eine Audio- oder Videodatei gleichzeitig mit einem Notentext anzuzeigen.
-
Derzeit verfügbare Musik-Apps opfern aus diesen Gründen die hohe Layout-Qualität von gedruckten Notentexten, die bereits verfügbar sind, wenn gleichzeitig mit der Anzeige des Notentextes eine Audio- oder Videodatei abgespielt werden soll.
-
US 7,239,320 B1 beschreibt ein computerimplementiertes Verfahren zum Präsentieren von Musik für einen Benutzer eines elektronischen Geräts. Dieses Verfahren ermöglicht es, einen Notentext in einer qualitativ hochwertigen grafischen Darstellung anzuzeigen und synchron hierzu eine Audio- oder Videodatei abzuspielen. Zu diesem Zweck wird eine hierarchische Struktur aus Begrenzungsbereichen verwendet.
-
Obwohl dieses Verfahren zweckmäßig ist, um eine musikalische Darbietung mit einem zugehörigen Notentext zu vergleichen, kann es Musikern oder Schülern, die ihre Fähigkeiten bei der Wiedergabe einer bestimmten Stimme dieses Musikstücks verbessern wollen, keine große Hilfe bieten. Wenn ein Chorsänger zum Beispiel mit Hilfe einer guten Audioaufnahme seine Stimme besser lernen möchte, ist es in der Regel schwierig, diese Stimme in der Aufnahme deutlich genug herauszuhören.
-
Für solche Ausbildungszwecke wird im Stand der Technik bislang eine MIDI-Wiedergabe des Musikstücks verwendet. In diesem Fall ist es leicht, eine bestimmte Stimme hervorzuheben, indem die Lautstärke des MIDI-Kanals, der dieser Stimme entspricht, einfach erhöht wird. Allerdings ist Musik, die auf der Basis einer MIDI-Datei erzeugt wurde, für einen Hörer oft unbefriedigend, da einer solchen Wiedergabe die Anmut und die natürliche Atmosphäre einer von Musikern gespielten Interpretation fehlen.
-
Das Verstärken einer einzelnen Stimme in einer Audioaufnahme ist nicht möglich, da die Audioaufnahme durch das Abtasten eines analogen Wellensignals erhalten wird, aus dem keine einzelne Stimme isoliert werden kann.
-
ZUSAMMENFASSUNG DER ERFINDUNG
-
Aufgabe der Erfindung ist daher, Musik und Notentext eines Musikstücks auf einem elektronischen Gerät in einer Weise wiederzugeben, die einen Benutzer beim Erlernen einer Stimme des Musikstücks unterstützt.
-
Diese Aufgabe wird durch eine Signalfolge erreicht, die für eine Übersendung über das Internet oder ein anderes Netzwerk geeignet ist und Daten repräsentiert, die ein Computerprogramm darstellen, das zum Ablauf auf einem Tablet-Computer oder einem anderen elektronischen Gerät bestimmt und zur Wiedergabe eines Musikstücks einsetzbar ist. Das Computerprogramm ist so ausgebildet, dass es beim Ablauf auf dem elektronischen Gerät dieses dazu veranlasst, zumindest die folgenden Dateien zu laden:
- – Eine Partiturdatei, die Partiturdaten enthält, welche die Musikpartitur des Musikstücks in einer grafischen Darstellung repräsentieren, wobei die Musikpartitur mehrere Stimmen umfasst;
- – Eine Audiodatei, die Audiodaten enthält, die das von Musikern gespielte Musikstück in einem Format repräsentieren, in dem abgetastete, analoge Tonsignale kodiert sind;
- – Eine Musikdatei, die Musikdaten enthält, die zumindest Teile der Stimmen des Musikstücks in einem digitalen Format repräsentieren, in dem Tonhöhe und (absolute oder relative) Tonlänge kodiert sind.
-
Das Computerprogramm bietet dem Benutzer an, eine der Stimmen auszuwählen, die akustisch hervorgehoben werden soll, wenn das Musikstück akustisch wahrnehmbar wiedergegeben wird. Die Musikdaten, welche die Stimme repräsentieren, die durch den Benutzer ausgewählt wurde, werden dann in Stimmtonsignale mittels eines Tongenerators transformiert. Auf Basis der Audiodaten werden Audiotonsignale erzeugt. Die Stimmtonsignale und die Audiotonsignale werden nun gemischt, wodurch ein gemischtes Tonsignal erhalten wird, wobei das durch die Musikdatei repräsentierte Musikstück und das durch die Audiodatei repräsentierte Musikstück synchronisiert sind. Abschließend wird der Klang des Musikstücks unter Verwendung des gemischten Tonsignals akustisch wahrnehmbar wiedergegeben. Gleichzeitig dazu wird zumindest ein Teil der Musikpartitur auf einer Anzeige des elektronischen Geräts angezeigt und dabei ein Abschnitt der Musikpartitur hervorgehoben, welcher einer Passage des Musikstücks entspricht, die gerade akustisch wahrnehmbar wiedergegeben wird.
-
Der Benutzer kann auf diese Weise eine einzelne Stimme gut vernehmbar hervorheben, während er das Musikstück in einer qualitativ hochwertigen und von Musikern interpretierten Aufnahme hört und die Partitur auf einer ebenfalls qualitativ hochwertigen Darstellung des Notentextes verfolgt, wobei dem Benutzer die gerade gespielte Passage des Notentextes zusätzlich graphisch hervorgehoben wird.
-
In einem Ausführungsbeispiel ist das digitale Format ein MIDI-Format und die Musikdatei eine MIDI-Datei. Alternativ kann das digitale Format ein MusicXML-Format und die Musikdatei eine MusicXML-Datei sein.
-
Es kann vorgesehen sein, dass in dem digitalen Format eine absolute Tonlänge derart kodiert ist, dass das durch die Musikdatei repräsentierte Musikstück und das durch die Audiodatei repräsentierte Musikstück synchron sind, wenn diese gleichzeitig wiedergegeben werden. Bei der Erzeugung der Musikdatei müssen dann die absoluten Tonlängen an die Ton- oder Taktlängen angepasst werden, die durch die Musikdatei vorgegeben sind. Die Bestimmung der Ton- oder Taktlängen kann beispielsweise durch Abhören des Musikstücks vorgenommen werden; der Hörer betätigt dann z. B. bei jedem Viertel- oder Achtelschlag eine Taste, wodurch die Ton- und Taktlängen festgelegt werden. Es ist jedoch möglich, diesen Vorgang durch zusätzliche Computerprogramme zu erleichtern.
-
Alternativ hierzu kann vorgesehen sein, dass in das elektronische Gerät eine Synchronisationsdatei geladen wird, die Synchronisationsdaten enthält, die eine Zeitkorrelation zwischen den Musikdaten und den Audiodaten herstellen, wobei die Synchronisationsdaten von dem Tongenerator verwendet werden, wenn dieser die Musikdaten in Stimmtonsignale transformiert. Auch bei der Erzeugung der Synchronisationsdatei müssen die Ton- oder Taktlängen berücksichtigt werden, die durch die Musikdatei vorgegeben sind.
-
In einem Ausführungsbeispiel ist die Audiodatei eine unkomprimierte Datei gemäß dem Wave Form Audio File Format (WAVE) oder dem Compact Disc Digital Audio Format (CDDA). Alternativ kann die Audiodatei eine komprimierte Datei gemäß einem der folgenden Formate sein: MP3-Format, Advanced Audio Coding Format (AAC), Free Lossless Audio Codec Format (FLAC) und Theora.
-
Die Musikdaten können Tonlautstärkedaten umfassen, wobei, wenn die Stimmtonsignale und die Audiotonsignale gemischt werden, die Tonlautstärkedaten abhängig von einer Lautstärke der Audiotonsignale verändert werden. Hierbei kann insbesondere vorgesehen sein, dass die Lautstärke der Stimmtonsignale mit Erhöhung der Lautstärke der Audiotonsignale erhöht wird, um umgekehrt.
-
In einem Ausführungsbeispiel kann die Audiodatei in einer Multimedia-Containerdatei enthalten sein, die auch eine Videodatei enthält. Damit könnten von dem Computerprogramm auch Videodateien verarbeitet werden und für einen Benutzer wahrnehmbar wiedergegeben werden.
-
Gegenstand der Erfindung ist außerdem eine Signalfolge, die für eine Übersendung über das Internet oder ein anderes Netzwerk geeignet ist und Synchronisationsdaten repräsentiert, die eine Zeitkorrelation zwischen Musikdaten und Audiodaten herstellen. Hierbei repräsentieren die Musikdaten zumindest Teile der Stimmen eines Musikstücks in einem digitalen Format, in dem Tonhöhe und die (absolute oder relative) Tonlänge kodiert sind. Die Audiodaten repräsentieren das von Musikern gespielte Musikstück in einem Format, in dem abgetastete, analoge Tonsignale kodiert sind.
-
Weiter ist Gegenstand der Erfindung ein Datenträger, auf dem Daten gespeichert sind, die das oben beschriebene Computerprogramm repräsentieren.
-
KURZE BESCHREIBUNG DER ZEICHNUNGEN
-
Nachfolgend werden Ausführungsbeispiele der Erfindung anhand der Zeichnungen näher erläutert. In diesen zeigen:
-
1 eine Draufsicht auf einen Tablet-Computer;
-
2 ein Flussdiagramm, das wichtige Schritte illustriert, die von dem in der 1 gezeigten Tablet-Computer ausgeführt werden;
-
3 eine Seite einer Musikpartitur in einer grafischen Darstellung;
-
4 eine Grafik, die ein Audiotonsignal illustriert;
-
5 einen Ausschnitt aus einer MidiXML-Datei;
-
6 eine Grafik, welche die Synchronisation der Musikdatei und der Audiodatei illustriert.
-
Die nachfolgende Beschreibung eines Ausführungsbeispiels der Erfindung enthält Verweise auf kommerzielle Produkte, die unter Produktnamen angeboten werden, für die Markenrechte gelten können.
-
BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSBEISPIELE
-
1. Grundlegende Funktionsweise
-
Die 1 ist eine schematische Draufsicht auf einen Tablet-Computer 10 mit einem Speicher, in dem eine App gespeichert ist, die nachfolgend ausführlich erläutert wird. Der Begriff „App” wird in diesem Kontext synonym für alle Arten von Computerprogramme verwendet, d. h. unabhängig von der Programmiersprache, der verwendeten Hardware oder dem Betriebssystem.
-
Der Tablet-Computer 10 als solcher ist ein konventionelles elektronisches Handgerät, das in der vorliegenden Ausführung über eine berührungsempfindliche Anzeige 12, Lautsprecher 14, 16 und Bedienknöpfe 18, 20 verfügt. Selbstverständlich können stattdessen auch andere Typen von Computern eingesetzt werden. Der Begriff Computer ist breit auszulegen und umfasst Mobiltelefone, Notebooks, PCs oder Work Stations, aber auch elektronische Geräte mit speziellen Funktionen wie beispielsweise ein elektrisches Klavier, in dem die App in einem Lese-Speicher gespeichert ist.
-
Wie in der 1 erkennbar ist, wird von der Anzeige 12 eine Musikpartitur eines Musikstücks angezeigt, bei der es sich hier um die erste Seite einer Klavierpartitur 22 der ”Messe in C” von L. v. Beethoven handelt. Die Klavierpartitur 22 umfasst vier Notensysteme für die verschiedenen Gesangstimmen und eine Akkolade mit zwei Notensystemen für die Klavierstimme. In diesem Ausführungsbeispiel ist die auf der Anzeige 12 wiedergegebene Seite eine identische Kopie einer Papierausgabe, die von der Anmelderin veröffentlicht wurde, und hat damit das gleiche perfekte Layout wie die Papierausgabe. Daher kann ein Benutzer des Tablet-Computers 10, dem bereits die Papierausgabe bekannt ist, da er oder sie zum Beispiel in einem Chor singt, einfach der Musik in der Anzeige 12 folgen. Hierbei ist es auch möglich, nur einen Teil dieser Seite auf der Anzeige 12 darzustellen. Ein Grund hierfür könnte beispielsweise sein, dass die Anzeige 12 zu klein ist, um die gesamte Seite so darzustellen, dass sich vom Benutzer ohne weiteres erfasst werden kann.
-
Während die erste Seite der Klavierpartitur 22 angezeigt wird, wird eine professionelle Aufnahme des Musikstücks mittels der Lautsprecher 14, 16 wiedergegeben. Diese Aufnahme kann aus einer CD durch Komprimieren der Audiodatei erhalten werden, beispielsweise mit dem MP3-Standard. Der Abschnitt der Partitur 22, der gerade akustisch wahrnehmbar ist, wird in der Anzeige mittels eines grauen oder farbigen Balkens 24 hervorgehoben, der sich zeitgleich mit der gerade gespielten Musik über der Musikpartitur 22 bewegt.
-
Ist der Benutzer an einer bestimmten Stimme dieses Musikstücks interessiert, zum Beispiel der Bassstimme des Chors, kann er mit einem seiner Finger die Anzeige 12 an einer Stelle berühren, an der die Bassstimme angezeigt ist. Dies wird durch den Tablet-Computer 10 als eine Anweisung interpretiert, die Bassstimme hervorzuheben, während die Musik weitergespielt wird.
-
Der Tablet-Computer gibt jetzt weiter die Musik akustisch wieder, hebt dabei allerdings die Stimme akustisch hervor, die von dem Benutzer zuvor mit seinem Finger ausgewählt wurde. Der Benutzer hört dann nicht nur die Aufnahme des Musikstücks hören, sondern zusätzlich die ausgewählte Stimme in einer MIDI-Darbietung, die von einem Sequenzer oder einem anderen Tongenerator erzeugt wurde.
-
Wie dies erreicht wird, wird im Weiteren mit Bezug auf die 2 erklärt. Diese stellt ein Flussdiagramm dar, das wichtige Schritte illustriert, die von dem Tablet-Computer 10 ausgeführt werden.
-
2. App
-
In einem ersten Schritt S1 werden dem Tablet-Computer 10 drei verschiedene Dateien zur Verfügung gestellt und von der App geladen. Diese Dateien können von einem Server heruntergeladen oder dem Tablet-Computer 10 mittels eines Datenspeichers, wie beispielsweise ein USB-Stick, zur Verfügung gestellt werden.
-
Eine erste Datei ist eine Partiturdatei, die Partiturdaten enthält, welche die Musikpartitur des Musikstücks repräsentieren. Bei der Musikpartitur handelt es sich bei diesem Ausführungsbeispiel um einen Klavierauszug. Die Partiturdatei gibt das Musikstück grafisch wieder, wie dies in der 3 gezeigt ist. Der Begriff ”grafische Wiederhabe” beschreibt ein Format, in dem die Partitur als grafische Information und nicht als logische Information kodiert ist. Die Partiturdatei kann beispielsweise eine TIFF-Datei (Text Image File Format), die zum Speichern von Rastergrafikbilder verwendet wird, oder eine PDF-Datei sein, in der Rastergrafikbilder nach einem Filtervorgang eingebettet sind. Es ist auch möglich, die Noten und andere Symbole der Musikpartitur ähnlich zu eingebetteten Schritttypen einzubetten.
-
Eine zweite von der App geladene Datei ist eine Audiodatei, die Audiodaten enthält, die das Musikstück repräsentieren, wie es von Musikern gespielt wird, und zwar in einem Format, in dem abgetastete analoge Tonsignale kodiert sind. Die 4 zeigt ein analoges Tonsignal, bevor es abgetastet und kodiert wurde. Es ist erkennbar, dass es in diesem analogen Signal nicht möglich ist, die Bassstimme oder irgendeine andere Stimme zu identifizieren.
-
Die Audiodatei kann eine unkomprimierte Datei sein, z. B. eine Datei im Waveform Audio File Format (WAVE) oder dem Compact Disk Digital Audio Format (CDDA). Da die Datenspeicherkapazität des Tablet-Computers 10 in der Regel begrenzt ist, kann es vorteilhaft sein, eine komprimierte Audiodatei zu verwenden, zum Beispiel eine Datei in dem MP3-Format, dem Advanced Audio Coding Format (AAC), dem Free Lossless Audio Codec Format (FLAC) oder dem OGG/Vorbis Format.
-
Die dritte Datei, die in Schritt S1 zur Verfügung und von der App geladen wird, ist eine Musikdatei, die Musikdaten enthält, die in dem dargestellten Ausführungsbeispiel individuell die vier Gesangsstimmen des Musikstücks in einem digitalen Format repräsentieren, in dem Tonhöhe und Tonlänge kodiert sind. Das gängigste Dateiformat dieser Art ist das MIDI-Format. MIDI (ein Akronym für Musical Instrument Digital Interface) ist ein technischer Standard für ein Protokoll, das es einer große Vielfalt von elektronischen Musikinstrumenten, Computern und anderen daran angeschlossenen Geräten erlaubt, miteinander zu kommunizieren.
-
MIDI-Dateien enthalten Ereignismeldungen, die Tonhöhe und Tonlängen, Steuersignale für Parameter wie Lautstärke, Vibrato, Einsatzzeichen und Taktsignale, die das Tempo zwischen mehreren Geräten einstellen und synchronisieren, spezifizieren. Diese Meldungen werden an andere Geräte übertragen und steuern dort die Tonerzeugung und andere Funktionen. Die MIDI-Daten können auch in einem Hardware- oder Softwaregerät, das als Sequenzer bezeichnet wird, gespeichert sein. Dieser kann dazu verwendet werden, die Daten zu editieren und zu einem späteren Zeitpunkt wiederzugeben.
-
Da MIDI-Dateien als eine Sequenz von hexadezimale Zahlen gespeichert werden, ist es manchmal bequemer, das MidiXML-Format anstelle des MIDI-Formats für die Musikdatei zu verwenden. Die 5 stellt einen Ausschnitt aus einer MidiXML-Datei dar, der die erste Note des Musikstücks von Beethoven, das in der 3 gezeigt ist, codiert. Diese Daten können in eine MIDI-Datei transformiert werden, die dann einem Sequenzer zugeführt werden kann, um ein analoges Tonsignal zu erzeugen. Es ist auch möglich, auf Basis von MidiXML-Daten eine Musikpartitur mittels eines Notationsprogramms wie FINALE® zu erzeugen, das die MidiXML-Daten in eine grafische Darstellung übersetzt.
-
Hier wird angenommen, dass die Musikdatei eine MidiXML-Datei ist, in der zumindest die Tonhöhen und Tonlängen der vier Chorstimmen des Musikstücks in einer Weise kodiert sind, wie sie in der 5 dargestellt ist.
-
In einem zweiten Schritt S2 kann der Benutzer eine der Gesangsstimmen auswählen, die akustisch hervorgehoben werden soll, während das Musikstück akustisch wahrnehmbar abgespielt wird. Wie oben erwähnt, kann diese Auswahl durch Berühren des Notensystems erfolgen, das die gewünschte Gesangsstimme repräsentiert. Alternativ kann der Benutzer diese Auswahl dadurch durchführen, dass er oder sie einen der Knöpfe 18, 20 drückt, nachdem ein Menüfenster geöffnet worden ist. Außerdem kann der Benutzer die ihn interessierende Gesangsstimme einmalig beim Starten des Programms auswählen. Während die Musik wahrnehmbar abgespielt wird, erscheint dann ein Soft-Button in der Anzeige 12, der beispielweise mit ”Meine Stimme hervorheben” benannt ist. Die Auswahl der Gesangsstimme wird dann durch Drücken dieses Soft-Buttons vorgenommen. Diese Vorgehensweise hat den Vorteil, dass der Benutzer die ihn interessierende Gesangsstimme nicht jedes Mal auswählen muss, wenn er die Hervorhebefunktion verwenden möchte.
-
In einem dritten Schritt S3 werden die Musikdaten, welche die von dem Benutzer in Schritt S2 ausgewählte Gesangsstimme repräsentieren, mittels eines Tongenerators in Stimmtonsignale transformiert. Zu diesem Zweck transformiert der Tablet-Computer 10 die MidiXML-Daten der Musikdatei in MIDI-Daten. Der Tongenerator, der als ein MIDI-Sequenzer-Programmmodul realisiert sein kann, transformiert die MIDI-Daten in ein analoges Tonsignal. Der Ton, der von dem Tongenerator erzeugt wird, kann an die Stimmlage angepasst sein, die akustisch hervorgehoben werden soll. Will also der Benutzer beispielsweise, dass die Bassstimme akustisch hervorgehoben wird, kann der Tongenerator einen künstlichen Ton erzeugen, der eine menschliche Bassstimme nachbildet. Da insbesondere im Falle von menschliches Stimmen ein solcher künstlicher Ton häufig unbefriedigend ist, kann von dem Tongenerator mittels MIDI-Daten stattdessen ein neutraler Ton oder ein Ton erzeugt werden, der einem anderen Instrument, z. B. einem Klavier, nachgebildet ist.
-
In einem alternativen Ausführungsbeispiel wird dem Tablet-Computer 10 in Schritt S1 keine MidiXML-Datei, sondern eine MIDI-Datei zur Verfügung gestellt. In diesem Fall müssen durch den Tablet-Computer 10 keine MidiXML-Daten in MIDI-Daten übersetzt werden.
-
In einem vierten Schritt S4 werden von dem Computer 10 Audiotonsignale auf Basis der Audiodaten erzeugt, die in der Audiodatei enthalten sind. Dies kann mit einem konventionellen Decoder erreicht werden, der in der Lage ist, die digitalen Audiodaten zu dekodieren, um ein analoges Audiosignal zu erzeugen, wie es in der 4 dargestellt ist.
-
In einem nächsten Schritt S5 werden die Stimmtonsignale, die von dem Tongenerator erzeugt wurden, und die Audiotonsignale, die von dem Decoder erzeugt wurden, zusammengemischt, um ein gemischtes Tonsignal zu erhalten, in dem das von der Musikdatei repräsentierte Musikstück und das von der Audiodatei repräsentierte Musikstück synchronisiert sind. Das Mischen kann auf einer digitalen Ebene oder alternativ auf einer analogen Ebene ausgeführt werden.
-
3. Synchronisation
-
Ein erster Ansatz für das Synchronisieren des von der Musikdatei und von der Audiodatei repräsentierten Musikstücks wird im Folgenden mit Bezug auf die Tabelle 1 beschrieben.
| Audioaufnahme | MidiXML-Daten |
| # Takt | Zeit t [s] | # Ticks | Δ Original-Tempo [μs] | Δ Verändertes Tempo [μs] |
| 0 | 0 | 0 | 1360000 | 1361000 |
| 1 | 1,361 | 256 | 1360000 | 1395000 |
| 2 | 2.756 | 512 | 1360000 | 1241000 |
| 3 | 3.997 | 768 | 1360000 | 1322000 |
| 4 | 5.319 | 1024 | 1360000 | 1361000 |
| ... | ... | ... | | ... |
Tabelle 1
-
Die linke Spalte der Tabelle 1 stellt die Taktnummer in einem der Notensysteme des Musikstücks dar. Die zweite Spalte gibt die Zeit in Sekunden an, zu welcher die entsprechenden Takte in der Audioaufnahme beginnen. Diese Information kann manuell von einer Person erzeugt werden, welche die Aufnahme hört und jedes Mal einen Knopf drückt, wenn ein neuer Takt beginnt. Obwohl man erwarten würde, dass die Takte in streng periodischen Intervallen auftreten, so zeigt sich, dass sie dies in der Audioaufnahme nicht tun, etwa weil der Dirigent sich dafür entschieden hat, das Tempo zwischen den Takten zu verändern.
-
Die dritte Spalte gibt die entsprechende Information in der ursprünglichen MidiXML-Datei an. Jeder Takt ist unterteilt in 256 Ticks, und die Tempoinformation für jeden Takt ist 1360000 μs. Im Unterschied zu der Audioaufnahme wird die Zeitsequenz hier durch das Zeitintervall Δ zwischen zwei aufeinander folgenden Takten beschrieben.
-
In den ursprünglichen MidiXML-Daten ist dieses Zeitintervall Δ gleich 1360000 μs = 1,36 s für jeden Takt. Würde man daher eine MidiXML-Datei in eine MIDI-Datei transformieren, einen Audioton erzeugen und diesen zusammen mit der Audioaufnahme abspielen, würden die zwei Töne nicht zueinander passen, da der von den MIDI-Daten erzeugte Audioton perfekt regelmäßig wäre, während die Audioaufnahme Tempoveränderungen enthält.
-
Deswegen werden die MidiXML-Daten, die sich auf das Zeitintervall Δ beziehen, so modifiziert, dass die zwei Töne synchronisiert sind. Zu diesem Zweck werden die veränderten Zeitintervalldaten Δn für den Takt n derart verändert, dass diese gleich der Differenz d = tn – tn-1 sind. Dadurch wird auch die Länge der Töne, die in der digitalen Musikdatei kodiert sind, so modifiziert, dass das von der Musikdatei repräsentierte Musikstück und das von der Audiodatei repräsentierte Musikstück synchron sind, wenn sie gleichzeitig abgespielt werden.
-
Die 6 zeigt eine Grafik, die diese Art des Synchronisierens der Zeitachse der MidiXML-Datei mit der Zeitachse der Audiodatei illustriert. In der ursprünglichen MidiXML-Datei treten die Takte periodisch auf, wohingegen in der Audioaufnahme die Takte unregelmäßige Längen haben. Durch Modifizieren der Zeitintervalle zwischen den Takten in der MidiXML-Datei ist es möglich, die Daten so aufeinander abzustimmen, dass Musik, die auf der Basis der Musikdatei erzeugt wurde, und Musik, die auf der Basis der Audiodatei erzeugt wurde, synchronisiert abgespielt werden kann.
-
Eine andere Art des Synchronisierens der Audiodatei mit der Musikdatei nutzt eine gesonderte Synchronisationsdatei, die dem Tablet-Computer 10 bereitgestellt wird. Diese Synchronisationsdatei enthält Synchronisationsdaten, die eine Zeitkorrelation zwischen den Musikdaten und den Audiodaten herstellen. Diese Synchronisationsdaten werden von dem Tongenerator verwendet, wenn dieser die Musikdaten in Stimmtonsignale in Schritt S3 transformiert.
-
4. Synchronisierte Wiedergabe und Stimmenhervorhebung
-
In einem letzten Schritt S6 wird der Ton des Musikstücks über die Lautsprecher 14, 16 mittels des gemischten Tonsignals akustisch wahrnehmbar wiedergegeben. Gleichzeitig wird mindestens ein Teil des Klavierauszugs 22 in der Anzeige 12 dargestellt, und derjenige Teil des Klavierauszugs, welcher der gerade akustisch wiedergegebenen Passage des Musikstücks entspricht, wird mittels des Balkens 24 hervorgehoben.
-
5. Lautstärkensteuerung
-
Die Lautstärke des Tons, der vom Tongenerator auf der Basis der Musikdatei erzeugt wird, ist zunächst nicht an die Lautstärke des Tons angepasst, der von dem Decoder auf der Basis der Audiodatei erzeugt wird. Wird die Musik der Aufnahme in bestimmten Passagen besonders laut, kann es daher für den Benutzer schwierig sein, den zusätzlichen Ton akustisch wahrzunehmen, der zum Hervorheben einer bestimmten Stimme der Aufnahme beigemischt wurde.
-
Daher kann es zweckmäßig sein, Tonlautstärkedaten, die in den Musikdaten enthalten sind, im Zeitpunkt des Zusammenfügens der Stimmtonsignale und der Audiotonsignale in Schritt S5 in geeigneter Weise zu verändern. Meist wird es wünschenswert sein, die Lautstärke der Stimmtonsignale mit steigender Lautstärke der Audiotonsignale zu erhöhen, und umgekehrt. Es können aber auch kompliziertere und nichtlineare Funktionen bei der Modifikation der Lautstärkendaten zum Einsatz kommen.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
