DE69608826T2

DE69608826T2 - Vorrichtung zur Verarbeitung von Audiosignalen, wobei eine harmonische Stimme von polyphonischen Stimmen abgeleitet wird

Info

Publication number: DE69608826T2
Application number: DE69608826T
Authority: DE
Inventors: Yasuo Kageyama
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 1995-02-13
Filing date: 1996-02-13
Publication date: 2001-02-01
Anticipated expiration: 2016-02-14
Also published as: CN1137666A; CN1146858C; EP0726559A3; EP0726559A2; EP0726559B1; US5712437A; DE69608826D1

Description

HINTERGUND DER ERFINDUNG

Die vorliegende Erfindung bezieht sich auf einen Audio-Signal-Prozessor, welcher ein Harmonietonsignal bzw. Harmoniestimmensignal in ein Melodieaudiosignal, wie zum Beispiel einem Singtonsignal einfügt, und bezieht sich insbesondere auf einen Audiosignalprozessor, welcher ein Harmonietonsignal selektiv zu einem Singtonsignal, welches eine bestimmte Melodie aus einer Vielzahl von gleichzeitigen Eingabemelodietonsignalen hat, addiert.
Aus dem Stand der Technik sind Karaoke-Vorrichtungen bekannt, die um Karaoke-Singen heiterer zu gestalten, harmonische Töne, zum Beispiel drei Tonlagen höher als die Singstimme eines Karaoke Sängers, und welche weiter die Harmonietöne zusammen mit den originalen Singtönen, reproduzieren. Im allgemeinen wird eine solche Harmonisierungsfunktion der Karaoke- Vorrichtung dadurch erreicht, dass die Tönhöhe des Singtonsignals verschoben wird, um das Harmonietonsignal zu erzeugen.
Karaoke-Lieder, die von Karaoke-Vorrichtungen zur Verfügung gestellt werden, können Duett-Lieder enthalten, welche sich aus einer Vielzahl von melodischen Teilen zusammensetzen und die von einer Vielzahl (zwei) Sängern gesungen werden. Während der Vorführung des Duettliedes, werden zwei Singtöne bzw. -Stimmen in die Karaoke-Vorrichtung zur selben Zeit eingegeben, und die herkömmlichen Karaoke-Vorrichtungen mit der Harmonisierungsfunktion addieren Harmonien bzw. Harmonische zu allen Eingabesi-· gnaltonsignalen, so dass die mehrfachen Teile des reproduzierten Liedes miteinander interferieren und dazu tendieren unartikuliert zu sein, was in einem Stören der Duettsingstimme resultiert anstelle einer Aufheiterung des Karaoke-Singvortrags.
Vorrichtung geeignet zur Melodie-Detektierung und Harmonieerzeugung sind aus der US-A-5,202,528 und der US-A-5,231,671 bekannt.

ZUSAMMENFASSUNG DER ERFINDUNG

Das Ziel der vorliegenden Erfindung ist es eine Karaoke-Vorrichtung vorzusehen, welche einen bestimmten Teil aus einem Polyphonen Eingangsaudiosignal extrahieren kann und welches selektiv ein Harmonieaudiosignal für den bestimmten Teil erzeugt, und zwar sogar dann, wenn mehrfache Singtöne bzw. Stimmen eingegeben werden.
Gemäß der vorliegenden Erfindung umfasst ein Audiosignalprozessor eine Eingabeeinrichtung, die ein polyphones Audiosignal, welches eine Vielzahl von melodischen Teilen, die eine musikalische Komposition darstellen, enthält, eine Detektiereinrichtung, welche einen vorbestimmten eines der Vielzahl von melodischen Teilen, die in dem polyphonen Eingabeaudiosignal enthalten sind, detektiert, eine Herauszieheinrichtung bzw. Extrahiereinrichtung, welche den detektierten melodischen Teil aus dem polyphonen Eingabeaudiosignal extrahiert, eine harmonieerzeugende Einrichtung, welche die Tonlage des extrahierten melodischen Teils verschiebt um ein harmonisches Audiosignal repräsentativ für einen zusätzlichen harmonischen Teil, erzeugt, und eine Ausgabeeinrichtung, die das erzeugte harmonische Audiosignal mit dem polyphonen Eingabeaudiosignal mischt, um die Musikkomposition erklingen zu lassen, die den zusätzlichen Harmonieteil enthält, welche von dem vorbestimmten Melodieteil abgeleitet wurde. In einer besonderen Ausgestaltung, gibt die Eingabeeinrichtung ein polyphones Audiosignal, welches einen hauptmelodischen Teil und einen nicht hauptmelodischen Teil enthält, ein und die Detektiereinrichtung detektiert insbesondere den hauptmelodischen Teil, so dass der zusätzliche harmonische Teil, abgeleitet von dem hauptmelodischen Teil, in die erklingende, musikalische Komposition eingefügt wird. Andernfalls, gibt die Eingabeeinrichtung ein polyphones Audiosignal, welches einen hauptmelodischen Teil und zumindest einen nicht hauptmelodischen Teil enthält, ein und die Eingabeeinrichtung erfasst den nicht hauptmelodischen Teil.
Der Audiosignalprozessor gemäß der vorliegenden Erfindung wird, wie im folgenden beschrieben, betrieben. Zunächst wird das polyphone Audiosignal durch die Audiosignaleingabeeinrichtung eingegeben. Zum Beispiel kann der Audiosignalprozessor bei einer Karaoke-Vorrichtung angewendet werden, und die Audiosignaleingabeeinrichtung können Aufnahmegeräte, wie zum Beispiel Mikrofone für Karaokesänger sein, oder ein Verstärker zum Verstärken der Mikrofonausgaben. Der bestimmte Teil der als Detektiereinrichtung bezeichnet wird, detektiert eine Audiosignalkomponente, die einen bestimmten melodischen Teil unter den vielzähligen eingegebenen melodischen Teilen, detektiert. Der bestimmte Teil kann zum Beispiel einer von dem hauptmelodischen Teil, dem harmonischen Teil, dem Ruf- und Antwortteil sein. Der bestimmte Teil kann aufgrund von gespeicherten Informationen, die anzeigend sind für ein Muster des bestimmten Teils, detektiert werden. Der bestimmte Teil wird erfasst, bzw. detektiert, wenn dieser mit der gespeicherten Information übereinstimmt. Alternativ, kann ein bestimmter Teil, der mit einer gegebenen Regel übereinstimmt, detektiert werden. Zum Beispiel könnte die Regel die sein, dass die höchste Note vermutlich den hauptmelodischen Teil, der als der bestimmte melodische Teil erfaßt werden soll, sein kann. Die detektierte Audiosignalkomponente, die dem bestimmten Teil entspricht, wird aus dem Polyphonen Eingabeaudiosignal extrahiert. Die bestimmte Audiosignalkomponente kann durch ein Auswählen des Eingangskanals, durch welchen der bestimmte Teil des Audiosignals eingegeben wird, ausgewählt werden, wenn das polyphone Audiosignal kollektiv durch die unabgängigen Eingangskanäle, wie zum Beispiel eine Vielzahl von separaten Mikrofonen eingegeben wird. Andernfalls werden Frequenzkomponenten, die fundamentalen Frequenzen des bestimmten Teils entsprechen, von dem polyphonen Audiosignal separiert, und zwar durch Filtern, wenn die polyphonen Audiosignale durch einen gemeinsamen Eingabekanal, wie zum Beispiel einer Einfachaufnahmeinrichtung oder ein Mikrofon, eingegeben werden. Die Tonhöhe des extrahierten bestimmten melodischen Teils wird verschoben um das Harmonieaudiosignal zu erzeugen. Die Tonhöhe kann einfach durch ein Verändern eines Taktes der zum Auslesen der digitalisierten oder zeitweise gespeicherten Audiosignalkomponente des bestimmten melodischen Teils dient, verschoben werden. Andernfalls, kann das harmonische Audiosignal erzeugt werden durch ein Verschieben von Frequenzkomponenten des Tones des bestimmten Teils ohne das deren Formant geändert wird. Das erzeugte harmonische Audiosignal wird mit dem eingegebenen polyphonen Audiosignal gemischt um so das zusammengesetzte Audiosignal, begleitet mit farbenfrohen Harmonien, zu reproduzieren.

KURZE BESCHREIBUNG DER ZEICHNUNGEN

Fig. 1 ist ein schematisches Blockdiagramm welches eine Karaoke- Vorrichtung als ein Ausführungsbeispiel der vorliegenden Erfindung zeigt.
Fig. 2A und 2B zeigen Konfiguration von Lieddaten, die von der Karaoke- Vorrichtung behandelt werden.
Fig. 3 zeigt eine Autokorrelationsanalyse eines polyphonen Eingabeaudiosignals.
Fig. 4 zeigt ein Verfahren zum Tonhöhenverschieben eines Audiosignals.
Fig. 5 ist ein schematisches Blockdiagramm welches eine Karaoke- Vorrichtung als weiteres Ausführungsbeispiel der vorliegenden Erfindung zeigt.
Fig. 6 ist ein schematisches Blockdiagramm, welches eine Karaoke- Vorrichtung als ein weiteres Ausführungsbeispiel der vorliegenden Erfindung zeigt.
Fig. 7A, 7B und 7C zeigen Wellenformen eines polyphonen Audiosignals und seiner Bestandteile.

BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN

Eine Karaoke-Vorrichtung, als Ausführungsbeispiel der vorliegenden Erfindung, wird unter Bezugnahme auf die Zeichnungen beschrieben. Die Karaoke-Vorrichtung ist in der Form einer Tonquelle-Karaoke-Vorrichtung strukturiert. Die Tonquellen-Karaoke-Vorrichtung erzeugt Karaoke-Töne durch Betreiben einer Tonquelleneinrichtung gemäß Karaokelieddaten. Die Lieddaten sind eine Sequenz von Daten zusammengesetzt aus parallelen Spuren bzw. Tracks, welche Aufführungsdatensequenzen speichern, die Tonhöhe und Zeitpunkt von gespielten Noten etc. spezifizieren.
Die Karaokevorrichtung hat eine Harmonisierungsfunktion um Harmonietöne mit einem dreifachen oder fünffachen Tonlagenunterschied relativ zu dem Originaltonsignal des Karaokesängers zu erzeugen. Die Harmonietöne werden erzeugt und reproduziert durch ein Verschieben der Tonlage des Tonsignals des Karaokesängers. Weiterhin, kann die Vorrichtung sogar bei einer Duettliedaufführung, wobei zwei Sänger separat zwei melodische Teile singen, einen hauptmelodischen Teil detektieren und erzeugt einen zusätzlichen harmonischen Teil nur für den detektierten hauptmelodischen Teil.
Die Fig. 1 ist ein schematisches Blockdiagramm der Karaokevorrichtung. Fig. 1 zeigt einen Audiosignalprozessor, der sich in der Karaokevorrichtung befindet, zum Erzeugen eines Karaoke begleitenden Tones und zum Verarbeiten der Singstimme des Karaokesängers. Andererseits werden eine Anzeigensteuerung für die Textwörter oder Hintergrundbilder, eine Liedabfragesteuerung und andere Komponenten nicht gezeigt, da sie eine herkömmliche Struktur, bekannt aus dem Stand der Technik, haben. Die Lieddaten die zur Ausführung eines Karaokeliedes eingesetzt werden, werden in einer HDD 15 gespeichert. Die HDD 15 speichert viele Tausende von Lieddatenfiles. Durch Auswahl eines gewünschten Titels durch den Liedauswähler, liest ein Sequenzierer 14 die ausgewählten Lieddaten aus. Der Sequenzierer 14 ist mit einem Speicher zum kurzzeitigen Speichern der ausgelesenen Lieddaten versehen, sowie mit einem Sequenzprogrammprozessor zum sequentiellen Auslesen der Daten aus dem Speicher. Die ausgelesenen Daten werden vorbestimmten Prozessen ausgesetzt, und zwar auf einer Track-zu-Track-Basis.
Die Fig. 2A und 2B zeigt Konfigurationen der Lieddaten. In Fig. 2A umfassen die Lieddaten einen Header, der den Titel und das Genre des Liedes, gefolgt von einem instrumentalen Tontrack, einem Hauptmelodietrack·, einem harmonischen Track, einem lyrischen Track, einem Tontrack, einem Effekttrack, und einem Tondatenblock umfaßt. Der Hauptmelodietrack besteht aus einer Sequenz von Ereignisdaten und Zeitdauerdaten Δt die ein Intervall zwischen benachbarten Ereignissen, wie in der Fig. 2B gezeigt, spezifiziert. Der Sequenzierer 14 zählt die Zeitdauerdaten Δt mit einem vorbestimmten Geschwindigkeitstakt. Nach Abzählen der Zeitdauerdaten Δt, liest der Sequenzierer 14 die nächsten Ereignisdaten aus. Die Ereignisdaten des Hauptmelodietracks werden zu einem hauptmelodischen Detektor 23 verteilt, um einen hauptmelodischen Teil, der sich in der polyphonen Audiosignaleeingabe der Vielzahl von Karaokespielern befindet, auszuwählen oder zu detektieren. Genauer gesagt werden die Ereignisdaten der hauptmelodischen Daten besondere Teilinformation eingesetzt um einen bestimmten Teil, wie zum Beispiel den hauptmelodischen Teil auszuwählen.
Die anderen im Bezug auf den Hauptmelodietrack verbleibenden Tracks, genauer gesagt, der instrumentale Tontrack, Harmonietrack, lyrische Track, Tontrack, und Effekttrack sind ähnlich, wie der Hauptmelodietrack, aus einer Sequenz von Ereignisdaten und Zeitdauerdaten zusammengesetzt. Der instrumentale Tontrack umfasst mehrfache Untertracks, wie zum Beispiel ein instrumentaler Melodietrack der Karaokebegleitung, Rhythmus-Tracks, und Akkordtracks.
Bei der Karaokeaufführung, liest der Sequenzierer 14 die Ereignisdaten von dem instrumentalen Tontrack aus und sendet diese Ereignisdaten zu einer Tonquelle 16. Die Tonquelle 16 erzeugt einen musikalischen Begleitton gemäß den Ereignisdaten. Der lyrische Track ist ein Sequenztrack um die Texte auf einem Monitor anzuzeigen. Der Sequenzierer 14 liest die Ereignisdaten aus dem Lyriktrack aus und sendet die Daten zu einer Anzeigensteuerung. Die Anzeigensteuerung steuert die Textanzeige gemäß den Ereignisdaten. Der Tontrack ist ein Sequenztrack zur Spezifizierung der Erzeugungssynchronisation einer menschlichen Stimme, wie zum Beispiel eines Hintergrundchores und eines Ruf- und Antwortchores, die nur schwer durch eine Tonquelle 16 zusammengesetzt bzw. synthetisiert werden können. Das Chorstimmensignal wird als eine Vielzahl von Tondaten in dem Tondatenblock aufgezeichnet. Bei der Karaokeaufführung, liest der Sequenzierer 14 die Ereignisdaten von den Tondatentrack aus. Die Tondaten, spezifiziert durch die Ereignisdaten, werden zu einem Addierer 28 gesendet. Der Effekttrack ist ein Sequenztrack um einen Effektor, zusammengesetzt aus einem DSP der sich in der Tonquelle 16 befindet, zu steuern. Der Effektor verwendet Toneffekte wie zum Beispiel Hall auf das Eingabesignal an. Die Effektereignisdaten werden an die Tonquelle 16 weitergegeben. Die Tonquelle 16 erzeugt das instrumentale Tonsignal mit spezifischen Tönen, Tonhöhen und Lautstärken gemäß den Ereignisdaten des instrumentalen Tontracks empfangen von dem Sequenzierer 14. Das erzeugte instrumentale Tonsignal wird in den Addierer 28 in einen DSP 13 gegeben.
Die Karaoke-Vorrichtung ist mit einer Eingabeeinrichtung oder Aufnahmeeinrichtung in der Form eines einzelnen oder gemeinsamen Mikrofons 10 versehen. Wenn ein Sängerpaar in einer Duettsongaufführung singt, werden die zwei Singstimmen durch das einzelne Mikrofon 10 aufgenommen. Das polyphone Audiosignal der Singstimmen, aufgenommen durch das Mikrofon 10, wird in dem Verstärker 11 verstärkt und wird dann in ein digitales Signal durch den ADC 12 konvertiert. Das digitale konvertierte Audiosignal wird in den DSP 13 gegeben. Der DSP 13 speichert Mikroprogramme um verschiedene Funktionen, schematisch als Block in der Fig. 1 gezeigt, auszuführen, und führt diese Mikroprogramme aus um alle Funktionen, dargestellt durch die Blöcke, innerhalb eines jeden Abtastzyklussees des digitalen Audiosignals auszuführen.
In der Fig. 1, wird das digitale Signal, eingegeben über den ADC 12, in den Autokorrelationsanalysator 21 und die Verzögerungselemente 24 und 27 eingegeben. Der Autokorrelationsanalysator 21 analysiert einen Zyklus eines Maximalwertes oder Spitze des eingegebenen polyphonen Audiosignals, und detektiert eine Fundamentalfrequenz der Singstimmen der mehrfachen Karaokesänger.
Ein grundlegendes Prinzip der Detektion der fundamentalen Frequenz ist schematisch in den Fig. 7A bis 7C dargestellt. Die Fig. 7C zeigt eine Wellenform des eingegebenen polyphonen Audiosignals, während Fig. 7A und 7B Wellenformen der zwei Frequenzkomponenten, die in dem polyphonen Audioeingabesignal enthalten sind, zeigen. Die erste Komponente, gezeigt in der Fig. 7A, hat eine längere Periode A, während die zweite Komponente, gezeigt in der Fig. 7B eine kürzere Periode B hat. Die Periode B zum Beispiel ist zwei Drittel der Periode A. Jede Spitze oder Maximalwert des polyphonen Eingabeaudiosignals wird detektiert, so dass die kürzere Periode B der zweiten Frequenzkomponente als ein Zeitintervall zwischen ersten und zweiten Spitzen des polyphonen Eingabeaudiosignals bestimmt wird. Eine dritte Spitze des polyphonen Eingabeaudiosignals fällt in die Periode B. Somit, wird die dritte Spitze von den Spitzen der zweiten Frequenzkomponente unterschieden, und es wird bestimmt, dass sie zu der ersten Frequenzkomponente gehört. Demgemäß wird die längere Periode A der ersten Frequenzkomponente als ein Zeitintervall zwischen den ersten und den dritten Spitzen bestimmt. Die fundamentale Frequenz ist durch den Kehrwert der erfassten Periode gegeben.
Die Fig. 3 zeigt ein Verfahren der Autokorrelationsanalyse, dass durch den Autokorrelationsanalysator 21 ausgeführt wird. Die Theorie der Autokorrelationsanalyse ist aus dem Stand der Technik bekannt, und Berechnungsdetails werden deshalb hier ausgelassen. Da die Autokorrelationsfunktion eines periodischen Signal (d. h. das polyphone Audioeingabesignal) wiederum ein periodisches Signal, mit derselben Periode wie das Original, ist erreicht die Autokorrelationsfunktion des Signals, deren Abtastperiode P hat, einen Maximalwert bei 0, ±P, ±2P... Abtastungen unabhängig von der zeitlichen Herkunft des Signals. Diese Periode P entspricht den Perioden A und B gezeigt in den Fig. 7A und 7B. Somit, kann die Periode des Signals durch ein Suchen des ersten maximalen Werts der Autokorrelationsfunktion geschätzt werden. In der Fig. 3 erscheinen die maximalen Werte bei einer Vielzahl von Punkten, von denen sich keiner bei einem ganzzahligen Zahlenverhältnis befindet. Daher ist erkennbar, dass diese Werte jeweils verschiedene Perioden der Singstimmen der beiden Sänger mit den verschiedenen Frequenzverteilungen entsprechen. Daher, können die fundamentalen Frequenzen der Singstimmen separat für das Paar der Karaokespieler detektiert werden. Der Autokorrelationsanalysator 21 sendet die detektierten fundamentalen Frequenzinformationen zu dem Singstimmenanalysator 22 und einem Hauptmelodiedetektor 23. Da ein stimmhafter Ton befindlich in der Singstimme eine periodische Wellenform hat, während ein stimmloser Ton eine rauschähnliche Wellenform hat, können die stimmhaften und stimmlosen Töne voneinander unterschieden werden durch den Autokorrelationsanalysator 21. Die Ergebnisse der stimmhaften/stimmlosen Tonerfassung wird in den Singstimmenanalysator 22 gegeben.
Der Hauptmelodiedetektor 23 detektiert welche der fundamentalen Frequenzen enthalten in der polyphonen Audiosignaleingabe aus dem Autokorrelationsanalysator 21 der Singstimme des hauptmelodischen Teils entsprechen, und zwar gemäß der hauptmelodischen Information (die Ereignisdaten des Hauptmelodietracks) eingegeben durch den Sequenzierer 14. Die Detektionsergebnisse werden an einen hauptmelodischen Extrahierer 25 gegeben.
Der Singstimmenanalysator 22 analysiert einen Zustand der Singvorführung gemäß der Analyseinformation, die die fundamentalen Frequenzdaten, eingegeben durch den Autokorrelationsanalysator 21, umfaßt. Den Zustand der Singvorführung repräsentiert ob die Anzahl der aktiven Sänger gleich 0 (keine Stimmperiode, wie zum Beispiel eine Pause), 1 (Solostrophe oder Ruf-und- Antwort-Periode) oder 2 oder mehr (Duettsingperiode) ist. Der Singstimmenanalysator 22 detektiert den Zustand der Singvorführung, und weiterhin detektiert er ob die Singstimmen des nicht hauptmelodischen Teils unterschiedlich von dem hauptmelodischen Teil mit dem hauptmelodischen Teil harmonisieren, wenn mehrere Sänger gleichzeitig singen. Solche eine Detektierung wird basierend auf den harmonischen Informationen (die Ereignisdaten des harmonischen Track) eingegeben von dem Sequenzierer 14, durchgeführt. Der Singstimmenanalysator 22 detektiert außerdem ob die Singstimme des hauptmelodischen Teils sich gegenwärtig in einer stimmhaften Vokalperiode oder einer stimmlosen Konsonantenperiode befindet.
Der Singstimmenanalysator 22 steuert den Betrieb des hauptmelodischen Detektors 23 und des hauptmelodischen Extraktors 25 gemäß dem Ergebnis der Analyse. Wenn der detektierte Zustand der Singvorführung eine Nicht- Stimmenperiode anzeigt, werden der hauptmelodische Detektor 23 und der hauptmelodische Extraktor 25 in der Nicht-Stimmenperiode abgeschaltet, weil die Detektierung des hauptmelodischen Teils und die Extrahierung des hauptmelodischen Teils nicht benötigt werden. Wenn einer der zwei Sänger den hauptmelodischen Teil singt, während der andere Sänger den harmonischen Teil singt, ist der hauptmelodische Extraktor 25 abgeschaltet, weil kein harmonischer Ton erzeugt werden soll, um ein Überlappen mit dem harmonischen Life-Teil zu verhindern. Ein Abschalten des hauptmelodischen Extraktors 25 bewirkt, dass ein Tonhöhenverschieber 26 seine Harmonietonerzeugung beendet.
Alternativ, wenn einer der zwei Sänger den hauptmelodischen Teil singt, während der andere Sänger den harmonischen Teil singt, ist es möglich die Tonhöhe des hauptmelodischen Teils eine bestimmte Tonlage höher oder tiefer von dem harmonischen Teil gesungen durch den anderen Sänger zu verschieben. Wenn der andere Sänger zum Beispiel drei Tonlagen höher als der hauptmelodische Teil singt, kann der Tonlagenverschieber 26 die Tonalge des hauptmelodischen Teils fünf Tonlagen bzw. Grade höher verschieben um somit einen anderen harmonischen Teil unterschiedlich von dem harmonischen Life-Teil, gesungen durch den anderen Sänger, erzeugt.
Weiterhin, wenn detektiert wird, dass nur einer der beiden Sänger singt, wird der hauptmelodische Detektor 23 abgeschaltet, weil der gesungene Teil definitiv der hauptmelodische Teil ist. Der Hauptmelodieextraktor 25 wird instruiert, das eingehende gesungene Tonaudiosignal so wie es ist weiterzugeben. Somit, wird die Singstimme des Solisten direkt von dem Verzögerungselement 24 zu dem Tonlagenverschieber 26 gesendet.
Der Algorithmus des hauptmelodischen Extraktors 25 wird in Abhängigkeit, ob die hauptmelodische Stimme in eine stimmhafte oder stimmloser Tonperiode fällt, verändert. Wenn das Tonsignal der Hauptmelodie ein stimmhafter Vokalton ist, hat das Tonsignal eine relativ einfache Harmoniekomposition aus dem fundamentalen Ton (Frequenz), so dass die Extrahierung des hauptmelodischen Teils durch ein Filtern der Harmonien der Komposition durchgeführt werden kann. Andernfalls, wenn das Tonsignal ein stimmloser Konsonantenton ist, wird der hauptmelodische Teil durch ein Verfahren, das verschieden ist von dem angewendet zur Extraktion des stimmlosen Tonsignals extrahiert, weil der stimmhafte Ton viele nicht lineare Rauschkomponenten besitzt.
Das Tonsignal der Hauptmelodie extrahiert durch den hauptmelodischen Extraktor 25, oder das Tonsignal des Einzelsängers, ausgelassen durch den hauptmelodischen Extraktor 25, wird in den Tonhöhenverschieber 26 gegeben. Der Tonhöhenverschieber 26 verschiebt die Tonhöhe des Eingangssignals gemäß der Harmonieinformation, die von dem Sequenzierer 14 geliefert wird, und das resultierende Signal wird in den Addierer 28 eingegeben. Der Tonhöhenverschieber 26 reserviert einen Formant (eine Umhüllung des Frequenzspektrums) des Signals, das von der vorhergehenden Stufe eingegeben wurde, und verschiebt nur die Frequenzkomponenten die durch das Formant abgedeckt sind. Der Pegel einer jeden Tonhöhen verschobenen Komponente wird angepasst, so dass er mit der Umhüllung des Frequenzspektrums, wie in der Fig. 4 gezeigt, übereinstimmt. Somit wird nur die Tonhöhe (Frequenz) verschoben ohne den Klang der Stimme zu verändern.
In der Fig. 1, empfängt der Addierer 28 das somit erzeugte Harmonietonsignal, sowie das Karaoke begleitende Signal, das Chorsignal, welches direkt von dem Sequenzierer 14 sowie das Singtonsignal, welches direkt durch den ACD 12 und das Verzögerungselement 27 eingegeben werden. Der Addierer 28 mischt das Singtonsignal, das Harmonietonsignal, das Karaoke begleitende Signal und das Chortonsignal um ein Stereoaudiosignal zu synthetisieren. Das gemischte Audiosignal wird über den DSP 13 zu einem DAC 17 verteilt, den DAC 17 konvertiert das digitale Eingangsstereosignal in ein analoges Signal und sendet es an einen Verstärker 18. Der Verstärker 18 verstärkt das Eingangsanalogsignal und das verstärkte Signal wird durch einen Lautspre cher 19 wiedergegeben. Die zwei Verzögerungselemente 24 uns 27 werden auf geeignete Weise zwischen den Blöcken in dem DSP 13 eingefügt um eine Signalverzögerung, die in den Autokorrelationsanalysator 21, dem hauptmelodischen Detektor 23, und so weiter erzeugt wird, zu kompensieren. Somit analysiert die Karaokevorrichtung das polyphone Audiosignal des gesungenen Tones, welches durch das einzelne Mikrofon 10 eingegeben wird, detektiert welcher des mehrteiligen (zwei Teile) Singtones dem hauptmelodischen Teil entspricht, und erzeugt selektiv ein Harmonieteil für den Sington, der dem hauptmelodischen Teil entspricht, so dass nur zu der Hauptmelodie die Harmonie dazuaddiert wird sogar bei einer Karaokeliedvorführung im Duett.
Fig. 5 ist ein schematisches Blockdiagramm der Karaoke-Vorrichtung als ein weiteres Ausführungsbeispiel der vorliegenden Erfindung. Der Unterschied zwischen der Karaokevorrichtung, wie sie in der Fig. 1 (erstes Ausführungsbeispiel) und dem Ausführungsbeispiel der Fig. 5 gezeigt ist, ist der, dass die Vorrichtung, gezeigt in der Fig. 5, mit mehreren (zwei in der Fig. 5) Mikrofonen für jeden der Karaokesänger versehen ist. Jedes Singtonsignal des Sängers wird separat oder unabhängig in einen DSP 36 gegeben. In Fig. 5, werden die Speicherblöcke, die Ausleseeinrichtungen für die Karaokelieddaten, das Signalverarbeitungssystem des Audiosignals nachdem das Gesangstonsignal und das Karaoke begleitende Signal miteinander vermischt werden mit den gleichen Bezugszeichen bezeichnet. Die Ausführungen für diese werden im folgenden gekürzt, da sie dieselben sind wie in dem ersten Ausführungsbeispiel.
Die Ausgaben der zwei Mikrofone 30, 31 für ein Duettsingen werden jeweils durch Verstärker 32 und 33 verstärkt und dann in Digitalsignale durch ADCs 34 und 35 konvertiert bevor sie in den DSP 36 gegeben werden. In dem DSP 26 wird ein erstes Gesangstonsignal, welches durch die Mikrofone 30 eingegeben wurde, in den Autokorrelationsanalysator 41 und in das Verzögerungselement 44 sowie einen Addierer 47 gegeben. Ein zweites Gesangstonsignal, eingegeben über das Mikrofon 31, wird in einen Autokorrelationsanalysator 42 sowie Verzögerungselement 44 und Addierer 47 gegeben. Die Autokorrelati onsanalysatoren 41 und 42 analysieren jeweils die fundamentalen Frequenzen der ersten und zweiten Gesangstonsignale. In dieser Anordnung, müssen die Autokorrelationsanalysatoren 41 und 42 nicht das Paar von Gesangsstimmen voneinander separieren um die fundamentalen Frequenzen zu analysieren. Das Ergebnis der Analyse wird zu dem Gesangstonalaysator 43 gegeben. Der Gesangstonanalysator 43 überprüft bzw. detektiert im Bezug auf die Anzahl der Sänger, die Hauptmelodie und die Harmonie gemäß der eingegebenen Fundamentalfrequenzen der zwei Gesangstonsignale, sowie der Information im Bezug auf die Hauptmelodie und der Harmoniemelodie eingegeben durch den Sequenzierer 14. Genauer gesagt detektiert der Gesangstonanalysator 43 ob zwei Sänger im Duett singen, welcher Sänger den Hauptmelodieteil im Falle des Duettsingens singt, und ob ein Tonsignal mit dem anderen harmonisiert. Wenn der Hauptmelodieteil detektiert wurde, wird ein entsprechendes Auswahlsignal in den Selektor 45 gegeben. Der Selektor 45 schaltet den Signalweg so, dass das Gesangstonsignal, welches als der hauptmelodische Teil erkannt wurde, an den Tonhöhenverschieber 46 verteilt wird, der Tonhöhenverschieber 46 verschiebt die Tonhöhe des Eingangsaudiosignals gemäß der Harmonieinformation, welche durch den Sequenzierer 14 eingegeben wurde zur Harmonietonerzeugung. Die Harmonieinformationen werden konstruiert um einen Betrag für die Tonhöhenverschiebung der Hauptmelodie zu bestimmen um die entsprechende Harmoniemelodie zu erzeugen.
Das Harmonietonsignal wird in einen Addierer 49 gegeben. Der Addierer 49 empfängt das Harmonietonsignal sowie das Karaoke-Begleitsignal von der Tonquelle 16, das Chorsignal, direkt eingegeben durch den Sequenzierer 14, und das Gesangstonsignal, direkt eingegeben durch die ADCs 34 und 35, dem Addierer 47 und das Verzögerungselement 48. Der Addierer 49 vermischt das Gesangstonsignal, das Harmonietonsignal, das Karaoke begleitende Signal und das Chorsignal um ein Stereoaudiosignal zu erzeugen. Das gemischte Audiosignal wird durch den DSP 36 an einen DRC 17 verteilt. In dem unten beschriebenen Ausführungsbeispiel wird nur das Gesangstonsignal entsprechend dem hauptmelodischen Teil in einem Duettlied harmoniert.
Es ist jedoch möglich eine Harmonie selektiv für einen nicht hauptmelodischen Teil unterschiedlich von dem hauptmelodischen Teil zu erzeugen zum Beispiel in einem Ruf-und-Antwort-Teil. Weiterhin ist es möglich Harmonien für beide, den hauptmelodischen Teil und dem nicht hauptmelodischen Teil zu erzeugen. Zum Beispiel, kann in der Vorrichtung, gezeigt in der Fig. 5 ein bevorzugter oder gewünschter Teil ausgewählt werden und für die Harmonieerzeugung extrahiert werden, wobei der Selektor 45 für den bevorzugten Teil (dem hauptmelodischen Teil oder den anderen Teil) schaltbar arrangiert wird, und wobei Harmonieinformationen über den hauptmelodischen Teil oder den anderen Teil an den Tonhöhenverschieber 46 verteilt werden im Einklang mit dem Zustand des Selektors 45.
Fig. 6 zeigt ein Ausführungsbeispiel in welchem mehrere Gesangstonsignale in eine einzelne Aufnahmeeinrichtung eingegeben werden. In der Fig. 6 wurden dieselben Bezugszeichen für dieselben Elemente wie die in der Fig. 1 benutzt und die Erklärungen dieser wird im folgenden gekürzt. In diesem Ausführungsbeispiel enthalten die Lieddaten, die in dem Sequenzierer 14 gespeichert werden, einen speziellen Teiltrack anstelle des Hauptmelodietracks. Ein spezieller Trackdetektor 53 empfängt Ereignisdaten aus dem speziellen Teiltrack aus dem Sequenzierer 14, und detektiert welche der fundamentalen Frequenzen, die in dem polyphonen Audiosignal enthalten sind von dem Autokorrelationsanalysator 21 dem speziellen Teil entsprechen. Das Ergebnis dieser Detektierung wird in einen speziellen Teilextraktor 55 eingegeben. Der spezielle Teilextraktor 55 extrahiert die Frequenzkomponenten, die dem speziellen Teil des polyphonen Audiosignals entsprechen. Die extrahierten Komponenten des speziellen Teils werden in den Tonhöhenverschieber 26 gegeben. Der Tonhöhenverschieber 26 verschiebt die Tonhöhe des Eingangssignals um den Ton des speziellen Teils zu bereichern.
Wie oben beschrieben, kann gemäß der vorliegenden Erfindung, sogar wenn mehrere Teile eines Audiosignals eingegeben werden, ein spezielles Teilaudiosignal, wie zum Beispiel der hauptmelodische Teil detektiert werden und aus den Eingangssignale extrahiert werden um selektiv ein harmonisches Au diosignal für das extrahierte Audiosignal zu erzeugen, so dass sogar in dem polyphonen Audiosignaleingang nur der harmonische Ton, abgeleitet von dem speziellen Teil, eingefügt werden kann und die Karaokeaufführung ausgesprochen erheitert werden kann. Weiterhin, da der hauptmelodische Teil aus dem polyphonen Audiosignal detektiert wurde, kann der hauptmelodische Teil extrahiert werden aus den Gesangstönen, sogar wenn mehrere Sänger ihre Teile miteinander vertauschen.

Claims

1. Audiosignalprozessor (13) mit

einer Eingabeeinrichtung (10, 11, 12), die eine polyphones Audiosignal eingibt, welches eine Vielzahl Melodie-Parts bzw. Melodie-Teile enthält, die eine Musikkomposition bilden;

eine Detektiereinrichtung (21, 22, 23), die einen vorbestimmten Teil aus der Vielzahl von Melodie-Teilen detektiert, die in dem eingegebenen polyphonen Audiosignal enthalten sind;

eine Herauszieheinrichtung (25), die den detektierten Melodie-Teil aus dem eingegebenen polyphonen Audiosignal herauszieht;

eine Harmonie-Erzeugungseinrichtung (26), die die Tonhöhe des herausgezogenen Melodie-Teils verändert, um ein Harmonie-Audiosignal zu erzeugen, das repräsentativ ist für einen zusätzlichen Harmonie-Part bzw. -Teil; und

eine Ausgabeeinrichtung (28), die das erzeugte Harmonie-Audiosignal zu dem eingegebenen polyphonen Audiosignal mischt, um die Musikkomposition erklingen zu lassen, die den zusätzlichen Harmonie-Teil enthält, welcher von dem vorbestimmten Melodie-Teil abgeleitet wurde.

2. Audiosignalprozessor (13) gemäß Anspruch 1, wobei die Eingabeeinrichtung (10, 11, 12) ein polyphones Audiosignal eingibt, das einen Haupt-Melodie-Teil und einen Neben-Melodie-Teil enthält, und wobei die Detektiereinrichtung (21, 22, 23) insbesondere den Haupt-Melodie-Teil detektiert, so daß der zusätzliche Harmonie-Teil von dem Haupt-Melodie- Teil abgeleitet wird und in die ausgegebene Musikkomposition eingeführt wird.

3. Audiosignalprozessor (13) gemäß Anspruch 2, wobei ferner folgendes vorgesehen ist: eine Harmonie-Überprüfungseinrichtung, die detektiert, wenn der Neben-Melodie-Teil mit einem Muster des zusätzlichen, von dem Haupt-Melodie-Teil abgeleiteten Harmonie-Teil zusammenfällt, und eine Sperreinrichtung, die die Harmonie-Erzeugungseinrichtung anspre chend auf die Harmonie-Detektier- bzw. -Überprüfungseinrichtung sperrt, um dadurch Erzeugung des zusätzlichen Harmonie-Teils zu verhindern, der sich mit dem Neben-Melodie-Teil überschneiden würde.

4. Audiosignalprozessor (13) gemäß Anspruch 1, wobei die Eingabeeinrichtung (10, 11, 12) ein polyphones Audiosignal eingibt, das einen Haupt-Melodie-Teil und einen Neben-Melodie-Teil enthält, und wobei die Detektiereinrichtung (21, 22, 23) den Neben-Melodie-Teil detektiert.

5. Audiosignalprozessor (13) gemäß Anspruch 1, wobei die Eingabeeinrichtung (10, 11, 12) eine einige Aufnahmeeinrichtung aufweist, die gleichzeitig mehrere, parallel zueinander gespielte bzw. vorgebrachte Töne bzw. Klänge der Vielzahl von Melodie-Teilen aufnimmt, um dadurch das polyphone Audiosignal einzugeben, welches die Vielzahl von Melodie-Teilen enthält.

6. Audiosignalprozessor (13) gemäß Anspruch 5, wobei die Herauszieheinrichtung (25) das von der einzigen Aufnahmevorrichtung aufgenommene polyphone Audiosignal filtert, um eine Frequenzkomponente entsprechend dem detektierten Melodie-Teil davon zu trennen.

7. Audiosignalprozessor (13) gemäß Anspruch 1, wobei die Detektiereinrichtung (21, 22, 23) eine Analysiereinrichtung, die das eingegebene polyphone Audiosignal analysiert, um daraus eine Vielzahl von Grundfrequenzen entsprechend der Vielzahl von Melodie-Teilen zu detektieren, und eine Auswahleinrichtung aufweist, welche die Vielzahl von Grundfrequenzen mit vorläufig gespeicherter Information eines bestimmten Teils vergleicht, um den bestimmten Melodie-Teil auszuwählen, der mit der Information des bestimmten Teils übereinstimmt.

8. Audiosignalprozessor (13) gemäß Anspruch 1, wobei die Harmonie- Erzeugungsvorrichtung (26) die Tonhöhe des herausgezogenen Melodie- Teils verändert, um den zusätzlichen Harmonie-Teil zu erzeugen, und zwar gemäß der vorläufig gespeicherten Harmonie-Information, die eine Tonhöhendifferenz zwischen dem bestimmten Melodie-Teil und dem zusätzlichen Harmonie-Teil bezeichnet bzw. bestimmt.

9. Audiosignalprozessor (13) gemäß Anspruch 8, wobei ferner folgendes vorgesehen ist: eine Harmonie-Detektiervorrichtung, die detektiert, wenn ein anderer als der bestimmte Melodie-Teil mit der Harmonie-Information zusammenfällt, und eine Sperreinrichtung, die die Harmonie- Erzeugungseinrichtung ansprechend auf die Harmonie- Detektiereinrichtung sperrt, um dadurch Erzeugung des zusätzlichen Harmonie-Teils zu verhindern, der sich mit dem erwähnten Melodie-Teil überschneiden würde.

10. Harmonie-Erzeugungsverfahren, das die folgenden Schritte aufweist:

Eingeben die eines polyphonen Audiosignals (10, 11, 12), welches eine Vielzahl Melodie-Parts bzw. Melodie-Teile enthält, die eine Musikkomposition bilden;

Detektieren eines vorbestimmten Teils aus der Vielzahl von Melodie- Teilen (21, 22, 23), die in dem eingegebenen polyphonen Audiosignal enthalten sind;

Herausziehen des detektierten Melodie-Teils aus dem eingegebenen polyphonen Audiosignal (25);

Verändern der Tonhöhe des herausgezogenen Melodie-Teils (26), um ein Harmonie-Audiosignal zu erzeugen, das repräsentativ ist für einen zusätzlichen Harmonie-Part bzw. -Teil; und

Mischen des erzeugten Harmonie-Audiosignals zu dem eingegebenen polyphonen Audiosignal (28), um die Musikkomposition erklingen zu lassen, die den zusätzlichen Harmonie-Teil enthält, welcher von dem vorbestimmten Melodie-Teil abgeleitet wurde.