Beschreibungdescription
Automatisierte Generierung Gebärdensprachelemente repräsentierender mehrdimensionaler graphischer DaxstellungenAutomated generation of sign language elements representing multidimensional graphic Dax positions
Die vorliegende Erfindung betrifft ein Verfahren zur automatisierten Generierung Gebärdensprachelemente repräsentierender mehrdimensionaler graphischer Darstellungen, ein automa- tisertes Übersetzungssystem und ein Computerprogramm.The present invention relates to a method for the automated generation of multidimensional graphic representations representing sign language elements, an automated translation system and a computer program.
Weltweit sind zahlreiche hörbehinderte Menschen auf Hilfe von Gebärdendolmetschern angewiesen, um über öffentliche Medien bereitgestellte Informations- und Unterhai"tungsangebote nutzen zu können. Als Alternative zu gängigen Untertiteln ist eine simultane Übersetzung in Gebärdensprache insbesondere bei Fernsehsendungen bekannt. Jedoch werden Gebärdendolmetscher auch bei Informations- und Unterhaltmngsangeboten mit hohem Anteil von Wortbeiträgen vornehmlich aus Kostengründen nur äußerst selten eingesetzt.Numerous hearing-impaired people worldwide rely on the help of sign language interpreters in order to be able to use information and entertainment offers made available through public media. As an alternative to common subtitles, simultaneous translation into sign language is particularly well-known for television programs Entertainment offers with a high proportion of word contributions, used only extremely rarely, primarily for cost reasons.
In WO 98/53438 ist ein Verfahren zur Erzeugung zusammengefügter Zeichensprachbilder beschrieben, bei dem Originalbilder von Sprechern aufgenommen wird und den Oricjinalbild zugeordnete Charakteristika ermittelt werden. Außerdem werden Sprachsignale der Sprecher aufgenommen und auf korrespondierende Zeichensprachbilder untersucht. Dabei ermittelte Zeichensprachbilder werden an die Charakteristika der Originalbilder der Sprecher angepaßt und zur Erzeugung zusammengefügter Zeichensprachbilder den Originalbildern der Sprecher ü- berlagert. Eine derartige Bildbearbeitung erfordert einen hohen Signalverarbeitungsaufwand, der eine S multan-Übersetzung insbesondere von Live-Sendungen bis zur Unmöglichkeit erschwert. Außerdem ist bei dem aus WO 98/53438 bekannten Verfahren stets ein Originalbild des jeweiligen Sprechers erfor- derlich. Aufgrund dessen ist die Anwendung dieses Verfahrens stets ausgeschlossen, sofern das Originalb ld für eine Überlagerung von Zeichensprachbildern nicht geeignet ist oder gar
nicht vorliegt, wie dies beispielsweise bei zahlreichen Doku- mentarsendungen oder bei Radiosendungen der Fall ist.WO 98/53438 describes a method for generating combined sign language images in which original images are recorded by speakers and characteristics associated with the original image are determined. In addition, voice signals from the speakers are recorded and examined for corresponding sign language images. Sign language images determined in this way are adapted to the characteristics of the original images of the speakers and are superimposed on the original images of the speakers in order to produce combined sign language images. Such image processing requires a high signal processing effort, which makes S multan translation particularly difficult from live broadcasts to the point of impossibility. In addition, in the method known from WO 98/53438, an original image of the respective speaker is always required. Because of this, the use of this method is always ruled out if the original image is not suitable or even not suitable for overlaying sign language images is not available, as is the case for example with numerous documentary programs or with radio programs.
Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein einfach zu implementierendes Verfahren zur automatisierten Generierung Gebärdensprachelemente repräsentierender Darstellungen zu schaffen, das sich für eine Vielzahl von Anwendungsumgebungen eignet, und zur Durchführung des Verfahrens geeignete Anordnungen und Gegenstände anzugeben.The present invention is therefore based on the object of providing an easy-to-implement method for the automated generation of representations representing sign language elements, which is suitable for a large number of application environments, and to specify suitable arrangements and objects for carrying out the method.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren mit den in Anspruch 1, ein automatisiertes Übersetzungssystem mit den in Anspruch 7 und ein Computerprogramm mit den in Anspruch 8 angegebenen Merkmalen gelöst. Vorteilhafte Weiter- bildungen der vorliegenden Erfindung sind in den abhängigen Ansprüchen angegeben.This object is achieved according to the invention by a method with the features in claim 1, an automated translation system with the features in claim 7 and a computer program with the features specified in claim 8. Advantageous further developments of the present invention are specified in the dependent claims.
Ein wesentlicher Aspekt der vorliegenden Erfindung liegt darin, daß aus einer ermittelten Folge von Gebärdensprachelemen- ten unanhängig von einem Sprecher oder einer Nachrichtenquelle eine Folge mit mehrdimensionalen graphischen Repräsentationen der Gebärdensprachelemente erzeugt wird. Die Folge von Gebärdensprachelementen resultiert aus einer Zuordnung zu einer Folge von Textelementen. Diese Folge von Textelementen resultiert wiederum aus einer Zerlegung eines zu übersetzenden Texts in eine Folge von Textelementen, deren zugeordnete Gebärdensprachelemente in einer Datenbank abgespeichert sind.An essential aspect of the present invention is that a sequence with multidimensional graphic representations of the sign language elements is generated from a determined sequence of sign language elements, independently of a speaker or a news source. The sequence of sign language elements results from an assignment to a sequence of text elements. This sequence of text elements in turn results from the decomposition of a text to be translated into a sequence of text elements, the associated sign language elements of which are stored in a database.
Das Vorteil der vorliegenden Erfindung liegt daher darin, daß eine simultane Übersetzung in Gebärdensprache mit vergleichsweise geringem Rechenaufwand möglich ist. Des weiteren weist die vorliegende Erfindung aufgrund eines nicht erforderlichen Originalbildes eines Sprechers ein weites Anwendungsgebiet auf, das beispielsweise Radiosendungen und Telefonanwendungen umfaßt. Da die Repräsentationen der Gebärdensprachelemente unabhängig vom jeweiligen Sprecher bzw. der jeweiligen Nachrichtenquelle sind können die Repräsentationen der Gebärden-
Sprachelemente nach generischen Regel erzeugt werden, was eine Implementierung weiter vereinfacht.The advantage of the present invention therefore lies in the fact that simultaneous translation into sign language is possible with comparatively little computing effort. Furthermore, due to an unnecessary original image of a speaker, the present invention has a wide field of application, which includes, for example, radio broadcasts and telephone applications. Since the representations of the sign language elements are independent of the respective speaker or the respective news source, the representations of the sign Language elements are generated according to the generic rule, which further simplifies implementation.
Entsprechend einer vorteilhaften Ausgestaltung der vorliegen- den Erfindung wird eine gesprochene Tonfolge mittels eines Spracherkennungsverfahrens in den zu übersetzenden Text umgewandelt. Durch eine damit vorausgehende Sprach-Text-Konver- tierung können Sprecher- bzw. nachrichtenquellenindividuelle Faktoren bei einer Übersetzung in Gebärdensprache weitgehend eliminiert werden.According to an advantageous embodiment of the present invention, a spoken tone sequence is converted into the text to be translated by means of a speech recognition method. A speech-text conversion that precedes this can largely eliminate factors specific to the speaker or news source when translating into sign language.
Vorteilhafterweise wird eine zur gesprochenen Tonfolge korrespondierende Folge mit mehrdimensionalen graphischen Repräsentationen von Gebärdensprachelementen zwischengepuffert und um eine durch eine Erzeugung der Folge mit mehrdimensionalen graphischen Repräsentationen der Gebärdensprachelemente aus der gesprochenen Tonfolge bestimmte Zeitdauer verzögert wiedergegeben. Hierdurch läßt sich eine Synchronität zwischen Gebärdensprache und einer mit der gesprochenen Tonfolge ver- knüpften Bildsequenz erzielen.Advantageously, a sequence corresponding to the spoken tone sequence is buffered with multidimensional graphic representations of sign language elements and is delayed by a period of time determined by generating the sequence with multidimensional graphic representations of the sign language elements from the spoken tone sequence. This makes it possible to achieve a synchronicity between sign language and an image sequence linked to the spoken tone sequence.
Entsprechend einer vorteilhaften Anwendung der vorliegenden Erfindung wird eine Übersetzung von Texten bzw. gesprochenen Tonfolgen in Gebärdensprache in einem Kommunikationssystem als Dienst bereitgestellt. Ein solcher Dienst kann insbesondere an einem Computer-Telefonie-Endgeräte mit Anzeigeeinrichtung zur Übersetzung von Sprachnachrichten eines Gesprächtsteilnehmers in Gebärdensprache bereitgestellt werden. Auf diese Weise wird einer großen Anzahl hörbehinderter Menschen die Nutzung des wichtigen Kommunikationsmittels Telefon ermöglicht.According to an advantageous application of the present invention, a translation of texts or spoken tone sequences into sign language is provided as a service in a communication system. Such a service can be provided, in particular, on a computer telephony terminal with a display device for translating a subscriber's voice messages into sign language. This enables a large number of hearing-impaired people to use the important communication medium, the telephone.
Eine weitere vorteilhafte Anwendung der vorliegenden Erfindung ist eine Übersetzung von Texten bzw. gesprochenen Ton- folgen in Gebärdensprache zur Aufbereitung von Radio- bzw.A further advantageous application of the present invention is a translation of texts or spoken tone sequences into sign language for the preparation of radio or
Fernsehsendungsinhalten. Auf diese Weise kann das für hörbehinderte Menschen in Radio und Fernsehen zur Verfügung ste-
hende Informations- und Unterhaltungsangebot kostengünstig erheblich erweitert werden.TV show content. In this way it can be made available to the hearing impaired on radio and television. existing information and entertainment offerings can be expanded considerably at low cost.
Die vorliegende Erfindung wird nachfolgend an einem Ausfüh- rungsbeispiel anhand der Zeichnung näher erläutert.The present invention is explained in more detail below using an exemplary embodiment with reference to the drawing.
Es zeigt die Figur ein Übersetzungssystem zur automatisierten Generierung Gebärdensprachelemente repräsentierender mehrdimensionaler graphischer Darstellungen.The figure shows a translation system for the automated generation of multi-dimensional graphic representations representing sign language elements.
In der Figur sind neben einem automatisierten Übersetzungssystem 101 ein das automatisierte Übersetzungssystem steuernder Computer 102, ein Mikrophon 103 und ein Monitor 104 zur Wiedergabe von Bildinformationen dargestellt. Das Überset- zungssystem 101 umfaßt einen Analog-Digital-Wandler 111, eine Spracherkennungseinheit 112, eine Textdekompositionseinheit 113, eine Textzuordnungseinheit 114, eine Animationserzeu- gungseinheit 115 sowie eine Datenbank 116. Der Analog- Digital-Wandler 111 ist mit dem Mikrophon 103 verbunden und wandelt von dem Mikrophon 103 aufgenommene analoge Tonfolgen in digitale Datenwörter um, die der Spracherkennungseinheit 112 zugeführt werden. Mit dem Mikrophon 103 werden in Gebärdensprache zu übersetzende Wortbeiträge eines Sprechers aufgenommen .In addition to an automated translation system 101, the figure shows a computer 102 controlling the automated translation system, a microphone 103 and a monitor 104 for reproducing image information. The translation system 101 comprises an analog-digital converter 111, a speech recognition unit 112, a text decomposition unit 113, a text assignment unit 114, an animation generation unit 115 and a database 116. The analog-digital converter 111 is connected to the microphone 103 and converts analog sound sequences recorded by the microphone 103 into digital data words which are fed to the speech recognition unit 112. With the microphone 103, speech contributions of a speaker to be translated are recorded in sign language.
Die Spracherkennungseinheit 112 wandelt die vom Analog- Digital-Wandler 111 empfangenen digitalen Datenwörter in einen in Gebärdensprache zu übersetzenden Text um. Zur Spracherkennung werden in der Spracherkennungseinheit 112 Musterer- kennungsalgorithmen mit hochentwickelten Schätzverfahren auf Basis linguistischer Regeln und einer kontextbezogenen Wissensbasis kombiniert. Der durch die Spracherkennungseinheit 112 erzeugte zu übersetzende Text wird nachfolgend durch die Textdekompositionseinheit 113 in eine Folge von Textelementen zerlegt, deren zugeordnete Gebärdensprachelemente in der Da¬ tenbank 116 abgespeichert sind.
Die von der Textdekompositionseinheit 113 erzeugte Folge von Textelementen wird anschließend der Textzuordnungseinheit 114 zugeführt, welche die Folge von Textelementen unter Rückgriff auf die Datenbank 116 einer Folge von Gebardensprachelementen zuordnet, die jeweils durch einen Gebärdsprachelement Identi— fikator eindeutig bestimmt sind. Aufgrund dessen erzeugt die Textzuordnungseinheit 114 vorzugsweise keine Folge von kompletten Gebärdensprachelementen, sondern lediglich eine Folge von Gebärdensprachelement-Identifikatore .The speech recognition unit 112 converts the digital data words received by the analog / digital converter 111 into a text to be translated into sign language. For speech recognition, in the speech recognition unit 112, pattern recognition algorithms are combined with sophisticated estimation methods based on linguistic rules and a context-related knowledge base. The generated by the speech recognition unit 112 to be translated text is decomposed below by the Textdekompositionseinheit 113 into a series of text elements whose associated sign language elements in the Da ¬ tenbank stored 116th The sequence of text elements generated by the text decomposition unit 113 is then fed to the text assignment unit 114, which, using the database 116, assigns the sequence of text elements to a sequence of common language elements, each of which is uniquely determined by a sign language element identifier. Because of this, the text mapping unit 114 preferably does not generate a sequence of complete sign language elements, but only a sequence of sign language element identifiers.
Die Folge von der Textzuordnungseinheit 114 erzeugten Folge von Gebärdensprachelement-Identifikatoren wird anschließend der Animationserzeugungseinheit 115 zugeführt. Dort wird aus der Folge von Gebärdensprachelement-Identifikatoren wiederum unter Rückgriff auf die Datenbank 116 eine Folge mit mehrdimensionalen graphischen Repräsentationen der Gebärdensprachelemente erzeugt. Vorzugsweise werden dabei dreidimensionale Graphiken aus einem in der Datenbank 116 abgespeicherten Vorrat von Graphikprimitiven erzeugt und in einer filmsequenz- ähnlichen graphischen Animation dargestellt. Die Animation kann dabei beispielsweise im MPEG-Format, im QuickTime-Format oder in einem anderen gängigen über Plattformgrenzen portier— baren Format erzeugt werden. Die von der Animationserzeugungseinheit 115 erzeugte Animation wird abschließend an den Monitor 104 übermittelt und dort zur Anzeige gebracht. EineThe sequence of sign language element identifiers generated by the text mapping unit 114 is then fed to the animation generation unit 115. From the sequence of sign language element identifiers, a sequence with multidimensional graphic representations of the sign language elements is again generated using the database 116. Three-dimensional graphics are preferably generated from a pool of graphic primitives stored in database 116 and displayed in a graphic animation similar to a film sequence. The animation can be generated, for example, in MPEG format, in QuickTime format or in another common format that is portable across platform boundaries. The animation generated by the animation generation unit 115 is finally transmitted to the monitor 104 and displayed there. A
Darstellung der Animation mit einer Gebärdensprachübersetzung kann beispielsweise in einem eigenen Bildbereich 142 dargestellt werden, der über einen Bildbereich 141 zur Darstellung einer mit der in Gebärdensprache übersetzten Tonfolge ver- knüpften Videosequenz geblendet wird.Representation of the animation with a sign language translation can be represented, for example, in a separate image area 142, which is blended via an image area 141 to represent a video sequence linked to the sound sequence translated into sign language.
Zur Steuerung der automatisierten Generierung Gebärdensprachelemente repräsentierender mehrdimensionaler graphischer Darstellungen ist auf dem Computer 102 ein Programm 123 instal- liert, das in einem Arbeitsspeicher 122 des Computers 102 ladbar und durch einen Prozessor 121 des Computers 102 abarbeitbar ist. Das Computerprogramm 123 weist eine Codesequenz
auf, bei deren Ausführung eine Zerlegung des zu übexsetzenden Textes in eine Folge von Textelementen veranlaßt wird, deren zugeordnete Gebärdensprachelemente in der Datenbank 116 abgespeichert sind. Außerdem wird bei Ausführung des Computerpro- gramms 123 eine Zuordnung der Folge von Textelementen zur einer Folge von Gebärdensprachelementen veranlaßt. Darüber hinaus wird bei Ausführung eine Erzeugung einer Folge mit mehrdimensionalen graphischen Repräsentation von Gebärdensprachelementen aus der Folge von Gebärdensprachelementen veran- laßt. Diese Schritte werden ausgeführt, wenn das Programm 123 im Computer 102 abläuft. Durch das Programm 123 werden damit der Analog-Digital-Wandler 111, die Spracherkennungseinheit 112, die Textdekompositionseinheit 113, die Textzuordnungseinheit 114 und die Animationserzeugungseinrichtung 115 des Übersetzungssystems 101 angesteuert. Alternativ dazu ist es möglich, daß der Computer 102 als Modul bzw. die Funktionalität des Computers 102 mit dem geladenen Programm 123 in das Übersetzungssystem 101 integriert wird.To control the automated generation of multidimensional graphic representations representing sign language elements, a program 123 is installed on the computer 102, which can be loaded into a working memory 122 of the computer 102 and can be processed by a processor 121 of the computer 102. The computer program 123 has a code sequence when they are executed, a decomposition of the text to be translated into a sequence of text elements is caused, the associated sign language elements of which are stored in the database 116. In addition, when the computer program 123 is executed, the sequence of text elements is assigned to a sequence of sign language elements. In addition, a sequence with multidimensional graphic representation of sign language elements from the sequence of sign language elements is caused to be executed. These steps are carried out when the program 123 runs in the computer 102. The program 123 thus controls the analog / digital converter 111, the speech recognition unit 112, the text decomposition unit 113, the text assignment unit 114 and the animation generator 115 of the translation system 101. Alternatively, it is possible for the computer 102 to be integrated into the translation system 101 as a module or the functionality of the computer 102 with the loaded program 123.
Um eine Synchronisierung der auf dem Monitor 104 dargestellten Videosequenz mit der Gebärdensprachübersetzung zu erzielen, wird eine zur gesprochenen Tonfolge korrespondierende Folge mit mehrdimensionalen graphischen Repräsentationen von Gebärdensprachelementen zwischengepuffert. Anschließend wird die zwischengepufferte Folge um eine durch eine Erzeugung der Folge mit mehrdimensionalen graphischen Repräsentationen der Gebärdensprachelemente aus der gesprochenen Tonfolge bestimmte Zeitdauer verzögert wiedergegeben.In order to synchronize the video sequence shown on the monitor 104 with the sign language translation, a sequence corresponding to the spoken tone sequence is buffered with multidimensional graphic representations of sign language elements. The buffered sequence is then reproduced with a delayed period of time determined by generating the sequence with multidimensional graphic representations of the sign language elements from the spoken tone sequence.
Eine Anwendungsmöglichkeit der vorliegenden Erfindung kann beispielsweise eine Bereitstellung einer Übersetzung von Texten bzw. gesprochenen Tonfolgen in Gebärdensprache als Dienst in einem Kommunikationssystem sein. Ein solcher Dienst kann beispielsweise an einem Computer-Telefonie-Endgerät mit An- Zeigeeinrichtung zur Übersetzung von Sprachnachrichten eines Gesprächteilnehmers in Gebärdensprache bereit gestellt werden. Eine andere Anwendungsmöglichkeit ist eine Bereitstel-
lung einer Übersetzung von Texten bzw. gesprochenen Tonfolgen in Gebärdensprache zur Aufbereitung von Radio- bzw. Fernsehsendungsinhalten. Durch das vorangehend beschriebene Verfahren zur automatisierten Generierung von Übersetzungen in Ge- bärdensprache lassen sich derartige Inhalte deutlich kostengünstiger als bisher mit Simultanübersetzungen in Gebärdensprache versehen.One possible application of the present invention can be to provide a translation of texts or spoken tone sequences in sign language as a service in a communication system. Such a service can be provided, for example, on a computer telephony terminal with a display device for translating voice messages from a conversation participant into sign language. Another possible application is a provision Translation of texts or spoken tone sequences into sign language for the preparation of radio or television program content. With the method described above for the automated generation of translations into sign language, such contents can be provided with simultaneous translations into sign language much more cost-effectively than before.
Ein weiterer Dienst auf Basis der vorliegenden Erfindung kann eine Bereitstellung eines Zugriffs auf eine Datenbank sein, in der Textbausteine Gebärdensprachelementen zugeordnet sind. Eine derartige Datenbank kann künden- bzw. anwenderseitig zusätzlich fachspezifisch erweitert werden. Darüber hinaus kann ein derartiger Dienst für zahlreiche Medienbibliotheken ver- wendet werden, sogar für archivierte bildlose Sprachaufzeichnungen. Eine Vermarktung von Diensten auf Basis der vorliegenden Erfindung ist beispielsweise über Archivclienste oder Applikation Service Provider möglich. Generell koieten derartige Dienste große Einsparung auf Anbieterseite sowie eine deutliche Steigerung von Informations- und Unterhaltungsangeboten für hörbehinderte Menschen andererseits. Fernsehsendungen können beispielsweise durch eine automatisiert generierte Simultanübersetzung in Gebärdensprache anstelle von Bildschirmuntertiteln begleitet werden.Another service based on the present invention can be to provide access to a database in which text modules are assigned to sign language elements. Such a database can be expanded subject-specifically by the customer or user. In addition, such a service can be used for numerous media libraries, even for archived non-image voice recordings. Services based on the present invention can be marketed, for example, via archive services or application service providers. In general, such services offer great savings on the provider side as well as a significant increase in information and entertainment offers for the hearing impaired. For example, television programs can be accompanied by an automatically generated simultaneous translation into sign language instead of screen subtitles.
Die Anwendung der vorliegenden Erfindung ist nicht auf die hier beschriebenen Ausführungsbeispiele beschränkt.
The application of the present invention is not restricted to the exemplary embodiments described here.