WO2005031701A2 - Automatic generation of multidimensional graphic representations representing sign language - Google Patents

Automatic generation of multidimensional graphic representations representing sign language Download PDF

Info

Publication number
WO2005031701A2
WO2005031701A2 PCT/EP2004/052183 EP2004052183W WO2005031701A2 WO 2005031701 A2 WO2005031701 A2 WO 2005031701A2 EP 2004052183 W EP2004052183 W EP 2004052183W WO 2005031701 A2 WO2005031701 A2 WO 2005031701A2
Authority
WO
WIPO (PCT)
Prior art keywords
sequence
sign language
elements
text
language elements
Prior art date
Application number
PCT/EP2004/052183
Other languages
German (de)
French (fr)
Other versions
WO2005031701A3 (en
Inventor
Claus Gehne
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Publication of WO2005031701A2 publication Critical patent/WO2005031701A2/en
Publication of WO2005031701A3 publication Critical patent/WO2005031701A3/en

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009—Teaching or communicating with deaf persons

Definitions

  • the present invention relates to a method for the automated generation of multidimensional graphic representations representing sign language elements, an automated translation system and a computer program.
  • WO 98/53438 describes a method for generating combined sign language images in which original images are recorded by speakers and characteristics associated with the original image are determined. In addition, voice signals from the speakers are recorded and examined for corresponding sign language images. Sign language images determined in this way are adapted to the characteristics of the original images of the speakers and are superimposed on the original images of the speakers in order to produce combined sign language images. Such image processing requires a high signal processing effort, which makes S multan translation particularly difficult from live broadcasts to the point of impossibility. In addition, in the method known from WO 98/53438, an original image of the respective speaker is always required. Because of this, the use of this method is always ruled out if the original image is not suitable or even not suitable for overlaying sign language images is not available, as is the case for example with numerous documentary programs or with radio programs.
  • the present invention is therefore based on the object of providing an easy-to-implement method for the automated generation of representations representing sign language elements, which is suitable for a large number of application environments, and to specify suitable arrangements and objects for carrying out the method.
  • An essential aspect of the present invention is that a sequence with multidimensional graphic representations of the sign language elements is generated from a determined sequence of sign language elements, independently of a speaker or a news source.
  • the sequence of sign language elements results from an assignment to a sequence of text elements.
  • This sequence of text elements in turn results from the decomposition of a text to be translated into a sequence of text elements, the associated sign language elements of which are stored in a database.
  • the advantage of the present invention therefore lies in the fact that simultaneous translation into sign language is possible with comparatively little computing effort. Furthermore, due to an unnecessary original image of a speaker, the present invention has a wide field of application, which includes, for example, radio broadcasts and telephone applications. Since the representations of the sign language elements are independent of the respective speaker or the respective news source, the representations of the sign Language elements are generated according to the generic rule, which further simplifies implementation.
  • a spoken tone sequence is converted into the text to be translated by means of a speech recognition method.
  • a speech-text conversion that precedes this can largely eliminate factors specific to the speaker or news source when translating into sign language.
  • a sequence corresponding to the spoken tone sequence is buffered with multidimensional graphic representations of sign language elements and is delayed by a period of time determined by generating the sequence with multidimensional graphic representations of the sign language elements from the spoken tone sequence.
  • a translation of texts or spoken tone sequences into sign language is provided as a service in a communication system.
  • a service can be provided, in particular, on a computer telephony terminal with a display device for translating a subscriber's voice messages into sign language. This enables a large number of hearing-impaired people to use the important communication medium, the telephone.
  • TV show content In this way it can be made available to the hearing impaired on radio and television.
  • existing information and entertainment offerings can be expanded considerably at low cost.
  • the figure shows a translation system for the automated generation of multi-dimensional graphic representations representing sign language elements.
  • the figure shows a computer 102 controlling the automated translation system, a microphone 103 and a monitor 104 for reproducing image information.
  • the translation system 101 comprises an analog-digital converter 111, a speech recognition unit 112, a text decomposition unit 113, a text assignment unit 114, an animation generation unit 115 and a database 116.
  • the analog-digital converter 111 is connected to the microphone 103 and converts analog sound sequences recorded by the microphone 103 into digital data words which are fed to the speech recognition unit 112. With the microphone 103, speech contributions of a speaker to be translated are recorded in sign language.
  • the speech recognition unit 112 converts the digital data words received by the analog / digital converter 111 into a text to be translated into sign language.
  • pattern recognition algorithms are combined with sophisticated estimation methods based on linguistic rules and a context-related knowledge base.
  • the generated by the speech recognition unit 112 to be translated text is decomposed below by the Textdekompositionsaku 113 into a series of text elements whose associated sign language elements in the Da ⁇ tenbank stored 116th
  • the sequence of text elements generated by the text decomposition unit 113 is then fed to the text assignment unit 114, which, using the database 116, assigns the sequence of text elements to a sequence of common language elements, each of which is uniquely determined by a sign language element identifier. Because of this, the text mapping unit 114 preferably does not generate a sequence of complete sign language elements, but only a sequence of sign language element identifiers.
  • the sequence of sign language element identifiers generated by the text mapping unit 114 is then fed to the animation generation unit 115.
  • a sequence with multidimensional graphic representations of the sign language elements is again generated using the database 116.
  • Three-dimensional graphics are preferably generated from a pool of graphic primitives stored in database 116 and displayed in a graphic animation similar to a film sequence.
  • the animation can be generated, for example, in MPEG format, in QuickTime format or in another common format that is portable across platform boundaries.
  • the animation generated by the animation generation unit 115 is finally transmitted to the monitor 104 and displayed there.
  • Representation of the animation with a sign language translation can be represented, for example, in a separate image area 142, which is blended via an image area 141 to represent a video sequence linked to the sound sequence translated into sign language.
  • a program 123 is installed on the computer 102, which can be loaded into a working memory 122 of the computer 102 and can be processed by a processor 121 of the computer 102.
  • the computer program 123 has a code sequence when they are executed, a decomposition of the text to be translated into a sequence of text elements is caused, the associated sign language elements of which are stored in the database 116.
  • the sequence of text elements is assigned to a sequence of sign language elements.
  • a sequence with multidimensional graphic representation of sign language elements from the sequence of sign language elements is caused to be executed.
  • the program 123 thus controls the analog / digital converter 111, the speech recognition unit 112, the text decomposition unit 113, the text assignment unit 114 and the animation generator 115 of the translation system 101.
  • the computer 102 it is possible for the computer 102 to be integrated into the translation system 101 as a module or the functionality of the computer 102 with the loaded program 123.
  • a sequence corresponding to the spoken tone sequence is buffered with multidimensional graphic representations of sign language elements.
  • the buffered sequence is then reproduced with a delayed period of time determined by generating the sequence with multidimensional graphic representations of the sign language elements from the spoken tone sequence.
  • One possible application of the present invention can be to provide a translation of texts or spoken tone sequences in sign language as a service in a communication system.
  • a service can be provided, for example, on a computer telephony terminal with a display device for translating voice messages from a conversation participant into sign language.
  • Another possible application is a provision Translation of texts or spoken tone sequences into sign language for the preparation of radio or television program content.
  • Another service based on the present invention can be to provide access to a database in which text modules are assigned to sign language elements.
  • a database can be expanded subject-specifically by the customer or user.
  • such a service can be used for numerous media libraries, even for archived non-image voice recordings.
  • Services based on the present invention can be marketed, for example, via archive services or application service providers. In general, such services offer great savings on the provider side as well as a significant increase in information and entertainment offers for the hearing impaired. For example, television programs can be accompanied by an automatically generated simultaneous translation into sign language instead of screen subtitles.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Machine Translation (AREA)

Abstract

The invention relates to the automatic generation of multidimensional graphic representations representing sign language elements, wherein a text to be translated is broken down into a series of text elements associated with sign language elements in a data base. A series of sign language elements is allocated to said series of text elements. A sequence with multidimensional graphic representations of the sign language elements is generated from said sequence of sign language elements.

Description

Beschreibungdescription
Automatisierte Generierung Gebärdensprachelemente repräsentierender mehrdimensionaler graphischer DaxstellungenAutomated generation of sign language elements representing multidimensional graphic Dax positions
Die vorliegende Erfindung betrifft ein Verfahren zur automatisierten Generierung Gebärdensprachelemente repräsentierender mehrdimensionaler graphischer Darstellungen, ein automa- tisertes Übersetzungssystem und ein Computerprogramm.The present invention relates to a method for the automated generation of multidimensional graphic representations representing sign language elements, an automated translation system and a computer program.
Weltweit sind zahlreiche hörbehinderte Menschen auf Hilfe von Gebärdendolmetschern angewiesen, um über öffentliche Medien bereitgestellte Informations- und Unterhai"tungsangebote nutzen zu können. Als Alternative zu gängigen Untertiteln ist eine simultane Übersetzung in Gebärdensprache insbesondere bei Fernsehsendungen bekannt. Jedoch werden Gebärdendolmetscher auch bei Informations- und Unterhaltmngsangeboten mit hohem Anteil von Wortbeiträgen vornehmlich aus Kostengründen nur äußerst selten eingesetzt.Numerous hearing-impaired people worldwide rely on the help of sign language interpreters in order to be able to use information and entertainment offers made available through public media. As an alternative to common subtitles, simultaneous translation into sign language is particularly well-known for television programs Entertainment offers with a high proportion of word contributions, used only extremely rarely, primarily for cost reasons.
In WO 98/53438 ist ein Verfahren zur Erzeugung zusammengefügter Zeichensprachbilder beschrieben, bei dem Originalbilder von Sprechern aufgenommen wird und den Oricjinalbild zugeordnete Charakteristika ermittelt werden. Außerdem werden Sprachsignale der Sprecher aufgenommen und auf korrespondierende Zeichensprachbilder untersucht. Dabei ermittelte Zeichensprachbilder werden an die Charakteristika der Originalbilder der Sprecher angepaßt und zur Erzeugung zusammengefügter Zeichensprachbilder den Originalbildern der Sprecher ü- berlagert. Eine derartige Bildbearbeitung erfordert einen hohen Signalverarbeitungsaufwand, der eine S multan-Übersetzung insbesondere von Live-Sendungen bis zur Unmöglichkeit erschwert. Außerdem ist bei dem aus WO 98/53438 bekannten Verfahren stets ein Originalbild des jeweiligen Sprechers erfor- derlich. Aufgrund dessen ist die Anwendung dieses Verfahrens stets ausgeschlossen, sofern das Originalb ld für eine Überlagerung von Zeichensprachbildern nicht geeignet ist oder gar nicht vorliegt, wie dies beispielsweise bei zahlreichen Doku- mentarsendungen oder bei Radiosendungen der Fall ist.WO 98/53438 describes a method for generating combined sign language images in which original images are recorded by speakers and characteristics associated with the original image are determined. In addition, voice signals from the speakers are recorded and examined for corresponding sign language images. Sign language images determined in this way are adapted to the characteristics of the original images of the speakers and are superimposed on the original images of the speakers in order to produce combined sign language images. Such image processing requires a high signal processing effort, which makes S multan translation particularly difficult from live broadcasts to the point of impossibility. In addition, in the method known from WO 98/53438, an original image of the respective speaker is always required. Because of this, the use of this method is always ruled out if the original image is not suitable or even not suitable for overlaying sign language images is not available, as is the case for example with numerous documentary programs or with radio programs.
Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein einfach zu implementierendes Verfahren zur automatisierten Generierung Gebärdensprachelemente repräsentierender Darstellungen zu schaffen, das sich für eine Vielzahl von Anwendungsumgebungen eignet, und zur Durchführung des Verfahrens geeignete Anordnungen und Gegenstände anzugeben.The present invention is therefore based on the object of providing an easy-to-implement method for the automated generation of representations representing sign language elements, which is suitable for a large number of application environments, and to specify suitable arrangements and objects for carrying out the method.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren mit den in Anspruch 1, ein automatisiertes Übersetzungssystem mit den in Anspruch 7 und ein Computerprogramm mit den in Anspruch 8 angegebenen Merkmalen gelöst. Vorteilhafte Weiter- bildungen der vorliegenden Erfindung sind in den abhängigen Ansprüchen angegeben.This object is achieved according to the invention by a method with the features in claim 1, an automated translation system with the features in claim 7 and a computer program with the features specified in claim 8. Advantageous further developments of the present invention are specified in the dependent claims.
Ein wesentlicher Aspekt der vorliegenden Erfindung liegt darin, daß aus einer ermittelten Folge von Gebärdensprachelemen- ten unanhängig von einem Sprecher oder einer Nachrichtenquelle eine Folge mit mehrdimensionalen graphischen Repräsentationen der Gebärdensprachelemente erzeugt wird. Die Folge von Gebärdensprachelementen resultiert aus einer Zuordnung zu einer Folge von Textelementen. Diese Folge von Textelementen resultiert wiederum aus einer Zerlegung eines zu übersetzenden Texts in eine Folge von Textelementen, deren zugeordnete Gebärdensprachelemente in einer Datenbank abgespeichert sind.An essential aspect of the present invention is that a sequence with multidimensional graphic representations of the sign language elements is generated from a determined sequence of sign language elements, independently of a speaker or a news source. The sequence of sign language elements results from an assignment to a sequence of text elements. This sequence of text elements in turn results from the decomposition of a text to be translated into a sequence of text elements, the associated sign language elements of which are stored in a database.
Das Vorteil der vorliegenden Erfindung liegt daher darin, daß eine simultane Übersetzung in Gebärdensprache mit vergleichsweise geringem Rechenaufwand möglich ist. Des weiteren weist die vorliegende Erfindung aufgrund eines nicht erforderlichen Originalbildes eines Sprechers ein weites Anwendungsgebiet auf, das beispielsweise Radiosendungen und Telefonanwendungen umfaßt. Da die Repräsentationen der Gebärdensprachelemente unabhängig vom jeweiligen Sprecher bzw. der jeweiligen Nachrichtenquelle sind können die Repräsentationen der Gebärden- Sprachelemente nach generischen Regel erzeugt werden, was eine Implementierung weiter vereinfacht.The advantage of the present invention therefore lies in the fact that simultaneous translation into sign language is possible with comparatively little computing effort. Furthermore, due to an unnecessary original image of a speaker, the present invention has a wide field of application, which includes, for example, radio broadcasts and telephone applications. Since the representations of the sign language elements are independent of the respective speaker or the respective news source, the representations of the sign Language elements are generated according to the generic rule, which further simplifies implementation.
Entsprechend einer vorteilhaften Ausgestaltung der vorliegen- den Erfindung wird eine gesprochene Tonfolge mittels eines Spracherkennungsverfahrens in den zu übersetzenden Text umgewandelt. Durch eine damit vorausgehende Sprach-Text-Konver- tierung können Sprecher- bzw. nachrichtenquellenindividuelle Faktoren bei einer Übersetzung in Gebärdensprache weitgehend eliminiert werden.According to an advantageous embodiment of the present invention, a spoken tone sequence is converted into the text to be translated by means of a speech recognition method. A speech-text conversion that precedes this can largely eliminate factors specific to the speaker or news source when translating into sign language.
Vorteilhafterweise wird eine zur gesprochenen Tonfolge korrespondierende Folge mit mehrdimensionalen graphischen Repräsentationen von Gebärdensprachelementen zwischengepuffert und um eine durch eine Erzeugung der Folge mit mehrdimensionalen graphischen Repräsentationen der Gebärdensprachelemente aus der gesprochenen Tonfolge bestimmte Zeitdauer verzögert wiedergegeben. Hierdurch läßt sich eine Synchronität zwischen Gebärdensprache und einer mit der gesprochenen Tonfolge ver- knüpften Bildsequenz erzielen.Advantageously, a sequence corresponding to the spoken tone sequence is buffered with multidimensional graphic representations of sign language elements and is delayed by a period of time determined by generating the sequence with multidimensional graphic representations of the sign language elements from the spoken tone sequence. This makes it possible to achieve a synchronicity between sign language and an image sequence linked to the spoken tone sequence.
Entsprechend einer vorteilhaften Anwendung der vorliegenden Erfindung wird eine Übersetzung von Texten bzw. gesprochenen Tonfolgen in Gebärdensprache in einem Kommunikationssystem als Dienst bereitgestellt. Ein solcher Dienst kann insbesondere an einem Computer-Telefonie-Endgeräte mit Anzeigeeinrichtung zur Übersetzung von Sprachnachrichten eines Gesprächtsteilnehmers in Gebärdensprache bereitgestellt werden. Auf diese Weise wird einer großen Anzahl hörbehinderter Menschen die Nutzung des wichtigen Kommunikationsmittels Telefon ermöglicht.According to an advantageous application of the present invention, a translation of texts or spoken tone sequences into sign language is provided as a service in a communication system. Such a service can be provided, in particular, on a computer telephony terminal with a display device for translating a subscriber's voice messages into sign language. This enables a large number of hearing-impaired people to use the important communication medium, the telephone.
Eine weitere vorteilhafte Anwendung der vorliegenden Erfindung ist eine Übersetzung von Texten bzw. gesprochenen Ton- folgen in Gebärdensprache zur Aufbereitung von Radio- bzw.A further advantageous application of the present invention is a translation of texts or spoken tone sequences into sign language for the preparation of radio or
Fernsehsendungsinhalten. Auf diese Weise kann das für hörbehinderte Menschen in Radio und Fernsehen zur Verfügung ste- hende Informations- und Unterhaltungsangebot kostengünstig erheblich erweitert werden.TV show content. In this way it can be made available to the hearing impaired on radio and television. existing information and entertainment offerings can be expanded considerably at low cost.
Die vorliegende Erfindung wird nachfolgend an einem Ausfüh- rungsbeispiel anhand der Zeichnung näher erläutert.The present invention is explained in more detail below using an exemplary embodiment with reference to the drawing.
Es zeigt die Figur ein Übersetzungssystem zur automatisierten Generierung Gebärdensprachelemente repräsentierender mehrdimensionaler graphischer Darstellungen.The figure shows a translation system for the automated generation of multi-dimensional graphic representations representing sign language elements.
In der Figur sind neben einem automatisierten Übersetzungssystem 101 ein das automatisierte Übersetzungssystem steuernder Computer 102, ein Mikrophon 103 und ein Monitor 104 zur Wiedergabe von Bildinformationen dargestellt. Das Überset- zungssystem 101 umfaßt einen Analog-Digital-Wandler 111, eine Spracherkennungseinheit 112, eine Textdekompositionseinheit 113, eine Textzuordnungseinheit 114, eine Animationserzeu- gungseinheit 115 sowie eine Datenbank 116. Der Analog- Digital-Wandler 111 ist mit dem Mikrophon 103 verbunden und wandelt von dem Mikrophon 103 aufgenommene analoge Tonfolgen in digitale Datenwörter um, die der Spracherkennungseinheit 112 zugeführt werden. Mit dem Mikrophon 103 werden in Gebärdensprache zu übersetzende Wortbeiträge eines Sprechers aufgenommen .In addition to an automated translation system 101, the figure shows a computer 102 controlling the automated translation system, a microphone 103 and a monitor 104 for reproducing image information. The translation system 101 comprises an analog-digital converter 111, a speech recognition unit 112, a text decomposition unit 113, a text assignment unit 114, an animation generation unit 115 and a database 116. The analog-digital converter 111 is connected to the microphone 103 and converts analog sound sequences recorded by the microphone 103 into digital data words which are fed to the speech recognition unit 112. With the microphone 103, speech contributions of a speaker to be translated are recorded in sign language.
Die Spracherkennungseinheit 112 wandelt die vom Analog- Digital-Wandler 111 empfangenen digitalen Datenwörter in einen in Gebärdensprache zu übersetzenden Text um. Zur Spracherkennung werden in der Spracherkennungseinheit 112 Musterer- kennungsalgorithmen mit hochentwickelten Schätzverfahren auf Basis linguistischer Regeln und einer kontextbezogenen Wissensbasis kombiniert. Der durch die Spracherkennungseinheit 112 erzeugte zu übersetzende Text wird nachfolgend durch die Textdekompositionseinheit 113 in eine Folge von Textelementen zerlegt, deren zugeordnete Gebärdensprachelemente in der Da¬ tenbank 116 abgespeichert sind. Die von der Textdekompositionseinheit 113 erzeugte Folge von Textelementen wird anschließend der Textzuordnungseinheit 114 zugeführt, welche die Folge von Textelementen unter Rückgriff auf die Datenbank 116 einer Folge von Gebardensprachelementen zuordnet, die jeweils durch einen Gebärdsprachelement Identi— fikator eindeutig bestimmt sind. Aufgrund dessen erzeugt die Textzuordnungseinheit 114 vorzugsweise keine Folge von kompletten Gebärdensprachelementen, sondern lediglich eine Folge von Gebärdensprachelement-Identifikatore .The speech recognition unit 112 converts the digital data words received by the analog / digital converter 111 into a text to be translated into sign language. For speech recognition, in the speech recognition unit 112, pattern recognition algorithms are combined with sophisticated estimation methods based on linguistic rules and a context-related knowledge base. The generated by the speech recognition unit 112 to be translated text is decomposed below by the Textdekompositionseinheit 113 into a series of text elements whose associated sign language elements in the Da ¬ tenbank stored 116th The sequence of text elements generated by the text decomposition unit 113 is then fed to the text assignment unit 114, which, using the database 116, assigns the sequence of text elements to a sequence of common language elements, each of which is uniquely determined by a sign language element identifier. Because of this, the text mapping unit 114 preferably does not generate a sequence of complete sign language elements, but only a sequence of sign language element identifiers.
Die Folge von der Textzuordnungseinheit 114 erzeugten Folge von Gebärdensprachelement-Identifikatoren wird anschließend der Animationserzeugungseinheit 115 zugeführt. Dort wird aus der Folge von Gebärdensprachelement-Identifikatoren wiederum unter Rückgriff auf die Datenbank 116 eine Folge mit mehrdimensionalen graphischen Repräsentationen der Gebärdensprachelemente erzeugt. Vorzugsweise werden dabei dreidimensionale Graphiken aus einem in der Datenbank 116 abgespeicherten Vorrat von Graphikprimitiven erzeugt und in einer filmsequenz- ähnlichen graphischen Animation dargestellt. Die Animation kann dabei beispielsweise im MPEG-Format, im QuickTime-Format oder in einem anderen gängigen über Plattformgrenzen portier— baren Format erzeugt werden. Die von der Animationserzeugungseinheit 115 erzeugte Animation wird abschließend an den Monitor 104 übermittelt und dort zur Anzeige gebracht. EineThe sequence of sign language element identifiers generated by the text mapping unit 114 is then fed to the animation generation unit 115. From the sequence of sign language element identifiers, a sequence with multidimensional graphic representations of the sign language elements is again generated using the database 116. Three-dimensional graphics are preferably generated from a pool of graphic primitives stored in database 116 and displayed in a graphic animation similar to a film sequence. The animation can be generated, for example, in MPEG format, in QuickTime format or in another common format that is portable across platform boundaries. The animation generated by the animation generation unit 115 is finally transmitted to the monitor 104 and displayed there. A
Darstellung der Animation mit einer Gebärdensprachübersetzung kann beispielsweise in einem eigenen Bildbereich 142 dargestellt werden, der über einen Bildbereich 141 zur Darstellung einer mit der in Gebärdensprache übersetzten Tonfolge ver- knüpften Videosequenz geblendet wird.Representation of the animation with a sign language translation can be represented, for example, in a separate image area 142, which is blended via an image area 141 to represent a video sequence linked to the sound sequence translated into sign language.
Zur Steuerung der automatisierten Generierung Gebärdensprachelemente repräsentierender mehrdimensionaler graphischer Darstellungen ist auf dem Computer 102 ein Programm 123 instal- liert, das in einem Arbeitsspeicher 122 des Computers 102 ladbar und durch einen Prozessor 121 des Computers 102 abarbeitbar ist. Das Computerprogramm 123 weist eine Codesequenz auf, bei deren Ausführung eine Zerlegung des zu übexsetzenden Textes in eine Folge von Textelementen veranlaßt wird, deren zugeordnete Gebärdensprachelemente in der Datenbank 116 abgespeichert sind. Außerdem wird bei Ausführung des Computerpro- gramms 123 eine Zuordnung der Folge von Textelementen zur einer Folge von Gebärdensprachelementen veranlaßt. Darüber hinaus wird bei Ausführung eine Erzeugung einer Folge mit mehrdimensionalen graphischen Repräsentation von Gebärdensprachelementen aus der Folge von Gebärdensprachelementen veran- laßt. Diese Schritte werden ausgeführt, wenn das Programm 123 im Computer 102 abläuft. Durch das Programm 123 werden damit der Analog-Digital-Wandler 111, die Spracherkennungseinheit 112, die Textdekompositionseinheit 113, die Textzuordnungseinheit 114 und die Animationserzeugungseinrichtung 115 des Übersetzungssystems 101 angesteuert. Alternativ dazu ist es möglich, daß der Computer 102 als Modul bzw. die Funktionalität des Computers 102 mit dem geladenen Programm 123 in das Übersetzungssystem 101 integriert wird.To control the automated generation of multidimensional graphic representations representing sign language elements, a program 123 is installed on the computer 102, which can be loaded into a working memory 122 of the computer 102 and can be processed by a processor 121 of the computer 102. The computer program 123 has a code sequence when they are executed, a decomposition of the text to be translated into a sequence of text elements is caused, the associated sign language elements of which are stored in the database 116. In addition, when the computer program 123 is executed, the sequence of text elements is assigned to a sequence of sign language elements. In addition, a sequence with multidimensional graphic representation of sign language elements from the sequence of sign language elements is caused to be executed. These steps are carried out when the program 123 runs in the computer 102. The program 123 thus controls the analog / digital converter 111, the speech recognition unit 112, the text decomposition unit 113, the text assignment unit 114 and the animation generator 115 of the translation system 101. Alternatively, it is possible for the computer 102 to be integrated into the translation system 101 as a module or the functionality of the computer 102 with the loaded program 123.
Um eine Synchronisierung der auf dem Monitor 104 dargestellten Videosequenz mit der Gebärdensprachübersetzung zu erzielen, wird eine zur gesprochenen Tonfolge korrespondierende Folge mit mehrdimensionalen graphischen Repräsentationen von Gebärdensprachelementen zwischengepuffert. Anschließend wird die zwischengepufferte Folge um eine durch eine Erzeugung der Folge mit mehrdimensionalen graphischen Repräsentationen der Gebärdensprachelemente aus der gesprochenen Tonfolge bestimmte Zeitdauer verzögert wiedergegeben.In order to synchronize the video sequence shown on the monitor 104 with the sign language translation, a sequence corresponding to the spoken tone sequence is buffered with multidimensional graphic representations of sign language elements. The buffered sequence is then reproduced with a delayed period of time determined by generating the sequence with multidimensional graphic representations of the sign language elements from the spoken tone sequence.
Eine Anwendungsmöglichkeit der vorliegenden Erfindung kann beispielsweise eine Bereitstellung einer Übersetzung von Texten bzw. gesprochenen Tonfolgen in Gebärdensprache als Dienst in einem Kommunikationssystem sein. Ein solcher Dienst kann beispielsweise an einem Computer-Telefonie-Endgerät mit An- Zeigeeinrichtung zur Übersetzung von Sprachnachrichten eines Gesprächteilnehmers in Gebärdensprache bereit gestellt werden. Eine andere Anwendungsmöglichkeit ist eine Bereitstel- lung einer Übersetzung von Texten bzw. gesprochenen Tonfolgen in Gebärdensprache zur Aufbereitung von Radio- bzw. Fernsehsendungsinhalten. Durch das vorangehend beschriebene Verfahren zur automatisierten Generierung von Übersetzungen in Ge- bärdensprache lassen sich derartige Inhalte deutlich kostengünstiger als bisher mit Simultanübersetzungen in Gebärdensprache versehen.One possible application of the present invention can be to provide a translation of texts or spoken tone sequences in sign language as a service in a communication system. Such a service can be provided, for example, on a computer telephony terminal with a display device for translating voice messages from a conversation participant into sign language. Another possible application is a provision Translation of texts or spoken tone sequences into sign language for the preparation of radio or television program content. With the method described above for the automated generation of translations into sign language, such contents can be provided with simultaneous translations into sign language much more cost-effectively than before.
Ein weiterer Dienst auf Basis der vorliegenden Erfindung kann eine Bereitstellung eines Zugriffs auf eine Datenbank sein, in der Textbausteine Gebärdensprachelementen zugeordnet sind. Eine derartige Datenbank kann künden- bzw. anwenderseitig zusätzlich fachspezifisch erweitert werden. Darüber hinaus kann ein derartiger Dienst für zahlreiche Medienbibliotheken ver- wendet werden, sogar für archivierte bildlose Sprachaufzeichnungen. Eine Vermarktung von Diensten auf Basis der vorliegenden Erfindung ist beispielsweise über Archivclienste oder Applikation Service Provider möglich. Generell koieten derartige Dienste große Einsparung auf Anbieterseite sowie eine deutliche Steigerung von Informations- und Unterhaltungsangeboten für hörbehinderte Menschen andererseits. Fernsehsendungen können beispielsweise durch eine automatisiert generierte Simultanübersetzung in Gebärdensprache anstelle von Bildschirmuntertiteln begleitet werden.Another service based on the present invention can be to provide access to a database in which text modules are assigned to sign language elements. Such a database can be expanded subject-specifically by the customer or user. In addition, such a service can be used for numerous media libraries, even for archived non-image voice recordings. Services based on the present invention can be marketed, for example, via archive services or application service providers. In general, such services offer great savings on the provider side as well as a significant increase in information and entertainment offers for the hearing impaired. For example, television programs can be accompanied by an automatically generated simultaneous translation into sign language instead of screen subtitles.
Die Anwendung der vorliegenden Erfindung ist nicht auf die hier beschriebenen Ausführungsbeispiele beschränkt. The application of the present invention is not restricted to the exemplary embodiments described here.

Claims

Patentansprüche claims
1. Verfahren zur automatisierten Generierung Gebärdensprachelemente repräsentierender mehrdimensionaler graphischer Dar- Stellungen, bei dem1. Method for the automated generation of multi-dimensional graphic representations representing sign language elements, in which
- ein zu übersetzender Text in eine Folge von Textelementen zerlegt wird, deren zugeordnete Gebardensprachelemente in einer Datenbank abgespeichert sind,a text to be translated is broken down into a sequence of text elements, the associated language elements of which are stored in a database,
- der Folge von Textelementen eine Folge von Gebärdensprach- elementen zugeordnet wird,- a sequence of sign language elements is assigned to the sequence of text elements,
- aus der Folge von Gebärdensprachelementen eine Folge mit mehrdimensionalen graphischen Repräsentationen der Gebärdensprachelemente erzeugt wird.- A sequence with multidimensional graphic representations of the sign language elements is generated from the sequence of sign language elements.
2. Verfahren nach Anspruch 1, bei dem eine gesprochene Tonfolge mittels eines Spracherken- nungsverfahrens in den zu übersetzenden Text umgewandelt wird.2. The method according to claim 1, in which a spoken tone sequence is converted into the text to be translated by means of a speech recognition method.
3. Verfahren nach Anspruch 2, bei dem eine zur gesprochenen Tonfolge korrespondierende Folge mit mehrdimensionalen graphischen Repräsentationen von Gebärdensprachelementen zwischengepuffert und um eine durch eine Erzeugung der Folge mit mehrdimensionalen graphischen Rep- räsentationen der Gebärdensprachelemente aus der gesprochenen Tonfolge bestimmte Zeitdauer verzögert wiedergegeben wird.3. The method according to claim 2, in which a sequence corresponding to the spoken tone sequence with multidimensional graphical representations of sign language elements is buffered and is delayed by a period determined by generation of the sequence with multidimensional graphical representations of the sign language elements from the spoken tone sequence.
4. Verfahren nach einem der Ansprüche 1 bis 3, bei dem eine Übersetzung von Texten und/oder gesprochenen Tonfolgen in Gebärdensprache in einem Kommunikationssystem als Dienst bereitgestellt wird.4. The method according to any one of claims 1 to 3, in which a translation of texts and / or spoken tone sequences in sign language is provided as a service in a communication system.
5. Verfahren nach Anspruch 4, bei dem der Dienst an einem Computer-Telefonie-Endgeräte mit Anzeigeeinrichtung zur Übersetzung von Sprachnachrichten eines Gesprächtsteilnehmers in Gebärdensprache bereitgestellt wird. 5. The method according to claim 4, wherein the service is provided on a computer telephony terminal with display device for translating voice messages of a conversation participant into sign language.
6. Verfahren nach einem der Ansprüche 1 bis 3, bei dem eine Übersetzung von Texten und/oder gesprochenen Tonfolgen in Gebärdensprache zur Aufbereitung von Radio- und/oder Fernsehsendungsinhalten bereitgestellt wird.6. The method according to any one of claims 1 to 3, in which a translation of texts and / or spoken tone sequences in sign language is provided for the preparation of radio and / or television program content.
7. Automatisiertes Übersetzungssystem mit7. Automated translation system with
- einer Einheit zur Zerlegung eines zu übersetzenden Texts in eine Folge von Textelementen, deren zugeordnete Gebär- densprachelemente in einer Datenbank abgespeichert sind,a unit for decomposing a text to be translated into a sequence of text elements, the associated sign language elements of which are stored in a database,
- einer Einheit zur Zuordnung der Folge von Textelementen zu einer Folge von Gebärdensprachelementen,a unit for assigning the sequence of text elements to a sequence of sign language elements,
- einer Einheit zur Erzeugung einer Folge mit mehrdimensionalen graphischen Repräsentationen von Gebärdensprachele- menten aus der Folge von Gebärdensprachelementen.- a unit for generating a sequence with multidimensional graphic representations of sign language elements from the sequence of sign language elements.
8. Computerprogramm, das in einen Arbeitsspeicher einer Computereinrichtung ladbar ist und zumindest eine Codesequenz aufweist, bei deren Ausführung — eine Zerlegung eines übersetzenden Texts in eine Folge von Textelementen veranlaßt wird, deren zugeordnete Gebärdensprachelemente in einer Datenbank abgespeichert sind,8. Computer program which can be loaded into a working memory of a computer device and has at least one code sequence, the execution of which - causes a translating text to be broken down into a sequence of text elements, the associated sign language elements of which are stored in a database,
- eine Zuordnung der Folge von Textelementen zu einer Folge von Gebärdensprachelementen veranlaßt wird, - eine Erzeugung einer Folge mit mehrdimensionalen graphischen Repräsentationen von Gebärdensprachelemente aus der Folge von Gebärdensprachelementen veranlaßt wird, wenn das Computerprogramm in der Computereinrichtung abläuft. an association of the sequence of text elements with a sequence of sign language elements is caused, a generation of a sequence with multidimensional graphic representations of sign language elements from the sequence of sign language elements is initiated when the computer program runs in the computer device.
PCT/EP2004/052183 2003-09-29 2004-09-15 Automatic generation of multidimensional graphic representations representing sign language WO2005031701A2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10345221.4 2003-09-29
DE10345221 2003-09-29

Publications (2)

Publication Number Publication Date
WO2005031701A2 true WO2005031701A2 (en) 2005-04-07
WO2005031701A3 WO2005031701A3 (en) 2005-07-14

Family

ID=34384329

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2004/052183 WO2005031701A2 (en) 2003-09-29 2004-09-15 Automatic generation of multidimensional graphic representations representing sign language

Country Status (1)

Country Link
WO (1) WO2005031701A2 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1987005735A1 (en) * 1986-03-19 1987-09-24 Zestermann, Hanno Process and system for cable-free transmission of data
EP0993197A2 (en) * 1998-10-07 2000-04-12 CSELT Centro Studi e Laboratori Telecomunicazioni S.p.A. A method and an apparatus for the animation, driven by an audio signal, of a synthesised model of human face

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1987005735A1 (en) * 1986-03-19 1987-09-24 Zestermann, Hanno Process and system for cable-free transmission of data
EP0993197A2 (en) * 1998-10-07 2000-04-12 CSELT Centro Studi e Laboratori Telecomunicazioni S.p.A. A method and an apparatus for the animation, driven by an audio signal, of a synthesised model of human face

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"MULTIMEDIA SIGNING AID FOR THE DEAF" IBM TECHNICAL DISCLOSURE BULLETIN, IBM CORP. NEW YORK, US, Bd. 37, Nr. 1, Januar 1994 (1994-01), Seiten 35-36, XP000428696 ISSN: 0018-8689 *
"GROUP COMMUNICATION SYSTEM FOR HEARING AND DEAF USERS" RESEARCH DISCLOSURE, KENNETH MASON PUBLICATIONS, HAMPSHIRE, GB, Nr. 449, September 2001 (2001-09), Seite 1477, XP001128239 ISSN: 0374-4353 *
"Introducing Sign SmithTM Series: Studio, Showtime! and Showtime! Server. Revolutionary system for creating animated sign language!" COM3D, 22. Juni 2003 (2003-06-22), XP002306170 *
MASARU OHKI ET AL: "SIGN LANGUAGE TRANSLATION SYSTEM USING PATTERN RECOGNITION AND SYNTHESIS" HITACHI REVIEW, HITACHI LTD. TOKYO, JP, Bd. 44, Nr. 4, August 1995 (1995-08), Seiten 251-254, XP000550280 ISSN: 0018-277X *

Also Published As

Publication number Publication date
WO2005031701A3 (en) 2005-07-14

Similar Documents

Publication Publication Date Title
DE60123747T2 (en) Speech recognition based subtitling system
AU2011200857B2 (en) Method and system for adding translation in a videoconference
DE602004012071T2 (en) MULTIMEDIA AND TEXT MESSAGES WITH LANGUAGE TO TEXT HELP
DE60223131T2 (en) METHOD AND DEVICE FOR CODING AND DECODING PAUSE INFORMATION
DE19740119A1 (en) System for cutting digital video and audio information
DE19753453B4 (en) System for synchronizing a film with a text / speech converter
EP2047668B1 (en) Method, spoken dialog system, and telecommunications terminal device for multilingual speech output
CN111460094B (en) Audio splicing optimization method and device based on TTS
Castillo Interpreting for the mass media
EP1282897B1 (en) Method for creating a speech database for a target vocabulary in order to train a speech recognition system
CN110460798B (en) Video interview service processing method, device, terminal and storage medium
DE102019126688A1 (en) SYSTEM AND METHOD FOR AUTOMATIC SUBTITLE DISPLAY
WO2005106706A2 (en) Method and system for preparing an automatic translation of a text
WO2005031701A2 (en) Automatic generation of multidimensional graphic representations representing sign language
DE10348149B4 (en) Procedure for conducting a telephone conference
DE69818238T2 (en) METHOD FOR THREE-DIMENSIONAL LOCALIZATION OF LANGUAGE
DE10220519B4 (en) Speech information dialogue processing system for call centre interactive voice response systems converts telephone caller speech to text for display using expert system database
DE102012213914A1 (en) A method and system for providing a translation of a speech content from a first audio signal
EP1342358A1 (en) Method for configuring a user interface
DE60309131T2 (en) METHOD FOR ADAPTING A DEBATE LEXICON FOR LANGUAGE SYNTHESIS
DE10048069A1 (en) Electronic text transmission device
EP0822694B1 (en) User guidance for a telephone answering machine
DE19723678A1 (en) Data communication method with reduced content based on sign language
EP4036755A1 (en) Method for generating and providing information of a service presented to a user
DE60310885T2 (en) AUTOMATIC INTEGRATION OF AUDIO-TEXTUAL DOCUMENTS DEPENDING ON THEIR UNDERSTANDING DIFFICULTY

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
122 Ep: pct application non-entry in european phase