DE102010009738A1 - Anordnung zum Übersetzen von Lautsprache in eine Gebärdensprache für Gehörlose - Google Patents
Anordnung zum Übersetzen von Lautsprache in eine Gebärdensprache für Gehörlose Download PDFInfo
- Publication number
- DE102010009738A1 DE102010009738A1 DE102010009738A DE102010009738A DE102010009738A1 DE 102010009738 A1 DE102010009738 A1 DE 102010009738A1 DE 102010009738 A DE102010009738 A DE 102010009738A DE 102010009738 A DE102010009738 A DE 102010009738A DE 102010009738 A1 DE102010009738 A1 DE 102010009738A1
- Authority
- DE
- Germany
- Prior art keywords
- video sequences
- language
- computer
- sign language
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 206010011878 Deafness Diseases 0.000 title claims description 5
- 230000007704 transition Effects 0.000 claims abstract description 9
- 238000013519 translation Methods 0.000 claims abstract description 9
- 230000005540 biological transmission Effects 0.000 claims description 9
- 230000005236 sound signal Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 2
- 230000001755 vocal effect Effects 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/009—Teaching or communicating with deaf persons
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Tourism & Hospitality (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Machine Translation (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Studio Circuits (AREA)
Abstract
Um die Übersetzung von Lautsprache in Gebärdensprache zu automatisieren und damit ohne menschliche Übersetzungstätigkeit auszukommen, wird eine Anordnung vorgeschlagen, welche folgende Merkmale aufweist:
– Eine Datenbank (10), in welcher Textdaten von Wörtern und Syntax der Lautsprache sowie Sequenzen von Videodaten den zugehörigen Bedeutungen in der Gebärdensprache gespeichert sind, und
– ein Rechner (20), welcher mit der Datenbank (10) kommuniziert, um zugeführte Textdaten einer Lautsprache in zugehörige Videosequenzen der Gebärdensprache zu übersetzen,
– wobei in der Datenbank (10) ferner Videosequenzen von Hand-Grundstellungen zur Definition von Übergangspositionen zwischen einzelnen grammatikalischen Strukturen der Gebärdensprache als Metadaten gespeichert sind, welche bei der Übersetzung durch den Rechner (20) zwischen die Videosequenzen für die grammatikalischen Strukturen der Gebärdensprache eingefügt werden.
– Eine Datenbank (10), in welcher Textdaten von Wörtern und Syntax der Lautsprache sowie Sequenzen von Videodaten den zugehörigen Bedeutungen in der Gebärdensprache gespeichert sind, und
– ein Rechner (20), welcher mit der Datenbank (10) kommuniziert, um zugeführte Textdaten einer Lautsprache in zugehörige Videosequenzen der Gebärdensprache zu übersetzen,
– wobei in der Datenbank (10) ferner Videosequenzen von Hand-Grundstellungen zur Definition von Übergangspositionen zwischen einzelnen grammatikalischen Strukturen der Gebärdensprache als Metadaten gespeichert sind, welche bei der Übersetzung durch den Rechner (20) zwischen die Videosequenzen für die grammatikalischen Strukturen der Gebärdensprache eingefügt werden.
Description
- Die Erfindung bezieht sich auf eine Anordnung zum Übersetzen von Lautsprache in eine Gebärdensprache für Gehörlose.
- Als Gebärdensprache bezeichnet man eine visuell wahrnehmbare Gestik, die vor allem mit den Händen in Verbindung mit Mimik, Mundbild und Körperhaltung gebildet wird. Gebärdensprachen haben eigene grammatikalische Strukturen, da sich Gebärdensprache nicht Wort für Wort in Lautsprache umsetzen lässt. Insbesondere lassen sich mit einer Gebärdensprache mehrere Informationen parallel übertragen, wohingegen eine Lautsprache aus aufeinander folgenden Informationen, d. h., Lauten und Worten besteht.
- Das Übersetzen von Lautsprache in eine Gebärdensprache erfolgt durch Gebärdensprachdolmetscher, die – vergleichbar mit Fremdsprachendolmetschern – in einem Vollzeitstudium ausgebildet werden. Für audiovisuelle Medien, insbesondere Film und Fernsehen, besteht ein großer Bedarf gehörloser Menschen auf Übersetzung des Film- oder Fernsehtons in Gebärdensprache, der jedoch in Ermangelung einer ausreichenden Anzahl von Gebärdensprachdolmetschern nur unzureichend erfüllbar ist.
- Die Aufgabe der Erfindung besteht darin, die Übersetzung von Lautsprache in Gebärdensprache zu automatisieren, um damit ohne menschliche Übersetzungstätigkeit auszukommen.
- Diese Aufgabe wird erfindungsgemäß durch die Merkmale im Kennzeichen des Patentanspruchs 1 gelöst.
- Vorteilhafte Ausgestaltungen und Weiterbildungen der erfindungsgemäßen Anordnung ergeben sich aus den Unteransprüchen.
- Die Erfindung beruht auf der Überlegung, in einer Datenbank einerseits Textdaten von Wörtern und Syntax einer Lautsprache, beispielsweise der deutschen Hochsprache, und andererseits Sequenzen von Videodaten der entsprechenden Bedeutungen in der Gebärdensprache zu speichern. Im Ergebnis enthält die Datenbank ein audiovisuelles Sprachlexikon, bei dem zu Wörtern und/oder Begriffen der Lautsprache die entsprechenden Bilder bzw. Videosequenzen der Gebärdensprache verfügbar sind. Für die Übersetzung von Lautsprache in Gebärdensprache kommuniziert ein Rechner mit der Datenbank, wobei dem Rechner textuelle Informationen, die insbesondere auch aus in Text umgewandelten Sprachanteile eines audiovisuellen Signals bestehen kann, zugeführt werden. Bei gesprochenen Texten werden die Tonhöhe (Prosodie) und die Lautstärke der Sprachanteile, soweit diese zur Erkennung der Semantik erforderlichen sind, ausgewertet Die den zugeführten Textdaten entsprechenden Videosequenzen werden von dem Rechner aus der Datenbank ausgelesen und zu einer vollständigen Videosequenz verknüpft. Diese kann eigenständig wiedergegeben werden (z. B. bei Radioprogrammen, Podcast o. ä.) oder beispielsweise einer Bildeinblendung zugeführt werden, welche die Videosequenzen in das ursprüngliche audiovisuelle Signal als „Bild-in-Bild” einblenden. Beide Bildsignale können durch eine dynamische Anpassung der Abspielgeschwindigkeiten zueinander synchronisiert werden. Dadurch lässt sich ein größerer Zeitverzug zwischen Lautsprache und Gebärdensprache im „on-line”-Modus reduzieren und im „off-line”-Modus weitgehend vermeiden.
- Da zum Verständnis der Gebärdensprache die Hand-Grundstellungen zwischen den einzelnen grammatikalischen Strukturen erkennbar sein müssen, werden in der Datenbank ferner Videosequenzen von Hand-Grundstellungen in Form von Metadaten gespeichert, wobei die Videosequenzen der Hand-Grundstellungen bei der Übersetzung zwischen die grammatikalischen Strukturen der Gebärdensprache eingefügt werden. Neben den Handgrundstellungen spielen die Übergänge zwischen einzelnen Segmenten eine wichtige Rolle, um einen flüssigen „visuellen” Spracheindruck zu bekommen. Hierzu können anhand der gespeicherten Metadaten über die Handgrundstellungen und die Handstellungen an den Übergängen entsprechende Überblendungen gerechnet werden, sodass die Handpositionen beim Übergang von einem Segment auf das nächste Segment nahtlos erfolgen.
- Die Erfindung wird an Hand von Ausführungsbeispielen in den Zeichnungen näher erläutert. Es zeigt:
-
1 ein schematisches Blockschaltbild einer Anordnung zum Übersetzen von Lautsprache in eine Gebärdensprache für Gehörlose in Form von Videosequenzen; -
2 ein schematisches Blockschaltbild einer ersten Ausführungsform für die Weiterverarbeitung der mit der Anordnung nach1 generierten Videosequenzen, und -
3 ein schematisches Blockschaltbild einer zweiten Ausführungsform für die Weiterverarbeitung der mit der Anordnung nach1 generierten Videosequenzen. - In
1 ist mit dem Bezugszeichen10 eine Datenbank bezeichnet, die als audiovisuelles Sprachlexikon aufgebaut ist, bei dem zu Wörtern und/oder Begriffen einer Lautsprache die entsprechenden Bilder einer Gebärdensprache in Form von Videosequenzen (Clips) gespeichert sind. Die Datenbank10 kommuniziert über einen Datenbus11 mit einem Rechner20 , welcher die Datenbank10 mit Textdaten von Wörtern und/oder Begriffen der Lautsprache adressiert und aus der Datenbank10 die dort gespeicherten, zugehörigen Videosequenzen der Gebärdensprache auf seine Ausgangsleitung21 ausliest. Des Weiteren können vorzugsweise in der Datenbank10 Metadaten für Hand-Grundstellungen der Gebärdensprache gespeichert sein, welche Übergangspositionen der einzelnen Gebärden definieren und in Form von Übergangssequenzen zwischen aufeinander folgenden Videosequenzen der einzelnen Gebärden eingefügt werden. Die generierten Video- und Übergangssequenzen werden im Folgenden nur noch als „Videosequenzen” bezeichnet. - Bei einer ersten, in
2 dargestellten Ausführungsform für die Weiterverarbeitung der generierten Videosequenzen werden die vom Rechner20 auf die Ausgangsleitung21 ausgelesenen Videosequenzen entweder direkt einer Bildeinblendung120 zugeführt oder nach erfolgter Zwischenspeicherung in einem Videospeicher („Sequenzenspeicher”)130 über dessen Ausgang131 . Zusätzlich können die in dem Videospeicher130 gespeicherten Videosequenzen über den Ausgang132 des Speichers130 auf einem Display180 dargestellt werden. Die Ausgabe der gespeicherten Videosequenzen auf die Ausgänge131 und132 wird von einer Steuerung140 gesteuert, welche über einen Ausgang141 mit dem Speicher130 verbunden ist. Der Bildeinblendung120 wird ferner ein analoges Fernsehsignal von einem Fernsehsignalumsetzer110 zugeführt, welcher ein audiovisuelles Signal in ein normiertes analoges Fernsehsignal an seinem Ausgang111 umsetzt. Die Bildeinblendung120 fügt die ausgelesenen Videosequenzen beispielsweise als „Bild-im-Bild” („Picture-in-Picture”, kurz „PIP”) in das analoge Fernsehsignal ein. Das so gebildete „PIP”-Fernsehsignal am Ausgang121 der Bildeinblendung120 wird gemäß2 von einem Fernsehsignalsender150 über einen analogen Übertragungsweg151 an einen Empfänger160 übertragen. Bei der Wiedergabe des empfangenen Fernsehsignals50 auf einer Wiedergabevorrichtung170 (Display) können gleichzeitig der Bildteil des audiovisuellen Signals und davon getrennt die Gebärden eines Gebärdendolmetschers betrachtet werden. - Bei einer zweiten, in
3 dargestellten Ausführungsform für die Weiterverarbeitung der generierten Videosequenzen werden die vom Rechner20 auf die Ausgangsleitung21 ausgelesenen Videosequenzen entweder direkt einem Multiplexer220 zugeführt oder nach erfolgter Zwischenspeicherung in einem Videospeicher („Sequenzenspeicher”)130 über dessen Ausgang131 . Dem Multiplexer220 wird ferner von dem Fernsehsignalumsetzter110 von dessen Ausgang112 ein digitales Fernsehsendesignal zugeführt, das einen gesonderten Datenkanal enthält, in welchen der Multiplexer220 die Videosequenzen einfügt. Das so aufbereitete digitale Fernsehsignal am Ausgang221 des Multiplexers240 wird wiederum über einen Fernsehsignalsender150 über einen digitalen Übertragungsweg151 an einen Empfänger160 übertragen. Bei der Wiedergabe des empfangenen digitalen Fernsehsignals50 auf einer Wiedergabevorrichtung170 (Display) können gleichzeitig der Bildteil des audiovisuellen Signals und davon getrennt die Gebärden eines Gebärdendolmetschers betrachtet werden. - Die Videosequenzen
21 können ferner, wie in3 dargestellt ist, von dem Speicher130 (oder auch direkt vom Rechner20 ) auf einem unabhängigen zweiten Übertragungsweg190 (z. B. über Internet) an einen Benutzer übertragen werden. In diesem Falle erfolgt keine Einfügung der Videosequenzen in das digitale Fernsehsignal durch einen Multiplexer220 . Vielmehr können die über den unabhängigen zweiten Übertragungsweg190 vom Benutzer empfangenen Videosequenzen und Übergangssequenzen auf Befehl des Benutzers über eine Bildeinblendung200 in das vom Empfänger160 empfangene digitale Fernsehsignal eingefügt und die Gebärden als Bild-im-Bild auf dem Display170 wiedergeben werden. - Eine weitere, in
3 dargestellte Alternative besteht darin, die generierten Videosequenzen21 individuell über den zweiten Übertragungsweg190 auszuspielen (Broadcast oder Streaming) oder über einen Ausgang133 des Videospeichers130 für einen Abruf (beispielsweise für ein Hörbuch210 ) zur Verfügung zu stellen. - Je nach dem, in welcher Form das audiovisuelle Signal generiert oder abgeleitet wird, zeigt
1 für die Zuführung der Textdaten zu dem Rechner20 beispielhaft eine Offline-Version und eine Online-Version. Bei der Online-Version wird das audiovisuelle Signal in einem Fernseh- oder Filmstudio60 mit einer Kamera61 und einem Sprachmikrofon62 erzeugt. Der Sprachanteil des audiovisuellen Signals wird über einen Tonausgang64 des Sprachmikrofons60 einem Textkonverter70 zugeführt, welcher die gesprochene Sprache in Textdaten aus Wörtern und/oder Begriffen der Lautsprache umsetzt, also ein Zwischenformat des Sprachsignals erzeugt. Die Textdaten werden dann über eine Textdatenleitung71 an den Rechner20 übertragen, wo sie die zugeordneten Daten der Gebärdensprache in der Datenbank10 adressieren. - Im Falle der Verwendung eines so genannten „Telepromters”
90 im Studio60 , bei dem ein Sprecher den Sprechtext von einem Bildschirm abliest, werden die Textdaten des Telepromters90 über die Leitung91 dem Textkonverter70 oder (nicht gezeigt) direkt dem Rechner20 zugeführt. - Bei der Offline-Version wird der Sprachanteil des audiovisuellen Signals beispielsweise am Audioausgang
81 eines Filmabtasters80 abgenommen, welcher einen Kinofilm in ein Fernseh-Tonsignal umsetzt. Anstelle eines Filmabtasters80 kann auch ein Plattenspeichermedium (z. B. DVD) für das audiovisuelle Signal vorsehen sein. Der Sprachanteil des entnommenen audiovisuellen Signals wird wiederum dem Textkonverter70 (oder einem weiteren, nicht gesondert dargestellten Textkonverter) zugeführt, welcher die gesprochene Sprache in Textdaten aus Wörtern und/oder Begriffen der Lautsprache für den Rechner20 umsetzt. - Die audiovisuellen Signale aus dem Studio
60 oder dem Filmabtaster80 können vorzugsweise ferner über deren Ausgänge65 bzw.82 in einem Signalspeicher50 gespeichert werden. Der Signalspeicher50 führt über seinen Ausgang51 das gespeicherte audiovisuelle Signal dem Fernsehsignalumsetzer110 zu, welcher aus dem zugeführten audiovisuellen Signal ein analoges oder digitales Fernsehsignal erzeugt. Es ist natürlich auch möglich, die audiovisuellen Signale aus dem Studio60 oder dem Filmabtaster80 direkt dem Fernsehsignalumsetzer110 zuzuführen. - Im Fall von Radiosignalen gelten obige Ausführungen in analoger Weise, nur dass kein zum Audiosignal paralleles Videosignal existiert. Im Online-Modus wird das Audiosignal direkt über das Mikrofon
60 aufgenommen und über64 dem Textkonverter70 zugeführt. Im Offline-Modus wird das Audiosignal einer Audiodatei, die in einem beliebigen Format vorliegen kann, dem Textkonverter zugeführt. Zur Optimierung der Synchronisation der Videosequenz mit den Gebärden und der parallelen Videosequenz kann, wie in1 gezeigt ist, optional eine Logik100 (z. B. Framerate-Konverter) eingeschleift werden, die anhand der Zeitinformationen aus dem ursprünglichen Audiosignal und dem Videosignal (Zeitmarke der Kamera61 am Kameraausgang63 ) sowohl die Abspielgeschwindigkeit der Gebärden-Videosequenz aus dem Rechner20 als auch des ursprünglichen audiovisuellen Signals aus dem Signalspeicher50 dynamisch variiert (beschleunigt bzw. verlangsamt). Hierzu ist der Steuerausgang101 der Logik100 sowohl mit dem Rechner20 als auch mit dem Signalspeicher50 verbunden. Durch diese Synchronisation lässt sich ein größerer Zeitverzug zwischen Lautsprache und Gebärdensprache im „on-line”-Modus reduzieren und im „off-line”-Modus weitgehend vermeiden.
Claims (7)
- Anordnung zum Übersetzen von Lautsprache in eine Gebärdensprache für Gehörlose, gekennzeichnet durch folgende Merkmale: – Eine Datenbank (
10 ), in welcher Textdaten von Wörtern und Syntax der Lautsprache sowie Sequenzen von Videodaten mit den zugehörigen Bedeutungen in der Gebärdensprache gespeichert sind, und – ein Rechner (20 ), welcher mit der Datenbank (10 ) kommuniziert, um zugeführte Textdaten einer Lautsprache in zugehörige Videosequenzen der Gebärdensprache zu übersetzen, – wobei in der Datenbank (10 ) ferner Videosequenzen von Hand-Grundstellungen zur Definition von Übergangspositionen zwischen einzelnen grammatikalischen Strukturen der Gebärdensprache als Metadaten gespeichert sind, welche bei der Übersetzung durch den Rechner (20 ) zwischen die Videosequenzen für die grammatikalischen Strukturen der Gebärdensprache eingefügt werden. - Anordnung nach Anspruch 1, gekennzeichnet durch eine Einrichtung (
120 ;220 ) zum Einfügen der vom Rechner (20 ) übersetzten Videosequenzen in ein audiovisuelles Signal. - Anordnung nach Anspruch 1 oder 2, gekennzeichnet durch einen Konverter (
70 ) zum Umwandeln des Tonsignalanteils eines audiovisuellen Signals in Textdaten und zum Zuführen der Textdaten zu dem Rechner (20 ). - Anordnung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass eine Logikeinrichtung (
100 ) vorgesehen ist, welche dem Rechner (20 ) eine aus dem audiovisuellen Signal abgeleitete Zeitinformation zuführt, wobei die zugeführte Zeitinformation sowohl die Abspielgeschwindigkeit der Videosequenz aus dem Rechner (20 ) als auch des ursprünglichen audiovisuellen Signals dynamisch variiert. - Anordnung nach einem der Ansprüche 1 bis 4, wobei das audiovisuelle Signal als digitales Signal über einen Fernsehsignalsender (
150 ) an einen Empfänger (160 ) übertragen wird, dadurch gekennzeichnet, dass ein unabhängiger zweiter Übertragungsweg190 (z. B. über Internet) für die Videosequenzen (21 ) vorgesehen ist, auf welchem die Videosequenzen (21 ) von einem Videospeicher (130 ) oder direkt vom Rechner (20 ) an einen Benutzer übertragen werden und dass mit dem Empfänger (160 ) eine Bildeinblendung (200 ) verbunden ist, um die über den unabhängigen zweiten Übertragungsweg (190 ) an den Benutzer übertragenen Videosequenzen (21 ) in das vom Empfänger (160 ) empfangene digitale Fernsehsignal als Bild-im-Bild einzufügen. - Anordnung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass ein unabhängiger zweiter Übertragungsweg
190 (z. B. über Internet) für die Videosequenzen (21 ) vorgesehen ist, auf welchem die Videosequenzen (21 ) von einem Videospeicher (130 ) oder direkt vom Rechner (20 ) für Broadcast- oder Streaming-Anwendungen ausgespielt oder für einen Abruf (beispielsweise für ein Hörbuch210 ) zur Verfügung gestellt werden. - Empfänger für ein digitales audiovisuelles Signal, gekennzeichnet durch eine mit dem Empfänger (
160 ) verbundene Bildeinblendung (200 ), um die über einen unabhängigen zweiten Übertragungsweg (190 ) übertragenen Videosequenzen (21 ) in das vom Empfänger (160 ) empfangene digitale Fernsehsignal als Bild-im-Bild einzufügen.
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102010009738A DE102010009738A1 (de) | 2010-03-01 | 2010-03-01 | Anordnung zum Übersetzen von Lautsprache in eine Gebärdensprache für Gehörlose |
CN2011800117965A CN102893313A (zh) | 2010-03-01 | 2011-02-28 | 用于对失聪者将口语转译成手语的*** |
US13/581,993 US20130204605A1 (en) | 2010-03-01 | 2011-02-28 | System for translating spoken language into sign language for the deaf |
PCT/EP2011/052894 WO2011107420A1 (en) | 2010-03-01 | 2011-02-28 | System for translating spoken language into sign language for the deaf |
KR1020127025846A KR20130029055A (ko) | 2010-03-01 | 2011-02-28 | 청각 장애인을 위해 음성 언어를 수화로 번역하기 위한 시스템 |
EP11704994A EP2543030A1 (de) | 2010-03-01 | 2011-02-28 | System zur übersetzung von gesprochener sprache in gebärdensprache für taube |
JP2012555378A JP2013521523A (ja) | 2010-03-01 | 2011-02-28 | 聴覚障害者向けに音声言語を手話に翻訳するシステム |
TW100106607A TWI470588B (zh) | 2010-03-01 | 2011-03-01 | 用於對失聰者將口語轉譯成手語的系統 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102010009738A DE102010009738A1 (de) | 2010-03-01 | 2010-03-01 | Anordnung zum Übersetzen von Lautsprache in eine Gebärdensprache für Gehörlose |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102010009738A1 true DE102010009738A1 (de) | 2011-09-01 |
Family
ID=43983702
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102010009738A Ceased DE102010009738A1 (de) | 2010-03-01 | 2010-03-01 | Anordnung zum Übersetzen von Lautsprache in eine Gebärdensprache für Gehörlose |
Country Status (8)
Country | Link |
---|---|
US (1) | US20130204605A1 (de) |
EP (1) | EP2543030A1 (de) |
JP (1) | JP2013521523A (de) |
KR (1) | KR20130029055A (de) |
CN (1) | CN102893313A (de) |
DE (1) | DE102010009738A1 (de) |
TW (1) | TWI470588B (de) |
WO (1) | WO2011107420A1 (de) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2760002A3 (de) * | 2013-01-29 | 2014-08-27 | Social IT Pty Ltd | Verfahren und Systeme zur Umwandlung von Text zu Video |
WO2015116014A1 (en) * | 2014-02-03 | 2015-08-06 | IPEKKAN, Ahmet Ziyaeddin | A method of managing the presentation of sign language by an animated character |
CZ306519B6 (cs) * | 2015-09-15 | 2017-02-22 | Západočeská Univerzita V Plzni | Způsob poskytnutí překladu televizního vysílání do znakové řeči a zařízení k provádění tohoto způsobu |
DE102015016494A1 (de) | 2015-12-18 | 2017-06-22 | Audi Ag | Kraftfahrzeug mit Ausgabeeinrichtung und Verfahren zum Ausgeben von Hinweisen |
Families Citing this family (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9282377B2 (en) | 2007-05-31 | 2016-03-08 | iCommunicator LLC | Apparatuses, methods and systems to provide translations of information into sign language or other formats |
CN102723019A (zh) * | 2012-05-23 | 2012-10-10 | 苏州奇可思信息科技有限公司 | 一种手语教学*** |
WO2015061248A1 (en) * | 2013-10-21 | 2015-04-30 | iCommunicator LLC | Apparatuses, methods and systems to provide translations of information into sign language or other formats |
US10248856B2 (en) | 2014-01-14 | 2019-04-02 | Toyota Motor Engineering & Manufacturing North America, Inc. | Smart necklace with stereo vision and onboard processing |
US10024679B2 (en) | 2014-01-14 | 2018-07-17 | Toyota Motor Engineering & Manufacturing North America, Inc. | Smart necklace with stereo vision and onboard processing |
US10360907B2 (en) | 2014-01-14 | 2019-07-23 | Toyota Motor Engineering & Manufacturing North America, Inc. | Smart necklace with stereo vision and onboard processing |
US9915545B2 (en) | 2014-01-14 | 2018-03-13 | Toyota Motor Engineering & Manufacturing North America, Inc. | Smart necklace with stereo vision and onboard processing |
US11875700B2 (en) | 2014-05-20 | 2024-01-16 | Jessica Robinson | Systems and methods for providing communication services |
US10460407B2 (en) * | 2014-05-20 | 2019-10-29 | Jessica Robinson | Systems and methods for providing communication services |
US10146318B2 (en) | 2014-06-13 | 2018-12-04 | Thomas Malzbender | Techniques for using gesture recognition to effectuate character selection |
US10024667B2 (en) | 2014-08-01 | 2018-07-17 | Toyota Motor Engineering & Manufacturing North America, Inc. | Wearable earpiece for providing social and environmental awareness |
US10024678B2 (en) | 2014-09-17 | 2018-07-17 | Toyota Motor Engineering & Manufacturing North America, Inc. | Wearable clip for providing social and environmental awareness |
US9922236B2 (en) | 2014-09-17 | 2018-03-20 | Toyota Motor Engineering & Manufacturing North America, Inc. | Wearable eyeglasses for providing social and environmental awareness |
US10490102B2 (en) | 2015-02-10 | 2019-11-26 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for braille assistance |
US9586318B2 (en) | 2015-02-27 | 2017-03-07 | Toyota Motor Engineering & Manufacturing North America, Inc. | Modular robot with smart device |
US9972216B2 (en) | 2015-03-20 | 2018-05-15 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for storing and playback of information for blind users |
US10395555B2 (en) * | 2015-03-30 | 2019-08-27 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for providing optimal braille output based on spoken and sign language |
US9898039B2 (en) | 2015-08-03 | 2018-02-20 | Toyota Motor Engineering & Manufacturing North America, Inc. | Modular smart necklace |
KR102450803B1 (ko) | 2016-02-11 | 2022-10-05 | 한국전자통신연구원 | 양방향 수화 번역 장치 및 장치가 수행하는 양방향 수화 번역 방법 |
US10024680B2 (en) | 2016-03-11 | 2018-07-17 | Toyota Motor Engineering & Manufacturing North America, Inc. | Step based guidance system |
US9958275B2 (en) | 2016-05-31 | 2018-05-01 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for wearable smart device communications |
US10561519B2 (en) | 2016-07-20 | 2020-02-18 | Toyota Motor Engineering & Manufacturing North America, Inc. | Wearable computing device having a curved back to reduce pressure on vertebrae |
US10432851B2 (en) | 2016-10-28 | 2019-10-01 | Toyota Motor Engineering & Manufacturing North America, Inc. | Wearable computing device for detecting photography |
USD827143S1 (en) | 2016-11-07 | 2018-08-28 | Toyota Motor Engineering & Manufacturing North America, Inc. | Blind aid device |
US10012505B2 (en) | 2016-11-11 | 2018-07-03 | Toyota Motor Engineering & Manufacturing North America, Inc. | Wearable system for providing walking directions |
US10521669B2 (en) | 2016-11-14 | 2019-12-31 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for providing guidance or feedback to a user |
US10008128B1 (en) | 2016-12-02 | 2018-06-26 | Imam Abdulrahman Bin Faisal University | Systems and methodologies for assisting communications |
US10176366B1 (en) | 2017-11-01 | 2019-01-08 | Sorenson Ip Holdings Llc | Video relay service, communication system, and related methods for performing artificial intelligence sign language translation services in a video relay service environment |
CN111385612A (zh) * | 2018-12-28 | 2020-07-07 | 深圳Tcl数字技术有限公司 | 基于听力障碍人群的电视播放方法、智能电视及存储介质 |
US10855888B2 (en) * | 2018-12-28 | 2020-12-01 | Signglasses, Llc | Sound syncing sign-language interpretation system |
WO2021014189A1 (en) * | 2019-07-20 | 2021-01-28 | Dalili Oujan | Two-way translator for deaf people |
US11610356B2 (en) | 2020-07-28 | 2023-03-21 | Samsung Electronics Co., Ltd. | Method and electronic device for providing sign language |
CN114639158A (zh) * | 2020-11-30 | 2022-06-17 | 伊姆西Ip控股有限责任公司 | 计算机交互方法、设备和程序产品 |
US20220327309A1 (en) * | 2021-04-09 | 2022-10-13 | Sorenson Ip Holdings, Llc | METHODS, SYSTEMS, and MACHINE-READABLE MEDIA FOR TRANSLATING SIGN LANGUAGE CONTENT INTO WORD CONTENT and VICE VERSA |
IL283626A (en) * | 2021-06-01 | 2022-12-01 | Yaakov Livne Nimrod | A method for translating sign language and a system for it |
WO2023195603A1 (en) * | 2022-04-04 | 2023-10-12 | Samsung Electronics Co., Ltd. | System and method for bidirectional automatic sign language translation and production |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19723678A1 (de) * | 1997-06-05 | 1998-12-10 | Siemens Ag | Verfahren und Anordnung zur Kommunikation |
US5982853A (en) * | 1995-03-01 | 1999-11-09 | Liebermann; Raanan | Telephone for the deaf and method of using same |
DE69526871T2 (de) * | 1995-08-30 | 2002-12-12 | Hitachi, Ltd. | Gebärdensprachentelefonsystem für die kommunikation zwischen hörgeschädigten und nicht-hörgeschädigten |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000149042A (ja) * | 1998-11-18 | 2000-05-30 | Fujitsu Ltd | ワード手話映像変換方法並びに装置及びそのプログラムを記録した記録媒体 |
JP2001186430A (ja) * | 1999-12-22 | 2001-07-06 | Mitsubishi Electric Corp | デジタル放送受信機 |
US7774194B2 (en) * | 2002-08-14 | 2010-08-10 | Raanan Liebermann | Method and apparatus for seamless transition of voice and/or text into sign language |
TW200405988A (en) * | 2002-09-17 | 2004-04-16 | Ginganet Corp | System and method for sign language translation |
US6760408B2 (en) * | 2002-10-03 | 2004-07-06 | Cingular Wireless, Llc | Systems and methods for providing a user-friendly computing environment for the hearing impaired |
TWI250476B (en) * | 2003-08-11 | 2006-03-01 | Univ Nat Cheng Kung | Method for generating and serially connecting sign language images |
US20060134585A1 (en) * | 2004-09-01 | 2006-06-22 | Nicoletta Adamo-Villani | Interactive animation system for sign language |
EP3629575A1 (de) * | 2005-01-11 | 2020-04-01 | TVNGO Ltd. | Verfahren und vorrichtung zum erleichtern des umschaltens zwischen internet- und fernsehübertragungen |
KR100819251B1 (ko) * | 2005-01-31 | 2008-04-03 | 삼성전자주식회사 | 방송 통신 융합 시스템에서 수화 비디오 데이터를제공하는 시스템 및 방법 |
CN200969635Y (zh) * | 2006-08-30 | 2007-10-31 | 康佳集团股份有限公司 | 一种具有手语解说功能的电视机 |
JP2008134686A (ja) * | 2006-11-27 | 2008-06-12 | Matsushita Electric Works Ltd | 作画プログラム、プログラマブル表示器、並びに、表示システム |
US8345827B2 (en) * | 2006-12-18 | 2013-01-01 | Joshua Elan Liebermann | Sign language public addressing and emergency system |
US20090012788A1 (en) * | 2007-07-03 | 2009-01-08 | Jason Andre Gilbert | Sign language translation system |
TWI372371B (en) * | 2008-08-27 | 2012-09-11 | Inventec Appliances Corp | Sign language recognition system and method |
-
2010
- 2010-03-01 DE DE102010009738A patent/DE102010009738A1/de not_active Ceased
-
2011
- 2011-02-28 JP JP2012555378A patent/JP2013521523A/ja active Pending
- 2011-02-28 EP EP11704994A patent/EP2543030A1/de not_active Withdrawn
- 2011-02-28 CN CN2011800117965A patent/CN102893313A/zh active Pending
- 2011-02-28 WO PCT/EP2011/052894 patent/WO2011107420A1/en active Application Filing
- 2011-02-28 US US13/581,993 patent/US20130204605A1/en not_active Abandoned
- 2011-02-28 KR KR1020127025846A patent/KR20130029055A/ko not_active Application Discontinuation
- 2011-03-01 TW TW100106607A patent/TWI470588B/zh not_active IP Right Cessation
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5982853A (en) * | 1995-03-01 | 1999-11-09 | Liebermann; Raanan | Telephone for the deaf and method of using same |
DE69526871T2 (de) * | 1995-08-30 | 2002-12-12 | Hitachi, Ltd. | Gebärdensprachentelefonsystem für die kommunikation zwischen hörgeschädigten und nicht-hörgeschädigten |
DE19723678A1 (de) * | 1997-06-05 | 1998-12-10 | Siemens Ag | Verfahren und Anordnung zur Kommunikation |
Non-Patent Citations (5)
Title |
---|
Hideo Kawai, Shinichi Tamura: "Deaf-and-mute sign language generation system", Pattern Recognitio Volume 18 (3-4), Seiten 199-205 (1985) * |
M. Ohk et al.: "Pattern recognition and synthesis for sign language translation system", In: Proceedings of the first annual ACM conference on Assistive technologies (Assets '94), ACM, New York, USA, 1-8, (1994) * |
Präsentation John Low (RNID): "ViSiCAST: Virtual Sign: Capture, Animation, Storage & Transmission", BDA Conference 2. August 2000, Belfast * |
R. Elliott et al.: "The development of language processing support for the ViSiCAST project", In: Proceedings of the fourth international ACM conference on Assistive technologies (Assets '00), ACM, New York, USA, 101-108, (2000) * |
Rolf Schulmeister: "ViSiCAST: Übersetzung in und Generierung von virtueller Gebärdensprache im Fernsehen und Internet", FlfF-Kommunikation, 13. Jahrgang, Heft 2/2002 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2760002A3 (de) * | 2013-01-29 | 2014-08-27 | Social IT Pty Ltd | Verfahren und Systeme zur Umwandlung von Text zu Video |
WO2015116014A1 (en) * | 2014-02-03 | 2015-08-06 | IPEKKAN, Ahmet Ziyaeddin | A method of managing the presentation of sign language by an animated character |
CZ306519B6 (cs) * | 2015-09-15 | 2017-02-22 | Západočeská Univerzita V Plzni | Způsob poskytnutí překladu televizního vysílání do znakové řeči a zařízení k provádění tohoto způsobu |
DE102015016494A1 (de) | 2015-12-18 | 2017-06-22 | Audi Ag | Kraftfahrzeug mit Ausgabeeinrichtung und Verfahren zum Ausgeben von Hinweisen |
DE102015016494B4 (de) | 2015-12-18 | 2018-05-24 | Audi Ag | Kraftfahrzeug mit Ausgabeeinrichtung und Verfahren zum Ausgeben von Hinweisen |
Also Published As
Publication number | Publication date |
---|---|
EP2543030A1 (de) | 2013-01-09 |
TWI470588B (zh) | 2015-01-21 |
US20130204605A1 (en) | 2013-08-08 |
CN102893313A (zh) | 2013-01-23 |
KR20130029055A (ko) | 2013-03-21 |
JP2013521523A (ja) | 2013-06-10 |
WO2011107420A1 (en) | 2011-09-09 |
TW201135684A (en) | 2011-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102010009738A1 (de) | Anordnung zum Übersetzen von Lautsprache in eine Gebärdensprache für Gehörlose | |
Romero-Fresco | Subtitling through speech recognition: Respeaking | |
Gambier | Introduction: Screen transadaptation: Perception and reception | |
DE60123747T2 (de) | Spracherkennungsbasiertes Untertitelungssystem | |
Crasborn et al. | The Corpus NGT: an online corpus for professionals and laymen | |
Greco et al. | Media accessibility within and beyond audiovisual translation | |
DE19740119A1 (de) | System zum Schneiden digitaler Video- und Audioinformationen | |
Romero-Fresco et al. | Live subtitling through respeaking | |
Castillo | Interpreting for the mass media | |
Romero Fresco et al. | An empirical analysis on the efficiency of five interlingual live subtitling workflows | |
Remael et al. | Live subtitling with speech recognition: How to pinpoint the challenges | |
Remael et al. | Real-time subtitling in Flanders: Needs and teaching | |
Fresno et al. | Strengthening respeakers’ training in Spain: the research-practice connection | |
EP4013043A1 (de) | Videokonferenzsystem, verfahren zum übertragen von informationen und computerprogrammprodukt | |
Araújo | Subtitling for the deaf and hard-of-hearing in Brazil | |
Spina | Captions | |
Ellis et al. | Automatic closed captions and immersive learning in higher education | |
Eizmendi | Automatic speech recognition for live TV subtitling for hearing-impaired people | |
Saerens et al. | How to implement live subtitling in TV settings: guidelines on making television broadcasts accessible to hard of hearing and deaf people as well as foreigners | |
Ribback | Remote interpreting for live events & broadcast-inclusion in multiple ways | |
EP2415248A1 (de) | Vorrichtung zur übertragung von live-veranstaltungen über ein computernetzwerk | |
Bruti et al. | The impact of linguistics on AVT research and practice 1 | |
Malaeva | MASTERARBEIT/MASTER’S THESIS | |
DE202020107433U1 (de) | Videokonferenzsystem und Computerprogrammprodukt | |
EP1322107A1 (de) | System und Verfahren zum Verarbeiten von Informationen |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R016 | Response to examination communication | ||
R016 | Response to examination communication | ||
R082 | Change of representative |
Representative=s name: EISENFUEHR, SPEISER & PARTNER, 28217 BREMEN, DE Representative=s name: EISENFUEHR, SPEISER & PARTNER, DE Representative=s name: EISENFUEHR SPEISER PATENTANWAELTE RECHTSANWAEL, DE |
|
R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: G10L0021000000 Ipc: G10L0021060000 |
|
R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: G10L0021000000 Ipc: G10L0021060000 Effective date: 20121120 |
|
R016 | Response to examination communication | ||
R002 | Refusal decision in examination/registration proceedings | ||
R003 | Refusal decision now final |