KR20130029055A - 청각 장애인을 위해 음성 언어를 수화로 번역하기 위한 시스템 - Google Patents

청각 장애인을 위해 음성 언어를 수화로 번역하기 위한 시스템 Download PDF

Info

Publication number
KR20130029055A
KR20130029055A KR1020127025846A KR20127025846A KR20130029055A KR 20130029055 A KR20130029055 A KR 20130029055A KR 1020127025846 A KR1020127025846 A KR 1020127025846A KR 20127025846 A KR20127025846 A KR 20127025846A KR 20130029055 A KR20130029055 A KR 20130029055A
Authority
KR
South Korea
Prior art keywords
sign language
language
computer
audio
video
Prior art date
Application number
KR1020127025846A
Other languages
English (en)
Inventor
클라우스 일그너-펜스
Original Assignee
인스티튜트 퓌어 룬트퐁크테크닉 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인스티튜트 퓌어 룬트퐁크테크닉 게엠베하 filed Critical 인스티튜트 퓌어 룬트퐁크테크닉 게엠베하
Publication of KR20130029055A publication Critical patent/KR20130029055A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009—Teaching or communicating with deaf persons

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Machine Translation (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Circuits (AREA)

Abstract

수화로의 음성 언어의 번역을 자동화하고, 인간 번역자 서비스들 없이 관리하기 위한 시스템이 제안되고, 상기 시스템은 다음의 특징들: 음성 언어의 단어들 및 구문론(syntax)의 텍스트 데이터뿐만 아니라 수화에서 대응하는 의미들을 갖는 비디오 데이터의 시퀀스들이 저장되는 데이터베이스(1), 및 음성 언어의 제공된 텍스트 데이터를 수화의 대응하는 비디오 시퀀스들로 번역하기 위해 데이터베이스(10)와 통신하는 컴퓨터(20)를 포함하고, 수화의 개별적인 문법적 구조들 사이의 전환 위치들의 규정을 위해 초기 손 상태들의 비디오 시퀀스가 메타데이터로서 데이터베이스(10)에 추가로 저장되고, 메타데이터는 번역 동안에 컴퓨터(20)에 의해 수화의 문법적 구조들의 비디오 시퀀스들 사이에 삽입된다.

Description

청각 장애인을 위해 음성 언어를 수화로 번역하기 위한 시스템{SYSTEM FOR TRANSLATING SPOKEN LANGUAGE INTO SIGN LANGUAGE FOR THE DEAF}
본 발명은 청각 장애인을 위해 음성 언어(spoken language)를 수화(sign language)로 번역하기 위한 시스템에 관한 것이다.
수화는, 안면 표정, 입의 표현, 및 자세(posture)와 연관하여 손들을 사용하여 주로 형성되는 시각적으로 지각 가능한 제스처들에 주어진 명칭이다. 수화들이 한 단어씩 음성 언어로 번역될 수 없기 때문에, 수화들은 그들 자신의 문법적 구조들을 갖는다. 특히, 다수의 단편들의 정보는 수화를 사용하여 동시에 전달될 수 있고, 반면에 음성 언어는 연속적인 단편들의 정보, 즉, 사운드들 및 단어들로 구성된다.
수화로의 음성 언어의 번역은, 정규 교육 프로그램(full time study program)에서 트레이닝된 수화 번역자들 - 외국어 번역기들과 비교 가능함 - 에 의해 수행된다. 오디오-시각 매체들, 특히 영화 및 텔레비전에 대해, 청각 장애인들로부터 비롯된 수화로 영화 및 텔레비전 사운드의 번역에 대한 큰 요구가 존재하지만, 이것은 충분한 수의 수화 번역자들의 부재로 인해 불충분하게만 만족될 수 있다.
본 발명의 기술적 문제점은, 인간 번역사 서비스들 없이 관리하기 위해 수화로의 음성 언어의 번역을 자동화하는 것이다.
본 발명에 따라, 이러한 기술적 문제점은 특허 청구항 1의 특징적인 부분 내의 특징들에 의해 해소된다.
본 발명에 따른 시스템의 이로운 실시예들 및 개발들은 종속 청구항들로부터 결론이 나온다.
본 발명은, 한편, 예를 들면, 독일 표준 언어의 음성 언어의 단어들 및 구문론(syntax)의 텍스트 데이터를 데이터베이스에 저장하고, 반면에 수화에서 대응하는 의미의 비디오 데이터의 시퀀스들을 데이터베이스에 저장하는 아이디어에 기초한다. 결과적으로, 데이터베이스는 오디오-시각 언어 사전을 포함하고, 여기서, 음성 언어의 단어들 및/또는 용어들에 대해, 수화의 대응하는 이미지들 또는 비디오 시퀀스들이 이용 가능하다. 수화로의 음성 언어의 번역을 위해, 컴퓨터는 데이터베이스와 통신하고, 여기서 텍스트로 변환된 오디오-시각 신호의 스피치 컴포넌트들로 또한 구성될 수 있는 텍스트 정보는 컴퓨터에 제공된다. 음성 텍스트들에 대해, 피치(picth)(운율(prosody)) 및 스피치 컴포넌트들의 볼륨은, 이것이 의미론의 검출에 대해 요구되는 한에 있어서 분석된다. 제공된 텍스트 데이터에 대응하는 비디오 시퀀스들은 데이터베이스로부터 컴퓨터에 의해 판독되고, 완전한 비디오 시퀀스로 연결된다. 이것은 (예를 들면, 라디오 프로그램들, 팟캐스트 등에 대해) 재생 자체-포함되거나, 예를 들면 이미지 오버레이에 제공될 수 있고, 이미지 오버레이는 "화면 속 화면(picture in picture)"으로서 원 오디오-시각 신호에서 비디오 시퀀스와 중첩한다. 양자의 이미지 신호들은 재생 속도의 동적 조절에 의해 서로에 동기화될 수 있다. 따라서, 음성 언어 및 수화 사이에 더 큰 시간 지연은 "온-라인" 모드에서 감소되고, "오프-라인" 모드에서 크게 회피될 수 있다.
개별적인 문법적 구조들 사이의 초기 손 상태들이 수화의 이해를 위해 알아볼 수 있어야 하기 때문에, 또한, 초기 손 상태들의 비디오 시퀀스들이 데이터베이스에 메타데이터의 형태로 저장되고, 여기서 초기 손 상태들의 비디오 시퀀스들은 번역 동안에 수화의 문법적 구조들 사이에 삽입된다. 초기 손 상태들 이외에도, 개별적인 세그먼트들 사이의 전환들은 유창한 "시각적" 스피치 표현을 획득하는데 중요한 역할을 한다. 이러한 목적으로, 대응하는 크로스페이드들(crossfades)은, 손 위치들이 하나의 세그먼트로부터 다음 세그먼트로의 전환에서 무결절로(seamlessly) 뒤따르도록 전환들에서 초기 손 상태들 및 손 상태들에 관한 저장된 메타데이터에 의해 계산될 수 있다.
본 발명은 도면들 내의 실시예들에 의해 더욱 상세히 설명된다.
도 1은 청각 장애인을 위해 비디오 시퀀스들의 형태로 음성 언어를 수화로 번역하기 위한 시스템의 간략한 블록도.
도 2는 도 1에 따른 시스템을 사용하여 생성된 비디오 시퀀스들의 프로세싱을 위한 제 1 실시예의 간략한 블록도.
도 3은 도 1에 따른 시스템을 사용하여 생성된 비디오 시퀀스들의 프로세싱을 위한 제 2 실시예의 간략한 블록도.
도 1에서, 기준 사인(10)은 오디오-시각 언어 사전으로서 구성된 데이터베이스를 지정하고, 여기서, 음성 언어의 단어들 및/또는 용어들에 대해, 수화의 대응하는 이미지들이 비디오 시퀀스들(클립들)의 형태로 저장된다. 데이터 버스(11)를 통해, 데이터베이스(10)는 컴퓨터(20)와 통신하고, 컴퓨터(20)는 음성 언어의 단어들 및/또는 용어들의 텍스트 데이터를 통해 데이터베이스(10)를 어드레싱하고, 수화 언어의 대응하는 그 안에 저장된 비디오 시퀀스들을 그의 출력 라인(21)으로 판독한다. 부가적으로 및 바람직하게, 데이터베이스(10)에서, 수화의 초기 손 상태들의 메타데이터가 저장되고, 메타데이터는 개별적인 제스처들의 전환 위치들을 규정하고, 전환 시퀀스들의 형태로, 개별적인 제스처들의 연속적인 비디오 시퀀스들 사이에 삽입된다. 다음으로, 생성된 비디오 및 전환 시퀀스들은 "비디오 시퀀스들"로만 지칭된다.
도 2에 도시된 제 1 실시예에서, 생성된 비디오 시퀀스들의 프로세싱을 위해, 컴퓨터(20)에 의해 출력 라인(21)으로 판독된 비디오 시퀀스들은 그의 출력(131)을 통해, 직접적으로 또는 비디오 메모리("시퀀스 메모리")(130)에 중간 저장이 이루어진 후에, 이미지 오버레이(120)에 제공된다. 부가적으로, 비디오 메모리(130)에 저장된 비디오 시퀀스들은 메모리(130)의 출력(132)을 통해 디스플레이(180) 상에 디스플레이될 수 있다. 출력들(131 및 132)로의 저장된 비디오 시퀀스들의 출력은 제어부(140)에 의해 제어되고, 제어부는 출력(141)을 통해 메모리(130)에 접속된다. 또한, 그의 출력(111)에서 오디오-시각 신호를 표준화된 아날로그 텔레비전 신호로 변환하는 텔레비전 신호 변환기(110)로부터의 아날로그 텔레비전 신호가 이미지 오버레이(120)에 제공된다. 이미지 오버레이(120)는, 예를 들면, "화면 속 화면("picture in picture", "PIP"로 줄여씀)" 과 같이 판독된 비디오 시퀀스들을 아날로그 텔레비전 신호에 삽입한다. 이미지 오버레이(120)의 출력(121)에서 그렇게 생성된 "PIP" 텔레비전 신호는 도 2에 따라 아날로그 전송 경로(151)를 통해 텔레비전 신호 전송기(150)로부터 수신기(160)로 전송된다. 재생 장치(170)(디스플레이) 상에서의 수신된 텔레비전 신호(50)의 재생 동안에, 오디오-시각 신호의 이미지 컴포넌트 및 그로부터 분리된 수화 번역기의 제스처들이 동시에 관찰될 수 있다.
도 3에 도시된 제 2 실시예에서, 생성된 비디오 시퀀스들의 프로세싱을 위해, 컴퓨터(20)에 의해 출력 라인(21)으로 판독된 비디오 시퀀스들은 그의 출력(131)을 통해, 직접적으로 또는 비디오 메모리("시퀀스 메모리")(130)에서의 중간 저장이 이루어진 후에 멀리플렉서(220)에 제공된다. 또한, 멀티플렉서(220)가 비디오 시퀀스들을 삽입하는 별개의 데이터 채널을 포함하는 디지털 텔레비전 신호는 그의 출력(112)으로부터 텔레비전 신호 변환기(110)로부터 멀티플렉서(220)에 제공된다. 멀티플렉서(240)의 출력(221)에서 그렇게 프로세싱된 디지털 텔레비전 신호는 차례로 텔레비전 전송기(150)를 통해 디지털 전송 경로(151)를 통해 수신기(160)로 전송된다. 재생 장치(170)(디스플레이) 상에서 수신된 디지털 텔레비전 신호(50)의 재생 동안에, 오디오-시각 신호의 이미지 컴포넌트, 및 그로부터 분리된 수화 번역기의 제스처들은 동시에 관찰될 수 있다.
도 3에 도시된 바와 같이, 비디오 시퀀스들(21)은 독립적인 제 2 전송 경로(190)(예를 들면, 인터넷을 통해)를 통해 메모리(130)로부터 (또는 컴퓨터(20)로부터 직접적으로) 사용자에게 추가로 전송될 수 있다. 이러한 경우에, 멀티플렉서(220)에 의한 디지털 텔레비전 신호 내의 비디오 시퀀스들의 어떠한 삽입도 이루어지지 않는다. 오히려, 독립적인 제 2 전송 경로(190)를 통해 사용자에 의해 수신된 비디오 시퀀스들 및 전환 시퀀스들은 사용자 요구에 따라 및 이미지 오버레이(200)를 통해 수신기(160)에 의해 수신된 디지털 텔레비전 신호에 삽입될 수 있고, 제스처들은 화면 속 화면으로서 디스플레이(170) 상에 재생될 수 있다.
도 3에 도시된 또 다른 대안은, 생성된 비디오 시퀀스들(21)이 제 2 전송 경로(190)(브로드캐스트 또는 스트리밍)를 통해 개별적으로 재생되거나, 비디오 메모리(130)의 출력(133)을 통해 검색(retrieval)을 위해 (예를 들면, 오디오 북(210)에 대해) 제공되는 것이다.
오디오-시각 신호가 생성 또는 추론되는 형태에 의존하여, 도 1은, 예로서, 컴퓨터(20)로의 텍스트 데이터의 피딩을 위한 오프라인 버전 및 온라인 버전을 도시한다. 온라인 버전에서, 오디오-시각 신호는 카메라(61) 및 스피치 마이크로폰(62)에 의해 텔레비전 또는 영화 스튜디오에서 생성된다. 스피치 마이크로폰(60)의 사운드 출력(64)을 통해, 오디오-시각 신호의 스피치 컴포넌트가 텍스트 변환기(70)에 제공되고, 텍스트 변환기(70)는 수화를 수화의 단어들 및/또는 용어들을 포함하는 텍스트 데이터로 변환하고 따라서 중간 포맷을 생성한다. 그후, 텍스트 데이터는 텍스트 데이터 라인(71)을 통해 컴퓨터(20)로 전송되고, 여기서 그들은 데이터베이스(10) 내의 수화의 대응하는 데이터를 어드레싱한다.
스피커가 모니터로부터 스피킹될 텍스트를 판독하는, 스튜디오(60) 내의 "텔레프롬프터(teleprompter)"로서 지칭되는 것을 사용하는 경우에, 텔레프롬프터(90)의 텍스트 데이터는 라인(91)을 통해 텍스트 변환기(70)에 제공되거나, 라인(91)을 통해 컴퓨터(20)로 직접적으로(도시되지 않음) 제공된다.
오프라인 버전에서, 오디오-시각 신호의 스피치 컴포넌트는, 예를 들면, 필름 스캐너(80)의 오디오 출력(81)에서 스캐닝되고, 필름 스캐너(80)는 필름을 텔레비전 사운드 신호로 변환한다. 필름 스캐너(80) 대신에, 디스크 저장 매체(예를 들면, DVD)가 오디오-시각 신호에 대해 제공될 수 있다. 스캐닝된 오디오-시각 신호의 스피치 컴포넌트는 차례로 텍스트 변환기(70)(또는 또 다른 명시적으로 도시되지 않은 텍스트 변환기)에 제공되고, 텍스트 변환기(70)는, 컴퓨터(20)에 대해, 음성 언어를 음성 언어의 단어들 및/또는 용어들을 포함하는 텍스트 데이터로 변환한다.
스튜디오(60) 또는 필름 스캐너(80)로부터의 오디오-시각 신호들은 바람직하게 그들의 출력들(65 또는 82)을 통해 신호 메모리(50) 상에 저장될 수 있다. 그들의 출력(51)을 통해, 신호 메모리(50)는 저장된 오디오-시각 신호를 텔레비전 변환기(110)에 제공하고, 텔레비전 변환기(110)는 제공된 오디오-시각 신호로부터 아날로그 또는 디지털 텔레비전 신호를 생성한다. 자연스럽게, 스튜디오(60) 또는 필름 스캐너(80)로부터의 오디오-시각 신호들을 텔레비전 신호 변환기(110)에 직접적으로 제공하는 것이 또한 가능하다.
라디오 신호들의 경우에, 어떠한 비디오 신호도 오디오 신호와 동시에 존재하지 않는다는 것을 제외하고 위의 발언들은 유사한 방식으로 적용된다. 온라인 모드에서, 오디오 신호는 마이크로폰(60)을 통해 직접적으로 기록되고, (64)를 통해 텍스트 변환기(70)에 제공된다. 오프라인 모드에서, 임의의 포맷으로 존재할 수 있는 오디오 파일의 오디오 신호는 텍스트 변환기에 제공된다. 제스처들 및 병렬 비디오 시퀀스와 비디오 시퀀스들의 동기화를 최적화하기 위해, 로직(100)(예를 들면, 프레임 레이트 변환기)이 선택적으로 접속될 수 있고, 로직(100)은, 원래 오디오 신호 및 비디오 신호로부터의 시간 정보(카메라 출력(60)에서의 카메라(61)의 타임 스탬프)에 의해, 컴퓨터(20)로부터의 제스처 비디오 시퀀스 및 신호 메모리(50)로부터의 원래 오디오-시각 신호의 재생 속도 양자를 동적으로 변동(가속화 또는 감속화)시킨다. 이러한 목적으로, 로직(100)의 제어 출력(101)은 컴퓨터(20) 및 신호 메모리(50) 양자와 접속된다. 이러한 동기화에 의해, 음성 언어 및 수화 사이의 더 큰 시간 지연이 "온-라인" 모드에서 감소될 수 있고, "오프-라인" 모드에서 크게 회피될 수 있다.

Claims (7)

  1. 청각 장애인을 위해 음성 언어(spoken language)를 수화(sign language)로 번역하기 위한 시스템으로서,
    상기 음성 언어의 단어들 및 구문론(syntax)의 텍스트 데이터뿐만 아니라 상기 수화에서 대응하는 의미들을 갖는 비디오 데이터의 시퀀스들이 저장되는 데이터베이스(1), 및
    음성 언어의 제공된 텍스트 데이터를 상기 수화의 대응하는 비디오 시퀀스들로 번역하기 위해 데이터베이스(10)와 통신하는 컴퓨터(20)를 포함하고,
    상기 수화의 개별적인 문법적 구조들 사이의 전환 위치들의 규정을 위해 초기 손 상태들의 비디오 시퀀스가 메타데이터로서 상기 데이터베이스(10)에 추가로 저장되고, 메타데이터는 상기 번역 동안에 상기 컴퓨터(20)에 의해 상기 수화의 문법적 구조들의 비디오 시퀀스들 사이에 삽입되는,
    음성 언어를 수화로 번역하기 위한 시스템.
  2. 제 1 항에 있어서,
    상기 컴퓨터(20)에 의해 번역된 상기 비디오 시퀀스들을 오디오-시각 신호에 삽입하기 위한 디바이스(120; 220)를 특징으로 하는,
    음성 언어를 수화로 번역하기 위한 시스템.
  3. 제 1 항 또는 제 2 항에 있어서,
    오디오-시각 신호의 사운드 신호 컴포넌트를 텍스트 데이터로 변환하고, 상기 텍스트 데이터를 상기 컴퓨터(20)에 제공하기 위한 변환기(70)를 특징으로 하는,
    음성 언어를 수화로 번역하기 위한 시스템.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 오디오-시각 신호로부터 추론된 시간 정보를 상기 컴퓨터(20)에 제공하는 로직 디바이스(100)가 제공되고, 상기 제공된 시간 정보는 상기 컴퓨터(20)로부터의 비디오 시퀀스 및 원래 오디오-시각 신호의 재생 속도 양자를 동적으로 변동시키는,
    음성 언어를 수화로 번역하기 위한 시스템.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 오디오-시각 신호는 텔레비전 신호 전송기(150)를 통해 디지털 신호로서 수신기(160)로 전송되고,
    상기 비디오 시퀀스들(21)에 대해 독립적인 제 2 전송 경로(190)(예를 들면, 인터넷을 통함)가 제공되고, 상기 독립적인 제 2 전송 경로(190)를 통해, 상기 비디오 시퀀스들(21)은 비디오 메모리(130)로부터, 또는 상기 컴퓨터(20)로부터 직접적으로 사용자에게 전송되고, 이미지 오버레이(200)는, 상기 독립적인 제 2 전송 경로(190)를 통해 상기 사용자에게 전송된 상기 비디오 시퀀스들(21)을 상기 수신기(160)에 의해 수신된 디지털 텔레비전 신호에 화면 속 화면(picture in picture)으로서 삽입하기 위해 상기 수신기(160)와 접속되는,
    음성 언어를 수화로 번역하기 위한 시스템.
  6. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    독립적인 제 2 전송 경로(190)(예를 들면, 인터넷을 통함)는 상기 비디오 시퀀스들(21)에 대해 제공되고, 상기 독립적인 제 2 전송 경로(190)를 통해 상기 비디오 시퀀스들(21)은 브로드캐스트 또는 스트리밍 애플리케이션들을 위해 비디오 메모리(130)로부터 또는 컴퓨터(20)로부터 직접적으로 재생되거나, (예를 들면, 오디오 북(210)에 대해) 검색(retrieval)을 위해 제공되는,
    음성 언어를 수화로 번역하기 위한 시스템.
  7. 디지털 오디오-시각 신호에 대한 수신기로서,
    독립적인 제 2 전송 경로(190)를 통해 전송된 비디오 시퀀스들(21)을 상기 수신기(160)에 의해 수신된 디지털 텔레비전 신호에 화면 속 화면으로서 삽입하기 위해 상기 수신기(160)와 접속된 이미지 오버레이(200)를 특징으로 하는,
    디지털 오디오-시각 신호에 대한 수신기.
KR1020127025846A 2010-03-01 2011-02-28 청각 장애인을 위해 음성 언어를 수화로 번역하기 위한 시스템 KR20130029055A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102010009738.1 2010-03-01
DE102010009738A DE102010009738A1 (de) 2010-03-01 2010-03-01 Anordnung zum Übersetzen von Lautsprache in eine Gebärdensprache für Gehörlose
PCT/EP2011/052894 WO2011107420A1 (en) 2010-03-01 2011-02-28 System for translating spoken language into sign language for the deaf

Publications (1)

Publication Number Publication Date
KR20130029055A true KR20130029055A (ko) 2013-03-21

Family

ID=43983702

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127025846A KR20130029055A (ko) 2010-03-01 2011-02-28 청각 장애인을 위해 음성 언어를 수화로 번역하기 위한 시스템

Country Status (8)

Country Link
US (1) US20130204605A1 (ko)
EP (1) EP2543030A1 (ko)
JP (1) JP2013521523A (ko)
KR (1) KR20130029055A (ko)
CN (1) CN102893313A (ko)
DE (1) DE102010009738A1 (ko)
TW (1) TWI470588B (ko)
WO (1) WO2011107420A1 (ko)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9282377B2 (en) 2007-05-31 2016-03-08 iCommunicator LLC Apparatuses, methods and systems to provide translations of information into sign language or other formats
CN102723019A (zh) * 2012-05-23 2012-10-10 苏州奇可思信息科技有限公司 一种手语教学***
EP2760002A3 (en) * 2013-01-29 2014-08-27 Social IT Pty Ltd Methods and systems for converting text to video
WO2015061248A1 (en) * 2013-10-21 2015-04-30 iCommunicator LLC Apparatuses, methods and systems to provide translations of information into sign language or other formats
US10248856B2 (en) 2014-01-14 2019-04-02 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10024679B2 (en) 2014-01-14 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10360907B2 (en) 2014-01-14 2019-07-23 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9915545B2 (en) 2014-01-14 2018-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
WO2015116014A1 (en) * 2014-02-03 2015-08-06 IPEKKAN, Ahmet Ziyaeddin A method of managing the presentation of sign language by an animated character
US11875700B2 (en) 2014-05-20 2024-01-16 Jessica Robinson Systems and methods for providing communication services
US10460407B2 (en) * 2014-05-20 2019-10-29 Jessica Robinson Systems and methods for providing communication services
US10146318B2 (en) 2014-06-13 2018-12-04 Thomas Malzbender Techniques for using gesture recognition to effectuate character selection
US10024667B2 (en) 2014-08-01 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable earpiece for providing social and environmental awareness
US10024678B2 (en) 2014-09-17 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable clip for providing social and environmental awareness
US9922236B2 (en) 2014-09-17 2018-03-20 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable eyeglasses for providing social and environmental awareness
US10490102B2 (en) 2015-02-10 2019-11-26 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for braille assistance
US9586318B2 (en) 2015-02-27 2017-03-07 Toyota Motor Engineering & Manufacturing North America, Inc. Modular robot with smart device
US9972216B2 (en) 2015-03-20 2018-05-15 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for storing and playback of information for blind users
US10395555B2 (en) * 2015-03-30 2019-08-27 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing optimal braille output based on spoken and sign language
US9898039B2 (en) 2015-08-03 2018-02-20 Toyota Motor Engineering & Manufacturing North America, Inc. Modular smart necklace
CZ306519B6 (cs) * 2015-09-15 2017-02-22 Západočeská Univerzita V Plzni Způsob poskytnutí překladu televizního vysílání do znakové řeči a zařízení k provádění tohoto způsobu
DE102015016494B4 (de) 2015-12-18 2018-05-24 Audi Ag Kraftfahrzeug mit Ausgabeeinrichtung und Verfahren zum Ausgeben von Hinweisen
KR102450803B1 (ko) 2016-02-11 2022-10-05 한국전자통신연구원 양방향 수화 번역 장치 및 장치가 수행하는 양방향 수화 번역 방법
US10024680B2 (en) 2016-03-11 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Step based guidance system
US9958275B2 (en) 2016-05-31 2018-05-01 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for wearable smart device communications
US10561519B2 (en) 2016-07-20 2020-02-18 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable computing device having a curved back to reduce pressure on vertebrae
US10432851B2 (en) 2016-10-28 2019-10-01 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable computing device for detecting photography
USD827143S1 (en) 2016-11-07 2018-08-28 Toyota Motor Engineering & Manufacturing North America, Inc. Blind aid device
US10012505B2 (en) 2016-11-11 2018-07-03 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable system for providing walking directions
US10521669B2 (en) 2016-11-14 2019-12-31 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing guidance or feedback to a user
US10008128B1 (en) 2016-12-02 2018-06-26 Imam Abdulrahman Bin Faisal University Systems and methodologies for assisting communications
US10176366B1 (en) 2017-11-01 2019-01-08 Sorenson Ip Holdings Llc Video relay service, communication system, and related methods for performing artificial intelligence sign language translation services in a video relay service environment
CN111385612A (zh) * 2018-12-28 2020-07-07 深圳Tcl数字技术有限公司 基于听力障碍人群的电视播放方法、智能电视及存储介质
US10855888B2 (en) * 2018-12-28 2020-12-01 Signglasses, Llc Sound syncing sign-language interpretation system
WO2021014189A1 (en) * 2019-07-20 2021-01-28 Dalili Oujan Two-way translator for deaf people
US11610356B2 (en) 2020-07-28 2023-03-21 Samsung Electronics Co., Ltd. Method and electronic device for providing sign language
CN114639158A (zh) * 2020-11-30 2022-06-17 伊姆西Ip控股有限责任公司 计算机交互方法、设备和程序产品
US20220327309A1 (en) * 2021-04-09 2022-10-13 Sorenson Ip Holdings, Llc METHODS, SYSTEMS, and MACHINE-READABLE MEDIA FOR TRANSLATING SIGN LANGUAGE CONTENT INTO WORD CONTENT and VICE VERSA
IL283626A (en) * 2021-06-01 2022-12-01 Yaakov Livne Nimrod A method for translating sign language and a system for it
WO2023195603A1 (en) * 2022-04-04 2023-10-12 Samsung Electronics Co., Ltd. System and method for bidirectional automatic sign language translation and production

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5982853A (en) * 1995-03-01 1999-11-09 Liebermann; Raanan Telephone for the deaf and method of using same
US6181778B1 (en) * 1995-08-30 2001-01-30 Hitachi, Ltd. Chronological telephone system
DE19723678A1 (de) * 1997-06-05 1998-12-10 Siemens Ag Verfahren und Anordnung zur Kommunikation
JP2000149042A (ja) * 1998-11-18 2000-05-30 Fujitsu Ltd ワード手話映像変換方法並びに装置及びそのプログラムを記録した記録媒体
JP2001186430A (ja) * 1999-12-22 2001-07-06 Mitsubishi Electric Corp デジタル放送受信機
US7774194B2 (en) * 2002-08-14 2010-08-10 Raanan Liebermann Method and apparatus for seamless transition of voice and/or text into sign language
TW200405988A (en) * 2002-09-17 2004-04-16 Ginganet Corp System and method for sign language translation
US6760408B2 (en) * 2002-10-03 2004-07-06 Cingular Wireless, Llc Systems and methods for providing a user-friendly computing environment for the hearing impaired
TWI250476B (en) * 2003-08-11 2006-03-01 Univ Nat Cheng Kung Method for generating and serially connecting sign language images
US20060134585A1 (en) * 2004-09-01 2006-06-22 Nicoletta Adamo-Villani Interactive animation system for sign language
EP3629575A1 (en) * 2005-01-11 2020-04-01 TVNGO Ltd. Method and apparatus for facilitating toggling between internet and tv broadcasts
KR100819251B1 (ko) * 2005-01-31 2008-04-03 삼성전자주식회사 방송 통신 융합 시스템에서 수화 비디오 데이터를제공하는 시스템 및 방법
CN200969635Y (zh) * 2006-08-30 2007-10-31 康佳集团股份有限公司 一种具有手语解说功能的电视机
JP2008134686A (ja) * 2006-11-27 2008-06-12 Matsushita Electric Works Ltd 作画プログラム、プログラマブル表示器、並びに、表示システム
US8345827B2 (en) * 2006-12-18 2013-01-01 Joshua Elan Liebermann Sign language public addressing and emergency system
US20090012788A1 (en) * 2007-07-03 2009-01-08 Jason Andre Gilbert Sign language translation system
TWI372371B (en) * 2008-08-27 2012-09-11 Inventec Appliances Corp Sign language recognition system and method

Also Published As

Publication number Publication date
EP2543030A1 (en) 2013-01-09
TWI470588B (zh) 2015-01-21
US20130204605A1 (en) 2013-08-08
CN102893313A (zh) 2013-01-23
JP2013521523A (ja) 2013-06-10
DE102010009738A1 (de) 2011-09-01
WO2011107420A1 (en) 2011-09-09
TW201135684A (en) 2011-10-16

Similar Documents

Publication Publication Date Title
KR20130029055A (ko) 청각 장애인을 위해 음성 언어를 수화로 번역하기 위한 시스템
ES2761915T3 (es) Método y procedimiento para descripciones auxiliares de programa basadas en texto para televisión
US20160066055A1 (en) Method and system for automatically adding subtitles to streaming media content
US20120033133A1 (en) Closed captioning language translation
US20060285654A1 (en) System and method for performing automatic dubbing on an audio-visual stream
US10354676B2 (en) Automatic rate control for improved audio time scaling
US9767825B2 (en) Automatic rate control based on user identities
US20120105719A1 (en) Speech substitution of a real-time multimedia presentation
US20050180462A1 (en) Apparatus and method for reproducing ancillary data in synchronization with an audio signal
JP2011055483A (ja) 番組画像配信システム、番組画像配信方法及びプログラム
KR101198091B1 (ko) 학습 콘텐츠 서비스 제공 방법 및 시스템
Duarte et al. Multimedia accessibility
JPH1141538A (ja) 音声認識文字表示装置
CN115359796A (zh) 数字人手语播报方法、装置、设备及存储介质
KR20140122807A (ko) 외국어 학습 데이터 제공 장치 및 제공 방법
JP2013097240A (ja) 聴覚障がい者支援装置およびその動作方法
CN113748623A (zh) 节目制作装置、节目制作方法以及记录介质
JP2008294722A (ja) 動画再生装置および動画再生方法
US11665392B2 (en) Methods and systems for selective playback and attenuation of audio based on user preference
WO2008113064A1 (en) Methods and systems for converting video content and information to a sequenced media delivery format
Televisió de Catalunya et al. D6. 1–Pilot-D Progress report
WO2009083832A1 (en) Device and method for converting multimedia content using a text-to-speech engine

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid