CN1556496A - 唇形识别发声器 - Google Patents
唇形识别发声器 Download PDFInfo
- Publication number
- CN1556496A CN1556496A CNA2003101220227A CN200310122022A CN1556496A CN 1556496 A CN1556496 A CN 1556496A CN A2003101220227 A CNA2003101220227 A CN A2003101220227A CN 200310122022 A CN200310122022 A CN 200310122022A CN 1556496 A CN1556496 A CN 1556496A
- Authority
- CN
- China
- Prior art keywords
- lip
- unit
- phonetic synthesis
- acoustical generator
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Prostheses (AREA)
Abstract
本发明公开一种唇形识别发声器，它的连接方式是：***头1与图像采集单元2相连接，图像采集单元2的输出接唇型图像模式识别单元3，唇型图像模式识别单元3的信号输出到语音合成单元4，语音合成单元4与语音存储单元5相连接，语音合成单元4从语音存储单元5提取语音合成要素合成声音信号，输出到发声单元6，而后通过扬声器7发出与唇型及其变化顺序相对应的声音。本发明通过识别说话者的唇形，确定说话内容，语音合成说话内容，实时通过扬声器发出声音。本发明可以帮助因为喉或者声带切除不能发声的人或者会唇语的聋哑人发出声音，方便了他们和正常人交流。
Description
技术领域
本发明涉及一种发声器，特别涉及一种唇形识别发声器。
背景技术
临床上，许多病人因为喉或者声带病变进行了喉或者声带切除手术，术后不能发声从而阻碍了他们与正常人进行交流。聋哑人一般和正常人进行交流是通过读正常人的唇语来确定对方说话内容的。聋哑人却很难让别人明白自己的意思。利用唇形图像识别和语音合成发声仪器，它可以帮助不能发声的人发出声音，去除他们和正常人交流障碍。但是目前尚未有一种仪器和技术方案可以帮助上述病人和聋哑人发出声音，方便他们和正常人交流。
发明内容
本发明的目的，在于提供一种发声仪器可以帮助上述病人和聋哑人发声，方便和正常人进行交流。本发明是通过辨识说话者的唇形，通过模式识别确定其说话内容，然后通过语音合成技术发出声音。语言的绝大多数音，在说话时都有确定的唇形。本发明能够把说话者的唇形和想发声的“音”一一对应，采用语音合成技术通过扬声器发出声音。
本发明是通过下述技术方案加以实现的：
1.通过摄像头和图像采集单元采集说话者唇形图像。
2.对唇形图像进行图像处理，实时、动态提取唇形特征，然后用唇形模式识别算法确定说话内容。
3.根据模式识别结果，语音合成单元从语音存储单元提取语音，合成说话内容并通过发声单元送出。
本发明如图1所示：***头1与图像采集单元2相连接，图像采集单元2的输出接唇型图像模式识别单元3，唇型图像模式识别单元3的信号输出到语音合成单元4，语音合成单元4与语音存储单元5相连接，语音合成单元4从语音存储单元5提取语音合成要素合成声音信号，输出到发声单元6，而后通过扬声器7发出与唇型及其变化顺序相对应的声音。
可以将唇形图像处理和模式识别单元，语音合成单元，语音存储单元用处理器8来实现，处理器可以是数字信号处理器(DSP)或其他微处理器(如ARM)等。
而***头1与图像采集单元可以是集成在一起的具有数字信号输出的摄像头，如CCD摄像头和其他图象传感器。
发声单元6可以采用数字/模拟转换器和放大器组成，也可以采用多媒体数字信号编解码器。
本发明通过识别说话者的唇形，确定说话内容，语音合成说话内容，实时通过扬声器发出声音。本发明可以帮助因为喉或者声带切除不能发声的人或者会唇语的聋哑人发出声音，方便了他们和正常人交流。
附图说明
图1为本发明的***连接框图。
图2本发明的一种唇形识别发声器。
具体实施方式
下面结合附图对本发明作详细说明：
如图1所示的连接方法，***头1与图像采集单元2相连接，图像采集单元2的输出接唇型图像模式识别单元3，唇型图像模式识别单元3的信号输出到语音合成单元4，语音合成单元4与语音存储单元5相连接，语音合成单元4从语音存储单元5提取语音合成要素合成声音信号，输出到发声单元6，而后通过扬声器7发出与唇型及其变化顺序相对应的声音。
采用***头1，减小体积，***头放于唇前，只摄取唇形图像，不摄取面部其它图像，它的输出接图像采集单元。图像采集单元2采用视频采集芯片，输入接***头的输出，输出和图像处理和模式识别单元3连接。图像处理和模式识别单元是仪器的核心，采用数字信号处理器(DSP)或其他微处理器(如ARM)，主要进行唇形图像的预处理、特征提取和模式识别。语音合成单元4根据唇形模式识别的结果合成语音。它也由数字信号处理器完成。语音存储单元5为一个数据库，存储所有基本音素，采用大容量存储器存储。发声单元6由数模转换器和放大器组成。数模转换器把数字音频信号转换成模拟音频信号，经放大器放大后驱动扬声器7。发声单元也可以采用多媒体数字信号编解码器。扬声器送出声音。
本实施例的***头和图像采集单元可以采用集成一体化图象传感器。
本实施例的唇形图像处理和模式识别单元，语音合成单元，语音存储单元采用的处理器8可以是数字信号微处理器或数字信号微处理器***，也可以采用微处理器或微处理器***，或者采用采用ARM微处理器或ARM微处理器***。
本实施例的发声单元包括数模转换器和放大器组成。
为方便适用，本发明外观为耳机形状。***头放于普通耳机放麦克风的位置，扬声器通过连线接出，仪器其它功能单元电路放置耳朵部位。如附图2所示。
使用者像带耳机一样带上本装置，将***头拉下，对准自己的唇部，打开开关，开始说话。尽管使用者发不出声音，只要唇部像正常说话时的动作一样，本装置就可以发出正确声音。对于有些使用者说话时唇形不标准，需经过一定训练。经过训练的使用者，本仪器可以满足日常交流。
Claims (8)
1.一种唇形识别发声器，它由六部分构成：***头，图像采集单元，唇形图像处理和模式识别单元，语音合成单元，语音存储单元和发声单元；其特征是***头(1)与图像采集单元(2)相连接，图像采集单元(2)的输出接唇型图像模式识别单元(3)，唇型图像模式识别单元(3)的信号输出到语音合成单元(4)，语音合成单元(4)与语音存储单元(5)相连接，语音合成单元(4)从语音存储单元(5)提取语音合成要素合成声音信号，输出到发声单元(6)，而后通过扬声器(7)发出与唇型及其变化顺序相对应的声音。
2.按权利要求1所说的唇形识别发声器，其特征在于：***头和图像采集单元采用集成一体化图像传感器。
3.按权利要求1所说的唇形识别发声器，其特征在于：唇形图像处理和模式识别单元，语音合成单元，语音存储单元采用数字信号微处理器或数字信号微处理器***。
4.按权利要求1所说的唇形识别发声器，其特征在于：唇形图像处理和模式识别单元，语音合成单元，语音存储单元采用微处理器或微处理器***。
5.按权利要求1所说的唇形识别发声器，其特征在于：唇形图像处理和模式识别单元，语音合成单元，语音存储单元采用ARM微处理器或ARM微处理器***。
6.按权利要求1所说的唇形识别发声器，其特征在于：发声单元包括数模转换器和放大器组成。
7.按权利要求1所说的唇形识别发声器，其特征在于：发声单元采用多媒体数字信号编解码器。
8.按权利要求1所说的唇形识别发声器，其特征在于：***头设置在嘴唇前方。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNA2003101220227A CN1556496A (zh) | 2003-12-31 | 2003-12-31 | 唇形识别发声器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNA2003101220227A CN1556496A (zh) | 2003-12-31 | 2003-12-31 | 唇形识别发声器 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN1556496A true CN1556496A (zh) | 2004-12-22 |
Family
ID=34338600
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNA2003101220227A Pending CN1556496A (zh) | 2003-12-31 | 2003-12-31 | 唇形识别发声器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN1556496A (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007134494A1 (fr) * | 2006-05-16 | 2007-11-29 | Zhongwei Huang | Procédé informatique auxiliaire adapté à un système d'apprentissage de prononciation multilingue pour sourds-muets |
| CN102117115A (zh) * | 2009-12-31 | 2011-07-06 | 上海量科电子科技有限公司 | 一种利用唇语进行文字输入选择的***及实现方法 |
| CN102193772A (zh) * | 2010-03-19 | 2011-09-21 | 索尼公司 | 信息处理器、信息处理方法和程序 |
| CN101751692B (zh) * | 2009-12-24 | 2012-05-30 | 四川大学 | 语音驱动唇形动画的方法 |
| CN102542280A (zh) * | 2010-12-26 | 2012-07-04 | 上海量明科技发展有限公司 | 针对同一内容的不同唇语口型的识别方法及*** |
| CN103092329A (zh) * | 2011-10-31 | 2013-05-08 | 南开大学 | 一种基于唇读技术的唇语输入方法 |
| CN105321519A (zh) * | 2014-07-28 | 2016-02-10 | 刘璟锋 | 话语辨识***与单元 |
| CN105632497A (zh) * | 2016-01-06 | 2016-06-01 | 昆山龙腾光电有限公司 | 一种语音输出方法、语音输出*** |
| CN108446641A (zh) * | 2018-03-22 | 2018-08-24 | 深圳市迪比科电子科技有限公司 | 一种基于机器学习的口形图像识别***及通过面纹识别发声的方法 |
| CN108510988A (zh) * | 2018-03-22 | 2018-09-07 | 深圳市迪比科电子科技有限公司 | 一种用于聋哑人的语言识别***及方法 |
| CN108538282A (zh) * | 2018-03-15 | 2018-09-14 | 上海电力学院 | 一种由唇部视频直接生成语音的方法 |
| CN108831472A (zh) * | 2018-06-27 | 2018-11-16 | 中山大学肿瘤防治中心 | 一种基于唇语识别的人工智能发声***及发声方法 |
| CN109559751A (zh) * | 2019-01-09 | 2019-04-02 | 承德石油高等专科学校 | 一种口型转换口罩 |
| CN109919127A (zh) * | 2019-03-20 | 2019-06-21 | 邱洵 | 一种哑语语言转换*** |
| CN110351631A (zh) * | 2019-07-11 | 2019-10-18 | 京东方科技集团股份有限公司 | 聋哑人交流设备及其使用方法 |
| CN111445912A (zh) * | 2020-04-03 | 2020-07-24 | 深圳市阿尔垎智能科技有限公司 | 语音处理方法和*** |
| CN111916054A (zh) * | 2020-07-08 | 2020-11-10 | 标贝（北京）科技有限公司 | 基于唇形的语音生成方法、装置和***及存储介质 |
-
2003
- 2003-12-31 CN CNA2003101220227A patent/CN1556496A/zh active Pending
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007134494A1 (fr) * | 2006-05-16 | 2007-11-29 | Zhongwei Huang | Procédé informatique auxiliaire adapté à un système d'apprentissage de prononciation multilingue pour sourds-muets |
| CN101751692B (zh) * | 2009-12-24 | 2012-05-30 | 四川大学 | 语音驱动唇形动画的方法 |
| CN102117115A (zh) * | 2009-12-31 | 2011-07-06 | 上海量科电子科技有限公司 | 一种利用唇语进行文字输入选择的***及实现方法 |
| CN102117115B (zh) * | 2009-12-31 | 2016-11-23 | 上海量科电子科技有限公司 | 一种利用唇语进行文字输入选择的***及实现方法 |
| CN102193772B (zh) * | 2010-03-19 | 2016-08-10 | 索尼公司 | 一种信息处理器和信息处理方法 |
| CN102193772A (zh) * | 2010-03-19 | 2011-09-21 | 索尼公司 | 信息处理器、信息处理方法和程序 |
| CN102542280A (zh) * | 2010-12-26 | 2012-07-04 | 上海量明科技发展有限公司 | 针对同一内容的不同唇语口型的识别方法及*** |
| CN102542280B (zh) * | 2010-12-26 | 2016-09-28 | 上海量明科技发展有限公司 | 针对同一内容的不同唇语口型的识别方法及*** |
| CN103092329A (zh) * | 2011-10-31 | 2013-05-08 | 南开大学 | 一种基于唇读技术的唇语输入方法 |
| CN105321519A (zh) * | 2014-07-28 | 2016-02-10 | 刘璟锋 | 话语辨识***与单元 |
| CN105321519B (zh) * | 2014-07-28 | 2019-05-14 | 刘璟锋 | 话语辨识***与单元 |
| CN105632497A (zh) * | 2016-01-06 | 2016-06-01 | 昆山龙腾光电有限公司 | 一种语音输出方法、语音输出*** |
| CN108538282B (zh) * | 2018-03-15 | 2021-10-08 | 上海电力学院 | 一种由唇部视频直接生成语音的方法 |
| CN108538282A (zh) * | 2018-03-15 | 2018-09-14 | 上海电力学院 | 一种由唇部视频直接生成语音的方法 |
| CN108446641A (zh) * | 2018-03-22 | 2018-08-24 | 深圳市迪比科电子科技有限公司 | 一种基于机器学习的口形图像识别***及通过面纹识别发声的方法 |
| CN108510988A (zh) * | 2018-03-22 | 2018-09-07 | 深圳市迪比科电子科技有限公司 | 一种用于聋哑人的语言识别***及方法 |
| CN108831472A (zh) * | 2018-06-27 | 2018-11-16 | 中山大学肿瘤防治中心 | 一种基于唇语识别的人工智能发声***及发声方法 |
| CN109559751A (zh) * | 2019-01-09 | 2019-04-02 | 承德石油高等专科学校 | 一种口型转换口罩 |
| CN109919127A (zh) * | 2019-03-20 | 2019-06-21 | 邱洵 | 一种哑语语言转换*** |
| CN110351631A (zh) * | 2019-07-11 | 2019-10-18 | 京东方科技集团股份有限公司 | 聋哑人交流设备及其使用方法 |
| CN111445912A (zh) * | 2020-04-03 | 2020-07-24 | 深圳市阿尔垎智能科技有限公司 | 语音处理方法和*** |
| CN111916054A (zh) * | 2020-07-08 | 2020-11-10 | 标贝（北京）科技有限公司 | 基于唇形的语音生成方法、装置和***及存储介质 |
| CN111916054B (zh) * | 2020-07-08 | 2024-04-26 | 标贝(青岛)科技有限公司 | 基于唇形的语音生成方法、装置和***及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1556496A (zh) | 唇形识别发声器 | |
| KR100619215B1 (ko) | 마이크로폰, 커뮤니케이션 인터페이스 시스템 | |
| US7676372B1 (en) | Prosthetic hearing device that transforms a detected speech into a speech of a speech form assistive in understanding the semantic meaning in the detected speech | |
| Nakajima et al. | Non-audible murmur (NAM) recognition | |
| EP1345210A3 (en) | Speech recognition system, speech recognition method, speech synthesis system, speech synthesis method, and program product | |
| EP0860811A2 (en) | Automated speech alignment for image synthesis | |
| CN201532762U (zh) | 个人专用同声传译装置 | |
| JP2012510088A (ja) | 音声推定インタフェースおよび通信システム | |
| EP1326232A3 (en) | Method, apparatus and computer program for preparing an acoustic model | |
| WO2015090562A2 (en) | Computer-implemented method, computer system and computer program product for automatic transformation of myoelectric signals into audible speech | |
| CN106653048B (zh) | 基于人声模型的单通道声音分离方法 | |
| CN110148418B (zh) | 一种场景记录分析***、方法及其装置 | |
| CN109346057A (zh) | 一种智能儿童玩具的语音处理*** | |
| JP2000308198A (ja) | 補聴器 | |
| TWI222622B (en) | Robotic vision-audition system | |
| CN112232127A (zh) | 一种智能演讲训练***及方法 | |
| CN110516265A (zh) | 一种基于智能语音的单一识别实时翻译*** | |
| Dupont et al. | Combined use of close-talk and throat microphones for improved speech recognition under non-stationary background noise | |
| US20130035940A1 (en) | Electrolaryngeal speech reconstruction method and system thereof | |
| KR20170086233A (ko) | 라이프 음성 로그 및 라이프 영상 로그를 이용한 점증적 음향 모델 및 언어 모델 학습 방법 | |
| CN109300478A (zh) | 一种听力障碍者的辅助对话装置 | |
| CN113160366A (zh) | 一种3d人脸动画合成方法及*** | |
| JP4011844B2 (ja) | 翻訳装置、翻訳方法および媒体 | |
| CN113409809B (zh) | 语音降噪方法、装置及设备 | |
| CN110956949B (zh) | 一种***式缄默通信方法与*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |