CN110111771A - 一种基于个域网的同声翻译纽扣 - Google Patents
一种基于个域网的同声翻译纽扣 Download PDFInfo
- Publication number
- CN110111771A CN110111771A CN201910403765.2A CN201910403765A CN110111771A CN 110111771 A CN110111771 A CN 110111771A CN 201910403765 A CN201910403765 A CN 201910403765A CN 110111771 A CN110111771 A CN 110111771A
- Authority
- CN
- China
- Prior art keywords
- voice
- button
- module
- area network
- personal area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 claims abstract description 29
- 230000005540 biological transmission Effects 0.000 claims abstract description 24
- 238000013519 translation Methods 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 16
- 230000015572 biosynthetic process Effects 0.000 claims description 13
- 238000003786 synthesis reaction Methods 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 230000003321 amplification Effects 0.000 claims description 9
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 abstract description 7
- 238000003058 natural language processing Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 241001062009 Indigofera Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/005—Language recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
Abstract
本发明提供了一种基于个域网的同声翻译纽扣，其特征在于，包括纽扣式语音采集模块、纽扣式语音播放模块、低功耗个域网语音和数据传输模块、语音识别模块、语言翻译模块和语音合成模块。本发明基于低功耗个域网、小型化电子语音处理器件和自然语言处理智能算法，将语音信号采集、传输、处理和播放等功能集成到纽扣中，实现语音的同声翻译功能，消除语音交流障碍，实现自然流程的不同语种者之间的交谈。
Description
技术领域
本发明涉及一种基于个域网的同声翻译纽扣，属于可穿戴和语言处理技术领域。
背景技术
语音交谈是人们必不可少的交流方式，但由于语种不同导致语言交流障碍。目前，电子技术小型化促进了可穿戴电子技术的蓬勃发展，使得语音拾音、信号采集和语音播放等器件可以嵌入到衣帽饰物中；轻量级小型化的个域网传输协议和器件的发展，使得语音信号传输满足语音传输带宽和时延的要求；云计算平台、语言语音处理和人工智能技术的发展，使得语音数据处理和识别所需要计算能力和算法性能逐步满足。近年来新出现了为数不多的即时交谈翻译设备，引起市场和人们的广泛关注，但现有的设计采用手机、腕表、耳机或定制化小型设备，在面对面交谈时会产生不同程度的尴尬和不便，影响交谈的自然和顺畅。
发明内容
本发明的目的是：采用个域网技术、小型化电子语音处理器件和自然语言处理智能算法，将语音信号采集、传输、处理和播放等功能集成到纽扣中，实现可穿戴个人语言助理，消除语音交流障碍，实现自然自由的不同语种者之间的交谈。
为了达到上述目的，本发明的技术方案是提供了一种基于个域网的同声翻译纽扣，其特征在于，包括纽扣式语音采集模块、纽扣式语音播放模块、低功耗个域网语音和数据传输模块、语音识别模块、语言翻译模块和语音合成模块，其中：
纽扣式语音采集模块用于感知交谈中一方的语种一的语音后进行语音数据的采集和编码，将编码后的语音数据通过低功耗个域网语音和数据传输模块传输到处理平台，进行识别、翻译和合成；
低功耗个域网语音和数据传输模块封装到纽扣中，低功耗个域网语音和数据传输模块经由个域网将语音数据在纽扣式语音采集模块、纽扣式语音播放模块及处理平台之间进行传输，个域网采用低功耗轻量级无线传感器网络架构；
处理平台中运行有语音识别模块、语言翻译模块和语音合成模块，分别进行连续语音自动识别、不同语种的机器翻译和语音合成，实现对接收到的语音数据进行翻译转换处理；
处理平台将经过翻译转换处理的语音数据经由个域网或广域网发送至纽扣式语音播放模块，纽扣式语音播放模块向交谈中的另一方播放其所使用的语种二的语音。
优选地，所述纽扣式语音采集模块包括封装到纽扣的微型拾音器、封装到纽扣的音频放大器、封装到纽扣的模数转换器及封装到纽扣的语音编码器，由微型拾音器感知所述语种一的语音后通过音频放大器将语音放大，模数转换器则将放大后的语音转换为数字语音信号，语音编码器对数字语音信号进行编码后，通过所述低功耗个域网语音和数据传输模块将编码后的数字语音信号传输到所述处理平台。
优选地，所述个域网的网关和节点集成嵌入在纽扣中。
优选地，通过封装到纽扣中的嵌入式***实现所述处理平台，实现的离线语音处理和翻译合成；或者所述处理平台实现在智能手机中。
优选地，所述纽扣式语音播放模块包括封装到纽扣的语音音频解码模块、DA转换模块、音频放大模块及扬声器，语音音频解码模块用于对接收到的语音数据进行解码，随后由DA转换模块将解码后的语音数据转换为模拟语音信号，再由音频放大模块将模拟语音信号放大后通过扬声器输出。
本发明基于低功耗个域网、小型化电子语音处理器件和自然语言处理智能算法，将语音信号采集、传输、处理和播放等功能集成到纽扣中，实现语音的同声翻译功能，消除语音交流障碍，实现自然流程的不同语种者之间的交谈。
附图说明
图1同声翻译纽扣的结构图；
图2纽扣式语音采集模块；
图3语音合成实现原理图；
图4纽扣式语音播放模块。
具体实施方式
下面结合附图，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明提供的一种基于个域网的同声翻译纽扣包括纽扣式语音采集模块、纽扣式语音播放模块、低功耗个域网语音和数据传输模块、处理平台。
纽扣式语音采集模块将交谈一方语种(设为语种A)的语音，通过封装到纽扣的微型拾音器(麦克风)和音频放大滤波器组成的声音传感器前端进行感知，并通过封装到纽扣的模数转换器和语音编码器进行语音数据的采集和编码，得到数字音频信号。数字化音频信号再通过封装到纽扣的低功耗个域网语音和数据传输模块传输到处理平台，进行识别、翻译和合成。
具体实现可采用模拟麦克风和数字麦克风两种。如采用模拟麦克风，实现原理如图2所示，说话人声音信号经过麦克风转换为电信号，再经过音频放大滤波后，经数模转换(AD)转换为数字信号，还需要进一步经过Audio Codec转换为标准的数字音频信号。如采用数字麦克风，则上述模块功能均被集成到芯片中，直接得到数字音频信号。目前常用的数字音频接口包括I2S，PDM，PCM，SPDIF等。
低功耗个域网语音和数据传输模块通过个域网传输数据，个域网采用低功耗轻量级无线传感器网络架构，将高清语音数据信号在纽扣式语音采集模块、纽扣式语音播放模块及处理平台之间进行传输。个域网网关和节点也集成嵌入在纽扣中。
具体实现可以采用集成度高的蓝牙语音芯片，将语音采集模块得到的数字音频信号首先经过压缩编码，压缩标准采用SBC、AAC、APX、LDAC等；再转换为蓝牙射频信号，基于蓝牙音频的传输标准进行传输，蓝牙传输协议采用同步协议。蓝牙语音传输模块可以独立地封装到纽扣，也可以和语音采集模块一起封装到纽扣，如图2所示。
处理平台将纽扣式语音采集前端得到的语音数据传输至本地或远程语音处理计算平台。处理平台集成了语音识别、语言翻译和语音合成模块，分别进行连续语音自动识别，不同语种的机器翻译和语音合成，实现语音翻译转换处理。
语音识别部分首先将语音采集模块得到的语音信号识别为文本，使用连续语音识别(SAR)技术。识别出的文本再通过翻译模块进行不同语种的翻译。语音识别和翻译模块可以采用第三方开源或收费的开发工具包实现。
语音合成***，如图3所示，分为两部分,分别称为前端和后端。前端主要负责在语言层、语法层、语义层对输入文本进行文本分析，涉及语言学相关处理,如分词、注音以及韵律信息等。后端在语音层面上进行韵律特征建模,声学特征建模,然后进行声学预测或者在音库中进行单元挑选,最终经过合成器或者波形拼接等方法合成语音。语音合成可以采用第三方开源或收费的开发工具包实现。
处理平台可以实现在封装到纽扣的嵌入式***，实现的离线语音处理和翻译合成。智能语音处理后台模块可以实现在智能手机中，或基于云计算平台实现。
纽扣式语音播放模块通过智能手机广域网传输功能，或再通过个域网传输模块传输至纽扣式微型播放器，接收经过智能语音处理后台模块处理合成的语音信号，即交谈另一方的语种(设为语种B)的语音，通过封装到纽扣的扬声器进行播放，使得交谈对方无障碍实时听到，如同说话者本人采用语种B说话。
具体实现如图4所示，采用蓝牙语音芯片接收压缩传输的语音信号，经过解压后通过语音数字接口，例如数字音频接口包括I2S，PDM，PCM，SPDIF等，输入到音频编解码芯片(Audio Codec)进行DA转换和音频放大，输出到扬声器进行播放。或采用语音音频解码芯片内置的DA转换和音频放大。上述音频解码芯片、DA、音频放大器等器件，以及所需的电池、充电等***电路均采用微型电子器件，封装到纽扣中，实现可穿戴。
Claims (5)
1.一种基于个域网的同声翻译纽扣，其特征在于，包括纽扣式语音采集模块、纽扣式语音播放模块、低功耗个域网语音和数据传输模块、语音识别模块、语言翻译模块和语音合成模块，其中：
纽扣式语音采集模块用于感知交谈中一方的语种一的语音后进行语音数据的采集和编码，将编码后的语音数据通过低功耗个域网语音和数据传输模块传输到处理平台，进行识别、翻译和合成；
低功耗个域网语音和数据传输模块封装到纽扣中，低功耗个域网语音和数据传输模块经由个域网将语音数据在纽扣式语音采集模块、纽扣式语音播放模块及处理平台之间进行传输，个域网采用低功耗轻量级无线传感器网络架构；
处理平台中运行有语音识别模块、语言翻译模块和语音合成模块，分别进行连续语音自动识别、不同语种的机器翻译和语音合成，实现对接收到的语音数据进行翻译转换处理；
处理平台将经过翻译转换处理的语音数据经由个域网或广域网发送至纽扣式语音播放模块，纽扣式语音播放模块向交谈中的另一方播放其所使用的语种二的语音。
2.如权利要求1所述的一种基于个域网的同声翻译纽扣，其特征在于，所述纽扣式语音采集模块包括封装到纽扣的微型拾音器、封装到纽扣的音频放大器、封装到纽扣的模数转换器及封装到纽扣的语音编码器，由微型拾音器感知所述语种一的语音后通过音频放大器将语音放大，模数转换器则将放大后的语音转换为数字语音信号，语音编码器对数字语音信号进行编码后，通过所述低功耗个域网语音和数据传输模块将编码后的数字语音信号传输到所述处理平台。
3.如权利要求1所述的一种基于个域网的同声翻译纽扣，其特征在于，所述个域网的网关和节点集成嵌入在纽扣中。
4.如权利要求1所述的一种基于个域网的同声翻译纽扣，其特征在于，通过封装到纽扣中的嵌入式***实现所述处理平台，实现的离线语音处理和翻译合成；或者所述处理平台实现在智能手机中。
5.如权利要求1所述的一种基于个域网的同声翻译纽扣，其特征在于，所述纽扣式语音播放模块包括封装到纽扣的语音音频解码模块、DA转换模块、音频放大模块及扬声器，语音音频解码模块用于对接收到的语音数据进行解码，随后由DA转换模块将解码后的语音数据转换为模拟语音信号，再由音频放大模块将模拟语音信号放大后通过扬声器输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910403765.2A CN110111771A (zh) | 2019-05-15 | 2019-05-15 | 一种基于个域网的同声翻译纽扣 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910403765.2A CN110111771A (zh) | 2019-05-15 | 2019-05-15 | 一种基于个域网的同声翻译纽扣 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110111771A true CN110111771A (zh) | 2019-08-09 |
Family
ID=67490249
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910403765.2A Pending CN110111771A (zh) | 2019-05-15 | 2019-05-15 | 一种基于个域网的同声翻译纽扣 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110111771A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021083071A1 (zh) * | 2019-10-31 | 2021-05-06 | 阿里巴巴集团控股有限公司 | 语音转换、文件生成、播音、语音处理方法、设备及介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1314646A (zh) * | 2000-03-22 | 2001-09-26 | 国际商业机器公司 | 信息翻译的***和方法 |
| CN1738342A (zh) * | 2005-09-01 | 2006-02-22 | 上海中策工贸有限公司 | 手机语音识别及翻译*** |
| US20110301936A1 (en) * | 2010-06-03 | 2011-12-08 | Electronics And Telecommunications Research Institute | Interpretation terminals and method for interpretation through communication between interpretation terminals |
| CN105824807A (zh) * | 2016-03-16 | 2016-08-03 | 安微省新脉科技发展有限公司 | 一种翻译终端和翻译方法 |
| CN205486101U (zh) * | 2016-03-16 | 2016-08-17 | 安微省新脉科技发展有限公司 | 一种翻译终端 |
| CN205942689U (zh) * | 2016-07-02 | 2017-02-08 | 苏州龙诺法智能科技有限公司 | 智能随身翻译器 |
| CN206147624U (zh) * | 2016-10-20 | 2017-05-03 | 黄晶 | 一种便携式翻译笔以及笔记本 |
| CN206921088U (zh) * | 2017-06-02 | 2018-01-23 | 苏州龙诺法智能科技有限公司 | 集移动电源与翻译功能于一体的智能*** |
| US20190080630A1 (en) * | 2017-09-08 | 2019-03-14 | Alida R. Nattress | Medical grade wearable eyeglasses with holographic voice and sign language recognition duo interpreters and response with microphone/speakers using programming software, optional customization via smartphone device or private webpage |
-
2019
- 2019-05-15 CN CN201910403765.2A patent/CN110111771A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1314646A (zh) * | 2000-03-22 | 2001-09-26 | 国际商业机器公司 | 信息翻译的***和方法 |
| CN1738342A (zh) * | 2005-09-01 | 2006-02-22 | 上海中策工贸有限公司 | 手机语音识别及翻译*** |
| US20110301936A1 (en) * | 2010-06-03 | 2011-12-08 | Electronics And Telecommunications Research Institute | Interpretation terminals and method for interpretation through communication between interpretation terminals |
| CN105824807A (zh) * | 2016-03-16 | 2016-08-03 | 安微省新脉科技发展有限公司 | 一种翻译终端和翻译方法 |
| CN205486101U (zh) * | 2016-03-16 | 2016-08-17 | 安微省新脉科技发展有限公司 | 一种翻译终端 |
| CN205942689U (zh) * | 2016-07-02 | 2017-02-08 | 苏州龙诺法智能科技有限公司 | 智能随身翻译器 |
| CN206147624U (zh) * | 2016-10-20 | 2017-05-03 | 黄晶 | 一种便携式翻译笔以及笔记本 |
| CN206921088U (zh) * | 2017-06-02 | 2018-01-23 | 苏州龙诺法智能科技有限公司 | 集移动电源与翻译功能于一体的智能*** |
| US20190080630A1 (en) * | 2017-09-08 | 2019-03-14 | Alida R. Nattress | Medical grade wearable eyeglasses with holographic voice and sign language recognition duo interpreters and response with microphone/speakers using programming software, optional customization via smartphone device or private webpage |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021083071A1 (zh) * | 2019-10-31 | 2021-05-06 | 阿里巴巴集团控股有限公司 | 语音转换、文件生成、播音、语音处理方法、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102138337B (zh) | 具有自包含的语音反馈和语音命令的佩戴型头戴式耳机 | |
| CN105208189B (zh) | 音频处理方法及移动终端 | |
| CN110931000B (zh) | 语音识别的方法和装置 | |
| CN107979686A (zh) | 一种实现实时语音互译的*** | |
| CN106961639A (zh) | 一种水下对讲机通信方法及应用该方法的水下通信*** | |
| CN113823304A (zh) | 语音信号的处理方法、装置、电子设备及可读存储介质 | |
| US9042564B2 (en) | Wireless communication device having speech recognition, speech translation, and hearing aid functions | |
| US20230091607A1 (en) | Psychoacoustics-based audio encoding method and apparatus | |
| CN110446132A (zh) | 一种实时翻译tws蓝牙耳机及其使用方法 | |
| CN111276150A (zh) | 一种基于麦克风阵列的智能语音转文字及同声翻译*** | |
| CN110111771A (zh) | 一种基于个域网的同声翻译纽扣 | |
| CN107149219A (zh) | 一种用于实时语音识别的智能手环及*** | |
| KR20100127194A (ko) | 무선 음성 인식 이어폰 | |
| CN108833698A (zh) | 一种移动设备文字通话方法 | |
| CN102118482A (zh) | 无线终端助听装置 | |
| CN116055951B (zh) | 信号处理方法和电子设备 | |
| CN207039811U (zh) | 一种多媒体麦克风智能检测音箱 | |
| CN101288614A (zh) | 基于谱扩展技术的电子耳蜗电话适配装置及方法 | |
| CN206249309U (zh) | 一种实现实时语音互译的对讲装置 | |
| CN107172521A (zh) | 一种用于实时语音识别的蓝牙耳机及*** | |
| CN111586655A (zh) | 一种完整采集对话双方对话内容的装置 | |
| CN211089900U (zh) | 一种k歌耳机 | |
| CN207382541U (zh) | 智能语音音箱 | |
| CN2593502Y (zh) | 变声手机 | |
| KR100553437B1 (ko) | 음성 합성을 이용한 음성 메시지 전송 기능을 가지는무선통신 단말기 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190809 |