CN108428453A - 一种基于唇语识别的智能终端操控*** - Google Patents

一种基于唇语识别的智能终端操控*** Download PDF

Info

Publication number
CN108428453A
CN108428453A CN201810256940.5A CN201810256940A CN108428453A CN 108428453 A CN108428453 A CN 108428453A CN 201810256940 A CN201810256940 A CN 201810256940A CN 108428453 A CN108428453 A CN 108428453A
Authority
CN
China
Prior art keywords
end equipment
main body
lip reading
controller
identifying system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810256940.5A
Other languages
English (en)
Inventor
王凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201810256940.5A priority Critical patent/CN108428453A/zh
Publication of CN108428453A publication Critical patent/CN108428453A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Telephonic Communication Services (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于唇语识别的智能终端操控***，包括使用端设备和执行端设备，其中，使用端设备包括：使用端主体1，语音接收装置2，显示界面3，视频采集装置4，信号传递介质5；执行端设备包括：控制器6，执行端主体7；在使用端设备中，语音接收装置2采集使用者语音信息，视频接收装置4采集使用者口型图像信息，识别***可同时对语音信息进行语音识别产生语音指令和对口型图像信息进行唇语识别产生唇语指令；在执行端设备中，控制器6通过信息传递介质5接收识别***信息，对执行端主体7进行控制；控制器6通过信息传递介质5将执行端设备周边环境信息和状态信息反馈传递到使用端设备，供使用者通过显示界面3进行实时监控。

Description

一种基于唇语识别的智能终端操控***
技术领域
本发明涉及唇语识别技术领域，尤其是通过唇语识别操控计算机、手机、机器人、智能车等智能终端设备的技术领域。
背景技术
目前语音识别技术已经得到普及，如人们可以很轻松地通过语音识别将声音转化为文字，输入到电脑，进行编辑、搜索等，大大提高了效率。但语音识别仍存在问题，当我们在公共场合使用语音识别时，可能会对别人造成干扰，还会受到噪声的干扰，也容易造成信息的泄露。因此，唇语识别技术可以很好地解决这类问题，此外，也能为语言障碍者提供帮助。
通过唇语识别操控计算机、手机、机器人、智能车等智能执行终端设备，也将是唇语识别技术的重要应用领域。
发明内容
本发明的目的在于提出一种基于唇语识别的智能终端操控***。
本发明通过以下技术方案来描述一种基于唇语识别的智能终端操控***，显然，所描述的技术方案是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于唇语识别的智能终端操控***包括使用端设备和执行端设备，其中，使用端设备包括：使用端主体1，语音接收装置2，显示界面3，视频采集装置4，信号传递介质5；执行端设备包括：控制器6，执行端主体7；信息传递介质5可为有线或无线方式；在使用端设备中，语音接收装置2采集使用者语音信息，视频接收装置4采集使用者口型图像信息，识别***可同时对语音信息进行语音识别产生语音指令和对口型图像信息进行唇语识别产生唇语指令，识别***，包括软、硬件***，可以分布在使用端设备和执行端设备中，也可单独布置在使用端设备或执行端设备中；在执行端设备中，控制器6通过信息传递介质5接收识别***信息，对执行端主体7进行控制，实现对执行端设备的操控；控制器6通过信息传递介质5将执行端设备周边环境信息和状态信息反馈传递到使用端设备，供使用者通过显示界面3进行实时监控。
识别***可同时对语音信息进行语音识别和对口型图像信息进行唇语识别，当两者识别结果一致时，识别***向控制器6发出指令，对执行端主体7进行控制；当语音识别和唇语识别结果不一致，或均不能进行正常识别时，可通过使用端主体1上所安装的按键，向控制器6发出指令，对执行端主体7进行控制，该过程可使识别***进行自学习，逐步提高准确性。
附图说明
附图1是一种基于唇语识别的智能终端操控***结构图
1-使用端主体，2-语音接收装置，3-显示界面，4-视频采集装置，5-信号传递介质，6-控制器， 7-执行端主体
具体实施方式
结合附图1以唇语操控智能小车为例详细说明本发明。
一种基于唇语识别的智能终端操控***包括使用端设备和执行端设备，执行端设备以智能小车为例，其中，使用端设备包括：使用端主体1，语音接收装置2，显示界面3，视频采集装置4，信号传递介质5；执行端设备包括：控制器6，执行端主体7。
通过使用端设备语音接收装置2采集使用者语音信息，视频接收装置4采集使用者口型图像信息，识别***可同时对语音信息进行语音识别产生语音指令和对口型图像信息进行唇语识别产生唇语指令，当两者识别结果一致时，识别***向控制器6发出指令，对智能小车进行控制；当语音识别和唇语识别结果不一致，或均不能进行正常识别时，可通过使用端主体1上所安装的按键，向控制器6发出指令，对智能小车进行控制；作为一个实施例，执行端设备，即智能小车，可通过识别***进行“前进”、“后退”、“停止”、“左转”、“右转”等控制。
控制器6通过信息传递介质5将智能小车周边环境信息和状态信息反馈传递到使用端设备，供使用者通过显示界面3等人机界面进行实时监控。

Claims (5)

1.所述一种基于唇语识别的智能终端操控***，其特征在于，基于唇语识别的智能终端操控***包括使用端设备和执行端设备，其中，使用端设备包括：使用端主体1，语音接收装置2，显示界面3，视频采集装置4，信号传递介质5；执行端设备包括：控制器6，执行端主体7；信息传递介质5可为有线或无线方式；在使用端设备中，语音接收装置2采集使用者语音信息，视频接收装置4采集使用者口型图像信息，识别***可同时对语音信息进行语音识别产生语音指令和对口型图像信息进行唇语识别产生唇语指令，识别***，包括软、硬件***，可以分布在使用端设备和执行端设备中，也可单独布置在使用端设备或执行端设备中；在执行端设备中，控制器6通过信息传递介质5接收识别***信息，对执行端主体7进行控制，实现对执行端设备的操控。
2.根据权利要求1所述识别***，其特征在于，可同时对语音信息进行语音识别和对口型图像信息进行唇语识别，当两者识别结果一致时，识别***向控制器6发出指令，对执行端主体7进行控制。
3.根据权利要求1所述识别***，其特征在于，当语音识别和唇语识别结果不一致，或均不能进行正常识别时，可通过使用端主体1上所安装的按键，向控制器6发出指令，对执行端主体7进行控制。
4.根据权利要求1所述识别***，其特征在于，当语音识别和唇语识别结果不一致，或均不能进行正常识别时，可通过使用端主体1上所安装的按键，向控制器6发出指令，对执行端主体7进行控制，通过该过程可使识别***进行自学习，逐步提高准确性。
5.根据权利要求1所述识别***，其特征在于，控制器6可通过信息传递介质5将执行端设备周边环境信息和状态信息反馈传递到使用端设备，供使用者通过显示界面3进行实时监控。
CN201810256940.5A 2018-03-27 2018-03-27 一种基于唇语识别的智能终端操控*** Pending CN108428453A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810256940.5A CN108428453A (zh) 2018-03-27 2018-03-27 一种基于唇语识别的智能终端操控***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810256940.5A CN108428453A (zh) 2018-03-27 2018-03-27 一种基于唇语识别的智能终端操控***

Publications (1)

Publication Number Publication Date
CN108428453A true CN108428453A (zh) 2018-08-21

Family

ID=63159839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810256940.5A Pending CN108428453A (zh) 2018-03-27 2018-03-27 一种基于唇语识别的智能终端操控***

Country Status (1)

Country Link
CN (1) CN108428453A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241907A (zh) * 2018-09-03 2019-01-18 北京旷视科技有限公司 标注方法、装置及电子设备
CN109377995A (zh) * 2018-11-20 2019-02-22 珠海格力电器股份有限公司 一种控制设备的方法与装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102298443A (zh) * 2011-06-24 2011-12-28 华南理工大学 结合视频通道的智能家居语音控制***及其控制方法
CN102932212A (zh) * 2012-10-12 2013-02-13 华南理工大学 一种基于多通道交互方式的智能家居控制***
CN105278817A (zh) * 2014-05-30 2016-01-27 金兆栋 一种语音、唇语控制装置及控制方法
CN106875941A (zh) * 2017-04-01 2017-06-20 彭楚奥 一种服务机器人的语音语义识别方法
CN107239139A (zh) * 2017-05-18 2017-10-10 刘国华 基于正视的人机交互方法与***
CN107702273A (zh) * 2017-09-20 2018-02-16 珠海格力电器股份有限公司 空调控制方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102298443A (zh) * 2011-06-24 2011-12-28 华南理工大学 结合视频通道的智能家居语音控制***及其控制方法
CN102932212A (zh) * 2012-10-12 2013-02-13 华南理工大学 一种基于多通道交互方式的智能家居控制***
CN105278817A (zh) * 2014-05-30 2016-01-27 金兆栋 一种语音、唇语控制装置及控制方法
CN106875941A (zh) * 2017-04-01 2017-06-20 彭楚奥 一种服务机器人的语音语义识别方法
CN107239139A (zh) * 2017-05-18 2017-10-10 刘国华 基于正视的人机交互方法与***
CN107702273A (zh) * 2017-09-20 2018-02-16 珠海格力电器股份有限公司 空调控制方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241907A (zh) * 2018-09-03 2019-01-18 北京旷视科技有限公司 标注方法、装置及电子设备
CN109377995A (zh) * 2018-11-20 2019-02-22 珠海格力电器股份有限公司 一种控制设备的方法与装置

Similar Documents

Publication Publication Date Title
CN1761265B (zh) 移动设备上的多传感语音增强方法和装置
US20170060850A1 (en) Personal translator
CN108762494B (zh) 显示信息的方法、装置及存储介质
WO2017142775A1 (en) Hearing assistance with automated speech transcription
CN106328132A (zh) 一种智能设备的语音交互控制方法和装置
CN104410883A (zh) 一种移动可穿戴非接触式交互***与方法
KR20170033641A (ko) 전자 장치 및 전자 장치의 동작 제어 방법
WO2018107489A1 (zh) 一种聋哑人辅助方法、装置以及电子设备
JP6200369B2 (ja) 未知の話し手を識別するシステム
US11910852B2 (en) Facemask with automated voice display
CN110097875A (zh) 基于麦克风信号的语音交互唤醒电子设备、方法和介质
CN111179927A (zh) 一种金融设备语音交互方法以及***
CN108428453A (zh) 一种基于唇语识别的智能终端操控***
CN108073572A (zh) 信息处理方法及其装置、同声翻译***
CN109117484A (zh) 一种语音翻译方法和语音翻译设备
CN105843395A (zh) 一种实现与电子设备交互的眼镜及交互方法
US20170024380A1 (en) System and method for the translation of sign languages into synthetic voices
CN110111776A (zh) 基于麦克风信号的语音交互唤醒电子设备、方法和介质
CN102640084A (zh) 用于多用户和***的通信接口设备和方法
CN111261139A (zh) 文字拟人化播报方法及***
US20220180886A1 (en) Methods for clear call under noisy conditions
CN105118356A (zh) 一种手语语音转换方法及装置
JP2007156688A (ja) ユーザ認証装置およびその方法
CN106683668A (zh) 一种智能设备的唤醒控制的方法以及***
CN205582480U (zh) 一种智能声控***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180821

WD01 Invention patent application deemed withdrawn after publication