JP6100263B2 - 音声認識方法及び音声認識装置 - Google Patents
音声認識方法及び音声認識装置 Download PDFInfo
- Publication number
- JP6100263B2 JP6100263B2 JP2014529572A JP2014529572A JP6100263B2 JP 6100263 B2 JP6100263 B2 JP 6100263B2 JP 2014529572 A JP2014529572 A JP 2014529572A JP 2014529572 A JP2014529572 A JP 2014529572A JP 6100263 B2 JP6100263 B2 JP 6100263B2
- Authority
- JP
- Japan
- Prior art keywords
- trigger signal
- speech recognition
- mouth
- signal
- trigger
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 43
- 230000005236 sound signal Effects 0.000 claims description 47
- 230000008859 change Effects 0.000 claims description 32
- 230000004044 response Effects 0.000 claims description 4
- 230000001815 facial effect Effects 0.000 description 26
- 210000000056 organ Anatomy 0.000 description 25
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 17
- 239000000284 extract Substances 0.000 description 5
- 230000004424 eye movement Effects 0.000 description 5
- 210000004709 eyebrow Anatomy 0.000 description 5
- 230000000052 comparative effect Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/24—Speech recognition using non-acoustical features
- G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Description
口の開きの有無に基づき、第1のトリガー信号を生成するとともに、目の向きの変化の有無及び/又は顔の向きの変化の有無とに基づき、第2のトリガー信号を生成するトリガー生成部と、
認識用の認識トリガー信号に応じて、音信号を取り込み、取り込まれた前記音信号の音声認識を開始する音声認識部と、
を備え、
前記トリガー生成部は、前記口の開きの有無が有りであった時点から前記第1のトリガー信号を生成し、前記目の向きの変化の有無及び/又は前記顔の向きの変化の有無の何れかが有りであった時点から前記第2のトリガー信号を生成し、
前記音声認識部は、前記トリガー生成部が前記第2のトリガー信号を生成しないで前記第1のトリガー信号を生成する時、前記第1のトリガー信号をそのまま前記認識トリガー信号として利用し、
前記音声認識部は、前記トリガー生成部が前記第1のトリガー信号を生成するとともに前記第2のトリガー信号を生成する時、前記第2のトリガー信号をそのまま前記認識トリガー信号として利用し、
前記音声認識部は、前記第1のトリガー信号又は前記第2のトリガー信号による前記音声認識の結果がエラーを示す時、
前記口の開きの有無が有りであった時点から所定期間だけ遡って生成される前記第1のトリガー信号を前記認識トリガー信号として利用することを特徴とする音声認識装置が提供される。
本願発明によれば、音声認識方法であって、
口の開きの有無が有りであった時点で、第1のトリガー信号を生成すること、
前記第1のトリガー信号を生成した後に、前記口の開きの有無が有りであった前記時点から遡る所定期間内に、目の向きの変化の有無及び/又は顔の向きの変化の有無の何れかが有りであった時点で第2のトリガー信号を生成すること、及び
前記第2のトリガー信号が生成されない時には前記第1のトリガー信号に応じて音信号を取り込む一方、前記第2のトリガー信号が生成される時には前記第2のトリガー信号に応じて前記音信号を取り込み、取り込まれた前記音信号の音声認識を開始すること、
を含み、
前記第1のトリガー信号又は前記第2のトリガー信号による前記音声認識の結果がエラーを示す時に、前記口の開きの有無が有りであった時点から前記所定期間だけ遡った時点で、修正された第1のトリガー信号を生成し、
前記修正された第1のトリガー信号が生成される時には前記修正された第1のトリガー信号に応じて前記音信号を取り込み、取り込まれた前記音信号の音声認識を再度開始することを特徴とする音声認識方法が提供される。
Claims (2)
- 音声認識装置であって、
口の開きの有無に基づき、第1のトリガー信号を生成するとともに、目の向きの変化の有無及び/又は顔の向きの変化の有無とに基づき、第2のトリガー信号を生成するトリガー生成部と、
認識用の認識トリガー信号に応じて、音信号を取り込み、取り込まれた前記音信号の音声認識を開始する音声認識部と、
を備え、
前記トリガー生成部は、前記口の開きの有無が有りであった時点から前記第1のトリガー信号を生成し、前記目の向きの変化の有無及び/又は前記顔の向きの変化の有無の何れかが有りであった時点から前記第2のトリガー信号を生成し、
前記音声認識部は、前記トリガー生成部が前記第2のトリガー信号を生成しないで前記第1のトリガー信号を生成する時、前記第1のトリガー信号をそのまま前記認識トリガー信号として利用し、
前記音声認識部は、前記トリガー生成部が前記第1のトリガー信号を生成するとともに前記第2のトリガー信号を生成する時、前記第2のトリガー信号をそのまま前記認識トリガー信号として利用し、
前記音声認識部は、前記第1のトリガー信号又は前記第2のトリガー信号による前記音声認識の結果がエラーを示す時、
前記口の開きの有無が有りであった時点から所定期間だけ遡って生成される前記第1のトリガー信号を前記認識トリガー信号として利用する、ことを特徴とする音声認識装置。 - 音声認識方法であって、
口の開きの有無が有りであった時点で、第1のトリガー信号を生成すること、
前記第1のトリガー信号を生成した後に、前記口の開きの有無が有りであった前記時点から遡る所定期間内に、目の向きの変化の有無及び/又は顔の向きの変化の有無の何れかが有りであった時点で第2のトリガー信号を生成すること、及び
前記第2のトリガー信号が生成されない時には前記第1のトリガー信号に応じて音信号を取り込む一方、前記第2のトリガー信号が生成される時には前記第2のトリガー信号に応じて前記音信号を取り込み、取り込まれた前記音信号の音声認識を開始すること、
を含み、
前記第1のトリガー信号又は前記第2のトリガー信号による前記音声認識の結果がエラーを示す時に、前記口の開きの有無が有りであった時点から前記所定期間だけ遡った時点で、修正された第1のトリガー信号を生成し、
前記修正された第1のトリガー信号が生成される時には前記修正された第1のトリガー信号に応じて前記音信号を取り込み、取り込まれた前記音信号の音声認識を再度開始することを特徴とする音声認識方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012178701 | 2012-08-10 | ||
JP2012178701 | 2012-08-10 | ||
PCT/JP2013/071649 WO2014025012A1 (ja) | 2012-08-10 | 2013-08-09 | 音声認識方法及び音声認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2014025012A1 JPWO2014025012A1 (ja) | 2016-07-25 |
JP6100263B2 true JP6100263B2 (ja) | 2017-03-22 |
Family
ID=50068229
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014529572A Expired - Fee Related JP6100263B2 (ja) | 2012-08-10 | 2013-08-09 | 音声認識方法及び音声認識装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9704484B2 (ja) |
JP (1) | JP6100263B2 (ja) |
BR (1) | BR112015002920A2 (ja) |
WO (1) | WO2014025012A1 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9747900B2 (en) | 2013-05-24 | 2017-08-29 | Google Technology Holdings LLC | Method and apparatus for using image data to aid voice recognition |
JP6634755B2 (ja) * | 2015-09-18 | 2020-01-22 | カシオ計算機株式会社 | 電子機器、システム、保存制御方法及びプログラム |
JP6159492B1 (ja) * | 2016-03-24 | 2017-07-05 | 楽天株式会社 | 情報処理システム、情報処理方法、及び情報処理プログラム |
EP3674851A1 (en) * | 2016-07-07 | 2020-07-01 | David Franklin | Gesture-based user interface |
CA3004281A1 (en) | 2016-10-31 | 2018-05-03 | Rovi Guides, Inc. | Systems and methods for flexibly using trending topics as parameters for recommending media assets that are related to a viewed media asset |
KR102591413B1 (ko) * | 2016-11-16 | 2023-10-19 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
US11488033B2 (en) | 2017-03-23 | 2022-11-01 | ROVl GUIDES, INC. | Systems and methods for calculating a predicted time when a user will be exposed to a spoiler of a media asset |
US10748542B2 (en) | 2017-03-23 | 2020-08-18 | Joyson Safety Systems Acquisition Llc | System and method of correlating mouth images to input commands |
US11521608B2 (en) * | 2017-05-24 | 2022-12-06 | Rovi Guides, Inc. | Methods and systems for correcting, based on speech, input generated using automatic speech recognition |
EP3466761B1 (en) * | 2017-10-05 | 2020-09-09 | Ningbo Geely Automobile Research & Development Co. Ltd. | A display system and method for a vehicle |
US10580410B2 (en) | 2018-04-27 | 2020-03-03 | Sorenson Ip Holdings, Llc | Transcription of communications |
CN110767228B (zh) * | 2018-07-25 | 2022-06-03 | 杭州海康威视数字技术股份有限公司 | 一种声音获取方法、装置、设备及*** |
JP7055721B2 (ja) * | 2018-08-27 | 2022-04-18 | 京セラ株式会社 | 音声認識機能を有する電子機器、その電子機器の制御方法およびプログラム |
US11482215B2 (en) | 2019-03-27 | 2022-10-25 | Samsung Electronics Co., Ltd. | Multi-modal interaction with intelligent assistants in voice command devices |
JP7242873B2 (ja) * | 2019-09-05 | 2023-03-20 | 三菱電機株式会社 | 音声認識補助装置および音声認識補助方法 |
CN113345472B (zh) * | 2021-05-08 | 2022-03-25 | 北京百度网讯科技有限公司 | 语音端点检测方法、装置、电子设备及存储介质 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6194095A (ja) * | 1984-10-16 | 1986-05-12 | 株式会社リコー | 音声認識装置 |
US6471420B1 (en) * | 1994-05-13 | 2002-10-29 | Matsushita Electric Industrial Co., Ltd. | Voice selection apparatus voice response apparatus, and game apparatus using word tables from which selected words are output as voice selections |
JPH11352987A (ja) * | 1998-06-04 | 1999-12-24 | Toyota Motor Corp | 音声認識装置 |
JP3157788B2 (ja) * | 1998-11-12 | 2001-04-16 | 埼玉日本電気株式会社 | 携帯型情報端末 |
US6594629B1 (en) * | 1999-08-06 | 2003-07-15 | International Business Machines Corporation | Methods and apparatus for audio-visual speech detection and recognition |
US6754373B1 (en) * | 2000-07-14 | 2004-06-22 | International Business Machines Corporation | System and method for microphone activation using visual speech cues |
JP2002091466A (ja) * | 2000-09-12 | 2002-03-27 | Pioneer Electronic Corp | 音声認識装置 |
EP1215658A3 (en) * | 2000-12-05 | 2002-08-14 | Hewlett-Packard Company | Visual activation of voice controlled apparatus |
US7219062B2 (en) * | 2002-01-30 | 2007-05-15 | Koninklijke Philips Electronics N.V. | Speech activity detection using acoustic and facial characteristics in an automatic speech recognition system |
US20030171932A1 (en) * | 2002-03-07 | 2003-09-11 | Biing-Hwang Juang | Speech recognition |
US7587318B2 (en) * | 2002-09-12 | 2009-09-08 | Broadcom Corporation | Correlating video images of lip movements with audio signals to improve speech recognition |
US7894637B2 (en) * | 2004-05-21 | 2011-02-22 | Asahi Kasei Corporation | Device, program, and method for classifying behavior content of an object person |
JP4754294B2 (ja) | 2005-08-02 | 2011-08-24 | 株式会社村上開明堂 | 車両用ミラーの鏡面角度調整方法およびその装置 |
US7860718B2 (en) * | 2005-12-08 | 2010-12-28 | Electronics And Telecommunications Research Institute | Apparatus and method for speech segment detection and system for speech recognition |
JP2009025579A (ja) * | 2007-07-20 | 2009-02-05 | Nissan Motor Co Ltd | 音声認識装置および音声認識方法 |
EP3576388A1 (en) * | 2008-11-10 | 2019-12-04 | Google LLC | Speech detection |
US8428759B2 (en) * | 2010-03-26 | 2013-04-23 | Google Inc. | Predictive pre-recording of audio for voice input |
US8635066B2 (en) * | 2010-04-14 | 2014-01-21 | T-Mobile Usa, Inc. | Camera-assisted noise cancellation and speech recognition |
US8700392B1 (en) * | 2010-09-10 | 2014-04-15 | Amazon Technologies, Inc. | Speech-inclusive device interfaces |
US20120259638A1 (en) * | 2011-04-08 | 2012-10-11 | Sony Computer Entertainment Inc. | Apparatus and method for determining relevance of input speech |
US9318129B2 (en) * | 2011-07-18 | 2016-04-19 | At&T Intellectual Property I, Lp | System and method for enhancing speech activity detection using facial feature detection |
KR20130032966A (ko) * | 2011-09-26 | 2013-04-03 | 엘지전자 주식회사 | 사용자 인터페이스 방법 및 장치 |
JP2013080015A (ja) * | 2011-09-30 | 2013-05-02 | Toshiba Corp | 音声認識装置および音声認識方法 |
US20150109191A1 (en) * | 2012-02-16 | 2015-04-23 | Google Inc. | Speech Recognition |
US9263044B1 (en) * | 2012-06-27 | 2016-02-16 | Amazon Technologies, Inc. | Noise reduction based on mouth area movement recognition |
US9443510B2 (en) * | 2012-07-09 | 2016-09-13 | Lg Electronics Inc. | Speech recognition apparatus and method |
-
2013
- 2013-08-09 WO PCT/JP2013/071649 patent/WO2014025012A1/ja active Application Filing
- 2013-08-09 US US14/420,587 patent/US9704484B2/en not_active Expired - Fee Related
- 2013-08-09 BR BR112015002920A patent/BR112015002920A2/pt not_active Application Discontinuation
- 2013-08-09 JP JP2014529572A patent/JP6100263B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
WO2014025012A1 (ja) | 2014-02-13 |
BR112015002920A2 (pt) | 2017-08-08 |
US20150206535A1 (en) | 2015-07-23 |
JPWO2014025012A1 (ja) | 2016-07-25 |
US9704484B2 (en) | 2017-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6100263B2 (ja) | 音声認識方法及び音声認識装置 | |
EP3877975B1 (en) | Electronic device and method for outputting a speech signal | |
JP5323770B2 (ja) | ユーザ指示取得装置、ユーザ指示取得プログラムおよびテレビ受像機 | |
US20190172448A1 (en) | Method of performing multi-modal dialogue between a humanoid robot and user, computer program product and humanoid robot for implementing said method | |
CN113454708A (zh) | 语言学风格匹配代理 | |
US10147423B2 (en) | Context-aware query recognition for electronic devices | |
JP3945356B2 (ja) | 音声対話装置及びプログラム | |
JP7227395B2 (ja) | インタラクティブ対象の駆動方法、装置、デバイス、及び記憶媒体 | |
CN110874137A (zh) | 一种交互方法以及装置 | |
CN108665907B (zh) | 声音识别装置、声音识别方法、记录介质以及机器人 | |
WO2020125038A1 (zh) | 语音控制方法及装置 | |
JP2018013549A (ja) | 発話内容認識装置 | |
JP3399674B2 (ja) | 画面制御装置とその方法 | |
JP6798258B2 (ja) | 生成プログラム、生成装置、制御プログラム、制御方法、ロボット装置及び通話システム | |
JP5055486B2 (ja) | 遠隔操作アンドロイドの発話動作制御システム | |
JP3199972B2 (ja) | あいづち応答のある対話装置 | |
JP2015172848A (ja) | 読唇入力装置、読唇入力方法及び読唇入力プログラム | |
KR20170029390A (ko) | 음성 명령 모드 진입 방법 | |
JP6701483B2 (ja) | アンドロイドロボットの制御システム、装置、プログラムおよび方法 | |
US20180336191A1 (en) | Method for multi-sense fusion using synchrony | |
JP2018180424A (ja) | 音声認識装置および音声認識方法 | |
JP2023048064A5 (ja) | ||
JP2023169166A (ja) | ロボット、応答方法及びプログラム | |
KR20210109722A (ko) | 사용자의 발화 상태에 기초하여 제어 정보를 생성하는 디바이스 및 그 제어 방법 | |
JP2018063324A (ja) | インタラクション装置及びインタラクションの表出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20160513 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160607 |
|
RD13 | Notification of appointment of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7433 Effective date: 20160719 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160801 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20160719 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170222 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6100263 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |