JP6350903B2 - 操作補助装置および操作補助方法 - Google Patents
操作補助装置および操作補助方法 Download PDFInfo
- Publication number
- JP6350903B2 JP6350903B2 JP2014104187A JP2014104187A JP6350903B2 JP 6350903 B2 JP6350903 B2 JP 6350903B2 JP 2014104187 A JP2014104187 A JP 2014104187A JP 2014104187 A JP2014104187 A JP 2014104187A JP 6350903 B2 JP6350903 B2 JP 6350903B2
- Authority
- JP
- Japan
- Prior art keywords
- keyword
- determination
- predetermined
- evaluation value
- sight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 51
- 238000011156 evaluation Methods 0.000 claims description 106
- 238000001514 detection method Methods 0.000 claims description 66
- 238000003860 storage Methods 0.000 claims description 17
- 230000005540 biological transmission Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 7
- 230000002040 relaxant effect Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 5
- 230000015654 memory Effects 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/083—Recognition networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/24—Speech recognition using non-acoustical features
- G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L2015/088—Word spotting
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Theoretical Computer Science (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明の実施の形態1は、本発明を、車両の運転席近傍に設置される対象物に適用した場合の、具体的態様の例である。
まず、本実施の形態に係る操作補助装置の構成について説明する。
判定基準の緩和のトリガとなる第2の条件が満たされる場合とは、キーワードの検出漏れが生じた可能性が高い場合である。ここで、その理由について説明する。
次に、操作補助装置100の動作について説明する。
以上のように、本実施の形態に係る操作補助装置100は、評価値に基づいてキーワード判定を行う状況において、評価値が所定の範囲内である後にユーザ600の視線が対象物500に向いたことを条件として、キーワード判定の判定基準を緩和する。
なお、判定閾値の変更の仕方は、上述の例に限定されない。
本発明の実施の形態2は、判定基準を緩和して行われるキーワード二次判定を、そのトリガとなった元の発話音声を対象として行うようにした例である。
図7は、本実施の形態に係る操作補助装置の構成の一例を示すブロック図であり、実施の形態1の図1に対応するものである。図1と同一部分には同一符号を付し、これについての説明を省略する。
図8は、キーワード判定の基準の緩和の様子の一例を示す図であり、実施の形態1の図3に対応するものである。図8と同一部分には同一符号を付し、これについての説明を省略する。
図9は、操作補助装置100aの動作の一例を示すフローチャートであり、実施の形態1の図4に対応するものである。図4と同一部分には同一ステップ番号を付し、これについての説明を省略する。
以上のように、本実施の形態にかかる操作補助装置100aは、ユーザによる再度のキーワード発話を必要とせずに、判定基準を緩和してキーワードの二次判定を行うことができる。
なお、以上説明した操作補助装置は、複数のキーワードを検出の対象としてもよい。また、操作補助装置には、同一の対象物に対して複数の動作に対応するキーワードが登録されていてもよい。例えば、エアコン操作に関して、「エアコンをつける」、「エアコンを強く」、「エアコンを止める」等の動作に関連付けられたキーワードを、検出対象としてもよい。また、複数の対象物について、異なるキーワードが登録されている場合には、対象物毎に、視線が向いているか否かの判定を行う必要がある。この場合、操作補助装置は、例えば、登録された各キーワードと対象物の方向(検出されるべき視線方向)とを対応付けたテーブルを使用する。
200 音声入力部
300 視線入力部
410、410a キーワード判定部
420 判定基準調整部
421 失敗判定部
422 パラメータ設定部
430a 情報保存部
500 対象物
Claims (12)
- 所定の対象物に関連するキーワードが発話音声に含まれていることの尤度を示す評価値に基づいて、前記キーワードが発話されたか否かの判定を行う操作補助装置であって、
ユーザの視線が前記所定の対象物に向いたとき、その旨を検出する視線入力部と、
前記評価値が所定の範囲内である後に前記視線が前記所定の対象物に向いたことを条件として、前記判定の基準を緩和する判定基準調整部と、を有する、
操作補助装置。 - 前記発話音声を入力する音声入力部と、
入力された前記発話音声に基づいて前記評価値を算出し、算出された前記評価値が所定の判定閾値以上であるとき、前記キーワードが発話されたと判定するキーワード判定部と、を有し、
前記所定の範囲は、前記評価値が取り得る値の最小値よりも高く、前記所定の判定閾値よりも低い所定の数値範囲である、
請求項1に記載の操作補助装置。 - 前記キーワード判定部は、
前記キーワードが発話されたと判定したとき、前記所定の対象物に対して所定の動作を開始させる、
請求項2に記載の操作補助装置。 - 前記キーワード判定部は、
前記キーワードが発話されたと判定したとき、前記所定の対象物に対する音声操作機能を起動させる、
請求項2に記載の操作補助装置。 - 前記キーワード判定部は、
前記評価値が前記所定の判定閾値よりも高いという、第1の条件が満たされているか否かを判定し、前記第1の条件が満たされるとき、前記キーワードが発話されたと判定し、
前記判定基準調整部は、
前記評価値が前記所定の数値範囲に属する値である後に前記視線が前記所定の対象物に向いたという、第2の条件が満たされているか否かを判定する失敗判定部と、
前記第2の条件が満たされているとき、前記キーワード判定部に対し、前記所定の判定閾値をより低い値に変更して、前記第1の条件が満たされているか否かの二次判定を行わせるパラメータ設定部と、を有する、
請求項2に記載の操作補助装置。 - 前記失敗判定部は、
前記評価値が前記所定の数値範囲に属する値である前記発話音声の区間から所定の第1の時間内に前記視線が前記対象物に向いたことを条件として、前記第2の条件が満たされていると判定する、
請求項5に記載の操作補助装置。 - 前記キーワード判定部は、
前記二次判定を、前記判定が行われていない前記発話音声を対象として行う、
請求項5に記載の操作補助装置。 - 前記キーワード判定部は、
前記所定の判定閾値を変更してから所定の第2の時間が経過したとき、前記所定の判定閾値を変更前の値に戻す、
請求項7に記載の操作補助装置。 - 入力された前記発話音声あるいは算出された前記評価値を示す情報を保存する情報保存部、を有し、
前記キーワード判定部は、
前記二次判定を、保存された前記情報を用いて、既に前記判定が行われた前記発話音声を対象として行う、
請求項5に記載の操作補助装置。 - 所定の対象物に関連するキーワードが発話音声に含まれていることの尤度を示す評価値に基づいて、前記キーワードが発話されたか否かの判定を行う操作補助装置であって、
前記判定を行うキーワード判定部から、前記評価値を取得し、ユーザの視線が前記所定の対象物に向いたとき、その旨を検出する視線入力部から、前記視線が前記所定の対象物に向いたか否かの検出結果を取得し、前記評価値が所定の範囲内である後に、前記ユーザの視線が前記所定の対象物に向いたことを条件として、前記キーワード判定部に対し前記判定の基準を緩和させる判定基準調整部、を有する、
操作補助装置。 - 発話音声を入力する音声入力部と、
入力された前記発話音声を、所定の***作対象に関連するキーワードが前記発話音声に含まれていることの尤度を示す評価値を算出し、算出された前記評価値に基づいて前記キーワードが発話されたか否かの判定を行う、キーワード検出装置へ送信する送信部と、
前記キーワード検出装置から、前記キーワードが発話されたと判定されたことを示す発話検出情報が送信されたとき、当該発話検出情報を受信する受信部と、を有し、
ユーザの視線が所定の対象物に向いたとき、その旨を検出する視線入力部、を更に有し、
前記送信部は、
前記視線が前記所定の対象物に向いたか否かを示す情報を、前記キーワード検出装置へ送信し、
前記キーワード検出装置は、前記評価値が所定の範囲内である後に前記視線が前記所定の対象物に向いたことを条件として、前記判定の基準を緩和する装置である、
操作補助装置。 - 所定の対象物に関連するキーワードが発話音声に含まれていることの尤度を示す評価値に基づいて、前記キーワードが発話されたか否かの判定を行う操作補助装置における操作補助方法であって、
ユーザの視線が前記所定の対象物に向いたとき、その旨を検出するステップと、
前記評価値が所定の範囲内である後に前記視線が前記所定の対象物に向いたことを条件として、前記判定の基準を緩和するステップと、を有する、
操作補助方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014104187A JP6350903B2 (ja) | 2014-05-20 | 2014-05-20 | 操作補助装置および操作補助方法 |
US14/711,774 US9489941B2 (en) | 2014-05-20 | 2015-05-14 | Operation assisting method and operation assisting device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014104187A JP6350903B2 (ja) | 2014-05-20 | 2014-05-20 | 操作補助装置および操作補助方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015219440A JP2015219440A (ja) | 2015-12-07 |
JP6350903B2 true JP6350903B2 (ja) | 2018-07-04 |
Family
ID=54556501
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014104187A Expired - Fee Related JP6350903B2 (ja) | 2014-05-20 | 2014-05-20 | 操作補助装置および操作補助方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9489941B2 (ja) |
JP (1) | JP6350903B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6739907B2 (ja) * | 2015-06-18 | 2020-08-12 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 機器特定方法、機器特定装置及びプログラム |
US9990921B2 (en) * | 2015-12-09 | 2018-06-05 | Lenovo (Singapore) Pte. Ltd. | User focus activated voice recognition |
WO2018039045A1 (en) * | 2016-08-24 | 2018-03-01 | Knowles Electronics, Llc | Methods and systems for keyword detection using keyword repetitions |
US10079015B1 (en) * | 2016-12-06 | 2018-09-18 | Amazon Technologies, Inc. | Multi-layer keyword detection |
EP3698359A1 (en) * | 2017-10-18 | 2020-08-26 | Soapbox Labs Ltd. | Methods and systems for speech detection |
US10465349B2 (en) | 2017-12-12 | 2019-11-05 | Care Barrier Limited | Illuminated barrier apparatus |
CN110351647A (zh) * | 2019-07-17 | 2019-10-18 | 东莞市实优特电子有限公司 | 一种新型耳机防水测试装置 |
JP7242873B2 (ja) * | 2019-09-05 | 2023-03-20 | 三菱電機株式会社 | 音声認識補助装置および音声認識補助方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0981309A (ja) * | 1995-09-13 | 1997-03-28 | Toshiba Corp | 入力装置 |
US20020107695A1 (en) * | 2001-02-08 | 2002-08-08 | Roth Daniel L. | Feedback for unrecognized speech |
EP1262954A1 (en) * | 2001-05-30 | 2002-12-04 | Telefonaktiebolaget L M Ericsson (Publ) | Method and apparatus for verbal entry of digits or commands |
WO2008007781A1 (fr) | 2006-07-14 | 2008-01-17 | Panasonic Corporation | Dispositif de détection de la direction d'axe visuel et procédé de détection de la direction de ligne visuelle |
JP2008058409A (ja) * | 2006-08-29 | 2008-03-13 | Aisin Aw Co Ltd | 音声認識方法及び音声認識装置 |
US8515754B2 (en) * | 2009-04-06 | 2013-08-20 | Siemens Aktiengesellschaft | Method for performing speech recognition and processing system |
JP2010281855A (ja) * | 2009-06-02 | 2010-12-16 | Nissan Motor Co Ltd | 音声対話装置および音声対話方法 |
JP5797009B2 (ja) | 2011-05-19 | 2015-10-21 | 三菱重工業株式会社 | 音声認識装置、ロボット、及び音声認識方法 |
US9934780B2 (en) * | 2012-01-17 | 2018-04-03 | GM Global Technology Operations LLC | Method and system for using sound related vehicle information to enhance spoken dialogue by modifying dialogue's prompt pitch |
KR102206383B1 (ko) * | 2012-07-09 | 2021-01-22 | 엘지전자 주식회사 | 음성 인식 장치 및 그 방법 |
US9245523B2 (en) * | 2013-07-25 | 2016-01-26 | Nice-Systems Ltd | Method and apparatus for expansion of search queries on large vocabulary continuous speech recognition transcripts |
-
2014
- 2014-05-20 JP JP2014104187A patent/JP6350903B2/ja not_active Expired - Fee Related
-
2015
- 2015-05-14 US US14/711,774 patent/US9489941B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2015219440A (ja) | 2015-12-07 |
US9489941B2 (en) | 2016-11-08 |
US20150340029A1 (en) | 2015-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6350903B2 (ja) | 操作補助装置および操作補助方法 | |
JP6233650B2 (ja) | 操作補助装置および操作補助方法 | |
EP3619707B1 (en) | Customizable wake-up voice commands | |
US10019992B2 (en) | Speech-controlled actions based on keywords and context thereof | |
EP3414759B1 (en) | Techniques for spatially selective wake-up word recognition and related systems and methods | |
US9354687B2 (en) | Methods and apparatus for unsupervised wakeup with time-correlated acoustic events | |
US20160086609A1 (en) | Systems and methods for audio command recognition | |
US10147423B2 (en) | Context-aware query recognition for electronic devices | |
US9335966B2 (en) | Methods and apparatus for unsupervised wakeup | |
US11289085B2 (en) | Automatic turn delineation in multi-turn dialogue | |
CN111656437A (zh) | 信息处理装置、信息处理方法、程序和信息处理*** | |
JP2016061888A (ja) | 音声認識装置、音声認識対象区間設定方法、及び音声認識区間設定プログラム | |
EP3195314B1 (en) | Methods and apparatus for unsupervised wakeup | |
JP2018116206A (ja) | 音声認識装置、音声認識方法及び音声認識システム | |
JP6966374B2 (ja) | 音声認識システム及びコンピュータプログラム | |
JP7242873B2 (ja) | 音声認識補助装置および音声認識補助方法 | |
US12051412B2 (en) | Control device, system, and control method | |
US20210383808A1 (en) | Control device, system, and control method | |
JP2022054667A (ja) | 音声対話装置、音声対話システム、および、音声対話方法 | |
JP2019184633A (ja) | 音声認識システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171003 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170929 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180424 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180524 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6350903 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |