JP6233650B2 - 操作補助装置および操作補助方法 - Google Patents
操作補助装置および操作補助方法 Download PDFInfo
- Publication number
- JP6233650B2 JP6233650B2 JP2014104188A JP2014104188A JP6233650B2 JP 6233650 B2 JP6233650 B2 JP 6233650B2 JP 2014104188 A JP2014104188 A JP 2014104188A JP 2014104188 A JP2014104188 A JP 2014104188A JP 6233650 B2 JP6233650 B2 JP 6233650B2
- Authority
- JP
- Japan
- Prior art keywords
- keyword
- uttered
- predetermined
- sight
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 32
- 238000001514 detection method Methods 0.000 claims description 65
- 238000011156 evaluation Methods 0.000 claims description 43
- 238000003860 storage Methods 0.000 claims description 19
- 230000000694 effects Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000015654 memory Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/083—Recognition networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/24—Speech recognition using non-acoustical features
- G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L2015/088—Word spotting
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Theoretical Computer Science (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
Description
まず、本実施の形態に係る操作補助装置の構成について説明する。
キーワード発話操作の許容のトリガとなる、類似する言葉が繰り返し発話された後にユーザの視線が対象物500に向いた場合とは、キーワード発話操作が試みられた可能性が高い場合である。ここで、その理由について説明する。
次に、操作補助装置100の動作について説明する。
ES)、一連の動作を終了する。
以上のように、本実施の形態に係る操作補助装置100は、複数の発話音声の間の類似度が所定の範囲内である後に、ユーザ600の視線が対象物500に向いたことを条件として、対象物500を操作するためのキーワードが発話されたと判定する。
なお、以上説明した操作補助装置は、複数のキーワードを検出の対象としてもよい。また、複数の対象物について、異なるキーワードが登録されている場合には、対象物毎に、視線が向いているか否かの判定を行う必要がある。この場合、操作補助装置は、例えば、登録された各キーワードと対象物の方向(検出されるべき視線方向)とを対応付けたテーブルを使用する。
200 音声入力部
300 視線入力部
400 キーワード検出部
410 キーワード判定部
420 情報保存部
430 発話判定部
500 対象物
Claims (12)
- 発話音声を入力する音声入力部と、
ユーザの視線が所定の対象物に向いたとき、その旨を検出する視線入力部と、
入力された複数の前記発話音声の間の類似度が所定の範囲内である後に、前記視線が前記所定の対象物に向いたことを条件として、前記所定の対象物に関連するキーワードが発話されたと判定するキーワード検出部と、を有する、
操作補助装置。 - 前記キーワード検出部は、
前記キーワードが発話されたと判定したとき、前記所定の対象物に対して所定の動作を開始させる、
請求項1に記載の操作補助装置。 - 前記キーワード検出部は、
前記キーワードが発話されたと判定したとき、前記所定の対象物に対する音声操作機能を起動させる、
請求項1に記載の操作補助装置。 - 前記キーワード検出部は、
前記視線が前記所定の対象物に向いたタイミングから遡った所定の時間内に入力された、2以上の所定数の前記発話音声の間の類似度が前記所定の範囲内であることを条件として、前記キーワードが発話されたと判定する、
請求項1に記載の操作補助装置。 - 前記キーワード検出部は、
前記キーワードが前記発話音声に含まれていることの尤度を示す評価値を算出し、算出された前記評価値が所定の閾値以上である複数の前記発話音声の間の類似度が、前記所定の範囲内である後に、前記視線が前記所定の対象物に向いたことを条件として、前記キーワードが発話されたと判定する、
請求項1に記載の操作補助装置。 - 前記キーワード検出部は、
前記キーワードが前記発話音声に含まれていることの尤度を示す評価値を算出し、算出された前記評価値が第1の閾値以上であるとき、前記キーワードが発話されたと判定するキーワード判定部と、
前記評価値が、第1の閾値未満かつ第2の閾値以上であるとき、当該評価値に対応する前記発話音声を保存する情報保存部と、
前記視線が所定の対象物に向いたタイミングから遡った所定の時間内に入力された前記発話音声が前記情報保存部に所定数保存されているとき、当該発話音声の間の類似度を算出し、算出された前記類似度が前記所定の範囲内であることを条件として、前記キーワードが発話されたと判定する発話判定部と、を有する、
請求項1に記載の操作補助装置。 - 前記発話判定部は、
前記ユーザに対して前記キーワードが発話されたか否かを問い合わせ、前記キーワードが発話された旨の回答が前記ユーザから得られ、かつ、前記類似度が前記所定の範囲内であるとき、前記キーワードが発話されたと判定する、
請求項6に記載の操作補助装置。 - 前記発話判定部は、
前記類似度が前記所定の範囲内であるとき、前記ユーザに対して前記キーワードを通知する、
請求項6に記載の操作補助装置。 - 前記発話判定部は、
前記ユーザに対して所定の情報を問い合わせ、正しい回答が前記ユーザから得られ、かつ、前記類似度が前記所定レベルであるとき、前記ユーザに対して前記キーワードを通知する、
請求項6に記載の操作補助装置。 - 発話音声を入力する音声入力部から、入力された前記発話音声を取得し、ユーザの視線が所定の対象物に向いたとき、その旨を検出する視線入力部から、前記視線が前記所定の対象物に向いたか否かの検出結果を取得し、取得された複数の前記発話音声の間の類似度が所定の範囲内である後に、前記視線が所定の対象物に向いたことを条件として、前記所定の対象物に関連するキーワードが発話されたと判定するキーワード検出部、を有する、
操作補助装置。 - 発話音声を入力する音声入力部と、
入力された前記発話音声を、所定の対象物に関連するキーワードが発話されたか否かの判定を行うキーワード検出装置へ送信する送信部と、
前記キーワード検出装置から、前記キーワードが発話されたと判定されたことを示す発話検出情報が送信されたとき、当該発話検出情報を受信するクライアント側受信部と、を有し、
ユーザの視線が前記所定の対象物に向いたとき、その旨を検出する視線入力部、を更に有し、
前記送信部は、
前記視線が前記所定の対象物に向いたか否かを示す情報を、前記キーワード検出装置へ送信し、
前記キーワード検出装置は、
複数の前記発話音声の間の類似度が所定の範囲内である後に、前記視線が所定の対象物に向いたことを条件として、前記所定の対象物に関連するキーワードが発話されたと判定する装置である、
操作補助装置。 - 発話音声を入力するステップと、
ユーザの視線が前記所定の対象物に向いたとき、その旨を検出するステップと、
入力された複数の前記発話音声の間の類似度が所定の範囲内である後に、前記視線が所定の対象物に向いたことを条件として、前記所定の対象物に関連するキーワードが発話されたと判定するステップと、を有する、
操作補助方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014104188A JP6233650B2 (ja) | 2014-05-20 | 2014-05-20 | 操作補助装置および操作補助方法 |
US14/715,573 US9418653B2 (en) | 2014-05-20 | 2015-05-18 | Operation assisting method and operation assisting device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014104188A JP6233650B2 (ja) | 2014-05-20 | 2014-05-20 | 操作補助装置および操作補助方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015219441A JP2015219441A (ja) | 2015-12-07 |
JP6233650B2 true JP6233650B2 (ja) | 2017-11-22 |
Family
ID=54556502
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014104188A Active JP6233650B2 (ja) | 2014-05-20 | 2014-05-20 | 操作補助装置および操作補助方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9418653B2 (ja) |
JP (1) | JP6233650B2 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101595090B1 (ko) * | 2015-04-30 | 2016-02-17 | 주식회사 아마다스 | 음성 인식을 이용한 정보 검색 방법 및 장치 |
JP6739907B2 (ja) * | 2015-06-18 | 2020-08-12 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 機器特定方法、機器特定装置及びプログラム |
JP2017090611A (ja) * | 2015-11-09 | 2017-05-25 | 三菱自動車工業株式会社 | 音声認識制御システム |
JP6447578B2 (ja) * | 2016-05-27 | 2019-01-09 | トヨタ自動車株式会社 | 音声対話装置および音声対話方法 |
WO2017221492A1 (ja) * | 2016-06-20 | 2017-12-28 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US10531048B2 (en) | 2016-12-15 | 2020-01-07 | Motorola Solutions, Inc. | System and method for identifying a person, object, or entity (POE) of interest outside of a moving vehicle |
JP6827629B2 (ja) * | 2017-08-10 | 2021-02-10 | トヨタ自動車株式会社 | 情報提供装置、情報提供システム |
JP2019053165A (ja) * | 2017-09-14 | 2019-04-04 | 株式会社東芝 | 音声認識装置 |
JP2021144259A (ja) * | 2018-06-06 | 2021-09-24 | ソニーグループ株式会社 | 情報処理装置および方法、並びにプログラム |
US10861444B2 (en) * | 2018-09-24 | 2020-12-08 | Rovi Guides, Inc. | Systems and methods for determining whether to trigger a voice capable device based on speaking cadence |
US11526674B2 (en) * | 2019-03-01 | 2022-12-13 | Rakuten Group, Inc. | Sentence extraction system, sentence extraction method, and information storage medium |
JP7266432B2 (ja) * | 2019-03-14 | 2023-04-28 | 本田技研工業株式会社 | エージェント装置、エージェント装置の制御方法、およびプログラム |
JP7442330B2 (ja) * | 2020-02-05 | 2024-03-04 | キヤノン株式会社 | 音声入力装置およびその制御方法ならびにプログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3524370B2 (ja) | 1998-02-19 | 2004-05-10 | 富士通テン株式会社 | 音声起動システム |
US20020107695A1 (en) * | 2001-02-08 | 2002-08-08 | Roth Daniel L. | Feedback for unrecognized speech |
EP1262954A1 (en) * | 2001-05-30 | 2002-12-04 | Telefonaktiebolaget L M Ericsson (Publ) | Method and apparatus for verbal entry of digits or commands |
WO2008007781A1 (fr) | 2006-07-14 | 2008-01-17 | Panasonic Corporation | Dispositif de détection de la direction d'axe visuel et procédé de détection de la direction de ligne visuelle |
JP2008058409A (ja) * | 2006-08-29 | 2008-03-13 | Aisin Aw Co Ltd | 音声認識方法及び音声認識装置 |
JP2008309966A (ja) * | 2007-06-13 | 2008-12-25 | Fujitsu Ten Ltd | 音声入力処理装置および音声入力処理方法 |
US8515754B2 (en) * | 2009-04-06 | 2013-08-20 | Siemens Aktiengesellschaft | Method for performing speech recognition and processing system |
US9934780B2 (en) * | 2012-01-17 | 2018-04-03 | GM Global Technology Operations LLC | Method and system for using sound related vehicle information to enhance spoken dialogue by modifying dialogue's prompt pitch |
KR102206383B1 (ko) * | 2012-07-09 | 2021-01-22 | 엘지전자 주식회사 | 음성 인식 장치 및 그 방법 |
US9245523B2 (en) * | 2013-07-25 | 2016-01-26 | Nice-Systems Ltd | Method and apparatus for expansion of search queries on large vocabulary continuous speech recognition transcripts |
-
2014
- 2014-05-20 JP JP2014104188A patent/JP6233650B2/ja active Active
-
2015
- 2015-05-18 US US14/715,573 patent/US9418653B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US9418653B2 (en) | 2016-08-16 |
US20150340030A1 (en) | 2015-11-26 |
JP2015219441A (ja) | 2015-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6233650B2 (ja) | 操作補助装置および操作補助方法 | |
JP6350903B2 (ja) | 操作補助装置および操作補助方法 | |
US10504511B2 (en) | Customizable wake-up voice commands | |
US10446155B2 (en) | Voice recognition device | |
CN106796786B (zh) | 语音识别*** | |
US8306815B2 (en) | Speech dialog control based on signal pre-processing | |
US10650802B2 (en) | Voice recognition method, recording medium, voice recognition device, and robot | |
US10176806B2 (en) | Motor vehicle operating device with a correction strategy for voice recognition | |
US10147423B2 (en) | Context-aware query recognition for electronic devices | |
JP6227209B2 (ja) | 車載用音声認識装置および車載機器 | |
US10733986B2 (en) | Apparatus, method for voice recognition, and non-transitory computer-readable storage medium | |
JP2009192942A (ja) | 音声対話装置及び支援方法 | |
JP2008058409A (ja) | 音声認識方法及び音声認識装置 | |
JP2009015148A (ja) | 音声認識装置、音声認識方法、及び音声認識プログラム | |
JP6459330B2 (ja) | 音声認識装置、音声認識方法、及び音声認識プログラム | |
CN110580901B (zh) | 语音识别设备、包括该设备的车辆及该车辆控制方法 | |
CN108352167B (zh) | 包括可佩戴设备的车辆语音识别 | |
JP2018116206A (ja) | 音声認識装置、音声認識方法及び音声認識システム | |
JP6966374B2 (ja) | 音声認識システム及びコンピュータプログラム | |
JP7172120B2 (ja) | 音声認識装置及び音声認識方法 | |
CN107195298B (zh) | 根本原因分析以及校正***和方法 | |
McAree et al. | Floor determination in the operation of a lift by a mobile guide robot | |
JP6999236B2 (ja) | 音声認識システム | |
US12046231B2 (en) | Conversation facilitating method and electronic device using the same | |
JP2017187559A (ja) | 音声認識装置及びコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171003 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170929 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171011 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6233650 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |