JP2015206909A

JP2015206909A - 音声認識装置

Info

Publication number: JP2015206909A
Application number: JP2014087417A
Authority: JP
Inventors: 亮高島; Akira Takashima
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2014-04-21
Filing date: 2014-04-21
Publication date: 2015-11-19

Abstract

【課題】ユーザがコマンドを繰り返し発話することなく、より快適に制御対象機器を操作できるようにする。【解決手段】音声認識したコマンドの履歴をＨＤＤ１４ｂに記憶させる処理を行い、ＨＤＤ１４ｂに記憶されたコマンドの履歴に基づいて、過去に音声認識された各コマンドをユーザが選択可能なスイッチとして含むコマンド履歴画面を表示部に表示させ、コマンド履歴画面に表示されたコマンドの履歴からユーザ操作により選択されたスイッチに対応するコマンドを制御対象機器２、３へ通知する。【選択図】図５

Description

本発明は、音声認識装置に関するものである。

従来より、携帯電話等の携帯端末やカーナビゲーション装置のような車両用インフォテイメントシステムにおいて、ユーザの音声で機器の操作を行う音声認識機能を有するものが広く普及している。

このような装置として、コマンドなどのユーザによる音声入力を受け取り、予め設定された待ち受け単語とのマッチング処理により、ユーザによる音声入力に対応する単語候補を決定し、その単語候補中に正解が含まれるか否かを判定し、正解が含まれると判定された場合、その単語候補を認識結果として出力するようにしたものがある（例えば、特許文献１参照）。

特開２００４−４６１０６号公報

ところで、一般的な音声認識による機器操作は、１．ユーザが音声認識の開始を指示するためのボタンを操作すると音声認識装置が音声を受け付けるモードに遷移し、２．ユーザがコマンドを発話すると、３．音声認識装置がコマンドを認識し、４．音声認識装置が認識したコマンドに応じた信号を制御対象機器へ送信するといった手順で行われる。

したがって、例えば、オーディオ機器で楽曲を再生しているときに、再生中の楽曲の早送りを繰り返し操作したい場合、上記した１〜４の手順を何度も繰り返し実施する必要があり時間もかかる。特に、ユーザが「早送り」を何度も繰り返したいような場合には、ユーザは「早送り」という同じコマンドを何度も繰り返して発話する必要があり、ユーザに煩わしさを感じさせてしまうといった問題がある。

なお、上記特許文献１に記載された装置においても、再生中の楽曲の早送りを繰り返し操作したい場合には、ユーザは「早送り」というコマンドを何度も繰り返して発話する必要があり、ユーザに煩わしさを感じさせてしまうといった問題がある。

本発明は上記問題に鑑みたもので、ユーザがコマンドを繰り返し発話することなく、より快適に制御対象機器を操作できるようにすることを目的とする。

上記目的を達成するため、請求項１に記載の発明は、ユーザの音声を入力する音声入力手段（１１）を介して入力される音声信号からコマンドを音声認識する音声認識手段（Ｓ１０２）と、音声認識したコマンドの履歴を記憶手段（１４ｂ）に記憶させる処理を行うコマンド履歴記憶処理手段（Ｓ１０６）と、記憶手段に記憶されたコマンドの履歴に基づいて、過去に音声認識された各コマンドをユーザが選択可能なスイッチとして含むコマンド履歴画面を表示部に表示させる表示制御手段（Ｓ２０６、Ｓ２０８）と、コマンド履歴画面に表示されたコマンドの履歴からユーザ操作により選択されたスイッチに対応するコマンドを制御対象機器（２、３）へ通知するコマンド通知手段（Ｓ３０２、Ｓ３０４）と、を備えたことを特徴としている。

このような構成によれば、音声認識したコマンドの履歴を記憶手段（１４ｂ）に記憶させる処理を行い、記憶手段に記憶されたコマンドの履歴に基づいて、過去に音声認識された各コマンドをユーザが選択可能なスイッチとして含むコマンド履歴画面を表示部に表示させ、コマンド履歴画面に表示されたコマンドの履歴からユーザ操作により選択されたスイッチに対応するコマンドが制御対象機器（２、３）へ通知されるので、ユーザがコマンドを繰り返し発話することなく、より快適に制御対象機器を操作することができる。

なお、この欄および特許請求の範囲で記載した各手段の括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。

本発明の一実施形態に係る音声認識装置のブロック構成を示す図である。音声認識装置の機能ブロック構成を示す図である。音声認識装置の制御部によるコマンド履歴記憶処理のフローチャート音声認識装置の制御部によるコマンド履歴画面表示処理のフローチャートである。コマンド履歴画面の表示例を示した図である。音声認識装置の制御部によるコマンド実行処理のフローチャートである。

本発明の一実施形態に係る音声認識装置のブロック構成を図１に示す。本音声認識装置１は、制御対象機器としてのＣＤプレイヤー２およびナビゲーション装置３とともに車両に搭載されている。

本音声認識装置１は、操作部１０、マイク１１、表示部１２および制御部１４を備えている。

操作部１０は、車両のステアリングに設けられたＰＴＴスイッチ（ＰｕｓｈＴａｌｋＳｗｉｔｃｈ）および表示部１２のディスプレイに重ねて設けられたタッチスイッチ（いずれも図示せず）を有している。操作部１０は、ユーザのＰＴＴスイッチに対する操作および表示部１２に設けられたタッチスイッチに対するタッチ操作に応じた信号を制御部１４へ出力する。

マイク１１は、ユーザの音声を集音し、この集音した音声に応じた音声信号を制御部１４へ出力する。

表示部１２は、液晶等のディスプレイを有し、制御部１４より入力される画像信号に応じた画像をディスプレイに表示させる。

制御部１４は、ＣＰＵ１４ａ、ハードディスクドライブ（以下、ＨＤＤと称す）１４ｂおよびＲＡＭ１４ｃ等を備えたコンピュータとして構成されており、ＣＰＵはＲＯＭに記憶されたプログラムに従って各種処理を実施する。なお、ＨＤＤ１４ｂには、音声認識辞書が記憶されている。

制御部１４の処理としては、マイク１１を介して入力されるユーザの音声からコマンドを音声認識し、音声認識したコマンドに応じた信号を制御対象機器であるＣＤプレイヤー２やナビゲーション装置３に出力する処理がある。

また、ＣＤプレイヤー２は、ＣＤ／ＤＶＤトレイに挿入されたＣＤまたはＤＶＤの再生等を行う。また、ＣＤプレイヤー２は、近距離無線通信を介して携帯型オーディオプレイヤーの１つであるｉＰｏｄ（登録商標）と通信接続することが可能となっている。

また、ナビゲーション装置３は、自車位置周辺の地図上に自車位置を表示させる現在位置表示機能、目的地を検索する目的地検索機能、自車位置から目的地に至る最適なルートを探索するルート探索機能等を有している。

ＣＤプレイヤー２およびナビゲーション装置３の制御部は、ぞれぞれ音声認識装置１からユーザの音声を認識したコマンドが通知されると、この通知に従った操作を実行する。

図２に、本音声認識装置１の機能ブロック構成を示す。制御部１４は、音声認識エンジン部１００、コマンド実行部１１０、認識コマンド履歴記憶部１２０、機器状態生成部１３０、有効コマンド履歴生成部１４０、コマンド履歴画面生成部１５０を有している。

音声認識エンジン部１００は、マイク１１を介して入力された音声データからコマンドを認識する。

また、コマンド実行部１１０は、音声認識エンジン部１００により音声認識されたコマンドをＣＤプレイヤー２に通知してＣＤプレイヤー２にコマンドを実行させたり、音声認識されたコマンドをナビゲーション装置３に通知してナビゲーション装置３にコマンドを実行させる。

また、認識コマンド履歴記憶部１２０は、音声認識エンジン部１００により認識されたコマンドを、コマンド履歴としてＨＤＤ１４ｂに記憶させる。

機器状態生成部１３０は、制御対象機器から各種機器の状態を示す情報（例えば、ＣＤプレイヤー２のトレイ内のＣＤの有無、ナビゲーション装置３のルート案内の有無、走行中か否かなど）を取得し、機器の状態を示す機器状態情報を生成する。

有効コマンド履歴生成部１４０は、機器状態生成部１３０により生成された機器状態情報に基づいて、認識コマンド履歴記憶部１２０によりＨＤＤ１４ｂに記憶されたコマンド履歴の中から、制御対象機器が受け付け可能なコマンド、すなわち、制御対象機器に対する有効なコマンドを抽出し、有効コマンド履歴を生成する。

コマンド履歴画面生成部１５０は、認識コマンド履歴記憶部１２０によりＨＤＤ１４ｂに記憶されたコマンド履歴に基づいて、過去に音声認識された各コマンドをユーザが選択可能なスイッチとして含むコマンド履歴画面を生成する。

コマンド履歴画面生成部１５０は、更に、有効コマンド履歴生成部１４０により生成された有効コマンド履歴に基づいて、制御対象機器が受け付け不可能なコマンドについては選択できないようにコマンド履歴画面を生成する。

次に、本音声認識装置１の制御部１４の処理について説明する。制御部１４の処理には、ユーザの音声データからコマンドを音声認識し、音声認識したコマンドを履歴として記憶するコマンド履歴記憶処理と、過去に音声認識したコマンドの履歴画面を表示部１２に表示させるコマンド履歴画面表示処理と、表示部１２に表示されたコマンドの履歴画面に対する操作に応じてコマンドを実行するコマンド実行処理がある。

図３に、制御部１４によるコマンド履歴記憶処理のフローチャートを示す。このコマンド履歴記憶処理について説明する。ユーザの操作部１０に対する操作によりＰＴＴスイッチが操作されると、制御部１４は、図３に示す処理を周期的に実施する。

まず、ユーザの音声入力を受け付ける（Ｓ１００）。具体的には、ＰＴＴスイッチが操作されている期間、ユーザの音声入力を受け付ける音声受け付けモードに遷移して、ユーザの音声入力を受け付ける。なお、ＰＴＴスイッチに対する操作が終了すると、音声入力を受け付けを終了する。

次に、ユーザにより発話された音声を音声認識し、コマンドに変換する（Ｓ１０２）。ここで、音声認識エンジン部１００は、マイク１１を介して入力される音声データ（入力パターン）に近いパターンを、ＨＤＤ１４ｂに記憶された音声認識辞書中の語彙データ（比較パターン）から検索することで音声認識を行い、音声認識したコマンド（テキストデータ）に変換する。例えば、ユーザが「ＣＤ再生」と発話すると、「ＣＤ再生」と音声認識され、ユーザが「次の曲」と発話すると、「次の曲」と音声認識される。

そして、ユーザ操作により入力完了（確定）したことが確認されると（Ｓ１０４）、次に、コマンドを履歴として記憶する（Ｓ１０６）。ここで、認識コマンド履歴記憶部１２０は、Ｓ１０２にて音声認識エンジン部１００により音声認識され、Ｓ１０４にて確定されたコマンドをＨＤＤ１４ｂに記憶させる。例えば、「ＣＤ再生」、「次の曲」等のコマンド履歴がＨＤＤ１４ｂに記憶される。

次に、コマンドを実行する（Ｓ１０８）。コマンド実行部１１０は、Ｓ１０４にて確定されたコマンドを制御対象機器としてのＣＤプレイヤー２に通知してＣＤプレイヤー２にコマンドを実行させる。例えば、「ＣＤ再生」というコマンドがＣＤプレイヤー２に通知されると、ＣＤプレイヤー２により「ＣＤ再生」が実行され、ＣＤプレイヤー２がＣＤ再生をしている途中で、「次の曲」というコマンドがＣＤプレイヤー２に通知されると、ＣＤプレイヤー２により「次の曲へのスキップ」が実行される。

図４に、制御部１４によるコマンド履歴画面表示処理のフローチャートを示す。次に、このコマンド履歴画面表示処理について説明する。ユーザの操作部１０に対する操作によりＰＴＴスイッチが操作されると、制御部１４は、図３に示した処理と並行して、図４に示す処理を周期的に実施する。

まず、コマンド履歴画面の生成を要求する（Ｓ２００）。制御部１４は、コマンド履歴画面生成部１５０にコマンド履歴画面の生成を要求する。

次に、コマンド履歴と制御対象機器の機器状態情報を取得する（Ｓ２０２）。ここで、機器状態生成部１３０は、制御対象機器から各種機器の状態を示す情報（例えば、ＣＤプレイヤー２のトレイ内のＣＤの有無）を取得し、機器の状態を示す機器状態情報を生成する。また、有効コマンド履歴生成部１４０は、ＨＤＤ１４ｂからコマンド履歴を取得するとともに、機器状態生成部１３０により生成された機器状態情報を取得する。

次に、有効／無効フラグを付けた状態のコマンド一覧を生成してコマンド履歴画面生成部へ通知する（Ｓ２０４）。ここで、有効コマンド履歴生成部１４０は、機器状態生成部１３０により生成された機器状態情報に基づいて、ＨＤＤ１４ｂに記憶されたコマンド履歴の中から、制御対象機器が受け付け可能なコマンド、すなわち、制御対象機器に対する有効なコマンドを抽出し、有効コマンドには有効フラグを付け、無効コマンドには無効フラグを付けた状態のコマンド一覧を生成し、生成したコマンド一覧をコマンド履歴画面生成部１５０へ通知する。

例えば、ＣＤプレイヤー２のトレイ内にＣＤが挿入されている状態では、「ＣＤ再生」、「次の曲」等のコマンドに有効フラグを付け、ＣＤプレイヤー２のトレイ内にＣＤが挿入されていない場合には、「ＣＤ再生」、「次の曲」等のコマンドを実行することはできないので、「ＣＤ再生」、「次の曲」等のコマンドに無効フラグを付けたコマンド一覧を生成する。また、車両走行中の状態では、ナビゲーション装置３の「案内ルート削除」のコマンドに無効フラグを付け、車両停車中の状態では、ナビゲーション装置３の「案内ルート削除」のコマンドに有効フラグを付けたコマンド一覧を生成する。そして、生成したコマンド一覧をコマンド履歴画面生成部１５０へ通知する。

次に、コマンド一覧からスイッチ（ＳＷ）リスト画面を生成する（Ｓ２０６）。ここで、コマンド履歴画面生成部１５０は、Ｓ２０６にて、有効コマンド履歴生成部１４０より通知されたコマンド一覧からスイッチ（ＳＷ）リスト画面を生成する。具体的には、コマンド履歴画面生成部１５０は、過去に音声認識された各コマンドをユーザが選択可能なスイッチとして含むリスト画面（コマンド履歴画面）を生成する。

図５に、コマンド履歴画面の表示例を示す。ここで、有効フラグが付けられたコマンドについては、ユーザのタッチ操作により選択が可能なスイッチとして表示し、無効フラグが付けられたコマンドについては、ユーザのタッチ操作により選択が不可能なスイッチとして表示する。なお、図５では、「ＣＤ再生」、「次の曲」および「次の曲」を太線で示し、「ＤＶＤ再生」、「案内ルート削除」および「ｉＰｏｄ再生」を細線で示してあるが、実際には、無効フラグが付けられたコマンドに対するスイッチ（「ＤＶＤ再生」、「案内ルート削除」および「ｉＰｏｄ再生」）は、有効フラグが付けられたコマンドに対するスイッチの色（例えば、黒）に対してトーンダウンした色（例えば、灰色）として表示する。

また、本実施形態では、音声認識したコマンドを新しい順に表示する。すなわち、音声認識したコマンドを最近のものから順に表示する。また、画面の右側にはスクロールバーが設けられており、このスクロールバーを操作することで、画面に表示されていないコマンドを表示させることも可能となっている。

次に、コマンド履歴画面を表示する（Ｓ２０８）。コマンド履歴画面生成部１５０は、図５に示したようなコマンド履歴画面を表示部１２に表示させ、本処理を終了する。

図６に、制御部１４によるコマンド実行処理のフローチャートを示す。次に、このコマンド実行処理について説明する。ユーザの操作部１０に対する操作によりＰＴＴスイッチが操作されると、制御部１４は、図３に示した処理と並行して、図６に示す処理を周期的に実施する。

まず、コマンド履歴画面が操作されたか否かを判定する（Ｓ３００）。すなわち、制御部１４は、コマンド履歴画面に含まれる選択可能なスイッチに対するタッチ操作があるか否かを判定する。

ここで、ユーザにより選択可能なスイッチに対するタッチ操作があった場合、ユーザ操作をコマンドに変換する（Ｓ３０２）。ここで、コマンド履歴画面生成部１５０は、ユーザのスイッチへのタッチ操作をコマンドに変換する。例えば、「ＣＤ再生」のコマンドに対するスイッチとして「ＣＤ再生」が表示されており、ユーザにより、この「ＣＤ再生」が示されたスイッチをタッチ操作した場合、コマンド履歴画面生成部１５０は、「ＣＤ再生」が示されたスイッチへのタッチ操作を「ＣＤ再生」コマンドに変換し、コマンド実行部１１０に通知する。

次に、コマンドを実行する（Ｓ３０４）。ここで、コマンド実行部１１０は、Ｓ３０２にて、コマンド履歴画面生成部１５０より通知されたコマンドを制御対象機器へ通知し、制御対象機器にコマンドを実行させる。

次に、機器状態が変化したか否かを判定する（Ｓ３０６）。ここで、コマンド履歴画面生成部１５０は、有効コマンド履歴生成部１４０を介して機器状態生成部１３０より機器状態情報を取得し、この機器状態情報に基づいて機器状態が変化したか否かを判定する。すなわち、コマンド履歴画面生成部１５０は、制御対象機器が受け付け可能なコマンドが変化したか否かを判定する。

ここで、例えば、車両が走行中から停車中に変化した場合など、制御対象機器が受け付け可能なコマンドが変化した場合、Ｓ３０６の判定はＹＥＳとなり、コマンド履歴画面を更新する（Ｓ３０８）。ここで、コマンド履歴画面生成部１５０は、制御対象機器が受け付け可能なコマンドに対応するスイッチを選択可能とし、制御対象機器が受け付け不可能なコマンドに対応するスイッチを選択不可能となるようにコマンド履歴画面を更新する。

図５に示した制御対象機器が受け付け可能なコマンドに対応するスイッチを選択可能のスイッチの表示色をトーンダウンする前の色（例えば、黒色）にするとともにスイッチの表示を選択可能にする。このように、コマンド履歴画面を更新する。

例えば、車両が走行中から停車中に変化すると、ナビゲーション装置３は、「案内ルート削除」を表すコマンドが受け付け可能となるため、「案内ルート削除」に対応するスイッチを選択可能となるようにコマンド履歴画面を更新し、本処理を終了する。

上記した構成によれば、音声認識したコマンドの履歴をＨＤＤ１４ｂに記憶させる処理を行い、ＨＤＤ１４ｂに記憶されたコマンドの履歴に基づいて、過去に音声認識された各コマンドをユーザが選択可能なスイッチとして含むコマンド履歴画面を表示部に表示させ、コマンド履歴画面に表示されたコマンドの履歴からユーザ操作により選択されたスイッチに対応するコマンドがＣＤプレイヤー２およびナビゲーション装置３（以下、ＣＤプレイヤー２およびナビゲーション装置３を制御対象機器という）へ通知されるので、ユーザがコマンドを繰り返し発話することなく、より快適に制御対象機器を操作することができる。

また、制御対象機器が受け付け可能なコマンドを特定するための情報を取得し、この情報に基づいて、ＨＤＤ１４ｂに記憶されたコマンドのうち、制御対象機器２、３が受け付け可能なコマンドを抽出し、制御対象機器が受け付け可能なコマンドとして抽出されないコマンドについては、ユーザが選択できないように表示部に表示させるので、ユーザの操作性を向上することができる。

また、制御対象機器の状態を示す情報を周期的に取得して、制御対象機器の状態が変化したか否かを判定し、制御対象機器の状態が変化したと判定された場合、コマンド履歴画面の表示を更新するので、制御対象機器の状態に適したコマンド履歴画面の表示を行うことが可能である。

なお、本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づいて種々なる形態で実施することができる。

例えば、上記実施形態では、本音声認識装置１に制御対象機器としてのＣＤプレイヤー２、ナビゲーション装置３を接続するように構成したが、ＣＤプレイヤー２、ナビゲーション装置３等の制御対象機器を本音声認識装置１と一体に構成してもよい。

また、上記実施形態では、コマンド履歴画面に、音声認識したコマンドを新しい順に表示させるようにしたが、例えば、カテゴリ別（例えば、ＣＤプレイヤー２の操作に関連するコマンド、ナビゲーション装置の操作に関連するものなど）に音声認識したコマンドを表示させるようにしてもよい。

また、上記実施形態では、ユーザのＰＴＴスイッチに対する操作に応じてコマンド履歴画面を表示するようにしたが、表示部１２にコマンド履歴画面の表示を指示する表示部を表示させ、この表示部に対する操作に応じてコマンド履歴画面を表示するようにしてもよい。

また、上記実施形態では、記憶手段としてＨＤＤ１４ｂを用いたが、フラッシュメモリ、ＥＥＰＲＯＭなど、ＨＤＤ１４ｂ以外の記憶媒体を記憶手段として用いるようにしてもよい。

１音声認識装置
２ＣＤプレイヤー
３ナビゲーション装置
１０操作部
１１マイク
１２表示部
１４制御部
１００音声認識エンジン部
１１０コマンド実行部
１２０認識コマンド履歴記憶部
１３０機器状態生成部
１４０有効コマンド履歴生成部
１５０コマンド履歴画面生成部

Claims

ユーザの音声を入力する音声入力手段（１１）を介して入力される音声信号からコマンドを音声認識する音声認識手段（Ｓ１０２）と、
音声認識した前記コマンドの履歴を記憶手段（１４ｂ）に記憶させる処理を行うコマンド履歴記憶処理手段（Ｓ１０６）と、
前記記憶手段に記憶された前記コマンドの履歴に基づいて、過去に音声認識された各コマンドをユーザが選択可能なスイッチとして含むコマンド履歴画面を表示部に表示させる表示制御手段（Ｓ２０６、Ｓ２０８）と、
前記コマンド履歴画面に表示された前記コマンドの履歴からユーザ操作により選択されたスイッチに対応する前記コマンドを制御対象機器（２、３）へ通知するコマンド通知手段（Ｓ３０２、Ｓ３０４）と、を備えたことを特徴とする音声認識装置。
前記制御対象機器が受け付け可能なコマンドを特定するための情報を取得する情報取得手段（Ｓ２０２）と、
前記情報取得手段により取得された前記情報に基づいて、前記記憶手段に記憶された前記コマンドのうち、前記制御対象機器が受け付け可能なコマンドを抽出する有効コマンド抽出手段（Ｓ２０４）と、を備え、
前記表示制御手段は、前記有効コマンド抽出手段により前記制御対象機器が受け付け可能なコマンドとして抽出されないコマンドについては、ユーザが選択できないように前記表示部に表示させることを特徴とする請求項１に記載の音声認識装置。
前記情報取得手段より前記制御対象機器の状態を示す情報を周期的に取得して、前記制御対象機器の状態が変化したか否かを判定する状態判定手段（Ｓ３０６）と、
前記状態判定手段により前記制御対象機器の状態が変化したと判定された場合、前記コマンド履歴画面の表示を更新する表示更新手段（Ｓ３０８）と、を備えたことを特徴とする請求項１または２に記載の音声認識装置。