JPWO2013015364A1 - ユーザインタフェース装置、情報処理方法および情報処理プログラム - Google Patents

ユーザインタフェース装置、情報処理方法および情報処理プログラム Download PDF

Info

Publication number
JPWO2013015364A1
JPWO2013015364A1 JP2013525754A JP2013525754A JPWO2013015364A1 JP WO2013015364 A1 JPWO2013015364 A1 JP WO2013015364A1 JP 2013525754 A JP2013525754 A JP 2013525754A JP 2013525754 A JP2013525754 A JP 2013525754A JP WO2013015364 A1 JPWO2013015364 A1 JP WO2013015364A1
Authority
JP
Japan
Prior art keywords
command
touch
voice
input
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013525754A
Other languages
English (en)
Other versions
JP5795068B2 (ja
Inventor
平井　正人
正人 平井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/JP2011/004242 external-priority patent/WO2013014709A1/ja
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2013525754A priority Critical patent/JP5795068B2/ja
Publication of JPWO2013015364A1 publication Critical patent/JPWO2013015364A1/ja
Application granted granted Critical
Publication of JP5795068B2 publication Critical patent/JP5795068B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)

Abstract

入力方法判定部２がハードボタンの短押しか長押しかを判定し、入力切換制御部４がモードを切り換える。短押しならタッチ操作モードと判定し、タッチ−コマンド変換部３が短押しされたハードボタンに対応する項目をコマンドに変換する。長押しなら音声操作モードと判定し、音声−コマンド変換部１０が音声認識された音声認識キーワードをコマンド（項目値）に変換する。状態遷移制御部５がコマンドに対応するアプリケーション実行命令を生成し、アプリケーション実行部１１がアプリケーションを実行する。

Description

この発明は、ユーザによるタッチディスプレイ操作と音声操作に応じた処理を実行するユーザインタフェース装置、車載用情報装置、情報処理方法および情報処理プログラムに関する。
ナビゲーション装置、オーディオ装置、ハンズフリー電話などの車載用情報装置において、従来はタッチディスプレイ、ジョイスティック、回転ダイヤルおよび音声などによる操作方法が採用されている。
タッチディスプレイ操作は、タッチパネルと一体になったディスプレイ画面上に表示したボタンをユーザがタッチして画面遷移を繰り返し、目的の機能を実行する。この方法では、ディスプレイに表示されているボタンに直接タッチすることができるので、直感的な操作ができる。
ジョイスティック、回転ダイヤルおよびリモコンなどの別デバイスによる操作は、ユーザがこれらデバイスを操作してディスプレイ画面上に表示されているボタンにカーソルを合わせ、選択または決定することによる画面遷移を繰り返し、目的の機能を実行する。この方法では、目的のボタンにカーソルを合わせる必要があり、タッチディスプレイ操作と比べると直感的な操作とはいえない。
また、これらの操作方法は、ユーザが画面に表示されているボタンを選んでいけば操作できるので分かりやすいが、操作ステップ数が多く、操作時間がかかる。
一方、音声操作は、音声認識キーワードと呼ばれる語彙をユーザが１回または複数回発話して、目的の機能を実行する。画面上に表示されていない項目も操作可能なため、操作ステップおよび操作時間は短縮できるが、ユーザは予め決められた独特な音声操作方法および音声認識キーワードを覚えてそのとおりに発話しなければ操作できないので、使用が難しい。また、音声操作の開始は、ハンドル付近に１つだけ用意された発話ボタン（ハードボタン）、または画面上に１つだけ用意された発話ボタンを押下するという方法で通常行われるが、目的の機能を実行するまでに車載情報装置と複数回の対話を行わなければならない場合も多く、その場合は操作ステップ数も操作時間も多くかかる。
さらに、タッチディスプレイ操作と音声操作を組み合わせた操作方法も提案されている。例えば特許文献１に係る音声認識装置において、ユーザが、タッチディスプレイに表示されている各データ入力欄に関連付けられたボタンを押下して発話することで、音声認識の結果をデータ入力欄に入力すると共に表示する。
また例えば特許文献２に係るナビゲーション装置において、地名または道路名を音声認識により検索するときに、ユーザは、地名または道路名の先頭の文字または文字列をタッチディスプレイ上のキーボードから入力して確定し、その後発話する。
特開２００１−４２８９０号公報 特開２０１０−３８７５１号公報
上述したように、タッチディスプレイ操作は操作階層が深く、操作ステップ数および操作時間を短縮することができないという課題があった。
他方、音声操作は予め決められた独特な操作方法および音声認識キーワードを覚えてそのとおりに発話する必要があり、操作が難しいという課題があった。また、発話ボタンを押しても「何をしゃべったらよいか分からない」ということが多く、操作できないという課題もあった。
また、上記特許文献１は、データ入力欄に音声認識によりデータ入力する技術であり、画面遷移を伴う操作および機能実行を行うことはできない。さらに、データ入力欄に入力可能なあらかじめ決められている項目を一覧する方法、あるいは一覧から目的の項目を選択する方法が無いため、入力できる項目の音声認識キーワードを覚えなければ操作できないという課題があった。
また、上記特許文献２は、音声認識をする前に先頭文字または文字列を入力して発話することで音声認識の確実性を向上させる技術であり、タッチディスプレイ操作により文字入力および確定操作を行う必要があった。このため、発話された地名または道路名を検索する従来の音声操作と比べて、操作ステップ数および操作時間を減らすことができないという課題があった。
この発明は、上記のような課題を解決するためになされたもので、タッチディスプレイ操作の分かりやすさを確保したまま、独特な音声操作方法および音声認識キーワードを覚えることなく直感的で分かりやすい音声操作を実現して、操作ステップ数および操作時間を短縮することを目的とする。
この発明のユーザインタフェース装置は、タッチディスプレイの出力信号に基づいて、当該タッチディスプレイに表示されタッチ動作のなされたボタンに対応する処理を実行させるための第１のコマンドを生成するタッチ−コマンド変換部と、処理に対応付けられた音声認識キーワードからなる音声認識辞書を用いて、タッチ動作と略同時かそれに続くユーザ発話を音声認識し、当該音声認識の結果に対応する処理を実行させるためのコマンドであって第１のコマンドの処理に関連する処理グループのなかの当該処理より下層に分類された処理を実行させる第２のコマンドに変換する音声−コマンド変換部と、タッチディスプレイの出力信号に基づいたタッチ動作の状態に応じて、タッチ−コマンド変換部の生成した第１のコマンドに対応する処理を実行するタッチ操作モードか、音声−コマンド変換部の生成する第２のコマンドに対応する処理を実行する音声操作モードかを切り換える入力切換制御部とを備えるものである。
この発明の車載用情報装置は、車両に搭載されたタッチディスプレイおよびマイクと、タッチディスプレイの出力信号に基づいて、当該タッチディスプレイに表示されタッチ動作のなされたボタンに対応する処理を実行させるための第１のコマンドを生成するタッチ−コマンド変換部と、処理に対応付けられた音声認識キーワードからなる音声認識辞書を用いて、マイクの集音するタッチ動作と略同時かそれに続くユーザ発話を音声認識し、当該音声認識の結果に対応する処理を実行させるためのコマンドであって第１のコマンドの処理に関連する処理グループのなかの当該処理より下層に分類された処理を実行させる第２のコマンドに変換する音声−コマンド変換部と、タッチディスプレイの出力信号に基づいたタッチ動作の状態に応じて、タッチ−コマンド変換部の生成した第１のコマンドに対応する処理を実行するタッチ操作モードか、音声−コマンド変換部の生成する第２のコマンドに対応する処理を実行する音声操作モードかを切り換える入力切換制御部とを備えるものである。
この発明の情報処理方法は、タッチディスプレイの出力信号に基づいて、当該タッチディスプレイに表示されたボタンへのタッチ動作を検出するタッチ入力検出ステップと、タッチ入力検出ステップの検出結果に基づいたタッチ動作の状態に応じて、タッチ操作モードか音声操作モードかを判定する入力方法判定ステップと、入力方法判定ステップでタッチ操作モードと判定された場合、タッチ入力検出ステップの検出結果に基づいて、タッチ動作のなされたボタンに対応する処理を実行させるための第１のコマンドを生成するタッチ−コマンド変換ステップと、入力方法判定ステップで音声操作モードと判定された場合、処理に対応付けられた音声認識キーワードからなる音声認識辞書を用いて、タッチ動作と略同時かそれに続くユーザ発話を音声認識し、当該音声認識の結果に対応する処理を実行させるためのコマンドであって第１のコマンドの処理に関連する処理グループのなかの当該処理より下層に分類された処理を実行させる第２のコマンドに変換する音声−コマンド変換ステップと、タッチ−コマンド変換ステップで生成した第１のコマンド、または音声−コマンド変換ステップで生成した第２のコマンドに対応する処理を実行する処理実行ステップとを備えるものである。
この発明の情報処理プログラムは、タッチディスプレイの出力信号に基づいて、当該タッチディスプレイに表示されたボタンへのタッチ動作を検出するタッチ入力検出手順と、タッチ入力検出手順の検出結果に基づいたタッチ動作の状態に応じて、タッチ操作モードか音声操作モードかを判定する入力方法判定手順と、入力方法判定手順でタッチ操作モードと判定された場合、タッチ入力検出手順の検出結果に基づいて、タッチ動作のなされたボタンに対応する処理を実行させるための第１のコマンドを生成するタッチ−コマンド変換手順と、入力方法判定手順で音声操作モードと判定された場合、処理に対応付けられた音声認識キーワードからなる音声認識辞書を用いて、タッチ動作と略同時かそれに続くユーザ発話を音声認識し、当該音声認識の結果に対応する処理を実行させるためのコマンドであって第１のコマンドの処理に関連する処理グループのなかの当該処理より下層に分類された処理を実行させる第２のコマンドに変換する音声−コマンド変換手順と、タッチ−コマンド変換手順で生成した第１のコマンド、または音声−コマンド変換手順で生成した第２のコマンドに対応する処理を実行する処理実行手順とを、コンピュータに実行させるものである。
この発明のユーザインタフェース装置は、ユーザによるタッチ動作がなされた入力デバイスからの出力信号に基づいて、当該入力デバイスに関連付けられた処理または当該入力デバイスが選択中の処理を実行させるための第１のコマンドを生成するタッチ−コマンド変換部と、処理に対応付けられた音声認識キーワードからなる音声認識辞書を用いて、入力デバイスへのタッチ動作と略同時かそれに続くユーザ発話を音声認識し、当該音声認識の結果に対応する処理を実行させるためのコマンドであって第１のコマンドの処理に関連する処理グループのなかの当該処理より下層に分類された処理を実行させるための第２のコマンドに変換する音声−コマンド変換部と、入力デバイスの出力信号に基づいたタッチ動作の状態に応じて、タッチ−コマンド変換部の生成した第１のコマンドに対応する処理を実行するタッチ操作モードか、音声−コマンド変換部の生成する第２のコマンドに対応する処理を実行する音声操作モードかを切り換える入力切換制御部とを備えるものである。
この発明によれば、タッチディスプレイに表示されたボタンへのタッチ動作の状態に応じてタッチ操作モードか音声操作モードかを判定するようにしたので、１つのボタンで通常のタッチ操作とそのボタンに関連する音声操作とを切り換えて入力することができ、タッチ操作の分かりやすさを確保できる。また、第２のコマンドは第１のコマンドの処理に関連する処理グループのなかの当該処理より下層に分類された処理を実行させるコマンドにして、ユーザが１つのボタンをタッチ動作しながら発話することでこのボタンに関連する下層の処理を実行させることができるので、独特な音声操作方法および音声認識キーワードを覚えることなく直感的で分かりやすい音声操作を実現でき、操作ステップ数と操作時間を短縮することができる。
また、この発明によれば、タッチディスプレイに表示されたボタンに限らず、ハードボタンなどの入力デバイスへのタッチ動作の状態に応じてタッチ操作モードか音声操作モードかを判定するようにしてもよく、１つの入力デバイスで通常のタッチ操作とその入力デバイスに関連する音声操作とを切り換えて入力することができる。
この発明の実施の形態１に係る車載用情報装置の構成を示すブロック図である。 実施の形態１に係る車載用情報装置の動作を示すフローチャートである。 実施の形態１に係る車載用情報装置の画面遷移例を説明する図であり、ＡＶ機能に関する画面例である。 実施の形態１に係る車載用情報装置の入力方法判定処理を示すフローチャートである。 実施の形態１に係る車載用情報装置の、タッチ動作と入力方法の関係を説明する図である。 実施の形態１に係る車載用情報装置のタッチ操作入力によるアプリケーション実行命令作成処理を示すフローチャートである。 実施の形態１に係る車載用情報装置が有する状態遷移表の一例を説明する図である。 実施の形態１に係る車載用情報装置が有する状態遷移表の続きの図である。 実施の形態１に係る車載用情報装置が有する状態遷移表の続きの図である。 実施の形態１に係る車載用情報装置が有する状態遷移表の続きの図である。 実施の形態１に係る車載用情報装置が有する状態遷移表の続きの図である。 実施の形態１に係る車載用情報装置の画面遷移例を説明する図であり、電話機能に関する画面例である。 実施の形態１に係る車載用情報装置の音声操作入力によるアプリケーション実行命令作成処理を示すフローチャートである。 実施の形態１に係る車載用情報装置の音声認識辞書を説明する図である。 実施の形態１に係る車載用情報装置の画面遷移例を説明する図であり、ナビ機能に関する画面例である。 実施の形態１に係る車載用情報装置の画面遷移例を説明する図であり、ナビ機能に関する画面例である。 この発明の実施の形態２に係る車載用情報装置の構成を示すブロック図である。 実施の形態２に係る車載用情報装置の動作を示すフローチャートである。 実施の形態２に係る車載用情報装置の画面遷移例を説明する図であり、電話機能に関する画面例である。 実施の形態２に係る車載用情報装置が有する状態遷移表の一例を説明する図である。 実施の形態２に係る車載用情報装置の音声操作入力によるアプリケーション実行命令作成処理を示すフローチャートである。 実施の形態１に係る車載用情報装置の音声認識対象語辞書を説明する図である。 実施の形態２に係る車載用情報装置の画面遷移例を説明する図であり、ナビ機能に関する画面例である。 実施の形態２に係る車載用情報装置の画面遷移例を説明する図であり、ナビ機能に関する画面例である。 この発明の実施の形態３に係る車載用情報装置の構成を示すブロック図である。 実施の形態３に係る車載用情報装置の出力方法決定処理を示すフローチャートである。 実施の形態３に係る車載用情報装置の音声操作入力時の電話画面を示す図である。 実施の形態３に係る車載用情報装置の音声操作入力時のリスト画面を示す図である。 この発明の実施の形態４に係る車載用情報装置が備えるハードボタンとタッチディスプレイの構成例を示す図である。 実施の形態４に係る車載用情報装置の画面遷移例を説明する図であり、タッチ操作モード時の画面例である。 実施の形態４に係る車載用情報装置の画面遷移例を説明する図であり、音声操作モード時の画面例である。 この発明の実施の形態５に係る車載用情報装置が備えるハードボタンとディスプレイの構成例を示す図である。 実施の形態５に係る車載用情報装置の画面遷移例を説明する図であり、音声操作モード時の画面例である。 この発明の実施の形態６に係る車載用情報装置が備えるハードボタンとディスプレイの構成例を示す図である。 実施の形態６に係る車載用情報装置の画面遷移例を説明する図であり、タッチ操作モード時の画面例である。 実施の形態６に係る車載用情報装置の画面遷移例を説明する図であり、音声操作モード時の画面例である。 この発明の実施の形態７に係る車載用情報装置が備えるディスプレイとジョイスティックの構成例を示す図である。 この発明の実施の形態８に係る車載用情報装置が備えるディスプレイとタッチパッドの構成例を示す図である。 この発明の実施の形態９に係るユーザインタフェース装置を適用した録画機能付きテレビとリモコンの構成例を示す図である。 実施の形態９に係るユーザインタフェース装置を適用した炊飯器の構成例を示す図である。 実施の形態９に係るユーザインタフェース装置を適用したオーブンレンジの構成例を示す図である。 この発明の実施の形態１０に係る車載用情報装置の、タッチ動作と入力方法の関係を説明する図である。 実施の形態１０に係る車載用情報装置が備えるハードボタンとディスプレイの構成例を示す図である。 実施の形態１０に係る車載用情報装置の画面遷移例を説明する図である。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１に示すように、車載用情報装置は、タッチ入力検出部１、入力方法判定部２、タッチ−コマンド変換部３、入力切換制御部４、状態遷移制御部５、状態遷移表記憶部６、音声認識辞書ＤＢ７、音声認識辞書切換部８、音声認識部９、音声−コマンド変換部１０、アプリケーション実行部１１、データ格納部１２、および出力制御部１３から構成されている。この車載用情報装置は、タッチパネルとディスプレイが一体になったタッチディスプレイ、マイク、スピーカなどの入出力デバイス（不図示）に接続して情報の入出力を行い、ユーザの操作に従って所望の画面表示および機能実行を行うユーザインタフェースを提供する。
タッチ入力検出部１は、タッチディスプレイからの入力信号に基づいて、ユーザがこのタッチディスプレイ上に表示されたボタン（または特定のタッチエリア）にタッチしたか否かを検出する。
入力方法判定部２は、タッチ入力検出部１の検出結果に基づいて、ユーザがタッチ操作により入力を行おうとしているのか（タッチ操作モード）、または音声操作により入力を行おうとしているのか（音声操作モード）の判定を行う。
タッチ−コマンド変換部３は、タッチ入力検出部１により検出されるユーザがタッチしたボタンを、コマンドに変換する。詳細は後述するが、このコマンドには項目名と項目値が含まれており、状態遷移制御部５へはコマンド（項目名、項目値）を渡し、入力切換制御部４へは項目名を渡す。この項目名が第１のコマンドを構成する。
入力切換制御部４は、入力方法判定部２による入力方法の判定結果（タッチ操作または音声操作）に従ってユーザがタッチ操作モードと音声操作モードのどちらを希望しているかを状態遷移制御部５へ通知して、状態遷移制御部５の処理をタッチ操作モードか音声操作モードかに切り換える。さらに、入力切換制御部４は、音声操作モードの場合にタッチ−コマンド変換部３から入力された項目名（即ち、ユーザがタッチしたボタンを指す情報）を状態遷移制御部５と音声認識辞書切換部８へ渡す。
状態遷移制御部５は、入力切換制御部４からタッチ操作モードが通知された場合、状態遷移表記憶部６に格納されている状態遷移表に基づいて、タッチ−コマンド変換部３から入力されるコマンド（項目名、項目値）をアプリケーション実行命令に変換し、アプリケーション実行部１１へ渡す。詳細は後述するが、このアプリケーション実行命令には遷移先画面を指定する情報およびアプリケーション実行機能を指定する情報の両方、またはいずれか一方の情報が含まれている。
また、状態遷移制御部５は、入力切換制御部４から音声操作モードとコマンド（項目名）が通知された場合、音声−コマンド変換部１０からコマンド（項目値）が入力されるまで待機し、コマンド（項目値）が入力されると状態遷移表記憶部６に格納されている状態遷移表に基づいて、これらの項目名と項目値を組み合わせたコマンドをアプリケーション実行命令に変換し、アプリケーション実行部１１へ渡す。
状態遷移表記憶部６は、コマンド（項目名、項目値）とアプリケーション実行命令（遷移先画面、アプリケーション実行機能）の対応関係を規定した情報遷移表を格納している。詳細は後述する。
音声認識辞書ＤＢ７は、音声操作モード時の音声認識処理に用いる音声認識辞書のデータベースであり、音声認識キーワードが格納されている。音声認識キーワードには対応するコマンド（項目名）が紐付けられている。
音声認識辞書切換部８は、入力切換制御部４から入力されるコマンド（項目名）を音声認識部９に通知して、この項目名に紐付けされた音声認識キーワードを含む音声認識辞書に切り換えさせる。
音声認識部９は、音声認識辞書ＤＢ７に格納された音声認識辞書のうち、音声認識辞書切換部８から通知されたコマンド（項目名）が紐付けられた音声認識キーワード群からなる音声認識辞書を参照して、マイクからの音声信号を音声認識処理して文字列などに変換し、音声−コマンド変換部１０へ出力する。
音声−コマンド変換部１０は、音声認識部９の音声認識結果をコマンド（項目値）に変換して状態遷移制御部５へ渡す。この項目値が第２のコマンドを構成する。
アプリケーション実行部１１は、データ格納部１２に格納された各種データを利用して、状態遷移制御部５から通知されたアプリケーション実行命令に応じた画面遷移またはアプリケーション機能の実行を行う。また、アプリケーション実行部１１はネットワーク１４に接続して外部との通信が可能であり、詳細は後述するが、アプリケーション機能の種類によっては外部と通信および通話を行ったり、必要に応じてデータ格納部１２へ取得したデータを格納したりすることもできる。このアプリケーション実行部１１と状態遷移制御部５とが処理実行部を構成する。
データ格納部１２は、アプリケーション実行部１１による画面遷移またはアプリケーション機能の実行に際して必要となるナビゲーション（以下、ナビ）機能用のデータ（地図データベースを含む）、オーディオ・ビジュアル（以下、ＡＶ）機能用のデータ（音楽データおよび映像データを含む）、車両に搭載されたエアコンなどの車両機器制御用のデータ、ハンズフリー通話などの電話機能用のデータ（電話帳を含む）、ネットワーク１４を介してアプリケーション実行部１１が外部より取得した情報（渋滞情報、特定のウェブサイトのＵＲＬなどを含む）であってアプリケーション機能実行時にユーザに提供する情報など、各種データを格納している。
出力制御部１３は、アプリケーション実行部１１の実行結果を、タッチディスプレイに画面表示したり、スピーカから音声出力したりする。
次に、車載用情報装置の動作を説明する。
図２は、実施の形態１に係る車載用情報装置の動作を示すフローチャートである。図３は車載用情報装置による画面遷移例を示し、ここでは、車載用情報装置が初期状態として、アプリケーション実行部１１の実行可能な機能の一覧を、ボタンとしてタッチディスプレイ上に表示していることとする（アプリケーション一覧画面Ｐ０１）。この図３は、アプリケーション一覧画面Ｐ０１の「ＡＶ」ボタンを基点として展開するＡＶ機能の画面遷移例であり、アプリケーション一覧画面Ｐ０１が最上階層の画面（と各ボタンに関連付けられた機能）である。アプリケーション一覧画面Ｐ０１の一つ下層には「ＡＶ」ボタンに関連付けられたＡＶソース一覧画面Ｐ１１の画面（と各ボタンに関連付けられた機能）がある。さらにＡＶソース一覧画面Ｐ１１の一つ下層には、ＡＶソース一覧画面Ｐ１１の各ボタンに関連付けられたＦＭ局一覧画面Ｐ１２、ＣＤ画面Ｐ１３、交通情報ラジオ画面Ｐ１４、ＭＰ３画面Ｐ１５と、各画面の各ボタンに関連付けられた機能とがある。
以下では、一つ下の階層に画面が遷移する場合を単に「遷移」と称する。例えばアプリケーション一覧画面Ｐ０１からＡＶソース一覧画面Ｐ１１に画面が変更される場合である。他方、一つ以上離れた下の階層、または異なる機能へ画面が遷移する場合を「ジャンプ遷移」と称する。例えばアプリケーション一覧画面Ｐ０１からＦＭ局一覧画面Ｐ１２に画面が変更される場合、またはＡＶソース一覧画面Ｐ１１からナビ機能の画面に変更される場合である。
ステップＳＴ１００においてタッチ入力検出部１が、タッチディスプレイ上に表示されたボタンにユーザがタッチしたか否かを検出する。また、タッチを検出した場合（ステップＳＴ１００“ＹＥＳ”）、タッチ入力検出部１はタッチディスプレイからの出力信号に基づいて、どのボタンにどのようにタッチされたかを示すタッチ信号（押し込む操作か一定時間触れる操作か等）を出力する。
ステップＳＴ１１０においてタッチ−コマンド変換部３が、タッチ入力検出部１から入力されるタッチ信号に基づいてタッチされたボタンをコマンド（項目名、項目値）に変換して出力する。ボタンにはボタン名称が設定されており、タッチ−コマンド変換部３はボタン名称をコマンドの項目名と項目値にする。例えば、タッチディスプレイ上に表示された「ＡＶ」ボタンのコマンド（項目名、項目値）は、（ＡＶ、ＡＶ）である。
ステップＳＴ１２０において入力方法判定部２が、タッチ入力検出部１から入力されるタッチ信号に基づいてユーザがタッチ操作を行おうとしているのか音声操作を行おうとしているのか入力方法を判定して出力する。
ここで、図４に示すフローチャートを用いて、入力方法の判定処理を説明する。
入力方法判定部２は、ステップＳＴ１２１においてタッチ入力検出部１からタッチ信号の入力を受け、続くステップＳＴ１２２においてタッチ信号に基づいて入力方法を判定する。
図５に示すように、タッチ操作および音声操作それぞれに対して予めタッチ動作が決められているものとする。例１の場合、ユーザがタッチ操作モードによりアプリケーション機能を実行させたいときはタッチディスプレイ上のそのアプリケーション機能用のボタンを押し込む動作を行い、音声操作モードにより実行させたいときはそのボタンに一定時間触れる動作を行う。タッチディスプレイの出力信号はタッチ動作によって異なるので、入力方法判定部２はタッチ信号に応じてどちらのタッチ動作が行われたか判定すればよい。
また例えば、例２のようにボタンが全押しされたか半押しされたかによって、ユーザがタッチ操作と音声操作のどちらを希望しているか入力方法を判定してもよいし、例３のようにボタンがシングルタップされたかダブルタップされたかによって判定してもよいし、例４のようにボタンが短押しされたか長押しされたかによって判定してもよい。タッチディスプレイが物理的に全押しと半押しを区別できない構成の場合には、押される圧力が閾値以上なら全押し、閾値未満なら半押しと見なすなどの処理を行ってもよい。
このように、１つのボタンに対して２種類のタッチ動作を使い分けることにより、１つのボタンに対してタッチ操作と音声操作のどちらの操作により入力を行おうとしているかの判定を行うことができる。
続くステップＳＴ１２３において、入力方法判定部２は入力切換制御部４へ、タッチ操作か音声操作かいずれかの入力方法を示す判定結果を出力する。
説明を図２のフローチャートに戻す。ステップＳＴ１３０において状態遷移制御部５は、入力切換制御部４から入力される判定結果がタッチ操作モードなら（ステップＳＴ１３０“ＹＥＳ”）、ステップＳＴ１４０へ進んでタッチ操作入力によりアプリケーション実行命令を生成する。一方、判定結果が音声操作モードなら（ステップＳＴ１３０“ＮＯ”）、ステップＳＴ１５０へ進んで音声操作入力によりアプリケーション実行命令を生成する。
ここで、図６に示すフローチャートを用いて、タッチ操作入力によるアプリケーション実行命令の生成方法を説明する。
ステップＳＴ１４１において状態遷移制御部５は、入力方法の判定処理時にタッチされたボタンのコマンド（項目名、項目値）をタッチ−コマンド変換部３より取得し、続くステップＳＴ１４２において状態遷移表記憶部６に格納されている状態遷移表に基づいて、取得したコマンド（項目名、項目値）をアプリケーション実行命令へ変換する。
図７Ａは、状態遷移表の一例を説明する図であり、図３のアプリケーション一覧画面Ｐ０１のボタンのうちの「ＡＶ」、「電話」および「ナビ」ボタンに対して設定されているコマンドとアプリケーション実行命令とを示している。
状態遷移表は、「現在の状態」、「コマンド」および「アプリケーション実行命令」の３つの情報で構成されている。現在の状態とは、ステップＳＴ１００のタッチ検出時にタッチディスプレイ上に表示されている画面のことである。
上述の通り、コマンドの項目名は、画面に表示されているボタン名称と同一の名前がつけられている。例えばアプリケーション一覧画面Ｐ０１の「ＡＶ」ボタンの項目名は「ＡＶ」である。
コマンドの項目値は、ボタン名称と同一の名前がつけられているものと、違う名前がつけられているものとがある。上述の通り、タッチ操作モードでは、コマンドの項目値は項目名と同じ、即ちボタン名称である。
他方、音声操作モードの場合、項目値は音声認識結果であり、ユーザが実行したい機能の音声認識キーワードとなる。ユーザが「ＡＶ」ボタンをタッチし、そのボタン名称「ＡＶ」を発話した場合は項目名と項目値が同じコマンド（ＡＶ、ＡＶ）になる。ユーザがボタン「ＡＶ」をタッチし、異なる音声認識キーワード「ＦＭ」を発話した場合は項目名と項目値が異なるコマンド（ＡＶ、ＦＭ）となる。
アプリケーション実行命令には、「遷移先画面」および「アプリケーション実行機能」の一方、または両方が含まれている。遷移先画面とは、対応するコマンドによって移動した先の画面を指す情報である。アプリケーション実行機能とは、対応するコマンドによって実行される機能を指す情報である。
なお、図７Ａの状態遷移表の場合、アプリケーション一覧画面Ｐ０１が最上層に設定されており、その下層にＡＶが設定され、ＡＶの下層にＦＭ、ＣＤ、交通情報およびＭＰ３が設定されている。また、ＦＭの下層にＡ放送局およびＢ放送局が設定されている。また、ＡＶと同階層の電話およびナビはそれぞれ異なるアプリケーション機能である。
ここで、タッチ操作入力の場合に、コマンドからアプリケーション実行命令に変換する例を説明する。
現在の状態は、図３に示すアプリケーション一覧画面Ｐ０１である。そして、図７Ａの状態遷移表によれば、この画面の「ＡＶ」ボタンにはコマンド（ＡＶ、ＡＶ）が紐付いており、対応するアプリケーション実行命令として遷移先画面「Ｐ１１（ＡＶソース一覧画面）」とアプリケーション実行機能「−（無し）」とが設定されている。よって、状態遷移制御部５は、タッチ−コマンド変換部３から入力されるコマンド（ＡＶ、ＡＶ）を、「ＡＶソース一覧画面Ｐ１１へ画面遷移する」というアプリケーション実行命令に変換する。
また例えば、現在の状態が、図３に示すＦＭ局一覧画面Ｐ１２になっているとする。その場合、図７Ｂの状態遷移表によれば、この画面の「Ａ放送局」ボタンにはコマンド（Ａ放送局、Ａ放送局）が紐付いており、対応するアプリケーション実行命令として遷移先画面「−」とアプリケーション実行機能「Ａ放送局を選局する」とが設定されている。よって、状態遷移制御部５は、タッチ−コマンド変換部３から入力されるコマンド（Ａ放送局、Ａ放送局）を、「Ａ放送局を選局する」というアプリケーション実行命令に変換する。
また例えば、現在の状態が、図８に示す電話帳リスト画面Ｐ２２になっているとする。この図８は、アプリケーション一覧画面Ｐ０１の「電話」ボタンを基点として展開する電話機能の画面遷移例である。この場合、図７Ｃの状態遷移表によれば、この画面の電話帳リストの「山田○○」ボタンにはコマンド（山田○○、山田○○）が紐付いており、対応するアプリケーション実行命令として遷移先画面「Ｐ２３（電話帳画面）」とアプリケーション実行機能「山田○○の電話帳を表示する」とが設定されている。よって、状態遷移制御部５は、タッチ−コマンド変換部３から入力されるコマンド（山田○○、山田○○）を、「電話帳画面Ｐ２３へ画面遷移し、山田○○の電話帳を表示する」というアプリケーション実行命令に変換する。
続くステップＳＴ１４３において状態遷移制御部５は、コマンドから変換したアプリケーション実行命令をアプリケーション実行部１１へ出力する。
次に、図９に示すフローチャートを用いて、音声操作入力によるアプリケーション実行命令の生成方法を説明する。
ステップＳＴ１５１において音声認識辞書切換部８が、入力切換制御部４から入力される項目名（即ち、ユーザがタッチしたボタン）に関連した音声認識辞書に切り換える指示を音声認識部９へ出力する。
図１０は、音声認識辞書を説明する図である。例えば、タッチディスプレイ上にボタンが表示された状態でユーザがボタンの操作を行った場合、切り換えるべき音声認識辞書には（１）タッチしたボタンの音声認識キーワード、（２）タッチしたボタンの下層画面にある全ての音声認識キーワード、（３）タッチしたボタンの下層にはないが、このボタンに関連する音声認識キーワードが含まれる。
（１）は、タッチしたボタンのボタン名称などを含み、ボタンをタッチ操作入力により押下した場合と同様に、次の画面への遷移および機能を実行することができる音声認識キーワードである。
（２）は、タッチしたボタンの下層へジャンプ遷移したり、ジャンプ遷移した画面にある機能を実行したりすることができる音声認識キーワードである。
（３）は、タッチしたボタンの下層にはないが関連する機能の画面へジャンプ遷移したり、ジャンプ遷移した画面にある機能を実行したりすることができる音声認識キーワードである。
また例えば、タッチディスプレイ上にリスト項目ボタンが表示されたリスト画面においてユーザがリスト項目の操作を行った場合、切り換えるべき音声認識辞書には（１）タッチしたリスト項目ボタンの音声認識キーワード、（２）タッチしたリスト項目ボタンの下層画面にある全ての音声認識キーワード、（３）タッチしたリスト項目ボタンの下層にはないが、このボタンに関連する音声認識キーワードが含まれる。
なお、ボタン操作およびリスト項目ボタン操作の場合において、（３）の音声認識キーワードは必須ではなく、関連するものがなければ含む必要はない。
ここで、音声認識辞書の切り換えについて、具体的に説明する。
現在の状態は、図３に示すアプリケーション一覧画面Ｐ０１である。そして、入力方法の判定処理においてタッチ検出した「ＡＶ」ボタンのコマンド（ＡＶ、ＡＶ）のうちの項目名（ＡＶ）が音声認識辞書切換部８に入力される。よって、音声認識辞書切換部８は、音声認識辞書ＤＢ７のうちから「ＡＶ」に関連する音声認識辞書に切り換える指示を出す。
「ＡＶ」に関連する音声認識辞書とは、以下になる。
（１）タッチしたボタンの音声認識キーワードとして「ＡＶ」。
（２）タッチしたボタンの下層画面にある全ての音声認識キーワードとして「ＦＭ」、「ＡＭ」、「交通情報」、「ＣＤ」、「ＭＰ３」、「ＴＶ」。「ＦＭ」ボタンの下層画面（Ｐ１２）にある音声認識キーワードとして「Ａ放送局」、「Ｂ放送局」、「Ｃ放送局」など。「ＦＭ」ボタンの他のボタンについても、各下層画面（Ｐ１３，Ｐ１４，Ｐ１５・・・）にある音声認識キーワードが含まれる。
（３）タッチしたボタンの下層にはないが、このボタンに関連する音声認識キーワードとして、例えば、「情報」ボタンの下層画面にある音声認識キーワード。情報関連の音声認識キーワード「番組表」を含めておくことにより、例えば現在聴くことができるラジオ番組または観ることができるテレビ番組の番組表を表示することができるようになる。
また例えば、現在の状態が、図３に示すＡＶソース一覧画面Ｐ１１であるとする。そして、入力方法の判定処理においてタッチされた「ＦＭ」ボタンのコマンド（ＦＭ、ＦＭ）のうちの項目名（ＦＭ）が入力切換制御部４から音声認識辞書切換部８に入力される。よって、音声認識辞書切換部８は、音声認識辞書ＤＢ７のうちから「ＦＭ」に関連する音声認識辞書に切り換える指示を出す。
「ＦＭ」に関連する音声認識辞書とは、以下になる。
（１）タッチしたボタンの音声認識キーワードとして「ＦＭ」。
（２）タッチしたボタンの下層画面にある全ての音声認識キーワードとして「Ａ放送局」、「Ｂ放送局」、「Ｃ放送局」など。
（３）タッチしたボタンの下層にはないが、このボタンに関連する音声認識キーワードとして、例えば、「情報」ボタンの下層画面にある音声認識キーワード。情報関連の音声認識キーワード「ホームページ」を含めておくことにより、例えば現在選局中の放送局のホームページを表示し、放送されている番組の詳細、ならびに流れている楽曲の曲名およびアーティスト名などを見ることができるようになる。
この他、（３）の例としては、例えば図１０の「買い物」リスト項目ボタンの下層に「コンビニ」というカテゴリがあるが、関連する「食事」リスト項目ボタンにも「コンビニ」カテゴリの音声認識キーワードを含めるようにした場合、「買い物」から「コンビニ」へ遷移するだけでなく、「食事」からも「コンビニ」へジャンプ遷移することができるようになる。
続くステップＳＴ１５２において音声認識部９が、マイクから入力される音声信号に対して、音声認識辞書ＤＢ７のうちの音声認識辞書切換部８が指示した音声認識辞書を用いて音声認識処理を行い、音声操作入力を検出して出力する。例えば図３に示すアプリケーション一覧画面Ｐ０１において、ユーザが「ＡＶ」ボタンに一定時間触れた場合（または半押し、ダブルタップ、長押しなど）、音声認識辞書は、主に「ＡＶ」に関連する音声認識キーワードから構成されたものに切り換わる。さらに階層が下の画面に遷移した場合、例えばＡＶソース一覧画面Ｐ１１の「ＦＭ」ボタンにユーザが一定時間触れた場合には音声認識辞書は主に「ＦＭ」に関連する音声認識キーワードから構成されたものに切り換わる。即ちＡＶの音声認識辞書より音声認識キーワードが絞り込まれる。
従って、より絞り込まれた音声認識辞書に切り換えることにより、音声認識率の向上が期待できる。
続くステップＳＴ１５３において音声−コマンド変換部１０が、音声認識部９から入力される音声認識キーワードを指す音声認識結果を、対応するコマンド（項目値）に変換して出力する。
ステップＳＴ１５４において状態遷移制御部５が、状態遷移表記憶部６に格納されている状態遷移表に基づいて、入力切換制御部４から入力される項目名と音声−コマンド変換部１０から入力される項目値とからなるコマンドをアプリケーション実行命令へ変換する。
ここで、音声操作入力の場合に、コマンドからアプリケーション実行命令に変換する例を説明する。
現在の状態は、図３に示すアプリケーション一覧画面Ｐ０１である。そして、ユーザが「ＡＶ」ボタンに一定時間触れながら音声認識キーワード「ＡＶ」と発話した場合、状態遷移制御部５が得るコマンドは（ＡＶ、ＡＶ）である。よって、状態遷移制御部５は、タッチ操作入力の場合と同様に図７Ａの状態遷移表に基づいて、コマンド（ＡＶ、ＡＶ）を「ＡＶソース一覧画面Ｐ１１へ画面遷移する」というアプリケーション実行命令に変換する。
また例えば、ユーザがアプリケーション一覧画面Ｐ０１の「ＡＶ」ボタンに一定時間触れながら音声認識キーワード「Ａ放送局」と発話した場合、状態遷移制御部５が得るコマンドは（ＡＶ、Ａ放送局）である。よって、状態遷移制御部５は、図７Ａの状態遷移表に基づいて、コマンド（ＡＶ、Ａ放送局）を「ＦＭ局一覧画面Ｐ１２へ画面遷移し、Ａ放送局を選局する」というアプリケーション実行命令に変換する。
また例えば、ユーザがアプリケーション一覧画面Ｐ０１の「電話」ボタンに一定時間触れながら音声認識キーワード「山田○○」と発話した場合、状態遷移制御部５が得るコマンドは（電話、山田○○）である。よって、状態遷移制御部５は、図７Ａの状態遷移表に基づいて、コマンド（電話、山田○○）を「電話帳画面Ｐ２３へ画面遷移し、山田○○の電話帳を表示する」というアプリケーション実行命令に変換する。
続くステップＳＴ１５５において状態遷移制御部５は、コマンドから変換したアプリケーション実行命令をアプリケーション実行部１１へ出力する。
説明を図２のフローチャートに戻す。ステップＳＴ１６０においてアプリケーション実行部１１は、状態遷移制御部５から入力されるアプリケーション実行命令に従って、データ格納部１２から必要なデータを取得して画面遷移および機能実行の一方、または両方を行う。続くステップＳＴ１７０において出力制御部１３が、アプリケーション実行部１１の画面遷移および機能実行の結果を表示および音などにより出力する。
ここで、アプリケーション実行部１１と出力制御部１３によるアプリケーションの実行例を説明する。
ユーザがＦＭ局のＡ放送局を選局したい場合、タッチ操作入力を使用するなら、図３に示すアプリケーション一覧画面Ｐ０１の「ＡＶ」ボタンを押し込んでＡＶソース一覧画面Ｐ１１に遷移させる。次に、ＡＶソース一覧画面Ｐ１１の「ＦＭ」ボタンを押し込んでＦＭ局一覧画面Ｐ１２に遷移させる。次に、ＦＭ局一覧画面Ｐ１２の「Ａ放送局」ボタンを押し込んでＡ放送局を選局する。
このとき、車載用情報装置は図２に示すフローチャートに従って、タッチ入力検出部１でアプリケーション一覧画面Ｐ０１の「ＡＶ」ボタンの押し込みを検出し、入力方法判定部２でタッチ操作と判定し、入力切換制御部４から状態遷移制御部５に対してタッチ操作入力である旨を通知する。また、タッチ−コマンド変換部３が「ＡＶ」ボタンの押し込みを表すタッチ信号をコマンド（ＡＶ、ＡＶ）に変換し、状態遷移制御部５がそのコマンドを図７Ａの状態遷移表に基づいてアプリケーション実行命令「ＡＶソース一覧画面Ｐ１１に画面遷移する」に変換する。そして、アプリケーション実行部１１がアプリケーション実行命令に従って、データ格納部１２のＡＶ機能用のデータ群からＡＶソース一覧画面Ｐ１１を構成するデータを取得して画面を生成し、出力制御部１３がその画面をタッチディスプレイに表示する。
続けてユーザのタッチ動作が行われるので、タッチ入力検出部１でＡＶソース一覧画面Ｐ１１の「ＦＭ」ボタンの押し込みを検出し、入力方法判定部２でタッチ操作と判定し、入力切換制御部４から状態遷移制御部５に対してタッチ操作入力である旨を通知する。また、タッチ−コマンド変換部３が「ＦＭ」ボタンの押し込みを表すタッチ信号をコマンド（ＦＭ、ＦＭ）に変換し、状態遷移制御部５がそのコマンドを図７Ｂの状態遷移表に基づいてアプリケーション実行命令「ＦＭ局一覧画面Ｐ１２に画面遷移する」に変換する。そして、アプリケーション実行部１１が、データ格納部１２のＡＶ機能用のデータ群からＦＭ局一覧画面Ｐ１２を構成するデータを取得して画面を生成し、出力制御部１３がその画面をタッチディスプレイに表示する。
続けてユーザのタッチ動作が行われるので、タッチ入力検出部１でＦＭ局一覧画面Ｐ１２の「Ａ放送局」ボタンの押し込みを検出し、入力方法判定部２でタッチ操作と判定し、入力切換制御部４から状態遷移制御部５に対してタッチ操作入力である旨を通知する。また、タッチ−コマンド変換部３が「Ａ放送局」ボタンの押し込みを表すタッチ信号をコマンド（Ａ放送局、Ａ放送局）に変換し、状態遷移制御部５がそのコマンドを図７Ａの状態遷移表に基づいてアプリケーション実行命令「Ａ放送局を選局する」に変換する。そして、アプリケーション実行部１１が、データ格納部１２のＡＶ機能用のデータ群からカーオーディオを制御するコマンドなどを取得し、出力制御部１３がカーオーディオを制御してＡ放送局に選局する。
他方、音声操作入力を使用するなら、ユーザは、図３に示すアプリケーション一覧画面Ｐ０１の「ＡＶ」ボタンに一定時間触れながら「Ａ放送局」と発話してＡ放送局を選局する。
このとき、車載用情報装置は図２に示すフローチャートに従って、タッチ入力検出部１で「ＡＶ」ボタンへの一定時間の接触を検出し、入力方法判定部２で音声操作と判定し、入力切換制御部４から状態遷移制御部５に対して音声操作入力である旨を通知する。また、タッチ−コマンド変換部３が「ＡＶ」ボタンの接触を表すタッチ信号を項目名（ＡＶ）に変換し、入力切換制御部４がその項目名を状態遷移制御部５と音声認識辞書切換部８へ通知する。そして、音声認識部９が、音声認識辞書切換部８の指示する音声認識辞書に切り換えて発話「Ａ放送局」を音声認識し、音声−コマンド変換部１０が音声認識結果を項目値（Ａ放送局）に変換して状態遷移制御部５に通知する。状態遷移制御部５はコマンド（ＡＶ、Ａ放送局）を図７Ａの状態遷移表に基づいてアプリケーション実行命令「ＦＭ局一覧画面Ｐ１２に遷移し、Ａ放送局を選局する」に変換する。そして、アプリケーション実行部１１が、データ格納部１２のＡＶ機能用のデータ群からＦＭ局一覧画面Ｐ１２を構成するデータを取得して画面を生成すると共に、そのデータ群からカーオーディオを制御するコマンドなどを取得し、出力制御部１３がその画面をタッチディスプレイに表示すると共にカーオーディオを制御してＡ放送局に選局する。
このように、タッチ操作入力では３ステップでＡ放送局の選局を実行可能であるが、音声操作入力では１ステップで実行可能となる。
また例えば、ユーザが山田○○へ電話をかけたい場合、タッチ操作入力を使用するなら、図８に示すアプリケーション一覧画面Ｐ０１の「電話」ボタンを押し込んで電話画面Ｐ２１に遷移させる。次に、電話画面Ｐ２１の「電話帳」ボタンを押し込んで電話帳リスト画面Ｐ２２に遷移させる。次に、電話帳リスト画面Ｐ２２の「山田○○」が表示されるまでスクロールを繰り返し、「山田○○」ボタンを押し込んで電話帳画面Ｐ２３に遷移させる。これにより、山田○○に電話をかける画面を表示させることができる。電話をかける際には電話帳画面Ｐ２３の「発呼」ボタンを押し込んで通話回線に接続する。
このとき、車載用情報装置は図２に示すフローチャートに従って、タッチ入力検出部１で「電話」ボタンの押し込みを検出し、入力方法判定部２でタッチ操作と判定し、入力切換制御部４から状態遷移制御部５に対してタッチ操作入力である旨を通知する。また、タッチ−コマンド変換部３が「電話」ボタンの押し込みを表すタッチ信号をコマンド（電話、電話）に変換し、状態遷移制御部５がそのコマンドを図７Ａの状態遷移表に基づいてアプリケーション実行命令「電話画面Ｐ２１に画面遷移する」に変換する。そして、アプリケーション実行部１１が、データ格納部１２の電話機能用のデータ群から電話画面Ｐ２１を構成するデータを取得して画面を生成し、出力制御部１３がその画面をタッチディスプレイに表示する。
続けてユーザのタッチ動作が行われるので、タッチ入力検出部１で電話画面Ｐ２１の「電話帳」ボタンの押し込みを検出し、入力方法判定部２でタッチ操作と判定し、入力切換制御部４から状態遷移制御部５に対してタッチ操作入力である旨を通知する。また、タッチ−コマンド変換部３が「電話帳」ボタンの押し込みを表すタッチ信号をコマンド（電話帳、電話帳）に変換し、状態遷移制御部５がそのコマンドを図７Ｃの状態遷移表に基づいてアプリケーション実行命令「電話帳リスト画面Ｐ２２へ画面遷移する」に変換する。そして、アプリケーション実行部１１が、データ格納部１２の電話機能用のデータ群から電話帳リスト画面Ｐ２２を構成するデータを取得して画面を生成し、出力制御部１３がその画面をタッチディスプレイに表示する。
続けてユーザのタッチ動作が行われるので、タッチ入力検出部１で電話帳リスト画面Ｐ２２の「山田○○」ボタンの押し込みを検出し、入力方法判定部２でタッチ操作と判定し、入力切換制御部４から状態遷移制御部５に対してタッチ操作入力である旨を通知する。また、タッチ−コマンド変換部３が「山田○○」ボタンの押し込みを表すタッチ信号をコマンド（山田○○、山田○○）に変換し、状態遷移制御部５がそのコマンドを図７Ｃの状態遷移表に基づいてアプリケーション実行命令「電話帳画面Ｐ２３に画面遷移し、山田○○の電話帳を表示する」に変換する。そして、アプリケーション実行部１１がデータ格納部１２の電話機能用のデータ群から電話帳画面Ｐ２３を構成するデータと山田○○の電話番号データを取得して画面を生成し、出力制御部１３がその画面をタッチディスプレイに表示する。
続けてユーザのタッチ動作が行われるので、タッチ入力検出部１で電話帳画面Ｐ２３の「発呼」ボタンの押し込みを検出し、入力方法判定部２でタッチ操作と判定し、入力切換制御部４から状態遷移制御部５に対してタッチ操作入力である旨を通知する。また、タッチ−コマンド変換部３が「発呼」ボタンの押し込みを表すタッチ信号をコマンド（発呼、発呼）に変換し、状態遷移制御部５がそのコマンドを図７Ｃの状態遷移表に基づいてアプリケーション実行命令「通話回線に接続する」に変換する。そして、アプリケーション実行部１１がネットワーク１４を通じて通話回線に接続し、出力制御部１３が音声を出力する。
他方、音声操作入力を使用するなら、ユーザは、図８に示すアプリケーション一覧画面Ｐ０１の「電話」ボタンに一定時間触れながら「山田○○」と発話して電話帳画面Ｐ２３を表示させる。あとは、「発呼」ボタンを押し込めば電話をかけることができる。
このとき、車載用情報装置は図２に示すフローチャートに従って、タッチ入力検出部１で「電話」ボタンへの一定時間の接触を検出し、入力方法判定部２で音声操作と判定し、タッチ−コマンド変換部３が「電話」ボタンの接触を表すタッチ信号を項目名（電話）に変換し、入力切換制御部４がその項目名を状態遷移制御部５と音声認識辞書切換部８へ通知する。そして、音声認識部９が、音声認識辞書切換部８の指示する音声認識辞書に切り換えて発話「山田○○」を音声認識し、音声−コマンド変換部１０が音声認識結果を項目値（山田○○）に変換して状態遷移制御部５に通知する。状態遷移制御部５はコマンド（電話、山田○○）を図７Ａの状態遷移表に基づいてアプリケーション実行命令「電話帳画面Ｐ２３へ画面遷移し、山田○○の電話帳を表示する」に変換する。そして、アプリケーション実行部１１がデータ格納部１２の電話機能用のデータ群から電話帳画面Ｐ２３を構成するデータと山田○○の電話番号データを取得して画面を生成し、出力制御部１３がその画面をタッチディスプレイに表示する。
このように、タッチ操作入力では３ステップで電話帳画面Ｐ２３を表示可能であるが、音声操作入力では最短１ステップで実行可能となる。
また例えば、ユーザが電話番号０３−３３３３−４４４４を入力して電話をかけたい場合、タッチ操作入力を使用するなら、図８に示すアプリケーション一覧画面Ｐ０１の「電話」ボタンを押し込んで電話画面Ｐ２１に遷移させる。次に、電話画面Ｐ２１の「番号入力」ボタンを押し込んで番号入力画面Ｐ２４に遷移させる。次に、番号入力画面Ｐ２４で１０桁の数字を数字ボタンを押下して入力し、「確定」ボタンを押下して画面を番号入力発呼画面Ｐ２５に遷移させる。これにより、０３−３３３３−４４４４に電話をかける画面を表示させることができる。
他方、音声操作入力を使用するなら、ユーザは、図８に示すアプリケーション一覧画面Ｐ０１の「電話」ボタンに一定時間触れながら「０３３３３３４４４４」と発話して番号入力発呼画面Ｐ２５を表示させる。
このように、タッチ操作入力では１３ステップで番号入力発呼画面Ｐ２５が表示可能であるが、音声操作入力では最短１ステップで実行可能となる。
ここで、ナビ機能についても説明する。図１１Ａは、実施の形態１に係る車載用情報装置の画面遷移例を説明する図であり、ナビ機能に関する画面例である。また、図７Ｄおよび図７Ｅは、ナビ機能に関する画面に対応する状態遷移表である。
例えば、ユーザが現在地周辺のコンビニを探したい場合、タッチ操作入力を使用するなら、図１１Ａに示すアプリケーション一覧画面Ｐ０１の「ナビ」ボタンを押し込んでナビ画面（現在地）Ｐ３１に遷移させる。次に、ナビ画面（現在地）Ｐ３１の「メニュー」ボタンを押し込んでナビメニュー画面Ｐ３２に遷移させる。次に、ナビメニュー画面Ｐ３２の「周辺施設を探す」ボタンを押し込んで周辺施設ジャンル選択画面１Ｐ３４に遷移させる。次に、周辺施設ジャンル選択画面１Ｐ３４のリストをスクロールして「買い物」ボタンを押し込んで周辺施設ジャンル選択画面２Ｐ３５に遷移させる。次に、周辺施設ジャンル選択画面２Ｐ３５のリストをスクロールして「コンビニ」ボタンを押し込んでコンビニブランド選択画面Ｐ３６に遷移させる。次に、コンビニブランド選択画面Ｐ３６の「すべてのコンビニ」ボタンを押し込んで周辺施設検索結果画面Ｐ３７に遷移させる。これにより、周辺のコンビニの検索結果一覧を表示させることができる。
このとき、車載用情報装置は図２に示すフローチャートに従って、タッチ入力検出部１でアプリケーション一覧画面Ｐ０１の「ナビ」ボタンの押し込みを検出し、入力方法判定部２でタッチ操作と判定し、入力切換制御部４から状態遷移制御部５に対してタッチ操作入力である旨を通知する。また、タッチ−コマンド変換部３が「ナビ」ボタンの押し込みを表すタッチ信号をコマンド（ナビ、ナビ）に変換し、状態遷移制御部５がそのコマンドを図７Ａの状態遷移表に基づいてアプリケーション実行命令「ナビ画面（現在地）Ｐ３１に画面遷移する」に変換する。そして、アプリケーション実行部１１が、不図示のＧＰＳ受信機などから現在地を取得すると共にデータ格納部１２のナビ機能用データ群から現在地周辺の地図データなどを取得して画面を生成し、出力制御部１３がその画面をタッチディスプレイに表示する。
続けてユーザのタッチ動作が行われるので、タッチ入力検出部１でナビ画面（現在地）Ｐ３１の「メニュー」ボタンの押し込みを検出し、入力方法判定部２でタッチ操作と判定し、入力切換制御部４から状態遷移制御部５に対してタッチ操作入力である旨を通知する。また、タッチ−コマンド変換部３が「メニュー」ボタンの押し込みを表すタッチ信号をコマンド（メニュー、メニュー）に変換し、状態遷移制御部５がそのコマンドを図７Ｄの状態遷移表に基づいてアプリケーション実行命令「ナビメニュー画面Ｐ３２へ画面遷移する」に変換する。そして、アプリケーション実行部１１が、データ格納部１２のナビ機能用データ群からナビメニュー画面Ｐ３２を構成するデータを取得して画面を生成し、出力制御部１３がその画面をタッチディスプレイに表示する。
続けてユーザのタッチ動作が行われるので、タッチ入力検出部１でナビメニュー画面Ｐ３２の「周辺施設を探す」ボタンの押し込みを検出し、入力方法判定部２でタッチ操作と判定し、入力切換制御部４から状態遷移制御部５に対してタッチ操作入力である旨を通知する。また、タッチ−コマンド変換部３が「周辺施設を探す」ボタンの押し込みを表すタッチ信号をコマンド（周辺施設を探す、周辺施設を探す）に変換し、状態遷移制御部５がそのコマンドを図７Ｄの状態遷移表に基づいてアプリケーション実行命令「周辺施設ジャンル選択画面１Ｐ３４に画面遷移する」に変換する。そして、アプリケーション実行部１１がデータ格納部１２のナビ機能用のデータ群から周辺施設のリスト項目を取得し、出力制御部１３がそのリスト項目を並べたリスト画面（Ｐ３４）をタッチディスプレイに表示する。
なお、ここでは、データ格納部１２には、リスト画面を構成するためのリスト項目が、リスト項目の内容に応じてグループ分けされ、さらにこのグループ内で階層化されているものとする。例えば周辺施設ジャンル選択画面１Ｐ３４のリスト項目「交通」、「食事」、「買い物」、「宿泊」はそれぞれのグループ名であり、各グループの最上階の階層に分類された項目である。そして、例えば「買い物」グループにおいて、リスト項目「買い物」の１つ下の階層にリスト項目「デパート」、「スーパー」、「コンビニ」、「家電」が格納されている。さらに、「買い物」グループにおいて、「コンビニ」の１つ下の階層にリスト項目「すべてのコンビニ」、「Ａコンビニ」、「Ｂコンビニ」、「Ｃコンビニ」が格納されている。
続けてユーザのタッチ動作が行われるので、タッチ入力検出部１で周辺施設ジャンル選択画面１Ｐ３４の「買い物」ボタンの押し込みを検出し、入力方法判定部２でタッチ操作と判定し、入力切換制御部４から状態遷移制御部５に対してタッチ操作入力である旨を通知する。また、タッチ−コマンド変換部３が「買い物」ボタンの押し込みを表すタッチ信号をコマンド（買い物、買い物）に変換し、状態遷移制御部５がそのコマンドを図７Ｄの状態遷移表に基づいてアプリケーション実行命令「周辺施設ジャンル選択画面２Ｐ３５に画面遷移する」に変換する。そして、アプリケーション実行部１１がデータ格納部１２のナビ機能用のデータ群から周辺施設のうちの買い物に関連付けられた周辺施設のリスト項目を取得し、出力制御部１３がそのリスト画面（Ｐ３５）をタッチディスプレイに表示する。
続けてユーザのタッチ動作が行われるので、タッチ入力検出部１で周辺施設ジャンル選択画面２Ｐ３５の「コンビニ」ボタンの押し込みを検出し、入力方法判定部２でタッチ操作と判定し、入力切換制御部４から状態遷移制御部５に対してタッチ操作入力である旨を通知する。また、タッチ−コマンド変換部３が「コンビニ」ボタンの押し込みを表すタッチ信号をコマンド（コンビニ、コンビニ）に変換し、状態遷移制御部５がそのコマンドを図７Ｅの状態遷移表に基づいてアプリケーション実行命令「コンビニブランド選択画面Ｐ３６に画面遷移する」に変換する。そして、アプリケーション実行部１１がデータ格納部１２のナビ機能用のデータ群から周辺施設のうちのコンビニブランド種類のリスト項目を取得し、出力制御部１３がそのリスト画面（Ｐ３６）をタッチディスプレイに表示する。
続けてユーザのタッチ動作が行われるので、タッチ入力検出部１でコンビニブランド選択画面Ｐ３６の「すべてのコンビニ」ボタンの押し込みを検出し、入力方法判定部２でタッチ操作と判定し、入力切換制御部４から状態遷移制御部５に対してタッチ操作入力である旨を通知する。また、タッチ−コマンド変換部３が「すべてのコンビニ」ボタンの押し込みを表すタッチ信号をコマンド（すべてのコンビニ、すべてのコンビニ）に変換し、状態遷移制御部５がそのコマンドを図７Ｅの状態遷移表に基づいてアプリケーション実行命令「周辺施設検索結果画面Ｐ３７に画面遷移し、すべてのコンビニで周辺施設を検索し、検索結果を表示する」に変換する。そして、アプリケーション実行部１１が先ほど取得した現在地を中心にしてデータ格納部１２のナビ機能用のデータ群の地図データからコンビニを検索してリスト項目を作成し、出力制御部１３がそのリスト画面（Ｐ３７）をタッチディスプレイに表示する。
続けてユーザのタッチ動作が行われるので、タッチ入力検出部１で周辺施設検索結果画面Ｐ３７の「Ｂコンビニ○○店」ボタンの押し込みを検出し、入力方法判定部２でタッチ操作と判定し、入力切換制御部４から状態遷移制御部５に対してタッチ操作入力である旨を通知する。また、タッチ−コマンド変換部３が「Ｂコンビニ○○店」ボタンの押し込みを表すタッチ信号をコマンド（Ｂコンビニ○○店、Ｂコンビニ○○店）に変換し、状態遷移制御部５がそのコマンドを図７Ｅの状態遷移表に基づいてアプリケーション実行命令「目的地施設確認画面Ｐ３８に画面遷移し、Ｂコンビニ○○店を地図表示する」に変換する。そして、アプリケーション実行部１１がデータ格納部１２のナビ機能用のデータ群からＢコンビニ○○店を含む地図データを取得して目的地施設確認画面Ｐ３８を生成し、出力制御部１３がその画面をタッチディスプレイに表示する。
続けてユーザのタッチ動作が行われるので、タッチ入力検出部１で目的地施設確認画面Ｐ３８の「ここへ行く」ボタンの押し込みを検出し、入力方法判定部２でタッチ操作と判定し、入力切換制御部４から状態遷移制御部５に対してタッチ操作入力である旨を通知する。また、タッチ−コマンド変換部３が「ここへ行く」ボタンの押し込みを表すタッチ信号をコマンド（ここへ行く、Ｂコンビニ○○店）に変換し、状態遷移制御部５がそのコマンドを不図示の状態遷移表に基づいてアプリケーション実行命令に変換する。そして、アプリケーション実行部１１が、データ格納部１２のナビ機能用のデータ群の地図データを用いて、先ほど取得した現在地からＢコンビニ○○店を目的地にした経路探索を行ってナビ画面（現在地ルートあり）Ｐ３９を生成し、出力制御部１３がその画面をタッチディスプレイに表示する。
他方、音声操作入力を使用するなら、ユーザは、図１１Ａに示すアプリケーション一覧画面Ｐ０１の「ナビ」ボタンに一定時間触れながら「コンビニ」と発話して周辺施設検索結果画面Ｐ３７を表示させる。
このとき、車載用情報装置は図２に示すフローチャートに従って、タッチ入力検出部１で「ナビ」ボタンへの一定時間の接触を検出し、入力方法判定部２で音声操作と判定し、タッチ−コマンド変換部３が「ナビ」ボタンの接触を表すタッチ信号を項目名（ナビ）に変換し、入力切換制御部４がその項目名を状態遷移制御部５と音声認識辞書切換部８へ通知する。そして、音声認識部９が、音声認識辞書切換部８の指示する音声認識辞書に切り換えて発話「コンビニ」を音声認識し、音声−コマンド変換部１０が音声認識結果を項目値（コンビニ）に変換して状態遷移制御部５に通知する。状態遷移制御部５はコマンド（ナビ、コンビニ）を図７Ａの状態遷移表に基づいてアプリケーション実行命令「周辺施設検索結果画面Ｐ３７に画面遷移し、すべてのコンビニで周辺施設を検索し、検索結果を表示する」に変換する。そして、アプリケーション実行部１１がデータ格納部１２のナビ機能用のデータ群の地図データからコンビニを検索してリスト項目を作成し、出力制御部１３がそのリスト画面（Ｐ３７）をタッチディスプレイに表示する。
なお、周辺施設検索結果画面Ｐ３７から特定のコンビニを目的地にして経路案内する動作（目的地施設確認画面Ｐ３８およびナビ画面（現在地ルートあり）Ｐ３９）は上述した処理と略同じであるため、説明は省略する。
このように、タッチ操作入力では６ステップで周辺施設検索結果画面Ｐ３７が表示可能であるが、音声操作入力では最短１ステップで実行可能となる。
また例えば、ユーザが東京駅などの施設名称から検索したい場合、タッチ操作入力を使用するなら、図１１Ａに示すアプリケーション一覧画面Ｐ０１の「ナビ」ボタンを押し込んでナビ画面（現在地）Ｐ３１に遷移させる。次に、ナビ画面（現在地）Ｐ３１の「メニュー」ボタンを押し込んでナビメニュー画面Ｐ３２に遷移させる。次に、ナビメニュー画面Ｐ３２の「目的地を探す」ボタンを押し込んで図１１Ｂに示す目的地設定画面Ｐ３３に遷移させる。次に、図１１Ｂに示す目的地設定画面Ｐ３３の「施設名称」ボタンを押し込んで施設名称入力画面Ｐ４３に遷移させる。次に、施設名称入力画面Ｐ４３で「とうきょうえき」の７文字分、文字ボタンを押下して入力し、「確定」ボタンを押下して画面を検索結果画面Ｐ４４に遷移させる。これにより、東京駅の検索結果一覧を表示させることができる。
他方、音声操作入力を使用するなら、ユーザは、図１１Ａに示すアプリケーション一覧画面Ｐ０１の「ナビ」ボタンに一定時間触れながら「東京駅」と発話すれば、図１１Ｂに示す検索結果画面Ｐ４４を表示させることができる。
このように、タッチ操作入力では１２ステップで検索結果画面Ｐ４４が表示可能であるが、音声操作入力では最短１ステップで実行可能となる。
なお、ユーザがタッチ操作入力の途中で、音声操作入力に切り換えることも可能である。
例えば、ユーザが、図１１Ａに示すアプリケーション一覧画面Ｐ０１の「ナビ」ボタンを押し込んでナビ画面（現在地）Ｐ３１に遷移させる。次に、ナビ画面（現在地）Ｐ３１の「メニュー」ボタンを押し込んでナビメニュー画面Ｐ３２に遷移させる。
ここで、ユーザが音声操作入力に切り換えるなら、ナビメニュー画面Ｐ３２の「周辺施設を探す」ボタンに一定時間触れながら「コンビニ」と発話すれば、周辺施設検索結果画面Ｐ３７を表示させることができる。この場合は、アプリケーション一覧画面Ｐ０１から３ステップで現在地周辺のコンビニの検索結果一覧を表示可能となる。
あるいは、ナビメニュー画面Ｐ３２の「目的地を探す」ボタンに一定時間に触れながら「東京駅」と発話すれば、図１１Ｂに示す検索結果画面Ｐ４４を表示させることができる。この場合は、アプリケーション一覧画面Ｐ０１から３ステップで東京駅の検索結果一覧を表示することができる。
あるいは、図１１Ｂに示す目的地設定画面Ｐ３３の「施設名称」ボタンに一定時間触れながら「東京駅」と発話すれば、検索結果画面Ｐ４４を表示させることができる。この場合は、アプリケーション一覧画面Ｐ０１から４ステップで東京駅の検索結果一覧を表示することができる。このように、違う画面Ｐ３２，Ｐ３３に対して同じ音声入力「東京駅」を行うことができ、音声入力を行う画面によってステップ数が変わる。
反対に、同じ画面の同じボタンに対して異なる音声入力を行って、ユーザが希望する画面を表示させることもできる。
例えば、上記例では、ユーザが図１１Ａに示すアプリケーション一覧画面Ｐ０１の「ナビ」ボタンに一定時間触れながら「コンビニ」と発話して周辺施設検索結果画面Ｐ３７を表示させたが、同じ「ナビ」ボタンに一定時間触れながら「Ａコンビニ」と発話した場合には周辺施設検索結果画面Ｐ４０を表示させることができる（図７Ａの状態遷移表に基づく）。この例の場合、漠然とコンビニを検索したいユーザは「コンビニ」と発話すれば、全ブランドのコンビニの検索結果を得ることができ、一方、「Ａコンビニ」だけを検索したいユーザは「Ａコンビニ」と発話すれば、ブランドをＡコンビニに絞った検索結果を得ることができる。
以上より、実施の形態１によれば、車載用情報装置は、タッチディスプレイの出力信号に基づいてタッチ動作を検出するタッチ入力検出部１と、タッチ入力検出部１の検出結果に基づいてタッチ動作のなされたボタンに対応する処理（遷移先画面およびアプリケーション実行機能の一方、または両方）を実行させるための項目名を含むコマンド（項目名、項目値）を生成するタッチ−コマンド変換部３と、処理に対応付けられた音声認識キーワードからなる音声認識辞書を用いて、タッチ動作と略同時かそれに続くユーザ発話を音声認識する音声認識部９と、音声認識結果に対応する処理を実行させるためのコマンド（項目値）に変換する音声−コマンド変換部１０と、タッチ入力検出部１の検出結果に基づいてタッチ動作の状態がタッチ操作モードを示すものか音声操作モードを示すものかを判定する入力方法判定部２と、入力方法判定部２の判定結果に応じてタッチ操作モードか音声操作モードかを切り換える入力切換制御部４と、入力切換制御部４からタッチ操作モードの指示を受けた場合にコマンド（項目名、項目値）をタッチ−コマンド変換部３から取得してアプリケーション実行命令に変換し、入力切換制御部４から音声操作モードの指示を受けた場合に入力切換制御部４から項目名、音声−コマンド変換部１０から項目値を取得してアプリケーション実行命令に変換する状態遷移制御部５と、アプリケーション実行命令に従って処理を実行するアプリケーション実行部１１と、アプリケーション実行部１１の実行結果を出力するタッチディスプレイ、スピーカなどの出力部を制御する出力制御部１３とを備えるように構成した。
このため、ボタンへのタッチ動作の状態に応じてタッチ操作モードか音声操作モードかを判定するので、１つのボタンで通常のタッチ操作とそのボタンに関連する音声操作とを切り換えて入力することができ、タッチ操作の分かりやすさを確保することができる。
また、音声認識結果を変換した項目値は、ボタン名称である項目名と同じ処理グループのなかのより下層に分類された処理を実行するための情報であるので、ユーザが目的をもってタッチしたボタンに関連する内容を発話するだけでこのボタンに関連する下層の処理を実行させることができる。従って、従来のように予め決められた独特な音声操作方法および音声認識キーワードを覚える必要がない。また、従来のように単なる「発話ボタン」を押して発話する場合に比べ、本実施の形態１では「ナビ」、「ＡＶ」などの名称が表示されたボタンを押してそのボタンに関連する音声認識キーワードを発話するようにしたので、直感的で分かりやすい音声操作を実現でき、「何をしゃべったらよいか分からない」という音声操作の問題点を解決することができる。さらに、操作ステップ数と操作時間を短縮することができる。
また、実施の形態１によれば、車載用情報装置は、処理に対応付けられた音声認識キーワードからなる音声認識辞書を格納している音声認識辞書ＤＢ７と、この音声認識辞書ＤＢ７のうち、タッチ動作のなされたボタン（即ち、項目名）に関連する処理に対応付けられた音声認識辞書に切り換える音声認識辞書切換部８とを備え、音声−コマンド変換部１０は、音声認識辞書切換部８が切り換えた音声認識辞書を用いて、タッチ動作と略同時かそれに続くユーザ発話の音声認識を行うように構成した。このため、タッチ動作のなされたボタンに関連する音声認識キーワードに絞り込むことができ、音声認識率を向上できる。
実施の形態２．
上記実施の形態１では、例えば図８に示す電話帳リスト画面Ｐ２２のようなリスト項目を表示したリスト画面も、リスト画面以外の画面も区別なく同じ動作を行ったが、本実施の形態２ではリスト画面を表示している場合にこの画面により適した動作を行う構成にする。具体的には、リスト画面においてリスト項目に関連した音声認識辞書を動的に作成し、また、スクロールバーへのタッチ動作を検出してリスト項目を選択するなどの音声操作入力を判定する。
図１２は、本実施の形態２に係る車載用情報装置の構成を示すブロック図である。この車載用情報装置は、新たに音声認識対象語辞書作成部２０を備える。その他、図１２において図１と同一または相当の部分については同一の符号を付し、詳細な説明を省略する。
タッチ入力検出部１ａは、リスト画面が表示されている場合に、タッチディスプレイからの入力信号に基づいて、ユーザがスクロールバー（の表示エリア）にタッチしたか否かを検出する。
入力切換制御部４ａは、入力方法判定部２の判定結果（タッチ操作または音声操作）に基づき、ユーザがどちらの入力操作を行っているかを状態遷移制御部５へ伝えると共に、アプリケーション実行部１１ａにも伝える。
アプリケーション実行部１１ａは、入力切換制御部４ａからタッチ操作が通知された場合、リスト画面に対してリストのスクロールを行う。
また、アプリケーション実行部１１ａは、入力切換制御部４ａから音声操作が通知された場合には上記実施の形態１と同様に、データ格納部１２に格納された各種データを利用して、状態遷移制御部５から通知されたアプリケーション実行命令に応じた画面遷移またはアプリケーション機能の実行を行う。
音声認識対象語辞書作成部２０は、アプリケーション実行部１１ａから画面表示するリスト項目の一覧データを取得し、音声認識辞書ＤＢ７を用いて取得したリスト項目に関連した音声認識対象語辞書を作成する。
音声認識部９ａは、リスト画面が表示されている場合に、音声認識対象語辞書作成部２０により作成された音声認識対象語辞書を参照して、マイクからの音声信号を音声認識処理して文字列などに変換し、音声−コマンド変換部１０へ出力する。
なお、車載用情報装置は、リスト画面以外の場合は上記実施の形態１と同様の処理を行えばよく、不図示の音声認識辞書切換部８が項目名に紐付けられた音声認識キーワード群からなる音声認識辞書への切り換えを音声認識部９ａに指示することになる。
次に、車載用情報装置の動作を説明する。
図１３は、実施の形態２に係る車載用情報装置の動作を示すフローチャートである。図１４は車載用情報装置による画面遷移例を示し、ここでは、車載用情報装置がアプリケーション実行部１１の機能の一つである電話機能の電話帳リスト画面Ｐ５１をタッチディスプレイ上に表示していることとする。
ステップＳＴ２００においてタッチ入力検出部１ａが、タッチディスプレイ上に表示されたスクロールバーにユーザがタッチしたか否かを検出する。また、タッチを検出した場合（ステップＳＴ２００“ＹＥＳ”）、タッチ入力検出部１ａはタッチディスプレイからの出力信号に基づいて、どのようにタッチされたかを示すタッチ信号（スクロールしようとする操作か一定時間触れる操作か等）を出力する。
ステップＳＴ２１０においてタッチ−コマンド変換部３が、タッチ入力検出部１ａから入力されるタッチ信号に基づいてスクロールバーのコマンド（項目名、項目値）である（スクロールバー、スクロールバー）に変換して出力する。
ステップＳＴ２２０において入力方法判定部２が、タッチ入力検出部１ａから入力されるタッチ信号に基づいてユーザがタッチ操作を行おうとしているのか音声操作を行おうとしているのか入力方法を判定して出力する。この入力方法の判定処理は、図４に示すフローチャートのとおりである。なお、上記実施の形態１では図５の判定条件に従って、例えばボタンを押し込む操作を示すタッチ信号のときタッチ操作モード、ボタンに一定時間触れる操作を示すタッチ信号のとき音声操作モードと判定したが、本実施の形態２では、スクロールバーを押しながらスクロールしようとする操作を示すタッチ信号のときタッチ操作モード、スクロールバーに単に一定時間触れる操作を示すタッチ信号のとき音声操作モードと判定する等、判定条件を適宜設定すればよい。
ステップＳＴ２３０において状態遷移制御部５は、入力切換制御部４ａから入力される判定結果がタッチ操作モードなら（ステップＳＴ２３０“ＹＥＳ”）、続くステップＳＴ２４０において、タッチ−コマンド変換部３から入力されるコマンドを、状態遷移表記憶部６の状態遷移表に基づいてアプリケーション実行命令へ変換する。
ここで、図１５に、本実施の形態２の状態遷移表記憶部６が有する状態遷移表の一例を示す。この状態遷移表には、各画面（Ｐ５１、Ｐ６１、Ｐ７１）に表示されているスクロールバーに対応するコマンドが設定されており、項目名は「スクロールバー」である。
コマンドの項目値は、項目名と同じ「スクロールバー」と付けられているものと、違う名前が付けられているものとがある。項目名と項目値が同じコマンドはタッチ操作入力の場合に使用するコマンドであり、項目名と項目値が異なるコマンドは主に音声操作入力の場合に使用するコマンドである。
コマンド（スクロールバー、スクロールバー）に対応するアプリケーション実行命令には、遷移先画面として「遷移しない」が設定され、アプリケーション実行機能としてタッチ操作に合わせて「リストスクロールする」が設定されている。従って、ステップＳＴ２４０において状態遷移制御部５は、タッチ−コマンド変換部３から入力されるコマンド（スクロール、スクロール）を、「画面遷移せず、リストスクロールする」というアプリケーション実行命令に変換する。
続くステップＳＴ２６０において、状態遷移制御部５から「画面遷移せず、リストスクロールする」というアプリケーション実行命令を受けたアプリケーション実行部１１ａは、現在表示しているリスト画面のリストをスクロールすることになる。
一方、入力切換制御部４ａから入力される判定結果が音声操作モードなら（ステップＳＴ２３０“ＮＯ”）、ステップＳＴ２５０に進み、音声操作入力によりアプリケーション実行命令を生成する。
ここで、図１６に示すフローチャートを用いて、音声操作入力によるアプリケーション実行命令の生成方法を説明する。
ステップＳＴ２５１において音声認識対象語辞書作成部２０は、入力切換制御部４ａから音声操作入力の判定結果の通知を受けると、アプリケーション実行部１１ａから現在タッチディスプレイに表示しているリスト画面のリスト項目の一覧データを取得する。
続くステップＳＴ２５２において音声認識対象語辞書作成部２０は、取得したリスト項目に関連する音声認識対象語辞書を作成する。
図１７は、音声認識対象語辞書を説明する図である。この音声認識対象語辞書には、（１）リストに並んでいる項目の音声認識キーワード、（２）リスト項目を絞り込み検索する音声認識キーワード、（３）リストに並んでいる項目の下層画面にあるすべての音声認識キーワードの三種類がある。
（１）は、例えば電話帳リスト画面に並んでいる氏名（秋山○○、加藤○○、鈴木○○、田中○○、山田○○など）である。
（２）は、例えば現在地周辺の施設のうち「コンビニ」を検索した結果を示す周辺施設検索結果画面に並んでいるコンビニブランド名（Ａコンビニ、Ｂコンビニ、Ｃコンビニ、Ｄコンビニ、Ｅコンビニなど）である。
（３）は、例えば周辺施設ジャンル選択画面１に並んでいる「買い物」項目の下層画面に含まれるジャンル名（コンビニ、デパートなど）、ジャンル名の各下層画面に含まれるコンビニブランド名（○○コンビニなど）、デパートブランド名（△△デパートなど）と、「宿泊」項目の下層画面に含まれるジャンル名（ホテルなど）、ジャンル名の各下層画面に含まれるホテルブランド名（□□ホテルなど）と、この他にも「交通」および「食事」の下層画面の音声認識キーワードとを含む。これにより、現在表示している画面より下層の画面へジャンプ遷移したり、下層の画面にある機能を直接実行したりできるようになる。
続くステップＳＴ２５３において音声認識部９ａが、マイクから入力される音声信号に対して、音声認識対象語辞書作成部２０が作成した音声認識対象語辞書を用いて音声認識処理を行い、音声操作入力を検出して出力する。例えば図１４に示す電話帳リスト画面Ｐ５１において、ユーザがスクロールバーに一定時間触れた場合（または半押し、ダブルタップ、長押しなど）、音声認識対象語辞書として、秋山○○などの氏名の項目を音声認識キーワードとして含む辞書が作成される。従って、リストに関連した音声認識キーワードに絞り込まれ、音声認識率の向上が期待できる。
続くステップＳＴ２５４において音声−コマンド変換部１０は、音声認識部９ａから入力される音声認識結果をコマンド（項目値）に変換して出力する。
ステップＳＴ２５５において状態遷移制御部５が、状態遷移表記憶部６に格納されている状態遷移表に基づいて、入力切換制御部４ａから入力される項目名と音声−コマンド変換部１０から入力される項目値とからなるコマンド（項目名、項目値）をアプリケーション実行命令へ変換する。
ここで、音声操作入力の場合に、コマンドからアプリケーション実行命令に変換する例を説明する。
現在の状態は、図１４に示す電話帳リスト画面Ｐ５１である。そして、ユーザがスクロールバーに一定時間触れながら音声認識キーワード「山田○○」と発話した場合、入力切換制御部４ａから状態遷移制御部５に入力される項目名はスクロールである。また、音声−コマンド変換部１０から状態遷移制御部５に入力される項目値は山田○○である。よって、コマンド（スクロールバー、山田○○）となる。
コマンド（スクロールバー、山田○○）は、図１５の状態遷移表によれば、「電話帳画面Ｐ５２へ画面遷移し、山田○○の電話帳を表示する」というアプリケーション実行命令に変換される。これにより、ユーザは、リスト項目の下方に並んでいてリスト画面に表示されていない「山田○○」などのリスト項目を容易に選択および決定することができる。
また例えば、現在の状態が、図１８に示す周辺施設検索結果画面Ｐ６１であるとする。そして、ユーザがスクロールバーに一定時間触れながら音声認識キーワード「Ａコンビニ」と発話した場合、音声−コマンド変換部１０から状態遷移制御部５に入力される項目値はＡコンビニとなるので、コマンド（スクロールバー、Ａコンビニ）となる。
コマンド（スクロールバー、Ａコンビニ）は、図１５の状態遷移表によれば、「画面遷移せず、Ａコンビニで絞込み検索を行い、検索結果を表示する」というアプリケーション実行命令に変換される。これにより、ユーザは容易に、リスト項目を絞り込み検索することができる。
また例えば、現在の状態が、図１９に示す周辺施設ジャンル選択画面１Ｐ７１であるとする。そして、ユーザがスクロールバーに一定時間触れながら音声認識キーワード「Ａコンビニ」と発話した場合、音声−コマンド変換部１０から状態遷移制御部５に入力される項目値はＡコンビニとなるので、この場合もコマンド（スクロールバー、Ａコンビニ）となる。
図１５の状態遷移表によれば、同じコマンド（スクロールバー、Ａコンビニ）であっても、現在の状態に応じてアプリケーション実行命令が異なる。よって、周辺施設ジャンル選択画面１Ｐ７１の場合のコマンド（スクロールバー、Ａコンビニ）は、「周辺施設検索結果画面Ｐ７４に画面遷移し、Ａコンビニ周辺施設を検索し、検索結果を表示する」というアプリケーション実行命令に変換される。これにより、ユーザは容易に、表示中のリスト画面より下層の画面に遷移したり、下層のアプリケーション機能を実行したりすることができる。
続くステップＳＴ２５６において状態遷移制御部５が、コマンドから変換したアプリケーション実行命令をアプリケーション実行部１１ａへ出力する。
説明を図１３のフローチャートに戻す。ステップＳＴ２６０においてアプリケーション実行部１１ａは、状態遷移制御部５から入力されるアプリケーション実行命令に従って、データ格納部１２から必要なデータを取得して、画面遷移および機能実行の一方、または両方を行う。続くステップＳＴ２７０において出力制御部１３が、アプリケーション実行部１１ａの画面遷移および機能実行の結果を表示および音などにより出力する。アプリケーション実行部１１ａおよび出力制御部１３の動作は、上記実施の形態１と同様のため、説明は省略する。
なお、図１３および図１６のフローチャートでは、ステップＳＴ２００にてリスト画面のスクロールバーへのタッチが検出された後に、ステップＳＴ２５２にて音声認識対象語辞書作成部２０が音声認識対象語辞書を作成する構成にしたが、辞書作成のタイミングはこれに限定されるものではない。例えば、リスト画面に遷移したとき（アプリケーション実行部１１ａがリスト画面を生成したタイミング、または出力制御部１３がリスト画面を表示したタイミング）でそのリスト画面に関する音声認識対象語辞書を作成するように構成してもよい。
また、ナビ機能における周辺施設ジャンル選択画面（図１９のＰ７１〜Ｐ７３）のように、画面表示するリスト項目が予め決まっているような場合は、そのリスト画面用の音声認識対象語辞書を用意しておいてもよい。そして、リスト画面のスクロールバーが検出された場合またはリスト画面に遷移した場合に、予め用意されている音声認識対象語辞書に切り換えればよい。
以上より、実施の形態２によれば、車載用情報装置は、グループ分けされ、さらに当該グループ内で階層化されたリスト項目のデータを格納しているデータ格納部１２と、リスト項目に対応付けられた音声認識キーワードを格納している音声認識辞書ＤＢ７と、データ格納部１２に格納されたデータのうちの各グループの所定階層の項目が並んだリスト画面のスクロールバーがタッチ動作された場合、音声認識辞書ＤＢ７のうち、このリスト画面に並ぶ各リスト項目とその下層のリスト項目に対応付けられた音声認識キーワードを抽出して音声認識対象語辞書を作成する音声認識対象語辞書作成部２０とを備え、音声−コマンド変換部１０は、音声認識対象語辞書作成部２０が作成した音声認識対象語辞書を用いてスクロールバーエリアへのタッチ動作と略同時かそれに続くユーザ発話の音声認識を行い、リスト画面に並ぶ各リスト項目かその下層のリスト項目に対応付けられた音声認識キーワードを取得するように構成した。このため、リスト画面のスクロールバーへのタッチ動作の状態に応じて、通常のタッチスクロール操作と、そのリストに関連する音声操作とを切り換えて入力することができる。また、ユーザはスクロールバーにタッチしながら目的のリスト項目を発話するだけでこのリスト画面の中から目的の項目を選択・決定したり、現在のリスト画面からさらに下層のリスト項目を絞り込んだり、現在のリスト画面の下層にある画面へジャンプ遷移したりアプリケーション機能を実行したりすることができる。よって、操作ステップ数および操作時間を短縮できる。また、従来のように予め決められた音声認識キーワードを覚えることなく、直感的にリスト画面を音声操作することができる。さらに、画面表示されたリスト項目に関連する音声認識キーワードに絞り込むことができ、音声認識率を向上できる。
なお、上述した通り、音声認識対象語辞書作成部２０が音声認識対象語辞書を作成するタイミングは、スクロールバーがタッチ動作された後でなく、リスト画面を表示するときであってもよい。また、抽出する音声認識キーワードは、リスト画面に並ぶ各リスト項目とその下層のリスト項目に対応付けられたものでなくてもよく、例えばリスト画面に並ぶ各リスト項目だけでもよいし、あるいはリスト画面に並ぶ各リスト項目とその１つ下層のリスト項目でもよいし、あるいはリスト画面に並ぶ各リスト項目とその全ての下層のリスト項目でもよい。
実施の形態３．
図２０は、本実施の形態３に係る車載用情報装置の構成を示すブロック図である。この車載用情報装置は、新たに出力方法決定部３０と出力データ記憶部３１とを備え、タッチ操作モードか音声操作モードかをユーザに報知する。その他、図２０において図１と同一または相当の部分については同一の符号を付し、詳細な説明を省略する。
入力切換制御部４ｂは、入力方法判定部２の判定結果（タッチ操作モードまたは音声操作モード）に基づき、ユーザがどちらの入力操作を希望したかを状態遷移制御部５へ伝えると共に、出力方法決定部３０にも伝える。また、入力切換制御部４ｂは、音声操作入力判定時にはタッチ−コマンド変換部３から入力されるコマンドのうちの項目名を出力方法決定部３０に出力する。
出力方法決定部３０は、入力切換制御部４ｂからタッチ操作モードが通知された場合、タッチ操作入力であることをユーザに通知する出力方法（タッチ操作モードを示すボタン色、効果音、タッチディスプレイのクリック感および振動方法など）を決定し、必要に応じて出力データを出力データ記憶部３１から取得して出力制御部１３ｂへ出力する。
また、出力方法決定部３０は、入力切換制御部４ｂから音声操作モードが通知された場合、音声操作入力であることをユーザに通知する出力方法（音声操作モードを示すボタン色、効果音、タッチディスプレイのクリック感および振動方法、音声認識マーク、音声ガイダンスなど）を決定し、この音声操作の項目名に対応する出力データを出力データ記憶部３１から取得して出力制御部１３ｂへ出力する。
出力データ記憶部３１は、入力方法がタッチ操作入力であるか音声操作入力であるかをユーザに通知するために用いるデータを格納している。データとしては、例えばタッチ操作モードか音声操作モードかをユーザが識別可能な効果音データ、音声操作モードを報知する音声認識マークの画像データ、ユーザがタッチしたボタン（項目名）に対応した音声認識キーワードの発話を促す音声ガイダンスデータなどがある。
なお、図示例では出力データ記憶部３１を個別に設けたが、他の記憶装置で兼用してもよく、例えば状態遷移表記憶部６またはデータ格納部１２に出力データを格納してもよい。
出力制御部１３ｂは、アプリケーション実行部１１の実行結果をタッチディスプレイに画面表示したり、スピーカから音声出力したりする際に、入力切換制御部４ｂから入力される出力方法に従ってボタン色をタッチ操作モードと音声操作モードで変更したり、タッチディスプレイのクリック感を変更したり、振動方法を変更したり、音声ガイダンスを出力したりする。出力方法は、これらのうちのいずれか１種類であってもよいし、任意に複数の種類を組み合わせてもよい。
次に、車載用情報装置の動作を説明する。
図２１は、実施の形態３に係る車載用情報装置の出力方法制御動作を示すフローチャートである。図２１のステップＳＴ１００〜ＳＴ１３０は、図２のステップＳＴ１００〜ＳＴ１３０と同一の処理であるため説明を省略する。
入力方法の判定結果がタッチ操作なら（ステップＳＴ１３０“ＹＥＳ”）、入力切換制御部４ｂが出力方法決定部３０へその旨を通知する。続くステップＳＴ３００において出力方法決定部３０は、入力切換制御部４ｂからタッチ操作入力である旨の通知を受け、アプリケーション実行結果の出力方法を決定する。例えば、画面のボタンをタッチ操作用のボタン色に変更したり、タッチディスプレイ上をユーザがタッチしたときの効果音、クリック感および振動をタッチ操作用に変更したりする。
一方、入力方法の判定結果が音声操作なら（ステップＳＴ１３０“ＮＯ”）、入力切換制御部４ｂが出力方法決定部３０へ音声操作入力である旨とそのコマンド（項目名）とを通知する。続くステップＳＴ３１０において出力方法決定部３０は、入力切換制御部４ｂから音声操作入力である旨の通知を受け、アプリケーション実行結果の出力方法を決定する。例えば、画面のボタンを音声操作用のボタン色に変更したり、タッチディスプレイ上をユーザがタッチしたときの効果音、クリック感および振動を音声操作用に変更したりする。また、出力方法決定部３０は、入力方法判定時にタッチされたボタンの項目名に基づいた音声ガイダンスデータを出力データ記憶部３１から取得する。
続くステップＳＴ３２０において出力制御部１３ｂは、出力方法決定部３０からの指示に従って表示、音、クリック、振動などの出力を行う。
ここで、出力の具体例を説明する。図２２は、音声操作入力と判定された場合の電話画面である。この電話画面を表示している場合に、ユーザが「電話帳」ボタンを一定時間触れたとする。この場合、出力方法決定部３０は入力切換制御部４ｂから音声操作入力である旨の通知を受け、かつ、項目名（電話帳）を受け取る。続いて出力方法決定部３０は、出力データ記憶部３１から音声認識マークのデータを取得して、「電話帳」ボタン付近に音声認識マークを表示する指示を出力制御部１３ｂへ出力する。そして、出力制御部１３ｂが、ユーザがタッチした「電話帳」ボタンから音声認識マークが吹き出るように、電話画面上の電話帳ボタン付近に音声認識マークを重畳配置してタッチディスプレイへ出力する。
これにより、音声操作入力に切り替わった状態であること、およびどのボタンに関連した音声操作を行う状態であるかがユーザに分かりやすく示すことができる。この状態でユーザが「山田○○」と発話すれば、発呼機能のある下層の電話帳画面を表示させることができる。
また例えば、図２２において、音声操作入力である旨の通知を受けた出力方法決定部３０が、項目名（電話帳）に紐付けて格納されている音声ガイダンス「どなたに電話をかけますか」のデータを出力データ記憶部３１から取得して、出力制御部１３ｂへ出力する。そして、出力制御部１３ｂが、この音声ガイダンスデータをスピーカへ出力する。
また例えば、図１１Ａのナビメニュー画面Ｐ３２において、「周辺施設を探す」ボタンにユーザが一定時間触れたとする。この場合、出力方法決定部３０は入力切換制御部４ｂから音声操作入力である旨の通知を受け、かつ、項目名（周辺施設を探す）を受け取る。そして、出力方法決定部３０が、この項目名に紐付けられた「どちらの施設へ行きますか」、「施設名称をお話ください」といった音声ガイダンスデータを出力データ記憶部３１より取得して、出力制御部１３ｂへ出力する。
これにより、タッチされたボタンに応じた発話すべき内容を音声ガイダンスによりユーザに問いかけながら、より自然と音声操作入力に導くことができる。
これは、一般的な音声操作入力で使われているような発話ボタンを押下したときに出力される「ピッとなったらお話ください」という音声ガイダンスに比べ、分かりやすいガイダンス内容といえる。
なお、上記説明では出力方法決定部３０および出力データ記憶部３１を実施の形態１に係る車載用情報装置に適用した場合の例を説明したが、実施の形態２に係る車載用情報装置に適用してもよいことは言うまでもない。
図２３は、音声操作入力時のリスト画面の一例である。実施の形態２ではユーザがスクロールバーに一定時間触れた場合に音声操作入力に切り換わる。この場合に、出力方法決定部３０が、そのリスト画面上のスクロールバー付近に音声認識マークを重畳配置するよう制御して、ユーザに音声操作入力の状態である旨をユーザに報知する。
以上より、実施の形態３によれば、車載用情報装置は、入力切換制御部４ｂからタッチ操作モードまたは音声操作モードの指示を受け、出力部による実行結果の出力方法を当該指示されたモードに応じて決定する出力方法決定部３０を備え、出力制御部１３ｂは、出力方法決定部３０が決定した出力方法に従って出力部を制御するように構成した。このため、タッチ操作モードと音声操作モードで異なるフィードバックを返すことで、どちらの操作モード状態なのかをユーザに直感的に伝えることができる。
また、実施の形態３によれば、車載用情報装置は、コマンド（項目値）に対応付けられた音声認識キーワードの発話をユーザに促す音声ガイダンスデータを、コマンド（項目名）毎に格納している出力データ記憶部３１を備え、出力方法決定部３０は、入力切換制御部４ｂから音声操作モードの指示を受けた場合、タッチ−コマンド変換部３の生成したコマンド（項目名）に対応する音声ガイダンスデータを出力データ記憶部３１から取得して出力制御部１３ｂへ出力し、出力制御部１３ｂは、出力方法決定部３０の出力した音声ガイダンスデータをスピーカから出力させるように構成した。このため、音声操作モードになったときに、タッチ動作のなされたボタンに合わせた音声ガイダンスを出力することができ、ユーザが自然と音声認識キーワードを発話できるように導くことが可能となる。
なお、上記実施の形態１〜３では、ＡＶ機能、電話機能、ナビ機能を例にアプリケーションを説明したが、これ以外のアプリケーションであってもよいことは言うまでもない。例えば図１の場合、車載用情報装置が車載のエアコンを運転、停止させるコマンド、設定温度を上下させるコマンドなどの入力を受け付け、データ格納部１２に格納されているエアコン機能のデータを用いてエアコンを制御するようにしてもよい。また、データ格納部１２にユーザの好みのＵＲＬを記憶させておき、ネットワーク１４を介してそのＵＲＬのデータを取得して表示するコマンドなどの入力を受け付け、画面表示するようにしてもよい。さらに、これ以外の機能を実行するアプリケーションであってもよい。
また、車載用の情報装置を例に説明したが、車載用に限定されるものではなく、車両への持ち込みが可能なＰＮＤ（Ｐｏｒｔａｂｌｅ／Ｐｅｒｓｏｎａｌ Ｎａｖｉｇａｔｉｏｎ Ｄｅｖｉｃｅ）およびスマートフォンなどの携帯端末のユーザインタフェース装置に適用してもよい。さらに、車両向けに限らず、家庭用電気製品などのユーザインタフェース装置に適用してもよい。
また、このユーザインタフェース装置をコンピュータで構成する場合、タッチ入力検出部１、入力方法判定部２、タッチ−コマンド変換部３、入力切換制御部４、状態遷移制御部５、状態遷移表記憶部６、音声認識辞書ＤＢ７、音声認識辞書切換部８、音声認識部９、音声−コマンド変換部１０、アプリケーション実行部１１、データ格納部１２、出力制御部１３、音声認識対象語辞書作成部２０、出力方法決定部３０、出力データ記憶部３１の処理内容を記述している情報処理プログラムをコンピュータのメモリに格納し、コンピュータのＣＰＵがメモリに格納されている情報処理プログラムを実行するようにしてもよい。
実施の形態４．
上記実施の形態１〜３では、タッチディスプレイに表示されたボタン（およびリスト、スクロールバーなど）へのタッチ動作の状態（短押しか長押しかなど）によって、タッチ操作モード（ボタン機能の実行）と音声操作モード（ボタンに関連する音声認識の起動）とを切り換える構成にしたが、タッチディスプレイのボタンだけでなく、機械的なハードボタンなどの入力デバイスへのタッチ動作の状態によってもタッチ操作モードと音声操作モードとを切り換えることが可能である。そこで、本実施の形態４および後述する実施の形態５〜１０では、ハードボタンなどの入力デバイスへのタッチ動作の状態によって操作モードを切り換える情報装置を説明する。
本実施の形態４に係る車載用情報装置は、図１、図１２または図２０に示す車載用情報装置と図面上では同様の構成であるため、以下では図１、図１２および図２０を援用して説明する。
上記実施の形態１〜３の車載用情報装置はタッチディスプレイを入力デバイスに用いたが、ここでは入力デバイスの例として下記（１）〜（６）を用いる。
（１）ハードボタンとタッチディスプレイを組み合わせた例
（２）ハードボタンとディスプレイを組み合わせた例
（３）ディスプレイの表示項目に対応したハードボタンのみの例
（４）ディスプレイとジョイスティックなどのカーソル操作用ハードデバイスを組み合わせた例
（５）ディスプレイとタッチパッドを組み合わせた例
（６）ハードボタンのみの例
ハードボタンとは、機械的な物理ボタンのことであり、リモートコントローラ（以下、リモコン）のゴムボタン、薄型の携帯電話に使われているようなシートキーを含む。カーソル操作用ハードデバイスの詳細は後述する。
ハードボタンの場合、車載用情報装置のタッチ入力検出部１は、ユーザによるハードボタンの押し方を検出し、入力方法判定部２において入力方法が２つの操作モードのいずれであるか判定する。
例えば、触感センサが無いハードボタンの場合、短押しか長押しかによって入力方法を判定してもよいし、１回押しか２回押しかによって入力方法を判定してもよい。触感センサがあるハードボタンの場合、ユーザがハードボタンに触れたか押したかによって入力方法を判定してもよい。半押しを検出可能なハードボタン（例えば、カメラのシャッターボタン）の場合、半押しか全押しかによって入力方法を判定してもよい。
このように、１つのハードボタンに対して２種類のタッチ動作を使い分けることにより、１つのハードボタンに対してタッチ操作と音声操作のどちらの操作により入力を行おうとしているかの判定を行うことができる。
以下、具体例を説明する。
（１）ハードボタンとタッチディスプレイを組み合わせた例
図２４は車載用情報装置が備える（または車載用情報装置に接続する）ハードボタン１００〜１０５とタッチディスプレイ１０６の構成例を示す図である。ここでは、タッチディスプレイ１０６の周辺にハードボタン１００〜１０５が設置され、各ハードボタン１００〜１０５には、アプリケーション実行部１１で実行可能な上位階層の機能の項目名が関連付けられている。この例では、ハードボタン１００〜１０５が短押しされた場合にタッチ操作モードと判定し、長押しされた場合に音声操作モードと判定する。
図２５に示すように、「ＰＨＯＮＥ」ハードボタン１０３が短押しされた場合、タッチ入力検出部１がこの短押しを検出してタッチ信号を出力する。タッチ−コマンド変換部３は、タッチ信号をコマンド（ＰＨＯＮＥ、ＰＨＯＮＥ）に変換する。また、入力方法判定部２が、タッチ信号に基づいて入力方法がタッチ操作モードであることを判定し、この判定を受けた状態遷移制御部５がコマンド（ＰＨＯＮＥ、ＰＨＯＮＥ）をアプリケーション実行命令へ変換してアプリケーション実行部１１に出力する。アプリケーション実行部１１は、アプリケーション実行命令に基づいてタッチディスプレイ１０６にＰＨＯＮＥメニューを表示させる。ＰＨＯＮＥメニュー画面には「電話帳」ボタン、「番号入力」ボタンなどが表示され、各ボタンにはＰＨＯＮＥメニューより１つ下層の電話帳、番号入力などの機能が関連付けられている。ユーザはタッチディスプレイ１０６を用いてこれらのボタン操作を行う。
他方、図２６に示すように、「ＰＨＯＮＥ」ハードボタン１０３が長押しされた場合、入力方法判定部２はタッチ信号に基づいて入力方法が音声操作モードであることを判定し、入力切換制御部４から音声認識辞書切換部８へコマンドの項目名（ＰＨＯＮＥ）を出力してＰＨＯＮＥに関連した音声認識辞書に切り換えさせる。そして、音声認識部９が、ＰＨＯＮＥに関連した音声認識辞書を用いて音声認識処理を行い、ユーザがハードボタン１０３へのタッチ動作に続いて発話する音声操作入力を検出する。音声−コマンド変換部１０は、音声認識部９の音声認識結果をコマンド（項目値）に変換して状態遷移制御部５へ出力し、アプリケーション実行部１１が項目値に該当する電話番号の検索を実行する。
なお、車載用情報装置を図２０のように構成して、音声操作モードに切り替わったことを表す効果音または表示（例えば、図２６に示すような音声認識マークの表示）などを出力してもよい。また、ユーザに発話を促す音声ガイダンス（例えば、「誰に電話をかけますか？」という音声）を出力してもよいし、文章として表示してもよい。
以上より、実施の形態４によれば、車載用情報装置は、ハードボタン１００〜１０５の出力信号に基づいてタッチ動作を検出するタッチ入力検出部１と、タッチ入力検出部１の検出結果に基づいてタッチ動作のなされたハードボタン１００〜１０５に対応する処理を実行させるための項目名を含むコマンド（項目名、項目値）を生成するタッチ−コマンド変換部３と、処理に対応付けられた音声認識キーワードからなる音声認識辞書を用いて、タッチ動作と略同時かそれに続くユーザ発話を音声認識する音声認識部９と、音声認識結果に対応する処理を実行させるためのコマンド（項目値）に変換する音声−コマンド変換部１０と、タッチ入力検出部１の検出結果に基づいてタッチ動作の状態がタッチ操作モードを示すものか音声操作モードを示すものかを判定する入力方法判定部２と、入力方法判定部２の判定結果に応じてタッチ操作モードか音声操作モードかを切り換える入力切換制御部４と、入力切換制御部４からタッチ操作モードの指示を受けた場合にコマンド（項目名、項目値）をタッチ−コマンド変換部３から取得してアプリケーション実行命令に変換し、入力切換制御部４から音声操作モードの指示を受けた場合に入力切換制御部４から項目名、音声−コマンド変換部１０から項目値を取得してアプリケーション実行命令に変換する状態遷移制御部５と、アプリケーション実行命令に従って処理を実行するアプリケーション実行部１１と、アプリケーション実行部１１の実行結果を出力するタッチディスプレイ１０６などの出力部を制御する出力制御部１３とを備えるように構成した。このため、ハードボタンへのタッチ動作の状態に応じてタッチ操作モードか音声操作モードかを判定するので、１つのハードボタンで通常のタッチ操作とそのハードボタンに関連する音声操作とを切り換えて入力することができる。また、上記実施の形態１〜３と同様の効果もある。
実施の形態５．
本実施の形態５に係る車載用情報装置は、図１、図１２または図２０に示す車載用情報装置と図面上では同様の構成であるため、以下では図１、図１２および図２０を援用して説明する。
（２）ハードボタンとディスプレイを組み合わせた例
図２７は車載用情報装置が備える（または車載用情報装置に接続する）ハードボタン１０３〜１０５とディスプレイ１０８の構成例を示し、これらディスプレイ１０８とハードボタン１０３〜１０５は車両のハンドル１０７周辺に設置されているものとする。また、ディスプレイ１０８にハードボタン１０３〜１０５の項目名が表示されている。なお、ディスプレイ１０８とハードボタン１０３〜１０５はどこに配置されていてもよい。
この例では、ハードボタン１０３〜１０５が短押しされた場合にタッチ操作モードと判定し、長押しされた場合に音声操作モードと判定する。
「ＰＨＯＮＥ」ハードボタン１０３が短押しされた場合、タッチ入力検出部１がこの短押しを検出してタッチ信号を出力する。タッチ−コマンド変換部３は、タッチ信号をコマンド（ＰＨＯＮＥ、ＰＨＯＮＥ）に変換する。また、入力方法判定部２が、タッチ信号に基づいて入力方法がタッチ操作モードであることを判定し、この判定を受けた状態遷移制御部５がコマンド（ＰＨＯＮＥ、ＰＨＯＮＥ）をアプリケーション実行命令へ変換してアプリケーション実行部１１に出力する。アプリケーション実行部１１は、アプリケーション実行命令に基づいてディスプレイ１０８にＰＨＯＮＥメニュー（例えば、図２５に示したＰＨＯＮＥメニュー画面）を表示させる。なお、ＰＨＯＮＥメニュー画面に対する操作方法は問わない。例えば、ユーザが不図示のジョイスティックまたは回転ダイヤルなどの入力デバイスを操作すればよい。
他方、「ＰＨＯＮＥ」ハードボタン１０３が長押しされた場合、入力方法判定部２はタッチ信号に基づいて入力方法が音声操作モードであることを判定し、入力切換制御部４から音声認識辞書切換部８へコマンドの項目名（ＰＨＯＮＥ）を出力してＰＨＯＮＥに関連した音声認識辞書に切り換えさせる。そして、音声認識部９が、ＰＨＯＮＥに関連した音声認識辞書を用いて音声認識処理を行い、ユーザがハードボタン１０３へのタッチ動作に続いて発話する音声操作入力を検出する。音声−コマンド変換部１０は、音声認識部９の音声認識結果をコマンド（項目値）に変換して状態遷移制御部５へ出力し、アプリケーション実行部１１が項目値に該当する電話番号の検索を実行する。
なお、車載用情報装置を図２０のように構成して、音声操作モードに切り替わったことを表す効果音または表示（例えば、図２７に示すような音声認識マークの表示）などを出力してもよいし、ユーザに発話を促す音声ガイダンス（例えば、「誰に電話をかけますか？」という音声）を出力してもよい。さらに、図２８に示すような、ユーザに発話を促す文章をディスプレイ１０８に表示してもよい。
以上より、実施の形態５によれば、車載用情報装置は、ハードボタン１０３〜１０５の出力信号に基づいてタッチ動作を検出するタッチ入力検出部１と、タッチ入力検出部１の検出結果に基づいてタッチ動作のなされたハードボタン１０３〜１０５に対応する処理を実行させるための項目名を含むコマンド（項目名、項目値）を生成するタッチ−コマンド変換部３と、処理に対応付けられた音声認識キーワードからなる音声認識辞書を用いて、タッチ動作と略同時かそれに続くユーザ発話を音声認識する音声認識部９と、音声認識結果に対応する処理を実行させるためのコマンド（項目値）に変換する音声−コマンド変換部１０と、タッチ入力検出部１の検出結果に基づいてタッチ動作の状態がタッチ操作モードを示すものか音声操作モードを示すものかを判定する入力方法判定部２と、入力方法判定部２の判定結果に応じてタッチ操作モードか音声操作モードかを切り換える入力切換制御部４と、入力切換制御部４からタッチ操作モードの指示を受けた場合にコマンド（項目名、項目値）をタッチ−コマンド変換部３から取得してアプリケーション実行命令に変換し、入力切換制御部４から音声操作モードの指示を受けた場合に入力切換制御部４から項目名、音声−コマンド変換部１０から項目値を取得してアプリケーション実行命令に変換する状態遷移制御部５と、アプリケーション実行命令に従って処理を実行するアプリケーション実行部１１と、アプリケーション実行部１１の実行結果を出力するディスプレイ１０８などの出力部を制御する出力制御部１３とを備えるように構成した。このため、ハードボタンへのタッチ動作の状態に応じてタッチ操作モードか音声操作モードかを判定するので、１つのハードボタンで通常のタッチ操作とそのハードボタンに関連する音声操作とを切り換えて入力することができる。また、上記実施の形態１〜３と同様の効果もある。
実施の形態６．
本実施の形態６に係る車載用情報装置は、図１、図１２または図２０に示す車載用情報装置と図面上では同様の構成であるため、以下では図１、図１２および図２０を援用して説明する。
（３）ディスプレイの表示項目に対応したハードボタンのみの例
図２９は車載用情報装置が備える（または車載用情報装置に接続する）ハードボタン１００〜１０２とディスプレイ１０８の構成例を示し、これらディスプレイ１０８とハードボタン１００〜１０２は車両のハンドル１０７周辺に設置されているものとする。
この例では、ハードボタン１００〜１０２が短押しされた場合にタッチ操作モードと判定し、長押しされた場合に音声操作モードと判定する。
上記実施の形態４，５ではハードボタン１００〜１０５に特定の機能が関連付けされていたが、本実施の形態６では、上記実施の形態１〜３のタッチディスプレイ上のボタンのようにハードボタン１００〜１０２の機能を可変にする。図２９では、「１」ハードボタン１００の押下に連動して実行される「目的地を探す」機能と、「２」ハードボタン１０１の押下に連動して実行される「電話をかける」機能と、「３」ハードボタン１０２の押下に連動して実行される「音楽を聴く」機能とが画面表示されている。
図２９において、「目的地を探す」ハードボタン１００が短押しされた場合、タッチ入力検出部１がこの短押しを検出して、短押しされたハードボタンの位置情報を含むタッチ信号を出力する。タッチ−コマンド変換部３は、ハードボタンの位置情報に基づいてコマンド（目的地を探す、目的地を探す）を作成する。また、入力方法判定部２が、タッチ信号に基づいて入力方法がタッチ操作モードであることを判定し、この判定を受けた状態遷移制御部５がコマンド（目的地を探す、目的地を探す）をアプリケーション実行命令へ変換してアプリケーション実行部１１に出力する。アプリケーション実行部１１は、アプリケーション実行命令に基づいてディスプレイ１０８に図３０に示すような目的地設定画面を表示させる。目的地設定画面には、「１」ハードボタン１００の押下に連動して実行される「施設名称」を検索する機能と、「２」ハードボタン１０１の押下に連動して実行される「住所」を検索する機能と、「３」ハードボタン１０２の押下に連動して実行される「登録地」を検索する機能とが含まれている。
他方、図２９において、「目的地を探す」ハードボタン１００が長押しされた場合、入力方法判定部２はタッチ信号に基づいて入力方法が音声操作モードであることを判定し、入力切換制御部４から音声認識辞書切換部８へコマンドの項目名（目的地を探す）を出力して目的地検索に関連した音声認識辞書に切り換えさせる。そして、音声認識部９が、目的地検索に関連した音声認識辞書を用いて音声認識処理を行い、ユーザがハードボタン１００へのタッチ動作に続いて発話する音声操作入力を検出する。音声−コマンド変換部１０は、音声認識部９の音声認識結果をコマンド（項目値）に変換して状態遷移制御部５へ出力し、アプリケーション実行部１１が項目値を目的地とした検索を実行する。
なお、車載用情報装置を図２０のように構成して、音声操作モードに切り替わったことを表す効果音または表示（例えば、図３１に示すような音声認識マークの表示）などを出力してもよい。また、ユーザに発話を促す音声ガイダンス（例えば、「どこへ行きますか？」という音声）を出力してもよいし、文章として表示してもよい。
以上より、実施の形態６によれば、車載用情報装置は、ハードボタン１００〜１０２の出力信号に基づいてタッチ動作を検出するタッチ入力検出部１と、タッチ入力検出部１の検出結果に基づいてタッチ動作のなされたハードボタン１００〜１０２に対応する処理（遷移先画面およびアプリケーション実行機能の一方、または両方）を実行させるための項目名を含むコマンド（項目名、項目値）を生成するタッチ−コマンド変換部３と、処理に対応付けられた音声認識キーワードからなる音声認識辞書を用いて、タッチ動作と略同時かそれに続くユーザ発話を音声認識する音声認識部９と、音声認識結果に対応する処理を実行させるためのコマンド（項目値）に変換する音声−コマンド変換部１０と、タッチ入力検出部１の検出結果に基づいてタッチ動作の状態がタッチ操作モードを示すものか音声操作モードを示すものかを判定する入力方法判定部２と、入力方法判定部２の判定結果に応じてタッチ操作モードか音声操作モードかを切り換える入力切換制御部４と、入力切換制御部４からタッチ操作モードの指示を受けた場合にコマンド（項目名、項目値）をタッチ−コマンド変換部３から取得してアプリケーション実行命令に変換し、入力切換制御部４から音声操作モードの指示を受けた場合に入力切換制御部４から項目名、音声−コマンド変換部１０から項目値を取得してアプリケーション実行命令に変換する状態遷移制御部５と、アプリケーション実行命令に従って処理を実行するアプリケーション実行部１１と、アプリケーション実行部１１の実行結果を出力するディスプレイ１０８などの出力部を制御する出力制御部１３とを備えるように構成した。このため、ディスプレイに表示される項目に対応するハードボタンへのタッチ動作の状態に応じてタッチ操作モードか音声操作モードかを判定するので、１つのハードボタンで通常のタッチ操作とそのハードボタンに関連する音声操作とを切り換えて入力することができる。また、上記実施の形態４，５ではハードボタンと機能が固定されていたが、本実施の形態６ではハードボタンと機能の対応付けを可変としたので、様々な画面でタッチ操作モードと音声操作モードを切り換えて入力することができる。さらに、階層を降りていったどの段階でも、音声操作モードにより音声入力することができる。
実施の形態７．
本実施の形態７に係る車載用情報装置は、図１、図１２または図２０に示す車載用情報装置と図面上では同様の構成であるため、以下では図１、図１２および図２０を援用して説明する。
（４）ディスプレイとジョイスティックなどのカーソル操作用ハードデバイスを組み合わせた例
図３２は車載用情報装置が備える（または車載用情報装置に接続する）ディスプレイ１０８とジョイスティック１０９の構成例を示し、これらディスプレイ１０８とジョイスティック１０９は車両のハンドル１０７周辺に設置されているものとする。なお、ディスプレイ１０８とジョイスティック１０９はどこに配置されていてもよい。また、カーソル操作用ハードデバイスの一例としてジョイスティック１０９を図示したが、回転ダイヤル、上下セレクタなどの他の入力デバイスを用いてもよい。
この例では、ジョイスティック１０９が短押しされた場合にタッチ操作モードと判定し、長押しされた場合に音声操作モードと判定する。
ユーザはジョイスティック１０９を操作して、カーソルを「１．目的地を探す」に合わせて選択した状態で短押しする。タッチ入力検出部１は、ジョイスティック１０９の短押しを検出し、短押しされたカーソルの位置情報を含むタッチ信号を出力する。タッチ−コマンド変換部３は、カーソルの位置情報に基づいてコマンド（目的地を探す、目的地を探す）を作成する。また、入力方法判定部２が、タッチ信号に基づいて入力方法がタッチ操作モードであることを判定し、この判定を受けた状態遷移制御部５がコマンド（目的地を探す、目的地を探す）をアプリケーション実行部１１に出力する。アプリケーション実行部１１は、アプリケーション実行命令に基づいてディスプレイ１０８に目的地設定画面（例えば、図３０に示した目的地設定画面）を表示させる。
他方、「１．目的地を探す」にカーソルを合わせて選択した状態でジョイスティック１０９が長押しされた場合、入力方法判定部２はタッチ信号に基づいて入力方法が音声操作モードであることを判定し、入力切換制御部４から音声認識辞書切換部８へコマンドの項目名（目的地を探す）を出力して目的地検索に関連した音声認識辞書に切り換えさせる。そして、音声認識部９が、目的地検索に関連した音声認識辞書を用いて音声認識処理を行い、ユーザがジョイスティック１０９へのタッチ動作に続いて発話する音声操作入力を検出する。音声−コマンド変換部１０は、音声認識部９の音声認識結果をコマンド（項目値）に変換して状態遷移制御部５へ出力し、アプリケーション実行部１１が項目値を目的地とした検索を実行する。
なお、車載用情報装置を図２０のように構成して、音声操作モードに切り替わったことを表す効果音および表示（例えば、図３２に示すような音声認識マークの表示）などを出力してもよいし、ユーザに発話を促す音声ガイダンス（例えば、「どこへ行きますか？」という音声）を出力してもよい。
以上より、実施の形態７によれば、車載用情報装置は、ジョイスティック１０９の出力信号に基づいてタッチ動作を検出するタッチ入力検出部１と、タッチ入力検出部１の検出結果に基づいてジョイスティック１０９が選択中の処理（遷移先画面およびアプリケーション実行機能の一方、または両方）を実行させるための項目名を含むコマンド（項目名、項目値）を生成するタッチ−コマンド変換部３と、処理に対応付けられた音声認識キーワードからなる音声認識辞書を用いて、タッチ動作と略同時かそれに続くユーザ発話を音声認識する音声認識部９と、音声認識結果に対応する処理を実行させるためのコマンド（項目値）に変換する音声−コマンド変換部１０と、タッチ入力検出部１の検出結果に基づいてタッチ動作の状態がタッチ操作モードを示すものか音声操作モードを示すものかを判定する入力方法判定部２と、入力方法判定部２の判定結果に応じてタッチ操作モードか音声操作モードかを切り換える入力切換制御部４と、入力切換制御部４からタッチ操作モードの指示を受けた場合にコマンド（項目名、項目値）をタッチ−コマンド変換部３から取得してアプリケーション実行命令に変換し、入力切換制御部４から音声操作モードの指示を受けた場合に入力切換制御部４から項目名、音声−コマンド変換部１０から項目値を取得してアプリケーション実行命令に変換する状態遷移制御部５と、アプリケーション実行命令に従って処理を実行するアプリケーション実行部１１と、アプリケーション実行部１１の実行結果を出力するディスプレイ１０８などの出力部を制御する出力制御部１３とを備えるように構成した。このため、ディスプレイに表示される項目を選択する回転ダイヤル等の入力デバイスへのタッチ動作の状態に応じてタッチ操作モードか音声操作モードかを判定するので、１つのハードボタンで通常のタッチ操作とそのハードボタンに関連する音声操作とを切り換えて入力することができる。また、上記実施の形態４，５ではハードボタンと機能が固定されていたが、本実施の形態７ではハードボタンと機能の対応付けを可変としたので、様々な画面でタッチ操作モードと音声操作モードを切り換えて入力することができる。さらに、階層を降りていったどの段階でも、音声操作モードにより音声入力することができる。
実施の形態８．
本実施の形態８に係る車載用情報装置は、図１、図１２または図２０に示す車載用情報装置と図面上では同様の構成であるため、以下では図１、図１２および図２０を援用して説明する。
（５）ディスプレイとタッチパッドを組み合わせた例
図３３は車載用情報装置が備える（または車載用情報装置に接続する）ディスプレイ１０８とタッチパッド１１０の構成例を示し、これらディスプレイ１０８とタッチパッド１１０は車両のハンドル１０７周辺に設置されているものとする。なお、ディスプレイ１０８とタッチパッド１１０はどこに配置されていてもよい。
タッチパッド１１０が押下の圧力を検知可能な場合、触れたか押したかによって入力方法を判定したり、半押しか全押しかによって入力方法を判定したりする。圧力を検知できない場合でも、なぞる、タップ、長押しなどのタッチ動作の違いによって入力方法を判定できる。この例では、強押しされた場合にタッチ操作モードと判定し、長押しされた場合に音声操作モードと判定する。
ユーザはタッチパッド１１０をなぞってカーソルを「施設名称」に合わせ、強押しする。タッチ入力検出部１は、タッチパッド１１０の強押しを検出し、強押しされたカーソルの位置情報を含むタッチ信号を出力する。タッチ−コマンド変換部３は、カーソルの位置情報に基づいてコマンド（施設名称、施設名称）を作成する。また、入力方法判定部２が、タッチ信号に基づいて入力方法がタッチ操作モードであることを判定し、この判定を受けた状態遷移制御部５がコマンド（施設名称、施設名称）をアプリケーション実行命令へ変換してアプリケーション実行部１１に出力する。アプリケーション実行部１１は、アプリケーション実行命令に基づいてディスプレイ１０８に施設名称入力画面を表示させる。
他方、「施設名称」にカーソルを合わせた状態でタッチパッド１１０が長押しされた場合、入力方法判定部２はタッチ信号に基づいて入力方法が音声操作モードであることを判定し、入力切換制御部４から音声認識辞書切換部８へコマンドの項目名（施設名称）を出力して施設名称検索に関連した音声認識辞書に切り換えさせる。そして、音声認識部９が、施設名称検索に関連した音声認識辞書を用いて音声認識処理を行い、ユーザがタッチパッド１１０へのタッチ動作に続いて発話する音声操作入力を検出する。音声−コマンド変換部１０は、音声認識部９の音声認識結果をコマンド（項目値）に変換して状態遷移制御部５へ出力し、アプリケーション実行部１１が項目値に該当する施設名称を検索する。
なお、車載用情報装置を図２０のように構成して、音声操作モードに切り替わったことを表す効果音または表示（例えば、図３３に示すような音声認識マークの表示）などを出力してもよい。また、ユーザに発話を促す音声ガイダンス（例えば、「施設名称をお話しください」という音声）を出力してもよいし、文章として表示してもよい。
以上より、実施の形態８によれば、車載用情報装置は、タッチパッド１１０の出力信号に基づいてタッチ動作を検出するタッチ入力検出部１と、タッチ入力検出部１の検出結果に基づいてタッチパッド１１０が選択中の処理（遷移先画面およびアプリケーション実行機能の一方、または両方）を実行させるための項目名を含むコマンド（項目名、項目値）を生成するタッチ−コマンド変換部３と、処理に対応付けられた音声認識キーワードからなる音声認識辞書を用いて、タッチ動作と略同時かそれに続くユーザ発話を音声認識する音声認識部９と、音声認識結果に対応する処理を実行させるためのコマンド（項目値）に変換する音声−コマンド変換部１０と、タッチ入力検出部１の検出結果に基づいてタッチ動作の状態がタッチ操作モードを示すものか音声操作モードを示すものかを判定する入力方法判定部２と、入力方法判定部２の判定結果に応じてタッチ操作モードか音声操作モードかを切り換える入力切換制御部４と、入力切換制御部４からタッチ操作モードの指示を受けた場合にコマンド（項目名、項目値）をタッチ−コマンド変換部３から取得してアプリケーション実行命令に変換し、入力切換制御部４から音声操作モードの指示を受けた場合に入力切換制御部４から項目名、音声−コマンド変換部１０から項目値を取得してアプリケーション実行命令に変換する状態遷移制御部５と、アプリケーション実行命令に従って処理を実行するアプリケーション実行部１１と、アプリケーション実行部１１の実行結果を出力するディスプレイ１０８などの出力部を制御する出力制御部１３とを備えるように構成した。ディスプレイに表示される項目を選択するタッチパッドへのタッチ動作の状態に応じてタッチ操作モードか音声操作モードかを判定するので、１つのハードボタンで通常のタッチ操作とそのハードボタンに関連する音声操作とを切り換えて入力することができる。また、上記実施の形態４，５ではハードボタンと機能が固定されていたが、本実施の形態８ではハードボタンと機能の対応付けを可変としたので、様々な画面でタッチ操作モードと音声操作モードを切り換えて入力することができる。さらに、階層を降りていったどの段階でも、音声操作モードにより音声入力することができる。
実施の形態９．
上記実施の形態４〜８では、図１、図１２または図２０に示す情報装置を車載用情報装置に適用した例を説明してきたが、本実施の形態９では家庭用電気製品などのユーザインタフェース装置に適用した例を説明する。
（６）ハードボタンのみの例
図３４は、録画機能付きテレビ１１１とそれを操作するリモコン１１２の構成例を示す図である。本実施の形態９では、図１、図１２または図２０に示す情報装置をテレビ１１１とリモコン１１２のユーザインタフェース装置に適用する。
この例では、リモコン１１２の「再生」ハードボタン１１３および「予約」ハードボタン１１４が短押しされた場合にタッチ操作モードと判定し、長押しされた場合に音声操作モードと判定する。入力方法の判定は、上記実施の形態４〜８と略同様のため説明は省略する。
図３４において、ユーザがリモコン１１２の「再生」ハードボタン１１３を短押しした場合、リモコン１１２は入力をタッチ操作モードに切り換え、コマンド（再生、再生）に対応するアプリケーション実行命令（録画された番組の再生リスト一覧を表示する）をテレビ１１１へ出力する。テレビ１１１はこのアプリケーション実行命令に基づいて、録画された番組の再生リスト一覧をディスプレイに表示する。
他方、ユーザがリモコン１１２の「再生」ハードボタン１１３を長押ししながら「スカイウォーズ」と発話した場合、リモコン１１２は入力を音声操作モードに切り換え、コマンドの項目名（再生）に関連した音声認識辞書（例えば、再生リスト一覧に含まれる番組名などの単語を含む）を用いて音声認識処理を行い、コマンド（再生、スカイウォーズ）に対応するアプリケーション実行命令（コマンド項目値の番組を再生する）をテレビ１１１へ出力する。テレビ１１１はこのアプリケーション実行命令に基づいて、録画された番組の中から「スカイウォーズ」を選択して再生し、ディスプレイに表示する。
なお、テレビ１１１とリモコン１１２に適用するユーザインタフェース装置を図２０のように構成して、音声操作モードに切り替わったことを表す効果音などを出力してもよいし、ユーザに発話を促す音声ガイダンス（例えば、図３４に示すような「何を再生しますか？」、「再生したい番組をお話しください」という音声）を出力してもよい。また、リモコン１１２からテレビ１１１に通知し、音声操作モードに切り替わったことを表す表示（例えば、図３３に示したような音声認識マークの表示）および「再生したい番組をお話しください」などの文章を、テレビ１１１のディスプレイに出力してもよい。
また、ユーザがリモコン１１２の「予約」ハードボタン１１４を短押しした場合、リモコン１１２は入力をタッチ操作モードに切り換え、コマンド（予約、予約）に対応するアプリケーション実行命令（番組予約表を表示する）をテレビ１１１へ出力する。テレビ１１１はこのアプリケーション実行命令に基づいて、番組予約表をディスプレイに表示する。
他方、ユーザがリモコン１１２の「予約」ハードボタン１１４を長押ししながら「スカイウォーズ」と発話した場合、リモコン１１２は入力を音声操作モードに切り換え、コマンドの項目名（予約）に関連した音声認識辞書（例えば、番組予約表に含まれる番組名などの単語を含む）を用いて音声認識処理を行い、コマンド（予約、スカイウォーズ）に対応するアプリケーション実行命令（コマンド項目値の番組の録画予約を設定する）をテレビ１１１へ出力する。テレビ１１１はこのアプリケーション実行命令に基づいて、番組の録画予約を設定する。発話は「スカイウォーズ」などの番組名に限らず、「午後８時から、２チャンネル」などの予約に必要な情報であればよい。
なお、テレビ１１１とリモコン１１２に適用するユーザインタフェース装置を図２０のように構成して、音声操作モードに切り替わったことを表す効果音などを出力してもよいし、ユーザに発話を促す音声ガイダンス（例えば、「何を予約しますか？」、「予約したい番組をお話しください」という音声）を出力してもよい。また、リモコン１１２からテレビ１１１に通知し、音声操作モードに切り替わったことを表す表示（例えば、図３３に示したような音声認識マークの表示）および「予約したい番組をお話しください」などの文章を、テレビ１１１のディスプレイに出力してもよい。さらに、録画予約設定完了後、「スカイウォーズの予約を設定しました」などの音声ガイダンスまたは表示を出力してもよい。
これにより、音声操作モードにおいて同じ言葉を発話しても、操作するハードボタンによって動作を変えることができる。
続けて、他の家庭用電気製品の例を説明する。
図３５は、炊飯器１２０の構成例を示す図である。図３５において、ユーザが「予約」ハードボタン１２２を短押しした場合、炊飯器１２０は入力をタッチ操作モードに切り換え、コマンド（予約、予約）に対応するアプリケーション実行命令（炊飯予約の動作を実行する）に基づいて、ディスプレイ１２１の表示と「設定」ハードボタン１２３を使用してユーザに予約設定させる。
他方、ユーザが「予約」ハードボタン１２２を長押しした場合、炊飯器１２０は入力を音声操作モードに切り換え、コマンドの項目名（予約）に関連した音声認識辞書を用いて音声認識処理を行い、ユーザの発話（例えば、○○時○○分）をコマンドの項目値に用いたアプリケーション実行命令に基づいて予約設定する。
なお、炊飯器１２０に適用するユーザインタフェース装置を図２０のように構成して、音声操作モードに切り替わったことを表す効果音などを出力してもよいし、ユーザに発話を促す音声ガイダンス（例えば、「何時に予約しますか？」という音声）を出力してもよい。さらに、予約設定完了後、「○○時○○分に予約を設定しました」などの音声ガイダンスまたは表示を出力してもよい。
これにより、小さい画面と少ないボタンで炊飯予約を行う必要がなく、簡単に炊飯予約の設定ができる。また、目が不自由なユーザでも予約ができる。
図３６は、オーブンレンジ１３０の構成例を示す図である。図３６において、ユーザが「調理」ハードボタン１３２を短押しした場合、オーブンレンジ１３０は入力をタッチ操作モードに切り換え、コマンド（調理、調理）に対応するアプリケーション実行命令（調理選択メニュー画面を表示する）に基づいて、ディスプレイ１３１に調理選択メニュー画面を表示する。
他方、ユーザが「調理」ハードボタン１３２を長押しした場合、オーブンレンジ１３０は入力を音声操作モードに切り換え、コマンドの項目名（調理）に関連した音声認識辞書を用いて音声認識処理を行い、ユーザの発話をコマンド項目値（例えば、茶碗蒸し）にしたアプリケーション実行命令に基づいてオーブンレンジ１３０の出力および時間を茶碗蒸しに適した値に設定する。
その他の例として、ユーザが「あたため」ハードボタンを押しながら「熱燗」、「牛乳」などを発話したり、「焼き物」ハードボタンを押しながら「アジの干物」などを発話したりすることで、発話したメニューに適した出力および時間を設定することができる。
なお、オーブンレンジ１３０に適用するユーザインタフェース装置を図２０のように構成して、音声操作モードに切り替わったことを表す効果音などを出力してもよいし、ユーザに発話を促す音声ガイダンス（例えば、「何を調理しますか？」という音声）を出力してもよい。また、音声操作モードに切り替わったことを表す表示（例えば、図３３に示したような音声認識マークの表示）および「何を調理しますか？」などの文章を、ディスプレイ１３１に出力してもよい。さらに、ユーザが「茶碗蒸し」と発話したら、「茶碗蒸しを調理します」という音声ガイダンスまたは表示を出力し、調理の準備が整ったら「スタートボタンを押してください」という音声ガイダンスまたは表示を出力してもよい。
これにより、小さな画面と小さなボタンで深い階層をたどり調理メニューを探す必要がなく、簡単に調理の設定ができる。また、取扱説明書で調理メニューを探し、出力と時間を調べて設定する必要もない。
以上より、実施の形態９によれば、家庭電気製品などのユーザインタフェース装置は、ハードボタンの出力信号に基づいてタッチ動作を検出するタッチ入力検出部１と、タッチ入力検出部１の検出結果に基づいてタッチ動作のなされたハードボタンに対応する処理（遷移先画面およびアプリケーション実行機能の一方、または両方）を実行させるための項目名を含むコマンド（項目名、項目値）を生成するタッチ−コマンド変換部３と、処理に対応付けられた音声認識キーワードからなる音声認識辞書を用いて、タッチ動作と略同時かそれに続くユーザ発話を音声認識する音声認識部９と、音声認識結果に対応する処理を実行させるためのコマンド（項目値）に変換する音声−コマンド変換部１０と、タッチ入力検出部１の検出結果に基づいてタッチ動作の状態がタッチ操作モードを示すものか音声操作モードを示すものかを判定する入力方法判定部２と、入力方法判定部２の判定結果に応じてタッチ操作モードか音声操作モードかを切り換える入力切換制御部４と、入力切換制御部４からタッチ操作モードの指示を受けた場合にコマンド（項目名、項目値）をタッチ−コマンド変換部３から取得してアプリケーション実行命令に変換し、入力切換制御部４から音声操作モードの指示を受けた場合に入力切換制御部４から項目名、音声−コマンド変換部１０から項目値を取得してアプリケーション実行命令に変換する状態遷移制御部５と、アプリケーション実行命令に従って処理を実行するアプリケーション実行部１１と、アプリケーション実行部１１の実行結果を出力するディスプレイなどの出力部を制御する出力制御部１３とを備えるように構成した。このため、ハードボタンへのタッチ動作の状態に応じてタッチ操作モードか音声操作モードかを判定するので、１つのハードボタンで通常のタッチ操作とそのハードボタンに関連する音声操作とを切り換えて入力することができる。また、上記実施の形態１〜３と同様の効果もある。
なお、上記実施の形態１〜９では車載用情報装置、リモコン１１２、炊飯器１２０、オーブンレンジ１３０に対して情報装置（またはユーザインタフェース装置）を適用した例を説明したが、これらの機器に限らず、エレベータ乗り場の案内板、巨大ショッピングモールのデジタル案内板、巨大駐車場の駐車位置案内板、駅の券売機などに適用してもよい。
例えば大きなオフィスビルでは目的地が何階にあるのか、何号機のエレベータに乗ればよいのかが分かりにくい。そこで、エレベータ乗り場の前にタッチディスプレイまたはハードボタンなどの入力デバイスを備えた案内板を設置して、ユーザが入力デバイスを長押ししながら目的地を発話すれば、何号機のエレベータで何階まで行けばよいか知らせることができる（音声操作モード）。また、ユーザが入力デバイスを短押ししてメニュー画面を表示させ、その画面を操作して目的地を探すこともできる（タッチ操作モード）。
また例えば、巨大ショッピングモールでは、目的の店および買いたい商品がどこにあるか分かりにくい。そこで、巨大ショッピングモール内に入力デバイスを備えたデジタル案内板を設置して、ユーザが入力デバイスを長押ししながら目的の店の名前、買いたい商品の名前などを発話すれば、店の場所を案内表示することができる（音声操作モード）。また、ユーザが入力デバイスを短押ししてメニュー画面を表示させ、その画面を操作してどのような店があるか、どのような商品があるかを見つけることもできる（タッチ操作モード）。
また例えば、広い駐車場または大きな立体駐車場では、自車両を駐車した場所が分かりにくい。そこで、巨大駐車場の入口に入力デバイスを備えた駐車位置案内板を設置して、ユーザが入力デバイスを長押ししながら自車両のナンバプレート番号を発話すれば、駐車した位置を知らせることができる（音声操作モード）。また、ユーザが入力デバイスを短押しして、ナンバプレート番号を入力することもできる（タッチ操作モード）。
また例えば、通常の駅構内では、ユーザは、券売機の上に掲示されている路線図を見て、目的の駅までの料金を確認してから、券売機の料金ボタンを押して乗車券を購入しなければならず、面倒である。そこで、入力デバイスを備えた券売機を設置して、ユーザが券売機の「行き先」と表示されたボタンを長押ししながら目的の駅名を発話すれば、料金を表示することができ、そのまま乗車券を購入することができる（音声操作モード）。また、ユーザが「行き先」ボタンを短押しして、目的の駅名を検索する画面を表示したり、通常の料金ボタンを表示して乗車券を購入したりすることもできる（タッチ操作モード）。この「行き先」ボタンはタッチディスプレイ上に表示されたボタンであっても、ハードボタンであってもよい。
実施の形態１０．
上記実施の形態１〜９では、タッチディスプレイまたはハードボタンなど、１つの入力デバイスへのタッチ動作の状態に応じて、タッチ操作モードと音声操作モードの２つのモードを切り換えていたが、３つ以上のモードに切り換えることも可能である。即ち、１つの入力デバイスへのｎ種類のタッチ動作に応じてｎ種類のモードを切り換える。
本実施の形態１０では、１つのボタンまたは１つの入力デバイスを利用して３つのモードを切り換える情報装置を説明する。モードの切り換え例としては、第１のモードとしてタッチ操作モード、第２のモードとして音声操作モード１、第３のモードとして音声操作モード２に切り換える例、および、第１のモードとしてタッチ操作モード１、第２のモードとしてタッチ操作モード２、第３のモードとして音声操作モードに切り換える例などがある。
入力デバイスとしては、例えばタッチディスプレイ、タッチパッド、ハードボタン、イージーセレクタなどが利用できる。イージーセレクタとは、レバーを押下する、上（または右）に倒す、下（または左）に倒すという３動作が可能な入力デバイスである。
図３７に示すように、第１〜第３のモードそれぞれに対して予めタッチ動作が決められている。
例えば、入力デバイスがタッチディスプレイおよびタッチパッドの場合、例１のように入力デバイスが短押しされたか、長押しされたか、ダブルタップされたかによって、ユーザが第１〜第３のモードのいずれを希望しているか入力方法を判定する。
入力デバイスがハードボタンの場合、例２のように入力デバイスが短押しされたか、長押しされたか、ダブルクリックされたかによって入力方法を判定してもよいし、例３のように短押しの半押しされたか、短押しの全押しされたか、長押しの全押し（または半押し）されたかによって判定してもよい。
入力デバイスがイージーセレクタの場合、例４のように入力デバイスが押し込まれたか、上倒しされたか、下倒しされたかによって判定する。
図３８Ａは、車載用情報装置が備える（または車載用情報装置に接続する）ハードボタン１００〜１０５とディスプレイ１０８の構成例を示す図である。なお、図３８において図２７〜図３１と同一または相当の部分については同一の符号を付し説明を省略する。また、図３８Ａのディスプレイ１０８に表示される画面の遷移例を、図３８Ｂに示す。
この例では、入力デバイスとしてハードボタン１００〜１０５を利用する。また、ハードボタン１００〜１０５が短押しされた場合にタッチ操作モードと判定し、長押しされた場合に音声操作モード１と判定し、ダブルクリックされた場合に音声操作モード２と判定する。また、ハードボタン１００〜１０２は押下に連動して実行する機能が遷移画面によって異なり、一方のハードボタン１０３〜１０５は機能が固定されている。
本実施の形態１０では、入力方法判定部２がタッチ信号に基づいてタッチ操作モードか、音声操作モード１か、音声操作モード２かを判定して、入力切換制御部４を介して状態遷移制御部５へ通知する。状態遷移表記憶部６は、操作モードとコマンド（項目名、項目値）とアプリケーション実行命令の対応関係を規定した状態遷移表を格納している。状態遷移制御部５は、状態遷移表記憶部６に格納された状態遷移表に基づいて、操作モードの判定結果とタッチ−コマンド変換部３または音声−コマンド変換部１０から通知されるコマンドとの組み合わせを、アプリケーション実行命令に変換する。
即ち、同じコマンド項目名であっても、音声操作モード１と音声操作モード２では変換するアプリケーション実行命令の内容が異なる。例えば、同じコマンド項目名（ＮＡＶＩ）であっても、音声操作モード１の場合はＮＡＶＩ機能の詳細項目を画面表示して詳細項目に関する発話を受け付けるアプリケーション実行命令に変換し、音声操作モード２の場合はＮＡＶＩ機能全体に関する発話を受け付けるアプリケーション実行命令に変換する。
次に、タッチ操作モード、音声操作モード１、音声操作モード２の具体例を説明する。
図３８Ａにおいて「ＮＡＶＩ」ハードボタン１０５が短押しされた場合、タッチ入力検出部１がこの短押しを検出し、タッチ−コマンド変換部３がコマンド（ＮＡＶＩ、ＮＡＶＩ）を生成する。また、入力方法判定部２がタッチ操作モードと判定し、この判定を受けた状態遷移制御部５がコマンド（ＮＡＶＩ、ＮＡＶＩ）をアプリケーション実行命令へ変換してアプリケーション実行部１１に出力する。アプリケーション実行部１１は、アプリケーション実行命令に基づいてディスプレイ１０８にＮＡＶＩメニュー画面Ｐ１００を表示させる。このＮＡＶＩメニュー画面Ｐ１００には、「１」ハードボタン１００の押下に連動して実行される「１．目的地検索」機能と、「２」ハードボタン１０１の押下に連動して実行される「２．渋滞情報」表示機能と、「３」ハードボタン１０２の押下に連動して実行される「３．ナビ設定」機能とが含まれている。
他方、図３８Ａにおいて「ＮＡＶＩ」ハードボタン１０５が長押しされた場合、タッチ入力検出部１がこの長押しを検出し、タッチ−コマンド変換部３がコマンド（ＮＡＶＩ、ＮＡＶＩ）を生成する。また、入力方法判定部２が音声操作モード１と判定し、入力切換制御部４を介して状態遷移制御部５にコマンド項目名（ＮＡＶＩ）と音声操作モード１である旨を通知し、状態遷移制御部５が音声操作モード１として、ＮＡＶＩの音声操作専用メニュー画面Ｐ１０１を表示するためのアプリケーション実行命令に変換する。アプリケーション実行部１１は、このアプリケーション実行命令に基づいてディスプレイ１０８に音声操作専用メニュー画面Ｐ１０１を表示させる。この音声操作専用メニュー画面Ｐ１０１には、３つの詳細項目の音声認識機能として、「１」ハードボタン１００の押下に連動して実行される「１．施設名称で探す」機能と、「２」ハードボタン１０１の押下に連動して実行される「２．ジャンルで探す」機能と、「３」ハードボタン１０２の押下に連動して実行される「３．住所・電話番号で探す」機能とが表示されている。
音声操作専用メニュー画面Ｐ１０１において、「１」ハードボタン１００が押下された場合、タッチ入力検出部１がこの押下を検出してタッチ−コマンド変換部３がコマンド（施設名称で探す）を出力する。そして、音声認識辞書切換部８がコマンドの項目名（施設名称で探す）に関連する音声認識辞書に切り換え、音声認識部９がこの音声認識辞書を用いてユーザ発話の音声認識処理を行い、ユーザがハードボタン１００の押下に続いて発話する音声操作入力を検出する。音声−コマンド変換部１０は、音声認識部９の音声認識結果をコマンド（項目値）に変換して状態遷移制御部５へ出力し、アプリケーション実行部１１が項目値に該当する施設名称を検索する。
このとき、音声操作専用メニュー画面Ｐ１０１から音声操作専用メニュー画面Ｐ１０２へ画面遷移して、音声操作モードに切り替わったことを表す効果音または表示（音声認識マークなど）などを出力してもよい。また、ユーザに発話を促す音声ガイダンス（例えば、「施設名称をお話しください」という音声）を出力してもよいし、文章として表示してもよい。
操作が慣れてきたユーザの場合、操作する度に音声操作モード１のように、ＮＡＶＩ機能の下層の詳細項目を画面表示して操作するのはまどろっこしくなってしまう。また、音声操作モード１の操作を繰り返すことによって、音声操作入力として発話可能な内容についても学習が進むと思われる。そこで、音声認識モード２では、ＮＡＶＩ機能全体に関する音声認識処理を直接起動して、すぐに音声操作を開始できるようにする。
図３８Ａにおいて「ＮＡＶＩ」ハードボタン１０５がダブルクリックされた場合、タッチ入力検出部１がこのダブルクリックを検出し、タッチ−コマンド変換部３がコマンド（ＮＡＶＩ、ＮＡＶＩ）を生成する。入力方法判定部２が音声操作モード２と判定し、入力切換制御部４を介して状態遷移制御部５にコマンド項目名（ＮＡＶＩ）と音声操作モード２である旨を通知する。音声操作モード２のとき、状態遷移制御部５は音声−コマンド変換部１０からコマンドの項目値が入力されるまで待機する。
また、入力切換制御部４を介して状態遷移制御部５にコマンドの項目名（ＮＡＶＩ）が入力されると、音声認識辞書切換部８がＮＡＶＩに関連する音声認識辞書に切り換え、音声認識部９がこの音声認識辞書を用いてユーザ発話の音声認識処理を行う。音声−コマンド変換部１０が音声認識部９の音声認識結果をコマンド（項目値）に変換して状態遷移制御部５へ出力し、状態遷移制御部５がＮＡＶＩ機能のうちの項目値に該当するアプリケーション実行命令に変換してアプリケーション実行部１１に実行させる。
このとき、図３８Ａに示すディスプレイ１０８の画面から、図３８Ｂに示す音声操作画面Ｐ１０３に画面遷移し、音声操作モードに切り替わったことを表す効果音または表示（音声認識マーク）などを出力してもよい。また、ユーザに発話を促す音声ガイダンス（例えば、「ナビについてお話しください」という音声）を出力してもよいし、文章として表示してもよい。
このように、音声操作モードを２つ設けることにより、音声操作モード１では音声認識で操作できる具体的な機能項目が音声操作専用メニュー画面Ｐ１０１のように表示されているので、音声操作入力として発話可能な内容をユーザに示唆することができる。これにより、ユーザは無意識に発話できる内容を制限し、音声認識辞書に含まれていない言葉を発話してしまうことを抑制できる。さらに、画面に発話可能な内容が表示されているので、何を喋ってよいか分からないという不安も軽減できる。また、具体的な内容（「施設名称をお話しください」など）の音声ガイダンスなどにより、ユーザの発話を誘導することができるので、ユーザにとってより音声操作しやすくなる。
もう一方の音声操作モード２では、「ＮＡＶＩ」ハードボタン１０５のダブルクリックで音声認識を直接起動することができるので、すぐに音声操作を開始することができる。そのため、音声操作に慣れ、発話可能な内容を学習したユーザにとっては、少ない操作ステップと少ない操作時間で操作を完了することができる。さらに、音声操作モード１の音声操作専用メニュー画面Ｐ１０１で表示されている詳細機能項目以外の音声認識キーワードを知っているユーザは、音声操作モード２において、音声操作モード１の音声操作よりも多くの機能を実行することができる。
このように、１つの入力デバイスを用いて、通常のタッチ操作モードと、２つの音声操作モード（簡単モードとエキスパートモードなど）の合計３つの操作モードを切り換えて操作することができる。説明は省略するが、１つの入力デバイスを用いて、２つのタッチ操作モードと１つの音声操作モードの合計３つの操作モードを切り換えてもよい。
以上より、実施の形態１０によれば、車載用情報装置は、ユーザによるｎ種類のタッチ動作が可能な入力デバイスからの出力信号に基づいて、このタッチ動作の状態に応じてｎ種類の機能を切り換えるように構成した。このため、１つの入力デバイスでｎ種類の操作モードを切り換えて操作することができる。
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
以上のように、この発明に係るユーザインタフェース装置は、タッチパネル操作と音声操作を組み合わせて操作ステップ数および操作時間を短縮するようにしたので、車載用などのユーザインタフェース装置などに用いるのに適している。
１，１ａ タッチ入力検出部、２ 入力方法判定部、３ タッチ−コマンド変換部、４，４ａ，４ｂ 入力切換制御部、５ 状態遷移制御部、６ 状態遷移表記憶部、７ 音声認識辞書ＤＢ、８ 音声認識辞書切換部、９，９ａ 音声認識部、１０ 音声−コマンド変換、１１，１１ａ アプリケーション実行部、１２ データ格納部、１３，１３ｂ 出力制御部、１４ ネットワーク、２０ 音声認識対象語辞書作成部、３０ 出力方法決定部、３１ 出力データ記憶部、１００〜１０５，１１３，１１４，１２２，１２３，１３２ ハードボタン、１０６ タッチディスプレイ、１０７ ハンドル、１０８，１２１，１３１ ディスプレイ、１０９ ジョイスティック、１１０ タッチパッド、１１１ テレビ、１１２ リモコン、１２０ 炊飯器、１３０ オーブンレンジ。
この発明は、ユーザによるタッチディスプレイ操作と音声操作に応じた処理を実行するユーザインタフェース装置、情報処理方法および情報処理プログラムに関する。
ナビゲーション装置、オーディオ装置、ハンズフリー電話などの車載用情報装置において、従来はタッチディスプレイ、ジョイスティック、回転ダイヤルおよび音声などによる操作方法が採用されている。
タッチディスプレイ操作は、タッチパネルと一体になったディスプレイ画面上に表示したボタンをユーザがタッチして画面遷移を繰り返し、目的の機能を実行する。この方法では、ディスプレイに表示されているボタンに直接タッチすることができるので、直感的な操作ができる。
ジョイスティック、回転ダイヤルおよびリモコンなどの別デバイスによる操作は、ユーザがこれらデバイスを操作してディスプレイ画面上に表示されているボタンにカーソルを合わせ、選択または決定することによる画面遷移を繰り返し、目的の機能を実行する。この方法では、目的のボタンにカーソルを合わせる必要があり、タッチディスプレイ操作と比べると直感的な操作とはいえない。
また、これらの操作方法は、ユーザが画面に表示されているボタンを選んでいけば操作できるので分かりやすいが、操作ステップ数が多く、操作時間がかかる。
一方、音声操作は、音声認識キーワードと呼ばれる語彙をユーザが１回または複数回発話して、目的の機能を実行する。画面上に表示されていない項目も操作可能なため、操作ステップおよび操作時間は短縮できるが、ユーザは予め決められた独特な音声操作方法および音声認識キーワードを覚えてそのとおりに発話しなければ操作できないので、使用が難しい。また、音声操作の開始は、ハンドル付近に１つだけ用意された発話ボタン（ハードボタン）、または画面上に１つだけ用意された発話ボタンを押下するという方法で通常行われるが、目的の機能を実行するまでに車載情報装置と複数回の対話を行わなければならない場合も多く、その場合は操作ステップ数も操作時間も多くかかる。
さらに、タッチディスプレイ操作と音声操作を組み合わせた操作方法も提案されている。例えば特許文献１に係る音声認識装置において、ユーザが、タッチディスプレイに表示されている各データ入力欄に関連付けられたボタンを押下して発話することで、音声認識の結果をデータ入力欄に入力すると共に表示する。
また例えば特許文献２に係るナビゲーション装置において、地名または道路名を音声認識により検索するときに、ユーザは、地名または道路名の先頭の文字または文字列をタッチディスプレイ上のキーボードから入力して確定し、その後発話する。
特開２００１−４２８９０号公報 特開２０１０−３８７５１号公報
上述したように、タッチディスプレイ操作は操作階層が深く、操作ステップ数および操作時間を短縮することができないという課題があった。
他方、音声操作は予め決められた独特な操作方法および音声認識キーワードを覚えてそのとおりに発話する必要があり、操作が難しいという課題があった。また、発話ボタンを押しても「何をしゃべったらよいか分からない」ということが多く、操作できないという課題もあった。
また、上記特許文献１は、データ入力欄に音声認識によりデータ入力する技術であり、画面遷移を伴う操作および機能実行を行うことはできない。さらに、データ入力欄に入力可能なあらかじめ決められている項目を一覧する方法、あるいは一覧から目的の項目を選択する方法が無いため、入力できる項目の音声認識キーワードを覚えなければ操作できないという課題があった。
また、上記特許文献２は、音声認識をする前に先頭文字または文字列を入力して発話することで音声認識の確実性を向上させる技術であり、タッチディスプレイ操作により文字入力および確定操作を行う必要があった。このため、発話された地名または道路名を検索する従来の音声操作と比べて、操作ステップ数および操作時間を減らすことができないという課題があった。
この発明は、上記のような課題を解決するためになされたもので、タッチディスプレイ操作の分かりやすさを確保したまま、独特な音声操作方法および音声認識キーワードを覚えることなく直感的で分かりやすい音声操作を実現して、操作ステップ数および操作時間を短縮することを目的とする。
この発明のユーザインタフェース装置は、操作インタフェースの複数のボタンの内、タッチ動作のなされたボタンに対応する処理を実行させるための第１のコマンドを生成するタッチ−コマンド変換部と、音声認識の結果を第１のコマンドに関連する第２のコマンドに変換する音声−コマンド変換部と、操作インタフェースのタッチ動作の状態に応じて、タッチ−コマンド変換部の生成した第１のコマンドに対応する処理を実行するタッチ操作モードか、音声−コマンド変換部の生成する第２のコマンドに対応する処理を実行する音声操作モードかを切り換えるとともに、音声操作モードに切り換えた後に、タッチ動作のなされたボタンに関連づけられた音出力または表示出力の実行を指示する入力切換制御部とを備えるものである。
この発明の情報処理方法は、操作インタフェースのボタンへのタッチ動作を検出するタッチ入力検出ステップと、タッチ入力検出ステップの検出結果に基づいたタッチ動作の状態に応じて、タッチ操作モードか音声操作モードかを判定する入力方法判定ステップと、入力方法判定ステップでタッチ操作モードと判定された場合、タッチ入力検出ステップの検出結果に基づいて、タッチ動作のなされたボタンに対応する処理を実行させるための第１のコマンドを生成するタッチ−コマンド変換ステップと、入力方法判定ステップで音声操作モードと判定された場合、音声認識の結果を第１のコマンドに関連する第２のコマンドに変換する音声−コマンド変換ステップと、音声操作モードに切り換えた後に、タッチ動作のなされたボタンに関連づけられた音出力または表示出力の実行を指示する処理指示ステップと、タッチ−コマンド変換ステップで生成した第１のコマンドに対応する処理、または音声−コマンド変換ステップで生成した第２のコマンドに対応する処理を実行する処理実行ステップとを備えるものである。
この発明の情報処理プログラムは、操作インタフェースのボタンへのタッチ動作を検出するタッチ入力検出手順と、タッチ入力検出手順の検出結果に基づいたタッチ動作の状態に応じて、タッチ操作モードか音声操作モードかを判定する入力方法判定手順と、入力方法判定手順でタッチ操作モードと判定された場合、タッチ入力検出手順の検出結果に基づいて、タッチ動作のなされたボタンに対応する処理を実行させるための第１のコマンドを生成するタッチ−コマンド変換手順と、入力方法判定手順で音声操作モードと判定された場合、音声認識の結果を第１のコマンドに関連する第２のコマンドに変換する音声−コマンド変換手順と、音声操作モードに切り換えた後に、タッチ動作のなされたボタンに関連づけられた音出力または表示出力の実行を指示する処理指示手順と、タッチ−コマンド変換手順で生成した第１のコマンドに対応する処理、または音声−コマンド変換手順で生成した第２のコマンドに対応する処理を実行する処理実行手順とを、コンピュータに実行させるものである。
この発明によれば、操作インタフェースのボタンへのタッチ動作の状態に応じてタッチ操作モードか音声操作モードかを判定するようにしたので、１つのボタンで通常のタッチ操作とそのボタンに関連する音声操作とを切り換えて入力することができ、タッチ操作の分かりやすさを確保できる。また、第２のコマンドは第１のコマンドに関連するコマンドにして、ユーザが１つのボタンをタッチ動作しながら発話することでこのボタンに関連する処理を実行させることができるので、独特な音声操作方法および音声認識キーワードを覚えることなく直感的で分かりやすい音声操作を実現でき、操作ステップ数と操作時間を短縮することができる。
また、この発明によれば、タッチディスプレイに表示されたボタンに限らず、ハードボタンなどの操作インタフェースへのタッチ動作の状態に応じてタッチ操作モードか音声操作モードかを判定するようにしてもよく、１つの操作インタフェースで通常のタッチ操作とその操作インタフェースに関連する音声操作とを切り換えて入力することができる。
この発明の実施の形態１に係る車載用情報装置の構成を示すブロック図である。 実施の形態１に係る車載用情報装置の動作を示すフローチャートである。 実施の形態１に係る車載用情報装置の画面遷移例を説明する図であり、ＡＶ機能に関する画面例である。 実施の形態１に係る車載用情報装置の入力方法判定処理を示すフローチャートである。 実施の形態１に係る車載用情報装置の、タッチ動作と入力方法の関係を説明する図である。 実施の形態１に係る車載用情報装置のタッチ操作入力によるアプリケーション実行命令作成処理を示すフローチャートである。 実施の形態１に係る車載用情報装置が有する状態遷移表の一例を説明する図である。 実施の形態１に係る車載用情報装置が有する状態遷移表の続きの図である。 実施の形態１に係る車載用情報装置が有する状態遷移表の続きの図である。 実施の形態１に係る車載用情報装置が有する状態遷移表の続きの図である。 実施の形態１に係る車載用情報装置が有する状態遷移表の続きの図である。 実施の形態１に係る車載用情報装置の画面遷移例を説明する図であり、電話機能に関する画面例である。 実施の形態１に係る車載用情報装置の音声操作入力によるアプリケーション実行命令作成処理を示すフローチャートである。 実施の形態１に係る車載用情報装置の音声認識辞書を説明する図である。 実施の形態１に係る車載用情報装置の画面遷移例を説明する図であり、ナビ機能に関する画面例である。 実施の形態１に係る車載用情報装置の画面遷移例を説明する図であり、ナビ機能に関する画面例である。 この発明の実施の形態２に係る車載用情報装置の構成を示すブロック図である。 実施の形態２に係る車載用情報装置の動作を示すフローチャートである。 実施の形態２に係る車載用情報装置の画面遷移例を説明する図であり、電話機能に関する画面例である。 実施の形態２に係る車載用情報装置が有する状態遷移表の一例を説明する図である。 実施の形態２に係る車載用情報装置の音声操作入力によるアプリケーション実行命令作成処理を示すフローチャートである。 実施の形態１に係る車載用情報装置の音声認識対象語辞書を説明する図である。 実施の形態２に係る車載用情報装置の画面遷移例を説明する図であり、ナビ機能に関する画面例である。 実施の形態２に係る車載用情報装置の画面遷移例を説明する図であり、ナビ機能に関する画面例である。 この発明の実施の形態３に係る車載用情報装置の構成を示すブロック図である。 実施の形態３に係る車載用情報装置の出力方法決定処理を示すフローチャートである。 実施の形態３に係る車載用情報装置の音声操作入力時の電話画面を示す図である。 実施の形態３に係る車載用情報装置の音声操作入力時のリスト画面を示す図である。 この発明の実施の形態４に係る車載用情報装置が備えるハードボタンとタッチディスプレイの構成例を示す図である。 実施の形態４に係る車載用情報装置の画面遷移例を説明する図であり、タッチ操作モード時の画面例である。 実施の形態４に係る車載用情報装置の画面遷移例を説明する図であり、音声操作モード時の画面例である。 この発明の実施の形態５に係る車載用情報装置が備えるハードボタンとディスプレイの構成例を示す図である。 実施の形態５に係る車載用情報装置の画面遷移例を説明する図であり、音声操作モード時の画面例である。 この発明の実施の形態６に係る車載用情報装置が備えるハードボタンとディスプレイの構成例を示す図である。 実施の形態６に係る車載用情報装置の画面遷移例を説明する図であり、タッチ操作モード時の画面例である。 実施の形態６に係る車載用情報装置の画面遷移例を説明する図であり、音声操作モード時の画面例である。 この発明の実施の形態７に係る車載用情報装置が備えるディスプレイとジョイスティックの構成例を示す図である。 この発明の実施の形態８に係る車載用情報装置が備えるディスプレイとタッチパッドの構成例を示す図である。 この発明の実施の形態９に係るユーザインタフェース装置を適用した録画機能付きテレビとリモコンの構成例を示す図である。 実施の形態９に係るユーザインタフェース装置を適用した炊飯器の構成例を示す図である。 実施の形態９に係るユーザインタフェース装置を適用したオーブンレンジの構成例を示す図である。 この発明の実施の形態１０に係る車載用情報装置の、タッチ動作と入力方法の関係を説明する図である。 実施の形態１０に係る車載用情報装置が備えるハードボタンとディスプレイの構成例を示す図である。 実施の形態１０に係る車載用情報装置の画面遷移例を説明する図である。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１に示すように、車載用情報装置は、タッチ入力検出部１、入力方法判定部２、タッチ−コマンド変換部３、入力切換制御部４、状態遷移制御部５、状態遷移表記憶部６、音声認識辞書ＤＢ７、音声認識辞書切換部８、音声認識部９、音声−コマンド変換部１０、アプリケーション実行部１１、データ格納部１２、および出力制御部１３から構成されている。この車載用情報装置は、タッチパネルとディスプレイが一体になったタッチディスプレイ、マイク、スピーカなどの入出力デバイス（不図示）に接続して情報の入出力を行い、ユーザの操作に従って所望の画面表示および機能実行を行うユーザインタフェースを提供する。
タッチ入力検出部１は、タッチディスプレイからの入力信号に基づいて、ユーザがこのタッチディスプレイ上に表示されたボタン（または特定のタッチエリア）にタッチしたか否かを検出する。
入力方法判定部２は、タッチ入力検出部１の検出結果に基づいて、ユーザがタッチ操作により入力を行おうとしているのか（タッチ操作モード）、または音声操作により入力を行おうとしているのか（音声操作モード）の判定を行う。
タッチ−コマンド変換部３は、タッチ入力検出部１により検出されるユーザがタッチしたボタンを、コマンドに変換する。詳細は後述するが、このコマンドには項目名と項目値が含まれており、状態遷移制御部５へはコマンド（項目名、項目値）を渡し、入力切換制御部４へは項目名を渡す。この項目名が第１のコマンドを構成する。
入力切換制御部４は、入力方法判定部２による入力方法の判定結果（タッチ操作または音声操作）に従ってユーザがタッチ操作モードと音声操作モードのどちらを希望しているかを状態遷移制御部５へ通知して、状態遷移制御部５の処理をタッチ操作モードか音声操作モードかに切り換える。さらに、入力切換制御部４は、音声操作モードの場合にタッチ−コマンド変換部３から入力された項目名（即ち、ユーザがタッチしたボタンを指す情報）を状態遷移制御部５と音声認識辞書切換部８へ渡す。
状態遷移制御部５は、入力切換制御部４からタッチ操作モードが通知された場合、状態遷移表記憶部６に格納されている状態遷移表に基づいて、タッチ−コマンド変換部３から入力されるコマンド（項目名、項目値）をアプリケーション実行命令に変換し、アプリケーション実行部１１へ渡す。詳細は後述するが、このアプリケーション実行命令には遷移先画面を指定する情報およびアプリケーション実行機能を指定する情報の両方、またはいずれか一方の情報が含まれている。
また、状態遷移制御部５は、入力切換制御部４から音声操作モードとコマンド（項目名）が通知された場合、音声−コマンド変換部１０からコマンド（項目値）が入力されるまで待機し、コマンド（項目値）が入力されると状態遷移表記憶部６に格納されている状態遷移表に基づいて、これらの項目名と項目値を組み合わせたコマンドをアプリケーション実行命令に変換し、アプリケーション実行部１１へ渡す。
状態遷移表記憶部６は、コマンド（項目名、項目値）とアプリケーション実行命令（遷移先画面、アプリケーション実行機能）の対応関係を規定した情報遷移表を格納している。詳細は後述する。
音声認識辞書ＤＢ７は、音声操作モード時の音声認識処理に用いる音声認識辞書のデータベースであり、音声認識キーワードが格納されている。音声認識キーワードには対応するコマンド（項目名）が紐付けられている。
音声認識辞書切換部８は、入力切換制御部４から入力されるコマンド（項目名）を音声認識部９に通知して、この項目名に紐付けされた音声認識キーワードを含む音声認識辞書に切り換えさせる。
音声認識部９は、音声認識辞書ＤＢ７に格納された音声認識辞書のうち、音声認識辞書切換部８から通知されたコマンド（項目名）が紐付けられた音声認識キーワード群からなる音声認識辞書を参照して、マイクからの音声信号を音声認識処理して文字列などに変換し、音声−コマンド変換部１０へ出力する。
音声−コマンド変換部１０は、音声認識部９の音声認識結果をコマンド（項目値）に変換して状態遷移制御部５へ渡す。この項目値が第２のコマンドを構成する。
アプリケーション実行部１１は、データ格納部１２に格納された各種データを利用して、状態遷移制御部５から通知されたアプリケーション実行命令に応じた画面遷移またはアプリケーション機能の実行を行う。また、アプリケーション実行部１１はネットワーク１４に接続して外部との通信が可能であり、詳細は後述するが、アプリケーション機能の種類によっては外部と通信および通話を行ったり、必要に応じてデータ格納部１２へ取得したデータを格納したりすることもできる。このアプリケーション実行部１１と状態遷移制御部５とが処理実行部を構成する。
データ格納部１２は、アプリケーション実行部１１による画面遷移またはアプリケーション機能の実行に際して必要となるナビゲーション（以下、ナビ）機能用のデータ（地図データベースを含む）、オーディオ・ビジュアル（以下、ＡＶ）機能用のデータ（音楽データおよび映像データを含む）、車両に搭載されたエアコンなどの車両機器制御用のデータ、ハンズフリー通話などの電話機能用のデータ（電話帳を含む）、ネットワーク１４を介してアプリケーション実行部１１が外部より取得した情報（渋滞情報、特定のウェブサイトのＵＲＬなどを含む）であってアプリケーション機能実行時にユーザに提供する情報など、各種データを格納している。
出力制御部１３は、アプリケーション実行部１１の実行結果を、タッチディスプレイに画面表示したり、スピーカから音声出力したりする。
次に、車載用情報装置の動作を説明する。
図２は、実施の形態１に係る車載用情報装置の動作を示すフローチャートである。図３は車載用情報装置による画面遷移例を示し、ここでは、車載用情報装置が初期状態として、アプリケーション実行部１１の実行可能な機能の一覧を、ボタンとしてタッチディスプレイ上に表示していることとする（アプリケーション一覧画面Ｐ０１）。この図３は、アプリケーション一覧画面Ｐ０１の「ＡＶ」ボタンを基点として展開するＡＶ機能の画面遷移例であり、アプリケーション一覧画面Ｐ０１が最上階層の画面（と各ボタンに関連付けられた機能）である。アプリケーション一覧画面Ｐ０１の一つ下層には「ＡＶ」ボタンに関連付けられたＡＶソース一覧画面Ｐ１１の画面（と各ボタンに関連付けられた機能）がある。さらにＡＶソース一覧画面Ｐ１１の一つ下層には、ＡＶソース一覧画面Ｐ１１の各ボタンに関連付けられたＦＭ局一覧画面Ｐ１２、ＣＤ画面Ｐ１３、交通情報ラジオ画面Ｐ１４、ＭＰ３画面Ｐ１５と、各画面の各ボタンに関連付けられた機能とがある。
以下では、一つ下の階層に画面が遷移する場合を単に「遷移」と称する。例えばアプリケーション一覧画面Ｐ０１からＡＶソース一覧画面Ｐ１１に画面が変更される場合である。他方、一つ以上離れた下の階層、または異なる機能へ画面が遷移する場合を「ジャンプ遷移」と称する。例えばアプリケーション一覧画面Ｐ０１からＦＭ局一覧画面Ｐ１２に画面が変更される場合、またはＡＶソース一覧画面Ｐ１１からナビ機能の画面に変更される場合である。
ステップＳＴ１００においてタッチ入力検出部１が、タッチディスプレイ上に表示されたボタンにユーザがタッチしたか否かを検出する。また、タッチを検出した場合（ステップＳＴ１００“ＹＥＳ”）、タッチ入力検出部１はタッチディスプレイからの出力信号に基づいて、どのボタンにどのようにタッチされたかを示すタッチ信号（押し込む操作か一定時間触れる操作か等）を出力する。
ステップＳＴ１１０においてタッチ−コマンド変換部３が、タッチ入力検出部１から入力されるタッチ信号に基づいてタッチされたボタンをコマンド（項目名、項目値）に変換して出力する。ボタンにはボタン名称が設定されており、タッチ−コマンド変換部３はボタン名称をコマンドの項目名と項目値にする。例えば、タッチディスプレイ上に表示された「ＡＶ」ボタンのコマンド（項目名、項目値）は、（ＡＶ、ＡＶ）である。
ステップＳＴ１２０において入力方法判定部２が、タッチ入力検出部１から入力されるタッチ信号に基づいてユーザがタッチ操作を行おうとしているのか音声操作を行おうとしているのか入力方法を判定して出力する。
ここで、図４に示すフローチャートを用いて、入力方法の判定処理を説明する。
入力方法判定部２は、ステップＳＴ１２１においてタッチ入力検出部１からタッチ信号の入力を受け、続くステップＳＴ１２２においてタッチ信号に基づいて入力方法を判定する。
図５に示すように、タッチ操作および音声操作それぞれに対して予めタッチ動作が決められているものとする。例１の場合、ユーザがタッチ操作モードによりアプリケーション機能を実行させたいときはタッチディスプレイ上のそのアプリケーション機能用のボタンを押し込む動作を行い、音声操作モードにより実行させたいときはそのボタンに一定時間触れる動作を行う。タッチディスプレイの出力信号はタッチ動作によって異なるので、入力方法判定部２はタッチ信号に応じてどちらのタッチ動作が行われたか判定すればよい。
また例えば、例２のようにボタンが全押しされたか半押しされたかによって、ユーザがタッチ操作と音声操作のどちらを希望しているか入力方法を判定してもよいし、例３のようにボタンがシングルタップされたかダブルタップされたかによって判定してもよいし、例４のようにボタンが短押しされたか長押しされたかによって判定してもよい。タッチディスプレイが物理的に全押しと半押しを区別できない構成の場合には、押される圧力が閾値以上なら全押し、閾値未満なら半押しと見なすなどの処理を行ってもよい。
このように、１つのボタンに対して２種類のタッチ動作を使い分けることにより、１つのボタンに対してタッチ操作と音声操作のどちらの操作により入力を行おうとしているかの判定を行うことができる。
続くステップＳＴ１２３において、入力方法判定部２は入力切換制御部４へ、タッチ操作か音声操作かいずれかの入力方法を示す判定結果を出力する。
説明を図２のフローチャートに戻す。ステップＳＴ１３０において状態遷移制御部５は、入力切換制御部４から入力される判定結果がタッチ操作モードなら（ステップＳＴ１３０“ＹＥＳ”）、ステップＳＴ１４０へ進んでタッチ操作入力によりアプリケーション実行命令を生成する。一方、判定結果が音声操作モードなら（ステップＳＴ１３０“ＮＯ”）、ステップＳＴ１５０へ進んで音声操作入力によりアプリケーション実行命令を生成する。
ここで、図６に示すフローチャートを用いて、タッチ操作入力によるアプリケーション実行命令の生成方法を説明する。
ステップＳＴ１４１において状態遷移制御部５は、入力方法の判定処理時にタッチされたボタンのコマンド（項目名、項目値）をタッチ−コマンド変換部３より取得し、続くステップＳＴ１４２において状態遷移表記憶部６に格納されている状態遷移表に基づいて、取得したコマンド（項目名、項目値）をアプリケーション実行命令へ変換する。
図７Ａは、状態遷移表の一例を説明する図であり、図３のアプリケーション一覧画面Ｐ０１のボタンのうちの「ＡＶ」、「電話」および「ナビ」ボタンに対して設定されているコマンドとアプリケーション実行命令とを示している。
状態遷移表は、「現在の状態」、「コマンド」および「アプリケーション実行命令」の３つの情報で構成されている。現在の状態とは、ステップＳＴ１００のタッチ検出時にタッチディスプレイ上に表示されている画面のことである。
上述の通り、コマンドの項目名は、画面に表示されているボタン名称と同一の名前がつけられている。例えばアプリケーション一覧画面Ｐ０１の「ＡＶ」ボタンの項目名は「ＡＶ」である。
コマンドの項目値は、ボタン名称と同一の名前がつけられているものと、違う名前がつけられているものとがある。上述の通り、タッチ操作モードでは、コマンドの項目値は項目名と同じ、即ちボタン名称である。
他方、音声操作モードの場合、項目値は音声認識結果であり、ユーザが実行したい機能の音声認識キーワードとなる。ユーザが「ＡＶ」ボタンをタッチし、そのボタン名称「ＡＶ」を発話した場合は項目名と項目値が同じコマンド（ＡＶ、ＡＶ）になる。ユーザがボタン「ＡＶ」をタッチし、異なる音声認識キーワード「ＦＭ」を発話した場合は項目名と項目値が異なるコマンド（ＡＶ、ＦＭ）となる。
アプリケーション実行命令には、「遷移先画面」および「アプリケーション実行機能」の一方、または両方が含まれている。遷移先画面とは、対応するコマンドによって移動した先の画面を指す情報である。アプリケーション実行機能とは、対応するコマンドによって実行される機能を指す情報である。
なお、図７Ａの状態遷移表の場合、アプリケーション一覧画面Ｐ０１が最上層に設定されており、その下層にＡＶが設定され、ＡＶの下層にＦＭ、ＣＤ、交通情報およびＭＰ３が設定されている。また、ＦＭの下層にＡ放送局およびＢ放送局が設定されている。また、ＡＶと同階層の電話およびナビはそれぞれ異なるアプリケーション機能である。
ここで、タッチ操作入力の場合に、コマンドからアプリケーション実行命令に変換する例を説明する。
現在の状態は、図３に示すアプリケーション一覧画面Ｐ０１である。そして、図７Ａの状態遷移表によれば、この画面の「ＡＶ」ボタンにはコマンド（ＡＶ、ＡＶ）が紐付いており、対応するアプリケーション実行命令として遷移先画面「Ｐ１１（ＡＶソース一覧画面）」とアプリケーション実行機能「−（無し）」とが設定されている。よって、状態遷移制御部５は、タッチ−コマンド変換部３から入力されるコマンド（ＡＶ、ＡＶ）を、「ＡＶソース一覧画面Ｐ１１へ画面遷移する」というアプリケーション実行命令に変換する。
また例えば、現在の状態が、図３に示すＦＭ局一覧画面Ｐ１２になっているとする。その場合、図７Ｂの状態遷移表によれば、この画面の「Ａ放送局」ボタンにはコマンド（Ａ放送局、Ａ放送局）が紐付いており、対応するアプリケーション実行命令として遷移先画面「−」とアプリケーション実行機能「Ａ放送局を選局する」とが設定されている。よって、状態遷移制御部５は、タッチ−コマンド変換部３から入力されるコマンド（Ａ放送局、Ａ放送局）を、「Ａ放送局を選局する」というアプリケーション実行命令に変換する。
また例えば、現在の状態が、図８に示す電話帳リスト画面Ｐ２２になっているとする。この図８は、アプリケーション一覧画面Ｐ０１の「電話」ボタンを基点として展開する電話機能の画面遷移例である。この場合、図７Ｃの状態遷移表によれば、この画面の電話帳リストの「山田○○」ボタンにはコマンド（山田○○、山田○○）が紐付いており、対応するアプリケーション実行命令として遷移先画面「Ｐ２３（電話帳画面）」とアプリケーション実行機能「山田○○の電話帳を表示する」とが設定されている。よって、状態遷移制御部５は、タッチ−コマンド変換部３から入力されるコマンド（山田○○、山田○○）を、「電話帳画面Ｐ２３へ画面遷移し、山田○○の電話帳を表示する」というアプリケーション実行命令に変換する。
続くステップＳＴ１４３において状態遷移制御部５は、コマンドから変換したアプリケーション実行命令をアプリケーション実行部１１へ出力する。
次に、図９に示すフローチャートを用いて、音声操作入力によるアプリケーション実行命令の生成方法を説明する。
ステップＳＴ１５１において音声認識辞書切換部８が、入力切換制御部４から入力される項目名（即ち、ユーザがタッチしたボタン）に関連した音声認識辞書に切り換える指示を音声認識部９へ出力する。
図１０は、音声認識辞書を説明する図である。例えば、タッチディスプレイ上にボタンが表示された状態でユーザがボタンの操作を行った場合、切り換えるべき音声認識辞書には（１）タッチしたボタンの音声認識キーワード、（２）タッチしたボタンの下層画面にある全ての音声認識キーワード、（３）タッチしたボタンの下層にはないが、このボタンに関連する音声認識キーワードが含まれる。
（１）は、タッチしたボタンのボタン名称などを含み、ボタンをタッチ操作入力により押下した場合と同様に、次の画面への遷移および機能を実行することができる音声認識キーワードである。
（２）は、タッチしたボタンの下層へジャンプ遷移したり、ジャンプ遷移した画面にある機能を実行したりすることができる音声認識キーワードである。
（３）は、タッチしたボタンの下層にはないが関連する機能の画面へジャンプ遷移したり、ジャンプ遷移した画面にある機能を実行したりすることができる音声認識キーワードである。
また例えば、タッチディスプレイ上にリスト項目ボタンが表示されたリスト画面においてユーザがリスト項目の操作を行った場合、切り換えるべき音声認識辞書には（１）タッチしたリスト項目ボタンの音声認識キーワード、（２）タッチしたリスト項目ボタンの下層画面にある全ての音声認識キーワード、（３）タッチしたリスト項目ボタンの下層にはないが、このボタンに関連する音声認識キーワードが含まれる。
なお、ボタン操作およびリスト項目ボタン操作の場合において、（３）の音声認識キーワードは必須ではなく、関連するものがなければ含む必要はない。
ここで、音声認識辞書の切り換えについて、具体的に説明する。
現在の状態は、図３に示すアプリケーション一覧画面Ｐ０１である。そして、入力方法の判定処理においてタッチ検出した「ＡＶ」ボタンのコマンド（ＡＶ、ＡＶ）のうちの項目名（ＡＶ）が音声認識辞書切換部８に入力される。よって、音声認識辞書切換部８は、音声認識辞書ＤＢ７のうちから「ＡＶ」に関連する音声認識辞書に切り換える指示を出す。
「ＡＶ」に関連する音声認識辞書とは、以下になる。
（１）タッチしたボタンの音声認識キーワードとして「ＡＶ」。
（２）タッチしたボタンの下層画面にある全ての音声認識キーワードとして「ＦＭ」、「ＡＭ」、「交通情報」、「ＣＤ」、「ＭＰ３」、「ＴＶ」。「ＦＭ」ボタンの下層画面（Ｐ１２）にある音声認識キーワードとして「Ａ放送局」、「Ｂ放送局」、「Ｃ放送局」など。「ＦＭ」ボタンの他のボタンについても、各下層画面（Ｐ１３，Ｐ１４，Ｐ１５・・・）にある音声認識キーワードが含まれる。
（３）タッチしたボタンの下層にはないが、このボタンに関連する音声認識キーワードとして、例えば、「情報」ボタンの下層画面にある音声認識キーワード。情報関連の音声認識キーワード「番組表」を含めておくことにより、例えば現在聴くことができるラジオ番組または観ることができるテレビ番組の番組表を表示することができるようになる。
また例えば、現在の状態が、図３に示すＡＶソース一覧画面Ｐ１１であるとする。そして、入力方法の判定処理においてタッチされた「ＦＭ」ボタンのコマンド（ＦＭ、ＦＭ）のうちの項目名（ＦＭ）が入力切換制御部４から音声認識辞書切換部８に入力される。よって、音声認識辞書切換部８は、音声認識辞書ＤＢ７のうちから「ＦＭ」に関連する音声認識辞書に切り換える指示を出す。
「ＦＭ」に関連する音声認識辞書とは、以下になる。
（１）タッチしたボタンの音声認識キーワードとして「ＦＭ」。
（２）タッチしたボタンの下層画面にある全ての音声認識キーワードとして「Ａ放送局」、「Ｂ放送局」、「Ｃ放送局」など。
（３）タッチしたボタンの下層にはないが、このボタンに関連する音声認識キーワードとして、例えば、「情報」ボタンの下層画面にある音声認識キーワード。情報関連の音声認識キーワード「ホームページ」を含めておくことにより、例えば現在選局中の放送局のホームページを表示し、放送されている番組の詳細、ならびに流れている楽曲の曲名およびアーティスト名などを見ることができるようになる。
この他、（３）の例としては、例えば図１０の「買い物」リスト項目ボタンの下層に「コンビニ」というカテゴリがあるが、関連する「食事」リスト項目ボタンにも「コンビニ」カテゴリの音声認識キーワードを含めるようにした場合、「買い物」から「コンビニ」へ遷移するだけでなく、「食事」からも「コンビニ」へジャンプ遷移することができるようになる。
続くステップＳＴ１５２において音声認識部９が、マイクから入力される音声信号に対して、音声認識辞書ＤＢ７のうちの音声認識辞書切換部８が指示した音声認識辞書を用いて音声認識処理を行い、音声操作入力を検出して出力する。例えば図３に示すアプリケーション一覧画面Ｐ０１において、ユーザが「ＡＶ」ボタンに一定時間触れた場合（または半押し、ダブルタップ、長押しなど）、音声認識辞書は、主に「ＡＶ」に関連する音声認識キーワードから構成されたものに切り換わる。さらに階層が下の画面に遷移した場合、例えばＡＶソース一覧画面Ｐ１１の「ＦＭ」ボタンにユーザが一定時間触れた場合には音声認識辞書は主に「ＦＭ」に関連する音声認識キーワードから構成されたものに切り換わる。即ちＡＶの音声認識辞書より音声認識キーワードが絞り込まれる。
従って、より絞り込まれた音声認識辞書に切り換えることにより、音声認識率の向上が期待できる。
続くステップＳＴ１５３において音声−コマンド変換部１０が、音声認識部９から入力される音声認識キーワードを指す音声認識結果を、対応するコマンド（項目値）に変換して出力する。
ステップＳＴ１５４において状態遷移制御部５が、状態遷移表記憶部６に格納されている状態遷移表に基づいて、入力切換制御部４から入力される項目名と音声−コマンド変換部１０から入力される項目値とからなるコマンドをアプリケーション実行命令へ変換する。
ここで、音声操作入力の場合に、コマンドからアプリケーション実行命令に変換する例を説明する。
現在の状態は、図３に示すアプリケーション一覧画面Ｐ０１である。そして、ユーザが「ＡＶ」ボタンに一定時間触れながら音声認識キーワード「ＡＶ」と発話した場合、状態遷移制御部５が得るコマンドは（ＡＶ、ＡＶ）である。よって、状態遷移制御部５は、タッチ操作入力の場合と同様に図７Ａの状態遷移表に基づいて、コマンド（ＡＶ、ＡＶ）を「ＡＶソース一覧画面Ｐ１１へ画面遷移する」というアプリケーション実行命令に変換する。
また例えば、ユーザがアプリケーション一覧画面Ｐ０１の「ＡＶ」ボタンに一定時間触れながら音声認識キーワード「Ａ放送局」と発話した場合、状態遷移制御部５が得るコマンドは（ＡＶ、Ａ放送局）である。よって、状態遷移制御部５は、図７Ａの状態遷移表に基づいて、コマンド（ＡＶ、Ａ放送局）を「ＦＭ局一覧画面Ｐ１２へ画面遷移し、Ａ放送局を選局する」というアプリケーション実行命令に変換する。
また例えば、ユーザがアプリケーション一覧画面Ｐ０１の「電話」ボタンに一定時間触れながら音声認識キーワード「山田○○」と発話した場合、状態遷移制御部５が得るコマンドは（電話、山田○○）である。よって、状態遷移制御部５は、図７Ａの状態遷移表に基づいて、コマンド（電話、山田○○）を「電話帳画面Ｐ２３へ画面遷移し、山田○○の電話帳を表示する」というアプリケーション実行命令に変換する。
続くステップＳＴ１５５において状態遷移制御部５は、コマンドから変換したアプリケーション実行命令をアプリケーション実行部１１へ出力する。
説明を図２のフローチャートに戻す。ステップＳＴ１６０においてアプリケーション実行部１１は、状態遷移制御部５から入力されるアプリケーション実行命令に従って、データ格納部１２から必要なデータを取得して画面遷移および機能実行の一方、または両方を行う。続くステップＳＴ１７０において出力制御部１３が、アプリケーション実行部１１の画面遷移および機能実行の結果を表示および音などにより出力する。
ここで、アプリケーション実行部１１と出力制御部１３によるアプリケーションの実行例を説明する。
ユーザがＦＭ局のＡ放送局を選局したい場合、タッチ操作入力を使用するなら、図３に示すアプリケーション一覧画面Ｐ０１の「ＡＶ」ボタンを押し込んでＡＶソース一覧画面Ｐ１１に遷移させる。次に、ＡＶソース一覧画面Ｐ１１の「ＦＭ」ボタンを押し込んでＦＭ局一覧画面Ｐ１２に遷移させる。次に、ＦＭ局一覧画面Ｐ１２の「Ａ放送局」ボタンを押し込んでＡ放送局を選局する。
このとき、車載用情報装置は図２に示すフローチャートに従って、タッチ入力検出部１でアプリケーション一覧画面Ｐ０１の「ＡＶ」ボタンの押し込みを検出し、入力方法判定部２でタッチ操作と判定し、入力切換制御部４から状態遷移制御部５に対してタッチ操作入力である旨を通知する。また、タッチ−コマンド変換部３が「ＡＶ」ボタンの押し込みを表すタッチ信号をコマンド（ＡＶ、ＡＶ）に変換し、状態遷移制御部５がそのコマンドを図７Ａの状態遷移表に基づいてアプリケーション実行命令「ＡＶソース一覧画面Ｐ１１に画面遷移する」に変換する。そして、アプリケーション実行部１１がアプリケーション実行命令に従って、データ格納部１２のＡＶ機能用のデータ群からＡＶソース一覧画面Ｐ１１を構成するデータを取得して画面を生成し、出力制御部１３がその画面をタッチディスプレイに表示する。
続けてユーザのタッチ動作が行われるので、タッチ入力検出部１でＡＶソース一覧画面Ｐ１１の「ＦＭ」ボタンの押し込みを検出し、入力方法判定部２でタッチ操作と判定し、入力切換制御部４から状態遷移制御部５に対してタッチ操作入力である旨を通知する。また、タッチ−コマンド変換部３が「ＦＭ」ボタンの押し込みを表すタッチ信号をコマンド（ＦＭ、ＦＭ）に変換し、状態遷移制御部５がそのコマンドを図７Ｂの状態遷移表に基づいてアプリケーション実行命令「ＦＭ局一覧画面Ｐ１２に画面遷移する」に変換する。そして、アプリケーション実行部１１が、データ格納部１２のＡＶ機能用のデータ群からＦＭ局一覧画面Ｐ１２を構成するデータを取得して画面を生成し、出力制御部１３がその画面をタッチディスプレイに表示する。
続けてユーザのタッチ動作が行われるので、タッチ入力検出部１でＦＭ局一覧画面Ｐ１２の「Ａ放送局」ボタンの押し込みを検出し、入力方法判定部２でタッチ操作と判定し、入力切換制御部４から状態遷移制御部５に対してタッチ操作入力である旨を通知する。また、タッチ−コマンド変換部３が「Ａ放送局」ボタンの押し込みを表すタッチ信号をコマンド（Ａ放送局、Ａ放送局）に変換し、状態遷移制御部５がそのコマンドを図７Ａの状態遷移表に基づいてアプリケーション実行命令「Ａ放送局を選局する」に変換する。そして、アプリケーション実行部１１が、データ格納部１２のＡＶ機能用のデータ群からカーオーディオを制御するコマンドなどを取得し、出力制御部１３がカーオーディオを制御してＡ放送局に選局する。
他方、音声操作入力を使用するなら、ユーザは、図３に示すアプリケーション一覧画面Ｐ０１の「ＡＶ」ボタンに一定時間触れながら「Ａ放送局」と発話してＡ放送局を選局する。
このとき、車載用情報装置は図２に示すフローチャートに従って、タッチ入力検出部１で「ＡＶ」ボタンへの一定時間の接触を検出し、入力方法判定部２で音声操作と判定し、入力切換制御部４から状態遷移制御部５に対して音声操作入力である旨を通知する。また、タッチ−コマンド変換部３が「ＡＶ」ボタンの接触を表すタッチ信号を項目名（ＡＶ）に変換し、入力切換制御部４がその項目名を状態遷移制御部５と音声認識辞書切換部８へ通知する。そして、音声認識部９が、音声認識辞書切換部８の指示する音声認識辞書に切り換えて発話「Ａ放送局」を音声認識し、音声−コマンド変換部１０が音声認識結果を項目値（Ａ放送局）に変換して状態遷移制御部５に通知する。状態遷移制御部５はコマンド（ＡＶ、Ａ放送局）を図７Ａの状態遷移表に基づいてアプリケーション実行命令「ＦＭ局一覧画面Ｐ１２に遷移し、Ａ放送局を選局する」に変換する。そして、アプリケーション実行部１１が、データ格納部１２のＡＶ機能用のデータ群からＦＭ局一覧画面Ｐ１２を構成するデータを取得して画面を生成すると共に、そのデータ群からカーオーディオを制御するコマンドなどを取得し、出力制御部１３がその画面をタッチディスプレイに表示すると共にカーオーディオを制御してＡ放送局に選局する。
このように、タッチ操作入力では３ステップでＡ放送局の選局を実行可能であるが、音声操作入力では１ステップで実行可能となる。
また例えば、ユーザが山田○○へ電話をかけたい場合、タッチ操作入力を使用するなら、図８に示すアプリケーション一覧画面Ｐ０１の「電話」ボタンを押し込んで電話画面Ｐ２１に遷移させる。次に、電話画面Ｐ２１の「電話帳」ボタンを押し込んで電話帳リスト画面Ｐ２２に遷移させる。次に、電話帳リスト画面Ｐ２２の「山田○○」が表示されるまでスクロールを繰り返し、「山田○○」ボタンを押し込んで電話帳画面Ｐ２３に遷移させる。これにより、山田○○に電話をかける画面を表示させることができる。電話をかける際には電話帳画面Ｐ２３の「発呼」ボタンを押し込んで通話回線に接続する。
このとき、車載用情報装置は図２に示すフローチャートに従って、タッチ入力検出部１で「電話」ボタンの押し込みを検出し、入力方法判定部２でタッチ操作と判定し、入力切換制御部４から状態遷移制御部５に対してタッチ操作入力である旨を通知する。また、タッチ−コマンド変換部３が「電話」ボタンの押し込みを表すタッチ信号をコマンド（電話、電話）に変換し、状態遷移制御部５がそのコマンドを図７Ａの状態遷移表に基づいてアプリケーション実行命令「電話画面Ｐ２１に画面遷移する」に変換する。そして、アプリケーション実行部１１が、データ格納部１２の電話機能用のデータ群から電話画面Ｐ２１を構成するデータを取得して画面を生成し、出力制御部１３がその画面をタッチディスプレイに表示する。
続けてユーザのタッチ動作が行われるので、タッチ入力検出部１で電話画面Ｐ２１の「電話帳」ボタンの押し込みを検出し、入力方法判定部２でタッチ操作と判定し、入力切換制御部４から状態遷移制御部５に対してタッチ操作入力である旨を通知する。また、タッチ−コマンド変換部３が「電話帳」ボタンの押し込みを表すタッチ信号をコマンド（電話帳、電話帳）に変換し、状態遷移制御部５がそのコマンドを図７Ｃの状態遷移表に基づいてアプリケーション実行命令「電話帳リスト画面Ｐ２２へ画面遷移する」に変換する。そして、アプリケーション実行部１１が、データ格納部１２の電話機能用のデータ群から電話帳リスト画面Ｐ２２を構成するデータを取得して画面を生成し、出力制御部１３がその画面をタッチディスプレイに表示する。
続けてユーザのタッチ動作が行われるので、タッチ入力検出部１で電話帳リスト画面Ｐ２２の「山田○○」ボタンの押し込みを検出し、入力方法判定部２でタッチ操作と判定し、入力切換制御部４から状態遷移制御部５に対してタッチ操作入力である旨を通知する。また、タッチ−コマンド変換部３が「山田○○」ボタンの押し込みを表すタッチ信号をコマンド（山田○○、山田○○）に変換し、状態遷移制御部５がそのコマンドを図７Ｃの状態遷移表に基づいてアプリケーション実行命令「電話帳画面Ｐ２３に画面遷移し、山田○○の電話帳を表示する」に変換する。そして、アプリケーション実行部１１がデータ格納部１２の電話機能用のデータ群から電話帳画面Ｐ２３を構成するデータと山田○○の電話番号データを取得して画面を生成し、出力制御部１３がその画面をタッチディスプレイに表示する。
続けてユーザのタッチ動作が行われるので、タッチ入力検出部１で電話帳画面Ｐ２３の「発呼」ボタンの押し込みを検出し、入力方法判定部２でタッチ操作と判定し、入力切換制御部４から状態遷移制御部５に対してタッチ操作入力である旨を通知する。また、タッチ−コマンド変換部３が「発呼」ボタンの押し込みを表すタッチ信号をコマンド（発呼、発呼）に変換し、状態遷移制御部５がそのコマンドを図７Ｃの状態遷移表に基づいてアプリケーション実行命令「通話回線に接続する」に変換する。そして、アプリケーション実行部１１がネットワーク１４を通じて通話回線に接続し、出力制御部１３が音声を出力する。
他方、音声操作入力を使用するなら、ユーザは、図８に示すアプリケーション一覧画面Ｐ０１の「電話」ボタンに一定時間触れながら「山田○○」と発話して電話帳画面Ｐ２３を表示させる。あとは、「発呼」ボタンを押し込めば電話をかけることができる。
このとき、車載用情報装置は図２に示すフローチャートに従って、タッチ入力検出部１で「電話」ボタンへの一定時間の接触を検出し、入力方法判定部２で音声操作と判定し、タッチ−コマンド変換部３が「電話」ボタンの接触を表すタッチ信号を項目名（電話）に変換し、入力切換制御部４がその項目名を状態遷移制御部５と音声認識辞書切換部８へ通知する。そして、音声認識部９が、音声認識辞書切換部８の指示する音声認識辞書に切り換えて発話「山田○○」を音声認識し、音声−コマンド変換部１０が音声認識結果を項目値（山田○○）に変換して状態遷移制御部５に通知する。状態遷移制御部５はコマンド（電話、山田○○）を図７Ａの状態遷移表に基づいてアプリケーション実行命令「電話帳画面Ｐ２３へ画面遷移し、山田○○の電話帳を表示する」に変換する。そして、アプリケーション実行部１１がデータ格納部１２の電話機能用のデータ群から電話帳画面Ｐ２３を構成するデータと山田○○の電話番号データを取得して画面を生成し、出力制御部１３がその画面をタッチディスプレイに表示する。
このように、タッチ操作入力では３ステップで電話帳画面Ｐ２３を表示可能であるが、音声操作入力では最短１ステップで実行可能となる。
また例えば、ユーザが電話番号０３−３３３３−４４４４を入力して電話をかけたい場合、タッチ操作入力を使用するなら、図８に示すアプリケーション一覧画面Ｐ０１の「電話」ボタンを押し込んで電話画面Ｐ２１に遷移させる。次に、電話画面Ｐ２１の「番号入力」ボタンを押し込んで番号入力画面Ｐ２４に遷移させる。次に、番号入力画面Ｐ２４で１０桁の数字を数字ボタンを押下して入力し、「確定」ボタンを押下して画面を番号入力発呼画面Ｐ２５に遷移させる。これにより、０３−３３３３−４４４４に電話をかける画面を表示させることができる。
他方、音声操作入力を使用するなら、ユーザは、図８に示すアプリケーション一覧画面Ｐ０１の「電話」ボタンに一定時間触れながら「０３３３３３４４４４」と発話して番号入力発呼画面Ｐ２５を表示させる。
このように、タッチ操作入力では１３ステップで番号入力発呼画面Ｐ２５が表示可能であるが、音声操作入力では最短１ステップで実行可能となる。
ここで、ナビ機能についても説明する。図１１Ａは、実施の形態１に係る車載用情報装置の画面遷移例を説明する図であり、ナビ機能に関する画面例である。また、図７Ｄおよび図７Ｅは、ナビ機能に関する画面に対応する状態遷移表である。
例えば、ユーザが現在地周辺のコンビニを探したい場合、タッチ操作入力を使用するなら、図１１Ａに示すアプリケーション一覧画面Ｐ０１の「ナビ」ボタンを押し込んでナビ画面（現在地）Ｐ３１に遷移させる。次に、ナビ画面（現在地）Ｐ３１の「メニュー」ボタンを押し込んでナビメニュー画面Ｐ３２に遷移させる。次に、ナビメニュー画面Ｐ３２の「周辺施設を探す」ボタンを押し込んで周辺施設ジャンル選択画面１Ｐ３４に遷移させる。次に、周辺施設ジャンル選択画面１Ｐ３４のリストをスクロールして「買い物」ボタンを押し込んで周辺施設ジャンル選択画面２Ｐ３５に遷移させる。次に、周辺施設ジャンル選択画面２Ｐ３５のリストをスクロールして「コンビニ」ボタンを押し込んでコンビニブランド選択画面Ｐ３６に遷移させる。次に、コンビニブランド選択画面Ｐ３６の「すべてのコンビニ」ボタンを押し込んで周辺施設検索結果画面Ｐ３７に遷移させる。これにより、周辺のコンビニの検索結果一覧を表示させることができる。
このとき、車載用情報装置は図２に示すフローチャートに従って、タッチ入力検出部１でアプリケーション一覧画面Ｐ０１の「ナビ」ボタンの押し込みを検出し、入力方法判定部２でタッチ操作と判定し、入力切換制御部４から状態遷移制御部５に対してタッチ操作入力である旨を通知する。また、タッチ−コマンド変換部３が「ナビ」ボタンの押し込みを表すタッチ信号をコマンド（ナビ、ナビ）に変換し、状態遷移制御部５がそのコマンドを図７Ａの状態遷移表に基づいてアプリケーション実行命令「ナビ画面（現在地）Ｐ３１に画面遷移する」に変換する。そして、アプリケーション実行部１１が、不図示のＧＰＳ受信機などから現在地を取得すると共にデータ格納部１２のナビ機能用データ群から現在地周辺の地図データなどを取得して画面を生成し、出力制御部１３がその画面をタッチディスプレイに表示する。
続けてユーザのタッチ動作が行われるので、タッチ入力検出部１でナビ画面（現在地）Ｐ３１の「メニュー」ボタンの押し込みを検出し、入力方法判定部２でタッチ操作と判定し、入力切換制御部４から状態遷移制御部５に対してタッチ操作入力である旨を通知する。また、タッチ−コマンド変換部３が「メニュー」ボタンの押し込みを表すタッチ信号をコマンド（メニュー、メニュー）に変換し、状態遷移制御部５がそのコマンドを図７Ｄの状態遷移表に基づいてアプリケーション実行命令「ナビメニュー画面Ｐ３２へ画面遷移する」に変換する。そして、アプリケーション実行部１１が、データ格納部１２のナビ機能用データ群からナビメニュー画面Ｐ３２を構成するデータを取得して画面を生成し、出力制御部１３がその画面をタッチディスプレイに表示する。
続けてユーザのタッチ動作が行われるので、タッチ入力検出部１でナビメニュー画面Ｐ３２の「周辺施設を探す」ボタンの押し込みを検出し、入力方法判定部２でタッチ操作と判定し、入力切換制御部４から状態遷移制御部５に対してタッチ操作入力である旨を通知する。また、タッチ−コマンド変換部３が「周辺施設を探す」ボタンの押し込みを表すタッチ信号をコマンド（周辺施設を探す、周辺施設を探す）に変換し、状態遷移制御部５がそのコマンドを図７Ｄの状態遷移表に基づいてアプリケーション実行命令「周辺施設ジャンル選択画面１Ｐ３４に画面遷移する」に変換する。そして、アプリケーション実行部１１がデータ格納部１２のナビ機能用のデータ群から周辺施設のリスト項目を取得し、出力制御部１３がそのリスト項目を並べたリスト画面（Ｐ３４）をタッチディスプレイに表示する。
なお、ここでは、データ格納部１２には、リスト画面を構成するためのリスト項目が、リスト項目の内容に応じてグループ分けされ、さらにこのグループ内で階層化されているものとする。例えば周辺施設ジャンル選択画面１Ｐ３４のリスト項目「交通」、「食事」、「買い物」、「宿泊」はそれぞれのグループ名であり、各グループの最上階の階層に分類された項目である。そして、例えば「買い物」グループにおいて、リスト項目「買い物」の１つ下の階層にリスト項目「デパート」、「スーパー」、「コンビニ」、「家電」が格納されている。さらに、「買い物」グループにおいて、「コンビニ」の１つ下の階層にリスト項目「すべてのコンビニ」、「Ａコンビニ」、「Ｂコンビニ」、「Ｃコンビニ」が格納されている。
続けてユーザのタッチ動作が行われるので、タッチ入力検出部１で周辺施設ジャンル選択画面１Ｐ３４の「買い物」ボタンの押し込みを検出し、入力方法判定部２でタッチ操作と判定し、入力切換制御部４から状態遷移制御部５に対してタッチ操作入力である旨を通知する。また、タッチ−コマンド変換部３が「買い物」ボタンの押し込みを表すタッチ信号をコマンド（買い物、買い物）に変換し、状態遷移制御部５がそのコマンドを図７Ｄの状態遷移表に基づいてアプリケーション実行命令「周辺施設ジャンル選択画面２Ｐ３５に画面遷移する」に変換する。そして、アプリケーション実行部１１がデータ格納部１２のナビ機能用のデータ群から周辺施設のうちの買い物に関連付けられた周辺施設のリスト項目を取得し、出力制御部１３がそのリスト画面（Ｐ３５）をタッチディスプレイに表示する。
続けてユーザのタッチ動作が行われるので、タッチ入力検出部１で周辺施設ジャンル選択画面２Ｐ３５の「コンビニ」ボタンの押し込みを検出し、入力方法判定部２でタッチ操作と判定し、入力切換制御部４から状態遷移制御部５に対してタッチ操作入力である旨を通知する。また、タッチ−コマンド変換部３が「コンビニ」ボタンの押し込みを表すタッチ信号をコマンド（コンビニ、コンビニ）に変換し、状態遷移制御部５がそのコマンドを図７Ｅの状態遷移表に基づいてアプリケーション実行命令「コンビニブランド選択画面Ｐ３６に画面遷移する」に変換する。そして、アプリケーション実行部１１がデータ格納部１２のナビ機能用のデータ群から周辺施設のうちのコンビニブランド種類のリスト項目を取得し、出力制御部１３がそのリスト画面（Ｐ３６）をタッチディスプレイに表示する。
続けてユーザのタッチ動作が行われるので、タッチ入力検出部１でコンビニブランド選択画面Ｐ３６の「すべてのコンビニ」ボタンの押し込みを検出し、入力方法判定部２でタッチ操作と判定し、入力切換制御部４から状態遷移制御部５に対してタッチ操作入力である旨を通知する。また、タッチ−コマンド変換部３が「すべてのコンビニ」ボタンの押し込みを表すタッチ信号をコマンド（すべてのコンビニ、すべてのコンビニ）に変換し、状態遷移制御部５がそのコマンドを図７Ｅの状態遷移表に基づいてアプリケーション実行命令「周辺施設検索結果画面Ｐ３７に画面遷移し、すべてのコンビニで周辺施設を検索し、検索結果を表示する」に変換する。そして、アプリケーション実行部１１が先ほど取得した現在地を中心にしてデータ格納部１２のナビ機能用のデータ群の地図データからコンビニを検索してリスト項目を作成し、出力制御部１３がそのリスト画面（Ｐ３７）をタッチディスプレイに表示する。
続けてユーザのタッチ動作が行われるので、タッチ入力検出部１で周辺施設検索結果画面Ｐ３７の「Ｂコンビニ○○店」ボタンの押し込みを検出し、入力方法判定部２でタッチ操作と判定し、入力切換制御部４から状態遷移制御部５に対してタッチ操作入力である旨を通知する。また、タッチ−コマンド変換部３が「Ｂコンビニ○○店」ボタンの押し込みを表すタッチ信号をコマンド（Ｂコンビニ○○店、Ｂコンビニ○○店）に変換し、状態遷移制御部５がそのコマンドを図７Ｅの状態遷移表に基づいてアプリケーション実行命令「目的地施設確認画面Ｐ３８に画面遷移し、Ｂコンビニ○○店を地図表示する」に変換する。そして、アプリケーション実行部１１がデータ格納部１２のナビ機能用のデータ群からＢコンビニ○○店を含む地図データを取得して目的地施設確認画面Ｐ３８を生成し、出力制御部１３がその画面をタッチディスプレイに表示する。
続けてユーザのタッチ動作が行われるので、タッチ入力検出部１で目的地施設確認画面Ｐ３８の「ここへ行く」ボタンの押し込みを検出し、入力方法判定部２でタッチ操作と判定し、入力切換制御部４から状態遷移制御部５に対してタッチ操作入力である旨を通知する。また、タッチ−コマンド変換部３が「ここへ行く」ボタンの押し込みを表すタッチ信号をコマンド（ここへ行く、Ｂコンビニ○○店）に変換し、状態遷移制御部５がそのコマンドを不図示の状態遷移表に基づいてアプリケーション実行命令に変換する。そして、アプリケーション実行部１１が、データ格納部１２のナビ機能用のデータ群の地図データを用いて、先ほど取得した現在地からＢコンビニ○○店を目的地にした経路探索を行ってナビ画面（現在地ルートあり）Ｐ３９を生成し、出力制御部１３がその画面をタッチディスプレイに表示する。
他方、音声操作入力を使用するなら、ユーザは、図１１Ａに示すアプリケーション一覧画面Ｐ０１の「ナビ」ボタンに一定時間触れながら「コンビニ」と発話して周辺施設検索結果画面Ｐ３７を表示させる。
このとき、車載用情報装置は図２に示すフローチャートに従って、タッチ入力検出部１で「ナビ」ボタンへの一定時間の接触を検出し、入力方法判定部２で音声操作と判定し、タッチ−コマンド変換部３が「ナビ」ボタンの接触を表すタッチ信号を項目名（ナビ）に変換し、入力切換制御部４がその項目名を状態遷移制御部５と音声認識辞書切換部８へ通知する。そして、音声認識部９が、音声認識辞書切換部８の指示する音声認識辞書に切り換えて発話「コンビニ」を音声認識し、音声−コマンド変換部１０が音声認識結果を項目値（コンビニ）に変換して状態遷移制御部５に通知する。状態遷移制御部５はコマンド（ナビ、コンビニ）を図７Ａの状態遷移表に基づいてアプリケーション実行命令「周辺施設検索結果画面Ｐ３７に画面遷移し、すべてのコンビニで周辺施設を検索し、検索結果を表示する」に変換する。そして、アプリケーション実行部１１がデータ格納部１２のナビ機能用のデータ群の地図データからコンビニを検索してリスト項目を作成し、出力制御部１３がそのリスト画面（Ｐ３７）をタッチディスプレイに表示する。
なお、周辺施設検索結果画面Ｐ３７から特定のコンビニを目的地にして経路案内する動作（目的地施設確認画面Ｐ３８およびナビ画面（現在地ルートあり）Ｐ３９）は上述した処理と略同じであるため、説明は省略する。
このように、タッチ操作入力では６ステップで周辺施設検索結果画面Ｐ３７が表示可能であるが、音声操作入力では最短１ステップで実行可能となる。
また例えば、ユーザが東京駅などの施設名称から検索したい場合、タッチ操作入力を使用するなら、図１１Ａに示すアプリケーション一覧画面Ｐ０１の「ナビ」ボタンを押し込んでナビ画面（現在地）Ｐ３１に遷移させる。次に、ナビ画面（現在地）Ｐ３１の「メニュー」ボタンを押し込んでナビメニュー画面Ｐ３２に遷移させる。次に、ナビメニュー画面Ｐ３２の「目的地を探す」ボタンを押し込んで図１１Ｂに示す目的地設定画面Ｐ３３に遷移させる。次に、図１１Ｂに示す目的地設定画面Ｐ３３の「施設名称」ボタンを押し込んで施設名称入力画面Ｐ４３に遷移させる。次に、施設名称入力画面Ｐ４３で「とうきょうえき」の７文字分、文字ボタンを押下して入力し、「確定」ボタンを押下して画面を検索結果画面Ｐ４４に遷移させる。これにより、東京駅の検索結果一覧を表示させることができる。
他方、音声操作入力を使用するなら、ユーザは、図１１Ａに示すアプリケーション一覧画面Ｐ０１の「ナビ」ボタンに一定時間触れながら「東京駅」と発話すれば、図１１Ｂに示す検索結果画面Ｐ４４を表示させることができる。
このように、タッチ操作入力では１２ステップで検索結果画面Ｐ４４が表示可能であるが、音声操作入力では最短１ステップで実行可能となる。
なお、ユーザがタッチ操作入力の途中で、音声操作入力に切り換えることも可能である。
例えば、ユーザが、図１１Ａに示すアプリケーション一覧画面Ｐ０１の「ナビ」ボタンを押し込んでナビ画面（現在地）Ｐ３１に遷移させる。次に、ナビ画面（現在地）Ｐ３１の「メニュー」ボタンを押し込んでナビメニュー画面Ｐ３２に遷移させる。
ここで、ユーザが音声操作入力に切り換えるなら、ナビメニュー画面Ｐ３２の「周辺施設を探す」ボタンに一定時間触れながら「コンビニ」と発話すれば、周辺施設検索結果画面Ｐ３７を表示させることができる。この場合は、アプリケーション一覧画面Ｐ０１から３ステップで現在地周辺のコンビニの検索結果一覧を表示可能となる。
あるいは、ナビメニュー画面Ｐ３２の「目的地を探す」ボタンに一定時間に触れながら「東京駅」と発話すれば、図１１Ｂに示す検索結果画面Ｐ４４を表示させることができる。この場合は、アプリケーション一覧画面Ｐ０１から３ステップで東京駅の検索結果一覧を表示することができる。
あるいは、図１１Ｂに示す目的地設定画面Ｐ３３の「施設名称」ボタンに一定時間触れながら「東京駅」と発話すれば、検索結果画面Ｐ４４を表示させることができる。この場合は、アプリケーション一覧画面Ｐ０１から４ステップで東京駅の検索結果一覧を表示することができる。このように、違う画面Ｐ３２，Ｐ３３に対して同じ音声入力「東京駅」を行うことができ、音声入力を行う画面によってステップ数が変わる。
反対に、同じ画面の同じボタンに対して異なる音声入力を行って、ユーザが希望する画面を表示させることもできる。
例えば、上記例では、ユーザが図１１Ａに示すアプリケーション一覧画面Ｐ０１の「ナビ」ボタンに一定時間触れながら「コンビニ」と発話して周辺施設検索結果画面Ｐ３７を表示させたが、同じ「ナビ」ボタンに一定時間触れながら「Ａコンビニ」と発話した場合には周辺施設検索結果画面Ｐ４０を表示させることができる（図７Ａの状態遷移表に基づく）。この例の場合、漠然とコンビニを検索したいユーザは「コンビニ」と発話すれば、全ブランドのコンビニの検索結果を得ることができ、一方、「Ａコンビニ」だけを検索したいユーザは「Ａコンビニ」と発話すれば、ブランドをＡコンビニに絞った検索結果を得ることができる。
以上より、実施の形態１によれば、車載用情報装置は、タッチディスプレイの出力信号に基づいてタッチ動作を検出するタッチ入力検出部１と、タッチ入力検出部１の検出結果に基づいてタッチ動作のなされたボタンに対応する処理（遷移先画面およびアプリケーション実行機能の一方、または両方）を実行させるための項目名を含むコマンド（項目名、項目値）を生成するタッチ−コマンド変換部３と、処理に対応付けられた音声認識キーワードからなる音声認識辞書を用いて、タッチ動作と略同時かそれに続くユーザ発話を音声認識する音声認識部９と、音声認識結果に対応する処理を実行させるためのコマンド（項目値）に変換する音声−コマンド変換部１０と、タッチ入力検出部１の検出結果に基づいてタッチ動作の状態がタッチ操作モードを示すものか音声操作モードを示すものかを判定する入力方法判定部２と、入力方法判定部２の判定結果に応じてタッチ操作モードか音声操作モードかを切り換える入力切換制御部４と、入力切換制御部４からタッチ操作モードの指示を受けた場合にコマンド（項目名、項目値）をタッチ−コマンド変換部３から取得してアプリケーション実行命令に変換し、入力切換制御部４から音声操作モードの指示を受けた場合に入力切換制御部４から項目名、音声−コマンド変換部１０から項目値を取得してアプリケーション実行命令に変換する状態遷移制御部５と、アプリケーション実行命令に従って処理を実行するアプリケーション実行部１１と、アプリケーション実行部１１の実行結果を出力するタッチディスプレイ、スピーカなどの出力部を制御する出力制御部１３とを備えるように構成した。
このため、ボタンへのタッチ動作の状態に応じてタッチ操作モードか音声操作モードかを判定するので、１つのボタンで通常のタッチ操作とそのボタンに関連する音声操作とを切り換えて入力することができ、タッチ操作の分かりやすさを確保することができる。
また、音声認識結果を変換した項目値は、ボタン名称である項目名と同じ処理グループのなかのより下層に分類された処理を実行するための情報であるので、ユーザが目的をもってタッチしたボタンに関連する内容を発話するだけでこのボタンに関連する下層の処理を実行させることができる。従って、従来のように予め決められた独特な音声操作方法および音声認識キーワードを覚える必要がない。また、従来のように単なる「発話ボタン」を押して発話する場合に比べ、本実施の形態１では「ナビ」、「ＡＶ」などの名称が表示されたボタンを押してそのボタンに関連する音声認識キーワードを発話するようにしたので、直感的で分かりやすい音声操作を実現でき、「何をしゃべったらよいか分からない」という音声操作の問題点を解決することができる。さらに、操作ステップ数と操作時間を短縮することができる。
また、実施の形態１によれば、車載用情報装置は、処理に対応付けられた音声認識キーワードからなる音声認識辞書を格納している音声認識辞書ＤＢ７と、この音声認識辞書ＤＢ７のうち、タッチ動作のなされたボタン（即ち、項目名）に関連する処理に対応付けられた音声認識辞書に切り換える音声認識辞書切換部８とを備え、音声−コマンド変換部１０は、音声認識辞書切換部８が切り換えた音声認識辞書を用いて、タッチ動作と略同時かそれに続くユーザ発話の音声認識を行うように構成した。このため、タッチ動作のなされたボタンに関連する音声認識キーワードに絞り込むことができ、音声認識率を向上できる。
実施の形態２．
上記実施の形態１では、例えば図８に示す電話帳リスト画面Ｐ２２のようなリスト項目を表示したリスト画面も、リスト画面以外の画面も区別なく同じ動作を行ったが、本実施の形態２ではリスト画面を表示している場合にこの画面により適した動作を行う構成にする。具体的には、リスト画面においてリスト項目に関連した音声認識辞書を動的に作成し、また、スクロールバーへのタッチ動作を検出してリスト項目を選択するなどの音声操作入力を判定する。
図１２は、本実施の形態２に係る車載用情報装置の構成を示すブロック図である。この車載用情報装置は、新たに音声認識対象語辞書作成部２０を備える。その他、図１２において図１と同一または相当の部分については同一の符号を付し、詳細な説明を省略する。
タッチ入力検出部１ａは、リスト画面が表示されている場合に、タッチディスプレイからの入力信号に基づいて、ユーザがスクロールバー（の表示エリア）にタッチしたか否かを検出する。
入力切換制御部４ａは、入力方法判定部２の判定結果（タッチ操作または音声操作）に基づき、ユーザがどちらの入力操作を行っているかを状態遷移制御部５へ伝えると共に、アプリケーション実行部１１ａにも伝える。
アプリケーション実行部１１ａは、入力切換制御部４ａからタッチ操作が通知された場合、リスト画面に対してリストのスクロールを行う。
また、アプリケーション実行部１１ａは、入力切換制御部４ａから音声操作が通知された場合には上記実施の形態１と同様に、データ格納部１２に格納された各種データを利用して、状態遷移制御部５から通知されたアプリケーション実行命令に応じた画面遷移またはアプリケーション機能の実行を行う。
音声認識対象語辞書作成部２０は、アプリケーション実行部１１ａから画面表示するリスト項目の一覧データを取得し、音声認識辞書ＤＢ７を用いて取得したリスト項目に関連した音声認識対象語辞書を作成する。
音声認識部９ａは、リスト画面が表示されている場合に、音声認識対象語辞書作成部２０により作成された音声認識対象語辞書を参照して、マイクからの音声信号を音声認識処理して文字列などに変換し、音声−コマンド変換部１０へ出力する。
なお、車載用情報装置は、リスト画面以外の場合は上記実施の形態１と同様の処理を行えばよく、不図示の音声認識辞書切換部８が項目名に紐付けられた音声認識キーワード群からなる音声認識辞書への切り換えを音声認識部９ａに指示することになる。
次に、車載用情報装置の動作を説明する。
図１３は、実施の形態２に係る車載用情報装置の動作を示すフローチャートである。図１４は車載用情報装置による画面遷移例を示し、ここでは、車載用情報装置がアプリケーション実行部１１の機能の一つである電話機能の電話帳リスト画面Ｐ５１をタッチディスプレイ上に表示していることとする。
ステップＳＴ２００においてタッチ入力検出部１ａが、タッチディスプレイ上に表示されたスクロールバーにユーザがタッチしたか否かを検出する。また、タッチを検出した場合（ステップＳＴ２００“ＹＥＳ”）、タッチ入力検出部１ａはタッチディスプレイからの出力信号に基づいて、どのようにタッチされたかを示すタッチ信号（スクロールしようとする操作か一定時間触れる操作か等）を出力する。
ステップＳＴ２１０においてタッチ−コマンド変換部３が、タッチ入力検出部１ａから入力されるタッチ信号に基づいてスクロールバーのコマンド（項目名、項目値）である（スクロールバー、スクロールバー）に変換して出力する。
ステップＳＴ２２０において入力方法判定部２が、タッチ入力検出部１ａから入力されるタッチ信号に基づいてユーザがタッチ操作を行おうとしているのか音声操作を行おうとしているのか入力方法を判定して出力する。この入力方法の判定処理は、図４に示すフローチャートのとおりである。なお、上記実施の形態１では図５の判定条件に従って、例えばボタンを押し込む操作を示すタッチ信号のときタッチ操作モード、ボタンに一定時間触れる操作を示すタッチ信号のとき音声操作モードと判定したが、本実施の形態２では、スクロールバーを押しながらスクロールしようとする操作を示すタッチ信号のときタッチ操作モード、スクロールバーに単に一定時間触れる操作を示すタッチ信号のとき音声操作モードと判定する等、判定条件を適宜設定すればよい。
ステップＳＴ２３０において状態遷移制御部５は、入力切換制御部４ａから入力される判定結果がタッチ操作モードなら（ステップＳＴ２３０“ＹＥＳ”）、続くステップＳＴ２４０において、タッチ−コマンド変換部３から入力されるコマンドを、状態遷移表記憶部６の状態遷移表に基づいてアプリケーション実行命令へ変換する。
ここで、図１５に、本実施の形態２の状態遷移表記憶部６が有する状態遷移表の一例を示す。この状態遷移表には、各画面（Ｐ５１、Ｐ６１、Ｐ７１）に表示されているスクロールバーに対応するコマンドが設定されており、項目名は「スクロールバー」である。
コマンドの項目値は、項目名と同じ「スクロールバー」と付けられているものと、違う名前が付けられているものとがある。項目名と項目値が同じコマンドはタッチ操作入力の場合に使用するコマンドであり、項目名と項目値が異なるコマンドは主に音声操作入力の場合に使用するコマンドである。
コマンド（スクロールバー、スクロールバー）に対応するアプリケーション実行命令には、遷移先画面として「遷移しない」が設定され、アプリケーション実行機能としてタッチ操作に合わせて「リストスクロールする」が設定されている。従って、ステップＳＴ２４０において状態遷移制御部５は、タッチ−コマンド変換部３から入力されるコマンド（スクロール、スクロール）を、「画面遷移せず、リストスクロールする」というアプリケーション実行命令に変換する。
続くステップＳＴ２６０において、状態遷移制御部５から「画面遷移せず、リストスクロールする」というアプリケーション実行命令を受けたアプリケーション実行部１１ａは、現在表示しているリスト画面のリストをスクロールすることになる。
一方、入力切換制御部４ａから入力される判定結果が音声操作モードなら（ステップＳＴ２３０“ＮＯ”）、ステップＳＴ２５０に進み、音声操作入力によりアプリケーション実行命令を生成する。
ここで、図１６に示すフローチャートを用いて、音声操作入力によるアプリケーション実行命令の生成方法を説明する。
ステップＳＴ２５１において音声認識対象語辞書作成部２０は、入力切換制御部４ａから音声操作入力の判定結果の通知を受けると、アプリケーション実行部１１ａから現在タッチディスプレイに表示しているリスト画面のリスト項目の一覧データを取得する。
続くステップＳＴ２５２において音声認識対象語辞書作成部２０は、取得したリスト項目に関連する音声認識対象語辞書を作成する。
図１７は、音声認識対象語辞書を説明する図である。この音声認識対象語辞書には、（１）リストに並んでいる項目の音声認識キーワード、（２）リスト項目を絞り込み検索する音声認識キーワード、（３）リストに並んでいる項目の下層画面にあるすべての音声認識キーワードの三種類がある。
（１）は、例えば電話帳リスト画面に並んでいる氏名（秋山○○、加藤○○、鈴木○○、田中○○、山田○○など）である。
（２）は、例えば現在地周辺の施設のうち「コンビニ」を検索した結果を示す周辺施設検索結果画面に並んでいるコンビニブランド名（Ａコンビニ、Ｂコンビニ、Ｃコンビニ、Ｄコンビニ、Ｅコンビニなど）である。
（３）は、例えば周辺施設ジャンル選択画面１に並んでいる「買い物」項目の下層画面に含まれるジャンル名（コンビニ、デパートなど）、ジャンル名の各下層画面に含まれるコンビニブランド名（○○コンビニなど）、デパートブランド名（△△デパートなど）と、「宿泊」項目の下層画面に含まれるジャンル名（ホテルなど）、ジャンル名の各下層画面に含まれるホテルブランド名（□□ホテルなど）と、この他にも「交通」および「食事」の下層画面の音声認識キーワードとを含む。これにより、現在表示している画面より下層の画面へジャンプ遷移したり、下層の画面にある機能を直接実行したりできるようになる。
続くステップＳＴ２５３において音声認識部９ａが、マイクから入力される音声信号に対して、音声認識対象語辞書作成部２０が作成した音声認識対象語辞書を用いて音声認識処理を行い、音声操作入力を検出して出力する。例えば図１４に示す電話帳リスト画面Ｐ５１において、ユーザがスクロールバーに一定時間触れた場合（または半押し、ダブルタップ、長押しなど）、音声認識対象語辞書として、秋山○○などの氏名の項目を音声認識キーワードとして含む辞書が作成される。従って、リストに関連した音声認識キーワードに絞り込まれ、音声認識率の向上が期待できる。
続くステップＳＴ２５４において音声−コマンド変換部１０は、音声認識部９ａから入力される音声認識結果をコマンド（項目値）に変換して出力する。
ステップＳＴ２５５において状態遷移制御部５が、状態遷移表記憶部６に格納されている状態遷移表に基づいて、入力切換制御部４ａから入力される項目名と音声−コマンド変換部１０から入力される項目値とからなるコマンド（項目名、項目値）をアプリケーション実行命令へ変換する。
ここで、音声操作入力の場合に、コマンドからアプリケーション実行命令に変換する例を説明する。
現在の状態は、図１４に示す電話帳リスト画面Ｐ５１である。そして、ユーザがスクロールバーに一定時間触れながら音声認識キーワード「山田○○」と発話した場合、入力切換制御部４ａから状態遷移制御部５に入力される項目名はスクロールである。また、音声−コマンド変換部１０から状態遷移制御部５に入力される項目値は山田○○である。よって、コマンド（スクロールバー、山田○○）となる。
コマンド（スクロールバー、山田○○）は、図１５の状態遷移表によれば、「電話帳画面Ｐ５２へ画面遷移し、山田○○の電話帳を表示する」というアプリケーション実行命令に変換される。これにより、ユーザは、リスト項目の下方に並んでいてリスト画面に表示されていない「山田○○」などのリスト項目を容易に選択および決定することができる。
また例えば、現在の状態が、図１８に示す周辺施設検索結果画面Ｐ６１であるとする。そして、ユーザがスクロールバーに一定時間触れながら音声認識キーワード「Ａコンビニ」と発話した場合、音声−コマンド変換部１０から状態遷移制御部５に入力される項目値はＡコンビニとなるので、コマンド（スクロールバー、Ａコンビニ）となる。
コマンド（スクロールバー、Ａコンビニ）は、図１５の状態遷移表によれば、「画面遷移せず、Ａコンビニで絞込み検索を行い、検索結果を表示する」というアプリケーション実行命令に変換される。これにより、ユーザは容易に、リスト項目を絞り込み検索することができる。
また例えば、現在の状態が、図１９に示す周辺施設ジャンル選択画面１Ｐ７１であるとする。そして、ユーザがスクロールバーに一定時間触れながら音声認識キーワード「Ａコンビニ」と発話した場合、音声−コマンド変換部１０から状態遷移制御部５に入力される項目値はＡコンビニとなるので、この場合もコマンド（スクロールバー、Ａコンビニ）となる。
図１５の状態遷移表によれば、同じコマンド（スクロールバー、Ａコンビニ）であっても、現在の状態に応じてアプリケーション実行命令が異なる。よって、周辺施設ジャンル選択画面１Ｐ７１の場合のコマンド（スクロールバー、Ａコンビニ）は、「周辺施設検索結果画面Ｐ７４に画面遷移し、Ａコンビニ周辺施設を検索し、検索結果を表示する」というアプリケーション実行命令に変換される。これにより、ユーザは容易に、表示中のリスト画面より下層の画面に遷移したり、下層のアプリケーション機能を実行したりすることができる。
続くステップＳＴ２５６において状態遷移制御部５が、コマンドから変換したアプリケーション実行命令をアプリケーション実行部１１ａへ出力する。
説明を図１３のフローチャートに戻す。ステップＳＴ２６０においてアプリケーション実行部１１ａは、状態遷移制御部５から入力されるアプリケーション実行命令に従って、データ格納部１２から必要なデータを取得して、画面遷移および機能実行の一方、または両方を行う。続くステップＳＴ２７０において出力制御部１３が、アプリケーション実行部１１ａの画面遷移および機能実行の結果を表示および音などにより出力する。アプリケーション実行部１１ａおよび出力制御部１３の動作は、上記実施の形態１と同様のため、説明は省略する。
なお、図１３および図１６のフローチャートでは、ステップＳＴ２００にてリスト画面のスクロールバーへのタッチが検出された後に、ステップＳＴ２５２にて音声認識対象語辞書作成部２０が音声認識対象語辞書を作成する構成にしたが、辞書作成のタイミングはこれに限定されるものではない。例えば、リスト画面に遷移したとき（アプリケーション実行部１１ａがリスト画面を生成したタイミング、または出力制御部１３がリスト画面を表示したタイミング）でそのリスト画面に関する音声認識対象語辞書を作成するように構成してもよい。
また、ナビ機能における周辺施設ジャンル選択画面（図１９のＰ７１〜Ｐ７３）のように、画面表示するリスト項目が予め決まっているような場合は、そのリスト画面用の音声認識対象語辞書を用意しておいてもよい。そして、リスト画面のスクロールバーが検出された場合またはリスト画面に遷移した場合に、予め用意されている音声認識対象語辞書に切り換えればよい。
以上より、実施の形態２によれば、車載用情報装置は、グループ分けされ、さらに当該グループ内で階層化されたリスト項目のデータを格納しているデータ格納部１２と、リスト項目に対応付けられた音声認識キーワードを格納している音声認識辞書ＤＢ７と、データ格納部１２に格納されたデータのうちの各グループの所定階層の項目が並んだリスト画面のスクロールバーがタッチ動作された場合、音声認識辞書ＤＢ７のうち、このリスト画面に並ぶ各リスト項目とその下層のリスト項目に対応付けられた音声認識キーワードを抽出して音声認識対象語辞書を作成する音声認識対象語辞書作成部２０とを備え、音声−コマンド変換部１０は、音声認識対象語辞書作成部２０が作成した音声認識対象語辞書を用いてスクロールバーエリアへのタッチ動作と略同時かそれに続くユーザ発話の音声認識を行い、リスト画面に並ぶ各リスト項目かその下層のリスト項目に対応付けられた音声認識キーワードを取得するように構成した。このため、リスト画面のスクロールバーへのタッチ動作の状態に応じて、通常のタッチスクロール操作と、そのリストに関連する音声操作とを切り換えて入力することができる。また、ユーザはスクロールバーにタッチしながら目的のリスト項目を発話するだけでこのリスト画面の中から目的の項目を選択・決定したり、現在のリスト画面からさらに下層のリスト項目を絞り込んだり、現在のリスト画面の下層にある画面へジャンプ遷移したりアプリケーション機能を実行したりすることができる。よって、操作ステップ数および操作時間を短縮できる。また、従来のように予め決められた音声認識キーワードを覚えることなく、直感的にリスト画面を音声操作することができる。さらに、画面表示されたリスト項目に関連する音声認識キーワードに絞り込むことができ、音声認識率を向上できる。
なお、上述した通り、音声認識対象語辞書作成部２０が音声認識対象語辞書を作成するタイミングは、スクロールバーがタッチ動作された後でなく、リスト画面を表示するときであってもよい。また、抽出する音声認識キーワードは、リスト画面に並ぶ各リスト項目とその下層のリスト項目に対応付けられたものでなくてもよく、例えばリスト画面に並ぶ各リスト項目だけでもよいし、あるいはリスト画面に並ぶ各リスト項目とその１つ下層のリスト項目でもよいし、あるいはリスト画面に並ぶ各リスト項目とその全ての下層のリスト項目でもよい。
実施の形態３．
図２０は、本実施の形態３に係る車載用情報装置の構成を示すブロック図である。この車載用情報装置は、新たに出力方法決定部３０と出力データ記憶部３１とを備え、タッチ操作モードか音声操作モードかをユーザに報知する。その他、図２０において図１と同一または相当の部分については同一の符号を付し、詳細な説明を省略する。
入力切換制御部４ｂは、入力方法判定部２の判定結果（タッチ操作モードまたは音声操作モード）に基づき、ユーザがどちらの入力操作を希望したかを状態遷移制御部５へ伝えると共に、出力方法決定部３０にも伝える。また、入力切換制御部４ｂは、音声操作入力判定時にはタッチ−コマンド変換部３から入力されるコマンドのうちの項目名を出力方法決定部３０に出力する。
出力方法決定部３０は、入力切換制御部４ｂからタッチ操作モードが通知された場合、タッチ操作入力であることをユーザに通知する出力方法（タッチ操作モードを示すボタン色、効果音、タッチディスプレイのクリック感および振動方法など）を決定し、必要に応じて出力データを出力データ記憶部３１から取得して出力制御部１３ｂへ出力する。
また、出力方法決定部３０は、入力切換制御部４ｂから音声操作モードが通知された場合、音声操作入力であることをユーザに通知する出力方法（音声操作モードを示すボタン色、効果音、タッチディスプレイのクリック感および振動方法、音声認識マーク、音声ガイダンスなど）を決定し、この音声操作の項目名に対応する出力データを出力データ記憶部３１から取得して出力制御部１３ｂへ出力する。
出力データ記憶部３１は、入力方法がタッチ操作入力であるか音声操作入力であるかをユーザに通知するために用いるデータを格納している。データとしては、例えばタッチ操作モードか音声操作モードかをユーザが識別可能な効果音データ、音声操作モードを報知する音声認識マークの画像データ、ユーザがタッチしたボタン（項目名）に対応した音声認識キーワードの発話を促す音声ガイダンスデータなどがある。
なお、図示例では出力データ記憶部３１を個別に設けたが、他の記憶装置で兼用してもよく、例えば状態遷移表記憶部６またはデータ格納部１２に出力データを格納してもよい。
出力制御部１３ｂは、アプリケーション実行部１１の実行結果をタッチディスプレイに画面表示したり、スピーカから音声出力したりする際に、入力切換制御部４ｂから入力される出力方法に従ってボタン色をタッチ操作モードと音声操作モードで変更したり、タッチディスプレイのクリック感を変更したり、振動方法を変更したり、音声ガイダンスを出力したりする。出力方法は、これらのうちのいずれか１種類であってもよいし、任意に複数の種類を組み合わせてもよい。
次に、車載用情報装置の動作を説明する。
図２１は、実施の形態３に係る車載用情報装置の出力方法制御動作を示すフローチャートである。図２１のステップＳＴ１００〜ＳＴ１３０は、図２のステップＳＴ１００〜ＳＴ１３０と同一の処理であるため説明を省略する。
入力方法の判定結果がタッチ操作なら（ステップＳＴ１３０“ＹＥＳ”）、入力切換制御部４ｂが出力方法決定部３０へその旨を通知する。続くステップＳＴ３００において出力方法決定部３０は、入力切換制御部４ｂからタッチ操作入力である旨の通知を受け、アプリケーション実行結果の出力方法を決定する。例えば、画面のボタンをタッチ操作用のボタン色に変更したり、タッチディスプレイ上をユーザがタッチしたときの効果音、クリック感および振動をタッチ操作用に変更したりする。
一方、入力方法の判定結果が音声操作なら（ステップＳＴ１３０“ＮＯ”）、入力切換制御部４ｂが出力方法決定部３０へ音声操作入力である旨とそのコマンド（項目名）とを通知する。続くステップＳＴ３１０において出力方法決定部３０は、入力切換制御部４ｂから音声操作入力である旨の通知を受け、アプリケーション実行結果の出力方法を決定する。例えば、画面のボタンを音声操作用のボタン色に変更したり、タッチディスプレイ上をユーザがタッチしたときの効果音、クリック感および振動を音声操作用に変更したりする。また、出力方法決定部３０は、入力方法判定時にタッチされたボタンの項目名に基づいた音声ガイダンスデータを出力データ記憶部３１から取得する。
続くステップＳＴ３２０において出力制御部１３ｂは、出力方法決定部３０からの指示に従って表示、音、クリック、振動などの出力を行う。
ここで、出力の具体例を説明する。図２２は、音声操作入力と判定された場合の電話画面である。この電話画面を表示している場合に、ユーザが「電話帳」ボタンを一定時間触れたとする。この場合、出力方法決定部３０は入力切換制御部４ｂから音声操作入力である旨の通知を受け、かつ、項目名（電話帳）を受け取る。続いて出力方法決定部３０は、出力データ記憶部３１から音声認識マークのデータを取得して、「電話帳」ボタン付近に音声認識マークを表示する指示を出力制御部１３ｂへ出力する。そして、出力制御部１３ｂが、ユーザがタッチした「電話帳」ボタンから音声認識マークが吹き出るように、電話画面上の電話帳ボタン付近に音声認識マークを重畳配置してタッチディスプレイへ出力する。
これにより、音声操作入力に切り替わった状態であること、およびどのボタンに関連した音声操作を行う状態であるかがユーザに分かりやすく示すことができる。この状態でユーザが「山田○○」と発話すれば、発呼機能のある下層の電話帳画面を表示させることができる。
また例えば、図２２において、音声操作入力である旨の通知を受けた出力方法決定部３０が、項目名（電話帳）に紐付けて格納されている音声ガイダンス「どなたに電話をかけますか」のデータを出力データ記憶部３１から取得して、出力制御部１３ｂへ出力する。そして、出力制御部１３ｂが、この音声ガイダンスデータをスピーカへ出力する。
また例えば、図１１Ａのナビメニュー画面Ｐ３２において、「周辺施設を探す」ボタンにユーザが一定時間触れたとする。この場合、出力方法決定部３０は入力切換制御部４ｂから音声操作入力である旨の通知を受け、かつ、項目名（周辺施設を探す）を受け取る。そして、出力方法決定部３０が、この項目名に紐付けられた「どちらの施設へ行きますか」、「施設名称をお話ください」といった音声ガイダンスデータを出力データ記憶部３１より取得して、出力制御部１３ｂへ出力する。
これにより、タッチされたボタンに応じた発話すべき内容を音声ガイダンスによりユーザに問いかけながら、より自然と音声操作入力に導くことができる。
これは、一般的な音声操作入力で使われているような発話ボタンを押下したときに出力される「ピッとなったらお話ください」という音声ガイダンスに比べ、分かりやすいガイダンス内容といえる。
なお、上記説明では出力方法決定部３０および出力データ記憶部３１を実施の形態１に係る車載用情報装置に適用した場合の例を説明したが、実施の形態２に係る車載用情報装置に適用してもよいことは言うまでもない。
図２３は、音声操作入力時のリスト画面の一例である。実施の形態２ではユーザがスクロールバーに一定時間触れた場合に音声操作入力に切り換わる。この場合に、出力方法決定部３０が、そのリスト画面上のスクロールバー付近に音声認識マークを重畳配置するよう制御して、ユーザに音声操作入力の状態である旨をユーザに報知する。
以上より、実施の形態３によれば、車載用情報装置は、入力切換制御部４ｂからタッチ操作モードまたは音声操作モードの指示を受け、出力部による実行結果の出力方法を当該指示されたモードに応じて決定する出力方法決定部３０を備え、出力制御部１３ｂは、出力方法決定部３０が決定した出力方法に従って出力部を制御するように構成した。このため、タッチ操作モードと音声操作モードで異なるフィードバックを返すことで、どちらの操作モード状態なのかをユーザに直感的に伝えることができる。
また、実施の形態３によれば、車載用情報装置は、コマンド（項目値）に対応付けられた音声認識キーワードの発話をユーザに促す音声ガイダンスデータを、コマンド（項目名）毎に格納している出力データ記憶部３１を備え、出力方法決定部３０は、入力切換制御部４ｂから音声操作モードの指示を受けた場合、タッチ−コマンド変換部３の生成したコマンド（項目名）に対応する音声ガイダンスデータを出力データ記憶部３１から取得して出力制御部１３ｂへ出力し、出力制御部１３ｂは、出力方法決定部３０の出力した音声ガイダンスデータをスピーカから出力させるように構成した。このため、音声操作モードになったときに、タッチ動作のなされたボタンに合わせた音声ガイダンスを出力することができ、ユーザが自然と音声認識キーワードを発話できるように導くことが可能となる。
なお、上記実施の形態１〜３では、ＡＶ機能、電話機能、ナビ機能を例にアプリケーションを説明したが、これ以外のアプリケーションであってもよいことは言うまでもない。例えば図１の場合、車載用情報装置が車載のエアコンを運転、停止させるコマンド、設定温度を上下させるコマンドなどの入力を受け付け、データ格納部１２に格納されているエアコン機能のデータを用いてエアコンを制御するようにしてもよい。また、データ格納部１２にユーザの好みのＵＲＬを記憶させておき、ネットワーク１４を介してそのＵＲＬのデータを取得して表示するコマンドなどの入力を受け付け、画面表示するようにしてもよい。さらに、これ以外の機能を実行するアプリケーションであってもよい。
また、車載用の情報装置を例に説明したが、車載用に限定されるものではなく、車両への持ち込みが可能なＰＮＤ（Ｐｏｒｔａｂｌｅ／Ｐｅｒｓｏｎａｌ Ｎａｖｉｇａｔｉｏｎ Ｄｅｖｉｃｅ）およびスマートフォンなどの携帯端末のユーザインタフェース装置に適用してもよい。さらに、車両向けに限らず、家庭用電気製品などのユーザインタフェース装置に適用してもよい。
また、このユーザインタフェース装置をコンピュータで構成する場合、タッチ入力検出部１、入力方法判定部２、タッチ−コマンド変換部３、入力切換制御部４、状態遷移制御部５、状態遷移表記憶部６、音声認識辞書ＤＢ７、音声認識辞書切換部８、音声認識部９、音声−コマンド変換部１０、アプリケーション実行部１１、データ格納部１２、出力制御部１３、音声認識対象語辞書作成部２０、出力方法決定部３０、出力データ記憶部３１の処理内容を記述している情報処理プログラムをコンピュータのメモリに格納し、コンピュータのＣＰＵがメモリに格納されている情報処理プログラムを実行するようにしてもよい。
実施の形態４．
上記実施の形態１〜３では、タッチディスプレイに表示されたボタン（およびリスト、スクロールバーなど）へのタッチ動作の状態（短押しか長押しかなど）によって、タッチ操作モード（ボタン機能の実行）と音声操作モード（ボタンに関連する音声認識の起動）とを切り換える構成にしたが、タッチディスプレイのボタンだけでなく、機械的なハードボタンなどの入力デバイスへのタッチ動作の状態によってもタッチ操作モードと音声操作モードとを切り換えることが可能である。そこで、本実施の形態４および後述する実施の形態５〜１０では、ハードボタンなどの入力デバイスへのタッチ動作の状態によって操作モードを切り換える情報装置を説明する。
本実施の形態４に係る車載用情報装置は、図１、図１２または図２０に示す車載用情報装置と図面上では同様の構成であるため、以下では図１、図１２および図２０を援用して説明する。
上記実施の形態１〜３の車載用情報装置はタッチディスプレイを入力デバイスに用いたが、ここでは入力デバイスの例として下記（１）〜（６）を用いる。
（１）ハードボタンとタッチディスプレイを組み合わせた例
（２）ハードボタンとディスプレイを組み合わせた例
（３）ディスプレイの表示項目に対応したハードボタンのみの例
（４）ディスプレイとジョイスティックなどのカーソル操作用ハードデバイスを組み合わせた例
（５）ディスプレイとタッチパッドを組み合わせた例
（６）ハードボタンのみの例
ハードボタンとは、機械的な物理ボタンのことであり、リモートコントローラ（以下、リモコン）のゴムボタン、薄型の携帯電話に使われているようなシートキーを含む。カーソル操作用ハードデバイスの詳細は後述する。
ハードボタンの場合、車載用情報装置のタッチ入力検出部１は、ユーザによるハードボタンの押し方を検出し、入力方法判定部２において入力方法が２つの操作モードのいずれであるか判定する。
例えば、触感センサが無いハードボタンの場合、短押しか長押しかによって入力方法を判定してもよいし、１回押しか２回押しかによって入力方法を判定してもよい。触感センサがあるハードボタンの場合、ユーザがハードボタンに触れたか押したかによって入力方法を判定してもよい。半押しを検出可能なハードボタン（例えば、カメラのシャッターボタン）の場合、半押しか全押しかによって入力方法を判定してもよい。
このように、１つのハードボタンに対して２種類のタッチ動作を使い分けることにより、１つのハードボタンに対してタッチ操作と音声操作のどちらの操作により入力を行おうとしているかの判定を行うことができる。
以下、具体例を説明する。
（１）ハードボタンとタッチディスプレイを組み合わせた例
図２４は車載用情報装置が備える（または車載用情報装置に接続する）ハードボタン１００〜１０５とタッチディスプレイ１０６の構成例を示す図である。ここでは、タッチディスプレイ１０６の周辺にハードボタン１００〜１０５が設置され、各ハードボタン１００〜１０５には、アプリケーション実行部１１で実行可能な上位階層の機能の項目名が関連付けられている。この例では、ハードボタン１００〜１０５が短押しされた場合にタッチ操作モードと判定し、長押しされた場合に音声操作モードと判定する。
図２５に示すように、「ＰＨＯＮＥ」ハードボタン１０３が短押しされた場合、タッチ入力検出部１がこの短押しを検出してタッチ信号を出力する。タッチ−コマンド変換部３は、タッチ信号をコマンド（ＰＨＯＮＥ、ＰＨＯＮＥ）に変換する。また、入力方法判定部２が、タッチ信号に基づいて入力方法がタッチ操作モードであることを判定し、この判定を受けた状態遷移制御部５がコマンド（ＰＨＯＮＥ、ＰＨＯＮＥ）をアプリケーション実行命令へ変換してアプリケーション実行部１１に出力する。アプリケーション実行部１１は、アプリケーション実行命令に基づいてタッチディスプレイ１０６にＰＨＯＮＥメニューを表示させる。ＰＨＯＮＥメニュー画面には「電話帳」ボタン、「番号入力」ボタンなどが表示され、各ボタンにはＰＨＯＮＥメニューより１つ下層の電話帳、番号入力などの機能が関連付けられている。ユーザはタッチディスプレイ１０６を用いてこれらのボタン操作を行う。
他方、図２６に示すように、「ＰＨＯＮＥ」ハードボタン１０３が長押しされた場合、入力方法判定部２はタッチ信号に基づいて入力方法が音声操作モードであることを判定し、入力切換制御部４から音声認識辞書切換部８へコマンドの項目名（ＰＨＯＮＥ）を出力してＰＨＯＮＥに関連した音声認識辞書に切り換えさせる。そして、音声認識部９が、ＰＨＯＮＥに関連した音声認識辞書を用いて音声認識処理を行い、ユーザがハードボタン１０３へのタッチ動作に続いて発話する音声操作入力を検出する。音声−コマンド変換部１０は、音声認識部９の音声認識結果をコマンド（項目値）に変換して状態遷移制御部５へ出力し、アプリケーション実行部１１が項目値に該当する電話番号の検索を実行する。
なお、車載用情報装置を図２０のように構成して、音声操作モードに切り替わったことを表す効果音または表示（例えば、図２６に示すような音声認識マークの表示）などを出力してもよい。また、ユーザに発話を促す音声ガイダンス（例えば、「誰に電話をかけますか？」という音声）を出力してもよいし、文章として表示してもよい。
以上より、実施の形態４によれば、車載用情報装置は、ハードボタン１００〜１０５の出力信号に基づいてタッチ動作を検出するタッチ入力検出部１と、タッチ入力検出部１の検出結果に基づいてタッチ動作のなされたハードボタン１００〜１０５に対応する処理を実行させるための項目名を含むコマンド（項目名、項目値）を生成するタッチ−コマンド変換部３と、処理に対応付けられた音声認識キーワードからなる音声認識辞書を用いて、タッチ動作と略同時かそれに続くユーザ発話を音声認識する音声認識部９と、音声認識結果に対応する処理を実行させるためのコマンド（項目値）に変換する音声−コマンド変換部１０と、タッチ入力検出部１の検出結果に基づいてタッチ動作の状態がタッチ操作モードを示すものか音声操作モードを示すものかを判定する入力方法判定部２と、入力方法判定部２の判定結果に応じてタッチ操作モードか音声操作モードかを切り換える入力切換制御部４と、入力切換制御部４からタッチ操作モードの指示を受けた場合にコマンド（項目名、項目値）をタッチ−コマンド変換部３から取得してアプリケーション実行命令に変換し、入力切換制御部４から音声操作モードの指示を受けた場合に入力切換制御部４から項目名、音声−コマンド変換部１０から項目値を取得してアプリケーション実行命令に変換する状態遷移制御部５と、アプリケーション実行命令に従って処理を実行するアプリケーション実行部１１と、アプリケーション実行部１１の実行結果を出力するタッチディスプレイ１０６などの出力部を制御する出力制御部１３とを備えるように構成した。このため、ハードボタンへのタッチ動作の状態に応じてタッチ操作モードか音声操作モードかを判定するので、１つのハードボタンで通常のタッチ操作とそのハードボタンに関連する音声操作とを切り換えて入力することができる。また、上記実施の形態１〜３と同様の効果もある。
実施の形態５．
本実施の形態５に係る車載用情報装置は、図１、図１２または図２０に示す車載用情報装置と図面上では同様の構成であるため、以下では図１、図１２および図２０を援用して説明する。
（２）ハードボタンとディスプレイを組み合わせた例
図２７は車載用情報装置が備える（または車載用情報装置に接続する）ハードボタン１０３〜１０５とディスプレイ１０８の構成例を示し、これらディスプレイ１０８とハードボタン１０３〜１０５は車両のハンドル１０７周辺に設置されているものとする。また、ディスプレイ１０８にハードボタン１０３〜１０５の項目名が表示されている。なお、ディスプレイ１０８とハードボタン１０３〜１０５はどこに配置されていてもよい。
この例では、ハードボタン１０３〜１０５が短押しされた場合にタッチ操作モードと判定し、長押しされた場合に音声操作モードと判定する。
「ＰＨＯＮＥ」ハードボタン１０３が短押しされた場合、タッチ入力検出部１がこの短押しを検出してタッチ信号を出力する。タッチ−コマンド変換部３は、タッチ信号をコマンド（ＰＨＯＮＥ、ＰＨＯＮＥ）に変換する。また、入力方法判定部２が、タッチ信号に基づいて入力方法がタッチ操作モードであることを判定し、この判定を受けた状態遷移制御部５がコマンド（ＰＨＯＮＥ、ＰＨＯＮＥ）をアプリケーション実行命令へ変換してアプリケーション実行部１１に出力する。アプリケーション実行部１１は、アプリケーション実行命令に基づいてディスプレイ１０８にＰＨＯＮＥメニュー（例えば、図２５に示したＰＨＯＮＥメニュー画面）を表示させる。なお、ＰＨＯＮＥメニュー画面に対する操作方法は問わない。例えば、ユーザが不図示のジョイスティックまたは回転ダイヤルなどの入力デバイスを操作すればよい。
他方、「ＰＨＯＮＥ」ハードボタン１０３が長押しされた場合、入力方法判定部２はタッチ信号に基づいて入力方法が音声操作モードであることを判定し、入力切換制御部４から音声認識辞書切換部８へコマンドの項目名（ＰＨＯＮＥ）を出力してＰＨＯＮＥに関連した音声認識辞書に切り換えさせる。そして、音声認識部９が、ＰＨＯＮＥに関連した音声認識辞書を用いて音声認識処理を行い、ユーザがハードボタン１０３へのタッチ動作に続いて発話する音声操作入力を検出する。音声−コマンド変換部１０は、音声認識部９の音声認識結果をコマンド（項目値）に変換して状態遷移制御部５へ出力し、アプリケーション実行部１１が項目値に該当する電話番号の検索を実行する。
なお、車載用情報装置を図２０のように構成して、音声操作モードに切り替わったことを表す効果音または表示（例えば、図２７に示すような音声認識マークの表示）などを出力してもよいし、ユーザに発話を促す音声ガイダンス（例えば、「誰に電話をかけますか？」という音声）を出力してもよい。さらに、図２８に示すような、ユーザに発話を促す文章をディスプレイ１０８に表示してもよい。
以上より、実施の形態５によれば、車載用情報装置は、ハードボタン１０３〜１０５の出力信号に基づいてタッチ動作を検出するタッチ入力検出部１と、タッチ入力検出部１の検出結果に基づいてタッチ動作のなされたハードボタン１０３〜１０５に対応する処理を実行させるための項目名を含むコマンド（項目名、項目値）を生成するタッチ−コマンド変換部３と、処理に対応付けられた音声認識キーワードからなる音声認識辞書を用いて、タッチ動作と略同時かそれに続くユーザ発話を音声認識する音声認識部９と、音声認識結果に対応する処理を実行させるためのコマンド（項目値）に変換する音声−コマンド変換部１０と、タッチ入力検出部１の検出結果に基づいてタッチ動作の状態がタッチ操作モードを示すものか音声操作モードを示すものかを判定する入力方法判定部２と、入力方法判定部２の判定結果に応じてタッチ操作モードか音声操作モードかを切り換える入力切換制御部４と、入力切換制御部４からタッチ操作モードの指示を受けた場合にコマンド（項目名、項目値）をタッチ−コマンド変換部３から取得してアプリケーション実行命令に変換し、入力切換制御部４から音声操作モードの指示を受けた場合に入力切換制御部４から項目名、音声−コマンド変換部１０から項目値を取得してアプリケーション実行命令に変換する状態遷移制御部５と、アプリケーション実行命令に従って処理を実行するアプリケーション実行部１１と、アプリケーション実行部１１の実行結果を出力するディスプレイ１０８などの出力部を制御する出力制御部１３とを備えるように構成した。このため、ハードボタンへのタッチ動作の状態に応じてタッチ操作モードか音声操作モードかを判定するので、１つのハードボタンで通常のタッチ操作とそのハードボタンに関連する音声操作とを切り換えて入力することができる。また、上記実施の形態１〜３と同様の効果もある。
実施の形態６．
本実施の形態６に係る車載用情報装置は、図１、図１２または図２０に示す車載用情報装置と図面上では同様の構成であるため、以下では図１、図１２および図２０を援用して説明する。
（３）ディスプレイの表示項目に対応したハードボタンのみの例
図２９は車載用情報装置が備える（または車載用情報装置に接続する）ハードボタン１００〜１０２とディスプレイ１０８の構成例を示し、これらディスプレイ１０８とハードボタン１００〜１０２は車両のハンドル１０７周辺に設置されているものとする。
この例では、ハードボタン１００〜１０２が短押しされた場合にタッチ操作モードと判定し、長押しされた場合に音声操作モードと判定する。
上記実施の形態４，５ではハードボタン１００〜１０５に特定の機能が関連付けされていたが、本実施の形態６では、上記実施の形態１〜３のタッチディスプレイ上のボタンのようにハードボタン１００〜１０２の機能を可変にする。図２９では、「１」ハードボタン１００の押下に連動して実行される「目的地を探す」機能と、「２」ハードボタン１０１の押下に連動して実行される「電話をかける」機能と、「３」ハードボタン１０２の押下に連動して実行される「音楽を聴く」機能とが画面表示されている。
図２９において、「目的地を探す」ハードボタン１００が短押しされた場合、タッチ入力検出部１がこの短押しを検出して、短押しされたハードボタンの位置情報を含むタッチ信号を出力する。タッチ−コマンド変換部３は、ハードボタンの位置情報に基づいてコマンド（目的地を探す、目的地を探す）を作成する。また、入力方法判定部２が、タッチ信号に基づいて入力方法がタッチ操作モードであることを判定し、この判定を受けた状態遷移制御部５がコマンド（目的地を探す、目的地を探す）をアプリケーション実行命令へ変換してアプリケーション実行部１１に出力する。アプリケーション実行部１１は、アプリケーション実行命令に基づいてディスプレイ１０８に図３０に示すような目的地設定画面を表示させる。目的地設定画面には、「１」ハードボタン１００の押下に連動して実行される「施設名称」を検索する機能と、「２」ハードボタン１０１の押下に連動して実行される「住所」を検索する機能と、「３」ハードボタン１０２の押下に連動して実行される「登録地」を検索する機能とが含まれている。
他方、図２９において、「目的地を探す」ハードボタン１００が長押しされた場合、入力方法判定部２はタッチ信号に基づいて入力方法が音声操作モードであることを判定し、入力切換制御部４から音声認識辞書切換部８へコマンドの項目名（目的地を探す）を出力して目的地検索に関連した音声認識辞書に切り換えさせる。そして、音声認識部９が、目的地検索に関連した音声認識辞書を用いて音声認識処理を行い、ユーザがハードボタン１００へのタッチ動作に続いて発話する音声操作入力を検出する。音声−コマンド変換部１０は、音声認識部９の音声認識結果をコマンド（項目値）に変換して状態遷移制御部５へ出力し、アプリケーション実行部１１が項目値を目的地とした検索を実行する。
なお、車載用情報装置を図２０のように構成して、音声操作モードに切り替わったことを表す効果音または表示（例えば、図３１に示すような音声認識マークの表示）などを出力してもよい。また、ユーザに発話を促す音声ガイダンス（例えば、「どこへ行きますか？」という音声）を出力してもよいし、文章として表示してもよい。
以上より、実施の形態６によれば、車載用情報装置は、ハードボタン１００〜１０２の出力信号に基づいてタッチ動作を検出するタッチ入力検出部１と、タッチ入力検出部１の検出結果に基づいてタッチ動作のなされたハードボタン１００〜１０２に対応する処理（遷移先画面およびアプリケーション実行機能の一方、または両方）を実行させるための項目名を含むコマンド（項目名、項目値）を生成するタッチ−コマンド変換部３と、処理に対応付けられた音声認識キーワードからなる音声認識辞書を用いて、タッチ動作と略同時かそれに続くユーザ発話を音声認識する音声認識部９と、音声認識結果に対応する処理を実行させるためのコマンド（項目値）に変換する音声−コマンド変換部１０と、タッチ入力検出部１の検出結果に基づいてタッチ動作の状態がタッチ操作モードを示すものか音声操作モードを示すものかを判定する入力方法判定部２と、入力方法判定部２の判定結果に応じてタッチ操作モードか音声操作モードかを切り換える入力切換制御部４と、入力切換制御部４からタッチ操作モードの指示を受けた場合にコマンド（項目名、項目値）をタッチ−コマンド変換部３から取得してアプリケーション実行命令に変換し、入力切換制御部４から音声操作モードの指示を受けた場合に入力切換制御部４から項目名、音声−コマンド変換部１０から項目値を取得してアプリケーション実行命令に変換する状態遷移制御部５と、アプリケーション実行命令に従って処理を実行するアプリケーション実行部１１と、アプリケーション実行部１１の実行結果を出力するディスプレイ１０８などの出力部を制御する出力制御部１３とを備えるように構成した。このため、ディスプレイに表示される項目に対応するハードボタンへのタッチ動作の状態に応じてタッチ操作モードか音声操作モードかを判定するので、１つのハードボタンで通常のタッチ操作とそのハードボタンに関連する音声操作とを切り換えて入力することができる。また、上記実施の形態４，５ではハードボタンと機能が固定されていたが、本実施の形態６ではハードボタンと機能の対応付けを可変としたので、様々な画面でタッチ操作モードと音声操作モードを切り換えて入力することができる。さらに、階層を降りていったどの段階でも、音声操作モードにより音声入力することができる。
実施の形態７．
本実施の形態７に係る車載用情報装置は、図１、図１２または図２０に示す車載用情報装置と図面上では同様の構成であるため、以下では図１、図１２および図２０を援用して説明する。
（４）ディスプレイとジョイスティックなどのカーソル操作用ハードデバイスを組み合わせた例
図３２は車載用情報装置が備える（または車載用情報装置に接続する）ディスプレイ１０８とジョイスティック１０９の構成例を示し、これらディスプレイ１０８とジョイスティック１０９は車両のハンドル１０７周辺に設置されているものとする。なお、ディスプレイ１０８とジョイスティック１０９はどこに配置されていてもよい。また、カーソル操作用ハードデバイスの一例としてジョイスティック１０９を図示したが、回転ダイヤル、上下セレクタなどの他の入力デバイスを用いてもよい。
この例では、ジョイスティック１０９が短押しされた場合にタッチ操作モードと判定し、長押しされた場合に音声操作モードと判定する。
ユーザはジョイスティック１０９を操作して、カーソルを「１．目的地を探す」に合わせて選択した状態で短押しする。タッチ入力検出部１は、ジョイスティック１０９の短押しを検出し、短押しされたカーソルの位置情報を含むタッチ信号を出力する。タッチ−コマンド変換部３は、カーソルの位置情報に基づいてコマンド（目的地を探す、目的地を探す）を作成する。また、入力方法判定部２が、タッチ信号に基づいて入力方法がタッチ操作モードであることを判定し、この判定を受けた状態遷移制御部５がコマンド（目的地を探す、目的地を探す）をアプリケーション実行部１１に出力する。アプリケーション実行部１１は、アプリケーション実行命令に基づいてディスプレイ１０８に目的地設定画面（例えば、図３０に示した目的地設定画面）を表示させる。
他方、「１．目的地を探す」にカーソルを合わせて選択した状態でジョイスティック１０９が長押しされた場合、入力方法判定部２はタッチ信号に基づいて入力方法が音声操作モードであることを判定し、入力切換制御部４から音声認識辞書切換部８へコマンドの項目名（目的地を探す）を出力して目的地検索に関連した音声認識辞書に切り換えさせる。そして、音声認識部９が、目的地検索に関連した音声認識辞書を用いて音声認識処理を行い、ユーザがジョイスティック１０９へのタッチ動作に続いて発話する音声操作入力を検出する。音声−コマンド変換部１０は、音声認識部９の音声認識結果をコマンド（項目値）に変換して状態遷移制御部５へ出力し、アプリケーション実行部１１が項目値を目的地とした検索を実行する。
なお、車載用情報装置を図２０のように構成して、音声操作モードに切り替わったことを表す効果音および表示（例えば、図３２に示すような音声認識マークの表示）などを出力してもよいし、ユーザに発話を促す音声ガイダンス（例えば、「どこへ行きますか？」という音声）を出力してもよい。
以上より、実施の形態７によれば、車載用情報装置は、ジョイスティック１０９の出力信号に基づいてタッチ動作を検出するタッチ入力検出部１と、タッチ入力検出部１の検出結果に基づいてジョイスティック１０９が選択中の処理（遷移先画面およびアプリケーション実行機能の一方、または両方）を実行させるための項目名を含むコマンド（項目名、項目値）を生成するタッチ−コマンド変換部３と、処理に対応付けられた音声認識キーワードからなる音声認識辞書を用いて、タッチ動作と略同時かそれに続くユーザ発話を音声認識する音声認識部９と、音声認識結果に対応する処理を実行させるためのコマンド（項目値）に変換する音声−コマンド変換部１０と、タッチ入力検出部１の検出結果に基づいてタッチ動作の状態がタッチ操作モードを示すものか音声操作モードを示すものかを判定する入力方法判定部２と、入力方法判定部２の判定結果に応じてタッチ操作モードか音声操作モードかを切り換える入力切換制御部４と、入力切換制御部４からタッチ操作モードの指示を受けた場合にコマンド（項目名、項目値）をタッチ−コマンド変換部３から取得してアプリケーション実行命令に変換し、入力切換制御部４から音声操作モードの指示を受けた場合に入力切換制御部４から項目名、音声−コマンド変換部１０から項目値を取得してアプリケーション実行命令に変換する状態遷移制御部５と、アプリケーション実行命令に従って処理を実行するアプリケーション実行部１１と、アプリケーション実行部１１の実行結果を出力するディスプレイ１０８などの出力部を制御する出力制御部１３とを備えるように構成した。このため、ディスプレイに表示される項目を選択する回転ダイヤル等の入力デバイスへのタッチ動作の状態に応じてタッチ操作モードか音声操作モードかを判定するので、１つのハードボタンで通常のタッチ操作とそのハードボタンに関連する音声操作とを切り換えて入力することができる。また、上記実施の形態４，５ではハードボタンと機能が固定されていたが、本実施の形態７ではハードボタンと機能の対応付けを可変としたので、様々な画面でタッチ操作モードと音声操作モードを切り換えて入力することができる。さらに、階層を降りていったどの段階でも、音声操作モードにより音声入力することができる。
実施の形態８．
本実施の形態８に係る車載用情報装置は、図１、図１２または図２０に示す車載用情報装置と図面上では同様の構成であるため、以下では図１、図１２および図２０を援用して説明する。
（５）ディスプレイとタッチパッドを組み合わせた例
図３３は車載用情報装置が備える（または車載用情報装置に接続する）ディスプレイ１０８とタッチパッド１１０の構成例を示し、これらディスプレイ１０８とタッチパッド１１０は車両のハンドル１０７周辺に設置されているものとする。なお、ディスプレイ１０８とタッチパッド１１０はどこに配置されていてもよい。
タッチパッド１１０が押下の圧力を検知可能な場合、触れたか押したかによって入力方法を判定したり、半押しか全押しかによって入力方法を判定したりする。圧力を検知できない場合でも、なぞる、タップ、長押しなどのタッチ動作の違いによって入力方法を判定できる。この例では、強押しされた場合にタッチ操作モードと判定し、長押しされた場合に音声操作モードと判定する。
ユーザはタッチパッド１１０をなぞってカーソルを「施設名称」に合わせ、強押しする。タッチ入力検出部１は、タッチパッド１１０の強押しを検出し、強押しされたカーソルの位置情報を含むタッチ信号を出力する。タッチ−コマンド変換部３は、カーソルの位置情報に基づいてコマンド（施設名称、施設名称）を作成する。また、入力方法判定部２が、タッチ信号に基づいて入力方法がタッチ操作モードであることを判定し、この判定を受けた状態遷移制御部５がコマンド（施設名称、施設名称）をアプリケーション実行命令へ変換してアプリケーション実行部１１に出力する。アプリケーション実行部１１は、アプリケーション実行命令に基づいてディスプレイ１０８に施設名称入力画面を表示させる。
他方、「施設名称」にカーソルを合わせた状態でタッチパッド１１０が長押しされた場合、入力方法判定部２はタッチ信号に基づいて入力方法が音声操作モードであることを判定し、入力切換制御部４から音声認識辞書切換部８へコマンドの項目名（施設名称）を出力して施設名称検索に関連した音声認識辞書に切り換えさせる。そして、音声認識部９が、施設名称検索に関連した音声認識辞書を用いて音声認識処理を行い、ユーザがタッチパッド１１０へのタッチ動作に続いて発話する音声操作入力を検出する。音声−コマンド変換部１０は、音声認識部９の音声認識結果をコマンド（項目値）に変換して状態遷移制御部５へ出力し、アプリケーション実行部１１が項目値に該当する施設名称を検索する。
なお、車載用情報装置を図２０のように構成して、音声操作モードに切り替わったことを表す効果音または表示（例えば、図３３に示すような音声認識マークの表示）などを出力してもよい。また、ユーザに発話を促す音声ガイダンス（例えば、「施設名称をお話しください」という音声）を出力してもよいし、文章として表示してもよい。
以上より、実施の形態８によれば、車載用情報装置は、タッチパッド１１０の出力信号に基づいてタッチ動作を検出するタッチ入力検出部１と、タッチ入力検出部１の検出結果に基づいてタッチパッド１１０が選択中の処理（遷移先画面およびアプリケーション実行機能の一方、または両方）を実行させるための項目名を含むコマンド（項目名、項目値）を生成するタッチ−コマンド変換部３と、処理に対応付けられた音声認識キーワードからなる音声認識辞書を用いて、タッチ動作と略同時かそれに続くユーザ発話を音声認識する音声認識部９と、音声認識結果に対応する処理を実行させるためのコマンド（項目値）に変換する音声−コマンド変換部１０と、タッチ入力検出部１の検出結果に基づいてタッチ動作の状態がタッチ操作モードを示すものか音声操作モードを示すものかを判定する入力方法判定部２と、入力方法判定部２の判定結果に応じてタッチ操作モードか音声操作モードかを切り換える入力切換制御部４と、入力切換制御部４からタッチ操作モードの指示を受けた場合にコマンド（項目名、項目値）をタッチ−コマンド変換部３から取得してアプリケーション実行命令に変換し、入力切換制御部４から音声操作モードの指示を受けた場合に入力切換制御部４から項目名、音声−コマンド変換部１０から項目値を取得してアプリケーション実行命令に変換する状態遷移制御部５と、アプリケーション実行命令に従って処理を実行するアプリケーション実行部１１と、アプリケーション実行部１１の実行結果を出力するディスプレイ１０８などの出力部を制御する出力制御部１３とを備えるように構成した。ディスプレイに表示される項目を選択するタッチパッドへのタッチ動作の状態に応じてタッチ操作モードか音声操作モードかを判定するので、１つのハードボタンで通常のタッチ操作とそのハードボタンに関連する音声操作とを切り換えて入力することができる。また、上記実施の形態４，５ではハードボタンと機能が固定されていたが、本実施の形態８ではハードボタンと機能の対応付けを可変としたので、様々な画面でタッチ操作モードと音声操作モードを切り換えて入力することができる。さらに、階層を降りていったどの段階でも、音声操作モードにより音声入力することができる。
実施の形態９．
上記実施の形態４〜８では、図１、図１２または図２０に示す情報装置を車載用情報装置に適用した例を説明してきたが、本実施の形態９では家庭用電気製品などのユーザインタフェース装置に適用した例を説明する。
（６）ハードボタンのみの例
図３４は、録画機能付きテレビ１１１とそれを操作するリモコン１１２の構成例を示す図である。本実施の形態９では、図１、図１２または図２０に示す情報装置をテレビ１１１とリモコン１１２のユーザインタフェース装置に適用する。
この例では、リモコン１１２の「再生」ハードボタン１１３および「予約」ハードボタン１１４が短押しされた場合にタッチ操作モードと判定し、長押しされた場合に音声操作モードと判定する。入力方法の判定は、上記実施の形態４〜８と略同様のため説明は省略する。
図３４において、ユーザがリモコン１１２の「再生」ハードボタン１１３を短押しした場合、リモコン１１２は入力をタッチ操作モードに切り換え、コマンド（再生、再生）に対応するアプリケーション実行命令（録画された番組の再生リスト一覧を表示する）をテレビ１１１へ出力する。テレビ１１１はこのアプリケーション実行命令に基づいて、録画された番組の再生リスト一覧をディスプレイに表示する。
他方、ユーザがリモコン１１２の「再生」ハードボタン１１３を長押ししながら「スカイウォーズ」と発話した場合、リモコン１１２は入力を音声操作モードに切り換え、コマンドの項目名（再生）に関連した音声認識辞書（例えば、再生リスト一覧に含まれる番組名などの単語を含む）を用いて音声認識処理を行い、コマンド（再生、スカイウォーズ）に対応するアプリケーション実行命令（コマンド項目値の番組を再生する）をテレビ１１１へ出力する。テレビ１１１はこのアプリケーション実行命令に基づいて、録画された番組の中から「スカイウォーズ」を選択して再生し、ディスプレイに表示する。
なお、テレビ１１１とリモコン１１２に適用するユーザインタフェース装置を図２０のように構成して、音声操作モードに切り替わったことを表す効果音などを出力してもよいし、ユーザに発話を促す音声ガイダンス（例えば、図３４に示すような「何を再生しますか？」、「再生したい番組をお話しください」という音声）を出力してもよい。また、リモコン１１２からテレビ１１１に通知し、音声操作モードに切り替わったことを表す表示（例えば、図３３に示したような音声認識マークの表示）および「再生したい番組をお話しください」などの文章を、テレビ１１１のディスプレイに出力してもよい。
また、ユーザがリモコン１１２の「予約」ハードボタン１１４を短押しした場合、リモコン１１２は入力をタッチ操作モードに切り換え、コマンド（予約、予約）に対応するアプリケーション実行命令（番組予約表を表示する）をテレビ１１１へ出力する。テレビ１１１はこのアプリケーション実行命令に基づいて、番組予約表をディスプレイに表示する。
他方、ユーザがリモコン１１２の「予約」ハードボタン１１４を長押ししながら「スカイウォーズ」と発話した場合、リモコン１１２は入力を音声操作モードに切り換え、コマンドの項目名（予約）に関連した音声認識辞書（例えば、番組予約表に含まれる番組名などの単語を含む）を用いて音声認識処理を行い、コマンド（予約、スカイウォーズ）に対応するアプリケーション実行命令（コマンド項目値の番組の録画予約を設定する）をテレビ１１１へ出力する。テレビ１１１はこのアプリケーション実行命令に基づいて、番組の録画予約を設定する。発話は「スカイウォーズ」などの番組名に限らず、「午後８時から、２チャンネル」などの予約に必要な情報であればよい。
なお、テレビ１１１とリモコン１１２に適用するユーザインタフェース装置を図２０のように構成して、音声操作モードに切り替わったことを表す効果音などを出力してもよいし、ユーザに発話を促す音声ガイダンス（例えば、「何を予約しますか？」、「予約したい番組をお話しください」という音声）を出力してもよい。また、リモコン１１２からテレビ１１１に通知し、音声操作モードに切り替わったことを表す表示（例えば、図３３に示したような音声認識マークの表示）および「予約したい番組をお話しください」などの文章を、テレビ１１１のディスプレイに出力してもよい。さらに、録画予約設定完了後、「スカイウォーズの予約を設定しました」などの音声ガイダンスまたは表示を出力してもよい。
これにより、音声操作モードにおいて同じ言葉を発話しても、操作するハードボタンによって動作を変えることができる。
続けて、他の家庭用電気製品の例を説明する。
図３５は、炊飯器１２０の構成例を示す図である。図３５において、ユーザが「予約」ハードボタン１２２を短押しした場合、炊飯器１２０は入力をタッチ操作モードに切り換え、コマンド（予約、予約）に対応するアプリケーション実行命令（炊飯予約の動作を実行する）に基づいて、ディスプレイ１２１の表示と「設定」ハードボタン１２３を使用してユーザに予約設定させる。
他方、ユーザが「予約」ハードボタン１２２を長押しした場合、炊飯器１２０は入力を音声操作モードに切り換え、コマンドの項目名（予約）に関連した音声認識辞書を用いて音声認識処理を行い、ユーザの発話（例えば、○○時○○分）をコマンドの項目値に用いたアプリケーション実行命令に基づいて予約設定する。
なお、炊飯器１２０に適用するユーザインタフェース装置を図２０のように構成して、音声操作モードに切り替わったことを表す効果音などを出力してもよいし、ユーザに発話を促す音声ガイダンス（例えば、「何時に予約しますか？」という音声）を出力してもよい。さらに、予約設定完了後、「○○時○○分に予約を設定しました」などの音声ガイダンスまたは表示を出力してもよい。
これにより、小さい画面と少ないボタンで炊飯予約を行う必要がなく、簡単に炊飯予約の設定ができる。また、目が不自由なユーザでも予約ができる。
図３６は、オーブンレンジ１３０の構成例を示す図である。図３６において、ユーザが「調理」ハードボタン１３２を短押しした場合、オーブンレンジ１３０は入力をタッチ操作モードに切り換え、コマンド（調理、調理）に対応するアプリケーション実行命令（調理選択メニュー画面を表示する）に基づいて、ディスプレイ１３１に調理選択メニュー画面を表示する。
他方、ユーザが「調理」ハードボタン１３２を長押しした場合、オーブンレンジ１３０は入力を音声操作モードに切り換え、コマンドの項目名（調理）に関連した音声認識辞書を用いて音声認識処理を行い、ユーザの発話をコマンド項目値（例えば、茶碗蒸し）にしたアプリケーション実行命令に基づいてオーブンレンジ１３０の出力および時間を茶碗蒸しに適した値に設定する。
その他の例として、ユーザが「あたため」ハードボタンを押しながら「熱燗」、「牛乳」などを発話したり、「焼き物」ハードボタンを押しながら「アジの干物」などを発話したりすることで、発話したメニューに適した出力および時間を設定することができる。
なお、オーブンレンジ１３０に適用するユーザインタフェース装置を図２０のように構成して、音声操作モードに切り替わったことを表す効果音などを出力してもよいし、ユーザに発話を促す音声ガイダンス（例えば、「何を調理しますか？」という音声）を出力してもよい。また、音声操作モードに切り替わったことを表す表示（例えば、図３３に示したような音声認識マークの表示）および「何を調理しますか？」などの文章を、ディスプレイ１３１に出力してもよい。さらに、ユーザが「茶碗蒸し」と発話したら、「茶碗蒸しを調理します」という音声ガイダンスまたは表示を出力し、調理の準備が整ったら「スタートボタンを押してください」という音声ガイダンスまたは表示を出力してもよい。
これにより、小さな画面と小さなボタンで深い階層をたどり調理メニューを探す必要がなく、簡単に調理の設定ができる。また、取扱説明書で調理メニューを探し、出力と時間を調べて設定する必要もない。
以上より、実施の形態９によれば、家庭電気製品などのユーザインタフェース装置は、ハードボタンの出力信号に基づいてタッチ動作を検出するタッチ入力検出部１と、タッチ入力検出部１の検出結果に基づいてタッチ動作のなされたハードボタンに対応する処理（遷移先画面およびアプリケーション実行機能の一方、または両方）を実行させるための項目名を含むコマンド（項目名、項目値）を生成するタッチ−コマンド変換部３と、処理に対応付けられた音声認識キーワードからなる音声認識辞書を用いて、タッチ動作と略同時かそれに続くユーザ発話を音声認識する音声認識部９と、音声認識結果に対応する処理を実行させるためのコマンド（項目値）に変換する音声−コマンド変換部１０と、タッチ入力検出部１の検出結果に基づいてタッチ動作の状態がタッチ操作モードを示すものか音声操作モードを示すものかを判定する入力方法判定部２と、入力方法判定部２の判定結果に応じてタッチ操作モードか音声操作モードかを切り換える入力切換制御部４と、入力切換制御部４からタッチ操作モードの指示を受けた場合にコマンド（項目名、項目値）をタッチ−コマンド変換部３から取得してアプリケーション実行命令に変換し、入力切換制御部４から音声操作モードの指示を受けた場合に入力切換制御部４から項目名、音声−コマンド変換部１０から項目値を取得してアプリケーション実行命令に変換する状態遷移制御部５と、アプリケーション実行命令に従って処理を実行するアプリケーション実行部１１と、アプリケーション実行部１１の実行結果を出力するディスプレイなどの出力部を制御する出力制御部１３とを備えるように構成した。このため、ハードボタンへのタッチ動作の状態に応じてタッチ操作モードか音声操作モードかを判定するので、１つのハードボタンで通常のタッチ操作とそのハードボタンに関連する音声操作とを切り換えて入力することができる。また、上記実施の形態１〜３と同様の効果もある。
なお、上記実施の形態１〜９では車載用情報装置、リモコン１１２、炊飯器１２０、オーブンレンジ１３０に対して情報装置（またはユーザインタフェース装置）を適用した例を説明したが、これらの機器に限らず、エレベータ乗り場の案内板、巨大ショッピングモールのデジタル案内板、巨大駐車場の駐車位置案内板、駅の券売機などに適用してもよい。
例えば大きなオフィスビルでは目的地が何階にあるのか、何号機のエレベータに乗ればよいのかが分かりにくい。そこで、エレベータ乗り場の前にタッチディスプレイまたはハードボタンなどの入力デバイスを備えた案内板を設置して、ユーザが入力デバイスを長押ししながら目的地を発話すれば、何号機のエレベータで何階まで行けばよいか知らせることができる（音声操作モード）。また、ユーザが入力デバイスを短押ししてメニュー画面を表示させ、その画面を操作して目的地を探すこともできる（タッチ操作モード）。
また例えば、巨大ショッピングモールでは、目的の店および買いたい商品がどこにあるか分かりにくい。そこで、巨大ショッピングモール内に入力デバイスを備えたデジタル案内板を設置して、ユーザが入力デバイスを長押ししながら目的の店の名前、買いたい商品の名前などを発話すれば、店の場所を案内表示することができる（音声操作モード）。また、ユーザが入力デバイスを短押ししてメニュー画面を表示させ、その画面を操作してどのような店があるか、どのような商品があるかを見つけることもできる（タッチ操作モード）。
また例えば、広い駐車場または大きな立体駐車場では、自車両を駐車した場所が分かりにくい。そこで、巨大駐車場の入口に入力デバイスを備えた駐車位置案内板を設置して、ユーザが入力デバイスを長押ししながら自車両のナンバプレート番号を発話すれば、駐車した位置を知らせることができる（音声操作モード）。また、ユーザが入力デバイスを短押しして、ナンバプレート番号を入力することもできる（タッチ操作モード）。
また例えば、通常の駅構内では、ユーザは、券売機の上に掲示されている路線図を見て、目的の駅までの料金を確認してから、券売機の料金ボタンを押して乗車券を購入しなければならず、面倒である。そこで、入力デバイスを備えた券売機を設置して、ユーザが券売機の「行き先」と表示されたボタンを長押ししながら目的の駅名を発話すれば、料金を表示することができ、そのまま乗車券を購入することができる（音声操作モード）。また、ユーザが「行き先」ボタンを短押しして、目的の駅名を検索する画面を表示したり、通常の料金ボタンを表示して乗車券を購入したりすることもできる（タッチ操作モード）。この「行き先」ボタンはタッチディスプレイ上に表示されたボタンであっても、ハードボタンであってもよい。
実施の形態１０．
上記実施の形態１〜９では、タッチディスプレイまたはハードボタンなど、１つの入力デバイスへのタッチ動作の状態に応じて、タッチ操作モードと音声操作モードの２つのモードを切り換えていたが、３つ以上のモードに切り換えることも可能である。即ち、１つの入力デバイスへのｎ種類のタッチ動作に応じてｎ種類のモードを切り換える。
本実施の形態１０では、１つのボタンまたは１つの入力デバイスを利用して３つのモードを切り換える情報装置を説明する。モードの切り換え例としては、第１のモードとしてタッチ操作モード、第２のモードとして音声操作モード１、第３のモードとして音声操作モード２に切り換える例、および、第１のモードとしてタッチ操作モード１、第２のモードとしてタッチ操作モード２、第３のモードとして音声操作モードに切り換える例などがある。
入力デバイスとしては、例えばタッチディスプレイ、タッチパッド、ハードボタン、イージーセレクタなどが利用できる。イージーセレクタとは、レバーを押下する、上（または右）に倒す、下（または左）に倒すという３動作が可能な入力デバイスである。
図３７に示すように、第１〜第３のモードそれぞれに対して予めタッチ動作が決められている。
例えば、入力デバイスがタッチディスプレイおよびタッチパッドの場合、例１のように入力デバイスが短押しされたか、長押しされたか、ダブルタップされたかによって、ユーザが第１〜第３のモードのいずれを希望しているか入力方法を判定する。
入力デバイスがハードボタンの場合、例２のように入力デバイスが短押しされたか、長押しされたか、ダブルクリックされたかによって入力方法を判定してもよいし、例３のように短押しの半押しされたか、短押しの全押しされたか、長押しの全押し（または半押し）されたかによって判定してもよい。
入力デバイスがイージーセレクタの場合、例４のように入力デバイスが押し込まれたか、上倒しされたか、下倒しされたかによって判定する。
図３８Ａは、車載用情報装置が備える（または車載用情報装置に接続する）ハードボタン１００〜１０５とディスプレイ１０８の構成例を示す図である。なお、図３８において図２７〜図３１と同一または相当の部分については同一の符号を付し説明を省略する。また、図３８Ａのディスプレイ１０８に表示される画面の遷移例を、図３８Ｂに示す。
この例では、入力デバイスとしてハードボタン１００〜１０５を利用する。また、ハードボタン１００〜１０５が短押しされた場合にタッチ操作モードと判定し、長押しされた場合に音声操作モード１と判定し、ダブルクリックされた場合に音声操作モード２と判定する。また、ハードボタン１００〜１０２は押下に連動して実行する機能が遷移画面によって異なり、一方のハードボタン１０３〜１０５は機能が固定されている。
本実施の形態１０では、入力方法判定部２がタッチ信号に基づいてタッチ操作モードか、音声操作モード１か、音声操作モード２かを判定して、入力切換制御部４を介して状態遷移制御部５へ通知する。状態遷移表記憶部６は、操作モードとコマンド（項目名、項目値）とアプリケーション実行命令の対応関係を規定した状態遷移表を格納している。状態遷移制御部５は、状態遷移表記憶部６に格納された状態遷移表に基づいて、操作モードの判定結果とタッチ−コマンド変換部３または音声−コマンド変換部１０から通知されるコマンドとの組み合わせを、アプリケーション実行命令に変換する。
即ち、同じコマンド項目名であっても、音声操作モード１と音声操作モード２では変換するアプリケーション実行命令の内容が異なる。例えば、同じコマンド項目名（ＮＡＶＩ）であっても、音声操作モード１の場合はＮＡＶＩ機能の詳細項目を画面表示して詳細項目に関する発話を受け付けるアプリケーション実行命令に変換し、音声操作モード２の場合はＮＡＶＩ機能全体に関する発話を受け付けるアプリケーション実行命令に変換する。
次に、タッチ操作モード、音声操作モード１、音声操作モード２の具体例を説明する。
図３８Ａにおいて「ＮＡＶＩ」ハードボタン１０５が短押しされた場合、タッチ入力検出部１がこの短押しを検出し、タッチ−コマンド変換部３がコマンド（ＮＡＶＩ、ＮＡＶＩ）を生成する。また、入力方法判定部２がタッチ操作モードと判定し、この判定を受けた状態遷移制御部５がコマンド（ＮＡＶＩ、ＮＡＶＩ）をアプリケーション実行命令へ変換してアプリケーション実行部１１に出力する。アプリケーション実行部１１は、アプリケーション実行命令に基づいてディスプレイ１０８にＮＡＶＩメニュー画面Ｐ１００を表示させる。このＮＡＶＩメニュー画面Ｐ１００には、「１」ハードボタン１００の押下に連動して実行される「１．目的地検索」機能と、「２」ハードボタン１０１の押下に連動して実行される「２．渋滞情報」表示機能と、「３」ハードボタン１０２の押下に連動して実行される「３．ナビ設定」機能とが含まれている。
他方、図３８Ａにおいて「ＮＡＶＩ」ハードボタン１０５が長押しされた場合、タッチ入力検出部１がこの長押しを検出し、タッチ−コマンド変換部３がコマンド（ＮＡＶＩ、ＮＡＶＩ）を生成する。また、入力方法判定部２が音声操作モード１と判定し、入力切換制御部４を介して状態遷移制御部５にコマンド項目名（ＮＡＶＩ）と音声操作モード１である旨を通知し、状態遷移制御部５が音声操作モード１として、ＮＡＶＩの音声操作専用メニュー画面Ｐ１０１を表示するためのアプリケーション実行命令に変換する。アプリケーション実行部１１は、このアプリケーション実行命令に基づいてディスプレイ１０８に音声操作専用メニュー画面Ｐ１０１を表示させる。この音声操作専用メニュー画面Ｐ１０１には、３つの詳細項目の音声認識機能として、「１」ハードボタン１００の押下に連動して実行される「１．施設名称で探す」機能と、「２」ハードボタン１０１の押下に連動して実行される「２．ジャンルで探す」機能と、「３」ハードボタン１０２の押下に連動して実行される「３．住所・電話番号で探す」機能とが表示されている。
音声操作専用メニュー画面Ｐ１０１において、「１」ハードボタン１００が押下された場合、タッチ入力検出部１がこの押下を検出してタッチ−コマンド変換部３がコマンド（施設名称で探す）を出力する。そして、音声認識辞書切換部８がコマンドの項目名（施設名称で探す）に関連する音声認識辞書に切り換え、音声認識部９がこの音声認識辞書を用いてユーザ発話の音声認識処理を行い、ユーザがハードボタン１００の押下に続いて発話する音声操作入力を検出する。音声−コマンド変換部１０は、音声認識部９の音声認識結果をコマンド（項目値）に変換して状態遷移制御部５へ出力し、アプリケーション実行部１１が項目値に該当する施設名称を検索する。
このとき、音声操作専用メニュー画面Ｐ１０１から音声操作専用メニュー画面Ｐ１０２へ画面遷移して、音声操作モードに切り替わったことを表す効果音または表示（音声認識マークなど）などを出力してもよい。また、ユーザに発話を促す音声ガイダンス（例えば、「施設名称をお話しください」という音声）を出力してもよいし、文章として表示してもよい。
操作が慣れてきたユーザの場合、操作する度に音声操作モード１のように、ＮＡＶＩ機能の下層の詳細項目を画面表示して操作するのはまどろっこしくなってしまう。また、音声操作モード１の操作を繰り返すことによって、音声操作入力として発話可能な内容についても学習が進むと思われる。そこで、音声認識モード２では、ＮＡＶＩ機能全体に関する音声認識処理を直接起動して、すぐに音声操作を開始できるようにする。
図３８Ａにおいて「ＮＡＶＩ」ハードボタン１０５がダブルクリックされた場合、タッチ入力検出部１がこのダブルクリックを検出し、タッチ−コマンド変換部３がコマンド（ＮＡＶＩ、ＮＡＶＩ）を生成する。入力方法判定部２が音声操作モード２と判定し、入力切換制御部４を介して状態遷移制御部５にコマンド項目名（ＮＡＶＩ）と音声操作モード２である旨を通知する。音声操作モード２のとき、状態遷移制御部５は音声−コマンド変換部１０からコマンドの項目値が入力されるまで待機する。
また、入力切換制御部４を介して状態遷移制御部５にコマンドの項目名（ＮＡＶＩ）が入力されると、音声認識辞書切換部８がＮＡＶＩに関連する音声認識辞書に切り換え、音声認識部９がこの音声認識辞書を用いてユーザ発話の音声認識処理を行う。音声−コマンド変換部１０が音声認識部９の音声認識結果をコマンド（項目値）に変換して状態遷移制御部５へ出力し、状態遷移制御部５がＮＡＶＩ機能のうちの項目値に該当するアプリケーション実行命令に変換してアプリケーション実行部１１に実行させる。
このとき、図３８Ａに示すディスプレイ１０８の画面から、図３８Ｂに示す音声操作画面Ｐ１０３に画面遷移し、音声操作モードに切り替わったことを表す効果音または表示（音声認識マーク）などを出力してもよい。また、ユーザに発話を促す音声ガイダンス（例えば、「ナビについてお話しください」という音声）を出力してもよいし、文章として表示してもよい。
このように、音声操作モードを２つ設けることにより、音声操作モード１では音声認識で操作できる具体的な機能項目が音声操作専用メニュー画面Ｐ１０１のように表示されているので、音声操作入力として発話可能な内容をユーザに示唆することができる。これにより、ユーザは無意識に発話できる内容を制限し、音声認識辞書に含まれていない言葉を発話してしまうことを抑制できる。さらに、画面に発話可能な内容が表示されているので、何を喋ってよいか分からないという不安も軽減できる。また、具体的な内容（「施設名称をお話しください」など）の音声ガイダンスなどにより、ユーザの発話を誘導することができるので、ユーザにとってより音声操作しやすくなる。
もう一方の音声操作モード２では、「ＮＡＶＩ」ハードボタン１０５のダブルクリックで音声認識を直接起動することができるので、すぐに音声操作を開始することができる。そのため、音声操作に慣れ、発話可能な内容を学習したユーザにとっては、少ない操作ステップと少ない操作時間で操作を完了することができる。さらに、音声操作モード１の音声操作専用メニュー画面Ｐ１０１で表示されている詳細機能項目以外の音声認識キーワードを知っているユーザは、音声操作モード２において、音声操作モード１の音声操作よりも多くの機能を実行することができる。
このように、１つの入力デバイスを用いて、通常のタッチ操作モードと、２つの音声操作モード（簡単モードとエキスパートモードなど）の合計３つの操作モードを切り換えて操作することができる。説明は省略するが、１つの入力デバイスを用いて、２つのタッチ操作モードと１つの音声操作モードの合計３つの操作モードを切り換えてもよい。
以上より、実施の形態１０によれば、車載用情報装置は、ユーザによるｎ種類のタッチ動作が可能な入力デバイスからの出力信号に基づいて、このタッチ動作の状態に応じてｎ種類の機能を切り換えるように構成した。このため、１つの入力デバイスでｎ種類の操作モードを切り換えて操作することができる。
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
１，１ａ タッチ入力検出部、２ 入力方法判定部、３ タッチ−コマンド変換部、４，４ａ，４ｂ 入力切換制御部、５ 状態遷移制御部、６ 状態遷移表記憶部、７ 音声認識辞書ＤＢ、８ 音声認識辞書切換部、９，９ａ 音声認識部、１０ 音声−コマンド変換、１１，１１ａ アプリケーション実行部、１２ データ格納部、１３，１３ｂ 出力制御部、１４ ネットワーク、２０ 音声認識対象語辞書作成部、３０ 出力方法決定部、３１ 出力データ記憶部、１００〜１０５，１１３，１１４，１２２，１２３，１３２ ハードボタン、１０６ タッチディスプレイ、１０７ ハンドル、１０８，１２１，１３１ ディスプレイ、１０９ ジョイスティック、１１０ タッチパッド、１１１ テレビ、１１２ リモコン、１２０ 炊飯器、１３０ オーブンレンジ。
この発明のユーザインタフェース装置は、複数の処理がグループ分けされて構成される複数の処理グループがそれぞれ対応付けられた操作インタフェースの複数のボタンのうち、どのボタンが選択されたかを検出する入力検出部と、入力検出部で検出された選択ボタンに関連する音声の音声認識の結果を、選択ボタンに対応付けられた処理グループのなかの処理を実行させるための第１のコマンドに変換する音声−コマンド変換部とを備えるものである。

Claims (13)

  1. タッチディスプレイの出力信号に基づいて、当該タッチディスプレイに表示されタッチ動作のなされたボタンに対応する処理を実行させるための第１のコマンドを生成するタッチ−コマンド変換部と、
    処理に対応付けられた音声認識キーワードからなる音声認識辞書を用いて、前記タッチ動作と略同時かそれに続くユーザ発話を音声認識し、当該音声認識の結果に対応する処理を実行させるためのコマンドであって前記第１のコマンドの処理に関連する処理グループのなかの当該処理より下層に分類された処理を実行させる第２のコマンドに変換する音声−コマンド変換部と、
    前記タッチディスプレイの出力信号に基づいた前記タッチ動作の状態に応じて、前記タッチ−コマンド変換部の生成した第１のコマンドに対応する処理を実行するタッチ操作モードか、前記音声−コマンド変換部の生成する第２のコマンドに対応する処理を実行する音声操作モードかを切り換える入力切換制御部とを備えるユーザインタフェース装置。
  2. 入力切換制御部からタッチ操作モードの指示を受けた場合、前記入力切換制御部でモードの判定に用いたタッチ動作のなされたボタンに対応する第１のコマンドをタッチ−コマンド変換部から取得して、当該第１のコマンドに対応する処理を実行し、前記入力切換制御部から音声操作モードの指示を受けた場合、前記タッチ動作と略同時かそれに続くユーザ発話に対応する第２のコマンドを音声−コマンド変換部から取得して、当該第２のコマンドに対応する処理を実行する処理実行部と、
    前記処理実行部の実行結果を出力するタッチディスプレイを含めた出力部を制御する出力制御部とを備えることを特徴とする請求項１記載のユーザインタフェース装置。
  3. 処理に対応付けられた音声認識キーワードからなる音声認識辞書を格納している音声認識辞書データベースと、
    前記音声認識辞書データベースのうち、タッチ動作のなされたボタンに関連する処理に対応付けられた音声認識辞書に切り換える音声認識辞書切換部とを備え、
    音声−コマンド変換部は、前記音声認識辞書切換部が切り換えた音声認識辞書を用いて、前記タッチ動作と略同時かそれに続くユーザ発話の音声認識を行うことを特徴とする請求項１記載のユーザインタフェース装置。
  4. グループ分けされ、さらに当該グループ内で階層化された項目のデータを格納しているデータ格納部と、
    前記項目に対応付けられた音声認識キーワードを格納している音声認識辞書データベースと、
    前記データ格納部に格納されたデータのうちの各グループの所定階層の項目が並んだリスト画面のスクロールバーエリアがタッチ動作された場合、前記音声認識辞書データベースのうち、当該リスト画面に並ぶ各項目とその下層の項目に対応付けられた音声認識キーワードを抽出して音声認識対象語辞書を作成する音声認識対象語辞書作成部とを備え、
    音声−コマンド変換部は、前記音声認識辞書作成部が作成した音声認識対象語辞書を用いて、前記スクロールバーエリアへのタッチ動作と略同時かそれに続くユーザ発話の音声認識を行い、前記リスト画面に並ぶ各項目かその下層の項目に対応付けられた音声認識キーワードを取得することを特徴とする請求項１記載のユーザインタフェース装置。
  5. 入力切換制御部からタッチ操作モードまたは音声操作モードの指示を受け、出力部による実行結果の出力方法を当該指示されたモードに応じて決定する出力方法決定部を備え、
    出力制御部は、前記出力方法決定部が決定した出力方法に従って前記出力部を制御することを特徴とする請求項２記載のユーザインタフェース装置。
  6. 第１のコマンドの処理に関連する処理グループのなかの当該処理より下層に分類された処理に対応付けられた音声認識キーワードの発話をユーザに促す音声ガイダンスのデータを、当該第１のコマンド毎に格納している出力データ記憶部を備え、
    出力方法決定部は、入力切換制御部から音声操作モードの指示を受けた場合、タッチ−コマンド変換部の生成した第１のコマンドに対応する音声ガイダンスのデータを前記出力データ記憶部から取得して出力制御部へ出力し、
    前記出力制御部は、前記出力方法決定部の出力した音声ガイダンスのデータを出力部から出力させることを特徴とする請求項５記載のユーザインタフェース装置。
  7. 車両に搭載されたタッチディスプレイおよびマイクと、
    前記タッチディスプレイの出力信号に基づいて、当該タッチディスプレイに表示されタッチ動作のなされたボタンに対応する処理を実行させるための第１のコマンドを生成するタッチ−コマンド変換部と、
    処理に対応付けられた音声認識キーワードからなる音声認識辞書を用いて、前記マイクの集音する前記タッチ動作と略同時かそれに続くユーザ発話を音声認識し、当該音声認識の結果に対応する処理を実行させるためのコマンドであって前記第１のコマンドの処理に関連する処理グループのなかの当該処理より下層に分類された処理を実行させる第２のコマンドに変換する音声−コマンド変換部と、
    前記タッチディスプレイの出力信号に基づいた前記タッチ動作の状態に応じて、前記タッチ−コマンド変換部の生成した第１のコマンドに対応する処理を実行するタッチ操作モードか、前記音声−コマンド変換部の生成する第２のコマンドに対応する処理を実行する音声操作モードかを切り換える入力切換制御部とを備える車載用情報装置。
  8. タッチディスプレイの出力信号に基づいて、当該タッチディスプレイに表示されたボタンへのタッチ動作を検出するタッチ入力検出ステップと、
    前記タッチ入力検出ステップの検出結果に基づいた前記タッチ動作の状態に応じて、タッチ操作モードか音声操作モードかを判定する入力方法判定ステップと、
    前記入力方法判定ステップでタッチ操作モードと判定された場合、前記タッチ入力検出ステップの検出結果に基づいて、前記タッチ動作のなされたボタンに対応する処理を実行させるための第１のコマンドを生成するタッチ−コマンド変換ステップと、
    前記入力方法判定ステップで音声操作モードと判定された場合、処理に対応付けられた音声認識キーワードからなる音声認識辞書を用いて、前記タッチ動作と略同時かそれに続くユーザ発話を音声認識し、当該音声認識の結果に対応する処理を実行させるためのコマンドであって前記第１のコマンドの処理に関連する処理グループのなかの当該処理より下層に分類された処理を実行させる第２のコマンドに変換する音声−コマンド変換ステップと、
    前記タッチ−コマンド変換ステップで生成した第１のコマンド、または前記音声−コマンド変換ステップで生成した第２のコマンドに対応する処理を実行する処理実行ステップとを備える情報処理方法。
  9. タッチディスプレイの出力信号に基づいて、当該タッチディスプレイに表示されたボタンへのタッチ動作を検出するタッチ入力検出手順と、
    前記タッチ入力検出手順の検出結果に基づいた前記タッチ動作の状態に応じて、タッチ操作モードか音声操作モードかを判定する入力方法判定手順と、
    前記入力方法判定手順でタッチ操作モードと判定された場合、前記タッチ入力検出手順の検出結果に基づいて、前記タッチ動作のなされたボタンに対応する処理を実行させるための第１のコマンドを生成するタッチ−コマンド変換手順と、
    前記入力方法判定手順で音声操作モードと判定された場合、処理に対応付けられた音声認識キーワードからなる音声認識辞書を用いて、前記タッチ動作と略同時かそれに続くユーザ発話を音声認識し、当該音声認識の結果に対応する処理を実行させるためのコマンドであって前記第１のコマンドの処理に関連する処理グループのなかの当該処理より下層に分類された処理を実行させる第２のコマンドに変換する音声−コマンド変換手順と、
    前記タッチ−コマンド変換手順で生成した第１のコマンド、または前記音声−コマンド変換手順で生成した第２のコマンドに対応する処理を実行する処理実行手順とを、コンピュータに実行させるための情報処理プログラム。
  10. ユーザによるタッチ動作がなされた入力デバイスからの出力信号に基づいて、当該入力デバイスに関連付けられた処理または当該入力デバイスが選択中の処理を実行させるための第１のコマンドを生成するタッチ−コマンド変換部と、
    前記処理に対応付けられた音声認識キーワードからなる音声認識辞書を用いて、前記入力デバイスへの前記タッチ動作と略同時かそれに続くユーザ発話を音声認識し、当該音声認識の結果に対応する処理を実行させるためのコマンドであって前記第１のコマンドの処理に関連する処理グループのなかの当該処理より下層に分類された処理を実行させるための第２のコマンドに変換する音声−コマンド変換部と、
    前記入力デバイスの出力信号に基づいた前記タッチ動作の状態に応じて、前記タッチ−コマンド変換部の生成した第１のコマンドに対応する処理を実行するタッチ操作モードか、前記音声−コマンド変換部の生成する第２のコマンドに対応する処理を実行する音声操作モードかを切り換える入力切換制御部とを備えるユーザインタフェース装置。
  11. 入力デバイスは、ハードボタンであることを特徴とする請求項１０記載のユーザインタフェース装置。
  12. 入力デバイスは、ディスプレイに表示されたカーソルを操作して処理項目を選択可能なカーソル操作用ハードデバイスであることを特徴とする請求項１０記載のユーザインタフェース装置。
  13. 入力デバイスは、タッチパッドであることを特徴とする請求項１０記載のユーザインタフェース装置。
JP2013525754A 2011-07-27 2012-07-26 ユーザインタフェース装置、情報処理方法および情報処理プログラム Expired - Fee Related JP5795068B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013525754A JP5795068B2 (ja) 2011-07-27 2012-07-26 ユーザインタフェース装置、情報処理方法および情報処理プログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
PCT/JP2011/004242 WO2013014709A1 (ja) 2011-07-27 2011-07-27 ユーザインタフェース装置、車載用情報装置、情報処理方法および情報処理プログラム
JPPCT/JP2011/004242 2011-07-27
JP2013525754A JP5795068B2 (ja) 2011-07-27 2012-07-26 ユーザインタフェース装置、情報処理方法および情報処理プログラム
PCT/JP2012/068982 WO2013015364A1 (ja) 2011-07-27 2012-07-26 ユーザインタフェース装置、車載用情報装置、情報処理方法および情報処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2013015364A1 true JPWO2013015364A1 (ja) 2015-02-23
JP5795068B2 JP5795068B2 (ja) 2015-10-14

Family

ID=52687963

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013525754A Expired - Fee Related JP5795068B2 (ja) 2011-07-27 2012-07-26 ユーザインタフェース装置、情報処理方法および情報処理プログラム

Country Status (1)

Country Link
JP (1) JP5795068B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018092217A (ja) * 2016-11-30 2018-06-14 京セラドキュメントソリューションズ株式会社 電子機器及び電子機器の操作表示方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0926799A (ja) * 1995-07-12 1997-01-28 Aqueous Res:Kk 音声認識装置
JP2002073075A (ja) * 2000-09-05 2002-03-12 Pioneer Electronic Corp 音声認識装置ならびにその方法
JP2007072671A (ja) * 2005-09-06 2007-03-22 Seiko Epson Corp 携帯情報処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0926799A (ja) * 1995-07-12 1997-01-28 Aqueous Res:Kk 音声認識装置
JP2002073075A (ja) * 2000-09-05 2002-03-12 Pioneer Electronic Corp 音声認識装置ならびにその方法
JP2007072671A (ja) * 2005-09-06 2007-03-22 Seiko Epson Corp 携帯情報処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018092217A (ja) * 2016-11-30 2018-06-14 京セラドキュメントソリューションズ株式会社 電子機器及び電子機器の操作表示方法

Also Published As

Publication number Publication date
JP5795068B2 (ja) 2015-10-14

Similar Documents

Publication Publication Date Title
WO2013015364A1 (ja) ユーザインタフェース装置、車載用情報装置、情報処理方法および情報処理プログラム
US20220253278A1 (en) Information processing device, information processing method, information processing program, and terminal device
KR102667413B1 (ko) 음성 명령에 기초하여 애플리케이션을 실행하는 방법 및 장치
EP1752865B1 (en) Mobile terminal having jog dial and controlling method thereof
KR101545875B1 (ko) 멀티미디어 아이템 조작 장치 및 방법
WO2017117254A1 (en) Unifying user-interface for multi-source media player
CN101826352A (zh) 音乐重放装置以及用于音乐选择和重放的方法
JPWO2003078930A1 (ja) 車両用ナビゲーション装置
JP2010127781A (ja) 車載装置および同装置を有する車載システム
JP6477822B2 (ja) 端末装置、端末装置の制御方法および制御プログラム
CN101943997A (zh) 一种实现触摸屏终端发出操作提示音的方法及终端
WO2010116028A2 (en) Method for controlling an apparatus
JP5795068B2 (ja) ユーザインタフェース装置、情報処理方法および情報処理プログラム
JP6226020B2 (ja) 車載装置、情報処理方法および情報処理システム
JP2009276833A (ja) 表示装置および表示方法
JP2004254006A (ja) 電子機器
US20120284031A1 (en) Method and device for operating technical equipment, in particular a motor vehicle
KR20220005590A (ko) 디스플레이 장치 및 그의 동작 방법
JP7323050B2 (ja) 表示制御装置及び表示制御方法
WO2022254670A1 (ja) 表示制御装置及び表示制御方法
JP6733751B2 (ja) 車載装置、車載装置の制御方法および制御プログラム
WO2022254669A1 (ja) 対話サービス装置及び対話システム制御方法
JP7010585B2 (ja) 音コマンド入力装置
JP2013109549A (ja) 車載装置および車載装置に接続された外部機器の動作制御方法
JP6416028B2 (ja) カラオケ用入力装置及びプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150410

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150714

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150811

R150 Certificate of patent or registration of utility model

Ref document number: 5795068

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees