JP2009301266A - ユーザインタフェース装置 - Google Patents

Abstract

【課題】ユーザが自分の機器操作要求に合うテンプレートをリストから容易に探し出すことができ、機器操作性が良好なユーザインタフェース装置を得る。
【解決手段】キーワードＤＢ１０２と、カテゴリＤＢ１０４と、テンプレートＤＢ１０６と、マイク１０１からの音声信号とキーワードＤＢ１０２を用いて音声認識を行う音声認識手段１０３と、カテゴリＤＢ１０４を用いて認識したキーワードのカテゴリを取得し、カテゴリリストを出力するカテゴリ取得手段１０５と、カテゴリ属性リストを作成してテンプレートＤＢ１０６からテンプレートを取得してこれの順序付けをし、テンプレートリストを出力するテンプレート検索制御手段１０８と、テンプレートリストとカテゴリリストを基に順序付けをしたキーワードリストを作成し、キーワードとテンプレートを画像表示手段１１０に表示し、ユーザによる操作を受け付けるテンプレート編集手段１０９とを備える。
【選択図】図１

Description

この発明は、音声認識により機器操作のテンプレートを検索・修正することで機器操作を行うユーザインタフェース装置に関する。

従来のユーザインタフェースを使った翻訳装置では、音声認識で入力したキーワードを用いて機器操作のテンプレートを検索し、検索の結果得られたテンプレートのリストから、ユーザが自分の機器操作要求に合うテンプレートを選択し、選択したテンプレートを音声認識で入力したキーワードを用いて修正することで所望の機器操作を行っている（例えば、特許文献１参照。）。

特開２００２−１４９５７号公報(第４頁、第９〜１３図)

このようなユーザインタフェースを使った翻訳装置においては、検索の結果得られるテンプレートのリストは、テンプレートがデータベースに格納されている順序、または五十音順やアルファベット順で並んでいる。このため、テンプレートの数が多い場合に、ユーザが自分の機器操作要求に合うテンプレートをリストの中から探し出すのに手間がかかり、機器操作性が悪いという問題点があった。

この発明は、上述のような問題点を解決するためになされたもので、ユーザが自分の機器操作要求に合うテンプレートをリストの中から容易に探し出すことができ、機器操作性が良好なユーザインタフェース装置を得ることを目的とする。

この発明に係るユーザインタフェース装置は、音声認識用のキーワードが記録されたキーワードデータベースと、キーワードのカテゴリが記録されたカテゴリデータベースと、操作対象となる機器の操作用の文の一部に空欄を有するテンプレートとこれに対応し１個以上のカテゴリを組み合わせて予め決められたカテゴリ属性とが記録されたテンプレートデータベースと、マイクからの音声信号とキーワードデータベースを用いて音声認識を行い、認識したキーワードと認識スコアのリストを出力する音声認識手段と、音声認識手段からのリストとカテゴリデータベースを用いて認識したキーワードに対応するカテゴリを取得し、カテゴリと認識したキーワードと認識スコアからなるカテゴリリストを出力するカテゴリ取得手段と、カテゴリ取得手段による１個以上のカテゴリリストから、カテゴリ属性と認識スコアを基にした点数を求めてカテゴリ属性リストを作成し、これを基にテンプレートデータベースからテンプレートを取得してテンプレートの順序付けをし、テンプレートリストを出力するテンプレート検索制御手段と、テンプレート検索制御手段からのテンプレートリストとカテゴリ取得手段からのカテゴリリストを基に順序付けをしたキーワードリストを作成し、キーワードリストのキーワードとテンプレートリストのテンプレートを画像表示手段に表示し、ユーザによる操作を受け付けるテンプレート編集手段とを備えるものである。

この発明によれば、テンプレートの順序付けを行って表示するので、ユーザの機器操作要求に合うテンプレートを表示することができ、機器操作性が良好なユーザインタフェース装置が得られる。

実施の形態１．
図１はこの発明を実施するための実施の形態１によるユーザインタフェース装置を示すブロック図である。図示されていないが、本インターフェース装置は、操作対象となる機器、例えばカーナビゲーション装置やテレビ等に接続されていたり、これらの装置の一部に組み込まれていたりしており、ユーザによる機器操作の実行要求を受け付け、操作対象となる機器に操作の実行を要求する。さて、この図において、マイク１０１は、ユーザの発話を音声信号に変換して出力する。キーワードＤＢ（データベース）１０２は、図２にデータ構造とデータの一例を示すように、音声認識の対象となるキーワードとキーワードの発音を一つの組として、複数組記録されている。音声認識手段１０３は、マイク１０１からの音声信号とキーワードＤＢ１０２を用いて音声認識を行い、図３に一例を示すように、認識したキーワードとこれに対応した認識スコアの組を認識スコア順に並べた、キーワードスコアリスト６０１を出力する。認識スコアは、認識信頼度とも言うが、音声認識処理結果におけるユーザの発話とキーワードとの一致度から求める。

カテゴリＤＢ１０４は、図４にデータ構造とデータの一例を示すように、キーワードとキーワードのカテゴリを一つの組として、複数組記録されている。なお、ここでカテゴリとは、インターフェース装置に接続され、操作対象となる機器の機能を実行する「対象」の分類である。例えばカーナビゲーション装置における「目的地設定」機能において、その「対象」は目的地である。目的地となりうるカテゴリの例としては「特定施設名」や「住所」などが考えられる。「特定施設名」カテゴリに属するキーワードとして、例えば「王子動物園」や「メリケンパーク」等がある。カテゴリ取得手段１０５は、音声認識手段１０３からキーワードと認識スコアの組からなるキーワードスコアリスト６０１を受け取り、各キーワードのカテゴリをカテゴリＤＢ１０４から取得し、図５、６に例を示すように、カテゴリとキーワードと認識スコアの組を認識スコア順に並べたカテゴリリスト７０１、８０１を出力する。

テンプレートＤＢ１０６は、図７にデータ構造とデータの一例を示すように、インターフェース装置に接続され、操作対象となる機器の操作用の文の一部に空欄を有するテンプレートと、このテンプレートに対応し予め決められたカテゴリ属性を一つの組として、複数組記録されている。なお、カテゴリ属性は、１個以上のカテゴリの組から成り、一つのテンプレートにはカテゴリ属性として、そのテンプレートの空欄と同数のカテゴリが各空欄に関連付けられる。ここでテンプレートとは、機能を実行する「対象」は未指定の状態（空欄）で、機器の「機能の実行要求」を文章で表したものである。機器のユーザが「対象」に任意の「キーワード」を指定することで、「機能の実行要求」を完成させるものである。

テンプレート検索手段１０７は、テンプレート検索制御手段１０８から検索のキーとなるカテゴリ属性リスト９０１（図８参照）を受け取り、そのカテゴリ属性に対応するテンプレートをテンプレートＤＢ１０６から検索し、テンプレートとカテゴリ属性の組のリストをテンプレート検索制御手段１０８に出力する。

テンプレート検索制御手段１０８は、カテゴリ取得手段１０５からカテゴリとキーワード、認識スコアの組から成るカテゴリリストを１個以上受け取り、カテゴリと認識スコアからテンプレート検索用のカテゴリ属性と点数を求めてその順位を決定し、図８に示すようなカテゴリ属性リスト９０１を作成する。その後、テンプレート検索手段１０７を用いて各カテゴリ属性をキーにテンプレートを検索させてその結果を取得し、図９に示すように、得られたテンプレートとテンプレートのカテゴリ属性の組を、カテゴリ属性の順位に従い並べたテンプレートリスト１００２を出力する。

テンプレート編集手段１０９は、カテゴリ取得手段１０５からカテゴリとキーワード、認識スコアの組から成るカテゴリリスト７０１、８０１、及びテンプレート検索制御手段１０８からテンプレートとカテゴリ属性の組から成るテンプレートリスト１００２を受け取り、テンプレートのカテゴリ属性から表示するキーワードを決定する。その後、図１０に示すように、画像表示手段１１０にキーワードとテンプレートのリストを出力し、ユーザによるテンプレートの選択とテンプレートの空欄へのキーワードの代入の操作を受け付ける。ユーザインタフェース画面１５０１は、テンプレートのリストを表示するエリア１５０２と、キーワードのリストを表示するエリア１５０３および１５０４から構成される。キーワードのリストを表示するエリアの数は1個以上であり、音声入力したキーワードの数によって増減する。各エリアは、エリア内に表示しきれないリストの項目をスクロールさせて表示するためのスクロールバー１５０５を備える。各エリアのリストは、認識スコアまたはカテゴリ属性の点数が高いものが上になるように順に並べられており、最初に画面が表示されたときはリストの一番上の項目が見えるようにスクロール位置が設定される。その後、ユーザによるテンプレートの実行要求を受け付け、テンプレートに記載された機器操作の実行を機器（図示せず）に要求する。

画面表示手段１１０は、テンプレート編集手段１０９が出力するキーワードとテンプレートのリストを映像信号に変換してディスプレイ１１１に出力する。ディスプレイ１１１は、映像信号を可視化する。

このように構成されたユーザインタフェース装置をカーナビゲーション装置に用いた場合について、図１１のフローチャートを用いて動作の説明をする。ユーザインタフェース装置が起動すると、キーワード入力ステップＳ２００に進む。キーワード入力ステップＳ２００では、ユーザが発話したキーワードを音声認識する。次に、テンプレート検索ステップＳ３００では、音声認識したキーワードからテンプレートを検索する。その後、テンプレート編集ステップＳ４００では、音声認識したキーワードと検索したテンプレートをディスプレイ１１１に表示し、ユーザがテンプレートを編集し、テンプレートを実行する。図１１の各ステップにおける処理の詳細を以下で説明する。

図１２は図１１のキーワード入力ステップＳ２００における処理の詳細なフローチャートである。キーワード入力ステップＳ２００が開始すると、音声入力ステップＳ２１０に進む。音声入力ステップＳ２１０では、ユーザが発話したキーワードをマイク１０１が音声信号に変換して出力する。キーワード認識ステップＳ２２０では、音声認識手段１０３がマイク１０１からの音声信号とキーワードＤＢ１０２を用いて音声認識を行い、認識したキーワードと認識スコアの組を認識スコア順に並べ、図３に示すようにキーワードスコアリスト６０１として出力する。ここでは、ユーザが「王子動物園」と発話した場合を示している。リストの項目数は、予め決められた固定値以下とする。図の例は４項目であり、認識スコアの上位４個のキーワードをリストの項目としている。

カテゴリ取得ステップＳ２３０では、カテゴリ取得手段１０５は音声認識手段１０３からキーワードスコアリスト６０１を受け取り、各キーワードのカテゴリをカテゴリＤＢ１０４から取得し、カテゴリとキーワードと認識スコアの組を認識スコア順に並べ、カテゴリリストを作成する。図５、６はこの一例である。図５のカテゴリリスト７０１は、カテゴリ取得手段１０５が音声認識手段１０３から図３のキーワードスコアリスト６０１を受け取った場合の例である。図６は、ユーザがさらに「ファミレス」と発話した場合に、キーワード認識ステップＳ２２０及びカテゴリ取得ステップＳ２３０を実行して出力された、カテゴリリスト８０１の例である。

音声入力終了判定ステップＳ２４０では、ユーザによる音声入力終了の指示があれば音声入力を終了し、キーワード入力ステップＳ２００を終了する。指示がなければ音声入力ステップＳ２１０に戻る。なお、ユーザによる音声入力終了の指示は、機器のボタンやタッチパネルの操作で行ってもよいし、予め決められた時間内に次のキーワードが発話されないことで判定してもよい。

図１３（ａ）は、図１１のテンプレート検索ステップＳ３００における処理の詳細なフローチャートである。テンプレート検索ステップＳ３００が開始すると、カテゴリ属性リスト作成ステップＳ３１０に進む。カテゴリ属性リスト作成ステップＳ３１０では、テンプレート検索制御手段１０８が、カテゴリ取得手段１０５からカテゴリとキーワードと認識スコアの組からなるカテゴリリスト７０１、８０１を受け取り、それらからカテゴリ属性リストを作成する。

ここで、カテゴリ属性リストの作成方法を図１３（ｂ）を用いて説明する。この図は、図１３（ａ）のカテゴリ属性リスト作成ステップＳ３１０おける処理の詳細なフローチャートである。

カテゴリ属性リスト作成ステップＳ３１０が開始すると、カテゴリ・キーワード・認識スコアの組のリスト受信ステップＳ３１１に進む。ここでは、テンプレート検索制御手段１０８が、カテゴリとキーワードと認識スコアの組からなるカテゴリリストをキーワード入力ステップＳ２００で音声入力された回数分受け取る。例えば、図５、６に示すカテゴリリスト７０１、８０１を受け取る。

カテゴリ属性・点数取得ステップＳ３１２では、カテゴリリスト間におけるカテゴリと認識スコアの組み合わせから、テンプレート検索に使用するカテゴリ属性とその点数を求める。なお、ここで点数とは、本装置において、「ユーザの機器操作要求」と「カテゴリ属性」の「適合度の高さの指標」とみなす数値である。

具体的にはまず、図５、６に示す各リストにおいて、リスト中に重複するカテゴリの項目がある場合、認識スコアが最も高い項目以外を削除する。この処理を行った結果を図１４に示す。図５のカテゴリリスト７０１の処理結果がカテゴリ中間リスト１６０１であり、図６のカテゴリリスト８０１の処理結果がカテゴリ中間リスト１６０２である。

次に、リスト間のカテゴリの全ての組み合わせとその点数を求める。点数はそれぞれのカテゴリの認識スコアの和である。ただし、点数の算出の際に他の計算式を用いてもよい。この処理を行った結果を図１５のカテゴリ組み合わせ表１７０１に示す。カテゴリ組み合わせ表１７０１において、カテゴリ１はカテゴリ中間リスト１６０１におけるカテゴリに、カテゴリ２はカテゴリ中間リスト１６０２におけるカテゴリに対応する。

次に、カテゴリ組み合わせ表１７０１からカテゴリ属性とその点数を求める。例えば、カテゴリ１の「特定施設」とカテゴリ２の「一般施設」の組み合わせを、カテゴリ属性「特定施設・一般施設」とする。このとき、カテゴリの順序は考慮しない。すなわち「特定施設・一般施設」と「一般施設・特定施設」は同一とみなす。この処理を行った結果をカテゴリ属性中間リスト１７０２に示す。次に、重複しているカテゴリ属性がある場合に、点数が最も高い項目以外を削除する。カテゴリ属性中間リスト１７０２では、削除すべき項目を灰色の背景で示している。

カテゴリ属性ソートステップＳ３１３では、求めたカテゴリ属性を点数の高い順に並べて、カテゴリ属性リストを作成する。具体的には、図１５のカテゴリ属性中間リスト１７０２に残ったカテゴリ属性と点数を点数の高い順に並べて、図８のカテゴリ属性リスト９０１を作成し、カテゴリ属性リスト作成ステップＳ３１０を終了する。

テンプレートＤＢ検索ステップＳ３２０では、テンプレート検索制御手段１０８が、カテゴリ属性リスト９０１の順に、テンプレート検索手段１０７を用いて各カテゴリ属性をキーにテンプレートを検索する。図９には、テンプレート検索制御手段１０８がテンプレートを検索して、テンプレート検索結果１００１を得た時の例を示す。テンプレート検索手段１０７は、検索のキーとするカテゴリ属性を受け取り、そのカテゴリ属性に対応するテンプレートをテンプレートＤＢ１０６から検索し、テンプレートとカテゴリ属性の組のリストをテンプレート検索制御手段１０８に返す。

テンプレートリスト作成ステップＳ３３０では、テンプレート検索制御手段１０８が、テンプレートＤＢ検索ステップＳ３２０で検索したテンプレートとカテゴリ属性の組をカテゴリ属性リストの順につないで（図９参照）、テンプレートとカテゴリ属性の組のリストを作成する。これにより、カテゴリ属性の点数順に並んだテンプレートとカテゴリ属性の組のリストが作成される。最後に、作成したテンプレートとカテゴリ属性の組から成るテンプレートリスト１００２をテンプレート編集手段１０９に出力し、テンプレート検索ステップＳ３００を終了する。

図１６は、図１１のテンプレート編集ステップＳ４００における処理の詳細なフローチャートである。テンプレート編集ステップＳ４００が開始すると、キーワードリスト作成ステップＳ４１０に進む。

キーワードリスト作成ステップＳ４１０では、テンプレート編集手段１０９は、カテゴリ取得手段１０５からカテゴリとキーワードと認識スコアの組からなるカテゴリリスト７０１、８０１（図５、６参照）及び、テンプレート検索制御手段１０８からテンプレートとカテゴリ属性の組からなるテンプレートリスト１００２（図９参照）を受け取る。次に、キーワードの選択及び順序付けのため、テンプレートに含まれないカテゴリのキーワードを除外して認識スコア順に順序付けし、キーワードリストを作成する。例えば、図５、６のカテゴリリスト７０１、８０１の場合、図９のテンプレートリスト１００２には「曲名」のカテゴリが無いので、「曲名」に属するキーワードをカテゴリリスト７０１、８０１から除去すると、図１７に示すキーワードリスト７０２、８０２が作成される。

キーワード・テンプレート表示ステップＳ４２０では、テンプレート編集手段１０９が、キーワードリスト７０２、８０２とテンプレートリスト１００２の順に従って図１０に示すように、画面表示手段１１０を用いてディスプレイ１１１に表示する。編集操作受付ステップＳ４３０では、テンプレート編集手段１０９は、ユーザによるテンプレートリストの選択後、選択したテンプレートの空欄へのキーワードの代入の操作と、テンプレートの実行操作を受け付ける。テンプレート実行操作判定ステップＳ４４０では、ユーザの操作がテンプレートの実行操作であった場合には、キーワード代入完了判定ステップＳ４６０に進む。テンプレートの実行操作では無い場合は、キーワード代入処理ステップＳ４５０に進む。

キーワード代入処理ステップＳ４５０では、テンプレート編集手段１０９が、代入されたキーワードをテンプレートの空欄に書き込み、テンプレートの再表示のために、キーワード・テンプレート表示ステップＳ４２０に戻る。

キーワード代入完了判定ステップＳ４６０では、テンプレート編集手段１０９は、選択されたテンプレートの全ての空欄へのキーワードの書き込みが完了していれば、テンプレート実行要求ステップＳ４７０に進む。テンプレートに、キーワードの書き込まれていない空欄が残っていれば、キーワード・テンプレート表示ステップＳ４２０に戻る。

テンプレート実行要求ステップＳ４７０では、テンプレート編集手段１０９が、テンプレートに記載された機器操作の実行を機器に要求し、テンプレート編集ステップＳ４００を終了する。

なお、テンプレートＤＢは、図７に示すデータ構造以外にも図１８に示すデータ構造でもよい。図７の例ではテンプレートごとにカテゴリ属性を持つデータ構造であるが、本例ではカテゴリ属性のグループにテンプレートが属するデータ構造としている。

このように構成されたユーザインタフェース装置によれば、音声認識で入力したキーワードのカテゴリと音声認識スコアからテンプレートを検索し、検索して得られたテンプレートの順序付けと、キーワードの選択と順序付けを行い、その順序に従ってキーワードとテンプレートのリストを表示するので、ユーザの機器操作要求に合うキーワードとテンプレートを優先的にリストの上位に表示でき、ユーザがキーワードとテンプレートをリストの中から容易に探し出すことが可能となり、機器操作性が良好で、ユーザの負担を軽減することができるユーザインタフェース装置が得られる。

また、テンプレートＤＢをテンプレートがカテゴリ属性のグループに属するデータ構造とすると、同一カテゴリの検索が効率的になるため速くなり、機器操作性が向上する。

実施の形態２．
実施の形態１は、同一カテゴリ属性に複数のテンプレートが検索されて取得された場合は、テンプレートには優劣はつかないが、ここでは、そのような場合でもテンプレートの順序付けを行う方法について述べる。図１９は本発明の実施の形態２によるユーザインタフェース装置におけるテンプレートＤＢのデータ構造とデータの例である。各テンプレートにはカテゴリ属性に加えて使用頻度に基づく優先度を記録する。この優先度は予め設定しておくが、ユーザの使用状況に応じて優先度が変更されるようにしても良い。

このように構成されたユーザインタフェース装置において、テンプレート検索制御手段１０８は、実施の形態１の処理に加えて、同じカテゴリ属性で検索されたテンプレート間では、テンプレートの優先度の値がより高いものがリストの上位となるように並べる。

このように、構成されたユーザインタフェース装置によれば、各テンプレートに優先度を設定することで、同じカテゴリで検索されたテンプレートが多数ある場合でも、ユーザの機器操作要求に合うテンプレートを優先的にリストの上位に表示できるため、ユーザがテンプレートをリストから容易に探し出すことができ、機器操作が良好となり、ユーザの負担を軽減することができる。

実施の形態３．
実施の形態１、２では、テンプレートの優先度が無い場合や同じ場合は、テンプレートには優劣が付かないが、ここではそのような場合でもテンプレートの順序付けを行う方法について述べる。図２０は本発明の実施の形態３によるユーザインタフェース装置におけるテンプレートＤＢ１０６のデータ構造とデータの例である。各テンプレートはテンプレートの空欄ごとにカテゴリ属性が記録されている。また、各テンプレートは複数のカテゴリ属性を持つことができる。

このように構成されたユーザインタフェース装置において、テンプレート検索制御手段１０８は、実施の形態１又は実施の形態２の処理に加えて、同じカテゴリで検索され、テンプレートの優先度が無い場合や同じ場合は、テンプレートの空欄がより多くのカテゴリ属性の数をもつものがリストの上位となるよう並べる。これは、空欄のカテゴリ属性が多いテンプレートは汎用性があるため、ユーザの機器操作要求に合うテンプレートとなりやすいからである。

このように、構成されたユーザインタフェース装置によれば、各テンプレートのカテゴリ属性の数をテンプレートの順位付けに用いるため、テンプレートの優先度が無かったり同じ場合でも、ユーザの機器操作要求に合うテンプレートを優先的にリストの上位に表示でき、ユーザがリストの中から容易にテンプレートを探し出すことができる。

実施の形態４．
実施の形態１はユーザインタフェース装置をカーナビゲーション装置に適用した場合の例について述べたが、ここでは、テレビやテレビ録画用の用途の例について述べる。本発明の実施の形態４におけるユーザインタフェース装置は、図１に示す実施の形態１におけるユーザインタフェースと同じ構造を持つ。ただし、ユーザインタフェース装置が操作の実行を要求する機器（図示せず）の機能が異なるため、機器の機能に合わせてキーワードＤＢ１０２、カテゴリＤＢ１０４、テンプレートＤＢ１０６に記録するデータを変更している。

図２１は本発明の実施の形態４によるキーワードＤＢ１０２のデータの例である。データ構造は図２に示した実施の形態１おけるキーワードＤＢ１０２と同じである。図２２はカテゴリＤＢ１０４のデータの例である。データ構造は図４に示した実施の形態１におけるカテゴリＤＢ１０４と同じである。カテゴリは機器の機能に応じて任意に定義する。図２３はテンプレートＤＢ１０６のデータの例である。データ構造は図７に示した実施の形態１におけるテンプレートＤＢ１０６と同じである。

このように構成されたユーザインタフェース装置において、音声認識で入力されたキーワードのカテゴリと音声認識スコアから、テンプレートの検索と、検索して得られたテンプレートの順序付けを行い、その順序に従ったテンプレートのリストを表示することで、機器を操作する。

なお、実施の形態１はカーナビゲーション装置の例であり、実施の形態４はテレビの例であるが、カーナビゲーション装置とテレビが一体化している装置の場合は、各々に対応したカテゴリＤＢとテンプレートＤＢを持っていても良い。この場合は、各々の操作対象が使われているときは、それぞれに対応したデータベースを使うように切り替える。例えば、テレビを使用しているときはテレビ用のデータベースを使う。この場合は、「ＡＢＣ」はテレビ用のカテゴリＤＢから「放送局名」のカテゴリを取得し、これに対応したテレビ用のテンプレートＤＢからテンプレートを取得する。一方、カーナビゲーション装置使用時はカーナビゲーション用のデータベースに切り替える。この場合は、「ＡＢＣ」はカーナビゲーション用のカテゴリＤＢから「特定施設」のカテゴリを取得し、これに対応したカーナビゲーション用のテンプレートＤＢからテンプレートを取得する。

このように、構成されたユーザインタフェース装置によれば、操作する機器に対応したデータベースを用いるので、ユーザの機器操作要求に合うテンプレートを優先的にリストの上位に表示できる。そのため、ユーザはリスト中からテンプレートを容易に探し出すことができ、機器操作が良好なユーザインタフェース装置が得られる。

この発明の実施の形態１を示すユーザインタフェース装置のブロック図である。 この発明の実施の形態１を示すキーワードＤＢのデータ構造とデータの例である。 この発明の実施の形態１を示すキーワードスコアリストの例である。 この発明の実施の形態１を示すカテゴリＤＢのデータ構造とデータの例である。 この発明の実施の形態１を示すカテゴリリストの例である。 この発明の実施の形態１を示すカテゴリリストの別の例である。 この発明の実施の形態１を示すテンプレートＤＢのデータ構造とデータの例である。 この発明の実施の形態１を示すカテゴリ属性リストの例である。 この発明の実施の形態１を示すテンプレートの検索結果の例である。 この発明の実施の形態１を示すユーザインタフェース装置の画面の例である。 この発明の実施の形態１を示すフローチャートである。 この発明の実施の形態１を示すキーワード入力ステップＳ２００におけるフローチャートである。 この発明の実施の形態１を示すテンプレート検索ステップＳ３００におけるフローチャートである。 この発明の実施の形態１を示すカテゴリ中間リストの例である。 この発明の実施の形態１を示すカテゴリ組み合わせ表の例およびカテゴリ属性中間リストの例である。 この発明の実施の形態１を示すテンプレート編集ステップＳ４００におけるフローチャートである。 この発明の実施の形態１を示すキーワードリストの例である。 この発明の実施の形態１を示すテンプレートＤＢのデータ構造とデータの別の例である。 この発明の実施の形態２を示すテンプレートＤＢのデータ構造とデータの例である。 この発明の実施の形態３を示すテンプレートＤＢのデータ構造とデータの例である。 この発明の実施の形態４を示すキーワードＤＢのデータ構造とデータの例である。 この発明の実施の形態４を示すカテゴリＤＢのデータ構造とデータの例である。 この発明の実施の形態４を示すテンプレートＤＢのデータ構造とデータの例である。

符号の説明

１０１ マイク
１０２ キーワードＤＢ
１０３ 音声認識手段
１０４ カテゴリＤＢ
１０５ カテゴリ取得手段
１０６ テンプレートＤＢ
１０７ テンプレート検索手段
１０８ テンプレート検索制御手段
１０９ テンプレート編集手段
１１０ 画面表示手段
１１１ ディスプレイ
６０１ キーワードスコアリスト
７０１ カテゴリリスト
７０２ キーワードリスト
８０１ カテゴリリスト
８０２ キーワードリスト
９０１ カテゴリ属性リスト
１００１ テンプレート検索結果
１００２ テンプレートリスト
１１０１ キーワードＤＢ格納データ
１２０１ カテゴリＤＢ格納データ
１３０１ テンプレートＤＢ格納データ
１４０１ テンプレートＤＢ格納データ
１５０１ ユーザインタフェース画面
１５０２ テンプレートリスト表示エリア
１５０３ キーワードリスト表示エリア（１）
１５０４ キーワードリスト表示エリア（２）
１５０５ スクロールバー
１６０１ カテゴリ中間リスト（１）
１６０２ カテゴリ中間リスト（２）
１７０１ カテゴリ組み合わせ表
１７０２ カテゴリ属性中間リスト
１８０１ テンプレートＤＢ格納データ
１９０１ テンプレートＤＢ格納データ
２００１ キーワードＤＢ格納データ
２１０１ カテゴリＤＢ格納データ
２２０１ テンプレートＤＢ格納データ

Claims (5)

1. 音声認識用のキーワードが記録されたキーワードデータベースと、
   前記キーワードのカテゴリが記録されたカテゴリデータベースと、
   操作対象となる機器の操作用の文の一部に空欄を有するテンプレートとこれに対応し１個以上の前記カテゴリを組み合わせて予め決められたカテゴリ属性とが記録されたテンプレートデータベースと、
   マイクからの音声信号と前記キーワードデータベースを用いて音声認識を行い、認識したキーワードと認識スコアのリストを出力する音声認識手段と、
   この音声認識手段からの前記リストと前記カテゴリデータベースを用いて前記認識したキーワードに対応するカテゴリを取得し、このカテゴリと前記認識したキーワードと前記認識スコアからなるカテゴリリストを出力するカテゴリ取得手段と、
   このカテゴリ取得手段による１個以上の前記カテゴリリストから、カテゴリ属性と認識スコアを基にした点数を求めてカテゴリ属性リストを作成し、これを基に前記テンプレートデータベースからテンプレートを取得してテンプレートの順序付けをし、テンプレートリストを出力するテンプレート検索制御手段と、
   このテンプレート検索制御手段からの前記テンプレートリストと前記カテゴリ取得手段からの前記カテゴリリストを基に順序付けをしたキーワードリストを作成し、前記キーワードリストのキーワードと前記テンプレートリストのテンプレートを画像表示手段に表示し、ユーザによる操作を受け付けるテンプレート編集手段とを備えたユーザインタフェース装置。
2. 前記テンプレートデータベースには、テンプレート毎の優先度情報が記録され、
   前記テンプレート検索制御手段は、同一のカテゴリ属性に複数のテンプレートが取得された場合、テンプレート毎の前記優先度情報を基にテンプレートの順序付けをする請求項１記載のユーザインタフェース装置。
3. 前記テンプレートデータベースには、前記空欄ごとのカテゴリ属性情報が記録され、
   前記テンプレート検索制御手段は、同一のカテゴリ属性に複数のテンプレートが取得された場合、テンプレートのカテゴリ属性の数を基にテンプレートの順序付けをする請求項１記載のユーザインタフェース装置。
4. 前記テンプレートデータベースは、同一のカテゴリ属性ごとにテンプレートがグループ化された請求項１記載のユーザインタフェース装置。
5. 前記カテゴリデータベースと前記テンプレートデータベースは、前記操作対象となる機器ごとに対応するデータベースを更に備え、
   前記カテゴリ取得手段と前記テンプレート検索制御手段は、前記操作対象となる機器ごとに対応するデータベースを切り替えて、カテゴリとテンプレートを取得する請求項１記載のユーザインタフェース装置。

Images