JP6516938B1 - 機器制御装置、機器制御システム、機器制御方法、および、機器制御プログラム - Google Patents

Abstract

発話音声に基づいて判定された、対象機器および当該対象機器に実行させる１つ以上の対象機能、が対応付けられた機器機能情報を取得する機器機能情報取得部（１１）と、機器機能情報取得部（１１）が取得した機器機能情報に基づき、１つ以上の対象機能を実行させるための１回以上の手動操作および当該１回以上の手動操作の順番を判定する手順判定部（１２）と、手順判定部（１２）が判定した１回以上の手動操作の順番に従って、対象機器に対して、当該１回以上の手動操作にそれぞれ対応する操作レスポンス出力制御情報を出力させるための操作コマンドを順次送信する操作コマンド送信制御部（１３）とを備えた。

Description

この発明は、発話音声に基づいて機器を制御する機器制御装置、機器制御システム、機器制御方法、および、機器制御プログラムに関するものである。

従来、ユーザの発話音声に基づいて機器を制御する技術が知られている。このような技術により、ユーザは、機器を手動操作する場合には複数の手動操作を要する機能についても、一回の発話で、当該機器に当該機能を実行させることができる。以下、ユーザが、発話により機器を操作することを、「音声操作」という。
例えば、特許文献１には、ユーザの発話音声に基づいて認識した音声コマンドが繰り返しコマンドである場合、音声コマンドに対応する信号を一回受信すると、被制御機器に対して、認識した音声コマンドに相当する制御信号を複数回繰り返し送信する音声認識制御装置が開示されている。

特開２００９−１０４０２５号公報

従来技術では、ユーザが、手動操作の場合には複数の手動操作を要する１つ以上の機能の実行を一回の発話で指示した際に、当該機器において、前記複数の手動操作のそれぞれに相当する機能が実行されたことを確認することができないという課題があった。特許文献１に開示された音声認識制御装置は、ユーザによる一回の発話で、機器が同じ機能を複数回繰り返すにとどまり、依然として上記の課題を解決するものではない。

この発明は上記のような課題を解決するためになされたもので、ユーザが、手動操作の場合には複数の手動操作を要する１つ以上の機能の実行を一回の発話で指示した際に、当該機器において、前記複数の手動操作のそれぞれに相当する機能が実行されたことを確認することができる機器制御装置を提供することを目的としている。

この発明に係る機器制御装置は、発話音声に基づいて機器を制御する機器制御装置であって、発話音声に基づいて判定された、対象機器および当該対象機器に実行させる１つ以上の対象機能、が対応付けられた機器機能情報を取得する機器機能情報取得部と、機器機能情報取得部が取得した機器機能情報に基づき、１つ以上の対象機能を実行させるための１回以上の手動操作および当該１回以上の手動操作の順番を判定する手順判定部と、手順判定部が判定した１回以上の手動操作の順番に従って、１回以上の手動操作毎に、対象機器に対して、当該１回以上の手動操作にそれぞれ対応する操作レスポンス出力制御情報を出力させるための操作コマンドを順次送信する操作コマンド送信制御部とを備えたものである。

この発明によれば、ユーザが、手動操作の場合には複数の手動操作を要する１つ以上の機能の実行を一回の発話で指示した際に、当該機器において、前記複数の手動操作のそれぞれに相当する機能が実行されたことを確認することができる。

実施の形態１に係る機器制御装置を備えた機器制御システムの構成の一例を説明する図である。 実施の形態１において、機器機能ＤＢに記憶されている機器関連情報の一例を説明するための図である。 実施の形態１において、手順ＤＢに記憶されている手順情報の一例を説明するための図である。 実施の形態１において、各操作コマンドが０．２秒間隔で送信されるイメージを示すための図である。 実施の形態１に係る機器制御装置の動作の一例を説明するためのフローチャートである。 実施の形態１に係る音声操作装置の動作の一例を説明するためのフローチャートである。 実施の形態１に係る家電機器の動作の一例を説明するためのフローチャートである。 実施の形態１において、ユーザが、発話によって、電子レンジに対して、手動モードで、５００Ｗ、２分間の加熱機能を実行させた場合に、表示部が、操作レスポンス出力制御情報に従って情報を表示させた表示画面のイメージの一例、および、音出力部が、操作レスポンス出力制御情報に従って出力させた音のイメージの一例を説明するための図である。 実施の形態１において、ユーザが、手動操作によって、電子レンジに対して、手動モードで、５００Ｗ、２分間の加熱機能を実行させた場合に、当該加熱機能が実行されるまでの操作に応じて、表示部が表示する画面、および、音出力部が出力する音のイメージの一例を示す図である。 実施の形態１において、各操作コマンドが、当該各操作コマンドに含まれる操作情報で示す操作に応じて、異なる間隔で送信されるイメージを示す。 実施の形態１において、操作レスポンス出力制御情報の出力間隔が変化する場合に、表示部が、操作レスポンス出力制御情報に従って情報を表示した表示画面のイメージの一例、および、音出力部が、操作レスポンス出力制御情報に従って出力した音のイメージの一例を説明するための図である。 図１２Ａ，図１２Ｂは、実施の形態１に係る機器制御装置のハードウェア構成の一例を示す図である。 実施の形態２に係る機器制御装置を備えた機器制御システムの構成の一例を説明する図である。 ＩＨクッキングヒータにおいて火力を火力３から火力５へ変更する場合の、実施の形態１における機器制御装置の動作と、実施の形態２における機器制御装置の動作の違いのイメージを説明するための図である。図１４Ａは、実施の形態１において、ＩＨクッキングヒータの火力を火力３から火力５へ変更した場合の動作のイメージを示しており、図１４Ｂは、実施の形態２において、ＩＨクッキングヒータの火力を火力３から火力５へ変更した場合の動作のイメージを示している。 実施の形態２に係る機器制御装置の動作を説明するためのフローチャートである。 実施の形態１に係る機器制御システムにおいて、機器制御装置が備える操作コマンド送信制御部の機能を、家電機器が備えるようにしたシステム構成例を説明するための図である。

以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
実施の形態１に係る機器制御装置１は、ユーザが機器を音声操作する場合に、当該機器に発話音声に基づく機能を実行させるとともに、ユーザが手動操作によって機能を実行させたかのような反応を出力させることができる。
なお、以下の説明では、一例として、ユーザが発話音声によって機能を実行させる機器を、家電機器とする。

図１は、実施の形態１に係る機器制御装置１を備えた機器制御システム１００の構成の一例を説明する図である。
機器制御システム１００は、機器制御装置１と、音声操作装置２と、家電機器３と、音声入力装置４と、音声出力装置５を備える。音声操作装置２は、音声入力装置４および音声出力装置５とネットワークを介して接続される。また、音声操作装置２は、機器制御装置１とネットワークを介して接続される。機器制御装置１は、音声操作装置２および家電機器３とネットワークを介して接続される。
家電機器３は、電子レンジ、ＩＨクッキングヒータ、炊飯器、テレビ、または、エアコン等、家庭で用いられるあらゆる電化製品を含む。
なお、図１では、機器制御システム１００に備えられる家電機器３を１つのみ示しているが、機器制御システム１００には２つ以上の家電機器３が接続され得る。

音声操作装置２は、ユーザの発話音声に基づいて、制御対象となる家電機器３を判定するともに、当該家電機器３が有する機能のうち、当該家電機器３に実行させる１つ以上の機能を判定する。
実施の形態１では、ユーザの発話音声に基づいて判定された、制御対象となる家電機器３を「対象機器」という。また、「対象機器」が有する機能のうち、ユーザの発話音声に基づいて実行させる機能を「対象機能」ともいうものとする。
音声操作装置２は、判定した対象機器と１つ以上の対象機能とを対応付けた情報（以下「機器機能情報」という。）を、機器制御装置１に送信する。

機器制御装置１は、音声操作装置２から送信された機器機能情報に基づいて、対象機器が有する１つ以上の対象機能を、手動操作によって実行させた場合の、操作手順を判定する。そして、機器制御装置１は、判定した操作手順に従って、対象機器に対して、操作毎に、当該操作にそれぞれ対応する操作レスポンス出力制御情報を出力させるための操作コマンドを、設定された間隔で、順次送信する。

家電機器３は、機器制御装置１から送信された操作コマンドに基づいて、自身が有する機能を実行する。
また、家電機器３は、機器制御装置１から送信された操作コマンドを受信する毎に、出力部３４（後述する）に対して、当該操作コマンドに応じた操作レスポンス出力制御情報を出力し、当該操作コマンドに基づく操作に対応する音の出力、または、情報の表示を行う。
家電機器３は、ユーザによる手動操作を受け付け、受け付けた手動操作に応じて、自身が有する機能を実行することも可能である。この場合も、家電機器３は、手動操作を受け付ける毎に、出力部３４に対して受け付けた当該手動操作に応じた操作レスポンス出力制御信号を出力し、受け付けた当該手動操作に対応する音の出力、または、情報の表示を行う。
なお、機器制御装置１から送信された操作コマンドに基づく操作と、受け付けた手動操作とが同じ操作である場合、家電機器３が出力する音、および、家電機器３が表示する情報の内容は、それぞれ同じ音および同じ情報となる。

音声入力装置４は、ユーザの発話音声を受け付けて、音声操作装置２に音声信号を入力することが可能なマイク等である。
音声出力装置５は、音声を外部に出力することが可能なスピーカ等である。
音声入力装置４と音声出力装置５は、いわゆるスマートスピーカに備えられるものであってもよい。その場合、音声出力装置５は、例えば、ユーザが音声入力装置４を用いて入力した、ユーザの発話音声に対する返答を出力することができる。

機器制御装置１、音声操作装置２、および、家電機器３の構成例について、それぞれ説明する。
まず、音声操作装置２の構成例について説明する。
音声操作装置２は、図１に示すように、音声取得部２１と、音声認識部２２と、機器機能判定部２３と、音声認識辞書ＤＢ（ＤａｔａＢａｓｅ）２４と、機器機能ＤＢ２５を備える。
音声取得部２１は、音声入力装置４から、発話音声を取得する。
ユーザは、音声入力装置４に対して、家電機器３が有する１つ以上の機能を実行させるための指示を発話する。例えば、家電機器３が電子レンジである場合、ユーザは、音声入力装置４に対して、「電子レンジを使って、手動、５００Ｗ、２分で温めて」と発話することで、電子レンジに対して、手動モードで５００Ｗの設定温度で２分間加熱する機能を実行させる実行指示を入力する。また、例えば、ユーザは、「電子レンジを使って、ミルクをぬるめに温めて」と発話することで、電子レンジに対して、のみものモードで、ミルクを５０℃になるよう加熱する機能を実行させる実行指示を入力する。また、例えば、家電機器３がＩＨクッキングヒータである場合、ユーザは、「ＩＨクッキングヒータを使って、右のコンロを中火にして」と発話することで、ＩＨクッキングヒータに対して、右のコンロの火力を火力４とする機能を実行させる実行指示を入力する。
音声入力装置４は、上述の例のようにユーザが発話した発話音声を受け付ける。音声取得部２１は、音声入力装置４が受け付けた、ユーザの発話音声を取得する。
音声取得部２１は、取得した発話音声を、音声認識部２２に出力する。

音声認識部２２は、音声取得部２１が取得した発話音声と音声認識辞書ＤＢ２４を照合し、発話内容を認識する。
音声認識辞書ＤＢ２４は、音声認識を行うための音声認識辞書を格納したデータベースである。
音声認識部２２は、音声認識辞書ＤＢ２４に格納されている音声認識辞書を用いて音声認識を行い、発話内容を認識する。音声認識部２２は、既存の音声認識技術を用いて、発話内容を認識するようにすればよい。
音声認識部２２は、ユーザの意図推定を行うことで、発話内容を認識するようにしてもよいし、人工知能を使用して発話内容を認識するようにしてもよい。その場合、音声認識部２２は、既存の意図推定技術、および、人工知能の技術を用いればよい。
音声認識部２２は、発話音声に基づき発話内容を認識できるようになっていればよく、発話内容の認識方法は問わない。

例えば、上述の例を用いて説明すると、発話音声「電子レンジを使って、手動、５００Ｗ、２分で温めて」について、音声認識部２２は、「電子レンジ」、「手動」、「５００Ｗ」、および、「２分」という発話内容を認識する。また、例えば、発話音声「電子レンジを使って、ミルクをぬるめに温めて」について、音声認識部２２は、「電子レンジ」、「ミルク」、および、「ぬるめ」という発話内容を認識する。また、例えば、発話音声「ＩＨクッキングヒータを使って、右のコンロを中火にして」について、音声認識部２２は、「ＩＨクッキングヒータ」、「右のコンロ」、および、「中火」という発話内容を認識する。
音声認識部２２は、発話内容の認識結果を、機器機能判定部２３に出力する。

機器機能判定部２３は、音声認識部２２から出力された、発話内容の認識結果を、機器機能ＤＢ２５と照合し、対象機器および１つ以上の対象機能を判定する。
機器機能ＤＢ２５には、機器関連情報が記憶されている。機器関連情報とは、発話内容と家電機器３とが対応付けられるとともに、発話内容と家電機器３が有する１つ以上の機能とが対応付けられた情報である。機器関連情報は、発話音声によって制御を行うことができる１つ以上の家電機器３に関して、予め作成され、機器機能ＤＢ２５に記憶されているものとする。

ここで、図２は、実施の形態１において、機器機能ＤＢ２５に記憶されている機器関連情報の一例を説明するための図である。
図２に示すように、機器関連情報では、音声認識結果である発話内容と、家電機器３および機能とが対応付けられている。例えば、音声認識部２２から出力された発話内容に、「電子レンジ」、「手動」、「５００Ｗ」、および、「２分」が含まれている場合、機器機能判定部２３は、機器関連情報に基づき、対象機器は「電子レンジ」であると判定する。さらに、機器機能判定部２３は、対象機能は、「電子レンジ」が有する、「手動モード」、「出力５００Ｗ」、および、「加熱時間２分」であると判定する。
また、例えば、音声認識部２２から出力された発話内容に、「電子レンジ」、「ミルク」、および、「ぬるめ」が含まれている場合、機器機能判定部２３は、機器関連情報に基づき、対象機器は「電子レンジ」であると判定する。さらに、機器機能判定部２３は、対象機能は、「電子レンジ」が有する、「のみものモード」、および、「設定温度５０℃」であると判定する。
また、例えば、音声認識部２２から出力された発話内容に、「ＩＨクッキングヒータ」、「右のコンロ」、および、「中火」が含まれている場合、機器機能判定部２３は、機器関連情報に基づき、対象機器は「ＩＨクッキングヒータ」であると判定する。さらに、機器機能判定部２３は、対象機能は、「ＩＨクッキングヒータ」が有する、「右のコンロ」、および、「火力４」であると判定する。

機器機能判定部２３は、対象機器と１つ以上の対象機能とを対応付けた機器機能情報を作成し、作成した機器機能情報を、機器制御装置１に送信する。
上述の例でいうと、機器機能判定部２３は、「電子レンジ」の情報と、「手動モード」、「出力５００Ｗ」および「加熱時間２分」の情報とを対応付けた機器機能情報を作成し、機器制御装置１に送信する。または、機器機能判定部２３は、「電子レンジ」の情報と、「のみものモード」および「設定温度５０℃」の情報とを対応付けた機器機能情報を作成し、機器制御装置１に送信する。または、機器機能判定部２３は、「ＩＨクッキングヒータ」の情報と、「右のコンロ」および「火力４」の情報とを対応付けた機器機能情報を作成し、機器制御装置１に送信する。

なお、実施の形態１では、図１に示すように、音声認識辞書ＤＢ２４および機器機能ＤＢ２５は、音声操作装置２に備えられるものとするが、これは一例に過ぎない。音声認識辞書ＤＢ２４および機器機能ＤＢ２５は、音声操作装置２の外部の、音声操作装置２が参照可能な場所に備えられるようにしてもよい。

次に、機器制御装置１の構成例について説明する。
機器制御装置１は、図１に示すように、機器機能情報取得部１１と、手順判定部１２と、操作コマンド送信制御部１３と、手順ＤＢ１４を備える。
機器機能情報取得部１１は、音声操作装置２から送信された機器機能情報を取得する。
機器機能情報取得部１１は、取得した機器機能情報を、手順判定部１２に出力する。

手順判定部１２は、機器機能情報取得部１１が取得した機器機能情報に基づき、手順ＤＢ１４を参照して、１つ以上の対象機能を、ユーザが手動操作で実行させる場合の、当該対象機能を実行させるための１回以上の操作および当該１回以上の操作の順番を判定する。

手順ＤＢ１４には、家電機器３毎に、家電機器３が有する機能と、ユーザが手動操作で家電機器３に対して当該機能を実行させる場合に行う操作および当該操作の順番が対応付けられて定義された、手順情報が記憶されている。手順情報は、予め作成され、手順ＤＢ１４に記憶されているものとする。
ここで、図３は、実施の形態１において、手順ＤＢ１４に記憶されている手順情報の一例を説明するための図である。
なお、図３に示す手順情報は、家電機器３毎に、機能を実行させる操作の順番に、当該操作が定義されているものとしているため、操作の順番の情報は省略しているが、手順情報において、機能を実行させる操作の内容に当該操作の順番を付与するようにしてもよい。
図３に示すように、手順情報では、機能に対応して同じ操作が複数回繰り返される場合は、当該複数回繰り返される操作が、１つにまとめられて定義されている。
図３に示す手順情報の手順操作手順では、機能に対して、初期値からみて何回操作すればよいかが定義されている。後述する手順判定部１２は、図３に示すような手順情報に基づき、初期値からみて、機器機能情報に基づく機能を実行させるために必要な操作回数を判定する。なお、初期値は、機能毎に予め設定されている。

手順判定部１２は、機器機能情報取得部１１が取得した機器機能情報と、図３に示すような手順情報に基づき、１つ以上の対象機能を実行させるための１回以上の操作の内容および当該１回以上の操作の順番を判定する。
上述の例を用いて、例えば、機器機能情報取得部１１が取得した機器機能情報が「電子レンジ」の情報と、「手動モード」、「出力５００Ｗ」および「加熱時間２分」の情報とを対応付けた機器機能情報であるとする。この場合、手順判定部１２は、「レンジ」ボタン２回→「−（マイナス）」ボタン１回→「分」ボタン２回→「スタート」ボタン１回の順番で操作すると判定する。
すなわち、「電子レンジを使って、手動、５００Ｗ、２分で温めて」という発話音声で指示された機能が、手動操作によって実行される場合、「レンジ」ボタン２回押下→「−（マイナス）」ボタン１回押下→「分」ボタン２回押下→「スタート」ボタン１回押下の操作が実行されると判定されることになる。

なお、手順情報には、各家電機器３において実行される機能の１つとして、最終的な機器の動作の開始を指示する機能（以下「開始機能」という。）が定義されているものとする。ユーザが手動操作で対象機器を動作させる場合、まず、必要な１回以上の操作によって、機器の動作条件を設定するための機能（以下「設定機能」という。）を、当該機器に実行させる。その後、ユーザが最終的に動作の開始を指示するための操作をすると、当該機器が開始機能を実行し、はじめて、設定された条件に基づく動作が開始されることになる。このようなユーザによる手動操作を考慮し、音声操作の場合にも、ユーザの発話により自動的に動作が開始されるようにするため、図３に示す手順情報には、開始機能が定義されているものとする。
ただし、手順情報には必ずしも開始機能が定義されている必要はなく、最終的に動作の実行を開始する指示は、ユーザが別途手動操作で行うようにしてもよい。また、開始機能は、ユーザが動作させる対象機器によっては、定義されていない場合もある。例えば、ユーザがＩＨクッキングヒータを動作させる場合、開始機能が定義されていない場合がある。すなわち、機器機能情報に「ＩＨクッキングヒータ」の情報が含まれる場合、手順情報には、開始機能が定義されていない場合もある。なお、図３では、「ＩＨクッキングヒータ」の場合も開始機能が定義されているものとしている。

手順判定部１２は、機器機能情報に基づき判定した操作の最後に、実行開始を指示する機能に対応する操作を加えるようにする。図３では、電子レンジにおいて、実行開始を指示する機能が「加熱開始」であり、「加熱開始」を実行するための操作は「スタート」ボタンを１回と定義されている。
また、手順情報では、機能ごとに予め決められている初期値から、機能を実行させるために必要な操作が定義されている。具体的には、加熱時間の初期値として、０分００秒が設定されており、０分００秒の状態に対して行う操作と、当該操作によって実行される機能とが対応付けられて定義されている。上述の例でいうと、「加熱時間２分」の機能を実行させるためには、０分００秒の状態から、「分」ボタンを２回押下する操作が必要であるということになる。

手順判定部１２は、判定した１つ以上の機能について、機能毎に、当該機能に対応する１回以上の操作を示す情報（以下「機能別操作回数情報」という。）および当該１回以上の操作の順番を示す情報（以下「順番情報」という。）を操作コマンド送信制御部１３に出力する。具体的には、例えば、手順判定部１２は、機能別操作回数情報毎に、順番情報を付与して、操作コマンド送信制御部１３に出力する。手順判定部１２が操作コマンド送信制御部１３に出力する、機能別操作回数情報に順番情報が付与された情報を、以下、「手動操作手順情報」ともいうものとする。
上述の例でいうと、手順判定部１２は、「レンジ」ボタン２回の機能別操作回数情報に「１番」の順番情報を付与し、「−（マイナス）」ボタン１回の機能別操作回数情報に「２番」の順番情報を付与し、「分」ボタン２回の機能別操作回数情報に「３番」の順番情報を付与し、「スタート」ボタン１回の機能別操作回数情報に「４番」の順番情報を付与した手動操作手順情報を、操作コマンド送信制御部１３に出力する。

また、例えば、機器機能情報取得部１１が取得した機器機能情報が「電子レンジ」の情報と、「のみものモード」、および、「設定温度５０℃」の情報とを対応付けた機器機能情報であるとする。この場合、手順判定部１２は、「レンジ」ボタン３回→「−（マイナス）」ボタン２回→「スタート」ボタン１回の順番で操作すると判定する。
すなわち、「電子レンジを使って、ミルクをぬるめに温めて」という発話音声で指示された機能が、手動操作によって実行される場合、「レンジ」ボタン３回押下→「−（マイナス）」ボタン２回押下→「スタート」ボタン１回押下の操作が実行されると判定されることになる。
手順判定部１２は、「レンジ」ボタン３回の機能別操作回数情報に「１番」の順番情報を付与し、「−（マイナス）」ボタン２回の機能別操作回数情報に「２番」の順番情報を付与し、「スタート」ボタン１回の機能別操作回数情報に「３番」の順番情報を付与した手動操作手順情報を、操作コマンド送信制御部１３に出力する。

また、例えば、機器機能情報取得部１１が取得した機器機能情報が「ＩＨクッキングヒータ」の情報と、「右のコンロ」および「火力４」の情報とを対応付けた機器機能情報であるとする。
機器機能情報に「ＩＨクッキングヒータ」の情報が含まれるので、手順情報には、開始機能が定義されていないことがある。この場合、手順判定部１２は、「右のコンロのロータリーエンコーダ」をＯＮにする→「ロータリーエンコーダ」をプラスへ４回まわす、の順番で操作すると判定する。
すなわち、「ＩＨクッキングヒータを使って、右のコンロを中火にして」という発話音声で指示された機能が、手動操作によって実行される場合、「右のコンロのロータリーエンコーダ」をＯＮにする→「ロータリーエンコーダ」をプラスへ４回まわす操作が実行されると判定されることになる。
手順判定部１２は、「右のコンロのロータリーエンコーダ」をＯＮにする機能別操作回数情報に「１番」の順番情報を付与し、「ロータリーエンコーダ」をプラスへ４回まわす機能別操作回数情報に「２番」の順番情報を付与した手動操作手順情報を、操作コマンド送信制御部１３に出力する。
また、例えば、手順情報に、開始機能が定義されている場合には（図３参照）、手順判定部１２は、「右のコンロのロータリーエンコーダ」をＯＮにする→「ロータリーエンコーダ」をプラスへ４回まわす→「スタート」ボタン１回の順番で操作すると判定する。
すなわち、「ＩＨクッキングヒータを使って、右のコンロを中火にして」という発話音声で指示された機能が、手動操作によって実行される場合、「右のコンロのロータリーエンコーダ」をＯＮにする→「ロータリーエンコーダ」をプラスへ４回まわす→「スタート」ボタン１回押下の操作が実行されると判定されることになる。
手順判定部１２は、「右のコンロのロータリーエンコーダ」をＯＮにする機能別操作回数情報に「１番」の順番情報を付与し、「ロータリーエンコーダ」をプラスへ４回まわす機能別操作回数情報に「２番」の順番情報を付与し、「スタート」ボタン１回の機能別操作回数情報に「３番」の順番情報を付与した手動操作手順情報を、操作コマンド送信制御部１３に出力する。

操作コマンド送信制御部１３は、手順判定部１２から出力された手動操作手順情報に基づき、対象機器である家電機器３に対して、手順判定部１２が判定した操作の順番に従って、操作毎に、操作コマンドを送信する。
操作コマンドは、操作情報を含み、家電機器３に対して、当該操作コマンドに基づき、当該操作コマンドで特定される操作に対応する操作レスポンス出力制御情報を出力させるための情報である。実施の形態１において、操作コマンドに含まれる「操作情報」とは、手動操作手順情報に基づく、具体的な操作の内容を示す情報である。例えば、手動操作手順情報に、「レンジ」ボタン３回という機能別操作回数情報が含まれている場合、当該機能別操作回数情報で示される具体的な操作の内容は、「レンジ」ボタンを押下することである。操作コマンド送信制御部１３は、「レンジ」ボタンを押下する旨の「操作情報」を、操作コマンドに含めるようにする。
操作コマンド送信制御部１３は、各操作コマンドを、予め設定された間隔（第１の間隔）で、送信する。第１の間隔は予め設定されており、０．２秒等、短い間隔である。

上述の例を用いて具体的に説明すると、例えば、「レンジ」ボタン２回の機能別操作回数情報に「１番」の順番情報が付与され、「−（マイナス）」ボタン１回の機能別操作回数情報に「２番」の順番情報が付与され、「分」ボタン２回の機能別操作回数情報に「３番」の順番情報が付与され、「スタート」ボタン１回の機能別操作回数情報に「４番」の順番情報が付与された手動操作手順情報が手順判定部１２から出力されたとする。この場合、操作コマンド送信制御部１３は、「レンジ」ボタンを押下する旨の操作情報を含む操作コマンド、「レンジ」ボタンを押下する旨の操作情報を含む操作コマンド、「−（マイナス）」ボタンを押下する旨の操作情報を含む操作コマンド、「分」ボタンを押下する旨の操作情報を含む操作コマンド、「分」ボタンを押下する旨の操作情報を含む操作コマンド、および、「スタート」ボタンを押下する旨の操作情報を含む操作コマンドの順番で、これらの操作コマンドをそれぞれ、０．２秒間隔で、家電機器３に対して送信する。図４に、各操作コマンドが０．２秒間隔で送信されるイメージを示す。

また、例えば、「レンジ」ボタン３回の機能別操作回数情報に「１番」の順番情報が付与され、「−（マイナス）」ボタン２回の機能別操作回数情報に「２番」の順番情報が付与され、「スタート」ボタン１回の機能別操作回数情報に「３番」の順番情報が付与された手動操作手順情報が手順判定部１２から出力されたとする。この場合、操作コマンド送信制御部１３は、「レンジ」ボタンを押下する旨の操作情報を含む操作コマンド、「レンジ」ボタンを押下する旨の操作情報を含む操作コマンド、「レンジ」ボタンを押下する旨の操作情報を含む操作コマンド、「−（マイナス）」ボタンを押下する旨の操作情報を含む操作コマンド、「−（マイナス）」ボタンを押下する旨の操作情報を含む操作コマンド、および、「スタート」ボタンを押下する旨の操作情報を含む操作コマンドの順番で、これらの操作コマンドをそれぞれ、０．２秒間隔で、家電機器３に対して送信する。各操作コマンドが０．２秒間隔で送信されるイメージを示す図については省略する。

また、例えば、「右のコンロのロータリーエンコーダ」をＯＮにする機能別操作回数情報に「１番」の順番情報が付与され、「ロータリーエンコーダ」をプラスへ４回まわす機能別操作回数情報に「２番」の順番情報が付与された手動操作手順情報が手順判定部１２から出力されたとする。この場合、操作コマンド送信制御部１３は、「右のコンロのロータリーエンコーダ」をＯＮにする旨の操作情報を含む操作コマンド、「ロータリーエンコーダ」をプラスへまわす旨の操作情報を含む操作コマンド、「ロータリーエンコーダ」をプラスへまわす旨の操作情報を含む操作コマンド、「ロータリーエンコーダ」をプラスへまわす旨の操作情報に関する操作コマンド、および、「ロータリーエンコーダ」をプラスへまわす旨の操作情報を含む操作コマンドの順番で、これらの操作コマンドをそれぞれ、０．２秒間隔で、家電機器３に対して送信する。各操作コマンドが０．２秒間隔で送信されるイメージを示す図については省略する。
また、例えば、「右のコンロのロータリーエンコーダ」をＯＮにする機能別操作回数情報に「１番」の順番情報が付与され、「ロータリーエンコーダ」をプラスへ４回まわす機能別操作回数情報に「２番」の順番情報が付与され、「スタート」ボタン１回の機能別操作回数情報に「３番」の順番情報が付与された手動操作手順情報が手順判定部１２から出力されたとする。この場合、操作コマンド送信制御部１３は、「右のコンロのロータリーエンコーダ」をＯＮにする旨の操作情報を含む操作コマンド、「ロータリーエンコーダ」をプラスへまわす旨の操作情報を含む操作コマンド、「ロータリーエンコーダ」をプラスへまわす旨の操作情報を含む操作コマンド、「ロータリーエンコーダ」をプラスへまわす旨の操作情報に関する操作コマンド、「ロータリーエンコーダ」をプラスへまわす旨の操作情報を含む操作コマンド、および、「スタート」ボタンを押下する旨の操作情報を含む操作コマンドの順番で、これらの操作コマンドをそれぞれ、０．２秒間隔で、家電機器３に対して送信する。各操作コマンドが０．２秒間隔で送信されるイメージを示す図については省略する。

なお、操作コマンド送信制御部１３が送信した操作コマンドに基づき、家電機器３において、当該操作コマンドで特定される操作に対応する操作レスポンス出力制御情報を出力する動作の詳細については後述する。
また、実施の形態１では、図１に示すように、手順ＤＢ１４は、機器制御装置１に備えられるものとするが、これは一例に過ぎない。手順ＤＢ１４は、機器制御装置１の外部の、機器制御装置１が参照可能な場所に備えられるようにしてもよい。

次に、家電機器３の構成例について説明する。
家電機器３は、図１に示すように、手動操作受付部３１と、機器制御部３２と、機能実行部３３と、出力部３４を備える。
出力部３４は、表示部３４１と音出力部３４２を備える。
手動操作受付部３１は、手動操作を受け付ける。ユーザは、例えば、家電機器３の入力装置（図示省略）を操作して、当該家電機器３が有する１つ以上の機能を実行させるための操作を行う。手動操作受付部３１は、ユーザが入力装置を用いて行った操作を受け付ける。
例えば、入力装置がタッチパネルである場合、ユーザはタッチパネルをタッチし、手動操作受付部３１は、ユーザがタッチパネルをタッチして行った操作に基づく操作情報を受け付ける。

なお、ユーザが、手動操作によって家電機器３が有するある機能を実行させるために、具体的に行う操作は、図３で定義されている手順情報のとおりの操作である。例えば、ユーザは、電子レンジを使って、手動モード、５００Ｗで、２分間加熱させるための手動操作を行いたいとする。この場合、ユーザは、電子レンジが備える「レンジ」ボタンを２回押下→「−（マイナス）」ボタンを１回押下→「分」ボタンを２回押下→「スタート」ボタン１回押下の順番で操作する。
手動操作受付部３１は、手動操作を受け付けると、その都度、受け付けた操作に関する操作コマンドを作成し、作成した操作コマンドを機器制御部３２に出力する。手動操作受付部３１が出力する操作コマンドの内容は、上述の、操作コマンド送信制御部１３が送信する操作コマンドの内容と同様である。
上述の例でいうと、手動操作受付部３１は、「レンジ」ボタンを押下する旨の操作情報を含む操作コマンド、「レンジ」ボタンを押下する旨の操作情報を含む操作コマンド、「−（マイナス）」ボタンを押下する旨の操作情報を含む操作コマンド、「分」ボタンを押下する旨の操作情報を含む操作コマンド、「分」ボタンを押下する旨の操作情報を含む操作コマンド、および、「スタート」ボタンを押下する旨の操作情報を含む操作コマンドの順番で、これらの操作コマンドをそれぞれ機器制御部３２に対して出力する。

機器制御部３２は、機器制御装置１の操作コマンド送信制御部１３から操作コマンドが送信された場合、送信された操作コマンドを取得し、当該操作コマンドを取得する都度、操作レスポンス出力制御情報を、出力部３４に出力する。また、機器制御部３２は、操作コマンドを取得する都度、機能実行指示を、機能実行部３３に出力する。
また、機器制御部３２は、手動操作受付部３１から操作コマンドが出力された場合も、操作コマンド送信制御部１３から操作コマンドが送信された場合と同様の動作を行う。具体的な動作については、重複した説明を省略する。

機能実行部３３は、機器制御部３２から機能実行指示が出力されると、機能実行指示で指示された家電機器３の機能を実行する。

出力部３４は、機器制御部３２から出力された操作レスポンス出力制御情報に基づく音の出力、または、機器制御部３２から出力された操作レスポンス出力制御情報に基づく情報の表示を行う。
出力部３４の表示部３４１は、ディスプレイ等の表示装置であり、機器制御部３２から出力された操作レスポンス出力制御情報に従って、情報を表示する。
機器制御部３２は、操作コマンドに含まれる操作情報に応じて、表示する情報を変化させる操作レスポンス出力制御情報を出力することができる。

出力部３４の音出力部３４２は、スピーカ等の音声出力装置であり、機器制御部３２から出力された操作レスポンス出力制御情報に従い、音を出力する。
機器制御部３２は、操作コマンドに含まれる操作情報に応じて、出力する音を変化させる操作レスポンス出力制御情報を出力することができる。なお、機器制御部３２は、出力する音を変化させることは必須ではない。機器制御部３２が、出力する音を変化させるかどうかは、対象機器が本来有している機能に応じる。例えば、対象機器が、本来、複数のボタンに対して同じ音を出力する機能を有していれば、機器制御部３２は、操作情報に依らず、同じ音を出力させる操作レスポンス出力制御情報を出力する。一方、例えば、対象機器が、本来、ボタン毎に違う音を出力する機能を有していれば、機器制御部３２は、操作情報に応じて、対象機器が本来出力する音となるよう、出力する音を変化させる操作レスポンス出力制御情報を出力する。実施の形態１では、対象機器は、本来、ボタン毎に違う音を出力する機能を有しているものとして説明する。

表示部３４１が表示する画面の具体的なイメージ、および、音出力部３４２が出力する音の具体的なイメージについては、後述する。

なお、実施の形態１では、図１に示すように、出力部３４は、家電機器３に備えられるものとするが、これは一例に過ぎない。出力部３４は、家電機器３の外部の場所であって、ユーザが、表示または音を確認できる場所に備えられるようにしてもよい。
また、実施の形態１では、図１に示すように、出力部３４は、表示部３４１と音出力部３４２を備えるものとし、表示部３４１はディスプレイとしたが、これに限らない。例えば、表示部３４１は、ＬＥＤ等の発光部（図示省略）としてもよい。その場合、発光部は、機器制御部３２から出力された操作レスポンス出力制御情報に従い、発光する。また、機器制御部３２は、操作コマンドに含まれる操作情報に応じて、発光部の点滅方法を変化させる操作レスポンス出力制御情報を出力することができる。

実施の形態１に係る機器制御装置１の動作について説明する。
図５は、実施の形態１に係る機器制御装置１の動作の一例を説明するためのフローチャートである。
以下、一例として、ユーザは、「電子レンジを使って、手動、５００Ｗ、２分で温めて」と発話し、電子レンジに対して、手動モードで、５００Ｗ、２分間の加熱機能を実行させたものとする。

図５に示す、機器制御装置１の動作が実行されるより前に、音声操作装置２において、ユーザの発話音声に基づいて、対象機器、および、対象機器において実行させる１つ以上の対象機能を判定し、機器機能情報を作成する動作が実行される。
まず、図５に示す機器制御装置１の動作に先だって行われる、音声操作装置２の動作について説明する。
図６は、実施の形態１に係る音声操作装置２の動作の一例を説明するためのフローチャートである。
なお、以下の説明において、機器機能ＤＢ２５には、図２に示したような機器関連情報が記憶されているものとする。

音声取得部２１は、音声入力装置４から、発話音声を取得する（ステップＳＴ６０１）。ここでは、音声取得部２１は、「電子レンジを使って、手動、５００Ｗ、２分で温めて」という発話音声を取得する。
音声取得部２１は、取得した発話音声を、音声認識部２２に出力する。

音声認識部２２は、ステップＳＴ６０１にて音声取得部２１が取得した発話音声を音声認識辞書ＤＢ２４と照合し、発話内容を認識する（ステップＳＴ６０２）。
ここでは、音声認識部２２は、発話音声「電子レンジを使って、手動、５００Ｗ、２分で温めて」について、「電子レンジ」、「手動」、「５００Ｗ」、および、「２分」という発話内容を認識する。
音声認識部２２は、発話内容の認識結果を、機器機能判定部２３に出力する。

機器機能判定部２３は、ステップＳＴ６０２にて音声認識部２２から出力された、発話内容の認識結果を、機器機能ＤＢ２５と照合し、対象機器および１つ以上の対象機能を判定し、機器機能情報を作成する（ステップＳＴ６０３）。
ここでは、機器機能判定部２３は、対象機器は「電子レンジ」であると判定する。さらに、機器機能判定部２３は、対象機能は、「電子レンジ」が有する、「手動モード」、「出力５００Ｗ」、および、「加熱時間２分」であると判定する。
そして、機器機能判定部２３は、「電子レンジ」の情報と、「手動モード」、「出力５００Ｗ」および「加熱時間２分」の情報とを対応付けた機器機能情報を作成する（ステップＳＴ６０３）。

機器機能判定部２３は、ステップＳＴ６０３にて作成した機器機能情報を、機器制御装置１に送信する（ステップＳＴ６０４）。
以上のように、図５に示す機器制御装置１の動作の前に、音声操作装置２による動作が行われる。

続いて、図５を用いて、機器制御装置１の動作について説明する。
なお、以下の説明において、手順ＤＢ１４には、図３に示したような手順情報が記憶されているものとする。

機器機能情報取得部１１は、音声操作装置２から送信された機器機能情報（図６のステップＳＴ６０４参照）を取得する（ステップＳＴ５０１）。
機器機能情報取得部１１は、取得した機器機能情報を、手順判定部１２に出力する。

手順判定部１２は、ステップＳＴ５０１にて機器機能情報取得部１１が取得した機器機能情報に基づき、手順ＤＢ１４を参照して、１つ以上の対象機能を実行させるための１回以上の操作および当該１回以上の操作の順番を判定する（ステップＳＴ５０２）。
ここでは、手順判定部１２は、「電子レンジ」の情報と、「手動モード」、「出力５００Ｗ」および「加熱時間２分」の情報とが対応付けられた機器機能情報に基づき、「レンジ」ボタン２回→「−（マイナス）」ボタン１回→「分」ボタン２回→「スタート」ボタン１回の順番で操作すると判定する。
そして、手順判定部１２は、「レンジ」ボタン２回の機能別操作回数情報に「１番」の順番情報を付与し、「−（マイナス）」ボタン１回の機能別操作回数情報に「２番」の順番情報を付与し、「分」ボタン２回の機能別操作回数情報に「３番」の順番情報を付与し、「スタート」ボタン１回の機能別操作回数情報に「４番」の順番情報を付与した手動操作手順情報を、操作コマンド送信制御部１３に出力する。

操作コマンド送信制御部１３は、ステップＳＴ５０２にて手順判定部１２から出力された手動操作手順情報に基づき、対象機器に対して、手順判定部１２が判定した１回以上の操作の順番に従って、１回以上の操作毎に、第１の間隔で操作コマンドを送信する（ステップＳＴ５０３）。
ここでは、第１の間隔を０．２秒とする。操作コマンド送信制御部１３は、「レンジ」ボタンを押下する旨の操作情報を含む操作コマンド、「レンジ」ボタンを押下する旨の操作情報を含む操作コマンド、「−（マイナス）」ボタンを押下する旨の操作情報を含む操作コマンド、「分」ボタンを押下する旨の操作情報を含む操作コマンド、「分」ボタンを押下する旨の操作情報を含む操作コマンド、および、「スタート」ボタンを押下する旨の操作情報を含む操作コマンドの順番で、これらの操作コマンドをそれぞれ、０．２秒間隔で、電子レンジに対して送信する。

以上のように、機器制御装置１は、音声操作装置２から送信された機器機能情報に基づいて、対象機器が有する１つ以上の対象機能を手動で実行させた場合の操作手順を判定する。そして、機器制御装置１は、判定した操作手順に従って、対象機器に対して、操作毎に、操作コマンドを、設定された間隔で、順次送信する。

対象機器となった家電機器３（ここでは、電子レンジ）では、機器制御装置１から送信された操作コマンドに基づいて、各機能を実行する。また、電子レンジは、機器制御装置１から送信された操作コマンドを受信すると、当該操作コマンドを受信する度に順次、当該操作コマンドで特定される操作に対応する音の出力、または、情報の表示を行う。

図７は、実施の形態１に係る家電機器３の動作の一例を説明するためのフローチャートである。
図７に従って、図６において説明した動作によって機器制御装置１から送信された操作コマンドを受信した電子レンジが、当該操作コマンドに基づいて、各機能を実行する動作を説明する。
なお、電子レンジは、機器制御装置１から操作コマンドを受信する都度、図７に示す動作を行う。

電子レンジは、機器制御装置１の操作コマンド送信制御部１３から操作コマンドが送信されると（図６のステップＳＴ５０２参照）、送信された操作コマンドを取得し、当該操作コマンドを取得する都度、以下に説明する動作を実行する。

機器制御部３２は、操作コマンド送信制御部１３から取得した操作コマンドに基づき、操作レスポンス出力制御情報を、出力部３４に出力する（ステップＳＴ７０１）。

出力部３４の表示部３４１は、ステップＳＴ７０１にて機器制御部３２から出力された操作レスポンス出力制御情報に従って、情報を表示する（ステップＳＴ７０２）。

また、出力部３４の音出力部３４２は、ステップＳＴ７０１にて機器制御部３２から出力された操作レスポンス出力制御情報に従って、音を出力する（ステップＳＴ７０３）。

なお、図７では、ステップＳＴ７０２のあとステップＳＴ７０３が行われるものとしているが、ステップＳＴ７０２とステップＳＴ７０３とは同時に行われることが好ましい。

機器制御部３２は、機能実行指示を、機能実行部３３に出力する（ステップＳＴ７０４）。
機能実行部３３は、ステップＳＴ７０４にて機器制御部３２から出力された機能実行指示を実行する（ステップＳＴ７０５）。
なお、機能実行部３３は、機器制御部３２から設定機能の機能実行指示が出力された場合には、設定機能を実行する。

機能実行部３３は、機器制御部３２から開始機能の機能実行指示が出力された場合には、実行した設定機能に基づき、電子レンジの動作を開始する。ここでは、機能実行部３３は、「手動モードで、５００Ｗ、２分間の加熱機能」の動作を開始する。

ここで、図８は、実施の形態１において、表示部３４１が、操作レスポンス出力制御情報に従って情報を表示させた（ステップＳＴ７０２参照）表示画面のイメージの一例、および、音出力部３４２が、操作レスポンス出力制御情報に従って出力させた音（ステップＳＴ７０３参照）のイメージの一例を説明するための図である。図８では、機能実行部３３が動作を開始するまで、上述のステップＳＴ７０１〜ステップＳＴ７０５の動作が繰り返された場合に、連続して表示される表示画面および連続して出力される音のイメージの一例を、一つにまとめて示している。

ここでは、操作コマンド送信制御部１３からは、０．２秒間隔で、「レンジ」ボタンを押下する旨の操作情報を含む操作コマンド、「レンジ」ボタンを押下する旨の操作情報を含む操作コマンド、「−（マイナス）」ボタンを押下する旨の操作情報を含む操作コマンド、「分」ボタンを押下する旨の操作情報を含む操作コマンド、「分」ボタンを押下する旨の操作情報を含む操作コマンド、および、「スタート」ボタンを押下する旨の操作情報を含む操作コマンドが、順次送信される。

説明の便宜上、機器制御部３２が、上述の順番で取得する各操作コマンドを受けて表示部３４１および音出力部３４２に順次出力する操作レスポンス出力制御情報について、１番目に出力される、「レンジ」ボタンを押下する旨の操作情報を含む操作コマンドに対応する操作レスポンス出力制御情報を、「第１操作レスポンス」という。
また、２番目に出力される、「レンジ」ボタンを押下する旨の操作情報を含む操作コマンドに対応する操作レスポンス出力制御情報を、「第２操作レスポンス」という。
また、３番目に出力される、「−（マイナス）」ボタンを押下する旨の操作情報を含む操作コマンドに対応する操作レスポンス出力制御情報を、「第３操作レスポンス」という。
また、４番目に出力される、「分」ボタンを押下する旨の操作情報を含む操作コマンドに対応する操作レスポンス出力制御情報を、「第４操作レスポンス」という。
また、４番目に出力される、「分」ボタンを押下する旨の操作情報を含む操作コマンドに対応する操作レスポンス出力制御情報を、「第５操作レスポンス」という。
そして、最後に出力される、「スタート」ボタンを押下する旨の操作情報を含む操作コマンドに対応する操作レスポンス出力制御情報を、「第６操作レスポンス」という。

初期画面８００の状態から、第１操作レスポンスが送信されると、表示部３４１は、第１操作レスポンスに従って、「レンジ」ボタンが１回押下された情報を示す画面を表示する（図８の８０１１参照）。具体的には、表示部３４１は、「あたため」モードが選択された状態の画面を表示する。このように、表示部３４１は、操作レスポンス出力制御情報に含まれる操作情報に応じた画面を表示する。なお、機器制御部３２は、操作レスポンス出力制御情報を出力させる際に、操作コマンドに含まれる操作情報を引き継ぎ、当該操作レスポンス出力制御情報に含まれるようにしている。表示部３４１は、操作レスポンス出力制御情報に含まれる操作情報に基づく画面を表示する。また、表示部３４１が、どの操作情報に応じて、どの情報を表示するかは、予め決められている。
音出力部３４２は、第１操作レスポンスに従って、「ピッ」という音を出力する（図８の８０１２参照）。

０．２秒後、機器制御部３２から第２操作レスポンスが送信されると、表示部３４１は、第２操作レスポンスに従って、図８の８０１１の状態から、さらに「レンジ」ボタンが１回押下された情報を示す画面を表示する（図８の８０２１参照）。具体的には、表示部３４１は、「手動」モードが選択された状態の画面を表示する。このとき、表示部３４１は、出力が「６００ｗ」であり、加熱時間が「０分０秒」の情報もあわせて表示させる（後述の図９参照）。なお、出力「６００ｗ」および加熱時間「０分０秒」は電子レンジに予め設定されている初期値である。表示部３４１は、「手動」モードが選択された場合には、当該出力の初期値および加熱時間の初期値を表示させるよう、予め決められている。
また、音出力部３４２は、第２操作レスポンスに従って、「ピッ」という音を出力する（図８の８０２２参照）。

０．２秒後、機器制御部３２から第３操作レスポンスが送信されると、表示部３４１は、第３操作レスポンスに従って、図８の８０２１の状態から、「−（マイナス）」ボタンが１回押下された情報を示す画面を表示する（図８の８０３１参照）。具体的には、出力が「５００ｗ」となった情報を示す画面を表示する。また、音出力部３４２は、第３操作レスポンスに従って、「ピッ」という音を出力する（図８の８０３２参照）。
ここで、第３操作レスポンスの操作情報で特定される操作（「−（マイナス）」ボタン押下）は、第１操作レスポンスおよび第２操作レスポンスの操作情報で特定される操作（「レンジ」ボタン押下）とは異なる。従って、音出力部３４２が第３操作レスポンスに従って出力する音は、音出力部３４２が第１操作レスポンスおよび第２操作レスポンスに従って出力していた音とは異なる。実施の形態１において、音出力部３４２が出力する音が異なる、とは、例えば、音程が異なることをいう。
このように、音出力部３４２は、操作レスポンス出力制御情報に含まれる操作情報に応じて、異なる音を出力する。

０．２秒後、機器制御部３２から第４操作レスポンスが送信されると、表示部３４１は、第４操作レスポンスに従って、図８の８０３１の状態から、「分」ボタンが１回押下された情報を示す画面を表示する（図８の８０４１参照）。具体的には、加熱時間が「１分００秒」となった情報を示す画面を表示する（後述の図９参照）。また、音出力部３４２は、第４操作レスポンスに従って、「ピッ」という音を出力する（図８の８０４２参照）。
ここで、第４操作レスポンスの操作情報で特定される操作（「分」ボタン押下）は、第１操作レスポンスおよび第２操作レスポンスの操作情報で特定される操作（「レンジ」ボタン押下）とも、第３操作レスポンスの操作情報（「−（マイナス）」ボタン押下）とも異なる。従って、音出力部３４２が第４操作レスポンスに従って出力する音は、音出力部３４２が第１操作レスポンスおよび第２操作レスポンスに従って出力していた音とも、第３操作レスポンスに従って出力していた音とも、異なる。

０．２秒後、機器制御部３２から第５操作レスポンスが送信されると、表示部３４１は、第５操作レスポンスに従って、図８の８０４１の状態から、さらに「分」ボタンが１回押下された情報を示す画面を表示する（図８の８０５１参照）。具体的には、加熱時間が「２分００秒」となった情報を示す画面を表示する（後述の図９参照）。また、音出力部３４２は、第５操作レスポンスに従って、「ピッ」という音を出力する（図８の８０５２参照）。
ここで、第５操作レスポンスの操作情報で特定される操作（「分」ボタン押下）は、第４操作レスポンスの操作情報で特定される操作と同じである。従って、音出力部３４２が第５操作レスポンスに従って出力する音は、音出力部３４２が第３操作レスポンスに従って出力していた音と同じ音となる。

０．２秒後、機器制御部３２から第６操作レスポンスが送信されると、表示部３４１は、第６操作レスポンスに従って、図８の８０５１の状態から、「スタート」ボタンが１回押下された状態を示す画面を表示する（図８の８０６１参照）。
第６操作レスポンスが送信された際には、機器制御部３２から機能実行部３３に対して開始機能を指示する機能実行指示が出力され、機能実行部３３が、対象機器の動作を開始する（図７のステップＳＴ７０５）。そこで、表示部３４１は、対象機器の動作状況を示す画面を表示する。具体的には、表示部３４１は、「手動モードで、５００Ｗ、２分間の加熱機能」の動作状況を示す画面を表示する。図８の８０６１では、加熱時間が２分００秒に設定された状態（図８の８０５１参照）から、加熱が開始され、加熱の残り時間が減った状態が表示されていることがわかる。
また、音出力部３４２は、第６操作レスポンスに従って、「ピッ」という音を出力する（図８の８０６２参照）。音出力部３４２が第６操作レスポンスに従って出力する音は、音出力部３４２が第１操作レスポンス〜第５操作レスポンスに従って出力していた音とは異なる音となる。

図９は、実施の形態１において、ユーザが、手動操作によって、電子レンジに対して、手動モードで、５００Ｗ、２分間の加熱機能を実行させた場合に、当該加熱機能が実行されるまでの操作に応じて、表示部３４１が表示する画面、および、音出力部３４２が出力する音のイメージの一例を示す図である。
この場合、実際にユーザが行う操作の流れは、「レンジ」ボタンを１回押下→「レンジ」ボタンを１回押下→「−（マイナス）」ボタンを１回押下→「分」ボタンを１回押下→「分」ボタンを１回押下→「スタート」ボタンを１回押下という流れになる。
説明の便宜上、最初にユーザが「レンジ」ボタンを１回押下する操作を「第１操作」という。次にユーザが「レンジ」ボタンを１回押下する操作を「第２操作」という。次にユーザが「−（マイナス）」ボタンを１回押下する操作を「第３操作」という。次にユーザが「分」ボタンを１回押下する操作を「第４操作」という。次にユーザが「分」ボタンを１回押下する操作を「第５操作」という。そして、最後にユーザが「スタート」ボタンを１回押下する操作を「第６操作」という。

ユーザが第１操作〜第６操作を行うと、手動操作受付部３１は、順次行われた操作を受け付け、機器制御部３２は、都度、第１操作〜第６操作に対応する操作レスポンス出力制御情報を、表示部３４１および音出力部３４２に出力する。
表示部３４１は、機器制御部３２から出力された操作レスポンス出力制御情報に応じて、図９の８０１１〜８０６１に示すような画面を、順次表示する。
また、音出力部３４２は、機器制御部３２から出力された操作レスポンス出力制御情報に応じて、図９の８０１２〜８０６２に示すように、音を、順次出力する。
図９の８０１１〜８０６１に示す画面は、それぞれ、上述の図８の８０１１〜８０６１に示す画面と同じ画面となる。
また、図９の８０１２〜８０６２に示す音は、それぞれ、上述の図８の８０１２〜８０６２に示す音と同じ音となる。

このように、実施の形態１に係る機器制御システム１００において、機器制御装置１は、ユーザが家電機器３を音声操作する場合に、ユーザが手動操作によって家電機器３を操作しているかのような画面表示、および、音の出力を行うことができる。
従来技術では、例えば、ユーザが、電子レンジを５００ｗの出力で２分動作させたい場合、「５００ｗで２分温めて」と発話すると、電子レンジから「ピッ」という反応音が出力され、５００ｗの出力で２分間、加熱動作が実行される。
このように、従来技術では、ユーザが発話によって指示した機能を実行させるために行われた１回以上の操作に対して、電子レンジからは「ピッ」という反応音が１回出力されるのみである。
そのため、ユーザは、電子レンジにおいて、自身が意図したとおりの操作にそれぞれ相当する機能が実行されたかどうかを把握することができない。
例えば、ユーザが、電子レンジを、５００ｗの出力で２分間、加熱動作させたい場合と、７００ｗの出力で８分間、加熱動作させたい場合、手動で当該機能を実行させようとすると、出力の設定および加熱時間の設定のために行う操作回数は異なる。しかし、ユーザが発話音声によって当該機能を実行させようとすると、「５００ｗで２分温めて」と発話した場合も、「７００ｗで８分温めて」と発話した場合も、電子レンジからは同じように「ピッ」という反応音が出力される。その結果、ユーザは、実際に電子レンジに対して、５００ｗの出力で２分間、加熱動作するための操作が行なわれたのか、７００ｗの出力で８分間、加熱動作するための操作が行なわれたのかの違いを把握することができない。また、電子レンジにおいて一瞬で機能が実行されるため、ユーザは、電子レンジで何が起こったかを把握することができない。
このように、従来技術では、ユーザは、手動操作の場合には複数の手動操作を要する１つ以上の機能の実行を一回の発話で指示した際に、家電機器３において、前記複数の手動操作のそれぞれに相当する機能が実行されたことを確認することができなかった。
これに対し、実施の形態１に係る機器制御装置１は、ユーザが、手動操作の場合には複数の手動操作を要する１つ以上の機能の実行を一回の発話で指示した際に、家電機器３において、複数の手動操作のそれぞれに相当する機能が実行されたことを確認することができる。

また、ユーザが家電機器３を音声操作する場合に、手動操作によって家電機器３が操作されているかのような画面表示、および、音の出力が行われることで、ユーザは、自分の代わりに誰か他の人が操作してくれたような感覚を得ることができる。
また、例えば、ユーザは、家電機器３が設置されている場所からは、当該家電機器３の表示部３４１が確認できない程度に離れた場所にいる場合であっても、発話音声に呼応して、ボタンが操作された場合の操作回数と同じ回数だけ出力される音を確認することができる。これにより、ユーザは、手動操作した場合の操作回数と音の出力回数との比較、または、出力された音の音程から、想像したとおりの操作が行われたことを確認することができる。

また、上述のとおり、家電機器３において、手動操作受付部３１から機器制御部３２に出力される操作コマンドの内容と、操作コマンド送信制御部１３から機器制御部３２に送信される操作コマンドの内容は同じである。そのため、家電機器３に対して、当該家電機器３の外部の機器制御装置１から、操作コマンドを受信できる機能を備えるようにするだけで、家電機器３を、ユーザの発話音声に基づく、上述の、家電機器３が有する機能を実行する制御に対応した家電機器３とすることができる。すなわち、すでに存在している家電機器３に対して、コストをかけずに、簡単な作業で、音声操作機能に対応させるようにすることができる。

また、ユーザは、手動で家電機器３のボタンを操作する場合と同じ操作回数だけ出力される画面および音を、短い間隔で確認することになる。その結果、ユーザは、自身が手動で家電機器３のボタンを操作した場合と比べ、短い間隔で高速に操作されている感覚を得ることができ、発話音声によってショートカットで家電機器３の動作制御ができることの利便性を感じることができる。

以上の説明では、機器制御装置１において、操作コマンド送信制御部１３は、操作情報で特定される操作の内容に関わらず、同じ第１の間隔（例えば０．２秒間隔）で、対象機器に対して操作コマンドを送信するものとしていた。
これは一例に過ぎず、操作コマンド送信制御部１３は、操作情報で特定される操作の内容によって、操作コマンドを送信する間隔を変化させることもできる。具体的には、操作コマンド送信制御部１３は、操作情報で特定される操作が同じである操作コマンドを送信する間は、例えば、第１の間隔よりも短いある間隔（例えば第２の間隔）で当該操作コマンドを送信することができる。
以下、具体例をあげて説明する。
なお、以下の説明においても、図５〜図９を用いて動作を説明した際に挙げた一例と同様、ユーザは、「電子レンジを使って、手動、５００Ｗ、２分で温めて」と発話し、電子レンジに対して、手動モードで、５００Ｗ、２分間の加熱機能を実行させたものとする。
以下にあげる具体例では、通常時の間隔として、図５〜図９を用いて動作を説明した一例のように、第１の間隔で操作コマンドを送信するように設定されているが、操作情報で特定される操作が同じである操作コマンドを送信する間は、当該第１の間隔よりも短い第２の間隔で操作コマンドを送信するものとする。

機器制御装置１において、操作コマンド送信制御部１３は、「レンジ」ボタンを押下する旨の操作情報を含む操作コマンド、「レンジ」ボタンを押下する旨の操作情報を含む操作コマンド、「−（マイナス）」ボタンを押下する旨の操作情報を含む操作コマンド、「分」ボタンを押下する旨の操作情報を含む操作コマンド、「分」ボタンを押下する旨の操作情報を含む操作コマンド、および、「スタート」ボタンを押下する旨の操作情報を含む操作コマンドの順番でこれらの操作コマンドを電子レンジに対して送信する際、各操作コマンドを送信する間隔を変化させる。
説明の便宜上、以下、「レンジ」ボタンを押下する旨の操作情報を含む操作コマンドを第１の操作コマンド、「−（マイナス）」ボタンを押下する旨の操作情報を含む操作コマンドを第２の操作コマンド、「分」ボタンを押下する旨の操作情報を含む操作コマンドを第３の操作コマンド、「スタート」ボタンを押下する旨の操作情報を含む操作コマンドを第４の操作コマンドとする。操作コマンド送信制御部１３は、電子レンジに対して、第１の操作コマンド→第１の操作コマンド→第２の操作コマンド→第３の操作コマンド→第３の操作コマンド→第４の操作コマンドの順で、各操作コマンドを送信することになる。
ここで、操作コマンド送信制御部１３は、第１の操作コマンドを送信している間は第２の間隔（例えば、０．１秒）で当該第１の操作コマンドを送信する。そして、操作コマンド送信制御部１３は、第２の操作コマンドを送信する際には、それまで送信していた第１の操作コマンドとは、操作情報で特定される操作が異なり、同じ操作コマンドの送信ではなくなったと判断し、通常時の間隔である第１の間隔をあけて当該第２の操作コマンドを送信する。
次に、操作コマンド送信制御部１３は、第３の操作コマンドを送信するが、当該第３の操作コマンドの操作情報で特定される操作は、第２の操作コマンドの操作情報で特定される操作とは異なる。よって、操作コマンド送信制御部１３は、第１の間隔をあけて当該第３の操作コマンドを送信する。
さらに、操作コマンド送信制御部１３は、第３の操作コマンドを送信する。第３の操作コマンドが連続して送信されることになるので、操作コマンド送信制御部１３は、第２の間隔をあけて当該第３の操作コマンドを送信する。
最後に、操作コマンド送信制御部１３は、第４の操作コマンドを送信する。この場合、操作コマンド送信制御部１３は、第１の間隔をあけて当該第４の操作コマンドを送信する。

操作コマンド送信制御部１３は、直前に送信した操作コマンドと同じ操作情報が含まれる操作コマンドを送信する場合の送信間隔（第２の間隔）は、通常時の間隔として設定された間隔（第１の間隔）よりも、短くなるようにする。

図１０に、実施の形態１において、各操作コマンドが、当該各操作コマンドに含まれる操作情報で示す操作に応じて、異なる間隔で送信されるイメージを示す。
図１０では、一例として、上述の第１の操作コマンド〜第４の操作コマンドが送信される場合のイメージを示している。
また、図１０では、第１の間隔は０．２秒間隔とし、第２の間隔は０．１秒間隔としている。

このように、操作コマンド送信制御部１３は、操作情報で特定される操作の内容によって、操作コマンドを送信する間隔を変化させることができる。具体的には、操作コマンド送信制御部１３は、操作情報で特定される操作が同じ操作コマンドを連続して送信する間は、操作情報で特定される操作が異なる操作コマンドを連続して送信する場合よりも短い間隔で、操作コマンドを送信する。
その結果、対象機器（上述の例では電子レンジ）において、機器制御部３２が操作コマンドを受信する間隔が変化し、機器制御部３２が出力部３４に対して出力する操作レスポンス出力制御情報の出力間隔も変化する。具体的には、機器制御部３２から出力部３４に対して出力される操作レスポンス出力制御情報の出力間隔は、操作コマンド送信制御部１３が対象機器に対して操作コマンドを送信する送信間隔と同じように変化する。
これに伴い、対象機器において、表示部３４１が表示する画面が切り替わる間隔、および、音出力部３４２が音を出力する間隔が、変化する。
対象機器において、同じ操作コマンドが送信されている間は、表示部３４１が表示する画面が切り替わる間隔、および、音出力部３４２が音を出力する間隔は、通常時に比べて短い間隔となるため、表示部３４１からは、グルーピングされたような表示が行われ、音出力部３４２からは、グルーピングされたような音が出力されることになる。

図１１は、実施の形態１において、操作レスポンス出力制御情報の出力間隔が変化する場合に、表示部３４１が、操作レスポンス出力制御情報に従って情報を表示した表示画面のイメージの一例、および、音出力部３４２が、操作レスポンス出力制御情報に従って出力した音のイメージの一例を説明するための図である。
なお、図１１は、上述の例において、機器制御部３２からは、電子レンジに対して、図１０で示したような出力間隔で、操作レスポンスが出力された場合に、表示部３４１が表示した表示画面のイメージの一例、および、音出力部３４２が出力した音のイメージの一例を示している。

図８に示した表示画面のイメージおよび音のイメージでは、８０１１〜８０６１で示す表示画面が表示される間隔、および、８０１２〜８０６２で示す音が出力される間隔は一定であった。
これに対して、ここでは、操作レスポンス出力制御情報の出力間隔が変化するので、図１１に示すように、例えば、８０２１で示す表示画面から８０３１で示す表示画面が表示されるまでの間隔（第１の間隔）は、８０１１で示す表示画面から８０２１で示す表示画面が表示されるまでの間隔（第２の間隔）よりも長い間隔となる。
また、８０４１で示す表示画面から８０５１で示す表示画面が表示されるまでの間隔（第２の間隔）は、８０３１で示す表示画面から８０４１で示す表示画面が表示されるまでの間隔（第１の間隔）よりも短い間隔となる。

また、図１１に示すように、例えば、８０１２で示す音が出力されてから８０２２で示す音が出力されるまでの間隔は、８０２２で示す音が出力されてから８０３２で示す音が出力されるまでの間隔よりも短い。また、８０１２および８０２２で示す音は、８０３２で示す音とは異なる。

このように、機器制御装置１において、操作コマンド送信制御部１３が、操作情報で特定される操作によって、操作コマンドを送信する間隔を変化させることで、ユーザは、手動操作の場合には複数の手動操作を要する１つ以上の機能の実行を一回の発話で指示した際に、連続して同じ操作が行わる場合と、互いに違う操作が連続して行われる場合との区別がつくため、家電機器３における機能実行をより確実に確認することができる。また、ユーザは、実行させる機能の違いを、直感的に感じることができる。

図１２Ａ，図１２Ｂは、実施の形態１に係る機器制御装置１のハードウェア構成の一例を示す図である。
実施の形態１において、機器機能情報取得部１１と、手順判定部１２と、操作コマンド送信制御部１３の機能は、処理回路１２０１により実現される。すなわち、機器制御装置１は、機器機能情報に基づき、家電機器３に対して、１回以上の操作にそれぞれ対応する操作レスポンス出力制御情報を出力させるための操作コマンドを送信する制御を行うための処理回路１２０１を備える。
処理回路１２０１は、図１２Ａに示すように専用のハードウェアであっても、図１２Ｂに示すようにメモリ１２０６に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１２０５であってもよい。

処理回路１２０１が専用のハードウェアである場合、処理回路１２０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。

処理回路１２０１がＣＰＵ１２０５の場合、機器機能情報取得部１１と、手順判定部１２と、操作コマンド送信制御部１３の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、機器機能情報取得部１１と、手順判定部１２と、操作コマンド送信制御部１３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１２０２、メモリ１２０６等に記憶されたプログラムを実行するＣＰＵ１２０５、またはシステムＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路により実現される。また、ＨＤＤ１２０２、またはメモリ１２０６等に記憶されたプログラムは、機器機能情報取得部１１と、手順判定部１２と、操作コマンド送信制御部１３の手順や方法をコンピュータに実行させるものであるとも言える。ここで、メモリ１２０６とは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、またはＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。

なお、機器機能情報取得部１１と、手順判定部１２と、操作コマンド送信制御部１３の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、機器機能情報取得部１１については専用のハードウェアとしての処理回路１２０１でその機能を実現し、手順判定部１２と、操作コマンド送信制御部１３については処理回路がメモリ１２０６に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、手順ＤＢ１４は、メモリ１２０６を使用する。なお、これは一例であって、手順ＤＢ１４は、ＨＤＤ１２０２、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、または、ＤＶＤ等によって構成されるものであってもよい。
また、機器制御装置１は、家電機器３等との通信を行う、入力インタフェース装置１２０３、および、出力インタフェース装置１２０４を有する。

実施の形態１に係る家電機器３も、図１２Ａ，図１２Ｂに一例を示したようなハードウェア構成を有する。
手動操作受付部３１と、機器制御部３２と、機能実行部３３は、機器制御装置１における機器機能情報取得部１１等と同様のハードウェア構成を有する。
また、家電機器３は、表示装置（図１２では図示省略）および音声出力装置（図１２では図示省略）を有する。
表示部３４１は、表示装置であり、音出力部３４２は音声出力装置である。

また、実施の形態１に係る音声操作装置２も、図１２Ａ，図１２Ｂに一例を示したようなハードウェア構成を有する。
音声取得部２１と、音声認識部２２と、機器機能判定部２３は、機器制御装置１における機器機能情報取得部１１等と同様のハードウェア構成を有する。
音声認識辞書ＤＢ２４および機器機能ＤＢ２５は、メモリ１２０６を使用する。なお、これは一例であって、音声認識辞書ＤＢ２４および機器機能ＤＢ２５は、ＨＤＤ１２０２、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、または、ＤＶＤ等によって構成されるものであってもよい。

以上のように、実施の形態１によれば、機器制御装置１を、発話音声に基づいて判定された、対象機器および当該対象機器に実行させる１つ以上の対象機能、が対応付けられた機器機能情報を取得する機器機能情報取得部１１と、機器機能情報取得部１１が取得した機器機能情報に基づき、１つ以上の対象機能を実行させるための１回以上の手動操作および当該１回以上の手動操作の順番を判定する手順判定部１２と、手順判定部１２が判定した１回以上の手動操作の順番に従って、１回以上の手動操作毎に、対象機器に対して、当該１回以上の手動操作にそれぞれ対応する操作レスポンス出力制御情報を出力させるための操作コマンドを順次送信する操作コマンド送信制御部１３と備えるように構成した。そのため、ユーザは、家電機器３において、手動操作の場合には複数の手動操作を要する１つ以上の機能の実行を一回の発話で指示した際に、前記複数の手動操作のそれぞれに相当する機能が実行されたことを確認することができる。

また、機器制御装置１は、１回以上の手動操作が、互いに内容が同じ複数の手動操作、および、互いに内容の異なる複数の手動操作を含む場合、操作コマンド送信制御部１３は、互いに内容の同じ複数の手動操作に対応する操作コマンドを連続して送信する場合の当該操作コマンドの送信間隔と、互いに内容の異なる複数の手動操作に対応する操作コマンドを連続して送信する場合の当該操作コマンドの送信間隔とを、互いに異なる送信間隔とすることができるようにした。そのため、ユーザは、手動操作の場合には複数の手動操作を要する１つ以上の機能の実行を一回の発話で指示した際に、連続して同じ操作が行わる場合と、互いに違う操作が連続して行われる場合との区別がつくため、家電機器３における機能実行をより確実に確認することができる。また、ユーザは、実行させる機能の違いを、直感的に感じることができる。

実施の形態２．
実施の形態１では、機器制御装置１において、手順判定部１２は、機器機能情報に基づき、手順ＤＢ１４を参照して、１つ以上の対象機能を実行させるための１回以上の操作を判定するようにしていた。すなわち、手順判定部１２は、機能ごとに予め決められている初期値からみて、機器機能情報に基づく機能を実行させるために必要な操作回数を判定するようにしていた。
実施の形態２では、手順判定部１２は、現在の家電機器３の状態を考慮して、機器機能情報に基づく機能を実行させるために必要な操作回数を判定するようにする実施の形態について説明する。

図１３は、実施の形態２に係る機器制御装置１ａを備えた機器制御システム１００ａの構成の一例を説明する図である。
機器制御システム１００ａの構成は、実施の形態１において図１を用いて説明した機器制御システム１００の構成と同様である。
実施の形態２では、機器制御システム１００ａに備えられる機器制御装置１ａおよび家電機器３ａの構成が、実施の形態１の機器制御システム１００に備えられる機器制御装置１および家電機器３の構成とは異なる。
以下、機器制御装置１ａおよび家電機器３ａについて、実施の形態１における機器制御装置１および家電機器３とは異なる構成についてのみ説明し、実施の形態１における機器制御装置１および家電機器３と同様の構成については、同じ符号を付して重複した説明を省略する。
なお、機器制御装置１ａおよび家電機器３ａのハードウェア構成は、実施の形態１に係る機器制御装置１および家電機器３のハードウェア構成と同様であるため、重複した説明を省略する。機器制御装置１ａの機器状態取得部１５（後述する）は、機器機能情報取得部１１と同様のハードウェア構成を有する。また、家電機器３ａの状態情報収集部３５（後述する）は、機器制御部３２と同様のハードウェア構成を有する。

機器制御装置１ａは、機器状態取得部１５を備える。
機器状態取得部１５は、家電機器３ａから、現在の、当該家電機器３ａの状態に関する情報を取得する。実施の形態２において、家電機器３ａの状態に関する情報とは、設定機能を実行したことによる家電機器３ａの設定状態、または、開始機能を実行した後の動作中の家電機器３ａの状態等をいう。具体的には、例えば、家電機器３ａが、加熱動作中のＩＨクッキングヒータである場合、現在の火力の設定情報は、ＩＨクッキングヒータの状態に関する情報である。また、例えば、家電機器３が、冷房動作中のエアコンである場合、冷房モードである旨の設定情報は、エアコンの状態に関する情報である。
以下、現在の、家電機器３ａの状態に関する情報を、「機器状態情報」という。

実施の形態２において、手順判定部１２ａは、音声操作装置２から取得した機器機能情報と、機器状態取得部１５が取得した機器状態情報とに基づき、手順ＤＢ１４を参照して、１つ以上の対象機能を実行させるための１回以上の操作および当該１回以上の操作の順番を判定する。
例えば、ユーザが、現在、火力３で加熱動作中のＩＨクッキングヒータの右のコンロに対して、火力５にあげるため、「右のコンロの火力を火力５にして」と発話したとする。
この場合、音声操作装置２からは、対象機器である「ＩＨクッキングヒータ」の情報と、対象機能である「右のコンロ」および「火力５」の情報とが対応付けられた機器機能情報が送信される。音声操作装置２の具体的な動作は、実施の形態１で説明済であるため、重複した説明を省略する。
手順判定部１２ａは、上述の機器機能情報を取得する。
また、手順判定部１２ａは、機器状態取得部１５を介して、ＩＨクッキングヒータから、現在の火力について、火力３であることを示す機器状態情報を取得する。

手順判定部１２ａは、機器機能情報と機器状態情報とに基づき、対象機器の対象機能について、実際には、どのような機能を実行させれば、機器機能情報で指示された対象機能を実行させることになるかを判定する。上述の例でいうと、機器状態情報に基づく、ＩＨクッキングヒータの現在の火力は火力３であり、機器機能情報に基づく対象機能は、火力５である。この場合、手順判定部１２ａは、火力３と火力５との差分に基づき、現在の火力から火力を２上げると、機器機能情報で示された対象機能を実行させることになると判定できる。よって、手順判定部１２ａは、実際に実行させる機能は、「ＩＴクッキングヒータ」に対する、「右のコンロ」、および、「火力２」上げる、であると判定する。

そして、手順判定部１２ａは、実際に実行させると判定した機能に基づき、手順ＤＢ１４を参照して、「ＩＨクッキングヒータ」に対して、「右のコンロ」の火力を「火力２」上げる手動操作を行った場合の、操作および当該操作の順番を判定する。
手順判定部１２ａが、手順ＤＢ１４を参照して、操作および当該操作の順番を判定する具体的な動作については、実施の形態１で説明した手順判定部１２の具体的な動作と同様であるため、重複した説明を省略する。
手順判定部１２ａは、手順ＤＢ１４に開始機能が定義されていない場合は、「右のコンロのロータリーエンコーダ」をＯＮにする→「ロータリーエンコーダ」をプラスへ２回まわす、の順番で操作すると判定する。そして、手順判定部１２ａは、「右のコンロのロータリーエンコーダ」をＯＮにする機能別操作回数情報に「１番」の順番情報を付与し、「ロータリーエンコーダ」をプラスへ４回まわす機能別操作回数情報に「２番」の順番情報を付与した手動操作手順情報を、操作コマンド送信制御部１３に出力する。なお、手順ＤＢ１４には、実施の形態１で図３を用いて説明したような手順情報が記憶されているものとしている。ただし、この場合、図３に示す手順情報について、「ＩＨクッキングヒータ」に対応する機能として、「開始」は定義されていない。
また、手順判定部１２ａは、手順ＤＢ１４に開始機能が定義されている場合は、「右のコンロのロータリーエンコーダ」をＯＮにする→「ロータリーエンコーダ」をプラスへ２回まわす→「スタート」ボタンを１回の順番で操作すると判定する。そして、手順判定部１２ａは、「右のコンロのロータリーエンコーダ」をＯＮにする機能別操作回数情報に「１番」の順番情報を付与し、「ロータリーエンコーダ」をプラスへ４回まわす機能別操作回数情報に「２番」の順番情報を付与し、「スタート」ボタン１回の機能別操作回数情報に「３番」の順番情報を付与した手動操作手順情報を、操作コマンド送信制御部１３に出力する。なお、手順ＤＢ１４には、実施の形態１で図３を用いて説明したような手順情報が記憶されているものとしている。

別の例を挙げると、例えば、ユーザが、現在、設定温度２５℃で動作中のエアコンに対して、設定温度を下げるため、「エアコンを２３℃にして」と発話したとする。
この場合、音声操作装置２からは、対象機器である「エアコン」の情報と、対象機能である「２３℃」の情報とが対応付けられた機器機能情報が送信される。音声操作装置２の具体的な動作は、実施の形態１で説明済みであるため、重複した説明を省略する。なお、実施の形態１において図２で説明した機器関連情報では、エアコンに対応する機器および機能の情報の記載を省略している。
手順判定部１２ａは、上述の機器機能情報を取得する。
また、手順判定部１２ａは、エアコンから、設定温度が２５℃であることを示す機器状態情報を取得する。

手順判定部１２ａは、機器状態情報に基づく、エアコンの現在の設定温度は２５℃であり、機器機能情報に基づく対象機能は、２３℃であると判定する。この場合、手順判定部１２ａは、２５℃と２３℃との差分に基づき、現在の設定温度から設定温度を２℃下げると、機器機能情報に基づく対象機能を実行させることになると判定できる。よって、手順判定部１２ａは、実際に実行させる機能は、「エアコン」に対する、「マイナス２℃」であると判定する。

次に、手順判定部１２ａは、実際に実行させると判定した機能に基づき、手順ＤＢ１４を参照して、「エアコン」に対して、「マイナス２℃」とする手動操作を行った場合の、操作および当該操作の順番を判定する。
実施の形態１において図３を用いて説明した手順情報では記載を省略しているが、手順判定部１２ａは、手順ＤＢ１４を参照して、「マイナスの温度設定ボタンを２回」を押下する操作を判定する。そして、手順判定部１２ａは、「マイナスの温度設定ボタンを２回」押下する機能別操作回数情報に「１番」の順番情報を付与した手動操作手順情報を、操作コマンド送信制御部１３に出力する。

図１３の説明に戻る。
家電機器３ａは、状態情報収集部３５を備える。
状態情報収集部３５は、機器状態情報を収集する。
状態情報収集部３５は、収集した機器状態情報を機器制御装置１ａに送信する。
なお、状態情報収集部３５は、例えば、現在の家電機器３の状態について、常時、機器状態情報を収集し、機器制御装置１ａに送信するようすればよい。また、例えば、機器制御装置１ａの機器状態取得部１５が、状態情報収集部３５に対して、機器状態情報要求を送信するようにし、状態情報収集部３５は、機器状態情報要求を受信した場合に、当該機器状態情報要求で要求された機器状態情報を収集し、機器状態取得部１５に返信するようにしてもよい。

ここで、図１４は、例えば、ＩＨクッキングヒータにおいて火力を火力３から火力５へ変更する場合の、実施の形態１における機器制御装置１の動作と、実施の形態２における機器制御装置１ａの動作の違いのイメージを説明するための図である。図１４Ａは、実施の形態１において、ＩＨクッキングヒータの火力を火力３から火力５へ変更した場合の機器制御装置１ａの動作のイメージを示しており、図１４Ｂは、実施の形態２において、ＩＨクッキングヒータの火力を火力３から火力５へ変更した場合の機器制御装置１ａの動作のイメージを示している。

実施の形態１では、手順判定部１２は、手順ＤＢ１４を参照し、常に初期値からみた操作回数を判定するようにしていた。例えば、上述の例でいうと、実施の形態１では、手順判定部１２は、火力０から、ロータリーエンコーダをプラスへ５回まわすという操作を判定することになる。ＩＨクッキングヒータでは、右のロータリーエンコーダを現在の火力３から、一旦火力０に戻し、火力０から火力５まで火力を増加させる機能を実行させることになる（図１４Ａ参照）。

これに対し、実施の形態２では、手順判定部１２ａは、機器状態情報を取得し、現在の対象機器の状態を考慮して、実際には、どのような機能を実行させれば、機器機能情報に基づく対象機能を実行させることになるかを判定する。その結果、上述の例でいうと、手順判定部１２ａは、現在の火力から、ロータリーエンコーダをプラスへ２回まわすという操作を判定する。ＩＨクッキングヒータでは、右のロータリーエンコーダの現在の火力３から、火力を２だけ増加させる機能を実行させることになる（図１４Ｂ参照）。

これにより、機器制御装置１ａは、少ない手順および短い時間で、上述の判定動作、および、操作コマンド送信制御部１３による対象機器に対する操作コマンドの送信処理を行うことができる。
また、ユーザは、対象機器に対して、「もう少し○○して」、または、「△△だけ××して」等、現在の対象機器の状態からの差分を指示する発話音声によっても、対象機能を実行させることができるようになる。
例えば、ユーザは、ＩＨクッキングヒータに対して、「もう少し火力を強めて」、または、「ひとつ火力を弱くして」といった発話音声によって、ＩＨクッキングヒータのコンロの火力を、現在の火力から、設定された火力だけ大きくする動作、または、ＩＨクッキングヒータのコンロの火力を現在の火力から１段階だけ弱くした火力とする制御を実行させることができる。
また、例えば、ユーザは、エアコンに対して、「少し冷房をゆるめて」といった発話音声によって、エアコンの設定温度を、現在の設定温度から、設定された温度だけ高くする制御を実行させることができる。

実施の形態２に係る機器制御システム１００ａにおける、機器制御装置１ａおよび家電機器３ａの動作について説明する。
図１５は、実施の形態２に係る機器制御装置１ａの動作を説明するためのフローチャートである。
図１５のステップＳＴ１５０１およびステップＳＴ１５０５の具体的な動作は、それぞれ、実施の形態１において図５を用いて説明した、ステップＳＴ５０１およびステップＳＴ５０３の具体的な動作と同様であるため、重複した説明を省略する。

手順判定部１２ａは、家電機器３から、機器状態情報を取得する（ステップＳＴ１５０２）。
なお、ステップＳＴ１５０１とステップＳＴ１５０２の順番は逆であってもよいし、同時であってもよい。

手順判定部１２ａは、ステップＳＴ１５０１にて音声操作装置２から取得した機器機能情報と、ステップＳＴ１５０２にて取得した機器状態情報とに基づき、対象機器の対象機能について、実際には、どのような機能を実行させれば、機器機能情報に基づく対象機能を実行させることになるかを判定する（ステップＳＴ１５０３）。
そして、手順判定部１２ａは、ステップＳＴ１５０３にて実際に実行させると判定した機能に基づき、手順ＤＢ１４を参照して、対象機器に対して、実際に実行させると判定した機能を実行させる手動操作を行った場合の、操作および当該操作の順番を判定する（ステップＳＴ１５０４）。

実施の形態２に係る機器制御システム１００ａにおける家電機器３ａの動作について説明する。
家電機器３ａでは、実施の形態１において図７を用いて説明した動作に加え、状態情報収集部３５が、機器状態情報を収集する動作を行う。
状態情報収集部３５は、収集した機器状態情報を機器制御装置１ａに送信する。

以上のように、実施の形態２によれば、機器制御装置１ａを、実施の形態１に係る機器制御装置１の構成に加え、対象機器の状態に関する情報を取得する機器状態取得部１５を備え、手順判定部１２ａは、機器状態取得部１５が取得した状態に関する情報と、機器機能情報とに基づき、１つ以上の対象機能を実行させるための１回以上の操作および当該１回以上の操作の順番を判定するように構成した。そのため、機器制御装置１ａは、少ない手順および短い時間で、上述の判定動作、および、操作コマンド送信制御部１３による家電機器３ａに対する操作コマンドの送信処理を行うことができる。
また、ユーザは、対象機器に対して、「もう少し○○して」、または、「△△だけ○○して」等、現在の対象機器の状態からの差分を指示する発話音声によっても、対象機器に対して対象機能を実行させることができるようになる。

なお、以上の実施の形態１および実施の形態２では、対象機器を家電機器３，３ａとしたが、対象機器は家電機器３，３ａに限らない。例えば、工場に設置された機器、スマートフォン、または、車載機器等、ユーザが手動で操作することが可能なあらゆる機器を対象機器とすることができる。ユーザが手動で操作するとは、ユーザがリモコンを用いて操作することも含む。

また、以上の実施の形態１および実施の形態２では、図１および図１３に示すように、機器制御システム１００，１００ａにおいて、機器制御装置１，１ａ、音声操作装置２、家電機器３，３ａ、音声入力装置４、および、音声出力装置５をそれぞれ独立した装置として説明したが、これは一例に過ぎない。
例えば、機器制御装置１，１ａは、家電機器３，３ａに搭載されるものであってもよい。また、例えば、機器制御装置１，１ａと、音声操作装置２とが、同じ装置に搭載されるものであってもよい。また、音声入力装置４および音声出力装置５は、家電機器３，３ａに搭載されているものであってもよい。また、上述のとおり、音声入力装置４と音声出力装置５とがスマートスピーカに備えられるものであってもよい。

また、例えば、機器制御システム１００，１００ａにおいて、機器制御装置１，１ａが備える操作コマンド送信制御部１３の機能を、家電機器３，３ａが備えるようにしてもよい（図１６参照）。なお、図１６は、実施の形態１に係る機器制御システム１００において、機器制御装置１が備える操作コマンド送信制御部１３の機能を、家電機器３が備えるようにした場合の構成例を示している。

また、例えば、機器制御装置１，１ａと音声操作装置２は、宅内のネットワークに接続されるものであってもよいし、機器制御装置１，１ａ、または、機器制御装置１，１ａと音声操作装置２が宅外のサーバに備えられ、宅内の家電機器３，３ａと通信するものであってもよい。

また、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

この発明に係る機器制御装置は、ユーザが、手動操作の場合には複数の手動操作を要する１つ以上の機能の実行を一回の発話で指示した際に、当該機器において、前記複数の手動操作のそれぞれに相当する機能が実行されたことを確認することができるように構成したため、例えば、発話音声に基づいて自身が有する機能を実行することが可能な家電機器に対して、当該発話音声に基づく機能を実行させる制御を行う機器制御装置に適用することができる。

１，１ａ 機器制御装置、２ 音声操作装置、３，３ａ 家電機器、４ 音声入力装置、５ 音声出力装置、１１ 機器機能情報取得部、１２，１２ａ 手順判定部、１３ 操作コマンド送信制御部、１４ 手順ＤＢ、１５ 機器状態取得部、２１ 音声取得部、２２ 音声認識部、２３ 機器機能判定部、２４ 音声認識辞書ＤＢ、２５ 機器機能ＤＢ、３１ 手動操作受付部、３２ 機器制御部、３３ 機能実行部、３４ 出力部、３４１ 表示部、３４２ 音出力部、３５ 状態情報収集部、１００，１００ａ 機器制御システム、１２０１ 処理回路、１２０２ ＨＤＤ、１２０３ 入力インタフェース装置、１２０４ 出力インタフェース装置、１２０５ ＣＰＵ、１２０６ メモリ。

Claims (14)

1. 発話音声に基づいて機器を制御する機器制御装置であって、
   前記発話音声に基づいて判定された、対象機器および当該対象機器に実行させる１つ以上の対象機能、が対応付けられた機器機能情報を取得する機器機能情報取得部と、
   前記機器機能情報取得部が取得した機器機能情報に基づき、前記１つ以上の対象機能を実行させるための１回以上の手動操作および当該１回以上の手動操作の順番を判定する手順判定部と、
   前記手順判定部が判定した前記１回以上の手動操作の順番に従って、前記１回以上の手動操作毎に、前記対象機器に対して、当該１回以上の手動操作にそれぞれ対応する操作レスポンス出力制御情報を出力させるための操作コマンドを順次送信する操作コマンド送信制御部
   とを備えた機器制御装置。
2. 前記１回以上の手動操作が、互いに内容が同じ複数の手動操作、および、互いに内容の異なる複数の手動操作を含む場合、
   前記操作コマンド送信制御部は、前記互いに内容の同じ複数の手動操作に対応する操作コマンドを連続して送信する場合の当該操作コマンドの送信間隔と、前記互いに内容の異なる複数の手動操作に対応する操作コマンドを連続して送信する場合の当該操作コマンドの送信間隔とを、互いに異なる送信間隔とする
   ことを特徴とする請求項１記載の機器制御装置。
3. 前記互いに内容の同じ複数の手動操作に対応する操作コマンドを連続して送信する場合の当該操作コマンドの送信間隔は、前記互いに内容の異なる複数の手動操作に対応する操作コマンドを連続して送信する場合の当該操作コマンドの送信間隔よりも短い
   ことを特徴とする請求項２記載の機器制御装置。
4. 前記対象機器の状態に関する情報を取得する機器状態取得部を備え、
   前記手順判定部は、
   前記機器状態取得部が取得した前記状態に関する情報と、前記機器機能情報とに基づき、前記１つ以上の対象機能を実行させるための前記１回以上の操作および当該１回以上の操作の順番を判定する
   ことを特徴とする請求項１記載の機器制御装置。
5. 前記機器毎に、当該機器が有する１つ以上の機能と、当該１つ以上の機能を実行させるための１回以上の手動操作とが対応付けられた手順ＤＢを備えた
   ことを特徴とする請求項１記載の機器制御装置。
6. 前記発話音声を取得する音声取得部と、
   前記音声取得部が取得した前記発話音声に基づき、発話内容を認識する音声認識部と、
   前記音声認識部が認識した前記発話内容に基づき、前記発話音声で特定される前記対象機器および当該対象機器に実行させる１つ以上の前記対象機能を判定し、前記対象機器および１つ以上の前記対象機能を対応付けた前記機器機能情報を出力する機器機能判定部を備え、
   前記機器機能情報取得部は、
   前記機器機能判定部が出力した前記機器機能情報を取得する
   ことを特徴とする請求項１記載の機器制御装置。
7. 請求項１から請求項６のうちのいずれか１項記載の機器制御装置と、
   前記操作コマンド送信制御部から送信された前記操作コマンドを取得し、当該操作コマンドを取得する都度、前記操作レスポンス出力制御情報を出力する機器制御部
   とを備えた機器。
8. 前記機器制御部が出力した前記操作レスポンス出力制御情報に従い音を出力する音出力部を備えた
   ことを特徴とする請求項７記載の機器。
9. 前記操作コマンドは、前記１回以上の操作を示す操作情報を含み、
   前記機器制御部は、前記操作情報に応じて、出力する音を変化させる前記操作レスポンス出力制御情報を出力する
   ことを特徴する請求項８記載の機器。
10. 前記機器制御部が出力した前記操作レスポンス出力制御情報に従った情報を表示する表示部を備えた
    ことを特徴とする請求項７記載の機器。
11. 前記操作コマンドは、前記１回以上の操作を示す操作情報を含み、
    前記機器制御部は、前記操作情報に応じて、表示する情報を変化させる前記操作レスポンス出力制御情報を出力する
    ことを特徴する請求項１０記載の機器。
12. 発話音声に基づいて判定された、対象機器および当該対象機器に実行させる１つ以上の対象機能、が対応付けられた機器機能情報を取得する機器機能情報取得部と、
    前記機器機能情報取得部が取得した前記機器機能情報に基づき、前記１つ以上の対象機能を実行させるための１回以上の手動操作および当該１回以上の手動操作の順番を判定する手順判定部を有する機器制御装置と、
    前記機器制御装置によって制御される機器であって、
    前記手順判定部が判定した前記１回以上の手動操作の順番に従って、前記１回以上の手動操作毎に、前記１回以上の操作にそれぞれ対応する操作レスポンス出力制御情報を出力させるための操作コマンドを順次出力する操作コマンド送信制御部と、
    前記操作コマンド送信制御部が出力した前記操作コマンドを取得し、当該操作コマンドを取得する都度、前記操作レスポンス出力制御情報を出力する機器制御部を有する機器
    とを備えた機器制御システム。
13. 発話音声に基づいて機器を制御する機器制御方法であって、
    機器機能情報取得部が、前記発話音声に基づいて判定された、対象機器および当該対象機器に実行させる１つ以上の対象機能、が対応付けられた機器機能情報を取得するステップと、
    手順判定部が、前記機器機能情報取得部が取得した機器機能情報に基づき、前記１つ以上の対象機能を実行させるための１回以上の手動操作および当該１回以上の手動操作の順番を判定するステップと、
    操作コマンド送信制御部が、前記手順判定部が判定した前記１回以上の手動操作の順番に従って、前記１回以上の手動操作毎に、前記対象機器に対して、当該１回以上の手動操作にそれぞれ対応する操作レスポンス出力制御情報を出力させるための操作コマンドを順次送信するステップ
    とを備えた機器制御方法。
14. 発話音声に基づいて機器を制御する機器制御プログラムであって、
    コンピュータを、
    前記発話音声に基づいて判定された、対象機器および当該対象機器に実行させる１つ以上の対象機能、が対応付けられた機器機能情報を取得する機器機能情報取得部と、
    前記機器機能情報取得部が取得した機器機能情報に基づき、前記１つ以上の対象機能を実行させるための１回以上の手動操作および当該１回以上の手動操作の順番を判定する手順判定部と、
    前記手順判定部が判定した前記１回以上の手動操作の順番に従って、前記１回以上の手動操作毎に、前記対象機器に対して、当該１回以上の手動操作にそれぞれ対応する操作レスポンス出力制御情報を出力させるための操作コマンドを順次送信する操作コマンド送信制御部
    として機能させる機器制御プログラム。

Images