JP6053097B2 - 機器操作システム、機器操作装置、サーバ、機器操作方法およびプログラム - Google Patents

Description

本発明は、機器操作装置、サーバ、機器操作システム、機器操作方法およびプログラムに関する。

家電製品の多くにはリモートコントローラが付属している。ユーザは、このリモートコントローラを操作することにより、家電機器に対して直接操作することなく、遠隔操作により所望の動作を行わせることができる。
その一方で、例えば洗濯や料理の作業を中断することなく他の家電機器を操作したいという要望がある。しかし、リモートコントローラによる遠隔操作では、リモートコントローラを操作するために作業を中断する必要がある。

近年において、音声認識の精度が向上してきている。そこで、この音声認識を用いて機器をコントロールできるようにすれば、作業を中断することなく機器を遠隔操作できる。
そこで、機器を遠隔操作する音声認識システムとして以下のものが知られている。つまり、この音声認識システムにおいては、発話音声データから抽出された音声特徴量を携帯電話器から通信ネットワークを介して音声認識機能を備えた認証・認識サーバに送信する。認証・認識サーバは、受信した音声特徴量に基づいて発話音声データの音声内容を認識する。そして、認証・認識サーバは、認識した音声内容が被制御機器に対する指示音声であった場合、その指示音声内容を認識し、対応する制御信号を通信ネットワークを介して被制御機器に送信するというものである（例えば、特許文献1参照）。

特開２００６−２０３９００号公報

しかし、上記特許文献１に記載の構成では、ユーザが操作のための音声を入力する装置に携帯電話器を利用している。このため、ユーザは、機器の遠隔操作に際して発話音声データを送信させるための操作を携帯電話器に行い、かつ、携帯電話器に向かって発話する必要がある。したがって、特許文献１では、これまでに行っていた作業が中断されてしまうという問題は解決されていない。

そこでこの発明は、ユーザがこれまでに行っていた作業を中断することなく、音声によって的確に機器の遠隔制御が行えるようにすることを目的とする。

本発明は、上述の課題を解決すべくなされたもので、本発明の一態様としての機器操作システムは、機器操作装置と生体情報解析サーバとを備え、前記機器操作装置は、自己または他の機器操作装置が制御対象とする機器のいずれかを操作するための生体情報を入力する生体情報入力部と、入力された生体情報の内容を含む生体情報データを生成する生体情報処理部と、前記生体情報データを前記生体情報解析サーバに送信するとともに、前記生体情報解析サーバから送信されたコマンドを受信する第１の通信部と、受信したコマンドに応答した動作が実行されるように自己が制御対象とする機器を制御する機器制御部とを備え、前記生体情報解析サーバは、前記生体情報データを受信するとともに、前記コマンドを送信する第２の通信部と、受信した生体情報データを解析する解析部と、前記生体情報データを解析することにより認識された生体情報の内容に基づいて、コマンド内容と操作対象機器を判定するコマンド判定部と、判定されたコマンド内容に応じた前記コマンドを生成し、生成した前記コマンドを、前記操作対象機器を制御対象とする前記機器操作装置に対して前記第２の通信部により送信させるコマンド生成部とを備える。

また、本発明の一態様としての機器操作装置は、自己または他の機器操作装置が制御対象とする機器のいずれかを操作するための生体情報を入力する生体情報入力部と、入力された生体情報の内容を含む生体情報データを生成する生体情報処理部と、前記生体情報データを生体情報解析サーバに送信するとともに、前記生体情報解析サーバから送信されたコマンドを受信する通信部と、受信したコマンドに応答した動作が実行されるように自己が制御対象とする機器を制御する機器制御部とを備える。

また、本発明の一態様としてのサーバは、機器操作装置が入力した生体情報に基づいて生成した生体情報データを前記機器操作装置から受信するとともに、コマンドを送信する通信部と、受信した生体情報データを解析する解析部と、前記生体情報データを解析することにより認識された生体情報の内容に基づいて、コマンド内容と操作対象機器を判定するコマンド判定部と、判定されたコマンド内容に応じた前記コマンドを生成し、生成した前記コマンドを、前記操作対象機器を制御対象とする前記機器操作装置に対して前記通信部により送信させるコマンド生成部とを備える。

また、本発明の一態様としての機器操作方法は、機器操作装置と生体情報解析サーバとを備える機器操作システムにおける機器操作方法であって、前記機器操作装置は、自己または他の機器操作装置が制御対象とする機器のいずれかを操作するための生体情報を入力する生体情報入力ステップと、入力された生体情報の内容を含む生体情報データを生成する生体情報処理ステップと、前記生体情報データを前記生体情報解析サーバに送信するとともに、前記生体情報解析サーバから送信されたコマンドを受信する第１の通信ステップと、受信したコマンドに応答した動作が実行されるように自己が制御対象とする機器を制御する機器制御ステップとを備え、前記生体情報解析サーバは、前記生体情報データを受信するとともに、前記コマンドを送信する第２の通信ステップと、受信した生体情報データを解析する解析ステップと、前記生体情報データを解析することにより認識された生体情報の内容に基づいて、コマンド内容と操作対象機器を判定するコマンド判定ステップと、判定されたコマンド内容に応じた前記コマンドを生成し、生成した前記コマンドを、前記操作対象機器を制御対象とする前記機器操作装置に対して前記第２の通信ステップにより送信させるコマンド生成ステップとを備える。

また、本発明の一態様としてのプログラムは、コンピュータに、自己または他の機器操作装置が制御対象とする機器のいずれかを操作するための生体情報を入力する生体情報入力ステップと、入力された生体情報の内容を含む生体情報データを生成する生体情報処理ステップと、前記生体情報データを生体情報解析サーバに送信するとともに、前記生体情報解析サーバから送信されたコマンドを受信する通信ステップと、受信したコマンドに応答した動作が実行されるように自己が制御対象とする機器を制御する機器制御ステップとを実行させるためのものである。

また、本発明の一態様としてのプログラムは、コンピュータに、機器操作装置が入力した生体情報に基づいて生成した生体情報データを前記機器操作装置から受信するとともに、コマンドを送信する通信ステップと、受信した生体情報データを解析する解析ステップと、前記生体情報データを解析することにより認識された生体情報の内容に基づいて、コマンド内容と操作対象機器を判定するコマンド判定ステップと、判定されたコマンド内容に応じた前記コマンドを生成し、生成した前記コマンドを、前記操作対象機器を制御対象とする前記機器操作装置に対して前記通信ステップにより送信させるコマンド生成ステップとを実行させるためのものである。

本発明によれば、ユーザがこれまでに行っていた作業を中断することなく、音声によって的確に機器の遠隔制御が行えるという効果が得られる。

本発明の第１の実施形態における機器操作システムの構成例を示す図である。 第１の実施形態における機器操作装置の構成例を示す図である。 本実施形態における音声解析サーバ、ジェスチャ解析サーバの構成例を示す図である。 第１の実施形態における機器管理情報の内容例を示す図である。 第１の実施形態におけるコマンド管理情報の内容例を示す図である。 第１の実施形態の機器操作装置における音声情報処理部が実行する処理手順例を示す図である。 第１の実施形態の機器操作装置における音声情報処理部が実行する処理手順の変形例を示す図である。 第１の実施形態における音声解析サーバが実行する処理手順例を示す図である。 第２の実施形態における機器操作システムの構成例を示す図である。 第２の実施形態における機器のグループ管理を説明するための図である。 第３の実施形態における機器操作システムの構成例を示す図である。 第４の実施形態における機器操作装置の構成例を示す図である。 第４の実施形態における機器操作装置の変形例を示す図である。

［第１の実施形態］
図１は、本発明における第１の実施形態としての機器操作システムの構成例を示している。この図に示す機器操作システムは、家屋１におけるエアコンディショナ１００−１、テレビジョン受像機１００−２、機器操作装置２００−１、２００−２およびルータ３００を備える。また、機器操作システムは、音声解析サーバ（生体情報解析サーバ）４００を備える。

エアコンディショナ１００−１は、家屋１において備えられる家電機器であり、本実施形態の機器操作システムにおいて操作対象機器の１となるものである。テレビジョン受像機１００−２も、家屋１において備えられる家電機器であり、本実施形態の機器操作システムにおいて操作対象機器となるものの１つである。
なお、以降において、エアコンディショナ１００−１とテレビジョン受像機１００−２とについて特に区別しない場合には、機器１００と記載する。

機器操作装置２００−１は、エアコンディショナ１００−１を操作するための装置であり、エアコンディショナ１００−１と所定方式のインターフェースを介して接続されている。また、機器操作装置２００−１は、ルータ３００からインターネットなどのネットワークを経由して音声解析サーバ４００と通信可能に接続される。

また、機器操作装置２００−２は、テレビジョン受像機１００−２を操作するための装置であり、テレビジョン受像機１００−２と所定方式のインターフェースを介して接続されている。また、機器操作装置２００−１は、ルータ３００からネットワークを経由して音声解析サーバ４００と通信可能に接続される。
なお、以降において、機器操作装置２００−１と２００−２とで特に区別しない場合には、機器操作装置２００と記載する。

ルータ３００は、家屋１内の機器操作装置２００と音声解析サーバ４００をネットワーク経由で通信可能とするための中継器である。

音声解析サーバ４００は、操作対象の機器１００を遠隔操作するために、機器操作装置２００からルータ３００経由で受信した音声情報データをコマンドコードに変換して、操作対象の機器１００に接続された機器操作装置２００に対して送信する。

同じ図１を参照して、第１の実施形態の情報処理システムにおける機器１００に対する遠隔操作のための動作例について説明する。
ここで、家屋１のユーザ２は、エアコンディショナ１００−１の温度を２８度に変更したいと思っているものとする。そこで、ユーザ２は、例えば「２８度。」と声を発する。
機器操作装置２００−１と２００−２は、周囲音を収音するマイクロフォンを備えている。上記のようにユーザ２から発せられた発話音声（生体情報）は、機器操作装置２００−１と２００−２のうち、ユーザ２の近くに位置している側が備えるマイクロフォンにより収音される。あるいは、機器操作装置２００−１と２００−２とユーザ２の距離に大きな差が無いような場合には、機器操作装置２００−１と２００−２の両方のマイクロフォンにより発話音声が収音される。

発話音声を収音した機器操作装置２００は、収音した音声信号について例えば所定形式の圧縮音声信号に変換するとともにメタデータを付加することで、音声情報データ（生体情報データ）を生成する。なお、メタデータとしては、例えば、その機器操作装置２００が備えられる家屋、部屋に対応する識別子などとなる。これらの情報は、例えば、ユーザの操作などによって機器操作装置２００に記憶されている。

音声解析サーバ４００は、受信した音声情報データを解析することで、この音声情報データが含む音声信号における発話音声の成分について音声認識を行う。これにより、発話音声の内容が認識される。そして、この発話内容の認識結果を利用して、音声解析サーバ４００は、発話内容が示す操作対象機器とコマンド内容とを判定する。この場合、発話内容は「２８度。」であるので、音声解析サーバ４００は、操作対象機器がエアコンディショナ１００−１であると判定し、コマンド内容が設定温度を２８度にすることであると判定する。このように、コマンド内容とは、発話により指示された操作の内容のことである。
音声解析サーバ４００は、判定したコマンド内容に応じたコマンドコードを生成し、このコマンドコードを、同じく判定した操作対象機器に接続される機器操作装置２００を送信先として指定して送信する。具体的に、この場合の音声解析サーバ４００は、設定温度を２８度とすることを指示するコマンドコードを、エアコンディショナ１００−１に接続された機器操作装置２００−１を送信先として指定して送信する。

機器操作装置２００−１は、受信したコマンドコードをエアコンディショナ１００−１に送信する。エアコンディショナ１００−１は、このコマンドコードの受信に応答して設定温度を２８度に変更する。
本実施形態では、このように、ユーザが音声を発して指示を行うことにより機器１００を遠隔操作することができる。本実施形態において、機器操作装置２００は、家屋１において対応の機器１００とともに固定的に配置された状態でユーザの発話音声を収音する。つまり、ユーザ２は、家屋１において操作のための音声を単に発話すればよく、携帯電話を改めて持つようなことをしなくともよい。これにより、ユーザ２は、エアコンディショナ１００−１を操作するにあたり、それまでに行っていた作業を中断する必要が無い。

図２は、第１の実施形態における機器操作装置２００の構成例を示している。この図に示す機器操作装置２００は、マイクロフォン（生体情報入力部）２１０、音声情報処理部（生体情報処理部）２２０、通信部２３０および機器制御部２４０を備える。

マイクロフォン２１０は、周囲の音声を収音する。つまり、マイクロフォン２１０は、自己または他の機器操作装置２００が制御対象とする操作対象機器のいずれかを操作するための生体情報として音声を入力する。

音声情報処理部２２０は、マイクロフォン２１０により収音（入力）された音声（生体情報）の内容を含む音声情報データ（生体情報データ）を生成する。また、音声情報処理部２２０は、予め定められた所定の操作開始予告信号を入力した後における一定時間内に入力した生体情報に基づいて前記生体情報データを生成する。

音声情報処理部２２０は、発話音声成分抽出部２２１、形式変換部２２２、メタデータ記憶部２２３および音声情報データ生成部２２４を備える。
マイクロフォン２１０が収音した音声には、発話音声以外の周囲音も含まれている。発話音声成分抽出部２２１は、マイクロフォン２１０により収音された音声信号から発話音声を抽出する。この抽出にあたって、発話音声成分抽出部２２１は、例えば発話音声に特有の周波数特性の情報などを利用して音声信号をフィルタリングする。
形式変換部２２２は、抽出された発話音声成分の音声信号について、例えば圧縮符号化などを施して所定形式の音声データに変換する。
メタデータ記憶部２２３は、例えば機器操作装置２００を識別するための機器操作操装置ＩＤや、機器操作装置２００が配置されている家屋や部屋に対応するグループＩＤなどをはじめとする所定のメタデータを記憶する。
音声情報データ生成部２２４は、形式変換部２２２による変換後の音声データに対してメタデータ記憶部２２３から読み出したメタデータを付加することにより、音声情報データを生成する。

機器操作装置２００において、通信部（第１の通信部）２３０は、音声情報データ生成部２２４により生成された音声情報データを、この図では示していないルータ３００からネットワークを経由して音声解析サーバ４００に対して送信する。また、通信部２３０は、音声解析サーバ４００から送信されたコマンドコードを受信する。

機器制御部２４０は、通信部２３０により受信されたコマンドコードにしたがって、自己と接続された制御対象の機器１００を制御する。例えば機器制御部２４０は、通信部２３０にて受信されたコマンドコードを、必要に応じて機器１００に適合する形式に変換して機器１００に送信する。機器１００は、機器制御部２４０から受信したコマンドコードに応答した動作を実行する。

図３は、音声解析サーバ４００の構成例を示している。この図に示す音声解析サーバ４００は、重複受信対応処理部４１０、解析部４２０、コマンド判定部４３０、コマンド生成部４４０、機器管理情報４５０、コマンド管理情報４６０および通信部４７０(第２の通信部)を備える。

本実施形態では、同じ部屋に設置される複数の機器操作装置２００にて同じ発話音声を収音して同じ内容の音声情報データを送信する可能性がある。この場合において、音声解析サーバ４００側で同じ音声情報データを複数回処理することは処理負荷を増加させる。また、同じ操作指示内容の音声情報データに基づいて同じコマンドが送信されてしまうと、機器１００の動作もユーザの意図に沿わなくなるなど、安定した遠隔操作の阻害要因となる可能性がある。
上記のような不具合回避のために、重複受信対応処理部４１０は、複数の機器操作装置２００から同じ発話音声の音声情報データを受信した場合に、１つの音声情報データのみを遠隔操作に利用すべきものとして選別する。
このために、重複受信対応処理部４１０は、今回受信された音声情報データ（生体情報データ）と、過去の一定時間内に通信部４７０により受信された音声情報データを比較した結果が一致している場合、今回受信された音声情報データを破棄する。

解析部４２０は、通信部４７０にて受信された音声情報データについて解析を行う。解析部４２０は、解析結果として、音声情報データに含まれる発話音声の内容とメタデータの内容を認識する。

コマンド判定部４３０は、解析部４２０により認識された発話音声の内容に基づき、ユーザ２が意図する操作に応じたコマンド内容と操作対象機器を判定する。この際、コマンド判定部４３０は、機器管理情報４５０とコマンド管理情報４６０とを利用する。

コマンド生成部４４０は、コマンド判定部４３０により判定されたコマンド内容のコマンドコード（コマンド）を生成する。そして、コマンド生成部４４０は、生成したコマンドコードを、判定された操作対象機器に接続される機器操作装置２００を送信先として指定して通信部４７０に送信させる。

通信部４７０は、機器操作装置２００から送信された音声情報データを受信する。また、コマンド生成部４４０により生成されたコマンドコードを機器操作装置２００に対して送信する。

図４は、音声解析サーバ４００が記憶する機器管理情報４５０の構造例を示している。機器管理情報４５０は、機器１００を一意に識別する機器ＩＤに対して、機種ＩＤ、機器操作装置ＩＤ、機器操作装置アドレス、メイングループＩＤおよびサブグループＩＤを対応付けた構造を有する。

機器ＩＤは、機器１００を一意に識別する識別子である。
機種ＩＤは、対応付けされた機器ＩＤの機器１００についての機種を一意に特定する識別子である。
機器操作装置ＩＤは、対応付けされた機器ＩＤの機器１００に接続される機器操作装置２００を一意に識別する識別子である。
機器操作装置アドレスは、ネットワーク上で機器操作装置２００に割り当てられたアドレス（ＩＰアドレス）を示す。

メイングループＩＤは、対応付けされた機器ＩＤの機器１００が属するメイングループを一意に識別する識別子である。なお、メイングループは、例えば、家屋あるいは家族ごとに対応する。つまり、同じメイングループＩＤに対応付けられる機器ＩＤの機器１００は、同じ家屋に設置されていることを示す。
サブグループＩＤは、対応付けされた機器ＩＤの機器１００が属するサブグループを一意に識別する識別子である。なお、サブグループは、例えば、家屋（あるいは家族）における部屋ごとに対応する。つまり、同じサブグループＩＤに対応付けられる機器ＩＤの機器１００は、同じ部屋に設置されていることを示す。

図５は、コマンド管理情報４６０の構造例を示している。コマンド管理情報４６０は、同図に示すように、機種ＩＤとコマンドセットとを対応付けた情報である。コマンドコードは、機器１００の機種ごとに異なるセットを有する。１つのコマンドセットは、コマンドコードとコマンド内容と発話音声内容とを対応付けた構造を有する。

コマンド判定部４３０は、例えば、認識された発話音声内容に対応付けられたコマンド内容をコマンド管理情報４６０から検索することにより、コマンド内容を判定する。また、コマンド判定部４３０は、判定したコマンドコードに対応付けられている機種ＩＤをコマンド管理情報４６０から認識し、さらに認識した機種ＩＤに対応付けられている機器ＩＤを機器管理情報４５０から認識する。コマンド判定部４３０は、このように認識した機器ＩＤを、制御対象機器として判定する。

具体的に、発話音声内容が「２８度」というものであると認識された場合、コマンド判定部４３０は、コマンド管理情報４６０から、この「２８度」の発話音声内容を含むコマンドセットを検索する。コマンド判定部４３０は、この検索したコマンドセットに含まれるコマンド内容を認識する。また、コマンド判定部４３０は、コマンド管理情報４６０において検索したコマンドセットに対応付けられている機種ＩＤを認識する。この場合には、エアコンディショナ１００−１の機種の機種ＩＤが認識される。
次に、コマンド判定部４３０は、認識した機種ＩＤと、受信した音声情報データのメタデータに含まれていた機器操作装置ＩＤを含むレコードを機器管理情報４５０から検索し、このレコードにおける機器ＩＤを操作対象機器として認識する。具体的に、この場合のコマンド判定部４３０は、エアコンディショナ１００−１の機器ＩＤを認識する。
コマンド判定部４３０は、このように認識したコマンド内容と機器ＩＤを判定結果とする。

コマンド生成部４４０は、コマンド判定部４３０により判定されたコマンド内容に対応するコマンドコードをコマンド管理情報４６０から認識し、この認識したコマンドコードを生成する。

図６フローチャートは、機器操作装置２００における音声情報処理部２２０が実行する処理手順例を示している。
発話音声成分抽出部２２１は、マイクロフォン２１０から入力される音声信号から発話音声成分を抽出するための処理を実行しながら、発話音声成分が抽出されるのを待機している（ステップＳ１０１−ＮＯ）。そして、発話音声成分が抽出されると（ステップＳ１０１−ＹＥＳ）、形式変換部２２２は、抽出された発話音声成分の音声信号を所定形式の音声データに変換する（ステップＳ１０２）。
次に、音声情報データ生成部２２４は、ステップＳ１０２による変換後の音声データにメタデータを付加するなどして音声情報データを生成し（ステップＳ１０３）、この生成した音声情報データを通信部２３０により音声解析サーバ４００へ送信させる（ステップＳ１０４）。

図７のフローチャートは、音声情報処理部２２０が実行する処理手順の変形例を示している。
この変形例では、ユーザ２は、遠隔操作のための音声を発する前のタイミングで、操作開始を予告する操作開始予告情報を機器操作装置２００に入力する。具体例として、ユーザ２は、操作開始情報の入力として、手を叩いて音を出すようにする。機器操作装置２００のマイクロフォン２１０はこの手を叩いた音を入力する。発話音声成分抽出部２２１は、発話音声に加えて、この手を叩いた音の成分についても抽出する。

発話音声成分抽出部２２１は、マイクロフォン２１０から入力される音声信号から手を叩いた音の成分を抽出する処理を実行しながら、この手を叩いた音の成分が抽出されるのを待機している。つまり、発話音声成分抽出部２２１は、操作開始予告情報が入力されるのを待機している（ステップＳ２０１−ＮＯ）。

そして、発話音声成分抽出部２２１は、操作開始予告情報が入力されるのに応じて（ステップＳ２０１−ＹＥＳ）、この操作開始予告情報が入力されたタイミングから一定時間が経過するまでの間に（ステップＳ２０２−ＮＯ）、発話音声成分が抽出されるのを待機している（ステップＳ２０３−ＮＯ）。

発話音声成分が抽出されないまま一定時間が経過した場合（ステップＳ２０２−ＹＥＳ）、発話音声成分抽出部２２１は、ステップＳ１０１に戻る。
これに対して、一定時間が経過するまでの間に発話音声が抽出された場合は（ステップＳ２０３−ＹＥＳ）、ステップＳ２０４からＳ２０６の処理が実行される。ステップＳ２０４からＳ２０６の処理は、図６のステップＳ１０２からＳ１０４と同様である。

例えば、家屋１においてテレビジョン受像機１００−２から番組の音声が出力されていたり、ユーザ２以外の人が存在しているような状況を考えた場合、マイクロフォン２１０が収音する発話音声成分は、遠隔操作のためのものであるとは限らない。
そこで、変形例におけるユーザ２は、遠隔操作のための行為として、まず操作開始予告のために手を叩き、それから一定時間後に操作のための発話音声を発するようにする。図７の処理によれば、音声情報処理部２２０は、操作開始予告として手を叩いてから一定時間後に発せられた発話音声のみを、音声情報データとして生成して音声解析サーバ４００に送信することができる。これにより、操作目的以外で発せられた発話音声を音声情報データであると誤認して遠隔操作のための処理を実行してしまう可能性が低くなる。なお、操作開始予告として、手を叩く以外に、例えば、チャイムやベルなどを鳴らすようにしてもよい。また、特定の機器にある特定のボタンを押すもしくは、特定の言葉、例えば「操作開始」等の発言を操作開始予告としてもよい。

図８は、音声解析サーバ４００が実行する処理手順例を示している。まず、通信部４７０は、機器操作装置２００から音声情報データが送信されるのに応じて、この音声情報データを受信する（ステップＳ３０１）。

重複受信対応処理部４１０は、ステップＳ３０１により今回受信された音声情報データと、この今回の音声情報データの受信タイミングから過去の一定時間以内に受信された音声情報データの内容を比較する（ステップＳ３０２）。このとき、重複受信対応処理部４１０は、例えば音声情報データ情報のビット配列パターンを比較すればよい。また、一定時間については、機器操作装置２００が音声を入力して音声情報データを生成するまでの処理時間の誤差などを考慮して、例えば３秒程度に設定される。
そして、重複受信対応処理部４１０は、ステップＳ３０２による比較結果に基づき、今回の音声情報データと過去の一定時間以内に受信された音声情報データとで一致したものがあるか否かについて判定する（ステップＳ３０３）。

一致したものがあると判定した場合（ステップＳ３０３―ＹＥＳ）、重複受信対応処理部４１０は、今回受信された音声情報データを破棄する（ステップＳ３１５）。
する（ステップＳ３０３）。
これに対して、一致したものがないと判定した場合（ステップＳ３０３−ＮＯ）、解析部４２０は、今回受信した音声情報データを解析する（ステップＳ３０４）。この解析の結果に基づき、解析部４２０は、音声情報データに含まれる音声データについて、発話音声であるか否かを判定する（ステップＳ３０５）。発話音声ではないと判定した場合(ステップＳ３０５−ＮＯ)、解析部４２０は、今回受信された音声情報データを破棄する（ステップＳ３１５）。
なお、コマンド判定部４３０は、発話音声であると判定した場合に（ステップＳ３０５−ＹＥＳ）、その発話音声の内容を認識する。また、解析部４２０は、解析の結果として、音声情報データに含まれるメタデータの内容を認識する。

発話音声であると判定した場合（ステップＳ３０５−ＹＥＳ）、解析部４２０によっては、音声情報データに含まれていた発話音声とメタデータの内容が認識されている。そこで、この場合のコマンド判定部４３０は、解析部４２０の認識結果を利用して、前述のように、コマンド内容と操作対象機器を判定する（ステップＳ３０６）。
ただし、ユーザが操作とは関係の無い内容を発話して、この発話音声の音声情報データが送信されたような場合には、機器管理情報４５０から音声情報データの発話音声に該当するコマンドセットを検索することができない。このような場合のあることに応じて、コマンド判定部４３０は、判定結果として、認識された発話音声内容に対応するコマンドセットがコマンド管理情報４６０から検索されたか否かについて判定する（ステップＳ３０７）。

コマンドセットが検索されなかった場合（ステップＳ３０７−ＮＯ）、コマンド判定部４３０は、今回判定対象とした音声情報データを廃棄する（ステップＳ３１５）。
一方、コマンドセットが検索された場合（ステップＳ３０７−ＹＥＳ）、コマンド判定部４３０は、操作対象機器として判定した機器１００が、音声情報データ送信元の機器操作装置２００が設置された家屋１に存在するか否かについて判定する（ステップＳ３０８）。
このために、コマンド判定部４３０は、ステップＳ３０６により判定した操作対象機器の機器ＩＤを含む機器管理情報４５０のレコードにおけるメイングループＩＤが、受信した音声情報データのメタデータに含まれていたメイングループＩＤと一致しているか否かを判定する。メイングループＩＤは、家屋に対応するので、メイングループＩＤが一致していれば、音声情報データ送信元の家屋に存在していることになる。
操作対象機器が存在していないと判定した場合（ステップＳ３０８−ＮＯ）、コマンド判定部４３０は、今回受信した音声情報データを廃棄する（ステップＳ３１５）。

一方、認識した操作対象機器が存在している場合（ステップＳ３０８−ＹＥＳ）、コマンド判定部４３０は、ステップＳ３０６により判定された操作対象機器が１つのみであるか否かについて判定する（ステップＳ３０９）。例えば、発話音声が不明瞭であったりする場合、コマンド判定部４３０は、ステップＳ３０６において、複数機種の操作対象機種を判定する場合がある。

判定された操作対象機器が複数であった場合（ステップＳ３０９−ＮＯ）、コマンド判定部４３０は、操作対象機器を１つに絞り込むための候補提示情報を生成し、この候補提示情報を、音声情報データ送信元の機器操作装置２００に対して送信する（ステップＳ３１３）。候補提示情報は、コマンド判定部４３０がステップＳ３０６により判定した複数の操作対象機器を選択候補として提示する情報である。

候補提示情報を受信した機器操作装置２００は、例えば選択候補の操作対象機器の名称を提示するとともに機器の選択を促す音声を出力する。例えば、機器操作装置２００は、「エアコンディショナとテレビジョン受像機が候補です。正しい装置の名前を言ってください」などのように音声出力を行う。
これを聴いたユーザは、例えば選択した操作対象機器の名称を音声で発する。機器操作装置２００は、この発話音声を含む選択通知を生成し、音声解析サーバ４００に対して送信する。音声解析サーバ４００において、この選択通知は、重複受信対応処理部４１０、解析部４２０を介してコマンド判定部４３０に受け渡される。コマンド判定部４３０は、この選択通知が示す操作対象機器を最終的な判定結果とする（ステップＳ３１４）。

また、コマンド判定部４３０は、やはり発話音声が不明瞭であったような場合に、ステップＳ３０６において複数のコマンド内容を判定してしまう場合がある。そこで、コマンド判定部４３０は、ステップＳ３０６により判定されたコマンド内容が１つのみであるか否かについて判定する（ステップＳ３１０）。
判定されたコマンド内容が複数であった場合（ステップＳ３１０−ＮＯ）、コマンド判定部４３０は、コマンド内容を１つに絞り込むための候補提示情報を生成し、この候補提示情報を、音声情報データ送信元の機器操作装置２００に対して送信する（ステップＳ３１３）。この後、コマンド判定部４３０は、候補提示情報の送信に応じて機器操作装置２００から返送された選択通知が示す操作対象機器を最終的な判定結果とする（ステップＳ３１４）。なお、ステップＳ３０６により判定されたコマンド内容が１つのみであると判定された場合には、コマンド判定部４３０により、最終的に各１つのコマンド内容と操作対象機器が判定されている。

このような処理によりコマンド判定部４３０は、最終的に各１つのコマンド内容と操作対象機器とを判定する。これに応じて、コマンド生成部４４０は、判定されたコマンド内容に対応付けられているコマンドコードをコマンド管理情報４６０におけるコマンドセットから読み出すことにより、コマンドコードを生成する（ステップＳ３１１）。そして、コマンド生成部４４０は、生成したコマンドコードを、判定した操作対象機器に接続された機器操作装置２００に対して送信する（ステップＳ３１２）。この際、コマンド生成部４４０は、機器管理情報４５０において操作対象機器の機器ＩＤに対応付けられている機器操作装置アドレス（ＩＰアドレス）を読み込み、このＩＰアドレスを宛先として指定する。

［第２の実施形態］
図９を参照して第２の実施形態の遠隔操作例について説明する。
図９に示す家屋１においては、２つの部屋Ｒ１とＲ２が示される。部屋Ｒ１には、ユーザ２が存在し、また、エアコンディショナ１００−１と、このエアコンディショナ１００−１と接続された機器操作装置２００−１が設置される。また、部屋Ｒ２には、エアコンディショナ１００−３と、このエアコンディショナ１００−３と接続された機器操作装置２００−３が設置される。部屋Ｒ２においてユーザは不在である。なお、第２の実施形態において、機器操作装置２００と音声解析サーバ４００の構成は、それぞれ、図２、図３と同様でよい。

部屋Ｒ１においてユーザ２は、遠隔操作のために、「この部屋は暑い」、「部屋Ｒ２は電源オフ」と音声を発したとする。機器操作装置２００は、この発話音声の音声データの音声情報データを音声解析サーバ４００に送信する。

この音声情報データを受信した音声解析サーバ４００におけるコマンド判定部４３０は、「この部屋は暑い」の発話音声内容とコマンド管理情報４６０の発話音声内容とを照合することで、コマンド内容はエアコンディショナの設定温度を現在より下げる指示であると判定する。また、コマンド判定部４３０は、操作対象機器が、部屋Ｒ１において備えられるエアコンディショナ１００−１であると判定する。

そして、上記のようにコマンド内容と操作対象機器を判定したのに応じて、音声解析サーバ４００におけるコマンド生成部４４０は、エアコンディショナ１００−１の設定温度を現在の設定値から所定値低下させるためのコマンドコードを生成する。そして、この生成したコマンドコードを機器操作装置２００−１に送信する。
また、コマンド生成部４４０は、エアコンディショナ１００−３の電源をオフとするためのコマンドコードを生成し、機器操作装置２００−２に送信する。
これにより、部屋Ｒ１におけるエアコンディショナ１００−１の設定温度が所定値低くなるように変更され、部屋Ｒ２におけるエアコンディショナ１００−３は、電源をオンからオフに切り替えて動作を停止する。

このように、第２実施形態において、ユーザ２は、自身が存在している部屋の機器１００だけではなく、自身が存在していない部屋の機器１００についても遠隔操作を行える。

このような遠隔操作を実現するために、音声解析サーバ４００は、機器管理情報４５０におけるサブグループＩＤの情報を利用する。図１０を参照してサブグループの概念について説明する。
図１０において、家屋６０１には、６つの機器Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆが設置されている。この家屋６０１において、部屋６１１−１には２つの機器Ａ、Ｂが設置され、部屋６１１−２には２つの機器Ｃ、Ｄが設置される。また、機器Ｅ、Ｆは、例えば設置場所が特定できない携帯機器である。
また、家屋６０２には、６つの機器Ｇ、Ｈ、Ｉ、Ｊ、Ｋ、Ｌが設置されている。この家屋６０２において、部屋６２１−１には２つの機器Ｇ、Ｈが設置され、部屋６２１−２には２つの機器Ｉ、Ｊが設置される。また、機器Ｋ、Ｌは、例えば設置場所が特定できない携帯機器である。

家屋６０１にはメイングループ１が割り当てられ、家屋６０２にはメイングループ２が割り当てられる。このようにメイングループは、例えば家屋ごとに対応して区分されるグループである。
メイングループ１において、部屋６１１−１にはサブグループ１が割り当てられ、部屋６１１−２にはサブグループ２が割り当てられる。したがって、サブグループ１には、機器Ａ、Ｂが対応付けられ、サブグループ２には機器Ｃ、Ｄが対応付けられる。
また、メイングループ２において、部屋６２１−１にはサブグループ４が割り当てられ、部屋６２１−２にはサブグループ５が割り当てられる。したがって、サブグループ４には、機器Ｃ、Ｄが対応付けられ、サブグループ５には機器Ｉ、Ｊが対応付けられる。

なお、サブグループは上記のように部屋ごとに対応して区分されるグループであるが、例えば、部屋６１１におけるサブグループ３のように、携帯用の機器Ｅの所有者であるユーザと、例えばこのユーザが主に使用する部屋６１１−１の機器Ｂとを含めてサブグループを設定してもよい。部屋６２１におけるサブグループ６も、携帯用の機器Ｋの所有者であるユーザと、このユーザが主に使用する部屋６２１−１の機器Ｈとを含めてサブグループを設定している。また、部屋６１１の機器Ｆと、部屋６２１の機器Ｌのように、どのサブグループにも属さない機器があってもよい。

そして、上記のように設定されたメイングループとサブグループには、それぞれ、個々を一意に識別するメイングループＩＤとサブグループＩＤが付与される。
図１０の例では、メイングループ１とメイングループ２に付与されたメイングループＩＤについて、それぞれ、「ＭＧ１」、「ＭＧ２」と表している。また、メイングループ１におけるサブグループ１、２、３に付与されたサブグループＩＤについては、それぞれ、「ＳＧ１１」、「ＳＧ１２」、「ＳＧ１３」と表している。また、メイングループ２におけるサブグループ３、４、５に付与されたサブグループＩＤについては、それぞれ「ＳＧ１４」、「ＳＧ１５」、「ＳＧ１６」と表している。
また、機器Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉ、Ｊ、Ｋ、Ｌの機器ＩＤについては、それぞれ、「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」、「Ｅ」、「Ｆ」、「Ｇ」、「Ｈ」、「Ｉ」、「Ｊ」、「Ｋ」、「Ｌ」と表している。
図４の機器管理情報４５０に例示した内容には、この図１０に示すグループ設定が反映されている。

なお、図示は省略するが、本実施形態の音声解析サーバ４００は、設定されたメイングループＩＤごとに例えばユーザが登録した家屋（または家族）の名称を対応付けたメイングループ管理情報を記憶する。また、設定されたサブグループＩＤごとに部屋の名称を対応付けたサブグループ管理情報を記憶する。これらの情報を利用することで、本実施形態では、ユーザが部屋名を指示して行う発話音声に応答して遠隔操作を行うことが可能になる。

前述のように、コマンド判定部４３０は、「この部屋は暑い」の発話音声内容とコマンド管理情報４６０の発話音声内容とを照合することで、コマンド内容はエアコンディショナの設定温度を現在より下げる指示であると判定する。
また、図９により説明したようにユーザ２が音声を発したのに応じて、コマンド判定部４３０は、音声情報データのメタデータに含まれる機器操作装置ＩＤを含むレコードを機器管理情報４５０から抽出する。この抽出されたレコードにおける機器ＩＤとサブグループＩＤにより、操作対象機器がエアコンディショナ１００−１であり、その設置された部屋が部屋Ｒ１であることが認識される。

さらに、コマンド判定部４３０は、「部屋Ｒ２は電源オフ」の発話内容とコマンド管理情報４６０の発話音声内容とを照合することで、コマンド内容は電源のオフであると認識する。また、操作対象機器については、部屋Ｒ２におけるエアコンディショナ１００−３であると認識する。この操作対象機器の認識にあたり、コマンド判定部４３０は、電源オフ対象の機器１００が部屋Ｒ２に設置されていることを認識する必要がある。この場合には、前述のように、サブグループと部屋の名称を対応付けて管理するテーブルを参照すればよい。コマンド判定部４３０は、部屋Ｒ２のサブグループＩＤに対応付けられた機器ＩＤを抽出することで、部屋Ｒ２に設置された操作対象がエアコンディショナ１００−３であることを認識できる。

上記のようにコマンド内容と操作対象機器を判定したのに応じて、コマンド生成部４４０は、エアコンディショナ１００−１の温度を現在から所定値低下させるためのコマンドコードを生成し、機器操作装置２００−１に送信する。
また、コマンド生成部４４０は、エアコンディショナ１００−３の電源をオフとするためのコマンドコードを生成し、機器操作装置２００−２に送信する。
これにより、部屋Ｒ１におけるエアコンディショナ１００−１は設定温度を低く設定するように動作し、部屋Ｒ２におけるエアコンディショナ１００−３は、電源をオンからオフに切り替えて動作を停止する。

［第３の実施形態］
図１１を参照して第３の実施形態の遠隔操作例について説明する。なお、第３の実施形態における機器操作装置２００と音声解析サーバ４００の構成は、それぞれ、図２、図３と同様でよい。
図１１に示す家屋１においては、エアコンディショナ１００−１と、このエアコンディショナ１００−１に接続された機器操作装置２００−１が設置される。また、エアコンディショナ１００−１が設置されるのと同じ部屋において、ヒーター１００−４と、このヒーター１００−４に接続された機器操作装置２００−４が設置される。つまり、家屋１には、同じ部屋において２種類の暖房機器が設置されている。
ここで、ヒーター１００−４は急速に部屋を温めることはできるが消費電力が高いという特徴がある。一方、エアコンディショナ１００−１は、ヒーター１００−４ほど急速に部屋を暖めることはできないが、消費電力は低いという特徴がある。

ユーザ２は、遠隔操作のために、「この部屋は寒い」と音声を発したとする。機器操作装置２００は、この発話音声の音声データの音声情報データを音声解析サーバ４００に送信する。

この音声情報データを受信した音声解析サーバ４００におけるコマンド判定部４３０は、「この部屋は寒い」の発話音声内容とコマンド管理情報４６０の発話音声内容とを照合することで、暖房器具であるエアコンディショナ１００−１とヒーター１００−４が操作対象機器の候補であることを判定する。このとき、エアコンディショナ１００−１とヒーター１００−４はいずれも電源がオフの状態であったとする。なお、コマンド判定部４３０は、例えば、音声解析サーバ４００にて記憶しているこれまでの機器１００に対する操作履歴に基づいて、エアコンディショナ１００−１とヒーター１００−４の電源がオフであることを認識できる。

この場合、部屋を急速に暖めることが必要である。そこで、コマンド判定部４３０は、操作対象機器の候補として判定されたエアコンディショナ１００−１とヒーター１００−４のうち、ヒーター１００−４を操作対象機器として判定し、また、コマンド内容については、ヒーター１００−４の電源をオンとして所定の設定温度を指定するものであると判定する。

この判定結果に応じて生成したコマンドコードが音声解析サーバ４００からヒーター１００−４に接続された機器操作装置２００に送信されることで、家屋１においてヒーター１００−４の電源がオンとなって動作を開始する。

そのうえで、第３の実施形態においては、例えば室温が設定温度に到達した、または、ヒーター１００−４の電源をオンとして一定時間が経過するのに応じて、コマンド判定部４３０は、以下のコマンド内容および操作対象機器についての判定結果を出力する。つまり、コマンド判定部４３０は、ヒーター１００−４の電源をオフとし、エアコンディショナ１００−１の電源をオンとして所定の設定温度を指定すべきであることを判定する。このように、第３の実施形態のコマンド判定部４３０は、２以上の操作対象機器と、これらの操作対象機器が連係して所定の動作を行うためのコマンド内容を判定する。

上記の判定結果にしたがって、コマンド生成部４４０は、ヒーター１００−４の電源をオフとするコマンドコードを生成し機器操作装置２００−４に送信する。また、エアコンディショナ１００−１の電源をオンとするコマンドコードと、エアコンディショナ１００−１に所定の設定温度の設定を指示するコマンドコードとを生成し、機器操作装置２００−１に送信する。

これにより、家屋１においては、室内が十分に暖まった状態のもとで、ヒーター１００−４がオフとなり、代わりにエアコンディショナ１００−１がオンとなって低消費電力の状態での暖房が継続される。
このように、第３の実施形態においては、例えば「この部屋は寒い」という発話音声に基づいて、複数の機器１００を異なる時系列で遠隔操作することができる。

［第４の実施形態］
続いて、第４の実施形態について説明する。
図１２は、第４の実施形態としての機器操作システムの構成例を示している。なお、この図において図２と同一部分には同一符号を付して説明を省略する。
図１２に示す機器操作システムは、図２の機器操作装置２００と音声解析サーバ４００に代えて、機器操作装置２００Ａとジェスチャ解析サーバ（生体情報解析サーバ）４００Ａを備える。
機器操作装置２００Ａは、マイクロフォン２１０に代えて撮像部２５０を備える。また、音声情報処理部２２０に代えて、ジェスチャ情報処理部２６０を備える。
ジェスチャ情報処理部２６０は、被写体抽出部２６１、ジェスチャ情報データ生成部２６２およびメタデータ記憶部２６３を備える。

また、ジェスチャ解析サーバ４００Ａの構成は、例えば図３と同様である。ただし、以下に説明するように、解析対象がジェスチャ情報データであるのに応じて、ジェスチャ解析サーバ４００Ａにおける各部の動作は適宜異なる。

第４の実施形態においてユーザが行う遠隔操作の例とともに、図１２および図３に示される機器操作装置２００Ａとジェスチャ解析サーバ４００Ａの動作について説明する。なお、以下の説明において、家屋１内の機器１００と機器操作装置２００の設置の態様は図１と同様であるものとする。

第４の実施形態において、ユーザ２は、遠隔操作を行うにあたり、音声に代えて所定の動作（ジェスチャ）を行う。つまり、第４の実施形態における生体情報は、身体の動きとなる。
具体例として、手を右に振るジェスチャは、テレビジョン受像機１００−２のチャンネル番号を１つ増加させるようにチャンネル切り替えを行うことを指示する操作であると定められている。一方、手を左に振るジェスチャは、テレビジョン受像機１００−２のチャンネル番号を１つ減少させるようにチャンネル切り替えを行うことを指示する操作であると定められている。

ここで、ユーザ２は、チャンネル番号を１つ増加させるようにチャンネル切り替えを行いたいと思ったとする。これに応じて、ユーザは、室内において設置されている機器操作装置２００のいずれかに向かって手を右に振るジェスチャを行う。

機器操作装置２００Ａにおいて、撮像部２５０は、このジェスチャを行っているユーザ２を撮像する。
次に、ジェスチャ情報処理部２６０において、被写体抽出部２６１は、撮像部２５０により撮像された画像データからジェスチャを行っているユーザとしての被写体の画像部分を検出し、この画像部分を抽出する。次に、ジェスチャ情報データ生成部２６２は、抽出した画像部分のデータに対して、メタデータ記憶部２６３が記憶する所定のメタデータを付加してジェスチャ情報データを生成し、この生成したジェスチャ情報データをジェスチャ解析サーバ４００Ａに送信する。

上記のように送信されたジェスチャ情報データは、ジェスチャ解析サーバ４００Ａの通信部４７０にて受信される。このときに異なる機器操作装置２００から送信された同じジェスチャ情報データを受信した場合、重複受信対応処理部４１０は、図７に準じた処理によって２回目以降に受信されたジェスチャ情報データを廃棄する。

解析部４２０は、ジェスチャ情報データを解析する。解析部４２０は、解析によって、被写体部分の画像データからジェスチャ内容とメタデータの内容を認識する。この場合の解析部４２０は、ジェスチャ内容が手を右に振るというものであると認識する。

第４の実施形態におけるコマンド管理情報４６０は、コマンドセットにおいて発話音声内容に代えてジェスチャ内容のデータを格納する。
コマンド判定部４３０は、解析部４２０により認識されたジェスチャ内容とコマンド管理情報４６０におけるジェスチャ内容とを照合する。これにより、解析部４２０により認識されたジェスチャ内容に対応するコマンド内容と操作対象機器を認識する。この場合のコマンド判定部４３０は、操作対象機器がテレビジョン受像機１００−２で、コマンド内容はチャンネル番号を１つ増加させるようにチャンネル切り替えを行うというものであると判定する。

コマンド生成部４４０は、上記の判定結果に応じたコマンドコードを生成し、テレビジョン受像機１００−２に接続された機器操作装置２００−２に対して送信する。
機器操作装置２００−２は、受信したコマンドコードをテレビジョン受像機１００−２に送信する。テレビジョン受像機１００−２は、このコマンドコードの受信に応答して、チャンネル番号を１つ増加させるようにチャンネル切り替えを行う。

このように、第４の実施形態においては、ユーザ２が行ったジェスチャにより機器１００を遠隔操作することができる。

図１３は、第４の実施形態の変形例に対応する機器操作装置２００Ｂの構成例を示している。この図において、図１２と同一部分には同一符号を付している。
第４の実施形態の変形例では、ユーザは、ジェスチャ検出装置５００を所持してジェスチャを行う。ジェスチャ検出装置５００は、ユーザが行うジェスチャに応じた動きを検出し、その検出情報を機器操作装置２００Ｂに送信する。

図１３に示すように、ジェスチャ検出装置５００は、加速度センサ５１０と送信部５２０を備える。加速度センサ５１０は、ジェスチャに応じた動きを検出し、加速度検出信号を出力する。送信部５２０は、加速度検出信号を無線により機器操作装置２００Ｂに送信する。

なお、ジェスチャ検出装置５００は、例えば腕時計のような形状である。ユーザは、このジェスチャ検出装置５００を腕に装着した状態で例えば手を動かすジェスチャを行う。または、ジェスチャ検出装置５００は、例えばヘッドセットのような形状とされて、ユーザの頭部に装着されるようなタイプのものであってもよい。このようにジェスチャ検出装置５００についてユーザが身に付けられるタイプのものとすることで、ユーザは、それまで行っていた作業をほとんど中断することなく遠隔操作を行える。

機器操作装置２００Ｂは、撮像部２５０に代えて受信部２７０を備える。受信部２７０は、ジェスチャ検出装置５００の送信部５２０から送信される加速度検出信号を入力する。

機器操作装置２００Ｂにおいて、ジェスチャ情報処理部２６０は、ジェスチャ情報データ生成部２６２とメタデータ記憶部２６３を備える。この場合のジェスチャ情報データ生成部２６２は、受信部２７０にて受信された加速度検出信号のデータにメタデータ記憶部２６３から読み出したメタデータを付加することによりジェスチャ情報データを生成する。このジェスチャ情報データは、通信部２３０からジェスチャ解析サーバ４００Ａに送信される。

ジェスチャ解析サーバ４００Ａにおいて、解析部４２０は、解析処理によって、例えばジェスチャ情報データにおける加速度検出信号が示す時間経過に応じた変化のパタンなどに基づいてジェスチャを認識する。
コマンド判定部４３０は認識されたジェスチャに基づいてコマンド内容と操作対象機器を判定する。コマンド生成部４４０は、コマンド判定部４３０の判定結果にしたがってコマンドコードを生成し、このコマンドコードを操作対象機器に接続された機器操作装置２００Ｂに対して送信させる。
このように第４の実施形態の変形例では、加速度センサを備えるジェスチャ検出装置を利用してユーザがジェスチャを行うことにより、機器１００を遠隔操作できる。

なお、例えば、機器１００と機器操作装置２００はそれぞれ個別の装置として説明したが、機器１００の中に機器操作装置２００があらかじめ搭載されていてもよい。また、本実施例では、制御対象となる機器１００の例として、エアコンディショナとテレビジョン受像機を例に挙げているが、他にも冷蔵庫や調理器具、ビデオ等、操作を必要とするあらゆる機器を対象としてよい。また、上記実施形態における説明では、機器操作装置２００は、例えば１つの機器１００に対応して接続されるものであったが、例えば、携帯電話やスマートフォンに機器操作装置２００としての機能を搭載して、多様な機器を制御対象として操作できるように構成しても良い。

また、図２、図３、図１２および図１３に示した各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより遠隔操作のための処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１ 家屋
１００ 機器
２００、２００Ａ、２００Ｂ 機器操作装置
２１０ マイクロフォン
２２０ 音声情報処理部
２２１ 発話音声成分抽出部
２２２ 形式変換部
２２３ メタデータ記憶部
２２４ 音声情報データ生成部
２３０ 通信部
２４０ 機器制御部
４００ 音声解析サーバ
４００Ａ ジェスチャ解析サーバ
４１０ 重複受信対応処理部
４２０ 解析部
４３０ コマンド判定部
４４０ コマンド生成部
４５０ 機器管理情報
４６０ コマンド管理情報
４７０ 通信部

Claims (14)

1. 機器操作装置と生体情報解析サーバとを備え、
   前記機器操作装置は、
   家庭に設置される家庭用電気機械器具である操作対象機器に搭載又は接続され、
   自己または他の機器操作装置が制御対象とする前記操作対象機器のいずれかを操作するための発話音声を入力する生体情報入力部と、
   入力された発話音声を表す音声信号を含む生体情報データを生成する生体情報処理部と、
   前記生体情報データを前記生体情報解析サーバに送信するとともに、前記生体情報解析サーバから送信されたコマンドを受信する第１の通信部と、
   受信したコマンドに応答した動作が実行されるように、前記操作対象機器を制御する機器制御部とを備え、
   前記生体情報解析サーバは、
   前記生体情報データを受信するとともに、前記コマンドを送信する第２の通信部と、
   受信した生体情報データに含まれる音声信号を音声解析し、前記発話音声の内容を認識する解析部と、
   前記生体情報データを音声解析することにより認識された発話音声の内容に基づいて、コマンド内容と前記操作対象機器を判定するコマンド判定部と、
   判定されたコマンド内容に応じた前記コマンドを生成し、生成した前記コマンドを、判定された前記操作対象機器を制御対象とする前記機器操作装置に対して前記第２の通信部により送信させるコマンド生成部とを備える、
   ことを特徴とする機器操作システム。
2. 前記解析部は、発話音声の内容として、温度を示す内容を認識し、
   前記コマンド判定部は、前記温度を示す内容が認識された場合に、温度調整機能を有する前記操作対象機器を判定する、
   ことを特徴とする請求項１に記載の機器操作システム。
3. 前記機器操作装置は、第１の前記操作対象機器に搭載又は接続され、
   生体情報処理部は、前記家庭用電気機械器具が設置されている場所を特定する情報を含む生体情報データを生成し、
   前記コマンド判定部は、前記場所を特定する情報に基づいて、前記第１の操作対象機器とは異なる第２の前記操作対象機器を判定し、
   前記コマンド生成部は、生成した前記コマンドを、前記第２の操作対象機器を制御対象とする前記機器操作装置に対して前記第２の通信部により送信させる、 ことを特徴とする請求項１又は２に記載の機器操作システム。
4. 前記生体情報解析サーバは、
   今回受信された生体情報データと、過去の一定時間内に前記第２の通信部により受信された生体情報データを比較した結果が一致している場合、前記今回受信された生体情報データを破棄する重複受信対応処理部をさらに備える、
   ことを特徴とする請求項１から３のいずれか一項に記載の機器操作システム。
5. 前記生体情報解析サーバは、
   前記操作対象機器と当該操作対象機器を制御対象とする機器操作装置について、前記操作対象機器と前記機器操作装置が設置される部屋に対応させたグループごとに区分して管理するグループ管理情報をさらに備え、
   前記コマンド判定部は、部屋を指定して前記操作対象機器を操作する内容の生体情報データであることが解析された場合に、前記グループ管理情報を参照して、指定された部屋における前記操作対象機器を操作するためのコマンド内容を判定する、
   ことを特徴とする請求項１から４のいずれか一項に記載の機器操作システム。
6. 前記生体情報処理部は、
   予め定められた所定の操作開始予告信号を入力した後における一定時間内に入力した発話音声に基づいて前記生体情報データを生成する、
   ことを特徴とする請求項１から５のいずれか一項に記載の機器操作システム。
7. 前記コマンド判定部は、
   前記発話音声の内容に基づいて、２種類以上の前記操作対象機器と、これらの前記操作対象機器が連係して所定の動作を行うためのコマンド内容を判定する、
   ことを特徴とする請求項１から６のいずれか一項に記載の機器操作システム。
8. 前記生体情報入力部は、ユーザを撮像した画像を入力する撮像部を備え、
   前記生体情報処理部は、撮像した画像を含む前記生体情報データを生成することを特徴とする請求項１から７のいずれか一項に記載の機器操作システム。
9. 前記生体情報入力部は、ユーザの動きに応じた加速度を検出するための加速度センサの検出信号を受信する受信部を備え、
   前記生体情報処理部は、検出信号を含む前記生体情報データを生成する
   ことを特徴とする請求項１から７のいずれか一項に記載の機器操作システム。
10. 自己または他の機器操作装置が制御対象とする操作対象機器のいずれかを操作するための生体情報を入力する生体情報入力部と、
    入力された発話音声を表す音声信号を含む生体情報データを生成する生体情報処理部と、
    前記生体情報データを生体情報解析サーバに送信するとともに、前記生体情報解析サーバから送信されたコマンドを受信する通信部と、
    受信したコマンドに応答した動作が実行されるように、前記操作対象機器を制御する機器制御部と、
    を備え、
    家庭に設置される家庭用電気機械器具である前記操作対象機器に搭載又は接続されることを特徴とする機器操作装置。
11. 機器操作装置が入力した発話音声に基づいて生成した生体情報データを前記機器操作装置から受信するとともに、コマンドを送信する通信部と、
    受信した生体情報データに含まれる音声信号を音声解析し、前記発話音声の内容を認識する解析部と、
    前記生体情報データを音声解析することにより認識された発話音声の内容に基づいて、コマンド内容と操作対象機器を判定するコマンド判定部と、
    判定されたコマンド内容に応じた前記コマンドを生成し、生成した前記コマンドを、判定された前記操作対象機器を制御対象とする前記機器操作装置に対して前記通信部により送信させるコマンド生成部と、
    を備えることを特徴とするサーバ。
12. 家庭に設置される家庭用電気機械器具である操作対象機器に搭載又は接続される機器操作装置と生体情報解析サーバとを備える機器操作システムにおける機器操作方法であって、
    前記機器操作装置は、
    自己または他の機器操作装置が制御対象とする前記操作対象機器のいずれかを操作するための発話音声を入力する生体情報入力ステップと、
    入力された発話音声を表す音声信号を含む生体情報データを生成する生体情報処理ステップと、
    前記生体情報データを前記生体情報解析サーバに送信するとともに、前記生体情報解析サーバから送信されたコマンドを受信する第１の通信ステップと、
    受信したコマンドに応答した動作が実行されるように、前記操作対象機器を制御する機器制御ステップとを備え、
    前記生体情報解析サーバは、
    前記生体情報データを受信するとともに、前記コマンドを送信する第２の通信ステップと、
    受信した生体情報データに含まれる音声信号を音声解析し、前記発話音声の内容を認識する解析ステップと、
    前記生体情報データを音声解析することにより認識された発話音声の内容に基づいて、コマンド内容と前記操作対象機器を判定するコマンド判定ステップと、
    判定されたコマンド内容に応じた前記コマンドを生成し、生成した前記コマンドを、判定された前記操作対象機器を制御対象とする前記機器操作装置に対して前記第２の通信ステップにより送信させるコマンド生成ステップとを備える、
    ことを特徴とする機器操作方法。
13. 家庭に設置される家庭用電気機械器具である操作対象機器に搭載又は接続されるコンピュータに、
    自己または他の機器操作装置が制御対象とする前記操作対象機器のいずれかを操作するための発話音声を入力する生体情報入力ステップと、
    入力された発話音声を表す音声信号を含む生体情報データを生成する生体情報処理ステップと、
    前記生体情報データを生体情報解析サーバに送信するとともに、前記生体情報解析サーバから送信されたコマンドを受信する通信ステップと、
    受信したコマンドに応答した動作が実行されるように、前記操作対象機器を制御する機器制御ステップと、
    を実行させるためのプログラム。
14. コンピュータに、
    機器操作装置が入力した発話音声に基づいて生成した生体情報データを前記機器操作装置から受信するとともに、コマンドを送信する通信ステップと、
    受信した生体情報データに含まれる音声信号を音声解析し、前記発話音声の内容を認識する解析ステップと、
    前記生体情報データを音声解析することにより認識された発話音声の内容に基づいて、コマンド内容と操作対象機器を判定するコマンド判定ステップと、
    判定されたコマンド内容に応じた前記コマンドを生成し、生成した前記コマンドを、判定された前記操作対象機器を制御対象とする前記機器操作装置に対して前記通信ステップにより送信させるコマンド生成ステップと、
    を実行させるためのプログラム。

Images