JP2007121579A - 操作装置 - Google Patents

Abstract

【課題】使用者が機器を操作する意図で発生した音声にのみ反応して機器を操作できる操作装置を提供する。
【解決手段】音声認識手段３では、マイクロホン２に入力された音声の意味が予め登録された命令に一致しているか否かを判定し、音声の意味が命令に一致していると判定すれば当該命令を操作手段４に出力する。トリガ手段１０は、使用者からの所定の合図を検出したときにトリガ信号を操作手段４に出力する。操作手段４は、トリガ信号を受けた後の所定の受付期間にのみ、音声認識手段３からの命令に従って操作対象であるエアコンＡやテレビＴＶを操作する。
【選択図】図１

Description

本発明は、入力された音声に従って操作対象となる機器を操作する操作装置に関するものである。

従来から、この種の操作装置として、音声を電気信号からなる音声信号に変換する音声入力手段（マイクロフォン）と、予め登録された命令のうちで前記音声の意味に一致する命令があるか否かを音声信号に基づいて判定する音声認識手段（音声認識処理回路）と、音声認識手段で音声の意味に命令が一致すると判定された場合には当該命令に対応する命令信号を生成するコントローラとを備えたものが提供されている。生成された命令信号は送信装置から操作対象とする機器に伝送され、これにより機器が命令信号に従って操作される（たとえば特許文献１参照）。

特許文献１に記載された操作装置では、操作対象が空気調和機であって、たとえば「強く」という音声が入力されることによって、送風が強くなるように空気調和機を操作する。これにより、使用者による手動操作を必要とすることなく、音声のみで機器を操作することができる。
特開平７−２５３２３７号公報（第３頁）

しかし、特許文献１に記載された操作装置では、使用者が機器を操作しようと意図して発生した音声以外の音声であっても、音声の意味が命令に一致すると機器を操作してしまうことになるので、人同士の会話の中に命令と意味が一致する音声（たとえば「強く」など）が含まれていると、この音声に反応して誤って機器を操作してしまうことがある。すなわち、使用者が機器を操作する意図で発生した音声以外の音声に反応することにより、使用者の意図しない操作が為されてしまうことがある。

本発明は上記事由に鑑みて為されたものであって、使用者が機器を操作する意図で発生した音声にのみ反応して機器を操作できる操作装置を提供することを目的とする。

請求項１の発明は、音声を電気信号である音声信号に変換する音声入力手段と、音声入力手段に入力された音声の意味が予め登録された命令に一致しているか否かを前記音声信号に基づいて判定する音声認識手段と、音声認識手段で音声の意味が命令に一致していると判定されると当該命令に従って操作対象である機器を操作する操作手段と、使用者からの所定の合図を検出する検出手段を有し当該検出手段で前記合図を検出したときにトリガ信号を出力するトリガ手段とを備え、トリガ信号が出力された後の所定の受付期間に音声入力手段に入力された音声の意味が命令に一致した場合にのみ機器を操作することを特徴とする。

この構成によれば、操作装置は、受付期間に音声入力手段に入力された音声の意味が命令に一致した場合にのみ機器を操作するので、受付期間以外の期間においては、如何なる音声が音声入力手段に入力されたとしても機器の操作を行うことはない。一方、受付期間はトリガ手段が使用者からの所定の合図を検出手段で検出してトリガ信号を出力した後に設定されるので、使用者が合図を送ることによって受付期間を開始させることができ、言い換えると、使用者が合図を送らない限り受付期間が開始されることはない。すなわち、請求項１の発明は、使用者が合図を送ることによってはじめて音声による機器の操作が可能になるものであるから、使用者が機器を操作することを意図しておらず合図が送られていない状態では、たとえば人同士の会話の中に命令と意味が一致する音声が含まれていたとしても、この音声に反応して誤って機器を操作してしまうことはない。したがって、使用者が機器を操作する意図で発生した音声にのみ反応して機器を操作することができるという利点がある。また、受付期間は使用者からの合図を検出した後に設定されるので、使用者からの合図が一旦検出されて受付期間が開始すると、この受付期間内においては、使用者は改めて合図を送ることなく音声による機器の操作を行うことができる。すなわち機器を操作する際の手順が簡単である。

請求項２の発明は、請求項１の発明において、前記検出手段が使用者の視線を検出する視線検出部を備えており、前記合図は使用者の視線が特定方向に向けられることであることを特徴とする。

この構成によれば、使用者が前記特定方向に視線を向けるだけで音声による機器の操作が可能になるので、使用者は手足を動かすことなく機器を操作することができる。

請求項３の発明は、請求項１の発明において、前記検出手段が音を検出するマイクロホンを備えており、前記合図が特定の音であることを特徴とする。

この構成によれば、使用者が前記特定の音を発生するだけで機器の操作が可能になるので、暗い室内で機器を操作する場合や、使用者が視覚障害者である場合でも簡単に機器を操作することができる。

請求項４の発明は、請求項１の発明において、前記検出手段が使用者を撮影するカメラと、カメラで撮影された画像から使用者の身振りを検出する画像処理部とを備えており、前記合図が使用者の特定の身振りであることを特徴とする。

この構成によれば、使用者が前記特定の身振りを行うだけで機器の操作が可能になるので、暗い室内で機器を操作する場合や、使用者が視覚障害者である場合でも簡単に機器を操作することができる。なお、ここでいう身振りとは、たとえば使用者が片手の人差し指と中指とをＶ字状に開きその他の指を曲げた所謂ピースサインや、片手の親指と人差し指とで輪をつくりその他の指を広げた所謂オーケーサイン等の特定のサインをつくってこれらのサインをカメラに向けること、また使用者が身体全体を使って特定のポーズをとることなどを意味している。

請求項５の発明は、請求項１ないし請求項４のいずれかの発明において、前記トリガ手段が、前記検出手段を複数有しており、全ての検出手段で前記合図を検出したときに前記トリガ信号を出力することを特徴とする。

この構成によれば、複数の検出手段の全てにおいて合図が検出されてはじめて、受付期間が開始し音声による機器の操作が可能になるので、仮に１つの検出手段で合図が誤って検出されたとしても、残りの検出手段で合図が検出されない限り、音声による機器の操作が可能になることはない。したがって、使用者が機器の操作を意図しない状態で受付期間が誤って開始してしまうことを回避でき、使用者が機器を操作する意図で発生した音声以外の音声による誤操作を確実に回避できるという利点がある。

請求項６の発明は、請求項１ないし請求項５のいずれかの発明において、前記操作手段が、無線信号を用いて前記機器に対して前記命令を伝送することを特徴とする。

この構成によれば、操作装置と操作対象である機器との間に電線を引き回す必要がないから、操作装置あるいは機器の設置時の配線作業が簡単になる。なお、ここでいう無線信号には、たとえば赤外線通信により伝送される信号や、電波を搬送波として伝送される信号などを含む。

本発明は、トリガ手段が使用者からの合図を検出手段で検出することによってはじめて音声による機器の操作を可能とするものであるから、使用者が機器を操作することを意図しておらず合図が送られていない状態では、たとえば人同士の会話の中に命令と意味が一致する音声が含まれていたとしても、この音声に反応して誤って機器を操作してしまうことはない。したがって、使用者が機器を操作する意図で発生した音声にのみ反応して機器を操作することができるという利点がある。

本実施形態の操作装置は、使用者が発生する音声に従って操作対象としての機器を操作するものであって、図２に示すように、使用者Ｕが室内に設置されたベッドＢ上に仰向けに横たわった姿勢で機器を操作できるようにベッドＢの頭部側付近の壁面に設置された装置本体１を備えている。本実施形態では、装置本体１と同室内に設置されたエアコン（空気調節装置）Ａおよびテレビ（テレビジョン受像機）ＴＶを操作対象とした例を示す。

以下ではまず、入力された音声に従って操作対象であるエアコンＡおよびテレビＴＶの操作を行うための構成について図１を参照して説明する。

装置本体１は、音声を電気信号からなる音声信号に変換して出力する音声入力手段としてのマイクロホン２と、マイクロホン２からの音声信号を受ける制御回路とを備えている。マイクロホン２は、使用者ＵがベッドＢ上に仰向けに横たわった姿勢で発生する音声が到達しやすい位置に設置されている。制御回路には、音声信号に基づいて音声認識を行う音声認識手段３と、音声認識手段３の出力に従ってエアコンＡおよびテレビＴＶを操作する操作手段４とが設けられている。

音声認識手段３は、音声信号から音韻・韻律を含む入力音声の特徴パラメータを取り出すためのデータが予め格納された音響モデル格納部５と、取り出された特徴パラメータに基づいて入力音声に含まれる単語を取り出すためのデータが予め格納された言語モデル・辞書格納部６と、音響モデル格納部５および言語モデル・辞書格納部６を用いて入力音声の意味を理解し、入力音声の意味が予め登録されている命令に一致するか否かを判定する音声認識部７とで構成される。ここでは、「電源オン」、「電源オフ」などエアコンＡおよびテレビＴＶの操作に用いられる複数種類の命令が登録されている。

ここにおいて、音声認識部７は、入力された音声の意味と一致する命令があればこの命令を後述する送信部８と共に操作手段４を構成する操作司令部９に出力し、一方、一致する命令がなければ出力は行わない。ただし、入力された音声の意味と命令との両者が完全に一致していなくとも、両者の類似度が閾値を超えることにより両者が一致するものと判定する構成であればよく、類似度に対する閾値は、誤った命令を出力する誤認識と命令の出力を行わない不認識とのバランスを考慮し、操作装置としての動作に支障がないように設定することが望ましい。

操作司令部９は、音声認識部７から命令を受けてこの命令に対応する操作信号を生成する。このように生成された操作信号は、操作司令部９の後段の送信部８に出力され、送信部８からエアコンＡあるいはテレビＴＶに対して送信される。そして、エアコンＡおよびテレビＴＶは、送信部８からの操作信号を受けると当該操作信号に従って動作する。エアコンＡの操作とテレビＴＶの操作との区別は、音声認識手段３において、先頭に「エアコン」という単語が付与された音声をエアコンＡの操作に関するものと認識し、先頭に「テレビ」という単語が付与された音声をテレビＴＶの操作に関するものと認識することにより行っている。すなわち、操作装置は、たとえば「エアコンを２８度に設定」という音声が入力されると、エアコンＡの設定温度を２８度に設定する操作を行い、一方、たとえば「テレビの音量を下げる」という音声が入力されると、テレビＴＶの音量を下げる操作を行う。

本実施形態では、送信部８がエアコンＡ、テレビＴＶの各々に設けられた赤外線リモコン用の受光部（図示せず）に向けて赤外線をそれぞれ送信する構成を採用することにより、赤外線通信で操作信号を伝送するようにしている。すなわち、操作装置からの命令は無線信号である操作信号を用いて機器に伝送されることになる。ここで、エアコンＡを操作する各操作信号としては、エアコンＡの専用の赤外線リモコン（図示せず）から各種の操作時に送信されるリモコン信号と同じ信号をそれぞれ用いており、テレビＴＶを操作する各操作信号としては、テレビＴＶの専用の赤外線リモコン（図示せず）から各種の操作時に送信されるリモコン信号と同じ信号をそれぞれ用いている。

なお、ここでは無線信号を用いて命令を伝送する例を示したが、操作対象になる機器と送信部８とを有線接続しておいて命令を有線で伝送するようにしてもよい。一例として、壁内を通して送信部８と機器とを有線接続することができ、この場合に装置本体１においては周知の埋込型配線器具と同様に一部が壁内に埋設される構成を採用することもできる。また、壁面に予め設置されたスイッチによって操作される機器（たとえば照明器具）を操作対象とする場合には、音声認識部７からの命令に従って開閉するリレー（図示せず）を設けた装置本体１を採用し、既設のスイッチをこの装置本体１に取り換えるとともにスイッチ用の先行配線を利用して装置本体１と機器とを接続するだけで、装置本体１のリレーで機器を操作することができるようになる。

ところで、本実施形態では、上述したように、マイクロホン２に入力された音声に従ってエアコンＡやテレビＴＶを操作する期間を、所定の受付期間のみに限定している。つまり、受付期間以外の期間には、いずれかの命令に対応する音声がマイクロホン２に入力されたとしても、当該音声に従ってエアコンＡやテレビＴＶを操作することはない。ここでは、受付期間は操作司令部９によって規定されており、操作司令部９は後述するトリガ信号を受けた後の所定の期間を受付期間と規定する。

ここで、受付期間を開始するタイミングを決定するために、使用者Ｕからの所定の合図を検出し、合図が検出されると操作司令部９に対してトリガ信号を出力するトリガ手段１０が設けられている。本実施形態のトリガ手段１０は、使用者Ｕの視線を検出する検出手段を有し、検出手段で視線が特定方向に向けられたことを検出するとトリガ信号を出力する。ここでは、前記特定方向を装置本体１に設けた後述のビデオカメラ１１の方向としており、装置本体１のビデオカメラ１１に使用者Ｕの視線が向けられることによってトリガ信号を出力する。なお、図１ではトリガ信号を出力する機能を検出手段に設け、検出手段のみでトリガ手段１０を構成しているが、検出手段とトリガ信号を出力する手段とを別々に有していてもよい。

具体的に説明すると、トリガ手段１０は使用者Ｕの顔面を撮影できるように装置本体１に設けられたビデオカメラ１１と、ビデオカメラ１１から出力される画像信号に対して前処理を実行する画像信号処理部１２と、画像信号処理部１２の出力を受けて使用者Ｕの視線がビデオカメラ１１に向けられているか否かを検出する視線検出部１５とで構成されている。視線検出部１５には、たとえば使用者Ｕの瞳孔の形状を抽出し、瞳孔の形状が円形になるとビデオカメラ１１に視線が向けられていると判断する技術が適用される。画像信号処理部１２と視線検出部１５とは制御回路に設けられている。

視線検出部１５は視線が装置本体１のビデオカメラ１１に向けられたことを検出するとトリガ信号を出力する。ただし、視線検出部１５は、ビデオカメラ１１に視線が一瞬だけ向けられた場合にはトリガ信号を出力せずに、ビデオカメラ１１に視線が所定時間連続して向けられたとき、つまりビデオカメラ１１が注視されたときにトリガ信号を出力するように構成される。操作司令部９は、トリガ信号を受けた後に受付期間を開始し、一定時間が経過すると受付期間を終了する。そして、操作司令部９は、受付期間にのみ音声認識部７からの命令を有効とする受付状態で動作し、受付期間以外の期間には音声認識部７からの命令を無効とする待機状態で動作する。つまり、操作司令部９では、受付期間に命令を受けた場合にのみ操作信号を生成することになる。ここでは、音声認識部７は操作司令部９からの信号を受けることによって、受付期間にのみ音声認識の処理を行うように構成されている。

なお、前記特定方向を操作対象である機器（エアコンＡまたはテレビＴＶ）の方向とし、トリガ手段１０において使用者Ｕの視線が機器に向けられたことを検出するとトリガ信号を出力する構成としてもよい。この構成では、使用者Ｕは操作対象である機器の動作状態を目で確認しながら機器を操作することができるから、たとえば機器の電源が入っていない状態ではまず機器の電源をオンする操作を行うなど、機器の動作状態に応じた操作が容易になる。さらに、この構成では使用者Ｕが操作しようとする機器を注視することによりこの機器の操作が可能となるので、機器とは関係のない装置本体１のビデオカメラ１１を注視することにより機器の操作を可能とする構成に比べて、直観的な操作ができるようになる。

以下、本実施形態の操作装置の動作を、操作手段の動作を表す図３のフローチャートを参照して簡単に説明する。

まず、操作司令部９は待機状態に設定され（ステップＳ０１）、トリガ信号が入力されるまでの期間（受付期間以外の期間）においては、待機状態で動作し続ける。したがって、この期間に、たとえば「エアコンを２８度に設定」という命令に対応する音声（「エアコンを２８度に設定」）がマイクロホン２に入力されたとしても、操作装置が機器の操作を行うことはない。一方、使用者Ｕがビデオカメラ１１を注視してビデオカメラ１１に視線が向けられると、トリガ手段１０からのトリガ信号が操作司令部９に入力されることになり（ステップＳ０２：Ｙ）、その後、操作司令部９は受付状態に移行する（ステップＳ０３）とともに、受付期間を規定するタイマ時間Ｔの時限を開始する（ステップＳ０４）。受付期間内においては、たとえば「エアコンを２８度に設定」という音声がマイクロホン２に入力されると、この音声の意味に一致する命令として「エアコンを２８度に設定」という命令が操作司令部９に入力され（ステップＳ０５：Ｙ）、設定温度を２８度に設定するようにエアコンＡを操作する操作信号が操作司令部９で生成される（ステップＳ０８）。生成された操作信号は送信部８からエアコンＡに送信され（ステップＳ０９）、エアコンＡは受信した操作信号に従って設定温度を２８度に設定することになる。

また、受付期間はタイマ時間Ｔが一定時間Ｔｃを時限している間に設定されているから、受付期間内に音声が入力されなければ、受付期間の終了時点（ステップＳ０７：Ｙ）で操作司令部９は待機状態に移行する（ステップＳ０１）。ただし、受付期間の途中で音声認識部７から操作司令部９に命令が出力されると、操作司令部９は命令を受け取った時点で受付期間を終了する。

上述した構成によれば、使用者Ｕは、ベッドＢ上に横たわった姿勢のままで手足を動かすことなく操作装置によってエアコンＡおよびテレビＴＶを操作することができる。ただし、マイクロホン２に対して受付期間以外の期間にいずれかの命令に対応する音声（たとえば「テレビの電源をいれる」など）が入力されても、操作装置が機器（エアコンＡおよびテレビＴＶ）の操作を行うことはなく、受付期間以外の期間に、たとえば人同士の会話中の「テレビの電源をいれる」という音声がマイクロホン２に入力されたとしても、操作装置がこの音声に反応して機器を操作してしまうことはない。したがって、操作装置は、使用者ＵがエアコンＡやテレビＴＶを操作する意図で発生した音声にのみ反応してエアコンＡやテレビＴＶを操作することになり、使用者Ｕが意図しない操作を回避することができる。

また、図１に示すように、操作司令部９には制御回路に設けた出力制御部１６を介してスピーカ１７およびランプ１８が接続されており、本実施形態ではこのスピーカ１７とランプ１８と出力制御部１６とを、受付期間であることを使用者Ｕに通知する通知手段１９として用いている。すなわち、受付期間が開始すると、操作司令部９は出力制御部１６を介してランプ１８を点灯させるとともに、スピーカ１７から所定の音声（たとえば「ご用件をどうぞ」など）を音声合成により出力させることによって、使用者Ｕに対して受付期間であるということを光および音声で通知する。これにより、使用者Ｕに音声の発生を促すことができる。さらに、万一、使用者Ｕの意図に関係なく受付期間が開始してしまった場合には、使用者Ｕに対してエアコンＡやテレビＴＶの誤操作につながる音声を発生しないように注意を促すことができる。

ところで、トリガ手段１０の構成としては、上述したように使用者Ｕの視線が特定方向に向けられたことを検出してトリガ信号を出力する構成に限るものではなく、他の例として、たとえば以下に説明する構成を採用することもできる。

すなわち、検出手段にマイクロホンを備え、このマイクロホンに特定の音が入力されることによりトリガ信号を出力するようにトリガ手段１０を構成する。ここでは口笛の音を特定の音とするが、口笛に限らず、舌打ちや拍手、あるいは規定の音声（たとえば「音声操作」など）等を特定の音としてもよい。ただし、特定の音が入力されると受付期間が開始され、入力された音声に従ってエアコンＡおよびテレビＴＶを操作する状態となるので、前記規定の音声は日常会話で頻発される音声を避けることが望ましい。

規定の音声を検出してトリガ信号を出力する構成とする場合には、図１に示した音声入力手段としてのマイクロホン２を検出手段のマイクロホンとして利用するとともに、上記規定の音声を認識するとトリガ信号を出力するように音声認識手段３を構成することが望ましい。これにより、音声入力手段および音声認識手段３をトリガ手段として流用することができるので、トリガ手段として専用の構成を付加することなくトリガ手段としての機能を実現することができる。ただしこの場合には、受付期間以外の期間でも音声認識の処理を行うように音声認識手段３を構成する必要がある。

また、視線が特定方向に向けられたか否かの検出結果と、特定の音が検出されたか否かの検出結果との論理積をとってトリガ信号を出力するようにしてもよい。具体的には、操作司令部９の前段に論理積回路（図示せず）を設け、視線が特定方向に向けられたか否かの検出結果および特定の音が検出されたか否かの検出結果を論理積回路の入力とし、論理積回路の出力をトリガ信号とする。この構成では、視線が特定方向に向けられ、かつ特定の音が検出されることによってはじめてトリガ信号が出力され、受付期間を開始することになるから、特定方向に向けられた視線と特定の音とのいずれか一方のみが検出されたとしても受付期間が開始することはない。結果的に、使用者Ｕの意図に反して受付期間が開始されてしまうことを回避できるという効果を奏する。

あるいは、たとえば使用者Ｕの上半身を撮影できるように装置本体１に設けられたビデオカメラと、ビデオカメラの画像から使用者Ｕの身振りを検出する画像処理部とを検出手段に備え、使用者Ｕが特定の身振りを行ったことを検出するとトリガ信号を出力するようにトリガ手段１０を構成することもできる。ここでは使用者Ｕが、片手の人差し指と中指とをＶ字状に開きその他の指を曲げた所謂ピースサインを装置本体１に向けることを特定の身振りとしている。画像処理部においては、使用者Ｕがビデオカメラに向けてピースサインをしたときの使用者Ｕの手の輪郭形状を標準パターンとして予め登録しておき、ビデオカメラで撮影された使用者Ｕの手の輪郭形状が標準パターンに一致すると使用者Ｕがピースサインをしていると判断する。なお、特定の身振りはピースサインに限るものではないが、たとえば片手の親指と人差し指とで輪をつくりその他の指を広げた所謂オーケーサインなど、ベッドＢ上に仰向けに横たわった姿勢の使用者Ｕがほとんど身体を動かすことなく行えるものとすることが望ましい。

本発明の実施形態の構成を示すブロック図である。 同上の設置例を示す説明図である。 同上の操作手段の動作を示すフローチャートである。

符号の説明

２ マイクロホン（音声入力手段）
３ 音声認識手段
４ 操作手段
１０ トリガ手段
１５ 視線検出部
Ａ エアコン（機器）
ＴＶ テレビ（機器）
Ｕ 使用者

Claims (6)

1. 音声を電気信号である音声信号に変換する音声入力手段と、音声入力手段に入力された音声の意味が予め登録された命令に一致しているか否かを前記音声信号に基づいて判定する音声認識手段と、音声認識手段で音声の意味が命令に一致していると判定されると当該命令に従って操作対象である機器を操作する操作手段と、使用者からの所定の合図を検出する検出手段を有し当該検出手段で前記合図を検出したときにトリガ信号を出力するトリガ手段とを備え、トリガ信号が出力された後の所定の受付期間に音声入力手段に入力された音声の意味が命令に一致した場合にのみ機器を操作することを特徴とする操作装置。
2. 前記検出手段は使用者の視線を検出する視線検出部を備えており、前記合図は使用者の視線が特定方向に向けられることであることを特徴とする請求項１記載の操作装置。
3. 前記検出手段は音を検出するマイクロホンを備えており、前記合図は特定の音であることを特徴とする請求項１記載の操作装置。
4. 前記検出手段は使用者を撮影するカメラと、カメラで撮影された画像から使用者の身振りを検出する画像処理部とを備えており、前記合図は使用者の特定の身振りであることを特徴とする請求項１記載の操作装置。
5. 前記トリガ手段は、前記検出手段を複数有しており、全ての検出手段で前記合図を検出したときに前記トリガ信号を出力することを特徴とする請求項１ないし請求項４のいずれか１項に記載の操作装置。
6. 前記操作手段は、無線信号を用いて前記機器に対して前記命令を伝送することを特徴とする請求項１ないし請求項５のいずれか１項に記載の操作装置。

Images