JP2004303251A - 制御方法 - Google Patents

Abstract

【課題】 テレビなどの機器をリモコンで制御する場合、機器が複数の場合、あるいは人が複数の場合で複雑な関係が生じる。すなわち、複数のテレビを同時に操作する場合、どのテレビを操作するのか又は操作しているのかという区別が従来の手法には含まれていない。また、部屋に複数の人が存在する場合にも、誰がテレビのチャンネルを変えているのか、また誰がチャンネルを変えることができるのかという区別が分からないという課題も有していた。
【解決手段】 複数の人の動作を継続的に監視し(1)、人の所定の動作の検出に基づいてテレビなどの機器の制御を行うことを特徴とする制御方法である。具体的には、人の所定の動作に基づき、制御対象の候補(3)及び制御内容の候補(4)を決定し、決定された制御対象の候補及び前記制御内容の候補に基づき、制御対象及び制御内容を決定する(5)制御方法である。
【選択図】図１

Description

本発明は、人の動き・姿勢・状態などに基づいて機器や情報の操作・環境の制御などを行う技術に関するものである。

従来、人の動作を検出して機器操作を行うものとして、人のジェスチャを認識し、テレビの操作を行うものがある（例えば、特許文献１、特許文献２参照。）。特許文献１においては人の手の平の位置とジェスチャをカメラで検出し、テレビの操作を行っている。

また、特許文献２においては、カメラで検出した人の手の位置と形状とを用いて、文字を携帯用パーソナルコンピュータに入力するものである。
特開平8-315154号公報 特開平8-211979号公報

しかしながら、上記従来の手法では操作する人間と操作される機器とが１対１に対応づけられることが前提となっており、複数のテレビやパーソナルコンピュータが近くに存在する場合や、操作者が複数存在する場合、望ましい操作を実現することは困難であるという課題を有している。

一般的に、家庭やオフィス・屋外などにおいて、近隣に存在する機器や人の数は複数となることが多く、人の動きなどを用いて機器を制御する場合にも、個別の人と個別の機器とを対応付けることが必要となる。例えば、複数のテレビを同時に操作する場合、どのテレビを操作するのか又は操作しているのかという区別が従来の手法には含まれていなかった。また、部屋に複数の人が存在する場合にも、誰がテレビのチャンネルを変えているのか、また誰がチャンネルを変えることができるのかという区別が分からないという課題も有していた。

本発明は上記従来の装置の課題を鑑み、複数の機器や複数の人間が近隣に存在する場合にも、機器と人間との対応を定めて、人の動き・姿勢・状態などを用いて円滑に機器の操作等を行えるようにする制御方法を提供することを目的とする。

本発明は、人の属性を監視し、前記監視された人の属性に基づいて予め登録した個人の属性を検出し、前記検出された個人の属性を用いて制御対象及び制御内容を決定し、制御対象の制御を行う制御方法であって、
制御対象の決定に用いる所定の属性を検出した第一の時刻と制御内容の候補の決定に用いる所定の属性を検出した第二の時刻との時間間隔、又は前記第一の時刻と前記第二の時刻との時間的順序関係、又は前記所定の属性検出の継続時間の少なくとも一つ以上を用いて、制御対象又は制御内容の少なくとも1つを決定する制御方法である。

又、本発明は、複数の人の属性を監視し、前記監視された複数の人の属性からあらかじめ登録した個人の属性を検出し、前記検出された個人の属性を用いて対象者を決定し、前記検出された個人に関する所定の属性を用いて、複数の機器のうち、制御対象及び制御内容を決定し、制御対象の制御を行う制御方法であって、制御対象の決定に用いる所定の属性を検出した第一の時刻と制御内容の候補の決定に用いる所定の属性を検出した第二の時刻との時間間隔、又は前記第一の時刻と前記第二の時刻との時間的順序関係、又は前記所定の属性検出の継続時間の少なくとも一つ以上を用いて、制御対象又は制御内容の少なくとも１つを決定する制御方法である。

以上説明したところから明らかなように、本発明は、人の属性を用いて機器や情報の操作を円滑に行う最に問題となる、複数の人の存在や、複数の機器の存在や、人の動作や姿勢の曖昧さなどを考慮し、人にあらかじめ定めた複雑な動作などを強いることなく、人の日常の属性を用いることで機器の制御を円滑に行うことを可能とする制御方法である。

以下、本発明の実施の形態について図面を参照して説明する。図１は本発明の第一の実施の形態を示すブロック図である。図１において、１は監視部、２は操作者選択部、３は制御対象候補決定部、４は制御内容候補決定部、５は制御対象・制御内容決定部である。

図１において、監視部１は人の属性及び人の周囲の環境を継続的に監視する。人の属性としては、人の位置、人の姿勢、人の顔、人の表情、人の視線、人の頭の向き、人の動き、人の音声、人の生理状態、特定個人であること、人の体型、人の体重、人の性別、人の年齢、人の心身的不自由度、人の付帯物などを監視する。ここで、心身的不自由度としては、視力の不自由度、四肢の不自由度、発声の不自由度、聴覚の不自由度、言語理解の不自由度などがある。また、付帯物としては、着衣、帽子、眼鏡、かばん、履き物などがある。

監視する手段としてはカメラ（可視光、赤外線などに感度を持つもの）、マイク、圧力センサ、超音波センサ、振動センサ、化学センサ、光センサなどを用いる。更に他のセンサを用いてもよい。カメラを用いることで人の位置、人の姿勢、人の顔、人の表情、人の動き、人の体型、人の付帯物などを非接触で監視することが可能となる。

人の位置をカメラで監視する場合、画像中の肌色が存在する領域を人の存在する位置とする。また、前記の肌色の領域でかつ、画像の色や輝度に変化のある領域を人の存在する位置とすることや、赤外線の画像を併用し、人が主に発する波長３〜５μｍもしくは８〜１２μｍの赤外線を検出した領域を、人の存在する位置としてもよい。人の姿勢や人の体型や人の動きをカメラで監視する場合、前記人の位置の検出と同様の手法を用いることで人の大まかな形状を抽出し、その形状から姿勢や体型を監視し、前記姿勢の時間的変化を監視することで動きを監視する。

姿勢としては、例えば立っているか、座っているか、手をどちらの向きに伸ばしているかなどの区別は、それぞれの姿勢の代表的な形状をあらかじめ登録しておき、前記登録内容と比較することで判断することが可能である。人の顔や人の表情や人の頭の向きや人の視線をカメラで監視する場合、前記人の形状から人の体の中で一番上部に位置する頭部を検出し、顔の表情をあらかじめ登録した様々な表情を含む顔の画像とを比較することで顔や表情の監視が可能である。人の頭の向きや視線の向きは、前記手続きで検出した頭部の画像から目の位置を検出することで判断できる。両目の位置が頭部に対して左右対称であれば、カメラに対して頭部が正面を向いていることになり、左右のどちらかに目の位置が偏っていれば、頭部の向きが左または右に向いていることが判断できる。目の位置については顔の領域の中で、楕円形状または平坦な形状でかつ顔の領域中で輝度の暗い領域を検出することで検出することが可能である。更に、視線については目の中の虹彩の円領域を検出することで、前記円領域の中心と前記目全体の領域の中心とのずれによって、検出することが出来る。人の付帯物をカメラで検出する場合は、前記手続きで検出した人の領域について、着衣の無い人の状態の色と異なる色を検出した体の部分については付帯物があると判断できる。また、あらかじめ、特定の色を有する付帯物を登録しておくことで、判別することも可能である。眼鏡については、前記手続きで顔の領域及び目の位置を検出した際に、目の周囲に枠状の形状があるか否かで判断することが出来る。また、マイクを用いることで人の音声や、人の動きにより生じる音（手や指を鳴らす音や足音など）などを非接触に監視することが可能となる。また、近接または接触する位置からは心音などの生理状態を計測することも可能である。また、圧力センサを用いることで人の動きによる接触や、床面に設置した圧力センサを用いることで体重や歩行パターンを監視することが可能である。また、超音波センサを用いることで、人までの距離や、人までの距離の変化による人の動きの監視が可能である。超音波を用いる場合、照明が大きく変動する場合や無照明下でも、人の位置を監視することが可能となる。

また、振動センサを用いることで、人の動きにより生じる振動を監視することが可能となる。また、身体からの分泌物・***物・体液中のイオン濃度、糖分、ホルモンなどの化学物質の量を計測する化学センサや、身体を透過した光のスペクトル分布を計測する光センサなどを用いることで生理状態を監視することが可能である。また、前記カメラで得た顔の特徴や身体の動き、前記マイクで得た音声の特徴、前記圧力センサで得た体重などの情報に基づいて特定個人であることや、人の性別、人の年齢、人の心身的不自由度などを推定することが可能である。例えば、あらかじめ特定個人の顔の特徴や、体重、体型、性別、年齢、心身的不自由度を登録しておくことで、いずれかの特徴（例えば体重）を用いて個人の特定を行うと、性別などの他の特徴も既知となる。

また、異なる視野を持つ複数のカメラを用いることで、人の位置や姿勢・動きを３次元的に捉えることが容易となり、監視の精度も向上し、監視できる場所を広げることが可能である。同様に性質の異なる複数のセンサを組み合わせることでも人の位置や姿勢・動きの検出の精度及び信頼度を向上させることが出来る。

なお、人及び周囲の環境の監視は間欠的でも良く、人の属性の変化が少ないときや高速な制御が必要でない制御対象の場合には間欠的に監視を行うことで、一連の制御処理の処理量を軽減し、計算資源の削減や消費エネルギーの削減の効果が得られる。

図１において、操作者選択部２は前記監視部１の監視した結果に基づき、操作者を選択する。ここで、前記監視部は３名の人を監視しているとする。操作者選択部２は監視部１の監視した所定の人の属性に基づいて前記３名のうち１名を選択する。所定の属性に基づいて人を選択する事とは、あらかじめ定めた位置（例えば部屋の中央など）に最も近い位置に存在する人や、あらかじめ定めた姿勢や動作（例えば挙手など）などを行った人や、あらかじめ定めた人の優先順位に基づく（例えば家族内であれば父親、母親、子供の順など）最も優先順位の高い人や（体重や性別、年齢、生理状態、心身的不自由度などに応じて優先順位をつけてもよい）、特定の言葉（例えば「ハイ」や機器の名称など）を発した人や、特定の付帯物（例えば赤いボールを手に持っているなど）を有した人や、特定の位置（例えば置物など）に視線または頭を向けている人などを選択することである。また、操作者選択部２は、人の属性に基づいてあらかじめ定めた評価方法に基づいて評価値を各人に対して求め、評価値がある基準値以上でかつ最も評価値の大きい人を選択するようにしてもよい。この場合、様々な人の属性を同時に考慮することが可能になる。評価方法としては例えば、「ハイ」と発声した音声の強度と挙手した動作の速さとの重み付け和を評価値として用いることなどが出来る。

次に操作者選択部２は選択した人についての情報を提示する。例えば、選択した人の名前が特定できる場合には、選択した人の名前をディスプレイに表示したり、名前を音声で出力したり、あらかじめ個人と対応づけた音楽や音や名称を音で出力したり、あらかじめ個人と対応づけた記号や文字をディスプレイに表示したり、あらかじめ各個人が付帯している機器に信号を送信してもよい。前記信号を受けた付帯機器は振動したり、光を出力したり、音を出力することで個人に情報を知らせることができる。また、選択した人に対して照明を向けたり、ディスプレイなどの機器を回転させて選択した人に対して向けたり、選択した人をカメラで写した映像をディスプレイに表示したりしてもよい。また、選択した人に対してのみその人の発声や動作の直後に「何ですか」という音声を出力したり、音や光を出力したりすることで、選択した人の情報を人に提示することもできる。

なお、前記例では操作者選択部２は３名のうち１名を選択したが、複数名（２名など）を選択してもよいし、所定の属性が観察できない場合には人を選択しなくてもよい。

図１において、３は制御対象候補決定部であり、前記操作者選択部２が選択した人の所定の属性や選択した人の周辺の環境に基づいて、制御対象の候補を決定する。制御対象としては機器（家庭内であれば、エアコン、テレビ、ビデオ、電灯、洗濯機、パーソナルコンピュータ、ゲーム機、ペットロボットなど。

家庭外であれば、エレベータ、車など）や、情報機器で扱われる情報や表示内容（ディスプレイ内に表示している文字や図形など）などを対象とする。選択した人の所定の属性としては、指や視線や頭による指示姿勢や、特定の言葉の発声や、手話動作や、特定の物を手に持つことなどを用いることができる。指や視線や頭による指示姿勢を用いる場合、指示された付近に存在する機器またはディスプレイの表示内容を制御対象の候補とする。人の周辺の環境としては気温、湿度、照度、音量、気流状態、空気中における特定の気体の濃度（炭酸ガス濃度など）、時刻などを用いることができる。室内の気温や湿度が高い場合には、制御対象としてエアコンや扇風機や除湿機などを制御対象の候補とする。室内の照度が低い場合や特定の時刻（日没前の時刻）になった場合には、照明を制御対象の候補とする。気流の変化が長時間無い場合や空気中の炭酸ガス濃度が基準値を上回る場合などには、換気扇や窓を制御対象とする。室外の音が基準値を上回る場合にはテレビや窓を制御対象とする。

なお、この候補は複数あってもよく、また１つでもよい。例えば、操作者として選択された人が指差す方向に、エアコンとテレビが存在した場合、両者を制御対象とする。言葉の発声や手話動作を所定の属性として用いる場合には、機器の名称を指示してもよいし、あらかじめ定めた言葉でもよい。例えば「テレビ」言えば、テレビ（複数存在してもよい）を制御対象の候補とし、「暑い」と言えば扇風機とエアコンを制御対象候補とする。所定の属性として特定の物を手に持つことを用いる場合、機器と物とをあらかじめ対応づけておき、赤いボールはエアコン、青いボールはテレビに対応づけておくことで、青いボールを手にしたことでテレビを制御対象の候補とする。

次に制御対象候補決定部３は、決定した制御対象の候補についての情報を外部に提示する。情報の提示は制御対象を表す名称を音声や音で出力してもよく、また、制御対象の表す名称をディスプレイに表示してもよい。また、制御対象の候補の機器自身に備えたライトを点灯させてもよいし、制御対象の候補の機器自身に備えたスピーカーから音や音声を出力してもよい。

図１において、制御内容候補決定部４は前記操作者選択部２が選択した人の所定の属性や選択した人の周辺の環境に基づいて、制御内容の候補を決定する。制御内容としては機器のスイッチのオン・オフや、機器の動作パラメータ（音量や、風量や、風向や、チャンネルや、光量など）の変更や、ドアや窓の開閉や、情報機器のディスプレイ内のオブジェクトの移動・変形・色の変更・文書の編集などを制御対象とする。

所定の属性としては、音声や手話で制御内容を指示することや（例えばスイッチを入れる場合は「オン」、スイッチを切る場合は「オフ」と発声することや、「暑い」と発声することでスイッチを入れるなど）、あらかじめ定めた動作を制御内容と関連付けておいてもよい（手を１度叩くとスイッチを入れ、２度叩くとスイッチを切るなど）。なお、候補は複数あってもよく、また１つでもよい。例えば、操作者として選択した人が「上」と発声した場合、候補としてテレビの音量を大きくすることや、エアコンの設定温度を上げることや、情報機器のディスプレイに表示するオブジェクトを情報に移動させることなどが候補となる。

人の周辺の環境としては気温、湿度、照度、音量、気流状態、空気中における特定の気体の濃度（炭酸ガス濃度など）、時刻などを用いることができる。室内の気温や湿度が高い場合には、制御内容としてエアコンや扇風機や除湿機などのスイッチを入れることや動作強度を強めることなどを制御内容の候補とする。

室内の照度が低い場合や特定の時刻（日没前の時刻）になった場合には照明のスイッチを入れることや光量を強めることなどを制御内容の候補とする。気流の変化が長時間無い場合や空気中の炭酸ガス濃度が基準値を上回る場合などには、換気扇のスイッチを入れることや窓を開けることを制御内容の候補とする。室外の音が基準値を上回る場合にはテレビの音量を大きくすることや窓を閉めることを制御内容の候補とする。

次に制御内容候補決定部４は決定した制御内容の候補についての情報を提示する。情報の提示は制御内容を表す名称を音声や音で出力してもよく、また、制御内容の表す名称をディスプレイに表示してもよい。

図１において、制御対象・制御内容決定部５は、前記制御対象候補決定部３が決定した制御対象候補と、前記制御内容候補決定部４が決定した制御内容候補とから、制御対象と制御内容を決定し、決定した制御対象に対して決定した制御を行う。ここで、制御対象の候補と制御内容の候補から、制御対象と制御内容を、次のような候補の限定によって、特定する。候補の限定は制御対象の候補と制御内容の候補との組み合わせのうちあらかじめ定めた組み合わせのみを採用する。例えば、制御対象の候補がテレビとエアコンで、制御内容の候補が「温度を上げる」の場合にはテレビに対しては温度を上げる制御内容はなく、エアコンに対しては温度を上げる制御内容がある場合、エアコンを制御対象とし、エアコンの設定温度を上げることを制御内容とする。また、候補の限定として、人の指示動作に基づいてエアコンを制御対象候補とし、人の「上げる」の発声に基づいてエアコンの温度を上げることを制御内容の候補としたとき、前記指示動作を監視した時刻Ｔ１と前記「上げる」の発声を監視した時刻Ｔ２との時間間隔が基準値（例えば３秒）以上なら制御対象ならびに制御内容を選択しない。同様に前記時刻Ｔ２が前記時刻Ｔ１よりも先の場合にも制御対象ならびに制御内容を選択しない。このように時刻Ｔ１と時刻Ｔ２の時間間隔や順序を考慮することでも、候補を限定することができる。このことにより、偶然の指示動作と偶然の会話の中の言葉との組み合わせによる誤判断などの割合を低減することができる。また、前記指示動作の継続時間が基準（例えば１秒以上）に満たない場合にも、制御対象の選択を行わない。このことにより、日常の動作の中で偶然指示動作と同じ動作を行った場合に誤った判断の割合を低減することが可能となる。なお、限定を行う必要がない場合（例えば、候補数が１つの場合や、複数の制御対象を同時に制御する場合など）には、限定を行わなくてもよい。

次に、制御対象・制御内容決定部５は、決定した制御対象及び制御内容の情報を提示する。制御対象の提示ならびに制御内容の提示については、前記制御対象の候補の提示ならびに制御内容の候補の提示と同様である。

また、制御対象・制御内容決定部５は確認の指示や、再入力の指示、候補の選択肢や、対象決定不能であることなどの情報の提示を行ってもよい。確認の指示は、前記決定した制御対象ならびに制御内容についての実行の確認を行うもので、「よろしいですか」などの発声やディスプレイ上ので表示または、あらかじめ定めた音でもよい。再入力の指示や対象決定不能の提示は、制御対象ならびに制御内容の確定が困難な場合（人の所定の属性があいまいな場合など）、再度入力を促すもので、「もう一度入力して下さい」などの発声や、ディスプレイ上での表示、またはあらかじめ定めた音を出力してもよい。候補の選択肢は、制御対象ならびに制御内容が複数存在する場合に、ディスプレイ上の表示などで選択肢を表示し、選択の行為を促す。

また、監視部１は、制御対象・制御内容決定部５が情報の提示を行った後の操作者の属性を監視し、制御対象・制御内容決定部５は制御対象の候補ならびに制御内容の候補の限定や、制御対象及び制御内容の決定や、再度情報の提示を行う。情報の提示と提示後の人の属性の監視に基づく制御対象ならびに制御内容に削減は繰り返し行ってもよい。繰り返し行うことで、候補数を減らすことが可能である。制御対象・制御内容決定部５が情報の提示を行った後の操作者の属性としては、実行の確認の場合には、「ハイ」などの発声を監視することで、制御対象に対する制御を実行する。候補の選択肢をディスプレイで提示する場合には、選択肢に番号を付与することで、その番号を表す、発声を監視することで制御対象に対する制御を実行する。なお、先に述べた制御対象候補決定部３や制御内容候補決定部４がその候補に対する選択を催促するようにしてもよい。この場合は、人がその候補のなかから特定の対象、内容を選択するから、制御対象、制御内容決定部５はその選択行為に基づいて、制御対象、制御内容を決定することになる。

このように構成した本発明の第一の実施の形態について、その動作を説明する。室内にＡ，Ｂ，Ｃの３名の人がおり、エアコン、テレビ、扇風機が室内に存在するとする。監視部１は人の属性ならびに人の周辺の環境を継続的に監視している。ここで、ＡとＢがテレビを指差した場合、操作者選択部２は時間的に先にテレビを指差したＢを操作者とし、Ｂの名前を音声で出力する。これにより、Ａは操作できずＢが操作できることを知ることができ、複数人数でも、混乱すること無く機器の制御を行うことができる。

操作者選択部２が行う操作者の情報の提示は、Ｂの名前を音声で出力する以外に、選択した人の名前をディスプレイに表示したり、あらかじめ個人と対応づけた音楽や音や名称を音で出力したり、あらかじめ個人と対応づけた記号や文字をディスプレイに表示したり、あらかじめ各個人が付帯している機器に信号を送信してもよい。前記信号を受けた付帯機器は振動したり、光を出力したり、音を出力することで個人に情報を知らせることができる。また、選択した人に対して照明を向けたり、ディスプレイなどの機器を回転させて選択した人に対して向けたり、選択した人をカメラで写した映像をディスプレイに表示したりしてもよい。また、選択した人に対してのみその人の発声や動作の直後に「何ですか」という音声を出力したり、音や光を出力したりすることで、選択した人の情報を提示することもできる。このように、選択した操作者を人に知らせることで、誰が操作を行えるのかが分かり、複数の人が操作を行おうとした場合にでも混乱することを防ぐことが可能となる。

制御対象候補決定部３は前記操作者選択部２が選択した人の所定の属性や選択した人の周辺の環境に基づいて、制御対象の候補を決定する。Ｂが指を差した方向の付近にテレビとエアコンが存在する場合、テレビとエアコンを制御対象の候補と決定する。エアコンがＢの指差した方向より多少離れている場合でも、周囲の環境として室温が高い場合には、制御対象の候補に含める。次に制御対象候補決定部３は決定した制御対象の候補についての情報を提示する。情報の提示は制御対象を表す名称を音声や音で出力してもよく、また、制御対象の表す名称をディスプレイに表示してもよい。また、制御対象の候補の機器自身に備えたライトを点灯させてもよいし、制御対象の候補の機器自身に備えたスピーカーから音や音声を出力してもよい。制御対象の候補の情報を提示することで、操作者は望みの対象が候補の中に含まれるか否かを確認する事ができる。また、候補を複数選ぶことで、本来選ぶべき制御対象をより確実に候補内に含めることが可能となる。

制御内容候補決定部４は前記操作者選択部２が選択した人の所定の属性や選択した人の周辺の環境に基づいて、制御内容の候補を決定する。Ｂが指を差すと同時に「強く」と発声した場合、制御の候補として、風を強くする、冷房能力を強くする、暖房能力を強くする、照明を強くするなどを制御内容の候補に決定する。

次に制御内容候補決定部４は決定した制御内容の候補についての情報を提示する。情報の提示は制御内容を表す名称を音声や音で出力してもよく、また、制御内容の表す名称をディスプレイに表示してもよい。制御内容の候補の情報を提示することで、操作者は望みの対象が候補の中に含まれるか否かを確認する事ができる。また、候補を複数選ぶことで、本来選ぶべき制御内容をより確実に候補内に含めることが可能となる。

また、制御対象の候補ならびに制御内容の候補の数が多い場合には必ずしも全て情報を提示しなくてもよい。

制御対象・制御内容決定部５は、前記制御対象候補決定部３が決定した制御対象候補と、前記制御内容候補決定部４が決定した制御内容候補とから、制御対象と制御内容を決定し、決定した制御対象に対して決定した制御を行う。ここで、制御対象の候補と制御内容の候補から、制御対象と制御内容を決定する方法の一つとして、次に説明する方法がある。すなわち、制御対象の候補と制御内容の候補との組み合わせのうちあらかじめ定めた組み合わせのみを採用する。上記の場合、制御対象の候補がテレビとエアコンで、制御内容の候補が風を強くする、冷房能力を強くする、暖房能力を強くする、照明を強くする、の４つの場合、テレビには制御内容の候補と組み合わせることが出来ないため、エアコンを制御対象とし、エアコンと組み合わせることの出来る制御内容として風を強くする、冷房能力を強くする、暖房能力を強くするに候補を限定する。更に人の環境のとして気温や季節を監視しておくことで、気温が摂氏３０度を超えるときや夏であれば、制御内容として暖房能力を強くすることを除去する。また、あらかじめ過去の個人の制御の履歴を記録しておくことで、過去に制御していない制御対象と制御内容との組み合わせを除去することもできる。

このように、制御対象・制御内容決定部５は制御対象の候補ならびに制御内容の候補ならびに周辺の環境それぞれに基づいて、制御対象ならびに制御内容を決定することで、所定の人の属性のみからは、制御対象や制御内容を単独に特定しにくい場合にでも、制御対象や制御内容をより確実に特定することが出来る。特に、人の動作や姿勢などのように曖昧性を含む人の属性を利用する場合精度の高い認識を行っても判断が困難であるが、本手法を用いることで、あらかじめ定めた曖昧性の少ない動作を人に強いることなく、人の日常の動作や姿勢を用いて望ましい、制御対象や制御内容を選択することが可能となる。

次に、制御対象・制御内容決定部５は、決定した制御対象及び制御内容の情報を提示する。制御対象の提示ならびに制御内容の提示については、前記制御対象の候補の提示ならびに制御内容の候補の提示と同様である。制御対象及び制御内容の情報を提示することで、操作者は望みの制御対象や制御内容が選択されているか否かを確認する事ができる。

あるいはまた、制御対象・制御内容決定部５は確認の指示や、再入力の指示、候補の選択肢や、対象決定不能であることなどの情報の提示を行う。確認の指示は、前記決定した制御対象ならびに制御内容についての実行の確認を行うもので、「よろしいですか」などの発声やディスプレイ上ので表示または、あらかじめ定めた音でもよい。確認を行うことにより誤制御を防ぐことが可能となる。また、再入力の指示や対象決定不能の提示は、制御対象ならびに制御内容の確定が困難な場合、再度入力を促すもので、「もう一度入力して下さい」などの発声や、ディスプレイ上での表示、またはあらかじめ定めた音を出力したり、ディスプレイ上の表示などで選択肢を表示し、再度選択の行為を促す。上記の場合エアコンの風を強くするか冷房能力を強くするかについて音声で再度指示を行うことを促す。そこで、監視部１は、制御対象・制御内容決定部５が情報の提示を行った後の操作者の属性を監視し、制御対象・制御内容決定部５は制御対象の候補ならびに制御内容の候補の限定や、制御対象及び制御内容の決定や、再度情報の提示を行う。上記の場合、人が「風」と発声した場合、制御対象・制御内容決定部５は制御内容をエアコンの風を強くすることに決定し、エアコンの風を強くすることを音声で提示すると同時にエアコンに制御信号を送る。情報の提示と提示後の人の属性の監視に基づく制御対象ならびに制御内容に削減は繰り返し行ってもよい。繰り返し行うことで、誤判断を行うことなく候補数を減らすことが可能である。

このように、制御対象や制御内容を確定できない場合は再度入力を行うように指示することで、強制的な判断による誤判断を防ぎ、かつ人の動作や姿勢などの属性の曖昧性を許容しながら、人の動作や姿勢などの属性を用いて機器や情報の制御を円滑に行うことが可能となる。

なお、上記では人からの再度入力を監視する際に音声を人の属性として用いているが、別の属性（特定の動作）及びそれらの組み合わせを用いても良い。例えば制御対象・制御内容決定部５が決定した制御対象並びに制御内容を提示し、人に確定を促す場合、人が腕や手や指で丸い形を作ったり（図９(1)〜(4)参照）、親指を立てる動作（図９(5)参照）をすると、制御対象・制御内容決定部５は提示した内容を制御対象ならびに制御内容として確定する。また、人が腕や指で×の形を作ったり（図９(6),(7)参照）、手を横に振る動作（図９(8)参照）をすると、制御対象・制御内容決定部５は提示した内容を制御対象ならびに制御内容として採用せず、人に再度の入力を促す。

なお上記では、操作者及び制御対象候補を決定する際に指差しの動作または姿勢を人の属性として用いているが、別の属性（視線や頭の向きや音声などの他の指示動作や指示動作以外の動作・姿勢）及びそれらの組み合わせを用いてもよい。例えば人の属性として人の位置を考慮すると、隣の部屋にいる人のようにテレビの操作に関係しない人を操作者に誤って選ぶことを防ぐことができる。また、人の姿勢を属性として用いることで、例えば座っている人を優先させることが出来、たまたま部屋を通りかかった人の偶然の動作を誤って判断することを防ぐことが出来る。また、人の顔・表情や特定個人であることや人の年齢を人の属性として用いることで、あらかじめテレビの使用を限定した人や、テレビの操作が不適切な人を操作者の対象から外すことも可能である（例えば子供は夜９時以降は操作できないなど）。また、人の心身的不自由度や人の性別や人の生理状態などを人の属性として用いることで、人の心身的不自由度や人の性別や人の生理状態などに基づいて優先的に操作を行わせることも可能となる。また、人の付帯物などを用いることで、通常のものをあたかもリモコンのようの意味付けることができ（例えば赤いボールを持つことがテレビを意味するなど）、使用者が使いやすい動作または使用者の好みの動作でテレビを選択できると同時に、複数の人の間でのテレビ操作の優先権（誰が赤いボールを先に手にするか）を目に見える形で提示することが出来る。

また、複数の属性（音声と視線など）を組み合わせることで、人に特定の動作のみを強いることなく、より負担なく機器の操作を実施できる。例えば（「テレビ」の発声）と視線（テレビの方向を見る）などを同時に組み合わせることで、偶然の動作（会話中の「テレビ」という発声）への誤った反応を防ぐことが出来る。

人の属性と周辺環境との組み合わせによっても、操作者を適切に選択することができる。例えば換気扇を操作したい場合、人の周辺の環境として空気中における特定の気体の濃度（炭酸ガス濃度など）を監視する場合、あらかじめ個人の環境に対する鋭敏度（炭酸ガス濃度が高いと頭痛がする人など）を優先的に換気扇の操作者に選択することも出来る。また、エアコンの操作などの場合には、人の周辺の環境として気温、湿度、気流状態などを監視し、あらかじめ個人の環境に対する鋭敏度（暑がりの人、寒がりの人、乾燥肌の人など）を登録しておくことで、温度・湿度が高く室内気流も少ない場合には暑がりの人を優先的にエアコンの操作者に選択することも出来る。また、テレビの音量の操作を行いたい場合、人の周辺の環境として室外の音が大きい場合には、あらかじめ個人の環境に対する鋭敏度（音が聞こえにくい人など）を優先的にテレビの操作者に選択することも出来る。また、照明の明るさを変更したいとき人の周辺の環境として室内・外の照度を監視し、あらかじめ個人の環境に対する鋭敏度（暗いと文字が読みにくい人など）を優先的に照明の操作者に選択することも出来る。また、周辺の環境として時刻を監視する場合、個人に応じて使用の時間を限定することも可能である。例えば、子供には夜９時以降テレビの操作はさせないということが実現できる。

同様に、上記では制御内容候補を決定する際に音声を人の属性として用いているが、別の属性（他の動作や姿勢）及びそれらの組み合わせを用いてもよい。例えば人の属性として動作を用いることで、人との対話のように自然な形で機器の制御ができる。人差し指を口の前に当てたり（図１０(1)参照）、耳を手でふさぐ動作（図１０(2),(3)参照）によってテレビなどの音量を小さくする、手を耳の側に添える動作（図１０(4)参照）によってテレビなどの音量を大きくする、両手を用いて「Ｔ」の字の形を作る動作（図１０(5)参照）によってビデオなどの再生を一時停止する、手を振って「ばいばい」という動作を行う（図１０(6）参照）ことによって、テレビなどのスイッチを着る、などが例として挙げられる。

また、上記では制御対象候補を決定するための属性と制御内容候補を決定するための属性とが異なる例を挙げたが、１種類の属性で制御対象候補と制御内容候補との両方を決定することも可能である。例を以下に挙げる。室内に人がおり、エアコン，テレビ，扇風機，空気清浄器、電話，机，ベッドが室内に存在するとする。

ここで人が人差し指を口の前に当てたり耳を手でふさぐ動作をすると、制御対象候補決定部３は音を発する機器であるテレビを候補として決定し、制御内容候補決定部４は音量を小さくするという制御内容を候補として決定する。また、人が電話の受話器を取り上げると、制御対象候補決定部３は音を発する機器であるテレビを候補として決定し、制御内容候補決定部４は音量を小さくするという制御内容を候補として決定する。

また、人が顔や体を手などで扇いだり（図１０(7)参照）「暑いなぁ」といった言葉を発すると、制御対象候補決定部３は空調制御に関わる機器であるエアコンや窓や扇風機の候補として決定し、制御内容候補決定部４はスイッチを入れる，設定温度を下げる，窓をあける、扇風機のスイッチを入れるもしくは風量を強くする、という制御内容を候補として決定する。また、人が鼻をつまむ動作（図１０(8)参照）をすると、制御対象候補決定部３は空気清浄器や窓を候補として決定し、制御内容候補決定部４は「空気清浄器のスイッチを入れる」、「窓をあける」という制御内容を候補として決定する。また、人が通話中に「さようなら」「ばいばい」といった言葉を発すると、制御対象候補決定部３は電話を候補として決定し、制御内容候補決定部４は電話の回線を切るという制御内容を候補として決定する。また、人が机に着席して書物を開いたり筆記用具を持ったりすると、制御対象候補決定部３は部屋の照明及び机に付随する照明を候補として決定し、制御内容候補決定部４はスイッチを入れるという制御内容を候補として決定する。また、人がベッドである一定時間以上眠っていると、制御対象候補決定部３は部屋の照明を候補として決定し、制御内容候補決定部４はスイッチを切るという制御内容を候補として決定する。また、人が手や物を目の上にかざして光を遮ったり（図１０(8)参照）、まぶしそうな表情をしたり、「まぶしいなあ」という言葉を発すると、制御対象候補決定部３は部屋の照明を候補として決定し、制御内容候補決定部４は「照明を暗くする」、あるいは「スイッチを切る」といった制御内容を候補として決定する。

以上のように本発明の第一の実施の形態ではリモコン等を用いることなく、人の日常の属性を用いることで機器の制御を円滑に行うことが可能となる。また、人や制御機器が複数存在する場合にでも、誤判断を低減しかつ複雑な指示動作を行わずに制御を行うことが可能となる。

図２は本発明の第二の実施の形態を示すブロック図である。図２において構成ならびに各部の動作は第一の実施の形態と同様である。ただし、第二の実施の形態においては監視部１、操作者選択部２、制御対象候補決定部３、制御内容候補決定部４、制御対象・制御内容決定部５が制御対象機器に付属する場合を示している。例えばテレビ自身に各部を内蔵する場合、制御対象候補決定部３はテレビが候補であるが否かのみを決定する。制御内容候補決定部４は人の所定の属性として例えば「チャンネル切り替え」の発声に基づいて、チャネルの切り替えを制御内容の候補とし、制御対象・制御内容決定部５はテレビに対する制御内容としてチャネルの切り替えは存在するため、チャネルの切り替えを実行する。

このように、本発明の第二の実施の形態では、第一の実施の形態の効果に加え、各機器は、制御対象候補決定部３がその機器が選択されているか否かのみを判断すれば良いため、第一の実施の形態に比して制御対象候補の判断の処理量を低減させることが可能となる。また、機器自身の位置を自由に移動させても、機器自身の制御対象候補の判断処理を変更する必要はないという利点もある。

図３は本発明の第三の実施の形態を示すブロック図である。図３において制御対象機器１、２、３それぞれの構成ならびに各部の動作は第二の実施の形態の制御対象機器と同様である（制御対象１，２，３は例えばそれぞれテレビ、エアコン、扇風機などを意味する）。ただし、第三の実施の形態においては制御対象機器が複数存在し、監視部１は監視した内容を通信網に出力し、操作者選択部２は選択した人の属性の情報を通信網に出力し、制御対象候補決定部３は決定した制御対象の候補（所属する機器が候補であるか否か、また候補である度合い）の情報を通信網に出力し、制御内容候補決定部４は決定した制御内容の情報を通信網に出力し、制御対象・制御内容決定部５は制御対象・制御内容の情報を通信網に出力する。

他方、操作者選択部２は通信網から得た情報及び監視部１の情報に基づいて操作者を選択して操作者の情報を提示し、制御対象候補決定部３は通信網から得た情報及び監視部の情報に基づいて制御対象の候補を決定して制御対象の候補の情報を提示し、制御内容候補決定部４は通信網から得た情報及び監視部の情報に基づいて制御内容の候補を決定して制御内容の候補の情報を提示し、制御対象・制御内容決定部５は通信網から得た情報及び制御対象候補決定部３が決定した制御対象候補及び制御内容候補決定部４が決定した制御内容候補に基づいて、制御対象及び制御内容の情報を提示し、制御対象の制御を行う。ここで、第二の実施の形態と異なる点は複数の制御機器が存在するため、各機器が個別に制御対象と制御内容の判断を行うと操作者の意図しない制御が行われる場合がありうる点である。例えばテレビ（制御対象１）とエアコン（制御対象２）の中間方向を指差して、「スイッチを入れる」と発声した場合、たとえテレビ（制御対象１）のみを操作したい場合にでも、テレビ（制御対象１）とエアコン（制御対象２）のスイッチが共に入ってしまうことになる。

このような場合、他の制御機器について制御対象の候補及び制御内容の候補及び制御対象及び制御内容の情報を得ることで、第一の実施の形態と同様に制御対象の候補ならびに制御内容の候補を制限することが可能となる。例えば、テレビ（制御対象１）の制御対象候補決定部が制御対象の候補の情報としてテレビを通信網に出力し、エアコン（制御対象２）の制御対象候補決定部が制御対象の候補の情報としてエアコンを通信網に出力したとき、テレビ（制御対象１）の制御対象・制御内容決定部はテレビの制御対象の候補情報と通信網経由で得たエアコンの候補情報とに基づいて制御対象の決定ならびに情報提示を行う。この場合、テレビとエアコンが共に候補になるため、テレビは再度入力を促す情報を提示する。エアコン（制御対象２）の制御対象・制御内容決定部も同様の処理を行う。また、通信網に出力する情報として制御対象の候補に加え、制御対象の候補である度合いの情報を合わせて出力することで（例えばテレビが10でエアコンが5など）、制御機器１，２の制御対象・制御内容決定部は、制御対象の候補である度合いを比較して、制御対象の候補である度合いの大きい方（ここではテレビ）を制御対象と決定する。制御内容の候補についても異なる制御機器間で情報を交換することで同様の処理を行う。

また、操作者の情報を通信網から得ることで、１人の人の動作（指差し動作など）に対して同時に複数の機器が反応することなく、操作者が最も近くに存在する機器のみが反応することなどができる。例えばテレビ（制御対象１）の操作者選択部が選択した操作者と通信網から得たエアコン（制御対象２）の操作者選択部が選択した操作者とが同一であれば、前記のようの制御対象をテレビ（制御対象１）かエアコン（制御対象２）かに決定する手続きを行う。また、操作者が異なれば、テレビ（制御対象１）とエアコン（制御対象２）はそれぞれの選択した操作者の属性にのみ基づいて処理を行うことも出来る。また、テレビ（制御対象１）の監視部が出力した情報をエアコン（制御対象２）の制御対象候補決定部や制御内容候補決定部や操作者選択部が利用することもできる。この場合、エアコンのみでは監視できなかった情報（死角の情報など）が得られるという効果がある。また、エアコン（制御対象２）の制御対象・制御内容決定部が出力する情報をテレビ（制御対象１）が表示することもできる。このような場合、各制御機器が有する出力手段（画像や音声や光など）を制御機器間で共有することが可能となる。

なお、通信網としては有線（ネットワーク線、電話線、電源線を介して接続するものなど）、無線（電波、赤外線、超音波などを通信媒体とするものなど）のどちらでも良く、また混在していても良い。

このように、本発明の第三の実施の形態では、第一、第二の実施の形態の効果に加え、制御機器それぞれが操作者や制御対象や制御内容を独自に判断する機構を備えた場合にでも、全体として矛盾なく人の所定の属性に基づいて機器の制御が円滑に行うことが可能となる。

図４は本発明の第四の実施の形態を示すブロック図である。図４において各部の動作は第一の実施の形態と同様である。ただし、本実施の形態では操作者選択部２は存在せず、すべての人について制御対象候補と制御内容候補を決定する。例えばＮ人存在する場合には、制御対象の候補の決定及び制御内容の候補の決定をＮ回行う（並列に同時に行っても良い）。制御対象・制御内容決定部５は全ての人について決定した制御対象の候補及び制御内容の候補に基づいて制御対象及び制御内容を決定し、制御を実行する。制御対象及び制御内容の決定の仕方としては多数決などを用いる。例えばＮ人存在する場合、エアコンの設定温度を下げたい指示を出す人が半数よりも多い場合に、エアコンの温度を下げる制御を行う。また、各人に対する制御対象や制御内容に矛盾がない場合には、同時に各人について決定した制御対象に制御内容を施しても良い。このように、本発明の第四の実施の形態では、第一の実施の形態の効果に加え、複数の人の操作を同時に考慮した機器の操作が可能となる。リモコンを用いて同様の処理を行うには常に人の数だけリモコンを用意し、各人がそれぞれ操作する必要があるが、本発明ではリモコンなど多数を用いずに、複数人の指示を反映した機器制御や情報制御が可能となる。

図５は本発明の第五の実施の形態を示すブロック図である。図５において各部の動作は第四の実施の形態と同様である。ただし、第五の実施の形態においては監視部１、制御対象候補決定部３、制御内容候補決定部４、制御対象・制御内容決定部５が制御対象機器（例えばエアコンなど）に付属する場合を示している。このように構成することで、本発明の第五の実施の形態では、第四の実施の形態の効果に加え、各機器は制御対象候補決定部３がその機器が選択されているか否かのみを判断すれば良いため、第四の実施の形態に比して制御対象候補の判断の処理量を低減させることが可能となる。また、機器自身の位置を自由に移動させても、機器自身の制御対象候補の判断処理を変更する必要はないという利点もある。

図６は本発明の第六の実施の形態を示すブロック図である。図６において各部の動作は第一の実施の形態とほぼ同様である。ただし、第六の実施の形態においては制御対象候補決定部３は全ての人に対して制御対象の候補を決定し、制御内容候補決定部４は全ての人に対して制御内容の候補を決定する。例えばＮ人存在する場合には、制御対象の候補の決定及び制御内容の候補の決定をＮ回行う（並列に同時に行っても良い）。

操作者選択部２は前記Ｎ人に対する制御対象の候補と制御内容の候補とに基づいて操作者を決定する。制御対象・制御内容決定部５は、操作者決定部２が選択した操作者についての制御対象の候補と制御内容の候補とに基づいて制御対象及び制御内容を決定する。

このような本発明の第六の実施の形態のような構成でも、第一の実施の形態と同様の効果が得られる。また、制御対象の候補と制御内容の候補を決定した後に、操作者を選択することで、所定の属性が曖昧で（例えば指示動作が曖昧で）制御内容の候補や制御内容の候補が決定できない人については操作者に選択しないとするなどの制御内容の候補や制御内容の候補に基づいた手続きが可能となる。

図７は本発明の第七の実施の形態を示すブロック図である。図７において各部の動作は第六の実施の形態と同様である。ただし、第七の実施の形態においては監視部１、制御対象候補決定部３、制御内容候補決定部４、操作者選択部２、制御対象・制御内容決定部５が制御対象機器（例えばエアコンなど）に付属する場合を示している。このように構成することで、本発明の第七の実施の形態では、第六の実施の形態の効果に加え、各機器は制御対象候補決定部３がその機器が選択されているか否かのみを判断すれば良いため、第六の実施の形態に比して制御対象候補の判断の処理量を低減させることが可能となる。また、機器自身の位置を自由に移動させても、機器自身の制御対象候補の判断処理を変更する必要はないという利点がある。

図８は本発明の第八の実施の形態を示すブロック図である。図８において各部の動作は第１の実施の形態とほぼ同様である。ただし、第七の実施の形態においては制御対象候補決定部３は全ての人に対して制御対象の候補を決定し、制御内容候補決定部４は全ての人に対して制御内容の候補を決定する。例えばＮ人存在する場合には、制御対象の候補の決定及び制御内容の候補の決定をＮ回行う（並列に同時に行っても良い）。制御対象・制御内容決定部５は操作者選択部２が選択した操作者についての制御対象の候補と制御内容の候補から、制御対象と制御内容を決定する。このような本発明の第八の実施の形態に示すような構成においても、第一の実施の形態と同様の効果が得られる。

なお、第一から第八までの実施の形態では室内での実施を想定して説明しているが、屋外での機器操作についても同様に適応が可能である。また、情報操作として画面上のオブジェクトの操作や画面の制御などについても機器操作同様に適応することが出来る。

なお、本発明の実現手段としてはハードウェアを用いても、コンピュータ上のソフトウェアを用いても、両者を混在させて実現してもよい。

また、本発明は、以上説明した本発明の制御方法における動作の全部又は一部をコンピュータで実現するためのプログラムを格納したことを特徴とするプログラム記録媒体でもある。

第１の本実施形態は、人の属性を監視し、前記監視された人の属性に基づいて予め登録した個人の属性を検出し、前記検出された個人の属性を用いて制御対象及び制御内容を決定し、制御対象の制御を行う制御方法であって、
制御対象の決定に用いる所定の属性を検出した第一の時刻と制御内容の候補の決定に用いる所定の属性を検出した第二の時刻との時間間隔、又は前記第一の時刻と前記第二の時刻との時間的順序関係、又は前記所定の属性検出の継続時間の少なくとも一つ以上を用いて、制御対象又は制御内容の少なくとも1つを決定する制御方法である。

又、第２の本実施形態は、制御対象の決定に用いる所定の属性を検出した第一の時刻と制御内容の候補の決定に用いる所定の属性を検出した第二の時刻との時間間隔、又は前記第一の時刻と前記第二の時刻との時間的順序関係、又は前記所定の属性検出の継続時間の少なくとも一つ以上を用いて制御対象の候補又は制御内容の候補の少なくとも1つの削減を行う工程を更に含む上記第１の本発明の制御方法である。又、第３の本実施形態は、複数の人の属性を監視し、前記監視された複数の人の属性からあらかじめ登録した個人の属性を検出し、前記検出された個人の属性を用いて対象者を決定し、前記検出された個人に関する所定の属性を用いて、複数の機器のうち、制御対象及び制御内容を決定し、制御対象の制御を行う制御方法であって、制御対象の決定に用いる所定の属性を検出した第一の時刻と制御内容の候補の決定に用いる所定の属性を検出した第二の時刻との時間間隔、又は前記第一の時刻と前記第二の時刻との時間的順序関係、又は前記所定の属性検出の継続時間の少なくとも一つ以上を用いて、制御対象又は制御内容の少なくとも１つを決定する制御方法である。

尚、本実施形態に関連する技術の第１の形態は、人の属性を監視し、その結果に基づいて、所定の制御内容で、制御対象となる機器を制御する制御方法である。

又、本実施形態に関連する技術の第２の形態は、前記人の周辺環境も監視し、その結果も利用して、前記制御を行うことを特徴とする本実施形態に関連する上記第１の形態の制御方法である。

又、本実施形態に関連する技術の第３の形態は、前記監視は常時又は間欠的に行われることを特徴とする本実施形態に関連する上記第１又は２の形態の制御方法である。

又、本実施形態に関連する技術の第４の形態は、前記監視結果により、先に操作者を選択し、後で制御対象と制御内容を選択することを特徴とする本実施形態に関連する上記第１、２又は３の形態の制御方法である。

又、本実施形態に関連する技術の第５の形態は、前記制御対象、操作者、又は、前記制御内容が決定できない場合は、その旨提示することを特徴とする本実施形態に関連する上記第４の形態の制御方法である。

又、本実施形態に関連する技術の第６の形態は、光、文字、音声、音、又は振動の少なくとも１つ以上を用いて情報を提示することを特徴とする本実施形態に関連する上記第５の形態の制御方法である。

又、本実施形態に関連する技術の第７の形態は、前記監視結果により、先に制御対象候補と制御内容候補を選択し、その後、操作者を選択し、その後、制御対象と、制御内容を決定することを特徴とする本実施形態に関連する上記第１，２又は３の形態の制御方法である。

又、本実施形態に関連する技術の第８の形態は、前記人は複数人存在することを特徴とする本実施形態に関連する上記第１、２又は、３の形態の制御方法である。

又、本実施形態に関連する技術の第９の形態は、前記対象とする機器は複数存在することを特徴とする本実施形態に関連する上記第１、２、３又は４の形態の制御方法である。

又、本実施形態に関連する技術の第１０の形態は、前記監視の結果情報を前記人に提示し、その提示に対する前記人からの回答指示に基づいて、前記制御を行うことを特徴とする本実施形態に関連する上記第１〜９のいずれかの形態の制御方法である。

又、本実施形態に関連する技術の第１１の形態は、前記提示される情報は、前記人の候補情報、前記対象となる機器候補情報、制御内容候補情報の少なくとも一つであることを特徴とする本実施形態に関連する上記第１０の形態の制御方法である。

又、本実施形態に関連する技術の第１２の形態は、前記監視の結果情報を単に前記人に提示するだけであり、前記制御は自動的に行われることを特徴とする本実施形態に関連する上記第１、２又は、３の形態の制御方法である。

又、本実施形態に関連する技術の第１３の形態は、前記監視の結果情報を前記人に提示せず、自動的に前記制御を行うことを特徴とする本実施形態に関連する上記第１、２又は３の形態の制御方法である。

又、本実施形態に関連する技術の第１４の形態は、前記監視の結果情報として、人、機器、制御内容の少なくとも一つに対して、複数の候補を出し、それらの候補に基づき、前記制御を自動的におこなうことを特徴とする本実施形態に関連する上記第１２又は１３の形態の制御方法である。

又、本実施形態に関連する技術の第１５の形態は、前記制御を行う制御手段が対象となる機器に組み込まれていることを特徴とする本実施形態に関連する上記第１、２又は３の形態の制御方法である。

又、本実施形態に関連する技術の第１６の形態は、前記制御手段が組み込まれた機器が複数台存在し、それらの制御手段間で通信路を用いて各種情報交換を行い、その結果に基づいて、前記制御を行うことを特徴とする本実施形態に関連する上記第１５の形態の制御方法である。

又、本実施形態に関連する技術の第１７の形態は、前記制御手段は、自らの監視の結果を他の制御手段へ送信するとともに、前記通信路を通じて他の制御手段から得られた内容をも加味して、前記制御を行うことを特徴とする本実施形態に関連する上記第１６の形態の制御方法である。

又、本実施形態に関連する技術の第１８の形態は、前記人の属性とはその人の動作であることを特徴とする本実施形態に関連する上記第１〜１７の何れかの形態の制御方法である。

又、本実施形態に関連する技術の第１９の形態は、前記制御の態様は、対象となる機器の制御パラメータを変更するか、あるいはオン・オフさせるものであることを特徴とする本実施形態に関連する上記第１〜１８の何れかの形態の制御方法である。

又、本実施形態に関連する技術の第２０の形態は、人の所定の動作として前記人が自分の人差し指を自分の口の前にあてる動作を検出し、前記動作に基づいて音を発する機器を対象機器とし、制御パラメータの値の変更として前記機器の音量を小さくすることを特徴とする本実施形態に関連する上記第１の形態の制御方法である。

又、本実施形態に関連する技術の第２１の形態は、人の所定の動作として前記人が自分の手で自分の耳をふさぐ動作を検出し、前記動作に基づいて音を発する機器及び音量を制御する機器を対象機器とし、制御パラメータの値の変更として前記機器の音量を小さくすることを特徴とする本実施形態に関連する上記第１の形態の制御方法である。

又、本実施形態に関連する技術の第２２の形態は、人の所定の動作として前記人が自分の手を自分の耳の横に添える動作を検出し、前記動作に基づいて音を発する機器及び音量を制御する機器を対象機器とし、制御パラメータの値の変更として前記機器の音量を大きくすることを特徴とする本実施形態に関連する上記第１の形態の制御方法である。

又、本実施形態に関連する技術の第２３の形態は、人の所定の動作として前記人が手で顔又は身体の一部を扇ぐ動作を検出し、前記動作に基づいて空調を制御する機器及び窓を対象機器とし、制御パラメータの値の変更として前記機器の設定温度を小さくすることを特徴とする本実施形態に関連する上記第１の形態の制御方法である。

又、本実施形態に関連する技術の第２４の形態は、単一又は複数の人の属性を継続的あるいは間欠的に監視し、人の所定の属性の検出に基づいて制御対象の候補及び制御内容の候補を決定し、前記制御対象の候補及び前記制御内容の候補に基づき制御対象及び制御内容を決定することを特徴とする本実施形態に関連する上記第１の形態の制御方法である。

又、本実施形態に関連する技術の第２５の形態は、単一又は複数の人の属性及び前記人の周辺環境を継続的あるいは間欠的に監視し、人の所定の属性の検出及び周辺環境に基づいて制御対象の候補及び制御内容の候補を決定し、前記制御対象の候補及び前記制御内容の候補に基づき、制御対象及び制御内容を決定することを特徴とする本実施形態に関連する上記第１の形態の制御方法である。

又、本実施形態に関連する技術の第２６の形態は、気温、湿度、照度、気流、時刻、又は音のうち少なくとも一つ以上を周辺環境として用いることを特徴とする本実施形態に関連する上記第２５の形態の制御方法である。

又、本実施形態に関連する技術の第２７の形態は、前記監視で得た情報を通信網に出力する、及び又は制御対象の候補及び制御内容の候補を通信網に出力する、及び又は制御対象及び制御内容を通信網に出力することを特徴とする本実施形態に関連する上記第２４〜２６の何れかの形態の制御方法である。

又、本実施形態に関連する技術の第２８の形態は、前記通信網を継続的あるいは間欠的に監視し、通信網の情報及び人の所定の属性検出に基づいて制御対象の候補及び制御内容の候補を決定することを特徴とする本実施形態に関連する上記第２７の形態の制御方法である。

又、本実施形態に関連する技術の第２９の形態は、前記通信網を継続的あるいは間欠的に監視し、通信網の情報及び制御対象の候補及び制御内容の候補に基づき制御対象及び制御内容を決定することを特徴とする本実施形態に関連する上記第２７又は２８の形態の制御方法である。

又、本実施形態に関連する技術の第３０の形態は、前記制御対象の候補を制御対象とし、制御内容の候補を制御内容とすることを特徴とする本実施形態に関連する上記第２４〜２９のいずれかの形態の制御方法である。

又、本実施形態に関連する技術の第３１の形態は、複数の人の属性の検出に基づき、前記人ごとに制御対象の候補及び制御内容の候補を決定し、前記制御対象の候補及び前記制御内容の候補に基づいて制御対象及び制御内容を決定することを特徴とする本実施形態に関連する上記第２４〜３０のいずれかの形態の制御方法である。

又、本実施形態に関連する技術の第３２の形態は、人ごとに決定した制御対象の候補及び制御内容の候補を用いて多数決に基づいて制御対象及び制御内容を決定することを特徴とする本実施形態に関連する上記第３１の形態の制御方法である。

又、本実施形態に関連する技術の第３３の形態は、人の所定の属性検出に基づいて、操作者及び制御対象の候補及び制御内容の候補を決定し、前記操作者及び前記制御対象の候補及び前記制御内容の候補に基づき制御対象及び制御内容を決定することを特徴とする本実施形態に関連する上記第２４〜３０のいずれかの形態の制御方法である。

又、本実施形態に関連する技術の第３４の形態は、複数の人の属性検出に基づき、前記人ごとに制御対象の候補及び制御内容の候補を決定し、前記制御対象の候補及び制御内容の候補に基づき操作者を選択し、選択した操作者の属性に基づいて制御対象の候補及び又は制御内容の候補を決定することを特徴とする本実施形態に関連する上記第３３の形態の制御方法である。

又、本実施形態に関連する技術の第３５の形態は、人の所定の属性検出に基づいて操作者を選択し、選択した操作者の属性に基づいて制御対象の候補及び制御内容の候補を決定することを特徴とする本実施形態に関連する上記第２４〜３０のいずれかの形態の制御方法である。

又、本実施形態に関連する技術の第３６の形態は、選択した操作者の情報を通信網に出力することを特徴とする本実施形態に関連する上記第３３〜３５のいずれかの形態の制御方法である。

又、本実施形態に関連する技術の第３７の形態は、通信網は無線及び又は有線の通信網を用いることを特徴とする本実施形態に関連する上記第２７〜２９または３６のいずれかの形態の制御方法である。

又、本実施形態に関連する技術の第３８の形態は、選択した操作者を情報として提示することを特徴とする本実施形態に関連する上記第３３〜３６の何れかの形態の制御方法である。

又、本実施形態に関連する技術の第３９の形態は、制御対象の候補及び又は制御内容の候補に基づき情報の提示を行うことを特徴とする本実施形態に関連する上記第２４〜３８のいずれかの形態の制御方法である。

又、本実施形態に関連する技術の第４０の形態は、制御対象の候補、又は制御対象、又は制御内容の候補、又は制御内容、又は確認の指示、又は再入力の指示、又は候補の選択肢、又は対象決定不能であることの少なくとも一つ以上を提示することを特徴とする本実施形態に関連する上記第３９の形態の制御方法である。

又、本実施形態に関連する技術の第４１の形態は、光、文字、音声、音、又は振動の少なくとも１つ以上を用いて情報を提示することを特徴とする本実施形態に関連する上記第３８〜４０のいずれかの形態の制御方法である。

又、本実施形態に関連する技術の第４２の形態は、情報の提示後の人の属性の監視結果に基づいて制御対象の候補の削減、及び又は制御内容の候補の削減、及び又は制御対象の決定、及び又は制御内容の決定、及び又は情報の提示を行うことを特徴とする本実施形態に関連する上記第３８〜４１のいずれかの形態の制御方法である。

又、本実施形態に関連する技術の第４３の形態は、あらかじめ定めた基準に基づいて制御対象の候補の削減、及び又は制御内容の候補の削減、及び又は制御対象の決定、及び又は制御内容の決定を行うことを特徴とする本実施形態に関連する上記第２４〜４２のいずれかの形態の制御方法である。

又、本実施形態に関連する技術の第４４の形態は、制御対象の候補と制御内容の候補との整合性に基づいて、制御対象の候補の削減、及び又は制御内容の候補の削減、及び又は制御対象の決定、及び又は制御内容の決定を行うことを特徴とする本実施形態に関連する上記第４３の形態の制御方法である。

又、本実施形態に関連する技術の第４５の形態は、制御対象の候補の決定に用いた所定の属性を検出した第一の時刻と制御内容の候補の決定に用いた所定の属性を検出した第二の時刻との時間間隔、又は前記第一の時刻と前記第二の時刻との時間的順序関係、又は前記所定の属性検出の継続時間の少なくとも一つ以上を用いて、制御対象の候補の削減、及び又は制御内容の候補の削減、及び又は制御対象の決定、及び又は制御内容の決定を行うことを特徴とする本実施形態に関連する上記第４３または４４の形態の制御方法である。

又、本実施形態に関連する技術の第４６の形態は、制御内容は機器の操作及び又は情報の操作を行うことを特徴とする本実施形態に関連する上記第２４〜４５の何れかの形態の制御方法である。

又、本実施形態に関連する技術の第４７の形態は、人の位置、人の姿勢、人の表情、人の動き、人の音声、人の生理状態、特定個人であること、人の体型、人の体重、人の性別、人の年齢、人の心身的不自由度、又は人の付帯物のうち少なくとも１つ以上を人の属性として用いることを特徴とする本実施形態に関連する上記第２４〜４６のいずれかの形態の制御方法である。

又、本実施形態に関連する技術の第４８の形態は、制御対象の候補を決定するための人の属性と、制御内容の候補を決定するための人の属性とが異なることを特徴とする本実施形態に関連する上記第２４〜４７の何れかの形態の制御方法である。

又、本実施形態に関連する技術の第４９の形態は、制御対象の候補を決定するための人の属性と、制御内容の候補を決定するための人の属性とが同一であることを特徴とする本実施形態に関連する上記第２４〜４７の何れかの形態の制御方法である。

又、本実施形態に関連する技術の第５０の形態は、人の属性として前記人が自分の人差し指を口の前にあてる動作を検出し、前記動作に基づいて音を発する機器及び音量を制御する機器を制御対象の候補とし、音量を小さくする制御を制御内容の候補とすることを特徴とする本実施形態に関連する上記第４９の形態の制御方法である。

又、本実施形態に関連する技術の第５１の形態は、人の属性として前記人が手で耳をふさぐ動作を検出し、前記動作に基づいて音を発する機器及び音量を制御する機器を制御対象の候補とし、音量を小さくする制御を制御内容の候補とすることを特徴とする本実施形態に関連する上記第４９の形態の制御方法である。

又、本実施形態に関連する技術の第５２の形態は、人の属性として前記人が手で顔又は身体の一部を扇ぐ動作を検出し、前記動作に基づいて空調を制御する機器及び窓を制御対象の候補を制御対象の候補とし、設定温度の低下又は換気を制御内容の候補とすることを特徴とする本実施形態に関連する上記第４９の形態の制御方法である。

又、本実施形態に関連する技術の第５３の形態は、人の属性として前記人が耳を手の横に添える動作を検出し、前記動作基づいて音を出す機器及び音量を制御する機器を制御対象の候補とし、音量を大きくする制御を制御内容の候補とすることを特徴とする本実施形態に関連する上記第４９の形態の制御方法である。

又、本実施形態に関連する技術の第５４の形態は、本実施形態に関連する上記第１〜５３のいずれかの形態の制御方法における動作の全部又は一部をコンピュータで実現するためのプログラムを格納したことを特徴とするプログラム記録媒体である。

この様に、本実施形態に関連する技術の形態は、単一又は複数の人の属性を継続的あるいは間欠的に監視し、人の所定の属性の検出に基づいて所定の機器の制御を行うことを特徴とする制御方法である。また、人の所定の属性に基づき、制御対象の候補及び制御内容の候補を決定し、前記制御対象の候補及び前記制御内容の候補に基づき制御対象及び制御内容を決定することを特徴とする制御方法である。さらに、複数の人の属性の検出に基づき、前記人ごとに制御対象の候補及び制御内容の候補を決定し、前記制御対象の候補及び前記制御内容の候補に基づいて制御対象及び制御内容を決定することを特徴とする制御方法である。

以上説明したところから明らかなように、本実施形態は、人の属性を用いて機器や情報の操作を円滑に行う最に問題となる、複数の人の存在や、複数の機器の存在や、人の動作や姿勢の曖昧さなどを考慮し、人にあらかじめ定めた複雑な動作などを強いることなく、人の日常の属性を用いることで機器の制御を円滑に行うことを可能とする制御方法である。

また、人の所定の属性に基づき、制御対象ならびに制御内容を複数候補決定し、制御対象の候補と制御内容の候補の両方の情報を用いることで候補の数を限定することにより、制御対象や制御対象をより確実に特定することができる。

さらに、機器が決定した操作者や候補の内容を人に提示することや、制御対象や制御内容が決定できない場合には再度入力を促し、その後の人の属性を観察することで、人に必要な情報を提供すると同時に制御対象ならびに制御内容の決定を円滑に行うことが可能である。

また、本実施形態によれば、画面に情報を提示するだけでなく、音声によっ
ても情報を提示したりすることができるので、例えば、目の不自由な人がジェスチャーによって指示した内容を確実に音声にて確認でき、また耳の不自由な人にとっても、画面で確実に情報を確認できるので、目の不自由な人と、耳の不自由な人が混在して使用する場合などに便利であり、福祉対策上有効である。

さらにまた、間欠的に状況を監視することによって、消費電力を大きく削減することができ、地球環境保護の観点からも有効である。

本発明に係る制御方法は、複数の機器や複数の人間が近隣に存在する場合にも、より円滑に機器の操作等を行えるという効果を有し、人の動き・姿勢・状態などに基づいて機器や情報の操作・環境の制御などを行う技術として有用である。

本発明の一実施の形態を示すブロック図 本発明の二実施の形態を示すブロック図 本発明の三実施の形態を示すブロック図 本発明の四実施の形態を示すブロック図 本発明の五実施の形態を示すブロック図 本発明の六実施の形態を示すブロック図 本発明の七実施の形態を示すブロック図 本発明の八実施の形態を示すブロック図 本発明の実施の形態に於ける、人の腕や指の状態を示す図 本発明の実施の形態に於ける、人の腕や指の状態を示す図

符号の説明

１ 監視部
２ 操作者選択部
３ 制御対象候補決定部
４ 制御内容候補決定部
５ 制御対象・制御内容決定部

Claims (3)

1. 人の属性を監視し、前記監視された人の属性に基づいて予め登録した個人の属性を検出し、前記検出された個人の属性を用いて制御対象及び制御内容を決定し、制御対象の制御を行う制御方法であって、
   制御対象の決定に用いる所定の属性を検出した第一の時刻と制御内容の候補の決定に用いる所定の属性を検出した第二の時刻との時間間隔、又は前記第一の時刻と前記第二の時刻との時間的順序関係、又は前記所定の属性検出の継続時間の少なくとも一つ以上を用いて、制御対象又は制御内容の少なくとも1つを決定する制御方法。
2. 制御対象の決定に用いる所定の属性を検出した第一の時刻と制御内容の候補の決定に用いる所定の属性を検出した第二の時刻との時間間隔、又は前記第一の時刻と前記第二の時刻との時間的順序関係、又は前記所定の属性検出の継続時間の少なくとも一つ以上を用いて制御対象の候補又は制御内容の候補の少なくとも1つの削減を行う工程を更に含む請求項１記載の制御方法。
3. 複数の人の属性を監視し、前記監視された複数の人の属性からあらかじめ登録した個人の属性を検出し、前記検出された個人の属性を用いて対象者を決定し、前記検出された個人に関する所定の属性を用いて、複数の機器のうち、制御対象及び制御内容を決定し、制御対象の制御を行う制御方法であって、
   制御対象の決定に用いる所定の属性を検出した第一の時刻と制御内容の候補の決定に用いる所定の属性を検出した第二の時刻との時間間隔、又は前記第一の時刻と前記第二の時刻との時間的順序関係、又は前記所定の属性検出の継続時間の少なくとも一つ以上を用いて、制御対象又は制御内容の少なくとも１つを決定する制御方法。

Images