JP4468231B2 - User interface device, home appliance / residential equipment, and user interface presentation method - Google Patents
User interface device, home appliance / residential equipment, and user interface presentation method Download PDFInfo
- Publication number
- JP4468231B2 JP4468231B2 JP2005123564A JP2005123564A JP4468231B2 JP 4468231 B2 JP4468231 B2 JP 4468231B2 JP 2005123564 A JP2005123564 A JP 2005123564A JP 2005123564 A JP2005123564 A JP 2005123564A JP 4468231 B2 JP4468231 B2 JP 4468231B2
- Authority
- JP
- Japan
- Prior art keywords
- operator
- user interface
- interface device
- distance
- command
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
この発明は、制御対象の操作や設定を行うユーザインタフェース装置、そのユーザインタフェース装置を備える家電・住設機器およびユーザインタフェース提示方法に関するものである。 The present invention relates to a user interface device that performs operation and setting of a control target, a home appliance / residential device including the user interface device, and a user interface presentation method.
従来のユーザインタフェース装置では、予め組み込まれた形態の情報提示方法にしたがって、常に操作者に情報提示を行い、操作を行わせる形態をとっていた。操作者が近付いて操作した場合でも、少々離れた所から操作した場合でも、常に決められた方式で情報の提示を行っていた。また、ユーザインタフェース装置においては、機能の選択や、操作／設定を行うためのスイッチやボタンが並んでおり、一般に無機質で分かり難いものが多かった。音声を利用したユーザインタフェース装置でもこのような事情は同様で、操作者がどのようなメンタルモデルを抱いて機器に相対しているかには関係なく、予め定められた形態での操作が強いられていたり、スイッチやボタンの代わりに音声入力デバイスとしてマイクが置かれていたりするだけといったものが多かった。 In the conventional user interface device, the information is always presented to the operator according to the information presentation method incorporated in advance, and the operation is performed. Regardless of whether the operator approaches or operates from a distance, information is always presented in a predetermined manner. Further, in the user interface device, there are many switches and buttons for selecting functions and performing operation / setting, which are generally inorganic and difficult to understand. The situation is the same for a user interface device using voice, and the operation in a predetermined form is compelled regardless of what mental model the operator holds and the device. Or just a microphone as a voice input device instead of a switch or button.
このような課題を解決するために、本体装置とページャ端末という物理的に異なる機器を用意して本体装置の側にユーザが居るか居ないかによって情報の提示先を変更する試み（たとえば、特許文献１参照）や、擬人化された物体に埋め込まれたまたは関連付けられたカメラを持ち、擬人化された物体の操作をカメラ操作に結びつけることで自然かつ理解が容易なユーザインタフェースを提供しようとする試み（たとえば、特許文献２参照）や、クライアント／サーバ型のシステムにおいて擬人化エージェントがユーザの嗜好を質問形式で獲得して買い物をする形態のユーザインタフェースを提供する試み（たとえば、特許文献３参照）などが従来までになされている。 In order to solve such a problem, an attempt is made to change the presentation destination of information depending on whether there is a user on the side of the main unit by preparing physically different devices such as a main unit and a pager terminal (for example, patents) Reference 1), and a camera that has a camera embedded or associated with an anthropomorphic object and tries to provide a natural and easy-to-understand user interface by linking the operation of the anthropomorphic object to the camera operation An attempt (for example, see Patent Document 2) or an attempt to provide a user interface in which an anthropomorphic agent acquires a user's preference in a question form in a client / server type system for shopping (see, for example, Patent Document 3) ) Etc. have been made so far.
しかしながら、従来のユーザインタフェース装置も、以下に示すような問題点を有していた。つまり、ユーザフレンドリな操作系の実現を目指して擬人的なインタフェースを採用した場合、機器の操作をよく理解しており、素早い操作を望む操作者にとってはこの方式は却って煩わしいという結果になることが多かった。また、機器というものに苦手意識を持つ操作者にとっては無機質で機械的なインタフェースを採用したユーザインタフェース装置では取っ付き難く、分かり難いという結果になることが多かった。たとえば、１台の機器を複数の操作者で使用するような家電機器や住宅における設備機器では、このように様々なメンタルモデルを有する操作者への対応が必要となるが、従来の方式では画一的なユーザインタフェースしか提供していないために、操作者各人が機器に対して抱くメンタルモデルに追随することができず、操作性の向上が望めなかった。また、家電機器や設備機器の表示が見え難い場合に操作者がその表示部に顔を近付けたり、音声入力のために操作者がマイクに顔を近づけたりするなどして家電機器や設備機器を操作する結果、家電機器や設備機器が物理的な動作を行う場合などには、家電機器や設備機器に近付いている操作者に対して危険が発生することもあった。 However, the conventional user interface device also has the following problems. In other words, when an anthropomorphic interface is adopted with the aim of realizing a user-friendly operation system, the operation of the device is well understood, and this method may be troublesome for an operator who wants a quick operation. There were many. In addition, it is difficult for an operator who is not good at equipment to use a user interface device that employs an inorganic and mechanical interface, and is often difficult to understand. For example, home appliances that use a single device with multiple operators and equipment in homes need to support operators with various mental models. Since only a single user interface is provided, it is impossible to follow the mental model that each operator has for the device, and improvement in operability cannot be expected. In addition, when it is difficult to see the display of household electrical appliances and equipment, the operator brings the face close to the display, or the operator brings the face close to the microphone for voice input. As a result of the operation, when home appliances or facility devices perform physical operations, there may be a danger to an operator approaching the home appliances or facility devices.
この発明は、上記に鑑みてなされたもので、様々な操作者がそれぞれに抱いているメンタルモデルに沿ったユーザインタフェースを提供することができるユーザインタフェース装置とそのユーザインタフェース装置を備える家電・住設機器およびユーザインタフェース提示方法を得ることを目的とする。また、ユーザインタフェース装置と操作者との距離を制御することができるユーザインタフェース装置とそのユーザインタフェース装置を備える家電・住設機器およびユーザインタフェース提示方法を得ることも目的とする。 The present invention has been made in view of the above, and a user interface device capable of providing a user interface according to a mental model held by various operators, and a home appliance / housing provided with the user interface device An object is to obtain a device and a user interface presentation method. It is another object of the present invention to obtain a user interface device that can control the distance between the user interface device and an operator, a home appliance / household device including the user interface device, and a user interface presentation method.
上記目的を達成するため、この発明にかかるユーザインタフェース装置は、操作者からの音声による指示を所定のコマンドに解釈し、前記操作者に対しては表示を行って所定の情報を伝えるユーザインタフェース装置において、前記操作者の音声による指示を受け付ける音声入力手段と、表示手段と、当該ユーザインタフェース装置から前記操作者までの操作者距離を測定する操作者位置検出手段と、前記操作者位置検出手段によって測定された前記操作者距離を、前記操作者の当該ユーザインタフェース装置に対して抱くメンタルモデルにしたがって定めた所定値と比較する操作者位置判定機能、前記操作者距離が所定値以上の場合に、擬人的な内容を前記表示手段に表示させる操作者位置離隔用インタフェース提示制御機能、および前記操作者距離が所定値以下の場合に、機械的な内容を前記表示手段に表示させる操作者位置近接用インタフェース提示制御機能を有する全体制御手段と、を備えることを特徴とする。 In order to achieve the above object, a user interface device according to the present invention interprets a voice instruction from an operator into a predetermined command, and displays the information to the operator by displaying the information. A voice input means for receiving an instruction by the voice of the operator, a display means, an operator position detection means for measuring an operator distance from the user interface device to the operator, and the operator position detection means. An operator position determination function for comparing the measured operator distance with a predetermined value determined according to a mental model held by the operator on the user interface device , when the operator distance is a predetermined value or more, An operator position separation interface presentation control function for displaying anthropomorphic content on the display means; and If the author distance is less than a predetermined value, characterized in that it comprises a main control device with mechanical contents to be displayed on said display means the operator position proximate interface presentation control function.
この発明によれば、操作者距離から操作者が機器に対して抱いているメンタルモデルを判定し、各操作者のメンタルモデルに追随した操作系を実現できるので、機器に対しての馴染み度合の異なる複数の操作者のそれぞれに対して操作性の向上を図ることができるという効果を有する。 According to the present invention, it is possible to determine the mental model that the operator has with respect to the device from the operator distance, and to realize an operation system that follows the mental model of each operator. There is an effect that operability can be improved for each of a plurality of different operators.
以下に添付図面を参照して、この発明にかかるユーザインタフェース装置、家電・住設機器およびユーザインタフェース提示方法の好適な実施の形態を詳細に説明する。 Exemplary embodiments of a user interface device, a home appliance / residential appliance, and a user interface presentation method according to the present invention will be described below in detail with reference to the accompanying drawings.
実施の形態１．
図１は、この発明にかかるユーザインタフェース装置の実施の形態１の構成を模式的に示すブロック図である。このユーザインタフェース装置１０は、家電機器や住宅の設備機器（以下、操作対象機器という）に組み込まれて構成される装置であり、操作者からのコマンドを音声入力として受付ける音声入力部１１と、操作者のコマンドを解釈するコマンド解釈部１２と、ユーザインタフェース装置１０からの操作者の位置（距離）を検出する操作者位置検出部１３と、操作者に対して所定の情報の表示を行う表示部１４と、操作者の位置に基づいて表示部１４に表示させる内容を変化させる全体制御部１５と、を備える。
Embodiment 1 FIG.
FIG. 1 is a block diagram schematically showing the configuration of the first embodiment of the user interface device according to the present invention. The
音声入力部１１は、マイクなどの音声を検出する手段から構成され、操作者からの音声による指示を音声入力として受信する。
The
コマンド解釈部１２は、音声入力部１１からの音声入力をユーザインタフェース装置１０が備えられる操作対象機器で解釈可能なコマンドに変換する。このコマンド解釈部１２は、たとえば、操作対象機器で実行可能なコマンドに対して、同等な内容の用語を登録したコマンド解釈辞書を有し、音声入力された内容を、コマンド解釈辞書を参照して操作対象機器へのコマンドへと変換し、図示しない操作対象機器の制御部へと出力する。なお、ユーザインタフェース装置１０が配置される空間に存在する人の話し声と、ユーザインタフェース装置１０への指示とを区別するために、音声入力は所定の形式で行う必要がある。たとえば、従来公知の「冷蔵庫君、急速冷凍して。」や「冷蔵庫、急速冷凍オン。」というように、ユーザインタフェース装置１０またはユーザインタフェース装置１０を備える操作対象機器に付した名前に続けて、指示を発音するようにすることで、指示とそうでない話し声とを区別する方法などを用いることができる。
The
操作者位置検出部１３は、ユーザインタフェース装置１０またはこのユーザインタフェース装置１０が備えられる操作対象機器の近辺に人（操作者）が存在する場合に、その操作者までの距離を検出し、その結果を全体制御部１５に出力する。このような操作者位置検出部１３として、たとえば、焦電型センサと赤外線方式の測距センサとを組み合わせた装置を用いることができる。
The operator
表示部１４は、液晶ディスプレイ装置などの表示手段から構成され、操作者の位置に応じた表示内容を表示する。
The
全体制御部１５は、操作者のメンタルモデルに基づいて表示部１４に表示させる内容を変化させる機能を有し、操作者位置がメンタルモデルに基づいて定まる所定値と比較して遠いか近いかを判定する操作者位置判定部１５１と、ユーザインタフェース装置１０を擬人的に捉えている操作者に対して表示を行う操作者位置離隔用インタフェース提示制御部１５２と、ユーザインタフェース装置１０を無機質で機械的なものと捉えている操作者用に表示を行う操作者位置近接用インタフェース提示制御部１５３と、を有する。
The
ここで、操作者のメンタルモデルに基づいた表示内容の切替えについて説明する。この実施の形態１では、操作者がユーザインタフェース装置１０に対してどのようなメンタルモデルを抱いているかを、操作者のユーザインタフェース装置１０からの距離によって判定している。具体的には、所定値よりも離れている位置に存在する操作者は、ユーザインタフェース装置１０を擬人的に（話し相手として）捉えているものとし、所定値よりも近い位置に存在する操作者は、ユーザインタフェース装置１０を無機質で機械的なものと捉えているものとしている。これは、たとえば人と人との会話では、ある程度の距離を保って行い、顔と顔が接するような状態で話すことはないことから、所定の距離をおいてユーザインタフェース装置１０に指示を行う操作者は、ユーザインタフェース装置１０を擬人的に捉えていると考えることができる。また、たとえばマイクに向かって声を出すときには、人は口をマイクに接するくらいに近づけて発声することから、所定の距離よりも近い距離でユーザインタフェース装置１０に指示を行う操作者は、ユーザインタフェース装置１０を機械的に捉えていると考えることができる。以上により、この実施の形態１では、ユーザインタフェース装置１０からの距離によって操作者のメンタルモデルを判定している。なお、全体制御部１５で判定されるユーザインタフェース装置１０からの所定の距離は、上述した人の特性を統計的に調べることによって得ることができる。
Here, switching of display contents based on the operator's mental model will be described. In the first embodiment, what kind of mental model the operator holds for the
操作者位置判定部１５１は、操作者位置検出部１３から渡された操作者位置と予め設定される所定値とを比較して、操作者位置が所定値よりも大きい場合には操作者位置離隔用インタフェース提示制御部１５２を動作させ、操作者位置が所定値よりも小さい場合には操作者位置近接用インタフェース提示制御部１５３を動作させる。なお、操作者距離が所定値と等しい場合には、操作者位置離隔用インタフェース提示制御部１５２を動作させてもよいし、操作者位置近接用インタフェース提示制御部１５３を動作させてもよい。
The operator
操作者位置離隔用インタフェース提示制御部１５２は、初期状態にあるときおよびユーザインタフェース装置１０の前の所定の距離よりも離れた位置に操作者を検出したときに、操作者位置離隔用の表示画面を表示部１４に表示させる。具体的には、上述したようにユーザインタフェース装置１０から所定の距離よりも離れて存在する操作者は、ユーザインタフェース装置１０を擬人的に捉えていると判定することができるので、表示部１４に擬人的な画像や動物的な画像など、ユーザフレンドリな画面を表示する。
The operator position separation interface
操作者位置近接用インタフェース提示制御部１５３は、ユーザインタフェース装置１０の前の所定の距離よりも近い位置に操作者を検出したときに、操作者位置近接用の表示画面を表示部１４に表示させる。具体的には、上述したようにユーザインタフェース装置１０から所定の距離よりも近くに存在する操作者は、ユーザインタフェース装置１０を機械的に捉えていると判定することができるので、表示部１４にマイクなどの無機質で機械的な画像を表示する。
The operator position proximity interface
ここで、このような構成のユーザインタフェース装置１０の表示画面の切替え処理について説明する。図２は、ユーザインタフェース装置の動作処理手順を示すフローチャートであり、図３−１〜図３−２は、ユーザインタフェース装置とその操作者の位置関係を模式的に示す図であり、図４−１〜図４−２は、ユーザインタフェース装置の表示部に表示される画像の一例を示す図である。ここでは、ユーザインタフェース装置１０は、家電機器や住宅の設備機器（以下、住設機器という）などの操作対象装置３０に備えられている場合が示されている。
Here, a display screen switching process of the
まず、ユーザインタフェース装置１０が設けられている操作対象機器に対して音声による指示を出そうとして、操作者がユーザインタフェース装置１０の操作者位置検出範囲に侵入すると、操作者位置検出部１３は操作者位置を検出し、操作者位置までの距離である操作者距離を計測し（ステップＳ１１）、その結果を全体制御部１５に渡す。全体制御部１５の操作者位置判定部１５１は、操作者位置検出部１３から受取った操作者距離を操作者のメンタルモデルを判定するための所定値と比較し、操作者距離が所定値よりも大きいか否かを判定する（ステップＳ１２）。
First, when an operator enters the operator position detection range of the
たとえば、図３−１に示されるようにユーザインタフェース装置１０（操作対象機器３０）と操作者５０との間の操作者距離Ｒが所定値Ａよりも大きい場合（ステップＳ１２でＹｅｓの場合）には、操作者は操作対象機器３０を話し相手として捉えているものとして、操作者位置離隔用インタフェース提示制御部１５２を駆動させる（ステップＳ１３）。操作者位置離隔用インタフェース提示制御部１５２は、操作者が操作対象機器を話し相手として捕らえていると判断しているので、表示部１４に図４−１に示されるように人の顔１０１などの擬人的な表示画面１００を表示させる（ステップＳ１４）。
For example, as shown in FIG. 3A, when the operator distance R between the user interface device 10 (operation target device 30) and the
一方、図３−２に示されるようにユーザインタフェース装置１０（操作対象機器３０）と操作者５０との間の操作者距離Ｒが所定値Ａよりも小さい場合（ステップＳ１２でＮｏの場合）には、操作者は操作対象機器３０を機械的なものとみなしているものとして、操作者位置近接用インタフェース提示制御部１５３を駆動させる（ステップＳ１５）。操作者位置近接用インタフェース提示制御部１５３は、操作者が操作対象機器をそのままの機器とみなしていると判断しているので、表示部１４に図４−２に示されるようにマイク１１１などの機械的な表示画面１１０を表示させる（ステップＳ１６）。
On the other hand, as shown in FIG. 3B, when the operator distance R between the user interface device 10 (operation target device 30) and the
その後またはステップＳ１４の後、ユーザインタフェース装置１０は、操作者からの音声による操作の指示を受付け可能な状態に入り（ステップＳ１７）、処理が終了する。
After that or after step S14, the
図４−１のように、人の顔１０１を模した擬人的な表示画面１００を表示部１４に表示し、さらに音声による応答や問い掛けなども加えることにより、あたかも操作者と操作対象機器とが会話をしているかのようなユーザインタフェースを実現することができる。このように擬人的な操作者位置離隔用インタフェースを用いれば、機器を話し相手とみなすことができるような環境を作り出し、操作者に、より話し掛け易いユーザインタフェースを提供することができる。
As shown in FIG. 4A, an
また、図４−２のように、マイク１１１などの機械的な表示画面１１０を表示部１４に表示することにより、操作者が音声によって話し掛けている相手は、人のような話し相手ではなく、音声入力を行なって操作する機器そのものである、ということをより明確に提示するユーザインタフェースを実現することができる。機器を機器そのものとして受け入れている操作者にとってはこのような形式のユーザインタフェースの方がより音声を入力しやすくなり、より操作性の高いユーザインタフェースを提供できる。
Also, as shown in FIG. 4B, by displaying a
たとえば、この実施の形態１のユーザインタフェース装置１０を、操作対象機器であるファンヒータに組み込んだ場合を考えると、ある程度距離を置いて話し掛ける操作者に対しては図４−１のような擬人的インタフェースを提示し、ある程度以上近付いて操作しようとする操作者には図４−２のような機械的なインタフェースを提示する。図４−１のような擬人的な操作者位置離隔用インタフェースでは、たとえば操作者からの「ファンヒータ、点いて」と言った話し掛けを音声入力として、この指示をコマンドに変換してファンヒータを起動する。また、図４−２のような機械的な操作者位置近接用インタフェースでは、操作者はマイクに向かって「ファンヒータ、ＯＮ」といった操作のための音声コマンドの入力を行い、ファンヒータを起動する。
For example, considering the case where the
操作の進め方に関しても、擬人的な操作者位置離隔用インタフェースの場合には、擬人化された表示が操作者に説明を加えながら操作手順を誘導したり、擬人化された機器と操作者とが対話をしながら操作内容を決めていったりするなど、あまり機器になじみの無い操作者でも操作できるようにするための機能を盛り込んでもよい。一方、機械的な操作者位置近接用インタフェースを提示している場合には、上述した理由により操作者は機器に馴染んでいるとみなすことができるので、日頃よく行なう操作をすぐに実行できるように、音声による操作指示を直接受け付けるようにしたり、その助けとして入力可能な音声コマンドの候補を表示部１４に文字情報として提示したり、さらにはその他説明や指示などの書かれた文字情報を提示したりしてもよい。
Regarding the way of operation, in the case of an anthropomorphic operator position separation interface, the anthropomorphic display guides the operation procedure while explaining the operator, or the anthropomorphic equipment and the operator A function for enabling an operator who is unfamiliar with the device to perform the operation, such as deciding the operation content while interacting, may be incorporated. On the other hand, when a mechanical operator position proximity interface is presented, the operator can be regarded as familiar with the device for the reasons described above, so that frequently performed operations can be performed immediately. The user can directly accept voice operation instructions, presents voice command candidates that can be input as text information on the
また、機器への理解度の違いという性質を利用して、擬人的インタフェースの場合と機械的インタフェースの場合とで操作可能な範囲を変更してもよい。たとえば擬人的な操作者位置離隔用インタフェースでは一部の制限された機能のみを操作可能とし、機械的な操作者位置近接用インタフェースでは詳細な機能まで操作可能とするなどのようにしてもよい。前述のファンヒータで例示すれば、擬人的な操作者位置離隔用インタフェースではファンヒータのＯＮ／ＯＦＦのみを操作可能とし、機械的な操作者位置近接用インタフェースではＯＮ／ＯＦＦに加え、温度設定や風量設定、チャイルドロックなども操作できるように設定してもよい。 In addition, the range of operations may be changed between an anthropomorphic interface and a mechanical interface by using the nature of a difference in the degree of understanding of devices. For example, only some limited functions can be operated in the anthropomorphic operator position separation interface, and detailed functions can be operated in the mechanical operator position proximity interface. For example, in the case of the fan heater described above, the anthropomorphic operator position separation interface allows only the fan heater to be turned on / off, and the mechanical operator position proximity interface provides on- You may set so that air volume setting, child lock, etc. can be operated.
このような処理を実行するユーザインタフェース装置１０は、ＭＰＵ（Micro Processing Unit）とメモリを備える制御手段に、表示手段およびマイクが接続されて構成され、家電機器や住設機器などの操作対象機器に組み込まれて使用される。また、メモリには、上記処理を実行するためのソフトウェアがプログラムとしてメモリに格納される。ただし、操作対象機器にも自機器を制御するＭＰＵやメモリを備える構成の場合には、操作対象機器の設計段階で、操作対象機器のＭＰＵやメモリとユーザインタフェース装置１０のＭＰＵとメモリを共通化するようにしてもよい。
The
なお、上述した説明では表示部１４には表示画面として人の顔の画像を表示したり、マイクの画像を表示したり、音声による応答、問い掛けなどを表示（出力）したり文字によりコマンド候補を表示したりする場合を例に挙げたが、これらは一例であり、表示部１４としては光、文字、アイコン（図形、絵）、幾何学模様、報知音（ビープ音やメロディ音、自然界の音、創作的な音など）または音声などを利用するものであってもよいし、またこれらのうちの複数の要素を任意に組み合わせたものを利用するものであってもよい。これらの要素を用いることによって、操作者位置離隔用インタフェースでは、擬人的な画像として、前述した人の顔を模した画像の他に、ロボットや愛玩動物など、話し相手と認識できるような表現の画像を用いることができる。また、操作者位置近接用インタフェースでは、機械的な画像として、前述したマイクの表示や文字の他に、機器のスイッチの画像やアイコンなど、機器を意識させるような表現の画像を用いることができる。
In the above description, the
この実施の形態１によれば、操作者位置（操作者距離）から操作者が機器に対して抱いているメンタルモデルを判定し、各操作者のメンタルモデルに追随した操作系を実現できるので、機器に対しての馴染み度合の異なる複数の操作者のそれぞれに対して操作性の向上を図ることができる。 According to the first embodiment, it is possible to determine the mental model that the operator has with respect to the device from the operator position (operator distance), and to realize an operation system that follows the mental model of each operator. It is possible to improve operability for each of a plurality of operators having different degrees of familiarity with the device.
実施の形態２．
実施の形態１では、操作対象機器の操作者のメンタルモデルを操作者距離に基づいて判定して、表示部に表示させる表示画面を変化させるユーザインタフェース装置を説明した。この実施の形態２では、操作者と操作対象機器との間の距離すなわち操作者距離を制御させるために表示部に表示させる表示画面を変化させるユーザインタフェース装置について説明する。なお、この実施の形態２でも、ユーザインタフェース装置は、実施の形態１の図１と同一の機能構成を有する。以下に、実施の形態１と異なる処理を実行する構成要素について説明し、実施の形態１と同一の機能を有する構成要素についての説明は省略する。
Embodiment 2. FIG.
In the first embodiment, the user interface device that determines the mental model of the operator of the operation target device based on the operator distance and changes the display screen displayed on the display unit has been described. In the second embodiment, a user interface device that changes a display screen displayed on a display unit in order to control a distance between an operator and an operation target device, that is, an operator distance will be described. In the second embodiment, the user interface device has the same functional configuration as that of the first embodiment shown in FIG. In the following, components that execute processing different from that of the first embodiment will be described, and description of components having the same functions as those of the first embodiment will be omitted.
全体制御部１５は、コマンド解釈部１２によって解釈された音声入力部１１からの操作者の指示と、操作者位置検出部１３によって測定されたその操作者までの距離である操作者距離に基づいて、操作者をよりユーザインタフェース装置１０から遠ざけさせたい場合には操作者位置離隔用インタフェース提示制御部１５２を駆動し、ユーザインタフェース装置１０側に近づけさせたい場合には操作者位置近接用インタフェース提示制御部１５３を駆動する。
The
操作者をユーザインタフェース装置１０から遠ざけさせたい場合として、たとえば、操作者の指示が、操作対象機器の現在の設置空間よりも広い空間に物理的な影響を及ぼすものである場合が挙げられる。より具体的には、操作対象機器が開閉可能な扉を有する場合で、扉を閉状態から開状態となるように操作者が指示を出した場合でかつその扉が開状態となった時にその扉の移動範囲に操作者が存在する場合や、操作対象機器が加熱可能な構成を有する場合で、ある温度まで加熱するように操作者が指示を出した場合でかつその加熱によって操作者に危険が及ぶ可能性のある範囲に操作者が存在する場合などを例示することができる。また、操作者をユーザインタフェース装置１０に近づけさせたい場合として、たとえば、音声入力部１１から入力した操作者の指示が音圧不足によって判別することができない場合や、操作者が何度も指示を間違えている場合などを例示することができる。
As a case where the operator wants to move away from the
つまり、操作者位置判定部１５１は、コマンド解釈部１２によって操作対象機器の現在の設置空間よりも広い空間に影響を及ぼすコマンドと判定されかつ操作者位置検出部１３によって測定された操作者距離が所定値よりも小さい場合に、操作者位置離隔用インタフェース提示制御部１５２を駆動し、コマンド解釈部１２によって音声入力部１１からの操作者の指示が識別できなかった場合に、操作者位置近接用インタフェース提示制御部１５３を駆動する。
That is, the operator
また、操作者位置離隔用インタフェース提示制御部１５２は、コマンド解釈部１２によって操作対象機器の現在の設置空間よりも広い空間に影響を及ぼすコマンドと判定されかつ操作者位置検出部１３によって測定された操作者距離が所定値よりも小さい場合に、操作者を現在位置よりも遠ざけさせる（離隔させる）ように、表示部１４に擬人的な画像などの表示画面を表示させる。これは、実施の形態１で説明したように、擬人的な画像などを表示させることで、操作者に操作対象機器を機器などではなく人（話し相手）として認識させるためである。
Further, the operator position separation interface
さらに、操作者位置近接用インタフェース提示制御部１５３は、コマンド解釈部１２によって音声入力部１１からの操作者の指示が識別できなかった場合に、操作者を現在位置よりも近づけさせる（近接させる）ように、表示部１４に機械的な画像や小さいフォントの文字で構成したコマンドの一覧情報などの表示画面を表示させる。これは、実施の形態１で説明したように、機械的な画像を表示させることで、操作者に操作対象機器をそのままの機器として認識させるためである。また、表示させる文字を小さくしたりすることで、操作者はよりユーザインタフェース装置１０の表示部１４の表示内容を確認するために近付いて、音声を入力するようになるからである。
Further, the operator position proximity interface
ここで、このような構成のユーザインタフェース装置１０の表示画面の表示処理について説明する。図５は、ユーザインタフェース装置の表示処理手順の一例を示すフローチャートであり、図６−１〜図６−２は、ユーザインタフェース装置を冷蔵庫に組み込んだ場合の一例を示す図である。
Here, display processing of the display screen of the
まず、ユーザインタフェース装置１０が設けられている操作対象機器に対して操作者から音声による指示が出されると（ステップＳ３１）、音声入力部１１はその音声をコマンド解釈部１２に渡す。コマンド解釈部１２は、受取った音声から操作者によって指示された内容を示すコマンドに解釈し（ステップＳ３２）、その結果を全体制御部１５に渡す。なお、コマンド解釈部１２は、音声を解釈することができなかった場合には、解釈することができなかった旨の信号を全体制御部１５に渡すものとする。
First, when an instruction is given by voice to the operation target device provided with the user interface device 10 (step S31), the
全体制御部１５の操作者位置判定部１５１は、コマンド解釈部１２から指示を解釈することができない旨の信号を受取ったか否かを判定する（ステップＳ３３）。指示を解釈することができない旨の信号を受取った場合（ステップＳ３３でＹｅｓの場合）には、操作者位置近接用インタフェース提示制御部１５３を駆動し（ステップＳ３４）、図６−１に示されるように機械的な画像やフォントを小さくした文字などの操作者近接用画面を表示部１４に表示させる（ステップＳ３５）。その後、操作者位置近接用インタフェース提示制御部１５３は、ステップＳ３５の操作者近接用画面を所定の回数、表示したか否かを判定する（ステップＳ３６）。所定の回数、ステップＳ３５の操作者近接用画面を表示していない場合（ステップＳ３６でＮｏの場合）には、再びステップＳ３１へと処理が戻る。また、所定の回数、ステップＳ３５の操作者近接用画面を表示した場合（ステップＳ３６でＹｅｓの場合）には、操作者位置近接用インタフェース提示制御部１５３は、指示を解釈できない旨のエラーメッセージを操作者に対して通知し（ステップＳ３７）、処理を終了する。これにより、操作者に対してもう一度最初から処理をやり直しさせる。
The operator
一方、全体制御部１５の操作者位置判定部１５１は、コマンド解釈部１２から指示を解釈することができない旨の信号を受取らなかった場合（ステップＳ３３でＮｏの場合）すなわち操作者の指示をコマンドとして受取ることができた場合には、そのコマンドの実行結果が操作対象機器の現在の設置空間よりも広い空間に影響を及ぼすものか否かを判定する（ステップＳ３８）。そのコマンドの実行結果が操作対象機器の現在の設置空間よりも広い空間に影響を及ぼすものである場合（ステップＳ３８でＹｅｓの場合）には、操作者位置検出部１３から操作者までの距離である操作者距離を取得する（ステップＳ３９）。その後、操作者位置判定部１５１は、操作者距離が所定値よりも大きいか否かを判定する（ステップＳ４０）。なお、このステップＳ４０における所定値とは、コマンドの実行によって操作対象機器が外部に及ぼす影響のうち操作者に対する影響が及ばない操作対象機器（ユーザインタフェース装置１０）からの距離である。
On the other hand, the operator
操作者距離が所定値よりも小さい場合（ステップＳ４０でＮｏの場合）には、操作者位置判定部１５１は操作者位置離隔用インタフェース提示制御部１５２を駆動し（ステップＳ４１）、図６−２に示されるように擬人的な画像などの操作者離隔用画面を表示部１４に表示させる（ステップＳ４２）。その後、操作者位置離隔用インタフェース提示制御部１５２は、ステップＳ４２の操作者離隔用画面を所定の回数、表示したか否かを判定する（ステップＳ４３）。所定の回数、ステップＳ４２の操作者離隔用画面を表示していない場合（ステップＳ４３でＮｏの場合）には、ステップＳ３９に戻り、操作者距離が所定値より大きくなるまで、ステップＳ３９〜Ｓ４２の処理を繰り返し実行する。また、所定の回数、ステップＳ４２の操作者近接用画面を表示した場合（ステップＳ４３でＹｅｓの場合）には、操作者位置離隔用インタフェース提示制御部１５２は、コマンドを実行できない旨のエラーメッセージを操作者に対して通知する（ステップＳ４４）。たとえば、「近くでは危険ですのでこの操作はできません」のエラーメッセージを表示部１４に表示させたり、音声で出力させたりすることができる。以上により、ユーザインタフェース装置１０の表示処理手順が終了する。
When the operator distance is smaller than the predetermined value (No in step S40), the operator
また、ステップＳ３８でコマンドの実行結果が操作対象機器の現在の設置空間よりも広い空間に影響を及ぼすものではない場合（ステップＳ３８でＮｏの場合）またはステップＳ４０で操作者距離が所定値よりも大きい場合（ステップＳ４０でＹｅｓの場合）には、全体制御部１５は、コマンド解釈部１２で解釈されたコマンドを操作対象機器に送信し（ステップＳ４５）、処理が終了する。
Further, when the command execution result does not affect a space larger than the current installation space of the operation target device in step S38 (in the case of No in step S38), or in step S40, the operator distance is greater than a predetermined value. If larger (Yes in step S40), the
この実施の形態２のユーザインタフェース装置１０では、音声入力部１１に入力された音声コマンドにより全体制御部１５が表示部１４に提示する内容を変化させるなど、ユーザインタフェースの手順を制御しながら処理が進められる。
In the
たとえば、図６−１〜図６−２のように、冷蔵庫３１の操作パネルとしてこの実施の形態２のユーザインタフェース装置１０を適用した場合、冷蔵庫３１の扉を開けるアプリケーションとして「冷蔵庫、ドアオープン」という音声コマンドを受け付けるとすると、開扉に際して操作者が扉に近付きすぎていては危険である。そのため、全体制御部１５は「ドアオープン」コマンドが受付可能になる前に、図６−２の表示部１４に示されるように、人の顔などの擬人的な画像の表示を操作者位置離隔用インタフェース提示制御部１５２に行なわせるようにして操作者が機器との距離を大きめに取るように仕向ける。実施の形態１と同様に、操作者は機器が擬人化されることにより、機器を話し相手とみなすようになり、ある程度の距離を保つようになることが期待できる。
For example, as shown in FIGS. 6-1 to 6-2, when the
また逆に、ある時点で操作者を機器に引き寄せたい状況になった場合には全体制御部１５は操作者位置近接用インタフェース提示制御部１５３を利用して、表示部１４に機械的なインタフェースでの表示を行なわせる。たとえば、操作者が音声コマンドの言葉を正確に思い出せないなどして何度かコマンド入力に失敗したときに詳細の確認を促す場合や、機器が取得した音声レベル（音圧）が低く（すなわち声が小さく）、もっと近くで発話してもらった方がよいと判断したような場合に、全体制御部１５は操作者位置近接用インタフェース提示制御部１５３を利用して、図６−１に示されるような文字表示を表示部１４に提示して操作者が機器との距離を縮めるように仕向ける。
On the other hand, if it is desired to attract the operator to the device at a certain point in time, the
なお、それまで擬人的な操作者離隔用画面を表示していた場合には機械的な操作者近接用画面に表示を切り替えるだけでよいが、それまでも操作者近接用画面を表示していた場合にはより小さな文字や絵などの表示に切り替えるようにすることもできる。このようにすることで、操作者はよりよく表示を見ようとして機器との間の距離を縮めることが期待できる。たとえば、最初に図２−２のようなマイクが表示部１４に表示されていたが、操作者が音声コマンドの入力に何度か失敗した結果、図６−１のような表示に切り替ったとする。図７は、図６−１のユーザインタフェース装置の表示部に表示される内容の一例を示す図である。操作者が近寄って見ると、この図７のように表示されていたとすると、操作者は自分の発話していたコマンド（言葉）に誤りがあることに気付き、その場で言い直すことにより、正確な用語・発音で、かつより音声レベルが高く入力される可能性が高まり、結果的に操作性の向上につながる。
If an anthropomorphic operator separation screen has been displayed until then, it is only necessary to switch the display to the mechanical operator proximity screen, but until then the operator proximity screen has been displayed. In some cases, it is possible to switch to display of smaller characters and pictures. By doing so, the operator can expect to reduce the distance to the device in order to better see the display. For example, the microphone as shown in FIG. 2-2 was initially displayed on the
なお、図５の説明では、コマンドの実行結果が操作対象機器の現在の設置空間よりも広い空間に影響を及ぼすものであり、そして、操作対象機器から所定の範囲内に操作者が存在する場合に、操作者がその範囲から外れない限りコマンドが実行されない場合を示したが、これに限定されず、たとえば操作対象機器に扉が設けられており、この扉を開ける命令の際には、操作者距離を考慮して、扉を開ける操作を無効にしたり、ドアの開く角度を狭めたり、ドアの開く量（スライド量）を少なくしたりするようにしてもよい。 In the description of FIG. 5, the command execution result affects a space wider than the current installation space of the operation target device, and the operator exists within a predetermined range from the operation target device. In this example, the command is not executed unless the operator deviates from the range. However, the present invention is not limited to this. For example, a door is provided on the operation target device, and an operation to open the door is performed. In consideration of the person distance, the operation of opening the door may be invalidated, the door opening angle may be narrowed, or the door opening amount (sliding amount) may be reduced.
また、上述した説明では、操作対象機器全体で、操作者に危険を及ぼさないための範囲である所定値を設定する場合を示したが、指示の対象となる操作対象機器の動作部位ごとに、操作者に危険を及ぼさないための範囲である所定値を設定するようにしてもよい。たとえば、図６−１〜図６−２の冷蔵庫３１において、扉３２Ａの開状態の範囲と扉３２Ｂの開状態の範囲とが異なる場合には、扉３２Ａを開けるための指示がなされた場合には、扉３２Ａが開くときに操作者にあたらない範囲の所定値ａで比較し、扉３２Ｂを開けるための指示がなされた場合には、扉３２Ｂが開くときに操作者があたらない範囲の所定値ｂで比較するようにすればよい。
Further, in the above description, the case where the predetermined value, which is a range for not causing danger to the operator, is set in the entire operation target device, but for each operation part of the operation target device to be instructed, You may make it set the predetermined value which is the range for not giving a danger to an operator. For example, in the
この実施の形態２によれば、表示部１４へのインタフェースの提示方法や提示内容の大きさを変更することにより、操作者位置を制御することができるので、操作対象機器が駆動されることによって生じる危険を回避したり、より操作性の高いユーザインタフェース装置１０を提供したりすることが可能となる。また、操作の際に操作者が操作対象機器に近付きすぎると危険が発生するような場合には、操作者位置検出部１３の出力も利用して、操作者と機器との距離が近過ぎるときに、たとえば扉を開ける操作を無効にしたり開くドアの角度を狭めたりといったように、操作自体や操作の結果として起きる動作を抑制するなどの安全策を取ることもできる。
According to the second embodiment, the operator position can be controlled by changing the method of presenting the interface to the
なお、実施の形態１〜２において、ユーザインタフェース装置１０をファンヒータや冷蔵庫３１に適用した例を説明したが、このユーザインタフェース装置１０が適用される対象はこれらに限られる趣旨ではなく、洗濯機、電子レンジ、オーブン、ＩＨ（Induction Heating）クッキングヒータ、エアコン、加湿／除湿器、クリーンヒータ、照明機器、テレビジョン、ビデオ機器、照明や空調などのビル設備システム機器、パソコンなどの種々の家電機器や住設機器の種々の機能や設定項目に対して適用可能である。さらに、実施の形態１と実施の形態２について、これらはそれぞれ単独で用いても双方を組み合わせて用いてもよく、適用機器、操作・設定系に応じて最も効果的な構成を構築すればよい。
In the first and second embodiments, the example in which the
以上のように、この発明にかかるユーザインタフェース装置は、ユーザからの指示に基づいた処理を行う制御機能を備える家電機器や住設機器に有用である。 As described above, the user interface device according to the present invention is useful for home appliances and housing equipment having a control function for performing processing based on an instruction from a user.
１０ ユーザインタフェース装置
１１ 音声入力部
１２ コマンド解釈部
１３ 操作者位置検出部
１４ 表示部
１５ 全体制御部
３０ 操作対象機器
３１ 冷蔵庫
５０ 操作者
１５１ 操作者位置判定部
１５２ 操作者位置離隔用インタフェース提示制御部
１５３ 操作者位置近接用インタフェース提示制御部
DESCRIPTION OF
Claims (11)
前記操作者の音声による指示を受け付ける音声入力手段と、
表示手段と、
当該ユーザインタフェース装置から前記操作者までの操作者距離を測定する操作者位置検出手段と、
前記操作者位置検出手段によって測定された前記操作者距離を、前記操作者の当該ユーザインタフェース装置に対して抱くメンタルモデルにしたがって定めた所定値と比較する操作者位置判定機能、前記操作者距離が所定値以上の場合に、擬人的な内容を前記表示手段に表示させる操作者位置離隔用インタフェース提示制御機能、および前記操作者距離が所定値以下の場合に、機械的な内容を前記表示手段に表示させる操作者位置近接用インタフェース提示制御機能を有する全体制御手段と、
を備えることを特徴とするユーザインタフェース装置。 In a user interface device that interprets a voice command from an operator into a predetermined command and displays the information to the operator and transmits predetermined information.
Voice input means for receiving instructions by the operator's voice;
Display means;
Operator position detecting means for measuring an operator distance from the user interface device to the operator;
An operator position determination function for comparing the operator distance measured by the operator position detection means with a predetermined value determined according to a mental model held by the operator on the user interface device; An operator position separation interface presentation control function for displaying an anthropomorphic content on the display means when the predetermined distance is greater than or equal to a predetermined value, and a mechanical content on the display means when the operator distance is less than or equal to a predetermined value. An overall control means having an interface presentation control function for operator position proximity to be displayed ;
A user interface device comprising:
前記操作者位置近接用インタフェース提示制御機能は、前記コマンド解釈手段によって前記操作者からの指示を解釈できなかった場合に、前記操作者を当該ユーザインタフェース装置に近づけるための操作者近接用画面を前記表示手段に表示させる機能を有することを特徴とする請求項１に記載のユーザインタフェース装置。 Further comprising command interpreting means for interpreting voice instructions input from the voice input means into commands;
The operator position proximity interface presentation control function displays an operator proximity screen for bringing the operator closer to the user interface device when the command interpretation means cannot interpret the instruction from the operator. the user interface apparatus according to claim 1, characterized in that it has a function Ru is displayed on the display means.
前記操作者位置離隔用インタフェース提示制御機能は、前記操作者距離が所定の距離以下の場合に、前記操作者を当該ユーザインタフェース装置から遠ざからせるための操作者離隔用画面を前記表示手段に表示させる機能をさらに有することを特徴とする請求項１〜３のいずれか１つに記載のユーザインタフェース装置。 When the command interpreted by the command interpreting means affects the outside rather than the current installation space of the user interface device,
The operator position separation interface presentation control function displays, on the display means, an operator separation screen for moving the operator away from the user interface device when the operator distance is equal to or less than a predetermined distance. the user interface apparatus according to any one of claims 1 to 3, further comprising a Ru function is.
前記操作者を検知すると、当該ユーザインタフェース装置から前記操作者までの操作者距離を測定する操作者距離測定工程と、
前記操作者距離を、操作者のメンタルモデルにしたがって定めた所定値と比較する比較工程と、
前記比較工程で、前記操作者距離が前記所定値以上の場合に、擬人的な内容を前記操作者に対して提示し、前記操作者距離が前記所定値以下の場合に、機械的な内容を前記操作者に対して提示する内容提示工程と、
を含むことを特徴とするユーザインタフェース提示方法。 In a user interface presentation method of a user interface device that provides a display interface for an operator who gives instructions by voice,
Upon detecting the operator, an operator distance measuring step for measuring an operator distance from the user interface device to the operator;
A comparison step of comparing the operator distance with a predetermined value determined according to the mental model of the operator;
In the comparison step, when the operator distance is equal to or greater than the predetermined value, an anthropomorphic content is presented to the operator, and when the operator distance is equal to or smaller than the predetermined value, mechanical content is displayed. A content presentation step to be presented to the operator;
A method for presenting a user interface, comprising:
前記指示がコマンドへ解釈不能の場合に、前記操作者を当該ユーザインタフェース装置に近づけるための操作者近接用画面を前記操作者に提示する操作者近接用画面提示工程と、
をさらに含むことを特徴とする請求項９に記載のユーザインタフェース提示方法。 An instruction interpretation step for interpreting a voice instruction from the operator into a command;
An operator proximity screen presenting step for presenting to the operator an operator proximity screen for bringing the operator closer to the user interface device when the instruction cannot be interpreted as a command;
The user interface presentation method according to claim 9, further comprising:
前記操作者距離測定工程で測定された前記操作者距離が、前記外部への影響が前記操作者に及ばなくなる当該ユーザインタフェース装置からの所定の距離以上か否かを判定する操作者距離判定工程と、
前記操作者距離判定工程での判定の結果、前記操作者距離が所定の距離以下の場合に、前記操作者を当該ユーザインタフェース装置から遠ざからせるための操作者離隔用画面を前記操作者に提示する操作者離隔用画面提示工程と、
をさらに含むことを特徴とする請求項１０に記載のユーザインタフェース提示方法。 When the command interpreted in the instruction interpretation step affects the outside rather than the current state of the user interface device,
An operator distance determination step for determining whether the operator distance measured in the operator distance measurement step is equal to or greater than a predetermined distance from the user interface device at which the influence on the outside does not reach the operator ; ,
As a result of the determination in the operator distance determination step, when the operator distance is equal to or less than a predetermined distance, an operator separation screen for moving the operator away from the user interface device is presented to the operator An operator separation screen presentation process,
The method for presenting a user interface according to claim 10 , further comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005123564A JP4468231B2 (en) | 2005-04-21 | 2005-04-21 | User interface device, home appliance / residential equipment, and user interface presentation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005123564A JP4468231B2 (en) | 2005-04-21 | 2005-04-21 | User interface device, home appliance / residential equipment, and user interface presentation method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006302009A JP2006302009A (en) | 2006-11-02 |
| JP4468231B2 true JP4468231B2 (en) | 2010-05-26 |
Family
ID=37470214
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005123564A Active JP4468231B2 (en) | 2005-04-21 | 2005-04-21 | User interface device, home appliance / residential equipment, and user interface presentation method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4468231B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5886720B2 (en) * | 2012-09-19 | 2016-03-16 | シャープ株式会社 | Wireless communication terminal, method, and program |
| JP6555858B2 (en) * | 2014-08-01 | 2019-08-07 | シャープ株式会社 | Apparatus, audio output method, audio output program, network system, server, and communication apparatus |
| JP2017117371A (en) * | 2015-12-25 | 2017-06-29 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | Control method, control device, and program |
| CN108109623A (en) * | 2018-01-31 | 2018-06-01 | 广东美的厨房电器制造有限公司 | Control method, control device and cooking equipment |
| CN110085235A (en) * | 2019-05-05 | 2019-08-02 | 珠海格力电器股份有限公司 | Sound control method and device |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04338817A (en) * | 1991-05-16 | 1992-11-26 | Sony Corp | Electronic equipment controller |
| JP3886074B2 (en) * | 1997-02-28 | 2007-02-28 | 株式会社東芝 | Multimodal interface device |
| JP2000339277A (en) * | 1999-05-27 | 2000-12-08 | Matsushita Electric Ind Co Ltd | Portable terminal device and data display method therefor |
| JP3067627U (en) * | 1999-09-22 | 2000-04-07 | 株式会社アドバンテスト | Visual protection device |
| JP2002041276A (en) * | 2000-07-24 | 2002-02-08 | Sony Corp | Interactive operation-supporting system, interactive operation-supporting method and recording medium |
| JP3899241B2 (en) * | 2001-06-13 | 2007-03-28 | シャープ株式会社 | Image display system, image display method, program, and recording medium |
| JP2003140632A (en) * | 2001-11-05 | 2003-05-16 | Hitachi Ltd | Method and unit for image display |
-
2005
- 2005-04-21 JP JP2005123564A patent/JP4468231B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006302009A (en) | 2006-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102231105B1 (en) | control device and method for controlling the same | |
| CN105706395B (en) | Control apparatus and control method thereof | |
| CN105765514B (en) | Control apparatus and control method thereof | |
| CN105659179B (en) | Device and method for interacting with HVAC controller | |
| JP2005284492A (en) | Operating device using voice | |
| JP5214968B2 (en) | Object discovery method and system, device control method and system, interface, and pointing device | |
| JP4468231B2 (en) | User interface device, home appliance / residential equipment, and user interface presentation method | |
| KR101909498B1 (en) | Control Station for Remote Control of Home Appliances by Recognition of Natural Language Based Command and Method thereof | |
| CN104879882A (en) | Method and system for controlling air conditioner | |
| US10592062B2 (en) | Control apparatus | |
| TR201811142T4 (en) | Electric food processor with word recognition unit. | |
| CN110543159B (en) | Intelligent household control method, control equipment and storage medium | |
| KR100754521B1 (en) | Home network system and method for providing information therein | |
| WO2013128527A1 (en) | Communication system, communication device, and communication method | |
| EP3654170B1 (en) | Electronic apparatus and wifi connecting method thereof | |
| JP2002315069A (en) | Remote controller | |
| US20220123956A1 (en) | Server, terminal device, and method for home appliance management thereby | |
| CN109147776A (en) | Display device and acoustic control opportunity indicating means with voice control function | |
| KR102378908B1 (en) | Home automation system using artificial intelligence | |
| CN108572824A (en) | Intelligent interaction device and its homepage method for customizing, device, readable storage medium storing program for executing | |
| CN107734370A (en) | Information interacting method, information interactive device and electronic equipment | |
| JP2021158693A (en) | Portable terminal, security system, display method and program | |
| CN115884434A (en) | Connection method of terminal and household appliance, terminal, household appliance and readable storage medium | |
| US11449451B2 (en) | Information processing device, information processing method, and recording medium | |
| JP6850629B2 (en) | Security systems, mobile devices, security methods and programs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080115 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091203 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091215 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100126 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100223 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100224 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4468231 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130305 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130305 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140305 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |