JP2004033624A

JP2004033624A - Remote controller by pet type robot

Info

Publication number: JP2004033624A
Application number: JP2002197610A
Authority: JP
Inventors: Takatoshi Nakamura; 中　村　　貴　利
Original assignee: NTI Inc
Current assignee: NTI Inc
Priority date: 2002-07-05
Filing date: 2002-07-05
Publication date: 2004-02-05

Abstract

<P>PROBLEM TO BE SOLVED: To provide a remote controller which uses a pet type robot. <P>SOLUTION: This pet type robot has an autonomously movable intelligence function which remotely controls electronic equipment based on instruction information from a user. The robot is equipped with a control information table 8 for remote controlling relating individual control information of electronic equipment to instruction information from a user, a priority order setting means 6 to set a priority order on each player, a digital (sound) information memory means 3 which stores inputted instruction information as digital information, a specified user (talker) identification means 7 to analyze digital information to specify the user, an instruction information acquiring means 9 which analyzes digital information to acquire control information for electronic equipment by the control information table, a radio communication means 11 which transmits/receives control information by infrared communication or short range radio communication, and a control information transmitting means 10 to transmit/receive control information to/from electronic equipment based on a priority order and instruction information. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、自らが歩行若しくは走行しながら、利用者からの指示により各種電子機器を遠隔制御するペット型ロボットによる遠隔制御装置に関するものである。
【０００２】
【従来の技術】
音声認識技術は、飛躍的に進歩してきており、音声入力による各種電子機器の遠隔制御（リモートコントロール）も可能になっている。そうした装置としては、例えば、特開平１１−３４５０２４号に開示されている「リモコン装置」が知られている。
図４は従来のリモコン装置の構成図であり、今、利用者がテレビ、ビデオ、エアコン等の各種電子機器の中でテレビをコントロールする場合、マイク１０３に向かって「テレビ・スイッチオン・ボリュームアップ」と発声すると、その音声信号Ｓ１は、リモコン端末１０１から装置本体１０５へ送信され、音声認識部１０８において音声信号Ｓ１を音声データＤ１に変換した後、制御部１０６は記憶部１０９から単語識別音声データＤ２を読出して信号Ｄ１とＤ２を比較し、単語識別音声データＤ２から得られる制御対象キーワード、制御内容キーワードにマッチングするキーワードが音声データＤ１に含まれているか否かを判断する。
この場合の、音声データＤ１「テレビ・スイッチオン・ボリュームアップ」には、単語識別音声データＤ２として登録されているキーワードの、制御対象キーワード「テレビ」と、制御内容キーワード「スイッチオン」、「ボリュームアップ」が含まれているので、これを抽出・認識して、制御対象識別データＤ３として機能部１１２より機器名「テレビ」と、内容制御コードデータＤ４「スイッチオン」、「ボリュームアップ」を出力して、テレビをコントロールする。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来技術では、音声入力で複数の電子機器を遠隔制御（リモートコントロール）できるという便利さはあるが、各電子機器へ制御信号を送る装置本体は固定されていることから移動は不可能であり、話者の言葉を学習させて行う特定話者認識方式の場合は他の人の音声を認識できず、音声認識が話者を特定しない単語音声認識方法を採用している場合には、複数利用者が同時に操作した際に優先順位が決められていないので混乱するという問題が発生していた。さらに、話者を特定しない不特定話者認識方式を用いた場合は、演算量やメモリサイズが増大して処理に時間を要するという問題があった。
【０００４】
そこで、本発明は、装置本体をコンピュータ制御されたペット型ロボットにより構成することによって移動しながら遠隔制御できるようにして、電子機器に対する制御範囲を拡大すると共に、複数利用者が使用する場合には、それぞれの利用者を特定した利用者認識を可能にし、各利用者に対する優先順位を設定することで混乱を回避し、ペット型ロボットのインテリジェンス機能を利用する遠隔制御も可能にしたペット型ロボットによる遠隔制御装置を提供することを目的としている。
【０００５】
【課題を解決するための手段】
上記目的を達成するため、請求項１に記載の発明は、利用者からの指示情報に基づいて電子機器を遠隔制御する自律移動可能なインテリジェンス機能を有するペット型ロボットにおいて、電子機器の個々の制御情報と利用者からの指示情報とを対応付けた遠隔制御用の制御情報テーブルと、同一の制御情報が複数利用者により与えられた際の優先順位を各利用者に対して設定する優先順位設定手段と、前記利用者からの指示情報を入力しデジタル情報として記憶するデジタル情報記憶手段と、前記デジタル情報を分析し利用者毎の指示情報を識別して前記利用者を特定する特定利用者識別手段と、前記デジタル情報を分析し前記電子機器の制御情報に対応する指示情報を前記制御情報テーブルより取得する指示情報取得手段と、赤外線通信または近距離無線通信により前記電子機器と制御情報の送受信を行う無線通信手段と、前記優先順位および前記指示情報に基づき前記無線通信手段を用いて当該電子機器と制御情報の授受を行う制御情報伝達手段と、を備えることを特徴としている。
また、請求項２に記載の発明は、前記制御情報テーブルの指示情報が、少なくとも、制御対象の電子機器を表すキーワードと、該電子機器に対する制御内容を示すキーワードと、前記ペット型ロボットに対する移動命令を示すキーワードとを含むことを特徴としている。
また、請求項３に記載の発明は、前記ペット型ロボットが、前記無線通信手段を用いて前記電子機器からのステータス情報を取得し、当該電子機器から得られた情報を反映した双方向型の操作が可能な双方向制御手段を備えることを特徴としている。
また、請求項４に記載の発明は、前記ペット型ロボットが、前記無線通信手段を用いて他のペット型ロボットと直接の相互通信または前記電子機器を介した相互通信により情報を交換する情報交換手段を備えることを特徴としている。
また、請求項５に記載の発明は、前記ペット型ロボットが、前記利用者からの指示情報の履歴の保存と保存された指示情報を分析して利用者の動向を学習する指示情報学習手段と、学習した結果に基づき定期または不定期に自動的な遠隔制御を行うスケジュール手段とを備えることを特徴としている。
また、請求項６に記載の発明は、前記利用者からの指示情報が音声入力により与えられ、前記デジタル情報記憶手段が音声情報をデジタル化して記憶する手段であり、前記特定利用者識別手段が特定話者を識別する手段であることを特徴としている。
また、請求項７に記載の発明は、前記利用者からの指示情報がカメラ画像により取得され、前記デジタル情報記憶手段が取得した画像情報をデジタル化して記憶する手段であり、前記特定利用者識別手段が画像認識により特定利用者を識別する手段であることを特徴としている。
また、請求項８に記載の発明は、前記利用者からの指示情報がタッチセンサにより取得され、前記デジタル情報記憶手段がタッチセンサにより得られた信号の強弱をデジタル化して記憶する手段であり、前記特定利用者識別手段が得られた信号の強弱の変化を基に特定利用者を識別する手段であることを特徴としている。
また、請求項９に記載の発明は、前記ペット型ロボットが、前記無線通信手段を用いて前記電子機器からのステータス情報を取得し、当該電子機器から得られた情報を通知する機器情報通知手段を備えることを特徴としている。
また、請求項１０に記載の発明は、前記ペット型ロボットが、前記電子機器の個々のステータス情報と利用者への通知情報とを対応付けた通知情報テーブルを備え、前記機器情報通知手段が、前記通知情報テーブルを参照して当該通知情報を音声合成および／またはＬＥＤ点滅を含むペット型ロボットの動作・振舞により行うことを特徴としている。
【０００６】
【発明の実施の形態】
以下、本発明の実施の形態について図を参照して説明する。
図１は、本発明の実施の形態に係るペット型ロボットによる遠隔制御装置の構成図である。
図２は、図１に示す優先順位設定情報を示すテーブルである。
図３は、図１に示す指示情報を示すテーブルである。
【０００７】
図１において、１はペット型ロボットによる遠隔制御装置全体を示しており、特定利用者の識別に音声認識を用いた場合の一例である。２は利用者が音声入力を行うマイク等を用いた入力手段で、入力手段２としては、電子機器に対して遠隔操作する各種手段を備えた送信部とは分離した従来技術の図４に示すようなリモコン端末のような構成でもよいし、音声遠隔制御装置本体の組込み型でもよい。３は利用者からの音声入力をＡ／Ｄ変換しデータ処理して記憶する音声情報記憶手段で、４は制御情報や優先順位等の登録および学習と、遠隔操作を行う通常の動作とを切換える切換手段、５は制御情報及び優先順位等の登録手段である。６はテーブルを参照して利用者の優先順位を設定・選択する優先順位設定手段で、７は特定話者を識別する特定話者識別手段である。
【０００８】
８は制御情報テーブルで、登録手段５によりそれぞれ特定話者として複数の利用者毎に、電子機器の制御情報と利用者の音声入力による指示情報との対応、及び、ペット型ロボットの制御情報等を記憶している。９は音声情報記憶手段３からの音声入力情報を制御情報テーブル８と比較・参照して制御情報を取得する指示情報取得手段である。１０は赤外線通信、ブルートゥース、あるいは無線ＬＡＮなどの近距離（又は短距離）無線方式による無線通信手段１１を用いて制御命令により電子機器と送受信を行い制御する制御情報伝達手段で、１２はロボットの頭、胴、手足等を制御命令によって駆動するモーターやアクチュエータ等の肢体駆動部と、音声合成データをＤ／Ａ変換してスピーカから発声する音声出力部などで構成するペット型ロボットの出力手段である。
【０００９】
１３は電子機器から得られたステータス情報を反映してインタラクティブな遠隔操作を実現する双方向制御手段であり、１４は他のペット型ロボットと直接あるいはホームサーバー等の電子機器を介して各種情報を交換する情報交換手段である。１５は過去の指示情報の履歴に基づいて学習する指示情報学習手段であり、１６は指示情報学習手段１５と連係して制御指示を実行するためのタイマー、時計などの時間データ出力部を有するスケジュール手段である。１７は電子機器から得られたステータス情報を基に出力手段１２を用いて利用者に電子機器からの情報を通知する機器情報通知手段である。なお、ペット型ロボット自体の移動制御等のコンピュータ制御によるインテリジェンス機能については、記述していない。
【００１０】
つぎに動作について、音声認識により特定利用者を識別する例に基づいて説明する。
この場合の複数利用者は、例えば、図２に示すように、家族５人を対象に、その優先順位を、「父」、「母」、「兄」、「弟」、「妹」として家庭内の電子機器を遠隔制御するものとする。
（１）、特定話者登録、
先ず、切換手段４を切換え、登録モードにして、家族全員の特定話者登録と優先順位の登録を行う。
優先順位は、図２に示すように予め設定された順位として制御情報テーブル８の所定領域に登録される。
【００１１】
特定話者登録は、電子機器を制御する音声命令として決められている単語識別音声データを使用するもので、電子機器を制御する利用者を特定するためのものである。単語識別音声データには説明を簡単にするために従来例と同様なものを用い、図３（ａ）のように電子機器の種類を示す遠隔制御対象キーワード（テレビ、ビデオ、エアコン等）と、図３（ｂ）に示すような制御内容キーワード（スイッチオン、スイッチオフ、ボリュームアップ等）とする。
特定話者登録は利用者の音声データ自身を基準データとして登録・学習するものであり、「父」から順に、入力手段２のマイクから、図３（ａ）の対象キーワード（テレビ〜ライト）と、図３（ｂ）の内容キーワード（スイッチオン〜ライトオフ）までを順に音声入力する。
【００１２】
次に、音声情報記憶手段３は、音声入力を順次Ａ／Ｄ変換した後データ処理を行う。データ処理では、単語音声認識処理により特徴点・特徴パターンを抽出し、登録手段５によって制御情報テーブル８に制御対象キーワード（テレビ、ビデオ…）、及び制御内容キーワード（スイッチオン、スイッチオフ…）として記憶する。
この場合の音声入力は、「父」の音声データなので、優先順位「１」を識別コードとして付与してリンクさせて記憶する。なお、音声認識方式は特に限定はされず、パターン識別の他にも、音声をシンボル化するＨＭＭ（Ｈｉｄｄｅｎ　Ｍａｒｋｏｖ　Ｍｏｄｅｌ）等、各種の方式が使用可能である。
続いて、家族全員について、同様に制御キーワードの音声入力を、それぞれ特定話者登録する。
【００１３】
（２）、電子機器の遠隔制御、
以上により、家族５人のそれぞれの特定話者登録が終了したら、切換手段４を切換え通常の接続にする。
今、「父」が、図４に示した従来技術の場合と同じ様に、テレビを音声入力「テレビ・スイッチオン・ボリュームアップ」により制御する場合を想定すると、音声情報記憶手段３は入力手段２（マイク）からの音声入力をＡ／Ｄ変換して、遠隔制御対象キーワード「テレビ」と、遠隔制御内容キーワード「スイッチオン・ボリュームアップ」に分解し、それぞれ特徴点、パターンを抽出してデジタル情報として記憶する。
次に、指示情報取得手段９は、音声情報記憶手段３から入力された音声データの特徴パターンを、制御情報テーブル８の登録パターンと、ＤＰマッチング（動的計画法）等により比較・照合して、遠隔制御対象キーワード「テレビ」と、制御内容キーワード「スイッチオン・ボリュームアップ」を認識する。
【００１４】
この場合、特定話者識別手段７は音声認識時に、図３に示すような識別コードより特定話者を「父」などと識別する。又、優先順位設定手段６は識別した特定話者の優先順位を、制御情報テーブル８を参照して確認する。
制御情報伝達手段１０は、指示情報取得手段９からの制御キーワード「テレビ」及び「スイッチオン・ボリュームアップ」を、複数利用者からの入力がある場合には優先順位設定手段６からの優先順位情報を参照して、例えば、「順位１：「父」」からの音声入力であることを確認した後、テレビに制御信号を送信してスイッチオン・ボリュームアップという遠隔制御を実施する。さらに、図示していないが、優先順位設定手段６には、優先順位に応じて、同一電子機器に対する他の利用者からの指示情報を一定期間受付けない様にするタイマーを設ける等、指示情報の衝突回避機能を盛り込んでいる。
【００１５】
（３）、ペット型ロボットの制御、
次に、ペット型ロボット部分のコンピュータ制御については、ペット・ロボットとして必要な通常の機能を備えているので、例えば、「隣の部屋へ行って」「ホールへ行って」等の移動用の音声命令を登録手段５により予め制御情報テーブル８へ登録し、「隣の部屋へ行って・テレビ・スイッチオフ」と音声入力すれば、音声情報記憶手段３により音声情報として分解・記憶され、指示情報取得手段９により制御情報テーブル８の登録データとの比較・照合を行って、遠隔制御移動キーワード「隣の部屋へ行って」と、遠隔制御対象キーワード「テレビ」と、遠隔制御内容キーワード「スイッチオフ」とを認識した後、ロボットの出力手段１２により、モーターのサーボアンプやアクチュエータの駆動回路（図示せず）に移動指令を与えて隣の部屋へ移動させ、制御情報伝達手段１０に「テレビ」の「スイッチオフ」を指令して、隣部屋のテレビのスイッチをオフさせる。
又、「ホールへ行って・ライト・スイッチオン」と音声入力すると、移動キーワード「ホールへ行って」と対象キーワード「ライト」、内容キーワード「スイッチオン」に分解して認識し、出力手段１２へはホールへの移動命令を、制御情報伝達手段１０へはライト（照明）のスイッチオンを指令して、玄関の照明灯を点灯させる、といったことが可能になる。
【００１６】
更に、保存された過去の指示情報の履歴を基に利用者の動向を分析して利用者の動向を学習する指示情報学習手段１５とスケジュール手段１６とにより、例えば、毎日午後６時にホールのライトを点灯し午前０時に消灯させる操作を学習して、家族が音声入力を忘れた場合にも、スケジュール手段１６の時間データ出力部（図示せず）の時間を参照して午後６時を経過したら自動的に点灯しに行き、あるいは午後６時になっても音声入力が無い場合は、１０分間間隔を置いてから午後６時１０分に、音声合成部より「ホールのライトが点灯していません」と音声データを出力し、出力手段１０のＤ／Ａ変換部によりＤ／Ａ変換してスピーカからアナウンスを行い警告する。といった操作も可能である。
【００１７】
このように、本実施の形態によれば、電子機器の遠隔制御装置を移動可能なペット型ロボットに装荷したので、家庭内のどこの電子機器でも制御が可能になり制御範囲が拡大される。また、家族全員など複数利用者で共用するような場合にも、優先順位に従って処理するので混乱する事がない。
【００１８】
双方向制御手段１３は、例えば、エアコンの室外機で検知した外気温を取得して、健康のために室内の温度と外気温とを予め設定した温度差以上にしない、等のように、制御対象の電子機器の情報を反映したインタラクティブな遠隔操作を行うことができる。また、ペット型ロボット側からの電子機器への定期的なポーリング、あるいは電子機器側から自発的に発信するステータス情報を受信して通知する機器情報通知手段１７によって、利用者は電子機器からの各種情報を得ることができる。例えば、留守番電話のメッセージを伝えることや、室内に設置されたガス、煙、温度、ドアの開閉などの各種センサーによる警告、各種健康センサーからの情報を保存・蓄積し、異常と判断した場合に利用者に知らせるなどである。
機器情報通知手段１７では、前述した制御情報テーブル８と同様に、予め登録手段５等を用いて通知情報テーブル（図示せず）に、電子機器のステータス情報とペット型ロボットの出力手段１２による通知方法との対応情報を登録しておき、この通知情報テーブルに基づいて、例えば音声合成等で知らせることができる。
【００１９】
また、ペット型ロボットは、他のペット型ロボットと情報を交換するための情報交換手段１４を備えており、ペット型ロボット間で直接相互通信を行い、お互いの情報を共有することができる。情報交換手段１４は、さらに中継機能を備えたホームサーバー等の電子機器を介してペット型ロボット間の相互通信を行うこともできる。この情報交換手段１４により、ホームサーバー等を介して別の部屋のペット型ロボットに指示を与えることや、或いは、ペット型ロボット内に判断機能を備えることで、どの部屋の、どの電子機器の制御を行うかを、ペット型ロボット自らの相互通信と判断機能により行うことも可能になる。例えば、ある部屋の電子機器の制御を、最も近くのペット型ロボットが行うなどである。
【００２０】
この場合の判断機能としては、予め各電子機器やペット型ロボットにＩＤ（識別コード）を付与・設定して、各ペット型ロボットに、このＩＤと電子機器の設置場所などを登録することで実現できる。該当するペット型ロボットは、電子機器がどこに設置されているかの情報および相互通信手段により、最寄りの部屋に設置された電子機器を制御する。
ペット型ロボット間で直接相互通信を行う場合は、例えば、前述した「父」と「妹」が別々のペット型ロボットを所有し、同時に同じ部屋のＴＶに対し別々のチャネル指定したような時に、ペット型ロボットが有する制御情報テーブル８に設定された優先順位情報を相互に交換することで、優先順位の高い「父」が指示したチャネルが選択されるようになる。
【００２１】
さらに、本発明によれば、以上に記述した音声入力・音声認識以外にも、利用者からの指示情報を得る方法・手段があり、ペット・ロボットに備わるＣＣＤカメラの映像利用による利用者の身振り手振りや、タッチセンサーによる「なでる」、「たたく」等による指示入力も可能である。これらの入力手段を用いることで、例えば音声入力による特定話者識別に代わって、ＣＣＤカメラの画像情報を画像認識することで特定利用者識別手段を実現することが可能になる。この場合の制御情報テーブル８の指示情報も音声認識の場合と同様に制御情報に関連するキーワードを保有しており、このキーワードと対応するリンクデータが、音声情報のデジタルデータに対し、画像によるパターン認識である、という点が異なる。タッチセンサの場合も同様にして対応するリンク先のデータを変えることで実現される。
音声入力では、複数のマイク（ステレオ）の入力装置を用いることで、音声の位相差から音声の発せられた方向を得ることができ、画像入力の場合も同様にして、複数のカメラを用いることで、距離の判別が可能になる。このように複数の入力装置を用いることで、特定利用者や制御対象の電子機器を識別する能力を高めることもできる。
出力手段１２としては、音声合成の他にも、ＬＥＤ等の表示機能、「耳を動かす」、「尻尾を振る」等のペット・ロボットの動作・振舞で表現することが可能である。
以上、家庭内の電子機器の遠隔制御用ペット型ロボットを例として説明したが、動作内容から他のスペース、例えば、事務所、工場などにおけるオフィス・ロボットや病院、保養所などの介護補助ロボットとしての適用も可能である。
【００２２】
【発明の効果】
以上説明したように、本発明によれば、自律移動可能なインテリジェンス機能を有するペット型ロボットに各種電子電子機器を遠隔制御する機能を装荷し、複数利用者の制御指示に対する優先順位を設定して制御情報の授受を行うことで、多人数により共同で使用するような場合にも混乱を生ずることが無い多種多様な制御を正確に実施することができ、ペット型ロボットが移動することで広範な領域にわたる遠隔制御が可能になるという効果がある。
また、双方向機能を活かした家庭やオフィス内の各種機器から発する情報を音声合成などで利用者に通知することができ、ペット型ロボット間で相互に情報を交換・共有することによって、特定の部屋の電子機器を最も近くのペット型ロボットによって制御することや、別々のペット型ロボットに同じ電子機器に対する別の指示を同時に行っても、適切に利用者の指示が選択されるようになる。
また、利用者動向を学習し、自動的な遠隔制御を行うスケジュール機能を備えているので、家庭やオフィスへの帰宅または入室の際に自動的に各種機器の電源を入れることができ、照明の自動点燈や、或いは大事なＴＶ番組を見逃すことがなくなる等といった効果が期待できる。
さらに、特定利用者識別を行うことから、音声認識による利用者の識別と電子機器の制御をハンズフリーで行うことが可能になる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係るペット型ロボットによる遠隔制御装置の構成図である。
【図２】図１に示す優先順位設定情報を示すテーブルである。
【図３】図１に示す指示情報を示すテーブルであり、（ａ）は電子機器の種類の一例を示す遠隔制御対象キーワード、（ｂ）は制御内容のキーワードの一例を示している。
【図４】従来のリモコン装置の構成図である。
【符号の説明】
１　　遠隔制御装置
２　　入力手段
３　　音声情報記憶手段
４　　切換手段　５　　登録手段
６　　優先順位設定手段
７　　特定話者識別手段
８　　制御情報テーブル
９　　指示情報取得手段
１０　　制御情報伝達手段
１１　　無線通信手段
１２　　出力手段
１３　　双方向制御手段
１４　　情報交換手段
１５　　指示情報学習手段
１６　　スケジュール手段
１７　　機器情報通知手段[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a remote control device by a pet-type robot that remotely controls various electronic devices according to instructions from a user while walking or running.
[0002]
[Prior art]
Speech recognition technology has been dramatically advanced, and it has become possible to remotely control (remote control) various electronic devices by voice input. As such a device, for example, a “remote control device” disclosed in Japanese Patent Application Laid-Open No. 11-345024 is known.
FIG. 4 is a configuration diagram of a conventional remote control device. When a user controls a television among various electronic devices such as a television, a video, an air conditioner, and the like, the user inputs a message “TV switch-on volume up” to the microphone 103. Is transmitted from the remote control terminal 101 to the main unit 105. After the voice signal S1 is converted into voice data D1 by the voice recognition unit 108, the control unit 106 reads the word identification voice from the storage unit 109. The data D2 is read out, and the signals D1 and D2 are compared to determine whether or not the control target keyword obtained from the word identification voice data D2 and the keyword matching the control content keyword are included in the voice data D1.
In this case, the audio data D1 “TV switch on volume up” includes the control target keyword “TV” and the control content keywords “switch on” and “volume” of the keywords registered as the word identification audio data D2. Is extracted and recognized, and the functional unit 112 outputs the device name “TV”, the content control code data D4 “switch on”, and “volume up” as the control target identification data D3. And control the TV.
[0003]
[Problems to be solved by the invention]
However, in the above-described conventional technology, there is the convenience that a plurality of electronic devices can be remotely controlled (remote control) by voice input, but the device main body that sends a control signal to each electronic device is fixed and cannot be moved. In the case of the specific speaker recognition method in which the speaker's words are learned, the voice of another person cannot be recognized, and if the voice recognition employs the word voice recognition method in which the speaker is not specified, However, when a plurality of users operate at the same time, there is a problem that the priorities are not determined and confusion is caused. Furthermore, when an unspecified speaker recognition method that does not specify a speaker is used, there is a problem that the amount of calculation and the memory size increase, and it takes time for processing.
[0004]
Therefore, the present invention allows a remote control while moving by configuring the apparatus main body by a computer-controlled pet-type robot, thereby expanding the control range of the electronic device and, when a plurality of users use the electronic device. A pet-type robot that enables user recognition by identifying each user, avoids confusion by setting priorities for each user, and enables remote control using the intelligence function of the pet-type robot It is intended to provide a remote control device.
[0005]
[Means for Solving the Problems]
In order to achieve the above object, an invention according to claim 1 is a pet type robot having an autonomously movable intelligence function for remotely controlling an electronic device based on instruction information from a user. A control information table for remote control that associates information with instruction information from a user, and a priority setting for setting a priority for each user when the same control information is given by a plurality of users Means, digital information storage means for inputting instruction information from the user and storing it as digital information, and specific user identification for identifying the user by analyzing the digital information and identifying instruction information for each user Means for analyzing the digital information and acquiring instruction information corresponding to the control information of the electronic device from the control information table; Is a wireless communication means for transmitting and receiving control information to and from the electronic device by short-range wireless communication, and a control information transmission for transmitting and receiving control information to and from the electronic device using the wireless communication means based on the priority and the instruction information. Means.
According to a second aspect of the present invention, the instruction information of the control information table includes at least a keyword indicating an electronic device to be controlled, a keyword indicating the control content of the electronic device, and a movement command for the pet robot. And a keyword that indicates
According to a third aspect of the present invention, the pet-type robot obtains status information from the electronic device using the wireless communication unit and reflects the information obtained from the electronic device. It is characterized by comprising bidirectional control means that can be operated.
According to a fourth aspect of the present invention, in the information exchange method, the pet-type robot exchanges information with the other pet-type robot using the wireless communication unit by direct mutual communication or mutual communication via the electronic device. It is characterized by comprising means.
The invention according to claim 5 is characterized in that the pet-type robot stores instruction information history from the user, analyzes the stored instruction information, and learns a user's trend by analyzing the stored instruction information. And a schedule means for performing automatic remote control regularly or irregularly based on the learning result.
According to a sixth aspect of the present invention, the instruction information from the user is given by voice input, and the digital information storage means digitizes and stores the voice information. It is a means for identifying a specific speaker.
According to a seventh aspect of the present invention, the instruction information from the user is obtained by a camera image, and the digital information storage unit digitizes and stores the obtained image information. The means is a means for identifying a specific user by image recognition.
The invention according to claim 8 is means for acquiring instruction information from the user by a touch sensor, wherein the digital information storage means digitizes and stores the strength of a signal obtained by the touch sensor, The specific user identifying means is means for identifying a specific user based on a change in the strength of the obtained signal.
According to a ninth aspect of the present invention, the pet-type robot obtains status information from the electronic device using the wireless communication unit, and notifies the information obtained from the electronic device of the status information. It is characterized by having.
In the invention according to claim 10, the pet-type robot includes a notification information table in which individual status information of the electronic device is associated with notification information to a user, and the device information notification unit includes: The present invention is characterized in that the notification information is performed by referring to the notification information table and by the operation and behavior of the pet robot including voice synthesis and / or LED blinking.
[0006]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a configuration diagram of a remote control device using a pet robot according to an embodiment of the present invention.
FIG. 2 is a table showing the priority order setting information shown in FIG.
FIG. 3 is a table showing the instruction information shown in FIG.
[0007]
In FIG. 1, reference numeral 1 denotes an entire remote control device using a pet-type robot, which is an example in which voice recognition is used to identify a specific user. Reference numeral 2 denotes an input unit using a microphone or the like by which a user performs voice input. The input unit 2 is shown in FIG. 4 of the prior art, which is separated from a transmission unit having various units for remotely controlling an electronic device. Such a configuration as a remote control terminal may be used, or a built-in voice remote control device main body may be used. Reference numeral 3 denotes a voice information storage unit which A / D converts a voice input from a user, processes the data, stores the processed data, and 4 switches between registration and learning of control information and priorities and normal operation for remote operation. The switching means 5 is a means for registering control information and priority. Reference numeral 6 denotes priority setting means for setting and selecting the priority of the user with reference to the table. Reference numeral 7 denotes specific speaker identification means for identifying a specific speaker.
[0008]
Reference numeral 8 denotes a control information table, which corresponds to the control information of the electronic device and the instruction information by voice input of the user for each of a plurality of users as the specific speakers by the registration means 5, and the control information of the pet-type robot. I remember. Reference numeral 9 denotes instruction information acquisition means for acquiring control information by comparing and referring to audio input information from the audio information storage means 3 with the control information table 8. Reference numeral 10 denotes control information transmitting means for transmitting and receiving to and from an electronic device by a control command using a wireless communication means 11 of a short-range (or short-range) wireless method such as infrared communication, Bluetooth, or wireless LAN, and 12 denotes a robot. An output means of a pet-type robot comprising a limb driving unit such as a motor or an actuator that drives a head, a torso, a limb, etc. according to a control command, and a voice output unit that performs D / A conversion of voice synthesis data and utters voice from a speaker. is there.
[0009]
Reference numeral 13 denotes a bidirectional control unit for realizing interactive remote operation by reflecting status information obtained from the electronic device. Reference numeral 14 denotes various types of information directly with another pet robot or via an electronic device such as a home server. It is an information exchange means to be exchanged. Reference numeral 15 denotes an instruction information learning unit that learns based on a history of past instruction information. Reference numeral 16 denotes a schedule having a time data output unit such as a timer and a clock for executing a control instruction in cooperation with the instruction information learning unit 15. Means. A device information notifying unit 17 notifies the user of information from the electronic device using the output unit 12 based on the status information obtained from the electronic device. The intelligence function by computer control such as movement control of the pet robot itself is not described.
[0010]
Next, the operation will be described based on an example in which a specific user is identified by voice recognition.
In this case, as shown in FIG. 2, for example, as shown in FIG. 2, the plurality of users set the priority order of “father”, “mother”, “brother”, “brother” and “sister” at home. It is assumed that the electronic devices in the inside are remotely controlled.
(1), specific speaker registration,
First, the switching means 4 is switched to the registration mode to register the specific speakers of all the family members and the priority order.
The priority order is registered in a predetermined area of the control information table 8 as a preset order as shown in FIG.
[0011]
The specific speaker registration uses word identification voice data determined as a voice command for controlling the electronic device, and is for specifying a user who controls the electronic device. For the sake of simplicity, the word identification voice data is the same as that of the conventional example, and remote control target keywords (television, video, air conditioner, etc.) indicating the type of electronic device as shown in FIG. A control content keyword (switch on, switch off, volume up, etc.) as shown in FIG.
In the specific speaker registration, the user's voice data itself is registered and learned as reference data, and the target keyword (television to light) in FIG. Then, voices are sequentially input to the content keywords (switch-on to light-off) in FIG.
[0012]
Next, the voice information storage means 3 performs data processing after sequentially A / D converting the voice input. In the data processing, a feature point / feature pattern is extracted by word speech recognition processing, and is registered as a control target keyword (television, video ...) and a control content keyword (switch on, switch off ...) in the control information table 8 by the registration means 5. Remember.
In this case, the voice input is the voice data of “father”, so that the priority order “1” is assigned as an identification code and linked and stored. The speech recognition method is not particularly limited, and various methods such as HMM (Hidden Markov Model) for symbolizing speech can be used in addition to pattern identification.
Subsequently, the voice input of the control keyword is similarly registered as a specific speaker for all the family members.
[0013]
(2), remote control of electronic devices,
As described above, when the specific speaker registration of each of the five family members is completed, the switching means 4 is switched to a normal connection.
Now, assuming that “father” controls the television by audio input “TV switch-on volume up” as in the case of the prior art shown in FIG. A / D conversion of the voice input from the microphone 2 (microphone) to decompose it into the keyword "television" for remote control and the keyword "switch on / volume up" Store as information.
Next, the instruction information acquisition unit 9 compares and matches the feature pattern of the audio data input from the audio information storage unit 3 with the registration pattern of the control information table 8 by DP matching (dynamic programming) or the like. Recognize the remote control target keyword “TV” and the control content keyword “switch on / volume up”.
[0014]
In this case, the specific speaker identifying means 7 identifies the specific speaker as “father” or the like based on the identification code as shown in FIG. 3 during voice recognition. The priority setting means 6 checks the priority of the identified specific speaker with reference to the control information table 8.
The control information transmitting means 10 receives the control keywords “TV” and “switch-on / volume up” from the instruction information acquiring means 9 and the priority information from the priority setting means 6 when there are inputs from a plurality of users. For example, after confirming that the input is a voice input from “rank 1:“ father ””, a control signal is transmitted to the television to perform remote control such as switch-on and volume-up. Further, although not shown, the priority setting means 6 is provided with a timer for not accepting instruction information from another user for the same electronic device for a certain period of time according to the priority. Includes a collision avoidance function.
[0015]
(3), control of a pet type robot,
Next, as for the computer control of the pet type robot part, since it has the usual functions required as a pet robot, for example, the voice for movement such as "go to the next room" or "go to the hall" If the command is registered in the control information table 8 in advance by the registering means 5 and the voice is inputted as "go to the next room / TV / switch off", the voice information is decomposed and stored as voice information by the voice information storage means 3, and the instruction information The acquisition unit 9 compares and matches the registered data of the control information table 8 with the remote control movement keyword “go to the next room”, the remote control target keyword “TV”, and the remote control content keyword “switch off”. ”, The robot output means 12 gives a movement command to the servo amplifier of the motor and the drive circuit (not shown) of the actuator, and outputs Move to the room, and the command to "switch off" in the "TV" to control information transfer means 10, to turn off the TV switch next to the room.
Also, when the voice input “go to the hall / light switch on” is input, the moving keyword “go to the hall”, the target keyword “light” and the content keyword “switch on” are decomposed and recognized. , A command to move to a hall, a command to switch on a light (illumination) to the control information transmitting means 10 to turn on an illumination lamp at the entrance.
[0016]
Further, the instruction information learning means 15 and the schedule means 16 for analyzing the user's trend based on the stored history of the past instruction information and learning the user's trend, for example, by writing the hall light at 6:00 pm every day. Is turned on and turned off at midnight, and if the family forgets the voice input, if 6:00 pm has passed by referring to the time of the time data output unit (not shown) of the schedule means 16 If the voice goes on automatically or there is no voice input even at 6:00 pm, the voice synthesizer will say "The hall light is not lit at 6:10 pm after 10 minutes. And output audio data, perform D / A conversion by the D / A conversion unit of the output unit 10, make an announcement from the speaker, and issue a warning. Such an operation is also possible.
[0017]
As described above, according to the present embodiment, since the remote control device of the electronic device is loaded on the movable pet-type robot, the electronic device can be controlled by any electronic device in the home, and the control range is expanded. Also, in the case where a plurality of users such as the whole family share the information, the processing is performed according to the priority order, so that there is no confusion.
[0018]
The bidirectional control means 13 acquires the outside air temperature detected by the outdoor unit of the air conditioner, and controls the indoor air temperature and the outside air temperature not to exceed a preset temperature difference for health, for example. An interactive remote operation that reflects information on the target electronic device can be performed. The user can perform various polling operations from the electronic device by the periodic polling of the electronic device from the pet-type robot or the device information notifying unit 17 for receiving and notifying status information spontaneously transmitted from the electronic device. Information can be obtained. For example, when a message is sent from an answering machine, warnings from various sensors installed in the room such as gas, smoke, temperature, opening and closing of doors, etc. For example, let the user know.
In the device information notifying unit 17, similarly to the control information table 8 described above, the status information of the electronic device and the notification by the output unit 12 of the pet type robot are previously stored in a notification information table (not shown) using the registration unit 5 or the like. Information corresponding to the method is registered, and based on the notification information table, the information can be notified by, for example, voice synthesis or the like.
[0019]
Further, the pet-type robot is provided with information exchange means 14 for exchanging information with another pet-type robot, so that the pet-type robots can directly communicate with each other and share information with each other. The information exchange means 14 can also perform mutual communication between the pet-type robots via an electronic device such as a home server having a relay function. The information exchange means 14 gives instructions to a pet robot in another room via a home server or the like, or provides a judgment function in the pet robot to control which electronic device in which room. Can be performed by the mutual communication and judgment function of the pet robot itself. For example, an electronic device in a room is controlled by a nearest pet-type robot.
[0020]
The determination function in this case is realized by assigning and setting an ID (identification code) to each electronic device or pet-type robot in advance, and registering the ID and the installation location of the electronic device in each pet-type robot. it can. The corresponding pet robot controls the electronic device installed in the nearest room by information on where the electronic device is installed and the mutual communication means.
In the case of direct communication between pet-type robots, for example, when the above-mentioned “father” and “sister” own different pet-type robots and simultaneously specify different channels for a TV in the same room, By exchanging the priority information set in the control information table 8 of the pet-type robot with each other, a channel designated by “father” having a higher priority is selected.
[0021]
Further, according to the present invention, in addition to the voice input and voice recognition described above, there is a method and means for obtaining instruction information from the user, and the gesture of the user by using the image of the CCD camera provided in the pet robot. It is also possible to input an instruction such as a hand gesture or “stroke” or “hit” using a touch sensor. By using these input means, it becomes possible to realize the specific user identification means by recognizing the image information of the CCD camera instead of the specific speaker identification by voice input, for example. The instruction information in the control information table 8 in this case also has a keyword related to the control information as in the case of the voice recognition, and the link data corresponding to the keyword is a digital image data corresponding to the voice information. The difference is that it is recognition. In the case of a touch sensor as well, it is realized by changing the data of the corresponding link destination in the same manner.
In the voice input, the direction in which the voice was emitted can be obtained from the phase difference of the voice by using a plurality of microphone (stereo) input devices. Similarly, in the case of the image input, a plurality of cameras are used. Thus, the distance can be determined. By using a plurality of input devices in this manner, the ability to identify a specific user or an electronic device to be controlled can be enhanced.
The output means 12 can be expressed by a display function such as an LED, a pet robot's operation and behavior such as "moving an ear" and "shaking a tail", in addition to voice synthesis.
As described above, the pet type robot for remote control of electronic devices in the home has been described as an example.However, from the operation content, as a robot for nursing care, such as an office robot in an office or factory, a hospital, a recreation facility, or the like. Can also be applied.
[0022]
【The invention's effect】
As described above, according to the present invention, a function of remotely controlling various electronic devices is loaded on a pet-type robot having an intelligence function capable of autonomous movement, and a priority is set for a control instruction of a plurality of users. By transmitting and receiving control information, it is possible to accurately perform a wide variety of controls without causing confusion even when shared use by many people. This has the effect of enabling remote control over an area.
In addition, information generated from various devices in homes and offices utilizing the interactive function can be notified to users by voice synthesis, etc., and by exchanging and sharing information between pet-type robots, specific Even if the electronic device in the room is controlled by the nearest pet-type robot or another instruction for the same electronic device is given to different pet-type robots at the same time, the user's instruction will be appropriately selected.
In addition, it has a schedule function that learns user trends and performs automatic remote control, so that various devices can be automatically turned on when returning to or entering a home or office. It is possible to expect effects such as automatic lighting or preventing an important TV program from being missed.
Furthermore, since the specific user is identified, it is possible to identify the user by voice recognition and control the electronic device in a hands-free manner.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a remote control device using a pet robot according to an embodiment of the present invention.
FIG. 2 is a table showing priority order setting information shown in FIG. 1;
3 is a table showing instruction information shown in FIG. 1, wherein (a) shows an example of a remote control target keyword showing an example of the type of electronic device, and (b) shows an example of a control content keyword.
FIG. 4 is a configuration diagram of a conventional remote control device.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Remote control device 2 Input means 3 Voice information storage means 4 Switching means 5 Registration means 6 Priority order setting means 7 Specific speaker identification means 8 Control information table 9 Instruction information acquisition means 10 Control information transmission means 11 Wireless communication means 12 Output means 13 Bidirectional control means 14 Information exchange means 15 Instruction information learning means 16 Schedule means 17 Device information notification means

Claims

利用者からの指示情報に基づいて電子機器を遠隔制御する自律移動可能なインテリジェンス機能を有するペット型ロボットにおいて、
電子機器の個々の制御情報と利用者からの指示情報とを対応付けた遠隔制御用の制御情報テーブルと、
同一の制御情報が複数利用者により与えられた際の優先順位を各利用者に対して設定する優先順位設定手段と、
前記利用者からの指示情報を入力しデジタル情報として記憶するデジタル情報記憶手段と、
前記デジタル情報を分析し利用者毎の指示情報を識別して前記利用者を特定する特定利用者識別手段と、
前記デジタル情報を分析し前記電子機器の制御情報に対応する指示情報を前記制御情報テーブルより取得する指示情報取得手段と、
赤外線通信または近距離無線通信により前記電子機器と制御情報の送受信を行う無線通信手段と、
前記優先順位および前記指示情報に基づき前記無線通信手段を用いて当該電子機器と制御情報の授受を行う制御情報伝達手段と、を備えることを特徴とするペット型ロボットによる遠隔制御装置。In a pet-type robot having an autonomously movable intelligence function for remotely controlling an electronic device based on instruction information from a user,
A control information table for remote control in which individual control information of the electronic device is associated with instruction information from a user,
Priority setting means for setting, for each user, a priority when the same control information is given by a plurality of users;
Digital information storage means for inputting instruction information from the user and storing it as digital information,
A specific user identification unit that analyzes the digital information and identifies instruction information for each user to identify the user;
Instruction information acquisition means for analyzing the digital information and acquiring instruction information corresponding to the control information of the electronic device from the control information table,
Wireless communication means for transmitting and receiving control information with the electronic device by infrared communication or short-range wireless communication,
A remote control device for a pet-type robot, comprising: control information transmitting means for exchanging control information with the electronic device using the wireless communication means based on the priority order and the instruction information.

前記制御情報テーブルの指示情報は、少なくとも、制御対象の電子機器を表すキーワードと、該電子機器に対する制御内容を示すキーワードと、前記ペット型ロボットに対する移動命令を示すキーワードとを含むことを特徴とする請求項１に記載のペット型ロボットによる遠隔制御装置。The instruction information in the control information table includes at least a keyword indicating an electronic device to be controlled, a keyword indicating control content for the electronic device, and a keyword indicating a movement command for the pet robot. A remote control device using the pet-type robot according to claim 1.

前記ペット型ロボットは、前記無線通信手段を用いて前記電子機器からのステータス情報を取得し、当該電子機器から得られた情報を反映した双方向型の操作が可能な双方向制御手段を備えることを特徴とする請求項１または２に記載のペット型ロボットによる遠隔制御装置。The pet-type robot includes status information from the electronic device using the wireless communication unit, and includes a bidirectional control unit capable of performing a bidirectional operation reflecting information obtained from the electronic device. The remote control device by the pet-type robot according to claim 1 or 2, wherein:

前記ペット型ロボットは、前記無線通信手段を用いて他のペット型ロボットと直接の相互通信または前記電子機器を介した相互通信により情報を交換する情報交換手段を備えることを特徴とする請求項１または２に記載のペット型ロボットによる遠隔制御装置。2. The pet-type robot according to claim 1, further comprising an information exchange unit for exchanging information by direct mutual communication with another pet-type robot using the wireless communication unit or by mutual communication via the electronic device. Or a remote control device by the pet robot according to 2.

前記ペット型ロボットは、前記利用者からの指示情報の履歴の保存と保存された指示情報を分析して利用者の動向を学習する指示情報学習手段と、学習した結果に基づき定期または不定期に自動的な遠隔制御を行うスケジュール手段とを備えることを特徴とする請求項１〜４のいずれかに記載のペット型ロボットによる遠隔制御装置。The pet-type robot stores instruction information history from the user, analyzes the stored instruction information, and learns the trend of the user by learning instruction information learning means, and periodically or irregularly based on the learned result. The remote control device according to any one of claims 1 to 4, further comprising schedule means for performing automatic remote control.

前記利用者からの指示情報は音声入力により与えられ、前記デジタル情報記憶手段は音声情報をデジタル化して記憶する手段であり、前記特定利用者識別手段は特定話者を識別する手段であることを特徴とする請求項１に記載のペット型ロボットによる遠隔制御装置。The instruction information from the user is given by voice input, the digital information storage means is means for digitizing and storing voice information, and the specific user identification means is means for identifying a specific speaker. The remote control device according to claim 1, wherein the remote controller is a pet-type robot.

前記利用者からの指示情報はカメラ画像により取得され、前記デジタル情報記憶手段は取得した画像情報をデジタル化して記憶する手段であり、前記特定利用者識別手段は画像認識により特定利用者を識別する手段であることを特徴とする請求項１に記載のペット型ロボットによる遠隔制御装置。Instruction information from the user is acquired by a camera image, the digital information storage means is means for digitizing and storing the acquired image information, and the specific user identification means identifies a specific user by image recognition. 2. The remote control device according to claim 1, wherein the remote control device is a means.

前記利用者からの指示情報はタッチセンサにより取得され、前記デジタル情報記憶手段はタッチセンサにより得られた信号の強弱をデジタル化して記憶する手段であり、前記特定利用者識別手段は得られた信号の強弱の変化を基に特定利用者を識別する手段であることを特徴とする請求項１に記載のペット型ロボットによる遠隔制御装置。Instruction information from the user is acquired by a touch sensor, the digital information storage means is means for digitizing and storing the strength of a signal obtained by the touch sensor, and the specific user identification means is a signal obtained by the specific user identification means. 2. The remote control device according to claim 1, wherein the remote controller is a means for identifying a specific user based on a change in strength of the pet.

前記ペット型ロボットは、前記無線通信手段を用いて前記電子機器からのステータス情報を取得し、当該電子機器から得られた情報を通知する機器情報通知手段を備えることを特徴とする請求項１に記載のペット型ロボットによる遠隔制御装置。2. The pet-type robot according to claim 1, further comprising a device information notifying unit configured to acquire status information from the electronic device using the wireless communication unit and notify information obtained from the electronic device. 3. A remote control device using the pet-type robot described in the above.

前記ペット型ロボットは、前記電子機器の個々のステータス情報と利用者への通知情報とを対応付けた通知情報テーブルを備え、
前記機器情報通知手段は、前記通知情報テーブルを参照して当該通知情報を音声合成および／またはＬＥＤ点滅を含むペット型ロボットの動作・振舞により行うことを特徴とする請求項９に記載のペット型ロボットによる遠隔制御装置。The pet-type robot includes a notification information table in which individual status information of the electronic device is associated with notification information to a user,
10. The pet type according to claim 9, wherein the device information notifying unit performs the notification information by referring to the notification information table by an operation and behavior of a pet type robot including voice synthesis and / or LED blinking. Remote control device by robot.