JPH11203264A - 用語付きデータを扱うデータ処理方法,データ処理装置,機器操作方法,機器操作装置およびプログラム記憶媒体 - Google Patents
用語付きデータを扱うデータ処理方法,データ処理装置,機器操作方法,機器操作装置およびプログラム記憶媒体Info
- Publication number
- JPH11203264A JPH11203264A JP10046625A JP4662598A JPH11203264A JP H11203264 A JPH11203264 A JP H11203264A JP 10046625 A JP10046625 A JP 10046625A JP 4662598 A JP4662598 A JP 4662598A JP H11203264 A JPH11203264 A JP H11203264A
- Authority
- JP
- Japan
- Prior art keywords
- term
- data
- action
- input
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Machine Translation (AREA)
- Manipulator (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
ータを扱うデータ処理技術に関し,自然言語による表現
に基づいて機器等のセンサデータの表す状況分析が行
え,また,自然言語に基づいた命令語で機器等に操作指
示できるようにする。 【解決手段】センサ1からの入力を直接または加工して
分類したデータ群を,分類ごとに用語を付けて用語付き
データベース6として管理する。センサ入力があったと
きに,特徴抽出手段2により特徴を抽出し,特徴比較・
分類手段3により用語付きデータベース6を用いて,そ
のセンサ入力を分類する。用語付きデータベース6に分
類されているデータ群のどれにも類似しないときには,
用語未決定データベース7にそれらのデータを分類して
一時的に記憶し,後に用語付与手段5によりそれらのデ
ータ群に対して用語を付与し,用語付きデータベース6
に登録する。また,試行による適切な行動に随時用語を
付けて命令できるようにする。
Description
に用いられているセンサからのデータの処理技術および
人間がロボットや機器等に命令を与える場合の言語処理
インターフェースの構築技術に係り,特にセンサデータ
から状況判断を容易にするセンサデータの分類法と記憶
法および記憶したデータの利用法を提供し,また,例え
ば人間が用いる言葉をロボットの行動あるいは操作に結
合させる手段とその記憶方法,および記憶したデータの
利用法を提供する用語付きデータを扱う方法と装置に関
するものである。
センサデータにある数値的な加工を行って何らかの特徴
を抽出し,その特徴に応じて,次の処理方法を決定ある
いは変更するという手順が取られている。この際,セン
サデータから得られる特徴量から何らかの状況判断を行
い,次の処理方法を決定するのであるが,次の処理で期
待される特徴量とその値や分類はあらかじめ決まってい
るので,決められた手順以外では状況判断をすることは
できなかった。
は,ある種の状態や状態の変化を測定するための機器で
あり,得られたセンサデータからは,その場の状況や状
態が正しく判断できることが望ましい。しかし,一般に
センサデータは膨大であるし,ノイズ等の影響で誤差を
多く含んでいる場合がほとんどであり,センサデータの
数値の羅列から簡単に状況判断を行うことは非常に困難
であった。
える命令は,一般に,速度を1m/sに設定するとか,1r
ad/s で回転するとか,位置(100, 200)に移動すると
かのように,ある速度や位置を直接数値で指定する場合
がほとんどである。また,エアコン等の家電製品では,
温度を20度に設定するとか,決められた設定値になるよ
うな「ドライモード」や「お休みモード」などの設定方
法しかなかった。
る場合,このような命令を与えることはしない。人間が
人間に与える命令は,単に「歩け」とか「もっと早く歩
け」とかいった具体的な速度や足の角度などを指定しな
い抽象的な命令が一般的である。また,エアコン等の家
電製品では,「もっと温度を高く」とか,「涼しく」な
どの命令を与えられたほうが,20度とかの数値で温度を
指定するよりも,人間に違和感を与えずに機械に命令で
きる。
うな表現で命令を与えることができれば,人と機械との
自然なインターフェースが可能になると期待できる。加
えて,このような自然言語を利用して機器に命令を与え
る際に問題となるのは,温度を上げることなどに対する
命令が人によってさまざまに変ることである。例えば,
ある人は「もっと温度を高く」と命令するが,ある人
は,「温度を上げろ」と命令するかもしれない。また,
「暖かく」でも,同じ効果になるようにして欲しい人も
いるかもしれない。
さまざまな命令形態をあらかじめ想定して,それを列挙
し記憶していたので,こういう命令を理解するシステム
を作ることは大変な手間と膨大な記憶容量が必要になり
実際的ではなかった。
く」という意味が具体的にどうすることなのかという対
応関係を学習し記憶する手段を持たないため,このよう
な命令に柔軟に対応できるシステムが実現できなかっ
た。
データはある種の状態量や状態の変化を測定できるもの
でありながら,人間がセンサデータを見てもそれは適当
に分類されていないので,それを見ただけではどのよう
な状況なのか判断することは難しかった。また,センサ
データから得られる特徴量には系統的な名称を付与する
ことはなく,仮に名称を付与することがあったとしても
それは機械的な意味の無い名称であるため,人間がその
名称からすぐにセンサデータが表す状態を連想すること
ができないという欠点があった。
合,機器が人間の言葉と自身の行動パターン,または変
化させるべき値の対応関係を学習する手段を持たないた
め,人間と機器のインターフェースは,直接的な値を設
定するような命令形態しかとれないという欠点があっ
た。
がロボット等の機器を利用するときに,自然言語に基づ
いて,そのロボット等の機器のセンサデータの表す状態
を容易に把握でき,また,人間にとって自然な命令語で
機器の操作ができるようにすることを目的とする。
い分類手段を提供し,膨大なデータを効率よく簡略化し
て記憶し,状況判断が必要になったときに取り出して比
較することにより,容易に状況判断を行い,状況に応じ
た処理を実行できるようにすることを目的とし,また,
人間の命令と機器の動作との対応関係を学習記憶し,人
間があいまいに与えた命令でもそれに対応する命令を学
習し,正しい動作を記憶するための言語処理および機器
操作手段を堤供することを目的とする。
め,本発明は,例えば図1ないし図3に示すような構成
をとる。
置の構成例を示す。特徴抽出手段2は,センサ等の情報
入力装置1から得られるセンサデータから特徴を抽出す
る。特徴比較・分類手段3は,特徴抽出手段2により抽
出した特徴Tと用語付きデータベース6に用語付きで登
録されたデータ群とを比較し,類似するデータ群があれ
ばその用語を状況判断手段4に通知し,類似するデータ
群がなければ,その特徴Tを用語未決定データベース7
に分類されているデータ群の一つに分類するか,または
新しい分類を作成して,用語未決定データベース7に保
存する。
タ群の用語に基づいて,その状況を判断する。用語Bを
持つデータ群8は,特徴Tが一致するとみなされたデー
タ群である。
ス7のデータ群に,人間が理解できる用語を付与し,用
語付きデータベース6に登録する。データ群削除手段1
0は,一定期間が経過しても用語が付与されなかった不
要と考えられるデータ群を用語未決定データベース7か
ら削除する。
ータベース6に登録されている用語付きのデータ群と一
致しなかった特徴Tを用語が付与されるまで,または所
定の期間が経過するまで保存するデータベースである。
生データ保存用データベース9は,情報入力装置1から
入力したデータをそのまま記憶し保存しておくデータベ
ースである。なお,生データ保存用データベース9に特
徴抽出手段2が抽出した特徴量を,生データとともに記
憶するようにしてもよい。
種類であってもよく,また,これらから入力され特徴量
抽出の対象となるデータは,ある1時点におけるデータ
でも,時系列のデータの並びであってもよい。
り起動されるか,または所定の契機で自動的に起動さ
れ,用語未決定データベース7に保存されている用語が
付与されていないセンサデータのデータ群に用語を付与
するために,ユーザに適当な用語を提示するように質問
し,ユーザからの入力によってデータ群に用語を付与す
る。用語が付与されるまでは,用語未決定データベース
7に保存するデータ群に仮の名称となる符号を付与し,
ユーザからの入力によって先に付与した符号を入力され
た用語に変更する。
用語を提示するように質問する際に,そのデータ群が静
的な特徴量に関するものである場合には,名詞を付与す
ることを示唆する情報を表示し,そのデータ群が例えば
時系列データであって,動的な特徴量または状態変化を
表す特徴量に関するものである場合には,動詞を付与す
ることを示唆する情報を表示する。さらに,何らかの状
態を表すセンサデータの特徴量に対しては,例えば形容
詞の用語を付与することをユーザに勧めるようにしても
よい。
るためのプログラムは,計算機が読み取り可能な可搬媒
体メモリ,半導体メモリ,ハードディスクなどの適当な
記憶媒体に格納することができる。
トウェアプログラムによって構成することもできるが,
これらの一部または全部を,入力と出力が同一の値をと
る多段の階層型ニューラルネットを用いて構成すること
もできる。このとき,特徴量の抽出のため,センサデー
タをその階層型ニューラルネットに入力し,その入力と
出力層以外の中間層からの出力パターンによってセンサ
データを分類する。
ある。センサ等の情報入力装置1から得られるセンサデ
ータは,特徴抽出手段2においてセンサデータの持つ種
々の特徴(例えば,形状や色など)が抽出される。抽出
した特徴Tは,用語付きデータベース6に登録されたデ
ータ群と特徴比較・分類手段3において比較される。用
語付きデータベース6のデータ群には,適当な用語(用
語A)が付与されている。
登録されているいずれかのデータ群とがある基準に従っ
て一致するとみなされる場合,一致ありのほうに分岐し
て,そのセンサが示す状態あるいは状況を状況判断手段
4を用いて判断する。図1では,用語Bで示されるデー
タ群8と一致したものとされている。
データベース6のどのデータ群にも一致しないとみなさ
れた場合には,特徴Tは用語未決定データベース7に登
録される。このとき,用語未決定データベース7中に特
徴Tと一致するものがあればそのデータ群に追加され,
もし一致するものがなければ新たなデータ群として登録
される。
は,ある一定の基準で用語付与手段5によって適当な用
語が付与される。用語付与手段5は,ユーザ(オペレー
タ)に質問をしたりすることにより,用語未決定のデー
タ群に対して,その特徴を最もよく表すような適当な用
語を付与する。用語を付与されたデータ群は,用語付き
データベース6に登録される。
の特徴に応じて用語が付与される。データ群が静的な特
徴量(時間変化しない状態など)を持つデータの集合で
ある場合には,名詞的な用語を提示するようにユーザに
指示する。データ群が状態変化を伴うような動的な特徴
量を持つデータの集合(移動する物体の位置変化など)
である場合には,動詞的な用語を提示するようにユーザ
に指示する。また物体の状態を表すような特徴量を持つ
データの集合(色や重さなど)である場合には,形容詞
的な用語を提示するようにユーザに指示する。
装置1から得られたセンサデータを,人間にとって意味
のある名称(用語)で分類することにより,センサデー
タからの状況判断を容易にすることが可能となる。具体
的には,この用語によって実行すべき命令を決定するた
めのプログラミングを容易に行うことができ,また音声
その他により状況を知らせるというようなことも可能に
なり,センサデータに基づいて何らかの動作を決定する
ことが容易に行えるようになる。
インターフェースを有する機器操作装置の構成例を示
す。図2および図3において,同一の機能を持つ手段に
は同一の番号を付して表している。図3は,図2に示す
構成例に,センサ50,判定基準データベース51,判
定基準作成手段54を付加したものを示している。
ン,キーボード,スピーカ,ディスプレイというような
入出力機器である。入力処理手段41は,人間等から発
せられる音声等やキーボード等から入力される記号など
の言葉Wを,入出力装置40から入力すると,計算機で
処理できるような記号列に置き換え,これを言葉データ
Wdとし,さらに,元の言葉Wと言葉データWdを言語
データベース42へ保存し,比較手段43を起動する。
き行動データベース49に格納された用語付き行動デー
タの言葉データWd′と比較し,一致する場合には,行
動実行手段46を起動して用語付き行動データの行動パ
ターンを実行させ,一致しない場合には,行動選択手段
44を起動する。
ターンAを蓄積した行動データベース45から,ある基
準に従って一つの行動パターンAを選択し,選択した行
動パターンを実行するよう行動実行手段46を起動す
る。
段46で実行し,実行結果を判定手段47で判定する。
その結果,実行した行動パターンがある基準に適合しな
いと判定された場合には,先に実行した行動パターンA
と異なる行動パターンBをある基準で選択し,選択した
行動パターンを実行するよう行動実行手段46を起動す
る。選択する行動がない場合には終了する。また,ある
所定回数の行動パターンを実行しても,ある基準に適合
する判定結果が得られなかった場合には行動の実行を中
断するか,人間等に質問を発する質問手段52を起動す
る。あるいは,選択可能な行動パターンすべてを実行
し,そのうち,最もよいと思われる行動パターンAmを
人間が選択してもよい。
選択された行動パターンAを実行し,判定手段47を起
動する。比較手段43から行動パターンAが与えられた
場合には,それを実行し,終了する。
ターンAについて,人間から指示される判定入力手段5
3からの指示によって判定し,OK(適合する)と判定
される場合には用語付与手段48を起動し,NG(適合
しない)と判定される場合には行動選択手段44を起動
する。
基準に適合した行動パターンAに言葉データWdを付与
し,用語付き行動データベース49に行動パターンAと
言葉データWdを保存する。
ターンAと,その行動パターンAに付与した言葉データ
Wdの組を,ある形式で記憶しておくデータベースであ
る。あるいは,行動パターンAと,行動パターンAを実
行中にセンサ50により取得したセンサデータと,それ
らのデータに付与した言葉データWdとを組にして,そ
れらをある形式で記憶しておくデータベースである。
ある行動パターンAを実行中に,その実行状況を測定す
るためのセンサである。質問手段52は,数回の行動パ
ターン実行の結果,与えられた言葉Wにうまく適合する
行動が選択できなかった場合に,適切な行動は何かを人
間に質問するものである。質問は,スピーカやディスプ
レイ等の入出力装置40を用いて,音声やメニュー等に
よって行われる。
対して,選択された行動パターンが適切な行動であるか
どうかを判定する基準が,判定基準データベース51に
ない場合に,人間が直接その判定(OK/NG)を入力
するものである。
れた判定基準を判定基準データベース51に保存するも
のである。あるいは,人間から直接判定が行われるとき
に,適当な判定基準を作るために,センサデータから何
らかの特徴を抽出し,それを判定基準として保存する。
るためのプログラムは,計算機が読み取り可能な可搬媒
体メモリ,半導体メモリ,ハードディスクなどの適当な
記憶媒体に格納することができる。
のとおりである。人間等から与えられる言葉W(命令)
は,入力処理手段41によって処理され,計算機が理解
できる言葉データWd(命令データ)に変換される。言
葉W(命令)は,例えば,もっと速度を上げろとか右に
回転しろなどの言葉による命令であり,実際の値で示さ
れる必要はない。言葉Wと首葉データWdは,それらの
対応がわかるような形式で,言語データベース42に格
納される。言葉Wが例えば音声信号であれば,入力処理
手段41は,マイクロフォン等の音声収集装置から入力
した音声信号を蓄積し,またはその特徴を抽出し,抽出
されたデータを言葉データWdとするものである。
ータWdは言葉Wに対応する単なる計算機の内部コード
であり,自然言語としての意味を持たない。言葉Wの意
味について,計算機は事前に知識を持つ必要はない。入
力処理手段41中に音声認識機能を設け,音声入力をキ
ーボード等からの文字入力と同様に扱うことも可能であ
る。また,例えば類義語辞書等を用意し,入力した言葉
Wを同じ意味を持つ他の言葉W′に変換し,その言葉
W′に対する言葉データを以後の処理で用いるようにし
てもよい。
言葉データWdは,用語付き行動データベース49に格
納されたデータと比較手段43において比較される。も
し,用語付き行動データベース49になんのデータもな
ければ比較は行われず,直ちに行動選択手段44が起動
される。
行動データがあり,かつ言葉データWdと用語付き行動
データのどれかが一致する場合には,その行動パターン
が行動実行手段46によって実行され,実行終了後に,
その命令は終了する。
タのどれとも一致しない場合には,行動選択手段44が
起動される。行動選択手段44は,行動データベース4
5にあらかじめ蓄えられた,その装置が可能な行動パタ
ーン(例えば,速度を一定量増やすとか方向を一定量変
えるとか,温度を一定量変えるとか,従来の命令形態で
実現できる命令方式全般)の中から,適当なものを選択
し,その行動パターンの実行を行動実行手段46に依頼
する。行動実行手段46は,依頼された行動パターンを
実行する。
判定は機器の選択した行動が自分の与えた命令にあって
いればOK,間違っていればNGの指示を判定入力手段
53を介して入力する。判定入力手段53は,実行結果
が良い,悪い程度の簡単な入力とし,キーボードやスイ
ッチ等の入出力装置40から入力する。なお,行動終了
後,一定時間待って人間から入力処理手段41を通じて
良いとか悪いという言葉を入力してもらい,行動の良し
悪しを決定してもよい。この場合の行動データは先の行
動を良いと判定せよなどにすればよい。
状態を監視していなければならないので面倒である。そ
こで,判定基準を人間があらかじめ作成して,それに適
合したなら判定OKとする方法があると便利である。そ
のため,質問手段52から人間に判定基準を質問する。
得られた判定基準は,判定基準データベース51に蓄積
される。判定手段47は,与えられた判定基準に合うよ
うな状態になったとき,OKと判定することになる。こ
の場合には,判定はセンサデータを比較することによっ
て判定する。したがって,判定基準もセンサデータから
得られるようなものとなる。例えば,速度Vを上げろと
いう命令が与えられた場合なら,センサ50の出力から
検出した加速度α>0が判定基準となる。
された行動パターンがどうなれば良いかを基準に設定で
きる。例えば,速度Vを変えるという行動パターンがあ
ると,その判定基準は加速度αが正または負になれば良
いので,判定基準は,「加速度α>0」または「加速度
α<0」のいずれかである。
った場合,その判定基準があいまいである。そこで,O
Kとなった行動実行時に得られたセンサデータから適当
な特徴量,例えば,平均速度,加速度などを計算し,そ
れを判定基準として判定基準データベース51に保存し
ておく。
付与手段48が起動され,とった行動と与えられた言葉
による命令の言葉データWdとを結合して,用語付き行
動データとして用語付き行動データベース49に蓄え
る。すなわち,「命令:速度を上げろ→行動:加速度α
>0」のようなデータを格納する。
を選択実行すべく,行動選択手段44が起動される。こ
のとき,行動選択手段44は先に実行したもの以外の行
動を選択実行する。
Kと判定した判定基準に対し,その用語との対応がとれ
るよう判定基準データベース51にも保存する。こうす
ると,ある命令がきたときにどの判定基準を用いるかが
逐次学習できるので,人間に常に質問することなく判定
基準が自動的に利用できるようになる。
置を実現するためのハードウェア構成例を示す。図1に
示す情報入力装置1として例えばセンサ111があり,
センサ信号は,計算機112で取得する。取得したデー
タおよび特徴量,用語付きデータベース6,用語未決定
データベース7などは,ハードディスク等の記憶装置1
13に蓄えられる。特徴抽出,特徴分類,状況判断等の
処理は,計算機112内で行う。状況判断結果は,ディ
スプレイ装置114や音声合成装置115等で人間に提
示される。状況判断結果によってアクチュエータ116
を制御する場合には,状況判断結果によって選択された
制御情報により,例えば前進,後退,回転等の何らかの
作業が行われる。
装置115等は,用語付与時に人間に質問する際にも利
用される。人間が用語を入力するときには,キーボード
やマウス,音声認識装置等から入力することが考えられ
るが,これは,一種のセンサといえるので,これら計算
機112への入力デバイスは,すべてセンサ111とし
て示している。
サ(CPU)とプログラムや制御用のデータが格納され
たメモリとから構成される。計算機112内に,階層型
ニューラルネット等のニューロコンピュータを含んでい
てもよい。
ェースを有する機器操作装置を実現するためのハードウ
ェア構成例を示す。入力装置121は,マイクロフォン
やキーボード等の人間の命令の入力機器,さらにスイッ
チ等の判定の入力機器である。入力データは,計算機1
23に送られる。センサ122は,行動実行中の状況を
測定するためのセンサであり,データは計算機123に
より取得される。
行,および入力された音声信号の処理やセンサ信号の処
理を行ったり,処理結果を記憶装置124に記憶させた
りするものである。
び本発明のプログラムを格納しておくもので,ハードデ
ィスクや半導体メモリ等で構成されている。音声合成装
置125は,行動パターンとして,音声を発するような
命令がある場合に音声を発したり,人間に対して質問す
る場合に音声を合成し発するものである。
り,各種の処理を実行する途中の処理状態を表示したり
するものである。機器127は,例えば,ロボットやア
クチュエータ,エアコン等の機器であり,人間が与える
命令は,これを操作するためのものである。入力装置1
21からディスプレイ装置126までを,機器127と
別に設けるのではなく,人間が命令を与える機器の中に
これらのすべてを組み込むようなハードウェア構成例と
することもできる。
動ロボットに適用した例について図面を用いて説明す
る。
説明する。図6は,超音波センサを持つ移動ロボットが
ある環境に置かれている図を示している。ここでは,超
音波センサデータのみを考えるが,本発明におけるセン
サデータは,同一種類のものに限る必要はない。例え
ば,ロボット30の位置(X,Y)やその方向θを含ん
だセンサデータでも構わない。この移動ロボット30
は,図1の情報入力装置1として超音波センサ31を備
えていることになる。超音波センサ31は外周に例えば
8個付いており,センサ位置からある物体までの距離を
測定することが可能である。
境は,壁32で挟まれた廊下33があり,廊下33の端
部に右コーナ34,T字路35,左コーナ36,行き止
まり37等がある。
置で測定したセンサの値をUとする。Uは8個の距離デ
ータからなるベクトルである。ロボット30を移動させ
て,あるサンプリング時間間隔で超音波センサ31の値
を測定する。
は,廊下のような場所では左右の距離が短く,前後の距
離が長いので,超音波センサ31の出力もそのような状
態になるはずである。廊下を通る間,ロボット30は同
じような状態の超音波センサデータをたくさん取得する
ことになる。
ている。1から8までの各方向の物体までの距離を計測
する超音波センサが8個あり,各々が10メートルまで
の距離を測定できるものと想定する。例えば,図7
(a)に示した幅2メートル,前後20メートルの長方
形空間では,図のA,B,Cの位置に対応する超音波セ
ンサデータは,図7(b)のようになる。この場合にお
いて,ロボットの半径は0.4メートルとし,超音波セ
ンサはロボットの表面に設置されているものとした。
例を詳しく説明する。 〔1〕情報入力装置 情報入力装置1(この実施の形態では,超音波センサ3
1)からデータ入力があると,データは,特徴抽出手段
2に送られる。特徴抽出手段2内に,もし,あらかじめ
決められた特徴抽出手法が指定されているならば,それ
に沿った特徴抽出が行われる。特徴を抽出する前の生デ
ータは捨てられるか,または生データ保存用データベー
ス9に保存される。時系列データから特徴を抽出するよ
うな場合もあるので,保存しておいた方が望ましく,基
本的には生データ保存用データベース9に入力データを
保存する。
法が用意されている。この特徴抽出手段2のフローチャ
ートを図8に示す。特徴抽出手法は二つ以上あってもよ
い。その場合,抽出される特徴量はべクトル量となる。
T0 からTn-1までのn個の特徴量を抽出するものとす
ると,まずセンサデータを入力し(図8のS1),iを
0に初期化する(S2)。その後,特徴量Ti を抽出し
(S4),iをインクリメントしながら(S5),特徴
量の抽出を繰り返して,iがnになったら終了する(S
3)。
データそのものを特徴抽出結果とすることも考えられ
る。この場合には,センサデータそのものが特徴とな
る。ただし,保存するデータ容量が大きくなるので効率
的でない。したがって,ここでは,前後の距離が長く
て,左右が短いといったセンサの特徴を抽出するものと
する。これには,図7における超音波センサデータの前
後の距離と左右の距離の比を特徴量として用いる。この
特徴量Tは,例えば,次式のようなものを用いる。
(b)のデータを代入すると,Aの位置における特徴量
TA は12.2,Bの位置における特徴量TB は16.
0,またCの位置における特徴量TC は12.2とな
る。十字路や広い部屋の真ん中にいるときには,前後,
左右の距離がほぼ等しく,特徴量Tはほぼ1に近い値と
なる。したがって,例えばT>10というような基準で
元の超音波センサデータを分類すると,ロボットが廊下
にいるのかそうでないかを判断する基準となる特徴量T
が得られる。ここで,得られた特徴量Tは,特徴比較・
分類手段3に送られる。
と,先と同じ方法で,特徴抽出が行われ,抽出された特
徴量Tは,特徴比較・分類手段3に送られる。一方,生
データは,生データ保存用データベース9に保存され
る。なお,特徴量についても,生データとともに生デー
タ保存用データベース9に保存してもよい。
とするデータから得られる何らかの特性を抽出したもの
なら何でもよく,もし,適当な特徴量が得られない場合
には,データそのものを特徴量とすればよい。
なデータと,時間に依存して変化する時系列データがあ
る。時間に依存して変化しない静的なデータでは,その
データ単一での特徴を扱う。一般にデータの特徴量は,
画像などでは,画像全体に占めるRGBの比率や,2値
化したときの面積,画像中のエッジの数などさまざまな
ものが考えられる。また,前後左右の4方向にある超音
波センサに対しては,先に述べたように,各々の方向で
の距離の比率,例えば,前後方向が左右方向に比べて長
いとか,前方向のみ距離が長く,その他は距離が短いな
どの前後方向対左右方向の距離比率などが特徴量として
挙げられる。以上が静的データの特徴抽出方法の例であ
る。
の時間変化を特徴量として抽出する。これには,時々刻
々に得られるセンサデータの時間差分を用いる。例え
ば,時刻tとt+Δtに得られた画像間の画像全体に占
めるRGBの比率の差分や,2値化したときの面積の差
分,画像中のエッジの数の差分などである。超音波セン
サからの入力についても,状態変化に着目するときに
は,時刻tとt+Δtに得られたセンサデータの差分を
取る。あるいは,ロボットが移動する際の速度や加速度
など(これらはすでに時間要素を含んでいる)を特徴量
として用いる。
ベース6に登録されている用語付きのデータ群と比較す
る特徴比較部と,用語付きのデータ群に一致するものが
ない場合に用語未決定データベース7に登録するために
分類する特徴分類部とからなる。
…,n−1),または特別な特徴抽出をしない場合に
は,超音波センサデータそのものを受け取って,それが
用語付きデータベース6中のk個のデータ群と一致する
かどうかの比較を行う部分である。k個のデータ群は,
それぞれmg 個の要素を持つ。なお,mg は必ずしも一
定の数でなくてもよい。図9は,この処理の流れを示し
たフローチャートである。
る(図9のS11)。次に,用語付きデータベース6中
のデータ群の個数kをカウントするループ変数gを0に
初期化設定する(S12)。その後,変数gがk以上に
なるまで(S13),gを1ずつインクリメントしなが
ら(S21),iが0から(n−1)までの特徴量T i
と,jが0から(mg −1)までの特徴量Tj との類似
性を比較する(S14〜S20)。ここで,Tj は用語
付きデータベース6中のg番目のデータ群にあるj番目
の特徴量である。
は何らデータが蓄積されていないので(k=0),比較
対象がなく,比較結果は「一致なし」として,特徴量T
は,特徴分類部にそのまま送られる。用語付きデータベ
ース6に何らかのデータがある場合には,特徴量同士の
類似性を計算し,一致判定を行う。特徴量Tの類似性
は,例えばその値間の距離Lを用いて計算する。
成分ごとの距離の総和を距離Lとする。距離Lがある閾
値εよりも小さければ,それらのセンサデータは「一致
あり」とみなされる。「一致あり」と判定された特徴量
Ti は,用語付きデータベース6の該当するデータ群に
蓄積されるとともに状況判断手段4に送られる。「一致
なし」と判定された特徴量は特徴分類部に送られる。
定方法については,超音波センサのデータを例にとって
説明する。超音波センサデータは8つの成分からなるベ
クトル量とする。まず,入力された超音波センサデータ
をD1とする。D1と類似したデータを検索するため,
検索対象となるデータを一つ選択する。それをDtとす
る。D1とDtの類似度は,例えば,次式のような距離
計算によって算出する。
定できる。超音波でないセンサデータについても同様に
処理をすることができる。各種センサについても,各成
分の並びを同一にすれば,同じ方法で類似性の判定が可
能である。
うな基準で分類されたデータ群との比較では,T>αで
あるかどうかをそのまま判定すればよい。 〔3−2〕特徴分類部 特徴比較・分類手段3の特徴分類部では,ある分類基準
に従って,用語未決定データベース7から特徴量Tに類
似するものがないか検索する。特徴分類部の処理手順
は,図9で示したフローチャートとまったく同じである
が,比較する特徴量Tj は用語未決定データベース7か
ら選ぶこととなる。用語未決定データベース7には,何
らかの特徴量によって分類されたデータ群が存在する。
各データ群を構成する任意のデータについて類似性判定
を行う。ここで,すべてのデータについて比較しても構
わない。類似性の判定には,例えば,その値間の距離L
を用いる。
は類似しているとみなされる。あるデータ群に属する任
意のデータに対し,「類似している」という判定であれ
ば,新しいデータをそのデータ群に登録する。もし,
「類似していない」という判定がされると新しいデータ
は新たなデータ群として登録される。
いても,特徴比較部で用いたセンサの各成分毎の距離計
算によって類似性の判定が可能である。別の分類法で
は,特徴量Tがどのような値の範囲にあるかを基準とし
て分類する。例えば[特徴量T>α (αは定数)]と
いうような基準で分類することもできる。これは,例え
ば速度が正なら前進,負なら後退,ゼロなら停止などと
分類する際に用いる分類基準である。
ータベース7内のデータ群に対し,用語を付与する手段
を提供する。図10は,用語付与手段5のフローチャー
トである。用語未決定データベース7内のあるデータ群
は,センサデータが入力されるに従い,徐々にその構成
データ数が増える。データ数がある一定量βを超えた場
合,該データには適当な用語が付けられる。用語を付与
するには,例えば,人間にセンサデータを示して,この
ようなセンサデータが示す状態(ロボットの例ではロボ
ットのいる場所)があるが,これをどう名付けるかを聞
くことにする。
(a)に示すように,用語未決定データベース7内の1
番目からk番目までのデータ群の要素の個数mg がある
一定量βより大きいかどうかを調べ(S31〜S3
4),大きいものがあった場合には,図10(b)に示
す質問ルーチンを起動する(S35)。
かを判断し(S41),人間が側にいない場合には処理
を終了する。人間が側にいる場合には,質問を提示し
(S42),用語を入力してもらう(S43)。入力し
た用語をデータ群に付与し(S44),それを用語付き
データベース6へ登録する(S45)。S42の質問の
提示では,例えば図11に示すようなユーザインターフ
ェースを用いてデータ内容を表示し,用語の入力を行
う。
する。用語を付与する際は,できるだけ人間が使ってい
る言葉で用語を付けることが望ましいが,データにその
ような名前を自動的に付与するには,あらかじめ装置側
がそのような知識を持っていなければ困難である。そこ
で,図11に示すようなユーザインターフェースを用い
て装置側が適宜人間に質問を行うことで,そのデータ群
に用語を付与する。
群について,その分類基準とデータ内容を提示し,人間
に用語の付与を依頼する。分類基準は,例えば,ロボッ
トの回転スピードという特徴量Δθ/Δtに対し,Δθ
/Δt>0という基準で選んだ特徴である場合,Δθ/
Δt>0といったものが分類基準となる。さらに,これ
は時系列的な特徴であることから,「これには動詞を付
与するのが適当と思われます」等のアドバイスをユーザ
インターフェースに付与する。
「回転する」という用語を与える。ここでは,Δθ/Δ
t>0に対しては,より適切には「左に回転する」であ
るが,このとき一般に,人間には「左に」を付けた方が
より適切であるとは思い付かない。この後,Δθ/Δt
<0という分類基準が提示されたときには,「回転す
る」という用語を再び付けようとする。しかし,この
「回転する」という用語はすでに別のデータに付与され
ているので,装置は,これはすでにΔθ/Δt>0とい
う特徴を持つデータに付いていますというアドバイスを
提示することによって,人間にΔθ/Δt>0とΔθ/
Δt<0という2種類のデータ群があることを示唆する
ことができる。この時点でΔθ/Δt>0に対しては,
「左に曲がる」,Δθ/Δt<0に対しては,「右に曲
がる」のようにより厳密な用語を付与することができ
る。
が同一の用語を付与しようとしたことが分かるので,こ
れらの間に何か関係がありそうだと推論できる。そこ
で,装置は,さらにこれらのデータ群をまとめる用語を
付与するかどうかを質問することが可能である。しかも
このとき,人間は,最初二つの異なるデータ群に対し
「回転する」という用語を付与しようとしたので,これ
がこれらのデータ群に対する共通の用語だと推論できる
こととなる。そこで,装置は,「これらに『回転する』
という用語を付与しますか?」と質問することができ
る。人間がこれらの質問にOKを答えれば,これら二つ
の用語に「回転する」という用語が付与される。OKし
ないなら,別の用語付与を求める。
の分類基準は,Δθ/Δt>0とΔθ/Δt<0とな
る。人間に聞けない場合には,まず適当な符号を付与し
ておいて,あとで必要に応じて人間に尋ね,あとから改
名する。側に人間がいない場合,適当な用語を装置が勝
手に付与しておく。もちろんこの場合,何の用語も付与
しないというのでも構わない。側に人間がいるかどうか
は,質問を発してからの経過時間で判断したり,赤外線
等のセンサを利用して人間の存在を確認することができ
る。
には,前に質問できなかったデータ群に対する用語付与
の質問を起動し,人間に用語を付与してもらう。用語を
付与されたデータ群は,用語未決定データベース7から
用語付きデータベース6に移動し,保存される。また,
生データ保存用データベース9に保存されている生デー
タに対しては,それがどのデータ群に属しているかがわ
かるような符号が付けられる。
用語を付与されたデータベースに逐次分類,登録される
こととなる。用語を付与する際に,適当なユーザインタ
ーフェース等を用いて,用語を付与するが,そのときデ
ータの特徴に応じて「名詞」,「動詞」,「形容詞」等
を付ける。以下はその際の基準を示す。
で,名詞は,静的な特徴量に基づいて分類されたデー
タ,すなわち時系列でないデータに付けられる。
ので,時系列の特徴量に基づいて分類されたデータに付
けられる。
のである。すなわち,動作が速いとか,量が多いなどで
ある。したがって,ある特徴量があってその性質の違い
を記述する場合には形容詞を用いる。ここで,ロボット
が移動する場合を考えてみる。このとき,ΔDir/Δ
tが並進の特徴量を表すことにする。ある一つのセンサ
信号系列から得られるΔDir/Δtが別のセンサ信号
系列から得られるΔDir/Δtよりも大きい場合,前
者は後者よりも速度が「速い」と名付ける。逆に後者
は,前者よりも「遅い」と名付ける。また,ある一定の
閾値を設け,この値よりもΔDir/Δtが大きいとき
には「速い」とし,遅いときには「遅い」と用語を与え
てもよい。
することもできる。この場合,「速い」,「普通」,
「遅い」に対応するメンバシップ関数を定義し,その度
合いによって付与する用語を決める。このとき,特徴量
はΔDir/Δtだけでなく,メンバシップ関数の定義
も特徴量として加える。
語付きデータベース6のデータ群に付けられた用語を参
照し,その内容によって現在の状況を判断する。例え
ば,「廊下」の用語を持つデータ群を参照し,現在の特
徴量が「廊下」に一致すると判断した場合,状況を「廊
下」にいると判断する。すなわち,入力データの判断
を,用語付きデータベース6にあるデータと比較するこ
とによって行い,さらにその用語データに付けられた名
前を用いて入力データの状況を判断する。
を示したものである。用語付きデータベース6から一致
した特徴量リストのデータ名(用語)を取得する(S5
1)。取得したデータ名で現在の状況を表し(S5
2),状況を表示する(S53)。必要に応じて状況に
応じた処理を行う(S54)。例えばロボットの超音波
センサから得たデータの特徴量が「左コーナ」であれ
ば,「左へ90度回転した後,前進。」というような制
御を行う。
たデータのうち,一定期間を経過しても所定のデータ数
に達しないデータは,何らかの原因,おそらくノイズ等
によって大きな誤差を含んだデータである可能性が高
い。そのようなデータは,用語を付与するほどの信頼性
を持ったデータとは言い難いので,削除する。これをデ
ータ群削除手段10が行う。あるいは,何らかの特異な
性質をもつデータかもしれないので,このような際に
は,データは削除しなくてもよい。
タ形式の例を示す。生データ保存用データベース9は,
情報入力装置1から得たデータをそのまま保存しておく
ためのデータベースで,例えば図13に示すように,シ
ステムが自動的に付与するデータの識別番号,データの
取得時刻,センサの種類,データの内容が格納される。
また,この例では,特徴量の種類と特徴量も生データ保
存用データベース9に格納されるようになっている。セ
ンサデータが時系列の場合にも,同様にデータの識別番
号,データの取得時刻,センサの種類,データ内容が格
納される。また,特徴量の種類,特徴量についても同様
に保存しておくことができる。
データベース 図14(a)は,用語未決定データベースのデータ形式
の例を示す。用語未決定データベース7には,分類され
たデータ群(グループ)の識別番号,グループに属する
データ数,グループに付けられた仮の用語,用語の仮の
品詞,分類基準となる特徴量の種類,分類基準およびこ
のグループに属するデータの識別番号が格納される。グ
ループに付けられる仮の用語およびその用語の仮の品詞
は,装置がセンサまたはデータの状況によって自動的に
付与する。
データ形式の例を示す。用語付きデータベース6には,
用語未決定データベース7のデータのグループに対して
用語付与手段5が用語を付与したものが登録される。デ
ータ形式は,用語未決定データベース7と同様である
が,仮の用語,仮の品詞ではなく,用語付与手段5によ
って付与された用語,品詞の情報を持つ。
現例 次に,階層型ニューラルネットを用いて特徴抽出を行う
例について説明する。特徴抽出手段2は,汎用のプロセ
ッサを用いて実現することもできるが,以下のように階
層型ニューラルネットのニューロコンピュータを用いて
実現することもできる。
て,特徴抽出する方法を示したものである。この階層型
ニューラルネットには,入力と出力が同じ値になるよう
に教師データを与えて学習させる。すなわち,恒等写像
を学習させる。図6に示した8個の超音波センサからな
るロボット30では,超音波センサからの8個の値をニ
ューラルネットへの入力とし,この入力とまったく同じ
8個の超音波センサの値を教師データとして,入力と出
力の値が常に同じになるように学習させる。このとき,
ニューラルネットのある中間層の出力をそのデータの特
徴量とする。
は,±1の範囲になるように調節してある。ここでは,
3層目の出力を用いることとする。中間層は複数ある場
合が一般的なので,特徴量としては,それらの出力のベ
クトルとなる。図15の例では,3層目の出力ユニット
は,二つにしてあり,この各々のユニット(unit
0,unit1)の出力を特徴量とする。特徴量の類似
性は,前述した距離Lで求める。
まざまな廊下(12種類:(A)〜(M))に置かれた
場合の状態を示している。また,図17は,ロボットに
搭載された8個の超音波センサの値を示している。
のニューラルネットに学習させ,第3層の中間層の出力
値を,unit0を横軸,unit1を縦軸にとってプ
ロットしたものが図18である。図18を見ると,12
種類のセンサデータが適当な位置に分散していることが
わかる。したがって,各点からの距離を,例えば0.2
としてその範囲内にあるデータを分類することができ
る。そのときの各ユニットの出力値は,図19に示した
通りである。
の範囲内で適当に移動させ,その時の超音波センサデー
タを取得して,すでに学習済みのニューラルネットに入
力したときの第3層の出力を図18と同様にプロットし
たものである。学習データに対応する出力は黒丸(●)
で,新たに分類したデータは菱形(◇)で示してある。
この結果,分類対象のデータは,一部のデータを除い
て,0.2という距離内にあることがわかる。したがっ
て,学習したデータに付けられた名前,例えば,(A)
なら「十字路」,(B)なら「廊下」といった名前によ
る状況判断ができる。
タベース6に入るべきデータ(最初の12種類のデータ
に相当)をあらかじめ人間が指定し,その用語にも名前
を付けてあるので,効率的な用語設定と状況判断が可能
である。
る場合の例 次に,時系列データを特徴量として用いる場合の実施の
形態を,移動ロボットの移動時における例に基づいて説
明する。移動ロボットは通常,前進後退と回転(操舵)
の2種類のモータを有することが多い。この2種類のモ
ータにその回転を検出できるセンサ,例えばエンコーダ
を備えているものとする。このとき,ロボットに移動命
令を与えて移動させ,その移動中にロボットの位置を逐
次測定する。
ダの値も変化するので,この変化する状態を検出する。
すなわち,特徴抽出手段2で,エンコーダの変化の状態
を特徴量として抽出する。この特徴量は,前進後退の方
向によって,前進がプラス,後退がマイナスとなるよう
にすることができる。また,その変化の割合,すなわち
速度も特徴量として検出できる。つまり,ここで検出し
た特徴量は,速度とその符号である。
語付きデータベース6を参照して速度に関するデータ群
との比較を行い,符号がプラスかマイナスかによって前
進,後退という用語が選択できるように用語を付与して
おく。こうすれば,状況判断時に前進するとか後退する
といった状況判断が可能である。
は,ロボットが移動するにつれて変化するので,時系列
的に得られる。得られたデータ群をS1,... Snとす
ると,これらは,ある時間間隔Δtにおいて得られた時
系列データである。このとき,各データ間の差分ΔSを
考える。
たかを表す。これを特徴量として,先のデータ分類法に
従ってデータを分類する。位置データにロボットの姿勢
も考慮し,Sの成分をx,y,θとする。x,yは2次
元平面内の移動量を表し,θはロボットの回転量を表
す。ΔSは,θだけが変化するような場合には,回転し
ている状態を意味し,x,yだけが変化するような場合
には,並進運動をしていることを意味する。すなわち,
類似データをΔθ>0というような基準で選択すると,
これは,左回転中と判断でき,そのデータ集合に対して
用語を例えば「左に曲がる」と命名する。Δθ<0なら
「右に曲がる」とする。
き,ロボットの進行方向は,Dir=ATAN(y/
x)で表され,ΔDir>0なら,ロボットは「前に進
む」状態にあり,ΔDir<0なら,ロボットは「後ろ
に進む」状態にあると判断できる。Δθ=0,Δx=
0,Δy=0なら,ロボットは停止中,両方ともある値
を持つならロボットは並進しながら,回転しているとい
う状態,つまり,カーブを曲がっていることになる。
計算し,類似性があると認められる場合には,それぞれ
のデータにある種のフラグを付ける。このフラグは後か
ら検索したときに,それらのデータが同じグループに属
することがわかるような形で付けておく。類似性が認め
られない場合には,最初に得られた特徴量とは別のフラ
グを付ける。
徴抽出を行って,その特徴を分類し保存する。以上,主
として本発明を移動ロボットに適用した例について説明
したが,もちろん,本発明は移動ロボットに限らず,セ
ンサからの入力によって何らかの処理または判断を行う
システムに,同様に適用することができる。
器操作装置 続いて,本発明に係る言語処理インターフェースを有す
る機器操作装置について,図21を用いて説明する。
ろ」という命令を人間が言葉で与える場合の処理を例に
とって説明する。人間が発した言葉は,マイクロフォン
等の入出力装置40で音声データが収集され,計算機に
送られる。計算機では,入力処理手段41がそのデータ
を処理する。音声データの場合は,その音声の特徴,例
えば音声の帯域別パワースペクトルや声紋などを言語デ
ータベース42に記録する。この記憶したデータ名をW
dとする。Wdは,用語付き行動データベース49に蓄
えられた行動データと比較される。
声紋間の距離などを用いて行う。比較の結果,一致する
ものがないかまたは用語付き行動データベース49内に
データがない場合には,行動選択手段44が起動され
る。一致するものがあれば,用語付き行動データベース
49から用語を選択し,結合された行動を実行する。
致する行動が加速度α=1[メートル毎秒毎秒]だとす
るとこの行動が選択され,実行され,速度が徐々に増大
する。比較の結果,一致するものがなかった場合,行動
選択手段44が起動され,行動データベース45 に蓄え
られた行動データ,例えば加速度α=−1[メートル毎
秒毎秒],加速度α=0[メートル毎秒毎秒],加速度
α=1[メートル毎秒毎秒]などから適当な行動が選択
される。
動データを最初から順に選んでもいいし,ランダムに選
んでもよい。ここでは,記述された行動データの最初か
ら順に選ぶものとする。まず,加速度α=−1[メート
ル毎秒毎秒]が選択される。この行動を実行すると,移
動ロボットは,速度が遅くなるか後ろ向きに進んでしま
う。これは,人間が与えた命令「速度を上げろ」に反す
るので,人間の判定は,NGを入力する。NGが入力さ
れたので,行動は中止され,新しい行動開始前の状態に
戻すか,動作を停止する。さらに,行動選択手段44で
は,先の行動とは異なる命令,加速度α=0[メートル
毎秒毎秒]を選択し,実行する。これは速度が一定とな
り,人間が与えた命令「速度を上げろ」に反するので,
人間の判定では,NGを入力する。NGが入力されたの
で,次の行動が再度選択される。加速度α=1[メート
ル毎秒毎秒]が選択され,実行されると速度は徐々に上
がるので,今度は,人間の判定がOKとなる。
ル毎秒毎秒]と与えられた命令「速度を上げろ」は,用
語付与手段48によって結合され,「命令:速度を上げ
ろ→行動:加速度α=1[メートル毎秒毎秒]」のよう
なデータ,あるいはデータ名Wdを使って,「命令:W
d→行動:加速度α=1[メートル毎秒毎秒]」とし
て,用語付き行動データベース49に保存される。
しい行動「加速度α=1[メートル毎秒毎秒]」が結合
できる。「速度を上げろ」という命令に類似している
が,言葉が異なる命令,例えば,「もっと速く」が命令
された場合の処理を説明する。現在,用語付き行動デー
タベース49には,「命令:速度を上げろ→行動:加速
度α=1[メートル毎秒毎秒]」というデータが格納さ
れているものとする。「もっと速く」という命令が与え
られるとデータ比較が行われるが,一致するデータはな
いので,行動選択が行われる。この時,α=−1から始
まって,順に判定が行われ,結局,α=1でOKの判定
が得られるはずなので,命令「もっと速く」もα=1に
結合され,用語付き行動データベース49には,「命
令:もっと速く→行動:加速度α=1[メートル毎秒毎
秒]」が格納される。これで,用語付き行動データベー
ス49は,2つの命令を記憶したことになる。
場には,行動データベース45に回転に関する行動パタ
ーンがない場合には,すべての行動を試しても,良い判
定は得られない。この場合は,加速度をいろいろ変えた
あと,結局,うまく行かないので,質問手段52を介し
て人間に質問を発する。例えば,「適当な行動がありま
せん。適切な行動を指示してください」といった質問を
発する。
いうような行動パターンを行動データベース45に追加
することによって,この質問に対処できる。また,行動
実行時の速度データをセンサ50によって取得してお
き,その変化パターンを行動と一緒に,またはセンサデ
ータのパターンのみを命令と一緒に用語付き行動データ
ベース49に保存してもよい。この場合,ある命令を与
えた場合に,命令に一致する行動のセンサデータのパタ
ーンを人間に提示することによって,どのように機器の
状態が変化するかわかるので,人間が安心して命令を与
えられる効果がある。
いくと,速度の増減に関するさまざまな用語と行動の関
係が構築でき,人間が発するさまざまなパターンの命令
に対処できるようになる。
は,比較手段43のフローチャートである。比較手段4
3は,用語付き行動データベース49中に,入力した用
語と未照合の用語付きデータがない場合,すなわち以下
のステップS63,S64で照合した結果,入力した用
語と一致する用語付きデータが得られなかった場合(S
61),行動選択手段44を起動して行動選択処理を依
頼する(S62)。用語付きデータベース49中に未照
合の用語付きデータがある場合には,用語付き行動デー
タベース49から未照合の用語(命令)を選択し(S6
3),入力した用語と一致するかどうかを調べる(S6
4)。用語が一致するならば,行動実行手段46を起動
して行動実行処理を依頼する(S65)。用語が一致し
ないならば,ステップS61へ戻り,照合を繰り返す。
ートである。行動選択手段44は,これまでの行動の選
択回数が,あらかじめ定められた指定回数になったかど
うかを調べ(S71),指定回数になったならば,ステ
ップS73へ進む。まだ,指定回数になっていなけれ
ば,行動データベース45に未実行行動データがあるか
どうかを調べ(S72),ない場合にはステップS73
へ進む。ある場合には,ステップS76へ進む。
ベース45中の行動をすべて実行した場合には,質問を
発行するかどうかを判断し(S73),質問を発行する
ならば質問手段52を起動して質問処理を行い(S7
4),質問を発行しないならば終了する(S75)。
行動データベース45中に未実行行動データがあれば,
未実行の行動を選択して(S76),その行動の実行済
みフラグをONにする(S77)。次に,選択回数をプ
ラス1して(S78),行動実行手段46を起動し,選
択した行動の実行を依頼する(S79)。
である。判定手段47は,判定基準データベース51中
に判定基準があるかどうかを調べ(S81),判定基準
があれば,判定基準データベース51から判定基準を抽
出し,その判定基準と照合する(S82)。判定基準が
なければ,判定入力手段53からの判定入力を待つ(S
83)。
定がOKならば(S84),用語付与手段48を起動し
て用語付与処理を依頼する(S85)。判定がOKでな
ければ,行動選択手段44を起動して行動選択処理を依
頼する(S86)。
センサデータの処理について,センサからの入力データ
を分類し保存する機構と,これらの分類されたデータ群
に適当な用語を与える機構を有することで,得られたセ
ンサデータからその場の状況や状態を正しく判断するこ
とが可能となる。また,膨大なデータを効率よく簡略化
して記憶し,状況判断が必要になったときに取り出して
比較できることから,よりよいデータの利用技術を提供
することが可能となる。
による命令について,それにふさわしい行動パターンを
選択実行する機構とそれらを結合記憶する機構を有する
ことで,人間のさまざまに変化する命令を吸収でき,し
かも,人間にとって,わかりやすいインターフェースを
堤供できることから,よりよい言語処理インターフェー
スを有する機器操作装置を構築することが可能となる。
示す図である。
る機器操作装置の構成例を示す図である。
る機器操作装置の構成例を示す図である。
ためのハードウェア構成例を示す図である。
る機器操作装置を実現するためのハードウェア構成例を
示す図である。
置かれている例を示す図である。
す図である。
る。
る。
ある。
る。
ある。
する機器操作装置の実施の形態を説明する図である。
Claims (14)
- 【請求項1】 センサから得られたデータを処理するセ
ンサデータ処理方法であって,センサからの入力を直接
または加工して分類したデータ群を,分類ごとに用語を
付けて用語付きデータベースとして保持し,あるセンサ
入力があったときに,前記用語付きデータベースを用い
て,そのセンサ入力を分類し,分類結果を出力し,ある
センサ入力について,前記用語付きデータベースに分類
されているデータ群のどれにも類似しないと判断したと
きに,それらのデータを分類して一時的に記憶し,前記
一時的に記憶されたデータ群に対し用語を付与して,前
記用語付きデータベースに格納することを特徴とする用
語付きデータを扱うデータ処理方法。 - 【請求項2】 センサから得られたデータを処理するセ
ンサデータ処理装置であって,1または複数のセンサか
ら入力されたセンサデータから,ある特徴量を抽出する
特徴抽出手段と,抽出した特徴量に基づいて,前記セン
サデータを分類する特徴比較・分類手段と,分類された
センサデータのデータ群に対して用語が付与されていな
い場合に,分類ごとに用語を付与する用語付与手段とを
有することを特徴とする用語付きデータを扱うデータ処
理装置。 - 【請求項3】 請求項2に記載する用語付きデータを扱
うデータ処理装置において,前記特徴比較・分類手段に
より,入力センサデータがすでに用語が付与されたデー
タ群の一つに分類されたとき,その用語を状況の判断に
用いる状況判断手段を有することを特徴とする用語付き
データを扱うデータ処理装置。 - 【請求項4】 請求項2に記載する用語付きデータを扱
うデータ処理装置において,前記用語付与手段は,用語
が付与されていないセンサデータのデータ群に用語を付
与する際に,ユーザに適当な用語を提示するように質問
し,ユーザからの入力によって用語を付与することを特
徴とする用語付きデータを扱うデータ処理装置。 - 【請求項5】 人間等から与えられる言語情報を処理し
機器を操作する装置における用語付きデータを扱う機器
操作方法であって,機器の行動パターンに用語を付けて
用語付きデータベースとして保持し,機器の操作を指示
する用語を入力し,入力した用語と前記用語付きデータ
ベース中の行動パターンに付けられた用語とを比較し,
用語が一致する場合に,その用語の付けられた行動パタ
ーンに基づいて機器を制御し,用語が一致しない場合
に,機器が実行し得る複数の行動パターンの中から,所
定の規則により選択またはランダムに選択した行動パタ
ーンに基づいて機器を制御し,適切な行動パターンがと
られたときに,その行動パターンに対して前記入力した
用語を付与して前記用語付きデータベースに格納するこ
とを特徴とする用語付きデータを扱う機器操作方法。 - 【請求項6】 人間等から与えられる言語情報を処理し
機器を操作する装置であって,用語が付けられた機器の
行動パターンを記憶する用語付きデータベースと,機器
の操作を指示する用語を入力する入力処理手段と,前記
入力処理手段によって入力した用語と前記用語付き行動
データベース中の行動パターンに付けられた用語とを比
較する比較手段と,用語が一致しない場合に,機器が実
行し得る複数の行動パターンの中から,所定の規則によ
りまたはランダムに一つの行動パターンを選択する行動
選択手段と,前記比較手段により一致が検出された用語
の付けられた行動パターンまたは前記行動選択手段によ
り選択された行動パターンによって機器を制御する行動
実行手段と,前記行動実行手段が実行した行動パターン
が適切かどうかを判定する判定手段と,前記判定手段に
より適切と判断された行動パターンに前記入力した用語
を付与し,前記用語付きデータベースに格納する用語付
与手段とを有することを特徴とする用語付きデータを扱
う機器操作装置。 - 【請求項7】 請求項6に記載する用語付きデータを扱
う機器操作装置おいて,前記入力処理手段は,入力した
言葉を言語処理によって内部データの用語に変換するこ
とを特徴とする用語付きデータを扱う機器操作装置。 - 【請求項8】 請求項6に記載する用語付きデータを扱
う機器操作装置おいて,前記行動選択手段は,用語が入
力された際に行動パターンをランダムに選択し,前記行
動実行手段は,可能な行動パターンを所定数またはすべ
て実行し,前記用語付与手段は,行動パターンを実行し
た結果,ある判定基準に対しもっとも高い評価を得た行
動パターンに前記用語を付与することを特徴とする用語
付きデータを扱う機器操作装置。 - 【請求項9】 請求項6に記載する用語付きデータを扱
う機器操作装置において,前記判定手段において判定に
用いる判定基準を記憶する判定基準データベースと,前
記行動選択手段において行動を選択する際にどの判定基
準を用いるかを質問する質問手段と,前記行動実行手段
が実行した行動パターンの適否の情報を入力する判定入
力手段とを有し,前記判定手段は,前記質問手段によっ
て得られた判定基準または前記判定入力手段から入力し
た情報に基づいて行動の判定を行うことを特徴とする用
語付きデータを扱う機器操作装置。 - 【請求項10】 請求項6に記載する用語付きデータを
扱う機器操作装置において,前記行動実行手段により実
行した行動パターンの動作状況を測定できる複数のセン
サを有し,前記用語付与手段は,前記判定手段によって
適切と判定された行動パターンを実行する間に前記セン
サから得られたセンサデータ群と前記用語と前記行動判
定に用いた判定基準とを前記用語付き行動データベース
に格納することを特徴とする用語付きデータを扱う機器
操作装置。 - 【請求項11】 請求項10に記載する用語付きデータ
を扱う機器操作装置において,前記判定手段は,センサ
データの特徴を判定基準として用いることを特徴とする
用語付きデータを扱う機器操作装置。 - 【請求項12】 請求項6に記載する用語付きデータを
扱う機器操作装置において,前記行動実行手段により所
定の回数の行動パターンを実行し,前記判定手段におい
て所定の基準以上の評価を得られなかった場合に,人間
に対して適切な行動パターンがどれかを質問する質問手
段を有することを特徴とする用語付きデータを扱う機器
操作装置。 - 【請求項13】 センサから得られたデータを処理する
用語付きデータを扱うデータ処理装置を実現するための
プログラムを記憶した記憶媒体であって,センサからの
入力を直接または加工して分類したデータ群を分類ごと
に用語を付けて記憶する用語付きデータベースを用い
て,あるセンサ入力があったときに,そのセンサ入力を
分類し,分類結果を出力する処理と,あるセンサ入力に
ついて,前記用語付きデータベースに分類されているデ
ータ群のどれにも類似しないと判断したときに,それら
のデータを分類して一時的に記憶する処理と,前記一時
的に記憶されたデータ群に対し用語を付与して,前記用
語付きデータベースに格納する処理とを計算機に実行さ
せるプログラムを記憶したことを特徴とする用語付きデ
ータを扱うデータ処理装置のプログラム記憶媒体。 - 【請求項14】 人間等から与えられる言語情報を処理
し機器を操作する用語付きデータを扱う機器操作装置を
実現するためのプログラムを記憶した記憶媒体であっ
て,機器の操作を指示する用語を入力する処理と,機器
の行動パターンに用語を付けて記憶する用語付きデータ
ベース中の用語と前記入力した用語とを比較する処理
と,用語が一致する場合に,その用語の付けられた行動
パターンに基づいて機器を制御する処理と,用語が一致
しない場合に,機器が実行し得る行動パターンの中か
ら,所定の規則により選択またはランダムに選択した行
動パターンに基づいて機器を制御し,適切な行動パター
ンがとられたときに,その行動パターンに対して前記入
力した用語を付与して前記用語付きデータベースに格納
する処理とを,計算機に実行させるプログラムを記憶し
たことを特徴とする用語付きデータを扱う機器操作装置
のプログラム記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP04662598A JP3884160B2 (ja) | 1997-11-17 | 1998-02-27 | 用語付きデータを扱うデータ処理方法,データ処理装置およびプログラム記憶媒体 |
US10/246,637 US7143045B2 (en) | 1997-11-17 | 2002-09-19 | Device and method for operating device for data analysis based on data associated with words |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9-314699 | 1997-11-17 | ||
JP31469997 | 1997-11-17 | ||
JP04662598A JP3884160B2 (ja) | 1997-11-17 | 1998-02-27 | 用語付きデータを扱うデータ処理方法,データ処理装置およびプログラム記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11203264A true JPH11203264A (ja) | 1999-07-30 |
JP3884160B2 JP3884160B2 (ja) | 2007-02-21 |
Family
ID=26386734
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP04662598A Expired - Fee Related JP3884160B2 (ja) | 1997-11-17 | 1998-02-27 | 用語付きデータを扱うデータ処理方法,データ処理装置およびプログラム記憶媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7143045B2 (ja) |
JP (1) | JP3884160B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008009934A (ja) * | 2006-06-30 | 2008-01-17 | Kagawa Univ | データ処理装置,データ処理方法,作業機械の遠隔診断システム及び作業機械の遠隔診断方法 |
JP2008009935A (ja) * | 2006-06-30 | 2008-01-17 | Kagawa Univ | データ処理装置,データ処理方法,作業機械の遠隔診断システム及び作業機械の遠隔診断方法 |
JP2008536208A (ja) * | 2005-03-16 | 2008-09-04 | インペリアル・イノベイションズ・リミテッド | 時空間自己組織化マップ |
KR101186192B1 (ko) * | 2008-12-08 | 2012-10-08 | 한국과학기술원 | 센서 스크립트를 이용한 센서 정보 인식 장치 및 그 방법과그를 이용한 로봇 |
JP2017091522A (ja) * | 2015-11-04 | 2017-05-25 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 認証方法、認証装置及び学習方法 |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2003231176A1 (en) * | 2002-04-29 | 2003-11-17 | Laboratory For Computational Analytics And Semiotics, Llc | Sequence miner |
JP2004199478A (ja) * | 2002-12-19 | 2004-07-15 | Fuji Xerox Co Ltd | 自然語入力装置及び自然語入力プログラム |
US7266780B2 (en) * | 2003-06-30 | 2007-09-04 | Motorola, Inc. | Method for combining deterministic and non-deterministic user interaction data input models |
JP2005148789A (ja) * | 2003-11-11 | 2005-06-09 | Fanuc Ltd | 音声入力によるロボット教示プログラム編集装置 |
DE602004017496D1 (de) * | 2003-12-05 | 2008-12-11 | Kenwood Corp | Einrichtungssteuereinrichtung und einrichtungssteuerverfahren |
EP1691345A4 (en) * | 2003-12-05 | 2008-08-13 | Kenwood Corp | DEVICE CONTROLLER, LANGUAGE DETECTION DEVICE, AGENT SETUP, DATA STRUCTURE, AND SETUP CONTROL METHOD |
EP1796009A3 (en) * | 2005-12-08 | 2007-08-22 | Electronics and Telecommunications Research Institute | System for and method of extracting and clustering information |
EP2191421A4 (en) * | 2007-09-17 | 2013-05-08 | Capfinder Aktiebolag | APPLICATION DRAWING ASSISTANCE SYSTEM |
JP2009140348A (ja) * | 2007-12-07 | 2009-06-25 | Toyota Motor Corp | 行動決定装置、行動学習装置、及びロボット装置 |
US9015093B1 (en) | 2010-10-26 | 2015-04-21 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
US8775341B1 (en) | 2010-10-26 | 2014-07-08 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
US9881072B2 (en) | 2014-08-14 | 2018-01-30 | McAFEE, LLC. | Dynamic feature set management |
US11501765B2 (en) * | 2018-11-05 | 2022-11-15 | Dish Network L.L.C. | Behavior detection |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4638445A (en) * | 1984-06-08 | 1987-01-20 | Mattaboni Paul J | Autonomous mobile robot |
US4896357A (en) * | 1986-04-09 | 1990-01-23 | Tokico Ltd. | Industrial playback robot having a teaching mode in which teaching data are given by speech |
US4827520A (en) * | 1987-01-16 | 1989-05-02 | Prince Corporation | Voice actuated control system for use in a vehicle |
JPH07109560B2 (ja) * | 1990-11-30 | 1995-11-22 | 富士通テン株式会社 | 音声認識装置 |
US5345538A (en) * | 1992-01-27 | 1994-09-06 | Krishna Narayannan | Voice activated control apparatus |
US5388198A (en) * | 1992-04-16 | 1995-02-07 | Symantec Corporation | Proactive presentation of automating features to a computer user |
US5384892A (en) * | 1992-12-31 | 1995-01-24 | Apple Computer, Inc. | Dynamic language model for speech recognition |
US5852801A (en) * | 1995-10-04 | 1998-12-22 | Apple Computer, Inc. | Method and apparatus for automatically invoking a new word module for unrecognized user input |
US6064959A (en) * | 1997-03-28 | 2000-05-16 | Dragon Systems, Inc. | Error correction in speech recognition |
JP3605682B2 (ja) * | 1996-05-16 | 2004-12-22 | 本田技研工業株式会社 | 音声入力制御装置 |
JP3702978B2 (ja) * | 1996-12-26 | 2005-10-05 | ソニー株式会社 | 認識装置および認識方法、並びに学習装置および学習方法 |
-
1998
- 1998-02-27 JP JP04662598A patent/JP3884160B2/ja not_active Expired - Fee Related
-
2002
- 2002-09-19 US US10/246,637 patent/US7143045B2/en not_active Expired - Fee Related
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008536208A (ja) * | 2005-03-16 | 2008-09-04 | インペリアル・イノベイションズ・リミテッド | 時空間自己組織化マップ |
JP2008009934A (ja) * | 2006-06-30 | 2008-01-17 | Kagawa Univ | データ処理装置,データ処理方法,作業機械の遠隔診断システム及び作業機械の遠隔診断方法 |
JP2008009935A (ja) * | 2006-06-30 | 2008-01-17 | Kagawa Univ | データ処理装置,データ処理方法,作業機械の遠隔診断システム及び作業機械の遠隔診断方法 |
KR101186192B1 (ko) * | 2008-12-08 | 2012-10-08 | 한국과학기술원 | 센서 스크립트를 이용한 센서 정보 인식 장치 및 그 방법과그를 이용한 로봇 |
JP2017091522A (ja) * | 2015-11-04 | 2017-05-25 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 認証方法、認証装置及び学習方法 |
Also Published As
Publication number | Publication date |
---|---|
US20030018467A1 (en) | 2003-01-23 |
US7143045B2 (en) | 2006-11-28 |
JP3884160B2 (ja) | 2007-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH11203264A (ja) | 用語付きデータを扱うデータ処理方法,データ処理装置,機器操作方法,機器操作装置およびプログラム記憶媒体 | |
US5974201A (en) | Smart image system | |
US11457788B2 (en) | Method and apparatus for executing cleaning operation | |
US6473851B1 (en) | System for combining plurality of input control policies to provide a compositional output control policy | |
WO2019019935A1 (zh) | 交互方法、交互终端、存储介质和计算机设备 | |
JPH06138815A (ja) | 手話/単語変換システム | |
US20240029436A1 (en) | Action classification in video clips using attention-based neural networks | |
Randelli et al. | Knowledge acquisition through human–robot multimodal interaction | |
WO2020123109A1 (en) | Systems and methods for automatically configuring training data for training machine learning models of a machine learning-based dialogue system | |
Yu et al. | L3mvn: Leveraging large language models for visual target navigation | |
US20220318311A1 (en) | Retrieval-based dialogue system with relevant responses | |
Kay | Vive la difference! individualised interaction with users | |
Trafton et al. | Using cognitive models to train big data models with small data | |
US20210174151A1 (en) | Response based on hierarchical models | |
CN117992594A (zh) | 基于生成式ai的用户陪伴方法、***、设备及存储介质 | |
KR102634668B1 (ko) | 건설 폐기물 발생을 줄이는 건물 리모델링 방법 | |
Hasler et al. | Interactive incremental online learning of objects onboard of a cooperative autonomous mobile robot | |
US11501071B2 (en) | Word and image relationships in combined vector space | |
Clemente et al. | Self-adjusting focus of attention in combination with a genetic fuzzy system for improving a laser environment control device system | |
Tahat et al. | Pattern recognition and data mining software based on artificial neural networks applied to proton transfer in aqueous environments | |
Kasprzak et al. | Agent-based approach to the design of a multimodal interface for cyber-security event visualisation control | |
Schiffer | Integrating qualitative reasoning and human-robot interaction in domestic service robotics | |
Inder et al. | K-DIME: a software framework for Kansei filtering of internet material | |
Saridis | Machine-intelligent robots: A hierarchical control approach | |
Marcuzzi et al. | Mask4D: End-to-End Mask-Based 4D Panoptic Segmentation for LiDAR Sequences |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060328 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060524 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061116 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101124 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101124 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111124 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111124 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121124 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121124 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131124 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |