JPH1091207A - 内部表現自動生成方法及び装置 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】 対象の状態、認識・制御システム自体の状態
又は対象と認識・制御システムとの関係を効率良く認識
及び・制御するための適切な内部表現を自動的に生成す
ること。 【解決手段】 認識・制御システムの状態を検出してセ
ンサ信号を出力するセンサ１と、制御信号に応答して認
識・制御システムの状態を変化させるアクチュエータ３
と、センサ信号を処理して感覚信号を出力する感覚モジ
ュール４と、運動信号又は運動指令に基づいてアクチュ
エータを制御する運動モジュール５と、感覚モジュール
からの感覚信号及び運動モジュールからの制御信号に基
づいて、センサ信号と制御信号との相互関係を分析し、
その結果に基づいて感覚モジュールの感覚特性及び運動
モジュールの運動特性を自動的に調整する自動調整モジ
ュール６とを備え、センサ信号及び制御信号の内部表現
である感覚情報及び運動情報を自動的に生成するように
構成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は内部表現自動生成方
法及び装置に係り、特に物体や環境等の対象の状態、認
識・制御システム自体の状態、又は対象と認識・制御シ
ステムとの関係を能動的に変化させることが可能な認識
・制御システムにおいて、認識・制御システム内の感覚
情報と運動情報との間の相互関係を分析してその分析結
果に基づいて感覚モジュールの特性・運動モジュールの
特性を自動的に調整し、感覚情報及び運動情報の適切な
内部表現を自動的に生成する内部表現自動生成方法及び
装置に関する。

【０００２】尚、本明細書では、「内部表現」とはシス
テム内のセンサ信号等の感覚情報及び制御信号等の運動
情報を示す。又、「認識・制御システム」とは、例え
ば、各種ロボット、認識システム、検査システム、自律
移動体等のナビゲーションシステム、トラッキングシス
テム等を含む。

【０００３】

【従来の技術】従来、例えばロボットにある作業を行わ
せるには、先ず人間が作業を分析し、その分析結果に基
づいてロボットに適した方法を組み上げてプログラミン
グを行う。この様にプログラミングされたロボットは、
プログラムを実行することにより所望の作業を行う。

【０００４】従来のロボットでは、動作環境及び作業内
容に関する制約が大きいため、応用範囲が比較的限られ
てしまう。そこで、ロボットの応用範囲を拡げるために
は、様々な状況において種々のタスクを遂行する能力を
ロボットに持たせる必要がある。しかし、ロボットの設
計者が起こり得る状況を予め全て予測し、予測された状
況に対応するための能力をロボットに事前に組み込んで
おくことは非常に難しく、ロボットが複数のタスクに対
応する必要がある場合には、更に難しい。

【０００５】そこで、ロボットが環境とインタラクトし
ながら、自分の置かれた状況とタスクの目的に応じて自
らの行動を学習して行くことが望まれる。このような学
習により、様々な状況と種々のタスクを遂行できるよう
になったり、実行効率を自ら向上させることができるよ
うになれば、ロボットの応用範囲も広がる。

【０００６】この様な機能を持つロボットを実現するた
めには、教えられた軌道をそのまま記憶して再現するよ
うな低次の学習だけではなく、より高次のタスクレベル
の学習が要求される。しかし、従来のタスクレベルの学
習は、理想環境でのコンピュータシミュレーションしか
行わないものが多く、実際のロボットへの適用性につい
てはあまり考慮されていない。ここで、「理想環境」と
は、例えば格子に区切られた平面上の世界を示す。この
様な平面上の世界において、「状態」とは、ロボットが
存在する格子の座標に対応し、「運動」とは、隣接する
上下左右いずれかの格子への移動に対応する。理想環境
では、ロボットの運動情報と状態遷移が１対１に対応し
ており、状態空間及び運動空間の次元も低いため、強化
学習等を行うことにより、タスクを遂行するための行動
をロボットに学習させることができる。

【０００７】

【発明が解決しようとする課題】ところが、実際のロボ
ットは、理想環境では使用されないため、適切な状態空
間及び運動空間を構成すること自体が非常に難しいとい
う問題があった。つまり、膨大な量の感覚情報をどのよ
うにしてコンパクトな状態空間で表現するかの問題や、
状態空間に対応するような運動空間をどのように構成す
るかの問題等を解決しない限り、実際のロボットにタス
クレベルの学習をさせることは非常に難しかった。

【０００８】言い変えれば、認識・制御システムの感覚
情報及び制御情報の適切な内部表現を生成することが、
学習するロボット等の認識・制御システムを実現するた
めの重要な課題であった。そこで、本発明は、対象の状
態、認識・制御システム自体の状態、又は対象と認識・
制御システムとの関係を能動的に変化させることが可能
な認識・制御システムにおいて、対象の状態、認識・制
御システム自体の状態又は対象と認識・制御システムと
の関係を効率良く認識及び制御するための適切な内部表
現を自動的に生成する内部表現自動生成方法及び装置を
提供することを目的とする。

【０００９】

【課題を解決するための手段】上記の課題は、請求項１
記載の、物体や環境等の対象の状態、認識・制御システ
ム自体の状態、又は対象と認識・制御システムとの関係
を能動的に変化させることが可能な認識・制御システム
において、該認識・制御システムの状態を検出してセン
サ信号を出力するセンサ手段と、制御信号に応答して該
認識・制御システムの状態を変化させるアクチュエータ
手段と、該センサ手段からのセンサ信号を処理して感覚
信号を出力する感覚モジュールと、運動信号又は運動指
令に基づいて該アクチュエータ手段を制御する制御信号
を出力する運動モジュールと、該感覚モジュールからの
感覚信号及び該運動モジュールからの制御信号に基づい
て、センサ信号と制御信号との相互関係を分析し、その
分析結果に基づいて該感覚モジュールの感覚特性及び該
運動モジュールの運動特性を自動的に調整する自動調整
モジュールとを備え、センサ信号及び制御信号の内部表
現である感覚情報及び運動情報を自動的に生成する内部
表現自動生成装置によって達成される。

【００１０】請求項２記載の発明では、請求項１におい
て、前記アクチュエータ手段は、前記センサ手段の特性
パラメータを変化させる手段を含み、前記認識・制御シ
ステムが処理を施す対象の状態、該認識・制御システム
自体の状態、又は両者の関係を能動的に変化させる。

【００１１】請求項３記載の発明では、請求項１又は２
において、前記センサ手段は、位置センサ、速度セン
サ、温度センサ、湿度センサ、照度センサ、カメラのう
ち少なくとも１つを含む。請求項４記載の発明では、請
求項３において、前記カメラを先端に設けられたロボッ
トアームを更に備え、前記アクチュエータ手段は、該カ
メラの焦点距離、絞り及び解像度のうち少なくとも１つ
を制御する。

【００１２】請求項５記載の発明では、請求項１〜４の
いずれかにおいて、前記感覚モジュール及び前記運動モ
ジュールのうち少なくとも一方は、線形変換手段を有す
る。請求項６記載の発明では、請求項１〜５のいずれか
において、前記自動調整モジュールは、感覚信号と制御
信号との相互関係を相関性を示標として検出する手段を
有する。

【００１３】上記の課題は、請求項７記載の、物体や環
境等の対象の状態、認識・制御システム自体の状態、又
は対象と認識・制御システムとの関係を能動的に変化さ
せることが可能な認識・制御システムにおいて、該認識
・制御システムの状態を検出してセンサ信号を出力する
第１のステップと、制御信号に応答して該認識・制御シ
ステムの状態を変化させる第２のステップと、該センサ
信号を処理して感覚信号を出力する第３のステップと、
運動信号又は運動指令に基づいて該制御信号を出力する
第４のステップと、該感覚信号及び該制御信号に基づい
て、該センサ信号と該制御信号との相互関係を分析し、
その分析結果に基づいて該第３のステップの感覚特性及
び該第４のステップの運動特性を自動的に調整する第５
のステップとを含み、該センサ信号及び該制御信号の内
部表現である感覚情報及び運動情報を自動的に生成する
内部表現自動生成方法によっても達成される。

【００１４】請求項８記載の発明では、請求項７におい
て、前記第２のステップは、前記第１のステップの特性
パラメータを変化させるステップを含み、前記認識・制
御システムが処理を施す対象の状態、該認識・制御シス
テム自体の状態、又は両者の関係を能動的に変化させ
る。

【００１５】請求項９記載の発明では、請求項７又は８
において、前記第１のステップは、位置センサ、速度セ
ンサ、温度センサ、湿度センサ、照度センサ、カメラの
うち少なくとも１つを用いる。請求項１０記載の発明で
は、請求項９において、前記認識・制御システムはカメ
ラを先端に設けられたロボットアームを備え、前記第２
のステップは、該カメラの焦点距離、絞り及び解像度の
うち少なくとも１つを制御する。

【００１６】請求項１１記載の発明では、請求項７〜１
０のいずれかにおいて、前記第３及び第４のステップの
うち少なくとも一方は、線形変換ステップを含む。請求
項１２記載の発明では、請求項７〜１１のいずれかにお
いて、前記第５のステップは、感覚信号と制御信号との
相互関係を相関性を示標として検出するステップを含
む。

【００１７】請求項１及び７記載の発明によれば、対象
の状態、認識・制御システム自体の状態又は対象と認識
・制御システムとの関係を効率良く認識及び制御するた
めの適切な内部表現を自動的に生成することができる。
請求項２〜４，８〜１０記載の発明によれば、各種ロボ
ット、認識システム、検査システム、自律移動体等のナ
ビゲーションシステム、トラッキングシステム等への適
用に適している。

【００１８】請求項５，６，１１，１２記載の発明によ
れば、必要とされる計算量を比較的小さく抑えつつ、正
確な内部表現を生成することができる。従って、本発明
によれば、対象の状態、認識・制御システム自体の状
態、又は対象と認識・制御システムとの関係を能動的に
変化させることが可能な認識・制御システムにおいて、
対象の状態、認識・制御システム自体の状態又は対象と
認識・制御システムとの関係を効率良く認識及び制御す
るための適切な内部表現を自動的に生成することが可能
となる。

【００１９】

【発明の実施の形態】ロボット等の認識・制御システム
は、タスクの目的に応じて行動しながら、多種様々なセ
ンサを用いて感覚情報を得て、自分の置かれている状況
やタスクの達成度を認識する必要がある。このため、認
識と行動との相互作用、即ち、行動が認識に及ぼす影響
及び認識が行動に及ぼす影響を計算する機構を備える必
要がある。以下の説明では、感覚情報と制御情報との間
の相互作用を計算する機構を「モジュール」と言う。

【００２０】又、種類の異なる感覚情報を段階的に同種
類の情報に変換しつつ融合する処理構造も必要である。
そこで、本発明者は、各層で感覚情報と運動情報との間
の相互作用を計算する機構を持ち、種類の異なる感覚情
報を融合する処理構造を持った階層型感覚運動融合モデ
ルについて検討した。

【００２１】図１は、階層型感覚運動融合モデルの概略
構成を示す図である。このモデルは、物理世界ＰＷ、即
ち、外界の情報を取り込むセンサ群Ｓと外界に作用する
アクチュエータ群Ａの上に、自律性を有する処理ユニッ
トＰＵを階層的に結合した構造を持ち、各処理ユニット
ＰＵ間でボトムアップとトップダウンの双方向の情報交
換を実現する。

【００２２】各処理ユニットＰＵは、図２に示すよう
に、認識（又は感覚）モジュールＲＭと、運動モジュー
ルＭＭと、それらの連携をとる感覚運動融合モジュール
ＳＦＭとの３つのモジュールから構成される。認識モジ
ュールＲＭは、時空間にわたって収集した下位層（ある
いはセンサ群Ｓ）からの感覚情報をより抽象度の高い感
覚情報に変換し、上位層に伝達する。一方、運動モジュ
ールＭＭは、上位層からの運動情報を下位層（あるいは
アクチュエータ群Ａ）のより具体的な運動情報に変換
し、下位層に伝達することによって外界に作用する。認
識モジュールＲＭと運動モジュールＭＭとを結合する感
覚運動融合モジュールＳＦＭは、運動モジュールＭＭの
外界への働きかけによって生じる感覚情報の変化を予測
し、認識モジュールＲＭに通知するとともに、認識モジ
ュールＲＭにより知覚・認識される感覚情報と上位層か
らの運動情報とに基づいて、運動モジュールＭＭに対す
る上位層からの運動情報を時間的に分割した運動情報を
生成する。

【００２３】このように、階層型感覚運動融合モデルで
は、最上位層に与えられたタスクが、より具体的な行動
目標、即ち、下位層が実行すべき運動情報として各処理
ユニットＰＵに時空間的に分解して伝達される。従っ
て、複数の処理ユニットＰＵが各々の目標の達成に向け
て自律的及び協調的に動作するのでタスクの目的を達成
することができる。

【００２４】次に、感覚情報と運動情報との相互作用を
計算する機構である、感覚運動融合モジュールＳＦＭに
ついて説明する。図３は、感覚運動融合モジュールＳＦ
Ｍの構成を示す図である。現時刻の感覚情報ｓ_l (t)
と、運動情報ａ_l (t) と、次の時刻の感覚情報ｓ_l (t+
1) の対応関係を、多層ニューラルネットワークが誤差
逆伝搬学習により獲得する。このネットワークが前向き
処理をすることで、次の時刻の感覚情報の予測値ｓ₁ ^p
(t+1)を生成することができる。ここで、ｔは現在議論
している階層での時間ステップを表す。なお、感覚運動
融合モジュールＳＦＭの持つもう一つの機能、即ち、運
動情報ａ_l (t) の生成は、本発明の要旨とは直接関係し
ないので、その説明は省略する。

【００２５】感覚運動融合モジュールＳＦＭを構築する
際、認識・制御システムのもつ全ての感覚情報及び全て
の運動情報をそのまま感覚運動融合モジュールＳＦＭに
入力して処理させるのは現実的ではない。その理由は、
高次元空間の間の写像を学習するには、膨大な訓練デー
タが必要になって、訓練にかかる時間が非常に長くなっ
てしまうからである。

【００２６】そこで、本発明者は、少数の教師データを
使って、高速に感覚運動融合モジュールＳＦＭを構築す
るため、感覚情報及び運動情報の持つ以下の性質を利用
することを考えた。 （ア）感覚情報と運動情報との間の相互依存関係は、不
均一であり、何らかの構造を持つ。

【００２７】（イ）感覚情報と運動情報には冗長な部分
がある。先ず、性質（ア）を利用することを考える。関
係ある構造を自動的に抽出し、関係の強い感覚情報と運
動情報のペアを取り出して、ペア毎の別の感覚運動融合
モジュールを用意すれば、処理を行うプロセッサに対す
る負荷を分散することができる。更に、感覚情報と運動
情報との間の関係の中から階層構造を取り出すことがで
きれば、階層性を生かした効率的な処理が実現できる。

【００２８】性質（イ）を利用することを考える。感覚
情報と運動情報との関係を中心に考えると、感覚情報及
び運動情報には冗長な部分がある。例えば、運動によっ
て変化しない感覚情報は冗長であり、感覚情報の変化に
寄与しない運動情報も冗長である。このような冗長性を
取り除けば、関係を低次元の空間で表現することができ
る。

【００２９】これらの性質を利用することによって、感
覚情報と運動情報との相互依存関係を良く表すコンパク
トな表現を生成することができるはずであり、その生成
法が以下に説明する感覚運動融合学習法である。感覚運
動融合学習法は、教師なし学習の一種である。「教師な
し学習」は、目標出力が未知である場合に用いられるも
ので、データから構造を抽出したり、冗長性を取り除い
たりすることができる。

【００３０】図４に沿って、感覚運動融合学習法の処理
の流れを説明する。認識モジュールＲＭは、時空間にわ
たって収集した下位層（あるいはセンサ群Ｓ）からの感
覚情報をより抽象度の高い感覚情報に変換する。認識モ
ジュールＲＭの出力は、高次の感覚情報として上位層に
渡され、同時に同じものが、同図中左上のネットワーク
ＮＷ１に入力される。一方、運動情報は下位層に渡さ
れ、同時に枝分れした遠心性コピーが、同図中右上のネ
ットワークＮＷ２に入力される。以上の操作を繰り返し
た後、これらのネットワークＮＷ１，ＮＷ２の出力の間
の相互依存関係を測る尺度を最大にするように、重みを
更新して行く。相互依存関係を測る尺度としては、一般
的な相互依存関係を測定できる相互情報量や、線形の相
互依存関係を測定する積率相関係数等がある。

【００３１】尺度として積率相関係数を使い、線形変換
を行なうネットワークを採用した場合には、この感覚運
動融合学習法は、正準相関分析と等価になる。正準相関
分析は、多変量データ解析手法の一つで、後述する如
く、複数の情報源からの情報を、それらの間の相関の構
造を最もよく表すように次元圧縮するために使われるも
のである。

【００３２】説明の便宜上、感覚情報を示す感覚信号を
ｐ次元ベクトルｓ(t) ＝｛ｓ₁(t)，ｓ₂(t)，・・・，ｓ
_p (t) ｝^T とし、運動情報を示す運動信号（又は指令）
をｍ次元ベクトルａ＝｛ａ₁(t)，ａ₂(t)，・・・，ａ_m
(t) ｝^T とすると共に、これらが離散時間ｔ＝１，・・
・，Ｎに発生するものとする。

【００３３】図５に示す第１のステップＳＴ１では、次
のベクトル（１），（２）を定義する。 ｐ(t) ＝（ａ^T (t-1),ａ^T (t-2),ａ^T (t-3),・・・，ａ^T (t-l))^T （１） ｆ(t) ＝（ｓ^T (t),ｓ^T (t+1),ｓ^T (t+2),・・・，ｓ^T (t+k-1))^T （２） 上記の定義から、ｐ(t) はｌｍ次元であり、ａ(t) は、
ｋｐ次元である。以下の説明では、データ｛（ａ(t),ｓ
(t))｜ｔ＝１，・・・，Ｎ｝が与えられているものとす
る。ここで、Ｎ’：＝Ｎ−ｋ−ｌ＋１，ｌ’：＝ｌ（ｐ
＋ｍ），ｋ’：＝ｋｐとする。

【００３４】第２のステップＳＴ２では、与えられたデ
ータに基づいて、（３）〜（５）に示す如く共分散行列
の推定値を計算する。

【００３５】

【数１】

【００３６】ただし、ｐ(t) ，ｆ(t) の平均値は予め除
去してあるものとする。第３のステップＳＴ３では、Σ
_pp，Λ＝Σ_ffの固有値及び固有ベクトルを求め、次の
（６），（７）を計算する。 Σ_pp ^-1/2＝Ｕ₁ Ｓ₁ ^-1/2Ｕ₁ ^T （６） Λ^-1/2 ＝Ｕ₂ Ｓ₂ ^-1/2Ｕ₂ ^T （７） ただし、Λ＝Σ_ff＝Ｉ_k'の場合には、Ｕ₂ ，Ｓ₂ の計算
は不要である。

【００３７】第４のステップＳＴ４では、次の（８）〜
（１０）の特異値分解を計算する。 Σ_pp ^-1/2Σ_pfΛ^-1/2＝Ｕ₃ Ｓ₃ Ｖ₃ ^T （８） Ｕ₃ Ｕ₃ ^T ＝Ｉ_l' （９） Ｖ₃ Ｖ₃ ^T ＝Ｉ_k' （１０） また、Ｕ，Ｖ，Γを（１１）〜（１３）に示すように定
義する。

【００３８】 Ｕ：＝Ｕ₃ ^T Σ_pp ^-1/2 （１１） Ｖ：＝Ｖ₃ ^T Λ^-1/2 （１２） Γ：＝Ｓ₃ （１３） 第５のステップＳＴ５では、運動信号μ(t) を次式（１
４）に基づいて計算する。

【００３９】 μ(t) ＝［Ｉ_n ０］Ｕｐ(t) ，ｔ＝ｌ＋１，・・・，Ｎ−ｋ＋１ （１４） ただし、ｎ×ｎ単位行列をＩ_n とする。ここで、ｎは運
動信号の次元で、ｎ＜ｍｉｎ（ｌ’，ｋ’）である。ま
た、μ(t) はデータｐ(t) のもつ情報を縮約したもの
で、時刻ｔにおける運動信号である。

【００４０】第６のステップＳＴ６では、感覚情報ν
(t) を次式（１５）に基づいて計算する。 ν(t) ＝［Ｉ_n ０］Ｖｆ(t) ，ｔ＝ｌ＋１，・・・，Ｎ−ｋ＋１ （１５） ただし、ｎ×ｎ単位行列をＩ_n とする。ν(t) は、デー
タｆ(t) のもつ情報を縮約したもので、時刻ｔにおける
感覚信号である。

【００４１】線形変換という制約を取り去って、一般の
非線形変換を許すようにアルゴリズムを一般化すること
もできる。しかし、このアルゴリズムでは、今のところ
比較的低次元の問題しか扱うことができないため、本発
明では感覚運動融合学習として正準相関分析のみを扱
う。

【００４２】

【実施例】図６は、本発明になる内部表現自動生成装置
の一実施例の要部を示すブロック図である。本実施例で
は、本発明がロボットに適用されており、本発明になる
内部表現自動生成方法の一実施例を採用している。

【００４３】図６において、センサ１はセンサ制御機構
２に支持されており、ロボットのある状態を検出してセ
ンサ信号を出力する。センサ１は、例えばロボットアー
ム（図示せず）の位置を検出する位置センサ、ロボット
アームの加速度等を検出する速度センサ、温度センサ、
湿度センサ、照度センサ、ロボットアームに取付けられ
たカメラ等からなる。アクチュエータ３は、ロボットア
ーム等を駆動する駆動手段であり、本実施例では、セン
サ制御機構２を駆動してセンサ１の位置等を制御する。
例えば、センサ１がカメラの場合、センサ制御機構２は
カメラの焦点距離、絞りや解像度を制御する機構からな
り、センサ制御機構２がアクチュエータ３により駆動さ
れることにより、焦点距離、絞り、解像度等のうち少な
くとも１つが制御される。つまり、アクチュエータ３
は、センサ制御機構２を介してセンサ１の感度や解像度
等の特性パラメータを変化させることが可能であり、ロ
ボットが処理を施す対象（物体や環境）の状態、ロボッ
ト自体の状態、又は両者の関係を能動的に変化させるこ
とができる。

【００４４】尚、実際には、センサ１、センサ制御機構
２及びアクチュエータ３は夫々複数設けられているが、
説明の便宜上図６では夫々１つしか図示されていない。
感覚モジュール４は、上記認識モジュールＲＭに対応し
ており、センサ１からのセンサ信号を処理して感覚信号
を出力する。運動モジュール５は、上記運動モジュール
ＭＭに対応しており、運動信号又は運動指令に基づいて
アクチュエータを制御する制御信号を出力する。感覚モ
ジュール４からの感覚信号及び運動モジュール５からの
制御信号は、夫々自動調整モジュール６にも入力され
る。自動調整モジュール６は、ロボットが処理を施す対
象の状態、ロボット自体の状態、又は両者の関係を効率
良く認識して制御するために、センサ信号と制御信号と
の相互関係を分析し、その分析結果に基づいて感覚モジ
ュール４の特性及び運動モジュール５の運動特性を自動
的に調整することで、センサ信号及び制御信号の適切な
内部表現、即ち、感覚情報及び運動情報を、自動的に生
成する。

【００４５】図７は、図６に示す感覚モジュール４、運
動モジュール５及び自動調整モジュール６の動作を説明
するためのブロック図であり、本実施例のより具体的な
構成を示す。図７において、中央処理装置（ＣＰＵ）１
１、ＲＯＭ１２、ＲＡＭ１３、複数のセンサ１及び複数
のアクチュエータ３（いずれも１つのみ図示）は、バス
１５を介して接続されている。ＣＰＵ１１は、上記感覚
モジュール４、運動モジュール５及び自動調整モジュー
ル６の動作を行う。ＲＯＭ１２はＣＰＵ１１が実行する
プログラムやデータを格納しており、ＲＡＭ１３はＣＰ
Ｕ１１がプログラムを実行中に中間データ等を格納す
る。尚、ＣＰＵ１１が用いる格納手段はＲＯＭ１２及び
ＲＡＭ１３に限定されず、プログラムやデータを格納で
きる格納手段であればその形態は限定されるものではな
い。

【００４６】ＣＰＵ１１は、上記図５に示すステップＳ
Ｔ１〜ＳＴ６を実行することにより、ロボットが処理を
施す対象の状態、ロボット自体の状態、又は両者の関係
を効率良く認識して制御するために、センサ信号と制御
信号との相互関係を分析し、その分析結果に基づいて感
覚モジュール４の特性及び運動モジュール５の運動特性
を自動的に調整することで、センサ信号及び制御信号の
適切な内部表現、即ち、感覚情報及び運動情報を、自動
的に生成する。

【００４７】本発明者は、本実施例を６自由度のロボッ
トアームを有するロボットに適用して実験を行った。図
８は、実験に用いたロボットの概略構成を示す斜視図で
ある。同図中、ロボットは、６自由度のロボットアーム
２１と、アクチュエーア（図示せず）を制御する制御部
２２と、ロボットアーム２１の先端に設けられたビデオ
カメラ２３とからなる。ビデオカメラ２３は図７に示す
センサ１に対応し、制御部２２はＣＰＵ１１、ＲＯＭ１
２及びＲＡＭ１３等を含む。尚、制御部２２は、ロボッ
トとは独立して設け、ロボットを遠隔操作する構成とし
ても良い。同図中、２０はロボットが処理を施す対象で
ある物体を示す。この場合、ロボットはビデオカメラ２
３により物体２０の画像を入力する。

【００４８】実験では、照明条件や背景には特に制約を
設けなかった。物体２０とビデオカメラ２３との間の距
離ｒを１００ｍｍ〜１５０ｍｍまで１０ｍｍ間隔で６通
りに変化させ、ロボットアーム２１の先端（即ち、ビデ
オカメラ２３）の方位角θを−３０度〜３０度まで５度
間隔で１３通りに変化させ、ロボットアーム２１の先端
の抑角φを１０度〜２０度まで５度間隔で３通りに変化
させて物体２０の画像を撮影した。これにより、６×１
３×３＝２３４通りの画像を撮影した。

【００４９】このようにして撮像した画像に対して、上
記感覚運動融合学習法を図９に示すように実装して本実
施例の基本性能を検証した。この検証を行うにあたっ
て、ＫＬ展開を行う認識モジュールを用意した。この認
識モジュールは、１２８×１２０画素の画像を２００次
元にまで圧縮する構成とした。２００次元に圧縮された
感覚信号を変換するネットワークとしては、２層の線形
ネットワークを用意した。運動信号又は運動指令は、ロ
ボットの関節角度を制御する６次元の関節角度指令を用
いた。運動信号又は運動指令を変換するネットワークと
しては、やはり２層のネットワークを用意した。そし
て、これらのネットワークの出力間の相関が最大となる
ように重みを決定し、次の（１６），（１７）に示すベ
クトルを求めた。この場合、上記ｋ＝ｌ＝１で、ｎ＝６
とした。つまり、出力間の相互関係を相関性を示標とし
て検出し、相関性が最大となるように重みを決定した。

【００５０】 ｐ(t) ＝（ａ^T (t-1))^T （１６） ｆ(t) ＝（ｓ^T (t)) ^T （１７） このようにして生成された内部表現空間の構造について
調べた実験結果を図１０〜図１２に示す。

【００５１】図１０は、感覚運動融合学習によって生成
された感覚信号の空間を示す図である。同図中、３つの
軸は、６次元の感覚信号の１，２，３番目の次元を表
し、θ，φ，γの変化する方向を矢印で示す。図１０
（ａ）において、「○」印はθ，φが−３０，１１０の
場合、「＊」印はθ，φが−３０，１０５の場合、
「×」印はθ，φが−３０，１００の場合を示す。この
場合、θ，φ，γの変化する方向を示す矢印の方向は、
同図に示すように、略直交していることがわかる。

【００５２】図１０（ｂ）において、「○」印はθ，φ
が−２０，１１０の場合、「＊」印はθ，φが−２０，
１０５の場合、「×」印はθ，φが−２０，１００の場
合を示す。この場合、θ，φ，γの変化する方向を示す
矢印の方向は、同図に示すように、略直交していること
がわかる。

【００５３】図１０（ｃ）において、「○」印はθ，φ
が−１０，１１０の場合、「＊」印はθ，φが−１０，
１０５の場合、「×」印はθ，φが−１０，１００の場
合を示す。この場合、θ，φ，γの変化する方向を示す
矢印の方向は、同図に示すように、略直交していること
がわかる。

【００５４】図１１は、感覚運動融合学習によって生成
された運動信号（又は運動指令）の空間を示す図であ
る。同図中、３つの軸は、６次元の感覚信号の１，２，
３番目の次元を表し、θ，φ，γの変化する方向を矢印
で示す。図１１（ａ）において、「○」印はθ，φが−
３０，１１０の場合、「＊」印はθ，φが−３０，１０
５の場合、「×」印はθ，φが−３０，１００の場合を
示す。この場合、θ，φの変化する方向を示す矢印の成
す角度は、同図に示すように、小さいことがわかる。

【００５５】図１１（ｂ）において、「○」印はθ，φ
が−２０，１１０の場合、「＊」印はθ，φが−２０，
１０５の場合、「×」印はθ，φが−２０，１００の場
合を示す。この場合、θ，φの変化する方向を示す矢印
の成す角度は、同図に示すように、小さいことがわか
る。

【００５６】図１１（ｃ）において、「○」印はθ，φ
が−１０，１１０の場合、「＊」印はθ，φが−１０，
１０５の場合、「×」印はθ，φが−１０，１００の場
合を示す。この場合、θ，φの変化する方向を示す矢印
の成す角度は、同図に示すように、小さいことがわか
る。

【００５７】図１２は、上記感覚運動融合学習によって
生成された感覚信号の空間及び運動信号（又は運動指
令）の空間の関係を示す図である。同図中、３つの軸
は、６次元の感覚信号の１，２，３番目の次元を表し、
θ，φ，γの変化する方向を矢印で示す。

【００５８】図１２（ａ）において、「○」印はθ，φ
が−３０，１１０の場合、「＊」印はθ，φが−３０，
１０５の場合、「×」印はθ，φが−３０，１００の場
合を示す。図１２（ｂ）において、「○」印はθ，φが
−２０，１１０の場合、「＊」印はθ，φが−２０，１
０５の場合、「×」印はθ，φが−２０，１００の場合
を示す。

【００５９】又、図１２（ｃ）において、「○」印は
θ，φが−１０，１１０の場合、「＊」印はθ，φが−
１０，１０５の場合、「×」印はθ，φが−１０，１０
０の場合を示す。図１２（ａ）〜（ｃ）より、以下のこ
とがわかった。つまり、・感覚信号の空間及び運動信号
（又は運動指令）の空間の双方において、感覚信号と運
動信号との間の関係の本質的なパラメータθ，φ，γが
適切にコードされている。

【００６０】・特に感覚信号の空間では、パラメータ
θ，φ，γが略直交する方向で表されている。 ・両空間の関係を示す図１２から、感覚信号の空間と運
動信号の空間におけるパラメータθ，φ，γのコードの
方法にも、比例関係に近い関係が見られる。

【００６１】・両空間で独立にコードしているのではな
く、互いに相手の空間との対応がつくようにコードの方
法を決めている。従って、この学習方法により、感覚信
号と運動信号との相互関係を良く表すコンパクトな内部
表現を自動的に生成できることがわかった。

【００６２】又、本発明者は、以下の３種類の圧縮画像
について、関節角度指令との相互関係がどの程度表現さ
れているかを調べた。 （Ａ） 標準データ： ２３４枚の画像夫々を運動信号
との関係を考慮せずに、ＫＬ展開によって２００次元に
圧縮して得た圧縮画像。

【００６３】（Ｂ） ＫＬ展開： ２３４枚の画像夫
々を運動信号との関係を考慮せずに、ＫＬ展開によって
一気に６次元に圧縮して得た圧縮画像。 （Ｃ） 本実施例： 感覚運動融合学習法により、２
００次元の基準データを運動信号との関係を考慮して、
６次元に圧縮して得た画像。

【００６４】以下の表１は、上記３種類の圧縮画像につ
いて、一般化決定係数を示す。一般化決定係数は、２つ
のデータ群の間委の関係の深さを示す尺度であり、０か
ら１の間の値を取る。この一般化決定係数を用いて、圧
縮された画像と関節角度指令との間の関係を測定した結
果を図１３に示す。図１３は、上記３種類の圧縮画像に
ついて、正準相関係数の数と正準相関係数の値との関係
を示す図である。同図中、標準データ（Ａ）を破線で示
し、ＫＬ展開（Ｂ）を一点鎖線で示し、本実施例（Ｃ）
を実線で示す。

【００６５】

【表１】

【００６６】上記の表１からの明らかな如く、基準デー
タ（Ａ）では一般化決定係数が略１である０．９９４、
ＫＬ展開（Ｂ）では一般化決定係数が０．４５４と小さ
な値となった。しかし、本実施例（Ｃ）では、画像をＫ
Ｌ展開（Ｂ）と同じ６次元にまで圧縮しているにも拘ら
ず、一般化決定係数が０．８５４と大きい値に保たれる
ことが確認された。

【００６７】つまり、本実施例によれば、ＫＬ展開を用
いた方法に比べて、感覚信号と運動信号との相互依存関
係を良く保存したコンパクトな内部表現を生成できるこ
とが確認できた。尚、上述の如く、本実施例によれば、
ＫＬ展開を用いた方法に比べて、感覚信号と運動信号と
の相互依存関係を良く保存したコンパクトな表現を生成
できることが定量的に確認できたが、次に、直観的な理
解を容易にするために、原画像とＫＬ展開（Ｂ）及び本
実施例（Ｃ）で得られた復元画像とを図１４に示す。図
１４では、缶の上に人形が置かれている移動物体が対象
としてビデオカメラにより撮像されているものとする。

【００６８】図１４中、（ａ）は１２８×１２０画素の
原画像を示し、（ｂ）はＫＬ展開（Ｂ）により画像を６
次元まで圧縮して復元した画像を示し、（ｃ）は本実施
例（Ｃ）により画像を６次元まで圧縮して復元した画像
を示す。同図（ａ）と（ｂ）との比較よりわかるよう
に、ＫＬ展開（Ｂ）を用いた場合の復元画像は原画像に
比べて画像全体の印象をおおまかにしか表現しておら
ず、人形の大きさが実際の大きさより小さくなってお
り、又、缶の輪郭がぼけている。

【００６９】これに対し、図１４中、（ｃ）と（ａ），
（ｂ）との比較よりわかるように、本実施例（Ｃ）を用
いた場合の復元画像は原画像に比べてぶれたような画像
となっているものの、ＫＬ展開（Ｂ）を用いた場合と比
べると、人形の大きさは正確であり、缶の輪郭は比較的
はっきりしており、缶の上部の突出部の形状がはっきり
している。

【００７０】従って、図１４からも、本実施例によれ
ば、ＫＬ展開を用いた方法に比べて、感覚信号と運動信
号との相互依存関係を良く保存したコンパクトな表現を
生成できることが確認できた。つまり、対象物体が運動
（移動）することによって影響を受ける特徴を感覚信号
の中から抽出し、その特徴、即ち、内部表現を生成する
ことができる。

【００７１】尚、アルゴリズムの性質上、本実施例にお
ける感覚運動融合学習法でもＫＬ展開を用いた方法で
も、出力の各次元はなるべく直交するように、即ち、な
るべく相関性がないように求められる。このため、出力
の各次元が完全に直交化できたと仮定すると、各次元に
対応する固有画像に出力値を乗じて、全ての次元につい
て総和を求めることにより、原画像を近似的に復元する
ことができる。つまり、近似的に逆変換を行うことによ
り、原画像を復元可能である。

【００７２】次に、本発明者は、感覚信号の変化に影響
しない運動信号又は運動指令を付け加えた場合の影響に
ついて調べた。具体的には、図９に示す認識・制御シス
テムにおいて、正規分布に従うランダムな運動信号を１
０個付け加えて実験を行い、重みを決定した。

【００７３】図１５は、この実験結果を示す。同図中、
入力軸１〜１６は入力の各次元に対応し、出力軸１〜１
６は出力の各次元に対応する。入出力（入力，出力）の
高さが、入力から出力への重みを表す。尚、同図中、１
〜１６は感覚信号に影響を及ぼす運動信号を示し、７〜
１０はランダムな運動信号を表す。

【００７４】図１５からは、以下のことが確認された。 （あ） ランダムな運動信号が出力に及ぼす影響を表す
図１５の右側の領域（入力７〜１６，出力１〜６）は、
略高さが０の平面である。 （い） 感覚信号に影響を及ぼす運動信号（入力１〜
６）が出力に及ぼす影響を表す図１５の左側の領域（入
力１〜６，出力１〜１６）の高さの絶対値が大きい。

【００７５】（う） 特に、図１５の左上の領域（入力
１〜６，出力１〜１６）の高さの絶対値が大きい。 従って、最初の６つの出力で感覚信号に影響を及ぼす運
動信号を良好に表していることが確認できた。又、本実
施例によれば、感覚信号の変化と関係のある運動信号
と、感覚信号の変化と無関係な運動信号とを区別できる
ことも確認できた。

【００７６】以上、本発明を実施例により説明したが、
本発明は上記実施例に限定されるものではなく、本発明
の範囲内で種々の変形及び様々な改良が可能であること
は言うまでもない。

【００７７】

【発明の効果】請求項１及び７記載の発明によれば、対
象の状態、認識・制御システム自体の状態又は対象と認
識・制御システムとの関係を効率良く認識及び制御する
ための適切な内部表現を自動的に生成することができ
る。

【００７８】請求項２〜４，８〜１０記載の発明によれ
ば、各種ロボット、認識システム、検査システム、自律
移動体等のナビゲーションシステム、トラッキングシス
テム等への適用に適している。請求項５，６，１１，１
２記載の発明によれば、必要とされる計算量を比較的小
さく抑えつつ、比較的正確な内部表現を生成することが
できる。

【００７９】従って、本発明によれば、対象の状態、認
識・制御システム自体の状態、又は対象と認識・制御シ
ステムとの関係を能動的に変化させることが可能な認識
・制御システムにおいて、対象の状態、認識・制御シス
テム自体の状態又は対象と認識・制御システムとの関係
を効率良く認識及び制御するための適切な内部表現を自
動的に生成することが可能となる。

【図面の簡単な説明】

【図１】階層型感覚運動融合モデルの概略構成を示す図
である。

【図２】処理ユニットの構成を示す図である。

【図３】感覚運動融合モジュールの構成を示す図であ
る。

【図４】感覚運動融合学習法の処理の流れを説明する図
である。

【図５】感覚運動融合学習法を説明するフローチャート
である。

【図６】本発明になる内部表現自動生成装置の一実施例
の要部の構成を示すブロック図である。

【図７】感覚モジュール、運動モジュール及び自動調整
モジュールの動作を説明するためのブロック図である。

【図８】ロボットの概略構成を示す斜視図である。

【図９】感覚運動融合学習法が実装された認識・制御シ
ステムを示す図である。

【図１０】感覚運動融合学習によって生成された感覚信
号の空間を示す図である。

【図１１】感覚運動融合学習によって生成された運動信
号（又は運動指令）の空間を示す図である。

【図１２】感覚運動融合学習によって生成された感覚信
号の空間及び運動信号（又は運動指令）の空間の関係を
示す図である。

【図１３】３種類の圧縮画像について、正準相関係数の
数と正準相関係数の値との関係を示す図である。

【図１４】原画像とＫＬ展開及び本実施例で得られた復
元画像とを示す図である。

【図１５】認識・制御システムにおいて正規分布に従う
ランダムな運動信号を１０個付け加えて実験を行い重み
を決定した実験結果を示す図である。

【符号の説明】 １ センサ ２ センサ制御機構 ３ アクチュエータ ４ 感覚モジュール ５ 運動モジュール ６ 自動調整モジュール １１ ＣＰＵ １２ ＲＯＭ １３ ＲＡＭ １５ バス ２０ 対象 ２１ ロボットアーム ２２ 制御部 ２３ ビデオカメラ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 ＦＩ Ｇ０６Ｆ 15/18 ５５０ Ｇ０５Ｂ 19/403 Ｖ

Claims (12)

【特許請求の範囲】
1. 【請求項１】 物体や環境等の対象の状態、認識・制御
   システム自体の状態、又は対象と認識・制御システムと
   の関係を能動的に変化させることが可能な認識・制御シ
   ステムにおいて、 該認識・制御システムの状態を検出してセンサ信号を出
   力するセンサ手段と、 制御信号に応答して該認識・制御システムの状態を変化
   させるアクチュエータ手段と、 該センサ手段からのセンサ信号を処理して感覚信号を出
   力する感覚モジュールと、 運動信号又は運動指令に基づいて該アクチュエータ手段
   を制御する制御信号を出力する運動モジュールと、 該感覚モジュールからの感覚信号及び該運動モジュール
   からの制御信号に基づいて、センサ信号と制御信号との
   相互関係を分析し、その分析結果に基づいて該感覚モジ
   ュールの感覚特性及び該運動モジュールの運動特性を自
   動的に調整する自動調整モジュールとを備え、 センサ信号及び制御信号の内部表現である感覚情報及び
   運動情報を自動的に生成する、内部表現自動生成装置。
2. 【請求項２】 前記アクチュエータ手段は、前記センサ
   手段の特性パラメータを変化させる手段を含み、前記認
   識・制御システムが処理を施す対象の状態、該認識・制
   御システム自体の状態、又は両者の関係を能動的に変化
   させる、請求項１記載の内部表現自動生成装置。
3. 【請求項３】 前記センサ手段は、位置センサ、速度セ
   ンサ、温度センサ、湿度センサ、照度センサ、カメラの
   うち少なくとも１つを含む、請求項１又は２記載の内部
   表現自動生成装置。
4. 【請求項４】 前記カメラを先端に設けられたロボット
   アームを更に備え、 前記アクチュエータ手段は、該カメラの焦点距離、絞り
   及び解像度のうち少なくとも１つを制御する、請求項３
   記載の内部表現自動生成装置。
5. 【請求項５】 前記感覚モジュール及び前記運動モジュ
   ールのうち少なくとも一方は、線形変換手段を有する、
   請求項１〜４のうちいずれか１項記載の内部表現自動生
   成装置。
6. 【請求項６】 前記自動調整モジュールは、感覚信号と
   制御信号との相互関係を相関性を示標として検出する手
   段を有する、請求項１〜５のうちいずれか１項記載の内
   部表現自動生成装置。
7. 【請求項７】 物体や環境等の対象の状態、認識・制御
   システム自体の状態、又は対象と認識・制御システムと
   の関係を能動的に変化させることが可能な認識・制御シ
   ステムにおいて、 該認識・制御システムの状態を検出してセンサ信号を出
   力する第１のステップと、 制御信号に応答して該認識・制御システムの状態を変化
   させる第２のステップと、 該センサ信号を処理して感覚信号を出力する第３のステ
   ップと、 運動信号又は運動指令に基づいて該制御信号を出力する
   第４のステップと、 該感覚信号及び該制御信号に基づいて、該センサ信号と
   該制御信号との相互関係を分析し、その分析結果に基づ
   いて該第３のステップの感覚特性及び該第４のステップ
   の運動特性を自動的に調整する第５のステップとを含
   み、 該センサ信号及び該制御信号の内部表現である感覚情報
   及び運動情報を自動的に生成する、内部表現自動生成方
   法。
8. 【請求項８】 前記第２のステップは、前記第１のステ
   ップの特性パラメータを変化させるステップを含み、前
   記認識・制御システムが処理を施す対象の状態、該認識
   ・制御システム自体の状態、又は両者の関係を能動的に
   変化させる、請求項７記載の内部表現自動生成方法。
9. 【請求項９】 前記第１のステップは、位置センサ、速
   度センサ、温度センサ、湿度センサ、照度センサ、カメ
   ラのうち少なくとも１つを用いる、請求項７又は８記載
   の内部表現自動生成方法。
10. 【請求項１０】 前記認識・制御システムはカメラを先
    端に設けられたロボットアームを備え、 前記第２のステップは、該カメラの焦点距離、絞り及び
    解像度のうち少なくとも１つを制御する、請求項９記載
    の内部表現自動生成方法。
11. 【請求項１１】 前記第３及び第４のステップのうち少
    なくとも一方は、線形変換ステップを含む、請求項７〜
    １０のうちいずれか１項記載の内部表現自動生成方法。
12. 【請求項１２】 前記第５のステップは、感覚信号と制
    御信号との相互関係を相関性を示標として検出するステ
    ップを含む、請求項７〜１１のうちいずれか１項記載の
    内部表現自動生成方法。