JP2001191279A - 行動管理システム、行動管理方法及びロボット装置 - Google Patents

行動管理システム、行動管理方法及びロボット装置

Info

Publication number
JP2001191279A
JP2001191279A JP37535299A JP37535299A JP2001191279A JP 2001191279 A JP2001191279 A JP 2001191279A JP 37535299 A JP37535299 A JP 37535299A JP 37535299 A JP37535299 A JP 37535299A JP 2001191279 A JP2001191279 A JP 2001191279A
Authority
JP
Japan
Prior art keywords
robot
command
action
behavior
robot device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP37535299A
Other languages
English (en)
Inventor
Kotaro Sabe
浩太郎 佐部
Rika Hasegawa
里香 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP37535299A priority Critical patent/JP2001191279A/ja
Publication of JP2001191279A publication Critical patent/JP2001191279A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Toys (AREA)
  • Manipulator (AREA)
  • Computer And Data Communications (AREA)

Abstract

(57)【要約】 【課題】 複数のロボット装置の協調行動を容易に実現
する。 【解決手段】 行動管理システムは、自主的に行動を決
定する複数のロボット装置1a,1b,1cと、これら
ロボット装置1a,1b,1cの行動を管理する外部ク
ライアントであるパーソナルコンピュータ33とを有し
ている。そして、パーソナルコンピュータ33は、複数
のロボット装置1a,1b,1cそれぞれにコマンドを
同期して送出する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、複数のロボット装
置の行動を管理する行動管理システム及び行動管理方
法、並びに自主的に行動を決定する自律型のロボット装
置に関する。
【0002】
【従来の技術】従来、ユーザからの指令や周囲の環境に
応じて自主的に行動を決定する自律型のロボット装置の
提案及び開発がなされている。例えば、この種のロボッ
ト装置は、犬や猫のように多関節の四足動物によく似た
形状とされ、行動するための行動パターンに基づいて自
律的に自己が行動を決定している。具体的には、ロボッ
ト装置は、ユーザから「ふせ」という音声命令を受け取
ると「伏せ」の姿勢を取ったり、自分の口の前にユーザ
が手を差し出す動作に応じて「お手」をするようになさ
れている。
【0003】
【発明が解決しようとする課題】ところで、近年、コマ
ンド装置(リモートコントローラ)により、任意の命令
の実行が可能なロボット装置が提案されている。例え
ば、コマンド装置から出力される音階コマンドに応じて
所定の動作をするようなロボット装置がある。これによ
り、ユーザは、自律型のロボット装置として遊ぶ以外に
も自律行動の際には発現しない面白い行動を音階コマン
ドによって呼び出して鑑賞することができる。このよう
に、からくり人形のようにプリプログラムされた行動を
呼び出して鑑賞して楽しむというニーズが存在してお
り、そのような技術の提案及び開発がなされている。
【0004】さらに、複数のロボット装置に協調行動さ
せたいとするニーズもある。複数のロボット装置の協調
行動により、1つのロボット装置が1つの行動(芸)を
する場合とは異なり、複数のロボット装置があたかも連
動しているかのように見せることができる。このような
複数のロボット装置による協調行動は、ユーザの鑑賞の
楽しみを広げるといえる。
【0005】このような複数のロボット装置による協調
行動は、各ロボット装置毎に予めプリプログラムし、異
なる一連の行動パターンを複数のロボット装置で連動さ
せることにより可能になるが、以下のような問題が発生
する。
【0006】綿密な時間計画を立てた上に同時に行動を
開始する必要がある。すなわち、各行動に要する時間を
知らなくてはいけない上に同期させるためのタイムテー
ブルを綿密に計画しなくてはならない。
【0007】多関節のロボット装置の場合、異なる行動
パターンをとるということは異なる姿勢を経なければな
らない。複数のロボット装置にある行動を同時に発現さ
せたい場合には、直前の姿勢によってその行動を起こせ
る姿勢まで推移する必要があるが、当然その推移に要す
る時間も知らなくてはならなく、行動計画の設計も複雑
になる。
【0008】また、多種の協調行動(多種の行動パター
ン)をさせたい場合、その分だけ各行動パターン毎にロ
ボット装置のプログラム或いはデータを変更する作業が
必要になる。
【0009】また、協調行動の開始時間を揃えるのも困
難であるが、一旦開始した後に何らかの要因で行動がず
れてしまった時には最後までずれたままになってしま
う。
【0010】そこで、本発明は、上述の実情に鑑みてな
されたものであり、複数のロボット装置の協調行動を容
易に実行させることが可能な行動管理システム、行動管
理方法及びロボット装置の提供を目的としている。
【0011】
【課題を解決するための手段】本発明に係る行動管理シ
ステムは、上述の課題を解決するために、自主的に行動
を決定する自律型のロボット装置に、外部から入力され
てくるコマンドにより行動を決定する機能を備えて、こ
の自律型のロボット装置の行動を管理する行動管理シス
テムであって、複数のロボット装置に、コマンドを同期
して送出する行動管理手段を備える。
【0012】このような構成を備えた行動管理システム
により、複数のロボット装置は、同期した送られてきた
コマンドを実行するので、結果として、複数のロボット
装置の行動が協調行動となる。
【0013】また、本発明に係る行動管理方法は、上述
の課題を解決するために、自主的に行動を決定する自律
型のロボット装置に、外部から入力されてくるコマンド
により行動を決定する機能を備えて、この自律型のロボ
ット装置の行動を管理する行動管理方法であって、複数
の上記ロボット装置に、コマンドを同期して送出する。
【0014】この行動管理方法により、複数のロボット
装置は、同期した送られてきたコマンドを実行するの
で、結果として、複数のロボット装置の行動が協調行動
となる。
【0015】また、本発明に係るロボット装置は、上述
の課題を解決するために、自主的に行動を決定する自律
型のロボット装置であって、他の複数のロボット装置
に、コマンドを同期して送出する行動管理手段を備え
る。
【0016】このような構成を備えたロボット装置によ
り、他の複数のロボット装置は、同期した送られてきた
コマンドを実行するので、結果として、複数のロボット
装置の行動が協調行動となる。
【0017】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を用いて詳しく説明する。この実施の形態は、本
発明を、自主的に行動を決定する自律型のロボット装置
装置の行動を管理する行動管理システムに適用したもの
である。この行動管理システムは、複数のロボット装置
に協調行動をさせることができるように構成されてい
る。
【0018】この行動管理システムにより行動が管理さ
れるロボット装置は、図1に示すように、移動のため駆
動される脚部2a,2b,2c,2d、CCD(Charge
Coupled Device)ビデオカメラなどが収容された頭部3
及び胴体4等から構成されている。また、このロボット
装置1は、内部回路として、図2に示すように、少なく
とも、制御手段であるCPU15、各種情報を記憶する
データ記憶部13を備えている。データ記憶部13とし
ては、例えば、DRAM(Dynamic Random Access Memor
y)、フラッシュROM(Read Only Memory)或いはいわゆ
るメモリースティック等の情報記憶手段が挙げられる。
さらに、ロボット装置1は、図1及び図2に示すよう
に、データを記憶しておくためのメモリカードやデータ
を無線により送受信するため無線LANカード等である
PCカード200を装着するためのPCカードスロット
(PCカードI/F)14を備えている。
【0019】このロボット装置1は、外的要因又は内的
要因に基づいて、自身の行動を決定するプログラムによ
り、行動し、感情を変化させることができる。ここで、
自身の行動を決定するプログラムは、行動モデルや感情
モデルにより構築されている。具体的には、ロボット装
置1は、各種センサからの入力に対応して、自身の行動
を決定するプログラムに基づいて、自律的に行動するよ
うになされている。例えば、ロボット装置1は、図3に
示すように、ユーザが「おて」というと、前脚2aをユ
ーザの手300にのせる「お手」の動作をする。
【0020】また、ロボット装置1は、PCカードスロ
ット14に装着されたPCカード(メモリカード)20
0に所定のデータを書き込むことができる。また、ロボ
ット装置1は、無線通信用のPCカード(無線LANカ
ード)200により、外部機器であるパーソナルコンピ
ュータ等との間でデータ通信を行うことができる。ロボ
ット装置1は、このような無線通信機能により外部クラ
イアントとされるパーソナルコンピュータとの間でデー
タ通信を行い、他のロボット装置と同期して協調行動を
することができる。
【0021】このように構成されたロボット装置1は、
次のように、行動管理システム上においてその行動が管
理されている。
【0022】行動管理システムは、図4に示すように、
第1乃至第3のロボット装置1a,1b,1cの行動を
管理するパーソナルコンピュータと、パーソナルコンピ
ュータ33と複数のロボット装置1a,1b,1cとの
間のデータ通信を可能にする中継器34とを備えてい
る。
【0023】パーソナルコンピュータ33と中継器34
とは、ローカルエリアネットワーク(LAN)に接続さ
れており、例えば、中継器34はいわゆるアクセスポイ
ントをなす。なお、ローカルエリアネットワークには、
他の機器として、例えば、ワークステーション(WS)
が接続されていてもよい。
【0024】また、ローカルエリアネットワークにおけ
るロボット装置1a,1b,1cとのデータ通信プロト
コルは、パーソナルコンピュータ33と図示しないワー
クステーションとの間のネットワーク通信に使用され、
インターネット通信に一般的に使用されているTCP/
IP(Transmission Control Protocol/Internet Proro
col)を用いるものとする。すなわち、行動管理システ
ムでは、既存のネットワーク通信方式を採用して、複数
のロボット装置1a,1b,1cの行動を管理するよう
に構築されている。
【0025】図4に示す行動管理システムでは、第1乃
至第3のロボット装置1a,1b,1cの3台の行動が
管理される場合について述べているが、これに限定され
るものではない。すなわち、本発明が適用された行動管
理システムは、少なくとも2台のロボット装置の行動を
管理することができる。
【0026】このような行動管理システムにより、中継
器34を介して送られてくるパーソナルコンピュータ3
3からの同期して送られてくるコマンドに基づいて、各
ロボット装置1a,1b,1cが行動を起こす。よっ
て、複数のロボット装置1a,1b,1cには、同時期
にパーソナルコンピュータ33からコマンドが送られて
くることから、ロボット装置1a,1b,1cの全体と
しての行動は協調行動として発現される。
【0027】このように行動管理システムは、複数のロ
ボット装置1a,1b,1cに対してコマンドを同期し
て送出することだけで当該ロボット装置1a,1b,1
cが協調行動をするようになることから、各ロボット装
置の行動の時間管理を意識することなく、そのような協
調行動が実現されたことになる。
【0028】また、例えば、パーソナルコンピュータ3
3からのコマンドの内容(動作の内容)は各ロボット装
置毎に異なるものでもよく、同一のものでもよい。これ
により、各ロボット装置1a,1b,1cは、それぞれ
同じ動作により協調行動を起こさせたり、それぞれ異な
る動作により協調行動を起こさせたりすることができ
る。また、複数のロボット装置1a,1b,1cの行動
を一括制御する外部クライアントが共通のパーソナルコ
ンピュータ33であることから、行動パターンを1台の
パーソナルコンピュータ33で編集できる。また、外部
クライアントにより複数のロボット装置1a,1b,1
cの行動を管理していることから、行動が管理される複
数のロボット装置1a,1b,1c間ではプログラムや
データをまったく同じにしながら、協調行動を可能にす
ることができる。
【0029】次に、複数のロボット装置1a,1b,1
cが、行動管理システムにおいてその行動の同期がとら
れて、全体として協調行動を行う場合について具体的に
説明する。
【0030】パーソナルコンピュータ33は、中継器3
4を介してコマンドを各ロボット装置1a,1b,1c
に同期して送信して当該各ロボット装置1a,1b,1
cに協調行動をさせているが、具体的には、コマンド
は、パーソナルコンピュータ33が保持するロボット制
御スクリプト(台本)RS内に各ロボット装置に対応さ
れて書き込まれている。具体的には、パーソナルコンピ
ュータ33は、所定の規定により作製されたロボット制
御スクリプトRSによりコマンドを対応されるロボット
装置に送っている。ロボット制御スクリプトRSは、各
ロボット装置1a,1b,1cへのコマンドの送出タイ
ミングの制御や、各ロボット装置の行動の終了タイミン
グを検出可能とするような情報から構成されている。
【0031】ロボット制御スクリプトRSの形態につい
ては、例えば、図5に示すように、コマンド情報等から
構成された複数のデータ列D1,D2,D3からなる。第
1のデータ列D1は第1のロボット装置1aに対応さ
れ、第2のデータ列D2は第2のロボット装置1bに対
応され、第3のデータ列D1は、第3のロボット装置1
cに対応されている。本実施の形態では、ロボット装置
が3台であることから、このデータ列もそれに応じて3
列とされ、行動管理システムにおいて行動を管理するロ
ボット装置に応じてロボット制御スクリプトRSのデー
タ列が用意される。
【0032】具体的には、ロボット制御スクリプトRS
内には、制御したいネットワーク上のロボット装置の数
が記述されている。そして、各データ列D1,D2,D3
毎に、個々のIPアドレスやそのサーバのポート番号の
情報、ロボット装置に送信する抽象コマンド、ロボット
装置1a,1b,1cの間で同期タイミングをとるため
のコマンド等が記述されている。ここで、IPアドレス
は、上述したように、本実施の形態においてパーソナル
コンピュータ33とロボット装置1a,1b,1cとの
データ通信をTCP/IPを採用していることから、ネ
ットワーク上におかるロボット装置の識別情報をなす。
例えば、ロボット装置1の有するデータ記憶手段に予め
IPアドレスが書き込まれている。
【0033】そして、これらコマンドは、例えば、各デ
ータ列D1,D2,D3において実行順に上から下に並ん
で記述されている。
【0034】このようなロボット制御スクリプトRSに
基づいて、パーソナルコンピュータ33は、次のように
各ロボット装置1a,1b,1cにコマンドを送出して
その行動を制御している。
【0035】パーソナルコンピュータ33は、ロボット
装置1a,1b,1cとの間で通信を開始するのに先立
ち、メインプログラムPG1によりロボット装置の数だ
け通信用のスレッド28a,28b,28cを生成す
る。第1乃至第3の通信用スレッド28a,28b,2
8cは、行動を管理する第1乃至第3のロボット装置1
a,1b,1cと対応づけされて、対応されるロボット
装置1a,1b,1cとの間でデータ通信を行うための
ものである。
【0036】そして、パーソナルコンピュータ33は、
このようにデータ通信の開始に先立ち生成した第1乃至
第3の各通信用スレッド28a,28b,28cに、対
応されるロボット制御スクリプトRS上の第1乃至第3
のデータ列D1,D2,D3をそれぞれ渡す。各通信用ス
レッド28a,28b,28cでは、渡された情報(デ
ータ列)からIPアドレスとポート番号を取り出して、
クライアントとして各ロボット装置に接続し、これによ
り、通信用スレッド28a,28b,28cと各ロボッ
ト装置1a,1b,1cとのデータ通信経路が確立され
る。
【0037】それから、各通信用スレッド28a,28
b,28cは、引き渡されたデータ列D1,D2,D3
記述されているコマンドを、各通信用スレッド28a,
28b,28cの間で同期して発信する。
【0038】ロボット装置1a,1b,1cは、対応さ
れる通信用スレッド28a,28b,28cから発信さ
れたコマンドをそれぞれ受信する。各ロボット装置1
a,1b,1cは、受信したコマンドを実行する。
【0039】これにより、各通信用スレッド28a,2
8b,28cによるコマンドの送出タイミングについて
は同期がとられていることから、各ロボット装置1a,
1b,1cの行動は、全体として協調行動によるものと
なる。
【0040】次に、図6に示すように記述されているロ
ボット制御スクリプトRSを用いて具体的に説明する。
この図6に示すロボット制御スクリプトは、複数のロボ
ット装置1a,1b,1cにより、いわゆる「ウエイ
ブ」の行動をさせるためのものである。複数のロボット
装置1a,1b,1cによる「ウエイブ」の行動とは、
経時変化を示す図7中(A)から(C)への変化のよう
に、整列している複数のロボット装置1a,1b,1c
が、「お座り」の姿勢において、「ばんざい」の行動を
それぞれが順番にしていくことにより発現される協調行
動である。
【0041】図6に示すロボット制御スクリプトRS
は、1行目に、行動管理システムに接続されるロボット
装置の台数が記述されている。具体的には、1列目にメ
ニューとして「NUMBER」と記述して、2列目に接続する
ロボット装置の台数が記述されている。本実施の形態の
ように、3台のロボット装置1a,1b,1cにより協
調行動を行う場合には、台数の欄は「3」となる。
【0042】そして、2行目以降に、各通信用スレッド
28a,28b,28cと各ロボット装置1a,1b,
1cとの間で通信を行うための情報や、コマンド等が記
述されている。具体的には、1列目にはメニューが書き
込まれ、2列目、3列目、4列目に、各通信用スレッド
28a,28b,28cが、対応されるロボット装置1
a,1b,1cの行動を制御するための情報が記述され
ている。
【0043】2行目において、1列目に「IP_ADDRESS」
と書いて、各列に対応されるサーバーのIPアドレスを
記述する。或いは、1列目に「HOSTNAME」と書いて、各
ロボット装置のサーバのネットワークホスト名を記述す
るようにしてもよい。
【0044】3行目において、各ホストのポート番号を
記述する。本実施の形態では、デフォルトとして「1000
0」を記述する。
【0045】4行目以降において、各ロボット装置に対
応される各列に、コマンド等のロボット装置の行動を制
御するための情報が記述されている。
【0046】コマンドは、具体的には、大別して同期コ
マンドと抽象コマンドとがある。通信用スレッドがこれ
ら同期コマンド、抽象コマンドの順序で送出するように
記述されている。ここで、抽象コマンドは、ロボット装
置に送信されて、実際の行動をさせるためのコマンドで
あり、同期コマンドは、そのような抽象コマンドによる
各ロボット装置の行動が、ロボット装置全体として協調
行動となるようにするものである。具体的には、同期コ
マンドは、コマンド送出タイミングについて同期をとる
ためのSYNC命令、各ロボット装置の行動始期について同
期をとるためのWAIT命令の二つがある。
【0047】SYNC命令は引数としてID番号と指数(以
下、同期達成指数という。)が与えられている。ID番
号は、SYNC命令についての識別情報となるものであり、
他のSYNC命令との識別情報となる。このID番号により
SYNC命令を識別することにより、他のSYNC命令と混同す
ることなく、適切な処理を行うことができるようにな
る。また、同期達成指数は、各ロボット装置1a,1
b,1cにそれぞれある値が与えられており、それらの
合計が所定の値になるように設定されている。本実施の
形態では、合計が「100」になるように設定されてい
る。なお、同期達成指数については、「100」に設定
することに限定されるものではない。すなわち、本発明
の適用に応じて、同期達成指数を決定する。
【0048】そして、この同期達成指数は、ロボット装
置1a,1b,1cが次の行動に移れる状態にあるとき
加算される。換言すれば、ある行動をしていたロボット
装置が当該行動を終了したときに加算される。具体的に
は、次のような手順により同期達成指数の加算がなされ
る。
【0049】例えば、第1のロボット装置1aは、対応
される第1の通信用スレッド28aから送られてきたコ
マンドに応じた行動を終了したとき、或いは次の行動に
移れる状態であるとき、その旨の情報(以下、待機情報
という。)を発信する。対応される第1の通信用スレッ
ド28aでは、第1のロボット装置1aが発信した待機
情報を受信すると、例えば同期制御用グローバルメモリ
GM上のID番号が一致する領域に同期達成指数を加え
る(足し込む)。このとき、他の通信用スレッドは、こ
の領域にアクセスできないよう排他制御を行う。すなわ
ち、他のロボット装置(ここでは、第2のロボット装置
1b或いは第3のロボット装置1cの一方若しくは両
方)が既にID番号に対応されるSYNC命令の実行が可能
な状態になった場合には、ID番号が一致する当該他の
ロボット装置の同期達成指数に、いま送られてきた同期
達成指数を同期制御用グローバルメモリGMにて加算す
る。そして、全てのロボット装置1a,1b,1cの次
の行動に移れる状態になると、同期達成指数の合計値が
所定の値、本例では「100」になる。
【0050】このような処理により、各通信用スレッド
28a,28b,28cは、同期制御用グローバルメモ
リGMを監視し、同期達成指数の合計値が所定の値
(「100」)に達しない限り次のコマンドの読み出し
を行わないことになる。よって、次の行動に移れるロボ
ット装置であっても、次の行動を起こすことなく待機状
態が維持される。
【0051】そして、複数のロボット装置1a,1b,
1cの行動を管理するパーソナルコンピュータ33は、
このような同期達成指数の合計値が所定の値になったこ
とを確認することにより、ID番号に対応されるSYNC命
令を全てのロボット装置1a,1b,1cにおいて終了
し、ロボット装置1a,1b,1cが次の行動に移れる
状態であることを知ることができる。これにより、パー
ソナルコンピュータ33は、同期達成指数の合計値が所
定の値になったときには、各通信用スレッド28a,2
8b,28cにより次のコマンドを発信する。
【0052】次にコマンドは、図6に示すロボット制御
スクリプトRSでは、WAIT命令が発信される。
【0053】このWAIT命令は、時間(ms)を引数に取
っており、WAIT命令を受け取ったロボット装置は指定さ
れた時間だけ待ってから次のコマンドヘ移行するような
情報をなす。
【0054】WAIT命令の引数がそれぞれ「0」、「100
0」、「2000」となっている実施の形態では、引数が
「0」のWAIT命令を受信した第1のロボット装置1a
は、続いて送られてきているコマンドを直ちに実行し
て、引数が「1000」のWAIT命令を受信した第2のロボッ
ト装置1bは、続いて送られてきているコマンドを1秒
待って実行して、引数が「2000」のWAIT命令を受信した
第3のロボット装置1cは、続いて送られてきているコ
マンドを2秒待って実行する。すなわち、例えば第1乃
至第3のロボット装置1a,1b,1cの受け取ったWA
IT命令の引数が全て「0」である場合には、第1乃至第
3のロボット装置1a,1b,1cは次に送られてきて
いるコマンド内容を同時に実行する。
【0055】そして、本実施の形態では、このWAIT命令
の次に送出されるコマンドは、「BANZAI_SIT」のコマン
ドとなっている。「BANZAI_SIT」コマンドは、ロボット
装置に「お座り」の姿勢において、「ばんざい」の動作
をさせるためのコマンドである。
【0056】このようなWAIT命令が送出され、続いて
「BANZAI_SIT」コマンドが送出されてくることにより、
第1のロボット装置1aは、上述のように同期達成指数
の合計値が所定の値になった直後に「BANZAI_SIT」のコ
マンドを開始し、第2のロボット装置1bは、それから
1秒後に「BANZAI_SIT」のコマンドを開始し、第3のロ
ボット装置1cは、それから2秒後に「BANZAI_SIT」の
コマンドを開始する。
【0057】以上のようにSYNC命令やWAIT命令等が規定
された図6に示すロボット制御スクリプトRSにより概
略として以下のような処理がなされる。
【0058】1番最初(5行目)のSYNC命令により、各
ロボット装置1a,1b,1cが次の状態に移れる状態
になると、ID=1で同期達成指数が発効される。ID
=1の同期達成指数の合計が「100」になることによ
り、各通信用スレッド28a,28b,28cからWAIT
命令及び「BANZAI_SIT」のコマンドが発信される。
【0059】第1のデータ列(第1のロボット装置1a
(IPアドレスが11.22.33.44)に対応されるデータ
列)D1のWAIT命令には0秒(「0」)が入っているの
で、第1のロボット装置1aはすぐに「BANZAI_SIT」コ
マンドを実行し、図7中(A)に示すように、「座り」
姿勢において「バンザイ」動作をする。
【0060】また、第2のデータ列(第2のロボット装
置1b(IPアドレスが11.22.33.45)に対応される
データ列)D2のWAIT命令には1秒(「1000」)が入っ
ているので、第2のロボット装置1bは、第1のロボッ
ト装置1aがコマンドを実行してから1秒後に「BANZAI
_SIT」コマンドを実行し、図7中(B)に示すように、
「座り」姿勢において「バンザイ」動作をする。同様に
第3のデータ列(第3のロボット装置1c(IPアドレ
スが11.22.33.46)に対応されるデータ列)D3のWAI
T命令には2秒(「2000」)が入っているので、第3の
ロボット装置1cは、第1のロボット装置1aがコマン
ドを実行してから2秒後に「BANZAI_SIT」コマンドを実
行し、図7中(C)に示すように、「座り」姿勢におい
て「バンザイ」動作をする。
【0061】「BANZAI_SIT」のコマンドの実行が終了す
ると、またSYNC命令があり、再び各ロボット装置1a,
1b,1cが次の行動に移れる状態であることの検出が
なされる。これにより、先に実行を開始した第1のロボ
ット装置1aから待ち状態に入り、行動達成指数の合計
が「100」になることにより、各ロボット装置1a,
1b,1cは、再び各通信用スレッド28a,28b,
28cから同期した発信されるWAIT命令及び2回目の
「BANZAI_SIT」のコマンドにより上述したような行動を
再び実行する。
【0062】図6に示すロボット制御スクリプトRSに
よる以上のような処理により、行動管理システムは、図
7中(A)から(C)に変化するように、3台のロボッ
ト装置1a,1b,1cを1秒ずつ時間をずらして、バ
ンザイを実行させ、2度の「ウェイブ」の協調行動が発
現させる。
【0063】以上のように、行動管理システムは、同期
してコマンドを送出することにより、複数のロボット装
置1a,1b,1cによる協調行動を容易に実現するこ
とができる。このような複数のロボット装置1a,1
b,1cによる協調行動は、ユーザの鑑賞の楽しさを、
ロボット装置の自立的に起こした行動による楽しさに加
え、さらに広げるものとなる。
【0064】また、行動管理システムにおいて、複数の
ロボット装置1a,1b,1cの行動を、共通のパーソ
ナルコンピュータにより管理しているので、ロボット装
置のプログラムを共通化することができる。一方、1台
のパーソナルコンピュータ33により各ロボット装置1
a,1b,1cの行動を管理することは、各ロボット装
置1a,1b,1cをネットワーク上の計算機として把
握することと同様である。これにより、行動管理システ
ムでは、複数のロボット装置1a,1b,1cの行動管
理を容易にしつつ、行動パターンの作成・編集を容易に
して、例えばこれにより行動パターンの作成・編集実行
までのターンアラウンドを格段に短くすることができ
る。
【0065】次に、上述したロボット装置の具体的な構
成について説明する。ロボット装置1の電気的な回路構
成については、例えば図8に示すようになる。
【0066】CCDビデオカメラ11で撮像された画像
データは、信号処理部12に供給される。信号処理部1
2は、CCDビデオカメラ11より供給された画像デー
タに所定の処理を施し、その画像データを内部バス18
を介して、記憶手段であるDRAM(Dynamic Random Ac
cess Memory)16に記憶させる。
【0067】また、ロボット装置1は、ROMインター
フェース30に接続されたメモリースティックインター
フェース29を備えており、これによりいわゆるメモリ
ースティック210に対するデータの記録及び再生をす
ることができる。
【0068】さらに、ロボット装置1は、PCカードス
ロット(PCカードI/F)14を備えている。これに
より、PCカード200が無線LANカードである場合
には、外部機器(例えば、中継器34)との間でのデー
タ通信が可能となり、PCカードがメモリカードである
場合には、メモリカードに対するデータの記録や再生が
可能になる。
【0069】そして、CPU(Central Processing Uni
t)15は、フラッシュROM(Read Only Memory)17に
記憶されている動作プログラムを、ROMインターフェ
ース30及び内部バス18を介して読み出し、システム
全体の制御を行う。また、フラッシュROM17に記憶
されているCPU11の動作プログラムは、信号処理部
12に接続される外部のパーソナルコンピュータ(Perso
nal Computer、PC)31によって作成及び変更が可能
とされている。
【0070】外部の状態を検出する検出手段を構成する
ポテンショメータ19a,19b,19c、タッチセン
サ20及びマイクロホン21が検出した信号は、分岐部
24a,24b,24c,24d,24eを介して信号
処理部12に供給される。信号処理部12は、分岐部2
4a〜24eから供給された信号を、内部バス18を介
してCPU15に供給する。CPU15は、供給された
信号に基づいてアクチュエータ22a,22b,22
c,22d(例えば、それによって駆動される図1の脚
部2a〜2dや頭部3)の動作を制御する。また、CP
U15は、スピーカ23から出力される音声を制御す
る。
【0071】また、赤外線検出部(IrDA)26を備
えている。赤外線検出部(IrDA)26は、ユーザの
操作により図示しないリモートコントローラから出力さ
れた命令情報を、分岐部24eを介して信号処理部12
に供給する。信号処理部12は、内部バス18を介して
CPU15に供給し、CPU15では、供給された信号
に基づいてアクチュエータ22a,22b,22c,2
2dの動作を制御して、ユーザの命令に応じた行動をロ
ボット装置1に出力させる。
【0072】ここで、ポテンショメータ19a〜19
c、タッチセンサ20、マイクロホン21、アクチュエ
ータ22a〜22d、スピーカ23及び赤外線検出部2
6等は、ロボット装置1の足や耳、口等を構成するもの
であり、これらをまとめてCPC(Configurable Physic
al Component)デバイスと呼ぶ。CPCデバイスは、こ
れに限定されるものではなく、例えば、距離センサ、加
速度センサ、或いはジャイロ等の計測手段であってもよ
い。
【0073】図9には、信号処理部12の構成例を示し
ている。DRAMインタフェース41、ホストインタフ
ェース42は、それぞれDRAM16、CPU15に接
続されるとともに、外部バス44にも接続されている。
バスコントローラ45は、外部バス44の制御を行う。
バスアービタ46は、外部バス44と内部バス47のア
ービトレーションを行う。
【0074】パラレルポート48及びシリアルポート5
0には、例えば、外部の開発環境としてのパーソナルコ
ンピュータ(PC)31が接続されている。バッテリマ
ネージャ49は、バッテリ27の残量の管理等を行う。
パラレルポート48、バッテリーマネージャ49及びシ
リアルポート50は、それぞれペリフェラルインタフェ
ース53を介して内部バス47に接続されている。
【0075】CCDビデオカメラ11は、撮像した画像
データをFBK(Filter Bank)56に供給する。FBK
56は、供給された画像データに対して間引き処理を行
い、種々の解像度の画像データを作成する。その画像デ
ータは、内部バス47を介してDMA(Direct Memory A
ccess)コントローラ51に供給される。DMAコントロ
ーラ51は、供給された画像データをDRAM16に転
送し、記憶させる。
【0076】また、DMAコントローラ51は、DRA
M16に記憶されている画像データを適宜読み出し、I
PE(Inner Product Engine)55に供給する。IPE5
5は、供給された画像データを使用して所定の演算を行
う。この演算結果は、DMAコントローラ51の指示に
従って、DRAM16に転送され、記憶される。
【0077】シリアルバスホストコントローラ57に
は、CPCデバイス25が接続される。CPCデバイス
25は、例えば、上述したポテンショメータ19a〜1
9c、タッチセンサ20、マイクロホン21、アクチュ
エータ22a〜22d、スピーカ23及び赤外線検出部
26等から構成されている。CPCデバイス25から供
給された音声データは、シリアルバスホストコントロー
ラ57を介してDSP(Digital Signal Processor)52
に供給される。DSP52は、供給された音声データに
対して所定の処理を行う。USBインタフェース58に
は、外部の開発環境としてのパーソナルコンピュータ
(PC)32等が接続される。タイマ54は、時間情報
を内部バス47を介して各部に供給する。
【0078】そして、ロボット装置1は、上述したよう
な協調行動を行うため等にパーソナルコンピュータ33
との間でデータ通信をするための無線通信関連の構造と
して、図10に示すように、デバイスドライバ77、T
CP/ IPプロトコルスタック78等を有している。
【0079】デバイスドライバ77は、ソフトウェア層
であって、PCカード(無線LANカード)200の上
位として当該PCカードを直接管理してデータの受け渡
しを行う。
【0080】TCP/ IPプロトコルスタック78
は、ソフトウェア層にあって、TCP/ IPのサービ
スをサポートし、デバイスドライバ77とセマンティク
スコマンドサーバとの間でデータの受け渡しをする。な
お、ロボット装置1には内部のフラッシュROM等に予
めこのローカルエリアネットワークの内部でユニークな
IPアドレス(例えば、上述したIPアドレス11.22.
33.44等)が書き込まれいる。
【0081】このTCP/ IPプロトコルスタック7
3の上位にはセマンティクスコマンドサーバ79といっ
たソフトウェアモジュールがある。セマンティクスコマ
ンドサーバ79は、上述したように文字列として与えら
れるコマンドを受け付けることが可能な上位サーバとし
て構成されている。
【0082】セマンティクスコマンドサーバ79では、
ロボット装置1が起動するとTCP/ IPのサービス
の予め決められたポート番号(例えば10000)を使って
コマンドを受信するサーバを立ち上げて、ローカルエリ
アネットワーク上のパーソナルコンピュータ33からの
接続要求を待つ。接続要求は、IPアドレスとポート番
号(例えば、11.22.33.44:10000)を指定して発信す
ることにより行う。
【0083】そして、外部クライアント(パーソナルコ
ンピュータ33)との間で接続が確立されたセマンティ
クスコマンドサーバ79では、パーソナルコンピュータ
33からのコマンドのを受け付けを開始し、受信したコ
マンドをミドルウェア層74の出カセマンティクスコン
バータ101に送り、コマンド内容の行動を実行させ
る。出カセマンティクスコンバータ101は、具体的に
は、コマンド名を文字列のまま認識することができるも
ので、これにより、出力セマンティクスコンバータ10
1は、文字列からなるコマンドの内容に応じて、下位の
ソフトウェアモジュール(オブジェクト)を制御する。
【0084】ミドルウエア層80は、ロボット装置1の
基本的な機能を提供するソフトウェア郡であり、その構
成はロボット装置1のデバイスや形状が考慮されて設定
されている。このミドルウェア層80は、具体的には、
図11に示すように構成されており、認識系(入力系)
のミドルウェア層90と出力系のミドルウェア層100
とに大別され、例えば、オブジェクト群により構成され
ている。
【0085】認識系のミドルウェア層90では、外部か
ら入力された情報を認識する。これによりロボット装置
1は、外部から入力された情報に応じて自律的に行動を
決定すること等ができるようになる。例えば、認識系の
ミドルウェア層90は、画像データやセンサーデータ、
音データなどのデバイスの生データを処理し、認識結果
を出力するオブジェクト群により構成されている。
【0086】デバイスのデータを処理するオブジェクト
としては、例えば、距離検出部92、タッチセンサー部
93、色認識部94、音階認識部95、姿勢検出部9
6、動き検出部97等が挙げられる。ここで、例えば、
距離検出部92により「障害物がある」が認識され、タ
ッチセンサー部93により「なでられた」及び「叩かれ
た」が認識され、色認識部94により「ボールが赤い」
が認識され、姿勢検出部96により「転倒した」が認識
され、動き検出部97により「ボールが動いている」が
認識される。
【0087】そして、入力系のミドルウェア層90で
は、入力センティクスコンバータ91により上述したよ
うなオブジェクトによる認識情報の上位であるセマンテ
ィクスコマンドサーバ79に渡される。
【0088】一方、出力系のミドルウェア層100によ
り、セマンティクスコマンドサーバ79から渡された情
報に基づいてデバイスの制御が行われる。セマンティク
スコマンドサーバ79から渡される情報としては、例え
ば、入力セマンティクスコマバータ91におけるデバイ
スの認識結果等の内的情報に基づくコマンドであった
り、行動管理システムにおいてパーソナルコンピュータ
33から送られてきた外的情報とされるコマンド等が挙
げられる。内的情報としては、例えば、バッテリー残量
が挙げられる。そして、出力系のミドルウェア層100
は、このようなコマンドに基づいて、例えばロボット装
置の動作機能毎に構成されているオブジェクト群により
各部を動作させる。
【0089】オブジェクトとしては、姿勢制御部10
2、モーション再生部105、転倒復帰部106、トラ
ッキング部107、歩行モジュール部108、LED点
灯部103、音再生部104等が挙げられる。ここで、
例えば、モーション再生部105により「動き再生」に
関する制御がなされ、転倒復帰106により「転倒復
帰」に関する制御がなされ、トラッキング101により
「対象物の追従動作」に関する制御がなされ、歩行モジ
ュール部108により「歩行」に関する制御がなされ
る。なお、「トラッキング」とは、動く対象物を見続け
るような動作、具体的には、動く対象物に頭を向け続け
るような動作である。例えば、このような動作を行う場
合、色認識部94及び動き検出部97の認識情報がその
「トラッキング」の際の情報として直接使用される。ま
た、これらの制御は、ロボット装置1の姿勢の変化を伴
うことから姿勢管理102により姿勢の情報についての
管理がなされる。また、音出力部104により「音」に
関する制御がなされ、LED点灯部103により「目
(LED)の点灯」に関する制御がなされる。
【0090】出力系のミドルウェア層100では、この
ように動作を制御するためのオブジェクト群の上位に位
置される出力セマンティクスコンバータ101によりコ
マンドの内容が解釈されて、その内容に応じて上述した
ようなモーション再生部105等のオブジェクトがデバ
イスの制御を行う。具体的には、機能毎にロボット装置
1の各ジョイントのサーボ指令値や出力音、出力光(目
のLED)を生成して出力する。例えば、上述したよう
な抽象的な行動コマンドとして「BANZAI_SIT」(「バン
ザイ」)のコマンドが送られてきた場合、その行動に必
要なオブジェクトが、そのようなコマンド内容の行動に
必要なデバイスに制御信号を出力し、「バンザイ」の行
動を起こさせる。なお、抽象的な行動コマンドとしては
これに限定されるものではなく、「前進」、「後退」、
「喜ぶ」、「吼える」、「寝る」、「体操する」、「驚
く」、「トラッキング」等の動物が発現する行動のコマ
ンドも挙げられる。
【0091】そして、出力系のミドルウェア層100で
は、行動によるデバイスの動作状況(例えばデバイスの
動作終了結果)を検出して、出カセマンティクスコンバ
ータ101が、その行動の状況をセマンティクスコマン
ドサーバ79に返す。ここで、動作が無事終了した旨の
情報は、ロボット装置が次の行動に移れることの情報に
なる。
【0092】このような出力系のミドルウェア層100
によりコマンドに基づいて各デバイスの制御がなされる
ことで、ロボット装置1がコマンドに応じた行動を発現
することができるようになる。
【0093】セマンティクスコマンドサーバ79では、
上述したような出力系のミドルウェア層100の実行の
終了の情報をPCカード200を介して、パーソナルコ
ンピュータ33(外部クライアント)に発信する。そし
て、パーソナルコンピュータ33では、そのようなロボ
ット装置1の実行の終了の通知に応じて、上述したよう
に、ロボット装置1が次の行動に移れるか否かを判別し
て、その判別結果に応じて次のコマンドを発信する処理
等を行う。
【0094】以上述べたような構成により、ロボット装
置1は、パーソナルコンピュータ33からのコマンドを
受け取って、その内容に応じた行動を起こすことができ
る。そして、コマンドの終了結果、すなわち次の行動に
移れる状態であることの情報をパーソナルコンピュータ
33に返すことができる。
【0095】なお、例えば、上述したような抽象的なコ
マンド(例えば、「バンザイ」のコマンド)は、複数の
基本コマンド、例えばモーションコマンド、サウンドコ
マンド、LED出力コマンドの組み合わせにより実現さ
れている。そして、ロボット装置1は、そのような抽象
的なコマンドとそれらの基本コマンドとの対応関係を記
憶手段、例えばメモリースティックに記憶しておくこと
により、抽象的なコマンドの内容を実行することが可能
とされている。さらに、そのような対応関係の情報を編
集可能なファイルとして記憶手段に記憶しておくことに
より、ユーザが好みにあわせて抽象的なコマンドにより
実行される各部の動作を変更することもできるになされ
ている。
【0096】また、ロボット装置1のソフトウェア層に
ついては、例えば図12に示すように構成されている。
ソフトウェア層は、大別して、アプリケーション層12
0、ミドルウエア層80、マネージャオブジェクト層1
30、ロボットサーバオブジェクト層140及びデバイ
スドライバ層150から構成されている。さらに、マネ
ージャオブジェクト130については、オブジェクトマ
ネージャ131及びサービスマネージャ132を有して
いる。また、ロボットサーバオブジェクトについては、
デザインロボット141、パワーマネージャ142、バ
ーチャルロボット143及びデバイスドライバマネージ
ャ144を有している。これらは、概略以下のように機
能する。
【0097】マネージャオブジェクト層130におい
て、オブジェクトマネージャ131は、アプリケーショ
ン層120及びミドルウェア層80の起動、消滅を管理
し、サービスマネージャ132は、コネクションファイ
ルに記述されたオブジェクト間の接続情報を元に各オブ
ジェクトに接続を促すシステムオブジェクトとして機能
する。
【0098】また、デバイスドライバ層150は、デバ
イスドライバセット151(例えば上述したCPCデバ
イス25等のハードウェア層)に直接アクセスすること
を許されたオブジェクトである。すなわち、ハードウェ
ア層のデバイスを制御する直上の制御部を構成してい
る。このデバイスドライバ層150はハードウェアの割
り込みを受けて処理を行う。
【0099】また、ロボットサーバオブジェクト層14
0において、デザインドロボット141は、ロボット装
置1の構成等を管理し、パワーマネージャ142は、電
源管理をし、デバイスドライバマネージャ144は、外
部接続等されている機器、例えば、パーソナルコンピュ
ータやPCカードのアクセスを管理している。
【0100】そして、ロボットサーバオブジェクト層1
40においてバーチャルロボット143は、ミドルウェ
ア層80と各種デバイスドライバとの間での情報の受け
渡しを各オブジェクト間の通信規約の下で行う部分をな
す。
【0101】上述したように、出力系のミドルウェア層
100は下位のデバイスドライバに制御信号を出力して
各デバイスを実際に制御している。また、上述した認識
系のミドルウェア層90については下位のデバイスから
の情報に基づいて外部情報を認識している。このような
出力系のミドルウェア層100による各デバイスの制御
や、認識系のミドルウェア層90における各デバイスの
状況の認識については、具体的には、図11に示すよう
に、このバーチャルロボット110を介して行われてい
る。
【0102】バーチャルロボット110は、認識系のミ
ドルウェア層90及び出力系のミドルウェア層100と
外部に対しての入出力系を構成するデバイスドライバと
のデータの受け渡しをするものであって、各種デバイス
ドライバとオブジェクト間通信規約に基づいて動作する
オブジェクトとの橋渡しをするオブジェクトとして機能
するものである。このバーチャルロボット110によ
り、認識系のミドルウェア層90及び出力系のミドルウ
ェア層100と各種デバイスドライバーとの間での情報
の受け渡しが各オブジェクト間の通信規約の下でなされ
ることになる。
【0103】次に、ロボット装置1が自主的に行動を決
定するための機能について説明する。ロボット装置1
は、自主的行動の実現するために、行動モデルや感情モ
デルを有している。行動モデルや感情モデルは外的要因
又は内的要因に基づいて変化し、これにより、ロボット
装置は、行動モデルや感情モデルの出力に応じて動作
し、自律型のロボット装置として構成されている。行動
モデル及び感情モデルは、図12に示したソフトウェア
層におけるアプリケーション層120において構築され
ている。感情モデル64は、例えば図13に示すように
構築されている。
【0104】第1乃至第3のセンサ61,62,63
は、ユーザ、さらには環境などの外部から与えられる刺
激を検知し、電気信号に変換して出力する。この電気信
号は、第1及び第2の入力評価部71,72に供給され
る。ここで、第1乃至第3のセンサ61,62,63
は、ポテンショメータ19a〜19c、タッチセンサ2
0、マイクロホン21などの他、図示しない音声認識セ
ンサや画像色認識センサ等であり、ユーザがロボット装
置1の世話をするために行った操作や、発した音声を、
電気信号に変換して出力する。第1乃至第3のセンサ6
1,62,63の出力は、第1及び第2の入力評価部7
1,72に供給される。
【0105】第1の入力評価部71は、第1乃至第3の
センサ61,62,63から供給される電気信号を評価
し、所定の感情を検出する。ここでいう所定の感情と
は、例えば喜びの感情である。第1の入力評価部71
は、検出した感情の評価値を第1の感情モジュール73
に供給する。第1の感情モジュール73には、所定の感
情が割り当てられており、第1の入力評価部71から供
給される感情の評価値に基づいて、感情のパラメータが
増減する。例えば、所定の感情に「喜び」が割り当てら
れている場合には、第1の入力評価部71から供給され
る感情の評価値に基づいて、「喜び」の感情のパラメー
タが増減することになる。第1の感情モジュール73
は、感情パラメータを出力選択部75に供給する。
【0106】同様に、第2の入力評価部72も、第1乃
至第3のセンサ61,62,63から供給される電気信
号を評価し、所定の感情を検出する。ここでいう所定の
感情とは、例えば怒りの感情である。第2の入力評価部
72は、検出した感情の評価値を第2の感情モジュール
74に供給する。第2の感情モジュール74には、所定
の感情が割り当てられており、第2の入力評価部72か
ら供給される感情の評価値に基づいて、感情のパラメー
タが増減する。例えば、所定の感情に「怒り」が割り当
てられている場合には、第2の入力評価部72から供給
される感情の評価値に基づいて、「怒り」感情のパラメ
ータが増減することになる。第2の感情モジュール74
は、感情パラメータを出力選択部75に供給する。
【0107】出力選択部75は、第1及び第2の感情モ
ジュール73,74から供給される感情パラメータが所
定の閾値を越えているか否かを判定し、閾値を越えてい
る感情パラメータを出力する。また、出力選択部75
は、第1及び第2の感情モジュール73,74からの2
つの感情パラメータがいずれも閾値を越えている場合に
は、感情パラメータが大きい方を選択し、出力する。
【0108】行動生成部65は、出力選択部75から供
給される感情を、具体的な行動を指示する命令に変換
し、出力部66に供給するとともに、出力評価部76に
フィードバックさせる。
【0109】出力評価部76は、行動生成部65から供
給される行動を評価し、その行動が行われた場合、その
行動に対応する感情パラメータを減少させるように制御
する。
【0110】出力部66は、行動生成部65からの行動
命令に従った出力を行う。出力部66は、ロボット装置
1の出力であり、これにより、ロボット装置1は、行動
生成部65からの行動命令に従い行動する。すなわち例
えば、出力部66は、脚部2a〜2d、頭部3、胴体4
などに相当する部材を駆動するアクチュエータ22a〜
22dや、スピーカ23などでなり、例えば、所定のア
クチュエータを駆動して頭部3を回転させたり、鳴き声
等を出力したりする。
【0111】このようにロボット装置1は、感情モデル
の感情パラメータに基づいて感情表現を示す動作をする
が、さらに感情パラメータに基づいて所定のデータを記
憶手段に書き込むこともできる。ロボット装置1は、例
えば、そのような感情を示す動作をした際に、外部の状
態として周囲の画像や周囲の音声を記憶手段に書き込
む。ここで、画像は、外部の状態を検出する検出手段の
一部をなす外部入力手段とされるCCDビデオカメラ1
1により取り込み、音声は、外部入力手段とされるマイ
クロホン21により取り込む。
【0112】以上のような処理について、具体的に、第
1の感情モジュール73に「喜び」、第2の感情モジュ
ール74に「怒り」が割り当てられている場合について
説明する。なお、ここで、第1のセンサ61を画像色認
識センサとし、第2のセンサ62を音声認識センサと
し、第3のセンサ63をタッチセンサ20として以下を
説明する。
【0113】第1の入力評価部71は、画像色認識セン
サ(第1のセンサ)61から「黄色」に対応する電気信
号、音声認識センサ(第2のセンサ)62から所定の周
波数(例えば、「レ」)に対応する電気信号、また、タ
ッチセンサ(第3のセンサ)63から「なでている状
態」に対応する電気信号が供給されると、それぞれの信
号を評価し、「喜び」の評価値を決定する。第1の入力
評価部71は、「喜び」の評価値を第1の感情モジュー
ル73に供給する。感情モジュール73は、「喜び」の
評価値に基づいて、感情のパラメータを増加させる。感
情のパラメータは、出力選択部75に供給される。
【0114】一方、第2の入力評価部72は、画像色認
識センサ61から「赤色」に対応する電気信号、音声認
識センサ62から所定の周波数(例えば、「ファ」)に
対応する電気信号、また、タッチセンサ63から「たた
いている状態」に対応する電気信号が供給されると、そ
れぞれの信号を評価し、「怒り」の評価値を決定する。
第2の入力評価部72は、「怒り」の評価値を第2の感
情モジュール74に供給する。第2の感情モジュール7
4は、「怒り」の評価値に基づいて、感情のパラメータ
を増加させる。感情のパラメータは、出力選択部75に
供給される。
【0115】出力選択部75は、第1及び第2の感情モ
ジュール73,74から供給される感情パラメータが所
定の閾値を越えているか否かを判定する。ここでは、
「怒り」の感情パラメータが閾値を越えているものとす
る。
【0116】行動生成部65は、出力選択部75から供
給される「怒り」の感情パラメータを具体的な行動(吠
える)を指示する命令に変換し、出力部66に供給する
とともに、出力評価部76にフィードバックさせる。
【0117】出力部66は、行動生成部65からの行動
命令(吠える)に従った出力を行う。すなわち、スピー
カ23から、対応する音声が出力される。ロボット装置
1が吠えることで、その「怒り」が発散され、「怒り」
の感情が抑制される。このことを考慮して、出力評価部
76は、第2の感情モジュール74の感情パラメータを
減少させる。
【0118】以上がロボット装置1の有する感情モデル
である。次に、各種情報に基づいてロボット装置1の行
動を決定するための行動モデルについて図14を用いて
説明する。
【0119】行動モデルは、図14に示すように、セン
サ入力によりロボット装置1に動作させるための行動出
力を決定している。ここで、センサ入力は、CPCデバ
イス25のうちのポテンショメータ19a〜19c等の
外部情報を取得するためのセンサからの入力である。具
体的には、CPCデバイス25から認識情報を得た入力
セマンティクスコンバータ91からの情報とされる。
【0120】この行動モデルM3は、異なる行動目的を
もった複数の遷移状態表をサブシステムとして有してい
る。具体的には、サブシステムは、図15に示すよう
に、システム管理を行動目的とするシステム管理F1
姿勢を管理することを行動目的とする姿勢管理F2、障
害物を回避することを行動目的とする障害物回避F3
反射動作を行動目的とする反射F4、感情表現を行動目
的とする感情表現F5、自律行動一般の動作を行動目的
とする自律行動一般F6、ゲームの実行を行動目的とす
るゲームF7、パフォーマンスの実行を行動目的とする
パフォーマンスF8、サッカーの動作を行動目的とする
サッカーF9、データの保存を行動目的とする記録F10
等の状態遷移表を有しており、行動モデルM3は、この
ような状態遷移表に基づいて現在の状態から目的とする
状態に遷移するような行動出力を決定している。
【0121】例えば、状態遷移表には、それぞれに優先
度が付してあり、重要度の高い行動が優先的に実行され
るように関係付けられている。本例では、記録F10、サ
ッカーF9、パフォーマンスF8、ゲームF7、自律行動
一般F6、感情表現F5、反射F4、障害物回避F3、姿勢
管理F2及びシステム管理F1の順序で優先度が高くなっ
ており、これにより、CPCデバイス25からのセンサ
入力に対して、システム管理F1、姿勢管理F2、障害物
回避F3、反射F4、感情表現F5、自律行動一般F6、ゲ
ームF7、パフォーマンスF8、サッカーF9及び記録F
10の順序で優先的に実行されるようになる。
【0122】例えば、状態遷移表については、遷移確率
に基づいて確率的に遷移する状態を決定する確率オート
マンの呼ばれるアルゴリズムの原理を用いている。
【0123】確率オートマンは、図16に示すように、
n(nは整数。)個の状態をノードNODE0〜NOD
nとして表現した場合、1つのノードNODE0から他
のノードNODE1〜NODEnに遷移するかを、各ノ
ードNODE0〜NODEnの間を接続するアークARC
1〜ARCnに対してそれぞれ設定された遷移確率P1
至Pnに基づいて確率的により決定するアルゴリズムで
ある。ここで、アークとは、装置(ロボット装置1)に
実現される状態を予め定義し、装置の動作を、定義した
各状態間で遷移させるために、各状態間を遷移する際の
装置の動作を示すものである。
【0124】このような確率オートマンのアルゴリズム
を状態遷移表に適用することにより、現在が第1のノー
ドNODE0にある場合において、現在の状態やCPC
デバイス25のセンサ入力等の状態遷移のための情報に
基づいて次のノードが決定される。
【0125】なお、行動モデルについては、上述したよ
うに、状態遷移表に基づいて行動出力を行うことに限定
されるものでなく、これ以外の手段を採ることもでき
る。例えば、神経回路網における情報処理メカニズムを
参照してなるニューラルネットワークを用いて行動モデ
ルを構築することもできる。
【0126】また、行動モデルを構成するサブシステム
は、以上のようなものに限定されないことはいうまでも
ない。
【0127】また、行動モデルM3は、行動出力に際
し、図14に示すように、感情モデルの出力信号である
感情値(感情パラメータ)及び本能モデルの出力信号で
ある本能値(本能パラメータ)を参照している。
【0128】感情モデルM1では、感情パラメータが、
上述したようにCPCデバイス25からのセンサ入力に
基づく入力評価値に応じて増減するとともに、行動を起
こした場合に得られる出力評価値に応じて増減する。す
なわち、感情モデルM1は、入力評価及び出力評価によ
り感情パラメータが更新される。なお、感情モデルM1
は、外界からの入力に反応によるもの、内部状態による
もの、又は時間の経過により変化するものなどで、上述
した怒りや喜びの他に、悲しみ、恐怖、驚き、嫌悪等に
基づくものである。
【0129】同様に、本能モデルM2では、本能パラメ
ータが、CPCデバイス25からのセンサ入力に基づく
入力評価値に応じて増減するとともに、行動を起こした
場合に得られる出力評価値に応じて増減する。すなわ
ち、本能モデルM2についても、入力評価及び出力評価
により本能パラメータが更新される。なお、本能モデル
2とは、主に内部状態を要因とし、徐々に変化してい
くもので、例えば、食欲、運動欲、休息欲、愛情欲、知
識欲、***等の主に欲求に基づくモデルである。例え
ば、「食欲」の本能モデルは、バッテリー残量を参照し
て得ることができる。
【0130】さらに、行動モデルM3は、図14に示す
ように、学習モジュールM4により行動選択確率更新が
なされるようになっている。
【0131】学習モジュールM4は、過去の情報を将来
の行動等に反映させるためのモジュールであって、例え
ば過去の行動を学習するものである。例えば、学習モジ
ュールM4は、学習結果に基づいて、行動モデルM3を構
成するサブシステム(状態遷移表)の優先度(行動選択
確率)を変化させる。これにより、過去の情報が反映さ
れたサブシステムの選択がなされるようになる。
【0132】以上のように、行動モデルM3は、入力評
価値及び出力評価値により変化する感情パラメータを示
す感情値や本能パラメータを示す本能値を参照して、さ
らには学習モジュールM4により優先度が変化されるサ
ブシステムにより、最終的な行動出力をなす。
【0133】行動選択モジュール160は、行動モデル
3の行動出力により行動目的に応じた動作となるよう
に、CPCデバイス25を制御して、例えば手足、頭、
尻尾等を動作させ、目的とされる行動を完了させる。そ
して、この動作が上述した出力評価値とされて上述した
感情モデル及びM1本能モデルM2にフィードバックされ
る。なお、CPCデバイス25と行動モジュールとの間
の情報の受け渡しについては、具体的には、上述の出力
セマンティクスコンバータ101を介して行われる。
【0134】以上のように、ロボット装置1の感情及び
行動を規定する部分が構成されている。ロボット装置1
は、上述したように構築されている行動モデルや感情モ
デルにより、外部の状態に起因する外的要因や内部の状
態に起因する内的要因の変化に応じて行動を決定して、
実際の動作を起こす。すなわち、ロボット装置は、外的
要因又は内的要因に応じて自主的に行動を決定する自律
型のロボット装置として構成されている。
【0135】そして、行動管理システムにおいて、この
自律型のロボット装置1は、同期されて送られてきたコ
マンドの受信により、他のロボット装置と協調行動を行
うようになされている。これにより、ユーザの鑑賞の楽
しさが広がる。
【0136】なお、上述の実施の形態では、複数のロボ
ット装置の行動の管理をパーソナルコンピュータにより
行っている場合について述べた。しかし、これに限定さ
れるものではなく、図17に示すように、ロボット装置
1aが他の複数のロボット装置1bの行動を管理するこ
ともできる。すなわち、複数のロボット装置の間だけで
閉じたローカルエリアネットワークを形成する。これに
より、一のロボット装置1aにより、他のロボット装置
の行動を管理することができるようになる。この場合、
複数のロボット装置の行動を管理するためにパーソナル
コンピュータ33が有している構成をロボット装置1a
に備える。
【0137】また、上述の実施の形態では、複数のロボ
ット装置に実行させる協調行動として「ウェイブ」をさ
せた場合について述べた。しかし、これに限定されるも
のではなく、音声、動作等の発現可能な行動について協
調行動をさせることができる。また、行動管理するロボ
ット装置の台数も上述のように3台に限定されるもので
はない。具体的には、他に、以下のような協調行動をさ
せることができる。
【0138】各ロボット装置にそれぞれ単音を発しさせ
る。これにより、複数のロボット装置の協調行動によ
り、和音が発生される。また、同時に各ロボット装置に
お辞儀をするようにしてもよい。これにより、お辞儀を
する複数のロボット装置が和音を発生するような協調行
動となる。
【0139】また、「発声練習」の協調行動をさせるこ
ともできる。具体的には、1台のロボット装置(他のロ
ボット装置の行動管理をできるロボット装置)が指揮者
で、整列している複数のロボット装置を順番に腕で指
す。指されたロボット装置が腕を振りながら発声をす
る。指揮者のロボット装置が順番にロボット装置を指し
ていくとそれに合わせて順に発声する。そして、最後に
指揮者のロボット装置の合図で全員が発声する。
【0140】また、「輪唱」の協調行動をさせることも
できる。この場合、「発声練習」の場合と同様に指揮者
のロボット装置の指すタイミングにあわせてずらしなが
ら、輪唱を行うようにする。
【0141】また、「体操」の協調行動をさせることも
できる。具体的には、例えば、インストラクターのロボ
ット装置(他のロボット装置の行動を管理するロボット
装置)の指示に合わせてロボット装置が体操をする。言
うことを聞かないロボット装置がいる場合、インストラ
クターのロボット装置は全体に対する指示を止めて、指
示を聞かないロボット装置のみを叱る。例えば、吼えて
叱る。叱られたロボット装置は謝り、インストラクター
のロボット装置は再び指示を出す。そして、今度は全員
で同時に体操を行うようにする。
【0142】以上のような協調行動は、スクリプト(台
本)を編集することにより可能となっているので、容易
に上述のような種々の内容に協調行動の内容を変更する
こともできる。
【0143】また、上述の実施の形態では、行動管理す
るパーソナルコンピュータ33により、1つのグループ
を構成する複数のロボット装置に協調行動させる場合に
ついて述べた。しかし、これに限定されるものではな
く、行動管理システムは、複数のグループについての協
調行動を管理することもできる。具体的には、3台のロ
ボット装置からなる第1のグループにある協調行動をさ
せ、他の4台のロボット装置からなる第2のグループに
第1のグループとは異なる協調行動を同時的にさせる。
これにより、ユーザの鑑賞の楽しみがされに広がる。
【0144】また、上述の実施の形態では、ロボット装
置1が感情モデルや本能モデルにより自主的に行動を決
定する場合について述べた。しかし、これに限定される
ものではなく、他のプログラム、或いは他のアルゴリズ
ムにより、行動を決定するものとすることもできる。
【0145】また、上述の実施の形態では、ロボット装
置1の外観が図1に示されるような形態について述べ
た。しかし、これに限定されるものではなく、図18に
示すように、より「犬」に近いような外観とすることも
できる。
【0146】また、上述の実施の形態では、ロボット装
置を「犬」の形状について述べた。しかし、これに限定
されるものではなく、例えば、他の4脚歩行の動物や、
人型のロボット装置にも適用することもできる。
【0147】
【発明の効果】本発明に係る行動管理システムは、自主
的に行動を決定する自律型のロボット装置に、外部から
入力されてくるコマンドにより行動を決定する機能を備
えて、この自律型のロボット装置の行動を管理する行動
管理システムであって、複数のロボット装置に、コマン
ドを同期して送出する行動管理手段を備えることによ
り、複数のロボット装置に協調行動をさせることができ
る。
【0148】また、本発明に係る行動管理方法は、自主
的に行動を決定する自律型のロボット装置に外部から入
力されてくるコマンドにより行動を決定する機能を備
え、この自律型のロボット装置の行動を管理する行動管
理方法であって、複数のロボット装置に、コマンドを同
期して送出することにより、複数のロボット装置に協調
行動をさせることができる。
【0149】また、本発明に係るロボット装置は、自主
的に行動を決定する自律型のロボット装置であって、他
の複数のロボット装置に、コマンドを同期して送出する
行動管理手段を備えることにより、ロボット装置の行動
管理により、複数のロボット装置に協調行動させること
ができる。
【図面の簡単な説明】
【図1】本発明の実施の形態の行動管理システムにおい
て、行動が管理されるロボット装置の外観構成を示す図
である。
【図2】上述のロボット装置の回路構成を示すブロック
図である。
【図3】自律的に「お手」をしたときの上述のロボット
装置を示す斜視図である。
【図4】本発明の実施の形態の行動管理システムを示す
ブロック図である。
【図5】上述の行動管理システムにおいて、ロボット装
置の行動を管理するパーソナルコンピュータ内のソフト
ウェア等の構成を示す図である。
【図6】複数のロボット装置の行動を制御するためのロ
ボット制御スクリプトの具体例を示す図である。
【図7】複数のロボット装置の協調行動による「ウェイ
ブ」動作を示す図である。
【図8】上述のロボット装置の具体的な回路構成を示す
ブロック図である。
【図9】上述のロボット装置の信号処理部を示すブロッ
ク図である。
【図10】上述のロボット装置における無線通信機能を
可能にする部分を示すブロック図である。
【図11】上述のロボット装置のソフトウェア層のミド
ルウェア層を示すブロック図である。
【図12】上述のロボット装置のソフトウェア層の構成
例を示すブロック図である。
【図13】上述のロボット装置の感情モデルを構成する
部分を示すブロック図である。
【図14】上述のロボット装置の行動モデルを構成する
部分を示すブロック図である。
【図15】上述の行動モデルの具体例を示す図である。
【図16】上述の行動モデルにおいて、状態の遷移を決
定するアルゴリズムである確率オートマンを説明するた
めに使用した図である。
【図17】他のロボット装置の行動を管理するロボット
装置を説明するために使用した図である。
【図18】ロボット装置の具体的な外観を示す斜視図で
ある。
【符号の説明】
1 ロボット装置、15 CPU、16 データ記憶
部、33 パーソナルコンピュータ、34 中継器
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 2C150 AA14 BA06 CA02 DA05 DA24 DA26 DA27 DA28 3F059 AA00 BA00 BB06 BC06 FC01 5B089 GA23 GB02 HA11 JA35 JB10 KA13 KB04 KB06

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 自主的に行動を決定する自律型のロボッ
    ト装置に、外部から入力されてくるコマンドにより行動
    を決定する機能を備えて、この自律型のロボット装置の
    行動を管理する行動管理システムであって、 複数の上記ロボット装置に、コマンドを同期して送出す
    る行動管理手段を備えたことを特徴とする行動管理シス
    テム。
  2. 【請求項2】 上記行動管理手段は、各ロボット装置の
    状態を監視しており、 上記行動管理手段は、各ロボット装置が次の行動に移れ
    る状態であることを検出して、上記コマンドを同期して
    送出することを特徴とする請求項1記載の行動管理シス
    テム。
  3. 【請求項3】 各コマンドには識別情報が付されてお
    り、 上記行動管理手段は、各ロボット装置の状態を上記識別
    情報に基づいて監視しており、 上記行動管理手段は、同じ識別情報のコマンドが送出さ
    れる各ロボット装置が次の行動に移れる状態であること
    を検出して、上記コマンドを同期して送出することを特
    徴とする請求項2記載の行動管理システム。
  4. 【請求項4】 各コマンドには、当該各コマンドが送出
    される各ロボット装置に対応されて合計が所定量となる
    ような指数が付されており、 上記行動管理手段は、ロボット装置が次の状態に移れる
    状態になっとき当該ロボット装置に送出されるコマンド
    に付されている上記指数を加算し、その合計が上記所定
    量となったとき上記コマンドを同期して送出することを
    特徴とする請求項2記載の行動管理システム。
  5. 【請求項5】 自主的に行動を決定する自律型のロボッ
    ト装置に、外部から入力されてくるコマンドにより行動
    を決定する機能を備えて、この自律型のロボット装置の
    行動を管理する行動管理方法であって、 複数の上記ロボット装置に、コマンドを同期して送出す
    ることを特徴とする行動管理方法。
  6. 【請求項6】 各ロボット装置の状態を監視し、 各ロボット装置が次の行動に移れる状態であることを検
    出して、上記コマンドを同期して送出することを特徴と
    する請求項5記載の行動管理方法。
  7. 【請求項7】 自主的に行動を決定する自律型のロボッ
    ト装置であって、 他の複数のロボット装置に、コマンドを同期して送出す
    る行動管理手段を備えたことを特徴とするロボット装
    置。
  8. 【請求項8】 上記行動管理手段は、上記他の各ロボッ
    ト装置の状態を監視しており、 上記行動管理手段は、上記他の各ロボット装置が次の行
    動に移れる状態であることを検出して、上記コマンドを
    同期して送出することを特徴とする請求項7記載のロボ
    ット装置。
  9. 【請求項9】 各コマンドには識別情報が付されてお
    り、 上記行動管理手段は、上記他の各ロボット装置の状態を
    上記識別情報に基づいて監視しており、 上記行動管理手段は、上記識別情報に基づいて、同じ識
    別情報のコマンドが送出される上記他の各ロボット装置
    が次の行動に移れる状態であることを検出して、上記コ
    マンドを同期して送出することを特徴とする請求項8記
    載のロボット装置。
  10. 【請求項10】 各コマンドには、当該各コマンドが送
    出される上記他の各ロボット装置に対応されて合計が所
    定量となるような指数が付されており、 上記行動管理手段は、上記他のロボット装置が次の状態
    に移れる状態にあるとき当該ロボット装置に送出するコ
    マンドに付されている上記指数を加算し、その合計が上
    記所定量となったとき上記コマンドを同期して送出する
    ことを特徴とする請求項8記載のロボット装置。
JP37535299A 1999-12-28 1999-12-28 行動管理システム、行動管理方法及びロボット装置 Pending JP2001191279A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP37535299A JP2001191279A (ja) 1999-12-28 1999-12-28 行動管理システム、行動管理方法及びロボット装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP37535299A JP2001191279A (ja) 1999-12-28 1999-12-28 行動管理システム、行動管理方法及びロボット装置

Publications (1)

Publication Number Publication Date
JP2001191279A true JP2001191279A (ja) 2001-07-17

Family

ID=18505388

Family Applications (1)

Application Number Title Priority Date Filing Date
JP37535299A Pending JP2001191279A (ja) 1999-12-28 1999-12-28 行動管理システム、行動管理方法及びロボット装置

Country Status (1)

Country Link
JP (1) JP2001191279A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004089579A1 (ja) 2003-04-01 2004-10-21 Sony Corporation ロボット装置、情報処理方法、およびプログラム
JP2005046926A (ja) * 2003-07-30 2005-02-24 Toshiba Corp サービスロボットシステム、主動型ロボット及び従動型ロボット
JP2005324278A (ja) * 2004-05-13 2005-11-24 Honda Motor Co Ltd ロボット制御装置
US7421313B2 (en) 2003-02-19 2008-09-02 Sony Corporation Robot apparatus and control method thereof
JP2012196381A (ja) * 2011-03-23 2012-10-18 Nec Corp ロボット制御システム及びロボット制御方法
WO2021157515A1 (ja) * 2020-02-05 2021-08-12 ファナック株式会社 機械学習装置、コンピュータ装置、制御システム、及び機械学習方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61229107A (ja) * 1985-04-04 1986-10-13 Omron Tateisi Electronics Co 自動機械群の協調運転方式
JPH05119835A (ja) * 1991-10-29 1993-05-18 Kawasaki Heavy Ind Ltd ロボツト装置
JPH05233059A (ja) * 1992-02-25 1993-09-10 Toshiba Corp 分散作業ロボットシステム
JPH07191727A (ja) * 1993-12-24 1995-07-28 Olympus Optical Co Ltd 分散制御システムの同期方式

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61229107A (ja) * 1985-04-04 1986-10-13 Omron Tateisi Electronics Co 自動機械群の協調運転方式
JPH05119835A (ja) * 1991-10-29 1993-05-18 Kawasaki Heavy Ind Ltd ロボツト装置
JPH05233059A (ja) * 1992-02-25 1993-09-10 Toshiba Corp 分散作業ロボットシステム
JPH07191727A (ja) * 1993-12-24 1995-07-28 Olympus Optical Co Ltd 分散制御システムの同期方式

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7421313B2 (en) 2003-02-19 2008-09-02 Sony Corporation Robot apparatus and control method thereof
WO2004089579A1 (ja) 2003-04-01 2004-10-21 Sony Corporation ロボット装置、情報処理方法、およびプログラム
JP2005046926A (ja) * 2003-07-30 2005-02-24 Toshiba Corp サービスロボットシステム、主動型ロボット及び従動型ロボット
JP2005324278A (ja) * 2004-05-13 2005-11-24 Honda Motor Co Ltd ロボット制御装置
US7765028B2 (en) 2004-05-13 2010-07-27 Honda Motor Co., Ltd. Robot control apparatus
JP2012196381A (ja) * 2011-03-23 2012-10-18 Nec Corp ロボット制御システム及びロボット制御方法
WO2021157515A1 (ja) * 2020-02-05 2021-08-12 ファナック株式会社 機械学習装置、コンピュータ装置、制御システム、及び機械学習方法
JP7364699B2 (ja) 2020-02-05 2023-10-18 ファナック株式会社 機械学習装置、コンピュータ装置、制御システム、及び機械学習方法

Similar Documents

Publication Publication Date Title
US6889117B2 (en) Robot apparatus and method and system for controlling the action of the robot apparatus
JP4985805B2 (ja) ロボット装置及び動作制御方法
JP2001212782A (ja) ロボット装置及びロボット装置の制御方法
US7251606B2 (en) Robot device with changing dialogue and control method therefor and storage medium
JP7260221B2 (ja) ロボット対話方法およびデバイス
EP1151779B1 (en) Robot and action deciding method for robot
US7076331B1 (en) Robot, method of robot control, and program recording medium
US6362589B1 (en) Robot apparatus
JP4239635B2 (ja) ロボット装置、その動作制御方法、及びプログラム
WO2000066239A1 (fr) Systeme d'animal de compagnie electronique, systeme de reseau, robot et support de donnees
JP2003266351A (ja) ロボット装置及びロボット装置の動作制御方法
WO2021003471A1 (en) System and method for adaptive dialogue management across real and augmented reality
KR20060079832A (ko) 임베디드 시스템기반의 감정표현 휴먼노이드 로봇
CN112204563A (zh) 用于基于用户通信的视觉场景构建的***和方法
JP2001191279A (ja) 行動管理システム、行動管理方法及びロボット装置
KR20020067694A (ko) 로봇 장치 및 로봇 장치의 동작 제어 방법
JP2003111981A (ja) ロボット装置及びその制御方法、ロボットのための情報提供システム及び情報提供方法、並びに記憶媒体
JP2004114285A (ja) ロボット装置及びその行動制御方法
JP4556425B2 (ja) コンテンツ再生システム、コンテンツ再生方法、コンテンツ再生装置
JP2001157979A (ja) ロボット装置及びその制御方法
JP2001191274A (ja) データ保持装置、ロボット装置、変更装置及び変更方法
JP2001157982A (ja) ロボット装置及びその制御方法
JP2004209599A (ja) ロボット装置、ロボット装置の行動学習方法、ロボット装置の行動生成方法
JP3501123B2 (ja) ロボット装置及びロボット装置の行動制御方法
KR200386045Y1 (ko) 임베디드 시스템기반의 감정표현 휴먼노이드 로봇

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060315

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071030

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071228

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080603