JP3848890B2 - 移動ロボットを用いた描画システム - Google Patents
移動ロボットを用いた描画システム Download PDFInfo
- Publication number
- JP3848890B2 JP3848890B2 JP2002079710A JP2002079710A JP3848890B2 JP 3848890 B2 JP3848890 B2 JP 3848890B2 JP 2002079710 A JP2002079710 A JP 2002079710A JP 2002079710 A JP2002079710 A JP 2002079710A JP 3848890 B2 JP3848890 B2 JP 3848890B2
- Authority
- JP
- Japan
- Prior art keywords
- mobile robot
- robot
- positioning
- positioning pin
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Toys (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、移動ロボットを用いた似顔絵等の描画システムに係り、主に、アミューズメント施設等に配備されて、高いインタラクティブ性を発揮しながら、似顔絵を描くパフォーマンスを実行し得る、移動ロボットを用いた描画システムに関する。
【０００２】
【従来の技術】
従来の似顔絵描画システムとして、特定のブース内でＣＣＤカメラにより人の顔を撮像し、撮像した人の顔画像データに基づいて各顔面部品（目、鼻、口、眉毛等）の特徴を抽出した線画データを作成し、その線画データを指令値として、産業用ロボットのアームの先端軌跡を制御しながら、ロボットアームの先端に取り付けた筆ペンなどの筆記具によって、紙等の描画媒体に似顔絵を描画する、固定ロボットを用いた描画システムが知られている。
【０００３】
また、移動ロボットを用いた似顔絵描画システムとして、人の顔画像データをＣＣＤカメラによって取得し、この顔画像データを文字パターンデータ化して、そのデータによりプリンタに印字出力するシステムが知られている。
【０００４】
【発明が解決しようとする課題】
ところが、前者のものは、固定した産業用ロボットを使用したシステムであったため、適当なエリアを動き回って観客にアピールするようなパフォーマンス性がなく、面白みに欠けていた。つまり、観客を相手に画家が似顔絵を描くときのようなインタラクティブな面が全くなかった。
【０００５】
また、後者のものは、ロボットが自由に動き回れることから、観客に対するインタラクティブ性が向上するメリットはあるものの、画家が似顔絵を実際に描くような描画する動作を伴わないので、観客に対して似顔絵パフォーマンスを行っているという認識を与えることはできない。しかも、文字パターンによって出力される似顔絵は、絵としての品質においても十分ではなかった。
【０００６】
本発明は、上記事情を考慮し、高いインタラクティブ性を与えることの可能な移動ロボットを用いて、実際に似顔絵を描いているという認識を観客に与えながら、品質の良い似顔絵を描くことのできる描画システムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
請求項１の発明は、作画しようとする対象物を撮影して画像データを得るカメラと、前記画像データを処理して作画データを作成する作画データ作成手段と、特定エリア内を移動し得ると共にアームの先端に設けた描画具を用いて描画媒体に対して描画する移動ロボットと、前記作画データに基づいて前記移動ロボットに描画を実行させるための描画動作データを作成する描画動作データ作成手段と、前記移動ロボットの移動を制御すると共に前記描画動作データに基づいてアームの先端の動作軌跡を制御することにより前記描画媒体に絵を描かせるロボット制御手段と、前記移動ロボットが描画を実行するための位置に移動したとき移動ロボットを前記描画媒体に対して位置決めする位置決め手段とを備え、前記位置決め手段が、前記移動ロボットの床面走行部に設けられた受座に対し床面から突出して係合する位置決めピンと、該位置決めピンを床面から突出させて受座に係合させることにより前記移動ロボットに位置決め目標位置への移動外力を与える位置決めピン昇降機構とを備えていることを特徴とする。
【０００８】
移動ロボットは、固定した産業用ロボットに比べて豊富なパフォーマンスを実行し得るものの、固定した描画媒体に対して描画を実行する場合には、描画媒体に対し適正な位置関係を保っておく必要がある。そこで、請求項１の発明では、移動ロボットが描画を実行するための位置に移動したとき移動ロボットを描画媒体に対して位置決めする位置決め手段を設けている。この位置決め手段を備えることによって、自由に動き回れる移動ロボットを用いながらも、精度の良い描画を行うことができる。更に、このシステムでは、床面から突出させた位置決めピンを移動ロボット側の受座に係合させることで、目標位置に対し偏差を持っている状態の移動ロボットを適正に位置決めすることができる。よって、簡単で確実な手段により高精度の位置決めが可能である。
【０００９】
請求項２の発明は、請求項１において、前記位置決めピンと受座の突当面が、両者を突き当てるに従って芯合わせ作用を発揮し移動ロボットに水平方向の移動力を与える円錐面で構成されていることを特徴とする。
【００１０】
この描画システムでは、円錐面同士の突き合わせによる芯合わせ作用によって移動ロボットの位置決めを行うので、確実で無理のない動作で位置決めを行うことができる。
【００１１】
請求項３の発明は、請求項１または請求項２において、前記移動ロボットの位置決め時に、（１）前記位置決めピンを床面から突出させて受座の突当面に接触させる第１の動作、（２）その状態で、位置決めピンで受座を突き上げて移動ロボットの床面に対する接触荷重を軽減しながら、移動ロボットを位置決め位置へ移動させる第２の動作、（３）移動ロボットを位置決め位置へ移動させた後に位置決めピンを下降させることで移動ロボットの床面に対する接触荷重を定常値に戻す第３の動作を順次連続して前記位置決めピン昇降機構に行わせる位置決めピン昇降制御手段を備えていることを特徴とする。
【００１２】
この描画システムでは、位置決めを行った後に、位置決めピンを下降させることによって移動ロボットを定常通りに床面に着地させるので、移動ロボット自身の発するブレーキ力によって、無理のない確実な姿勢で移動ロボットを適正位置に保持することができる。
【００１３】
請求項４の発明は、請求項１から請求項３のいずれかにおいて、前記描画媒体が、コンピュータのペンタブレット付きディスプレイであり、前記描画具としてのペンの移動軌跡に対応した線を画面上に表示するものであることを特徴とする。
【００１４】
このシステムでは、移動ロボットがペンタブレット付きディスプレイに似顔絵を描くので、観客はその場で似顔絵を描くパフォーマンスを楽しむことができるし、描いた似顔絵を操作パネル等に設けた他のディスプレイに同時に表示させることができる。
【００１５】
請求項５の発明は、請求項１から請求項４のいずれかにおいて、前記コンピュータが、ディスプレイ画面上に出来上がった似顔絵を、前記操作パネル上に装備されたプリンタに印字出力させることを特徴とする。
【００１６】
このシステムでは、出来上がった似顔絵を、操作パネル上に装備したプリンタに印字出力させるので、客がその場で出来上がった似顔絵を見て楽しむことができるし、それを持ち帰ることもできる。
【００１７】
請求項６の発明は、請求項１から請求項５のいずれかにおいて、前記カメラが移動ロボット上に装備されていることを特徴とする。
【００１８】
カメラはどの位置に設けてもよいが、請求項６の発明では、カメラを移動ロボット自身に搭載している。こうすることにより、移動ロボットが、作画しようとする対象物を自分で観察して描画するというパフォーマンスを示すことができる。また、対象物の近くにカメラが固定されないので、設備のシンプル化が図れる。
【００１９】
請求項７の発明は、請求項１から請求項６のいずれかにおいて、前記作画データ作成手段、描画動作データ作成手段、ロボット制御手段が、移動ロボット上に装備されていることを特徴とする。
【００２０】
このシステムでは、移動ロボットに制御系のほとんどを搭載したので、設備のシンプル化を図ることができる。なお、移動ロボットと固定側設備との通信は、無線ＬＡＮ等の無線通信手段を使用するのが望ましい。
【００２１】
請求項８の発明は、請求項１から請求項７のいずれかに記載の移動ロボットを用いた描画システムにおいて、赤外線受光ユニットと、該赤外線受光ユニットと連動した非常停止リレースイッチとを備え、前記赤外線受光ユニットを介して遠隔的に電源が遮断可能とされていることを特徴とする。
【００２２】
この発明においては、赤外線発光ユニットによってＯＦＦ信号を発することで、移動ロボットを遠隔的に停止させることができる。
【００３９】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
図１は実施形態の描画システムの概略構成図であり、（ａ）は全体図、（ｂ）は要部詳細図、図２は同システムの平面図である。
【００４０】
図において、１は展示エリア、２はそれに隣接した撮像ブースである。展示エリア１の床面３には、その上を自由に移動することのできるロボット（移動ロボット）５０が配備されている。また、展示エリア１内の所定箇所には、パーソナルコンピュータ（以下、略して「パソコン（ＰＣ）」という）４が設置されている。このパソコン４は、専用のペン５によって入力可能なペンタブレット付きの液晶ディスプレイ６を備えており、この液晶ディスプレイ６の画面が、ロボット５０が似顔絵を描画する対象の描画媒体となっている。そして、ペン５の移動軌跡に沿った線を画面上に表示することができるようになっている。
【００４１】
撮像ブース２には、お客（人物）Ｍが座る椅子７が設けられ、その背後には衝立８が設けられている。また、椅子７の前には操作パネル９が設けられている。操作パネル９の内部あるいは操作パネル９の上側には、椅子７に座ったお客Ｍの顔を正面から撮影するためのＣＣＤカメラ１０が設けられている。
【００４２】
また、このシステムには、作画データを作成するための似顔絵コントローラ１１と、ロボット５０を含めた全体を統括してコントロールする全体統括コントローラ１２とが備えられている。似顔絵コントローラ１１は、作画データ作成手段としての機能を発揮し、ＣＣＤカメラ１０によって取得した画像データを処理して似顔絵の線画データ（作画データ）を作成する。また、全体統括コントローラ１２は、描画動作データ作成手段としての機能を発揮し、似顔絵コントローラ１１から送られてくる線画データに基づいてロボット５０に似顔絵を描かせるための描画動作データを作成する。また、全体統括コントローラ１２は、ロボット制御手段としての機能を発揮し、ロボット５０の移動を含めた全体動作を制御すると共に、描画動作データに基づいてロボットアーム先端の動作軌跡を制御することにより、ペンタブレット付き液晶ディスプレイ４に似顔絵を描く。
【００４３】
前記パソコン４、コントローラ１１、１２、操作パネル９等は、システム全体の制御系に含まれており、その制御系内の各要素間では自由に信号の授受が行われる。また、全体統括コントローラ１２とロボット５０間では、無線通信手段（無線ＬＡＮ等）により信号の授受が自由に行われる。パソコン４のディスプレイ４上で作成された似顔絵データは、似顔絵コントローラ１１に送信され、操作パネル９上に装備されたプリンタにて印字出力される。操作パネル９には、図示しない液晶モニタ、プリンタ、操作ボタン、マイク等が装備されており、客Ｍは操作パネル９を介して、描画システムの制御系に動作指令を発して、似顔絵を描かせることができる。
【００４４】
この場合のロボット５０は、人体を模してデザインされており、展示エリア１内を移動するための車輪式の走行部５１を底部に持ち、その上に腰関節５２を介して胴体部５３、その上に首関節５４を介して頭部５５、胴体部５３の左右に多軸（６軸）式のアーム５６を有している。そして、お客Ｍに向けて人間の行動を真似た演技並びに発声をすることができるようになっている。更にアーム５６の先端には、例えば鉛筆、筆、液晶ディスプレイ６用のペン５等の似顔絵筆記具（描画具）を把持するためのハンド５７を備えている。また、腰部のサイドには筆記具収納ホルダ５８が設けられている。
【００４５】
また、このシステムは、ロボット５０が描画を実行するためにペンタブレット付き液晶ディスプレイ６の前の所定位置に移動したときに、ロボット５０を描画に適した最適位置に位置決めする位置決め装置（位置決め手段）３０を備えている。位置決め装置３０は、似顔絵パフォーマンスを行う際にロボット５０と液晶ディスプレイ６との相対的な位置決め再現性を確保するためのものであり、ロボット５０に外力を与えて機械的に位置決めする。
【００４６】
この位置決め装置３０は、ロボット５０の床面走行部５１に設けられた受座６１に対し床面３から突出して係合する２本の位置決めピン３１と、これら２本の位置決めピン３１を床面３から突出させて受座６１に係合させることにより、ロボット５０に位置決め目標位置への移動外力を与える位置決めピン昇降用の油圧シリンダ（位置決めピン昇降機構）３２とを主要構成要素とするものである。
【００４７】
図３に示すように、位置決めピン３１と受座６１の突当面３１ａ、６１ａは、両者を突き当てるに従って芯合わせ作用を発揮しロボット５０に水平方向の移動力を与える円錐面で構成されている。位置決め装置３０の主要部は、展示エリア１の床下空間３４に配置されている。油圧シリンダ３２は、ロッド３５を上向きにしてフロア床面３３に設置され、ロッド３５の先端に装着した位置決め治具３６に、２本の位置決めピン３１が垂直上向きに突設されている。そして、油圧シリンダ３２のロッド３５を伸縮することで、位置決めピン３１の先端を、展示エリア１の床面３より上側に突出させたり、床面３内に引っ込めたりすることができるようになっている。また、図４に示すように、この位置決め装置３０には、位置決めピン３１を精度良く鉛直方向に昇降させることができるようにするための直線ガイド３７が設けられている。
【００４８】
更に、この位置決め装置３０には、油圧シリンダ３２を駆動制御するための電磁弁３８を備えた油圧制御ユニット３９が備えられると共に、油圧シリンダ３２のロッド３５の伸縮上限位置（上死点）と下限位置（下死点）とそれらの中間位置とをそれぞれ検知する上死点リミットスイッチＵＬＳ、下死点リミットスイッチＬＬＳ、中間点検知スイッチＨＳとが設けられている。そして、位置決め装置３０の駆動系は、油圧シリンダ３２をアクチュエータとし、前記各スイッチＵＬＳ、ＬＬＳ、ＨＳの信号に応じて電磁弁３８を駆動して、ロッド３５の昇降状態を制御する油圧サーボ系で構成されている。
【００４９】
ここで油圧シリンダ３２は、ロボット５０を持ち上げられる推力（ロボット重量以上）を持っている。また、上死点は、ロボット５０が浮き上がる位置、下死点は、位置決めピン３１が床面３に完全に隠れる位置に設定されている。なお、中間状態を検知するスイッチＨＳは、固定側のホールＩＣと移動側（ロッド側）の磁石で構成されている。また、図４において、４１は油圧ポンプ、４２はタンク、４３はメインスイッチ、４４は油圧ホースを示す。
【００５０】
図５はロボット５０の走行部５１の構造を示している。走行部５１には、それぞれ独立して駆動し得る左右一対の駆動車輪６３と、倒れ防止のためにロボット５０の前後に配した方向転回自在な従動車輪６４とが設けられている。そして、走行部５１の底部の幅方向中央の前後位置に間隔をおいて２つの受座６１が設けられている。
【００５１】
また、図２に示すように、展示エリア１の床面３上には、ロボット５０の移動経路を形成する磁気テープ７１が貼り付けられている。ロボット５０には、この磁気テープ７１を検知する磁気センサ（図示略）が設けられており、磁気センサの信号に基づいて走行部５１を駆動制御することにより、ロボット５０を磁気テープ５０に沿って移動させることができる。
【００５２】
次に、お客の似顔絵を描く際の一連の動作について、図６のフローチャートを参照しながら説明する。
まず、お客（観客）が操作パネル９の呼び出しボタン（後述する）をＯＮすると動作がスタートし、ロボット５０がお客の前に移動する（ステップＳ１）。そして、ロボット５０がお客に向かって挨拶し（ステップＳ２）、ＣＣＤカメラ１０がお客の顔の画像データを取得する（ステップＳ３）。
【００５３】
次いで、似顔絵コントローラ１１が、ＣＣＤカメラ１０で取得した画像データに基づいて、目、鼻、口、眉毛等の顔部品の特徴抽出を行い、似顔絵を描く上で必要な線画データを作成し（ステップＳ４）、線画データを全体統括コントローラ１２に送信する（ステップＳ５）。全体統括コントローラ１２は、送られて来た線画データに基づいて、ロボットアーム先端軌跡データ（アーム関節角データ＝描画動作データ）を作成し（ステップＳ６）、ロボット５０を液晶ディスプレイ６の前の似顔絵描画位置に移動させる（ステップＳ７）。
【００５４】
次いで、液晶ディスプレイ６の前にてロボット５０が停止したら、停止確認の信号を位置決め装置３０の制御部（図示略）に送る。そうすると、位置決め装置３０が駆動されて、所定の動作によりロボット５０の位置決め（後で詳述する）が行われる（ステップＳ８）。位置決めが完了したら、全体統括コントローラ１２は、ロボット５０に関節角データを送信し（ステップＳ９）、ロボット５０が似顔絵を液晶ディスプレイ６に描画する（ステップＳ１０）。そして、似顔絵が完成したら、パソコン４が描画結果を似顔絵コントローラ１１に送信し（ステップＳ１１）、似顔絵コントローラ１１が、操作パネル９のプリンタに印字出力させる（ステップＳ１２）。あるいは、操作パネル９の液晶画面にモニタ出力させる。以上の動作が全部済んだら動作を終了する。
【００５５】
次に位置決め動作時の制御内容について説明する。
まず、位置決め装置３０の制御部（＝位置決めピン昇降制御手段：図示せず）は、ロボット５０の位置決め時に、（１）位置決めピン３１を床面３から突出させて受座６１の突当面に接触させる第１の動作、（２）その状態で、位置決めピン３１で受座６１を突き上げてロボット５０の床面３に対する接触荷重を軽減しながら、ロボット５０を位置決め位置へ移動させる第２の動作、（３）ロボット５０を位置決め位置へ移動させた後に位置決めピン３１を下降させることで、ロボット５０の床面３に対する接触荷重を定常値に戻す第３の動作、を順次連続して油圧シリンダ３２に行わせる。
【００５６】
より具体的に説明すると、まず、位置決めピン３１と受座６１による位置合わせが可能な許容範囲内にロボット５０が移動して来て停止し、その状態を確認する完全停止信号が、油圧シリンダ３２の制御部に送られて来たら、制御部は、油圧シリンダ３２のロッド３５が下死点位置にあることをチェックする。次いで、電磁弁３８の位置確認後、メインスイッチ４３をＯＮし、油圧ポンプ４１を起動して油圧を発生させる。次いで、電磁弁３８を切換操作することで、油圧シリンダ３２のロッド３５を上昇させて位置決めピン３１を受座６１に接触させる。
【００５７】
そのままの状態で上死点に向かってロッド３５を上昇させると、ロボット５０が徐々に持ち上げられ、走行部５１の車輪６３と床面３との接触荷重が軽減されて、車輪６３と床面３との摩擦力が低減し、ロボット５０が横滑り可能な状態となる。そして、更にロッド３５を上昇させることにより、位置決めピン３１の先端の円錐部が、受座６１の円錐凹部に嵌まり込むようにロボット５０が横滑りし、やがて位置決めピン３１に対しロボット５０が適正に位置決めされる。
【００５８】
上死点に到達したことがリミットスイッチＵＬＳの信号により確認されたら、電磁弁３８を切換操作して、油圧シリンダ３２を停止し、ロボット５０の走行部５１のモータブレーキをＯＮする。次いで、電磁弁３８を切換操作して油圧シリンダ３２のロッド３５を下降させ、ロッド３５が中間状態に達したら、電磁弁３８を切換操作して油圧シリンダ３２を停止させ、その状態を維持する。
【００５９】
中間状態の確認は、中間点検知スイッチＨＳの信号に基づいて行う。中間状態では、位置決めピン３１の先端が受座６１の凹部に挿入されているが、接触しない状態となっている。このように位置決めピン３１を中間状態となるまで下降させることにより、ロボット５０は、位置決めピン３１によって持ち上げられた状態から下降し、走行部５１の車輪６３と床面３とが通常の接触状態に戻る。つまり、車輪６３にブレーキがかかっていれば、車輪６３と床面３との摩擦により、ロボット５０は定位置に保持される。なお、中間状態では位置決めピン３１の先端が受座６１に収まった状態にあるので、ロボット５０の動きが拘束される。
【００６０】
この状態で、似顔絵パフォーマンスを開始する。その間、ロボット５０は液晶ディスプレイ６に対して適正な位置関係に保持される。そして、似顔絵パフォーマンスが終了したら、電磁弁３８を切り換えて油圧シリンダ３２のロッド３５を下降させ、ロッド３５が下死点に到達したことをリミットスイッチＬＬＳの信号で確認したら、位置決め装置３０のメインスイッチ４３をＯＦＦして、ロボット５のブレーキを解除する。そうすることで、受座６１から位置決めピン３１が完全に抜けて、ロボット５０が自由に移動できる状態となる。
【００６１】
このように位置決め装置３０を設けたことで、ロボット５０は適正な位置でペンタブレット付き液晶ディスプレイ６に対し似顔絵を描画することができる。
【００６２】
なお、上記の実施形態では、ＣＣＤカメラ１０をロボット５０とは別に固定的に設けていたが、図７の実施形態に示すように、ロボット５０の例えば頭部５５に搭載してもよい。その場合、ＣＣＤカメラ１０で取得した顔画像は、ＬＡＮあるいは無線ＬＡＮ等の通信手段で似顔絵コントローラ１１に送信すればよい。また、似顔絵コントローラ１１や全体統括コントローラ１２の小型化が実現できれば、図８の実施形態に示すように、それらをロボット５０に搭載させてもよい。その場合、操作パネル９との通信を無線で行えばよい。
【００６３】
また、上記の実施形態では、ロボット５０に機械的な外力を及ぼすことで位置決めする場合を示したが、ロボット５０自体に精度の良い例えば光学センサを取り付けておき、ロボット自身の位置を精度良く認識できるようにすれば、位置決め目標値にマークを付けておくだけで、似顔絵描画位置に適正にロボットを自力で位置決めすることができる。
【００６４】
また、上記の説明では、液晶ディスプレイ６を描画媒体として似顔絵を描く場合を示したが、紙等を描画媒体として筆等で描くようにしてもよい。また、上記の説明では、似顔絵を描く場合を例に出したが、似顔絵以外の絵を描く場合にも本発明は適用できる。
【００６５】
次に似顔絵パフォーマンスの実例について説明する。
ここでは、ロボットの名前は「神ちゃん」としてある。また、以下の説明において、各カッコは、
・＜＞…ロボットの動作
・『』…ロボットの会話
・「」…液晶モニタの表示
を示している。図９は最初の場面を示すイメージ図である。図において、９は操作パネルで、操作パネル９には、お呼び出しボタン９１、マイクボタン９２、液晶モニタ９３、マイク９４、カメラ９５、モニタ９６等が設けられている。
【００６６】
（１）ロボットが待機している状態では、ロボットの動作及び液晶モニタ表示は次のようになる。
・ロボットの動作…＜基本姿勢（肘を若干曲げて腕を下げた姿勢）で待機＞
・液晶モニタ表示…「ボタンを押して呼んでね」
【００６７】
（２）その状態で、お客が呼び出しボタンを押す。
（３）そうすると、ロボットが移動する。そのときの挙動は次のようになる。
・図９参照
・ロボットの動作…＜似顔絵ブースの前へ移動＞
・ロボットの動作…＜お客の前で左腕を振りながら発声＞
・ロボットの会話…『ハーイ。お待たせ。』
【００６８】
（４）その後、ロボットの挙動は次のようになる。
・ロボットの動作…＜左腕を下げて基本姿勢に戻る＞
（５）ロボットが挨拶する。
【００６９】
（６）そのままマイクからの音声入力を待ち、入力があったら発声する。
・図１１参照
・ロボットの会話…『科学館に来てくれてどうもありがとう。』
・ロボットの動作…＜腰を曲げてお辞儀＞
【００７０】
（７）次に注意を促す。
・図１２参照
・ロボットの会話…『これから似顔絵を描くので、椅子に座ってね。』
・ロボットの動作…＜右腕を前に伸ばして示す＞
・ロボットの会話…『手前のモニタを見ててね。』
【００７１】
（８）そして撮影の準備をする。
・図１３参照
・ロボットの会話…『準備ＯＫ。』
・ロボットの動作…＜首をかしげる＞
・ロボットの会話…『シャッターを切るまで、じっとしててね。』
・＜首を前後に振り、左腕を肘上に立てて説得風の動きをする＞
【００７２】
（９）その状態で撮影する。
・ロボットの会話…『それじゃ、正面向いて、ハーイ。』
・ロボットの動作…お客の目線を挙げるため＜左腕を振る＞
・カメラのシャッターを切る
【００７３】
（１０）次いで画像確認する。
・図１４参照
・ロボットの会話…『うまく撮れてる？』
・ロボットの動作…＜両腕を前に出して振る＞
・液晶モニタに画像処理した線画を表示。
【００７４】
（１１）更に画像確認する。
・ロボットの会話…『良ければ右の緑のボタンを押してね。』
『撮り直しは、左の赤いボタンを押してね。』
【００７５】
（１２）確認したら似顔絵を描く位置へ移動する。
【００７６】
（１３）似顔絵描画の準備をする。
・図１５参照
・ロボットの動作…＜右腕をキャンバスに近づけて左右に振る＞
・ロボットの会話…『どこに描こうかな？』
・似顔絵データの無線ＬＡＮ伝送。
・ロボットの会話…『ヨシ。この辺だ。』
【００７７】
（１４）似顔絵描画の準備をする。
・ロボットの動作…＜右腕でペンホルダからペンを把持して取り出す＞
・ロボットの会話…『準備ＯＫ。これから描くよ。』
【００７８】
（１５）似顔絵描画を実行する。
【００７９】
（１６）描画が完了する。
【００８０】
（１７）似顔絵ブースのプリンタから似顔絵が出力される。
（１８）ロボットが移動する。
・ロボットの動作…＜回転して似顔絵ブースへ移動＞
【００８１】
（１９）客の反応を伺う。
・ロボットの会話…『どう。似てるかな？』
『気に入ったらお返事してね。』
【００８２】
（２０）お客の音声入力がある。
（２１）ロボットが返事をする。
・ロボットの会話…『どういたしまして。』
【００８３】
（２２）ロボットが挨拶する。
・ロボットの会話…『今日はどうもありがとう。』
・ロボットの動作…＜腰曲げお辞儀＞
・ロボットの会話…『それじゃ、またね。』
・ロボットの動作…＜左腕肘を曲げて前に出し、左手でバイバイ＞
【００８４】
（２３）ロボットが似顔絵ブース正面へ戻る。
（２４）ロボットが待機する。
・ロボットの会話…『次は誰かな？』
・液晶モニタ表示…「ボタンを押して呼んでね」
【００８５】
なお、上記実施形態は、以下の変形を施してもよい。
図１７の変形例においては、音声認識コントローラ１０１、サウンドボード１０２を備えた音声認識システム１０３が追加されている。音声認識コントローラ１０１では、お客の音声を操作パネル９に設置したマイク１０４により取得する。マイク音声はサウンドボード１０２に入力され、音声認識コントローラ１０１では、この音声を認識することで所定の会話アルゴリズムにしたがって音声データを生成し、これをサウンドボード１０２へ出力する。
サウンドボード１０２では、当該音声データをFMトランスミッタ１０５を介してロボット本体に内蔵したFMラジオ１０６に出力し、あたかもロボットが発話をしているようにする。
これにより、所定のシナリオにしたがって、観客とのアトラクティブなインタラクションを図りながら似顔絵描画パフォーマンスを進行できる。
なお、音声認識システム１０３、FMトランスミッタ１０５はロボット本体に内蔵してもよい。
【００８６】
図１８の変形例では、全体統括コントローラ１２に、ジャンケンなどの動作が行えるようなアーム関節、腰関節に関する振り付けデータを記憶する振り付けデータ格納手段１１０を設け、前記のシナリオの中で観客とのインタラクションを図りながら全体統括コントローラ１２がロボットにジャンケン動作をさせるようにする。
さらに、図１７の変形例と組み合わせることによって、本描画システムを構成するロボットが「ジャンケンポン」と発話すると、これに合せて観客が操作パネル９に設けられた「グー」、「チョキ」、「パー」のいずれかのボタンを押すようにし、一方で、ロボットは「グー」「チョキ」「パー」のいずれかの姿勢をとるようにする。この操作パネル９における押しボタン信号をロボット動作への司令と比較することで勝敗を判定できる。この勝敗に応じて全体統括コントローラ１２が異なるアクションをロボットにさせることにより、インタラクティブでアクティブなパフォーマンスを実現できる。
【００８７】
図１９の変形例では、赤外線受光ユニット１２０が追加されている。赤外線受光ユニット１２０はロボット本体の非常停止リレースイッチ（不図示）に連動している。赤外線発光ユニット１２１を用いてON/OFF信号を赤外線受光ユニット１２０に送信することにより、遠隔的にロボットの停止動作を可能とする。
【００８８】
【発明の効果】
以上説明したように、請求項１の発明によれば、移動ロボットを用いて描画するので、豊富なパフォーマンスを実行することができる。また、移動ロボットが描画を実行するための位置に移動したとき移動ロボットを描画媒体に対して位置決めする位置決め手段を設けているので、自由に動き回れる移動ロボットを用いながらも、精度の良い高品質の描画を行うことができる。更に、簡単で確実な手段により高精度の位置決めが可能である。
【００８９】
請求項２の発明によれば、円錐面同士の突き合わせによる芯合わせ作用によって移動ロボットの位置決めを行うので、確実で無理のない位置決めを行うことができる。
【００９０】
請求項３の発明によれば、移動ロボット自身の発するブレーキ力によって、無理のない確実な姿勢で移動ロボットを適正位置に保持することができる。
【００９１】
請求項４の発明によれば、移動ロボットがペンタブレット付きディスプレイに似顔絵を描くので、観客はその場で似顔絵を描くパフォーマンスを楽しむことができる。また、描いた似顔絵を操作パネル等に設けた他のディスプレイに同時に表示させることができる。
【００９２】
請求項５の発明によれば、出来上がった似顔絵をプリンタに印字出力させるので、客がその場で出来上がった似顔絵を見て楽しむことができる。
【００９３】
請求項６の発明によれば、カメラを移動ロボット自身に搭載したので、移動ロボットが、作画しようとする対象物を自分で観察して描画するというパフォーマンスを示すことができる。
【００９４】
請求項７の発明によれば、移動ロボットに制御系のほとんどを搭載してあるから、設備のシンプル化を図ることができる。
【００９５】
請求項８の発明によれば、遠隔的にロボットの停止動作を可能とすることができる。
【図面の簡単な説明】
【図１】 本発明の実施形態の描画システムの概略構成図であり、（ａ）は全体構成図、（ｂ）は要部構成図である。
【図２】 同描画システムの概略平面図である。
【図３】 同描画システムの位置決め機構を構成する位置決めピンの先端と受座の関係を示す拡大図である。
【図４】 前記位置決め機構の駆動系の構成図である。
【図５】 前記描画システムの移動ロボットの走行部の構成図で、（ａ）は平面図、（ｂ）は側面図である。
【図６】 前記描画システムの動作フローの概略を示すフローチャートである。
【図７】 本発明の他の実施形態の描画システムの概略構成図である。
【図８】 本発明の更に他の実施形態の描画システムの概略構成図である。
【図９】 本発明の描画システムによる似顔絵パフォーマンスの内容説明のために示す場面イメージ図である。
【図１０】 図９の次の場面イメージ図である。
【図１１】 図１０の次の場面イメージ図である。
【図１２】 図１１の次の場面イメージ図である。
【図１３】 図１２の次の場面イメージ図である。
【図１４】 図１３の次の場面イメージ図である。
【図１５】 図１４の次の場面イメージ図である。
【図１６】 図１５の次の場面イメージ図である。
【図１７】 変形例として示した描画システムの概略構成図である。
【図１８】 他の変形例として示した描画システムの概略構成図である。
【図１９】 更に他の変形例として示した描画システムの概略構成図である。
【符号の説明】
Ｍ お客（対象物）
１ 展示エリア
２ 撮像ブース（似顔絵ブース）
３ 床面
５ ペン（描画具）
６ ペンタブレット付き液晶ディスプレイ（描画媒体）
９ 操作パネル
１０ ＣＣＤカメラ
１１ 似顔絵コントローラ（作画データ作成手段）
１２ 全体統括コントローラ（描画動作データ作成手段、ロボット制御手段）
３０ 位置決め装置
３１ 位置決めピン
３１ａ 突当面
３２ 油圧シリンダ（位置決めピン昇降機構）
５０ ロボット
５１ 走行部
５６ アーム
６１ 受座
６１ａ 突当面
【発明の属する技術分野】
本発明は、移動ロボットを用いた似顔絵等の描画システムに係り、主に、アミューズメント施設等に配備されて、高いインタラクティブ性を発揮しながら、似顔絵を描くパフォーマンスを実行し得る、移動ロボットを用いた描画システムに関する。
【０００２】
【従来の技術】
従来の似顔絵描画システムとして、特定のブース内でＣＣＤカメラにより人の顔を撮像し、撮像した人の顔画像データに基づいて各顔面部品（目、鼻、口、眉毛等）の特徴を抽出した線画データを作成し、その線画データを指令値として、産業用ロボットのアームの先端軌跡を制御しながら、ロボットアームの先端に取り付けた筆ペンなどの筆記具によって、紙等の描画媒体に似顔絵を描画する、固定ロボットを用いた描画システムが知られている。
【０００３】
また、移動ロボットを用いた似顔絵描画システムとして、人の顔画像データをＣＣＤカメラによって取得し、この顔画像データを文字パターンデータ化して、そのデータによりプリンタに印字出力するシステムが知られている。
【０００４】
【発明が解決しようとする課題】
ところが、前者のものは、固定した産業用ロボットを使用したシステムであったため、適当なエリアを動き回って観客にアピールするようなパフォーマンス性がなく、面白みに欠けていた。つまり、観客を相手に画家が似顔絵を描くときのようなインタラクティブな面が全くなかった。
【０００５】
また、後者のものは、ロボットが自由に動き回れることから、観客に対するインタラクティブ性が向上するメリットはあるものの、画家が似顔絵を実際に描くような描画する動作を伴わないので、観客に対して似顔絵パフォーマンスを行っているという認識を与えることはできない。しかも、文字パターンによって出力される似顔絵は、絵としての品質においても十分ではなかった。
【０００６】
本発明は、上記事情を考慮し、高いインタラクティブ性を与えることの可能な移動ロボットを用いて、実際に似顔絵を描いているという認識を観客に与えながら、品質の良い似顔絵を描くことのできる描画システムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
請求項１の発明は、作画しようとする対象物を撮影して画像データを得るカメラと、前記画像データを処理して作画データを作成する作画データ作成手段と、特定エリア内を移動し得ると共にアームの先端に設けた描画具を用いて描画媒体に対して描画する移動ロボットと、前記作画データに基づいて前記移動ロボットに描画を実行させるための描画動作データを作成する描画動作データ作成手段と、前記移動ロボットの移動を制御すると共に前記描画動作データに基づいてアームの先端の動作軌跡を制御することにより前記描画媒体に絵を描かせるロボット制御手段と、前記移動ロボットが描画を実行するための位置に移動したとき移動ロボットを前記描画媒体に対して位置決めする位置決め手段とを備え、前記位置決め手段が、前記移動ロボットの床面走行部に設けられた受座に対し床面から突出して係合する位置決めピンと、該位置決めピンを床面から突出させて受座に係合させることにより前記移動ロボットに位置決め目標位置への移動外力を与える位置決めピン昇降機構とを備えていることを特徴とする。
【０００８】
移動ロボットは、固定した産業用ロボットに比べて豊富なパフォーマンスを実行し得るものの、固定した描画媒体に対して描画を実行する場合には、描画媒体に対し適正な位置関係を保っておく必要がある。そこで、請求項１の発明では、移動ロボットが描画を実行するための位置に移動したとき移動ロボットを描画媒体に対して位置決めする位置決め手段を設けている。この位置決め手段を備えることによって、自由に動き回れる移動ロボットを用いながらも、精度の良い描画を行うことができる。更に、このシステムでは、床面から突出させた位置決めピンを移動ロボット側の受座に係合させることで、目標位置に対し偏差を持っている状態の移動ロボットを適正に位置決めすることができる。よって、簡単で確実な手段により高精度の位置決めが可能である。
【０００９】
請求項２の発明は、請求項１において、前記位置決めピンと受座の突当面が、両者を突き当てるに従って芯合わせ作用を発揮し移動ロボットに水平方向の移動力を与える円錐面で構成されていることを特徴とする。
【００１０】
この描画システムでは、円錐面同士の突き合わせによる芯合わせ作用によって移動ロボットの位置決めを行うので、確実で無理のない動作で位置決めを行うことができる。
【００１１】
請求項３の発明は、請求項１または請求項２において、前記移動ロボットの位置決め時に、（１）前記位置決めピンを床面から突出させて受座の突当面に接触させる第１の動作、（２）その状態で、位置決めピンで受座を突き上げて移動ロボットの床面に対する接触荷重を軽減しながら、移動ロボットを位置決め位置へ移動させる第２の動作、（３）移動ロボットを位置決め位置へ移動させた後に位置決めピンを下降させることで移動ロボットの床面に対する接触荷重を定常値に戻す第３の動作を順次連続して前記位置決めピン昇降機構に行わせる位置決めピン昇降制御手段を備えていることを特徴とする。
【００１２】
この描画システムでは、位置決めを行った後に、位置決めピンを下降させることによって移動ロボットを定常通りに床面に着地させるので、移動ロボット自身の発するブレーキ力によって、無理のない確実な姿勢で移動ロボットを適正位置に保持することができる。
【００１３】
請求項４の発明は、請求項１から請求項３のいずれかにおいて、前記描画媒体が、コンピュータのペンタブレット付きディスプレイであり、前記描画具としてのペンの移動軌跡に対応した線を画面上に表示するものであることを特徴とする。
【００１４】
このシステムでは、移動ロボットがペンタブレット付きディスプレイに似顔絵を描くので、観客はその場で似顔絵を描くパフォーマンスを楽しむことができるし、描いた似顔絵を操作パネル等に設けた他のディスプレイに同時に表示させることができる。
【００１５】
請求項５の発明は、請求項１から請求項４のいずれかにおいて、前記コンピュータが、ディスプレイ画面上に出来上がった似顔絵を、前記操作パネル上に装備されたプリンタに印字出力させることを特徴とする。
【００１６】
このシステムでは、出来上がった似顔絵を、操作パネル上に装備したプリンタに印字出力させるので、客がその場で出来上がった似顔絵を見て楽しむことができるし、それを持ち帰ることもできる。
【００１７】
請求項６の発明は、請求項１から請求項５のいずれかにおいて、前記カメラが移動ロボット上に装備されていることを特徴とする。
【００１８】
カメラはどの位置に設けてもよいが、請求項６の発明では、カメラを移動ロボット自身に搭載している。こうすることにより、移動ロボットが、作画しようとする対象物を自分で観察して描画するというパフォーマンスを示すことができる。また、対象物の近くにカメラが固定されないので、設備のシンプル化が図れる。
【００１９】
請求項７の発明は、請求項１から請求項６のいずれかにおいて、前記作画データ作成手段、描画動作データ作成手段、ロボット制御手段が、移動ロボット上に装備されていることを特徴とする。
【００２０】
このシステムでは、移動ロボットに制御系のほとんどを搭載したので、設備のシンプル化を図ることができる。なお、移動ロボットと固定側設備との通信は、無線ＬＡＮ等の無線通信手段を使用するのが望ましい。
【００２１】
請求項８の発明は、請求項１から請求項７のいずれかに記載の移動ロボットを用いた描画システムにおいて、赤外線受光ユニットと、該赤外線受光ユニットと連動した非常停止リレースイッチとを備え、前記赤外線受光ユニットを介して遠隔的に電源が遮断可能とされていることを特徴とする。
【００２２】
この発明においては、赤外線発光ユニットによってＯＦＦ信号を発することで、移動ロボットを遠隔的に停止させることができる。
【００３９】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
図１は実施形態の描画システムの概略構成図であり、（ａ）は全体図、（ｂ）は要部詳細図、図２は同システムの平面図である。
【００４０】
図において、１は展示エリア、２はそれに隣接した撮像ブースである。展示エリア１の床面３には、その上を自由に移動することのできるロボット（移動ロボット）５０が配備されている。また、展示エリア１内の所定箇所には、パーソナルコンピュータ（以下、略して「パソコン（ＰＣ）」という）４が設置されている。このパソコン４は、専用のペン５によって入力可能なペンタブレット付きの液晶ディスプレイ６を備えており、この液晶ディスプレイ６の画面が、ロボット５０が似顔絵を描画する対象の描画媒体となっている。そして、ペン５の移動軌跡に沿った線を画面上に表示することができるようになっている。
【００４１】
撮像ブース２には、お客（人物）Ｍが座る椅子７が設けられ、その背後には衝立８が設けられている。また、椅子７の前には操作パネル９が設けられている。操作パネル９の内部あるいは操作パネル９の上側には、椅子７に座ったお客Ｍの顔を正面から撮影するためのＣＣＤカメラ１０が設けられている。
【００４２】
また、このシステムには、作画データを作成するための似顔絵コントローラ１１と、ロボット５０を含めた全体を統括してコントロールする全体統括コントローラ１２とが備えられている。似顔絵コントローラ１１は、作画データ作成手段としての機能を発揮し、ＣＣＤカメラ１０によって取得した画像データを処理して似顔絵の線画データ（作画データ）を作成する。また、全体統括コントローラ１２は、描画動作データ作成手段としての機能を発揮し、似顔絵コントローラ１１から送られてくる線画データに基づいてロボット５０に似顔絵を描かせるための描画動作データを作成する。また、全体統括コントローラ１２は、ロボット制御手段としての機能を発揮し、ロボット５０の移動を含めた全体動作を制御すると共に、描画動作データに基づいてロボットアーム先端の動作軌跡を制御することにより、ペンタブレット付き液晶ディスプレイ４に似顔絵を描く。
【００４３】
前記パソコン４、コントローラ１１、１２、操作パネル９等は、システム全体の制御系に含まれており、その制御系内の各要素間では自由に信号の授受が行われる。また、全体統括コントローラ１２とロボット５０間では、無線通信手段（無線ＬＡＮ等）により信号の授受が自由に行われる。パソコン４のディスプレイ４上で作成された似顔絵データは、似顔絵コントローラ１１に送信され、操作パネル９上に装備されたプリンタにて印字出力される。操作パネル９には、図示しない液晶モニタ、プリンタ、操作ボタン、マイク等が装備されており、客Ｍは操作パネル９を介して、描画システムの制御系に動作指令を発して、似顔絵を描かせることができる。
【００４４】
この場合のロボット５０は、人体を模してデザインされており、展示エリア１内を移動するための車輪式の走行部５１を底部に持ち、その上に腰関節５２を介して胴体部５３、その上に首関節５４を介して頭部５５、胴体部５３の左右に多軸（６軸）式のアーム５６を有している。そして、お客Ｍに向けて人間の行動を真似た演技並びに発声をすることができるようになっている。更にアーム５６の先端には、例えば鉛筆、筆、液晶ディスプレイ６用のペン５等の似顔絵筆記具（描画具）を把持するためのハンド５７を備えている。また、腰部のサイドには筆記具収納ホルダ５８が設けられている。
【００４５】
また、このシステムは、ロボット５０が描画を実行するためにペンタブレット付き液晶ディスプレイ６の前の所定位置に移動したときに、ロボット５０を描画に適した最適位置に位置決めする位置決め装置（位置決め手段）３０を備えている。位置決め装置３０は、似顔絵パフォーマンスを行う際にロボット５０と液晶ディスプレイ６との相対的な位置決め再現性を確保するためのものであり、ロボット５０に外力を与えて機械的に位置決めする。
【００４６】
この位置決め装置３０は、ロボット５０の床面走行部５１に設けられた受座６１に対し床面３から突出して係合する２本の位置決めピン３１と、これら２本の位置決めピン３１を床面３から突出させて受座６１に係合させることにより、ロボット５０に位置決め目標位置への移動外力を与える位置決めピン昇降用の油圧シリンダ（位置決めピン昇降機構）３２とを主要構成要素とするものである。
【００４７】
図３に示すように、位置決めピン３１と受座６１の突当面３１ａ、６１ａは、両者を突き当てるに従って芯合わせ作用を発揮しロボット５０に水平方向の移動力を与える円錐面で構成されている。位置決め装置３０の主要部は、展示エリア１の床下空間３４に配置されている。油圧シリンダ３２は、ロッド３５を上向きにしてフロア床面３３に設置され、ロッド３５の先端に装着した位置決め治具３６に、２本の位置決めピン３１が垂直上向きに突設されている。そして、油圧シリンダ３２のロッド３５を伸縮することで、位置決めピン３１の先端を、展示エリア１の床面３より上側に突出させたり、床面３内に引っ込めたりすることができるようになっている。また、図４に示すように、この位置決め装置３０には、位置決めピン３１を精度良く鉛直方向に昇降させることができるようにするための直線ガイド３７が設けられている。
【００４８】
更に、この位置決め装置３０には、油圧シリンダ３２を駆動制御するための電磁弁３８を備えた油圧制御ユニット３９が備えられると共に、油圧シリンダ３２のロッド３５の伸縮上限位置（上死点）と下限位置（下死点）とそれらの中間位置とをそれぞれ検知する上死点リミットスイッチＵＬＳ、下死点リミットスイッチＬＬＳ、中間点検知スイッチＨＳとが設けられている。そして、位置決め装置３０の駆動系は、油圧シリンダ３２をアクチュエータとし、前記各スイッチＵＬＳ、ＬＬＳ、ＨＳの信号に応じて電磁弁３８を駆動して、ロッド３５の昇降状態を制御する油圧サーボ系で構成されている。
【００４９】
ここで油圧シリンダ３２は、ロボット５０を持ち上げられる推力（ロボット重量以上）を持っている。また、上死点は、ロボット５０が浮き上がる位置、下死点は、位置決めピン３１が床面３に完全に隠れる位置に設定されている。なお、中間状態を検知するスイッチＨＳは、固定側のホールＩＣと移動側（ロッド側）の磁石で構成されている。また、図４において、４１は油圧ポンプ、４２はタンク、４３はメインスイッチ、４４は油圧ホースを示す。
【００５０】
図５はロボット５０の走行部５１の構造を示している。走行部５１には、それぞれ独立して駆動し得る左右一対の駆動車輪６３と、倒れ防止のためにロボット５０の前後に配した方向転回自在な従動車輪６４とが設けられている。そして、走行部５１の底部の幅方向中央の前後位置に間隔をおいて２つの受座６１が設けられている。
【００５１】
また、図２に示すように、展示エリア１の床面３上には、ロボット５０の移動経路を形成する磁気テープ７１が貼り付けられている。ロボット５０には、この磁気テープ７１を検知する磁気センサ（図示略）が設けられており、磁気センサの信号に基づいて走行部５１を駆動制御することにより、ロボット５０を磁気テープ５０に沿って移動させることができる。
【００５２】
次に、お客の似顔絵を描く際の一連の動作について、図６のフローチャートを参照しながら説明する。
まず、お客（観客）が操作パネル９の呼び出しボタン（後述する）をＯＮすると動作がスタートし、ロボット５０がお客の前に移動する（ステップＳ１）。そして、ロボット５０がお客に向かって挨拶し（ステップＳ２）、ＣＣＤカメラ１０がお客の顔の画像データを取得する（ステップＳ３）。
【００５３】
次いで、似顔絵コントローラ１１が、ＣＣＤカメラ１０で取得した画像データに基づいて、目、鼻、口、眉毛等の顔部品の特徴抽出を行い、似顔絵を描く上で必要な線画データを作成し（ステップＳ４）、線画データを全体統括コントローラ１２に送信する（ステップＳ５）。全体統括コントローラ１２は、送られて来た線画データに基づいて、ロボットアーム先端軌跡データ（アーム関節角データ＝描画動作データ）を作成し（ステップＳ６）、ロボット５０を液晶ディスプレイ６の前の似顔絵描画位置に移動させる（ステップＳ７）。
【００５４】
次いで、液晶ディスプレイ６の前にてロボット５０が停止したら、停止確認の信号を位置決め装置３０の制御部（図示略）に送る。そうすると、位置決め装置３０が駆動されて、所定の動作によりロボット５０の位置決め（後で詳述する）が行われる（ステップＳ８）。位置決めが完了したら、全体統括コントローラ１２は、ロボット５０に関節角データを送信し（ステップＳ９）、ロボット５０が似顔絵を液晶ディスプレイ６に描画する（ステップＳ１０）。そして、似顔絵が完成したら、パソコン４が描画結果を似顔絵コントローラ１１に送信し（ステップＳ１１）、似顔絵コントローラ１１が、操作パネル９のプリンタに印字出力させる（ステップＳ１２）。あるいは、操作パネル９の液晶画面にモニタ出力させる。以上の動作が全部済んだら動作を終了する。
【００５５】
次に位置決め動作時の制御内容について説明する。
まず、位置決め装置３０の制御部（＝位置決めピン昇降制御手段：図示せず）は、ロボット５０の位置決め時に、（１）位置決めピン３１を床面３から突出させて受座６１の突当面に接触させる第１の動作、（２）その状態で、位置決めピン３１で受座６１を突き上げてロボット５０の床面３に対する接触荷重を軽減しながら、ロボット５０を位置決め位置へ移動させる第２の動作、（３）ロボット５０を位置決め位置へ移動させた後に位置決めピン３１を下降させることで、ロボット５０の床面３に対する接触荷重を定常値に戻す第３の動作、を順次連続して油圧シリンダ３２に行わせる。
【００５６】
より具体的に説明すると、まず、位置決めピン３１と受座６１による位置合わせが可能な許容範囲内にロボット５０が移動して来て停止し、その状態を確認する完全停止信号が、油圧シリンダ３２の制御部に送られて来たら、制御部は、油圧シリンダ３２のロッド３５が下死点位置にあることをチェックする。次いで、電磁弁３８の位置確認後、メインスイッチ４３をＯＮし、油圧ポンプ４１を起動して油圧を発生させる。次いで、電磁弁３８を切換操作することで、油圧シリンダ３２のロッド３５を上昇させて位置決めピン３１を受座６１に接触させる。
【００５７】
そのままの状態で上死点に向かってロッド３５を上昇させると、ロボット５０が徐々に持ち上げられ、走行部５１の車輪６３と床面３との接触荷重が軽減されて、車輪６３と床面３との摩擦力が低減し、ロボット５０が横滑り可能な状態となる。そして、更にロッド３５を上昇させることにより、位置決めピン３１の先端の円錐部が、受座６１の円錐凹部に嵌まり込むようにロボット５０が横滑りし、やがて位置決めピン３１に対しロボット５０が適正に位置決めされる。
【００５８】
上死点に到達したことがリミットスイッチＵＬＳの信号により確認されたら、電磁弁３８を切換操作して、油圧シリンダ３２を停止し、ロボット５０の走行部５１のモータブレーキをＯＮする。次いで、電磁弁３８を切換操作して油圧シリンダ３２のロッド３５を下降させ、ロッド３５が中間状態に達したら、電磁弁３８を切換操作して油圧シリンダ３２を停止させ、その状態を維持する。
【００５９】
中間状態の確認は、中間点検知スイッチＨＳの信号に基づいて行う。中間状態では、位置決めピン３１の先端が受座６１の凹部に挿入されているが、接触しない状態となっている。このように位置決めピン３１を中間状態となるまで下降させることにより、ロボット５０は、位置決めピン３１によって持ち上げられた状態から下降し、走行部５１の車輪６３と床面３とが通常の接触状態に戻る。つまり、車輪６３にブレーキがかかっていれば、車輪６３と床面３との摩擦により、ロボット５０は定位置に保持される。なお、中間状態では位置決めピン３１の先端が受座６１に収まった状態にあるので、ロボット５０の動きが拘束される。
【００６０】
この状態で、似顔絵パフォーマンスを開始する。その間、ロボット５０は液晶ディスプレイ６に対して適正な位置関係に保持される。そして、似顔絵パフォーマンスが終了したら、電磁弁３８を切り換えて油圧シリンダ３２のロッド３５を下降させ、ロッド３５が下死点に到達したことをリミットスイッチＬＬＳの信号で確認したら、位置決め装置３０のメインスイッチ４３をＯＦＦして、ロボット５のブレーキを解除する。そうすることで、受座６１から位置決めピン３１が完全に抜けて、ロボット５０が自由に移動できる状態となる。
【００６１】
このように位置決め装置３０を設けたことで、ロボット５０は適正な位置でペンタブレット付き液晶ディスプレイ６に対し似顔絵を描画することができる。
【００６２】
なお、上記の実施形態では、ＣＣＤカメラ１０をロボット５０とは別に固定的に設けていたが、図７の実施形態に示すように、ロボット５０の例えば頭部５５に搭載してもよい。その場合、ＣＣＤカメラ１０で取得した顔画像は、ＬＡＮあるいは無線ＬＡＮ等の通信手段で似顔絵コントローラ１１に送信すればよい。また、似顔絵コントローラ１１や全体統括コントローラ１２の小型化が実現できれば、図８の実施形態に示すように、それらをロボット５０に搭載させてもよい。その場合、操作パネル９との通信を無線で行えばよい。
【００６３】
また、上記の実施形態では、ロボット５０に機械的な外力を及ぼすことで位置決めする場合を示したが、ロボット５０自体に精度の良い例えば光学センサを取り付けておき、ロボット自身の位置を精度良く認識できるようにすれば、位置決め目標値にマークを付けておくだけで、似顔絵描画位置に適正にロボットを自力で位置決めすることができる。
【００６４】
また、上記の説明では、液晶ディスプレイ６を描画媒体として似顔絵を描く場合を示したが、紙等を描画媒体として筆等で描くようにしてもよい。また、上記の説明では、似顔絵を描く場合を例に出したが、似顔絵以外の絵を描く場合にも本発明は適用できる。
【００６５】
次に似顔絵パフォーマンスの実例について説明する。
ここでは、ロボットの名前は「神ちゃん」としてある。また、以下の説明において、各カッコは、
・＜＞…ロボットの動作
・『』…ロボットの会話
・「」…液晶モニタの表示
を示している。図９は最初の場面を示すイメージ図である。図において、９は操作パネルで、操作パネル９には、お呼び出しボタン９１、マイクボタン９２、液晶モニタ９３、マイク９４、カメラ９５、モニタ９６等が設けられている。
【００６６】
（１）ロボットが待機している状態では、ロボットの動作及び液晶モニタ表示は次のようになる。
・ロボットの動作…＜基本姿勢（肘を若干曲げて腕を下げた姿勢）で待機＞
・液晶モニタ表示…「ボタンを押して呼んでね」
【００６７】
（２）その状態で、お客が呼び出しボタンを押す。
（３）そうすると、ロボットが移動する。そのときの挙動は次のようになる。
・図９参照
・ロボットの動作…＜似顔絵ブースの前へ移動＞
・ロボットの動作…＜お客の前で左腕を振りながら発声＞
・ロボットの会話…『ハーイ。お待たせ。』
【００６８】
（４）その後、ロボットの挙動は次のようになる。
・ロボットの動作…＜左腕を下げて基本姿勢に戻る＞
（５）ロボットが挨拶する。
（６）そのままマイクからの音声入力を待ち、入力があったら発声する。
・図１１参照
・ロボットの会話…『科学館に来てくれてどうもありがとう。』
・ロボットの動作…＜腰を曲げてお辞儀＞
【００７０】
（７）次に注意を促す。
・図１２参照
・ロボットの会話…『これから似顔絵を描くので、椅子に座ってね。』
・ロボットの動作…＜右腕を前に伸ばして示す＞
・ロボットの会話…『手前のモニタを見ててね。』
【００７１】
（８）そして撮影の準備をする。
・図１３参照
・ロボットの会話…『準備ＯＫ。』
・ロボットの動作…＜首をかしげる＞
・ロボットの会話…『シャッターを切るまで、じっとしててね。』
・＜首を前後に振り、左腕を肘上に立てて説得風の動きをする＞
【００７２】
（９）その状態で撮影する。
・ロボットの会話…『それじゃ、正面向いて、ハーイ。』
・ロボットの動作…お客の目線を挙げるため＜左腕を振る＞
・カメラのシャッターを切る
【００７３】
（１０）次いで画像確認する。
・図１４参照
・ロボットの会話…『うまく撮れてる？』
・ロボットの動作…＜両腕を前に出して振る＞
・液晶モニタに画像処理した線画を表示。
【００７４】
（１１）更に画像確認する。
・ロボットの会話…『良ければ右の緑のボタンを押してね。』
『撮り直しは、左の赤いボタンを押してね。』
【００７５】
（１２）確認したら似顔絵を描く位置へ移動する。
（１３）似顔絵描画の準備をする。
・図１５参照
・ロボットの動作…＜右腕をキャンバスに近づけて左右に振る＞
・ロボットの会話…『どこに描こうかな？』
・似顔絵データの無線ＬＡＮ伝送。
・ロボットの会話…『ヨシ。この辺だ。』
【００７７】
（１４）似顔絵描画の準備をする。
・ロボットの動作…＜右腕でペンホルダからペンを把持して取り出す＞
・ロボットの会話…『準備ＯＫ。これから描くよ。』
【００７８】
（１５）似顔絵描画を実行する。
（１６）描画が完了する。
（１７）似顔絵ブースのプリンタから似顔絵が出力される。
（１８）ロボットが移動する。
・ロボットの動作…＜回転して似顔絵ブースへ移動＞
【００８１】
（１９）客の反応を伺う。
・ロボットの会話…『どう。似てるかな？』
『気に入ったらお返事してね。』
【００８２】
（２０）お客の音声入力がある。
（２１）ロボットが返事をする。
・ロボットの会話…『どういたしまして。』
【００８３】
（２２）ロボットが挨拶する。
・ロボットの会話…『今日はどうもありがとう。』
・ロボットの動作…＜腰曲げお辞儀＞
・ロボットの会話…『それじゃ、またね。』
・ロボットの動作…＜左腕肘を曲げて前に出し、左手でバイバイ＞
【００８４】
（２３）ロボットが似顔絵ブース正面へ戻る。
（２４）ロボットが待機する。
・ロボットの会話…『次は誰かな？』
・液晶モニタ表示…「ボタンを押して呼んでね」
【００８５】
なお、上記実施形態は、以下の変形を施してもよい。
図１７の変形例においては、音声認識コントローラ１０１、サウンドボード１０２を備えた音声認識システム１０３が追加されている。音声認識コントローラ１０１では、お客の音声を操作パネル９に設置したマイク１０４により取得する。マイク音声はサウンドボード１０２に入力され、音声認識コントローラ１０１では、この音声を認識することで所定の会話アルゴリズムにしたがって音声データを生成し、これをサウンドボード１０２へ出力する。
サウンドボード１０２では、当該音声データをFMトランスミッタ１０５を介してロボット本体に内蔵したFMラジオ１０６に出力し、あたかもロボットが発話をしているようにする。
これにより、所定のシナリオにしたがって、観客とのアトラクティブなインタラクションを図りながら似顔絵描画パフォーマンスを進行できる。
なお、音声認識システム１０３、FMトランスミッタ１０５はロボット本体に内蔵してもよい。
【００８６】
図１８の変形例では、全体統括コントローラ１２に、ジャンケンなどの動作が行えるようなアーム関節、腰関節に関する振り付けデータを記憶する振り付けデータ格納手段１１０を設け、前記のシナリオの中で観客とのインタラクションを図りながら全体統括コントローラ１２がロボットにジャンケン動作をさせるようにする。
さらに、図１７の変形例と組み合わせることによって、本描画システムを構成するロボットが「ジャンケンポン」と発話すると、これに合せて観客が操作パネル９に設けられた「グー」、「チョキ」、「パー」のいずれかのボタンを押すようにし、一方で、ロボットは「グー」「チョキ」「パー」のいずれかの姿勢をとるようにする。この操作パネル９における押しボタン信号をロボット動作への司令と比較することで勝敗を判定できる。この勝敗に応じて全体統括コントローラ１２が異なるアクションをロボットにさせることにより、インタラクティブでアクティブなパフォーマンスを実現できる。
【００８７】
図１９の変形例では、赤外線受光ユニット１２０が追加されている。赤外線受光ユニット１２０はロボット本体の非常停止リレースイッチ（不図示）に連動している。赤外線発光ユニット１２１を用いてON/OFF信号を赤外線受光ユニット１２０に送信することにより、遠隔的にロボットの停止動作を可能とする。
【００８８】
【発明の効果】
以上説明したように、請求項１の発明によれば、移動ロボットを用いて描画するので、豊富なパフォーマンスを実行することができる。また、移動ロボットが描画を実行するための位置に移動したとき移動ロボットを描画媒体に対して位置決めする位置決め手段を設けているので、自由に動き回れる移動ロボットを用いながらも、精度の良い高品質の描画を行うことができる。更に、簡単で確実な手段により高精度の位置決めが可能である。
【００８９】
請求項２の発明によれば、円錐面同士の突き合わせによる芯合わせ作用によって移動ロボットの位置決めを行うので、確実で無理のない位置決めを行うことができる。
【００９０】
請求項３の発明によれば、移動ロボット自身の発するブレーキ力によって、無理のない確実な姿勢で移動ロボットを適正位置に保持することができる。
【００９１】
請求項４の発明によれば、移動ロボットがペンタブレット付きディスプレイに似顔絵を描くので、観客はその場で似顔絵を描くパフォーマンスを楽しむことができる。また、描いた似顔絵を操作パネル等に設けた他のディスプレイに同時に表示させることができる。
【００９２】
請求項５の発明によれば、出来上がった似顔絵をプリンタに印字出力させるので、客がその場で出来上がった似顔絵を見て楽しむことができる。
【００９３】
請求項６の発明によれば、カメラを移動ロボット自身に搭載したので、移動ロボットが、作画しようとする対象物を自分で観察して描画するというパフォーマンスを示すことができる。
【００９４】
請求項７の発明によれば、移動ロボットに制御系のほとんどを搭載してあるから、設備のシンプル化を図ることができる。
【００９５】
請求項８の発明によれば、遠隔的にロボットの停止動作を可能とすることができる。
【図面の簡単な説明】
【図１】 本発明の実施形態の描画システムの概略構成図であり、（ａ）は全体構成図、（ｂ）は要部構成図である。
【図２】 同描画システムの概略平面図である。
【図３】 同描画システムの位置決め機構を構成する位置決めピンの先端と受座の関係を示す拡大図である。
【図４】 前記位置決め機構の駆動系の構成図である。
【図５】 前記描画システムの移動ロボットの走行部の構成図で、（ａ）は平面図、（ｂ）は側面図である。
【図６】 前記描画システムの動作フローの概略を示すフローチャートである。
【図７】 本発明の他の実施形態の描画システムの概略構成図である。
【図８】 本発明の更に他の実施形態の描画システムの概略構成図である。
【図９】 本発明の描画システムによる似顔絵パフォーマンスの内容説明のために示す場面イメージ図である。
【図１０】 図９の次の場面イメージ図である。
【図１１】 図１０の次の場面イメージ図である。
【図１２】 図１１の次の場面イメージ図である。
【図１３】 図１２の次の場面イメージ図である。
【図１４】 図１３の次の場面イメージ図である。
【図１５】 図１４の次の場面イメージ図である。
【図１６】 図１５の次の場面イメージ図である。
【図１７】 変形例として示した描画システムの概略構成図である。
【図１８】 他の変形例として示した描画システムの概略構成図である。
【図１９】 更に他の変形例として示した描画システムの概略構成図である。
【符号の説明】
Ｍ お客（対象物）
１ 展示エリア
２ 撮像ブース（似顔絵ブース）
３ 床面
５ ペン（描画具）
６ ペンタブレット付き液晶ディスプレイ（描画媒体）
９ 操作パネル
１０ ＣＣＤカメラ
１１ 似顔絵コントローラ（作画データ作成手段）
１２ 全体統括コントローラ（描画動作データ作成手段、ロボット制御手段）
３０ 位置決め装置
３１ 位置決めピン
３１ａ 突当面
３２ 油圧シリンダ（位置決めピン昇降機構）
５０ ロボット
５１ 走行部
５６ アーム
６１ 受座
６１ａ 突当面
Claims (8)
- 作画しようとする対象物を撮影して画像データを得るカメラと、
前記画像データを処理して作画データを作成する作画データ作成手段と、
特定エリア内を移動し得ると共にアームの先端に設けた描画具を用いて描画媒体に対して描画する移動ロボットと、
前記作画データに基づいて前記移動ロボットに描画を実行させるための描画動作データを作成する描画動作データ作成手段と、
前記移動ロボットの移動を制御すると共に前記描画動作データに基づいてアームの先端の動作軌跡を制御することにより前記描画媒体に絵を描かせるロボット制御手段と、
前記移動ロボットが描画を実行するための位置に移動したとき移動ロボットを前記描画媒体に対して位置決めする位置決め手段と
を備え、
前記位置決め手段が、前記移動ロボットの床面走行部に設けられた受座に対し床面から突出して係合する位置決めピンと、
該位置決めピンを床面から突出させて受座に係合させることにより前記移動ロボットに位置決め目標位置への移動外力を与える位置決めピン昇降機構と
を備えていることを特徴とする移動ロボットを用いた描画システム。 - 前記位置決めピンと受座の突当面が、両者を突き当てるに従って芯合わせ作用を発揮し、移動ロボットに水平方向の移動力を与える円錐面で構成されていることを特徴とする請求項１に記載の移動ロボットを用いた描画システム。
- 前記移動ロボットの位置決め時に、
（１）前記位置決めピンを床面から突出させて受座の突当面に接触させる第１の動作、
（２）その状態で、位置決めピンで受座を突き上げて移動ロボットの床面に対する接触荷重を軽減しながら、移動ロボットを位置決め位置へ移動させる第２の動作、
（３）移動ロボットを位置決め位置へ移動させた後に位置決めピンを下降させることで移動ロボットの床面に対する接触荷重を定常値に戻す第３の動作
を順次連続して前記位置決めピン昇降機構に行わせる位置決めピン昇降制御手段を備えていることを特徴とする請求項１または請求項２に記載の移動ロボットを用いた描画システム。 - 前記描画媒体が、コンピュータのペンタブレット付きディスプレイであって、前記描画具としてのペンの移動軌跡に対応した線を画面上に表示するものであることを特徴とする請求項１から請求項３のいずれかに記載の移動ロボットを用いた描画システム。
- 前記コンピュータが、ディスプレイ画面上に出来上がった似顔絵を、前記操作パネル上に装備されたプリンタに印字出力させることを特徴とする請求項１から請求項４のいずれかに記載の移動ロボットを用いた描画システム。
- 前記カメラが前記移動ロボット上に装備されていることを特徴とする請求項１から請求項５のいずれかに記載の移動ロボットを用いた描画システム。
- 前記作画データ作成手段、描画動作データ作成手段、及びロボット制御手段が、前記移動ロボット上に装備されていることを特徴とする請求項１から請求項６のいずれかに記載の移動ロボットを用いた描画システム。
- 赤外線受光ユニットと、該赤外線受光ユニットと連動した非常停止リレースイッチとを備え、前記赤外線受光ユニットを介して遠隔的に電源が遮断可能とされていることを特徴とする請求項１から請求項７のいずれかに記載の移動ロボットを用いた描画システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002079710A JP3848890B2 (ja) | 2002-03-20 | 2002-03-20 | 移動ロボットを用いた描画システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002079710A JP3848890B2 (ja) | 2002-03-20 | 2002-03-20 | 移動ロボットを用いた描画システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003275473A JP2003275473A (ja) | 2003-09-30 |
| JP3848890B2 true JP3848890B2 (ja) | 2006-11-22 |
Family
ID=29206305
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002079710A Expired - Fee Related JP3848890B2 (ja) | 2002-03-20 | 2002-03-20 | 移動ロボットを用いた描画システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3848890B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102004051224A1 (de) * | 2004-10-20 | 2006-05-04 | Matthias Gommel | Verfahren und Anordnung |
| JP2007015037A (ja) | 2005-07-05 | 2007-01-25 | Sony Corp | ロボットのモーション編集装置及びモーション編集方法、コンピュータ・プログラム、並びにロボット装置 |
| JP5452887B2 (ja) * | 2008-05-26 | 2014-03-26 | 株式会社タイトー | ゲーム装置、ペン入力デバイス |
| JP2010114812A (ja) * | 2008-11-10 | 2010-05-20 | Nec Mobiling Ltd | 情報交換システム、情報交換方法および情報交換プログラム |
| CN101905618B (zh) * | 2010-06-11 | 2012-05-23 | 东华大学 | 一种基于机器视觉的平面雕刻非对称5dof混联机器人 |
| CN102335510B (zh) * | 2010-07-16 | 2013-10-16 | 华宝通讯股份有限公司 | 人机互动*** |
| JP2017204231A (ja) * | 2016-05-13 | 2017-11-16 | 富士通株式会社 | 情報処理装置、情報処理方法、および情報処理プログラム |
| JP2019057256A (ja) * | 2017-09-19 | 2019-04-11 | 鉄男 菊池 | 多機能郵便ポストロボット |
| CN108437689A (zh) * | 2018-05-16 | 2018-08-24 | 广东智媒云图科技股份有限公司 | 智能绘画装置 |
| CN111185903B (zh) * | 2020-01-08 | 2022-05-13 | 杭州未名信科科技有限公司 | 控制机械臂绘制人像画的方法、装置及机器人*** |
| CN114283809A (zh) * | 2022-01-26 | 2022-04-05 | 桂林电子科技大学 | 基于智能音箱语音交互的绘画机器人、控制***及方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001142862A (ja) * | 1999-11-12 | 2001-05-25 | Sony Corp | 情報通信ロボット装置、情報通信方法および情報通信ロボットシステム |
-
2002
- 2002-03-20 JP JP2002079710A patent/JP3848890B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003275473A (ja) | 2003-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3848890B2 (ja) | 移動ロボットを用いた描画システム | |
| KR20090046703A (ko) | 로봇 | |
| JP4512830B2 (ja) | コミュニケーションロボット | |
| CN107891425B (zh) | 智能双臂安全协作人机共融型机器人***的控制方法 | |
| US8698965B2 (en) | Robot | |
| JP2009241166A (ja) | ロボット遠隔操作システム | |
| JP2007301071A (ja) | 歩行介助装置 | |
| JP2006272471A (ja) | コミュニケーションロボット | |
| WO2017187620A1 (ja) | ロボット | |
| KR200435980Y1 (ko) | 지능형 안내로봇 시스템 | |
| KR20190136962A (ko) | 역각 시각화 장치, 로봇 및 역각 시각화 프로그램 | |
| CN108000533A (zh) | 一种讲解机器人 | |
| Li et al. | An egocentric computer vision based co-robot wheelchair | |
| Nguyen et al. | Bio-inspired assistive robotics: Service dogs as a model for human-robot interaction and mobile manipulation | |
| CN215284187U (zh) | 一种多功能绘画机器人 | |
| JP4489755B2 (ja) | 脚付き形象物の運動制御方法 | |
| JP2002361585A (ja) | コミュニケーションロボット | |
| JP2008295651A (ja) | 将棋対局ロボット | |
| CN205325698U (zh) | 一种基于安卓***的智能迎宾机器人 | |
| JP2006263858A (ja) | コミュニケーションロボット | |
| CN114668508A (zh) | 一种小型化远程手术机器人的从手运输车 | |
| JP2006187825A (ja) | ロボット装置およびその制御方法 | |
| JP2002361584A (ja) | コミュニケーションロボット | |
| JP2004227276A (ja) | 人間のコミュニケーション行動記録システムおよび方法 | |
| JP4517085B2 (ja) | ロボット遠隔制御システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040610 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060516 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060703 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060801 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060828 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3848890 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090901 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100901 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110901 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110901 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120901 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120901 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130901 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |