JP7503741B2

JP7503741B2 - Smart Pendant

Info

Publication number: JP7503741B2
Application number: JP2020037278A
Authority: JP
Inventors: 博幸田中
Original assignee: Individual
Current assignee: Individual
Priority date: 2020-02-15
Filing date: 2020-02-15
Publication date: 2024-06-21
Anticipated expiration: 2040-02-15
Also published as: JP2021126759A

Description

本発明は、ロボットシステムを構成する一つであり、ロボットを教示するための装置であるスマートペンダントに関する。The present invention relates to a smart pendant, which is one component of a robot system and is a device for teaching a robot.

ロボットないしロボットアームの動作の教示をシステムに登録する方法としては直接教示と間接教示がある。ロボットの教示には通常ペンダントと称する入力表示装置が使われる。ペンダントは、ロボットのティーチング用の画像やロボットの動作状態を示す画像を表示する表示部と、ロボットの手動操作や各種入力操作を行う操作キーとを備え、作業者が携帯して操作することができる。
ペンダントによる直接教示と間接教示、およびペンダントの従来技術は、例えば下記の特許文献１に開示されている。また直接教示と関節教示の問題点についても特許文献１に開示されている。なお、この特許文献には間接教示という用語は出てこない。しかし直接教示でないものは間接教示であり、この特許文献ではテキストベースという用語が使われている。 There are two methods for registering instructions for the operation of a robot or a robot arm in a system: direct teaching and indirect teaching. An input display device called a pendant is usually used for teaching a robot. The pendant is equipped with a display unit that displays images for teaching the robot and images showing the robot's operating state, as well as operation keys for manually operating the robot and performing various input operations, and can be carried and operated by the worker.
Direct teaching and indirect teaching by a pendant, and prior art of the pendant, are disclosed, for example, in the following Patent Document 1. Problems with direct teaching and indirect teaching are also disclosed in Patent Document 1. The term "indirect teaching" does not appear in this Patent Document. However, what is not direct teaching is indirect teaching, and the term "text-based" is used in this Patent Document.

特開２０１７－２２７８６４号公報JP 2017-227864 A

直接教示は、ロボットのアームの先端部や関節部に力センサやトルクセンサなどを取り付け、作業者がアームを直接的に動かす教示方法である。なおモータもセンサのうちに含むものとする。アームに設けてあるモータのモータ電流から関節部のトルクを推定することができるのでモータもセンサとして使うことができる。ただしモータ電流のみもしくは主としてモータ電流によって、教示を実行するには相当の技量が必要である。
一方間接教示には、いわゆるオンラインとオフラインがある。工場の生産現場で多用されてきたのがオンライン教示である。ペンダントに教示データ（教示プログラム）を作業者が入力する方法である。その教示データないし教示プログラムが優れたものであれば信頼性が高い教示方法である。しかし優れた教示データを作るのは簡単ではない。一般に作成容易でない教示プログラムをいかに簡単に作れるようにするか補助するシステムを提供するのがペンダントメーカの腕の見せ所であり、ペンダントユーザである現場の対応力、技術力でもある。
さらにもう一方のオフライン教示は、ロボットの動作環境の変化に強い、実機を止めずに教示ができるという利点はあるものの、オフライン教示用のプログラムの開発が困難という問題点がある。またオフライン教示は、ペンンダントではなくパソコンを使うことが一般的である。ロボットのペンダントにおいては、作業者が携帯して操作する性質上、ペンダントの表示領域（画面）に充分なエリアを確保できないことが普通である。このため、オフライン教示をペンダント上で行うのは容易ではない。ペンダント上でオフライン教示を行わないとするなら、現場で教示のたびごとにパソコンを用意しなければならないので手間である。パソコンを用意してもオンライン教示よりすぐれた教示ができるとは限らない。つまりパソコンを用意する手間が報われるかどうか定かでない。ペンダント上でオフライン教示をしようとするならオンライン教示以上にプログラムの開発が困難である。
本発明は、従来の教示方法のこうした実情に鑑みてなされたものであり、画面の大きさに制約があるペンダントにおいて、作業者の熟練度に左右されにくく、教示作業の操作性を向上させることができる賢いペンダントすなわちスマートペンダントの提供を目的とする。 Direct teaching is a teaching method in which a force sensor or torque sensor is attached to the tip of the robot's arm or to the joint, and the operator moves the arm directly. Motors are also considered to be part of the sensor. The torque of the joint can be estimated from the motor current of the motor attached to the arm, so the motor can also be used as a sensor. However, considerable skill is required to execute teaching solely or mainly using the motor current.
On the other hand, there are two types of indirect teaching: online and offline. Online teaching has been widely used in factory production sites. It is a method in which the worker inputs teaching data (teaching program) into the pendant. If the teaching data or teaching program is of high quality, it is a highly reliable teaching method. However, creating good teaching data is not easy. Providing a system that assists in how to easily create teaching programs, which are generally not easy to create, is where the skill of the pendant manufacturer can be shown, and also where the responsiveness and technical capabilities of the pendant users on-site are shown.
On the other hand, offline teaching has the advantage that it is resistant to changes in the robot's operating environment and teaching can be done without stopping the actual machine, but it has the problem that it is difficult to develop a program for offline teaching. Also, offline teaching is generally done using a personal computer rather than a pendant. Since robot pendants are carried and operated by the worker, it is common that the display area (screen) of the pendant does not have a sufficient area. For this reason, it is not easy to do offline teaching on a pendant. If offline teaching is not done on a pendant, it is necessary to prepare a personal computer every time teaching is done on site, which is a hassle. Even if a personal computer is prepared, it is not necessarily possible to provide better teaching than online teaching. In other words, it is not certain whether the effort of preparing a personal computer is worth it. If you try to do offline teaching on a pendant, it is more difficult to develop a program than online teaching.
The present invention has been made in consideration of the current state of conventional teaching methods, and aims to provide a clever pendant, or smart pendant, which is less dependent on the skill level of the operator and can improve the operability of teaching work in a pendant where the size of the screen is limited.

本発明に係るスマートペンダントは以下のような構成である。
請求項１の発明は、ロボットを教示する携帯して操作可能な装置において、入力手段と表示部を備え、ＡＩによる制御を実施するための情報を受信するセンサ入力部と、前記センサ入力部からのデータを参照してＡＩによるロボットの教示を実行するＡＩ制御部を備えてなる。 The smart pendant according to the present invention has the following configuration.
The invention of claim 1 is a portable and operable device for teaching a robot, comprising an input means and a display unit, a sensor input unit that receives information for implementing control by AI, and an AI control unit that refers to data from the sensor input unit and performs teaching of the robot by AI.

請求項１の発明は、スマートペンダントにおいて、ＡＩ制御によらないロボットの教示を実施するための非ＡＩ制御部を有する。 The invention of claim 1 has a non-AI control unit in a smart pendant for teaching a robot without AI control.

請求項１の発明は、スマートペンダントにおいて、ＡＩによるロボット教示実行の適否を判断し、前記ＡＩ制御部と前記非ＡＩ制御部の動作を管轄するＡＩ制御実施判断部を設けたものである。 The invention of claim 1 is a smart pendant provided with an AI control implementation judgment unit that judges whether or not robot teaching by AI is appropriate and manages the operation of the AI control unit and the non-AI control unit.

請求項２の発明は、請求項１のスマートペンダントにおいて、ＡＩによる教示とＡＩによらない教示の組み合わせ方を学習していく手段を前記ＡＩ制御実施判断部に設けたこと特徴とする。 The invention of claim 2 is characterized in that in the smart pendant of claim 1 , the AI control implementation judgment unit is provided with a means for learning how to combine AI teaching and non-AI teaching.

ロボットのペンダントにおいてＡＩによる教示を行うことによって、ペンダントを操作する作業者の操作性と生産性を向上させることができる。またＡＩによる教示を行わないことによってペンダントの操作性と生産性が低下することを防止することもできる。さらにまたＡＩ制御と非ＡＩ制御を組み合わせてロボットを操作することが可能なので、熟練者であってもそうでなくてもスマートペンダントによってロボットの操作を従来よりも適切に行うことが可能となる。By teaching the robot pendant using AI, the operability and productivity of the worker who operates the pendant can be improved. Also, by not teaching using AI, it is possible to prevent the operability and productivity of the pendant from decreasing. Furthermore, since it is possible to operate the robot by combining AI control and non-AI control, the smart pendant allows both skilled and unskilled workers to operate the robot more appropriately than before.

本発明の第１実施形態を示すブロック図FIG. 1 is a block diagram showing a first embodiment of the present invention; 本発明の第２実施形態を示すブロック図A block diagram showing a second embodiment of the present invention. 本発明の第３実施形態を示すブロック図A block diagram showing a third embodiment of the present invention. 本発明に係るＡＩ制御の一実施形態を示すブロック図A block diagram showing an embodiment of AI control according to the present invention.

図面を参照して本発明の実施形態を実施例１から同４まで以下に説明する。なお以下の実施例ではスマートペンダントのことをペンダントと称する。In the following, embodiments of the present invention will be described with reference to the drawings, from Examples 1 to 4. In the following examples, the smart pendant will be referred to as a pendant.

図１は、本発明の第１実施形態を示すブロック図である。ロボットシステムの主要構成要素はロボット９とペンダント１である。図示しないけれどロボットは駆動機構すなわちアームを持っている。ロボットのいわゆるシステムコントローラは図示していないけれどシステムのどこに設けてもよい。本発明の実施により好都合なのはペンダント１の制御部６に内蔵させる方式である。
本発明ではセンサ入力部４が必要となる。そのセンサ入力部と電気的に接続するセンサは単数でも複数でもよい。図１ではカメラ１０ａをセンサに用いる場合を示している。センサを設ける部位は、自由である。ロボットに内蔵させてもよいし、ペンダントに内蔵させてもよいし、図１のようにペンダント１やロボット９の外部に独立的に設けてもよい。
ペンダント１は、入力機能（入力手段）と出力機能（表示手段）を備える持ち運び可能な端末装置ないし操作装置である。いわゆる教示ができることが必須要件である。ペンダント１には表示部２と入力部３を具備させる。入力部３は入力手段であれば何でもよい。例えばマウスでもよいのではあるがペンダントに実装が容易なキーパッドを通常用いる。入力部３はペンダント１ないし制御部６に信号を出力する。
なお本発明ではタブレット型の端末もペンダント１の一種とみなすものとする。つまり表示部２をタッチパネルに成して入力キー（入力部３）は表示部２に設けてもよい。一般的にノート型のパソコンはペンダントではない。しかしながら作業者が携帯した状態で操作可能な端末は、本発明でいうところのペンダントである。たとえばノートパソコンにストラップを付ければペンダントである。また、ノートパソコンをショルダーバッグのような鞄に入れて操作するのであれば、それはペンダントである。
本発明の重要な特徴的構成要素はセンサ入力部４とそれに続くＡＩ制御部５である。ＡＩ制御部５は、人工知能（ＡＩ）によるロボット操作やロボット教示をするためのハードウエアまたはソフトウエアのモジュールである。ＡＩのアルゴリズムには種々のものが知られている。本発明では、そのどれを用いてもよい。センサからの情報を参照してアクチュエータ（アーム）を知能的に動かそうとするアルゴリズムや手法なら何でもよい。しかしながら特に推奨できるのは深層学習（ディープラーニング）、サブサンプション・アーキテクチャ（包摂アーキテクチャ）などである。
ＡＩ制御部５は、ペンダント１内のどこに設けてもよい。一般的には制御部５内に設けるか制御部５と通信可能に接続して設ける。
ペンダント１にセンサ入力部６とＡＩ制御部５を設けたことにより、持ち運び可能な端末であるペンダン１を使用してＡＩ制御によるロボットへの教示が可能となる。
本発明のＡＩ制御の実施の一形態は、作業者がロボット９のアームの先端部を動かして直接教示することで得られるデータをプログラム化してＡＩ制御部５に蓄積するなどである。モータ電流からトルクを推定するアルゴリズムやモジュールをＡＩ化することも推奨できる。 Fig. 1 is a block diagram showing a first embodiment of the present invention. The main components of the robot system are a robot 9 and a pendant 1. Although not shown, the robot has a drive mechanism, i.e., an arm. Although not shown, a so-called system controller for the robot may be provided anywhere in the system. A more convenient method for implementing the present invention is to have it built into the control unit 6 of the pendant 1.
In the present invention, a sensor input unit 4 is required. The sensor input unit may be electrically connected to a single sensor or multiple sensors. Fig. 1 shows a case where a camera 10a is used as the sensor. The location where the sensor is provided is free. The sensor may be built into the robot, the pendant, or it may be provided independently outside the pendant 1 or robot 9 as shown in Fig. 1.
The pendant 1 is a portable terminal device or operating device equipped with an input function (input means) and an output function (display means). The essential requirement is that it is capable of so-called teaching. The pendant 1 is equipped with a display unit 2 and an input unit 3. The input unit 3 may be any input means. For example, a mouse may be used, but a keypad is usually used since it is easy to implement on the pendant. The input unit 3 outputs signals to the pendant 1 or the control unit 6.
In the present invention, a tablet-type terminal is also considered to be a type of pendant 1. In other words, the display unit 2 may be a touch panel and the input keys (input unit 3) may be provided on the display unit 2. Generally, a notebook computer is not a pendant. However, a terminal that can be operated while being carried by a worker is a pendant as defined by the present invention. For example, a notebook computer with a strap attached is a pendant. Also, if a notebook computer is placed in a bag such as a shoulder bag and operated, it is a pendant.
The important characteristic components of the present invention are the sensor input unit 4 and the subsequent AI control unit 5. The AI control unit 5 is a hardware or software module for operating and teaching a robot using artificial intelligence (AI). Various AI algorithms are known. Any of them may be used in the present invention. Any algorithm or method that refers to information from a sensor and attempts to intelligently move an actuator (arm) is acceptable. However, deep learning, subsumption architecture, etc. are particularly recommended.
The AI control unit 5 may be provided anywhere in the pendant 1. In general, it is provided within the control unit 5 or is connected to the control unit 5 so as to be able to communicate with it.
By providing the pendant 1 with a sensor input unit 6 and an AI control unit 5, it becomes possible to teach a robot through AI control using the pendant 1, which is a portable terminal.
In one embodiment of the AI control of the present invention, an operator directly teaches the robot 9 by moving the tip of the arm of the robot 9, and the data obtained is converted into a program and stored in the AI control unit 5. It is also recommended to use AI for algorithms and modules that estimate torque from motor current.

図２は、本発明の第２実施形態を示すブロック図である。
上述したようにセンサ１０はロボット９に付設してもよい。カメラ以外で使用できるセンサ１０は、マイクロフォン、力センサ、トルクセンサ、力覚センサ、加速度センサまたはエンコーダなどである。当然モータ（図示せず）もセンサとして使える。モータ電流からトルクを計算できるからである。また入力部３のキー操作情報（操作履歴）もセンサ情報として使える。この場合、入力部３はセンサ入力部４の機能を一部兼ねることになる。
図１と図２は、ほぼ同様の実施例を示しているわけであるが大きな相違点は、図２では制御部６内に非ＡＩ制御部８を設けたことである。なお非ＡＩ制御部８は、制御部６とは別に設けてもよい。また非ＡＩ制御部８は、ＡＩ制御部５内に設けてもよい。
作業者が入力部から所定のキー操作を行えば、ＡＩ制御による教示も非ＡＩ制御による教示も適宜実施できる。 FIG. 2 is a block diagram showing a second embodiment of the present invention.
As described above, the sensor 10 may be attached to the robot 9. Other than a camera, the sensor 10 that can be used is a microphone, a force sensor, a torque sensor, a force sensor, an acceleration sensor, an encoder, etc. Naturally, a motor (not shown) can also be used as a sensor. This is because the torque can be calculated from the motor current. Furthermore, key operation information (operation history) of the input unit 3 can also be used as sensor information. In this case, the input unit 3 will also have some of the functions of the sensor input unit 4.
1 and 2 show almost the same embodiment, but the major difference is that in Fig. 2, a non-AI control unit 8 is provided within the control unit 6. The non-AI control unit 8 may be provided separately from the control unit 6. The non-AI control unit 8 may also be provided within the AI control unit 5.
When an operator performs a specified key operation on the input unit, teaching using either AI control or non-AI control can be performed as appropriate.

図３は、本発明の第３実施形態を示すブロック図である。
この実施の形態は図２で示す実施の形態に加えて、ＡＩ制御実施判断部７を設けた構成である。他は図２と同様である。
なおＡＩ制御実施判断部７は、制御部６とは別に設けてもよい。またＡＩ制御実施判断部７は、ＡＩ制御部５内に設けてもよい。
ＡＩ制御実施判断部７はＡＩ制御と非ＡＩ制御の得失を判断するモジュールである。作業者の熟練度、操作履歴、作業内容、ＡＩの進化度（学習度や学習意欲）などを評価して、ＡＩを使う制御のほうが教示操作に有利だと判断すればＡＩによるロボット９の教示を実施する。ＡＩ制御による教示操作が有利でないと判断すれば非ＡＩ制御によるロボット９の教示を実施する。非ＡＩ制御による教示そのものは従来技術であり代表的には間接教示のオンライン教示である。本発明の場合、ＡＩ制御による教示を行うべくその検討は行う。しかしそれが不利だとＡＩ制御実施判断部７が判断すれば非ＡＩ制御による教示を行い、そのデータを蓄積しておく。ＡＩ制御実施判断部７は、評価に特化した機能であり、教示動作そのものは、ＡＩ制御部５または非ＡＩ制御部８が行う。 FIG. 3 is a block diagram showing a third embodiment of the present invention.
This embodiment is configured by providing an AI control implementation determination unit 7 in addition to the embodiment shown in Fig. 2. The rest is the same as in Fig. 2.
The AI control implementation determination unit 7 may be provided separately from the control unit 6. The AI control implementation determination unit 7 may be provided within the AI control unit 5.
The AI control implementation judgment unit 7 is a module that judges the merits and demerits of AI control and non-AI control. If it is judged that control using AI is advantageous for teaching operation by evaluating the worker's proficiency, operation history, work content, and AI evolution (learning degree and willingness to learn), teaching of the robot 9 by AI is performed. If it is judged that teaching operation by AI control is not advantageous, teaching of the robot 9 by non-AI control is performed. Teaching by non-AI control itself is a conventional technology, and is typically indirect teaching online teaching. In the case of the present invention, the consideration is made to perform teaching by AI control. However, if the AI control implementation judgment unit 7 judges that it is disadvantageous, teaching by non-AI control is performed and the data is accumulated. The AI control implementation judgment unit 7 is a function specialized for evaluation, and the teaching operation itself is performed by the AI control unit 5 or the non-AI control unit 8.

図４は本発明に係るＡＩ制御の一実施形態を示すブロック図である。これを本発明の第４実施形態とする。
ＡＩ制御実施判断部７は、制御部６内またはＡＩ制御部５内に設けてもよいことは上述した通りである。
ＡＩ制御部５は、例えばこの図４のようなモジュール構成とする。
なお直接教示モジュール５ａと間接教示モジュール５ｂを分ける構成にする必要は必ずしもない。特に一つのモジュールをだけを呼び出す場合はそうである。しかしながら制御演算部５ｃで、呼び出した複数のモジュールを組み合させたり合成したり比較したりする場合は、図４のようなモジュール構成とするほうが、ペンダントを作る側も使う側も混乱しにくいと言える。
また、制御演算部５ｃは、ＡＩによる教示とＡＩによらない教示の組み合わせ方を学習していく手段である。教示を含むロボット制御ステップのうち、どれをＡＩ制御するか、一連の制御動作のうち、どことどこをＡＩ制御するかを学習していく。
その学習の成果はＡＩ制御実施判断部７が行う。なおＡＩ制御実施判断部７はペンダント内のどこに設けてもよい。 4 is a block diagram showing an embodiment of AI control according to the present invention, which is defined as a fourth embodiment of the present invention.
As described above, the AI control implementation judgment unit 7 may be provided in the control unit 6 or in the AI control unit 5.
The AI control unit 5 has a module configuration as shown in FIG.
It is not necessary to separate the direct teaching module 5a and the indirect teaching module 5b. This is especially true when only one module is called. However, when the control calculation unit 5c combines, synthesizes, or compares the multiple modules called up, it is better to use the modules as shown in Figure 4, which is less likely to confuse both the pendant maker and the user.
The control calculation unit 5c is a means for learning how to combine AI teaching and non-AI teaching, and learns which robot control steps including teaching should be AI controlled, and which parts of a series of control operations should be AI controlled.
The results of this learning are processed by the AI control implementation judgment unit 7. The AI control implementation judgment unit 7 may be provided anywhere within the pendant.

ペンダントにＡＩ制御を実行する手段を設けたことにより従来よりもロボットのペンダントの操作性を向上させることができる。すなわちスマートペンダントの一つの形態を提供できる。By providing the pendant with a means for executing AI control, the operability of the robot pendant can be improved compared to the conventional art, thus providing one form of smart pendant.

１ペンダント
２表示部
３入力部
４センサ入力部
５ＡＩ制御部
５ａ直接教示モジュール
５ｂ間接教示モジュール
５ｃ制御演算部
６制御部
７ＡＩ制御実施判断部
８非ＡＩ制御部
９ロボット
１０センサ
１０ａカメラ（センサ） REFERENCE SIGNS LIST 1 Pendant 2 Display unit 3 Input unit 4 Sensor input unit 5 AI control unit 5a Direct teaching module 5b Indirect teaching module 5c Control calculation unit 6 Control unit 7 AI control execution determination unit 8 Non-AI control unit 9 Robot 10 Sensor 10a Camera (sensor)

Claims

ロボットを教示する携帯して操作可能な装置において、
入力手段と表示部を備え、
ＡＩによる制御を実施するための情報を受信するセンサ入力部と、
前記センサ入力部からのデータを参照してＡＩによるロボットの教示を実行するＡＩ制御部と、
ＡＩ制御によらないロボットの教示を実施するための非ＡＩ制御部と、
ＡＩによるロボット教示実行の適否を判断し、前記ＡＩ制御部と前記非ＡＩ制御部の動作を管轄するＡＩ制御実施判断部を備えてなるスマートペンダント。 A portable and operable device for teaching a robot, comprising:
Equipped with an input means and a display unit,
A sensor input unit that receives information for implementing AI control;
An AI control unit that refers to data from the sensor input unit and executes AI-based robot teaching ;
A non-AI control unit for teaching a robot without AI control;
A smart pendant comprising an AI control implementation judgment unit that judges whether or not robot teaching by AI is appropriate and manages the operation of the AI control unit and the non-AI control unit .

ＡＩによる教示とＡＩによらない教示の組み合わせ方を学習していく手段を前記ＡＩ制御実施判断部に設けたこと特徴とする請求項１のスマートペンダント。 2. The smart pendant of claim 1 , wherein the AI control implementation judgment unit is provided with a means for learning how to combine AI teaching and non-AI teaching.