JP7513292B2 - Control system, control method, and program - Google Patents
Control system, control method, and program Download PDFInfo
- Publication number
- JP7513292B2 JP7513292B2 JP2022041421A JP2022041421A JP7513292B2 JP 7513292 B2 JP7513292 B2 JP 7513292B2 JP 2022041421 A JP2022041421 A JP 2022041421A JP 2022041421 A JP2022041421 A JP 2022041421A JP 7513292 B2 JP7513292 B2 JP 7513292B2
- Authority
- JP
- Japan
- Prior art keywords
- mode
- controlled device
- robot
- image
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 31
- 230000004044 response Effects 0.000 claims description 8
- 238000004891 communication Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 14
- 230000007704 transition Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000004088 simulation Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 201000003152 motion sickness Diseases 0.000 description 3
- 230000001934 delay Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
Images
Landscapes
- Numerical Control (AREA)
- Manipulator (AREA)
Description
本発明は、制御システム、制御方法およびプログラムに関する。 The present invention relates to a control system, a control method, and a program.
ロボットの遠隔操作など制御対象機器の操作を行う操作者の負担を軽減する方法の1つとして、制御対象機器にタスクを実行させるなど、制御対象機器の制御が自動または半自動で行われる場合がある(例えば、特許文献1参照)。タスクでは、制御対象機器が行う一連の動作が設定されており、操作者は詳細な操作を行う必要が無い。 One method for reducing the burden on an operator who operates a controlled device, such as remotely controlling a robot, is to automatically or semi-automatically control the controlled device, such as by having the controlled device execute a task (see, for example, Patent Document 1). In a task, a series of operations to be performed by the controlled device is set, and the operator does not need to perform detailed operations.
制御対象機器に行わせる動作を全てタスク化することはできない場合など、制御対象機器に対する自動制御と手動操作との切替が行われる場合が考えられる。この場合、制御対象機器に対する自動制御の実行によって、操作者の負担がより確実に軽減されることが好ましい。 In cases where it is not possible to turn all of the operations to be performed by the controlled device into tasks, there may be cases where the controlled device is switched between automatic control and manual operation. In such cases, it is preferable to more reliably reduce the burden on the operator by executing automatic control of the controlled device.
本発明の目的の一例は、上述の課題を解決することのできる制御システム、制御方法およびプログラムを提供することである。 One example of the objective of the present invention is to provide a control system, a control method, and a program that can solve the above-mentioned problems.
本発明の第1の態様によれば、制御システムは、制御対象機器の制御の自動モードと手動モードとを切り替えるモード切替手段と、前記自動モードでは、表示画面における前記制御対象機器の画像の表示を前記自動モード開始時の画像に固定にし、前記制御対象機器の自動制御を行い、前記手動モードでは、表示画面における前記制御対象機器の画像の表示の固定を解除し、操作者の操作に従って前記制御対象機器を動作させ、動作する前記制御対象機器の画像を前記表示画面に表示し、前記自動モードから手動モードに切り替わる際、前記制御対象機器の状態を、前記自動モードでの動作後の状態から、前記自動モード開始時の前記制御対象機器の状態にした後、表示画面における前記制御対象機器の画像の表示の固定を解除して、操作者の操作に従って動作する前記制御対象機器の画像を前記表示画面に表示する、モード対応手段と、を備える。 According to a first aspect of the present invention, a control system comprises a mode switching means for switching between an automatic mode and a manual mode for controlling a controlled device, and a mode response means for, in the automatic mode, fixing the display of an image of the controlled device on the display screen to an image at the start of the automatic mode and automatically controlling the controlled device, and for, in the manual mode, releasing the fixation of the display of the image of the controlled device on the display screen, operating the controlled device in accordance with an operator's operation , and displaying an image of the operating controlled device on the display screen, and when switching from the automatic mode to the manual mode, changing the state of the controlled device from the state after operation in the automatic mode to the state of the controlled device at the start of the automatic mode, and then releasing the fixation of the display of the image of the controlled device on the display screen, and displaying an image of the controlled device operating in accordance with the operator's operation on the display screen .
本発明の第2の態様によれば、制御方法は、コンピュータが、制御対象機器の制御の自動モードと手動モードとを切り替え、前記自動モードでは、表示画面における前記制御対象機器の画像の表示を前記自動モード開始時の画像に固定にし、前記制御対象機器の自動制御を行い、前記手動モードでは、表示画面における前記制御対象機器の画像の表示の固定を解除し、操作者の操作に従って前記制御対象機器を動作させ、動作する前記制御対象機器の画像を前記表示画面に表示し、前記自動モードから手動モードに切り替わる際、前記制御対象機器の状態を、前記自動モードでの動作後の状態から、前記自動モード開始時の前記制御対象機器の状態にした後、表示画面における前記制御対象機器の画像の表示の固定を解除して、操作者の操作に従って動作する前記制御対象機器の画像を前記表示画面に表示する、ことを含む。 According to a second aspect of the present invention, a control method includes a computer switching between an automatic mode and a manual mode for controlling a controlled device, and in the automatic mode, fixing the display of an image of the controlled device on a display screen to an image at the start of the automatic mode and automatically controlling the controlled device, and in the manual mode, releasing the fixation of the display of the image of the controlled device on the display screen, operating the controlled device in accordance with an operator's operation , and displaying an image of the operating controlled device on the display screen, and when switching from the automatic mode to the manual mode, changing a state of the controlled device from a state after operation in the automatic mode to the state of the controlled device at the start of the automatic mode, and then releasing the fixation of the display of the image of the controlled device on the display screen, and displaying an image of the controlled device operating in accordance with an operator's operation on the display screen .
本発明の第3の態様によれば、プログラムは、コンピュータに、制御対象機器の制御の自動モードと手動モードとを切り替えることと、前記自動モードでは、表示画面における前記制御対象機器の画像の表示を前記自動モード開始時の画像に固定にし、前記制御対象機器の自動制御を行い、前記手動モードでは、表示画面における前記制御対象機器の画像の表示の固定を解除し、操作者の操作に従って前記制御対象機器を動作させ、動作する前記制御対象機器の画像を前記表示画面に表示し、前記自動モードから手動モードに切り替わる際、前記制御対象機器の状態を、前記自動モードでの動作後の状態から、前記自動モード開始時の前記制御対象機器の状態にした後、表示画面における前記制御対象機器の画像の表示の固定を解除して、操作者の操作に従って動作する前記制御対象機器の画像を前記表示画面に表示することと、を実行させるためのプログラムである。
According to a third aspect of the present invention, a program causes a computer to switch between an automatic mode and a manual mode for controlling a controlled device; in the automatic mode, fix the display of an image of the controlled device on the display screen to an image at the start of the automatic mode and automatically control the controlled device; and in the manual mode, release the fixation of the display of the image of the controlled device on the display screen, operate the controlled device in accordance with an operator's operation , and display an image of the operating controlled device on the display screen; and when switching from the automatic mode to the manual mode, change the state of the controlled device from the state after operation in the automatic mode to the state of the controlled device at the start of the automatic mode, and then release the fixation of the display of the image of the controlled device on the display screen and display an image of the controlled device operating in accordance with the operator's operation on the display screen .
本発明によれば、制御対象機器に対する自動制御の実行によって、操作者の負担がより確実に軽減されることが期待される。 The present invention is expected to more reliably reduce the burden on operators by executing automatic control of controlled devices.
以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、実施形態に係るロボットシステムの構成の例を示す図である。図1に示す構成で、ロボットシステム1は、制御システム100と、ロボット200とを備える。
The following describes embodiments of the present invention, but the following embodiments do not limit the scope of the invention. Furthermore, not all of the combinations of features described in the embodiments are necessarily essential to the solution of the invention.
1 is a diagram showing an example of the configuration of a robot system according to an embodiment. In the configuration shown in FIG. 1, the robot system 1 includes a
ロボットシステム1では、ロボット200が制御システム100の制御に従って動作する。特に、ロボットシステム1では、ロボット200に対する自動制御と手動操作との切替が可能である。ここでの自動制御は、ロボット200の動作実行時に、操作者による操作を必要としないことである。また、手動操作では操作者が、制御システム100が有する表示画面に表示されるロボット200の画像を見ながら操作を行うものとする。この場合のロボット200の画像は、ロボット200の全体の画像であってもよいし一部の画像であってもよい。
In the robot system 1, the
操作者がロボット200の画像を見ながら操作を行う場合は、特定の場合に限定されない。例えば、遠隔操作など、操作者がロボット200を直接見ることができないか、または、見づらい場合であってもよい。あるいは、操作者が拡大画像を見ながらロボット200を用いて精密作業を行う場合であってもよい。あるいは、温度など操作者が直接見ることができない情報を参照する場合であってもよい。
The cases in which the operator operates the
実施形態では、ロボット200がマニピュレータ(Manipulator)である場合を例に説明する。ただし、制御システム100が対象とする制御対象機器は、マニピュレータに限定されず、さらには、ロボットに限定されない。制御対象機器の位置および姿勢など制御対象の状態を、自動制御または手動操作の何れでも制御可能であり、遠隔操作などで制御対象機器の画像を見ながら操作が行われる、いろいろな制御対象機器を、制御システム100の対象とすることができる。
In the embodiment, an example will be described in which the
また、以下では、ロボット200にタスクを実行させる際に、ロボット200の自動制御が行われるものとする。ここでいうタスクとは、何らかの目的達成のためにロボットなどの制御対象機器に行わせる動作である。タスクが、一連の手続(サブタスク)を一纏めにしたものとして定められていてもよい。
In the following description, it is assumed that the
制御システム100は、ロボットにタスクを実行させるタスク実行モードと、操作者によるロボット200の操作を受け付ける通常モードとの切替を行うものとする。
タスク実行モードでも、操作者がロボット200を操作する場合があってもよい。例えば制御システム100が、タスク実行開始条件が成立しているか否かを判定するようにしてもよい。そして、制御システム100が、タスク実行開始条件が成立していると判定した場合は、ロボット200にタスクを実行させ、タスク実行開始条件が成立してないと判定した場合は、タスク実行開始条件が成立するまで操作者による操作を受け付けるようにしてもよい。
The
Even in the task execution mode, there may be cases where the operator operates the
図2は、ロボット200の例を示す図である。図2では、部材を把持しているロボット200が示されている。
また、図2では、ロボット200がピックアンドプレース(Pick And Place)のタスクを実行して部材の自動補充を行う場合の例が示されている。ピックアンドプレースは、ロボットアーム等で物を持ち上げ、所定の位置まで移動させることである。図2の例では、ロボット200は、部材置き場から部材補充スペースへ部材を移動させる。
Fig. 2 is a diagram showing an example of a
2 also shows an example in which the
図3は、ロボット200の構成の例を示す図である。図3に示す構成で、ロボット200は、ロボット側通信部210と、センサ220と、駆動装置230と、ロボット側記憶部270と、ロボット側処理部280とを備える。
ロボット側処理部280は、操作メッセージ取得部281と、ロボット制御部282とを備える。ロボット制御部282は、センサ情報出力部283を備える。
Fig. 3 is a diagram showing an example of the configuration of the
The robot
ロボット側通信部210は、他の装置と通信を行う。特にロボット側通信部210は、制御システム100と通信をおこなって、手動操作によるロボット200の動作の指令を示す操作メッセージ、または、ロボット200にタスクの実行を指示するタスク実行メッセージ等の制御指令を取得する。また、ロボット側通信部210は、センサ220によるセンサデータを制御システム100へ送信する。
The
センサ220は、ロボット200の各部の姿勢および位置変化速度など、ロボット200の状態を示すデータの測定を行い、得られるセンサデータをロボット側処理部280へ出力する。センサ220に、ロボット200の動作環境を測定するセンサを含んでいてもよい。
The
駆動装置230は、ロボット制御部282の制御に従ってロボット200の各部を動作させる。駆動装置230は、例えばモータなど複数のアクチュエータ(Actuator)を含んで構成される。
ロボット側記憶部270は、各種情報を記憶する。
ロボット側処理部280は、ロボット200の各部を制御して、ロボット200を動作させるなど各種処理を行う。
The
The robot-
The robot
操作メッセージ取得部281は、ロボット側通信部210が制御システム100から受信した受信データから、操作メッセージおよびタスク実行メッセージなどの制御指令を抽出する。操作メッセージ取得部281は、抽出した操作指令をロボット制御部282へ出力する。
The operation message acquisition unit 281 extracts control commands such as operation messages and task execution messages from the received data received by the robot
ロボット制御部282は、操作メッセージ取得部281が出力する制御指令に従って駆動装置230を駆動させ、ロボット200を動作させる。制御システム100によるロボット200に対する制御は、上位制御に該当する。ロボット制御部282によるロボット200の制御は、上位制御に従って行われる下位制御に該当する。
The
ロボット制御部282が、タスク終了時に、ロボット200の状態(ロボット200の姿勢)をタスク実行開始時の状態などタスク実行前の状態に戻すようにしてもよい。これにより、操作者は、タスクの実行によるロボット200の状態変化を気にせずにロボット200の操作を再開することができ、この点で、操作者が違和感なくロボット200の操作を再開できることが期待される。
The
センサ情報出力部283は、所定のステップ時間の間ロボット200を動作させた後、センサ220から取得するセンサデータを、ロボット側通信部210を介して制御システム100へ送信する。
After operating the
図4は、制御システム100の構成の例を示す図である。図4に示す構成で、制御システム100は、制御側通信部110と、表示部120と、操作入力部130と、制御側記憶部170と、制御側処理部180とを備える。
操作入力部130は、コントローラ131と、マウス132と、キーボード133とを備える。
制御側処理部180は、ユーザインタフェース部181と、姿勢情報取得部185と、タスク処理部186と、モード切替部187と、操作メッセージ出力部188とを備える。ユーザインタフェース部181は、シミュレータ描画部182と、操作インタフェース部183と、タスクアイコン処理部184とを備える。
Fig. 4 is a diagram showing an example of the configuration of the
The
The control
制御側通信部110は、他の装置と通信を行う。特に、制御側通信部110は、ロボット200へ制御指令を送信する。また、制御側通信部110は、ロボット200からセンサデータを取得する。
表示部120は、例えば液晶パネルまたはLED(Light Emitting Diode、発光ダイオード)パネルなどの表示画面を有し、各種画像を表示する。特に、表示部120は、ロボット200の画像、および、タスクアイコンを表示する。タスクアイコンは、タスクの種類および実行状況を示し、また、タスク実行と手動操作とを切り替えるユーザ操作を受け付けるアイコンである。
The
The
図5は、表示部120による表示の例を示す図である。
Figure 5 shows an example of a display by the
図5は、表示部120による表示画像の例を示す図である。
図5の例で、表示部120の表示画面に、ロボット200の表示領域A11と、タスクアイコンの表示領域A12とが設けられている。操作者がロボット200の操作を行うときは、表示部120が、ロボット200のリアルタイムの画像を表示する。以下では、表示部120が、シミュレーションによるロボット200の画像を表示する場合の例を説明するが、実際のロボット200の画像を取得可能な場合は、表示部120が、実際のロボット200の画像を表示するようにしてもよい。
操作者がタスクアイコンに対して例えばマウスクリック等の操作を行うと、制御システム100は、ロボット200の制御のモードを通常モードからタスク実行モードに切り替える。
FIG. 5 is a diagram showing an example of an image displayed by the
5, a display area A11 for the
When the operator performs an operation such as clicking the mouse on the task icon, the
図5は、ロボット200がピックアンドプレースによる部材補充タスクを実行する場合の例を示しており、タスクアイコンには、ロボット200が移動させる部材の画像と、タスクの準備として操作者が用意すべき部材の残数とが示されている。
操作者が、ロボット200を操作して、あるいはそれ以外の何らかの方法で、部材を所定の部材置き場に置くたびに、タスクアイコンに書かれている部材の残数が1つ減る。タスクアイコンに書かれている部材の残数が0になると、部材補充タスクが自動実施され、ロボット200は部材を補充する。例えば図2の場合、ロボット200は、部材置き場にある部材を持ち上げて、部材補充スペースに整列して並べる。
FIG. 5 shows an example of the
Each time the operator places a component in a specified component storage area by operating the
操作入力部130は、操作者による入力操作を受け付ける。
コントローラ131は、操作者がロボット200を手動操作する場合の操作を受け付ける。コントローラ131がジョイスティックを含んで構成されていてもよいが、これに限定されない。
マウス132およびキーボード133は、主に操作者が制御システム100に対して行う操作を受け付ける。例えば、上記のように操作者がマウス132でタスクアイコンをクリックすると、制御システム100は、ロボット200の制御のモードを通常モードからタスク実行モードに切り替える。
The
The
The
制御側記憶部170は、各種情報を記憶する。特に、制御側記憶部170は、ロボット200のタスク実行開始時の状態などタスク実行前の状態を記憶する。これにより、ロボット制御部282は、タスク終了時に、ロボット200の状態をタスク実行開始時の状態などタスク実行前の状態に戻すことができる。
The control
制御側処理部180は、制御システム100の各部を制御して各種処理を行う。
ユーザインタフェース部181は、操作者に対するユーザインタフェースとして機能する。
シミュレータ描画部182は、シミュレーションによって操作対象のロボット200およびピックアンドプレース対象の部材を画面に描画する。例えば、シミュレータ描画部182は、制御システム100がロボット200へ送信する制御指令、および、制御システム100がロボット200から受信するセンサデータに基づいて、ロボット200のシミュレーションを行い、ロボット200および部材の描画を行う。
The control
The
The
また、シミュレータ描画部182は、補充タスク実行中に「補充中」のメッセージをシミュレータ画面(ロボット200の画像)の上に重ねて表示する。具体的には、シミュレータ描画部182は、「補充中」のメッセージのウィンドウが、ロボット200の画像の少なくとも一部を隠すように、表示部120に表示させる。
補充タスク終了後、ロボット200の状態がタスク開始時の状態に戻ると、シミュレータ描画部182は、「補充中」のメッセージを非表示にする。
During the execution of the replenishment task, the
After the replenishment task is completed, when the state of the
操作インタフェース部183は、コントローラ131のデバイスドライバとして機能する。操作インタフェース部183は、コントローラ131から入力されるユーザ操作データを取得し、取得したユーザ操作データを、操作メッセージ出力部188を経由してメッセージ送信部に出力する。
The
タスクアイコン処理部184は、図5に例示されるタスクアイコンを表示部120に表示させる。また、タスクアイコン処理部184は、タスクアイコンのマウスクリック、または、キーボード133のショートカットキーの押下など、タスクアイコンに対するユーザ操作が行われた場合、通常モードからタスク実行モードへの遷移をモード切替部187に指示する。
The task
姿勢情報取得部185は、制御側通信部110がロボット200から受信した受信データから、センサデータを抽出する。姿勢情報取得部185は、抽出したセンサデータをシミュレータ描画部182へ出力する。
The posture
タスク処理部186は、ロボット200にタスクを実行させるための処理を行う。例えば、タスク処理部186は、ロボット200の制御のモードがタスク実行モードになると、タスク実行開始条件を設定する。タスク処理部186が、操作者が記述した設定ファイルを読み込み、読み込んだ設定ファイルから、タスク実行開始条件、および、ロボット200に実行させるタスクを読み取るようにしてもよい。本実施例では、設定ファイルに「部材の残数が0になった場合、部材補充タスクを実施する」と指定されているものとする。
The
タスク実行モードにて、タスク処理部186は、設定したタスク実行開始条件に基づいて、ロボット200にタスクを実行させるか否かを判定する。また、タスク処理部186は、タスク実行開始条件が成立しているか否かの判定のための部材の残数のカウンタ値を、例えば、シミュレータ描画部182が実行するロボット200のシミュレータのメモリ上で管理する。
タスク実行開始条件が成立していると判定した場合、タスク処理部186は、ロボット200にタスクを実行させる。一方、タスク実行開始条件が成立していないと判定した場合、タスク処理部186は、例えば操作者によるロボット200の操作によって、タスク実行開始条件が成立するのを待ち受ける。
In the task execution mode, the
When it is determined that the task execution start condition is satisfied, the
モード切替部187は、ロボット200の制御モードを切り替える。モード切替部187は、モード切替手段の例に該当する。
具体的には、モード切替部187は、ロボット200の制御モードの通常モードとタスク実行モードとを切り替える。
図6は、モード切替部187によるモード切替の例を示す図である。図6の例で、モード切替部187は、操作者がタスクアイコンをマウス132で左クリックするなどの操作が行われると、ロボット200の制御モードを通常モードからタスク実行モードに遷移させる。
The
Specifically, the
Fig. 6 is a diagram showing an example of mode switching by the
また、モード切替部187は、タスクが終了すると、ロボット200の制御モードをタスク実行モードから通常モードに遷移させる。
あるいは、タスク処理部186が、ロボット200にタスクを繰り返し実行させるようにしてもよい。この場合、モード切替部187が、操作者がタスクアイコンをマウス132で右クリックするなどの操作が行われると、ロボット200の制御モードをタスク実行モードから通常モードに遷移させるようにしてもよい。
Furthermore, when the task is completed, the
Alternatively, the
また、モード切替部187は、ロボット200の制御モードとして、自動制御モードと手動操作モードとの切替も行う。自動制御モードは、ロボット200は、タスク処理部186およびロボット制御部282の制御に従って、自動で動作する。ここでいう自動は、ロボット200が、ユーザ操作を必要とせずに動作することである。自動制御モードを自動モードとも称する。
一方、手動操作モードでは、ロボット200は、操作者の操作に従って動作する。手動操作モードを手動モードとも称する。
The
On the other hand, in the manual operation mode, the
通常モードでは、モード切替部187は、手動操作モードに設定する。
一方、タスク実行モードでは、モード切替部187が、自動制御モードに設定するようにしてもよいし、タスク実行モード内でさらに自動制御モードと手動操作モードとの切替を行うようにしてもよい。例えば、タスク実行モードで、タスク実行開始条件が成立するまでは、モード切替部187が手動操作モードに設定するようにし、タスク実行開始条件が成立すると、モード切替部187が、手動操作モードから自動制御モードに遷移させるようにしてもよい。
In the normal mode, the
On the other hand, in the task execution mode, the
操作メッセージ出力部188は、制御側通信部110を介してロボット200に制御指令を送信する。モード切替部187が自動制御モードに設定している場合、操作メッセージ出力部188は、操作インタフェース部183からの操作メッセージを制御指令としてロボット200に送信する。自動モードでは、操作メッセージ出力部188は、操作者の操作が前記制御対象の動作に反映されるようにする。
一方、モード切替部187が手動操作モードに設定している場合、操作メッセージ出力部188は、タスク処理部186からのタスク実行メッセージを制御指令としてロボット200に送信する。
また、タスク終了時に、操作メッセージ出力部188は、ロボット200の状態をタスク開始時の状態に戻すよう指示する操作メッセージをロボット200に送信する。
The operation
On the other hand, when the
Furthermore, when the task ends, the operation
シミュレータ描画部182と、操作インタフェース部183と、タスク処理部186と、操作メッセージ出力部188との組み合わせは、モード対応手段の例に該当する。
自動モードでは、シミュレータ描画部182は、表示部120の表示画面におけるロボット200の表示を固定にする。そして、タスク処理部186は、ロボット200の自動制御を行う。
手動モードでは、シミュレータ描画部182は、表示部120の表示画面におけるロボット200の表示の固定を解除する。操作インタフェース部183は、操作者の操作に従ってロボット200を動作させる。
The combination of the
In the automatic mode, the
In the manual mode, the
また、自動モードでは、シミュレータ描画部182は、表示部120の表示画面におけるロボット200の表示の少なくとも一部を隠す態様で、自動モードであることを示す表示を、表示部120の表示画面に表示させる。操作メッセージ出力部188は、操作者の操作がロボット200の動作に反映されないようにする。
手動モードでは、シミュレータ描画部182は、自動モードであることを示す表示を終了させる。操作メッセージ出力部188は、操作者の操作が前記制御対象の動作に反映されるようにする。
In the automatic mode, the
In the manual mode, the
また、自動モードから手動モードに切り替わる際、操作メッセージ出力部188は、ロボット200の状態を、例えばタスク実行開始時の状態など、表示部120の表示画面に固定的に表示されている状態にする。その後、シミュレータ描画部182は、ロボット200の表示の固定を解除する。
When switching from automatic mode to manual mode, the operation
また、モード切替部187は、タスク実行モードと、通常モードとの切替を行う。タスク実行モードでは、タスク処理部186が、タスク実行開始条件が成立しているか否かを判定する。タスク実行開始条件が成立しているとタスク処理部186が判定した場合、モード切替部187は、自動モード/手動モードの区別を自動モードに設定することで、タスク処理部186にロボット200にタスクを実行させる制御を行わせる。
The
図7は、表示部120による表示の変化の例を示す図である。
図に向かって一番左の表示例は、手動操作モードの場合の例を示している。手動操作モードでは、表示部120は、ロボット200の画像をリアルタイムで表示する。
図に向かって左から2番目の表示例は、自動制御モード開始時の例を示している。表示部120は、自動制御モードの間、ロボット200の画像を例えば自動制御モード開始時の画像に固定する。
FIG. 7 is a diagram showing an example of a change in display on the
The leftmost display example in the drawing shows an example in the manual operation mode, in which the
The second display example from the left in the drawing shows an example at the start of the automatic control mode. During the automatic control mode, the
図に向かって左から3番目の表示例は、自動制御モードの場合の例を示している。自動モードでは、表示部120は、上記のように例えば自動制御モード開始時の画像に固定されているロボット200の画像の上に重ねて、自動モードであることを示す画像を表示する。図7の例は、表示部120は、タスク実行によって部材を補充中であることを示す「補充中」のメッセージを、ロボット200の画像の上に重ねて表示している。
The third display example from the left in the figure shows an example in the automatic control mode. In the automatic mode, the
図に向かって一番右の表示例は、自動制御モードの終了時の例を示している。自動制御モードの終了時に、操作メッセージ出力部188が、ロボット200の状態を、表示部120の表示画面に示されるロボット200の状態、すなわち、自動制御モード開始時のロボット200の状態に戻す。その後、シミュレータ描画部182は、表示部120の表示画面に表示するロボット200の画像の固定を解除する。自動制御モードが終わって手動操作モードに切り替わると、シミュレータ描画部182は、ロボット200の画像をリアルタイムで表示する。
The display example on the far right of the figure shows an example at the end of the automatic control mode. At the end of the automatic control mode, the operation
図8は、ロボットシステム1が行う処理の第1の例を示す図である。図8の処理の開始時には、手動操作モード/自動制御モードの区別は、手動操作モードに設定され、通常モード/タスク実行モードの区別は、通常モードに設定されているものとする。
図8の処理で、タスクアイコン処理部184は、タスクアイコンがマウス132で左クリックされたか否かを判定する(ステップS101)。
Fig. 8 is a diagram showing a first example of processing performed by the robot system 1. At the start of the processing in Fig. 8, the distinction between the manual operation mode and the automatic control mode is set to the manual operation mode, and the distinction between the normal mode and the task execution mode is set to the normal mode.
In the processing of FIG. 8, the task
左クリックされたとタスクアイコン処理部184が判定した場合(ステップS101:YES)、モード切替部187は、通常モード/タスク実行モードの区別を、通常モードからタスク実行モードに遷移させる(ステップS111)。
次に、タスク処理部186は、指定されたタスクの実行開始条件が成立しているか否かを判定する(ステップS112)。例えば、ピックアンドプレースによる部材の補充のタスクの場合、タスク処理部186が、指定された個数の補充用のタスクが用意されているか否かを判定するようにしてもよい。
When the task
Next, the
タスク実行開始条件が成立していると判定した場合(ステップS112:YES)、制御側記憶部170が、タスク実行開始時のロボット200の姿勢(ロボット200の状態)を記憶する(ステップS121)。例えば、シミュレータ描画部182が、シミュレーションにて算出したタスク実行開始時のロボット200の姿勢を、制御側記憶部170に記憶させるようにしてもよい。
If it is determined that the task execution start condition is met (step S112: YES), the control
そして、シミュレータ描画部182は、表示部120に表示させるロボット200の画像をタスク実行開始時の画像に固定し、ロボット200の画像の上に重ねて、タスクを実行中であることを示す「補充中」のメッセージを表示させる(ステップS122)。
次に、タスク処理部186は、部材を補充するタスクをロボット200に実行させる(ステップS123)。
Then, the
Next, the
タスクが完了すると、タスク処理部186は、タスクを繰り返し実行するために操作者が用意すべき部材の残数を設定し、タスクアイコン処理部184は、設定された残数をタスクアイコンに表示する(ステップS124)。例えば、操作者が予め登録するタスクの設定ファイルに、操作者が用意すべき部材の個数が定数で記載されており、タスク処理部186が、その定数を、操作者が用意すべき部材の残数として設定するようにしてもよい。
When the task is completed, the
次に、操作メッセージ出力部188は、制御側記憶部170が記憶しているタスク実行開始時のロボット200の姿勢を、ロボット200に復元させる(ステップS125)。
そして、シミュレータ描画部182は、ロボット200の表示の固定を解除し、タスクを実行中であることを示す表示を解除する(ステップS126)。具体的には、シミュレータ描画部182は、シミュレーションによるロボット200のリアルタイムの画像を表示部120に表示させ、また、タスクを実行中であることを示す「補充中」のメッセージの表示を消去させる。
Next, the operation
Then, the
そして、モード切替部187は、タスク実行モードから通常モードに遷移させる(ステップS127)。
ステップS127の後、処理がステップS101へ戻る。
Then, the
After step S127, the process returns to step S101.
一方、ステップS101でタスクアイコンが左クリックされていないとタスクアイコン処理部184が判定した場合(ステップS101:NO)、制御システム100は、操作者によるロボット200の手動操作を受け付ける(ステップS131)。具体的には、操作インタフェース部183が、操作者によるロボット200の手動操作を受け付け、操作メッセージ出力部188は、操作者の操作に従ってロボット200を動作させるように、制御側通信部110を介して制御指令をロボット200に送信する。
ステップS131の後、処理がステップS101へ戻る。
On the other hand, if the task
After step S131, the process returns to step S101.
一方、ステップS112でタスク開始条件が成立していないとタスク処理部186が判定した場合(ステップS112:NO)、シミュレータ描画部182は、タスクを実行不可である旨のメッセージを、例えば一定時間表示する(ステップS141)。
ステップS141の後、処理がステップS127へ進む。
On the other hand, if the
After step S141, the process proceeds to step S127.
図9は、ロボットシステム1が行う処理の第2の例を示す図である。図9の処理の開始時には、手動操作モード/自動制御モードの区別は、手動操作モードに設定され、通常モード/タスク実行モードの区別は、通常モードに設定されているものとする。
図9の処理で、タスクアイコン処理部184は、タスクアイコンがマウス132で左クリックされたか否かを判定する(ステップS201)。
Fig. 9 is a diagram showing a second example of the processing performed by the robot system 1. At the start of the processing in Fig. 9, the distinction between the manual operation mode and the automatic control mode is set to the manual operation mode, and the distinction between the normal mode and the task execution mode is set to the normal mode.
In the process of FIG. 9, the task
左クリックされたとタスクアイコン処理部184が判定した場合(ステップS201:YES)、モード切替部187は、通常モード/タスク実行モードの区別を、通常モードからタスク実行モードに遷移させる(ステップS211)。
次に、タスク処理部186は、部材を把持するタスクをロボット200に実行させる(ステップS212)。具体的には、タスク処理部186は、部材を把持するタスクの実行命令を、操作メッセージ出力部188および制御側通信部110を介してロボット200へ送信する。ロボット200は、タスクの実行命令に従って、部材を把持するタスクを実行する。ここでの部材は、ピックアンドプレースのタスクのために操作者が用意すべき部材である。
When the task
Next, the
次に、操作インタフェース部183は、操作者によるロボット200の操作を受け付ける(ステップS213)。操作者は、ロボット200を操作して、ロボット200が把持している部材を所定の部材置き場に置かせる。
ロボット200が部材を部材置き場に置いて部材から手を離すと、タスク処理部186は、操作者が用意すべき部材の残数のカウンタ値を1減算する。
Next, the
When the
次に、タスク処理部186は、タスク実行開始条件が成立しているか否かを判定する(ステップS215)。具体的には、タスク処理部186は、操作者が用意すべき部材の残数が0になっているか否かを判定する。
タスク実行開始条件が成立しているとタスク処理部186が判定した場合(ステップS215:YES)、制御側記憶部170が、タスク実行開始時のロボット200の姿勢(ロボット200の状態)を記憶する(ステップS221)。例えば、シミュレータ描画部182が、シミュレーションにて算出したタスク実行開始時のロボット200の姿勢を、制御側記憶部170に記憶させるようにしてもよい。
Next, the
When the
そして、シミュレータ描画部182は、表示部120に表示させるロボット200の画像をタスク実行開始時の画像に固定し、ロボット200の画像の上に重ねて、タスクを実行中であることを示す「補充中」のメッセージを表示させる(ステップS222)。
次に、タスク処理部186は、部材を補充するタスクをロボット200に実行させる(ステップS223)。
Then, the
Next, the
タスクが完了すると、タスク処理部186は、タスクを繰り返し実行するために操作者が用意すべき部材の残数を設定し、タスクアイコン処理部184は、設定された残数をタスクアイコンに表示する(ステップS224)。例えば、操作者が予め登録するタスクの設定ファイルに、操作者が用意すべき部材の個数が定数で記載されており、タスク処理部186が、その定数を、操作者が用意すべき部材の残数として設定するようにしてもよい。
When the task is completed, the
次に、操作メッセージ出力部188は、制御側記憶部170が記憶しているタスク実行開始時のロボット200の姿勢を、ロボット200に復元させる(ステップS225)。
そして、シミュレータ描画部182は、ロボット200の表示の固定を解除し、タスクを実行中であることを示す表示を解除する(ステップS226)。具体的には、シミュレータ描画部182は、シミュレーションによるロボット200のリアルタイムの画像を表示部120に表示させ、また、タスクを実行中であることを示す「補充中」のメッセージの表示を消去させる。
ステップS226の後、処理がステップS212へ戻る。
なお、操作者がマウス132でタスクアイコンを右クリックすることによって、ロボットシステム1が図9の処理を終了し、モード切替部187がタスク実行モードから通常モードに遷移させるようにしてもよい。
Next, the operation
Then, the
After step S226, the process returns to step S212.
Alternatively, the operator may right-click on the task icon with the
一方、ステップS201で、タスクアイコンが左クリックされていないとタスクアイコン処理部184が判定した場合(ステップS201:NO)、制御システム100は、操作者によるロボット200の手動操作を受け付ける(ステップS231)。具体的には、操作インタフェース部183が、操作者によるロボット200の手動操作を受け付け、操作メッセージ出力部188は、操作者の操作に従ってロボット200を動作させるように、制御側通信部110を介して制御指令をロボット200に送信する。
ステップS231の後、処理がステップS201へ戻る。
一方、ステップS215でタスク開始条件が成立していないとタスク処理部186が判定した場合(ステップS215:NO)、処理がステップS212へ戻る。
On the other hand, if the task
After step S231, the process returns to step S201.
On the other hand, if the
以上のように、モード切替部187は、ロボット200の制御の自動モードと手動モードとを切り替える。
自動モードでは、シミュレータ描画部182は、表示部120の表示画面におけるロボット200の表示を固定にする。そして、タスク処理部186は、ロボット200の自動制御を行う。
手動モードでは、シミュレータ描画部182は、表示部120の表示画面におけるロボット200の表示の固定を解除する。操作インタフェース部183は、操作者の操作に従ってロボット200を動作させる。
As described above, the
In the automatic mode, the
In the manual mode, the
これにより、制御システム100では、ロボット200に対する自動制御の実行によって、操作者の負担がより確実に軽減されることが期待される。
ここで、遠隔操作など、操作者が画面に表示される制御対象機器(例えば、ロボット200)の画像を見ながら操作する場合、常に画面を見ながら操作を行うということは操作者にとって負担の大きい作業であることが考えられる。また、通信の遅延などにより、操作対象機器が細かな操作に従って動作を行うことが困難な場合が考えられる。そこで、制御対象機器にタスクを実行させるなど制御対象機器を自動制御することが考えられる。また、通信の遅延などにより制御対象機器の画像をリアルタイムで表示することが困難な場合は、シミュレータ上で制御対象機器の動作を模擬して制御対象機器の画像を表示することが考えられる。
As a result, it is expected that the
Here, when an operator operates a controlled device (e.g., the robot 200) while viewing an image of the controlled device displayed on a screen, such as in remote control, it is considered that performing the operation while constantly viewing the screen is a heavy burden on the operator. In addition, it is considered that it is difficult for the controlled device to perform an operation according to a detailed operation due to communication delays, etc. In this case, it is considered that the controlled device is automatically controlled, such as by having the controlled device execute a task. In addition, when it is difficult to display an image of the controlled device in real time due to communication delays, it is considered that the operation of the controlled device is simulated on a simulator and an image of the controlled device is displayed.
一方、制御対象機器に行わせる全ての動作をタスクとして予め用意しておくことは困難な場合が考えられる。また、例えば、絵を描くなど人間の思考や発想が重要な操作をする場合、制御対象機器の動作をあらかじめタスク化しておくことができない、または無意味であることが考えられる。 On the other hand, it may be difficult to prepare all the operations to be performed by the controlled device as tasks in advance. Also, for example, when performing operations in which human thought and imagination are important, such as drawing a picture, it may be impossible or meaningless to prepare the operations of the controlled device as tasks in advance.
そこで、制御対象機器に対する自動制御と、操作者による制御対象機器に対する手動操作とを切り替えて制御対象機器を動作させることが考えられる。
自動制御では操作者は操作を行わないこととする場合、自動制御の際の制御対象機器の動作は、操作者が見ている画面に表示されても意味のない情報である。なぜならば、手動で操作を行うことが目的である操作者が、自身が干渉することのできない制御対象を眺めていても意味がないからである。また、操作者の視点が不必要に制御対象機器の画像に向かってしまい、操作者本来の仕事の妨げとなってしまうことが考えられる。
In view of this, it may be possible to operate the controlled device by switching between automatic control of the controlled device and manual operation of the controlled device by an operator.
In the case of automatic control, when the operator is not supposed to operate the device, the operation of the controlled device during automatic control is meaningless information even if it is displayed on the screen that the operator is looking at. This is because there is no point for the operator, whose purpose is to operate the device manually, to look at a controlled object that he or she cannot interfere with. In addition, the operator's viewpoint may be unnecessarily directed toward the image of the controlled device, which may interfere with the operator's actual work.
また、タスクの実行では、タスクが正しく実行されたか否か(タスクに成功したか否か)の結果が重要であり、タスク実行中の制御対象機器の画像は必ずしも必要ない。これに対し、シミュレータを用いて制御対象機器の動作を模擬して制御対象機器の画像を描画する場合、制御対象機器の画像の描画がコンピュータ(例えば、制御システム100)に不要な負荷を与えてしまうことが考えられる。 In addition, when executing a task, the important thing is the result of whether the task was executed correctly (whether the task was successful or not), and an image of the controlled device during task execution is not necessarily required. In contrast, when using a simulator to simulate the operation of the controlled device and draw an image of the controlled device, it is conceivable that drawing the image of the controlled device places an unnecessary load on the computer (e.g., control system 100).
これに対し、制御システム100では、制御対象機器の自動制御の際に、制御対象機器の表示を固定にする。制御システム100によれば、この点で、操作者が、制御対象機器の画像に気をとられて視点が不必要に制御対象機器の画像に向かってしまい、操作者本来の仕事の妨げとなってしまうことを回避できると期待される。
また、制御システム100では、制御対象機器の自動制御の際に、制御対象機器の表示を固定にする点で、操作者が3D酔いする可能性を低減させることができる。
また、制御システム100では、制御対象機器の自動制御の際に、制御対象機器の表示を固定にする点で、コンピュータに不要な負荷を与えてしまうことを回避できると期待される。
In contrast, in the
Furthermore, in the
Furthermore, in the
また、自動モードでは、シミュレータ描画部182は、表示部120の表示画面におけるロボット200の表示の少なくとも一部を隠す態様で、自動モードであることを示す表示を、表示部120の表示画面に表示させる。操作メッセージ出力部188は、操作者の操作がロボット200の動作に反映されないようにする。
手動モードでは、シミュレータ描画部182は、自動モードであることを示す表示を終了させる。操作メッセージ出力部188は、操作者の操作が前記制御対象の動作に反映されるようにする。
In the automatic mode, the
In the manual mode, the
制御システム100によれば、自動モードの際に、表示部120が自動モードであることを示す表示を行う点で、操作者は、自動モードであることを把握することができ、操作者がロボット200の制御に気をとられて操作者本来の仕事の妨げとなってしまうことを回避できると期待される。
When the
また、制御システム100によれば、自動モードの際に、表示部120が制御対象機器の表示の少なくとも一部を隠す態様で、自動モードであることを示す表示を行う点で、操作者が、ロボット200の画像を見ながら操作を行うことが困難である。これにより、操作者が、自動制御の際にロボット200に対する操作に気をとられて操作者本来の仕事の妨げとなってしまうことを回避できると期待される。
In addition, according to the
さらには、制御システム100によれば、自動モードの際に、操作メッセージ出力部188が、操作者の操作がロボット200の動作に反映されないようにする点で、操作者は、ロボット200に対する操作を行うことができない。この点でも、操作者が、自動制御の際ロボット200に対する操作に気をとられて操作者本来の仕事の妨げとなってしまうことを回避できると期待される。
Furthermore, according to the
また、自動モードから手動モードに切り替わる際、操作メッセージ出力部188は、ロボット200の状態を、例えばタスク実行開始時の状態など、表示部120の表示画面に固定的に表示されている状態にする。その後、シミュレータ描画部182は、ロボット200の表示の固定を解除する。
これにより、操作者は、前回の手動モード終了時のロボット200の状態からロボット200に対する操作を再開することができる。制御システム100によればこの点で、操作者が自動モードの際のロボット200の状態変化を把握していなくても、違和感なくロボット200の操作を行えると期待される。
Furthermore, when switching from the automatic mode to the manual mode, the operation
This allows the operator to resume operation of the
また、モード切替部187は、タスク実行モードと、通常モードとの切替を行う。タスク実行モードでは、タスク処理部186が、タスク実行開始条件が成立しているか否かを判定する。タスク実行開始条件が成立しているとタスク処理部186が判定した場合、モード切替部187は、自動モード/手動モードの区別を自動モードに設定することで、タスク処理部186にロボット200にタスクを実行させる制御を行わせる。
制御システム100によれば、タスク実行開始条件が成立していない場合は、タスク実行開始条件の成立を待ってロボット200にタスクを実行させることができる。制御システム100によれば、この点で、より確実にロボット200にタスクを実行させることができる。
Furthermore, the
According to the
実施形態では、制御システム100がロボット200に実行させるタスクが、ピックアンドプレース時の部材自動補充のタスクである場合を例に説明しているが、制御システム100がロボット200に実行させるタスクは、特定のものに限定されない。例えば、ロボット200を用いた遠隔手術での操作道具の変更など、いろいろなタスクを、制御システム100がロボット200に実行させるタスクとすることができる。
また、本発明は、ロボット遠隔操作、仮想現実、および、メタバースなど、いろいろな分野に適用することが考えられる。
In the embodiment, the case is described in which the task that the
The present invention is also considered to be applicable to various fields such as robot remote control, virtual reality, and the metaverse.
図10は、実施形態に係る制御システムの構成のもう1つの例を示す図である。図10に示す構成で、制御システム610は、モード切替部611と、モード対応部612とを備える。
かかる構成で、モード切替部611は、制御対象機器の制御の自動モードと手動モードとを切り替える。モード対応部612は、自動モードでは、表示画面における制御対象機器の表示を固定にし、制御対象機器の自動制御を行い、手動モードでは、表示画面における制御対象機器の表示の固定を解除し、操作者の操作に従って制御対象機器を動作させる。
モード切替部611はモード切替手段の例に該当する。モード対応部612は、モード対応手段の例に該当する。
10 is a diagram showing another example of the configuration of the control system according to the embodiment. In the configuration shown in FIG. 10, a
In this configuration, the
The
制御システム610によれば、制御対象機器に対する自動制御の実行によって、操作者の負担がより確実に軽減されることが期待される。
特に、制御システム610では、制御対象機器の自動制御の際に、制御対象機器の表示を固定にする点で、操作者が、制御対象機器の画像に気をとられて視点が不必要に制御対象機器の画像に向かってしまい、操作者本来の仕事の妨げとなってしまうことを回避できると期待される。
According to the
In particular, in the
また、制御システム610では、制御対象機器の自動制御の際に、制御対象機器の表示を固定にする点で、操作者が3D酔いする可能性を低減させることができる。
また、制御システム610では、制御対象機器の自動制御の際に、制御対象機器の表示を固定にする点で、コンピュータに不要な負荷を与えてしまうことを回避できると期待される。
Furthermore, in the
Furthermore, in the
図11は、実施形態に係る制御方法における処理の手順の例を示す図である。図11に示す制御方法は、モードを切り替えること(ステップS611)と、モード対応処理を行うこと(ステップS612)とを含む。
モードを切り替えること(ステップS611)では、コンピュータが、制御対象機器の制御の自動モードと手動モードとを切り替える。モード対応処理を行うこと(ステップS612)では、コンピュータが、自動モードでは、表示画面における制御対象機器の表示を固定にし、制御対象機器の自動制御を行い、手動モードでは、表示画面における制御対象機器の表示の固定を解除し、操作者の操作に従って制御対象機器を動作させる。
Fig. 11 is a diagram showing an example of a procedure of a process in a control method according to an embodiment. The control method shown in Fig. 11 includes switching a mode (step S611) and performing a mode corresponding process (step S612).
In the step of switching the mode (step S611), the computer switches between an automatic mode and a manual mode for controlling the controlled device. In the step of performing the mode corresponding process (step S612), in the automatic mode, the computer fixes the display of the controlled device on the display screen and automatically controls the controlled device, and in the manual mode, the computer releases the fixation of the display of the controlled device on the display screen and operates the controlled device according to the operation of the operator.
図11に示す制御方法によれば、制御対象機器に対する自動制御の実行によって、操作者の負担がより確実に軽減されることが期待される。
特に、図11に示す制御方法によれば、制御対象機器の自動制御の際に、制御対象機器の表示を固定にする点で、操作者が、制御対象機器の画像に気をとられて視点が不必要に制御対象機器の画像に向かってしまい、操作者本来の仕事の妨げとなってしまうことを回避できると期待される。
According to the control method shown in FIG. 11, it is expected that the burden on the operator will be more reliably reduced by executing automatic control over the controlled device.
In particular, according to the control method shown in FIG. 11, when the controlled equipment is automatically controlled, the display of the controlled equipment is fixed, and it is expected that it is possible to prevent the operator from being distracted by the image of the controlled equipment and unnecessarily directing his/her gaze toward the image of the controlled equipment, which would interfere with the operator's actual work.
また、図11に示す制御方法によれば、制御対象機器の自動制御の際に、制御対象機器の表示を固定にする点で、操作者が3D酔いする可能性を低減させることができる。
また、図11に示す制御方法によれば、制御対象機器の自動制御の際に、制御対象機器の表示を固定にする点で、コンピュータに不要な負荷を与えてしまうことを回避できると期待される。
Furthermore, according to the control method shown in FIG. 11, when the controlled device is automatically controlled, the display of the controlled device is fixed, thereby reducing the possibility that the operator will suffer from 3D motion sickness.
Furthermore, according to the control method shown in FIG. 11, when the controlled device is automatically controlled, the display of the controlled device is fixed, and it is expected that it will be possible to avoid placing an unnecessary load on the computer.
図12は、少なくとも1つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
図9に示す構成で、コンピュータ700は、CPU710と、主記憶装置720と、補助記憶装置730と、インタフェース740と、不揮発性記録媒体750とを備える。
FIG. 12 is a schematic block diagram illustrating a configuration of a computer according to at least one embodiment.
In the configuration shown in FIG. 9, a
上記の制御システム100、ロボット200(特に、ロボット側記憶部270、および、ロボット側処理部280)、および、制御システム610のうち何れか1つ以上またはその一部が、コンピュータ700に実装されてもよい。その場合、上述した各処理部の動作は、プログラムの形式で補助記憶装置730に記憶されている。CPU710は、プログラムを補助記憶装置730から読み出して主記憶装置720に展開し、当該プログラムに従って上記処理を実行する。また、CPU710は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置720に確保する。各装置と他の装置との通信は、インタフェース740が通信機能を有し、CPU710の制御に従って通信を行うことで実行される。また、インタフェース740は、不揮発性記録媒体750用のポートを有し、不揮発性記録媒体750からの情報の読出、および、不揮発性記録媒体750への情報の書込を行う。
The above-mentioned
制御システム100がコンピュータ700に実装される場合、制御側処理部180およびその各部の動作は、プログラムの形式で補助記憶装置730に記憶されている。CPU710は、プログラムを補助記憶装置730から読み出して主記憶装置720に展開し、当該プログラムに従って上記処理を実行する。
When the
また、CPU710は、プログラムに従って、制御側記憶部170のための記憶領域を主記憶装置720に確保する。制御側通信部110による他の装置との通信は、インタフェース740が通信機能を有し、CPU710の制御に従って動作することで実行される。表示部120による画像の表示は、インタフェース740が表示装置を備え、CPU710の制御に従って各種画像の表示することで実行される。操作入力部130によるユーザ操作の受け付けは、インタフェース740が入力デバイスを備え、CPU710の制御に従ってユーザ操作を受け付けることで実行される。
The
ロボット200がコンピュータ700に実装される場合、ロボット側処理部280およびその各部の動作は、プログラムの形式で補助記憶装置730に記憶されている。CPU710は、プログラムを補助記憶装置730から読み出して主記憶装置720に展開し、当該プログラムに従って上記処理を実行する。
When the
また、CPU710は、プログラムに従って、ロボット側記憶部270のための記憶領域を主記憶装置720に確保する。ロボット側通信部210による他の装置との通信は、インタフェース740が通信機能を有し、CPU710の制御に従って動作することで実行される。センサ220によるセンサデータの取得は、インタフェース740がセンサを有し、CPU710の制御によって動作することで実行される。駆動装置230によるロボット200の本体の駆動は、インタフェース740が例えばサーボモータなど動力源を有し、CPU710の制御に従って動作することで実行される。
The
制御システム610がコンピュータ700に実装される場合、その各部の動作は、プログラムの形式で補助記憶装置730に記憶されている。CPU710は、プログラムを補助記憶装置730から読み出して主記憶装置720に展開し、当該プログラムに従って上記処理を実行する。
When the
また、CPU710は、プログラムに従って、制御システム610が処理を行うための記憶領域を主記憶装置720に確保する。制御システム610と他の装置との通信は、インタフェース740が通信機能を有し、CPU710の制御に従って動作することで実行される。制御システム610と操作者とのインタラクションは、インタフェース740が表示装置、コントローラ、マウス、および、キーボード等の入出力デバイスを備え、CPU710の制御に従って動作することで実行される。
The
上述したプログラムのうち何れか1つ以上が不揮発性記録媒体750に記録されていてもよい。この場合、インタフェース740が不揮発性記録媒体750からプログラムを読み出すようにしてもよい。そして、CPU710が、インタフェース740が読み出したプログラムを直接実行するか、あるいは、主記憶装置720または補助記憶装置730に一旦保存して実行するようにしてもよい。
One or more of the above-mentioned programs may be recorded in the
なお、制御システム100、ロボット200、および、制御システム610が行う処理の全部または一部を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OS(Operating System)や周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM(Read Only Memory)、CD-ROM(Compact Disc Read Only Memory)等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
Note that a program for executing all or part of the processing performed by the
Furthermore, the term "computer-readable recording medium" refers to portable media such as flexible disks, optical magnetic disks, ROMs (Read Only Memory), and CD-ROMs (Compact Disc Read Only Memory), as well as storage devices such as hard disks built into computer systems. The above-mentioned program may be for realizing part of the above-mentioned functions, or may be capable of realizing the above-mentioned functions in combination with a program already recorded in the computer system.
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 The above describes an embodiment of the present invention in detail with reference to the drawings, but the specific configuration is not limited to this embodiment, and includes designs that do not deviate from the gist of the present invention.
1 ロボットシステム
100、610 制御システム
110 制御側通信部
120 表示部
130 操作入力部
131 コントローラ
132 マウス
133 キーボード
170 制御側記憶部
180 制御側処理部
181ユーザインタフェース部
182 シミュレータ描画部
183 操作インタフェース部
184 タスクアイコン処理部
185 姿勢情報取得部
186 タスク処理部
187、611 モード切替部
188 操作メッセージ出力部
200 ロボット
210 ロボット側通信部
220 センサ
230 駆動装置
270 ロボット側記憶部
280 ロボット側処理部
281 操作メッセージ取得部
282 ロボット制御部
283 センサ情報出力部
612 モード対応部
1
Claims (5)
前記自動モードでは、表示画面における前記制御対象機器の画像の表示を前記自動モード開始時の画像に固定にし、前記制御対象機器の自動制御を行い、前記手動モードでは、表示画面における前記制御対象機器の画像の表示の固定を解除し、操作者の操作に従って前記制御対象機器を動作させ、動作する前記制御対象機器の画像を前記表示画面に表示し、前記自動モードから手動モードに切り替わる際、前記制御対象機器の状態を、前記自動モードでの動作後の状態から、前記自動モード開始時の前記制御対象機器の状態にした後、表示画面における前記制御対象機器の画像の表示の固定を解除して、操作者の操作に従って動作する前記制御対象機器の画像を前記表示画面に表示する、モード対応手段と、
を備える制御システム。 a mode switching means for switching between an automatic mode and a manual mode for controlling the controlled device;
a mode response means for, in the automatic mode, fixing the display of an image of the controlled device on the display screen to an image at the start of the automatic mode , and automatically controlling the controlled device, and, in the manual mode, releasing the fixation of the display of the image of the controlled device on the display screen, operating the controlled device in accordance with an operation by an operator , and displaying an image of the operating controlled device on the display screen, and, when switching from the automatic mode to the manual mode, changing a state of the controlled device from a state after operation in the automatic mode to a state of the controlled device at the start of the automatic mode, releasing the fixation of the display of the image of the controlled device on the display screen, and displaying an image of the controlled device operating in accordance with an operation by an operator on the display screen;
A control system comprising:
請求項1に記載の制御システム。 The mode response means, in the automatic mode, displays a display indicating that the mode is automatic on the display screen in a manner that hides at least a part of the image of the controlled device on the display screen, which is fixed to the image at the start of the automatic mode, and then operates the controlled device , so that the operation of the operator is not reflected in the operation of the controlled device, and, in the manual mode, ends the display indicating that the mode is automatic, so that the operation of the operator is reflected in the operation of the controlled device.
The control system of claim 1 .
請求項1または請求項2に記載の制御システム。 The mode switching means switches between a task execution mode in which the mode response means causes the controlled device to execute a task in which a series of operations of the controlled device is set, and a normal mode in which the mode response means causes the controlled device to operate in accordance with an operation by an operator, and when a task execution start condition is satisfied in the task execution mode, causes the mode response means to control the controlled device to execute the task in the automatic mode.
A control system according to claim 1 or 2 .
制御対象機器の制御の自動モードと手動モードとを切り替え、
前記自動モードでは、表示画面における前記制御対象機器の画像の表示を前記自動モード開始時の画像に固定にし、前記制御対象機器の自動制御を行い、前記手動モードでは、表示画面における前記制御対象機器の画像の表示の固定を解除し、操作者の操作に従って前記制御対象機器を動作させ、動作する前記制御対象機器の画像を前記表示画面に表示し、前記自動モードから手動モードに切り替わる際、前記制御対象機器の状態を、前記自動モードでの動作後の状態から、前記自動モード開始時の前記制御対象機器の状態にした後、表示画面における前記制御対象機器の画像の表示の固定を解除して、操作者の操作に従って動作する前記制御対象機器の画像を前記表示画面に表示する、
ことを含む制御方法。 The computer
Switch between automatic and manual modes of control of the controlled device,
In the automatic mode, the display of the image of the controlled device on the display screen is fixed to the image at the start of the automatic mode , and automatic control of the controlled device is performed; in the manual mode, the fixation of the display of the image of the controlled device on the display screen is released, the controlled device is operated in accordance with an operation by an operator , and an image of the operating controlled device is displayed on the display screen; when switching from the automatic mode to the manual mode, the state of the controlled device is changed from the state after operation in the automatic mode to the state of the controlled device at the start of the automatic mode, and then the fixation of the display of the image of the controlled device on the display screen is released, and the image of the controlled device operating in accordance with the operation by the operator is displayed on the display screen.
The control method includes:
制御対象機器の制御の自動モードと手動モードとを切り替えることと、
前記自動モードでは、表示画面における前記制御対象機器の画像の表示を前記自動モード開始時の画像に固定にし、前記制御対象機器の自動制御を行い、前記手動モードでは、表示画面における前記制御対象機器の画像の表示の固定を解除し、操作者の操作に従って前記制御対象機器を動作させ、動作する前記制御対象機器の画像を前記表示画面に表示し、前記自動モードから手動モードに切り替わる際、前記制御対象機器の状態を、前記自動モードでの動作後の状態から、前記自動モード開始時の前記制御対象機器の状態にした後、表示画面における前記制御対象機器の画像の表示の固定を解除して、操作者の操作に従って動作する前記制御対象機器の画像を前記表示画面に表示することと、
を実行させるためのプログラム。 On the computer,
Switching between an automatic mode and a manual mode of control of the controlled device;
in the automatic mode, the display of an image of the controlled device on the display screen is fixed to an image at the start of the automatic mode , and automatic control of the controlled device is performed; in the manual mode, the display of the image of the controlled device on the display screen is released, the controlled device is operated in accordance with an operation by an operator , and an image of the operating controlled device is displayed on the display screen; when switching from the automatic mode to the manual mode, the state of the controlled device is changed from the state after operation in the automatic mode to the state of the controlled device at the start of the automatic mode, and then the display of the image of the controlled device on the display screen is released, and an image of the controlled device operating in accordance with the operation of the operator is displayed on the display screen ;
A program for executing the above.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022041421A JP7513292B2 (en) | 2022-03-16 | 2022-03-16 | Control system, control method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022041421A JP7513292B2 (en) | 2022-03-16 | 2022-03-16 | Control system, control method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023136024A JP2023136024A (en) | 2023-09-29 |
JP7513292B2 true JP7513292B2 (en) | 2024-07-09 |
Family
ID=88145498
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022041421A Active JP7513292B2 (en) | 2022-03-16 | 2022-03-16 | Control system, control method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7513292B2 (en) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004334258A (en) | 2003-04-30 | 2004-11-25 | Nitto Seiko Co Ltd | Robot control unit |
JP2007095081A (en) | 2006-10-12 | 2007-04-12 | Jtekt Corp | Operation control console panel |
JP2010214572A (en) | 2009-03-19 | 2010-09-30 | Denso Wave Inc | Robot control instruction input device |
US20150321350A1 (en) | 2012-12-06 | 2015-11-12 | International Electronic Machines Corporation | Human Augmentation of Robotic Work |
WO2016051544A1 (en) | 2014-09-30 | 2016-04-07 | 株式会社牧野フライス製作所 | Control device for machine tool |
WO2017033350A1 (en) | 2015-08-25 | 2017-03-02 | 川崎重工業株式会社 | Remote control robot system and operation method thereof |
JP2020029221A (en) | 2018-08-24 | 2020-02-27 | 日本精機株式会社 | Display device |
-
2022
- 2022-03-16 JP JP2022041421A patent/JP7513292B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004334258A (en) | 2003-04-30 | 2004-11-25 | Nitto Seiko Co Ltd | Robot control unit |
JP2007095081A (en) | 2006-10-12 | 2007-04-12 | Jtekt Corp | Operation control console panel |
JP2010214572A (en) | 2009-03-19 | 2010-09-30 | Denso Wave Inc | Robot control instruction input device |
US20150321350A1 (en) | 2012-12-06 | 2015-11-12 | International Electronic Machines Corporation | Human Augmentation of Robotic Work |
WO2016051544A1 (en) | 2014-09-30 | 2016-04-07 | 株式会社牧野フライス製作所 | Control device for machine tool |
WO2017033350A1 (en) | 2015-08-25 | 2017-03-02 | 川崎重工業株式会社 | Remote control robot system and operation method thereof |
JP2020029221A (en) | 2018-08-24 | 2020-02-27 | 日本精機株式会社 | Display device |
Also Published As
Publication number | Publication date |
---|---|
JP2023136024A (en) | 2023-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102441640B1 (en) | Virtual Reality Laparoscopic Tools | |
KR102376000B1 (en) | Virtual Reality Training, Simulation, and Collaboration in Robotic Surgical Systems | |
US11007646B2 (en) | Programming assistance apparatus, robot system, and method for generating program | |
KR102031232B1 (en) | Robot system | |
US9387589B2 (en) | Visual debugging of robotic tasks | |
US7194396B2 (en) | Simulation device | |
CN107106245B (en) | Interaction between user interface and master controller | |
EP1247623A2 (en) | Robot information processing system | |
CN110612181B (en) | Method for controlling an industrial robot during the guidance of the robot through programming and industrial robot | |
Zhang et al. | A microsurgical robot research platform for robot-assisted microsurgery research and training | |
KR20120104493A (en) | Ratcheting for master alignment of a teleoperated minimally-invasive surgical instrument | |
KR101010761B1 (en) | Controller for robot having robot body and additional mechanism providing additional operation axes | |
Kumar | An augmented steady hand system for precise micromanipulation | |
US20220226062A1 (en) | Service life management for an instrument of a robotic surgery system | |
CN115519539A (en) | Program creation device, program, and robot operation program | |
JP7513292B2 (en) | Control system, control method, and program | |
KR100586533B1 (en) | Haptic system using voice coil motor | |
CN106808476B (en) | Working device and teaching method in working device | |
WO2023053174A1 (en) | Robot system, robot device, robot controller, end effector, and end effector control method | |
US20230381950A1 (en) | Robot control system | |
JPH10254344A (en) | Cooperative object operating device | |
JPH06110545A (en) | Programming method for teaching data | |
JP2001042907A (en) | Sequence controller | |
JPH04286015A (en) | Position instruction system using mouse | |
US20240111357A1 (en) | Interaction between user-interface and master controller |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230707 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240227 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20240408 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240425 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240528 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240620 |