JP7513292B2 - Control system, control method, and program - Google Patents
Control system, control method, and program Download PDFInfo
- Publication number
- JP7513292B2 JP7513292B2 JP2022041421A JP2022041421A JP7513292B2 JP 7513292 B2 JP7513292 B2 JP 7513292B2 JP 2022041421 A JP2022041421 A JP 2022041421A JP 2022041421 A JP2022041421 A JP 2022041421A JP 7513292 B2 JP7513292 B2 JP 7513292B2
- Authority
- JP
- Japan
- Prior art keywords
- mode
- controlled device
- robot
- image
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 31
- 230000004044 response Effects 0.000 claims description 8
- 238000004891 communication Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 14
- 230000007704 transition Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000004088 simulation Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 201000003152 motion sickness Diseases 0.000 description 3
- 230000001934 delay Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
Images
Landscapes
- Numerical Control (AREA)
- Manipulator (AREA)
Description
本発明は、制御システム、制御方法およびプログラムに関する。 The present invention relates to a control system, a control method, and a program.
ロボットの遠隔操作など制御対象機器の操作を行う操作者の負担を軽減する方法の１つとして、制御対象機器にタスクを実行させるなど、制御対象機器の制御が自動または半自動で行われる場合がある（例えば、特許文献１参照）。タスクでは、制御対象機器が行う一連の動作が設定されており、操作者は詳細な操作を行う必要が無い。 One method for reducing the burden on an operator who operates a controlled device, such as remotely controlling a robot, is to automatically or semi-automatically control the controlled device, such as by having the controlled device execute a task (see, for example, Patent Document 1). In a task, a series of operations to be performed by the controlled device is set, and the operator does not need to perform detailed operations.
制御対象機器に行わせる動作を全てタスク化することはできない場合など、制御対象機器に対する自動制御と手動操作との切替が行われる場合が考えられる。この場合、制御対象機器に対する自動制御の実行によって、操作者の負担がより確実に軽減されることが好ましい。 In cases where it is not possible to turn all of the operations to be performed by the controlled device into tasks, there may be cases where the controlled device is switched between automatic control and manual operation. In such cases, it is preferable to more reliably reduce the burden on the operator by executing automatic control of the controlled device.
本発明の目的の一例は、上述の課題を解決することのできる制御システム、制御方法およびプログラムを提供することである。 One example of the objective of the present invention is to provide a control system, a control method, and a program that can solve the above-mentioned problems.
本発明の第１の態様によれば、制御システムは、制御対象機器の制御の自動モードと手動モードとを切り替えるモード切替手段と、前記自動モードでは、表示画面における前記制御対象機器の画像の表示を前記自動モード開始時の画像に固定にし、前記制御対象機器の自動制御を行い、前記手動モードでは、表示画面における前記制御対象機器の画像の表示の固定を解除し、操作者の操作に従って前記制御対象機器を動作させ、動作する前記制御対象機器の画像を前記表示画面に表示し、前記自動モードから手動モードに切り替わる際、前記制御対象機器の状態を、前記自動モードでの動作後の状態から、前記自動モード開始時の前記制御対象機器の状態にした後、表示画面における前記制御対象機器の画像の表示の固定を解除して、操作者の操作に従って動作する前記制御対象機器の画像を前記表示画面に表示する、モード対応手段と、を備える。 According to a first aspect of the present invention, a control system comprises a mode switching means for switching between an automatic mode and a manual mode for controlling a controlled device, and a mode response means for, in the automatic mode, fixing the display of an image of the controlled device on the display screen to an image at the start of the automatic mode and automatically controlling the controlled device, and for, in the manual mode, releasing the fixation of the display of the image of the controlled device on the display screen, operating the controlled device in accordance with an operator's operation , and displaying an image of the operating controlled device on the display screen, and when switching from the automatic mode to the manual mode, changing the state of the controlled device from the state after operation in the automatic mode to the state of the controlled device at the start of the automatic mode, and then releasing the fixation of the display of the image of the controlled device on the display screen, and displaying an image of the controlled device operating in accordance with the operator's operation on the display screen .
本発明の第２の態様によれば、制御方法は、コンピュータが、制御対象機器の制御の自動モードと手動モードとを切り替え、前記自動モードでは、表示画面における前記制御対象機器の画像の表示を前記自動モード開始時の画像に固定にし、前記制御対象機器の自動制御を行い、前記手動モードでは、表示画面における前記制御対象機器の画像の表示の固定を解除し、操作者の操作に従って前記制御対象機器を動作させ、動作する前記制御対象機器の画像を前記表示画面に表示し、前記自動モードから手動モードに切り替わる際、前記制御対象機器の状態を、前記自動モードでの動作後の状態から、前記自動モード開始時の前記制御対象機器の状態にした後、表示画面における前記制御対象機器の画像の表示の固定を解除して、操作者の操作に従って動作する前記制御対象機器の画像を前記表示画面に表示する、ことを含む。 According to a second aspect of the present invention, a control method includes a computer switching between an automatic mode and a manual mode for controlling a controlled device, and in the automatic mode, fixing the display of an image of the controlled device on a display screen to an image at the start of the automatic mode and automatically controlling the controlled device, and in the manual mode, releasing the fixation of the display of the image of the controlled device on the display screen, operating the controlled device in accordance with an operator's operation , and displaying an image of the operating controlled device on the display screen, and when switching from the automatic mode to the manual mode, changing a state of the controlled device from a state after operation in the automatic mode to the state of the controlled device at the start of the automatic mode, and then releasing the fixation of the display of the image of the controlled device on the display screen, and displaying an image of the controlled device operating in accordance with an operator's operation on the display screen .
本発明の第３の態様によれば、プログラムは、コンピュータに、制御対象機器の制御の自動モードと手動モードとを切り替えることと、前記自動モードでは、表示画面における前記制御対象機器の画像の表示を前記自動モード開始時の画像に固定にし、前記制御対象機器の自動制御を行い、前記手動モードでは、表示画面における前記制御対象機器の画像の表示の固定を解除し、操作者の操作に従って前記制御対象機器を動作させ、動作する前記制御対象機器の画像を前記表示画面に表示し、前記自動モードから手動モードに切り替わる際、前記制御対象機器の状態を、前記自動モードでの動作後の状態から、前記自動モード開始時の前記制御対象機器の状態にした後、表示画面における前記制御対象機器の画像の表示の固定を解除して、操作者の操作に従って動作する前記制御対象機器の画像を前記表示画面に表示することと、を実行させるためのプログラムである。
According to a third aspect of the present invention, a program causes a computer to switch between an automatic mode and a manual mode for controlling a controlled device; in the automatic mode, fix the display of an image of the controlled device on the display screen to an image at the start of the automatic mode and automatically control the controlled device; and in the manual mode, release the fixation of the display of the image of the controlled device on the display screen, operate the controlled device in accordance with an operator's operation , and display an image of the operating controlled device on the display screen; and when switching from the automatic mode to the manual mode, change the state of the controlled device from the state after operation in the automatic mode to the state of the controlled device at the start of the automatic mode, and then release the fixation of the display of the image of the controlled device on the display screen and display an image of the controlled device operating in accordance with the operator's operation on the display screen .
本発明によれば、制御対象機器に対する自動制御の実行によって、操作者の負担がより確実に軽減されることが期待される。 The present invention is expected to more reliably reduce the burden on operators by executing automatic control of controlled devices.
以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図１は、実施形態に係るロボットシステムの構成の例を示す図である。図１に示す構成で、ロボットシステム１は、制御システム１００と、ロボット２００とを備える。
The following describes embodiments of the present invention, but the following embodiments do not limit the scope of the invention. Furthermore, not all of the combinations of features described in the embodiments are necessarily essential to the solution of the invention.
1 is a diagram showing an example of the configuration of a robot system according to an embodiment. In the configuration shown in FIG. 1, the robot system 1 includes a
ロボットシステム１では、ロボット２００が制御システム１００の制御に従って動作する。特に、ロボットシステム１では、ロボット２００に対する自動制御と手動操作との切替が可能である。ここでの自動制御は、ロボット２００の動作実行時に、操作者による操作を必要としないことである。また、手動操作では操作者が、制御システム１００が有する表示画面に表示されるロボット２００の画像を見ながら操作を行うものとする。この場合のロボット２００の画像は、ロボット２００の全体の画像であってもよいし一部の画像であってもよい。
In the robot system 1, the
操作者がロボット２００の画像を見ながら操作を行う場合は、特定の場合に限定されない。例えば、遠隔操作など、操作者がロボット２００を直接見ることができないか、または、見づらい場合であってもよい。あるいは、操作者が拡大画像を見ながらロボット２００を用いて精密作業を行う場合であってもよい。あるいは、温度など操作者が直接見ることができない情報を参照する場合であってもよい。
The cases in which the operator operates the
実施形態では、ロボット２００がマニピュレータ（Manipulator）である場合を例に説明する。ただし、制御システム１００が対象とする制御対象機器は、マニピュレータに限定されず、さらには、ロボットに限定されない。制御対象機器の位置および姿勢など制御対象の状態を、自動制御または手動操作の何れでも制御可能であり、遠隔操作などで制御対象機器の画像を見ながら操作が行われる、いろいろな制御対象機器を、制御システム１００の対象とすることができる。
In the embodiment, an example will be described in which the
また、以下では、ロボット２００にタスクを実行させる際に、ロボット２００の自動制御が行われるものとする。ここでいうタスクとは、何らかの目的達成のためにロボットなどの制御対象機器に行わせる動作である。タスクが、一連の手続（サブタスク）を一纏めにしたものとして定められていてもよい。
In the following description, it is assumed that the
制御システム１００は、ロボットにタスクを実行させるタスク実行モードと、操作者によるロボット２００の操作を受け付ける通常モードとの切替を行うものとする。
タスク実行モードでも、操作者がロボット２００を操作する場合があってもよい。例えば制御システム１００が、タスク実行開始条件が成立しているか否かを判定するようにしてもよい。そして、制御システム１００が、タスク実行開始条件が成立していると判定した場合は、ロボット２００にタスクを実行させ、タスク実行開始条件が成立してないと判定した場合は、タスク実行開始条件が成立するまで操作者による操作を受け付けるようにしてもよい。
The
Even in the task execution mode, there may be cases where the operator operates the
図２は、ロボット２００の例を示す図である。図２では、部材を把持しているロボット２００が示されている。
また、図２では、ロボット２００がピックアンドプレース（Pick And Place）のタスクを実行して部材の自動補充を行う場合の例が示されている。ピックアンドプレースは、ロボットアーム等で物を持ち上げ、所定の位置まで移動させることである。図２の例では、ロボット２００は、部材置き場から部材補充スペースへ部材を移動させる。
Fig. 2 is a diagram showing an example of a
2 also shows an example in which the
図３は、ロボット２００の構成の例を示す図である。図３に示す構成で、ロボット２００は、ロボット側通信部２１０と、センサ２２０と、駆動装置２３０と、ロボット側記憶部２７０と、ロボット側処理部２８０とを備える。
ロボット側処理部２８０は、操作メッセージ取得部２８１と、ロボット制御部２８２とを備える。ロボット制御部２８２は、センサ情報出力部２８３を備える。
Fig. 3 is a diagram showing an example of the configuration of the
The robot
ロボット側通信部２１０は、他の装置と通信を行う。特にロボット側通信部２１０は、制御システム１００と通信をおこなって、手動操作によるロボット２００の動作の指令を示す操作メッセージ、または、ロボット２００にタスクの実行を指示するタスク実行メッセージ等の制御指令を取得する。また、ロボット側通信部２１０は、センサ２２０によるセンサデータを制御システム１００へ送信する。
The
センサ２２０は、ロボット２００の各部の姿勢および位置変化速度など、ロボット２００の状態を示すデータの測定を行い、得られるセンサデータをロボット側処理部２８０へ出力する。センサ２２０に、ロボット２００の動作環境を測定するセンサを含んでいてもよい。
The
駆動装置２３０は、ロボット制御部２８２の制御に従ってロボット２００の各部を動作させる。駆動装置２３０は、例えばモータなど複数のアクチュエータ（Actuator）を含んで構成される。
ロボット側記憶部２７０は、各種情報を記憶する。
ロボット側処理部２８０は、ロボット２００の各部を制御して、ロボット２００を動作させるなど各種処理を行う。
The
The robot-
The robot
操作メッセージ取得部２８１は、ロボット側通信部２１０が制御システム１００から受信した受信データから、操作メッセージおよびタスク実行メッセージなどの制御指令を抽出する。操作メッセージ取得部２８１は、抽出した操作指令をロボット制御部２８２へ出力する。
The operation message acquisition unit 281 extracts control commands such as operation messages and task execution messages from the received data received by the robot
ロボット制御部２８２は、操作メッセージ取得部２８１が出力する制御指令に従って駆動装置２３０を駆動させ、ロボット２００を動作させる。制御システム１００によるロボット２００に対する制御は、上位制御に該当する。ロボット制御部２８２によるロボット２００の制御は、上位制御に従って行われる下位制御に該当する。
The
ロボット制御部２８２が、タスク終了時に、ロボット２００の状態（ロボット２００の姿勢）をタスク実行開始時の状態などタスク実行前の状態に戻すようにしてもよい。これにより、操作者は、タスクの実行によるロボット２００の状態変化を気にせずにロボット２００の操作を再開することができ、この点で、操作者が違和感なくロボット２００の操作を再開できることが期待される。
The
センサ情報出力部２８３は、所定のステップ時間の間ロボット２００を動作させた後、センサ２２０から取得するセンサデータを、ロボット側通信部２１０を介して制御システム１００へ送信する。
After operating the
図４は、制御システム１００の構成の例を示す図である。図４に示す構成で、制御システム１００は、制御側通信部１１０と、表示部１２０と、操作入力部１３０と、制御側記憶部１７０と、制御側処理部１８０とを備える。
操作入力部１３０は、コントローラ１３１と、マウス１３２と、キーボード１３３とを備える。
制御側処理部１８０は、ユーザインタフェース部１８１と、姿勢情報取得部１８５と、タスク処理部１８６と、モード切替部１８７と、操作メッセージ出力部１８８とを備える。ユーザインタフェース部１８１は、シミュレータ描画部１８２と、操作インタフェース部１８３と、タスクアイコン処理部１８４とを備える。
Fig. 4 is a diagram showing an example of the configuration of the
The
The control
制御側通信部１１０は、他の装置と通信を行う。特に、制御側通信部１１０は、ロボット２００へ制御指令を送信する。また、制御側通信部１１０は、ロボット２００からセンサデータを取得する。
表示部１２０は、例えば液晶パネルまたはＬＥＤ（Light Emitting Diode、発光ダイオード）パネルなどの表示画面を有し、各種画像を表示する。特に、表示部１２０は、ロボット２００の画像、および、タスクアイコンを表示する。タスクアイコンは、タスクの種類および実行状況を示し、また、タスク実行と手動操作とを切り替えるユーザ操作を受け付けるアイコンである。
The
The
図５は、表示部１２０による表示の例を示す図である。
Figure 5 shows an example of a display by the
図５は、表示部１２０による表示画像の例を示す図である。
図５の例で、表示部１２０の表示画面に、ロボット２００の表示領域Ａ１１と、タスクアイコンの表示領域Ａ１２とが設けられている。操作者がロボット２００の操作を行うときは、表示部１２０が、ロボット２００のリアルタイムの画像を表示する。以下では、表示部１２０が、シミュレーションによるロボット２００の画像を表示する場合の例を説明するが、実際のロボット２００の画像を取得可能な場合は、表示部１２０が、実際のロボット２００の画像を表示するようにしてもよい。
操作者がタスクアイコンに対して例えばマウスクリック等の操作を行うと、制御システム１００は、ロボット２００の制御のモードを通常モードからタスク実行モードに切り替える。
FIG. 5 is a diagram showing an example of an image displayed by the
5, a display area A11 for the
When the operator performs an operation such as clicking the mouse on the task icon, the
図５は、ロボット２００がピックアンドプレースによる部材補充タスクを実行する場合の例を示しており、タスクアイコンには、ロボット２００が移動させる部材の画像と、タスクの準備として操作者が用意すべき部材の残数とが示されている。
操作者が、ロボット２００を操作して、あるいはそれ以外の何らかの方法で、部材を所定の部材置き場に置くたびに、タスクアイコンに書かれている部材の残数が１つ減る。タスクアイコンに書かれている部材の残数が０になると、部材補充タスクが自動実施され、ロボット２００は部材を補充する。例えば図２の場合、ロボット２００は、部材置き場にある部材を持ち上げて、部材補充スペースに整列して並べる。
FIG. 5 shows an example of the
Each time the operator places a component in a specified component storage area by operating the
操作入力部１３０は、操作者による入力操作を受け付ける。
コントローラ１３１は、操作者がロボット２００を手動操作する場合の操作を受け付ける。コントローラ１３１がジョイスティックを含んで構成されていてもよいが、これに限定されない。
マウス１３２およびキーボード１３３は、主に操作者が制御システム１００に対して行う操作を受け付ける。例えば、上記のように操作者がマウス１３２でタスクアイコンをクリックすると、制御システム１００は、ロボット２００の制御のモードを通常モードからタスク実行モードに切り替える。
The
The
The
制御側記憶部１７０は、各種情報を記憶する。特に、制御側記憶部１７０は、ロボット２００のタスク実行開始時の状態などタスク実行前の状態を記憶する。これにより、ロボット制御部２８２は、タスク終了時に、ロボット２００の状態をタスク実行開始時の状態などタスク実行前の状態に戻すことができる。
The control
制御側処理部１８０は、制御システム１００の各部を制御して各種処理を行う。
ユーザインタフェース部１８１は、操作者に対するユーザインタフェースとして機能する。
シミュレータ描画部１８２は、シミュレーションによって操作対象のロボット２００およびピックアンドプレース対象の部材を画面に描画する。例えば、シミュレータ描画部１８２は、制御システム１００がロボット２００へ送信する制御指令、および、制御システム１００がロボット２００から受信するセンサデータに基づいて、ロボット２００のシミュレーションを行い、ロボット２００および部材の描画を行う。
The control
The
The
また、シミュレータ描画部１８２は、補充タスク実行中に「補充中」のメッセージをシミュレータ画面（ロボット２００の画像）の上に重ねて表示する。具体的には、シミュレータ描画部１８２は、「補充中」のメッセージのウィンドウが、ロボット２００の画像の少なくとも一部を隠すように、表示部１２０に表示させる。
補充タスク終了後、ロボット２００の状態がタスク開始時の状態に戻ると、シミュレータ描画部１８２は、「補充中」のメッセージを非表示にする。
During the execution of the replenishment task, the
After the replenishment task is completed, when the state of the
操作インタフェース部１８３は、コントローラ１３１のデバイスドライバとして機能する。操作インタフェース部１８３は、コントローラ１３１から入力されるユーザ操作データを取得し、取得したユーザ操作データを、操作メッセージ出力部１８８を経由してメッセージ送信部に出力する。
The
タスクアイコン処理部１８４は、図５に例示されるタスクアイコンを表示部１２０に表示させる。また、タスクアイコン処理部１８４は、タスクアイコンのマウスクリック、または、キーボード１３３のショートカットキーの押下など、タスクアイコンに対するユーザ操作が行われた場合、通常モードからタスク実行モードへの遷移をモード切替部１８７に指示する。
The task
姿勢情報取得部１８５は、制御側通信部１１０がロボット２００から受信した受信データから、センサデータを抽出する。姿勢情報取得部１８５は、抽出したセンサデータをシミュレータ描画部１８２へ出力する。
The posture
タスク処理部１８６は、ロボット２００にタスクを実行させるための処理を行う。例えば、タスク処理部１８６は、ロボット２００の制御のモードがタスク実行モードになると、タスク実行開始条件を設定する。タスク処理部１８６が、操作者が記述した設定ファイルを読み込み、読み込んだ設定ファイルから、タスク実行開始条件、および、ロボット２００に実行させるタスクを読み取るようにしてもよい。本実施例では、設定ファイルに「部材の残数が０になった場合、部材補充タスクを実施する」と指定されているものとする。
The
タスク実行モードにて、タスク処理部１８６は、設定したタスク実行開始条件に基づいて、ロボット２００にタスクを実行させるか否かを判定する。また、タスク処理部１８６は、タスク実行開始条件が成立しているか否かの判定のための部材の残数のカウンタ値を、例えば、シミュレータ描画部１８２が実行するロボット２００のシミュレータのメモリ上で管理する。
タスク実行開始条件が成立していると判定した場合、タスク処理部１８６は、ロボット２００にタスクを実行させる。一方、タスク実行開始条件が成立していないと判定した場合、タスク処理部１８６は、例えば操作者によるロボット２００の操作によって、タスク実行開始条件が成立するのを待ち受ける。
In the task execution mode, the
When it is determined that the task execution start condition is satisfied, the
モード切替部１８７は、ロボット２００の制御モードを切り替える。モード切替部１８７は、モード切替手段の例に該当する。
具体的には、モード切替部１８７は、ロボット２００の制御モードの通常モードとタスク実行モードとを切り替える。
図６は、モード切替部１８７によるモード切替の例を示す図である。図６の例で、モード切替部１８７は、操作者がタスクアイコンをマウス１３２で左クリックするなどの操作が行われると、ロボット２００の制御モードを通常モードからタスク実行モードに遷移させる。
The
Specifically, the
Fig. 6 is a diagram showing an example of mode switching by the
また、モード切替部１８７は、タスクが終了すると、ロボット２００の制御モードをタスク実行モードから通常モードに遷移させる。
あるいは、タスク処理部１８６が、ロボット２００にタスクを繰り返し実行させるようにしてもよい。この場合、モード切替部１８７が、操作者がタスクアイコンをマウス１３２で右クリックするなどの操作が行われると、ロボット２００の制御モードをタスク実行モードから通常モードに遷移させるようにしてもよい。
Furthermore, when the task is completed, the
Alternatively, the
また、モード切替部１８７は、ロボット２００の制御モードとして、自動制御モードと手動操作モードとの切替も行う。自動制御モードは、ロボット２００は、タスク処理部１８６およびロボット制御部２８２の制御に従って、自動で動作する。ここでいう自動は、ロボット２００が、ユーザ操作を必要とせずに動作することである。自動制御モードを自動モードとも称する。
一方、手動操作モードでは、ロボット２００は、操作者の操作に従って動作する。手動操作モードを手動モードとも称する。
The
On the other hand, in the manual operation mode, the
通常モードでは、モード切替部１８７は、手動操作モードに設定する。
一方、タスク実行モードでは、モード切替部１８７が、自動制御モードに設定するようにしてもよいし、タスク実行モード内でさらに自動制御モードと手動操作モードとの切替を行うようにしてもよい。例えば、タスク実行モードで、タスク実行開始条件が成立するまでは、モード切替部１８７が手動操作モードに設定するようにし、タスク実行開始条件が成立すると、モード切替部１８７が、手動操作モードから自動制御モードに遷移させるようにしてもよい。
In the normal mode, the
On the other hand, in the task execution mode, the
操作メッセージ出力部１８８は、制御側通信部１１０を介してロボット２００に制御指令を送信する。モード切替部１８７が自動制御モードに設定している場合、操作メッセージ出力部１８８は、操作インタフェース部１８３からの操作メッセージを制御指令としてロボット２００に送信する。自動モードでは、操作メッセージ出力部１８８は、操作者の操作が前記制御対象の動作に反映されるようにする。
一方、モード切替部１８７が手動操作モードに設定している場合、操作メッセージ出力部１８８は、タスク処理部１８６からのタスク実行メッセージを制御指令としてロボット２００に送信する。
また、タスク終了時に、操作メッセージ出力部１８８は、ロボット２００の状態をタスク開始時の状態に戻すよう指示する操作メッセージをロボット２００に送信する。
The operation
On the other hand, when the
Furthermore, when the task ends, the operation
シミュレータ描画部１８２と、操作インタフェース部１８３と、タスク処理部１８６と、操作メッセージ出力部１８８との組み合わせは、モード対応手段の例に該当する。
自動モードでは、シミュレータ描画部１８２は、表示部１２０の表示画面におけるロボット２００の表示を固定にする。そして、タスク処理部１８６は、ロボット２００の自動制御を行う。
手動モードでは、シミュレータ描画部１８２は、表示部１２０の表示画面におけるロボット２００の表示の固定を解除する。操作インタフェース部１８３は、操作者の操作に従ってロボット２００を動作させる。
The combination of the
In the automatic mode, the
In the manual mode, the
また、自動モードでは、シミュレータ描画部１８２は、表示部１２０の表示画面におけるロボット２００の表示の少なくとも一部を隠す態様で、自動モードであることを示す表示を、表示部１２０の表示画面に表示させる。操作メッセージ出力部１８８は、操作者の操作がロボット２００の動作に反映されないようにする。
手動モードでは、シミュレータ描画部１８２は、自動モードであることを示す表示を終了させる。操作メッセージ出力部１８８は、操作者の操作が前記制御対象の動作に反映されるようにする。
In the automatic mode, the
In the manual mode, the
また、自動モードから手動モードに切り替わる際、操作メッセージ出力部１８８は、ロボット２００の状態を、例えばタスク実行開始時の状態など、表示部１２０の表示画面に固定的に表示されている状態にする。その後、シミュレータ描画部１８２は、ロボット２００の表示の固定を解除する。
When switching from automatic mode to manual mode, the operation
また、モード切替部１８７は、タスク実行モードと、通常モードとの切替を行う。タスク実行モードでは、タスク処理部１８６が、タスク実行開始条件が成立しているか否かを判定する。タスク実行開始条件が成立しているとタスク処理部１８６が判定した場合、モード切替部１８７は、自動モード／手動モードの区別を自動モードに設定することで、タスク処理部１８６にロボット２００にタスクを実行させる制御を行わせる。
The
図７は、表示部１２０による表示の変化の例を示す図である。
図に向かって一番左の表示例は、手動操作モードの場合の例を示している。手動操作モードでは、表示部１２０は、ロボット２００の画像をリアルタイムで表示する。
図に向かって左から２番目の表示例は、自動制御モード開始時の例を示している。表示部１２０は、自動制御モードの間、ロボット２００の画像を例えば自動制御モード開始時の画像に固定する。
FIG. 7 is a diagram showing an example of a change in display on the
The leftmost display example in the drawing shows an example in the manual operation mode, in which the
The second display example from the left in the drawing shows an example at the start of the automatic control mode. During the automatic control mode, the
図に向かって左から３番目の表示例は、自動制御モードの場合の例を示している。自動モードでは、表示部１２０は、上記のように例えば自動制御モード開始時の画像に固定されているロボット２００の画像の上に重ねて、自動モードであることを示す画像を表示する。図７の例は、表示部１２０は、タスク実行によって部材を補充中であることを示す「補充中」のメッセージを、ロボット２００の画像の上に重ねて表示している。
The third display example from the left in the figure shows an example in the automatic control mode. In the automatic mode, the
図に向かって一番右の表示例は、自動制御モードの終了時の例を示している。自動制御モードの終了時に、操作メッセージ出力部１８８が、ロボット２００の状態を、表示部１２０の表示画面に示されるロボット２００の状態、すなわち、自動制御モード開始時のロボット２００の状態に戻す。その後、シミュレータ描画部１８２は、表示部１２０の表示画面に表示するロボット２００の画像の固定を解除する。自動制御モードが終わって手動操作モードに切り替わると、シミュレータ描画部１８２は、ロボット２００の画像をリアルタイムで表示する。
The display example on the far right of the figure shows an example at the end of the automatic control mode. At the end of the automatic control mode, the operation
図８は、ロボットシステム１が行う処理の第１の例を示す図である。図８の処理の開始時には、手動操作モード／自動制御モードの区別は、手動操作モードに設定され、通常モード／タスク実行モードの区別は、通常モードに設定されているものとする。
図８の処理で、タスクアイコン処理部１８４は、タスクアイコンがマウス１３２で左クリックされたか否かを判定する（ステップＳ１０１）。
Fig. 8 is a diagram showing a first example of processing performed by the robot system 1. At the start of the processing in Fig. 8, the distinction between the manual operation mode and the automatic control mode is set to the manual operation mode, and the distinction between the normal mode and the task execution mode is set to the normal mode.
In the processing of FIG. 8, the task
左クリックされたとタスクアイコン処理部１８４が判定した場合（ステップＳ１０１：ＹＥＳ）、モード切替部１８７は、通常モード／タスク実行モードの区別を、通常モードからタスク実行モードに遷移させる（ステップＳ１１１）。
次に、タスク処理部１８６は、指定されたタスクの実行開始条件が成立しているか否かを判定する（ステップＳ１１２）。例えば、ピックアンドプレースによる部材の補充のタスクの場合、タスク処理部１８６が、指定された個数の補充用のタスクが用意されているか否かを判定するようにしてもよい。
When the task
Next, the
タスク実行開始条件が成立していると判定した場合（ステップＳ１１２：ＹＥＳ）、制御側記憶部１７０が、タスク実行開始時のロボット２００の姿勢（ロボット２００の状態）を記憶する（ステップＳ１２１）。例えば、シミュレータ描画部１８２が、シミュレーションにて算出したタスク実行開始時のロボット２００の姿勢を、制御側記憶部１７０に記憶させるようにしてもよい。
If it is determined that the task execution start condition is met (step S112: YES), the control
そして、シミュレータ描画部１８２は、表示部１２０に表示させるロボット２００の画像をタスク実行開始時の画像に固定し、ロボット２００の画像の上に重ねて、タスクを実行中であることを示す「補充中」のメッセージを表示させる（ステップＳ１２２）。
次に、タスク処理部１８６は、部材を補充するタスクをロボット２００に実行させる（ステップＳ１２３）。
Then, the
Next, the
タスクが完了すると、タスク処理部１８６は、タスクを繰り返し実行するために操作者が用意すべき部材の残数を設定し、タスクアイコン処理部１８４は、設定された残数をタスクアイコンに表示する（ステップＳ１２４）。例えば、操作者が予め登録するタスクの設定ファイルに、操作者が用意すべき部材の個数が定数で記載されており、タスク処理部１８６が、その定数を、操作者が用意すべき部材の残数として設定するようにしてもよい。
When the task is completed, the
次に、操作メッセージ出力部１８８は、制御側記憶部１７０が記憶しているタスク実行開始時のロボット２００の姿勢を、ロボット２００に復元させる（ステップＳ１２５）。
そして、シミュレータ描画部１８２は、ロボット２００の表示の固定を解除し、タスクを実行中であることを示す表示を解除する（ステップＳ１２６）。具体的には、シミュレータ描画部１８２は、シミュレーションによるロボット２００のリアルタイムの画像を表示部１２０に表示させ、また、タスクを実行中であることを示す「補充中」のメッセージの表示を消去させる。
Next, the operation
Then, the
そして、モード切替部１８７は、タスク実行モードから通常モードに遷移させる（ステップＳ１２７）。
ステップＳ１２７の後、処理がステップＳ１０１へ戻る。
Then, the
After step S127, the process returns to step S101.
一方、ステップＳ１０１でタスクアイコンが左クリックされていないとタスクアイコン処理部１８４が判定した場合（ステップＳ１０１：ＮＯ）、制御システム１００は、操作者によるロボット２００の手動操作を受け付ける（ステップＳ１３１）。具体的には、操作インタフェース部１８３が、操作者によるロボット２００の手動操作を受け付け、操作メッセージ出力部１８８は、操作者の操作に従ってロボット２００を動作させるように、制御側通信部１１０を介して制御指令をロボット２００に送信する。
ステップＳ１３１の後、処理がステップＳ１０１へ戻る。
On the other hand, if the task
After step S131, the process returns to step S101.
一方、ステップＳ１１２でタスク開始条件が成立していないとタスク処理部１８６が判定した場合（ステップＳ１１２：ＮＯ）、シミュレータ描画部１８２は、タスクを実行不可である旨のメッセージを、例えば一定時間表示する（ステップＳ１４１）。
ステップＳ１４１の後、処理がステップＳ１２７へ進む。
On the other hand, if the
After step S141, the process proceeds to step S127.
図９は、ロボットシステム１が行う処理の第２の例を示す図である。図９の処理の開始時には、手動操作モード／自動制御モードの区別は、手動操作モードに設定され、通常モード／タスク実行モードの区別は、通常モードに設定されているものとする。
図９の処理で、タスクアイコン処理部１８４は、タスクアイコンがマウス１３２で左クリックされたか否かを判定する（ステップＳ２０１）。
Fig. 9 is a diagram showing a second example of the processing performed by the robot system 1. At the start of the processing in Fig. 9, the distinction between the manual operation mode and the automatic control mode is set to the manual operation mode, and the distinction between the normal mode and the task execution mode is set to the normal mode.
In the process of FIG. 9, the task
左クリックされたとタスクアイコン処理部１８４が判定した場合（ステップＳ２０１：ＹＥＳ）、モード切替部１８７は、通常モード／タスク実行モードの区別を、通常モードからタスク実行モードに遷移させる（ステップＳ２１１）。
次に、タスク処理部１８６は、部材を把持するタスクをロボット２００に実行させる（ステップＳ２１２）。具体的には、タスク処理部１８６は、部材を把持するタスクの実行命令を、操作メッセージ出力部１８８および制御側通信部１１０を介してロボット２００へ送信する。ロボット２００は、タスクの実行命令に従って、部材を把持するタスクを実行する。ここでの部材は、ピックアンドプレースのタスクのために操作者が用意すべき部材である。
When the task
Next, the
次に、操作インタフェース部１８３は、操作者によるロボット２００の操作を受け付ける（ステップＳ２１３）。操作者は、ロボット２００を操作して、ロボット２００が把持している部材を所定の部材置き場に置かせる。
ロボット２００が部材を部材置き場に置いて部材から手を離すと、タスク処理部１８６は、操作者が用意すべき部材の残数のカウンタ値を１減算する。
Next, the
When the
次に、タスク処理部１８６は、タスク実行開始条件が成立しているか否かを判定する（ステップＳ２１５）。具体的には、タスク処理部１８６は、操作者が用意すべき部材の残数が０になっているか否かを判定する。
タスク実行開始条件が成立しているとタスク処理部１８６が判定した場合（ステップＳ２１５：ＹＥＳ）、制御側記憶部１７０が、タスク実行開始時のロボット２００の姿勢（ロボット２００の状態）を記憶する（ステップＳ２２１）。例えば、シミュレータ描画部１８２が、シミュレーションにて算出したタスク実行開始時のロボット２００の姿勢を、制御側記憶部１７０に記憶させるようにしてもよい。
Next, the
When the
そして、シミュレータ描画部１８２は、表示部１２０に表示させるロボット２００の画像をタスク実行開始時の画像に固定し、ロボット２００の画像の上に重ねて、タスクを実行中であることを示す「補充中」のメッセージを表示させる（ステップＳ２２２）。
次に、タスク処理部１８６は、部材を補充するタスクをロボット２００に実行させる（ステップＳ２２３）。
Then, the
Next, the
タスクが完了すると、タスク処理部１８６は、タスクを繰り返し実行するために操作者が用意すべき部材の残数を設定し、タスクアイコン処理部１８４は、設定された残数をタスクアイコンに表示する（ステップＳ２２４）。例えば、操作者が予め登録するタスクの設定ファイルに、操作者が用意すべき部材の個数が定数で記載されており、タスク処理部１８６が、その定数を、操作者が用意すべき部材の残数として設定するようにしてもよい。
When the task is completed, the
次に、操作メッセージ出力部１８８は、制御側記憶部１７０が記憶しているタスク実行開始時のロボット２００の姿勢を、ロボット２００に復元させる（ステップＳ２２５）。
そして、シミュレータ描画部１８２は、ロボット２００の表示の固定を解除し、タスクを実行中であることを示す表示を解除する（ステップＳ２２６）。具体的には、シミュレータ描画部１８２は、シミュレーションによるロボット２００のリアルタイムの画像を表示部１２０に表示させ、また、タスクを実行中であることを示す「補充中」のメッセージの表示を消去させる。
ステップＳ２２６の後、処理がステップＳ２１２へ戻る。
なお、操作者がマウス１３２でタスクアイコンを右クリックすることによって、ロボットシステム１が図９の処理を終了し、モード切替部１８７がタスク実行モードから通常モードに遷移させるようにしてもよい。
Next, the operation
Then, the
After step S226, the process returns to step S212.
Alternatively, the operator may right-click on the task icon with the
一方、ステップＳ２０１で、タスクアイコンが左クリックされていないとタスクアイコン処理部１８４が判定した場合（ステップＳ２０１：ＮＯ）、制御システム１００は、操作者によるロボット２００の手動操作を受け付ける（ステップＳ２３１）。具体的には、操作インタフェース部１８３が、操作者によるロボット２００の手動操作を受け付け、操作メッセージ出力部１８８は、操作者の操作に従ってロボット２００を動作させるように、制御側通信部１１０を介して制御指令をロボット２００に送信する。
ステップＳ２３１の後、処理がステップＳ２０１へ戻る。
一方、ステップＳ２１５でタスク開始条件が成立していないとタスク処理部１８６が判定した場合（ステップＳ２１５：ＮＯ）、処理がステップＳ２１２へ戻る。
On the other hand, if the task
After step S231, the process returns to step S201.
On the other hand, if the
以上のように、モード切替部１８７は、ロボット２００の制御の自動モードと手動モードとを切り替える。
自動モードでは、シミュレータ描画部１８２は、表示部１２０の表示画面におけるロボット２００の表示を固定にする。そして、タスク処理部１８６は、ロボット２００の自動制御を行う。
手動モードでは、シミュレータ描画部１８２は、表示部１２０の表示画面におけるロボット２００の表示の固定を解除する。操作インタフェース部１８３は、操作者の操作に従ってロボット２００を動作させる。
As described above, the
In the automatic mode, the
In the manual mode, the
これにより、制御システム１００では、ロボット２００に対する自動制御の実行によって、操作者の負担がより確実に軽減されることが期待される。
ここで、遠隔操作など、操作者が画面に表示される制御対象機器（例えば、ロボット２００）の画像を見ながら操作する場合、常に画面を見ながら操作を行うということは操作者にとって負担の大きい作業であることが考えられる。また、通信の遅延などにより、操作対象機器が細かな操作に従って動作を行うことが困難な場合が考えられる。そこで、制御対象機器にタスクを実行させるなど制御対象機器を自動制御することが考えられる。また、通信の遅延などにより制御対象機器の画像をリアルタイムで表示することが困難な場合は、シミュレータ上で制御対象機器の動作を模擬して制御対象機器の画像を表示することが考えられる。
As a result, it is expected that the
Here, when an operator operates a controlled device (e.g., the robot 200) while viewing an image of the controlled device displayed on a screen, such as in remote control, it is considered that performing the operation while constantly viewing the screen is a heavy burden on the operator. In addition, it is considered that it is difficult for the controlled device to perform an operation according to a detailed operation due to communication delays, etc. In this case, it is considered that the controlled device is automatically controlled, such as by having the controlled device execute a task. In addition, when it is difficult to display an image of the controlled device in real time due to communication delays, it is considered that the operation of the controlled device is simulated on a simulator and an image of the controlled device is displayed.
一方、制御対象機器に行わせる全ての動作をタスクとして予め用意しておくことは困難な場合が考えられる。また、例えば、絵を描くなど人間の思考や発想が重要な操作をする場合、制御対象機器の動作をあらかじめタスク化しておくことができない、または無意味であることが考えられる。 On the other hand, it may be difficult to prepare all the operations to be performed by the controlled device as tasks in advance. Also, for example, when performing operations in which human thought and imagination are important, such as drawing a picture, it may be impossible or meaningless to prepare the operations of the controlled device as tasks in advance.
そこで、制御対象機器に対する自動制御と、操作者による制御対象機器に対する手動操作とを切り替えて制御対象機器を動作させることが考えられる。
自動制御では操作者は操作を行わないこととする場合、自動制御の際の制御対象機器の動作は、操作者が見ている画面に表示されても意味のない情報である。なぜならば、手動で操作を行うことが目的である操作者が、自身が干渉することのできない制御対象を眺めていても意味がないからである。また、操作者の視点が不必要に制御対象機器の画像に向かってしまい、操作者本来の仕事の妨げとなってしまうことが考えられる。
In view of this, it may be possible to operate the controlled device by switching between automatic control of the controlled device and manual operation of the controlled device by an operator.
In the case of automatic control, when the operator is not supposed to operate the device, the operation of the controlled device during automatic control is meaningless information even if it is displayed on the screen that the operator is looking at. This is because there is no point for the operator, whose purpose is to operate the device manually, to look at a controlled object that he or she cannot interfere with. In addition, the operator's viewpoint may be unnecessarily directed toward the image of the controlled device, which may interfere with the operator's actual work.
また、タスクの実行では、タスクが正しく実行されたか否か（タスクに成功したか否か）の結果が重要であり、タスク実行中の制御対象機器の画像は必ずしも必要ない。これに対し、シミュレータを用いて制御対象機器の動作を模擬して制御対象機器の画像を描画する場合、制御対象機器の画像の描画がコンピュータ（例えば、制御システム１００）に不要な負荷を与えてしまうことが考えられる。 In addition, when executing a task, the important thing is the result of whether the task was executed correctly (whether the task was successful or not), and an image of the controlled device during task execution is not necessarily required. In contrast, when using a simulator to simulate the operation of the controlled device and draw an image of the controlled device, it is conceivable that drawing the image of the controlled device places an unnecessary load on the computer (e.g., control system 100).
これに対し、制御システム１００では、制御対象機器の自動制御の際に、制御対象機器の表示を固定にする。制御システム１００によれば、この点で、操作者が、制御対象機器の画像に気をとられて視点が不必要に制御対象機器の画像に向かってしまい、操作者本来の仕事の妨げとなってしまうことを回避できると期待される。
また、制御システム１００では、制御対象機器の自動制御の際に、制御対象機器の表示を固定にする点で、操作者が３Ｄ酔いする可能性を低減させることができる。
また、制御システム１００では、制御対象機器の自動制御の際に、制御対象機器の表示を固定にする点で、コンピュータに不要な負荷を与えてしまうことを回避できると期待される。
In contrast, in the
Furthermore, in the
Furthermore, in the
また、自動モードでは、シミュレータ描画部１８２は、表示部１２０の表示画面におけるロボット２００の表示の少なくとも一部を隠す態様で、自動モードであることを示す表示を、表示部１２０の表示画面に表示させる。操作メッセージ出力部１８８は、操作者の操作がロボット２００の動作に反映されないようにする。
手動モードでは、シミュレータ描画部１８２は、自動モードであることを示す表示を終了させる。操作メッセージ出力部１８８は、操作者の操作が前記制御対象の動作に反映されるようにする。
In the automatic mode, the
In the manual mode, the
制御システム１００によれば、自動モードの際に、表示部１２０が自動モードであることを示す表示を行う点で、操作者は、自動モードであることを把握することができ、操作者がロボット２００の制御に気をとられて操作者本来の仕事の妨げとなってしまうことを回避できると期待される。
When the
また、制御システム１００によれば、自動モードの際に、表示部１２０が制御対象機器の表示の少なくとも一部を隠す態様で、自動モードであることを示す表示を行う点で、操作者が、ロボット２００の画像を見ながら操作を行うことが困難である。これにより、操作者が、自動制御の際にロボット２００に対する操作に気をとられて操作者本来の仕事の妨げとなってしまうことを回避できると期待される。
In addition, according to the
さらには、制御システム１００によれば、自動モードの際に、操作メッセージ出力部１８８が、操作者の操作がロボット２００の動作に反映されないようにする点で、操作者は、ロボット２００に対する操作を行うことができない。この点でも、操作者が、自動制御の際ロボット２００に対する操作に気をとられて操作者本来の仕事の妨げとなってしまうことを回避できると期待される。
Furthermore, according to the
また、自動モードから手動モードに切り替わる際、操作メッセージ出力部１８８は、ロボット２００の状態を、例えばタスク実行開始時の状態など、表示部１２０の表示画面に固定的に表示されている状態にする。その後、シミュレータ描画部１８２は、ロボット２００の表示の固定を解除する。
これにより、操作者は、前回の手動モード終了時のロボット２００の状態からロボット２００に対する操作を再開することができる。制御システム１００によればこの点で、操作者が自動モードの際のロボット２００の状態変化を把握していなくても、違和感なくロボット２００の操作を行えると期待される。
Furthermore, when switching from the automatic mode to the manual mode, the operation
This allows the operator to resume operation of the
また、モード切替部１８７は、タスク実行モードと、通常モードとの切替を行う。タスク実行モードでは、タスク処理部１８６が、タスク実行開始条件が成立しているか否かを判定する。タスク実行開始条件が成立しているとタスク処理部１８６が判定した場合、モード切替部１８７は、自動モード／手動モードの区別を自動モードに設定することで、タスク処理部１８６にロボット２００にタスクを実行させる制御を行わせる。
制御システム１００によれば、タスク実行開始条件が成立していない場合は、タスク実行開始条件の成立を待ってロボット２００にタスクを実行させることができる。制御システム１００によれば、この点で、より確実にロボット２００にタスクを実行させることができる。
Furthermore, the
According to the
実施形態では、制御システム１００がロボット２００に実行させるタスクが、ピックアンドプレース時の部材自動補充のタスクである場合を例に説明しているが、制御システム１００がロボット２００に実行させるタスクは、特定のものに限定されない。例えば、ロボット２００を用いた遠隔手術での操作道具の変更など、いろいろなタスクを、制御システム１００がロボット２００に実行させるタスクとすることができる。
また、本発明は、ロボット遠隔操作、仮想現実、および、メタバースなど、いろいろな分野に適用することが考えられる。
In the embodiment, the case is described in which the task that the
The present invention is also considered to be applicable to various fields such as robot remote control, virtual reality, and the metaverse.
図１０は、実施形態に係る制御システムの構成のもう１つの例を示す図である。図１０に示す構成で、制御システム６１０は、モード切替部６１１と、モード対応部６１２とを備える。
かかる構成で、モード切替部６１１は、制御対象機器の制御の自動モードと手動モードとを切り替える。モード対応部６１２は、自動モードでは、表示画面における制御対象機器の表示を固定にし、制御対象機器の自動制御を行い、手動モードでは、表示画面における制御対象機器の表示の固定を解除し、操作者の操作に従って制御対象機器を動作させる。
モード切替部６１１はモード切替手段の例に該当する。モード対応部６１２は、モード対応手段の例に該当する。
10 is a diagram showing another example of the configuration of the control system according to the embodiment. In the configuration shown in FIG. 10, a
In this configuration, the
The
制御システム６１０によれば、制御対象機器に対する自動制御の実行によって、操作者の負担がより確実に軽減されることが期待される。
特に、制御システム６１０では、制御対象機器の自動制御の際に、制御対象機器の表示を固定にする点で、操作者が、制御対象機器の画像に気をとられて視点が不必要に制御対象機器の画像に向かってしまい、操作者本来の仕事の妨げとなってしまうことを回避できると期待される。
According to the
In particular, in the
また、制御システム６１０では、制御対象機器の自動制御の際に、制御対象機器の表示を固定にする点で、操作者が３Ｄ酔いする可能性を低減させることができる。
また、制御システム６１０では、制御対象機器の自動制御の際に、制御対象機器の表示を固定にする点で、コンピュータに不要な負荷を与えてしまうことを回避できると期待される。
Furthermore, in the
Furthermore, in the
図１１は、実施形態に係る制御方法における処理の手順の例を示す図である。図１１に示す制御方法は、モードを切り替えること（ステップＳ６１１）と、モード対応処理を行うこと（ステップＳ６１２）とを含む。
モードを切り替えること（ステップＳ６１１）では、コンピュータが、制御対象機器の制御の自動モードと手動モードとを切り替える。モード対応処理を行うこと（ステップＳ６１２）では、コンピュータが、自動モードでは、表示画面における制御対象機器の表示を固定にし、制御対象機器の自動制御を行い、手動モードでは、表示画面における制御対象機器の表示の固定を解除し、操作者の操作に従って制御対象機器を動作させる。
Fig. 11 is a diagram showing an example of a procedure of a process in a control method according to an embodiment. The control method shown in Fig. 11 includes switching a mode (step S611) and performing a mode corresponding process (step S612).
In the step of switching the mode (step S611), the computer switches between an automatic mode and a manual mode for controlling the controlled device. In the step of performing the mode corresponding process (step S612), in the automatic mode, the computer fixes the display of the controlled device on the display screen and automatically controls the controlled device, and in the manual mode, the computer releases the fixation of the display of the controlled device on the display screen and operates the controlled device according to the operation of the operator.
図１１に示す制御方法によれば、制御対象機器に対する自動制御の実行によって、操作者の負担がより確実に軽減されることが期待される。
特に、図１１に示す制御方法によれば、制御対象機器の自動制御の際に、制御対象機器の表示を固定にする点で、操作者が、制御対象機器の画像に気をとられて視点が不必要に制御対象機器の画像に向かってしまい、操作者本来の仕事の妨げとなってしまうことを回避できると期待される。
According to the control method shown in FIG. 11, it is expected that the burden on the operator will be more reliably reduced by executing automatic control over the controlled device.
In particular, according to the control method shown in FIG. 11, when the controlled equipment is automatically controlled, the display of the controlled equipment is fixed, and it is expected that it is possible to prevent the operator from being distracted by the image of the controlled equipment and unnecessarily directing his/her gaze toward the image of the controlled equipment, which would interfere with the operator's actual work.
また、図１１に示す制御方法によれば、制御対象機器の自動制御の際に、制御対象機器の表示を固定にする点で、操作者が３Ｄ酔いする可能性を低減させることができる。
また、図１１に示す制御方法によれば、制御対象機器の自動制御の際に、制御対象機器の表示を固定にする点で、コンピュータに不要な負荷を与えてしまうことを回避できると期待される。
Furthermore, according to the control method shown in FIG. 11, when the controlled device is automatically controlled, the display of the controlled device is fixed, thereby reducing the possibility that the operator will suffer from 3D motion sickness.
Furthermore, according to the control method shown in FIG. 11, when the controlled device is automatically controlled, the display of the controlled device is fixed, and it is expected that it will be possible to avoid placing an unnecessary load on the computer.
図１２は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
図９に示す構成で、コンピュータ７００は、ＣＰＵ７１０と、主記憶装置７２０と、補助記憶装置７３０と、インタフェース７４０と、不揮発性記録媒体７５０とを備える。
FIG. 12 is a schematic block diagram illustrating a configuration of a computer according to at least one embodiment.
In the configuration shown in FIG. 9, a
上記の制御システム１００、ロボット２００（特に、ロボット側記憶部２７０、および、ロボット側処理部２８０）、および、制御システム６１０のうち何れか１つ以上またはその一部が、コンピュータ７００に実装されてもよい。その場合、上述した各処理部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ７１０は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置７２０に確保する。各装置と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。また、インタフェース７４０は、不揮発性記録媒体７５０用のポートを有し、不揮発性記録媒体７５０からの情報の読出、および、不揮発性記録媒体７５０への情報の書込を行う。
The above-mentioned
制御システム１００がコンピュータ７００に実装される場合、制御側処理部１８０およびその各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
When the
また、ＣＰＵ７１０は、プログラムに従って、制御側記憶部１７０のための記憶領域を主記憶装置７２０に確保する。制御側通信部１１０による他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。表示部１２０による画像の表示は、インタフェース７４０が表示装置を備え、ＣＰＵ７１０の制御に従って各種画像の表示することで実行される。操作入力部１３０によるユーザ操作の受け付けは、インタフェース７４０が入力デバイスを備え、ＣＰＵ７１０の制御に従ってユーザ操作を受け付けることで実行される。
The
ロボット２００がコンピュータ７００に実装される場合、ロボット側処理部２８０およびその各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
When the
また、ＣＰＵ７１０は、プログラムに従って、ロボット側記憶部２７０のための記憶領域を主記憶装置７２０に確保する。ロボット側通信部２１０による他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。センサ２２０によるセンサデータの取得は、インタフェース７４０がセンサを有し、ＣＰＵ７１０の制御によって動作することで実行される。駆動装置２３０によるロボット２００の本体の駆動は、インタフェース７４０が例えばサーボモータなど動力源を有し、ＣＰＵ７１０の制御に従って動作することで実行される。
The
制御システム６１０がコンピュータ７００に実装される場合、その各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
When the
また、ＣＰＵ７１０は、プログラムに従って、制御システム６１０が処理を行うための記憶領域を主記憶装置７２０に確保する。制御システム６１０と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。制御システム６１０と操作者とのインタラクションは、インタフェース７４０が表示装置、コントローラ、マウス、および、キーボード等の入出力デバイスを備え、ＣＰＵ７１０の制御に従って動作することで実行される。
The
上述したプログラムのうち何れか１つ以上が不揮発性記録媒体７５０に記録されていてもよい。この場合、インタフェース７４０が不揮発性記録媒体７５０からプログラムを読み出すようにしてもよい。そして、ＣＰＵ７１０が、インタフェース７４０が読み出したプログラムを直接実行するか、あるいは、主記憶装置７２０または補助記憶装置７３０に一旦保存して実行するようにしてもよい。
One or more of the above-mentioned programs may be recorded in the
なお、制御システム１００、ロボット２００、および、制御システム６１０が行う処理の全部または一部を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
Note that a program for executing all or part of the processing performed by the
Furthermore, the term "computer-readable recording medium" refers to portable media such as flexible disks, optical magnetic disks, ROMs (Read Only Memory), and CD-ROMs (Compact Disc Read Only Memory), as well as storage devices such as hard disks built into computer systems. The above-mentioned program may be for realizing part of the above-mentioned functions, or may be capable of realizing the above-mentioned functions in combination with a program already recorded in the computer system.
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 The above describes an embodiment of the present invention in detail with reference to the drawings, but the specific configuration is not limited to this embodiment, and includes designs that do not deviate from the gist of the present invention.
１ ロボットシステム
１００、６１０ 制御システム
１１０ 制御側通信部
１２０ 表示部
１３０ 操作入力部
１３１ コントローラ
１３２ マウス
１３３ キーボード
１７０ 制御側記憶部
１８０ 制御側処理部
１８１ユーザインタフェース部
１８２ シミュレータ描画部
１８３ 操作インタフェース部
１８４ タスクアイコン処理部
１８５ 姿勢情報取得部
１８６ タスク処理部
１８７、６１１ モード切替部
１８８ 操作メッセージ出力部
２００ ロボット
２１０ ロボット側通信部
２２０ センサ
２３０ 駆動装置
２７０ ロボット側記憶部
２８０ ロボット側処理部
２８１ 操作メッセージ取得部
２８２ ロボット制御部
２８３ センサ情報出力部
６１２ モード対応部
1
Claims (5)
前記自動モードでは、表示画面における前記制御対象機器の画像の表示を前記自動モード開始時の画像に固定にし、前記制御対象機器の自動制御を行い、前記手動モードでは、表示画面における前記制御対象機器の画像の表示の固定を解除し、操作者の操作に従って前記制御対象機器を動作させ、動作する前記制御対象機器の画像を前記表示画面に表示し、前記自動モードから手動モードに切り替わる際、前記制御対象機器の状態を、前記自動モードでの動作後の状態から、前記自動モード開始時の前記制御対象機器の状態にした後、表示画面における前記制御対象機器の画像の表示の固定を解除して、操作者の操作に従って動作する前記制御対象機器の画像を前記表示画面に表示する、モード対応手段と、
を備える制御システム。 a mode switching means for switching between an automatic mode and a manual mode for controlling the controlled device;
a mode response means for, in the automatic mode, fixing the display of an image of the controlled device on the display screen to an image at the start of the automatic mode , and automatically controlling the controlled device, and, in the manual mode, releasing the fixation of the display of the image of the controlled device on the display screen, operating the controlled device in accordance with an operation by an operator , and displaying an image of the operating controlled device on the display screen, and, when switching from the automatic mode to the manual mode, changing a state of the controlled device from a state after operation in the automatic mode to a state of the controlled device at the start of the automatic mode, releasing the fixation of the display of the image of the controlled device on the display screen, and displaying an image of the controlled device operating in accordance with an operation by an operator on the display screen;
A control system comprising:
請求項１に記載の制御システム。 The mode response means, in the automatic mode, displays a display indicating that the mode is automatic on the display screen in a manner that hides at least a part of the image of the controlled device on the display screen, which is fixed to the image at the start of the automatic mode, and then operates the controlled device , so that the operation of the operator is not reflected in the operation of the controlled device, and, in the manual mode, ends the display indicating that the mode is automatic, so that the operation of the operator is reflected in the operation of the controlled device.
The control system of claim 1 .
請求項１または請求項２に記載の制御システム。 The mode switching means switches between a task execution mode in which the mode response means causes the controlled device to execute a task in which a series of operations of the controlled device is set, and a normal mode in which the mode response means causes the controlled device to operate in accordance with an operation by an operator, and when a task execution start condition is satisfied in the task execution mode, causes the mode response means to control the controlled device to execute the task in the automatic mode.
A control system according to claim 1 or 2 .
制御対象機器の制御の自動モードと手動モードとを切り替え、
前記自動モードでは、表示画面における前記制御対象機器の画像の表示を前記自動モード開始時の画像に固定にし、前記制御対象機器の自動制御を行い、前記手動モードでは、表示画面における前記制御対象機器の画像の表示の固定を解除し、操作者の操作に従って前記制御対象機器を動作させ、動作する前記制御対象機器の画像を前記表示画面に表示し、前記自動モードから手動モードに切り替わる際、前記制御対象機器の状態を、前記自動モードでの動作後の状態から、前記自動モード開始時の前記制御対象機器の状態にした後、表示画面における前記制御対象機器の画像の表示の固定を解除して、操作者の操作に従って動作する前記制御対象機器の画像を前記表示画面に表示する、
ことを含む制御方法。 The computer
Switch between automatic and manual modes of control of the controlled device,
In the automatic mode, the display of the image of the controlled device on the display screen is fixed to the image at the start of the automatic mode , and automatic control of the controlled device is performed; in the manual mode, the fixation of the display of the image of the controlled device on the display screen is released, the controlled device is operated in accordance with an operation by an operator , and an image of the operating controlled device is displayed on the display screen; when switching from the automatic mode to the manual mode, the state of the controlled device is changed from the state after operation in the automatic mode to the state of the controlled device at the start of the automatic mode, and then the fixation of the display of the image of the controlled device on the display screen is released, and the image of the controlled device operating in accordance with the operation by the operator is displayed on the display screen.
The control method includes:
制御対象機器の制御の自動モードと手動モードとを切り替えることと、
前記自動モードでは、表示画面における前記制御対象機器の画像の表示を前記自動モード開始時の画像に固定にし、前記制御対象機器の自動制御を行い、前記手動モードでは、表示画面における前記制御対象機器の画像の表示の固定を解除し、操作者の操作に従って前記制御対象機器を動作させ、動作する前記制御対象機器の画像を前記表示画面に表示し、前記自動モードから手動モードに切り替わる際、前記制御対象機器の状態を、前記自動モードでの動作後の状態から、前記自動モード開始時の前記制御対象機器の状態にした後、表示画面における前記制御対象機器の画像の表示の固定を解除して、操作者の操作に従って動作する前記制御対象機器の画像を前記表示画面に表示することと、
を実行させるためのプログラム。 On the computer,
Switching between an automatic mode and a manual mode of control of the controlled device;
in the automatic mode, the display of an image of the controlled device on the display screen is fixed to an image at the start of the automatic mode , and automatic control of the controlled device is performed; in the manual mode, the display of the image of the controlled device on the display screen is released, the controlled device is operated in accordance with an operation by an operator , and an image of the operating controlled device is displayed on the display screen; when switching from the automatic mode to the manual mode, the state of the controlled device is changed from the state after operation in the automatic mode to the state of the controlled device at the start of the automatic mode, and then the display of the image of the controlled device on the display screen is released, and an image of the controlled device operating in accordance with the operation of the operator is displayed on the display screen ;
A program for executing the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022041421A JP7513292B2 (en) | 2022-03-16 | 2022-03-16 | Control system, control method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022041421A JP7513292B2 (en) | 2022-03-16 | 2022-03-16 | Control system, control method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023136024A JP2023136024A (en) | 2023-09-29 |
| JP7513292B2 true JP7513292B2 (en) | 2024-07-09 |
Family
ID=88145498
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022041421A Active JP7513292B2 (en) | 2022-03-16 | 2022-03-16 | Control system, control method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7513292B2 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004334258A (en) | 2003-04-30 | 2004-11-25 | Nitto Seiko Co Ltd | Robot control unit |
| JP2007095081A (en) | 2006-10-12 | 2007-04-12 | Jtekt Corp | Operation control console panel |
| JP2010214572A (en) | 2009-03-19 | 2010-09-30 | Denso Wave Inc | Robot control instruction input device |
| US20150321350A1 (en) | 2012-12-06 | 2015-11-12 | International Electronic Machines Corporation | Human Augmentation of Robotic Work |
| WO2016051544A1 (en) | 2014-09-30 | 2016-04-07 | 株式会社牧野フライス製作所 | Control device for machine tool |
| WO2017033350A1 (en) | 2015-08-25 | 2017-03-02 | 川崎重工業株式会社 | Remote control robot system and operation method thereof |
| JP2020029221A (en) | 2018-08-24 | 2020-02-27 | 日本精機株式会社 | Display device |
-
2022
- 2022-03-16 JP JP2022041421A patent/JP7513292B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004334258A (en) | 2003-04-30 | 2004-11-25 | Nitto Seiko Co Ltd | Robot control unit |
| JP2007095081A (en) | 2006-10-12 | 2007-04-12 | Jtekt Corp | Operation control console panel |
| JP2010214572A (en) | 2009-03-19 | 2010-09-30 | Denso Wave Inc | Robot control instruction input device |
| US20150321350A1 (en) | 2012-12-06 | 2015-11-12 | International Electronic Machines Corporation | Human Augmentation of Robotic Work |
| WO2016051544A1 (en) | 2014-09-30 | 2016-04-07 | 株式会社牧野フライス製作所 | Control device for machine tool |
| WO2017033350A1 (en) | 2015-08-25 | 2017-03-02 | 川崎重工業株式会社 | Remote control robot system and operation method thereof |
| JP2020029221A (en) | 2018-08-24 | 2020-02-27 | 日本精機株式会社 | Display device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023136024A (en) | 2023-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102441640B1 (en) | Virtual Reality Laparoscopic Tools | |
| KR102376000B1 (en) | Virtual Reality Training, Simulation, and Collaboration in Robotic Surgical Systems | |
| US11007646B2 (en) | Programming assistance apparatus, robot system, and method for generating program | |
| KR102031232B1 (en) | Robot system | |
| US9387589B2 (en) | Visual debugging of robotic tasks | |
| US7194396B2 (en) | Simulation device | |
| CN107106245B (en) | Interaction between user interface and master controller | |
| EP1247623A2 (en) | Robot information processing system | |
| CN110612181B (en) | Method for controlling an industrial robot during the guidance of the robot through programming and industrial robot | |
| Zhang et al. | A microsurgical robot research platform for robot-assisted microsurgery research and training | |
| KR20120104493A (en) | Ratcheting for master alignment of a teleoperated minimally-invasive surgical instrument | |
| KR101010761B1 (en) | Controller for robot having robot body and additional mechanism providing additional operation axes | |
| Kumar | An augmented steady hand system for precise micromanipulation | |
| US20220226062A1 (en) | Service life management for an instrument of a robotic surgery system | |
| CN115519539A (en) | Program creation device, program, and robot operation program | |
| JP7513292B2 (en) | Control system, control method, and program | |
| KR100586533B1 (en) | Haptic system using voice coil motor | |
| CN106808476B (en) | Working device and teaching method in working device | |
| WO2023053174A1 (en) | Robot system, robot device, robot controller, end effector, and end effector control method | |
| US20230381950A1 (en) | Robot control system | |
| JPH10254344A (en) | Cooperative object operating device | |
| JPH06110545A (en) | Programming method for teaching data | |
| JP2001042907A (en) | Sequence controller | |
| JPH04286015A (en) | Position instruction system using mouse | |
| US20240111357A1 (en) | Interaction between user-interface and master controller |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230707 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240227 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20240408 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240425 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240528 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240620 |