JP7441716B2

JP7441716B2 - Work system and work control device

Info

Publication number: JP7441716B2
Application number: JP2020078258A
Authority: JP
Inventors: 隆浩長井; 亮介小林; 克彦平野
Original assignee: Hitachi GE Nuclear Energy Ltd
Current assignee: Hitachi GE Nuclear Energy Ltd
Priority date: 2020-04-27
Filing date: 2020-04-27
Publication date: 2024-03-01
Anticipated expiration: 2040-04-27
Also published as: JP2021171882A

Description

本発明は、作業システム及び作業制御装置に関する。 The present invention relates to a work system and a work control device.

本技術分野の背景技術として、特開平２０１７－３０１０６号公報（特許文献１）がある。この公報には、「実施形態によるロボット制御装置は、目標値を座標変換する第１座標変換部と、減算部と、減算部の出力に基づいてロボットへの関節角度の制御指令を計算する逆運動学計算部と、ロボットからの関節角度信号に基づき手先の位置・姿勢を計算する順運動学計算部と、座標変換式導出部と、逆運動学・順運動学計算式導出部と、カメラ画像を処理するカメラ画像処理部と、カメラ画像から手先の位置・姿勢を推定する位置・姿勢推定部と、位置・姿勢を座標変換する第２座標変換部と、順運動学計算部の出力と第２座標変換部の出力に基づいてフィードバック情報を作成するフィードバック情報生成部とを有する。」と記載されている（要約参照）。 As background technology in this technical field, there is Japanese Patent Application Laid-Open No. 2017-30106 (Patent Document 1). This publication states, ``The robot control device according to the embodiment includes a first coordinate transformation section that transforms the coordinates of a target value, a subtraction section, and an inverse coordinate transformation section that calculates joint angle control commands to the robot based on the output of the subtraction section. A kinematics calculation unit, a forward kinematics calculation unit that calculates the position and orientation of the hand based on joint angle signals from the robot, a coordinate transformation formula derivation unit, an inverse kinematics/forward kinematics calculation formula derivation unit, and a camera. A camera image processing unit that processes images, a position/orientation estimation unit that estimates the position and orientation of the hand from the camera image, a second coordinate transformation unit that transforms the coordinates of the position and orientation, and the output of the forward kinematics calculation unit. and a feedback information generation section that creates feedback information based on the output of the second coordinate transformation section.'' (see summary).

特開２０１７－３０１０６号公報JP 2017-30106 Publication

前記特許文献１には、カメラ画像に基づいてロボットの手先の位置を検出する技術について記載されている。しかし、特許文献１の技術では、ロボットの各関節の関節状態量を検出することができない。
そこで、本発明は、高放射線等の過酷環境下でもアーム装置の関節状態量を検出することができる作業システム及び作業制御装置を提供することを課題とする。 Patent Document 1 describes a technique for detecting the position of a robot's hand based on a camera image. However, the technique disclosed in Patent Document 1 cannot detect the joint state amount of each joint of the robot.
Therefore, an object of the present invention is to provide a work system and a work control device that can detect joint state quantities of an arm device even under harsh environments such as high radiation.

上記課題を解決するため、本発明は、複数個のリンクが複数個の関節で連続的に連結されているアーム装置と、前記アーム装置の最先端の前記リンクに設けられた画像センサと、前記アーム装置の駆動を制御する駆動制御部と、前記駆動制御部によって前記アーム装置の最も先端側からｉ番目の前記関節の動きを固定して前記アーム装置の最も先端側からｉ＋１番目の前記関節を駆動しながら前記画像センサで所定の対象位置を複数回撮像する撮像部と、前記撮像部で撮像した各画像を用い前記対象位置を基準とした座標系での前記各画像における前記画像センサの位置を求める座標取得部と、前記座標取得部で求めた前記画像センサの位置に基づいて前記アーム装置の最も先端側からｉ番目の前記関節の関節状態量を求める関節状態量判定部とを備えている。 In order to solve the above problems, the present invention provides an arm device in which a plurality of links are continuously connected by a plurality of joints, an image sensor provided on the most advanced link of the arm device, and a a drive control unit that controls the drive of the arm device; and a drive control unit that fixes the movement of the i-th joint from the most distal side of the arm device and controls the i+1st joint from the most distal side of the arm device. an imaging unit that images a predetermined target position multiple times with the image sensor while driving; and a position of the image sensor in each of the images in a coordinate system based on the target position using each image captured by the imaging unit. and a joint state amount determining section that determines the joint state amount of the i-th joint from the distal end side of the arm device based on the position of the image sensor obtained by the coordinate obtaining section. There is.

本発明によれば、高放射線等の過酷環境下でもアーム装置の関節状態量を検出することができる作業システム及び作業制御装置を提供することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。 According to the present invention, it is possible to provide a work system and a work control device that can detect joint state quantities of an arm device even under harsh environments such as high radiation.
Problems, configurations, and effects other than those described above will be made clear by the following description of the embodiments.

本発明の実施例１に係る作業システムの全体の概略構成図である。1 is an overall schematic configuration diagram of a work system according to a first embodiment of the present invention. 本発明の実施例１に係る作業制御装置が、主に作業制御プログラムに基づいて実行する機能の機能ブロック図である。FIG. 2 is a functional block diagram of functions executed by the work control device according to the first embodiment of the present invention mainly based on a work control program. 本発明の実施例１に係る作業システムの撮像部で撮像した画像の一例を示す説明図である。FIG. 3 is an explanatory diagram showing an example of an image captured by the imaging unit of the work system according to the first embodiment of the present invention. 本発明の実施例１に係る作業システムの座標取得部で座標変換後のｘｙ座標に示された各画像センサの位置を示すグラフである。である。3 is a graph showing the positions of each image sensor indicated by xy coordinates after coordinate transformation by the coordinate acquisition unit of the work system according to the first embodiment of the present invention. It is. 本発明の実施例１に係る作業システムの関節状態量判定部による関節状態量の求め方を示す説明図である。FIG. 3 is an explanatory diagram showing how to obtain a joint state amount by the joint state amount determination unit of the work system according to the first embodiment of the present invention. 本発明の実施例２に係る作業システムの全体の概略構成図である。It is a schematic block diagram of the whole work system concerning Example 2 of the present invention. 本発明の実施例２に係る作業システムの座標取得部で座標変換後のｘｙ座標に示された各画像センサの位置を示すグラフである。It is a graph which shows the position of each image sensor shown by the xy coordinate after coordinate transformation by the coordinate acquisition part of the work system based on Example 2 of this invention. 本発明の実施例２に係る作業システムの関節状態量判定部による関節状態量の求め方を示す説明図である。FIG. 7 is an explanatory diagram showing how to obtain a joint state amount by a joint state amount determination unit of the work system according to Example 2 of the present invention. 本発明の実施例３に係る作業システムの全体の概略構成図である。It is a schematic block diagram of the whole work system based on Example 3 of this invention. 本発明の実施例３に係る作業システムの座標取得部で座標変換後のｘｙ座標に示された各画像センサの位置を示すグラフである。It is a graph which shows the position of each image sensor shown by the xy coordinate after coordinate transformation by the coordinate acquisition part of the work system based on Example 3 of this invention. 本発明の実施例３に係る作業システムの関節状態量判定部による関節状態量の求め方を示す説明図である。FIG. 7 is an explanatory diagram showing how to obtain a joint state amount by a joint state amount determination unit of the work system according to Example 3 of the present invention. 本発明の実施例４に係る作業システムの全体の概略構成図である。FIG. 3 is an overall schematic configuration diagram of a work system according to a fourth embodiment of the present invention. 本発明の実施例４に係る作業システムの座標取得部で座標変換後のｘｙ座標に示された各画像センサの位置を示すグラフである。It is a graph which shows the position of each image sensor shown by the xy coordinate after coordinate transformation by the coordinate acquisition part of the work system based on Example 4 of this invention. 本発明の実施例４に係る作業システムの関節状態量判定部による関節状態量の求め方を示す説明図である。FIG. 7 is an explanatory diagram showing how to obtain a joint state amount by a joint state amount determination unit of the work system according to Example 4 of the present invention.

以下、本発明の実施例について図面を用いて説明する。
まず、人間の立ち入りが困難な災害現場等の過酷環境において状況を改善していくためには、遠隔地にいるオペレータが遠隔操作装置を用いながら、未知な作業対象物の把持、切断、穿孔等の作業を安全に行う必要がある。その際、高放射線環境等の過酷環境では、電子機器を搭載したロボット状態センサでは高放射線に耐性がなく、ロボット等の状態を把握する手段が求められる。 Embodiments of the present invention will be described below with reference to the drawings.
First, in order to improve the situation in harsh environments such as disaster sites where it is difficult for humans to enter, operators in remote locations can use remote control devices to grasp, cut, and drill unknown workpieces. work must be done safely. At that time, in harsh environments such as high radiation environments, robot status sensors equipped with electronic devices are not resistant to high radiation, and a means for grasping the status of robots, etc. is required.

そこで、耐放射線性を有する画像センサを用いて、ロボット等の状態を把握することが考えられる。
この点で、前記特許文献１では、カメラ画像に基づいてロボットの手先の位置及び方向を検出する技術について開示されている。
しかしながら、特許文献１の技術では、ロボットの各関節の関節状態量を検出することができない。 Therefore, it is conceivable to use a radiation-resistant image sensor to grasp the state of a robot or the like.
In this regard, Patent Document 1 discloses a technique for detecting the position and direction of a robot's hand based on a camera image.
However, the technique disclosed in Patent Document 1 cannot detect the joint state amount of each joint of the robot.

そこで、以下では、高放射線等の過酷環境下でもアーム装置の関節状態量を検出することができる作業システム（及び作業制御装置）の実施例について複数例説明する。 Therefore, in the following, a plurality of embodiments of a work system (and a work control device) that can detect joint state quantities of an arm device even under harsh environments such as high radiation will be described.

図１は、本実施例１に係る作業システム１の全体の概略構成図である。作業システム１は、アーム装置２と、アーム装置２と通信可能な作業制御装置３とを備えている。
アーム装置２は、複数個、図１の例では３個のリンク１１～１３が、複数個、図１の例では２個の関節１４，１５で連続的に連結されている。本例では、関節１４，１５は回転関節である。アーム装置２は、図１の例（以下の各実施例でも同様）では、ロボットアームであるが、パワーショベルやクレーン等として構成してもよい。アーム装置２の最先端のリンク１１の先端にはエンドエフェクタ７が設けられている。アーム装置２は、各種アクチュエータによって駆動するが、アクチュエータの詳細については便宜上説明を省略する。例えば、アーム装置２の基端部は便宜上図示を省略するが自律走行する台車に取り付けられていて、アーム装置２は当該台車の走行によって移動することができる。 FIG. 1 is a schematic diagram of the entire working system 1 according to the first embodiment. The work system 1 includes an arm device 2 and a work control device 3 that can communicate with the arm device 2.
In the arm device 2, a plurality of links 11 to 13, three in the example of FIG. 1, are continuously connected by a plurality of joints 14, 15, two in the example of FIG. In this example, joints 14 and 15 are rotary joints. Although the arm device 2 is a robot arm in the example of FIG. 1 (the same applies to each of the following embodiments), it may also be configured as a power shovel, a crane, or the like. An end effector 7 is provided at the tip of the most advanced link 11 of the arm device 2. The arm device 2 is driven by various actuators, but a detailed description of the actuators will be omitted for convenience. For example, although not shown for convenience, the base end of the arm device 2 is attached to an autonomously traveling truck, and the arm device 2 can be moved by the traveling of the truck.

アーム装置２の最先端のリンク１１の先端側には画像センサ２１が設けられている。画像センサ２１はアーム装置２の先端の先の情景を撮像することができる。画像センサ２１は、単眼カメラ、ステレオカメラ、及び深度カメラのうち少なくとも一種類を備えて構成することができる。画像センサ２１は、高い線量の放射線に対しても耐性を有している機種である。
作業制御装置３は、例えば、パーソナルコンピュータ等のコンピュータで構成され、アプリケーションソフト等として作業制御プログラム４がセットアップされている。作業制御装置３は、作業制御プログラム４に基づく処理により以下に説明する機能を実行する。 An image sensor 21 is provided on the distal end side of the most advanced link 11 of the arm device 2 . The image sensor 21 can image the scene beyond the tip of the arm device 2. The image sensor 21 can be configured to include at least one of a monocular camera, a stereo camera, and a depth camera. The image sensor 21 is a model that is resistant to high doses of radiation.
The work control device 3 is composed of a computer such as a personal computer, and has a work control program 4 set up as application software or the like. The work control device 3 executes the functions described below through processing based on the work control program 4.

図２は、作業制御装置３が、主に作業制御プログラム４に基づいて実行する機能の機能ブロック図である。
通信部３１は、無線又は有線によりアーム装置２と作業制御装置３との通信を行う。以下の処理で言及する、アーム装置２側への作業制御装置３からの指令の送信、及びアーム装置２側からの作業制御装置３への各種データの送信は、通信部３１を介して行う。
駆動制御部３２は、アーム装置２の駆動を制御する。これによって、関節１４，１５を駆動し、エンドエフェクタ７を駆動する等することができる。 FIG. 2 is a functional block diagram of functions executed by the work control device 3 mainly based on the work control program 4. As shown in FIG.
The communication unit 31 communicates between the arm device 2 and the work control device 3 wirelessly or by wire. Transmission of commands from the work control device 3 to the arm device 2 side and transmission of various data from the arm device 2 side to the work control device 3, which will be referred to in the following processing, are performed via the communication unit 31.
The drive control unit 32 controls the drive of the arm device 2 . Thereby, the joints 14 and 15 can be driven, the end effector 7 can be driven, and so on.

撮像部３３は、駆動制御部３２によってアーム装置２の最も先端側からｉ番目の関節の動きを固定して、アーム装置２の最も先端側からｉ＋１番目の関節を駆動しながら画像センサ２１で所定の対象位置１０２（図１）を複数回撮像する。ｉ番目の関節の動きの固定、ｉ＋１番目の関節の駆動、画像センサ２１の撮像は、撮像部３３を用いて手動で行うこともできるが、撮像部３３が一連の動作を自動で行う方が、作業性が高い。
座標取得部３４は、撮像部３３で撮像した各画像を用い、対象位置１０２（図１）を基準とした座標系での当該各画像における画像センサ２１の位置を求める。 The imaging unit 33 fixes the movement of the i-th joint from the distalmost side of the arm device 2 by the drive control unit 32, and while driving the i+1st joint from the distal-most side of the arm device 2, the image sensor 21 performs a predetermined movement. The target position 102 (FIG. 1) is imaged multiple times. Fixing the movement of the i-th joint, driving the i+1-th joint, and capturing images with the image sensor 21 can be performed manually using the imaging unit 33, but it is better if the imaging unit 33 automatically performs the series of operations. , high workability.
The coordinate acquisition unit 34 uses each image captured by the imaging unit 33 to determine the position of the image sensor 21 in each image in a coordinate system based on the target position 102 (FIG. 1).

関節状態量判定部３５は、座標取得部３４で求めた画像センサ２１の位置に基づいて、アーム装置２の最も先端側からｉ番目の関節の関節状態量を求める。
順次判定部３６は、駆動制御部３２、撮像部３３、座標取得部３４、及び関節状態量判定部３５を用いて、アーム装置２の最先端側から順次基端側の各関節の関節状態量を求める。
表示部３７は、画像センサ２１で撮像した画像、座標取得部３４で求めた画像センサ２１の位置を示す画像、及び関節状態量判定部３５で求めた関節状態量のうちの少なくとも一部を表示装置５（図１）に表示する。 The joint state amount determination unit 35 determines the joint state amount of the i-th joint from the distal end side of the arm device 2 based on the position of the image sensor 21 determined by the coordinate acquisition unit 34.
The sequential determination section 36 uses the drive control section 32, the imaging section 33, the coordinate acquisition section 34, and the joint state amount determination section 35 to sequentially determine the joint state amount of each joint from the most distal side to the base end side of the arm device 2. seek.
The display unit 37 displays at least part of the image captured by the image sensor 21, the image indicating the position of the image sensor 21 determined by the coordinate acquisition unit 34, and the joint state amount determined by the joint state amount determining unit 35. Displayed on device 5 (FIG. 1).

記憶部３８は、画像センサ２１で撮像した画像、座標取得部３４で求めた画像センサ２１の位置を示す画像、及び関節状態量判定部３５で求めた関節状態量のうちの少なくとも一部を記憶装置６（図１）に記憶する。 The storage unit 38 stores at least part of the image captured by the image sensor 21, the image indicating the position of the image sensor 21 determined by the coordinate acquisition unit 34, and the joint state amount determined by the joint state amount determination unit 35. The information is stored in the device 6 (FIG. 1).

次に、作業システム１の作用効果について説明する。
以下では、回転関節である関節１４の関節状態量（リンク１１の長手方向とリンク１２の長手方向とがなす角度）を求める例について説明する。この場合は、関節１４がアーム装置２の最も先端側からｉ番目の関節となり、関節１５がアーム装置２の最も先端側からｉ＋１番目の関節になる。そこで、撮像部３３は、図１を参照して、駆動制御部３２によって関節１４の動きを固定し、関節１５を駆動しながら画像センサ２１で所定の対象位置１０２を複数回撮像する。アーム装置２の関節１５よりも更に基端側に関節が存在する場合は、当該関節も固定する。本例では、図１に示すように、所定の対象位置１０２は、アーム装置２の作業対象となる作業対象物１０１の上部の特定ポイントであるが、所定の対象位置１０２は、画像センサ２１で撮像可能な様々なポイントに設定してよい。 Next, the effects of the work system 1 will be explained.
Below, an example will be described in which the joint state quantity (the angle between the longitudinal direction of the link 11 and the longitudinal direction of the link 12) of the joint 14, which is a rotary joint, is obtained. In this case, the joint 14 is the i-th joint from the distal end of the arm device 2, and the joint 15 is the i+1-th joint from the distal end of the arm device 2. Therefore, referring to FIG. 1, the imaging unit 33 fixes the movement of the joint 14 using the drive control unit 32, and images the predetermined target position 102 multiple times with the image sensor 21 while driving the joint 15. If a joint exists on the proximal end side of the joint 15 of the arm device 2, that joint is also fixed. In this example, as shown in FIG. It may be set at various points that can be imaged.

図３は、撮像部３３で撮像した画像の一例を示している。この画像２０１には、関節１５を駆動しながら画像センサ２１の位置を変えつつ画像センサ２１で例えば４回撮像した画像を重ね合わせて表示している。画像センサ２１の位置を変えつつ各画像は撮影されているので、画像２０１中の所定の対象位置１０２は各撮像画像で位置が異なる。これによって、各撮像画像における画像２０１中の所定の対象位置１０２の座標がわかる。
次に、座標取得部３４は、撮像部３３で撮像したこのような画像を用い、対象位置１０２を基準とした座標系に変換する。そして、変換後の座標系で図３の各対象位置１０２に対応する画像センサ２１の位置を求める。このような座標変換は、ＳＬＡＭ（Simultaneous Localization And Mapping）の技術を用いることで行うことができる。 FIG. 3 shows an example of an image captured by the imaging unit 33. In this image 201, images captured, for example, four times by the image sensor 21 while changing the position of the image sensor 21 while driving the joint 15 are displayed in a superimposed manner. Since each image is photographed while changing the position of the image sensor 21, the position of the predetermined target position 102 in the image 201 is different in each captured image. As a result, the coordinates of a predetermined target position 102 in the image 201 in each captured image can be found.
Next, the coordinate acquisition unit 34 uses such an image captured by the imaging unit 33 to convert it into a coordinate system based on the target position 102. Then, the position of the image sensor 21 corresponding to each target position 102 in FIG. 3 is determined in the converted coordinate system. Such coordinate transformation can be performed using SLAM (Simultaneous Localization And Mapping) technology.

図４は、この座標変換後のｘｙ座標に示された各画像センサ２１の位置を示すグラフである。図４のグラフにプロットされている各ポイント４１が撮像部３３で撮像した各画像に対応する画像センサ２１の位置座標を示している。関節１５の駆動によって画像センサ２１は円弧４２上を移動するので、各ポイント４１も円弧４２上に並ぶ。そのため、円弧４２から当該円弧４２の中心位置４３もわかる。この中心位置４３は関節１５の位置である。駆動角度θ２は、撮像部３３で撮像したある画像から次に撮像した画像までの間における関節１５の回転角度である。図４中には、対応するアーム装置２の部材も破線で示している。 FIG. 4 is a graph showing the position of each image sensor 21 expressed in xy coordinates after this coordinate transformation. Each point 41 plotted in the graph of FIG. 4 indicates the position coordinates of the image sensor 21 corresponding to each image captured by the imaging unit 33. Since the image sensor 21 moves on the circular arc 42 by driving the joint 15, each point 41 is also aligned on the circular arc 42. Therefore, the center position 43 of the circular arc 42 can also be determined from the circular arc 42. This center position 43 is the position of the joint 15. The drive angle θ2 is the rotation angle of the joint 15 between a certain image captured by the imaging unit 33 and the next captured image. In FIG. 4, corresponding members of the arm device 2 are also shown with broken lines.

次に、関節状態量判定部３５は、座標取得部３４で求めた画像センサ２１の位置に基づいて関節１４の関節状態量を求める。図５は、関節状態量の求め方を示す説明図である。座標取得部３４によって各撮像画像に対応した画像センサ２１の位置であるポイント４１の位置が判明している。また、関節１５の位置も中心位置４３の位置として判明している。画像センサ２１の位置がリンク１１の先端部であるとみなせば、リンク１１，１２それぞれの長さも予め既知であるため、関節１４、関節１５、画像センサ２１を３つの角とする三角形の形状、大きさが明らかとなる。そのため、リンク１１の長手方向とリンク１２の長手方向とがなす角度である関節１４の回転角度θ１（関節状態量）の値を求めることができる。 Next, the joint state amount determination section 35 determines the joint state amount of the joint 14 based on the position of the image sensor 21 determined by the coordinate acquisition section 34 . FIG. 5 is an explanatory diagram showing how to obtain joint state quantities. The position of the point 41, which is the position of the image sensor 21 corresponding to each captured image, is known by the coordinate acquisition unit 34. Furthermore, the position of the joint 15 is also known as the center position 43. If the position of the image sensor 21 is considered to be the tip of the link 11, the lengths of the links 11 and 12 are also known in advance, so the shape of a triangle with the joint 14, the joint 15, and the image sensor 21 as three corners, The size becomes clear. Therefore, the value of the rotation angle θ1 (joint state quantity) of the joint 14, which is the angle formed by the longitudinal direction of the link 11 and the longitudinal direction of the link 12, can be determined.

なお、画像センサ２１の位置がリンク１１の先端部にあるとは限らず、図１に例示するように当該先端部からずれていることを考慮し、関節１４の回転角度θ１を更に正確に推定しようとする場合は、次のようにする。リンク１１，１２それぞれと長手方向が平行な疑似的なリンク１１Ａ，１２Ａを想定し、リンク１１Ａを画像センサ２１位置から関節１４側に向かって伸ばし、リンク１２Ａを中心位置４３（関節１５）位置から伸ばす。すると、この両者は先端部が関節１４の近傍で接続し、その接続点を各疑似的なリンク１１Ａ，１２Ａの終点とすれば、リンク１１Ａ，１２Ａのそれぞれの長さ、位置も判明する。したがって、リンク１１Ａ，１２Ａを二辺とし、画像センサ２１、関節１５を二つの角とする三角形の形状、大きさが明らかとなる。そのため、リンク１１Ａの長手方向とリンク１２Ａの長手方向とがなす角度である関節１４の回転角度θ１（関節状態量）の値を更に正確に求めることができる。 Note that the rotation angle θ1 of the joint 14 can be estimated more accurately by taking into account that the position of the image sensor 21 is not necessarily at the tip of the link 11, but is shifted from the tip as illustrated in FIG. If you want to try this, do the following: Assuming pseudo links 11A and 12A whose longitudinal directions are parallel to the links 11 and 12, respectively, the link 11A is extended from the image sensor 21 position toward the joint 14 side, and the link 12A is extended from the center position 43 (joint 15) position. stretch. Then, the tips of these two are connected near the joint 14, and if the connection point is taken as the end point of each pseudo link 11A, 12A, the length and position of each of the links 11A, 12A can also be determined. Therefore, the shape and size of a triangle with the links 11A and 12A as two sides and the image sensor 21 and the joint 15 as two corners becomes clear. Therefore, the value of the rotation angle θ1 (joint state quantity) of the joint 14, which is the angle formed by the longitudinal direction of the link 11A and the longitudinal direction of the link 12A, can be determined more accurately.

以上の処理によってアーム装置２の最先端の関節１４の関節状態量が求められる。順次判定部３６は、駆動制御部３２、撮像部３３、座標取得部３４、及び関節状態量判定部３５を用いて、前記と同様の処理を実行することで、アーム装置２の最先端側から順次基端側の各関節の関節状態量を求める。
表示部３７は、画像センサ２１で撮像した画像（図３に例示）、座標取得部３４で求めた画像センサ２１の位置を示す画像（図４に例示）、及び関節状態量判定部３５で求めた関節状態量（図５のような図も含める）を表示装置５（図１）に表示する。 Through the above processing, the joint state quantity of the most advanced joint 14 of the arm device 2 is determined. The sequential determination unit 36 uses the drive control unit 32, the imaging unit 33, the coordinate acquisition unit 34, and the joint state quantity determination unit 35 to perform the same processing as described above, so that the The joint state amount of each joint on the proximal end side is determined in sequence.
The display unit 37 displays an image captured by the image sensor 21 (exemplified in FIG. 3), an image indicating the position of the image sensor 21 determined by the coordinate acquisition unit 34 (exemplified in FIG. 4), and an image determined by the joint state quantity determination unit 35. The joint state quantities (including diagrams such as FIG. 5) are displayed on the display device 5 (FIG. 1).

また、記憶部３８は、画像センサ２１で撮像した画像（図３に例示）、座標取得部３４で求めた画像センサ２１の位置を示す画像（図４に例示）、及び関節状態量判定部３５で求めた関節状態量（図５のような図も含める）を記憶装置６（図１）に記憶する。
以上説明した作業システム１、作業制御装置３によれば、高放射線等の過酷環境下でもアーム装置２の各関節の関節状態量を検出することができる。特に、アーム装置２の先端側からｉ番目の関節が回転関節、アーム装置２の先端側からｉ＋１番目の関節も回転関節である場合に、当該ｉ番目の関節の関節状態量を検出することができる。 The storage unit 38 also stores an image captured by the image sensor 21 (exemplified in FIG. 3), an image indicating the position of the image sensor 21 determined by the coordinate acquisition unit 34 (exemplified in FIG. 4), and a joint state quantity determination unit. The joint state quantities obtained in step 35 (including diagrams such as FIG. 5) are stored in the storage device 6 (FIG. 1).
According to the work system 1 and the work control device 3 described above, it is possible to detect the joint state amount of each joint of the arm device 2 even in a harsh environment such as high radiation. In particular, when the i-th joint from the distal end of the arm device 2 is a rotary joint and the i+1-th joint from the distal end of the arm device 2 is also a rotary joint, it is possible to detect the joint state amount of the i-th joint. can.

図６は、本実施例２に係る作業システム１の全体の概略構成図である。本実施例２のシステム構成が実施例１と異なる点は、回転関節である関節１５に代えて直動関節である関節１５ａを用いている点である。以下では、本実施例２が実施例１と異なる点を中心に説明する（以下の各実施例においても同様）。 FIG. 6 is a schematic diagram of the entire working system 1 according to the second embodiment. The system configuration of the second embodiment differs from the first embodiment in that a joint 15a, which is a translational joint, is used instead of joint 15, which is a rotational joint. In the following, the differences between the second embodiment and the first embodiment will be mainly explained (the same applies to each of the following embodiments).

関節１５ａは直動関節であるからリンク１１の長手方向に伸縮するのが当該関節の動きとなる。そこで、まず、撮像部３３は、図６を参照して、駆動制御部３２によって関節１４の動きを固定し、関節１５ａを駆動（伸長又は縮小）しながら画像センサ２１で所定の対象位置１０２（図３）を複数回撮像する。アーム装置２の関節１５ａよりも更に基端側に関節が存在する場合は、当該関節も固定する。この撮像部３３による処理によって、実施例１と同様、図３に示すような画像を取得することができる。
なお、実施例１では、画像センサ２１は関節１５を中心とした旋回運動をするが、この実施例２では、画像センサ２１は、関節１５ａの伸長などに基づく直線運動をする。 Since the joint 15a is a translational joint, the movement of the joint is expansion and contraction in the longitudinal direction of the link 11. Therefore, first, referring to FIG. 6, the imaging unit 33 fixes the movement of the joint 14 by the drive control unit 32, and while driving (extending or contracting) the joint 15a, the image sensor 21 selects a predetermined target position 102 ( Figure 3) is imaged multiple times. If a joint exists on the proximal end side of the joint 15a of the arm device 2, that joint is also fixed. Through this processing by the imaging unit 33, an image as shown in FIG. 3 can be acquired, as in the first embodiment.
Note that in the first embodiment, the image sensor 21 makes a rotational movement around the joint 15, but in the second embodiment, the image sensor 21 makes a linear movement based on the extension of the joint 15a.

次に、座標取得部３４は、実施例１と同様に、撮像部３３で撮像したこのような画像を用い、対象位置１０２を基準とした座標系に変換する。図７は、この座標変換後のｘｙ座標に示された各画像センサ２１の位置を示すグラフである。図７から明らかなように、関節１５ａは直線的に動くので、各ポイント４１も直線５１の上に並ぶ。そして、撮像部３３で撮像したある画像から次に撮像した画像までの間に画像センサ２１が移動した距離が隣接するポイント４１間の距離であり、直線５１の長手方向が移動の方向である。また、この距離と方向は、関節１５ａが伸縮した長さと方向も示している。 Next, similarly to the first embodiment, the coordinate acquisition unit 34 uses such an image captured by the imaging unit 33 to convert it into a coordinate system based on the target position 102. FIG. 7 is a graph showing the position of each image sensor 21 indicated by the xy coordinates after this coordinate transformation. As is clear from FIG. 7, since the joint 15a moves linearly, each point 41 is also aligned on the straight line 51. The distance traveled by the image sensor 21 from one image captured by the imaging unit 33 to the next captured image is the distance between adjacent points 41, and the longitudinal direction of the straight line 51 is the direction of movement. The distance and direction also indicate the length and direction in which the joint 15a expands and contracts.

次に、関節状態量判定部３５は、座標取得部３４で求めた画像センサ２１の位置に基づいて関節１４の関節状態量を求める。図８は、関節状態量の求め方を示す説明図である。リンク１１，１２の元々の長さは既知である。画像センサ２１の位置や、関節１５ａの伸縮の長さや方向も判明している。よって、関節１５ａの基端部、関節１４、画像センサ２１の位置を３つの角とする三角形の形状や大きさを特定することができる。よって、関節１４の回転角度θ１（関節状態量）の値を求めることができる。 Next, the joint state amount determination section 35 determines the joint state amount of the joint 14 based on the position of the image sensor 21 determined by the coordinate acquisition section 34 . FIG. 8 is an explanatory diagram showing how to obtain the joint state amount. The original lengths of links 11, 12 are known. The position of the image sensor 21 and the length and direction of expansion and contraction of the joint 15a are also known. Therefore, the shape and size of a triangle whose three corners are the base end of the joint 15a, the joint 14, and the position of the image sensor 21 can be specified. Therefore, the value of the rotation angle θ1 (joint state quantity) of the joint 14 can be determined.

この場合、実施例１と同様に、画像センサ２１の位置とリンク１１の先端部との位置ずれは既知である。そこで、実施例１と同様に、疑似的なリンク１１Ａ，１２Ａを想定し、この２つの疑似的なリンクを含む三角形から、更に正確な関節１４の回転角度θ１（関節状態量）の値を求めることができる。
以上説明した作業システム１、作業制御装置３によれば、高放射線等の過酷環境下でもアーム装置２の各関節の関節状態量を検出することができる。特に、アーム装置２の先端側からｉ番目の関節が回転関節、アーム装置２の先端側からｉ＋１番目の関節が直動関節である場合に、当該ｉ番目の関節の関節状態量を検出することができる。 In this case, as in the first embodiment, the positional deviation between the position of the image sensor 21 and the tip of the link 11 is known. Therefore, as in Example 1, pseudo links 11A and 12A are assumed, and a more accurate value of the rotation angle θ1 (joint state quantity) of the joint 14 is determined from a triangle including these two pseudo links. be able to.
According to the work system 1 and the work control device 3 described above, it is possible to detect the joint state amount of each joint of the arm device 2 even in a harsh environment such as high radiation. In particular, when the i-th joint from the distal end of the arm device 2 is a rotary joint and the i+1-th joint from the distal end of the arm device 2 is a prismatic joint, detecting the joint state amount of the i-th joint. Can be done.

図９は、本実施例３に係る作業システム１の全体の概略構成図である。本実施例３のシステム構成が実施例１と異なる点は、回転関節である関節１４に代えて直動関節である関節１４ａを用いている点である。 FIG. 9 is a schematic diagram of the entire working system 1 according to the third embodiment. The system configuration of the third embodiment differs from the first embodiment in that a joint 14a, which is a translational joint, is used instead of the joint 14, which is a rotational joint.

まず、撮像部３３は、図９を参照して、駆動制御部３２によって関節１４ａの動き（伸縮動作）を固定し、関節１５を駆動しながら画像センサ２１で所定の対象位置１０２を複数回撮像する。
次に、座標取得部３４は、実施例１と同様に、撮像部３３で撮像したこのような画像を用い、対象位置１０２を基準とした座標系に変換する。図１０は、この座標変換後のｘｙ座標に示された各画像センサ２１の位置を示すグラフである。図１０から明らかなように、実施例１と同様、画像センサ２１の軌跡は円弧状となり、撮像部３３で撮像した際の画像センサ２１の位置、関節１５（円弧４２の中心位置４３）の位置がわかる。 First, referring to FIG. 9, the imaging unit 33 fixes the movement (expansion/contraction movement) of the joint 14a by the drive control unit 32, and images a predetermined target position 102 multiple times with the image sensor 21 while driving the joint 15. do.
Next, similarly to the first embodiment, the coordinate acquisition unit 34 uses such an image captured by the imaging unit 33 to convert it into a coordinate system based on the target position 102. FIG. 10 is a graph showing the position of each image sensor 21 expressed in xy coordinates after this coordinate transformation. As is clear from FIG. 10, similar to the first embodiment, the trajectory of the image sensor 21 is arc-shaped, and the position of the image sensor 21 and the position of the joint 15 (center position 43 of the arc 42) when the image is captured by the imaging unit 33 I understand.

次に、関節状態量判定部３５は、座標取得部３４で求めた画像センサ２１の位置に基づいて関節１４の関節状態量を求める。図１１は、関節状態量の求め方を示す説明図である。前記のように、画像センサ２１の位置、関節１５の位置は判明している。リンク１１，１２の長さは既知である。リンク１１の長手方向とリンク１２の長手方向とがなす回転角度θ１は固定であり、既知である。よって、関節１５、画像センサ２１を２つの角とし、リンク１１，１２（関節１４ａの伸長分も含む）を２つの辺とする三角形の形状、大きさを想定でき、関節１４ａの伸長した長さ（関節状態量）がわかる。 Next, the joint state amount determination section 35 determines the joint state amount of the joint 14 based on the position of the image sensor 21 determined by the coordinate acquisition section 34 . FIG. 11 is an explanatory diagram showing how to obtain joint state quantities. As described above, the position of the image sensor 21 and the position of the joint 15 are known. The lengths of links 11 and 12 are known. The rotation angle θ1 between the longitudinal direction of the link 11 and the longitudinal direction of the link 12 is fixed and known. Therefore, it is possible to assume the shape and size of a triangle with the joint 15 and the image sensor 21 as two corners and the links 11 and 12 (including the extension of the joint 14a) as the two sides, and the extended length of the joint 14a. (Joint state quantity) can be understood.

また、実施例１と同様に、疑似的なリンク１１Ａ，１２Ａを想定し、当該リンク１１Ａ，１２Ａを二辺とする前記のような三角形の形状、大きさを想定することで、より正確に関節１４ａの伸長した長さ（関節状態量）がわかる。
以上説明した作業システム１、作業制御装置３によれば、高放射線等の過酷環境下でもアーム装置２の各関節の関節状態量を検出することができる。特に、アーム装置２の先端側からｉ番目の関節が直動関節、アーム装置２の先端側からｉ＋１番目の関節が回転関節である場合に、当該ｉ番目の関節の関節状態量を検出することができる。 In addition, as in the first embodiment, by assuming pseudo links 11A and 12A and assuming the shape and size of the triangle as described above with the links 11A and 12A as two sides, the joints can be more accurately The extended length (joint state amount) of 14a can be found.
According to the work system 1 and the work control device 3 described above, it is possible to detect the joint state amount of each joint of the arm device 2 even in a harsh environment such as high radiation. In particular, when the i-th joint from the tip side of the arm device 2 is a translational joint and the i+1-th joint from the tip side of the arm device 2 is a rotational joint, detecting the joint state amount of the i-th joint. Can be done.

図１２は、本実施例４に係る作業システム１の全体の概略構成図である。本実施例４のシステム構成が実施例１と異なる点は、回転関節である関節１４に代えてパラレルリンク関節である関節１４ｂを用いている点である。パラレルリンク関節は、複数のリンクと関節とを組み合わせて構成されている。この場合、リンク１２の先端（関節１４ｂの基端部）から、エンドエフェクタ７が設けられている関節１４ｂの先端部までの長さを有する１本の直線軸状のリンクを想定することができ、この想定上のリンクがアーム装置２の最先端のリンク１１に相当する。 FIG. 12 is a schematic diagram of the entire working system 1 according to the fourth embodiment. The system configuration of the fourth embodiment differs from the first embodiment in that a joint 14b, which is a parallel link joint, is used instead of the joint 14, which is a rotational joint. A parallel link joint is constructed by combining a plurality of links and joints. In this case, one linear axial link having a length from the tip of the link 12 (base end of the joint 14b) to the tip of the joint 14b where the end effector 7 is provided can be assumed. , this hypothetical link corresponds to the most advanced link 11 of the arm device 2.

まず、撮像部３３は、図９を参照して、駆動制御部３２によって関節１４ｂの動きを固定し、関節１５を駆動しながら画像センサ２１で所定の対象位置１０２を複数回撮像する。 First, referring to FIG. 9, the imaging unit 33 fixes the movement of the joint 14b by the drive control unit 32, and images the predetermined target position 102 multiple times with the image sensor 21 while driving the joint 15.

次に、座標取得部３４は、実施例１と同様に、撮像部３３で撮像したこのような画像を用い、対象位置１０２を基準とした座標系に変換する。図１３は、この座標変換後のｘｙ座標に示された各画像センサ２１の位置を示すグラフである。図１３から明らかなように、実施例１と同様、画像センサ２１の軌跡は円弧状となり、撮像部３３で撮像した際の画像センサ２１の位置、関節１５（円弧４２の中心位置４３）の位置がわかる。 Next, similarly to the first embodiment, the coordinate acquisition unit 34 uses such an image captured by the imaging unit 33 to convert it into a coordinate system based on the target position 102. FIG. 13 is a graph showing the position of each image sensor 21 expressed in xy coordinates after this coordinate transformation. As is clear from FIG. 13, similarly to the first embodiment, the trajectory of the image sensor 21 is arc-shaped, and the position of the image sensor 21 and the position of the joint 15 (center position 43 of the arc 42) when the image is captured by the imaging unit 33 I understand.

次に、関節状態量判定部３５は、座標取得部３４で求めた画像センサ２１の位置に基づいて関節１４の関節状態量を求める。図１４は、関節状態量の求め方を示す説明図である。前記のように、画像センサ２１の位置、関節１５の位置は判明している。前記のような仮想的なリンク１１、及びリンク１２の長さは既知である。よって、画像センサ２１の位置、関節１５の位置を二つの角とし、リンク１１、及びリンク１２を二つの辺とする三角形の形状、大きさを想定することができる。そのため、リンク１１の長手方向とリンク１２の長手方向とがなす角度である関節１４ｂの回転角度θ１（関節状態量）の値を求めることができる。 Next, the joint state amount determination section 35 determines the joint state amount of the joint 14 based on the position of the image sensor 21 determined by the coordinate acquisition section 34 . FIG. 14 is an explanatory diagram showing how to obtain the joint state amount. As described above, the position of the image sensor 21 and the position of the joint 15 are known. The lengths of the virtual links 11 and 12 as described above are known. Therefore, the shape and size of a triangle can be assumed, with the position of the image sensor 21 and the position of the joint 15 as two corners, and the links 11 and 12 as two sides. Therefore, the value of the rotation angle θ1 (joint state quantity) of the joint 14b, which is the angle formed by the longitudinal direction of the link 11 and the longitudinal direction of the link 12, can be determined.

また、実施例１と同様に、疑似的なリンク１１Ａ，１２Ａを想定し、前記の三角形の二辺を当該リンク１１Ａ，１２Ａとすることで、更に正確に関節１４ｂの回転角度θ１（関節状態量）を求めることができる。
以上説明した作業システム１、作業制御装置３によれば、高放射線等の過酷環境下でもアーム装置２の各関節の関節状態量を検出することができる。特に、アーム装置２の先端側からｉ番目の関節がパラレルリンク関節、アーム装置２の先端側からｉ＋１番目の関節が回転関節である場合に、当該ｉ番目の関節の関節状態量を検出することができる。 In addition, as in the first embodiment, by assuming pseudo links 11A and 12A and setting the two sides of the triangle as the links 11A and 12A, it is possible to more accurately rotate the rotation angle θ1 of the joint 14b (joint state amount ) can be obtained.
According to the work system 1 and the work control device 3 described above, it is possible to detect the joint state amount of each joint of the arm device 2 even in a harsh environment such as high radiation. In particular, when the i-th joint from the tip side of the arm device 2 is a parallel link joint and the i+1-th joint from the tip side of the arm device 2 is a rotational joint, detecting the joint state amount of the i-th joint. Can be done.

以上、複数の事例について説明してきた。本発明によれば、アーム装置２が備えている関節が、回転関節、直動関節、又はパラレルリンク関節であり、且つアーム装置２に一つ以上の回転関節を含んでいれば、各関節の関節状態量を検出することができる。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることも可能である。 Several cases have been explained above. According to the present invention, if the joints provided in the arm device 2 are rotary joints, prismatic joints, or parallel link joints, and the arm device 2 includes one or more rotary joints, each joint is Joint state quantities can be detected.
Note that the present invention is not limited to the above-described embodiments, and includes various modifications. For example, the embodiments described above are described in detail to explain the present invention in an easy-to-understand manner, and the present invention is not necessarily limited to having all the configurations described. Furthermore, it is possible to replace a part of the configuration of one embodiment with the configuration of another embodiment, and it is also possible to add the configuration of another embodiment to the configuration of one embodiment. Furthermore, it is also possible to add, delete, or replace some of the configurations of each embodiment with other configurations.

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれ機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、又はＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。 Further, each of the above-mentioned configurations, functions, processing units, processing means, etc. may be partially or entirely realized in hardware by designing, for example, an integrated circuit. Furthermore, each of the configurations, functions, etc. described above may be realized by software by having a processor interpret and execute programs that realize the respective functions. Information such as programs, tables, files, etc. that implement each function can be stored in a memory, a recording device such as a hard disk, an SSD (Solid State Drive), or a recording medium such as an IC card, SD card, or DVD.

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてよい。 Further, the control lines and information lines are shown to be necessary for explanation purposes, and not all control lines and information lines are necessarily shown in the product. In reality, almost all configurations can be considered to be interconnected.

１作業システム
２アーム装置
３作業制御装置
５表示装置
６記憶装置
１１～１３リンク
１４，１４ａ，１４ｂ関節
１５，１５ａ関節
２１画像センサ
３２駆動制御部
３３撮像部
３４座標取得部
３５関節状態量判定部
３６順次判定部
３７表示部
３８記憶部
１０２対象位置 1 Work System 2 Arm Device 3 Work Control Device 5 Display Device 6 Storage Device 11 to 13 Links 14, 14a, 14b Joints 15, 15a Joints 21 Image Sensor 32 Drive Control Unit 33 Imaging Unit 34 Coordinate Acquisition Unit 35 Joint State Amount Determination Unit 36 Sequential determination unit 37 Display unit 38 Storage unit 102 Target position

Claims

複数個のリンクが複数個の関節で連続的に連結されているアーム装置と、
前記アーム装置の最先端の前記リンクに設けられた画像センサと、
前記アーム装置の駆動を制御する駆動制御部と、
前記駆動制御部によって前記アーム装置の最も先端側からｉ番目の前記関節の動きを固定して前記アーム装置の最も先端側からｉ＋１番目の前記関節を駆動しながら前記画像センサで所定の対象位置を複数回撮像する撮像部と、
前記撮像部で撮像した各画像を用い前記対象位置を基準とした座標系での前記各画像における前記画像センサの位置を求める座標取得部と、
前記座標取得部で求めた前記画像センサの位置に基づいて前記アーム装置の最も先端側からｉ番目の前記関節の関節状態量を求める関節状態量判定部とを備えていることを特徴とする作業システム。 an arm device in which a plurality of links are continuously connected through a plurality of joints;
an image sensor provided at the most advanced link of the arm device;
a drive control unit that controls the drive of the arm device;
While fixing the movement of the i-th joint from the most distal side of the arm device by the drive control unit and driving the i+1-th joint from the most distal side of the arm device, a predetermined target position is determined by the image sensor. an imaging unit that captures images multiple times;
a coordinate acquisition unit that uses each image captured by the imaging unit to determine the position of the image sensor in each image in a coordinate system based on the target position;
and a joint state amount determination unit that determines the joint state amount of the i-th joint from the distal end side of the arm device based on the position of the image sensor determined by the coordinate acquisition unit. system.

複数の前記関節は、それぞれ回転関節、直動関節、又はパラレルリンク関節であり、且つ一つ以上の前記回転関節を含むことを特徴とする請求項１に記載の作業システム。 The working system according to claim 1, wherein each of the plurality of joints is a rotational joint, a prismatic joint, or a parallel link joint, and includes one or more of the rotational joints.

前記駆動制御部、前記撮像部、前記座標取得部、及び前記関節状態量判定部を用いて、前記アーム装置の最先端側から順次基端側の前記各関節の関節状態量を求める順次判定部を備えていることを特徴とする請求項１又は請求項２に記載の作業システム。 a sequential determination unit that uses the drive control unit, the imaging unit, the coordinate acquisition unit, and the joint state quantity determination unit to determine joint state quantities of each joint sequentially from the most distal end side to the proximal end side of the arm device; The work system according to claim 1 or claim 2, comprising:

前記画像センサは、単眼カメラ、ステレオカメラ、及び深度カメラのうち少なくとも一種類を備えることを特徴とする請求項１乃至請求項３の何れかの一項に記載の作業システム。 The work system according to any one of claims 1 to 3, wherein the image sensor includes at least one type of a monocular camera, a stereo camera, and a depth camera.

前記画像センサで撮像した画像、前記座標取得部で求めた位置を示す画像、及び前記関節状態量判定部で求めた関節状態量のうちの少なくとも一部を表示装置に表示する表示部を備えていることを特徴とする請求項１乃至請求項４の何れかの一項に記載の作業システム。 A display unit that displays on a display device at least a portion of the image captured by the image sensor, the image indicating the position determined by the coordinate acquisition unit, and the joint state quantity determined by the joint state quantity determination unit. The work system according to any one of claims 1 to 4, characterized in that:

前記画像センサで撮像した画像、前記座標取得部で求めた位置を示す画像、及び前記関節状態量判定部で求めた関節状態量のデータうちの少なくとも一部を記憶装置に記憶する記憶部を備えていることを特徴とする請求項１乃至請求項５の何れかの一項に記載の作業システム。 A storage unit that stores at least part of the image captured by the image sensor, the image indicating the position determined by the coordinate acquisition unit, and the joint state amount data determined by the joint state amount determination unit, in a storage device. The work system according to any one of claims 1 to 5, characterized in that:

複数個のリンクが複数個の関節で連続的に連結されているアーム装置の駆動を制御する駆動制御部と、
前記駆動制御部によって前記アーム装置の最も先端側からｉ番目の前記関節の動きを固定して前記アーム装置の最も先端側からｉ＋１番目の前記関節を駆動しながら、前記アーム装置の最先端の前記リンクに設けられた画像センサで所定の対象位置を複数回撮像する撮像部と、
前記撮像部で撮像した各画像を用い前記対象位置を基準とした座標系での前記各画像における前記画像センサの位置を求める座標取得部と、
前記座標取得部で求めた前記画像センサの位置に基づいて前記アーム装置の最も先端側からｉ番目の前記関節の関節状態量を求める関節状態量判定部とを備えていることを特徴とする作業制御装置。
a drive control unit that controls the drive of an arm device in which a plurality of links are continuously connected through a plurality of joints;
While fixing the movement of the i-th joint from the most distal side of the arm device by the drive control unit and driving the i + 1-th joint from the most distal side of the arm device, the most distal side of the arm device is fixed. an imaging unit that images a predetermined target position multiple times with an image sensor provided in the link;
a coordinate acquisition unit that uses each image captured by the imaging unit to determine the position of the image sensor in each image in a coordinate system based on the target position;
and a joint state amount determination unit that determines the joint state amount of the i-th joint from the distal end side of the arm device based on the position of the image sensor determined by the coordinate acquisition unit. Control device.

前記駆動制御部、前記撮像部、前記座標取得部、及び前記関節状態量判定部を用いて、前記アーム装置の最先端側から順次基端側の前記各関節の関節状態量を求める順次判定部を備えていることを特徴とする請求項７に記載の作業制御装置。 a sequential determination unit that uses the drive control unit, the imaging unit, the coordinate acquisition unit, and the joint state quantity determination unit to determine joint state quantities of each joint sequentially from the most distal end side to the proximal end side of the arm device; The work control device according to claim 7, further comprising:

前記画像センサで撮像した画像、前記座標取得部で求めた位置を示す画像、及び前記関節状態量判定部で求めた関節状態量のうちの少なくとも一部を表示装置に表示する表示部を備えていることを特徴とする請求項７又は請求項８に記載の作業制御装置。 A display unit that displays on a display device at least a portion of the image captured by the image sensor, the image indicating the position determined by the coordinate acquisition unit, and the joint state quantity determined by the joint state quantity determination unit. 9. The work control device according to claim 7 or 8, characterized in that:

前記画像センサで撮像した画像、前記座標取得部で求めた位置を示す画像、及び前記関節状態量判定部で求めた関節状態量のデータうちの少なくとも一部を記憶装置に記憶する記憶部を備えていることを特徴とする請求項７乃至請求項９の何れかの一項に記載の作業制御装置。 A storage unit that stores at least part of the image captured by the image sensor, the image indicating the position determined by the coordinate acquisition unit, and the joint state amount data determined by the joint state amount determination unit, in a storage device. The work control device according to any one of claims 7 to 9, characterized in that: