JP7293087B2 - Telemetry device and telemetry method - Google Patents
Telemetry device and telemetry method Download PDFInfo
- Publication number
- JP7293087B2 JP7293087B2 JP2019204320A JP2019204320A JP7293087B2 JP 7293087 B2 JP7293087 B2 JP 7293087B2 JP 2019204320 A JP2019204320 A JP 2019204320A JP 2019204320 A JP2019204320 A JP 2019204320A JP 7293087 B2 JP7293087 B2 JP 7293087B2
- Authority
- JP
- Japan
- Prior art keywords
- measurement
- data
- marker
- dimensional
- sensor unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Description
本発明の実施形態は、遠隔計測装置及び遠隔計測方法に関する。 Embodiments of the present invention relate to telemetry devices and telemetry methods.
原子炉や核融合炉のような発電設備の点検や保守作業、放射線治療を用いる医療設備の医療行為支援や装置維持管理作業、宇宙探査などの設備における船外作業、点検や保守作業は、放射線環境であり、一般に人は立ち入ることはできず、過酷な環境での作業となる。そのため、人力の代替となる機器による作業が必要となるが、作業を行う上で、３次元的な位置や姿勢角を正確に把握し、機器側に指示する必要が生じる。このような作業を行うためには、人による計測作業の代替が可能なセンサを用いることが有用である。例えば、作業を人が目視で監視するためのカメラを用いることで、作業の確実性や安全性を担保することができ、監視と計測作業を１台２役することで、必要とする機器数を低減することができる。 Inspection and maintenance work for power generation equipment such as nuclear reactors and nuclear fusion reactors, medical treatment support and equipment maintenance and management work for medical equipment that uses radiation therapy, work outside the ship, inspection and maintenance work for equipment such as space exploration It is an environment, generally people cannot enter, and the work is performed in a harsh environment. For this reason, it is necessary to perform work using equipment that can replace human power, and in performing work, it is necessary to accurately grasp the three-dimensional position and attitude angle and give instructions to the equipment. In order to perform such work, it is useful to use a sensor that can replace human measurement work. For example, by using a camera for people to visually monitor the work, it is possible to ensure the certainty and safety of the work. can be reduced.
一般にこれら点検や保守作業には、相応の位置や姿勢角の計測や作業精度が要求されるが、少ないセンサで計測精度を向上させることは困難と考えられる。また、３次元的な位置や姿勢角を計測するためには、１台のカメラや距離センサでは測定することが困難である。 In general, these inspections and maintenance work require measurement of appropriate positions and attitude angles and work accuracy, but it is considered difficult to improve the measurement accuracy with a small number of sensors. In addition, it is difficult to measure a three-dimensional position and attitude angle with a single camera or distance sensor.
カメラの場合、３次元計測するためには、最低２台以上の異なる位置から撮影した画像を用い、計測することとなる。この場合にも、カメラの焦点距離やレンズ歪み、２カメラ間の位置関係をキャリブレーションする必要がある。距離センサは点計測が主であり、面計測するためには、計測時間内はセンサと計測対象物が固定された位置関係にある必要があり、ロボットアームなどの先端に取り付け、計測するためには、他センサとの組み合わせが有用であるが、装置構成が複雑化する傾向にある。 In the case of a camera, in order to perform three-dimensional measurement, images taken from at least two different positions are used for measurement. In this case also, it is necessary to calibrate the focal length of the camera, lens distortion, and the positional relationship between the two cameras. Distance sensors mainly measure points, and in order to measure a surface, the sensor and the object to be measured must be in a fixed positional relationship during the measurement time. is useful in combination with other sensors, but tends to complicate the device configuration.
また、過酷な環境下にさらされる作業機器は、環境影響により不具合や機能停止といった状況になり易く、比較的短期間で交換を余儀なくされるため、交換時間やコストが増大する可能性が高かった。 In addition, work equipment that is exposed to harsh environments is prone to failures and malfunctions due to environmental impacts, and is forced to be replaced in a relatively short period of time, so there is a high possibility that replacement time and costs will increase. .
過酷環境でも利用することができ、低コストに３次元計測する遠隔計測装置としては、以下に挙げる項目のうち、多くの項目を満足することが必要とされる。 A remote measurement device that can be used in harsh environments and performs three-dimensional measurement at low cost must satisfy many of the items listed below.
基本的な項目として、遠隔保守装置が作業する上で、最も重要な位置や姿勢角の高精度化の観点がある。光学的な方法では、従来から高分解能・高解像度化や、複数のカメラや位置から計測した画像や点群データを用いる方法が用いられている。 As a basic item, there is a viewpoint of increasing the accuracy of the most important position and attitude angle when the remote maintenance device works. Optical methods have conventionally used methods that use images and point cloud data measured from multiple cameras and positions, as well as high-resolution methods.
例えば、カメラによる方法では、画像中の特徴点を高精度に検出する必要があり、高解像度かつ鮮明な画像を取得することで解決できる。しかしながら、とくに放射線環境下では、ノイズも入りやすいうえに、カメラの高解像度化が困難であり、かつ高コストとなることが一般的である。 For example, in a method using a camera, it is necessary to detect feature points in an image with high precision, and this problem can be solved by acquiring a high-resolution and clear image. However, especially in a radiation environment, noise is likely to enter, and it is difficult to increase the resolution of the camera, and generally the cost is high.
次に、測定データの信頼性向上の観点がある。低解像度カメラの場合、計測対象の表面の特徴量を検出することは一般に困難である。そのため、安定かつ堅牢に特徴量を検出する画像処理や点群処理が必要となる。また、とくに放射線環境下の原子炉や核融合炉などは暗室環境となり、照度は極めて低い場合が多いため、計測対象の材質に合わせた照明などの投光機器の照射強度や波長、配置を十分に検討する必要がある。 Next, there is the viewpoint of improving the reliability of measurement data. In the case of a low-resolution camera, it is generally difficult to detect the feature quantity of the surface of the object to be measured. Therefore, image processing and point cloud processing for stably and robustly detecting feature quantities are required. In particular, radiation environments such as nuclear reactors and nuclear fusion reactors are darkroom environments, and the illuminance is often extremely low. need to consider.
さらに、計測対象の有効な計測方法の観点は、計測対象に対して接触か非接触のいずれかの方法で計測可能であるが、放射線環境下では一般に汚染の可能性があるため、非接触での計測が必要となり、変位センサやプローブと言ったセンサを用いることが難しい。また、レーザ光などを用いたスキャナは非接触であるが、表面材質によっては光線の波長を吸収してしまう場合があり、高精度な計測における信頼性の観点から疑義が生じる可能性も排除できない。 Furthermore, from the viewpoint of the effective measurement method of the object to be measured, it is possible to measure the object to be measured by either contact or non-contact method. is required, and it is difficult to use sensors such as displacement sensors and probes. In addition, scanners using laser beams are non-contact, but the wavelength of the beam may be absorbed depending on the surface material, and the possibility of doubts arising from the viewpoint of reliability in high-precision measurement cannot be ruled out. .
さらにまた、計測対象との衝突回避の観点がある。計測対象に制御対象のロボット装置やロボット装置が把持した交換部材やツールが衝突することで、周辺機器や設備を破損するなどの問題が生じる。この場合計測対象をオペレータが直接目視で確認できないため、カメラなどの映像を元に確認する必要がある。ロボット装置の動作における最終決定を下すオペレータが判断材料とするデータを提供するには、カメラ映像が最も有効であると考えられる。また、衝突回避するためには、ロボット装置と計測対象の設計図面を用意し、２次元もしくは３次元シミュレータ上で衝突判定や動きを把握できるシミュレーションを行う方法も考えられる。 Furthermore, there is a viewpoint of collision avoidance with the object to be measured. When a robot device to be controlled or a replacement member or tool gripped by the robot device collides with an object to be measured, problems such as damage to peripheral devices and equipment occur. In this case, since the operator cannot visually confirm the object to be measured, it is necessary to confirm it based on the image of a camera or the like. Camera images are considered to be the most effective for providing data used by the operator who makes the final decision regarding the operation of the robot apparatus. Also, in order to avoid collisions, it is conceivable to prepare a design drawing of the robot device and the object to be measured, and perform a simulation in which collision determination and movement can be grasped on a two-dimensional or three-dimensional simulator.
以上の背景及び課題を踏まえ過酷環境における遠隔保守を円滑に行うため、本発明は、ロボット装置と計測対象の相対位置関係を非接触計測し、安全かつ少ない工程数で目的位置にロボット装置や交換部品などを移動させることのできる遠隔計測装置及びその遠隔計測方法を提供することを目的とする。 Based on the above background and problems, in order to perform remote maintenance smoothly in a harsh environment, the present invention measures the relative positional relationship between a robot device and a measurement target in a non-contact manner, safely and in a small number of processes, and replaces the robot device and the target position. An object of the present invention is to provide a remote measurement device and a remote measurement method for moving a part or the like.
実施形態の遠隔計測装置は、暗室環境における照明となり計測対象物の表面に光の照射及び所定形状の模様の投影を可能とする投光部、および前記計測対象物からの前記投光部によって投影された前記所定形状の模様を含む撮像データを取得するセンサ部を備えた計測装置と、前記計測装置の前記センサ部から撮影可能な位置に配置され前記センサ部からの前記撮像データにより位置と姿勢角を算出可能とするための計測マーカと、保守ツールを取り付けるための手先ツール取付部を具備した可動部と、を備えたロボット装置と、単眼の前記センサ部からの前記計測対象物及び前記計測マーカおよび前記投光部によって投影された前記所定形状の模様を含む前記撮像データと、前記計測対象物及び前記計測マーカの既知寸法データ、可動部原点である前記手先ツール取付部の中心位置とから、前記計測装置の前記センサ部と前記ロボット装置の前記手先ツール取付部と前記計測対象物の表面の位置や姿勢角の相対位置関係を求める相対位置計測処理手段と、相対位置を求めた前記計測装置の前記センサ部と前記ロボット装置の前記手先ツール取付部と前記計測対象物の表面の位置関係から前記ロボット装置の相対移動量と回転量を求める相対ロボット制御量演算処理手段とを具備し、前記計測対象物、前記ロボット装置、前記計測装置の３次元相対位置関係を算出可能とされた演算処理装置と、を備えている。
The remote measurement device of the embodiment includes a light projecting unit that serves as illumination in a darkroom environment and can irradiate the surface of an object to be measured with light and project a pattern of a predetermined shape, and the light projecting unit from the object to be measured. a measuring device having a sensor unit that acquires captured image data including the pattern of the predetermined shape; A robot apparatus comprising a measurement marker for calculating an angle and a movable part having a hand tool attachment part for attaching a maintenance tool; from the imaging data including the pattern of the predetermined shape projected by the marker and the light projecting section , the known dimension data of the measurement object and the measurement marker , and the center position of the end tool mounting section which is the origin of the movable section. relative position measurement processing means for obtaining a relative positional relationship between the sensor unit of the measuring device, the hand tool mounting portion of the robot device, and the surface position and attitude angle of the object to be measured; Relative robot control amount arithmetic processing means for obtaining relative movement amount and rotation amount of the robot device from the positional relationship among the sensor unit of the device, the end tool mounting portion of the robot device, and the surface of the object to be measured, and an arithmetic processing device capable of calculating a three-dimensional relative positional relationship among the object to be measured, the robot device, and the measurement device.
以下、図面を参照して、実施形態について説明する。 Embodiments will be described below with reference to the drawings.
（第１実施形態）
まず、第１実施形態に係わる過酷環境向け遠隔計測装置の構成を説明する。ここでは、例えば核融合炉内部の第一内壁（ＦＷ：Ｆｉｒｓｔ Ｗａｌｌ）等の複数の壁構成部材から構成された壁の、壁構成部材の交換を一例とした構成及び相対位置計測の方法について説明する。
(First embodiment)
First, the configuration of the remote measurement device for severe environments according to the first embodiment will be described. Here, for example, a wall composed of a plurality of wall-constituting members such as a first inner wall (FW: First Wall) inside a nuclear fusion reactor, and a method for measuring the relative position of the wall-constituting member replacement will be described as an example. do.
図１に示すように、複数の壁構成部材から構成された壁には、保守・交換対象となる壁構成部材である保守・交換対象１０１と、それに隣接する隣接対象１０２－１，１０２－２が設けられている。遠隔計測装置は、ロボット装置２０１と、ロボット装置２０１の手先ツール取付部２０２と、手先ツール取付部２０２に取付けた計測マーカ２０３と、相対位置計測する計測装置２１１を具備している。 As shown in FIG. 1, a wall composed of a plurality of wall constituent members includes a maintenance/replacement target 101, which is a wall constituent member to be maintained or replaced, and adjacent objects 102-1 and 102-2 adjacent thereto. is provided. The remote measurement device includes a robot device 201, a hand tool attachment portion 202 of the robot device 201, a measurement marker 203 attached to the hand tool attachment portion 202, and a measurement device 211 for measuring relative positions.
計測装置２１１は、単眼視の撮像系としたものであり、センサ部２１２と投光部２１３とを具備している。また、遠隔・保守の拠点とする制御室２５１に、計測装置２１１と接続された演算処理装置２５２、演算処理装置２５２に付帯し、キーボード及びマウスによる外部入力機能と撮像データの入力画像や演算処理結果などを表示する機能を備えた入力・表示装置２５３及び記憶装置２５４が設けられている。 The measuring device 211 is a monocular imaging system, and includes a sensor section 212 and a light projecting section 213 . In addition, an arithmetic processing unit 252 connected to the measuring device 211 and attached to the arithmetic processing unit 252 in the control room 251 serving as a remote/maintenance base has an external input function using a keyboard and a mouse, and an input image and arithmetic processing of imaging data. An input/display device 253 and a storage device 254 having a function of displaying results and the like are provided.
さらに、制御室２５１には、ロボット装置２０１と接続されたロボット装置制御盤２５５とキーボード及びマウスによる外部入力機能と制御値などを表示する機能を備えた入力・表示装置２５７を付帯したロボット制御処理装置２５６を備えている。演算処理装置２５２とロボット制御処理装置２５６は、演算処理装置２５２の演算処理結果である相対値計測結果からロボット制御値を出力するため、ＬＡＮ接続などのネットワーク手段により、接続されている。 Further, the control room 251 includes a robot device control panel 255 connected to the robot device 201, an external input function using a keyboard and a mouse, and an input/display device 257 having a function of displaying control values. A device 256 is provided. The arithmetic processing unit 252 and the robot control processing unit 256 are connected by network means such as LAN connection in order to output a robot control value based on the relative value measurement result which is the arithmetic processing result of the arithmetic processing unit 252 .
次に、遠隔計測方法について説明する。第１実施形態において、保守・交換対象１０１とロボット装置２０１の相対位置関係を、計測装置２１１を用いて計測する。計測装置２１１については、ロボット装置２０１自体に別のロボットアームを取り付け、計測装置２１１を取り付ける方法か、同じようなロボット装置を別に配置し、計測装置２１１を取り付ける方法を採用する。また、計測装置２１１は、保守・交換対象１０１と隣接対象１０２－１，１０２－２、ロボット装置２０１の手先ツール取付部２０２に取り付けた計測マーカ２０３の双方を撮影することが可能な位置・姿勢で配置する。 Next, the remote sensing method will be described. In the first embodiment, the relative positional relationship between the maintenance/replacement target 101 and the robot device 201 is measured using the measuring device 211 . As for the measuring device 211, a method in which a separate robot arm is attached to the robot device 201 itself and the measuring device 211 is attached, or a method in which a similar robot device is separately arranged and the measuring device 211 is attached is adopted. In addition, the measuring device 211 is capable of photographing both the maintenance/replacement target 101, the adjacent targets 102-1 and 102-2, and the measurement marker 203 attached to the hand tool attachment portion 202 of the robot device 201. to place.
計測装置２１１は、過酷環境での使用を想定している。例えば放射線環境下では、放射線の影響から撮像センサを保護するため、撮像管や比較的放射線に強いとされる低解像度センサを用いる。その他の機器も同様に近年の高性能な機器と比較すると性能が低い部類に入る機器を使用せざるを得ない。放射線からの防護を十分に施した装置は高性能な機器を搭載できるが、重量が重くなることや装置の大型化が懸念される。一方、遠隔保守・交換においては、ロボット装置２０１の搭載荷重の制限もある。このため、例えば、撮像センサに６４０×４８０ｐｉｘｅｌ相当の撮像管や低解像度センサ等を用いる。 The measurement device 211 is assumed to be used in harsh environments. For example, in a radiation environment, an imaging tube or a low-resolution sensor that is relatively resistant to radiation is used to protect the imaging sensor from the effects of radiation. As for other devices, similarly, we have no choice but to use devices that fall into the category of low performance compared to recent high-performance devices. Equipment that is sufficiently protected from radiation can be equipped with high-performance equipment, but there are concerns that the weight and size of the equipment will increase. On the other hand, in remote maintenance/replacement, there is also a limit on the loading load of the robot device 201 . For this reason, for example, an imaging tube equivalent to 640×480 pixels, a low-resolution sensor, or the like is used as an imaging sensor.
さらに、例えば核融合炉などの内部は一般に照明などはなく、暗室環境となるため、計測装置２１１には投光部２１３を設けている。これにより、単に照明として一定な単色を照射するだけでなく、任意に設定した模様も計測対象物に投影することができる。 Furthermore, for example, the interior of a nuclear fusion reactor generally has no lighting and is in a darkroom environment, so the measuring device 211 is provided with a light projecting section 213 . This makes it possible not only to simply irradiate a constant monochromatic light as illumination, but also to project an arbitrarily set pattern onto the object to be measured.
保守・交換対象１０１、隣接対象１０２－１，１０２－２と、ロボット装置２０１の手先ツール取付部２０２に取り付けた計測マーカ２０３の相対位置計測を行うためには、計測装置２１１のセンサ部２１２を含めた、３点の位置・姿勢の関係を求める必要がある。そこで、それぞれの位置を測るための方法について述べる。 In order to measure the relative positions of the maintenance/replacement target 101, the adjacent targets 102-1 and 102-2, and the measurement marker 203 attached to the hand tool attachment portion 202 of the robot device 201, the sensor portion 212 of the measurement device 211 is It is necessary to obtain the relationship between the positions and orientations of the three points including. Then, the method for measuring each position is described.
保守・交換対象１０１、隣接対象１０２－１，１０２－２は、表面に小さく分けられた格子状の模様（図示せず。）が施されている場合があり、これらの格子同士の間には微細な幅の溝が設けられている場合がある。また、金属面である点や微細な点であることから格子の溝を低解像度な撮像センサで検出することが困難な場合は、投光部２１３の持つ任意に設定した模様を投影する機能を活用して、格子の溝の代替として検出する方法を取ることができる。以下では、上記のような格子状の模様がある場合について説明する。なお、図２に示すように、保守・交換対象１０１（隣接対象１０２－１，１０２－２等も同様。）の壁構成部材には、手先ツール取付部との接合部１５２が複数設けられている。 The maintenance/replacement target 101 and the adjacent targets 102-1 and 102-2 may have grid-like patterns (not shown) that are divided into small pieces on the surface. A fine width groove may be provided. In addition, when it is difficult to detect the grooves of the grid with a low-resolution imaging sensor because of the points on the metal surface or the fine points, the function of projecting an arbitrarily set pattern of the light projecting unit 213 is used. It can be exploited to take the detection method as an alternative to the grating grooves. In the following, the case where there is a lattice pattern as described above will be described. Note that, as shown in FIG. 2, a plurality of joints 152 with hand tool mounting portions are provided on the wall constituting member of the maintenance/replacement target 101 (adjacent targets 102-1, 102-2, etc. are the same). there is
次に、複数の各壁構成部材からなる壁の中から保守・交換対象１０１を交換する場合の手順を示す。図３に示すように、保守・交換対象１０１に対して、ロボット装置２０１が近づき、保守・交換対象１０１、隣接対象１０２－１，１０２－２と、計測マーカ２０３の双方を撮影可能になった位置から計測装置２１１は測定を開始する。なお、計測装置２１１のセンサ部２１２は常時撮影しており、俯瞰カメラとしての役割も果たす。これにより、双方が映らない位置においても、安全にロボット装置２０１を保守・交換対象１０１付近まで誘導することが可能である。 Next, a procedure for replacing the maintenance/replacement target 101 from among the walls made up of a plurality of wall-constituting members will be described. As shown in FIG. 3, the robot device 201 approaches the maintenance/replacement target 101, and both the maintenance/replacement target 101, the adjacent targets 102-1 and 102-2, and the measurement marker 203 can be photographed. The measuring device 211 starts measuring from the position. Note that the sensor unit 212 of the measurement device 211 constantly takes images and also serves as a bird's-eye view camera. As a result, it is possible to safely guide the robot device 201 to the vicinity of the maintenance/replacement target 101 even at a position where both are not visible.
図３～６に示した手順では、使用後の保守・交換対象１０１を取り外すため、ロボット装置２０１の手先ツール取付部２０２に取り付けた把持治具や金具を、図２に示した手先ツール取付部との接合部１５２に挿入・固定するまで、ロボット装置２０１を接近させる（図４，５参照）。 In the procedures shown in FIGS. 3 to 6, in order to remove the maintenance/replacement target 101 after use, the gripping jigs and metal fittings attached to the end tool mounting portion 202 of the robot device 201 are attached to the end tool mounting portion shown in FIG. The robot device 201 is brought closer until it is inserted and fixed in the joint 152 with the (see FIGS. 4 and 5).
この際、ロボット装置２０１の手先ツール取付部２０２に取り付けた把持治具や金具を保守・交換対象１０１等に衝突させないことが重要である。手先ツール取付部２０２に取り付けた把持治具や金具の挿入完了後の様子が図５であり、次に、図６のように、ロボット装置２０１を後退させ、保守・交換対象１０１を後方に取り出す。 At this time, it is important not to let the gripping jig or the metal fitting attached to the hand tool attachment portion 202 of the robot device 201 collide with the maintenance/replacement target 101 or the like. FIG. 5 shows the state after the gripping jig and metal fittings attached to the hand tool attachment portion 202 have been completely inserted. Next, as shown in FIG. .
この一連の動作において、保守・交換対象１０１、隣接対象１０２－１，１０２－２の配置関係は、例えば図７に示すようになっている。図７に示す例では、中央に示されているのが保守・交換対象であり、この場合図中に示すように、例えば保守・交換対象の座標を中心（０，０）として各隣接対象の座標を決めることができる。把持治具をはじめ、ロボット装置２０１を保守・交換対象１０１や隣接対象１０２－１，１０２－２に衝突させないことが肝要であり、取り外し時に図８に示すように並進や回転する制御をしてしまうと、衝突してしまう。このようなことを発生させないために、計測装置２１１により、ロボット装置２０１と、保守・交換対象１０１、隣接対象１０２－１，１０２－２を計測し、相対位置関係を求めるものである。このように相対位置計測を実施するが、低解像度の撮像センサで保守・交換対象、隣接対象の格子溝等を測定する必要がある。一方で、ロボット装置２０１側はより正確な位置・姿勢を制御する必要がある。 In this series of operations, the arrangement relationship of the maintenance/replacement target 101 and adjacent targets 102-1 and 102-2 is as shown in FIG. 7, for example. In the example shown in FIG. 7, the object for maintenance/replacement is shown in the center. coordinates can be determined. It is important not to collide the robot device 201, including the gripping jig, with the maintenance/replacement target 101 and the adjacent targets 102-1 and 102-2. If you put it away, you will have a collision. In order to prevent such a situation from occurring, the measuring device 211 measures the robot device 201, the maintenance/replacement target 101, and the adjacent targets 102-1 and 102-2 to obtain the relative positional relationship. Although the relative position measurement is performed in this manner, it is necessary to measure the grating grooves of maintenance/replacement objects and adjacent objects using a low-resolution imaging sensor. On the other hand, the robot device 201 needs to control its position and orientation more accurately.
そこで、例えば図９に示すような白色の背景に、黒色の円形を既知の寸法で配置した計測マーカ２０３を用いる。このような計測マーカ２０３を、ロボット装置２０１の手先ツール取付部２０２に取り付け、計測マーカ２０３をセンサ部２１２で検出し、画像処理により抽出、計測する。この計測マーカ２０３は、円形状に限らず、市松模様などの格子でも可能であり、格子の間隔が既知寸法であれば、問題ない。 Therefore, for example, a measurement marker 203 in which black circles are arranged with known dimensions on a white background as shown in FIG. 9 is used. Such a measurement marker 203 is attached to the hand tool attachment portion 202 of the robot device 201, the measurement marker 203 is detected by the sensor portion 212, extracted by image processing, and measured. The measurement marker 203 is not limited to a circular shape, and may be a checkerboard grid or the like.
図１０に示すように、計測マーカ２０３は、ロボット装置２０１の手先ツール取付部２０２に配置しているが、計測装置２１１のセンサ部２１２から撮影可能な位置であれば、その他の部位でも問題ない。計測マーカ２０３と手先ツール取付部２０２の可動部原点である手先ツール取付部２０２の中心２０２－１と既知の寸法・姿勢角度をオフセットできれば、どこでもよい。手先ツール取付部２０２の中心２０２－１のように、ロボット制御が容易になるため、軸中心とすることが望ましい。 As shown in FIG. 10, the measurement marker 203 is placed on the end tool mounting portion 202 of the robot device 201, but other parts may be used as long as they are located at a position that can be imaged from the sensor portion 212 of the measurement device 211. . As long as the measurement marker 203 and the center 202-1 of the end tool mounting portion 202, which is the origin of the movable portion of the end tool mounting portion 202, can be offset by known dimensions and attitude angles, any position may be used. As with the center 202-1 of the hand tool mounting portion 202, it is desirable to use the center of the axis because robot control is facilitated.
次に、保守・交換時の計測対象部分について述べる。保守・交換対象１０１の取り外し手順については、図３～６に示したとおりであるが、取り付け手順は、図１１～１４に示すような手順となる。保守・交換対象１０１をロボット装置２０１が把持した状態で取付位置に近付くため、より隣接対象１０２－１，１０２－２と衝突する可能性が高い。これら手順において、計測するエリアは撮影されている領域を選択する。 Next, the parts to be measured during maintenance/replacement will be described. The procedure for removing the maintenance/replacement target 101 is as shown in FIGS. 3 to 6, but the procedure for mounting is as shown in FIGS. Since the maintenance/replacement target 101 approaches the mounting position while being gripped by the robot device 201, there is a high possibility of colliding with the adjacent targets 102-1 and 102-2. In these procedures, the area being photographed is selected as the area to be measured.
図１５、図１６に基本的な計測エリアを示す。取り外し時は、ロボット装置２０１側の計測マーカ２０３と、図１５の中央に示されている保守・交換対象（色付きのもの）の右上等の挿入時にロボット装置２０１が隠さない部分を選択する。もちろん、図１６に示すように、ロボット装置２０１に隠されない隣接対象（色付きのもの）を計測対象としても良い。 15 and 16 show basic measurement areas. At the time of removal, the measurement marker 203 on the robot device 201 side and the portion not hidden by the robot device 201 at the time of insertion such as the upper right of the maintenance/replacement target (colored) shown in the center of FIG. 15 are selected. Of course, as shown in FIG. 16, an adjacent object (colored object) that is not hidden by the robot apparatus 201 may be the measurement object.
取り付け時は、図１１等に示したロボット装置２０１が把持している保守・交換対象１０１の右上などと、隣接対象１０２－１，１０２－２のロボット装置２０１に隠されない領域を計測対象とする。また、ロボット装置２０１が把持している保守・交換対象１０１ではなく、ロボット装置２０１の計測マーカ２０３を計測対象としてもよい。 At the time of attachment, measurement targets are the upper right of the maintenance/replacement target 101 gripped by the robot device 201 shown in FIG. . Further, instead of the maintenance/replacement target 101 held by the robot device 201, the measurement marker 203 of the robot device 201 may be the measurement target.
図１７は、第１実施形態に係わる演算処理装置２５２の構成例を示すブロック図である。演算処理装置２５２は、計測装置２１１の投光部２１３の点灯・消灯制御及び照射強度の調整制御を行う投光通信・制御手段２５２－１と、計測装置２１１のセンサ部２１２のデータ取得トリガ制御及びデータ取得速度とデータ取得特性の調整制御を行うセンサ通信・制御手段２５２－２と、センサ部２１２の映像データを演算処理装置２５２に入力するセンサデータ入力手段２５２－３とを具備している。 FIG. 17 is a block diagram showing a configuration example of the arithmetic processing unit 252 according to the first embodiment. Arithmetic processing unit 252 includes light projection communication/control means 252-1 for controlling lighting/lighting out of light projection unit 213 of measurement device 211 and adjustment control of irradiation intensity, and data acquisition trigger control for sensor unit 212 of measurement device 211. and sensor communication/control means 252-2 for adjusting and controlling the data acquisition speed and data acquisition characteristics, and sensor data input means 252-3 for inputting image data from the sensor unit 212 to the arithmetic processing unit 252. .
演算処理装置２５２は、計測装置２１１のセンサ部２１２のセンサ特性と２つ以上のセンサがある場合にセンサ間の位置や姿勢関係を校正し、キャリブレーションデータを取得するキャリブレーション手段２５２－４と、センサデータ入力手段２５２－３とキャリブレーション手段２５２－４から取得した撮影画像の積算画像処理とキャリブレーションデータを用いた画像ゆがみを補正処理する撮影データ補正手段２５２－５とを具備している。 The arithmetic processing unit 252 calibrates the sensor characteristics of the sensor unit 212 of the measurement device 211 and the position and orientation relationship between the sensors when there are two or more sensors, and acquires calibration data. , a sensor data input means 252-3 and a photographed data correction means 252-5 for performing integrated image processing of photographed images obtained from the calibration means 252-4 and image distortion correction processing using the calibration data. .
演算処理装置２５２は、計測対象物の表面の特徴部を計測データから検出し、計測対象物の計測点候補を抽出する計測対象候補特徴量検出手段２５２－６と、抽出した計測対象点候補の特徴部データと既知寸法の計測対象の特徴部データの２次元・３次元投影処理による候補点から確からしい計測確定点を選別する計測対象特徴量対応付け手段２５２－７と、を具備している。 Arithmetic processing unit 252 includes measurement object candidate feature quantity detection means 252-6 for detecting a characteristic portion of the surface of the measurement object from the measurement data and extracting measurement point candidates of the measurement object, and detection of the extracted measurement object point candidates. and a measurement object feature amount association means 252-7 for selecting a probable measurement fixed point from candidate points obtained by two-dimensional/three-dimensional projection processing of the feature portion data and the feature portion data of the measurement object with known dimensions. .
演算処理装置２５２は、計測マーカ２０３の既知寸法で設けた格子模様もしくは円形模様の計測マーカの特徴部の候補を計測データから抽出する計測マーカ候補特徴量検出手段２５２－８と、抽出した計測マーカ計測点候補の特徴部データと既知寸法の計測マーカ２０３の特徴部データの２次元・３次元投影処理により確からしい計測マーカ確定点を選別する計測マーカ特徴量対応付け手段２５２－９と、を具備している。 The arithmetic processing unit 252 includes measurement marker candidate feature amount detection means 252-8 for extracting from the measurement data a candidate for a feature portion of the measurement marker having a lattice pattern or a circular pattern provided with known dimensions of the measurement marker 203, measurement marker feature amount association means 252-9 for selecting a probable measurement marker fixed point by two-dimensional/three-dimensional projection processing of the feature part data of the measurement point candidate and the feature part data of the measurement marker 203 of known size. are doing.
さらに、演算処理装置２５２は、計測対象特徴量対応付け手段２５２－７にて対応付けした計測確定点の特徴部データとキャリブレーションデータを用いた計測点３次元計測処理を行うとともに、計測マーカ特徴量対応付け手段２５２－９にて抽出した計測マーカ確定点の特徴部データとキャリブレーションデータを用いた基準点３次元計測処理を行う３次元計測処理手段２５２－１０を具備している。 Furthermore, the arithmetic processing unit 252 performs three-dimensional measurement processing of the measurement points using the characteristic portion data and the calibration data of the measurement fixed points associated by the measurement target feature amount association means 252-7, and performs the measurement marker feature A three-dimensional measurement processing means 252-10 is provided for performing reference point three-dimensional measurement processing using the characteristic portion data of the measurement marker fixed points extracted by the quantity correspondence means 252-9 and the calibration data.
さらにまた、演算処理装置２５２は、３次元計測処理された計測点と基準点を用いて、計測装置２１１のセンサ部２１２とロボット装置２０１の手先ツール取付部２０２と計測対象の表面の位置や姿勢角の相対位置関係を求める相対位置計測処理手段２５２－１１と、相対位置を求めた計測装置２１１のセンサ部２１２とロボット装置２０１の手先ツール取付部２０２と計測対象の表面の位置関係からロボット装置２０１の相対移動量と回転量を求める相対ロボット制御量演算処理手段２５２－１２とを具備している。 Furthermore, the arithmetic processing unit 252 uses the three-dimensional measurement points and reference points to determine the positions and orientations of the sensor unit 212 of the measuring device 211, the hand tool mounting portion 202 of the robot device 201, and the surface of the object to be measured. A relative position measurement processing means 252-11 that obtains the relative positional relationship of the corners, the sensor unit 212 of the measuring device 211 that has obtained the relative position, the end tool mounting portion 202 of the robot device 201, and the surface of the measurement target from the positional relationship of the robot device. 201, and a relative robot control amount arithmetic processing means 252-12 for obtaining the relative movement amount and the rotation amount of the robot.
以下に各手段の機能について述べる。なお、これらは演算処理装置側に組み込んだソフトウェアにより制御・演算される。 The function of each means is described below. These are controlled and calculated by software incorporated in the arithmetic processing unit.
計測装置２１１の投光部２１３の点灯・消灯制御及び照射強度の調整制御を行う投光通信・制御手段２５２－１は、点灯・消灯および調光制御する制御信号を、投光部２１３に演算処理装置２５２側から出すものである。また、投光部２１３は、任意の図柄（たとえば、市松模様や格子模様などの模様になりえる映像）を投影するため、計測対象物の表面状態に応じて、照射することが可能となるよう選択式フィルタを備える。さらに、投光部２１３は、照射方向を変えられるように、上下・左右・照射軸周りの３軸に対する回転機構を備える。 The light projection communication/control means 252-1, which performs lighting/extinguishing control and irradiation intensity adjustment control of the light projecting unit 213 of the measuring device 211, calculates a control signal for lighting/extinguishing and dimming control to the light projecting unit 213. It is taken out from the processing device 252 side. In addition, since the light projecting unit 213 projects an arbitrary pattern (for example, an image that can be a pattern such as a checkered pattern or a lattice pattern), it is possible to irradiate the object according to the surface condition of the object to be measured. It has a selective filter. Further, the light projecting unit 213 has a rotation mechanism about three axes, ie up/down, left/right, and around the irradiation axis, so that the irradiation direction can be changed.
計測装置２１１のセンサ部２１２のデータ取得トリガ制御及びデータ取得速度とデータ取得特性の調整制御を行うセンサ通信・制御手段２５２－２は、センサ部２１２の映像データの取り込み開始や停止を制御し、取り込み中はライブ映像として連続取り込み可能なものとしてデータ取得トリガの制御を行う。必要に応じて、連続取り込み時の間隔を設定可能となっている。また、暗室環境となるため、データ取得速度であるシャッタースピード調整や、データ取得特性であるホワイトバランスやゲインなどの一般的な調整機能を備える。さらに、センサ部２１２は、撮影方向を変えられるように、上下・左右・撮影軸周りの３軸に対する回転機構を備える。 The sensor communication/control means 252-2, which performs data acquisition trigger control and adjustment control of the data acquisition speed and data acquisition characteristics of the sensor unit 212 of the measurement device 211, controls the start and stop of image data acquisition of the sensor unit 212, During capture, the data acquisition trigger is controlled assuming that live video can be captured continuously. If necessary, the interval for continuous capturing can be set. In addition, since it is a darkroom environment, it is equipped with general adjustment functions such as shutter speed adjustment, which is the data acquisition speed, and white balance and gain, which are data acquisition characteristics. Further, the sensor unit 212 has a rotation mechanism for three axes, ie up/down, left/right, and around the shooting axis, so that the shooting direction can be changed.
センサ部２１２の映像データを演算処理装置２５２に入力するセンサデータ入力手段２５２－３は、一般的な映像信号に対応したデータ入力手段であり、アナログ信号もしくはデジタル信号の映像信号を演算処理装置２５２の記憶装置２５４に保存する機能も備えている。 The sensor data input means 252-3 for inputting the image data of the sensor unit 212 to the arithmetic processing unit 252 is data input means corresponding to general image signals, and the analog or digital image signal is input to the arithmetic processing unit 252. It also has a function of saving in the storage device 254 of the.
計測装置２１１のセンサ部２１２のセンサ特性と２つ以上のセンサがある場合にセンサ間の位置や姿勢関係を校正し、キャリブレーションデータを取得するキャリブレーション手段２５２－４は、センサ部２１２のレンズ特性についてのデータも含み、センサの主点位置、レンズのゆがみ補正係数（放射方向と接線方向ゆがみ）、レンズの焦点距離、センサのスケールファクタ（センササイズと実際のスケール変換係数）であるセンサ内部特性を取得するため、センサ部２１２の映像データを入力し、キャリブレーションする機能を備える。また、センサが２つ以上ある場合は、センサの外部特性である位置と姿勢の相対位置関係を求める機能を備える（後述する第２実施形態に該当）。これらキャリブレーションは、相対位置計測を行う前に、実施することが望ましく、計測マーカのような既知寸法かつゆがみ等がないキャリブレーションボードを用いて、センサ特性を取得するものである。さらに、通常は実施しないが、何らかの障害により相対位置計測中に、センサ特性が事前にキャリブレーションしたセンサ特性と異なる状況が発生した場合、ロボット装置２０１に取り付けた計測マーカ２０３を動かし、その映像データを取得することで、キャリブレーションすることが可能である。 A calibration means 252-4 for acquiring calibration data by calibrating the sensor characteristics of the sensor unit 212 of the measuring device 211 and the position and orientation relationship between the sensors when there are two or more sensors, and the lens of the sensor unit 212. Inside the sensor, which also contains data about the characteristics, principal point position of the sensor, distortion correction factors of the lens (radial and tangential distortion), focal length of the lens, scale factor of the sensor (sensor size and actual scale conversion factor) In order to acquire characteristics, it has a function of inputting image data of the sensor unit 212 and performing calibration. In addition, when there are two or more sensors, it has a function of determining the relative positional relationship between the position and orientation, which is the external characteristic of the sensor (corresponding to the second embodiment described later). These calibrations are desirably performed before performing relative position measurement, and sensor characteristics are obtained using a calibration board of known dimensions, such as a measurement marker, with no distortion or the like. Furthermore, although it is not normally performed, if a situation occurs in which the sensor characteristics differ from the pre-calibrated sensor characteristics due to some kind of obstacle during relative position measurement, the measurement marker 203 attached to the robot device 201 is moved, and the image data is displayed. can be calibrated by obtaining
センサデータ入力手段２５２－３とキャリブレーション手段２５２－４から取得した撮影画像の積算画像処理とキャリブレーションデータを用いた画像ゆがみ補正処理する撮影データ補正手段２５２－５は、例えば、保守・交換対象１０１、隣接対象１０２－１，１０２－２の格子等が不鮮明に撮影された場合に、取得した映像データを積算し、より輝度の変化を鮮明に出力する機能を備える。積算枚数は、投光部２１３の照射強度により異なるが、最低積算枚数は２枚以上である。なお、撮像センサが固定されていない場合を考慮して、撮影画像の最初の画像を基準として、２枚目以降の撮影画像は最初の画像にて特徴となる最低３点以上の特徴点をエッジ検出フィルタやコーナ検出フィルタにより抽出し、２枚目以降も同様の処理を実施し、相互で最初の画像の特徴点と一致する特徴点を検出する。検出した対応する検出点を元に２枚目以降を２次元アフィン変換し、積算画像処理することで、鮮明な画像を得るものである。 Photographed data correction means 252-5, which performs integrated image processing of photographed images obtained from sensor data input means 252-3 and calibration means 252-4 and image distortion correction processing using calibration data, is subject to maintenance/replacement, for example. 101 has a function of accumulating acquired video data and outputting changes in brightness more clearly when grids or the like of adjacent objects 102-1 and 102-2 are photographed unclearly. The cumulative number of sheets varies depending on the irradiation intensity of the light projecting section 213, but the minimum cumulative number of sheets is two or more. Considering the case where the imaging sensor is not fixed, the first image of the captured images is used as a reference, and the second and subsequent captured images are edged with at least three feature points that are characteristic of the first image. Extraction is performed using a detection filter or a corner detection filter, and similar processing is performed on the second and subsequent images to detect feature points that mutually match the feature points of the first image. A clear image is obtained by performing two-dimensional affine transformation on the second and subsequent sheets based on the detected corresponding detection points and performing integrated image processing.
計測対象の表面の特徴部を計測データから抽出する計測対象候補特徴量検出手段２５２－６は、計測対象の特徴部として、例えば格子溝の交点等を検出するが、暗室環境である点や放射線環境である点から、暗い画像が得られる可能性、計測対象が複雑な凹凸を持つ場合の照明反射強度の異なる可能性、放射線ノイズを格子交点の候補として誤検出する可能性を考慮して、格子溝を前景とし、それ以外の部分を背景として処理する前景フィルタと背景フィルタにより、縦横に走る格子溝をそれぞれ、個別に検出する画像処理フィルタを備える。このフィルタにより、得られる撮影画像の各画素における双方のフィルタ値を元に、格子交点の特徴量を演算処理し、検出するものである。なお、撮影する画像によっては、格子溝は傾くため、撮影軸回りの回転を考慮した画像処理を備える。 The measurement object candidate feature amount detection means 252-6 for extracting the characteristic portion of the surface of the measurement object from the measurement data detects, for example, the intersection of lattice grooves as the characteristic portion of the measurement object. Considering the possibility of obtaining a dark image due to the environment, the possibility of different lighting reflection intensity when the measurement target has complex unevenness, and the possibility of false detection of radiation noise as a candidate for grid intersection, An image processing filter is provided for individually detecting grid grooves running vertically and horizontally using a foreground filter and a background filter for processing the grid grooves as the foreground and processing other portions as the background. With this filter, based on both filter values in each pixel of the captured image obtained, the feature amount of the grid intersection is calculated and detected. Since the grating grooves are inclined depending on the image to be photographed, image processing is provided in consideration of rotation around the photographing axis.
抽出した計測対象の計測点候補の特徴部データと、既知寸法の計測対象の特徴部データの２次元・３次元投影処理による候補点から確からしい計測確定点を選別する計測対象特徴量対応付け手段２５２－７は、検出した格子溝の交点等の候補から、保守・交換対象１０１、隣接対象１０２－１，１０２－２の設計上の既知の寸法を元に、最低３点を設定しておき、３点の位置関係から撮影画像上の２次元の候補点と３次元の既知寸法値を元に、投影して、一致もしくは近接点（あらかじめ近接距離を任意に設定）を検出し、確からしい計測確定点を選別する機能を備えている。 A measuring object feature value associating means that selects a probable measurement fixed point from the candidate points by two-dimensional/three-dimensional projection processing of the extracted characteristic portion data of the measurement point candidate of the measurement object and the characteristic portion data of the measurement object with known dimensions. 252-7 sets at least three points based on the known design dimensions of the maintenance/replacement object 101 and the adjacent objects 102-1 and 102-2 from the candidates such as the intersection points of the detected lattice grooves. , Based on the 2D candidate points on the photographed image and the 3D known dimension values from the positional relationship of the three points, project and detect matching or close points (proximity distance is set arbitrarily in advance). Equipped with a function to sort out measurement fixed points.
計測マーカ２０３の既知寸法で設けた格子模様もしくは円形模様の特徴部を計測データから検出し計測マーカ計測点候補を抽出する計測マーカ候補特徴量検出手段２５２－８は、格子模様や円形模様の配置ごとの数量や間隔の既知の寸法値から撮影画像とキャリブレーションにより得られたセンサ内部特性を元に、あらかじめ格子か円形模様かを選択し、その模様を検出するフィルタを組み込み、格子の場合は交点を、円形模様の場合は中心点の画像上の特徴点の候補を抽出する機能を備える。 A measurement marker candidate feature amount detection means 252-8 for detecting a characteristic portion of a grid pattern or a circular pattern provided with a known size of the measurement marker 203 from the measurement data and extracting a measurement marker measurement point candidate detects the layout of the grid pattern or the circular pattern. Based on the captured image and the internal characteristics of the sensor obtained by calibration from the known dimensional values of the number and intervals of each, a grid or a circular pattern is selected in advance, and a filter that detects that pattern is incorporated. It has a function of extracting a feature point candidate on the image of the intersection point, or the center point in the case of a circular pattern.
抽出した計測マーカ計測点候補の特徴部データと既知寸法の計測マーカの特徴部データの２次元・３次元投影処理による候補点から確からしい計測マーカ確定点を選別する計測マーカ特徴量対応付け手段２５２－９は、検出した格子の交点もしくは円形の中心点の候補から、計測マーカ２０３の設計上の既知の寸法を元に、抽出した候補点の位置関係から撮影画像上の２次元の候補点と３次元の既知寸法値を元に、投影して、一致もしくは近接点（あらかじめ近接距離を任意に設定）を検出し、確からしい計測マーカ確定点を選別する機能を備えている。 A measurement marker feature quantity associating means 252 for selecting a probable measurement marker fixed point from the candidate points obtained by two-dimensional/three-dimensional projection processing of the extracted feature part data of the measurement marker measurement point candidates and the feature part data of the measurement marker of known dimensions. -9 is a two-dimensional candidate point on the photographed image based on the positional relationship of the extracted candidate points based on the known design dimensions of the measurement marker 203 from the detected grid intersection or circular center point candidates. It has a function of projecting based on known three-dimensional dimension values, detecting coincidence or proximity points (proximity distance is arbitrarily set in advance), and selecting probable measurement marker fixed points.
３次元計測処理手段２５２－１０は、計測対象特徴量対応付け手段２５２－７にて対応付けした計測確定点の特徴部データとキャリブレーションデータを用いた計測点３次元計測処理を行うとともに、計測マーカ特徴量対応付け手段２５２－９にて抽出した計測マーカ確定点の特徴部データとキャリブレーションデータを用いた基準点３次元計測処理を行う。例えば、検出した格子の交点の候補から、基準点となる計測マーカ２０３の設計上の既知の寸法を元に、数量と配置の位置関係から撮影画像上の２次元の候補点と３次元の既知寸法値を元に、投影して、一致もしくは近接点（あらかじめ近接距離を任意に設定）を検出し、確からしい計測マーカ確定点を選別する。 The three-dimensional measurement processing means 252-10 performs measurement point three-dimensional measurement processing using the feature data and calibration data of the measurement fixed points associated by the measurement target feature amount association means 252-7. A reference point three-dimensional measurement process is performed using the feature portion data of the measurement marker fixed points extracted by the marker feature amount association means 252-9 and the calibration data. For example, two-dimensional candidate points on the captured image and three-dimensional known points on the photographed image can be identified from the detected grid intersection candidates based on the known design dimensions of the measurement markers 203 serving as reference points, and from the positional relationship between the quantity and arrangement. Based on the dimensional values, project to detect coincidence or proximity points (arbitrarily set proximity distance in advance), and select probable measurement marker fixed points.
３次元計測処理された計測点と基準点を用いて、計測装置２１１のセンサ部２１２とロボット装置２０１の手先ツール取付部２０２と計測対象の表面の位置や姿勢角の相対位置関係を求める相対位置計測処理手段２５２－１１は、センサ部２１２が１台である第１実施形態では、一般に撮影対象内の３次元座標を求めることは困難である。そのため、３次元計測処理手段２５２－１０による計測対象及び基準点のそれぞれの３次元座標値と、撮像画像の２次元座標値をもとに、センサ部２１２の位置と姿勢を収束演算により求める機能を備える。この演算処理手法は、一般にＰｎＰ問題といわれ、本実施形態では、３点を基準としたため、Ｐ３Ｐ問題となる。計測精度を向上させるためには、基準とする点を増やす必要があるが、誤検出をした場合にセンサ部２１２の位置と姿勢が大きな誤差をもって算出される可能性もある。本実施形態では、３点とした場合であるが、その限りではない。また、センサ部２１２の位置と姿勢がずれると、ロボット装置２０１の手先ツール取付部２０２と、計測対象と隣接ＦＷの位置関係も崩れる。そのため、本機能には、演算処理された結果に対して、センサ部２１２と手先ツール取付部２０２と計測対象の計算上の距離を求め、あらかじめ設定した閾値を元に演算結果の信頼性に対する警告を発する機能を備える。 Using the measurement points and reference points that have undergone three-dimensional measurement processing, the relative positions of the sensor unit 212 of the measuring device 211, the end tool mounting portion 202 of the robot device 201, and the position and attitude angle of the surface of the object to be measured are obtained. In the first embodiment in which there is only one sensor unit 212, it is generally difficult for the measurement processing means 252-11 to obtain the three-dimensional coordinates within the imaging target. Therefore, a function to obtain the position and orientation of the sensor unit 212 by convergence calculation based on the three-dimensional coordinate values of the measurement object and the reference point by the three-dimensional measurement processing means 252-10 and the two-dimensional coordinate values of the captured image. Prepare. This arithmetic processing method is generally called a PnP problem, and in this embodiment, it is a P3P problem because it is based on three points. In order to improve the measurement accuracy, it is necessary to increase the number of reference points, but there is a possibility that the position and orientation of the sensor unit 212 will be calculated with a large error in the case of erroneous detection. In the present embodiment, three points are used, but the present invention is not limited to this. Further, if the position and posture of the sensor unit 212 are shifted, the positional relationship between the end tool mounting unit 202 of the robot device 201 and the measurement target and the adjacent FW is also disrupted. Therefore, this function obtains the calculated distance between the sensor unit 212, the hand tool mounting unit 202, and the measurement target for the result of the arithmetic processing, and warns against the reliability of the arithmetic result based on the preset threshold value. It has a function to emit
相対位置を求めた、計測装置２１１のセンサ部２１２と、ロボット装置２０１の手先ツール取付部２０２と、計測対象の表面の位置関係から、ロボット装置２０１の相対移動量と回転量を求める相対ロボット制御量演算処理手段２５２－１２は、相対位置計測処理手段２５２－１１により求められたセンサ部２１２の撮影位置、ロボット装置２０１の手先ツール取付部２０２の中心座標を原点にし、計測対象等までの距離と角度を算出し結果を出力する機能を備える。この距離と角度を元に、あらかじめ設定したロボット装置２０１の手先ツール取付部２０２と計測対象等までの距離ごとに、取り付けや取り外しにおける接近や離合する際の移動量や回転量の制限値に応じて、現在位置を相対計測結果と照合し、制限に応じたロボット装置２０１の相対的な移動と回転の制御量を算出し、ロボット装置２０１に出力する機能を備える。 Relative robot control that determines the relative movement amount and rotation amount of the robot device 201 based on the positional relationship between the sensor unit 212 of the measuring device 211 and the hand tool mounting portion 202 of the robot device 201, and the surface of the measurement target, for which the relative positions are determined. The amount calculation processing means 252-12 sets the photographing position of the sensor unit 212 obtained by the relative position measurement processing means 252-11 and the center coordinates of the hand tool mounting portion 202 of the robot device 201 as the origin, and measures the distance to the measurement target, etc. and angle, and output the result. Based on this distance and angle, for each distance between the hand tool mounting portion 202 of the robot device 201 and the object to be measured, etc., which is set in advance, the limit values for the amount of movement and the amount of rotation when approaching or separating during attachment or detachment are calculated. , the current position is compared with the relative measurement result, the control amount of the relative movement and rotation of the robot device 201 according to the limit is calculated, and the control amount is output to the robot device 201 .
上記の第１実施形態によれば、撮像センサが１台の場合にも、ロボット装置２０１と計測対象物等との相対位置関係を計測し、ロボット装置２０１を制御するための相対的な移動量と回転量を出力することができる。 According to the first embodiment described above, even when there is only one imaging sensor, the relative positional relationship between the robot device 201 and the object to be measured is measured, and the relative movement amount for controlling the robot device 201 is calculated. and the amount of rotation can be output.
（第２実施形態）
次に、第２実施形態について説明する。第１実施形態と同様に、複数の壁構成部材から構成された壁の、壁構成部材の交換を一例とした構成及び相対位置計測の方法について説明する。なお、第１実施形態と対応する部分には同一の符号が付してある。
(Second embodiment)
Next, a second embodiment will be described. As in the first embodiment, a configuration of a wall composed of a plurality of wall-constituting members and a method of measuring the relative position will be described, taking as an example exchange of the wall-constituting members. In addition, the same code|symbol is attached|subjected to the part corresponding to 1st Embodiment.
第２実施形態では、図１８，１９に示すように、計測装置２１１は、２つのセンサ部２１２と２つの投光部２１３とを具備している。なお、センサ部２１２と投光部２１３は３つ以上の場合にも同様の構成となる。以下に、機能追加となる項目について述べる。 In the second embodiment, as shown in FIGS. 18 and 19, a measuring device 211 includes two sensor units 212 and two light projecting units 213. FIG. It should be noted that the configuration is the same even when there are three or more sensor units 212 and light projecting units 213 . The items that will be added functions are described below.
キャリブレーション手段２５２－４は、撮像センサが２つ以上ある場合、センサの外部特性である位置と姿勢の相対位置関係を求める機能を備える。これらキャリブレーションは、相対位置計測を行う前に、実施することが望ましく、計測マーカのような既知寸法かつゆがみ等のないキャリブレーションボードを用いて、センサ特性を取得するものである。さらに、通常は実施しないが、何らかの障害により相対位置計測中に、センサ特性が事前にキャリブレーションしたセンサ特性と異なる状況が発生した場合、ロボット装置２０１に取り付けた計測マーカ２０３を動かし、その映像データを取得することで、キャリブレーションすることが可能である。 The calibration means 252-4 has a function of determining the relative positional relationship between the position and orientation, which are the external characteristics of the sensors, when there are two or more imaging sensors. These calibrations are desirably performed before performing relative position measurement, and sensor characteristics are obtained using a calibration board of known dimensions, such as a measurement marker, with no distortion or the like. Furthermore, although it is not normally performed, if a situation occurs in which the sensor characteristics differ from the pre-calibrated sensor characteristics due to some kind of obstacle during relative position measurement, the measurement marker 203 attached to the robot device 201 is moved, and the image data is displayed. can be calibrated by obtaining
抽出した計測マーカの特徴部データの候補と既知寸法の計測マーカの特徴部データの２次元・３次元投影処理による候補点から確からしい計測マーカ確定点を選別する計測マーカ特徴量対応付け手段２５２－９は、検出した格子の交点もしくは円形の中心点の候補から、計測マーカ２０３の設計上の既知の寸法を元に、抽出した候補点の位置関係から撮影画像上の２次元の候補点と３次元の既知寸法値を元に、投影して、一致もしくは近接点（あらかじめ近接距離を任意に設定）を検出し、確からしい計測マーカ確定点を選別する機能を備えている。第２実施形態においては、２つ以上のセンサ部２１２を有することから、キャリブレーション結果を用いて、３次元計測することが可能な機能を備える。そのため、設計上の既知の寸法の代わりに、計算された３次元計測結果をもとに、抽出した候補点の位置関係から、撮影画像上の２次元の候補点と３次元の既知寸法値を元に、投影して、一致もしくは近接点（あらかじめ近接距離を任意に設定）を検出し、確からしい計測点を選別する機能も備えている。 A measurement marker feature quantity associating means 252 that selects a probable measurement marker fixed point from candidate points obtained by two-dimensional/three-dimensional projection processing of the extracted feature part data candidates of the measurement marker and the feature part data of the measurement marker with known dimensions. Reference numeral 9 designates two-dimensional candidate points on the photographed image and 3 based on the positional relationship of the extracted candidate points based on the known design dimensions of the measurement marker 203 from the detected lattice intersections or circular center point candidates. It has a function of projecting based on known dimensional values, detecting matching or close points (arbitrarily setting the close distance in advance), and selecting probable measurement marker fixed points. Since the second embodiment has two or more sensor units 212, it has a function capable of three-dimensional measurement using the calibration result. Therefore, instead of the known design dimensions, based on the calculated 3D measurement results, based on the positional relationship of the extracted candidate points, the 2D candidate points on the captured image and the known 3D dimensions are calculated. It also has the function of projecting, detecting coincidence or proximity points (arbitrarily setting the proximity distance in advance), and selecting probable measurement points.
上記構成の第２実施形態は、撮像センサが２台以上の場合にも、ロボット装置２０１と計測対象等との相対位置関係を計測し、ロボット装置２０１を制御するための相対的な移動量と回転量を出力することを可能としたものである。また、撮像センサが２台以上となることで、相対位置計測の計測精度の向上と信頼性の向上が図られるものである。 The second embodiment with the above configuration measures the relative positional relationship between the robot device 201 and the object to be measured even when two or more imaging sensors are used, and calculates the relative movement amount for controlling the robot device 201. This makes it possible to output the amount of rotation. Further, by using two or more imaging sensors, it is possible to improve the measurement accuracy and reliability of relative position measurement.
（第３実施形態）
次に、第３実施形態について説明する。計測マーカ２０３がロボット装置２０１の１か所に設置されている場合、固定設置された計測マーカ２０３がセンサ部２１２から撮影困難な場合が生じることを想定し、第３実施形態では、ロボット装置２０１の手先ツール取付部２０２の複数の異なる位置に、複数の計測マーカ２０３を配置したものである。第１実施形態と同様に、複数の壁構成部材から構成された壁の、壁構成部材の交換を一例とした構成及び相対位置計測の方法について説明する。なお、第１実施形態と対応する部分には同一の符号が付してある。
(Third embodiment)
Next, a third embodiment will be described. If the measurement marker 203 is installed at one place on the robot device 201, it may be difficult to capture the fixed measurement marker 203 from the sensor unit 212. Therefore, in the third embodiment, the robot device 201 A plurality of measurement markers 203 are arranged at a plurality of different positions of the tip tool attachment portion 202 of the second embodiment. As in the first embodiment, a configuration of a wall composed of a plurality of wall-constituting members and a method of measuring the relative position will be described, taking as an example exchange of the wall-constituting members. In addition, the same code|symbol is attached|subjected to the part corresponding to 1st Embodiment.
図２０に第３実施形態のブロック図を示す。図２０に示すように、計測装置２１１は、単眼視の撮像系としたものであり、センサ部２１２と投光部２１３で構成される。なお、センサ部２１２と投光部２１３は第２実施形態のように２つ以上としてもよい。 FIG. 20 shows a block diagram of the third embodiment. As shown in FIG. 20 , the measuring device 211 is a monocular imaging system, and is composed of a sensor section 212 and a light projecting section 213 . Note that two or more sensor units 212 and light projection units 213 may be provided as in the second embodiment.
第３実施形態では、２個以上の計測マーカ２０３を有し、計測装置２１１のセンサ部２１２から得られる撮像データに撮影された計測マーカ２０３の全て若しくは一部を検出し、予め記憶装置２５４に登録した計測マーカ２０３の数量や配置、寸法の計測マーカ情報を元に、それぞれの位置を特定する計測マーカ種別特定演算処理手段２５２－１３と、特定した位置からロボット装置の手先ツール取付部２０２に対する計測マーカ２０３の配置を特定する計測マーカ取付位置特定演算処理手段２５２－１４を備えている。 In the third embodiment, two or more measurement markers 203 are provided, and all or part of the measurement markers 203 photographed in imaging data obtained from the sensor unit 212 of the measurement device 211 are detected and stored in the storage device 254 in advance. A measurement marker type identification arithmetic processing means 252-13 for identifying each position based on measurement marker information such as the number, arrangement, and dimensions of the registered measurement markers 203, A measurement marker mounting position identification arithmetic processing means 252-14 for identifying the placement of the measurement marker 203 is provided.
上記構成の第３実施形態における、第１実施形態及び第２実施形態との大きな違いは、演算処理装置２５２において、計測マーカ２０３を検出し、種別や取り付け位置を特定する手段が追加されることである。以下に、機能追加となる項目について説明する。 The major difference between the first and second embodiments in the third embodiment having the above configuration is that means for detecting the measurement marker 203 and specifying the type and attachment position is added in the arithmetic processing unit 252. is. The items that are added functions are described below.
計測マーカ種別特定演算処理手段２５２－１３は、計測装置２１１のセンサ部２１２から得られる撮像データに撮影された計測マーカ２０３の全て若しくは一部を検出する機能を有している。この際に、記憶装置２５４から複数の計測マーカ２０３ごとに異なる縦横の数量と配置データ（手先ツール取付部２０２の取り付け原点との位置関係）を読み出す。これにより撮影されている計測マーカ２０３がどの計測マーカ２０３であるかの種別を特定するものである。 The measurement marker type identification arithmetic processing means 252 - 13 has a function of detecting all or part of the measurement markers 203 photographed in the imaging data obtained from the sensor section 212 of the measurement device 211 . At this time, the vertical and horizontal numbers and arrangement data (the positional relationship with the mounting origin of the end tool mounting portion 202) that differ for each of the plurality of measurement markers 203 are read from the storage device 254. FIG. This specifies the type of the measurement marker 203 being imaged.
特定方法は、計測マーカ２０３の縦横の数量と、撮影画像から抽出した計測マーカ２０３の候補における縦横の数量を照合し、最も確からしい計測マーカ２０３を特定する。計測マーカ２０３が一部しか撮影画像にない場合は、特定候補を複数列挙し、手動で候補から選択する。なお、計測装置２１１を固定とした場合には、初回に手動選択した計測マーカ２０３候補が一定の位置に撮影される可能性が高いため、自動的に選択する機能も付加している。ただし、自動選択とした際にロボット装置２０１が回転した場合に一定の位置に存在しない可能性があり、その場合は計測マーカ２０３の照合に失敗するため、手動選択に自動的に切り替わる機能も備えている。 The identification method is to collate the vertical and horizontal numbers of the measurement markers 203 with the vertical and horizontal numbers of the measurement marker 203 candidates extracted from the captured image, and identify the most probable measurement marker 203 . If the measurement marker 203 is only partially present in the captured image, a plurality of specific candidates are enumerated and selected manually from the candidates. Note that when the measurement device 211 is fixed, there is a high possibility that the measurement marker 203 candidate manually selected for the first time will be photographed at a fixed position, so a function for automatic selection is also added. However, if the robot device 201 rotates when automatic selection is selected, it may not exist at a fixed position, and in that case, collation of the measurement marker 203 fails, so a function to automatically switch to manual selection is provided. ing.
計測マーカ取付位置特定演算処理手段２５２－１４は、特定した位置からロボット装置２０１の手先ツール取付部２０２に対する計測マーカ２０３の配置を特定する機能である。記憶装置２５４から読みだした計測マーカ２０３の配置データと特定した計測マーカ２０３を照合することで、計測マーカ２０３のロボット装置２０１の手先ツール取付部原点との位置関係を取得するものである。これにより、計測マーカの２次元と３次元の対応付けの際に、照合すべき計測マーカ２０３を自動的に選択し、誤った参照を防ぐものである。また、計測マーカ２０３の数が増えた場合は、ロボット装置２０１の位置の正確性の向上に寄与するものである。 The measurement marker mounting position identification arithmetic processing means 252-14 has a function of identifying the arrangement of the measurement marker 203 with respect to the end tool mounting portion 202 of the robot device 201 from the identified position. By collating the arrangement data of the measurement markers 203 read from the storage device 254 with the specified measurement markers 203, the positional relationship between the measurement markers 203 and the origin of the end tool mounting portion of the robot device 201 is obtained. This automatically selects the measurement marker 203 to be collated when associating the two-dimensional and three-dimensional measurement markers, thereby preventing erroneous reference. Moreover, when the number of measurement markers 203 increases, it contributes to the improvement of the accuracy of the position of the robot device 201 .
第３実施形態では、計測対象等とロボット装置２０１の相対位置関係を計測装置２１１のセンサ部２１２が１つの場合や２つ以上の場合、双方において相対位置計測を実施することを可能とし、ロボット装置２０１による遠隔保守・交換を過酷環境においても実現可能とし、要するコストや労力、時間を削減することに寄与するものである。さらに、遠隔保守工程における歩留まりの向上と工程短縮に寄与すると考えられる。 In the third embodiment, the relative positional relationship between the object to be measured and the robot device 201 can be measured in both cases where the measuring device 211 has one sensor unit 212 or two or more sensors. This enables remote maintenance/replacement by the device 201 even in a harsh environment, and contributes to reducing the required cost, labor, and time. Furthermore, it is thought that it contributes to the improvement of the yield and shortening of the process in the remote maintenance process.
以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments of the invention have been described above, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and modifications can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the scope of the invention described in the claims and equivalents thereof.
１０１……保守・交換対象、１０２……隣接対象、２０１……ロボット装置、２０２……手先ツール取付部、２０３……計測マーカ、２１１……計測装置、２１２……センサ部、２１３……投光部、２５１……制御室、２５２……演算処理装置、２５３……入力・表示装置、２５４……記憶装置、２５５……ロボット装置制御盤、２５６……ロボット制御処理装置。 101...maintenance/replacement object, 102...adjacent object, 201...robot device, 202...hand tool mounting portion, 203...measurement marker, 211...measuring device, 212...sensor portion, 213...throwing Optical unit 251 Control room 252 Arithmetic processing device 253 Input/display device 254 Storage device 255 Robot device control panel 256 Robot control processing device.
Claims (12)
前記計測装置の前記センサ部から撮影可能な位置に配置され前記センサ部からの前記撮像データにより位置と姿勢角を算出可能とするための計測マーカと、保守ツールを取り付けるための手先ツール取付部を具備した可動部と、を備えたロボット装置と、
単眼の前記センサ部からの前記計測対象物及び前記計測マーカおよび前記投光部によって投影された前記所定形状の模様を含む前記撮像データと、前記計測対象物及び前記計測マーカの既知寸法データ、可動部原点である前記手先ツール取付部の中心位置とから、前記計測装置の前記センサ部と前記ロボット装置の前記手先ツール取付部と前記計測対象物の表面の位置や姿勢角の相対位置関係を求める相対位置計測処理手段と、相対位置を求めた前記計測装置の前記センサ部と前記ロボット装置の前記手先ツール取付部と前記計測対象物の表面の位置関係から前記ロボット装置の相対移動量と回転量を求める相対ロボット制御量演算処理手段とを具備し、前記計測対象物、前記ロボット装置、前記計測装置の３次元相対位置関係を算出可能とされた演算処理装置と、
を備えたことを特徴とする遠隔計測装置。 A light projecting unit that serves as illumination in a darkroom environment and can irradiate light onto the surface of an object to be measured and project a pattern of a predetermined shape, and a pattern of a predetermined shape projected by the light projecting unit from the object to be measured. a measuring device having a sensor unit that acquires imaging data including
A measurement marker arranged at a position where an image can be captured by the sensor unit of the measuring device and capable of calculating a position and an attitude angle from the imaging data from the sensor unit; a robotic device comprising a movable part comprising
the imaging data including the measurement object and the measurement marker from the monocular sensor unit and the pattern of the predetermined shape projected by the light projection unit ; known dimension data of the measurement object and the measurement marker ; A relative positional relationship between the sensor unit of the measuring device , the hand tool mounting portion of the robot device, and the surface position and attitude angle of the object to be measured is obtained from the center position of the hand tool mounting portion, which is the origin of the part. Relative position measurement processing means, relative movement amount and rotation amount of the robot device based on the positional relationship between the sensor unit of the measuring device that obtained the relative position, the end tool attachment portion of the robot device, and the surface of the object to be measured. an arithmetic processing unit capable of calculating a three-dimensional relative positional relationship among the object to be measured, the robot device, and the measuring device;
A telemetry device comprising:
前記センサ部から撮像データを入力するためのデータ入力手段と、
前記撮像データから前記センサ部についてのキャリブレーションを実施しキャリブレーションデータを得るためのキャリブレーション手段と、
前記キャリブレーションデータに基づいて前記撮像データの画像ゆがみを補正する撮像データ補正手段と、
補正された前記撮像データから、前記計測対象物に対する特徴量を検出し、計測対象物計測点候補を抽出する計測対象候補特徴量検出手段と、
前記計測対象物計測点候補の特徴量データと、既知寸法の計測対象特徴部データの２次元・３次元投影処理により計測確定点を選別する計測対象特徴量対応付け手段と、
補正された前記撮像データから、前記計測マーカに対する特徴量を検出し、計測マーカ計測点候補を抽出する計測マーカ候補特徴量検出手段と、
前記計測マーカ計測点候補の特徴量データと、既知寸法の計測マーカ特徴部データの２次元・３次元投影処理により計測マーカ確定点を選別する計測マーカ特徴量対応付け手段と、
前記計測確定点の特徴量データ及び前記計測マーカ確定点の特徴量データと、前記キャリブレーションデータを用いた３次元計測処理手段と、
前記３次元計測処理手段によって３次元処理されたデータから、前記計測対象物と前記ロボット装置と前記計測装置の相対位置関係を求める相対位置計測手段と、
を備えたことを特徴とする請求項１乃至３の何れか１項に記載の遠隔計測装置。 The arithmetic processing unit is
data input means for inputting imaging data from the sensor unit;
calibration means for performing calibration on the sensor unit from the imaging data and obtaining calibration data;
imaging data correction means for correcting image distortion of the imaging data based on the calibration data;
a measurement object candidate feature amount detection means for detecting a feature amount for the measurement object from the corrected imaging data and extracting a measurement point candidate for the measurement object;
A measurement object feature amount association means for selecting a measurement fixed point by two-dimensional/three-dimensional projection processing of the feature amount data of the measurement point candidate of the measurement object and the measurement object feature part data of known dimensions;
measurement marker candidate feature quantity detection means for detecting a feature quantity for the measurement marker from the corrected imaging data and extracting a measurement marker measurement point candidate;
a measurement marker feature amount associating means for selecting a measurement marker fixed point by two-dimensional/three-dimensional projection processing of the feature amount data of the measurement marker measurement point candidates and the measurement marker feature part data of known dimensions;
a three-dimensional measurement processing means using the feature amount data of the measurement fixed point, the feature amount data of the measurement marker fixed point, and the calibration data;
relative position measuring means for obtaining a relative positional relationship between the measurement object, the robot device, and the measuring device from the data three-dimensionally processed by the three-dimensional measurement processing means;
4. A telemetry device according to any one of claims 1 to 3, characterized in that it comprises a.
前記相対位置計測手段によって求めた、前記計測対象物と前記ロボット装置と前記計測装置の相対位置関係から、前記ロボット装置の相対移動量と回転量を求める相対ロボット制御量演算処理手段備えたことを特徴とする請求項４記載の遠隔計測装置。 The arithmetic processing unit is
Relative robot control amount arithmetic processing means for calculating relative movement amount and rotation amount of said robot device from the relative positional relationship between said object to be measured, said robot device and said measuring device obtained by said relative position measuring means. 5. A telemetry device according to claim 4.
前記計測装置の前記センサ部から撮影可能な位置に配置され前記センサ部からの前記撮像データにより位置と姿勢角を算出可能とするための計測マーカと、保守ツールを取り付けるための手先ツール取付部を具備した可動部と、を備えたロボット装置と、
単眼の前記センサ部からの前記計測対象物及び前記計測マーカおよび前記投光部によって投影された前記所定形状の模様を含む前記撮像データと、前記計測対象物及び前記計測マーカの既知寸法データ、可動部原点である前記手先ツール取付部の中心位置とから、前記計測装置の前記センサ部と前記ロボット装置の前記手先ツール取付部と前記計測対象物の表面の位置や姿勢角の相対位置関係を求める相対位置計測処理手段と、相対位置を求めた前記計測装置の前記センサ部と前記ロボット装置の前記手先ツール取付部と前記計測対象物の表面の位置関係から前記ロボット装置の相対移動量と回転量を求める相対ロボット制御量演算処理手段とを具備し、前記計測対象物、前記ロボット装置、前記計測装置の３次元相対位置関係を算出可能とされた演算処理装置と、
を備えた遠隔計測装置を用い、前記計測対象物と、前記ロボット装置と、前記計測装置との３次元相対位置を計測することを特徴とする遠隔計測方法。 A light projecting unit that serves as illumination in a darkroom environment and can irradiate light onto the surface of an object to be measured and project a pattern of a predetermined shape, and a pattern of a predetermined shape projected by the light projecting unit from the object to be measured. a measuring device having a sensor unit that acquires imaging data including
A measurement marker arranged at a position where an image can be captured by the sensor unit of the measuring device and capable of calculating a position and an attitude angle from the imaging data from the sensor unit; a robotic device comprising a movable part comprising
the imaging data including the measurement object and the measurement marker from the monocular sensor unit and the pattern of the predetermined shape projected by the light projection unit; known dimension data of the measurement object and the measurement marker ; A relative positional relationship between the sensor unit of the measuring device , the hand tool mounting portion of the robot device, and the surface position and attitude angle of the object to be measured is obtained from the center position of the hand tool mounting portion, which is the origin of the part. Relative position measurement processing means, relative movement amount and rotation amount of the robot device based on the positional relationship between the sensor unit of the measuring device that obtained the relative position, the end tool attachment portion of the robot device, and the surface of the object to be measured. an arithmetic processing unit capable of calculating a three-dimensional relative positional relationship among the object to be measured, the robot device, and the measuring device;
and measuring a three-dimensional relative position of the object to be measured, the robot device, and the measuring device.
前記センサ部から撮像データを入力するためのデータ入力手段と、
前記撮像データから前記センサ部についてのキャリブレーションを実施しキャリブレーションデータを得るためのキャリブレーション手段と、
前記キャリブレーションデータに基づいて前記撮像データの画像ゆがみを補正する撮像データ補正手段と、
補正された前記撮像データから、前記計測対象物に対する特徴量を検出し、計測対象物計測点候補を抽出する計測対象候補特徴量検出手段と、
前記計測対象物計測点候補の特徴量データと、既知寸法の計測対象特徴部データの２次元・３次元投影処理により計測確定点を選別する計測対象特徴量対応付け手段と、
補正された前記撮像データから、前記計測マーカに対する特徴量を検出し、計測マーカ計測点候補を抽出する計測マーカ候補特徴量検出手段と、
前記計測マーカ計測点候補の特徴量データと、既知寸法の計測マーカ特徴部データの２次元・３次元投影処理により計測マーカ確定点を選別する計測マーカ特徴量対応付け手段と、
前記計測確定点の特徴量データ及び前記計測マーカ確定点の特徴量データと、前記キャリブレーションデータを用いた３次元計測処理手段と、
前記３次元計測処理手段によって３次元処理されたデータから、前記計測対象物と前記ロボット装置と前記計測装置の相対位置関係を求める相対位置計測手段と、
を備えたことを特徴とする請求項７乃至９の何れか１項に記載の遠隔計測方法。 The arithmetic processing unit is
data input means for inputting imaging data from the sensor unit;
calibration means for performing calibration on the sensor unit from the imaging data and obtaining calibration data;
imaging data correction means for correcting image distortion of the imaging data based on the calibration data;
a measurement object candidate feature amount detection means for detecting a feature amount for the measurement object from the corrected imaging data and extracting a measurement point candidate for the measurement object;
A measurement object feature amount association means for selecting a measurement fixed point by two-dimensional/three-dimensional projection processing of the feature amount data of the measurement point candidate of the measurement object and the measurement object feature part data of known dimensions;
measurement marker candidate feature quantity detection means for detecting a feature quantity for the measurement marker from the corrected imaging data and extracting a measurement marker measurement point candidate;
a measurement marker feature amount associating means for selecting a measurement marker fixed point by two-dimensional/three-dimensional projection processing of the feature amount data of the measurement marker measurement point candidates and the measurement marker feature part data of known dimensions;
a three-dimensional measurement processing means using the feature amount data of the measurement fixed point, the feature amount data of the measurement marker fixed point, and the calibration data;
relative position measuring means for obtaining a relative positional relationship between the measurement object, the robot device, and the measuring device from the data three-dimensionally processed by the three-dimensional measurement processing means;
10. The telemetry method according to any one of claims 7 to 9, comprising:
前記相対位置計測手段によって求めた、前記計測対象物と前記ロボット装置と前記計測装置の相対位置関係から、前記ロボット装置の相対移動量と回転量を求める相対ロボット制御量演算処理手段備えたことを特徴とする請求項１０記載の遠隔計測方法。 The arithmetic processing unit is
Relative robot control amount arithmetic processing means for calculating relative movement amount and rotation amount of said robot device from the relative positional relationship between said object to be measured, said robot device and said measuring device obtained by said relative position measuring means. 11. The method of telemetry according to claim 10.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019204320A JP7293087B2 (en) | 2019-11-11 | 2019-11-11 | Telemetry device and telemetry method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019204320A JP7293087B2 (en) | 2019-11-11 | 2019-11-11 | Telemetry device and telemetry method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021076502A JP2021076502A (en) | 2021-05-20 |
| JP7293087B2 true JP7293087B2 (en) | 2023-06-19 |
Family
ID=75897532
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019204320A Active JP7293087B2 (en) | 2019-11-11 | 2019-11-11 | Telemetry device and telemetry method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7293087B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024019105A1 (en) * | 2022-07-21 | 2024-01-25 | 興和株式会社 | Picking control system |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010243405A (en) | 2009-04-08 | 2010-10-28 | Hiroshima Univ | Image processing marker, image processing apparatus for detecting position and attitude of marker displayed object, and image processing program |
| JP2017124448A (en) | 2016-01-12 | 2017-07-20 | 株式会社Ihi | Relative data calibration equipment and method |
| JP2019102306A (en) | 2017-12-04 | 2019-06-24 | 東芝ライテック株式会社 | Lighting apparatus |
| JP2019188516A (en) | 2018-04-24 | 2019-10-31 | キヤノン株式会社 | Information processor, information processing method, and program |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07120211B2 (en) * | 1986-12-26 | 1995-12-20 | トヨタ自動車株式会社 | Coordinate alignment method in intelligent robot |
-
2019
- 2019-11-11 JP JP2019204320A patent/JP7293087B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010243405A (en) | 2009-04-08 | 2010-10-28 | Hiroshima Univ | Image processing marker, image processing apparatus for detecting position and attitude of marker displayed object, and image processing program |
| JP2017124448A (en) | 2016-01-12 | 2017-07-20 | 株式会社Ihi | Relative data calibration equipment and method |
| JP2019102306A (en) | 2017-12-04 | 2019-06-24 | 東芝ライテック株式会社 | Lighting apparatus |
| JP2019188516A (en) | 2018-04-24 | 2019-10-31 | キヤノン株式会社 | Information processor, information processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021076502A (en) | 2021-05-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5922572B2 (en) | Practical 3D vision system apparatus and method | |
| US9488589B2 (en) | Mapping damaged regions on objects | |
| US10044996B2 (en) | Method for projecting virtual data and device enabling this projection | |
| CA2820320C (en) | Methods and systems for inspecting a workpiece | |
| US7721967B2 (en) | Remote crane bar code system | |
| JP3805302B2 (en) | Work take-out device | |
| JP6080969B2 (en) | Method and apparatus for determining the posture of an object | |
| CN110599541A (en) | Method and device for calibrating multiple sensors and storage medium | |
| Boochs et al. | Increasing the accuracy of untaught robot positions by means of a multi-camera system | |
| EP4273805A2 (en) | Optical tracking system and optical tracking method | |
| JP6282098B2 (en) | Calibration apparatus and method | |
| CN107077729B (en) | Method and device for recognizing structural elements of a projected structural pattern in a camera image | |
| KR20130027553A (en) | Target point recognition method and surveying instrument | |
| EP3839418A1 (en) | Optical sensor with overview camera | |
| JP2019522213A (en) | Non-contact probe and method of operation | |
| WO2018169467A1 (en) | A vehicle with a crane with object detecting device | |
| JP7293087B2 (en) | Telemetry device and telemetry method | |
| JP5874252B2 (en) | Method and apparatus for measuring relative position with object | |
| JP2018522240A (en) | Method for measuring artifacts | |
| JP6043974B2 (en) | Three-dimensional position measuring device, three-dimensional measuring device, and three-dimensional position measuring program | |
| JP2020008434A (en) | Three-dimensional measuring device and method | |
| KR101497396B1 (en) | A system for measuring target location and method for measuring target location using the same | |
| CN114543697A (en) | Measuring apparatus, control apparatus, and control method | |
| JP6579142B2 (en) | Coil yard storage management method | |
| JP2011064579A (en) | Three-dimensional measuring system and three-dimensional measuring method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220221 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221108 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221115 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230104 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230207 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230403 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230509 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230607 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7293087 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |