JP5777188B1 - Underwater vehicle control system - Google Patents
Underwater vehicle control system Download PDFInfo
- Publication number
- JP5777188B1 JP5777188B1 JP2014227592A JP2014227592A JP5777188B1 JP 5777188 B1 JP5777188 B1 JP 5777188B1 JP 2014227592 A JP2014227592 A JP 2014227592A JP 2014227592 A JP2014227592 A JP 2014227592A JP 5777188 B1 JP5777188 B1 JP 5777188B1
- Authority
- JP
- Japan
- Prior art keywords
- underwater
- underwater vehicle
- underwater robot
- fitness
- control system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
【課題】対象物形状の正確な認識とともに対象物に対する正確な位置／姿勢制御を自律的に行うことができる水中航走体制御システムを提供する。【解決手段】水中動力系３と、水中ロボット１０と、対象物を撮像する複眼カメラ２と、水中動力系３及び複眼カメラ２を制御する制御手段２０と、備える水中航走体制御システム１００であって、制御手段２０は、複眼カメラ２により撮像された画像が入力される画像入力部２１と、対象物の特徴情報を含むモデルが記憶されるモデル記憶部２２と、前記入力画像について前記モデルとの適合度を求めるための所定の適合度関数を演算する適合度演算部２３と、前記適合度に基づいて対象物の遺伝情報を生成する遺伝アルゴリズムを実行する遺伝アルゴリズム実行部２４と、有し、遺伝アルゴリズム実行部２４は、対象物に合致するように遺伝情報を所定時間において進化させて、対象物の位置及び姿勢を推定する。【選択図】図２An underwater vehicle control system capable of autonomously performing accurate position / posture control on an object together with accurate recognition of the object shape. An underwater vehicle control system includes an underwater power system, an underwater robot, a compound eye camera that images a target object, and a control unit that controls the underwater power system and the compound camera. The control means 20 includes an image input unit 21 to which an image captured by the compound eye camera 2 is input, a model storage unit 22 in which a model including feature information of the object is stored, and the model for the input image. A fitness calculator 23 for calculating a predetermined fitness function for obtaining the fitness of the genetic data, a genetic algorithm executing unit 24 for executing a genetic algorithm for generating genetic information of the object based on the fitness, The genetic algorithm execution unit 24 then evolves the genetic information in a predetermined time so as to match the object, and estimates the position and orientation of the object. [Selection] Figure 2
Description
本発明は、水中航走体制御システムに関する。 The present invention relates to an underwater vehicle control system.
従来、水中航走体（水中ロボット）の自律航行に関する研究はさまざまに行われている。水中ロボットの役割としては、例えば、水中汚染物（放射能汚染物等含む）の発見・回収、深海底地形調査、海底資源採集、機雷撤去、水産資源育成・捕獲、海難事故対応等さまざまなことが期待されている。 Conventionally, various researches on autonomous navigation of underwater vehicles (underwater robots) have been conducted. The role of the underwater robot is various, such as discovery and collection of underwater pollutants (including radioactive pollutants), deep seafloor topography, seafloor resource collection, mine removal, fishery resource development and capture, maritime accident response, etc. Is expected.
例えば、単眼カメラによる遠隔操縦型の水中ロボット（ＲＯＶ:Ｒｅｍｏｔｅｌｙ Ｏｐｅｒａｔｅｄ Ｖｅｈｉｃｌｅ）が公知技術としてあるが、単眼カメラによる水中ロボットは、カメラ視線奥行き方向の位置の認識精度がよくないため、魚などの認識対象物と水中ロボットの距離が不正確であった。また、それによって対象物の大きさが分からないなどの不便があった。同様に、単眼カメラによる水中作業型の自律ロボット（ＡＵＶ:Ａｕｔｏｎｏｍｏｕｓ Ｕｎｄｅｒｗａｔｅｒ Ｖｅｈｉｃｌｅ）も作業対象物をつかみ損なうなどの作業ミスが発生し、有効な作業を行うことはできなかった。現状、単眼カメラによる水中ロボットによって、対象物に対してカメラ視線奥行き方向の距離情報が必要な作業を行う場合、水中ロボットから送られてくる画像をもとに作業者（操縦者）が水中ロボットを遠隔操縦することによって水中ロボットの運動を制御しており、水中ロボットが自動的に作業を行うことはなかった。 For example, a remotely operated underwater robot (ROV) using a monocular camera is known as a known technology. However, an underwater robot using a monocular camera is not good at recognizing a position in the depth direction of the camera's line of sight. The distance between the object and the underwater robot was inaccurate. In addition, there is an inconvenience that the size of the object is unknown. Similarly, an underwater work type autonomous robot (AUV: Autonomous Underwater Vehicle) using a monocular camera also has a work error such as losing a work object, and cannot perform an effective work. Currently, when an underwater robot with a monocular camera is used to perform an operation that requires distance information in the direction of the camera's line of sight with respect to an object, the operator (operator) is based on the image sent from the underwater robot. The movement of the underwater robot was controlled by remotely controlling the underwater robot, and the underwater robot did not work automatically.
また、単眼カメラではなく複眼カメラで対象物に対してカメラ視線奥行き方向の距離情報を得ることも考えられるが、複眼構成のカメラの画像認識では、３次元空間内の対象物上のある位置が左右のカメラ画像内のどの位置に対応しているのかについて判定し、対応点を確定する必要があった。この対応を間違えると対象物の認識誤差が発生し、正確な立体画像認識が困難となるため、立体画像認識結果に基づく制御の精度が悪化するという問題があった。この問題点は、左右両眼の２次元画像面に射影された情報をもとに３次元情報を復元しようとする試みが、起因しており２次元情報に縮退した情報から３次元情報を得ることの難しさでもあった。 It is also conceivable to obtain distance information in the depth direction of the camera line of sight with respect to the object with a compound eye camera instead of a monocular camera, but in image recognition of a compound eye camera, a certain position on the object in a three-dimensional space is It is necessary to determine which position in the left and right camera images corresponds to determine the corresponding point. If this correspondence is wrong, an object recognition error occurs, and accurate stereoscopic image recognition becomes difficult, so that there is a problem that accuracy of control based on the stereoscopic image recognition result deteriorates. This problem is caused by an attempt to restore three-dimensional information based on information projected onto the two-dimensional image planes of the left and right eyes, and the three-dimensional information is obtained from the information degenerated into two-dimensional information. It was also difficult.
本願発明者は、上記問題点を回避する方法として認識対象物の立体モデル形状をコンピュータ内に定義しこの形状を複眼カメラの撮像面に射影することで、２次元情報から３次元情報の復元ではなく、３次元情報形状と位置／姿勢情報をもとに２次元に射影された画像とを照合する方法を見出し、上記問題点を回避する立体画像認識方法をすでに提案している（非特許文献１参照）。 As a method of avoiding the above problems, the inventor of the present application defines a three-dimensional model shape of a recognition object in a computer and projects this shape on an imaging surface of a compound eye camera, thereby restoring three-dimensional information from two-dimensional information. In addition, a method for collating a three-dimensional information shape with a two-dimensionally projected image based on position / posture information has been found, and a stereoscopic image recognition method that avoids the above-described problems has already been proposed (Non-Patent Document). 1).
非特許文献１では、動画像中から対象物の位置／姿勢６変数を同時に認識することを目的として、モデルベーストマッチング法と遺伝的アルゴリズム（ＧＡ：Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍ）およびクォータニオンを用いた三次元位置／姿勢計測法を提案している。さらに，マニピュレータの手先にＣＣＤカメラが装着されるハンドアイマニピュレータ（アイ・イン・ハンドシステム）で、マニピュレータのダイナミクスが対象物認識に与える影響を解析し、これを抑えるためにＭＦＦ（Ｍｏｔｉｏｎ−Ｆｅｅｄｆｏｒｗａｒｄ）認識方法を提案し、その有効性を示している。非特許文献１記載のハンドアイマニピュレータは、地上等で主に用いられる、いわゆるロボットハンドとして構成されている。 In Non-Patent Document 1, for the purpose of simultaneously recognizing the position / attitude 6 variables of an object from a moving image, a three-dimensional position / model using a model-based matching method, a genetic algorithm (GA) and a quaternion / A posture measurement method is proposed. Furthermore, a hand-eye manipulator (eye-in-hand system) in which a CCD camera is mounted on the hand of the manipulator analyzes the effect of manipulator dynamics on object recognition, and MFF (Motion-Feedward) is used to suppress this. A recognition method is proposed and its effectiveness is demonstrated. The hand eye manipulator described in Non-Patent Document 1 is configured as a so-called robot hand mainly used on the ground or the like.
これに対して、水中での正確な動作が求められる水中ロボットは、上記ロボットハンドとは異なり、その動作において水中特有の外乱を考慮しなければならない。例えば、Ｍｏｖｅ ｏｎ Ｓｅｎｓｉｎｇ制御知能を搭載したＡｕｔｏｎｏｍｏｕｓ Ｕｎｄｅｒｗａｔｅｒ Ｖｅｈｉｃｌｅ（ＭＯＳ／ＡＵＶ）により水中でさまざまな作業（自動充電、生魚捕獲・観察等）を行わせる場合、対象物形状の正確な認識とともに作業環境中の外乱（水の流れや障害物等の衝突）に抗するように対象物に対する正確な位置姿勢制御が自律的に行えなければならない。そのため、水中ロボットにおいて、対象物形状の正確な認識とともに対象物に対する正確な位置／姿勢制御を自律的に行うことができる技術が望まれている。 On the other hand, an underwater robot that requires an accurate operation in water must take into account disturbances specific to underwater in the operation, unlike the robot hand. For example, when various operations (automatic charging, live fish capture / observation, etc.) are performed underwater with Autonomous Underwater Vehicle (MOS / AUV) equipped with Move on Sensing control intelligence, in the work environment with accurate recognition of the object shape It is necessary to autonomously perform accurate position and orientation control with respect to an object so as to resist disturbances of water (collision of water flow, obstacles, etc.). For this reason, in an underwater robot, there is a demand for a technique that can autonomously perform accurate position / posture control on an object as well as accurate recognition of the object shape.
そこで、本発明は、上記課題に鑑みてなされたものであり、対象物形状の正確な認識とともに対象物に対する正確な位置／姿勢制御を自律的に行うことができる水中航走体制御システムを提供することを目的とする。 Accordingly, the present invention has been made in view of the above problems, and provides an underwater vehicle control system capable of autonomously performing accurate position / posture control with respect to an object while accurately recognizing the object shape. The purpose is to do.
本発明者は、上記課題を解決するために鋭意研究し実験を重ねた結果、本発明を完成させるに至った。 As a result of intensive studies and experiments to solve the above-mentioned problems, the present inventors have completed the present invention.
即ち、本発明の水中走行体制御システムにおいては、
推進手段により水中を移動する水中航走体と、
前記水中航走体の前方に配置され、対象物を撮像する複眼カメラと、
前記推進手段及び前記複眼カメラを制御する制御手段と、備える水中航走体制御システムであって、
前記制御手段は、
前記複眼カメラにより撮像された画像が入力される画像入力部と、
前記対象物の特徴情報を含むモデルが記憶されるモデル記憶部と、
前記画像入力部に入力された入力画像について前記モデルとの適合度を求めるための所定の適合度関数を演算する適合度演算部と、
前記適合度演算部により求められる適合度に基づいて対象物の遺伝情報を生成する遺伝アルゴリズムを実行する遺伝アルゴリズム実行部と、有し、
前記遺伝アルゴリズム実行部は、
前記対象物に合致するように前記遺伝情報を所定時間において進化させて、前記対象物の位置及び姿勢を推定し、
前記制御手段は、
前記対象物の推定された位置及び姿勢と、前記対象物に対する前記水中航走体の相対的目標位置及び姿勢との誤差に基づくＰ制御によって計算された指令電圧値を前記推進手段に与えることで、前記水中航走体が前記相対的目標位置及び姿勢を保持するように前記推進手段の推力を発生させるものである。
That is, in the underwater vehicle control system of the present invention,
An underwater vehicle that moves underwater by means of propulsion,
A compound eye camera that is disposed in front of the underwater vehicle and images an object;
A control means for controlling the propulsion means and the compound eye camera, and an underwater vehicle control system comprising:
The control means includes
An image input unit for inputting an image captured by the compound eye camera;
A model storage unit in which a model including feature information of the object is stored;
A fitness calculator that calculates a predetermined fitness function for obtaining a fitness with the model for the input image input to the image input unit;
A genetic algorithm execution unit that executes a genetic algorithm that generates genetic information of an object based on the fitness obtained by the fitness calculation unit;
The genetic algorithm execution unit includes:
Evolving the genetic information in a predetermined time to match the object, estimating the position and orientation of the object ,
The control means includes
By giving the propulsion means a command voltage value calculated by P control based on an error between the estimated position and orientation of the object and the relative target position and orientation of the underwater vehicle relative to the object. The thrust of the propulsion means is generated so that the underwater vehicle maintains the relative target position and posture .
また、本発明の水中走行体制御システムにおいては、
前記複眼カメラは、広角レンズを有しているものである。
In the underwater vehicle control system of the present invention,
The compound-eye camera has a wide-angle lens.
また、本発明の水中走行体制御システムにおいては、
前記対象物は、該対象物の位置を示す立体的なマーカーを有するものである。
In the underwater vehicle control system of the present invention,
The object has a three-dimensional marker indicating the position of the object.
本発明によれば、対象物形状の正確な認識とともに対象物に対する正確な位置／姿勢制御を自律的に行うことができる。 According to the present invention, it is possible to autonomously perform accurate position / posture control on an object as well as accurate recognition of the object shape.
次に、発明の実施の形態を説明する。
以下に、本発明の実施形態に係る水中航走体制御システムについて実施例を用いて具体的に説明する。
なお、以下の実施例においては、所定の水中実験環境において水中航走体制御システムが有する水中ロボットを実験的に動作させることで水中航走体制御システムを具体的に説明するが、特に水中航走体制御システムの構成や水中航走体制御システムが適用される水中環境を本実施例に限定するものでない。
Next, embodiments of the invention will be described.
Hereinafter, an underwater vehicle control system according to an embodiment of the present invention will be specifically described with reference to examples.
In the following embodiments, the underwater vehicle control system will be specifically described by experimentally operating an underwater robot included in the underwater vehicle control system in a predetermined underwater experimental environment. The configuration of the traveling body control system and the underwater environment to which the underwater navigation body control system is applied are not limited to the present embodiment.
［実験方法］
＜水中ロボット系＞
図１に示すように、水中航走体制御システム１００は、水中航走体の一例である水中ロボット１０と、該水中ロボット１０を制御する制御手段２０を主に備える。水中ロボット１０は、テザーケーブル９を介して制御手段２０に電気的に接続されている。
[experimental method]
<Underwater robot system>
As shown in FIG. 1, the underwater vehicle control system 100 mainly includes an underwater robot 10 that is an example of an underwater vehicle and a control unit 20 that controls the underwater robot 10. The underwater robot 10 is electrically connected to the control means 20 via the tether cable 9.
水中ロボット１０は、遠隔操作型の水中ロボット（ＲＯＶ、最大水深５０ｍ）である。水中ロボット１０は、ロボット本体１と、複眼カメラ２（第１カメラ２ａ、第２カメラ２ｂ）と、下方カメラ（図示せず）と、遠隔操作用カメラ（図示せず）と、水中動力系３と、光源部１１を備えている。水中ロボット１０は、推進手段である水中動力系３により水中を移動可能である。 The underwater robot 10 is a remotely operated underwater robot (ROV, maximum water depth 50 m). The underwater robot 10 includes a robot body 1, a compound eye camera 2 (first camera 2 a, second camera 2 b), a lower camera (not shown), a remote operation camera (not shown), and an underwater power system 3. And a light source unit 11. The underwater robot 10 can move underwater by the underwater power system 3 which is a propulsion means.
ロボット本体１は、略直方体形状の水中ロボット１０の外形を形成するものである。ロボット本体１には、所定の各部に複眼カメラ２、下方カメラ、遠隔操作用カメラ、水中動力系３、及び光源部１１が配置される。 The robot main body 1 forms the outer shape of the substantially rectangular parallelepiped underwater robot 10. In the robot body 1, a compound eye camera 2, a lower camera, a remote operation camera, an underwater power system 3, and a light source unit 11 are arranged in predetermined parts.
複眼カメラ２は、図１（Ａ）の（ａ）において点線丸印で示すように、ロボット本体１の前方側に配置され、対象物を撮像するための固定カメラ（Ｆｉｘｅｄ ｃａｍｅｒａｓ）である。複眼カメラ２は、第１カメラ２ａと第２カメラ２ｂとを水平方向に並べて配置される。第１カメラ２ａと第２カメラ２ｂの各々には、標準レンズや標準レンズよりも画角が広い広角レンズが取り付けられる。複眼カメラ２は、水中ロボット１０の位置／姿勢制御用のカメラである。複眼カメラ２は、ＭＯＳ制御で水中ロボット１０前方の対象物の立体認識を行うため、前方に配置された第１カメラ２ａと第２カメラ２ｂが同時使用される。複眼カメラ２は、対象物との距離等を計測する両眼視覚センサーとして機能する。複眼カメラ２は、制御手段２０が有する画像入力部２１にテザーケーブル９を介して電気的に接続される。第１カメラ２ａと第２カメラ２ｂで撮像された画像は、制御手段２０が有する画像入力部２１に入力される。 The compound-eye camera 2 is a fixed camera (Fixed cameras) that is arranged in front of the robot body 1 and images a target object, as indicated by a dotted circle in FIG. The compound-eye camera 2 is arranged with a first camera 2a and a second camera 2b arranged in the horizontal direction. Each of the first camera 2a and the second camera 2b is attached with a standard lens or a wide-angle lens having a wider angle of view than the standard lens. The compound eye camera 2 is a camera for position / posture control of the underwater robot 10. Since the compound-eye camera 2 performs three-dimensional recognition of an object in front of the underwater robot 10 by MOS control, the first camera 2a and the second camera 2b arranged in front are used simultaneously. The compound-eye camera 2 functions as a binocular visual sensor that measures the distance from the object. The compound eye camera 2 is electrically connected to an image input unit 21 included in the control means 20 via a tether cable 9. Images captured by the first camera 2a and the second camera 2b are input to an image input unit 21 included in the control means 20.
下方カメラは、ロボット本体１の下方側に配置される制御用のカメラである。上述したように、水中ロボット１０は、水中ロボット１０の制御用として、前方２台のカメラである複眼カメラ２および下方２台のカメラである下方カメラの４台のカメラ（撮像素子ＣＣＤ、画素数３８万画素、信号方式ＮＴＳＣ、最低被写体照度０．８［ｌｘ］、ズームなし）を搭載している。 The lower camera is a control camera arranged on the lower side of the robot body 1. As described above, the underwater robot 10 controls the underwater robot 10 with four cameras (an imaging device CCD, the number of pixels) of the compound eye camera 2 that is the front two cameras and the lower camera that is the two lower cameras. 380,000 pixels, signal system NTSC, minimum subject illumination 0.8 [lx], no zoom).
遠隔操作用カメラは、１台の遠隔操縦用チルト機構付きカメラ（撮像素子ＣＣＤ、画素数３８万画素、信号方式ＮＴＳＣ、最低被写体照度１．５［ｌｘ］、ズーム光学１０倍）である。 The remote control camera is one camera with a tilting mechanism for remote control (imaging device CCD, 380,000 pixels, signal system NTSC, minimum subject illumination 1.5 [lx], zoom optical 10 times).
水中動力系３は、水中ロボット１０を水中で移動させるための推進手段である。水中ロボット１０には、水中動力系３として、図１（ｂ）、（ｃ）、（ｄ）において点線丸印で示すように、水平スラスタ（Ｈｏｒｉｚｏｎｔａｌ ｔｈｒｕｓｔｅｒｓ）６が２基（最大推力９．８［Ｎ］，以下同様）と、垂直スラスタ（Ｖｅｒｔｉｃａｌ ｔｈｒｕｓｔｅｒ）７が１基（４．９［Ｎ］），横スラスタ（Ｔｒａｖｅｒｓｅ ｔｈｒｕｓｔｅｒ）８が１基（４．９［Ｎ］）搭載されている。 The underwater power system 3 is a propulsion unit for moving the underwater robot 10 in water. The underwater robot 10 includes two horizontal thrusters 6 (maximum thrust of 9.8) as the underwater power system 3, as indicated by dotted circles in FIGS. 1B, 1C, and 1D. [N], the same applies below), and one vertical thruster (Vertical thruster) 7 (4.9 [N]) and one horizontal thruster (Traverse thruster) 8 (4.9 [N]). .
水平スラスタ６は、ロボット本体１の後部に配置され、水中ロボット１０を前方に移動するための推力を発生する。垂直スラスタ７は、ロボット本体１の上部に配置され、水中ロボット１０を上下方向に移動するための推力を発生する。横スラスタ８は、ロボット本体１の側部に配置され、水中ロボット１０を左右方向に移動するための推力を発生する。水中動力系３（水平スラスタ６、垂直スラスタ７、横スラスタ８）は、テザーケーブル９を介して制御手段２０が有する推力制御部２５に電気的に接続される。制御手段２０は、水平スラスタ６、垂直スラスタ７、横スラスタ８のそれぞれを駆動制御して、水中ロボット１０を上下左右方向に移動可能である。 The horizontal thruster 6 is disposed at the rear part of the robot body 1 and generates thrust for moving the underwater robot 10 forward. The vertical thruster 7 is arranged on the upper part of the robot body 1 and generates a thrust for moving the underwater robot 10 in the vertical direction. The horizontal thruster 8 is disposed on the side of the robot body 1 and generates a thrust for moving the underwater robot 10 in the left-right direction. The underwater power system 3 (horizontal thruster 6, vertical thruster 7, lateral thruster 8) is electrically connected to a thrust control unit 25 included in the control means 20 via a tether cable 9. The control means 20 can drive the horizontal thruster 6, the vertical thruster 7, and the horizontal thruster 8 to move the underwater robot 10 in the vertical and horizontal directions.
光源部１１は、ロボット本体１の前方に配置され、水中ロボット１０の前方を照らすための光源であり、複眼カメラ２による対象物等の撮像の際に照度を確保するためのものである。本実施形態の光源部１１としては、ＬＥＤライト（５．８Ｗ）を２基搭載している。
以上説明した水中ロボット１０の各構成部分の性能仕様を表１にまとめて示す。
The light source unit 11 is disposed in front of the robot body 1 and is a light source for illuminating the front of the underwater robot 10, and is for securing illuminance when the compound eye camera 2 captures an object or the like. As the light source unit 11 of this embodiment, two LED lights (5.8 W) are mounted.
Table 1 summarizes the performance specifications of each component of the underwater robot 10 described above.
制御手段２０は、水中動力系３（水平スラスタ６、垂直スラスタ７、横スラスタ８）及び複眼カメラ２等を制御するものであり、本実施形態ではＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）を用いている。制御手段２０は、テザーケーブル９を介して複眼カメラ２、下方カメラ、遠隔操作用カメラ、水中動力系３、及び光源部１１の各々に電気的に接続されて、各々を制御するものである。本実施形態における制御手段２０は、水中ロボット１０とは遠隔操作用のテザーケーブル９で接続されており、地上に配置されている。
なお、本実施形態では、制御手段２０を水中ロボット１０と離れた場所に配置して水中ロボット１０を遠隔操作型の水中ロボット（ＲＯＶ）として構成しているが、特に限定するものではなく、ロボット本体１の内部に制御手段２０や電源等を搭載して、テザーケーブル９を必要としない自走型水中ロボットとして構成とすることもできる。また、このように自走型水中ロボットを構成するとともに、該制御手段２０に水中ロボットの自動航行や自律的水中作業を行うプログラムを搭載することで水中作業型の自律ロボット（ＡＵＶ）を構成することもできる。
The control means 20 controls the underwater power system 3 (horizontal thruster 6, vertical thruster 7, lateral thruster 8), compound eye camera 2 and the like, and uses a PC (Personal Computer) in this embodiment. The control means 20 is electrically connected to each of the compound eye camera 2, the lower camera, the remote operation camera, the underwater power system 3, and the light source unit 11 via the tether cable 9, and controls each of them. The control means 20 in this embodiment is connected to the underwater robot 10 via a tether cable 9 for remote operation, and is disposed on the ground.
In the present embodiment, the underwater robot 10 is configured as a remotely operated underwater robot (ROV) by disposing the control means 20 at a location away from the underwater robot 10, but is not particularly limited. A control means 20, a power source, and the like are mounted inside the main body 1 so that a self-propelled underwater robot that does not require the tether cable 9 can be configured. In addition to configuring a self-propelled underwater robot in this way, an underwater operation type autonomous robot (AUV) is configured by installing a program for performing automatic navigation of the underwater robot and autonomous underwater work in the control means 20. You can also.
制御手段２０は、図２（Ｂ）に示すように、画像入力部２１、モデル記憶部２２、適合度演算部２３、遺伝アルゴリズム実行部２４、推力制御部２５を有している。画像入力部２１は、複眼カメラ２により撮像された画像が入力される部分である。モデル記憶部２２は、対象物の特徴情報（例えば、形状や色等）を含むモデルが記憶されている部分である。適合度演算部２３は、画像入力部２１に入力された入力画像ついて前記モデルとの適合度を求めるための所定の適合度関数を演算する部分である。適合度演算部２３は、後述するモデルベーストマッチング法により演算が行われる。遺伝アルゴリズム実行部２４は、適合度演算部２３により求められる適合度に基づいて対象物の遺伝情報を生成する遺伝アルゴリズムを実行する部分である。詳細は後述するが、遺伝アルゴリズム実行部２４は、後述するＧＡ法によりＧＡ（Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍ）が実行される部分である。遺伝アルゴリズム実行部２４は、対象物に合致するように前記遺伝情報を所定時間において進化させて、前記対象物の位置及び姿勢を推定することができる。推力制御部２５は、水中動力系３を制御して水中ロボット１０を所定方向に移動させるとともに水中ロボット１０を対象物に対して所定の位置／姿勢となるように制御をする部分である。
なお、本実施例では、対象物の位置を示すものとして立体的な水中マーカーＭ（図５参照）を実験的に用いているが、対象物が水中マーカーＭを備えることが必須な条件ではない。
As shown in FIG. 2B, the control unit 20 includes an image input unit 21, a model storage unit 22, a fitness calculation unit 23, a genetic algorithm execution unit 24, and a thrust control unit 25. The image input unit 21 is a part to which an image captured by the compound eye camera 2 is input. The model storage unit 22 is a part in which a model including feature information (for example, shape and color) of an object is stored. The goodness-of-fit calculation unit 23 is a part that calculates a predetermined goodness-of-fit function for obtaining the goodness of fit of the input image input to the image input unit 21 with the model. The goodness-of-fit calculation unit 23 performs calculation by a model-based matching method described later. The genetic algorithm execution unit 24 is a part that executes a genetic algorithm that generates genetic information of an object based on the fitness obtained by the fitness calculation unit 23. Although details will be described later, the genetic algorithm execution unit 24 is a part where GA (Genetic Algorithm) is executed by the GA method described later. The genetic algorithm execution unit 24 can estimate the position and orientation of the object by evolving the genetic information in a predetermined time so as to match the object. The thrust control unit 25 is a part that controls the underwater power system 3 to move the underwater robot 10 in a predetermined direction and controls the underwater robot 10 to have a predetermined position / posture with respect to the object.
In the present embodiment, the three-dimensional underwater marker M (see FIG. 5) is used experimentally to indicate the position of the object, but it is not an essential condition that the object includes the underwater marker M. .
＜水中実験系＞
次に、水中ロボット１０を用いた水中実験について図２を用いて説明する。図２には、水中ロボット１０及び水中実験装置の構成を示す。
<Underwater experiment system>
Next, an underwater experiment using the underwater robot 10 will be described with reference to FIG. FIG. 2 shows configurations of the underwater robot 10 and the underwater experiment apparatus.
実施例１に係る水中実験では、水道水を満たした簡易プール（縦×横×高さ、４ｍ×６ｍ×０．７ｍ）を実験槽として使用した。上記水中ロボット（ＲＯＶ）１０を実験槽に水入させ、図２に示すようにテザーケーブル９（本実施形態では、ケーブル長５０ｍ）を介して水中ロボット１０への給電ならびに実験槽脇に設置した制御手段２０であるＰＣを介して対象物の画像情報ならびに制御信号等の通信を行った。制御手段２０側では水中ロボット１０搭載の２台のカメラ（第１カメラ２ａ、第２カメラ２ｂ）で構成される複眼カメラ２から送られる対象物の立体像情報を基に、後述するＧＡ法による３Ｄモデルベーストマッチングを行った。また、提案する制御系のブロック図を図３に示す。提案するシステムでは、複眼カメラ２から取得した画像を制御手段２０（画像入力部２１）に転送し、モデルベーストマッチング法とＧＡ法を組み合わせて対象物との相対位置・姿勢を認識させている。さらに、認識結果と相対的目標位置・姿勢との誤差に基づくＰ制御によって計算された指令電圧値を水中ロボット１０のスラスタ（水中動力系３）に与えることで、推力を発生させている。なお、本実験系におけるＧＡ法は、３３［ｍｓ］あたり９世代進化できることを予備実験で確認している。 In the underwater experiment according to Example 1, a simple pool (length × width × height, 4 m × 6 m × 0.7 m) filled with tap water was used as an experimental tank. The above-mentioned underwater robot (ROV) 10 was poured into the experimental tank, and as shown in FIG. 2, power was supplied to the underwater robot 10 via the tether cable 9 (in this embodiment, the cable length was 50 m) and was installed beside the experimental tank. Communication of image information and control signals of the object was performed via the PC as the control means 20. On the control means 20 side, based on the stereoscopic image information of the object sent from the compound-eye camera 2 composed of two cameras (the first camera 2a and the second camera 2b) mounted on the underwater robot 10, the GA method described later is used. 3D model based matching was performed. A block diagram of the proposed control system is shown in FIG. In the proposed system, the image acquired from the compound-eye camera 2 is transferred to the control means 20 (image input unit 21), and the relative position and orientation of the object are recognized by combining the model-based matching method and the GA method. Further, thrust is generated by giving a command voltage value calculated by P control based on an error between the recognition result and the relative target position / posture to the thruster (underwater power system 3) of the underwater robot 10. In addition, it has been confirmed by preliminary experiments that the GA method in this experimental system can evolve 9 generations per 33 [ms].
＜水中実験条件＞
１．ＧＡ法による３次元対象物認識条件
複眼カメラ２を用いたＧＡによる認識条件について、本実施例の実験は実験槽内水中任意位置に図４に示すボックス（１００ｍｍ×１００ｍｍ×１００ｍｍ）周りに赤・青・緑の三原色球（直径４０ｍｍ）を配置した対象物（図４に示すＴａｒｇｅｔ）を固定設置することによって実施した。また、ＧＡによる３次元モデルベーストマッチングによる対象物の位置・姿勢の認識情報は、同図内に示す水中ロボット１０と対象物間で設定したＧＡ探索エリア内で獲得されると仮定している。各条件を表２に示す。ここで姿勢に関する変数ε２はｙ軸周りの回転角を意味している。また、予備実験によって、他の軸周りの回転は水中ロボット１０の移動に依らず微小であったため，本実験ではこれらをＧＡによる認識の対象としない。
<Underwater experiment conditions>
1. 3D Object Recognition Condition by GA Method Regarding the recognition condition by GA using the compound-eye camera 2, the experiment of this embodiment is performed by placing red / red around the box (100 mm × 100 mm × 100 mm) shown in FIG. This was carried out by fixedly setting an object (Target shown in FIG. 4) on which blue and green three primary color spheres (diameter 40 mm) were arranged. In addition, it is assumed that the recognition information of the position / posture of the object by the 3D model-based matching by GA is acquired in the GA search area set between the underwater robot 10 and the object shown in FIG. Each condition is shown in Table 2. Here, the variable ε 2 related to the posture means a rotation angle around the y-axis. Further, in the preliminary experiment, the rotations around the other axes were very small regardless of the movement of the underwater robot 10, and therefore these are not recognized by the GA in this experiment.
２．水中制御安定性実験
任意位置に水中固定設置した対象物をＧＡにより認識後、ＭＯＳ制御知能により水中ロボット１０に搭載した４基のスラスタ６、７、８へテザーケーブル９を介して指令電圧値を送ることで、水中ロボット１０と対象物間とで以下の相対的目標位置・姿勢（ｘｄ［ｍｍ］，ｙｄ［ｍｍ］，ｚｄ［ｍｍ］，ε２ｄ［ｄｅｇ］）を保つようにレギュレートさせ、水中での制御性能の検証を行った。図５に本実施例の実験における座標系を示す。
2. Underwater control stability experiment After recognizing an object fixed underwater at an arbitrary position by GA, the command voltage value is transmitted to the four thrusters 6, 7, 8 mounted on the underwater robot 10 via the tether cable 9 by MOS control intelligence. By sending, the following relative target position / posture (x d [mm], y d [mm], z d [mm], ε 2d [deg]) is maintained between the underwater robot 10 and the object. It was regulated and the control performance in water was verified. FIG. 5 shows a coordinate system in the experiment of this embodiment.
また、ｘ［ｍｍ］，ｙ［ｍｍ］，ｚ［ｍｍ］，ε２［ｄｅｇ］をＧＡで認識した水中マーカーＭの位置・姿勢とおき，相対的目標位置・姿勢に水中ロボット１０をレギュレートさせるため、以下のＰ制御から計算される指令電圧値を各スラスタ（水平スラスタ６、垂直スラスタ７、横スラスタ８）へ与えた。
奥行き方向：ｖ１＝ｋｐ１（ｚｄ−ｚ）＋２．５ （１）
鉛直軸回転：ｖ２＝ｋｐ２（ε２ｄ−ε２）＋２．５ （２）
鉛直方向：ｖ３＝ｋｐ３（ｙｄ−ｙ）＋２．５ （３）
左右方向：ｖ４＝ｋｐ４（ｘｄ−ｘ） （４）
さらに、外乱に対するロバスト安定性を検証するため、レギュレート中の水中ロボット１０に対して実験槽外部から物理力による外乱を加え、元の位置・姿勢へ復元できるかの確認も行った。
Further, x [mm], y [mm], z [mm], and ε 2 [deg] are set as the position / posture of the underwater marker M recognized by the GA, and the underwater robot 10 is regulated to the relative target position / posture. Therefore, the command voltage value calculated from the following P control is given to each thruster (horizontal thruster 6, vertical thruster 7, and lateral thruster 8).
Depth direction: v 1 = k p1 (z d −z) +2.5 (1)
Vertical axis rotation: v 2 = k p2 (ε 2d −ε 2 ) +2.5 (2)
Vertical direction: v 3 = k p3 (y d −y) +2.5 (3)
Left-right direction: v 4 = k p4 (x d −x) (4)
Furthermore, in order to verify the robust stability against disturbances, it was confirmed whether or not the underwater robot 10 being regulated can be restored to its original position and posture by applying a disturbance due to physical force from outside the experimental tank.
［結果と考察］
次に、実験結果と考察を述べる。
[Results and discussion]
Next, the experimental results and discussion are described.
＜対象物のＧＡ法による認識精度＞
１．スラスタ出力制御
従来技術の遠隔操作型ＲＯＶではコントローラージョイスティック指示による作動操作時において、人間の指の動きによる誤動作を防止するためスラスタ推進制御信号発信時にある程度の冗長性（不感帯）を持たせている。これに対し本実施例では、対象物へのスラスタ推進による接近移動の際、ｍｍ単位での高い精度の移動ならびに姿勢制御性能の実現を目指している。そこで、ここでは各スラスタ動力への推力‐制御電圧変化特性における従来の不感帯の制御電圧に対して、推力の計算が容易にできるように制御電圧と推力の近似式を求めた。具体的には、予備実験で確認した水中ロボット１０の不感帯特性（図６（ａ）（ｃ）（ｅ））を取り除き、同図（ｂ）（ｄ）（ｆ）の破線のように直線近似して推力の計算を行う。調整前はニュートラル状態（制御電圧２Ｖ）近傍の電圧変化に対して出力応答に不感帯があったが、調整後は推力‐制御電圧間の近似式に基づき、推力の計算が容易にできるようになった。なお、水中ロボット１０のｘＨ軸方向に関する推力は、正方向、負方向用にオン／オフ制御がそれぞれ実装されており、各方向ともオン時には４．９［Ｎ］の推力が発生し、オフ時には推力は発生しない。
<Recognition accuracy of object by GA method>
1. Thruster output control The conventional remote control type ROV has a certain degree of redundancy (dead zone) when a thruster propulsion control signal is transmitted in order to prevent malfunction due to the movement of a human finger during an operation operation by a controller joystick instruction. On the other hand, in this embodiment, when approaching the object by thruster propulsion, the aim is to realize highly accurate movement and attitude control performance in mm units. Therefore, an approximate expression for the control voltage and the thrust is obtained here so that the thrust can be easily calculated with respect to the control voltage of the conventional dead zone in the thrust-control voltage change characteristic to each thruster power. Specifically, the dead zone characteristics (FIGS. 6A, 6C, and 6E) of the underwater robot 10 confirmed in the preliminary experiment are removed, and linear approximation is performed as indicated by the broken lines in FIGS. 6B, 6D, and 6F. To calculate the thrust. Before the adjustment, there was a dead zone in the output response to the voltage change near the neutral state (control voltage 2V), but after the adjustment, the thrust can be easily calculated based on the approximate expression between the thrust and the control voltage. It was. Incidentally, the thrust relates x H axis direction of the underwater robot 10, the forward direction, are respectively mounted on / off control for the negative direction, the thrust is generated in the 4.9 [N] at the time of ON in each direction, off Sometimes no thrust is generated.
２．水中におけるＧＡ認識精度
図７（ａ）にｘｄ＝０，ｙｄ＝−６７，ｚｄ＝５００，ε２ｄ=０でレギュレートさせた水中ロボット１０のＧＡ認識時の適合度の時間変化を示す。これによると、認識開始から数秒以内で適合度が１以上となるとともに、適合度計測時間中においてほぼ０．８以上の高い適合度を維持していることがわかる。一般的にビジュアルサーボにより精度よく対象物への物理的作業を行う場合、ＧＡ認識精度は０．５以上必要であると考えられており、非特許文献１では、本実験に使用した同一対象物を用いて室内における両眼認識精度の測定を行っている。これら両眼により陸上で得られた適合度の結果と今回水中で得られた結果を比較しても両者において同程度の適合度が得られていることがわかる。すなわちＧＡによる水中での対象物認識精度は、気中における場合との比較においてもほぼ同程度の適合度が得られることがわかった。
2. X d = 0 to GA recognition accuracy Figure 7 (a) in water, y d = -67, z d = 500, the time variation of the fit when GA recognition underwater robot 10 which is regulated by the epsilon 2d = 0 Show. According to this, it can be seen that the fitness is 1 or more within a few seconds from the start of recognition, and a high fitness of approximately 0.8 or more is maintained during the fitness measurement time. In general, when performing physical work on an object with high accuracy by visual servoing, it is considered that GA recognition accuracy is required to be 0.5 or more. In Non-Patent Document 1, the same object used in this experiment is used. Is used to measure the accuracy of binocular recognition in the room. Comparing the results of fitness obtained on land with both eyes and the results obtained in water this time, it can be seen that the same fitness is obtained in both cases. In other words, it was found that the accuracy of recognition of an object in water by GA can be almost the same as that in the air.
３．レギュレート性能
実験槽外から物理的に外乱を与えなかった場合のレギュレート性能を図７、８に示す。ＧＡの認識誤差、ロボット移動時に生じるテザーケーブル９からの反力、さらに移動時に発生する水圧変化による実験槽側面からの反射波を受け、相対的目標位置・姿勢からの誤差が定常的に現れるものの、対象物に対する相対的位置・姿勢を維持するＭＯＳ制御方式では４基のスラスタ６・６、７、８を常時同時稼働させることでこれら外乱要素をキャンセルさせることにより相対的目標位置・姿勢近傍にレギュレートできることが確認できる。なお、図７（ｂ）（図８（ａ））に現れる誤差の緩慢な振る舞いは水中ロボット１０の側面に設置されているスタビライザー板１ａの抵抗による横スラスタ８の推力不足にその主要因があると考えられる。また、各目標値に対する定常誤差は、Ｐ制御によって与えられる推力と釣り合っている状態を意味している。
3. Regulating performance FIGS. 7 and 8 show the regulating performance when no disturbance is physically applied from outside the experimental tank. Although there are GA recognition errors, reaction force from the tether cable 9 that occurs when the robot moves, and reflected waves from the side of the experimental tank due to changes in water pressure that occur during movement, errors from the relative target position and posture appear regularly. In the MOS control method for maintaining the relative position / posture with respect to the object, the four thrusters 6, 6, 7, and 8 are always operated simultaneously to cancel these disturbance elements so that they are close to the relative target position / posture. It can be confirmed that it can be regulated. The slow behavior of the error appearing in FIG. 7B (FIG. 8A) is mainly due to insufficient thrust of the lateral thruster 8 due to the resistance of the stabilizer plate 1a installed on the side surface of the underwater robot 10. it is conceivable that. Moreover, the stationary error with respect to each target value means a state in which the thrust given by the P control is balanced.
４．外乱に対するロバスト安定性
ここでは対象物を認識してレギュレート中の水中ロボットに対して、障害物との衝突や海流等の外乱が加わった場合のロバスト安定性を検証するため、実験槽外から棒（木製全長２ｍ）を介した人力により制御中の水中ロボット１０の位置を恣意的にずらすような外力を横方向（図９（ａ））、上方向（図９（ｂ））、後方（図９（ｃ））、鉛直軸周り（図９（ｄ））にそれぞれ加え、水中ロボット１０が対象物との相対的目標位置・姿勢に復元するか確認を行った。横方向、上方向、後方および鉛直軸周りに外乱を加えた場合の制御結果を図１０〜図１３に示す。各図とも（ａ）がＧＡ認識の適合度、（ｂ）は各変数についての相対的目標位置・姿勢と水中ロボット１０が認識した対象物の位置・姿勢との誤差、（ｃ）は（ｂ）のグラフと同様であるが実験開始後１０５〜１１０秒における様子、（ｄ）はスラスタに与えた推力（トルク）を表している。各図とも実験開始から２０［ｓ］および６０［ｓ］あたりで外乱が加えられている。それぞれの図（ａ）（ｂ）（ｄ）に記した（Ａ）および（Ｂ）の区間において、外乱が加えられた際に適合度が一時的に低くなるが、ビジュアルサーボを維持しつつ、相対的目標位置・姿勢からの誤差に応じてスラスタに与えられる推力（トルク）が変化することが分かる。すなわち、誤差を修正するための操作量が発生し、その結果として相対的目標位置・姿勢に復元するよう水中ロボット１０の位置・姿勢が変化していくことを確認できる。
4). Robust stability against disturbances In order to verify robust stability when a disturbance such as a collision with an obstacle or an ocean current is applied to an underwater robot that has been recognized and is regulated, External force that arbitrarily shifts the position of the underwater robot 10 being controlled by human power through a rod (wood total length 2 m) is lateral (FIG. 9 (a)), upward (FIG. 9 (b)), rearward ( In addition to each of FIG. 9C) and the vertical axis (FIG. 9D), it was confirmed whether the underwater robot 10 was restored to the relative target position / posture with respect to the object. 10 to 13 show control results when a disturbance is applied in the lateral direction, the upward direction, the rearward direction, and the vertical axis. In each figure, (a) is the GA recognition fitness, (b) is the error between the relative target position / posture for each variable and the position / posture of the object recognized by the underwater robot 10, and (c) is (b) ) In the same manner as in the graph, but in 105 to 110 seconds after the start of the experiment, and (d) represents the thrust (torque) applied to the thruster. In each figure, disturbance is applied around 20 [s] and 60 [s] from the start of the experiment. In the sections (A) and (B) shown in the respective drawings (a), (b), and (d), the degree of fitness is temporarily lowered when a disturbance is applied, but while maintaining the visual servo, It can be seen that the thrust (torque) applied to the thruster changes according to the error from the relative target position / posture. That is, it can be confirmed that an operation amount for correcting the error is generated, and as a result, the position / posture of the underwater robot 10 changes so as to restore the relative target position / posture.
以上より、水中航走体制御システム１００ではこれら全ての外乱に対して数秒〜数１０秒以内に元の位置に復元でき、外乱に対するロバスト安定性も有することを確認できた。ただし、複眼カメラ２の映像から対象物が完全に外れるような大きな変位を加えられた場合、ビジュアルサーボが切れてしまうため、水中ロボット１０が対象物との相対的目標位置・姿勢にレギュレート出来なくなる可能性がある。 From the above, it was confirmed that the underwater vehicle control system 100 can restore the original position within several seconds to several tens of seconds with respect to all these disturbances and has robust stability against the disturbances. However, if a large displacement is applied so that the object is completely removed from the image of the compound-eye camera 2, the visual servo is cut off, so that the underwater robot 10 can regulate the relative target position / posture with the object. There is a possibility of disappearing.
［まとめ］
実施例１では複眼カメラ２によるビジュアルサーボを搭載した水中ロボット１０のレギュレート性能の検証を行い、その結果、下記結論を得た。（１）水中に固定した対象物を用いて複眼カメラ２によるＧＡ認識精度実験を行った結果、気中実験と同程度の適合度が得られることを確認した。（２）提案するレギュレートシステムは、物理的外乱に対してロバスト性を有することが分かった。（３）ビジュアルサーボによる３次元位置・姿勢制御のロバスト安定性を確認した。
[Summary]
In Example 1, the regulation performance of the underwater robot 10 equipped with the visual servo by the compound eye camera 2 was verified, and as a result, the following conclusion was obtained. (1) As a result of conducting a GA recognition accuracy experiment with the compound eye camera 2 using an object fixed in water, it was confirmed that the same degree of fitness as in the air experiment was obtained. (2) The proposed regulation system was found to be robust against physical disturbances. (3) The robust stability of 3D position / posture control by visual servoing was confirmed.
また、実施例１の水中航走体制御システム１００では、対象物の推定された位置及び姿勢と、前記対象物に対する水中ロボット１０の相対的目標位置及び姿勢との誤差に基づくＰ制御によって計算された指令電圧値を水中動力系３に与えることで、水中ロボット１０が前記相対的目標位置及び姿勢を保持するように水中動力系３の推力を発生させる。これにより、水中ロボット１０の位置姿勢を認識対象物に対して相対的に一定に保つビジュアルサーボを精度良く実現することができる。 Further, in the underwater vehicle control system 100 according to the first embodiment, the calculation is performed by P control based on an error between the estimated position and posture of the object and the relative target position and posture of the underwater robot 10 with respect to the object. By applying the command voltage value to the underwater power system 3, thrust of the underwater power system 3 is generated so that the underwater robot 10 maintains the relative target position and posture. Thereby, the visual servo which maintains the position and orientation of the underwater robot 10 relatively constant with respect to the recognition target can be realized with high accuracy.
また、実施例１によれば、水中におけるＧＡ法の適用により複眼カメラ２のカメラ視線方向の距離を正確に認識できる。また、複眼カメラ２に広角レンズを取り付けて構成する場合、カメラの視線方向の距離に応じて認識対象物の画像内の大きさが大きく変化する特徴（肉眼で見たときに比べて、近くにある被写体はより大きく、遠くにある被写体はより小さく写るデフォルメ効果）を有するため、対象物を認識する際の変位を捕捉しやすくなる。すなわち、広角レンズを通して立体的な対象物を３次元認識（対象物の立体形状とその位置及び姿勢６変数を求めること）することで対象物近傍における認識精度が向上する。 Further, according to the first embodiment, the distance in the camera line-of-sight direction of the compound eye camera 2 can be accurately recognized by applying the GA method in water. In addition, when the wide-angle lens is attached to the compound-eye camera 2, a feature in which the size of the recognition object in the image changes greatly according to the distance in the line of sight of the camera (compared to when viewed with the naked eye) Since a certain subject is larger and a far away subject has a deformation effect (which is smaller), it is easy to capture a displacement when recognizing an object. That is, recognition accuracy in the vicinity of the object is improved by three-dimensionally recognizing the three-dimensional object through the wide-angle lens (determining the three-dimensional shape of the object and its position and orientation 6 variables).
以上のように、実施例１では、ＲＯＶである水中ロボット１０に搭載した複眼カメラ２から得られる画像とＧＡ法により対象物との相対的位置・姿勢を認識するシステムを構築し、水中ロボット１０と対象物との間の相対的位置・姿勢制御に関するレギュレータ性能について説明し、水中ロボット１０が物理的外乱に対してロバスト性を有することを示した。次に、実施例２では、この成果をもとに水中自動給電を想定した水中嵌合手法と、この手法を水中ロボット１０に実装した水中嵌合実験の実施結果について説明する。 As described above, in the first embodiment, a system for recognizing the relative position / posture of an object by the GA method and the image obtained from the compound eye camera 2 mounted on the underwater robot 10 that is a ROV is constructed. The regulator performance related to the relative position / attitude control between the robot and the object was described, and it was shown that the underwater robot 10 has robustness against physical disturbance. Next, in the second embodiment, an underwater fitting method assuming underwater automatic power supply based on this result and an execution result of an underwater fitting experiment in which this method is mounted on the underwater robot 10 will be described.
［実験方法］
＜水中ロボット系＞
実施例２に係る水中航走体制御システム１００においては、表３に示すように、水中ロボット１０が有するテザーケーブル９の長さが異なるのみであり、水中航走体制御システム１００の構成部分の形状や機能は実施例１と同じであるため、説明を省略する。
[experimental method]
<Underwater robot system>
In the underwater vehicle control system 100 according to the second embodiment, as shown in Table 3, only the length of the tether cable 9 included in the underwater robot 10 is different. Since the shape and function are the same as those of the first embodiment, description thereof is omitted.
＜水中実験系＞
次に、水中ロボット１０を用いた水中実験について図１４を用いて説明する。図１４には、水中ロボット１０及び水中実験装置の構成を示す。
<Underwater experiment system>
Next, an underwater experiment using the underwater robot 10 will be described with reference to FIG. FIG. 14 shows configurations of the underwater robot 10 and the underwater experiment apparatus.
実施例２に係る水中実験では、水道水を満たした簡易プール（縦×横×高さ、２［ｍ］×３［ｍ］×０．７５［ｍ］）を実験槽として使用した。上記水中ロボット（ＲＯＶ）１０を実験槽に水入させ、図１４に示すようにテザーケーブル７（本実施形態では、ケーブル長２００［ｍ］）を介して水中ロボット１０への給電ならびに実験槽脇に設置した制御手段２０であるＰＣを介して対象物の画像情報ならびに制御信号等の通信を行った。制御手段２０側では水中ロボット１０搭載の２台のカメラ（第１カメラ２ａ、第２カメラ２ｂ）で構成される複眼カメラ２から送られる対象物の立体像情報を基に、ＧＡ法による３Ｄモデルベーストマッチングを行った。また、水中自動給電を想定した実験を行うため、図１６に示すように、嵌合用の棒１２を水中ロボット１０の右側に取り付けるとともに、水中ロボット１０が対象物と正対した時に、嵌合用の棒１２が嵌合用の穴と正対するよう、被嵌合装置Ｄを対象物横に設置した。さらに、実験条件において設定する時変の相対的目標位置・姿勢に水中ロボット１０が追従し，最終的な目標位置・姿勢でレギュレートすることを嵌合完了と定義する。 In the underwater experiment according to Example 2, a simple pool (length × width × height, 2 [m] × 3 [m] × 0.75 [m]) filled with tap water was used as an experimental tank. The above-mentioned underwater robot (ROV) 10 is poured into an experimental tank, and as shown in FIG. 14, power is supplied to the underwater robot 10 via the tether cable 7 (in this embodiment, the cable length is 200 [m]) and the side of the experimental tank. The image information of the target object and the control signal were communicated through the PC which is the control means 20 installed in. On the control means 20 side, a 3D model based on the GA method is used on the basis of stereoscopic image information of an object sent from a compound eye camera 2 composed of two cameras (first camera 2a and second camera 2b) mounted on the underwater robot 10. Based matching was performed. Further, in order to conduct an experiment assuming underwater automatic power feeding, as shown in FIG. 16, the fitting rod 12 is attached to the right side of the underwater robot 10, and when the underwater robot 10 faces the object, The fitted device D was placed beside the object so that the rod 12 faced the fitting hole. Furthermore, it is defined as completion of fitting that the underwater robot 10 follows the time-varying relative target position / posture set in the experimental condition and regulates at the final target position / posture.
提案する制御系のブロック図は、実施例１で説明した図３である。提案するシステムでは，複眼カメラ２から取得した画像を制御手段２０であるＰＣに転送し、モデルベーストマッチング法とＧＡ法を組み合わせて対象物との相対的位置・姿勢を認識させている。さらに、認識結果と相対的目標位置・姿勢との誤差に基づくＰ制御によって計算された指令電圧値を水中ロボット１０のスラスタ（水中動力系３）に与えることで、推力を発生させている。なお，本実験系におけるＧＡ法は、３３［ｍｓ］あたり９世代進化できることを予備実験で確認している。また，ε２は図１５におけるｙ軸回りの姿勢をクォータニオンで表したものである（非特許文献１参照）。ε１（ｘ軸（ピッチング軸）回りの姿勢）、ε３（ｚ軸（ローリング軸）回りの姿勢）については、自律的に安定であり制御は不要と判断し、制御を行っていない。 A block diagram of the proposed control system is FIG. 3 described in the first embodiment. In the proposed system, an image acquired from the compound-eye camera 2 is transferred to a PC as the control means 20, and the model-based matching method and the GA method are combined to recognize the relative position / posture with respect to the object. Further, thrust is generated by giving a command voltage value calculated by P control based on an error between the recognition result and the relative target position / posture to the thruster (underwater power system 3) of the underwater robot 10. In addition, it has been confirmed in preliminary experiments that the GA method in this experimental system can evolve 9 generations per 33 [ms]. Further, ε 2 represents the attitude around the y axis in FIG. 15 in quaternions (see Non-Patent Document 1). As for ε 1 (posture around the x-axis (pitching axis)) and ε 3 (posture around the z-axis (rolling axis)), it is determined that control is unnecessary and control is not performed.
＜水中実験条件＞
１．ＧＡ法による３次元対象物認識条件
複眼カメラ２を用いたＧＡによる認識条件について、本実施例の実験は実験槽内水中任意位置に図１５（ａ）に示すボックス（１００［ｍｍ］×１００［ｍｍ］×１００［ｍｍ］）周りに赤・青・緑の三原色球（直径４０［ｍｍ］）を配置した対象物を固定設置することによって実施した。また、ＧＡによる３次元モデルベーストマッチングによる対象物の位置・姿勢の認識情報は，同図（ｂ）に示す水中ロボット１０と対象物間で設定したＧＡ探索エリア内で獲得されると仮定している。各条件を表４に示す。
<Underwater experiment conditions>
1. 3D Object Recognition Condition by GA Method Regarding the recognition condition by GA using the compound-eye camera 2, the experiment of the present embodiment is performed at an arbitrary position in the water in the experimental tank at a box (100 [mm] × 100 [ mm] × 100 [mm]) around an object in which three primary color spheres (diameter 40 [mm]) of red, blue, and green are arranged. Also, it is assumed that the recognition information of the position / orientation of the object by 3D model-based matching by GA is acquired within the GA search area set between the underwater robot 10 and the object shown in FIG. Yes. Table 4 shows each condition.
２．水中嵌合条件
任意位置に水中固定設置した対象物をＧＡにより認識後、ＭＯＳ制御知能により水中ロボット１０に搭載した４基のスラスタ６・６、７、８へ指令電圧値を送ることで、水中ロボット１０と対象物間とで以下の相対的目標位置・姿勢（ｘｄ［ｍｍ］，ｙｄ［ｍｍ］，ｚｄ［ｍｍ］，ε２ｄ［ｄｅｇ］）を保つようにレギュレートしつつ、水中での嵌合を果たす実験を行う。ここで次式の各数値は、対象物の発見直後に水中ロボット１０がレギュレートすべき目標値、括弧（）内の数値は、嵌合完了時の目標値として定義している。図１６に本実施例の実験における座標系を示す。
2. Underwater fitting condition After an object fixed underwater in an arbitrary position is recognized by GA, the command voltage value is sent to the four thrusters 6, 6, 7, 8 mounted on the underwater robot 10 by MOS control intelligence. While maintaining the following relative target position / posture (x d [mm], y d [mm], z d [mm], ε 2d [deg]) between the robot 10 and the object, Experiments to achieve fitting in water. Here, each numerical value of the following expression is defined as a target value that the underwater robot 10 should regulate immediately after the discovery of the object, and a numerical value in parentheses () is defined as a target value at the time of completion of fitting. FIG. 16 shows a coordinate system in the experiment of this example.
また，ｘ［ｍｍ］，ｙ［ｍｍ］，ｚ［ｍｍ］，ε２［ｄｅｇ］をＧＡで認識した対象物の位置・姿勢とおき、相対的目標位置・姿勢に水中ロボット１０をレギュレートさせるため、以下のＰ制御から計算される指令電圧値とオン／オフ制御による指令値を各スラスタ（水平スラスタ６、垂直スラスタ７、横スラスタ８）へ与えた。
奥行き方向：ｖ１＝ｋｐ１（ｚｄ−ｚ）＋２．５ （１）
鉛直軸回転：ｖ２＝ｋｐ２（ε２ｄ−ε２）＋２．５ （２）
鉛直方向：ｖ３＝ｋｐ３（ｙｄ−ｙ）＋２．５ （３）
右水平方向：ｘｄ−ｘ＜−５（オン／オフ制御の条件式） （４）
左水平方向：５＜ｘｄ−ｘ（オン／オフ制御の条件式） （５）
Further, x [mm], y [mm], z [mm], and ε 2 [deg] are set as the position / posture of the object recognized by the GA, and the underwater robot 10 is regulated to the relative target position / posture. Therefore, the command voltage value calculated from the following P control and the command value by the on / off control are given to each thruster (horizontal thruster 6, vertical thruster 7, and lateral thruster 8).
Depth direction: v 1 = k p1 (z d −z) +2.5 (1)
Vertical axis rotation: v 2 = k p2 (ε 2d −ε 2 ) +2.5 (2)
Vertical direction: v 3 = k p3 (y d −y) +2.5 (3)
Right horizontal direction: x d −x <−5 (conditional expression for on / off control) (4)
Left horizontal direction: 5 <x d −x (conditional expression for on / off control) (5)
［結果と考察］
次に、実験結果と考察を述べる。
＜対象物のＧＡ法による認識精度＞
１．スラスタ出力制御
従来技術の遠隔操作型ＲＯＶではコントローラージョイスティック指示による作動操作時において、人間の指の動きによる誤動作を防止するためスラスタ推進制御信号発信時にある程度の冗長性（不感帯）を持たせている。これに対し本実施例では、対象物へのスラスタ推進による接近移動の際、ｍｍ単位での高い精度の移動ならびに姿勢制御性能の実現を目指している。そこで、ここでは各スラスタ動力への推力‐制御電圧変化特性における従来の不感帯の制御電圧に対して、推力の計算が容易にできるように制御電圧と推力の近似式を求めた。具体的には、予備実験で確認した水中ロボット１０の不感帯特性（図１７（ａ）（ｃ）（ｅ））を取り除き、同図（ｂ）（ｄ）（ｆ）の破線のように直線近似して推力の計算を行う。調整前はニュートラル状態（制御電圧２．５［Ｖ］）近傍の電圧変化に対して出力応答に不感帯があったが、調整後は推力‐制御電圧間の近似式に基づき、推力の計算が容易にできるようになった。なお、水中ロボット１０のｘＨ軸方向に関する推力は、右水平方向、左水平方向用にオン／オフ制御がそれぞれ実装されており、各方向ともオン時には４．９［Ｎ］の推力が発生し、オフ時には推力は発生しない．
[Results and discussion]
Next, the experimental results and discussion are described.
<Recognition accuracy of object by GA method>
1. Thruster output control The conventional remote control type ROV has a certain degree of redundancy (dead zone) when a thruster propulsion control signal is transmitted in order to prevent malfunction due to the movement of a human finger during an operation operation by a controller joystick instruction. On the other hand, in this embodiment, when approaching the object by thruster propulsion, the aim is to realize highly accurate movement and attitude control performance in mm units. Therefore, an approximate expression for the control voltage and the thrust is obtained here so that the thrust can be easily calculated with respect to the control voltage of the conventional dead zone in the thrust-control voltage change characteristic to each thruster power. Specifically, the dead zone characteristics (FIGS. 17A, 17C, and 17E) of the underwater robot 10 confirmed in the preliminary experiment are removed, and linear approximation is performed as indicated by broken lines in FIGS. To calculate the thrust. Before adjustment, there was a dead zone in the output response to the voltage change near the neutral state (control voltage 2.5 [V]), but after adjustment, it is easy to calculate the thrust based on the approximate expression between thrust and control voltage It became possible to do. Incidentally, the thrust relates x H axis direction of the underwater robot 10, the right horizontal direction, are mounted respectively on / off control for the left horizontal direction, the thrust of 4.9 [N] at the time of ON in each direction occurs No thrust is generated when off.
２．水中におけるＧＡ認識精度
図１８（ａ）にｘｄ＝０，ｙｄ＝−６７，ｚｄ＝６００，ε２ｄ=０でレギュレートさせた水中ロボット１０のＧＡ認識時の適合度の時間変化を示す。これによると、認識開始から数秒以内で適合度が１以上となるとともに、適合度計測時間中においてほぼ０．８以上の高い適合度を維持していることがわかる。一般的にビジュアルサーボにより精度よく対象物への物理的作業を行う場合、ＧＡ認識精度は０．５以上必要であると考えられており、非特許文献１では、本実験に使用した同一対象物を用いて室内における複眼認識精度の測定を行っている。これら複眼により陸上で得られた適合度の結果と今回水中で得られた結果を比較しても両者において同程度の適合度が得られていることがわかる。すなわちＧＡによる水中での対象物認識精度は、気中における場合との比較においてもほぼ同程度の適合度が得られることがわかる。
2. X d = 0 to GA recognition accuracy Figure 18 (a) in water, y d = -67, z d = 600, the time variation of the fit when GA recognition underwater robot 10 which is regulated by the epsilon 2d = 0 Show. According to this, it can be seen that the fitness is 1 or more within a few seconds from the start of recognition, and a high fitness of approximately 0.8 or more is maintained during the fitness measurement time. In general, when performing physical work on an object with high accuracy by visual servoing, it is considered that GA recognition accuracy is required to be 0.5 or more. In Non-Patent Document 1, the same object used in this experiment is used. Is used to measure the compound eye recognition accuracy in the room. Comparing the results of fitness obtained on land with these compound eyes and the results obtained in water this time, it can be seen that the same degree of fitness is obtained in both cases. That is, it can be understood that the accuracy of recognition of an object in water by GA can be almost the same as that in the air.
３．レギュレート性能
実験槽外から物理的に外乱を与えなかった場合のレギュレート性能を図１８、１９に示す。ＧＡの認識誤差、ロボット移動時に生じるテザーケーブル９からの反力、さらに移動時に発生する水圧変化による実験槽側面からの反射波を受け、相対的目標位置・姿勢からの誤差が定常的に現れるものの、対象物に対する相対的位置・姿勢を維持するＭＯＳ制御方式では４基のスラスタ６・６、７、８を常時同時稼働させることでこれら外乱要素をキャンセルさせることにより相対的目標位置・姿勢近傍にレギュレートできることが確認できる。なお、図１８（ｂ）、（図１９（ａ））に現れる誤差の緩慢な振る舞いは水中ロボット１０の側面に設置されているスタビライザー板１ａの抵抗による横スラスタ８の推力不足にその主要因があると考えられる。また、各目標値に対する定常誤差は、Ｐ制御によって与えられる推力と釣り合っている状態を意味している。
3. Regulating performance FIGS. 18 and 19 show the regulating performance when no disturbance is physically applied from outside the experimental tank. Although there are GA recognition errors, reaction force from the tether cable 9 that occurs when the robot moves, and reflected waves from the side of the experimental tank due to changes in water pressure that occur during movement, errors from the relative target position and posture appear regularly. In the MOS control method for maintaining the relative position / posture with respect to the object, the four thrusters 6, 6, 7, and 8 are always operated simultaneously to cancel these disturbance elements so that they are close to the relative target position / posture. It can be confirmed that it can be regulated. The slow behavior of the error appearing in FIGS. 18B and 18A is mainly due to insufficient thrust of the lateral thruster 8 due to the resistance of the stabilizer plate 1a installed on the side surface of the underwater robot 10. It is believed that there is. Moreover, the stationary error with respect to each target value means a state in which the thrust given by the P control is balanced.
４．水中嵌合実験
本実施例での水中嵌合は図２０（ａ）に示すように次の４つの状態を経て行われる。（Ａ）対象物への接近と発見（Ａｐｐｒｏａｃｈ）、（Ｂ）対象物との相対的目標位置・姿勢を保つビジュアルサーボ（Ｖｉｓｕａｌ ｓｅｒｖｏｉｎｇ）、（Ｃ）被嵌合装置Ｄへの嵌合（Ｉｎｔｅｒｄｉｇｉｔａｔｉｎｇ）、（Ｄ）被嵌合装置Ｄとの嵌合完了（Ｃｏｍｐｌｅｔｉｏｎ ｏｆ ｉｎｔｅｒｄｉｇｉｔａｔｉｏｎ）。
4). Underwater fitting experiment Underwater fitting in this embodiment is performed through the following four states as shown in FIG. (A) Approach and discovery to an object (Approach), (B) Visual servoing that maintains a relative target position / posture with the object, (C) Fitting to a device to be fitted D (Interdigitating) ), (D) Completion of interference with the device D to be fitted (Completion of interchange).
Ａｐｐｒｏａｃｈは、水中ロボット１０が対象物を発見（認識）するまでの状態を意味しており、対象物が水中ロボット１０前方に存在すると仮定したうえで、水中ロボット１０を微速前進させている。すなわち，初期状態では水中ロボット１０は対象物との相対的位置・姿勢を認識していないが、前進していく中で対象物を発見し、Ｖｉｓｕａｌ ｓｅｒｖｏｉｎｇの状態に遷移する。 “Approach” means a state until the underwater robot 10 finds (recognizes) an object, and the underwater robot 10 is moved forward at a low speed on the assumption that the object exists in front of the underwater robot 10. That is, in the initial state, the underwater robot 10 does not recognize the relative position / posture with respect to the object, but finds the object while moving forward, and transitions to the Visual serving state.
次に、Ｖｉｓｕａｌ ｓｅｒｖｏｉｎｇは水中ロボット１０が対象物を認識している状態を意味している。前述の通り、あらかじめ定義した対象物との相対的目標位置・姿勢を保つような制御がなされる。ただし、この状態に遷移した以降は、対象物と水中ロボット１０の相対的位置の誤差がｘｄおよびｙｄそれぞれに関して±２０［ｍｍ］以内に１６５［ｍｓ］（制御ループ５回）以上連続して収まった場合に、水中ロボット１０はｚＨ軸方向に秒速３０［ｍｍ／ｓ］で前進する（相対的目標位置ｚｄを毎秒３０［ｍｍ］ずつ減少させる）。すなわち被嵌合装置Ｄへの嵌合を実行する状態（Ｉｎｔｅｒｄｉｇｉｔａｔｉｎｇ）に移る。ただし、外乱によって嵌合中に前述の誤差の範囲を超えた場合、嵌合を実行する前述の条件を再び満たすまで、水中ロボット１０はその時点における対象物との相対的位置・姿勢を保つようにビジュアルサーボを行う。 Next, Visual serving means a state in which the underwater robot 10 recognizes an object. As described above, control is performed so as to maintain a relative target position / posture with respect to a predefined object. However, since a transition is made to this state, ± 20 [mm] within 165 [ms] (control loop 5 times) with respect to an error of the relative position of an object in water robot 10 x d and y d each successive or higher when the settled Te, underwater robot 10 (reduced by the relative target position z d per second 30 [mm]) z in H axis direction advances in per second 30 [mm / s]. That is, the state shifts to a state (Interdigitating) in which the fitting to the fitted device D is executed. However, when the above-described error range is exceeded during fitting due to disturbance, the underwater robot 10 maintains the relative position / posture with the object at that time until the above-described condition for performing the fitting is satisfied again. Perform visual servoing.
Ｉｎｔｅｒｄｉｇｉｔａｔｉｎｇは、水中ロボット１０が対象物を認識しつつ被嵌合装置Ｄへの嵌合を果たすまでの状態を意味している。Ｖｉｓｕａｌ ｓｅｒｖｏｉｎｇの状態において、対象物と水中ロボット１０との相対的目標位置・姿勢からの誤差が前述の閾値以下に達すると、本状態に遷移する。相対的目標位置ｚｄを時変で与えつつビジュアルサーボを行うことで、最終的に嵌合を果たす位置・姿勢（ｘｄ＝０，ｙｄ＝−６７，ｚｄ＝３５０，ε２ｄ＝０）まで水中ロボット１０が移動する。 Interdigitating means a state until the underwater robot 10 performs fitting to the fitted device D while recognizing an object. When the error from the relative target position / posture between the object and the underwater robot 10 reaches the threshold or less in the Visual serving state, the state transits to this state. By performing the variable a given while visual servoing upon the relative target position z d, finally position and posture fulfilling fitting (x d = 0, y d = -67, z d = 350, ε 2d = 0 ) Until the underwater robot 10 moves.
Ｃｏｍｐｌｅｔｉｏｎ ｏｆ ｉｎｔｅｒｄｉｇｉｔａｔｉｏｎは、水中ロボット１０が被嵌合装置Ｄと嵌合を果たした状態を意味している。Ｖｉｓｕａｌ ｓｅｒｖｏｉｎｇの状態と同様に、嵌合状態における対象物との相対的目標位置・姿勢を保つような制御がなされる。 Completion of interchange means a state in which the underwater robot 10 is engaged with the fitted device D. Similar to the Visual serving state, control is performed to maintain the relative target position / posture with the object in the fitted state.
図２０（ｂ）〜（ｊ）は対象物が水中ロボット１０前方にある状態で嵌合実験を行った結果を示している。（ｂ）は適合度、（ｃ）（ｅ）（ｇ）（ｉ）は水中ロボット１０が認識している位置と姿勢、（ｄ）（ｆ）（ｈ）（ｊ）は各軸における推力とトルクを表している。また、図２１は相対的目標位置・姿勢からの誤差を表している。それぞれの図から、（Ａ）Ａｐｐｒｏａｃｈ、（Ｂ）Ｖｉｓｕａｌ ｓｅｒｖｏｉｎｇ、（Ｃ）Ｉｎｔｅｒｄｉｇｉｔａｔｉｎｇ、（Ｄ）Ｃｏｍｐｌｅｔｉｏｎ ｏｆ ｉｎｔｅｒｄｉｇｉｔａｔｉｏｎへと状態が遷移していることが分かる。すなわち、提案システムが水中ロボット１０に嵌合能力を与えていることが確認できる。 FIGS. 20B to 20J show the results of fitting experiments in a state where the object is in front of the underwater robot 10. (B) is the fitness, (c), (e), (g), and (i) are the positions and postures recognized by the underwater robot 10, and (d), (f), (h), and (j) are the thrust on each axis. It represents torque. FIG. 21 shows an error from the relative target position / posture. From each figure, it can be seen that the state transitions to (A) Approach, (B) Visual serving, (C) Interdigitating, and (D) Completion of interdigitation. That is, it can be confirmed that the proposed system provides the underwater robot 10 with a fitting capability.
［まとめ］
実施例２では複眼カメラ２によるビジュアルサーボを搭載した水中ロボット１０の水中自動給電を想定した水中嵌合実験を行い、下記結論を得た。（１）実施例１の結果に加えて、ｚ軸方向の時変目標値に対する追従性能を有することが分かった。（２）目標位置との誤差の閾値に基づきＶｉｓｕａｌ ｓｅｒｖｏｉｎｇとＩｎｔｅｒｄｉｇｉｔａｔｉｎｇを切り替えることで、水中嵌合を実現できることが分かった。（３）本実施例２における実験条件では、６０秒以内に水中嵌合を完了できることが分かった。したがって、実施例２によれば、水中マーカーＭに対して相対的位置姿勢を精度よく制御することができる。これにより、例えば、対象物に一例として海底に沈められた充電装置と水中ロボット１０の相対的位置姿勢制御が可能となり、長期的に水中で自律的に作業を行うロボットの自己充電の実現に向けた技術的課題の一つが解決された。
[Summary]
In Example 2, an underwater fitting experiment was performed on the assumption that underwater automatic power supply of the underwater robot 10 equipped with visual servo by the compound-eye camera 2 was performed, and the following conclusions were obtained. (1) In addition to the results of Example 1, it was found that the apparatus has a follow-up performance with respect to a time-varying target value in the z-axis direction. (2) It has been found that underwater fitting can be realized by switching between visual servoing and interdigitating based on the error threshold with respect to the target position. (3) It was found that the underwater fitting can be completed within 60 seconds under the experimental conditions in the present Example 2. Therefore, according to the second embodiment, the relative position and orientation with respect to the underwater marker M can be accurately controlled. As a result, for example, the relative position and orientation of the underwater robot 10 and the charging device submerged in the seabed as an example can be controlled, and the self-charging of the robot that autonomously works in the water for a long time can be realized. One technical problem was solved.
［モデルベーストマッチング法及びＧＡ法よる対象物の認識手法］
次に、実施例１及び実施例２で用いられる対象物の認識手法である、モデルベーストマッチング法とＧＡ（Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍ）法を組み合わせて対象物との相対位置・姿勢を認識する手法について図２２〜２５を用いて説明する。当該認識手法は、本願発明者がすでに開示している非特許文献１に基づくものであり、より詳細な原理や手法については、本願発明者が開示した非特許文献１に記載されている。モデルベーストマッチング法及びＧＡ法よる対象物の認識方法は、認識対象物の立体モデル形状（図２４参照）を制御手段２０であるＰＣ内（モデル記憶部２２）に定義しこの形状を複眼カメラ２の撮像面に射影することで、２次元情報から３次元情報の復元ではなく、３次元情報形状と位置／姿勢情報をもとに２次元に射影された画像と照合する方法である。以下、具体的に説明する。
[Object recognition method using model-based matching method and GA method]
Next, a method for recognizing a relative position / attitude with respect to an object by combining a model-based matching method and a GA (Genetic Algorithm) method, which is an object recognition method used in the first and second embodiments, is described with reference to FIG. -25 will be used for explanation. The recognition method is based on Non-Patent Document 1 already disclosed by the present inventor, and more detailed principles and methods are described in Non-Patent Document 1 disclosed by the present inventor. In the object recognition method using the model-based matching method and the GA method, the three-dimensional model shape (see FIG. 24) of the recognition object is defined in the PC (model storage unit 22) which is the control means 20, and this shape is defined as the compound eye camera 2. This is a method of collating with an image projected two-dimensionally based on the three-dimensional information shape and position / posture information rather than restoring the three-dimensional information from the two-dimensional information. This will be specifically described below.
図２２は、モデルベーストマッチング法を説明するための説明図である。モデルベーストマッチング法では、予め制御手段２０が有するモデル記憶部２２に対象物の知識（対象物の色、対象物の形状）を与えた立体モデル（以下、対象物モデルともいう）が記憶されている。制御手段２０は、先ず、複眼カメラ２（第１カメラ２ａ及び第２カメラ２ｂ）により対象物を撮像して制御手段２０の画像入力部２１に入力する入力画像を取得する。それから、制御手段２０は、対象物モデルが有する対象物の知識（対象物の色、対象物の形状）に対して、入力画像がモデルの面部分：Ｓｉｎ、モデルの帯部分：Ｓｏｕｔがどの程度適合しているか判定する。具体的には、制御手段２０の適合度演算部２３は、上記対象物モデルと対象物の入力画像との相関関数である適合度関数（図２２参照）を用いて判定する。この適合度関数では、対象物とＳｉｎ領域が重なり、Ｓｏｕｔが色相値の高い背景と一致しているときに高い値となり、この場合に、制御手段２０は適合度が高いと判定する。また、制御手段２０の画像入力部２１に入力される入力画像としては、図２３に示すように、第１カメラ２ａにより対象物が撮像された２次元の右側入力画像と、第２カメラ２ｂにより対象物が撮像された２次元の左側入力画像が取得され、それぞれにおいて適合度関数により適合度が判定される。このように、上記入力画像を用いて対象物を認識する問題は、適合度関数の最大値探索問題に変換される。また、当該適合度関数と複眼カメラ２により時系列で撮像される画像とを用いて全探索を行って適合度の最大値を発見することができるが、時間がかかり過ぎる。そこで、本実施形態では全探索を実行する代わりにＧＡ法を用いた探索を実行する。 FIG. 22 is an explanatory diagram for explaining the model-based matching method. In the model-based matching method, a three-dimensional model (hereinafter also referred to as an object model) in which knowledge of an object (color of the object, shape of the object) is given in advance to a model storage unit 22 included in the control unit 20 is stored. Yes. First, the control unit 20 captures an object with the compound-eye camera 2 (the first camera 2a and the second camera 2b) and acquires an input image to be input to the image input unit 21 of the control unit 20. Then, the control means 20 determines how much the input image is the model surface part: Sin and the model belt part: Sout with respect to the knowledge of the object (object color, object shape) possessed by the object model. Judge whether it conforms. Specifically, the fitness calculator 23 of the control means 20 performs determination using a fitness function (see FIG. 22) which is a correlation function between the object model and the input image of the object. In this fitness function, when the object and the Sin region overlap and Sout matches the background having a high hue value, the value becomes a high value. In this case, the control means 20 determines that the fitness is high. As shown in FIG. 23, the input image input to the image input unit 21 of the control unit 20 includes a two-dimensional right input image obtained by capturing an object with the first camera 2a and a second camera 2b. A two-dimensional left-side input image in which the object is imaged is acquired, and the fitness is determined by the fitness function in each. Thus, the problem of recognizing an object using the input image is converted into a maximum value search problem of the fitness function. Further, although it is possible to find the maximum value of fitness by performing a full search using the fitness function and an image captured in time series by the compound eye camera 2, it takes too much time. Therefore, in the present embodiment, instead of executing a full search, a search using the GA method is executed.
図２４は、ＧＡ法を説明するための説明図である。ＧＡ法では、先ず、実施例１、２で挙げるＧＡ探索エリア内に第１世代のＧＡ遺伝子（図２４のＡに示す適合度に基づく複数のフレーム状の立体モデル部分）をばらまく。続いて、適合度から選択された位置／姿勢情報が個々のＧＡにより生成される。そして、ＧＡ遺伝子の交叉、及び突然変異による進化（図２４では、第２世代から第ｉ世代まで進化）を行う（図２４のＢ）。当該進化が進むことで最終の世代へと至り、ＧＡ遺伝子が対象物と重なり（図２４のＣ）、対象物の実際の位置／姿勢を推定することが可能となる。 FIG. 24 is an explanatory diagram for explaining the GA method. In the GA method, first-generation GA genes (a plurality of frame-shaped three-dimensional model parts based on the fitness shown in FIG. 24A) are first dispersed in the GA search areas described in Examples 1 and 2. Subsequently, position / posture information selected from the fitness is generated by each GA. Then, evolution by crossover and mutation of the GA gene (in FIG. 24, evolution from the second generation to the i-th generation) is performed (B in FIG. 24). As the evolution proceeds, the final generation is reached, the GA gene overlaps with the object (C in FIG. 24), and the actual position / posture of the object can be estimated.
すなわち、制御手段２０が有する遺伝アルゴリズム実行部２４では、図２５に示すように、ＧＡ法が実行される、ＧＡ法では、先ず、初期化（Ｉｎｉｔｉａｌｉｚａｔｉｏｎ）が行われる（ステップＳ１０）。初期化では、初期個体（立体モデル）をＧＡ探索エリア内にばらまく。次のステップでは、評価（Ｅｖａｌｕａｔｉｏｎ）が行われる（ステップＳ２０）。評価では、ばらまかれた初期個体の適合度関数の計算が行われる。次のステップでは、並び替え（Ｓｏｒｔｉｎｇ）が行われる（ステップＳ３０）。並び替えでは、適合度に基づいて個体を並び替える。次のステップでは、出力（Ｏｕｔｐｕｔ）が行われる（ステップＳ４０）。出力では、最良の個体の位置／姿勢を出力する。次のステップでは、選択（Ｓｅｌｅｃｔｉｏｎ）が行われる（ステップＳ５０）。次のステップでは、交叉及び突然変異（Ｃｒｏｓｓｏｖｅｒ ａｎｄ Ｍｕｔａｔｉｏｎ）が行われる（ステップＳ６０）。次のステップでは、新しく画像が入力された時点から所定のビデオレート（本実施形態では、３３［ｍｓ］）が経過したかどうか判断する（ステップＳ７０）。所定のビデオレートが経過している場合（ステップＳ７０のＹＥＳ）、ステップ８０に移行し、所定のビデオレートが経過していない場合（ステップＳ７０のＮＯ）、ステップ２０に戻る。ステップ８０では、新しく対象物の画像入力が行われ、ステップ２０に戻る。このように、ＧＡ法は、新しく入力された画像に対し、所定のビデオレート（本実施形態では、３３［ｍｓ］）で次の画像が入力されるまでの間だけＧＡの進化を進め、その時点で最も高い適合度を与える個体（遺伝子情報）をその時刻における対象物の位置／姿勢として出力する方法（実時間遺伝的認識法）である。このように、ＧＡ法により所定のビデオレートで対象物の位置／姿勢が得られるため、周囲の状況変化に応じて対象物のオンライン認識が可能になる。 That is, the genetic algorithm execution unit 24 included in the control unit 20 executes the GA method as shown in FIG. 25. In the GA method, first, initialization is performed (step S10). In the initialization, the initial individual (stereoscopic model) is dispersed in the GA search area. In the next step, evaluation is performed (step S20). In the evaluation, the fitness function of the dispersed initial individual is calculated. In the next step, sorting is performed (step S30). In the rearrangement, the individuals are rearranged based on the fitness. In the next step, output is performed (Step S40). In the output, the best individual position / posture is output. In the next step, selection is performed (step S50). In the next step, crossover and mutation (Crossover and Mutation) is performed (step S60). In the next step, it is determined whether or not a predetermined video rate (33 [ms] in the present embodiment) has elapsed since a new image was input (step S70). If the predetermined video rate has elapsed (YES in step S70), the process proceeds to step 80. If the predetermined video rate has not elapsed (NO in step S70), the process returns to step 20. In step 80, a new object image is input and the process returns to step 20. As described above, the GA method advances the evolution of GA only until a next image is input at a predetermined video rate (33 [ms] in the present embodiment) with respect to a newly input image. This is a method (real-time genetic recognition method) that outputs an individual (gene information) giving the highest fitness at the time as the position / posture of the object at that time. As described above, since the position / posture of the object can be obtained at a predetermined video rate by the GA method, the object can be recognized online according to changes in surrounding conditions.
以上説明したように、水中航走体制御システム１００によれば、対象物形状の正確な認識とともに対象物に対する正確な位置／姿勢制御を自律的に行うことができる。 As described above, according to the underwater vehicle control system 100, it is possible to autonomously perform accurate position / posture control on the target object along with accurate recognition of the target object shape.
［自光マーカーを用いたアプローチ／嵌合システム］
次に、上述した水中航走体制御システム１００に基づいて水中で自己充電するシステムついて図を用いて説明する。上述した水中航走体制御システム１００では、制御手段２０を水中ロボット１０と離れた場所に配置して水中ロボット１０を遠隔操作型の水中ロボット（ＲＯＶ）として構成している。これに対して、自光マーカーを用いたアプローチ／嵌合システムでは、水中航走体制御システム１００の変形例として、ロボット本体１の内部に制御手段２０や電源等を搭載して、テザーケーブル９を必要としない自走型水中ロボット１０Ａとして構成している。また、このように自走型水中ロボット１０Ａを構成するとともに、該制御手段２０に水中ロボット１０Ａの自動航行や自律的水中作業を行うプログラムを搭載することで水中作業型の自律ロボット（ＡＵＶ）を構成することもできる。また、水中ロボット１０Ａは、ソナー（ＳＯＮＡＲ：Ｓｏｕｎｄ ｎａｖｉｇａｔｉｏｎ ａｎｄ ｒａｎｇｉｎｇ）を備える。水中ロボット１０Ａは、ソナーにより音波発信源（ソナー発信源）から発信された音波を受信するとともに音波発信源の位置を特定する。また、水中ロボット１０Ａは、特定された音波発信源に向かって自走する音波追跡手段を有している。
なお、以下で説明する自光マーカーを用いたアプローチ／嵌合システムについては、自走型水中ロボット１０Ａにより水中で実施する形態を挙げるが、特に限定するものではなく、地上等でも実施可能である。
[Approach / Mating system using self-lighting marker]
Next, a system for self-charging underwater based on the above-described underwater vehicle control system 100 will be described with reference to the drawings. In the above-described underwater vehicle control system 100, the underwater robot 10 is configured as a remotely operated underwater robot (ROV) by disposing the control means 20 at a location away from the underwater robot 10. On the other hand, in the approach / fitting system using the self-light marker, as a modified example of the underwater vehicle control system 100, a control means 20 and a power source are mounted inside the robot body 1, and the tether cable 9 Is configured as a self-propelled underwater robot 10A that does not require In addition, the self-propelled underwater robot 10A is configured as described above, and an underwater operation type autonomous robot (AUV) is installed in the control means 20 by installing a program for performing automatic navigation of the underwater robot 10A and autonomous underwater work. It can also be configured. The underwater robot 10 </ b> A includes a sonar (SONAR: Sound navigation and ranging). The underwater robot 10A receives the sound wave transmitted from the sound wave transmission source (sonar transmission source) by the sonar and specifies the position of the sound wave transmission source. The underwater robot 10 </ b> A has sound wave tracking means that self-runs toward the specified sound wave transmission source.
Note that the approach / fitting system using the self-light marker described below will be described as being implemented in water by the self-propelled underwater robot 10A, but is not particularly limited, and can be implemented on the ground or the like. .
例えば、上述した自走型水中ロボット１０Ａを用いて、例えば海底での移動や作業を想定した場合、作業効率上海底で自己充電することが好ましい。海底で自己充電する場合、自走型水中ロボット１０Ａが自己充電のための充電装置５０に対して所定距離（例えば、数キロ）離れた地点に存在し、該地点から充電装置５０まで自律的にアプローチし、かつ充電装置５０に嵌合（ドッキング）することで充電に至る自走型水中ロボット１０Ａの誘導及び嵌合（ドッキング）のシステムが必要となる。
なお、ここでは、自光マーカーを用いたアプローチ／嵌合を行うシステムを帰巣システムと呼ぶことにする。
また、本実施形態では、自走型水中ロボット１０Ａは充電装置５０に嵌合（ドッキング）することで充電可能に構成しているが、特に限定するものではない。自走型水中ロボット１０Ａが充電装置に当接もしくは近接することで電気的接続部材を使用せず誘導電流により充電するシステムであってもよい。
For example, when the above-described self-propelled underwater robot 10A is used, for example, when assuming movement or work on the sea floor, it is preferable to perform self-charging at the work efficiency in the Shanghai bottom. When self-charging on the seabed, the self-propelled underwater robot 10A exists at a point away from the charging device 50 for self-charging by a predetermined distance (for example, several kilometers), and autonomously from the point to the charging device 50. A system for guiding and fitting (docking) the self-propelled underwater robot 10 </ b> A that approaches and is charged (docked) with the charging device 50 is required.
Here, a system that performs approach / fitting using a self-light marker is referred to as a homing system.
In the present embodiment, the self-propelled underwater robot 10 </ b> A is configured to be rechargeable by being fitted (docked) to the charging device 50, but is not particularly limited. The self-propelled underwater robot 10 </ b> A may be a system that charges by an induced current without using an electrical connection member by contacting or approaching the charging device.
帰巣システムは、対象物の一例である充電装置５０の位置を示す、立体形状（３次元形状）の自光マーカーを有している。自光マーカーの外形形状は、図１５（ａ）で示す水中マーカーＭと同じである。具体的には、自光マーカーは、３色の色（例えば、赤、青、緑等）が配色された光を透過する球の中に発光するデバイスを有し、それぞれの球が正規直交座標の座標軸先端に位置するように構成されている。自光マーカーの形状は、回転対称、線対称、面対称のすべての対称軸を持たないため自光マーカーの位置／姿勢の認識時に不要な任意性を排除できるため有効なものとなる。自光マーカーは、発光（常時発光や点滅発光等）することができる。このような自光マーカーを用いることにより、自走型水中ロボット１０Ａにより認識される視認距離を延ばすことができる。よって、視覚制御を行うことができる自走型水中ロボット１０Ａと自光マーカー間の相対距離を延ばすことが可能となり自走型水中ロボット１０Ａの帰巣成功の可能性を高め、帰巣失敗率を下げることができる。 The homing system includes a self-light marker having a three-dimensional shape (three-dimensional shape) that indicates the position of the charging device 50 that is an example of the object. The external shape of the self-light marker is the same as the underwater marker M shown in FIG. Specifically, the self-light marker has a device that emits light in a sphere that transmits light in which three colors (for example, red, blue, and green) are arranged, and each sphere has an orthonormal coordinate. It is comprised so that it may be located in the coordinate-axis front-end | tip. The shape of the self-lighting marker is effective because it does not have all the symmetry axes of rotational symmetry, line symmetry, and plane symmetry, and thus can eliminate unnecessary optionality when recognizing the position / posture of the self-lighting marker. The self-light marker can emit light (e.g., constant light emission or flashing light emission). By using such a self-light marker, the viewing distance recognized by the self-propelled underwater robot 10A can be extended. Therefore, it is possible to extend the relative distance between the self-propelled underwater robot 10A capable of visual control and the self-lighting marker, thereby increasing the possibility of successful homing of the self-propelled underwater robot 10A and reducing the homing failure rate. Can do.
さらに、上記自光マーカーに音波発信源（ソナー発信源）を備える複合誘導マーカーＭ２を構成とすることもできる。このように構成された複合誘導マーカーＭ２は、図２６に示すように、音波を発信して遠方（例えば、５０ｋｍ程度）に位置する自律型水中ロボット１０Ａに充電装置５０が存在する方向を知らせる。自光マーカーと音波発信源を一体化して複合誘導マーカーＭ２を構成することで、音波発信源と自光マーカーの位置の差を略ゼロにすることができるため、ソナーにより帰巣する自走型水中ロボット１０Ａのアプローチ誘導制御の状態から視覚制御の状態への切り替えが容易になる。 Furthermore, the composite guidance marker M2 provided with a sound wave transmission source (sonar transmission source) in the self-lighting marker can be configured. As shown in FIG. 26, the composite guidance marker M2 configured in this way transmits sound waves to notify the autonomous underwater robot 10A located far away (for example, about 50 km) to the direction in which the charging device 50 exists. Since the self-light marker and the sound wave source are integrated to form the composite guide marker M2, the difference between the position of the sound wave source and the light source marker can be made substantially zero. Switching from the approach guidance control state of the robot 10A to the visual control state is facilitated.
上記複合誘導マーカーＭ２を用いた場合、（１）複合誘導マーカーＭ２から発信する音波を検出し、音源方向に自走型水中ロボット１０Ａを誘導し（アプローチモード）、（２）自走型水中ロボット１０Ａが複合誘導マーカーＭ２を認識した時点で視覚制御に移行し（視覚制御モード）、（３）複合誘導マーカーＭ２と自走型水中ロボット１０Ａとの位置姿勢誤差が許容範囲内に減衰した時点で嵌合動作に移る（嵌合モード）、という一連の帰巣システムを構築できる。
なお、当該帰巣システムにおける帰巣可能範囲は音波の到達範囲であり、音波発信のアンプ出力を上げることで帰巣可能距離を延ばすことが可能である。
When the composite guidance marker M2 is used, (1) a sound wave transmitted from the composite guidance marker M2 is detected, the self-propelled underwater robot 10A is guided in the direction of the sound source (approach mode), and (2) the self-propelled underwater robot. When 10A recognizes the composite guidance marker M2, it shifts to visual control (visual control mode). (3) When the position and orientation error between the composite guidance marker M2 and the self-propelled underwater robot 10A attenuates within an allowable range. A series of homing systems in which the operation moves to the mating operation (mating mode) can be constructed.
In addition, the homing possible range in the homing system is a sonic wave reachable range, and it is possible to extend the homing possible distance by increasing the amplifier output for sound wave transmission.
すなわち、帰巣システムは、アプローチモード、視覚制御モード、嵌合モードから構成される。アプローチモードでは、自走型水中ロボット１０Ａが複合誘導マーカーＭ２から発信される音波を受信し、音源の方向を特定し、音源に向かう経路に沿って誘導制御される。視覚制御モードでは、実施例１に記載された位置姿勢制御技術に基づいて相対位置姿勢制御を行って、相対位置姿勢誤差を略ゼロにする制御を行う。嵌合モードでは、相対的位置姿勢誤差を算出する目標位置姿勢を時間関数として減少させ、複合誘導マーカーＭ２に対する自走型水中ロボット１０Ａの奥行き方向の位置を次第に減少させることで、充電装置５０と自走型水中ロボット１０Ａの嵌合を行う。嵌合モードは、実施例２に記載された水中嵌合技術に基づいて実現可能である。 That is, the homing system includes an approach mode, a visual control mode, and a fitting mode. In the approach mode, the self-propelled underwater robot 10A receives the sound wave transmitted from the composite guidance marker M2, specifies the direction of the sound source, and is guided and controlled along the path toward the sound source. In the visual control mode, relative position / posture control is performed based on the position / posture control technique described in the first embodiment, and the relative position / posture error is controlled to be substantially zero. In the fitting mode, the target position / posture for calculating the relative position / posture error is decreased as a time function, and the position of the self-propelled underwater robot 10A in the depth direction with respect to the composite guidance marker M2 is gradually decreased. The self-propelled underwater robot 10A is fitted. The fitting mode can be realized based on the underwater fitting technique described in the second embodiment.
本発明の活用例として、水中放射能汚染物の回収、深海底資源調査・回収（サンプリング等）、（深海）水中未確認生物の発見・回収ならびに生態観察、地球構造観察（海底地殻変動等調査）、水産（栽培漁業・中間育成）、機雷撤去、人命救助（ＭＯＳ／ＡＵＶライフセーバー）等が挙げられる。 Examples of utilization of the present invention include recovery of radioactive contaminants in the water, survey and recovery of deep-sea resources (sampling, etc.), discovery and recovery of unidentified organisms in the deep sea, observation of ecology, and observation of earth structure (inspection of sea-bottom crustal deformation) , Fisheries (cultivated fisheries / intermediate breeding), mine removal, lifesaving (MOS / AUV lifesaver), and the like.
１ ロボット本体
２ 複眼カメラ
３ 水中動力系
１０ 水中ロボット（水中航走体）
２０ 制御手段
２１ 画像入力部
２２ モデル記憶部
２３ 適合度演算部
２４ 遺伝アルゴリズム実行部
１００ 水中航走体制御システム
Ｍ２ 複合誘導マーカー
DESCRIPTION OF SYMBOLS 1 Robot body 2 Compound eye camera 3 Underwater power system 10 Underwater robot (underwater vehicle)
DESCRIPTION OF SYMBOLS 20 Control means 21 Image input part 22 Model memory | storage part 23 Goodness-of-fit calculation part 24 Genetic algorithm execution part 100 Underwater vehicle control system M2 compound guidance marker
Claims (5)
前記水中航走体の前方に配置され、対象物を撮像する複眼カメラと、
前記推進手段及び前記複眼カメラを制御する制御手段と、備える水中航走体制御システムであって、
前記制御手段は、
前記複眼カメラにより撮像された画像が入力される画像入力部と、
前記対象物の特徴情報を含むモデルが記憶されるモデル記憶部と、
前記画像入力部に入力された入力画像について前記モデルとの適合度を求めるための所定の適合度関数を演算する適合度演算部と、
前記適合度演算部により求められる適合度に基づいて対象物の遺伝情報を生成する遺伝アルゴリズムを実行する遺伝アルゴリズム実行部と、有し、
前記遺伝アルゴリズム実行部は、
前記対象物に合致するように前記遺伝情報を所定時間において進化させて、前記対象物の位置及び姿勢を推定し、
前記制御手段は、
前記対象物の推定された位置及び姿勢と、前記対象物に対する前記水中航走体の相対的目標位置及び姿勢との誤差に基づくＰ制御によって計算された指令電圧値を前記推進手段に与えることで、前記水中航走体が前記相対的目標位置及び姿勢を保持するように前記推進手段の推力を発生させることを特徴とする水中航走体制御システム。 An underwater vehicle that moves underwater by means of propulsion,
A compound eye camera that is disposed in front of the underwater vehicle and images an object;
A control means for controlling the propulsion means and the compound eye camera, and an underwater vehicle control system comprising:
The control means includes
An image input unit for inputting an image captured by the compound eye camera;
A model storage unit in which a model including feature information of the object is stored;
A fitness calculator that calculates a predetermined fitness function for obtaining a fitness with the model for the input image input to the image input unit;
A genetic algorithm execution unit that executes a genetic algorithm that generates genetic information of an object based on the fitness obtained by the fitness calculation unit;
The genetic algorithm execution unit includes:
Evolving the genetic information in a predetermined time to match the object, estimating the position and orientation of the object ,
The control means includes
By giving the propulsion means a command voltage value calculated by P control based on an error between the estimated position and orientation of the object and the relative target position and orientation of the underwater vehicle relative to the object. An underwater vehicle control system that generates thrust of the propulsion means so that the underwater vehicle maintains the relative target position and posture .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014227592A JP5777188B1 (en) | 2014-11-07 | 2014-11-07 | Underwater vehicle control system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014227592A JP5777188B1 (en) | 2014-11-07 | 2014-11-07 | Underwater vehicle control system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP5777188B1 true JP5777188B1 (en) | 2015-09-09 |
| JP2016090488A JP2016090488A (en) | 2016-05-23 |
Family
ID=54192602
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014227592A Active JP5777188B1 (en) | 2014-11-07 | 2014-11-07 | Underwater vehicle control system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5777188B1 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105425610A (en) * | 2015-11-09 | 2016-03-23 | 哈尔滨工程大学 | Thrust control simulation system for work-type underwater robot hydraulic propeller |
| CN107908196A (en) * | 2017-11-14 | 2018-04-13 | 青岛乐爱创意科技有限公司 | A kind of method and system of the underwater submarine action control mechanism based on machine vision |
| CN109211240A (en) * | 2018-09-01 | 2019-01-15 | 哈尔滨工程大学 | A kind of monocular vision submarine navigation device navigator fix bearing calibration |
| CN113109762A (en) * | 2021-04-07 | 2021-07-13 | 哈尔滨工程大学 | Optical vision guiding method for AUV (autonomous Underwater vehicle) docking recovery |
| CN114489046A (en) * | 2021-12-27 | 2022-05-13 | 南方海洋科学与工程广东省实验室(湛江) | Navigation method, device and system of underwater inspection robot and storage medium |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102469386B1 (en) * | 2016-08-30 | 2022-11-21 | 닛산 가가쿠 가부시키가이샤 | Liquid crystal aligning agent, liquid crystal aligning film, and liquid crystal display element |
| JP2021006804A (en) * | 2019-06-27 | 2021-01-21 | 護 見浪 | Movement distance measurement system and underwater robot |
-
2014
- 2014-11-07 JP JP2014227592A patent/JP5777188B1/en active Active
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105425610A (en) * | 2015-11-09 | 2016-03-23 | 哈尔滨工程大学 | Thrust control simulation system for work-type underwater robot hydraulic propeller |
| CN105425610B (en) * | 2015-11-09 | 2018-07-24 | 哈尔滨工程大学 | A kind of thrust control analogue system of operation type underwater robot hydraulic pusher |
| CN107908196A (en) * | 2017-11-14 | 2018-04-13 | 青岛乐爱创意科技有限公司 | A kind of method and system of the underwater submarine action control mechanism based on machine vision |
| CN109211240A (en) * | 2018-09-01 | 2019-01-15 | 哈尔滨工程大学 | A kind of monocular vision submarine navigation device navigator fix bearing calibration |
| CN109211240B (en) * | 2018-09-01 | 2021-06-18 | 哈尔滨工程大学 | Monocular vision underwater vehicle navigation positioning correction method |
| CN113109762A (en) * | 2021-04-07 | 2021-07-13 | 哈尔滨工程大学 | Optical vision guiding method for AUV (autonomous Underwater vehicle) docking recovery |
| CN113109762B (en) * | 2021-04-07 | 2022-08-02 | 哈尔滨工程大学 | Optical vision guiding method for AUV (autonomous Underwater vehicle) docking recovery |
| CN114489046A (en) * | 2021-12-27 | 2022-05-13 | 南方海洋科学与工程广东省实验室(湛江) | Navigation method, device and system of underwater inspection robot and storage medium |
| CN114489046B (en) * | 2021-12-27 | 2024-04-19 | 南方海洋科学与工程广东省实验室(湛江) | Navigation method, device and system of underwater inspection robot and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016090488A (en) | 2016-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5777188B1 (en) | Underwater vehicle control system | |
| Brantner et al. | Controlling Ocean One: Human–robot collaboration for deep‐sea manipulation | |
| CN112634318B (en) | Teleoperation system and method for underwater maintenance robot | |
| Prats et al. | Multipurpose autonomous underwater intervention: A systems integration perspective | |
| JP6905737B2 (en) | Autonomous underwater robot and its control method | |
| JP4665857B2 (en) | Mobile body capable of guiding arm and method for guiding arm | |
| Myint et al. | Visual-servo-based autonomous docking system for underwater vehicle using dual-eyes camera 3D-pose tracking | |
| CN103439935B (en) | A kind of underwater robot control system based on state machine model | |
| KR102181649B1 (en) | Smart underwater drone system with third party point-of-view camera | |
| CN105197207A (en) | Searching and rescuing underwater robot apparatus with binocular vision | |
| Aldhaheri et al. | Underwater robot manipulation: Advances, challenges and prospective ventures | |
| Prats et al. | An approach for semi-autonomous recovery of unknown objects in underwater environments | |
| Lwin et al. | Visual docking against bubble noise with 3-D perception using dual-eye cameras | |
| Sinisterra et al. | A USV platform for surface autonomy | |
| Li et al. | Characteristic evaluation via multi-sensor information fusion strategy for spherical underwater robots | |
| Hsu et al. | Stereo-vision-based AUV navigation system for resetting the inertial navigation system error | |
| Dunbabin et al. | Experiments with cooperative control of underwater robots | |
| Silpa-Anan et al. | Preliminary experiments in visual servo control for autonomous underwater vehicle | |
| Goh et al. | Path planning for AUV area coverage mission based on MOOS-IvP | |
| Birk et al. | Cooperative Cognitive Control for Autonomous Underwater Vehicles (CO3AUVs): overview and progresses in the 3rd project year | |
| Yuan et al. | Visual steering of UAV in unknown environments | |
| Flögel et al. | A new deep-sea crawler system-MANSIO-VIATOR | |
| Nakamura et al. | Development of Dual-eyes Docking System for AUV with Lighting 3D Marker | |
| Kim et al. | Line Laser mounted Small Agent ROV based 3D Reconstruction Method for Precision Underwater Manipulation | |
| Peñalver et al. | Autonomous underwater grasping using multi-view laser reconstruction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150616 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150702 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5777188 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |