JP2016111414A - Flying body position detection system and flying body - Google Patents
Flying body position detection system and flying body Download PDFInfo
- Publication number
- JP2016111414A JP2016111414A JP2014244678A JP2014244678A JP2016111414A JP 2016111414 A JP2016111414 A JP 2016111414A JP 2014244678 A JP2014244678 A JP 2014244678A JP 2014244678 A JP2014244678 A JP 2014244678A JP 2016111414 A JP2016111414 A JP 2016111414A
- Authority
- JP
- Japan
- Prior art keywords
- flying object
- imaging
- detection system
- position detection
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 238000007689 inspection Methods 0.000 claims abstract description 27
- 238000003384 imaging method Methods 0.000 claims description 47
- 230000033001 locomotion Effects 0.000 claims description 28
- 238000005259 measurement Methods 0.000 claims description 26
- 238000010586 diagram Methods 0.000 description 7
- 238000000034 method Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 5
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003863 fast low-angle shot imaging Methods 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001141 propulsive effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Studio Devices (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
Description
本発明は、飛行体の位置検出システム及び飛行体に関し、特に構造物の検査に使用すると好適な飛行体の位置検出システム及び飛行体に関する。 The present invention relates to an aircraft position detection system and an aircraft, and more particularly to an aircraft position detection system and an aircraft suitable for use in inspection of a structure.
橋梁、ダム、モノレール支持体、高層ビル、ガスタンクなどの比較的大型である構造物の定期点検業務は、構造物の安全性を保つために重要である。橋梁を例にとると、現状では直接人間が目視で行う検査が主流となっているが、コンクリート製の橋梁のヒビ割れ検査においては、幅０．２ｍｍ程度のヒビを検出することが基準として定められており、これを遠方から目視観察して見分けることは困難である。そこで、被検査箇所に接近する事が困難な場所では、検査者が載ったまま昇降できるゴンドラを有する橋梁点検車等の利用や、仮設足場の設置が行われているが、橋梁点検車等の利用では車道の交通規制が必要になり、また足場の設置では費用の増大と検査に必要な時間の長期化を招くという課題がある。加えて、山間部や海上・河川上の橋梁においては、本来的に足場の設置が困難であることが多く、例え双眼鏡を用いて観察を行ったとしても、遮蔽物に遮られるなどして死角ができる可能性もある。 Periodic inspection work for relatively large structures such as bridges, dams, monorail supports, high-rise buildings, gas tanks, etc. is important for maintaining the safety of the structures. Taking a bridge as an example, at present, human inspection is the mainstream, but in the crack inspection of concrete bridges, the standard is to detect cracks with a width of about 0.2 mm. It is difficult to distinguish this by visual observation from a distance. Therefore, in places where it is difficult to approach the location to be inspected, the use of bridge inspection vehicles with gondola that can be moved up and down while the inspector is placed, and the installation of temporary scaffolding are carried out. The use of roads requires traffic regulation on the roadway, and the installation of scaffolds has the problem of increasing costs and prolonging the time required for inspection. In addition, in mountainous areas, bridges on the sea and rivers, it is often difficult to install scaffolds, and even if observation is performed using binoculars, blind spots are obstructed by obstructions. There is a possibility that
これに対し、検査装置を搭載した小型の無人飛行体による橋梁等の検査が提案されている。しかるに、オペレーターが無人飛行体を構造物に近接させて飛行させるためには高度な操縦技術が必要であり、その訓練に時間がかかる。そこで、特許文献１に示すように、ＧＰＳ（Global Positioning System）信号を利用することで、自己位置を把握して移動量を制御し、安定した飛行を行う無人飛行体の制御技術が開発されている。 In contrast, inspection of bridges and the like using a small unmanned air vehicle equipped with an inspection device has been proposed. However, in order for an operator to fly an unmanned air vehicle close to a structure, advanced maneuvering techniques are required, and training takes time. Therefore, as shown in Patent Document 1, by using a GPS (Global Positioning System) signal, a control technology for an unmanned air vehicle that develops a stable flight by grasping its own position and controlling a movement amount has been developed. Yes.
ここで、特許文献１に開示されている無人飛行体は、鉄塔に張架された送電線の点検に用いられるものであり、本来的に見通しの良い場所での飛行を目的としている。従って、人工衛星からのＧＰＳ信号を良好に受信できる環境にあるといえる。しかしながら、検査のため橋梁などの大型の構造物に接近する場合、構造物自体が遮蔽物となりＧＰＳ信号を受信できない恐れがあり、それにより現在位置を把握できなくなる可能性がある。また構造物近辺では、ＧＰＳ信号が構造物に反射して届くマルチパス現象により、現在位置の算出に誤差が発生する現象が起きやすいという問題もある。 Here, the unmanned aerial vehicle disclosed in Patent Document 1 is used for inspection of a transmission line stretched over a steel tower, and is originally intended for flight in a place with a good view. Therefore, it can be said that the GPS signal from the artificial satellite can be received satisfactorily. However, when approaching a large structure such as a bridge for inspection, the structure itself may become a shield and may not be able to receive GPS signals, which may make it impossible to grasp the current position. Further, in the vicinity of the structure, there is a problem that a phenomenon that an error occurs in calculation of the current position is likely to occur due to a multipath phenomenon in which the GPS signal is reflected and reaches the structure.
これに対し、ＧＰＳ信号を用いず自己位置を把握するために、搭載した加速度センサの変化量から移動量を算出する手法もあるが、これを無人飛行体に採用した場合、観察・検査時の低速移動と、風などの外乱による突発性移動が混在するため、算出誤差が蓄積し、現在位置を見誤る可能性がある。特に、観察・検査のために構造物の近距離まで接近している際に現在位置の算出に誤差が発生すると、無人飛行体が構造物或いは地面へ衝突する恐れがある。 On the other hand, there is a method of calculating the amount of movement from the amount of change of the installed acceleration sensor in order to grasp the self position without using the GPS signal, but when this is adopted for an unmanned air vehicle, Since low-speed movement and sudden movement due to disturbance such as wind are mixed, calculation errors accumulate, and the current position may be misidentified. In particular, if an error occurs in the calculation of the current position while approaching a short distance of the structure for observation / inspection, the unmanned air vehicle may collide with the structure or the ground.
本発明は、上記事情に鑑みなされたものであり、ＧＰＳ信号に頼らずに無人飛行体の位置を精度良く求めることができる飛行体の位置検出システム及びそれを用いた飛行体を提供することを目的とする。 The present invention has been made in view of the above circumstances, and provides a position detection system for an air vehicle capable of accurately obtaining the position of an unmanned air vehicle without depending on a GPS signal, and an air vehicle using the same. Objective.
本発明の飛行体の位置検出システムは、飛行体に搭載され、前記飛行体の位置を求める位置検出システムにおいて、
構造物との距離を測定する測距装置と、
時間をずらして前記構造物を撮像することによって得られた画像情報を利用して、前記飛行体の移動方向及び移動量を算出する移動ベクトル算出装置とを有し、
前記移動ベクトル算出装置により前記移動方向及び移動量の算出を繰り返し行うことで前記飛行体の位置を検出するものである。
The position detection system of the flying object of the present invention is mounted on the flying object, and the position detection system for obtaining the position of the flying object includes:
A distance measuring device for measuring the distance to the structure;
A moving vector calculating device that calculates the moving direction and moving amount of the flying object using image information obtained by imaging the structure at different times;
The position of the flying object is detected by repeatedly calculating the moving direction and the moving amount by the movement vector calculating device.
本発明によれば、ＧＰＳ信号に頼らずに無人飛行体の位置を精度良く求めることができる飛行体の位置検出システム及びそれを用いた飛行体を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the position detection system of the flying body which can obtain | require the position of an unmanned flying body with high precision, without relying on a GPS signal, and a flying body using the same can be provided.
飛行体に搭載する構造物の検査装置としては、外観のヒビ等を検査するための撮像カメラ、レーザ式形状測定器、内部欠陥を検出するための赤外線サーモグラフィや超音波測定機などがあげられるが、非接触の検査装置が好ましい。特に後述するように撮像カメラを用いて検査する場合、規定のヒビ割れ量を検出するためには撮像素子の画素数、レンズ焦点距離、F値、撮像距離により決められる解像度と被写界深度が重要となる。しかるに、遠距離からの撮像を行うにはレンズ焦点距離を長くする必要があるが、それによりレンズが大型化し飛行体の可搬重量を超えてしまう恐れがある。また飛行体の機体のわずかなブレや振動により、撮像画像において必要解像度を得る事が困難になる恐れもある。そこで、レンズ焦点距離を抑えるべく、数ｍオーダーでの近距離撮像を行うことが好ましいが、突風などの外乱により飛行体が構造物に接触して破損する恐れがあるため、ＧＰＳ信号に頼らない安定した自律飛行制御が望まれている。尚、橋梁裏面などの光量が不足する箇所に対しては、フラッシュ撮像を行う事が有効であるので、飛行体にフラッシュを装備するようにしても良い。フラッシュ撮像を行う事により、シャッタースピードを早くする事ができ、画像ブレの防止にもつながる。 Examples of inspection devices for structures mounted on aircraft include imaging cameras for inspecting external cracks, laser-type shape measuring instruments, infrared thermography and ultrasonic measuring instruments for detecting internal defects, etc. A non-contact inspection apparatus is preferable. In particular, when inspecting using an imaging camera as described later, in order to detect a specified amount of cracking, the resolution and depth of field determined by the number of pixels of the image sensor, lens focal length, F value, imaging distance It becomes important. However, in order to perform imaging from a long distance, it is necessary to increase the lens focal length, but this may increase the size of the lens and exceed the payload of the flying object. Moreover, there is a risk that it may be difficult to obtain the necessary resolution in the captured image due to slight blurring or vibration of the aircraft body. Therefore, in order to suppress the lens focal length, it is preferable to perform short-distance imaging on the order of several meters. However, since the flying object may be damaged by contact with a structure due to a disturbance such as a gust of wind, it does not rely on GPS signals. Stable autonomous flight control is desired. In addition, since it is effective to perform flash imaging at a location where the amount of light is insufficient, such as the backside of a bridge, the flying object may be equipped with a flash. By taking a flash image, the shutter speed can be increased and image blurring can be prevented.
又、測距装置としては、ステレオカメラ、レーザレーダ、TOF(Time Of Flight)方式距離画像カメラ、ミリ波レーダ、超音波センサ、三角測量センサ、パターン投影を行い投影光を撮像して測距する装置などが挙げられる。ただし、飛行体と構造物の最短距離を検出し衝突防止を図るため、および、撮像カメラを用いた構造物の検査において、構造物に対し撮像カメラの光軸を垂直にするために、最低３点以上で測距を行い、検査面を把握できる構成にすることが望ましい。撮像方向検出センサとしては、３軸地磁気センサや、方位センサと傾斜センサの組み合わせなどが挙げられる。
In addition, as a distance measuring device, stereo camera, laser radar, TOF (Time Of Flight) distance image camera, millimeter wave radar, ultrasonic sensor, triangulation sensor, pattern projection and image projection light to measure distance Examples thereof include devices. However, in order to detect the shortest distance between the flying object and the structure to prevent collision, and in the inspection of the structure using the imaging camera, at least 3 in order to make the optical axis of the imaging camera perpendicular to the structure. It is desirable to have a configuration that can measure the distance from a point or more and grasp the inspection surface. Examples of the imaging direction detection sensor include a triaxial geomagnetic sensor and a combination of an orientation sensor and an inclination sensor.
以下、添付した図面を参照しながら、本発明の実施形態を説明する。図１は、第１の実施の形態にかかる位置検出システムを搭載した無人飛行体１００の斜視図である。図１に示す無人飛行体１００において、脚部１０２により支持された本体１０１は、周方向に等間隔に４本のアーム１０３Ａ〜１０３Ｄを水平に植設している。アーム１０３Ａ〜１０３Ｄの先端には、推進力発生装置であるモータ１０４Ａ〜１０４Ｄが取り付けられており、各モータ１０４Ａ〜１０４Ｄの垂直方向を向いた回転軸には、プロペラ１０５Ａ〜１０５Ｄが回転可能に取り付けられている。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. FIG. 1 is a perspective view of an unmanned air vehicle 100 equipped with the position detection system according to the first embodiment. In the unmanned air vehicle 100 shown in FIG. 1, the main body 101 supported by the legs 102 has four arms 103 </ b> A to 103 </ b> D implanted horizontally at equal intervals in the circumferential direction. Motors 104A to 104D, which are propulsive force generators, are attached to the tips of the arms 103A to 103D, and propellers 105A to 105D are rotatably attached to the rotation shafts facing the vertical direction of the motors 104A to 104D. It has been.
本体１０１の上部には、測定装置群ＭＧが搭載されている。測定装置群ＭＧは、支持部材１０６により測定軸線を変更可能に本体１０１に取り付けられている。尚、図１（ａ）は、測定装置群ＭＧの測定軸線を水平とし、図１（ｂ）は、測定装置群ＭＧの測定軸線を垂直とした状態を示している。測定装置群ＭＧについては後述する。支持部材は電動モータを用いて飛行中も測定軸線を制御できるようにしても構わないし、手動で飛行毎に測定軸線を変更する構成にしても構わない。 A measuring device group MG is mounted on the upper portion of the main body 101. The measuring device group MG is attached to the main body 101 so that the measuring axis can be changed by the support member 106. 1A shows a state in which the measurement axis of the measurement device group MG is horizontal, and FIG. 1B shows a state in which the measurement axis of the measurement device group MG is vertical. The measuring device group MG will be described later. The support member may be configured such that the measurement axis can be controlled even during flight using an electric motor, or the measurement axis may be manually changed for each flight.
図２は、第１の実施の形態にかかる無人飛行体１００のブロック図である。図２において、無人飛行体１００は、それぞれ本体１０１内に収納されて固定されており、ＧＰＳ信号を受信するＧＰＳ受信機２０１と、例えば検査装置としての２０００万画素以上の高画素カメラ２０２と、この高画素カメラ２０２と光軸を平行に配置した３０万〜１００万画素程度の低画素カメラ（２次元画像撮像装置）２０３と、検査対象とする構造物までの距離を測定する測距センサ（測距装置）２０４と、低画素カメラ２０３の光軸方向（測定軸線とする）を検出できる撮像方向検出センサ２０５と、これらの制御及びモータ１０４Ａ〜１０４Ｄの制御を司る制御装置２０８とを有する。ここでは高画素カメラ２０２，低画素カメラ２０３，測距センサ２０４と、撮像方向検出センサ２０５が測定装置群ＭＧを構成する。又、低画素カメラ２０３と、測距センサ２０４と、撮像方向検出センサ２０５と、制御装置２０８が、移動ベクトル算出装置を構成する。 FIG. 2 is a block diagram of the unmanned air vehicle 100 according to the first embodiment. In FIG. 2, the unmanned air vehicle 100 is housed and fixed in a main body 101, a GPS receiver 201 that receives GPS signals, a high-pixel camera 202 with 20 million pixels or more as an inspection device, for example, This high pixel camera 202 and a low pixel camera (two-dimensional image pickup device) 203 having about 300,000 to 1,000,000 pixels arranged in parallel with the optical axis, and a distance measuring sensor (a distance measuring sensor for measuring the distance to the structure to be inspected) A distance measuring device) 204, an imaging direction detection sensor 205 capable of detecting the optical axis direction (measurement axis) of the low pixel camera 203, and a control device 208 that controls these and motors 104A to 104D. Here, the high pixel camera 202, the low pixel camera 203, the distance measuring sensor 204, and the imaging direction detection sensor 205 constitute a measuring device group MG. Further, the low pixel camera 203, the distance measuring sensor 204, the imaging direction detection sensor 205, and the control device 208 constitute a movement vector calculation device.
次に、本実施の形態の無人飛行体１００を用いて、構造物ＯＢＪを検査する動作を説明する。尚、無人飛行体１００の制御装置２０８には、予め無人飛行体１００の飛行ルートがプログラミングされており、これに従い制御装置２０８はモータ１０４Ａ〜１０４Ｄを独立して制御して、例えば図３（ａ）に示すように構造物ＯＢＪの側面に測定軸線を向けつつ水平方向に一定速度で飛行したり、図３（ｂ）に示すように垂直方向に一定速度で飛行したり、或いは図３（ｃ）に示すように構造物ＯＢＪの下面に測定軸線を向けつつ水平方向に一定速度で飛行したりできるようになっているものとする。但し、飛行ルートは以上を組み合わせた複合的なものでも良い。以下、一例として図３（ａ）に示すように、構造物ＯＢＪの側面に測定軸線を向けつつ水平方向に一定速度で飛行ルートを考える。ここで、便宜的に測定軸線の方向をＸ方向とし、地面に垂直方向をＺ方向としたとき、無人飛行体１００はＸ方向及びＺ方向に垂直なＹ方向へと飛行するようプログラミングされているものとする。 Next, the operation | movement which test | inspects the structure OBJ using the unmanned air vehicle 100 of this Embodiment is demonstrated. In addition, the flight route of the unmanned air vehicle 100 is programmed in advance in the control device 208 of the unmanned air vehicle 100, and the control device 208 controls the motors 104A to 104D independently according to this, for example, FIG. ) Flying at a constant speed in the horizontal direction with the measurement axis directed toward the side surface of the structure OBJ, or flying at a constant speed in the vertical direction as shown in FIG. It is assumed that the aircraft can fly at a constant speed in the horizontal direction while directing the measurement axis toward the lower surface of the structure OBJ. However, the flight route may be a combination of the above. Hereinafter, as an example, as shown in FIG. 3A, a flight route is considered at a constant speed in the horizontal direction while directing the measurement axis toward the side surface of the structure OBJ. Here, for convenience, the unmanned air vehicle 100 is programmed to fly in the X direction and the Y direction perpendicular to the Z direction when the direction of the measurement axis is the X direction and the direction perpendicular to the ground is the Z direction. Shall.
図４において、構造物ＯＢＪの周囲における点線で示す範囲ＡＲ内は、ＧＰＳ信号を受信不可であるものとし、範囲ＡＲ外の点Ｏから範囲ＡＲ内の点Ａを経由し、点Ｅへと無人飛行体１００を移動させることとする。まず、無人飛行体１００を、範囲ＡＲ外であり、測距センサ２０４が構造物ＯＢＪまでの距離を測定可能な点Ｏまでマニュアル操作もしくはＧＰＳ制御により移動させ、更に測定軸線を構造物ＯＢＪに向ける。続いて、点Ｏから測距センサ２０４の測距値に基づいて、構造物ＯＢＪより所定距離（例えば５ｍ）だけ離れた点Ａ（範囲ＡＲ内の本体１０１の中心の３次元座標（Ｘ１，Ｙ１，Ｚ１））へと、自律飛行させる。これ以降、測距センサ２０４は構造物ＯＢＪより所定距離を保って飛行する事により、衝突を避けることができる。点Ａをゼロとして初期位置に設定し、相対移動する事も可能であるが、ＧＰＳ信号で現在位置を把握できている点Ｏを初期位置として規定し、後述する移動ベクトル算出装置により求めた移動ベクトルを変換する事で、点ＡをＧＰＳ信号と同じ測地系で規定でき、以降も自己位置を測地系で管理する事も可能となる。 In FIG. 4, the GPS signal cannot be received within the range AR indicated by the dotted line around the structure OBJ, and the point O outside the range AR passes through the point A within the range AR, and then goes unattended. It is assumed that the flying object 100 is moved. First, the unmanned air vehicle 100 is moved to a point O where the distance sensor 204 is outside the range AR and the distance measurement sensor 204 can measure the distance to the structure OBJ by manual operation or GPS control, and the measurement axis is directed to the structure OBJ. . Subsequently, based on the distance value of the distance sensor 204 from the point O, the point A (the three-dimensional coordinates (X1, Y1 of the center of the main body 101 in the range AR) separated from the structure OBJ by a predetermined distance (for example, 5 m). , Z1)). Thereafter, the distance measuring sensor 204 can avoid a collision by flying at a predetermined distance from the structure OBJ. It is possible to set point A as zero and set the initial position as a relative position, but it is possible to move relative to it. By converting the vector, the point A can be defined by the same geodetic system as the GPS signal, and the self-position can be managed by the geodetic system thereafter.
次に、制御装置２０８の制御に従い、既知の点Ａにて時刻Ｔ１に、高画素カメラ２０２で構造物ＯＢＪを１回撮像する。撮像した画像データは高画素カメラ２０２内のメモリに保存しても構わないし、制御装置２０８へ送信しても構わない。同時に、低画素カメラ２０３が、高画素カメラ２０２で撮像した構造物ＯＢＪを撮像し、低画素画像データを制御装置２０８へと送信する。又、この時点（時刻Ｔ１）で、撮像方向検出センサ２０５が測定軸線の方向を検出して制御装置２０８へと撮像方向データを送信する。 Next, under the control of the control device 208, the structure OBJ is imaged once by the high pixel camera 202 at a known point A at time T1. The captured image data may be stored in a memory in the high pixel camera 202 or may be transmitted to the control device 208. At the same time, the low pixel camera 203 images the structure OBJ imaged by the high pixel camera 202 and transmits low pixel image data to the control device 208. At this time (time T 1), the imaging direction detection sensor 205 detects the direction of the measurement axis and transmits imaging direction data to the control device 208.
更に、測距センサ２０４が、低画素カメラ２０３の撮影画角内の構造物ＯＢＪについて測距を行って、制御装置２０８に測距データを送信する。これにより、制御装置２０８は、撮像した構造物ＯＢＪの２次元画像データＤＡ２と、２次元画像データＤＡ２の撮像方向データと、構造物ＯＢＪまでの測距データとを持つこととなるので、これを記憶する。 Further, the distance measurement sensor 204 measures the distance of the structure OBJ within the shooting angle of view of the low pixel camera 203 and transmits distance measurement data to the control device 208. As a result, the control device 208 has the captured two-dimensional image data DA2 of the structure OBJ, the imaging direction data of the two-dimensional image data DA2, and the distance measurement data up to the structure OBJ. Remember.
次いで、無人飛行体１００が、プログラミングに従い点Ｂ（本体１０１の中心の３次元座標（Ｘ２，Ｙ２，Ｚ２））へと移動したとする。このとき時刻Ｔ１より後の時刻Ｔ２で、低画素カメラ２０３が構造物ＯＢＪを撮像し、低画素画像データを制御装置２０８へと送信すると共に、撮像方向検出センサ２０５が測定軸線の方向を検出し、測距センサ２０４が構造物ＯＢＪについて測距を行って、制御装置２０８に撮像方向データと測距データを送信する。これにより、制御装置２０８は、撮像した構造物ＯＢＪの２次元画像データＤＢ２と、２次元画像データＤＢ２の撮像方向データと、構造物ＯＢＪまでの測距データとを持つ。 Next, it is assumed that the unmanned air vehicle 100 moves to a point B (three-dimensional coordinates (X2, Y2, Z2 of the center of the main body 101)) according to programming. At this time, at time T2 after time T1, the low pixel camera 203 images the structure OBJ, transmits low pixel image data to the control device 208, and the imaging direction detection sensor 205 detects the direction of the measurement axis. The distance measuring sensor 204 measures the distance of the structure OBJ and transmits the imaging direction data and the distance measurement data to the control device 208. Thereby, the control device 208 has the captured two-dimensional image data DB2 of the structure OBJ, the imaging direction data of the two-dimensional image data DB2, and the distance measurement data up to the structure OBJ.
ここで、点Ａから点Ｂへの移動ベクトルを求めるために、本実施の形態では構造物ＯＢＪの２次元画像データＤＡ２，ＤＢ２と、測距データとを用いる。仮に点Ａから点Ｂへの移動において無人飛行体１００が完全に平行移動したとすれば、２次元画像データＤＡ２，ＤＢ２それぞれの測距データに基づく画像倍率の補正と、共通した特徴点の画素移動量から、移動体の移動量を容易に求めることができる。しかしながら、無人飛行体１００は飛行しているので、時刻Ｔ２時点での低画素カメラ２０３の光軸と、時刻Ｔ１時点での低画素カメラ２０３の光軸に対して、ピッチング、ヨーイング、ローリングの少なくとも１つが生じている可能性が高く、従って特徴点の位置が変わってしまう恐れがある。そこで、本実施の形態では、制御装置２０８が、点Ａと点Ｂとにおける撮像方向データの差に基づいて、２次元画像データＤＢ２を補正するようにしている。かかる補正により、点Ａでの撮像時における撮像軸線と平行で且つ画像が回転していない状態（つまり無人飛行体が平行移動した状態）で、点Ｂで撮像を行うことにより得られる２次元画像データとほぼ同じものが得られるので、これを補正された２次元画像データＤＢ２として、更に２次元画像データＤＡ２との間における共通の特徴点の画素移動量を検出することで、点Ａの座標に対する点Ｂの座標への移動ベクトルを求めることができる。点Ａの座標は既知であるので、点Ｂの座標を割り出せる。通過する２点毎に以上を繰り返すことを、自己位置情報の更新という。これにより移動最終目標となる点Ｅまで無人飛行体１００を自律飛行させることができる。尚、２次元画像データＤＡ２，ＤＢ２のマッチングを行う場合、テンプレートマッチングや交配法を用いることができる（特開平2-117276参照） Here, in order to obtain the movement vector from the point A to the point B, the two-dimensional image data DA2 and DB2 of the structure OBJ and the distance measurement data are used in the present embodiment. If the unmanned aerial vehicle 100 moves completely in translation from the point A to the point B, the correction of the image magnification based on the distance measurement data of the two-dimensional image data DA2 and DB2, and the pixel of the common feature point From the amount of movement, the amount of movement of the moving body can be easily obtained. However, since the unmanned air vehicle 100 is flying, at least pitching, yawing, and rolling are performed with respect to the optical axis of the low pixel camera 203 at time T2 and the optical axis of the low pixel camera 203 at time T1. There is a high possibility that one has occurred, and therefore the position of the feature point may change. Therefore, in the present embodiment, the control device 208 corrects the two-dimensional image data DB2 based on the difference between the imaging direction data at the points A and B. With this correction, a two-dimensional image obtained by imaging at point B in a state where the image is parallel to the imaging axis at the time of imaging at point A and the image is not rotated (that is, a state where the unmanned flying object is translated). Since almost the same data is obtained, the coordinate of the point A is detected by detecting the pixel movement amount of the common feature point between the corrected two-dimensional image data DB2 and the two-dimensional image data DA2. The movement vector to the coordinates of the point B with respect to can be obtained. Since the coordinates of the point A are known, the coordinates of the point B can be determined. Repeating the above for every two passing points is referred to as updating self-location information. Thereby, the unmanned aerial vehicle 100 can be made to fly autonomously up to the point E which is the final movement target. When matching the two-dimensional image data DA2 and DB2, template matching or a mating method can be used (see Japanese Patent Laid-Open No. 2-117276).
以上述べたように、仮想的に同一方向に向けて撮影した構造物ＯＢＪの２枚の画像の特徴点の画像内移動量を算出し、低画素カメラ２０３の画角と測距センサ２０４からの距離情報を用いて、実空間での無人飛行体１００の移動ベクトル（既知の点Ａの３次元座標と、求めた点Ｂの３次元座標から導き出せる）を算出する事が可能となるから、所定の飛行ルートから逸れないように無人飛行体１００を自律飛行させることができる。 As described above, the in-image movement amount of the feature point of the two images of the structure OBJ photographed virtually in the same direction is calculated, and the angle of view of the low pixel camera 203 and the distance sensor 204 are calculated. The distance information can be used to calculate the movement vector of the unmanned air vehicle 100 in real space (which can be derived from the known three-dimensional coordinates of the point A and the three-dimensional coordinates of the obtained point B). The unmanned air vehicle 100 can be made to fly autonomously so as not to deviate from the flight route.
低画素カメラ２０３は無人飛行体１００の移動中にも、所定のタイミングで静止画を撮像するか、或いは所定のフレームレートで動画撮像することで、随時飛行体の現在位置を更新する事ができ、飛行ルートの修正を行える。一方、無人飛行体１００の飛行中に撮像した高画素画像の合成を目的としている場合は、高画素カメラ２０２のレンズの画角と構造物ＯＢＪまでの距離から決定される視野と、画像合成に必要なオーバーラップ領域量から撮像画像取得間隔を求めることができる。従って、飛行方向（Ｙ方向）が予め決まっていれば、高画素カメラ２０２による次に撮像すべき位置が決定される。そこで、次の撮像位置（すなわち無人飛行体１００の位置が目標位置（図４の点Ｃ）の位置誤差許容範囲（点Ｃの周囲の点線で示す円）内に入ったとき）に到達したときに、高画素カメラ２０２で構造物ＯＢＪを撮像して、制御装置２０８は、高画素画像データを、撮影位置の座標に対応づけて記憶する。もしくは、高画素画像データは高画素カメラ２０２内のメモリに保存し、撮影時刻と撮影位置データを制御装置２０８に記録する事で後ほど高画素画像と撮影位置データを結びつけることができる。これにより１回目の撮像による高画素画像と、２回目の撮像による高画素画像とは一部が重なるので画像合成を行うことができ、撮像した画像において構造物ＯＢＪの抜けがなくなり検査洩れを抑制できる。尚、次の撮像位置とは、厳密に位置が一致する必要はなく、構造物ＯＢＪに対し垂直方向に関しては視野範囲や画像ボケなど、水平方向に関しては画像合成時のマッチング領域量等から、ある程度許容される範囲を設定することが好ましい。 The low pixel camera 203 can update the current position of the flying object at any time while moving the unmanned air vehicle 100 by capturing a still image at a predetermined timing or capturing a moving image at a predetermined frame rate. The flight route can be corrected. On the other hand, when the purpose is to synthesize a high-pixel image captured during the flight of the unmanned air vehicle 100, the field of view determined from the angle of view of the lens of the high-pixel camera 202 and the distance to the structure OBJ, and image synthesis The captured image acquisition interval can be obtained from the necessary overlap area amount. Therefore, if the flight direction (Y direction) is determined in advance, the position to be imaged next by the high pixel camera 202 is determined. Therefore, when the next imaging position (that is, when the position of the unmanned air vehicle 100 is within the position error allowable range (circle indicated by a dotted line around the point C) of the target position (point C in FIG. 4)) is reached. In addition, the structure OBJ is imaged by the high pixel camera 202, and the control device 208 stores the high pixel image data in association with the coordinates of the shooting position. Alternatively, the high pixel image data is stored in a memory in the high pixel camera 202, and the shooting time and shooting position data are recorded in the control device 208, so that the high pixel image and shooting position data can be linked later. As a result, the high pixel image obtained by the first imaging and the high pixel image obtained by the second imaging partially overlap each other, so that image synthesis can be performed, and there is no omission of the structure OBJ in the captured image, thereby suppressing inspection leakage. it can. Note that the next imaging position does not need to be exactly the same position, and to some extent due to the amount of matching area at the time of image composition in the horizontal direction, etc. It is preferable to set an allowable range.
本実施の形態によれば、制御装置２０８の制御により、ＧＰＳ信号に頼ることなく構造物ＯＢＪとの距離を一定に保つように無人飛行体１００を飛行制御することができ、これにより構造物ＯＢＪとの衝突等を回避する事ができる。また、画像検査を行う場合においては、撮像における視野や解像度はほぼ一定であることが望ましいとされているところ、構造物ＯＢＪに対して一定距離からの撮像によりこれを実現できる。また、高画素カメラ２０２の既知の画角と測距センサ２０４により得られた撮像対象物としての構造物ＯＢＪまでの距離により、撮像した画像内の構造物の実寸法を換算することができ、ヒビなどの実寸法が必要な検査にも使用することができる。 According to the present embodiment, the control of the control device 208 can control the flight of the unmanned air vehicle 100 so as to keep the distance from the structure OBJ constant without relying on the GPS signal, and thereby the structure OBJ. You can avoid collisions. Further, in the case of performing an image inspection, it is desirable that the field of view and resolution in imaging are substantially constant, but this can be realized by imaging from a certain distance with respect to the structure OBJ. Further, the actual size of the structure in the captured image can be converted based on the known angle of view of the high pixel camera 202 and the distance to the structure OBJ as the imaging target obtained by the distance measuring sensor 204. It can also be used for inspections that require actual dimensions such as cracks.
又、無人飛行体１００のホバリング時には、構造物ＯＢＪの撮像した画像内にある特徴点位置が変化しないように飛行制御し、移動時は特徴位置の画面内移動量から無人飛行体１００自身の移動量を把握する事ができる。尚、プログラミングにより、例えば構造物ＯＢＪに漸次接近したり、離間するなどの飛行ルートを設定することは任意である。 Further, when the unmanned air vehicle 100 is hovered, flight control is performed so that the feature point position in the image captured by the structure OBJ does not change, and when the unmanned air vehicle 100 moves, the unmanned air vehicle 100 itself moves from the amount of movement of the feature position in the screen. The amount can be grasped. Note that it is arbitrary to set a flight route such as gradually approaching or leaving the structure OBJ by programming, for example.
図５は、本実施の形態の無人飛行体の制御内容を示すフローチャートである。以上の内容を、図５のフローチャートを参照して説明する。まず、ステップＳ１０１で、オペレーターが、無人飛行体１００を初期位置の点Ｏ（図４に示す範囲ＡＲ外）にセットする。次いで、ステップＳ１０２で、無人飛行体１００を、点Ｏから点Ａ（図４に示す範囲ＡＲ内であって、測距センサ２０４の測距範囲内）へと自律飛行させる。次に、ステップＳ１０３で、無人飛行体１００を所定ルート（構造物ＯＢＪに沿って点Ａから点Ｅに向かうルート）で飛行させる。ステップＳ１０４では、低画素カメラ２０３と測距センサ２０４と撮像方向検出２０５を介して、制御装置２０８がそれぞれ情報を取得して２次元画像データ及び撮像方向データ及び測距データを作成する。 FIG. 5 is a flowchart showing the control content of the unmanned air vehicle of the present embodiment. The above content is demonstrated with reference to the flowchart of FIG. First, in step S101, the operator sets the unmanned air vehicle 100 at the initial position point O (outside the range AR shown in FIG. 4). Next, in step S102, the unmanned air vehicle 100 is caused to autonomously fly from the point O to the point A (within the range AR shown in FIG. 4 and within the range of the range sensor 204). Next, in step S103, the unmanned air vehicle 100 is caused to fly along a predetermined route (a route from point A to point E along the structure OBJ). In step S104, the control device 208 acquires information via the low pixel camera 203, the distance measurement sensor 204, and the imaging direction detection 205, and creates two-dimensional image data, imaging direction data, and distance measurement data.
ステップＳ１０５では、移動ベクトル算出手段により移動ベクトルを算出し、自己位置情報を更新する。ステップＳ１０６で、制御装置２０８が、更新した自己位置について、高画素カメラ２０２による撮像を行う目標位置（図４に示す点Ｃ）の位置誤差許容範囲内に入ったか否かを判断し、位置誤差許容範囲でないと判断すれば、フローをステップＳ１０４へと戻して同様に飛行を続け自己位置情報を更新する。一方、位置誤差許容範囲内に入ったと判断したときは、制御装置２０８は、ステップＳ１０７で高画素カメラ２０２に撮像を行わせて、得られた高画素画像データと撮像した自己位置を記憶する。 In step S105, the movement vector calculation means calculates a movement vector and updates the self-position information. In step S106, the control device 208 determines whether or not the updated self-position is within the position error allowable range of the target position (point C shown in FIG. 4) where the high pixel camera 202 performs imaging. If it is determined that it is not within the allowable range, the flow is returned to step S104, and the flight is continued in the same manner to update the self-position information. On the other hand, when it is determined that the position error is within the allowable range, the control device 208 causes the high pixel camera 202 to perform imaging in step S107, and stores the obtained high pixel image data and the captured self position.
ステップＳ１０８で、制御装置２０８が、予めプログラミングされた飛行ルートに沿って飛行し終えたか否かを判断し、飛行し終えていなければ、フローをステップＳ１０４に戻して同様な自律制御動作を行う一方、飛行し終えていれば、自律制御動作を終了する。この時点で、制御装置２０８は、初期位置まで無人飛行体１００を戻しても良いし、構造物ＯＢＪから十分離間させても良いし、飛行制御をマニュアルやＧＰＳ信号によるものとしても良い。以上、一方向に関する飛行に関する制御を説明したが、移動方向と移動距離の組み合わせからなる飛行ルートを予め設定する事により、自律飛行による構造物の多面的な検査が可能となる。飛行ルートは構造物の設計図や３Ｄデータを基に作成する事により、検査洩れがないようにすることが可能となる。 In step S108, the control device 208 determines whether or not the flight has been completed along the pre-programmed flight route. If the flight has not been completed, the flow returns to step S104 to perform the same autonomous control operation. If the flight has been completed, the autonomous control operation is terminated. At this time, the control device 208 may return the unmanned air vehicle 100 to the initial position, may be sufficiently separated from the structure OBJ, or may perform flight control by a manual or a GPS signal. As mentioned above, although the control regarding the flight regarding one direction was demonstrated, the multi-faceted inspection of the structure by autonomous flight is attained by presetting the flight route which consists of a combination of a moving direction and a moving distance. By creating the flight route based on the design drawing and 3D data of the structure, it becomes possible to prevent the inspection from being missed.
図６は、第２の実施の形態にかかる位置検出システムを搭載した無人飛行体１００’の斜視図である。図７は、第２の実施の形態にかかる無人飛行体１００’のブロック図である。図８は、検査対象となる構造物と無人飛行体との位置関係を示す概略図（ａ）と、制御装置２０８が得た形状情報を模式的に示す図（（ｂ）〜（ｄ））であるが、２次元（ＸＹ面）で示している。 FIG. 6 is a perspective view of an unmanned air vehicle 100 ′ equipped with the position detection system according to the second embodiment. FIG. 7 is a block diagram of an unmanned air vehicle 100 ′ according to the second embodiment. FIG. 8 is a schematic diagram (a) showing the positional relationship between a structure to be inspected and an unmanned air vehicle, and diagrams schematically showing shape information obtained by the control device 208 ((b) to (d)). However, it is shown in two dimensions (XY plane).
本実施の形態にかかる無人飛行体１００’は、上述した実施の形態に対し、測定装置群ＭＧが異なっている。具体的には、低画素カメラ及び測距センサの代わりに、高画素カメラ２０２の両脇に、低画素のステレオカメラ２１１，２１２を備えており、また撮像方向検出センサを設けていない点が異なる。本実施の形態では、３次元形状取得装置としてのステレオカメラ２１１，２１２の画像から３次元形状データを作成し、これが測距装置を兼ねる。ステレオカメラ２１１，２１２と制御装置２０８により移動ベクトル算出装置を構成する。 The unmanned aerial vehicle 100 ′ according to the present embodiment differs from the above-described embodiment in the measurement device group MG. Specifically, in place of the low pixel camera and the distance measuring sensor, low pixel stereo cameras 211 and 212 are provided on both sides of the high pixel camera 202, and the imaging direction detection sensor is not provided. . In this embodiment, three-dimensional shape data is created from images of stereo cameras 211 and 212 as a three-dimensional shape acquisition device, and this also serves as a distance measuring device. The stereo cameras 211 and 212 and the control device 208 constitute a movement vector calculation device.
ステレオカメラ２１１，２１２を用いることで、点Ａでの撮像による構造物ＯＢＪの３次元形状データＤＡ３（図８（ｂ）参照）と、点Ｂでの撮像による構造物ＯＢＪの３次元形状データＤＢ３（図８（ｃ）参照）を得ることができる。制御装置２０８は、３次元形状データＤＡ３、ＤＢ３のマッチングをとって（図８（ｄ）参照）、重なり部分を比較することで、既知の点Ａから未知の点Ｂへの移動ベクトルを算出できる。マッチングには最小二乗法等の手法が利用できる。飛行体自体に加速度センサを持たせ、加速度センサの変化量から得られる推定位置を初期値として設定する事で演算の収束を早くする事ができる。 By using the stereo cameras 211 and 212, the three-dimensional shape data DA3 of the structure OBJ obtained by imaging at the point A (see FIG. 8B) and the three-dimensional shape data DB3 of the structure OBJ obtained by imaging at the point B are used. (See FIG. 8C) can be obtained. The control device 208 can calculate the movement vector from the known point A to the unknown point B by matching the three-dimensional shape data DA3 and DB3 (see FIG. 8D) and comparing the overlapping portions. . For the matching, a method such as a least square method can be used. By providing an acceleration sensor in the flying object itself and setting an estimated position obtained from the change amount of the acceleration sensor as an initial value, the convergence of the calculation can be accelerated.
例えば、無人飛行体１００が完全にＹ方向に距離ΔＹだけ飛行しているならば、元の３次元形状データＤＡ３に対して、重なった部位の３次元形状データＤＢ３は、Ｙ座標に（−ΔＹ）を加えるだけとなるはずである。ところが、風などの影響で、Ｘ方向又はＺ方向に無人飛行体１００がシフトしてしまった場合、重なった部位の３次元形状データＤＢ３においてＸ座標又はＺ座標にシフト分が重畳されることとなる。そこで、制御装置２０８は、３次元形状データＤＡ３と、３次元形状データＤＢ３とを比較して、Ｘ座標のシフト分ΔＸ、Ｚ座標のシフト分ΔＺをそれぞれ求めて、予めプログラミングされたモータ１０４Ａ〜１０４Ｄの駆動量に対して、シフト分を押し戻すように補正する。これによりＧＰＳ信号に頼らずに本来のＹ方向のルートに沿って無人飛行体１００を精度良く飛行させることができるから、橋梁の陰などのＧＰＳ信号が届かない場所でも無人飛行体１００の飛行制御が可能になる。 For example, if the unmanned aerial vehicle 100 is completely flying in the Y direction by a distance ΔY, the three-dimensional shape data DB3 of the overlapped portion with respect to the original three-dimensional shape data DA3 is (−ΔY ) Should be added. However, when the unmanned air vehicle 100 is shifted in the X direction or the Z direction due to the influence of wind or the like, the shift is superimposed on the X coordinate or the Z coordinate in the three-dimensional shape data DB3 of the overlapping portion. Become. Therefore, the control device 208 compares the three-dimensional shape data DA3 and the three-dimensional shape data DB3 to obtain the shift amount ΔX of the X coordinate and the shift amount ΔZ of the Z coordinate, respectively. Correction is performed so as to push back the shift amount with respect to the driving amount of 104D. As a result, the unmanned air vehicle 100 can accurately fly along the original route in the Y direction without relying on the GPS signal, so that the flight control of the unmanned air vehicle 100 can be performed even in places where the GPS signal does not reach, such as behind a bridge. Is possible.
このようにステレオカメラ２１１，２１２より、制御装置２０８が構造物ＯＢＪの３次元形状データを作成し、それらを繰り返しマッチングすることにより随時無人飛行体１００’の現在位置を更新する事ができ、精度良い自立飛行を支援できる。制御装置２０８により、無人飛行体１００’の位置が目標位置の位置誤差許容範囲内に入ったと判断されれば、高画素カメラ２０２で撮像を行う。 In this way, the control device 208 can create the three-dimensional shape data of the structure OBJ from the stereo cameras 211 and 212, and repeatedly match them to update the current position of the unmanned air vehicle 100 'as needed. It can support good independent flight. If the control device 208 determines that the position of the unmanned air vehicle 100 ′ is within the position error allowable range of the target position, the high pixel camera 202 performs imaging.
尚、同じカメラを用いて、移動ベクトル算出装置と検査装置を兼用する事は可能である。ただし、構造物の検査用途のカメラの視野は、必要解像度に関連付けて設定すべきであり、高画素の静止画となる可能性が高い。一方、無人飛行体の移動ベクトルの算出用カメラの視野は広角にした方が特徴点を検出しやすく、必要最小限度の解像度に抑えた方が処理速度を早くできるために飛行体の制御の安定につながる。それぞれの目的が異なるため、異なる用途に適した２種類のカメラを設けることが望ましい。 Note that it is possible to use both the movement vector calculation device and the inspection device by using the same camera. However, the field of view of a camera for inspection of a structure should be set in association with the required resolution, and is likely to be a high-pixel still image. On the other hand, it is easier to detect feature points when the field of view of the camera for calculating the motion vector of an unmanned air vehicle is wide-angle, and it is easier to detect the feature point, and the processing speed can be increased by reducing the resolution to the minimum necessary level. Leads to. Since each purpose is different, it is desirable to provide two types of cameras suitable for different applications.
又、測距装置としてステレオカメラを用いる場合、第１の実施の形態のように、無人飛行体の移動ベクトルの算出のため片方のカメラを低画素カメラとして使用して、2次元画像データから無人飛行体の移動ベクトルを算出する手法と、第２の実施の形態のように、両方のカメラの撮像から得られた3次元形状データによる無人飛行体の移動ベクトルの算出手法のどちらを利用する事も可能である。 When a stereo camera is used as the distance measuring device, as in the first embodiment, one camera is used as a low pixel camera to calculate the movement vector of the unmanned air vehicle, and unmanned from the two-dimensional image data. Use either the method for calculating the moving vector of the flying object or the method for calculating the moving vector of the unmanned flying object based on the three-dimensional shape data obtained from the imaging of both cameras as in the second embodiment. Is also possible.
又、進行方向にある障害物を検知するために、別途進行方向を確認するカメラや測距センサを搭載する事が望ましい。 In order to detect an obstacle in the traveling direction, it is desirable to mount a camera or a distance measuring sensor for confirming the traveling direction separately.
本発明は、明細書に記載の実施例に限定されるものではなく、他の実施例・変形例を含むことは、本明細書に記載された実施例や思想から本分野の当業者にとって明らかである。明細書の記載及び実施例は、あくまでも例証を目的としており、本発明の範囲は後述するクレームによって示されている。例えば、本発明は、有人飛行体の自動操縦に用いることもできる。 The present invention is not limited to the embodiments described in the specification, and other embodiments and modifications are apparent to those skilled in the art from the embodiments and ideas described in the present specification. It is. The description and examples are for illustrative purposes only, and the scope of the invention is indicated by the following claims. For example, the present invention can also be used for maneuvering of manned aircraft.
１００、１００’ 無人飛行体
１０１ 本体
１０２ 脚部
１０３Ａ-１０３Ｄ アーム
１０４Ａ-１０４Ｄ モータ
１０５Ａ-１０５Ｄ プロペラ
２０１ ＧＰＳ受信機
２０２ 高画素カメラ
２０３ 低画素カメラ
２０４ 測距センサ
２０５ 撮像方向検出センサ
２０８ 制御装置
２１１，２１２ ステレオカメラ
ＭＧ 測定装置群
ＯＢＪ 構造物
100, 100 'Unmanned air vehicle 101 Main body 102 Leg 103A-103D Arm 104A-104D Motor 105A-105D Propeller 201 GPS receiver 202 High pixel camera 203 Low pixel camera 204 Distance sensor 205 Imaging direction detection sensor 208 Control device 211, 212 Stereo Camera MG Measuring Device Group OBJ Structure
Claims (6)
構造物との距離を測定する測距装置と、
時間をずらして前記構造物を撮像することによって得られた画像情報を利用して、前記飛行体の移動方向及び移動量を算出する移動ベクトル算出装置とを有し、
前記移動ベクトル算出装置により前記移動方向及び移動量の算出を繰り返し行うことで前記飛行体の位置を検出する位置検出システム。 In a position detection system that is mounted on a flying object and obtains the position of the flying object,
A distance measuring device for measuring the distance to the structure;
A moving vector calculating device that calculates the moving direction and moving amount of the flying object using image information obtained by imaging the structure at different times;
A position detection system for detecting the position of the flying object by repeatedly calculating the movement direction and the movement amount by the movement vector calculation device.
前記２次元画像撮像装置が時間をずらして前記構造物を２回撮像すると共に、前記撮像方向検出センサが前記２次元画像撮像装置の撮像方向を検出し、前記測距装置が測距を行い、
２回の撮像間における前記飛行体の移動方向及び移動量を算出する請求項１に記載の位置検出システム。 The movement vector calculation device includes a two-dimensional image imaging device that images the structure and outputs two-dimensional image data, and an imaging direction detection sensor that detects an imaging direction of the two-dimensional image imaging device,
The two-dimensional image pickup device picks up the structure twice at different times, the image pickup direction detection sensor detects the image pickup direction of the two-dimensional image pickup device, and the distance measuring device performs distance measurement,
The position detection system according to claim 1, wherein a moving direction and a moving amount of the flying object between two imaging operations are calculated.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014244678A JP2016111414A (en) | 2014-12-03 | 2014-12-03 | Flying body position detection system and flying body |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014244678A JP2016111414A (en) | 2014-12-03 | 2014-12-03 | Flying body position detection system and flying body |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016111414A true JP2016111414A (en) | 2016-06-20 |
Family
ID=56124857
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014244678A Pending JP2016111414A (en) | 2014-12-03 | 2014-12-03 | Flying body position detection system and flying body |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016111414A (en) |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016220004A (en) * | 2015-05-19 | 2016-12-22 | オリンパス株式会社 | Imaging apparatus |
| CN106527484A (en) * | 2016-12-13 | 2017-03-22 | 天津代双科技有限公司 | UAV flight route management system based on mechatronics |
| JP2017134617A (en) * | 2016-01-27 | 2017-08-03 | 株式会社リコー | Position estimation device, program and position estimation method |
| CN107054649A (en) * | 2017-03-29 | 2017-08-18 | 上海华测导航技术股份有限公司 | A kind of method that use unmanned plane carries out bridge disaster detection |
| JP6286732B1 (en) * | 2016-09-08 | 2018-03-07 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | Imaging system, moving object, method and program |
| WO2018047283A1 (en) * | 2016-09-08 | 2018-03-15 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッド | Imaging device, imaging system, mobile body, method and program |
| JP2018125699A (en) * | 2017-01-31 | 2018-08-09 | キヤノンマーケティングジャパン株式会社 | Information processing unit and control method and program of information processing unit |
| WO2018163699A1 (en) | 2017-03-06 | 2018-09-13 | 株式会社Ｓｐｉｒａｌ | Control system for flight vehicle, and control device and marking for same |
| KR101916339B1 (en) | 2017-08-14 | 2019-02-08 | 주식회사 한국건설방재연구원 | Unmanned aerial vehicle system with laser sense |
| WO2019039099A1 (en) * | 2017-08-23 | 2019-02-28 | キヤノン株式会社 | Control device, control system, control method, program and recording medium |
| WO2019038927A1 (en) * | 2017-08-25 | 2019-02-28 | 日本電気株式会社 | Flight vehicle, flight vehicle control device, flight vehicle control method, and flight vehicle control program |
| WO2019049197A1 (en) * | 2017-09-05 | 2019-03-14 | 日本電気株式会社 | Aircraft, aircraft control device, aircraft control method, and aircraft control program |
| WO2019106714A1 (en) * | 2017-11-28 | 2019-06-06 | 株式会社自律制御システム研究所 | Unmanned aircraft, unmanned aircraft flight control device, unmanned aircraft flight control method and program |
| WO2019187436A1 (en) * | 2018-03-28 | 2019-10-03 | シャープ株式会社 | Imaging device, imaging control device, imaging system, method for controlling imaging device, imaging program, and recording medium |
| WO2020195651A1 (en) * | 2019-03-25 | 2020-10-01 | 株式会社センシンロボティクス | Flying vehicle, inspection method and inspection system |
| JP2020184769A (en) * | 2017-09-06 | 2020-11-12 | Kddi株式会社 | Flight device, photography control method, and photography control program |
| JP2020186002A (en) * | 2020-08-06 | 2020-11-19 | 株式会社センシンロボティクス | Flying vehicle, inspection method, and inspection system |
| JP2020186001A (en) * | 2020-08-06 | 2020-11-19 | 株式会社センシンロボティクス | Flying vehicle, inspection method, and inspection system |
| JP2020185999A (en) * | 2020-08-06 | 2020-11-19 | 株式会社センシンロボティクス | Flying vehicle, inspection method, and inspection system |
| JP2021057078A (en) * | 2020-12-24 | 2021-04-08 | 株式会社自律制御システム研究所 | Unmanned aircraft, unmanned aircraft flight controller, unmanned aircraft flight control method, and program |
| CN112839871A (en) * | 2018-09-25 | 2021-05-25 | 株式会社爱隆未来 | Flying body |
| CN113428374A (en) * | 2021-07-29 | 2021-09-24 | 西南交通大学 | Bridge structure detection data collection method and unmanned aerial vehicle system |
| WO2021241534A1 (en) * | 2020-05-29 | 2021-12-02 | 富士フイルム株式会社 | Aerial photography system and method |
| WO2023276454A1 (en) * | 2021-06-29 | 2023-01-05 | 富士フイルム株式会社 | Control device, base station, control method, and program |
| KR102504743B1 (en) * | 2021-08-24 | 2023-03-03 | 한국철도기술연구원 | Position correction device and correction method of inspection drone based on the model of the facility |
| CN116353869A (en) * | 2023-05-25 | 2023-06-30 | 成都庆龙航空科技有限公司 | Unmanned aerial vehicle on-board photoelectricity imaging nacelle |
| CN117699085A (en) * | 2024-02-04 | 2024-03-15 | 安徽省交规院工程智慧养护科技有限公司 | Detection equipment and method for bridge disease detection |
-
2014
- 2014-12-03 JP JP2014244678A patent/JP2016111414A/en active Pending
Cited By (47)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016220004A (en) * | 2015-05-19 | 2016-12-22 | オリンパス株式会社 | Imaging apparatus |
| JP2017134617A (en) * | 2016-01-27 | 2017-08-03 | 株式会社リコー | Position estimation device, program and position estimation method |
| JP6286732B1 (en) * | 2016-09-08 | 2018-03-07 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | Imaging system, moving object, method and program |
| WO2018047283A1 (en) * | 2016-09-08 | 2018-03-15 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッド | Imaging device, imaging system, mobile body, method and program |
| WO2018047281A1 (en) * | 2016-09-08 | 2018-03-15 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッド | Imaging system, moving body, method and program |
| CN106527484A (en) * | 2016-12-13 | 2017-03-22 | 天津代双科技有限公司 | UAV flight route management system based on mechatronics |
| CN106527484B (en) * | 2016-12-13 | 2019-08-09 | 安徽天德无人机科技有限公司 | A kind of unmanned plane during flying lane management system based on electromechanical integration |
| JP2018125699A (en) * | 2017-01-31 | 2018-08-09 | キヤノンマーケティングジャパン株式会社 | Information processing unit and control method and program of information processing unit |
| WO2018163699A1 (en) | 2017-03-06 | 2018-09-13 | 株式会社Ｓｐｉｒａｌ | Control system for flight vehicle, and control device and marking for same |
| JP6473888B2 (en) * | 2017-03-06 | 2019-02-27 | 株式会社Ｓｐｉｒａｌ | Aircraft control system, control device and mark part thereof |
| JP2019055780A (en) * | 2017-03-06 | 2019-04-11 | 株式会社Ｓｐｉｒａｌ | Control system for flight vehicle, and control device and marking part for the same |
| US11231725B2 (en) | 2017-03-06 | 2022-01-25 | Spiral Inc. | Control system for a flying object, control device therefor, and marker thereof |
| JP2019077446A (en) * | 2017-03-06 | 2019-05-23 | 株式会社Ｓｐｉｒａｌ | Control system for flight vehicle, and marking portion |
| JPWO2018163699A1 (en) * | 2017-03-06 | 2019-03-22 | 株式会社Ｓｐｉｒａｌ | Control system for flying object, control device and marker thereof |
| CN107054649A (en) * | 2017-03-29 | 2017-08-18 | 上海华测导航技术股份有限公司 | A kind of method that use unmanned plane carries out bridge disaster detection |
| KR101916339B1 (en) | 2017-08-14 | 2019-02-08 | 주식회사 한국건설방재연구원 | Unmanned aerial vehicle system with laser sense |
| WO2019039099A1 (en) * | 2017-08-23 | 2019-02-28 | キヤノン株式会社 | Control device, control system, control method, program and recording medium |
| JP7057637B2 (en) | 2017-08-23 | 2022-04-20 | キヤノン株式会社 | Control devices, control systems, control methods, programs, and storage media |
| US11310416B2 (en) | 2017-08-23 | 2022-04-19 | Canon Kabushiki Kaisha | Control device, control system, control method, and storage medium |
| JP2019041185A (en) * | 2017-08-23 | 2019-03-14 | キヤノン株式会社 | Control device, control system, control method, program, and storage medium |
| JP7028247B2 (en) | 2017-08-25 | 2022-03-02 | 日本電気株式会社 | Aircraft, air vehicle control device, air vehicle control method and air vehicle control program |
| JPWO2019038927A1 (en) * | 2017-08-25 | 2020-09-24 | 日本電気株式会社 | Aircraft, air vehicle control device, air vehicle control method and air vehicle control program |
| WO2019038927A1 (en) * | 2017-08-25 | 2019-02-28 | 日本電気株式会社 | Flight vehicle, flight vehicle control device, flight vehicle control method, and flight vehicle control program |
| JPWO2019049197A1 (en) * | 2017-09-05 | 2020-09-24 | 日本電気株式会社 | Aircraft, air vehicle control device, air vehicle control method and air vehicle control program |
| JP7028248B2 (en) | 2017-09-05 | 2022-03-02 | 日本電気株式会社 | Aircraft, air vehicle control device, air vehicle control method and air vehicle control program |
| WO2019049197A1 (en) * | 2017-09-05 | 2019-03-14 | 日本電気株式会社 | Aircraft, aircraft control device, aircraft control method, and aircraft control program |
| JP2020184769A (en) * | 2017-09-06 | 2020-11-12 | Kddi株式会社 | Flight device, photography control method, and photography control program |
| JPWO2019106714A1 (en) * | 2017-11-28 | 2020-11-19 | 株式会社自律制御システム研究所 | Unmanned aerial vehicles, unmanned aerial vehicle flight control devices, unmanned aerial vehicle flight control methods, and programs |
| WO2019106714A1 (en) * | 2017-11-28 | 2019-06-06 | 株式会社自律制御システム研究所 | Unmanned aircraft, unmanned aircraft flight control device, unmanned aircraft flight control method and program |
| WO2019187436A1 (en) * | 2018-03-28 | 2019-10-03 | シャープ株式会社 | Imaging device, imaging control device, imaging system, method for controlling imaging device, imaging program, and recording medium |
| CN112839871A (en) * | 2018-09-25 | 2021-05-25 | 株式会社爱隆未来 | Flying body |
| WO2020195651A1 (en) * | 2019-03-25 | 2020-10-01 | 株式会社センシンロボティクス | Flying vehicle, inspection method and inspection system |
| JP7436657B2 (en) | 2020-05-29 | 2024-02-21 | 富士フイルム株式会社 | Flight photography system and method |
| WO2021241534A1 (en) * | 2020-05-29 | 2021-12-02 | 富士フイルム株式会社 | Aerial photography system and method |
| JP2020185999A (en) * | 2020-08-06 | 2020-11-19 | 株式会社センシンロボティクス | Flying vehicle, inspection method, and inspection system |
| JP2020186001A (en) * | 2020-08-06 | 2020-11-19 | 株式会社センシンロボティクス | Flying vehicle, inspection method, and inspection system |
| JP2020186002A (en) * | 2020-08-06 | 2020-11-19 | 株式会社センシンロボティクス | Flying vehicle, inspection method, and inspection system |
| JP7184381B2 (en) | 2020-12-24 | 2022-12-06 | 株式会社Acsl | Unmanned aerial vehicle, flight control device for unmanned aerial vehicle, flight control method for unmanned aerial vehicle, and program |
| JP2021057078A (en) * | 2020-12-24 | 2021-04-08 | 株式会社自律制御システム研究所 | Unmanned aircraft, unmanned aircraft flight controller, unmanned aircraft flight control method, and program |
| WO2023276454A1 (en) * | 2021-06-29 | 2023-01-05 | 富士フイルム株式会社 | Control device, base station, control method, and program |
| CN113428374A (en) * | 2021-07-29 | 2021-09-24 | 西南交通大学 | Bridge structure detection data collection method and unmanned aerial vehicle system |
| CN113428374B (en) * | 2021-07-29 | 2023-04-18 | 西南交通大学 | Bridge structure detection data collection method and unmanned aerial vehicle system |
| KR102504743B1 (en) * | 2021-08-24 | 2023-03-03 | 한국철도기술연구원 | Position correction device and correction method of inspection drone based on the model of the facility |
| CN116353869A (en) * | 2023-05-25 | 2023-06-30 | 成都庆龙航空科技有限公司 | Unmanned aerial vehicle on-board photoelectricity imaging nacelle |
| CN116353869B (en) * | 2023-05-25 | 2023-08-22 | 成都庆龙航空科技有限公司 | Unmanned aerial vehicle on-board photoelectricity imaging nacelle |
| CN117699085A (en) * | 2024-02-04 | 2024-03-15 | 安徽省交规院工程智慧养护科技有限公司 | Detection equipment and method for bridge disease detection |
| CN117699085B (en) * | 2024-02-04 | 2024-04-19 | 安徽省交规院工程智慧养护科技有限公司 | Detection equipment and method for bridge disease detection |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2016111414A (en) | Flying body position detection system and flying body | |
| JP7260269B2 (en) | Positioning system for aeronautical non-destructive inspection | |
| JP6930616B2 (en) | Controls, control methods and aircraft devices | |
| JP7022559B2 (en) | Unmanned aerial vehicle control method and unmanned aerial vehicle control program | |
| US10088332B2 (en) | Flight plan preparing method and flying vehicle guiding system | |
| US11017228B2 (en) | Method and arrangement for condition monitoring of an installation with operating means | |
| ES2890855T3 (en) | Method for determining a path along an object, system and method for automatically inspecting an object and for checking the electrical continuity of a lightning rod of the object | |
| JP6507437B2 (en) | Ship auxiliary docking method and system | |
| Nagai et al. | UAV borne mapping by multi sensor integration | |
| JP2017037008A (en) | State inspection method for structure | |
| EP4063985A1 (en) | Aerial inspection system | |
| JP6989849B2 (en) | Inspection system for the structure to be inspected | |
| WO2014035741A1 (en) | Localization and tracking system for mobile robots | |
| KR100986505B1 (en) | Touchless positioning system using ccd camera | |
| CN113654526B (en) | Photoelectric nacelle scanning method under low-altitude rapid flight condition | |
| US20220026208A1 (en) | Surveying system, surveying method, and surveying program | |
| JP6515612B2 (en) | Target information acquisition apparatus and target information acquisition method | |
| JP6857161B2 (en) | Effective distance acquisition method and laser measurement method | |
| JP2010043961A (en) | Three-dimensional image measuring system | |
| JP7333565B1 (en) | Aircraft and method of controlling the aircraft | |
| KR102504743B1 (en) | Position correction device and correction method of inspection drone based on the model of the facility | |
| US20240111311A1 (en) | Control apparatus, base station, control method, and program | |
| JP7171129B2 (en) | Survey system and survey method | |
| JP2022143470A (en) | Survey system, survey apparatus, survey method, and survey program | |
| KR20230030367A (en) | Apparatus and method for improving GPS reception rate of multicopter during facility inspection |