JP6989849B2 - 被検査構造体の検査システム - Google Patents

被検査構造体の検査システム Download PDF

Info

Publication number
JP6989849B2
JP6989849B2 JP2018080495A JP2018080495A JP6989849B2 JP 6989849 B2 JP6989849 B2 JP 6989849B2 JP 2018080495 A JP2018080495 A JP 2018080495A JP 2018080495 A JP2018080495 A JP 2018080495A JP 6989849 B2 JP6989849 B2 JP 6989849B2
Authority
JP
Japan
Prior art keywords
camera
inspection
image
inspected
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018080495A
Other languages
English (en)
Other versions
JP2019191684A (ja
Inventor
仁秀 加賀谷
康至 大森
Original Assignee
株式会社Geoソリューションズ
朝日航洋株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Geoソリューションズ, 朝日航洋株式会社 filed Critical 株式会社Geoソリューションズ
Priority to JP2018080495A priority Critical patent/JP6989849B2/ja
Publication of JP2019191684A publication Critical patent/JP2019191684A/ja
Application granted granted Critical
Publication of JP6989849B2 publication Critical patent/JP6989849B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本発明は、無人飛行体に搭載した検査カメラにて橋梁等の被検査構造体(被検査構造物)を撮影して、被検査構造体の画像からクラック等の欠陥を判別する被検査構造体の検査システムに関する。
橋梁等の被検査構造体の欠陥を判別する技術として、特許文献1は、損傷状態調査システムを開示する。損傷状態調査システムは、無人ヘリコプター等の無人飛行体(空中移動機器)と、無人飛行体に搭載したデジタルカメラ(撮影装置)と、無人飛行体に搭載したGPS受信機(Global Positioning System)を備える。損傷状態調査システムでは、無人飛行体を橋梁に飛行して、デジタルカメラで橋梁のひび割れや損傷の画像を撮影する。撮影した画像データを解析することで、橋梁の損傷状態を調査する。
特開2015-34428号公報
しかし、特許文献1では、無人飛行体に搭載したGPS受信機により無人飛行体の三次元座標の位置(経度、緯度、標高の座標値)を取得できるものの、無人飛行体の三次元の飛行姿勢を認識できないため、デジタルカメラで撮影した画像(撮影写真)の座標付け(三次元座標のX座標値、Y座標値、X座標値、X軸周りの角度、Y軸周りの角度及びZ軸周りの角度)ができない。
ドローン等の無人飛行体(UAV:Unmanned aerial vehicle)に慣性計測装置(IMU:inertial measurement unit)を搭載して、無人飛行体の三次元の飛行姿勢(三次元座標のXYZ軸周りの角度)を取得(測定)することも考えられるが、高い計測精度の慣性計測装置(IMU)は、比較的重く(4Kg~20kg程度の重さ)、ドローン等の無人飛行体に搭載することはできない。
本発明は、ドローン等の無人飛行体に高い計測精度の慣性計測装置(IMU)を搭載することなく、無人飛行体の三次元の飛行姿勢、及び無人飛行体の三次元の飛行位置を得ることのできる被検査構造体の検査システムを提供することにある。
発明に係る請求項1は、被検査構造体の画像を撮影し、前記被検査構造体の画像から欠陥を判別する被検査構造体の検査システムであって、前記被検査構造体の周辺に配置され、地上座標系XYZの三次元座標値を測定済みの4以上の基準点と、前記被検査構造体及び前記基準点の間に飛行される無人飛行体と、前記無人飛行体に搭載され、前記被検査構造体の一部の箇所の検査画像を撮影する検査カメラと、撮影方向を前記検査カメラの撮影方向と反対側に位置して前記無人飛行体に搭載され、4以上の前記基準点を含む基準画像を撮影する基準カメラと、制御演算手段と、を備え、前記無人飛行体は、前記検査カメラの撮影方向を前記被検査構造体に向け、及び前記基準カメラの撮影方向を前記各基準点に向ける飛行姿勢にて飛行され、前記検査カメラ、及び前記基準カメラは、前記無人飛行体の前記飛行姿勢において、前記被検査構造体の一部の箇所及び4以上の前記基準点を同時撮影し、前記制御演算手段は、前記基準カメラの撮影した基準画像上の各基準点から選択した4つの基準点について、選択した前記各基準点の基準画像上の写真座標系xyの写真座標値と、前記基準カメラで撮影した基準画像上の全ての基準点の地上座標系XYZの三次元座標値に基づいて、同時撮影時の前記検査カメラの地上座標系XYZにおける姿勢、及び同時撮影時の前記基準カメラの撮影中心の地上座標系XYZの三次元座標値を算出し、前記基準カメラの撮影中心からの前記検査カメラの撮影中心の三次元座標値と、前記基準カメラの撮影中心の地上座標系XYZの三次元座標値に基づいて、前記検査カメラの撮影中心であって、前記検査カメラで撮影した検査画像の地上座標系XYZの三次元座標値を算出することを特徴とする被検査構造体の検査システムである。
本発明に係る請求項1では、地上に建造された被検査構造体(被検査構造物)の周辺の地上に4以上の基準点(例えば、対空標識)を設置する。各基準点の地上座標系の三次元座標値(X,Y,Z)は、予め測定されている。
請求項1では、第1に、無人飛行体は、検査カメラを被検査構造体に近接(接近)して飛行して、検査カメラの撮影方向を被検査構造体に向け、基準カメラの撮影方向を各基準点に向ける飛行姿勢(検査飛行姿勢)にする。第2に、検査カメラは、無人飛行体の飛行姿勢において、被検査構造体の全体又は一部の箇所(部位)の画像(検査画像)を撮影し、基準カメラは、無人飛行体の飛行姿勢において、4以上の基準点を含む地上の画像(基準画像)を撮影する。検査カメラ及び基準カメラは、検査画像及び基準画像を同時撮影する。このように、無人飛行体の飛行姿勢(検査飛行姿勢)を順次変更することで、検査カメラ及び基準カメラは、被検査構造体の複数の箇所(部位)の画像(検査画像)及び4以上の基準点を含む地上の画像(基準画像)を同時撮影する。第3に、制御演算手段は、基準カメラの撮影した画像上(基準画像上)の各基準点から選択した4つの基準点について、選択した各基準点の画像上の写真座標値(x,y)[写真座標系xyの写真座標値(x,y)]と、選択した各基準点の三次元座標値(X,Y,Z)[地上座標系XYZの三次元座標値(X,Y,Z)]に基づいて、同時撮影時の無人飛行体の三次元の飛行姿勢を算出(演算)し、及び同時撮影時の無人飛行体の三次元の飛行位置を算出(演算)する。制御演算手段は、後方交会法であって、例えば、単写真標定(後方交会法)の共線条件を用いて、選択した4つの基準点の画像上(基準画像上)の写真座標値(x,y)、及び選択した4つの基準点Pの三次元座標値(X,Y,Z)から基準カメラの傾き(姿勢)(ω,φ,κ)を算出(演算)し、及び基準カメラの撮影中心の地上座標系XYZの三次元座標値(X,Y,Z)を算出(演算)する。
検査カメラ及び基準カメラは無人飛行体に搭載されているので、基準カメラの傾き(姿勢)(ω,φ,κ)は無人飛行体の三次元の飛行姿勢、及び検査カメラの傾き(姿勢)ともなる。基準カメラは無人飛行体に搭載されているので、基準カメラの撮影中心の地上座標系XYZの三次元座標値(X,Y,Z)は、無人飛行体の三次元の飛行位置ともなる。無人飛行体に搭載された基準カメラの撮影中心からの検査カメラの撮影中心の三次元座標値(距離位置)と、基準カメラの撮影中心の地上座標系XYZの三次元座標値(X,Y,Z)から検査カメラの撮影中心であって、検査画像の地上座標系XYZの三次元座標値(Xq,Yq,Zq)を求める。
これにより、検査カメラで撮影した被検査構造体の画像(検査画像)ついて、傾き(姿勢)(ω,φ,κ)、及び地上座標系XYZの三次元座標値(Xq,Yq,Zq)を座標付けできる。
無人飛行体を基準点(対空標識)及び被検査構造体の間に飛行させた側面図である。 無人飛行体を基準点(対空標識)及び被検査構造体の間に飛行させた平面図(上面図)である。 被検査構造体の検査システムにおいて、無人飛行体を示す平面図(上面図)である。 被検査構造体の検査システムにおいて、無人飛行体を示す側面図である。 被検査構造体の検査システムにおいて、無人飛行体を示す底面図(下面図)である。 無人飛行体、及び遠隔操作手段(遠隔操作装置)の構成を示すブロック図である。 制御演算手段(制御演算装置)の構成を示すブロック図である。 検査カメラの撮影中心の三次元座標値を説明するための斜視図である。 単写真標定(後方交会法)の共線条件を説明するための斜視図である。 制御演算部(制御演算手段)の演算処理(演算プログラム)を説明するためのフローチャート図である。 被検査構造体の検査システムにおける一連の処理工程を説明するためのフローチャート図である。
本発明に係る被検査構造体の検査システムについて、図1乃至図11を参照して説明する。
図1乃至図7において、被検査構造体の検査システムXは、被検査構造体Y(被検査構造物)の画像(写真画像)を撮影して、被検査構造体Yの画像から欠陥を判別する。
被検査構造体Y(被検査構造物)は、図1及び図2に示すように、建築構造物であって、地上Zに建造される。被検査構造体Yは、例えば、道路や鉄道等の橋梁である。なお、被検査構造体Y(被検査構造物)は、道路や鉄道等の橋梁に限定されず、ビルや住宅等を含む建築構造物であれば良い。
被検査構造体の検査システムXは、図1乃至図7に示すように、4以上の複数の基準点P1,P2,P3,P4,…,Pi,…,Pn(第1番目乃至第n番目の基準点)と、無人飛行体2(無人飛行機)と、検査カメラ3(検査デジタルカメラ)と、基準カメラ4(基準デジタルカメラ)と、遠隔操作手段5(遠隔操作装置)と、制御演算手段6(制御演算装置)を備える。
<基準点P>
4以上の第1番目乃至第n番目の基準点P1,P2,P3,P4,…,Pi,…,Pnは、図1及び図2に示すように、被検査構造体Y(橋梁)の周辺に配置される。第1番目乃至第n番目の基準点P1,P2,P3,P4,…,Pi,…,Pnは、被検査構造体Yに隣接して地上Zに設置される。
各基準点P1,P2,P3,P4,…,Pi,…,Pnは、図1及び図2に示すように、被検査構造体Y(橋梁)の左右方向LR、及び被検査構造体Yの前後方向FRにおいて、相互に間隔を隔てて地上Zに設置される。なお、被検査構造体Yの左右方向LR、及び被検査構造体Yの前後方向FRは、相互に直交する方向である(以下、単に「左右方向LR」、「前後方向FR」という)。
各基準点P1,P2,P3,P4,…,Pi,…,Pnは、図1及び図2に示すように、例えば、ゴムシートに対空標1aを標示した対空標識で構成される。
各基準点P1,P2,P3,P4,…,Pi,…,Pnは、地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),…,(Xi,Yi,Zi),…,(Xn,Yn,Zn)を予め測定済みである。
各基準点P1,P2,P3,P4,…,Pi,…,Pnの地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),…,(Xi,Yi,Zi),…,(Xn,Yn,Zn)は、平面直角座標値である。
第1番目の基準点P1の地上座標系XYZの三次元座標値は、(X1,Y1,Z1)、第2番目の基準点P2の地上座標系XYZの三次元座標値は、(X2,Y2,Z2)、第i番目の基準点Piの地上座標系XYZの三次元座標値は、(Xi,Yi,Zi)、第n番目の基準点Pnの地上座標系XYZの三次元座標値は、(Xn,Yn,Zn)となる。
各基準点P1,P2,P3,P4,…,Pi,…,Pn(対空標識)の地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),…,(Xi,Yi,Zi),…,(Xn,Yn,Zn)は、GNSS(Global Navigation Satellite System)を利用して、受信機(図示しない)にて予め測定して取得する。受信機は、アンテナを備え、各基準点P1,P2,P3,P4,…,Pi,…,Pnに設置される。受信機は、アンテナにて衛星(図示しない)の電波を受信して、衛星からの電波に基づいて、各基準点P1,P2,P3,P4,…,Pi,…,Pnの平面直角座標値[地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),…,(Xi,Yi,Zi),…,(Xn,Yn,Zn)]を取得する。
<無人飛行体2>
無人飛行体2は、図3乃至図5に示すように、無人飛行機(UAV:Unmanned aerial vehicle)であって、例えば、積載可能重量が2.5Kg~3.5Kg程度の小型のドローン(小型の無人飛行体)である。
無人飛行体2は、図3乃至図6に示すように、機体11、複数(4つ)のロータユニット12、無線通信ユニット14、画像記憶部15、機体制御部16及び電源17(バッテリー)を備える。
機体11は、図3乃至図5に示すように、機体部21、複数(4つ)のロータア-ム22、及び複数(2本)の支持脚23を有する。
各ロータア-ム22は、機体部21から外方向に放射状に延在される。各支持脚23は、機体部21の裏面21Bに取付けられて、機体部21の裏面21Bから下方向に延在される。
各ロータユニット12は、図3乃至図5に示すように、各ロータア-ム22の先端側に取付けられる。各ロータユニット12は、図3乃至図6に示すように、プロペラ25、及びロータモータ26を有する。プロペラ25は、ロータモータ26のモータ軸(図示しない)に連結され、ロータモータ26にて回転される。
無線通信ユニット14は、図6に示すように、機体部21内(機体11内)に搭載されて、機体制御部16及び電源17に接続される。無線通信ユニット14は、通信アンテナ27、及び機体通信部28を有する。機体通信部28は、通信アンテナ27にて受信した飛行開始信号(飛行開始指令)を機体制御部16に出力する。
画像記憶部15は、図6に示すように、機体部21内(機体11内)に搭載されて、機体制御部16及び電源17に接続される。画像記憶部15は、検査カメラ3にて撮影した被検査構造体Yの一部の箇所(部位)の画像(以下、「検査画像」という)、及び基準カメラ4にて撮影した4以上の基準点P1,P2,P3,1P4,…,Pi,…,Pnを含む地上Zの画像(以下、「基準画像」という)を記憶する。
画像記憶部15は、無人飛行体2の飛行経路(飛行プログラム)を記憶する。飛行経路(飛行プログラム)は、無人飛行体2を被検査構造体Yまで飛行させ、及び無人飛行体2を被検査構造体Yに沿って飛行させるためのプログラムである。
機体制御部16は、CPU(Central Processing Unit/中央演算処理装置)であって、図6に示すように、機体部21内(機体11内)に搭載される。機体制御部16は、図6に示すように、各ロータユニット12のロータモータ26、無線通信ユニット14(機体通信部28)、画像記憶部15及び電源17に接続される。
機体制御部16は、図6に示すように、各ロータユニット12のロータモータ26に接続される。機体制御部16は、無線通信ユニット14の機体通信部28からの飛行開始信号(飛行開始指令)を入力して、各ロータユニット12のロータモータ26の回転を制御する。
機体制御部16は、各ロータユニット12のロータモータ26を同一回転数に制御することで、機体11に揚力を発生する。無人飛行体2は、揚力によって被検査構造体Yの上下方向UDに上昇し、及び飛行姿勢を維持(ホバリング)する。なお、被検査構造体Yの上下方向UDは、左右方向LR及び前後方向FRに直交する方向である(以下、「上下方向UD」という)。
機体制御部16は、各ロータユニット12のロータモータ26の回転数を変更することで、機体11に推進力を発生する。無人飛行体2は、推進力によって傾斜され、左右方向LR及び前後方向FRに飛行される。
機体制御部16は、飛行開始信号(飛行開始指令)を入力すると、画像記憶部15から飛行経路(飛行プログラム)を読出して、飛行経路(飛行プログラム)に基づいて、各ロータユニット12のロータモータ26の回転を制御することで、無人飛行体2を被検査構造体Yまで飛行させる。機体制御部16は、飛行経路(飛行プログラム)に基づいて、各ロータユニット12のロータモータ26の回転を変更制御することで、無人飛行体2を被検査構造体Yに沿って低速移動(低速飛行)させる。
機体制御部16は、図6に示すように、検査カメラ3及び基準カメラ4に接続される。機体制御部16は、検査カメラ3及び基準カメラ4の撮影(撮影動作)を制御する。
機体制御部16は、所定時間毎に撮影信号(撮影指令)を検査カメラ3及び基準カメラ4に同時に出力する。
これにより、機体制御部16は、検査カメラ3及び基準カメラ4を同時動作して、検査カメラ3の検査画像及び基準カメラ4の基準画像を同時撮影させる。また、機体制御部16は、所定時間毎に撮影信号(撮影指令)を検査カメラ3及び基準カメラ4に出力することで、検査カメラ3及び基準カメラ4の撮影を連続して同時に行わせる。
機体制御部16は、検査カメラ3及び基準カメラ4において、同時撮影した検査画像及び基準画像を相互に対応付けて画像記憶部15に記憶する。
<検査カメラ3>
検査カメラ3は、図1及び図2に示すように、被検査構造体Y(被検査構造物/橋梁)の一部の箇所(部位)の画像(検査画像)を撮影する。検査カメラ3は、図4乃至図6に示すように、例えば、デジタルカメラであって、無人飛行体2(機体11の機体部21)に搭載される。
検査カメラ3は、図4に示すように、撮影方向αを無人飛行体2(機体11)の後方に向けて、機体部21(機体11)の裏面21Bに取付けられる。
検査カメラ3の撮影方向αは、カメラレンズ2Aの撮影中心O1を通るカメラ光軸方向であって、検査カメラ3は、図1及び図4に示すように、カメラ光軸を無人飛行体2(機体11)の後方に向けて、機体部21(機体11)の裏面21Bに取付けられる。
検査カメラ3は、図6に示すように、機体制御部16及び電源17に接続され、機体制御部16からの撮影信号(撮影指令)を入力すると、被検査構造体Yの一部の箇所(部位)の画像(検査画像)を撮影する。検査カメラ3は、撮影した検査画像を機体制御部16に出力する。
<基準カメラ4>
基準カメラ4は、図1及び図2に示すように、4以上の基準点P1,P2,P3,P4,…,Pi,…,Pn(対空標識)を含む地上Zの画像(基準画像)を撮影する。基準カメラ4は、図3、図5及び図6に示すように、無人飛行体2(機体11の機体部21)に搭載される。基準カメラ4は、各支持脚23の間に配置される。
基準カメラ4は、撮影方向βを無人飛行体2(機体11)の前方に向けて、機体部21(機体11)の裏面21Bに取付けられる。
基準カメラ4の撮影方向βは、カメラレンズ3Aの撮影中心Oを通るカメラ光軸方向であって、基準カメラ4は、図1及び図4に示すように、カメラ光軸を無人飛行体2(機体11)の前方に向けて、機体部21(機体11)の表面21Aに取付けられる。
基準カメラ4は、図1及び図4に示すように、撮影方向βを検査カメラ3の撮影方向αと反対側に位置(撮影方向βを撮影方向αに対して角度:180度を隔てる方向に位置)して、機体部21(無人飛行体2)に搭載される。
基準カメラ4は、広角カメラ又は広角デジタルカメラであって、例えば、超広角カメラ又は超広角デジタルカメラである。
基準カメラ4は、図6に示すように、機体制御部16及び電源17に接続され、機体制御部16からの撮影信号(撮影指令)を入力すると、4以上の基準点P1,P2,P3,P4,…,Pi,…,Pnを含む地上Zの画像(基準画像)を撮影する。基準カメラ4は、撮影した基準画像を機体制御部16に出力する。
検査カメラ3及び基準カメラ4は、図6に示すように、機体制御部16からの撮影信号(撮影指令)を同時に入力して、被検査構造体Yの一部の箇所(部位)及び4以上の各基準点P1,P2,P3,P4,…,Pi,…,Pnを含む地上Zを同時撮影する。
検査カメラ3及び基準カメラ4は、機体制御部16からの撮影信号(撮影指令)を所定時間毎に同時入力して、被検査構造体Yの一部の箇所(部位)、及び4以上の各基準点P1,P2,P3,P4,…,Pi,…,Pnを含む地上Zを所定時間毎に連続して同時撮影する。
これにより、検査カメラ3及び基準カメラ4は、検査画像の複数、及び基準画像の複数を同時に撮影する。
<遠隔操作手段5(遠隔操作装置)>
遠隔操作装置5は、図6に示すように、遠隔飛行操縦部31、無線通信ユニット32、自動飛行指示部33、遠隔制御部34及び電源35(バッテリー)を備える。
遠隔飛行操縦部31は、図6に示すように、例えば、無人飛行体2の飛行を操縦する操縦レバーであって、遠隔制御部34及び電源35に接続される。
無線通信ユニット32は、図6に示すように、遠隔制御部34及び電源35に接続される。無線通信ユニット32は、通信アンテナ36、及び遠隔通信部37を有する。遠隔通信部37は、通信アンテナ36から飛行開始信号(飛行開始指令)を無人飛行体2(通信アンテナ27)に送信する。
自動飛行指示部33は、図6に示すように、例えば、無人飛行体2の飛行開始(自動飛行開始)を指示(指令)する飛行開始ボタンであって、遠隔制御部34及び電源35に接続される。
遠隔制御部34は、CPU(Central Processing Unit/中央演算処理装置)であって、図6に示すように、遠隔飛行操縦部31、無線通信ユニット32(遠隔通信部37)、自動飛行指示作部33及び電源35に接続される。
遠隔制御部34は、自動飛行指示部33の操作(飛行開始ボタンのON操作)に基づいて、飛行開始信号(飛行開始指令)を遠隔通信部37に出力する。
<制御演算手段6(制御演算装置)>
制御演算手段6(制御演算装置)は、無人飛行体2の三次元の飛行姿勢を算出(演算)し、及び無人飛行体2の三次元の飛行位置を算出(演算)する。
制御演算手段6は、図7に示すように、入力部41、データ記憶部42、表示部43、制御演算部44及び電源45を備える。
入力部41は、図7に示すように、例えば、キーボード、マウスで構成される。入力部41は、制御演算部44及び電源45に接続される。
入力部41は、入力操作に基づいて、第1番目乃至第n番目の基準点P1,P2,P3,P4,…,Pi,…,Pnの地上座標系XYXの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),…,(Xi,Yi,Zi),…,(Xn,Yn,Zn)と各基準点P1,P2,P3,P4,…,Pi,…,Pnの基準番号N1,N2,N3,N4,…,Ni,…Nnを入力して、制御演算部44に出力する。
入力部41は、入力操作に基づいて、検査カメラ3で撮影した検査画像及び基準カメラ4で撮影した基準画像を入力して、制御演算部44に出力する。
データ記憶部42は、図7に示すように、制御演算部44及び電源45に接続される。データ記憶部42は、第1番目乃至第n番目の基準点P1,P2,P3,P4,…,Pi,…,Pn(対空標識)の地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),…,(Xi,Yi,Zi),…,(Xn,Yn,Zn)と各基準点P1,P2,P3,P4,…,Pi,…,Pnの基準番号N1,N2,N3,N4,…,Ni,…,Nnを記憶する。
データ記憶部42は、検査カメラ3の撮影した検査画像、及び基準カメラ4の撮影した基準画像を記憶する。データ記憶部42は、同時撮影した検査画像及び基準画像を相互に対応付けて記憶する。
データ記憶部42は、図8に示すように、検査カメラ3のカメラレンズ3Aの撮影中心O1の三次元座標値(Xb,Yb,Zb)を記憶する。
図8において、検査カメラ3及び基準カメラ4の撮影方向α,βにZ軸をとる。検査カメラ3の撮影中心O1の三次元座標(Xb,Yb,Zb)は、図8に示すように、基準カメラ4の撮影中心Oの三次元座標値(0,0,0)として、撮影中心OからのXYZ軸の三次元座標値(距離位置)である。検査カメラ3の撮影中心O1の三次元座標値(Xb,Yb,Zb)は、予め測定して取得する。
表示部43は、図7に示すように、例えば、液晶表示器で構成され、制御演算部44及び電源45に接続される。表示部43は、検査カメラ3で撮影した検査画像、及び基準カメラ4で撮影した基準画像を表示する。
制御演算部44は、CPU(Central Processing Unit/中央演算処理装置)であって、図7に示すように、入力部41、データ記憶部42、表示部43及び電源45に接続される。
制御演算部44は、第1番目乃至第n番目の基準点P1,P2,P3,P4,…,Pi,…,Pnの地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),…,(Xi,Yi,Zi),…,(Xn,Yn,Zn)と各基準点P1,P2,P3,P4,…,Pi,…,Pnの基準番号N1,N2,N3,N4,…,Ni,…,Nnを入力すると、第1番目乃至第n番目の基準点P1,P2,P3,P4,…の地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),…,(Xi,Yi,Zi),…,(Xn,Yn,Zn)と各基準点P1,P2,P3,P4,…,Pi,…,Pnの基準番号N1,N2,N3,N4,…,Ni,…,Nnを相互に対応付けてデータ記憶部42に記憶する。
制御演算部44は、検査カメラ3の撮影した検査画像及び基準カメラ4の撮影した基準画像を入力すると、同時撮影した検査画像及び基準画像を相互に対応付けてデータ記憶部42に記憶する。
制御演算部44は、検査カメラ3の撮影中心O1の三次元座標値(Xb,Yb,Zb)を入力すると、三次元座標値(Xb,Yb,Zb)をデータ記憶部42に記憶する。
制御演算部44(制御演算手段6)は、無人飛行体2の三次元の姿勢(傾き)を算出(演算)し、及び無人飛行体2の三次元の飛行位置を算出(演算)する。
制御演算部44は、後方交会法であって、単写真標定を用いて、基準カメラ4の外部標定要素(X,Y,Z,ω,φ,κ)を算出する。
単写真標定は、基準カメラ4で撮影した基準画像(写真)上の基準点Pi(P1,P2,P3,P4,…,Pn:i=1,2,3,…,n)に成立する共線条件を用いて、基準カメラ4の撮影中心Oの位置[地上座標系XYZの三次元座標値(X,Y,Z)、即ち、無人飛行体2の三次元の飛行位置]、及び基準カメラ4の傾き(姿勢)[(ω,φ,κ)、即ち、無人飛行体2の三次元の飛行姿勢]を算出する方法である。
共線条件は、図9に示すように、基準カメラ4の撮影中心O、基準点Pi(P1,P2,P3,P4)、及び基準点Piの基準画像上の写真像pi(p,p,p,p)とすると、OpiPi(OpP1,OpP2,OpP3,OpP4)が一直線上にあるという条件である。
図9において、カメラ座標系xyz、写真座標系xy、地上座標系XYZとする。基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値(X,Y,Z)、写真像pi(i=1,2,3,4,…,n)の写真座標系xyの写真座標値(xi,yi)、基準点Piの地上座標系XYZの三次元座標値(Xi,Yi,Zi)、基準カメラ4のカメラ座標系xyzの傾き(姿勢)(ω,φ,κ)とすると、単写真評定で用いられる共線条件の基本式は、式(1)及び式(2)となる。
なお、基準カメラ4の傾き(姿勢)(ω,φ,κ)において、ω(傾き)はx軸周りの角度、φ(傾き)はy軸周りの角度、κ(傾き)はz軸周りの角度である(図9参照)
Figure 0006989849000001
Figure 0006989849000002
共線条件の基本式(1)は、非線形であるので、式(1)の未知変量(未知数)を算出(演算)するためには、下記[1]~[5]処理を行う。
[1]未知変量(未知数)の近似値を算出する。
[2]未知変量の近似値を共線条件の基本式に代入して、近似値まわりにテイラー展開して2次以上の項を無視して線形化して、2×nの式数からなる線形の観測方程式(6元一次の観測方程式)を得る。
[3]各線形の観測方程式から、未知変量(未知数)の座標補正量と傾き(姿勢)の補正量とを最小にする解を最小二乗法により算出する。
[4]座標補正値と傾き(姿勢)の補正値の収束を判別する。
[5]座標補正値と傾き(姿勢)の補正値を、近似値に加えて新たな近似値を算出する。
未知変量(未知数)の座標補正値と傾き(姿勢)の補正値が収束するまで[2]~[5]処理を繰り返して、未知変量(未知数)を算出する(逐次近似解法)。
各基準点Pi(i=1,2,3,4,…,n)の地上座標系XYZの三次元座標値(Xi,Yi,Zi)、基準カメラ4の傾き(姿勢)(ω,φ,κ)、及び基準カメラ4の撮影中心Oの地上座標系XYXの三次元座標値(X,Y,Z)を未知変量(未知数)とし、各基準点Piの地上座標系XYZの三次元座標値の近似値(Xai,Yai,Zai)、各基準点Piの座標補正値(ΔXi,ΔYi,ΔZi)、基準カメラ4の傾き(姿勢)の近似値(ω0a,φ0a,κ0a)、基準カメラ4の傾き(姿勢)の補正値(Δω,Δφ,Δκ)、基準カメラ4の撮影中心Oの地上座標系XYXの三次元座標値の近似値(X0a,Y0a,X0a)、基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値の座標補正値(ΔX,ΔY,ΔZ)とすると、式(3)となる。
式(3)は、
X=Xai+ΔXi
Y=Yai+ΔYi
Z=Zai+ΔZi
ω=ω0a+Δω
φ=φ0a+Δφ
κ=κ0a+Δκ
=X0a+ΔX
=Y0a+ΔY
=X0a+ΔZ
である。
[式(3)]において、
X,Y,Z:基準点の地上座標系の三次元座標値
ω,φ,κ:基準カメラの傾き(姿勢)
,Y,Z:基準カメラの撮影中心の地上座標系の三次元座標値
i=1,2,3,4,…,n
共線条件の基本式(1)は、式(4)に書きなおすことができる。
[式(4)]において、X,Y,Z、ω,φ,κ,X,Y,Zは、式(3)に示す数値である。
Figure 0006989849000003
未知変量の近似値は、2次の射影変換式を用いて算出することができる。
2次射影変換式は、式(5)となる。
Figure 0006989849000004
式(5)の係数b1~b8を求めるためには、4以上の基準点Pi(i=1,2,3,4,…,n)の地上座標系XYZの三次元座標値(Xi,Yi,Zi)が必要となる。
基準カメラ4の撮影した基準画像上の4以上の基準点Piから4つの基準点、例えば、基準点P1,P2,P3,P4を選択する。
制御演算部44(制御演算手段6)は、図10に示す演算処理(演算プログラム)を実行して、無人飛行体2の三次元の飛行姿勢、及び無人飛行体2の三次元の飛行位置を算出(演算)する。
制御演算部44は、選択した各基準点P1,P2,P3,P4の基準画像から、各基準点P1,P2,P3,P4に対応する写真像p,p,p,pの写真座標系xyの写真座標値(x,y),(x,y),(x,y),(x,y)を取得する(図10のST01)。
制御演算部44(制御演算手段6)は、選択した各基準点P1,P2,P3,P4の基準画像上の写真像p,p,p,pの写真座標系xyの写真座標値(x,y),(x,y),(x,y),(x,y)、及び選択した各基準点P1,P2,P3,P4の地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),(X3,Y3,Z3),(X4,Y4,Z4)に基づいて、基準カメラ4の傾き(姿勢)の近似値(初期値)(ω0a,φ0a,κ0a)、及び基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値の近似値(初期値)(X0a,Y0a,Z0a)を算出(演算)する。
先ず、制御演算部44は、式(5)の係数b1~b8を算出(演算)する(図10のST02)。制御演算部44は、基準点P1の三次元座標値(X1,Y1,Z1)及び写真像pの写真座標値(x,y)を式(5)に代入し、基準点P2の三次元座標値(X2,Y2,Z2)及び写真像pの写真座標値(x,y)を式(5)に代入し、基準点P3の三次元座標値(X3,Y3,Z3)及び写真像pの写真座標値(x,y)を式(5)に代入し、基準点P4の三次元座標値(X4,Y4,Z4)及び写真像pの写真座標値(x,y)を式(5)に代入して、式(5)の分母を払って、観測方程式を立てて、最小二乗法により2次射影変換式[式(5)]の係数b1~b8を算出する。
制御演算部44(制御演算手段6)は、算出した係数b1~b8を用いて、式(6)から基準カメラ4の傾き(姿勢)の近似値(ω0a,φ0a,κ0a)、及び基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値の近似値(初期値)(X0a,Y0a,Z0A)を算出(演算)する。
制御演算部44は、係数b1~b8を式(6)に代入して、基準カメラ4の傾き(姿勢)の近似値(ω0a,φ0a,κ0a)、及び基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値の近似値(初期値)(X0a,Y0a,Z0a)を算出(演算)する(図10のST03)。
Figure 0006989849000005
[式(6)]において、Zmは、地上座標系XYZにおいて、各基準点P1,P2,P3,P4のZ軸の平均座標値である。なお、各基準点Pi(i=1,2,3,4,…,n)の地上座標系XYZは平面直角座標であるので、各基準点P1,P2,P3,P4における式(6)のZmは一定座標値(Z座標値)と仮定できる。
続いて、制御演算部44は、基準カメラ4で撮影した基準画像上の全ての基準点P1,P2,P3,P4,…,Pi,…Pnの地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),(X3,Y3,Z3),(X4,Y4,Z4),…,(Xi,Yi,Zi),…,(Xn,Yn,Zn)、基準カメラ4の傾き(姿勢)の近似値(初期値)(ω0a,φ0a,κ0a)、及び基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値の近似値(初期値)(X0a,Y0a,Z0a)の夫々を式(4)に代入して、近似値まわりにテイラー展開して2次以上の項を無視して線形化して、2×nの式数でなる線形の観測方程式(6元一次の観測方程式)を得る(図10のST04)。
線形の観測方程式の式数:2×nにおいて、係数nは基準点Piの点数ある。例えば、、基準点Piの点数がi=6のときは、線形の観測方程式の式数は2×6=12となる。
制御演算部44は、各線形の観測方程式から、全基準点P1,P2,P3,P4,…,Pi,…,Pnの地上座標系XYZの三次元座標値の座標補正値(ΔX1,ΔY1,ΔZ1),(ΔX2,ΔY2,ΔZ2),…,(ΔXi,ΔYi,ΔZi),…,(ΔXn,ΔYn,ΔZn)、基準カメラ4の傾き(姿勢)の補正値(Δω,Δφ,Δκ)、及び基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値の座標補正値(ΔX,ΔY,ΔZ)を最小とする解を最小二乗法により算出(演算)する(図10のST05)。
続いて、制御演算部44は、基準画像上の全基準点P1,P2,P3,P4,…,Pi,…Pnの座標補正値(ΔX1,ΔY1,ΔZ1),(ΔX2,ΔY2,ΔZ2),…,(ΔXi,ΔYi,ΔZi),…,(ΔXn,ΔYn,ΔZn)の収束を判別する(図10のST06)。制御演算部44は、全基準点Pi(i=1,2,3,4,…,n)の座標補正値(ΔXi,ΔYi,ΔZi)が、例えば、10-7以下(ΔXi≦10-7,ΔYi≦10-7,ΔZi≦10-7)であれば収束と判断する(図10のST06:Yes)。
制御演算部44は、基準カメラ4の傾き(姿勢)の補正値(Δω,Δφ,Δκ)の収束を判別する(図10のST06)。制御演算部44は、基準カメラ4の傾き(姿勢)が、例えば、10-7以下(Δω≦10-7,Δφ≦10-7,Δκ≦10-7)であれば収束と判断する(図10のST06:Yes)。
制御演算部44は、基準カメラ4の撮影中心Oの三次元座標値の座標補正値(ΔX,ΔY,ΔZ)の収束を判別する(図10のST06)。制御演算部44は、基準カメラ4の撮影中心Oの三次元座標値の座標補正値(ΔX,ΔY,ΔZ)が、例えば、10-7以下(ΔX≦10-7,ΔY≦10-7,ΔZ≦10-7)であれば収束と判断する(図10のST06:Yes)。
続いて、制御演算部44は、基準画像上の各基準点Piの座標補正値(ΔXi,ΔYi,ΔZi)が収束していないと判断すると(図10のST06:No)、各基準点Piの座標補正値(ΔXi,ΔYi,ΔZi)を各基準点Piの三次元座標値の近似値(Xai,Yai,Zai)に加算して、各基準点Piについて、新たな近似値(Xai,Yai,Zai)を算出(演算)する(図10のST07)。
制御演算部44は、基準カメラ4の傾き(姿勢)の補正値(Δω,Δφ,Δκ))が収束していないと判断すると(図10のST06:No)、基準カメラ4の傾き(姿勢)の補正値(Δω,Δφ,Δκ)を基準カメラ4の傾き(姿勢)の近似値(ω0a,φ0a,κ0a)に加算して、基準カメラ4の傾き(姿勢)について、新たな近似値(ω0a,φ0a,κ0a)を算出(演算)する(図10のST07)。
制御演算部44は、基準カメラ4の撮影中心Oの三次元座標値の座標補正値(ΔX,ΔY,ΔZ)が収束していないと判断すると(図10のST06:No)、基準カメラ4の撮影中心Oの三次元座標の座標補正値(ΔX,ΔY,ΔZ)を基準カメラ4の撮影中心Oの三次元座標値の近似値(X0a,Y0a,Z0a)に加算して、基準カメラ4の撮影中心Oの三次元座標値について、新たな近似値(X0a,Y0a,Z0a)を算出(演算)する(図10のST07)。
制御演算部44は、傾き(姿勢)の補正値(Δω,Δφ,Δκ)が収束し、座標補正値(ΔXi,ΔYi,ΔZi),(ΔX,ΔY,ΔZ)が収束するまで(図10のST06:Yes)、図10のST04~ST07を繰り返し実行する。
制御演算部44は、傾き(姿勢)の補正値(Δω,Δφ,Δκ)が収束し、座標補正値(ΔXi,ΔYi,ΔZi)、(ΔX,ΔY,ΔZ)が収束すると(図10のST06:Yes)、基準カメラ4の傾き(姿勢)(X,Y,Z)、及び基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値(X,Y,Z)を算出(演算)する(図10のST08)。
制御演算部44は、収束した基準カメラ4の傾き(姿勢)の補正値(Δω,Δφ,Δκ)と、収束した時の基準カメラ4の傾き(姿勢)の近似値(ω0a,φ0a,κ0a)を加算して、基準カメラ4の傾き(姿勢)(ω,φ,κ)を算出(演算)する。基準カメラ4の傾き(姿勢)は、(ω,φ,κ)=(ω0a+Δω,φ0a+Δφ,κ0a+Δκ)である。
制御演算部44は、収束した座標補正値(ΔX,ΔY,ΔZ)と、収束した時の基準カメラ4の地上座標系XYZの三次元座標値の近似値(X0a,Y0a,Z0a)を加算して、基準カメラ4の撮影中心Oの地上座標系の三次元座標値(X,Y,Z)を算出(演算)する。基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値は、(X,Y,Z)=(X0a+ΔX,Y0a+ΔY,Z0a+ΔZ)である。
続いて、制御演算部44(制御演算手段6)は、検査カメラ3の撮影中心O1の三次元座標値(Xb,Yb,Zb)をデータ記憶部42から読出して、検査カメラ3の撮影中心O1の地上座標系XYZの三次元座標値(Xq,Yq,Zq)を算出する(図10のST09)。
制御演算部44は、基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値(X,Y,Z)と検査カメラ3の撮影中心線O1の三次元座標値(Xb,Yb,Zb)を加算して、検査カメラ3の撮影中心O1の地上座標系XYZの三次元座標値(Xq,Yq,Zq)を算出(演算)する。検査カメラ3の撮影中心O1の地上座標系XYZの三次元座標値は、(Xq,Yq,Zq)=(X+Xb,Y+Yb,Z+Zb)である。
このように、制御演算部44(制御演算手段6)は、基準カメラ4で撮影した基準画像上の4つの基準点P1,P2,P3,P4の地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),(X3,Y3,Z3),(X4,Y4,Z4)、及び4つの各基準点P1,P2,P3,P4の基準画像上の写真像p,p,p,pの写真座標系xyの写真座標値(x,y),(x,y),(x,y),(x,y)に基づいて、基準カメラ4の傾き(姿勢)の近似値(初期値)(ω0a,φ0a,κ0a)及び基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値の近似値(初期値)(X0a,Y0a,Z0a)を算出(演算)して、基準画像上の全基準点Pi(i=1,2,3,4,…,)の地上座標系XYZの三次元座標値(Xi,Yi,Zi)、基準カメラ4の傾き(姿勢)の近似値(ω0a,φ0a,κ0a)及び基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値の近似値(X0a,Y0a,Z0a)に基づいて、基準カメラ4の傾き(姿勢)(ω,φ,κ)を算出(演算)し、及び基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値(X,Y,Z)を算出(演算)する。
制御演算部44(制御演算手段6)は、図10のST04~ST07を繰返すことで、基準カメラ4の傾き(姿勢)(ω,φ,κ)及び基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値(X,Y,Z)の高精度化を図っている。
検査カメラ3及び基準カメラ4は無人飛行体2に搭載されているので、基準カメラ4の傾き(姿勢)(ω,φ,κ)は、無人飛行体2の三次元の飛行姿勢、及び検査カメラ3の傾き(姿勢)ともなる。
また、基準カメラ4は無人飛行体2に搭載されているので、基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値(X,Y,Z)は、無人飛行体2の三次元の飛行位置ともなる。
次に、被検査構造体の検査システムXにおける一連の処理工程について、図1乃至図7、図10及び図11を参照して説明する。
<基準点設置工程:図11のST21>
被検査構造体Xの検査システムXは、図1及び図2に示すように、4以上の複数の基準点P1,P2,P3,P4,…,Pi,…,Pnを、被検査構造体Yの周辺の地上Zに設置する。各基準点P1,P2,P3,P4,…,Pi,…,Pn(対空標識)は、対空標1aを上方に向けて地上Zに設置する。各基準点P1,P2,P3,P4,…,Pi,…,Pnは、左右方向LR及び前後方向FRにおいて、相互に間隔を隔てて配置される(図11:ST21)。
<三次元座標値取得・記憶工程:図11のST22>
続いて、GNSS(Global Navigation Satellite System)を利用して、第1番目乃至第n番目の基準点P1,P2,P3,P4,…,Pi,…,Pnの地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),(X3,Y3,Z3),…,(Xi,Yi,Zi),…,(Xn,Yn,Zn)を測定して取得する。
制御演算手段6において、入力部41を操作して、第1番目乃至第n番目の基準点P1,P2,P3,P4,…,Pi,…,Pn(対空標識)の地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),(X3,Y3,Z3),(X4,Y4,Z4)…,(Xi,Yi,Zi),…,(Xn,Yn,Zn)と各基準点P1,P2,P3,P4,…,Pi,…,Pnの基準番号N1,N2,N3,N4,…,Ni,…,Nnを制御演算部44に入力する。
制御演算部44は、図7に示すように、各基準点P1,P2,P3,P4,…,Pi,…,Pnの地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),(X3,Y3,Z3),(X4,Y4,Z4)…,(Xi,Yi,Zi),…,(Xn,Yn,Zn)と各基準点P1,P2,P3,P4,…,Pi,…,Pnの基準番号N1,N2,N3,N4,…,Ni,…,Nnを入力すると、各基準点P1,P2,P3,P4,…,Pi,…,Pnの地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),(X3,Y3,Z3),(X4,Y4,Z4)…,(Xi,Yi,Zi),…,(Xn,Yn,Zn)と各基準点P1,P2,P3,P4,…,Pi,…,Pnの基準番号N1,N2,N3,N4,…,Ni,…,Nn(第1番目乃至第n番目)を相互に対応付けてデータ記憶部42に記憶する。
制御演算手段6において、入力部41を操作して、検査カメラ3の撮影中心O1の三次元座標値(Xb,Yb,Zb)を制御演算部44に入力する。制御演算部44は、三次元座標値(Xb,Yb,Zb)をデータ記憶部42に記憶する(図11:ST22)。
<飛行工程:図11のST23>
無人飛行体2を被検査構造体Yに近傍する地上Zに載置して、遠隔操作手段5の自動飛行指示部33(飛行開始ボタン)を操作する。
遠隔制御部34は、図6に示すように、自動飛行指示部33の操作に基づいて、遠隔通信部37(無線通信ユニット32)に飛行開始信号(飛行開始指令)を出力し、遠隔通信部37は、通信アンテナ36から飛行開始信号(飛行開始指令)を無人飛行体2(無線通信ユニット14)に送信する。
無人飛行体2において、機体通信部28は、図6に示すように、通信アンテナ27から飛行開始信号(飛行開始指令)を受信すると、飛行開始信号(飛行開始指令)を機体制御部16に出力する。
機体制御部16は、図3乃至図6に示すように、飛行開始信号(飛行開始指令)を入力すると、画像記憶部15から飛行経路(飛行プログラム)を読出して、各ロータユニット12のロータモータ26を回転する。
これにより、無人飛行体2は、図1及び図2に示すように、各ロータユニット12のロータモータ26の回転による揚力及び推進力によって、地上Zから上昇して飛行される。
続いて、機体制御部16は、飛行経路(飛行プログラム)に基づいて、各ロータユニット12のロータモータ26の回転を制御して、無人飛行体2を被検査構造体Yまで飛行させて、及び無人飛行体2を被検査構造体Y及び各基準点P1,P2,P3,P4,…,Pi,…,Pnの間に飛行させる。このとき、機体制御部16は、飛行経路(飛行プログラム)に基づいて、各ロータユニット12のロータモータ26の回転を変更制御して、検査カメラ3を被検査構造体Yに近接(接近)するように、無人飛行体2を飛行させる。
これにより、無人飛行体2は、図1及び図2に示すように、検査カメラ3の撮影方向αを被検査構造体Y[被検査構造体Yの一部の箇所(部位)]に向け、及び基準カメラ4の撮影方向βを各基準点P1,P2,P3,P4,…,Pi,…,Pnに向ける飛行姿勢(検査飛行姿勢)にて飛行される。
機体制御部16は、飛行経路(飛行プログラム)に基づいて、無人飛行体2を検査飛行姿勢にて低速移動(低速飛行)させる(図11:ST23)。
<撮影工程:図11のST24>
無人飛行体2を検査飛行姿勢(飛行姿勢)で低速移動(低速飛行)させた状態において、機体制御部16は、撮影信号(撮影指令)を検査カメラ3及び基準カメラ4に同時に出力する。
検査カメラ3は、図1及び図2に示すように、撮影信号(撮影指令)を入力すると、被検査構造体Yの一部の箇所(部位)の画像(検査画像)を撮影する。
基準カメラ4は、図1及び図2に示すように、撮影信号(撮影指令)を入力すると、4以上の基準点Pi(i=1,2,3,4,…,n)を含む地上Zの画像、例えば、第1番目乃至第6番目の基準点P1,P2,P3,P4,P5,P6を含む地上Zの画像(基準画像)を撮影する。
このとき、検査カメラ3及び基準カメラ4は、機体制御部16から撮影信号(撮影指令)を同時に入力する。
これにより、検査カメラ3及び基準カメラ4は、図1及び図2に示すように、無人飛行体2の検査飛行姿勢(飛行姿勢)において、被検査構造体Yの一部の箇所(部位)(検査画像)、及び4以上の基準点P1~P6を含む地上Z(基準画像)を同時撮影する(図11:ST24)。
<飛行体の画像記憶工程:図11のST25>
検査カメラ3及び基準カメラ4は、図6に示すように、検査画像及び基準画像を同時撮影すると、同時撮影した検査画像データ及び基準画像データを機体制御部16に出力する。
機体制御部16は、検査画像データ及び基準画像データを入力すると、同時撮影された検査画像(検査画像データ)及び基準画像(基準画像データ)を相互に対応付けて画像記憶部15に記憶する(図11:ST25)。
被検査構造体の検査システムXにおいて、機体制御部16は、飛行経路(飛行プログラム)に基づいて、各ロータユニット12のロータモータ26の回転を変更制御することで、無人飛行体2の検査飛行姿勢(飛行姿勢)を保持した状態において、無人飛行体2を被検査構造体Yに沿って低速移動(低速飛行)させ、及び所定時間毎に撮影信号(撮影指令)を検査カメラ3及び基準カメラ4に同時に出力する。
これにより、検査カメラ3は、無人飛行体2の被検査構造体Yに沿った低速移動(低速飛行)によって、所定時間毎に被検査構造体Yの一部の箇所(部位)の画像(検査画像)を撮影し、基準カメラ4は、無人飛行体2の被検査構造体Yに沿った低速移動(低速飛行)によって、所定時間毎に4以上の基準点P1,P2,P3,P4,…,Pi,…,Pnを含む地上Zの画像(基準画像)を撮影する。検査カメラ3及び基準カメラ4は、所定時間毎に同時撮影した検査画像及び基準画像を機体制御部16に出力し、機体制御部16は、所定時間毎に入力する検査画像及び基準画像を相互に対応付けて画像記憶部15に記憶する。
このように、被検査構造体の検査システムでは、無人飛行体2を被検査構造体Yに沿って低速移動(低速飛行)させることで、検査カメラ3による複数の検査画像、及び基準カメラ4による複数の基準画像を所定時間毎に同時撮影して、同時撮影した検査画像及び基準画像を相互に対応付けて画像記憶部15に記憶する。
<飛行体着陸工程:図11のST26>
無人飛行体2において、機体制御部16は、飛行経路(飛行プログラム)に基づいて、無人飛行体2を地上Zに着陸させる。無人飛行体2は、各支持脚23から地上Zに着陸する(図11:ST26)。
これにより、被検査構造体Yの撮影、及び各基準点P1,P2,P3,P4,…,Pi,…,Pnの撮影を完了する。
<制御演算手段の画像記憶工程:図11のST27>
続いて、無人飛行体2の画像記憶部15に記憶された検査画像(検査画像データ)、及び基準画像(基準画像データ)を取出して、制御演算手段6の入力部41を操作して、検査画像(検査画像データ)及び基準画像(基準画像データ)を制御演算部44に入力する。
制御演算部44は、図7に示すように、検査画像(検査画像データ)及び基準画像(基準画像データ)を入力すると、同時撮影した検査画像及び基準画像を相互に対応付けてデータ記憶部42に記憶する(図11:ST27)。
<画像表示工程:図11のST28>
制御演算手段6において、入力部41を操作して、同時撮影した検査画像(検査画像データ)及び基準画像(基準画像データ)を読出す。
このとき、制御演算部44は、図7に示すように、入力部41の操作に基づいて、同時撮影した検査画像(検査画像データ)及び基準画像(基準画像データ)をデータ記憶部42から読出して、表示部43(液晶表示器)に出力する。表示部43は、同時撮影した検査画像及び基準画像を表示する(図11:ST28)。
<飛行姿勢・位置算出工程:図11のST29>
続いて、表示部43(液晶表示器)に表示された基準画像において、基準画像上(画像上)の4以上の基準点P、例えば、第1番目乃至第6番目の基準点P1,P2,P3,P4,P5,P6から4つの基準点P1,P2,P3,P4(第1番目乃至第4番目の基準点)を選択する。
制御演算手段6(制御演算装置)において、入力部41を操作して、選択した各基準点P1~P4(第1番目乃至第4番目の基準点)の基準番号N1~N4を制御演算部44に入力する。
制御演算部44は、図7に示すように、各基準点P1~P4の基準番号N1~N4を入力すると、データ記憶部42から第1番目乃至第4番目の基準点P1,P2,P3,P4の地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),(X3,Y3,Z3),(X4,Y4,Z4)を読出す。
制御演算部44は、選択された基準点P1,P2,P3,P4に対応する写真像p,p,p,pの写真座標値(x,y),(x,y),(x,y),(x,y)を基準画像から取得する。
続いて、制御演算部44(制御演算手段6)は、図10のST02で説明したと同様に、選択した各基準点P1,P2,P3,P4の基準画像上(画像上)の写真座標系xyの写真像p,p,p,pの写真座標値(x,y),(x,y),(x,y),(x,y)と、選択した各基準点P1,P2,P3,P4の地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),(X3,Y3,Z3),(X4,Y4,Z4)から係数b1~b8を算出(演算)する。
続いて、制御演算部44(制御演算手段6)は、図10のST03で説明したと同様に、算出したパラメータb~b8を用いて、式(6)から同時撮影時の基準カメラ4の傾き(姿勢)の近似値(ω0a,φ0a,κ0a)を算出(演算)し、及び同時撮影時の基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値の近似値(X0a,Y0a,Z0a)を算出(演算)する。
続いて、制御演算部44は、基準画像上の全ての基準点P1,P2,P3,P4,P5,P6の地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),(X3,Y3,Z3),(X4,Y4,Z4),(X5,Y5,Z5),(X6,Y6,Z6)をデータ記憶部42から読出す。
制御演算部44は、図10のST04~ST09で説明したと同様に、基準画像上の全基準点P1~P6の地上座標系XYZの三次元座標値(X1,Y1,Z1)~(X6,Y6,Z6)、基準カメラ4の傾き(姿勢)の近似値(ω0a,φ0a,κ0a)及び基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値の近似値(X0a,Y0a,Z0a)から基準カメラ4の傾き(姿勢)(ω,φ,κ)、及び基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値(X,Y,Z)を算出(演算)する(図11:ST29)。
検査カメラ3及び基準カメラ4は無人飛行体2に搭載していることから、基準カメラ4の傾き(姿勢)(ω,φ,κ)は、無人飛行体2の三次元の飛行姿勢、及び検査カメラ3の傾き(姿勢)ともなる。
基準カメラ4は無人飛行体2に搭載していることから、基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値(X,Y,Z)は、無人飛行体2の三次元の飛行位置ともなる。
図11のST28及びST29を繰り返すことで、複数の基準画像について、検査カメラ3と同時撮影時の基準カメラ4の傾き(姿勢)(ω,φ,κ)を算出(演算)し、及び検査カメラ3と同時撮影時の基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値(X,Y,Z)を算出する。
<検査画像の座標付け工程:図11のST30>
制御演算部44(制御演算手段6)は、図10のST09で説明したと同様に、検査カメラ3の撮影中心O1の三次元座標値(Xb,Yb,Zb)をデータ記憶部42から読出して、検査カメラ3の撮影中心O1の地上座標系XYZの三次元座標値(Xq,Yq,Zq)を算出(演算)する。
制御演算部44は、基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値(X0,Y0,Z0)に三次元座標値(Xb,Yb,Zb)を加算して、三次元座標値(Xq,Yq,Zq)を算出(演算)する。
これにより、基準カメラ4の基準画像と同時撮影した検査カメラ3の検査画像について、検査画像の地上座標系XYZの三次元座標値(Xq,Yq,Zq)と、検査画像の傾き(姿勢)(ω,φ,κ)を座標付けられる(図11:ST30)。
検査カメラ3で撮影された複数の検査画像についても、図11のST30を実行することで、座標付けする。
これにより、検査画像について、座標付けすることで、検査カメラ3で撮影した被検査構造体Yの箇所(部位)を特定できる。
制御演算部44は、基準カメラ4の傾き(姿勢)(ω,φ,κ)、基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値(X,Y,Z)、及び検査画像の地上座標系XYZの三次元座標値(Xq,Yq,Zq)を、同時撮影した検査画像及び基準画像に対応付けてデータ記憶部42に記憶する。
<座標値・姿勢表示工程:図11のST31>
制御演算部44は、無人飛行体2の三次元の飛行姿勢(ω,φ,κ)、無人飛行体2の三次元の飛行位置(X,Y,Z)、及び検査画像の地上座標系XYZの三次元座標値(Xq,Yq,Zq)を表示部43に出力して、表示部43に表示する(図11:ST31)。
被検査構造体Yを検査する者(以下、「検査者」という)は、検査画像を見て、被検査構造体Yの欠陥を判別する。検査者は、座標付けした検査画像の地上座標系XYZの三次元座標値(Xq,Yq,Zq)及び検査画像の傾き(姿勢)(ω,φ,κ)から、被検査構造体Yの箇所(部位)を特定でき、被検査構造体Yに発生している実際の欠陥を確認できる。
本発明は、被検査構造体を撮影した画像から欠陥を判別するのに最適である。
X 被検査構造体の検査システム
Y 被検査構造体(被検査構造物/橋梁)
Z 地上
P1,P2,…,Pi,…,Pn 基準点(対空標識)
,p,…,p,…,p 写真像
2 無人飛行体
3 検査カメラ
4 基準カメラ
6 制御演算手段(制御演算装置)
α 撮影方向(検査カメラ)
β 撮影方向(基準カメラ)
Xi,Yi,Zi 基準点の地上座標系の三次元座標値
,y 写真像の写真座標値
,Y,Z 基準カメラの撮影中心の地上座標系の三次元座標値
ω,φ,κ 基準カメラの傾き(姿勢)
O 基準カメラの撮影中心
O1 検査カメラの撮影中心

Claims (1)

  1. 被検査構造体の画像を撮影し、前記被検査構造体の画像から欠陥を判別する被検査構造体の検査システムであって、
    前記被検査構造体の周辺に配置され、地上座標系XYZの三次元座標値を測定済みの4以上の基準点と、
    前記被検査構造体及び前記基準点の間に飛行される無人飛行体と、
    前記無人飛行体に搭載され、前記被検査構造体の一部の箇所の検査画像を撮影する検査カメラと、
    撮影方向を前記検査カメラの撮影方向と反対側に位置して前記無人飛行体に搭載され、4以上の前記基準点を含む基準画像を撮影する基準カメラと、
    制御演算手段と、を備え、
    前記無人飛行体は、
    前記検査カメラの撮影方向を前記被検査構造体に向け、及び前記基準カメラの撮影方向を前記各基準点に向ける飛行姿勢にて飛行され、
    前記検査カメラ、及び前記基準カメラは、
    前記無人飛行体の前記飛行姿勢において、前記被検査構造体の一部の箇所及び4以上の前記基準点を同時撮影し、
    前記制御演算手段は、
    前記基準カメラの撮影した基準画像上の各基準点から選択した4つの基準点について、選択した前記各基準点の基準画像上の写真座標系xyの写真座標値と、前記基準カメラで撮影した基準画像上の全ての基準点の地上座標系XYZの三次元座標値に基づいて、同時撮影時の前記検査カメラの地上座標系XYZにおける姿勢、及び同時撮影時の前記基準カメラの撮影中心の地上座標系XYZの三次元座標値を算出し、
    前記基準カメラの撮影中心からの前記検査カメラの撮影中心の三次元座標値と、前記基準カメラの撮影中心の地上座標系XYZの三次元座標値に基づいて、前記検査カメラの撮影中心であって、前記検査カメラで撮影した検査画像の地上座標系XYZの三次元座標値を算出する
    ことを特徴とする被検査構造体の検査システム。
JP2018080495A 2018-04-19 2018-04-19 被検査構造体の検査システム Active JP6989849B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018080495A JP6989849B2 (ja) 2018-04-19 2018-04-19 被検査構造体の検査システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018080495A JP6989849B2 (ja) 2018-04-19 2018-04-19 被検査構造体の検査システム

Publications (2)

Publication Number Publication Date
JP2019191684A JP2019191684A (ja) 2019-10-31
JP6989849B2 true JP6989849B2 (ja) 2022-01-12

Family

ID=68389911

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018080495A Active JP6989849B2 (ja) 2018-04-19 2018-04-19 被検査構造体の検査システム

Country Status (1)

Country Link
JP (1) JP6989849B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113432529B (zh) * 2020-12-30 2022-09-20 华南理工大学 一种基于无人机摄像的震损结构层间残余变形检测方法
CN113865579A (zh) * 2021-08-06 2021-12-31 湖南大学 无人机位姿参数的测量***及方法
CN114486908A (zh) * 2021-12-31 2022-05-13 长江航道工程局有限责任公司 一种桥墩病害识别检测无人机及检测方法
CN115343298B (zh) * 2022-09-06 2023-05-23 水利部交通运输部国家能源局南京水利科学研究院 无人机搭载遥控弹射的附着式标尺***与标记方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012140101A (ja) 2011-01-04 2012-07-26 Topcon Corp 飛行体の飛行制御システム
JP2016082441A (ja) 2014-10-17 2016-05-16 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
JP2016138788A (ja) 2015-01-27 2016-08-04 株式会社トプコン 測量データ処理装置、測量データ処理方法およびプログラム
JP2017509981A (ja) 2014-12-31 2017-04-06 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd センサデータの選択的処理

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012140101A (ja) 2011-01-04 2012-07-26 Topcon Corp 飛行体の飛行制御システム
JP2016082441A (ja) 2014-10-17 2016-05-16 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
JP2017509981A (ja) 2014-12-31 2017-04-06 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd センサデータの選択的処理
JP2016138788A (ja) 2015-01-27 2016-08-04 株式会社トプコン 測量データ処理装置、測量データ処理方法およびプログラム

Also Published As

Publication number Publication date
JP2019191684A (ja) 2019-10-31

Similar Documents

Publication Publication Date Title
JP6989849B2 (ja) 被検査構造体の検査システム
JP6387782B2 (ja) 制御装置、制御方法及びコンピュータプログラム
JP6055274B2 (ja) 航空写真測定方法及び航空写真測定システム
JP5947634B2 (ja) 航空写真撮像方法及び航空写真撮像システム
EP2772725B1 (en) Aerial Photographing System
CN105335733B (zh) 一种无人机自主着陆视觉定位方法及***
CN102591353B (zh) 飞行体的飞行控制***
JP5748561B2 (ja) 航空写真撮像方法及び航空写真撮像装置
US9641810B2 (en) Method for acquiring images from arbitrary perspectives with UAVs equipped with fixed imagers
JP6658532B2 (ja) 制御装置、制御方法および飛行体デバイス
KR20190051704A (ko) 스테레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템
JP6430073B2 (ja) 姿勢推定装置、姿勢推定方法及び観測システム
KR100556103B1 (ko) 자동촬영시스템을 이용한 항공촬영방법
JP5775632B2 (ja) 飛行体の飛行制御システム
JP2016111414A (ja) 飛行体の位置検出システム及び飛行体
KR101160454B1 (ko) 무인항공기의 자세 제어를 이용한 3d 공간정보구축 방법
JP2017076302A (ja) 小型無人飛行機の制御方法
CN113984019A (zh) 测量***、测量方法以及测量用程序
JP2004245741A (ja) 空中写真測量方法
CN211552835U (zh) 基于无人机的远程gps rtk测量的公路外业勘测***
JP6368016B2 (ja) 航空写真システム
JP2022040377A (ja) 制御方法及び制御装置
JP2023093808A (ja) 飛行経路正規化装置、飛行経路正規化方法及び飛行経路正規化プログラム
WO2021130980A1 (ja) 飛行体の飛行経路表示方法及び情報処理装置
JP2018174002A (ja) 移動体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180515

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200131

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211026

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211118

R150 Certificate of patent or registration of utility model

Ref document number: 6989849

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150