JP6989849B2 - 被検査構造体の検査システム - Google Patents
被検査構造体の検査システム Download PDFInfo
- Publication number
- JP6989849B2 JP6989849B2 JP2018080495A JP2018080495A JP6989849B2 JP 6989849 B2 JP6989849 B2 JP 6989849B2 JP 2018080495 A JP2018080495 A JP 2018080495A JP 2018080495 A JP2018080495 A JP 2018080495A JP 6989849 B2 JP6989849 B2 JP 6989849B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- inspection
- image
- inspected
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims description 182
- 238000004364 calculation method Methods 0.000 claims description 98
- 230000007547 defect Effects 0.000 claims description 8
- 238000012937 correction Methods 0.000 description 31
- 238000004891 communication Methods 0.000 description 30
- 238000000034 method Methods 0.000 description 23
- 238000013500 data storage Methods 0.000 description 19
- 239000003550 marker Substances 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 9
- 238000005259 measurement Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000011835 investigation Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical group C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000001141 propulsive effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000011900 installation process Methods 0.000 description 1
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
請求項1では、第1に、無人飛行体は、検査カメラを被検査構造体に近接(接近)して飛行して、検査カメラの撮影方向を被検査構造体に向け、基準カメラの撮影方向を各基準点に向ける飛行姿勢(検査飛行姿勢)にする。第2に、検査カメラは、無人飛行体の飛行姿勢において、被検査構造体の全体又は一部の箇所(部位)の画像(検査画像)を撮影し、基準カメラは、無人飛行体の飛行姿勢において、4以上の基準点を含む地上の画像(基準画像)を撮影する。検査カメラ及び基準カメラは、検査画像及び基準画像を同時撮影する。このように、無人飛行体の飛行姿勢(検査飛行姿勢)を順次変更することで、検査カメラ及び基準カメラは、被検査構造体の複数の箇所(部位)の画像(検査画像)及び4以上の基準点を含む地上の画像(基準画像)を同時撮影する。第3に、制御演算手段は、基準カメラの撮影した画像上(基準画像上)の各基準点から選択した4つの基準点について、選択した各基準点の画像上の写真座標値(x,y)[写真座標系xyの写真座標値(x,y)]と、選択した各基準点の三次元座標値(X,Y,Z)[地上座標系XYZの三次元座標値(X,Y,Z)]に基づいて、同時撮影時の無人飛行体の三次元の飛行姿勢を算出(演算)し、及び同時撮影時の無人飛行体の三次元の飛行位置を算出(演算)する。制御演算手段は、後方交会法であって、例えば、単写真標定(後方交会法)の共線条件を用いて、選択した4つの基準点の画像上(基準画像上)の写真座標値(x,y)、及び選択した4つの基準点Pの三次元座標値(X,Y,Z)から基準カメラの傾き(姿勢)(ω,φ,κ)を算出(演算)し、及び基準カメラの撮影中心の地上座標系XYZの三次元座標値(X0,Y0,Z0)を算出(演算)する。
検査カメラ及び基準カメラは無人飛行体に搭載されているので、基準カメラの傾き(姿勢)(ω,φ,κ)は無人飛行体の三次元の飛行姿勢、及び検査カメラの傾き(姿勢)ともなる。基準カメラは無人飛行体に搭載されているので、基準カメラの撮影中心の地上座標系XYZの三次元座標値(X0,Y0,Z0)は、無人飛行体の三次元の飛行位置ともなる。無人飛行体に搭載された基準カメラの撮影中心からの検査カメラの撮影中心の三次元座標値(距離位置)と、基準カメラの撮影中心の地上座標系XYZの三次元座標値(X0,Y0,Z0)から検査カメラの撮影中心であって、検査画像の地上座標系XYZの三次元座標値(Xq,Yq,Zq)を求める。
これにより、検査カメラで撮影した被検査構造体の画像(検査画像)ついて、傾き(姿勢)(ω,φ,κ)、及び地上座標系XYZの三次元座標値(Xq,Yq,Zq)を座標付けできる。
被検査構造体Y(被検査構造物)は、図1及び図2に示すように、建築構造物であって、地上Zに建造される。被検査構造体Yは、例えば、道路や鉄道等の橋梁である。なお、被検査構造体Y(被検査構造物)は、道路や鉄道等の橋梁に限定されず、ビルや住宅等を含む建築構造物であれば良い。
4以上の第1番目乃至第n番目の基準点P1,P2,P3,P4,…,Pi,…,Pnは、図1及び図2に示すように、被検査構造体Y(橋梁)の周辺に配置される。第1番目乃至第n番目の基準点P1,P2,P3,P4,…,Pi,…,Pnは、被検査構造体Yに隣接して地上Zに設置される。
各基準点P1,P2,P3,P4,…,Pi,…,Pnは、図1及び図2に示すように、被検査構造体Y(橋梁)の左右方向LR、及び被検査構造体Yの前後方向FRにおいて、相互に間隔を隔てて地上Zに設置される。なお、被検査構造体Yの左右方向LR、及び被検査構造体Yの前後方向FRは、相互に直交する方向である(以下、単に「左右方向LR」、「前後方向FR」という)。
各基準点P1,P2,P3,P4,…,Pi,…,Pnの地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),…,(Xi,Yi,Zi),…,(Xn,Yn,Zn)は、平面直角座標値である。
第1番目の基準点P1の地上座標系XYZの三次元座標値は、(X1,Y1,Z1)、第2番目の基準点P2の地上座標系XYZの三次元座標値は、(X2,Y2,Z2)、第i番目の基準点Piの地上座標系XYZの三次元座標値は、(Xi,Yi,Zi)、第n番目の基準点Pnの地上座標系XYZの三次元座標値は、(Xn,Yn,Zn)となる。
各基準点P1,P2,P3,P4,…,Pi,…,Pn(対空標識)の地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),…,(Xi,Yi,Zi),…,(Xn,Yn,Zn)は、GNSS(Global Navigation Satellite System)を利用して、受信機(図示しない)にて予め測定して取得する。受信機は、アンテナを備え、各基準点P1,P2,P3,P4,…,Pi,…,Pnに設置される。受信機は、アンテナにて衛星(図示しない)の電波を受信して、衛星からの電波に基づいて、各基準点P1,P2,P3,P4,…,Pi,…,Pnの平面直角座標値[地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),…,(Xi,Yi,Zi),…,(Xn,Yn,Zn)]を取得する。
無人飛行体2は、図3乃至図5に示すように、無人飛行機(UAV:Unmanned aerial vehicle)であって、例えば、積載可能重量が2.5Kg~3.5Kg程度の小型のドローン(小型の無人飛行体)である。
無人飛行体2は、図3乃至図6に示すように、機体11、複数(4つ)のロータユニット12、無線通信ユニット14、画像記憶部15、機体制御部16及び電源17(バッテリー)を備える。
各ロータア-ム22は、機体部21から外方向に放射状に延在される。各支持脚23は、機体部21の裏面21Bに取付けられて、機体部21の裏面21Bから下方向に延在される。
画像記憶部15は、無人飛行体2の飛行経路(飛行プログラム)を記憶する。飛行経路(飛行プログラム)は、無人飛行体2を被検査構造体Yまで飛行させ、及び無人飛行体2を被検査構造体Yに沿って飛行させるためのプログラムである。
機体制御部16は、各ロータユニット12のロータモータ26を同一回転数に制御することで、機体11に揚力を発生する。無人飛行体2は、揚力によって被検査構造体Yの上下方向UDに上昇し、及び飛行姿勢を維持(ホバリング)する。なお、被検査構造体Yの上下方向UDは、左右方向LR及び前後方向FRに直交する方向である(以下、「上下方向UD」という)。
機体制御部16は、各ロータユニット12のロータモータ26の回転数を変更することで、機体11に推進力を発生する。無人飛行体2は、推進力によって傾斜され、左右方向LR及び前後方向FRに飛行される。
機体制御部16は、飛行開始信号(飛行開始指令)を入力すると、画像記憶部15から飛行経路(飛行プログラム)を読出して、飛行経路(飛行プログラム)に基づいて、各ロータユニット12のロータモータ26の回転を制御することで、無人飛行体2を被検査構造体Yまで飛行させる。機体制御部16は、飛行経路(飛行プログラム)に基づいて、各ロータユニット12のロータモータ26の回転を変更制御することで、無人飛行体2を被検査構造体Yに沿って低速移動(低速飛行)させる。
機体制御部16は、所定時間毎に撮影信号(撮影指令)を検査カメラ3及び基準カメラ4に同時に出力する。
これにより、機体制御部16は、検査カメラ3及び基準カメラ4を同時動作して、検査カメラ3の検査画像及び基準カメラ4の基準画像を同時撮影させる。また、機体制御部16は、所定時間毎に撮影信号(撮影指令)を検査カメラ3及び基準カメラ4に出力することで、検査カメラ3及び基準カメラ4の撮影を連続して同時に行わせる。
機体制御部16は、検査カメラ3及び基準カメラ4において、同時撮影した検査画像及び基準画像を相互に対応付けて画像記憶部15に記憶する。
検査カメラ3は、図1及び図2に示すように、被検査構造体Y(被検査構造物/橋梁)の一部の箇所(部位)の画像(検査画像)を撮影する。検査カメラ3は、図4乃至図6に示すように、例えば、デジタルカメラであって、無人飛行体2(機体11の機体部21)に搭載される。
検査カメラ3は、図4に示すように、撮影方向αを無人飛行体2(機体11)の後方に向けて、機体部21(機体11)の裏面21Bに取付けられる。
検査カメラ3の撮影方向αは、カメラレンズ2Aの撮影中心O1を通るカメラ光軸方向であって、検査カメラ3は、図1及び図4に示すように、カメラ光軸を無人飛行体2(機体11)の後方に向けて、機体部21(機体11)の裏面21Bに取付けられる。
基準カメラ4は、図1及び図2に示すように、4以上の基準点P1,P2,P3,P4,…,Pi,…,Pn(対空標識)を含む地上Zの画像(基準画像)を撮影する。基準カメラ4は、図3、図5及び図6に示すように、無人飛行体2(機体11の機体部21)に搭載される。基準カメラ4は、各支持脚23の間に配置される。
基準カメラ4は、撮影方向βを無人飛行体2(機体11)の前方に向けて、機体部21(機体11)の裏面21Bに取付けられる。
基準カメラ4の撮影方向βは、カメラレンズ3Aの撮影中心Oを通るカメラ光軸方向であって、基準カメラ4は、図1及び図4に示すように、カメラ光軸を無人飛行体2(機体11)の前方に向けて、機体部21(機体11)の表面21Aに取付けられる。
基準カメラ4は、図1及び図4に示すように、撮影方向βを検査カメラ3の撮影方向αと反対側に位置(撮影方向βを撮影方向αに対して角度:180度を隔てる方向に位置)して、機体部21(無人飛行体2)に搭載される。
基準カメラ4は、図6に示すように、機体制御部16及び電源17に接続され、機体制御部16からの撮影信号(撮影指令)を入力すると、4以上の基準点P1,P2,P3,P4,…,Pi,…,Pnを含む地上Zの画像(基準画像)を撮影する。基準カメラ4は、撮影した基準画像を機体制御部16に出力する。
検査カメラ3及び基準カメラ4は、機体制御部16からの撮影信号(撮影指令)を所定時間毎に同時入力して、被検査構造体Yの一部の箇所(部位)、及び4以上の各基準点P1,P2,P3,P4,…,Pi,…,Pnを含む地上Zを所定時間毎に連続して同時撮影する。
これにより、検査カメラ3及び基準カメラ4は、検査画像の複数、及び基準画像の複数を同時に撮影する。
遠隔操作装置5は、図6に示すように、遠隔飛行操縦部31、無線通信ユニット32、自動飛行指示部33、遠隔制御部34及び電源35(バッテリー)を備える。
遠隔制御部34は、自動飛行指示部33の操作(飛行開始ボタンのON操作)に基づいて、飛行開始信号(飛行開始指令)を遠隔通信部37に出力する。
制御演算手段6(制御演算装置)は、無人飛行体2の三次元の飛行姿勢を算出(演算)し、及び無人飛行体2の三次元の飛行位置を算出(演算)する。
入力部41は、入力操作に基づいて、第1番目乃至第n番目の基準点P1,P2,P3,P4,…,Pi,…,Pnの地上座標系XYXの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),…,(Xi,Yi,Zi),…,(Xn,Yn,Zn)と各基準点P1,P2,P3,P4,…,Pi,…,Pnの基準番号N1,N2,N3,N4,…,Ni,…Nnを入力して、制御演算部44に出力する。
入力部41は、入力操作に基づいて、検査カメラ3で撮影した検査画像及び基準カメラ4で撮影した基準画像を入力して、制御演算部44に出力する。
データ記憶部42は、検査カメラ3の撮影した検査画像、及び基準カメラ4の撮影した基準画像を記憶する。データ記憶部42は、同時撮影した検査画像及び基準画像を相互に対応付けて記憶する。
データ記憶部42は、図8に示すように、検査カメラ3のカメラレンズ3Aの撮影中心O1の三次元座標値(Xb,Yb,Zb)を記憶する。
図8において、検査カメラ3及び基準カメラ4の撮影方向α,βにZ軸をとる。検査カメラ3の撮影中心O1の三次元座標(Xb,Yb,Zb)は、図8に示すように、基準カメラ4の撮影中心Oの三次元座標値(0,0,0)として、撮影中心OからのXYZ軸の三次元座標値(距離位置)である。検査カメラ3の撮影中心O1の三次元座標値(Xb,Yb,Zb)は、予め測定して取得する。
制御演算部44は、第1番目乃至第n番目の基準点P1,P2,P3,P4,…,Pi,…,Pnの地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),…,(Xi,Yi,Zi),…,(Xn,Yn,Zn)と各基準点P1,P2,P3,P4,…,Pi,…,Pnの基準番号N1,N2,N3,N4,…,Ni,…,Nnを入力すると、第1番目乃至第n番目の基準点P1,P2,P3,P4,…の地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),…,(Xi,Yi,Zi),…,(Xn,Yn,Zn)と各基準点P1,P2,P3,P4,…,Pi,…,Pnの基準番号N1,N2,N3,N4,…,Ni,…,Nnを相互に対応付けてデータ記憶部42に記憶する。
制御演算部44は、検査カメラ3の撮影した検査画像及び基準カメラ4の撮影した基準画像を入力すると、同時撮影した検査画像及び基準画像を相互に対応付けてデータ記憶部42に記憶する。
制御演算部44は、検査カメラ3の撮影中心O1の三次元座標値(Xb,Yb,Zb)を入力すると、三次元座標値(Xb,Yb,Zb)をデータ記憶部42に記憶する。
単写真標定は、基準カメラ4で撮影した基準画像(写真)上の基準点Pi(P1,P2,P3,P4,…,Pn:i=1,2,3,…,n)に成立する共線条件を用いて、基準カメラ4の撮影中心Oの位置[地上座標系XYZの三次元座標値(X0,Y0,Z0)、即ち、無人飛行体2の三次元の飛行位置]、及び基準カメラ4の傾き(姿勢)[(ω,φ,κ)、即ち、無人飛行体2の三次元の飛行姿勢]を算出する方法である。
共線条件は、図9に示すように、基準カメラ4の撮影中心O、基準点Pi(P1,P2,P3,P4)、及び基準点Piの基準画像上の写真像pi(p1,p2,p3,p4)とすると、OpiPi(Op1P1,Op2P2,Op3P3,Op4P4)が一直線上にあるという条件である。
なお、基準カメラ4の傾き(姿勢)(ω,φ,κ)において、ω(傾き)はx軸周りの角度、φ(傾き)はy軸周りの角度、κ(傾き)はz軸周りの角度である(図9参照)
[1]未知変量(未知数)の近似値を算出する。
[2]未知変量の近似値を共線条件の基本式に代入して、近似値まわりにテイラー展開して2次以上の項を無視して線形化して、2×nの式数からなる線形の観測方程式(6元一次の観測方程式)を得る。
[3]各線形の観測方程式から、未知変量(未知数)の座標補正量と傾き(姿勢)の補正量とを最小にする解を最小二乗法により算出する。
[4]座標補正値と傾き(姿勢)の補正値の収束を判別する。
[5]座標補正値と傾き(姿勢)の補正値を、近似値に加えて新たな近似値を算出する。
未知変量(未知数)の座標補正値と傾き(姿勢)の補正値が収束するまで[2]~[5]処理を繰り返して、未知変量(未知数)を算出する(逐次近似解法)。
X=Xai+ΔXi
Y=Yai+ΔYi
Z=Zai+ΔZi
ω=ω0a+Δω
φ=φ0a+Δφ
κ=κ0a+Δκ
X0=X0a+ΔX0
Y0=Y0a+ΔY0
Z0=X0a+ΔZ0
である。
[式(3)]において、
X,Y,Z:基準点の地上座標系の三次元座標値
ω,φ,κ:基準カメラの傾き(姿勢)
X0,Y0,Z0:基準カメラの撮影中心の地上座標系の三次元座標値
i=1,2,3,4,…,n
[式(4)]において、X,Y,Z、ω,φ,κ,X0,Y0,Z0は、式(3)に示す数値である。
2次射影変換式は、式(5)となる。
制御演算部44(制御演算手段6)は、図10に示す演算処理(演算プログラム)を実行して、無人飛行体2の三次元の飛行姿勢、及び無人飛行体2の三次元の飛行位置を算出(演算)する。
制御演算部44は、選択した各基準点P1,P2,P3,P4の基準画像から、各基準点P1,P2,P3,P4に対応する写真像p1,p2,p3,p4の写真座標系xyの写真座標値(x1,y1),(x2,y2),(x3,y3),(x4,y4)を取得する(図10のST01)。
制御演算部44(制御演算手段6)は、選択した各基準点P1,P2,P3,P4の基準画像上の写真像p1,p2,p3,p4の写真座標系xyの写真座標値(x1,y1),(x2,y2),(x3,y3),(x4,y4)、及び選択した各基準点P1,P2,P3,P4の地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),(X3,Y3,Z3),(X4,Y4,Z4)に基づいて、基準カメラ4の傾き(姿勢)の近似値(初期値)(ω0a,φ0a,κ0a)、及び基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値の近似値(初期値)(X0a,Y0a,Z0a)を算出(演算)する。
制御演算部44は、係数b1~b8を式(6)に代入して、基準カメラ4の傾き(姿勢)の近似値(ω0a,φ0a,κ0a)、及び基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値の近似値(初期値)(X0a,Y0a,Z0a)を算出(演算)する(図10のST03)。
線形の観測方程式の式数:2×nにおいて、係数nは基準点Piの点数ある。例えば、、基準点Piの点数がi=6のときは、線形の観測方程式の式数は2×6=12となる。
制御演算部44は、基準カメラ4の傾き(姿勢)の補正値(Δω,Δφ,Δκ)の収束を判別する(図10のST06)。制御演算部44は、基準カメラ4の傾き(姿勢)が、例えば、10-7以下(Δω≦10-7,Δφ≦10-7,Δκ≦10-7)であれば収束と判断する(図10のST06:Yes)。
制御演算部44は、基準カメラ4の撮影中心Oの三次元座標値の座標補正値(ΔX0,ΔY0,ΔZ0)の収束を判別する(図10のST06)。制御演算部44は、基準カメラ4の撮影中心Oの三次元座標値の座標補正値(ΔX0,ΔY0,ΔZ0)が、例えば、10-7以下(ΔX0≦10-7,ΔY0≦10-7,ΔZ0≦10-7)であれば収束と判断する(図10のST06:Yes)。
制御演算部44は、基準カメラ4の傾き(姿勢)の補正値(Δω,Δφ,Δκ))が収束していないと判断すると(図10のST06:No)、基準カメラ4の傾き(姿勢)の補正値(Δω,Δφ,Δκ)を基準カメラ4の傾き(姿勢)の近似値(ω0a,φ0a,κ0a)に加算して、基準カメラ4の傾き(姿勢)について、新たな近似値(ω0a,φ0a,κ0a)を算出(演算)する(図10のST07)。
制御演算部44は、基準カメラ4の撮影中心Oの三次元座標値の座標補正値(ΔX0,ΔY0,ΔZ0)が収束していないと判断すると(図10のST06:No)、基準カメラ4の撮影中心Oの三次元座標の座標補正値(ΔX0,ΔY0,ΔZ0)を基準カメラ4の撮影中心Oの三次元座標値の近似値(X0a,Y0a,Z0a)に加算して、基準カメラ4の撮影中心Oの三次元座標値について、新たな近似値(X0a,Y0a,Z0a)を算出(演算)する(図10のST07)。
制御演算部44は、収束した基準カメラ4の傾き(姿勢)の補正値(Δω,Δφ,Δκ)と、収束した時の基準カメラ4の傾き(姿勢)の近似値(ω0a,φ0a,κ0a)を加算して、基準カメラ4の傾き(姿勢)(ω,φ,κ)を算出(演算)する。基準カメラ4の傾き(姿勢)は、(ω,φ,κ)=(ω0a+Δω,φ0a+Δφ,κ0a+Δκ)である。
制御演算部44は、収束した座標補正値(ΔX0,ΔY0,ΔZ0)と、収束した時の基準カメラ4の地上座標系XYZの三次元座標値の近似値(X0a,Y0a,Z0a)を加算して、基準カメラ4の撮影中心Oの地上座標系の三次元座標値(X0,Y0,Z0)を算出(演算)する。基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値は、(X0,Y0,Z0)=(X0a+ΔX0,Y0a+ΔY0,Z0a+ΔZ0)である。
制御演算部44は、基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値(X0,Y0,Z0)と検査カメラ3の撮影中心線O1の三次元座標値(Xb,Yb,Zb)を加算して、検査カメラ3の撮影中心O1の地上座標系XYZの三次元座標値(Xq,Yq,Zq)を算出(演算)する。検査カメラ3の撮影中心O1の地上座標系XYZの三次元座標値は、(Xq,Yq,Zq)=(X0+Xb,Y0+Yb,Z0+Zb)である。
制御演算部44(制御演算手段6)は、図10のST04~ST07を繰返すことで、基準カメラ4の傾き(姿勢)(ω,φ,κ)及び基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値(X0,Y0,Z0)の高精度化を図っている。
検査カメラ3及び基準カメラ4は無人飛行体2に搭載されているので、基準カメラ4の傾き(姿勢)(ω,φ,κ)は、無人飛行体2の三次元の飛行姿勢、及び検査カメラ3の傾き(姿勢)ともなる。
また、基準カメラ4は無人飛行体2に搭載されているので、基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値(X0,Y0,Z0)は、無人飛行体2の三次元の飛行位置ともなる。
被検査構造体Xの検査システムXは、図1及び図2に示すように、4以上の複数の基準点P1,P2,P3,P4,…,Pi,…,Pnを、被検査構造体Yの周辺の地上Zに設置する。各基準点P1,P2,P3,P4,…,Pi,…,Pn(対空標識)は、対空標1aを上方に向けて地上Zに設置する。各基準点P1,P2,P3,P4,…,Pi,…,Pnは、左右方向LR及び前後方向FRにおいて、相互に間隔を隔てて配置される(図11:ST21)。
続いて、GNSS(Global Navigation Satellite System)を利用して、第1番目乃至第n番目の基準点P1,P2,P3,P4,…,Pi,…,Pnの地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),(X3,Y3,Z3),…,(Xi,Yi,Zi),…,(Xn,Yn,Zn)を測定して取得する。
制御演算手段6において、入力部41を操作して、第1番目乃至第n番目の基準点P1,P2,P3,P4,…,Pi,…,Pn(対空標識)の地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),(X3,Y3,Z3),(X4,Y4,Z4)…,(Xi,Yi,Zi),…,(Xn,Yn,Zn)と各基準点P1,P2,P3,P4,…,Pi,…,Pnの基準番号N1,N2,N3,N4,…,Ni,…,Nnを制御演算部44に入力する。
制御演算部44は、図7に示すように、各基準点P1,P2,P3,P4,…,Pi,…,Pnの地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),(X3,Y3,Z3),(X4,Y4,Z4)…,(Xi,Yi,Zi),…,(Xn,Yn,Zn)と各基準点P1,P2,P3,P4,…,Pi,…,Pnの基準番号N1,N2,N3,N4,…,Ni,…,Nnを入力すると、各基準点P1,P2,P3,P4,…,Pi,…,Pnの地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),(X3,Y3,Z3),(X4,Y4,Z4)…,(Xi,Yi,Zi),…,(Xn,Yn,Zn)と各基準点P1,P2,P3,P4,…,Pi,…,Pnの基準番号N1,N2,N3,N4,…,Ni,…,Nn(第1番目乃至第n番目)を相互に対応付けてデータ記憶部42に記憶する。
制御演算手段6において、入力部41を操作して、検査カメラ3の撮影中心O1の三次元座標値(Xb,Yb,Zb)を制御演算部44に入力する。制御演算部44は、三次元座標値(Xb,Yb,Zb)をデータ記憶部42に記憶する(図11:ST22)。
無人飛行体2を被検査構造体Yに近傍する地上Zに載置して、遠隔操作手段5の自動飛行指示部33(飛行開始ボタン)を操作する。
遠隔制御部34は、図6に示すように、自動飛行指示部33の操作に基づいて、遠隔通信部37(無線通信ユニット32)に飛行開始信号(飛行開始指令)を出力し、遠隔通信部37は、通信アンテナ36から飛行開始信号(飛行開始指令)を無人飛行体2(無線通信ユニット14)に送信する。
無人飛行体2において、機体通信部28は、図6に示すように、通信アンテナ27から飛行開始信号(飛行開始指令)を受信すると、飛行開始信号(飛行開始指令)を機体制御部16に出力する。
機体制御部16は、図3乃至図6に示すように、飛行開始信号(飛行開始指令)を入力すると、画像記憶部15から飛行経路(飛行プログラム)を読出して、各ロータユニット12のロータモータ26を回転する。
これにより、無人飛行体2は、図1及び図2に示すように、各ロータユニット12のロータモータ26の回転による揚力及び推進力によって、地上Zから上昇して飛行される。
続いて、機体制御部16は、飛行経路(飛行プログラム)に基づいて、各ロータユニット12のロータモータ26の回転を制御して、無人飛行体2を被検査構造体Yまで飛行させて、及び無人飛行体2を被検査構造体Y及び各基準点P1,P2,P3,P4,…,Pi,…,Pnの間に飛行させる。このとき、機体制御部16は、飛行経路(飛行プログラム)に基づいて、各ロータユニット12のロータモータ26の回転を変更制御して、検査カメラ3を被検査構造体Yに近接(接近)するように、無人飛行体2を飛行させる。
これにより、無人飛行体2は、図1及び図2に示すように、検査カメラ3の撮影方向αを被検査構造体Y[被検査構造体Yの一部の箇所(部位)]に向け、及び基準カメラ4の撮影方向βを各基準点P1,P2,P3,P4,…,Pi,…,Pnに向ける飛行姿勢(検査飛行姿勢)にて飛行される。
機体制御部16は、飛行経路(飛行プログラム)に基づいて、無人飛行体2を検査飛行姿勢にて低速移動(低速飛行)させる(図11:ST23)。
無人飛行体2を検査飛行姿勢(飛行姿勢)で低速移動(低速飛行)させた状態において、機体制御部16は、撮影信号(撮影指令)を検査カメラ3及び基準カメラ4に同時に出力する。
検査カメラ3は、図1及び図2に示すように、撮影信号(撮影指令)を入力すると、被検査構造体Yの一部の箇所(部位)の画像(検査画像)を撮影する。
基準カメラ4は、図1及び図2に示すように、撮影信号(撮影指令)を入力すると、4以上の基準点Pi(i=1,2,3,4,…,n)を含む地上Zの画像、例えば、第1番目乃至第6番目の基準点P1,P2,P3,P4,P5,P6を含む地上Zの画像(基準画像)を撮影する。
このとき、検査カメラ3及び基準カメラ4は、機体制御部16から撮影信号(撮影指令)を同時に入力する。
これにより、検査カメラ3及び基準カメラ4は、図1及び図2に示すように、無人飛行体2の検査飛行姿勢(飛行姿勢)において、被検査構造体Yの一部の箇所(部位)(検査画像)、及び4以上の基準点P1~P6を含む地上Z(基準画像)を同時撮影する(図11:ST24)。
検査カメラ3及び基準カメラ4は、図6に示すように、検査画像及び基準画像を同時撮影すると、同時撮影した検査画像データ及び基準画像データを機体制御部16に出力する。
機体制御部16は、検査画像データ及び基準画像データを入力すると、同時撮影された検査画像(検査画像データ)及び基準画像(基準画像データ)を相互に対応付けて画像記憶部15に記憶する(図11:ST25)。
被検査構造体の検査システムXにおいて、機体制御部16は、飛行経路(飛行プログラム)に基づいて、各ロータユニット12のロータモータ26の回転を変更制御することで、無人飛行体2の検査飛行姿勢(飛行姿勢)を保持した状態において、無人飛行体2を被検査構造体Yに沿って低速移動(低速飛行)させ、及び所定時間毎に撮影信号(撮影指令)を検査カメラ3及び基準カメラ4に同時に出力する。
これにより、検査カメラ3は、無人飛行体2の被検査構造体Yに沿った低速移動(低速飛行)によって、所定時間毎に被検査構造体Yの一部の箇所(部位)の画像(検査画像)を撮影し、基準カメラ4は、無人飛行体2の被検査構造体Yに沿った低速移動(低速飛行)によって、所定時間毎に4以上の基準点P1,P2,P3,P4,…,Pi,…,Pnを含む地上Zの画像(基準画像)を撮影する。検査カメラ3及び基準カメラ4は、所定時間毎に同時撮影した検査画像及び基準画像を機体制御部16に出力し、機体制御部16は、所定時間毎に入力する検査画像及び基準画像を相互に対応付けて画像記憶部15に記憶する。
このように、被検査構造体の検査システムでは、無人飛行体2を被検査構造体Yに沿って低速移動(低速飛行)させることで、検査カメラ3による複数の検査画像、及び基準カメラ4による複数の基準画像を所定時間毎に同時撮影して、同時撮影した検査画像及び基準画像を相互に対応付けて画像記憶部15に記憶する。
無人飛行体2において、機体制御部16は、飛行経路(飛行プログラム)に基づいて、無人飛行体2を地上Zに着陸させる。無人飛行体2は、各支持脚23から地上Zに着陸する(図11:ST26)。
これにより、被検査構造体Yの撮影、及び各基準点P1,P2,P3,P4,…,Pi,…,Pnの撮影を完了する。
続いて、無人飛行体2の画像記憶部15に記憶された検査画像(検査画像データ)、及び基準画像(基準画像データ)を取出して、制御演算手段6の入力部41を操作して、検査画像(検査画像データ)及び基準画像(基準画像データ)を制御演算部44に入力する。
制御演算部44は、図7に示すように、検査画像(検査画像データ)及び基準画像(基準画像データ)を入力すると、同時撮影した検査画像及び基準画像を相互に対応付けてデータ記憶部42に記憶する(図11:ST27)。
制御演算手段6において、入力部41を操作して、同時撮影した検査画像(検査画像データ)及び基準画像(基準画像データ)を読出す。
このとき、制御演算部44は、図7に示すように、入力部41の操作に基づいて、同時撮影した検査画像(検査画像データ)及び基準画像(基準画像データ)をデータ記憶部42から読出して、表示部43(液晶表示器)に出力する。表示部43は、同時撮影した検査画像及び基準画像を表示する(図11:ST28)。
続いて、表示部43(液晶表示器)に表示された基準画像において、基準画像上(画像上)の4以上の基準点P、例えば、第1番目乃至第6番目の基準点P1,P2,P3,P4,P5,P6から4つの基準点P1,P2,P3,P4(第1番目乃至第4番目の基準点)を選択する。
制御演算手段6(制御演算装置)において、入力部41を操作して、選択した各基準点P1~P4(第1番目乃至第4番目の基準点)の基準番号N1~N4を制御演算部44に入力する。
制御演算部44は、図7に示すように、各基準点P1~P4の基準番号N1~N4を入力すると、データ記憶部42から第1番目乃至第4番目の基準点P1,P2,P3,P4の地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),(X3,Y3,Z3),(X4,Y4,Z4)を読出す。
制御演算部44は、選択された基準点P1,P2,P3,P4に対応する写真像p1,p2,p3,p4の写真座標値(x1,y1),(x2,y2),(x3,y3),(x4,y4)を基準画像から取得する。
続いて、制御演算部44(制御演算手段6)は、図10のST02で説明したと同様に、選択した各基準点P1,P2,P3,P4の基準画像上(画像上)の写真座標系xyの写真像p1,p2,p3,p4の写真座標値(x1,y1),(x2,y2),(x3,y3),(x4,y4)と、選択した各基準点P1,P2,P3,P4の地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),(X3,Y3,Z3),(X4,Y4,Z4)から係数b1~b8を算出(演算)する。
続いて、制御演算部44(制御演算手段6)は、図10のST03で説明したと同様に、算出したパラメータb~b8を用いて、式(6)から同時撮影時の基準カメラ4の傾き(姿勢)の近似値(ω0a,φ0a,κ0a)を算出(演算)し、及び同時撮影時の基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値の近似値(X0a,Y0a,Z0a)を算出(演算)する。
続いて、制御演算部44は、基準画像上の全ての基準点P1,P2,P3,P4,P5,P6の地上座標系XYZの三次元座標値(X1,Y1,Z1),(X2,Y2,Z2),(X3,Y3,Z3),(X4,Y4,Z4),(X5,Y5,Z5),(X6,Y6,Z6)をデータ記憶部42から読出す。
制御演算部44は、図10のST04~ST09で説明したと同様に、基準画像上の全基準点P1~P6の地上座標系XYZの三次元座標値(X1,Y1,Z1)~(X6,Y6,Z6)、基準カメラ4の傾き(姿勢)の近似値(ω0a,φ0a,κ0a)及び基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値の近似値(X0a,Y0a,Z0a)から基準カメラ4の傾き(姿勢)(ω,φ,κ)、及び基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値(X0,Y0,Z0)を算出(演算)する(図11:ST29)。
基準カメラ4は無人飛行体2に搭載していることから、基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値(X0,Y0,Z0)は、無人飛行体2の三次元の飛行位置ともなる。
図11のST28及びST29を繰り返すことで、複数の基準画像について、検査カメラ3と同時撮影時の基準カメラ4の傾き(姿勢)(ω,φ,κ)を算出(演算)し、及び検査カメラ3と同時撮影時の基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値(X0,Y0,Z0)を算出する。
制御演算部44(制御演算手段6)は、図10のST09で説明したと同様に、検査カメラ3の撮影中心O1の三次元座標値(Xb,Yb,Zb)をデータ記憶部42から読出して、検査カメラ3の撮影中心O1の地上座標系XYZの三次元座標値(Xq,Yq,Zq)を算出(演算)する。
制御演算部44は、基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値(X0,Y0,Z0)に三次元座標値(Xb,Yb,Zb)を加算して、三次元座標値(Xq,Yq,Zq)を算出(演算)する。
これにより、基準カメラ4の基準画像と同時撮影した検査カメラ3の検査画像について、検査画像の地上座標系XYZの三次元座標値(Xq,Yq,Zq)と、検査画像の傾き(姿勢)(ω,φ,κ)を座標付けられる(図11:ST30)。
検査カメラ3で撮影された複数の検査画像についても、図11のST30を実行することで、座標付けする。
これにより、検査画像について、座標付けすることで、検査カメラ3で撮影した被検査構造体Yの箇所(部位)を特定できる。
制御演算部44は、基準カメラ4の傾き(姿勢)(ω,φ,κ)、基準カメラ4の撮影中心Oの地上座標系XYZの三次元座標値(X0,Y0,Z0)、及び検査画像の地上座標系XYZの三次元座標値(Xq,Yq,Zq)を、同時撮影した検査画像及び基準画像に対応付けてデータ記憶部42に記憶する。
制御演算部44は、無人飛行体2の三次元の飛行姿勢(ω,φ,κ)、無人飛行体2の三次元の飛行位置(X0,Y0,Z0)、及び検査画像の地上座標系XYZの三次元座標値(Xq,Yq,Zq)を表示部43に出力して、表示部43に表示する(図11:ST31)。
Y 被検査構造体(被検査構造物/橋梁)
Z 地上
P1,P2,…,Pi,…,Pn 基準点(対空標識)
p1,p2,…,pi,…,pn 写真像
2 無人飛行体
3 検査カメラ
4 基準カメラ
6 制御演算手段(制御演算装置)
α 撮影方向(検査カメラ)
β 撮影方向(基準カメラ)
Xi,Yi,Zi 基準点の地上座標系の三次元座標値
xi,yi 写真像の写真座標値
X0,Y0,Z0 基準カメラの撮影中心の地上座標系の三次元座標値
ω,φ,κ 基準カメラの傾き(姿勢)
O 基準カメラの撮影中心
O1 検査カメラの撮影中心
Claims (1)
- 被検査構造体の画像を撮影し、前記被検査構造体の画像から欠陥を判別する被検査構造体の検査システムであって、
前記被検査構造体の周辺に配置され、地上座標系XYZの三次元座標値を測定済みの4以上の基準点と、
前記被検査構造体及び前記基準点の間に飛行される無人飛行体と、
前記無人飛行体に搭載され、前記被検査構造体の一部の箇所の検査画像を撮影する検査カメラと、
撮影方向を前記検査カメラの撮影方向と反対側に位置して前記無人飛行体に搭載され、4以上の前記基準点を含む基準画像を撮影する基準カメラと、
制御演算手段と、を備え、
前記無人飛行体は、
前記検査カメラの撮影方向を前記被検査構造体に向け、及び前記基準カメラの撮影方向を前記各基準点に向ける飛行姿勢にて飛行され、
前記検査カメラ、及び前記基準カメラは、
前記無人飛行体の前記飛行姿勢において、前記被検査構造体の一部の箇所及び4以上の前記基準点を同時撮影し、
前記制御演算手段は、
前記基準カメラの撮影した基準画像上の各基準点から選択した4つの基準点について、選択した前記各基準点の基準画像上の写真座標系xyの写真座標値と、前記基準カメラで撮影した基準画像上の全ての基準点の地上座標系XYZの三次元座標値に基づいて、同時撮影時の前記検査カメラの地上座標系XYZにおける姿勢、及び同時撮影時の前記基準カメラの撮影中心の地上座標系XYZの三次元座標値を算出し、
前記基準カメラの撮影中心からの前記検査カメラの撮影中心の三次元座標値と、前記基準カメラの撮影中心の地上座標系XYZの三次元座標値に基づいて、前記検査カメラの撮影中心であって、前記検査カメラで撮影した検査画像の地上座標系XYZの三次元座標値を算出する
ことを特徴とする被検査構造体の検査システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018080495A JP6989849B2 (ja) | 2018-04-19 | 2018-04-19 | 被検査構造体の検査システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018080495A JP6989849B2 (ja) | 2018-04-19 | 2018-04-19 | 被検査構造体の検査システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019191684A JP2019191684A (ja) | 2019-10-31 |
JP6989849B2 true JP6989849B2 (ja) | 2022-01-12 |
Family
ID=68389911
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018080495A Active JP6989849B2 (ja) | 2018-04-19 | 2018-04-19 | 被検査構造体の検査システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6989849B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113432529B (zh) * | 2020-12-30 | 2022-09-20 | 华南理工大学 | 一种基于无人机摄像的震损结构层间残余变形检测方法 |
CN113865579A (zh) * | 2021-08-06 | 2021-12-31 | 湖南大学 | 无人机位姿参数的测量***及方法 |
CN114486908A (zh) * | 2021-12-31 | 2022-05-13 | 长江航道工程局有限责任公司 | 一种桥墩病害识别检测无人机及检测方法 |
CN115343298B (zh) * | 2022-09-06 | 2023-05-23 | 水利部交通运输部国家能源局南京水利科学研究院 | 无人机搭载遥控弹射的附着式标尺***与标记方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012140101A (ja) | 2011-01-04 | 2012-07-26 | Topcon Corp | 飛行体の飛行制御システム |
JP2016082441A (ja) | 2014-10-17 | 2016-05-16 | ソニー株式会社 | 制御装置、制御方法及びコンピュータプログラム |
JP2016138788A (ja) | 2015-01-27 | 2016-08-04 | 株式会社トプコン | 測量データ処理装置、測量データ処理方法およびプログラム |
JP2017509981A (ja) | 2014-12-31 | 2017-04-06 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | センサデータの選択的処理 |
-
2018
- 2018-04-19 JP JP2018080495A patent/JP6989849B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012140101A (ja) | 2011-01-04 | 2012-07-26 | Topcon Corp | 飛行体の飛行制御システム |
JP2016082441A (ja) | 2014-10-17 | 2016-05-16 | ソニー株式会社 | 制御装置、制御方法及びコンピュータプログラム |
JP2017509981A (ja) | 2014-12-31 | 2017-04-06 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | センサデータの選択的処理 |
JP2016138788A (ja) | 2015-01-27 | 2016-08-04 | 株式会社トプコン | 測量データ処理装置、測量データ処理方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2019191684A (ja) | 2019-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6989849B2 (ja) | 被検査構造体の検査システム | |
JP6387782B2 (ja) | 制御装置、制御方法及びコンピュータプログラム | |
JP6055274B2 (ja) | 航空写真測定方法及び航空写真測定システム | |
JP5947634B2 (ja) | 航空写真撮像方法及び航空写真撮像システム | |
EP2772725B1 (en) | Aerial Photographing System | |
CN105335733B (zh) | 一种无人机自主着陆视觉定位方法及*** | |
CN102591353B (zh) | 飞行体的飞行控制*** | |
JP5748561B2 (ja) | 航空写真撮像方法及び航空写真撮像装置 | |
US9641810B2 (en) | Method for acquiring images from arbitrary perspectives with UAVs equipped with fixed imagers | |
JP6658532B2 (ja) | 制御装置、制御方法および飛行体デバイス | |
KR20190051704A (ko) | 스테레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템 | |
JP6430073B2 (ja) | 姿勢推定装置、姿勢推定方法及び観測システム | |
KR100556103B1 (ko) | 자동촬영시스템을 이용한 항공촬영방법 | |
JP5775632B2 (ja) | 飛行体の飛行制御システム | |
JP2016111414A (ja) | 飛行体の位置検出システム及び飛行体 | |
KR101160454B1 (ko) | 무인항공기의 자세 제어를 이용한 3d 공간정보구축 방법 | |
JP2017076302A (ja) | 小型無人飛行機の制御方法 | |
CN113984019A (zh) | 测量***、测量方法以及测量用程序 | |
JP2004245741A (ja) | 空中写真測量方法 | |
CN211552835U (zh) | 基于无人机的远程gps rtk测量的公路外业勘测*** | |
JP6368016B2 (ja) | 航空写真システム | |
JP2022040377A (ja) | 制御方法及び制御装置 | |
JP2023093808A (ja) | 飛行経路正規化装置、飛行経路正規化方法及び飛行経路正規化プログラム | |
WO2021130980A1 (ja) | 飛行体の飛行経路表示方法及び情報処理装置 | |
JP2018174002A (ja) | 移動体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180514 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180515 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200131 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210401 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211026 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211118 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6989849 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |