JP2017151026A

JP2017151026A - 三次元情報取得装置、三次元情報取得方法、及びプログラム

Info

Publication number: JP2017151026A
Application number: JP2016035732A
Authority: JP
Inventors: 井上　大輔; Daisuke Inoue; 大輔井上; 直広池田; Naohiro Ikeda; 尚史池野谷; Hisafumi Ikenoya; 建保大熊; Takeho Okuma
Original assignee: FORUM8 CO Ltd; Tokyu Construction Co Ltd
Current assignee: FORUM8 CO Ltd; Tokyu Construction Co Ltd
Priority date: 2016-02-26
Filing date: 2016-02-26
Publication date: 2017-08-31

Abstract

【課題】撮像対象物の三次元情報を高精度に取得するとともに、作業時間の短縮を図ることが可能な三次元情報取得装置等を提供する。【解決手段】三次元情報取得装置１００を、撮像部１０、保持部１１、可動部１２及び計測部１３を有する撮像ユニット１と、基準参照部２０及び保持部２１を有する基準ユニット２と、計算部、表示部及び操作部を有する演算装置３とを備えて構成する。可動部１２は、撮像部１０を直動させる直動部１４と回転させる回転部１５を備える。基準参照部２０は、基板にマーカを複数配置して形成する。計算部は、位置計算部、撮像トリガ出力部、位置情報記録部、画像情報記録部、形状計算部、大域最適化計算部、基準情報計算部、基準情報記録部、座標変換計算部、形状情報記録部、照合計算部、設計情報記録部を備える。【選択図】図１

Description

本発明は、構造物等の三次元形状、色情報などの三次元情報を取得する三次元情報取得装置、三次元情報取得方法、及びプログラムに関するものである。

従来、カメラで撮影した画像に基づいて、撮像対象物の三次元情報を計測する装置が知られている（例えば、特許文献１、２参照）。特許文献１には、撮像対象物としてダム等の施工現場をステレオカメラで撮影し、得られた一対のステレオ画像に基づいて施工現場の三次元情報を測定し、測定結果の三次元画像と、完成目標の画像とを重畳させて表示する施工監視システムが開示されている。これにより、施工現場の現況と完成目標との関連性を把握しようとしている。

特許文献２には、単一カメラで撮影した撮像対象物の画像情報と予め記憶した撮像対象物の特徴点の実座標に基づいて、撮像対象物を基準としてカメラ位置及び角度を算出し、このカメラ位置及び角度に基づいて、撮像対象物上の特徴点の三次元位置座標を算出する画像計測処理装置に関する技術が開示されている。

三次元情報の取得に際しては、正確性が求められるとともに、施工現場において、施工サイクルに影響を与えることなく撮像対象物を撮影するために、撮影作業時間の短縮が求められる。このためには、カメラの素早い移動や設置が必要となる。また、施工の手戻りを防止して、施工を効率的かつ迅速に行うためには、三次元情報の精度の向上や演算速度の高速化も求められている。

特許第４７２７０６８号公報特許第５１５８３８６号公報

しかしながら、特許文献１に記載の従来技術では、視野を広げるために複数台のカメラを撮像対象物付近に設置したり、カメラを移動させるために設置作業を複数回行ったりする必要があり、設置作業に時間がかかる。さらに、カメラの位置を取得するためにトータルステーション（ＴＳ）等を利用する必要があるため、その作業にも時間がかかり、結果的に撮影作業時間が長くなるという問題がある。

また、特許文献２に記載の画像計測処理装置では、座標原点と長さスケールが不定であり、計測情報をそのまま設計図面と照合することができず、長さ単位に変換するためには、現場での調整に時間がかかる問題がある。また、カメラが光軸垂直方向に回転する場合など、撮像画像のオーバーラップ割合が低い場合に、特徴点のマッチング精度が悪くなり、算出される三次元情報の精度に影響してしまう。

本発明は、上記の事情に鑑みて為されたもので、撮像対象物の三次元情報を高精度に取得するとともに、作業時間の短縮を図ることが可能な三次元情報取得装置、三次元情報取得方法、及びプログラムを提供することを目的としている。

前記目的を達成するために、本発明の三次元情報取得装置は、撮像対象物を複数の方向から撮影した複数の撮像画像に基づいて、前記撮像対象物の三次元情報を取得する三次元情報取得装置であって、前記撮像対象物の前記撮像画像を撮影する撮像部と、前記撮像部を所定の位置姿勢で保持する保持部と、前記保持部に対して前記撮像部を所定の軸方向に直線的に移動させる直動部を少なくとも有する可動部と、複数の前記撮像画像を、該撮像画像が撮影されたときの前記撮像部の位置姿勢情報に基づいて画像解析して前記撮像対象物の三次元情報を算出する形状計算部と、を備え、前記撮像部は、前記可動部によって所定間隔で移動するごとに、前記撮像対象物を撮影するように構成されたことを特徴とする。

ここで、前記可動部の位置情報を計測する計測部と、前記計測部で取得した前記位置情報に基づいて、前記撮像部の前記位置姿勢情報を算出する位置計算部と、を備え、前記形状計算部は、前記位置計算部で算出された前記位置姿勢情報に基づいて、複数の前記撮像画像を解析して前記撮像対象物の前記三次元情報を算出する構成とすることができる。

また、既知の基準点に設置され、直交座標系を形成するように既知間隔で配置された少なくとも３つのマーカを有する基準参照部と、前記撮像部によって撮影された前記基準参照部の複数の撮像画像を画像解析した結果に基づいて、前記基準点の位置姿勢情報及び長さスケールを算出する基準情報計算部と、前記基準点の前記位置姿勢情報及び前記長さスケールに基づいて、前記形状計算部が算出した前記撮像対象物の三次元情報を、座標変換する座標変換計算部と、を備えた構成とすることもできる。

さらには、前記撮像部の前記位置姿勢情報に基づいて、前記撮像部に撮影タイミングを通知するトリガ部を備えた構成とすることができる。このとき、前記トリガ部は、前記位置計算部により算出された前記撮像部の前記位置姿勢情報の変化量が、閾値を超えたときに前記撮像部に前記撮影タイミングを通知するよう構成され、前記撮像部は、前記撮影タイミングが通知されたときに、前記撮像対象物の前記撮像画像を撮影するように構成することもできる。

また、前記可動部は、前記撮像部を水平面内で回転させる回転部を有する構成とすることや、前記撮像部を、前記直動部の前記軸方向と交差する第２の軸方向に直線的に移動させる第２の直動部を有する構成とすることや、前記撮像部を垂直面内で回転させる第２の回転部を有する構成とすることができる。

また、前記直動部による前記撮像部の移動速度が、閾値以上となったときに、警告を発する警告部を備えた構成とすることができる。

また、本発明の三次元情報取得方法は、上述のような三次元情報取得装置を用いた三次元情報取得方法であって、前記撮像対象物に対して、前記直動部により前記撮像部を軸方向に直線的に移動させる工程と、前記撮像画像間のオーバーラップ率が所定の範囲内となる位置に前記撮像部が到達したときに前記撮像部で前記撮像対象物の撮像画像を撮影する工程と、各撮像画像が撮影されたときの前記撮像部の位置姿勢情報を取得する工程と、複数の前記撮像画像を、該撮像画像が撮影されたときの前記撮像部の位置姿勢情報に基づいて画像解析して前記撮像対象物の三次元情報を算出する工程と、を有することを特徴とする。

また、本発明のプログラムは、コンピュータを、撮像部で撮影された撮像対象物の複数の撮像画像を取得する手段と、前記撮像画像を撮影したときの前記撮像部の位置姿勢情報を取得する手段と、前記位置姿勢情報に基づいて複数の前記撮像画像を画像解析して前記撮像対象物の三次元情報を算出する手段として機能させるためのプログラムである。

このように構成された本発明の三次元情報取得装置、三次元情報取得方法では、撮像部を可動部の軸方向に移動させながら撮像画像の撮影を行うことで、撮像対象物を複数の方向から迅速に撮影することができる。また、撮像対象物の撮影範囲を拡大することができるとともに、撮像画像間のオーバーラップ率を制御することができる。また、撮像画像を撮影したときの撮像部の位置姿勢情報に基づいて、撮像画像の画像解析を、より高速かつより高精度に行うことができる。したがって、撮像対象物の三次元情報を高精度に取得するとともに、作業時間の短縮を図ることが可能となる。また、本発明のプログラムによれば、撮像部の高精度な位置姿勢情報と、複数の方向から撮影されて撮像画像間の所定の範囲内のオーバーラップ率が確保された複数撮像画像に基づいて、より高速かつより高精度に撮像対象物の三次元情報を算出することが可能となる。

本発明の第１の実施形態に係る三次元情報取得装置の平面図であり、配筋の三次元情報を取得している状態を示す。図１に示す撮像ユニット及び演算装置の構成を説明するための説明図である。図１に示す基準参照部の構成を説明するための説明図であり、（ａ）は反射材製のマーカを用いた例を示し、（ｂ）は市松模様のマーカを用いた例を示す。図１に示す第１の実施形態の三次元情報取得装置の機能ブロック図である。図４に示す位置計算部での撮像部の位置姿勢情報の算出手順を説明するための説明図である。図４に示す形状計算部での形状計算動作の一例を示すフローチャートである。ステレオカメラと移動可能な単眼カメラの撮影範囲と計測可能範囲を示す概略図であり、（ａ）はステレオカメラの撮影範囲と計測可能範囲を示し、（ｂ）はステレオカメラのカメラ間隔の範囲で移動可能な単眼カメラの撮影範囲と計測可能範囲を示す。ステレオカメラと単眼カメラにおける画像解析精度を説明するための説明図であり、（ａ）は単眼カメラの撮影位置とチェックボードを示す図であり、（ｂ）は撮影枚数と抽出される特徴点群の密度との関係を示すグラフであり、（ｃ）は撮影枚数と寸法誤差との関係を示すグラフであり、（ｄ）は撮影枚数と計測時間との関係を示すグラフである。形状計算部での画像解析における画像データ量と解析時間との関係を示すグラフである。図１に示す第１の実施形態の三次元情報取得装置による三次元情報取得動作の一例を示すフローチャートである。第１の実施形態の三次元情報取得装置を用いた他の使用例を示す図であり、切羽の三次元情報を取得している状態を示す。本発明の第２の実施形態に係る三次元情報取得装置の平面図であり、円柱の配筋の三次元情報を取得している状態を示す。本発明の第３の実施形態に係る三次元情報取得装置の側面図であり、スラブの三次元情報を取得している状態を示す。

（第１の実施形態）
以下、本発明の第１の実施形態について図面を参照しながら説明する。図１は、三次元情報取得装置の一例である本実施形態の三次元情報取得装置１００の全体構成（外観）を概略的に示した平面図である。図２は撮像ユニット１及び演算装置３の構成を説明するための説明図であり、図３は基準ユニット２の基準参照部２０の構成を説明するための説明図である。図４は三次元情報取得装置１００の機能ブロック図である。

図１、図２に示すように、本実施形態に係る三次元情報取得装置１００は、撮像部１０、保持部１１、可動部１２及び計測部１３を有する撮像ユニット１と、基準参照部２０及び保持部２１を有する基準ユニット２と、計算部３０、表示部３１及び操作部３２を有する演算装置３とを備えて構成される。

撮像部１０は、所定の撮影領域を所定間隔で撮影して複数の撮像画像を撮影する撮像手段である。本実施形態では、撮像部１０としてデジタルカメラを用いている。撮像部１０では、撮像画像として静止画像を撮影する。なお、撮像部１０で動画像を撮影し、撮像部１０の移動速度及び撮影位置に基づいて、全フレームの中から所定時間ごとに選択された複数のフレームを撮像画像として用いることができる。

撮像部１０は、図２に示すように保持部１１に１台設置されている。撮像部１０と演算装置３とは、無線又は有線により接続されている。撮像部１０で撮影された撮像画像は、内蔵メモリや外付けのＳＤメモリカード等に格納されるほか、演算装置３に転送される。

また、本実施形態の撮像部１０は、演算装置３からのトリガ信号に対応して、自動的にシャッタを作動させて、撮像対象物としての対象物Ｓや基準参照部２０の静止画像を撮影する自動シャッタ機能を備えている。撮像画像間のオーバーラップ率としては、少なくとも５０％以上が望ましく、６０％以上がより望ましい。高い精度が要求される場合は９０％程度が望ましい。

保持部１１は、撮像部１０を所定の位置姿勢で保持する機能を有する。本実施形態では、保持部１１は測量等に用いられる公知の三脚からなり、三脚の上面に、可動部１２と撮像部１０とが所定の位置姿勢に保たれるように設置されている。

可動部１２は、撮像部１０の運動を拘束し、撮像部１０を直動又は回転させる機能を有する。可動部１２は、撮像部１０を所定の軸方向（以下、「左右方向」ということがある。）に直線的に移動（直動）させる直動部（直動関節）１４と、撮像部１０をヨー方向に回転させる回転部（回転関節）１５とを有して構成される。

本実施例では、直動部１４として、電動モータと、レール（ボールネジ軸）１４ａと、スライダ１４ｂと、エンコーダ（計測部１３）と、ベースとを備え、電動モータによってボールネジを回転させ、スライダ１４ｂを直線的に移動させるボールネジ機構を使用している。スライダ１４ｂに、撮像部１０をねじ止めして固定することで、直動部１４によってスライダ１４ｂとともに撮像部１０がレール１４ａ上を軸方向に移動可能となっている。エンコーダが検出した電動モータの回転量、回転角度等に基づいて、スライダ１４ｂの移動量と速度を検出し、電動モータの回転を制御することで、スライダ１４ｂ及び撮像部１０を、所定速度で軸方向に自動で移動させることができる。

なお、撮像部１０の光軸（撮影方向）が、直動部１４での左右の移動方向（ボールネジ軸の方向）と直交するように、撮像部１０を直動部１４に固定している。このような配置により、撮像部１０は、対象物Ｓや基準参照部２０に対して、レール１４ａ上をほぼ平行移動しながらの撮影が可能となっている。

撮像部１０での撮影の際には、レール１４ａを通常は水平に配置することで、撮像部１０を水平方向に移動させながら対象物Ｓ等を撮影する。しかし、他の異なる実施形態として、例えば、斜めに配置された細長い配筋等を検査する場合は、レール１４ａを配筋等と平行となるように斜めに配置し、撮像部１０を斜め方向に移動させながら撮影することも可能である。

また、本実施形態では、自動シャッタ機能を備えていることから、直動部１４によって撮像部１０を一定速度で移動させ、撮像部１０が所定の撮影位置に到達したときに、シャッタが作動するように構成している。このとき、直動部１４のボールネジ機構の電動モータを制御して、撮影位置付近で撮像部１０の移動速度を低減させたり、撮影位置で一時停止させたりするように構成することもでき、撮像画像の品質をより高めることができる。

また、電動モータ等を用いることなく、レール１４ａを手動で撮像部１０を移動させる構成とすることもできる。この場合、計測部１３が撮像部１０の位置を監視して、撮影位置に移動したときに自動シャッタ機能により撮影するように構成することができる。

また、撮像部１０を手動で移動させ、手動撮像を行う場合は、直動部１４のレール１４ａ等に撮影位置の目印（シャッタマーク）を設けることが望ましい。このような目印も、作業者に撮影を促すトリガ部として機能する。一方、ボールネジ機構等によって撮像部１０を自動で移動させ、手動撮像を行うこともできる。この場合、ボールネジ機構等で所定距離ずつ撮像部１０を移動させ、各撮影位置に撮像部１０が停止したときに、作業者がシャッタを作動させることで、より正確な撮影位置での撮影が可能となる。

また、本実施形態では、回転部１５として手動で回転可能な回転台を用いている。この回転台を保持部１１である三脚に、三脚の中心軸を中心にヨー方向に回転可能に設置し、回転台の上面に直動部１４を固定している。この構成により、回転台を回転することで、直動部１４とともに撮像部１０をヨー方向に回転させることができる。

計測部１３は、可動部１２の位置姿勢情報（位置情報及び姿勢情報）を常時計測する機能を有する。計測部１３は、図２に示すように第１計測部１３ａと第２計測部１３ｂで構成され、演算装置３と有線又は無線で接続されている。本実施形態では、第１計測部１３ａは直動部１４の電動モータに内蔵され、第２計測部１３ｂは回転部１５に内蔵されている。第２計測部１３ａは、直動部１４の直動関節（スライダ１４ｂ）の軸方向（左右方向）の位置情報を検出するように構成され、電動モータの回転量、回転角度等を、可動部１２の位置姿勢情報の一部として演算装置３に出力する。第１計測部１３ａとしてインクリメンタル方式のエンコーダを用いる場合は、初めに撮像したときの位置をゼロとして設定することもできる。

第２計測部１３ｂは、回転部１５の回転関節（回転軸）の姿勢情報を検出するように構成され、回転部１５の回転量、回転角度等を、可動部１２の位置姿勢情報の一部として演算装置３に出力する。第２計測部１３ｂとしてインクリメンタル方式のエンコーダを用いる場合は、初めに撮像したときの姿勢をゼロとして設定することもできる。

直動部１４の駆動制御は、直動部１４に設けられた操作ボタン、操作部３２等で行うことができる。これらの作動に対応して計算部３０での処理を開始するように構成することができる。また、計算部３０に直動部１４の制御部を設け、撮影開始操作がされたときに、直動部１４の駆動制御と、計算部３０での処理とを連動して開始するように構成することもできる。

基準ユニット２は、基準参照部２０と、保持部２１とを備えて構成される。基準ユニット２は、基準点（原点）の三次元情報や長さスケールを算出するために用いられる。図３（ａ）、図３（ｂ）に基準参照部２０の例を示す。これらの図に示すように、基準参照部２０は、基板２２の一面に、複数のマーカ２３を設けて構成されている。

図３（ａ）に示す基準参照部２０は、基板２２の一面（同一面内）に、円形の反射材製のマーカ（再帰性反射材、リフレクタ）２３が複数配置されて構成されている。マーカ２３は、互いを結んだ線の一部が直交して直交座標系を構成するように、既知間隔で配置されている。各マーカ２３の中心（撮像画像の高輝度部の中心）を、基準点（原点）を設定するための参照点Ｐ０〜Ｐ３とする。隣接する参照点Ｐ０〜Ｐ３間の間隔を、Ｒ０１，Ｒ０２，Ｒ１２，Ｒ１３，Ｒ２３とする。反射材製のマーカ２３では、フラッシュ撮影等によって精度が向上するため、配筋検査等の精度が必要な用途に好適である。

図３（ｂ）に示す基準参照部２０は、基板２２に白黒の市松模様（チェック）のマーカ２３を設け、輝度の変化が最大の４つの点（市松模様の格子の交点）を、参照点Ｐ０〜Ｐ３としている。市松模様のマーカ２３では、フラッシュを使わない撮影においては抽出が容易であるため、切羽観察時等の粉塵が多い空間での用途に好適である。また、大型化が容易であるため遠方からの撮影にも好適である。

なお、基準参照部２０には、直交座標を算出するために、参照点は少なくとも３つ設ければよいが、参照点を４つ以上設けることで、基準点の三次元情報や長さスケールの算出精度をより向上させることができる。

保持部２１は、基準参照部２０を既知の位置姿勢に保持する。本実施形態の保持部２１も、保持部１１と同様の三脚からなり、その上面に基準参照部２０が設置されている。保持部２１を予め三次元座標が分かっている既知点（基準点）に対して既知の位置及び方位に設置することで、保持部２１の高さ等から、基準参照部２０の位置情報を取得することができる。

演算装置３として、本実施形態では、計算部３０を内蔵し、計算部３０で算出された三次元情報等を表示する表示部３１としての液晶ディスプレイと、計算部３０に対して各種指示を入力する操作部３２としてのキーボード、マウス等を備えたノート型ＰＣ（パーソナルコンピュータ）を用いている。液晶ディスプレイはタッチパネル式を採用している。よって、液晶ディスプレイに操作可能な状態で表示されるアイコン等も、本実施形態の操作部３２として機能する。また、音声を発するスピーカや光を発する可視光レーザ光源等を表示部３１とすることもできる。

本実施形態では、計算部３０の制御によって表示部３１に、図２に示すように、操作部３２としてのモード切替ボタン３２ａ、自動撮像ボタン３２ｂ、手動撮像ボタン３２ｃ、照合開始ボタン３２ｄ等のアイコンが表示される。

モード切替ボタン３２ａは、基準参照部２０の撮像画像を撮影して基準点（原点）の三次元情報を取得する基準モードと、対象物Ｓを撮影して三次元情報を取得し、設計情報と照合する照合モードとに切り替えるボタンである。自動撮像ボタン３２ｂは、撮像部１０での撮影を自動で行う先述した自動シャッタ機能の開始及び終了をさせるためのボタンである。自動シャッタ機能が機能していないときに自動撮像ボタン３２ｂをタッチ操作することで、撮像部１０での複数の撮像画像の撮影が、撮像部１０の位置や姿勢に応じて自動的に行われる。自動シャッタ機能が機能しているときに自動撮像ボタン３２ｂを再度タッチ操作すると、自動シャッタ機能は停止する。なお、本実施例では自動撮像ボタン３２ｂで自動シャッタの開始と終了の操作を行っているが、本願がこれに限定されることはなく、自動シャッタ機能の開始ボタンと終了ボタンとを別個に設けることもできる。

手動撮像ボタン３２ｃは、撮像部１０での撮影を手動で行うためのボタンである。作業者が手動撮像ボタン３２ｂをタッチ操作する度に、撮像部１０での撮像画像の撮影が行われる。照合開始ボタン３２ｄは、計算部３０に三次元情報の算出や照合を実行させるためのボタンである。

計算部３０は、撮像部１０からの撮像画像、計測部１３からの位置情報に基づいて、対象物Ｓの三次元座標情報、色情報等の三次元情報を算出し出力する機能を有する。また、撮像部１０や計測部１３の動作を制御する機能を有する。

計算部３０のハードウェア構成としては、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ等の不揮発性の半導体メモリ、ＳＤカード、又は外付けハードディスク等の記録媒体からなる記憶部（メモリ）とを備えて構成される。

計算部３０は、ＲＯＭに予め記憶されている三次元情報取得プログラム（以降で説明する計算部３０の機能を実行させるためのプログラム）に従って、例えばＲＡＭをワークメモリとして用いて、撮像部１０、計測部１３、演算装置３等の作動制御を行うことができる。

以下、計算部３０の機能について、図４の機能ブロック図を参照しながら説明する。計算部３０は、位置計算部３４と、撮像トリガ出力部（トリガ部）３５と、位置情報記録部３６と、画像情報記録部３７と、形状計算部３８と、基準情報計算部４０と、基準情報記録部４１と、座標変換計算部４２と、形状情報記録部４３と、照合計算部４４と、設計情報記録部４５とを備えて構成される。これらは、上述したＣＰＵや記憶部によって実現される。

位置計算部３４は、計測部１３から入力される可動部１２の直動部１４及び回転部１５の各関節の位置姿勢情報に基づいて、保持部１１の上面に固定された座標系（保持部座標系）で、撮像部１０の相対的な位置姿勢情報を算出する。なお、保持部座標系の原点は、回転部１５の回転中心軸上に位置している。位置計算部３４は、算出した位置姿勢情報を、タイムスタンプ等の関連付け情報を付与して位置情報記録部３６に記憶する。この関連付け情報により、撮像部１０で撮影した撮像画像と、撮影時の撮像部１０の位置姿勢情報とを関連付けることができる。

位置計算部３４での撮像部１０の位置姿勢情報の算出手順を、図５を参照しながら説明する。図５は、保持部座標系であり、Ｘ軸は回転部１５が初期角度の状態におけるレール１４ａの軸方向を示し、Ｙ軸はＸ軸に水平方向で直交する方向（対象物Ｓの方向）を示し、Ｚ軸はＸ軸及びＹ軸に直交し回転部１５の回転中心軸の重力方向を−Ｚ軸とする方向（鉛直方向）を示す。Ｉは撮像部１０の光軸中心を示し、Ｎは撮像部１０をスライダ１４ｂにねじ止めしたねじ位置を示す。

計測部１３から位置計算部３４に、可動部１２の位置姿勢情報として、保持部座標系における原点からＮ中心までのＸＹ平面方向の長さＬ１及びＬ１に垂直な方向の長さＬ２と、回転部１５（回転関節）のヨー方向（ＸＹ平面方向）の回転角Ｑ１、ピッチング方向（直動部１４の直動方向を回転軸とした回転方向）の回転角Ｑ２、ねじ位置Ｎを回転軸とした回転方向の回転角Ｑ３が入力される。計測部１３が無い場合は、可動部１２の各関節に取り付けられた目盛りを操作者が測定すること等によってＬ１、Ｌ２、Ｑ１、Ｑ２、Ｑ３が取得され入力される。

これらの入力情報に基づいて、下記計算式（１），（２）により撮像部１０の相対的な位置情報（Ｘ，Ｙ，Ｚ）、及び姿勢情報（Ｐ，Ｒ，Ｗ）を算出する。下記計算式（１），（２）中、Ｘ，Ｙ，Ｚは、それぞれ撮像部１０のＸ座標、Ｙ座標、Ｚ座標を表し、Ｐ，Ｒ，Ｗは、それぞれ撮像部１０のピッチ角、ロール角、ヨー角を表す。また、ＳｄはＹ軸方向における撮像部１０のねじ位置Ｎと光軸中心Ｉとの距離を、ＳｈはＸ軸方向におけるねじ位置Ｎと光軸中心Ｉとの距離を、ＳｖはＺ軸方向におけるねじ位置Ｎと光軸中心Ｉとの距離を表す。Ｈｂは保持部１１（三脚）の高さを表す。ＣＷ＝ｃｏｓＷ、ＳＷ＝ｓｉｎＷである。Ｌ１，Ｌ２，Ｑ１，Ｑ２，Ｑ３は、先述した可動部１２の各部の位置姿勢情報を表す。また、Ｃ１＝ｃｏｓＱ１，Ｃ２＝ｃｏｓＱ２，Ｓ１＝ｓｉｎＱ１，Ｓ２＝ｓｉｎＱ２である。

撮像トリガ出力部３５は、位置計算部３４で算出した撮像部１０の位置姿勢情報に基づいて、位置変化量及び姿勢変化量が閾値以上となったとき、撮像タイミングを知らせるトリガ信号を生成し、撮像部１０に送信する。なお、静止画像の撮影の際には、撮影ごとにトリガ信号を送信するが、動画像の撮影の際には、撮影開始のトリガ信号のみを送信する。

画像情報記録部３７には、撮像部１０から転送される撮像画像が記憶される。形状計算部３８は、位置情報記録部３６に記憶された撮像部１０の位置姿勢情報に基づいて、画像情報記録部３７の撮像画像の局所特徴点を画像解析することで、基準参照部２０又は対象物Ｓの三次元形状（三次元座標等）とテクスチャ（色情報等）を形状計算結果として出力する。画像解析の手法としては、特に限定されないが、例えば、動画像や複数の静止画像からカメラの撮影位置を推定し、三次元形状を復元するＳｆＭ（Structure from Motion）、動画像の解析によって逐次カメラの位置姿勢とシーンの三次元情報を推定するＶｉｓｕａｌＳＬＡＭ、動画像や連続する静止画像中で物体の動きをベクトルで表すオプティカルフロー等が挙げられる。なお、画像解析がこれらに限定されることもなく、公知のいずれの画像解析を用いてもよい。

以下、図６のフローチャートに基づいて、ＳｆＭを応用した形状計算部３８での形状計算手順の一例を、従来の画像解析手法との対比を交えて説明する。形状計算部３８には、複数の撮像画像が入力される（ステップＳ１）。基準モードの場合は基準情報計算部４０からマーカ２３の撮像画像が入力され、照合モードの場合は画像情報記録部３７から対象物Ｓの撮像画像を読込むことによって入力される。そして入力された撮像画像の情報に基づいて、撮像部１０のカメラモデルを設定する（ステップＳ２）。なお、カメラモデルは、ＥＸＩＦ（Exchangeable image file format）等のデータを読み込んで、これらに基づいて自動設定することもできるし、操作者が手入力により適宜のものを手動設定することもできる。カメラモデルにより、撮像画像のレンズ焦点距離等を把握することができる。

次に、ＳＩＦＴ特徴量、ＦＡＳＴ特徴量、ＡＫＡＺＥ（Accelerated KAZE）特徴量等の特徴量抽出法を用いて、各撮像画像の局所特徴点を抽出する（ステップＳ３）。次に、撮影時刻が近い撮像画像の中から画像ペアを選択する（ステップＳ４）。

選択された撮像画像のペアに対して、最近傍探索ライブラリであるＦＬＡＮＮ（Fast Library for Approximate Nearest Neighbors）等を用いて特徴点のマッチング処理を行う（ステップＳ５）。なお、最近傍探索において、Ｋ−ＤＴｒｅｅ等の木構造を用いることで、探索の高速化が可能となる。また、誤対応点を除去するために、特徴空間において二番目に近い特徴点との距離比が顕著な場合に除去する手法や、ＲＡＮＳＡＣ（RANdom SAmple Consensus）等を用いることで、高速化と精度向上を図ることができる。

ステップＳ５の特徴点マッチング処理を行った後、原則はステップＳ７に進むが、場合によってはステップＳ６に進み、撮像部１０の位置算出を実行する。本実施形態の三次元情報取得装置１００では、位置計算部３４によって撮影時の撮像部１０の位置姿勢情報を高精度に算出しているため、原則はステップＳ６の処理を省き、ステップＳ７に進むことができる。従来の画像解析手法では、位置検出を行うのにＰ対ＮＰ問題の最適化やＲＡＮＳＡＣ等を用いた誤対応点除去を行う必要があり、計算に時間がかかっていた。本願では、このような処理を省くことができるので、三次元情報取得処理を高速化できる。ただし、例えば、計測部１３の精度が低い場合には、計測部１３での計測結果と従来と同様の上記処理とを組み合わせることで、撮像部１０の位置算出を高精度に行うことができる。

次のステップＳ７では、同じ特徴点が写っている複数画像のうち視差が最大の画像ペアを選択し、三角測量の原理を利用して、空間点（特徴点の三次元位置）の復元処理（初期復元）を実行する。その後、ステップＳ８の最適化処理を実行する。従来の画像解析手法では、Ｓ７での復元結果に基づいて、Ｓ８で画像上への再投影誤差計算、誤差の二乗和を最小化するバンドル調整等の最適化処理を行う必要があった。しかし、本実施形態では、前述したように撮像部１０の位置姿勢情報を高精度に算出していることから、ステップＳ８の処理では、バンドル調整等の処理を大幅に短縮し、最適化処理を高速に行うことができる。

以上の処理結果に基づいて、三次元の形状計算結果を出力する（ステップＳ９）。基準モード（解析対象が基準参照部２０の撮像画像）の場合は、形状計算結果としてマーカ２３の参照点Ｐ０〜Ｐ３の三次元座標等が基準情報計算部４０へ出力される、照合モード（解析対象が対象物Ｓの撮像画像）の場合は、形状計算結果として対象物Ｓの三次元座標等が座標変換計算部４２へ出力される。

以上のように、位置計算部３４で算出した高精度な位置姿勢情報を用い、ステップＳ６、Ｓ８の処理内容を、従来に比べて大幅に短縮できることにより、三次元形状計算の高速化と高精度化との両立を図ることができる。

基準情報計算部４０は、マーカ２３を撮影した撮像画像からマーカ領域付近のみを抽出し、抽出された画像を形状計算部３８で解析することで基準参照部２０の参照点Ｐ０〜Ｐ３を抽出する。抽出した参照点Ｐ０〜Ｐ３に基づいて、原点座標軸（基準座標系の座標軸）の位置と方向（原点方位）、及び長さスケールを算出し、基準情報として基準情報記録部４１に記憶する。

基準情報計算部４０での基準情報の算出手順を、図３（ａ）を参照しながら説明する。図３（ａ）に示す基準参照部２０では、前述したように既知間隔でマーカ２３が配置されている。マーカ２３を撮影した撮像画像からマーカ領域付近のみを抽出するために、例えば反射材マーカ２３であれば輝度閾値処理、市松模様マーカ２３であればパターンマッチング等の画像処理を行う。自動抽出が困難な場合、マーカ２３を撮影した撮像画像を表示部３１に表示し、マウスクリックあるいはタッチした付近をマーカ領域とする。得られたマーカ領域の画像および位置計算部３４から得られた撮影位置姿勢情報を形状計算部３８に送信することで、画像上での各マーカ２３の参照点Ｐ０，Ｐ１，Ｐ２，Ｐ３の三次元座標（以下、「解析位置」という）が算出される。

まず基準情報計算部４０での長さスケールの算出手順を説明する。基準情報計算部４０は、参照点Ｐ０〜Ｐ３の解析位置に基づいて、各々の直線距離Ｒ０１，Ｒ０２，Ｒ１２，Ｒ１３，Ｒ２３の画像上での値（以下、「解析位置間隔」という）を算出する。Ｒ０１，Ｒ０２，Ｒ１２，Ｒ１３，Ｒ２３のすべてについて、解析位置間隔（算出値）と、既知間隔（実寸値）との比率「既知間隔［ｍｍ］／解析位置間隔」を算出し、その中央値を長さスケールとして採用する。

次に原点座標及び原点方位を算出する手順を説明する。基準情報計算部４０は、画像解析で算出された参照点Ｐ０，Ｐ１，Ｐ２，Ｐ３の解析位置すべてについて、「解析位置×長さスケール」を算出し、これらに基づいて原点（基準点）の位置情報（原点座標）を算出する。参照点Ｐ０，Ｐ１，Ｐ２，Ｐ３をそれぞれ直線で結び、二点（例えば、Ｐ０，Ｐ１）を含む辺をＺ軸とし、三点（例えば、Ｐ０，Ｐ２，Ｐ３）を含む辺をＹ軸とし、これらに対して直交する軸をＸ軸として、右手直交座標系を構築する。構築された座標系は参照部座標系と呼ぶ。

座標変換計算部４２は、基準情報記録部４１に記憶された基準情報に基づいて、形状計算部３８での対象物Ｓの形状計算結果を保持部座標系から参照部座標系に座標変換し、さらに参照部座標系から基準座標系に座標変換し、三次元情報として形状情報記録部４３に記憶する。基準参照部２０は、基準座標系に対して既知の位置及び方位に設置されるため、これらの既知情報に基づいて、参照部座標系から基準座標系への座標変換を行う。なお基準参照部２０を使用しないで座標変換を行う場合は、保持部１１に対する基準座標系の位置と方位を予め測定し入力し、それらの値をもとに座標変換を行う。

設計情報記録部４５には、対象物Ｓの設計情報が記憶されている。照合計算部４４は、設計情報記録部４５に記憶された設計情報と、形状情報記録部４３に記憶された三次元情報（実測値）とを照合し、照合結果を表示部３１に表示する。例えば、三次元情報（実測値）と、設計情報との差異を表す画像や値を、表示部３１の液晶ディスプレイに表示する。また、実測値に基づく三次元画像と、設計情報に基づく三次元画像とを重ね合わせて表示したり、これらの差異を強調して表示したりすることもできる。また、差異に応じて音声情報を編集して、スピーカから音声を発生させたり、光源を制御して光を発生させたりすることもできる。

なお照合計算部４４では、照合計算の前に一般的にループクロージングと呼ばれる処理を行うように構成することもできる。その場合はまず撮像部１０の位置姿勢から算出される撮像範囲のオーバーラップが大きい画像ペアや、一般物体認識結果等に基づいた類次画像ペアを探索する。探索された画像ペアの局所特徴点を再度マッチング計算し、それに伴う大域的なバンドル調整によって、形状計算部３８での形状計算結果を最適化する。また画像ペアの探索において、撮影時刻が大きく異なる画像ペアのみをマッチング対象とすることで、精度を維持しつつ計算時間を短縮することもできる。

上述のような構成の本実施形態の三次元情報取得装置１００では、１台の撮像部１０を保持部１１上で移動させながら、対象物Ｓに対して複数の方向から複数の撮像画像を撮影し、これらの複数の撮像画像に基づいて、対象物Ｓの三次元情報を取得する。したがって、作業時間の短縮を図ることが可能である。また、撮像画像間のオーバーラップ率が所定の範囲内となることから、対象物Ｓの三次元情報を高精度に取得することができる。

ここで、本発明をするに至った経緯を説明する。従来、ステレオカメラを用いて撮影した２枚の撮像画像を用いて、三次元情報を取得する技術は存在した。しかし、図７（ａ）に示すように、ステレオカメラでは、２方向からのみの撮影であるため、撮影範囲が限られ、三次元形状を計測可能な範囲（網掛け部）が狭く（オーバーラップ率が低い）、三次元情報の算出精度の向上に限界があった。

発明者は、鋭意検討した結果、ステレオカメラと基線長が同じでも、図７（ｂ）に示すように、その間でカメラを移動させながら対象物を撮影し、撮影枚数が増えるほど測定可能範囲が拡大し、三次元形状取得時の精度と密度が向上することを知見した。また、図７（ｂ）に二点鎖線で示すように、両端においてカメラが外側を向くように、水平面内においてヨー方向に回転させることで、計測可能範囲をさらに拡大できることも知見した。また、撮像画像の枚数が増えても、先述した画像解析を用いることで、数分で処理することができるとともに、座標原点と長さスケールの不定という問題についても、予め正確な座標原点と長さスケールが既知の物を撮影して画像解析に使用することで、画像解析にかかる時間の短縮と精度の向上が図れることを知見し、本願を発明するに至った。

また、発明者は基線長（カメラ間距離）が１８０ｍｍで光軸交差角度が６０度のステレオカメラと、レール上に移動可能に配置され、移動距離が最大１８０ｍｍの単眼カメラについて、画像解析の精度を比較した。図８（ａ）に示すように、単眼カメラを、レール上で移動させながら、チェックボードを撮影した。単眼カメラは、両端で内側を向くように水平面内で回転可能となっている。チェックボードと単眼カメラの距離は４００ｍｍである。チェックボードには、１０ｍｍ角のチェック（市松模様）が形成されている。ステレオカメラについても、４００ｍｍの距離で同じチェックボードを撮影した。使用した単眼カメラの水平画角は６１度、水平画素数は４３２０画素である。ステレオカメラは単眼カメラと同じ機種を２台使用した。形状計算部３８によって画像解析を行ったが、画像解析方法（計算方法）は、単眼カメラもステレオカメラも同様の方法を用いた。

図８（ｂ）は撮影枚数と抽出される特徴点群の密度との関係を示すグラフであり、図８（ｃ）は撮影枚数と寸法誤差との関係を示すグラフであり、図８（ｄ）は撮影枚数と計測時間との関係を示すグラフである。撮影枚数が２枚の場合は、単眼カメラを用いてレールの両側で撮影した。なおステレオカメラで撮影した場合と同様である。撮影枚数が３枚の場合は、単眼カメラを用いてレールの両側と、レールの中央で撮影した。撮影枚数が４枚以上の場合は、単眼カメラでレール上を撮影枚数に応じた一定間隔で移動させながら撮影した。なお、画像解析等を行う計算機には、ＨＰ社製のＺ６２０を用いた。

図８（ｂ）、図８（ｃ）より、撮影枚数が３枚以上（撮影間隔９０ｍｍ以下）の場合では、特徴点群密度が大幅に増大し、寸法誤差も大幅に低減していることがわかる。なお、撮影枚数が５枚（撮影間隔４５ｍｍ）程度まではこれらの性能の大きな向上が図れるが、それ以上の枚数になると、性能の向上が緩やかになることがわかる。また、図８（ｄ）より、撮影枚数が多くなるほど、計算時間も長くなることがわかる。

また、図９に、形状計算部３８での画像解析におけるデータ量と解析時間との関係をグラフで例示した。図９より、データ量が大きくなるほど、解析時間も長くなることがわかる。しかし、複数の撮像画像の合計が、３，０００万画素以内であれば、１分以内で解析が可能であることもわかった。

以上より、４００ｍｍの撮影距離においては、撮影間隔（カメラの光軸に対して垂直方向へのカメラの移動間隔）４５ｍｍ程度毎に撮影された撮像画像があれば、三次元情報取得の精度の向上を図ることができ、かつ処理時間も比較的短くて済むことがわかる。この条件について、カメラの画角に基づいてオーバーラップ率に換算すると、約９０％となる。

以下、本実施形態に係る三次元情報取得装置１００を用いて、三次元情報取得する際の作業者の動作の一例を、図１０のフローチャートを参照しながら説明する。作業者の動作によって実行される三次元情報取得装置１００での処理も併せて説明する。

以下では、図１に示すように、本実施形態の三次元情報取得装置１００を用いて、鉄筋コンクリートの柱５０用の配筋５１（対象物Ｓ）の検査を実施した例を挙げて説明する。配筋５１は、複数の主筋５２を等間隔で複数配置し、その周囲に帯筋５３を配筋した構造である。主筋５２及び帯筋５３のピッチや鉄筋径が正確であるか検査する。なお、柱５０の断面形状は正方形に限定されることはなく、長方形や多角形でも本実施形態の三次元情報取得装置１００及び三次元形状取得方法を適用することができる。

図１０のフローチャートに示すように、まず電源をオンにして、三次元情報取得装置１００を起動する（ステップＳ２１）。具体的には、撮像部１０、計測部１３、演算装置３の電源をオンにする。次に、演算装置３において、設計情報記録部４５に配筋５１の三次元の設計情報や親墨等の基準点の位置情報を登録（記憶）する（ステップＳ２２）。この登録は、操作部３２のキーボード等から作業者が直接入力する構成とすることもできるし、ＵＳＢメモリ等から設計情報をコピーする構成とすることもできる。また、インターネット等の通信手段を介して外部装置からダウンロードする構成とすることもできる。

次に、基準ユニット２を、配筋５１を見通せる位置であって、既知の基準点（原点）に設置する（ステップＳ２３）。まず、基準点に保持部２１である三脚を据え、その上面に基準参照部２０を固定する。また、気泡管等を使って基準参照部２０のレベル出し（水平にすること）を行い、トランシット等を使って基準参照部２０の絶対方位を測定するが、ＴＳ等を用いた場合に比べて、同等以下の手間で行うことができる。

次に、撮像ユニット１を、配筋５１付近に設置する（ステップＳ２４）。このとき、直動部１４のレール１４ａがほぼ水平となるように設置するが、撮像部１０の位置姿勢は基準参照部２０を撮影することによって算出するため、直動部１４を厳密に位置合わせする必要はない。よって、撮像ユニット１のレベル出しは行わなくてよく、設置の手間が少ない。演算装置３は、撮像ユニット１の三脚の足元に設置しているが、ノート型ＰＣやタブレット端末の場合は、作業者が身に着けて操作してもよい。

次に、基準参照部２０の撮影のため、回転部１５である回転台を操作して、直動部１４ごと撮像部１０を基準参照部２０に向けて配置する。また、作業者はモード切替ボタン３２ａをタッチ操作して基準モードへの切替え指示を入力する。この基準モードへの切り替え信号が、計算部３０に通知される。（ステップＳ２５）。

次いで、作業者が自動撮像ボタン３２ｂをタッチ操作することで、撮像部１０による基準参照部２０の撮影が開始される（ステップＳ２６）。この撮影のため、計算部３０の制御によって直動部１４のボールネジ機構が作動し、撮像部１０が直動部１４のレール１４ａ上を一方の端部から他方の端部まで移動する。

この撮像部１０の移動に伴う可動部１２の位置姿勢情報が、計測部１３によって逐次計測され、位置計算部３４に入力される。位置計算部３４は、入力された位置姿勢情報に基づいて、前述の計算式（１），（２）を用いて撮像部１０の位置姿勢情報を算出する。

算出された位置姿勢情報は、撮像トリガ出力部３５に通知される。撮像トリガ出力部３５は、撮像部１０の位置姿勢情報に基づいて、位置変化量及び姿勢変化量が閾値以上となったとき、すなわち、撮影位置に到達したときに、トリガ信号を撮像部１０に送信する。トリガ信号を受信した撮像部１０は、シャッタを作動して、基準参照部２０を撮影する。基準参照部２０の撮影は、少なくとも２か所の撮影位置で行えばよいが、より精度を向上させるためには３か所以上が望ましい。

基準モードでは、レール１４ａの他方の端部まで撮像部１０が移動すると、撮影が完了するように構成されているが、自動撮像ボタン３２ｂが再度タッチ操作されるまで撮影を続ける（撮影をやり直す）構成とすることもできる。

撮像部１０で撮影された撮像画像はメモリカード等に記憶されるとともに、計算部３０に転送され、画像情報記録部３７に記憶される。画像情報記録部３７に記憶された撮像画像と、位置情報記録部３６に記憶された撮影時の撮像部１０の位置姿勢情報とは、タイムスタンプ等によって関連付けられて記憶される。

基準モードでは基準情報計算部４０からマーカ２３の撮像画像が形状計算部３８に入力され、図６を用いて前述したような計算手順で形状計算部３８によって画像解析される。基準モードの場合は、形状計算部３８での形状計算結果に基づいて、基準情報計算部４０によって、前述したように基準点（原点）の位置姿勢情報が算出され、基準情報記録部４１に記憶される。

基準参照部２０の撮影が完了したら、作業者は、回転部１５を操作して、直動部１４とともに撮像部１０を回転させ、図１に示すように、撮像部１０を配筋５１に向けて配置する。その後、作業者はモード切替ボタン３２ａをタッチ操作することで、照合モードに切替える（ステップＳ２７）。この照合モードへの切り替え信号が、計算部３０に通知される。

次いで、作業者が自動撮像ボタン３２ｂをタッチ操作することで、撮像部１０による配筋５１（対象物Ｓ）の撮影が開始される（ステップＳ２８）。この撮影においても、基準参照部２０の撮影のときと同様に、直動部１４による撮像部１０の移動と、計測部１３による可動部１２の位置姿勢情報の計測と、位置計算部３４による撮像部１０の位置姿勢情報の算出及び位置情報記録部３６への記憶と、撮像トリガ出力部３５によるトリガ信号の送信と、撮像部１０による配筋５１の撮影及び転送と、撮像画像の画像情報記録部３７への記憶が実行される。なお、対象物Ｓの撮影枚数は、３枚以上とするが、本実施形態では、精度と計算速度との両立を図るため、撮影距離１ｍあたりの撮影間隔を１００ｍｍ程度としている。これにより、画像解析に十分な枚数の撮像画像が得られるとともに、撮像画像間で９０％程度のオーバーラップ率を確保することができる。

撮像部１０がレール１４ａ上の一方の端部から他方の端部まで移動し、撮像部１０による撮影等の一連の処理が完了したら（ステップＳ２９の判定がＹＥＳ）、ステップＳ３０の処理に移行する。このとき、対象物Ｓが大きく、可動部１２の可動範囲内で対象物Ｓを撮影できない場合や、立体形状が複雑で死角部分を撮影できない場合等がある。この場合は、対象物Ｓの撮影が終了していないため（ステップＳ２９の判定がＮｏ）、ステップＳ２４に戻り、撮像ユニット１を異なる位置に移設して、ステップＳ２５の基準モードの切り替え処理からステップＳ２８の対象物Ｓの撮影までの処理を実行する。ステップＳ２４〜Ｓ２８の処理を繰り返すことで、対象物Ｓの三次元情報の取得に必要な範囲の撮像画像を撮影することができる。

対象物Ｓの撮影が完了したら、作業者は照合開始ボタン３２ｄをタッチ操作する（ステップＳ３０）。この操作によって照合開始信号が計算部３０に送信される。この信号を受信した計算部３０では、自動撮像の途中であれば自動撮像を停止し、対象物Ｓの三次元形状の算出を開始する。

まず、形状計算部３８が、画像情報記録部３７から配筋５１の撮像画像を撮影し、図６を用いて前述したような計算手順で撮像画像の画像解析を行う。照合モードの場合は、座標変換計算部４２が、基準情報記録部４１に記憶された基準情報に基づいて、形状計算部３８により出力された配筋５１の三次元座標を基準座標に座標変換する。座標変換された三次元座標と色情報は、座標変換計算部４２によって形状情報記録部４３に記憶される。

次に、照合計算部４４は、例えば、形状情報記録部４３の配筋５１の三次元情報に基づいて、主筋５２、帯筋５３の本数とピッチを計算する。得られた本数とピッチを、設計情報記録部４５の設計情報と比較し、これらを重ね合わせる、差異を強調する等して表示部３１の液晶ディスプレイに表示する。また、差異の大きさに応じて音や光を発生させることもできる。また、配筋５１の三次元情報に基づいて、主筋５２及び帯筋５３のピッチ、鉄筋径を複数箇所抽出し、これらのうち少数派となる部分すなわち、鉄筋の配置ミスとなっている部分を抽出し、表示することもできる。この場合は、設計情報と比較することなく配置ミスを検出することができる。

作業者は、表示部３１の表示情報を確認することで（ステップＳ３１）、ケアレスミスを容易に見つけることができる。表示情報に基づいて、配筋５１の手直しをすることで、手戻り等を抑制して、作業効率を向上させることができる。

三次元情報の確認が終了したら、作業者は、位置情報記録部３６、画像情報記録部３７、基準情報記録部４１、形状情報記録部４３等に記憶された各種情報を、演算装置３に内蔵又は外付けされたハードディスクやＵＳＢメモリ等の不揮発性メモリに保存する（ステップＳ３２）。この保存は、手動で行ってもよいし、演算装置３でのプログラムを終了させるときに、自動的に保存が行われる構成とすることもできる。また、各記録部を不揮発性メモリに設けて、ステップＳ３２の処理を省くこともできる。保存が完了したら、三次元情報取得装置１００の電源をオフして作業を終了する（ステップＳ３３）。

なお、ステップＳ２６（基準参照部２０の撮影）では、基準参照部２０の撮影と画像情報記録部３７、位置情報記録部３６への各情報の記憶のみ行い、形状計算部３８と基準情報計算部４０による処理は、ステップＳ３０の照合開始ボタン３２ｄの操作後に行う構成とすることもできる。これにより、現場で計算完了を待つ時間が無くなり、現場での作業時間をより短縮することができる。また照合完了までに要する時間を短縮するために、撮像ユニット１を移設する際にそれまでに撮影した撮像画像について形状算出を行っておく構成とすることや、撮像画像が１枚撮影されるごとに局所特徴量算出等の準備計算を逐次行っておく構成とすることもできる。

また、基準参照部２０の撮影及び対象物Ｓの撮影までを施工現場で行い、ステップＳ３０の基準情報の算出や対象物Ｓの三次元情報の算出、照合等は事務所等の他の場所で行うようにすることもできる。この場合、施工現場での作業をより短縮することができ、施工サイクルへの影響をより抑制することができる。

なお、撮像ユニット１が、規定の位置姿勢に高精度に位置合わせされて設置され、レール１４ａ上を撮像部１０の移動が高精度に行われる等により、撮影位置での撮像部１０の位置姿勢情報を高精度に認識できる場合等は、計測部１３や位置計算部３４を設けない構成とすることもできる。この場合、位置姿勢情報を、パラメータや、予め位置姿勢情報を記憶した記憶部等から取得することができる。また、基準点の位置や長さスケール等が予めわかっている場合等は、基準ユニット２を用いた撮影や、基準情報計算部４０による基準点の位置や長さスケールの算出等を省くことができる。また、基準ユニット２に代えて、基準墨等をマーカ２３として用いることもできる。このような構成とすることで、より簡易な構成でより低コストに三次元情報取得装置１００を提供することができる。

以上、本実施形態の三次元情報取得装置１００及び三次元情報取得方法では、１台の撮像部１０を移動しながら撮影を行うことで、配筋５１の撮像画像を１分以内で迅速に撮影することができる。また、画像解析に十分な枚数の撮像画像を撮影できるとともに、撮像画像間で所定範囲内のオーバーラップ率を確保することができる。また、計測部１３での計測値に基づいて、撮像部１０の位置姿勢情報をより効率的、かつ高精度に取得することができる。そのため、画像解析をより高速かつより高精度に行って、対象物Ｓの三次元座標を、より高精度に算出することができる。また、基準ユニット２を用いて基準点（原点）の位置情報及び長さスケールを算出しているので、設計情報等との照合もより正確に行うことができる。したがって、三次元情報を、高速かつ高精度に行って、施工の手戻り等を抑制するとともに、施工サイクルへの影響の少ない作業が可能となる。

また、本実施形態の三次元情報取得プログラムを、コンピュータにインストールすることで、撮像部１０からの撮像画像及び計測部１３からの位置情報に基づいて、対象物Ｓの三次元情報を、より高速に、より高精度に取得することが可能となる。

次に、図１１を参照して、第１の実施形態の三次元情報取得装置１００をトンネルの切羽６０の検査を行った場合の使用例を説明する。切羽６０の検査には、図３（ｂ）に示すような市松模様のマーカ２３や、発光体のマーカを設けた基準参照部２０が好適である。図１１に示すように、基準ユニット２を、切羽６０側ではなく、撮像ユニット１の後方、すなわちトンネルの入り口（坑口）側に設置することが望ましく、より安全な作業が可能となる。

そして、回転部１５によって、撮像部１０を後方の基準ユニット２に向けて配置し、基準参照部２０の撮影を行う。撮影が終了したら、回転部１５によって、撮像部１０を切羽６０側に向けて配置し、切羽６０の撮影を行う。三次元情報取得装置１００の各部での動作や計算部３０での三次元情報の算出手順は、配筋５１の検査で説明したとおりである。

計算部３０で算出された切羽６０の三次元情報と、設計情報や過去の計測値とを表示部３１に表示して比較することで、掘削状態や変位等を高精度に把握することができる。また、本実施形態の三次元情報取得装置１００では、高速に三次元形状を取得できるため、掘削サイクルごとに切羽６０の三次元形状を取得して比較することができる。そのため、例えば、余堀り量の把握や切羽６０の安定性の評価等を容易に行うことが可能となる。また、切削サイクルへの影響の少ない作業が可能となる。

なお、切羽６０付近では、粉塵が多いことが多く、粉塵が撮像画像に映り込んで撮影精度に影響することがある。この場合、撮像部１０として高感度のデジタルカメラを用いることや、別途照明を用意して常時点灯させて撮影することで、フラッシュ無しで撮影が可能となり、粉塵が多い環境でも高精度な撮像画像の撮影が可能となる。

（第２の実施形態）
次に、図１２を参照して、第２の実施形態に係る三次元情報取得装置１００Ａについて説明する。図１２は、第２の実施形態に係る三次元情報取得装置１００Ａを用いて、対象物Ｓとして断面形状が円形の柱（円柱）５０’の配筋５１’の三次元情報を取得している状態を示す。第２の実施形態では、取得した三次元情報に基づいて配筋検査を行う。

図１２に示すように、第２の実施形態に係る三次元情報取得装置１００Ａは、図１等に示す第１の実施形態に係る三次元情報取得装置１００と基本構成は同一である。以下、第２の実施形態及び後述の第３の実施形態においては、第１の実施形態と同一の構成については同一の符号を付して詳細な説明は省略し、第１の実施形態とは異なる構成について主に説明する。

第２の実施形態に係る三次元情報取得装置１００Ａは、撮像ユニット１Ａに、直動部１４と、直動部１４及び撮像部１０を、対象物Ｓを中心として、ヨー方向に回転させる回転部１５Ａとを有する可動部１２Ａを備えている。このような可動部１２Ａにより、撮像部１０を直動部１４によって移動させつつ、回転部１５Ａによってヨー方向に回転させることで、図１２に一点鎖線で示すような円弧状の軌跡を描いて撮像部１０が移動する。

以上のような構成の第２の実施形態に係る三次元情報取得装置１００Ａでも、第１の実施形態と同様に、配筋５１’の三次元情報を短時間で取得することができる。さらに、ヨー方向に回転可能とすることで、断面形状が円形の柱５０’の配筋５１’であっても、撮像部１０とは反対側の後方の主筋５２’や帯筋５３’の撮影時のオーバーラップ率を高くすることができる。したがって高精度な三次元情報の取得が可能となる。また、三次元情報の表示結果を参照することで、施工の手戻り等を抑制するとともに、施工サイクルへの影響の少ない迅速な作業が可能となる。なお、柱５０’の断面形状は円形に限定されることはなく、多角形でも本実施形態の三次元情報取得装置１００Ａ及び三次元形状取得方法を適用することができる。

（第３の実施形態）
次に、図１３を参照して、第３の実施形態に係る三次元情報取得装置１００Ｂについて説明する。図１３は、第２の実施形態に係る三次元情報取得装置１００Ｂを用いて、対象物Ｓとしてスラブ５５の三次元情報を取得している状態を示す。第３の実施形態では、取得した三次元情報に基づいてスラブの検査を行う。

建設現場等のスラブ５５の検査を行う場合は、撮像画像の解像度を高めるためと、スペースの都合により、できるだけ接近して撮影できることが求められる。また、スラブ５５の場合は、柱や壁面だけでなく、床や天井も撮影できることが求められる。

上記要望を満足するため、第３の実施形態に係る三次元情報取得装置１００Ｂは、撮像ユニット１Ｂに、直動部１４と、直動部１４及び撮像部１０を垂直面内においてピッチング方向（上下方向）にチルト回転させる第２の回転部１６と、直動部１４及び撮像部１０を鉛直方向（上下）に直線的に移動させる第２の直動部１７とを有する可動部１２Ｂを備えている。可動部１２Ｂの位置姿勢情報は、図示しない計測部によって逐次計測される。

このような可動部１２Ｂでは、例えば、直動部１４によって撮像部１０を軸方向（水平方向）に移動させながらスラブ５５の壁面を撮影することができる。また、第２の回転部１６によって撮像部１０をピッチング方向に回転させながら撮影することで、天井、壁面、床面を連続的に撮影することができる。また、ピッチング方向に３６０°回転可能に第２の回転部１６を構成することで、撮影範囲をより拡大することができる。

または、第２の回転部１６により、直動部１４及び撮像部１０を天井又は床に向けてピッチング方向の位置を固定し、この状態で直動部１４によって撮像部１０を軸方向に移動させながら撮影することもで、天井又は床を広範囲に撮影することができる。

また、第２の直動部１７によって、撮像部１０を上下に直線的に移動させながら壁面を撮影することもできる。また、直動部１４での左右方向（水平方向）への直動と、第２の直動部１７での上下方向（鉛直方向）への直動とを組み合わせて撮像部１０を上下左右に移動させることで、壁面をより広範囲に撮影することもできる。

なお、可動部１２Ｂに、直動部１４及び撮像部１０をヨー方向に回転させる第１の実施形態の回転部１５や第２の実施形態の回転部１５Ａをさらに設けることもできる。これにより、基準参照部２０の撮影を容易としたり、撮影範囲をより広げたり、解像度をより高めたりすること等が可能となる。

以上のような構成の第３の実施形態に係る三次元情報取得装置１００Ｂでも、第１の実施形態と同様に、スラブ５５の三次元情報の取得を高速に実施することができる。さらに、第２の回転部１６及び第２の直動部１７を備えることで、撮影可能な範囲をより広くすることができる。そのため、スラブ５５のような広面積の対象物Ｓの撮影を高い解像度で行うことができ、所定範囲内のオーバーラップ率も確保して、三次元情報をより高精度に取得することが可能となる。また、三次元情報の表示結果を参照することで、施工の手戻り等を抑制するとともに、施工サイクルへの影響の少ない迅速な作業が可能となる。また、内装工事現場において三次元情報取得装置１００Ｂを用いて三次元情報を取得することで、図面の読み違えによる墨出しの勝手違い、９０度間違い、部屋間違い、階数間違い等を発見することができ、手戻りを抑制することができる。

以上、図面を参照して、本発明の実施形態を詳述してきたが、具体的な構成は、この実施形態に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。

例えば、上記各実施形態では、撮像部１０としてデジタルカメラを用いているが、撮像機能を有するものであれば、デジタルカメラに限定されることはない。例えば、デジタルビデオカメラ、撮像機能を備えたスマートフォン、携帯電話機、ＰＤＡ（Personal Data Assistant）、タブレット端末等を用いることもできる。

また、外部照明を用意することが困難な天井裏等で三次元情報取得装置を使用する場合は、撮像部１０として距離画像カメラや赤外線カメラを利用することも有効である。また、濁水中等で使用する場合は、音響カメラ等を利用することも有効である。

また、上記各実施形態では、直動部１４としてボールネジ機構を用いているが、撮像部１０を直動させることが可能であれば公知の適宜の機構を用いることができる。例えば、回転力を直線的な動きに変換するラック・アンド・ピニオン機構またはクランク・スライダ機構や、空圧や水圧や油圧によって直動する流体シリンダ等を用いることができる。

また、保持部１１や保持部２１が三脚に限定されることはなく、撮像部１０を一定の位置姿勢に保持できれば、適宜の台、キャビネット、手押し台車、建設車両車等を用いることができる。保持部１１，２１として床面を利用し、例えば親墨の交点上に基準参照部２０や可動部１２を配置することもできる。また、計測部１３がロータリーエンコーダに限定されることもなく、リニアエンコーダ、３軸ジャイロセンサ等の角速度センサ、３方向加速度センサ等を用いることもできる。

また、マーカ２３が反射材製のマーカ２３、市松模様のマーカ２３、発光体のマーカ、に限定されることはなく、二次元バーコード等を用いることもできる。

また、撮像画像のブレを抑制するために、図４に点線で示すように、表示部３１に警告画像や警告音、光等を発する警告部４６を設けてもよい。この場合、例えば、位置計算部３４に、計測部１３から得られる可動部１２の各関節の位置姿勢情報の時間変化から、撮像部１０の移動速度を計算し、警告部４６に出力する機能を持たせる。警告部４６は、位置計算部３４から入力される移動速度が一定以上となった場合に、警告画像を生成して表示部３１に表示したり、警告音や光等を発したりして操作者に警告を行う。また、形状計算部３８等に、移動速度ベクトルの方向に基づいて撮像画像のブレを補正する機能を持たせることもできる。

また、トリガ部が計算部３０に設けられた撮像トリガ出力部３５に限定されることはない。トリガ部として、撮像部１０のセルフタイマ機能を用いて、所定の時間間隔でシャッタを切って撮影するようにすることもできる。

また、各実施形態では、計算部３０等を有する演算装置３を施工現場に設置しているが、本願がこれに限定されることはなない。演算装置３を施工現場から離れた管理センタ或いは作業現場事務所等に演算装置３を設置し、撮像部１０や計測部１３からの各種情報を有線又は無線通信モデム等を介して演算装置３に送信して計算や表示等を行うように構成することもできる。

また、計算部３０は、ノート型ＰＣ、デスクトップ型ＰＣ、タブレット端末等の演算装置３のＣＰＵや記憶部で実現しているが、撮像部１０に内蔵されたＩＣチップやメモリ等で計算部３０を実現することもできる。また、撮像部１０の液晶ディスプレイ等を、照会情報等を表示する表示部３１とすることもできる。これにより、演算装置３を用いることなく、より簡易な構成の三次元情報取得装置を提供することができる。また、表示部３１としての液晶ディスプレイ等に代えて、ウェアラブル装置（眼鏡型や時計型等）を用いることもできる。

１０撮像部１２，１２Ａ，１２Ｂ可動部１３計測部
１４直動部（第１の直動部）１５，１５Ａ回転部（第１の回転部）
１６第２の回転部１７第２の直動部２０基準参照部（撮像対象物）
２３マーカ３０計算部３４位置計算部
３５撮像トリガ出力部（トリガ部）３６位置情報記録部（記憶部）
３７画像情報記録部（記憶部）３８形状計算部４０基準情報計算部
４１基準情報記録部（記憶部）４２座標変換計算部
４３形状情報記録部（記憶部）４５設計情報記録部（記憶部）４６警告部
５１，５１’ 配筋（撮像対象物）５５スラブ（撮像対象物）
６０切羽（撮像対象物）１００，１００Ａ，１００Ｂ三次元情報取得装置
Ｓ対象物（撮像対象物）

Claims

撮像対象物を複数の方向から撮影した複数の撮像画像に基づいて、前記撮像対象物の三次元情報を取得する三次元情報取得装置であって、
前記撮像対象物の前記撮像画像を撮影する撮像部と、
前記撮像部を所定の位置姿勢で保持する保持部と、
前記保持部に対して前記撮像部を所定の軸方向に直線的に移動させる直動部を少なくとも有する可動部と、
複数の前記撮像画像を、該撮像画像が撮影されたときの前記撮像部の位置姿勢情報に基づいて画像解析して前記撮像対象物の三次元情報を算出する形状計算部と、を備え、
前記撮像部は、前記可動部によって所定間隔で移動するごとに、前記撮像対象物を撮影するように構成されたことを特徴とする三次元情報取得装置。
前記可動部の位置情報を計測する計測部と、
前記計測部で取得した前記位置情報に基づいて、前記撮像部の前記位置姿勢情報を算出する位置計算部と、を備え、
前記形状計算部は、前記位置計算部で算出された前記位置姿勢情報に基づいて、複数の前記撮像画像を解析して前記撮像対象物の前記三次元情報を算出することを特徴とする請求項１に記載の三次元情報取得装置。
既知の基準点に設置され、直交座標系を形成するように既知間隔で配置された少なくとも３つのマーカを有する基準参照部と、
前記撮像部によって撮影された前記基準参照部の複数の撮像画像を画像解析した結果に基づいて、前記基準点の位置姿勢情報及び長さスケールを算出する基準情報計算部と、
前記基準点の前記位置姿勢情報及び前記長さスケールに基づいて、前記形状計算部が算出した前記撮像対象物の三次元情報を、座標変換する座標変換計算部と、を備えたことを特徴とする請求項１又は２に記載の三次元情報取得装置。
前記撮像部の前記位置姿勢情報に基づいて、前記撮像部に撮像タイミングを通知するトリガ部を備えたことを特徴とする請求項１乃至３のいずれか一項に記載の三次元情報取得装置。
前記トリガ部は、前記位置計算部により算出された前記撮像部の前記位置姿勢情報の変化量が、閾値を超えたときに前記撮像部に前記撮像タイミングを通知するよう構成され、
前記撮像部は、前記撮像タイミングが通知されたときに、前記撮像対象物の前記撮像画像を撮影するように構成されたことを特徴とする請求項４に記載の三次元情報取得装置。
前記可動部は、前記撮像部を水平面内で回転させる回転部を有することを特徴とする請求項１乃至５のいずれか一項に記載の三次元情報取得装置。
前記可動部は、前記撮像部を、前記直動部の前記軸方向と交差する第２の軸方向に直線的に移動させる第２の直動部を有することを特徴とする請求項１乃至６のいずれか一項に記載の三次元情報取得装置。
前記可動部は、前記撮像部を垂直面内で回転させる第２の回転部を有することを特徴とする請求項１乃至７のいずれか一項に記載の三次元情報取得装置。
前記直動部による前記撮像部の移動速度が、閾値以上となったときに、警告を発する警告部を備えたことを特徴とする請求項１乃至８のいずれか一項に記載の三次元情報取得装置。
請求項１乃至９のいずれか一項に記載の三次元情報取得装置を用いた三次元情報取得方法であって、
前記撮像対象物に対して、前記直動部により前記撮像部を軸方向に直線的に移動させる工程と、
前記撮像画像間のオーバーラップ率が所定の範囲内となる位置に前記撮像部が到達したときに前記撮像部で前記撮像対象物の撮像画像を撮影する工程と、
各撮像画像が撮影されたときの前記撮像部の位置姿勢情報を取得する工程と、
複数の前記撮像画像を、該撮像画像が撮影されたときの前記撮像部の位置姿勢情報に基づいて画像解析して前記撮像対象物の三次元情報を算出する工程と、を有することを特徴とする三次元情報取得方法。
コンピュータを、撮像部で撮影された撮像対象物の複数の撮像画像を取得する手段と、前記撮像画像を撮影したときの前記撮像部の位置姿勢情報を取得する手段と、前記位置姿勢情報に基づいて複数の前記撮像画像を画像解析して前記撮像対象物の三次元情報を算出する手段として機能させるためのプログラム。