JP6833460B2

JP6833460B2 - 作業支援システム、作業方法、および処理装置

Info

Publication number: JP6833460B2
Application number: JP2016218249A
Authority: JP
Inventors: 亮森長; 武者　整; 整武者; 音晴桑村
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2016-11-08
Filing date: 2016-11-08
Publication date: 2021-02-24
Anticipated expiration: 2036-11-08
Also published as: CN108062431A; JP2018077628A; US10650551B2; US20180130231A1; US20200211222A1; CN108062431B

Description

本発明の実施形態は、作業支援システム、作業方法、および処理装置に関する。

特許文献１には、レーザスキャナー等を用いて構造物の三次元データを取得し、構造物の内部へ資材や機器を搬入するための搬入経路を生成するシステムが開示されている。特許文献１に開示された技術によれば、搬入に伴う作業の効率を高めることができる。
しかし、特許文献１では、搬入された資材や機器の固定作業については言及されておらず、これらの作業効率については未だ改善の余地がある。

特開２０１４−１７８７９４号公報

本発明が解決しようとする課題は、構造物内に物体を搬送および固定する際の作業効率を向上させることが可能な作業支援システム、作業方法、および処理装置を提供することである。

実施形態に係る作業支援システムは、撮影部と、格納部と、処理部と、を含む。前記撮影部は、構造物内に搬送されて前記構造物内に配された後の第１搬送物を撮影する。前記格納部は、前記構造物の三次元データと、前記三次元データの前記構造物内の所定位置に重ね合わせされた前記第１搬送物の三次元データと、を含む第１の三次元データを格納する。前記処理部は、前記第１の三次元データと、前記構造物内に配された前記第１搬送物を撮影することで得られた第２の三次元データと、を用いて、前記第１の三次元データにおける前記第１搬送物に対する、前記第２の三次元データにおける前記第１搬送物の不一致量を、第１方向と、前記第１方向に直交する第２方向と、前記第１方向及び前記第２方向に直交する第３方向と、のそれぞれの方向において算出し、前記それぞれの方向における前記不一致量を、前記格納部に格納された閾値と比較し、いずれかの方向において前記不一致量が前記閾値よりも大きい場合、当該方向とその方向における前記不一致量を出力する。

実施形態に係る作業支援システムの構成を表すブロック図である。作業の一例および実施形態に係る作業支援システムの動作を表すフローチャートである。格納部に格納されるデータの一例を表す模式図である。図２に表すステップＳ６およびＳ７における具体的な処理の一例を表すフローチャートである。第１の三次元データと第２の三次元データを重ね合わせたときの一例を表す模式図である。図５の三次元データを各面に投影させたときの様子を表す模式図である。

以下に、本発明の各実施形態について図面を参照しつつ説明する。
なお、図面は模式的または概念的なものである。同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。
また、本願明細書と各図において、既に説明したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。

図１は、実施形態に係る作業支援システム１００の構成を表すブロック図である。
図１に表すように、作業支援システム１００は、入力部１０、撮影部２０、格納部３０、処理部４０、表示部５０、および端末６０を含む。

実施形態に係る作業支援システム１００は、例えば、第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎの複数の搬送物Ｂを構造物Ａ内に順次搬送し、互いに連結し、固定する作業において、当該作業を支援するために用いられる。

このような作業として、例えば、既設の構造物内へ、紙葉類区分装置を構成する機器を搬送して据え付けつつ、組み立てていく作業が挙げられる。
あるいは、プラントの建設現場において、構造物内へ配管などの資材を搬送し、溶接等で固定しながら繋ぎ合わせていく作業が挙げられる。

入力部１０は、作業支援システム１００の使用者が、処理部４０に対して情報の入力を行うためのものである。入力部１０は、例えば、キーボード、タッチパネル、またはマイク（音声入力）などである。

撮影部２０は、撮影した被写体の三次元データを取得する。撮影部２０は、例えば、三次元レーザスキャナーであり、被写体の表面をレーザでスキャンし、その反射光から照射点の三次元座標を求め、被写体の外形を多数の点の集まり（点群データ）として取得する。撮影部２０は、例えば、構造物Ａ内の作業現場に設置され、構造物Ａの内部構造の点群データおよび第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎの点群データを自動で取得する。

撮影部２０は、構造物Ａ内に複数設置されていても良い。複数の撮影部２０が互いに異なる位置に設置されることで、死角が減り、より正確に対象の外形を表す点群データを取得することができる。複数の撮影部２０が構造物Ａ内に設置される場合、処理部４０は、複数の点群データを比較し、マッチングする部分同士を重ね合わせていき、１つの点群データを作成する。

格納部３０は、作業支援システム１００で用いられる各種データを格納するものである。格納部３０は、例えば、ＰＣに内蔵されたハードディスクドライブ（ＨＤＤ）、またはファイルサーバなどである。
格納部３０は、構造物データベース３１、搬送物データベース３２、設計データベース３３、撮影結果データベース３４、およびスケジュールデータベース３５を有する。

構造物データベース３１は、作業が行われる構造物Ａの内部構造の三次元データを格納している。より具体的には、構造物Ａ内の、第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎが固定されるエリアと、および当該エリアまでの第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎの搬送経路と、の三次元データを格納している。構造物データベース３１は、さらに、構造物Ａ外の、第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎの搬送が行われる場所の三次元データを格納していてもよい。これらの三次元データは、例えば、作業前に構造物Ａを撮影部２０によって撮影し、点群データを取得することで得られる。あるいは、構造物Ａおよび搬送が行われる場所の三次元ＣＡＤデータが存在する場合は、その三次元ＣＡＤデータが構造物データベース３１に格納されていても良い。

搬送物データベース３２は、第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎのそれぞれの三次元データ（例えば、三次元ＣＡＤデータ）を格納している。これらの搬送物の三次元ＣＡＤデータがない場合は、作業前に、各搬送物を撮影部２０により撮影することで、三次元データを取得することができる。

設計データベース３３は、構造物データベース３１に格納された構造物Ａの三次元データと、搬送物データベース３２に格納された各搬送物の三次元データと、を三次元座標上に重ね合わせた三次元データが格納されている。
以降では、構造物Ａの三次元データと搬送物Ｂの三次元データとが重ね合わせされた当該三次元データを、第１の三次元データと称する。

撮影結果データベース３４は、構造物Ａ内に、第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎが実際に配された状態の三次元データを格納している。具体的には、撮影結果データベース３４は、第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎが構造物Ａ内に配されて固定された後に、第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎを撮影部２０によって撮影することで得られた三次元データを格納している。
以降では、作業後に、構造物Ａ内の第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎを撮影して取得された当該三次元データを、第２の三次元データと称する。

なお、撮影結果データベース３４には、第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎがそれぞれ固定されたときの状態の三次元データが格納されていても良い。例えば、撮影結果データベース３４は、第１搬送物Ｂ_１が固定された後であって第２搬送物Ｂ_２が搬送される前の状態の三次元データ、第１搬送物Ｂ_１および第２搬送物Ｂ_２が固定された後であって第３搬送物Ｂ_３が搬送される前の状態の三次元データ、などを格納していても良い。

スケジュールデータベース３５は、作業のスケジュールを格納している。作業スケジュールは、例えば、一般に用いられているスケジューラによって作成されたものである。作業スケジュールは、作業の納期、搬送物の搬送順序および固定順序、各搬送物の搬送日時、搬送に用いられる資源（人員や機械など）、各資源の稼働時間帯、などの情報を含んでいる。

処理部４０は、例えば、ＰＣが備えるＣＰＵ（中央演算処理装置）およびメモリである。当該メモリには、処理部４０に各種処理を実行させるためのプログラムが記憶されている。処理部４０は、格納部３０に格納された各種データを参照しつつ、処理を実行する。処理部４０によって実行される具体的な処理については、後述する。

表示部５０は、例えば、モニタまたはタッチパネルなどである。表示部５０は、格納部３０に格納された各データベースを、作業支援システム１００の使用者が確認および編集できるように表示する。また、表示部５０は、処理部４０によって導出された結果を、使用者が確認できるように表示する。

端末６０は、例えば、スマートフォンやタブレットなどのモバイル機器である。端末６０は、構造物Ａで作業を行う作業者が携帯する。処理部４０は、導出された結果を、端末６０に送信することができる。すなわち、端末６０は、処理部４０から送信された情報を受信する受信部として機能する。また、作業者は、端末６０を用いて格納部３０が有する各データベースを参照することも可能である。

上述した各構成要素は、必要な情報を互いに送受信できるように、ＵＳＢケーブルやＬＡＮケーブル等の各種ケーブル、または無線ネットワークなどで相互に接続される。

次に、図２および図３を参照しつつ、作業の一例および実施形態に係る作業支援システム１００の動作について説明する。

図２は、作業の一例および実施形態に係る作業支援システム１００の動作を表すフローチャートである。
図３は、格納部３０に格納されるデータの一例を表す模式図である。

図３（ａ）は、構造物データベース３１に格納された構造物Ａの三次元データを表している。図３（ｂ）は、搬送物データベース３２に格納され、互いに連結された第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎの三次元データを表している。図３（ｃ）は、設計データベース３３に格納された第１の三次元データを表している。図３（ｄ）は、撮影結果データベース３４に格納された第２の三次元データを表している。
なお、図３（ａ）〜図３（ｄ）では、格納部３０に格納される三次元データを、模式的に二次元で表している。

図２に表すフローは、主に、搬送物の搬送および固定を行うステップＳ４と、これらの作業前に行われるステップＳ１〜Ｓ３と、これらの作業後に作業支援システム１００によって行われるステップＳ５〜Ｓ７と、を含む。

（ステップＳ１）
撮影部２０を用いて構造物Ａの内部を撮影して点群データを作成することで、構造物Ａの内部構造の三次元データを取得する。なお、構造物Ａの三次元ＣＡＤデータなどが既に存在する場合は、当該三次元ＣＡＤデータを利用することもできる。
このステップＳ１により、図３（ａ）に表すように、構造物Ａの内部構造の三次元データが準備される。

（ステップＳ２）
第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎの三次元データを取得する。第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎの三次元ＣＡＤデータなどがある場合は、それらのデータを用いることができる。三次元ＣＡＤデータなどがない場合は、例えば、第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎをそれぞれレーザスキャナーにより撮影し、これらの搬送物の外形を反映した点群データを作成することで三次元データを取得する。
このステップＳ２により、図３（ｂ）に表すように、第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎの三次元データが準備される。

（ステップＳ３）
ステップＳ１で準備された構造物Ａの三次元データに、ステップＳ２で準備された第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎの三次元データを、三次元座標上で重ね合わせる。このとき、第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎの三次元データが構造物Ａの三次元データと重ね合わせされる位置は、実際の作業において、各搬送物が構造物Ａ内で固定される位置に対応している。
このステップＳ３により、図３（ｃ）に表すように、三次元データの構造物Ａ内の所定場所に、第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎの三次元データが配された第１の三次元データが作成される。

第１の三次元データの作成後に、使用者は、第１の三次元データ上において、構造物Ａ内で第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎをそれぞれ動かし、各搬送物を構造物Ａ内の固定場所まで搬送する際の搬送経路の検討および作成を行っても良い。第１の三次元データを用いることで、搬送時の構造物Ａと各搬送物との干渉の有無を確認しつつ、搬送経路の検討を行うことができる。

あるいは、処理部４０が、第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎの固定場所の座標や構造物Ａの搬入口の座標などの情報をもとに、各搬送物の搬送経路を自動で導出するように、作業支援システム１００を構成しても良い。このとき、処理部４０は、スケジュールデータベース３５を参照し、第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎの搬送順序を考慮しつつ、各搬送物の搬送経路を導出しても良い。

処理部４０は、構造物Ａの三次元データに設定された搬送経路に沿って各搬送物が動く様子を動画で表示部５０に、表示させても良い。また、処理部４０は、第１の三次元データを用いて、構造物Ａ内の所定場所に第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎが配された状態を、表示部５０に表示させても良い。
このような情報を表示部５０に表示させることで、第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎを実際に搬送する前に、搬送時および搬送後の状態を具体的に把握することができ、作業をより円滑に行うことが可能となる。また、作業前にこれらの情報を納品先に提示することで、作業の様子および納品後の状態を、より具体的に納品先と共有することが可能となる。

また、ステップＳ１で構造物Ａの内部構造の点群データを取得した場合、作業者は、構造物Ａ内の床面の詳細な状態を、構造物データベース３１に格納された三次元データで確認することができる。このとき、作業者は、第１の三次元データ上で、床面の凹凸が大きい部分を避けるように、第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎの固定位置を変更したり、各搬送物の水平方向に対する傾きを小さくするように、各搬送物と床面との間に挟み込まれる部材の高さを調節したりすることも可能である。

（ステップＳ４）
実際に構造物Ａ内に第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎが搬送され、固定される。このとき、第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎは、事前に定められた構造物Ａ内の所定場所に固定される。すなわち、第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎは、これらの搬送物の固定後の位置が、第１の三次元データにおいて各搬送物が配されている場所と一致するように、固定される。

（ステップＳ５）
固定された第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎが撮影部２０によって撮影される。
このステップＳ５により、図３（ｄ）に表すように、実際に構造物Ａ内に固定された第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎの三次元データ（第２の三次元データ）が取得され、格納部３０に格納される。

なお、図３（ｄ）に表す例では、第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎとその周囲の三次元データのみが取得されているが、図３（ｃ）のように第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎと構造物Ａの内部全体の三次元データが取得されても良い。

（ステップＳ６）
処理部４０は、ステップＳ３で得られた第１の三次元データと、ステップＳ５で得られた第２の三次元データと、を比較する。これにより、第１の三次元データの第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎに対する、第２の三次元データの第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎの変位が検出される。

より具体的には、処理部４０は、第１の三次元データと第２の三次元データを同じ三次元座標系上に重ね合わせる。これにより、第１の三次元データと第２の三次元データとの間において、第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎの位置がどの程度変位しているかが検出される。すなわち、処理部４０は、第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎについて、搬送前に設計された位置に対して、実際に固定された位置が、どの程度異なっているかを検出する。

（ステップＳ７）
処理部４０は、検出結果を表示部５０に表示させる。また、処理部４０は、検出結果を端末６０に向けて送信し、端末６０は、受信した結果を画面に表示させる。端末６０に検出結果を表示させることで、固定された第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎの位置が、事前に設計された位置と合っているかを作業者が容易に確認することができる。

実施形態に係る作業支援システム１００によって上述したステップＳ５〜Ｓ７が行われることで、固定後の第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎの位置が、事前に設計された位置と合っているかを自動で検出することが可能となる。

このため、実施形態に係る作業支援システム１００によれば、作業者が、固定後の第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎの位置を測定して確認する必要が無く、作業効率を向上させることができる。
また、実施形態に係る作業支援システム１００を用いることで、検出結果が作業者の測量技術に依らないため、より高精度に変位の有無およびその程度を調べることができる。さらに、変位が高精度に検出されることで、作業者がその結果を受けて各搬送物を固定し直すことができるため、設計位置に対する各搬送物の最終的な固定位置の変位を小さくすることができ、作業の質を向上させることができる。

次に、図４〜図６を参照しつつ、ステップＳ６およびＳ７における変位の検出および検出結果の表示について、より具体的な一例を説明する。

図４は、図２に表すステップＳ６およびＳ７における具体的な処理の一例を表すフローチャートである。
図５は、第１の三次元データと第２の三次元データを重ね合わせたときの一例を表す模式図である。
図６は、図５の三次元データを各面に投影させたときの様子を表す模式図である。

図４に表す例では、ステップＳ６においてステップＳ６１〜Ｓ６４が行われ、ステップＳ７においてステップＳ７１またはＳ７２が行われる。

（ステップＳ６１）
ステップＳ６１では、上述したステップＳ６と同様に、第１の三次元データと第２の三次元データとを同じ三次元座標系上に重ね合わせる。
重ね合わせたときの模式的な様子を、図５に表す。なお、図５では、第１の三次元データに含まれる搬送物Ｂを破線で表し、第２の三次元データに含まれる搬送物Ｂを実線で表している。また、少なくとも第２の三次元データは、点群で表されるものであるが、ここではその外縁を模式的に直線で表している。

（ステップＳ６２）
重ね合わせた後の第１の三次元データにおける搬送物Ｂと第２の三次元データにおける搬送物Ｂを、任意の方向に投影させる。ここでは、三次元座標上の各方向（Ｘ方向、Ｙ方向、およびＺ方向）に対して垂直な面（Ｘ−Ｙ面、Ｙ−Ｚ面、およびＸ−Ｚ面）に投影させた場合について説明する。

図５に表す三次元データを各面に投影したときの様子を、図６に表す。
図６（ａ）はＸ−Ｙ面における様子を表し、図６（ｂ）はＹ−Ｚ面における様子を表し、図６（ｃ）はＸ−Ｚ面における様子を表す。

なお、図６（ａ）〜図６（ｃ）では、第１の三次元データにおける搬送物Ｂを破線で表し、第２の三次元データにおける搬送物Ｂを実線で表している。また、ドットの密度が高い部分は、第１の三次元データと第２の三次元データの間で搬送物Ｂが重なっている（一致している）部分を表し、ドットの密度が低い部分は、第１の三次元データと第２の三次元データの間で搬送物Ｂが重なっていない（一致していない）部分を表している。

（ステップＳ６３）
処理部４０は、図６（ａ）〜図６（ｃ）に表すように、それぞれの投影面において、第１の三次元データと第２の三次元データとの間における搬送物Ｂの三次元データの不一致量を算出する。

第１の三次元データが、搬送物Ｂの三次元ＣＡＤデータを含む場合、三次元ＣＡＤデータと点群データとが、投影面において重なっている割合を算出する。このとき、三次元ＣＡＤデータにおいて、点群データに含まれるいずれの点からも所定距離以上離れている領域は、不一致と判定される。あるいは、三次元ＣＡＤデータに重なっていない点は、不一致と判定される。

一例として、撮影部２０によって点群データが作成される際に、撮影部２０から照射されるレーザ光の照射角度ピッチが、１０メートル先で３ミリメートル間隔である場合、当該所定距離は、１０ミリメートルに設定される。

処理部４０は、各々の投影面において、不一致と判定された点の数を不一致量として算出する。あるいは、処理部４０は、各々の投影面において、不一致と判定された三次元ＣＡＤデータの面積を不一致量として算出しても良い。

または、処理部４０は、各々の投影面において、搬送物Ｂの点群データに含まれる点の数に対する、不一致と判定された点の数の割合を、不一致量として算出しても良い。あるいは、処理部４０は、各々の投影面において、三次元ＣＡＤデータの面積に対する、不一致と判定された面積の割合を、不一致量として算出しても良い。

また、第１の三次元データおよび第２の三次元データのそれぞれの搬送物Ｂが、色の情報を含んでいる場合、各点の色について、さらに一致の有無を判定しても良い。

あるいは、処理部４０は、各々の投影面において、第１の三次元データおよび第２の三次元データのそれぞれの搬送物Ｂから、特徴となる部分を抽出し、特徴部分同士の間の距離を不一致量として算出しても良い。

このように、互いに直交する各方向（各投影面）における不一致量を算出することで、固定された搬送物Ｂが、予め設計された位置に対して、どの方向においてどの程度変位しているかを検出することができる。
あるいは、重ね合わせた第１の三次元データと第２の三次元データを、任意の方向に投影させることで、任意の投影面における不一致量を算出することもできる。

なお、ここでは、不一致と判定されたものの割合や数を不一致量として算出しているが、一致と判定されたものの割合や数を算出しても良い。これらも、実質的に、不一致量を算出しているものとみなすことができる。

また、処理部４０は、ステップＳ６３において、以上で説明した不一致量の算出の後に、以下の方法を実行しても良い。
処理部４０は、各投影面において、第１の三次元データおよび第２の三次元データのいずれかの搬送物Ｂを、移動および回転させる。このとき、処理部４０は、第１の三次元データと第２の三次元データとの間における搬送物Ｂの不一致量が最小となるように、搬送物Ｂを動かす。処理部４０は、算出された、各方向における移動距離および回転角度の結果を、格納部３０に格納する。

この方法によれば、各投影面において、不一致量を最小とするために、搬送物Ｂをどの方向にどの程度移動させ、どの程度回転させれば良いかを算出することができる。特に、複数の搬送物が順次搬送され、固定されていく作業においては、ある搬送物の固定位置が、予め決められた位置に対して回転していると、当該搬送物に固定される搬送物の変位の量（位置のずれ）が、固定される搬送物の数に応じて大きくなっていく。従って、このような作業に作業支援システム１００を用いる場合は、処理部４０によって、不一致量を最小とするための回転角が算出されることが望ましい。

（ステップＳ６４）
ステップＳ６３で検出された不一致量に対しては、あらかじめ閾値が設定され、格納部３０に格納されている。処理部４０は、各投影面における不一致量を、閾値と比較する。閾値としては、例えば、各方向において許容できる不一致量が設定される。

各投影面における不一致量が閾値未満である場合は、ステップＳ７１に進む。
いずれかの投影面において、閾値以上の不一致量が存在する場合は、ステップＳ７２に進む。

（ステップＳ７１）
処理部４０は、固定された第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎについて、不一致量がいずれの方向においても閾値未満であり許容範囲内であることを、表示部５０に表示させたり、端末６０に通知したりする。このとき、各方向における不一致量を、表示部５０に表示させ、端末６０に通知しても良い。

（ステップＳ７２）
処理部４０は、固定された第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎについて、不一致量が閾値以上の方向があることを、表示部５０に表示させたり、端末６０に通知したりする。併せて、処理部４０は、不一致量が閾値以上の方向とその不一致量を、表示部５０に表示させ、端末６０に通知する。また、不一致量が閾値未満である方向についても、その不一致量を表示部５０に表示させ、端末６０に通知しても良い。

なお、ステップＳ７１およびＳ７２において、処理部４０は、各方向において検出された不一致量を、ミリメートルやセンチメートル等の単位を用いた数値に変換して表示させても良い。これにより、作業支援システム１００の使用者が、不一致量を直観的に把握し易くなる。

また、ステップＳ７１においておよびＳ７２において、不一致量が閾値未満である方向については、何ら通知を表示させないようにしても良い。すなわち、処理部４０は、ステップＳ７１において、何らの結果を表示したりおよび通知したりせず、ステップＳ７２においては、不一致量が閾値以上の方向とその不一致量のみを表示させても良い。

なお、ここでは、第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎまでの複数の搬送物が搬送される場合について説明したが、実施形態に係る作業支援システム１００は、１つの搬送物の搬送および固定を行う際にも適用可能である。すなわち、図２および図４のフローチャートに表す方法は、第１搬送物Ｂ_１のみが構造物Ａ内に搬送され、固定される場合にも適用することができる。

上述した例では、第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎを固定した後に、第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎを撮影し、その変位を検出する場合について説明したが、構造物Ａ内に第１搬送物Ｂ_１〜第ｎ搬送物Ｂ_ｎが配された後、固定される前に、これらの搬送物の変位を検出してもよい。各搬送物を固定する前に変位を検出することで、より容易にその変位を修正することができる。

また、実施形態に係る作業支援システム１００は、１つの搬送物が搬送され、構造物Ａ内に配されるたびに、図２のステップＳ５〜Ｓ７を実行するものであっても良い。例えば、実施形態に係る作業支援システム１００は、第１搬送物Ｂ_１が搬送されて配された後であって、第２搬送物Ｂ_２の固定および第１搬送物Ｂ_１との連結を行う前に、ステップＳ５〜Ｓ７を実行する。こうすることで、第２搬送物Ｂ_２の固定および連結の前に、第１搬送物Ｂ_１の変位を検出し、その修正を行うことができるため、全ての搬送物が固定および連結された後に、変位を修正する場合に比べて、作業に要する時間を短くすることができる。

以上、本発明のいくつかの実施形態を例示したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。これら実施形態やその変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。また、前述の各実施形態は、相互に組み合わせて実施することができる。

１０入力部、２０撮影部、３０格納部、３１構造物データベース、３２搬送物データベース、３３設計データベース、３４撮影結果データベース、３５スケジュールデータベース、４０処理部、５０表示部、６０端末、１００作業支援システム

Claims

構造物内に搬送されて前記構造物内に配された後の第１搬送物を撮影する撮影部と、
前記構造物の三次元データと、前記三次元データの前記構造物内の所定位置に重ね合わせされた前記第１搬送物の三次元データと、を含む第１の三次元データを格納する格納部と、
前記第１の三次元データと、前記構造物内に配された前記第１搬送物を撮影することで得られた第２の三次元データと、を用いて、前記第１の三次元データにおける前記第１搬送物に対する、前記第２の三次元データにおける前記第１搬送物の不一致量を、第１方向と、前記第１方向に直交する第２方向と、前記第１方向及び前記第２方向に直交する第３方向と、のそれぞれの方向において算出し、前記それぞれの方向における前記不一致量を、前記格納部に格納された閾値と比較し、いずれかの方向において前記不一致量が前記閾値よりも大きい場合、当該方向とその方向における前記不一致量を出力する処理部と、
を備えた作業支援システム。
構造物内への第１搬送物の搬送と、前記構造物内への第２搬送物の搬送および前記第１搬送物との連結と、を含む作業において用いられる作業支援システムであって、
前記第１搬送物が前記構造物内に搬送されて前記構造物内に配された後であって、前記第２搬送物が前記第１搬送物と連結される前の、前記第１搬送物を撮影する撮影部と、
前記構造物の三次元データと、前記三次元データの前記構造物内の所定位置に重ね合わせされた前記第１搬送物の三次元データと、を含む第１の三次元データを格納する格納部と、
前記第１の三次元データと、前記構造物内に配された前記第１搬送物を撮影することで得られた第２の三次元データと、を用いて、前記第１の三次元データにおける前記第１搬送物に対する、前記第２の三次元データにおける前記第１搬送物の不一致量を、第１方向と、前記第１方向に直交する第２方向と、前記第１方向及び前記第２方向に直交する第３方向と、のそれぞれの方向において算出し、前記それぞれの方向における前記不一致量を、前記格納部に格納された閾値と比較し、いずれかの方向において前記不一致量が前記閾値よりも大きい場合、当該方向とその方向における前記不一致量を出力する処理部と、
を備えた作業支援システム。
前記処理部から出力された前記不一致量を受信する受信部をさらに備えた請求項１または２に記載の作業支援システム。
構造物内に搬送されて前記構造物内に配された後の第１搬送物を撮影部が撮影する第１工程と、
前記構造物の三次元データ、および前記三次元データの前記構造物内の所定位置に重ね合わせされた前記第１搬送物の三次元データ、を含む第１の三次元データと、前記構造物内に配された前記第１搬送物を撮影することで得られた第２の三次元データと、を用いて、前記第１の三次元データにおける前記第１搬送物に対する、前記第２の三次元データにおける前記第１搬送物の不一致量を、第１方向と、前記第１方向に直交する第２方向と、前記第１方向及び前記第２方向に直交する第３方向と、のそれぞれの方向において処理部が算出し、前記それぞれの方向における前記不一致量を、格納部に格納された閾値と比較し、いずれかの方向において前記不一致量が前記閾値よりも大きい場合、当該方向とその方向における前記不一致量を前記処理部が出力する第２工程と、
を備えた作業方法。
前記第１搬送物は、前記構造物内に搬送される第２搬送物と連結されるものであって、
前記第１工程および前記第２工程は、前記第１搬送物が前記構造物内に配された後であって、前記第１搬送物が前記第２搬送物と連結される前に行われる請求項４記載の作業方法。
前記第２工程において、前記処理部から出力された前記不一致量を受信部が受信する請求項４または５に記載の作業方法。
前記第２の三次元データを用いて、前記構造物内への第２搬送物の搬送経路を作成する第３工程をさらに備えた請求項４〜６のいずれか１つに記載の作業方法。
構造物の三次元データ、及び前記三次元データの前記構造物内の所定位置に重ね合わせされた第１搬送物の三次元データを含む第１の三次元データと、前記構造物内に配された前記第１搬送物を撮影することで得られた第２の三次元データと、を用いて、前記第１の三次元データにおける前記第１搬送物に対する、前記第２の三次元データにおける前記第１搬送物の不一致量を、第１方向と、前記第１方向に直交する第２方向と、前記第１方向及び前記第２方向に直交する第３方向と、のそれぞれの方向において算出し、
前記それぞれの方向における前記不一致量を、所定の閾値と比較し、いずれかの方向において前記不一致量が前記閾値よりも大きい場合、当該方向とその方向における前記不一致量を出力する、
処理装置。
構造物の三次元データ、及び前記三次元データの前記構造物内の所定位置に重ね合わせされた第１搬送物の三次元データを含む第１の三次元データと、前記第１搬送物が前記構造物内に搬送されて前記構造物内に配された後であって、第２搬送物が前記第１搬送物と連結される前の、前記第１搬送物を撮影することで得られた第２の三次元データと、を用いて、前記第１の三次元データにおける前記第１搬送物に対する、前記第２の三次元データにおける前記第１搬送物の不一致量を、第１方向と、前記第１方向に直交する第２方向と、前記第１方向及び前記第２方向に直交する第３方向と、のそれぞれの方向において算出し、
前記それぞれの方向における前記不一致量を、所定の閾値と比較し、いずれかの方向において前記不一致量が前記閾値よりも大きい場合、当該方向とその方向における前記不一致量を出力する、
処理装置。