JP6643170B2 - 作業支援システム及び方法 - Google Patents

Description

本発明は、製品の組み立てや設備の保守等の各種作業において、作業に必要な情報を作業者に提示することにより作業者を支援する、作業支援システムに関するものである。

製品の組み立てや設備の保守等の各種作業においては、作業が適切に完了したか否かの確認を作業者が行う必要がある。その際、必要な箇所を見落としなく確認を行うための支援が必要である。また、作業を実施した箇所や対象物を撮影した写真等により、作業結果を保存する場合もあるが、この場合も、作業後に確認を行うために必要な箇所の写真等が適切に取得されるよう、作業者を支援することが望ましい。

近年、実世界を映した映像上の適切な位置に他の画像や文字等の仮想情報を提示することにより、使用者による実世界の理解を補助する技術である拡張現実感と呼ばれる技術が注目されている（例えば、非特許文献１）。拡張現実感を用いることにより、作業者が見ている作業空間上に作業を実施する対象物の位置を３次元的に提示することができる。このように提示された対象物の位置は確認を行う必要がある場所でもあることから、作業結果の確認の支援を目的として使用することも可能である。さらに、対象物の位置を表示する際に、対象物の場所に作業者の視線を誘導するような３次元的な表示も可能である。

例えば、特許文献１及び特許文献２では、３次元ＣＡＤデータや３次元の目標データと、３次元計測機やステレオ画像により取得した３次元データとの差分を求めることにより、作業の進捗を判定する技術が記載されている。さらに特許文献２では、目標データと取得した３次元データとを重畳表示させることにより、目標とするデータとの差分を視覚化する技術が記載されている。

特許文献３では、データベース中の写真と新たに取得した写真を比較し、差異をハイライト表示する技術が記載されている。

特許文献４及び特許文献５では、非特許文献１にある拡張現実感技術において、状況に応じて、現実空間上に重ね合わせる情報を変える技術が記載されている。例えば、特許文献４では対象の位置・方向に基づいて情報の内容を変化させる技術が、特許文献５では作業者の手を検出し、その有無で表示の色や透過度を変える技術がそれぞれ示されている。

特開平９−１３３５１９号公報 特開２００２−３５２２２４号公報 特許５７４０８８４号公報 特願２００９−５５５７５号公報 特願２０１０−２６９６３５号公報

「特集 拡張現実感」、情報処理学会誌、Ｖｏｌ．５１、Ｎｏ．４、２０１０年

非特許文献１の技術を用いることにより、確認が必要な箇所や対象物に対して、作業者の視線を誘導することが可能となる。また、特許文献１、特許文献２及び特許文献３の技術を用いることにより、３次元の目標データや３次元ＣＡＤデータと作業完了後の対象物の状態との差異を作業者が認識することが可能である。

しかしながら、これらの技術では、作業者が特定の箇所や対象物のどの部分を確認し、どの部分を確認していないかを判定し、確認していない部分を作業者に提示することができない。

また、非特許文献１の技術では、作業者が見ている作業空間上に対象物の位置を３次元的に提示することができるため、確認すべき場所を特定できた場合に、作業者の視線をその箇所に誘導する技術として有効であると考えられる。

しかしながら、作業者と対象物との距離が近いような場合、表示装置によっては、必要な箇所が表示領域内に納まらないことがある。このような場合、逆に、作業者が状況を把握しづらくなる可能性がある。

また、非特許文献１の技術では、作業者と作業空間の位置関係を推定する処理を行うが、その処理が適切に実施されない場合、情報がまったく提示されなくなるという問題もある。

特許文献４及び特許文献５では、状況に基づいて提示する情報の内容を変化させているが、現実空間上への重ね合わせ表示のみを対象としているため、上記のような状況に対しては十分な方法であるとは言えない。

そこで、本発明の目的は、作業者が行う作業結果の確認を適切に遂行できるように作業者を支援する技術を提供することにある。

本発明のさらに別の目的は、作業結果の確認を支援するための情報を作業者に分かりやすく提供することである。

本発明の一つの実施態様に従う作業支援システムは、作業空間内にある、作業対象の被取付体及び前記被取付体に取り付ける部品の３次元データと、１以上の作業工程の作業手順を示す作業マニュアルデータと、を記憶する記憶装置と、作業者が作業を行っている間、前記作業者から見える作業空間の３次元データを取得する３次元データ取得装置と、中央処置装置と、を備える。前記中央処理装置は、前記記憶手段に記憶されている作業マニュアルデータに基づいて、各作業工程の作業手順を出力させる処理と、前記記憶手段に記憶されている、第１の作業工程に係る被取付体及び部品の３次元データと、前記３次元データ取得装置が取得した作業空間の３次元データとを比較し、第１の作業工程の目視確認作業の終了条件を満たすか否かを判定する処理と、前記判定で前記終了条件が満たされないときは、前記終了条件を満たすためのガイダンスを出力させる処理と、を行う。

好適な実施態様では、前記中央処理装置は、さらに、前記３次元データ取得装置の位置及び姿勢を推定し、前記推定の結果に基づいて前記第１の作業工程に係る被取付体及び部品の３次元データと、前記作業空間の３次元データとをマッチングさせる処理を行ってよい。前記目視確認作業の終了条件は、前記第１の作業工程に係る被取付体及び部品の３次元データと前記作業空間の３次元データとの差分が所定の閾値以下でよい。

好適な実施態様では、前記終了条件を満たすためのガイダンスは、前記作業者が見る視点及び視線の方向を示すものでよい。

好適な実施態様では、前記作業者が見る視点は、前記第１の作業工程に係る被取付体及び部品の３次元データにあって前記作業空間の３次元データにない領域であってよい。

好適な実施態様では、前記作業者によって装着されるヘッドマウントディスプレイをさらに備えてよい。前記終了条件を満たすためのガイダンスは、前記ヘッドマウントディスプレイを通して前記作業者から見える作業空間において、前記作業者が見る前記被取付体または前記部品の位置及び視線の方向を、前記ヘッドマウントディスプレイに表示する第１の表示態様と、前記取付体及び前記部品を含むＣＧ画像において前記作業者が見る前記被取付体または前記部品の位置及び視線の方向をコンピュータグラフィックスで前記ヘッドマウントディスプレイに表示する第２の表示態様と、のいずれかの表示態様で出力されてよい。

好適な実施態様では、前記ガイダンスは、（１）〜（４）のいずれかが満たされるとき、前記第２の表示態様で出力されてよい。
（１）前記作業者と前記部品の距離が所定以下であるとき
（２）前記作業者が見る前記被取付体または前記部品の位置を遮蔽するまたは遮蔽するおそれがある物があるとき
（３）第１の表示態様では、前記作業者が見る前記被取付体または前記部品の位置及び視線の方向の表示が前記ヘッドマウントディスプレイに収まらないとき
（４）前記マッチングを行っても前記第１の作業工程に係る被取付体及び部品の３次元データと前記作業空間の３次元データとのズレが所定以上であるとき

好適な実施態様では、前記中央処理装置は、さらに、前記判定で前記終了条件が満たされるときは、第１の作業工程の次の第２の作業工程の作業手順を出力させてよい。

好適な実施態様では、前記中央処理装置は、さらに、前記判定で前記終了条件が満たされたときは、前記作業空間の３次元データを前記記憶装置に保存してよい。

本発明によれば、作業者が行う作業結果の確認を適切に遂行できるように作業者を支援することができる。

また、本発明によれば、作業結果の確認を支援するための情報を作業者に分かりやすく提供することができる。

本発明の第１の実施形態に係る作業支援システムを実現するための情報処理装置のハードウェア構成の一例 本実施形態における作業支援システムの利用シーンの一例 デプスセンサにより取得される作業空間データのフォーマットの一例 作業者のビュー及びそれに対応する領域の作業空間データの一例１４０ 部品モデル及び作業空間モデルを点群データの形式で保存する場合のデータフォーマットの一例 点群データとして設備を表した場合のイメージ 部品モデル及び作業空間モデルをポリゴンの形式で保存する場合のデータフォーマットの一例 作業マニュアルデータのデータフォーマットの一例 作業支援の手順を示すフローチャート 位置及び姿勢の推定の説明図 確認状態判定プログラムで実行される処理のフローチャート 作業空間データが不足している部品モデル上の領域を特定する処理の説明図 作業者が見るべき方向を決定する処理の説明図 作業者に見るべき位置及び方向を提示する方法の一例 本発明の第２の実施形態に係る作業支援システムの構成図 作業履歴のデータフォーマットの一例 第２の実施形態で実行される処理の流れを表すシーケンス図

以下、本発明の実施形態に係る作業支援システムについて図面を参照して説明する。本実施形態に係る作業支援システムは、例えば、組み立て作業を行う作業者に対して作業手順などの情報を提供して作業を支援する。

図１は、本発明を適用した第１の実施形態に係る作業支援システムを実現するための情報処理装置のハードウェア構成の一例を示す。

図１において、情報処理装置は、中央処理装置１０１と、入力装置１０２と、出力装置１０３と、記憶装置１０４と、を備える。

中央処理装置１０１が各種のプログラムを実行する。

入力装置１０２は、作業を実施する設備や対象物を含む空間に関するデータを作業空間データとして入力する装置である。本実施形態では、作業空間データを入力する装置１０２は、対象物までの距離を画素値とする距離画像を取得するデプスセンサ２０４でよい。また、入力装置１０２は、例えば、キーボード、マウス、タッチパネル等の一般的なコンピュータにおける入力装置を含んでもよい。

出力装置１０３は情報を作業者へ提示する装置であり、ＨＭＤ(ヘッドマウントディスプレイ)２０５と呼ばれる頭部装着型の表示装置でよい。

記憶装置１０４は、作業管理プログラム１０５、位置姿勢推定プログラム１０６、確認状態判定プログラム１０７、及び表示内容生成プログラム１０８を記憶する。各プログラムは中央処理装置１０１により実行されることで以下に説明する機能が実現される。

記憶装置１０４は、さらに、作業マニュアルデータ８００と、部品モデル１２０と、作業空間モデル１３０と、作業空間データ１４０とを有する。

作業管理プログラム１０５は、位置姿勢推定プログラム１０６、確認状態判定プログラム１０７、及び表示内容生成プログラム１０８の実行を制御し、作業者に提示する情報を管理するプログラムである。作業管理プログラム１０５は、例えば、作業マニュアルデータ８００に基づいて、各作業工程の作業手順を出力させよい。作業管理プログラム１０５は、一つの作業工程の終了条件が満たされるときは、次の作業工程の作業手順を出力させてよい。

位置姿勢推定プログラム１０６は、作業空間データ１４００と作業空間モデル１３００の対応関係を求めることにより、デプスセンサ２０４と作業空間との位置関係を推定するプログラムである。位置姿勢推定プログラム１０６は、デプスセンサ２０４の位置及び姿勢を推定し、その推定の結果に基づいて被取付体及び部品の３次元データと、作業空間の３次元データとをマッチングさせる。

確認状態判定プログラム１０７は、位置姿勢推定プログラム１０６により推定されたデプスセンサ２０４と作業空間との位置関係に基づいて、作業者が対象物に対して確認を行った部分を推定するプログラムである。例えば、確認状態判定プログラム１０７は、被取付体及び部品の３次元データと、デプスセンサ２０４が取得した作業空間の３次元データとを比較し、各作業工程の目視確認作業の終了条件を満たすか否かを判定してもよい。目視確認作業の終了条件は、被取付体及び部品の３次元データと作業空間の３次元データとの差分が所定の閾値以下としてもよい。

表示内容生成プログラム１０８は、確認状態判定プログラム１０７の結果に基づいて、作業者が見るべき位置及び方向を決定し、作業者に提示する情報を生成するプログラムである。例えば、確認状態判定プログラム１０７が目視確認作業の終了条件が満たされないと判断したときは、表示内容生成プログラム１０８は、その終了条件を満たすためのガイダンスを出力させてよい。このガイダンスは、作業者が見る視点及び視線の方向を示すものでよい。作業者が見る視点は、被取付体及び部品の３次元データにあって作業空間の３次元データにない領域でよい。

部品モデル１２０は、被取付体に取り付ける部品を表す３次元のモデルである。部品モデル１２０は、点群データの形式で表現され得る。また、部品モデル１２０は、部品を取り付ける場所及び取り付ける向きをコンピュータグラフィックス(ＣＧ)技術を用いて作業者に提示するために、ポリゴン(多角形)を用いた３次元モデルであってもよい。ポリゴンは、あらかじめ定めた大きさになるまで分割し、その頂点を抽出することにより、点群モデルに変換され得る。記憶装置１０４には、予め複数の部品の部品モデルが登録されていてもよい。

作業空間モデル１３０は、作業を実施する空間全体を表す３次元のモデルである。作業空間モデル１３０には、作業空間内にある作業対象の被取付体の３次元モデルを含む。作業空間モデル１３０は、部品モデル１２０と同様に、点群データの形式で表現され得る。記憶装置１０４には、複数の作業空間の状態に対応する複数の作業空間モデル１３０が点群データの形式で保存されていてもよい。

作業マニュアルデータ８００は、１以上の作業工程について、各作業工程の作業手順を示す。例えば、作業マニュアルデータ８００には、作業工程及び各作業工程の作業手順に関する情報と、作業で用いられる部品に関する情報と、作業空間モデルにおける部品の位置及び姿勢に関する情報が含まれる。

図２は、本実施形態における作業支援システムの利用シーンの一例を示す。

図２において、２０１はユーザ端末である。ユーザ端末２０１は、例えば、作業支援システムの各種処理を行う携帯型端末であり、小型コンピュータやタブレット型端末、スマートフォン等でよい。ユーザ端末２０１にはタッチパネル２０２が装備されており、タッチパネル２０２が受け付けたユーザ操作に従って、作業支援システムが動作するようにしてもよい。例えば、システムを開始または終了させる場合、及びシステムが誤って次の作業工程へ遷移した際に元の作業工程へ戻す場合等に、タッチパネル２０２がユーザ操作を受け付ける。本実施形態では、図１の情報処理装置がユーザ端末２０１であってよい。つまり、本実施形態では、ユーザ端末２０１が作業管理プログラム１０５、位置姿勢推定プログラム１０６、確認状態判定プログラム１０７、及び表示内容生成プログラム１０８の機能を実現する。

２０３は、作業者が作業中に装着するヘルメットである。ヘルメット２０３は、例えば、入力装置１０２である作業中空間データを入力するためのデプスセンサ２０４と、出力装置１０３である頭部装着型の表示装置のＨＭＤ（ヘッドマウントディスプレイ）２０５とを有する。

デプスセンサ２０４は、作業者が作業を行っている間、作業者から見える作業空間の３次元データを取得する３次元データ取得装置である。デプスセンサ２０４は、作業中の作業者の視線の作業空間を表す作業空間データ１４０を取得する。そのため、デプスセンサ２０４はＨＭＤ２０５に設置されてもよい。あるいは、作業者の肩や胸等、目的の空間の情報を取得することが可能な任意の箇所にデプスセンサ２０４を設置してもよい。

デプスセンサ２０４で取得された距離画像は、センサの焦点距離や中心位置を用いることにより、３次元空間上における点の集合として対象空間の情報を表す点群データに変換され得る。本実施形態における作業空間データ１４０は点群データとして表現されたものを使用する。また、デプスセンサ２０４としては、通常のカラー画像も取得することができるものを使用することができる。この場合、色情報が付加された点群データを取得することができる。本実施形態では、色情報が付加された点群データを使用する。

２０６は作業空間中に配置された設備であり、設備２０６に対して取り付けを行う部品２０７、２０８、２０９、２１０が取り付けられる。図２では、既に取り付けが終了した状態を表しているが、作業開始時は部品２０７〜２１０は、設備２０６上には設置されていない状態となる。

本実施形態では、図２の設備２０６に部品を取り付ける場合を例に説明するが、本発明は製品、機械、装置等の本体を被取付体としてこれに部品を取り付けるような、部品の取り付け工程の作業に対して適用することができる。

図３は、デプスセンサ２０４により取得される作業空間データ１４０のフォーマットの一例を示す。

作業空間データ１４０は、点の数１４０１と、点の位置座標１４０２と、点の色情報１４０３とをデータ項目として有する。作業空間データ１４０は点の数１４０１に示す点の数だけ点の位置座標１４０２及び色情報１４０３を有する。

位置座標１４０２は、一般的に使用されるｘ軸、ｙ軸及びｚ軸上の座標値の組み合わせで表現することができる。位置座標１４０２は、他の座標系で表現されてもよい。

色情報１４０３は、例えば、三原色(赤、緑、青)の各成分の値の組み合わせで表現することができる。色情報１４０３は、他の色空間を用いて表現されてもよい。

図４Ａは、作業者がＨＭＤ２０５を通して見ている作業空間である作業者のビュー４０１を示す。作業者のビュー４０１には、部品２０９と設備２０６の一部が含まれる。

図４Ｂは、作業者のビュー４０１に対応する領域の作業空間データ１４０（点群データ）に基づいて描画した図を示す。図４Ｂに示すように、デプスセンサ２０４から取得される点群データを空間上に表示すると、作業空間内の設備２０６及び部品２０９の面が点の集合として表現される。

図５は、部品モデル１２０及び作業空間モデル１３０を点群データの形式で保存する場合のデータフォーマットの一例を示す。部品モデル１２０及び作業空間モデル１３０は共通のフォーマットでよい。ここでは、点群データの形式の部品モデル１２０及び作業空間モデル１３０を、３次元モデル（点群データ）５００と呼ぶ。

３次元モデル（点群データ）５００は、データ項目として名称５０１と、点の数５０２と、点の位置座標５０３と、点の色情報５０４とを有する。３次元モデル（点群データ）５００は複数の点の位置座標５０３及び色情報５０４を有する。

名称５０１は、部品あるいは作業空間の名称で、識別子である。名称５０１としては、任意の文字列を使用することができる。

点の数５０２は、部品または作業空間の３次元モデルを構成する点の数である。

点の位置座標５０３は、部品または作業空間の３次元モデルを構成する点の位置座標である。点の位置座標５０３の表現方法は、位置座標１４０２と同じでよい。

点の色情報５０４は、部品または作業空間の３次元モデルを構成する点の色情報である。点の色情報５０４の表現方法は、色情報１４０３と同じでよい。

図６は、作業空間モデル１３０として、図２の設備２０６を示す点群データを３次元モデル（点群データ）５００形式で有するとき、それを空間上に表示した場合の設備イメージ６０１を示す。

図７は、部品モデル１２０及び作業空間モデル１３０をポリゴン(多角形)の形式で保存する場合のデータフォーマットの一例を示す。部品モデル１２０及び作業空間モデル１３０は共通のフォーマットでよい。ここでは、ポリゴン形式の部品モデル１２０及び作業空間モデル１３０を、３次元モデル（ポリゴンデータ）７００と呼ぶ。

３次元モデル（ポリゴンデータ）７００は、データ項目として、名称７０１、ポリゴンの数７０２、ポリゴンの頂点数７０３、頂点の位置座標７０４、法線の向き７０６及びポリゴンの色情報７０７を有する。

名称７０１は、各部品や作業空間を区別するために付与される名称であり、識別子である。名称７０１としては、任意の文字列を使用することができる。

ポリゴンの数７０２は、部品や作業空間を構成するポリゴンの数である。３次元モデル（ポリゴンデータ）７００は、ポリゴンの数７０２だけポリゴンの頂点数７０３〜ポリゴンの色情報７０７を有する。

ポリゴンの頂点数７０３は、ポリゴンを構成する頂点の数であり、ポリゴンが三角形であれば３、四角形であれば４などの数値が登録される。３次元モデル（ポリゴンデータ）７００は、ポリゴンの頂点数７０３だけ頂点の位置座標７０４を有する。

頂点の位置座標７０４は、ポリゴンを構成する各頂点の位置座標である。頂点の位置座標７０４は、ポリゴンの頂点数７０３だけデータを有する。位置座標の表現方法は位置座標１４０２と同じでよい。

法線の向き７０６は、ポリゴンの法線の方向を示すベクトルに関する情報である。法線の向き７０６は、ベクトルのｘ軸、ｙ軸及びｚ軸方向の成分の値により表すことができる。

ポリゴンの色情報７０７は、ポリゴンの色を示す。ポリゴンの色情報７０７の表現方法は、色情報１４０３と同じでよい。

図８は、作業マニュアルデータ８００のデータフォーマットの一例を示す。

作業マニュアルデータ８００は、作業を構成する複数の作業工程ごとの各工程の作業手順に関する情報と、作業で被取付体に対して取り付ける部品に関する情報と、作業空間モデルにおける部品の位置及び姿勢に関する情報が含まれる。

作業の名称８０１は、複数の作業がある場合に各作業を区別するために付与される名称であり、識別子である。作業の名称８０１は、任意の文字列を使用することができる。

作業工程の数８０２は、作業を構成する工程の数である。

作業工程の名称８０３は、各作業工程の名称である。作業工程の名称８０３には、任意の文字列を使用することができる。

作業工程の内容８０４は、各作業工程で行う作業工程の内容である。作業工程の内容８０４には、任意の文字列を使用することができる。作業工程の内容８０４には、具体的な作業手順を示す画像や動画を含めることができる。

作業空間モデル名８０５は、各作業工程に関連する作業空間モデル１３０の名称である。作業空間は作業が進むにともなって変化していくことになるため、図８に示すデータフォーマットでは、作業工程毎に異なる作業空間モデル１３０を指定できるようにしている。

部品モデル名８０６は、各作業工程において取り付けられる部品の部品モデルの名称である。

部品の位置及び姿勢８０７は、部品モデル名８０６の部品の位置及び姿勢を示す情報であり、位置と向きに関する情報で構成される。位置は一般的に使用されるｘ軸、ｙ軸及びｚ軸上の座標値の組み合わせでよい。向きは、ｘ軸、ｙ軸及びｚ軸周りの回転角度で表すことができる。位置及び向きの表現方法としては、同様の機能を有する方法であれば、どのような表現を用いても良い。

また、図８に示すフォーマットでは、各作業工程で対象となる部品（部品モデル名８０６及び部品の位置及び姿勢８０７）は一つであるが、複数の部品を登録できるようにしても良い。

図９のフローチャートを用いて、本実施形態に係る作業支援システムが行う作業支援の手順について説明する。

図９のステップ９０１では、作業管理プログラム１０５が作業マニュアルデータ８００から作業者が選択した作業工程に関する情報をシステムに読み込む。作業工程を選択する方法としては、例えば、作業工程の一覧をユーザ端末２０１の画面上に一覧表示し、タッチパネル等を用いて選択できるようにすれば良い。

ステップ９０２では、読み込んだ作業工程における作業工程の内容が実施対象の作業手順として設定される。

ステップ９０３では、システム状態が「作業中」に設定される。

ステップ９０４では、作業管理プログラム１０５が、デプスセンサ２０４から作業者が見ている作業空間のデータ（点群データ）を取得する。

ステップ９０５では、姿勢推定プログラム１０６が作業空間モデル１３０に対するデプスセンサ２０４の位置及び姿勢の推定を行う。姿勢推定プログラム１０６は、作業管理プログラム１０５により起動されてもよい。

姿勢推定プログラム１０６は、ステップ９０４で取り込んだ作業空間データ１４０と、実施中の作業工程の作業空間モデル名８０５に対応する作業空間モデル１３０の点群データとを用いて、デプスセンサ２０４の位置及び姿勢を推定してもよい。例えば、位置姿勢推定プログラム１０６は、デプスセンサ２０４から取得された作業空間データ１４０と、実施中の作業工程の作業空間モデル名８０５に対応する作業空間モデル１３０の点群データとが最も良く一致するように、一方の点群データの並進及び回転を行う変換行列を求めることにより、デプスセンサ２０４の位置及び姿勢を推定してもよい。

図１０を参照して、位置及び姿勢の推定について具体的に説明する。

同図Ａは、デプスセンサ２０４から取得された作業空間データ１４０に基づいて描画した作業空間１００１を示す。同図Ｂは、実施中の作業工程の作業空間モデル名８０５に対応する作業空間モデル１３０の点群データを描画した作業空間モデル６０１である。

位置姿勢推定プログラム１０６は、例えば、作業空間１００１を、作業空間モデル６０１における対応箇所１００２に一致するように、作業空間１００１を並進及び回転させる変換行列を求める。作業空間１００１及び対応箇所１００２が最も良く一致する変換行列を求める方法としては、点群データの位置合わせとして良く知られている方法、例えば、ICP(Iterative Closest Point)アルゴリズム(S. Rusinkiewicz and M. Levoy、 “Efficient Variants of the ICP Algorithm”、 Third International Conference on 3D Digital Imaging and Modeling、 2001)やNDT(Normal Distributions Transformation)(P. Biber and W. StraBer、 “The Normal Distributions Transform:A New Approach to Laser ScanMatching Proceedings of the 2003 IEEE/RSJ International Conference on Intelligent Robots and Systems、 2003)等を用いることができる。

デプスセンサ２０４の位置及び姿勢の推定を行う方法としては、二つの点群データが最も良く一致する回転行列を求める手法であれば、これ以外のどのような手法を用いても良い。

図９に戻ると、ステップ９０６では、作業管理プログラム１０５が、システム状態が「作業中」であるか「確認中」であるかを判定する。システム状態が「作業中」の場合はステップ９０７に、「確認中」の場合はステップ９１０に進む。

ステップ９０７では、作業管理プログラム１０５が、実施中の作業工程の内容に関する情報を作業マニュアルデータ８００から抽出し、ＨＭＤ２０５に表示させてよい。この場合、表示される情報は、作業手順の名称８０３及び作業工程の内容８０４でよい。

このとき、作業管理プログラム１０５が、部品モデル名８０６の部品モデル１２０と、部品の位置及び姿勢８０７と、ステップ９０５で推定されたデプスセンサ２０４の位置及び姿勢とに基づいて、作業者のビューにおいて、作業空間内の部品と重畳されるように、部品のＣＧ画像をＨＭＤ２０５に表示してもよい。このようなＨＭＤ２０５への表示は、例えば、拡張現実感(Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ)として良く知られている技術を用いることにより行うことができる。

ステップ９０８では、作業管理プログラム１０５が、作業者から確認開始の指示があったか否かを判定する。ここで、確認とは、各工程の作業手順が終了したあとに、その工程の作業が仕様通りに完了しているか否かについて、作業者が目視で行う確認である。この目視確認の終了条件が満たされると、ステップ９１４で次の作業工程に遷移する。

確認開始の指示は、例えば、ユーザ端末２０１の画面上に確認開始用のボタンを表示し、入力装置１０２として装備されているキーボードやマウス、タッチパネル等を用いて表示されているボタンを押下することにより行うことができる。あるいは、あらかじめ決められたキーボードやボタンを押下する方法や、デプスセンサ２０４により取得された点群データから、あらかじめ決められたジェスチャを検出する等、システムに指示を行う方法であれば、どのような手段でも用いることができる。

作業者による確認開始の指示が行われていない場合は、そのままステップ９０４に戻る。

作業者による確認開始の指示が行われた場合は、作業管理プログラム１０５がステップ９０９でシステム状態を「確認中」に設定した後、ステップ９０４に戻る。

ステップ９０６において、システム状態が「確認中」の場合は、ステップ９１０に進む。

ステップ９１０では、作業管理プログラム１０５により起動された確認状態判定プログラム１０７が、確認の状態を判定する。例えば、確認状態判定プログラム１０７は、作業者によって行われている確認の状況が作業工程の終了条件を満たすか否かを判定する。確認状態判定プログラム１０７は、さらに、確認されていない部品の領域があると判定された場合は、その領域を作業者による確認が必要な領域、つまり作業者が見る位置及び方向とする。

確認状態判定プログラム１０７で実行される処理について、図１１から図１３を用いて説明する。

確認状態判定プログラム１０７は、ステップ１１０１においてデプスセンサ２０４から取得された作業空間データ１４０から、実施中の作業工程に関連する部品に対応する点群データを抽出する。

この処理は、まず、確認状態判定プログラム１０７が、作業空間モデル１３０における部品の領域を特定してもよい。この部品領域は、例えば、作業マニュアルデータ８００の部品モデル名８０６で特定される部品モデル１２０を、位置及び姿勢８０７で特定される情報を用いて座標変換して特定してもよい。次に、確認状態判定プログラム１０７が、ステップ９０５で推定されたデプスセンサ２０４の位置及び姿勢を用いて、デプスセンサ２０４により取得された作業空間データを作業空間モデルと同じ座標系に座標変換してもよい。そして、確認状態判定プログラム１０７が、座標変換された作業空間データから部品領域の点群データを抽出してもよい。部品領域が既に抽出されているときは、抽出済みの部品領域の点群データに新たに抽出された点群データを足して（合成して）よい。

図１２に示す具体例を用いて説明する。

同図において、１２０１が、作業空間データ１４０を作業空間モデル１３０と同じ座標系に座標変換した後に、作業空間データ１４０の点群データを描画した作業空間を示す。１２０２が、部品の位置及び姿勢８０７により作業空間１２０１において特定された部品の領域である。このとき、部品領域１２０２に含まれる点群データ１２０３が部品に対する点群データとして抽出される。

抽出された点群データは、作業空間モデルと同じ座標系に座標変換されている。そのため、このあとにデプスセンサ２０４がさらに取得した点データをこの抽出された点群データに追加していくことで、点群データの合成を行うことができる。なお、合成後の点群データで、同じ位置に点が重複する場合や、特定の範囲に点が密集する場合があるため、特定の間隔で点を抽出する等の処理を行うことにより、均等に点が分布した点群データに変換されてもよい。

図１１に戻ると、ステップ１１０２では、確認状態判定プログラム１０７が、ステップ１１０１で抽出された部品領域の点が所定以上であるか否かを判定する。例えば、確認状態判定プログラム１０７が、抽出された部品の点群データと部品モデルとの差分が所定以下であるか否かを判定する。例えば、確認状態判定プログラム１０７が、部品モデルには存在するが、デプスセンサ２０４が取得した対象の部品の点群データには存在しない領域があるか否かを判定してもよい。この判定が、目視確認作業の終了条件であってもよい。

この処理は、ステップ１１０１で抽出された部品領域の点群データとそれ以前に抽出済みの部品領域の点群データとを合成した点群データと、部品モデルと比較することにより行ってもよい。

部品モデルが点群データである場合、ステップ１１０２の判定を以下のようにして行ってもよい。例えば、確認状態判定プログラム１０７が、抽出された部品の点群データ中の各点と一番近い部品モデルの点を求め、点間の距離を計算する。そして、確認状態判定プログラム１０７は、点間の距離があらかじめ定められた閾値より大きくなる部品モデル上の点を抽出する。これにより、抽出された点が集まった領域を、デプスセンサ２０４で取得された点群データが不足している部品モデル上の領域としてもよい。

部品モデルがポリゴンの形式である場合は、ステップ１１０２の判定を以下のようにして行ってもよい。例えば、確認状態判定プログラム１０７が、抽出された部品の点群データ中の各点から下ろした垂線が一番短くなる部品モデル上のポリゴンを検索し、垂線の距離及び垂線とポリゴンとの交点を求める。そして、確認状態判定プログラム１０７が垂線の距離があらかじめ定められた閾値より大きくなる垂線とポリゴンの交点を抽出する。点群データの場合と同様に、抽出された点が集まった領域を、デプスセンサ２０４で取得された点群データが不足している部品モデル上の領域としてもよい。

図１２では、１２０４が点群データとして保存された部品モデルである。このとき、部品モデル１２０４と点群データ１２０３とが上記の方法で比較されると、１２０５で示した部品の領域が点群データが不足している領域として特定される。特定された領域の大きさがあらかじめ定められた閾値より大きい場合は、部品に対する点群データが十分に取得されていないと判定する。あるいは、点群データが不足している領域の大きさと部品の表面積の比率を求め、求めた比率があらかじめ定められた閾値より大きい場合、部品に対する点群データが十分に取得されていないと判定しても良い。

図１１に戻ると、ステップ１１０３で、ステップ１１０２において部品に対する点群データが不足していると判定された場合、ステップ１１０４に進む。部品に対する点群データが十分に取得された場合は処理を終了する。

ステップ１１０４では、点群データが不足している領域に対して、作業者の視点及び視線の方向を決定する。

作業者が見るべき位置（視点）は、例えば、点群データが不足している領域の中心や重心等でよい。また、該当する領域があらかじめ定めた閾値より大きい場合は、該当する領域をより小さい領域に分割し、得られた小さい領域の一つに対して中心や重心等を求めても良い。領域を分割する方法としては、例えば、二つに分割する場合、領域を特定の座標軸上に写像し、写像された領域の中間点を通る平面で分割すれば良い。

確認状態判定プログラム１０７は、作業者が見るべき位置を決定した後、作業者が見る方向を決定する。

図１３を用いて、作業者が見るべき方向（視線の方向）の決定方法について説明する。

図１３において、１３０１が点群データが不足していると判定された領域であり、１３０２は作業者が見るべき位置として決定された位置であるとする。ここで、確認状態判定プログラム１０７は、領域１３０１の法線の逆ベクトルを作業者が位置１３０２を見るべき方向の基準方向１３０３として設定してもよい。

次に、確認状態判定プログラム１０７は、基準方向１３０３の直線と他の部品を構成するポリゴンが交差するかどうかを検証してもよい。これにより、作業者が基準方向１３０３から位置１３０２を見た場合に視界を遮る他の部品があるかどうかの判定ができる。あるいは、確認状態判定プログラム１０７が基準方向１３０３の直線と他の部品を構成する点があらかじめ定められた閾値以内の距離にあるかどうかを検証することにより、視界を遮る可能性がある部品の有無を判定してもよい。図１３の場合、基準方向１３０３から位置１３０２を見る場合、他の部品１３０４が視界を遮ると判断される。視界を遮る他の部品が無いと判断された場合は、基準方向１３０３を作業者が位置１３０２を見るべき方向として決定されてよい。視界を遮る他の部品があると判断された場合、確認状態判定プログラム１０７は、基準方向１３０３を中心として角度を変化させた方向（例えば、図中の１３０５または１３０６）について、上述と同様の方法で、位置１３０２を見た場合に視界を遮る他の部品の有無を判定し、視界を遮る他の部品が無いと判定された方向を作業者が位置１３０２を見るべき方向として決定してもよい。

視線方向の角度を変化させる方法としては、あらかじめ角度を変化させる幅を設定しておき、設定されている幅を用いて、角度を変換させて良い。また、視界を遮る他の部品の有無の判定は、見るべき方向を表す直線からあらかじめ定めた範囲内にポリゴンや点が存在しない場合に視界を遮る他の部品が存在しないと判定しても良い。図１３の場合、視界を遮る他の部品が存在しない方向１３０５が選択されてよい。

図９に戻ると、ステップ９１１では、表示内容生成プログラム１０８が起動される。そして、表示内容生成プログラム１０８が、作業者が確認のために見るべき領域の位置及び見る方向を示すガイダンスの画像を生成する。ガイダンスの画像は、ステップ９１０において決定された、作業者が見ていない部品の領域及びその領域を見る方向に基づいて生成されるものでよい。

ガイダンス画像としては、良く知られた拡張現実感技術を用いることにより、作業者がＨＭＤ２０５を通して見ている実際の部品に重なるようにＨＭＤ２０５に位置及び方向を示す画像でよい。ガイダンス画像には文字が含まれていてもよい。

ガイダンス画像は、例えば、ＨＭＤ２０５を通して作業者から見える作業空間において、作業者が見る被取付体または部品の位置及び視線の方向を示す画像でよい。これは、拡張現実感技術を用いて実現されるものでよい。また、ガイダンス画像は、被取付体及び部品を含むＣＧ画像において作業者が見る被取付体または部品の位置及び視線の方向を示す画像でよい。

例えば、図１４Ａのように、表示内容生成プログラム１０８が、作業者が実際に見ている作業空間（作業者のビュー）に位置及び方向を示す矢印と確認を促すメッセージを組み合わせた画像１４０１をＨＭＤ２０５に表示して良い。あるいは、図１４Ｂに示すように、メッセージの代わりに、目視を想起させる目や顔、カメラ等の画像１４０３がＣＧとの組み合わせで提示されるようにしても良い。あるいは、目視する位置へ移動する矢印等によるアニメーションを用いることもできる。さらに、拡張現実感による実際の部品による重ね合わせを行う他、図１４Ｃに示すようなＣＧ画像１４０４を表示させてもよい。ＣＧ画像１４０４は、部品モデル１２０及び作業空間モデル１３０に基づいて生成された作業空間及び部品のＣＧにおいて、作業者が見るべき位置及び方向を表示するものでよい。ＣＧ画像１４０４は、作業者の視界を遮らないＨＭＤ２０５内の位置、例えば、左右の上方等に提示するようにしても良い。

この場合、拡張現実感技術を用いることにより、表示内容生成プログラム１０８が、作業者が実際の部品及び作業空間を見ているのと同じ視点からみた部品モデル及び作業空間モデルのＣＧ画像をリアルタイムに生成するようにしても良い。作業者に見るべき領域の位置及び方向を提示する方法としては、見るべき領域の位置及び方向を認識できる方法であれば、どのような方法を用いても良い。

さらには、表示内容生成プログラム１０８は、デプスセンサ２０４が取得した作業空間データにおいて、作業者の手や作業者が把持している工具を検出してもよい。そして、検出された作業者の手や工具が対象となっている部品と重なって見える位置にある場合、あるいは、あらかじめ定められた範囲内に存在している場合は、表示内容生成プログラム１０８はＣＧ画像を用いた提示方法を採用し、それ以外の場合は拡張現実感技術を用いた提示方法を採用してもよい。これは、作業者の手や工具が作業者が見るべき部品等の位置を遮蔽または遮蔽するおそれがあるからである。

部品を遮蔽するものがあるとき、及び作業者と部品の距離が近いときは、図９のステップ９０５における位置及び姿勢の推定が適切に完了しない場合が多い。従って、位置及び姿勢推定が適切である場合は拡張現実感技術を用いた方法を使用し、そうでない場合はＣＧ画像を用いた方法を使用するようにしても良い。

ここで、位置及び姿勢の推定が適切に完了したか否かの判定は、例えば以下のように行ってもよい。すなわち、推定された位置及び姿勢を用いたデプスセンサ２０４から取得された作業空間データが作業空間モデルの座標系に座標変換された後、変換された作業空間データと作業空間モデルとの距離が、あらかじめ定めた閾値以内であれば位置及び姿勢の推定が適切であると判定されるようにしてよい。位置及び姿勢の推定が適切でない場合のＣＧ画像としては、例えば、最後に位置及び姿勢の推定が適切に完了した際に得られた位置及び姿勢を用いて生成されたＣＧ画像でもよいし、あるいは、あらかじめ定めされた位置及び姿勢を用いて生成されたＣＧ画像でもよい。

また、表示内容生成プログラム１０８は、図１４Ａ及び図１４Ｂに示す拡張現実感を用いた提示方法と、図１４Ｃに示すＣＧ画像を用いた提示方法を切り替えるようにしてもよい。例えば、（１）作業者と部品の距離が所定以下であるとき、（２）作業者が見る被取付体または部品の位置を遮蔽するまたは遮蔽するおそれがある物があるとき、（３）拡張現実感を用いた画像では、作業者が見る被取付体または部品の位置及び視線の方向の表示がＨＭＤ２０５に収まらないとき、（４）座標変換後の第１の作業工程に係る被取付体及び部品の３次元データと作業空間の３次元データとの距離が所定以上であるとき、のいずれかの場合には、ＣＧ画像を用いた方法を使用するようにしても良い。

図９に戻ると、ステップ９１２では、ステップ９１０において確認が完了した（終了条件が満たされた）と判定された場合、ステップ９１３に進む。確認が完了していない（終了条件が満たされていない）と判定された場合はステップ９０４に戻る。

ステップ９１３に進む前に、確認が完了したことや次の手順に進むことを作業者に通知する情報をＨＭＤ２０５に提示するようにしても良い。この場合、さらに、通知に対する作業者の応答を入力装置１０２から取得し、応答取得後にステップ９１３に進むようにしても良い。

ステップ９１３では、作業管理プログラム１０５がすべての作業工程が終了したかどうかを判定する。すべての作業工程が終了した場合は、処理を終了する。処理を終了する際には、確認時に取得された作業空間データ（各部品の点群データを含む）１４０を記憶装置１０４に保存するようにしても良い。さらに、各作業手順の開始時刻や確認開始時刻、確認終了時刻等を併せて保存してもよい。

すべての作業工程が終了していない場合は、ステップ９１４で次の作業工程に遷移し、ステップ９１５でシステム状態を「作業中」に設定し、ステップ９０４に戻る。

なお、本システムはタイムアウトを判定する機能を有していてもよい。すなわち、ステップ９１２において対象の部品の確認が完了しておらず、かつ、確認の開始時からの経過時間が所定時間以上になると、作業管理プログラム１０５が強制的にステップ９０３以降の処理を行うようにしてもよい。このとき、作業管理プログラム１０５が作業のやり直しを作業者に指示する情報をＨＭＤ２０５に提示してもよい。さらに、作業のやり直しの指示に対する作業者の応答を入力装置１０２により取得し、応答取得後にステップ９０３に戻るようにしても良い。

さらに、本システムは、作業空間データと部品モデルと適合度合いが低いとき、強制リセットする機能を有していてもよい。すなわち、ステップ９１２において、作業空間データと部品モデルとの距離があらかじめ定められた閾値より大きい場合、作業管理プログラム１０５が強制的にステップ９０３以降の処理を行うようにしてもよい。このとき、作業管理プログラム１０５が作業のやり直しを作業者に指示する情報をＨＭＤ２０５に提示してもよい。さらに、作業のやり直しの指示に対する作業者の応答を入力装置１０２により取得し、応答取得後にステップ９０３に戻るようにしても良い。

なお、本実施形態では、出力装置としてＨＭＤ２０５を用いる例で説明したが、ユーザ端末２０１を出力装置としてもよい。例えば、作業中の作業者への支援を目的とする場合はＨＭＤ２０５を出力装置とするのが好適であり、作業後に作業結果を確認することを目的とする場合はユーザ端末２０１を出力装置とするのが好適である。

ユーザ端末２０１を出力装置とする場合、デプスセンサ２０４は、ユーザ端末２０１と一体でもよいし、ユーザ端末２０１に装着されていてもよい。各種の処理や表示方法はＨＭＤの利用を前提とした場合の処理や表示方法と同様でよい。

また、本実施形態では、取り付け作業を対象として説明を行ったが、より一般的な製造工程や建設・改修工事、点検等における確認作業の完了確認にも適用可能である。

さらに、作業者への情報提示方法として、ＣＧ画像を用いた方法と拡張現実感を用いた方法を切り替える方法は、確認作業時のみならず、取り付け等の通常の作業時にも適用することが可能である。

本実施形態により、作業者が作業結果の確認を行う際に、確認が不足している箇所を自動的に検出し、検出した箇所に作業者の視線を誘導することにより、確実に作業結果の確認を遂行できるように作業者を支援することが可能となる。さらに、作業結果の確認を行っている際の作業者や作業空間の状況に応じて、作業者が状況を理解しやすい情報を提示することができる。

次に、本発明の第２の実施形態に係る作業支援システムについて、図１５〜図１７を用いて説明する。

図１５は、第２の実施形態に係る作業支援システムの構成図である。

本実施形態に係る作業支援システムは、作業者用端末１５０１と、作業情報管理用端末１５１７とを有し、これらがネットワーク１５１６を介して接続されている。そして、作業情報管理用端末１５１７が本システムで使用するデータを管理する。作業者用端末１５０１は、作業情報管理用端末１５１７からデータを取得して作業者の支援を行う。以下の説明において、第１の実施形態と同様の機能または構成については説明を省略する場合がある。

作業者用端末１５０１は、中央処理装置１５０２、入力装置１５０３、出力装置１５０４、及び記憶装置１５０６を有する。これらは、図１における中央処理装置１０１、入力装置１０２、出力装置１０３、及び記憶装置１０４とそれぞれ同様のものである。

記憶装置１５０６には、送受信プログラム１５０７と、作業管理プログラム１５０８と、位置姿勢推定プログラム１５０９と、確認状態判定プログラム１５１０と、表示内容生成プログラム１５１１と、部品モデル１５１３と、作業空間モデル１５１４と、作業マニュアルデータ１５１５とが記憶されている。

作業管理プログラム１５０８は、第１の実施形態における作業管理プログラム１０５と同様の機能を有し、さらに、作業情報管理用端末１５１７との間で、データの送受信を行う機能を有する。

位置姿勢推定プログラム１５０９、確認状態判定プログラム１５１０、表示内容生成プログラム１５１１は、第１の実施形態における位置姿勢推定プログラム１０６、確認状態判定プログラム１０７、表示内容生成プログラム１０８とそれぞれ同様のものである。

部品モデル１５１３、作業空間モデル１５１４、及び作業マニュアルデータ１５１５は、第１の実施形態における部品モデル１２０、作業空間モデル１３０、及び作業マニュアルデータ８００とそれぞれ同様のものである。

作業者用端末１５０１は、さらに、通信装置１５０５を備える。通信装置１５０５は、作業情報管理用端末１５１７との間で情報のやり取りを行うための装置である。

作業結果１５１２には、作業の開始時刻や確認完了時刻等の作業時間に関する情報や、各部品を確認した結果取得された作業空間データ（点群データ）が保存される。

また、記憶装置１５０６に格納される送受信プログラム１５０７は、作業者が選択した作業に関する作業マニュアルデータ及びそれに付随する部品モデルや作業空間モデルを作業情報管理用端末１５１７から受信し、作業空間モデル１５１３、部品モデル１５１４、及び作業マニュアルデータ１５１５にそれぞれ格納するとともに、実施中の作業完了後、作業結果１５１２に保存されている作業時間に関する情報や各部品の点群データを作業情報管理用端末１５１７に送信するためのプログラムである。

作業情報管理用端末１５１７は、作業手順に関する情報及びそれに付随する部品モデルや作業空間モデルを一括管理する作業情報管理用端末である。

１５１８は、各種のプログラムを実行するための中央処理装置である。

１５１９は、各種プログラムを制御するためのキーボードあるいはマウス、タッチパネル等の一般的なコンピュータにおける入力装置である。

１５２０はディスプレイ等、一般的なコンピュータで使用される出力装置である。

１５２１は、作業者用端末１５０１との間で情報のやり取りを行うための通信装置である。

記憶装置１５２２には、送受信プログラム１５２３と、作業手順登録プログラム１５２４、作業履歴閲覧プログラム１５２５、部品モデル１５２６と、作業空間モデル１５２７と、作業マニュアルデータ１５２８と、作業履歴１５２９とが格納される。

送受信プログラム１５２３は、作業マニュアルデータ及びそれに付随する部品モデルや作業空間モデルを作業者用端末１５０１に送信するとともに、作業者用端末１５０１から送信される作業時間に関する情報や各部品の点群データを受信し、作業履歴１５２９に格納するプログラムである。

作業手順登録プログラム１５２４は、作業マニュアルデータ及びそれに付随する部品モデル及び作業空間モデルを追加、修正及び削除するためのプログラムである。

作業履歴閲覧プログラム１５２５は、作業履歴１５２９の内容を出力装置１５２０上に表示し、作業履歴の内容の確認や情報の追加・修正を行うためのプログラムである。

部品モデル１５２６、作業空間モデル１５２７、作業マニュアルデータ１５２８は、部品モデル１２０、作業空間モデル１３０、作業マニュアルデータ８００とそれぞれ同様のものである。

作業履歴１５２９は、過去に実施した作業における各作業手順の時間情報や確認時に取得した作業空間データを作業の実施履歴として保存する。作業履歴１５２９のデータフォーマットは、作業結果１５１２に保存される作業結果データ１６００と同様である。

図１６に作業結果データ１６００のデータフォーマットの一例を示す。

１６０１は作業の名称であり、識別子である。作業の名称１６０１は、任意の文字列を使用することができる。

１６０２は作業を実施した日時を示す。作業実施日時１６０２は日付と時刻を有する。時刻は作業の開始時刻及び終了時刻の一方または両方を含めることができる。

１６０３は作業項目の数を示す。

１６０４は、作業工程の完了時刻である。

１６０５は、作業工程の確認が完了した時点の作業空間データである。各工程の作業の目視確認が終了した時点で取得済みの作業空間の点群データでよい。

作業結果データ１６００は、作業項目の数１６０３だけの作業工程の完了時刻１６０４及び作業空間データ１６０５を有する

図１６のデータフォーマットでは、各作業工程の完了時刻のみを記載しているが、作業工程の開始時刻や確認の開始時刻を含めることもできる。

図１７は、本実施形態における処理の流れを表すシーケンス図を示す。

作業者がシステムを起動すると(１７０１)、作業者用端末１５０１は作業管理プログラム１５０８を用いて、作業情報管理用端末１５１７に、作業に関する情報の一覧を要求する(１７０２)。

作業情報管理用端末１５１７は、作業者用端末１５０１からの要求を受信し、要求に応じて、作業に関する情報の一覧を作業者用端末１５０１に送信する(１７０３)。

作業者用端末１５０１は作業に関する情報の一覧を受信し、受信した作業の一覧を出力装置１５０４に表示する(１７０４)。

作業者が実施対象の作業工程を選択すると(１７０５)、作業者用端末１５０１は、作業情報管理用端末１５１７に、作業者が選択した作業工程に関する作業マニュアルデータとその作業工程に付随する３次元モデルを要求する(１７０６)。

作業情報管理用端末１５１７は、作業者用端末１５０１からの要求に基づいて作業マニュアルデータと３次元モデルを送信する(１７０７)。

作業者用端末１５０１では作業管理プログラム１５０８により、受信した作業マニュアルデータと３次元モデルに基づいて、第１の作業工程に関する情報を出力装置１５０４に表示する(１７０８)。

作業者が第１の作業工程の確認開始を作業者用端末１５０１に通知すると(１７０９)、作業者用端末１５０１では、第１の実施例と同様に、位置及び姿勢推定プログラム１５０９、確認状態判定プログラム１５１０、及び表示内容生成プログラム１５１１を用いることにより作業者の確認作業の支援を行う。確認が完了すると、第２の作業工程に関する情報を出力装置１５０４に表示する(１７１０)。

最後の作業工程である第ｎ番目の作業工程に関する確認開始が作業者から通知され(１７１１)、確認が完了すると、作業者用端末１５０１は、作業完了の通知を出力装置１５０４上に表示する(１７１２)。

さらに作業者用端末１５０１は、各工程の開始時刻や終了時刻等の時間情報と、確認時に取得された各部品を含む作業空間データとを作業結果として作業情報管理用端末１５１７に送信する(１７１３)。作業情報管理用端末１５１７では、受信した作業結果を作業履歴１５２９に保存する。

第２の実施形態では、作業マニュアルデータ、部品モデル及び作業空間モデルの管理のみを作業情報管理用端末１５１７が実施するが、作業支援の機能の一部または全部を作業情報管理用端末１５１７が行うようにしても良い。この場合、作業者用端末１５０１は、入力装置１５０３から取得した点群データを作業情報管理用端末１５１７に送信するとともに、作業情報管理用端末１５１７から受信した表示内容を出力装置１５０４に表示する処理のみを実施することになり、作業結果１５１２、部品モデル１５１３、作業空間モデル１５１４及び作業マニュアルデータ１５１５も作業者用端末１５０１から削除された構成でよい。

第２の実施形態に係る作業支援システムにより、第１の実施形態と同様に作業者を支援することが可能となる。さらに、第２の実施形態では、作業マニュアルデータを作業情報管理用端末で一元管理し、必要な作業マニュアルデータのみを作業者用端末に読み込ませることにより、各作業者に応じた作業支援を行うことが可能となる。また、作業履歴を作業情報管理用端末に集約することにより、作業者以外が作業結果を確認することや、作業結果の比較分析等を行うことも容易となる。

１０５ 作業管理プログラム
１０６ 位置姿勢推定プログラム
１０７ 確認状態判定プログラム
１０８ 表示内容生成プログラム
１２０ 部品モデル
１３０ 作業空間モデル
１３０ 作業空間モデル
１４０ 作業空間データ
２０１ ユーザ端末
２０２ タッチパネル
２０３ ヘルメット
２０４ デプスセンサ
２０５ ヘッドマウントディスプレイ（ＨＭＤ）

Claims (9)

1. 作業空間内にある、作業対象の被取付体及び前記被取付体に取り付ける部品の３次元データと、１以上の作業工程の作業手順を示す作業マニュアルデータと、を記憶する記憶装置と、
   作業者が作業を行っている間、前記作業者から見える作業空間の３次元データを取得する３次元データ取得装置と、
   中央処理装置と、を備えた作業支援システムであって、
   前記中央処理装置は、
   前記記憶装置に記憶されている作業マニュアルデータに基づいて、各作業工程の作業手順を出力させる処理と、
   前記記憶装置に記憶されている、第１の作業工程に係る被取付体及び部品の３次元データと、前記３次元データ取得装置が取得した作業空間の３次元データとを比較し、第１の作業工程の目視確認作業の終了条件を満たすか否かを判定する処理と、
   前記判定で前記終了条件が満たされないときは、前記終了条件を満たすためのガイダンスを出力させる処理と、を行う作業支援システム。
2. 前記中央処理装置は、さらに、
   前記３次元データ取得装置の位置及び姿勢を推定し、前記推定の結果に基づいて前記第１の作業工程に係る被取付体及び部品の３次元データと、前記作業空間の３次元データとをマッチングさせる処理を行い、
   前記目視確認作業の終了条件は、前記第１の作業工程に係る被取付体及び部品の３次元データと前記作業空間の３次元データとの差分が所定の閾値以下である、請求項１に記載の作業支援システム。
3. 前記終了条件を満たすためのガイダンスは、前記作業者が見る視点及び視線の方向を示す、請求項２に記載の作業支援システム。
4. 前記作業者が見る視点は、前記第１の作業工程に係る被取付体及び部品の３次元データにあって前記作業空間の３次元データにない領域である、請求項３記載の作業支援システム。
5. 前記作業者によって装着されるヘッドマウントディスプレイをさらに備え、
   前記終了条件を満たすためのガイダンスは、
   前記ヘッドマウントディスプレイを通して前記作業者から見える作業空間において、前記作業者が見る前記被取付体または前記部品の位置及び視線の方向を、前記ヘッドマウントディスプレイに表示する第１の表示態様と、
   前記被取付体及び前記部品を含むＣＧ画像において前記作業者が見る前記被取付体または前記部品の位置及び視線の方向をコンピュータグラフィックスで前記ヘッドマウントディスプレイに表示する第２の表示態様と、のいずれかの表示態様で出力される、請求項２〜４のいずれかに記載の作業支援システム。
6. 前記ガイダンスは、（１）〜（４）のいずれかが満たされるとき、前記第２の表示態様で出力される、請求項５に記載の作業支援システム。
   （１）前記作業者と前記部品の距離が所定以下であるとき
   （２）前記作業者が見る前記被取付体または前記部品の位置を遮蔽するまたは遮蔽するおそれがある物があるとき
   （３）第１の表示態様では、前記作業者が見る前記被取付体または前記部品の位置及び視線の方向の表示が前記ヘッドマウントディスプレイに収まらないとき
   （４）前記マッチングを行っても前記第１の作業工程に係る被取付体及び部品の３次元データと前記作業空間の３次元データとのズレが所定以上であるとき
7. 前記中央処理装置は、さらに、
   前記判定で前記終了条件が満たされるときは、第１の作業工程の次の第２の作業工程の作業手順を出力させる処理を行う、請求項１〜６のいずれかに記載の作業支援システム。
8. 前記中央処理装置は、さらに、
   前記判定で前記終了条件が満たされたときは、前記作業空間の３次元データを前記記憶装置に保存する処理を行う、請求項１〜７のいずれかに記載の作業支援システム。
9. 作業空間内にある、作業対象の被取付体及び前記被取付体に取り付ける部品の３次元データと、１以上の作業工程の作業手順を示す作業マニュアルデータと、を記憶する記憶装置と、
   作業者が作業を行っている間、前記作業者から見える作業空間の３次元データを取得する３次元データ取得装置と、
   中央処理装置と、を備えた作業支援システムが行う作業支援方法であって、
   前記中央処理装置が、
   前記記憶装置に記憶されている作業マニュアルデータに基づいて、各作業工程の作業手順を出力させる処理と、
   前記記憶装置に記憶されている、第１の作業工程に係る被取付体及び部品の３次元データと、前記３次元データ取得装置が取得した作業空間の３次元データとを比較し、第１の作業工程の目視確認作業の終了条件を満たすか否かを判定する処理と、
   前記判定で前記終了条件が満たされないときは、前記終了条件を満たすためのガイダンスを出力させる処理と、を行う方法。