JP2017120512A - 作業支援システムおよび方法 - Google Patents

Abstract

【課題】マーカーの設置位置に関する制約を大幅に軽減することができる作業支援システムを提供すること。【解決手段】作業支援システム1は、作業対象物を含む現実画像を取得するための対象物撮像手段3と、対象物撮像手段3と作業対象物との相対的な位置および姿勢に関する情報を取得するための位置姿勢情報取得手段5,8と、を備える。位置姿勢情報取得手段5,8は、作業対象物に対して所定の位置姿勢関係に配置されたマーカー4と、マーカー4を撮像するためのマーカー撮像手段5であって、対象物撮像手段3に対して所定の位置姿勢関係に配置されたマーカー撮像手段5と、を有する。【選択図】図１

Description

本発明は、作業対象物が存在する作業空間の現実画像に仮想画像を重畳した映像を提示して、作業者の作業を支援するための作業支援システムおよび方法に関する。

製品や構造物等の作業対象物の加工、組立、検査等の作業を実施する際、製品等の種類や大きさによっては、大量の図面から該当箇所を探して確認する必要があり、これは非常に非効率であった。

このような不都合を解消するために、拡張現実感(AR: Augmented Reality)技術を利用して、製作した製品等、作業対象物の現実画像に、設計用３Ｄモデルの仮想画像を重畳して表示することで、作業者の作業を支援するシステムが提案されている（例えば、特許文献１）。

このＡＲ技術を利用した作業支援システムにおいては、作業対象物の現実画像に設計用３Ｄモデルの仮想画像を重畳する際に、両者の位置合わせを行う必要があるため、作業対象物を撮像するためのカメラの画角内にマーカーを設置して、作業対象物と一緒にマーカーをカメラによって撮像する。カメラによって撮像されたマーカーの画像に基づいて、カメラの位置姿勢を特定することができ、これにより、現実画像に仮想画像を重畳する際の位置を特定するための情報が得られる。

特開２００９−６９９５４号公報

上述したように、ＡＲ技術を利用した従来の作業支援システムにおいては、製品や構造物等の作業対象物を撮像するためのカメラの画角内、すなわち、作業実施個所の近くにマーカーを設定する必要がある。このため、製品や構造物等の近くにマーカーを設置することが困難であるような作業環境においては、従来の作業支援システムを利用することができなかった。

また、作業対象物と３Ｄモデルとをずれなく重畳表示させるためには、マーカーが作業対象物に対して所定の位置に配置されている必要があり、このような条件を満たすことも、従来は必ずしも容易ではなかった。

さらに、マーカーを貼り付ける箇所が平面ではなく曲面である場合等、マーカーの形が平面状態から変化するときには、位置合わせの精度が極端に悪化することがある。しかしながら、従来の作業支援システムにおいては、上記のとおり、作業実施個所の近くにマーカーを設置する必要があり、平面状態でマーカーを貼付できる個所を確保することが難しい場合があった。

本発明は、上述した従来の技術の問題点に鑑みてなされたものであって、マーカーの設置位置に関する制約を大幅に軽減することができる作業支援システムおよび方法を提供することを目的とする。

上記課題を解決するために、本発明の第１の態様は、作業対象物が存在する作業空間の現実画像に仮想画像を重畳した映像を提示して、作業者の作業を支援するための作業支援システムであって、前記作業対象物を含む前記現実画像を取得するための対象物撮像手段と、前記対象物撮像手段と前記作業対象物との相対的な位置および姿勢に関する情報を取得するための位置姿勢情報取得手段と、を備え、前記位置姿勢情報取得手段は、前記作業対象物に対して所定の位置姿勢関係に配置されたマーカーと、前記マーカーを撮像するためのマーカー撮像手段であって、前記対象物撮像手段に対して所定の位置姿勢関係に配置されたマーカー撮像手段と、を有する、ことを特徴とする。

本発明の第２の態様は、第１の態様において、前記マーカーは、前記作業空間内の所定の位置に前記作業対象物を固定するための固定治具に取り付けられている、ことを特徴とする。

本発明の第３の態様は、第１または第２の態様において、前記マーカーは、前記対象物撮像手段の撮像領域の外側に配置されている、ことを特徴とする。

本発明の第４の態様は、第１乃至第３のいずれかの態様において、前記仮想画像は、前記作業対象物に関する３Ｄモデルを含む、ことを特徴とする。

本発明の第５の態様は、第１乃至第４のいずれかの態様において、前記対象物撮像手段と前記マーカー撮像手段とが、互いに固定されている、ことを特徴とする。

本発明の第６の態様は、第１乃至第５のいずれかの態様において、前記対象物撮像手段と前記マーカー撮像手段との相対的な位置姿勢関係を特定するための位置姿勢関係特定手段をさらに備え、前記位置姿勢関係特定手段は、前記対象物撮像手段で撮像される第１マーカーと、前記マーカー撮像手段で撮像される第２マーカーとを有し、前記第１マーカーと前記第２マーカーとが所定の位置姿勢関係に配置されている、ことを特徴とする。

上記課題を解決するために、本発明の第７の態様は、作業対象物が存在する作業空間の現実画像に仮想画像を重畳した映像を提示して、作業者の作業を支援するための作業支援方法であって、対象物撮像手段によって、前記作業対象物を含む前記現実画像を取得する工程と、位置姿勢情報取得手段によって、前記対象物撮像手段と前記作業対象物との相対的な位置および姿勢に関する情報を取得する工程であって、前記位置姿勢情報取得手段は、前記作業対象物に対して所定の位置姿勢関係に配置されたマーカーと、前記対象物撮像手段に対して所定の位置姿勢関係に配置された、前記マーカーを撮像するためのマーカー撮像手段と、を有する、工程と、を備えたことを特徴とする。

本発明の第８の態様は、第７の態様において、前記マーカーは、前記作業空間内の所定の位置に前記作業対象物を固定するための固定治具に取り付けられている、ことを特徴とする。

本発明の第９の態様は、第７または第８の態様において、前記マーカーは、前記対象物撮像手段の撮像領域の外側に配置されている、ことを特徴とする。

本発明の第１０の態様は、第７乃至第９のいずれかの態様において、前記仮想画像は、前記作業対象物に関する３Ｄモデルを含む、ことを特徴とする。

本発明の第１１の態様は、第７乃至第１０のいずれかの態様において、前記対象物撮像手段と前記マーカー撮像手段とが、互いに固定されている、ことを特徴とする。

本発明の第１２の態様は、第７乃至第１１のいずれかの態様において、位置姿勢関係特定手段によって、前記対象物撮像手段と前記マーカー撮像手段との相対的な位置姿勢関係を特定する工程をさらに備え、前記位置姿勢関係特定手段は、前記対象物撮像手段で撮像される第１マーカーと、前記マーカー撮像手段で撮像される第２マーカーとを有し、前記第１マーカーと前記第２マーカーとが所定の位置姿勢関係に配置されている、ことを特徴とする。

本発明によれば、マーカーの設置位置に関する制約を大幅に軽減することができる作業支援システムおよび方法を提供することができる。

本発明の一実施形態による作業支援システムの概略構成を示した図。 本発明の一実施形態による作業支援システムにおける対象物撮像部（第１のカメラ）とマーカー撮像部（第２のカメラ）とを拡大して模式的に示した斜視図。 本発明の一実施形態による作業支援システムを用いて作業者の作業を支援する方法を説明するための図。 本発明の一実施形態による作業支援システムの表示部で表示される合成画像の一例を示した図。 本発明の一実施形態による作業支援システムにおいて対象物撮像部（第１のカメラ）とマーカー撮像部（第２のカメラ）との位置姿勢関係を特定するためのキャリブレーションボードを模式的に示した図。

以下、本発明の一実施形態による作業支援システムおよび方法について説明する。

本実施形態による作業支援システムおよび方法は、製品や構造物等の作業対象物が存在する作業空間の現実画像に仮想画像を重畳した映像を提示して、作業者の作業を支援するためのものである。すなわち、本実施形態による作業支援システムおよび方法は、拡張現実感（ＡＲ）技術を用いるものであり、以下では、まず初めにＡＲ技術について概説する。

ＡＲ技術とは、現実画像に仮想画像を重畳し、これにより得られた合成画像を観察者に提示して、現実世界と仮想世界を融合させる映像技術である。

拡張現実感空間（ＡＲ空間）を表現するためには、現実空間中に定義した基準座標系、すなわち、現実空間に重畳しようとする仮想物体の位置姿勢を決定する基準となる現実空間中の座標系と、撮像部の座標系（カメラ座標系）との間の、相対的な位置姿勢関係を取得することが必要である。

そのような画像位置合わせ技術の一例として、マーカーを利用するものがあげられる。マーカーとは、画像の位置合わせのために使う指標のことであり、現実空間内に配置されたマーカーを、カメラ（撮像手段）で撮像することにより、カメラの位置姿勢を画像処理によって推定することができるというものである。

すなわち、現実空間中の既知の三次元座標に、所定の視覚的特徴を有するマーカーを配置し、現実画像中に含まれるマーカーを検出し、検出したマーカーの構成要素（マーカーの中心や頂点など）の二次元画像位置と、既知の三次元座標とからカメラの位置姿勢が算出される。

本実施形態による作業支援システムおよび方法は、上述したＡＲ技術を利用したものであり、以下その構成について、図面を参照して説明する。

図１に示したように、本実施形態による作業支援システム１は、システム本体２を備えている。システム本体２は、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置、記憶媒体ドライブ装置、入力デバイスなどを備えたコンピュータによって構成されている。

また、作業支援システム１は、作業対象物を含む現実画像を取得するための対象物撮像部３を備えており、この対象物撮像部３は、カメラによって構成されている。

さらに、作業支援システム１は、作業対象物に対して所定の位置姿勢関係に配置されたマーカー４を撮像するためのマーカー撮像部５を備えている。マーカー撮像部５は、対象物撮像部３を構成するカメラとは別のカメラによって構成されている。

上記の通り、本実施形態による作業支援システム１は、作業対象物を撮像するためのカメラとは別に、マーカー４を撮像するための専用のカメラを備えている。

作業支援システム１のシステム本体３は、対象物撮像部３で得られた撮像データと、マーカー撮像部５で得られた撮像データとが入力される記憶部６を有する。対象物撮像部３およびマーカー撮像部５から記憶部６へのデータの受け渡しは、オンラインでもオフラインでも良く、また、有線でも無線でも良い。

また、システム本体２は、作業対象物に関する３Ｄモデルを含む仮想画像を生成するための仮想画像生成部７を備えている。ここで、作業対象物に関する３Ｄモデルとしては、対象物撮像部３で撮像される作業対象物（製品等）の完成品に関する設計用３Ｄモデルが一例としてあげられる。

例えば、組立途中の製品を対象物撮像部３で撮像して現実画像を取得し、次に取り付けるべき部品に関する仮想画像を仮想画像生成部７で生成して、それぞれのデータを記憶部６に入力する。

さらに、システム本体２は、マーカー検出部８を備えており、このマーカー検出部８は、マーカー撮像部５によって得られた画像からマーカー４を検出して、検出したマーカー４の構成要素（マーカーの中心や頂点など）の二次元画像位置と、既知の三次元座標とからマーカー撮像部（カメラ）５の位置姿勢を算出する。

図２は、対象物撮像部３を構成する第１のカメラと、マーカー撮像部５を構成する第２のカメラとを示しており、両カメラは、アングル状のカメラ取付部材９によって、互いに所定の位置姿勢関係に固定されている。本例においては、第１のカメラ３の撮像方向（視線）と、第２のカメラ５の撮像方向（視線）とが、互いに９０度となるように設定されている。

第１のカメラ３と第２のカメラ５との所定の位置姿勢関係に関するデータは、システム本体２の記憶部６に登録されている。

なお、対象物撮像部（第１のカメラ）３とマーカー撮像部（第２のカメラ）５との相対的な位置姿勢関係は、本例のようにお互いの視線が９０度の関係にあるものには限られない。すなわち、対象物撮像部３とマーカー撮像部５とが、互いの撮像領域（画角）が完全には重複せず、少なくとも一部に重複しない部分があれば良い。好ましくは、対象物撮像部（第１のカメラ）３の撮像領域（画角）と、マーカー撮像部（第２のカメラ）５の撮像領域（画角）とが、互いにまったく重複していない状態とする。

作業支援システム１のシステム本体２は、対象物撮像部（第１のカメラ）３によって得られた現実画像に、仮想画像生成部７で生成された仮想画像を重畳して、合成画像を生成するための画像合成部１０を備えている。画像合成部１０は、マーカー検出部８で算出されたマーカー撮像部（第２のカメラ）５の位置姿勢に関するデータと、記憶部６に予め登録されている、対象物撮像部（第１のカメラ）３とマーカー撮像部（第２のカメラ）５との所定の位置姿勢関係に関するデータとに基づいて、現実画像に対する仮想画像の位置合わせ処理を実施する。

画像合成部１０で生成された、現実画像と仮想画像との合成画像のデータは、システム本体２から表示部１１に送られてそこで表示される。表示部１１は、ＰＣ用モニターでも良いし、システム本体２との間でデータ通信を行うようにしたヘッド・マウント・ディスプレイ（ＨＭＤ）でも良い。

図３に示したように、本例においては、作業対象物である製品１２が製品固定用治具１３の上に載置されており、この製品固定用治具１３によって、作業空間内の所定の位置に製品１２が位置決めされ、固定されている。

マーカー撮像部（第２のカメラ）５により撮像されるマーカー４は、製品１２から離れた位置にて、製品固定用治具１３に貼付されている。本例においては、マーカー４の貼付位置は、対象物撮像部（第１のカメラ）３の撮像領域（画角）の外側である。

製品（作業対象物）１２は製品固定用治具１３に対して所定の位置姿勢関係にあるので、製品固定用治具１３におけるマーカー４の貼付位置が分かれば、マーカー４と製品（作業対象物）１２との位置姿勢関係を特定することができる。特定された、マーカー４と製品１２との位置姿勢関係に関するデータは、システム本体２の記憶部６に登録される。

図４は、表示部１１で表示される合成画像の一例を示しており、対象物撮像部（第１のカメラ）３によって撮像された製品（作業対象物）１２の現実画像に、仮想画像生成部７によって生成された部品１４の仮想画像が重畳されている。なお、本例においては、対象物撮像部（第１のカメラ）３で撮像された画像の中には、マーカー４の画像は含まれていない。そのため、表示部１１で表示される合成画像の中には、マーカー４の画像は含まれていない。

図５は、キャリブレーションボード１５を示しており、このキャリブレーションボード１５は、対象物撮像部（第１のカメラ）３と、マーカー撮像部（第２のカメラ）５との相対的な位置姿勢関係を特定するための位置姿勢関係特定手段を構成している。

キャリブレーションボード１５は、対象物撮像部（第１のカメラ）３で撮像される第１マーカー１６と、マーカー撮像部（第２のカメラ）５で撮像される第２マーカー１７とを有する。第１マーカー１６と第２マーカー１７とは、所定の位置姿勢関係に配置されており、本例においては、平面状の第１マーカー１６と平面状の第２マーカー１７とが互いに９０°の角度を成している。

そして、対象物撮像部（第１のカメラ）３で第１マーカー１６を撮像すると共に、マーカー撮像部（第２のカメラ）５で第２マーカー１７を撮像すれば、第１マーカー１６と第２マーカー１７との位置姿勢関係が予め分かっているので、対象物撮像部（第１のカメラ）３とマーカー撮像部（第２のカメラ）１７との相対的な位置姿勢関係を算出することができる。

次に、本実施形態による作業支援システム１を用いて、作業者の作業を支援する際の方法について説明する。

まず、図５に示したキャリブレーションボード１５を用いて、対象物撮像部（第１のカメラ）３とマーカー撮像部（第２のカメラ）５との相対的な位置姿勢関係を特定し、その情報をシステム本体２の記憶部６に登録する。

そして、図３に示したように、製品（作業対象物）１２を製品固定用治具１３で位置決め固定した状態で、対象物撮像部（第１のカメラ）３によって、製品（作業対象物）１２を含む現実画像を取得する。これと同時に、マーカー撮像部（第２のカメラ）５によって、製品固定用治具１３の所定の位置に貼付されたマーカー４を撮像する。

マーカー撮像部（第２のカメラ）５で得られたマーカー４の画像は、システム本体２のマーカー検出部８で画像分析される。その画像分析のデータと、記憶部６に予め登録されている、対象物撮像部（第１のカメラ）３とマーカー撮像部（第２のカメラ）５との相対的な位置姿勢関係に関するデータと、同じく記憶部６に予め登録されている、マーカー４と製品１２との位置姿勢関係に関するデータとに基づいて、画像合成部１０は、対象物撮像部（第１のカメラ）３で得られた現実画像に、仮想画像生成部７で生成された仮想画像を位置決めして重畳する。

なお、製品１２の加工・組立誤差による位置ずれ量を考慮する必要がある場合には、３Ｄモデルの原点、製品固定用治具１３の基準位置、および検査基準位置を同一にする必要がある。一方、位置ずれ量を考慮する必要がなければ、これらの位置を同一にする必要はない。

以上述べたように、本実施形態による作業支援システム１および方法によれば、作業対象物（製品）１２を撮像するための対象物撮像部（第１のカメラ）３とは別に、マーカー４を撮像するためのマーカー撮像部（第２のカメラ）５を設けたので、マーカー４の設置位置に関する制約を大幅に軽減することができる。

このため、作業対象物１２の近傍にマーカー４を設置することが困難である作業環境においても、ＡＲ技術を利用した作業支援システム１を支障なく利用することができる。

例えば、建築構造物である多数の配管のうちの特定の配管（作業対象物）に対して作業を行う際に、対象配管の作業個所を合成画像として提示する場合、従来の技術では対象配管自体またはその近傍にマーカーを貼付する必要があり、適切なマーカー設置個所を確保することが難しかった。

これに対して、本実施形態による作業支援システム１によれば、対象配管から離れた個所にマーカー４を設置することができるので、適切なマーカー設置個所（例えば、建築構造物の平面状の表面など）を容易に確保することができる。

また、上記のとおり、作業対象物１２の近傍にマーカーを設置する必要がないので、マーカー４のサイズの設定やデザインの選択における自由度が大幅に高まる。これにより、マーカー４の検出において、高い検出精度を容易に確保することができる。

また、製品１２を位置決め固定するための製品固定用治具１３にマーカー４を貼付するようにしたので、マーカー４と製品１２との位置姿勢関係を容易に特定することができる。

また、マーカー４が貼付された製品固定用治具１３は、複数の製品１２において共用できるので、従来のように製品ごとにマーカーを設置する必要がなく、これにより、作業効率が大幅に向上する。

１ 作業支援システム
２ システム本体
３ 対象物撮像部（第１のカメラ）
４ マーカー
５ マーカー撮像部（第２のカメラ）
６ 記憶部
７ 仮想画像生成部
８ マーカー検出部
９ カメラ取付部材
１０ 画像合成部
１１ 表示部
１２ 製品（作業対象物）
１３ 製品固定用治具
１４ 部品
１５ キャリブレーションボード（位置姿勢関係特定手段）
１６ 第１マーカー
１７ 第２マーカー

Claims (12)

1. 作業対象物が存在する作業空間の現実画像に仮想画像を重畳した映像を提示して、作業者の作業を支援するための作業支援システムであって、
   前記作業対象物を含む前記現実画像を取得するための対象物撮像手段と、
   前記対象物撮像手段と前記作業対象物との相対的な位置および姿勢に関する情報を取得するための位置姿勢情報取得手段と、を備え、
   前記位置姿勢情報取得手段は、
   前記作業対象物に対して所定の位置姿勢関係に配置されたマーカーと、
   前記マーカーを撮像するためのマーカー撮像手段であって、前記対象物撮像手段に対して所定の位置姿勢関係に配置されたマーカー撮像手段と、を有する、作業支援システム。
2. 前記マーカーは、前記作業空間内の所定の位置に前記作業対象物を固定するための固定治具に取り付けられている、請求項１記載の作業支援システム。
3. 前記マーカーは、前記対象物撮像手段の撮像領域の外側に配置されている、請求項１または２に記載の作業支援システム。
4. 前記仮想画像は、前記作業対象物に関する３Ｄモデルを含む、請求項１乃至３のいずれか一項に記載の作業支援システム。
5. 前記対象物撮像手段と前記マーカー撮像手段とが、互いに固定されている、請求項１乃至４のいずれか一項に記載の作業支援システム。
6. 前記対象物撮像手段と前記マーカー撮像手段との相対的な位置姿勢関係を特定するための位置姿勢関係特定手段をさらに備え、
   前記位置姿勢関係特定手段は、前記対象物撮像手段で撮像される第１マーカーと、前記マーカー撮像手段で撮像される第２マーカーとを有し、前記第１マーカーと前記第２マーカーとが所定の位置姿勢関係に配置されている、請求項１乃至６のいずれか一項に記載の作業支援システム。
7. 作業対象物が存在する作業空間の現実画像に仮想画像を重畳した映像を提示して、作業者の作業を支援するための作業支援方法であって、
   対象物撮像手段によって、前記作業対象物を含む前記現実画像を取得する工程と、
   位置姿勢情報取得手段によって、前記対象物撮像手段と前記作業対象物との相対的な位置および姿勢に関する情報を取得する工程であって、前記位置姿勢情報取得手段は、前記作業対象物に対して所定の位置姿勢関係に配置されたマーカーと、前記対象物撮像手段に対して所定の位置姿勢関係に配置された、前記マーカーを撮像するためのマーカー撮像手段と、を有する、工程と、を備えた作業支援方法。
8. 前記マーカーは、前記作業空間内の所定の位置に前記作業対象物を固定するための固定治具に取り付けられている、請求項７記載の作業支援方法。
9. 前記マーカーは、前記対象物撮像手段の撮像領域の外側に配置されている、請求項７または８に記載の作業支援方法。
10. 前記仮想画像は、前記作業対象物に関する３Ｄモデルを含む、請求項７乃至９のいずれか一項に記載の作業支援方法。
11. 前記対象物撮像手段と前記マーカー撮像手段とが、互いに固定されている、請求項７乃至１０のいずれか一項に記載の作業支援方法。
12. 位置姿勢関係特定手段によって、前記対象物撮像手段と前記マーカー撮像手段との相対的な位置姿勢関係を特定する工程をさらに備え、
    前記位置姿勢関係特定手段は、前記対象物撮像手段で撮像される第１マーカーと、前記マーカー撮像手段で撮像される第２マーカーとを有し、前記第１マーカーと前記第２マーカーとが所定の位置姿勢関係に配置されている、請求項７乃至１１のいずれか一項に記載の作業支援方法。

Images