JP2017120512A - Work support system and method - Google Patents
Work support system and method Download PDFInfo
- Publication number
- JP2017120512A JP2017120512A JP2015256606A JP2015256606A JP2017120512A JP 2017120512 A JP2017120512 A JP 2017120512A JP 2015256606 A JP2015256606 A JP 2015256606A JP 2015256606 A JP2015256606 A JP 2015256606A JP 2017120512 A JP2017120512 A JP 2017120512A
- Authority
- JP
- Japan
- Prior art keywords
- marker
- work
- imaging
- imaging unit
- work support
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、作業対象物が存在する作業空間の現実画像に仮想画像を重畳した映像を提示して、作業者の作業を支援するための作業支援システムおよび方法に関する。 The present invention relates to a work support system and method for supporting a worker's work by presenting a video in which a virtual image is superimposed on a real image of a work space in which a work object exists.
製品や構造物等の作業対象物の加工、組立、検査等の作業を実施する際、製品等の種類や大きさによっては、大量の図面から該当箇所を探して確認する必要があり、これは非常に非効率であった。 When carrying out operations such as processing, assembly, and inspection of work objects such as products and structures, depending on the type and size of the product, etc., it is necessary to search for the relevant part from a large number of drawings. It was very inefficient.
このような不都合を解消するために、拡張現実感(AR: Augmented Reality)技術を利用して、製作した製品等、作業対象物の現実画像に、設計用３Ｄモデルの仮想画像を重畳して表示することで、作業者の作業を支援するシステムが提案されている（例えば、特許文献１）。 In order to eliminate such inconvenience, augmented reality (AR) technology is used to display a virtual image of the 3D model for design superimposed on the real image of the work target such as a manufactured product. Thus, a system that supports the work of the worker has been proposed (for example, Patent Document 1).
このＡＲ技術を利用した作業支援システムにおいては、作業対象物の現実画像に設計用３Ｄモデルの仮想画像を重畳する際に、両者の位置合わせを行う必要があるため、作業対象物を撮像するためのカメラの画角内にマーカーを設置して、作業対象物と一緒にマーカーをカメラによって撮像する。カメラによって撮像されたマーカーの画像に基づいて、カメラの位置姿勢を特定することができ、これにより、現実画像に仮想画像を重畳する際の位置を特定するための情報が得られる。 In the work support system using this AR technology, when the virtual image of the 3D model for design is superimposed on the real image of the work object, it is necessary to align the both, so that the work object is imaged. A marker is placed within the angle of view of the camera, and the marker is imaged by the camera together with the work target. Based on the image of the marker imaged by the camera, the position and orientation of the camera can be specified, and thereby information for specifying the position when the virtual image is superimposed on the real image can be obtained.
上述したように、ＡＲ技術を利用した従来の作業支援システムにおいては、製品や構造物等の作業対象物を撮像するためのカメラの画角内、すなわち、作業実施個所の近くにマーカーを設定する必要がある。このため、製品や構造物等の近くにマーカーを設置することが困難であるような作業環境においては、従来の作業支援システムを利用することができなかった。 As described above, in the conventional work support system using the AR technology, a marker is set within the angle of view of a camera for imaging a work target such as a product or a structure, that is, near the work place. There is a need. For this reason, the conventional work support system cannot be used in a work environment where it is difficult to place a marker near a product or a structure.
また、作業対象物と３Ｄモデルとをずれなく重畳表示させるためには、マーカーが作業対象物に対して所定の位置に配置されている必要があり、このような条件を満たすことも、従来は必ずしも容易ではなかった。 Moreover, in order to display the work object and the 3D model in a superimposed manner without any deviation, the marker needs to be arranged at a predetermined position with respect to the work object. It was not always easy.
さらに、マーカーを貼り付ける箇所が平面ではなく曲面である場合等、マーカーの形が平面状態から変化するときには、位置合わせの精度が極端に悪化することがある。しかしながら、従来の作業支援システムにおいては、上記のとおり、作業実施個所の近くにマーカーを設置する必要があり、平面状態でマーカーを貼付できる個所を確保することが難しい場合があった。 Further, when the marker shape changes from the flat state, such as when the marker is pasted on a curved surface instead of a flat surface, the alignment accuracy may be extremely deteriorated. However, in the conventional work support system, as described above, it is necessary to place a marker near the work place, and it may be difficult to secure a place where the marker can be attached in a flat state.
本発明は、上述した従来の技術の問題点に鑑みてなされたものであって、マーカーの設置位置に関する制約を大幅に軽減することができる作業支援システムおよび方法を提供することを目的とする。 The present invention has been made in view of the above-described problems of the prior art, and an object of the present invention is to provide a work support system and method that can greatly reduce restrictions on the marker installation position.
上記課題を解決するために、本発明の第１の態様は、作業対象物が存在する作業空間の現実画像に仮想画像を重畳した映像を提示して、作業者の作業を支援するための作業支援システムであって、前記作業対象物を含む前記現実画像を取得するための対象物撮像手段と、前記対象物撮像手段と前記作業対象物との相対的な位置および姿勢に関する情報を取得するための位置姿勢情報取得手段と、を備え、前記位置姿勢情報取得手段は、前記作業対象物に対して所定の位置姿勢関係に配置されたマーカーと、前記マーカーを撮像するためのマーカー撮像手段であって、前記対象物撮像手段に対して所定の位置姿勢関係に配置されたマーカー撮像手段と、を有する、ことを特徴とする。 In order to solve the above-described problem, a first aspect of the present invention is a work for supporting a worker's work by presenting a video in which a virtual image is superimposed on a real image of a work space in which a work object exists. A support system for acquiring information relating to an object imaging means for acquiring the real image including the work object, and a relative position and posture between the object imaging means and the work object. Position and orientation information acquisition means, wherein the position and orientation information acquisition means is a marker arranged in a predetermined position and orientation relationship with respect to the work object, and a marker imaging means for imaging the marker. And marker imaging means arranged in a predetermined position and orientation relationship with respect to the object imaging means.
本発明の第２の態様は、第１の態様において、前記マーカーは、前記作業空間内の所定の位置に前記作業対象物を固定するための固定治具に取り付けられている、ことを特徴とする。 According to a second aspect of the present invention, in the first aspect, the marker is attached to a fixing jig for fixing the work object at a predetermined position in the work space. To do.
本発明の第３の態様は、第１または第２の態様において、前記マーカーは、前記対象物撮像手段の撮像領域の外側に配置されている、ことを特徴とする。 According to a third aspect of the present invention, in the first or second aspect, the marker is arranged outside an imaging region of the object imaging means.
本発明の第４の態様は、第１乃至第３のいずれかの態様において、前記仮想画像は、前記作業対象物に関する３Ｄモデルを含む、ことを特徴とする。 According to a fourth aspect of the present invention, in any one of the first to third aspects, the virtual image includes a 3D model related to the work object.
本発明の第５の態様は、第１乃至第４のいずれかの態様において、前記対象物撮像手段と前記マーカー撮像手段とが、互いに固定されている、ことを特徴とする。 According to a fifth aspect of the present invention, in any one of the first to fourth aspects, the object imaging unit and the marker imaging unit are fixed to each other.
本発明の第６の態様は、第１乃至第５のいずれかの態様において、前記対象物撮像手段と前記マーカー撮像手段との相対的な位置姿勢関係を特定するための位置姿勢関係特定手段をさらに備え、前記位置姿勢関係特定手段は、前記対象物撮像手段で撮像される第１マーカーと、前記マーカー撮像手段で撮像される第２マーカーとを有し、前記第１マーカーと前記第２マーカーとが所定の位置姿勢関係に配置されている、ことを特徴とする。 According to a sixth aspect of the present invention, in any one of the first to fifth aspects, a position / orientation relationship specifying unit for specifying a relative position / orientation relationship between the object imaging unit and the marker imaging unit is provided. The position and orientation relation specifying means further includes a first marker imaged by the object imaging means and a second marker imaged by the marker imaging means, wherein the first marker and the second marker Are arranged in a predetermined position and orientation relationship.
上記課題を解決するために、本発明の第７の態様は、作業対象物が存在する作業空間の現実画像に仮想画像を重畳した映像を提示して、作業者の作業を支援するための作業支援方法であって、対象物撮像手段によって、前記作業対象物を含む前記現実画像を取得する工程と、位置姿勢情報取得手段によって、前記対象物撮像手段と前記作業対象物との相対的な位置および姿勢に関する情報を取得する工程であって、前記位置姿勢情報取得手段は、前記作業対象物に対して所定の位置姿勢関係に配置されたマーカーと、前記対象物撮像手段に対して所定の位置姿勢関係に配置された、前記マーカーを撮像するためのマーカー撮像手段と、を有する、工程と、を備えたことを特徴とする。 In order to solve the above-described problem, a seventh aspect of the present invention provides a work for supporting a worker's work by presenting a video in which a virtual image is superimposed on a real image of a work space where a work object exists. In the support method, the object image capturing unit acquires the real image including the work object, and the position and orientation information acquisition unit detects the relative position between the object image capturing unit and the work object. The position and orientation information acquisition means includes a marker arranged in a predetermined position and orientation relationship with respect to the work object, and a predetermined position with respect to the object imaging means. And a marker imaging means for imaging the marker, which is arranged in a posture relationship.
本発明の第８の態様は、第７の態様において、前記マーカーは、前記作業空間内の所定の位置に前記作業対象物を固定するための固定治具に取り付けられている、ことを特徴とする。 According to an eighth aspect of the present invention, in the seventh aspect, the marker is attached to a fixing jig for fixing the work object at a predetermined position in the work space. To do.
本発明の第９の態様は、第７または第８の態様において、前記マーカーは、前記対象物撮像手段の撮像領域の外側に配置されている、ことを特徴とする。 According to a ninth aspect of the present invention, in the seventh or eighth aspect, the marker is arranged outside an imaging region of the object imaging means.
本発明の第１０の態様は、第７乃至第９のいずれかの態様において、前記仮想画像は、前記作業対象物に関する３Ｄモデルを含む、ことを特徴とする。 According to a tenth aspect of the present invention, in any one of the seventh to ninth aspects, the virtual image includes a 3D model related to the work object.
本発明の第１１の態様は、第７乃至第１０のいずれかの態様において、前記対象物撮像手段と前記マーカー撮像手段とが、互いに固定されている、ことを特徴とする。 According to an eleventh aspect of the present invention, in any of the seventh to tenth aspects, the object imaging means and the marker imaging means are fixed to each other.
本発明の第１２の態様は、第７乃至第１１のいずれかの態様において、位置姿勢関係特定手段によって、前記対象物撮像手段と前記マーカー撮像手段との相対的な位置姿勢関係を特定する工程をさらに備え、前記位置姿勢関係特定手段は、前記対象物撮像手段で撮像される第１マーカーと、前記マーカー撮像手段で撮像される第２マーカーとを有し、前記第１マーカーと前記第２マーカーとが所定の位置姿勢関係に配置されている、ことを特徴とする。 According to a twelfth aspect of the present invention, in any one of the seventh to eleventh aspects, the relative position / orientation relationship between the object imaging unit and the marker imaging unit is specified by the position / orientation relationship specifying unit. The position / orientation relationship specifying means includes a first marker imaged by the object imaging means and a second marker imaged by the marker imaging means, and the first marker and the second marker The marker is arranged in a predetermined position and orientation relationship.
本発明によれば、マーカーの設置位置に関する制約を大幅に軽減することができる作業支援システムおよび方法を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the work assistance system and method which can reduce the restrictions regarding the installation position of a marker significantly can be provided.
以下、本発明の一実施形態による作業支援システムおよび方法について説明する。 Hereinafter, a work support system and method according to an embodiment of the present invention will be described.
本実施形態による作業支援システムおよび方法は、製品や構造物等の作業対象物が存在する作業空間の現実画像に仮想画像を重畳した映像を提示して、作業者の作業を支援するためのものである。すなわち、本実施形態による作業支援システムおよび方法は、拡張現実感（ＡＲ）技術を用いるものであり、以下では、まず初めにＡＲ技術について概説する。 The work support system and method according to the present embodiment is for supporting a worker's work by presenting a video in which a virtual image is superimposed on a real image of a work space where work objects such as products and structures exist. It is. That is, the work support system and method according to the present embodiment uses augmented reality (AR) technology, and first, the AR technology will be briefly described below.
ＡＲ技術とは、現実画像に仮想画像を重畳し、これにより得られた合成画像を観察者に提示して、現実世界と仮想世界を融合させる映像技術である。 The AR technology is a video technology that superimposes a virtual image on a real image, presents a synthesized image obtained thereby, and fuses the real world and the virtual world.
拡張現実感空間（ＡＲ空間）を表現するためには、現実空間中に定義した基準座標系、すなわち、現実空間に重畳しようとする仮想物体の位置姿勢を決定する基準となる現実空間中の座標系と、撮像部の座標系（カメラ座標系）との間の、相対的な位置姿勢関係を取得することが必要である。 In order to represent an augmented reality space (AR space), a reference coordinate system defined in the real space, that is, a coordinate in the real space that serves as a reference for determining the position and orientation of the virtual object to be superimposed on the real space. It is necessary to obtain a relative position and orientation relationship between the system and the coordinate system (camera coordinate system) of the imaging unit.
そのような画像位置合わせ技術の一例として、マーカーを利用するものがあげられる。マーカーとは、画像の位置合わせのために使う指標のことであり、現実空間内に配置されたマーカーを、カメラ（撮像手段）で撮像することにより、カメラの位置姿勢を画像処理によって推定することができるというものである。 An example of such an image registration technique is one that uses a marker. A marker is an index used for alignment of images, and a camera (imaging means) is used to estimate the position and orientation of the camera by image processing by imaging the marker placed in the real space. It can be done.
すなわち、現実空間中の既知の三次元座標に、所定の視覚的特徴を有するマーカーを配置し、現実画像中に含まれるマーカーを検出し、検出したマーカーの構成要素（マーカーの中心や頂点など）の二次元画像位置と、既知の三次元座標とからカメラの位置姿勢が算出される。 That is, a marker having a predetermined visual feature is arranged at a known three-dimensional coordinate in the real space, the marker included in the real image is detected, and the detected marker components (the center and the vertex of the marker) The position and orientation of the camera are calculated from the two-dimensional image position and the known three-dimensional coordinates.
本実施形態による作業支援システムおよび方法は、上述したＡＲ技術を利用したものであり、以下その構成について、図面を参照して説明する。 The work support system and method according to the present embodiment utilize the above-described AR technology, and the configuration thereof will be described below with reference to the drawings.
図１に示したように、本実施形態による作業支援システム１は、システム本体２を備えている。システム本体２は、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置、記憶媒体ドライブ装置、入力デバイスなどを備えたコンピュータによって構成されている。
As shown in FIG. 1, the
また、作業支援システム１は、作業対象物を含む現実画像を取得するための対象物撮像部３を備えており、この対象物撮像部３は、カメラによって構成されている。
In addition, the
さらに、作業支援システム１は、作業対象物に対して所定の位置姿勢関係に配置されたマーカー４を撮像するためのマーカー撮像部５を備えている。マーカー撮像部５は、対象物撮像部３を構成するカメラとは別のカメラによって構成されている。
Further, the
上記の通り、本実施形態による作業支援システム１は、作業対象物を撮像するためのカメラとは別に、マーカー４を撮像するための専用のカメラを備えている。
As described above, the
作業支援システム１のシステム本体３は、対象物撮像部３で得られた撮像データと、マーカー撮像部５で得られた撮像データとが入力される記憶部６を有する。対象物撮像部３およびマーカー撮像部５から記憶部６へのデータの受け渡しは、オンラインでもオフラインでも良く、また、有線でも無線でも良い。
The system
また、システム本体２は、作業対象物に関する３Ｄモデルを含む仮想画像を生成するための仮想画像生成部７を備えている。ここで、作業対象物に関する３Ｄモデルとしては、対象物撮像部３で撮像される作業対象物（製品等）の完成品に関する設計用３Ｄモデルが一例としてあげられる。
In addition, the system
例えば、組立途中の製品を対象物撮像部３で撮像して現実画像を取得し、次に取り付けるべき部品に関する仮想画像を仮想画像生成部７で生成して、それぞれのデータを記憶部６に入力する。
For example, a product being assembled is imaged by the
さらに、システム本体２は、マーカー検出部８を備えており、このマーカー検出部８は、マーカー撮像部５によって得られた画像からマーカー４を検出して、検出したマーカー４の構成要素（マーカーの中心や頂点など）の二次元画像位置と、既知の三次元座標とからマーカー撮像部（カメラ）５の位置姿勢を算出する。
Further, the system
図２は、対象物撮像部３を構成する第１のカメラと、マーカー撮像部５を構成する第２のカメラとを示しており、両カメラは、アングル状のカメラ取付部材９によって、互いに所定の位置姿勢関係に固定されている。本例においては、第１のカメラ３の撮像方向（視線）と、第２のカメラ５の撮像方向（視線）とが、互いに９０度となるように設定されている。
FIG. 2 shows a first camera that constitutes the
第１のカメラ３と第２のカメラ５との所定の位置姿勢関係に関するデータは、システム本体２の記憶部６に登録されている。
Data relating to a predetermined position and orientation relationship between the
なお、対象物撮像部（第１のカメラ）３とマーカー撮像部（第２のカメラ）５との相対的な位置姿勢関係は、本例のようにお互いの視線が９０度の関係にあるものには限られない。すなわち、対象物撮像部３とマーカー撮像部５とが、互いの撮像領域（画角）が完全には重複せず、少なくとも一部に重複しない部分があれば良い。好ましくは、対象物撮像部（第１のカメラ）３の撮像領域（画角）と、マーカー撮像部（第２のカメラ）５の撮像領域（画角）とが、互いにまったく重複していない状態とする。
Note that the relative position and orientation relationship between the object imaging unit (first camera) 3 and the marker imaging unit (second camera) 5 is such that the lines of sight of each other are 90 degrees as in this example. It is not limited to. That is, the
作業支援システム１のシステム本体２は、対象物撮像部（第１のカメラ）３によって得られた現実画像に、仮想画像生成部７で生成された仮想画像を重畳して、合成画像を生成するための画像合成部１０を備えている。画像合成部１０は、マーカー検出部８で算出されたマーカー撮像部（第２のカメラ）５の位置姿勢に関するデータと、記憶部６に予め登録されている、対象物撮像部（第１のカメラ）３とマーカー撮像部（第２のカメラ）５との所定の位置姿勢関係に関するデータとに基づいて、現実画像に対する仮想画像の位置合わせ処理を実施する。
The system
画像合成部１０で生成された、現実画像と仮想画像との合成画像のデータは、システム本体２から表示部１１に送られてそこで表示される。表示部１１は、ＰＣ用モニターでも良いし、システム本体２との間でデータ通信を行うようにしたヘッド・マウント・ディスプレイ（ＨＭＤ）でも良い。
The composite image data of the real image and the virtual image generated by the
図３に示したように、本例においては、作業対象物である製品１２が製品固定用治具１３の上に載置されており、この製品固定用治具１３によって、作業空間内の所定の位置に製品１２が位置決めされ、固定されている。
As shown in FIG. 3, in this example, a
マーカー撮像部（第２のカメラ）５により撮像されるマーカー４は、製品１２から離れた位置にて、製品固定用治具１３に貼付されている。本例においては、マーカー４の貼付位置は、対象物撮像部（第１のカメラ）３の撮像領域（画角）の外側である。
The
製品（作業対象物）１２は製品固定用治具１３に対して所定の位置姿勢関係にあるので、製品固定用治具１３におけるマーカー４の貼付位置が分かれば、マーカー４と製品（作業対象物）１２との位置姿勢関係を特定することができる。特定された、マーカー４と製品１２との位置姿勢関係に関するデータは、システム本体２の記憶部６に登録される。
Since the product (work object) 12 is in a predetermined position and orientation relationship with respect to the
図４は、表示部１１で表示される合成画像の一例を示しており、対象物撮像部（第１のカメラ）３によって撮像された製品（作業対象物）１２の現実画像に、仮想画像生成部７によって生成された部品１４の仮想画像が重畳されている。なお、本例においては、対象物撮像部（第１のカメラ）３で撮像された画像の中には、マーカー４の画像は含まれていない。そのため、表示部１１で表示される合成画像の中には、マーカー４の画像は含まれていない。
FIG. 4 shows an example of a composite image displayed on the
図５は、キャリブレーションボード１５を示しており、このキャリブレーションボード１５は、対象物撮像部（第１のカメラ）３と、マーカー撮像部（第２のカメラ）５との相対的な位置姿勢関係を特定するための位置姿勢関係特定手段を構成している。
FIG. 5 shows a
キャリブレーションボード１５は、対象物撮像部（第１のカメラ）３で撮像される第１マーカー１６と、マーカー撮像部（第２のカメラ）５で撮像される第２マーカー１７とを有する。第１マーカー１６と第２マーカー１７とは、所定の位置姿勢関係に配置されており、本例においては、平面状の第１マーカー１６と平面状の第２マーカー１７とが互いに９０°の角度を成している。
The
そして、対象物撮像部（第１のカメラ）３で第１マーカー１６を撮像すると共に、マーカー撮像部（第２のカメラ）５で第２マーカー１７を撮像すれば、第１マーカー１６と第２マーカー１７との位置姿勢関係が予め分かっているので、対象物撮像部（第１のカメラ）３とマーカー撮像部（第２のカメラ）１７との相対的な位置姿勢関係を算出することができる。
Then, if the
次に、本実施形態による作業支援システム１を用いて、作業者の作業を支援する際の方法について説明する。
Next, a method for supporting a worker's work using the
まず、図５に示したキャリブレーションボード１５を用いて、対象物撮像部（第１のカメラ）３とマーカー撮像部（第２のカメラ）５との相対的な位置姿勢関係を特定し、その情報をシステム本体２の記憶部６に登録する。
First, by using the
そして、図３に示したように、製品（作業対象物）１２を製品固定用治具１３で位置決め固定した状態で、対象物撮像部（第１のカメラ）３によって、製品（作業対象物）１２を含む現実画像を取得する。これと同時に、マーカー撮像部（第２のカメラ）５によって、製品固定用治具１３の所定の位置に貼付されたマーカー４を撮像する。
As shown in FIG. 3, the product (working object) 12 is moved by the object imaging unit (first camera) 3 with the product (working object) 12 positioned and fixed by the
マーカー撮像部（第２のカメラ）５で得られたマーカー４の画像は、システム本体２のマーカー検出部８で画像分析される。その画像分析のデータと、記憶部６に予め登録されている、対象物撮像部（第１のカメラ）３とマーカー撮像部（第２のカメラ）５との相対的な位置姿勢関係に関するデータと、同じく記憶部６に予め登録されている、マーカー４と製品１２との位置姿勢関係に関するデータとに基づいて、画像合成部１０は、対象物撮像部（第１のカメラ）３で得られた現実画像に、仮想画像生成部７で生成された仮想画像を位置決めして重畳する。
The image of the
なお、製品１２の加工・組立誤差による位置ずれ量を考慮する必要がある場合には、３Ｄモデルの原点、製品固定用治具１３の基準位置、および検査基準位置を同一にする必要がある。一方、位置ずれ量を考慮する必要がなければ、これらの位置を同一にする必要はない。
When it is necessary to consider the amount of misalignment due to processing / assembly errors of the
以上述べたように、本実施形態による作業支援システム１および方法によれば、作業対象物（製品）１２を撮像するための対象物撮像部（第１のカメラ）３とは別に、マーカー４を撮像するためのマーカー撮像部（第２のカメラ）５を設けたので、マーカー４の設置位置に関する制約を大幅に軽減することができる。
As described above, according to the
このため、作業対象物１２の近傍にマーカー４を設置することが困難である作業環境においても、ＡＲ技術を利用した作業支援システム１を支障なく利用することができる。
For this reason, even in a work environment where it is difficult to install the
例えば、建築構造物である多数の配管のうちの特定の配管（作業対象物）に対して作業を行う際に、対象配管の作業個所を合成画像として提示する場合、従来の技術では対象配管自体またはその近傍にマーカーを貼付する必要があり、適切なマーカー設置個所を確保することが難しかった。 For example, when working on a specific pipe (work target) among a large number of pipes that are building structures, when the work location of the target pipe is presented as a composite image, the conventional technique itself Or it was necessary to affix a marker in the vicinity, and it was difficult to secure an appropriate marker installation location.
これに対して、本実施形態による作業支援システム１によれば、対象配管から離れた個所にマーカー４を設置することができるので、適切なマーカー設置個所（例えば、建築構造物の平面状の表面など）を容易に確保することができる。
On the other hand, according to the
また、上記のとおり、作業対象物１２の近傍にマーカーを設置する必要がないので、マーカー４のサイズの設定やデザインの選択における自由度が大幅に高まる。これにより、マーカー４の検出において、高い検出精度を容易に確保することができる。
Further, as described above, since there is no need to install a marker in the vicinity of the
また、製品１２を位置決め固定するための製品固定用治具１３にマーカー４を貼付するようにしたので、マーカー４と製品１２との位置姿勢関係を容易に特定することができる。
In addition, since the
また、マーカー４が貼付された製品固定用治具１３は、複数の製品１２において共用できるので、従来のように製品ごとにマーカーを設置する必要がなく、これにより、作業効率が大幅に向上する。
Further, since the
１ 作業支援システム
２ システム本体
３ 対象物撮像部（第１のカメラ）
４ マーカー
５ マーカー撮像部（第２のカメラ）
６ 記憶部
７ 仮想画像生成部
８ マーカー検出部
９ カメラ取付部材
１０ 画像合成部
１１ 表示部
１２ 製品（作業対象物）
１３ 製品固定用治具
１４ 部品
１５ キャリブレーションボード（位置姿勢関係特定手段）
１６ 第１マーカー
１７ 第２マーカー
DESCRIPTION OF
4
6 Storage Unit 7 Virtual Image Generation Unit 8
13 Product Fixing Jig 14
16
Claims (12)
前記作業対象物を含む前記現実画像を取得するための対象物撮像手段と、
前記対象物撮像手段と前記作業対象物との相対的な位置および姿勢に関する情報を取得するための位置姿勢情報取得手段と、を備え、
前記位置姿勢情報取得手段は、
前記作業対象物に対して所定の位置姿勢関係に配置されたマーカーと、
前記マーカーを撮像するためのマーカー撮像手段であって、前記対象物撮像手段に対して所定の位置姿勢関係に配置されたマーカー撮像手段と、を有する、作業支援システム。 A work support system for supporting a worker's work by presenting a video in which a virtual image is superimposed on a real image of a work space where a work object exists,
Object imaging means for acquiring the real image including the work object;
Position and orientation information acquisition means for acquiring information related to the relative position and orientation of the object imaging means and the work object;
The position and orientation information acquisition means includes
A marker arranged in a predetermined position and orientation relationship with respect to the work object;
A work support system, comprising: marker imaging means for imaging the marker, and marker imaging means arranged in a predetermined position and orientation relationship with respect to the object imaging means.
前記位置姿勢関係特定手段は、前記対象物撮像手段で撮像される第１マーカーと、前記マーカー撮像手段で撮像される第２マーカーとを有し、前記第１マーカーと前記第２マーカーとが所定の位置姿勢関係に配置されている、請求項１乃至６のいずれか一項に記載の作業支援システム。 A position / orientation relationship specifying unit for specifying a relative position / orientation relationship between the object imaging unit and the marker imaging unit;
The position and orientation relation specifying unit includes a first marker imaged by the object imaging unit and a second marker imaged by the marker imaging unit, and the first marker and the second marker are predetermined. The work support system according to claim 1, wherein the work support system is arranged in a position / posture relationship.
対象物撮像手段によって、前記作業対象物を含む前記現実画像を取得する工程と、
位置姿勢情報取得手段によって、前記対象物撮像手段と前記作業対象物との相対的な位置および姿勢に関する情報を取得する工程であって、前記位置姿勢情報取得手段は、前記作業対象物に対して所定の位置姿勢関係に配置されたマーカーと、前記対象物撮像手段に対して所定の位置姿勢関係に配置された、前記マーカーを撮像するためのマーカー撮像手段と、を有する、工程と、を備えた作業支援方法。 A work support method for supporting a worker's work by presenting a video in which a virtual image is superimposed on a real image of a work space in which a work object exists,
Acquiring the real image including the work object by an object imaging means;
A step of acquiring information related to a relative position and posture between the object imaging unit and the work object by a position / orientation information acquisition unit, wherein the position / orientation information acquisition unit And a marker having a predetermined position and orientation relationship, and a marker imaging means for imaging the marker, which is disposed in a predetermined position and orientation relationship with respect to the object imaging means. Work support method.
前記位置姿勢関係特定手段は、前記対象物撮像手段で撮像される第１マーカーと、前記マーカー撮像手段で撮像される第２マーカーとを有し、前記第１マーカーと前記第２マーカーとが所定の位置姿勢関係に配置されている、請求項７乃至１１のいずれか一項に記載の作業支援方法。 A step of specifying a relative position and orientation relationship between the object imaging unit and the marker imaging unit by a position and orientation relationship specifying unit;
The position and orientation relation specifying unit includes a first marker imaged by the object imaging unit and a second marker imaged by the marker imaging unit, and the first marker and the second marker are predetermined. The work support method according to claim 7, wherein the work support method is arranged in a position / posture relationship.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015256606A JP2017120512A (en) | 2015-12-28 | 2015-12-28 | Work support system and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015256606A JP2017120512A (en) | 2015-12-28 | 2015-12-28 | Work support system and method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017120512A true JP2017120512A (en) | 2017-07-06 |
Family
ID=59271947
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015256606A Pending JP2017120512A (en) | 2015-12-28 | 2015-12-28 | Work support system and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017120512A (en) |
-
2015
- 2015-12-28 JP JP2015256606A patent/JP2017120512A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6138566B2 (en) | Component mounting work support system and component mounting method | |
| JP6344890B2 (en) | Component assembly work support system and component assembly method | |
| US11565427B2 (en) | Robot system | |
| JP6349307B2 (en) | Work processing support system and work processing method | |
| JP2016057108A (en) | Arithmetic device, arithmetic system, arithmetic method and program | |
| US20150377606A1 (en) | Projection system | |
| WO2020075232A1 (en) | Mechanical fastening unit management method using augmented reality | |
| JP2009042162A (en) | Calibration device and method therefor | |
| WO2011118476A1 (en) | Three dimensional distance measuring device and method | |
| JP6630504B2 (en) | Work action support navigation system and method, computer program for work action support navigation, storage medium storing program for work action support navigation, self-propelled robot equipped with work action support navigation system, used in work action support navigation system Intelligent helmet | |
| JP5804892B2 (en) | Camera posture calculation device | |
| WO2020130006A1 (en) | Information projection system, control device, and information projection method | |
| JP2009269134A (en) | Simulation device in visual inspection apparatus | |
| JP4679293B2 (en) | In-vehicle panoramic camera system | |
| JP6295296B2 (en) | Complex system and target marker | |
| JP2017151026A (en) | Three-dimensional information acquiring device, three-dimensional information acquiring method, and program | |
| JP2011087319A (en) | In-vehicle panorama camera system | |
| JP2017120512A (en) | Work support system and method | |
| JP2020194214A (en) | Image display device | |
| JP5882153B2 (en) | Three-dimensional coordinate calculation device | |
| US20200242797A1 (en) | Augmented reality location and display using a user-aligned fiducial marker | |
| JP7225109B2 (en) | Work support system and work support method | |
| CN106500714B (en) | A kind of robot navigation method and system based on video | |
| JP2020042667A (en) | Projection system, projection method, and program | |
| JP6116094B2 (en) | Image search device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181226 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190809 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190913 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20191112 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200312 |