JP7138303B1

JP7138303B1 - 締結作業支援プログラム

Info

Publication number: JP7138303B1
Application number: JP2022016755A
Authority: JP
Inventors: 浩西谷
Original assignee: ジーダブルテクノロジー株式会社
Priority date: 2022-02-04
Filing date: 2022-02-04
Publication date: 2022-09-16
Anticipated expiration: 2042-02-04
Also published as: JP2023114401A

Abstract

【課題】締結位置及び締結順序のナビゲートを行うことにより、分かり易く、間違いのない締結手作業を可能とする。【解決手段】締結ナビゲートプログラム１００は、締結ナビゲート装置１０に備えられた第１演算部１３に対し、複数の対象二次元バーコードＢが設けられ作業台ＷＴに配置された対象被作業物Ｗを撮像部１１により撮像し、対応する対象実静止画データＲＤを生成する対象実静止画データ生成手順と、対象実静止画データＲＤを第１表示部１２に表示する対象実静止画データ表示手順と、ナビゲートマークＮＭを含む仮想動画データを、表示された当該対象実静止画データＲＤに対し重畳させつつ、対象二次元バーコードＢを位置決め基準とした表示位置、及び、実離間距離ＲＬ１を拡縮基準とした表示倍率によって、第１表示部１２に表示し、作業者ＷＲによる締結作業具Ｔを用いた締結手作業をナビゲートする仮想動画データ表示手順と、を実行させる。【選択図】図２

Description

本発明は、作業者による対象被作業物に対する締結作業具を用いた締結手作業をナビゲートするための締結作業支援プログラムに関する。

従来、組立工場でのボルトやネジ等の締め付け作業を支援する、締め付け作業支援装置が知られている（例えば、特許文献１参照）。この従来技術の締め付け作業支援装置は、ボルトやネジ等の締め付け順序が、作業者に表示されるようになっている。具体的には、当該作業支援装置には、発光器、カメラ、及び、コンピュータが、備えられている。このカメラは、ワークを撮影するようになっている。このコンピュータのディスプレイにおいて、締め付けられたボルト等が正しい場合には、カメラが撮影しているワークの画像に、塗りつぶされたボルト画像が、重ねて表示される。

特開２０１０－４２４９１号公報（図１等）

上記従来技術の締め付け作業支援装置では、コンピュータで実行される支援プログラムにより、ディスプレイにおいて、ワーク画像の下に「ボルト１を締めて下さい」等のメッセージが表示される。しかしながら、この締め付け作業の支援は、メッセージ表示にとどまり、画面上において締め付け位置をナビゲートするものとはなっていない。分かり易く、間違いのない締結手作業を可能とする技術が、望まれている。

本発明の目的は、実画像データ上に重畳表示する動画のマークで締結位置及び締結順序のナビゲートを行うことにより、分かり易く、間違いのない締結手作業を可能とするプログラムを提供することにある。

上記目的を達成するために、本願発明の締結ナビゲートプログラムは、撮像部と、第１表示部と、第１演算部と、を有し、複数の要締結箇所を備え既知の基準距離だけ離間させて複数の基準二次元バーコードが設けられた基準被作業物を撮影した基準実静止画データの表示状態に対して、重畳させて表示させるために生成され、前記複数の要締結箇所に対し１箇所ずつ締結作業具を用いて締結手作業を順次行う際の手作業順序及び手作業位置をナビゲートするナビゲートマークを含む仮想動画データを前記第１表示部に表示する、締結ナビゲート装置に備えられた前記第１演算部に対し、複数の対象二次元バーコードが設けられ作業台に配置された対象被作業物を前記撮像部により撮像し、対応する対象実静止画データを生成する、対象実静止画データ生成手順と、生成された前記対象実静止画データを前記第１表示部に表示する、対象実静止画データ表示手順と、前記ナビゲートマークを含む前記仮想動画データを、前記対象実静止画データ表示手順で表示された当該対象実静止画データに対し重畳させつつ、前記対象実静止画データ中の前記複数の対象二次元バーコードを位置決め基準とした表示位置、及び、当該対象実静止画データ中の前記複数の対象二次元バーコード間の実離間距離を拡縮基準とした表示倍率、によって前記第１表示部に表示し、作業者による前記対象被作業物に対する前記締結作業具を用いた締結手作業をナビゲートする仮想動画データ表示手順と、を実行させる。

作業員は、対象被作業物の複数の要締結箇所に対し、１箇所ずつ締結作業具を用いて締結手作業を順次行う。その際、目の前の作業台に置かれた対象被作業物を撮像した対象実静止画データが第１表示部に表示されるとともに、その静止画データ上に、ナビゲートマークを含む仮想動画データが重畳表示され、これによって上記締結手作業時において上記複数の要締結箇所に対して実行すべき、手作業順序及び手作業位置が動的にナビゲートされる。

このとき、仮想動画データは、複数の要締結箇所を備えた基準被作業物（例えば対象被作業物と同一種類・同一大きさ・同一形状のもの）を予め撮影した基準実静止画データの表示状態に対し、例えば重畳させて表示させることによって生成されている。そして、基準被作業物には、既知の基準距離だけ離間した複数の基準二次元バーコードが設けられている。すなわち、仮想動画データには、互いに既知の距離だけ離間した基準二次元バーコードを位置決め基準としつつ複数の要締結箇所を指し示すようにデータ中の位置が設定されている、ナビゲートマークが予め含まれている。

一方、前述の作業員による実際の締結作業実行時において、対象被作業物にも複数の二次元バーコード（対象二次元バーコード）が設けられており、これによって対象実静止画データ中に互いに離間した対象二次元バーコードが含まれる。この結果、対象実静止画データ中におけるそれら複数の対象二次元バーコードの離間距離と、上記仮想動画データ中に含まれる基準二次元バーコードの離間距離との長さ比率に応じて、当該対象実静止画データに合わせて仮想動画データ中のナビゲートマークを位置決めすることができる。この結果、対象実静止画データに動画として重畳表示されるナビゲートマークの位置を、対象実静止画データ中の対象被作業物の複数の要締結箇所の位置を指し示すように、精度よく合致させることができる。

以上のようにして、本願発明によれば、正確に位置決めされた仮想動画中のマークで動的に締結位置及び締結順序の表示を行うことができるので、作業者に対し分かり易くナビゲートを行うことができ、作業者は間違いのない締結手作業を行うことができる。

また、本願発明の締結ナビゲートプログラムは、前記第１演算部に対し、さらに、前記撮像部による撮像結果に基づき、前記対象被作業物に対する前記締結手作業の実行時の前記締結作業具の位置を検知する位置検知手順と、前記位置検知手順で検知されている前記締結作業具の位置が、前記仮想動画データ表示手順で表示されている前記仮想動画データ中の前記ナビゲートマークの位置と整合するか否かを判定する位置判定手順と、を実行させることを特徴とする。

また、本願発明の締結ナビゲートプログラムは、前記第１演算部に対し、さらに、前記位置判定手順において前記締結作業具の位置が前記仮想動画データ中の前記ナビゲートマークの位置と整合しないと判定された場合に、対応する警告報知を実行する警告報知手順を実行させることを特徴とする。

また、本願発明の締結ナビゲートプログラムは、前記位置検知手順では、予め前記締結作業具に設けられた複数の作業具二次元バーコードを位置決め基準とした検出結果に基づき、当該締結作業具のうち、前記対象被作業物の要締結箇所に締結されるボルト又はナットが装着される装着部の位置を検知することを特徴とする。

本願発明のナビゲート動画データ生成プログラムは、第２表示部と、第２演算部と、操作部と、を有する端末装置の前記第２演算部に対し、複数の要締結箇所を備え既知の基準距離だけ離間させて複数の基準二次元バーコードが設けられた基準被作業物を撮影し、対応する基準実静止画データを生成する基準実静止画データ生成手順と、基準実静止画データを前記第２表示部に表示させた状態で、その表示した基準実静止画データに対して重畳させて表示させるための、前記複数の要締結箇所に対し１箇所ずつ締結作業具を用いて締結手作業を順次行う際の手作業順序及び手作業位置をナビゲートするナビゲートマークの生成指示を、前記操作部を介して受け付ける指示受付手順と、前記指示受付手順で前記ナビゲートマークの生成指示を受け付けた場合に、複数の対象二次元バーコードが設けられ作業台に配置された対象被作業物を撮像した対象実静止画データに対し重畳表示されて作業者による前記対象被作業物に対する前記締結作業具を用いた締結手作業をナビゲートする、前記ナビゲートマークを含む仮想動画データを生成する仮想動画データ生成手順と、を実行させる。

これによれば、端末装置にて、ナビゲートマークの生成指示を受け付けて、予め撮影した基準実静止画データの表示状態に対して重畳させるように、仮想動画データが生成される。従って、端末装置にて、例えば、基準実静止画データ中の要締結部位の位置に対応するよう、ナビゲートマークを容易に生成でき、更に、基準実静止画データ中の要締結部位の順序に対応して、基準実静止画データ中にてナビゲートマークがこの順に移動し逐次表示される動画を、容易に生成できる。また、作業者とは別の管理者等により、締結手作業とは別に、予め仮想動画データを生成しておくことができる。このため、例えば、予め生成しておいた仮想動画データを、多数の締結ナビゲート装置に効率良く展開できる。

本願発明の締結作業支援プログラムは、締結作業支援システムが有する、撮像部を備えた締結ナビゲート装置、及び、操作部を備えた端末装置、がそれぞれ備える演算部に対し、複数の要締結箇所を備え既知の基準距離だけ離間させて複数の基準二次元バーコードが設けられた基準被作業物を撮影し、対応する基準実静止画データを生成する基準実静止画データ生成手順と、基準実静止画データを表示させた状態で、その表示した基準実静止画データに対して重畳させて表示させるための、前記複数の要締結箇所に対し１箇所ずつ締結作業具を用いて締結手作業を順次行う際の手作業順序及び手作業位置をナビゲートするナビゲートマークの生成指示を、前記操作部を介して受け付ける指示受付手順と、前記指示受付手順で前記ナビゲートマークの生成指示を受け付けた場合に、作業者による対象被作業物に対する前記締結作業具を用いた締結手作業をナビゲートする、前記ナビゲートマークを含む仮想動画データを生成する仮想動画データ生成手順と、複数の対象二次元バーコードが設けられ作業台に配置された前記対象被作業物を前記撮像部により撮像し、対応する対象実静止画データを生成する、対象実静止画データ生成手順と、生成された前記対象実静止画データを表示する、対象実静止画データ表示手順と、前記仮想動画データを、前記対象実静止画データ表示手順で表示された当該対象実静止画データに対し重畳させつつ、前記対象実静止画データ中の前記複数の対象二次元バーコードを位置決め基準とした表示位置、及び、当該対象実静止画データ中の前記複数の対象二次元バーコード間の実離間距離を拡縮基準とした表示倍率、によって表示する仮想動画データ表示手順と、を分担して実行させることを特徴とする。

これによっても、上述した締結ナビゲートプログラムと同様、正確に位置決めされた仮想動画中のマークで動的に締結位置及び締結順序の表示を行うことができるので、作業者に対し分かり易くナビゲートを行うことができ、作業者は間違いのない締結手作業を行うことができる。

本発明によれば、分かり易く、間違いのない締結手作業が可能となる。

本発明の実施形態に係るナビゲート動画データ生成プログラムが適用される端末装置の構成と、当該端末装置に基準実静止画データを表示させた状態で仮想動画データを生成していく様子を示す図である。本発明の実施形態に係る締結ナビゲートプログラムが適用される締結ナビゲート装置を用いて締結手作業を実施する場合の全体構成と、当該締結ナビゲート装置に対象実静止画データを表示させた状態で、仮想動画データを重畳表示させていく様子を示す図である。図２に示す締結ナビゲート装置に対象実静止画データを表示させた状態で、仮想動画データを重畳表示させていく様子を示す図である。図２に示す締結ナビゲート装置に対象実静止画データを表示させた状態で、仮想動画データを重畳表示させていく様子を示す図である。図２に示す締結ナビゲート装置の機能ブロック図である。本発明の実施形態に係る締結ナビゲートプログラムが適用される締結ナビゲート装置が、他の態様の第１表示部を備える場合の全体構成図である。図２に示す締結ナビゲート装置を用いて締結手作業を実施する場合に使用される締結作業具の構成図である。図２に示す締結ナビゲート装置を用いて締結手作業を実施する場合に、締結作業具の位置がナビゲートマークの位置と整合しないと判定されたときに、対応する警告報知を実行している様子を示す図である。本発明の実施形態に係る締結ナビゲートプログラムが適用される締結ナビゲート装置が、他の態様の警告報知部を備える場合の全体構成図である。図１に示す端末装置の機能ブロック図である。図１に示す端末装置にて基準被作業物の撮影データを取り込み、仮想動画データを生成した後、当該仮想動画データを締結ナビゲート装置に転送する様子を示す図である。図２に示す締結ナビゲート装置の第１演算部が、締結ナビゲートプログラムにより実行する締結手作業のナビゲート処理を示す一連のフローチャートの一部である。図２に示す締結ナビゲート装置の第１演算部が、締結ナビゲートプログラムにより実行する締結手作業のナビゲート処理を示す一連のフローチャートの一部であって、図１２に続くフローチャートである。図２に示す締結ナビゲート装置の第１演算部が、締結ナビゲートプログラムにより実行する締結手作業のナビゲート処理を示す一連のフローチャートの一部であって、図１３に続くフローチャートである。図１に示す端末装置の第２演算部が、ナビゲート動画データ生成プログラムにより実行する仮想動画データの生成処理を示す一連のフローチャートである。

以下、本発明の一実施形態を図面を参照して説明する。

＜締結手作業におけるナビゲートの概要＞
本発明の実施形態に係る締結ナビゲートプログラム１００及びナビゲート動画データ生成プログラム２００は、下記の通り構成されている。締結ナビゲートプログラム１００は、締結ナビゲート装置１０に適用されるプログラムである。締結ナビゲートプログラム１００及び締結ナビゲート装置１０は、複数の要締結箇所を有する被作業物（例えば、タイヤホイール等）に対し、締結手作業を順次行う際の手作業順序及び手作業位置を、ナビゲートするように構成されている。締結手作業は、例えば、作業者ＷＲの手により、締結作業具Ｔを用いてボルト又はナットを締結する作業である（図２を参照）。なお、いわゆるボルトだけでなく、ネジ、ビス等のその他の締結部材を用いてもよく、以下、本願明細書において「ボルト」というときは、それら他の締結部材も含まれるものである。当該ナビゲートは、仮想動画データに基づいて実行される。ナビゲート動画データ生成プログラム２００は、仮想動画データを生成するように構成されている。

図１に示すように、ナビゲート動画データ生成プログラム２００は、端末装置２０に適用される。端末装置２０は、例えば、パーソナルコンピュータ等の固定式端末や、スマートフォン、タブレット等の移動式端末である。端末装置２０にて、ナビゲート動画データ生成プログラム２００により、仮想動画データ及び基準実静止画データＳＤが生成される。生成された仮想動画データ及び基準実静止画データＳＤは、無線通信や記憶媒体等を介して、端末装置２０から締結ナビゲート装置１０へ転送可能となっている。仮想動画データ及び基準実静止画データＳＤの生成手順については、後に詳述する。

仮想動画データは、ナビゲートマークＮＭを含む。例えば、基準被作業物ＳＷを撮影した基準実静止画データＳＤが、第２表示部２１にて表示された状態に対して、ナビゲートマークＮＭが、基準実静止画データＳＤに重畳されて表示される。重畳表示されるナビゲートマークＮＭの位置は、複数の要締結箇所ＢＰの位置に対応している。より具体的には、ナビゲートマークＮＭは、例えば、基準実静止画データＳＤにおける要締結箇所ＢＰを囲う図形（本実施形態では円形）で表示されてもよい。

仮想動画データにおいては、複数の要締結箇所ＢＰに対し、１箇所ずつ締結作業具を用いて締結手作業を順次行う際の手作業順序及び手作業位置をナビゲートするよう、ナビゲートマークＮＭが表示される。例えば、基準被作業物ＳＷ（即ち、対象被作業物Ｗ）が５箇所の異なる位置に要締結箇所ＢＰ１～ＢＰ５を有しており、手作業順序及び手作業位置として、要締結箇所ＢＰ１，ＢＰ２，ＢＰ３，ＢＰ４，ＢＰ５に対してこの順での締結が必要となる場合には、これに対応するようにナビゲートマークＮＭ１，ＮＭ２，ＮＭ３，ＮＭ４，ＮＭ５がこの順に移動し逐次表示されるようになっている。本実施形態においては、仮想動画データは、ナビゲートマークＮＭの表示位置が、要締結箇所ＢＰ１～ＢＰ５に対応して移動していく動画となる。従って、仮想動画データのナビゲートマークＮＭにナビゲートされて、締結手作業の作業者は、手作業順序及び手作業位置を認識できる。即ち、仮想動画データは、デジタル手順書として機能する。

基準被作業物ＳＷには、複数の基準二次元バーコードＳＢが、既知の基準距離ＳＬだけ離間されて設けられている。基準二次元バーコードＳＢは、例えば、ＱＲコード（登録商標）等である。基準二次元バーコードＳＢは、例えば、基準被作業物ＳＷの縁近傍に２つ設けられる。基準被作業物ＳＷの撮像データである基準実静止画データＳＤが表示される際、基準実静止画データＳＤ中にも２つの基準二次元バーコードＳＢも表示され、それらの離間距離は、距離ＳＬ１となる。距離ＳＬ１は、基準被作業物ＳＷの撮像時の倍率に応じて、上記基準距離ＳＬを拡大又は縮小した値となる。後に詳述するように、締結ナビゲート装置１０にて仮想動画データを表示する際において、基準二次元バーコードＳＢは、ナビゲートマークＮＭ１～ＮＭ５の位置決めに用いられ、距離ＳＬ１は、表示される仮想動画データの表示倍率の決定に用いられる。

図２乃至図４に示すように、作業者ＷＲは、対象被作業物Ｗの複数の要締結箇所ＢＰに対し、１箇所ずつ締結作業具Ｔを用いて締結手作業を順次行う。当該締結手作業は、対象被作業物Ｗが作業台ＷＴに配置された状態にて実行される。本実施形態においては、対象被作業物Ｗは、基準被作業物ＳＷと同一種類・同一の大きさ・同一形状のものである。即ち、対象被作業物Ｗは、基準被作業物ＳＷと同じ５箇所の異なる位置に、要締結箇所ＢＰ１～ＢＰ５を有する。対象被作業物Ｗは、複数の対象二次元バーコードＢが設けられている。対象二次元バーコードＢは、本実施形態においては、基準被作業物ＳＷの基準二次元バーコードＳＢと同一種類・同位置配置となっている。即ち、対象二次元バーコードＢは、例えば、ＱＲコード（登録商標）等であり、対象被作業物Ｗの縁近傍に２つ設けられる。２つの対象二次元バーコードＢは、上記基準距離ＳＬと同じ距離だけ、離間されて設けられている。

締結作業具Ｔは、作業者ＷＲによる手作業が可能に、かつ、要締結箇所ＢＰのボルト又はナットの締結が可能に構成されている。締結作業具Ｔは、例えば、レンチ、ドライバ等であり、その先端が、対象被作業物Ｗの要締結箇所ＢＰに締結されるボルト又はナットが装着される装着部Ｔ１となっている（図７を参照）。

締結ナビゲート装置１０は、作業台ＷＴに、スタンド等を介して固定されている。より具体的には、作業台ＷＴにおいて、作業者ＷＲからみて手前側に対象被作業物Ｗが載置され、当該対象被作業物Ｗよりも奥手側でスタンドが上方直立する。締結ナビゲート装置１０は、当該スタンドの上端に接続されて、作業台ＷＴに載置された対象被作業物Ｗの上方に位置している。締結ナビゲート装置１０は、例えば、スマートフォン、タブレット等の移動式端末などであるが、これに限られない。

図５に示すように、締結ナビゲート装置１０は、撮像部１１と、第１表示部１２と、第１演算部１３と、第１記憶部１４と、警告報知部１５とを有する。撮像部１１、第１表示部１２、第１記憶部１４、及び、警告報知部１５は、インターフェイス、バス等を介して、第１演算部１３と電気的に接続されている。撮像部１１は、例えば、移動式端末に内蔵されているカメラ等であり、作業台ＷＴに載置された対象被作業物Ｗ、及び、締結手作業中の締結作業具Ｔを含む画角を、真上から撮像可能なように、締結ナビゲート装置１０の下側に設けられてもよい。第１表示部１２は、例えば、移動式端末に内蔵されているモニタ等であり、作業者ＷＲにより、作業台ＷＴに載置された対象被作業物Ｗと同時に視認可能なように、締結ナビゲート装置１０の上側に設けられてもよい。第１演算部１３は、ＣＰＵ、電気回路等にて構成されており、撮像部１１の撮像、第１表示部１２の映像表示等を含む、各種プログラムの処理を実行する。第１記憶部１４は、メモリ、電気回路等にて構成されており、締結ナビゲートプログラム１００等の各種プログラムが予め格納される。また、第１記憶部１４は、端末装置２０にて生成されて転送された仮想動画データ及び基準実静止画データＳＤ、撮像部１１にて撮像された画像データ等を、記録可能となっている。第１記憶部１４に格納されたプログラム、データは、第１演算部１３のＣＰＵにより読み出されるようになっている。なお、警告報知部１５については、後に詳述する。

図２（ａ）に示すように、締結手作業が実行開始される場合、先ず、作業台ＷＴに配置された対象被作業物Ｗを撮像部１１により撮像し、対応する対象実静止画データＲＤが生成される。生成された対象実静止画データＲＤは、第１表示部１２に表示される。対象実静止画データＲＤは、第１記憶部１４に記録された後、第１表示部１２に表示されてもよいし、第１記憶部１４を介さず第１表示部１２に表示されてもよい。

対象被作業物Ｗの撮像データである対象実静止画データＲＤが表示される際、対象実静止画データＲＤ中にも２つの対象二次元バーコードＢも表示され、それらの離間距離は、実離間距離ＲＬ１となる。実離間距離ＲＬ１は、対象被作業物Ｗの撮像時の倍率に応じて、上記基準距離ＳＬを拡大又は縮小した値となる。

次に、図２（ｂ）、図３、及び、図４に示すように、ナビゲートマークＮＭを含む仮想動画データが、上記表示された対象実静止画データＲＤに対し重畳されつつ、第１表示部１２に表示される。ここにおいて、重畳表示される仮想動画データとしては、端末装置２０にて生成された仮想動画データに対して、表示位置を調整し、且つ、表示倍率を調整したものが用いられる。重畳表示される仮想動画データの表示位置は、対象実静止画データＲＤ中の複数の対象二次元バーコードＢを位置決め基準とし、２つの対象二次元バーコードＢに、基準実静止画データＳＤ中の２つの基準二次元バーコードＳＢをつき合わせることで、調整される（図１及び図２を参照）。

重畳表示される仮想動画データの表示倍率は、対象実静止画データＲＤ中の複数の対象二次元バーコードＢ間の実離間距離ＲＬ１を拡縮基準とし、実離間距離ＲＬ１と、基準実静止画データＳＤ中の２つの基準二次元バーコードＳＢ間の距離ＳＬ１とに基づいて、調整される。上記表示倍率としては、例えば、実離間距離ＲＬ１を、距離ＳＬ１で除して得た値を用いてもよい（図１及び図２を参照）。

より具体的には、基準被作業物ＳＷを比較的遠距離にて撮像し、生成した基準実静止画データＳＤにおける、２つの基準二次元バーコードＳＢ間の距離ＳＬ１が、２．５ｃｍであるとする。他方、対象被作業物Ｗを比較的近距離にて撮像し、生成した対象実静止画データＲＤにおける、２つの対象二次元バーコードＢ間の実離間距離ＲＬ１が、５．０ｃｍであるとする。この場合、上記表示倍率は、ＲＬ１／ＳＬ１＝（５．０ｃｍ）／（２．５ｃｍ）＝２．０倍となる。このため、端末装置２０にて生成された仮想動画データは、上述のように位置合わせされるとともに、２．０倍の表示倍率をもって拡大されて、対象実静止画データＲＤに重畳表示される。

また、距離ＳＬ１が５．０ｃｍであり（基準被作業物ＳＷを比較的近距離にて撮像）、実離間距離ＲＬ１が２．５ｃｍ（対象被作業物Ｗを比較的遠距離にて撮像）である場合には、上記表示倍率は、ＲＬ１／ＳＬ１＝（２．５ｃｍ）／（５．０ｃｍ）＝０．５０倍となる。この場合、端末装置２０にて生成された仮想動画データは、上述のように位置合わせされるとともに、０．５０倍の表示倍率をもって縮小されて、対象実静止画データＲＤに重畳表示される。

以上のように、仮想動画データの表示位置が調整され、且つ、表示倍率が調整されることで、対象実静止画データＲＤに仮想動画データが重畳表示される際、ナビゲートマークＮＭの位置は、対象実静止画データＲＤ中の要締結箇所ＢＰの位置に一致するようになる、

図２（ｂ）に示すように、仮想動画データが対象実静止画データＲＤに対し重畳されて第１表示部１２に表示される場合には、先ず、対象実静止画データＲＤ中の要締結箇所ＢＰ１の位置に、ナビゲートマークＮＭ１が重畳表示される。ナビゲートマークＮＭ１の重畳表示は、所定期間継続する。この状態の第１表示部１２が作業者ＷＲにて視認され、作業台ＷＴに配置された対象被作業物Ｗにおける要締結箇所ＢＰ１に対し締結手作業するよう、ナビゲートされることになる。当該ナビゲートに応じて、作業者ＷＲは、締結作業具Ｔの装着部Ｔ１にて要締結箇所ＢＰ１のボルト又はナットを締結する。

次いで、図３（ａ）に示すように、上記ナビゲートマークＮＭ１が一旦消去されて、対象実静止画データＲＤ中の要締結箇所ＢＰ２の位置に、ナビゲートマークＮＭ２が重畳表示される。ナビゲートマークＮＭ２の重畳表示は、所定期間継続する。この状態の第１表示部１２が作業者ＷＲにて視認され、作業台ＷＴに配置された対象被作業物Ｗにおける要締結箇所ＢＰ２に対し締結手作業するよう、ナビゲートされることになる。当該ナビゲートに応じて、作業者ＷＲは、締結作業具Ｔの装着部Ｔ１にて要締結箇所ＢＰ２のボルト又はナットを締結する。

次いで、図３（ｂ）に示すように、上記ナビゲートマークＮＭ２が一旦消去されて、対象実静止画データＲＤ中の要締結箇所ＢＰ３の位置に、ナビゲートマークＮＭ３が重畳表示される。ナビゲートマークＮＭ３の重畳表示は、所定期間継続する。この状態の第１表示部１２が作業者ＷＲにて視認され、作業台ＷＴに配置された対象被作業物Ｗにおける要締結箇所ＢＰ３に対し締結手作業するよう、ナビゲートされることになる。当該ナビゲートに応じて、作業者ＷＲは、締結作業具Ｔの装着部Ｔ１にて要締結箇所ＢＰ３のボルト又はナットを締結する。

次いで、図４（ａ）に示すように、上記ナビゲートマークＮＭ３が一旦消去されて、対象実静止画データＲＤ中の要締結箇所ＢＰ４の位置に、ナビゲートマークＮＭ４が重畳表示される。ナビゲートマークＮＭ４の重畳表示は、所定期間継続する。この状態の第１表示部１２が作業者ＷＲにて視認され、作業台ＷＴに配置された対象被作業物Ｗにおける要締結箇所ＢＰ４に対し締結手作業するよう、ナビゲートされることになる。当該ナビゲートに応じて、作業者ＷＲは、締結作業具Ｔの装着部Ｔ１にて要締結箇所ＢＰ４のボルト又はナットを締結する。

そして、図４（ｂ）に示すように、上記ナビゲートマークＮＭ４が一旦消去されて、対象実静止画データＲＤ中の要締結箇所ＢＰ５の位置に、ナビゲートマークＮＭ５が重畳表示される。ナビゲートマークＮＭ５の重畳表示は、所定期間継続する。この状態の第１表示部１２が作業者ＷＲにて視認され、作業台ＷＴに配置された対象被作業物Ｗにおける要締結箇所ＢＰ５に対し締結手作業を実行するよう、ナビゲートされることになる。当該ナビゲートに応じて、作業者ＷＲは、締結作業具Ｔの装着部Ｔ１にて要締結箇所ＢＰ５のボルト又はナットを締結する。

以上のように、ナビゲートマークＮＭ１～ＮＭ５は、仮想動画データとして、対象実静止画データＲＤ中の要締結箇所ＢＰ１～ＢＰ５の位置にそれぞれ対応するよう、対象実静止画データＲＤに重畳表示される。ナビゲートマークＮＭ１，ＮＭ２，ＮＭ３，ＮＭ４，ＮＭ５がこの順に移動し逐次表示されることで、要締結箇所ＢＰ１，ＢＰ２，ＢＰ３，ＢＰ４，ＢＰ５に対し、この順で締結手作業がナビゲートされる。即ち、ナビゲートマークＮＭを含む仮想動画データは、デジタル手順書として機能する。

本実施形態においては、ナビゲートマークＮＭは、所定期間継続だけ表示が維持された後に消滅して、次の位置に移動していく。この所定期間は、例えば、締結手作業の目標完了時間等に基づいて、決定されてもよい。このように、締結手作業を順次行う際の手作業順序及び手作業位置がナビゲートされる。

本実施形態においては、図２（ａ）に示すように、締結ナビゲート装置１０は、移動式端末であり、撮像部１１及び表示部１２が、移動式端末に一体的に内蔵されるよう構成されている。これに代えて、図６（ａ）に示すように、例えば、締結ナビゲート装置１０は、撮像部１１としてのカメラユニット、及び、表示部１２としてのモニタ装置を備え、これらが別体となるよう構成されてもよい。この場合、撮像部１１は、作業台ＷＴのスタンド上端部に固定され、表示部１２は、作業台ＷＴから離間させて作業者ＷＲが視認可能な位置に固定されてもよい。また、図６（ｂ）に示すように、例えば、締結ナビゲート装置１０は、撮像部１１としてのカメラユニット、及び、表示部１２としてのスマートグラスを備え、これらが別体となるよう構成されてもよい。この場合、撮像部１１は、作業台ＷＴのスタンド上端部に固定され、表示部１２は、作業者ＷＲの目元に装着されてもよい。これらの場合、例えば、表示部１２にて表示される映像データは、無線形式、有線形式の何れかにより、移動式端末から表示部１２に転送されてもよい。

＜締結作業具の位置検知に基づく警告報知＞
締結ナビゲートプログラム１００及び締結ナビゲート装置１０は、締結手作業を順次行う際の手作業順序及び手作業位置をナビゲートするにあたって、締結作業具の位置検知に基づいて、警告報知を行うようになっている。本実施形態においては、例えば、作業者ＷＲが用いる締結作業具Ｔの位置が、重畳表示されるナビゲートマークＮＭの位置と整合するか否かが判定されて、整合しないと判定された場合に、警告報知がなされる。この目的は、締結手作業中において、作業員ＷＲが移動させた締結作業具Ｔの位置が、不適正である場合に、警報報知にて作業員ＷＲに認知させて、不適正な位置を適正な位置へ是正させるよう作業員ＷＲに促すことにある。このため、締結作業具Ｔ、及び、締結ナビゲート装置１０は、下記のように構成される。

図７に示すように、締結作業具Ｔは、棒形状を呈しており、装着部Ｔ１を先端として、装着部Ｔ１と反対側に把持部Ｔ２を有している。把持部Ｔ２は、作業者ＷＲにより把持可能となっている。締結手作業の際、装着部Ｔ１に、要締結箇所ＢＰに締結されるボルト又はナットが装着されて、装着部Ｔ１を支点、締結作業具Ｔの長軸を動径として、把持部Ｔ２側の回転作動が可能となっている。締結作業具Ｔには、複数の作業具二次元バーコードＴＢが設けられている。作業具二次元バーコードＴＢは、例えば、ＱＲコード（登録商標）等であり、締結作業具Ｔの装着部Ｔ１と把持部Ｔ２との中間部位に、長軸方向に沿って２つ設けられる。

図５に示すように、締結ナビゲート装置１０は、警告報知部１５を有する。第１演算部１３は、警告報知部１５に指示することで、作業者ＷＲに視覚、聴覚等を通じた警告報知を実行する。警告報知の態様としては、例えば、警告報知部１５がスピーカ装置を含み、警告音を発出するようにしてもよいし、警告報知部１５が警告表示データを含み、第１表示部１２にて警告表示（例えば、警告灯に相当する画像）するようにしてもよい。（図８を参照）。第１演算部１３は、締結作業具Ｔの位置が、仮想動画データ中のナビゲートマークＮＭの位置と整合しないと判定した場合に、対応する警告報知を実行するよう、警告報知部１５に指示する。

図２（ｂ）に示すように、例えば、ナビゲートマークＮＭ１の重畳表示に応じて、要締結箇所ＢＰ１に装着部Ｔ１を位置させた場合、後述のように検知される締結作業具Ｔの位置が、仮想動画データ中のナビゲートマークＮＭの位置と整合すると判定されて、上述の警告報知は実行されない。図３及び図４にそれぞれ示す状態においても、同様に警告報知は実行されない。

ここにおいて、対象被作業物Ｗに対する締結手作業の実行時の締結作業具Ｔの位置は、撮像部１１による撮像結果に基づいて、検知される。具体的には、装着部Ｔ１の位置が、複数の作業具二次元バーコードＴＢを位置決め基準とした検出結果に基づいて、検知される。本実施形態においては、装着部Ｔ１側の作業具二次元バーコードＴＢと、装着部Ｔ１との間の離間距離が既知である。把持部Ｔ２側の作業具二次元バーコードＴＢにて、装着部Ｔ１の方向が算出されるようになっている。これら２つの作業具二次元バーコードＴＢが、撮像部１１の撮像により検出されて、装着部Ｔ１の位置が精度良く検知される。

図８に示すように、図２（ｂ）に示す状態での要締結箇所ＢＰ１の締結が完了した後、ナビゲートマークＮＭ２の重畳表示に移行した際に、例えば、要締結箇所ＢＰ３に向け装着部Ｔ１を移動させた場合の作動を説明する。この場合、上述のように検知されている締結作業具Ｔの位置が、仮想動画データ中のナビゲートマークＮＭの位置と整合しないと判定されて、上述の警告報知が実行される。警告報知としては、図８（ａ）に示すように締結ナビゲート装置１０からの警告音ＡＬ１が発出されてもよいし、図８（ｂ）に示すように第１表示部１２にて警告灯ＡＬ２が表示されてもよい。

即ち、ナビゲートマークＮＭ１からＮＭ２に表示が移行した際に、装着部Ｔ１の移動先が、要締結箇所ＢＰ１，ＢＰ３，ＢＰ４，ＢＰ５（即ち、ＢＰ２以外）である場合においても、同様に警告報知が実行される。また、ナビゲートマークＮＭ２からＮＭ３に表示が移行した際に、装着部Ｔ１の移動先が、要締結箇所ＢＰ１，ＢＰ２，ＢＰ４，ＢＰ５（即ち、ＢＰ３以外）である場合においても、同様に警告報知が実行される。また、ナビゲートマークＮＭ３からＮＭ４に表示が移行した際に、装着部Ｔ１の移動先が、要締結箇所ＢＰ１，ＢＰ２，ＢＰ３，ＢＰ５（即ち、ＢＰ４以外）である場合においても、同様に警告報知が実行される。また、ナビゲートマークＮＭ４からＮＭ５に表示が移行した際に、装着部Ｔ１の移動先が、要締結箇所ＢＰ１，ＢＰ２，ＢＰ３，ＢＰ４（即ち、ＢＰ５以外）である場合においても、同様に警告報知が実行される。

本実施形態においては、検知されている締結作業具Ｔの位置が、仮想動画データ中のナビゲートマークＮＭの位置と整合しないと判定された場合、警告報知が実行されるが、これに代えて、上記整合しない状態の画角を撮像部１１にて撮像し、記録部１４にログするようにしてもよい。また、本実施形態においては、図２（ａ）、図５、及び、図８に示すように、締結ナビゲート装置１０に警告報知部１５が設けられ、警告音ＡＬ１の発出、又は、警告灯ＡＬ２の表示は、移動式端末にて実行される。これに代えて、例えば、警告音ＡＬ１を発出する場合には、図９（ａ）に示すように、警告報知部１５としてのスピーカ装置を、移動式端末とは別体で設けてもよい。また、例えば、警告灯ＡＬ２を表示する場合には、図９（ｂ）に示すように、警告報知部１５としての警告灯装置を、移動式端末とは別体で設けてもよい。これらのスピーカ装置、警告灯装置は、移動式端末と無線形式、有線形式の何れで接続されてもよい。

＜仮想動画データの生成＞
図１に示すように、デジタル手順書として機能する仮想動画データは、端末装置２０にて生成される。端末装置２０は、締結ナビゲート装置１０とは別の端末である。端末装置２０では、ナビゲート動画データ生成プログラム２００を用いて仮想動画データが生成される。即ち、端末装置２０は、仮想動画データの生成を分担しており、端末装置２０にて生成された仮想動画データ、及び、基準実静止画データＳＤが、締結ナビゲート装置１０に転送されて格納され、締結手作業がナビゲートされるようになっている。

図１０に示すように、端末装置２０は、第２表示部２１と、操作部２２と、第２演算部２３と、第２記憶部２４と、を有する。第２表示部２１は、例えば、固定式端末の場合は添え付けのモニタ、移動式端末の場合は内蔵されているモニタ等であり、管理者により視認可能となっている。操作部２２は、例えば、管理者が操作可能なタッチキー、ボタン等であり、管理者により生成される指示を受け付けるためのインターフェイスを含んでいる。第２演算部２３は、ＣＰＵ、電気回路等にて構成されており、第２表示部２１の映像表示、操作部２２を介した管理者による指示受付等を含む、各種プログラムの処理を実行する。第２記憶部２４は、メモリ、電気回路等にて構成されており、ナビゲート動画データ生成プログラム２００等の各種プログラムが予め格納される。また、第２記憶部２４は、生成された仮想動画データ、別途撮像で得られる基準実静止画データＳＤ等を、記録可能となっている。

図１１に示すように、基準実静止画データＳＤは、対象被作業物Ｗと同一の基準被作業物ＳＷを、撮像して得られる画像データである。基準被作業物ＳＷの撮像は、端末装置２０とは別体のカメラ、又は、端末装置２０に内蔵のカメラにて撮像され、端末装置２０に取り込まれて基準実静止画データＳＤが生成される。

図１１及び図１に示すように、基準実静止画データＳＤを第２表示部２１に表示させた状態で、操作部２２を介して管理者によりナビゲートマークＮＭの生成指示がなされる。例えば、第２表示部２１に表示された基準実静止画データＳＤ中の要締結部位ＢＰ１～ＢＰ５の位置に対応するよう、ナビゲートマークＮＭが生成される。具体的には、基準実静止画データＳＤ中の要締結部位ＢＰ１，ＢＰ２，ＢＰ３，ＢＰ４，ＢＰ５の順序に対応して、基準実静止画データＳＤ中にてナビゲートマークＮＭ１，ＮＭ２，ＮＭ３，ＮＭ４，ＮＭ５がこの順に移動し逐次表示されるよう生成指示される。この生成指示は、第２演算部２３にて受け付けられて、仮想動画データが生成される。当該仮想動画データは、締結ナビゲート装置１０にて対象実静止画データＲＤに対し重畳表示されるナビゲートマークＮＭの表示位置が、要締結箇所ＢＰ１～ＢＰ５に対応して移動していく動画となる。即ち、仮想動画データとして表示される部位は、ナビゲートマークＮＭのみとなる。

図１１に示すように、生成された仮想動画データは、締結ナビゲート装置１０に転送・格納されて、締結ナビゲート装置１０は、上述のように締結手作業のナビゲートを実行可能となる。

＜締結ナビゲートプログラムの処理＞
締結ナビゲート装置１０に適用される締結ナビゲートプログラム１００により、第１演算部１３の各処理が実行されることで、上述したように、締結手作業を順次行う際の手作業順序及び手作業位置のナビゲートが達成される。

図１２乃至図１４の一連のフローチャートに示すように、締結手作業のナビゲートを開始する場合、先ず、ステップ１０１にて、第１演算部１３は、端末装置２０にて生成され締結ナビゲート装置１０に転送された仮想動画データ、及び、基準実静止画データＳＤを、第１記憶部１４に格納する。

次に、ステップ１０２にて、第１演算部１３は、作業台ＷＴ上の対象被作業物Ｗを撮像部１１で撮像する。次いで、ステップ１０３にて、第１演算部１３は、対象実静止画データＲＤを生成する。次いで、ステップ１０４にて、第１演算部１３は、上記生成された対象実静止画データＲＤを第１表示部１２に表示する（図２（ａ）を参照）。ここにおいて、ステップ１０２，１０３は、対象実静止画データ生成手順に相当し、ステップ１０４は、対象実静止画データ表示手順に相当する。

次に、ステップ１０５にて、第１演算部１３は、上記格納された基準実静止画データＳＤの基準二次元バーコードＳＢ、及び、上記生成された対象実静止画データＲＤの対象二次元バーコードＢをつき合わせ、仮想動画データの表示位置を決定する。次いで、ステップ１０６にて、第１演算部１３は、上記基準実静止画データＳＤの各基準二次元バーコードＳＢにおける距離ＳＬ１、及び、上記対象実静止画データＲＤの各対象二次元バーコードＢにおける実離間距離ＲＬ１を取得する。次いで、ステップ１０７にて、第１演算部１３は、上記取得された距離ＳＬ１、及び、上記取得された実離間距離ＲＬ１に基づいて、仮想動画データの表示倍率を決定する。上記表示倍率としては、例えば、実離間距離ＲＬ１を、距離ＳＬ１で除して得た値を用いてもよい。

次に、ステップ１０８にて、第１演算部１３は、上記決定された表示位置及び表示倍率にて、仮想動画データとして、ナビゲートマークＮＭ１を対象実静止画データＲＤに重畳させて第１表示部１２に表示する（図２（ｂ）を参照）。次いで、ステップ１０９にて、第１演算部１３は、撮像部１１による作業具二次元バーコードＴＢの撮像に基づいて、装着部Ｔ１の位置を検出する。次いで、ステップ１１０にて、第１演算部１３は、上記検出された装着部Ｔ１の検出位置が、ナビゲートマークＮＭ１の位置と整合しているか否かを判定する。ステップ１１０にて「Ｙｅｓ」と判定されると、ステップ１１１に直ちに進み、第１演算部１３は、所定期間経過後、表示されているナビゲートマークＮＭ１を消去する。

一方、ステップ１１０にて、上記検出された装着部Ｔ１の検出位置が、ナビゲートマークＮＭ１の位置と整合していない場合、ステップ１１０にて「Ｎｏ」と判定されて、ステップ１１２に進む。ステップ１１２にて、第１演算部１３は、警告報知部１５による警告報知を行う。具体的には、警告音ＡＬ１の発出、警告灯ＡＬ２の表示等がなされる（図８を参照）。次いで、ステップ１１１にて、第１演算部１３は、所定期間経過後、表示されているナビゲートマークＮＭ１を消去する。

図１２に示すフローチャートにおける末端の結合子「１」は、図１３に示すフローチャートにおける先端の結合子「１」に接続される。従って、図１２のステップ１１１での処理の後、図１３のステップ１１３に進む。

ステップ１１３にて、第１演算部１３は、上記決定された表示位置及び表示倍率にて、仮想動画データとして、ナビゲートマークＮＭ２を対象実静止画データＲＤに重畳させて第１表示部１２に表示する（図３（ａ）を参照）。次いで、ステップ１１４にて、第１演算部１３は、撮像部１１による作業具二次元バーコードＴＢの撮像に基づいて、装着部Ｔ１の位置を検出する。次いで、ステップ１１５にて、第１演算部１３は、上記検出された装着部Ｔ１の検出位置が、ナビゲートマークＮＭ２の位置と整合しているか否かを判定する。ステップ１１５にて「Ｙｅｓ」と判定されると、ステップ１１６に直ちに進み、第１演算部１３は、所定期間経過後、表示されているナビゲートマークＮＭ２を消去する。

一方、ステップ１１５にて、上記検出された装着部Ｔ１の検出位置が、ナビゲートマークＮＭ２の位置と整合していない場合、ステップ１１５にて「Ｎｏ」と判定されて、ステップ１１７に進む。ステップ１１７にて、第１演算部１３は、警告報知部１５による警告報知を行う。具体的には、警告音ＡＬ１の発出、警告灯ＡＬ２の表示等がなされる（図８を参照）。次いで、ステップ１１６にて、第１演算部１３は、所定期間経過後、表示されているナビゲートマークＮＭ２を消去する。

次に、ステップ１１８にて、第１演算部１３は、上記決定された表示位置及び表示倍率にて、仮想動画データとして、ナビゲートマークＮＭ３を対象実静止画データＲＤに重畳させて第１表示部１２に表示する（図３（ｂ）を参照）。次いで、ステップ１１９にて、第１演算部１３は、撮像部１１による作業具二次元バーコードＴＢの撮像に基づいて、装着部Ｔ１の位置を検出する。次いで、ステップ１２０にて、第１演算部１３は、上記検出された装着部Ｔ１の検出位置が、ナビゲートマークＮＭ３の位置と整合しているか否かを判定する。ステップ１２０にて「Ｙｅｓ」と判定されると、ステップ１２１に直ちに進み、第１演算部１３は、所定期間経過後、表示されているナビゲートマークＮＭ３を消去する。

一方、ステップ１２０にて、上記検出された装着部Ｔ１の検出位置が、ナビゲートマークＮＭ３の位置と整合していない場合、ステップ１２０にて「Ｎｏ」と判定されて、ステップ１２２に進む。ステップ１２２にて、第１演算部１３は、警告報知部１５による警告報知を行う。具体的には、警告音ＡＬ１の発出、警告灯ＡＬ２の表示等がなされる（図８を参照）。次いで、ステップ１２１にて、第１演算部１３は、所定期間経過後、表示されているナビゲートマークＮＭ３を消去する。

図１３に示すフローチャートにおける末端の結合子「２」は、図１４に示すフローチャートにおける先端の結合子「２」に接続される。従って、図１３のステップ１２１での処理の後、図１４のステップ１２３に進む。

ステップ１２３にて、第１演算部１３は、上記決定された表示位置及び表示倍率にて、仮想動画データとして、ナビゲートマークＮＭ４を対象実静止画データＲＤに重畳させて第１表示部１２に表示する（図４（ａ）を参照）。次いで、ステップ１２４にて、第１演算部１３は、撮像部１１による作業具二次元バーコードＴＢの撮像に基づいて、装着部Ｔ１の位置を検出する。次いで、ステップ１２５にて、第１演算部１３は、上記検出された装着部Ｔ１の検出位置が、ナビゲートマークＮＭ４の位置と整合しているか否かを判定する。ステップ１２５にて「Ｙｅｓ」と判定されると、ステップ１２６に直ちに進み、第１演算部１３は、所定期間経過後、表示されているナビゲートマークＮＭ４を消去する。

一方、ステップ１２５にて、上記検出された装着部Ｔ１の検出位置が、ナビゲートマークＮＭ４の位置と整合していない場合、ステップ１２５にて「Ｎｏ」と判定されて、ステップ１２７に進む。ステップ１２７にて、第１演算部１３は、警告報知部１５による警告報知を行う。具体的には、警告音ＡＬ１の発出、警告灯ＡＬ２の表示等がなされる（図８を参照）。次いで、ステップ１２６にて、第１演算部１３は、所定期間経過後、表示されているナビゲートマークＮＭ４を消去する。

次に、ステップ１２８にて、第１演算部１３は、上記決定された表示位置及び表示倍率にて、仮想動画データとして、ナビゲートマークＮＭ５を対象実静止画データＲＤに重畳させて第１表示部１２に表示する（図４（ｂ）を参照）。次いで、ステップ１２９にて、第１演算部１３は、撮像部１１による作業具二次元バーコードＴＢの撮像に基づいて、装着部Ｔ１の位置を検出する。次いで、ステップ１３０にて、第１演算部１３は、上記検出された装着部Ｔ１の検出位置が、ナビゲートマークＮＭ５の位置と整合しているか否かを判定する。ステップ１３０にて「Ｙｅｓ」と判定されると、ステップ１３１に直ちに進み、第１演算部１３は、所定期間経過後、表示されているナビゲートマークＮＭ５を消去する。

一方、ステップ１３０にて、上記検出された装着部Ｔ１の検出位置が、ナビゲートマークＮＭ５の位置と整合していない場合、ステップ１３０にて「Ｎｏ」と判定されて、ステップ１３２に進む。ステップ１３２にて、第１演算部１３は、警告報知部１５による警告報知を行う。具体的には、警告音ＡＬ１の発出、警告灯ＡＬ２の表示等がなされる（図８を参照）。次いで、ステップ１３１にて、第１演算部１３は、所定期間経過後、表示されているナビゲートマークＮＭ５を消去する。そして、締結ナビゲートプログラム１００により、第１記憶部１４の処理が完了し、締結手作業のナビゲートが終了する。

ここにおいて、ステップ１０５～１０７，１０８，１１１，１１３，１１６，１１８，１２１，１２３，１２６，１２８，１３１は、仮想動画データ表示手順に相当する。ステップ１０９，１１４，１１９，１２４，１２９は、位置検知手順に相当する。ステップ１１０，１１５，１２０，１２５，１３０は、位置判定手順に相当する。ステップ１１２，１１７，１２２，１２７，１３２は、警告報知手順に相当する。

＜ナビゲート動画データ生成プログラムの処理＞
端末装置２０に適用されるナビゲート動画データ生成プログラム２００により、第２演算部２３の各処理が実行されることで、上述したように、ナビゲートマークＮＭを含む仮想動画データの生成が達成される。

図１５のフローチャートに示すように、締結手作業のナビゲートを開始する場合、先ず、ステップ２０１にて、第２演算部２３は、基準被作業物ＳＷをカメラにて撮影し、端末装置２０に取り込む。次いで、ステップ２０２にて、第２演算部２３は、上記撮影された基準被作業物ＳＷから、基準実静止画データＳＤを生成する（図１１を参照）。ここにおいて、ステップ２０１，２０２は、基準実静止画データ生成手順に相当する。

次に、ステップ２０３にて、第２演算部２３は、上記生成された基準実静止画データＳＷを第２表示部２１に表示する。次いで、ステップ２０４にて、第２演算部２３は、基準実静止画データＳＷが表示された状態での、管理者による操作部２２を介したナビゲートマークＮＭ１の生成指示を受け付ける。次いで、ステップ２０５にて、第２演算部２３は、上記受け付けた生成指示に応じて、ナビゲートマークＮＭ１を仮想動画データに追加する。

次に、ステップ２０６にて、第２演算部２３は、基準実静止画データＳＷが表示された状態での、管理者による操作部２２を介したナビゲートマークＮＭ２の生成指示を受け付ける。次いで、ステップ２０７にて、第２演算部２３は、上記受け付けた生成指示に応じて、ナビゲートマークＮＭ２を仮想動画データに追加する。

次に、ステップ２０８にて、第２演算部２３は、基準実静止画データＳＷが表示された状態での、管理者による操作部２２を介したナビゲートマークＮＭ３の生成指示を受け付ける。次いで、ステップ２０９にて、第２演算部２３は、上記受け付けた生成指示に応じて、ナビゲートマークＮＭ３を仮想動画データに追加する。

次に、ステップ２１０にて、第２演算部２３は、基準実静止画データＳＷが表示された状態での、管理者による操作部２２を介したナビゲートマークＮＭ４の生成指示を受け付ける。次いで、ステップ２１１にて、第２演算部２３は、上記受け付けた生成指示に応じて、ナビゲートマークＮＭ４を仮想動画データに追加する。

次に、ステップ２１２にて、第２演算部２３は、基準実静止画データＳＷが表示された状態での、管理者による操作部２２を介したナビゲートマークＮＭ５の生成指示を受け付ける。次いで、ステップ２１３にて、第２演算部２３は、上記受け付けた生成指示に応じて、ナビゲートマークＮＭ５を仮想動画データに追加する。

次に、ステップ２１４にて、第２演算部２３は、ナビゲートマークＮＭ１～ＮＭ５を含む仮想動画データを生成する。そして、ナビゲート動画データ生成プログラム２００により、第２演算部２３の処理が完了し、仮想動画データの生成が終了する。

上述したステップ２０４，２０６，２０８，２１０，２１２における生成指示としては、第２表示部２１に表示された基準実静止画データＳＤ中の要締結部位ＢＰ１～ＢＰ５の位置に対応するよう、ナビゲートマークＮＭが生成される。更に、基準実静止画データＳＤ中の要締結部位ＢＰ１，ＢＰ２，ＢＰ３，ＢＰ４，ＢＰ５の順序に対応して、基準実静止画データＳＤ中にてナビゲートマークＮＭ１，ＮＭ２，ＮＭ３，ＮＭ４，ＮＭ５がこの順に移動し逐次表示されるよう生成指示される（図１を参照）。従って、ステップ２１４にて生成される仮想動画データは、締結ナビゲート装置１０にて対象実静止画データＲＤに対し重畳表示されるナビゲートマークＮＭの表示位置が、要締結箇所ＢＰ１～ＢＰ５に対応して移動していく動画となる。

ここにおいて、ステップ２０４，２０６，２０８，２１０，２１２は、指示受付手順に相当する。ステップ２０５，２０７，２０９，２１１，２１３，２１４は、仮想動画データ生成手順に相当する。

＜実施形態の効果＞
以上説明したように、本発明の実施形態に係る締結ナビゲートプログラム１００によれば、作業員ＷＲが対象被作業物Ｗの複数の要締結箇所ＢＰ１～ＢＰ５に対し、１箇所ずつ締結作業具Ｔを用いて締結手作業を順次行う際に、目の前の作業台ＷＴに置かれた対象被作業物Ｗを撮像した対象実静止画データＲＤが、第１表示部１２に表示されるとともに、当該対象実静止画データＲＤ上に、ナビゲートマークＮＭ１～ＮＭ５を含む仮想動画データが重畳表示される。これによって、上記締結手作業時において上記複数の要締結箇所ＢＰ１～ＢＰ５に対して実行すべき、手作業順序及び手作業位置が動的にナビゲートされる。

このとき、仮想動画データは、複数の要締結箇所ＢＰ１～ＢＰ５を備えた基準被作業物ＳＷ（本実施形態においては、対象被作業物Ｗと同一種類・同一大きさ・同一形状のもの）を予め撮影した基準実静止画データＳＤの表示状態に対し、重畳させて表示させることによって生成されている。そして、基準被作業物ＳＷには、既知の基準距離ＳＬだけ離間した複数の基準二次元バーコードＳＢが設けられている。すなわち、仮想動画データには、互いに既知の距離だけ離間した基準二次元バーコードＳＢを位置決め基準としつつ、複数の要締結箇所ＢＰ１～ＢＰ５を指し示すように、データ中の位置が設定されているナビゲートマークＮＭ１～ＮＭ５が予め含まれている。

一方、前述の作業員ＷＲによる実際の締結作業実行時において、対象被作業物Ｗにも複数の対象二次元バーコードＢが設けられており、これによって対象実静止画データＲＤ中に互いに離間した対象二次元バーコードＢが含まれる。この結果、対象実静止画データＲＤ中におけるそれら複数の対象二次元バーコードＢの離間距離ＲＬ１と、上記仮想動画データ中に含まれる基準二次元バーコードＳＢの離間距離ＳＬ１との長さ比率に応じて、当該対象実静止画データＲＤに合わせて仮想動画データ中のナビゲートマークＮＭを、位置決めすることができる。この結果、対象実静止画データＲＤに動画として重畳表示されるナビゲートマークＮＭの位置を、対象実静止画データＲＤ中の対象被作業物Ｗの複数の要締結箇所ＢＰの位置を指し示すように、精度よく合致させることができる。

以上のようにして、本実施形態によれば、正確に位置決めされた仮想動画中のマーク（ナビゲートマークＮＭ１～ＮＭ５）にて、動的に締結位置及び締結順序の表示を行うことができるので、作業者ＷＲに対し分かりやすくナビゲートを行うことができ、作業者ＷＲは、間違いのない締結作業を行うことができる。

また、本発明の実施形態に係るナビゲート動画データ生成プログラム２００によれば、端末装置２０にて、ナビゲートマークＮＭの生成指示を受け付けて、予め撮影した基準実静止画データＳＤの表示状態に対して重畳させるように、仮想動画データが生成される。従って、端末装置２０にて、例えば、基準実静止画データＳＤ中の要締結部位ＢＰ１～ＢＰ５の位置に対応するよう、ナビゲートマークＮＭを容易に生成でき、更に、基準実静止画データＳＤ中の要締結部位ＢＰ１，ＢＰ２，ＢＰ３，ＢＰ４，ＢＰ５の順序に対応して、基準実静止画データＳＤ中にてナビゲートマークＮＭ１，ＮＭ２，ＮＭ３，ＮＭ４，ＮＭ５がこの順に移動し逐次表示される動画を、容易に生成できる。また、作業者ＷＲとは別の管理者等により、締結手作業とは別に、予め仮想動画データを生成しておくことができる。このため、例えば、予め生成しておいた仮想動画データを、多数の締結ナビゲート装置１０に効率良く展開できる。

また、本実施形態の締結ナビゲートプログラム１００では、特に、上記のように、作業員ＷＲが、仮想動画中のナビゲートマークＮＭにしたがって、対象被作業物Ｗの複数の要締結箇所ＢＰでの締結手作業を行う時、位置検知手順で締結作業具Ｔの位置が検知される。そして、その後の位置判定手順で、その検知された締結作業具Ｔの位置が、ナビゲートマークＮＭの位置と整合するか否かが判定される。これにより、作業員ＷＲが移動させた締結作業具Ｔの位置が、不適正であった場合には、任意の手段によりそれを是正する、又は是正するように作業員ＷＲを促すことができる。

また、本実施形態の締結ナビゲートプログラム１００では、特に、位置判定手順において締結作業具Ｔの位置が、ナビゲートマークＮＭの位置と整合しないと判定された場合に、対応する警告報知として警告音ＡＬ１の発出、又は、警告灯ＡＬ２の表示を実行する警告報知手順が実行される。これにより、作業員ＷＲが、誤って次の順番の要締結箇所ＢＰではない要締結箇所ＢＰのほうに締結作業具Ｔを移動させたり、要締結箇所ＢＰから大きく外れた位置に、締結作業具Ｔを移動させた場合は、警告報知手順で所定の警告報知を行い、誤っている旨を作業員ＷＲに認知させることができる。

また、本実施形態の締結ナビゲートプログラム１００では、特に、締結作業具Ｔに作業具二次元バーコードＴＢが設けられ、作業具二次元バーコードＴＢに基づいて締結作業具Ｔの位置検知が行われる。このため、上記位置検知手順での締結作業具Ｔの位置検知を、比較的簡素な処理で迅速に行うことができる。

その際、締結作業具Ｔのうち、ボルトやナットが装着される装着部Ｔ１や、作業員ＷＲが把持する把持部Ｔ２に作業具二次元バーコードＴＢを設けると、ボルト等の脱着操作時の摩擦や、作業員ＷＲの手による摩擦等で、当該作業具二次元バーコーＴＢが汚れたり摩耗する恐れがある。これを回避するためには、それら装着部Ｔ１、把持部Ｔ２以外の部位に作業具二次元バーコードを設ける必要があるが、複数の作業具二次元バーコードＴＢを締結作業具Ｔの既知の位置に設けることで、装着部Ｔ１を、それら複数の作業具二次元バーコードＴＢを基準として位置決めすることができる。すなわち、上記作業員ＷＲの締結手作業時に、位置検知手順において複数の作業具二次元バーコードＴＢの位置を検出することで、締結作業具Ｔの装着部Ｔ１の位置、言い換えれば作業員ＷＲがボルトやナットを締結しようとしている位置を検知することができる。この結果、前述の位置判定手順における上記判定や、その判定結果に基づく警告報知手順の警告報知を、精度よく行うことができる。
なお、締結作業具Ｔが例えばドライバのようなものである場合は、作業員ＷＲが把持する把持部（図示省略）の端部に１枚の作業具二次元バーコードＴＢのみを設けることで、直接的に位置を検知するようにしてもよい。

＜変形例＞
上述した実施形態においては、締結ナビゲートプログラム１００により締結ナビゲート装置１０の第１演算部１３が、締結手作業のナビゲート処理を実行し、ナビゲート動画データ生成プログラム２００により端末装置２０の第２演算部２３が、仮想動画データの生成処理を実行するようになっている。これに代えて、例えば、締結作業支援プログラムにより、第１演算部１３及び第２演算部２３が、締結手作業のナビゲート処理及び仮想動画データの生成処理を、それぞれ実行するようにしてもよい。この場合、上記締結作業支援プログラムは、締結ナビゲート装置１０、及び、端末装置２０を有する締結作業支援システムに適用され、第１演算部１３及び第２演算部２３に対し、複数の要締結箇所ＢＰを備え既知の基準距離だけ離間させて複数の基準二次元バーコードＳＢが設けられた基準被作業物ＳＷを撮影し、対応する基準実静止画データＳＤを生成する基準実静止画データ生成手順と、基準実静止画データＳＤを表示させた状態で、その表示した基準実静止画データＳＤに対して重畳させて表示させるための、複数の要締結箇所ＢＰに対し１箇所ずつ締結作業具Ｔを用いて締結手作業を順次行う際の手作業順序及び手作業位置をナビゲートするナビゲートマークＮＭの生成指示を、操作部２２を介して受け付ける指示受付手順と、指示受付手順でナビゲートマークＮＭの生成指示を受け付けた場合に、作業者ＷＲによる対象被作業物Ｗに対する締結作業具Ｔを用いた締結手作業をナビゲートするナビゲートマークＮＭを含む仮想動画データを生成する仮想動画データ生成手順と、複数の対象二次元バーコードＢが設けられ作業台ＷＴに配置された対象被作業物Ｗを撮像部１１により撮像し、対応する対象実静止画データＲＤを生成する対象実静止画データ生成手順と、生成された対象実静止画データＲＤを表示する対象実静止画データ表示手順と、仮想動画データを、対象実静止画データ表示手順で表示された当該対象実静止画データＲＤに対し重畳させつつ、対象実静止画データＲＤ中の複数の対象二次元バーコードＢを位置決め基準とした表示位置、及び、当該対象実静止画データＲＢ中の複数の対象二次元バーコードＢ間の実離間距離を拡縮基準とした表示倍率によって表示する仮想動画データ表示手順と、を分担して実行させる。

また、上記実施形態においては、対象二次元バーコードＢ（例えば、ＱＲコード（登録商標））は、位置決め基準として機能し、且つ、対象二次元バーコードＢ間の実離間距離ＲＬ１は、拡縮基準として機能するようになっている。当該実離間距離ＲＬ１と、仮想動画データの生成時における基準二次元バーコードＳＢ（例えば、ＱＲコード（登録商標））間の距離ＳＬ１との比に基づいて、対象実静止画データＲＤ中にナビゲートマークＮＭが表示されるため、基準被作業物ＳＷをカメラで撮像する際の倍率、及び、対象被作業物Ｗを撮像部１１で撮像する際の倍率がそれぞれ異なっている場合（即ち、各カメラの性能がそれぞれ異なる場合等）であっても、ナビゲートマークＮＭの位置を、対象実静止画データＲＤ中の要締結部位ＢＰに精度良く一致させることができる。

また、対象被作業物Ｗの対象二次元バーコードＢ、基準被作業物ＳＷの基準二次元バーコードＳＢには、所定の情報を格納させてもよい。これにより、例えば、対象二次元バーコードＢと、基準二次元バーコードＳＢとが同一のものであるか否かを確認することで、締結手作業をナビゲートする際に用いられる仮想動画データが、適切なものであるか否かを確認できる。また、締結作業具Ｔの作業具二次元バーコードＴＢ（例えば、ＱＲコード（登録商標））にも、所定の情報を格納させてもよい。具体的には、例えば、装着部Ｔ１側の作業具二次元バーコードＴＢに、当該作業具二次元バーコードＴＢから装着部Ｔ１中心位置までの距離情報を格納してもよいし、２つの作業具二次元バーコードＴＢ間の距離に対応する情報（例えば、２つの作業具二次元バーコードＴＢ間の距離をｎ倍した数等）を格納してもよい。これによっても、装着部Ｔ１の位置を精度良く検出できる。

なお、以上の説明において、外観上の寸法や大きさが「同一」「等しい」「異なる」等の記載がある場合は、当該記載は厳密な意味ではない。すなわち、それら「同一」「等しい」「異なる」とは、設計上、製造上の公差、誤差が許容され、「実質的に同一」「実質的に等しい」「実質的に異なる」という意味である。

また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。

その他、一々例示はしないが、本発明は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。

１０締結ナビゲート装置
１１撮像部
１２第１表示部
１３第１演算部
１５警告報知部
２０端末装置
２１第２表示部
２２操作部
２３第２演算部
１００締結ナビゲートプログラム
１０２ステップ（対象実静止画データ生成手順）
１０３ステップ（対象実静止画データ生成手順）
１０４ステップ（対象実静止画データ表示手順）
１０５ステップ（仮想動画データ表示手順）
１０６ステップ（仮想動画データ表示手順）
１０７ステップ（仮想動画データ表示手順）
１０８ステップ（仮想動画データ表示手順）
１０９ステップ（位置検知手順）
１１０ステップ（位置判定手順）
１１１ステップ（仮想動画データ表示手順）
１１２ステップ（警告報知手順）
１１３ステップ（仮想動画データ表示手順）
１１４ステップ（位置検知手順）
１１５ステップ（位置判定手順）
１１６ステップ（仮想動画データ表示手順）
１１７ステップ（警告報知手順）
１１８ステップ（仮想動画データ表示手順）
１１９ステップ（位置検知手順）
１２０ステップ（位置判定手順）
１２１ステップ（仮想動画データ表示手順）
１２２ステップ（警告報知手順）
１２３ステップ（仮想動画データ表示手順）
１２４ステップ（位置検知手順）
１２５ステップ（位置判定手順）
１２６ステップ（仮想動画データ表示手順）
１２７ステップ（警告報知手順）
１２８ステップ（仮想動画データ表示手順）
１２９ステップ（位置検知手順）
１３０ステップ（位置判定手順）
１３１ステップ（仮想動画データ表示手順）
１３２ステップ（警告報知手順）
２００ナビゲート動画データ生成プログラム
２０４ステップ（指示受付手順）
２０５ステップ（仮想動画データ生成手順）
２０６ステップ（指示受付手順）
２０７ステップ（仮想動画データ生成手順）
２０８ステップ（指示受付手順）
２０９ステップ（仮想動画データ生成手順）
２１０ステップ（指示受付手順）
２１１ステップ（仮想動画データ生成手順）
２１２ステップ（指示受付手順）
２１３ステップ（仮想動画データ生成手順）
２１４ステップ（仮想動画データ生成手順）
ＡＬ１警告音
ＡＬ２警告灯
Ｂ対象二次元バーコード
ＢＰ要締結箇所
ＮＭナビゲートマーク
ＲＤ対象実静止画データ
ＲＬ１実離間距離
ＳＢ基準二次元バーコード
ＳＬ基準距離
ＳＬ１距離
ＳＤ基準実静止画データ
ＳＷ基準被作業物
Ｔ締結作業具
Ｔ１装着部
ＴＢ作業具二次元バーコード
Ｗ対象被作業物
ＷＲ作業者
ＷＴ作業台

Claims

締結作業支援システムが有する、撮像部と第１表示部とを備えた締結ナビゲート装置、及び、操作部と第２表示部とを備えた端末装置、がそれぞれ備える演算部において実行され、作業台に配置される対象被作業物を作業対象として締結手作業を行う作業者を所定のナビゲートマークを含む仮想動画データを用いてナビゲートするための、締結作業支援プログラムであって、
前記端末装置の前記第２表示部が、前記仮想動画データを、複数の要締結箇所を備えかつ前記対象被作業物と同一種類・同一大きさ・同一形状でありかつ既知の基準距離だけ離間させた位置決め用の複数の基準二次元バーコードを設けた基準被作業物を前記作業者による前記締結手作業の前に予め撮影した基準実静止画データの表示状態に対し、重畳させて表示する、前記締結作業支援システムの前記締結ナビゲート装置及び前記端末装置がそれぞれ備える前記演算部に対し、
前記基準被作業物を撮影し、対応する前記基準実静止画データを生成する基準実静止画データ生成手順と、
前記基準実静止画データを前記端末装置の前記第２表示部に表示させた状態で、その表示した基準実静止画データに対して重畳させて当該第２表示部に表示させるための、前記複数の要締結箇所に対し１箇所ずつ締結作業具を用いて前記締結手作業を順次行う際の手作業順序及び手作業位置をナビゲートする前記ナビゲートマークの生成指示を、前記操作部を介して受け付ける指示受付手順と、
前記指示受付手順で前記ナビゲートマークの生成指示を受け付けた場合に、前記作業者による前記対象被作業物に対する前記締結作業具を用いた前記締結手作業をナビゲートする、前記ナビゲートマークを含む前記仮想動画データを生成する仮想動画データ生成手順と、
前記複数の基準二次元バーコードに基づく前記ナビゲートマークの位置決め基準を与えるための複数の対象二次元バーコードが設けられかつ前記作業台に配置された前記対象被作業物を前記締結ナビゲート装置の前記撮像部により撮像し、対応する対象実静止画データを生成する、対象実静止画データ生成手順と、
生成された前記対象実静止画データを前記締結ナビゲート装置の前記第１表示部に表示する、対象実静止画データ表示手順と、
前記作業者が前記複数の要締結箇所に対し１箇所ずつ締結作業具を用いて前記締結手作業を順次行う際の手作業順序及び手作業位置をナビゲートする前記ナビゲートマークを含む、仮想動画データ生成手順で生成された前記仮想動画データを、前記対象実静止画データ表示手順で表示された当該対象実静止画データに対し重畳させつつ、前記対象実静止画データ中の前記複数の対象二次元バーコードを位置決め基準とした表示位置、及び、当該対象実静止画データ中の前記複数の対象二次元バーコード間の実離間距離を拡縮基準とした表示倍率、によって前記締結ナビゲート装置の前記第１表示部に表示し、前記作業者による前記対象被作業物に対する前記締結作業具を用いた前記締結手作業をナビゲートする仮想動画データ表示手順と、
を分担して実行させることを特徴とする、締結作業支援プログラム。
請求項１記載の締結作業支援プログラムにおいて、
前記締結ナビゲート装置の前記演算部に対し、さらに、
前記撮像部による撮像結果に基づき、前記対象被作業物に対する前記締結手作業の実行時の前記締結作業具の位置を検知する位置検知手順と、
前記位置検知手順で検知されている前記締結作業具の位置が、前記仮想動画データ表示手順で表示されている前記仮想動画データ中の前記ナビゲートマークの位置と整合するか否かを判定する位置判定手順と、
を実行させることを特徴とする締結作業支援プログラム。
請求項２記載の締結作業支援プログラムにおいて、
前記締結ナビゲート装置の前記演算部に対し、さらに、
前記位置判定手順において前記締結作業具の位置が前記仮想動画データ中の前記ナビゲートマークの位置と整合しないと判定された場合に、対応する警告報知を実行する警告報知手順
を実行させることを特徴とする締結作業支援プログラム。
請求項２又は請求項３記載の締結作業支援プログラムにおいて、
前記位置検知手順では、
予め前記締結作業具に設けられた複数の作業具二次元バーコードを位置決め基準とした検出結果に基づき、当該締結作業具のうち、前記対象被作業物の要締結箇所に締結されるボルト又はナットが装着される装着部の位置を検知する
ことを特徴とする締結作業支援プログラム。