以下、本発明の実施の形態を、図面を参照して具体的に説明する。なお、本実施形態では、ネジの締付工程を例として説明する。
図1および図2は、本発明に係る作業工程管理システムの第1実施形態を説明するための図である。図1は、作業工程管理システム1を用いて作業者PがワークWの複数の作業位置でネジ締め作業を行っている状態を示しており、図2は、作業工程管理システム1のブロック図を示している。この作業工程管理システム1は、ワークWの各作業位置で確実にネジ締め作業が行われたか否かと、当該ネジ締め作業が適切に行われたか否かを確認するシステムである。作業工程管理システム1は、工具2、撮像カメラ3、および作業管理装置4を備えている。
工具2は、ネジの締付作業を行うための電動式のトルクドライバであり、制御ケーブル5により作業管理装置4と接続されている。トルクドライバにはトルクリミッタが内蔵され、トルクドライバに所定のトルクの負荷が掛かると、それを検出した信号が制御ケーブル5を介して作業管理装置4に出力される。トルクドライバのトルクリミット値は、ネジ締めが正常に行なわれたときのドライバのトルク値に設定されている。従って、作業者Pが工具2で締付作業を行い、所定の方向にトルクリミット値のトルクが掛かったとき、工具2からその検出信号が、ネジ締め作業の完了信号として、作業管理装置4に入力される。以下、工具2から出力される検出信号を「作業完了信号」という。
工具2は、作業者が回転開始スイッチを押すと、ドライバの回転を開始するが、その回転開始からトルクがトルクリミット値に達するまでの時間を計時するタイマと、そのタイマで計時される計時時間が所定の時間より短い場合は、適切にネジの締め付けができていないと判定する判定回路を備えている。工具2は、判定回路で適切にネジの締め付けができていないと判定されると、作業完了信号に代えてエラー信号を作業管理装置4に入力する。
なお、工具2と作業管理装置4との接続は、作業の妨げとならないように、無線による接続としてもよい。また、適切にネジの締め付けができたか否かを作業管理装置4で判定するようにしてもよい。この場合は、作業管理装置4にタイマと判定回路を設け、工具2から回転開始スイッチが押された信号を作業管理装置4に入力し、当該作業管理装置4でその信号の入力から作業完了信号が入力されるまでの時間を計時し、その計時時間に基づいて適切にネジの締め付けができたか否かを判定するようにすればよい。また、本実施形態では、工具2を電動式のトルクドライバとしているが、手動式のトルクドライバとしてもよい。この場合は、作業者Pにスイッチなどを操作させて回転開始信号に相当する信号を生成し、作業管理装置4に入力させる必要がある。
撮像カメラ3は、作業者PがワークWに対して作業をした作業位置を撮像するためのものであり、制御ケーブル6により作業管理装置4と接続されている。撮像カメラ3は作業者Pの特定の部位に固定されている。撮像カメラ3の作業者Pでの固定位置は、各作業位置で作業者Pがネジの締付作業を完了したときに撮像カメラ3の光軸方向L1が略作業位置の方向となる位置である。通常、作業者Pはネジの締付作業をするとき、ネジの締付位置(作業位置)を凝視しているから、作業位置に対する作業者Pの頭部の姿勢(特に、作業位置に対する作業者Pの目の周辺部位の位置関係)は安定していると考えられる。本実施形態では、図1に示すように、作業者Pの目の上方位置に撮像カメラ3を固定し、その光軸方向L1が作業者の視線方向L2とほぼ同じになるようにしている。これにより、作業者Pは、作業完了時に撮像カメラ3に作業位置を撮像させることを意識することなく、ネジの締付作業に集中することができる。
撮像カメラ3は、例えば、ヘッドランプのようにゴムバンドなどで固定されている。撮像カメラ3の作業者Pへの固定方法は、これに限定されるものではなく、撮像カメラ3が取り付けられたヘルメットを作業者Pに被らせるようにしてもよい。また、撮像カメラ3の固定位置は、目の上方位置に限定されるものではない。例えば、目の外側位置であってもよい。この場合は、例えば、撮像カメラ3が取り付けられた作業用のメガネやゴーグルを作業者Pに装着させるようにするとよい。なお、撮像カメラ3を作業者Pに取り付けるとき、作業者PにワークWに対して作業姿勢を取らせ、その姿勢での撮像カメラ3の撮像画像を確認しながら、撮像カメラ3の固定位置を調整させるようにするとよい。
撮像カメラ3は、例えば、CCD(charge-coupled Device)の撮像素子を備え、電子シャッタによって撮像(露出)の制御が行われる。撮像カメラ3にはオートフォーカス機能とオート露出機能とが設けられ、撮像直前に画面内の略中央で自動的に露出と焦点の調整が行われる。CCDは、モノクロとカラーのいずれでもよい。モノクロCCDは低価格という利点があるが、カラーCCDは、撮像画像を用いた作業位置の特定処理において、作業位置の形状だけでなく色成分を用いることができる利点がある。なお、図1には示していないが、撮像カメラ3に照明装置を設け、その照明装置で作業位置を一定の明るさに照明するとよい。
作業者Pは作業位置を視認しながら作業を行うので、作業者Pに撮像カメラ3による作業位置の撮像を意識させることなく、作業完了時に撮像カメラ3により適切にワークW上の作業位置を撮像することができる。例えば、図3(a)に示すワークWに4つのネジN1〜N4の締付作業をする場合、作業者Pは作業を行う各ネジを視認しながら作業する。従って、ネジN1の締付作業を行ったときは同図(b)の画像が撮像され、ネジN2の締付作業を行ったときは同図(c)の画像が撮像され、ネジN3の締付作業を行ったときは同図(d)の画像が撮像され、ネジN4の締付作業を行ったときは同図(e)の画像が撮像される。なお、撮像カメラ3は、作業者Pの作業の邪魔にならず、作業完了時に作業位置を確実に撮像できればよいので、例えば、作業者Pの工具2を持つ腕に撮像カメラ3を装着してもよい。あるいは、工具2に取り付ける方法も考えられる。
撮像カメラ3の撮像動作は作業管理装置4によって制御され、撮像カメラ3は、作業管理装置4から撮像指示信号が入力されると、撮像動作を行い、その撮像画像の画像データ(以下、「撮像画像データ」という。)を作業管理装置4に転送する。なお、撮像カメラ3と作業管理装置4との接続は、作業の妨げとならないように、無線による接続としてもよい。
作業管理装置4は、工具2から作業完了信号が入力されると、撮像カメラ3に撮像指示信号を出力し、撮像動作を行わせる。このとき、作業者PはワークWの作業位置を見ており、撮像カメラ3の画面も作業者Pが見ている像とほぼ同じになるので、撮像カメラ3によりその作業位置が撮像される。作業管理装置4は、作業完了信号が入力されることによりネジの締付作業が適切に行われたことを認識し、そのときの撮像カメラ3の撮像画像に基づいて作業位置を特定する。作業管理装置4は、ワークW内の作業位置でのネジ締付作業が全て適切に行われた場合、そのワークWのネジ締付作業工程が完了したと判断し、その判断結果を表示部45(図2参照)に表示して作業者に知らせる。
作業管理装置4は、図2に示すように、制御部41、作業管理部42、マスタ画像記憶部43、特定処理部44、表示部45、および操作部46を備えている。
制御部41は、作業工程管理システム1の動作を統括的に制御するものである。制御部41は、工具2から作業完了信号が入力されると、それに応答して撮像カメラ3に撮像指示信号を出力する。撮像カメラ3からはその撮像指示信号によって撮像された画像のデータ(撮像画像データ)が制御ケーブル6を介して作業管理装置4に転送されるが、その撮像画像データは特定処理部44内のメモリに保存される。制御部41は、特定処理部44に処理開始の指示信号を出力し、特定処理部44に、後述する撮像画像を用いた作業位置の特定処理を行なわせる。
なお、本実施形態では、特定処理部44により作業位置の特定ができなかった場合は、作業者Pにその旨を報知して、作業者Pにネジの締付作業のやり直しを促す構成としている。そして、作業者Pがネジの締付作業をやり直した場合は、特定処理部44による作業位置の特定処理は行なわず、作業者Pに作業完了の情報を入力させるようにしている。これは、作業者Pに作業をやり直させた場合、作業者Pは作業完了時にその作業が指定されたとおりになっていることを確認すると考えられ、特定処理部44により作業位置の特定処理を行なわせるまでもなく、作業者Pから作業完了の情報を入力させれば足りるとの考えに基づくものである。また、この方法を採用することにより、制御部41に対して迅速に作業完了の情報を入力でき、処理の長時間化を回避できる、特定処理部44で再度、作業位置が特定できなかった場合に作業者Pの判断と特定処理部44の処理結果の矛盾により作業工程が停滞するという不都合を回避できる、などという効果もある。
また、制御部41は、特定処理部44から入力される処理結果の信号やユーザの操作によって操作部46から入力される操作信号(作業完了の情報)に基づいて、作業管理部42における作業工程の管理を制御する。具体的には、作業管理部42は、作業工程の各作業位置のネジ締付作業が正常に完了したか否かをフラグによって管理しており、制御部41は、作業管理部42に対してそのフラグ(以下、「作業完了フラグ」という。)の設定を指示する。
また、制御部41は、表示部45に作業状況や作業者Pに対するメッセージを表示させる。作業状況やメッセージの表示とは、例えば、工具2からのエラー信号や特定処理部44からのエラー信号に基づくエラー表示や作業者Pの作業のやり直しを促す表示や作業工程の完了を示す表示である。
作業管理部42は、作業工程の各作業の状況を管理するものである。作業工程において作業を行なう必要がある作業位置には作業位置番号が付されている。作業管理部42には作業位置番号ごとに上述の作業完了フラグが設けられている。作業完了フラグが「オン」(2値データでは、例えば、「1」)のとき、作業位置の作業は完了していることを示し、作業完了フラグが「オフ」(2値データでは、例えば、「0」)のとき、作業位置の作業は未完了であることを示す。制御部41は、作業工程の開始時に作業管理部42の全作業完了フラグを「オフ」に設定し、作業を完了した作業位置番号が特定処理部44または操作部46から入力された場合、その作業位置番号の作業完了フラグを「オン」に切り替える指令信号を作業管理部42に出力する。作業管理部42は、この指令信号により指定された作業位置番号の作業完了フラグを「オン」に切り替える。
マスタ画像記憶部43は、特定処理部44で、作業位置を特定するために撮像画像データと比較されるマスタ画像データを記憶しておくものである。マスタ画像データは、予め作業者PにワークWでの作業工程の作業を行なわせ、そのワークWの各作業位置を撮像カメラ3で撮像した画像(マスタ画像)のデータであり、作業位置番号と関連付けて記憶されている。例えば図3の例では、作業者PにワークWに対してネジN1〜N4の締付作業を行なわせ、各作業位置で取得される同図(b),(c),(d),(e)の画像データがマスタ画像データとして記憶される。
本発明の考え方は、作業者PがワークWの各作業位置で作業が完了する毎に、その作業位置を所定の位置から撮像カメラ3により撮像し、その撮像画像を予め所定の位置から作業位置を撮像したマスタ画像との画像マッチングによる同定を行い、同定できたマスタ画像の作業位置番号から当該作業位置を特定するというものである。本発明では、作業者Pが作業中に見ている作業位置と略同じような画像を得るために、撮像カメラ3を作業者Pの目の近傍位置に取り付けているので、撮像画像と画像マッチングを行うためのマスタ画像も撮像画像と同様の方法で取得する必要がある。このため、作業者Pが実際に作業工程を行う前に、同一の作業工程を行なわせてワークWの各作業位置の作業完了時における撮像画像データを取得し、その撮像画像データをマスタ画像データとするようにしている。以下、マスタ画像データを作成する作業をマスタリング作業という。
なお、各作業位置における撮像画像とマスタ画像の撮像位置が同一であれば、同一の作業位置における撮像画像とマスタ画像の絵柄は同一となるが、撮像カメラ3は作業者Pに取り付けられているため、繰り返されるワークWの作業工程において、作業者Pが各作業位置で作業完了時に同一の体勢を取ることはできないので、各作業位置における撮像位置が変化して撮像画像とマスタ画像に絵柄のずれが生じる。そこで、本実施形態では、画像マッチングにおいて、撮像画像に拡大/縮小、回転、平行移動などの処理を施してマスタ画像との画像マッチングによる同定の精度を高めるようにしている。
上記の考え方によれば、マスタリング作業における作業者と実際に作業工程を行う作業者は同一であることが基本であるが、本実施形態では、実際の撮像画像とマスタ画像にずれが生じることは不可避であるので、必ずしも両作業者を同一にしなくてもよい。その場合は、マスタリング作業における作業者として実際に作業工程を行う作業者と可及的に体型が似ている作業者を選ぶとよい。また、両作業者の相違に基づく実際の撮像画像とマスタ画像のずれに一定の規則性がある場合は、マスタ画像データにそのずれ分を補正する処理を施すようにするとよい。
特定処理部44は、撮像カメラ3の撮像により得られた撮像画像データとマスタ画像記憶部43に記憶されている各マスタ画像データとを照合し、画像マッチングにより撮像画像データがどの作業位置を撮像したものであるかを特定するものである。以下、この撮像画像データとマスタ画像データを照合し、画像マッチングにより作業位置を特定する処理を「特定処理」という。特定処理部44は、撮像画像データがどの作業位置を撮像したものであるかを特定できた場合、当該作業位置の作業位置番号を制御部41に出力し、特定できなかった場合、作業位置番号に代えてエラー信号を出力する。
特定処理部44は、特定処理において、最初の作業位置の撮像画像データについては、全てのマスタ画像データと照合するが、後の作業位置の撮像画像データについては、既に特定できた作業位置に対応するマスタ画像データと照合する必要はないので、特定できていない作業位置に対応するマスタ画像データとだけ照合する。すなわち、作業管理部42において作業完了フラグが「オフ」となっている作業位置番号に対応する作業位置のマスタ画像データとだけ照合を行う。これにより、特定処理にかかる時間を短縮することができる。特定処理部44が行なう特定処理についての詳細は後述する。
表示部45は、作業状況や作業者Pに対するメッセージを表示するものであり、制御部41によって制御される。制御部41は、作業管理部42の作業完了フラグの状態に応じて、作業工程の各作業の状況を表示部45に表示させる。表示部45は、各作業位置番号について、「作業完了」あるいは「作業未完了」の表示を、作業状況として表示する。また、制御部41は、工具2からエラー信号が入力された場合、作業が不適切である旨のメッセージを表示部45に表示させて作業者Pに当該作業のやり直しを促し、特定処理部44からエラー信号が入力された場合、作業位置が特定できなかった旨のメッセージを表示部45に表示させて作業者Pに作業位置の確認を行って操作部46からその作業位置を入力するように促す。また、制御部41は、作業管理部42の作業完了フラグが全て「オン」になった場合、作業工程が全て完了した旨のメッセージを表示部45に表示させて作業者PにワークWを次の工程に進めるように促す。なお、表示部45に表示されるメッセージに作業者Pが気付くように、音声報知部を設けて音声により報知するようにしてもよい。
操作部46は、作業者Pが作業管理装置4を操作するためのものである。操作部46には、作業工程の開始時に押圧されるためのスタートボタンと、特定処理部44が作業位置を特定できなかった場合に作業者Pが作業位置番号を入力するためのテンキーなどが設けられている。
次に、作業工程管理システム1における処理手順を、図4に示すフローチャートを参照して説明する。
図4は、制御部41が行う作業位置特定処理を説明するためのフローチャートである。当該処理は、作業者Pが操作部46のスタートキーを押圧することにより、操作信号が制御部41に入力されることで開始される。
まず、作業管理部42に設定されている作業完了フラグがすべて「オフ」に初期化される(S1)。表示部45には、すべての作業位置番号についての作業状況が「作業未完了」として表示される。
作業者Pは、工具2を用いて、ワークWの決められた作業位置のネジ締付作業を行う。作業者Pがある作業位置のネジ締付作業を適切に完了した場合、工具2から制御部41に作業完了信号が入力される。しかし、ネジ締付作業が適切に行われなかった場合(例えば、ネジが傾いたまま締められた場合など)、工具2から制御部41にエラー信号が入力される。
制御部41は、エラー信号が入力されたか否かを判別する(S2)。エラー信号が入力された場合(S2:YES)、表示部45にネジ締付作業が不適切である旨のメッセージを表示させ(S3)、ステップS2に戻る。作業者Pは、このメッセージを見て、今行ったネジ締付作業を見直して再度、ネジ締付作業を行う。従って、作業者Pはネジ締付作業が不適切である場合は、表示部45にその旨のメッセージが表示されるので、表示部45にその旨のメッセージが表示されなくなるまで、ネジ締付作業を繰り返すことになる。
エラー信号が入力されなかった場合(S2:NO)、制御部41は、作業完了信号が入力されたか否かを判別する(S4)。作業完了信号が入力された場合(S4:YES)、撮像カメラ3に撮像指示信号を送信する(S5)。作業完了信号が入力されなかった場合(S4:NO)、ステップS2に戻る。すなわち、制御部41は、ステップS2〜S4を繰り返して、作業完了信号が入力されるのを待つ。
撮像カメラ3は、撮像指示信号が入力されると、撮像動作を行い、その撮像動作で得られた撮像画像データを特定処理部44に転送する。制御部41は、特定処理部44に特定処理を行わせる(S6)。特定処理の詳細は後述する。特定処理部44は、特定処理を行い、作業位置を特定できた場合は作業位置番号を制御部41に出力し、作業位置を特定できなかった場合はエラー信号を制御部41に出力する。
制御部41は、特定処理部44からエラー信号が入力されたか否かを判別する(S7)。エラー信号が入力された場合(S7:YES)、表示部45に作業位置を特定できなかった旨のメッセージを表示させる(S8)。作業者Pは、このメッセージを見て、作業位置を確認した後、現在作業を行った作業位置の番号を操作部46から入力する。
なお、本実施形態では、撮像画像データを作業位置が特定されていない全てのマスタ画像データと照合して作業位置を特定するようにしているので、作業者Pが予め決められた作業位置の作業順に作業をしなかった場合でもその作業位置を特定処理で特定できるようになっている。従って、作業位置を特定できなかった場合、特定処理を繰り返す方法も考えられるが、そうすると、その繰返し処理のために作業時間が長くなるので、作業者Pから作業位置の番号を入力させることで、作業工程の遅延化を防止している。また、作業工程管理システム1は、作業者Pのうっかりミスを検知し、作業者Pに作業の適否を確認させてワークWを次の工程に進ませることを主目的とするから、ステップS8のエラー表示後は作業者Pは作業の適否を確認すると考えられるので、敢えて特定処理を繰り返す必要性は少ないとも言える。
制御部41は、操作部46からの作業位置の番号の入力を待つ(S9)。作業位置の番号が入力されると(S9:YES)、作業管理部42に当該作業位置番号の作業完了フラグを「オン」に切り替えさせる(S11)。表示部45には、当該作業位置番号についての作業状況が「作業完了」として表示される。
ステップS7でエラー信号が入力されなかった場合(S7:NO)、特定処理部44から作業位置番号が入力されたか否かを判別する(S10)。作業位置番号が入力された場合(S10:YES)、作業管理部42に当該作業位置番号の作業完了フラグを「オン」に切り替えさせる(S11)。表示部45には、当該作業位置番号についての作業状況が「作業完了」として表示される。作業位置番号が入力されなかった場合(S10:NO)、ステップS7に戻る。すなわち、制御部41は、ステップS7およびS10を繰り返して、エラー信号または作業位置番号が入力されるのを待つ。
次に、制御部41は、作業管理部42の作業完了フラグがすべて「オン」になったか否かを判別する(S12)。「オフ」になっている作業完了フラグがあった場合(S12:NO)、ステップS2に戻り、次の作業完了信号を待つ。作業完了フラグがすべて「オン」になった場合(S12:YES)、表示部45に作業工程が全て完了した旨のメッセージを表示させて(S13)、処理を終了する。作業者Pは、このメッセージを見て、ワークWを次の工程に進める。
次に、特定処理部44における特定処理について説明する。
特定処理は、作業工程で撮像された作業位置の撮像画像と略同一のマスタ画像を探し出し、そのマスタ画像の作業位置番号を撮像画像が撮像された作業位置として特定する処理である。本実施形態では、実際に作業をする作業者Pがマスタリング作業を行った場合、撮像画像はマスタ画像を撮像したときとほぼ同じ位置から撮像されるので、両画像はほぼ同じ画像となる可能性が高い。そして、図3の例のように、ワークWのネジの各締付作業位置の外観が明らかに異なる場合は、各撮像画像の絵柄は、各撮像画像の作業位置と異なる作業位置のマスタ画像の絵柄とは全く異なるので、撮像画像とマスタ画像を画像全体で照合しても撮像画像と略同一のマスタ画像を探し出すことは可能である。
処理速度の観点から見れば、撮像画像をそのままマスタ画像と照合する方法が考えられるが、撮像画像はその撮像位置に対応するマスタ画像と完全に同じ画像とはならないので、本実施形態では、処理精度を考慮して、撮像画像を拡大/縮小、回転、平行移動などの画像変換手法により変化させてマスタ画像と照合するようにしている。
図5は、撮像画像を変化させてマスタ画像と照合するための画像変換について説明するための図である。同図(a)は、図3の例におけるネジN1の締付作業に対するマスタ画像(図3(b)と同じもの)であり、同図(b),(c),(d)は、それぞれワークWのネジN1の締付作業に対する撮像画像である。
同図(b)の撮像画像は、同図(a)のマスタ画像と比べて、ネジN1、ワークW、工具2が大きくなっている。この状態は、撮像カメラ3の位置がマスタ画像を撮像したときよりワークWに近い場合に生じる。この場合は、撮像画像を縮小変換すると、同図(a)のマスタ画像と一致させることができる。
同図(c)の撮像画像は、同図(a)のマスタ画像と比べて、ネジN1、ワークW、工具2が右回りに回転している。この状態は、マスタ画像を撮像したときと比べて撮像カメラ3が光軸を回転軸として右回りに回転した場合に生じる。この場合は、撮像画像を左回り(図における矢印方向)に回転変換すると、同図(a)のマスタ画像と一致させることができる。
同図(d)の撮像画像は、同図(a)のマスタ画像と比べて、ネジN1、ワークW、工具2が右下にずれている。この状態は、撮像カメラ3の光軸がマスタ画像を撮像したときより左上にずれた場合に生じる。この場合は、撮像画像を左上(図における矢印の方向)に平行移動変換すると、同図(a)のマスタ画像と一致させることができる。
このように、拡大縮小変換、回転変換、および平行移動変換を組み合わせて、撮像画像を変換することで、撮像画像をマスタ画像の撮像状態に近い画像にすることができ、マスタ画像との類似度をより正確に算出することができる。なお、拡大/縮小、回転、平行移動の3種類の画像変換を全て組み合わせると、その組合せ数が膨大になり、撮像画像を画像変換した画像(以下、「変換画像」という。)とマスタ画像との照合回数が膨大になる。そこで、本実施形態では、画像変換を組み合わせる種類や種類毎の変換パラメータ(拡大/縮小の倍率、回転角度、平行移動量など)などの変換条件を経験値によって予め定めておき、その変換条件によって生成される複数の変換画像についてそれぞれマスタ画像と照合し、撮像画像又は複数の変換画像とマスタ画像の類似度を示す指標値の最大値を求め、その最大値をマスタ画像に対する撮像画像の類似度としている。
撮像画像又は変換画像とマスタ画像の類似度を示す指標値は、例えば、周知の正規化相互相関係数を用いることができるが、適当な演算式を定義してもよい。例えば、簡易な方法として、撮像画像又は変換画像とマスタ画像の対応する画素位置の濃度差を求め、画像全体の濃度差の合計値を指標値としてもよい。
撮像画像又は変換画像と照合した複数のマスタ画像については、それぞれ類似度が算出されるので、それらの類似度の中で最大の類似度を有するマスタ画像を撮像画像と一致していると推定できる。複数のマスタ画像の中に必ず撮像画像と一致するマスタ画像があるとの前提で、最大の類似度を有するマスタ画像に対応する作業位置番号を撮像画像の撮像された作業位置であると特定してもよいが、本実施形態では、特定処理の精度及び確実性を考慮し、類似度の最大値を所定の閾値と比較し、その閾値以上の場合に最大の類似度を有するマスタ画像の作業位置番号を撮像画像の撮像された作業位置であると特定し、その閾値よりも小さい場合は、作業位置は特定できない、すなわち、エラーと判断するようにしている。
従って、特定処理部44では、マスタ画像毎に撮像画像に対する類似度を算出し、その類似度の最大値が所定の閾値以上であれば、最大の類似度を有するマスタ画像の作業位置番号が制御部41に出力され、類似度の最大値が所定の閾値より小さい場合は、特定処理結果の信頼性が低いので、作業位置番号に代えてエラー信号が制御部41に出力される。
なお、撮像画像と照合する全てのマスタ画像について類似度を求めた後にその類似度の最大値を求め、その最大値から撮像画像と一致していると推定されるマスタ画像を特定してもよいが、各マスタ画像について順番に類似度を算出したときに、その類似度を所定の閾値と比較し、その類似度が所定の閾値以上であれば、その時点で当該マスタ画像を撮像画像と一致するマスタ画像と認定して、他のマスタ画像については照合動作を行わないようにしてもよい。この場合、特定処理にかかる時間を短縮することができる。また、この方法では、最後のマスタ画像まで類似度が所定の閾値以上でなかったとき、特定できなかったとして、エラー信号が制御部41に出力されることになる。
マスタ画像との一致の精度を上げるためには、撮像画像をより小刻みに画像変換をすればよい(変換画像の数を増やせばよい)が、この場合は特定処理にかかる時間が長くなる。また、各画像変換は、可能性のある全てのマスタ画像とのずれの範囲を含むように画像変換の条件を設定してもよいが、この場合も特定処理にかかる時間が長くなる。従って、画像変換の条件(変換の種類の組合せ数や各変換における変換ピッチなどの条件)は、処理時間との兼ね合いから適切に決定すべきである。
実際に作業工程で作業する作業者Pと異なる作業者がマスタリング作業を行った場合、撮像画像とマスタ画像との画像のずれがより顕著になる。従って、撮像画像の画像変換の条件は、作業者P自身がマスタリング作業をした場合よりも多くする必要がある。なお、この場合に、撮像画像とマスタ画像とのずれに一定の規則性が表れる場合がある。例えば、作業者PがワークWに顔を近付けて作業する癖を有する場合、撮像画像はマスタ画像に対して一定の倍率で拡大した画像となる場合が多い(図5(b)参照)。また、マスタリング作業を行った作業者が撮像カメラ3を額の少し右目寄りに固定しており、実際の作業工程で作業をする作業者Pが撮像カメラ3を額の真ん中に固定した場合、撮像画像はマスタ画像に対して右下に一定の距離だけずれた画像となる場合が多い(図5(d)参照)。これらの特性は特定処理が繰り返されることで明確となってくる。従って、特定処理の都度、マスタ画像と一致したときの撮像画像に加えられた画像変換の条件を記憶し、特定処理が所定回数繰り返された時点で画像変換の規則性を分析し、当該規則性に基づいて撮像画像の画像変換の条件を絞るように変更してもよい。
なお、作業者Pが実際に作業工程の作業を開始する直前にマスタリング作業を行うか、あるいは、実際に作業工程の作業を開始した最初のワークWに対する作業時にマスタリング作業を行うと、作業者Pが実際に作業をしているときと同じ条件(撮像カメラ3の取り付け位置や作業体勢などの条件)でマスタリング作業が行われるので、特定処理の精度が高くなるので望ましい。
図6は、特定処理部44が行う特定処理を説明するためのフローチャートである。特定処理は、制御部41から特定処理の指示が出され、撮像カメラ3から撮像画像データが入力されることで開始される。
まず、特定処理のためのレジスタやカウンタを初期化する(S21)。レジスタには類似度Xの最大値を求めるためのレジスタXmaxと類似度Xが最大となるマスタ画像の作業
位置番号を求めるためのレジスタnがあり、いずれも「0」に初期化される。また、カウンタには撮像画像を画像変換する変換条件の番号をカウントするカウンタjとマスタ画像の作業位置番号をカウントするカウンタiがあり、いずれも「1」に初期化される。
次に、i番目の作業位置に対応する作業完了フラグF(i)が「オフ」になっているか否かを確認し(S22)、「オフ」になっていれば(S22:YES)、ステップS23に移行し、「オン」になっていれば(S22:NO)、ステップS31にジャンプする。これは、作業完了フラグF(i)がオンになっている作業位置のマスタ画像(作業位置が特定されたマスタ画像)については撮像画像との照合を行わず、作業完了フラグF(i)がオフになっている作業位置のマスタ画像(作業位置が未特定のマスタ画像)についてだけ撮像画像との照合を行うための処理である。
ステップS23に移行すると、i番目の作業位置に対応するマスタ画像データを用意する。次に、j番目の変換条件で撮像画像データの画像変換処理を行う(S24)。この画像変換処理は、拡大縮小変換、回転変換、および平行移動変換のいずれか、またはこれらの2つ以上の組み合わせをした変換処理である。変換条件の数mは予め設定されており、各画像変換処理における変換量(拡大/縮小の倍率、回転方向と回転量、平行移動方向と移動量)も予め設定されている。なお、変換量には、拡大/縮小の倍率が1、回転量や移動量が0の場合(すなわち、実質的に撮像画像を画像変換しない場合)も含まれており、例えば、1番目の変換条件に、倍率「1」、回転量及び移動量「0」の変換条件が設定されている。以下では、撮像画像データを変換した画像データ(実質的に撮像画像データと同一の場合を含む)を変換画像データという。
次に、変換画像とi番目の作業位置に対応するマスタ画像との類似度Xを算出する(S25)。類似度Xは、例えば、周知の正規化相互変換係数である。次に、類似度XがレジスタXmaxの値(以下、「最大類似度Xmax」という。)より大きいか否かを判別する(S26)。類似度Xが最大類似度Xmaxより大きい場合は(S26:YES)、当該類似度XをレジスタXmaxに格納し(S27)、このときのカウンタiの値を作業位置番号のレジスタnに格納する(S28)。類似度Xが最大類似度Xmax以下の場合は(S26:NO)、ステップS27,S28の処理をスキップしてステップS29に進む。最初の変換画像に対して算出される類似度Xは0よりも大きくなるはずであるから、その類似度XがレジスタXmaxに格納され、カウンタiの値「1」がレジスタnに格納される。
次に、カウンタjの値を1だけ増加し(S29)、その値が変換条件の数(変換画像の総数)mを超えたか否かを判別する(S30)。j≦mの場合(S30:NO)、次の変換画像についてマスタ画像との比較をするために、ステップS24に戻る。すなわち、予定されていた変換画像について全てのマスタ画像との比較を行うまで、ステップS24〜S30を繰り返す。そして、ステップS24〜S30のループ処理において、ステップS25で算出される類似度XがレジスタXmaxに格納された最大類似度Xmaxより大きい場合は、ステップS27で当該類似度XをレジスタXmaxに上書きする。従って、全ての変換画像について作業位置番号n=1のマスタ画像との照合が行われたとき(ステップS30:YESのとき)には、そのマスタ画像との類似度Xの最大値がレジスタXmaxに格納されることになる。
ステップS30で、j>mの場合(S30:YES)、カウンタiの値を1だけ増加し(S31)、その値が作業位置番号の最大値N(ワークWのネジの締付作業の総数)を超えたか否かを判別する(S32)。i≦Nの場合(S32:NO)、次のマスタ画像に対して撮像画像の変換画像との比較を行なうために、ステップS22に戻る。従って、ステップS22〜S32のループ処理により、撮像画像データが変換画像データに変換されながら作業位置を特定していない全てのマスタ画像データと比較され、類似度Xが最大となるマスタ画像が特定される。
i>Nの場合(S32:NO)、すなわち、撮像画像データを変換画像データに変換しながらすべてのマスタ画像データと比較し終えた場合、最大類似度Xmaxが所定の閾値Xr以上であるか否かを判別する(S33)。最大類似度Xmaxが所定の閾値Xr以上である場合(S33:YES)、レジスタnに格納された値を作業が完了した作業位置番号として制御部41に出力して(S34)、特定処理を終了する。一方、最大類似度Xmaxが所定の閾値Xrより小さい場合(S33:NO)、類似度Xが最大類似度Xmaxとなったマスタ画像を変換画像と一致したとする信頼性が低いので、エラー信号を制御部41に出力して(S35)、特定処理を終了する。
次に、作業工程管理システム1の作用について説明する。
本実施形態において、特定処理部44は、作業完了信号に基づいて実際の作業工程における作業位置を撮像した撮像画像と予め各作業位置を撮像したマスタ画像とを照合して作業位置を特定する。撮像カメラ3は、作業者Pの目の近傍に視線方向と略同一となるように固定されているので、作業位置が視認できれば作業位置の撮像をすることができる。マスタ画像もほぼ同じ条件で撮像されているので、作業位置がワークWの内側部分にある場合(図1参照)でも、撮像画像とマスタ画像とを照合して正確に作業位置を特定することができる。
また、撮像画像およびマスタ画像は、ワークWに対する撮像カメラ3の撮像位置及びカメラ姿勢がほぼ同じ状態で撮像されたものである。従って、ワークWを所定の位置および方向に固定できない場合でも、撮像画像とマスタ画像とを照合して正確に作業位置を特定することができる。
また、工具2からの作業完了信号によって撮像カメラ3の撮像を行っているので、工具2の作業完了信号が出力されるときは、作業者Pのネジ締め作業位置を見ている体勢が安定していると考えられることから、各作業位置における作業結果の画像を安定して取得することができる。これにより、各作業位置の撮像画像のバラツキが少ないので、撮像画像の画像変換処理のバラツキも少なく、マスタ画像との画像マッチング処理が安定し、正確に作業位置を特定することができる。また、各作業位置の作業が全て完了したことを確認しないと次の工程に進めないようにしているので、作業ミスを抑制することができる。
なお、図6に示す特定処理手順では、撮像画像データに所定の変換条件で画像変換した変換画像を用いてマスタ画像との照合を行っていたが、上述したように、マスタ画像に含まれる画像が特徴的で、他の作業位置のマスタ画像に含まれる画像と明らかに異なる場合は、撮像画像だけを各マスタ画像と照合するようにしてもよい。すなわち、図6に示す特定処理手順において、変換条件の数mを「1」とし、j=1の変換条件を倍率「1」、回転量及び移動量の変換条件を「0」としてもよい。
また、撮像画像データと各マスタ画像データとを比較する場合、両画像データを2値化したり、ぼかしなどの加工をした後に比較するようにしても良い。
また、撮像画像には必ず工具2が写るので(図3および図5参照)、工具2の部分の画像を利用して特定処理を行うようにしてもよい。図6のフローチャートでは、画像変換の条件を予め設定しているが、撮像画像に含まれる工具2の画像と各マスタ画像に含まれる工具2の画像を比較して撮像画像の変換条件を求め、その変換条件で画像変換した変換画像を各マスタ画像と照合するようにしてもよい。例えば、撮像画像が図5(b)であった場合、工具2が大きく写っているので、撮像画像の工具2のサイズとマスタ画像の工具2のサイズから両画像の工具2の画像が一致するように撮像画像の変換条件を求め、その変換条件で撮像画像を縮小する。そして、この縮小された撮像画像と各マスタ画像とを比較すれば、一致するマスタ画像を容易に特定することができる。
なお、この方法では、予め各マスタ画像における工具2の画像を抽出しておく必要がある。また、撮像画像が取得される毎に、その撮像画像内の工具2の画像を抽出し、各マスタ画像の工具2の画像と比較して変換条件を求める必要がある。
また、マスタ画像に含まれる特徴的な画像が画面内の特定の領域にある場合、その領域の部分だけを撮像画像とマスタ画像とで照合するようにしても良い。例えば、図5(a)のマスタ画像で、基板の角とネジの部分に特徴がある場合、ユーザが画面内の領域Arを予め設定しておき、図6に示す特定処理手順における撮像画像とマスタ画像の照合では、両画像の領域Arの部分だけを照合するようにしてもよい。この場合は、撮像画像とマスタ画像とを照合するデータ数が少なくなるので、処理時間を短くすることができる。
第1実施形態で説明した撮像画像とマスタ画像の照合による作業位置の特定方法は、同一の作業位置に対する撮像画像とマスタ画像の撮像位置がほぼ同じで、両画像は略同一になることを利用して画像全体で撮像画像と略同一と推定されるマスタ画像を特定し、そのマスタ画像の作業位置番号を撮像画像の作業位置番号とするものであるが、複数のマスタ画像の間で各マスタ画像に含まれる互いに異なる特徴的な画像(以下、「特徴画像」という。)を抽出し、各撮像画像にいずれの特徴画像が含まれるかを探索し、各撮像画像に含まれる特徴画像を特定することにより、当該特徴画像に対応する作業位置番号を撮像画像の作業位置番号とするようにしてもよい。
例えば、図3(b)〜(e)の例では、基板の角部とネジの頭の部分を含む部分画像(同図の領域B1〜B4の部分画像)を特徴画像とすることができる。同図(b)〜(e)では、基板の角部に対する工具2の画像の方向が異なるので、部分画像B1〜B4を相互に比較すると、画像としては明らかに相違する特徴的な画像となる。
この特定方法は、撮像カメラ3が各作業位置における特徴的な被写体を撮像しているとの前提で、各マスタ画像からその特徴的な被写体の画像(特徴画像)を抽出し、各撮像画像にどの特徴画像が含まれるかを探索することによって、各撮像画像がどの特徴的な被写体(すなわち、どの作業位置)を撮像したものであるかを特定するという考え方である。この特定方法は、第1実施形態で説明した特定方法が撮像画像とマスタ画像の同一性を判断するのに対し、撮像画像が各作業位置に定義される特徴的な被写体のうち、どの被写体を撮像したのかを判断する点で考え方が異なる。このため、この特定方法では、各撮像画像に対して各マスタ画像でユーザにより指定される特徴画像(部分画像)が含まれているか否かを探索する処理が必要となる。
すなわち、各撮像画像に対して、特徴画像と同一サイズのウィンドウを、例えば、ラスタ走査方向に所定のピッチで走査させ、各走査位置でウィンドウに含まれる画像(部分画像)を抽出し、その抽出画像を特徴画像と照合して所定の閾値以上の類似度を有する画像の有無を探索する処理が必要となる。
次に、上記の撮像画像内の特徴画像を探索する方法を用いた特定処理について説明する。なお、この特定処理を行う第2実施形態に係る作業工程管理システムのブロック図は図2と同様であり、マスタ画像記憶部43に記憶される画像データと特定処理部44で行う特定処理以外に違いはない。従って、相違点のみを説明する。
第2実施形態に係る作業工程管理システムのマスタ画像記憶部43は、マスタ画像データの他に、各マスタ画像に対して作業者により指定された特徴画像の画像データ(以下、「特徴画像データ」という。)を記憶している。特徴画像の指定は、マスタリング作業時に行ってもよいし、画像処理により各マスタ画像の特徴画像を自動的に指定するようにしてもよい。
図7は、第2実施形態に係る作業工程管理システムの特定処理部44が行う特定処理を説明するためのフローチャートである。
まず、特定処理のためのレジスタやカウンタを初期化する(S41)。レジスタXmax
とレジスタnは図6に示す特定処理手順のものと同一であり、いずれも「0」に初期化される。また、カウンタjとカウンタiは図6に示す特定処理手順のものと同一であるが、これらに加えて変換画像内で特徴画像と同一サイズのウィンドウをラスタ走査方向に走査させる数をカウントするカウンタkがある。jとiはいずれも「1」にされるが、kは「0」に初期化される。
次に、i番目の作業位置に対応する作業完了フラグF(i)が「オフ」になっているか否かを確認し(S42)、「オフ」になっていれば(S42:YES)、ステップS43に移行し、「オン」になっていれば(S42:NO)、ステップS59にジャンプする。この処理は、作業位置が未特定のマスタ画像データで定義された特徴画像データについてだけ変換画像データにおける探索を行うための処理である。
ステップS43に移行すると、i番目の作業位置に対応するマスタ画像で指定された特徴画像データを用意する。次に、j番目の変換条件で撮像画像データの画像変換処理を行う(S44)。ステップS44〜S53,S57,S58のループ処理における各撮像画像データに対して予め設定した変換条件で複数の変換画像データを作成させる処理内容は、図6に示す特定処理と基本的に同じである。
次に、カウンタkを「1」に設定し(S45)、変換画像からk番目のウィンドウ位置(k=1のときは、変換画像の画面左上隅の位置)の画像を抽出する(S46)。そして、その抽出した画像(以下、「抽出画像」という。)とi番目の作業位置に対応するマスタ画像から作成された特徴画像の類似度X(k)を算出する(S47)。類似度X(k)は、第1実施形態と同様に正規化相互変換係数である。次に、類似度X(k)が最大類似度Xmaxより大きいか否かを判別する(S48)。類似度X(k)が最大類似度Xmaxより大きい場合は(S48:YES)、当該類似度X(k)をレジスタXmaxに格納し(S49)、このときのカウンタiの値を作業位置番号のレジスタnに格納した後(S50)、カウンタkを1だけ増加する(S51)。類似度X(k)が最大類似度Xmax以下の場合は(S48:NO)、ステップS49〜S51の処理をスキップしてステップS52に進む。
次に、カウンタkの値がウィンドウの走査総数Kを超えたか否かを判別する(S52)。k≦Kの場合(S52:NO)、次のウィンドウの走査位置における抽出画像について特徴画像との比較をするために、ステップS46に戻り、k>Kの場合(S52:YES)、ステップS53に移行する。すなわち、ステップS46〜S52のループ処理は、変換画像上で特徴画像を所定のピッチでラスタ走査方向に移動させ、各走査位置で変換画像から抽出した抽出画像と特徴画像の類似度を算出し、最大の類似度を有する走査位置を求めている。
ステップS53に移行すると、ステップS46〜S52のループ処理で求められた最大類似度Xmaxが所定の閾値Xr’以上であるか否かを判別する。Xmax≧Xr’である場合(S53:YES)、変換画像とステップS46〜S52のループ処理で求められた作業位置番号n(ステップS50でレジスタnに格納された番号)のマスタ画像の類似度Xを算出する(S54)。この類似度Xも、第1実施形態と同様に正規化相互変換係数である。次に、類似度が所定の閾値Xr以上であるか否かを判別する(S55)。X≧Xrである場合(S55:YES)、カウンタnに格納された値を作業が完了した作業位置の番号として制御部41に出力して(S56)、特定処理を終了する。
ステップS53で、ステップS46〜S52のループ処理で求められた最大類似度Xmaxが閾値Xr’以上の場合に、変換画像データとマスタ画像データを照合し、両者の類似度Xによって作業位置番号を特定しているのは、撮像画像に、ある特徴画像が含まれていると推定されても他の特徴画像についても当該他の特徴画像が含まれていると推定される可能性がないとは言えないので、特定精度を高めるため、変換画像内に他の特徴画像があるか否かの探索処理をするのに代えて、変換画像とその変換画像に含まれていると推定された特徴画像が指定されたマスタ画像とを画像全体で照合し、特徴画像による推定結果の信頼性を確認するようにしたものである。
これにより、全ての特徴画像について、全ての変換画像上で各特徴画像の有無を探索する場合よりも処理時間を短くすることができる。なお、処理時間をより短くするために、ステップS54,S55の処理を省くようにしてもよい。
図7の特定処理に戻り、ステップS53でXmax<Xr’の場合(S53:NO)又はステップS55でX<Xrの場合(S55:NO)、ステップS57に移行し、カウンタjの値を1だけ増加した後、その値が変換条件の数(変換画像の総数)mを超えたか否かを判別し(S58)、j≦mの場合(S58:NO)、次の変換画像について特徴画像との照合をするために、ステップS44に戻り、j>mの場合(S58:YES)、カウンタiの値を1だけ増加し(S59)、その値が作業位置番号の最大値N(ワークWのネジの締付作業の総数)を超えたか否かを判別する(S60)。
i≦Nの場合(S60:NO)、次のマスタ画像から生成された特徴画像に対して変換画像との比較を行なうために、ステップS42に戻り、i>Nの場合(S60:YES)、すなわち、撮像画像を変換画像に変換しながら各変換画像について特徴画像の有無を確認する処理を行い、全ての変換画像に特徴画像がないと判断された場合、エラー信号を制御部41に出力して(S61)、特定処理を終了する。
なお、図7に示す特定処理手順では、ステップS46〜S52のループ処理において、変換画像上の全ての走査位置について類似度X(k)を求めているが、処理時間を早くするために、いずれかの走査位置で算出された類似度X(k)が所定の閾値Xr’以上であれば、特徴画像の探索処理を終了し、ステップS54,S55の処理に移行するようにしても良い。
上記の第1,第2実施形態では、実際の作業時の撮像カメラ3の撮像位置がマスタリング作業時の撮像位置と異なることに起因する撮像画像のマスタ画像に対する画像のずれを低減するため、撮像画像に対して拡大/縮小、回転、平行移動などの画像変換を行っている。これらの画像変換は、図8に示すように、マスタリング作業時の被写体(ワークWのネジNの締付作業位置)に対する撮像カメラ3の撮像位置Qが、実際の作業時では撮像カメラ3の光軸上L1で前後に移動している(矢印A1参照)、撮像カメラ3の姿勢が光軸L1を中心に回転している(矢印A2参照)、撮像カメラ3が撮像位置Qを含む面内で平行に移動している(矢印A3参照)などの場合を想定したものである。
しかしながら、一般には、上記の撮像位置のずれよりも、図8の一点鎖線で示すように、ネジNの締付作業位置に対する作業時の撮像カメラ3の撮像位置Q’の方向がマスタリング作業時の撮像位置Qの方向に対して開き角θdでずれる方が多い。このような撮像位置のずれの場合は、マスタリング作業時の撮像カメラ3の撮像面に対して実際の作業時の撮像カメラ3の撮像面が傾斜することになるので、マスタ画像と撮像画像が同一の画角であっても撮像画像はマスタ画像を斜めから見たような画像となる。例えば、マスタ画像では円形の画像が撮像画像では楕円形の画像となる。
そこで、このような撮像位置のずれに対しては、撮像カメラ3にその姿勢を検出するセンサを設け、マスタリング作業時の各作業位置を撮像したときの撮像カメラ3の姿勢(正確には光軸L1の方向)と実際の作業時の各作業位置を撮像したときの撮像カメラ3の姿勢とを検出し、マスタリング作業時の撮像カメラ3の姿勢と実際の作業時の撮像カメラ3の姿勢の差(正確には両撮像位置における光軸L1の開き角θd)に基づいて各撮像画像の画像変換を行うと良い。
撮像カメラ3の姿勢を検出するセンサとしては、例えば、重力を利用した傾斜センサや地磁気を利用した方位センサを用いることができる。例えば、図8に示すように、撮像カメラ3の筐体の上面31に2軸方向の傾斜センサ7を設けると、撮像カメラ3の基準姿勢に対する姿勢の傾きを検出することができる。撮像カメラ3の上面31が水平面と一致する姿勢を基準姿勢とすると、撮像カメラ3の姿勢が基準姿勢から変化すると、基準姿勢時の光軸L1の方向(以下、この方向を「基準方向」という。)に対する姿勢変化後の光軸L1の方向の角度θが傾斜センサ7によって検出される。撮像位置Qの撮像時に傾斜センサ7で検出される傾斜角をθ1、撮像位置Q’の撮像時に傾斜センサ7で検出される傾斜角をθ2とすると、両者の差分を演算することにより開き角θd(=|θ1−θ2|)が求められる。
従って、マスタリング作業時の撮像時に検出された傾斜角θ1と実際の作業時の撮像時に検出された傾斜角θ2から開き角θdを求め、この開き角θdを用いて撮像画像を画像変換すれば、当該撮像画像をマスタリング作業時の撮像位置に近似した位置で撮像した画像に変換することができる。
次に、傾斜センサ7が設けられた撮像カメラ3を用いた第3実施形態に係る作業工程管理システムについて説明する。
図9は、本発明に係る作業工程管理システムの第3実施形態を説明するためのブロック図である。なお、同図において、図2に示すブロック図と同一または類似の要素には、同一の符号を付している。同図に示す作業工程管理システム1’は、撮像カメラ3に傾斜センサ7を取り付け、撮像カメラ3から入力される撮像画像データを傾斜センサ7で検出した傾斜角θ1,θ2を用いて変換処理を行う変換処理部47を設けた点で、上記した第1,第2実施形態と異なる。
傾斜センサ7は、撮像カメラ3に取り付けられており(図8参照)、撮像カメラ3の光軸L1の基準方向に対する傾斜角を検出するものである。傾斜センサ7は、検出した光軸方向の傾斜角データを作業管理装置4に入力する。マスタリング作業時においては各マスタ画像を取得する際に撮像カメラ3の光軸L1の基準方向に対する傾斜角θ1が検出され、その傾斜角データが作業管理装置4に入力される。従って、マスタ画像記憶部43に記憶される複数のマスタ画像データにはそれぞれ傾斜角θ1のデータが添付されて記憶されている。
実際の作業時においては、変換処理部47には、撮像カメラ3からの撮像画像データが入力されるとともに、傾斜センサ7から撮像カメラ3の光軸L1の基準方向に対する傾斜角θ2のデータが入力される。変換処理部47は、撮像画像をマスタ画像と照合する際、当該マスタ画像に添付されている傾斜角θ1と傾斜センサ7から入力される傾斜角θ2との差を演算して開き角θdを求め、この開き角θdを用いて撮像画像の画像変換を行い、特定処理部44に出力するものである。特定処理部44に入力される変換画像は、撮像画像の撮像位置をマスタ画像の撮像位置に近似した位置に置き換えたときに撮像される画像に相当している。
特定処理部44では、第1実施形態と同様に、撮像画像を作業位置が特定されていない複数のマスタ画像と照合して最大類似度Xmaxを有するマスタ画像を特定する処理が行われるが、第3実施形態では、変換処理部47からマスタ画像と照合させる画像として、撮像画像をマスタ画像の撮像位置に近似した位置で撮像された画像に変換した変換画像が入力されるので、第1実施形態のように、特定処理部44で撮像画像の画像変換処理は行われない。これは、マスタ画像の撮像位置とそれに近似した位置とのずれが小さいので、そのずれを補正するための拡大/縮小、回転、平行移動などの変換処理を省略するようにしたものである。従って、特定処理部44で行われる特定処理手順は、図6に示す特定処理手順において、ステップS24,S29,S30を削除し、ステップS25の処理内容を変換処理部47から入力される変換画像とマスタ画像の類似度Xの算出処理に変更したものとなる。
なお、第3実施形態でも、第1実施形態と同様に変換処理部47の処理を特定処理部44で行うようにしてもよい。また、撮像画像ではなく、マスタ画像を撮像画像の撮像位置で撮像した画像に画像変換するようにしてもよい。
第3実施形態では、第1実施形態における図6のステップS24〜S30のループ処理をしないので、処理時間を短くすることができる。また、撮像画像をマスタ画像の撮像位置で撮像された画像に変換するので、撮像画像の作業位置で取得されたマスタ画像の類似度Xと他のマスタ画像の類似度Xとの差が第1実施形態より顕著になり、撮像画像の作業位置に対応するマスタ画像の特定の確実性を高めることができる。
第1実施形態〜第3実施形態では、マスタリング作業時と実際の作業時で同一の作業者Pが作業した場合に撮像カメラ3の撮像位置にずれが生じる一方、作業者Pがほぼ決まった動作を繰り返すことを考慮すると、そのずれには一定の範囲があると考えられるので、そのずれの範囲内で撮像画像の画像変換を行い、撮像画像とマスタ画像との画像のずれを可及的に低減して両画像の類似度を算出するようにしていた。
画像全体で撮像画像とマスタ画像を比較して類似度Xを算出する場合、類似度Xに大きく影響を与える特定の画像(ネジなどの特徴的な画像)の両画像における位置のずれは可及的に小さい方が好ましい。しかしながら、第1実施形態〜第3実施形態では、作業者Pに撮像カメラ3を取り付けるだけであるので、作業者Pは、撮像カメラ3の画面内に被写体(特に、特徴的な画像となるネジの締付位置)がどのように撮像されるのかを知ることができない。
次に、マスタリング作業時と実際の作業時において、各作業位置の特徴的な画像を与える被写体(ネジの締付位置など)を画面のほぼ同じ位置に撮像させる構成について説明する。
図10は、ワークWの各ネジの締付位置が画面のほぼ同じ位置に撮像されるように、作業者Pの撮像時の姿勢をガイドする構成の一例を示す図である。
同図に示す構成は、撮像カメラ3に投影機8を取り付け、この投影機8からワークWの作業位置に向けて円形の光像Sを投影するようにしたものである。光像Sには、作業者Pが当該光像Sの中心Oを推測できるように、上下左右の4箇所に円周と交差する目印線S1〜S4が設けられている。そして、撮像対象であるワークWの作業位置(図10ではネジNの締付位置)から撮像カメラ3の光軸L1上で所定の距離Dだけ離れた位置Qを撮像カメラ3の撮像位置に設定すると、投影機8の光軸L3が撮像カメラ3の光軸L1と交差し、その交差する位置に光像Sが結像されるように投影機8が調整されている。
撮像カメラ3が撮像位置Qよりも後方になると、光像SはワークW上でネジNの締付位置よりも下側にずれた位置に投影され、しかも、光像Sのサイズは大きくなる。一方、撮像カメラ3が撮像位置Qよりも前方になると、光像SはワークW上でネジNの締付位置よりも上側にずれた位置に投影され、しかも、光像Sのサイズは小さくなる。しかしながら、同一の作業者Pが同一の作業位置で繰り返すネジNの締付作業ではその作業姿勢の変化に基づくワークWから投影機8までの距離の変化範囲は、距離Dの近くにあると考えられ、ワークW上に投影される光像Sの位置やサイズは、図10の状態に対して格別に大きく変化するものではない。
従って、作業者Pは、ワークWにおける作業位置が光像Sの中心Oとなる姿勢で作業をすることにより、撮像カメラ3で画面内のほぼ中央に作業位置が配置された画像を撮像することができる。このような撮像動作は、マスタリング作業時と実際の作業時で同様に行われるので、同一の作業位置におけるマスタ画像と撮像画像は、ほぼ中央に作業位置が写し込まれた画像となり、両画像の照合が容易になる。
なお、光像Sは、被写体(ネジの締付位置)に対する撮像カメラ3の撮像位置Qを決めるための目印となるものであるから、その目的を達成するように形状および大きさは適宜定めればよい。また、投影機8からの光によって作業位置が照らされるので、撮像カメラ3の露出時間を短くすることができ、作業者Pの動きによるブレを低減することができる。また、作業位置が明るくなるので、作業をし易くなる。
マスタリング作業時では図10に示す状態で作業位置が撮像されたのに対し、実際の作業時では撮像カメラ3が撮像位置QよりワークW側に近づいた場合、撮像画像内の作業位置の画像(具体的には、ネジの頭の画像)は、マスタ画像より大きくなるが、光像Sの画像は小さくなる。従って、マスタリング作業時よりワークWに近づいて作業した場合、撮像画像を縮小変換すると、作業位置の画像はマスタ画像に近づくが、光像Sは逆にマスタ画像から大きくずれることになる。この不都合を回避するために、類似度Xの算出においては、光像Sの部分を除外するようにするとよい。
撮像画像内の光像Sの画像の大きさは、撮像カメラ3とワークWとの距離に比例する。従って、撮像画像から光像Sの画像の直径を算出し、マスタ画像における光像Sの画像の直径との差に基づいて、撮像画像を拡大変換又は縮小変換することにより、特定処理での撮像画像の変換(図6のフローチャートにおけるステップS24参照)から拡大又は縮小変換を省略することができる。また、撮像カメラ3が光軸L1の周りに回転した場合、光像Sの画像の形状も同方向に回転した形状となる。従って、撮像画像から光像Sの画像の回転角度を算出し、撮像画像を逆向きに同じ角度の回転変換することにより、特定処理での撮像画像の変換(図6のフローチャートにおけるステップS24参照)から回転変換を省略することができる。
なお、ワークWと撮像カメラ3の距離によってワークW上に投影される光像Sの位置やサイズが変化する。撮像カメラ3が所定の撮像位置Qの近傍にあると、光像SはワークW上に所定のサイズで明瞭に結像され、撮像位置Qから大きくずれると、ワークW上に投影される光像Sのサイズが所定のサイズより小さ過ぎたり、大き過ぎたりするようになり、しかも、投影像も不明瞭になってくるので、作業者Pに、光像SがワークW上で明瞭に所定のサイズで投影されるように、作業体勢(特に頭部の姿勢)を調整させるようにしてもよい。これにより、撮像カメラ3を所定の撮像位置Qに調整することができ、ほぼ同じようなマスタ画像と撮像画像を安定して取得でき、撮像画像とマスタ画像との画像のずれを可及的に小さくすることができる。
上記実施形態においては、工具2からの作業完了信号を用いていたが、これに限られない。例えば、工具2に作業完了信号を出力できる機能がない場合は、作業管理装置4に作業完了信号を入力するためのスイッチを工具2に設けるとよい。作業者Pは、作業が完了したときにこのスイッチを押圧することで、作業完了信号を作業管理装置4に入力することができる。また、工具2とは別に当該スイッチを設け、作業者Pが工具2を持つ手とは反対の手でこのスイッチを押圧するようにしてもよい。なお、これらの場合は、スイッチから作業管理装置4に入力される信号は、作業完了の入力ではなく、撮像カメラ3の撮像タイミングを作業管理装置4に入力する信号として機能する。
また、制御装置41が撮像指示信号を撮像カメラ3に入力するタイミングは、工具2からの作業完了信号が入力されたときに限られない。作業者Pが作業位置を視認しているときに撮像すれば良いのであって、撮像のタイミングと作業完了のタイミングを必ずしも一致させる必要は無い。例えば、工具2が電動式トルクドライバの場合、作業者PはネジNをネジ孔に差し込んでネジNの頭の溝にトルクドライバの先端をあてて始動スイッチを押せば良いだけなので、作業の完了時よりも始動スイッチを押したときの方が作業位置を視認している可能性が高い。このような場合は、始動スイッチを押したときに工具2から制御装置41にタイミング信号が入力されるようにして、制御装置41が当該タイミング信号の入力に応答して撮像指示信号を撮像カメラ3に入力するようにしてもよい。
また、この場合、作業完了後ではなく、始動スイッチを押したときに作業位置を特定することができる。従って、作業位置により締付トルクを変更する必要がある場合でも、作業開始時に作業位置を特定し、作業位置に応じて締付トルクを変更することも可能である。
上記実施形態ではネジの締付作業の場合について説明したが、これに限られず、例えば、トルクレンチでボルトまたはナットを締める作業や、溶接機で溶接を行う作業や、ハンダ付け作業などでも本発明を適用することができる。これらの場合でも、各工具から作業完了信号を作業管理装置4に入力するようにしてもよいし、別途スイッチを設けて、当該スイッチにより作業完了信号を作業管理装置4に入力するようにしてもよい。
また、道具を使用しない作業であっても、本発明を適用することができる。例えば、ボルトの締まり具合を点検する検査においても、作業者Pは作業位置を目視しながら行うので、別途設けたスイッチにより作業完了信号を作業管理装置4に入力するようにすれば、本発明を適用することができる。
本発明に係る作業工程管理システムは、上述した実施形態に限定されるものではない。本発明に係る作業工程管理システムの各部の具体的な構成は、種々に設計変更自在である。