以下、実施の形態について、図面を参照しながら説明する。以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、工程(ステップ)、工程(ステップ)の順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
また、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略または簡略化される場合がある。
(実施の形態)
[1.作業指示システムの構成]
まず、実施の形態に係る作業指示システムの構成について、図1~図3を用いて説明する。図1は、実施の形態に係る作業指示システム1の機能構成を示すブロック図である。
図1に示すように、作業指示システム1は、作業指示装置10と、第1ドライバ20と、第2ドライバ30と、撮像装置40と、表示装置70とを備える。以下では、作業指示システム1は、2つの工具(第1ドライバ20及び第2ドライバ30)を備える例について説明するが、これに限定されない。なお、以降において、第1ドライバ20及び第2ドライバ30を区別しない場合、単にドライバとも記載する。なお、作業指示システム1は、作業表示システムの一例である。
作業指示装置10は、作業ミスの防止と習熟支援、作業時間の遵守、作業の改善、及び、作業ミスの通知等を可能にするためのサーバ装置である。作業指示装置10の基本動作等については、後述する。本実施の形態に係る作業指示装置10は、例えば、組立作業等において一人で複数の作業を受け持たせる一人組立作業を行う作業者に対して、作業指示及び作業間違いの検出等を行う。なお、作業者が行う作業は、例えば、工具(例えば、ドライバ)を用いる作業と、工具を用いない作業とを含む。工具を用いない作業は、複数の作業のいずれかで使用される工具の全てを用いない作業である。工具を用いない作業は、手作業による作業を含み、例えば、ワッシャを挿入する作業、クリップを締める作業、及び、検査作業などである。なお、作業指示装置10は、作業者が行う作業における作業内容を表示装置70に表示するための作業表示装置の一例である。
作業指示装置10は、通信部11と、制御部12と、記憶部13とを有する。
通信部11は、作業指示システム1が備える各種装置と無線通信又は有線通信を介して通信可能に接続される通信インターフェースである。通信部11は、例えば、制御部12によって生成された撮像部60を制御するための制御情報を撮像装置40に出力する。また、通信部11は、撮像部60が撮影した画像データに基づく情報を、撮像装置40から取得する。このように、通信部11は、制御情報を出力する出力部、及び、画像データに基づく情報を取得する取得部として機能する。なお、画像データは、センシング結果(センシングデータ)の一例である。
また、通信部11は、複数の作業それぞれの開始を示す開始信号及び終了を示す終了信号を取得してもよい。通信部11は、例えば、作業がドライバを使用する作業である場合、開始信号及び終了信号の少なくとも一方を第1ドライバ20又は第2ドライバ30から取得してもよい。また、通信部11は、例えば、開始信号及び終了信号の少なくとも一方を作業者の操作(例えば、ボタン及びフットスイッチ(図示しない)に対する操作)により取得してもよい。
制御部12は、作業指示装置10と接続された各種装置に当該装置が実行する処理に関する情報を生成及び出力し、かつ、各種装置から当該装置が取得した(例えば、計測することで取得した)情報を取得し、当該情報に基づいて所定の処理を行う処理部である。
具体的には、制御部12は、例えば、記憶部13に格納されている作業用テーブルT1(図2A参照)に基づいて、第1ドライバ20及び第2ドライバ30を制御するドライバ制御情報を第1ドライバ20及び第2ドライバ30に出力する。また、制御部12は、記憶部13に格納されている検出用テーブルT2(図2B参照)に基づいて、撮像装置40が有する各カメラ(例えば、カメラa~カメラd)を制御するための制御情報を撮像装置40に出力する。
また、制御部12は、撮像装置40から取得した各カメラの画像データに基づく情報に基づいて、作業が正常に行われたか否かを判定する。そして、制御部12は、判定結果を表示するための情報を、通信部11を介して表示装置70に出力する。
記憶部13は、作業指示装置10が備える制御部12が実行する制御プログラムを格納する記憶装置である。また、記憶部13は、作業用テーブルT1及び検出用テーブルT2を格納する。また、記憶部13は、通信部11を介して取得した情報(例えば、画像データに基づく情報など)を格納してもよい。記憶部13は、例えば、半導体メモリなどによって実現される。
ここで、記憶部13が格納する作業用テーブルT1及び検出用テーブルT2について、図2A及び図2Bを参照しながら説明する。図2Aは、作業用テーブルT1の一例を示す図である。なお、図2Aでは、ネジの一例としてビスを締める場合を示している。なお、以下において、ビスを単にネジとも記載する。
図2Aに示すように、記憶部13は、作業手順と、作業名と、ドライバ名と、ビス本数と、上下限パルスとが対応付けられた作業用テーブルT1を格納する。作業手順1、2及び4の作業は、ドライバを用いる作業の一例であり、作業手順3の作業は、ドライバを用いない作業の一例である。言い換えると、作業用テーブルT1は、ドライバを用いる作業とドライバを用いない作業とを含む複数の作業を行うためのテーブルである。なお、作業用テーブルT1に含まれるドライバを用いる作業及びドライバを用いない作業の数及び順番は、特に限定されない。
作業手順は、作業者が行う複数の作業の順番を示す。作業手順は、予め定められている。図2Aの例では、作業手順1~4がその順番で行われることを示している。
作業名は、作業内容を示しており、複数の作業それぞれに設定される。作業者は、作業名を見るだけで、作業の内容を知ることができる。
ドライバ名は、作業者がドライバを識別するための名称を示しており、ドライバそれぞれに設定される。ドライバ名は、作業者がドライバを識別できればよく、ドライバの型番等であってもよい。
ビス本数は、当該作業においてビス締めするビスの数を示す。
上限パルス及び下限パルスは、制御部12がビスの締め付け情報に基づいてドライバを用いる作業が完了したか否かを判定するために用いられる閾値(パルス数)である。上限パルス及び下限パルスは、例えば、複数人の作業者それぞれの、ビス締め作業(ネジ締め作業)におけるビス締めが適切に完了したときの回転数(又はパルス数)に基づいて、決定される。上限パルス及び下限パルスは、例えば、複数人の作業者それぞれの回転数のうち、所定以上の回転数(例えば、最大回転数)と所定以下の回転数(例えば、最小回転数)とに基づいて決定されてもよい。これにより、複数の作業者それぞれにおいてネジ締め作業におけるネジ締めが適切に完了したときの回転数が異なっていても、上限パルス及び下限パルスを適切に設定することができる。
なお、作業用テーブルT1は、上限パルス及び下限パルスの少なくとも一方を含んでいればよい。また、作業用テーブルT1は、ネジの締め付け情報にトルクの情報が含まれる場合、トルクの上限及び下限の少なくとも一方を含んでいてもよい。また、作業用テーブルT1は、ドライバにおいて作業が完了したか否かを判定する場合、上限パルス及び下限パルスの情報を含んでいなくてもよい。
作業手順1の作業(以降において、作業1とも記載する)は、ドライバXを使用してビスAを1本締める作業であることを示している。ドライバXは、例えば、第1ドライバ20である。また、上限パルス及び下限パルスは、ドライバXを用いてビスAをビス締めたときに当該ビスAのビス締めが完了したか否かを判定するための基準であり、ビスAの回転数に対応する数値である。
作業手順2の作業(以降において、作業2とも記載する)は、ドライバYを使用してビスBを1本締める作業であることを示している。作業2では、作業1とは異なるドライバが用いられる。ドライバYは、例えば、第2ドライバ30である。
作業手順3の作業(以降において、作業3とも記載する)は、プレートCを1つ取り付ける作業である例を示している。
作業手順4の作業(以降において、作業4とも記載する)は、作業手順1と同じドライバを用いてビスAとは異なるビスDを1本締める作業である例を示している。
上記のように、作業指示装置10は、ドライバを用いる作業(例えば、ネジ締め作業)とドライバを用いない作業とを含む複数の作業を、作業者が予め定められた作業手順で行うための情報(例えば、作業用テーブルT1)を保持している。
次に、記憶部13が格納する検出用テーブルT2について説明する。図2Bは、検出用テーブルT2の一例を示す図である。
図2Bに示すように、記憶部13は、作業手順と、作業名と、撮像装置40に関する情報とが対応づけられた検出用テーブルT2を格納する。撮像装置40に関する情報は、検出カメラと、禁止カメラと、停止カメラと、検出色とを含む。なお、撮像装置40に関する情報は、少なくとも検出カメラに関する情報を含んでいればよい。
検出カメラは、複数のカメラの中のうち、現在の作業が正常に行われたか否かを判定するために動作させるカメラを示す。例えば、作業1においては、カメラa~カメラdのうちカメラaを検出カメラとして動作させる例を示している。
禁止カメラは、複数のカメラの中のうち、現在の作業において部品が装着されてはいけない禁止領域に当該作業における部品が装着されたか否かを判定するために動作させるカメラを示す。例えば、作業1においては、カメラa~カメラdのうちカメラb及びdを禁止カメラとして動作させる例を示している。また、例えば、作業3及び4においては、禁止カメラとしていずれのカメラも動作させない例を示している。
停止カメラは、複数のカメラの中のうち、現在の作業において動作を停止するカメラを示す。つまり、停止カメラに記載されているカメラは、その作業において撮影を行わない。例えば、作業1においては、カメラa~カメラdのうちカメラcの動作を停止させる例を示している。なお、停止カメラには、少なくとも1つのカメラが設定される。
検出色は、作業が正常に行われたか否かを判定するための部品の色を示す。例えば、作業1において当該作業1が正常に行われるには、部品の色が「青」である必要があることを示している。
図1を再び参照して、第1ドライバ20及び第2ドライバ30は、作業者が工具を用いる作業で使用する動力によって作動可能な工具の一例である。なお、ここでの工具とは、例えば、電動工具を意味する。また、動力とは、電気又はエアなどである。第1ドライバ20は、例えば、ビスA及びビスDのネジ締めに用いる締結工具であり、第1工具の一例である。第2ドライバ30は、第1ドライバ20とは異なる締結工具である。第2ドライバ30は、例えば、ビスBのネジ締めに用いる締結工具であり、第2工具の一例である。なお、作業指示装置10と接続されるドライバの数及び種類は特に限定されない。
なお、図示しないが、第1ドライバ20及び第2ドライバ30のそれぞれは、作業指示装置10と通信するための通信部と、ドライバの回転数を計測するパルス計測部と、トルクアップ、回転開始及び回転終了を検出する検出部とを有する。パルス計測部は、例えば、ドライバのモータ(図示しない)に組み込まれてエンコーダ(図示しない)の発するパルス信号を計測可能な回路を有し、パルス信号の計測結果から回転数を検出する。エンコーダは、モータが回転すると、これに応じた回転信号としてパルス信号を発する。検出部は、例えば、ドライバの消費電流を計測することで、トルクアップ、回転開始及び回転終了を検出する。通信部は、パルス計測部が計測した計測結果、及び、検出部が検出した検出結果(例えば、回転開始及び回転終了の検出結果であり、開始信号及び終了信号の一例)の少なくとも1つを作業指示装置10に出力する。
なお、第1ドライバ20及び第2ドライバ30のそれぞれは、パルス計測部が計測した回転数に基づいて、ネジ締めが完了したか否かを判定する処理部を有していてもよい。
撮像装置40は、作業指示装置10からの制御情報に基づいて検出領域の撮影を行い、かつ、撮影した画像を示す画像データを作業指示装置10に出力する。撮像装置40は、カメラ制御部50と、撮像部60とを有する。検出領域は、本体部100(図3参照)において、部品が取り付けられる位置を含む領域である。本体部100は、部品が装着される基板などであってもよい。
カメラ制御部50は、作業指示装置10からの制御情報に基づいて、撮像部60の動作を制御する処理部である。また、カメラ制御部50は、撮像部60から画像データを取得し、取得した画像データに基づく情報を作業指示装置10に出力する。
画像データに基づく情報は、画像データそのものを含んでいてもよいし、画像データを解析した解析結果(例えば、画像解析結果)を含んでいてもよい。
カメラ制御部50は、例えば、マイクロコンピュータにより実現される。カメラ制御部50は、内蔵する記憶部から制御プログラムを読み出し、読み出したプログラムを実行する。
撮像部60は、部品が所定の位置に装着されたか否かを検出するための撮影を行う1以上のカメラを有する。本実施の形態では、撮像部60は、カメラa~カメラdにより構成されるが、カメラの数は特に限定されない。カメラa~カメラdはそれぞれ、カメラごとに設定された検出領域の撮影を行い、撮影により取得される画像データをカメラ制御部50に出力する。なお、カメラa~カメラdのそれぞれは、同じ性能(例えば、解像度など)のカメラであってもよいし、互いに異なる性能のカメラであってもよい。カメラa~カメラdは、例えば、作業内容、検出精度などに応じて適宜決定されるとよい。撮像部60は、センサ部の一例である。
作業指示システム1は、部品を検出することができれば撮像装置40以外のセンサ装置を備えていてもよい。作業指示システム1は、例えば、撮像装置40に替えて、又は、撮像装置40とともに、撮像装置40以外のセンサ装置を備えていてもよい。センサ装置が有するセンサは特に限定されないが、例えば、部品の有無を遮光により検出する光センサを有していてもよい。
なお、撮像装置40は、カメラ制御部50を有していなくてもよい。この場合、作業指示装置10は、例えば、カメラ制御部50が有する機能を有していてもよい。作業指示装置10は、通信部11を介して撮像部60の各カメラに対して制御情報を出力し、かつ、撮像部60の各カメラのそれぞれから画像データを取得してもよい。
図2Bに示すように、本実施の形態では、カメラaは、作業1における検出領域に当該作業1に対応するビスAがあるか否かを検出するためのカメラである。カメラbは、作業2における検出領域に当該作業2に対応するビスBがあるか否かを検出するためのカメラである。カメラcは、作業3における検出領域に当該作業3に対応するプレートCがあるか否かを検出するためのカメラである。カメラdは、作業4における検出領域に当該作業4に対応するビスDがあるか否かを検出するためのカメラである。
作業1は、第1領域に第1部品(例えば、ビスA)が装着され、かつ、第1領域と異なる第2領域には第1部品が装着されない作業(第1作業の一例)である。作業2は、第2領域に第2部品(例えば、ビスB)が装着され、かつ、第1領域には第2部品が装着されない作業(第2作業の一例)である。また、第1作業においては、第1部品が第2及び第4領域に装着されることが禁止されており、第2作業においては、第2部品が第4領域に装着されることが禁止されている。そのため、第1作業においては、禁止カメラにカメラb及びdが設定されており、第2作業においては、禁止カメラにカメラdが設定されている。
ここで、撮像部60の検出領域について、図3を参照しながら説明する。図3は、実施の形態に係る検出領域Ra~Rdを示す模式図である。図3では、ビスA、ビスB、プレートC、及び、ビスDが装着された(取り付けられた)本体部100と、部品それぞれに対応する検出領域とを示している。なお、プレートCは、ビスAを覆うように配置されている。また、図3に示す一点鎖線で囲まれる領域が検出領域を示す。
図3に示すように、検出領域Raは、本体部100のうちビスAが装着される領域である。検出領域Raは、カメラaにより撮影される。検出領域Rbは、本体部100のうちビスBが装着される領域である。検出領域Rbは、カメラbにより撮影される。検出領域Rcは、本体部100のうちプレートCが取り付けられる領域である。検出領域Rcは、カメラcにより撮影される。検出領域Rdは、本体部100のうちビスDが装着される領域である。検出領域Rdは、カメラdにより撮影される。検出領域Ra~Rdの少なくとも一部は、平面視において、重なっていてもよい。本実施の形態では、検出領域Rcは、平面視において、検出領域Raを含む領域である。なお、検出領域Ra~Rdのそれぞれは、例えば、互いに重ならない領域であってもよい。
また、検出領域Rb及びRdは、作業1に対応する禁止領域であり、作業1においてカメラb及びdによりそれぞれ撮影される。検出領域Rdは、作業2に対応する禁止領域であり、作業2においてカメラdにより撮影される。
禁止領域は、例えば、ある作業において当該作業で使用する部品が装着されてはいけない領域である。禁止領域は、例えば、ある作業において用いる部品と外観等が類似した部品が装着される領域であってもよい。このように、禁止領域は、作業において作業者が誤った領域に部品を装着することを検出するための領域である。
なお、センサ装置が図3に示す画角で撮影を行う撮像装置である場合、つまり当該撮像装置が複数の検出領域Ra~Rdの全てを含む画像を撮影可能である場合、撮像部60は、1つのカメラで構成されていてもよい。
図1を再び参照して、表示装置70は、作業指示装置10から取得した情報を画像として表示する。画像は、写真、動画、イラスト、文字等を含む。表示装置70は、液晶ディスプレイ等により実現される。表示装置70が出力した画像は作業者によって視認され、作業内容及び判定結果の確認等に用いられる。表示装置70は、判定結果として、現在行っている作業が正常に行われたことを示す情報、当該作業が正常に行われなかったことを示す情報、及び、当該作業が行われなかったことを示す情報などを表示する。
また、表示装置70は、現在行っている作業に関する情報を表示する。表示装置70は、例えば、作業手順、用いるドライバを特定する情報(例えば、ドライバ名)、ネジ締めを行う本数、ネジ締めの判定結果、及び、作業経過時間の少なくとも1つを表示する。表示装置70は、作業者が作業する上で邪魔にならない位置に配置される。
表示装置70は、作業指示装置10から取得した情報を出力する出力装置の一例である。なお、作業指示システム1は、出力装置として、表示装置70に替えて又は表示装置70とともに、出音装置(例えば、スピーカ)、プロジェクタなどの対象物(例えば、スクリーン)に情報を表示する装置、発光装置などの光(例えば、光の色)で情報を出力する装置などを有していてもよい。
[2.作業指示システムの基本動作]
次に、上記のような作業指示システム1における基本動作について、図4A~図4Cを参照しながら説明する。具体的には、作業指示装置10が作業者に作業指示する動作について説明する。作業指示装置10の各処理部が所定のアプリケーションプログラム(以降に置いて、専用アプリとも記載する)を実行することによって実現される。
まずは、記憶部13に格納されている作業指示画像等を用いて行われる基本動作について説明する。図4Aは、実施の形態に係る作業指示装置10の基本動作を説明するための第1図である。
図4Aに示すように、作業者は、まず専用アプリを起動させ、メニューに表示される項目に所定の情報を入力する。所定の情報とは、例えば、作業者及び作業者が行う作業を特定するための情報を含む。メニューに表示される項目は、例えば、作業者を特定する情報を入力する「作業者入力」、使用する作業端末を特定する「端末No.入力」、及び、作業する製品の品番を入力する「製品番号入力」である。また、メニューに表示される項目には、さらに過去に作業した際に取得した実績データの取り扱い、及び、画面のレイアウトの調整などが含まれる。
所定の情報が入力されると、表示装置70に作業に応じた画像が表示される。図4Bは、実施の形態に係る作業指示装置10の基本動作を説明するための第2図である。具体的には、作業指示装置10が表示装置70に表示する作業指示画像Pを示している。
図4Bに示すように、製品品種を設定(図4Bでは、「DEMO-2017」を設定)すると、表示装置70に作業指示画像Pが表示される。作業指示装置10は、作業者から操作を取得すると、当該操作に応じた作業指示画像Pを表示装置70に表示させる。作業指示画像Pには、製品品種、作業名p1(図4Bでは、「部品Aを取る」)、作業時の注意事項p2(図4Bでは、「確実に取ること」)、作業を説明する説明画像p3、及び、部品名p4(図4Bでは「部品A」)などが表示される。また、図示していないが、作業指示システム1は、出音装置を備えており、当該出音装置から説明画像p3に対応した作業指示が音声で出音される。なお、説明画像p3は、例えば動画である。また、作業名p1(作業内容)、注意事項p2、説明画像p3、及び、部品名p4などは、複数の作業それぞれに作成される。
これにより、作業者は、作業指示画像Pと音声とによる作業指示を受けることになる。作業指示装置10は、説明画像p3と音声とによる作業指示、文字による作業指示、及び、注意事項p2の表示等により、作業者の作業ミスの防止を支援することができる。また、例えば、作業者が熟練者である場合、表示装置70の説明画像p3を見なくても出音装置による音声指示で作業を行うことができる。また、例えば作業者が当該作業に慣れていない場合、表示装置70の説明画像p3を必要なときだけ見ることで作業を円滑に進めることができる。よって、作業指示装置10によれば、作業ミスの防止と習熟支援とを実現することができる。
なお、例えば、作業がドライバを用いる作業である場合、作業名p1は、使用するドライバ、ビスの種類、及び、ビス本数を含み、例えば「ドライバXで、ビス1を2ヶ所締付ける」と表示される。
また、作業指示画像Pには、さらに作業者の熟練度に応じて作業者区分を選択する選択画像が表示されていてもよい。図4Cは、実施の形態に係る作業指示装置10の基本動作を説明するための第3図である。
図4Cに示すように、作業者が作業を開始する前又は作業中に、ドロップダウンメニューなどをクリックすると、作業者の作業者区分を選択するための選択画像p5が表示される。図4Cの例では、「新人」、「通常」及び「熟練」の3つの区分が表示されている例を示しているが、作業者区分の数は特に限定されず、2以上であればよい。作業者が自身の作業者区分を選択することで、表示装置70における出力内容が変更されてもよい。作業指示装置10は、例えば、「新人」が選択されると、記憶部13に格納されている作業指示の全てを出力する。また、作業指示装置10は、例えば「通常」又は「熟練」が選択されると、複数の作業のうち予め設定された作業の作業指示の出力を行わなくてもよい。これにより、作業指示システム1は、作業者の熟練度に適した作業指示画像Pを出力することができる。
図4Bを再び参照して、作業指示画像Pには、経過時間表示バーp6が表示される。経過時間表示バーp6には、複数の作業の進捗率を示すバーと、進捗時間とが表示される。進捗率を示すバーには、現在作業中の作業の経過時間(経過時間表示バーp6の上段に示す「作業単位進捗」)、複数の作業それぞれの標準作業時間の累計(経過時間表示バーp6の中段に示す「累積作業ベース」)、及び、1サイクル動作中の経過時間(経過時間表示バーp6の下段に示す「全作業進捗」)が含まれる。標準作業時間は、予め設定されている。なお、作業者が行う複数の作業を要素作業とも記載する。1サイクル動作中とは、作業者が複数の作業を作業手順に沿って一通り行うことを1サイクルとした場合、作業者が複数の作業を作業手順に沿って行っている最中であることを意味する。
これにより、作業者は、経過時間表示バーp6を確認することで、標準時間が守れているか否かを確認することができ、作業ペースの維持に役立つ。よって、作業指示装置10によれば、作業者が作業時間を遵守することを支援することができる。なお、作業指示装置10は、作業中の経過時間が当該作業の標準時間の所定割合を超えると、作業者に注意を促してもよい。作業指示装置10は、例えば、作業単位進捗バー及び進捗時間の色を変化させることで注意を促してもよいし、出音装置に音声を出音させることで注意を促してもよい。作業指示装置10は、例えば、作業中の経過時間が当該作業の標準時間の70%を経過すると作業単位進捗バー及び進捗時間の色をオレンジ色とし、作業中の経過時間が当該作業の標準時間を経過すると作業単位進捗バー及び進捗時間の色をさらに注意を促す赤色にしてもよい。
なお、説明画像p3に示すように、ワッシャが複数種類あり、複数種類のワッシャのそれぞれが異なるケースに収容されている場合、説明画像p3において作業者が当該作業で取るワッシャが入ったケースが強調して表示されてもよい。
作業指示装置10は、現在の作業が正常に行われるたびに、次の作業に対応した作業指示画像Pを表示装置70に表示する。
作業指示装置10は、1サイクルの作業(作業者に割り当てられた複数の作業)が完了すると、作業結果を表示装置70に表示させてもよい。図4Dは、実施の形態に係る作業指示装置10の基本動作を説明するための第4図である。
図4Dに示すように、作業指示装置10は、1サイクルの完了時の作業時間を表示装置70に表示させてもよい。また、作業指示装置10は、さらに1サイクルの標準時間を合わせて表示装置70に表示させてもよい。
図4Bを再び参照して、作業指示画像Pには、作業の実績を示す実績情報p7が表示される。図4Bは、作業がドライバを用いる作業であり、作業指示画像Pには、ドライバを用いる作業における実績などを示す実績情報p7が表示されている例を示している。つまり、図4Bに示す実績情報p7を含む作業指示画像Pは、ドライバを用いる作業を行うときに表示される、ドライバ連携時の画像である。実績情報p7として、例えば、作業結果(図4Bに示す「OK」)、当該作業に用いるドライバ名(図4Bに示す「ドライバX」)、パルス、カウント、及び、NG回数が表示される。
作業結果は、ビス締めが成功したか否かの判定結果を示す。作業結果には、例えば、制御部12によりビスが適切に締め付けられた又は締め付けられていないと判定されるたびに、当該ビス締めに対する判定結果が表示される。作業結果は、例えば、ビス1本ごとに表示される。
ドライバ名は、当該ドライバを用いる作業で使用されるドライバを特定する情報を示す。ドライバ名に表示されているドライバのみが、動作可能な状態となっている。
パルスは、ビス締め作業ごとに表示される実績のパルス数である。
カウントは、制御部12によりビスが締め付けられたと判定された(例えば、OKと判定された)数を示す。具体的には、カウントには、「OK」判定されたビスの本数である実績本数(図4Bに示す「0」)と、当該作業において取り付けるビスの総数である計画本数(図4Bに示す「3」)とが表示される。
NG回数は、ビスの締め付けが失敗した回数である。NG回数は、制御部12によりビス締め付けが失敗したと判定されると、カウントアップされる。
このように実績情報p7が表示されることで、作業者は、ドライバを用いる作業における実績を確認することができる。また、作業者は、表示装置70に作業結果及びドライバ名等が表示されるので、作業結果及び使用するドライバの情報を容易に知ることができる。
なお、ドライバを用いない作業における実績情報p7は、現在行っている作業が正常に行われたことを示す情報、当該作業が正常に行われなかったことを示す情報、及び、当該作業が行われなかったことを示す情報などを含む。
また、作業指示画像Pには、説明画像p3の切り替えなど操作を行うための操作画像p8が表示される。例えば、マウス等で操作画像p8の所定のボタンを選択すると、当該ボタンに応じて説明画像p3等が切り替わる。操作画像p8のボタンは、例えば、現在表示されている説明画像p3を停止する又は停止した説明画像p3を再開するボタン、次の作業に進めるボタン、前の作業に戻すボタン、音声指示の読み上げを開始又は停止するボタンなどが含まれる。
なお、上記ボタンの替わりにキーボードで簡単に操作ができるようにショートカットキーが割り当てられていてもよい。また、作業指示システム1が収音装置(図示しないが、例えばマイクロフォン)を備えており、作業指示装置10は当該収音装置が取得した作業者の音声に基づいて、作業指示画像Pに表示される内容を変更してもよい。
これにより、作業者は、作業の進捗状況などに応じて作業指示画像Pの表示内容等を変更することができる。例えば、わかりにくかった部分の説明画像p3を再度表示することで、作業ミスの防止につながる。また、例えば、説明画像p3の説明が終了する前に作業が完了したときは、次に作業に進めることで、作業を円滑に進めることができる。
また、作業指示画像Pには、1サイクルの要素作業の一覧を示す作業一覧p9等の情報が表示されてもよい。
これにより、作業者は、現在の作業の前に行った作業及び現在の作業の後に行う作業の情報を知ることができる。
作業指示装置10は、例えば、現在行っている作業が終了したことを検出する(例えば、撮像装置40からの解析結果に基づいて検出する)と、表示装置70に出力する情報を次に行う作業の情報に自動的に切り替える。作業指示装置10は、例えば、表示装置70に表示する作業指示画像Pを次に行う作業の作業指示画像Pに自動で切り替える。なお、作業指示装置10は、作業指示画像P等を自動で切り替えることに限定されず、作業者からの操作(例えば、フットスイッチの操作)により、作業指示画像P等を切り替えてもよい。
[3.作業指示システムの動作]
次に、上記のような作業指示システム1の動作について、図5を参照しながら説明する。図5は、実施の形態に係る作業指示システム1の動作を示すシーケンス図である。なお、以下では、禁止領域が設定されていない例について説明する。また、作業手順は、作業1~作業nまであるとする。N番目の作業を作業Nとも記載する。また、図5では、撮像装置40(例えば、カメラ制御部50)において、画像データに基づいて画像解析が行われる例について説明するが、撮像装置40が画像解析を行うことに限定されない。
図5に示すように、作業指示装置10は、作業者の操作により、専用アプリを起動して所定の情報が入力されることで作業手順(1~n)を読み込む(S11)。作業指示装置10は、「作業者」及び「製品番号」が入力されることで、当該作業者が当該製造番号の作業を行う作業者であるか否かを判定することができる。作業指示装置10は、記憶部13に格納された複数の作業指示画像及び情報テーブルの中から所定の情報に応じた作業指示画像P、作業用テーブルT1、及び、検出用テーブルT2を取り出す。なお、読み込みには、作業指示装置10の外部の記録媒体(CD-ROM又はUSBメモリなど)から作業指示画像P、作業用テーブルT1、及び、検出用テーブルT2を読み込みことも含まれる。また、読み込みには、通信部11が外部の機器から通信により作業指示画像P、作業用テーブルT1、及び、検出用テーブルT2を取得することも、作業手順を読み込むことに含まれる。
次に、作業指示装置10は、作業Nの情報を読み出し、表示装置70に出力する(S12)。作業Nは、これから行う作業である。制御部12は、ステップS12において、作業Nに対応する作業指示画像P、及び、検出用テーブルT2から作業Nで動作させるカメラに関する情報(例えば、検出カメラ)を取得する。そして、制御部12は、作業Nに対応する作業指示画像Pを表示装置70に出力する。
表示装置70は、作業指示装置10から作業Nの情報を取得し、当該情報を表示する(S13)。これにより、作業者は、表示装置70を確認してから、又は、確認しつつ作業を行うことができる。なお、例えば、作業指示システム1が出力装置として出音装置を備える場合、ステップS13において、取得した情報に基づく音声が出力されてもよい。
次に、作業指示装置10は、作業Nにおける制御情報をカメラ制御部50に出力する(S14)。具体的には、作業指示装置10は、検出用テーブルT2に基づいて当該作業Nにおいて動作させるカメラ(つまり、検出領域を撮影するカメラ)を特定するための情報を含む制御情報を生成し、カメラ制御部50に出力する。なお、カメラが動作することで得られる画像は、静止画像であってもよいし、動画像であってもよい。
本実施の形態では、作業指示装置10は、作業1を例に説明すると、検出領域Raを撮影するためにカメラaを動作させ、かつ、それ以外の作業における検出領域Rb~Rdの撮影を停止するためにカメラb~dの動作を停止することを示す制御情報を生成し、カメラ制御部50に出力する。これは、第1領域(例えば、検出領域Ra)における第1部品(例えば、ビスA)の検出を有効とし、かつ、第2領域(例えば、検出領域Rb)における第2部品(例えば、ビスB)の検出を無効とすることの一例である。
カメラ制御部50は、制御情報を取得し、取得した制御情報に基づいて撮像部60を制御する(S15)。本実施の形態では、カメラ制御部50は、制御情報に基づいて、作業Nに対応するカメラのみを動作させるように撮像部60を制御する。なお、カメラ制御部50による撮像部60の制御は、これに限定されない。カメラ制御部50は、作業Nに対応するカメラ以外のカメラを動作させてもよい。
撮像部60は、作業Nに対応するカメラのみ動作し(S16)、作業Nに対応する検出領域を撮影した画像を示す画像データ(センシング結果の一例)をカメラ制御部50に出力する(S17)。また、センシング結果は、作業Nに対応するセンサが光センサである場合、例えば、検出領域の一部が遮光されたか否か、及び、遮光された回数の少なくとも一方を含む。なお、センシング結果の出力は、逐次実行されてもよいし、所定時間ごとに実行されてもよい。
カメラ制御部50は、撮像部60から画像データを取得し(S18)、取得した画像データを解析する(S19)。カメラ制御部50は、取得した画像データの画像解析により当該作業における部品の有無を検出する。そして、カメラ制御部50は、画像データ及び解析結果を作業指示装置10に出力する(S20)。画像データ及び解析結果の出力は、逐次実行されてもよいし、所定時間ごとに実行されてもよい。
カメラ制御部50は、ステップS15において作業Nに対応するカメラ以外のカメラも動作させている場合(例えば、全てのカメラa~dを動作させている場合)、ステップS20において、カメラa~dそれぞれの画像データから作業Nに対応するカメラの画像データのみ画像解析を行ってもよい。このように、カメラ制御部50は、撮像部60から取得した複数のカメラの画像データの中から、作業Nに対応するカメラの画像データを抽出し、抽出した画像データの画像解析を行ってもよい。そして、カメラ制御部50は、作業Nに対応する画像データ及び解析結果のみを作業指示装置10に出力してもよい。カメラ制御部50が作業Nに対応するカメラの画像データ及び解析結果のみを作業指示装置10に出力することは、第1領域(例えば、作業Nに対応する検出領域)における第1部品(例えば、作業Nに対応する部品)の検出を有効とし、かつ、第2領域(例えば、作業N以外の作業に対応する領域)における第2部品(例えば、作業N以外の作業に対応する部品)の検出を無効とすることの一例である。
なお、カメラ制御部50は、画像データに対して解析を行わなくてもよい。カメラ制御部50は、例えば、撮像部60から画像データを取得し、取得した画像データを作業指示装置10に出力する中継装置として機能してもよい。カメラ制御部50は、ステップS15において作業Nに対応するカメラ以外のカメラも動作させている場合(例えば、全てのカメラa~dを動作させている場合)、ステップS20において、全てのカメラa~dの画像データから作業Nに対応するカメラの画像データのみを作業指示装置10に出力してもよい。
このように、カメラ制御部50は、撮像部60から取得した複数のカメラの画像データの中から、作業Nに対応するカメラの画像データを抽出し、作業指示装置10に出力してもよい。カメラ制御部50が作業Nに対応するカメラの画像データのみを作業指示装置10に出力することは、第1領域における第1部品の検出を有効とし、かつ、第2領域における第2部品の検出を無効とすることの一例である。
また、カメラ制御部50は、撮像部60が図3に示す画角の画像を撮影するカメラを有する場合、画像データのうち、作業Nに対応する検出領域(例えば、作業1であれば検出領域Ra)においてのみ画像解析を行うことで、当該検出領域に作業Nに対応する部品が装着されたか否かを検出し、当該検出結果を作業指示装置10に出力してもよい。言い換えると、作業Nにおいて、作業Nに対応する検出領域と異なる検出領域に作業Nに対応する部品が装着されたか否かの検出結果は、作業指示装置10に出力されない。カメラ制御部50が画像データから作業Nに対応する検出領域の検出結果のみを作業指示装置10に出力することは、第1領域における第1部品の検出を有効とし、かつ、第2領域における第2部品の検出を無効とすることの一例である。また、カメラ制御部50は、撮像部60が図3に示す画角の画像を撮影するカメラを有する場合、画像データから作業Nに対応する検出領域を切り出し、切り出した画像データのみを作業指示装置10に出力してもよい。
次に、作業指示装置10は、カメラ制御部50から作業Nに対応する画像データ及び解析結果を取得する(S21)。作業指示装置10は、取得した画像データ及び解析結果に基づいて、作業Nが正常に行われたか否かを判定する(S22)。当該判定においては、後述する。そして、作業指示装置10は、判定した判定結果を表示装置70に出力する(S23)。判定結果(例えば、作業Nが正常に行われたことを示す情報)は、作業内容に含まれる。本実施の形態に係る作業内容は、少なくとも判定結果を含む。
表示装置70は、判定結果を取得し、取得した判定結果を表示する(S24)。これにより、作業指示装置10は、作業者に作業Nが正常に行われたか否かを知らせることができる。
作業用テーブルT1に含まれる作業手順(例えば、作業1~作業n)の全てが終了するまで、ステップS12~S24の処理が繰り返し実行される。なお、作業指示装置10は、ステップS22において、作業Nが正常に行われていないと判定した場合、作業Nが正常に行われていないことを示す判定結果を表示装置70に出力する。そして、作業指示装置10は、次の作業におけるステップS12以降の処理を実行しない。つまり、それ以降の作業は、行われない。
なお、上記では、作業指示装置10は、判定結果を表示装置70に直接出力する例について説明したが、作業指示装置10と表示装置70との通信を中継する中継装置(例えば、サーバ装置)に出力してもよい。作業指示装置10が当該中継装置に判定結果を出力することは、判定結果を表示装置70に出力することに含まれる。
なお、作業指示装置10は、判定結果を当該作業における作業指示画像Pに重ねて表示装置70に表示させてもよい。
次に、作業指示装置10の動作について、図6を参照しながら説明する。図6は、実施の形態に係る作業指示装置10の動作を示すフローチャートである。なお、図6に示す各ステップは、作業者に対する作業内容を表示するための表示ステップの一例である。
図6に示すように、制御部12は、作業手順の読み込みを行う(S31)。ステップS31は、図5に示すステップS11に相当する。そして、制御部12は、読み込んだ作業手順において、これから行う作業Nを作業1に設定する。つまり、制御部12は、N=1に設定する(S32)。ステップS33以降においては、主にN=1である場合について説明する。
次に、制御部12は、作業Nの情報を読み出し、読み出した作業Nの情報を表示装置70に出力する(S33)。制御部12は、作業Nが作業1である場合、作業1に対応する作業指示画像Pを表示装置70に出力する。
次に、制御部12は、作業Nの検出領域(第1領域の一例)を有効に設定する(S34)。作業Nの検出領域を有効にするとは、作業指示装置10が当該検出領域を撮影するカメラの画像データに基づく情報を用いて、ステップS36の判定を行うことを意味する。言い換えると、作業Nの検出領域以外の検出領域(第2領域の一例)を撮影するカメラの画像データを用いずに、後述するステップS36の判定を行うことを意味する。ステップS34は、第1領域における第1部品の検出を有効とし、かつ、第2領域における第2部品の検出を無効とすることの一例である。
具体的には、制御部12は、検出用テーブルT2に基づいて、制御情報を生成し、撮像装置40に出力する。作業Nが作業1である場合、ここでの制御情報は、例えば、作業1において画像データを取得するカメラであるカメラaを特定するための情報を含む。制御情報は、例えば、カメラa~カメラdのうちカメラaのみを動作させる指示を含んでいてもよい。ステップS34は、図5に示すステップS14に相当する。
次に、制御部12は、作業Nに対する検出結果を取得する(S35)。制御部12は、例えば、検出結果として、画像データ及び解析結果を取得する。制御部12は、作業Nが作業1である場合、例えば、カメラaが撮影した画像を示す画像データと、当該画像データにおける解析結果とを取得する。なお、制御部12は、撮像装置40から画像データ及び解析結果の少なくとも一方を取得すればよい。以降では、制御部12は、撮像装置40から画像データのみを取得し、取得した画像データに基づいて自装置において解析結果を取得する例について説明するが、撮像装置40から解析結果のみを取得してもよい。ステップS35は、図5に示すステップS21に相当する。なお、ステップS35は、例えば、作業ごとに複数回行われてもよい。
次に、制御部12は、画像データに基づいて、検出領域において部品が装着されたか否かを判定する(S36)。制御部12は、作業Nが作業1である場合、検出領域RaにおいてビスAが装着されたか否かを判定する。制御部12は、例えば、カメラaの画像データを画像解析することで検出領域RaにビスAが装着されたか否かを判定する。なお、画像解析の手法は特に限定される必要はなく、従来技術が用いられてもよい。ステップS36は、図5に示すステップS22に相当する。
制御部12は、例えば、画像データが作業1に対応する検出領域RaでビスAが検出されたことを示す場合、検出領域RaにビスAが装着されたと判定する。制御部12は、検出領域RaにビスAが装着されたと判定した場合(S36でYes)、作業1が正常に行われたことを示す情報を出力する(S37)。制御部12は、例えば、当該情報を表示装置70に出力する。ステップS37は、図5に示すステップS23に相当する。また、作業1が正常に行われたことを示す情報は、第1作業内容の一例である。
そして、制御部12は、読み出した作業手順に含まれる作業の全てが終了したか否かを判定する。具体的には、制御部12は、N=nであるか否かを判定する(S38)。制御部12は、N=nである場合(S38でYes)、処理を終了する。また、制御部12は、N=nではない場合(S38でNo)、次の作業へ進む(S39)。具体的には、制御部12は、N=n+1に設定し、ステップS33以降の処理を継続する。例えば、作業1の後に、作業2が行われる。例えば、ステップS37における作業2が正常に行われたことを示す情報は、第2作業内容の一例である。
これにより、作業N(第1作業の一例)における検出領域(第1領域の一例)において、当該作業Nに対応した部品(第1部品の一例)が検出された場合に、次の作業(第2作業の一例)を行うための情報が表示装置70に出力される。言い換えると、作業Nにおける検出領域において、当該作業Nに対応した部品が検出されなかった場合に、次の作業を行うための情報が表示装置70に出力されない。
また、制御部12は、検出領域を通過していないと判定した場合(S36でNo)、さらに、所定時間経過したか否かを判定する(S40)。所定期間は、作業Nを開始してからの経過時間であり、例えば、ステップS34において作業Nの検出領域を有効に設定したときからの経過時間であってもよい。
制御部12は、所定時間経過した場合(S40でYes)、作業Nが行われなかったことを示す情報を出力する(S41)。制御部12は、例えば、当該情報を表示装置70に出力する。そして、制御部12は、処理を終了する。ステップS41は、図5に示すステップS23に相当する。また、制御部12は、所定時間経過していない場合(S40でNo)、ステップS35に戻り処理を継続する。なお、作業Nが行われなかったことを示す情報は、第1作業内容の一例である。
図7Aは、第1領域(例えば、検出領域Ra)の第1部品(例えば、ビスA)の検出が有効となっている様子を示す図である。具体的には、図7Aは、作業1において、検出領域RaにビスAが装着されたか否かを判定するために、カメラaが検出領域Raを撮影している様子を示す。なお、図7Aにおける斜線ハッチングは、検出が有効となっている検出領域を示す。
図7Aに示すように、本体部100には、作業1~作業4のうち、作業1に対応する部品であるビスAのみが装着されている。このとき、カメラ制御部50は、検出領域RaのビスAの検出が有効となるように撮像部60を制御する。カメラ制御部50は、例えば、カメラa~dのうち、カメラaのみを動作させる。これにより、検出領域RaにビスAが装着されているか否かに基づいて、作業1が正常に行われたか否かを判定することができる。
例えば、作業1において、カメラa~dのそれぞれが動作しており、かつ、検出領域Ra~Rdのそれぞれにおいて、部品が装着されたか否かの判定が行われると、検出領域Ra以外の領域においては、部品が装着されていないと判定され、作業1が正常に行われていないといった誤判定が行われることがある。本実施の形態に係る作業指示装置10によれば、検出領域Ra以外の領域における検出が行われないので、このような誤判定が行われることを抑制することができる。
次に、作業1~作業3が行われた後に、作業4が行われる場合について説明する。図7Bは、第2領域(例えば、検出領域Rd)のビスDの検出が有効となっている様子を示す図である。
図7Bに示すように、本体部100には、作業1~作業4に対応する部品であるビスA、ビスB、プレートC、及び、ビスDのそれぞれが装着されている。このとき、カメラ制御部50は、検出領域RdのビスDの検出が有効となるように撮像部60を制御する。カメラ制御部50は、例えば、カメラa~dのうち、カメラdのみを動作させる。これにより、検出領域RdにビスDが装着されているか否かに基づいて、作業4が正常に行われたか否かを判定することができる。
例えば、作業4おいて、カメラa~dのそれぞれが動作しており、かつ、検出領域Ra~Rdのそれぞれにおいて、部品が装着されたか否かの判定が行われると、プレートCに覆われているビスAはカメラaにより検出することができないので、ビスAが装着されていないと判定され、作業1が正常に行われていないといった誤判定が行われることがある。そのため、上記のように、作業4においては、作業4に対応する検出領域RdのビスDの検出のみが行われるとよい。
なお、作業4において、カメラa~dのそれぞれが動作しており、かつ、検出領域Ra~Rdのそれぞれにおいて、部品が装着されたか否かの判定が行われてもよい。この場合、作業4に対応するビスDの判定結果のみが採用され、作業4が正常に行われたか否かが判定される。これも、検出領域Rd(第1領域の一例)におけるビスD(第1部品の一例)の検出を有効とし、かつ、検出領域Ra(第2領域の一例)におけるビスA(第2部品の一例)の検出を無効とすることの一例である。
上記のように、作業指示装置10は、作業Nに対応した検出領域における作業Nに対応した部品の検出を有効に設定し、当該検出領域を撮影した画像データに基づいて、作業Nが正常に行われたか否かを判定する。また、作業指示装置10は、作業Nに応じた検出領域以外の検出領域における、当該作業に対応した部品の検出を無効に設定する。つまり、作業指示装置10は、作業Nに応じた検出領域以外の検出領域の画像データを用いずに、上記の判定を行う。
[4.効果など]
以上説明したように、本実施の形態に係る作業指示方法(作業表示方法の一例)は、第1領域に第1部品が装着され、かつ、第1領域と異なる第2領域には第1部品が装着されない作業である第1作業と、第2領域に第2部品が装着され、かつ、第1領域には第2部品が装着されない作業である第2作業とを含む複数の作業を行う作業者に対して作業内容を表示するための作業表示方法である。作業表示方法は、第1作業における第1作業内容を表示するための第1表示ステップと、第2作業における第2作業内容を表示するための第2表示ステップとを含む。第1表示ステップでは、第1領域における第1部品の検出を有効とし、かつ、第2領域における第2部品の検出を無効とし(S34)、撮像部60(センサ部の一例)から取得された画像データ(センシング結果の一例)に基づいて第1領域において第1部品が検出された場合(S36でYes)に、第1作業が正常に行われたことを示す情報を第1作業内容として表示装置70に出力する(S37)。第2表示ステップでは、第2領域における第2部品の検出を有効とし、かつ、第1領域における第1部品の検出を無効とし(S34)、撮像部60(センサ部の一例)から取得されたセンシング結果に基づいて第2領域において第2部品が検出された場合(S36でYes)に、第2作業が正常に行われたことを示す情報を第2作業内容として表示装置70に出力する(S37)。
例えば、第1作業を行う場合に、第2領域における検出が有効であると、第1領域及び第2領域のそれぞれの画像データに基づいて、第1作業が正常に行われたか否かが判定される。この場合、第1作業が正常に行われていたとしても、第2領域において第2作業に対応する部品が検出されなかった場合又は、第2領域において第1作業に対応する部品が検出された場合、第1作業が正常に行われなかったと判定される場合がある。つまり、誤検出される場合がある。
一方、本実施の形態に係る作業指示方法(作業表示方法の一例)は、第2作業において、第1領域における検出が無効となるので、第1作業が正常に行われたか否かの判定に対して誤検出されることを抑制することができる。例えば、第1作業の後に第2作業が行われる場合、第1作業と第2作業との間で行われる作業において、第1作業の第1部品の少なくとも一部が隠れてしまうことがある。その状態で第2作業において、第1作業の部品の検出が行われると、当該部品の検出が正確に行われずに誤検出となることがあるが、本実施の形態に係る作業指示方法によれば、このような誤検出が発生することを抑制することができる。
また、本実施の形態に係る作業指示方法は、第1作業において、第2領域における検出が無効となるので、第1作業における当該第1作業が正常に行われたか否かを判定する処理の処理量を削減することができる。例えば、カメラが撮影した画像に基づいて、第1作業が正常に行われたか否かを判定するための画像処理の負荷を軽減することができる。
よって、本実施の形態に係る作業指示方法によれば、判定処理における処理負担を軽減しつつ、かつ、誤検出を抑制することができる。
また、センサ部は、センシング結果として、第1領域及び第2領域を含む画像を撮影する撮像部60を有する。
これにより、撮像部60により撮影された画像を示す画像データ(センシング結果の一例)に基づいて、作業が正常に行われたか否かを判定することができる。例えば、画像データの画像解析結果(例えば、部品の、位置、形状、色など)を用いる場合、作業が正常に行われたか否かの判定を、より正確に行うことができる。言い換えると、本実施の形態に係る作業表示方法によれば、誤検出をより抑制することができる。
また、第2作業は、第1作業の後に続けて行われる作業であり、第1表示ステップでは、さらに、表示装置70に第1作業を行うための画像を表示し、第2表示ステップでは、さらに、第1表示ステップにおいて、第1部品が第1領域で検出された場合、表示装置70に第2作業を行うための画像を表示する。
これにより、第1作業が正常に行われた場合、次の作業を行うための画像が自動で表示されるので、作業効率が向上する。
また、以上説明したように、本実施の形態に係る作業指示装置10(作業表示装置の一例)は、第1領域に第1部品が装着され、かつ、第1領域と異なる第2領域には第1部品が装着されない作業である第1作業と、第2領域に第2部品が装着され、かつ、第1領域には第2部品が装着されない作業である第2作業とを含む複数の作業を行う作業者に対して作業内容を表示するための作業表示装置である。作業指示装置10は、第1作業が行われる場合に、第1領域における第1部品の検出を有効とし、かつ、第2領域における第2部品の検出を無効とし、かつ、第2作業が行われる場合に、第2領域における第2部品の検出を有効とし、かつ、第1領域における第1部品の検出を無効とする制御部12と、第1作業が行われる場合に、撮像部60(センサ部の一例)から取得された画像データ(センシング結果の一例)に基づいて第1領域において第1部品が検出されたときに、第1作業が正常に行われたことを示す情報を第1作業内容として表示装置70に出力し、かつ、第2作業が行われる場合に、撮像部60から取得された画像データに基づいて第2領域において第2部品が検出されたときに、第2作業が正常に行われたことを示す情報を第2作業内容として表示装置70に出力する通信部11(出力部の一例)とを備える。
これにより、上記の作業指示方法と同様の効果を奏する。
(実施の形態の変形例1)
次に、実施の形態の変形例1に係る作業指示方法について、図8及び図9を参照しながら説明する。図8は、実施の形態の変形例1に係る作業指示装置10の動作を示すフローチャートである。なお、図8に示す各ステップは、作業者に対する作業内容を表示するための表示ステップの一例である。
なお、本変形例に係る作業指示装置の構成は、実施の形態に係る作業指示装置10と同様であり、説明を省略する。また、図8におけるフローチャートにおいても、図6におけるフローチャートと同様の処理については、同一の符号を付し、説明を省略又は簡略化する。
図8に示すように、制御部12は、ステップS33で作業Nの読み出しを行った後、作業Nの検出領域及び禁止領域を有効に設定する(S134)。作業Nの検出領域及び禁止領域を有効にするとは、作業Nの検出領域及び禁止領域を撮影するカメラの画像データを用いて、後述するステップS136及びS142の判定を行うことを意味する。ステップS134は、第1領域(例えば、検出領域Ra)における第1部品(例えば、ビスA)の検出を有効とし、かつ、第2領域(例えば、検出領域Rc)における第2部品(例えば、プレートC)の検出を無効とし、さらに、禁止領域である第3領域(例えば、検出領域Rb及びRd)における第1部品の検出を有効にすることの一例である。
具体的には、制御部12は、検出用テーブルT2に基づいて、制御情報を生成し、撮像装置40に出力する。作業Nが作業1である場合、ここでの制御情報は、カメラa~カメラdのうちカメラa、b及びdのみを動作させる指示を含んでいてもよい。制御情報は、作業1に対応する検出カメラであるカメラa及び作業1に対応する禁止カメラであるカメラb及びdのそれぞれの画像データを作業指示装置10に出力する指示を含んでもよい。ステップS134は、図5に示すステップS14に相当する。
次に、制御部12は、撮像装置40から作業Nに対する検出結果を取得する(S135)。制御部12は、例えば、画像データ及び解析結果を取得する。制御部12は、作業Nが作業1である場合、カメラa、b及びdのそれぞれの画像データと、当該画像データにおける解析結果とを取得する。なお、制御部12は、画像データ及び解析結果のうち少なくとも画像データを検出結果として撮像装置40から取得すればよい。以降では、制御部12は、ステップS135において、画像データのみを撮像装置40から取得した例について説明する。ステップS135は、図5に示すステップS21に相当する。なお、ステップS135は、例えば、作業ごとに複数回行われてもよい。
次に、制御部12は、画像データに基づいて、検出領域において部品が装着されたか否かを判定する(S36)。制御部12は、検出領域に部品が装着されたと判定した場合(S36でYes)、さらに、画像データに基づいて、部品が禁止領域に装着されたか否かを判定する(S142)。具体的には、制御部12は、禁止カメラの画像データに基づいて、作業Nに対応する部品が禁止領域に装着されたか否かを判定する。制御部12は、作業Nが作業1である場合、カメラb及びdの画像データが作業1に対応する禁止領域である検出領域Rb及びRdでビスAを検出していないことを示す場合、禁止領域にビスAが装着されていないと判定する。ステップS36及びS142の判定に用いられる画像データは、例えば、同時刻に撮影された画像を示す画像データであってもよい。ステップS36及びS142は、図5に示すステップS22に相当する。
ここで、作業1における検出領域及び禁止領域について、図9を参照しながら説明する。図9は、作業1に対応する禁止領域が有効となっている様子を示す図である。図9に示す左下がり斜線は、作業1における検出領域を示し、右下がり斜線は、作業1における禁止領域を示す。
図9に示すように、作業1においては、検出領域RaにおけるビスAの検出が有効に設定されている。これにより、作業1において、カメラaの画像データに基づいて、検出領域RaにビスAが装着されたか否かの判定(S36に示す判定)を行うことができる。図9の例では、本体部100の検出領域RaにビスAが装着されているので、作業指示装置10は、ステップS36においてYesと判定する。
また、作業1においては、検出領域Rb及びRdにおけるビスAの検出が有効に設定されている。これにより、作業1において、カメラb及びdの画像データに基づいて、作業1における禁止領域である検出領域Rb及びRdに誤ってビスAが装着されたか否かの判定(S142に示す判定)を行うことができる。図9の例では、本体部100の作業1における禁止領域(検出領域Rb及びRd)にビスAが装着されていないので、作業指示装置10は、ステップS142においてNoと判定する。
図8を再び参照して、制御部12は、禁止領域に部品が装着されていないと判定した場合(S142でNo)、作業Nが正常に行われたことを示す情報を出力する(S37)。制御部12は、例えば、当該情報を表示装置70に出力する。
また、制御部12は、禁止領域に部品が装着されたと判定した場合(S142でYes)、作業Nが正常に行われなかったことを示す情報を出力する(S143)。そして、制御部12は、処理を終了する。なお、ステップS37、S41、及び、S143は、図5に示すステップS23に相当する。また、例えば、作業1が正常に行われなかったことを示す情報は、第1作業内容の一例である。
上記のように、作業指示装置10は、作業に応じた検出領域及び禁止領域を有効に設定し、当該検出領域を撮影するカメラ、及び、当該禁止領域を撮影するカメラのみの画像データに基づいて、作業が正常に行われたか否かを判定する。また、作業指示装置10は、作業に応じた検出領域及び禁止領域以外の領域の検出を無効に設定する。
なお、図2Bに示すように、禁止カメラが設定されていない作業(例えば、作業3及び4など)においては、ステップS142の処理は行われなくてもよい。この場合、ステップS36でYesであった場合、ステップS37に進む。制御部12は、例えば、ステップS36でYesであった場合、検出用テーブルT2に基づいて(例えば、当該作業において禁止カメラが設定されているか否かに基づいて)、ステップS142の判定処理を実行するか否かの判定を行ってもよい。
以上説明したように、本変形例に係る作業指示方法(作業表示方法の一例)は、第1領域及び第2領域と異なる第3領域であって、第1作業において第1部品の装着が禁止されている第3領域を含み、第1表示ステップでは、さらに、第3領域における第1部品の検出を有効とし(S134)、撮像部60(センサ部の一例)から取得された画像データ(センシング結果の一例)に基づいて第3領域において第1部品が検出されていない場合に、第1作業が正常に行われたことを示す情報を第1作業内容として表示装置70に出力する(S37)。
これにより、作業が正常に行われたか否かの判定を、さらに、第1部品が禁止領域で検出されたか否かに基づいて行うことができる。例えば、第1領域及び第3領域のうち第1領域においてのみ、第1部品が検出された場合、作業者は正しい作業を行っている。そのため、本変形例に係る作業表示方法によれば、第1部品が第1領域で検出され、かつ、第3領域で検出されていない場合、作業が正常に行われたと判定する。よって、作業が正常に行われたか否かをより正確に判定することができる。
また、第1表示ステップでは、さらに、第3領域において第1部品が検出された場合(S142でYes)に、第1作業が正常に行われなかったことを示す情報を第1作業内容として表示装置70に出力する(S143)。
これにより、作業者に作業が正常に行われなかったことを知らせることができる。例えば、第1領域及び第3領域の双方において、第1部品が検出された場合、作業者は、誤った作業を行っている(例えば、第3領域に第1部品を装着している)可能性がある。そのため、本変形例に係る作業表示方法によれば、第1部品が第3領域で検出された場合、つまり誤った作業を行っている可能性がある場合には、第1部品が第1領域で検出されていても、作業が正常に行われなかったと判定する。よって、作業が正常に行われたか否かをより正確に判定することができる。
また、作業が正常に行われなかったことを示す情報に、第1部品が第3領域(禁止領域)で検出されたことを示す情報が含まれる場合、作業者は第1部品が第3領域で検出されたことにより作業が正常に行われなかったと判定されたことを知ることができる。例えば、第3領域が第1部品と類似する部品を装着する領域である場合、作業者は、部品の取り間違いをしていないかを確認することができる。
(実施の形態の変形例2)
次に、実施の形態の変形例2に係る作業指示方法について、図10を参照しながら説明する。図10は、実施の形態の変形例2に係る作業指示装置10の動作を示すフローチャートである。なお、図10に示す各ステップは、作業者に対する作業内容を表示するための表示ステップの一例である。
なお、本変形例に係る作業指示装置の構成は、実施の形態に係る作業指示装置10と同様であり、説明を省略するが、カメラa~dのそれぞれは、例えば、カラーカメラである。また、図10におけるフローチャートにおいても、図6におけるフローチャートと同様の処理については、同一の符号を付し、説明を省略又は簡略化する。
図10に示すように、制御部12は、ステップS34で作業Nの検出領域を有効に設定した後、撮像装置40から作業Nに対する検出結果を取得する(S335)。制御部12は、例えば、画像データ及び解析結果を取得する。制御部12は、作業Nが作業1である場合、カメラaの画像データと、当該画像データにおける解析結果とを取得する。ここでの解析結果は、例えば、検出領域に装着された部品の色に関する情報を含む。つまり、制御部12は、ステップS335において、解析結果として部品の色に関する情報を取得する。解析結果は、撮像装置40から取得してもよいし、撮像装置40から取得した画像データを自装置で画像処理することで取得してもよい。ステップS335は、図5に示すステップS21に相当する。
次に、制御部12は、画像データに基づいて、検出領域において部品が装着されたか否かを判定する(S36)。制御部12は、検出領域に部品が装着されたと判定した場合(S36でYes)、さらに、解析結果に基づいて、所定の色を検出したか否かを判定する(S242)。制御部12は、例えば、解析結果と、検出用テーブルT2とに基づいて、所定の色を検出した否かを判定する。
制御部12は、作業1を例に説明すると、作業1に対応する検出領域Raに装着されたビスAの色が検出用テーブルT2に示す検出色「青」と同じである場合に、所定の色を検出したと判定する。ステップS36及びS242は、図5に示すステップS22に相当する。
制御部12は、所定の色を検出した場合(S242でYes)、ステップS37に進み、以降の処理を実行する。また、制御部12は、所定の色を検出しなかった場合(S242でNo)、作業Nが正常に行われなかったことを示す情報を出力する(S243)。そして、制御部12は、処理を終了する。なお、ステップS37、S41、及び、S243は、図5に示すステップS23に相当する。
上記のように、作業指示装置10は、作業に応じた検出領域の検出を有効に設定し、作業に応じた検出領域に部品が装着されたか否か、及び、所定の色を検出したか否かにより、作業が正常に行われたか否かを判定するための制御を行う。
なお、検出色が設定されていない作業においては、ステップS36でYesと判定されると、ステップS37に進む。制御部12は、例えば、検出用テーブルT2に基づいて(例えば、当該作業において検出色が設定されているか否かに基づいて)、ステップS242の判定処理を実行するか否かの判定を行ってもよい。
以上説明したように、本変形例に係る作業指示方法(作業表示方法の一例)における画像は、第1領域及び第2領域における色に関する情報を含む。
これにより、色の情報を用いて作業が正常に行われたか否かを判定することができるので、より正確に上記判定を行うことができる。また、例えば、禁止領域が設定されている場合に、禁止領域において所定の色が検出されなかった場合に作業が正常に行われたと判定されることで、誤検出をより抑制することができる。
また、色に関する情報は、第1作業及び第2作業の少なくとも一方において用いられる部品の色を含む。
これにより、例えば、作業者が作業において用いる部品と形状が類似しており色が異なる部品を誤って装着した場合に、部品の色により検出することができる。よって、作業が正常に行われたか否かをさらに正確に判定することができる。
(その他の実施の形態)
以上、実施の形態及び各変形例(以降において、実施の形態等とも記載する)について説明したが、本発明は、このような実施の形態等に限定されるものではない。
例えば、上記実施の形態等では、1つの作業に対する検出領域が1つである例について説明したが、検出領域は複数あってもよい。
また、上記実施の形態等では、禁止領域には、検出領域のうち現在の作業以外の検出領域が設定される例について説明したが、これに限定されない。禁止領域は、検出領域とは別の領域であってもよい。つまり、禁止領域と検出領域とは、互いに異なる領域であってもよい。
また、上記実施の形態等における作業指示装置10の動作(図6、図8、又は、図10に示す動作)は、検出用テーブルT2に含まれる情報に基づいて、作業ごとに切り替えられてもよい。例えば、作業1及び2においては、禁止カメラが設定されているので、図8に示す判定処理(S36以降の処理)が実行され、作業3及び4においては、禁止カメラが設定されていないので、図6に示す判定処理(S36以降の処理)が実行されてもよい。
また、上記実施の形態等では、カメラ制御部50が画像データに対して画像解析処理を行う例について説明したが、作業指示装置10の制御部12が当該画像解析処理を行ってもよい。
また、上記実施の形態等では、作業指示装置10は、読み出した作業Nの情報を表示装置70に出力する(例えば、図6に示すS33を参照)例について説明したが、当該情報を表示装置70に出力する処理を行わなくてもよい。
また、上記実施の形態等では、検出領域に当該検出領域に対応する部品が検出された場合に、作業が正常に行われたと判定される例について説明したが、これに限定されない。部品がビスである場合、ステップS36において、ビス締め作業におけるパルス数が上下限パルス数(図2Aを参照)内であり、かつ、検出領域において当該ビスが検出された場合に、検出領域に部品が装着された、つまり作業が正常に行われたと判定されてもよい。
また、上記実施の形態等では、1つの作業に対して1つの部品が取り付けられる例について説明したが、これに限定されない。1つの作業に対して、複数の部品(例えば、複数種類の部品)が取り付けられてもよい。また、1つの検出領域に1つの部品が対応付けられている例について説明したが、これに限定されない。1つの検出領域に複数の部品が対応付けられていてもよい。第1作業では、例えば、第1領域に2以上の部品を含む第1部品が取り付けられてもよい。そして、カメラaは、2以上の部品を含む第1部品を検出可能に設けられてもよい。
また、上記実施の形態等では、検出領域Ra~Rdをそれぞれ異なるカメラで撮影する例について説明したが、これに限定されない。作業指示システム1は、例えば、水平方向及び垂直方向に回動可能に支持された1台のカメラを有し、検出領域に応じてカメラを回動させることで、検出領域Ra~Rdを別々に撮影してもよい。これにより、作業指示システム1におけるカメラの必要台数を減らすことができる。
また、上記実施の形態等では、部品が装着されることは、ビスがネジ締めされること、及び、プレートが取り付けられることである例について説明したが、これに限定されない。部品が装着されることは、例えば、部品が接合部材(例えば、半田など)により本体部100の検出領域に接合されること、及び、部品がビスなどの締結部材により本体部100の検出領域に固定されることなどを含む。
また、上記実施の形態等では、作業指示装置10と接続される表示装置70が1台である例について説明したが、これに限定されない。例えば、作業者が作業1~4のそれぞれを異なる作業台等で行う場合、作業台のそれぞれに表示装置70が配置されていてもよい。
また、上記実施の形態等では、作業者が行う作業は、工具(例えば、ドライバ)を用いる作業と、工具を用いない作業とを含む例について説明したが、これに限定されない。作業者が行う作業は、例えば、工具を用いない作業のみであってもよい。
また、上記実施の形態等では、工具はドライバである例について説明したが、これに限定されない。工具は、作業指示装置10と通信可能に接続され、作業指示装置10からの制御情報により制御可能なものであればよい。工具は、例えば、ドライバ以外の工具(例えば、電動工具)であってもよいし、治具(例えば、検査治具など)であってもよい。
また、図1に示すブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを1つの機能ブロックとして実現したり、1つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
また、上記実施の形態等では、作業指示装置10及び撮像装置40のそれぞれは、単一の装置で実現されていたが、互いに接続された複数の装置で実現されてもよい。
また、上記実施の形態等における作業指示システム1が備える装置間の通信方式については特に限定されるものではない。装置間では、無線通信が行われてもよいし、有線通信が行われてもよい。無線通信方式としては、例えば、IEEE802.15.1で規格されているWiFi(登録商標)、Bluetooth(登録商標)、ZigBee(登録商標)等のような無線通信方式が用いられる。
また、フローチャートにおける各ステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。例えば、上記ステップの一部が、他のステップと同時(並列)に実行されてもよいし、他のステップと順番が入れ替えられて実行されてもよい。
また、上記実施の形態等における作業指示装置10及び撮像装置40が備える構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。例えば、作業指示装置10の制御部12、及び、撮像装置40のカメラ制御部50などの処理部を有するシステムLSIから構成されてもよい。
システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM(Read Only Memory)、RAM(Random Access Memory)などを含んで構成されるコンピュータシステムである。ROMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。
なお、ここでは、システムLSIとしたが、集積度の違いにより、IC、LSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)、あるいはLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
また、本発明の一態様は、作業指示方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムであってもよい。また、本発明の一態様は、そのようなコンピュータプログラムが記録された、コンピュータ読み取り可能な非一時的な記録媒体であってもよい。
なお、上記実施の形態等において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
その他、実施の形態に対して当業者が思いつく各種変形を施して得られる形態、または、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本発明に含まれる。