JP2024005094A - ロボット教示装置、外観検査システムおよびロボット教示方法 - Google Patents

Abstract

【課題】ワークの外観の検査漏れがないかまたは少ないロボットの動作の教示を容易に行うことが可能なロボット教示装置を提供する。
【解決手段】このロボット教示装置１は、ワークＷを撮像する撮像部２と、ワークＷに照明光を照射する照明部３と、撮像部２および照明部３を移動させてワークＷの外観検査を行うロボット４と、を備える外観検査システム１００のためのロボット教示装置１であって、表示部１１と、表示部１１上でロボット４の動作の教示を行う場合に、ワークＷにおける照明光の反射の状態をシミュレーションにより取得し、取得した照明光の反射の状態に関する画像を表示部１１に表示させる処理部１３と、を備える。
【選択図】図１

Description

この開示は、ロボット教示装置、外観検査システムおよびロボット教示方法に関する。

従来、教示装置が知られている（たとえば、特許文献１参照）。

上記特許文献１には、ビジョンセンサ用のオフライン教示装置が開示されている。このオフライン教示装置は、ワーク、ワークに対して作業を行うロボットおよびワークの計測を行うビジョンセンサの形状および寸法を記憶する記憶装置と、記憶装置に記憶されたデータに基づいて、ワーク、ロボットおよびビジョンセンサの画像を表示するディスプレイとを備える。このオフライン教示装置は、ディスプレイ上でワーク、ロボットおよびビジョンセンサを配置してビジョンセンサの教示および調整をオフラインで行うことが可能なように構成されている。具体的には、このオフライン教示装置は、ディスプレイ上でカメラを配置して、配置したカメラでワークの計測部位を撮像して、撮像した計測部位のカメラ画像を生成するように構成されている。

特許第４２６６９４６号公報

しかしながら、上記特許文献１に記載されたオフライン教示装置の技術は、ビジョンセンサの教示をオフラインで行う技術であるため、ロボットにより撮像部またはワークを移動させてワークの外観を検査する外観検査システムにおいて、ロボットの動作の教示をオフラインで行う用途に適用することが困難である。ここで、このような外観検査システムでは、ロボットの動作の教示をオフラインで行う段階では、撮像部により撮像された画像に基づいてワークのどの部分が検査されているかが精度よく分からないため、ワークの外観の検査漏れが発生するという不都合がある。このため、ワークの外観の検査漏れがないかまたは少ないロボットの動作の教示を行うことが困難であるという問題点がある。

この開示は、上記のような課題を解決するためになされたものであり、ワークの外観の検査漏れがないかまたは少ないロボットの動作の教示を容易に行うことが可能なロボット教示装置、外観検査システムおよびロボット教示方法を提供することである。

この開示の第１の局面によるロボット教示装置は、ワークを撮像する撮像部と、ワークに照明光を照射する照明部と、撮像部および照明部、または、ワークを移動させてワークの外観検査を行うロボットと、を備える外観検査システムのためのロボット教示装置であって、表示部と、表示部上でロボットの動作の教示を行う場合に、ワークにおける照明光の反射の状態をシミュレーションにより取得し、取得した照明光の反射の状態に関する画像を表示部に表示させる処理部と、を備える。

この開示の第１の局面によるロボット教示装置では、上記のように、表示部上でロボットの動作の教示を行う場合に、ワークにおける照明光の反射の状態に関する画像をシミュレーションにより取得し、取得した照明光の反射の状態を表示部に表示させる処理部を設ける。ここで、ワークの外観検査を行う場合には、撮像部により撮像された画像の全範囲がワークの外観検査に寄与するわけではなく、撮像部により撮像された画像のうち、照明光の反射量が大きく輝度が大きい高輝度部の範囲がワークの外観検査に寄与する。このため、高輝度部を把握すれば、ワークのどの部分が検査されているかが精度よく分かるので、ワークの外観の検査漏れがないかまたは少ないロボットの動作の教示を行うことが可能である。そこで、上記のように、照明光の反射の状態に関する画像を表示部に表示させることにより、表示部に表示された照明光の反射の状態に関する画像に基づいて、実際にワークの外観検査に寄与する高輝度部を容易に把握することができるので、ワークの外観の検査漏れがないかまたは少ないロボットの動作の教示を容易に行うことができる。

この開示の第２の局面による外観検査システムは、ワークを撮像する撮像部と、ワークに照明光を照射する照明部と、撮像部および照明部、または、ワークを移動させてワークの外観検査を行うロボットと、ロボット教示装置と、を備え、ロボット教示装置は、表示部と、表示部上でロボットの動作の教示を行う場合に、ワークにおける照明光の反射の状態をシミュレーションにより取得し、取得した照明光の反射の状態に関する画像を表示部に表示させる処理部と、を含む。

この開示の第２の局面による外観検査システムでは、上記のように、表示部上でロボットの動作の教示を行う場合に、ワークにおける照明光の反射の状態をシミュレーションにより取得し、取得した照明光の反射の状態に関する画像を表示部に表示させる処理部を設ける。これにより、表示部に表示された照明光の反射の状態に関する画像に基づいて、実際にワークの外観検査に寄与する高輝度部を容易に把握することができるので、ワークの外観の検査漏れがないかまたは少ないロボットの動作の教示を容易に行うことが可能な外観検査システムを提供することができる。

この開示の第３の局面によるロボット教示方法は、ワークを撮像する撮像部と、ワークに照明光を照射する照明部と、撮像部および照明部、または、ワークを移動させてワークの外観検査を行うロボットと、を備える外観検査システムのためのロボット教示方法であって、表示部上でロボットの動作の教示を行う場合に、ワークにおける照明光の反射の状態をシミュレーションにより取得することと、取得した照明光の反射の状態に関する画像を表示部に表示させることと、を備える。

この開示の第３の局面によるロボット教示方法では、上記のように、表示部上でロボットの動作の教示を行う場合に、ワークにおける照明光の反射の状態をシミュレーションにより取得することと、取得した照明光の反射の状態に関する画像を表示部に表示させることとを設ける。これにより、表示部に表示された照明光の反射の状態に関する画像に基づいて、実際にワークの外観検査に寄与する高輝度部を容易に把握することができるので、ワークの外観の検査漏れがないかまたは少ないロボットの動作の教示を容易に行うことが可能なロボット教示方法を提供することができる。

本開示によれば、上記のように、ワークの外観の検査漏れがないかまたは少ないロボットの動作の教示を容易に行うことができる。

一実施形態による外観検査システムを示した図である。 一実施形態によるロボット教示装置の教示点および移動経路の設定を説明するための図である。 一実施形態によるロボット教示装置の照明光の反射の状態を説明するための図である。 一実施形態によるロボットが所定の姿勢の場合の撮像画像への照明部の映り込みの状態を説明するための図である。 一実施形態による撮像部および照明部をロボットにより移動させた場合の撮像画像への照明部の映り込みの状態を説明するための図である。 一実施形態による検査領域の重畳表示を説明するための図である。 一実施形態による全ての検査領域の重畳表示を説明するための図である。 一実施形態による任意の複数の検査領域の重畳表示を説明するための図である。 一実施形態によるロボット教示装置を用いたオフライン教示の流れを説明するためのフローチャートである。

以下、本開示を具体化した実施形態を図面に基づいて説明する。

（外観検査システムの構成）
図１から図８を参照して、一実施形態による外観検査システム１００の構成について説明する。図１に示すように、外観検査システム１００は、検査対象のワークＷの外観を検査するためのシステムである。本実施形態では、ワークＷは、曲面を有する。外観検査システム１００は、ロボット教示装置１と、撮像部２と、照明部３と、ロボット４とを備える。

ロボット教示装置１は、ワークＷの外観検査を行うためのロボット４の動作の教示をオフラインで行うための装置である。ロボット教示装置１は、実機を用いずにシミュレーションにより表示画面上でロボット４の動作の教示を行うオフライン教示を行う。ロボット教示装置１は、たとえば、パーソナルコンピュータである。ロボット教示装置１は、表示部１１と、操作部１２と、処理部１３と、記憶部１４とを含む。表示部１１は、液晶モニタなどのモニタを含み、画面を表示する。操作部１２は、マウスおよびキーボードなどの入力装置を含み、ユーザの入力操作を受け付ける。処理部１３は、プロセッサを含み、ロボット教示装置１における各種の処理を行う。記憶部１４は、不揮発性メモリを含み、シミュレーションに用いられる撮像部２のモデルＭ１、照明部３のモデルＭ２、ロボット４のモデルＭ３およびワークＷのモデルＭ４などを記憶する。なお、ロボット教示装置１によるオフライン教示の詳細な構成については、後述する。

撮像部２と、照明部３と、ロボット４とは、ロボット教示装置１によるロボット４の動作の教示結果に基づいて、実際にワークＷの外観検査を行う装置である。撮像部２は、ワークＷを撮像するカメラである。照明部３は、ワークＷに照明光を照射する。ロボット４は、撮像部２および照明部３を移動させてワークＷの外観検査を行う。ロボット４は、垂直多関節ロボットであり、アーム部４１を含む。アーム部４１は、複数の関節を有する。また、アーム部４１は、撮像部２および照明部３を先端において一体的に保持する。ロボット４は、アーム部４１の複数の関節を駆動することにより、ワークＷに対して撮像部２および照明部３を移動させる。

ワークＷの外観検査では、照明部３によりワークＷに照明光が照射されながら、撮像部２によりワークＷの表面が撮像される。また、ロボット４により撮像部２および照明部３がワークＷに対して移動されながら、撮像部２によりワークＷの表面が撮像される。異物、傷および凹みなどのワークＷの表面の異常は、ワークＷの表面のどこに存在するか分からないため、基本的には、ワークＷの表面の全体が網羅されるようにワークＷが複数回に分けて撮像される。そして、撮像部２によるワークＷの撮像結果に基づいて、ワークＷの表面に異物、傷および凹みなどの異常が存在するか否かが検査される。

（オフライン教示）
処理部１３は、記憶部１４に記憶された撮像部２のモデルＭ１、照明部３のモデルＭ２、ロボット４のモデルＭ３およびワークＷのモデルＭ４に基づいて、シミュレーションによるオフライン教示を行う。処理部１３は、撮像部２、照明部３、ロボット４およびワークＷの少なくとも１つを表示部１１に表示させて、シミュレーションによるオフライン教示を行う。オフライン教示では、処理部１３は、図２に示すように、操作部１２を用いたユーザの入力操作に基づいて、ロボット４の動作の教示点Ｐおよび教示点Ｐにより規定される移動経路ＰＡとを表示部１１に表示させる。

また、本実施形態では、処理部１３は、ワークＷの曲面に略直交してワークＷの曲面に沿ったロボット４による移動経路ＰＡを取得し、取得した移動経路ＰＡを表示部１１に表示させる。具体的には、処理部１３は、表示部１１に表示されたワークＷの表面に対してユーザによりラインＬが入力された場合、ラインＬが通る箇所のワークＷの表面に略直交する法線ベクトルＶを作成する。法線ベクトルＶの先端が教示点Ｐである。これにより、処理部１３は、ワークＷの曲面に略直交してワークＷの曲面に沿った複数の教示点Ｐを取得する。また、処理部１３は、取得した複数の教示点Ｐに基づいて、ワークＷの曲面に略直交してワークＷの曲面に沿った移動経路ＰＡを取得する。なお、図２では、１つの移動経路ＰＡのみを図示している。

ここで、本実施形態では、図３～図７に示すように、処理部１３は、表示部１１上でロボット４の動作の教示を行う場合に、ワークＷにおける照明光の反射の状態をシミュレーションにより取得し、取得した照明光の反射の状態に関する画像を表示部１１に表示させる。図３に示すように、たとえば、処理部１３は、表示部１１に表示されたワークＷ上に照明光の反射の状態を表す画像を表示させる。また、たとえば、処理部１３は、ロボット４による撮像部２および照明部３の移動に応じて、表示部１１に表示されたワークＷ上の照明光の反射の状態を表す画像を変化させる。

また、本実施形態では、図４および図５に示すように、処理部１３は、照明光の反射の状態として、撮像部２によるワークＷの撮像画像ＩＭへの照明部３の映り込みの状態を取得し、取得した照明部３の映り込みの状態を含むワークＷの撮像画像ＩＭを表示部１１に表示させる。なお、撮像画像ＩＭは、照明光の反射の状態に関する画像の一例である。

具体的には、図４に示すように、処理部１３は、ロボット４が所定の姿勢の場合の照明部３の映り込みの状態を含むワークＷの撮像画像ＩＭを表示部１１に表示させる。すなわち、処理部１３は、所定の教示点Ｐでの照明部３の映り込みの状態を含むワークＷの撮像画像ＩＭを表示部１１に表示させる。なお、処理部１３は、どの教示点Ｐでも、照明部３の映り込みの状態を含むワークＷの撮像画像ＩＭを表示部１１に表示させることが可能である。処理部１３は、操作部１２を用いたユーザの入力操作に基づいて、この撮像画像ＩＭを表示させる。この撮像画像ＩＭは、照明光の反射量が大きく輝度が大きい高輝度部ＨＢを含む。高輝度部ＨＢは、撮像画像ＩＭに照明部３が映り込んだ部分ともいえる。

ここで、ワークＷの表面に異物、傷および凹みなどの異常が存在する場合には、高輝度部ＨＢに歪みなどの変化が発生する。このため、外観検査システム１００では、撮像部２により撮像された画像のうち、照明光の反射量が大きく輝度が大きい高輝度部ＨＢの変化に基づいて、ワークＷの外観が検査される。すなわち、ワークＷの外観検査を行う場合には、撮像部２により撮像された画像の全範囲がワークＷの外観検査に寄与するわけではなく、撮像部２により撮像された画像のうち、照明光の反射量が大きく輝度が大きい高輝度部ＨＢの範囲がワークＷの外観検査に寄与する。

また、本実施形態では、図５に示すように、処理部１３は、撮像部２および照明部３を移動経路ＰＡに沿ってロボット４により移動させた場合の照明部３の映り込みの状態を含むワークＷの撮像画像ＩＭを表示部１１に表示させる。具体的には、処理部１３は、撮像部２および照明部３を移動経路ＰＡに沿ってロボット４により移動させながら、撮像部２によりワークＷをスキャン撮像させた場合の照明部３の映り込みの状態を含むワークＷの撮像画像ＩＭを表示部１１に表示させる。なお、処理部１３は、どの移動経路ＰＡでも、照明部３の映り込みの状態を含むワークＷの撮像画像ＩＭを表示部１１に表示させることが可能である。処理部１３は、操作部１２を用いたユーザの入力操作に基づいて、この撮像画像ＩＭを表示させる。この撮像画像ＩＭは、移動経路ＰＡに対応する帯状の高輝度部ＨＢを含む。高輝度部ＨＢの幅は、ワークＷの曲面の変化に対応して変化している。具体的には、ワークＷの曲面の曲率が大きい部分では、高輝度部ＨＢの幅が小さくなり、ワークＷの曲面の曲率が小さい部分では、高輝度部ＨＢの幅が大きくなっている。なお、この撮像画像ＩＭは、実際にロボット４により検査動作を行った場合の画像に対応する。すなわち、実際にワークＷの外観検査を行う場合には、帯状の高輝度部ＨＢに基づいて、ワークＷの外観が検査される。

また、本実施形態では、図６～図８に示すように、処理部１３は、照明光の反射の状態として、撮像部２によるワークＷの撮像画像ＩＭへの照明部３の映り込みの状態を取得し、取得した照明部３の映り込みの状態に基づいて、ワークＷを検査することが可能な検査領域ＡＲを取得し、取得した検査領域ＡＲを表示部１１に表示されたワークＷ上に重畳して表示させる。この際、処理部１３は、撮像部２の視野内でかつ撮像部２から見た照明部３の映り込みの状態が適切であった領域、すなわち、高輝度部ＨＢに対応する領域を、検査領域ＡＲとして取得する。また、処理部１３は、ワークＷとは異なる色で、取得した検査領域ＡＲを表示部１１に表示されたワークＷ上に重畳して表示させる。すなわち、処理部１３は、取得した検査領域ＡＲを表示部１１に表示されたワークＷ上にカラーマッピングする。これにより、検査領域ＡＲを容易に視認することが可能である。なお、検査領域ＡＲは、照明光の反射の状態に関する画像の一例である。

また、本実施形態では、図６に示すように、処理部１３は、撮像部２および照明部３を移動経路ＰＡに沿ってロボット４により移動させた場合の帯状の検査領域ＡＲを取得し、取得した帯状の検査領域ＡＲを表示部１１に表示されたワークＷ上に重畳して表示させる。より具体的には、処理部１３は、撮像部２および照明部３を移動経路ＰＡに沿ってロボット４により移動させながら、撮像部２によりワークＷをスキャン撮像させた場合の帯状の検査領域ＡＲを取得し、取得した帯状の検査領域ＡＲを表示部１１に表示されたワークＷ上に重畳して表示させる。

また、本実施形態では、図７および図８に示すように、処理部１３は、複数の移動経路ＰＡに対応する複数の帯状の検査領域ＡＲを取得し、取得した複数の帯状の検査領域ＡＲを表示部１１に表示されたワークＷ上に重畳して表示させる。具体的には、処理部１３は、操作部１２を用いたユーザの入力操作に基づいて、ユーザにより指定された１または複数の移動経路ＰＡに対応する１または複数の帯状の検査領域ＡＲを表示部１１に表示されたワークＷ上に重畳して表示させる。たとえば、図７に示すように、処理部１３は、ユーザにより全ての移動経路ＰＡが指定された場合、全ての移動経路ＰＡに対応する複数の帯状の検査領域ＡＲを表示部１１に表示されたワークＷ上に重畳して表示させる。また、たとえば、図８に示すように、処理部１３は、ユーザにより任意の複数の移動経路ＰＡが指定された場合、任意の複数の移動経路ＰＡに対応する複数の帯状の検査領域ＡＲを表示部１１に表示されたワークＷ上に重畳して表示させる。また、処理部１３は、任意の複数の移動経路ＰＡに対応する複数の帯状の検査領域ＡＲを表示部１１に表示させる場合に、互いに異なる色で、複数の帯状の検査領域ＡＲを表示部１１に表示させる。

ユーザは、たとえば、まず、全ての移動経路ＰＡに対応する複数の帯状の検査領域ＡＲを表示部１１に表示させて（図７参照）、現在の移動経路ＰＡで検査されない部分が存在するか否かを確認する。帯状の検査領域ＡＲがワークＷに重ならずにワークＷの表面が視認される部分が存在する場合、ユーザは、現在の移動経路ＰＡで検査されない部分が存在すると判断する。そして、ユーザは、現在の移動経路ＰＡで検査されない部分が存在する場合、検査されない部分に関係する移動経路ＰＡとして検査されない部分に近い移動経路ＰＡを指定して、指定した移動経路ＰＡに対応する帯状の検査領域ＡＲを表示部１１に表示されたワークＷ上に重畳して表示部１１に表示させる（図８参照）。これにより、現在の移動経路ＰＡで検査されない部分および検査されない部分に関係する検査領域ＡＲの状態を容易に視認することが可能である。そして、ユーザは、現在の移動経路ＰＡで検査されない部分および検査されない部分に関係する検査領域ＡＲの状態に基づいて、検査されない部分が存在しなくなるように、教示点Ｐの修正を行う。また、教示点Ｐの修正を行った後に、検査領域ＡＲを再び表示部１１に表示させれば、検査されない部分が存在しなくなったかどうかを確認することが可能である。

（撮像部、照明部、ロボットおよびワークのモデル）
また、本実施形態では、記憶部１４は、複数の照明部３のモデルＭ２を記憶する。処理部１３は、記憶部１４に記憶された複数の照明部３のモデルＭ２のうち、操作部１２を用いたユーザの入力操作に基づいて選択されたモデルの照明部３に応じて、照明光の反射の状態をシミュレーションにより取得する。照明部３のモデルＭ２は、照明部３の寸法、照明部３の形状、照明部３の光源の種類、照明部３の光源の配置および照明光の色などの情報を含む。具体的には、複数の照明部３のモデルＭ２は、ライン型照明のモデルと、パターン型照明のモデルとを含む。ライン型照明のモデルとは、光源がライン状に配置されてライン状に照明光を照射する照明部３のモデルである。ライン型照明は、たとえば、ライン型カメラと組み合わせて用いられる。また、パターン型照明のモデルとは、光源が二次元的に配置されて格子状のパターンなどの所定のパターンの照明光を照射する照明部３のモデルである。パターン型照明は、たとえば、エリア型カメラと組み合わせて用いられる。

また、本実施形態では、記憶部１４は、複数の撮像部２のモデルＭ１を記憶する。処理部１３は、記憶部１４に記憶された複数の撮像部２のモデルＭ１のうち、操作部１２を用いたユーザの入力操作に基づいて選択されたモデルの撮像部２に応じて、撮像部２によるワークＷの撮像画像ＩＭを取得する。撮像部２のモデルＭ１は、撮像部２の寸法、撮像部２の形状、撮像部２の視野角、撮像部２のレンズから焦点が合うピント位置までの距離を表すワーキングディスタンスおよび撮像部２のイメージセンサの種類などの情報を含む。具体的には、複数の撮像部２のモデルＭ１は、ライン型カメラのモデルと、エリア型カメラのモデルとを含む。ライン型カメラのモデルとは、ライン状のイメージセンサを有してライン状にワークＷを撮像する撮像部２のモデルである。ライン型カメラによるワークＷの外観検査では、たとえば、ワークＷに対して撮像部２を移動させながらワークＷを連続的に撮像するスキャン撮像が行われる。また、エリア型カメラのモデルとは、二次元状のイメージセンサを有して二次元状の所定のエリアにおいてワークＷを撮像する撮像部２のモデルである。エリア型カメラによるワークＷの外観検査では、たとえば、ワークＷに対して撮像部２を移動させながらワークＷを断続的に撮像する断続撮像が行われる。なお、図３～図８では、ライン型カメラのモデルが選択されてスキャン撮像が行われる場合について図示している。また、エリア型カメラのモデルが選択されて断続撮像が行われる場合にも、図３～図８に示すような照明光の反射の状態に関する画像を表示部１１に表示することが可能である。

また、記憶部１４は、ロボット４のモデルＭ３およびワークＷのモデルＭ４を記憶する。ロボット４のモデルＭ３は、ロボット４の寸法およびロボット４の形状などの情報を含む。また、ワークＷのモデルＭ４は、ワークＷの寸法、ワークＷの形状、ワークＷの表面の色およびワークＷの表面の反射率などの情報を含む。本実施形態では、処理部１３は、ワークＷの表面の色および反射率に基づいて、照明光の反射の状態をシミュレーションにより取得する。すなわち、処理部１３は、ワークＷの表面の色による照明光の吸収を考慮して、照明光の反射の状態をシミュレーションにより取得する。また、処理部１３は、ワークＷの表面の色および反射率を変更するためのユーザーインターフェースを表示部１１に表示させてもよい。

（ロボット教示装置を用いたオフライン教示の流れ）
図９を参照して、本実施形態のロボット教示装置１を用いたオフライン教示の流れをフローチャートに基づいて説明する。

図９に示すように、まず、ステップＳ１において、操作部１２を用いたユーザの入力操作に基づいて、ワークＷの外観検査を行う際のロボット４による移動経路ＰＡが設定される。そして、ステップＳ２において、操作部１２を用いたユーザの入力操作に基づいて、照明光の反射の状態が取得される。そして、ステップＳ３において、操作部１２を用いたユーザの入力操作に基づいて、撮像画像ＩＭが表示部１１に表示される。

ステップＳ３では、たとえば、ロボット４が所定の姿勢の場合の照明部３の映り込みの状態を含むワークＷの撮像画像ＩＭ（図４参照）が表示部１１に表示される。ユーザは、図４に示すような撮像画像ＩＭに基づいて、シミュレーションに用いた撮像部２のモデルＭ１、照明部３のモデルＭ２およびワークＷのモデルＭ４の妥当性を判断する。具体的には、ユーザは、図４に示すようなシミュレーションによる撮像画像ＩＭでの高輝度部ＨＢと、過去の撮像画像などの実際の撮像画像での高輝度部とを比較して、シミュレーションによる撮像画像ＩＭでの高輝度部ＨＢが妥当であるか否かを判断する。ユーザは、シミュレーションによる撮像画像ＩＭでの高輝度部ＨＢが妥当でないと判断した場合、シミュレーションによる撮像画像ＩＭでの高輝度部ＨＢが妥当になるように、撮像部２のモデルＭ１、照明部３のモデルＭ２およびワークＷのモデルＭ４の少なくとも１つを修正する。

また、ステップＳ３では、たとえば、撮像部２および照明部３を移動経路ＰＡに沿ってロボット４により移動させた場合の照明部３の映り込みの状態を含むワークＷの撮像画像ＩＭ（図５参照）が表示部１１に表示される。ユーザは、図５に示すような撮像画像ＩＭに基づいて、ロボット４により検査動作を行った場合の撮像画像ＩＭでの高輝度部ＨＢの状態を確認する。ユーザは、たとえば、高輝度部ＨＢの幅がワークＷの曲面の変化に対応してどのように変化しているかを確認する。

そして、ステップＳ４において、操作部１２を用いたユーザの入力操作に基づいて、検査領域ＡＲがワークＷ上に重畳されるように表示部１１に表示される。ステップＳ４では、たとえば、全ての移動経路ＰＡに対応する複数の帯状の検査領域ＡＲ（図７参照）がワークＷ上に重畳されるように表示部１１に表示される。ユーザは、図７に示すような検査領域ＡＲに基づいて、現在の移動経路ＰＡで検査されない部分が存在するか否かを確認する。また、ユーザは、現在の移動経路ＰＡで検査されない部分が存在する場合、たとえば検査されない部分に近い移動経路ＰＡを指定する。そして、指定された移動経路ＰＡに対応する帯状の検査領域ＡＲ（図８参照）がワークＷ上に重畳されるように表示部１１に表示される。ユーザは、図８に示すような検査領域ＡＲに基づいて、どの教示点Ｐをどのように修正するかを判断する。そして、操作部１２を用いたユーザの入力操作に基づいて、検査されない部分が存在しなくなるように、教示点Ｐが修正されて移動経路ＰＡが修正される。また、必要に応じて、図６に示すような１つの検査領域ＡＲが表示部１１に表示される。

以上のように、ロボット教示装置１を用いたオフライン教示が行われる。そして、修正された移動経路ＰＡを含むロボット４の動作プログラムがロボット教示装置１により作成される。実際にワークＷの外観検査を行う際には、ロボット教示装置１により作成された動作プログラムに基づいて、撮像部２、照明部３およびロボット４が動作される。

（本実施形態の効果）
本実施形態では、上記のように、ロボット教示装置１は、ワークＷを撮像する撮像部２と、ワークＷに照明光を照射する照明部３と、撮像部２および照明部３を移動させてワークＷの外観検査を行うロボット４と、を備える外観検査システム１００のためのロボット教示装置１であって、表示部１１と、表示部１１上でロボット４の動作の教示を行う場合に、ワークＷにおける照明光の反射の状態をシミュレーションにより取得し、取得した照明光の反射の状態に関する画像を表示部１１に表示させる処理部１３と、を備える。

ここで、ワークＷの外観検査を行う場合には、撮像部２により撮像された画像の全範囲がワークＷの外観検査に寄与するわけではなく、撮像部２により撮像された画像のうち、照明光の反射量が大きく輝度が大きい高輝度部ＨＢがワークＷの外観検査に寄与する。このため、高輝度部ＨＢを把握すれば、ワークＷのどの部分が検査されているかが精度よく分かるので、ワークＷの外観の検査漏れがないかまたは少ないロボット４の動作の教示を行うことが可能である。そこで、上記のように、照明光の反射の状態に関する画像を表示部１１に表示させることにより、表示部１１に表示された照明光の反射の状態に関する画像に基づいて、実際にワークＷの外観検査に寄与する高輝度部ＨＢを容易に把握することができるので、ワークＷの外観の検査漏れがないかまたは少ないロボット４の動作の教示を容易に行うことができる。

また、本実施形態では、上記のように、処理部１３は、照明光の反射の状態として、撮像部２によるワークＷの撮像画像ＩＭへの照明部３の映り込みの状態を取得し、取得した照明部３の映り込みの状態を含むワークＷの撮像画像ＩＭを表示部１１に表示させる。これにより、表示部１１に表示された照明部３の映り込みの状態を含むワークＷの撮像画像ＩＭにより、撮像画像ＩＭでの高輝度部ＨＢを容易に把握することができる。その結果、ワークＷの外観の検査漏れがないかまたは少ないロボット４の動作の教示を容易に行うことができる。

また、本実施形態では、上記のように、処理部１３は、ロボット４が所定の姿勢の場合の照明部３の映り込みの状態を含むワークＷの撮像画像ＩＭを表示部１１に表示させる。これにより、表示部１１に表示されたロボット４が所定の姿勢の場合の照明部３の映り込みの状態を含むワークＷの撮像画像ＩＭにより、ロボット４が所定の姿勢の場合の撮像画像ＩＭでの高輝度部ＨＢを把握することができる。また、ロボット４が所定の姿勢の場合の撮像画像ＩＭでの高輝度部ＨＢと、過去の撮像画像ＩＭなどの実際の撮像画像ＩＭでの高輝度部ＨＢとを比較すれば、シミュレーションによる撮像画像ＩＭでの高輝度部ＨＢが問題ないかどうかを容易に確認することができる。これにより、シミュレーションの妥当性を確認することができる。

また、本実施形態では、上記のように、処理部１３は、撮像部２および照明部３を移動経路ＰＡに沿ってロボット４により移動させた場合の照明部３の映り込みの状態を含むワークＷの撮像画像ＩＭを表示部１１に表示させる。これにより、表示部１１に表示された撮像部２および照明部３を移動経路ＰＡに沿ってロボット４により移動させた場合の照明部３の映り込みの状態を含むワークＷの撮像画像ＩＭにより、ロボット４により検査動作を行った場合の撮像画像ＩＭでの高輝度部ＨＢを把握することができる。

また、本実施形態では、上記のように、処理部１３は、照明光の反射の状態として、撮像部２によるワークＷの撮像画像ＩＭへの照明部３の映り込みの状態を取得し、取得した照明部３の映り込みの状態に基づいて、ワークＷを検査することが可能な検査領域ＡＲを取得し、取得した検査領域ＡＲを表示部１１に表示されたワークＷ上に重畳して表示させる。これにより、ワークＷを検査することが可能な検査領域ＡＲをワークＷ上に重畳して表示させることができるので、検査することが可能なワークＷの部分を視覚的に容易に確認することができる。その結果、ワークＷの外観の検査漏れがないかまたは少ないロボット４の動作の教示をより容易に行うことができる。

また、本実施形態では、上記のように、処理部１３は、撮像部２および照明部３を移動経路ＰＡに沿ってロボット４により移動させた場合の帯状の検査領域ＡＲを取得し、取得した帯状の検査領域ＡＲを表示部１１に表示されたワークＷ上に重畳して表示させる。これにより、ロボット４により検査動作を行った場合に検査することが可能な帯状の検査領域ＡＲをワークＷ上に重畳して表示させることができるので、ロボット４により検査動作を行った場合に検査することが可能なワークＷの部分を視覚的に容易に確認することができる。その結果、ワークＷの外観の検査漏れがないかまたは少ないロボット４の動作の教示をより一層容易に行うことができる。

また、本実施形態では、上記のように、処理部１３は、複数の移動経路ＰＡに対応する複数の帯状の検査領域ＡＲを取得し、取得した複数の帯状の検査領域ＡＲを表示部１１に表示されたワークＷ上に重畳して表示させる。これにより、ロボット４により複数の検査動作を行った場合に検査することが可能な複数の帯状の検査領域ＡＲをワークＷ上に重畳して表示させることができるので、ロボット４により複数の検査動作を行った場合に検査することが可能なワークＷの部分を視覚的に容易に確認することができる。また、ロボット４により複数の検査動作を行った場合に検査されないワークＷの検査漏れの部分を視覚的に容易に確認することができる。これにより、ワークＷの外観の検査漏れがないかまたは少ないロボット４の動作の教示をさらに容易に行うことができる。

また、本実施形態では、上記のように、ロボット教示装置１は、複数の照明部３のモデルＭ２を記憶する記憶部１４をさらに備え、処理部１３は、記憶部１４に記憶された複数の照明部３のモデルＭ２のうち、選択されたモデルの照明部３に応じて、照明光の反射の状態をシミュレーションにより取得する。これにより、実際にワークＷの外観検査に用いられる照明部３の種類に応じて、シミュレーションによる照明部３のモデルＭ２を使い分けることができる。これにより、実際にワークＷの外観検査に用いられる照明部３の種類が異なる場合にも、柔軟に対応してシミュレーションすることができる。

また、本実施形態では、上記のように、ロボット教示装置１は、複数の撮像部２のモデルＭ１を記憶する記憶部１４をさらに備え、処理部１３は、記憶部１４に記憶された複数の撮像部２のモデルＭ１のうち、選択されたモデルの撮像部２に応じて、撮像部２によるワークＷの撮像画像ＩＭを取得する。これにより、実際にワークＷの外観検査に用いられる撮像部２の種類に応じて、シミュレーションによる撮像部２のモデルＭ１を使い分けることができる。これにより、実際にワークＷの外観検査に用いられる撮像部２の種類が異なる場合にも、柔軟に対応してシミュレーションすることができる。

また、本実施形態では、上記のように、複数の撮像部２のモデルＭ１は、ライン型カメラのモデルと、エリア型カメラのモデルとを含む。これにより、実際にワークＷの外観検査に用いられることが多い、ライン型カメラまたはエリア型カメラに、柔軟に対応してシミュレーションすることができる。

また、本実施形態では、上記のように、処理部１３は、ワークＷの表面の色および反射率に基づいて、照明光の反射の状態をシミュレーションにより取得する。これにより、ワークＷの表面の色および反射率に基づいて、照明光の反射の状態を正確に取得することができる。また、ワークＷの表面の色に基づいて、照明光の反射の状態をシミュレーションにより取得する場合には、ワークＷの表面の色と照明光の色との相性を考慮して、照明光の反射の状態を正確に取得することができる。

また、本実施形態では、上記のように、ワークＷは、曲面を有し、処理部１３は、ワークＷの曲面に略直交してワークＷの曲面に沿ったロボット４による移動経路ＰＡを取得し、取得した移動経路ＰＡを表示部１１に表示させる。これにより、精度よく撮像を行うことが可能であるが目視では教示することが困難なワークＷの曲面に略直交してワークＷの曲面に沿ったロボット４による移動経路ＰＡを表示部１１に表示させることができるので、精度よく撮像を行うことが可能なロボット４の動作の教示を容易に行うことができる。また、ワークＷが曲面を有する場合には、撮像部２および照明部３をロボット４により移動させた場合の高輝度部ＨＢの形状が大きく変化しやすいため、高輝度部ＨＢを把握することできることの効果が大きい。さらに、ワークＷが有する曲面が曲率が変化するような曲面である場合には、高輝度部ＨＢの形状がさらに大きく変化しやすいため、高輝度部ＨＢを把握することできることの効果がさらに大きい。

（変形例）
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更（変形例）が含まれる。

たとえば、上記実施形態では、ロボットが垂直多関節ロボットである例を示したが、本開示はこれに限られない。本開示では、ロボットが垂直多関節ロボット以外のロボットであってもよい。

また、上記実施形態では、ロボットが撮像部および照明部を移動させる例を示したが、本開示はこれに限られない。本開示では、ロボットがワークを移動させてもよい。

また、上記実施形態では、照明部の映り込みの状態を含む撮像画像を表示部に表示させる例を示したが、本開示はこれに限られない。本開示では、照明部の映り込みの状態を含む撮像画像を表示部に表示させなくてもよい。

また、上記実施形態では、曲面を有するワークに本開示を適用する例を示したが、本開示はこれに限られない。本開示は、曲面を有しない平板状などのワークに適用されてもよい。

また、上記実施形態では、ワークの曲面に略直交してワークの曲面に沿った移動経路を取得する例を示したが、本開示はこれに限られない。本開示では、ワークの曲面に略直交しない移動経路を取得してもよい。すなわち、ワークの曲面に面直でない移動経路を取得してもよい。

また、上記実施形態では、記憶部が複数の照明部のモデルを記憶する例を示したが、本開示はこれに限られない。本開示では、記憶部が１つの照明部のモデルを記憶してもよい。

また、上記実施形態では、複数の照明部のモデルが、ライン型照明のモデルと、パターン型照明のモデルとを含む例を示したが、本開示はこれに限られない。本開示では、複数の照明部のモデルは、ライン型照明のモデル、パターン型照明のモデル、リング型照明のモデル、エリア型照明のモデル、および、バー型照明のモデルなどを含んでいてもよく、特に限定されない。

また、上記実施形態では、記憶部が複数の撮像部のモデルを記憶する例を示したが、本開示はこれに限られない。本開示では、記憶部が１つの撮像部のモデルを記憶してもよい。

また、上記実施形態では、複数の撮像部のモデルが、ライン型カメラのモデルと、エリア型カメラのモデルとを含む例を示したが、本開示はこれに限られない。本開示では、複数の撮像部のモデルが、ライン型カメラのモデルと、パターン型カメラのモデルとのいずれか一方のみを含んでいてもよい。また、複数の撮像部のモデルが、ライン型カメラのモデルおよびパターン型カメラのモデル以外のモデルを含んでいてもよい。

また、上記実施形態では、ワークの表面の色および反射率に基づいて、照明光の反射の状態をシミュレーションにより取得する例を示したが、本開示はこれに限られない。本開示では、ワークの表面の色および反射率のいずれか一方のみに基づいて、照明光の反射の状態をシミュレーションにより取得してもよい。また、ワークの表面の色および反射率以外に基づいて、照明光の反射の状態をシミュレーションにより取得してもよい。

本明細書で開示する要素の機能は、開示された機能を実行するよう構成またはプログラムされた汎用プロセッサ、専用プロセッサ、集積回路、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、従来の回路、および／または、それらの組み合わせ、を含む回路または処理回路を使用して実行できる。プロセッサは、トランジスタやその他の回路を含むため、処理回路または回路と見なされる。本開示において、回路、ユニット、または手段は、列挙された機能を実行するハードウェアであるか、または、列挙された機能を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されているハードウェアであってもよいし、あるいは、列挙された機能を実行するようにプログラムまたは構成されているその他の既知のハードウェアであってもよい。ハードウェアが回路の一種と考えられるプロセッサである場合、回路、手段、またはユニットはハードウェアとソフトウェアの組み合わせであり、ソフトウェアはハードウェアおよび／またはプロセッサの構成に用いられる。

［態様］
上記した例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。

（項目１）
ワークを撮像する撮像部と、前記ワークに照明光を照射する照明部と、前記撮像部および前記照明部、または、前記ワークを移動させて前記ワークの外観検査を行うロボットと、を備える外観検査システムのためのロボット教示装置であって、
表示部と、
前記表示部上で前記ロボットの動作の教示を行う場合に、前記ワークにおける前記照明光の反射の状態をシミュレーションにより取得し、取得した前記照明光の反射の状態に関する画像を前記表示部に表示させる処理部と、を備える、ロボット教示装置。

（項目２）
前記処理部は、前記照明光の反射の状態として、前記撮像部による前記ワークの撮像画像への前記照明部の映り込みの状態を取得し、取得した前記照明部の映り込みの状態を含む前記ワークの撮像画像を前記表示部に表示させる、項目１に記載のロボット教示装置。

（項目３）
前記処理部は、前記ロボットが所定の姿勢の場合の前記照明部の映り込みの状態を含む前記ワークの撮像画像を前記表示部に表示させる、項目２に記載のロボット教示装置。

（項目４）
前記処理部は、前記撮像部および前記照明部、または、前記ワークを移動経路に沿って前記ロボットにより移動させた場合の前記照明部の映り込みの状態を含む前記ワークの撮像画像を前記表示部に表示させる、項目２または３に記載のロボット教示装置。

（項目５）
前記処理部は、前記照明光の反射の状態として、前記撮像部による前記ワークの撮像画像への前記照明部の映り込みの状態を取得し、取得した前記照明部の映り込みの状態に基づいて、前記ワークを検査することが可能な検査領域を取得し、取得した前記検査領域を前記表示部に表示された前記ワーク上に重畳して表示させる、項目１～４のいずれか１項に記載のロボット教示装置。

（項目６）
前記処理部は、前記撮像部および前記照明部、または、前記ワークを移動経路に沿って前記ロボットにより移動させた場合の帯状の前記検査領域を取得し、取得した帯状の前記検査領域を前記表示部に表示された前記ワーク上に重畳して表示させる、項目５に記載のロボット教示装置。

（項目７）
前記処理部は、複数の前記移動経路に対応する複数の帯状の前記検査領域を取得し、取得した複数の帯状の前記検査領域を前記表示部に表示された前記ワーク上に重畳して表示させる、項目６に記載のロボット教示装置。

（項目８）
複数の前記照明部のモデルを記憶する記憶部をさらに備え、
前記処理部は、前記記憶部に記憶された複数の前記照明部のモデルのうち、選択されたモデルの前記照明部に応じて、前記照明光の反射の状態をシミュレーションにより取得する、項目１～７のいずれか１項に記載のロボット教示装置。

（項目９）
複数の前記撮像部のモデルを記憶する記憶部をさらに備え、
前記処理部は、前記記憶部に記憶された複数の前記撮像部のモデルのうち、選択されたモデルの前記撮像部に応じて、前記撮像部による前記ワークの撮像画像を取得する、項目１～８のいずれか１項に記載のロボット教示装置。

（項目１０）
複数の前記撮像部のモデルは、ライン型カメラのモデルと、エリア型カメラのモデルとの少なくとも一方を含む、項目９に記載のロボット教示装置。

（項目１１）
前記処理部は、前記ワークの表面の色および反射率の少なくとも一方に基づいて、前記照明光の反射の状態をシミュレーションにより取得する、項目１～１０のいずれか１項に記載のロボット教示装置。

（項目１２）
前記ワークは、曲面を有し、
前記処理部は、前記ワークの曲面に略直交して前記ワークの曲面に沿った前記ロボットによる移動経路を取得し、取得した前記移動経路を前記表示部に表示させる、項目１～１１のいずれか１項に記載のロボット教示装置。

（項目１３）
ワークを撮像する撮像部と、
前記ワークに照明光を照射する照明部と、
前記撮像部および前記照明部、または、前記ワークを移動させて前記ワークの外観検査を行うロボットと、
ロボット教示装置と、を備え、
前記ロボット教示装置は、
表示部と、
前記表示部上で前記ロボットの動作の教示を行う場合に、前記ワークにおける前記照明光の反射の状態をシミュレーションにより取得し、取得した前記照明光の反射の状態に関する画像を前記表示部に表示させる処理部と、
を含む、外観検査システム。

（項目１４）
ワークを撮像する撮像部と、前記ワークに照明光を照射する照明部と、前記撮像部および前記照明部、または、前記ワークを移動させて前記ワークの外観検査を行うロボットと、を備える外観検査システムのためのロボット教示方法であって、
表示部上で前記ロボットの動作の教示を行う場合に、前記ワークにおける前記照明光の反射の状態をシミュレーションにより取得することと、
取得した前記照明光の反射の状態に関する画像を前記表示部に表示させることと、を備える、ロボット教示方法。

１ ロボット教示装置
２ 撮像部
３ 照明部
４ ロボット
１１ 表示部
１３ 処理部
１４ 記憶部
１００ 外観検査システム
ＡＲ 検査領域（照明光の反射の状態に関する画像）
ＩＭ 撮像画像（照明光の反射の状態に関する画像）
ＰＡ 移動経路
Ｍ１ 撮像部のモデル
Ｍ２ 照明部のモデル
Ｗ ワーク

Claims (14)

1. ワークを撮像する撮像部と、前記ワークに照明光を照射する照明部と、前記撮像部および前記照明部、または、前記ワークを移動させて前記ワークの外観検査を行うロボットと、を備える外観検査システムのためのロボット教示装置であって、
   表示部と、
   前記表示部上で前記ロボットの動作の教示を行う場合に、前記ワークにおける前記照明光の反射の状態をシミュレーションにより取得し、取得した前記照明光の反射の状態に関する画像を前記表示部に表示させる処理部と、を備える、ロボット教示装置。
2. 前記処理部は、前記照明光の反射の状態として、前記撮像部による前記ワークの撮像画像への前記照明部の映り込みの状態を取得し、取得した前記照明部の映り込みの状態を含む前記ワークの撮像画像を前記表示部に表示させる、請求項１に記載のロボット教示装置。
3. 前記処理部は、前記ロボットが所定の姿勢の場合の前記照明部の映り込みの状態を含む前記ワークの撮像画像を前記表示部に表示させる、請求項２に記載のロボット教示装置。
4. 前記処理部は、前記撮像部および前記照明部、または、前記ワークを移動経路に沿って前記ロボットにより移動させた場合の前記照明部の映り込みの状態を含む前記ワークの撮像画像を前記表示部に表示させる、請求項２に記載のロボット教示装置。
5. 前記処理部は、前記照明光の反射の状態として、前記撮像部による前記ワークの撮像画像への前記照明部の映り込みの状態を取得し、取得した前記照明部の映り込みの状態に基づいて、前記ワークを検査することが可能な検査領域を取得し、取得した前記検査領域を前記表示部に表示された前記ワーク上に重畳して表示させる、請求項１に記載のロボット教示装置。
6. 前記処理部は、前記撮像部および前記照明部、または、前記ワークを移動経路に沿って前記ロボットにより移動させた場合の帯状の前記検査領域を取得し、取得した帯状の前記検査領域を前記表示部に表示された前記ワーク上に重畳して表示させる、請求項５に記載のロボット教示装置。
7. 前記処理部は、複数の前記移動経路に対応する複数の帯状の前記検査領域を取得し、取得した複数の帯状の前記検査領域を前記表示部に表示された前記ワーク上に重畳して表示させる、請求項６に記載のロボット教示装置。
8. 複数の前記照明部のモデルを記憶する記憶部をさらに備え、
   前記処理部は、前記記憶部に記憶された複数の前記照明部のモデルのうち、選択されたモデルの前記照明部に応じて、前記照明光の反射の状態をシミュレーションにより取得する、請求項１に記載のロボット教示装置。
9. 複数の前記撮像部のモデルを記憶する記憶部をさらに備え、
   前記処理部は、前記記憶部に記憶された複数の前記撮像部のモデルのうち、選択されたモデルの前記撮像部に応じて、前記撮像部による前記ワークの撮像画像を取得する、請求項１に記載のロボット教示装置。
10. 複数の前記撮像部のモデルは、ライン型カメラのモデルと、エリア型カメラのモデルとの少なくとも一方を含む、請求項９に記載のロボット教示装置。
11. 前記処理部は、前記ワークの表面の色および反射率の少なくとも一方に基づいて、前記照明光の反射の状態をシミュレーションにより取得する、請求項１に記載のロボット教示装置。
12. 前記ワークは、曲面を有し、
    前記処理部は、前記ワークの曲面に略直交して前記ワークの曲面に沿った前記ロボットによる移動経路を取得し、取得した前記移動経路を前記表示部に表示させる、請求項１に記載のロボット教示装置。
13. ワークを撮像する撮像部と、
    前記ワークに照明光を照射する照明部と、
    前記撮像部および前記照明部、または、前記ワークを移動させて前記ワークの外観検査を行うロボットと、
    ロボット教示装置と、を備え、
    前記ロボット教示装置は、
    表示部と、
    前記表示部上で前記ロボットの動作の教示を行う場合に、前記ワークにおける前記照明光の反射の状態をシミュレーションにより取得し、取得した前記照明光の反射の状態に関する画像を前記表示部に表示させる処理部と、
    を含む、外観検査システム。
14. ワークを撮像する撮像部と、前記ワークに照明光を照射する照明部と、前記撮像部および前記照明部、または、前記ワークを移動させて前記ワークの外観検査を行うロボットと、を備える外観検査システムのためのロボット教示方法であって、
    表示部上で前記ロボットの動作の教示を行う場合に、前記ワークにおける前記照明光の反射の状態をシミュレーションにより取得することと、
    取得した前記照明光の反射の状態に関する画像を前記表示部に表示させることと、を備える、ロボット教示方法。

Images