JP2022037856A - プログラム、方法、及びシステム - Google Patents

Abstract

【課題】外観検査において、作業員の負担を軽減させること。
【解決手段】プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムである。プログラムは、プロセッサに、物体に対する電磁波を用いたセンシングにより得られるセンシングデータに基づいて物体の３次元形状を取得するステップと、センシングデータに基づき、物体の異常を検出するステップと、検出した異常の３次元位置を特定するステップと、異常を解消可能なデバイスが搭載されたロボットアームを、特定した３次元位置にデバイスが到達するように、移動させるステップと、デバイスを３次元位置に到達させると、デバイスを稼働させるステップと、を実行させる。
【選択図】図１

Description

本開示は、プログラム、方法、及びシステムに関する。

従来、製造現場における製造工程の中には、物体を組み立てる工程、物体のボディを塗装する工程など様々な工程が含まれる。
塗装する工程では、例えば、ロボットアーム等を利用した複数の手順を経て物体の塗装を進める。そして、塗装が完了すると、製造物としての物体の最終確認が行われ、製造された物体に異常がないことが確認される。物体の外観検査中に、例えば、変色、ひび割れ、ほこりの付着、塗装ムラ等の異常が発見された場合、その異常が解消される補修がなされる。例えば、塗装ムラが発見された場合、塗装ムラのある領域をポリッシャーで磨くことで、その領域の塗装を均一にする。

特開２０００－２０５８４６号公報

外観検査における、異常の検出、及び発見された異常の解消は、作業員の手により行われている。しかしながら、異常の検出、及び発見された異常の解消は、高い集中力を求められ、作業員の大きな負担となっている。
特許文献１では、光学的に塗装ムラを検出する検査方法・装置が開示されているが、塗装ムラ以外の検出については記載されていない。

本開示の目的は、外観検査において、作業員の負担を軽減させることである。

本開示の一態様は、プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムである。プログラムは、プロセッサに、物体に対する電磁波を用いたセンシングにより得られるセンシングデータに基づいて物体の３次元形状を取得するステップと、センシングデータに基づき、物体の異常を検出するステップと、検出した異常の３次元位置を特定するステップと、異常を解消可能なデバイスが搭載されたロボットアームを、特定した３次元位置にデバイスが到達するように、移動させるステップと、デバイスを３次元位置に到達させると、デバイスを稼働させるステップと、を実行させる。

本発明のプログラムによれば、作業員の負担を軽減させることができる。

本実施形態に係るシステムの全体構成を示す図である。 制御装置の構成を示すブロック図である。 異常部の３次元位置情報のデータ構造を示す図である。 システムにより、物体の塗装面における異常を検知し、検知した異常を解消する流れを説明するための図である。 物体の塗装面における異常部を表す模式図である。 産業用ロボットの動作を説明するための図である。 変形例１に係るシステムの構成を示す図である。 変形例２に係るシステムの構成を示す図である。 変形例３に係るシステムの構成を示す図である。 変形例４に係るシステムの構成を示す図である。

以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。

＜概要＞
本実施形態に係るシステム１は、例えば、塗装された物体の塗装面を検査し、塗装面に異常が生じている場合に、異常を解消するための作業を行うシステムである。システム１は、例えば、自動車の製造ラインで用いられる。

＜全体構成＞
図１は、本実施形態に係るシステム１の全体構成を示す図である。図１に示すシステム１は、物体１００の塗装面を検査する。物体１００は、図示を簡略化しているが、例えば自動車のボディの外板等のように、塗装工程を終え、外観検査を控えたワークである。なお、物体１００は、自動車のボディの外板に限られず、外観検査を控える様々なワークが想定される。

システム１は、センシングユニット１０、産業用ロボット２０、制御装置３０、及び表示装置４０を備えている。センシングユニット１０、産業用ロボット２０、及び制御装置３０は、相互に通信可能にネットワーク５０に接続されている。センシングユニット１０、産業用ロボット２０、及び制御装置３０のネットワーク５０との接続は、有線であっても無線であっても構わない。また、センシングユニット１０、及び産業用ロボット２０が、ネットワーク５０を介さずに制御装置３０と接続されていてもよい。制御装置３０は、表示装置４０と有線又は無線により接続されている。なお、制御装置３０と、表示装置４０とはネットワーク５０を介して接続されていてもよい。

センシングユニット１０は、物体１００に対して電磁波を用いたセンシングを行う。センシングユニット１０は、センシングを行うセンシングモジュール（センシング手段）１１と、センシングモジュール１１の位置を制御するアクチュエータ（図示せず）と、を備えている。

センシングモジュール１１は、予め設定された帯域の電磁波を用いて物体１００をセンシングする。センシングモジュール１１には、例えば、予め設定された帯域の電磁波を用いて実現される、以下のいずれかのデバイスが想定される。
・可視光カメラ
・赤外線カメラ
・紫外線カメラ
・超音波センサ
・ＲＧＢ－Ｄカメラ
・ＬｉＤＡＲ（Light Detection and Ranging）

センシングモジュール１１は、物体１００の塗装面に発生し得る異常の３次元位置を取得可能なように、物体１００の周囲に複数配置されている。例えば、センシングモジュール１１は、物体１００の所定の面を、異なる方向から同時にセンシング可能な位置に配置されている。図１に示す例では、２台のセンシングモジュール１１が、物体１００の周囲に配置されているが、物体１００の周囲に配置されるセンシングモジュール１１の数は、３台以上であってもよい。

センシングユニット１０は、センシングモジュール１１により取得したセンシングデータを制御装置３０へ送信する。
センシングユニット１０のアクチュエータとしては、例えばセンシングモジュール１１の位置をＸＹ軸に沿って移動可能な直交ロボットが用いられる。直交ロボットの挙動は、制御装置３０により制御される。なお、アクチュエータは、例えば、センシングモジュール１１を一軸に沿って移動可能な単軸ロボットであってもよい。

産業用ロボット２０は、例えば、垂直多関節ロボットである。産業用ロボット２０は、例えば、多関節のロボットアーム２１と、ロボットアーム２１の先端に搭載されたエンドエフェクタ２２と、を備えている。産業用ロボット２０は、制御装置３０と通信接続されている。

ロボットアーム２１は、制御装置３０からの制御に従って駆動する。具体的には、ロボットアーム２１は、関節にモーターが設けられ、モーターの力で関節を稼働させることで腕部分を移動させる。

エンドエフェクタ２２は、所定の処理を実施するデバイスである。本実施形態においては、物体１００の塗装面に生じた異常を解消するためのデバイスである。エンドエフェクタ２２は、ロボットアーム２１により、所望の位置へ移動される。エンドエフェクタ２２としては、例えば、塗装後の外板に生じた塗装ムラ（異常）を磨くことで解消する電動ポリッシャーが挙げられる。なお、エンドエフェクタ２２は、物体１００の塗装面に生じた異常を解消できるデバイスであれば、電動ポリッシャーに限定されない。

制御装置３０は、システム１における各装置の動作を制御する。

表示装置４０は、制御装置３０が処理した情報をユーザに提示する。

＜制御装置の構成＞
次に制御装置３０の構成について説明する。
図２は、制御装置３０の構成を示すブロック図である。図２に示す制御装置３０は、プロセッサ３１と、記憶装置３２と、通信インタフェース３３と、入出力インタフェース３４とを備えている。

記憶装置３２は、種々の情報を記憶するＨＤＤ（hard disk drive）、又はＳＳＤ（solid state drive）等の不揮発性の記憶回路により実現される。記憶装置３２は、プロセッサ３１で実行される各種のプログラム、及び、プログラム等で処理されるデータ等を記憶している。例えば、記憶装置３２は、後述する３次元位置情報を記憶する。

また、記憶装置３２は、例えば、機械学習により生成された複数の学習済みモデルを記憶している。第１学習済みモデルは、例えば、物体１００の塗装面の異常を検出するためのモデルである。第２学習済みモデルは、例えば、産業用ロボット２０の動作を制御するためのモデルである。第１学習済みモデル、第２学習済みモデルは、制御装置３０の出荷時に予め記憶されていてもよいし、出荷後にネットワーク５０を介して、又は記憶媒体を介してインストールされても構わない。

第１学習済みモデル、第２学習済みモデルは、学習用データに基づき、モデル学習プログラムに従って機械学習モデルに機械学習を行わせることにより得られる。

例えば、本実施形態において、第１学習済みモデルは、入力されるセンシングデータに対し、塗装面の異常を出力するように学習されている。このとき、学習用データは、例えば、物体についての複数のセンシングデータを入力データとし、この入力データに含まれ得る異常についての判断を正解出力データとする。

また、例えば、第２学習済みモデルは、入力される３次元位置情報に対し、産業用ロボット２０の制御パラメータを出力するように学習されている。このとき、学習用データは、例えば、所定の３次元形状を有する物体についての位置情報を入力データとし、この入力データに対してエンドエフェクタ２２がアクセス可能なロボットアーム２１の制御パラメータを正解出力データとする。これにより、ロボットアーム２１の形状と、物体１００の３次元形状とを考慮して、入力された３次元位置へエンドエフェクタ２２が到達可能なパラメータが設定されることになる。つまり、エンドエフェクタ２２が３次元位置へ到達する過程において、ロボットアーム２１と物体１００とが接触せずに、ロボットアーム２１を駆動させるパラメータが設定されることになる。

通信インタフェース３３は、例えば、ネットワーク５０と接続する回路により実現される。具体的には、例えば、通信インタフェース３３は、５Ｇ、４Ｇ、ＬＴＥ（Long Term Evolution）等の通信規格に対応した無線基地局、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）８０２．１１等の無線ＬＡＮ（Local Area Network）規格に対応した無線ＬＡＮルータ等の通信機器と接続する回路により実現される。制御装置３０がセンシングユニット１０、又は産業用ロボット２０と直接通信接続する場合には、センシングユニット１０、又は産業用ロボット２０と通信接続可能な回路により実現される。

入出力インタフェース３４は、ユーザからの入力を受け付ける入力装置、及び表示装置４０と接続するためのインタフェースである。入力装置は、例えば、タッチパネル、タッチパッド、マウス等のポインティングデバイス、キーボード等により実現される。

プロセッサ３１は、制御装置３０の中枢として機能する。プロセッサ３１は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路などにより構成される。プロセッサ３１は、記憶装置３２に記憶されているプログラムを読み出して実行することで、プログラムに対応する種々の機能を実現する。例えば、プロセッサ３１は、記憶装置３２に記憶されるプログラムを実行することで、第１制御部３１Ａ、取得部３１Ｂ、検出部３１Ｃ、位置特定部３１Ｄ、第２制御部３１Ｅとしての機能を実現する。

第１制御部３１Ａは、センシングユニット１０を制御する。例えば、第１制御部３１Ａは、センシングモジュール１１を適切な位置へ移動させるように、センシングユニット１０のアクチュエータへ駆動信号を送信する。

第１制御部３１Ａは、例えば、センシングモジュール１１へ駆動信号を送信し、センシングモジュール１１によるセンシングを開始させる。第１制御部３１Ａは、センシングモジュール１１により物体１００のセンシングを行い、センシングデータを取得させる。

具体的には、例えば、第１制御部３１Ａは、図１において２台のセンシングモジュール１１を略同時に駆動させ、物体１００の塗装面を異なる方向からセンシングさせる。この際、第１制御部３１Ａは、アクチュエータを駆動させながら、センシングモジュール１１にセンシングさせてもよい。つまり、第１制御部３１Ａは、動画としてのセンシングデータを取得するようにセンシングユニット１０を制御してよい。また、第１制御部３１Ａは、アクチュエータを駆動させるときにはセンシングを停止させ、センシングしているときにはアクチュエータを停止させるようにしてもよい。つまり、第１制御部３１Ａは、複数の静止画としてのセンシングデータを取得するようにセンシングユニット１０を制御してよい。

取得部３１Ｂは、センシングデータに基づき、物体１００の３次元形状を取得する。具体的には、取得部３１Ｂは、物体１００を複数の方向からセンシングしたセンシングデータと、センシングデータを取得した複数のセンシングモジュール１１の位置と、物体１００の位置とに基づき、物体１００の３次元形状を算出する。図１に示す例では、センシングモジュール１１が２台配置されるため、センシングモジュール１１及び物体１００を動かさずに複数方向からのセンシングデータを取得することが可能である。取得部３１Ｂは、取得した３次元形状についての情報を記憶装置３２に記憶させる。

検出部３１Ｃは、センシングデータに基づき、物体１００の塗装面に発生している異常を検出する。本実施形態において、異常とは、例えば、変色、ひび割れ、ほこりの付着、塗装ムラ等を表す。以下の説明において、物体１００の塗装面において異常が発生した部位を異常部と称する。

具体的には、検出部３１Ｃは、例えば、第１学習済みモデルを利用して異常を検出する。検出部３１Ｃは、センシングユニット１０により取得されたセンシングデータを第１学習済みモデルに入力し、センシングデータに含まれている異常部を出力させる。

位置特定部３１Ｄは、検出した異常部の３次元空間における位置を特定する。具体的には、例えば、位置特定部３１Ｄは、物体１００の３次元形状と照らし合わせ、物体１００における異常部の３次元位置を特定する。異常部の３次元位置は、例えば、物体１００の所定位置を基準とした所定の座標系における座標で表される。所定の座標系は、例えば、直交座標系、又は極座標系統である。異常部の３次元位置は、例えば、工場内の所定位置、又は、産業用ロボット２０の所定位置等を基準として特定されてもよい。位置特定部３１Ｄは、特定した３次元位置についての情報を記憶装置３２に記憶させる。

第２制御部３１Ｅは、産業用ロボット２０を制御する。例えば、第２制御部３１Ｅは、エンドエフェクタ２２が所定の位置へ到達するように、ロボットアーム２１のサーボモーターへ駆動信号を送信する。また、第２制御部３１Ｅは、例えば、エンドエフェクタ２２へ駆動信号を送信し、エンドエフェクタ２２による処理を開始させる。

具体的には、第２制御部３１Ｅは、位置特定部３１Ｄで特定した異常部の３次元位置へエンドエフェクタ２２を到達させるためにロボットアーム２１に入力するパラメータを設定する。

このとき、第２制御部３１Ｅは、異常部の３次元位置情報を第２学習済みモデルへ入力し、産業用ロボット２０の制御パラメータを出力させる。第２制御部３１Ｅは、第２学習済みモデルから出力されたパラメータをロボットアーム２１へ送信する。第２制御部３１Ｅは、エンドエフェクタ２２が特定した３次元位置に到達すると、エンドエフェクタ２２を稼働させる。

例えば、異常が塗装ムラであり、エンドエフェクタ２２が電動ポリッシャーである場合、電動ポリッシャーが回転しながら異常部に接触することで、塗装ムラが存在している領域が研磨され、塗装ムラが解消される。

＜データ構造＞
次に、記憶装置３２で記憶される情報のデータ構造について説明する。
図３は、異常部の３次元位置情報のデータ構造を示す図である。なお、図３は一例であり、記載されていないデータを除外するものではない。

図３に示すように、位置情報ＤＢのレコードの各々は、項目「異常ＩＤ」、項目「物体ＩＤ」、項目「年月日」、項目「位置情報」等を含む。

項目「異常ＩＤ」は、発生した異常を識別するためのＩＤを記憶する。

項目「物体ＩＤ」は、異常が発生した物体１００を識別するためのＩＤを記憶する。

項目「年月日」は、異常が発生した年月日を記憶する。

項目「位置情報」は、発生した異常の３次元位置を記憶する。図３では、直交座標系における３次元位置が記憶される例が示されているが、位置情報ＤＢに記憶される位置情報は直交座標系によるものに限定されない。

＜動作＞
次に、システム１の処理について説明する。
図４は、システム１により、物体１００の塗装面における異常を検知し、検知した異常を解消する流れの一例を説明するための図である。

図４に示すように、まず、制御装置３０の第１制御部３１Ａは、センシングユニット１０を制御する（ステップＳ３０１）。例えば、第１制御部３１Ａは、センシングユニット１０のアクチュエータ、及びセンシングモジュール１１へ駆動信号を送信する。

センシングユニット１０のアクチュエータは、制御装置３０からの駆動信号に従い、センシングモジュール１１を適切な位置へ移動させる。センシングモジュール１１は、センシングユニット１０からの駆動信号に従い、センシングを開始する（ステップＳ１０１）。図１で示す２台のセンシングモジュール１１は、それぞれ別の方向から物体１００をセンシングする。センシングユニット１０は、センシングモジュール１１のセンシングにより取得したセンシングデータを制御装置３０へ送信する（ステップＳ１０２）。

センシングユニット１０からセンシングデータを受信すると、制御装置３０の取得部３１Ｂは、物体１００の３次元形状を取得する（ステップＳ３０２）。具体的には、取得部３１Ｂは、センシングモジュール１１により取得されたセンシングデータと、センシングモジュール１１がセンシングデータを取得した位置と、物体１００の位置とに基づき、物体１００の３次元形状を算出する。取得部３１Ｂは、取得した３次元形状についての情報を記憶装置３２に記憶させる。

ステップＳ３０２の後に、検出部３１Ｃが物体１００の塗装面における異常を検出する（ステップＳ３０３）。具体的には、検出部３１Ｃは、センシングモジュール１１により取得されたセンシングデータを第１学習済みモデルに入力し、センシングデータに含まれている異常部を出力させる。

検出部３１Ｃで異常部を検出すると、位置特定部３１Ｄは、異常部の位置を特定する（ステップＳ３０４）。例えば、位置特定部３１Ｄは、物体１００の３次元形状と照らし合わせ、物体１００における異常部の３次元位置を特定する。このとき、位置特定部３１Ｄは、例えば、異常部の３次元位置を、物体１００の所定位置を基準とした直交座標系における座標で表す。

位置特定部３１Ｄで異常部の位置を特定すると、第２制御部３１Ｅは、産業用ロボット２０を制御する（ステップＳ３０５）。例えば、第２制御部３１Ｅは、異常部の３次元位置情報を第２学習済みモデルへ入力し、異常部へ産業用ロボット２０のエンドエフェクタ２２を到達させるための制御パラメータを出力させる。第２制御部３１Ｅは、制御パラメータを指示するための駆動信号を産業用ロボット２０のロボットアーム２１へ送信する。また、第２制御部３１Ｅは、エンドエフェクタ２２の処理を開始させるための駆動信号をエンドエフェクタ２２へ送信する。

ロボットアーム２１は、制御装置３０からの駆動信号に従った位置へエンドエフェクタ２２を到達させる（ステップＳ２０１）。エンドエフェクタ２２は、センシングユニット１０からの駆動信号に従い、到達した位置での処理を開始する（ステップＳ２０２）。

図５は、物体１００の塗装面における異常部の例を表す模式図である。図６は、産業用ロボット２０の動作を説明するための模式図である。図５に示すように物体１００の塗装面に異常部Ｂが検出された場合、位置特定部３１Ｄは、異常部Ｂの３次元位置を特定する。第２制御部３１Ｅは、特定した３次元位置に基づいてロボットアーム２１の制御パラメータを算出し、算出した制御パラメータに基づいてロボットアーム２１を制御することで、図６に示すように、エンドエフェクタ２２を異常部Ｂへ到達させる。第２制御部３１Ｅは、エンドエフェクタ２２を異常部Ｂへ到達させると、エンドエフェクタ２２である電動ポリッシャーを稼働させ、異常部Ｂを研磨する。これにより、エンドエフェクタ２２である電動ポリッシャーによる研磨により、塗りムラは解消される。

エンドエフェクタ２２により異常部Ｂへの処理が終了すると、制御装置３０は、図４に示すステップＳ３０１、Ｓ３０３の処理を実施し、物体１００の塗装面の異常が解消されたか否かを確認する。異常が解消されていない場合、制御装置３０は、図４に示すステップＳ３０４、Ｓ３０５の処理を実施し、異常の解消を図る。ステップＳ３０１、Ｓ３０３～Ｓ３０５の処理は、例えば、適切な修復作業が確認されるまで、繰り返し実施されてもよい。

なお、上記の処理に限られず、各処理のステップは、各処理の流れが矛盾しない範囲で任意に変更可能である。

例えば、図４に示す例では、ステップＳ３０２での物体１００の３次元形状の取得と、ステップＳ３０３での物体１００における異常の検出とが一連のフローの中で実施される場合を説明した。しかしながら、制御装置３０は、ステップＳ３０２での物体１００の３次元形状の取得と、ステップＳ３０３での物体１００における異常の検出とを別々のフローで実施してもよい。

以上説明したように、本実施形態では、制御装置３０は、センシングモジュール１１により物体１００の外観のセンシングを行い、物体１００の３次元形状を取得する。また、制御装置３０は、センシングデータに基づいて異常を検出し、検出した異常の３次元位置を特定する。そして、制御装置３０は、異常が発生した位置にエンドエフェクタ２２を到達させて駆動させることにより、物体１００の外観に生じた異常を修復するようにしている。これにより、制御装置３０は、物体１００における異常を自動的に検出し、検出した異常を自動的に補修することが可能となる。

したがって、本実施形態に係るシステム１によれば、外観検査において、作業員の負担を軽減させることができる。

また、本実施形態では、取得部３１Ｂは、物体１００を複数の方向からセンシングしたセンシングデータに基づいて物体１００の３次元形状を取得するようにしている。これにより、制御装置３０は、物体１００の３次元形状を正確に取得することが可能となる。

また、本実施形態では、検出部３１Ｃは、物体に対するセンシングデータを入力とし、異常の有無を出力するように学習された学習済みモデルを利用して、異常を検出するようにしている。これにより、作業員によらずに、精度の高い異常の検出を行うことが可能となる。

また、本実施形態では、第２制御部３１Ｅは、異常の３次元位置を入力とし、３次元位置に対するエンドエフェクタ２２の位置を出力するように学習された学習済みモデルを利用して、ロボットアーム２１を移動させるようにしている。これにより、作業員によらずに、エンドエフェクタ２２を異常の発生した位置に高精度に到達させることが可能となる。

また、本実施形態では、エンドエフェクタ２２を稼働させた後に、適切な修復作業が行われたかどうかの確認作業を行うので、発生した異常を高精度に解消することが可能となる。

＜変形例１＞
次に、システム１の変形例１について説明する。上記実施形態では、センシングモジュール１１が２台配置される場合を説明した。変形例１では、センシングモジュール１１が１台の場合について説明する。

図７は、変形例１に係るシステム１の構成を示す図である。なお図７では、システム１のうち、制御装置３０、表示装置４０、及びネットワーク５０の図示を省略している。図７に示すシステム１は、センシングユニット１０を１つ備えている。また、物体１００は、例えば、回転自在なステージ６０に載置されている。

変形例１において第１制御部３１Ａは、センシングユニット１０、及びステージ６０を制御する。具体的には、例えば、第１制御部３１Ａは、物体１００に対してセンシングモジュール１１を相対的に移動させるように、センシングユニット１０のアクチュエータを制御するか、ステージ６０を回転させる。

第１制御部３１Ａは、物体１００に対してセンシングモジュール１１を相対的に移動させる前と、後とで物体１００の塗装面をセンシングモジュール１１にセンシングさせる。このとき、第１制御部３１Ａは、物体１００の３次元形状を取得するため、第１制御部３１Ａは、最初のセンシングと、２回目のセンシングとの間で、物体１００に対して所定の角度だけ間隔が開くようにしている。これにより、物体１００の塗装面に関する、異なる方向についてのセンシングデータが取得される。

取得部３１Ｂは、物体１００を複数の方向からセンシングしたセンシングデータと、センシングデータを取得した際の物体１００に対するセンシングモジュール１１の位置と、物体１００の位置とに基づき、物体１００の３次元形状を算出する。

変形例１における制御装置３０は、図４に示す動作と同様にステップＳ３０１～Ｓ３０５の動作を実施する。ただし、ステップＳ３０１において、第１制御部３１Ａは、センシン
グユニット１０のアクチュエータの制御に代えて、ステージ６０を回転させてもよい。これにより、ステップＳ１０１において、２方向からのセンシングデータが取得されることになる。

以上のように、変形例１に係る制御装置３０は、１台のセンシングモジュール１１を用い、物体１００に対してセンシングモジュール１１を移動させることで、物体１００の塗装面について異なる方向からセンシングデータを取得する。そして、制御装置３０は、取得したセンシングデータに基づいて物体１００の塗装面の異常を検出し、検出した異常を、産業用ロボット２０を用いて解消するようにしている。これにより、センシングモジュール１１が１台である場合であっても、物体１００の異常を正確に検出し、異常を解消することが可能となる。

＜変形例２＞
次に、システム１の変形例２について説明する。上記実施形態では、特別な照明を用いずに物体１００を検査する場合を例に説明した。変形例２では、所定の波長の光を発する照明を利用する場合について説明する。

図８は、変形例２に係るシステム１の構成を示す図である。なお図８では、システム１のうち、制御装置３０、表示装置４０、及びネットワーク５０の図示を省略している。

図８に示すシステム１は、光源である照明７０を備えている。照明７０は、所定の波長の光を発生させる。照明７０から発せられる光は、例えば、全ての波長の光が含まれた白色光である。照明７０は、物体１００の表面で反射した反射光の乱反射が発生しにくい光量で光を発生させる。照明７０で発せられた光は、物体１００に照射される。

変形例２において、センシングモジュール１１は、照明７０から発せられる波長の光をセンシングする。照明７０から発せられる光が白色光である場合、センシングモジュール１１は、例えば、可視光をセンシングする。

変形例２における制御装置３０は、図４に示す動作と同様にステップＳ３０１～Ｓ３０５の動作を実施する。

以上のように、変形例２に係るシステム１では、照明７０が所定の波長の光を照射し、物体１００での反射光をセンシングモジュール１１がセンシングする。そして、制御装置３０は、取得したセンシングデータに基づいて物体１００の塗装面の異常を検出し、検出した異常を、産業用ロボット２０を用いて解消するようにしている。これにより、軽微な塗装ムラのように、自然光におけるセンシングでは差異が確認しづらい異常も精度よく検出可能となる。

なお、変形例２では、光を照射する際に、照明７０を、物体１００に対して相対的に移動させてもよい。このとき、センシングモジュール１１を、物体１００に対して相対的に移動させてもよいし、移動させなくてもよい。照明７０を物体１００に対して相対的に移動させることにより、光の反射が変化するため、異常を検出する精度がさらに向上する。

また、変形例２では、照明７０は、光を物体１００へ照射する際、照射する光の波長を切り替えてもよい。このとき、センシングユニット１０は、光の波長と対応する複数のセンシングモジュール１１を備えていてもよい。

これにより、発せられる光の波長に合わせてセンシングモジュール１１も切り替えることが可能となるため、多様なセンシングを行うことが可能となる。

＜変形例３＞
次に、システム１の変形例３について説明する。変形例３では、特定された異常部の３次元位置が、ユーザにより所有される端末で共有される場合について説明する。

図９は、変形例３に係るシステム１の構成を示す図である。図９に示すシステム１は、端末装置８０を有している。端末装置８０は、例えば、ヘッドマウントディスプレイ、スマートフォン、又はタブレット端末等の携行性を備えたコンピュータにより実現される。端末装置８０は、現実の画像、又は風景に、所望の映像を重畳することで、知覚可能な現実環境を拡張する機能を有する。ヘッドマウントディスプレイとしての端末装置８０は、一般にＡＲ（Augmented Reality）グラスと称される。端末装置８０は、通信機能と、通信機能により取得した情報を現実の画像、又は風景に重畳表示する表示機能を備えている。

制御装置３０は、記憶装置３２に記憶される、物体１００の異常部の３次元位置に関する情報を、ネットワーク５０を介して端末装置８０に送信する。すなわち、制御装置３０は、図４に示すステップＳ３０１～Ｓ３０４の処理により特定した異常の３次元位置に関する情報を、端末装置８０へ送信する。

端末装置８０は、取得した３次元位置に関する情報に基づき、端末装置８０を介した視認方向に異常部が含まれるか否かを判断する。視認方向に異常部が捉えられる場合、端末装置８０は、ディスプレイにおける異常部と対応する位置に、異常が発生していることを表す情報を重畳表示する。なお、異常部が直視できない状況、つまり、異常部が所定の構造体の陰に隠れている場合であっても、方向が捉えられていれば、異常発生を表す情報が重畳される。異常が発生していることを表す情報とは、異常部の位置を表す情報、検出された日時を表す情報、異常の程度を表す情報、異常が発生したラインを表す情報、異常が発生した物体を表す情報等を含む。

具体的には、例えば、端末装置８０がＡＲグラスである場合、端末装置８０は、レンズを介した視認方向に異常部が含まれるか否かを判断する。視認方向に異常部が捉えられる場合、端末装置８０は、レンズ上において異常部と対応する位置に、異常が発生していることを表す情報を重畳表示する。これにより、端末装置８０のユーザは、端末装置８０を介して物体１００を視認した際に、物体１００の異常が生じている部分に、その旨の表示が示された映像が拡張現実として視認できるようになる。

以上のように、変形例３に係る制御装置３０は、特定した異常部の３次元位置に関する情報を、端末装置８０に拡張現実として表示させるようにしている。これにより、物体１００における異常部の位置を即座に把握することが可能になり、異常の程度の確認、修復作業の検討、又は工数の見積等を効率的に行うことが可能となる。

＜変形例４＞
次に、システム１の変形例４について説明する。変形例４では、センシングユニット１０のアクチュエータがロボットアーム１２である場合について説明する。

図１０は、変形例４に係るシステム１の構成を示す図である。図１０に示すシステム１は、ロボットアーム１２の先端にセンシングモジュール１１が配置されたセンシングユニット１０ａを２台有している。なお、システム１が有するセンシングユニット１０ａは１台でもよいし、３台以上であってもよい。

変形例４において第１制御部３１Ａは、センシングユニット１０ａを制御する。具体的には、例えば、第１制御部３１Ａは、物体１００に対してセンシングモジュール１１を相対的に移動させるように、ロボットアーム１２のサーボモーターを制御する。より具体的には、第１制御部３１Ａは、センシングモジュール１１が、物体１００の運動を規則的な運動、例えば、等速直線運動、等加速度運動等として捉えられるように、ロボットアーム１２を制御する。

なお、物体１００が配置されるステージ６１は、停止と移動とを繰り返しながら、物体１００を所定の方向へ搬送するようにしてもよい。第１制御部３１Ａは、ステージ６１が停止と移動とを繰り返す場合であっても、センシングモジュール１１が、物体１００の運動を規則的な運動として捉えられるように、ロボットアーム１２を制御してセンシングモジュール１１を移動させる。

変形例４における制御装置３０は、図４に示す動作と同様にステップＳ３０１～Ｓ３０４の動作を実施する。

以上のように、変形例４に係る制御装置３０は、ロボットアーム１２に取り付けられたセンシングモジュール１１により物体１００の塗装面をセンシングする。そして、制御装置３０は、取得したセンシングデータに基づいて物体１００の塗装面の異常を検出するようにしている。ロボットアーム１２にセンシングモジュール１１を取り付けることで、センシングモジュール１１の位置を精緻に制御することが可能となる。これにより、物体１００の異常を検出する精度が向上することになる。

また、変形例４では、センシングモジュール１１が、物体１００の運動を規則的な運動、例えば、等速直線運動、等加速度運動等として捉えられるように、ロボットアーム１２の動きを制御するようにしている。これにより、物体１００の異常も規則的に運動するようになるため、誤検出を抑えられ、異常の検出精度が向上することになる。

＜その他の変形例＞
次に、その他の変形例について説明する。

上記実施形態では、制御装置３０に検出部３１Ｃが含まれ、検出部３１Ｃにより、センシングデータに基づいて物体１００の異常が検出される場合を例に説明した。しかしながら、物体１００の異常は、センシングユニット１０で検出されてもよい。センシングユニット１０は、物体１００の塗装面の異常を検出するための学習済みモデルを記憶している。学習済みモデルは、入力されるセンシングデータに対し、塗装面の異常を出力するように学習されている。このとき、学習用データは、例えば、物体についての複数のセンシングデータを入力データとし、この入力データに含まれ得る異常についての判断を正解出力データとする。

センシングユニット１０は、センシングモジュール１１によりセンシングデータが取得されると、取得されたセンシングデータを学習済みモデルに入力し、センシングデータに含まれている異常の判断を出力させる。センシングユニット１０は、センシングデータと、異常の判断とを制御装置３０へ送信する。

上記実施形態では、センシングモジュール１１に、例えば、予め設定された帯域の電磁波を用いて実現されるデバイスが採用される場合を例に説明したが、センシングモジュール１１に、それぞれ異なる帯域の電磁波を用いて実現されるデバイスが複数種類採用されてもよい。このとき、制御装置３０の検出部３１Ｃは、例えば、センシングモジュール１１のそれぞれの帯域の電磁波を利用したセンシングデータに基づいて、物体１００の異常を検出する。これにより、異常の検出精度を高めることが可能となる。

以上、本開示の好ましい実施形態について説明したが、本開示は係る特定の実施形態に限定されるものではなく、本開示には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。
また、上記実施形態及び変形例で説明した装置の構成は、技術的な矛盾が生じない限り、適宜組み合わせ可能である。

＜付記＞
以上の各実施形態で説明した事項を、以下に付記する。

（付記１）
プロセッサ３１と、メモリとを備えるコンピュータに実行させるためのプログラムであって、プログラムは、プロセッサに、
物体に対する電磁波を用いたセンシングにより得られるセンシングデータに基づいて物体の３次元形状を取得するステップ（Ｓ３０２）と、
センシングデータに基づき、物体の異常を検出するステップ（Ｓ３０３）と、
検出した異常の３次元位置を特定するステップ（Ｓ３０４）と、
異常を解消可能なデバイスが搭載されたロボットアーム２１を、特定した３次元位置にデバイス２２が到達するように、移動させるステップ（Ｓ３０５）と、
デバイスを３次元位置に到達させると、デバイスを稼働させるステップ（Ｓ２０２）と、を実行させる、プログラム。

（付記２）
物体の３次元形状を取得するステップ（Ｓ３０２）では、物体を複数の方向からセンシングしたセンシングデータに基づいて３次元形状を取得する、（付記１）に記載の外観検査プラグラム。

（付記３）
物体を複数の方向からセンシングしたセンシングデータを取得するように、センシング手段１１を移動させ、センシング手段に物体をセンシングさせるステップ（Ｓ３０１）を、プロセッサに実行させる、（付記２）に記載のプログラム。

（付記４）
物体を複数の方向からセンシングしたセンシングデータを取得するように、物体を移動させ、センシング手段に物体をセンシングさせるステップ（Ｓ３０１）を、プロセッサに実行させる、（付記２）又は（付記３）に記載のプログラム。

（付記５）
物体を複数の方向からセンシングしたセンシングデータを取得するように、複数のセンシング手段に物体をセンシングさせるステップ（Ｓ３０１）を、プロセッサに実行させる、（付記２）に記載のプログラム。

（付記６）
複数の帯域の電磁波を利用するセンシング手段に、物体をセンシングさせるステップ（Ｓ１０１）を、プロセッサに実行させる、（付記１）から（付記５）のいずれかに記載のプログラム。

（付記７）
異常を検出するステップ（Ｓ３０３）では、物体に対するセンシングデータを入力とし、異常の有無を出力するように学習された学習済みモデルを利用して、異常を検出する（付記１）から（付記６）のいずれかに記載のプログラム。

（付記８）
ロボットアームを移動させるステップ（Ｓ３０５）では、異常の３次元位置を入力とし、３次元位置に対するデバイスの位置を出力するように学習された学習済みモデルを利用して、ロボットアームを移動させる（付記１）から（付記７）のいずれかに記載のプログラム。

（付記９）
プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、プログラムは、プロセッサに、
物体の運動を規則的な運動として捉えるように、物体に対してセンシング手段１１を移動させ、電磁波を用いてセンシング手段に物体をセンシングさせるステップと、
センシングにより得られるセンシングデータに基づいて物体の異常を検出するステップ（Ｓ３０３）と、
検出した異常の３次元位置を特定するステップ（Ｓ３０４）と、
を実行させる、プログラム。

（付記１０）
物体に対して光を照射するステップと、
光を検出するセンシング手段に、物体をセンシングさせるステップと
をプロセッサに実行させる、（付記１）から（付記９）のいずれかに記載のプログラム。

（付記１１）
光を照射するステップでは、光の光源７０を、物体に対して相対的に移動させる、（付記１０）に記載のプログラム。

（付記１２）
光を照射するステップでは、複数種類の波長の光を切り替えて照射する、（付記１０）又は（付記１１）に記載のプログラム。

（付記１３）
特定した３次元位置を、端末装置８０へ送信するステップを、プロセッサに実行させる、（付記１）から（付記１２）のいずれかに記載のプログラム。

（付記１４）
プロセッサと、メモリとを備えるコンピュータが実行する方法であって、プロセッサが、
物体に対する電磁波を用いたセンシングにより得られるセンシングデータに基づいて物体の３次元形状を取得するステップ（Ｓ３０２）と、
センシングデータに基づき、物体の異常を検出するステップ（Ｓ３０３）と、
検出した異常の３次元位置を特定するステップ（Ｓ３０４）と、
異常を解消可能なデバイスが搭載されたロボットアームを、特定した３次元位置にデバイスが到達するように、移動させるステップ（Ｓ３０５）と、
デバイスを３次元位置に到達させると、デバイスを稼働させるステップ（Ｓ２０２）と、
を実行する、方法。

（付記１５）
物体に対する電磁波を用いたセンシングにより得られるセンシングデータに基づいて物体の３次元形状を取得する手段と、
センシングデータに基づき、物体の異常を検出する手段と、
検出した異常の３次元位置を特定する手段と、
異常を解消可能なデバイスが搭載されたロボットアームを、特定した３次元位置にデバイスが到達するように、移動させ、デバイスを３次元位置に到達させると、デバイスを稼働させる手段と、
を具備するシステム。

（付記１６）
プロセッサと、メモリとを備えるコンピュータが実行する方法であって、プロセッサが、
物体の運動を規則的な運動として捉えるように、物体に対してセンシング手段を移動させ、電磁波を用いてセンシング手段に物体をセンシングさせるステップと、
センシングにより得られるセンシングデータに基づいて物体の異常を検出するステップ（Ｓ３０３）と、
検出した異常の３次元位置を特定するステップ（Ｓ３０４）と、
を実行させる、方法。

（付記１７）
物体の運動を規則的な運動として捉えるように、物体に対してセンシング手段を移動させ、電磁波を用いてセンシング手段に物体をセンシングさせる手段と、
センシングにより得られるセンシングデータに基づいて物体の異常を検出する手段と、
検出した異常の３次元位置を特定する手段と、
を具備するシステム。

１…システム
１０，１０ａ…センシングユニット
１００…物体
１１…センシングモジュール
１２…ロボットアーム
２０…産業用ロボット
２１…ロボットアーム
２２…エンドエフェクタ
３０…制御装置
３１…プロセッサ
３１Ａ…第１制御部
３１Ｂ…取得部
３１Ｃ…検出部
３１Ｄ…位置特定部
３１Ｅ…第２制御部
３２…記憶装置
３３…通信インタフェース
３４…入出力インタフェース
４０…表示装置
５０…ネットワーク
６０…ステージ
６１…ステージ
７０…照明
８０…端末装置

Claims (17)

1. プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、前記プログラムは、前記プロセッサに、
   物体に対する電磁波を用いたセンシングにより得られるセンシングデータに基づいて前記物体の３次元形状を取得するステップと、
   前記センシングデータに基づき、前記物体の異常を検出するステップと、
   前記検出した異常の３次元位置を特定するステップと、
   前記異常を解消可能なデバイスが搭載されたロボットアームを、前記特定した３次元位置に前記デバイスが到達するように、移動させるステップと、
   前記デバイスを前記３次元位置に到達させると、前記デバイスを稼働させるステップと、を実行させる、プログラム。
2. 前記物体の３次元形状を取得するステップでは、前記物体を複数の方向からセンシングしたセンシングデータに基づいて前記３次元形状を取得する、請求項１に記載のプラグラム。
3. 前記物体を複数の方向からセンシングしたセンシングデータを取得するように、センシング手段を移動させ、前記センシング手段に前記物体をセンシングさせるステップを、前記プロセッサに実行させる、請求項２に記載のプログラム。
4. 前記物体を複数の方向からセンシングしたセンシングデータを取得するように、前記物体を移動させ、センシング手段に前記物体をセンシングさせるステップを、前記プロセッサに実行させる、請求項２又は３に記載のプログラム。
5. 前記物体を複数の方向からセンシングしたセンシングデータを取得するように、複数のセンシング手段に前記物体をセンシングさせるステップを、前記プロセッサに実行させる、請求項２に記載のプログラム。
6. 複数の帯域の電磁波を利用するセンシング手段に、前記物体をセンシングさせるステップを、前記プロセッサに実行させる、請求項１から５のいずれか１項に記載のプログラム。
7. 前記異常を検出するステップでは、前記物体に対するセンシングデータを入力とし、異常の有無を出力するように学習された学習済みモデルを利用して、前記異常を検出する請求項１から６のいずれか１項に記載のプログラム。
8. 前記ロボットアームを移動させるステップでは、前記異常の３次元位置を入力とし、前記３次元位置に対する前記デバイスの位置を出力するように学習された学習済みモデルを利用して、前記ロボットアームを移動させる請求項１から７のいずれか１項に記載のプログラム。
9. プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、前記プログラムは、前記プロセッサに、
   物体の運動を規則的な運動として捉えるように、前記物体に対してセンシング手段を移動させ、電磁波を用いて前記センシング手段に前記物体をセンシングさせるステップと、
   前記センシングにより得られるセンシングデータに基づいて前記物体の異常を検出するステップと、
   前記検出した異常の３次元位置を特定するステップと、
   を実行させる、プログラム。
10. 前記物体に対して光を照射するステップと、
    前記光を検出するセンシング手段に、前記物体をセンシングさせるステップと
    を前記プロセッサに実行させる、請求項１から９のいずれか１項に記載のプログラム。
11. 前記光を照射するステップでは、前記光の光源を、前記物体に対して相対的に移動させる、請求項１０に記載のプログラム。
12. 前記光を照射するステップでは、複数種類の波長の光を切り替えて照射する、請求項１０又は１１に記載のプログラム。
13. 前記特定した３次元位置を、端末装置へ送信するステップを、前記プロセッサに実行させる、請求項１から１２のいずれか１項に記載のプログラム。
14. プロセッサと、メモリとを備えるコンピュータが実行する方法であって、前記プロセッサが、
    物体に対する電磁波を用いたセンシングにより得られるセンシングデータに基づいて前記物体の３次元形状を取得するステップと、
    前記センシングデータに基づき、前記物体の異常を検出するステップと、
    前記検出した異常の３次元位置を特定するステップと、
    前記異常を解消可能なデバイスが搭載されたロボットアームを、前記特定した３次元位置に前記デバイスが到達するように、移動させるステップと、
    前記デバイスを前記３次元位置に到達させると、前記デバイスを稼働させるステップと、
    を実行する、方法。
15. 物体に対する電磁波を用いたセンシングにより得られるセンシングデータに基づいて前記物体の３次元形状を取得する手段と、
    前記センシングデータに基づき、前記物体の異常を検出する手段と、
    前記検出した異常の３次元位置を特定する手段と、
    前記異常を解消可能なデバイスが搭載されたロボットアームを、前記特定した３次元位置に前記デバイスが到達するように、移動させ、前記デバイスを前記３次元位置に到達させると、前記デバイスを稼働させる手段と、
    を具備するシステム。
16. プロセッサと、メモリとを備えるコンピュータが実行する方法であって、前記プロセッサが、
    物体の運動を規則的な運動として捉えるように、前記物体に対してセンシング手段を移動させ、電磁波を用いて前記センシング手段に前記物体をセンシングさせるステップと、
    前記センシングにより得られるセンシングデータに基づいて前記物体の異常を検出するステップと、
    前記検出した異常の３次元位置を特定するステップと、
    を実行させる、方法。
17. 物体の運動を規則的な運動として捉えるように、前記物体に対してセンシング手段を移動させ、電磁波を用いて前記センシング手段に前記物体をセンシングさせる手段と、
    前記センシングにより得られるセンシングデータに基づいて前記物体の異常を検出する手段と、
    前記検出した異常の３次元位置を特定する手段と、
    を具備するシステム。
    
    

Images