JP7482359B2 - ロボット制御方法 - Google Patents

Description

本開示は、ロボットに搭載されたセンサを用いて作業を行うロボット制御方法に関する。

特許文献１は、カメラにより撮影した画像データに基づいて位置姿勢の制御を行うための視覚認識装置を開示している。この開示では、ビジュアルサーボによる位置姿勢の制御で、作業対象物の認識ができない位置をあらかじめ検出し、禁止領域として設定する。これにより、禁止領域を回避するように制御をすることで、確実に作業対象物を認識しながら目標位置まで移動制御することが可能となる。

特開２００３－３０５６７５号公報

本開示は、センサで作業対象物を検出できない場合においても、精度を担保しつつ、作業を実行することができるロボット制御方法を提供することを目的とする。

また、本開示におけるロボット制御方法は、作業対象物に対して作業を行うロボットと、ロボットに搭載されたセンサと、に接続された制御装置におけるロボット制御方法である。最初に、ロボットの周囲の環境を複数の位置と角度からセンサを用いて取得した複数の環境センサ情報に基づいて、ロボットの周囲の環境を示す環境情報を算出する。次に、センサを用いて第１のセンサ情報を取得し、ロボットの作業対象物に対する作業目標を示す目標作業情報と、環境情報と、第１のセンサ情報とに基づいて、ロボットが作業目標に近づくような第１の制御情報を算出する第１のステップを実行する。また、センサを用いて第２のセンサ情報を取得し、目標作業情報と、第２のセンサ情報とに基づいて、ロボットが作業目標に近づくような第２の制御情報を算出する第２のステップを実行する。さらに、第１の制御情報と、第２の制御情報に基づいて、前記第１の制御情報と前記第２の制御情報との重み付き和により第３の制御情報を算出し、ロボットに第３の制御情報を送信する第３のステップを実行する。

本開示のロボット制御方法によれば、センサで作業対象物を検出できない場合においても、精度を担保しつつ、作業を実行することができる。

実施の形態１におけるロボットの制御システムの構成を示すシステム構成図 実施の形態１におけるロボットの環境情報を算出する動作を示すシーケンス図 実施の形態１におけるロボットの目標作業情報を算出する動作を示すシーケンス図 実施の形態１におけるロボットの作業を実現する制御動作を示すシーケンス図 実施の形態１におけるロボットの制御システムのハードウェア構成を示すブロック図 実施の形態１における環境情報の算出方法を示すフローチャート図 実施の形態１における環境画像情報を示す模式図 実施の形態１におけるロボットの環境情報を示す模式図 実施の形態１における目標作業情報の算出を示すフローチャート図 実施の形態１におけるロボットの目標状態を示す模式図 実施の形態１における目標撮像画像を示す模式図 実施の形態１における第１の目標画像情報を示す模式図 実施の形態１における第２の目標画像情報を示す模式図 実施の形態１におけるロボットの制御動作を示すフローチャート図 実施の形態１におけるロボットの初期状態におけるカメラの撮像画像を示す模式図 実施の形態２におけるロボットの作業を実現する制御動作を示すシーケンス図 実施の形態２におけるロボットの制御システム１のハードウェア構成を示すブロック図 実施の形態２におけるロボットの制御動作を示すフローチャート図

［本開示に至る経緯］
人間の代わりに作業を行うロボットは、制御装置によって制御されて、作業対象物のピックアンドプレース等の作業を行う。このとき、環境に適応した精密な制御を行うために、センサから取得した情報を用いるフィードバック制御が行われる。制御装置はセンサから取得したセンサ情報に基づいてロボットを制御する。このように、センサを用いることにより、ロボットが環境に適応した作業を行うことができる。

しかし、実際にロボットを用いて作業を行う場合、必ずしもセンサ情報に作業対象物の情報があるとは限らない。例えば、センサとしてカメラを用いる場合、ロボットが作業を開始するためには、カメラから取得した撮像画像に作業対象物が写っている必要がある。そのためには、専用の作業環境の設計と実機の調整が必要となる。

センサ情報に作業対象物の情報がない場合、撮像画像に基づいてロボットを制御することができない。例えば、作業対象物を把持する場合、センサ情報に基づいて作業対象物を認識することで、作業対象物の把持位置を決定する。したがって、作業対象物を認識できない場合、把持位置を決定することができず、作業を実行することができない。

そこで、以下の実施の形態では、作業対象物だけではなく、作業台（ロボットの周辺の環境に存在する物体）の情報も用いて制御を実行する。それにより、センサ情報に作業対象物が存在していない場合においても、精度を担保しつつ、作業を実行することができる。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。

なお、以下の実施の形態では、センサとしてカメラを用いたロボット制御を説明する。

［実施の形態１］
以下、図１～１５を用いて、実施の形態１を説明する。

［制御システム図の説明］
図１は、実施の形態１におけるロボットの制御システムの構成を示すシステム構成図である。実施の形態１における制御システム１は、ロボット１０と、制御装置２と、作業対象物であるネジ穴１１と、作業台である基板１２および壁１３と、を少なくとも備える。制御装置２は、ロボット１０と接続され通信できる。なお、制御装置２は、ロボット１０に内蔵されていてもよい。また、ロボット１０は、ロボットアーム１０１、エンドエフェクタとしてドライバ１０２、およびセンサとしてカメラ１０３を備える。制御システム１は、図１に示した構成には限られない。

ロボットアーム１０１は、１以上の関節を有する機構を備える。ロボットアーム１０１は、ドライバ１０２の位置と姿勢を制御することができる。なお、ロボットアームは、必ずしも関節を有していなくともよい。例えば、ロボットアームは、伸縮が可能な機構を備えてもよい。これに限らず、ロボットアームは、当事者にとって一般的なものが用いられてもよい。

ドライバ１０２は、ネジ穴１１に対しネジを挿入する作業を行うことができるエンドエフェクタである。ドライバ１０２は、ロボットアーム１０１の先端に搭載されている。例えば、図１に示すように、ロボットアーム１０１の先端のリンクの向きと、ドライバ１０２の向きと、が平行になるように、ドライバ１０２を取り付ける。なお、エンドエフェクタはドライバ１０２に限られない。例えば、エンドエフェクタとして１本以上の指を備えるものを用いてもよい。他の例として、エンドエフェクタとして、作業対象物を包み込むように把持することができる球形の柔軟物であってもよい。これに限らず、エンドエフェクタは、当事者にとって一般的なものが用いられてもよい。

カメラ１０３は、ロボット１０の周辺の環境の情報を取得するセンサの一種として用いられる。カメラ１０３は、図１に示すように、撮像範囲１０３１を撮像することで、ネジ穴１１（作業対象物）、または基板１２および壁１３（作業台）を含む撮像画像を取得する。カメラ１０３は、ロボットアーム１０１の先端に搭載されている。例えば、図１に示すように、ドライバ１０２が取り付けられているリンクに取り付けることで、ドライバ１０２で作業をする部分を撮像するように、カメラ１０３を搭載する。なお、カメラ１０３は、ロボットアーム１０１の先端以外に取り付けられていてもよい。例えば、ロボットアーム１０１の根本のリンクに取り付けることで、周辺の環境を回転するようにして撮像してもよい。なお、カメラ１０３は、撮像画像以外の情報も取得してもよい。例えば、カメラ１０３は、カメラ１０３のパラメータを取得してもよい。例えば、カメラ１０３は、デプスセンサであり、デプス画像を取得してもよい。例えば、カメラ１０３は、３次元距離センサであり、デプス情報を取得してもよい。これに限らず、カメラ１０３は、当事者にとって一般的なものが用いられてもよい。

ネジ穴１１（作業対象物）は、ロボット１０が作業を行うときに、ロボットアーム１０１またはドライバ１０２を用いて、作業を行う対象の物体である。例えば、図１に示すように、ネジ締め作業を行う場合、ロボット１０の作業は、ドライバ１０２を用いて、ネジ穴１１にネジを挿入することである。

基板１２および壁１３（作業台）は、ロボット１０の周辺の環境に存在する物体を含む、作業を行う場所である。例えば、図１に示すように、ネジ締め作業を行う場合、ロボット１０の周辺には、ネジ穴１１がある基板１２と、作業を行う場所を囲む壁１３がある。

また、環境とは、ネジ穴１１（作業対象物）と基板１２および壁１３（作業台）とを含む、作業を行う場所のことである。

作業対象物と作業台との他の例を挙げる。制御システム１において、基板１２の運搬作業を行う場合、ロボット１０の作業は、エンドエフェクタとして２指ハンドを用いて、基板１２を把持し指定された場所に運ぶことである。このとき、作業対象物は基板１２のことである。また、作業台は壁１３である。このように、同じ制御システム１に対して作業を行うとしても、作業内容により、作業対象物と作業台が異なることがある。

なお、作業台は作業に関係のない物体を含んでもよい。例えば、作業台に天井が含まれてもよい。例えば、作業台にロボット１０が設置されているものとは別の机が含まれていてもよい。つまり、カメラ１０３で撮像画像を取得した場合、作業台は撮像範囲１０３１に含まれている全ての物体のことである。

［作業の説明］
本実施の形態では、ロボット１０のネジ締め作業を考える。ロボットアーム１０１はリンクが直列つなぎである６軸の産業用ロボットである。エンドエフェクタとしてドライバ１０２を用いる。ただし、ネジはドライバ１０２の先端につけてあるものとする。カメラ１０３はＲＧＢ画像を取得する。作業対象物はネジ穴１１、作業台は基板１２および壁１３である。基板１２と壁１３には、画像処理により特徴点を抽出できるような模様があると仮定する。図１では、この模様を簡潔に図示している。また、環境とは、ネジ穴１１、基板１２、および壁１３のことである。

ネジ締め作業を実行するとき、初期時刻のロボット１０の姿勢は、図１で示すように壁１３を向いている。制御装置２は、カメラで撮像した画像を用いて、ロボット１０がネジ締め作業を実行できるように制御を実行する。ネジ締め作業を実行するときのロボット１０の姿勢、つまり目標状態は、ドライバ１０２の姿勢がネジ穴１１に垂直であり、ドライバ１０２の位置がネジ穴１１の真上にある状態である。目標状態のときのロボット１０の模式図は図１０で後述する。

［シーケンス図の説明］
シーケンス図では、操作者Ｓ１、制御装置２、ロボット１０、およびカメラ１０３の間のデータのやり取りを示す。操作者Ｓ１とは、ロボット１０を操作する人のことである。また、制御装置２、ロボット１０、およびカメラ１０３は図１に基づいて説明したものを用いる。

［環境情報を算出するシーケンス］
図２は、実施の形態１におけるロボットの環境情報を算出する動作を示すシーケンス図である。

カメラ１０３から取得した撮像画像に画像処理を行った環境画像情報に基づいて、制御装置２は環境情報を算出する。環境画像情報とは、カメラ１０３により撮像した撮像画像に基づく環境の画像情報である。環境情報とは、環境の特徴の３次元の位置情報を示す情報である。ここで、環境情報は環境画像情報から算出するため、環境情報を正確に取得するためには、環境の画像情報をカメラ１０３の様々な位置・角度から複数枚取得することが望ましい。本実施の形態において、環境画像情報とは、ネジ穴１１、基板１２、および壁１３を撮像した画像群であり、環境情報とは、ネジ穴１１、基板１２、および壁１３の特徴の３次元位置を示す３次元点群である。撮像画像はセンサデータの一例であり、環境画像情報は環境センサ情報の一例である。

以下、環境情報を環境画像情報から算出するシーケンス図を説明する。最初に、操作者Ｓ１は制御装置２に環境情報を取得する命令を送信する（Ｓ００１）。なお、操作者Ｓ１は制御装置２に環境画像情報を取得するためのロボット動作を定義し送信してもよい。なお、環境画像情報を取得するために、プログラミングペンダント等を用いて操作者Ｓ１が制御装置２に動的に制御情報を送信してもよい。また、操作者Ｓ１が手でロボットを直接動かしてもよい。このように、操作者Ｓ１は対話的に制御装置２に制御情報を入力し、ロボット１０を操作してもよい。

ステップＳ００１の後、制御装置２はロボット１０に環境情報を取得するための動作を含む制御情報を送信し、ロボット１０を動作させる（Ｓ００２）。

また、制御装置２はカメラ１０３に環境画像情報を取得する命令を送信する（Ｓ００３）。なお、環境画像を取得するために、ロボット１０にカメラ１０３を搭載して撮像する必要はない。つまり、操作者Ｓ１がカメラ１０３を持ち、撮像画像を取得してもよい。なお、ステップＳ００２とステップＳ００３は順番が前後してもよい。

ステップＳ００２およびステップＳ００３の後、カメラ１０３は、撮像画像を取得し、制御装置２に撮像画像を送信し、制御装置２は撮像画像を記憶する（Ｓ００４）。ステップＳ００４は、ステップＳ００２で制御装置２がロボット１０を動かしている間、カメラ１０３による撮像を行うため、制御装置２はカメラ１０３の複数の位置・姿勢から取得された撮像画像を１枚ずつ受信し、記憶する。

ロボット１０がステップＳ００２で規定された動作を終了したとき、ロボット１０は制御装置２にロボット１０の動作が終了した信号を送信する（Ｓ００５）。

ステップＳ００５の後、制御装置２はカメラ１０３にカメラ１０３の撮像を終了する命令を送信する（Ｓ００６）。ステップＳ００６の後、カメラ１０３は撮像を終了し、カメラ１０３は制御装置２に撮像を終了した信号を送信する（Ｓ００７）。このとき、制御装置２はカメラ１０３で環境を網羅的に撮影することにより得た環境画像情報を取得している。

ステップＳ００７の後、制御装置２はステップＳ００４で取得した環境画像情報に基づいて、環境情報を算出する（Ｓ００８）。制御装置２は、算出した環境情報を記憶する。環境情報を算出する方法は、図６の環境情報の算出フローで後述する。

ステップＳ００８の後、制御装置２は、操作者Ｓ１に環境情報の取得信号を送信し、環境情報の算出を終了したことを通知する（Ｓ００９）。操作者Ｓ１は制御装置が環境情報を算出し終わった通知を受け取り、次の作業である目標作業情報の算出を実行することができる。

［目標作業情報を算出するシーケンス］
図３は、実施の形態１におけるロボットの目標作業情報を算出する動作を示すシーケンス図である。ロボット１０の目標作業情報の算出は、図２に基づいて説明した環境情報を取得した後に実行する必要がある。

環境情報と目標画像情報とに基づいて、制御装置２は目標作業情報を取得する。目標画像情報とは、ネジ締め作業を実行するときに、カメラ１０３により撮像される撮像画像である。目標作業情報とは、目標画像情報および環境情報を用いて算出される、ネジ締め作業を実行するときのロボット１０が用いる情報であり、ネジ締め作業を実行するときのカメラ１０３の位置・姿勢、および目標画像情報におけるネジ穴１１の特徴点を含む。特徴点は特徴情報の一例である。

以下、目標作業情報を目標画像情報から算出するシーケンス図を説明する。最初に、操作者Ｓ１は制御装置２に目標作業情報を取得する命令を送信する（Ｓ１０１）。なお、操作者Ｓ１は制御装置２に目標作業情報を取得するためのロボット動作を定義し送信してもよい。なお、目標作業情報を取得するために、プログラミングペンダント等を用いて操作者Ｓ１が制御装置２に動的に制御情報を送信してもよい。また、操作者Ｓ１が手でロボットを直接動かしてもよい。このように、操作者Ｓ１は対話的に制御装置２に制御情報を入力し、ロボット１０を操作してもよい。

ステップＳ１０１の後、制御装置２はロボット１０に目標画像情報を取得するための動作の命令（制御情報）を送信し、ロボット１０を動作させる（Ｓ１０２）。

ステップＳ１０２の後、ロボット１０は制御装置２に動作を終了する通知を送信する（Ｓ１０３）。ステップＳ１０３の後、ロボット１０の姿勢は作業を達成したときの姿勢になる。

ステップＳ１０３の後、制御装置２はカメラ１０３に目標画像情報を取得する命令を送信する（Ｓ１０４）。ステップＳ１０４の後、カメラ１０３は、目標画像情報を取得し、制御装置２に目標画像情報を送信し、制御装置２は目標画像情報を記憶する（Ｓ１０５）。カメラ１０３から取得する目標画像情報には、ネジ穴１１が写っている。なお、目標画像情報を取得するために、ロボット１０にカメラ１０３を搭載して撮像する必要はない。つまり、操作者Ｓ１がカメラ１０３を持ち、撮像画像を取得してもよい。

ステップＳ１０５の後、環境情報と目標画像情報とに基づいて、目標作業情報を算出する（Ｓ１０６）。目標作業情報を算出する方法は、図９の目標作業情報の算出フローで後述する。

ステップＳ１０６の後、制御装置２は操作者Ｓ１に目標作業情報の取得信号を送信し、目標作業情報の算出を終了したことを通知する（Ｓ１０７）。操作者Ｓ１は制御装置が目標作業情報を算出し終わった通知を受け取り、次の作業であるロボット１０の制御を実行することができる。

［ロボットを制御するシーケンス］
図４は、実施の形態１におけるロボットの作業を実現する制御動作を示すシーケンス図である。ロボットの制御は図２に基づいて説明した環境情報と、図３に基づいて説明した目標作業情報と、を取得した後に実行する必要がある。

本実施の形態のロボット制御の特徴は、第１のステップの後に第２のステップを実行するという、２段階の制御である。第１のステップは３つの処理からなる。１つ目の処理は、カメラ１０３から第１の画像情報を取得する。２つ目の処理は、環境情報、第１の画像情報、および目標作業情報に基づいて、第１の制御情報を算出する。３つ目の処理は、第１の制御情報に基づいて、制御を実行する。第２のステップも３つの処理からなる。１つ目の処理は、カメラ１０３から第２の画像情報を取得する。２つ目の処理は、第２の画像情報、および目標作業情報に基づいて、第２の制御情報を算出する。３つ目の処理は、第２の制御情報に基づいて、制御を実行する。画像情報はセンサ情報の一例である。

この２つのステップによる制御は、ある単一の目標画像情報により実行される制御である。言い換えると、第１のステップと第２のステップとによる制御の結果が、理想的には同じになるということである。第１のステップは第２のステップと異なり、作業対象物の情報だけではなく環境情報を用いる制御を行うため、撮像画像中に作業対象物が存在しない場合でも制御が可能である。これは、第２のステップの、撮像画像中に作業対象物が存在しない場合に制御が不可能であるという問題点を補完している。

しかし、本実施の形態では、環境情報を算出する際に、２次元画像から３次元の位置情報に変換しているため、環境情報への変換に誤差が生じる可能性がある。そのため、第１のステップの制御には、変換に起因する誤差が生じる可能性がある。一方で、第２のステップでは、第１のステップと異なり２次元画像を変換せず、２次元画像の特徴を直接用いることにより、上記で説明した変換による誤差が生じない。つまり、第１のステップに比べて、第２のステップの方が、精度の良い制御が可能である。

したがって、本実施の形態では、第１のステップによる制御の後に第２のステップによる制御を実行する。最初に第１のステップによる制御を実行することで、撮像画像中に作業対象物が存在しない場合から、撮像画像中に作業対象物が写り込ませることで、次に第２のステップを実行できるようにする。次に、環境情報に変換する際の誤差を考慮し、第２のステップによる制御を実行することで、撮像画像中に作業対象物の特徴が存在する場合から、ロボット１０は目標作業情報を達成するように精密に制御される。これにより、作業対象物の位置に関係なく、精密な制御が実行される。

本実施の形態では、第１の画像情報とは、カメラ１０３から取得した環境を撮像した画像の特徴点である。また、第２の画像情報とは、カメラ１０３から取得した撮像した画像のネジ穴１１の特徴点である。また、第１の制御情報と第２の制御情報とは、ロボット１０の関節角の位置の制御量であり、ロボット１０は制御情報を用いて関節角の位置制御を実行する。

最初に、操作者Ｓ１は制御装置２にロボットの制御を開始する命令を送信する（Ｓ２０１）。

ステップＳ２０１の後、制御装置２はカメラ１０３に第１の画像情報を取得する命令を送信する（Ｓ２０２）。ステップＳ２０２の後、カメラ１０３は、第１の画像情報を取得し、制御装置２に第１の画像情報を送信し、制御装置２は第１の画像情報を記憶する（Ｓ２０３）。

ステップＳ２０３の後、環境情報、目標作業情報、および第１の画像情報に基づいて、制御装置２は第１の制御情報を算出する（Ｓ２０４）。第１の制御情報を算出する方法は、図１４のロボットの制御動作の算出フローで後述する。

ステップＳ２０４の後、制御装置２はロボット１０に第１の制御情報を送信する（Ｓ２０５）。ステップＳ２０５の後、ロボット１０は、受信した制御情報に基づいて制御された後、第１の制御終了の信号を制御装置２に送信する（Ｓ２０６）。

ステップＳ２０６の後、制御装置２はカメラ１０３に第２の画像情報を取得する命令を送信する（Ｓ２０７）。ステップＳ２０７の後、カメラ１０３は、第２の画像情報を取得し、制御装置２に第２の画像情報を送信し、制御装置２に第２の画像情報を記憶する（Ｓ２０８）。

ステップＳ２０８の後、目標作業情報、および第２の画像情報に基づいて、制御装置２は第２の制御情報を算出する（Ｓ２０９）。第２の制御情報を算出する方法は、図１４のロボットの制御動作の算出フローで後述する。

ステップＳ２０９の後、制御装置２はロボット１０に第２の制御情報を送信する（Ｓ２１０）。ステップＳ２１０の後、ロボット１０は、受信した第２の制御情報に基づいて制御された後、第２の制御終了の信号を制御装置２に送信する（Ｓ２１１）。

ステップＳ２１１の後、制御装置２は、操作者Ｓ１に制御終了の信号を送信し、ロボット１０の制御を終了したことを通知する（Ｓ２１２）。

なお、各シーケンスは操作者Ｓ１が命令を送信せずに順に実行されてもよい。

［ブロック図の説明］
図５は、実施の形態１におけるロボット１０の制御システム１のハードウェア構成を示すブロック図である。ロボット１０とカメラ１０３は図１に基づいて説明したものと同様であるため、説明を省略する。

メモリ２１は、プロセッサ２２で処理を実行するための情報を記憶する。例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）とを有する。ＲＡＭは、プロセッサ２２により生成または取得したデータを一時的に保存するためのワーキングメモリである。ＲＯＭは、プロセッサ２２による処理を規定したプログラムを格納するためのストレージである。例えば、メモリ２１は、画像情報取得部２２１から取得した撮像画像、環境画像情報、目標画像情報、第１の画像情報、および第２の画像情報、環境情報算出部２２４から取得した環境情報、および目標作業情報算出部２２５から取得した目標作業情報を記憶してもよい。また、メモリ２１は、各取得部および算出部の処理におけるデータを記憶してもよい。また、メモリ２１は、カメラ１０３およびロボット１０のパラメータを記憶してもよい。

プロセッサ２２は、メモリ２１に記憶されているプログラムを参照し、そのプログラムを実行することにより処理を実行する。例えば、プロセッサ２２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を用いて構成される。例えば、プロセッサ２２は、画像情報取得部２２１、制御部２２２、状態取得部２２３、環境情報算出部２２４、目標作業情報算出部２２５、第１の制御情報算出部２２６、および第２の制御情報算出部２２７を機能的に実現する。

画像情報取得部２２１は、カメラ１０３が撮像した撮像画像をカメラ１０３から取得する。画像情報取得部２２１は、環境の特徴を抽出する第１の画像処理と、ネジ穴１１の特徴を抽出する第２の画像処理とを実行することができる。ここで、第１の画像処理は第１のステップによる制御のための画像処理であり、第２の画像処理は第２のステップによる制御のための画像処理である。

環境情報を算出するとき、画像情報取得部２２１は、撮像画像群に第１の画像処理を実行することで、環境画像情報を算出し、環境画像情報をメモリ２１に記憶させる。目標作業情報を算出するとき、画像情報取得部２２１は、撮像画像に第１の画像処理および第２の画像処理を実行することで、第１の目標画像情報および第２の目標画像情報を算出する。第１の制御情報を算出するとき、画像情報取得部２２１は、撮像画像に第１の画像処理を実行することで、第１の画像情報を算出する。第２の制御情報を算出するとき、画像情報取得部２２１は、撮像画像に第２の画像処理を実行することで、第２の画像情報を算出する。なお、画像情報取得部２２１は、それぞれの処理で算出したデータをメモリ２１に記憶させてもよい。なお、画像情報取得部２２１は、カメラ１０３からカメラ１０３のパラメータを取得し、カメラ１０３のパラメータをメモリ２１に記憶させてもよい。

制御部２２２は、第１の制御情報算出部２２６または第２の制御情報算出部２２７から、第１の制御情報または第２の制御情報を取得する。制御部２２２は、第１の制御情報または第２の制御情報をロボット１０が受信できる制御信号に変換する。制御部２２２は、制御信号をロボット１０に送信する。ロボット１０は、制御信号を受信したときに、受信した制御信号に従って動作する。例えば、制御部２２２が第１の制御情報または第２の制御情報として、関節角の位置の数値配列を取得したとき、制御部２２２は制御情報を文字列で表される制御信号に変換し、ロボット１０に送信する。これに限らず、制御情報および制御信号は、当事者にとって一般的なものが用いられてもよい。

状態取得部２２３は、ロボット１０の状態をロボット１０から取得する。状態取得部２２３は、取得したロボット１０の状態をメモリ２１に記憶させる。なお、状態取得部２２３は、ロボット１０からロボット１０のパラメータを取得し、ロボット１０のパラメータをメモリ２１に記憶させてもよい。

環境情報算出部２２４は、画像情報取得部２２１から取得した環境画像情報に基づいて、環境情報を取得する。環境情報算出部２２４は、取得した環境情報をメモリ２１に記憶させる。

目標作業情報算出部２２５は、画像情報取得部２２１から取得した第１の目標画像情報と、環境情報と、に基づいて、第１の目標作業情報を取得する。目標作業情報算出部２２５は、画像情報取得部２２１から取得した第２の目標画像情報に基づいて、第２の目標作業情報を取得する。第１の目標作業情報と第２の目標作業情報とを合わせて、目標作業情報とする。目標作業情報算出部２２５は、取得した目標作業情報をメモリ２１に記憶させる。ここで、第１の目標作業情報は第１のステップによる制御のための作業情報であり、第２の目標作業情報は第２のステップによる制御のための作業情報である。

第１の制御情報算出部２２６は、画像情報取得部２２１から取得した第１の画像情報、環境情報、および第１の目標作業情報に基づいて、ロボット１０を制御する第１の制御情報を算出する。第１の制御情報算出部２２６は、算出した第１の制御情報をメモリ２１に記憶させる。なお、第１の制御情報算出部２２６は、状態取得部２２３で取得したロボット１０の状態にも基づいて、第１の制御情報を算出してもよい。

第２の制御情報算出部２２７は、画像情報取得部２２１から取得した第２の画像情報と、第２の目標作業情報と、に基づいて、ロボット１０を制御する第２の制御情報を算出する。第２の制御情報算出部２２７は、算出した第２の制御情報をメモリ２１に記憶させる。なお、第２の制御情報算出部２２７は、状態取得部２２３で取得したロボット１０の状態にも基づいて、第２の制御情報を算出してもよい。

制御装置２は、メモリ２１およびプロセッサ２２以外の構成要素をさらに含んでいてもよい。例えば、処理を指示するための入力装置と、入力に応じてプロセッサに処理を命令する機能ブロックを更に含んでいてもよい。例えば、処理を出力するための出力装置と、出力する情報を参照するための機能ブロックを更に含んでいてもよい。例えば、制御装置２は、プログラミングペンダントが発した制御信号を取得し、制御情報を算出し、制御部２２２に制御情報を送信する機能ブロックを更に含んでいてもよい。例えば、制御装置２は、インターネットに接続するための通信装置と、通信の信号に応じて処理を行う機能ブロックを更に含んでいてもよい。

［フローチャート図の説明］
本実施の形態において、ロボットの作業を実現する動作を、フローチャート図を用いて説明する。

［環境情報を算出するフロー］
図６は、実施の形態１における環境情報の算出方法を示すフローチャート図である。

最初に、制御部２２２はロボット１０を動作させる（Ｓ３０１）。

ステップＳ３０１の後に、環境情報算出部２２４は、画像情報取得部２２１から、カメラ１０３が撮像した撮像画像から第１の画像処理により得た環境画像情報を取得する（Ｓ３０２）。

なお、第１の画像処理を実現する公知の手法として、エッジ検出、コーナー検出、ハフ変換、ＳＨＯＴ（Ｓｉｇｎａｔｕｒｅ ｏｆ Ｈｉｓｔｏｇｒａｍｓ ｏｆ ＯｒｉｅｎＴａｔｉｏｎｓ）、ＦＡＳＴ（Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔ Ｔｅｓｔ）、およびＳＵＲＦ（Ｓｐｅｅｄｅｄ－Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）が挙げられる。第１の画像処理は、環境の広範囲の情報を取得するため、汎用的な画像処理であることが望ましい。

ステップＳ３０２の後に、さらに環境画像情報の取得を終了するかどうかを判断する（Ｓ３０３）。例えば、事前に環境画像情報の取得を行うための処理を記述し、それを順番に行い、その処理がすべて終了した場合（Ｓ３０３：Ｔｒｕｅ）は環境画像情報の取得を終了し、それ以外の場合（Ｓ３０３：Ｆａｌｓｅ）はさらに環境画像情報を取得する。

環境画像情報の取得を行うための処理が終了しておらず、さらに環境画像情報を取得する場合（Ｓ３０３：Ｆａｌｓｅ）、ステップＳ３０１の処理に戻る。ステップＳ３０１とＳ３０２の処理を繰り返すことにより、後述するステップＳ３０４で環境情報を算出するための複数の環境画像情報を取得する。

図７は、実施の形態１における環境画像情報を示す模式図である。丸に十字の記号は、第１の画像処理により取得した、環境画像情報の２次元空間における特徴を表している。本実施の形態において、特徴はネジ穴１１の円周上の４点、基板１２の頂点、壁１３の頂点、および模様の端点であり、２次元画像中の座標点の集合で表される。環境画像情報は、撮像した画像の上に特徴点を描画することで表現している。特徴点Ｐ１～Ｐ９は、取得した特徴点の中で説明のために特に注目する点である。３枚の撮像画像に基づく環境画像情報Ｅ１～Ｅ３を例に説明しているが、実際は必要に応じてより多くの撮像画像を取得している。

図６のステップＳ３０２の後に、環境画像情報の取得を終了する場合（Ｓ３０３：Ｔｒｕｅ）、環境画像情報に基づき、環境情報算出部２２４は環境情報を算出する（Ｓ３０４）。なお、環境を撮影した動画を事前に取得し、それを複数の画像に変換し、環境画像として利用してもよい。なお、途中で環境画像を追加し、カメラ１０３で環境画像を追加しながら、オンラインで環境情報を更新してもよい。

なお、環境情報を算出する公知の手法として、ＳＬＡＭ（Ｓｉｍｕｌａｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ）がある。ＳＬＡＭはセンサの自己位置推定とセンサで取得した情報に基づく地図生成を同時に行う技術である。ＳＬＡＭのうち、画像特徴点を用いた疎な手法（ｆｅａｔｕｒｅ ｂａｓｅｄ ｍｅｔｈｏｄ）では、ＰＴＡＭやＯＲＢ－ＳＬＡＭがある。ＳＬＡＭのうち、画像全体の輝度を用いた密な手法（ｄｉｒｅｃｔ ｍｅｔｈｏｄ）では、ＤＴＡＭ、ＬＳＤ－ＳＬＡＭ、ＤＳＯ、およびＳＶＯがある。

図８は、実施の形態１におけるロボットの環境情報を示す模式図である。丸に十字の記号は、環境情報の３次元点群である。環境情報は、図１で示した環境の上に特徴点を描画することで表現している。図８の環境情報に示す３次元点群の特徴点Ｐ１は、図７の環境画像情報Ｅ１の特徴点Ｐ１と、環境画像情報Ｅ２の特徴点Ｐ１とに基づいて算出されたものである。同様に、図８の環境情報に示す３次元点群の特徴点Ｐ３は、図７の環境画像情報Ｅ２の特徴点Ｐ３と、環境画像情報Ｅ３の特徴点Ｐ３とに基づいて算出されたものである。このように、複数の環境画像情報の特徴点に基づいて、３次元点群の特徴点で表される環境情報に変換される。

［目標作業情報を算出するフロー］
図９は、実施の形態１における目標作業情報の算出方法を示すフローチャート図である。目標作業情報の算出は、環境情報を算出した後に行い、算出した環境情報と目標撮像画像とを用いて行う。目標作業情報には、第１の目標画像情報に対応する第１の目標作業情報と、第２の目標画像情報に対応する第２の目標作業情報とがある。

最初に、制御部２２２は、ロボット１０に目標画像情報を取得するための制御情報を送信し、ロボット１０を動作させる（Ｓ４０１）。ステップＳ４０１により、ロボット１０は作業を達成することができる姿勢、つまりロボット１０の目標状態となる。

図１０は、実施の形態１におけるロボットの目標状態を示す模式図である。

図９のステップＳ４０１の後、画像情報取得部２２１はカメラ１０３が撮像した撮像画像を取得する（Ｓ４０２）。これを目標撮像画像と呼ぶ。目標撮像画像は、目標作業情報を算出するときの画像以外であってもよい。

図１１は、実施の形態１における目標撮像画像を示す模式図である。目標撮像画像にはネジ穴１１が写っている。また、目標撮像画像には基板１２および壁１３が写っていてもよい。

図９のステップＳ４０２の後、画像情報取得部２２１は環境情報と目標撮像画像とに基づいて、第１の目標画像情報を算出し、目標作業情報算出部２２５は環境情報と第１の目標画像情報とに基づいて、第１の目標作業情報を算出する（Ｓ４０３）。図１２は、実施の形態１における第１の目標画像情報を示す模式図である。図１２中の丸に十字の記号は、目標撮像画像を第１の画像処理により処理した、２次元空間における特徴を表している。特徴は、図１１で説明した目標画像の上に描画している。特徴点Ｐ１１～Ｐ１９は、目標撮像画像に基づいて、第１の画像処理により特徴点を抽出したものである。第１の画像処理とは、環境情報を取得する際に用いた画像処理である。

第１の目標作業情報は、図８で示されるような環境情報と、図１２で示されるような第１の目標画像情報とに基づき、図８中の特徴点Ｐ１～Ｐ９と図１２中の特徴点Ｐ１１～Ｐ１９をそれぞれ対応付けることにより算出される。このように対応付けることで、図１２を撮像したときの、図８におけるカメラの位置・姿勢を算出することができ、その処理により求めたカメラの位置・姿勢が第１の目標作業情報である。第１の目標作業情報を算出する公知の手法として、ＳＬＡＭが挙げられる。

図９のステップＳ４０３の後、画像情報取得部２２１は目標撮像画像に基づいて、第２の目標画像情報を算出し、目標作業情報算出部２２５は第２の目標画像情報に基づいて、第２の目標作業情報を算出する（Ｓ４０４）。

図１３は、実施の形態１における第２の目標画像情報を示す模式図である。図１３中の丸に十字の記号は、目標撮像画像を第２の画像処理により処理した、２次元空間における特徴を示している。特徴は、図１１で説明した目標画像の上に描画している。第２の画像処理とは、作業対象物（ネジ穴１１）に着目した画像処理である。

本実施の形態における第２の画像処理は、ネジ穴１１に着目し、その特徴点を抽出することである。具体的には、第２の画像処理で抽出したネジ穴１１の特徴は、ネジ穴１１の中心座標と、ネジ穴１１を楕円として認識したときの長軸および短軸のネジ穴１１の輪郭との交点を抽出する。

なお、第２の画像処理を実現する公知の手法として、ハフ変換、マーカー検出が挙げられる。第２の画像処理は、作業対象物（ネジ穴１１）の局所的な情報を取得するため、作業対象物（ネジ穴１１）のみに作用するような限定的な画像処理であることが望ましい。

第２の目標作業情報は、第２の目標画像情報をそのまま用いる。なお、第２の目標画像情報に基づいて、第２の目標作業情報を別途算出してもよい。例えば、第２の目標画像情報を２次元空間の特徴点の集合としたとき、その特徴点の中から使用するものを選択し、それ以外のものを用いなくてもよい。

［ロボットを制御するフロー］
図１４は、実施の形態１におけるロボットの制御動作を示すフローチャート図である。ロボットの制御は、環境情報および目標作業情報を算出した後に行う。

最初に、画像情報取得部２２１は、撮像画像を取得し、取得した撮像画像に第１の画像処理を実行し、第１の画像情報を取得する（Ｓ５０１）。

図１５は、実施の形態１におけるロボット１０の初期状態におけるカメラ１０３の撮像画像を示す模式図である。ロボット１０の初期状態は図１に示しているように、ロボットアーム１０１、ドライバ１０２、およびカメラ１０３が壁１３に向いているため、撮像画像にネジ穴１１が写っていない。第１の画像処理を実行した場合、壁１３の模様から特徴点を取ることができる。しかし、第２の画像処理を実行した場合、撮像画像にネジ穴１１が存在しないため、ネジ穴１１の特徴点を抽出することができない。したがって、従来のネジ穴１１の特徴点を用いた手法では、制御を行うことができない。そのため、本実施の形態では、環境の特徴点をも用いることで、制御を実行する。

図１４のステップＳ５０１の後、第１のステップによる制御を行う（Ｓ５０２～Ｓ５０５）。まず、第１の制御情報算出部２２６は、環境情報、第１の目標作業情報、および第１の画像情報に基づいて、第１の制御情報を算出する（Ｓ５０２）。第１の作業情報の制御手順を次に述べる。

まず、環境情報と第１の画像情報とに基づいて、環境情報における撮像時点での第１の作業情報を取得する。ここで、本実施の形態において、作業情報はカメラ１０３の位置・姿勢である。なお、第１の作業情報を算出する公知の手法として、ＳＬＡＭが挙げられる。

その後に、第１の目標作業情報（本実施の形態では目標となるカメラの位置・姿勢）と第１の作業情報（本実施の形態の場合、現在のカメラの位置・姿勢）の差分を０にするような第１の制御情報を算出する。なお、第１の制御情報を算出する公知の方法として、ビジュアルサーボが挙げられる。

ステップＳ５０２の後、制御部２２２は、算出した第１の制御情報を用いて、ロボット１０を制御する（Ｓ５０３）。ステップＳ５０３の後、画像情報取得部２２１は、ステップＳ５０１と同様に、第３の画像情報を取得する（Ｓ５０４）。

ステップＳ５０４の後、プロセッサ２２は、ステップＳ５０３で取得した第３の画像情報にネジ穴１１が存在するかどうかを判別する（Ｓ５０５）。例えば、第３の画像情報に第２の画像処理を実行し、ネジ穴１１の特徴点を抽出し、特徴点を抽出できた場合「Ｔｒｕｅ」に、それ以外の場合「Ｆａｌｓｅ」に判断する。具体的には、第３の画像情報に第２の画像処理を実行し、ネジ穴１１の特徴点を抽出し、特徴点が撮像画像の中心から半径１００ピクセル以内にあれば「Ｔｒｕｅ」に、それ以外の場合「Ｆａｌｓｅ」に判断する。例えば、撮像画像にＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）を使用し、撮像画像にネジ穴１１が存在していた場合「Ｔｒｕｅ」に、それ以外の場合「Ｆａｌｓｅ」に判定する。

なお、ステップＳ５０５の処理は上記に限らない。例えば、作業目標を達成しているかどうかを判別してもよい。例えば、環境情報と第３の画像情報とに基づいて第３の作業情報を取得し、第３の作業情報が第１の目標作業情報に収束している場合「Ｔｒｕｅ」に、それ以外の場合「Ｆａｌｓｅ」に判定する。具体的には、第３の作業情報（本実施の形態ではカメラの位置・姿勢）と、第１の目標作業情報（本実施の形態では目標となるカメラの位置・姿勢）を比較したときに、カメラの位置の誤差が５［ｍｍ］以内かつカメラの姿勢の誤差が０．１［ｒａｄ］以内である場合「Ｔｒｕｅ」に、それ以外の場合「Ｆａｌｓｅ」に判断する。

ステップＳ５０５で第３の画像情報にネジ穴１１が存在しない場合（Ｓ５０５：Ｆａｌｓｅ）、第３の画像情報を第１の画像情報と置き換えて、第１のステップ（Ｓ５０２～Ｓ５０５）の処理を実行する。目標作業情報にはネジ穴１１の情報が含まれているため、第１のステップ（Ｓ５０２～Ｓ５０５）を繰り返し実行することで、第３の画像情報にネジ穴１１が含まれるようになる。

ステップＳ５０５で第３の画像情報にネジ穴１１が存在する場合（Ｓ５０５：Ｔｒｕｅ）、画像情報取得部２２１は、画像情報を取得し、取得した撮像画像に第２の画像処理を実行し、第２の画像情報を算出する（Ｓ５０６）。なお、ステップＳ５０４で第３の画像情報を算出するために用いた撮像画像を用いて、第２の画像情報を算出してもよい。なお、ステップＳ５０５で第２の画像処理を実行していた場合、そのときの情報を用いて第２の画像情報を算出してもよい。

ステップＳ５０６の後、第２のステップによる制御を行う（Ｓ５０７～Ｓ５１１）。まず、第２の制御情報算出部２２７は、第２の目標作業情報、および第２の画像情報に基づいて、第２の制御情報を算出する（Ｓ５０７）。第２の作業情報の制御手順を次に述べる。

第２の目標作業情報（本実施の形態の場合、目標となるネジ穴１１の楕円の特徴）と現在の作業情報（本実施の形態の場合、ネジ穴１１の楕円の特徴）の差分を０にするような第２の制御情報を算出する。なお、第２の制御情報を算出する公知の方法として、ビジュアルサーボが挙げられる。

ステップＳ５０７の後、制御部２２２は、算出した第２の制御情報を用いて、ロボット１０を制御する（Ｓ５０８）。ステップＳ５０８の後、画像情報取得部２２１は、ステップＳ５０６と同様に、第４の画像情報を取得する（Ｓ５０９）。

ステップＳ５０９の後、プロセッサ２２は、ステップＳ５０９で取得した第４の画像情報が目標作業情報を達成しているかどうかを判別する（Ｓ５１０）。なお、第４の画像情報が目標作業情報を達成しているとは、例えば、第２の目標作業情報における特徴と第４の画像情報における特徴の誤差がある値以下のときである。

ステップＳ５０９で第４の画像情報が第２の目標作業情報を達成している場合、（Ｓ５１０：Ｔｒｕｅ）、制御を終了する。例えば、第４の画像情報と第２の目標作業情報との各要素を比較したときに、各要素の誤差が１ピクセル未満の場合「Ｔｒｕｅ」に、それ以外の場合「Ｆａｌｓｅ」に判定してもよい。

ステップＳ５０９で第４の画像情報が第２の目標作業情報を達成していない場合、（Ｓ５１０：Ｆａｌｓｅ）、第４の画像情報の特定の範囲内に、ネジ穴１１が存在するかどうかを判別する（Ｓ５１１）。ステップＳ５１１での判別は、ステップＳ５０５と同様に行ってもよい。

ステップＳ５１１で第４の画像情報の特定の範囲内にネジ穴１１が存在すると判別したとき（Ｓ５１１：Ｔｒｕｅ）、第４の画像情報を第２の画像情報と置き換えて、第２のステップ（Ｓ５０７～Ｓ５１１）の処理を実行する。第２のステップ（Ｓ５０７～Ｓ５１１）を繰り返すことで、第４の画像情報の特徴は目標作業情報に収束する。

ステップＳ５１１で第４の画像情報の特定の範囲内にネジ穴１１が存在しないと判別したとき（Ｓ５１１：Ｆａｌｓｅ）、再度第２のステップを行うことができない。したがって、再度ネジ穴１１を捕捉するために、第１のステップ（Ｓ５０２～Ｓ５０５）に戻る。

［効果等］
以上のように、本実施の形態では、事前に環境情報および目標画像情報を算出し、環境情報に基づいて第１の制御情報を算出し、第１の制御情報による制御を実行し、その後環境情報に基づいて第２の制御情報を算出し、第２の制御情報による制御を実行する。

これにより、カメラで撮像した画像中にネジ穴１１が存在していない場合においても、精度を担保しつつ、作業を実行することができる。そのため、ロボット周辺の環境を厳密に設計せずに、ロボットを制御し、ロボットに作業をさせることが可能になる。

［実施の形態２］
以下、図１６～１８を用いて、実施の形態２を説明する。なお、実施の形態２における作業は実施の形態１のものと同じものを用いるため、省略する。

［シーケンス図の説明］
本実施の形態では、環境情報を算出するシーケンス図と、目標作業情報を算出するシーケンス図は相違がないため、ロボットの制御シーケンスについてのみ説明する。

［ロボットを制御するシーケンス］
図１６は、実施の形態２におけるロボット１０の作業を実現する制御動作を示すシーケンス図である。ステップＳ２０１～Ｓ２０４、Ｓ２０７～Ｓ２０９、Ｓ２１２は図４を参照する。

ステップＳ２０９の後、制御装置２は、第１の制御情報と第２の制御情報とに基づいて、第３の制御情報を算出する（Ｓ６０１）。

ステップＳ６０１の後、制御装置２はロボット１０に第３の制御情報を送信する（Ｓ６０２）。ステップＳ６０２の後、ロボット１０は受信した制御情報に基づいて動作する（Ｓ６０３）。

［ブロック図の説明］
図１７は、実施の形態２におけるロボット１０の制御システム１Ａのハードウェア構成を示すブロック図である。制御システム１Ａ、制御装置２Ａ、およびプロセッサ２２Ａは、第３の制御情報算出部２２８を有する点で、実施の形態１と異なる。実施の形態１と同様の構成については同一の符号を付して説明を省略する。

第３の制御情報算出部２２８は、第１の制御情報算出部２２６から算出した第１の制御情報と、第２の制御情報算出部２２７から算出した第２の制御情報とに基づいて、第３の制御情報を算出し、制御部２２２へ第３の制御情報を送信する。

［フローチャート図の説明］
実施の形態２の制御システム１Ａは、環境情報を算出するフローチャート図と、目標作業情報を算出するフローチャート図については、実施の形態１の制御システム１と相違がないため、ロボットの制御動作についてのみ説明する。

［ロボットを制御するフロー］
図１８は、実施の形態２におけるロボットの制御動作を示すフローチャート図である。ロボットの制御は、環境情報および目標作業情報を算出した後に行う。

最初に、プロセッサ２２Ａは、画像情報取得部２２１から、撮像画像を取得し、第１の画像処理で第１の画像情報を、第２の画像処理で第２の画像情報を算出する（Ｓ７０１）。ここで、実施の形態１とは異なり、実施の形態２では撮像画像から必ず第１の画像情報と第２の画像情報の両方を算出する。

ステップＳ７０１の後、プロセッサ２２Ａは、撮像画像が作業目標を達成しているかどうかを判断する（Ｓ７０２）。ステップＳ７０２は実施の形態１のステップＳ５１０と同様に判別を行えばよい。

ステップＳ７０２で撮像画像が作業目標を達成している場合（Ｓ７０２：Ｔｒｕｅ）、制御を終了する。

ステップＳ７０２で撮像画像が作業目標を達成していない場合（Ｓ７０２：Ｆａｌｓｅ）、プロセッサ２２Ａは、第１のステップ（Ｓ７０３）の処理と第２のステップ（Ｓ７０４）の処理を同時に行い、第１のステップ（Ｓ７０３）の処理と第２のステップ（Ｓ７０４）の処理が終了するまで第３のステップ（Ｓ７０５およびＳ７０６）の処理を実行しない。

ステップＳ７０２の後、プロセッサ２２Ａは、環境情報と、第１の目標作業情報と、第１の画像情報とに基づいて、第１の制御情報を算出する（Ｓ７０３）。ステップＳ７０３は実施の形態１のステップＳ５０２と同様に算出すればよい。

ステップＳ７０２の後、プロセッサ２２Ａは、第２の目標作業情報と、第２の画像情報とに基づいて、第２の制御情報を算出する（Ｓ７０４）。ステップＳ７０４は実施の形態１のステップＳ５０７と同様に算出すればよい。

ステップＳ７０３およびステップＳ７０４の後、プロセッサ２２Ａは、第１の制御情報と第２の制御情報とに基づいて、第３の制御情報を算出する（Ｓ７０５）。例えば、第３の制御情報は、第１の制御情報と第２の制御情報の重み付き和で求めてもよい。例えば、第３の制御情報は、第２の制御情報が求められないとき、第１の制御情報をそのまま用いてもよい。例えば、第３の制御情報は、第２の目標作業情報と第２の画像情報との誤差が小さければ小さいほど、第２の制御情報の重みを大きくしてもよい。

このように、第１の制御情報と第２の制御情報とを用いることで、第１の制御情報の利点であるカメラで撮像した画像中に作業対象物が存在していない場合に制御できる点と、第２の制御情報の利点である精度良く制御できる点を組み合わせた制御を行うことができる。実施の形態１では２段階の制御で上記の内容を実現していたのに対し、実施の形態２では階層的な構造を持たない制御が可能である。

ステップＳ７０５の後、制御部２２２は、算出した第２の制御情報を用いて、ロボット１０を制御する（Ｓ７０６）。ステップＳ７０６の後、ステップＳ７０１に戻る。

［効果等］
以上のように、本実施の形態では、事前に環境情報および目標画像情報を算出し、環境情報に基づいて算出される第１の制御情報、および環境情報に基づいて算出される第２の制御情報に基づいて、第３の制御情報を算出し、第３の制御情報による制御を実行する。

これにより、カメラで撮像した画像中に作業対象物が存在していない場合においても、精度を担保しつつ、作業を実行することができる。そのため、ロボット周辺の環境を厳密に設計せずに、ロボットを制御し、ロボットに作業をさせることが可能になる。

［他の実施の形態］
以上のように、本出願において開示する技術の例示として、実施の形態１および実施の形態２を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態１および実施の形態２で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

実施の形態１および実施の形態２では、撮像画像の特徴は、２次元画像における座標点の集合であった。しかし、他の例も考えることができる。例えば、線の場合、その特徴は２次元画像の始点と終点との座標のペアの集合である。例えば、楕円の場合、その特徴は２次元画像の楕円の中心座標と長軸と短軸のベクトルとのペアの集合である。例えば、矩形の場合、その特徴は２次元画像のある点の座標と２本のベクトルとのペアの集合である。例えば、直方体の場合、その特徴は２次元画像のある点の座標と３本のベクトルとのペアの集合である。また、これらの例を組み合わせて使用してもよい。このように、平面図形や立体図形は最終的に、点または線のパラメータの集合で表示させることができる。また、画像の色や画像の輝度などのパラメータで示すこともできる。したがって、撮像画像の特徴は２次元画像での特徴を示すパラメータの集合により示すことができる。

実施の形態１および実施の形態２では、環境情報の特徴は、３次元空間における座標点の集合であった。しかし、他の例も考えることができる。例えば、環境情報に線を用いる場合、環境情報は３次元空間の始点と終点とのペアの集合で示すことができる。例えば、環境情報に楕円を用いる場合、環境情報は３次元空間の楕円の中心座標、および長軸と短軸とのベクトルのペアの集合で示すことができる。例えば、環境情報に矩形を用いる場合、環境情報は３次元空間のある点の座標と２本のベクトルとのペアの集合で示すことができる。例えば、環境情報に直方体を用いる場合、環境情報は３次元空間のある点の座標と３本のベクトルとのペアの集合で示すことができる。また、これらの例を組み合わせて使用してもよい。このように、平面図形や立体図形は最終的に、点または線のパラメータの集合で表示させることができる。また、画像の色や画像の輝度などを３次元空間に投影したパラメータで示すこともできる。したがって、環境情報は３次元空間での特徴を示すパラメータの集合により示すことができる。

実施の形態１および実施の形態２では、第１の目標作業情報および第１の作業情報は、カメラの位置・姿勢であった。しかし、第１の目標作業情報および第１の作業情報は、環境情報と、第１の目標画像情報または第１の画像情報から算出できればよい。例えば、カメラの位置から見たときの作業対象物の相対位置である。例えば、カメラの位置から見たときの撮像範囲外を含む特徴である。

実施の形態１および実施の形態２では、第２の目標作業情報および第２の作業情報は、撮像画像における座標点の集合であった。しかし、第２の目標作業情報および第２の作業情報は、第２の目標画像情報または第２の画像情報から算出できればよい。例えば、画像中における作業対象物の位置・姿勢である。例えば、画像中における作業対象物の特徴と位置・姿勢の組み合わせである。

実施の形態１および実施の形態２では、制御前に環境情報を算出した。しかし、制御中に環境が変動し、実際の環境と算出した環境情報に相違が生じる場合がある。そのため、撮像画像を用いて環境情報を更新することで、実際の環境に環境情報を適応させてよい。

実施の形態１および実施の形態２では、制御前に目標作業情報を算出した。しかし、制御中に他の作業を実行させる、または環境の変化に対して目標作業情報を合わせることが考えられる。そのため、実行したい作業または実際の環境に合わせた目標作業情報へと動的に変更してもよい。

実施の形態１および実施の形態２では、センサとしてカメラを用いた。しかし、環境の情報を取得できればよいため、カメラ以外のセンサを用いてもよい。例えば、センサとしてデプスセンサを用いる場合を考える。デプスセンサを用いた場合、第１の画像処理として、デプスの変化が大きい部分を抽出する。これにより、実施の形態１のような環境の模様に対応する、環境の特徴を算出することができる。第２の画像処理として、デプスの形状が楕円型の部分を抽出する。これにより、実施の形態１のようなネジ穴１１の穴に対応する、作業対象物の特徴を抽出する。環境情報は、第１の画像処理で抽出されたデプス情報の特徴を３次元点群として表現する。目標作業情報は、ロボットの目標状態で取得したデプス情報を用いて、第１の画像処理および第２の画像処理で抽出された情報を利用する。デプス情報を処理し、特徴として利用することで、実施の形態１および実施の形態２で説明した内容と同様に制御が可能である。

実施の形態１では、作業対象物に対して作業を行うロボットと、ロボットに搭載されたセンサと、に接続された制御装置におけるロボット制御方法であって、ロボットの周囲の環境を複数の位置と角度から取得した複数の環境画像情報に基づいて、ロボットの周囲の環境を示す環境情報を算出し、カメラで第１の画像情報を取得し、ロボットの作業対象物に対する作業目標を示す目標作業情報と、環境情報と、第１の画像情報とに基づいて、ロボットが作業目標に近づくような第１の制御情報を算出し、ロボットに第１の制御情報を送信する第１のステップと、第１のステップの後、カメラで第２の画像情報を取得し、目標作業情報と、第２の画像情報とに基づいて、ロボットが作業目標に近づくような第２の制御情報を算出し、ロボットに第２の制御情報を送信する第２のステップと、に基づいて制御を実行する。第１のステップにより、撮像画像で作業対象物を捉えていない場合であっても、環境情報を利用することで制御を行うことができる。また、第２のステップにより、撮像画像に基づいた精度の高い制御ができる。

第１のステップを実行した後、カメラで画像情報を取得し、画像情報に基づいて、画像情報中に作業対象物が存在しないと判断した場合に、第１のステップを実行する。第１のステップでは、第１の作業情報が第１の目標作業情報に近づくように制御が実行される。ここで、第１の目標作業情報には、作業対象物についての情報が含まれている。したがって、画像情報に作業対象物の情報が存在していないときから、作業対象物の情報が存在するまで制御を実行するため、第２のステップを実行することができるようになる。

第１のステップを実行した後、カメラで画像情報を取得し、環境情報と画像情報とに基づいて、ロボットが作業目標を満たしていないと判断した場合に、第１のステップを実行する。これにより、１回の制御で作業目標を達成できなかった場合に、再度作業目標に近づくように制御をすることで、作業目標を達成する制御を行うことができる。

第２のステップを実行した後、カメラで画像情報を取得し、画像情報に基づいて、ロボットが作業目標を満たしていないと判断した場合に、第２のステップを実行する。これにより、１回の制御で作業目標を達成できなかった場合に、再度作業目標に近づくように制御をすることにより、作業目標を達成できるような制御を行うことができる。

第２のステップを実行した後、カメラで画像情報を取得し、現在の画像情報のある範囲内に、作業対象物が存在しない場合に、第１のステップを実行する。これにより、第２のステップ中に作業対象物を見失った場合であっても、第１のステップに戻ることで、作業対象物を再捕捉するように制御することができる。

目標作業情報は、作業を終了する時の、作業対象物の特徴情報を含み、環境情報は、作業対象物と作業台とを含む特徴情報に対応する、環境に存在する作業対象物と作業台との特徴情報に対応する３次元の位置情報を含み、第１の画像情報は、取得時点での作業対象物と作業台との少なくとも一方の特徴情報を含む。

３次元の位置情報は、点、線、平面図形を示すパラメータ、または立体図形を示すパラメータから構成される、物体に特有な表現を持つ。

目標作業情報は、作業を実行するときの、作業対象物の特徴情報を含み、第２の画像情報は、取得時点での作業対象物の特徴情報を含む。

目標作業情報は、作業を実行するときの、作業対象物の特徴情報を含む。

特徴情報は、点、線、平面図形を示すパラメータ、または立体図形を示すパラメータから構成される、物体に特有な表現を持つ。

第１の画像情報および第２の画像情報を用いて、環境情報を更新する。これにより、環境が変化した場合であっても、環境情報を更新することで、環境に適応した制御を行うことができる。

環境画像情報は、カメラにより撮像された撮像画像である。

実施の形態２では、作業対象物に対して作業を行うロボットと、ロボットに搭載されたセンサと、に接続された制御装置におけるロボット制御方法であって、ロボットの周囲の環境を複数の位置と角度から撮影した複数の環境画像情報に基づいて、ロボットの周囲の環境を示す環境情報を算出し、カメラを用いて第１の画像情報と第２の画像情報とを取得し、ロボットの作業対象物に対する作業目標を示す目標作業情報と、環境情報と、第１の画像情報とに基づいて、ロボットが作業目標に近づくような第１の制御情報を算出する第１のステップと、目標作業情報と、第２の画像情報と、に基づいて、作業目標に近づくような第２の制御情報を算出する第２のステップと、第１の制御情報と、第２の制御情報に基づいて、第３の制御情報を算出し、ロボットに第３の制御情報を送信する第３のステップと、に基づいて制御を実行する。これにより、第１のステップで作業対象物を捉えていない場合でも制御できるような制御情報を算出し、第２のステップで作業対象物に対する精度の高い制御情報を算出し、第３のステップで第１のステップと第２のステップを組み合わせることでお互いの欠点を補うような制御ができる。

第３のステップを実行した後、ロボットが作業目標を満たしていないと判断した場合に、目標作業情報と環境情報とカメラを用いて取得した第３の画像情報とに基づいて、ロボットが前記作業目標に近づくような第４の制御情報を算出し、目標作業情報と、カメラを用いて取得した第４の画像情報とに基づいて、作業目標に近づくような第５の制御情報を算出し、第４の制御情報と第５の制御情報とに基づいて、第６の制御情報を算出し、ロボットに第６の制御情報を送信する。これにより、１回の制御で作業目標を達成できなかった場合に、再度作業目標に近づくように制御をすることにより、作業目標を達成できるような制御を行うことができる。

なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、様々な環境に適応してロボットによる作業を行う制御装置に適用可能である。具体的には、工場の組み立て作業、倉庫の整理作業、バックヤードの納品・品出し作業などに、本開示は適用可能である。

１、１Ａ 制御システム
１０ ロボット
１０１ ロボットアーム
１０２ ドライバ
１０３ カメラ
１０３１ 撮像範囲
１１ ネジ穴
１２ 基板
１３ 壁
２、２Ａ 制御装置
２１ メモリ
２２、２２Ａ プロセッサ
２２１ 画像情報取得部
２２２ 制御部
２２３ 状態取得部
２２４ 環境情報算出部
２２５ 目標作業情報算出部
２２６ 第１の制御情報算出部
２２７ 第２の制御情報算出部
２２８ 第３の制御情報算出部
Ｅ１、Ｅ２、Ｅ３ 環境画像情報
Ｐ１～Ｐ９、Ｐ１１～Ｐ１９ 特徴点

Claims (9)

1. 作業対象物に対して作業を行うロボットと、前記ロボットに搭載されたセンサと、に接続された制御装置におけるロボット制御方法であって、
   前記ロボットの周囲の環境を複数の位置と角度から前記センサを用いて取得した複数の環境センサ情報に基づいて、前記ロボットの前記周囲の環境を示す環境情報を算出し、
   前記センサを用いて第１のセンサ情報と第２のセンサ情報とを取得し、
   前記ロボットの前記作業対象物に対する作業目標を示す目標作業情報と、前記環境情報と、前記第１のセンサ情報とに基づいて、前記ロボットが前記作業目標に近づくような第１の制御情報を算出する第１のステップを実行し、
   前記目標作業情報と前記第２のセンサ情報とに基づいて、前記ロボットが前記作業目標に近づくような第２の制御情報を算出する第２のステップを実行し、
   前記第１の制御情報と前記第２の制御情報に基づいて、前記第１の制御情報と前記第２の制御情報との重み付き和により第３の制御情報を算出し、前記ロボットに前記第３の制御情報を送信する第３のステップを実行する、
   ロボット制御方法。
2. 前記第３のステップを実行した後、前記ロボットが前記作業目標を満たしていないと判断した場合に、
   前記目標作業情報と前記環境情報と前記センサを用いて取得した第３のセンサ情報とに基づいて、前記ロボットが前記作業目標に近づくような第４の制御情報を算出し、
   前記目標作業情報と前記センサを用いて取得した第４のセンサ情報とに基づいて、前記ロボットが前記作業目標に近づくような第５の制御情報を算出し、
   前記第４の制御情報と前記第５の制御情報とに基づいて、第６の制御情報を算出し、前記ロボットに前記第６の制御情報を送信する、
   請求項１に記載のロボット制御方法。
3. 前記目標作業情報は、作業を終了する時の、前記作業対象物の特徴情報を含み、
   前記環境情報は、前記周囲の環境に存在する前記作業対象物と作業台との特徴情報に対応する３次元の位置情報を含み、
   前記第１のセンサ情報は、取得時点での前記作業対象物と前記作業台との少なくとも一方の特徴情報を含む、
   請求項１または２に記載のロボット制御方法。
4. 前記３次元の位置情報は、点、線、平面図形を示すパラメータ、または立体図形を示すパラメータから構成される、物体に特有な表現を持つ、
   請求項３に記載のロボット制御方法。
5. 前記目標作業情報は、作業を実行するときの、前記作業対象物の特徴情報を含む、
   請求項１～４のいずれか一項に記載のロボット制御方法。
6. 前記第２のセンサ情報は、取得時点での前記作業対象物の特徴情報を含む、
   請求項５に記載のロボット制御方法。
7. 前記特徴情報は、点、線、平面図形を示すパラメータ、または立体図形を示すパラメータから構成される、物体に特有な表現を持つ、
   請求項５または６に記載のロボット制御方法。
8. 前記第１のセンサ情報および前記第２のセンサ情報を用いて、前記環境情報を更新する、
   請求項１～７のいずれか一項に記載のロボット制御方法。
9. 前記センサは、カメラであり、
   前記環境センサ情報は、前記カメラにより撮像された撮像画像である、
   請求項１～８のいずれか一項に記載のロボット制御方法。

Images