JP2014128840A - ロボット制御システム - Google Patents

Abstract

【課題】３次元視覚センサとロボットのそれぞれの信号形式や情報形式の相違にかかわらずこれらを接続して制御を行うことを可能とするロボット制御システムを提供する。
【解決手段】ワークの３次元位置情報および姿勢情報を検出するための３次元視覚センサ２と、前記３次元視覚センサの制御および情報処理を行うための視覚センサ制御部４と、前記ワークを搬送するためのロボット７と、前記ロボットの制御を行うためのロボット制御部６と、前記視覚センサ制御部から出力される情報形式を前記ロボット制御部が取り扱い可能な形式に変換して前記ロボット制御部に送出するとともに、前記ロボット制御部から出力される情報形式を前記視覚センサ制御部が取り扱い可能な形式に変換して前記視覚センサ制御部に送出する情報仲介部５とを有する。
【選択図】図１

Description

この発明は、ワークの位置や姿勢を表す３次元情報を３次元視覚センサによって検出し、その情報に基づいてロボットを制御してワークを搬送するためのロボット制御システムに関し、詳しくは、３次元視覚センサとロボットのそれぞれの情報形式の相違にかかわらずこれらを接続して制御を行うことを可能とするロボット制御システムに関する。

加工、組み立て、検査等の自動化された作業工程として、未加工品、部品、中間製品、最終製品等の作業対象の物品（ワーク）をトレーに収納して作業位置の近傍に配置し、ロボットによってトレー上のワークを取り出して作業位置まで搬送することが行われている。このようなロボットによるワークの自動搬送や自動供給を行うことで作業の高能率化が計られている。ただし、現状ではトレー上にワークを整列配置させることが必要なシステムも多く、人手によるワークの整列配置作業のため十分に効率的な自動化とはなっていなかった。

ワークのトレー上の配置が未整列の状態であっても、ワークの自動搬送や自動供給を行うためには、ワークの位置情報および姿勢情報を正確に取得し、それらの情報によってロボットを制御する必要がある。カメラで撮影した画像情報からワークの位置情報等を求め、その情報によってロボットを制御するロボット制御システムとしては、下記の特許文献１に記載されたようなものがある。特許文献１には、ステレオカメラで撮像したワークの画像情報からワークの位置情報および姿勢情報を求め、それらの位置情報および姿勢情報によりロボットの動作を制御するロボット制御システムが記載されている。

特開２００９−２４８２１４号公報

特許文献１のようなロボット制御システムは、３次元視覚センサによってワークの位置情報および姿勢情報を求め、それらの位置情報および姿勢情報によりロボットの動作を制御するので、ワークを予め整列配置させる必要がなくなり効率的な自動化作業が可能となるという利点がある。ただし、このようなロボット制御システムは、３次元視覚センサとロボットとを総合的に組み合わせて全体のシステムを開発する必要があるため、システムを構築するための労力と費用が増大し、システム全体のコストも増大してしまうという問題点があった。

また、３次元視覚センサとロボットは、それぞれ製造メーカーによって種々の形態のものがあり、制御形態や信号入出力形態も異なっている。また、同じ製造メーカーでも種々の仕様や形態の異なるバリエーションが存在する。それらの機種やバリエーションの中から最も適するものを選択してロボット制御システムを構築することが望ましいが、そのようなロボット制御システムを構築することは事実上極めて困難である。これは、ロボット制御システムを開発するメーカーが自社のシステムを優先的に使用したり、または、システム開発の行いやすい範囲の機種に固定してしまうためである。

また、ユーザーがそれぞれ最適な機種の３次元視覚センサとロボットを選定し、それらを接続してロボット制御システムを構築しようとしても、測定信号や制御信号の信号線、信号形式、情報形式等がメーカーや機種によって異なるため、任意の機種の３次元視覚センサとロボットを接続することはできなかった。

このように、従来のロボット制御システムでは、システム全体のコストが増大するとともに、３次元視覚センサとロボットのそれぞれに最適な機種を選択してシステムを構築することも難しかった。さらに、ロボット制御システムを構築してしまった後では、３次元視覚センサやロボットの機種を変更することが極めて困難であった。

そこで、本発明は、ワークの位置や姿勢を表す３次元情報を３次元視覚センサによって検出し、その情報に基づいてロボットを制御してワークを搬送するためのロボット制御システムであって、３次元視覚センサとロボットのそれぞれの信号形式や情報形式の相違にかかわらずこれらを接続して制御を行うことを可能とするロボット制御システムを提供することを目的とする。

上記目的を達成するために、本発明のロボット制御システムは、ワークの３次元位置情報および姿勢情報を検出するための３次元視覚センサと、前記３次元視覚センサの制御および情報処理を行うための視覚センサ制御部と、前記ワークを搬送するためのロボットと、前記ロボットの制御を行うためのロボット制御部と、前記視覚センサ制御部から出力される情報形式を前記ロボット制御部が取り扱い可能な形式に変換して前記ロボット制御部に送出するとともに、前記ロボット制御部から出力される情報形式を前記視覚センサ制御部が取り扱い可能な形式に変換して前記視覚センサ制御部に送出する情報仲介部とを有するものである。

また、上記のロボット制御システムにおいて、前記情報仲介部は、シーケンス制御のための制御機器を利用したものであることが好ましい。

また、上記のロボット制御システムにおいて、前記情報仲介部は、数値を表すバイナリデータとテキストデータを相互に変換するものとすることができる。

また、上記のロボット制御システムにおいて、前記情報仲介部は、数値を表すバイナリデータを整数データとして取り扱うものとすることができる。

また、上記のロボット制御システムにおいて、前記ロボットは多関節型のロボットとすることができる。

本発明は、以上のように構成されているので、以下のような効果を奏する。

本発明のロボット制御システムでは、３次元視覚センサとロボットとをそれぞれ作業内容や作業環境に合わせた最適な機種とすることができる。そして、３次元視覚センサとロボットとして低コストの機種を選択すれば、ロボット制御システムの全体のコストも低減させることができる。さらに、ロボット制御システムを構築してからでも、３次元視覚センサやロボットの機種を変更することが可能となる。

図１は、本発明のロボット制御システム１の全体構成を示す図である。 図２は、トレー８内のワーク９の状態を示す斜視図である。 図３は、キャリブレーションを行う場合の情報仲介部５の動作を示すフローチャートである。 図４は、ワーク取り出しの自動運転を行う場合の情報仲介部５の動作を示すフローチャートである。

本発明の実施の形態について図面を参照して説明する。図１は、本発明のロボット制御システム１の全体構成を示す図である。多関節型のロボット７はトレー８の供給位置の近傍に設置されており、トレー８内のワーク９（図２参照）をハンド７１によって保持し、ワーク９をトレー８から取り出して所定の作業位置まで搬送する。ここで、作業位置とは加工、組み立て、検査等の作業を行うための位置である。また、ワークとはこれらの作業の対象物のことを指す。

なお、ワーク９が載置されたトレー８は別途設けられたトレーチェンジャー（図示せず）によって図示のような供給位置にセットされる。未処理のワーク９がロボット７によって次々に取り出されてトレー８内に未処理のワーク９が無くなると、処理済みのトレー８はトレーチェンジャーによって未処理のワーク９が載置された新しいトレー８と交換される。

本発明のロボット制御システム１においては、トレー８上にワーク９を整列配置させる必要はない。ワーク９はトレー８上に未整列の状態で載置されている。図２は、トレー８内のワーク９の状態を示す斜視図である。ワーク９はトレー８上に未整列状態で載置されており、位置も姿勢もばらばらの状態である。このような状態のワーク９をロボット７によって搬送するには、それぞれのワークの位置情報および姿勢情報を正確に取得する必要がある。

３次元視覚センサ２は、個々のワーク９の位置および姿勢を３次元情報として取得するための画像センサである。３次元視覚センサ２は、所定距離の間隔を持って配置された２台のカメラ２１，２２を備え、個々のワーク９の位置および姿勢を３次元情報として求めることができる。２台のカメラ２１，２２は、トレー８の全領域が画像として取得できるように視野中心がトレー８のほぼ中心となる方向に向けられている。

３次元視覚センサ２は、視覚センサ制御部４によって画像取得のタイミングや情報伝送が制御されている。視覚センサ制御部４と３次元視覚センサ２は通常のＬＡＮケーブルによって接続される。視覚センサ制御部４と３次元視覚センサ２を接続するＬＡＮケーブルの途中位置には視覚センサ用電源３が配置されている。視覚センサ用電源３は、３次元視覚センサ２にＬＡＮケーブルを介して電源電力を供給するためのものである。３次元視覚センサ２にはＬＡＮケーブルを介して電源電力が供給されるため、その他の電源装置を３次元視覚センサ２に備える必要はない。

視覚センサ制御部４は、３次元視覚センサ２の制御を行うとともに、３次元視覚センサ２から送られてくる画像情報の情報処理を行って個々のワーク９の位置および姿勢を３次元情報として求める。求めた位置および姿勢の情報は外部からの指令によって外部に出力される。一般的に、３次元視覚センサ２と視覚センサ制御部４は、両者が一体の製品として販売されている。

一方、ロボット７はロボット制御部６によって動作が制御される。ロボット制御部６は外部からの指令によって任意のプログラムを実行させてロボット７を動作させることが可能であり、また、外部からの指令に従ってロボット７を直接動作させることも可能である。さらに、ロボット制御部６内の情報を外部に出力することも可能である。一般的に、ロボット７とロボット制御部６は、両者が一体の製品として販売されている。

前述のように、特許文献１のようなロボット制御システムとして開発されたシステムであれば、３次元視覚センサの視覚センサ制御部とロボット制御部とを直接的に接続してロボット制御システムとして動作させることが可能である。また、同じメーカーの製品であれば、視覚センサ制御部とロボット制御部を直接接続して互いに連係動作を行うことが可能なものもある。しかし、そのようなロボット制御システムでは、３次元視覚センサおよび視覚センサ制御部とロボットおよびロボット制御部の種類が固定されてしまい、これらを作業内容や作業環境に合わせた最適な機種とすることができない。

そこで、本発明では、視覚センサ制御部４とロボット制御部６との間に情報仲介部５を介在させ、視覚センサ制御部４とロボット制御部６それぞれの信号形式や情報形式の相違にかかわらずこれらを接続してロボット制御を行うことを可能としたものである。視覚センサ制御部４と情報仲介部５は通常のＬＡＮケーブルによって接続される。また、情報仲介部５とロボット制御部６は汎用通信ケーブルと通信方式（例えば、産業機器・制御機器接続用の通信方式など）によって接続される。

このように情報仲介部５から視覚センサ側とロボット側の通信方式を異なるものとする必要はなく、両方の通信方式を同じものとしてもよい。このような通信方式は視覚センサ制御部４が使用可能な通信方式と、ロボット制御部６が使用可能な通信方式に依存している。情報仲介部５が種々の通信方式を使用可能なものであれば、多様な機種の視覚センサとロボットとを接続することが可能である。

情報仲介部５は、物理的に視覚センサ制御部４とロボット制御部６とを接続するだけでなく、一方から出力される情報形式を他方が取り扱い可能な形式に変換し、位置情報や制御情報を相互に利用可能としている。情報仲介部５は、ロボット制御システムとして必要な情報取得、情報設定、制御等の指令（コマンド）を視覚センサ制御部４とロボット制御部６に送出する。情報仲介部５としては、シーケンス制御のための制御機器（一般的に、シーケンサ，ＰＬＣ：プログラマブル・ロジック・コントローラなどと呼ばれる機器）が利用できる。

次に、情報仲介部５の具体的な動作について説明する。ここでは、一例として、視覚センサ制御部４がテキストデータすなわちＪＩＳコードやＡＳＣＩＩコードなどの文字コードによって表現された情報形式を採用しており、ロボット制御部６がバイナリデータすなわち２進コードをそのまま数値などとして利用する情報形式を採用している場合について説明する。

図３は、ロボット制御システム１によってキャリブレーションを行う場合の情報仲介部５の動作を示すフローチャートである。キャリブレーションとはロボット７およびロボット制御部６の動作上の座標情報（位置情報および角度情報）と３次元視覚センサ２および視覚センサ制御部４が３次元画像認識によって求めるワークの座標情報とを一致させる手順である。具体的には、ワークをキャリブレーション位置に置き、ロボット７のハンド７１をキャリブレーション位置まで移動させてその位置を視覚センサ制御部４に教示する。視覚センサ制御部４では３次元画像認識によって求めたワークの座標情報をロボット制御部６からの座標情報に一致させる。

キャリブレーションが開始されると、情報仲介部５は、まず手順１０１において、ロボット制御部６に対してキャリブレーションのためのプログラムを起動させる指令を送る。ロボット制御部６はプログラムが起動したという確認情報を情報仲介部５に返す。次に、手順１０２において、視覚センサ制御部４に対して連続撮像開始の指令を送る。キャリブレーション中は３次元視覚センサ２によって連続撮像を行う。

次に、手順１０３において、情報仲介部５はロボット制御部６に対して移動指令を送る。ロボット７のハンド７１はキャリブレーション位置の近傍位置まで移動される。ロボット７側では、ハンド７１がキャリブレーション位置にあるワークを把持可能となるように位置を調整される。その後、ロボット制御部６は現在の座標情報をレジスタに保存し、さらに移動完了の情報を情報仲介部５に送る。

なお、ロボット制御部６が保存する座標情報は次の通りである。位置情報はロボット原点位置を原点とする直交座標（Ｘ，Ｙ，Ｚ軸）の各座標軸上の位置であり、データは０．１ｍｍを単位とする符号付き整数値である。角度情報はＸ，Ｙ，Ｚ各軸回りの角度（以下、これらの角度をＲＸ，ＲＹ，ＲＺとする）を表し、データは１／１００度を単位とする符号付き整数値である。例えば、Ｘ軸座標データが５０１２であれば、Ｘ軸座標値が正方向５０１．２ｍｍの位置を表す。また、ＲＸのデータが１７０００であれば、Ｘ軸回りの角度が正方向１７０．００度の角度位置を表す。

次に、手順１０４において、情報仲介部５はロボット７の移動完了を確認し、ロボット制御部６から座標情報を取得する。なお、ハンド７１の座標情報（位置情報および角度情報）はキャリブレーション位置にあるワークの位置情報および姿勢情報に対応する。この座標情報（Ｘ，Ｙ，Ｚ，ＲＸ，ＲＹ，ＲＺ）は前述のような整数値である。このような整数値による座標情報はバイナリデータとなるため、そのままの形式では視覚センサ制御部４において取り扱うことができない。

次に、手順１０５において、情報仲介部５は座標情報の情報形式を変換して、視覚センサ制御部４に対する教示指令を作成する。すなわち、前述のような整数値からなる座標情報を実数値に変換し、さらにこれらの実数値をテキストデータとして含む教示指令（テキストデータ）を作成する。

そして、手順１０６において、情報仲介部５は手順１０５で作成した教示指令を視覚センサ制御部４に対して送出する。視覚センサ制御部４では３次元画像認識によって求めたワークの座標情報がロボット制御部６からの座標情報と一致するように、内部の係数や定数を調整する。

ここまでで１個のワークに対するキャリブレーションが終了する。複数のワークに対するキャリブレーションを行う場合は、上記の手順１０３〜１０６をワークの個数分だけ繰り返す。全てのワークのに対するキャリブレーションが終了すれば、次の手順１０７に進む。なお、キャリブレーションの精度を向上させるためには複数のワークに対するキャリブレーションを行うことが好ましい。

次の手順１０７では、情報仲介部５は視覚センサ制御部４に対して連続撮像停止の指令を送る。そして手順１０８で、ロボット制御部６に対してキャリブレーションのためのプログラムを終了させる指令を送る。そして、情報仲介部５のキャリブレーション時の動作を終了する。

上記のようなキャリブレーションが完了すれば、ロボット制御システム１によってワーク取り出しの自動運転を行うことが可能となる。図４は、ロボット制御システム１の自動運転を行う場合の情報仲介部５の動作を示すフローチャートである。自動運転が開始されると、情報仲介部５は、まず手順２０１において、ロボット制御部６に対して自動運転のためのプログラムを起動させる指令を送る。ロボット制御部６はプログラムが起動したという確認情報を情報仲介部５に返す。

次に、手順２０２において、情報仲介部５はロボット制御部６に対してトレーが正常にセットされていることを確認する情報を送る。ロボット制御部６はこのトレー確認の情報を受け取ると、ロボット７が正常な準備完了状態であれば、トレー上のワークの３次元画像認識を開始するように開始指示の情報を情報仲介部５に送る。

次に、手順２０３において、情報仲介部５は視覚センサ制御部４に対してウィンドウ番号を設定する指令を送る。視覚センサ制御部４は３次元視覚センサ２の全視野の画像をワークの画像を含むいくつかの領域すなわちウィンドウに分割する。各ウィンドウには１かた連続した正の整数値の番号（ウィンドウ番号）が付与される。

視覚センサ制御部４は情報仲介部５から設定されたウィンドウ番号のウィンドウについて３次元画像認識の処理を行う。ウィンドウ番号は最初は１に設定される。視覚センサ制御部４は設定が完了すると設定完了の情報を情報仲介部５に送る。次に、手順２０４において、情報仲介部５は視覚センサ制御部４に対してトレー上のワークの３次元画像認識を行うように３次元画像認識指令を送る。

次に、手順２０５において、情報仲介部５は視覚センサ制御部４からワークの３次元画像認識の結果としての３次元位置・姿勢情報を受け取る。視覚センサ制御部４における３次元位置・姿勢情報はワークの３次元画像認識によって得られたワークの位置情報および姿勢情報であり、ワークの座標情報（Ｘ，Ｙ，Ｚ，ＲＸ，ＲＹ，ＲＺ）として表される。ここで、（Ｘ，Ｙ，Ｚ）は直交座標（Ｘ，Ｙ，Ｚ軸）の座標値であり、（ＲＸ，ＲＹ，ＲＺ）はＸ，Ｙ，Ｚ各軸回りの角度位置を表す。座標情報の各要素は小数点以下３桁までの数値として表され、座標値の単位はｍｍであり、角度位置の単位は度である。また、この３次元位置・姿勢情報はテキストデータで送られる。

次に、手順２０６において、情報仲介部５は３次元位置・姿勢情報の情報形式を変換して、ロボット制御部６の取り扱い可能な形式の座標情報に変換する。具体的にはテキストデータから座標値の種類を示す文字列を検索し、その文字列に続くテキストデータの座標値を数値に変換する。このような処理を繰り返せば、座標情報（Ｘ，Ｙ，Ｚ，ＲＸ，ＲＹ，ＲＺ）の全ての座標値が得られる。

さらに、これらの座標値をロボット制御部６の取り扱い可能な整数値に変換する。すなわち、各座標値（Ｘ，Ｙ，Ｚ）は１０倍して小数点以下に四捨五入等の丸め処理を行って符号付き整数値とし、各角度位置（ＲＸ，ＲＹ，ＲＺ）は１００倍して小数点以下に四捨五入等の丸め処理を行って符号付き整数値とする。

次に、手順２０７において、情報仲介部５は整数化した各座標値と各角度位置を所定のレジスタに格納する。そして、ロボット制御部６に対して座標情報の格納を完了した旨の情報を送る。それにより、ロボット制御部６はワークの座標情報を取得して、ワークの取り出し動作を開始する。ロボット制御部６はワークの取り出しおよび搬送が完了すると、取り出し完了の情報を情報仲介部５に送る。

次に、情報仲介部５はロボット制御部６から取り出し完了の情報を受けた後、手順２０８において、次動作の判定を行う。現在のウィンドウにワークが残っている場合は、手順２０４に戻り手順２０４〜２０８を繰り返す。現在のウィンドウのワークを全て取り出してワークが無くなった場合は、手順２０３に戻り現在のウィンドウ番号に１を加算して新しいウィンドウ番号として設定する。ただし、現在のウィンドウ番号がすでに最終番号でワークが無くなった場合は、手順２０３に戻らずに次の手順２０９に進む。

次に、手順２０９において、情報仲介部５はトレー上にワークが無いことを確認して、トレーチェンジャーを動作させトレーを交換する。すべてのトレーの処理が終わっていなければ、手順２０２に戻り手順２０２〜２０９を繰り返す。すべてのトレーの処理が終われば次の手順２１０に進む。そして手順２１０で、ロボット制御部６に対して自動運転のためのプログラムを終了させる指令を送る。そして、情報仲介部５の自動運転時の動作を終了する。

以上のように、視覚センサ制御部４とロボット制御部６との間に情報仲介部５を介在させることにより、視覚センサ制御部４とロボット制御部６それぞれの信号形式や情報形式が相違していてもこれらを接続してロボット制御を行うことが可能となった。情報仲介部５は、物理的に視覚センサ制御部４とロボット制御部６とを接続するだけでなく、一方から出力される情報形式を他方が取り扱い可能な形式に変換し、位置情報や制御情報を相互に利用可能としている。

本発明のようなロボット制御システムでは、３次元視覚センサとロボットとをそれぞれ作業内容や作業環境に合わせた最適な機種とすることができる。そして、３次元視覚センサとロボットとして低コストの機種を選択すれば、ロボット制御システムの全体のコストも低減させることができる。さらに、ロボット制御システムを構築してからでも、３次元視覚センサやロボットの機種を変更することも可能である。その場合は、情報仲介部５の処理内容を必要に応じて変更すればよい。

なお、以上の実施の形態では、視覚センサ制御部ではテキストデータ形式の座標情報や指令を取り扱い、ロボット制御部はバイナリデータ形式の座標情報を取り扱うものとしたがこれは単なる一例に過ぎない。視覚センサ制御部とロボット制御部の取り扱う信号形式や情報形式はどのようなものでもよい。情報仲介部によって情報形式を相互に変換することにより、情報形式の異なる視覚センサ制御部とロボット制御部を相互に接続してロボット制御システムとすることができる。また、ロボットとして多関節型ロボットを例示したが、本発明は多関節型以外の形式のロボットにも適用できる。

本発明によれば、ワークの位置や姿勢を表す３次元情報を３次元視覚センサによって検出し、その情報に基づいてロボットを制御してワークを搬送するためのロボット制御システムであって、３次元視覚センサとロボットのそれぞれの信号形式や情報形式の相違にかかわらずこれらを接続してロボットの制御を行うロボット制御システムを提供できる。

１ ロボット制御システム
２ ３次元視覚センサ
３ 視覚センサ用電源
４ 視覚センサ制御部
５ 情報仲介部
６ ロボット制御部
７ ロボット
８ トレー
９ ワーク
２１，２２ カメラ
７１ ハンド

Claims (5)

1. ワーク（９）の３次元位置情報および姿勢情報を検出するための３次元視覚センサ（２）と、
   前記３次元視覚センサ（２）の制御および情報処理を行うための視覚センサ制御部（４）と、
   前記ワーク（９）を搬送するためのロボット（７）と、
   前記ロボット（７）の制御を行うためのロボット制御部（６）と、
   前記視覚センサ制御部（４）から出力される情報形式を前記ロボット制御部（６）が取り扱い可能な形式に変換して前記ロボット制御部（６）に送出するとともに、前記ロボット制御部（６）から出力される情報形式を前記視覚センサ制御部（４）が取り扱い可能な形式に変換して前記視覚センサ制御部（４）に送出する情報仲介部（５）とを有するロボット制御システム。
2. 請求項１に記載したロボット制御システムであって、
   前記情報仲介部（５）は、シーケンス制御のための制御機器を利用したものであるロボット制御システム。
3. 請求項１，２のいずれか１項に記載したロボット制御システムであって、
   前記情報仲介部（５）は、数値を表すバイナリデータとテキストデータを相互に変換するものであるロボット制御システム。
4. 請求項３に記載したロボット制御システムであって、
   前記情報仲介部（５）は、数値を表すバイナリデータを整数データとして取り扱うものであるロボット制御システム。
5. 請求項１〜４のいずれか１項に記載したロボット制御システムであって、
   前記ロボット（７）は多関節型のロボットであるロボット制御システム。

Images