JP2006224279A

JP2006224279A - ロボット撮像装置

Info

Publication number: JP2006224279A
Application number: JP2005043959A
Authority: JP
Inventors: Toshiya Takeda; 俊也武田; Hirohiko Kobayashi; 博彦小林
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2005-02-21
Filing date: 2005-02-21
Publication date: 2006-08-31
Also published as: EP1693164A1; CN1825237A; US20060188250A1

Abstract

【課題】ロボットの作業状況を監視するためのロボット撮像装置であって、ロボットの作業状況を過不足なく撮像して画像集約作業を軽減するとともに全体としてコストダウンが図られたロボット撮像装置を提供する。
【解決手段】ロボット撮像装置１０は、ロボット１の作業状況を監視するためのカメラ１２と、カメラ１２を可動に支持するカメラ位置決め機構１４と、カメラ位置決め機構１４を制御するカメラ位置決め機構制御装置１６とを有する。カメラ位置決め機構制御装置１６は、ロボット制御装置２からの指令に基づいてカメラ位置決め機構１４を制御することにより、カメラ１２の撮像領域を作業領域Ａから作業領域Ｂ（又はその逆）に変更することができる。
【選択図】図２

Description

本発明は、カメラ等によりロボットの作業状況を監視するロボット撮像装置に関する。

従来、複数の場所で作業するロボットの作業監視を行う場合は、複数の作業箇所のそれぞれにカメラを設置してロボットの作業を撮像していた。また特許文献１には、１つのカメラを遠隔操作によって旋回レール上を移動させることにより、カメラとロボットとの相対位置を一定に保つカメラ位置調整方法及び装置が開示されている。

特開平６−２８５７８６号公報

従来は作業箇所毎にカメラを設置するため、場合によっては多数のカメラが必要となりシステム全体としてのコスト上昇の一因となっていた。また作業全体の流れを把握するためには各カメラで撮像した画像を集約する必要があり、システムが複雑になるとともに集約作業が多くなっていた。また各カメラは一般にロボットが作業していないときも撮影を行うため、余分な画像を記録してしまい、管理面でも使い勝手のいいものとは言えなかった。

また特許文献１に記載の方法及び装置は、ロボットの姿勢が変化してもロボットアームが常に同じように画面に映る（例えばロボットが１８０°旋回してもロボットアームが画面上で左右に入れ替わらない）ようにして遠隔操作を容易にするためのものであって、上述のようなロボットが複数の場所で作業するときの作業全体の流れを把握するためのシステムの低コスト化及び集約作業の軽減等を図るものではない。

そこで本発明は、ロボットの作業状況を監視するためのロボット撮像装置であって、ロボットの作業状況を過不足なく撮像して画像集約作業を軽減するとともに全体としてコストダウンが図られたロボット撮像装置を提供することを目的とする。

上記目的を達成するために、請求項１に記載の発明は、複数の作業場所で作業するように構成されたロボットの作業状況を監視するためのカメラと、前記カメラの位置及び姿勢の少なくとも一方を変更するように前記カメラを可動に支持するカメラ位置決め機構と、前記カメラ位置決め機構を制御するカメラ位置決め機構制御装置と、を有し、前記カメラ位置決め機構制御装置は、前記ロボットを制御するロボット制御装置からの指令に基づいて前記カメラ位置決め機構を制御して、前記カメラが前記複数の作業場所で作業するロボットの作業状況を撮像できるように前記カメラの位置及び姿勢の少なくとも一方を変更する、ロボット撮像装置を提供する。

請求項２に記載の発明は、請求項１に記載のロボット撮像装置において、前記ロボット制御装置から前記カメラ位置決め機構制御装置に与えられる前記指令は、前記ロボットが実行すべき作業プログラムに含まれる特定命令を前記ロボット制御装置が実行することにより生成される、ロボット撮像装置を提供する。

請求項３に記載の発明は、請求項２に記載のロボット撮像装置において、前記カメラ位置決め機構制御装置は、前記複数の作業場所の各々を代表する代表位置とそれに対応する前記カメラの撮像位置とを組み合わせて記憶する記憶部を有し、前記作業プログラムの前記特定命令が実行されたときの前記ロボットの作業場所の代表位置に対応する撮像位置に前記カメラを位置変更するように前記カメラ位置決め機構を制御する、ロボット撮像装置を提供する。

請求項４に記載の発明は、請求項１に記載のロボット撮像装置において、前記カメラ位置決め機構制御装置は、前記ロボットの代表点と前記カメラとの相対位置関係を記憶する記憶部を有し、前記ロボットの代表点の位置及び前記相対位置関係に基づいて、前記ロボットの作業場所を撮像する位置に前記カメラを位置変更するように前記カメラ位置決め機構を制御する、ロボット撮像装置を提供する。

請求項５に記載の発明は、請求項１〜４に記載のロボット撮像装置において、前記カメラを複数有し、前記ロボット制御装置から前記カメラ位置決め機構制御装置に与えられる前記指令は、前記ロボットを撮像するカメラとして前記複数のカメラのいずれか１つを選択することを含む、ロボット撮像装置を提供する。

本発明に係るロボット撮像装置によれば、カメラの個数を最小限に抑えることができ、装置全体のコストを削減することができる。またカメラの個数が減ることにより、画像の集約作業も軽減される。さらにロボット制御装置からの指令によって撮像が行われるので、不要な画像を記録する必要がなく、画像を記憶するハードディスク等の記憶媒体の領域を節約することができる。

以下、図面を参照しながら本発明を詳細に説明する。図１は、本発明に係るロボット撮像装置の基本構成を示すブロック図である。本発明に係るロボット撮像装置１０は、複数の作業場所で作業するように構成されたマニピュレータ１ａを備えたロボット１の作業状況を監視するためのカメラ１２と、カメラ１２の位置及び姿勢の少なくとも一方を変更するようにカメラ１２を可動に支持するカメラ位置決め機構１４と、カメラ位置決め機構１４を制御するカメラ位置決め機構制御装置１６とを有する。カメラ位置決め機構制御装置１６は、ロボット１を制御するロボット制御装置２からの指令に基づいてカメラ位置決め機構１４を制御して、カメラ１２が複数の作業場所で作業するロボット１の作業状況を撮像できるようにカメラ１２の撮像領域を変更することができる。

図２は、ロボット撮像装置１０の好適な実施形態を示す。ロボット１は、少なくとも２つの作業場所又は領域Ａ及びＢで作業するように構成される。ロボット撮像装置１０は、ロボット１の作業状況を監視するためのカメラ１２と、カメラ１２を可動に支持するカメラ位置決め機構１４と、カメラ位置決め機構１４を制御するカメラ位置決め機構制御装置１６とを有する。カメラ位置決め機構は、カメラ１２を旋回可能に支持する駆動軸１８を有する。なお駆動軸は１つであっても複数であってもよく、必要に応じカメラの移動、旋回等の種々の動作を可能にするものである。なお本願明細書におけるカメラの「位置決め」又は「位置変更」は、カメラの位置及び姿勢の一方又は双方の変更を含むものとする。またカメラ位置決め機構制御装置１６は、ロボット１を制御するロボット制御装置２からの指令に基づいてカメラ位置決め機構１４の駆動軸１８の動作を制御することにより、カメラ１２の撮像領域を作業領域Ａから作業領域Ｂ（又はその逆）に変更することができる。また撮像装置１０は、カメラ１２が撮像した画像を表示可能な表示装置２０を備えた画像処理装置２２をさらに有する。なお画像処理装置２２及びカメラ位置決め機構制御装置１６はパーソナルコンピュータ等の同一の装置内に組み込まれてもよい。画像処理装置２２は、画像を記憶するためのハードディスク等の記憶装置を有してもよい。

また、図２に示すようにロボット撮像装置１０とロボット制御装置２とはネットワークを介して接続されているが、両者が共通の装置内に組み込まれる形態であってもよい。またカメラ１２の位置決め機構１４として、ロボット１が制御する付加軸（図示せず）を利用することもできる。

次に、撮像位置を変更するための２つの方法について説明する。
図３に示す第１の方法のフローチャートは、ロボットの指示によりカメラの撮像位置を変更する方法を示す。先ず、各作業場所又は各作業場所を代表する代表位置にロボット１を移動させる（ステップ１０１）。ここで代表位置とは、代表位置にあるロボットを撮像可能なカメラ位置と同一の位置から各作業場所を撮像しても作業監視に有効な画像が得られるような位置をいう。次にカメラ１２が各作業場所を撮像対象領域として適切な領域を撮像できるように、オペレータが画像処理装置２２の表示装置２０等を見ながらカメラ１２を動かして撮像領域を決定する（ステップ１０２）。このときの各作業場所又は代表位置とそれに対応する各カメラの位置すなわち撮像位置とを組み合わせてカメラ位置決め機構制御装置１６の記憶部又はメモリー１６ａに記憶する（ステップ１０３）。なおこのときの記憶例を表１に示す。この例では、４つの代表位置とそれらに対応する撮像位置を示しているが、代表位置を用いた場合は表に示すように各座標を単純化できる（いずれもＹ座標のみが異なりＸ、Ｚ座標はゼロ）ことから、代表位置を用いることが好ましい。表１に示す場合は、各作業場所に対応する撮像対象領域はカメラ１２の角度変更のみによって切替え可能である。

またカメラ１２として、カメラが撮像した画像をインターネットを介して閲覧できるカメラ（いわゆるＷＥＢカメラ）を使用することも可能である。その場合は、撮像対象領域を切替えるために、ＷＥＢカメラを制御するＣＧＩ（Computer Graphic Interface）を用い、ＣＧＩを制御するコマンドをカメラ位置（表１に示す例の場合は角度）の代わりに設定する。

次に、予め作成されたロボットプログラムを実行し、ロボット１の作動を開始させる（ステップ１０４）。このプログラムには、以下に一例を示すように、ロボットの移動に関する命令文に加え、カメラ１２がステップ１０３にて記憶された各作業場所の代表位置に対応する撮像対象領域を撮像するようにカメラの位置変更を行うための特定命令文（２行目及び７行目）が含まれる。以下に示すプログラム例１では、ロボット１が位置Ｐ［１］及びＰ［５］に移動した後に、位置Ｐ［１］及びＰ［５］の代表位置にそれぞれ対応するカメラ位置ＣＰ［１］及びＣＰ［５］に向けてカメラ１２の位置変更及び撮像が行われる。またロボット１が作業位置Ｐ［１］及びＰ［５］以外の位置（Ｐ［２］〜［４］、［６］〜［８］）にあるときは、カメラ１２の撮像を中断又は中止して不要な画像の撮像を防ぐことができる。なお作業場所間の距離等の位置関係によっては撮像用のカメラ及び位置決め制御機構を複数設けてもよく、その場合はプログラムの２行目及び７行目の命令文は、いずれのカメラを選択して使用するかを指定する引数をさらに含むことができる。

ロボットプログラム例１
１：ＭＯＶＥＬＰ［１］直線経路制御により位置Ｐ［１］にロボットを移動
２：サツゾウイチヘンコウＣＰ［１］ＣＰ［１］にカメラを位置変更
３：ＭＯＶＥＬＰ［２］直線経路制御により位置Ｐ［２］にロボットを移動
４：ＭＯＶＥＬＰ［３］直線経路制御により位置Ｐ［３］にロボットを移動
５：ＭＯＶＥＬＰ［４］直線経路制御により位置Ｐ［４］にロボットを移動
６：ＭＯＶＥＪＰ［５］各軸動作により位置Ｐ［５］にロボットを移動
７：サツゾウイチヘンコウＣＰ［５］ＣＰ［５］にカメラを位置変更
８：ＭＯＶＥＬＰ［６］直線経路制御により位置Ｐ［６］にロボットを移動
９：ＭＯＶＥＬＰ［７］直線経路制御により位置Ｐ［７］にロボットを移動
１０：ＭＯＶＥＬＰ［８］直線経路制御により位置Ｐ［８］にロボットを移動

上述のロボットプログラムを実行することにより、先ずロボット１が指定された作業場所に移動し（ステップ１０５）、次にロボット制御装置２が、ロボット１の現在位置に最も近い代表位置（ステップ１０１参照）を選出する（ステップ１０６）。さらにロボット制御装置２は、その代表位置に対応して記憶されているカメラ１２の撮像対象領域を撮像するようにカメラ位置決め機構制御装置１６に指示又は指示データを送る（ステップ１０７）。カメラ位置決め機構制御装置１６は、カメラ１２をその指示に従って所定の撮像位置に位置変更させるようにカメラ位置決め機構１４を制御し、カメラ１２の位置変更が行われる（ステップ１０８）。

上述の第１の方法ではロボットプログラム内にカメラの撮像位置変更に関する命令文が含まれるが、次に説明する第２の方法では、ロボットとカメラとの相対位置関係を予め設定しておき、ロボット制御装置から逐次送られるロボットの可動部の代表点例えばＴＣＰ（Tool Center Point）の位置情報に基づいて撮像位置の変更が行われる。

図４のフローチャートで示される第２の方法は、ロボットのＴＣＰにカメラを追従させることによりカメラの撮像位置を変更するものである。先ず、適当な測定手段又はセンサ（図示せず）を用いてロボット１のＴＣＰとカメラ１２との相対位置関係を求める。一般にＴＣＰはロボットのベース座標系で表現されるので、カメラ位置決め機構制御装置１６は、ロボットベース座標系上のＴＣＰ位置と上記相対位置関係とに基づいて、ＴＣＰ位置をカメラ位置決め機構のベース座標系で表現したものに変換する。このＴＣＰ位置情報及び相対位置関係を、カメラ位置決め機構制御装置１６の記憶部１６ａに記憶する（ステップ２０１）。次に予め作成されたロボットプログラムを実行し、ロボット１の作動を開始させる（ステップ２０２）。このプログラムには、以下に一例を示すように、ロボットの移動に関する命令文に加え、カメラ１２がステップ２０１にて記憶されたロボット１とカメラ１２との相対位置関係に基づいてカメラ１２をロボット１の動きに追従させるための特定命令文（２行目及び７行目）が含まれる。なおここでいう「追従」とは、ロボット１の移動後もロボットの作業を有効に監視できるようにカメラの位置変更を行うことであって、必ずしもロボット１の動きに同調するようにカメラ１２を動かすことを意味するものではない。

以下に示すプログラム例２では、ロボット１が作業位置Ｐ［１］からＰ［５］に移動するまでの間、カメラ１２による撮像すなわち監視が必要であるものとする。従って、ロボット１が作業位置Ｐ［１］に移動した後に、カメラ１２によるロボット１の撮像が開始され、以降、ロボット１が作業位置Ｐ［５］に至るまでカメラ１２による追従動作が行われる。なお作業場所間の距離等の位置関係によっては追従動作可能なカメラ及び位置決め制御機構を複数設けてもよく、その場合はプログラムの２行目及び７行目の命令文は、いずれのカメラを使用するかを指定する引数を含むことができる。

ロボットプログラム例２
１：ＭＯＶＥＬＰ［１］直線経路制御により位置Ｐ［１］にロボットを移動
２：カメラツイジュウカイシカメラがＴＣＰの追従を開始
３：ＭＯＶＥＬＰ［２］直線経路制御により位置Ｐ［２］にロボットを移動
４：ＭＯＶＥＬＰ［３］直線経路制御により位置Ｐ［３］にロボットを移動
５：ＭＯＶＥＬＰ［４］直線経路制御により位置Ｐ［４］にロボットを移動
６：ＭＯＶＥＪＰ［５］各軸動作により位置Ｐ［５］にロボットを移動
７：カメラツイジュウオワリカメラのＴＣＰ追従終了
８：ＭＯＶＥＬＰ［６］直線経路制御により位置Ｐ［６］にロボットを移動
９：ＭＯＶＥＬＰ［７］直線経路制御により位置Ｐ［７］にロボットを移動
１０：ＭＯＶＥＬＰ［８］直線経路制御により位置Ｐ［８］にロボットを移動

上述のロボットプログラムを実行することにより、先ずロボット１が指定された作業場所に移動し（ステップ２０３）、次にロボット制御装置２が、カメラ１２がロボット１のＴＣＰに追従するようにカメラ位置決め機構制御装置１６に指令を送る（ステップ２０４）。次に指令を受けたカメラ位置決め機構制御装置１６は、カメラ位置決め機構１４を制御してカメラ１２の追従動作を開始する（ステップ２０５）。追従動作中は、ロボット制御装置２を介してロボット１のＴＣＰの現在位置情報を周期的にカメラ位置決め機構制御装置１６に送ることができるので、カメラ位置決め機構制御装置１６はその現在位置情報及びロボット１とカメラ１２との相対位置関係に基づいてリアルタイムに追従動作を行うことができる。従って追従動作中は、カメラ１２はロボット１の作業状況を常時適切に撮像することができる。次に追従動作を終了すべき命令文（例えばプログラム例２の第７行）が読み込まれたら、ロボット制御装置２からカメラ位置決め機構制御装置１６に追従動作終了指令が送られ、追従動作は終了する（ステップ２０６）。追従動作終了以降は、カメラ１２による撮像を中止して不要な画像の撮像を防ぐことができる。

本発明に係るロボット撮像装置の基本構成を示すブロック図である。本発明に係るロボット撮像装置の好適な実施形態の概略構成を示す図である。カメラの撮像位置を変更する第１の方法を示すフローチャートである。カメラの撮像位置を変更する第２の方法を示すフローチャートである。

符号の説明

１ロボット
２ロボット制御装置
１０撮像装置
１２カメラ
１４カメラ位置決め機構
１６カメラ位置決め機構制御装置
１８駆動軸
２０表示装置
２２画像処理装置

Claims

複数の作業場所で作業するように構成されたロボットの作業状況を監視するためのカメラと、
前記カメラの位置及び姿勢の少なくとも一方を変更するように前記カメラを可動に支持するカメラ位置決め機構と、
前記カメラ位置決め機構を制御するカメラ位置決め機構制御装置と、を有し、
前記カメラ位置決め機構制御装置は、前記ロボットを制御するロボット制御装置からの指令に基づいて前記カメラ位置決め機構を制御して、前記カメラが前記複数の作業場所で作業するロボットの作業状況を撮像できるように前記カメラの位置及び姿勢の少なくとも一方を変更する、ロボット撮像装置。
前記ロボット制御装置から前記カメラ位置決め機構制御装置に与えられる前記指令は、前記ロボットが実行すべき作業プログラムに含まれる特定命令を前記ロボット制御装置が実行することにより生成される、請求項１に記載のロボット撮像装置。
前記カメラ位置決め機構制御装置は、前記複数の作業場所の各々を代表する代表位置とそれに対応する前記カメラの撮像位置とを組み合わせて記憶する記憶部を有し、前記作業プログラムの前記特定命令が実行されたときの前記ロボットの作業場所の代表位置に対応する撮像位置に前記カメラを位置変更するように前記カメラ位置決め機構を制御する、請求項２に記載のロボット撮像装置。
前記カメラ位置決め機構制御装置は、前記ロボットの代表点と前記カメラとの相対位置関係を記憶する記憶部を有し、前記ロボットの代表点の位置及び前記相対位置関係に基づいて、前記ロボットの作業場所を撮像する位置に前記カメラを位置変更するように前記カメラ位置決め機構を制御する、請求項１に記載のロボット撮像装置。
前記カメラを複数有し、前記ロボット制御装置から前記カメラ位置決め機構制御装置に与えられる前記指令は、前記ロボットを撮像するカメラとして前記複数のカメラのいずれか１つを選択することを含む、請求項１〜４のいずれか１項に記載のロボット撮像装置。