JP2020196116A - カメラおよびロボットシステム - Google Patents

Abstract

【課題】ワークをつかむためのハンドの位置精度の低下を抑制し、作業効率の向上を図るカメラおよびロボットシステムを提供する。【解決手段】カメラは、ロボットアームの先端に取り付けられるカメラ筐体と、カメラ筐体に収容されるカメラ部と、を備える。カメラ部は、ワークを撮像するための光学特性の異なる複数のカメラが一体的に構成される。【選択図】図２

Description

本開示は、カメラおよびロボットシステムに関する。

ワークを配置したストッカの上方に、カメラとレーザスキャナとを有した配置状態検出部の設けられるロボットシステムが知られている（例えば特許文献１参照）。このレーザスキャナは、スリット光を発生するレーザ光源と、ミラーと、ミラーを駆動するモータとを含む。このロボットシステムでは、モータの回転角度と、カメラの撮像素子の位置と、レーザ光源、ミラーおよびカメラの位置関係とに基づいて、三角測量の原理によりワークまでの距離（つまり、ストッカ内のワークの３次元形状情報）が検出される。ロボットシステムは、この位置情報に基づいて、ストッカ内に配置された複数のワークのうちの１つのワーク（例えば保持しやすい位置にあるワーク）をハンド部に保持させる制御を行う。なお、ロボットアームには保持状態検出用カメラが備えられるが、この保持状態検出用カメラはハンド部に保持されたワークの保持状態を検出する。

特開２０１３−７８８２５号公報

しかしながら、従来のロボットシステムは、ストッカの上方に取り付けられた配置状態検出部にカメラが設けられるため、ワークをつかむためにハンド部をワークに近づけると、アームあるいはハンド部がカメラの死角になり、視野を遮ってしまう。このため、ワークをつかむためのハンドの位置精度が低下したり、ワークの位置（言い換えると、座標）が判らなくなったりする問題があった。ロボットシステムは、ストッカ内に、３次元形状情報の検出できないワークが存在すれば、ハンド部で保持できないワークが増加するので作業効率がよくなかった。

本開示は、上記従来の事情に鑑みて案出され、ワークをつかむためのハンドの位置精度の低下を抑制し、作業効率の向上を図るカメラおよびロボットシステムを提供することを目的とする。

本開示は、ロボットアームの先端に取り付けられるカメラ筐体と、前記カメラ筐体に収容されるカメラ部と、を備え、前記カメラ部は、ワークを撮像するための光学特性の異なる複数のカメラデバイスが一体的に構成される、カメラを提供する。

また、本開示は、ロボットアームの先端に取り付けられるカメラ筐体と、前記カメラ筐体に収容され、ワークを撮像するための光学特性の異なる複数のカメラデバイスが一体的に構成されるカメラ部と、を含むカメラと、前記カメラが取得した撮像情報に基づき、前記ロボットアームの動作を制御するための制御信号を生成するコントローラと、を備えるロボットシステムを提供する。

本開示によれば、ワークをつかむためのハンドの位置精度の低下を抑制し、作業効率の向上を図ることができる。

実施の形態１に係るロボットシステムの構成図 ロボットアームの先端の要部拡大斜視図 カメラの拡大斜視図 カメラ筐体の変形例の拡大斜視図 図１に示したカメラの俯瞰カメラ作動時におけるロボットアームの先端の拡大側面図 図１に示したカメラの近接カメラ作動時におけるロボットアームの先端の拡大側面図 図１に示したカメラの俯瞰カメラ作動時の光源からのパターン照射の動作説明図 設置台とワークの色味とパターン照射との関係を示す動作説明図 図１に示したロボットコントローラのブロック図 図１に示したビジョンコントローラのブロック図 ビジョンコントローラの動作手順を表すフローチャート 焦点が合うか否かを切り替えタイミングとする場合の処理手順を表すフローチャート 外部装置からの情報を切り替えタイミングとする場合の処理手順を表すフローチャート ビジョンコントローラとロボットコントローラとのリアルタイム連携により、ロボットアームをリアルタイムに制御してロボットアームの先端をワークに近づける場合の処理手順を表すフローチャート

以下、適宜図面を参照しながら、本開示に係るカメラおよびロボットシステムの構成および作用を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるものであり、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

図１は、実施の形態１に係るロボットシステム１１の構成図である。実施の形態１に係るロボットシステム１１は、ロボット１３と、カメラ１５と、コントローラ（例えば、ロボットコントローラ１７およびビジョンコントローラ１９）と、を含む構成である。

ロボット１３は、ロボットアーム２１を備える。ロボット１３は、例えば６つのサーボモータ２３を有する６軸（例えば、Ｊ１軸，Ｊ２軸，Ｊ３軸，Ｊ４軸，Ｊ５軸，Ｊ６軸）の多関節型ロボットで構成される。ロボットアーム２１の先端部には、作業目的に応じたツールが取り付けられる。実施の形態１において、ツールは、例えば一対の指部材２５を有するハンド部２７となる。ハンド部２７は、図示しないエアシリンダ、電動シリンダ、モータ等の各種アクチュエータを制御することで細かい作業が可能となっており、ワークＷを掴んだり、搬送したりすることができる。

ロボット１３のＪ１軸は、ロボット１３の全体をパン回転の如く旋回させる際の回転中心である。ロボット１３のＪ２軸は、ロボットアーム２１をチルト回転の如く前後移動させる際の回転中心である。ロボット１３のＪ３軸は、ロボットアーム２１をチルト回転の如く上下移動させる際の回転中心である。ロボット１３のＪ４軸は、ロボットアーム２１の手首をチルト回転の如く回転させる際の回転中心である。ロボット１３のＪ５軸は、ロボットアーム２１の手首の振りを行う際の回転中心である。ロボット１３のＪ６軸は、ロボットアーム２１のハンド部２７をパン回転の如く回転させる際の回転中心である。

ロボット１３には、ロボット１３に対して所定の動作を行わせるためのコントローラがケーブル２９を介して接続されている。ロボット１３のＪ１軸〜Ｊ６軸は、ロボットコントローラ１７の制御部（図７参照）によって独立に制御される。ロボットコントローラ１７は、モニタ３１に表示されたロボット１３の座標を、入力部３３により指定することで、ロボット１３を正確にその位置に移動することができる。

入力部３３は、入力キーを有し、モニタ３１を一体に備えてもよい。オペレータは、所定の設定動作をロボット１３に行わせたい場合に、この設定動作を行うときのロボット１３の移動経路をモデリングして数式化した数式データを、入力キーを用いて入力する。

ロボット１３は、例えばロボット１３の各軸に与えられた各軸座標系と自由空間上に原点を取り、その原点からロボット１３のハンド部２７の先端までを関連付ける直交座標系を用いて動作させることができる。

図２は、ロボットアーム２１の先端３５の要部拡大斜視図である。ロボットアーム２１は、アーム先端部３７に、手首基部３９がＪ４軸を中心に回転自在に接続される。手首基部３９には、Ｊ５軸を中心に手首先端部４１が首振り自在に接続される。手首基部３９と手首先端部４１とは、手首４３を構成する。手首先端部４１には、Ｊ６軸を中心にハンド部２７が回転自在に接続される。手首先端部４１には、ハンド部２７を回転駆動するサーボモータ２３（図１参照）が内蔵される。

ハンド部２７は、手首先端部４１に内蔵されたサーボモータ２３により台座４５がＪ６軸を中心に回転される。台座４５は、例えばＪ６軸に垂直な円板形状に形成される。台座４５の先端面には、指部材可動溝４７を有したブラケット４９が固定される。ブラケット４９には、相互に接近離反自在となった一対の指部材２５が取り付けられる。一対の指部材２５は、指部材可動溝４７にスライドして接近離反自在となってもよく、指基部が支軸５１により回転自在に支持されることにより指先端が接近離反自在となってもよい。実施の形態１に係るハンド部２７は、例えば一対の指部材２５が支軸５１により回転自在に支持されるものとなる。

ロボット１３において、アーム先端部３７からハンド部２７までの間が、ロボットアーム２１の先端３５となる。

ロボットアーム２１の先端３５には、カメラ１５が取り付けられる。カメラ１５は、ロボットアーム２１の先端３５のハンド部２７に取り付けられる。より具体的には、カメラ１５は、台座４５に固定されたブラケット４９の重心位置に固定される。なお、カメラ１５の取り付け位置は、上述したブラケット４９の重心位置に限定されない。カメラ１５は、ロボットアーム２１の先端３５であれば任意の位置に取り付けられてもよい。カメラ１５は、伝送ケーブル５３を介してビジョンコントローラ１９に接続される。

図３は、カメラ１５の拡大斜視図である。カメラ１５は、ロボットアーム２１の先端３５に取り付けられるカメラ筐体５５と、カメラ筐体５５に収容されるカメラ部５７と、を備える。カメラ筐体５５は、例えば上述したハンド部２７のブラケット４９の重心位置に固定される。

カメラ筐体５５は、ロボットアーム２１の先端３５に相互に接近離反自在に取り付けられた一対の指部材２５における離間方向（例えば図２の矢印ａ方向）の中央部に配置される。

カメラ部５７は、一つの俯瞰カメラ５９と、俯瞰カメラ５９と作動距離の異なる二つの近接カメラ６１とが一体的に構成されている。

一つの俯瞰カメラ５９および二つの近接カメラ６１は、それぞれが例えば外径６ｍｍ以下の細径カメラとなる。一つの俯瞰カメラ５９および二つの近接カメラ６１を収容するカメラ筐体５５は、例えば外径１５ｍｍ以下の円内に収まるサイズで形成される。つまり、カメラ１５は、従来技術で用いられていた配置状態検出部に比べ、小型軽量で形成されている。

外径１５ｍｍ以下の円内に収まるカメラ筐体５５は、被写体側から見た正面視の形状が円形、楕円形、長円形、三角形、四角形（台形や菱形を含む）、五角形、六角形等の多角形の他、蒲鉾形、ティアードロップ形等として形成される。

実施の形態１において、一つの俯瞰カメラ５９および二つの近接カメラ６１は、それぞれの光軸６３が平行に配置され、かつ光軸６３に直交する面においてそれぞれの光軸６３が三角形の各頂点に配置される。

実施の形態１に係るカメラ１５において、上記の三角形が、正三角形である。なお、一つの俯瞰カメラ５９および二つの近接カメラ６１が配置される三角形は、正三角形に限定されない。一つの俯瞰カメラ５９および二つの近接カメラ６１が頂点に配置される三角形は、二等辺三角形、不等辺三角形であってもよい。

三角形の各頂点に細径カメラを収容するカメラ筐体５５は、三角筒で形成することができる。カメラ１５は、この三角筒の各頂点の内側に細径カメラを配置した状態で、例えば樹脂を充填することにより、各細径カメラが一体的に固定される。

カメラ１５は、三角形における各辺の中点に、照明開口部６５が配置される。照明開口部６５は、光ファイバからなるライトガイドの光出射端面を配置してもよく、照明光源となるＬＥＤを直接配置してもよい。

図４は、カメラ筐体５５の変形例の拡大斜視図である。なお、三角形の各頂点に細径カメラを収容するカメラ筐体５５は、円筒で形成してもよい。この場合においても、カメラ１５は、三角形の各頂点に細径カメラを配置した状態で、円筒のカメラ筐体５５の内側に樹脂を充填することにより、各細径カメラが一体的に固定される。なお、この変形例に係るカメラ部５７の構成では、照明開口部６５が省略されている。

カメラ１５において、ワークＷを撮像するための光学特性の異なる複数のカメラデバイス（例えば、後述する俯瞰カメラ、近接カメラ）が一体的に構成される。光学特性とは、例えば作動距離や画角などがあり、ワークＷとの距離に応じて光学特性を切り替えながら使うことで、ワークＷをつかむためのハンドの位置精度の低下を抑制する。ここで、作動距離とは、それぞれのカメラデバイスにおけるレンズ先端部から被写体（例えばワークＷ）までの距離であり、画像焦点が合う距離を言う。画角とはレンズを通して撮像できる角度範囲を言う。

カメラ１５において、俯瞰カメラ５９は、作動距離ＷＤ１（ＷＤ：Working Distance）が、例えば１００〜３００ｍｍで設定され、画角（ＡＶ：Angle of View）ＡＶ１が７０度で設定される。近接カメラ６１は、作動距離ＷＤ２が、例えば５〜９９．９ｍｍで設定され、画角ＡＶ２が１００度で設定される。ワークＷの近くで画角の広いレンズを持ったカメラデバイスへ切り替えることで、ワークＷの近くでも広い範囲の撮像を行うことができ、ワークＷ全体の検出を行うことができる。

俯瞰カメラ５９は、一眼でワークＷの全体を見てワークＷの位置を検出する。また、俯瞰カメラ５９は、メモリ８３上にあらかじめ保存してあるワークＷのＣＡＤデータと撮影したワークＷの大きさ照合することにより、ワークＷまでのおおよその距離を算出することができる。ワークＷのＣＡＤデータは、ワークＷの外観形状および輪郭等の大きさのそれぞれを特定するデータを有する。ワークＷが小さく写っているときはワークＷまでの距離が遠く、ワークＷが大きく写っているときはワークＷまでの距離が近くなるが、俯瞰カメラ５９は、その大きさとＣＡＤデータのサイズを比較することにより、おおよその距離を算出することができる。俯瞰カメラ５９は、焦点距離は長いが、解像度は低い。

一方、近接カメラ６１は、二眼でワークＷの全体若しくはワークＷの一部分を見て距離を測る。距離を得る方法としては、２つの近接カメラ６１を水平に並べて配置し、視差のある２つの画像（一対の画像の一例）を同時撮影する。ただし、ワークＷが撮影中に移動しない場合や、ロボットアームが撮影中に移動しない場合は、同時で無くても良い。近接カメラ６１は、撮影した２つの画像からは、演算によりワークＷの奥行方向の情報すなわち被写体の立体としての情報を得ることができ、また近接カメラ６１からワークＷまでの距離を算出することができる。近接カメラ６１は、作動距離は短いが、解像度は高い。カメラ部５７は、これら一つの俯瞰カメラ５９と、二つの近接カメラ６１とが、適宜切り替えられて使用される。

また、ビジョンコントローラ１９の画像処理部７７は、俯瞰カメラ５９の撮像画像あるいは近接カメラ６１の撮像画像を短周期（例えば０．００２秒周期以下）で取得し、いずれかの撮像画像に基づいて、カメラ１５からワークＷまでの直線的な距離とカメラ１５から見たワークＷの位置ずれ量（言い換えると、ロボットアーム２１の先端３５から見た方向のワークＷまでの相対的な位置のずれ量）とを算出し、この算出結果をフィードバックデータとしてリアルタイム（例えば撮像から０．００２秒周期以内）にロボットコントローラ１７に送信（フィードバック）してよい（図１２参照）。例えば、画像処理部７７は、俯瞰カメラ５９の撮像画像とメモリ８３に予め保存されているワークＷのＣＡＤデータとを照合（例えば、撮像画像中の映るワークＷの大きさとＣＡＤデータとの比較）することで、カメラ１５からワークＷまでの直線的な距離とカメラ１５から見たワークＷの位置ずれ量とを算出できる。例えば、画像処理部７７は、近接カメラ６１の二眼で撮像した２つの撮像画像（一対の画像の一例）に映るワークＷの全体あるいは一部分に基づいて、カメラ１５からワークＷまでの直線的な距離とカメラ１５から見たワークＷの位置ずれ量とを算出できる。

ロボットコントローラ１７は、ビジョンコントローラ１９からリアルタイムに送信されたフィードバックデータに基づいて、ロボットアーム２１の先端３５がワークＷに近づくように各種のロボットアーム２１を制御する。これにより、ビジョンコントローラ１９からリアルタイムにフィードバックしたフィードバックデータに基づいてロボットアーム２１がロボットコントローラ１７により制御されるので、より高精度かつ高速にワークＷに近づけてワークＷを適切に掴むことができる。

図１２は、ビジョンコントローラ１９とロボットコントローラ１７とのリアルタイム連携により、ロボットアームをリアルタイムに制御してロボットアーム２１の先端３５をワークに近づける場合の処理手順を表すフローチャートである。

ビジョンコントローラ１９の画像処理部７７は、俯瞰カメラ５９の撮像画像中にワークＷの全体が映る、あるいは近接カメラ６１の撮像画像中にワークＷの全体あるいは一部分が映るか否かを判別する（ＳｔＤ１）。俯瞰カメラ５９の撮像画像中にワークＷの全体が映らないか、近接カメラ６１の撮像画像中にワークＷが一切映らない場合には（ＳｔＤ１、ＮＯ）、図１２に示す処理は終了する。

一方、画像処理部７７は、俯瞰カメラ５９の撮像画像中にワークＷの全体が映る、あるいは近接カメラ６１の撮像画像中にワークＷの全体あるいは一部分が映ることを検知した場合（ＳｔＤ１、ＹＥＳ）、カメラ１５からワークＷまでの直線的な距離とカメラ１５から見たワークＷの位置ずれ量（言い換えると、ロボットアーム２１の先端３５から見た方向のワークＷまでの相対的な位置のずれ量）とを算出する（ＳｔＤ２）。画像処理部７７は、ステップＳｔＤ２の算出結果をフィードバックデータとしてリアルタイムにロボットコントローラ１７に送信（フィードバック）する（ＳｔＤ３）。

ロボットコントローラ１７は、ビジョンコントローラ１９からリアルタイムに送信されたフィードバックデータに基づいて、ロボットアーム２１の先端３５がワークＷに近づくように各種のロボットアーム２１を制御する（ＳｔＤ４）。ビジョンコントローラ１９の画像処理部７７は、例えば近接カメラ６１の撮像画像に基づいて、先端３５の指部材２５がワークＷを掴める程度の位置に存在するか否かを判別する（ＳｔＤ５）。先端３５の指部材２５がワークＷを掴める程度の位置に存在すると判定された場合には（ＳｔＤ５、ＹＥＳ）、図１２の処理は終了する。一方、画像処理部７７は、先端３５の指部材２５がワークＷを掴める程度の位置に存在していないと判定した場合には（ＳｔＤ５、ＮＯ）、上述したステップＳｔＤ２の処理を実行する。つまり、ロボットコントローラ１７とビジョンコントローラ１９とのリアルタイム連携により、先端３５の指部材２５がワークＷを掴める程度の位置に存在するまで、ステップＳｔＤ２〜ステップＳｔＤ５の処理が繰り返される。

図６Ｂは、図１に示したカメラの俯瞰カメラ作動時の光源からのパターン照射の動作説明図である。図６Ｃは、設置台ＤＰＴとワークＷの色味とパターン照射との関係を示す動作説明図である。図６Ｃに示すように、ワークＷａとそれを設置している設置台ＤＰＴとの色が近い場合に、俯瞰カメラ５９は、ワークＷａの形が認識できない（画像のエッジが取れない）という場合もある。その場合は距離を測るための演算ができない。解決方法として、２つの近接カメラ６１の間に配置された照明開口部６５に任意のパターンを投光できる光源を配置し、そのパターンＰＴ１を撮影することでワークＷの形が認識できなくても、パターン照射画像ＰＴ２を認識することでワークＷまでの距離を測ることができるようになる。任意のパターンとしては、レーザポインタで照射するような点形のパターンや、丸や四角、三角や縞模様といったような特定のパターンを照射する。

図５は、図１に示したカメラ１５の俯瞰カメラ５９作動時におけるロボットアーム２１の先端３５の拡大側面図である。カメラ１５は、ワークＷまでの距離が１００ｍｍ以上である場合、カメラの使用モードが近接カメラ６１から俯瞰カメラ５９に切り替えられて作動する。つまり、ワークＷまでの距離が１００ｍｍ以上である場合、カメラ１５は、俯瞰カメラ５９として作動する。

図６Ａは、図１に示したカメラ１５の近接カメラ６１作動時におけるロボットアーム２１の先端３５の拡大側面図である。一方、カメラ１５は、ワークＷまでの距離が９９．９ｍｍ以下である場合、カメラの使用モードが俯瞰カメラ５９から近接カメラ６１に切り替えられて作動する。つまり、ワークＷまでの距離が９９．９ｍｍ以下である場合、カメラ１５は、近接カメラ６１として作動する。

図７は、図１に示したロボットコントローラ１７のブロック図である。コントローラは、カメラ１５が取得した撮像情報に基づきロボットアーム２１の動作を制御するための制御信号を生成する。実施の形態１において、コントローラは、ロボットコントローラ１７と、ビジョンコントローラ１９とを有する。なお、コントローラは、ロボットコントローラ１７とビジョンコントローラ１９とが、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）あるいはＦＰＧＡ（Field Programmable Gate Array）等のいずれかにより構成されるプロセッサとして一体的に構成されていてもよい。

ロボットコントローラ１７は、変換部６７と、制御部６９と、冗長部７１と、メモリ７３と、を有する。変換部６７、制御部６９、冗長部７１は、プロセッサ７５により構成することができる。

変換部６７は、入力部３３で入力された数式データを、例えば、運動幾何学と代数学とを用いて、ロボット１３のサーボモータ２３を駆動するための駆動プログラムに変換する。

制御部６９は、変換部６７で変換された駆動プログラムに基づいてロボット１３に設定動作を行わせる。制御部６９は、ＤＳＰ（Digital Signal Processor）等のプロセッサ、専用演算デバイス、メモリ等を有する。制御部６９では、ロボット１３の標準直交座標と、オペレータによって設定されるロボット１３の直交座標との３次元位置関係から、６軸それぞれの移動位置を積和演算から瞬時に導き出し、サーボモータ２３に制御信号を出力する。

冗長部７１は、変換部６７で変換された駆動プログラムに対して、設定動作とは異なる冗長動作を行うための冗長プログラムを付加する。ここで、冗長動作とは、例えば、ロボット１３の移動中に障害物に衝突した場合や衝突直前に、その障害物を回避しながら目的の位置まで移動するような動作である。

メモリ７３は、入力部３３で入力された数式データ、変換部６７により変換された駆動プログラム、予め作成された冗長プログラム等を格納する。

図８は、図１に示したビジョンコントローラ１９のブロック図である。ビジョンコントローラ１９には、カメラ１５からの撮像画像データが入力される。ビジョンコントローラ１９は、画像処理部７７と、カメラ制御部７９と、ロボット制御部８１と、メモリ８３と、ストレージ８５と、を有する。画像処理データ、カメラ制御部７９、ロボット制御部８１は、プロセッサ８７により構成することができる。

画像処理部７７は、カメラ１５からの撮像画像データに基づき画像処理を行う。画像処理部７７により得られた画像処理データは、カメラ制御部７９へ送られる。

カメラ制御部７９は、画像処理部７７から送られた画像処理データに基づき、俯瞰用と近接用のカメラ焦点データを取得する。得られたカメラ焦点データは、ロボット制御部８１に送られる。また、カメラ焦点データは、ストレージ８５に格納される。

ロボット制御部８１は、カメラ制御部７９から送られたカメラ焦点データ等に基づき、カメラ動作データを取得する。カメラ動作データは、ロボットコントローラ１７へ送られる。また、カメラ動作データは、ストレージ８５に格納される。

図９は、ビジョンコントローラ１９の動作手順を表すフローチャートである。ロボットシステム１１では、ビジョンコントローラ１９からの制御信号によりカメラ部５７の俯瞰カメラ５９でワークＷの付近が撮像される（ＳｔＡ１）。

ロボットコントローラ１７からの制御信号によりハンド部２７がワークＷに接近すると、カメラ部５７が、俯瞰モードから近接モードに切り替えられる（ＳｔＡ２）。

カメラ部５７は、近接カメラ６１によりワークＷまでの距離を測定する（ＳｔＡ３）。

ビジョンコントローラ１９は、計算された距離に基づいて、ロボットアームをワークＷに近づけ、ロボットアーム２１の先端３５の指部材２５がワークＷを掴むための制御信号の生成をロボットコントローラ１７に指示する（ＳｔＡ４）。

ロボットアーム２１は、ロボットコントローラ１７により生成された制御信号を受け取り、先端３５のハンド部２７に設けられた指部材２５が制御される（ＳｔＡ５）。

図１０は、焦点が合うか否かを切り替えタイミングとする場合の処理手順を表すフローチャートである。ロボットシステム１１は、俯瞰カメラ５９と近接カメラ６１で作動距離が違うため、カメラ部５７の切り替えが必要となる。

例えば、コントローラは、俯瞰カメラ５９または近接カメラ６１の一方の焦点が合わないタイミングで、俯瞰カメラ５９または近接カメラ６１の他方へ撮像動作を切り替えるように構成することができる。この場合、先ず、俯瞰カメラ５９で焦点が合うか否かが判断される（ＳｔＢ１）。焦点が合う場合、カメラ部５７は俯瞰カメラ５９へ切り替えられる（ＳｔＢ２）。一方、俯瞰カメラ５９で焦点が合わない場合、近接カメラ６１で焦点が合うか否かが判断される（ＳｔＢ３）。焦点が合う場合、カメラ部５７は近接カメラ６１へ切り替えられる（ＳｔＢ４）。

図１１は、外部装置からの情報を切り替えタイミングとする場合の処理手順を表すフローチャートである。

また、コントローラは、外部装置からの情報に基づき俯瞰カメラ５９または近接カメラ６１のいずれか一方に撮像動作を切り替えるように構成してもよい。この場合、先ず、ロボットコントローラ１７の情報より、ロボットアーム２１の先端３５の高さが、ワークＷから１００ｍｍ以上か否かが判断される（ＳｔＣ１）。１００ｍｍ以上の場合、カメラ部５７は俯瞰カメラ５９へ切り替えられる（ＳｔＣ２）。一方、ロボットアーム２１の先端３５の高さが、ワークＷから１００ｍｍ以上でない場合、ロボットコントローラ１７の情報より、ロボットアーム２１の先端３５の高さが、ワークＷから１００ｍｍより小さいか否かが判断される（ＳｔＣ３）。１００ｍｍより小さい場合、カメラ部５７は近接カメラ６１へ切り替えられる（ＳｔＣ４）。

次に、上記した構成の作用を説明する。

実施の形態１に係るカメラ１５は、ロボットアーム２１の先端３５に取り付けられるカメラ筐体５５と、カメラ筐体５５に収容されるカメラ部５７と、を備える。カメラ部５７は、光学特性の異なる複数のカメラデバイスで一体的に構成される。ここで、光学特性の異なる複数のカメラデバイスは、例えば一つの俯瞰カメラ５９と、俯瞰カメラ５９と作動距離および画角の異なる二つの近接カメラ６１とが一体的に構成されたものである。

実施の形態１に係るカメラ１５では、ロボットアーム２１の先端３５に、カメラ部５７が設けられる。カメラ部５７は、一つの俯瞰カメラ５９と、二つの近接カメラ６１とをカメラ筐体５５に収容して構成される。即ち、カメラ部５７は、複数の異なるフォーカス（言い換えると、焦点距離）を組み合わせた三眼先端カメラとして構成されている。

ロボットアーム２１の先端３５に取り付けられるカメラには、ロボットアーム２１の動きに制約が生じないように、実施の形態１に係るカメラ１５のような小型のカメラが取り付けられることが好ましい。言い換えると、カメラ１５には、従来のカメラのようなオートフォーカス機構を設けることが困難である。しかしながら、実施の形態１に係るカメラ１５によれば、短焦点の複数の異なる作動距離（ＷＤ）を有するカメラデバイスを備えることで、いずれかのカメラデバイスによりワークＷの撮像をし続けることで、そのワークＷの位置を把握しながらワークＷを把持するまでのハンド部２７の位置制御を容易に行うことができる。また、このカメラ１５では、カメラ部５７がカメラ筐体５５を介してロボットアーム２１の先端３５に設けられるので、カメラがストッカの上方に取り付けられていた従来のロボットシステム１１における死角が生じない。そのため、ハンド部２７やロボットアーム自体がカメラ１５の死角になり、位置（座標）が判らなくなることがない。その結果、ワークＷをつかむためのハンド部２７の位置精度の低下を抑制でき、作業効率の向上を図ることができる。

また、カメラ１５は、軽量であることから、ロボットアーム２１に設けた場合であっても、制御装置のコスト増大を抑制できる。即ち、重量のあるカメラを取付けた場合、その重さを考慮して、ワークＷを適切につかむためにアーム動作時にハンド部２７がぶれないようにする必要がある。このため、ギヤやモータを高剛性で製作する必要が生じ、結果的にロボットシステム１１のコストが増大する。これに対し、カメラ１５は、軽量であることにより、通常のギヤやモータを使用でき、ロボットアーム２１のコストの増大を抑制できる。

また、カメラ１５は、小型であることから、ハンド部２７から大きく張り出すことがない。このため、周囲に物体があった場合、その物体を大きくよける必要がない。これにより、ロボットアーム２１の駆動範囲が狭くならない。

また、カメラ１５において、二つの近接カメラのそれぞれは、同一の作動距離を有する同一のカメラデバイスで構成され、同一のワークＷを同時に撮像し、視差のある一対の画像を取得し、一対の画像に基づいて、二つの近接カメラからワークＷまでの距離を算出する。

２つの近接カメラ６１を水平に並べて配置し、視差のある２つの画像を同時に撮影することで、２つの画像からは、カメラ配置の差の分に応じた視差のある画像の対を得ることができる。カメラ１５は、その画像情報を基に演算することにより、ワークＷの奥行方向の情報、すなわちワークＷの立体としての情報や、近接カメラ６１からワークＷまでの距離の情報を得ることができる。近接カメラ６１とワークＷとの間の距離が近い程、距離の演算精度は高くなっていく。カメラ１５は、ワークＷに近づきながら、複数回に分けて距離の演算を行うことで、徐々に精度の高い位置合わせを実現することができる。

また、カメラ１５では、カメラ部５７が、俯瞰カメラ５９の使用モードから近接カメラ６１の使用モードに切り替えて作動する。

カメラ１５では、ロボットアーム２１の先端３５に設けられたハンド部２７が、ワークＷに接近すると、カメラ部５７の俯瞰カメラ５９の使用モード（言い換えると、近接カメラ６１の不使用モード）が近接カメラ６１の使用モード（言い換えると、俯瞰カメラ５９の不使用モード）に切り替えられて作動する。カメラ部５７は、近接カメラ６１の使用モードに切り替えられることにより、撮像画像の解像度が高くなり、高精度な位置情報が得られる。これにより、ロボットアーム２１およびハンド部２７の高精度な動作制御が可能となる。

また、カメラ１５では、カメラ部５７が、近接カメラ６１の使用モードから俯瞰カメラ５９の使用モードに切り替えて作動する。

また、カメラ１５では、ロボットアーム２１の先端３５に設けられたハンド部２７が、ワークＷから離れると、カメラ部５７の近接カメラ６１の使用モード（言い換えると、俯瞰カメラ５９の不使用モード）が俯瞰カメラ５９の使用モード（言い換えると、近接カメラ６１の不使用モード）に切り替えられて作動する。カメラ部５７は、俯瞰カメラ５９の使用モードに切り替えられることにより、焦点距離が長くなり、ワークＷ全体の位置情報が得られる。これにより、ロボットアーム２１およびハンド部２７を広範囲で作動させる動作制御が可能となる。

また、一つの俯瞰カメラ５９および二つの近接カメラ６１は、それぞれの光軸６３が平行に配置され、かつ光軸６３に直交する面においてそれぞれの光軸６３が三角形の各頂点に配置される。

カメラ１５では、光軸６３を平行とした３つの細径カメラ（具体的には、一つの俯瞰カメラ５９および二つの近接カメラ６１）が、光軸６３に直交する面において、三角形の各頂点の位置となるように配置される。カメラ筐体５５は、これら３つの細径カメラを最もコンパクトに覆う三角柱形状に形成できる。三角柱形状のカメラ筐体５５は、任意の一つの側面を利用して例えばハンド部２７などのロボットアーム２１の先端３５に、高強度に固定することが可能となる。この場合、底辺部の両側で離間する一対の細径カメラを近接カメラ６１とし、頂部の細径カメラを俯瞰カメラ５９とすることができる。ハンド部２７が、一対の指部材２５を接近離反させる構造の場合、近接カメラ６１を指部材２５に接近させて配置できる。

また、カメラ１５では、光軸６３に直交する面において、３つの細径カメラ（具体的には、一つの俯瞰カメラ５９および二つの近接カメラ６１）が配置される位置により特定される三角形が、正三角形である。

このカメラ１５では、三角形が、不等辺三角形や二等辺三角形の場合に比べ、カメラ筐体５５を最小化でき、かつ指部材２５に対する近接カメラ６１および俯瞰カメラ５９の双方の位置ズレを小さく抑えることができる。

また、カメラ１５では、三角形における各辺の中点に、照明開口部６５が配置される。

カメラ１５では、一つの俯瞰カメラ５９および二つの近接カメラ６１のそれぞれに対して、複数の照明開口部６５を均等な距離で配置することができる。また、複数の細径カメラおよび照明開口部６５を高密度でコンパクトにレイアウトできる。その結果、カメラ筐体５５の小型化が可能となる。

また、カメラ部は、二つの近接カメラ６１の間に照明開口部６５が配置される。

カメラ１５では照明開口部６５が配置される。照明はカメラと別に配置されることが多いが、照明をカメラ１５内に一緒に配置することで、照明を含めて小型であることから、ハンド部２７から大きく張り出すことがない。このため、周囲に物体があった場合、その物体を大きくよける必要がない。これにより、ロボットアーム２１の駆動範囲が狭くならない。

また、照明開口部６５は、ワークＷを照らすための光源が配置される。

照明開口部６５に配置される照明は、光ファイバの光であったり、ＬＥＤの光であったりする。必要な光量に応じて調整することができる。

また、照明開口部６５には、所定のパターンを有する投光が可能な光源が配置される。

また、照明開口部６５に配置される照明は、特定のパターンを照射できる照明を配置することもできる。ワークＷとそれを設置している設置台との色が近い場合に、ワークＷの形が認識できない（画像のエッジが取れない）という場合もある。その場合は特定のパターンを照射することによりワークＷの形が認識できるようにできる。例えば縞模様パターンを照射することにより、設置台とワークＷの高さが異なる部分の模様の写り方により判断が出来るようになる。

また、二つの近接カメラ６１のそれぞれは、同一の作動距離を有して構成され、光源から投光されたパターンの光を同時に撮像し、視差のある一対のパターン画像を取得し、二つの近接カメラ６１からパターンの光が照射されるパターン投光面までの距離を算出する。

ワークＷとそれを設置している設置台との色が近い場合に、ワークＷの形が認識できない（画像のエッジが取れない）という場合もある。その場合は距離を測るための演算ができない。解決方法として、近接カメラ６１の間の照明開口部６５に任意のパターンを投光できる光源を配置し、そのパターンを撮影することでワークの形が認識できなくても、パターン照射画像を認識することで距離を測ることができるようになる。任意のパターンとしてはレーザポインタで照射するような点形のパターンや、丸や四角、三角や縞模様といったような特定のパターンを照射する。

また、カメラ１５では、カメラ筐体５５が、ロボットアーム２１の先端３５に相互に接近離反自在に取り付けられた一対の指部材２５における離間方向の中央部に配置される。

カメラ１５では、一対の指部材２５が相互に接近離反する構造において、その離間方向の中央部にカメラ筐体５５が配置される。カメラ筐体５５は、一対の指部材２５を結ぶ線分の中点に直交方向で交わる仮想面上で、ロボットアーム２１の先端３５に配置される。これにより、相互に接近離反する一対の指部材２５の中央に常にカメラ１５を配置でき、ワークＷの中心となる作業点８９（図２参照）の位置情報を容易に検出できる。

また、三角柱形状となるカメラ筐体５５の頂点に配置した俯瞰カメラ５９は、一対の指部材２５の中央に配置することができる。これにより、指部材２５に対する俯瞰カメラ５９の位置ズレ（ギャップ）を小さく抑えることができる。その結果、キャリブレーションを不要とすることが可能となる。

また、実施の形態１に係るロボットシステム１１は、ロボットアーム２１の先端３５に取り付けられるカメラ筐体５５と、カメラ筐体５５に収容されるカメラ部５７と、を備え、カメラ部５７は、一つの俯瞰カメラ５９と、俯瞰カメラ５９と作動距離の異なる二つの近接カメラ６１とが一体的に構成されたカメラ１５と、カメラ１５が取得した撮像情報に基づきロボットアーム２１の動作を制御するための制御信号を生成するコントローラと、を備える。

実施の形態１に係るロボットシステム１１では、ワークＷをハンド部２７で保持させる制御を行うためのワークＷまでの距離が、ロボットシステム１１の先端３５に設けられたカメラ１５により検出される。カメラ１５がロボットアーム２１の先端３５に設けられるので、カメラがストッカの上方に取り付けられていた従来のロボットシステム１１における死角が生じない。そのため、ハンド部２７やロボットアーム自体がカメラ１５の死角になり、位置（座標）が判らなくなることがない。その結果、ハンド部２７で保持できないワークＷの増加を抑制できる。

なお、特許文献１に開示されるロボットアーム２１には保持状態検出用カメラが備えられるが、この保持状態検出用カメラはハンド部２７に保持されたワークＷの保持状態を検出（撮像）するためのものであり、ワークＷをハンド部２７で保持させる制御を行うためのワークＷまでの距離を検出するものではない。

また、カメラ１５は、小型であることから、座標差分を補正するキャリブレーションを不要とする位置まで、ハンド部２７に接近させて取り付けることができる。これにより、ロボットシステム１１は、ロボットアーム２１を動作させるための制御情報の演算を簡素にでき、煩雑なキャリブレーションを行う場合に比べ、ロボットアーム２１を高速に作動させることが可能となる。また、本実施の形態１に係るロボットシステム１１によれば、ハンド部２７で保持できないワークＷの増加を抑制することができる。

また、コントローラは、光学特性の異なる複数のカメラデバイス（例えば俯瞰カメラ５９または近接カメラ６１）の一方の焦点が合わないタイミングで、光学特性の異なる複数のカメラデバイス（例えば俯瞰カメラ５９または近接カメラ６１の他方）へ撮像動作を切り替える。

このロボットシステム１１では、俯瞰カメラ５９と近接カメラ６１とで作動距離が違うため、俯瞰カメラ５９から近接カメラ６１へ、またはその逆の近接カメラ６１から俯瞰カメラ５９への切り替えが必要となる。そこで、俯瞰カメラ５９と近接カメラ６１とが、片方の焦点が合わないタイミングで切り替えられる。例えば俯瞰カメラ５９の焦点が合わない場合は、俯瞰カメラ５９がオフとなり近接カメラ６１がオンとなる。逆に、近接カメラ６１の焦点が合わない場合は、近接カメラ６１がオフとなり俯瞰カメラ５９がオンとなる切り替えが行われる。

また、コントローラは、外部装置からの情報に基づき、光学特性の異なる複数のカメラデバイス（例えば俯瞰カメラ５９または近接カメラ６１）のいずれか一方に撮像動作を切り替えるものとしてもよい。

このロボットシステム１１では、例えば外部装置であるコントローラの情報より、ロボットアーム２１の高さが、対象物から所定距離以下の場合、俯瞰カメラ５９がオフとなり近接カメラ６１がオンとなる。逆に、ロボットアーム２１の高さが、対象物から所定距離以上の場合、近接カメラ６１がオフとなり俯瞰カメラ５９がオンとなる切り替えが行われる。

以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。

本開示は、ワークをつかむためのハンドの位置精度の低下を抑制し、作業効率の向上を図るカメラおよびロボットシステムとして有用である。

１１ ロボットシステム
１５ カメラ
１７ ロボットコントローラ
１９ ビジョンコントローラ
２１ ロボットアーム
２５ 指部材
３５ 先端
５５ カメラ筐体
５７ カメラ部
５９ 俯瞰カメラ
６１ 近接カメラ
６３ 光軸
６５ 照明開口部
ＷＤ１、ＷＤ２ 作動距離

Claims (16)

1. ロボットアームの先端に取り付けられるカメラ筐体と、
   前記カメラ筐体に収容されるカメラ部と、を備え、
   前記カメラ部は、ワークを撮像するための光学特性の異なる複数のカメラデバイスが一体的に構成される、
   カメラ。
2. 前記カメラ部は、一つの俯瞰カメラと、前記俯瞰カメラと作動距離の異なる二つの近接カメラとが一体的に構成される、
   請求項１に記載のカメラ。
3. 前記二つの近接カメラのそれぞれは、同一の作動距離を有する同一のカメラデバイスで構成され、同一の前記ワークを同時に撮像し、視差のある一対の画像を取得し、前記一対の画像に基づいて、前記二つの近接カメラから前記ワークまでの距離を算出する、
   請求項２に記載のカメラ。
4. 前記カメラ部は、前記俯瞰カメラの使用モードから前記近接カメラの使用モードに切り替えて作動する、
   請求項２に記載のカメラ。
5. 前記カメラ部は、前記近接カメラの使用モードから前記俯瞰カメラの使用モードに切り替えて作動する、
   請求項２に記載のカメラ。
6. 前記一つの俯瞰カメラおよび前記二つの近接カメラは、それぞれの光軸が平行に配置され、かつ前記光軸に直交する面において前記それぞれの光軸が三角形の各頂点に配置される、
   請求項２〜５のうちいずれか一項に記載のカメラ。
7. 前記三角形は、正三角形である、
   請求項６に記載のカメラ。
8. 前記三角形における各辺の中点に、照明開口部が配置される、
   請求項６または７に記載のカメラ。
9. 前記カメラ部は、前記二つの近接カメラの間に照明開口部が配置される、
   請求項２に記載のカメラ。
10. 前記照明開口部は、前記ワークを照らすための光源が配置される、
    請求項９に記載のカメラ。
11. 前記照明開口部には、所定のパターンを有する投光が可能な光源が配置される、
    請求項９に記載のカメラ。
12. 前記二つの近接カメラのそれぞれは、同一の作動距離を有して構成され、前記光源から投光された前記パターンの光を同時に撮像し、視差のある一対のパターン画像を取得し、前記二つの近接カメラから前記パターンの光が照射されるパターン投光面までの距離を算出する、
    請求項１１に記載のカメラ。
13. 前記カメラ筐体は、前記ロボットアームの先端に相互に接近離反自在に取り付けられた一対の指部材における離間方向の中央部に配置される、
    請求項１〜１２のうちいずれか一項に記載のカメラ。
14. ロボットアームの先端に取り付けられるカメラ筐体と、
    前記カメラ筐体に収容され、ワークを撮像するための光学特性の異なる複数のカメラデバイスが一体的に構成されるカメラ部と、
    前記カメラ部が取得した撮像情報に基づき、前記ロボットアームの動作を制御するための制御信号を生成するコントローラと、を備える、
    ロボットシステム。
15. 前記コントローラは、前記光学特性の異なる複数のカメラデバイスの一方の焦点が合わないタイミングで、前記光学特性の異なる複数のカメラデバイスの他方へ使用モードを切り替える、
    請求項１４に記載のロボットシステム。
16. 前記コントローラは、外部装置からの情報に基づき、前記光学特性の異なる複数のカメラデバイスのいずれか一方に使用モードを切り替える、
    請求項１４に記載のロボットシステム。

Images