JP6639181B2 - 撮像装置、生産システム、撮像方法、プログラム及び記録媒体 - Google Patents

Description

本発明は、搬送装置により搬送されるワークを自動で撮像する撮像装置、生産システム、撮像方法、プログラム及び記録媒体に関する。

一般に、ロボットやベルトコンベアなどを用いて物体（ワーク）を搬送する搬送装置がある。ワークは、搬送装置に対して位置及び姿勢にバラツキがある状態で搬送される場合が多く、一般には搬送終了後、作業位置手前においてワークの位置及び姿勢を計測して、適宜ワークの位置及び姿勢を修正してから作業を開始している。またワークの検査においても、ワークの位置及び姿勢を修正後、検査を専門に行うステーションにワークを送ってから実施することが一般的である。即ち、生産システムにおいては、ワークの位置及び姿勢やワークの欠陥等のワークの状態を計測する必要がある。

特許文献１には、ワークを積載する組立パレットに、ＬＥＤや再帰反射材などのマークを置いてカメラで撮像することによって、組立パレットの位置及び姿勢を求め、これにより、ワークの位置及び姿勢を求める技術が記載されている。

特開２０１０−２２１３８１号公報

しかし、特許文献１に記載の技術では、組立パレット等の搬送装置の位置及び姿勢を求めることは可能であるが、搬送装置に搬送されているワークの位置及び姿勢を求めるには、ワークが搬送装置に対して正確に位置決めされていることが前提となる。したがって、特許文献１に記載の技術は、ワークが搬送装置に対し任意の位置及び姿勢で搬送される場合を想定したものではない。即ち、特許文献１には、カメラによりＬＥＤや再帰反射材等のマークを撮像して、マークの位置及び姿勢から組立パレットに位置決されたワークの位置及び姿勢を、間接的に求める技術が記載されているものである。

これに対し、カメラを用いて搬送装置に搬送されているワークを撮像し、撮像画像から、直接、ワークの位置及び姿勢や欠陥等の状態を計測する方法が考えられる。ワークが写り込んでいる撮像画像を解析することで、ワークの状態を計測することができる。ワークを撮像した撮像画像から正確に情報を引き出すには、大きな解像度（画素数）とする必要がある。

ここで、特許文献１では組立パレットを一旦停止させてからカメラにより撮像させているが、近年、ワークを撮像する際の時間を短縮するため、ワークを搬送しながら撮像することが求められている。

高速で移動するワークに対して、ワークの状態を計測するのに用いる撮像画像においてブレを防ぐために、速いシャッタ速度と強い照明が必要である。このような状況では、最適撮像条件の範囲が狭くなり、露出条件やワークの表面状態によって撮像結果が大きく変わる。このため、ワークを撮像する際の照明条件は、ワークに応じて細かく設定する必要がある。

一方、ワークを搬送しながら撮像するには、ワークを撮像するタイミングが重要であり、この撮像タイミングを正確に求めなければならない。そこで、実際に必要な計測用の撮像画像を取得する前に、撮像タイミングを検出するための撮像画像を連続して取得し、これら撮像画像からワークの撮像タイミングを検出することが考えられる。その際、ワークを高速搬送した状態で撮像タイミングを検出する場合は、高いフレームレートが必要となる。

しかし、ワーク全体を撮像する際の照明条件に合わせて照度を上げると、撮像タイミングを検出する際の撮像画像においても背景が写ってしまい、背景分離が必要となるため、演算負荷が高くなり、作業速度の低下が発生する。即ち、ワークの撮像タイミングを検出する際に、ワークを撮像する照明条件と同じ照明条件で撮像しようとすると、演算負荷が高くなるので撮像タイミングを検出するのに多大な時間を要し、フレームレートを高くすることができない。したがって、ワークの搬送速度を低くせざるを得なかった。

そこで、本発明は、ワークを高速搬送しながら確実にワークを撮像することを目的とする。

本発明の撮像装置は、搬送装置に搬送されて撮像範囲内を通過するワークを撮像する撮像部と、前記撮像範囲内を通過する前記ワークに光を照射する照明部と、前記撮像部及び前記照明部を制御する制御部と、を備え、前記照明部は、前記ワークを撮像するのに必要な開口を有する第１光源と、前記第１光源よりも開口の小さい第２光源と、を有し、前記制御部は、前記搬送装置による前記ワークの搬送中、前記第１光源を消灯し、かつ前記第２光源を点灯した状態で前記撮像部に撮像させる撮像動作を繰り返し行い、前記搬送装置又は前記ワークに設けられたマークからの反射光が写り込んだ撮像画像を取得する第１撮像処理と、前記搬送装置による前記ワークの搬送中、前記第１光源を点灯させた状態で前記撮像部により撮像させ、前記ワークが写り込んだ撮像画像を取得する第２撮像処理と、前記第１撮像処理にて得られた前記反射光が写り込んだ撮像画像に基づき、前記第１撮像処理から前記第２撮像処理に切り替えるタイミングを設定する切替処理と、を実行する。

本発明によれば、第２光源を用いることにより、フレームレートを高めてマークからの反射光が写り込んだ撮像画像を取得することができ、これによって設定したタイミングで、第１光源による光照射の下、移動しているワークを撮像することができる。したがって、ワークを高速搬送しながら確実にワークを撮像することができる。

第１実施形態に係る生産システムの概略構成を示す模式図である。 （ａ）は、ロボットハンドに把持されたワークをカメラ側から見た平面図である。（ｂ）は、カメラをロボットハンドに把持されたワーク側から見た平面図である。 第１実施形態に係る生産システムの制御系の構成を示すブロック図である。 第１実施形態に係る生産システムの制御系の別の構成を示すブロック図である。 （ａ）は、ワークの他に背景が写り込んだ画像を示す模式図である。（ｂ）は、背景を遮蔽した画像を示す模式図である。 （ａ）は、第１実施形態で用いられる再帰反射材の一例を示す模式図である。（ｂ）は、第１実施形態で用いられる再帰反射材の一例の原理を示す説明図である。（ｃ）は、第１実施形態で用いられる再帰反射材の別の例を示す模式図である。（ｄ）は、第１実施形態で用いられる再帰反射材の別の例の原理を示す説明図である。 光源により照射された光が鏡面反射した場合にカメラにて結像する説明図である。 （ａ）は、ワーク面が光沢面であった場合に撮像される撮像画像を示す模式図である。（ｂ）は、ワーク面が散乱面であった場合に撮像される撮像画像を示す模式図である。（ｃ）は、ワーク面を再帰反射シートとした場合に撮像される撮像画像を示す模式図である。 （ａ）は、ワーク面が鏡面に近い場合に第２光源から照射された光の経路を示す模式図である。（ｂ）は、（ａ）の状態でカメラ本体に撮像される画像を示す模式図である。 （ａ）は、第１光源で照明した場合にワークをカメラ本体に撮像させて得られる撮像画像を示す模式図である。（ｂ）は、第２光源で照明した場合にワークをカメラ本体に撮像させて得られる撮像画像を示す模式図である。（ｃ）は、ワークを移動させて第１光源で照明した場合にワークをカメラ本体に撮像させて得られる撮像画像を示す模式図である。（ｄ）は、ワークを移動させて第２光源で照明した場合にワークをカメラ本体に撮像させて得られる撮像画像を示す模式図である。 第１実施形態に係る撮像方法を示すフローチャートである。 第１実施形態において、撮像制御回路にて取り込まれる画素領域の一例を示した模式図である。 第２実施形態に係る撮像方法を示すフローチャートである。 第２実施形態において、撮像制御回路にて取り込まれる画素領域の一例を示した模式図である。 （ａ）及び（ｂ）は、第３実施形態に係る撮像装置により撮像されたワークが写り込んだ撮像画像において、画像処理装置に出力する部分画像を示す模式図である。 第４実施形態において、５つの再帰反射材をロボットに配した場合を示す模式図である。 （ａ）は、金属板を切削加工した際に生じる引き目の断面形状と第２光源の光を金属板の表面に照射した際に生じる光条を示す説明図である。（ｂ）は、光条が発生する原理を説明するための図である。（ｃ）は、光条が発生している状態を示す模式図である。

以下、本発明を実施するための形態を、図面を参照しながら詳細に説明する。

［第１実施形態］
図１は、第１実施形態に係る生産システムの概略構成を示す模式図である。生産システム１００は、ワークＷを搬送する搬送装置であるロボット２００と、撮像装置であるカメラ３００と、画像処理装置４００と、ロボット制御装置５００と、を備えている。

ロボット２００は、ワークＷを保持してワークＷを搬送するものである。ロボット２００は、ロボットアーム２０１（図１ではロボットアーム２０１の先端部分のみ図示）と、ロボットアーム２０１の先端に取り付けられたロボットハンド２０２とを有する。ロボットアーム２０１は、本実施形態では垂直多関節型であるが、水平多関節型のロボットアーム、パラレルリンク型のロボットアーム、直交ロボット等、いかなるロボットアームであってもよい。また、搬送装置はロボット２００に限らず、単軸の搬送器であってもよい。また、搬送装置の駆動方法についても限定はなく、電動式に限らず、空圧、油圧、ばねや人力による駆動でも構わない。

ロボットハンド２０２は、ハンド本体２１０と、ハンド本体２１０に支持された複数（例えば３つ）のフィンガー２１１と、を有している。ロボットハンド２０２は、複数のフィンガー２１１により、ワークＷを把持することができる。なお、ロボットハンド２０２の構成はこれに限定するものではなく、ワークＷを保持できればよく、例えば吸着型であってもよい。

カメラ３００は、検査計測対象であるワークＷを自動で撮像する装置である。画像処理装置４００は、カメラ３００から取得した撮像画像を用いて、ワークＷの状態を計測するものである。本実施形態では、画像処理装置４００は、ワークＷの状態として、撮像画像からワークＷの位置及び姿勢を求める場合について説明するが、ワークＷの欠陥等を検出する場合であってもよい。

ロボット制御装置５００には、ロボット２００がワークＷを搬送中、カメラ３００の撮像可能範囲を通過するように、ロボット２００の軌道データがプログラミングされている。

また、ロボット制御装置５００は、画像処理装置４００から画像処理結果、つまりロボット２００に対するワークＷの位置及び姿勢のデータを取得する。ロボット制御装置５００は、ワークＷがカメラ３００の撮像可能範囲を通過後、位置及び姿勢のデータに基づきロボット２００の姿勢を修正する。これにより、ロボット制御装置５００は、ワークＷの位置及び姿勢を修正して、別の作業、例えば別のワークにワークＷを組み付ける作業をロボット２００に行わせる。また、ロボット制御装置５００は、ワークＷを搬送させる動作をロボット２００にさせるときに、ワークＷを搬送させていることを示す信号をカメラ３００に出力する。

ロボット２００又はワークＷには、光を反射するマーク、具体的には再帰反射性を有する部材である再帰反射材２２０が設けられている。本実施形態では、ロボット２００に再帰反射材２２０が設けられている。したがって、本実施形態では、全てのワークＷにマークを付す必要がない。

再帰反射材２２０は、ワークＷの把持状態にかかわらずカメラ３００にて撮像可能なように、ロボットハンド２０２に設けられている。より詳細に説明すると、ロボットハンド２０２のフィンガー２１１の先端に再帰反射材２２０が設けられている。本実施形態では、再帰反射材２２０は、複数のフィンガー２１１それぞれに設けられている。つまり、複数の再帰反射材２２０がロボット２００に設けられている。

カメラ３００は、撮像部であるカメラ本体３１０と、照明部３２０とを有して構成される。カメラ本体３１０は、ロボット２００に搬送されて撮像範囲内を通過するワークＷを撮像するものである。カメラ本体３１０は、筐体３１１と、筐体３１１に取り付けられたレンズ３１２とを有している。

照明部３２０は、カメラ本体３１０の撮像範囲内を通過するワークＷに、光を照射する装置である。照明部３２０は、第１光源である光源３２１と、第２光源である光源３２２とを有している。２つの光源３２１，３２２は、いずれも撮像照明に使用するものである。光源３２１は、ワークＷを撮像するのに必要な開口を有している。光源３２２は、光源３２１よりも開口が小さくなっている。光源３２２は、カメラ本体３１０の近傍に配置されている。これにより、光源３２２により照射された光は、再帰反射材２２０にて反射したとき、再び光源３２２に向かって反射（再帰反射）する。光源３２２はカメラ本体３１０に隣接して配置されているので、カメラ本体３１０には、再帰反射材２２０からの反射光が入射する。これらカメラ本体３１０、光源３２１及び光源３２２は、所定の位置関係になるように配置されている。

図２（ａ）は、ロボットハンド２０２に把持されたワークＷをカメラ３００側から見た平面図である。図２（ａ）に示すように、すべての再帰反射材２２０がカメラ３００から見えるように配置されている。図２（ｂ）は、カメラ３００をロボットハンド２０２に把持されたワークＷ側から見た平面図である。図２（ｂ）に示すように、ロボットハンド２０２（ワークＷ）側から見て、光源３２１，３２２は、障害物に遮蔽されることがないように配置される。

図３は、第１実施形態に係る生産システムの制御系の構成を示すブロック図である。本実施形態では、照明の工夫により複雑な演算が必要でないが、遅延は小さい必要がある。このためオーバーヘッドが大きいＣＰＵ（Central Processing Unit）を用いずに、すべてハードウエアロジック回路で実装されるのが望ましい。図３でカメラ３００のロジック（制御部）は、画素整列回路３６１、外部出力回路３６２、ワーク判別回路３６３、撮像制御回路３６４からなる制御ユニット３６０で構成される。ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）３３２には設定情報が記憶されている。ワーク判別回路３６３及び撮像制御回路３６４は、ＥＥＰＲＯＭ３３２から読み出した設定情報に従って、カメラ本体３１０の撮像センサ３５０及び各光源３２１，３２２を制御して撮像方法の各工程を実行する。またワーク判別回路３６３は後述する判定ロジックにより、撮影条件の変更や外部出力の有無の切替信号を発生する。

なお、搬送速度が低いなどの動作遅延が問題ない場合は制御部としてＣＰＵを用いてもよい。この場合の構成を示す。図４は、第１実施形態に係る生産システムの制御系の別の構成を示すブロック図である。

カメラ３００は、制御部（処理部）としてのＣＰＵ３３１を備えている。また、カメラ３００は、記憶部として、ＥＥＰＲＯＭ３３２、ＲＡＭ（Random Access Memory）３３３を備えている。また、カメラ３００は、撮像センサ３５０、光源３２１，３２２（照明部３２０）、及びインタフェース３３４，３３５を備えている。

ＣＰＵ３３１には、ＥＥＰＲＯＭ３３２、ＲＡＭ３３３、撮像センサ３５０、光源３２１，３２２、インタフェース３３４，３３５が、バス３３０を介して接続されている。ＥＥＰＲＯＭ３３２は、後述する演算処理を実行させるためのプログラム３４０が記録された不揮発性の記憶装置である。ＣＰＵ３３１は、ＥＥＰＲＯＭ３３２に記録（格納）されたプログラム３４０に基づいてカメラ本体３１０の撮像センサ３５０及び各光源３２１，３２２を制御して撮像方法の各工程を実行する。ＲＡＭ３３３は、ＣＰＵ３３１の演算結果等を一時的に記憶する記憶装置である。

なお、制御部としてＣＰＵを用いる場合では、コンピュータ読み取り可能な記録媒体がＥＥＰＲＯＭ３３２であり、ＥＥＰＲＯＭ３３２にプログラム３４０が格納されるが、これに限定するものではない。プログラム３４０は、コンピュータ読み取り可能な記録媒体であれば、いかなる記録媒体に記録されていてもよい。例えば、プログラム３４０を供給するための記録媒体としては、不揮発性のメモリや記録ディスク、外部記憶装置等を用いてもよい。具体例を挙げて説明すると、記録媒体として、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、ＲＯＭ、ＵＳＢメモリ等を用いることができる。

制御部としてＣＰＵを使う場合には、ＣＰＵ３３１は、プログラム３４０を実行することにより、図３のワーク判別回路３６３および撮像制御回路３６４の機能に相当する動作を実行する。

前述したとおり、カメラ３００は、カメラ本体３１０と照明部３２０とを有している。カメラ本体３１０は、筐体３１１とレンズ３１２の他に、筐体３１１の内部に配置された撮像センサ３５０を有している。なお、制御ユニット３６０は、筐体３１１の内部に配置されているが、筐体３１１の外部に配置されていてもよい。

撮像センサ３５０は、面状に配列された多数の画素を有し、所定の時間露光することで、レンズ３１２を通してセンサ面上に結像した画像を電気信号に変換する画像センサである。撮像センサ３５０は、センサ面に結像した画像を画素ごとのデジタルデータとして出力する。

主な撮像センサとしてＣＣＤ（Charge Coupled Device）イメージセンサと、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサとがある。

ＣＣＤイメージセンサは、全画素を同時に露光するグローバルシャッタを備えているため、移動体を撮像するのに向いている。これに対してＣＭＯＳイメージセンサは、水平スキャンごとに露光タイミングをずらして画像データを出力するローリングシャッタが一般的である。ローリングシャッタを有するＣＭＯＳイメージセンサで移動体を撮像すると水平方向ごとに露光タイミングが異なるため実際の形状から歪んでしまう。ただしＣＭＯＳイメージセンサでも画素ごとに一時的にデータを保存する仕組みを持ったものがあり、このようなセンサではグローバルシャッタを実現できるので移動体を撮像しても出力画像が歪まない。

本実施形態では移動体を扱うため、撮像センサ３５０として、ＣＣＤイメージセンサ、若しくはグローバルシャッタ付きのＣＭＯＳイメージセンサが望ましい。形状の変化が問題とならない検査であれば、通常のＣＭＯＳイメージセンサを用いることも可能である。なお後述するようにワークを待っている間のフレームレートを高めるために全画素を出力するのではなく部分領域の画素を選択出力する。一般にＣＣＤイメージセンサは、構造上水平方向にしか画素を選択できないのに対してＣＭＯＳイメージセンサは縦横自由に選択できる。以上よりグローバルシャッタ付きのＣＭＯＳイメージセンサが本実施形態に最も適している。

画素整列回路３６１は、撮像センサ３５０からの画素出力を画像処理装置４００に転送するために、画素順を整列させたり、並列化したりする。整列順は転送インタフェースの規格により様々な形式がある。

外部出力回路３６２は、インタフェースの規格に応じてデジタル信号を転送に適した状態にする。本実施形態ではさらに外部に出力するか否かも選択できるようになっている。

ワーク判別回路３６３は、ワークＷが規定範囲内にあるかどうか（又は次のタイミングで規定範囲内に入るかどうか）を判断する。

ＥＥＰＲＯＭ３３２には、カメラ本体３１０の撮像条件を示すデータが予め記憶されている。撮像制御回路３６４は、ワークＷを撮像する本撮像を行う前の待ち受け時には、ＥＥＰＲＯＭ３３２に記憶されている待ち受け時の撮像条件（第１撮像条件）にカメラ本体３１０を設定する。撮像制御回路３６４は、待ち受け時には、できるだけフレームレートを高めるため、再帰反射材２２０の軌跡部分のみ取得して画素数を減らした設定とするのが好ましい。撮像制御回路３６４は、ワークＷを撮像する本撮像時には、ＥＥＰＲＯＭ３３２に記憶されている本撮像時の撮像条件（第２撮像条件）にカメラ本体３１０を設定する。また、撮像制御回路３６４は、照明条件として、待ち受け時には光源３２２を使用する第１照明条件とし、本撮像時には光源３２１を使用する第２照明条件とするように照明部３２０を制御する。外部出力回路３６２は、待ち受け時、外部に画像を出力しないようにする。

次に、光源３２１，３２２と再帰反射材２２０について説明する。高速な移動体に対して正確に自動撮像を行うためには、μｓｅｃオーダーの処理時間しか許されない。これに対してカメラ３００内でハード処理を行って、転送時間をカットすることで時間を短縮できる。しかしこれだけでは不十分であり、ワークの位置検出（つまり、撮像タイミングの検出）のための画像処理に時間がかかっていては、検出時点でワークが通過した後となってしまって、ワークを撮像することができなくなる。

時間のかかる画像処理は種々ある。図５（ａ）は、ワークの他に背景が写り込んだ画像Ｉ_Ｘを示す模式図である。図５（ａ）のような画像Ｉ_Ｘを用いて複雑な背景からワークを分離して位置を正確に特定する演算処理は、演算負荷が高い。図５（ｂ）は、背景を遮蔽した画像Ｉ_Ｙを示す模式図である。専用の検査装置であれば背景とワークの間に遮蔽材を置いて図５（ｂ）のような背景を遮蔽した画像Ｉ_Ｙを得ることによって後の画像処理の負担を減らして高速化することが可能である。しかし、組み立て作業等を行う生産システムにおいては、遮蔽物が作業の邪魔となるため、画像処理のために背景を遮蔽することができない場合が多い。この様な装置では、例えば図５（ａ）のように、画像Ｉ_Ｘ上では背景のエッジとワークのエッジが混ざってしまい、簡単にワークを分離することが困難となる。

本実施形態では、再帰反射材２２０と照明条件（光源３２１を消灯し、かつ光源３２２を点灯する第１照明条件、光源３２１を点灯する第２照明条件）を適切に設定する。これによって、図５（ｂ）と同等の状態で画像を取得することによってワーク検出のための画像処理を簡素化して高速フレームレートを実現する。

図６は、第１実施形態で用いられる再帰反射材２２０の構造例と原理を示した説明図である。図６（ａ）は、第１実施形態で用いられる再帰反射材２２０の一例を示す模式図である。図６（ａ）に示す再帰反射材２２０は、マイクロビーズ２２１と呼ばれるガラス等の高屈折材料、および底面に設置した反射材２２２を用いたものである。

図６（ｂ）は、第１実施形態で用いられる再帰反射材２２０の一例の原理を示す説明図である。図６（ｂ）に示すように、再帰反射材２２０のマイクロビーズ２２１に入射した光は、マイクロビーズ２２１による２度の屈折により元の入射方向に反射する。いずれの方向から入射した光も元の方向に反射する現象を再帰反射と呼んでいる。ビーズ２２１の大きさを小さくして隙間なく敷き詰めれば、マクロ的には面全体で反射しているのと等価である。

図６（ｃ）は、第１実施形態で用いられる再帰反射材２２０の別の例を示す模式図である。図６（ｃ）に示す再帰反射材２２０は、互いに所定の角をなし凹状になるように張り合わされた平面鏡２２３からなる構造となったコーナーキューブと呼ばれるものである。

図６（ｄ）は、第１実施形態で用いられる再帰反射材２２０の別の例の原理を示す説明図である。この場合も図６（ｄ）に示すように、入射した光は平面鏡２２３で何回か反射することによって元の方向に帰っていくという再帰反射性を示す。

これら再帰反射材２２０は、マイクロビーズ２２１や平面鏡２２３による減衰を抑えることによってほぼ正反射と同等の明るさを得ることができる。なお、再帰反射材２２０は、これらに限定するものではなく、再帰反射性を有するいかなるものを使ってもよい。

光源について詳細に説明する。図７は、光源により照射された光が鏡面反射した場合にカメラにて結像する説明図である。光源から光が発せられる部分の大きさを開口１５と呼ぶ。円形の照明の場合は開口１５を円の直径で表すことができ、矩形の照明の場合は開口１５を長辺と短辺の長さで表現することができる。実際にカメラで撮像する面をワーク面１６とし、カメラの位置に像面１８を定義する。ワーク面１６を鏡面とし、ワーク面１６の領域１７に光が照射された場合、領域１７からの反射光が像面１８の領域１９に写る。領域１７は明視野領域と呼ばれ、各種の検査や計測に用いられる。領域１７以外は暗視野領域と呼ばれる。

図８（ａ）は、ワーク面が光沢面であった場合に撮像される撮像画像を示す模式図である。図７のワーク面１６が光沢面であった場合、図８（ａ）のように開口に相当する部分だけ明るく光る明視野領域Ｒ_１と、それ以外の部分は暗くなる画像Ｉ_１が撮像される。なお照明〜ワーク間とワーク〜カメラ間の距離が等距離の場合は、相似関係より明視野領域Ｒ_１は照明の開口の相似比で１／２となる。

図８（ｂ）は、ワーク面が散乱面であった場合に撮像される撮像画像を示す模式図である。図７のワーク面１６が散乱面であった場合、図８（ｂ）のように一様に少し暗い暗視野画像Ｉ_２が得られる。

本実施形態では、図１のように光源３２２を照明として使用した場合、カメラ本体３１０に光源３２２の開口が近接しているので、原理的には光源３２２から発せられた光は、再帰反射材２２０により、カメラ本体３１０の方向に戻ってくる。

図８（ｃ）は、ワーク面１６を再帰反射シートとした場合に撮像される撮像画像を示す模式図である。すなわち、図７のワーク面１６を再帰反射シートとした場合、図８（ｃ）の点線で示した照明の光が届く範囲（配光範囲）において明視野相当の明るい画像Ｉ_３が得られる。

光源３２２の開口であるが、再帰反射光の反射方向は、マーク内のどの位置でもほぼ光源の方向に帰ってくるため、制限はない。ただしワーク面１６の配光範囲をできるだけ明るくかつ均一に照らすために適当な大きさの開口が必要である。

図９（ａ）は、ワーク面が鏡面に近い場合に光源３２２から照射された光の経路を示す模式図である。図９（ｂ）は、図９（ａ）の状態でカメラ本体に撮像される画像を示す模式図である。ワーク面１６が鏡面に近い場合は、光源３２２に対しても、光源３２２の開口に対して相似比１／２の明視野領域Ｒ_４が存在する。

この明視野領域Ｒ_４は、常に正反射で光っているため、再帰反射材（マーク）２２０の反射光との分離ができない。すなわちこの領域Ｒ_４ではマークであるの否かの検出ができない特異スポットとなる。したがって、光源３２２の開口は、できるだけ小さいほうがよい。

このとき再帰反射材（マーク）２２０よりも光源３２２の開口が小さければ、光点の面積で正反射部なのか再帰反射光なのかを区別することができる。これにより、安定してワークＷの位置を検出することが可能となる。このため、再帰反射材（マーク）２２０が１つの場合、再帰反射材２２０の面積は光源３２２の開口の面積よりも大きいことが望ましい。

なお、再帰反射材（マーク）２２０がロボットハンド２０２に複数設けられる場合、これら複数の再帰反射材２２０を包含する最小面積となる領域（最小領域）の面積が、光源３２２の開口の面積よりも大きいことが望ましい。この領域の面積を光源３２２の開口面積より大きくすれば、特異点を避けたマーク部分が必ず存在することになり、大きなマークを使用した場合と同等の効果が得られる。

光源３２２の光の強さとカメラ本体３１０の露出設定は、散乱体や暗視野領域に対する光沢面に対しては十分に暗く、再帰反射に対しては十分明るくなるように設定するとよい。例えば、前者の部分の明るさの平均をμｄ、標準偏差をσｄ、後者の部分の明るさの平均をμｂ、標準偏差をσｂとすると、（μｂ−μｄ）／（σｂ＋σｄ）≧３となるように設定すれば実用上、両領域間を明確に分離できる。

図１０（ａ）は、光源３２１で照明した場合にワークＷをカメラ本体３１０に撮像させて得られる撮像画像を示す模式図である。図１０（ｂ）は、光源３２２で照明した場合にワークＷをカメラ本体３１０に撮像させて得られる撮像画像を示す模式図である。図１０（ｃ）は、ワークＷを移動させて光源３２１で照明した場合にワークＷをカメラ本体３１０に撮像させて得られる撮像画像を示す模式図である。図１０（ｄ）は、ワークＷを移動させて光源３２２で照明した場合にワークＷをカメラ本体３１０に撮像させて得られる撮像画像を示す模式図である。

カメラ本体３１０から見てワークが左から右へ移動したとき、光源３２１を照明として用いると、図１０（ａ）に示す撮像画像Ｉ_Ａと図１０（ｃ）に示す撮像画像Ｉ_Ｃが得られる。一方、カメラ本体３１０から見てワークが左から右へ移動したとき、光源３２２を照明として用いると、図１０（ｂ）に示す撮像画像Ｉ_Ｂと図１０（ｄ）に示す撮像画像Ｉ_Ｄが得られる。

このように光源３２２を用いて撮像すると、背景は十分な光量がないため暗く沈むが、再帰反射材２２０を設置した部分だけ光源３２２を直接撮像したのに近い明るさが得られるため、図１０（ｂ）及び図１０（ｄ）のようにこの部分だけが明るく写り込む。なお図１０（ｂ）及び図１０（ｄ）では光源３２２の配置の結果生じる特異スポットに正反射部材がないと仮定している。正反射部材が特異スポットに存在し、機械的に移動できない場合は、判定時にその領域の部分はマスクして評価しないようにすればよい。

光源３２１は計測や検査の目的に沿って選ばれる。例えば、明視野測定する場合はワークに対してより大きい明視野領域を持つように開口の大きな照明を設置する。また暗視野で用いる場合は光源３２２より光量が多く広い面積でむらのない照明が設置される。広い面積でむらのない照明を実現するには、均一で広い開口を持つ照明が必要である。したがって、明視野撮像又は暗視野撮像のいずれの場合であっても、光源３２１の開口は、光源３２２の開口よりも大きく設定される。換言すれば、光源３２２の開口は、光源３２１の開口よりも小さく設定される。

次に、本実施形態に係る撮像方法について説明する。図１１は、第１実施形態に係る撮像方法を示すフローチャートである。ここで、特許文献１では、組立パレットの位置及び姿勢を計測する目的でマークを用いているが、本実施形態では、ワークＷを撮像するタイミングを検出するために用いる。

まず、ワーク判別回路３６３は、ロボット制御装置５００からワークＷを搬送中であることを示す信号を入力したか否か、つまりロボット２００がワークＷを搬送中であるか否かを判断する（Ｓ１）。ワーク判別回路３６３は、ロボット２００がワークＷを搬送中ではない場合（Ｓ１：Ｎｏ）、ロボット２００がワークＷを搬送中となるまで待ち受ける。

ワーク判別回路３６３は、ロボット２００がワークＷを搬送中の場合（Ｓ１：Ｙｅｓ）、照明部３２０による照明条件及びカメラ本体３１０により撮像させる撮像条件を設定し、これら設定された条件でカメラ本体３１０に撮像させる（Ｓ２）。このとき、照明条件は、光源３２１を消灯し、光源３２２を点灯する第１照明条件とする。

また、ステップＳ２にて撮像される画像は、ワークＷを撮像するタイミング（位置）を検出するためのものであるので、画像処理装置４００にとって必ずしも必要なものではない。したがって、外部出力回路３６２において画像出力はオフに設定される。なお、外部の画像入力機器が解像度の高速な切り替えに対応できる場合はオンしていてもよい。

このステップＳ２において、撮像制御回路３６４は、撮像条件を低解像度とする第１撮像条件とする。即ち、撮像制御回路３６４は、撮像画像における全ての画素を取得してもよいが、第１実施形態では、撮像画像中の部分領域のみの画素を取得する。具体的には、予めマーク位置を教示しておき、その周辺部分のみを切り出せばよい。好ましくは解像度を、撮像の最適位置を検出するのに必要最低限に限定する。

図１２は、第１実施形態において、撮像制御回路３６４にて取り込まれる画素領域の一例を示した模式図である。図１２中、太枠で囲んだ内側が撮像制御回路３６４にて取り込まれる画素領域（部分領域）Ｒ_Ｔ１である。画素領域Ｒ_Ｔ１は、目標撮像位置での再帰反射材２２０からの反射光の像とほぼ同じ大きさの画素を取得する領域を示している。ワーク判別回路３６３にて演算に使用する画素数を削減することができ、演算負荷が低くなるので、フレームレートを高くすることが可能となる。したがってより高速なワークＷの移動に対応できる形態となる。

撮像制御回路３６４は、さらに必要に応じて、後述する評価値（重心位置）を高速に計算するために使用する領域を限定する（Ｓ３）。たとえば前回計算した重心位置から移動速度等を考慮してこの範囲を決めることができる。

次に、ワーク判別回路３６３は、ステップＳ２の撮像により得られた撮像画像、つまり画素領域Ｒ_Ｔ１の各画素に対して２値化処理を行う（Ｓ４）。次に、ワーク判別回路３６３は、２値化処理した画像中の画素の輝度に関する評価値を求める（Ｓ５）。より具体的には、ワーク判別回路３６３は、所定輝度（所定値）よりも明るい画素の座標値の和ΣＰ（ｘ，ｙ）を求める。そして、ワーク判別回路３６３は、所定輝度よりも明るい画素の個数ｎを求めて、重心位置ΣＰ（ｘ，ｙ）／ｎを評価値として求める。そして、ワーク判別回路３６３は、求めた評価値に基づき、照明条件及び撮像条件を切り替えるか否かの判断を行う（Ｓ６）。本実施形態では、以上のステップＳ３〜Ｓ６の処理が切替処理（切替工程）である。

ワーク判別回路３６３は、切り替えないと判断した場合は（Ｓ６：Ｎｏ）、ステップＳ２の処理に戻り、切り替えると判断するまで撮像を繰り返し行う。即ち、ワーク判別回路３６３は、ロボット２００によるワークＷの搬送中、光源３２１を消灯し、かつ光源３２２を点灯した状態で、評価値が所定範囲内となるまで、カメラ本体３１０に撮像させる撮像動作を繰り返し行う（第１撮像処理、第１撮像工程）。このルーチンにより、撮像制御回路３６４は、再帰反射材２２０からの反射光が写り込んだ撮像画像、より具体的には、図１２に示す画素領域Ｒ_Ｔ１に再帰反射材２２０からの反射光が写り込んだ撮像画像を取得することになる。

撮像制御回路３６４は、ステップＳ６にて切り替えると判断した場合（Ｓ６：Ｙｅｓ）、この判断をトリガとして照明部３２０による照明条件及びカメラ本体３１０により撮像させる撮像条件を変更し、変更された条件でカメラ本体３１０に撮像させる（Ｓ７）。このとき、照明条件は、光源３２１を点灯する第２照明条件とする。また、撮像条件は、第１撮像条件よりも高解像度とする第２撮像条件とする。なお、第２照明条件において光源３２２は、点灯したままでもよいが第１実施形態では消灯する。

つまり、撮像制御回路３６４は、照明条件を、第２照明条件に切り替えると共に、カメラ本体３１０の設定や撮像条件を、第２撮像条件に切り替えて最終的な撮像を行う。このとき、解像度は、少なくともワーク全体が入り十分な分解能が得られる設定とする。さらにワーク判別回路３６３において外部出力はオンに設定され、主たる画像処理を行う画像処理装置４００に、ワークＷが写り込んだ撮像画像が出力される。

即ち、撮像制御回路３６４は、ステップＳ７では、ロボット２００によるワークＷを搬送中、光源３２１を点灯させた状態でカメラ本体３１０により撮像させて、ワークＷが写り込んだ撮像画像を取得する（第２撮像処理、第２撮像工程）。そして、外部出力回路３６２は、ステップＳ７にて取得した撮像画像を、画像処理装置（外部機器）４００に出力する（Ｓ８：出力処理、出力工程）。

ステップＳ６について更に具体的に説明すると、ワーク判別回路３６３は、求めた評価値が、最適な撮像位置（目標撮像位置）での評価値を含む所定範囲内にあるか否かを判断する。評価値（第１実施形態では重心位置）が所定範囲外であった場合（Ｓ６：Ｎｏ）はステップＳ２へ戻って再撮像する。つまり、図１２に示す画素領域Ｒ_Ｔ１に反射光が写り込んでいない場合、再度撮像をする。所定範囲は、照明、ワークカメラの位置関係から計算される許容誤差（たとえば特徴点が見える又は見えない、正反射条件などで決定される。）、想定される移動体の速度やカメラの撮像間隔などによって決められる。

そして、ワーク判別回路３６３は、求めた評価値が、最適な撮像位置での評価値を含む所定範囲内にあると判断した時（Ｓ６：Ｙｅｓ）を撮像タイミングとする。撮像制御回路３６４は、この時をトリガとして、第２照明条件及び第２撮像条件へ切り替えて、ワークＷの撮像を行う。つまり、図１２に示す画素領域Ｒ_Ｔ１に反射光が写り込んだことになるので、この時をトリガとしてワークＷの撮像を行う。なお、前回の評価値を用いればフレーム間の移動量や速度が求められるのでこれを用いてフレーム間でサブサンプリング的に判定を行ってもよい。

このように、ワーク判別回路３６３は、ステップＳ６では、ステップＳ２にて得られた反射光が写り込んだ撮像画像に基づき、第１撮像処理から第２撮像処理に切り替えるタイミング、つまり撮像タイミングを設定することになる。つまり、ワーク判別回路３６３は、求めた評価値に応じて、撮像タイミングを検出するための第１撮像処理から、ワークＷを撮像する第２撮像処理に切り替える。

以上、ワークＷを撮像するタイミングとなる所定の条件（本実施形態では評価値が所定範囲内となる条件）が満たされるまで繰り返し撮像を実施する。そして、所定の条件が満たされた場合、光源３２２を点灯する第２照明条件及び高解像度とする第２撮像条件で１回撮像して撮像動作を終了する。

本実施形態によれば、ワークＷを待ち受けている際は、光源３２２を点灯させることで、シャッタ速度を高速化し、フレームレートを高めてマークである再帰反射材２２０からの反射光が写り込んだ撮像画像を取得することができる。そして、再帰反射材２２０の写り込んだ撮像画像によって設定したタイミングで、光源３２１による光照射の下、移動しているワークＷを撮像することができる。したがって、ワークＷを高速搬送しながら確実にワークＷを撮像することができる。つまり、再帰反射材２２０を用いて撮像時のタイミングを検出し、ワークＷが撮像画像に写り込むタイミングで、別の明るく開口の広い光源３２１に切り替えることにより、高速に安定して良好な位置で自動撮像が可能となる。

またワーク判別回路３６３の計算は、全フレームを取得してから演算する画像処理と異なり、いずれも撮像センサ３５０からの画素出力と同期、並列してほぼ同時に実行できるため、演算遅延量が非常に少ない。したがって、動きのある物体の撮像位置（つまり撮像タイミング）を、設定することができる。したがって本実施形態によれば、搬送中に移動体であるワークＷを止めずに所定の位置で自動撮像することが可能となり、高速に安定して良好な位置で自動撮像が可能となる。

また、マークとして再帰反射材２２０を用いたので、カメラ本体３１０による撮像可能範囲内であれば、どの位置に再帰反射材２２０が位置していても、再帰反射材２２０からの反射光がカメラ本体３１０に入射することになる。したがって、光源３２２をロボットハンド２０２の位置に応じて移動させる必要がない。

また、ステップＳ２においては、撮像画像中の部分領域Ｒ_Ｔ１のみの画素を取得するようにしたので、演算時間を短縮でき、よりフレームレートを高めることができる。したがって、高速に移動するワークＷを同じ撮像位置で撮像することが可能となる。

また、ステップＳ６では、評価値に応じて、再帰反射材２２０からの反射光を撮像する撮像処理からワークＷを撮像する撮像処理に切り替えるので、ロボット２００に搬送されるワークＷを同じ撮像位置で撮像することが可能となる。特に、評価値として、所定輝度よりも明るい画素の重心位置を求め、この重心位置が所定範囲内となった場合に撮像処理を切り替えているので、同じ撮像位置でワークＷを撮像することができる。

また、画像処理装置４００に必要な画像のみを転送できるので、ワークＷが撮像位置に到着するまでの間、画像処理装置４００において余計な画像処理が不要となる。すなわち、画像処理装置４００において、不必要な画像を廃棄したり、転送されてきた画像が必要な画像かどうかの判断をする必要がなくなったりするため、システムの構築が容易となる。

ここで、複数の再帰反射材２２０それぞれの形状または色を互いに異ならせるとよい。これにより、ワークの位置を判定する際に、撮像面上で再帰反射材２２０が互いの位置関係および形状や色が既知の位置に面的に配置されるので、正確に再帰反射材２２０の位置を特定することが可能となる。

［変形例１］
第１実施形態では、評価値として、２値化処理を行い、所定輝度よりも明るい画素について重心位置を求めたが、これに限定するものではない。２値化を行わずに座標値ｐ（ｘ，ｙ）に画素の輝度ｂを掛けたものの総和を求め、輝度の総和Σｂで割って得られた演算値Σ（ｂ・Ｐ（ｘ，ｙ））／Σｂを評価値として求めてもよい。この場合、図１１のステップＳ６では、演算値Σ（ｂ・Ｐ（ｘ，ｙ））／Σｂが所定範囲内となったか否かを判断すればよい。

［変形例２］
また、重心位置を計算する方法に代わり、マークの連続性を利用して、部分領域で明点が連続して存在することをもって評価値としてもよい。即ち、所定輝度よりも明るい連続する画素の面積（画素数）を評価値として求めてもよい。この場合も、図１１のステップＳ６では、面積（画素数）が所定範囲内となったか否かを判断すればよい。この場合、重心位置の計算をせずに済むので、非常に速い撮像位置の評価が可能である。

［変形例３］
さらに、重心位置の計算に代わる方法として、部分領域の範囲内での明暗の切り替わり位置を検出する方法も可能である。この方法であればごく狭い領域のみ評価すればよいのでさらに高速化が可能である。

［第２実施形態］
次に、本発明の第２実施形態に係る撮像装置（撮像方法）について説明する。なお、第２実施形態の撮像装置は、第１実施形態で説明した撮像装置と同様の構成であり、プログラム３４０の内容、即ち撮像方法が第１実施形態と異なる。

図１３は、第２実施形態に係る撮像方法を示すフローチャートである。図１３に示す撮像方法は、図３に示すワーク判別回路３６３及び撮像制御回路３６４のハードウエアロジックを実行することによって実施される。図１３におけるステップＳ１１〜Ｓ１５の処理は、図１１のステップＳ１〜Ｓ５の処理と略同様である。その際、ステップＳ１２において、撮像画像における全ての画素を取得してもよいが、第２実施形態では、撮像画像中の部分領域のみの画素を取得する。

図１４は、第２実施形態において、撮像制御回路３６４にて取り込まれる画素領域の一例を示した模式図である。図１４中、太枠で囲んだ内側が撮像制御回路３６４にて取り込まれる画素領域（部分領域）Ｒ_Ｔ２である。ワーク判別回路にて演算に使用する画素数を削減することができ、演算負荷が低くなるので、フレームレートを高くすることが可能となる。したがってより高速なワークＷの移動に対応できる形態となる。

ここで、部分領域Ｒ_Ｔ２は、予め再帰反射材２２０を用いたマークが通過する軌道が決まっている場合に好適な画素選択領域である。選択された画素はマークの軌道をカバーする位置にある。そして、ステップＳ１５では、第１実施形態と同様、評価値として、再帰反射材２２０の反射光が写り込んだ像の重心位置の座標値を計算する。これにより、現在のワークＷの位置を推定できる。

第２実施形態では、ワーク判別回路３６３は、求めた評価値が、画像に再帰反射材２２０の反射光が写り込んだと判断できる値となったか否かを判断する（Ｓ１６）。第２実施形態では、再帰反射材２２０が複数あるので、複数の再帰反射材２２０の反射光の全てが画像に写り込んだか否かを判断する。

ワーク判別回路３６３は、全ての再帰反射材２２０の反射光が画像に写り込んだと判断した場合、再帰反射材２２０の反射光が写り込んだ少なくとも２つのフレーム（画像）を取得する（Ｓ１７）。

ワーク判別回路３６３は、前後のフレームで計算した重心位置を用いて速度ベクトルを求め、現時点での位置と速度ベクトルおよび最終的な目標撮像位置から、ワークが目標撮像位置に到達する推定の時刻（推定時刻）を計算する（Ｓ１８）。即ち、ワーク判別回路３６３は、フレーム間の重心位置の変化から重心位置が所定範囲内に移動する推定時刻を求める。

ワーク判別回路３６３は、推定時刻に達したか否かを判断し（Ｓ１９）、推定時刻となったタイミングで（Ｓ１９：Ｙｅｓ）、第１撮像処理から次の第２撮像処理へ切り替えて撮像する（Ｓ２０）。本実施形態では、以上のステップＳ１３〜Ｓ１９の処理が切替処理（切替工程）である。ステップＳ２０の処理は、図１１のステップＳ７と同様である。また、次のステップＳ２１の処理も、図１１のステップＳ８と同様である。

ステップＳ１８〜Ｓ２０の処理は、フレームサンプリング間隔よりも細かく切り替え時刻を設定できるサブサンプリング処理の一種である。これにより、高速搬送されるワークＷを再現性よく所定範囲内（目標撮像位置又はその近傍）で撮像することができる。

図１４に示す、再帰反射材２２０からの反射光の像の軌道を含む部分領域Ｒ_Ｔ２は、速度ベクトルを求めるために必要な最低限の領域であり、上記サブサンプリング処理の実現を可能にしながら、サンプリング間隔自体も短縮が実現できる。この場合もより高速のワークＷに対応可能となる。

なお、第１実施形態の変形例２と同様、マークの連続性を利用して部分領域で明点が連続して存在することをもって評価値としてもよい。この場合は重心計算をせずに済むので非常に速い撮像位置の評価が可能である。

また、求めた速度ベクトルにより次の取得画素を決定する動的な取得画素決定法も可能である。すなわち次のサンプリングで移動する領域を推定して画素を取得する方法である。この場合はよりサンプリングレートを高めることが可能である。本実施形態ではいずれも再帰反射材を用いることによって、サンプリング間の演算は２値化重心検出などの演算負荷の低い処理であるためこのようなことが可能となる。

［第３実施形態］
次に、本発明の第３実施形態に係る撮像装置（撮像方法）について説明する。なお、第３実施形態の撮像装置は、第１実施形態で説明した撮像装置と同様の構成である。

図１５（ａ）及び図１５（ｂ）は、第３実施形態に係る撮像装置により撮像されたワークが写り込んだ撮像画像において、画像処理装置に出力する部分画像を示す模式図である。

第１及び第２実施形態では、ワークＷを撮像した撮像画像の全画素を出力する場合について説明したが、第３実施形態では、撮像画像中、ワークＷが写り込んでいる部分を切り出した部分画像を画像処理装置４００に出力する。即ち、図１１のステップＳ８または図１３のステップＳ２１では、外部出力回路３６２は、ワークが写り込んでいる撮像画像中、図１５（ａ）に示す部分画像Ｉ_ＰＡ、又は図１５（ｂ）に示す部分画像Ｉ_ＰＢを出力する。

図１５（ａ）の場合、ワークを考慮して少し余裕を持って部分画像（外部出力範囲）Ｉ_ＰＡが設定される。これにより、画像データの転送時間が短くなりスループットが向上する。

また、図１５（ｂ）の場合、再帰反射材を用いて短時間で撮像時のワークの位置姿勢が推測できることを利用して、さらに狭めた部分画像（外部出力範囲）Ｉ_ＰＢに設定される。これにより、毎回誤差があっても、より少ない画素を出力すればよいことになり、より転送時間を短くすることができる。例えば図１５（ｂ）の例の場合、全画素出力に対して転送する画素はほぼ１／８となる。

以上第３実施形態によれば、上記第１及び第２実施形態と同様、マークの位置を検出することにより、高速なワーク位置推定が可能となる。これに加え、第３実施形態によれば、より高速に移動するワークに対応できるようになりスループットを向上することが可能となる。

［第４実施形態］
次に、本発明の第４実施形態に係る生産システムについて説明する。第１実施形態では再帰反射材２２０がロボット２００に３つ設けられている場合について説明したが、これに限定するものではなく、３つ以上が好ましく、第４実施形態では例えば５つ設けられている場合について説明する。

図１６は、第４実施形態において、５つの再帰反射材（マーク）２２０をロボット２００に配置した場合を示す模式図である。図１６中、点線で示したのが再帰反射材２２０であり、カメラ３００から見て、３つ以上が直線上に並ばないようにそれぞれ配置されている。このような配置にすることにより、ワークＷの状態によって光源３２２による光条が撮像画像に現れたとしても、ワークＷを撮像するタイミングを検出することができる。

ここで、光条現象について説明する。図１７（ａ）は、金属板を切削加工した際に生じる引き目の断面形状と光源３２２の光を金属板の表面に照射した際に生じる光条を示す説明図である。切削加工では、バイトの形状に応じて図１７（ａ）に示すような引き目がワークＷの表面ＷＡにつくことがあり、その形状は特定の曲率を持った凸形状であることが多い。

図１７（ｂ）は、光条が発生する原理を説明するための図である。引き目が大きい場合、そこに光源３２２からの光を照射すると、図１７（ｂ）に示すような凸面鏡の効果で光が拡散し、正反射を生じる特異スポットを中心として引き目と垂直方向の両側、または片側に光の帯がカメラに撮像される。この現象のことを光条現象と呼ぶ。光条現象が発生すると、その明るさは再帰反射材の像と同等以上となるので光条下の再帰反射材２２０の反射光は見分けることができなくなる。

図１７（ｃ）は、光条が発生している状態を示す模式図である。図１７（ｃ）のように５つの再帰反射材２２０を３つ以上が直線上に並ばないように配置した場合、光条が発生しても、最低限１つの再帰反射材２２０の反射光を検出できる。したがって、例えば２つの位置に光条がかかった場合でも、残りの反射光の像を使って正しい撮像位置を検出することができる。このため、ワークＷの評価値（重心位置）をより正確に求め、正確に撮像タイミングを決めることが可能となる。

また特異スポットや光条のみならず、立体形状により光源３２２によって正反射するスポットがあったとしても、複数の再帰反射材２２０の位置関係によってそれらを分離することが可能となる。

なお、図１６では、各再帰反射材２２０（マーク）を同形状としたが、形状や色を変えることにより各マークを識別することも可能である。こうすることにより、確実にさまざまな外乱に対処可能となる。つまり、ワークの位置を判定する際に、撮像面上で再帰反射材２２０が互いの位置関係および形状や色が既知の位置に面的に配置されるので、正確に再帰反射材２２０の位置を特定することが可能となる。

以上、第４実施形態では、ワークＷの状態によらず、つまり光条が撮像画像に写り込んでも、最低限の再帰反射材２２０を見つけることができるので、撮像ミスを低減することが可能となる。

なお、本発明は、以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で多くの変形が可能である。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されない。

本発明は、演算速度が問題にならない場合には上述の実施形態の１以上の機能を実現する回路を、プログラムを実行するＣＰＵに置き換えてもよい。その際、プログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。

また、上述の実施形態では、マークとして、再帰反射材を用いた場合について説明したが、再帰反射材に限定するものではなく、単なる反射材を用いてもよい。この場合は、マークからの反射光が撮像部に入射するように、搬送装置と同期して第２光源又は撮像部を移動させればよい。なお、この場合、第２光源又は撮像部を移動させる移動装置が必要となるので、上述の実施形態では、マークとして再帰反射材を用いることで、第２光源及び撮像部を移動させなくてもよい、つまり移動装置を省略できることになる。

１００…生産システム、２００…ロボット（搬送装置）、２２０…再帰反射材（マーク）、３００…カメラ（撮像装置）、３１０…カメラ本体（撮像部）、３２０…照明部、３２１…光源（第１光源）、３２２…光源（第２光源）、３６０…制御ユニット（制御部）

Claims (18)

1. 搬送装置に搬送されて撮像範囲内を通過するワークを撮像する撮像部と、
   前記撮像範囲内を通過する前記ワークに光を照射する照明部と、
   前記撮像部及び前記照明部を制御する制御部と、を備え、
   前記照明部は、前記ワークを撮像するのに必要な開口を有する第１光源と、前記第１光源よりも開口の小さい第２光源と、を有し、
   前記制御部は、
   前記搬送装置による前記ワークの搬送中、前記第１光源を消灯し、かつ前記第２光源を点灯した状態で前記撮像部に撮像させる撮像動作を繰り返し行い、前記搬送装置又は前記ワークに設けられたマークからの反射光が写り込んだ撮像画像を取得する第１撮像処理と、
   前記搬送装置による前記ワークの搬送中、前記第１光源を点灯させた状態で前記撮像部により撮像させ、前記ワークが写り込んだ撮像画像を取得する第２撮像処理と、
   前記第１撮像処理にて得られた前記反射光が写り込んだ撮像画像に基づき、前記第１撮像処理から前記第２撮像処理に切り替えるタイミングを設定する切替処理と、を実行する撮像装置。
2. 前記マークは、前記第２光源により照射された光を前記第２光源に向けて再帰反射する再帰反射材であり、
   前記第２光源は、前記再帰反射材からの前記反射光が前記撮像部に入射するように前記撮像部の近傍に配置されている請求項１に記載の撮像装置。
3. 前記制御部は、前記第１撮像処理では、撮像画像中の部分領域のみの画素を取得する請求項１又は２に記載の撮像装置。
4. 前記制御部は、前記切替処理では、前記第１撮像処理にて得られた撮像画像中の画素の輝度に関する評価値を求め、前記評価値に応じて前記第１撮像処理から前記第２撮像処理に切り替える請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記制御部は、前記切替処理では、前記評価値として、所定輝度よりも明るい画素の重心位置を求め、前記重心位置が所定範囲内となった場合に前記第１撮像処理から前記第２撮像処理へ切り替える請求項４に記載の撮像装置。
6. 前記制御部は、前記切替処理では、前記評価値として、所定輝度よりも明るい画素の重心位置を求め、フレーム間の前記重心位置の変化から前記重心位置が所定範囲内に移動する推定時刻を求め、前記推定時刻となるタイミングで、前記第１撮像処理から前記第２撮像処理へ切り替える請求項４に記載の撮像装置。
7. 前記制御部は、前記切替処理では、前記評価値として、画素の座標値に輝度を掛けたものの総和を、画素の輝度の総和で割った演算値を求め、前記演算値が所定範囲内となった場合に前記第１撮像処理から前記第２撮像処理へ切り替える請求項４に記載の撮像装置。
8. 前記制御部は、前記切替処理では、前記評価値として、所定輝度よりも明るい連続する画素の面積を求め、前記面積が所定範囲内となった場合に前記第１撮像処理から前記第２撮像処理へ切り替える請求項４に記載の撮像装置。
9. 前記制御部は、前記第２撮像処理にて取得した撮像画像を、外部機器に出力する出力処理を更に実行する請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記制御部は、前記出力処理では、前記ワークが写り込んでいる部分を切り出した部分画像を前記外部機器に出力する請求項９に記載の撮像装置。
11. 前記マークの面積が前記第２光源の開口の面積よりも大きい請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 前記マークが複数設けられており、前記複数のマークを包含する最小領域の面積が前記第２光源の開口の面積よりも大きい請求項１乃至１０のいずれか１項に記載の撮像装置。
13. 前記マークの反射光が、前記撮像部により撮像された撮像画像中、直線上に３つ以上並ばないように、前記搬送装置又は前記ワークに３つ以上の前記マークが設けられている請求項１乃至１２のいずれか１項に記載の撮像装置。
14. 請求項１乃至１３のいずれか１項に記載の撮像装置と、
    前記ワークを搬送する搬送装置と、を備えた生産システム。
15. 前記搬送装置は、前記ワークを保持して搬送するロボットである請求項１４に記載の生産システム。
16. 撮像部及び照明部を制御する制御部が、搬送装置に搬送され撮像範囲内を通過するワークを、前記撮像部に撮像させる際に、前記撮像範囲内を通過する前記ワークに光を照明部に照射させる撮像方法であって、
    前記照明部が、前記ワークを撮像するのに必要な開口を有する第１光源と、前記第１光源よりも開口の小さい第２光源と、を有しており、
    前記制御部が、前記搬送装置による前記ワークの搬送中、前記第１光源を消灯し、かつ前記第２光源を点灯した状態で前記撮像部に撮像させる撮像動作を繰り返し行い、前記搬送装置又は前記ワークに設けられたマークからの反射光が写り込んだ撮像画像を取得する第１撮像工程と、
    前記制御部が、前記搬送装置による前記ワークの搬送中、前記第１光源を点灯させた状態で前記撮像部により撮像させ、前記ワークが写り込んだ撮像画像を取得する第２撮像工程と、
    前記制御部が、前記第１撮像工程にて得られた前記反射光が写り込んだ撮像画像に基づき、前記第１撮像工程から前記第２撮像工程に切り替えるタイミングを設定する切替工程と、を備えた撮像方法。
17. コンピュータに請求項１６に記載の撮像方法の各工程を実行させるためのプログラム。
18. 請求項１７に記載のプログラムが記録された、コンピュータが読み取り可能な記録媒体。

Images