JPWO2013136416A1 - 産業用機械及びカメラユニット - Google Patents

Abstract

部品実装機に交換可能に取り付けられるカメラユニット１１には、カメラ１２とレンズ１３と照明光源１４とが所定の位置関係で固定されている。カメラユニット１１には、画像歪み補正、シェーディング補正、コントラスト補正及び画素欠陥補正に用いる画像補正パラメータが記憶された不揮発性メモリ２０が設けられ、部品実装機の画像処理装置２１には、画像補正用のＦＰＧＡ２５が設けられている。画像処理装置２１のＦＰＧＡ２５は、カメラユニット１１の不揮発性メモリ２０から画像補正パラメータを読み込み、カメラユニット１１から転送されてくる画像信号を該画像補正パラメータを用いて補正する。

Description

本発明は、画像処理装置を備えた産業用機械及びカメラユニットに関する発明である。

今日の産業界で使用される様々な産業用機械には、生産工程や検査工程で対象物をカメラで撮像して、画像処理技術により対象物の形状、寸法、位置等を認識する画像処理装置が搭載されたものが数多く存在する。カメラの性能［画素数、分解能、視野サイズ、転送速度、階調数（モノクロ８ｂｉｔ、モノクロ１０ｂｉｔ、カラー）、解像度等］はカメラ毎に決まっているため、要求される性能に応じてカメラを交換する必要がある。そこで、例えば、部品実装機においては、吸着ノズルに吸着した部品を撮像するカメラを、ユーザー側で異なる性能のカメラと交換できるように構成したものがある。

一般に、カメラで撮像する画像にはレンズ等による歪みが生じるため、画像の歪みを補正する機能を搭載したものがあるが、カメラを交換すると、画像の歪みも変化するため、画像の歪みを補正する処理に用いる画像補正パラメータも変更する必要がある。

そこで、特許文献１（特開２０１１−１８００８４号公報）に記載の部品実装機では、予め、ドットマークが所定ピッチでマトリックス状に表示されたレンズ歪み補正治具を、部品実装機に取り付けたカメラで撮像して、その画像処理により得られたレンズ歪み補正治具の各ドットマークの認識位置と理論位置との差（歪み量）を画像補正パラメータとして算出し、この画像補正パラメータを部品実装機の画像処理装置の記憶媒体に記憶しておき、その後、実際の生産中には、部品実装機の画像処理装置が、カメラから転送されてくる画像信号を該画像処理装置の記憶媒体から読み込んだ画像補正パラメータを用いて補正するようにしている。

特開２０１１−１８００８４号公報

しかし、上記特許文献１の画像補正方法では、部品実装機に取り付けるカメラを交換する毎に、生産開始前に、部品実装機に取り付けたカメラでレンズ歪み補正治具を撮像して画像補正パラメータを求め、この画像補正パラメータを部品実装機の画像処理装置の記憶媒体に記憶させるという準備作業を行わなければならず、カメラ交換時の作業に手間がかかるという欠点があった。

そこで、本発明が解決しようとする課題は、カメラ交換時の作業を簡単化できる産業用機械及びカメラユニットを提供することである。

上記課題を解決するために、本発明は、画像処理装置を備えた産業用機械にカメラユニットを交換可能に取り付けるものにおいて、前記カメラユニットには、撮像対象物を撮像する撮像素子と、該撮像素子と所定の位置関係で固定されたレンズと、該レンズと該撮像素子との位置関係で決まる画像歪みを補正する処理に用いる画像補正パラメータが記憶された不揮発性の記憶手段とが設けられ、前記画像処理装置には、前記カメラユニットの不揮発性の記憶手段から前記画像補正パラメータを読み込んで前記カメラユニットから転送
されてくる画像信号を該画像補正パラメータを用いて補正する画像補正手段が設けられていることを特徴とするものである。

カメラの撮像素子で撮像する画像の歪みは、該撮像素子とレンズとの位置関係で決まるため、本発明のように、カメラユニットに撮像素子とレンズとが所定の位置関係で固定されていれば、カメラユニットを産業用機械に取り付ける前後で、画像歪みが生じる条件（撮像素子とレンズとの位置関係）は変化しない。この点に着目して、本発明は、カメラユニットに撮像素子とレンズとを所定の位置関係で固定し、且つ、画像歪みを補正するための画像補正パラメータが記憶された不揮発性の記憶手段をカメラユニットに設けた構成としたものであり、これにより、産業用機械に取り付けるカメラユニットを交換したときに、産業用機械の画像処理装置は、交換したカメラユニットの不揮発性の記憶手段から画像補正パラメータを取得できるため、従来のように生産開始前にレンズ歪み補正治具を撮像して画像補正パラメータを求めて産業用機械の画像処理装置の記憶媒体に記憶させるという準備作業を行わずに済み、カメラユニット交換時の作業を簡単化できる。これにより、カメラユニットの交換のみで解像度や光学的特性等の異なる撮像システムを簡単に構成することができる。

本発明は、画像補正パラメータを用いて画像信号を補正する画像補正手段を産業用機械の画像処理装置に設けた構成に限定されず、該画像補正手段をカメラユニットに設けた構成としても良い。

また、カメラユニットに、撮像対象物を照明する照明光源を設けた構成としても良く、この場合は、画像補正パラメータに、照明光源の照明による撮像画像への影響（シェーディングやコントラストのむら）を補正するためのパラメータを含めるようにしても良い。照明条件が変われば、撮像画像のシェーディングやコントラストのむらも変化するが、カメラユニットに撮像素子とレンズと照明光源を所定の位置関係で固定すれば、照明条件を固定できるため、照明光源の照明による撮像画像への影響（シェーディングやコントラストのむら）が生じる条件も固定できる。従って、カメラユニットに照明光源を設ける場合は、画像補正パラメータに、照明光源の照明による撮像画像への影響を補正するためのパラメータを含めるようにすれば、画像歪みの補正と共に照明光源の照明による撮像画像への影響も補正することができる。

更に、欠陥画素が含まれる撮像素子を用いる場合は、画像補正パラメータに、画素欠陥を補正するためのパラメータを含めるようにしても良い。このようにすれば、欠陥画素が含まれる撮像素子を用いる場合に、画像歪みの補正と共に画素欠陥も補正することができる。

この場合、画像補正手段は、プログラム可能なロジックデバイスを用いて構成すると良い。プログラム可能なロジックデバイスは、例えばＦＰＧＡ（Field Programmable Gate Array ）、ＣＰＬＤ（Complex Programmable Logic Device ）等を用いれば良い。これにより、画像補正手段としての機能をソフトウエアで簡単に搭載することができる。

図１は本発明の実施例１のシステム構成を示すブロック図である。 図２はカメラユニットの構成を示す縦断面図である。 図３は本発明の実施例３のシステム構成を示すブロック図である。

以下、本発明を実施するための形態を部品実装機に適用して具体化した２つの実施例１，２を説明する。

本発明の実施例１を図１及び図２に基づいて説明する。
まず、図２を用いて、部品実装機に交換可能に取り付けられるカメラユニット１１の構成を説明する。

カメラユニット１１には、撮像素子を内蔵したカメラ１２とレンズ１３と照明光源１４とが所定の位置関係で固定されている。具体的には、カメラ１２の受光面側（図２の上面側）にレンズ１３が固定され、このレンズ１３上に箱型部材１５を介してドーム型（お椀型）の照明光源１４が上向きに取り付けられ、カメラ１２の中心（光軸）とレンズ１３の中心と照明光源１４の中心が一致するように配置されている。照明光源１４のドーム状内面には、多数のＬＥＤ等の発光素子１６が設けられ、図示はしないが、部品実装機の吸着ノズルに吸着した部品（撮像対象物）を下方からカメラ１２で撮像する際に、照明光源１４によって該部品を下方から照明するようになっている。照明光源１４の上面は、照明光が透過する透明カバー１７で覆われている。

このカメラユニット１１には、不揮発性の記憶手段であるフラッシュメモリ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等の不揮発性メモリ２０（図１参照）が取り付けられている。この不揮発性メモリ２０には、レンズ１３とカメラ１２の撮像素子との位置関係で決まる画像歪みを補正する処理に用いる画像補正パラメータが記憶されている。本実施例では、照明光源１４の照明による撮像画像への影響（シェーディングやコントラストのむら）を補正するための画像補正パラメータと、画素欠陥を補正するための画像補正パラメータも、不揮発性メモリ２０に記憶されている。

これらの画像補正パラメータは、カメラユニット１１の製造元で、該カメラユニット１１を用いて計測され、不揮発性メモリ２０に記憶される。例えば、画像歪みを補正する画像補正パラメータは、予め所定ピッチのドットマトリックスやチェッカーパターン等が表示されたレンズ歪み補正治具をカメラ１２で撮像して所定ピッチ毎（ドット間隔毎や格子間隔毎）に歪み量を計測して、この歪み量を画像歪み補正用の画像補正パラメータとして記憶する。また、照明光源１４の照明による撮像画像への影響（シェーディングやコントラストのむら）を補正するための画像補正パラメータは、予め、例えば白色や黒色に着色された補正基準面を照明光源１４で照明しながらカメラ１２で撮像して画素毎に計測される。画素欠陥を補正するための画像補正パラメータは、予め検出した欠陥画素の位置を画素欠陥補正用の画像補正パラメータとして不揮発性メモリ２０に記憶しておき、実際の生産中に、欠陥画素の周囲の画素の輝度を用いて、補間補正等により画素欠陥を補正する。

次に、図１を用いて部品実装機の画像処理装置２１の構成を説明する。
画像処理装置２１は、ＣＰＵ２２と、チップセット２３と、ＲＡＭ等のメモリ２４と、プログラム可能なロジックデバイスであるＦＰＧＡ２５等を搭載した画像処理ボードを用いて構成されている。ＦＰＧＡ２５は、カメラユニット１１の不揮発性メモリ２０から読み込んだ画像補正パラメータを用いて、カメラユニット１１から転送されてくる画像信号を補正するプログラムが書き込まれている。これにより、ＦＰＧＡ２５は、特許請求の範囲でいう画像補正手段としての役割を果たす。

画像処理装置２１のＣＰＵ２２は、電源投入時等にカメラユニット１１の不揮発性メモリ２０から読み込んだ画像補正パラメータをＦＰＧＡ２５に書き込み、部品実装機に取り付けられたカメラユニット１１からＦＰＧＡ２５に転送されてくる画像信号を、該ＦＰＧ
Ａ２５で、該画像補正パラメータを用いて補正し、補正後の画像信号をメモリ２４に転送して記憶する。画像処理装置２１のＣＰＵ２２は、画像処理用のアプリケーションを実行することで、メモリ２４から補正後の画像信号を読み込んで画像処理して、撮像対象物である部品を認識する。

以上説明した本実施例１によれば、カメラユニット１１に、カメラ１２とレンズ１３と照明光源１４とを所定の位置関係で固定し、且つ、画像歪み補正、シェーディング補正、コントラスト補正及び画素欠陥補正に用いる画像補正パラメータが記憶された不揮発性メモリ２０をカメラユニット１１に設け、部品実装機の画像処理装置２１に、カメラユニット１１の不揮発性メモリ２０から画像補正パラメータを読み込んでカメラユニット１１から転送されてくる画像信号を該画像補正パラメータを用いて補正するＦＰＧＡ２５を設けた構成としている。

カメラ１２（撮像素子）で撮像する画像の歪みは、該カメラ１２とレンズ１３との位置関係で決まるため、本実施例１のように、カメラユニット１１にカメラ１２とレンズ１３とが所定の位置関係で固定されていれば、カメラユニット１１を部品実装機に取り付ける前後で、画像歪みが生じる条件（カメラ１２とレンズ１３との位置関係）は変化しない。この点に着目して、本実施例１では、カメラユニット１１にカメラ１２とレンズ１３とを所定の位置関係で固定し、且つ、画像歪みを補正するための画像補正パラメータが記憶された不揮発性メモリ２０をカメラユニット１１に設けた構成としたものであり、これにより、部品実装機に取り付けるカメラユニット１１を交換したときに、該部品実装機の画像処理装置２１は、交換したカメラユニット１１の不揮発性メモリ２０から画像補正パラメータを取得できるため、従来のように生産開始前にレンズ歪み補正治具を撮像して画像補正パラメータを求めて部品実装機の画像処理装置２１の記憶媒体に記憶させるという準備作業を行わずに済み、カメラユニット１１の交換時の作業を簡単化できる。これにより、カメラユニット１１の交換のみで解像度や光学的特性等の異なる撮像システムを簡単に構成することができる。

また、照明条件が変われば、撮像画像のシェーディングやコントラストのむらも変化するが、本実施例１のように、カメラユニット１１に、照明光源１４をカメラ１２とレンズ１３に対して所定の位置関係で固定すれば、照明条件を固定できるため、照明光源１４の照明による撮像画像への影響（シェーディングやコントラストのむら）が生じる条件も固定できる。従って、本実施例１のように、カメラユニット１１に照明光源１４を設ける場合は、カメラユニット１１の不揮発性メモリ２０に記憶する画像補正パラメータに、照明光源１４の照明による撮像画像への影響を補正するためのパラメータを含めるようにすることで、画像歪みの補正と共に照明光源１４の照明による撮像画像への影響も補正することができる。

しかも、本実施例１では、カメラユニット１１の不揮発性メモリ２０に記憶する画像補正パラメータに、画素欠陥を補正するためのパラメータを含めるようにしたので、画像歪みの補正と共に画素欠陥も補正することができる。

更に、本実施例１では、画像補正パラメータを用いて画像信号を補正する画像補正手段として、ＣＰＵ２２より高速なＦＰＧＡ２５を用いるようにしたので、画像補正処理を高速に行うことができ、高画素化にも容易に対応できる。

また、カメラユニット１１には、画像補正機能を設けない構成としたので、カメラユニット１１には、高価なＦＰＧＡを設ける必要がなく、カメラユニット１１の低コスト化の要求も満たすことができる。

また、部品実装機の画像処理装置２１に、画像補正手段として機能するＦＰＧＡ２５を設けたので、画像補正機能のない様々な種類のカメラユニットに交換しても、画像補正処理を行うことができる。

次に、図３を用いて本発明の実施例２を説明する。但し、上記実施例１と実質的に同じ部分については、同じ符号を付して説明を省略又は簡略化し、主として異なる部分について説明する。

上記実施例１では、部品実装機の画像処理装置２１に、画像補正手段として機能するＦＰＧＡ２５を設けたが、図３に示す本発明の実施例２では、カメラユニット１１に、画像補正手段として機能するＦＰＧＡ２５を設けている。従って、部品実装機の画像処理装置２１には、画像補正手段として機能するＦＰＧＡ２５が設けられていない。尚、カメラユニット１１には、上記実施例１と同様に、画像補正パラメータが記憶された不揮発性メモリ２０が設けられている。

この構成では、カメラユニット１１のＦＰＧＡ２５は、不揮発性メモリ２０から読み込んだ画像補正パラメータを用いて、カメラ１２から転送されてくる画像信号を補正し、補正後の画像信号を部品実装機の画像処理装置２１に転送してメモリ２４に記憶する。部品実装機の画像処理装置２１は、画像処理用のアプリケーションを実行することで、メモリ２４から補正後の画像信号を読み込んで画像処理して、撮像対象物である部品を認識する。

以上説明した本実施例２でも、前述した実施例１と同様の効果を得ることができる。
また、本実施例２では、カメラユニット１１に、画像補正手段として機能するＦＰＧＡ２５を設けたので、部品実装機の画像処理装置２１に画像補正手段として機能するＦＰＧＡ２５が設けられていない場合でも、画像補正処理を行うことができる。

上記実施例１，２では、カメラユニット１１の不揮発性メモリ２０に記憶する画像補正パラメータに、画像歪み補正、シェーディング補正、コントラスト補正及び画素欠陥補正に用いる画像補正パラメータを含ませるようにしたが、本発明は、少なくとも、画像歪み補正に用いる画像補正パラメータが含まれていれば良く、シェーディング補正、コントラスト補正及び画素欠陥補正の一部又は全部の画像補正パラメータが含まれていない構成としても良い。

また、上記実施例１，２では、カメラユニット１１に照明光源１４を設けたが、カメラユニット１１から照明光源１４を省略した構成としても良い。

また、部品実装機に交換可能に取り付けるカメラユニット１１で撮像する対象物は、部品に限定されず、基板のマークや部品実装状態等を撮像するようにしても良い。

その他、本発明の適用範囲は、部品実装機に限定されず、例えば、工作機、印刷機、検査機等、カメラを搭載する様々な産業用機械に本発明を適用して実施できる等、要旨を逸脱しない範囲内で種々変更して実施できる。

１１…カメラユニット、１２…カメラ（撮像素子）、１３…レンズ、１４…照明光源、２０…不揮発性メモリ（不揮発性の記憶手段）、２１…画像処理装置、２２…ＣＰＵ、２３…チップセット、２４…メモリ、２５…ＦＰＧＡ（プログラム可能なロジックデバイス，画像補正手段）

Claims (10)

1. 交換可能に取り付けられたカメラユニットと、該カメラユニットから転送されてくる画像信号を処理する画像処理装置とを備えた産業用機械において、
   前記カメラユニットには、撮像対象物を撮像する撮像素子と、該撮像素子と所定の位置関係で固定されたレンズと、該レンズと該撮像素子との位置関係で決まる画像歪みを補正する処理に用いる画像補正パラメータが記憶された不揮発性の記憶手段とが設けられ、
   前記画像処理装置には、前記カメラユニットの不揮発性の記憶手段から前記画像補正パラメータを読み込んで前記カメラユニットから転送されてくる画像信号を該画像補正パラメータを用いて補正する画像補正手段が設けられていることを特徴とする産業用機械。
2. 交換可能に取り付けられたカメラユニットと、該カメラユニットから転送されてくる画像信号を処理する画像処理装置とを備えた産業用機械において、
   前記カメラユニットには、撮像対象物を撮像する撮像素子と、該撮像素子と所定の位置関係で固定されたレンズと、該レンズと該撮像素子との位置関係で決まる画像歪みを補正する処理に用いる画像補正パラメータが記憶された不揮発性の記憶手段と、該記憶手段から前記画像補正パラメータを読み込んで該撮像素子で撮像した画像信号を該画像補正パラメータを用いて補正して補正後の画像信号を前記画像処理装置へ転送する画像補正手段とが設けられていることを特徴とする産業用機械。
3. 前記カメラユニットには、前記撮像対象物を照明する照明光源が設けられ、
   前記画像補正パラメータには、前記照明光源の照明による撮像画像への影響を補正するためのパラメータが含まれることを特徴とする請求項１又は２に記載の産業用機械。
4. 前記画像補正パラメータには、画素欠陥を補正するためのパラメータが含まれることを特徴とする請求項１乃至３のいずれかに記載の産業用機械。
5. 前記画像補正手段は、プログラム可能なロジックデバイスを用いて構成されていることを特徴とする請求項１乃至４のいずれかに記載の産業用機械。
6. 画像処理装置を備えた産業用機械に交換可能に取り付けられるカメラユニットにおいて、
   撮像対象物を撮像する撮像素子と、該撮像素子と所定の位置関係で固定されたレンズと、該レンズと該撮像素子との位置関係で決まる画像歪みを補正する処理に用いる画像補正パラメータが記憶された不揮発性の記憶手段とが設けられ、
   前記不揮発性の記憶手段から前記画像補正パラメータが前記画像処理装置に転送され．と共に、前記撮像素子で撮像した画像信号が前記画像処理装置に転送されるように構成されていることを特徴とするカメラユニット。
7. 画像処理装置を備えた産業用機械に交換可能に取り付けられるカメラユニットにおいて、
   撮像対象物を撮像する撮像素子と、該撮像素子と所定の位置関係で固定されたレンズと、該レンズと該撮像素子との位置関係で決まる画像歪みを補正する処理に用いる画像補正パラメータが記憶された不揮発性の記憶手段と、該記憶手段から前記画像補正パラメータを読み込んで該撮像素子で撮像した画像信号を該画像補正パラメータを用いて補正して補正後の画像信号を前記画像処理装置へ転送する画像補正手段とが設けられていることを特徴とするカメラユニット。
8. 前記撮像対象物を照明する照明光源が設けられ、
   前記画像補正パラメータには、前記照明光源の照明による撮像画像への影響を補正するためのパラメータが含まれることを特徴とする請求項６又は７に記載のカメラユニット。
9. 前記画像補正パラメータには、画素欠陥を補正するためのパラメータが含まれることを特徴とする請求項６乃至８のいずれかに記載のカメラユニット。
10. 前記画像補正手段は、プログラム可能なロジックデバイスを用いて構成されていることを特徴とする請求項６乃至９のいずれかに記載のカメラユニット。

Images