JP2019158557A - 撮像方法および撮像システム - Google Patents

Abstract

【課題】表面に色彩等の異なる部位が混在する撮像対象物の撮像に際し、その表面状態を検査するのに適した画像を効率よく得られるようにすることが可能な撮像方法および撮像システムを提供する。【解決手段】撮像部５０が白色光照明下で撮像対象物Ｗをカラー撮像し、画像処理部が撮像された画像を色解析し、その結果に基づきモノクロ撮像用のカラーパターンを決定し、決定されたカラーパターンを有する照明光を投射部３０が撮像対象物に投射し、撮像部５０が撮像対象物をモノクロ撮像する。【選択図】図１

Description

この発明は、種々の色彩を取り得る撮像対象物をモノクロ撮像するための撮像技術に関し、特に撮像対象物の検査や計測を目的とする撮像に関するものである。

例えば工業生産される部品や組立品の外観検査を行うことを目的として行われる撮像では、特に表面の傷や欠損等を確実に検出するために、撮像対象物の表面状態が明瞭な画像が求められることがある。ここで、複数種の素材が組み合わされた物体のように、撮像対象物の表面においてその色や反射率等の光学的特性が一様でない場合には、単一の照明条件下の撮像では必ずしも目的に適した画像とならないことがある。

この問題に対応して、例えば特許文献１に記載の技術では、照明光の色、位置、角度等が互いに異なる複数の照明光源が撮像対象物としてのプリント配線基板に向けて配置される。そして、検査の目的に応じてそれらの照明光源を選択的に使用して撮像が行われ、得られた画像に基づき検査が行われる。

特開２００６−１１８８９６号公報

上記従来技術では、検査目的や検査箇所ごとに最適な照明が異なるため、１つの対象物の全体を検査するためには照明を変化させながら何度も撮像を行う必要がある。また、撮像対象物に対する照明光の入射方向が変わると撮像結果に影響を及ぼすため、安定的な検査を行うためには撮像時の撮像対象物の姿勢を一定に維持する必要がある。

これらのことから、検査等を目的とした撮像において、表面における色彩等の光学的特性が異なる部位が混在する物体を撮像対象物とする場合でも、その表面状態を良好に、かつ簡単に撮像することのできる技術が求められる。

この発明は上記課題に鑑みなされたものであり、表面に色彩等の異なる部位が混在する撮像対象物の撮像に際し、その表面状態を検査するのに適した画像を効率よく得られるようにすることを目的とする。

この発明の一の態様は、撮像部が白色光照明下で撮像対象物をカラー撮像する工程と、画像処理部が撮像された画像を色解析し、その結果に基づきモノクロ撮像用のカラーパターンを決定する工程と、決定された前記カラーパターンを有する照明光を投射部が前記撮像対象物に投射し、前記撮像部が前記撮像対象物をモノクロ撮像する工程とを備える撮像方法である。

また、この発明の他の一の態様は、指定されたカラーパターンを有する照明光を撮像対象物に投射する投射部と、前記撮像対象物を撮像する撮像部と、白色光照明下で前記撮像部が前記撮像対象物をカラー撮像した画像を色解析し、その結果に基づきモノクロ撮像用の前記カラーパターンを決定する画像処理部とを備え、前記投射部が前記モノクロ撮像用の前記カラーパターンを有する照明光を前記撮像対象物に投射し、前記撮像部が前記撮像対象物をモノクロ撮像する撮像システムである。

このように構成された発明では、撮像対象物は最終的にモノクロ（単色）撮像される。撮像対象物の表面を検査し傷や欠損等を検出する目的においては、画像から撮像対象物の表面状態が明瞭に読み取れることが求められるが、そのとき色情報は必ずしも必要ない場合が多いからである。撮像対象物の色情報を保存する必要がない場合、撮像時の照明光は、表面状態の鮮明さを優先させたものとすることができる。具体的には、照明光の色が撮像対象物表面の色に応じて設定されることが望ましい。

撮像対象物の表面に異なる色の部位が混在していれば、それらの部位ごとに異なる色の照明光が必要となる。照明色が互いに異なる複数回の撮像を行うことで部位ごとの画像を取得することは可能であるが、色数が多くなれば撮像回数が多くなり、また多種類の照明が必要となる。

そこで、本発明では、撮像対象物に照明光を投射する投射部として、設定に応じて種々のカラーパターンを実現可能な装置を用いる。具体的には、白色光照明下で撮像された撮像対象物の画像を色解析し、その結果に基づいて、モノクロ撮像時の照明光のカラーパターンを決定する。こうして決定されたカラーパターンの光を撮像対象物に投射することにより、撮像対象物表面の色の異なる部位ごとに異なる色の照明光を入射させることが可能となる。これにより、単一の照明条件では得られない部位ごとの表面状態が鮮明な画像を、撮像対象物の全体について一度の撮像により取得することができる。

また、実際に撮像対象物を撮像して得られた画像に基づいてカラーパターンが決定されるため、撮像対象物の形状や表面の色等が予めわかっている必要はない。また、複数の撮像対象物について撮像を行うとき、それらが同種であるか異種であるかを問わず、また撮像視野内における撮像対象物の姿勢や位置についても厳密な管理が必要ないので、簡単にかつ効率よく撮像を行うことが可能である。

上記のように、本発明によれば、白色光照明下で取得された撮像対象物のカラー画像の色解析結果に基づきカラーパターンを決定し、該カラーパターンの光を撮像対象物に投射しつつモノクロ撮像を行う。これにより、表面に色彩等の異なる部位が混在する撮像対象物の撮像に際し、その表面状態を検査するのに適した画像を効率よく取得することができる。

本発明に係る撮像システムの一実施形態を示す図である。 本実施形態の撮像システムの電気的構成を示すブロック図である。 本実施形態における撮像方法を示すフローチャートである。 白色照明パターンの変形例を示す図である。 ＨＳＶ色空間を可視化した例を示す図である。 ワーク表面の色とカラーパターンとの関係を示す図である。

図１は本発明に係る撮像システムの一実施形態を示す図である。より具体的には、図１（ａ）はこの撮像システム１の全体構成を示す側面図であり、図１（ｂ）は撮像システム１の一部についてその外観を示す斜視図である。この撮像システム１は、例えば機械部品や電子部品等、各種部品や製品等の外観検査に供される画像の撮像に好適なものである。以下では、外観検査の対象となるワークＷを撮像対象物としたときの撮像システム１の動作について説明する。ただし、撮像対象物としてはこれらに限定されず任意のものを適用可能である。

図１（ａ）に示すように、撮像システム１は、本発明に係る撮像方法を実施するための構成として、保持部１０と、投射部３０と、撮像部５０と、制御部７０とを備えている。保持部１０は、撮像対象物であるワークＷをステージ上で静止状態に保持する。投射部３０は、保持部１０に保持されたワークＷに向けて照明光を投射する。撮像部５０は、照明されたステージ上のワークＷを撮像する。制御部７０は、システム全体の動作を司る。

保持部１０は、基台１１と、ステージ１３と、背景板１５とを備えている。ステージ１３は、基台１１上に設けられており、その上面１３ａにワークＷを載置することが可能である。ステージ１３の背後、すなわちステージ１３を挟んで投射部３０および撮像部５０とは反対側には、背景板１５が配置されている。背景板１５は例えば無彩色の平板状部材である。ステージ１３のうち撮像部３０の撮像範囲に含まれる部分についても、表面が無彩色であることが望ましい。

投射部３０は、ステージ１３に載置されたワークＷに向けて照明光を出射する。後述するように、投射部３０は、出射光に含まれる波長成分を出射方向ごとに変更することで種々のカラーパターンでワークＷを照明することが可能な構成を有している。例えば、スクリーンに種々のカラー画像を投射するための、画素単位での色設定が可能なプロジェクタ装置を、本実施形態の投射部３０として利用可能である。

撮像部５０は、ステージ１３上のワークＷを撮像する機能を有する。後述するように、この実施形態の撮像方法においてはカラー撮像とモノクロ撮像との両方が実行される。この目的のために、カラー撮像用の撮像部とモノクロ撮像用の撮像部とが個別に設けられてもよいが、カラー撮像モードおよびモノクロ撮像モードの両方の機能を備えるものであれば単一の装置を用いることができる。このような２つの撮像モードを備えるカラーカメラを、本実施形態の撮像部５０として利用可能である。

制御部７０は、撮像システム１の各構成、具体的には投射部３０および撮像部５０を制御して本発明に係る撮像方法を実現する。制御部７０としては、専用のハードウェア装置を用いることができるが、パーソナルコンピュータ（Personal Computer；ＰＣ）として一般的な構成を有するコンピュータ装置に適宜の制御プログラムを実装することで制御部７０として機能させることも可能である。また、投射部３０たるプロジェクタ装置、撮像部５０たるカメラに制御部としての機能を組み込んでもよい。

図１（ａ）および図１（ｂ）に破線で示すように、投射部３０から出射される照明光の照射範囲Ａ１はワークＷ全体を含むように設定され、背景板１５は照射範囲Ａ１の全体を含むサイズとされる。投射部３０はカラーパターンを背景板１５に投射可能である。言い換えれば、投射部３０は背景板１５に所定のカラーパターンを投射し、ステージ１３に載置されるワークＷはその光路の一部を遮蔽することになる。

図１（ａ）および図１（ｂ）に点線で示されるように、撮像部５０の撮像範囲Ａ２は照射範囲Ａ１に内包される。したがって、撮像範囲Ａ２の全体に投射部３０からの照明が及ぶことになる。なお、図１（ｂ）では、ステージ周辺の構成を見やすくするために、ワークＷおよび撮像部５０の図示を省略し、撮像部５０の撮像範囲Ａ２のみを点線で示している。

なお図１（ａ）は概念図であり、各部の寸法関係が実際のものとは異なっているため、撮像部５０がワークＷに対し斜め上方向から俯瞰する位置に図示されている。実際の装置においては、撮像部５０の位置から見えるワークＷの表面全体に照明光が照射されるようにするために、撮像部５０の光軸と、投射部３０の出射光の光中心とができるだけ近接し、またできるだけ平行であることが望ましい。

カラー撮像とモノクロ撮像とが異なる撮像装置で実行される場合にも、２つの撮像装置の位置ができるだけ近く、また両者の光軸ができるだけ一致していることが望ましい。本実施形態のようにカラー撮像とモノクロ撮像とを同一の撮像部３０により実行すれば、両撮像における光軸を完全に一致させることができる。これにより、撮像方向の違いに起因するカラー画像とモノクロ画像との間の位置ずれをなくすことができる。

図２は本実施形態の撮像システムの電気的構成を示すブロック図である。制御部７０は例えばパーソナルコンピュータ（ＰＣ）を備え、該ＰＣは演算処理を実行するＣＰＵ（Central Processing Unit）７１と、各種データを一時的に記憶するメモリ７３と、制御プログラムやデータを長期的に記憶するストレージ７５とを有している。ＣＰＵ７１は、ストレージ７５に予め記憶された制御プログラムを実行することにより、色解析部７２１およびパターン生成部７２３等の機能ブロックを含む画像処理部７２をソフトウェア的に実現する。各機能ブロックの動作については後述する。なお、画像処理部はＣＰＵ７１とは別の専用プロセッサにより実現されてもよい。

撮像部５０は例えばカラーカメラ装置を備え、該カメラは撮像素子としてのカラー二次元センサ５１と、カラー二次元センサ５１から出力される信号をデジタル画像データに変換するＡＤコンバータ５３とを備える。撮像素子としては、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサを用いることができる。なお、撮像光学系や撮像素子の特性を補正するためのガンマ補正機能がさらに設けられてもよい。これらは一般的なカメラが備える構成である。撮像部５０は、図示しないインターフェースを介して制御部７０から与えられる制御指令に応じて動作し、ワークＷの画像を撮像する。デジタル画像データは制御部７０に送信される。

撮像部５０は、ワークＷのカラー画像を取得するカラー撮像モードと、モノクロ画像を取得するモノクロ撮像モードとを実行可能であることが望ましい。ただし、カラー画像データを受信した制御部７０がこれをモノクロ画像データに変換する構成であってもよい。

また、投射部３０は例えばプロジェクタ装置を備え、該プロジェクタ装置は白色光を出力する光源３１と、光源３１からの光を変調して所定のカラーパターンを生成する変調器３３とを備える。これらは一般的なプロジェクタ装置が備える構成である。カラーパターンを生成するための変調方式としては各種のものを用いることができる。例えば変調素子として液晶パネルを用いるもの、ＤＭＤ（Digital Mirror Device）を用いるもの、ＧＬＶ（Grating
Light Valve）を用いるもの等が製品化されており、これらを用いることが可能である。また、光源から出射される光の波長自体が照射方向に応じて変化するものであってもよい。

投射部３０は図示しないインターフェースを介して制御部７０に接続され、制御部７０からの制御指令に応じて動作する。投射すべきカラーパターンに対応するパターンデータも制御部７０から与えられる。すなわち、投射部３０は、制御部７０により指定されたカラーパターンに対応する画像をワークＷに投射する機能を有する。

次に、上記のように構成された撮像システム１の動作について説明する。ワークＷ表面の傷や欠損等を検出する外観検査を目的としてこの撮像システム１が用いられるとき、ワークＷは最終的にモノクロ撮像される。ワークＷの色情報は表面状態を検査する際に必ずしも必要ではなく、むしろ色の変化を傷と誤認したり、色の変化により表面状態の変化が遮蔽されたりするのを抑制することができるからである。また、撮像においてワークＷの色合いを保存する必要がないため、表面状態をより明瞭に画像に反映させるのに適した照明条件を選択することができるという利点もある。

そこで、この撮像システム１では、まずワークＷのカラー画像を取得し、それを色解析することでワークＷ表面がどのような色で構成されているかを把握する。そして、検査のためのモノクロ撮像では、ワークＷ表面各部に対し、先に求められた当該位置の色彩に応じた色の照明光を入射させる。具体的には、色解析の結果に基づいてモノクロ撮像用のカラーパターンを作成し、このカラーパターンに対応する光を照明光としてワークＷに投射することで、表面状態の検査のために最適化された照明条件を実現する。

以下、上記の技術思想に基づく本実施形態の具体的な撮像処理の内容について説明する。この処理は、制御部７０のＣＰＵ７１が予めストレージ７５に記憶された制御プログラムを実行し、投射部３０、撮像部５０およびＣＰＵ７１自身に所定の動作を行わせることにより実現される。また、処理を実現するための前提として、保持部１０、投射部３０および撮像部５０の相対的な位置関係は不変であるものとする。

図３は本実施形態における撮像方法を示すフローチャートである。最初に、外部の搬送ロボットにより、またはオペレータの手作業により、撮像対象物であるワークＷが搬入されステージ１３にセットされる（ステップＳ１０１）。そして、投射部３０が白色照明パターンの照明光をワークＷに投射した状態で（ステップＳ１０２）、撮像部５０がワークＷをカラー撮像する（ステップＳ１０３）。白色照明パターンは、投射部３０が、照射範囲Ａ１のうち少なくとも撮像範囲Ａ２の全域に対して、光量が一様な白色光を入射させるようなカラーパターンである。言わば、光源３１から出射される白色光を無変調でワークＷに入射させるケースに相当する。なお、白色照明パターンは以下のように構成されてもよい。

図４は白色照明パターンの変形例を示す図である。投射部３０が所定のカラーパターンに対応する画像を背景板１５に投射することで、ステージ１３に載置されるワーク（図４では図示省略）を照明する。撮像されたカラー画像に基づき、ワークＷ表面の色彩に応じたモノクロ撮像用のカラーパターンを設定するためには、言い換えればワークＷ表面の各位置に当該位置の色彩を反映させた照明光を入射させるためには、カラー画像内の位置と、投射されるカラーパターン内の位置との対応関係が明確に定まる必要がある。投射部３０と撮像部５０との位置関係が不変であれば、予め取得されている両者の位置関係に基づき、カラー画像内の位置と投射されるカラーパターン内の位置との対応を把握することが可能である。

ここで、図４に示すように、投射部３０から背景板１５に投射される白色照明パターンに、撮像部５０の撮像範囲Ａ２内に少なくとも１つ、より好ましくは複数のアライメントマークＡＭを設けた場合を考える。この場合、撮像されるカラー画像にアライメントマークＡＭが含まれることにより、投射部３０が投射するカラーパターンと、撮像部５０の撮像範囲Ａ２との位置関係がより明確に画像中に示されることになる。こうして把握される位置関係に基づきモノクロ撮像用のカラーパターンを作成するようにすれば、ワークＷ表面の各位置に対し、当該位置の色彩に応じた照明光を優れた位置精度で入射させることのできるカラーパターンを作成することが可能となる。また、保持部１０、投射部３０および撮像部５０の位置関係に多少の変動があったとしても、その影響による照明パターンとワークＷとの位置ずれを抑制することができる。

投射部３０から投射される白色照明パターンを完全に一様なパターンとせず、このようなアライメントマークＡＭを含むパターンとすることにより、カラーパターンとワークＷとの位置合わせが容易になる。アライメントマークＡＭは無彩色、例えば黒またはグレーのパターンとすることができる。また、アライメントマークＡＭは、ステージ１３に載置されるワークＷと干渉しない位置、例えば撮像範囲Ａ２の周縁部に近い位置に配置されることが好ましい。

図３に戻って説明を続ける。このときの撮像は、白色光照明下で行われる通常のカラー撮像である。したがって、撮像部５０からは、ワークＷ表面の色彩に応じたカラー画像データが出力される。このときの画像データは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色成分を多階調で表したＲＧＢ画像データである。これらの色成分のうち少なくとも１つがデータ表現可能な最大階調レベルであるとき、画像が色飽和しているおそれがある。色飽和は色解析における誤差要因となり得るため、照明光の光量調整が行われる。

具体的には、カラー撮像により得られたＲＧＢ画像データにおいて少なくとも１つの色成分が最大階調レベルに達しているとき（ステップＳ１０４においてＹＥＳ）、投射部３０から出力される白色照明パターンの光量が一段階低下される（ステップＳ１０５）。この状態で再度カラー撮像が行われ（ステップＳ１０３）、色飽和が生じていないことが確認されると（ステップＳ１０４においてＮＯ）、処理は次のステップＳ１０６に進む。

このときのＲ，Ｇ，Ｂ各色の階調データは、ワークＷの色をＲＧＢ色空間において表現したものである。ただし物体の色を定量的に扱う場合には、色をＨＳＶ色空間で表現することが好ましいことが知られている。ＨＳＶ色空間は、色を色相Ｈ（Hue）、彩度Ｓ（Saturation）および明度Ｖ（Value）の三成分で表すものである。ＣＰＵ７１により実現される画像処理部７２は、ＲＧＢ画像データをＨＳＶ画像データに変換する（ステップＳ１０６）。この変換処理についてはその計算式が公知であるため、ここでは説明を省略する。

こうしてＨＳＶ色空間の画像データで表されることとなった画像について、画像処理部７２の色解析部７２１が色解析を行う（ステップＳ１０７）。色解析処理は、ワークＷの表面がどのような色彩の部位により構成されているかを解析するための処理である。具体的には、画像中のワークＷの表面の各位置について、当該位置が有するＨ値、Ｓ値およびＶ値の組み合わせから当該位置の色が決定される。なお、ここではＨＳＶ色空間において色解析処理が行われるが、ＲＧＢ画像データそのままでも色解析は可能である。

また、カラー画像Ｉｃのうち、明度Ｖが所定値以上の白色（無彩色）である領域については、白色光照明下で撮像された無彩色のステージ１３および背景板１５に相当する領域、つまりワークＷの背景とみなすことができる。

図５はＨＳＶ色空間を可視化した例を示す図である。ＨＳＶ色空間は一般的に、図５（ａ）に示すような円錐または円筒として可視化される。ここで、図５（ｂ）に示すようにＨ値、Ｓ値およびＶ値をそれぞれ座標値とする直交座標系によりＨＳＶ色空間を表現すると、Ｈ値、Ｓ値およびＶ値についてそれぞれ所定の数値範囲を持つ直方体によって１つの「色」を定義することができる。すなわち、Ｈ値、Ｓ値およびＶ値がこの直方体内に含まれる画素については、当該画素がこの直方体により定義される色を有しているということができる。このようにして、画像内の各画素を幾つかの色に分類することができる。

より具体的な処理は以下のようにすることができる。１つの「色」に対して、Ｈ値、Ｓ値およびＶ値それぞれについての上限値と下限値とを関連付けておく。そして、Ｈ値、Ｓ値およびＶ値の全てが、いずれも設定された上限値と下限値との間の値を有する画素を、当該色を有する画素として抽出することができる。すなわち、Ｈ値、Ｓ値、Ｖ値のそれぞれについて、上限値と下限値との間の値の画素を抽出するマスクを作成し、それらのマスクで抽出される画素の論理和を、当該色を有する画素とすることができる。ＨＳＶ色空間を区分して得られる一つの直方体に属する画素は、実質的に同一の色を有しているとみなすことができる。このようにして、カラー画像中のワークＷの表面における色彩の分布が求められ、ワークＷの表面は幾つかの色領域に区分される（ステップＳ１０７）。

画像処理部７２のパターン生成部７２３は、こうして得られた色解析の結果に基づきモノクロ撮像用のカラーパターンを決定する（ステップＳ１０８）。色解析の結果をカラーパターンに反映させる方法としては種々のものが考えられるが、ワークＷ表面の色情報を消去するという観点からは、ワークＷ表面各位置に対し、当該位置の色の反対色または補色を入射させるような照明パターンとすることができる。

１つの画素において、色ごとの画像データＲ，Ｇ，Ｂが８ビット表現されているとき、反対色の画像データＲ'，Ｇ'，Ｂ'は次の計算式：
Ｒ'＝２５５−Ｒ
Ｇ'＝２５５−Ｇ
Ｂ'＝２５５−Ｂ
により求めることができる。

一方、補色の画像データＲ”，Ｇ”，Ｂ”については次の計算式：
Ｒ”＝（Ｖｍａｘ＋Ｖｍｉｎ）−Ｒ
Ｇ”＝（Ｖｍａｘ＋Ｖｍｉｎ）−Ｇ
Ｂ”＝（Ｖｍａｘ＋Ｖｍｉｎ）−Ｂ
により求めることができる。ここで、値Ｖｍａｘおよび値Ｖｍｉｎは、値Ｒ，Ｇ，Ｂの最大値および最小値である。

このように、画像内の各画素の画素値（Ｒ，Ｇ，Ｂ）に基づき、投射部３０の照射領域Ａ１内の各画素の画素値（Ｒ'，Ｇ'，Ｂ'）または（Ｒ”，Ｇ”，Ｂ”）を求めることにより、モノクロ撮像用のカラーパターンが特定される（ステップＳ１０８）。カラー画像内における各画素の座標位置とカラーパターン内における各画素の座標位置との対応関係については、保持部１０、投射部３０、撮像部５０の位置関係が不変であれば、それらの位置に基づき予め求められている対応関係を用いることができる。また、前述したアライメントマークＡＭの画像内での位置検出結果から求めた対応関係が用いられてもよい。

上記演算は、画素単位で行われてもよく、また上記した色解析処理によって同一色とみなされる色領域ごとに行われてもよい。カラーパターンの投射によってワークＷ表面で表現可能なドットの最小サイズと、撮像部５０の撮像分解能とは必ずしも一致しない。そのため、投射部３０における画素単位での照明色の制御が、画像内の１画素に相当するサイズでワークＷ表面に投射されるとは限らない。この場合には、上記で求められた１つの色領域に対し１つの照明色が割り当てられるようにするのが現実的である。

なお、色解析においてワークＷ以外の背景とみなされた領域については、モノクロ撮像においても背景となる領域であることから、上記した演算の対象から除外することが可能である。このような領域については、ワークＷの像との混同のおそれがない適宜の照明色が設定されればよい。例えば、白色またはこれより明度を落としたグレー色などの無彩色を割り当てることができる。

図６はワーク表面の色とカラーパターンとの関係を示す図である。より詳しくは、図６（ａ）はカラー撮像により得られた画像の例であり、図６（ｂ）はそれに対応するカラーパターンである。図６（ａ）に示すように、カラー撮像により得られた画像Ｉｃにおいて色解析を行った結果、ワークＷが４つの色領域を有していたとする。ただし、両端部は同一色であるため色数としては３色である。この場合、図６（ｂ）に示すように、投射部５０が投射すべき照明のカラーパターンＣＰは、４つの色領域のそれぞれに当該色の反対色または補色に相当する色の光を入射させるようなパターンとなる。

カラー画像Ｉｃの隅部に白色照明パターン由来のアライメントマークＡＭが映り込んでいるとき、その位置検出結果を、画像内の各画素位置とカラーパターン内の各画素位置との関連付けに利用することが可能である。一方、モノクロ撮像用のカラーパターンＣＰにおいては、アライメントマークは必ずしも必要ではない。

図３に戻って説明を続ける。このようにして決定されたモノクロ撮像用のカラーパターンが、投射部３０により投射されることで、ワークＷが照明される（ステップＳ１０９）。このとき、ワークＷ表面の各位置には、当該位置におけるワークＷ表面の色の反対色または補色に対応する色の光が入射することになる。したがって、この時のワークＷは本来の色とは異なって見えることとになる。

撮像部５０は、こうして照明されるワークＷをモノクロ撮像する（ステップＳ１１０）。撮像により得られたモノクロ画像データはメモリ７３またはストレージ７５に保存される（ステップＳ１１１）。この画像データは適宜のタイミングで読み出されて検査に供される。撮像終了後、ワークＷが保持部１０から搬出されることで、一連の撮像処理は終了する（ステップＳ１１２）。

以上のように、この実施形態の撮像システム１は、ワークＷの外観検査に好適なワークＷのモノクロ画像を撮像することができるシステムである。ワークＷの表面状態が明瞭な画像を得るために、この撮像システム１は、白色光照明下でワークＷをカラー撮像し、得られた画像の色を解析してワークＷ表面の色を特定する。そして、ワークＷ表面各部の色に応じたカラーパターンを有する照明光を照射しつつワークＷをモノクロ撮像することで、目的とするワークＷのモノクロ画像が得られる。

種々の色が混在するカラーパターンを投射することが可能な、例えばプロジェクタ装置を投射部３０として用いることにより、ワークＷ表面に複数色の部位が含まれていたとしても、それぞれの色に応じた色を選択して照明光としてワークＷに照射することが可能である。このため、もとより色情報の保存を求めないモノクロ撮像においては、ワークＷの表面状態を良好に画像に反映させることに特化した照明パターンを適用することが可能となる。

例えば、上記した計算式に基づいて作成されるカラーパターンにおいては、ワークＷ表面のうちカラー画像において明度の高い、つまり比較的反射率の高い領域には光量の低い照明光が照射されることになる。また明度のより低い、つまり反射率のより低い領域には光量の高い照明光が照射されることになる。これにより、モノクロ画像においては反射率の差異に起因する明度の差が抑制され、表面の色によらずワークＷ全体で同等の画像コントラストを得ることができる。またワークＷ表面の色に特有の特徴が照明により相殺されているため、例えば異なる色同士の境界における傷等も発見しやすくなる。

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態の撮像システム１は、互いに別体として構成された、保持部１０、投射部３０、撮像部５０および制御部７０が組み合わされたものである。しかしながら、これらの全部または一部が一体の構成として実現されてもよい。

また、上記実施形態では、投射部３０としてスクリーンに画像を投射するプロジェクタ装置が用いられている。このような装置は既に実用化されており、投射面の各位置における光の色を画素単位で細かく設定することができるため、本実施形態の投射部として好適なものである。しかしながら、上記したカラーパターンに対応する照明光をワークＷに入射させることができるものであれば、プロジェクタ装置として製造されたもの以外の投射装置であっても利用可能である。例えば、本発明の「投射部」として動作することに特化して製造された装置であってもよい。

また、上記実施形態の撮像システム１は、ワークＷを保持する保持部１０を備えるものである。このような保持部１０を設けることで、撮像時のワークＷの周辺や背景の条件が常に一定となるため、後の画像処理を簡単にすることができる。しかしながら、保持部を設けなくても本発明を実施することは可能である。例えば、ワークＷと背景との光学的特性の違いにより、撮像されたカラー画像およびモノクロ画像において容易に分離可能である場合には、背景板は必ずしも必要ない。ただし、カラー撮像とモノクロ撮像との間で、ワーク、投射部および撮像部間の相対的な位置が変化しないようにする必要がある。

また例えば、外部からの迷光の影響を排除するため、ワークＷが撮像用のボックス内に置かれた状態で上記処理が実行されてもよい。

また、上記実施形態では、モノクロ撮像用のカラーパターンとして、ワークＷ表面の各位置に対し当該位置の色の反対色または補色に相当する色の光が入射するようなパターンが採用されている。しかしながら、ワークＷ表面の色とこれに対応するカラーパターン内の色との関係についてはこれらに限定されるものではない。例えばカラー画像において検出されたワークＷ表面の明るさに反比例するような明るさ分布を有するグレーパターンを、モノクロ撮像時の照明パターンとするようにしてもよい。

また、上記実施形態では、１つのワークＷにつき、カラー撮像結果に基づくモノクロ撮像用カラーパターンの作成と、該カラーパターンを投射した状態でのモノクロ撮像とが行われる。しかしながら、例えば形状が同じである複数のワークについて順次撮像を行う場合においては、最初のワークについて作成されたカラーパターンが以後のワークに適用されてもよい。ワークごとにカラーパターンを作成する態様では、撮像ごとにワークの種類が変化してもよく、また撮像時のワークの姿勢も任意である。一方、カラーパターンを共用する態様では、ワークごとにカラーパターンを作成する工程を省くことができるが、撮像時のワークの位置および姿勢をワーク間で一定に保つ必要が生じる。

以上、具体的な実施形態を例示して説明してきたように、この発明において、カラーパターンは、撮像対象物の各位置に入射する光の色が、色解析により求められる当該位置の色の補色または反対色となるパターンであってもよい。このような構成によれば、モノクロ撮像時には撮像対象物の表面各部の色の違いが照明光によって相殺される。このため、元の色の違いがモノクロ画像では明確な差とならず、表面の色に影響されない画像とすることができる。

また例えば、色解析は、カラー撮像により得られるＲＧＢ色空間データから変換したＨＳＶ色空間データの値に基づいて行われてもよい。このような構成によれば、実質的に同一とみなせる色の範囲を定量的に定めることができるので、色解析処理を効果的に実施することができる。

また例えば、白色光照明は、投射部がカラーパターンとして一様な白色パターンを撮像対象物に投射することにより実現されてもよい。このような構成によれば、カラー撮像時の白色光照明と、モノクロ撮像時の照明とが撮像対象物に対し同一の方向から行われることになる。そのため、照明方向の違いに起因して生じ得るカラーパターンと撮像対象物との位置ずれ等の影響を回避することができる。また、カラー撮像用の照明装置を別途用意する必要がないため、システムコストを低減することが可能となる。

また例えば、投射部は、光源から出射される白色光を画像処理部からの制御情報に基づき変調して、カラーパターンに対応する照明光を出力する構成であってもよい。このような機能を有する装置として、スクリーン等に画像を投射するためのプロジェクタ装置が製品化されている。このような装置を本発明の投射部として利用することで、システムの開発および製造コストの低減を図ることができる。

また例えば、撮像部では、カラー撮像における撮像光軸とモノクロ撮像における撮像光軸とが一致するように構成されてもよい。この場合、撮像部は、カラー撮像およびモノクロ撮像を同一のカラーカメラで実行する構成であってもよい。カラー撮像結果に基づいて最適化されたカラーパターンでの照明は、異なる光軸で実行されるモノクロ撮像においても必ずしも最適なものであるとは限らない。両撮像における光軸を一致させることで、このような問題を回避することができる。両撮像が単一のカメラで実施されるとき、両光軸を完全に一致させることが可能である。

この発明は、撮像対象物の色表現よりもその表面状態を反映させることが優先される撮像において有効であり、例えば撮像対象物の外観検査に供される画像を取得するための撮像に適用することができる。特に、撮像対象物の表面において色彩の異なる部位が混在する場合に好適なものである。

１ 撮像システム
１０ 保持部
１３ ステージ
１５ 背景板
３０ 投射部
３１ 光源
３３ 変調器
５０ 撮像部（カラーカメラ）
５１ カラー二次元センサ
５３ ＡＤコンバータ
７０ 制御部
７１ ＣＰＵ
７２ 画像処理部
７２１ 色解析部
７２３ パターン生成部
Ｗ ワーク（撮像対象物）

Claims (9)

1. 撮像部が白色光照明下で撮像対象物をカラー撮像する工程と、
   画像処理部が撮像された画像を色解析し、その結果に基づきモノクロ撮像用のカラーパターンを決定する工程と、
   決定された前記カラーパターンを有する照明光を投射部が前記撮像対象物に投射し、前記撮像部が前記撮像対象物をモノクロ撮像する工程と
   を備える撮像方法。
2. 前記カラーパターンは、前記撮像対象物の各位置に入射する光の色が、前記色解析により求められる当該位置の色の補色または反対色となるパターンである請求項１に記載の撮像方法。
3. 前記画像処理部は、前記カラー撮像により得られるＲＧＢ色空間データから変換したＨＳＶ色空間データの値に基づき前記色解析を行う請求項１または２に記載の撮像方法。
4. 前記白色光照明は、前記投射部が前記カラーパターンとして一様な白色パターンを前記撮像対象物に投射することにより実現される請求項１ないし３のいずれかの記載の撮像方法。
5. 指定されたカラーパターンを有する照明光を撮像対象物に投射する投射部と、
   前記撮像対象物を撮像する撮像部と、
   白色光照明下で前記撮像部が前記撮像対象物をカラー撮像した画像を色解析し、その結果に基づきモノクロ撮像用の前記カラーパターンを決定する画像処理部と
   を備え、
   前記投射部が前記モノクロ撮像用の前記カラーパターンを有する照明光を前記撮像対象物に投射し、前記撮像部が前記撮像対象物をモノクロ撮像する撮像システム。
6. 前記投射部が一様な白色光を前記撮像対象物に投射することで前記白色光照明を実現する請求項５に記載の撮像システム。
7. 前記投射部は、光源から出射される白色光を前記画像処理部からの制御情報に基づき変調して、前記カラーパターンに対応する前記照明光を出力する請求項５または６に記載の撮像システム。
8. 前記撮像部では、前記カラー撮像における撮像光軸と前記モノクロ撮像における撮像光軸とが一致する請求項５ないし７のいずれかに記載の撮像システム。
9. 前記撮像部は、前記カラー撮像および前記モノクロ撮像を同一のカラーカメラで実行する請求項８に記載の撮像システム。

Images