JP3744989B2 - 色分類装置及びその領域補正方法 - Google Patents

色分類装置及びその領域補正方法 Download PDF

Info

Publication number
JP3744989B2
JP3744989B2 JP31642295A JP31642295A JP3744989B2 JP 3744989 B2 JP3744989 B2 JP 3744989B2 JP 31642295 A JP31642295 A JP 31642295A JP 31642295 A JP31642295 A JP 31642295A JP 3744989 B2 JP3744989 B2 JP 3744989B2
Authority
JP
Japan
Prior art keywords
filter
image information
transmission wavelength
classification
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP31642295A
Other languages
English (en)
Other versions
JPH09159529A (ja
Inventor
康宏 小宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP31642295A priority Critical patent/JP3744989B2/ja
Priority to US08/753,783 priority patent/US5706093A/en
Publication of JPH09159529A publication Critical patent/JPH09159529A/ja
Application granted granted Critical
Publication of JP3744989B2 publication Critical patent/JP3744989B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/462Computing operations in or between colour spaces; Colour management systems

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectrometry And Color Measurement (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、色を利用して対象物を分類,判定または識別する色分類装置及び色分類方法に関する。
【0002】
【従来の技術】
従来より、各種工業の生産現場における塗装色,染色度の管理、または生産物の色測定、あるいは医療,学術分野における被検体の色測定などにおいては、対象物の色を識別する色識別装置が利用されている。
【0003】
例えば、特開平3−267726号公報に開示されている色識別装置では、対象物の反射分光スペクトルに統計的処理を施すことによって2クラスの分類を行なっている。
【0004】
具体的には、クラスが既知の対象物の反射分光スペクトルをFoley Sammon変換(FS変換)を利用して統計処理している(Q.Tian,M.Barbaro他、“Image classification by Foley−Sammon transform”,Optical Engineering,Vol.25,No.7,1986参照)。
【0005】
ここで、FS変換とは、2つのクラスに分類する手法であり、具体的には、ある対象物が2つ与えられたときのS1 ,S2 からFisher ratio
R(di )=(di t S1 di )/(di t S2 di ) …(1)
di :分類スペクトル
di t :分類スペクトル(転置)
S1 :クラス間共分散行列
S2 :クラス内共分散行列
のR(di )を最大にするときのスペクトルdi を求めることである。
【0006】
以後、この分類のためのスペクトルdi を分類スペクトルと呼ぶ。
【0007】
この分類スペクトルdi は、対象物のスペクトルと同じ次元数を有するため、正確にはdi (λ)と表記すべきであるが、本明細書では、簡単のためにdi と記すものとする。
【0008】
そして、Fisher ratioを大きくする分類スペクトルを2種類求める。Fisher ratioを最大にする分類スペクトルdi をd1 、このd1 と直交するスペクトルの中でFisher ratioを最大にする分類スペクトルdi をd2 とする。
【0009】
この分類スペクトルd1 ,d2 で構成される空間に各データを投影することにより、2つのクラスが分類される。
【0010】
分類スペクトルd1 ,d2 は次式から求める。
【0011】
d1 =α1 S2 -1Δ
d2 =α2 S2 -1Δ[I−(Δt S2 -2Δ)/(Δt S2 -3Δ)S2 -1]Δ…(2)
ここで、α1 ,α2 は正規化係数、ΔはX1 −X2 (クラス1とクラス2の差スペクトル)、Iは単位行列である。
【0012】
このようにして得た分類スペクトルd1 ,d2 で構成される空間に各データを投影するために、分類スペクトルと対象物の反射分光スペクトルとの内積を求める。
【0013】
対象物の反射分光スペクトルをf(λ)(但し、λ=波長)とすれば、内積t1 ,t2 は次式で表せられる。
【0014】
t1 =f(λ)・d1
t2 =f(λ)・d2
ここで、記号「・」は内積演算を表す。
【0015】
上記特開平3−267726号公報に開示された色識別装置では、この内積t1 ,t2 の値から図38のように分類境界を決め、この分類スペクトルの特性を有するフィルタを図40に示すように回折格子Gと液晶フィルタFを用いて実現している。
【0016】
ところが、分類スペクトルd1 ,d2 は一般に、図41に示すように形状が複雑であり、また、正負の値をとるため、回折格子G,液晶フィルタFなどの取り付け精度も厳しく要求される。
【0017】
従って、装置の移動等にともなう機械的振動により、その取り付け位置がずれると、分類精度が著しく低下してしまう。
【0018】
また、回折格子自体はコストが高いという問題もある。
【0019】
そのため、装置構成が簡単で、低コストで、且つ機械的振動等にも耐えられるような色分類装置が望まれている。
【0020】
また、上記特開平3−267726号公報に開示された色識別装置では、光源をある程度限定している(ランプL)ため、異なる光源に対しての分類には不向きであり、光源のスペクトルが変化する場合には良好な分類を行なうことが難しい。
【0021】
特に、工場などで色分類を行なう場合には、光源を限定することができるが、光源を限定せずに、そのスペクトルが変化する場合などにも良好に色分類することができる装置が望まれている。
【0022】
このため、本出願人は既に先願として特開平7−120324号公報に開示されているように、装置構成が簡単で、低コストで、且つ機械的振動等にも耐えられ、しかも光源を限定せずにそのスペクトルが変化する場合などにも良好に色分類可能な色分類装置に係る発明の出願をなしている。
【0023】
すなわち、この先願としての特開平7−120324号公報に開示された色分類装置は、対象物の反射分光スペクトルを撮像する撮像手段と、上記対象物と撮像手段との間に設置したそれぞれ異なる帯域を持つ複数のバンドパスフィルタと、上記撮像手段によって撮像された対象物の反射分光スペクトルから統計的手法を用いた分類のための分類スペクトルを算出し、この分類スペクトルを用いて上記対象物の分類を行なう分類手段とを備えることを特徴としている。
【0024】
この先願の色分類装置によれば、それぞれ異なる帯域を持つ複数のバンドパスフィルタを用意しておき、これら複数のバンドパスフィルタのそれぞれを上記対象物と撮像手段との間に配置する。
【0025】
そして、分類手段によって、上記撮像手段によって撮像された対象物の反射分光スペクトルから統計的手法を用いた分類のための分類スペクトルを算出し、この分類スペクトルを用いて上記対象物の分類を行なう。
【0026】
先ず、この先願の色分類装置の原理から説明する。
【0027】
この先願の色分類装置では、分類のためのフィルタを、特開平3−267726号公報に開示された従来の色識別装置のような回折格子及び液晶フィルタで構成するのではなく、図33の(A)に示すような特定の波長のみを透過させるようなバンドパスフィルタを複数組み合わせた同図の(B)や(C)に示すようなフィルタを用いることにより、簡易で安価な構成の色分類装置を実現するものである。
【0028】
また、この先願の色分類装置は、異なる光源のもとでも色分類を行なうために、対象物を撮像するときと同じ条件で、適当な参照板の反射分光スペクトルを計測し、対象物の反射分光スペクトルを参照板の反射分光スペクトルで補正することによって、光源(照明光)の影響を除去するようにしている。
【0029】
すなわち、λを波長として、対象物の反射分光スペクトルをf(λ)、参照板の反射分光スペクトルをs(λ)、照明光の反射分光スペクトルをL(λ)、撮影系の感度スペクトル(撮影レンズの透過スペクトル、撮影素子の感度スペクトル等)をM(λ)とすれば、対象物の撮影スペクトルgi (λ)、及び参照板の撮影スペクトルgs (λ)はそれぞれ、
gi (λ)=f(λ)×L(λ)×M(λ)
gs (λ)=s(λ)×L(λ)×M(λ)
で表せられ、対象物のスペクトルgi ′(λ)は、
gi ′(λ)=gi (λ)/gs (λ)=f(λ)/s(λ) …(4)
と表すことができる。
【0030】
こうして、照明光の反射分光スペクトルL(λ)の影響を除去でき、gi ′(λ)を用いれば、異なる光源のもとでも分類できることになる。
【0031】
また、さらに照明光の輝度が異なる場合には、除去後の信号gi ′(λ)のパワーを正規化すれば良い。
【0032】
次に、この先願による2クラスの対象物の分類を行なう色分類装置について説明する。
【0033】
図32は、その構成を示す図で、この先願の色分類装置は、絞りやレンズを含む光学系10、図33の(A)に示されるような複数枚のバンドパスフィルタ12A,12B,…,12Eで構成される回転色フィルタ12、対象物O及び参照板Rの画像を取り込むためのCCD14、A/D変換器16、フレームメモリ18、撮影している部分を表示するモニタ20、CCD駆動ドライバ22、回転色フィルタ12の駆動モータ24、CCD駆動ドライバ22及び回転色フィルタ駆動モータ24等を制御すると共に分類演算回路28に命令を送るコントロール部26、分類を行なうための分類演算回路28から構成される。
【0034】
上記回転色フィルタ12は、図33の(B)に示すように、何種類かのバンドパスフィルタ12A〜12Eから構成されており、各フィルタは同図の(A)に示すような任意のバンド幅を透過するような特性を持っている。
【0035】
この場合、図面及び説明の簡単化のため5枚のバンドパスフィルタで回転色フィルタ12を構成している。
【0036】
なお、光学系10と回転色フィルタ12の配置は、光学系10の前に回転色フィルタ12を配置するような逆の配置でも良い。
【0037】
上記分類演算回路28は、図34に示すように、対象物Oの輝度成分を抽出するための輝度成分抽出部30、分類のための演算(FS変換等)を行なう分類演算部32、及び分類判定のための学習及び分類判定を行なう分類判定部34から成る。
【0038】
ここで、上記輝度成分抽出部30は、図35に示すように、撮影した画像の対象物O及び参照板Rの測定領域を抽出する3個の測定領域抽出部36A,36B,36W、測定した輝度成分の平均を求める3個の輝度成分平均化部38A,38B,38W、撮影したクラス1またはクラス未知のテータの輝度成分を書き込む輝度成分メモリ“A”40A、撮影したクラス2のデータの輝度成分を書き込む輝度成分メモリ“B”40B、撮影した参照板Rのデータの輝度成分を書き込む輝度成分メモリ“W”40W、光源の影響を補正するための補正回路42、補正したクラス1又はクラス未知のデータを書き込む輝度スペクトルメモリ“dta”44A、及び補正したクラス2のデータを書き込む輝度スペクトルメモリ“dtb”44Bを有している。
【0039】
上記輝度成分メモリ40A,40B,40Wは、回転色フィルタ12を構成するバンドパスフィルタの枚数(この例では、5枚)分だけの輝度成分を書き込むことができるようになっている。
【0040】
上記補正回路42は、図36の(A)に示すように除算器421 、または同図の(B)に示すように除算器421 とパワー正規化回路422 により構成される。以下の説明では、同図の(B)に示した構成として説明を行うものとする。
【0041】
上記輝度スペクトルメモリ44A,44Bは、撮影するデータのサンプル数Nだけの輝度成分(各輝度成分はフィルタ枚数個のデータからなる)を書き込むことができるようになっている。
【0042】
一方、上記分類演算部32は、図36の(C)に示すように、切り替えスイッチ“A”46、分類スペクトルを求める分類スペクトル算出部48、分類スペクトルd1 を書き込む分類スペクトルd1 メモリ50、分類スペクトルd2 を書き込む分類スペクトルd2 メモリ52、切り替えスイッチ“B”54、積算器56、加算器58Aとラッチ58Bで構成され累積加算を行なう累積演算部58とによって構成されている。
【0043】
また、上記分類判定部34は、同図に示すように、切り替えスイッチ“C”60、分類境界を決定する分類境界決定部62、決定した分類境界を書き込む分類境界メモリ“c1 ”64、分類判定を行なう分類決定部66とから構成されている。
【0044】
次に、以上のような構成の色分類装置を使い、2クラスの対象物を分類する処理について説明する。
【0045】
この処理では、まず分類境界を求めるための学習モードを実行し、次にクラス未知のデータの色分類を行なうための分類モードを行なう。
【0046】
まず、学習モードについて説明する。
【0047】
これは、図37に示すような2クラスの対象物Oを分類するための分類スペクトルを求めるものである。
【0048】
最初に、コントロール部26は、光学系10の方向及び焦点距離を、2クラスの対象物を同時に撮像できるように調節する。
【0049】
そして、図示しない合焦調節機構により合焦調節を行うと共に、図示しない測光器により測光し光学系10の絞り及びCCD14の露光時間を設定する。
【0050】
ここで、回転色フィルタ12の第1のバンドパスフィルタ(例えば、12A)で撮影が行なわれるように、回転色フィルタ12の位置を制御する。
【0051】
そして、CCD駆動ドライバ22に撮影コマンドを送ることによって第1の画像を撮影する。
【0052】
CCD14で取り込み、A/D変換器16でA/D変換された画像データは、フレームメモリ18に転送され格納される。
【0053】
そして、分類演算回路28にフレームメモリ18に格納された画像データを読み込ませる。
【0054】
分類演算回路28においては、画像データは、まず、輝度成分抽出部30へ転送される。
【0055】
この輝度成分抽出部30においては、各画像について、測定領域抽出部36A,36Bにて、取り込んだ各画像データのなかでそれぞれクラス1,クラス2に対応する分類対象領域を抽出し、その各画素ごとに輝度成分を抽出する。
【0056】
そして、輝度成分平均化部38A,38Bにて、各領域での輝度の平均値を検出し、輝度成分メモリ40A,40Bに書き込む。
【0057】
これをデータda1 ,db1 とする。
【0058】
次に、回転色フィルタ12を回転し、第2のフィルタ(例えば、12B)で第2の画像を撮影し、同様にして平均値を輝度成分メモリ40A,40Bに書き込む。
【0059】
これを、データda2 ,db2 とする。
【0060】
このような操作を、第5のフィルタ(例えば、12E)まで行ない、輝度成分メモリ“A”40Aにデータda3 ,da4 ,da5 を、また輝度成分メモリ“B”40Bにデータda3 ,da4 ,da5 を書き込む。
【0061】
すなわち、この一連の操作で、輝度成分メモリ“A”40Aにはデータdai (但し、i=1〜5)を、輝度成分メモリ“B”40Bにはデータdbi (i=1〜5)を書き込む。
【0062】
次に、対象物の近傍に参照板Rを配置し、同様に5種類のフィルタで撮影し、輝度成分メモリ“W”40Wにデータdwi (i=1〜5)を書き込む。
【0063】
その後、補正回路42では、クラス1については輝度成分メモリ“A”40Aと輝度成分メモリ“W”40Wから、またクラス2については輝度成分メモリ“B”40Bと輝度成分メモリ“W”40Wから、データを読み出して補正を行なう。
【0064】
この補正は、各フィルタ成分ごとに輝度成分メモリ“A”40Aのデータを輝度成分メモリ“W”40Wのデータで除算器421 にて次式のように除算する。
【0065】
Figure 0003744989
この演算により、異なる光源(スペクトル特性)の影響を除去できる。
【0066】
ここで、iはフィルタ番号、mはサンプル番号を示す。
【0067】
さらに、パワー正規化回路422 にて、上記除算されたデータのパワー値が一定化されるように、パワー値Cam 及びCbm により次式の演算が行なわれる。
【0068】
Figure 0003744989
ここで、パワー値Cam 及びCbm は、
【数1】
Figure 0003744989
【0069】
または、
【数2】
Figure 0003744989
【0070】
である。
【0071】
このパワー正規化により、光源の輝度が異なる場合の影響を除去することができる。
【0072】
このようにして求められたdam i ″及びdbm i ″を、輝度スペクトルとして輝度スペクトルメモリ“dta”44A及び“dtb”44Bに書き込む。
【0073】
以上の補正を、対象物のサンプル数Nだけ行ない、輝度スペクトルメモリ“dta”44A及び“dtb”44Bに輝度スペクトルを書き込む。
【0074】
この際、対象物のサンプルは、対象物そのものを交換しても良いし、同一対象物の異なる領域を利用しても良い。
【0075】
このようにして、輝度スペクトルメモリ“dta”44A,“dtb”44Bには、対象物のサンプル数Nだけの輝度スペクトルデータが書き込まれることになる。
【0076】
また、同時に、2つのクラスの対象物を撮影できない場合は、1つのクラス毎に対象物、参照板について上記と同様に撮影及び補正を行い、それぞれ輝度スペクトルメモリ“dta”44A及び“dtb”44Bにそれぞれの輝度スペクトルを書き込む。この操作をサンプル数Nだけ行なうようにする。
【0077】
次に、分類演算部32おいては、切り替えスイッチ“A”46をb側に切り替える。
【0078】
そして、輝度スペクトルメモリ“dta”44A及び“dtb”44Bからそれぞれクラス1及びクラス2に係る輝度スペクトルデータを読み出し、分類スペクトル算出部48にて、前述したFS変換を用いて分類スペクトルd1i(但し、i=1〜5)、及びこれに直交するd2i(i=1〜5)を求め、それぞれ分類スペクトルd1 メモリ50及びd2 メモリ52にそれぞれ分類スペクトルd1i及びd2iを書き込む。
【0079】
次に、切り替えスイッチ“A”46をa側に、また分類判定部34の切り替えスイッチ“C”60をb側に切り替える。
【0080】
そして、切り替えスイッチ“B”54をa側に切り替えて、輝度スペクトルメモリ“dta”44Aから輝度スペクトルデータdam i ″を、また分類スペクトルd1 メモリ50から分類スペクトルデータd1iを読み出して、積算器56及び累積演算部58により内積演算
【数3】
Figure 0003744989
【0081】
を行ない、結果を分類判定部34の分類境界決定部62へ転送する。
【0082】
続いて、輝度スペクトルメモリ“dtb”44Bから輝度スペクトルデータdbm i ″を、また分類スペクトルd1 メモリ50から分類スペクトルデータd1iを読み出して、同様に内積演算
【数4】
Figure 0003744989
【0083】
を行ない、結果を分類境界決定部62へ転送する。
【0084】
次に、切り替えスイッチ“B”54をb側に切り替えて、輝度スペクトルメモリ“dta”44Aから輝度スペクトルデータdam i ″を、また分類スペクトルd2 メモリ52から分類スペクトルデータd2iを読み出して、内積演算
【数5】
Figure 0003744989
【0085】
を行ない、結果を分類境界決定部62へ転送する。続いて、輝度スペクトルメモリ“dtb”44Bから輝度スペクトルデータdbm i ″を、また分類スペクトルd2 メモリ52から分類スペクトルデータd2iを読み出して、内積演算
【数6】
Figure 0003744989
【0086】
を行ない、結果を分類境界決定部62へ転送する。
【0087】
このように、各クラスについてサンプル数分だけ処理を行ない、こうして得た内積値を分類境界決定部62で図38のように分類境界を決定し、分類境界メモリ“c1 ”64に書き込む。
【0088】
以上、ここまでが、学習モードである。
【0089】
次に、分類モードについて説明する。
【0090】
この分類モードでは、まず、図39に示すような分類したいクラス未知の対象物Oを、学習モードのときと同様に撮影し、輝度成分メモリ“A”40Aに輝度スペクトルdxi (但し、i=1〜5)を書き込む。
【0091】
続いて、これと同じ撮影条件で、参照板Rを同様に撮影し、輝度成分メモリ“W”40Wに輝度スペクトルdwi (但し、i=1〜5)を書き込む。
【0092】
そして、これら輝度成分メモリ“A”40A及び“W”40Wからデータを読み込んで、補正回路42で補正
dxi ′=dxi /dwi (但し、i=1〜5) …(10)
を行ない、更にパワー正規化回路422 にて上記除算されたデータのパワー値が正規化されるように
【数7】
Figure 0003744989
【0093】
を行って、輝度スペクトルメモリ“dta”44Aにスペクトルdxi ″を書き込む。
【0094】
ここで、分類演算部32では、切り替えスイッチ“A”46をa側に切り替え、分類判定部34では、切り替えスイッチ“C”60をa側に切り替える。
【0095】
そして、分類演算部32の切り替えスイッチ“B”54をまずa側に切り替えて、輝度スペクトルメモリ“dta”44Aから輝度スペクトルdxi ″を、また分類スペクトルd1 メモリ50から分類スペクトルデータd1iを読み出して、積算器56及び累積演算部58により内積演算
【数8】
Figure 0003744989
【0096】
を行い、tx1 を分類判定部34の分類決定部66へ転送する。
【0097】
次に、切り替えスイッチ“B”54をb側に切り替えて、輝度スペクトルメモリ“dta”44Aから輝度スペクトルdxi ″を、また分類スペクトルd2 メモリ52から分類スペクトルデータd2iを読み出して、内積演算
【数9】
Figure 0003744989
【0098】
を行い、tx2 を分類決定部66へ転送する。
【0099】
そして、分類決定部66は、分類境界メモリ“c1 ”64から分類境界を読み出して、このデータより、上記転送されてきた内積値tx1 ,tx2 が分類境界のどちら側にあるかを判定し、分類結果を出力する。
【0100】
ここまでの操作が、分類モードである。
【0101】
以上のように、この先願の色分類装置では、光源のスペクトル特性の相違を除算器421 にて、また輝度の相違をパワー正規化回路422 にて補正するため、異なる光源についても良好な分類を行うことができる。
【0102】
この際に、さらに図36の(B)に示すように、パワー正規化回路422 を用いているために、光源の輝度が変化する場合においても良好な分類を行なうことができる。
【0103】
なお、光源のスペクトルが変化せずに、輝度のみが変化する場合には、除算回路421 は不要で、パワー正規化回路422 だけで良い。
【0104】
また、回転色フィルタ12を用いた簡単な構成であるため、安価で機械的振動等にも頑健になる。
【0105】
また、学習モードと分類モードを有することから、異なる分類目的にも容易に対応することができる。
【0106】
さらに、図40に示すように、分類演算部32を、既に学習済みの分類スペクトルd1i,d2iを記憶する分類スペクトルd1 ,d2 メモリ50,52の対とそれらを選択するための切り替えスイッチ“B”54との組を複数設け、それぞれの組の分類スペクトルd1 ,d2 メモリ50,52に異なる学習済みの分類スペクトルを記憶しておき、各組を選択するための切り替えスイッチ“C′”68を利用するようにすれば、異なる分類目的にも瞬時に対応することができる。
【0107】
なお、この例では回転色フィルタ12として、図33の(B)に示すように、円形のフィルタ12A〜12Eを同一円上に配置した構成のものを用い、各フィルタで停止させるため各フィルタ毎にその位置を制御するようにしているが、図33の(C)に示すように、フィルタ12A〜12Eを円弧状に構成し、それらを同一円上に配列してなる回転色フィルタ12を用いれば、各フィルタ毎に停止させ位置制御する必要がなくなり、常に動かし続けることができるので、より高速に分類処理を行なえる。
【0108】
ただし、当然のことながら、この場合は、CCD14での露光のタイミングと回転色フィルタ12の回転のスピードとの同期をとる必要がある。
【0109】
また、分類した結果は、分類されたクラスに応じて異なる色の画像として表示しても良いし、音声等で撮影者に知らせるようにしても良い。
【0110】
【発明が解決しようとする課題】
ところで、上記特開平7−120324号公報に記載の先願による色分類装置では、それぞれ異なる通過帯域特性を有する複数の光学バンドパスフィルタを備えた回転フィルタを介して対象物を撮像することにより得られるマルチスペクトル画像データから、対象物の色成分を分類している。
【0111】
この場合、得られるマルチスペクトル画像データは、回転フィルタの回転に対応して撮像されているので、各データの撮像時刻は全て異なっている。
【0112】
このため、例えば図43に示すように、ファクトリオートメーション(FA)の製品検査ライン等での使用において、一方向に移動する対象物をN個の光学バンドパスフィルタを備えた回転フィルタを介して撮像する場合には、得られる画像1、画像2、画像3…画像Nは、対象物の移動に応じて撮像位置がずれてしまう。
【0113】
従って、このようにして得られる撮像位置がずれているマルチスペクトル画像データをそのままの状態で上述のように分類演算処理したとしても、それらは互いに異なる画素間で処理されてしまうことになるので、対象物の色分類を正確に行うことができない。
【0114】
つまり、上記特開平7−120324号公報に記載の先願による色分類装置では、撮像位置にずれが生じるような場合でも、対象物の色分類を正確に行うことができるようにする点で改善の余地がある。
【0115】
そこで、本発明は以上のような点に鑑みてなされたもので、撮像位置にずれが生じるような場合に、その撮影画像の位置ずれを補正して得られるマルチスペクトル画像データに基いて所望の分類演算を行うようにすることにより、このような場合でも対象物の色分類を正確に行うことができるようにした色分類装置及びその領域補正方法を提供することを目的としている。
【0116】
【課題を解決するための手段】
本発明によると、上記課題を解決するために、対象物の色成分を分類する色分類装置において、結像光学系と、この結像光学系の結像面に配置した撮像素子と、この撮像素子より光学的な前側に配置され、異なる複数の光の透過波長帯域を選択可能な光学的バンドパスフィルタと、この複数の光の透過波長帯域から一つずつ透過波長帯域を選択する透過波長選択手段と、この透過波長選択手段が選択した透過波長帯域を有する前記光学的バンドパスフィルタを通過し前記撮像素子で撮像した情報と前記透過波長選択手段が選択した透過波長帯域情報とを対応して格納する記憶手段と、前記光学的バンドパスフィルタによる撮像光束のケラレに応じた感度ムラを補正する感度補正手段と、前記記憶手段から前記情報を前記透過波長帯域毎に各々読み出す読み出し手段と、前記読み出し手段で読み出された各々の像情報に含まれる、前記対象物の各々の像情報間での撮像する前記対象物の移動に伴う位置ずれ、または前記対象物の各々の像情報間における前記光学的バンドパスフィルタのフィルタ取り付け誤差に伴う前記結像光学系の結像位置ずれに応じて、前記読み出し手段が読み出す領域を補正する補正手段とを有し、前記光学的バンドパスフィルタは、通過帯域の異なるバンドパスフィルタが複数備えられて当該の通過帯域の異なるバンドパスフィルタのいずれかを回転駆動により撮影位置に移動させることにより異なる複数の光の透過波長帯域を選択可能な回転フィルタ、または電気制御手段により透過する波長を制御することで透過波長を選択可能な波長可変フィルタで構成されていることを特徴とする色分類装置が提供される。
【0117】
また、本発明によると、通過帯域の異なるバンドパスフィルタが複数備えられて当該の通過帯域の異なるバンドパスフィルタのいずれかを回転駆動により撮影位置に移動させることにより異なる複数の光の透過波長帯域を選択可能な回転フィルタ、または電気制御手段により透過する波長を制御することで透過波長を選択可能な波長可変フィルタで構成されている光学的バンドパスフィルタを備え、対象物の色成分を分類する色分類装置の領域補正方法であって、前記光学的バンドパスフィルタのうちから一つずつ透過波長帯域を選択し、前記選択した透過波長帯域を有する前記光学的バンドパスフィルタを通過した像情報を撮像し、前記撮像した各像情報に対して、前記光学的バンドパスフィルタによる撮像光束のケラレに応じた感度ムラを補正し、前記感度ムラを補正した像情報と前記選択した透過波長帯域情報とを対応して記憶手段に格納し、前記記憶手段から前記像情報を前記透過波長帯域毎に各々読み出し、前記読み出された各々の像情報に含まれる、前記対象物の各々の像情報間での撮像する前記対象物の移動に伴う位置ずれ、または前記対象物の各々の像情報間における前記光学的バンドパスフィルタのフィルタ取り付け誤差に伴う前記結像光学系の結像位置ずれを算出し、前記算出された対象物の各々の像情報間の位置ずれに応じて、前記記憶手段から読み出す領域を補正することを特徴とする色分類装置の領域補正方法が提供される。
【0119】
【発明の実施の形態】
以下、図面を参照して本発明による色分類装置の実施の形態につき説明する。
【0120】
(第1の実施の形態)
まず、第1の実施の形態として等速運動をする搬送部への応用例について説明する。
【0121】
[構成]
図1に示すように、対象物(以下、被写体と記す)116は、立体的あるいは平面的なもので、例えばFAラインにおけるベルトコンベア等の等速運動をする搬送部114上に乗せられて、所定間隔(等間隔とは限らない)で搬送されてくる。
【0122】
この第1の実施の形態の色分類装置は、主として、回転フィルタ102と撮像素子107とを有する画像入力部101とパーソナルコンピュータ等のコントロール部110から構成されている。
【0123】
上記ベルトコンベア等の等速運動をする搬送部114上には、光電スイッチ、近接スイッチ等の位置検出センサ115が配設されている。
【0124】
この位置検出センサ115は、被写体116が所定の位置にきたときにそれを検出してトリガ信号をコントロール部110内のインタフェース回路112に出力する。
【0125】
前記画像入力部101内の回転フィルタ102は、前述した先願のそれと同様に通過帯域の異なるバンドパスフィルタが複数(N)枚備えられており、モータ駆動回路103で制御されるモータ104により、等速度で回転駆動される。
【0126】
そして、この回転フィルタ102の回転路上に対向して配設されているフイルタ位置検出部109は、現在どのフィルタが結像光学系としてのレンズ108に対向した撮影位置にあるかをモニタリングし、フィルタ位置信号をコントロール部110内のインタフェース回路112に送る。
【0127】
なお、回転フィルタ102は、コントロール部110内のインタフェース回路112を介してモータ駆動回路103によりその回転速度等が制御される。
【0128】
前記画像入力部101内の撮像素子107はCCD固体撮像素子であり、コントロール部110内のインタフェース回路112を介して撮像素子ドライバ105により画像信号の読み出しや電子シャッタ速度設定が行われる。
【0129】
そして、この撮像素子107により回転フィルタ102の各フイルタ毎に撮影された被写体116の像情報としての画像信号は、増幅器106を介してコントロール部110内のアナログ/デジタル(A/D)変換器111に送られる。
【0130】
なお、コントロール部110では、インタフェース回路112及びアナログ/デジタル(A/D)変換器111を介して画像処理部113により後述するような所定の処理を行う。
【0131】
図2に示すように、コントロール部110内の画像処理部113に設けられた位置ずれ補正部122には、回転フィルタ102の各フィルタにて撮影された画像信号をA/D変換後に記憶するためのN個のフレームメモリ1,2…Nが設けられている。
【0132】
そして、このコントロール部110内の画像処理部113において、アナログ/デジタル(A/D)変換器111を介して送られてくる画像データは、インタフェース回路112を介して送られてくるフィルタ位置信号に基ずいて切り替えられる切替スイッチ117により回転フィルタ102の各フィルタのフィルタ位置番号と同じ番号のフレームメモリ1,2…Nに記憶される。
【0133】
また、このコントロール部110内の画像処理部113において、読み出し制御部119は、後述する読出位置計算部118からの出力に基ずいてフレームメモリ1,2…Nからの読み出し位置を制御する。
【0134】
この場合、読出位置計算部118は、図1における搬送部114の移動速度及び回転フィルタ102の回転速度とに基ずいて後述するような撮影位置の位置ずれ補正するために必要な所定の読み出し位置を計算している。
【0135】
これにより、図3に示すように、分類演算部121に対し、撮影位置の位置ずれを補正し得るように各フレームメモリ1,2…Nからの読み出しアドレスが変更される。
【0136】
すなわち、図3に示すように、フレームメモリ1からは読出開始位置R1から被写体116より大きな所定の領域(図3の読出領域)を読み出す。
【0137】
そして、フレームメモリ2からは読出開始位置R2から、以下同様に、フレームメモリNからは読出開始位置RNから読み出す。
【0138】
この読出開始位置R1,R2,…,RNは、搬送部114が等速運動することからそれぞれ等間隔離れた位置であり、搬送部114の移動速度と回転フィルタ102の回転速度から読出位置計算部118にて予め計算されている。
【0139】
なお、図2において、制御部120は、コントロール部110内のインタフェース回路112を介して送られてくる前述した位置検出センサ115からのトリガ信号に基ずいて読出位置計算部118、読み出し制御部119及び分類演算部121に対し所定の制御信号を出力している。
【0140】
[作用]
まず、図1における搬送部114の搬送が開始され、被写体116が位置検出センサ115の直前に到来したときにトリガ信号が発生される。
【0141】
そして、このとき画像入力部101内の回転フィルタ102が連続回転しているため、図4に示すようにトリガ信号がきた直後のフィルタiが撮像位置に移動してきたタイミングにおいて、1枚目の撮像が行われる。
【0142】
このとき、フィルタ位置検出部109によりフィルタ番号iに対応するフィルタ位置信号が切替スイッチ117に送られるので、その画像信号はフレームメモリiに記憶される。
【0143】
続いて、同様にしてフィルタi+1が撮像位置に回転移動してきたときに、2枚目の撮像が行われ、その画像信号はフレームメモリi+1に記憶される。
【0144】
このような処理がフィルタi−1まで行われることにより、N枚の撮影及びそれらの各画像信号の記憶が終了する。
【0145】
次に、各フレームメモリ1,2…Nからは、位置ずれを補正するように読み出し制御部119を介して送られてくる読出位置計算部118にて予め計算された読出開始位置R1,R2,…,RNから画像信号が読み出されて分類演算部121に送られる。
【0146】
これにより、分類演算部121では互いに位置ずれのない同じ画素間で所望の分類処理演算が行われ、その分類結果が出力される。
【0147】
なお、分類判定部121における分類処理演算は、前述した先願のそれと同様であるので、ここにその記載を編入するものとしてその説明を省略する。
【0148】
[効果]
以上のような第1の実施の形態によると、各フレームメモリからの読み出し位置を搬送部の移動速度および回転フィルタの回転速度から設定するため、被写体の移動による位置ずれを良好に補正することができる。
【0149】
また、第1の実施の形態によると、回転フィルタのフィルタ位置検出部からのフィルタ位置信号よってフレームメモリを切り替える切り替えスイッチを具備することから、トリガ信号が発せられた直後の画像信号を所定のフレームメモリに書き込むことができ、処理の高速化が図れる。
【0150】
そして、第1の実施の形態によると、図3に示すように、被写体の読み出し領域を被写体より大きくしておくことにより、トリガ信号が発せられてから1枚目の画像を取り込むまでの時間が異なる場合にも、確実に被写体を撮像することができる。
【0151】
なお、第1の実施の形態においては、図5に示すように分類演算部での演算処理領域を被写体より小さくしておいてもよい。
【0152】
(第2の実施の形態)
次に、第2の実施の形態として、前述した第1の実施の形態における回転フィルタの取り付け誤差による位置ずれを撮影位置の位置ずれと併せて補正をする場合について説明する。
【0153】
なお、以下の各実施の形態の説明において、前述した第1の実施の形態と同様に構成されていると共に、同様な機能を有している部分については、同一符号又は関連符号を付して援用することにより、それらの説明又は図示を適宜省略するものとする。
【0154】
まず、この第2の実施の形態の課題となる回転フィルタの取り付け誤差による位置ずれについて説明すると、図6の(a)に示すように、図1に示した回転フィルタ102に相当するフィルタ1,2が取り付けられている円盤102A,Bが光軸に対して垂直な平面内で回転しないと各フィルタ1,2に応じて結像位置にずれが生じる。
【0155】
すなわち、図6の(a)に示すような場合には、本来の結像位置P0に対して、フィルタ1ではP1、フィルタ2ではP2に結像し、各々Δ1,Δ2の位置ずれを生じている。
【0156】
また、図6の(b)に示すように、フィルタ1の円盤102が光軸に対して垂直であったとしても、フィルタ1自体が光軸に対して垂直に取り付けられていない場合もある。
【0157】
すなわち、図6の(b)に示すような場合にも、上述と同様に位置ずれΔ1が生じる。
【0158】
そして、この位置ずれ量Δ1,Δ2は各フィルタごとに固定して値となっている。
【0159】
そこで、第2の実施の形態では、予めこのずれ量を計測しておき、それを図7に示すように、コントロール部110内の画像処理部113における位置ずれ補正部122に新たに設けられたフィルタずれ量メモリ701に記憶させておくものとする。
【0160】
そして、撮影時に、前述したフィルタ位置信号に応じてフィルタずれ量メモリ701から位置ずれ量Δを読み出し、読出位置計算部118では、この位置ずれ量Δも補正するように読み出しのアドレスが計算される。
【0161】
なお、この第2の実施の形態では、図1の構成がそのまま援用されると共に、図7の構成においては、前述したようにフィルタ位置信号に応じてフィルタずれ量メモリ701から位置ずれ量Δを読み出し、読出位置計算部118ではこのΔも補正するように読み出しのアドレスが計算される点のみが図2の構成と異なっている。
【0162】
このような第2の実施の形態によると、一般に、安価に製作すると、上述のようなフィタルの取り付け誤差が生じるが、このずれを良好に補正することができると言う効用を有している。
【0163】
(第3の実施の形態)
次に、第3の実施の形態として、前述した第1の実施の形態の撮像素子に代えてCMD(Charge Modulation Device)を用いたブロック読み出しを利用する場合について説明する。
【0164】
すなわち、この第3の実施の形態では、図8に示すように、前述した第1の実施の形態の撮像素子107に代えてCMD107Aを用いると共に、撮像素子ドライバ105に代えてCMDドライバ105Aを用いている。
【0165】
ここで、CMDは、例えば特開平5−108822号公報及び特開平5−268521号公報に開示されている増幅型XYアドレス方式の撮像素子であって、撮像素子中の任意位置から任意の画素数だけブロック状に読み出すこともできるものである。
【0166】
そこで、この第3の実施の形態では、前述した第1の実施の形態にて行っていたフレームメモリ1,2…Nからの読み出し位置の変更を、CMD107Aの撮像素子から直接読み出し位置を変更することができるようにしたものである。
【0167】
すなわち、図9に示すように、コントロール部110内の画像処理部113における位置ずれ補正部122において、読み出し制御部119は、前述した読出位置計算部118からの出力に基ずいて図8のCMDドライバ105Aを介してCMD107Aからの読み出し位置を制御するようにしている。
【0168】
このような第3の実施の形態によると、以下のような効果がある。
【0169】
まず、全画素を読み出す必要がなくなり、読み出しが高速化でき、搬送部の移動速度をさらに向上させることができる。
【0170】
また、フレームメモリ1,2…Nの容量を第1の実施の形態の読み出し領域(図5参照)に相当する容量に削減することができる。
【0171】
但し、このような第3の実施の形態によると、前述した第1の実施の形態の撮像素子107に代えて用いるCMD107Aには、画素毎に増幅のばらつきが固定パターンノイズ(Fixed Pattern Noise:FPN)として現れると言うCMDに特有な問題がある。
【0172】
そこで、図8において、画像入力部101Aの回転フィルタ102に備えられる複数(N)枚の通過帯域の異なるバンドパスフィルタのうち、少なくとも1枚は透過率ゼロの暗時画像信号入力用フィルタとする。
【0173】
また、図8に示すように、コントロール部110Aにおけるアナログ/デジタル(A/D)変換器111と画像処理部113との間に、新たにFPN除去部123を設ける。
【0174】
そして、このFPN除去部123において、前記透過率ゼロの暗時画像信号入力用フィルタで撮像される暗時画像信号を、それ以外の別の各フィルタで撮像される画像信号から減算処理することにより、FPNの除去を行うことができる。
(第4の実施の形態)
次に、第4の実施の形態として、前述した第1の実施の形態の回転フィルタの代わりに波長可変フィルタを利用する場合について説明する。
【0175】
すなわち、図10,11に示すように、この第4の実施の形態では前述した第1の実施の形態の回転フィルタ102の代えて波長可変フィルタ125を用いるようにしている。
【0176】
この波長可変フィルタ125は、前述した第1の実施の形態のモータ駆動回路103に代えて用いられる波長可変フィルタ駆動回路124による電気的制御により、その透過波長が制御される。
【0177】
なお、この波長可変フィルタ125は、波長のチューニングに必要とする時間が数ms〜数十msかかり、読出位置計算部118において読み出し位置を算出する上での重要なファクターとなる。
【0178】
このため、画像処理部113Bでは読出位置計算部118に対して、前述した第1の実施の形態の回転フィルタの回転速度の代わりに波長チューニング速度が入力されている。
【0179】
また、切替スイッチ117には、前述した第1の実施の形態のフィルタ位置信号の代わりにチューニングフィルタ信号が入力されている。
【0180】
このような第4の実施の形態によると、以下のような効果がある。
【0181】
まず、前述した第1の実施の形態の回転フィルタのようなメカニカルな駆動部がないので、画像入力部を小型軽量化することができる。
【0182】
また、電気的制御によって撮影時の透過波長が制御される構成なので、撮影時の透過波長を容易に且つ任意に選ぶことができる。
【0183】
すなわち、測定用の被写体が変わる毎にフィルタの通過帯域や枚数を最適化する必要があり、前述した第1の実施の形態における回転フィルタ102の場合には、回転フィルタの場合にはフィルタそのものを交換する必要があったが、この第4の実施の形態における波長可変フィルタの場合には、チューニングする波長を変えるだけでよく、容易に異なる被写体に対して最適化できる。
【0184】
また、可視域をカバーする波長可変フィルタを用いれば容易に測色値に高精度に変換することができる。
【0185】
(第5の実施の形態)
次に、第5の実施の形態として、前述した第1の実施の形態における撮像素子の前にストライプフィルタを配設する場合について説明する。
【0186】
すなわち、この第5の実施の形態では、図12の(a)に示すように、前述した第1の実施の形態における回転フィルタ102や前述した第4の実施の形態における波長可変(チューナブル)フィルタ125の変わりに、図示のごとくストライプ状のカラーフィルタA,B,C,D,Eを撮像素子107Bの直前に配置する。
【0187】
なお、この図12の(a)では、説明の便宜上5種類のストライプフィルタ、つまり、カラーフィルタA,B,C,D,Eを示しているが、その数は限定的なものではない。
【0188】
また、各カラーフィルタA,B,C,D,Eの縦横の大きさはそれぞれ等しいものとしている。
【0189】
図12の(b)は、この第5の実施の形態による撮像の様子を示す。
【0190】
すなわち、図12の(b)において、領域A,B,C,D,Eは各カラーフィルタA,B,C,D,Eで撮像される領域を示している。
【0191】
まず、時刻T1にてトリガがかかり、被写体116Aを撮影する。
【0192】
この例では、被写体116Aの大きさが各領域A,B,C,D,Eより小さい場合を想定しているため、時刻T1において、被写体116Aは領域Aにのみ存在し、領域Aの画像信号のみが前述したようにして図13に示すような位置ずれ補正部122Cにおけるフレームメモリ126に記憶される。
【0193】
そして、一定時間後の時刻T2に次の撮影を行うと、被写体116Aは領域Bにのみ存在し、領域Bの画像信号のみが図13に示すような位置ずれ補正部122Cにおけるフレームメモリ126に記憶される。
【0194】
以下同様にして領域C,D,Eまでの画像信号が図13に示すような位置ずれ補正部122Cにおけるフレームメモリ126に順次に記憶される。
【0195】
このような第5の実施の形態によれば、フレームメモリが僅か1個でよいと共に、前述した第1の実施の形態における回転フィルタ部がないので、小型、軽量化が図れるという効果がある。
【0196】
なお、この第5の実施の形態では、トリガ信号を被写体116Aが領域Aにきたときのみ発生するようにしたが、前述した第1の実施の形態における位置検出センサ115を複数用いて各領域A,B,C,D,E毎にトリガ信号を発生するようにすることにより、前述した第1の実施の形態における搬送部114の速度が等速でない場合にも、良好に分類演算を行なうようにすることができる。
【0197】
(変形例)
上例は被写体116Aが各領域A,B,C,D,Eより小さいことが条件であったが、図12の(c)に示すようにシート状の被写体116Bである場合や被写体が多数ある場合には、図13に示すような位置ずれ補正部122Cに代えて、図14に示すような位置ずれ補正部122Dとする。
【0198】
すなわち、図14に示す位置ずれ補正部122Dでは、図12の(c)に示す各撮影時刻毎に撮像された画像信号をフレームメモリ1,2…5に対し、その書き込みが切り換えられる。
【0199】
そして、各フレームメモリ1,2…5の対応領域がそれぞれ読み出される。
【0200】
つまり、図12の(c)の場合には、図14に示すようにフレームルメモリ1からは領域A、フレームメモリ2からは領域B、フレームメモリ3からは領域C、フレームメモリ4からは領域D、フレームメモリ5からは領域Eの各画像信号が読み出され分類演算部121へ送られ処理が行われる。
【0201】
次の所定時間後にはフレームメモリ1からは領域E、フレームメモリ2からは領域A、フレームメモリ3からは領域B、フレームメモリ4からは領域C、フレームメモリ5からは領域Dの各画像信号が読み出され分類演算部121へ送られ処理が行われる。
【0202】
このように各領域A,B,C,D,E毎に演算された分類結果は、結果合成部127にて合成された後、モニタ信号生成部128を介してモニタ129等へ表示される。
【0203】
このような第5の実施の形態の変形例によれば、高速で移動するシート状の連続被写体(印刷物、フィルム等)の分類演算も良好に行うことができる。
【0204】
(第6の実施の形態)
次に、第6の実施の形態として、前述した第1の実施の形態におけるトリガ信号を位置検出センサの代わりに画像信号から得るようにした場合について説明する。
【0205】
まず、この第6の実施の形態では、画像信号中に図16に示すような監視領域を用いるものとする。
【0206】
そして、図15に示すような画像処理部におけるフレームメモリ130からの画像信号に基ずいて画像位置検出部131により、この監視領域の平均値を算出する。
【0207】
この場合、画像位置検出部131は、図17の(a)に示すように、平均値算出部132によって算出された監視領域の平均値と、背景部平均値算出部133によって算出された画像の背景部となる搬送部114そのものの平均値とを比較部134によって比較し、その比較結果がある一定値以上異なる場合には被写体であると判定し、トリガ信号を発生する。
【0208】
なお、背景部平均値算出部133は、予め背景部の平均値を算出して各フィルタ毎に記憶しておき、それらを測定時に各フィルタ毎に対応付けて読み出すようにしておいてもよい。
【0209】
また、画像位置検出部131は、図17の(b)に示すように、エッジ抽出部135によってエッジ信号を抽出し、このエッジ信号の大きさがある一定値以上になったことを判定部136が判定した場合にトリガ信号を発生するようにしておいてもよい。
【0210】
また、画像位置検出部131は、図17の(c)に示すように、被写体上に設けられる文字の印刷や印鑑、手書き文字等でなる特定パターンを特定パターン抽出部137によって抽出し、この特定パターン抽出号の大きさがある一定値以上になったことを判定部138が判定した場合にトリガ信号を発生するようにしておいてもよい。
【0211】
これらの図17の(b)及び図17の(c)の場合には、図17の(a)の場合のように、各フィルタ毎の背景部の平均値を記憶しておく必要はない。
【0212】
さらに、図示は省略しているが、各フィルタ毎の画像信号の差分をとり動きを検出するようにしてもよい。
【0213】
このような第6の実施の形態によれば、位置検出センサが不要になるので、搬送部の構成が煩雑にはならないと共に、位置検出センサで検出しにくい微小な被写体でも検出することができるという効果がある。
【0214】
なお、以上のような第6の実施の形態は、上述した第3乃至第5の実施の形態におけるトリガ検出に用いるようにしてもよい。
【0215】
(変形例)
第6の実施の形態では監視領域が一つであったが、図20に示すように監視領域を複数設けるようにしてもよい。
【0216】
そして、このような第6の実施の形態の変形例によれば、後述する第7の実施の形態のように位置検出センサを複数使う場合に比してコストが安価ですむという効果がある。
【0217】
(第7の実施の形態)
次に、第7の実施の形態として、前述した第1の実施の形態における搬送部が等速に移動しない場合について説明する。
【0218】
前述した第1の実施の形態において搬送部が等速に移動しない場合には、予め計算した読み出し開始位置R1,R2…から読み出すようにしても、それだけでは正しく位置ずれを補正することができない。
【0219】
そこで、この第7の実施の形態では、図18に示すように、位置検出センサ115Aを回転フィルタ102の数に対応づけて複数設ける。
【0220】
なお、この第7の実施の形態では、回転フィルタ102は間欠駆動されるものと仮定する。
【0221】
そして、図19に示すように、トリガ信号の発生の直後に撮像を行うようにすると、撮像後直ちに回転フィルタ102は次の撮影用のフィルタに切り換えられる。
【0222】
すなわち、これまでの実施の形態では搬送部が等速で動いているということを仮定していたが、この第7の実施の形態では、搬送部が等速で動いていないといった場合に対応するための例である。
【0223】
前述した第1の実施の形態と違う点は、図18に示すように、位置検出センサ115Aが複数個あるということであり、この場合、回転フィルタ102のフィルタがN個であるとすると、位置検出センサ115Aも図19に示すセンサ1,2…NのようにN個あるということになっている。
【0224】
これは、各撮像するべき位置に対応して位置検出センサ115Aが置かれている関係になっている。
【0225】
そして、撮像のタイミングが図19に示すようになっている。
【0226】
まず、被写体116がくるとトリガ信号を出力するが、センサ1で撮像する時のトリガ信号がこのタイミングで出力する。
【0227】
次に、センサ2で撮像する時のトリガ信号がこのタイミングで出力する。
【0228】
その時に、被写体116が等速でなく動いていると、それは被写体116の間隔すなわち、撮像するタイミングの時間が変わってくるということになる。
【0229】
なお、センサ1によるトリガ信号を出力する時には、回転フィルタ102のフィルタは予めフィルタ1にセットされているものとする。
【0230】
そして、この場合、搬送部114が不等速に動いているので、回転フィルタ102の方が等速に動くということでは撮影タイミングが合わないので、この場合には回転フィルタ102は間欠駆動することが前提になっている。
【0231】
まず、センサ1によるトリガ信号が出力されると、すぐに撮像が行われるように、回転フィルタ102のフィルタ1による撮像素子107の露光タイミングが制御される。
【0232】
これによって、露光が終わるとすぐに回転フィルタ102のフィルタは、フィルタ1からフィルタ2に切り替わる。
【0233】
以下同様にして、回転フィルタ102のフィルタ2の設定が終わって、次のセンサ2によるトリガ信号が出力されるといった形態で進行されて行く。
【0234】
ただ、この場合、回転フィルタ102の駆動時間があまりにも遅いと、次のトリガーが掛ってしまうことになるので、この露光タイミングはある所定間隔が開くように予め設定しておく必要がある。
【0235】
このため、通常では、搬送部114の方のスピードを少し遅くしておくということが必要になる。
【0236】
なお、この搬送部のスピードをモニタリングして撮影するとか、または、搬送部に適当な等間隔のパターンを設けておいて、そのパターンの数をカウントして所定の量だけ進んだと判断してトリガを掛けるということも可能である。
【0237】
このようにすると、最初のセンサは必要となるが、複数個のセンサは不要となり、1個のセンサだけで済むという利点がある。
【0238】
このような第7の実施の形態によれば、搬送部が等速に移動しない場合にも確実に位置ずれを補正することができるという効果がある。
【0239】
(第8の実施の形態)
次に、第8の実施の形態として、前述した第1の実施の形態における搬送部が等速に移動しない場合について説明する。
【0240】
図21に示すように、図1に示す搬送部114が等速に移動しない場合には、予め各フィルタ毎に撮像された画像信号をフレームメモリ1,2…Nから読み出して相関演算回路139で相関演算行うことにより、撮像時の位置ずれを検出する。
【0241】
そして、この結果に基ずいて読み出し制御部119Dによる読み出しアドレスを変更する。
【0242】
なお、相関演算回路139で相関演算を行う際に、透過波長が全く離れたフィルタ画像では相関性が低いので、図22に示すように回転フィルタ1,2,3,4,5,6,7,8の透過波長配列がなるべく連続するように配置する(フィルタ8枚の例)。
【0243】
さらに、相関性を高めるために、図23に示すように、エッジ検出回路140によるエッジ検出後に、相関演算回路139での相関演算を行うようにしてもよい。
【0244】
なお、被写体に特定パターン(例えば十字マークや所定文字)を設け、この特定パターンから位置ずれを検出するようにしてもよい。
【0245】
そして、このような第8の実施の形態によれば位置検出センサが不要になるという効果がある。
【0246】
(第9の実施の形態)
次に、第9の実施の形態として、前述した第1の実施の形態において、被写体が平行に移動しない場合について説明する。
【0247】
図25の(a)に示すように、図1に示す搬送部114がベルトコンベアなどの場合、振動により被写体が回転してしまうことがある。
【0248】
このような場合には、前述した第1の実施の形態のように、単に平行移動だけを補正するだけでは位置ずれを完全に補正することはできない。
【0249】
そこで、この第9の実施の形態では、図24に示すように、相関演算回路139A及び補関演算回路139Bを用いて、例えば特開平6−14126号公報に開示されているような手法により、被写体116の平行移動量だけでなく、回転移動量も検出して位置ずれの補正を行う。
【0250】
このようにして補間演算により補正した後の画像を図25の(b)に示す。
【0251】
すなわち、この第9の実施の形態では、被写体116が不等速に動くだけではなくて、ベルトコンベア等の搬送部114の振動等によって更に回転によって動いてしまうという場合の対処の仕方である。
【0252】
この場合、相関演算回路139Aによる相関演算の中で被写体116の平行移動量だけではなくて、回転量を求めると共に、回転角を求めることが特徴となっている。
【0253】
このように被写体116の平行移動量だけでなく、回転量を求めるためには、相関演算回路139Aによる相関演算はある1箇所ではなくて複数箇所で行う必要がある。
【0254】
すなわち、相関演算回路139Aにおいて、最低2箇所以上の位置でその相関演算を行えば、被写体116の平行移動量と回転量及び回転角を求めることができる。
【0255】
そして、この相関演算回路139Aによる回転角と読み出し位置から補関演算回路139Bの補関演算によって正しい画像の並びになるように画像を作り直して、それをフレームメモリ141,142…14Nに入れる。
【0256】
そして、以下の処理は前述した第1の実施の形態と同じとなる。
【0257】
すなわち、このような第9の実施の形態によると、被写体116が図25の(a)に示すように、通常は平行移動するものとして読み出しアドレスを読出開始位置R1,R2.…RNのように順番にずらしていくだけであると、被写体116が回転した場合に読み出し領域の中からはみでてしてしまうのを避けることができる。
【0258】
つまり、第9の実施の形態では、フレームメモリ1,2…Nから読み出し位置とその読み出しの方向を、被写体116が回転した場合に図25の(b)に示すようにその被写体116の回転に応じて回転させたり、平行移動させたりすることによって、常に読み出しされた後は同じように画像が移動するようになっているのが特徴である。
【0259】
(第10の実施の形態)
次に、第10の実施の形態として、前述した第1の実施の形態における撮像素子としてのエリアセンサの代わりにラインセンサを利用する場合について説明する。
【0260】
すなわち、この第10の実施の形態では、図26に示すように、ラインセンサ150を複数用いるものであるが、各ラインセンサ150の直前には通過波長帯域の異なる複数のバンドパスフィルタ150aを配置する。
【0261】
画像処理部は第1の実施の形態と同様であるが、読み出しの位置は配置されたラインセンサ150の間隔にのみ依存する。
【0262】
このような第10の実施の形態によれば、読み出し位置は固定となるので、搬送部の速度が変わっても読み出し位置を変更する必要がないと共に、例えば1000×1000画素以上の高精細な撮像を行うときに、エリアセンサは非常に高価であるが、ラインセンサを用いることにより非常に安価に実現できるという効果がある。
【0263】
(第11の実施の形態)
次に、第11の実施の形態として、前述した第1の実施の形態における回転フィルタの回転数と撮像素子の露光時間との制御について説明する。
【0264】
回転フィルタの回転速度が早くなると、いわゆるケラレが生じて画像を正しく撮像することができない。
【0265】
図27の(a)は正しく撮像されている状態で、フィルタが撮影光束を完全にカバーしている。
【0266】
図27の(b)は露光時間が長くケラレが生じている状態で、フィルタが撮影光束を完全にカバーしきれていない。
【0267】
これは回転フィルタの回転速度に比較し、撮像素子の露光時間が長いためである。
【0268】
そこで、この第11の実施の形態では、図28に示すように、回転フィルタの回転速度と撮像時の光束の直径を決める光学系のFナンバーから、ケラレが生じない最長の露光時間を最長露光時間計算部145で計算し、この最長の露光時間より短くなるように制御部120にて撮像素子の露光時間が設定されることを特徴とする。
【0269】
このような第11の実施の形態によれば、常にケラレが生ぜずに良好な撮影が行える。
【0270】
(変形例)
但し、被写体が暗い場合等においては、露光時間をある程度長くせざるを得ない状況もあり、このような場合には、このケラレを補正する必要がある。
【0271】
このような場合、ケラレはいわゆる感度ムラのように生じるため、図29に示すように、感度補正部146にてケラレに応じた感度補正を行う。
【0272】
このような第11の実施の形態の変形例によれば、様々な撮影状況に対応できると言う効用がある。
【0273】
なお、インタレース走査の撮像素子の場合には、ケラレを生じる位置がフィールド毎に異なるので、それも考慮して感度補正部146にて補正(フィールド毎に異なる補正)を行うようにしてやればよい。
【0274】
また、図27の(c)に示すように、露光開始時間と露光終了時間が光束に対して非対称の場合、ケラレが非対称に生じるので、このような場合にも予め感度補正部146にその情報も取り込んでおくことにより、補正を行うようにしてやればよい。
【0275】
(第12の実施の形態)
図30、31に第12の実施の形態として、複数の位置検出センサ115毎に対応して複数の撮像装置151を設け、この複数の撮像装置151からの画像信号をコントロール部152で各別に処理して振り分け装置153により振り分けるようにした例を示す。
【0276】
以上、第1乃至第12の実施の形態1〜12に基づいて説明したが、本明細書には以下の発明が含まれる。
【0277】
(1)対象物の色成分を分類する色分類装置において、結像光学系と、この結像光学系の結像面に配置した撮像素子と、この撮像素子により光学的な前側に配置され、異なる複数の光の透過波長帯域を選択可能な光学的バンドパスフィルタと、この複数の光の透過波長帯域から一つの透過波長帯域を選択する透過波長選択手段と、この透過波長選択手段が選択した透過波長帯域を有する前記光学的バンドパスフィルタを通過し前記撮像素子で撮像した各像情報と前記透過選択手段が選択した透過波長帯域情報とを対応して格納する記憶手段と、この記憶手段から前記各像情報の内の対象物に対応する領域を読み出す読み出し手段と、前記記憶手段に格納された対象物の各像情報の位置ずれに応じて、前記読み出し手段が読み出す前記各像情報の領域を補正する補正手段とを有することを特徴とする色分類装置。
【0278】
(対応する実施の形態)
この発明は実施の形態1〜10が対応する。
【0279】
実施の形態1において、光学的バンドパスフィルタは回転フィルタが対応し、透過波長選択手段はモータとモータ駆動回路とフィルタ位置検出部とが対応している。
【0280】
(作用効果)
この発明の作用効果としては、各フィルタ毎の撮影時に対象物が動いてしまっても補正手段によって記憶手段からの読み出し位置を補正することにより、位置ずれのない状態で対象物の情報を読み出せることが挙げられる。
【0281】
(2)対象物の色成分を分類する色分類装置において、結像光学系と、この結像光学系の結像面に記憶するXYアドレス方式の撮像素子と、この撮像素子より光学的な前側に配置され、異なる複数の光の透過波長帯域を選択可能な光学的バンドパスフィルタと、この複数の透過波長帯域から一つの透過波長帯域を選択する透過波長選択手段と、この透過波長選択手段が選択した透過波長を有する前記光学的バンドパスフィルタを通過し前記撮像素子で撮像した各像情報のうち、対象物に対応する領域を前記撮像素子から読み出す読み出し手段と、前記撮像素子上に結像する対象物の像の位置ずれに応じて、前記読み出し手段が読み出す前記撮像素子のアドレスを補正する手段とを有することを特徴とする色分類装置。
【0282】
(対応する実施の形態)
この発明は実施の形態3が対応する。
【0283】
実施の形態3において、光学的バンドパスフィルタは回転フィルタが対応し、透過波長選択手段はモータとモータ駆動回路とフィルタ位置検出部とが対応している。
【0284】
(作用効果)
この発明の作用効果としては、撮像素子として、例えばCMDのようなXYアドレス方式の素子を用いていることにより、撮像素子からの読み出し位置をアドレスによって制御することができるので、上記(1)に示すような記憶手段を用いなくてもよいことが挙げられる。
【0285】
(3)前記補正手段は、前記透過波長選択手段が前記光学的バンドパスフィルタの透過波長帯域を選択するタイミングと、対象物の移動速度とから、前記読み出し手段が読み出す前記各像情報の領域を補正することを特徴とすることを特徴とする上記(1)又は(2)記載の色分類装置。
【0286】
(対応する実施の形態)
この発明は実施の形態1(特には図2)が対応する。
【0287】
実施の形態1において、補正手段は図2の読出し制御部が対応する。
【0288】
(作用効果)
この発明の作用効果としては、撮像素子で各帯域のフィルタを通過した像情報を順に取り込むものであるが、この際、撮像のタイミングと光学的バンドパスフィルタが選択されるタイミングとが関係を有しているので、光学的バンドパスフィルタが選択されるタイミングと対象物の移動速度とから、読み出し手段が読み出す各像情報の領域を補正することができる点が挙げられる。
【0289】
(4)更に、対象物を一定速度で搬送する対象物搬送手段と、前記撮像素子の露光タイミングを発生するタイミング発生手段と、前記タイミング発生手段のタイミングに同期して前記選択手段が前記光学的バンドパスフィルタの選択を行うように制御する同期制御手段とを有し、前記補正手段は前記タイミング発生手段が発生する露光タイミングの周期の間に対象物が移動する距離を前記対象物搬送手段が対象物を搬送する速度から求め、この求めた移動する距離から前記読み出し手段が読み出す前記各像情報の領域を補正することを特徴とする上記(1)又は(2)記載の色分類装置。
【0290】
(対応する実施の形態)
この発明は実施の形態1(特には図4)が対応する。
【0291】
実施の形態1において、補正手段は図4の読出し制御部が対応すると共に、同期制御手段は前記光学的バンドパスフィルタの選択周期に前記タイミング発生手段のタイミングが同期するように制御しても良い。
【0292】
(作用効果)
この構成によって、図4に示すように、光学的バンドパスフィルタの選択周期と撮像素子の露光周期とを同期させ、且つ、フィルタが結像光学系の光軸上に存在しているときに露光することができる。
【0293】
そして、この露光周期と対象物搬送手段を搬送する速度から、記憶手段に格納された異なる透過波長帯域のフィルタを透過し前記撮像素子で撮像した各像情報のずれ量が求められ、ずれ補正をして読み出すことができる。
【0294】
(5)前記補正手段は、対象物を検知しトリガ信号を出力する複数の位置検出手段を有し、前記撮像手段は前記トリガ信号が出力されたタイミングで撮像し、前記透過波長選択手段はこの撮像が終了してからフィルタ透過波長の選択を行い、更に、前記補正手段は、前記複数の位置検出手段の配置間隔から前記読み出し手段が読み出す前記各像情報の領域を補正することを特徴とする上記(1)又は(2)記載の色分類装置。
【0295】
(対応する実施の形態)
この発明は実施の形態7が対応する。
【0296】
(作用効果)
この発明の作用効果としては、位置検出手段が複数有り、これにより出力されるトリガ信号で同期を取って像情報を撮像するので、各像情報のずれ量は各位置検出手段の配置間隔に依存することにより、この複数の位置検出手段の配置間隔から前記読み出し手段が読み出す前記各像情報の領域を補正することができると共に、透過波長選択手段は撮像終了後にフィルタの透過波長帯域を間欠的に選択するので、確実にフィルタを通過した像情報を撮像することができる点が挙げられる。
【0297】
(6)前記補正手段は、対象物を検知しトリガ信号を出力する位置検出手段と、この位置検出手段がトリガ信号を出力した後、像情報を格納した前記記憶手段のうち透過する光の波長帯域が隣り合うフィルタに対応する記憶手段から像情報を読み出し相関演算を行う相関演算手段とを有し、前記トリガ信号と相関演算手段の相関結果とから前記読み出し手段が読み出す前記各像情報の領域を補正することを特徴する上記(1)記載の色分類装置。
【0298】
(対応する実施の形態)
この発明は実施の形態8、9が対応する。
【0299】
図23に示すように相関演算手段で相関演算を行う前に各記憶手段から読み出した像情報に対してエッジ抽出を行っても良い。エッジ抽出を行うことによって、各記憶手段に記憶された像情報のずれ量を更に正確に把握して補正手段で補正することができる。
【0300】
(作用効果)
この発明の作用効果としては、各記憶手段に記憶されている像情報は単一スペクトルによる像情報であり、スペクトルが近い2つの像情報間で相関を取れるので、より良い相関結果を得ることができると共に、対象物が一方向のみに動いた場合は元より、対象物が回転しながら移動するような場合にも補正手段による補正が可能となる点が挙げられる。
【0301】
(7)前記光学的バンドパスフィルタは、電気制御手段と、この電気制御手段により透過する波長を制御する波長可変フィルタとから構成することを特徴とする上記(1)〜(6)のいずれか一つに記載に色分類装置。
【0302】
(対応する実施の形態)
この発明は実施の形態4が対応する。
【0303】
(作用効果)
この発明の作用効果としては、電気制御手段により、対象物が撮像エリアに入った段階から作用し透過する波長を変える点が挙げられる。
【0304】
(8)対象物の色成分を分類する色分類装置において、結像光学系と、この結像光学系の結像面に配置した撮像素子と、この撮像素子の光学的にすぐ前側に配置し帯状に形成されたそれぞれ異なる光の透過波長帯域を有する複数の帯状光学的バンドパスフィルタと、対象物を搬送させる手段と、この搬送させる手段により前記撮像素子上の対象物の像が前記帯状光学的バンドパスフィルタの幅分だけ動く周期で、前記撮像素子で撮像した各像情報を格納する記憶手段と、前記各帯域のフィルタを通過した像情報が格納された記憶手段から前記各像情報の内の対象物の特定部分に対応する領域を読み出す読み出し手段と、を有することを特徴とする色分類装置。
【0305】
(対応する実施の形態)
この発明は実施の形態5(変形例を含む)が対応する。
【0306】
(作用効果)
この発明の作用効果としては、一つの撮像素子の前面に帯状の光学的バンドパスフィルタを配置することにより、対象物を帯状に分割して取り込むので、1回で撮像できないような大きな対象物にも対応できると共に、フィルタを回転させるなどのメカニカルな機構が不要になる点が挙げられる。
【0307】
(9)前記位置検出手段は、対象物の通過が予想されるエリアを撮像し像情報を得る監視撮像手段と、この監視撮像手段が対象物の存在しない背景部を撮像し、得た像情報の輝度情報を平均化し予め格納する背景情報格納手段と、前記監視撮像手段が撮像し、得た像情報の輝度情報を平均化する像情報平均化手段と、前記背景情報格納手段が格納する平均化された背景部の像情報の輝度情報と、前記像情報平均化手段が平均化した像情報の輝度情報とを比較する比較手段とを有し、この比較手段の比較の結果に差が生じた時には前記対象物の通過が予想されるエリアに対象物が存在するとしてトリガ信号を出力することを特徴とする上記(5)又は(6)記載の色分類装置。
【0308】
(対応する実施の形態)
この発明は実施の形態6(変形例を含む)が対応する。
【0309】
この発明において、監視撮像手段は撮像手段の一部を兼用しても良い。
【0310】
(10)前記位置検出手段は、対象物の通過が予想されるエリアを撮像し像情報を得る監視撮像手段と、前記監視撮像手段が撮像し、得た像情報のパターンを抽出する抽出手段と、前記抽出手段が抽出した特定パターン情報を対象物の特定パターンか否かを判定する判定手段とを有し、この判定手段が前記特定パターン情報が対象物のものと判定した時には前記対象物の通過が予想されるエリアに対象物が存在するとしてトリガ信号を出力することを特徴とする上記(5)又は(6)記載の色分類装置。
【0311】
(対応する実施の形態)
この発明は実施の形態6(変形例を含む)が対応する。
【0312】
この発明において、特定パターンは例えば、エッジ情報で良い。
【0313】
(11)対象物の色成分を分類する色分類装置において、結像光学系と、この結像光学系の結像面に長手方向が略平行となるように配置した複数のラインセンサと、前記ラインセンサより光学的な前側に各ラインセンサに一色づつ対応して配置したそれぞれ異なる光の透過波長帯域を有する複数の光学的バンドパスフィルタと、前記ラインセンサで撮像した各像情報を格納する記憶手段と、前記各帯域フィルタを通過した像情報が格納された記憶手段から前記各像情報の内の対象物に対応する領域を読み出す読み出し手段と、前記記憶手段に格納された対象物の各像情報の位置ずれに応じて、前記読み出し手段が読み出す前記各像情報の領域を補正する補正手段とを有することを特徴とする色分類装置。
【0314】
(対応する実施の形態)
この発明は実施の形態10が対応する。
【0315】
(作用効果)
この発明の作用効果としては、記憶手段に複数のラインセンサによって対象物の各バンドの像情報を格納すると共に、各像情報のずれ量が各ラインセンサの配置間隔に依存していることによって、この各ラインセンサの配置間隔から前記読み出し手段が読み出す前記各像情報の領域を補正することができる点が挙げられる。
【0316】
(12)前記補正手段は、対象物を検知しトリガ信号を出力する位置検出手段と、前記ラインセンサの配置間隔を記憶するセンサ間隔記憶手段とから構成され、前記トリガ信号と記憶された前記ラインセンサの配置間隔から前記読み出し手段が読み出す前記各像情報の領域を補正することを特徴とする上記(11)記載の色分類装置。
【0317】
(対応する実施の形態)
この発明は実施の形態10が対応する。
【0318】
(13)更に、前記撮像手段の露光時間を調節する露光時間調節手段と、前記結像光学系のFナンバーを制御するFナンバー制御手段と、前記光学的バンドパスフィルタが配置される面上の前記結像光学系の撮像光束が、前記露光時間調節手段が調節した露光時間の間、前記光学的バンドパスフィルタをケラレなく通過するように、前記透過波長選択手段、前記露光時間調節手段、前記Fナンバー制御手段のうち少なくとも一つを制御する制御手段とを有することを特徴とする上記(1)又は(2)記載の色分類装置。
【0319】
(対応する実施の形態)
この発明は実施の形態11が対応する。
【0320】
(作用効果)
この発明の作用効果としては、制御手段の制御によって、露光時間中にフィルタが移動しても移動するフィルタの通過領域がオーバラップする部分を撮像光束がケラレなく通過し撮像素子に到達するが、もし、ケラレが発生するような場合には、フィルタの交換速度を遅くする、又は、露光時間を短くする、又は、Fナンバーを小さくし入射瞳経を小さくする、のうち少なくとも一つを行って、ケラレがなくなるように制御すればよい点が挙げられる。
【0321】
(14)更に、各光学的バンドパスフィルタによる撮像光束のケラレ情報を記憶するケラレ情報記憶手段と、前記撮像素子で撮像した各像情報を前記記憶手段に格納する前に、前記ケラレ情報記憶手段に記憶された情報を用いて補正する感度補正手段とを有することを特徴とする上記(13)記載の色分類装置。
【0322】
(対応する実施の形態)
この発明は実施の形態11の変形例(図29)が対応する。
【0323】
(作用効果)
この発明の作用効果としては、上記(13)記載の制御手段の制御によっても、何らかの理由によってケラレが発生することがあり得ると共に、ケラレが発生する理由としては、例えば、制御に直接関係しない要因の変化(例えば、回転フィルタの変形等)が考えられ、ケラレが発生すると照明ムラが発生したような対象物の像情報中の輝度ムラが生ずるので、このような場合に、対象物を撮像しない状態で撮像光束のケラレ情報のみを取り込み、これをケラレ情報記憶手段に記憶すると共に、この情報を用いて、撮像素子で撮像した各像情報を記憶手段に格納する前に補正してケラレがない像情報に近づける点が挙げられる。
【0324】
(15)更に、前記光学的バンドパスフィルタのフィルタ取り付け誤差に伴う前記結像光学系の結像位置ずれを各透過波長帯域のフィルタに対応して格納するフィルタずれ量記憶手段を有し、前記読み出し手段はこのフィルタずれ量記憶手段に格納されている結像位置ずれ情報を用いて各透過波長帯域ごとに読み出し位置を補正することを特徴とする上記(1)又は(2)記載の色分類装置。
【0325】
(対応する実施の形態)
この発明は実施の形態2が対応する。
【0326】
【発明の効果】
従って、以上詳述したように本発明によれば、撮像位置にずれが生じるような場合に、その撮影画像の位置ずれを補正して得られるマルチスペクトル画像データに基いて所望の分類演算を行うようにすることにより、このような場合でも対象物の色分類を正確に行うことができるようにした色分類装置及びその領域補正方法を提供することが可能となる。
【図面の簡単な説明】
【図1】この発明の第1の実施の形態を示す概略構成図。
【図2】この発明の第1の実施の形態における位置ずれ補正部を示す概略構成図。
【図3】この発明の第1の実施の形態における位置ずれ補正部の動作説明図。
【図4】この発明の第1の実施の形態における位置ずれ補正部の動作説明図。
【図5】この発明の第1の実施の形態における位置ずれ補正部の変形例の動作説明図。
【図6】この発明の第2の実施の形態における位置ずれの説明図。
【図7】この発明の第2の実施の形態における位置ずれ補正部を示す概略構成図。
【図8】この発明の第3の実施の形態を示す概略構成図。
【図9】この発明の第3の実施の形態における位置ずれ補正部を示す概略構成図。
【図10】この発明の第4の実施の形態を示す概略構成図。
【図11】この発明の第4の実施の形態における位置ずれ補正部を示す概略構成図。
【図12】この発明の第5の実施の形態を示す概略構成図とそれの位置ずれ補正部の動作説明図。
【図13】この発明の第5の実施の形態における位置ずれ補正部を示す概略構成図。
【図14】この発明の第5の実施の形態における位置ずれ補正部の変形例のを示す概略構成図。
【図15】この発明の第6の実施の形態における位置ずれ補正部を示す概略構成図。
【図16】この発明の第6の実施の形態における監視領域の説明図。
【図17】この発明の第6の実施の形態における画像位置検出部を示す概略構成図。
【図18】この発明の第7の実施の形態を示す概略構成図。
【図19】この発明の第7の実施の形態における位置ずれ補正部の動作説明図。
【図20】この発明の第6の実施の形態の変形例における監視領域の説明図。
【図21】この発明の第8の実施の形態における位置ずれ補正部を示す概略構成図。
【図22】この発明の第8の実施の形態におけるフィルタ配列の説明図。
【図23】この発明の第8の実施の形態における位置ずれ補正部の変形例を示す概略構成図。
【図24】この発明の第9の実施の形態における位置ずれ補正部を示す概略構成図。
【図25】この発明の第9の実施の形態における位置ずれ補正部の動作説明図。
【図26】この発明の第10の実施の形態を示す概略構成図。
【図27】この発明の第11の実施の形態の概念説明図。
【図28】この発明の第11の実施の形態における位置ずれ補正部を示す概略構成図。
【図29】この発明の第11の実施の形態における位置ずれ補正部の変形例を示す概略構成図。
【図30】この発明の第12の実施の形態を示す概略構成図。
【図31】この発明の第12の実施の形態における位置ずれ補正部を示す概略構成図。
【図32】本発明の先願による色分類装置の構成を示す図である。
【図33】(A)は先願による色分類装置に使用される回転色フィルタに使用される複数のバンドパスフィルタの特性を示す図であり、(B)及び(C)はそれぞれ回転色フィルタの構成を示す図である。
【図34】図27中の分類演算回路のブロック構成図である。
【図35】図29中の輝度成分抽出部の構成を示す図である。
【図36】(A)及び(B)はそれぞれ図35中の補正回路の構成を示す図であり、(C)は図3中の分類演算部及び分類判定部の構成を示す図である。
【図37】2クラスの対象物を示す図である。
【図38】先願による色分類装置が学習モードで決定する分類境界を示す図である。
【図39】分類したいクラス未知の対象物を示す図である。
【図40】先願における分類演算部の別の構成例を示す図である。
【図41】従来の色判定装置における分類スペクトルの特性を有するフィルタの構成を示す図である。
【図42】分類スペクトルを説明するための図である。
【図43】本発明の課題を説明するための図である。
【符号の説明】
1〜N…フレームメモリ(1〜N)、
101…画像入力部、
102…回転フィルタ、
103…モータ駆動回路、
104…モータ、
105…撮像素子ドライバ、
106…増幅器、
107…撮像素子、
108…結像光学系(レンズ)、
109…フィルタ位置検出部、
110…コントロール部、
111…アナログ/デジタル変換器、
112…インタフェース回路、
113…画像処理部、
114…搬送部、
115…位置検出センサ、
116…対象物(被写体)、
117…切替スイッチ、
118…読出位置計算部、
119…読み出し制御部、
120…制御部、
121…分類演算部、
122…位置ずれ補正部。

Claims (6)

  1. 対象物の色成分を分類する色分類装置において、
    結像光学系と、
    この結像光学系の結像面に配置した撮像素子と、
    この撮像素子より光学的な前側に配置され、異なる複数の光の透過波長帯域を選択可能な光学的バンドパスフィルタと、
    この複数の光の透過波長帯域から一つずつ透過波長帯域を選択する透過波長選択手段と、
    この透過波長選択手段が選択した透過波長帯域を有する前記光学的バンドパスフィルタを通過し前記撮像素子で撮像した像情報と前記透過波長選択手段が選択した透過波長帯域情報とを対応して格納する記憶手段と、
    前記光学的バンドパスフィルタによる撮像光束のケラレに応じた感度ムラを補正する感度補正手段と、
    前記記憶手段から前記像情報を前記透過波長帯域毎に各々読み出す読み出し手段と、
    前記読み出し手段で読み出された各々の像情報に含まれる、前記対象物の各々の像情報間での撮像する前記対象物の移動に伴う位置ずれ、または前記対象物の各々の像情報間における前記光学的バンドパスフィルタのフィルタ取り付け誤差に伴う前記結像光学系の結像位置ずれに応じて、前記読み出し手段が読み出す領域を補正する補正手段と
    を有し、
    前記光学的バンドパスフィルタは、通過帯域の異なるバンドパスフィルタが複数備えられて当該の通過帯域の異なるバンドパスフィルタのいずれかを回転駆動により撮影位置に移動させることにより異なる複数の光の透過波長帯域を選択可能な回転フィルタ、または電気制御手段により透過する波長を制御することで透過波長を選択可能な波長可変フィルタで構成されていることを特徴とする色分類装置。
  2. 前記補正手段は、
    前記記憶手段から、透過する光の波長帯域が隣り合うフィルタに対応する像情報を各々読み出し、該読み出した透過する光の波長帯域が隣り合うフィルタに対応する各々の像情報間における平行移動量又は回転駆動量の少なくとも一方についての相関を求める相関演算を行う相関演算手段を有し、
    前記相関演算手段の相関演算結果から求められた、前記相関演算を行った各々の像情報間の位置ずれに応じて、前記読み出し手段が読み出す領域を補正することを特徴する請求項1記載の色分類装置。
  3. 更に、
    前記光学的バンドパスフィルタによる撮像光束のケラレ情報を記憶するケラレ情報記憶手段と、
    前記撮像素子で撮像した各像情報を前記記憶手段に格納する前に、前記ケラレ情報記憶手段に記憶された情報を用いて補正する感度補正手段とを有することを特徴とする請求項1記載の色分類装置。
  4. 更に、
    前記光学的バンドパスフィルタの各透過波長帯域毎に予め測定しておいた前記光学的バンドパスフィルタのフィルタ取り付け誤差に伴う前記結像光学系の結像位置ずれを前記光学的バンドパスフィルタの各透過波長帯域に対応して格納するフィルタずれ量記憶手段を有し、
    前記読み出し手段はこのフィルタずれ量記憶手段に格納されている結像位置ずれ情報を用いて各透過波長帯域毎に読み出し位置を補正することを特徴とする請求項1記載の色分類装置。
  5. 記透過波長選択手段が選択した透過波長帯域を有する前記光学的バンドバスフィルタを通過し、前記撮像素子で撮像した各像情報であって、前記補正手段により補正された前記各像情報を、測色値に変換可能とすることを特徴とする請求項1乃至4のいずれか一つに記載の色分類装置。
  6. 通過帯域の異なるバンドパスフィルタが複数備えられて当該の通過帯域の異なるバンドパスフィルタのいずれかを回転駆動により撮影位置に移動させることにより異なる複数の光の透過波長帯域を選択可能な回転フィルタ、または電気制御手段により透過する波長を制御することで透過波長を選択可能な波長可変フィルタで構成されている光学的バンドパスフィルタを備え、対象物の色成分を分類する色分類装置の領域補正方法であって、
    前記光学的バンドパスフィルタのうちから一つずつ透過波長帯域を選択し、
    前記選択した透過波長帯域を有する前記光学的バンドパスフィルタを通過した像情報を撮像し、
    前記撮像した各像情報に対して、前記光学的バンドパスフィルタによる撮像光束のケラレに応じた感度ムラを補正し、
    前記感度ムラを補正した像情報と前記選択した透過波長帯域情報とを対応して記憶手段に格納し、
    前記記憶手段から前記像情報を前記透過波長帯域毎に各々読み出し、
    前記読み出された各々の像情報に含まれる、前記対象物の各々の像情報間での撮像する前記対象物の移動に伴う位置ずれ、または前記対象物の各々の像情報間における前記光学的バンドパスフィルタのフィルタ取り付け誤差に伴う前記結像光学系の結像位置ずれを算出し、
    前記算出された対象物の各々の像情報間の位置ずれに応じて、前記記憶手段から読み出す領域を補正することを特徴とする色分類装置の領域補正方法。
JP31642295A 1995-12-05 1995-12-05 色分類装置及びその領域補正方法 Expired - Fee Related JP3744989B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP31642295A JP3744989B2 (ja) 1995-12-05 1995-12-05 色分類装置及びその領域補正方法
US08/753,783 US5706093A (en) 1995-12-05 1996-12-02 Color classification apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP31642295A JP3744989B2 (ja) 1995-12-05 1995-12-05 色分類装置及びその領域補正方法

Publications (2)

Publication Number Publication Date
JPH09159529A JPH09159529A (ja) 1997-06-20
JP3744989B2 true JP3744989B2 (ja) 2006-02-15

Family

ID=18076910

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31642295A Expired - Fee Related JP3744989B2 (ja) 1995-12-05 1995-12-05 色分類装置及びその領域補正方法

Country Status (2)

Country Link
US (1) US5706093A (ja)
JP (1) JP3744989B2 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2236268A1 (en) 1995-11-30 1997-06-05 Chromavision Medical Systems, Inc. Method and apparatus for automated image analysis of biological specimens
US6718053B1 (en) 1996-11-27 2004-04-06 Chromavision Medical Systems, Inc. Method and apparatus for automated image analysis of biological specimens
EP1177523B1 (en) 1999-04-13 2013-08-21 Chromavision Medical Systems, Inc. Histological reconstruction and automated image analysis
US6445817B1 (en) 1999-07-13 2002-09-03 Chromavision Medical Systems, Inc. Apparatus for counting color transitions and areas in real time camera images
WO2003042788A2 (en) * 2001-11-13 2003-05-22 Chromavision Medical Systems, Inc. A system for tracking biological samples
US20050037406A1 (en) * 2002-06-12 2005-02-17 De La Torre-Bueno Jose Methods and apparatus for analysis of a biological specimen
US7272252B2 (en) * 2002-06-12 2007-09-18 Clarient, Inc. Automated system for combining bright field and fluorescent microscopy
US8712118B2 (en) * 2003-04-10 2014-04-29 Carl Zeiss Microimaging Gmbh Automated measurement of concentration and/or amount in a biological sample
US20040202357A1 (en) 2003-04-11 2004-10-14 Perz Cynthia B. Silhouette image acquisition
US7653260B2 (en) * 2004-06-17 2010-01-26 Carl Zeis MicroImaging GmbH System and method of registering field of view
US8582924B2 (en) * 2004-06-30 2013-11-12 Carl Zeiss Microimaging Gmbh Data structure of an image storage and retrieval system
CN101023358A (zh) * 2004-09-16 2007-08-22 皇家飞利浦电子股份有限公司 一种用于分析对象的成像方法及装置
US20070031043A1 (en) * 2005-08-02 2007-02-08 Perz Cynthia B System for and method of intelligently directed segmentation analysis for automated microscope systems
US20070091109A1 (en) * 2005-09-13 2007-04-26 Roscoe Atkinson Image quality
JP4915071B2 (ja) * 2005-09-22 2012-04-11 株式会社ニコン 顕微鏡、およびバーチャルスライド作成システム
US8260053B2 (en) * 2007-12-10 2012-09-04 Symbol Technologies, Inc. Device and method for virtualizing an image sensor
KR20100126379A (ko) * 2008-02-13 2010-12-01 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 면적이 스케일링된 광 검출기들을 구비하는 컬러 검출기
EP2090905A1 (en) * 2008-02-15 2009-08-19 Eltronix Co., Inc. Passive millimeter wave system for detecting concealed objects
US8346574B2 (en) 2008-02-29 2013-01-01 Dako Denmark A/S Systems and methods for tracking and providing workflow information
CN103575917A (zh) * 2013-10-15 2014-02-12 中国农业大学 一种多光谱图像采集方法和装置
EP3346229B1 (en) * 2017-01-09 2022-03-30 Unity Semiconductor GmbH Method and assembly for determining the thickness of layers in a sample stack
CN110161786B (zh) * 2018-02-12 2021-08-31 深圳富泰宏精密工业有限公司 光投射模块、三维影像感测装置及其感测方法
US11049224B2 (en) * 2018-12-05 2021-06-29 Microsoft Technology Licensing, Llc Automated real-time high dynamic range content review system

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5221959A (en) * 1990-03-16 1993-06-22 Olympus Optical Co., Ltd. Color discrimination data input apparatus
US5164795A (en) * 1990-03-23 1992-11-17 Sunkist Growers, Inc. Method and apparatus for grading fruit

Also Published As

Publication number Publication date
JPH09159529A (ja) 1997-06-20
US5706093A (en) 1998-01-06

Similar Documents

Publication Publication Date Title
JP3744989B2 (ja) 色分類装置及びその領域補正方法
JP3469619B2 (ja) 色分類装置
US9025038B2 (en) Image capturing apparatus, image processing method and program
CN101971072B (zh) 图像传感器和焦点检测装置
US6750435B2 (en) Lens focusing device, system and method for use with multiple light wavelengths
US5986767A (en) Colorimetric system having function of selecting optimum filter from a plurality of optical bandpass filters
CN105306786A (zh) 用于具有相位检测像素的图像传感器的图像处理方法
JPH02121577A (ja) ビデオカメラ
CN102246505A (zh) 图像处理设备和图像处理方法以及数据处理设备和数据处理方法
EP2404209A1 (en) Temporally aligned exposure bracketing for high dynamic range imaging
US10018890B2 (en) Imaging apparatus, iris device and imaging method
JPH0961244A (ja) 色分類装置及び色分類方法
JPH0462061B2 (ja)
EP2769538B1 (en) Motion picture scanning system
US6437335B1 (en) High speed scanner using multiple sensing devices
CN105324991A (zh) 摄像装置、图像处理装置、摄像方法和图像处理方法
US20070030377A1 (en) Imaging device
JP2003309856A (ja) 撮像装置および方法、記録媒体、並びにプログラム
JP3854654B2 (ja) 色分類装置及び色分類方法
JP2012138652A (ja) チューナブルフィルタカメラ及びスキャン装置
JP2770521B2 (ja) 焦点位置検出方式
WO2013111824A1 (ja) 画像処理装置、撮像装置及び画像処理方法
US7064779B1 (en) Imaging system combining multiple still images for higher resolution image output
JP2005156431A (ja) 板幅測定装置および板幅測定方法
JP6000738B2 (ja) 撮像装置及び撮像装置の合焦方向判定方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040518

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050419

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050906

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051007

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051116

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081202

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091202

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees