JP3653588B2 - Building material appearance color inspection method and apparatus - Google Patents

Building material appearance color inspection method and apparatus Download PDF

Info

Publication number
JP3653588B2
JP3653588B2 JP2000224860A JP2000224860A JP3653588B2 JP 3653588 B2 JP3653588 B2 JP 3653588B2 JP 2000224860 A JP2000224860 A JP 2000224860A JP 2000224860 A JP2000224860 A JP 2000224860A JP 3653588 B2 JP3653588 B2 JP 3653588B2
Authority
JP
Japan
Prior art keywords
building material
inspection
color tone
appearance color
angle parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2000224860A
Other languages
Japanese (ja)
Other versions
JP2002039863A (en
Inventor
朋広 安田
祐治 佐久間
新治 畑澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Electric Works Co Ltd
Original Assignee
Matsushita Electric Works Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Works Ltd filed Critical Matsushita Electric Works Ltd
Priority to JP2000224860A priority Critical patent/JP3653588B2/en
Publication of JP2002039863A publication Critical patent/JP2002039863A/en
Application granted granted Critical
Publication of JP3653588B2 publication Critical patent/JP3653588B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Spectrometry And Color Measurement (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、建材表面の分光成分を計測して外観色調を求め、外観色調により製品の合否を判定する建材色調検査方法及びその装置に関する。
【0002】
【従来の技術】
従来の住宅外装壁材の検査方法としては、検査対象に対し照明方向と観測方向を固定化して、カメラで画像を撮像し、同じ位置の画素を統計的に処理して色調の検査を行うものがある。
【0003】
この方法によれば、画素の色頻度分布を求めることで、より確実に板物体の測色評価が可能になる。また、測色対象となる板物体が長尺のものや、凹凸表面形状を有するものに対しても有効である。
【0004】
【発明が解決しようとする課題】
ところが、その被検査物である建材が実際に使用される屋外等では、照明方向、観測方向の違いにより、色むら、光沢の違いなどの欠陥、複数枚並べたときの色のばらつきなどが目立つ場合があるため、被検査物に対する照明方向と観測方向を固定化した上記の方法では、商品の使用状態を考慮した正確な検査が実現できない。
【0005】
本発明は、かかる問題を解決すべく提案されたものであり、建材が実際に使用される条件に応じて検査条件を変えることができる、建材外観色調の検査方法および検査装置を提供することを目的とする。
【0006】
【課題を解決するための手段】
上記課題を解決するために請求項1に記載の建材外観色調検査方法では、建材表面に光を照射して表面の分光画像を撮像する際に、予め準備された観測角度パラメータと照明角度パラメータのなかから、1つ又は複数の所定の組合せを検査条件として選択し、選択した検査条件に応じて撮像した建材表面の分光画像をもとにL*a*b*に変換して外観色調を算出し、所定の検査基準データと比較照合して、建材の外観色調の合否を判定することを特徴とする。
【0007】
これにより観測角度と照明角度の様々な組合せで検査が可能となり、高精度な外観色調検査が可能となり、正確な合否判定を得ることができる。
【0008】
請求項2では、請求項1に記載の建材外観色調検査方法において、検査条件である観測角度パラメータと照明角度パラメータは、検査対象である建材の特徴に応じて、最適な組合せを選択することによって決定されることを特徴とする。所定の組合せを選択して検査するため、処理を迅速化できる。
【0009】
請求項3では、請求項1または2に記載の建材外観色調検査方法における観測角度パラメータが、施工後の状態で人が観測する方向を基準に決定されることを特徴とする。
【0010】
施工後の建材を実際に人が観測するであろう方向から観測して検査するので、使用状態が考慮され、より現実的な見え方に対する色調の検査が可能となる。
【0011】
請求項4では、照明角度パラメータが施工後の状態で太陽光が照射する方向を基準に決定されることを特徴としている。
【0012】
施工後の建材に対して実際に太陽光が照射されるであろう方向から照明照射して検査を行うので、より現実的な照射位置に対する色調の検査が可能となる。
【0013】
請求項5では、照明角度パラメータが施工後の状態で人工照明が照射する方向を基準に決定されることを特徴とする。
【0014】
施工後の建材に対して実際に街灯等の人工照明から照射されるであろう方向から照明照射して検査するので、より現実的な照射位置に対する色調の検査が可能となる。
【0015】
請求項6では、請求項1〜5のいずれかに記載の建材外観色調検査方法における観測角度パラメータと照明角度パラメータの組合せが、建材の品種あるいは品番により決定されることを特徴とする。また、請求項7では、検査条件となる観測角度パラメータと照明角度パラメータの組合せが建材の形状によって、予め最適な条件に決定されることを特徴とする。
【0016】
この結果、建材の特徴を考慮した検査が可能となる。また、観測角度パラメータと照明角度パラメータを建材の品種や形状毎に取り出せるようにしたデータベースを設けることで、効率的な検査が実現できる。
【0017】
請求項8では、検査条件として建材に照射する照明の光源色をさらに含んでおり、この照明光源色を選択して検査できるようにしている。
【0018】
これにより、建材に対して照射される太陽光や人工照明の光源色を考慮することができるので、より現実的な環境で色調の検査が可能となる。
【0019】
請求項9では、選択された検査条件で撮像された複数の建材の分光画像より算出した外観色調を所定の部位ごとに統計処理し、各部位ごとの色調ばらつきを求め、予め準備された検査基準に照らして合否を判断することを特徴とする。これにより、建材を複数枚施工したときに、色調差が目立つような隣り合う建材の色調のばらつきを検査することができる。
【0020】
請求項10に記載の建材外観色調検査装置は、観測角度パラメータの可変手段を備えた分光画像撮像装置と、照明角度パラメータの可変手段を備えた照明装置と、撮像装置及び照明装置に対して建材を相対的に移動させる移動手段と、分光画像記憶手段と、色調演算手段と、色調判定手段とを備えた建材外観色調検査装置であって、観測角度パラメータと照明角度パラメータの組合せを可変させて、前記移動手段により建材を相対的に移動させながら、建材表面の分光画像を取り込み、分光画像をもとにL*a*b*に変換して外観色調を算出し、所定の検査基準データと比較照合し、建材外観を検査することを特徴としている。
【0021】
この装置によれば、撮像装置の観測角度と照明装置の照明角度を自由に変化させることができるので、高精度で効率的な色調検査ができる。
【0022】
請求項11に記載の建材外観色調検査装置には、建材をその上に載置して回転させる回転機構をさらに備えていることを特徴とする。これにより、あらゆる角度から照明照射、観測ができるようにしている。
【0023】
【発明の実施の形態】
以下に、本発明の実施の形態を図面とともに説明する。
【0024】
図1は、本発明の建材外観色調検査装置20の要部を示す図である。
【0025】
図において、1は分光カメラで、建材の分光成分を撮像でき、そのための観測角度を変化させることができる。2は照明器具であり、光の照射角度を変化させることができる。また、Kは検査対象となる建材である。ここで、対象とする建材Kには、外装壁材、屋根材(瓦)、扉、内装壁材など建材として外観色調検査が必要なものを含む。
【0026】
この図では、検査条件を特定のパラメータで規定するため、建材Kの表面中心に向けて、分光カメラ1と照明器具2を向けている。建材Kの中心点に立てた垂線を基準として、αxは垂線に対する観測角度パラメータ(垂直方向)、αyは観測角度パラメータ(水平方向)であり、この2つのパラメータαx、αyで観測者が位置する観測方向が特定できる。同様に、θxは垂直方向の照明角度パラメータ、θyは水平方向の照明角度パラメータであり、これら2つのパラメータによって太陽や街灯などの光源を特定している。
【0027】
図1に示すように、この装置20は、分光カメラ1、照明器具2が矢印方向に移動して、観測角度と照明角度をあらゆる角度に変化できる可変手段を備えており、検査対象となる建材Kを、図2に示したコンベヤ等で構成された移動手段3で移送しながら、検査条件を変えながら表面の分光画像が撮像できるようになっている。なお、建材Kを固定して、分光カメラ1と照明器具2を移動させるようにしてもよい。
【0028】
また、分光カメラには、対象ライン上を検出して各点ごとの分光スペクトルを画像化して検出するラインセンサータイプや、カラーカメラのように対象面上の領域を複数の波長帯に分けた分光画像で撮像するエリアセンサータイプなどがある。
【0029】
図10に、ラインセンサータイプの分光カメラの要部構成例を表わす斜視図を示す。
【0030】
図10に示すように、この分光カメラ1は、プリズム1aと、CCD(受光素子)1bとを含んで構成される。分光カメラ3では、スリット1cを通過した光をプリズム1aで縦方向に分光させ、分光画像が撮像される。この撮像された分光画像は、たとえば各波長ごとに256分割されたもので、CCD1bの画素に映し出される。
【0031】
図3は、建材外観色調検査装置20の内部構成を示す図である。
【0032】
図3において、4はマイクロコンピュータなどで構成され、各制御部全体を制御する全体制御部、5は分光画像を記憶する分光画像記憶部、6は分光カメラを制御する観測機構制御部、7は照明器具2を制御する照明機構制御部、8は検査対象Kを搬送させるための搬送部を制御する被検査物搬送制御部、9は分光画像より色調を算出する色調演算部、10は色調の良・不良を判定する色調判定部、11は色調を検査するための検査基準データを記憶させた色調規格データである。
【0033】
このような装置20によれば、検査対象である建材Kを移動手段3で移送させながら、建材Kの全体に対してある角度で色成分を計測することが出来、その際、観測機構制御部6と照明機構制御部7で分光カメラ1と照明器具2を移動させて、第1の検査条件を設定し、検査対象全体に対して色成分を計測する。この計測を検査条件を変えて繰返し、所定の検査条件のすべての組合せ角度で検査対象全体を計測する。
【0034】
分光カメラ1で取り込んだ分光画像は分光画像記憶部5に記憶され、色調演算部9で分光画像をL*a*b*(エルスター、エースター、ビースター)に変換し、次に色調判定部10で、変換した値と、同様の方法で良品の分光画像より求めた色調データまたは規格データ11とを比較し、製品の色調の良・不良を判定する。
【0035】
この処理を、同一位置において観測角度パラメータαx、αyと照明角度パラメータθx、θyの1組、又は組合せ角度が異なる所定の検査条件でのすべての分光画像について実施し、判定結果がすべての組合せについて良と判定されたものを良品とする。なお、全組合せではなく所定の割合以上の組合せで合格であれば良品と判定してもよい。
【0036】
上記検査を実施するための手順として、▲1▼同一位置で検査条件を順次変えて検査する、▲2▼同じ検査条件で位置を変えながら検査する、の2通りがあり、いずれで実施してもよい。しかし、同一位置で観測角度、照明角度を切り換えるのは時間を要するため、検査条件である観測角度、照明角度のパラメータ1組ごとに、建材Kの全面について分光画像を検出し記憶しておき、観測角度、照明角度のパラメータを順次変更設定し、すべての検査条件について分光画像の検出を繰返す方(すなわち▲2▼の方)が効率的な検査が実施できる。
【0037】
このような装置によれば、照明角度をさまざまに変化させて照明を照射した際に、様々な角度から観測した色調の画像データが得られるので、それらを所定の判断基準と照らせれば、見え方の違いで発見しにくい色むらも見つけることができ、高精度な検査が実現できる。
【0038】
この装置では、評価基準を定量的に分析するため、L*a*b*を用いている。このようなL*a*b*は、3次元の座標軸で表現される色調の程度を示す尺度であり、明るさを表わすL軸、心理的な4原色の赤〜緑、黄〜青をそれぞれ色度軸であるa軸、b軸で構成される。
【0039】
光の三原色RGBでは色の差を数値化しにくく、色調の数値解析に不便であるが、L*a*b*は、このRGBの欠点を除去したものであるため、検査対象の色調と規格データを数値比較するのに向いている。
【0040】
また、この建材外観色調検査装置20は、検査する観測角度と照明角度を製品の品種あるいは品番ごとに予め登録した品番検査条件データ部12を備え、ある製品を検査する場合は、その製品について登録された1種又は複数種の角度条件で検査を行う。
【0041】
この品種あるいは品番ごとに登録された条件データ12は、ユーザからの苦情等に基づき設定されデータベース化されたものが使用でき、たとえば図4に示すような一覧表の形式で表わされる。
【0042】
品種や品番ごとに予め定められた角度の条件で検査をするので、あらゆる角度の検査と異なり短時間で行うことができ、なおかつ、条件は経験則等に基づくものなので検査精度も落ちることがない。
【0043】
図5は、人が住宅の屋根瓦を観測している図である。また図6(a)は、太陽光が住宅の外装壁材に照射している図であり、図6(b)は、街灯の光が外装壁材に照射している図である。
【0044】
建材に対するユーザの苦情の大半は、実際に建材が施工された状態で発生するため、本実施例に示す検査装置20では、図5、6のような施工後に考えられる状態と同じ条件で検査を実施している。
【0045】
太陽光の場合は、時刻ごとの太陽の方向で定まる照明角度と、朝夕で色の違いが生じるため光源色とを考慮して検査し、街灯の場合は、実際の街灯位置と街灯の光源色を考慮して検査する。
【0046】
また、観測角度は、標準的な人の身長と、人が移動できる範囲とを考慮して設定することができる。
【0047】
このように、現実に色調欠陥が発見されるであろう観測角度と照明角度を設定することで実質的な検査が行え、事実上無意味な検査を省略することができ、効率的な検査が実現できる。
【0048】
図7は、表面に凹凸形状を有する建材を示す斜視図である。
【0049】
外装壁材として使用される建材Kの表面は、目地部K1とトップ部K2を含んで構成される。各部は表面角度が異なるため、問題となる照明方向、観測方向が異なる場合もあり、色調検査を行うための照明方向と観測方向を様々に組合せて検査する必要がある。したがって、目地部K1、トップ部K2やこれらの境界部などの色調の検査基準を、必要に応じて各部位ごとに設定している。
【0050】
また、規格データすなわち検査基準データは、同装置で良品を検出させ、複数枚の良品の各部位ごとの色調ばらつき(3σ)を求め、これを基準として決定する方法がある。また、同様なタイプの建材の検査基準データを参照して検査基準を決定してもよい。
【0051】
他の建材外観色調検査装置では、形状別に検査条件データ(不図示)を設けて、考えられる角度条件を予め設定している。また、品番検査条件データと形状別検査条件データの両方を設けて、いずれか一方、あるいは両方を用いて検査してもよい。
【0052】
これにより、どのような表面形状の建材であっても、高精度で高速な検査が可能となる。
【0053】
また、検査装置20は、複数の建材の分光画像より算出した各部位ごとの色調データを統計処理して、各建材の各部位ごとの色調ばらつきを検査している。
【0054】
具体的には、建材を1枚1枚検査した後に、各建材の各部位を合わせて、各部位ごとに色調データの統計処理をして、色調のばらつきを求める。たとえば、各部位についてばらつきを示す標準偏差(σ)の3σが、各部位の規格データ以内であれば良品として出荷する。
【0055】
その結果、図8のように通常外装壁材のごとく必ず複数枚を並べて使用するものについても、色調ばらつきが安定し現実的で有効な検査が可能となる。また、図8に示す各枚の隣合わせになる各部位間の色調差も目立ちやすく問題であるが、このような各部位間の色調差も検査が可能となる。
【0056】
また、図8のように並べたときの色調データを画像表示して、目視で、このばらつき度合いや色むらを確認、検査できるようにしてもよい。
【0057】
図9は、建材が回転可能な建材外観色調検査装置30の要部を示す図である。
【0058】
検査対象Kを回転テーブル13等で構成された回転機構により回転させることで、全方向の検査を可能としている。
【0059】
【発明の効果】
以上の説明からも理解できるように、請求項1〜9に記載の建材外観色調検査方法、又は請求項10、11に記載の建材外観色調検査装置によれば、予め準備された観測角度パラメータと照明角度パラメータのなかから、1つ又は複数の所定の組合せを検査条件として検査しているので、見え方の違いで発見しにくい色むらも見つけることができ、高精度な検査が実現できる。
【0060】
請求項2の方法によれば、適切な観測角度と照明角度の組合せを、建材の特徴に応じて選択して検査するようにしているので、短時間で効率的な検査が実現できる。
【0061】
請求項3によれば、建材施工後に人が観測するであろう状態を想定して観測角度を決定し検査するので、より現実的な見え方に対する色調の検査が可能となる。
【0062】
請求項4では、建材施工後に太陽光が照射されるであろう方向を想定して照明角度を決定し、請求項5では、建材施工後に人工照明から照射される方向を想定して照明角度を決定し検査するので、より現実的な照射位置に対する色調の検査が可能となる。
【0063】
請求項6によれば、観測角度と照明角度が建材の品種により決定され、これらの検査条件をユーザの苦情等に基づき設定するようにすれば、少ない検査回数で精度の高い検査が実現できる。
【0064】
請求項7によれば、観測角度と照明角度が建材の形状により決定されるため、表面形状が特殊な建材であっても、予めデータベース等に設定された角度で検査すれば、効率的な検査をすることができる。
【0065】
請求項8によれば、検査条件には観測角度、照明角度に加えて照明光源色を含んでいるので、朝夕の太陽光の色の差や街灯色の差を個別に考慮した検査が可能となる。
【0066】
請求項9によれば、複数の建材の各部位ごとの色調データを統計処理して、色調ばらつきを検査しているので、建材を複数枚施工したときに隣り合う建材の色調のばらつきを検査することができる。
【0067】
請求項11に記載の記載の建材外観色調検査装置によれば、検査対象である建材を回転可能にしているので、あらゆる角度から照明照射、観測ができる。
【図面の簡単な説明】
【図1】本発明の建材外観色調検査装置の要部を示し、照明角度と観測角度を説明する図である。
【図2】本発明の建材外観色調検査装置の要部を示す図である。
【図3】本発明の建材外観色調検査装置の内部構成例を示す図である。
【図4】建材品種別の照明角度と観測角度の組合せの一例を示す一覧表である。
【図5】施工後の建材(瓦)を人間が観測する場合の観測角度を示す図である。
【図6】(a)施工後の建材(外装壁材)に対する太陽光照射角度を示す図である。
(b)施工後の建材(外装壁材)に対する街灯照明角度を示す図である。
【図7】凹凸形状を有する建材の一例の斜視図である。
【図8】建材を複数枚並べたときの平面図である。
【図9】本発明の色調検査方法を実施するための装置の他例の要部構成を示す図である。
【図10】ラインセンサータイプの分光カメラの要部構成例を示す斜視図である。
【符号の説明】
20・・建材外観色調検査装置
1・・・分光カメラ
2・・・照明器具
αx、αy・・観測角度パラメータ
θx、θy・・照明角度パラメータ
K・・・建材
3・・・移動手段
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a building material color tone inspection method and apparatus for determining the appearance color tone by measuring a spectral component on the surface of a building material and determining the acceptability of a product based on the appearance color tone.
[0002]
[Prior art]
As a conventional inspection method for housing exterior wall materials, the lighting direction and observation direction are fixed with respect to the inspection object, an image is taken with a camera, and pixels at the same position are statistically processed to inspect the color tone. There is.
[0003]
According to this method, color measurement evaluation of a plate object can be performed more reliably by obtaining the color frequency distribution of pixels. Further, it is also effective for a plate object that is a colorimetric object and a long plate object or an uneven surface shape.
[0004]
[Problems to be solved by the invention]
However, in outdoor locations where the building material that is the object to be inspected is actually used, defects such as color irregularities and gloss differences, and color variations when multiple sheets are arranged are conspicuous due to differences in illumination direction and observation direction. Therefore, the above method in which the illumination direction and the observation direction with respect to the object to be inspected are fixed cannot realize an accurate inspection considering the use state of the product.
[0005]
The present invention has been proposed to solve such a problem, and provides a building material appearance color inspection method and inspection device capable of changing inspection conditions according to conditions in which the building materials are actually used. Objective.
[0006]
[Means for Solving the Problems]
In order to solve the above problem, in the building material appearance color tone inspection method according to claim 1, when the surface of the building material is irradiated with light and a spectral image of the surface is taken, the observation angle parameter and the illumination angle parameter prepared in advance are set. from Naka, one or select multiple predetermined combination as the test conditions, the appearance color tone by converting based on the spectral image images imaging the building material surface in accordance with the test conditions selected in L * a * b * calculated, compared against the predetermined inspection reference data, and judging the acceptance of the appearance color of the building material.
[0007]
As a result, inspection can be performed with various combinations of the observation angle and illumination angle, high-accuracy appearance color tone inspection is possible, and accurate pass / fail determination can be obtained.
[0008]
According to claim 2, in the building material appearance color inspection method according to claim 1, the observation angle parameter and the illumination angle parameter which are inspection conditions are selected by selecting an optimal combination according to the characteristics of the building material to be inspected. It is determined. Since a predetermined combination is selected and inspected, the processing can be speeded up.
[0009]
According to a third aspect of the present invention, the observation angle parameter in the building material appearance color tone inspection method according to the first or second aspect is determined based on a direction observed by a person in a state after construction.
[0010]
Since the construction material after construction is observed and inspected from the direction that a person will actually observe, the use state is taken into consideration, and the color tone can be inspected for a more realistic appearance.
[0011]
According to a fourth aspect of the present invention, the illumination angle parameter is determined based on a direction in which sunlight is irradiated in a state after construction.
[0012]
Since the construction material after construction is illuminated and inspected from the direction in which sunlight will actually be irradiated, it is possible to inspect the color tone for a more realistic irradiation position.
[0013]
According to a fifth aspect of the present invention, the illumination angle parameter is determined based on a direction in which the artificial illumination is irradiated in a state after the construction.
[0014]
Since the building material after construction is illuminated and inspected from the direction that would actually be emitted from artificial lighting such as street lamps, it becomes possible to inspect the color tone for a more realistic irradiation position.
[0015]
According to a sixth aspect of the present invention, the combination of the observation angle parameter and the illumination angle parameter in the building material appearance color tone inspection method according to any one of the first to fifth aspects is determined by the type or product number of the building material. Further, according to claim 7, the combination of the observation angle parameter and the illumination angle parameter, which are inspection conditions, is determined in advance as an optimum condition depending on the shape of the building material.
[0016]
As a result, it is possible to inspect in consideration of the characteristics of building materials. In addition, an efficient inspection can be realized by providing a database in which observation angle parameters and illumination angle parameters can be extracted for each type and shape of building material.
[0017]
In Claim 8, the light source color of the illumination irradiated to building materials is further included as inspection conditions, and this illumination light source color can be selected and inspected.
[0018]
Thereby, since the light source color of sunlight or artificial lighting irradiated to the building material can be taken into consideration, the color tone can be inspected in a more realistic environment.
[0019]
In claim 9, the appearance color tone calculated from the spectral images of the plurality of building materials imaged under the selected inspection condition is statistically processed for each predetermined part, the color tone variation for each part is obtained, and the inspection standard prepared in advance It is characterized by judging pass / fail in light of the above. Thereby, when a plurality of building materials are constructed, it is possible to inspect the variation in the color tone of adjacent building materials where the color tone difference is conspicuous.
[0020]
The building material appearance color tone inspection apparatus according to claim 10 is a spectral image imaging device provided with a means for changing an observation angle parameter, a lighting device provided with a means for changing an illumination angle parameter, a building material for the imaging device and the lighting device. Is a building material appearance color inspection apparatus comprising a moving means, a spectral image storage means, a color tone calculation means, and a color tone determination means, wherein the combination of the observation angle parameter and the illumination angle parameter is variable. The building material is relatively moved by the moving means, a spectral image of the surface of the building material is taken in , converted into L * a * b * based on the spectral image, an appearance color tone is calculated, and predetermined inspection reference data and compared against, is characterized by examining the construction Zaigaikan.
[0021]
According to this apparatus, since the observation angle of the image pickup apparatus and the illumination angle of the illumination apparatus can be freely changed, highly accurate and efficient color tone inspection can be performed.
[0022]
The building material appearance color tone inspection apparatus according to claim 11 is further provided with a rotation mechanism for placing and rotating the building material thereon. This enables illumination illumination and observation from all angles.
[0023]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
[0024]
FIG. 1 is a diagram showing a main part of a building material appearance color tone inspection apparatus 20 according to the present invention.
[0025]
In the figure, reference numeral 1 denotes a spectroscopic camera, which can image a spectral component of a building material and change an observation angle for that purpose. Reference numeral 2 denotes a lighting fixture, which can change the irradiation angle of light. K is a building material to be inspected. Here, the target building material K includes materials that require an exterior color tone inspection, such as exterior wall materials, roof materials (tiles), doors, and interior wall materials.
[0026]
In this figure, the spectroscopic camera 1 and the luminaire 2 are directed toward the center of the surface of the building material K in order to define the inspection conditions with specific parameters. Αx is an observation angle parameter (vertical direction) and αy is an observation angle parameter (horizontal direction) with respect to a vertical line set at the center point of the building material K, and the observer is located by these two parameters αx and αy. The observation direction can be specified. Similarly, θx is a vertical illumination angle parameter, θy is a horizontal illumination angle parameter, and a light source such as the sun or a streetlight is specified by these two parameters.
[0027]
As shown in FIG. 1, the apparatus 20 includes variable means that can change the observation angle and the illumination angle to any angle by moving the spectroscopic camera 1 and the luminaire 2 in the direction of the arrow, and is a building material to be inspected. A surface spectral image can be taken while changing the inspection conditions while K is transferred by the moving means 3 constituted by the conveyor or the like shown in FIG. The building material K may be fixed and the spectroscopic camera 1 and the luminaire 2 may be moved.
[0028]
The spectroscopic camera is a line sensor type that detects the target line and images the spectral spectrum of each point to detect it, or a spectral camera that divides the area on the target surface into multiple wavelength bands like a color camera. There are area sensor types that capture images.
[0029]
FIG. 10 is a perspective view illustrating a configuration example of a main part of a line sensor type spectroscopic camera.
[0030]
As shown in FIG. 10, the spectroscopic camera 1 includes a prism 1a and a CCD (light receiving element) 1b. In the spectroscopic camera 3, the light that has passed through the slit 1c is split in the vertical direction by the prism 1a, and a spectroscopic image is captured. The captured spectral image is, for example, divided into 256 for each wavelength, and is displayed on the pixel of the CCD 1b.
[0031]
FIG. 3 is a diagram illustrating an internal configuration of the building material appearance color tone inspection apparatus 20.
[0032]
In FIG. 3, 4 is composed of a microcomputer or the like, and is an overall control unit that controls the entire control unit, 5 is a spectral image storage unit that stores a spectral image, 6 is an observation mechanism control unit that controls the spectral camera, and 7 is Illumination mechanism control unit for controlling the luminaire 2, 8 an inspected object conveyance control unit for controlling the conveyance unit for conveying the inspection target K, 9 for a color tone calculation unit for calculating a color tone from the spectral image, and 10 for a color tone. A color tone determination unit 11 for determining good / bad is color tone standard data in which inspection reference data for inspecting a color tone is stored.
[0033]
According to such an apparatus 20, it is possible to measure a color component at a certain angle with respect to the entire building material K while transferring the building material K to be inspected by the moving means 3, and in that case, an observation mechanism control unit 6 and the illumination mechanism controller 7 move the spectroscopic camera 1 and the illumination fixture 2 to set the first inspection condition and measure the color component for the entire inspection object. This measurement is repeated while changing the inspection conditions, and the entire inspection object is measured at all combination angles of the predetermined inspection conditions.
[0034]
The spectral image captured by the spectroscopic camera 1 is stored in the spectroscopic image storage unit 5, the spectral tone calculation unit 9 converts the spectral image into L * a * b * (Elster, Aster, Biester), and then the color tone determination unit. 10, the converted value is compared with the color tone data or standard data 11 obtained from the spectral image of the non-defective product by the same method to determine whether the product color tone is good or bad.
[0035]
This process is performed for one set of observation angle parameters αx, αy and illumination angle parameters θx, θy at the same position, or for all spectral images under predetermined inspection conditions with different combination angles, and the determination results are for all combinations. A product that is determined to be good is regarded as a good product. In addition, you may determine with a non-defective product if it passes with the combination more than a predetermined ratio instead of all combinations.
[0036]
There are two procedures for carrying out the above inspection: (1) Inspecting by sequentially changing the inspection conditions at the same position, (2) Inspecting while changing the position under the same inspection conditions, either Also good. However, since switching the observation angle and illumination angle at the same position takes time, a spectral image is detected and stored for the entire surface of the building material K for each set of observation angle and illumination angle parameters that are inspection conditions. The inspection angle and illumination angle parameters are sequentially changed and set, and the method of repeating the detection of the spectral image for all inspection conditions (namely, (2)) can perform an efficient inspection.
[0037]
According to such an apparatus, when illuminating with various illumination angles, image data of color tones observed from various angles can be obtained. Color irregularities that are difficult to find due to the difference in direction can be found, and high-precision inspection can be realized.
[0038]
In this apparatus, L * a * b * is used to quantitatively analyze the evaluation criteria. Such L * a * b * is a scale indicating the degree of color tone expressed by a three-dimensional coordinate axis, and the L axis representing brightness, the psychological four primary colors red to green, and yellow to blue, respectively. It is composed of a-axis and b-axis which are chromaticity axes.
[0039]
In the three primary colors RGB of light, it is difficult to quantify the color difference and it is inconvenient for numerical analysis of the color tone. However, since L * a * b * eliminates the disadvantages of RGB, the color tone and standard data to be inspected It is suitable for comparing numerical values.
[0040]
Further, the building material appearance color inspection device 20 includes a product number inspection condition data section 12 in which the observation angle and illumination angle to be inspected are registered in advance for each product type or product number, and when a certain product is inspected, the product is registered. Inspection is performed under one or more kinds of angle conditions.
[0041]
The condition data 12 registered for each product type or product number can be set in a database based on complaints from the user, etc., and can be used, for example, in the form of a list as shown in FIG.
[0042]
The inspection is performed under the condition of a predetermined angle for each product type and product number, so it can be performed in a short time unlike the inspection at any angle, and the conditions are based on empirical rules etc. .
[0043]
FIG. 5 is a diagram in which a person observes a roof tile of a house. Moreover, Fig.6 (a) is a figure in which sunlight is irradiating the exterior wall material of a house, and FIG.6 (b) is a figure in which the light of a streetlight is irradiating the exterior wall material.
[0044]
Since most of the user complaints regarding building materials occur in the state in which the building materials are actually constructed, the inspection apparatus 20 shown in the present embodiment performs the inspection under the same conditions as those assumed after construction as shown in FIGS. We are carrying out.
[0045]
In the case of sunlight, the lighting angle determined by the direction of the sun at each time and the color difference between morning and evening, so check the light source color, and in the case of street lights, check the actual street lamp position and the light source color of the street lamp. Inspect for this.
[0046]
The observation angle can be set in consideration of the standard height of the person and the range in which the person can move.
[0047]
In this way, by setting the observation angle and illumination angle at which a color tone defect will actually be found, a substantial inspection can be performed, a virtually meaningless inspection can be omitted, and an efficient inspection can be performed. realizable.
[0048]
FIG. 7 is a perspective view showing a building material having an uneven shape on the surface.
[0049]
The surface of the building material K used as the exterior wall material includes a joint portion K1 and a top portion K2. Since each part has a different surface angle, the problematic illumination direction and observation direction may differ, and it is necessary to inspect various combinations of the illumination direction and the observation direction for color tone inspection. Therefore, inspection standards for the color tone of the joint portion K1, the top portion K2, and their boundary portions are set for each part as necessary.
[0050]
In addition, there is a method in which standard data, that is, inspection standard data, is determined on the basis of a non-defective product detected by the same apparatus, color tone variation (3σ) for each part of a plurality of non-defective products. Moreover, you may determine an inspection standard with reference to the inspection standard data of the same type of building materials.
[0051]
In other building material appearance color tone inspection devices, inspection condition data (not shown) is provided for each shape, and possible angle conditions are set in advance. Further, both the product number inspection condition data and the shape-specific inspection condition data may be provided, and inspection may be performed using either one or both.
[0052]
Thereby, it is possible to inspect the surface material with any surface shape with high accuracy and high speed.
[0053]
Moreover, the inspection apparatus 20 statistically processes the color tone data for each part calculated from the spectral images of a plurality of building materials, and inspects the color tone variation for each part of each building material.
[0054]
Specifically, after inspecting the building materials one by one, each part of each building material is combined, and the color tone data is statistically processed for each part to obtain a variation in color tone. For example, if 3σ of the standard deviation (σ) indicating variation for each part is within the standard data of each part, the product is shipped as a non-defective product.
[0055]
As a result, as shown in FIG. 8, even in a case where a plurality of sheets are always used side by side as in the case of a normal exterior wall material, variations in color tone are stabilized and a realistic and effective inspection is possible. In addition, the difference in color tone between the portions adjacent to each other shown in FIG. 8 is a conspicuous problem, but the color difference between the portions can be inspected.
[0056]
Further, the color tone data when arranged as shown in FIG. 8 may be displayed as an image so that the degree of variation and color unevenness can be confirmed and inspected visually.
[0057]
FIG. 9 is a diagram showing a main part of the building material appearance color tone inspection device 30 that can rotate the building material.
[0058]
The inspection object K is rotated by a rotation mechanism constituted by the rotary table 13 or the like, thereby enabling inspection in all directions.
[0059]
【The invention's effect】
As can be understood from the above description, according to the building material appearance color tone inspection method according to claims 1 to 9 or the building material appearance color tone inspection apparatus according to claims 10 and 11, an observation angle parameter prepared in advance and Since one or a plurality of predetermined combinations are inspected as inspection conditions from among the illumination angle parameters, color unevenness that is difficult to find due to differences in appearance can be found, and high-accuracy inspection can be realized.
[0060]
According to the method of claim 2, since an appropriate combination of the observation angle and the illumination angle is selected and inspected according to the characteristics of the building material, an efficient inspection can be realized in a short time.
[0061]
According to the third aspect, since the observation angle is determined and inspected on the assumption that a person will observe after construction material construction, it is possible to inspect the color tone for a more realistic appearance.
[0062]
In claim 4, the illumination angle is determined assuming the direction in which sunlight will be irradiated after construction material construction. In claim 5, the illumination angle is assumed assuming the direction irradiated from artificial illumination after construction material construction. Since it is determined and inspected, it becomes possible to inspect the color tone for a more realistic irradiation position.
[0063]
According to the sixth aspect, if the observation angle and the illumination angle are determined according to the type of building material, and these inspection conditions are set based on user complaints or the like, high-precision inspection can be realized with a small number of inspections.
[0064]
According to claim 7, since the observation angle and the illumination angle are determined by the shape of the building material, even if the surface shape is a special building material, if the inspection is performed at an angle set in advance in a database or the like, an efficient inspection is performed. Can do.
[0065]
According to the eighth aspect, since the inspection condition includes the illumination light source color in addition to the observation angle and the illumination angle, it is possible to perform an inspection in consideration of the difference in the color of the morning and evening sunlight and the difference in the color of the streetlight. Become.
[0066]
According to the ninth aspect, since the color tone data for each part of the plurality of building materials is statistically processed and the color tone variation is inspected, the color tone variations of adjacent building materials are inspected when a plurality of building materials are applied. be able to.
[0067]
According to the building material appearance color tone inspection apparatus described in claim 11, since the building material to be inspected is rotatable, illumination irradiation and observation can be performed from all angles.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a main part of a building material appearance color tone inspection apparatus according to the present invention and illustrating an illumination angle and an observation angle.
FIG. 2 is a diagram showing a main part of a building material appearance color tone inspection apparatus according to the present invention.
FIG. 3 is a diagram showing an example of the internal configuration of a building material appearance color tone inspection apparatus according to the present invention.
FIG. 4 is a list showing an example of combinations of illumination angles and observation angles by building material type.
FIG. 5 is a diagram showing an observation angle when a human observes a building material (tile) after construction.
FIG. 6A is a diagram showing a sunlight irradiation angle with respect to a building material (exterior wall material) after construction.
(B) It is a figure which shows the streetlight illumination angle with respect to the building material (exterior wall material) after construction.
FIG. 7 is a perspective view of an example of a building material having an uneven shape.
FIG. 8 is a plan view when a plurality of building materials are arranged.
FIG. 9 is a diagram showing a main configuration of another example of an apparatus for carrying out the color tone inspection method of the present invention.
FIG. 10 is a perspective view showing a configuration example of a main part of a line sensor type spectroscopic camera.
[Explanation of symbols]
20 .... Construction material appearance color tone inspection device 1 ... spectral camera 2 ... lighting fixture αx, αy ·· observation angle parameter θx, θy ·· illumination angle parameter K ... building material 3 ... moving means

Claims (11)

検査装置を用いて、数値解析により建材の外観色調を検査する方法であって、
建材表面に光を照射して表面の分光画像を撮像する際に、予め準備された観測角度パラメータと照明角度パラメータのなかから、1つ又は複数の所定の組合せを検査条件として選択し、選択した検査条件に応じて撮像した建材表面の分光画像をもとにL*a*b*に変換して外観色調を算出し、所定の検査基準データと比較照合して、建材の外観色調の合否を判定することを特徴とする、建材外観色調検査方法。
A method of inspecting the appearance color of building materials by numerical analysis using an inspection device,
When taking a spectral image of the surface by irradiating light on the surface of the building material, one or more predetermined combinations were selected as inspection conditions from the observation angle parameters and illumination angle parameters prepared in advance and selected. is converted into L * a * b * to calculate the appearance color tone based on the spectral image images imaging the building material surface in accordance with the inspection conditions, when compared against the predetermined inspection reference data, the appearance color tone of building materials A building material appearance color inspection method, wherein pass / fail is determined.
請求項1において、
前記検査条件である観測角度パラメータと照明角度パラメータは、検査対象である建材の特徴に応じて、最適な組合せを選択することによって決定されることを特徴とする、建材外観色調検査方法。
In claim 1,
The construction material appearance color tone inspection method, wherein the observation angle parameter and the illumination angle parameter, which are the inspection conditions, are determined by selecting an optimal combination according to the characteristics of the building material to be inspected.
請求項1または2において、
前記観測角度パラメータは、建材の施工後の状態を考慮して、人が観測する方向を基準として決定されることを特徴とする、建材外観色調検査方法。
In claim 1 or 2,
The observation angle parameter is determined based on a direction observed by a person in consideration of a state after construction of the building material.
請求項1〜3のいずれかにおいて、
前記照明角度パラメータは、建材の施工後の状態を考慮して、太陽光が照射する方向を基準として決定されることを特徴とする、建材外観色調検査方法。
In any one of Claims 1-3,
The lighting angle parameter is determined on the basis of a direction in which sunlight is irradiated in consideration of a state after construction of the building material.
請求項1〜4のいずれかにおいて、
前記照明角度パラメータは、建材の施工後の状態を考慮して、人工照明が照射する方向を基準として決定されることを特徴とする、建材外観色調検査方法。
In any one of Claims 1-4,
The lighting angle parameter is determined on the basis of a direction in which artificial lighting is irradiated in consideration of a state after construction of the building material.
請求項1〜5のいずれかにおいて、
検査条件である観測角度パラメータと照明角度パラメータの組合せは、建材の品種あるいは品番により決定されることを特徴とする、建材外観色調検査方法。
In any one of Claims 1-5,
A building material appearance color inspection method, wherein a combination of an observation angle parameter and an illumination angle parameter, which are inspection conditions, is determined by a type or product number of a building material.
請求項1〜6のいずれかにおいて、
検査条件である観測角度パラメータと照明角度パラメータの組合せは、建材の形状により決定されることを特徴とする、建材外観色調検査方法。
In any one of Claims 1-6,
A building material appearance color inspection method, wherein a combination of an observation angle parameter and an illumination angle parameter, which are inspection conditions, is determined by the shape of the building material.
請求項1〜7のいずれかにおいて、
前記検査条件には、前記建材に照射する照明の光源色も更に含んでいることを特徴とする、建材外観色調検査方法。
In any one of Claims 1-7,
The building material appearance color tone inspection method, wherein the inspection condition further includes a light source color of illumination applied to the building material.
請求項1〜8のいずれかにおいて、
選択された検査条件で撮像された複数の建材の分光画像より算出した外観色調を所定の部位ごとに統計処理し、各部位ごとの色調ばらつきを求め、予め準備された検査基準に照らして合否を判断することを特徴とする、建材外観色調検査方法。
In any one of Claims 1-8,
The appearance color tone calculated from the spectral images of the plurality of building materials imaged under the selected inspection conditions is statistically processed for each predetermined part, the color tone variation for each part is obtained, and the acceptance / rejection is confirmed according to the inspection standard prepared in advance. A building material appearance color inspection method characterized by judging.
観測角度パラメータの可変手段を備えた分光画像撮像装置と、照明角度パラメータの可変手段を備えた照明装置と、前記撮像装置及び前記照明装置に対して建材を相対的に移動させる移動手段と、分光画像記憶手段と、色調演算手段と、色調判定手段とを備えた建材外観色調検査装置であって、
前記観測角度パラメータと照明角度パラメータの組合せを可変させて、前記移動手段により建材を相対的に移動させながら、建材表面の分光画像を取り込み、分光画像をもとにL*a*b*に変換して外観色調を算出し、所定の検査基準データと比較照合し、建材外観を検査することを特徴とする、建材外観色調検査装置。
Spectral image imaging device provided with observation angle parameter variable means, illumination device provided with illumination angle parameter variable means, moving means for moving building material relative to the imaging device and the illumination device, spectral A building material appearance color tone inspection device comprising an image storage means, a color tone calculation means, and a color tone determination means,
By changing the combination of the observation angle parameter and the illumination angle parameter, the building material is moved relatively by the moving means, and a spectral image of the surface of the building material is captured and converted into L * a * b * based on the spectral image. and it calculates the appearance color tone, as compared against the predetermined inspection reference data, characterized by examining the construction Zaigaikan, building materials appearance color inspection apparatus.
請求項10において、
建材をその上に載置して回転させる回転機構をさらに備えていることを特徴とする、建材外観色調検査装置。
In claim 10,
A building material appearance color inspection apparatus, further comprising a rotating mechanism for placing and rotating the building material thereon.
JP2000224860A 2000-07-26 2000-07-26 Building material appearance color inspection method and apparatus Expired - Lifetime JP3653588B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000224860A JP3653588B2 (en) 2000-07-26 2000-07-26 Building material appearance color inspection method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000224860A JP3653588B2 (en) 2000-07-26 2000-07-26 Building material appearance color inspection method and apparatus

Publications (2)

Publication Number Publication Date
JP2002039863A JP2002039863A (en) 2002-02-06
JP3653588B2 true JP3653588B2 (en) 2005-05-25

Family

ID=18718732

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000224860A Expired - Lifetime JP3653588B2 (en) 2000-07-26 2000-07-26 Building material appearance color inspection method and apparatus

Country Status (1)

Country Link
JP (1) JP3653588B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111504459A (en) * 2020-04-09 2020-08-07 广东科达洁能股份有限公司 Detection device for ceramic tile grading and color separation

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210190678A1 (en) * 2017-11-14 2021-06-24 Sintokogio, Ltd. Method of evaluating surface state of inspection target, evaluation device, method of controlling evaluation device, and control program of evaluation device
JP7238552B2 (en) * 2019-04-01 2023-03-14 セイコーエプソン株式会社 Imaging condition evaluation device and imaging condition evaluation method
TWI700129B (en) * 2019-07-24 2020-08-01 開必拓數據股份有限公司 Moving object classification system and method using self-learning technology

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111504459A (en) * 2020-04-09 2020-08-07 广东科达洁能股份有限公司 Detection device for ceramic tile grading and color separation

Also Published As

Publication number Publication date
JP2002039863A (en) 2002-02-06

Similar Documents

Publication Publication Date Title
US11892405B2 (en) Apparatus and method for fluorescence grading of gemstones
JP6538873B2 (en) Device for evaluating the optical quality of gems
JP5862522B2 (en) Inspection device
JP4588070B2 (en) Color inspection device
US7262779B1 (en) Differential imaging colorimeter
JP2020094955A (en) Defect detecting device, and defect detecting method
JP3653588B2 (en) Building material appearance color inspection method and apparatus
EP1914529A1 (en) Device and method for analyzing the apparent colour and the gonio reflectance of an object
JP2947513B1 (en) Pattern inspection equipment
CN211373832U (en) Measure device of plain face laser material grating constant
CN105954205B (en) Green plum pol based on light spectrum image-forming and acidity Rapid non-destructive testing device
JP4629554B2 (en) Method for optical inspection of inspection surface properties and apparatus for carrying out the method
JP6969500B2 (en) Good / bad judgment method and good / bad judgment device for the surface of dull finish material
KR100862636B1 (en) Method for optical visual examination
BR112016015430B1 (en) METHOD FOR MEASURING GRAIN BRIGHTNESS AND APPARATUS FOR DETERMINING GRAIN BRIGHTNESS
KR20020015081A (en) Automatized defect inspection system and defect inspection method
RU214083U1 (en) DIGITAL COLORIMETER FOR INVESTIGATION OF MULTICOLORED OBJECTS
JP2005140671A (en) Apparatus for measuring bread baking color
JP4199438B2 (en) Color inspection method for building materials
TWM594135U (en) Multi-light source optical detection system
JP2001242092A (en) Evaluation device
JPS62209306A (en) Image pickup type apparatus for judging grade of painting rough treatment surface
ITTO20000944A1 (en) DEVICE FOR ANALYSIS OF THE APPARENT COLOR OF AN OBJECT.
JP2002214043A (en) Color tone inspection method for building material

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040921

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050214

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3653588

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080311

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090311

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090311

Year of fee payment: 4

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090311

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100311

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100311

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110311

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120311

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120311

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130311

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130311

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140311

Year of fee payment: 9

EXPY Cancellation because of completion of term