JP2004325308A - 画像撮像装置及び画像撮像方法 - Google Patents
画像撮像装置及び画像撮像方法 Download PDFInfo
- Publication number
- JP2004325308A JP2004325308A JP2003121621A JP2003121621A JP2004325308A JP 2004325308 A JP2004325308 A JP 2004325308A JP 2003121621 A JP2003121621 A JP 2003121621A JP 2003121621 A JP2003121621 A JP 2003121621A JP 2004325308 A JP2004325308 A JP 2004325308A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- camera
- cameras
- lighting
- transport
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 17
- 238000003384 imaging method Methods 0.000 claims abstract description 140
- 238000005286 illumination Methods 0.000 claims abstract description 42
- 230000032258 transport Effects 0.000 claims description 66
- 238000011144 upstream manufacturing Methods 0.000 claims description 7
- 238000012790 confirmation Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 abstract 1
- 230000003287 optical effect Effects 0.000 description 9
- 230000003760 hair shine Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 241000219109 Citrullus Species 0.000 description 4
- 235000012828 Citrullus lanatus var citroides Nutrition 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000011179 visual inspection Methods 0.000 description 3
- 229910052736 halogen Inorganic materials 0.000 description 2
- 150000002367 halogens Chemical class 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
【課題】撮像対象となる対象物の中心軸と画像の中心位置とを合わせることができ、かつ、照明ムラを除去し、照明の写り込みを防止することができる画像撮像装置を提供すること。
【解決手段】ベルトコンベアー101と、五つのカメラ102と、五つの照明装置103、光センサー104と、パーソナルコンピュータ105と、により構成される画像撮像装置100であって、パーソナルコンピュータ105により、光センサー104の計測結果に基づいて、各カメラ102の撮像タイミングを計測すると共に、各カメラ102撮像タイミングと、これと同期した照明装置103の点灯タイミングとを、他のカメラ102と照明装置103のタイミングからずらすことができるようにしたことを特徴とする画像撮像装置100を提供する。
【選択図】 図1
【解決手段】ベルトコンベアー101と、五つのカメラ102と、五つの照明装置103、光センサー104と、パーソナルコンピュータ105と、により構成される画像撮像装置100であって、パーソナルコンピュータ105により、光センサー104の計測結果に基づいて、各カメラ102の撮像タイミングを計測すると共に、各カメラ102撮像タイミングと、これと同期した照明装置103の点灯タイミングとを、他のカメラ102と照明装置103のタイミングからずらすことができるようにしたことを特徴とする画像撮像装置100を提供する。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は、農産物等の対象物の品質や大きさを観測するためにその画像を撮像する画像撮像装置及び画像撮像方法に関する。
【0002】
【従来の技術】
従来の画像撮像装置としては、例えば、特開2001−86865号公報に記載されたものがあった。
【0003】
特開2001−86865号公報に記載された外観検査装置300は、図7に表されているように、撮像対象であるスイカ301を乗せたベルトコンベアー302と、照明装置が一体的に組み込まれている四つのカメラ303A、303B、303C、303Dと、二つの位置センサー304A、304Bと、カメラ303A、303B、303C、303D及び位置センサー304A、304Bから得られる信号を処理する処理装置305とからなっている。
【0004】
そして、図6の下方から上方に向かって搬送されているスイカ301を位置センサー304A、304Bで検知した際に、撮影方向が直交線上になるように配置されているカメラ303A、303B、303C、303Dによって、スイカ301の画像を取得するようにされていた。
【0005】
【特許文献1】
特開2001‐86865号公報
【0006】
【発明が解決しようとする課題】
しかしながら、従来の外観検査装置300では、位置センサー304A、304Bの位置まで撮像対象であるスイカ301が到達した際に画像を取得することとされているため、撮像対象の大きさによって画像の中心位置と撮像対象の中心軸とがずれてしまうことがあった。
【0007】
また、カメラ303A、303B、303C、303Dは、撮影方向が直交線上になるように配置されており、それぞれのカメラ303A、303B、303C、303Dの撮像位置が一点に定められており、一度に全てのカメラ303A、303B、303C、303Dで撮像を行うようにされているため、このカメラ303A、303B、303C、303Dに一体的に設けられている照明装置も一度に点灯するため、光のあたる範囲の重なり合う部分が明るくなりすぎてしまい、撮像対象を照らす照明にムラが生じてしまうことがあった。
【0008】
さらに、対向方向にある照明装置が画像に写り込んでしまうこともあった。
【0009】
そこで、本発明は、撮像対象である対象物の中心軸と画像の中心位置とを合わせることができ、かつ、照明ムラを除去し、対向する照明装置からの照明光の写り込みを防止することができる画像撮像装置を提供することを目的とする。
【0010】
【課題を解決するための手段】
以上の課題を解決するため、本発明は、撮像対象となる対象物を撮像する画像撮像装置であって、前記対象物を搬送路に沿って搬送する搬送装置と、前記対象物を水平方向であってそれぞれ異なる方向から撮像し、前記搬送路上のそれぞれ異なる位置を前記対象物の撮像位置とするように配置された複数のカメラと、前記カメラの撮像方向から前記対象物に光を当て、前記カメラと共に複数設けられている照明装置と、前記カメラよりも前記搬送路の上流側に位置し、前記対象物の位置及び搬送方向における長さを確認するセンサーと、前記センサーから送信される信号及び前記搬送装置の搬送速度に基づいて、前記対象物の搬送方向における中心軸及び位置を算出し、複数の前記カメラの内、前記中心軸と前記撮像位置とが重なった一のカメラで撮像を行うと共に、前記撮像を行っている間のみ、この一のカメラの撮像方向から光を当てる一の照明装置を点灯させることを順次繰り返し、全てのカメラにより撮像を行う制御手段と、を有することを特徴とする画像撮像装置を提供する。
【0011】
以上のように、本発明では、対象物が搬送されてくる搬送路の上流側にセンサーを設けておき、このセンサーにより対象物の位置及び搬送方向における長さを確認することで、制御手段は、この対象物の位置を起点として、搬送装置の搬送速度に基づいて対象物の位置を正確に把握することができるようになる。
【0012】
そして、搬送方向における長さの半分として認識される軸を対象物の中心軸として、この中心軸がカメラの撮像位置、即ち、このカメラで画像を取った際に画像の中心となる位置と重なった際に撮像を行うことで、カメラが撮像する画像の中心に対象物が撮像されることとなる。
【0013】
また、対象物の水平方向であって、それぞれが異なる方向から撮像を行う複数のカメラは、それぞれが撮像する画像の中心位置、即ち、撮像位置が異なるように配置されている。
【0014】
そして、搬送路に沿って搬送されてくる対象物の中心軸が、それぞれのカメラによって撮像する画像の中心位置と重なった場合に、そのカメラにより次々と撮像を行い、このときのに撮像するカメラの撮像方向に設けられている照明装置のみを点灯させることにより、対象物に照明装置の光が当たるタイミングをずらすことができ、照明装置の光が重なり合うことで生ずる照明ムラを除去することが可能となると共に、対向方向にある照明装置が写り込んでしまうことを防止することもできるようになる。
【0015】
なお、対象物を水平方向から撮像するカメラは、四つ設けておき、隣り合っているこれらのカメラの撮像方向が、それぞれ垂直に交わる方向となるようにこれらのカメラを配置することで、対象物の水平方向における全ての面を撮像することができるようになる。
【0016】
また、カメラについては、さらに対象物が搬送されてくる搬送路の上方に設けておき、対象物を上方から撮像するようにすることで、対象物の上面についても撮像することができるようになる。
【0017】
この場合にも、対象物の上面に光が当たるように照明装置を設けておく必要があるが、対象物の上方から撮像を行うカメラの撮像位置を、水平方向から撮像する他のカメラの撮像位置とは異なる点となるように配置しておくことで、照明ムラが生ずるのを回避することができるとともに、対向方向にある照明装置が写り込んでしまうことを防止することもできるようになる。
【0018】
また、本発明は、撮像対象となる対象物を撮像する画像撮像装置であって、前記対象物を搬送路に沿って搬送する搬送装置と、前記搬送路の上流側に位置し、前記対象物の位置及び搬送方向における長さを確認するセンサーと、前記対象物を水平方向であってそれぞれ異なる方向から撮像し、前記搬送路上のそれぞれ異なる位置を撮像位置とするように配置された四つのカメラと、前記カメラの撮像方向から前記対象物に光を当てる四つの照明装置と、前記カメラよりも前記搬送路の上流側に位置し、前記対象物の位置及び搬送方向における長さを確認するセンサーと、前記センサーから送信される信号及び前記搬送装置の搬送速度に基づいて、前記対象物の搬送方向における中心軸及び位置を算出し、複数の前記カメラの内、前記中心軸と前記撮像位置とが重なった一のカメラで撮像を行うことを順次繰り返し、全てのカメラにより撮像を行う画像撮像装置であって、隣り合う前記カメラの撮像方向は、それぞれ垂直に交わる方向に配置されており、前記制御手段は、前記撮像を行っている間のみ、前記中心軸と前記撮像位置とが重なった一のカメラの撮像方向及びこの撮像方向に垂直に交わる方向から光を当てる三つの照明装置を点灯させることを特徴とする画像撮像装置を提供する。
【0019】
例えば、撮像対称となる対象物が球形の場合のように、一方向から光を当てただけでは、対象物の周辺に充分に光が届かない場合があるため、このような場合には、撮像を行うカメラの撮像方向から光を当てる照明装置の他に、このカメラの撮像方向に垂直に交わる方向から光を当てる二つの照明装置も同時に点灯させることで、対象物の周辺にも充分に光が届くようになる。
【0020】
なお、このような場合にも、対象物を上方から撮像するカメラを追加することができるが、このカメラで撮像を行う際には、このカメラの撮像方向から対象物に光を当てる照明装置のみを点灯させることもでき、また、水平方向から光を当てる照明装置をも点灯させることもできる。
【0021】
例えば、対象物の上面が水平面となっているような場合には、この対象物を上方から撮像するカメラの撮像方向から光を当てる照明装置のみを点灯させれば足りるが、対象物の上面も球状になっているような場合には、対象物の水平方向から光を当てる照明装置も点灯させることが望ましい。
【0022】
以上に記載した照明装置については、白色発光ダイオードを用いたものを使用することが望ましい。
【0023】
白色発光ダイオードは、蛍光灯やハロゲンランプと比較しても、極めて長い寿命を有しているため、交換時期を延ばし、交換などのメンテナンス負担を軽減することができるほか、極めて短い時間の通電でも高い発揮性能を有しているため、撮像を行う際の短い時間点灯させた場合でも充分な光量を得られる。
【0024】
また、本発明は、搬送路に沿って搬送される対象物を前記搬送路上のそれぞれ異なる位置を撮像位置とするように配置された複数のカメラで水平方向から連続して撮像を行い、かつ、前記カメラと共に複数設けられている照明装置を点灯させることにより前記対象物に光を当てる画像撮像方法であって、前記対象物の位置及び搬送方向における長さをセンサーにより確認する確認過程と、前記センサーから送信される信号及び前記対象物の搬送速度から、前記対象物の搬送方向における中心軸及び位置を算出する算出過程と、複数の前記カメラの内、前記中心軸と前記撮像位置とが重なった一のカメラで撮像を行うと共に、前記撮像を行っている間のみ、この一のカメラの撮像方向から光を当てる一の照明装置を点灯させることを連続して行う撮像過程と、を有することを特徴とする画像撮像方法を提供する。
【0025】
以上のように、撮像の対象となっている対象物の位置及び搬送方向における長さをセンサーにより確認することで、このセンサーにより確認された対象物の位置を起点として、搬送路の搬送速度に基づいて対象物の位置を正確に算出することができる。
【0026】
そして、搬送方向における長さの半分として認識される軸を対象物の中心軸として、この中心軸がカメラの撮像位置、即ち、このカメラで画像を取った際に画像の中心となる位置と重なった際に撮像を行うことで、カメラが撮像する画像の中心に対象物が撮像されることとなる。
【0027】
この際、このときのに撮像するカメラの撮像方向に設けられている照明装置のみを点灯させることにより、対象物に照明装置の光が当たるタイミングをずらすことができ、照明装置の光が重なり合うことで生ずる照明ムラを除去することが可能となると共に、対向方向にある照明装置の光が写り込んでしまうことを防止することもできるようになる。
【0028】
なお、対象物を水平方向から撮像するカメラは、四つ設けておき、隣り合っているこれらのカメラの撮像方向が、それぞれ垂直に交わる方向となるようにこれらのカメラを配置することで、対象物の水平方向における全ての面を撮像することができるようになる。
【0029】
また、カメラについては、さらに対象物が搬送されてくる搬送路の上方に設けておき、対象物を上方から撮像するようにすることで、対象物の上面についても撮像することができるようになる。
【0030】
この場合にも、対象物の上面に光が当たるように照明装置を設けておく必要があるが、対象物の上方から撮像を行うカメラの撮像位置を、水平方向から撮像する他のカメラの撮像位置とは異なる点となるように配置しておくことで、照明ムラが生ずるのを回避することができるとともに、対向方向にある照明装置が写り込んでしまうことを防止することもできるようになる。
【0031】
さらに、本発明は、搬送路に沿って搬送される対象物を前記搬送路上のそれぞれ異なる位置を撮像位置とするように配置された複数のカメラであって、隣り合う前記カメラの撮像方向が垂直に交わるように配置されている複数の前記カメラにより、水平方向から連続して撮像を行い、かつ、前記カメラと共に複数設けられている照明装置を点灯させることにより前記対象物に光を当てる画像撮像方法であって、前記対象物の位置及び搬送方向における長さをセンサーにより確認する確認過程と、前記センサーから送信される信号及び前記対象物の搬送速度から、前記対象物の搬送方向における中心軸及び位置を算出する算出過程と、複数の前記カメラの内、前記中心軸と前記撮像位置とが重なった一のカメラで撮像を行うと共に、前記撮像を行っている間のみ、この一のカメラの撮像方向及びこの撮像方向に垂直に交わる方向から光を当てる三つの照明装置を点灯させることを連続して行う撮像過程と、を有することを特徴とする画像撮像方法を提供する。
【0032】
撮像対称となる対象物が球形の場合のように、一方向から光を当てただけでは、対象物の周辺に充分に光が届かない場合があるため、このような場合には、撮像を行うカメラの撮像方向から光を当てる照明装置の他に、このカメラの撮像方向に垂直に交わる方向から光を当てる二つの照明装置も同時に点灯させることで、対象物の周辺にも充分に光が届くようになる。
【0033】
なお、このような場合にも、対象物を上方から撮像するカメラを追加することができるが、このカメラで撮像を行う際には、このカメラの撮像方向から対象物に光を当てる照明装置のみを点灯させることもでき、また、水平方向から光を当てる照明装置をも点灯させることもできる。
【0034】
例えば、対象物の上面が水平面となっているような場合には、この対象物を上方から撮像するカメラの撮像方向から光を当てる照明装置のみを点灯させれば足りるが、対象物の上面も球状になっているような場合には、対象物の水平方向から光を当てる照明装置も点灯させることが望ましい。
【0035】
以上に記載した照明装置については、白色発光ダイオードを用いたものを使用することが望ましい。
【0036】
【発明の実施の形態】
図1は、本発明の一実施形態に係る画像撮像装置100の概略構成図である。
【0037】
本発明の一実施形態に係る画像撮像装置100は、ベルトコンベアー101と、五つのカメラ102A、102B、102C、102D、102Eと、五つの照明装置103A、103B、103C、103D、103Eと、光センサー104A、104Bと、パーソナルコンピュータ105と、により構成されている。
【0038】
画像撮像装置100での撮像対象である対象物106を搬送するベルトコンベアー101は、対象物106を一定の速度v、ここでは、1m/sの速度で、図1の向かって左から右に搬送している。
【0039】
対象物106を撮像するためのカメラ102A、102B、102C、102D、102Eは、対象物106を水平方向から撮像するために、第一のカメラ102Aと、第二のカメラ102Bと、第三のカメラ102Cと、第四のカメラ102Dをベルトコンベアー101の側方に配置し、対象物106を上方から撮像するために、第五のカメラ102Eをベルトコンベアー101の上方に配置している。
【0040】
また、これらのカメラ102A、102B、102C、102D、102Eは、ベルトコンベアー101の幅方向における中央にピントが合うようにされており、カメラレンズの中心部からそれぞれのカメラ102A、102B、102C、102D、102Eの撮像方向に延ばした軌跡107A、107B、107C、107D(第五のカメラ102Eについては、図示せず。)がベルトコンベアー101の幅方向における中央に達した点108A、108B、108C、108Dが、それぞれのカメラ102A、102B、102C、102D、102Eの撮像位置108A、108B、108C、108D(第五のカメラ102Eについても同様に考えればよい。)となる。
【0041】
これらの撮像位置108A、108B、108C、108Dは、それぞれのカメラによって異なる位置となるように形成されている。
【0042】
なお、このような撮像位置108A、108B、108C、108D、108Eは、それぞれのカメラ102A、102B、102C、102D、102Eで画像を撮像した際に画像の中心に位置するようになる。
【0043】
ここで、本実施形態では、ベルトコンベアー101が1m/sの速度で動いており、後述するカメラ102A、102B、102C、102D、102Eの撮像時間が2msであることから、これらの撮像位置108A、108B、108C、108D、108E間の距離Xは2mmとしている。
【0044】
なお、本実施形態においては、カメラ102A、102B、102C、102D、102Eを五つで構成したが、この数には限定されず、二つ以上の任意の数を選択することができる。
【0045】
図2に表されているように、照明装置103A、103B、103C、103D、103Eは、カメラ102A、102B、102C、102D、102Eのレンズ102aの周囲に配列された複数の白色発光ダイオード109により構成されている。
【0046】
なお、このように、照明装置103A、103B、103C、103D、103Eは、カメラ102A、102B、102C、102D、102Eのレンズ102aの周囲に配置されていることから、白色発光ダイオード109が発光することにより、照明装置103A、103B、103C、103D、103Eはカメラ102A、102B、102C、102D、102Eの撮像方向から対象物106に光を当てることができるようになる。
【0047】
また、本実施形態では、白色発光ダイオード109を使用したが、その他、他の色の発光ダイオードや、蛍光灯、ハロゲンランプ等を使用することも可能である。
【0048】
ベルトコンベアー101のカメラ102A、102B、102C、102D、102Eよりも上流側には、光センサー104A、104Bが設けられており、光センサー104A、104Bは、発光側光センサー104Aより発光された光を受光側光センサー104Bで受光しており、発光側光センサー104Aと受光側光センサー104Bとの間を対象物106が通ることにより、光が遮られ、対象物106が光センサー104A、104Bが設けられている位置を通過したことが分かるほか、光を遮っていた時間により、対象物106の長さが分かるようにされている。
【0049】
なお、対象物106が光を遮った情報については、通過情報として光センサー104A、104Bからパーソナルコンピュータ105に通知され、また、対象物106が光が遮った時間については、長さ情報としてパーソナルコンピュータ105に通知される。
【0050】
そして、パーソナルコンピュータ105では、光センサー104A、104Bから通知された長さ情報に基づいて、図3に表されているように、対象物106の長さYの半分の値Zにより、対象物106の中心軸106bの位置を定め、この中心軸106bとカメラ102Eの撮像位置108Eとが重なる時刻を計算し、この時点においてカメラ102Eにおいて露出を行い、照明装置103Eにおいて対象物106に光を当てるように指令を出す。
【0051】
なお、対象物106の中心軸106bとカメラ102Eの撮像位置108Eとが重なる時点の計測は、対象物106と撮像位置108との間の距離L(ここでは、光センサー104A、104Bと画像の中心位置108Eとの間の距離)とに対象物106の長さYの半分の値Zを足すことにより距離Mを算出し、これをベルトコンベアー101の速度vで割ることで、対象物106の中心軸106bが撮像位置108Eに重なるまでの時間によって算出している。
【0052】
以上のように、パーソナルコンピュータ105において、それぞれのカメラ102A、102B、102C、102D、102Eの撮像位置108A、108B、108C、108D、108Eと対象物106の中心軸106bとが重なる時刻を計算し、この計測結果に基づいて、各カメラ102A、102B、102C、102D、102E及び照明装置103A、103B、103C、103D、103Eに対して、露出タイミング及び点灯タイミングの指令を送信する。
【0053】
なお、上述のように、各カメラ102A、102B、102C、102D、102Eの撮像位置108A、108B、108C、108D、108Eは、それぞれの間隔Xが2mmとなるように連続して設けられているため、対象物106の中心軸106bは、ベルトコンベアー101の速度が1m/sであることから、2msの時間をおいて、連続して各撮像位置108A、108B、108C、108D、108Eに重なるようになる。
【0054】
また、本実施形態では、対象物106の中心軸106bが撮像位置108A、108B、108C、108D、108Eに重なる順番は、第一のカメラの撮像位置108A、第二のカメラの撮像位置108B、第三のカメラの撮像位置108C、第四のカメラの撮像位置108D、第五のカメラの撮像位置108Eの順番である。
【0055】
ここで、パーソナルコンピュータ105から出される指令の具体例は、図4に表されている。
【0056】
まず、パーソナルコンピュータ105は、対象物106の中心軸106bと第一のカメラの撮像位置108Aとが重なる時点において、第一のカメラ102Aの露光タイミングと第一の照明装置103Aの点灯タイミングとの同期を取るための第一のトリガ信号パルス110Aと、第一のカメラ102Aに露光を行わせるための第一の露光タイミングパルス111Aと、第一の照明装置103Aに点灯を行わせるための第一の点灯タイミングパルス112Aと、を第一のカメラ102A及び第一の照明装置103Aに送信し、これに基づいて、第一のカメラ102Aは、露光を行うことで撮像を行い、第一の照明装置103Aは、点灯を行う。
【0057】
なお、ここで、第一のカメラ102Aの露光時間は1msで、第一の照明装置103Aの点灯時間は2msに設定されており、対象物106に対して均一な光を当てるため、第一の照明装置103Aは、第一のカメラ102Aの露光開始時刻よりも0.5ms早く点灯し、露光終了時刻よりも0.5ms遅く点灯を止めるようにされている。
【0058】
次に、パーソナルコンピュータ105は、第一のトリガ信号パルス110Aから2ms遅れて、第二のトリガ信号パルス110B、第二の露光タイミングパルス111B及び第二の点灯タイミングパルス112Bを第二のカメラ102B及び第二の照明装置103Bに送信する。
【0059】
したがって、第二のカメラ102B及び第二の照明装置103Bは、第一のカメラ102A及び第一の照明装置103Aから2ms遅れて撮像及び点灯を行うこととなる。
【0060】
以下、同様にして、第二のトリガ信号パルス110Bを発してから2ms遅れで、第三のカメラ102C及び第三の照明装置103Cに第三のトリガ信号パルス110C、第三の露光タイミングパルス111C及び第三の点灯タイミングパルス112Cを送信し、第三のトリガ信号パルス110Cを発してから2ms遅れで、第四のカメラ102D及び第四の照明装置103Dに第四のトリガ信号パルス110D、第四の露光タイミングパルス111D及び第四の点灯タイミングパルス112Dを送信し、第四のトリガ信号パルス110Dを発してから2ms遅れで、第五のカメラ102E及び第五の照明装置103Eに第五のトリガ信号パルス110E、第五の露光タイミングパルス111E及び第五の点灯タイミングパルス112Eを送信することで、これらのカメラ102A、102B、102C、102D、102E及び照明装置103A、103B、103C、103D、103Eは、対象物106の中心軸106bと撮像位置108A、108B、108C、108D、108Eとが重なった位置において、対象物106に光を当てて撮像を行うようにされている。
【0061】
以上のように構成される画像撮像装置100は、図5に表された手順により撮像を行う。
【0062】
まず、対象物106の位置及び搬送方向における長さを光センサー104A、105Aにより確認する(S120)。
【0063】
このようにして確認された対象物106の位置及び搬送方向における長さは、パーソナルコンピュータ105に送られ、この情報とベルトコンベアー101の速度vからパーソナルコンピュータ105は、対象物106の搬送方向における中心軸と位置とを算出する(S121)。
【0064】
このようにして算出された対象物106の中心軸及び位置とに基づいて、パーソナルコンピュータ105は、それぞれのカメラ102A、102B、102C、102D、102Eの撮像位置108A、108B、108C、108D、108Eと対象物106の中心軸106bとが重なる時刻を計算し、この計測結果に基づいて、各カメラ102A、102B、102C、102D、102E及び照明装置103A、103B、103C、103D、103Eに対して、露出タイミング及び点灯タイミングの指令を送信する。
【0065】
そして、この露光タイミングと点灯タイミングに基づいて、第一のカメラ102Aの露光及び第一の照明装置103Aの点灯(S122)、第二のカメラ102Bの露光及び第二の照明装置103Bの点灯(S123)、第三のカメラ102Cの露光及び第三の照明装置103Cの点灯(S124)、第四のカメラ102Dの露光及び第四の照明装置103Dの点灯(S125)、第五のカメラ102Eの露光及び第五の照明装置103Eの点灯(S126)、が行われる。
【0066】
なお、対象物106が球形である場合等には、撮像するカメラ102A、102B、102C、102D、102Eの撮像方向から対象物106に光を当てる照明装置103A、103B、103C、103D、103Eばかりでなく、その両隣にある照明装置103A、103B、103C、103D、103E、例えば、第一のカメラ102Aの撮像位置108Aと対象物106の中心軸106bとが重なり合う時点で、第一のカメラ102Aは、撮像を行うが、このとき、第一の照明装置103Aばかりでなく、第二の照明装置103B及び第三の照明装置103Cも点灯するようにすることもできる。
【0067】
この場合に、パーソナルコンピュータ105から出される指令の具体例は、図6に表されている。
【0068】
まず、パーソナルコンピュータ105は、対象物106の中心軸106bと第一のカメラの撮像位置108Aとが重なる時点において、第一のカメラ102Aの露光タイミングと、第一の照明装置103Aの点灯タイミングと、第二の照明装置103Bの点灯タイミングと、第三の照明装置103Cの点灯タイミングと、の同期を取るための第一のトリガ信号パルス210Aと、第一のカメラ102Aに露光を行わせるための第一の露光タイミングパルス211Aと、第一の照明装置103Aに点灯を行わせるための第一の点灯タイミングパルス212Aと、第二の照明装置103Bに点灯を行わせるための第二の点灯タイミングパルス212Bと、第三の照明装置103Cに点灯を行わせるための第三の点灯タイミングパルス212Cと、を第一のカメラ102A、第一の照明装置103A、第二の照明装置103B及び第三の照明装置103Cに送信し、これに基づいて、第一のカメラ102Aは、露光を行うことで撮像を行い、第一の照明装置103A、第二の照明装置103B及び第三の照明装置103Cは、点灯を行う。
【0069】
なお、ここで、第一のカメラ102Aの露光時間は1msで、第一の照明装置103A、第二の照明装置103B及び第三の照明装置103Cの点灯時間は2msに設定されており、対象物106に対して均一な光を当てるため、第一の照明装置103Aは、第一のカメラ102Aの露光開始時刻よりも0.5ms早く点灯し、露光終了時刻よりも0.5ms遅く点灯を止めるようにされている。
【0070】
次に、パーソナルコンピュータ105は、第一のトリガ信号パルス210Aから2ms遅れて、第二のトリガ信号パルス210B、第二の露光タイミングパルス211B、第一の点灯タイミングパルス212A、第二の点灯タイミングパルス212B及び第四の点灯タイミングパルス212D、を第二のカメラ102B、第一の照明装置103A、第二の照明装置103B及び第四の照明装置103Dに送信する。
【0071】
このことにより、第二のカメラ102Bが露光を行い撮像を行う際に、第一の照明装置103A、第二の照明装置103B及び第四の照明装置103Dが点灯されるようになる。
【0072】
以下、同様にして、第二のトリガ信号パルス210Bから2ms遅れて、第三のトリガ信号パルス210C、第三の露光タイミングパルス211C、第一の点灯タイミングパルス212A、第三の点灯タイミングパルス212C及び第四の点灯タイミングパルス212D、を第三のカメラ102B、第一の照明装置103A、第三の照明装置103C及び第四の照明装置103Dに送信し、第三のトリガ信号パルス210Cから2ms遅れて、第四のトリガ信号パルス210D、第四の露光タイミングパルス211D、第二の点灯タイミングパルス212B、第三の点灯タイミングパルス212C及び第四の点灯タイミングパルス212D、を第四のカメラ102D、第二の照明装置103B、第三の照明装置103C及び第四の照明装置103Dに送信することで、これらのカメラ102A、102B、102C、102D及び照明装置103A、103B、103C、103Dは、対象物106の中心軸106bと撮像位置108A、108B、108C、108Dとが重なった位置において、隣同士の照明装置103A、103B、103C、103Dをも点灯させて撮像を行うことができるようにされている。
【0073】
なお、ここでは、第五のカメラ102Eで撮像を行う際には、他の照明装置103A、103B、103C、103Dは点灯しないようにしているため、第四のトリガ信号パルス210Dが発せられてから2ms後に、第五のカメラ102E及び第五の照明装置103Eには、第五のトリガ信号パルス210Eと、第五のカメラに露光を行わせるための第五の露光タイミングパルス211Eと、第五の照明装置105Eに点灯を行わせるための第五の点灯タイミングパルス212Eが発せられるようにされている。
【0074】
この点、第五のカメラ102Eで撮像を行う際に、第五の照明装置103Eに加えて他の照明装置103A、103B、103C、103Dも点灯するようにする場合には、第四のトリガ信号パルス210Dが発せられてから2ms後に、第五のカメラ102E及び全ての照明装置103A、103B、103C、103D、103Eに対し、第五のトリガ信号パルス210Eと、第一のカメラに露光を行わせるための第一の露光タイミングパルス211Aと、第二の照明装置105Bに点灯を行わせるための第二の点灯タイミングパルス212B、第三の照明装置105Cに点灯を行わせるための第三の点灯タイミングパルス212C、第四の照明装置105Dに点灯を行わせるための第四の点灯タイミングパルス212D、第五の照明装置105Eに点灯を行わせるための第五の点灯タイミングパルス212Eを発するようにすればよい。
【0075】
なお、パーソナルコンピュータ105と、カメラ102A、102B、102C、102D、102Eと、照明装置103A、103B、103C、103D、103Eと、光センサー104A、104Bと、の情報の伝達は、ケーブル213を通じて行われている。
【0076】
本発明を以上のように構成したので、ベルトコンベアー101に乗って搬送されてきた対象物106の中心軸106bが各カメラ102A、102B、102C、102D、102Eの撮像位置108A、108B、108C、108D、108Eと重なり、各カメラ102A、102B、102C、102D、102Eで撮像する画像の中心に対象物106の中心軸が位置するような画像を取ることができるほか、照明装置103A、103B、103C、103D、103Eの光が重なることによる照明ムラを防止することができるほか、対向方向にある照明装置103A、103B、103C、103Dが画像に写り込んでしまうことを防止することができる。
【0077】
【発明の効果】
以上のように本発明を構成したので、撮像対象である対象物の中心軸と画像の中心位置とを合わせることができ、かつ、照明ムラを除去し、対向する照明装置からの照明光の写り込みを防止することができる画像撮像装置を提供することができる。
【図面の簡単な説明】
【図1】一実施形態に係る画像撮像装置100の概略構成図。
【図2】カメラ102及び照明装置103の構成例。
【図3】カメラ102Eによる撮像タイミングの計測例。
【図4】コンピュータ105が出す指令パレスのイメージ図。
【図5】画像撮像装置100の動作手順を表すフローチャート。
【図6】コンピュータ105が出す指令パレスのイメージ図。
【図7】従来の外観検査装置300の概略構成図。
【符号の説明】
100 画像撮像装置
101 ベルトコンベアー
102 カメラ
103 照明装置
104 光センサー
105 パーソナルコンピュータ
106 対象物
108 撮像位置
109 白色発光ダイオード
【発明の属する技術分野】
本発明は、農産物等の対象物の品質や大きさを観測するためにその画像を撮像する画像撮像装置及び画像撮像方法に関する。
【0002】
【従来の技術】
従来の画像撮像装置としては、例えば、特開2001−86865号公報に記載されたものがあった。
【0003】
特開2001−86865号公報に記載された外観検査装置300は、図7に表されているように、撮像対象であるスイカ301を乗せたベルトコンベアー302と、照明装置が一体的に組み込まれている四つのカメラ303A、303B、303C、303Dと、二つの位置センサー304A、304Bと、カメラ303A、303B、303C、303D及び位置センサー304A、304Bから得られる信号を処理する処理装置305とからなっている。
【0004】
そして、図6の下方から上方に向かって搬送されているスイカ301を位置センサー304A、304Bで検知した際に、撮影方向が直交線上になるように配置されているカメラ303A、303B、303C、303Dによって、スイカ301の画像を取得するようにされていた。
【0005】
【特許文献1】
特開2001‐86865号公報
【0006】
【発明が解決しようとする課題】
しかしながら、従来の外観検査装置300では、位置センサー304A、304Bの位置まで撮像対象であるスイカ301が到達した際に画像を取得することとされているため、撮像対象の大きさによって画像の中心位置と撮像対象の中心軸とがずれてしまうことがあった。
【0007】
また、カメラ303A、303B、303C、303Dは、撮影方向が直交線上になるように配置されており、それぞれのカメラ303A、303B、303C、303Dの撮像位置が一点に定められており、一度に全てのカメラ303A、303B、303C、303Dで撮像を行うようにされているため、このカメラ303A、303B、303C、303Dに一体的に設けられている照明装置も一度に点灯するため、光のあたる範囲の重なり合う部分が明るくなりすぎてしまい、撮像対象を照らす照明にムラが生じてしまうことがあった。
【0008】
さらに、対向方向にある照明装置が画像に写り込んでしまうこともあった。
【0009】
そこで、本発明は、撮像対象である対象物の中心軸と画像の中心位置とを合わせることができ、かつ、照明ムラを除去し、対向する照明装置からの照明光の写り込みを防止することができる画像撮像装置を提供することを目的とする。
【0010】
【課題を解決するための手段】
以上の課題を解決するため、本発明は、撮像対象となる対象物を撮像する画像撮像装置であって、前記対象物を搬送路に沿って搬送する搬送装置と、前記対象物を水平方向であってそれぞれ異なる方向から撮像し、前記搬送路上のそれぞれ異なる位置を前記対象物の撮像位置とするように配置された複数のカメラと、前記カメラの撮像方向から前記対象物に光を当て、前記カメラと共に複数設けられている照明装置と、前記カメラよりも前記搬送路の上流側に位置し、前記対象物の位置及び搬送方向における長さを確認するセンサーと、前記センサーから送信される信号及び前記搬送装置の搬送速度に基づいて、前記対象物の搬送方向における中心軸及び位置を算出し、複数の前記カメラの内、前記中心軸と前記撮像位置とが重なった一のカメラで撮像を行うと共に、前記撮像を行っている間のみ、この一のカメラの撮像方向から光を当てる一の照明装置を点灯させることを順次繰り返し、全てのカメラにより撮像を行う制御手段と、を有することを特徴とする画像撮像装置を提供する。
【0011】
以上のように、本発明では、対象物が搬送されてくる搬送路の上流側にセンサーを設けておき、このセンサーにより対象物の位置及び搬送方向における長さを確認することで、制御手段は、この対象物の位置を起点として、搬送装置の搬送速度に基づいて対象物の位置を正確に把握することができるようになる。
【0012】
そして、搬送方向における長さの半分として認識される軸を対象物の中心軸として、この中心軸がカメラの撮像位置、即ち、このカメラで画像を取った際に画像の中心となる位置と重なった際に撮像を行うことで、カメラが撮像する画像の中心に対象物が撮像されることとなる。
【0013】
また、対象物の水平方向であって、それぞれが異なる方向から撮像を行う複数のカメラは、それぞれが撮像する画像の中心位置、即ち、撮像位置が異なるように配置されている。
【0014】
そして、搬送路に沿って搬送されてくる対象物の中心軸が、それぞれのカメラによって撮像する画像の中心位置と重なった場合に、そのカメラにより次々と撮像を行い、このときのに撮像するカメラの撮像方向に設けられている照明装置のみを点灯させることにより、対象物に照明装置の光が当たるタイミングをずらすことができ、照明装置の光が重なり合うことで生ずる照明ムラを除去することが可能となると共に、対向方向にある照明装置が写り込んでしまうことを防止することもできるようになる。
【0015】
なお、対象物を水平方向から撮像するカメラは、四つ設けておき、隣り合っているこれらのカメラの撮像方向が、それぞれ垂直に交わる方向となるようにこれらのカメラを配置することで、対象物の水平方向における全ての面を撮像することができるようになる。
【0016】
また、カメラについては、さらに対象物が搬送されてくる搬送路の上方に設けておき、対象物を上方から撮像するようにすることで、対象物の上面についても撮像することができるようになる。
【0017】
この場合にも、対象物の上面に光が当たるように照明装置を設けておく必要があるが、対象物の上方から撮像を行うカメラの撮像位置を、水平方向から撮像する他のカメラの撮像位置とは異なる点となるように配置しておくことで、照明ムラが生ずるのを回避することができるとともに、対向方向にある照明装置が写り込んでしまうことを防止することもできるようになる。
【0018】
また、本発明は、撮像対象となる対象物を撮像する画像撮像装置であって、前記対象物を搬送路に沿って搬送する搬送装置と、前記搬送路の上流側に位置し、前記対象物の位置及び搬送方向における長さを確認するセンサーと、前記対象物を水平方向であってそれぞれ異なる方向から撮像し、前記搬送路上のそれぞれ異なる位置を撮像位置とするように配置された四つのカメラと、前記カメラの撮像方向から前記対象物に光を当てる四つの照明装置と、前記カメラよりも前記搬送路の上流側に位置し、前記対象物の位置及び搬送方向における長さを確認するセンサーと、前記センサーから送信される信号及び前記搬送装置の搬送速度に基づいて、前記対象物の搬送方向における中心軸及び位置を算出し、複数の前記カメラの内、前記中心軸と前記撮像位置とが重なった一のカメラで撮像を行うことを順次繰り返し、全てのカメラにより撮像を行う画像撮像装置であって、隣り合う前記カメラの撮像方向は、それぞれ垂直に交わる方向に配置されており、前記制御手段は、前記撮像を行っている間のみ、前記中心軸と前記撮像位置とが重なった一のカメラの撮像方向及びこの撮像方向に垂直に交わる方向から光を当てる三つの照明装置を点灯させることを特徴とする画像撮像装置を提供する。
【0019】
例えば、撮像対称となる対象物が球形の場合のように、一方向から光を当てただけでは、対象物の周辺に充分に光が届かない場合があるため、このような場合には、撮像を行うカメラの撮像方向から光を当てる照明装置の他に、このカメラの撮像方向に垂直に交わる方向から光を当てる二つの照明装置も同時に点灯させることで、対象物の周辺にも充分に光が届くようになる。
【0020】
なお、このような場合にも、対象物を上方から撮像するカメラを追加することができるが、このカメラで撮像を行う際には、このカメラの撮像方向から対象物に光を当てる照明装置のみを点灯させることもでき、また、水平方向から光を当てる照明装置をも点灯させることもできる。
【0021】
例えば、対象物の上面が水平面となっているような場合には、この対象物を上方から撮像するカメラの撮像方向から光を当てる照明装置のみを点灯させれば足りるが、対象物の上面も球状になっているような場合には、対象物の水平方向から光を当てる照明装置も点灯させることが望ましい。
【0022】
以上に記載した照明装置については、白色発光ダイオードを用いたものを使用することが望ましい。
【0023】
白色発光ダイオードは、蛍光灯やハロゲンランプと比較しても、極めて長い寿命を有しているため、交換時期を延ばし、交換などのメンテナンス負担を軽減することができるほか、極めて短い時間の通電でも高い発揮性能を有しているため、撮像を行う際の短い時間点灯させた場合でも充分な光量を得られる。
【0024】
また、本発明は、搬送路に沿って搬送される対象物を前記搬送路上のそれぞれ異なる位置を撮像位置とするように配置された複数のカメラで水平方向から連続して撮像を行い、かつ、前記カメラと共に複数設けられている照明装置を点灯させることにより前記対象物に光を当てる画像撮像方法であって、前記対象物の位置及び搬送方向における長さをセンサーにより確認する確認過程と、前記センサーから送信される信号及び前記対象物の搬送速度から、前記対象物の搬送方向における中心軸及び位置を算出する算出過程と、複数の前記カメラの内、前記中心軸と前記撮像位置とが重なった一のカメラで撮像を行うと共に、前記撮像を行っている間のみ、この一のカメラの撮像方向から光を当てる一の照明装置を点灯させることを連続して行う撮像過程と、を有することを特徴とする画像撮像方法を提供する。
【0025】
以上のように、撮像の対象となっている対象物の位置及び搬送方向における長さをセンサーにより確認することで、このセンサーにより確認された対象物の位置を起点として、搬送路の搬送速度に基づいて対象物の位置を正確に算出することができる。
【0026】
そして、搬送方向における長さの半分として認識される軸を対象物の中心軸として、この中心軸がカメラの撮像位置、即ち、このカメラで画像を取った際に画像の中心となる位置と重なった際に撮像を行うことで、カメラが撮像する画像の中心に対象物が撮像されることとなる。
【0027】
この際、このときのに撮像するカメラの撮像方向に設けられている照明装置のみを点灯させることにより、対象物に照明装置の光が当たるタイミングをずらすことができ、照明装置の光が重なり合うことで生ずる照明ムラを除去することが可能となると共に、対向方向にある照明装置の光が写り込んでしまうことを防止することもできるようになる。
【0028】
なお、対象物を水平方向から撮像するカメラは、四つ設けておき、隣り合っているこれらのカメラの撮像方向が、それぞれ垂直に交わる方向となるようにこれらのカメラを配置することで、対象物の水平方向における全ての面を撮像することができるようになる。
【0029】
また、カメラについては、さらに対象物が搬送されてくる搬送路の上方に設けておき、対象物を上方から撮像するようにすることで、対象物の上面についても撮像することができるようになる。
【0030】
この場合にも、対象物の上面に光が当たるように照明装置を設けておく必要があるが、対象物の上方から撮像を行うカメラの撮像位置を、水平方向から撮像する他のカメラの撮像位置とは異なる点となるように配置しておくことで、照明ムラが生ずるのを回避することができるとともに、対向方向にある照明装置が写り込んでしまうことを防止することもできるようになる。
【0031】
さらに、本発明は、搬送路に沿って搬送される対象物を前記搬送路上のそれぞれ異なる位置を撮像位置とするように配置された複数のカメラであって、隣り合う前記カメラの撮像方向が垂直に交わるように配置されている複数の前記カメラにより、水平方向から連続して撮像を行い、かつ、前記カメラと共に複数設けられている照明装置を点灯させることにより前記対象物に光を当てる画像撮像方法であって、前記対象物の位置及び搬送方向における長さをセンサーにより確認する確認過程と、前記センサーから送信される信号及び前記対象物の搬送速度から、前記対象物の搬送方向における中心軸及び位置を算出する算出過程と、複数の前記カメラの内、前記中心軸と前記撮像位置とが重なった一のカメラで撮像を行うと共に、前記撮像を行っている間のみ、この一のカメラの撮像方向及びこの撮像方向に垂直に交わる方向から光を当てる三つの照明装置を点灯させることを連続して行う撮像過程と、を有することを特徴とする画像撮像方法を提供する。
【0032】
撮像対称となる対象物が球形の場合のように、一方向から光を当てただけでは、対象物の周辺に充分に光が届かない場合があるため、このような場合には、撮像を行うカメラの撮像方向から光を当てる照明装置の他に、このカメラの撮像方向に垂直に交わる方向から光を当てる二つの照明装置も同時に点灯させることで、対象物の周辺にも充分に光が届くようになる。
【0033】
なお、このような場合にも、対象物を上方から撮像するカメラを追加することができるが、このカメラで撮像を行う際には、このカメラの撮像方向から対象物に光を当てる照明装置のみを点灯させることもでき、また、水平方向から光を当てる照明装置をも点灯させることもできる。
【0034】
例えば、対象物の上面が水平面となっているような場合には、この対象物を上方から撮像するカメラの撮像方向から光を当てる照明装置のみを点灯させれば足りるが、対象物の上面も球状になっているような場合には、対象物の水平方向から光を当てる照明装置も点灯させることが望ましい。
【0035】
以上に記載した照明装置については、白色発光ダイオードを用いたものを使用することが望ましい。
【0036】
【発明の実施の形態】
図1は、本発明の一実施形態に係る画像撮像装置100の概略構成図である。
【0037】
本発明の一実施形態に係る画像撮像装置100は、ベルトコンベアー101と、五つのカメラ102A、102B、102C、102D、102Eと、五つの照明装置103A、103B、103C、103D、103Eと、光センサー104A、104Bと、パーソナルコンピュータ105と、により構成されている。
【0038】
画像撮像装置100での撮像対象である対象物106を搬送するベルトコンベアー101は、対象物106を一定の速度v、ここでは、1m/sの速度で、図1の向かって左から右に搬送している。
【0039】
対象物106を撮像するためのカメラ102A、102B、102C、102D、102Eは、対象物106を水平方向から撮像するために、第一のカメラ102Aと、第二のカメラ102Bと、第三のカメラ102Cと、第四のカメラ102Dをベルトコンベアー101の側方に配置し、対象物106を上方から撮像するために、第五のカメラ102Eをベルトコンベアー101の上方に配置している。
【0040】
また、これらのカメラ102A、102B、102C、102D、102Eは、ベルトコンベアー101の幅方向における中央にピントが合うようにされており、カメラレンズの中心部からそれぞれのカメラ102A、102B、102C、102D、102Eの撮像方向に延ばした軌跡107A、107B、107C、107D(第五のカメラ102Eについては、図示せず。)がベルトコンベアー101の幅方向における中央に達した点108A、108B、108C、108Dが、それぞれのカメラ102A、102B、102C、102D、102Eの撮像位置108A、108B、108C、108D(第五のカメラ102Eについても同様に考えればよい。)となる。
【0041】
これらの撮像位置108A、108B、108C、108Dは、それぞれのカメラによって異なる位置となるように形成されている。
【0042】
なお、このような撮像位置108A、108B、108C、108D、108Eは、それぞれのカメラ102A、102B、102C、102D、102Eで画像を撮像した際に画像の中心に位置するようになる。
【0043】
ここで、本実施形態では、ベルトコンベアー101が1m/sの速度で動いており、後述するカメラ102A、102B、102C、102D、102Eの撮像時間が2msであることから、これらの撮像位置108A、108B、108C、108D、108E間の距離Xは2mmとしている。
【0044】
なお、本実施形態においては、カメラ102A、102B、102C、102D、102Eを五つで構成したが、この数には限定されず、二つ以上の任意の数を選択することができる。
【0045】
図2に表されているように、照明装置103A、103B、103C、103D、103Eは、カメラ102A、102B、102C、102D、102Eのレンズ102aの周囲に配列された複数の白色発光ダイオード109により構成されている。
【0046】
なお、このように、照明装置103A、103B、103C、103D、103Eは、カメラ102A、102B、102C、102D、102Eのレンズ102aの周囲に配置されていることから、白色発光ダイオード109が発光することにより、照明装置103A、103B、103C、103D、103Eはカメラ102A、102B、102C、102D、102Eの撮像方向から対象物106に光を当てることができるようになる。
【0047】
また、本実施形態では、白色発光ダイオード109を使用したが、その他、他の色の発光ダイオードや、蛍光灯、ハロゲンランプ等を使用することも可能である。
【0048】
ベルトコンベアー101のカメラ102A、102B、102C、102D、102Eよりも上流側には、光センサー104A、104Bが設けられており、光センサー104A、104Bは、発光側光センサー104Aより発光された光を受光側光センサー104Bで受光しており、発光側光センサー104Aと受光側光センサー104Bとの間を対象物106が通ることにより、光が遮られ、対象物106が光センサー104A、104Bが設けられている位置を通過したことが分かるほか、光を遮っていた時間により、対象物106の長さが分かるようにされている。
【0049】
なお、対象物106が光を遮った情報については、通過情報として光センサー104A、104Bからパーソナルコンピュータ105に通知され、また、対象物106が光が遮った時間については、長さ情報としてパーソナルコンピュータ105に通知される。
【0050】
そして、パーソナルコンピュータ105では、光センサー104A、104Bから通知された長さ情報に基づいて、図3に表されているように、対象物106の長さYの半分の値Zにより、対象物106の中心軸106bの位置を定め、この中心軸106bとカメラ102Eの撮像位置108Eとが重なる時刻を計算し、この時点においてカメラ102Eにおいて露出を行い、照明装置103Eにおいて対象物106に光を当てるように指令を出す。
【0051】
なお、対象物106の中心軸106bとカメラ102Eの撮像位置108Eとが重なる時点の計測は、対象物106と撮像位置108との間の距離L(ここでは、光センサー104A、104Bと画像の中心位置108Eとの間の距離)とに対象物106の長さYの半分の値Zを足すことにより距離Mを算出し、これをベルトコンベアー101の速度vで割ることで、対象物106の中心軸106bが撮像位置108Eに重なるまでの時間によって算出している。
【0052】
以上のように、パーソナルコンピュータ105において、それぞれのカメラ102A、102B、102C、102D、102Eの撮像位置108A、108B、108C、108D、108Eと対象物106の中心軸106bとが重なる時刻を計算し、この計測結果に基づいて、各カメラ102A、102B、102C、102D、102E及び照明装置103A、103B、103C、103D、103Eに対して、露出タイミング及び点灯タイミングの指令を送信する。
【0053】
なお、上述のように、各カメラ102A、102B、102C、102D、102Eの撮像位置108A、108B、108C、108D、108Eは、それぞれの間隔Xが2mmとなるように連続して設けられているため、対象物106の中心軸106bは、ベルトコンベアー101の速度が1m/sであることから、2msの時間をおいて、連続して各撮像位置108A、108B、108C、108D、108Eに重なるようになる。
【0054】
また、本実施形態では、対象物106の中心軸106bが撮像位置108A、108B、108C、108D、108Eに重なる順番は、第一のカメラの撮像位置108A、第二のカメラの撮像位置108B、第三のカメラの撮像位置108C、第四のカメラの撮像位置108D、第五のカメラの撮像位置108Eの順番である。
【0055】
ここで、パーソナルコンピュータ105から出される指令の具体例は、図4に表されている。
【0056】
まず、パーソナルコンピュータ105は、対象物106の中心軸106bと第一のカメラの撮像位置108Aとが重なる時点において、第一のカメラ102Aの露光タイミングと第一の照明装置103Aの点灯タイミングとの同期を取るための第一のトリガ信号パルス110Aと、第一のカメラ102Aに露光を行わせるための第一の露光タイミングパルス111Aと、第一の照明装置103Aに点灯を行わせるための第一の点灯タイミングパルス112Aと、を第一のカメラ102A及び第一の照明装置103Aに送信し、これに基づいて、第一のカメラ102Aは、露光を行うことで撮像を行い、第一の照明装置103Aは、点灯を行う。
【0057】
なお、ここで、第一のカメラ102Aの露光時間は1msで、第一の照明装置103Aの点灯時間は2msに設定されており、対象物106に対して均一な光を当てるため、第一の照明装置103Aは、第一のカメラ102Aの露光開始時刻よりも0.5ms早く点灯し、露光終了時刻よりも0.5ms遅く点灯を止めるようにされている。
【0058】
次に、パーソナルコンピュータ105は、第一のトリガ信号パルス110Aから2ms遅れて、第二のトリガ信号パルス110B、第二の露光タイミングパルス111B及び第二の点灯タイミングパルス112Bを第二のカメラ102B及び第二の照明装置103Bに送信する。
【0059】
したがって、第二のカメラ102B及び第二の照明装置103Bは、第一のカメラ102A及び第一の照明装置103Aから2ms遅れて撮像及び点灯を行うこととなる。
【0060】
以下、同様にして、第二のトリガ信号パルス110Bを発してから2ms遅れで、第三のカメラ102C及び第三の照明装置103Cに第三のトリガ信号パルス110C、第三の露光タイミングパルス111C及び第三の点灯タイミングパルス112Cを送信し、第三のトリガ信号パルス110Cを発してから2ms遅れで、第四のカメラ102D及び第四の照明装置103Dに第四のトリガ信号パルス110D、第四の露光タイミングパルス111D及び第四の点灯タイミングパルス112Dを送信し、第四のトリガ信号パルス110Dを発してから2ms遅れで、第五のカメラ102E及び第五の照明装置103Eに第五のトリガ信号パルス110E、第五の露光タイミングパルス111E及び第五の点灯タイミングパルス112Eを送信することで、これらのカメラ102A、102B、102C、102D、102E及び照明装置103A、103B、103C、103D、103Eは、対象物106の中心軸106bと撮像位置108A、108B、108C、108D、108Eとが重なった位置において、対象物106に光を当てて撮像を行うようにされている。
【0061】
以上のように構成される画像撮像装置100は、図5に表された手順により撮像を行う。
【0062】
まず、対象物106の位置及び搬送方向における長さを光センサー104A、105Aにより確認する(S120)。
【0063】
このようにして確認された対象物106の位置及び搬送方向における長さは、パーソナルコンピュータ105に送られ、この情報とベルトコンベアー101の速度vからパーソナルコンピュータ105は、対象物106の搬送方向における中心軸と位置とを算出する(S121)。
【0064】
このようにして算出された対象物106の中心軸及び位置とに基づいて、パーソナルコンピュータ105は、それぞれのカメラ102A、102B、102C、102D、102Eの撮像位置108A、108B、108C、108D、108Eと対象物106の中心軸106bとが重なる時刻を計算し、この計測結果に基づいて、各カメラ102A、102B、102C、102D、102E及び照明装置103A、103B、103C、103D、103Eに対して、露出タイミング及び点灯タイミングの指令を送信する。
【0065】
そして、この露光タイミングと点灯タイミングに基づいて、第一のカメラ102Aの露光及び第一の照明装置103Aの点灯(S122)、第二のカメラ102Bの露光及び第二の照明装置103Bの点灯(S123)、第三のカメラ102Cの露光及び第三の照明装置103Cの点灯(S124)、第四のカメラ102Dの露光及び第四の照明装置103Dの点灯(S125)、第五のカメラ102Eの露光及び第五の照明装置103Eの点灯(S126)、が行われる。
【0066】
なお、対象物106が球形である場合等には、撮像するカメラ102A、102B、102C、102D、102Eの撮像方向から対象物106に光を当てる照明装置103A、103B、103C、103D、103Eばかりでなく、その両隣にある照明装置103A、103B、103C、103D、103E、例えば、第一のカメラ102Aの撮像位置108Aと対象物106の中心軸106bとが重なり合う時点で、第一のカメラ102Aは、撮像を行うが、このとき、第一の照明装置103Aばかりでなく、第二の照明装置103B及び第三の照明装置103Cも点灯するようにすることもできる。
【0067】
この場合に、パーソナルコンピュータ105から出される指令の具体例は、図6に表されている。
【0068】
まず、パーソナルコンピュータ105は、対象物106の中心軸106bと第一のカメラの撮像位置108Aとが重なる時点において、第一のカメラ102Aの露光タイミングと、第一の照明装置103Aの点灯タイミングと、第二の照明装置103Bの点灯タイミングと、第三の照明装置103Cの点灯タイミングと、の同期を取るための第一のトリガ信号パルス210Aと、第一のカメラ102Aに露光を行わせるための第一の露光タイミングパルス211Aと、第一の照明装置103Aに点灯を行わせるための第一の点灯タイミングパルス212Aと、第二の照明装置103Bに点灯を行わせるための第二の点灯タイミングパルス212Bと、第三の照明装置103Cに点灯を行わせるための第三の点灯タイミングパルス212Cと、を第一のカメラ102A、第一の照明装置103A、第二の照明装置103B及び第三の照明装置103Cに送信し、これに基づいて、第一のカメラ102Aは、露光を行うことで撮像を行い、第一の照明装置103A、第二の照明装置103B及び第三の照明装置103Cは、点灯を行う。
【0069】
なお、ここで、第一のカメラ102Aの露光時間は1msで、第一の照明装置103A、第二の照明装置103B及び第三の照明装置103Cの点灯時間は2msに設定されており、対象物106に対して均一な光を当てるため、第一の照明装置103Aは、第一のカメラ102Aの露光開始時刻よりも0.5ms早く点灯し、露光終了時刻よりも0.5ms遅く点灯を止めるようにされている。
【0070】
次に、パーソナルコンピュータ105は、第一のトリガ信号パルス210Aから2ms遅れて、第二のトリガ信号パルス210B、第二の露光タイミングパルス211B、第一の点灯タイミングパルス212A、第二の点灯タイミングパルス212B及び第四の点灯タイミングパルス212D、を第二のカメラ102B、第一の照明装置103A、第二の照明装置103B及び第四の照明装置103Dに送信する。
【0071】
このことにより、第二のカメラ102Bが露光を行い撮像を行う際に、第一の照明装置103A、第二の照明装置103B及び第四の照明装置103Dが点灯されるようになる。
【0072】
以下、同様にして、第二のトリガ信号パルス210Bから2ms遅れて、第三のトリガ信号パルス210C、第三の露光タイミングパルス211C、第一の点灯タイミングパルス212A、第三の点灯タイミングパルス212C及び第四の点灯タイミングパルス212D、を第三のカメラ102B、第一の照明装置103A、第三の照明装置103C及び第四の照明装置103Dに送信し、第三のトリガ信号パルス210Cから2ms遅れて、第四のトリガ信号パルス210D、第四の露光タイミングパルス211D、第二の点灯タイミングパルス212B、第三の点灯タイミングパルス212C及び第四の点灯タイミングパルス212D、を第四のカメラ102D、第二の照明装置103B、第三の照明装置103C及び第四の照明装置103Dに送信することで、これらのカメラ102A、102B、102C、102D及び照明装置103A、103B、103C、103Dは、対象物106の中心軸106bと撮像位置108A、108B、108C、108Dとが重なった位置において、隣同士の照明装置103A、103B、103C、103Dをも点灯させて撮像を行うことができるようにされている。
【0073】
なお、ここでは、第五のカメラ102Eで撮像を行う際には、他の照明装置103A、103B、103C、103Dは点灯しないようにしているため、第四のトリガ信号パルス210Dが発せられてから2ms後に、第五のカメラ102E及び第五の照明装置103Eには、第五のトリガ信号パルス210Eと、第五のカメラに露光を行わせるための第五の露光タイミングパルス211Eと、第五の照明装置105Eに点灯を行わせるための第五の点灯タイミングパルス212Eが発せられるようにされている。
【0074】
この点、第五のカメラ102Eで撮像を行う際に、第五の照明装置103Eに加えて他の照明装置103A、103B、103C、103Dも点灯するようにする場合には、第四のトリガ信号パルス210Dが発せられてから2ms後に、第五のカメラ102E及び全ての照明装置103A、103B、103C、103D、103Eに対し、第五のトリガ信号パルス210Eと、第一のカメラに露光を行わせるための第一の露光タイミングパルス211Aと、第二の照明装置105Bに点灯を行わせるための第二の点灯タイミングパルス212B、第三の照明装置105Cに点灯を行わせるための第三の点灯タイミングパルス212C、第四の照明装置105Dに点灯を行わせるための第四の点灯タイミングパルス212D、第五の照明装置105Eに点灯を行わせるための第五の点灯タイミングパルス212Eを発するようにすればよい。
【0075】
なお、パーソナルコンピュータ105と、カメラ102A、102B、102C、102D、102Eと、照明装置103A、103B、103C、103D、103Eと、光センサー104A、104Bと、の情報の伝達は、ケーブル213を通じて行われている。
【0076】
本発明を以上のように構成したので、ベルトコンベアー101に乗って搬送されてきた対象物106の中心軸106bが各カメラ102A、102B、102C、102D、102Eの撮像位置108A、108B、108C、108D、108Eと重なり、各カメラ102A、102B、102C、102D、102Eで撮像する画像の中心に対象物106の中心軸が位置するような画像を取ることができるほか、照明装置103A、103B、103C、103D、103Eの光が重なることによる照明ムラを防止することができるほか、対向方向にある照明装置103A、103B、103C、103Dが画像に写り込んでしまうことを防止することができる。
【0077】
【発明の効果】
以上のように本発明を構成したので、撮像対象である対象物の中心軸と画像の中心位置とを合わせることができ、かつ、照明ムラを除去し、対向する照明装置からの照明光の写り込みを防止することができる画像撮像装置を提供することができる。
【図面の簡単な説明】
【図1】一実施形態に係る画像撮像装置100の概略構成図。
【図2】カメラ102及び照明装置103の構成例。
【図3】カメラ102Eによる撮像タイミングの計測例。
【図4】コンピュータ105が出す指令パレスのイメージ図。
【図5】画像撮像装置100の動作手順を表すフローチャート。
【図6】コンピュータ105が出す指令パレスのイメージ図。
【図7】従来の外観検査装置300の概略構成図。
【符号の説明】
100 画像撮像装置
101 ベルトコンベアー
102 カメラ
103 照明装置
104 光センサー
105 パーソナルコンピュータ
106 対象物
108 撮像位置
109 白色発光ダイオード
Claims (12)
- 撮像対象となる対象物を撮像する画像撮像装置であって、
前記対象物を搬送路に沿って搬送する搬送装置と、
前記対象物を水平方向であってそれぞれ異なる方向から撮像し、前記搬送路上のそれぞれ異なる位置を前記対象物の撮像位置とするように配置された複数のカメラと、
前記カメラの撮像方向から前記対象物に光を当て、前記カメラと共に複数設けられている照明装置と、
前記カメラよりも前記搬送路の上流側に位置し、前記対象物の位置及び搬送方向における長さを確認するセンサーと、
前記センサーから送信される信号及び前記搬送装置の搬送速度に基づいて、前記対象物の搬送方向における中心軸及び位置を算出し、複数の前記カメラの内、前記中心軸と前記撮像位置とが重なった一のカメラで撮像を行うと共に、前記撮像を行っている間のみ、この一のカメラの撮像方向から光を当てる一の照明装置を点灯させることを順次繰り返し、全てのカメラにより撮像を行う制御手段と、を有することを特徴とする画像撮像装置。 - 前記カメラは、四つ設けられており、
隣り合っている前記カメラの撮像方向は、それぞれ垂直に交わる方向であることを特徴とする請求項1に記載の画像撮像装置。 - 前記画像撮像装置には、前記対象物を上方から撮像し、他のカメラの撮像位置とは異なる位置を撮像位置とするカメラと、
前記対象物を上方から撮像する前記カメラの撮像方向から前記対象物に光を当てる照明装置と、がさらに設けられていることを特徴とする請求項1又は2に記載の画像撮像装置。 - 撮像対象となる対象物を撮像する画像撮像装置であって、
前記対象物を搬送路に沿って搬送する搬送装置と、
前記搬送路の上流側に位置し、前記対象物の位置及び搬送方向における長さを確認するセンサーと、
前記対象物を水平方向であってそれぞれ異なる方向から撮像し、前記搬送路上のそれぞれ異なる位置を前記対象物の撮像位置とするように配置された四つのカメラと、
前記カメラの撮像方向から前記対象物に光を当てる四つの照明装置と、
前記カメラよりも前記搬送路の上流側に位置し、前記対象物の位置及び搬送方向における長さを確認するセンサーと、
前記センサーから送信される信号及び前記搬送装置の搬送速度に基づいて、前記対象物の搬送方向における中心軸及び位置を算出し、複数の前記カメラの内、前記中心軸と前記撮像位置とが重なった一のカメラで撮像を行うことを順次繰り返し、全てのカメラにより撮像を行う画像撮像装置であって、
隣り合う前記カメラの撮像方向は、それぞれ垂直に交わる方向に配置されており、
前記制御手段は、前記撮像を行っている間のみ、前記中心軸と前記撮像位置とが重なった一のカメラの撮像方向及びこの撮像方向に垂直に交わる方向から光を当てる三つの照明装置を点灯させることを特徴とする画像撮像装置。 - 前記画像撮像装置には、前記対象物を上方から撮像し、他のカメラの撮像位置とは異なる位置を撮像位置とするカメラと、
前記対象物を上方から撮像する前記カメラの撮像方向から前記対象物に光を当てる照明装置と、がさらに設けられており、
前記制御手段は、前記対象物を垂直方向から撮像するカメラで撮像を行う際には、前記対象物に上方から光を当てる照明装置のみ又は全ての照明装置を点灯させることを特徴とする請求項6に記載の画像撮像装置。 - 前記照明装置は、白色発光ダイオードを用いたものであることを特徴とする請求項1乃至5のいずれか一項に記載の画像撮像装置。
- 搬送路に沿って搬送される対象物を前記搬送路上のそれぞれ異なる位置を撮像位置とするように配置された複数のカメラで水平方向から連続して撮像を行い、かつ、前記カメラと共に複数設けられている照明装置を点灯させることにより前記対象物に光を当てる画像撮像方法であって、
前記対象物の位置及び搬送方向における長さをセンサーにより確認する確認過程と、
前記センサーから送信される信号及び前記対象物の搬送速度から、前記対象物の搬送方向における中心軸及び位置を算出する算出過程と、
複数の前記カメラの内、前記中心軸と前記撮像位置とが重なった一のカメラで撮像を行うと共に、前記撮像を行っている間のみ、この一のカメラの撮像方向から光を当てる一の照明装置を点灯させることを連続して行う撮像過程と、を有することを特徴とする画像撮像方法。 - 前記カメラは、前記対象物を水平方向から撮像するように四つ設けられており、
隣り合っている前記カメラの撮像方向は、それぞれ垂直に交わる方向に配置されていることを特徴とする請求項7に記載の画像撮像方法。 - 前記対象物を上方から撮像し、他のカメラの撮像位置とは異なる位置を撮像位置とするカメラと、
前記対象物を上方から撮像する前記カメラの撮像方向から前記対象物に光を当てる照明装置と、がさらに設けられており、
前記撮像過程には、前記中心軸と、前記対象物を上方から撮像する前記カメラの撮像位置と、が重なった場合にこのカメラにより撮像を行うと共に、前記撮像を行っている間のみこのカメラの撮像方向から光を当てる前記照明装置を点灯させることも含まれることを特徴とする請求項7又は8に記載の画像撮像方法。 - 搬送路に沿って搬送される対象物を前記搬送路上のそれぞれ異なる位置を撮像位置とするように配置された複数のカメラであって、隣り合う前記カメラの撮像方向が垂直に交わるように配置されている複数の前記カメラにより、水平方向から連続して撮像を行い、かつ、前記カメラと共に複数設けられている照明装置を点灯させることにより前記対象物に光を当てる画像撮像方法であって、
前記対象物の位置及び搬送方向における長さをセンサーにより確認する確認過程と、
前記センサーから送信される信号及び前記対象物の搬送速度から、前記対象物の搬送方向における中心軸及び位置を算出する算出過程と、
複数の前記カメラの内、前記中心軸と前記撮像位置とが重なった一のカメラで撮像を行うと共に、前記撮像を行っている間のみ、この一のカメラの撮像方向及びこの撮像方向に垂直に交わる方向から光を当てる三つの照明装置を点灯させることを連続して行う撮像過程と、を有することを特徴とする画像撮像方法。 - 前記対象物を上方から撮像し、他のカメラの撮像位置とは異なる位置を撮像位置とするカメラと、
前記対象物を上方から撮像する前記カメラの撮像方向から前記対象物に光を当てる照明装置と、がさらに設けられており、
前記撮像過程には、前記中心軸と、前記対象物を上方から撮像する前記カメラの撮像位置と、が重なった場合にこのカメラにより撮像を行うと共に、前記撮像を行っている間のみこのカメラの撮像方向から光を当てる前記照明装置のみ又は全ての照明装置を点灯させることも含まれることを特徴とする請求項10に記載の画像撮像方法。 - 前記照明装置には、白色発光ダイオードを用いていることを特徴とする請求項7乃至11の何れか一項に記載の画像撮像方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003121621A JP2004325308A (ja) | 2003-04-25 | 2003-04-25 | 画像撮像装置及び画像撮像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003121621A JP2004325308A (ja) | 2003-04-25 | 2003-04-25 | 画像撮像装置及び画像撮像方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004325308A true JP2004325308A (ja) | 2004-11-18 |
Family
ID=33500127
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003121621A Pending JP2004325308A (ja) | 2003-04-25 | 2003-04-25 | 画像撮像装置及び画像撮像方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004325308A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006045888A1 (en) * | 2004-10-27 | 2006-05-04 | Oy Mapvision Ltd | Method and system for determining the properties of a surface of revolution |
JP2007228178A (ja) * | 2006-02-22 | 2007-09-06 | Fujifilm Corp | 撮影システム |
US20100260380A1 (en) * | 2007-10-23 | 2010-10-14 | Zumbach Electronic Ag | Device for optically measuring and/or testing oblong products |
KR101012637B1 (ko) | 2008-08-22 | 2011-02-09 | (주) 인텍플러스 | 광학식 형상 측정 시스템 및 그를 이용한 측정 방법 |
CN110095070A (zh) * | 2019-05-13 | 2019-08-06 | 中国水利水电科学研究院 | 基于物联网的农作物生长监测装置及其方法 |
-
2003
- 2003-04-25 JP JP2003121621A patent/JP2004325308A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006045888A1 (en) * | 2004-10-27 | 2006-05-04 | Oy Mapvision Ltd | Method and system for determining the properties of a surface of revolution |
JP2007228178A (ja) * | 2006-02-22 | 2007-09-06 | Fujifilm Corp | 撮影システム |
US20100260380A1 (en) * | 2007-10-23 | 2010-10-14 | Zumbach Electronic Ag | Device for optically measuring and/or testing oblong products |
KR101012637B1 (ko) | 2008-08-22 | 2011-02-09 | (주) 인텍플러스 | 광학식 형상 측정 시스템 및 그를 이용한 측정 방법 |
CN110095070A (zh) * | 2019-05-13 | 2019-08-06 | 中国水利水电科学研究院 | 基于物联网的农作物生长监测装置及其方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6073704B2 (ja) | 外観検査装置 | |
US7385687B2 (en) | Inspection device | |
JP4713279B2 (ja) | 照明装置及びこれを備えた外観検査装置 | |
JP6685776B2 (ja) | 撮像システム、計測システム、生産システム、撮像方法、プログラム、記録媒体および計測方法 | |
KR101192118B1 (ko) | 복수조명을 이용한 스트립의 표면결함검출장치 | |
US20020005892A1 (en) | Illuminating unit for an article-sensing camera | |
JP2003535331A (ja) | 透明容器の検査方法および装置 | |
JP2006329919A (ja) | 照明装置、該照明装置を用いた画像処理装置および画像処理方法 | |
TWI437206B (zh) | 光照射裝置及調光方法 | |
CN112469992A (zh) | 利用图像传感器的表面缺陷检查装置及检查方法 | |
KR100725485B1 (ko) | 전자부품 검사 시스템 | |
JP2008047093A (ja) | 走査方法及び走査装置 | |
WO2012105449A1 (ja) | 光透過性板状物検査システム | |
JP2004325308A (ja) | 画像撮像装置及び画像撮像方法 | |
JP2010261837A (ja) | 外観検査装置及び外観検査用の光学装置 | |
JP2008046054A (ja) | 青果物検査装置 | |
JP2007322402A (ja) | 表面検査装置 | |
KR101749867B1 (ko) | 피검체 검사를 위한 시분할 영상 획득 시스템 및 이를 이용한 시분할 영상 획득 방법 | |
JP2011247690A (ja) | コネクターピン検査装置およびその検査方法 | |
JP7032633B2 (ja) | 物品検査装置 | |
JP2593863B2 (ja) | 物体外観検査装置 | |
WO2012098682A1 (ja) | 農産物の外部品質検査装置用の照明装置及び照明方法 | |
JP2004085204A (ja) | 座屈検査装置及び方法 | |
JP2008107348A (ja) | ガラス容器を検査するための機械 | |
WO2016018157A1 (en) | Article sorting system with synchronised lane detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050607 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070402 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070827 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071226 |