JP7347807B2 - 搬送システム - Google Patents

Description

本発明は搬送システムに関する。

従来から、各種の搬送システムにおいて、搬送物を撮影して生成した画像を処理することにより、搬送物の計数、良否の判定、姿勢の判別、搬送状態（速度、密度、間隔等）の検出などが行われている。このような搬送システムの例としては、以下の特許文献１や特許文献２に記載された装置が挙げられる。

特開２０１７－１２１９９５号公報 特開２０１９－１６９０１０号公報

ところで、上記の搬送システムでは、搬送中に搬送物の位置や姿勢が不規則に変化することがあるため、この位置や姿勢の変化に画像処理が影響を受け、誤った判別結果を出してしまう場合があり、この場合には、問題のない搬送物が搬送路上から排除されてしまったり、問題のある搬送物がそのまま下流側へ流れてしまったりするなど、判別結果の誤りによる搬送態様の不具合が発生するという第１の問題がある。

また、搬送物の画像処理を行う場合に、画像処理の対象となる計測エリアの面積が大き過ぎると、計測エリアの内部の搬送物の位置を特定してから搬送物の判別を行う必要があるため、処理すべきデータ量が増大するので、画像処理の負荷が大きく、画像処理に要する時間が長くなるため、高速な判別処理ができず、高速搬送に対応できないという第２の問題もある。ここで、画像処理の高速化を追求すると、搬送物の位置や姿勢の変化に対する判別精度が低下しやすくなることから、上述の搬送物の位置や姿勢の変化による誤判定がさらに増大するというジレンマがある。

そこで、本発明は上記問題を解決するものであり、その課題は、搬送システムにおいて、搬送中の搬送物の位置や姿勢の変動に起因する判別処理の誤りを低減することにある。また、搬送物判別処理の誤りを低減しつつ、搬送物の判別処理を高速に実施可能にすることにある。

上記課題を解決するために、本発明の搬送システムは、搬送物を搬送路に沿って搬送する搬送装置と、前記搬送物が前記搬送路上を通過する計測エリアの画像を取得する手段であって、前記搬送路を通過する全ての前記搬送物がそれぞれ必ず前記計測エリアの二以上の前記画像中に撮影されることとなる態様で複数の前記画像を順次に取得する画像取得手段と、前記画像内の前記搬送物の画像部分を画像処理して前記搬送物を判別する手段であって、前記搬送物ごとに、当該搬送物が撮影されている前記二以上の画像に対して順次に画像処理を実行することにより、前記二以上の画像に対する処理結果に基づいて判別結果を導出する搬送物判別手段と、を具備する。

本発明によれば、画像取得手段により全ての搬送物がそれぞれ二以上の画像中に撮影されることとなる態様で取り込まれるため、各搬送物について、二以上の画像中の搬送物の画像部分を画像処理して求めた二以上の処理結果に基づいて搬送物判定手段が各搬送物に対して判別結果を導出することにより、搬送物の位置や姿勢の変動等に起因する処理結果への影響により判別結果が誤る可能性を低減することができる。

本発明において、前記搬送物判別手段は、前記搬送物ごとに、前記二以上の画像に対する個々の処理結果の中の最多の処理結果に対応する前記判別結果を導出することが好ましい。これによれば、二以上の画像に対する個々の処理結果の中の最多の処理結果に対応する判別結果を導出することにより、判別精度を高めることができる。特に、前記二以上の画像は、三以上の画像であることが望ましい。

本発明において、前記搬送物判別手段は、前記搬送物ごとに、前記二以上の画像に対する既定の処理結果が設定数に達した場合には、前記既定の処理結果に対応する前記判別結果を導出することが好ましい。特に、前記二以上の画像は三以上の画像であり、前記設定数は二以上であることが望ましい。

本発明において、前記搬送物判別手段は、前記二以上の画像に対する画像処理に際して、二回目以降の前記画像に対しては、前回に処理された前記画像から得られた前記搬送物の位置情報と、前記搬送物の予測移動態様とにより限定された観察領域内において前記画像処理を実行することが好ましい。これによれば、搬送物ごとに二以上の画像を処理する必要があるものの、二回目以降の前記画像に対しては、前回に処理された画像における画像処理の結果として得られた搬送物の位置情報と予測移動態様とに基づいて限定された観察領域内において画像処理を実行するようにしたので、画像処理負担を軽減でき、画像処理の高速化を図ることができる。

本発明において、前記予測移動態様は、前記搬送物の搬送速度と、今回処理された前記画像と次回の前記画像の撮影時差とに対応する搬送方向の予測移動量であることが好ましい。

本発明において、前記二回目以降の画像に対する観察領域は、前回に処理された前記画像に対する画像処理で得られた前記搬送物の検出範囲を移動後の予測位置に配置した基準範囲に加えて、当該基準範囲の周囲に配置される周辺域を含むように拡大した領域となるように設定されることが好ましい。これにより、次の画像に対する観察領域内において搬送物をより確実に検出でき、判別処理の処理結果を導出することができる。ここで、上記周辺域は、前記基準範囲の周囲の少なくとも一部に設けられていればよい。ただし、上記周辺域が前記基準範囲の全周にわたり設けられることが処理結果の導出の確実性を高める上で望ましい。この場合において、前記観察領域の前記基準範囲に対する拡大度合は、前記搬送物の過去の移動態様のばらつきの大小に応じて増減されることが望ましい。

本発明において、前記予測移動態様は、前記搬送物の過去の移動態様に基づいて求められることが好ましい。この場合において、前記過去の移動態様とは、前記搬送物の過去の移動速度や移動の向き、位置や姿勢の変化などを言う。また、前記予測移動態様を求める方法は、前記搬送物の移動特性に応じて、種々の方法を採用できる。例えば、前記予測移動態様は、複数の前記過去の移動態様の平均値や中央値などの代表値に基づいて導出されるものであってもよく、また、最新の前記過去の移動態様に基づいて導出されるものであってもよい。

本発明において、前記搬送物判別手段は、前記二以上の画像のうちの初回の前記画像に対しては、前記搬送物が配置され得るように設定された既定の初回の前記観察領域において画像処理を実行し、前記処理結果を求めることが好ましい。ここで、前記画像取得手段により前記画像が前記搬送物の通過箇所の撮像により取得される場合には、前記初回の観察領域は、前記搬送物の通過検出位置に対応して定められることが望ましい。また、この場合においては、既定の初回の前記予測移動態様に基づいて、次回の画像に対する前記観察領域を設定することが好ましい。

本発明において、前記計測エリアの画像内に設定された限定領域を画像処理することにより、前記搬送物が前記限定領域を通過したことを検出する搬送物通過判定手段をさらに具備し、前記搬送物通過判定手段により前記搬送物が前記限定領域を通過したことが判定されると、初回の前記画像に対しては、前記限定領域に対して既定の位置関係にある初回の前記観察領域において画像処理を実行することが好ましい。ここで、前記限定領域は、搬送方向に短く、搬送方向と直交する方向には長い領域であることが望ましい。また、上記搬送物通過判定手段は、前記限定領域に前記搬送物が存在する第１の状態と、前記限定領域に前記搬送物が存在しない第２の状態とを検出可能であり、前記第１の状態から前記第２の状態に切り替わることにより前記搬送物が通過したことを判定するこ都が望ましい。

本発明において、前記画像取得手段は、前記搬送物の有無とは無関係に、トリガ信号を用いることなしに、前記画像を既定の取得タイミングで順次に取得し、前記画像処理手段へ提供することが好ましい。これによれば、搬送物の検出センサなどの画像を取得するタイミングを決定するトリガ信号を用いる必要がなくなるため、搬送物の検出ミスを防止できるとともに、画像取得手段を簡易に構成できる。この場合、前記搬送物の最大移動速度と画像の取得タイミングの時間間隔との関係により、通過する全ての前記搬送物が複数回含まれ得る計測エリアを前記画像内に設定し、初回の画像に対しては、前記搬送物判別手段により前記計測エリアの全体を前記観察領域として処理して初回の前記搬送物検出情報を求めることが望ましい。このとき、前記次回の画像に対する観察領域は、既定の初回の予測移動態様に基づいて設定されることが望ましい。

本発明において、前記観察領域に対する前記搬送物判別手段による判別処理と、前記搬送物の検出範囲と前記予測移動態様とに基づく次回の前記画像に対する観察領域の設定とを複数回繰り返すことにより、前記二以上の画像について前記観察領域における画像処理により前記処理結果を得ることが好ましい。この場合において、前記搬送物判別手段は、複数の搬送物に対して、並行して、それぞれの搬送物について上記二以上の画像における判別処理を実施し、複数の処理結果に基づいて判別結果を導出することが望ましい。

本発明において、上記判別結果に基づいて前記搬送装置を制御する搬送制御部をさらに具備することが好ましい。ここで、前記搬送制御部は、上記判別結果により、前記搬送装置に設けられた前記搬送物の選別若しくは姿勢変更を行うための搬送物処理機構を制御することが挙げられる。例えば、搬送物処理機構としては、搬送物を気流圧によって搬送路上から排除する搬送物排除処理部や、搬送物に気流圧を与えることによって姿勢を変更する姿勢反転処理部などがある。これらの搬送物処理部の制御対象としては、気流圧の作動タイミングや作動圧などがある。

本発明によれば、搬送システムにおいて、搬送中の搬送物の位置や姿勢の変動に起因する判別処理の誤りを低減することができる。また、搬送物ごとに、二回目以降の画像に対する画像処理の対象部分を限定された観察領域内とすることにより、搬送物の判別処理を高速に実施可能とすることができる。

本発明に係る搬送システムの実施形態の搬送物判別処理部の手順の概略を示す概略フローチャートである。 同実施形態の全体構成の例を模式的に示す概略構成図である。 同実施形態の搬送物判別処理の過程の一例を模式的に示す画像説明図（ａ）－（ｇ）である。 同実施形態の搬送物判別処理において用いる搬送物検出処理過程に相当する機能実現手段による全体構成を模式的に示す概略構成図（ａ）、及び、この構成による処理内容の原理を説明するための説明図（ｂ）である。 同実施形態の搬送物判別処理における画像処理手段による画像処理により搬送物判別情報を導出する過程を説明するための説明図（ａ）－（ｅ）である。 同実施形態の搬送物判別処理の実施結果の各例を示す図（ａ）～（ｅ）である。 搬送物判別処理における従来例の問題点の一例を示す図（ａ）及び他の例を示す図（ｂ）である。 同実施形態における動作プログラム１０Ｐの一例の処理過程を示す概略フローチャートである。

次に、添付図面を参照して本発明に係る搬送システムの実施形態について詳細に説明する。最初に、図１乃至図５を参照して、本発明に係る搬送システムの実施形態の概要について説明する。図１は、本実施形態に係る搬送システム１０のコンピュータによって実行される動作プログラム１０Ｐの一部である搬送物判別処理部１００の処理手順を示す概略フローチャートである。図２は、搬送システム１０の実施形態の全体構成を模式的に示す概略構成図である。図３は、搬送システム１０の搬送路１２１上の搬送物の搬送態様の例を示す説明図（ａ）－（ｇ）である。図４は、上記搬送物判別処理部１００において用いる搬送物の追跡処理過程を機能実現手段Ａ～Ｄにて示す概略構成図（ａ）、及び、上記追跡処理過程の概念を説明するための説明図（ｂ）である。図５は、この処理過程において行われる各種の画像処理を模式的に示す説明図（ａ）－（ｅ）である。

最初に、図２を参照して、搬送システム１０の全体構成について説明する。図２に示すように、この搬送システム１０は、所定の搬送路に沿って搬送物ＣＡを搬送する搬送システムである。この搬送システム１０は、螺旋状の搬送路１１１を有するボウル型の搬送体１１０を備えたパーツフィーダ１１と、このパーツフィーダ１１の上記搬送路１１１の出口から搬送物を受け取るように構成された入口を備えた直線状の搬送路１２１を有する搬送体１２０を備えたリニアフィーダ１２とを具備する振動式の搬送装置を構成する。また、この搬送装置は搬送管理機能を有し、この搬送管理機能は、リニアフィーダ１２の搬送体１２０の搬送路１２１上の搬送物である搬送物ＣＡを撮影画像ＧＰＸに基づいて検査、判定する。なお、本発明において、振動式の搬送装置に限られない構成については、搬送物ＣＡが搬送路に沿って搬送される各種の搬送装置に用いることができる。また、振動式の搬送装置であっても、上記パーツフィーダ１１とリニアフィーダ１２の組み合せに限定されるものではなく、循環式パーツフィーダなどの他の形式の搬送装置に用いることが可能である。さらに、上記の組み合せにあっても、リニアフィーダ１２の搬送路１２１上の搬送物である搬送物ＣＡを検査するものに限らず、パーツフィーダ１１の搬送路１１１上の搬送物ＣＡを検査するものであっても構わない。

パーツフィーダ１１はコントローラＣＬ１１によって駆動、制御される。また、リニアフィーダ１２はコントローラＣＬ１２によって駆動、制御される。これらのコントローラＣＬ１１、ＣＬ１２はパーツフィーダ１１やリニアフィーダ１２の加振機構（電磁駆動体や圧電駆動体などを含む。）を交流駆動し、搬送体１１０，１２０を搬送路１１１，１２１上の搬送物（搬送物ＣＡ）が所定の搬送方向Ｆに移動する態様となるように振動させる。また、コントローラＣＬ１１、ＣＬ１２は、搬送管理システムの主体となる画像処理機能を有する検査処理ユニットＤＴＵに入出力回路（Ｉ／Ｏ）を介して接続されている。

また、コントローラＣＬ１１,ＣＬ１２は、上記搬送物判別処理部１００を実行する演算処理装置ＭＰＵに対して、マウスなどの後述する操作入力装置ＳＰ１，ＳＰ２などを介して所定の操作入力（デバッグ操作）が行われると、上記の動作プログラム１０Ｐに従って搬送システム１０の搬送装置の駆動を停止する。このとき、上記の動作プログラム１０Ｐに従って、例えば、検査処理ユニットＤＴＵにおける画像計測処理も停止される。このデバッグ操作及び当該操作に応じた各所の動作については後に詳述する。

検査処理ユニットＤＴＵは、パーソナルコンピュータ等の演算処理装置ＭＰＵ（マイクロプロセシングユニット）を中核構成とする。図示例では、上記演算処理装置ＭＰＵは、中央処理ユニットＣＰＵ１，ＣＰＵ２、キャッシュメモリＣＣＭ、メモリコントローラＭＣＬ、チップセットＣＨＳなどから構成される。また、この検査処理ユニットＤＴＵには、撮像手段であるカメラＣＭ１，ＣＭ２にそれぞれ接続された画像処理を行うための画像処理回路ＧＰ１，ＧＰ２が設けられている。これらの画像処理回路ＧＰ１，ＧＰ２はそれぞれ画像処理メモリＧＭ１，ＧＭ２に接続されている。画像処理回路ＧＰ１，ＧＰ２の出力は上記演算処理装置ＭＰＵにも接続され、カメラＣＭ１，ＣＭ２から取り込んだ撮影画像ＧＰＸの画像データを処理し、適宜の処理画像（例えば後述する画像エリアＧＰＹ内の画像データ）を演算処理装置ＭＰＵに転送する。主記憶装置ＭＭには予め搬送管理システムの動作プログラム１０Ｐが格納されている。検査処理ユニットＤＴＵが起動されると、演算処理装置ＭＰＵにより上記動作プログラム１０Ｐが読み出されて実行される。また、この主記憶装置ＭＭには、演算処理装置ＭＰＵにより、後述する画像計測処理を実行した対象となる撮影画像ＧＰＸ若しくは画像エリアＧＰＹの画像データが保存される。

また、検査処理ユニットＤＴＵは、入出力回路（Ｉ／Ｏ）を介して液晶モニタ等の表示装置ＤＰ１，ＤＰ２や操作入力装置ＳＰ１，ＳＰ２に接続される。表示装置ＤＰ１，ＤＰ２は、上記演算処理装置ＭＰＵによって処理された撮影画像ＧＰＸ若しくは画像エリアＧＰＹの画像データ、画像計測処理の結果、すなわち、搬送物判別処理や搬送挙動検出処理の結果などが、所定の表示態様で表示される。なお、この表示機能は、実際に搬送物ＣＡが搬送されている場合に限らず、後述するように、過去のデータを読みだして再生している場合にも機能する。また、表示装置ＤＰ１，ＤＰ２の画面を見ながら操作入力装置ＳＰ１，ＳＰ２を操作することにより、各種の操作指令、設定値などの処理条件を上記演算処理装置ＭＰＵに入力することができる。

本実施形態では、カメラＣＭ１，ＣＭ２が既定の撮影間隔で連続して撮影するとともに、搬送物の搬送速度Ｖｓと撮影間隔Ｔｓとの関係により搬送路を通過する全ての搬送物（搬送物ＣＡ）が常に含まれるように予め設定された搬送方向Ｆの範囲を有する計測エリア内の画像データに対して画像計測処理を施すようにしている。これにより、全ての搬送物ＣＡをいずれかの計測エリアの撮影画像において必ず検出することができるため、従来技術のように個々の搬送物の位置を検知するためのトリガ信号を生成する必要がなくなる。また、この画像に含まれる搬送物ＣＡの画像データを処理することで搬送物判別処理、搬送物検出処理、搬送挙動検出処理などに必要な情報を確実に抽出することができる。なお、本発明の搬送システムでは、上記のようなトリガレス撮影法を採用することなしに、通常のセンサ等による搬送物の検知タイミングに対応する撮影タイミングで画像を取得しても構わない。

本実施形態では、上記の画像計測処理において、さらに、以下の条件が成立するように構成されている。すなわち、上記計測エリア内を通過する全ての搬送物ＣＡが上記計測エリアの所定範囲内において二以上の画像Ａｉ内に撮影されるようにする。ここで、所定範囲内としているのは、後述する実施形態の搬送物処理部（噴気口ＯＰと対面する位置）よりも上流側で判別処理し、その搬送物判別結果を用いて上記搬送物処理部を制御する場合を想定している。このように画像Ａｉにおいて上記所定範囲を設定する必要がなければ、全ての搬送物ＣＡが二以上の画像Ａｉ内に撮影されていればよい。上記のようにすることで、搬送物ＣＡごとに二以上の画像Ａｉにおいて搬送物判別処理を実行することが可能になるため、後述するように、二以上の搬送物処理結果Ｊｉを求めることができる。そして、これらの二以上の搬送物処理結果Ｊｉに基づいて、最終的に、搬送物判別結果Ｋを導出することができる。

搬送システム１０においては、上記演算処理装置ＭＰＵによって実行される後述する動作プログラム１０Ｐ（図８参照）に含まれる上記搬送物判別処理部１００（図１参照）の実行によって、搬送途中の搬送物判別処理が行われ、この処理による判別結果に従って、上記搬送装置が制御される。この搬送物判別処理部１００では、図４（ａ）に示す搬送物検出処理過程１０１を利用することによって搬送物検出処理が実行される。

図４（ａ）に示すように、上記搬送物検出処理過程１０１は、搬送物ＣＡが存在し得るエリアを包含する複数の画像Ａｉを順次に取得する画像取得手段Ａと、これらの画像Ａｉの観察領域Ｄｉ内の画像処理を行う画像処理手段Ｂと、この画像処理手段Ｂによって求められた搬送物検出情報Ｂｉに係る搬送物ＣＡの予測移動態様Ｃｉを求める移動態様予測手段Ｃと、上記予測移動態様Ｃｉに基づいて、次の画像Ａｉ＋１に関する観察領域Ｄｉ＋１を設定する観察領域設定手段Ｄとを具備する。ここで、ｉは自然数であり、１～ｎ（ｎは２以上の自然数）の複数の数を示す。

搬送物検出情報Ｂｉは、搬送物ＣＡの配置を示す搬送物検出範囲Ｂｉａを含み、また、搬送物の種類、外観、欠陥の有無や種類、搬送物の良否、搬送物の位置や姿勢に関する情報なども含むことができる。また、上記予測移動態様Ｃｉは、今回の画像Ａｉ内の搬送物ＣＡを基準にしたときの次回の画像Ａｉ＋１内の搬送物ＣＡの移動の量と向きを含み、例えば、移動ベクトルの形で表わすことができる。また、この予測移動態様Ｃｉは、今回の画像Ａｉ内の搬送物ＣＡを基準にしたときの次回の画像Ａｉ＋１内の搬送物ＣＡへの姿勢の変化を含んでいてもよい。

図４（ｂ）は、或る画像Ａｉにおいて、観察領域Ｄｉの内部に搬送物ＣＡが配置される搬送物検出範囲Ｂｉａが求められたとき、この搬送物検出範囲Ｂｉａと予測移動態様Ｃｉとから、次の画像Ａｉ＋１における観察領域Ｄｉ+１を設定する様子を示す。次の観察領域Ｄｉ＋１は、次の搬送物検出範囲Ｂｉ＋１が含まれる領域を予測して設定されるが、その設定は、前の搬送物検出情報Ｂｉに基づいて行われる。例えば、図示例では、予測移動態様Ｃｉに基づいて、前の搬送物検出範囲Ｂｉａを次の画像Ａｉ＋１における予測位置に移動させてなる基準範囲ｄｉ＋１を基準とし、この基準範囲ｄｉ＋１を所定の方法で拡大することにより、次の観察領域Ｄｉ＋１が設定される。

ここで、（ｘ_ｉ，ｙ_ｉ）は、搬送物検出範囲Ｂｉａの中心座標、（ｖ_ｉ ^ｘ，ｖ_ｉ ^ｙ）は、予測移動態様Ｃｉを示す予測移動ベクトルの値、（ｘ_ｉ＋１，ｙ_ｉ＋１）は、基準範囲ｄｉ＋１の中心の位置座標、Δｔは、前の画像と次の画像の間の時間間隔（時差）、Δｗは、観察領域Ｄｉ＋１における基準範囲ｄｉ＋１の幅Ｗｉからの増加分（ｘ方向の拡大量）、Δｈは、観察領域Ｄｉ＋１における高さＨｉの基準範囲ｄｉ＋１の高さＨｉからの増加分（ｙ方向の拡大量）とすれば、以下の式（１）～（４）が成立する。ここで、関数σ（ｖ_ｉ ^ｘ）、σ（ｖ_ｉ ^ｙ）は、今までの移動速度の集合に対するｘ成分若しくはｙ成分の標準偏差を示す。ｃはスケール定数であり、０．０１や０．１などの任意の数を設定できる。ΔｗとΔｈは、例えば、図示例のように、基準範囲ｄｉ＋１の図示左右両側と図示上下両側にそれぞれ周辺域の拡大分に相当する値として設定されてもよく、或いは、図示左右両側と図示上下両側の周辺域の合計の拡大分に相当する値として設定されてもよい。後者の場合には、基準範囲ｄｉ＋１の図示左右両側と図示上下両側の拡大分の図示左と右の比率、或いは、図示上と下の比率は、１：１としてもよいが、その他の予測移動態様Ｃｉの情報、例えば、図示左右と図示上下の移動確率の比率に応じた比率となるように設定してもよい。

ｘ_ｉ＋１＝ｘ_ｉ＋ｖ_ｉ ^ｘ・Δｔ…（１）

ｙ_ｉ＋１＝ｙ_ｉ＋ｖ_ｉ ^ｙ・Δｔ…（２）

Δｗ_ｉ＝ｃ・σ（ｖ_ｉ ^ｘ） …（３）

Δｈ_ｉ＝ｃ・σ（ｖ_ｉ ^ｙ） …（４）

なお、図示例では、上記式（１）～（４）に示すように、予測移動態様Ｃｉを、搬送物検出範囲Ｂｉａの中心点と基準範囲ｄｉ＋１の中心点の間の予測移動ベクトルの移動の量と向きのみによって表現している。ただし、予測移動態様Ｃｉは、上記の中心位置の移動の量と向きだけでなく、例えば、一般的には、搬送物検出範囲Ｂｉａ（幅Ｗｉや高さＨｉ）に相当する搬送物ＣＡの移動後の位置及び範囲を表す情報、すなわち、上記基準範囲ｄｉ＋１を導出可能な情報を含むものであってもよく、さらには、上記拡大度合Δｗ、Δｈを導出可能な情報をも含むものであってもよい。なお、予測移動態様Ｃｉには、さらに、搬送物ＣＡの姿勢の変化に関する情報をも含めても構わない。

予測移動態様Ｃｉは、搬送物ＣＡの移動特性に応じて種々の予測方法によって求められる。このとき、初回の画像Ａ１から次の画像Ａ２までの間の搬送物ＣＡの移動態様の予測である予測移動態様Ｃ１は、予め事前に決められた初期値とされることが好ましい。例えば、搬送物ＣＡの一般的な移動速度、移動の向き、姿勢の変化がわかっている場合には、初回の予測移動態様Ｃ１は、その移動速度、移動の向き、姿勢の変化に設定される。その後の予測移動態様Ｃ２以降は、以前に導出される搬送物ＣＡの移動態様をも加味して算出されることが好ましい。例えば、予測移動態様Ｃ２は、実際に、初回の観察領域Ｄ１を画像処理することによって得られた搬送物検出情報Ｂ１と、次の観察領域Ｄ２を画像処理することによって得られた搬送物検出情報Ｂ２とを用いて導出される、搬送物ＣＡの最初の実際の移動態様Ｅ１を勘案して決められることが好ましい。このとき、上記初回の予測移動態様Ｃ１と、実際の移動態様Ｅ１との双方を勘案して次の予測移動態様Ｃ２を定めるようにしてもよい。また、実際の移動態様Ｅ１のみに基づいて次の予測移動態様Ｃ２を定めてもよい。このことは、次の予測移動態様Ｃｉ＋１（例えばＣ２）を、前の実際の移動態様Ｅｉ（例えばＥ１）と同じに設定することを含む。さらに、過去の複数の実際の移動態様Ｅｉが存在する場合には、これらの複数の移動態様Ｅｉから適宜の方法で予測移動態様Ｃｉ＋１を求めるようにしてもよい。この適宜の方法としては、例えば、平均値、中央値等の代表値とする場合や、より直前の移動態様であるほど重くなる態様の重み付けを与えて代表値を求める方法などが考えられる。

初回の観察領域Ｄ１は、上記予測移動態様が求められていない段階で与える必要があるため、搬送物ＣＡの上記エリア内における配置特性に応じて、予め事前に決められた領域とされるか、或いは、搬送物ＣＡの検出位置に応じて予め事前に決められたルールに従って定められる領域とされる。例えば、初回の画像Ａ１において、初回の観察領域Ｄ１を画像Ａ１の全体としてもよく、或いは、画像Ａ１の中の搬送物ＣＡが配置される可能性の高い領域としてもよい。予め画像Ａ１中の搬送物ＣＡが配置され得る場所の予測が困難であれば、初回の観察領域Ｄ１は比較的広い範囲に設定される。一方、搬送物ＣＡの位置が検出されたときと同時に、或いは、その直後に、初回の画像Ａ１が取得される場合、検出された搬送物ＣＡの位置情報を利用して、観察領域Ｄ１を、初回の画像Ａ１内の上記搬送物ＣＡが確実に包摂される領域となるように設定してもよい。

観察領域Ｄｉの基準範囲ｄｉからの拡大量ΔｗやΔｈは、例えば、上記式（３）及び（４）によって求められる。このときの拡大度合乃至は拡大率Δｗ，Δｈは、搬送物ＣＡの移動特性に応じて定めることが好ましい。例えば、搬送物ＣＡの移動態様Ｅｉのばらつきが大きい場合には、上記拡大度合や拡大率を大きくする必要があり、移動態様Ｅｉのばらつきが小さい場合には、上記拡大度合や拡大率を小さくすることができる。過去の実際の搬送物ＣＡの移動態様Ｅｉが複数得られている場合には、これらの移動態様Ｅｉの集合のばらつき（例えば、標準偏差）に応じて、上記拡大度合や拡大率を増減することが望ましい。このようにすることにより、観察領域Ｄｉにおける画像処理によって搬送物ＣＡに関する搬送物検出情報Ｂｉをより確実に求めることができる。

本実施形態において、搬送物ＣＡの検出情報をより詳細に解析する場合には、図４（ａ）に点線で示すように、上記以外の追加の情報処理を実行することもできる。例えば、搬送物ＣＡの複数の移動態様Ｅｉを求め、これらの移動態様Ｅｉに基づいて、搬送物ＣＡの移動状況ＭＳを算出することが挙げられる。搬送物移動状況ＭＳとしては、例えば、搬送物ＣＡの移動軌跡の態様、移動方位の変動態様、搬送位置や搬送姿勢の変動態様などが含まれ得る。これらの搬送物移動状況ＭＳは、搬送物ＣＡに対する各種の制御や判定を行うための検出量として用いることができる。
次に、上記搬送物検出過程を一例として用いることができる上記搬送物判別処理部１００について図１を参照して説明する。この搬送物判別処理部１００では、搬送物判別処理部１００の全体の開始設定条件と、搬送物ＣＡごとの各種処理における初回の観察領域Ｄ１や初回の予測移動態様Ｃ１の設定値などの初期条件と、観察領域Ｄｉの画像処理の処理ルーチンや各種閾値等の画像処理条件と、搬送物ＣＡの移動態様の予測に用いる処理ルーチンや算出定数等の予測処理条件と、が所定のメモリ－等に格納された状態で、適宜に読みだされた上記の各条件に基づいてプログラムが実行されるように構成される。そして、コンピュータの入出力回路を介して接続された撮像装置（カメラ）を所定の撮影条件で動作させることができ、これによって搬送物ＣＡが配置され得る計測エリアを含む範囲に対して複数の画像を順次に取得することができるようになっている。ただし、搬送物判別処理部１００は、予め順次に撮影された複数の画像が保存されてなるデータを処理する装置として構成されていてもよい。この場合には、上記複数の画像のデータを所定の条件で順次にコンピュータに取り込むように構成されているか、或いは、既に取り込まれている複数の画像のデータを、画像ごとに順次に読み出すように構成されていればよい。

搬送物判別処理部１００は、所定の開始操作がなされたとき、或いは、検出されるべき或る搬送物ＣＡがセンサ等の手段によって検知されたとき、さらには、撮像装置の撮像開始信号が入力されたときなどのトリガが与えられたときなどに開始される。そのとき、上記初期条件の初期値が読み出され、例えば、上記或る搬送物ＣＡに対して、初回の画像Ａ１が取得されると、既定の範囲に設定された初回の観察領域Ｄ１において画像処理が実行される。一般的には、この工程では、図５（ａ）に示すように、ｉ番目の画像Ａｉの観察領域Ｄｉに対して画像処理により、搬送物検出処理が施される。この搬送物検出処理では、最初に、図５（ｂ）に示すように、観察領域Ｄｉの画像データを所定のフィルタ処理によって処理し、搬送物判別処理が容易な態様に変換することが好ましい。例えば、搬送物ＣＡの輪郭を強調した画像に変換したい場合には、エッジ抽出処理やエッジ強調処理が行われる。一方、輪郭以外の影響を低減したい場合には、他の部位の平滑処理が行われる。これらの要求を共に満たすフィルター（処理方法）の例としては、ガイディドフィルター(Guided Filter)やバイラテラルフィルター(Bilateral Filter)などが挙げられる。なお、フィルタ処理としては、二値化フィルタ、移動平均フィルタ、ガウシアンフィルタ、メディアンフィルタ、ソーベルフィルタ、プリューウイットフィルターなども使用し得る。

次に、上述のフィルタ処理後の画像に対しては、搬送物ＣＡの位置、範囲、姿勢、模様、色彩、その他の形態を検出するための画像処理が行われる。その一例としては、例えば、図５（ｃ）や（ｄ）に示すように、搬送物ＣＡの範囲を特定する。一般には、この工程では、輪郭追跡処理や図形検出処理、図形フィッティング処理などが実行される。これらの処理により、観察領域Ｄｉ内における搬送物ＣＡが検出される範囲を決定することができ、例えば、搬送物検出範囲Ｂｉａが求められる。この搬送物検出範囲Ｂｉａは、例えば、図５（ｃ）に示す境界ボックス（Bounding Box)などの境界図形や図５（ｄ）に示す楕円フィッティングなどのフィッティング図形によって表現することができる。
上記境界ボックス等の境界図形は、搬送物ＣＡの画像を取り囲む矩形その他の領域を形成するものであり、搬送物ＣＡを取り囲む所定条件の領域（境界図形）をなるべく小さな面積にするように（例えば、外接領域となるように）求める。また、上記楕円フィッティングなどのフィッティング図形は、搬送物ＣＡの画像を円、楕円、矩形、多角形などの各種の図形にフィッティングし、最も近い当該図形を形成する。なお、搬送物検出処理においては、画像処理技術のうち、形状検出技術、図形検出技術、領域抽出技術などを用いることができ、その結果として、搬送物ＣＡに関する各種情報の識別、分類、判別などを行うことが可能になる。上記各技術の具体的な方法は問わず、テンプレートマッチング、ブロブ検出法、各種エッジ検出、各種変換処理などを用いることができる。本実施形態では、境界ボックスを形成するために、rotation calipers algorithmを用い、エッジ画素の点群に対して回転するカリパスによって挟み角度ごとに得た外接矩形のうちの最小面積の矩形を求める方法を使用できる。また、楕円フィッティングとしては、例えば、エッジ画素の点群に対して二乗誤差で最小化した楕円を求める方法を使用できる。

上記のようにして導出できる搬送物検出範囲Ｂｉａにより、観察領域Ｄｉ内における搬送物ＣＡの位置や範囲を知ることができる。また、この搬送物検出範囲Ｂｉａから、搬送物ＣＡの姿勢を検出することも可能である。例えば、図５（ｅ）に示すように、境界図形やフィッティング図形の各辺の方向や主軸の方向を求めることによって、搬送物ＣＡの角度姿勢を得ることができる。図示例では、フィッティングした楕円の主軸の角度（主軸角）θを算出することにより、搬送物ＣＡの姿勢を容易に求めることができる。本実施形態では、二次元姿勢を判別する例を挙げているが、搬送物ＣＡの外観を解析することにより、搬送物ＣＡの三次元姿勢を求めることも可能である。なお、一般に、搬送物ＣＡがカメラから遠ざかっている場合や照明環境が均等でない場合などにおいては、後述するように、搬送物ＣＡの精密な外形を反映した境界図形（例えば矩形）を精度よく求めることが困難な場合があるので、楕円や円などのコンパクトなフィッティング図形を求める方法が好ましい。

本実施形態において、観察領域Ｄｉ内に搬送物ＣＡの画像部分の少なくとも一部が含まれない場合には、搬送物ＣＡの全体が観察領域Ｄｉ内に含まれるように観察領域Ｄｉを修正する観察領域修正手段をさらに具備することも可能である。これによれば、観察領域修正手段により搬送物ＣＡの画像部分の全体が含まれるように観察領域が修正されるので、設定された観察領域の予測が不十分な場合でも確実に搬送物を検出可能となる。ここで、観察領域Ｄｉ内に搬送物ＣＡの画像部分の少なくとも一部が含まれない場合を検出する方法としては、例えば、前述の方法で求めた搬送物検出範囲Ｂｉａが搬送物ＣＡの予め想定されている画像面積の範囲内に収まらない（当該範囲よりも大きいか、小さい）ことを検出する方法、搬送物検出範囲Ｂｉａが観察領域Ｄｉの境界に接していることを検出する方法、搬送物検出範囲Ｂｉａの形状が予め想定されている形状から大きく変形していることを検出する方法、或いは、これらの複数の方法の組み合わせなどが挙げられる。これらの方法によって観察領域Ｄｉ内に搬送物ＣＡが包摂されていないことが判明すると、その検出態様に応じて、観察領域Ｄｉをさらに拡大したり、移動させたりすることによって再設定し、その後、再設定した観察領域Ｄｉに対してさらに画像処理を実施する。

上記の搬送物通過判定は、限定領域Ｔの画素値のプロファイルに応じて搬送物ＣＡの通過中か否かを判別するものであり、この判別処理は、種々の処理過程によって実現できる。一例として、限定領域Ｔの画素列の画素値を、同数のノードを備えた入力層に入力し、適宜の中間層（隠れ層）を介して、例えば、１又は複数のノードを備える出力層の出力により、限定領域Ｔを搬送物ＣＡが通過中であるか、或いは、限定領域Ｔが搬送物ＣＡの間の隙間にあるかを判別するニューラルネットワークを用いることによってこの判別処理を実行することもできる。本実施形態では、例えば、５３画素に対応するノードを備えた入力層と、２層の中間層と、１つのノードを備えた出力層を有する全結合型のニューラルネットワークを構成し、これに２９フレーム（画像）以上の学習データを与えて学習させた搬送物ＣＡの判別処理ルーチンを使用し、単一の出力層の出力値によって通過中と隙間の判別を行った。この処理では、例えば、出力層のノードを複数とすることによって、搬送物ＣＡの向きや、外観模様（後述するマーク部分）の位置などの判別も可能になる。なお、この搬送物通過判定処理を行う搬送物通過判定手段は、上記構成に限定されるものではなく、所定の限定領域Ｔを搬送物ＣＡが通過したことを検出できるものであればよい。また、この搬送物ＣＡの通過が検出されたときの初回の画像Ａ１における初回の観察領域Ｄ１は、上記限定領域Ｔと既定の位置関係にあることによって、限定領域Ｔを通過した搬送物ＣＡが配置され得る範囲とされる。

なお、図示例では、いずれの場合でも、初回の観察領域Ｄ１は、搬送物ＣＡが搬送路上に開口した気流を吹付けるための噴気口ＯＰに対面する範囲（搬送物処理部、以下同様。）よりも上流側に設定される。なお、この噴気口ＯＰが設けられる搬送物処理部では、搬送物判別処理によって搬送物ＣＡが搬送路１２１上で気流を吹き付けられるべきか否かが判定された判定結果に応じて、図示しない電磁弁などが制御され、噴気口ＯＰからの気流の噴出の有無が決定される。

搬送物判別処理では、上記観察領域Ｄ１において、前述と同様に画像処理を施し、前述の搬送物検出処理によって搬送物検出情報Ｂ１を求める。図示例では、図３（ｃ）に搬送物検出範囲Ｂ１ａが描かれている。また、必要に応じて、搬送物検出処理以外の搬送物の判別に必要な処理が行われる。上述のように、搬送物ＣＡが噴気口ＯＰに対面する範囲より上流側に観察領域Ｄ１が設定される。ここで、初回の観察領域Ｄ１において得られた搬送物検出情報Ｂ１ａに係る搬送物ＣＡに関し初回の予測移動態様Ｃ１が求められる。この場合、初回の予測移動態様Ｃ１は、搬送物ＣＡの搬送方向Ｆの移動速度（例えば、搬送路上の搬送物の平均の搬送速度）と、移動の向きとして搬送方向Ｆの前進の向きとに基づいて求めることができる。

ここで、初回の予測移動態様Ｃ１では、搬送方向Ｆに沿ったｘ方向の移動成分のみが設定され、ｙ方向（直交方向）の移動成分は０とし、考慮しなくてもよい。ただし、搬送物ＣＡが搬送路１２１上で振動等により上下動する場合であって、予め搬送物ＣＡのｙ方向への移動速度（向きも含む。以下同様。）がわかっている場合には、そのまま慣性によって同じ移動速度で移動し続ける可能性が高いので、ｙ方向の移動成分を考慮してもよい。また、搬送物ＣＡの搬送中の上下動が大きい場合には、当該上下動に応じて予め拡大度合Δｈを或る程度の値以上に決定するようにしてもよい。さらに、搬送物ＣＡの搬送中の搬送方向Ｆの速度の増減が激しい場合、予め拡大度合Δｗを或る程度の値以上に設定するようにしてもよい。ここで、観察領域Ｄｉに或る程度の拡大度合Δｗ，Δｈが設定されていれば、予測移動態様Ｃｉを、移動方向を搬送方向Ｆの前進の向きとし、搬送物ＣＡの搬送速度を一定速度に仮定して得られる一定の予測移動量に設定することも可能である。このようにすれば、観察領域Ｄｉを容易に設定できるため、搬送物検出処理過程１０１を簡易かつ高速に実行できる。

その後、図３（ｄ）に示すように、搬送物検出範囲Ｂ１ａと図示しない予測移動態様（Ｃ１）とから、図示しない基準範囲（ｄ２）が求められ、これに基づいて、次の画像Ａ２における観察領域Ｄ２が設定される。ここで、搬送物ＣＡは搬送路１２１上を搬送方向Ｆへ移動するので、この観察領域Ｄ２は、上記観察領域Ｄ１に対して搬送方向Ｆに向けて所定の移動量だけずれる。ここで、当該移動量は、搬送物ＣＡの搬送速度（実際の速度を計測してもよく、或いは、平均的な搬送速度を予め設定し、これを用いてもよい。）と、画像Ａ１とＡ２の間の撮影時差Δｔとの積に相当する。この観察領域Ｄ２で搬送物検出処理が実行されると、搬送物検出情報Ｂｉが求められ、搬送物検出範囲Ｂ２ａも特定される。ここで、搬送物検出範囲Ｂ１ａとＢ２ａとから、搬送物ＣＡの過去の移動態様Ｅ１、すなわち、搬送物ＣＡの実際の画像Ａ１とＡ２の間の移動量（移動速度や移動の向き）を求めることができる。一般に、これらの過去の移動態様Ｅｉによって、その後の観察領域Ｄｉ＋１以降を設定するための予測移動態様Ｃｉを求めることができる。

そして、図３（ｅ）に示すように、前述と同様に、次の画像Ａ３における観察領域Ｄ３が設定される。これ以降、図３（ｆ）に示すように、次の画像Ａ４における観察領域Ｄ４が設定され、図３（ｇ）に示すように、次の画像Ａ５における観察領域Ｄ５が設定される。このようにして、搬送物ＣＡが搬送路１２１上を搬送されていく様子を、上記過程で得られた搬送物検出情報Ｂｉ、特に、搬送物検出範囲Ｂ１ａ～Ｂ５ａの移動の様子、すなわち、前述の移動態様Ｅｉ（Ｅ１～Ｅ３）によって把握することができる。

上記の図３に示す例では、搬送物ＣＡが上記噴気口ＯＰが設けられた搬送物処理部に到達する前に、複数の画像Ａ１～Ａ４において、それぞれ、観察領域Ｄ１～Ｄ４内の画像処理によって搬送物ＣＡの判別処理を実施することができる。搬送物ＣＡの判別処理は、上記の複数の画像Ａ１～Ａ４において搬送物ＣＡが配置される位置よりも下流側にある搬送物処理部における選別や姿勢変更などの搬送物処理の制御を行うために必要な情報である、搬送物処理情報Ｇ１～Ｇ４が取得される。この搬送物処理情報Ｇｉは、前述の搬送物検出情報Ｂｉを含めることができる。なお、上記の必要な情報が、上記の搬送物検出処理で得られた搬送物検出情報Ｂｉで足りる場合には、そのまま、搬送物検出情報Ｂｉによって搬送物ＣＡの判別が行われる。各画像Ａｉでは、上記の搬送物処理情報Ｇｉにより、搬送物処理結果Ｊｉが導出される。この搬送物処理結果Ｊｉは、上記の必要な情報を直接に表わす結果である。

上記のようにして搬送物処理結果Ｊｉが得られると、所定の計測処理終了条件を満たさない限り、次の観察領域Ｄｉ＋１の予測設定がなされた後に、次の搬送物判別処理に移行する。一方、上記の計測処理終了条件が満たされると、前述のようにして得られた複数の搬送物処理結果Ｊｉから、所定の搬送物判別結果Ｋが算出される。ここで、上記計測処理終了条件は、既定の最大処理回数ｍに達したか否か、或いは、最大処理回数ｍには達していないが、複数の上記搬送物処理結果Ｊｉの組み合わせによって、搬送物判別結果Ｋが導出可能になったか否かである。上記最大処理回数ｍは、画像Ａｉの撮影時差Δｔや搬送物ＣＡの搬送速度ｖ^ｘ、初回の観察領域Ｄ１の位置などによって定まる。図示例の場合には、上記各種条件によって最大処理回数ｍが４となっている。なお、搬送物処理結果Ｊｉと搬送物判別結果Ｋとの関係については、後述する。

上述の搬送物判別処理部１００において用いる搬送物検出処理過程１０１の方法は、前述の式（１）～（４）に示す方法に限定されるものではない。例えば、搬送物ＣＡは基本的に搬送路１２１上を搬送方向Ｆに沿って移動していくので、観察領域Ｄｉを、画像間の時差Δｔに対応する一定の移動量だけ搬送方向Ｆにずらしていく方法であってもよい。

上記噴気口ＯＰを備える搬送物処理部の例としては、所定の搬送物判別結果Ｋが導出された搬送物ＣＡを制御するために、搬送物ＣＡの一部を搬送路１２１上から排除するための搬送物排除部と、搬送物ＣＡの一部を反転させて姿勢を変更するための姿勢変更部とが挙げられる。また、搬送物ＣＡの一部を二以上の下流側の分岐した経路に分配する搬送物分配部も考えられる。

図６は、搬送システム１０の上記実施形態の搬送物判別処理部１００による搬送物ＣＡの判別態様を示す説明図（ａ）～（ｅ）である。なお、これらの説明図において、搬送路１２１上の搬送物ＣＡの搬送態様は、カメラＣＭ１，ＣＭ２による画像Ａｉを示す図３とは異なる方位から見た様子を示しており、搬送路１２１は断面構造で描いてある。噴気口ＯＰを備える搬送物処理部は、下流側の図示右側に示してある。ここで、図中に示される複数の搬送物ＣＡはいずれも同じ特定の搬送物ＣＡであり、複数の画像Ａｉにおいて撮影された上記特定の搬送物ＣＡを重ねて表示したものである。

図６（ａ）に示す例では、複数（４つ）の画像Ａ１～Ａ４を用いて、搬送物ＣＡが観察領域Ｄ１～Ｄ４で順次に搬送物判別処理を受け、上記搬送物処理結果Ｊ１としてＯＫ、Ｊ２としてＯＫ、Ｊ３としＯＫとなったため、同じ処理結果が過半数の３回出たことから、４回目の処理を中止し（不要とし）、最終の搬送物判別結果ＫをＯＫとした。したがって、噴気口ＯＰから気流を流すことはなく、搬送物ＣＡはそのまま搬送物処理部を通過する。この例では、４回目の観察領域Ｄ４で処理が行われれば、搬送物ＣＡの位置や姿勢の変動によって誤った処理結果Ｊ４＝ＮＧが出る可能性があったが、既に３回の処理結果がＯＫとなっているので、それらの結果に従って搬送物判別結果Ｋ＝ＯＫとしたことにより、誤った判別結果が出されることを回避できた。この例では、計測終了条件として、最大処理回数４回の二つの処理結果ＯＫとＮＧのうち、設定数であるとともに最多数でもある３回以上同じ搬送物処理結果Ｊｉが出れば、搬送物判別結果Ｋをその結果とし、その後の処理は中止する。また、最後まで処理を行った場合においては、処理結果ＯＫとＮＧが２回ずつ同数出たときには、搬送能力（搬送効率）優先であれば、搬送物処理結果ＪｉのＯＫを優先して搬送物判別結果Ｋとする。一方、選別精度（選別効果）優先であれば、搬送物処理結果ＪｉのＮＧを優先して搬送物判別結果Ｋとする。

図６（ｂ）で示す例では、搬送物処理結果Ｊｉや搬送物判別結果Ｋは図６（ａ）に示す例と同様であるが、複数の画像Ａ１～Ａ４の取得時の時差Δｔが上記より短く、このために、搬送物ＣＡの搬送速度は同じであるものの、観察領域Ｄ１～Ｄ４の設定間隔が上記より小さくなっている。このようにすると、搬送物ＣＡが相互に重なるほど相互に近い位置で頻繁に判別処理を受けることとなるため、搬送物判別結果Ｋが用いられる搬送物処理部に近い場所で処理することができる。この結果、搬送物ＣＡの姿勢等の特性が搬送途中で頻繁に変化しうる搬送路（複数の搬送物処理部が相互に近接している場合など）では、最大処理回数ｍを大きくし、判別精度を高めることが容易になる。

図６（ｃ）で示す例では、搬送物ＣＡの姿勢が不良であるために、１回目～３回目まで搬送物処理結果がすべてＮＧであったが、４回目の処理結果として、搬送物ＣＡの姿勢の変動により、ＯＫが出た場合が想定される。しかし、この場合でも、Ｇ１～Ｇ３で搬送物処理結果Ｊｉ＝ＮＧが出ているので、それ以上の判別処理を行うことはなく、搬送物判別結果Ｋ＝ＮＧとされた。これにより、噴気口ＯＰから気流が吹き付けられ、搬送物ＣＡは搬送路１２１上から排除されるか、或いは、姿勢が反転される。この例では、４回目の観察領域Ｄ４で搬送物ＣＡの姿勢が良品姿勢に近くなり、ＯＫ判定が出ることが予想されたが、最終的に良品姿勢にはならず、不良品姿勢のまま下流側へ通過することとなると、不具合が生ずる。したがって、ＮＧ判定のままで噴気口ＯＰからの気流により搬送物ＣＡが制御されたことで、誤った判別結果による不具合が回避された。

図６（ｄ）に示す例では、搬送物ＣＡの姿勢が変動することによって、搬送物処理結果Ｊｉが不安定になる場合を示す。この場合、４回の最大処理回数のうち、最初の二回（設定数）で連続してＮＧが出たため、その後の処理は中止し、搬送物判別結果Ｋ＝ＮＧとしている。この例では、選別精度（選別効果）優先で処理するため、４回の処理のうちのＮＧが２回以上出た場合には、結論が定まるため、それ以上の処理は不要とし、搬送物判別結果Ｋ＝ＮＧとしている。

図６（ｅ）に示す例では、搬送物ＣＡの上下動に起因する位置の変化によって搬送物処理結果Ｊｉが異なる例を示す。この例では、上下動が大きすぎると、画像処理の精度が低下し、搬送物処理結果Ｊｉ＝ＮＧとなるが、通常の上下動であれば、Ｊｉ＝ＯＫとなる。この例では、搬送能力（搬送効率）優先とし、搬送物処理結果Ｊｉ＝ＯＫが２回（設定数）出た時点で、それ以上の処理は不要とし、搬送物判別結果Ｋ＝ＯＫとしている。

ところで、一般に、搬送物処理結果Ｊｉとして、上述のように２つの処理結果（ＯＫとＮＧ）がある場合に限らず、３つ以上の処理結果があっても構わない。これらの場合、一般的には、各処理結果ごとに所定の数（設定数）が生ずると、その結果を搬送物判別結果Ｋとするように設定できる。この場合、複数の処理結果の間で相互に上記設定数が異なっていても構わない。例えば、前述のように、搬送能力を重視する立場もあるが、搬送精度を重視する立場も考えられるからである。通常、最大処理数ｍの過半数（最多数）だけ或る処理結果が得られれば、この処理結果Ｊｉに対応する搬送物判別結果Ｋとすることが好ましい。ただし、必ずしも過半数ではなくとも、最小で２回、同じ処理結果Ｊｉが得られるとすれば、その処理結果Ｊｉに対応する搬送物判別結果Ｋを導出しても、従来よりも判別結果の確からしさは大幅に向上する。

＜動作プログラム１０Ｐの構成＞
次に、図８を参照して、本発明に係る各実施形態の全体の動作プログラム１０Ｐの流れについて説明する。図８は、上記検査処理ユニットＤＴＵの演算処理装置ＭＰＵにより、動作プログラム１０Ｐに従って実行される搬送管理のための各種処理過程を示す概略フローチャートである。この動作プログラム１０Ｐを起動すると、まず、上記の画像撮影及び画像計測処理が開始されるとともに、コントローラＣＬ１１、ＣＬ１２により搬送装置（パーツフィーダ１１及びリニアフィーダ１２）の駆動が開始される。そして、前述のデバッグ操作に応じたデバッグ設定がＯＦＦであれば、撮影画像ＧＰＸ又は画像エリアＧＰＹに対して画像計測処理が実行され、搬送物判別処理の最終の判定結果がＯＫ判定であれば、デバッグ操作が行われない限り、そのまま次の撮影画像ＧＰＸ又は画像エリアＧＰＹの画像計測処理が実施される。例えば、搬送物排除処理部では、常時は噴気口ＯＰの気流が停止されているが、判定結果がＮＧ（不良品）であれば、噴気口ＯＰから気流が流れる。これにより、不良の搬送物ＣＡを搬送路上から排除する。また、姿勢反転処理部では、常時は噴気口ＯＰからの気流は停止されているが、判定結果がＮＧ（不良品）であれば、噴気口ＯＰから気流を噴出させて搬送路上で反転させる。なお、上記とは逆に、常時は気流を流しているが、判定結果がＯＫ（良品）であれば、気流を停止するようにしてもよい。

このようにして、搬送路上で搬送物である搬送物ＣＡが判別され、その判別結果に応じて処理されることにより、下流側へは良品のみが整列した状態で供給されていく。この場合にも、その後、デバッグ操作が行われない限り、そのまま次の撮影画像ＧＰＸ又は画像エリアＧＰＹの計測エリア内で画像計測処理と搬送物判別処理が実施される。ここで、搬送物判別処理部１００による搬送物判別処理では、或る搬送物ＣＡに対する処理が上述のように行われるが、通常、次々と計測エリア内に搬送されてくる複数の搬送物ＣＡに対して、それぞれ、搬送物ＣＡごとに同様の搬送物判別処理が並行して行われる。また、上記の画像計測処理や搬送物判別処理と並行して、例えば、搬送路上において搬送方向Ｆに沿って搬送されていくときの搬送物ＣＡの搬送挙動を検出するために、搬送路上の搬送物ＣＡを追跡する搬送挙動検出処理が行われるようになっていてもよい。そして、この搬送挙動検出処理の検出結果により搬送態様を調整するために搬送装置の駆動の制御を行うようにしてもよい。この搬送駆動の制御は、例えば、搬送装置の加振機構の加振要素の駆動条件、例えば、圧電駆動体の周波数や電圧を制御し、適正な搬送態様となるように調整する。なお、上記搬送挙動検出処理は、上記搬送物判別処理部１００に用いられる搬送物検出処理過程１０１と並行して実行されてもよく、或いは、上記搬送物検出処理とは無関係に、全く別の画像処理によって実行されても構わない。例えば、搬送路１２１上を搬送方向Ｆに移動していくときの搬送物ＣＡの搬送方向Ｆとは直交する方向の位置の変動の大小に応じて、振動の周波数や振幅を制御することによって、搬送物ＣＡが搬送路１２１上で無駄に暴れることを防止することができる。

上記の途中でデバッグ操作が行われ、デバッグ設定がＯＮになると、上記ルーチン（運転モード）から抜け出して、搬送装置の駆動が停止され、画像計測処理や搬送物判別処理、搬送物検出処理、搬送挙動検出処理も停止される。そして、この状態において適宜の操作を行うと、過去の画像ファイルを選択可能な状態となる。このとき、選択表示される画像ファイルは、直前の運転モードにおいて記録していた複数の撮影画像ＧＰＸ又は画像エリアＧＰＹを含む画像ファイルである。これをそのまま選択して適宜の操作をすると、再実行モードに移行する。このモードでは、上述のようにすでに実行された画像計測処理、搬送物判別処理、搬送物検出処理や上記搬送挙動検出処理等の結果を記録した画像ファイルに基づいて、画像の表示や、各種処理や制御等を再実行することができる。すなわち、搬送装置の搬送物である搬送物ＣＡの制御（排除や反転、搬送物検出）に不具合が生じた場合には、この不具合を解消するために、まず、過去の画像データに基づいて画像処理を再実行することによって、各処理や制御等の問題箇所を探る。当該問題箇所が判明すれば、それに応じて各処理や制御の設定内容（設定値）を変更、調整し、再び過去の画像データに対して画像計測処理等を再実行することで調整、改善作業の結果を確認することができる。その後、適宜の復帰操作を行うと、デバッグ設定がＯＦＦに戻され、画像計測処理が再開されるとともに、搬送装置の駆動が再開される。

なお、以上説明した各実施形態においては、搬送路上の搬送物ＣＡごとに、当該搬送物ＣＡが撮影された二以上の画像Ａｉを順次に処理することにより、各画像Ａｉから得られた搬送物ＣＡの複数の処理結果Ｊｉに基づいて搬送物判別結果Ｋを導出するようにしている。これにより、搬送物ＣＡの位置や姿勢の変化に起因する判別結果の誤りを低減することができる。

これに対して、従来例では、図７（ａ）に示すように、搬送路１３１上に光センサＳＡを設置して搬送物ＣＡの通過を検知し、この検知タイミングで画像ＳＢを撮影し、この画像ＳＢから搬送物ＣＡを判定するようにしている。しかし、この場合、搬送物ＣＡの位置や姿勢の変化により画像処理が影響を受けて搬送物ＣＡが不良品ＮＧであるという誤判定を生じてしまう場合があり、この場合には、当該搬送物ＣＡが本来的には良品ＯＫであっても、噴気口ＯＰからの気流により搬送路１３１上から排除されたり、姿勢が反転されたりしてしまう。

また、図７（ｂ）に示すように、上記本実施形態と同様のトリガレス撮影による画像計測処理を行う場合でも、搬送物判別処理の対象となる搬送物ＣＡの位置は計測エリアＳＣ内の所定の範囲ＳＤ内に限定されてしまうため、上記と同様に、搬送物ＣＡの位置や姿勢の変化に起因して、不良品ＮＧであるという誤判定が生じやすい。

本実施形態では、上記の従来技術とは異なり、搬送物ＣＡごとに二以上の画像Ａｉに基づいて二以上の搬送物処理結果Ｊｉを求め、これらから搬送物判別結果Ｋを導出する場合に、さらに、搬送物ＣＡごとに、二以上の画像Ａｉのうちの画像処理を行う観察領域Ｄｉを設けているので、個々の搬送物ＣＡに対する画像処理の負荷を軽減することができ、また、複数の搬送物ＣＡに対する画像処理を並行して行うようにしても、高速な処理が可能となっている。

本実施形態では、搬送物ＣＡごとに、搬送物ＣＡの位置情報と、搬送物ＣＡの予測移動態様Ｃｉとに応じて、観察領域Ｄｉを設定し、この観察領域Ｄｉにおいて搬送物ＣＡを追跡しながら画像処理を行うため、複数の搬送物ＣＡが計測エリア内に連続して通過するような場合でも、複数の搬送物ＣＡに関して相互に紛れることなく、並行して搬送物判別処理や搬送物検出処理を実行することができる。

本実施形態では、搬送物検出範囲Ｂｉａと予測移動態様Ｃｉに対応する次の観察領域Ｄｉ＋１を設定し、この観察領域Ｄｉ＋１内での画像処理による搬送物検出処理によって搬送物ＣＡを検出し、搬送物検出情報Ｂｉ＋１を導出するようにしているので、処理対象となる画像データを限定しつつ、搬送物ＣＡを追跡して確実に検出することができる。このため、処理の高速化を図ることができ、限られた時間で従来よりも高度な処理も実行可能になる。また、上記の観察領域の予測と画像処理との繰り返しによって、搬送物ＣＡの複雑な移動態様や動作（搬送物移動状況ＭＳ）を容易に把握することが可能になる。

特に、上記搬送物検出処理過程１０１によって搬送物の移動態様や動作を高速かつ確実に把握することができる。これにより、搬送システムの高速化だけでなく、搬送路上における搬送物ＣＡの高密度化や、搬送物ＣＡの整列の高精度化を図ることができる。

本実施形態では、次の観察領域Ｄｉ＋１を設定するに際し、観察領域Ｄｉで求めた搬送物検出情報Ｂｉと予測移動態様Ｃｉから得た基準範囲ｄｉ＋１にさらにその周辺域を加えることにより、拡大した領域としていることから、搬送物ＣＡが予測移動態様Ｃｉとは異なる移動態様を示した場合でも、次の画像Ａｉ＋１からより確実に物体検出情報Ｂｉ＋１を導出することができる。

なお、本発明の搬送システムは、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。例えば、本発明は、複数の画像Ａｉに対する複数の搬送物処理結果Ｊｉに基づいて搬送物判別結果Ｋを求めるものであればよく、そのＪｉからＫへの求め方は、搬送システムの目的や使用態様に応じて設定すればよい。

１０…搬送システム、１０Ｐ…動作プログラム、１１…パーツフィーダ、１１０…搬送体、１１１…搬送路、１２…リニアフィーダ、１２０…搬送体、１２１…搬送路、ＯＰ…噴気口、ＣＡ、ＣＡ１～ＣＡ３…搬送物、ＣＭ１，ＣＭ２…カメラ、ＣＬ１１，ＣＬ１２…コントローラ、ＤＴＵ…検査処理ユニット、ＤＰ１，ＤＰ２…表示装置、ＧＰ１，ＧＰ２…画像処理装置、ＧＭ１，ＧＭ２…画像処理メモリ、ＧＰＸ…撮影画像、ＧＰＹ…画像エリア、ＭＰＵ…演算処理装置、ＭＭ…主記憶装置、ＳＰ１，ＳＰ２…操作入力装置、ＲＡＭ…演算処理用メモリ、θ…主軸角（角度姿勢）、１００…搬送物判別処理部、１０１…搬送物検出処理過程、Ａ…画像取得手段、Ａｉ…画像、Ｂ…画像処理手段、Ｂｉ…搬送物検出情報、Ｂｉａ…搬送物検出範囲、Ｃ…移動態様予測手段、Ｃｉ…予測移動態様、Ｄ…観察領域設定手段、Ｄｉ…観察領域、ｄｉ…基準範囲、Ｅｉ…搬送物の移動態様、ＭＳ…搬送物移動状況、Ｇｉ…搬送物処理情報、Ｊｉ…搬送物処理結果、Ｋ…搬送物判別結果

Claims (12)

1. 搬送物を搬送路に沿って搬送する搬送装置と、
   前記搬送物が前記搬送路上を通過する計測エリアの画像を取得する手段であって、前記搬送路を通過する全ての前記搬送物がそれぞれ必ず前記計測エリアの二以上の前記画像中に撮影されることとなる態様で複数の前記画像を順次に取得する画像取得手段と、
   前記画像内の前記搬送物の画像部分を画像処理して前記搬送物を判別する手段であって、前記搬送物ごとに、当該搬送物が撮影されている前記二以上の画像に対して順次に前記画像処理を実行することにより、前記二以上の画像に対する処理結果に基づいて判別結果を導出する搬送物判別手段と、
   を具備し、
   前記搬送物判別手段では、前記処理結果としての複数種類の結果と、前記搬送物ごとの前記処理結果を求める前記画像処理の最大処理回数とが予め設定され、
   前記搬送物判別手段は、前記搬送物ごとに、或る種類の前記処理結果の得られた回数が、前記最大処理回数の前記処理結果の中の他のいずれの種類の処理結果の回数よりも多く最多となる場合には、前記或る種類の処理結果を前記判別結果として導出する、
   搬送システム。
2. 搬送物を搬送路に沿って搬送する搬送装置と、
   前記搬送物が前記搬送路上を通過する計測エリアの画像を取得する手段であって、前記搬送路を通過する全ての前記搬送物がそれぞれ必ず前記計測エリアの二以上の前記画像中に撮影されることとなる態様で複数の前記画像を順次に取得する画像取得手段と、
   前記画像内の前記搬送物の画像部分を画像処理して前記搬送物を判別する手段であって、前記搬送物ごとに、当該搬送物が撮影されている前記二以上の画像に対して順次に前記画像処理を実行することにより、前記二以上の画像に対する処理結果に基づいて判別結果を導出する搬送物判別手段と、
   を具備し、
   前記搬送物判別手段では、前記処理結果としての複数種類の結果と、前記搬送物ごとの前記処理結果を求める前記画像処理の最大処理回数とが予め設定され、
   前記搬送物判別手段では、前記処理結果の種類ごとに２回以上の設定数が規定され、
   前記搬送物判別手段は、前記搬送物ごとに、或る種類の前記処理結果の得られた回数が最初に前記設定数に達した場合には、当該或る種類の処理結果を前記判別結果として導出する、
   搬送システム。
3. 前記処理結果として２種類の結果が設定され、
   前記搬送物判別手段は、前記搬送物ごとに、前記最大処理回数の前記処理結果が求められた場合であって、前記２種類の処理結果の得られた回数が相互に同数になるときには、予め設定された搬送能力優先と選別精度優先のいずれかの優先順に従って選択される１種類の処理結果を前記判別結果として導出する、
   請求項１又は２に記載の搬送システム。
4. 前記二以上の画像は三以上の画像である、
   請求項１－３のいずれか一項に記載の搬送システム。
5. 前記搬送物判別手段は、前記二以上の画像のうち、二回目以降の前記画像に対しては、前回に処理された前記画像から得られた当該搬送物の位置情報と、当該搬送物の予測移動態様とにより限定された観察領域内において前記画像処理を実行する、
   請求項１－４のいずれか一項に記載の搬送システム。
6. 前記予測移動態様は、前記搬送物の搬送速度と、今回処理された前記画像と次回の前記画像の撮影時差とに対応する搬送方向の予測移動量である、
   請求項５に記載の搬送システム。
7. 前記二回目以降の画像に対する前記観察領域は、前回の前記画像に対する画像処理で得られた前記搬送物の検出範囲を移動後の予測位置に配置した基準範囲に加えて、当該基準範囲の周囲に配置される周辺域を含むように拡大した領域となるように設定される、
   請求項５又は６に記載の搬送システム。
8. 前記観察領域の前記基準範囲に対する拡大度合は、前記搬送物の過去の移動態様のばらつきの大小に応じて増減される、
   請求項７に記載の搬送システム。
9. 前記予測移動態様は、前記搬送物の過去の移動態様に基づいて算出される、
   請求項５－８のいずれか一項に記載の搬送システム。
10. 前記搬送物判別手段は、前記二以上の画像のうちの初回の前記画像に対しては、前記搬送物が配置され得るように設定された既定の初回の前記観察領域において画像処理を実行し、既定の初回の前記予測移動態様に基づいて次回の前記画像に対する前記観察領域を設定する、
    請求項５－９のいずれか一項に記載の搬送システム。
11. 前記搬送装置を制御する搬送制御部をさらに具備し、
    前記搬送制御部は、前記判別結果に基づいて前記搬送装置を制御する、
    請求項１－１０のいずれか一項に記載の搬送システム。
12. 前記搬送制御部は、前記判別結果に応じて、前記搬送装置に設けられた前記搬送物の選別若しくは姿勢変更を行うための搬送物処理機構を制御する、
    請求項１１に記載の物体搬送システム。

Images