JP2787151B2

JP2787151B2 - 物品の数量検査方法及び装置

Info

Publication number: JP2787151B2
Application number: JP5069672A
Authority: JP
Inventors: 春樹井上; 兼一中村; 英雄吉田; 哲男小澤
Original assignee: Hitachi Engineering Co Ltd
Current assignee: Hitachi Engineering Co Ltd
Priority date: 1993-03-29
Filing date: 1993-03-29
Publication date: 1998-08-13
Anticipated expiration: 2013-08-13
Also published as: JPH06282705A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】

【０００２】

【発明の利用分野】本発明は、一まとまりの物品につい
てその種類と数量が所望の員数どおりか否か検査する物
品の検査方法及び装置に関する。例えば、バケット等の
搬送容器に所定の物品を収納して取り扱う場合、その搬
送容器内に予定の物品が予定の員数収納されているか否
かを検査するのに好適なものに関する。

【０００３】

【従来の技術】例えば、物流分野では効率の良い配送を
行なうため、工場で生産された様々な製品を、一旦交通
の便の良い配送センタ−に集約し、多くの販売店からの
配送要求に応じる形態が増加している。

【０００４】また、製造業の分野においても、従来の少
品種大量生産から多品種変量生産に形態が移行しつつあ
り、同一工場内で多くの異なる製品や材料を取り扱わね
ばならない状況になってきている。

【０００５】このような場合、多くの品種を素早く識別
し、所望の数量が過不足なく存在することを調べること
が重要になる。

【０００６】物流分野では、販売店等からの要求に応じ
た種類と数量の物品を集積場所から人が取り出し（以
後、ピッキングと称する）、梱包して出荷することにな
る。この場合、販売店等からの要求を厳密に満たすこと
が、単にピッキングや梱包の効率を向上させることのみ
ならず、販売店等へのサ−ビスという点で不可欠なこと
である。

【０００７】一方、製造業においては、必要な物品の種
類や数量を誤ると下流工程での作業に支障を来すばかり
でなく、品質の低下を招くことになる。

【０００８】そこで、従来、所望の物品が、所望の量、
定められた容器内に存在するか否かを調べるために、物
品に特有のバ−コ−ド等を貼付し、光学的に読み取りチ
ェックを行なう方法や、テレビカメラで撮影した画像情
報と予め登録されている情報を比較する方法等が採用さ
れてきた（特開昭６２−５２６９４号公報、特開昭６３
−１２３６６０号公報、特開平３−２９０７８１号公報
等）。

【０００９】

【発明が解決しようとする課題】しかし、バーコード等
による識別法によれば、物品全てに所定のバ−コ−ド等
を貼るか印刷せねばならないという問題がある。また、
それを読み取るために厳密な位置決めが必要であった
り、物品の大きさや形状が制限される等の問題があっ
た。

【００１０】一方、画像情報に基づいて物品を識別しそ
の数量を計量する方法によれば、搬送ライン上にあるバ
ケットを真上からテレビカメラで撮影し、その画像情報
を処理して予め登録されている物品の画像情報と比較し
て識別するのであるが、これによれば次のような問題が
ある。

【００１１】（１）検査対象物品の増加に対し、処理時
間が大きくなり、実時間での使用に耐えない。

【００１２】（２）各物品の画像情報（パタ−ン）を予
め登録するため、大きな記憶装置を必要とする。

【００１３】（３）新しい物品を登録する手順が複雑で
多くの工数を要する。

【００１４】（４）被写体深度のばらつき、すなわち、
カメラから物品までの距離のばらつきにより検査精度が
変動する。

【００１５】すなわち、従来のパタ−ンマッチングによ
り物品の種類を識別する方法は、各画素の濃淡微分処理
（濃淡の変化度合い）により識別対象の物品の外周部を
切り出し、次に物品と思われるエリア全てにつき、登録
パタ−ンとの比較を行なうことにより物品の種類を識別
するようにしている。このような識別処理を行なう過程
で、物品画像と登録パターンとを比較するには、大きさ
を整合させるために拡大／縮小処理を行なったり、位置
をあわせるために回転等の処理が必要となる。

【００１６】したがって、対象物品の数が多くなると処
理時間が長くなる。また、１画面内に多くの物品が存在
すると、物品１個に対する画素数が減少する為分解能が
低下し、認識精度が落ちる。更に、物品の形状が様々な
場合には、物品とカメラの間隔が均一でなくなり、レン
ズ焦点を全ての物品に対して最適に定めることができな
くなるため、細かい文字や図形の認識精度が低下する。

【００１７】このようなことから、上記のような画像情
報に基づいて物品を識別する方法に代えて、物品数が多
い場合でも、また物品の姿勢が一定でない場合でも、簡
易で、高速かつ高精度で物品種類の識別を行うことがで
き、またその識別結果に基づいて物品数量の計数を行う
ことができ、更に複数種類の物品について種類ごとの数
量を計数して検査することできる方法及び装置の実現が
要望されていた。

【００１８】本発明の第１の目的は、上記問題点を解決
し、一まとまりの物品の種類と数量が所望の員数通りか
否かの検査を、簡易で、高速にかつ高精度で行うことが
できる物品の検査方法及び装置を提供することにある。

【００１９】また、本発明の第２の目的は、簡易で、高
速かつ高精度で物品の種類を識別できる物品の識別方法
を提供することにある。

【００２０】さらに、本発明の第３の目的は、簡易で、
高速かつ高精度で同一物品の数量を計数できる物品の計
数方法を提供することにある。

【００２１】

【課題を解決するための手段】本発明は、上記目的を達
成するため、以下の手段によることを特徴とする。

【００２２】第１の目的を達成するため、本発明は、検
査対象の複数種類の複数の物品を撮影してなる画像情報
に基づいて、物品の種類ごとの数量が予定の員数存在す
るか否かを検査する物品の数量検査方法において、予め
検査対象となる物品の種類ごとに物品表面の特徴色と該
特徴色の面積とからなる物品色情報を登録しておき、検
査対象の物品の複数の種類と該種類ごとの員数が与えら
れたとき、登録された前記物品色情報に基づいて、物品
の種類ごとに当該物品に係る登録特徴色の面積を前記員
数倍して当該登録特徴色の基準色面積を求め、検査対象
の複数種類の複数の物品を撮影してなる画像情報に基づ
き、画像の単位領域ごとの色を解析し、その解析色に一
定の許容範囲で一致する前記登録特徴色ごとの実測色面
積を積算し、該該登録特徴色ごとの実測色面積の積算値
と前記基準色面積との一致度に基づいて、物品の種類ご
との数量が予定の員数存在するか否かを判定することを
特徴とする。

【００２３】この場合において、物品色情報は、各物品
について少なくとも２以上設定することが好ましい。つ
まり、１つの特徴色だけでは、同一特徴色を有する物品
がある場合、区別できないからである。

【００２４】また、特徴色を表すには、相互に独立した
色の原刺激を示す光の３つの色要素（例えば、赤、緑、
青）とそれらの明度の組合せで表すのが好ましい。

【００２５】つまり、色解析対象の単位領域（例えば、
画素）の色を、例えばＲ（赤）、Ｇ（緑）、Ｂ（青）に
分離し、それぞれの明るさ階調を計算し、その階調を相
対的に表すために正規化して得られる明度ｒ，ｇ，ｂの
組合せで表す。

【００２６】また、画像の単位領域ごとの解析色に一定
の許容範囲で一致する特徴色が２以上あるときは、いず
れの物品か判断できないので、その解析色にかかる単位
領域を実測色面積に加算しないことにより、ご判断を避
けることが好ましい。

【００２７】また、物品色情報が各物品について２以上
設定されているときは、実測色面積の積算値と基準面積
との一致度が最も高いものに基づいて、物品の種類ごと
の数量が予定の員数存在するか否かを判定する。

【００２８】上記本発明の物品の数量検査方法を実施す
る装置は、検査対象の複数種類の複数の物品を所定の方
向から撮影するテレビカメラと、該撮影された画像情報
を入力し、物品が存在する有効エリアを切り出す有効エ
リア切出し手段と、該有効エリアに存在すべき物品の複
数の種類と該種類ごとの員数の検査情報が格納される記
憶手段と、予め検査対象となる物品の種類ごとに物品表
面の特徴色と該特徴色の面積とからなる物品色情報が登
録された物品色情報記憶手段と、該物品色情報と前記検
査情報に基づいて、物品の種類ごとに当該物品に係る登
録特徴色の面積を前記員数倍して当該登録特徴色の基準
色面積を求める検査基準色情報生成手段と、前記有効エ
リア内に存在する画像の単位領域ごとの色を解析し、そ
の解析色に一定の許容範囲で一致する前記登録特徴色ご
との実測色面積を積算する画像色情報分類手段と、該登
録特徴色ごとの実測色面積の積算値と前記基準色面積と
の一致度に基づいて、物品の種類ごとの数量が予定の員
数存在するか否かを判定する検査判断手段とを備えるこ
とにより実現できる。

【００２９】この場合において、検査判断手段は、一致
度が予め定められている値より高い場合に、実測色面積
の積算値を該当する特徴色の一物品当たりの面積で除し
て該当物品の数量を演算し、演算した数量が対応する物
品の員数と一致した場合は合格とし、不一致の場合は過
不足数を演算するものとする。

【００３０】前記物品色情報記憶手段に登録する前記物
品色情報は、予め検査対象となる各種の物品を物品ごと
に撮影して得られる画像情報に基づいて、指定される物
品表面の特徴色に一定の許容範囲で一致する画像の面積
を求めて物品の種類ごとに特徴色とその特徴色の面積と
を求める物品色情報の学習登録手段により実現できる。

【００３１】また、本発明の第２の目的を達成するた
め、識別対象の１つの物品を撮影してなる画像情報に基
づいて当該物品の種類を特定する本発明の物品の識別方
法は、物品の種類ごとにそれぞれの特徴を表す色を設定
するとともに、設定した色とその色の面積とからなる識
別色情報を設定しておき、画像情報に基づき識別色情報
の色に一致する色とその面積を求め、求めた色とその面
積が一定の許容範囲で一致する識別色情報に対応する物
品の種類を当該物品の種類として特定することを特徴と
する。

【００３２】また、本発明の第３の目的を達成するた
め、計数対象の複数の同一物品を撮影してなる画像情報
に基づいて当該物品の数量を求める本発明の物品の計数
方法は、物品の特徴を表す色とその色の面積とからなる
色情報を設定しておき、画像情報に基づき色情報の色に
一致する色の面積を求め、該求めた面積を色情報の面積
との比に基づいて当該物品の数量を求めることを特徴と
する。

【００３３】

【作用】以上のような手段により、次の作用により前記
目的が達成できる。

【００３４】まず、本発明の原理について説明する。従
来のパタ−ンマッチング法は、理想条件下では、極めて
照合又は識別精度が高いが、本発明が解決しようとする
課題からみて情報過多であり、そのために前述した問題
があることが判った。

【００３５】すなわち、人の目視による物品種類の識別
法を検討すると、小さな文字や複雑な形状は補助手段で
あり、焦点がずれても、物品の姿勢がランダムであって
も、正確な認識ができる理由は、大きな文字、数字、特
徴的な色配置、その色の面積等のマクロ的な情報を基準
に判断しているからであると考える。つまり、物品種類
の識別についての目視による観察を分析すると、対象物
品の概略形状、特徴的図形、色に注目することにより、
高速かつ正確な判断を行なっていることが判明した。特
に、物品が梱包されている場合でも同様であり、梱包表
面の文字や、小さい図形については、多くの場合補助的
に参照するのみであることがわかった。

【００３６】そこで、本発明は、物品又は物品の梱包表
面の特徴的な図柄だけでなく、物品又は物品の梱包表面
の特徴を表す色とその色が占める面積との相違に着眼
し、それを各物品固有の物品色情報として利用して、物
品を識別しようとしたのである。特に、物品が梱包され
ている場合は、その梱包に各種の色の印刷されたラベル
が貼付されているので有効である。すなわち、印刷技術
の発達により、同一色の再現性と印刷位置の精度が極め
て高くなっており、かつ商品（物品）の識別性を高める
ためラベルの色ゆ図柄もカラフルになってきている。

【００３７】色は、よく知られている通り、３色性があ
り、全ての光ＣはＣ＝ｒ・Ｒ＋ｇ・Ｇ＋ｂ・Ｂという等式で表すことができる。ここでは、Ｒは赤、Ｇ
は緑、Ｂは青という互いに独立な色の原刺激を示してお
り、ｒ，ｇ，ｂはそれぞれの明るさの量（明度）を表わ
している。Ｒ，Ｇ，Ｂは独立系であれば他色集合で代替
できるが、本説明では以下Ｒ，Ｇ，Ｂを用いて説明す
る。明るさが変化しても、ｒ，ｇ，ｂの比率は変化しな
いから、ｒ，ｇ，ｂの和が常に１．０になる様に正規化
することにより、色の特徴情報として採用できる。色の
表現は、他にいくつかの方法があるが、等価集合で対応
できるため、以下ＲＧＢ表色系にて説明を行なう。

【００３８】色の種類は、各画素のＲＧＢの各々の明る
さの階調を２５６とすると、少なくも２５６の３乗、す
なわち約１，６７０万通り以上存在することになる。

【００３９】したがって、各物品又は物品に貼付された
ラベル等に、体系的に同一の色にならないような特徴色
を割り当てることにより、物品の種類を識別することが
可能になる。ここで、検査の内容が１つの物品の種類を
識別するような場合、あるいは少ない種類の物品を識別
する場合、特徴色は１つですむ場合が多い。また、同一
物品の数量を計数する場合も同様である。しかし、一度
に識別しなければならない物品の種類が多くなった場合
には、物品のラベル等によっては、様々な大きさ、形
状、色使いが行なわれているので、特徴色とその占有面
積が同一又は類似する物品が生ずる可能性が高く、１つ
の特徴色に限ったのでは高い識別精度を得ることができ
ない。

【００４０】そこで、物品に貼付されたラベル等の物品
表面の多色性に着眼するとともに、単に色だけでなくそ
の色が占める面積の相違に着眼し、それらを組み合わせ
た物品色情報をその物品の特徴を表すものとして用いる
ようにしたのである。

【００４１】具体的には、前述の通り一種類の物品に対
して２〜３種の特徴色を予め設定し、各特徴色の色要素
Ｒ，Ｇ，Ｂの正規化した明度ｒ，ｇ，ｂとその面積とを
予め解析して記憶しておき、それら特徴色の組合せによ
り物品の種類を識別するようにすることが望ましい。す
なわち、実際の検査の際には、複数種類の物品が同一画
面内に存在するため、設定した特徴色のユニ−ク性にも
拘らず、異なる種類の物品間で共通の特徴色が存在する
ことが起こり得る。この場合は、双方の該当する特徴色
は検査の情報から外し、残りの特徴色で識別することに
より、認識精度を高い水準に保持できる。

【００４２】このようにして、検査対象の複数の物品を
撮影した画像情報に基づいて、画像の特徴色とその実測
色面積を求め、実測色面積を該当する特徴色の物品１個
当りの面積（ここでは画素数）で除算を行ない、その結
果を該当物品の存在数と推定する。

【００４３】このようにして得た推定値と予め定められ
ている員数とを比較することにより、物品の種類とその
員数の一致／不一致を判断できる。

【００４４】なお、対象物品を撮影して得られる画像情
報には、例えば照明度のばらつき、物品の収納状況や姿
勢のばらつき、焦点のずれ等の不確定な要素が存在す
る。このような不確定な要素に対して、従来のパターン
マッチング法によれば認識精度に致命的な影響を与える
が、本発明では、各情報の合否判断に係る一致度の値
（以下、しきい値と略す）を調整することにより回避で
きる。

【００４５】また、各特徴色や面積の比較における境界
領域の判定については、ファジィ推論を適用することに
より回避できる。

【００４６】また、本発明では、有効エリア内の画素に
ついてそれぞれ１回づつの処理を行なえばよいため、極
めて短時間で検査を完了することができる。

【００４７】以上は、複数種類の物品の種類と員数を同
一時に検査する例で説明したが、本発明の色情報により
物品を識別する原理を用いれば、１つの物品の種類の識
別することができることは説明するまでもなく、また同
一種類の物品の数量を計数することも同様に理解でき
る。

【００４８】

【実施例】以下、本発明の実施例について、図を参照し
て詳細に説明する。

【００４９】図１は、本発明の物品の検査装置の一実施
例の機能構成を示すブロック図である。本実施例は、コ
ンベア１１上を搬送されているバケット１２内に収納さ
れた物品１３を、上方に設置されたテレビカメラ１４で
垂直下方向に撮影して得られる画像情報に基づいて物品
１３の種類と数量が所定の員数収納されているか否かを
検査し、その結果を表示装置１５に出力表示する例であ
る。

【００５０】本実施例の物品の検査装置は、有効エリア
切り出し手段２と、検査基準色情報生成手段３と、画像
色情報分類手段４と、検査判断手段５と、結果表示処理
手段６と、メモリ７と、物品色情報学習登録手段８と、
検査情報生成手段９とを含んで構成されている。

【００５１】メモリ７には、検査対象となる各種の物品
ごとに、物品表面の特徴色とその特徴色が占める面積と
が登録された物品色情報テーブルが格納されている。ま
た、メモリ７には、検査の基準となる物品の種類とその
員数を規定した検査情報テーブルが格納されている。

【００５２】有効エリア切り出し手段２は、テレビカメ
ラ１４からの画像情報を入力とし、撮影された画像から
バケット１２の内部に相当する有効エリアを切り出し、
その切り出した画像情報を検査基準色情報生成手段３に
出力するようになっている。

【００５３】検査基準色情報生成手段３は、メモリ７に
格納されている検査情報テーブルと物品色情報テーブル
の内容を用いて、検査対象の全ての物品が撮影された画
像の登録特徴色とその登録特徴色の基準色面積を求めて
検査基準色情報テーブルを作成し、これをメモリ７に格
納するようになつている。

【００５４】画像色情報分類手段４は、有効エリア内に
存在する全ての画素の色解析を行ない、その解析色が検
査基準色情報テーブルの登録特徴色に該当するものがあ
る場合は、その登録特徴色の実測色面積として積算する
ようになっている。

【００５５】検査判断手段５は、画像色情報分類手段４
により求められた各登録特徴色の実測色面積と対応する
基準色面積とを比較し、その実測色面積の演算処理を含
むシステムの信頼度を推定する。そして、推定信頼度が
予め定められている基準値より良好な場合は、各登録特
徴色についての実測色面積を基準色面積で割算し、これ
により得られる商を、各登録特徴色にかかる物品の存在
数と推定する。次に、推定存在数と予定員数との照合を
行ない、予定員数と一致した場合は合格とし、不一致の
場合は過不足数を演算する。

【００５６】結果表示処理手段６は、検査判断手段５か
ら出力される検査結果を表示装置１５に出力表示するよ
うになっている。

【００５７】物品色情報学習登録手段８は、上述の各処
理に先立ち、メモリ７内に格納される各種物品ごとの物
品色情報を作成するものである。すなわち、予め検査対
象物品のサンプル１６をテレビカメラ１４と同じテレビ
カメラ１７で撮影し、その画像情報から指定される特徴
色を抽出し、その特徴色が占める面積を求めて、物品色
情報を作成し、その結果をメモリ７内の物品色情報テー
ブルに格納するようになっている。

【００５８】検査情報生成手段９は、上位の生産管理コ
ンピュータ１０などから与えられる情報に基づき、検査
対象バケット１２ごとの検査情報を作成してメモリ７の
検査情報手へーブルに格納するようになっている。

【００５９】図２に検査対象の複数の物品１３が収納さ
れたバケット１２内の収納状態の一例を示す。同図
（Ａ）はテレビカメラ１４の方角から見た図であり、同
図（Ｂ）は側断面図である。図示例では、各物品１３は
長矩形をしており、かつ長手方向に格納されるものとし
ている。また、各物品１３の内容を示すラベルは長手方
向の上面にあり、物品の名称は英大文字で示されてい
る。図示のように、バケット１２には、銘柄「ＡＡＡ」
が５個、「ＢＢＢ」が２個、「ＣＣＣ」が２個、「Ｄ」
が１個、「ＥＥＥ」が２個、「Ｆ」が２個、「Ｇ」が２
個、それぞれ任意の状態に格納されている。また、各物
品の高さは、同図（Ｂ）に示すように、「ＡＡＡ」が低
く、「ＢＢＢ」，「ＣＣＣ」，「Ｄ」はやや高く、
「Ｇ」はかなり高いことがわかる。したがって、垂直下
方向に向いたテレビカメラ１４の焦点は、例えば「ＢＢ
Ｂ」の上面になるよう調整されていると、「ＡＡＡ」と
「Ｇ」は焦点が合わないので、詳細画像のエッジはにじ
むことになる。

【００６０】以下、図３乃至図１９を用いて、本装置の
各部の詳細構成を動作とともに説明する。図３は、有効
エリア切り出し手段２の処理手順をフロ−チャ−トで示
したものである。まず、ステップ２Ａにて、撮影された
画像２１からバケット１２のエッジを検出して、有効エ
リア２２を切り出す。これは、バケット１２の周囲には
様々な機械や設備が有り、これらの色に物品の色に一致
するものがあると外乱となることから、そのような色彩
的な重なりを除去するため、バケット１２内のみの画像
情報を取り出すのである。この切り出し処理を容易にす
るために、バケット１２に特有の色を施すか、的確に照
明を行なうことが望ましい。

【００６１】次に、ステップ２Ｂにおいて、切り出した
バケット範囲に対応する画像の画素のみを検査対象とす
べく、下記のビットデータを付与したチェックビットか
らなる検査対象画素指示情報ＣＫ（ｖ，ｈ）を作成す
る。

【００６２】１：検査対象画素０：検査対象外画素ＣＫはワ−クエリア、ｖは垂直方向、ｈは水平方向の画
素アドレスを示している。

【００６３】次に、ステップ２Ｃにて、ノイズ除去を行
なう。これは、光線、影等によりランダムなノイズが散
在するのを想定しており、具体的には連続して一定の面
積に達しない画素についてはバケット内であっても検査
対象外とすることで達成される。

【００６４】図４は物品色情報学習登録手段８の処理手
順を示したものである。この処理は、オンラインで検査
を行なう前に、対象物品のサンプル１６を用いて、各物
品の特徴を表す色と、その色が占める面積から成る物品
色情報を解析し、これを物品ごとに求めて物品色情報テ
ーブルとしてメモリ７に予め登録するものである。以
下、ステップごとに説明する。

【００６５】（ステップ８Ａ）：同一物品について指定
される複数の登録特徴色を予定し、その数だけ解析処理
を繰り返すためのループカウンタｒｃを定める。この例
では３色まで登録する。

【００６６】（ステップ８Ｂ）：マウス２３等の入力手
段により物品画像２４の任意の領域をポインティングす
ることにより指定され特徴色の画像情報を取り込む。

【００６７】（ステップ８Ｃ）：取り込んだ画像情報の
色を解析して記憶する。

【００６８】（ステップ８Ｄ）：解析した色が指示され
た色と相違ないことを確認するため、その色の画像部分
のみを取り出して表示装置に出力表示し、操作員の可否
を求める。

【００６９】（ステップ８Ｅ）：操作員の可否が、「Ｏ
Ｋ」であれば次の色の処理に移行し、「ＮＧ」の場合は
ステップ８Ｂに戻って再実行する。

【００７０】このようにして、ステップ８Ｂ〜８Ｅの処
理を指定された特徴色の数だけ繰り返す。図５に、繰返
し行う色解析処理の様子を説明する図を示す。図示のよ
うに、例えば「ＡＡＡ」というパタ−ンの特徴部を指示
され、１つの画素の色解析を行った結果、色要素Ｒ，
Ｇ，Ｂの明るさの度合いが、０〜２５５階調でそれぞれ
１７８，２５，５０であったとする。この明度を０．０
〜１．０の範囲で正規化すると、正規化された明度ｒ，
ｇ，ｂは、それぞれｒ＝０．７ｇ＝０．１ｂ＝０．２となる。

【００７１】次に、これと同じｒ，ｇ，ｂ比の関係を有
する画素の数を抽出して、その特徴色の面積とする。こ
のようにして得られた物品色情報テーブルの一例を図６
に示す。図示のように、各物品の銘柄に対応させて、３
つの特徴色についてそれぞれ正規化された明度ｒ，ｇ，
ｂと、その特徴色の物品１個当たりの占有面積が対応づ
けて登録される。

【００７２】このようにして１つの物品色情報１〜３が
登録された後、各物品相互間の登録特徴色が近似してい
るか否かをチェックする。

【００７３】（ステップ８Ｆ）：所定数の特徴色につい
ての色情報が登録された後に、既に登録されている他の
物品との近似性をチェックする。つまり実際の検査時
に、異なる銘柄が、全て同じ色構成を有していると判別
が困難になるのを避けるためである。そこで、登録済み
の銘柄の中に、新たに登録する銘柄と同一の物品色情報
（色情報１〜３の組合せ）を有するものがある場合は登
録不可とすべく、同一なものを検索し、存在する場合は
他の色を特徴色として登録するように、操作員にメッセ
−ジを出力し、ステップ８Ａに戻る。

【００７４】図７に、検査対象バケット１２の中に有る
べき物品の銘柄とその員数を示した検査情報テーブルの
一例を示す。検査情報は、予め他のシステム１０から、
あるいはマニュアルで入力され、検査情報生成手段９に
よりメモリ７に格納される。

【００７５】図８は、検査対象のバケット１２内の複数
の物品を撮影してなる画像全体の色情報の構成（つまり
検査基準色情報）を、検査対象として予定された検査情
報と各物品の色情報に基づいて作成する手順を示す。

【００７６】（ステップ３Ａ）：検査情報と銘柄毎の物
品色情報とをメモリ７より取り込む。（ステップ３Ｂ）：検査情報に規定された銘柄Ｎｏ．ｍ
（ｍ＝１〜Ｍ）に従って、銘柄ｍの繰返しカウンタをセ
ットする。

【００７７】（ステップ３Ｃ）：ステップ３Ｂにて指定
された銘柄の色情報の登録数１〜ＲＣ（この例では、
３）に従って、登録色数ｒｃの繰返しカウンタをセット
する。

【００７８】（ステップ３Ｅ）：図７に示した検査情報
の銘柄に対応する物品の員数と、図６に示した物品色情
報の登録特徴色と、その登録特徴色の物品１個当りの面
積を用い、画面内で存在すべきその登録特徴色の面積を
演算して検査基準色情報を求める。そして、このような
処理を、検査対象に含まれるそれぞれの物品について行
う。

【００７９】図９は、図８の処理でえられた検査基準色
情報テーブルＭＥＮ（ｍ，ｒｃ）の一例を示しており、
各銘柄ごと、各特徴色情報１〜３に対応する色面積１〜
３ごとに対応させて、基準の色面積（基準値）１〜３が
登録される。

【００８０】図１０は、画像色情報分類手段４の処理手
順を示したものである。この処理は画面内の画素のう
ち、有効エリア切り出し手段２で作成された検査対象画
素の指示情報ＣＫ（ｖ，ｈ）が「１」の画素について行
われる。

【００８１】（ステップ４Ａ）：垂直方向の画素数分の
処理を繰り返すためのカウンタｖを順次１〜Ｖにセット
する。

【００８２】（ステップ４Ｂ）：水平方向の画素数分の
処理を繰り返すためのカウンタｈを順次１〜Ｈにセット
する。

【００８３】（ステップ４Ｃ）：ＣＫ（ｖ，ｈ）を確認
し、検査対象の画素の場合はステップ４Ｄに進み、検査
対象でない場合は、ステップ４Ｂ又は４Ｃに戻る。

【００８４】（ステップ４Ｄ）〜（ステップ４Ｅ）：図
１１に示すように、ステップ４Ｄにおいて、ある画素の
３要素Ｒ，Ｇ，Ｂごとの明度（濃淡階調）を０〜２５５
の段階で解析する。次にステップ４Ｅにて、明度の正規
化を行ないｒ，ｇ，ｂを求める。図示例では、ｒ＝０．７０ｇ＝０．１０ｂ＝０．２０が得られる。

【００８５】（ステップ４Ｆ）：実測色面積積算処理を
行うステップであり、図１２にその詳細処理手順を示
す。この処理は、検査情報に含まれる全ての銘柄につい
て、また全ての登録特徴色について行われる（ステップ
４Ｆｂ，４Ｆｃ）。

【００８６】（ステップ４Ｆａ）〜（ステップ４Ｆ
ｃ）：面積更新カウンタを初期化し、銘柄数ｍの繰返し
カウンタをセットし、登録色数ｒｃの繰返しカウンタを
セットする。

【００８７】（ステップ４Ｆｄ）：登録色情報を１つ取
り出し、その登録色情報が有効か否かを判定する。無効
の場合は、その画素の処理は行わずに次の画素の処理に
移行する。

【００８８】（ステップ４Ｆｅ）：登録色情報が有効の
場合は、ステップ４Ｅで求めた当該画素ＧＡＳＯ（ｖ，
ｈ）の色を解析して得られた色情報Ｃ（ＧＡＳＯ（ｖ，
ｈ））について、その登録色に一致するか、又は一定の
許容範囲内で一致するかにより、同色か否かを判定す
る。

【００８９】この処理を図１３を用いて説明する。図示
のように、画素ＧＡＳＯ（ｖ，ｈ）の色情報が、Ｃ（ＧＡＳＯ（ｖ，ｈ））＝（ｒ，ｇ，ｂ）＝（０．７２，０．１０，０．１８）であったとする。ここで、銘柄「ＡＡＡ」の色情報１は
図６に示すように（ｒ，ｇ，ｂ）＝（０．７０，０．１
０，０．２０）であるから、同一と判断する許容範囲を
±０．０３とすると、図１３に示す様に、各色要素の許
容範囲Ｐ（ｒ）、Ｐ（ｇ）、Ｐ（ｂ）は斜線を付して示
した範囲になる。その結果、ＧＡＳＯ（ｖ，ｈ）の色情
報は、銘柄「ＡＡＡ」の色情報１の許容範囲に含まれる
ことになり、色情報１の色と同一である判定される。

【００９０】なお、許容範囲は±０．０３に限られるも
のではなく、例えば一層柔軟な判断を行なわせる場合
は、登録色との（ｒ，ｇ，ｂ）との差分をファジィ量と
して評価する様に構成すればよい。

【００９１】（ステップ４Ｆｆ）〜（ステップ４Ｆ
ｈ）：登録色と同色と判断した場合は、図１４に示すよ
うに、銘柄「ＡＡＡ」の色情報１の実測値（実測色面
積）の欄の値に、一画素分の面積を加算して更新する。

【００９２】（ステップ４Ｆｉ）：同一画素について２
ヶ所以上の登録色の実測色面積の更新が行なわれたか否
かを判断する。

【００９３】（ステップ４Ｆｊ）：もし、二重登録にな
る場合は、双方の該当する登録色の実測値の欄を、図１
５に示すように「−１」を格納して無効とする。すなわ
ち、図１５では銘柄「ＡＡＡ」の色面積１と、銘柄
「Ｅ」の色面積３に、それぞれ「−１」がセットされ
る。

【００９４】図１６は、図１５の例のように無効にされ
た実測色面積を含む処理の後、全ての有効画素について
の画像色情報分類手段４の処理が完了した時点で得られ
た画像色情報分類テーブルＭＥＮ（ｍ，ｒｃ）である。

【００９５】図１７は、検査判断手段５の詳細処理手順
を示したものである。検査判断手段５は、図１６のよう
に得られた画像色情報分類テーブルＭＥＮ（ｍ，ｒｃ）
に基づいて、物品の種類ごとの数量を求め、検査情報に
一致するか否かを判断する。なお、各銘柄の登録色ごと
判断を行ない（ステップ５Ａ〜ステップ５Ｉ）、その結
果を用いて銘柄ごとの員数の合否を判定する（ステップ
５Ｊ〜ステップ５Ｋ）。以下、各ステップごとの処理を
説明する。

【００９６】（ステップ５Ａ）：銘柄ごとの処理を繰り
返すため、繰返しポインタｍに１から最大の銘柄Ｎｏ．
Ｍが順次セットされる。

【００９７】（ステップ５Ｂ）：判断の為のワークエリ
アとして、実測色面積の信頼性の最大値ＲＬＭＡＸにゼ
ロをセットして初期化する。

【００９８】（ステップ５Ｃ）：登録色についてのくり
返し数ｒｃを順次１〜ＲＣに設定する。

【００９９】（ステップ５Ｄ）：ステップ５Ｃで設定さ
れた登録色の実測色面積欄に無効を表す「−１」格納さ
れているか否かにより、その登録色ｒｃが有効か否かを
判断する。

【０１００】（ステップ５Ｅ）：その登録色の実測色面
積が無効でない場合は、そのデータの信頼度ＲＬを、次
のように演算する。

【０１０１】ＲＬ＝［｛ＭＯＤ（ＷＣＲ／ＷＣＳ）｝／
ＷＣＳ］×１００（％）但し、ＷＣＳ＝登録色ｒｃの物品１個当たりの面積、ＷＣＲ＝登録色ｒｃの実測色面積、ＭＯＤ（Ａ／Ｂ）はＡ／Ｂの整数剰余を示す。

【０１０２】（ステップ５Ｆ）：求めた信頼度ＲＬが基
準範囲内に入っているか否かにより、信頼度の有効／無
効を判断する。つまり、ＲＬ≦ＲＬ１，またはＲＬ≧ＲＬ２を満足する場合、その信頼度は有効とし、その登録色に
係る実測色面積も有効であることとする。例えば、ＲＬ
１を５．０（％）、ＲＬ２を９５．０（％）とすると、
ＲＬが５．０（％）以下、あるいは９５．０（％）以上
ならば信頼できる計測が行われたと判断できるわけであ
る。これは種々のノイズにより物品の数が整数倍で存在
しても、実際の色面積は１個分の色面積の整数倍になる
とは限らないからである。ここで、ＲＬ１，ＲＬ２は、
対象とする物品のラベルの状態、カメラの分解能、ある
いは実験より定めればよい。また、汎用的には、ＲＬを
ファジィ量として扱いファジィ推論を行なう方法が考え
られる。

【０１０３】ＲＬが前記不等式を満足しない場合は、該
当色の計測がうまく行われなかったと判断できるから、
該当銘柄の計測は不良であったと判断し、記号「＊」を
セットし、次の処理に進む（ステップ５Ｉ）。例を示せ
ば、図１８の銘柄「Ｇ」がこれに該当する。

【０１０４】（ステップ５Ｇ）：信頼度ＲＬが有効と判
断された場合、その信頼度ＲＬがその物品にかかる各登
録色についての信頼度の内で、最大か否かを判断する。
つまり、既に求めた信頼度の最大値ＲＬＭＡＸと比較し
て、ＲＬ＞ＲＬＭＡＸを満たすか否か判断する。これを満たさない場合は、次
の登録色の処理に進み、満たす場合は、ステップ５Ｈに
進む。

【０１０５】（ステップ５Ｈ）：まず、最大信頼度の判
断基準をＲＬＭＡＸ＝ＲＬに設定した後、その銘柄の物品過不足値ＫＦを以下のよ
うに計算する。

【０１０６】ＫＦ＝ＩＮＴ((実測色面積−基準色面積)
／(１個当たりの色面積)＋０．５) 但し、ＩＮＴは整数変換関数であるとする。

【０１０７】例えば、図１６において、銘柄「ＡＡＡ」
の色面積２を見ると、実測色面積＝９１３０、基準色面積＝９１４５、１個当りの色面積＝１８２９（図６参照）であるから、ＫＦ＝ＩＮＴ（（９１３０−９１４５）／１８２９＋
０．５）＝ＩＮＴ（０．５０８）＝０となり、予定の員数が存在していると判断できる。

【０１０８】一方、図１６において、銘柄「ＢＢＢ」の
色面積３を見ると、実測色面積＝１２００、基準色面積＝２４２２、１個当りの面積＝１２１１（図６参照）であるから、ＫＦ＝ＩＮＴ（（１２００−２４２２）／１２１１＋
０．５）＝ＩＮＴ（−０．５１）＝−１となり、予定の員数より１個少ないと推定される。

【０１０９】このようにして全ての銘柄について登録色
の信頼度を調べ、最大の信頼度を示す登録色の実測色面
積を用いて、その銘柄の予定の員数に対する過不足を推
定し、図１８に示すような検査結果を得る。

【０１１０】（ステップ５Ｊ）〜（ステップ５Ｌ）：全
ての銘柄の実測色面積が信頼でき（有効）、かつ数も予
定と一致する場合、総合判定結果として○を、そうでな
い場合は×を設定する。これらの情報は、結果表示処理
手段６により表示装置１５に出力表示され、作業者に通
知される。

【０１１１】すなわち、図１８の例では、銘柄「ＢＢ
Ｂ」が１個不足、銘柄「ＥＥＥ」が１個多く、また銘柄
「Ｇ」は計測不良であることを示している。作業者はこ
の情報により、素早くバケットを見直し、所定の員数に
各物品の数量を正すことができる。

【０１１２】図１９は、そのような作業員による修正後
の検査による画像色情報分類結果を示している。これに
基づいた検査判断処理の結果は、図２０に示すように予
定の員数に対し全て一致させることができている。

【０１１３】以上の説明においては、計測値の信頼度、
員数等は定量的なしきい値、数式を用いて説明を行なっ
たが、撮像条件が厳しい場合には各状態量をファジィ量
として扱い、ファジィ推論を行なうことで柔軟な判断を
行ない得ることは言うまでもない。

【０１１４】以上説明したように、本実施例によれば、
特徴色とその特徴色が占める面積を物品固有の色情報と
し、複数の多種類の物品を撮影してなる画像の色情報を
分析し、画面単位で特徴色を分類して、その面積を実測
し、その実測値に基づいて物品の種類ごとの数量を計数
するようにしているから、パターンマッチングによる場
合に比べて、短時間で同時に多くの種類の物品につい
て、予定の員数がバケットに収納されているか否かに加
え、過不足まで判断することができる。これにより、ピ
ッキングシステムの出荷検査や、製造ライン間での検査
等に広く適用することができる。

【０１１５】図２１に、従来のパターンマッチング法と
本発明による方法にて検査を行なった場合の、対象物品
数に対する処理時間の比較を示す。従来方法においては
物品数の増加に伴い、拡大、縮小、回転等の基本的でか
つ多くの処理ステップを要する処理が必要となり加速度
的に処理時間が増大していることがわかる。本例では処
理時間的に物品数が３０個程度が検査可能な最大数であ
ることがわかるが、現実的には、分解能的にも限界が表
われることは言うまでもない。

【０１１６】一方、本発明による方法では、物品数の増
加は画像処理手順数の増加にほとんど影響を与えないの
で、物品数が４０個になっても３秒以下で検査が完了し
ている。また、厳密な形状認識が不要であるため、検査
精度の劣化も少ない、という実験結果が得られている。

【０１１７】なお、上記実施例では、複数種類の物品の
数量を計数検査する例を示したが、本発明の色情報によ
る物品の認識原理を利用することにより、１つの物品の
色情報を解析し、登録されている物品色情報と照合する
ようにすることにより、簡単な処理で高速にかつ精度よ
く、物品の種類を識別することが可能である。

【０１１８】同様に、同一物品をバケット内に多数収納
して搬送する場合の物品の数量計測方法としても適用で
きる。

【０１１９】

【発明の効果】本発明によれば、多種類の物品の種類と
数量を、簡単な装置により、極めて短い時間内に正確に
検査することができる、という効果がある。

【図面の簡単な説明】

【図１】本発明の一実施例の物品の数量検査装置にかか
る全体構成を示す図である。

【図２】検査対象の物品の状態を説明する図である。

【図３】有効エリア切り出し方法の手順を示すフローチ
ャートと、その説明図である。

【図４】物品色情報学習登録手段の処理手順を示すフロ
ーチャートと、その説明図である。

【図５】物品色情報学習登録手段の処理手順における特
徴色情報の指定と、その色の分析手法を説明する図であ
る。

【図６】物品色情報学習登録手段により作成された物品
色情報テーブルの一例である。

【図７】検査基準となる所望の物品の種類と数量が規定
された検査情報テーブルの一例である。

【図８】検査基準色情報生成手段の処理手順を示すフロ
ーチャートである。

【図９】検査基準色情報生成手段により作成された検査
基準色情報テーブルの一例である。

【図１０】画像情報分類手段の処理手順を示すフローチ
ャートである。

【図１１】画像情報分類手段の処理における画素の色を
解析する際の処理手順を説明するための図である。

【図１２】画像情報分類手段の処理手順の要部詳細手順
を示すフローチャートである。

【図１３】画像情報分類手段の処理における解析色と登
録特徴色との一致を判断する際の許容範囲を説明する図
である。

【図１４】画像色情報分類処理における実測色面積の積
算状況を示す図である。

【図１５】画像色情報分類処理における実測色面積を無
効とする例を説明する図である。

【図１６】画像色情報分類処理において実測色面積を無
効とする場合を含む、処理結果の画像色情報分類結果の
内容例を示す図である。

【図１７】検査判断手段の処理手順を示すフローチャー
トである。

【図１８】検査判断手段の処理結果である検査結果を示
す図である。

【図１９】物品の種類と員数が正常な場合の画像色情報
分類結果の内容を示す図である。

【図２０】図１９に対応する正常な検査結果を示す図で
ある。

【図２１】本発明と従来例の検査に要する時間を比較し
て示した線図である。

【符号の説明】

１物品の数量検査装置２有効エリア検出手段３検査基準色情報生成手段４画像色情報分類手段５検査判断手段６結果表示処理手段７メモリ８物品色情報学習登録手段９検査情報生成手段１２バケット１３物品１４テレビカメラ１５表示装置１６サンプル１７テレビカメラ

───────────────────────────────────────────────────── フロントページの続き (72)発明者小澤哲男茨城県日立市幸町三丁目２番１号日立エンジニアリング株式会社内 (56)参考文献特開昭56−71185（ＪＰ，Ａ) 特開昭56−101282（ＪＰ，Ａ) 特開昭63−263594（ＪＰ，Ａ) 特開昭62−52694（ＪＰ，Ａ) 特開平３−290781（ＪＰ，Ａ) 特開平３−179205（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06M 7/04 G06M 11/00 B65G 1/137 G06F 15/00

Claims

(57)【特許請求の範囲】

【請求項１】検査対象の複数種類の複数の物品を撮影
してなる画像情報に基づいて、物品の種類ごとの数量が
予定の員数存在するか否かを検査する物品の数量検査方
法において、予め検査対象となる物品の種類ごとに物品表面の特徴色
と該特徴色の面積とからなる物品色情報を登録してお
き、検査対象の物品の複数の種類と該種類ごとの員数が与え
られたとき、登録された前記物品色情報に基づいて、物
品の種類ごとに当該物品に係る登録特徴色の面積を前記
員数倍して当該登録特徴色の基準色面積を求め、検査対象の複数種類の複数の物品を撮影してなる画像情
報に基づき、画像の単位領域ごとの色を解析し、その解
析色に一定の許容範囲で一致する前記登録特徴色ごとの
実測色面積を積算し、該該登録特徴色ごとの実測色面積の積算値と前記基準色
面積との一致度に基づいて、物品の種類ごとの数量が予
定の員数存在するか否かを判定することを特徴とする物
品の数量検査方法。
【請求項２】請求項１において、前記物品色情報が、
前記各物品について少なくとも２以上設定されることを
特徴とする物品の数量検査方法。
【請求項３】請求項１において、前記特徴色が、相互
に独立した色の原刺激を示す光の３つの色要素とそれら
の明度の組合せで表されることを特徴とする物品の数量
検査方法。
【請求項４】請求項１において、前記実測色面積の積
算値と前記基準色面積との一致度が、±５％であること
を特徴とする物品の数量検査方法。
【請求項５】請求項１において、画像の単位領域ごと
の前記解析色に一定の許容範囲で一致する前記登録特徴
色が２以上あるときは、当該解析色にかかる単位領域を
前記実測色面積に加算しないことを特徴とする物品の数
量検査方法。
【請求項６】請求項１において、前記物品色情報が、
各物品について２以上設定されているとき、前記実測色
面積の積算値と前記基準色面積との一致度が最も高いも
のに基づいて、物品の種類ごとの数量が予定の員数存在
するか否かを判定することを特徴とする物品の数量検査
方法。
【請求項７】検査対象の複数種類の複数の物品を所定
の方向から撮影するテレビカメラと、該撮影された画像情報を入力し、物品が存在する有効エ
リアを切り出す有効エリア切出し手段と、該有効エリアに存在すべき物品の複数の種類と該種類ご
との員数の検査情報が格納される記憶手段と、予め検査対象となる物品の種類ごとに物品表面の特徴色
と該特徴色の面積とからなる物品色情報が登録された物
品色情報記憶手段と、該物品色情報と前記検査情報に基づいて、物品の種類ご
とに当該物品に係る登録特徴色の面積を前記員数倍して
当該登録特徴色の基準色面積を求める検査基準色情報生
成手段と、前記有効エリア内に存在する画像の単位領域ごとの色を
解析し、その解析色に一定の許容範囲で一致する前記登
録特徴色ごとの実測色面積を積算する画像色情報分類手
段と、該登録特徴色ごとの実測色面積の積算値と前記基準色面
積との一致度に基づいて、物品の種類ごとの数量が予定
の員数存在するか否かを判定する検査判断手段とを含ん
でなることを特徴とする物品の数量検査装置。
【請求項８】請求項７において、前記検査判断手段
は、前記一致度が予め定められている値より高い場合
に、前記実測色面積の積算値を該当する登録特徴色の一
物品当たりの面積で除して該当物品の数量を演算し、演
算した数量が対応する物品の員数と一致した場合は合格
とし、不一致の場合は過不足数を演算するものとし、該検査判断手段で得られた検査結果を表示出力する表示
手段を設けたことを特徴とする物品の数量検査装置。
【請求項９】請求項７において、検査対象となる複数
種類の物品を物品ごとに撮影して得られる画像情報に基
づいて、指定される物品表面の特徴色に一定の許容範囲
で一致する画像の面積を求めて物品の種類ごとに特徴色
とその特徴色の面積とからなる物品色情報を前記物品色
情報記憶手段に登録する物品色情報学習登録手段を設け
たことを特徴とする物品の数量検査装置。
【請求項１０】請求項７，８，９のいずれかにおい
て、前記物品色情報が、前記各物品について少なくとも
２以上設定されることを特徴とする物品の数量検査装
置。
【請求項１１】請求項７，８，９のいずれかにおい
て、前記特徴色が、相互に独立した色の原刺激を示す光
の３つの色要素とそれらの明度の組合せで表されること
を特徴とする物品の数量検査装置。
【請求項１２】請求項７，８のいずれかにおいて、前
記物品色情報分類手段は、画像の単位領域ごとの前記解
析色に一定の許容範囲で一致する前記登録特徴色が２以
上あるときは、当該解析色にかかる単位領域を前記実測
色面積に加算しないことを特徴とする物品の数量検査装
置。
【請求項１３】請求項７，８のいずれかにおいて、前
記検査判断装置は、前記物品色情報が各物品について２
以上設定されているとき、前記実測色面積の積算値と前
記基準色面積との一致度が最も高いものに基づいて、物
品の種類ごとの数量が予定の員数存在するか否かを判定
することを特徴とする物品の数量検査装置。
【請求項１４】識別対象の１つの物品を撮影してなる
画像情報に基づいて当該物品の種類を特定する物品の識
別方法において、前記物品の種類ごとにそれぞれの特徴を表す色を設定す
るとともに、設定した色とその色の面積とからなる物品
色情報を設定しておき、前記画像情報に基づき前記物品色情報の色に一致する色
とその面積を求め、該求めた色とその面積が一定の許容範囲で一致する前記
物品色情報に対応する物品の種類を当該物品の種類とし
て特定することを特徴とする物品の識別方法。