JP6898546B2 - 情報処理装置、制御方法、及びプログラム - Google Patents

Description

本発明は、製造物のキズを判別する技術に関する。

製造物の完成度を測るために、ユーザがカメラ等で製造物を撮影して得られた画像を処理することで、製造物の検証を行う方法が存在する。

その方法の一例として、吊り金具に支持硝子や剛体架線をそれぞれ固定するボルトの有無を検査するにあたり、これらを撮影して得られた画像に関して、各画素位置における輝度勾配方向を計算し、テンプレート化された輝度勾配方向を比較して、ボルトの有無を検査する方法が存在する（例えば、特許文献１参照）。

特開２０１４−１２６３６１号公報

しかしながら、製造物によって撮影された画像には、撮影によるノイズが含まれることがあり、このノイズのために、製造物自身に存在するキズの判別がしにくいといった問題がある。

特許文献１に記載の発明では、製造物自身に存在するキズの判別を行うことについては、記載や示唆はなく、想定されるキズの輝度勾配方向に関してテンプレート化することも、キズのパターンが多様であるため現実的でない。

そこで、本発明では、画像において線状の画素群の存在を精度良く判別することが可能な情報処理装置、制御方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、画像を任意の開始位置に基づき複数の所定の形状およびサイズの領域に区分する区分手段と、前記区分された領域の画素毎の輝度の勾配方向及び勾配強度に基づき、同様な勾配方向を有する画素の勾配強度を累積する累積手段と、前記累積手段の累積結果が所定の条件を満たす画素が線状となるか否かを判定する判定手段と、を備え、前記区分手段は、前記開始位置から任意の方向にずらした開始位置に基づき前記画像を新たな複数の前記所定の形状およびサイズの領域に区分することを特徴とする。

本発明によれば、画像において線状の画素群の存在を精度良く判別することができる、という効果を奏する。

本発明の線状キズ有無判別システムの構成の一例を示すシステム構成図である。 情報処理装置のハードウェア構成を示すブロック図である。 線状キズ有無判別システムのソフトウェア構成の一例を示すブロック図である。 線状キズ有無判別システムにおける線状キズ有無判別の処理を示すフローチャートである。 画像取得時の線状キズ有り画像と線状キズ無し画像のイメージである。 画像の画素毎に輝度の勾配方向を算出した時のイメージである。 画像を区分した時のイメージである。 開始位置を右下にずらして画像を区分した時のイメージである。 区分領域毎に同一勾配方向の勾配強度を累積したヒストグラムである。 累積値が一定値以上の勾配方向に含まれる画素を取得してプロットした時のイメージである。 キズの有無の判別結果を画面に出力した時のイメージである。 線状キズ有無判別システムにおける線状キズ有無判別の処理を示すフローチャートである。 端点座標を中心として一定サイズの画像を切り出した時のイメージである。 切り出し画像の端に同一直線上の画素が存在するか探索した時のイメージである。

以下、図面を参照して、本発明の実施形態を詳細に説明する。

図１は、本発明の線状キズ有無判別システム１００の構成の一例を示すシステム構成図である。

図１は、カメラ１０２及び情報処理装置であるＰＣ１０４が画像転送ケーブル（ＵＳＢ、イーサネット、カメラリンクなど）を介して接続される構成となっている。尚、このような構成を備えなくとも、カメラを備えた情報処理装置としての構成でも良い。

ＰＣ１０４は、画像転送ケーブルを介してカメラ１０２で撮影対象を撮影して得られた画像を取得し、画像内の線状キズ有無判別に関する処理を実行する。

また、本実施形態の線状キズ有無判別システム１００は、上述した構成のカメラ１０２が存在しない構成であってもよい。

その場合は、ＰＣ１０４のメモリ（ＲＡＭ）に格納された画像に対して、画像内の線状キズ有無判別に関する処理を実行する。

以下、図２を用いて、図１に示したＰＣ１０４に適用可能な情報処理装置のハードウェア構成について説明する。

図２は、図１に示したＰＣ１０４に適用可能な情報処理装置のハードウェア構成を示すブロック図である。

図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０２あるいは外部メモリ２１２には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。

２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１２からＲＡＭ２０３にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。

２０５は入力コントローラで、キーボード（ＫＢ）２１０や不図示のマウス等のポインティングデバイス等からの入力を制御する。

２０６はビデオコントローラでディスプレイ２１１等の表示器への表示を制御する。

２０７はメモリコントローラで、各種データを記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１２へのアクセスを制御する。

２０８は通信Ｉ／Ｆコントローラで、ネットワーク（ＴＣＰ／ＩＰ）を介して外部ＰＣ２１３からの画像データの受信を制御する。

２０９は画像Ｉ／Ｆコントローラで、画像転送ケーブル（ＵＳＢ、イーサネット、カメラリンク等）を介してカメラ１０２からの画像データの受信を制御する。

本発明を実現するための後述する各種プログラムは、ＲＡＭ２０３に記録され、ＣＰＵ２０１によって実行されるものである。

また、上記プログラムの実行時に用いられる画像データは、用途に応じてＲＯＭ２０２、外部メモリ２１２、外部ＰＣ２１３、及びカメラ１０２に格納されており、プログラム実行時に各種コントローラを介してＲＡＭ２０３に格納される。

次に、図３を用いて、本発明の情報処理装置としてのＰＣ１０４の機能ブロック図について説明する。

尚、各機能ブロックが処理する詳細な制御については、後述するフローチャートにて説明する。

画像取得手段３０１は、用途に応じてＲＯＭ２０２、外部メモリ２１２、外部ＰＣ２１３、及びカメラ１０２から画像データを取得し、ＲＡＭ２０３に格納する。

画像処理手段３０２は、画像取得手段３０１でＲＡＭ２０３に格納された画像データに対して、線状キズ有無判別の画像処理を実行する。

判別結果出力機能３０３は、画像処理手段３０２で実行された判別結果をディスプレイ２１１に表示する。または、判別結果をファイルとしてＲＡＭ２０３に格納する。

尚、各機能の詳細については、フローチャートの各処理において説明する。

以下、図４を参照して、本実施形態の線状キズ有無判別システム１００における線状キズ有無判別処理について説明する。

ステップＳ１０１では、画像取得手段３０１において、ＲＯＭ２０２、外部メモリ２１２、外部ＰＣ２１３、あるいはカメラ１０２から画像データを取得する。

画像データには、線状キズ有りの画像、または、線状キズ無しの画像が存在する（図５参照）。

図５に示す画像は、例えば、半導体ウェハをカメラ１０２で撮影した際に得られた画像の例を示しており、左側が、線状のキズが有る画像を示しており、右側が、線状のキズの無い画像を示したものである。

ステップＳ１０２では、画像処理手段３０２において、ステップＳ１０１で取得した画像の画素毎に輝度の勾配方向を算出する（図６参照）。

図６に示す画像は、図５に示す画像の各画素に関して輝度の勾配方向を算出している。左側が、左側が、線状のキズが有る画像に関する輝度の勾配方向を矢印で示しており、右側が、線状のキズの無い画像に関する輝度の勾配方向を矢印で示したものである。

また、ステップＳ１０３では、画像処理手段３０２において、ステップＳ１０１で取得した画像の画素毎に輝度の勾配強度を算出する。

後段の処理では、ステップ１０２及びステップ１０３で取得した輝度の勾配方向、及び、勾配強度を用いて、線状キズの有無を判定する。ただし、画像全体のサイズに対して、存在しうる線状キズのサイズが小さい場合、線状キズによる勾配強度の累積値がノイズによる勾配強度の累積値を下回る場合がある。

上記の場合に対応するため、画像全体ではなく、任意の区分領域毎に輝度の勾配強度の累積値を算出する。ステップＳ１０４からステップＳ１０７では、画像を区分する方法について記述する。

ステップＳ１０４では、画像処理手段３０２において、画像の左上を開始位置して画像を区分する。１つの区分領域のサイズ（幅と高さ）は、画像内に存在しうる線状キズの平均的なサイズをもとに設定する。例えば、図７に示すように、１つの区分領域のサイズを画像サイズの１／４とした場合、１６個（４×４）の区分領域が作成される。

ステップＳ１０５では、画像処理手段３０２において、画像の左上から区分領域サイズの１／２だけ右に開始位置をずらし、区分領域が画像外にはみ出さないように画像を区分する。例えば、１つの区分領域のサイズを画像サイズの１／４とした場合、１２個（３×４）の区分領域が作成される。

ステップＳ１０６では、画像処理手段３０２において、画像の左上から区分領域サイズの１／２だけ下に開始位置をずらし、区分領域が画像外にはみ出さないように画像を区分する。例えば、１つの区分領域のサイズを画像サイズの１／４とした場合、１２個（４×３）の区分領域が作成される。

ステップＳ１０７では、画像処理手段３０２において、画像の左上から区分領域サイズの１／２だけ右下に開始位置をずらし、区分領域が画像外にはみ出さないように画像を区分する。例えば、図８に示すように、１つの区分領域のサイズを画像サイズの１／４とした場合、９個（３×３）の区分領域が作成される。

ステップＳ１０４からステップＳ１０７で作成される区分領域は互いにオーバーラップしている。区分領域をオーバーラップして作成する目的は、画像内の１個の線状キズをなるべく複数の区分領域に跨らないように、１個の線状キズの大部分を１個の区分領域内に含めることである。

ステップＳ１０５からステップＳ１０７のずらし量は、区分領域サイズの１／２としているが、上記の目的を満たすために、１／４、１／８、１／１６等のずらし量を追加し、区分領域を増やしてもよい。

ステップＳ１０８では、画像処理手段３０２において、図９に示すように、ステップＳ１０４からステップＳ１０７で作成された区分領域毎に、ステップＳ１０２、ステップＳ１０３で算出した画素の輝度の同一勾配方向の勾配強度を累積する。

図９に示すヒストグラムは、左から、ステップＳ１０４からステップＳ１０７において、画像を区分した１つめの領域を示しており、中央では、画像を区分したＭ番目の領域を示しており、右は、画像を区分したＮ番目の領域を示している。

このヒストグラムは、横軸を画素の勾配強度を示し、縦軸を画素の勾配強度を示している。

ステップＳ１０９では、画像処理手段３０２において、ステップＳ１０８で算出した各区分領域の累積値、または、全てのそれぞれの区分領域の累積値から最大値を算出する。上記のいずれの累積値を用いるかは、用途に応じて変更可能とする。

ステップＳ１１０では、画像処理手段３０２において、ステップＳ１０８で算出した各区分領域の累積値、または、全ての区分領域の累積値から平均・分散を算出する。上記のいずれの累積値を用いるかは、用途に応じて変更可能とする。

ステップＳ１１１では、画像処理手段３０２において、ステップＳ１０９で算出した最大値が一定値未満か否かを判定する。一定値未満の場合は、ステップＳ１１２に進み、一定値以上の場合は、ステップＳ１１３に進む。

ステップＳ１１２では、画像処理手段３０２において、ステップＳ１１０で算出した分散が一定値未満か否かを判定する。一定値未満の場合は、ステップＳ１１５に進み、一定値以上の場合は、ステップＳ１１３に進む。

ステップＳ１１３では、画像処理手段３０２において、ステップＳ１０８で算出した各区分領域の累積値を参照し、累積値が一定値以上の勾配方向に含まれる画素の位置を画像上にプロットする（図１０参照）。この処理により、線状キズに含まれる画素が多く取得され、画像上にプロットされることを期待する。

図１０においては、左に示す区分領域Ｌ、・・・区分領域Ｍの各ヒストグラムから、累積値が一定値以上の勾配方向に含まれる画素の位置を、右に示すように画像上にプロットする。

ステップＳ１１４では、画像処理手段３０２において、ステップＳ１１３で作成された画像を用いて、プロットされた画素が同一直線上に存在するか否かを判定する。同一直線上に存在するか否かの判定では、既存の画像処理技術（ハフ変換、ＲＡＮＳＡＣ等）で直線を検出し、直線上に存在する画素数や割合などを利用する。

プロットされた画素が同一直線上に存在すると判定された場合はステップＳ１１６に進み、そうでない場合はステップＳ１１５に進む。

ステップＳ１１５では、画像処理手段３０２において、画像内に線状キズなしと判定し、ステップＳ１１６では、画像処理手段３０２において、画像内に線状キズありと判定する。

ステップＳ１１７では、判別結果出力機能３０３において、ステップＳ１１５及びステップＳ１１６の判定結果から判別結果をディスプレイ、或いはファイル等に出力する。

判別結果としては、図１１に示す判定結果確認画面４００のよう、線状キズ有／無（或いはＮＧ／ＯＫ）４０１、中心位置４０２、サイズ４０３、長さ４０４、強度４０５、方向４０６などがある。判別結果をディスプレイに表示する場合は、画像上に判別結果の情報を図示してもよい。
［変形例］

以下、図１２を参照して、前述の線状キズ有無判別システムにおける画像処理機能の追加処理について説明する。

図１２に示すフローチャートは、図４に示すフローチャートを改良したものである。

図４に示すフローチャートのステップＳ１１４において、プロットされた画素が同一直線上に存在すると判定された場合、図１２に示すフローチャートのステップＳ２０１に進む。

ステップＳ２０１では、画像処理手段３０２において、同一直線上に存在する画素の２端点を取得する。

ステップ２０２では、画像処理手段３０２において、図１３に示すように、２端点の座標を中心に一定サイズの画像を切り出す。一定サイズは画像内に存在しうる線状キズの平均的なサイズから算出する。

ステップＳ２０３では、画像処理手段３０２において、切り出し画像の上下左右の端１列の画素のみを参照し、その画素にプロットされた画素が存在するか否かを判定する。

線状キズの場合は、画素間がつながってキズが生じるため、図１４の上段に示すように、切り出し画像の上下左右の端１列にプロットされた画素が存在するが、ノイズの場合は、画素間がつながっておらず、図１４の下段に示すように、プロットされた画像が存在しない。本処理は、２端点の切り出し画像についてそれぞれ個別に判定する。

ステップＳ２０４では、画像処理手段３０２において、ステップＳ２０３で２端点の切り出し画像に両方ともプロットされた画像が存在する場合は、線状キズであると判定し、図４に示すフローチャートのステップＳ１１６に進む。そうでない場合は、ノイズであると判定し、図４のフローチャートのステップＳ１１５に進む。

以上、本発明によれば、物体を撮影して得られた画像を用いて、当該物体のキズを精度良く判別することができる。

なお、上述した各種データの構成及びその内容はこれに限定されるものではなく、用途や目的に応じて、様々な構成や内容で構成されることは言うまでもない。

以上、一実施形態について示したが、本発明は、例えば、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能である。

また、本発明におけるプログラムは、図９に示すフローチャートの処理方法をコンピュータが実行可能なプログラムである。なお、本発明におけるプログラムは図７の各装置の処理方法ごとのプログラムであってもよい。

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク、ソリッドステートドライブ等を用いることができる。

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

また、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれ
るものである。

１００ 線状キズ有無判別システム
１０２ カメラ
１０４ 情報処理装置
２０１ ＣＰＵ
２０２ ＲＡＭ
２０３ ＲＯＭ
２０４ システムバス
２０５ 入力コントローラ
２０６ ビデオコントローラ
２０７ メモリコントローラ

２０８ 通信Ｉ／Ｆ（インターフェース）コントローラ
２０９ 入力部
２１０ ディスプレイ装置
２１１ 外部メモリ

Claims (6)

1. 画像を任意の開始位置に基づき複数の所定の形状およびサイズの領域に区分する区分手段と、
   前記区分された領域の画素毎の輝度の勾配方向及び勾配強度に基づき、同様な勾配方向を有する画素の勾配強度を累積する累積手段と、
   前記累積手段の累積結果が所定の条件を満たす画素が線状となるか否かを判定する判定手段と、
   を備え、
   前記区分手段は、前記開始位置から任意の方向にずらした開始位置に基づき前記画像を新たな複数の前記所定の形状およびサイズの領域に区分することを特徴とする情報処理装置。
2. 前記判定手段によって判定した線状となる画素間のつながりによって線状のキズが存在するか否かを解析する解析手段を備えたことを特徴とする請求項１に記載の情報処理装置。
3. 前記判定手段は、前記累積手段の累積結果が一定値以上となる画素が線状となるか否かを判定することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記判定手段によって得られた判定結果を出力する出力手段を備えたことを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
5. 画像を処理する情報処理装置の制御方法であって、
   画像を任意の開始位置に基づき複数の所定の形状およびサイズの領域に区分する区分ステップと、
   前記区分された領域の画素の勾配方向及び勾配強度に基づき、同様な勾配方向を有する画素の勾配強度を累積する累積ステップと、
   前記累積ステップの累積結果が所定の条件を満たす画素が線状となるか否かを判定する判定ステップと、
   を備え、
   前記区分ステップは、前記開始位置から任意の方向にずらした開始位置に基づき前記画像を新たな複数の前記所定の形状およびサイズの領域に区分することを特徴とする情報処理装置の制御方法。
6. コンピュータを、
   画像を任意の開始位置に基づき複数の所定の形状およびサイズの領域に区分する区分手段と、
   前記区分された領域の画素の勾配方向及び勾配強度に基づき同様な勾配方向を有する画素の勾配強度を累積する累積手段と、
   前記累積手段の累積結果が所定の条件を満たす画素が線状となるか否かを判定する判定手段として機能させ、
   前記区分手段は、前記開始位置から任意の方向にずらした開始位置に基づき前記画像を新たな複数の前記所定の形状およびサイズの領域に区分することを特徴とするプログラム。

Images