JP6448065B2 - 画像処理システム、画像処理方法及び画像処理プログラム - Google Patents

画像処理システム、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
JP6448065B2
JP6448065B2 JP2017005786A JP2017005786A JP6448065B2 JP 6448065 B2 JP6448065 B2 JP 6448065B2 JP 2017005786 A JP2017005786 A JP 2017005786A JP 2017005786 A JP2017005786 A JP 2017005786A JP 6448065 B2 JP6448065 B2 JP 6448065B2
Authority
JP
Japan
Prior art keywords
image
learning
contour
edge
corrected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017005786A
Other languages
English (en)
Other versions
JP2018116391A (ja
Inventor
永田 毅
毅 永田
尚 渋木
尚 渋木
秀正 前川
秀正 前川
碧 佐野
碧 佐野
彰良 檜作
彰良 檜作
浅井 剛
剛 浅井
貢 吉田
貢 吉田
広介 六角
広介 六角
鉄也 櫻井
鉄也 櫻井
明夫 祖平
明夫 祖平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toho Titanium Co Ltd
Mizuho Information and Research Institute Inc
University of Tsukuba NUC
Original Assignee
Toho Titanium Co Ltd
Mizuho Information and Research Institute Inc
University of Tsukuba NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toho Titanium Co Ltd, Mizuho Information and Research Institute Inc, University of Tsukuba NUC filed Critical Toho Titanium Co Ltd
Priority to JP2017005786A priority Critical patent/JP6448065B2/ja
Publication of JP2018116391A publication Critical patent/JP2018116391A/ja
Application granted granted Critical
Publication of JP6448065B2 publication Critical patent/JP6448065B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Description

本発明は、画像に含まれる形状の輪郭を特定するための画像処理システム、画像処理方法及び画像処理プログラムに関する。
画像処理により、所定の特徴を有する領域を検出する技術が検討されている(例えば、特許文献1、2参照。)。例えば、特許文献1においては、検査対象の液体中に含まれている異物を気泡と区別して検出するための異物検出装置が開示されている。この文献に記載された技術においては、異物検出装置は、検査対象の液体が流れる測定管に設けられた外部から視認可能な透過部を照明する光源部の発光と同期して、透過部を流れる液体を撮影した検査画像を取得する。そして、所定の閾値で2値化することによって検査画像を高輝度領域と低輝度領域に区分し、その低輝度領域を、異物候補領域として検出し、異物候補領域の円形度を表す特徴量を少なくとも一つ抽出する。抽出された特徴量が所定の条件を満たす場合、異物候補領域は、異物の像であると判定する。
また、特許文献2においては、対象検出装置にて、様々な環境で撮影した入力画像から対象物を検出する。この文献に記載された技術においては、スコア算出部は、入力画像内の複数の位置に注目領域を設定し、当該注目領域に対象が存在する尤もらしさを表す指標値を、入力画像から得られた特徴量と識別基準とに基づいて算出する。注目領域のうち指標値が予め定められた第一閾値を超えるものを対象候補領域として抽出する。更に、抽出された対象候補領域を用いて対象領域を決定し、注目領域ごとの指標値のうち第一閾値を超えるもののばらつき度合いが予め定められた誤抽出推定閾値以上である場合に、第一閾値より大きな第二閾値を設定し、指標値が第二閾値以下である対象候補領域を削除する。
特開2008−102027号公報 特開2016−33717号公報
立体形状を把握するために、この立体形状を撮影した2次元画像において輪郭(エッジ)を抽出することがある。ここで、抽出したエッジの一部に欠けている部分(エッジ欠け)がある場合、立体形状を特定することができない。一方、このようなエッジ欠けが生じないように、エッジ抽出を強化した場合には、立体形状の輪郭でない部分においてもエッジを抽出してしまう可能性がある。この場合、本来、一体である立体形状が分割され、的確な立体形状を把握することができない。
本発明は、上述の問題に鑑みてなされたものであり、この目的は、画像に含まれる形状の輪郭を効率的かつ的確に特定するための画像処理システム、画像処理方法及び画像処理プログラムを提供することにある。
上記問題点を解決するための画像処理システムは、対象物について、学習用画像及び評価対象画像を記憶する画像記憶部と、出力部に接続された制御部とを備える。そして、前記制御部が、輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する学習処理と、評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行する。これにより、画像においてエッジ欠けを修正し、この輪郭の学習結果を用いて輪郭を特定することができる。
・上記画像処理システムにおいては、前記輪郭の機械学習において、修正画像に含まれるエッジの中で、領域統合を行なうエッジを機械学習することが好ましい。これにより、強力なエッジ抽出により特定した領域を、統合して的確に輪郭を判定することができる。
・上記画像処理システムにおいては、前記学習用画像及び評価対象画像の少なくとも何れか一方のエッジの検出には、複素モーメント法を用いることが好ましい。これにより、画像毎のパラメータ設定等の作業負担を軽減し、効率的にエッジを検出することができる。
・上記画像処理システムにおいては、前記学習用画像及び評価対象画像の少なくとも何れか一方のエッジ欠けの修正には、ウォーターシェッド法を用いることが好ましい。これにより、エッジ抽出において生じたエッジ欠けを修正することができる。
・上記画像処理システムにおいては、前記輪郭学習結果の生成においては、輪郭領域を膨張させた膨張領域を作成する膨張処理を行ない、隣接した前記膨張領域における重複領域を特定し、前記重複領域の特徴量を用いて、輪郭の機械学習を行なうことが好ましい。これにより、エッジ検出により分割された領域を統合することができる。
・上記画像処理システムにおいては、前記輪郭領域は、金属化合物の粒子を撮影した画像に含まれる粒子の輪郭領域であり、前記学習処理において、輪郭領域の異常判定を行ない、前記粒子の正常・異常判定の結果を機械学習した異常判定学習結果を生成し、評価対象画像において特定した輪郭によって囲まれる粒子領域の形状を、前記異常判定学習結果を用いて評価することが好ましい。これにより、効率的に輪郭の正常や異常を評価することができる。
本発明によれば、画像に含まれる形状の輪郭を効率的かつ的確に特定することができる。
本実施形態のシステムの説明図。 本実施形態の処理手順の説明図。 本実施形態のエッジ検出処理の説明図。 本実施形態の画像の説明図であって、(a)は平滑化前の画像、(b)はガウシアンフィルタによる平滑化画像、(c)はバイラテラルフィルタによる平滑化画像。 本実施形態の複素モーメント法によるエッジ強調の説明図。 本実施形態の画像の説明図であって、(a)は平滑化画像、(b)は複素モーメント画像の説明図。 本実施形態の閾値処理の説明図。 本実施形態の画像の説明図であって、(a)は複素モーメント画像、(b)は注目画素、(c)は矩形領域、(d)は注目画素における閾値処理結果の説明図。 本実施形態の画像の説明図であって、(a)は平滑化画像、(b)はエッジ欠けがない複素モーメント画像、(c)はエッジ欠けがある複素モーメント画像、(d)は距離マップ画像、(e)はシード画像の説明図。 本実施形態の画像の説明図であって、(a)は平滑化画像と複素モーメント画像との合成、(b)は強調画像とシード画像との合成、(c)はWatershed法を適用したエッジ画像の説明図。 本実施形態の画像の説明図であって、(a)は平滑化画像、(b)は複素モーメント画像、(c)は強調画像、(d)Watershed法を適用したエッジ画像、(e)は強調画像とエッジ画像とを合成した画像の説明図。 本実施形態の隣接領域判定処理の説明図。 本実施形態のSVMによる領域統合処理の説明図であって、(a)は分割された粒子領域、(b)は膨張処理、(c)は膨張領域の重複領域の模式図、(d)はサポートベクターマシンの入力情報の説明図。 本実施形態の正常・異常粒子の分類の説明図。 本実施形態のSVMによる正常・異常粒子の判別処理におけるサポートベクターマシンの入力情報の説明図。 本実施形態のペアワイズ幾何ヒストグラムの説明図であって、(a)はチェインコード表現、(b)はチェインコードの割当、(c)はペアワイズ幾何ヒストグラムの説明図。
以下、画像処理システムの一実施形態を、図1〜図16に従って説明する。本実施形態では、複数の粒子を撮影した画像において、正常な形状(球形状)の粒子の中で、異常な形状の粒子を検出するための画像処理システムとして説明する。この場合、複数の正常粒子が凝集等した異常形状の粒子(連結粒子や粗大粒子等の異常粒子)を検出する場合を想定する。
図1に示すように、この画像処理のため、入力部10、出力部15に接続された画像処理装置20を用いる。
入力部10は、キーボードやポインティングデバイス等で構成され、各種指示を入力するための入力手段から構成される。また、出力部15は、ディスプレイ等で構成され、情報処理結果を出力するための出力手段から構成される。
画像処理装置20は、複数の粒子を撮影した画像を用いて、異常形状の粒子を検出するコンピュータシステムである。この画像処理装置20は、制御部21、学習用画像記憶部22、機械学習情報記憶部23、評価対象画像記憶部24を備えている。
制御部21は、CPU、RAM、ROM等から構成された制御手段として機能し、後述する処理(管理段階、エッジ検出段階、特徴量抽出段階、機械学習段階、領域統合段階、粒子判定段階等を含む処理)を行なう。このための画像処理プログラムを実行することにより、制御部21は、管理部210、エッジ検出部211、第1特徴量抽出部212、第2特徴量抽出部213、機械学習部214、領域統合部215、粒子判定部216等として機能する。
管理部210は、学習用画像や評価対象画像を取得する処理を実行する。
エッジ検出部211は、学習用画像や評価対象画像において、粒子画像のエッジを検出する処理を実行する。更に、エッジ検出部211は、検出したエッジの欠けを修正する。
第1特徴量抽出部212は、領域統合についての機械学習に用いる特徴量を算出する処理を実行する。
第2特徴量抽出部213は、粒子判別(正常、異常、その他)についての機械学習に用いる特徴量を算出する処理を実行する。
機械学習部214は、サポートベクターマシン(SVM)により、画像に含まれる粒子領域の認識に関する境界面を算出する処理を実行する。この機械学習部214は、境界面として、機械学習結果(領域統合)、機械学習結果(形状判別)を算出する。
領域統合部215は、隣接した粒子領域(輪郭領域)の統合の要否を判定する処理を実行する。
粒子判定部216は、画像に含まれる粒子の形状を評価する処理を実行する。
学習用画像記憶部22には、粒子の形状を学習するための学習用画像データが記録される。この学習用画像データは、ユーザによって学習用画像が指定された場合に記録される。
機械学習情報記憶部23には、機械学習(サポートベクターマシン)により算出した境界面(粒子領域の認識に関する境界面)に関する機械学習結果データ(輪郭学習結果)が記録される。この機械学習結果データは、サポートベクターマシンにより機械学習を行なった場合に記録される。本実施形態では、複数の粒子が連結した形状を識別するための機械学習結果(領域統合)、及び正常粒子・異常粒子を識別するための機械学習結果(形状判別)が記録される。機械学習結果(領域統合)においては、ユーザが、学習用画像において統合すべきとして指定した領域と統合すべきでないとして指定した領域との境界面に関する情報が記録される。機械学習結果(形状判別)においては、ユーザが、学習用画像において粒子判別(正常、異常、その他)を指定した境界面に関する情報が記録される。
評価対象画像記憶部24には、評価対象の粒子の形状を撮影した評価対象画像データが記録される。この評価対象画像データは、ユーザによって評価対象画像が指定された場合に記録される。この評価対象画像には、複数の粒子が混在して撮影されている。
次に、上記のように構成された画像処理装置20において、画像に含まれる粒子を評価する場合の処理手順について、図2〜図16を用いて説明する。
(全体の概要)
まず、図2を用いて、全体の概要を説明する。複数の粒子が含まれる試料を撮影することにより学習用画像や評価対象画像を準備する。例えば、金属粒子を堆積させた試料を顕微鏡により撮影して画像を生成する。そして、学習用画像を用いて、特徴量についての機械学習を行なう(学習フェーズ)。次に、機械学習結果を利用して、評価対象画像に含まれる粒子を評価する(予測フェーズ)。
まず、学習フェーズについて説明する。
この場合、画像処理装置20の制御部21は、学習用画像の取得処理を実行する(ステップS1−1)。具体的には、制御部21の管理部210は、出力部15に、学習用画像を指定するための画像指定画面を出力する。ここで、画像指定画面を用いて、画像処理装置20の記憶部(ハードディスク等)や記憶媒体内に記録された学習用画像を指定する。この場合、管理部210は、指定された学習用画像を取得し、学習用画像記憶部22に記録する。
次に、画像処理装置20の制御部21は、エッジ検出処理を実行する(ステップS1−2)。具体的には、制御部21のエッジ検出部211は、学習用画像記憶部22に記録された学習用画像に含まれる粒子のエッジを検出する。この場合、後述するように、バイラテラルフィルタによる平滑化処理、複素モーメント法及びWatershed法(ウォーターシェッド法)を用いることにより、学習用画像の修正画像を生成し、粒子の輪郭の可能性がある領域のエッジ抽出を行なう。
次に、画像処理装置20の制御部21は、領域統合の機械学習処理を実行する(ステップS1−3)。具体的には、制御部21の第1特徴量抽出部212は、複数に分割された領域の領域統合を行なうための特徴量を抽出する。次に、機械学習部214は、ユーザが、学習用画像において統合すべきとして指定した領域と統合すべきでないとして指定した領域との境界面を、抽出した特徴量を用いて、サポートベクターマシン(SVM)により算出する。そして、機械学習部214は、算出した機械学習結果(領域統合)を機械学習情報記憶部23に記録する。
次に、画像処理装置20の制御部21は、粒子形状の判別の機械学習処理を実行する(ステップS1−4)。具体的には、制御部21の第2特徴量抽出部213は、粒子形状の判別を行なうための特徴量を抽出する。次に、機械学習部214は、ユーザが、学習用画像において粒子判別(正常、異常、その他)を指定した境界面を、抽出した特徴量を用いて、サポートベクターマシン(SVM)により算出する。そして、機械学習部214は、算出した機械学習結果(形状判別)を機械学習情報記憶部23に記録する。
次に、予測フェーズについて説明する。
この場合、画像処理装置20の制御部21は、評価対象画像の取得処理を実行する(ステップS2−1)。具体的には、制御部21の管理部210は、画像指定画面により、指定された評価対象画像を取得する。そして、管理部210は、指定された評価対象画像を評価対象画像記憶部24に記録する。
次に、画像処理装置20の制御部21は、エッジ検出処理を実行する(ステップS2−2)。具体的には、制御部21のエッジ検出部211は、評価対象画像記憶部24に記録された評価対象画像においてエッジを検出する。ここでも、学習フェーズと同様に、バイラテラルフィルタによる平滑化処理、複素モーメント法及びWatershed法を用いることにより、評価対象画像の修正画像を生成し、粒子の輪郭の可能性がある領域(粒子領域)のエッジ抽出を行なう。
次に、画像処理装置20の制御部21は、領域統合の予測処理を実行する(ステップS2−3)。具体的には、制御部21の第1特徴量抽出部212は、検出したエッジに基づいて分割された領域毎に特徴量を算出する。そして、領域統合部215は、機械学習情報記憶部23に記録された機械学習結果(領域統合)を用いて、粒子領域毎の特徴量に基づいて、エッジ抽出により複数の領域に分割された領域を統合する。
次に、画像処理装置20の制御部21は、異常粒子の予測処理を実行する(ステップS2−4)。具体的には、制御部21の第2特徴量抽出部213は、粒子領域毎に特徴量を算出する。そして、粒子判定部216は、機械学習情報記憶部23に記録された機械学習結果(形状判別)を用いて、粒子領域毎の特徴量に基づいて、粒子形状の判別を行なう。そして、評価対象画像において、異常粒子の位置、粒子の最大径を算出する。更に、粒子判定部216は、評価対象画像に含まれるすべての粒子の粒径を算出し、粒径毎の個数を算出する。更に、粒子判定部216は、評価対象画像に含まれる粒子形状に応じて体積を予測する。ここでは、粒子の長軸を中心軸として回転させた場合の立体形状の体積を算出する。
次に、画像処理装置20の制御部21は、評価結果の出力処理を実行する(ステップS2−5)。具体的には、制御部21の粒子判定部216は、異常粒子の予測を含めた評価結果を、出力部15に出力する。
(エッジ検出処理)
図3を用いて、エッジ検出処理を説明する。この処理は、学習用画像及び評価対象画像に対して、学習フェーズ、予測フェーズの特徴量抽出処理の前に行なわれる。
まず、画像処理装置20の制御部21は、バイラテラルフィルタによる平滑化処理を実行する(ステップS3−1)。具体的には、制御部21のエッジ検出部211は、ノイズが含まれる画像(学習用画像や評価対象画像)に対してバイラテラルフィルタを適用して平滑化を行なう。
図4を用いて、バイラテラルフィルタの効果を説明する。
図4(a)に示す画像500は、平滑化前の画像である。この画像500に対して、一般的に使用されるガウシアンフィルタを適用した場合、図4(b)に示す画像501が生成される。この場合、エッジにぼけが生じる。一方、バイラテラルフィルタを用いた場合には、図4(c)に示すように、エッジのぼけを抑制しながら、平滑化した画像502を生成することができる。
次に、図3において、画像処理装置20の制御部21は、粒子領域の抽出処理を実行する(ステップS3−2)。具体的には、制御部21のエッジ検出部211は、画像の中に含まれる粒子領域を抽出する。ここでは、以下のステップS4−1〜S4−3の処理を実行する。
まず、画像処理装置20の制御部21は、複素モーメント法によるエッジ強調処理を実行する(ステップS4−1)。具体的には、制御部21のエッジ検出部211は、平滑化画像に対して、複素モーメント法を適用して、複素モーメント画像を生成する。この複素モーメント法は、複素モーメントという積分量を用いることにより、ノイズに対してロバストな画像特徴抽出法である。この処理については、図5、図6を用いて後述する。
次に、画像処理装置20の制御部21は、閾値処理を実行する(ステップS4−2)。具体的には、制御部21のエッジ検出部211は、複素モーメント画像(粒子のエッジ強調画像)に対して閾値処理を適用する。この処理については、図7、図8を用いて後述する。
次に、画像処理装置20の制御部21は、Watershed法により粒子領域の抽出処理を実行する(ステップS4−3)。具体的には、制御部21のエッジ検出部211は、エッジが欠けている場合に、複素モーメント法によって得られた2値画像と平滑化画像とを用いて、粒子内部と背景とのシードを設定する。そして、このシードに、Watershed法を適用することにより、粒子のエッジ欠けを修正する。この処理については、図9、図10を用いて後述する。
(複素モーメント法によるエッジ強調処理)
次に、図5、図6を用いて、複素モーメント法によるエッジ強調処理を説明する。
まず、画像処理装置20の制御部21は、オペレータの算出処理を実行する(ステップS5−1)。具体的には、学習用画像や評価対象画像は連続画像ではなく、これをサンプリングした離散画像である。この離散画像に対して局所画像の複素モーメントを計算するために用いるオペレータを生成する。本実施形態では、制御部21のエッジ検出部211は、以下の算出式によりオペレータhn〔k,l〕(n=1〜N)を生成する。ここで、「N」は使用する複素モーメントの最大次数である。
連続画像f(x,y)を間隔Tでサンプリングして離散画像をf(kT,lT)=f〔k,l〕とおく。ここで、「k」、「l」は整数である。
次に、画像処理装置20の制御部21は、複素モーメントの算出処理を実行する(ステップS5−2)。具体的には、制御部21のエッジ検出部211は、連続画像の点(k0T,l0T)における局所画像の複素モーメントC'n〔k0,l0〕を算出する。
この算出式は、元画像f〔k,l〕とオペレータhn〔k,l〕との離散畳み込み形式に書き直すことができる。
次に、画像処理装置20の制御部21は、特徴量の計算処理を実行する(ステップS5−3)。具体的には、制御部21のエッジ検出部211は、1以上の複素モーメントの絶対値の二乗和により特徴量Sを算出する。
次に、画像処理装置20の制御部21は、粒子の輪郭の抽出処理を実行する(ステップS5−4)。具体的には、制御部21のエッジ検出部211は、特徴量Sに対して局所閾値処理を適用することにより、粒子のエッジを抽出する。
図6(a)は、上述したバイラテラルフィルタを用いて平滑化した平滑化画像510の一例である。図6(b)は、この平滑化画像510に基づいて、エッジ強調した複素モーメント画像511を示す。
(閾値処理)
次に、図7、図8を用いて、閾値処理を説明する。
図7に示すように、学習用画像や評価対象画像の複素モーメント画像に含まれる各画素(ピクセル)において、順次、注目画素を特定し、以下の処理を繰り返す。ここでは、図8(a)に示す複素モーメント画像511を用いる場合を想定する。図8(b)は、複素モーメント画像511の一部を拡大した画像511aである。この画像511aに含まれる所定の画素を注目画素511bとして用いる。
まず、画像処理装置20の制御部21は、矩形領域の特定処理を実行する(ステップS6−1)。具体的には、制御部21のエッジ検出部211は、注目画素の周囲に矩形領域を特定する。図8(c)に示すように、この注目画素511bに対して所定の大きさの矩形領域511cを設定する。本実施形態では、「64×64」ピクセルの矩形領域を設定する。
次に、画像処理装置20の制御部21は、注目画素値が閾値より大きいかどうかについての判定処理を実行する(ステップS6−2)。具体的には、制御部21のエッジ検出部211は、矩形領域511c内に含まれる画素の所定割合を閾値として決定する。例えば、矩形領域511c内に含まれる画素の画素値が高い値から35%の値を閾値として算出する。そして、注目画素511bの画素値(注目画素値)と閾値とを比較する。
注目画素値が閾値より大きいと判定した場合(ステップS6−2において「YES」の場合)、画像処理装置20の制御部21は、「1」の設定処理を実行する(ステップS6−3)。具体的には、制御部21のエッジ検出部211は、注目画素値を「1」に更新する。
一方、注目画素値が閾値以下と判定した場合(ステップS6−2において「NO」の場合)、画像処理装置20の制御部21は、「0」の設定処理を実行する(ステップS6−4)。具体的には、制御部21のエッジ検出部211は、注目画素値を「0」に更新する。
図8(d)においては、注目画素511bの画素値(複素モーメント値)が閾値より高いため「1」が設定される。
以上の閾値処理を、複素モーメント画像に含まれるすべての画素について計算する。
(Watershed法による粒子のエッジ検出処理)
次に、図9、図10を用いて、Watershed法による粒子のエッジ検出処理を説明する。上述した複素モーメント法で得られた粒子領域のエッジの一部が欠けている場合がある。この処理においては、このエッジ欠けを避けるために、複素モーメント法で得られた2値画像に、Watershed法を適用する。このWatershed法では、粒子領域の内部と背景とにおいてシードを設定し、このシードから同じ水面高さを維持しながら注水した領域が接した領域を境界として特定することにより、エッジ欠けを修正する。
まず、図9に示す模式図を用いて、シードを設定したシード画像の生成を説明する。
ここでは、図9(a)に示す平滑化画像520を用いて説明する。
図9(b)は、この平滑化画像520に複素モーメント法を適用して得られた複素モーメント画像521を示す。このような複素モーメント画像521においては、エッジ欠けが生じていない。
一方、図9(c)に示すように、複素モーメント法を適用して、複素モーメント画像522が得られる場合がある。この複素モーメント画像522においては、エッジの一部が欠けている。
そこで、図9(d)に示すように、エッジから同じ距離の範囲毎に識別した距離マップ画像523を生成する。そして、エッジから基準距離以上離れた領域をシードとして特定する。ここでは、基準距離として、エッジ欠けが生じる長さの予想値よりも大きい距離を設定する。
図9(e)に示すように、エッジによってほぼ囲まれていた粒子領域には内部シード(楕円形の白領域)を含むシード画像524が生成される。また、粒子領域の外側(背景領域)には、エッジから基準距離以上離れた領域に背景シード(周囲の白領域)が生成される。このように、各粒子領域と背景とに対してシードを生成し、シード毎にインデックス(正の値)を付与する。なお、図9(e)の黒領域は、シード領域以外の未知の領域を示している。
次に、図10を用いて、Watershed法の適用を説明する。
ここでは、図10(a)に示すように、平滑化画像520と複素モーメント画像521とを合成し、強調画像530を生成する。
図10(b)に示すように、この強調画像530とシード画像524(図9(e))に対して、Watershed法を適用する。ここでは、各シードから、水面が同じ高さになるように維持しながら注水した領域を想定する。
図10(c)に示すように、各シードからの水面が接した部分を境界とする修正画像531を生成する。ここでは、粒子領域内部のシードからの注水領域を白領域、背景のシードからの注水領域を黒領域で表している。
次に、図11を用いて、複数の粒子を撮影した撮影画像に対してエッジ検出を行なった例を示す。
図11(a)は、撮影画像に基づいて生成した平滑化画像540を示す。
図11(b)は、平滑化画像540に基づいて生成した複素モーメント画像541を示す。
図11(c)は、平滑化画像540と複素モーメント画像541とを合成した強調画像542を示す。
図11(d)は、Watershed法を適用した結果画像543を示す。この結果画像543を用いて境界を特定する。
図11(e)は、平滑化画像540に、結果画像543において特定した境界を重ね合わせた領域抽出結果画像544を示す。
(隣接領域判定処理)
次に、図12を用いて、隣接領域判定処理を説明する。本来は一つの粒子であるにもかかわらず、エッジ検出により分割されてしまうことがある。この領域統合処理では、分割された粒子を結合する。ここでは、サポートベクターマシン(SVM)を用いて、分離した粒子において統合する。
このため、隣接領域判定処理においては、統合の要否を判定するために隣接する粒子を特定する。
まず、画像処理装置20の制御部21は、各領域の重心の算出処理を実行する(ステップS7−1)。具体的には、制御部21の第1特徴量抽出部212は、領域抽出結果画像において、各領域の重心位置を算出する。
次に、処理対象領域を特定し、処理対象毎に、以下の処理を繰り返す。
まず、画像処理装置20の制御部21は、隣接候補領域の特定処理を実行する(ステップS7−2)。具体的には、制御部21の第1特徴量抽出部212は、処理対象領域の重心位置と他の領域の重心位置との距離を算出する。そして、第1特徴量抽出部212は、算出した距離が距離閾値以下の場合の領域を隣接候補領域として特定する。
次に、画像処理装置20の制御部21は、隣接候補領域のエッジ間に重なりがあるかどうかについての判定処理を実行する(ステップS7−3)。具体的には、制御部21の第1特徴量抽出部212は、処理対象領域の輪郭と隣接候補領域の輪郭とのエッジ間に重なりがあるかどうかを判定する。
隣接候補領域のエッジ間に重なりがあると判定した場合(ステップS7−3において「YES」の場合)、画像処理装置20の制御部21は、重なっているエッジ長が長さ閾値を超えているかどうかの判定処理を実行する(ステップS7−4)。具体的には、制御部21の第1特徴量抽出部212は、エッジの重なりの長さ(エッジ長)と長さ閾値とを比較する。
重なっているエッジ長が長さ閾値を超えていると判定した場合(ステップS7−4において「YES」の場合)、画像処理装置20の制御部21は、隣接領域として特定処理を実行する(ステップS7−5)。具体的には、制御部21の第1特徴量抽出部212は、隣接候補領域を隣接領域として特定する。
一方、隣接候補領域のエッジ間に重なりがないと判定した場合(ステップS7−3において「NO」の場合)、画像処理装置20の制御部21は、隣接領域として特定処理(ステップS7−5)をスキップする。また、隣接候補領域を特定できない場合や、重なっているエッジ長が長さ閾値を超えていないと判定した場合(ステップS7−4において「NO」の場合)においても、画像処理装置20の制御部21は、隣接領域として特定処理(ステップS7−5)をスキップする。
以上の処理を、すべての領域について終了するまで繰り返す。
(SVMによる領域統合処理)
次に、図13を用いて、サポートベクターマシン(SVM)による領域統合処理を説明する。学習フェーズにおいて、エッジ検出により分離された粒子領域において、統合すべき領域を機械学習する。
ここでは、図13(a)に示すように、上述した隣接領域判定処理において、粒子αと粒子βとが隣接している場合を想定する。
まず、図13(b)に示すように、画像処理装置20の制御部21は、粒子α及び粒子βのエッジを所定の長さで広げる膨張処理を行なう。この場合、粒子α及び粒子βは、それぞれのエッジが広がった膨張領域が生成される。
そして、図13(c)に示すように、画像処理装置20の制御部21は、粒子α及び粒子βの膨張領域の重複領域を特定する。
次に、学習フレーズにおけるサポートベクターマシンによる機械学習処理を説明する。
ここでは、図13(d)に示すように、サポートベクターマシンにおいて、特徴量として、重複領域の濃度値の平均、複素モーメント画像における勾配値の平均、距離値の平均を用いて機械学習を行なう。ここで、距離値の平均では、2値化画像に対して、距離変換を適用し、得られた距離画像の各画素の値を距離値として用いる。この距離変換は、2値画像の各画素に対して、そこから値が0(黒の部分)である画素への最短距離を与える変換である。
更に、サポートベクターマシンにおいて、粒子αのヒストグラムと粒子βのヒストグラムとの相関、カイ二乗、交差についても、特徴量として用いて機械学習を行なう。
更に、サポートベクターマシンにおいて、粒子αのペアワイズヒストグラムと粒子βとのペアワイズヒストグラムの相関、カイ二乗、交差についても、特徴量として用いて機械学習を行なう。
そして、画像処理装置20の制御部21は、統合領域の指定情報を取得する。具体的には、制御部21の管理部210は、出力部15に学習用画像を出力する。この学習用画像には、検出されたエッジを含める。そして、ユーザは、入力部10を用いて、学習用画像において、統合すべき領域を入力する。この場合、制御部21の機械学習部214は、学習用画像の特徴量において、サポートベクターマシンを用いて、機械学習結果(領域統合)を算出し、機械学習情報記憶部23に記録する。この機械学習結果(領域統合)は、予測フェーズにおいて、評価対象画像に適用して、領域統合の要否を判定する場合に用いられる。
(SVMによる正常・異常粒子の判別処理)
次に、サポートベクターマシン(SVM)による正常・異常粒子の判別処理について説明する。学習フェーズにおいて、画像に含まれる粒子の種類を機械学習する。
ここでは、図14に示すように、粒子の種類として、「正常(粗大粒子を含む)」、「連結粒子」、「その他(背景等)」に分類する。次に、「正常(粗大粒子を含む)」に分類された粒子において、粒子の長軸による正常、粗大粒子の判定を行なう。ここでは、粒子領域において、その形状に基づいて長軸と短軸とを定める。そして、長軸と短軸との差分に基づいて、正常粒子と粗大粒子とを識別する。
図15を用いて、学習フレーズにおけるサポートベクターマシンによる機械学習処理を説明する。
ここでは、サポートベクターマシンにおいて、以下の11種類の特徴量を用いて機械学習を行なう。
・粒子領域の面積:粒子領域内の画素数に基づいて算出する。
・粒子の円形度:粒子領域の面積Aと粒子の周辺長Lとに基づいて、以下の円形度を算出する。
〔円形度〕=〔4・π・A〕/〔L・L〕
・縦横比:粒子領域の縦と横の比率に基づいて算出する。
・面積比:粒子領域に接する矩形を生成し、粒子の面積と矩形との面積の比率を算出する。
・粒子の面積と粒子領域の横幅との比率:粒子領域の横幅(短軸の長さ)を算出し、粒子の面積との比率を算出する。
・粒子領域における濃度値の平均:粒子領域を構成する全画素の画素値(濃度値)を取得し、濃度値の平均値を算出する。
・粒子領域における濃度値の標準偏差:粒子領域を構成する全画素の画素値(濃度値)を取得し、濃度値の標準偏差を算出する。
・粒子領域における勾配値(複素モーメント画像)の平均:複素モーメント画像において粒子領域の各画素の勾配値を取得し、勾配値の平均値を算出する。
・粒子領域における勾配値(複素モーメント画像)の標準偏差:複素モーメント画像において粒子領域の各画素の勾配値を取得し、勾配値の標準偏差を算出する。
・ペアワイズ幾何ヒストグラム:具体的な計算方法については、図16を用いて後述する。
・モーメント特徴(6次元不変モーメント):形状の歪を評価する。具体的な計算方法については後述する。
(ペアワイズ幾何ヒストグラム)
次に、図16を用いて、ペアワイズ幾何ヒストグラムを説明する。このペアワイズ幾何ヒストグラムは、チェインコードヒストグラム(CCH)を一般化若しくは拡張したものである。
図16(a)に示すように、粒子領域のエッジをチェインにより表現する。この場合、チェインベクターに応じて、図16(b)に示すチェインコードを割り当てる。そして、図16(c)に示すように、粒子のエッジを構成するチェインにおいてチェインコードの頻度を表したペアワイズ幾何ヒストグラム(チェインコードヒストグラムを一般化もしくは拡張したヒストグラム)を生成する。このヒストグラムでは、円形の場合には頻度が一定となる。頻度のばらつきが大きい場合には、形状にひずみがあると判定できる。このチェインコードヒストグラムは、エッジにおけるそれぞれの方向に対するステップ数をカウントすることにより作成される。
(モーメント特徴)
次に、モーメント特徴Huについて説明する。
Huモーメントは、平行移動、拡大縮小、回転に対して不変なモーメントである。
「〔p+q〕次」のモーメントmpqは、次の式で近似することができる。
xとyは、原点に関するピクセル座標である。f(x,y)は、ピクセルの特徴量を表わす。中心モーメントμは、次式で算出される。
そして、Huモーメントは、次式によって計算される。
本実施形態の画像処理システムによれば、以下のような効果を得ることができる。
(1)本実施形態では、エッジ検出処理(ステップS1−2)において、画像処理装置20の制御部21は、バイラテラルフィルタによる平滑化処理を実行する(ステップS3−1)。これにより、エッジをぼかすことなく、平滑化画像を得ることができる。
(2)本実施形態では、エッジ検出処理(ステップS1−2)において、画像処理装置20の制御部21は、複素モーメント法によるエッジ強調処理を実行する(ステップS4−1)。的確にエッジを抽出する場合、通常、画像における各種パラメータを調整する必要がある。一方、複素モーメント法を用いることにより、計算に用いるオペレータを算出すれば、画像毎にパラメータの調整等の負担を軽減しながら、平滑化画像におけるエッジを的確かつ効率的に抽出することができる。特に、複素モーメント法は円形状の検出に適しており、粒子の形状の判別に適している。
(3)本実施形態では、エッジ検出処理(ステップS1−2)において、画像処理装置20の制御部21は、閾値処理を実行する(ステップS4−2)。これにより、矩形領域に含まれる周囲の画素を考慮して、エッジを明確化することができる。
(4)本実施形態では、エッジ検出処理(ステップS1−2)において、画像処理装置20の制御部21は、Watershed法により粒子領域の抽出処理を実行する(ステップS4−3)。これにより、エッジ検出において生じたエッジ欠けを修正することができる。
(5)本実施形態では、画像処理装置20の制御部21は、隣接領域判定処理を実行する。これにより、画像における領域間の状況に基づいて、隣接した領域を特定することができる。
(6)本実施形態では、画像処理装置20の制御部21は、サポートベクターマシンによる機械学習により、領域統合処理を実行する。これにより、強力なエッジ検出により領域分割された粒子領域を、機械学習により統合させることができる。
この場合、サポートベクターマシンにおいて、重複領域の濃度値の平均、複素モーメント画像における勾配値の平均、距離値の平均を、特徴量として用いて機械学習を行なう。これにより、エッジ検出により分割された領域の接触状態を考慮して、領域統合を行なうことができる。
更に、サポートベクターマシンにおいて、粒子α、粒子βのヒストグラムの相関、粒子α、粒子βのペアワイズヒストグラムの相関、濃度値の平均についても、特徴量として用いて機械学習を行なう。これにより、エッジ検出により分割された領域の内部状態を考慮して、領域統合を行なうことができる。
(7)本実施形態では、画像処理装置20の制御部21は、サポートベクターマシンによる機械学習により、正常・異常粒子の判別処理を実行する。これにより、粒子形状に基づいて、正常や異常の状況を判定することができる。
この場合、サポートベクターマシンにおいて、粒子領域の面積、粒子の円形度、縦横比、面積比、粒子の面積と粒子領域の横幅との比率を入力として機械学習を行なう。これにより、粒子領域の大きさや外形形状等に基づいて、正常・異常を判定することができる。
更に、サポートベクターマシンにおいて、粒子領域における濃度値の平均、粒子領域における濃度値の標準偏差、複素モーメント画像における粒子領域における勾配値の平均、粒子領域における勾配値(複素モーメント画像)の標準偏差を入力として機械学習を行なう。これにより、粒子領域の色や模様等に基づいて、正常・異常を判定することができる。
更に、サポートベクターマシンにおいて、ペアワイズ幾何ヒストグラム、モーメント特徴を入力として機械学習を行なう。これにより、粒子形状の等方性に基づいて、正常・異常を判定することができる。
また、上記実施形態は、以下のように変更してもよい。
・上記実施形態では、複数の粒子を撮影した画像において、正常な形状(球形状)の粒子の中で、異常な形状の粒子を検出する場合を想定した。本発明の適用対象は、これに限定されるものではなく、所定形状を撮影した画像に適用することができる。
・上記実施形態では、画像処理装置20の制御部21は、バイラテラルフィルタによる平滑化処理を実行する(ステップS3−1)。平滑化できれば、他のフィルタを用いることも可能である。また、ノイズが少ない画像においては、フィルタリングを省略することも可能である。
・上記実施形態では、画像処理装置20の制御部21は、Watershed法により粒子領域の抽出処理を実行する(ステップS4−3)。エッジ欠けを修正する方法はWatershed法に限定されるものではない。また、エッジ欠けが少ない画像においては、エッジ欠けの修正を省略することも可能である。
・上記実施形態では、複素モーメント法によるエッジ強調処理を行なう。エッジ強調方法は、複素モーメント法に限定されるものではない。評価対象画像が類似した撮影状態の画像の場合には、予めパラメータを設定したエッジ抽出方法を用いることができる。
・上記実施形態では、SVMによる領域統合処理において、画像処理装置20の制御部21は、サポートベクターマシンによる機械学習処理を実行する。この場合、サポートベクターマシンの入力として、重複領域の濃度値の平均〜粒子αのペアワイズヒストグラムと粒子βとのペアワイズヒストグラムの相関、カイ二乗、交差を用いる。サポートベクターマシンの入力はこれらに限定されるものではない。これらの一部や他の入力情報を用いることも可能である。
また、写真画像から画家による絵画風の画像に変換する場合に、領域統合処理を適用することも可能である。この場合には、画家毎の作風に応じて機械学習を行ない、領域統合処理を行なう。そして、写真画像からエッジを検出し、画家の作風に応じて、輪郭(エッジ)として残した線画を作成する。
・上記実施形態では、SVMによる正常・異常粒子の判別処理において、画像処理装置20の制御部21は、サポートベクターマシンによる機械学習処理を実行する。この場合、粒子領域の面積〜モーメント特徴を用いる。サポートベクターマシンの入力はこれらに限定されるものではない。これらの一部や他の入力情報を用いることも可能である。
次に、上記実施形態及び別例から把握できる技術的思想について以下に追記する。
〔a〕対象物について、学習用画像及び評価対象画像を記憶する画像記憶部と、出力部に接続された制御部とを備えた画像処理システム、方法、又はプログラムであって、
前記制御部が、
輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する学習処理と、
評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行することを特徴とする画像処理システム、方法、又はプログラム。
〔b〕前記輪郭の機械学習において、修正画像に含まれるエッジの中で、領域統合を行なうエッジを機械学習することを特徴とする請求項〔a〕に記載の画像処理システム、方法、又はプログラム。
〔c〕前記学習用画像及び評価対象画像の少なくとも何れか一方のエッジの検出には、複素モーメント法を用いることを特徴とする請求項〔a〕又は〔b〕に記載の画像処理システム、方法、又はプログラム。
〔d〕前記学習用画像及び評価対象画像の少なくとも何れか一方のエッジ欠けの修正には、ウォーターシェッド法を用いることを特徴とする請求項〔a〕〜〔c〕のいずれか一項に記載の画像処理システム、方法、又はプログラム。
〔e〕前記輪郭学習結果の生成においては、輪郭領域を膨張させた膨張領域を作成する膨張処理を行ない、
隣接した前記膨張領域における重複領域を特定し、
前記重複領域の特徴量を用いて、輪郭の機械学習を行なうことを特徴とする請求項〔a〕〜〔d〕のいずれか一項に記載の画像処理システム、方法、又はプログラム。
〔f〕前記輪郭領域は、金属化合物の粒子を撮影した画像に含まれる粒子の輪郭領域であり、
前記学習処理において、輪郭領域の異常判定を行ない、前記粒子の正常・異常判定の結果を機械学習した異常判定学習結果を生成し、
評価対象画像において特定した輪郭によって囲まれる粒子領域の形状を、前記異常判定学習結果を用いて評価することを特徴とする請求項〔a〕〜〔e〕のいずれか一項に記載の画像処理システム、方法、又はプログラム。
10…入力部、15…出力部、20…画像処理装置、21…制御部、210…管理部、211…エッジ検出部、212…第1特徴量抽出部、213…第2特徴量抽出部、214…機械学習部、215…領域統合部、216…粒子判定部、22…学習用画像記憶部、23…機械学習情報記憶部、24…評価対象画像記憶部。

Claims (15)

  1. 対象物について、学習用画像及び評価対象画像を記憶する画像記憶部と、出力部に接続された制御部とを備えた画像処理システムであって、
    前記制御部が、
    輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
    前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する学習処理と、
    評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
    前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行し、
    前記輪郭の機械学習において、前記修正画像に含まれるエッジの中で、領域統合を行なうエッジを機械学習することを特徴とする画像処理システム。
  2. 対象物について、学習用画像及び評価対象画像を記憶する画像記憶部と、出力部に接続された制御部とを備えた画像処理システムであって、
    前記制御部が、
    輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
    前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する学習処理と、
    評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を
    生成し、
    前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行し、
    前記学習用画像及び前記評価対象画像の少なくとも何れか一方のエッジの検出には、複素モーメント法を用いることを特徴とする画像処理システム。
  3. 対象物について、学習用画像及び評価対象画像を記憶する画像記憶部と、出力部に接続された制御部とを備えた画像処理システムであって、
    前記制御部が、
    輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
    前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する学習処理と、
    評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
    前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行し、
    前記学習用画像及び前記評価対象画像の少なくとも何れか一方のエッジ欠けの修正には、ウォーターシェッド法を用いることを特徴とする画像処理システム。
  4. 対象物について、学習用画像及び評価対象画像を記憶する画像記憶部と、出力部に接続された制御部とを備えた画像処理システムであって、
    前記制御部が、
    輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
    前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する学習処理と、
    評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
    前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行し、
    前記輪郭学習結果の生成においては、輪郭領域を膨張させた膨張領域を作成する膨張処理を行ない、
    隣接した前記膨張領域における重複領域を特定し、
    前記重複領域の特徴量を用いて、輪郭の機械学習を行なうことを特徴とする画像処理システム。
  5. 対象物について、学習用画像及び評価対象画像を記憶する画像記憶部と、出力部に接続された制御部とを備えた画像処理システムであって、
    前記制御部が、
    輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
    前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する学習処理と、
    評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
    前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行し、
    前記輪郭領域は、金属化合物の粒子を撮影した画像に含まれる粒子の輪郭領域であり、
    前記学習処理において、輪郭領域の異常判定を行ない、前記粒子の正常・異常判定の結
    果を機械学習した異常判定学習結果を生成し、
    前記評価対象画像において特定した輪郭によって囲まれる粒子領域の形状を、前記異常判定学習結果を用いて評価することを特徴とする画像処理システム。
  6. 対象物について、学習用画像及び評価対象画像を記憶する画像記憶部と、出力部に接続された制御部とを備えた画像処理システムを用いて、画像処理を実行する方法であって、
    前記制御部が、
    輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
    前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する学習処理と、
    評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
    前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行し、
    前記輪郭の機械学習において、前記修正画像に含まれるエッジの中で、領域統合を行なうエッジを機械学習することを特徴とする画像処理方法。
  7. 対象物について、学習用画像及び評価対象画像を記憶する画像記憶部と、出力部に接続された制御部とを備えた画像処理システムを用いて、画像処理を実行する方法であって、
    前記制御部が、
    輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
    前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する学習処理と、
    評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
    前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行し、
    前記学習用画像及び前記評価対象画像の少なくとも何れか一方のエッジの検出には、複素モーメント法を用いることを特徴とする画像処理方法。
  8. 対象物について、学習用画像及び評価対象画像を記憶する画像記憶部と、出力部に接続された制御部とを備えた画像処理システムを用いて、画像処理を実行する方法であって、
    前記制御部が、
    輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
    前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する学習処理と、
    評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
    前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行し、
    前記学習用画像及び前記評価対象画像の少なくとも何れか一方のエッジ欠けの修正には、ウォーターシェッド法を用いることを特徴とする画像処理方法。
  9. 対象物について、学習用画像及び評価対象画像を記憶する画像記憶部と、出力部に接続された制御部とを備えた画像処理システムを用いて、画像処理を実行する方法であって、
    前記制御部が、
    輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッ
    ジのエッジ欠けを修正した修正画像を生成し、
    前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する学習処理と、
    評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
    前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行し、
    前記輪郭学習結果の生成においては、輪郭領域を膨張させた膨張領域を作成する膨張処理を行ない、
    隣接した前記膨張領域における重複領域を特定し、
    前記重複領域の特徴量を用いて、輪郭の機械学習を行なうことを特徴とする画像処理方法。
  10. 対象物について、学習用画像及び評価対象画像を記憶する画像記憶部と、出力部に接続された制御部とを備えた画像処理システムを用いて、画像処理を実行する方法であって、
    前記制御部が、
    輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
    前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する学習処理と、
    評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
    前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行し、
    前記輪郭領域は、金属化合物の粒子を撮影した画像に含まれる粒子の輪郭領域であり、
    前記学習処理において、輪郭領域の異常判定を行ない、前記粒子の正常・異常判定の結果を機械学習した異常判定学習結果を生成し、
    前記評価対象画像において特定した輪郭によって囲まれる粒子領域の形状を、前記異常判定学習結果を用いて評価することを特徴とする画像処理方法。
  11. 対象物について、学習用画像及び評価対象画像を記憶する画像記憶部と、出力部に接続された制御部とを備えた画像処理システムを用いて、画像処理を実行させるためのプログラムであって、
    前記制御部を、
    輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
    前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する学習処理と、
    評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
    前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行する手段として機能させ、
    前記輪郭の機械学習において、前記修正画像に含まれるエッジの中で、領域統合を行なうエッジを機械学習することを特徴とする画像処理プログラム。
  12. 対象物について、学習用画像及び評価対象画像を記憶する画像記憶部と、出力部に接続された制御部とを備えた画像処理システムを用いて、画像処理を実行させるためのプログラムであって、
    前記制御部を、
    輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッ
    ジのエッジ欠けを修正した修正画像を生成し、
    前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する学習処理と、
    評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
    前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行する手段として機能させ、
    前記学習用画像及び前記評価対象画像の少なくとも何れか一方のエッジの検出には、複素モーメント法を用いることを特徴とする画像処理プログラム。
  13. 対象物について、学習用画像及び評価対象画像を記憶する画像記憶部と、出力部に接続された制御部とを備えた画像処理システムを用いて、画像処理を実行させるためのプログラムであって、
    前記制御部を、
    輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
    前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する学習処理と、
    評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
    前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行する手段として機能させ、
    前記学習用画像及び前記評価対象画像の少なくとも何れか一方のエッジ欠けの修正には、ウォーターシェッド法を用いることを特徴とする画像処理プログラム。
  14. 対象物について、学習用画像及び評価対象画像を記憶する画像記憶部と、出力部に接続された制御部とを備えた画像処理システムを用いて、画像処理を実行させるためのプログラムであって、
    前記制御部を、
    輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
    前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する学習処理と、
    評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
    前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行する手段として機能させ、
    前記輪郭学習結果の生成においては、輪郭領域を膨張させた膨張領域を作成する膨張処理を行ない、
    隣接した前記膨張領域における重複領域を特定し、
    前記重複領域の特徴量を用いて、輪郭の機械学習を行なうことを特徴とする画像処理プログラム。
  15. 対象物について、学習用画像及び評価対象画像を記憶する画像記憶部と、出力部に接続された制御部とを備えた画像処理システムを用いて、画像処理を実行させるためのプログラムであって、
    前記制御部を、
    輪郭によって囲まれた輪郭領域を含む学習用画像において、エッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
    前記学習用画像の修正画像を用いて、前記輪郭を機械学習した輪郭学習結果を生成する
    学習処理と、
    評価対象画像においてエッジを検出し、このエッジのエッジ欠けを修正した修正画像を生成し、
    前記評価対象画像の修正画像について、前記輪郭学習結果を用いて輪郭を特定する評価処理とを実行する手段として機能させ、
    前記輪郭領域は、金属化合物の粒子を撮影した画像に含まれる粒子の輪郭領域であり、
    前記学習処理において、輪郭領域の異常判定を行ない、前記粒子の正常・異常判定の結果を機械学習した異常判定学習結果を生成し、
    前記評価対象画像において特定した輪郭によって囲まれる粒子領域の形状を、前記異常判定学習結果を用いて評価することを特徴とする画像処理プログラム。
JP2017005786A 2017-01-17 2017-01-17 画像処理システム、画像処理方法及び画像処理プログラム Active JP6448065B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017005786A JP6448065B2 (ja) 2017-01-17 2017-01-17 画像処理システム、画像処理方法及び画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017005786A JP6448065B2 (ja) 2017-01-17 2017-01-17 画像処理システム、画像処理方法及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2018116391A JP2018116391A (ja) 2018-07-26
JP6448065B2 true JP6448065B2 (ja) 2019-01-09

Family

ID=62985517

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017005786A Active JP6448065B2 (ja) 2017-01-17 2017-01-17 画像処理システム、画像処理方法及び画像処理プログラム

Country Status (1)

Country Link
JP (1) JP6448065B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6869490B2 (ja) * 2018-12-28 2021-05-12 オムロン株式会社 欠陥検査装置、欠陥検査方法、及びそのプログラム
CN113892020A (zh) * 2019-05-27 2022-01-04 昭和电工株式会社 图像分析装置、方法、以及程序
JP7282670B2 (ja) * 2019-12-27 2023-05-29 Jfeミネラル株式会社 粒子形状分析方法及び装置
JP7113296B2 (ja) * 2020-02-27 2022-08-05 パナソニックIpマネジメント株式会社 画像解析方法、プログラム、及び画像解析システム
KR102348375B1 (ko) * 2021-04-27 2022-01-06 신용석 이미지 내 객체 추출 방법, 장치 및 컴퓨터-판독가능 기록 매체
JP7508416B2 (ja) 2021-07-05 2024-07-01 株式会社神戸製鋼所 領域境界線検出装置、該方法および該プログラムならびに領域分割処理装置
WO2023238726A1 (ja) * 2022-06-06 2023-12-14 株式会社レゾナック 画像処理装置、画像処理方法及び画像処理プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3148040B2 (ja) * 1993-03-23 2001-03-19 株式会社東芝 教師信号作成装置および画像認識装置
US8908945B2 (en) * 2012-10-22 2014-12-09 General Electric Company Biological unit identification based on supervised shape ranking
JP6282045B2 (ja) * 2013-05-23 2018-02-21 キヤノン株式会社 情報処理装置および方法、プログラム、記憶媒体
EP3124967B1 (en) * 2014-03-27 2018-11-28 Konica Minolta, Inc. Image-processing device and image-processing program

Also Published As

Publication number Publication date
JP2018116391A (ja) 2018-07-26

Similar Documents

Publication Publication Date Title
JP6448065B2 (ja) 画像処理システム、画像処理方法及び画像処理プログラム
CN109978839B (zh) 晶圆低纹理缺陷的检测方法
JP4154374B2 (ja) パターンマッチング装置及びそれを用いた走査型電子顕微鏡
JP5542889B2 (ja) 画像処理装置
JP5546317B2 (ja) 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
Bong et al. Vision-based inspection system for leather surface defect detection and classification
JP2016115331A (ja) 識別器生成装置、識別器生成方法、良否判定装置、良否判定方法、プログラム
JP4518139B2 (ja) 画像処理装置
CN107004266A (zh) 检测轮胎表面上缺陷的方法
JP2013105245A (ja) 画像処理方法、装置及びプログラム
CN109949294A (zh) 一种基于OpenCV的断口形貌图裂纹缺陷提取方法
CN107895371B (zh) 基于峰值覆盖值和Gabor特征的纺织品瑕疵检测方法
CN114792310A (zh) 一种LCD屏幕中边缘模糊的Mura缺陷检测方法
Reddy et al. Canny scale edge detection
JP4801697B2 (ja) 画像形成方法,画像形成装置、及びコンピュータプログラム
KR101557271B1 (ko) 영상 내 원 형상 검출에 따른 검출 원 형상의 근사화 방법
JP2005165387A (ja) 画面のスジ欠陥検出方法及び装置並びに表示装置
CN111178200A (zh) 一种仪表盘指示灯的识别方法及计算设备
CN114581433B (zh) 一种获取金属球腔内表面形貌检测图像的方法及***
Ullah et al. Experimental and numerical research of paved microcrack using histogram equalization for detection and segmentation
KR20230036650A (ko) 영상 패치 기반의 불량 검출 시스템 및 방법
Eastwood et al. Autonomous image background removal for accurate and efficient close-range photogrammetry
Yan et al. A boosted decision tree approach to shadow detection in scanning electron microscope (SEM) images for machine vision applications
CN112270717B (zh) 一种棋盘格角点检测方法及装置
JP2020064333A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181030

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181129

R150 Certificate of patent or registration of utility model

Ref document number: 6448065

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250