JP7314711B2 - 画像処理システム、及び画像処理プログラム - Google Patents
画像処理システム、及び画像処理プログラム Download PDFInfo
- Publication number
- JP7314711B2 JP7314711B2 JP2019149261A JP2019149261A JP7314711B2 JP 7314711 B2 JP7314711 B2 JP 7314711B2 JP 2019149261 A JP2019149261 A JP 2019149261A JP 2019149261 A JP2019149261 A JP 2019149261A JP 7314711 B2 JP7314711 B2 JP 7314711B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- image processing
- unit
- individual information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
この方法では、画像における検出対象領域と非検出対象領域の比率にもとづいて評価値が悪化する場合があること、教師画像を生成するために手間がかかること、及びコンピュータによる最適化のために人の過度な干渉が必要になることが問題となっている。
この方法では、遺伝的プログラミング(GP)による並列型画像フィルタ自動生成システムにサイズ依存型交叉を導入している。これにより、複数の実舗装画像からクラックが存在する画像をフィルタ構築の訓練データに選定採用することで、様々なタイプの画像からクラックの抽出用画像フィルタを自動的に構築し、これを用いて損傷レベルの評価が行われている。
例えば、出力画像を教師画像と比較するために最小二乗法などを用いて各ピクセルに対して輝度の差で評価を行うと、検出対象物のサイズにもとづいて、同じ非検出の場合でも評価値に大きな相違が発生していた。
まず、本発明の第一実施形態に係る画像処理システム、及び画像処理プログラムの第一実施形態について、図1~図3を参照して説明する。図1は、本実施形態の画像処理システムに対応する画像処理装置の構成を示すブロック図であり、図2は、同画像処理装置による処理手順を示すフローチャートである。また、図3は、同画像処理装置による処理手順における遺伝子操作の処理手順を示すフローチャートである。
具体的には、本実施形態の画像処理装置1は、図1に示すように、機能単位記憶部10、個体生成部11、個体群記憶部12、画像入力部13、画像記憶部14、教師情報入力部15、教師情報記憶部16、画像処理部17、出力情報記憶部18、評価値計算部19、評価結果記憶部20、及び遺伝子操作部21を備えている。
本実施形態の画像処理装置1におけるこれらの各構成は、図1に示すように一個の情報処理装置に全て備えることができる。また、これらの各構成は、複数の情報処理装置からなる画像処理システムの各装置に分散して備えてもよい。これは、後述する第二実施形態についても同様である。
また、これらのノードは、それぞれの処理の実行に用いるパラメータが存在する場合には、そのパラメータと共に機能単位記憶部10に記憶される。
またこのとき、個体生成部11は、個体情報において、有閉路を含み得るネットワーク状に複数のノードの実行順序を定義することができる。このネットワークは、向きが付いたリンクにより構成される有向ネットワークであり、フィードバックが含まれることがある。また、このネットワークには、直線構造と木構造も含まれ得る。
後述する評価値計算部19は、世代ごとに個体情報を順位付けして、順位付け情報を評価結果記憶部20に記憶させることができる。
教師情報入力部15は、画像識別情報に対応させて、出力情報を評価するための教師情報を入力し、当該画像識別情報ごとに教師情報記憶部16に記憶させる。本実施形態において、教師情報は、当該画像識別情報に対応する画像における検出対象の個数を示す数値である。
検出対象(検出対象要素)とは、画像における欠陥(クラック、キズ、汚れなど)、特定の部品、特定の柄等とすることができる。なお、検出対象が画像の全体に相当する場合もあり得る。
例えば、ある画像において三角形を検出対象とした場合に、サイズが10ピクセルの三角形が検出されなかったとする。
このとき、同じ画像におけるより大きい三角形の出力が教師画像のものよりも一回り小さくなったとすると、その差が10ピクセル以上であれば、10ピクセルの三角形が無いことより評価値が悪化することになる。このため、機械学習では小さい三角より大きい三角を教師画像に近づけた方が評価値が良くなる傾向になり、小さい三角形より大きい三角形を一致させるように進化が進み、局所解に陥り易い状態になる。これに対して、本実施形態では検出対象の大きさに拘わらず、未検出の誤差が同一になるため、局所解に陥り難くなっている。
このとき、各ノードは、画像から得られる情報を用いて、それぞれの機能に対応する処理を実行する。また、各ノードは、その処理結果にもとづいて、処理結果に対応する次のノードを選択的に実行し得る。したがって、個体情報に含まれるノードであっても、画像処理において、必ずしも全てのノードが実行される訳ではない。勿論、個体情報における全てのノードが実行される場合はある。また、フィードバックが行われることによって、一つの個体情報において1つのみ定義されているノードが、複数回実行されることもあり得る。
なお、検出対象判定処理において、非検出対象候補をラベリングしてその特徴量を計算し、閾値などにもとづきその特徴量を備えていないことにより、検出対象でないことを判定する処理を行うこともできる。
具体的には、画像における検出対象を計数(カウント)して出力情報を生成する。そして、この出力情報を当該画像の画像識別情報ごとで、かつ個体情報の識別情報ごとに出力情報記憶部18に記憶させることができる。
このように、本実施形態における画像処理部17によって得られる出力情報は、画像における検出対象の個数を示す数値として生成される。
そして、出力情報と教師情報を比較して評価値を計算し、得られた評価値を当該画像の画像識別情報ごとで、かつ個体情報の識別情報ごとに評価結果記憶部20に記憶させることができる。
このとき、評価値計算部19は、出力情報と教師情報を用いて、最小二乗法により、平均二乗誤差を評価値として算出することができる。
進化が発生していない場合とは、評価値が、比較対象の時点よりも高くなっていない場合である。なお、後述する実施例では、評価値として平均二乗誤差を用いているため、評価値の小さいほうが良い個体情報となる。したがって、一定の世代数について画像処理を行って評価値が小さくなっていなければ、進化していないと判定できる。
具体的には、遺伝子操作部21は、評価値が高い個体情報を次世代に残すエリート個体保存部と、評価値にもとづいて、一定の確率で個体情報を次世代に残す個体選択部と、2つの個体情報の一部を相互に交換する交叉部と、選択された1つの個体情報の一部又は全部をランダムに書き換える突然変異部とを有するものとすることができる。
個体選択部は、各世代の個体群において、評価値の順位の高い個体情報を高い確率で選択して、次世代に残す処理を行うことができる。
そこで、学習初期では多様性を持たせるために、同系列以外の個体を増やすように突然変異部による処理を行い、学習中期では効率的な進化を実施するために、個体選択部により同系列を増やすことが好ましい。また、進化が止まった場合には、再度多様性を持たせるために突然変異部により同系列以外を増やすことなどを好適に行うことができる。
まず、画像処理装置1における画像入力部13が、画像を入力する(ステップ10)。また、教師情報入力部15が、教師情報としての数値を入力する(ステップ11)。そして、個体生成部11によって、初期個体群が生成される(ステップ12)。
このとき、個体生成部11は、機能単位記憶部10からノードをランダムに選択して配列することにより個体情報を生成して、個体情報の識別情報ごとに個体群記憶部12に記憶させることができる。また、個体生成部11は、複数の個体情報からなる個体群を一つの世代として、世代番号ごとに複数の世代の個体群を個体群記憶部12に記憶させることもできる。
このとき、画像処理部17は、個体情報ごとに出力情報として、画像における検出対象の個数を示す数値を出力して、出力情報記憶部18に記憶させる。
このとき、評価値計算部19による評価値の計算において、例えば最小二乗法を用いて、評価値として平均二乗誤差を算出することができる。
また、評価値計算部19は、得られた評価値を評価結果記憶部20に個体情報ごとに記憶させる。
そして、当該世代の全ての個体情報について、画像の処理から評価値の計算及び記憶までの処理を繰り返し実行する。
また、評価値計算部19は、終了条件が満たされているか否かの判定処理を行う(ステップ18)。終了条件が満たされている場合、画像処理装置1による処理を終了する。
具体的には、図3に示すように、遺伝子操作部21におけるエリート個体保存部は、最も評価値の高い個体情報を次世代の個体群の個体情報として選択する(ステップ20)。
また、遺伝子操作部21における個体選択部は、評価値の順位の高い個体情報ほど高い確率で次世代の個体群の個体情報として選択する(ステップ21)。
また、遺伝子操作部21における突然変異部は、個体選択部により選択された個体情報にもとづいて、またはこれらの個体情報を用いることなく、突然変異処理を行い、新たな個体情報を生成する(ステップ23)。
なお、エリート個体保存部、個体選択部、交叉部、突然変異部による各処理の順序を、各処理を実行可能な順序の範囲で入れ替えて実行してもよい。
次に、本発明の第二実施形態に係る画像処理システム、及び画像処理プログラムについて、図4及び図5を参照して説明する。図4は、本実施形態の画像処理システムに対応する画像処理装置の構成を示すブロック図であり、図5は、同画像処理装置による処理手順を示すフローチャートである。
また、本実施形態における個体生成部11aは、個体情報として、複数の親個体情報をランダムに生成し、これら親個体情報からなる初期の親個体群を親個体群記憶部121aに記憶させることができる。
具体的には、まず、親個体群記憶部121aにおける親個体群からランダムに、子個体情報を生成する親個体情報を選択する。
そして、遺伝子操作部21aにおける交叉部は、選択された親個体情報に対して交叉処理を実行して、複数の子個体情報を生成し、これら子個体情報からなる子個体群を子個体群記憶部122aに記憶させることができる。
また、遺伝子操作部21aにおける突然変異部は、機能単位記憶部10に記憶されているノードを用いて、選択された親個体情報に対して突然変異処理を実行して、一定の確率で親個体情報の一部を書き換えたり、その全てを書き換えることによって得られた子個体情報からなる子個体群を子個体群記憶部122aに記憶させることができる。また、突然変異部は、突然変異処理として、機能単位記憶部10aに記憶されているノードを用いて、新しい個体情報を生成することもできる。
そして、出力情報と教師情報を比較して評価値を計算し、得られた評価値を当該画像の画像識別情報ごとで、かつ子個体情報の識別情報ごとに評価結果記憶部20aに記憶させることができる。
さらに、評価値計算部19aは、画像処理部17aによる画像処理を終了するか否かを判定するための終了判定を行うことができる。
まず、画像処理装置1aにおける画像入力部13aが、画像を入力する(ステップ30)。また、教師情報入力部15aが、教師情報としての数値を入力する(ステップ31)。そして、個体生成部11aによって、初期の親個体群が生成される(ステップ32)。
このとき、画像処理部17aは、子個体情報ごとに出力情報として、画像における検出対象の個数を示す数値を出力して、出力情報記憶部18aに記憶させる。
そして、子個体群記憶部122aにおける全ての子個体情報について、画像の処理から評価値の計算及び記憶までの処理を繰り返し実行する。
そして、遺伝子操作部21は、評価結果記憶部20aにおける子個体情報の順位付け情報にもとづいて、一番評価値の良い子個体情報及び確率で選択された子個体情報を、親個体群からランダムに選択された上記の親個体情報と入れ替えることにより、個体群記憶部12における親個体群記憶部121aの親個体情報を更新する(ステップ40)。
次に、本発明の第三実施形態に係る画像処理システム、及び画像処理プログラムについて説明する。本実施形態の画像処理システムは、教師情報として、画像における検出対象の個数を示す数値と、画像における検出対象の画像(以下、検出対象画像)を用いる点で、第一実施形態と相違する。その他の点は、第一実施形態と同様である。
このように、本実施形態における画像処理部17cによって得られる出力情報は、画像における検出対象の個数を示す数値及び検出対象画像として生成される。
教師画像との平均二乗誤差×重み1.0+教師個数との平均二乗誤差×重み0.1
また、プログラムを格納する記録媒体は、例えば半導体メモリ、磁気ディスク、光ディスク、その他任意のコンピュータで読取り可能な任意の記録手段により構成できる。
実施例として、本発明の第二実施形態に係る画像処理装置を使用した。
また、参考例として、本発明の第二実施形態に係る画像処理装置の一部を変更したものを使用した。具体的には、参考例では教師情報として画像情報を用いるように変更した。
個体生成部により生成させる初期の親個体情報の個数を150個とし、2個の親個体情報をランダムに選択して親個体群からは削除し、これらの親個体情報に対して遺伝子操作を実行して、52個の子個体情報を生成した(親と同一個体:2、一様交叉個体:20、突然変異個体:30)。
最大の世代数を5000世代に設定し、進化がストップしたと判定された場合(正規化後の評価値が0になった場合)、処理を終了した。
また、「備考」の「実施例において検出対象と認識した箇所」は、参考情報として作成したものであり、画像処理部において作成された2値化画像にもとづいて、実施例の出力情報が画像の何処についてその数がカウントされたのかを確認し、そのカウントされた部分に白丸を付したものである。
「出力」に示された画像及び数値は、評価値が一番良い個体情報によるものが示されている。すなわち、これらの出力情報の出力に用いられた個体情報が、実施例及び参考例における最終的に得られた個体情報である。
例えば、画像処理装置における各構成を複数の情報処理装置に分散して持たせたり、ノードとして実施例で用いたもの以外のものを含めて使用したりすることができる。
また、上記の画像処理装置を画像検査用に用い、画像処理装置を、画像入力部が検査用の画像を入力し、最も評価値の高い個体情報にもとづき画像処理部によって検査用の画像を処理して得られた処理結果情報を記憶する処理結果記憶部を備えた構成とするなど適宜変更することが可能である。
さらに、第二実施形態と第三実施形態を組み合わせた構成とすることもできる。
10,10a 機能単位記憶部
11,11a 個体生成部
12,12a 個体群記憶部
121a 親個体群記憶部
122a 子個体群記憶部
13,13a 画像入力部
14,14a 画像記憶部
15,15a 教師情報入力部
16,16a 教師情報記憶部
17,17a 画像判定部
18,18a 出力情報記憶部
19,19a 評価値計算部
20,20a 評価結果記憶部
21,21a 遺伝子操作部
Claims (10)
- 生物の進化を数学的に模擬した最適化手法である遺伝的操作を用いて、画像から検出対象を検出する画像処理を最適化する画像処理システムであって、
有閉路を含み得るネットワーク状に複数の機能単位の実行順序を定義する一又は二以上の個体情報を記憶する個体群記憶部と、
学習用又は検証用の画像を入力する画像入力部と、
出力情報を評価するための教師情報を入力する教師情報入力部と、
前記個体情報にもとづいて前記画像を処理し、前記出力情報を生成する画像処理部と、
前記出力情報と前記教師情報を比較して評価値を計算し、この評価値にもとづき前記個体情報を順位付けする評価値計算部と、
前記個体情報の順位付け情報にもとづき前記個体情報の選択又は変更を行って、前記個体群記憶部を更新する遺伝子操作部と、を備え、
前記画像処理部による処理に、前記画像における検出対象を計数する処理が含まれ、
前記教師情報及び前記出力情報が、前記画像における検出対象の個数を示す数値である
ことを特徴とする画像処理システム。 - 前記画像処理部による処理に、ノイズ除去、補正処理、2値化処理、エッジ検出処理、及び四則演算処理の少なくともいずれかが含まれることを特徴とする請求項1記載の画像処理システム。
- 前記画像処理部による処理に、前記画像における一定範囲の特徴量を算出する処理、及び前記特徴量にもとづいて前記一定範囲が検出対象であるか否かを判定する処理が含まれることを特徴とする請求項1又は2記載の画像処理システム。
- 前記遺伝子操作部が、
前記評価値が高い個体情報を次世代に残すエリート保存部と、
前記評価値にもとづいて、一定の確率で個体情報を次世代に残す選択部と、
2つの個体情報の一部を相互に交換する交叉処理部と、
選択された1つの個体情報の一部又は全部をランダムに書き換える突然変異部と、を有する
ことを特徴とする請求項1~3のいずれかに記載の画像処理システム。 - 前記ネットワークが、機能単位と向きが付いたリンクにより構成される有向ネットワークであり、直線構造と木構造を含むことを特徴とする請求項1~4のいずれかに記載の画像処理システム。
- 前記画像入力部が、検査用の画像を入力し、最も評価値の高い個体情報にもとづき前記画像処理部によって前記検査用の画像を処理して得られた処理結果情報を記憶する処理結果記憶部を備えたことを特徴とする請求項1~5のいずれかに記載の画像処理システム。
- 前記画像処理部による処理に、検出対象を表す検出対象画像を作成する処理が含まれ、
前記教師情報及び前記出力情報に、検出対象を表す検出対象画像が含まれる
ことを特徴とする請求項1~6のいずれかに記載の画像処理システム。 - 生物の進化を数学的に模擬した最適化手法である遺伝的操作を用いて、画像から検出対象を検出する画像処理を最適化する画像処理プログラムであって、
コンピュータを、
有閉路を含み得るネットワーク状に複数の機能単位の実行順序を定義する一又は二以上の個体情報を記憶する個体群記憶部、
学習用又は検証用の画像を入力する画像入力部、
出力情報を評価するための教師情報を入力する教師情報入力部、
前記個体情報にもとづいて前記画像を処理し、前記出力情報を生成する画像処理部、
前記出力情報と前記教師情報を比較して評価値を計算し、この評価値にもとづき前記個体情報を順位付けする評価値計算部、及び、
前記個体情報の順位付け情報にもとづき前記個体情報の選択又は変更を行って、前記個体群記憶部を更新する遺伝子操作部として機能させ、
前記画像処理部による処理に、前記画像における検出対象を計数する処理が含まれ、
前記教師情報及び前記出力情報が、前記画像における検出対象の個数を示す数値である
ことを特徴とする画像処理プログラム。 - 前記遺伝子操作部が、
前記評価値が高い個体情報を次世代に残すエリート保存部、
前記評価値にもとづいて、一定の確率で個体情報を次世代に残す選択部、
2つの個体情報の一部を相互に交換する交叉処理部、及び、
選択された1つの個体情報の一部又は全部をランダムに書き換える突然変異部を有する
ことを特徴とする請求項8記載の画像処理プログラム。 - 前記画像処理部による処理に、検出対象を表す検出対象画像を作成する処理が含まれ、
前記教師情報及び前記出力情報に、検出対象を表す検出対象画像が含まれる
ことを特徴とする請求項8又は9記載の画像処理プログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018164368 | 2018-09-03 | ||
JP2018164368 | 2018-09-03 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020038637A JP2020038637A (ja) | 2020-03-12 |
JP7314711B2 true JP7314711B2 (ja) | 2023-07-26 |
Family
ID=69738130
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019149261A Active JP7314711B2 (ja) | 2018-09-03 | 2019-08-16 | 画像処理システム、及び画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7314711B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007310491A (ja) | 2006-05-16 | 2007-11-29 | Shibata Kagaku Kk | 画像解析処理のパラメータ値の検出方法、及び画像処理のパラメータ値の検出プログラム、並びにそれらによって検出されたパラメータ値を用いた計数対象物の計数方法 |
JP2013050837A (ja) | 2011-08-31 | 2013-03-14 | Dainippon Screen Mfg Co Ltd | 分類処理生成装置および分類処理生成方法 |
JP2017162069A (ja) | 2016-03-08 | 2017-09-14 | 株式会社Screenホールディングス | 最適化方法、最適化装置、プログラムおよび画像処理装置 |
JP2018072938A (ja) | 2016-10-25 | 2018-05-10 | 株式会社パスコ | 目的物個数推定装置、目的物個数推定方法及びプログラム |
-
2019
- 2019-08-16 JP JP2019149261A patent/JP7314711B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007310491A (ja) | 2006-05-16 | 2007-11-29 | Shibata Kagaku Kk | 画像解析処理のパラメータ値の検出方法、及び画像処理のパラメータ値の検出プログラム、並びにそれらによって検出されたパラメータ値を用いた計数対象物の計数方法 |
JP2013050837A (ja) | 2011-08-31 | 2013-03-14 | Dainippon Screen Mfg Co Ltd | 分類処理生成装置および分類処理生成方法 |
JP2017162069A (ja) | 2016-03-08 | 2017-09-14 | 株式会社Screenホールディングス | 最適化方法、最適化装置、プログラムおよび画像処理装置 |
JP2018072938A (ja) | 2016-10-25 | 2018-05-10 | 株式会社パスコ | 目的物個数推定装置、目的物個数推定方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2020038637A (ja) | 2020-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6693938B2 (ja) | 外観検査装置 | |
US11650968B2 (en) | Systems and methods for predictive early stopping in neural network training | |
CN109690576A (zh) | 在多个机器学习任务上训练机器学习模型 | |
CN111429415B (zh) | 基于网络协同剪枝的产品表面缺陷高效检测模型构建方法 | |
CN107729241B (zh) | 一种基于变异体分组的软件变异测试数据进化生成方法 | |
Kalita et al. | Solving the bi-objective corridor allocation problem using a permutation-based genetic algorithm | |
CN107832789B (zh) | 基于平均影响值数据变换的特征加权k近邻故障诊断方法 | |
US20180137408A1 (en) | Method and system for event-based neural networks | |
CN112699045A (zh) | 一种基于多种群遗传算法的软件测试用例生成方法 | |
Eftimov et al. | Identifying practical significance through statistical comparison of meta-heuristic stochastic optimization algorithms | |
US20160246576A1 (en) | Computer program generation | |
Pinville et al. | How to promote generalisation in evolutionary robotics: the progab approach | |
US11373285B2 (en) | Image generation device, image generation method, and image generation program | |
JP7314711B2 (ja) | 画像処理システム、及び画像処理プログラム | |
CN109977030B (zh) | 一种深度随机森林程序的测试方法及设备 | |
JP2007213480A (ja) | 進化型画像自動分類装置、フィルタ構造生成方法、及びプログラム | |
CN116993548A (zh) | 基于增量学习的LightGBM-SVM的教育培训机构信用评估方法及*** | |
JP2020107008A (ja) | 画像処理システム、及び画像処理プログラム | |
JP7468088B2 (ja) | 画像処理システム、及び画像処理プログラム | |
JP7247578B2 (ja) | 画像処理システム、及び画像処理プログラム | |
CN112837739B (zh) | 基于自编码器与蒙特卡洛树的层次化特征***发育模型 | |
JPWO2019220608A1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
JP7314723B2 (ja) | 画像処理システム、及び画像処理プログラム | |
Gharehchopogh et al. | A novel approach for edge detection in images based on cellular learning automata | |
JP2021051617A (ja) | 画像処理システム、及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220712 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230519 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230523 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230602 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230613 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230626 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7314711 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |