JP6791182B2 - ニューラルネットワーク型画像処理装置 - Google Patents

ニューラルネットワーク型画像処理装置 Download PDF

Info

Publication number
JP6791182B2
JP6791182B2 JP2018047256A JP2018047256A JP6791182B2 JP 6791182 B2 JP6791182 B2 JP 6791182B2 JP 2018047256 A JP2018047256 A JP 2018047256A JP 2018047256 A JP2018047256 A JP 2018047256A JP 6791182 B2 JP6791182 B2 JP 6791182B2
Authority
JP
Japan
Prior art keywords
image
image processing
input
output
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018047256A
Other languages
English (en)
Other versions
JP2019159956A (ja
Inventor
善久 井尻
善久 井尻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2018047256A priority Critical patent/JP6791182B2/ja
Priority to PCT/JP2019/006184 priority patent/WO2019176479A1/ja
Priority to US16/976,471 priority patent/US11361424B2/en
Priority to CN201980012168.5A priority patent/CN111699496B/zh
Publication of JP2019159956A publication Critical patent/JP2019159956A/ja
Application granted granted Critical
Publication of JP6791182B2 publication Critical patent/JP6791182B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、ニューラルネットワーク型画像処理装置、これを備えた外観検査装置、及び外観検査方法に関する。
従来より、画像処理を利用した外観検査装置が提案されている。この外観検査装置では、検査対象となる入力画像に対し、パターンマッチングやエッジ抽出処理などの画像処理を施した上で、画像処理後の画像に対し、外観検査を行うように構成されている(例えば、特許文献1)。
特開2012−21914号公報
ところで、検査対象となる入力画像に対しては、外観検査に適した画像になるような種々の画像処理を行う必要がある。しかしながら、そのような画像処理の組み合わせ、あるいは順序は多数あり、ユーザの試行錯誤の上で決定する必要があった。しかしながら、そのような手法では、ユーザの負荷が大きいという問題があった。
なお、このような問題は、外観検査装置用の画像処理のみならず、入力画像から所望の出力画像を得るために、少なくとも一つの画像処理を施すような画像処理装置全般に起こりうる問題である。本発明は、この問題を解決するためになされたものであり、入力画像から容易に所望の出力画像を得ることができる、ニューラルネットワーク型画像処理装置、これを備えた外観検査装置、及び外観検査方法を提供することを目的とする。
本開示に係るニューラルネットワーク型画像処理装置は、入力画像が入力される一つのユニットを有する入力層と、出力画像を出力する一つのユニットを有する出力層と、前記入力層と前記出力層との間に配置される複数層の中間層であって、前記各中間層が複数のユニットを有し、前記入力層のユニット、前記各中間層のユニット、及び前記出力層のユニットが結合係数を伴って全結合されている、複数の中間層と、を備え、前記各中間層の各ユニットは、当該ユニットに入力された画像に画像処理を施す、画像処理モジュールであり、前記入力画像は、前記入力層のユニットから入力され、前記中間層のユニットを経た後、前記出力層のユニットから前記出力画像として、出力されるように構成され、誤差逆伝播法による学習により、前記結合係数が更新されるように構成されている。
この構成によれば、ニューラルネットワーク型の構造を有しているため、入力画像に対する所望の出力画像を容易に得ることができる。そして、中間層を構成するユニットが画像処理モジュールを有している。そのため、学習により設定された結合係数を分析すれば、画像処理モジュール間の結合の強度が分かるため、入力画像から出力画像に至る過程で、どの画像処理モジュールの影響を受けているかを知ることができる。したがって、画像処理モジュールの順序を変えたり、画像処理のパラメータを変更したり、あるいは特定の画像処理モジュールを削除するなど、ユーザによって任意に各層の構造を調整することができる。例えば、小さい結合係数で結合されている画像処理モジュールは、利用されていない可能性があるため、最適化のために、削除したり、他の画像処理モジュールに入れ替えるなどすることができる。
上記ニューラルネットワーク型画像処理装置において、前記各中間層のユニットの活性化関数は、前記画像処理モジュールの画像処理を表す微分可能な画像処理関数を含んでいるものとすることができる。
上記ニューラルネットワーク型画像処理装置において、前記各中間層には、異なる種類の前記画像処理モジュールを設けることができる。
上記ニューラルネットワーク型画像処理装置において、前記各中間層に設けられた複数の前記画像処理モジュールは、同じとすることができる。
上記ニューラルネットワーク型画像処理装置において、前記各画像処理モジュールは、ガウスフィルタ、エッジ抽出フィルタ、平滑フィルタ、メディアンフィルタ、及びソーベルフィルタのいずれかで構成することができる。
上記ニューラルネットワーク型画像処理装置において、前記各中間層に設けられる前記複数の画像処理モジュールの一つは、恒等写像とすることができる。
上記ニューラルネットワーク型画像処理装置において、前記出力層からの前記出力画像の出力とともに、前記入力画像から前記出力画像を出力するまでに適用された前記画像処理モジュール、及び適用された前記各画像処理モジュールの結合係数を出力可能とすることができる。
本開示に係る外観検査装置は、検査対象物を撮影する撮影部と、上述したいずれかのニューラルネットワーク型画像処理装置と、を備え、前記撮影部によって撮影された画像を入力画像とし、外観検査用の画像を出力画像とするように、前記ニューラルネットワーク型画像処理装置が学習されている。
上記外観検査装置においては、前記出力画像に対して外観検査を行い、検査結果を出力する判定部をさらに備えることができる。
本開示に係る外観検査方法は、前記検査対象物の撮影画像を前記入力画像とし、外観検査用の画像を前記出力画像とするように学習された、上述したいずれかのニューラルネットワーク型画像処理装置を準備するステップと、検査対象物を撮影するステップと、前記検査対象物の撮影画像を前記入力画像として前記ニューラルネットワーク型画像処理装置に入力し、前記出力画像を出力するステップと、を備えている。
上記外観検査方法においては、前記出力画像に対して外観検査を行い、検査結果を出力するステップをさらに備えることができる。
本発明によれば、入力画像から容易に所望の出力画像を得ることができる。
本発明の画像処理装置の一実施形態の概要を示すブロック図である。 図1の画像処理装置の学習器の概略構造を示す図である。 図1の画像処理装置の学習器の学習の一例を示す図である。 本発明に係る外観検査装置のハードウエア構成を示すブロック図である。 図4の外観検査装置の機能構成を示すブロック図である。 図4の外観検査装置における処理手順の一例を例示するフローチャートである。
以下、本発明に係るニューラルネットワーク型画像処理装置の一実施形態について、図面を参照しつつ説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。
<1.適用例>
以下、本実施形態に係るニューラルネットワーク型画像処理装置(以下、単に、「画像処理装置」ということがある)について図1を参照しつつ説明する。図1は、本実施形態に係るニューラルネットワーク型画像処理装置の概略図である。
図1に示すように、この画像処理装置2は、入力画像に対して画像処理を施し、所望の出力画像を出力させる装置である。例えば、後述するように、物品の外観検査を行う場合、物品の外観を撮影することで得られた入力画像に対し、外観検査が可能なように、エッジを抽出したり、ぼかしを施すなどの画像処理を行うものであり、入力画像に応じた適切な画像処理を施すために、学習された学習済みの学習器1を有している。
具体的には、図2に示すような学習器1を有している。図2に示すように、この学習器1は、いわゆる深層学習に用いられる多層構造のニューラルネットワーク型の構造を有しており、入力から順に、入力層3、複数の中間層(隠れ層)4、及び出力層5を備えている。これら入力層3、各中間層4、及び出力層5には、ニューラルネットワークと同様の機能を有するユニットが設けられている。以下では、入力層3及び出力層5は、ユニットを含む概念として説明する。また、中間層4については、以下の通りである。
図2の学習器1では、5層の中間層41〜45を備えており、各中間層41〜45には、ユニットとして、7つ画像処理モジュール(以下、単にモジュールという)が設けられている。そして、入力層3の出力が中間層4の入力となり、中間層4の出力が出力層5の入力となっている。また、入力層3には、入力画像が入力され、出力層5からは出力画像が出力される。なお、以下では、5層の中間層を、入力層側から第1,第2,第3,第4,及び第5中間層41〜45と称することとする。また、各中間層41〜45を構成するモジュールを、それぞれ、第1,第2,第3,第4,第5,第6,及び第7モジュール411〜457と称することとする。
各中間層41〜45を構成するモジュール411〜457は、画像処理モジュールによって構成されている。すなわち、中間層41〜45のいずれかのモジュールに入力された画像は、画像処理が施された後、出力されるように構成されている。また、入力層3、各中間層41〜45の各モジュール411〜457、及び出力層5は、結合係数Wを伴って全結合されている。ここでは、結合係数をWxyz(x,y,zは整数、但し、入力層3と第1中間層41との結合及び第5中間層45と出力層5との結合については、zがない)と表すこととする。例えば、第1中間層41の第1モジュール411と第2中間層42の第1モジュール421との結合係数は、W211と表され、第5中間層5の第5モジュール455と出力層5との結合係数は、W65と表される。
なお、入力層3を構成するユニットは、一つであり、この一つのユニットに処理対象となる入力画像の全体が入力される。同様に、出力層5を構成するユニットも一つであり、この一つのユニットから画像処理が施された出力画像の全体が出力される。また、各中間層41〜45を構成する各ユニット、つまり各画像処理モジュールには、画像が入力され、画像処理が施される。
各モジュール411〜457には閾値が設定されており、基本的には、各入力と各重みとの積の和が閾値を超えているか否かによって各モジュール411〜457の出力が決定される。なお、このような学習器1の構成(例えば、層数、各層におけるモジュールの個数、モジュール同士の結合係数、各モジュールの活性化関数)、及び各モジュール411〜457の閾値を示す情報は、後述する学習結果データ225に含まれている。
各中間層41〜45のモジュール411〜457の活性化関数は、例えば、各モジュールの画像処理を表す微分可能な画像処理関数を含んでいる。そのような画像処理関数は特には限定されないが、例えば、ガウシアンぼかしを実行するためのガウス関数、エッジ抽出を行うための各種のエッジ抽出関数、平滑フィルタ、メディアンフィルタ、及びソーベルフィルタなどを採用することができる。また、同じ画像関数であっても、パラメータを変更した異なる画像処理関数を有する画像処理モジュールを生成することもできる。
本実施形態では、各中間層41〜45に、7つのモジュールが設けられているが、これら7つのモジュールは、すべて異なっている。すなわち、図2に示すように、モジュール1〜6と表示された6つの画像処理モジュールと、1つの恒等写像とが設けられている。モジュール1〜6は、上述した異なる種類あるいは異なるパラメータを有する画像処理モジュールである。例えば、モジュール1〜3をパラメータが異なるガウスフィルタとし、モジュール4〜6をパラメータが異なるエッジ抽出フィルタとすることができる。また、恒等写像に係る画像処理モジュールは、モジュールに入力された画像に対し、画像処理を施さずに出力する。そして、図2に示すように、すべての中間層41〜45が同じ種類のモジュールを有している。
このように構成された学習器1の学習は、誤差逆伝播法により行い、結合係数Wxyzが更新されるようにする。例えば、図3に示すように、入力画像及び出力画像を有する学習データにより、学習器1の学習が行われる。例えば、入力画像を撮影画像とし、出力画像として、撮影画像に種々の画像処理を施した後の画像を用い、これら入力画像と出力画像の組み合わせを複数有する学習データ(教師データ)を準備することができる。こうして学習された学習器1に入力画像を入力すると、所望の出力画像が得られる。
そして、こうして得られた結合係数をWxyzを分析することで、入力画像がどのモジュールによって画像処理が施されて出力画像となったかを知ることができる。そのため、例えば、小さい結合係数で結合されている画像処理モジュールは、利用されていないことになるため、最適化のために、他の画像処理モジュールに入れ替えるなどすることができる。
本実施形態に係る画像処理装置は、種々の処理に適用することができるが、以下では、この画像処理装置を外観検査装置に適用した例について説明する。この外観検査装置は、検査対象物を撮影した画像を、外観検査がしやすいように画像処理を施すものである。以下、詳細に説明する。
<2.構成例>
<2−1.ハードウエア構成>
まず、本実施形態に係る外観検査装置のハードウエア構成について、図4を参照しつつ説明する。図4は、本実施形態に係る外観検査装置のハードウエア構成を示すブロック図である。
<2−1−1.カメラ>
図4に示すカメラ7は、特には限定されず、公知のものを用いることができるが、外観検査を行える程度の解像度の画像を取得できるものであればよい。
<2−1−2.外観検査装置>
図4に示すように、本実施形態に係る外観検査装置20は、制御部21、記憶部22、通信インタフェース23、入力装置24、出力装置25、表示装置26、外部インタフェース27、及びドライブ28が電気的に接続されたコンピュータである。なお、図1では、通信インタフェース及び外部インタフェースをそれぞれ、「通信I/F」及び「外部I/F」と記載している。
制御部21は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を含み、情報処理に応じて各構成要素の制御を行う。記憶部22は、例えば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置であり、制御部21で実行される画像処理プログラム221、入力画像データ222、出力画像データ223、結合係数データ224、学習器1に関する情報を示す学習結果データ225、学習器1を学習させるための学習データ226等を記憶する。その他、外観検査装置20の駆動に必要な各種のデータも記憶することもできる。
画像処理プログラム221は、上述した学習器1による画像処理のために、入力画像を受け付け、これに応じた出力画像の出力を行うものでる。入力画像データ222は、検査対象物を撮影した画像データであり、出力画像データ223は、学習器1により画像処理が施された後の画像データである。結合係数データ224は、学習済みの学習器1の結合係数Wに係るデータである。また、学習結果データ225は、学習済みの学習器1の設定を行うためのデータである。学習データ226は、現在の学習器1の学習に用いたデータである。
通信インタフェース23は、例えば、有線LAN(Local Area Network)モジュール、無線LANモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインタフェースである。例えば、カメラ7と通信したり、あるいは画像処理に関する情報を外部に送信するために用いられる。入力装置2の操作など、各種の指示を入力することができる。出力装置25は、例えば、スピーカ等の出力を行うための装置である。表示装置26は、ディスプレイ等で構成することができ、例えば、検査結果などを表示することができる。外部インタフェース27は、USB(Universal Serial Bus)ポート等であり、外部装置と接続するためのインタフェースである。
ドライブ28は、例えば、CD(Compact Disk)ドライブ、DVD(Digital Versatile Disk)ドライブ等であり、記憶媒体91に記憶されたプログラムを読み込むための装置である。ドライブ17の種類は、記憶媒体91の種類に応じて適宜選択されてよい。上記記憶部22に記憶される各種のデータ221〜226の少なくとも一つは、この記憶媒体91に記憶されていてもよい。また、入力画像データ222、出力画像データ223は、制御部21のRAMに記憶させることもできる。
記憶媒体91は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、このプログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。外観検査装置20は、この記憶媒体91から、上記各種のデータ221〜226を取得してもよい。
ここで、図4では、記憶媒体91の一例として、CD、DVD等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体91の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。
なお、外観検査装置20の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部21は、複数のプロセッサを含んでもよい。外観検査装置20は、複数台の情報処理装置で構成されてもよい。また、外観検査装置20は、提供されるサービス専用に設計された情報処理装置の他、汎用のデスクトップPC(Personal Computer)、タブレットPC等が用いられてもよい。
<2−2.外観検査装置の機能的構成>
次に、図4及び図5を参照しつつ、本実施形態に係る外観検査装置の機能構成の一例を説明する。図5は、外観検査装置の機能構成を示すブロック図である。
図4に示すように、外観検査装置20の制御部21は、記憶部22に記憶された画像処理プログラム221をRAMに展開する。そして、制御部21は、RAMに展開されたこれらのプログラム221をCPUにより解釈及び実行して、各構成要素を制御する。これによって、図5に示すように、本実施形態に係る外観検査装置20は、学習器1を備えるコンピュータとして機能する。
学習器1の詳細は、上述したとおりであるが、カメラ7で撮影した検査対象物の画像を入力画像として受け付ける。そして、外観検査がしやすいような出力画像を得るための画像処理が施されるように学習されている。例えば、入力画像において、外観検査に関連のある特定の部分に対して、適切なエッジ抽出処理が行われるような画像処理が行われるような学習をしたり、あるいは、検査に関連のない部分に対しては画像処理を施さない、またはぼかし処理などが行われるように学習をすることができる。また、特定の部分に異なる種類の画像処理を重ねて行うような学習をすることもできる。
<2−3.外観検査装置の動作>
次に、図6を参照しつつ、外観検査装置2の動作例を説明する。図6は、外観検査装置の処理手順の一例を例示するフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
図6に示すように、まず、カメラ7によって検査対象物を撮影し、入力画像を取得する(ステップS101)。次に、取得した入力画像を学習器1に入力する(ステップS102)。続いて、学習器1から出力された出力画像を表示装置26で表示する(ステップS103)。このとき、出力画像は、記憶部22に記憶される。これに続いて、表示装置26に表示された出力画像の検査を行う(ステップS105)。検査の方法は、特には限定されず、ユーザの目で検査をするほか、画像処理により検査を行うこともできる。画像処理により行う場合には、例えば、図5において、機能構成として、出力画像に対して,画像処理により外観検査を行う判定部を設けることができる。このように判定部は種々の態様があるが、例えば、機械学習により良品と不良品とを識別できるように学習された学習器に出力画像を入力し、良品または不良品の識別を行うことができる。そして、検査結果は、表示装置26で表示したり、記憶部22に記憶したりすることができる。
<3.特徴>
本実施形態に係る画像処理装置は、ニューラルネットワーク型の構造を有しているため、入力画像に対する所望の出力画像を容易に得ることができる。そして、中間層4を構成するユニットとして画像処理モジュールを有している。そのため、学習済みの学習器1で設定された結合係数Wxyzを分析すれば、入力画像がどの画像処理モジュールによって画像処理が施されて出力画像となったかを知ることができる。したがって、画像処理モジュールの順序を変えたり、画像処理のパラメータを変更したり、あるいは特定の画像処理モジュールを削除するなど、ユーザによって任意に学習器1の構造を調整することができる。例えば、小さい結合係数で結合されている画像処理モジュールは、利用されていないことになるため、最適化のために、削除したり、他の画像処理モジュールに入れ替えるなどすることができる。そして、その後、学習器1の再学習を行うことができる。
<4.変形例>
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
<1>
上記実施形態で示した学習器1の構造は、一例であり、種々の変更が可能である。例えば、中間層4の数、及び各中間層4に含まれるモジュールの数は、特には限定されず、対象となる処理に合わせて適宜設定することができる。例えば、中間層4ごとに、含まれるモジュールの数が相違してもよい。
また、上記実施形態では、すべての中間層4が同じ画像処理モジュールのモジュールを有しているが、異なるモジュールを有する中間層とすることもできる。また、各中間層に、一つの恒等写像に係るモジュールを設けているが、必ずしもそのようにする必要はない。但し、各中間層に恒等写像に係るモジュールを設けておけば、不要な画像処理が施されないようにすることができる。
<2>
上記実施形態においては、ニューラルネットワーク型の画像処理装置、及びこれを用いた外観検査装置について説明したが、この画像処理装置は、外観検査以外でも用いることができる。すなわち、入力画像から所望の出力画像を得るために、少なくとも一つの画像処理を施すような目的で用いられる場合には、外観検査装置以外の用途にも用いることができる。
3 入力層
4 中間層
5 出力層

Claims (10)

  1. 入力画像が入力される一つのユニットを有する入力層と、
    出力画像を出力する一つのユニットを有する出力層と、
    前記入力層と前記出力層との間に配置される複数層の中間層であって、前記各中間層が複数のユニットを有し、前記入力層のユニット、前記各中間層のユニット、及び前記出力層のユニットが結合係数を伴って全結合されている、複数の中間層と、
    を備え、
    前記各中間層の各ユニットは、当該ユニットに入力された画像に画像処理を施す、画像処理モジュールであり、
    前記入力画像は、前記入力層のユニットから入力され、前記中間層のユニットを経た後、前記出力層のユニットから前記出力画像として、出力されるように構成され、
    誤差逆伝播法による学習により、前記結合係数が更新されるように構成され
    前記各中間層に設けられた複数の前記画像処理モジュールは、同じである、ニューラルネットワーク型画像処理装置。
  2. 入力画像が入力される一つのユニットを有する入力層と、
    出力画像を出力する一つのユニットを有する出力層と、
    前記入力層と前記出力層との間に配置される複数層の中間層であって、前記各中間層が複数のユニットを有し、前記入力層のユニット、前記各中間層のユニット、及び前記出力層のユニットが結合係数を伴って全結合されている、複数の中間層と、
    を備え、
    前記各中間層の各ユニットは、当該ユニットに入力された画像に画像処理を施す、画像処理モジュールであり、
    前記入力画像は、前記入力層のユニットから入力され、前記中間層のユニットを経た後、前記出力層のユニットから前記出力画像として、出力されるように構成され、
    誤差逆伝播法による学習により、前記結合係数が更新されるように構成され、
    前記各画像処理モジュールは、ガウスフィルタ、エッジ抽出フィルタ、平滑フィルタ、メディアンフィルタ、及びソーベルフィルタのいずれかで構成されている、ニューラルネットワーク型画像処理装置。
  3. 入力画像が入力される一つのユニットを有する入力層と、
    出力画像を出力する一つのユニットを有する出力層と、
    前記入力層と前記出力層との間に配置される複数層の中間層であって、前記各中間層が複数のユニットを有し、前記入力層のユニット、前記各中間層のユニット、及び前記出力層のユニットが結合係数を伴って全結合されている、複数の中間層と、
    を備え、
    前記各中間層の各ユニットは、当該ユニットに入力された画像に画像処理を施す、画像処理モジュールであり、
    前記入力画像は、前記入力層のユニットから入力され、前記中間層のユニットを経た後、前記出力層のユニットから前記出力画像として、出力されるように構成され、
    誤差逆伝播法による学習により、前記結合係数が更新されるように構成され、
    前記各中間層に設けられる前記複数の画像処理モジュールの一つは、恒等写像である、ニューラルネットワーク型画像処理装置。
  4. 前記各中間層のユニットの活性化関数は、前記画像処理モジュールの画像処理を表す微分可能な画像処理関数を含んでいる、請求項1から3のいずれかに記載のニューラルネットワーク型画像処理装置。
  5. 前記各中間層には、異なる種類の前記画像処理モジュールが設けられている、請求項1から4のいずれかに記載のニューラルネットワーク型画像処理装置。
  6. 前記出力層からの前記出力画像の出力とともに、前記入力画像から前記出力画像を出力するまでに適用された前記画像処理モジュール、及び適用された前記各画像処理モジュールの結合係数を出力可能となっている、請求項1からのいずれかに記載のニューラルネットワーク型画像処理装置。
  7. 検査対象物を撮影する撮影部と、
    請求項1からのいずれかに記載のニューラルネットワーク型画像処理装置と、
    を備え、
    前記撮影部によって撮影された画像を入力画像とし、外観検査用の画像を出力画像とするように、前記ニューラルネットワーク型画像処理装置が学習されている、外観検査装置。
  8. 前記出力画像に対して外観検査を行い、検査結果を出力する判定部をさらに備えている、請求項に記載の外観検査装置。
  9. 査対象物の撮影画像を前記入力画像とし、外観検査用の画像を前記出力画像とするように学習された、請求項1からのいずれかに記載のニューラルネットワーク型画像処理装置を準備するステップと、
    前記検査対象物を撮影するステップと、
    前記検査対象物の撮影画像を前記入力画像として前記ニューラルネットワーク型画像処理装置に入力し、前記出力画像を出力するステップと、
    を備えている、外観検査方法。
  10. 前記出力画像に対して外観検査を行い、検査結果を出力するステップをさらに備えている、請求項に記載の外観検査方法。
JP2018047256A 2018-03-14 2018-03-14 ニューラルネットワーク型画像処理装置 Active JP6791182B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018047256A JP6791182B2 (ja) 2018-03-14 2018-03-14 ニューラルネットワーク型画像処理装置
PCT/JP2019/006184 WO2019176479A1 (ja) 2018-03-14 2019-02-20 ニューラルネットワーク型画像処理装置
US16/976,471 US11361424B2 (en) 2018-03-14 2019-02-20 Neural network-type image processing device, appearance inspection apparatus and appearance inspection method
CN201980012168.5A CN111699496B (zh) 2018-03-14 2019-02-20 神经网络型图像处理装置、外观检查装置及外观检查方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018047256A JP6791182B2 (ja) 2018-03-14 2018-03-14 ニューラルネットワーク型画像処理装置

Publications (2)

Publication Number Publication Date
JP2019159956A JP2019159956A (ja) 2019-09-19
JP6791182B2 true JP6791182B2 (ja) 2020-11-25

Family

ID=67907671

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018047256A Active JP6791182B2 (ja) 2018-03-14 2018-03-14 ニューラルネットワーク型画像処理装置

Country Status (4)

Country Link
US (1) US11361424B2 (ja)
JP (1) JP6791182B2 (ja)
CN (1) CN111699496B (ja)
WO (1) WO2019176479A1 (ja)

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0630253A (ja) * 1992-07-08 1994-02-04 Ricoh Co Ltd 画像処理装置及び画像処理方法
JPH06273346A (ja) * 1993-03-24 1994-09-30 Hitachi Denshi Ltd はんだ付け状態検査装置
JP3642591B2 (ja) * 1994-11-29 2005-04-27 株式会社日立メディコ 画像処理装置
JP4320438B2 (ja) * 2003-06-06 2009-08-26 独立行政法人 国立印刷局 印刷物の文字列抽出処理装置
WO2008133951A2 (en) * 2007-04-24 2008-11-06 Massachusetts Institute Of Technology Method and apparatus for image processing
JP2010123072A (ja) * 2008-11-21 2010-06-03 Nagoya Institute Of Technology パルスニューロンモデルのためのバックプロパゲーション学習法
JP5564349B2 (ja) 2010-07-15 2014-07-30 株式会社キーエンス 画像処理装置及び外観検査方法
JP4775515B1 (ja) * 2011-03-14 2011-09-21 オムロン株式会社 画像照合装置、画像処理システム、画像照合プログラム、コンピュータ読み取り可能な記録媒体、および画像照合方法
CN104063719B (zh) * 2014-06-27 2018-01-26 深圳市赛为智能股份有限公司 基于深度卷积网络的行人检测方法及装置
CN104504658A (zh) * 2014-12-15 2015-04-08 中国科学院深圳先进技术研究院 基于bp神经网络的单一图像去雾方法及装置
KR102372214B1 (ko) * 2015-01-19 2022-03-14 삼성전자주식회사 영상 처리 장치, 의료영상 장치 및 영상 처리 방법
CN106056529B (zh) * 2015-04-03 2020-06-02 阿里巴巴集团控股有限公司 一种对用于图片识别的卷积神经网络训练的方法与设备
US10438112B2 (en) * 2015-05-26 2019-10-08 Samsung Electronics Co., Ltd. Method and apparatus of learning neural network via hierarchical ensemble learning
JP2017097585A (ja) * 2015-11-24 2017-06-01 株式会社リコー 学習装置、プログラム及び学習方法
JP2017182320A (ja) * 2016-03-29 2017-10-05 株式会社メガチップス 機械学習装置
JP6727543B2 (ja) * 2016-04-01 2020-07-22 富士ゼロックス株式会社 画像パターン認識装置及びプログラム
US10685429B2 (en) * 2017-02-22 2020-06-16 Siemens Healthcare Gmbh Denoising medical images by learning sparse image representations with a deep unfolding approach
US10234848B2 (en) * 2017-05-24 2019-03-19 Relativity Space, Inc. Real-time adaptive control of additive manufacturing processes using machine learning
CN107481231A (zh) * 2017-08-17 2017-12-15 广东工业大学 一种基于深度卷积神经网络的五金件缺陷分类识别方法
US10095977B1 (en) * 2017-10-04 2018-10-09 StradVision, Inc. Learning method and learning device for improving image segmentation and testing method and testing device using the same
US10740654B2 (en) * 2018-01-22 2020-08-11 Qualcomm Incorporated Failure detection for a neural network object tracker

Also Published As

Publication number Publication date
CN111699496B (zh) 2023-08-29
US20210004954A1 (en) 2021-01-07
JP2019159956A (ja) 2019-09-19
US11361424B2 (en) 2022-06-14
CN111699496A (zh) 2020-09-22
WO2019176479A1 (ja) 2019-09-19

Similar Documents

Publication Publication Date Title
CN110232719B (zh) 一种医学图像的分类方法、模型训练方法和服务器
Heath et al. Comparison of edge detectors: a methodology and initial study
EP3333768A1 (en) Method and apparatus for detecting target
JP6766839B2 (ja) 検査システム、画像識別システム、識別システム、識別器生成システム、及び学習データ生成装置
JP7297470B2 (ja) 画像処理方法、画像処理装置、プログラム、画像処理システム、および、学習済みモデルの製造方法
JP7362297B2 (ja) 画像処理装置、画像処理方法、及びプログラム
WO2022105608A1 (zh) 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质
WO2021261168A1 (ja) 検査装置、ユニット選択装置、検査方法、及び検査プログラム
JP7212554B2 (ja) 情報処理方法、情報処理装置、及びプログラム
CN112528782B (zh) 水下鱼类目标检测方法及装置
JP6844564B2 (ja) 検査システム、識別システム、及び学習データ生成装置
Leavline et al. On teaching digital image processing with MATLAB
CN110648326A (zh) 一种构建图像质量评估卷积神经网络的方法及装置
Pooja et al. Adaptive sparsity through hybrid regularization for effective image deblurring
JP6791182B2 (ja) ニューラルネットワーク型画像処理装置
JP7054603B2 (ja) 判定装置、判定方法、及び判定プログラム
US10540735B2 (en) Information processing device, information processing method, and recording medium
CN117274662A (zh) 一种改进ResNeXt神经网络的轻量级多模态医学图像分类方法
JP7059889B2 (ja) 学習装置、画像生成装置、学習方法、及び学習プログラム
US20220309612A1 (en) Image processing apparatus, image processing method, and storage medium
CN116071279A (zh) 图像处理方法、装置、计算机设备和存储介质
JP7070308B2 (ja) 推定器生成装置、検査装置、推定器生成方法、及び推定器生成プログラム
JP2018116672A (ja) 情報処理装置、情報処理方法およびプログラム
Conti et al. A regularized deep learning approach for image de-blurring
CN113496468A (zh) 深度图像的修复方法、装置和存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201006

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201019

R150 Certificate of patent or registration of utility model

Ref document number: 6791182

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150