JP6795788B2 - 産業機器用の画像認識装置及び画像認識方法 - Google Patents
産業機器用の画像認識装置及び画像認識方法 Download PDFInfo
- Publication number
- JP6795788B2 JP6795788B2 JP2017010723A JP2017010723A JP6795788B2 JP 6795788 B2 JP6795788 B2 JP 6795788B2 JP 2017010723 A JP2017010723 A JP 2017010723A JP 2017010723 A JP2017010723 A JP 2017010723A JP 6795788 B2 JP6795788 B2 JP 6795788B2
- Authority
- JP
- Japan
- Prior art keywords
- image recognition
- image
- information
- setting unit
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 48
- 238000010801 machine learning Methods 0.000 claims description 44
- 230000008569 process Effects 0.000 claims description 35
- 238000004422 calculation algorithm Methods 0.000 claims description 30
- 238000013135 deep learning Methods 0.000 claims description 19
- 238000011156 evaluation Methods 0.000 claims description 7
- 238000007689 inspection Methods 0.000 description 57
- 238000012545 processing Methods 0.000 description 26
- 235000013305 food Nutrition 0.000 description 24
- 238000013528 artificial neural network Methods 0.000 description 19
- 238000013461 design Methods 0.000 description 18
- 230000005856 abnormality Effects 0.000 description 10
- 230000032258 transport Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000003909 pattern recognition Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 235000021067 refined food Nutrition 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 241000972773 Aulopiformes Species 0.000 description 1
- 235000013194 Lyophyllum decastes Nutrition 0.000 description 1
- 240000005856 Lyophyllum decastes Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 235000019688 fish Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 235000019515 salmon Nutrition 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Description
図1は、本実施形態の産業機器用の画像認識装置を備えた画像検査システムの概略的なシステムブロック構成の一例を表している。この画像検査システムは、ベルトコンベアで搬送中の加工食品を対象物として、各個体の加工状態を画像認識により検査し異常の有無で選別するシステムである。図1において、画像検査システム1は、搬送選別機2と、カメラ3と、画像検査装置4と、入力装置5と、表示装置6と、機械制御装置7とを有している。
近年では、機械学習技術の発達により画像認識の精度が向上しており、対象物自体の種類はもちろんその詳細な状態までの認識が高い精度で可能となっている。このような画像認識技術を用いて、本実施形態のように食品工場などにおいて所定種類の不定形にある食品の加工状態を詳細に検査したいという要望がある。
まず、画像認識部11の具体的構成について、例えば画像認識アルゴリズムに深層学習(ディープラーニング)を適用した場合の例を以下に説明する。図2は、深層学習を適用した場合における画像認識部11のニューラルネットワークの概略モデル構成の一例を示している。
なお認識内容には上記の検査項目の他に、食品10の位置の認識に関する情報を含んでいてもよい。
次に設定部12の学習フェーズについて説明する。上述したように、設定部12自体もまた機械学習プロセスでの学習内容に基づく処理部であり、その取り扱いについては設計フェーズと、学習フェーズと、運用フェーズに分けられる。本実施形態の例では、設定部12の設計フェーズ、つまり設定部12自体に適用するアルゴリズムの選択とハイパーパラメータとして用いる項目の選定や初期設定は、当該画像検査装置4の開発時に技術者によって行われるものとする。
上述したように、画像認識部11は機械学習プロセスでの学習内容に基づく処理部であり、その取り扱いについては設計フェーズと、学習フェーズと、運用フェーズに分けられる。
以上説明したように、本実施形態の画像検査システム1が備える画像検査装置4は、画像認識部11に画像データと検査結果情報(状態情報)の対応関係を当該画像認識部11の学習フェーズで機械学習させる以前に、さらに別途上位の学習フェーズで機械学習した設定部12により画像認識部11における適切なハイパーパラメータの設定を機械的に行わせることができる。つまり、これまで技術者の技量に依存していた画像認識AIの設計自体も設定AIで自動的に行わせることが可能となる。これにより、対象物の種類や目的とする認識内容に応じた画像認識部11を実装する際における人的コスト及び時間的コストを削減できるとともに、技術者個人の技量差によらず一律に安定した認識精度を確保することができる。この結果、画像認識処理の実用性を向上できる。
なお、以上説明した実施形態は、その趣旨及び技術的思想を逸脱しない範囲内で種々の変形が可能である。
上記実施形態では、設定部12を深層学習で実装した例を示したが、これに限られず他の機械学習で設定部12を実装してもよい。また、特に図示説明しないが、設定部12自体の設計フェーズもまたさらに上位の設定部(特に図示せず)によって機械的に行ってもよい。また上記実施形態では画像認識部11に4つの検査項目(認識内容)それぞれの検査結果情報を出力させていたが、これに限られない。例えば、画像認識部11の設計フェーズ(設定部12の運用フェーズ)においてユーザが任意に選択した検査項目にだけ対応したハイパーパラメータを、設定部12が設定してもよい。
図9に示す例では、それぞれの撮像領域が重複する2台のカメラ41,42で構成されたいわゆる3次元カメラ43を用いて1つの食品F(図示する例では鳥唐揚げ)をそれぞれ異なる撮像方向から撮像している。これにより、図10の左側に示すように、1つの食品Fに対して相互に視差を有する2つの画像データ(それぞれ2次元ピクセル列)を取得することができる。
また特に図示しないが、対象物の画像データを取得する光学的センシング手段としてレーザースキャナ等をカメラ2(および3次元カメラ43)の代わりに用いてもよい。この場合には、例えばレーザースキャナから投光された走査線で対象物の表面上における各点との距離を計測し、これらの距離データの集合で画像データを取得する。また、画像認識部11は、外観部分画像の画像データではなく、例えば3D立体モデルを形状情報として取得してもよい。
次に、図11を参照しつつ、上記で説明したCPU901が実行するプログラムによりソフトウェア的に実装された画像認識部11、設定部12等による処理を実現する画像検査装置4のハードウェア構成例について説明する。
2 搬送選別機
3 カメラ
4 画像検査装置(産業機器用の画像認識装置)
5 入力装置
6 表示装置
7 機械制御装置
10,F 食品(対象物)
11 画像認識部
12 設定部
21 ベルトコンベア
22 選別アクチュエータ
Claims (8)
- 第1の機械学習プロセスでの学習内容に基づいて、対象物の外観画像情報を画像認識することにより当該対象物の状態情報を出力する、あらかじめ複数用意された画像認識アルゴリズムのうちから選択されたものを実装可能な画像認識部と、
第2の機械学習プロセスでの学習内容に基づいて、前記第1の機械学習プロセスを実行させる前記画像認識部に関するハイパーパラメータであって前記画像認識アルゴリズムの種類を含む前記ハイパーパラメータを設定する設定部と、
を有することを特徴とする画像認識装置。 - 前記設定部は、
前記対象物に関する対象物情報、及び当該対象物のどのような状態を前記状態情報として認識するかに関する認識内容情報に対応したハイパーパラメータを設定することを特徴とする請求項1記載の画像認識装置。 - 前記対象物情報は、前記対象物の外観画像情報であることを特徴とする請求項2記載の画像認識装置。
- 前記第2の機械学習プロセスにおいて前記設定部は、外観画像情報及び認識内容情報に対して設定すべきハイパーパラメータとの対応関係を学習することを特徴とする請求項3記載の画像認識装置。
- 前記第2の機械学習プロセスは、対象物情報、認識内容情報、及び評価値の少なくとも1つとハイパーパラメータとを対応付けたデータセットを用いて前記設定部を機械学習させることを特徴とする請求項2乃至4のいずれか1項に記載の画像認識装置。
- 前記設定部は、
前記第1の機械学習プロセスの進行度に応じて前記ハイパーパラメータを変更することを特徴とする請求項1乃至5のいずれか1項に記載の画像認識装置。 - 前記第1の機械学習プロセスにおける前記画像認識アルゴリズムは深層学習であり、前記ハイパーパラメータは層数、ノード数、及び学習率の少なくとも1つを含むことを特徴とする請求項1乃至6のいずれか1項に記載の画像認識装置。
- 第1の機械学習プロセスでの学習内容に基づいて、あらかじめ複数用意された画像認識アルゴリズムのうちから選択された前記画像認識アルゴリズムにより対象物の外観画像情報を画像認識することにより当該対象物の状態情報を出力することと、
第2の機械学習プロセスでの学習内容に基づいて、前記第1の機械学習プロセスを実行させる際のハイパーパラメータであって前記画像認識アルゴリズムの種類を含む前記ハイパーパラメータを設定することと、
を実行することを特徴とする画像認識方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017010723A JP6795788B2 (ja) | 2017-01-24 | 2017-01-24 | 産業機器用の画像認識装置及び画像認識方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017010723A JP6795788B2 (ja) | 2017-01-24 | 2017-01-24 | 産業機器用の画像認識装置及び画像認識方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018120373A JP2018120373A (ja) | 2018-08-02 |
JP6795788B2 true JP6795788B2 (ja) | 2020-12-02 |
Family
ID=63045150
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017010723A Active JP6795788B2 (ja) | 2017-01-24 | 2017-01-24 | 産業機器用の画像認識装置及び画像認識方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6795788B2 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020046270A (ja) * | 2018-09-18 | 2020-03-26 | 株式会社イシダ | 包装及び検査システム |
JP2020051982A (ja) * | 2018-09-28 | 2020-04-02 | Jfeテクノリサーチ株式会社 | 画像検査装置及び検査モデル構築システム |
CN111123849A (zh) * | 2018-10-30 | 2020-05-08 | 施耐德电气工业公司 | 用于工业控制的方法和设备 |
WO2020116195A1 (ja) * | 2018-12-07 | 2020-06-11 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体 |
JP7262232B2 (ja) * | 2019-01-29 | 2023-04-21 | 東京エレクトロン株式会社 | 画像認識システムおよび画像認識方法 |
JP7194613B2 (ja) * | 2019-02-28 | 2022-12-22 | デンカ株式会社 | 基板の製造方法 |
JP7195977B2 (ja) * | 2019-02-28 | 2022-12-26 | デンカ株式会社 | 基板検査装置、基板検査方法、およびプログラム |
JP7211677B2 (ja) * | 2019-03-29 | 2023-01-24 | 株式会社日立ソリューションズ・クリエイト | 食材管理支援システムおよび食材管理支援方法 |
JP7401995B2 (ja) * | 2019-08-26 | 2023-12-20 | 株式会社 ゼンショーホールディングス | 載置状態管理装置、載置状態管理方法及び載置状態管理プログラム |
JP2021051702A (ja) * | 2019-09-26 | 2021-04-01 | Nriシステムテクノ株式会社 | 検査支援装置、検査支援方法、検査支援システム、検査装置、検査方法、およびプログラム |
CN115335855A (zh) * | 2020-04-30 | 2022-11-11 | 株式会社高井制作所 | 豆腐制品的检查设备、豆腐制品的制造***、豆腐制品的检查方法及程序 |
JP7248317B2 (ja) * | 2020-04-30 | 2023-03-29 | 株式会社高井製作所 | 豆腐類製造システム |
KR20230004507A (ko) * | 2020-04-30 | 2023-01-06 | 가부시키가이샤 타카이세이사쿠쇼 | 두부류 제조 시스템 |
JP7248316B2 (ja) * | 2020-04-30 | 2023-03-29 | 株式会社高井製作所 | 豆腐類検査装置、豆腐類製造システム、豆腐類の検査方法、およびプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09185595A (ja) * | 1996-01-08 | 1997-07-15 | Fujitsu Ltd | 砂時計ニューラルネットワークの引き延ばし学習方法および能動的物体認識装置 |
JP2006252333A (ja) * | 2005-03-11 | 2006-09-21 | Nara Institute Of Science & Technology | データ処理方法、データ処理装置およびそのプログラム |
JP6236296B2 (ja) * | 2013-11-14 | 2017-11-22 | 株式会社デンソーアイティーラボラトリ | 学習装置、学習プログラム、及び学習方法 |
JP6632288B2 (ja) * | 2014-12-12 | 2020-01-22 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
-
2017
- 2017-01-24 JP JP2017010723A patent/JP6795788B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018120373A (ja) | 2018-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6795788B2 (ja) | 産業機器用の画像認識装置及び画像認識方法 | |
Alexopoulos et al. | Digital twin-driven supervised machine learning for the development of artificial intelligence applications in manufacturing | |
JP7112501B2 (ja) | ディープラーニングに基づく画像比較装置と方法及びコンピューター可読媒体に保存されたコンピュータープログラム | |
JP7186304B2 (ja) | 欠陥検査装置 | |
EP3284563B1 (en) | Picking system | |
US11475289B2 (en) | Learning device unit | |
Furmann et al. | Interactive design of reconfigurable logistics systems | |
WO2020071174A1 (ja) | 学習装置、制御装置、学習方法、及び学習プログラム | |
Wilhelm et al. | Improving Human-Machine Interaction with a Digital Twin: Adaptive Automation in Container Unloading | |
Zhang et al. | A CNN-based grasp planning method for random picking of unknown objects with a vacuum gripper | |
CN114556383A (zh) | 模型生成装置、推定装置、模型生成方法以及模型生成程序 | |
WO2021221176A1 (ja) | 豆腐類検査装置、豆腐類製造システム、豆腐類の検査方法、およびプログラム | |
US20230201973A1 (en) | System and method for automatic detection of welding tasks | |
Alarcon-Herrera et al. | Viewpoint selection for vision systems in industrial inspection | |
Ahlin | The robotic workbench and poultry processing 2.0 | |
JP2021179418A (ja) | 豆腐類検査装置、豆腐類製造システム、豆腐類の検査方法、およびプログラム | |
Kattepur | Robotic Tele-operation Performance Analysis via Digital Twin Simulations | |
EP3910595A1 (en) | Reinforcement learning based conveyoring control | |
Syberfeldt et al. | Improved automatic quality inspections through the integration of state-of-the-art machine vision and collaborative robots | |
JP7070308B2 (ja) | 推定器生成装置、検査装置、推定器生成方法、及び推定器生成プログラム | |
US20210356946A1 (en) | Method and system for analyzing and/or configuring an industrial installation | |
JP7470062B2 (ja) | 情報処理装置、および、学習認識システム | |
WO2021019734A1 (ja) | 分類方法、分類プログラム、分類装置、学習方法、学習プログラム及び学習装置 | |
Nikolakis et al. | A digital twin-enabled cyber-physical system approach for mixed packaging | |
US20240198515A1 (en) | Transformation for covariate shift of grasp neural networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190613 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20200227 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20200227 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200817 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200909 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201008 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201014 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201027 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6795788 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |