JP2021163078A - 異物検出装置、異物除去装置および異物検出方法 - Google Patents
異物検出装置、異物除去装置および異物検出方法 Download PDFInfo
- Publication number
- JP2021163078A JP2021163078A JP2020062831A JP2020062831A JP2021163078A JP 2021163078 A JP2021163078 A JP 2021163078A JP 2020062831 A JP2020062831 A JP 2020062831A JP 2020062831 A JP2020062831 A JP 2020062831A JP 2021163078 A JP2021163078 A JP 2021163078A
- Authority
- JP
- Japan
- Prior art keywords
- foreign matter
- image
- iron
- teacher
- scrap
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P10/00—Technologies related to metal processing
- Y02P10/20—Recycling
Landscapes
- Sorting Of Articles (AREA)
- Image Analysis (AREA)
Abstract
Description
また、この発明は、このような異物検出装置を用いて異物を除去する異物除去装置にも関している。
さらに、この発明は、鉄系スクラップに混在した異物を検出する異物検出方法にも関している。
鉄系スクラップから異物となる鉄以外の材料を取り除くには、鉄系スクラップ内における異物の位置を特定する必要がある。
このため、従来は、異物が混在する鉄系スクラップから精度よく異物を検出して取り除くことが困難であった。
また、この発明は、このような異物検出装置を用いて異物が混在する鉄系スクラップから異物を除去する異物除去装置を提供することも目的としている。
さらに、この発明は、異物が混在する鉄系スクラップから精度よく異物を検出することができる異物検出方法を提供することも目的としている。
種別判定部は、多層ニューラルネットワークにより構成され、多層ニューラルネットワークのパラメータは、鉄系スクラップに異物が混在する教師画像と、教師画像に対応し且つ教師画像内の異物が存在する位置に所定の標識によるラベル付けがなされた教師ラベルと、を含む複数の教師データに基づいて機械学習されることが好ましい。
教師データ作成部は、鉄系スクラップのみが撮像された鉄系スクラップ画像を取得する鉄系スクラップ画像取得部と、異物が含まれる異物含有画像を取得する異物含有画像取得部と、異物含有画像から異物の画像部分を切り出す画像切り出し部と、画像切り出し部により切り出され且つ鉄系スクラップを背景にした異物の画像部分を鉄系スクラップ画像に貼り付けることにより教師画像を作成する教師画像作成部と、教師画像に対応する教師ラベルを作成する教師ラベル作成部とを含むことが好ましい。
実施の形態1
図1に、実施の形態1に係る異物検出装置1の構成を示す。
異物検出装置1は、鉄系スクラップが含まれる対象物を撮像することにより対象物画像を取得する対象物画像取得部2と、対象物画像取得部2に有線または無線により接続され且つ対象物画像に基づいて対象物から鉄系スクラップと鉄系スクラップ以外の異物とを判別する画像判別部3とを備えている。
このような種別判定部4は、多数のパーセプトロンからなる多層ニューラルネットワークにより構成されている。
図2に、対象物画像取得部2により取得された対象物画像GAの一例を示す。対象物画像GAは、鉄系スクラップSを含む対象物Aが撮像された画像であり、図2に示される対象物画像GAには、鉄系スクラップSの間に異物Fが混在している対象物Aが写っている。
従って、図4に示される判定行列LAから、数値「1」が入力されている2つの行列要素MFに対応する対象物画像GAの画像要素Eに異物Fが写っており、数値「0」が入力されている他の行列要素に対応する対象物画像GAの画像要素Eには異物Fが写っていないこととなり、数値「1」の2つの行列要素MFに対応し且つ異物Fであると判定された2つの画像要素Eの集合体を異物Fと認識することができる。
種別判定部4を構成する多層ニューラルネットワークのパラメータが、種別判定機能学習部5により機械学習されることで、種別判定部4は、このような対象物画像GAの画像要素E毎の鉄系スクラップSと異物Fのいずれであるかの判定を行うことができる。
機械学習された種別判定部4が、精度の高い種別判定を行うためには、種別判定機能学習部5が、多数の教師データを用いて種別判定部4を機械学習することが望まれる。
種々の形状の鉄系スクラップSが存在するため、様々な形状の鉄系スクラップSの画像を多数取得することが望ましい。
また、鉄鋼製品を生産する際に鉄系スクラップSに混在する異物Fの形状には種々のものがあるため、様々な形状の異物Fの画像を多数取得することが望ましい。
なお、図11においては、便宜的に、異物Fに対応する行列要素MFに数値「1」を入力し、その他の行列要素に数値「0」を入力したが、異物Fに対応する行列要素MFとその他の行列要素とが互いに異なる数値を有していれば、他の数値とすることもできる。
教師ラベル作成部11は、このようにして教師画像作成部10により作成される多数の教師画像GTにそれぞれ対応する多数の教師ラベルLTを作成する。
教師データ作成部6により作成され且つ種別判定部4が種別判定を行う際のモデルとなる多数の教師データと、種別判定部4を構成する多層ニューラルネットワークのパラメータとを大容量記憶装置に格納し、CPUが主記憶装置を利用しながら演算を行うことで、種別判定部4による種別判定処理が実行される。
まず、対象物画像取得部2により、鉄鋼製品を製造するために収集された鉄系スクラップSを含む対象物Aが撮像され、図2に示されるような対象物画像GAが取得される。
取得された対象物画像GAは、有線または無線により対象物画像取得部2から画像判別部3に転送され、画像判別部3の種別判定部4に入力される。
判定行列LAから数値「1」が入力されている行列要素MFを抽出することにより、対象物A内に異物Fが含まれていることを検出することができる。さらに、数値「1」の行列要素MFに対応し且つ異物Fであると判定された画像要素Eの集合体を異物Fと認識することが可能となる。
たとえ、実物の異物が混在する鉄系スクラップの画像を取得することができたとしても、教師画像に対応する教師ラベルを生成するためには、鉄系スクラップに混在する異物を作業者が自らの目で判断して異物の位置を特定し、その位置に異物であることを表す数値当の標識でラベル付けする必要がある。多数の教師画像に対して、鉄系スクラップに混在する異物を作業者の目で判断することは、容易ではない。
図12に、実施の形態2に係る異物除去装置21の構成を示す。異物除去装置21は、実施の形態1の異物検出装置1を用いて、鉄系スクラップSに混在する異物Fを除去するものである。
異物除去装置21は、実施の形態1において説明した異物検出装置1と、異物検出装置1の種別判定部4に接続された異物位置特定部22と、異物位置特定部22に接続された異物除去制御部23と、異物除去制御部23に接続された異物除去部24とを備えている。
種別判定部4は、画像セグメンテーションにより画像要素E毎に種別判定を行い、判定結果を表す判定行列LAを出力するので、異物位置特定部22は、種別判定部4から出力された判定行列LAにおいて異物Fに対応する行列要素MFを確認して、異物Fであると判定された画像要素Eの集合体を異物Fと認識することにより、対象物画像GA上における異物Fの全***置を特定することができる。さらに、対象物画像GAは、対象物画像取得部2により鉄系スクラップSを含む対象物Aが撮像された画像であるので、異物位置特定部22は、対象物画像GA上における異物Fの全***置に基づいて、実空間での異物Fの外形座標を含んだ異物Fの位置を特定することができる。
異物除去部24は、異物除去制御部23による制御の下で、異物Fを除去するように作動するアクチュエータであり、図13に示されるように、鉄系スクラップSが含まれる対象物Aに対して、X方向、Y方向およびZ方向からなる三次元方向に移動可能に保持された把持部25を有している。なお、図13には、対象物Aの近傍に設置された対象物画像取得部2が示されている。
図14に、鉄系スクラップSと異物Fとを含む対象物Aから異物Fを除去した後、鉄系スクラップSを電気炉に装入する方法のフローチャートを示す。
図14と、図3〜4、図12〜13および図15を参照して、異物Fが除去された鉄系スクラップSを電気炉に装入する動作について説明する。
次に、ステップS2で、図13に示されるように、対象物Aの近傍に設置された対象物画像取得部2により対象物Aが撮像され、対象物画像GAが取得される。なお、図13には、鉄系スクラップSに異物Fが混在した対象物Aが示されている。
また、対象物画像取得部2により取得された対象物画像GAは、有線または無線により対象物画像取得部2から種別判定部4に転送される。
ステップS4で、対象物Aから異物Fが検出されると、ステップS5に進み、異物位置特定部22により、種別判定部4から出力された判定行列LAに基づいて、鉄系スクラップSに混在する異物Fの実空間での位置が特定され、実空間における異物Fの位置情報が出力される。
このようにして対象物Aから異物Fが除去された後、ステップS7で、鉄系スクラップSのみが、製造施設の図示しない電気炉に装入される。
なお、ステップS4で、対象物Aから異物Fが検出されなかった場合は、対象物Aが鉄系スクラップSのみからなると判断され、ステップS4からステップS7に進んで、鉄系スクラップSのみからなる対象物Aが電気炉に装入される。
また、鉄が含まれている異物Fを除去する場合には、異物除去部24として、電磁石により異物Fを吸着するものを使用してもよい。
Claims (7)
- 鉄系スクラップを含む対象物が撮像された対象物画像を取得する対象物画像取得部と、
前記対象物画像に基づいて前記対象物から前記鉄系スクラップと前記鉄系スクラップ以外の異物とを判別することにより前記異物を検出する画像判別部と
を備えることを特徴とする異物検出装置。 - 前記画像判別部は、前記対象物画像を複数の画像要素に分割して前記画像要素毎に前記鉄系スクラップと前記鉄系スクラップ以外の異物のいずれであるかを判定し且つ異物であると判定された前記画像要素の集合体を前記異物と認識する種別判定部を含む請求項1に記載の異物検出装置。
- 前記種別判定部は、多層ニューラルネットワークにより構成され、
前記多層ニューラルネットワークのパラメータは、鉄系スクラップに異物が混在する教師画像と、前記教師画像に対応し且つ前記教師画像内の前記異物が存在する位置に所定の標識によるラベル付けがなされた教師ラベルと、を含む複数の教師データに基づいて機械学習される請求項2に記載の異物検出装置。 - 前記画像判別部は、
前記複数の教師データを作成する教師データ作成部と、
前記教師データ作成部により作成された前記複数の教師データを用いて、前記種別判定部を構成する前記多層ニューラルネットワークのパラメータを機械学習させる種別判定機能学習部と
を含む請求項3に記載の異物検出装置。 - 前記教師データ作成部は、
前記鉄系スクラップのみが撮像された鉄系スクラップ画像を取得する鉄系スクラップ画像取得部と、
前記異物が含まれる異物含有画像を取得する異物含有画像取得部と、
前記異物含有画像から前記異物の画像部分を切り出す画像切り出し部と、
前記画像切り出し部により切り出され且つ鉄系スクラップを背景にした前記異物の画像部分を前記鉄系スクラップ画像に貼り付けることにより前記教師画像を作成する教師画像作成部と、
前記教師画像に対応する前記教師ラベルを作成する教師ラベル作成部と
を含む請求項4に記載の異物検出装置。 - 請求項1〜5のいずれか一項に記載の異物検出装置と、
前記種別判定部による判定結果に基づいて実空間における前記異物の位置を特定する異物位置特定部と、
前記異物位置特定部により特定された前記異物の位置に基づいて、前記対象物から前記異物を除去する異物除去部と
を備えることを特徴とする異物除去装置。 - 鉄系スクラップを含む対象物が撮像された対象物画像を取得する対象物画像取得ステップと、
前記対象物画像に基づいて前記対象物から前記鉄系スクラップと前記鉄系スクラップ以外の異物とを判別することにより前記異物を検出する判別ステップと
を備えたことを特徴とする異物検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020062831A JP7230873B2 (ja) | 2020-03-31 | 2020-03-31 | 異物検出装置、異物除去装置および異物検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020062831A JP7230873B2 (ja) | 2020-03-31 | 2020-03-31 | 異物検出装置、異物除去装置および異物検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021163078A true JP2021163078A (ja) | 2021-10-11 |
JP7230873B2 JP7230873B2 (ja) | 2023-03-01 |
Family
ID=78003454
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020062831A Active JP7230873B2 (ja) | 2020-03-31 | 2020-03-31 | 異物検出装置、異物除去装置および異物検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7230873B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022251373A1 (en) * | 2021-05-26 | 2022-12-01 | Sortera Alloys, Inc. | Sorting of contaminants |
WO2023100282A1 (ja) * | 2021-12-01 | 2023-06-08 | 株式会社安川電機 | データ生成システム、モデル生成システム、推定システム、学習済みモデルの製造方法、ロボット制御システム、データ生成方法、およびデータ生成プログラム |
CN116664957A (zh) * | 2023-07-26 | 2023-08-29 | 宁德时代新能源科技股份有限公司 | 金属异物来源识别方法、装置、电子设备及介质 |
WO2023233992A1 (ja) * | 2022-06-01 | 2023-12-07 | パナソニックIpマネジメント株式会社 | 非定形物の画像処理方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07280747A (ja) * | 1994-04-14 | 1995-10-27 | Nippon Steel Corp | 銅含有スクラップの識別分離装置 |
JP2019164156A (ja) * | 2018-02-14 | 2019-09-26 | 株式会社イシダ | 検査装置 |
WO2019209428A1 (en) * | 2018-04-26 | 2019-10-31 | UHV Technologies, Inc. | Recycling coins from scrap |
-
2020
- 2020-03-31 JP JP2020062831A patent/JP7230873B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07280747A (ja) * | 1994-04-14 | 1995-10-27 | Nippon Steel Corp | 銅含有スクラップの識別分離装置 |
JP2019164156A (ja) * | 2018-02-14 | 2019-09-26 | 株式会社イシダ | 検査装置 |
WO2019209428A1 (en) * | 2018-04-26 | 2019-10-31 | UHV Technologies, Inc. | Recycling coins from scrap |
Non-Patent Citations (1)
Title |
---|
大羽 剛瑠 外1名: "インスタンスセグメンテーションのための半教師あり学習を用いた画像合成", 情報処理学会 研究報告 コンピュータビジョンとイメージメディア(CVIM), JPN6022046291, 23 May 2019 (2019-05-23), JP, pages 1 - 8, ISSN: 0004910058 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022251373A1 (en) * | 2021-05-26 | 2022-12-01 | Sortera Alloys, Inc. | Sorting of contaminants |
WO2023100282A1 (ja) * | 2021-12-01 | 2023-06-08 | 株式会社安川電機 | データ生成システム、モデル生成システム、推定システム、学習済みモデルの製造方法、ロボット制御システム、データ生成方法、およびデータ生成プログラム |
WO2023233992A1 (ja) * | 2022-06-01 | 2023-12-07 | パナソニックIpマネジメント株式会社 | 非定形物の画像処理方法 |
CN116664957A (zh) * | 2023-07-26 | 2023-08-29 | 宁德时代新能源科技股份有限公司 | 金属异物来源识别方法、装置、电子设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
JP7230873B2 (ja) | 2023-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2021163078A (ja) | 異物検出装置、異物除去装置および異物検出方法 | |
JP3394278B2 (ja) | 視覚センサ座標系設定治具及び設定方法 | |
CN103207185A (zh) | 钢卷端部质量检测***及方法 | |
CN105965519A (zh) | 一种视觉引导下的离合器下料定位方法 | |
CN113361539B (zh) | 一种井下巡检机器人的仪表读取方法、装置及电子设备 | |
EP3623882A1 (en) | Identifying type and alignment of a workpiece | |
CN112621765B (zh) | 一种基于机械手的设备自动组装控制方法及装置 | |
JP2018165893A (ja) | 作業支援装置、作業支援方法、及び作業支援プログラム | |
JP2006252364A (ja) | 点検作業管理システム | |
JP7330864B2 (ja) | スクラップ画像撮影システム、スクラップ画像撮影方法、撮影支援装置、及びプログラム | |
CN117647527A (zh) | 玻璃板的缺陷检测方法及设备、存储介质 | |
CN108615232A (zh) | 瓷层缺陷的检测方法、装置和检测平台 | |
JP2548648B2 (ja) | 切断方法及び切断装置 | |
WO2021177245A1 (ja) | 画像処理装置、作業指示作成システム、作業指示作成方法 | |
CN110634136B (zh) | 一种管道壁破损检测方法、装置及*** | |
CN111709991A (zh) | 一种铁路工机具的检测方法、***、装置和存储介质 | |
JPH07121713A (ja) | パターン認識方法 | |
CN116664871B (zh) | 一种基于深度学习的智能化控制方法及*** | |
JP2020113019A (ja) | 測定システム | |
CN116977998B (zh) | 涂装生产线工件上件视觉识别***及识别方法 | |
CN116038714A (zh) | 一种基于3d相机的无序分拣方法及*** | |
JP2010188415A (ja) | 鋼板等の検査識別方法および装置 | |
CN117474190B (zh) | 一种机柜自动巡检方法和装置 | |
JP2527233Y2 (ja) | ワーク位置検出装置 | |
Becker et al. | Multiple Object Detection and Segmentation for Automated Removal in Additive Manufacturing with Service Robots |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211019 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230130 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7230873 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |