JP7230873B2 - 異物検出装置、異物除去装置および異物検出方法 - Google Patents
異物検出装置、異物除去装置および異物検出方法 Download PDFInfo
- Publication number
- JP7230873B2 JP7230873B2 JP2020062831A JP2020062831A JP7230873B2 JP 7230873 B2 JP7230873 B2 JP 7230873B2 JP 2020062831 A JP2020062831 A JP 2020062831A JP 2020062831 A JP2020062831 A JP 2020062831A JP 7230873 B2 JP7230873 B2 JP 7230873B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- foreign matter
- scrap
- teacher
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P10/00—Technologies related to metal processing
- Y02P10/20—Recycling
Landscapes
- Sorting Of Articles (AREA)
- Image Analysis (AREA)
Description
また、この発明は、このような異物検出装置を用いて異物を除去する異物除去装置にも関している。
さらに、この発明は、鉄系スクラップに混在した異物を検出する異物検出方法にも関している。
鉄系スクラップから異物となる鉄以外の材料を取り除くには、鉄系スクラップ内における異物の位置を特定する必要がある。
このため、従来は、異物が混在する鉄系スクラップから精度よく異物を検出して取り除くことが困難であった。
また、この発明は、このような異物検出装置を用いて異物が混在する鉄系スクラップから異物を除去する異物除去装置を提供することも目的としている。
さらに、この発明は、異物が混在する鉄系スクラップから精度よく異物を検出することができる異物検出方法を提供することも目的としている。
種別判定部は、多層ニューラルネットワークにより構成され、多層ニューラルネットワークのパラメータは、鉄系スクラップに異物が混在する教師画像と、教師画像に対応し且つ教師画像内の異物が存在する位置に所定の標識によるラベル付けがなされた教師ラベルと、を含む複数の教師データに基づいて機械学習されることが好ましい。
教師データ作成部は、鉄系スクラップのみが撮像された鉄系スクラップ画像を取得する鉄系スクラップ画像取得部と、異物が含まれる異物含有画像を取得する異物含有画像取得部と、異物含有画像から異物の画像部分を切り出す画像切り出し部と、画像切り出し部により切り出され且つ鉄系スクラップを背景にした異物の画像部分を鉄系スクラップ画像に貼り付けることにより教師画像を作成する教師画像作成部と、教師画像に対応する教師ラベルを作成する教師ラベル作成部とを含むことが好ましい。
実施の形態1
図1に、実施の形態1に係る異物検出装置1の構成を示す。
異物検出装置1は、鉄系スクラップが含まれる対象物を撮像することにより対象物画像を取得する対象物画像取得部2と、対象物画像取得部2に有線または無線により接続され且つ対象物画像に基づいて対象物から鉄系スクラップと鉄系スクラップ以外の異物とを判別する画像判別部3とを備えている。
このような種別判定部4は、多数のパーセプトロンからなる多層ニューラルネットワークにより構成されている。
図2に、対象物画像取得部2により取得された対象物画像GAの一例を示す。対象物画像GAは、鉄系スクラップSを含む対象物Aが撮像された画像であり、図2に示される対象物画像GAには、鉄系スクラップSの間に異物Fが混在している対象物Aが写っている。
従って、図4に示される判定行列LAから、数値「1」が入力されている2つの行列要素MFに対応する対象物画像GAの画像要素Eに異物Fが写っており、数値「0」が入力されている他の行列要素に対応する対象物画像GAの画像要素Eには異物Fが写っていないこととなり、数値「1」の2つの行列要素MFに対応し且つ異物Fであると判定された2つの画像要素Eの集合体を異物Fと認識することができる。
種別判定部4を構成する多層ニューラルネットワークのパラメータが、種別判定機能学習部5により機械学習されることで、種別判定部4は、このような対象物画像GAの画像要素E毎の鉄系スクラップSと異物Fのいずれであるかの判定を行うことができる。
機械学習された種別判定部4が、精度の高い種別判定を行うためには、種別判定機能学習部5が、多数の教師データを用いて種別判定部4を機械学習することが望まれる。
種々の形状の鉄系スクラップSが存在するため、様々な形状の鉄系スクラップSの画像を多数取得することが望ましい。
また、鉄鋼製品を生産する際に鉄系スクラップSに混在する異物Fの形状には種々のものがあるため、様々な形状の異物Fの画像を多数取得することが望ましい。
なお、図11においては、便宜的に、異物Fに対応する行列要素MFに数値「1」を入力し、その他の行列要素に数値「0」を入力したが、異物Fに対応する行列要素MFとその他の行列要素とが互いに異なる数値を有していれば、他の数値とすることもできる。
教師ラベル作成部11は、このようにして教師画像作成部10により作成される多数の教師画像GTにそれぞれ対応する多数の教師ラベルLTを作成する。
教師データ作成部6により作成され且つ種別判定部4が種別判定を行う際のモデルとなる多数の教師データと、種別判定部4を構成する多層ニューラルネットワークのパラメータとを大容量記憶装置に格納し、CPUが主記憶装置を利用しながら演算を行うことで、種別判定部4による種別判定処理が実行される。
まず、対象物画像取得部2により、鉄鋼製品を製造するために収集された鉄系スクラップSを含む対象物Aが撮像され、図2に示されるような対象物画像GAが取得される。
取得された対象物画像GAは、有線または無線により対象物画像取得部2から画像判別部3に転送され、画像判別部3の種別判定部4に入力される。
判定行列LAから数値「1」が入力されている行列要素MFを抽出することにより、対象物A内に異物Fが含まれていることを検出することができる。さらに、数値「1」の行列要素MFに対応し且つ異物Fであると判定された画像要素Eの集合体を異物Fと認識することが可能となる。
たとえ、実物の異物が混在する鉄系スクラップの画像を取得することができたとしても、教師画像に対応する教師ラベルを生成するためには、鉄系スクラップに混在する異物を作業者が自らの目で判断して異物の位置を特定し、その位置に異物であることを表す数値当の標識でラベル付けする必要がある。多数の教師画像に対して、鉄系スクラップに混在する異物を作業者の目で判断することは、容易ではない。
図12に、実施の形態2に係る異物除去装置21の構成を示す。異物除去装置21は、実施の形態1の異物検出装置1を用いて、鉄系スクラップSに混在する異物Fを除去するものである。
異物除去装置21は、実施の形態1において説明した異物検出装置1と、異物検出装置1の種別判定部4に接続された異物位置特定部22と、異物位置特定部22に接続された異物除去制御部23と、異物除去制御部23に接続された異物除去部24とを備えている。
種別判定部4は、画像セグメンテーションにより画像要素E毎に種別判定を行い、判定結果を表す判定行列LAを出力するので、異物位置特定部22は、種別判定部4から出力された判定行列LAにおいて異物Fに対応する行列要素MFを確認して、異物Fであると判定された画像要素Eの集合体を異物Fと認識することにより、対象物画像GA上における異物Fの全***置を特定することができる。さらに、対象物画像GAは、対象物画像取得部2により鉄系スクラップSを含む対象物Aが撮像された画像であるので、異物位置特定部22は、対象物画像GA上における異物Fの全***置に基づいて、実空間での異物Fの外形座標を含んだ異物Fの位置を特定することができる。
異物除去部24は、異物除去制御部23による制御の下で、異物Fを除去するように作動するアクチュエータであり、図13に示されるように、鉄系スクラップSが含まれる対象物Aに対して、X方向、Y方向およびZ方向からなる三次元方向に移動可能に保持された把持部25を有している。なお、図13には、対象物Aの近傍に設置された対象物画像取得部2が示されている。
図14に、鉄系スクラップSと異物Fとを含む対象物Aから異物Fを除去した後、鉄系スクラップSを電気炉に装入する方法のフローチャートを示す。
図14と、図3~4、図12~13および図15を参照して、異物Fが除去された鉄系スクラップSを電気炉に装入する動作について説明する。
次に、ステップS2で、図13に示されるように、対象物Aの近傍に設置された対象物画像取得部2により対象物Aが撮像され、対象物画像GAが取得される。なお、図13には、鉄系スクラップSに異物Fが混在した対象物Aが示されている。
また、対象物画像取得部2により取得された対象物画像GAは、有線または無線により対象物画像取得部2から種別判定部4に転送される。
ステップS4で、対象物Aから異物Fが検出されると、ステップS5に進み、異物位置特定部22により、種別判定部4から出力された判定行列LAに基づいて、鉄系スクラップSに混在する異物Fの実空間での位置が特定され、実空間における異物Fの位置情報が出力される。
このようにして対象物Aから異物Fが除去された後、ステップS7で、鉄系スクラップSのみが、製造施設の図示しない電気炉に装入される。
なお、ステップS4で、対象物Aから異物Fが検出されなかった場合は、対象物Aが鉄系スクラップSのみからなると判断され、ステップS4からステップS7に進んで、鉄系スクラップSのみからなる対象物Aが電気炉に装入される。
また、鉄が含まれている異物Fを除去する場合には、異物除去部24として、電磁石により異物Fを吸着するものを使用してもよい。
Claims (9)
- 鉄系スクラップを含む対象物が撮像された対象物画像を取得する対象物画像取得部と、
前記対象物画像に基づいて前記対象物から前記鉄系スクラップと前記鉄系スクラップ以外の異物とを判別する画像判別部と、
を備え、
前記画像判別部は、種別判定部を含み、
前記種別判定部は、
前記対象物画像を複数の画像要素に分割し、
前記画像要素毎に前記鉄系スクラップと前記異物のいずれであるかを判定し、
判定された結果を、前記対象物画像の前記複数の画像要素と同じ個数で且つ同じ配列を有する複数の行列要素からなる判定行列として出力する、
異物検出装置。 - 前記種別判定部は、多層ニューラルネットワークにより構成され、
前記多層ニューラルネットワークのパラメータは、鉄系スクラップに異物が混在する教師画像と、前記教師画像に対応し且つ前記教師画像内の前記異物が存在する位置に所定の標識によるラベル付けがなされた教師ラベルと、を含む複数の教師データに基づいて機械学習されることで得られる請求項1に記載の異物検出装置。 - 請求項1または2に記載の異物検出装置と、
前記種別判定部により出力された前記判定行列に基づいて、実空間における前記異物の位置を特定する異物位置特定部と、
前記異物位置特定部により特定された前記異物の位置に基づいて、前記対象物から前記異物を除去する異物除去部と、
を備える異物除去装置。 - 鉄系スクラップを含む対象物が撮像された対象物画像を取得する対象物画像取得ステップと、
前記対象物画像に基づいて前記対象物から前記鉄系スクラップと前記鉄系スクラップ以外の異物とを判別する判別ステップと、
を備え、
前記判別ステップは種別判定ステップを含み、
前記種別判定ステップは、
前記対象物画像を複数の画像要素に分割し、
前記画像要素毎に前記鉄系スクラップと前記異物のいずれであるかを判定し、
判定された結果を、前記対象物画像の前記複数の画像要素と同じ個数で且つ同じ配列を有する複数の行列要素からなる判定行列として出力する、
異物検出方法。 - 鉄系スクラップを含む対象物が撮像された対象物画像を取得する対象物画像取得ステップと、
前記対象物画像を複数の画像要素に分割し、
前記画像要素毎に前記鉄系スクラップと前記前記鉄系スクラップ以外の異物のいずれであるかを判定し、
判定された結果を、前記対象物画像の前記複数の画像要素と同じ個数で且つ同じ配列を有する複数の行列要素からなる判定行列として出力する、
種別判定ステップと、
前記種別判定ステップにより出力された前記判定行列に基づいて、実空間における前記異物の位置を特定する異物位置特定ステップと、
前記異物位置特定ステップにより特定された前記異物の位置に基づいて、前記対象物から前記異物を除去する異物除去ステップと、
を備える異物除去方法。 - 鉄系スクラップを含む対象物から前記鉄系スクラップと前記鉄系スクラップ以外の異物とを判別する異物検出方法に用いる種別判定部のための教師データ作成方法であって、
前記鉄系スクラップのみが撮像された鉄系スクラップ画像を取得する鉄系スクラップ画像取得ステップと、
鉄系スクラップを背景として異物を撮像することにより異物含有画像を取得する異物含有画像取得ステップと、
前記異物含有画像から前記鉄系スクラップを背景にした前記異物の画像部分を切り出す画像切り出しステップと、
切り出され且つ前記鉄系スクラップを背景にした前記異物の画像部分を前記鉄系スクラップ画像に貼り付けることにより教師画像を作成する教師画像作成ステップと、
前記教師画像に対応し且つ前記教師画像内の前記異物が存在する位置に所定の標識によるラベル付けがなされた教師ラベルを作成する教師ラベル作成ステップと、
を含む教師データ作成方法。 - 鉄系スクラップを含む対象物から前記鉄系スクラップと前記鉄系スクラップ以外の異物とを判別する異物検出方法に用いる種別判定部の生成方法であって、
請求項6に記載の教師データ作成方法を用いて、複数の教師データを作成する教師データ作成ステップと、
前記教師データ作成ステップにより作成された前記複数の教師データを用いて、前記種別判定部を構成する多層ニューラルネットワークのパラメータを機械学習させる種別判定機能学習ステップと、
を含む種別判定部の生成方法。 - 前記画像判別部は、
前記複数の教師データを作成する教師データ作成部と、
前記教師データ作成部により作成された前記複数の教師データを用いて、前記種別判定部を構成する前記多層ニューラルネットワークのパラメータを機械学習させる種別判定機能学習部と、
を含む請求項2に記載の異物検出装置。 - 鉄系スクラップを含む対象物から前記鉄系スクラップと前記鉄系スクラップ以外の異物とを判別する異物検出装置に用いる種別判定部のための教師データ作成部であって、
前記鉄系スクラップのみが撮像された鉄系スクラップ画像を取得する鉄系スクラップ画像取得部と、
鉄系スクラップを背景として前記異物を撮像することにより前記異物が含まれる異物含有画像を取得する異物含有画像取得部と、
前記異物含有画像から前記鉄系スクラップを背景にした前記異物の画像部分を切り出す画像切り出し部と、
前記画像切り出し部により切り出され且つ鉄系スクラップを背景にした前記異物の画像部分を前記鉄系スクラップ画像に貼り付けることにより教師画像を作成する教師画像作成部と、
前記教師画像に対応し且つ前記教師画像内の前記異物が存在する位置に所定の標識によるラベル付けがなされた教師ラベルを作成する教師ラベル作成部と、
を含む、教師データ作成部。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020062831A JP7230873B2 (ja) | 2020-03-31 | 2020-03-31 | 異物検出装置、異物除去装置および異物検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020062831A JP7230873B2 (ja) | 2020-03-31 | 2020-03-31 | 異物検出装置、異物除去装置および異物検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021163078A JP2021163078A (ja) | 2021-10-11 |
JP7230873B2 true JP7230873B2 (ja) | 2023-03-01 |
Family
ID=78003454
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020062831A Active JP7230873B2 (ja) | 2020-03-31 | 2020-03-31 | 異物検出装置、異物除去装置および異物検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7230873B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022251373A1 (en) * | 2021-05-26 | 2022-12-01 | Sortera Alloys, Inc. | Sorting of contaminants |
WO2023100282A1 (ja) * | 2021-12-01 | 2023-06-08 | 株式会社安川電機 | データ生成システム、モデル生成システム、推定システム、学習済みモデルの製造方法、ロボット制御システム、データ生成方法、およびデータ生成プログラム |
WO2023233992A1 (ja) * | 2022-06-01 | 2023-12-07 | パナソニックIpマネジメント株式会社 | 非定形物の画像処理方法 |
CN116664957A (zh) * | 2023-07-26 | 2023-08-29 | 宁德时代新能源科技股份有限公司 | 金属异物来源识别方法、装置、电子设备及介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019164156A (ja) | 2018-02-14 | 2019-09-26 | 株式会社イシダ | 検査装置 |
WO2019209428A1 (en) | 2018-04-26 | 2019-10-31 | UHV Technologies, Inc. | Recycling coins from scrap |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3187244B2 (ja) * | 1994-04-14 | 2001-07-11 | 新日本製鐵株式会社 | 銅含有スクラップの識別分離装置 |
-
2020
- 2020-03-31 JP JP2020062831A patent/JP7230873B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019164156A (ja) | 2018-02-14 | 2019-09-26 | 株式会社イシダ | 検査装置 |
WO2019209428A1 (en) | 2018-04-26 | 2019-10-31 | UHV Technologies, Inc. | Recycling coins from scrap |
Non-Patent Citations (1)
Title |
---|
大羽 剛瑠 外1名,インスタンスセグメンテーションのための半教師あり学習を用いた画像合成,情報処理学会 研究報告 コンピュータビジョンとイメージメディア(CVIM),日本,情報処理学会,2019年05月23日,pp.1-8 |
Also Published As
Publication number | Publication date |
---|---|
JP2021163078A (ja) | 2021-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7230873B2 (ja) | 異物検出装置、異物除去装置および異物検出方法 | |
JP6705777B2 (ja) | 機械学習装置、検査装置及び機械学習方法 | |
JP3768174B2 (ja) | ワーク取出し装置 | |
CN113610921A (zh) | 混合工件抓取方法、设备及计算机可读存储介质 | |
CN105965519A (zh) | 一种视觉引导下的离合器下料定位方法 | |
CN110076751A (zh) | 机器人控制装置及机器人*** | |
CN102171531A (zh) | 工件形状推定装置及工件形状推定方法 | |
CN106903425B (zh) | 用于处理工件的方法 | |
CN113681553A (zh) | 一种采用数字孪生技术的机器人抓取*** | |
JP5263501B2 (ja) | デパレタイズ用のワーク位置認識装置および方法 | |
CN113177431B (zh) | 一种基于机器视觉和深度学习的集卡防吊起方法、*** | |
CN111709991B (zh) | 一种铁路工机具的检测方法、***、装置和存储介质 | |
CN116197885B (zh) | 基于压叠检测的图像数据过滤方法、装置、设备和介质 | |
US11983862B2 (en) | Inspection device and method for checking an object produced by sintering for defects | |
CN117474190B (zh) | 一种机柜自动巡检方法和装置 | |
CN116038714A (zh) | 一种基于3d相机的无序分拣方法及*** | |
CN116664871B (zh) | 一种基于深度学习的智能化控制方法及*** | |
CN116704467B (zh) | 一种车辆防砸自动识别方法、装置、设备和存储介质 | |
Becker et al. | Multiple Object Detection and Segmentation for Automated Removal in Additive Manufacturing with Service Robots | |
Kondaka et al. | Artfds–advanced railway track fault detection system using machine learning | |
CN116205837A (zh) | 图像数据处理方法、装置、电子设备和存储介质 | |
JP2010188415A (ja) | 鋼板等の検査識別方法および装置 | |
Kajan et al. | Robotic Vision Inspection of Weld Quality Using Convolutional Neural Networks | |
JP2008256466A (ja) | 欠陥検出装置、欠陥検出方法および欠陥検出プログラム | |
KR20230116537A (ko) | 딥러닝 기술 기반의 불량품 선별 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211019 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230130 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7230873 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |