JP7036296B1 - スクラップ判別システム、及びスクラップ判別方法 - Google Patents

スクラップ判別システム、及びスクラップ判別方法 Download PDF

Info

Publication number
JP7036296B1
JP7036296B1 JP2021571482A JP2021571482A JP7036296B1 JP 7036296 B1 JP7036296 B1 JP 7036296B1 JP 2021571482 A JP2021571482 A JP 2021571482A JP 2021571482 A JP2021571482 A JP 2021571482A JP 7036296 B1 JP7036296 B1 JP 7036296B1
Authority
JP
Japan
Prior art keywords
scrap
image
discrimination
model
grade
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021571482A
Other languages
English (en)
Other versions
JPWO2022034798A1 (ja
Inventor
太 小笠原
康夫 岸本
保嘉 高雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JFE Steel Corp
Original Assignee
JFE Steel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JFE Steel Corp filed Critical JFE Steel Corp
Publication of JPWO2022034798A1 publication Critical patent/JPWO2022034798A1/ja
Application granted granted Critical
Publication of JP7036296B1 publication Critical patent/JP7036296B1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0054—Sorting of waste or refuse
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P10/00—Technologies related to metal processing
    • Y02P10/20—Recycling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Processing Of Solid Wastes (AREA)
  • Sorting Of Articles (AREA)

Abstract

スクラップの判別技術を改善できるスクラップ判別システム、及びスクラップ判別方法が提供される。カメラ画像に基づき、該カメラ画像に含まれる中央部に存在するスクラップ部位を画像内にあらかじめ設けた窓部（１０７）を基準として抽出するスクラップ部位抽出モデル（２２１）と、スクラップ部位抽出モデル（２２１）によって抽出されたスクラップ画像からスクラップの等級及び各等級の比率を選別する、学習用画像を含む教師データにより生成されたスクラップ判別モデル（２２２）と、スクラップ判別モデル（２２２）を用いてスクラップ画像に基づき判別されたスクラップの等級及び各等級の比率の情報を出力する出力部（２４）と、を備えるスクラップ判別システム。

Description

本開示は、スクラップ判別システム、及びスクラップ判別方法に関する。
近年、資源の有効活用の観点から、スクラップ等の廃棄物をリサイクル可能な資源として再利用することが求められている。廃棄物を再利用するためには、リサイクル可能な資源を判別する必要がある。廃棄物についての画像を予め人力し、同時に廃棄物についての情報を教師データとして機械学習により構築した学習済みモデルを用いることにより、カメラ画像から廃棄物を判定し、人力に頼らず、廃棄物の判別処理方法が既に提案されている（例えば特許文献１）。
特開２０１７－１０９１９７号 特開２０２０ー９５７０９号
しかしながら特許文献１の技術は、解体処理した住宅及び災害瓦礫等の廃棄物を判別の対象としたものであり、例えば金属等のスクラップを効率的に判別する方法については検討されていない。例えば鉄に係る再利用な資源として鉄スクラップが市場で流通しており、電気炉等を用いて鉄へリサイクルされている。従来、鉄スクラップ処理の現場ではスクラップの等級の判別が作業員の目視によりなされている。これは、破砕後のスクラップ金属片が様々なスケールを有し、かつ、各スクラップの形状も相違し、等級の判別をするためには全体を目視しなければならず、その自動化が困難であるためである。他方で、作業員の目視による判別作業では、作業員の熟練度に起因する判別結果のばらつきの問題が生じていた。またかかる作業員の高齢化及び人員確保の問題があった。
特許文献２には、鉄スクラップの重量等級を判定する技術が開示されている。この手法では、スクラップをマグネットクレーンで吊り、そこで撮像した画像を使って、釣り上げた部位についてスクラップ等級の割合を推定し、この推定作業を複数繰り返し行うことにより、最終的に総合の判定を推定する。しかしながら特許文献２の技術が適用できるのはマグネットクレーンで釣り上げながらスクラップ等級を測定する場合に限られる。実際のスクラップ処理ではクレーンを使わないでスクラップを搬入する場合も多くあり、そうした場合にはかかる方法は使用困難である。また特許文献２の方法では、スクラップをマグネットで吊りながら判定を逐次行うため、スクラップのすべてを判定するのに長時間を要する。このように、得られた画像中からスクラップの全体形状を把握し、スクラップの等級を判別する技術に関しては改善の余地があった。
かかる事情に鑑みてなされた本開示の目的は、スクラップの判別技術を改善できるスクラップ判別システム、及びスクラップ判別方法を提供することを目的とする。
本開示の一実施形態に係るスクラップ判別システムは、
スクラップを含むカメラ画像を取得する取得部と、
前記カメラ画像に基づき、該カメラ画像に含まれる中央部に存在するスクラップ部位を画像内にあらかじめ設けた窓部を基準として抽出するスクラップ部位抽出モデルと、
前記スクラップ部位抽出モデルによって抽出されたスクラップ画像からスクラップの等級及び各等級の比率を選別する、学習用画像を含む教師データにより生成されたスクラップ判別モデルと、
前記スクラップ判別モデルを用いて前記スクラップ画像に基づき判別されたスクラップの等級及び各等級の比率の情報を出力する出力部と、
を備える。
また、本開示の一実施形態に係るスクラップ判別方法は、
スクラップを含むカメラ画像に基づき、該カメラ画像に含まれる中央部に存在するスクラップ部位を抽出するスクラップ部位抽出モデルと、スクラップの等級及び各等級の比率を判別する、学習用画像を含む教師データにより生成されたスクラップ判別モデルとを用いるスクラップ判別方法であって、
前記スクラップを含むカメラ画像を取得するステップと、
前記スクラップ部位抽出モデルを用いて、前記カメラ画像に基づきスクラップ画像を抽出するステップと、
スクラップ判別モデルを用いて前記スクラップ画像に基づき判別されたスクラップの等級及び各等級の比率の情報を出力するステップと、
を含む。
また、本開示の一実施形態に係るスクラップ判別システムは、
スクラップを含むカメラ画像を取得する取得部と、
前記カメラ画像に基づき、該カメラ画像に含まれる中央部に存在するスクラップ部位を画像内にあらかじめ設けた窓部を基準として抽出するスクラップ部位抽出モデルと、
前記スクラップ部位抽出モデルによって抽出されたスクラップ画像からスクラップ中の鉄スクラップ以外の異物を選別する、学習用画像を含む教師データにより生成された異物判別モデルと、
前記異物判別モデルを用いて前記スクラップ画像に基づき判別された鉄スクラップ中の異物の有無についての情報を出力する出力部と、
を備える。
本開示の一実施形態に係るスクラップ判別システム、及びスクラップ判別方法によれば、スクラップの判別技術を改善することができる。
図１は、本開示の一実施形態に係るスクラップ判別システムの概要構成を示す図である。 図２は、判別の対象となるスクラップのカメラ画像の具体例である。 図３は、判別対象外の物体等がカメラ画像に含まれる具体例である。 図４は、対象のスクラップ部位を抽出する処理の概要図である 図５は、窓部に基づき抽出したスクラップ部位の具体例を示す図である。 図６は、スクラップを含むオリジナル画像及びラベル付画像の具体例である。 図７は、スクラップ部位抽出モデルの学習フェーズのフローチャートである。 図８は、学習済みのスクラップ部位抽出モデルにより抽出されるスクラップ部位を示す図である。 図９は、第１スクラップ判別モデルの学習処理の概要を示す図である。 図１０は、第１スクラップ判別モデルによる判別処理の概要を示す図である。 図１１は、第２スクラップ判別モデルの学習処理の概要を示す図である。 図１２は、本開示の一実施形態に係るスクラップ判別方法を示すフローチャートである。 図１３は、カメラ画像のズームレベルに応じたグループ毎の正規化の概念図である。 図１４は、異物を含む合成画像を例示する図である。
以下、本開示の実施形態について、図面を参照して説明する。
各図中、同一又は相当する部分には、同一符号を付している。本実施形態の説明において、同一又は相当する部分については、説明を適宜省略又は簡略化する。
図１は、本発明の一実施形態に係るスクラップ判別システム１の全体概要を示す模式図である。以下、本実施形態において判別するスクラップの対象が鉄スクラップである場合について説明するが、判別対象は鉄スクラップに限られない。例えば判別対象は、他の金属スクラップであってもよい。
鉄スクラップは、その発生源に基づき２種類に大別できる。一つは製造業の生産段階で発生する加工スクラップ（工場発生スクラップとも呼ばれる）である。加工スクラップは、回収業者により回収された後、新断、鋼ダライ、銑くずと名称を変えて流通する。そして加工スクラップの大半は、加工処理（中間処理）を行わず製鋼メーカーに引き取られる。加工スクラップは、いわば素性の分かる鉄スクラップであり、品位面ではリターン屑と同様に使い勝手のよいスクラップとされる。また発生、回収、及び搬送段階で異物が混入する可能性も少ない。
もう一方のスクラップは、鋼構造物が老朽化して発生する老廃スクラップである。老廃スクラップには修理又は損傷の段階で発生するスクラップも含む。発生個所は建物解体時、機械類の更新時、使用済み自動車、容器等、多種多様であり、発生形状も様々である。そのため老廃スクラップは、回収後に製鋼投入効率を上げるためサイジング、破砕、減容などの加工処理が行われた後、重量屑として取り扱われる。また、家電機器類、自動車のボディ、自動販売機等の鋼板製品については主に破砕により減容化後、磁選により鉄のみを選別するために行われる。これらの老廃スクラップは発生段階、回収段階及び加工処理段階それぞれにおいて多様化するため、加工処理後に等級の判別が行われる。老廃スクラップの等級判別は形状、すなわちスクラップの厚さ、幅、長さ等により定められている。現在では（社）日本鉄源協会が１９９６年に制定した鉄スクラップ検収統一規格が広く用いられている。
上述のように、従来、鉄スクラップ処理の現場ではスクラップの等級の判別が作業員の目視によりなされている。また、作業員の目視による判別作業には、作業員の熟練度による判別結果のばらつきの問題等がある。本実施形態に係るスクラップ判別システム１は、当該問題等に鑑みてなされたものであり、概略として、作業員の目視による判別に代わって、鉄スクラップを撮影したカメラ画像に基づきスクラップの判別を行うものである。
以下、本実施の形態では、スクラップの中でも一般的なＨＳ、Ｈ１，Ｈ２，Ｈ３，及び錆びたトタン板等の鉄品位の低いＬ１，Ｌ２の６種類の判別を行う例について説明するが、判別する対象の等級はこれに限られない。また、判別する対象の等級は新断屑（せん断屑）、ダライ粉（切削屑）などを含んでもよい。すなわち本実施形態において判別するスクラップの等級は、製造現場のニーズに合わせて、任意のスクラップの等級を含むことが可能である。
図１に示すように本実施形態に係るスクラップ判別システム１は、複数のカメラ１０と、情報処理装置２０とを含む。複数のカメラ１０と、情報処理装置２０とは、ネットワーク３０により接続されている。複数のカメラ１０は、例えばネットワークカメラであり、ネットワーク３０を介して撮影したカメラ画像を情報処理装置２０に送信する。図１ではカメラ１０が４台備えられる場合を例示しているが、カメラ１０の台数はこれに限られない。カメラ１０の台数は４台未満であってもよく、１台であってもよい。またカメラ１０の台数は、４台より多くてもよい。カメラ画像は鉄スクラップをトラックで搬送後、一旦ヤードに移したタイミングにおいて鉄スクラップを撮影したものである。図２は、カメラ１０により撮影されるカメラ画像の具体例である。図２に示すように、カメラ画像に含まれるスクラップは、複数の等級の鉄スクラップが混在している。概略として情報処理装置２０は、機械学習により生成した複数のモデルに基づき、カメラ画像中の鉄スクラップの等級及び各等級の比率を判別する。実際の操業では、スクラップの各等級の重量比及び総重量により、スクラップの取引が行われる。そこで以下において本実施形態では情報処理装置２０は、カメラ画像中の各等級のスクラップの重量に係る比率を判別するものとして説明する。
情報処理装置２０は、制御部２１と、記憶部２２と、取得部２３と、出力部２４とを備える。
制御部２１には、少なくとも１つのプロセッサ、少なくとも１つの専用回路、又はこれらの組み合わせが含まれる。プロセッサは、ＣＰＵ（central processing unit）等の汎用プロセッサ、又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ（field-programmable gate array）又はＡＳＩＣ（application specific integrated circuit）である。制御部２１は、情報処理装置２０の各部を制御しながら、情報処理装置２０の動作に関わる処理を実行する。
記憶部２２には、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ、又はこれらのうち少なくとも２種類の組み合わせが含まれる。半導体メモリは、例えば、ＲＡＭ（random access memory）又はＲＯＭ（read only memory）である。ＲＡＭは、例えば、ＳＲＡＭ（static random access memory）又はＤＲＡＭ（dynamic random access memory）である。ＲＯＭは、例えば、ＥＥＰＲＯＭ（electrically erasable programmable read only memory）である。記憶部２２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部２２には、情報処理装置２０の動作に用いられるデータと、情報処理装置２０の動作によって得られたデータとが記憶される。例えば記憶部２２は、スクラップ部位抽出モデル２２１、及びスクラップ判別モデル２２２を記憶する。スクラップ判別モデル２２２は、第１スクラップ判別モデル２２２－１、第２スクラップ判別モデル２２２－２、及び選択モデル２２２－３を含む。
スクラップ判別システム１はカメラ画像を用いてスクラップの等級判別を行うことで作業員の目視による判別の代わりをするものであるが、カメラ画像によっては判定誤差が生じる場合がある。スクラップを運搬後、スクラップの等級判定をカメラ画像により行う場合、判別対象のスクラップのみを撮像するのは事実上難しく、判別対象外の物体等がカメラ画像に含まれてしまう。判別対象外の物体等は、例えば地面、背景、判別対象外のスクラップを含む。図３は判別対象外の物体等を含むカメラ画像の一例である。図３に示すように、カメラ画像には、地面１０１、背景１０２，判別対象のスクラップ以外のスクラップ１０３，１０４，運搬車両１０５（トラック１０５）が含まれる。カメラ画像に含まれる判別対象外の物体等はこれらに限られず、近くのスクラップ置き場等の映り込みも含む。このようにカメラ撮像時にスクラップのみを撮像しようとしても周囲の状況により困難な場合があり、これらにより判別処理に誤差が生じてしまう。
かかる誤差を低減するために、発明者らは後述するニューラルネットワーク等の機械学習アルゴリズムを用いた機械学習に基づくスクラップの等級を判定するシステムの構築について検討を重ねた。その結果発明者らは、以下の２つのプロセスを経てスクラップ等級を判定することにより、高い精度でスクラップ等級を判定可能であることを見出した。第１のプロセスは、カメラ画像からスクラップ部位を抽出するプロセスである。第２のプロセスは、第１のプロセスにより抽出されたスクラップ部位の等級を判別するプロセスである。概略としてスクラップ判別システム１は、スクラップ部位抽出モデル２２１により第1のプロセスを実行し、スクラップ判別モデル２２２により第２のプロセスを実行する。
まず第１のプロセスについて説明する。等級判定を行う対象のスクラップを撮影したカメラ画像がネットワーク３０を介して情報処理装置２０に送り込まれた後、スクラップ部位抽出モデル２２１は、かかるカメラ画像からスクラップ部位を抽出する。本実施形態では、スクラップ部位抽出モデル２２１がスクラップ部位を抽出する手法として、空間分類処理のひとつであるセマンテックセグメンテーションを用いる。
セマンテックセグメンテーションとは、各ピクセルをその意味（周辺のピクセルの情報）に基づいてカテゴリ分類する手法である（特開２０２０－２１１８８号、Badrinarayanan, V., A. Kendall, and R. Cipolla. Segnet: A deep convolutional encoder decoder architecture for image segmentation. arXiv. Preprint arXiv: 1511.0051）。セマンテックセグメンテーションは、例えば車の自動運転等において外観 (道路、建物)、形状(車、歩行者)を調べ、道路、歩道などの異なるクラス間の空間関係(文脈)を理解するのに使用される。
図４を用いて、カメラ画像よりセマンテックセグメンテーションを用いて等級を判別する対象のスクラップ部位を抽出する処理の概要を説明する。カメラ画像は、画像の中央部に等級判定を行うスクラップ画像が含まれる。そこで図４に示すように、スクラップ部位を抽出する際には、カメラ画像１０６内にあらかじめ設けた窓部１０７を用いて、対象のスクラップを特定する。かかる窓部１０７は、スクラップ撮像画像において画像中心から短辺、長辺それぞれカメラ画像の１／２の部分（画像中心からそれぞれ１／４の部分)に位置する領域である。換言すると窓部１０７は、カメラ画像の長辺及び短辺の長さをそれぞれＭ、Ｌとした場合において、画像中心からそれぞれ長辺方向、及び短辺方向にそれぞれ１／４Ｍ、１／４Ｌの長さを有する矩形領域である。そして図４に示すように、本実施形態では、窓部１０７内のスクラップを起点としたスクラップ部位１０８が抽出される。「窓部内のスクラップを起点としたスクラップ部位」とは、複数のスクラップが形成するスクラップの集合体（以下、スクラップグループともいう）の少なくとも一部が窓部内に存在するスクラップ部位を意味する。換言すると、窓部１０７内にスクラップグループの一部が存在する場合、当該スクラップグループに含まれるスクラップは、窓部内のスクラップを起点としたスクラップ部位として取り扱われる。
図５は、スクラップ部位を画像から抽出する際の基準となる窓部１０７、及び抽出した等級判定を行うためのスクラップ部位の具体例を示す。上述の通り、スクラップ部位は窓部に存在するスクラップを起点として任意形状でスクラップグループを構成している。図５の例１～例５において、それぞれ部位１０９～１１３が、抽出されたスクラップ部位を示す。
ここでセマンテックセグメンテーションによる抽出処理では、上記自動運転の例に示したように、画像に含まれる複数の対象（道路、建物、車、歩行者）をそれぞれ分類することができるため、本実施形態においても、オリジナル画像から該画像中に含まれる全てのスクラップを、スクラップ以外の対象物から抽出（分類）することも可能である。しかし本実施の形態では新たに搬入した等級判定を行うべきスクラップのみを抽出するために、窓部内のスクラップを起点としないスクラップは、背景として取り扱われる。この点が通常のセマンテックセグメンテーションと異なる。
スクラップ部位抽出モデル２２１により上述の抽出処理を行うためには、多数のカメラ画像によりスクラップ部位抽出モデル２２１のパラメーター学習を行う。はじめにスクラップ等級判定において撮像されることが想定されるスクラップが含まれるカメラ画像を用意する。カメラ画像はスクラップ等級を行う場所において想定される様々なスクラップを含み、かつ、様々な背景を含む画像が多数存在することが好ましい。それぞれのスクラップが含まれる画像データについて、事前に操作者が画像を目視により、等級判定に用いるスクラップ群と、スクラップ以外の部分（背景等）を、それぞれ異なる色でラベル付け、ラベル付画像を作成する。図６は、スクラップを含むオリジナル画像及びラベル付画像の例を示す。これらのオリジナル画像及び当該ラベル付画像が教師データに相当する。換言するとスクラップ部位抽出モデル２２１は、スクラップを含むオリジナル画像とラベル画像の組合わせを教師データとして生成される学習モデルである。図６に示すように、ラベル付画像は、スクラップ部位の領域を示すラベル（ラベル１１４，１１５）と、それ以外との部分の領域を示すラベル（ラベル１１６、１１７）とを含む。かかる教師データを用いて、スクラップ部位抽出モデル２２１のパラメーター学習（学習フェーズ）が実行される。
図７は、スクラップ部位抽出モデル２２１の学習フェーズのフローチャートを示す。はじめにカメラ画像（スクラップオリジナル画像）と、スクラップオリジナル画像に対応するラベル画像のデータの組み合わせを教師データとして用意する（ステップＳ１、Ｓ２）。なお、ラベル画像は十分な数（例えば１０００枚程度）が用いられることが好ましく、これにより精度良くスクラップ部位の抽出ができる。スクラップオリジナル画像及びラベル画像は、パラメーター学習用のトレーニングセットと、ネットワークの精度評価用のテストセットに分割し（ステップＳ３）、パラメーター学習用のトレーニングセットを用いて、スクラップ部位抽出モデル２２１のパラメーター学習を行う（ステップＳ４）。その後、精度評価用のテストセットを用いて、ネットワークを学習させ評価し（ステップＳ５）、再度パラメーター調整を行う。その結果を基に、ネットワークのパラメーターを決定し、ネットワークを学習させる（ステップＳ６）。なお例えば１０００枚に出てきたような背景と全く異なる背景が現れて判定に誤差を生じる場合、再度、当該全く異なる背景を含む新たな画像を用いて再学習してもよい。以上の学習の結果、スクラップを含む撮像から中央部に存在するスクラップ部位を抽出できる。図８に学習済みのスクラップ部位抽出モデル２２１により、カメラ画像からスクラップ部位を抽出した例を示す。図８に示すように、スクラップ部位１１８が、それ以外の領域１１９から抽出される。
セマンテックセグメンテーションによるスクラップ部位の抽出処理を用いて、スクラップ部位を抽出するプロセスがスクラップ部位抽出モデル２２１により実行された後に、第２のプロセス、すなわち第１のプロセスにより抽出されたスクラップ部位の等級を判別するプロセスが実行される。本実施の形態では第２のプロセスは、第１スクラップ判別モデル２２２－１、第２スクラップ判別モデル２２２－２、及び選択モデル２２２－３により実行される。
第１スクラップ判別モデル２２２－１は、スクラップ画像に基づき、該スクラップ画像に含まれるスクラップの等級及び各等級の比率を判別する学習モデルである。第１スクラップ判別モデル２２２－１は、第１学習用画像を含む教師データにより生成される。第１学習用画像は、単一等級の鉄スクラップの画像である。すなわち第１スクラップ判別モデル２２２－１は、第１学習用画像と当該第１学習用画像に係る判別の実績データとを含む教師データに基づき、ニューラルネットワーク等の機械学習アルゴリズムを用いた機械学習によって生成される。図９に、第１スクラップ判別モデル２２２－１の学習処理の概要を示す。図９に示すように、第１スクラップ判別モデル２２２－１に係る入力層に、第１学習用画像、すなわち単一等級の鉄スクラップの画像が入力される。各単一等級の鉄スクラップの画像には、実績データとしてオペレータが判別した等級の実績データが対応付けられている。当該教師データによってニューロン間の重み係数を調整し、第１スクラップ判別モデル２２２－１の学習処理が行われる。なお図９では、各画像に、ＨＳ、Ｈ１、Ｈ２、Ｈ３、Ｌ１、及びＬ２が対応付けられている例を示しているが、等級はこれらに限られない。単一等級の鉄スクラップの画像は、他の任意の等級の鉄スクラップ画像であってよい。ここで図９において第１スクラップ判別モデル２２２－１は、入力層、隠れ層、及び出力層からなる多層パーセプトロンに基づき生成されるモデルである例を図示しているがこれに限られない。第１スクラップ判別モデル２２２－１は、他の任意の機械学習アルゴリズムにより生成されるモデルであってよい。例えば第１スクラップ判別モデル２２２－１は、Convolutional Neural Network（CNN）、ディープラーニング等の機械学習アルゴリズムに基づき生成されるモデルであってもよい。
第１スクラップ判別モデル２２２－１により、スクラップ画像に含まれるスクラップの等級及び各等級の比率を判別する際、制御部２１は、第１スクラップ判別モデル２２２－１を用いて、スクラップ画像における各等級のスクラップの面積比に基づきスクラップの比率を判別する。図１０に、第１スクラップ判別モデル２２２－１による判別処理の概要を示す。図１０に示すように、制御部２１は、格子状に分割されたスクラップ画像の各部の画像を第１スクラップ判別モデル２２２－１に入力し、当該部分画像のスクラップの等級を判別する。このようにして格子状に分割されたスクラップ画像の部分画像をランダムに抽出してスクラップの等級を判別し、制御部２１は、当該画像におけるスクラップの等級の面積比を算出する。さらに制御部２１は各スクラップの嵩密度に基づき、面積比を重量比に換算する。このようにして制御部２１は、スクラップ画像に含まれるスクラップの等級及び各等級の比率を算出する。なおここでは制御部２１は、スクラップ画像の一部の部分画像をランダムに抽出して上記面積比を算出する例を示したがこれに限られない。例えば制御部２１は、スクラップ画像の全ての部分画像に基づき上記面積比を算出してもよい。
第２スクラップ判別モデル２２２－２は、スクラップ画像に基づき、該スクラップ画像に含まれるスクラップの等級及び各等級の比率を判別する学習モデルである。第２スクラップ判別モデル２２２－２は、第１学習用画像とは異なる第２学習用画像を含む教師データにより生成される。第２学習用画像は、混合等級の鉄スクラップの画像である。混合等級の鉄スクラップとは、複数の等級の鉄スクラップを含む鉄スクラップである。すなわち第２スクラップ判別モデル２２２－２は、第２学習用画像と当該第２学習用画像に係る判別の実績データとを含む教師データに基づき、ニューラルネットワーク等の機械学習アルゴリズムを用いた機械学習によって生成される。図１１に、第２スクラップ判別モデル２２２－２の学習処理の概要を示す。図１１に示すように、第２スクラップ判別モデル２２２－２に係る入力層に、第２学習用画像、すなわち混合等級の鉄スクラップの画像が入力される。各混合等級の鉄スクラップの画像には、実績データとしてオペレータが判別した等級及び各等級の比率が対応付けられている。当該教師データによってニューロン間の重み係数を調整しモデルの学習処理が行われる。ここで図１１では第２スクラップ判別モデル２２２－２は、入力層、隠れ層、及び出力層からなる多層パーセプトロンに基づき生成されるモデルである例を図示しているがこれに限られない。第２スクラップ判別モデル２２２－２は、他の任意の機械学習アルゴリズムにより生成されるモデルであってよい。例えば第２スクラップ判別モデル２２２－２は、Convolutional Neural Network（CNN）、ディープラーニング等の機械学習アルゴリズムに基づき生成されるモデルであってもよい。第２スクラップ判別モデル２２２－２により、スクラップ画像に含まれるスクラップの等級及び各等級の比率を判別する際も、第１スクラップ判別モデル２２２－１と同様に、スクラップ画像を分割した部分画像をランダムに抽出してスクラップの等級を判別し、制御部２１は、当該画像におけるスクラップの等級の重量比を算出する。これは画像を分割し、ランダムに選出した画像を多数回判別することにより、判定精度を向上できるためである。なおここではカメラ画像の一部の部分画像をランダムに抽出してスクラップの等級の重量比を算出する例を示したがこれに限られない点についても第１スクラップ判別モデルと同様であり、制御部２１は、スクラップ画像の全ての部分画像に基づき画像を分割、上記重量比を算出してもよい。
選択モデル２２２－３は、スクラップ画像に基づき、当該スクラップ画像に含まれるスクラップの等級及び各等級の比率を判別する際に、第１スクラップ判別モデル２２２－１又は第２スクラップ判別モデル２２２－２のいずれがより確からしい解を出力するかを推定するモデルである。選択モデル２２２－３は、推定結果に基づき、より確からしい解を出力するモデルを選択する。そして制御部２１は選択モデル２２２－３を用いて選択されたモデルを用いて、スクラップ画像に基づきスクラップの等級及び各等級の比率を判別する。換言すると選択モデル２２２－３は、カメラ画像に基づき、第１スクラップ判別モデル２２２－１又は第２スクラップ判別モデル２２２－２のいずれをスクラップの等級に係る判別に用いるかを判別する。選択モデル２２２－３に係る教師データは、カメラ１０からネットワーク３０を介して取得されたスクラップを含むスクラップ画像、第１スクラップ判別モデル２２２－１により推定されるスクラップの等級及び各等級の比率、第２スクラップ判別モデル２２２－２により推定されるスクラップの等級及び各等級の比率、及び実績データとしてオペレータが判別した等級及び各等級の比率モである。モデル選択に係る実績データは、第１スクラップ判別モデル２２２－１及び第２スクラップ判別モデル２２２－２にそれぞれ入力した際における判別結果と、当該スクラップ画像に係るオペレータが判別した等級及び各等級の比率の結果とに基づき定められる。つまり選択モデル２２２－３は、かかる教師データを用いて、ニューラルネットワーク等の機械学習アルゴリズムを用いた機械学習によって生成される推定モデルである。選択モデル２２２－３は、例えば、多層パーセプトロン、Convolutional Neural Network（CNN）、ディープラーニング等の機械学習アルゴリズムに基づき生成される。
取得部２３には、カメラ１０からネットワーク３０を介して、スクラップを含むカメラ画像を取得する、取得部２３は、少なくとも１つの通信用インタフェースが含まれる。通信用インタフェースは、例えば、ＬＡＮインタフェース、ＷＡＮインタフェース、ＬＴＥ（Long Term Evolution）、４Ｇ（4th generation）、若しくは５Ｇ（5th generation）などの移動通信規格に対応したインタフェース、又はＢｌｕｅｔｏｏｔｈ（登録商標）などの近距離無線通信に対応したインタフェースである。取得部２３は、情報処理装置２０の動作に用いられるデータを受信し、また情報処理装置２０の動作によって得られるデータを送信する。
出力部２４には、少なくとも１つの出力用インタフェースが含まれる。出力用インタフェースは、例えば、ディスプレイである。ディスプレイは、例えば、ＬＣＤ（liquid crystal display）又は有機ＥＬ（electro luminescence）ディスプレイである。出力部２４は、情報処理装置２０の動作によって得られるデータを出力する。出力部２４は、情報処理装置２０に備えられる代わりに、外部の出力機器として情報処理装置２０に接続されてもよい。接続方式としては、例えば、ＵＳＢ、ＨＤＭＩ（登録商標）、又はＢｌｕｅｔｏｏｔｈ（登録商標）などの任意の方式を用いることができる。
情報処理装置２０の機能は、本実施形態に係るプログラムを、制御部２１に相当するプロセッサで実行することにより実現される。すなわち、情報処理装置２０の機能は、ソフトウェアにより実現される。プログラムは、情報処理装置２０の動作をコンピュータに実行させることで、コンピュータを情報処理装置２０として機能させる。すなわち、コンピュータは、プログラムに従って情報処理装置２０の動作を実行することにより情報処理装置２０として機能する。
本実施形態においてプログラムは、コンピュータで読取り可能な記録媒体に記録しておくことができる。コンピュータで読取り可能な記録媒体は、非一時的なコンピュータ読取可能な媒体を含み、例えば、磁気記録装置、光ディスク、光磁気記録媒体、又は半導体メモリである。プログラムの流通は、例えば、プログラムを記録したＤＶＤ（digital versatile disc）又はＣＤ－ＲＯＭ（compact disc read only memory）などの可搬型記録媒体を販売、譲渡、又は貸与することによって行う。またプログラムの流通は、プログラムをサーバのストレージに格納しておき、サーバから他のコンピュータにプログラムを送信することにより行ってもよい。またプログラムはプログラムプロダクトとして提供されてもよい。
本実施形態においてコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから送信されたプログラムを、一旦、主記憶装置に格納する。そして、コンピュータは、主記憶装置に格納されたプログラムをプロセッサで読み取り、読み取ったプログラムに従った処理をプロセッサで実行する。コンピュータは、可搬型記録媒体から直接プログラムを読み取り、プログラムに従った処理を実行してもよい。コンピュータは、サーバからプログラムを受信する度に、逐次、受け取ったプログラムに従った処理を実行してもよい。サーバからコンピュータへのプログラムの送信は行わず、実行指示及び結果取得のみによって機能を実現する、いわゆるＡＳＰ（application service provider）型のサービスによって処理を実行してもよい。プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるものが含まれる。例えば、コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータは、「プログラムに準ずるもの」に該当する。
情報処理装置２０の一部又は全ての機能が、制御部２１に相当する専用回路により実現されてもよい。すなわち、情報処理装置２０の一部又は全ての機能が、ハードウェアにより実現されてもよい。
次に、本開示の一実施形態に係るスクラップ判別システム１により実行されるスクラップ判別方法について説明する。図１２は、本開示の一実施形態に係るスクラップ判別方法を示すフローチャートである。
はじめにスクラップ判別システム１のカメラ１０は、スクラップを含むカメラ画像を撮影する（ステップＳ１０）。次にカメラ１０は、ネットワーク３０を介して情報処理装置２０に送信する。情報処理装置２０の取得部２３は、ネットワーク３０を介して当該カメラ画像を取得する（ステップＳ２０）。
続いて制御部２１は、取得したカメラ画像に基づき、画像の中からスクラップが撮像されている部位を抽出する（ステップＳ３０）。スクラップを抽出するプロセスは図４において示したとおり、セマンテックセグメンテーション等の手法を用い、画像の中心に存在する搬入したスクラップ画像を抽出する。
続いて制御部２１は、スクラップ部位を特定した画像、すなわちスクラップ画像に基づき、第１スクラップ判別モデル２２２－１又は第２スクラップ判別モデル２２２－２のいずれを用いるかを、選択モデル２２２－３を用いて判別する（ステップＳ４０）。
続いて制御部２１は、第１スクラップ判別モデル２２２－１又は第２スクラップ判別モデル２２２－２のうち、選択モデル２２２－３により選択されたモデルを用いて、カメラ画像に含まれるスクラップの等級及び比率を判別する（ステップＳ５０）。
続いて制御部２１は、ステップＳ４０において判別されたスクラップの等級及び比率を出力部２４に出力させる。出力部２４は、ステップＳ４０において判別されたスクラップの等級及び比率を出力する（ステップＳ６０）。
このように、本開示の一実施形態に係るスクラップ判別システム１によれば、カメラ１０により撮影されたスクラップのカメラ画像から、カメラ画像の中心に存在する搬入スクラップの特定部位を特定してスクラップ画像を抜き出し、かかるスクラップ画像により第１スクラップ判別モデル２２２－１又は第２スクラップ判別モデル２２２－２を用いて自動的にスクラップの等級及び比率を判別することができる。また第１スクラップ判別モデル２２２－１又は第２スクラップ判別モデル２２２－２のいずれを用いるかを選択モデル２２２－３が選択し、より適切なモデルを自動的に選択する。換言すると本開示の一実施形態に係るスクラップ判別システム１によれば、人手を介さずに当該スクラップの等級及び比率を判別し出力することができる。つまり、本開示の一実施形態に係るスクラップ判別システム１によれば、スクラップの判別技術を改善できる。
また、本開示の一実施形態に係るスクラップ判別システム１のスクラップ部位抽出モデル２２１は、セマンテックセグメンテーションを用いてスクラップ部位を抽出する。セマンテックセグメンテーションによる手法と他の物体検出方法を用いる方法を比較すると、セマンテックセグメンテーション法では下記の点で有利である。
（１）セマンテックセグメンテーションは画素にラベルを付けるため、他の物体検出法と比べて高精度である。
（２）物体検出は境界ボックス内に対象物を収める必要があるのに対して、セマンテックセグメンテーションでは不規則な形状の対象物を明瞭にとらえることができる。特開２０２０－９５７０９号において、YOLO等の物体検出モデルにより、スクラップを含む画像中からクレーン部を抽出する手法が開示されているが、この手法では画像中に抽出するための抽出ボックスを設け、検出することになる。
本実施形態で対象とする等級判定を行うスクラップ画像は抽出すべき部分が不規則な形状を有し、また背景として様々な形状の物体と分離する必要があるので、物体検出法では不適であり、セマンテックセグメンテーションを用いることで、より高精度にスクラップ画像を抽出することができる。以上述べたように、スクラップを含む画像を撮像し、画像の中心部に存在するスクラップをセマンテックセグメンテーションにより抽出し、その抽出画像を用いてスクラップ等級を判定することで、迅速に搬入したスクラップを一度に判定できる。
以上述べたシステムにより、スクラップの等級を判定することが可能となるが、スクラップ中の異物（鉄以外の物質を含む）を検知するのにも同じシステムを適用できる。すなわち、異物とは鉄スクラップに含まれる鉄以外の物体であり、例えばモーター、木片、タイヤ等の様々な異物が鉄スクラップに含まれる。スクラップを溶解する際に異物はできるだけ無いことが望まれる。特に異物をそのまま溶解すると、鉄に溶解すると除去できないトランプエレメントが溶鋼に残ってしまう。トランプエレメントとしてはCu, Sn, Cr, Ni等が上げられる。特にCuが高くなると、熱間圧延時に傷が生じることなどが広く知られている。
現状はオペレータがスクラップを等級判定すると同時に、目視で観察し、異物を発見すると除去している。ただし、異物を目視で完全に発見することは困難であり、かつ、スクラップ等級を本システムにより自動的に判定することができるようにする場合、無人で異物を自動検出できることが望ましい。
機械学習による検知システムとしては、スクラップ等級システムの考え方と同じ考えで異物を検出できる。すなわち、カメラで画像を撮像後、セマンテックセグメンテーションにより画像からスクラップ部位を検出する。その後異物を検出する。そのシステムは、第２スクラップ判別モデル２２２－２と同じロジックで判定を行う。すなわち、学習用画像に、鉄スクラップと異物を含む画像を予め学習させ、スクラップ中の異物の検知ができるようにする。異物判別モデルは、異物を含むスクラップ画像（異物混入スクラップ画像）に関する学習用画像と当該学習用画像に係る異物の実績データとを含む教師データに基づき、ニューラルネットワーク等の機械学習アルゴリズムを用いた機械学習によって生成される。
しかしながら、異物の判定には大きな課題がある。スクラップ中に問題となる異物が混入する例はまれである。そのため、学習用画像となる鉄スクラップと異物を含む大量の画像を得ることは極めて困難である。またたとえ画像を大量に蓄積し、学習するとしても、時系列の変化により異物の種類が変わってしまう。そこで、鉄スクラップと異物を含む画像をデータ拡張で人工的に作成する手法が用いられた。データ拡張とは元の学習用データに何らかの加工を加えることで、学習用データを拡張することを指す。
以下、検出対象の画像と背景画像を合成する手法の手順の一例として、ここでは鉄スクラップで課題となる銅を大量に含む異物を含む画像を作成する場合について、以下の手順の処理を行った。なお、銅を含有する異物としては電動モーター（以下、単に「モーター」と称される）を例にする。
（１）異物単体（モーター）の画像を用意する。つまり、一般的なモーターの画像を多数用意する。
（２）モーターがスクラップに混入した状態を想定して、モーターの一部形状を削除する、あるいは一部の色を変更する等の処理を行い、モーターの画像のバリエーションを増やす。
（３）スクラップ画像と上記モーター画像を組み合わせた人工画像を作成する。
ここで、上記の手順（３）に関して、モーターなど検出対象の画像を鉄スクラップの背景画像の上に単合成しても、モーターの画像は場合により背景から浮き上がったような合成画像となってしまい、さらに背景画像に同化した画像を生成する必要がある。そこでPoisson image editing で合成を行うことで、モーター以外の合成物を誤認することが抑制される。Poisson image editingとは、M. Prezらによって提案された画像編集手法である（Patrick Perez, Michel Gangnet, and Andrew Blake, “Poisson image editing”, Association for Computing Machinery vol.22, 3, 313-318, 2003）。Poisson image editingは、画像の勾配に関係したポアソン方程式の連立方程式を計算することで違和感のない合成写真を作成できる画像処理方法である。
以上の処理を行った後に作成したモーターを含有する鉄スクラップの合成画像の例を図１４に示す。図１４において、丸で囲まれた部分に異物であるモーターがある。Poisson image editingを用いれば任意の枚数を生成できるため、スクラップ画像及びモーター画像から、学習に使用する教師データを３００００枚として学習を行った。この教師データを用いたスクラップ判別モデルについて検証用データを５０００枚で確認したところ、９０％の例でモーター（異物）を検出することができる事が確認された。
本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。したがって、これらの変形及び修正は本開示の範囲に含まれることに留意されたい。例えば、各構成又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成又はステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。
例えば本実施形態では、スクラップ部位抽出モデル２２１がセマンテックセグメンテーションによりスクラップ部位を抽出する手法を説明したが、スクラップ部位を抽出する手法はこれに限られず、任意の空間分類処理が用いられてよい。
また例えば本実施形態では、スクラップ判別モデル２２２として第１スクラップ判別モデル２２２－１、第２スクラップ判別モデル２２２－２、及び選択モデル２２２－３を含む例を示した。このように、スクラップ判別モデル２２２として、第１スクラップ判別モデル２２２－１、第２スクラップ判別モデル２２２－２、及び選択モデル２２２－３を含むモデルを用いることにより、精度の高いスクラップ等級判定が行うことができる。なおスクラップ判別モデル２２２はこれに限られない。例えば、スクラップ判別モデル２２２は第１スクラップ判別モデル２２２－１又は第２スクラップ判別モデル２２２－２のいずれか一方により構成されてもよい。換言するとスクラップ判別システム１は、第１学習用画像、すなわち単一等級の鉄スクラップの画像と当該第１学習用画像に係る判別の実績データとを含む教師データに基づき、ニューラルネットワーク等の機械学習アルゴリズムを用いた機械学習によって生成される第１スクラップ判別モデル２２２－１のみを用いてもよい。あるいは、スクラップ判別システム１は、混合等級の鉄スクラップの画像と第２学習用画像に係る判別の実績データとを含む教師データに基づき、ニューラルネットワーク等の機械学習アルゴリズムを用いた機械学習によって生成される第２スクラップ判別モデル２２２－２のみを用いてもよい。つまり、本実施形態ではスクラップ判別モデル２２２として第１スクラップ判別モデル２２２－１及び第２スクラップ判別モデル２２２－２を併用してスクラップ等級を判定するシステムを説明したが、第１スクラップ判別モデル２２２－１又は第２スクラップ判別モデル２２２－２のいずれか一方を用いてスクラップ等級を判別してもよい。この場合、上述のステップＳ４０が省略されることになる。さらに第１スクラップ判別モデル２２２－１又は第２スクラップ判別モデル２２２－２のいずれか一方を用いる場合、それぞれの学習用画像と当該学習用画像に係る判別の実績データとを含む教師データを事前に十分そろえて等級判定精度を高めることが望ましい。またシステム稼働後に引き続き、画像を撮像すると同時にオペレータの判断結果を取り込み、再学習させることにより精度を高めてもよい。
また例えば、第１スクラップ判別モデル２２２－１、第２スクラップ判別モデル２２２－２、及び選択モデル２２２－３の学習処理及び判別処理において、制御部２１は、各画像に対応するズーム情報を用いてもよい。ズーム情報を用いる場合、カメラ１０は、カメラ画像とともに当該カメラ画像に対応するＯＮＶＩＦデータのズーム情報を、ネットワーク３０を介して情報処理装置２０に送信する。例えば、第１学習用画像、第２学習用画像、及びスクラップ画像は、各画像に対応するズーム情報に基づき正規化されてもよい。つまり制御部２１は、第１学習用画像、第２学習用画像、及びスクラップ画像のそれぞれに対応するズーム情報に基づき、各画像を所定の拡大率に正規化する。そして制御部２１は、正規化後の第１学習用画像、第２学習用画像を用いて学習処理を行い、またスクラップ画像に基づく判別処理を行う。かかる正規化の処理により各画像が正規化されるため、スクラップ判別システム１による判別精度を高めることができる。
ここでズーム情報に基づき各画像を所定の拡大率に正規化する場合、制御部２１は、ズーム情報に基づき画像をグループに分類し、グループ毎に異なる拡大率で正規化してもよい。図１３に、スクラップ画像のグループ毎の正規化の概念図を示す。図１３では、拡大率に応じてスクラップ画像を分類している。具体的には、スクラップ画像の拡大率がｘ０以上ｘ１未満の範囲Ｒ０１（以下、第１範囲Ｒ０１ともいう）である場合、当該スクラップ画像は第１グループに分類される。スクラップ画像の拡大率がｘ１以上ｘ２未満の範囲Ｒ１２（以下、第２範囲Ｒ１２ともいう）である場合、当該スクラップ画像は第２グループに分類される。スクラップ画像の拡大率がｘ２以上ｘ３未満の範囲Ｒ２３（以下、第３範囲Ｒ２３ともいう）である場合、当該スクラップ画像は第３グループに分類される。スクラップ画像の拡大率がｘ３以上ｘ４未満の範囲Ｒ３４（以下、第４範囲Ｒ３４ともいう）である場合、当該スクラップ画像は第４グループに分類される。スクラップ画像の拡大率がｘ４以上ｘ５未満の範囲Ｒ４５（以下、第５範囲Ｒ４５ともいう）である場合、当該スクラップ画像は第５グループに分類される。そして第１範囲Ｒ０１、第２範囲Ｒ１２、第３範囲Ｒ２３、第４範囲Ｒ３４、及び第５範囲Ｒ４５における各スクラップ画像は、それぞれ各範囲の基準の拡大率Ｘ０１、Ｘ１２、Ｘ２３、Ｘ３４、及びＸ４５に正規化される。つまり、第１学習用画像、第２学習用画像、及びスクラップ画像は、各画像に対応するズーム情報に応じて異なる拡大率に正規化される。換言すると制御部２１は、スクラップ画像のズーム情報に基づき定まる複数の基準の中のいずれか１の基準拡大率に正規化する。このようにすることで、スクラップ画像を過度に拡大又は縮小することによる画像解像度のばらつきを抑え、スクラップ判別システム１による判別精度を高めることができる。なお図１３では制御部２１が、画像を５つのグループに分類し、対応する５つの拡大率で正規化する例を示したがこれに限られない。例えば制御部２１は、分類数を４以下又は６以上とし、それぞれ異なる拡大率で正規化するようにしてもよい。
なお上記では画像のズーム情報を学習処理及び判別処理に用いる例を示したがこれに限られない。例えばスクラップ判別システム１は、カメラ１０から得られるＯＮＶＩＦデータの少なくとも一部を学習処理及び判別処理に用いてもよい。ＯＮＶＩＦデータは、パン、チルト、及びズームの情報を含む。すなわち、スクラップ判別システム１は、パン、チルト、及びズームの情報のうち少なくともいずれか１つを用いて学習処理及び判別処理を行ってもよい。
また例えば、第１スクラップ判別モデル２２２－１、第２スクラップ判別モデル２２２－２、及び選択モデル２２２－３の学習処理及び判別処理において、制御部２１は、スクラップを搬入する搬入業者に係る情報を追加して用いてもよい。このようにすることで、搬入業者毎に搬入されるスクラップの傾向が考慮され、スクラップ判別システム１による判別精度を向上させることができる。
また例えば、スクラップ判別システム１はさらに、判別処理後に、判別に用いた画像を新しい教師データとして蓄積してもよい。そして制御部２１は、当該画像に基づき、オペレータが判別した等級及び各等級の比率の結果と合わせて第１スクラップ判別モデル２２２－１、第２スクラップ判別モデル２２２－２、及び選択モデル２２２－３を再学習してもよい。例えば仮に出力結果（判別結果）に問題がある場合は、問題があった出力の情報と、当該情報に対応する画像及び実績データを教師データとして、第１スクラップ判別モデル２２２－１、第２スクラップ判別モデル２２２－２、及び選択モデル２２２－３の少なくともいずれかを再学習させてもよい。これにより、第１スクラップ判別モデル２２２－１、第２スクラップ判別モデル２２２－２、及び選択モデル２２２－３による判別の精度及び速度を向上させることができる。
また例えば、本実施形態において、カメラ画像は、鉄スクラップをトラックで搬送後、一旦ヤードに移したタイミングにおいて撮影されたものであるとしたがこれに限られない。例えばカメラ画像は、製造現場においてスクラップをクレーンで釣り上げた状態を撮影した画像であってもよい。またこの場合は、撮影時にスクラップを照らす照明装置を用いてもよい。これにより鮮明なカメラ画像を採取することができる。いずれの場合も撮像した画像より既に説明した手法を用いてさらにスクラップ部位を特定する抽出作業を行った後に、スクラップ等級判定システムを稼働させることにより、スクラップ等級判定の精度を向上させることができる。
また例えば本実施形態では、窓部１０７がカメラ画像の中心を基準とした全体画像の１／４の範囲（カメラ画像の長辺及び短辺の長さをそれぞれＭ、Ｌとした場合において、画像中心からそれぞれ長辺方向、及び短辺方向にそれぞれ１／４Ｍ、１／４Ｌの矩形の領域）であるとしたがこれに限られない。窓部１０７はカメラ画像の中心を基準とした全体画像の一部の範囲であれば任意の範囲であってよい。例えば窓部１０７は、カメラ画像の長辺及び短辺の長さをそれぞれＭ、Ｌとした場合において、画像中心からそれぞれ長辺方向、及び短辺方向にそれぞれ１／３Ｍ、１／３Ｌの矩形の領域であってもよい。
１ スクラップ判別システム
１０ カメラ
１０１ 地面
１０２ 背景
１０３、１０４ スクラップ
１０５ 運搬車両（トラック）
１０６ カメラ画像
１０７ 窓部
１０８～１１３、１１８ スクラップ部位
１１４～１１７ ラベル
１１９ 領域
２０ 情報処理装置
２１ 制御部
２２ 記憶部
２３ 取得部
２４ 出力部
２２１ スクラップ部位抽出モデル
２２２ スクラップ判別モデル
２２２－１ 第１スクラップ判別モデル
２２２－２ 第２スクラップ判別モデル
２２２－３ 選択モデル
３０ ネットワーク

Claims (13)

  1. スクラップを含むカメラ画像を取得する取得部と、
    前記カメラ画像に基づき、該カメラ画像に含まれる中央部に存在するスクラップ部位を画像内にあらかじめ設けた窓部を基準として抽出するスクラップ部位抽出モデルと、
    前記スクラップ部位抽出モデルによって抽出されたスクラップ画像からスクラップの等級及び各等級の比率を選別する、学習用画像を含む教師データにより生成されたスクラップ判別モデルと、
    前記スクラップ判別モデルを用いて前記スクラップ画像に基づき判別されたスクラップの等級及び各等級の比率の情報を出力する出力部と、
    を備えるスクラップ判別システム。
  2. 請求項１に記載のスクラップ判別システムであって、
    前記窓部は、前記カメラ画像の中心を基準とした全体画像の１／４の範囲を特定し、該窓部に存在するスクラップを起点としたスクラップ部位をセマンテックセグメンテーション法により抽出する、スクラップ判別システム。
  3. 請求項１又は２に記載のスクラップ判別システムであって、
    前記学習用画像は単一等級の鉄スクラップの画像であり、前記スクラップ判別モデルを用いて前記スクラップ画像に含まれるスクラップの等級及び各等級の比率を判別する際に、前記スクラップ画像における各等級のスクラップの面積比に基づき前記比率を判別する、スクラップ判別システム。
  4. 請求項１又は２に記載のスクラップ判別システムであって、
    前記学習用画像は混合等級の鉄スクラップの画像である、スクラップ判別システム。
  5. 請求項１乃至４のいずれか一項に記載のスクラップ判別システムであって、前記スクラップ判別モデルは、
    前記スクラップ画像に基づき、該カメラ画像に含まれるスクラップの等級及び各等級の比率を判別する、第１学習用画像を含む教師データにより生成された第１スクラップ判別モデルと、
    前記スクラップ画像に基づき、該カメラ画像に含まれるスクラップの等級及び各等級の比率を判別する、前記第１学習用画像とは異なる第２学習用画像を含む教師データにより生成された第２スクラップ判別モデルと、
    前記スクラップ画像に基づき、前記第１スクラップ判別モデル又は前記第２スクラップ判別モデルのいずれを用いるかを判別する選択モデルと、
    を含み、
    前記出力部は、前記第１スクラップ判別モデル又は前記第２スクラップ判別モデルのうち、前記選択モデルにより選択されたモデルを用いて前記スクラップ画像に基づき判別されたスクラップの等級及び各等級の比率の情報を出力する、スクラップ判別システム。
  6. 請求項５に記載のスクラップ判別システムであって、
    前記第１学習用画像は単一等級の鉄スクラップの画像であり、前記第１スクラップ判別モデルを用いて前記スクラップ画像に含まれるスクラップの等級及び各等級の比率を判別する際に、前記スクラップ画像における各等級のスクラップの面積比に基づき前記比率を判別する、スクラップ判別システム。
  7. 請求項５又は６に記載のスクラップ判別システムであって、
    前記第２学習用画像は混合等級の鉄スクラップの画像である、スクラップ判別システム。
  8. 請求項５乃至７のいずれか一項に記載のスクラップ判別システムであって、
    前記第１学習用画像、前記第２学習用画像、及び前記スクラップ画像は、各画像に対応するズーム情報に基づき正規化される、スクラップ判別システム。
  9. 請求項５乃至７のいずれか一項に記載のスクラップ判別システムであって、
    前記第１スクラップ判別モデル、前記第２スクラップ判別モデル、及び前記選択モデルの少なくともいずれかは、前記スクラップ画像及び前記出力部が出力した前記情報に基づき、再学習される、スクラップ判別システム。
  10. スクラップを含むカメラ画像に基づき、該カメラ画像に含まれる中央部に存在するスクラップ部位を抽出するスクラップ部位抽出モデルと、スクラップの等級及び各等級の比率を判別する、学習用画像を含む教師データにより生成されたスクラップ判別モデルとを用いるスクラップ判別方法であって、
    前記スクラップを含むカメラ画像を取得するステップと、
    前記スクラップ部位抽出モデルを用いて、前記カメラ画像に基づきスクラップ画像を抽出するステップと、
    スクラップ判別モデルを用いて前記スクラップ画像に基づき判別されたスクラップの等級及び各等級の比率の情報を出力するステップと、
    を含むスクラップ判別方法。
  11. スクラップを含むカメラ画像を取得する取得部と、
    前記カメラ画像に基づき、該カメラ画像に含まれる中央部に存在するスクラップ部位を画像内にあらかじめ設けた窓部を基準として抽出するスクラップ部位抽出モデルと、
    前記スクラップ部位抽出モデルによって抽出されたスクラップ画像からスクラップ中の鉄スクラップ以外の異物を選別する、学習用画像を含む教師データにより生成された異物判別モデルと、
    前記異物判別モデルを用いて前記スクラップ画像に基づき判別された鉄スクラップ中の異物の有無についての情報を出力する出力部と、
    を備えるスクラップ判別システム。
  12. 請求項１１に記載のスクラップ判別システムであって、
    前記窓部は、前記カメラ画像の中心を基準とした全体画像の１／４の範囲を特定し、該窓部に存在するスクラップを起点としたスクラップ部位をセマンテックセグメンテーション法により抽出する、スクラップ判別システム。
  13. 請求項１１又は１２に記載のスクラップ判別システムであって、
    前記異物判別モデルの学習用画像として異物の画像と鉄スクラップ画像をPoisson image editingの画像編集手法により合成した異物混入スクラップ画像を用いるスクラップ判別システム。
JP2021571482A 2020-08-14 2021-07-28 スクラップ判別システム、及びスクラップ判別方法 Active JP7036296B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020137100 2020-08-14
JP2020137100 2020-08-14
PCT/JP2021/027954 WO2022034798A1 (ja) 2020-08-14 2021-07-28 スクラップ判別システム、及びスクラップ判別方法

Publications (2)

Publication Number Publication Date
JPWO2022034798A1 JPWO2022034798A1 (ja) 2022-02-17
JP7036296B1 true JP7036296B1 (ja) 2022-03-15

Family

ID=80247140

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021571482A Active JP7036296B1 (ja) 2020-08-14 2021-07-28 スクラップ判別システム、及びスクラップ判別方法

Country Status (7)

Country Link
US (1) US20230316489A1 (ja)
EP (1) EP4197656A4 (ja)
JP (1) JP7036296B1 (ja)
KR (1) KR20230029989A (ja)
CN (1) CN116194229A (ja)
TW (1) TWI787943B (ja)
WO (1) WO2022034798A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102650811B1 (ko) * 2023-09-27 2024-03-25 주식회사 에이트테크 폐기물 분류 사업장 별 특성을 고려한 폐기물 분류 시스템

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023157278A (ja) * 2022-04-14 2023-10-26 株式会社アーステクニカ 判定装置、選別装置、及び判定方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020095709A (ja) * 2018-11-29 2020-06-18 株式会社神鋼エンジニアリング＆メンテナンス スクラップ等級判定システム、スクラップ等級判定方法、推定装置、学習装置、学習済みモデルの生成方法、及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017109197A (ja) 2016-07-06 2017-06-22 ウエノテックス株式会社 廃棄物選別システム及びその選別方法
JP7132743B2 (ja) * 2018-04-27 2022-09-07 日立造船株式会社 情報処理装置、制御装置、および不適物検出システム
JP2020021188A (ja) 2018-07-31 2020-02-06 田中　成典 自動車の姿勢推定装置
CN111292026A (zh) * 2020-04-27 2020-06-16 江苏金恒信息科技股份有限公司 一种基于神经网络模型融合的废钢评级方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020095709A (ja) * 2018-11-29 2020-06-18 株式会社神鋼エンジニアリング＆メンテナンス スクラップ等級判定システム、スクラップ等級判定方法、推定装置、学習装置、学習済みモデルの生成方法、及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102650811B1 (ko) * 2023-09-27 2024-03-25 주식회사 에이트테크 폐기물 분류 사업장 별 특성을 고려한 폐기물 분류 시스템

Also Published As

Publication number Publication date
JPWO2022034798A1 (ja) 2022-02-17
TW202208078A (zh) 2022-03-01
KR20230029989A (ko) 2023-03-03
WO2022034798A1 (ja) 2022-02-17
EP4197656A4 (en) 2024-01-24
EP4197656A1 (en) 2023-06-21
CN116194229A (zh) 2023-05-30
TWI787943B (zh) 2022-12-21
US20230316489A1 (en) 2023-10-05

Similar Documents

Publication Publication Date Title
JP7036296B1 (ja) スクラップ判別システム、及びスクラップ判別方法
Prasanna et al. Computer-vision based crack detection and analysis
Li et al. Automatic pavement crack recognition based on BP neural network
Abdel-Qader et al. Analysis of edge-detection techniques for crack identification in bridges
CN110766039B (zh) 渣土车运输状态识别方法、介质、设备及渣土车
CN114743119B (zh) 基于无人机的高铁接触网吊弦螺母缺陷检测方法
CN112348791B (zh) 基于机器视觉的废钢智能检判方法、***、介质及终端
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN113283395A (zh) 一种运煤皮带转接处堵塞异物的视频检测方法
CN111127465A (zh) 一种桥梁检测报告自动生成方法及***
CN115601682A (zh) 井下皮带运输机异物检测方法和装置
CN113033451A (zh) 基于深度学习的架空线路故障识别方法及***
CN115457415A (zh) 基于yolo-x模型的目标检测方法、装置、电子设备和存储介质
CN113888462A (zh) 一种裂纹识别方法、***、可读介质及存储介质
CN115359392A (zh) 一种基于改进YOLOv5模型的路边施工行为检测方法
CN114283383A (zh) 一种智慧城市公路养护方法、计算机设备及介质
JP7205637B2 (ja) スクラップ判別システム、及びスクラップ判別方法
CN116206155A (zh) 基于YOLOv5网络的废钢分类识别方法
Pramanik et al. Detection of Potholes using Convolutional Neural Network Models: A Transfer Learning Approach
Huynh et al. VehiDE Dataset: New dataset for Automatic vehicle damage detection in Car insurance
CN111709991B (zh) 一种铁路工机具的检测方法、***、装置和存储介质
CN113920055A (zh) 一种缺陷检测方法
Kembhavi et al. Low-cost image processing system for evaluating pavement surface distress
CN116092012B (zh) 基于视频流的钢筋绑扎工序监测方法及监测装置
CN116993672A (zh) 道路病害识别方法及相关设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211130

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20211130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220214

R150 Certificate of patent or registration of utility model

Ref document number: 7036296

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150