TWI787943B - 廢料判別系統及廢料判別方法 - Google Patents

廢料判別系統及廢料判別方法 Download PDF

Info

Publication number
TWI787943B
TWI787943B TW110129395A TW110129395A TWI787943B TW I787943 B TWI787943 B TW I787943B TW 110129395 A TW110129395 A TW 110129395A TW 110129395 A TW110129395 A TW 110129395A TW I787943 B TWI787943 B TW I787943B
Authority
TW
Taiwan
Prior art keywords
waste
image
discrimination
model
grade
Prior art date
Application number
TW110129395A
Other languages
English (en)
Other versions
TW202208078A (zh
Inventor
小笠原太
岸本康夫
高雄保嘉
Original Assignee
日商杰富意鋼鐵股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商杰富意鋼鐵股份有限公司 filed Critical 日商杰富意鋼鐵股份有限公司
Publication of TW202208078A publication Critical patent/TW202208078A/zh
Application granted granted Critical
Publication of TWI787943B publication Critical patent/TWI787943B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0054—Sorting of waste or refuse
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P10/00—Technologies related to metal processing
    • Y02P10/20—Recycling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Sorting Of Articles (AREA)
  • Processing Of Solid Wastes (AREA)

Abstract

本發明提供一種可改善廢料之判別技術的廢料判別系統及廢料判別方法。本發明之廢料判別系統具備有：廢料部位抽出模型(221)，其根據相機圖像，以在圖像內預先所設置的窗部(107)為基準，抽出被包含在該相機圖像存在於中央部的廢料部位；廢料判別模型(222)，其根據廢料部位抽出模型(221)所抽出的廢料圖像，篩選廢料之等級及各等級之比率，且藉由包含學習用圖像的教師資料，如此所產生；及輸出部(24)，其輸出使用廢料判別模型(222)並根據廢料圖像所判別之廢料之等級及各等級之比率之資訊。

Description

廢料判別系統及廢料判別方法
本發明係有關一種廢料判別系統及廢料判別方法。
近年來，自資源有效活用之觀點，要求將廢料等之廢棄物作為可循環之資源而再利用。為了將廢棄物再利用，需判別可循環之資源。已提出一種廢棄物之判別處理方法，其預先輸入有關廢棄物之圖像，同時使用將有關廢棄物之資訊作為教師資料而藉由機械學習所構建的學習完成模型，藉此自相機圖像判定廢棄物，其為不依賴人力者(例如專利文獻1)。 [先前技術文獻]  [專利文獻]
專利文獻1：日本專利特開2017-109197號 專利文獻2：日本專利特開2020-95709號
(發明所欲解決之問題)
然而，專利文獻1之技術係將解體處理後之住宅及災難瓦礫等之廢棄物作為判別之對象，並未針對例如有關可有效率地判別金屬等廢料之方法進行檢討。例如鐵廢料被作為鐵之再利用之資源而於市場流通，其使用電爐等循環成鐵。習知，在鐵廢料處理之現場藉由作業者之目測而完成廢料等級之判別。其原因在於，破碎後之廢料金屬片具有各種尺度，且各廢料之形狀亦不同，為了進行等級之判別則必需對整體進行目測，從而其難以實現自動化。另一方面，在藉由作業者目測所進行之判別作業中，會產生起因於作業者之熟練度所導致之判別結果不均的問題。又，其亦具有相關作業者之高齡化及人員確保的問題。
在專利文獻2中，揭示有一種判定鐵廢料之重量等級的技術。在該方法中，利用磁力起重機將廢料懸吊，並使用所拍攝的圖像，對吊起之部位推斷廢料等級之比例，藉由反覆複數次進行該推斷作業而最終作綜合之判定。然而，可適用專利文獻2之技術被受限於其一面須利用磁力起重機吊起廢料一面測定廢料等級之情形。在實際之廢料處理中，不使用起重機而搬入廢料之情形很多，在此種情形時則難以使用該方法。又，在專利文獻2之方法中，一面利用磁體將廢料懸吊一面逐次進行判定，故需要較長時間來進行所有廢料之判定。如此，有關自所取得之圖像中把握廢料之整體形狀並判別廢料等級的技術，仍具有改善之餘地。
本發明之目的為鑒於該情形所完成，其提供一種可改善廢料之判別技術的廢料判別系統及廢料判別方法。 (解決問題之技術手段)
本發明之一實施形態之廢料判別系統具備有： 取得部，其取得包含廢料的相機圖像； 廢料部位抽出模型，其根據上述相機圖像，以在圖像內預先所設置的窗部為基準，抽出被包含在該相機圖像存在於中央部的廢料部位； 廢料判別模型，其根據上述廢料部位抽出模型所抽出的廢料圖像，篩選廢料之等級及各等級之比率，藉由包含學習用圖像的教師資料，如此所產生；及 輸出部，其輸出使用上述廢料判別模型並根據上述廢料圖像所判別之廢料之等級及各等級之比率的資訊。
又，本發明之一實施形態之廢料判別方法係根據包含廢料的相機圖像，使用抽出被包含在該相機圖像存在於中央部的廢料部位的廢料部位抽出模型、及判別廢料之等級及各等級之比率藉由包含學習用圖像的教師資料，如此所產生的廢料判別模型者；其包含以下之步驟： 取得包含上述廢料的相機圖像的步驟； 使用上述廢料部位抽出模型，根據上述相機圖像而抽出廢料圖像的步驟；及 輸出使用廢料判別模型並根據上述廢料圖像所判別的廢料之等級及各等級之比率之資訊的步驟。
又，本發明之一實施形態之廢料判別系統具備有： 取得部，其取得包含廢料的相機圖像； 廢料部位抽出模型，其根據上述相機圖像，以在圖像內預先所設置的窗部為基準，抽出被包含在該相機圖像存在於中央部的廢料部位； 異物判別模型，其自藉由上述廢料部位抽出模型所抽出的廢料圖像，篩選廢料中之鐵廢料以外之異物，且藉由包含學習用圖像的教師資料，如此所產生；及 輸出部，其輸出使用上述異物判別模型並根據上述廢料圖像所判別之有關鐵廢料中有無異物之資訊。 (對照先前技術之功效)
根據本發明之一實施形態之廢料判別系統及廢料判別方法，其可改善廢料之判別技術。
以下，參照圖式，對本發明之實施形態進行說明。
各圖中，對於同一或相當之部分標註同一符號。本實施形態之說明中，對於同一或相當之部分，適當省略其說明或予以簡略。
圖1係表示本發明之一實施形態的廢料判別系統1之整體概要的示意圖。以下，在本實施形態中雖然對判別之廢料之對象為鐵廢料的情形進行說明，但是判別對象並不被限定於鐵廢料。例如，判別對象亦可為其他金屬廢料。
鐵廢料根據其產生源而可大致區分為2種類。其一為於製造業在生產階段所產生的加工廢料(亦稱為工廠產生廢料)。加工廢料係利用回收業者被回收之後，改以邊角料、鋼切粉、鐵屑而流通。而且，加工廢料之大部分並不進行加工處理(中間處理)而被回收至製鋼廠商。加工廢料係所謂已知來歷之鐵廢料，且在品質方面上為與回收屑同樣為容易使用的廢料。又，在產生、回收、及搬送階段異物混入的可能性亦較少。
另一種廢料係鋼構造物老化而產生的老舊廢料。在老舊廢料中亦包含在修理或損傷的階段所產生的廢料。產生場所為建築物解體時、機械類更新時、已使用過之汽車、容器等多種多樣，產生形狀亦為多樣。因此，老舊廢料於回收後，為了提高製鋼投入效率而進行篩分、破碎、減容等加工處理之後，當作重量屑來處理。又，有關家用電器類、汽車之主體、自動販賣機等鋼板製品，主要用於利用破碎而減少容積後，藉由磁選而僅篩選鐵。該等老舊廢料分別在產生階段、回收階段及加工處理階段為多樣化，故在加工處理後進行等級之判別。老舊廢料之等級判別係根據形狀、即廢料之厚度、寬度、長度等而被決定。在現在，廣泛地使用(社團法人)日本鐵源協會在1996年所制定之鐵廢料驗收統一規格。
如上所述，習知，在鐵廢料處理之現場藉由作業者之目測而進行廢料等級之判別。又，在藉由作業者目測所進行之判別作業中，存在有因作業者之熟練度而導致之判別結果不均之問題等。本實施形態之廢料判別系統1係鑒於該問題等而所完成者，概略而言，其係取代藉由作業者目測所進行之判別，根據拍攝鐵廢料所得之相機圖像來進行廢料之判別者。
以下，本實施形態中，雖然對在廢料中最為一般之HS、H1、H2、H3、及生銹之鍍鋅鐵板等鐵品質較低之L1、L2之6種類進行判別的例子進行說明，但是判別對象之等級並不被限定於此。又，判別對象之等級亦可包含邊角料屑(剪切屑)、切粉(切削屑)等。即，本實施形態中判別之廢料之等級可配合製造現場之需求而包含任意廢料之等級。
如圖1所示，本實施形態之廢料判別系統1包含複數個相機10、及資訊處理裝置20。複數個相機10與資訊處理裝置20藉由網路30被連接。複數個相機10例如為網路相機，經由網路30將所拍攝的相機圖像發送至資訊處理裝置20。在圖1中雖然例示具備有4台相機10的情形，但是相機10之台數並不被限定於此。相機10之台數亦可未滿4台，亦可為1台。又，相機10之台數亦可多於4台。相機圖像係利用卡車將鐵廢料搬送之後，在暫時轉移至堆積場的時序拍攝鐵廢料所得的圖像。圖2係藉由相機10所拍攝之相機圖像之具體例。如圖2所示，於相機圖像所包含之廢料中混合存在有複數個等級之鐵廢料。概略而言，資訊處理裝置20係根據藉由機械學習所產生的複數個模型而判別相機圖像中之鐵廢料之等級及各等級之比率。在實際之操作中，根據廢料各等級之重量比及總重量來進行廢料之交易。因此，在以下之本實施形態中，資訊處理裝置20是作為判別相機圖像中各等級之廢料的重量比率者以進行說明。
資訊處理裝置20具備有控制部21、記憶部22、取得部23、及輸出部24。
在控制部21中，包含至少1個處理器、至少1個專用線路、或該等之組合。處理器係CPU(central processing unit，中央處理單元)等通用處理器、或將特定之處理進行特殊化的專用處理器。專用線路例如係FPGA(field-programmable gate array，場可程式化閘陣列)或ASIC(application specific integrated circuit，特殊應用積體電路)。控制部21一面控制資訊處理裝置20之各部，一面執行有關資訊處理裝置20之動作的處理。
在記憶部22中，包含至少1個半導體記憶體、至少1個磁性記憶體、至少1個光記憶體、或該等中之至少2種類之組合。半導體記憶體例如係RAM(random access memory，隨機存取記憶體)或ROM(read only memory，唯讀記憶體)。RAM例如係SRAM(static random access memory，靜態隨機存取記憶體)或DRAM(dynamic random access memory，動態隨機存取記憶體)。ROM例如係EEPROM(electrically erasable programmable read only memory，電可抹除可程式化唯讀記憶體)。記憶部22例如作為主記憶裝置、輔助記憶裝置、或快取記憶體來發揮功能。在記憶部22，記憶有被使用於資訊處理裝置20之動作的資料、及藉由資訊處理裝置20之動作而取得的資料。例如，記憶部22記憶廢料部位抽出模型221、及廢料判別模型222。廢料判別模型222包含第1廢料判別模型222-1、第2廢料判別模型222-2、及選擇模型222-3。
雖然廢料判別系統1係藉由使用相機圖像進行廢料之等級判別而取代藉由作業者之目測所進行之判別者，但是其具有因相機圖像而產生判定誤差的情形。在搬運廢料後藉由相機圖像進行廢料之等級判定之情形時，僅拍攝判別對象之廢料事實上有困難，而判別對象外之物體等會被包含在相機圖像中。判別對象外之物體等包含例如地面、背景、判別對象外之廢料。圖3係包含判別對象外之物體等的相機圖像之一例。如圖3所示，在相機圖像中，包含地面101、背景102、判別對象之廢料以外之廢料103、104、及搬運車輛105(卡車105)。被包含在相機圖像的判別對象外之物體等並不被限定於此，亦包含附近之廢料堆置場等之映入。如上述般，即使在相機拍攝時欲僅拍攝廢料，亦具有因周圍之狀況而難以實現的情形，因此在判別處理中會產生誤差。
為了降低該誤差，本發明人等針對構建利用下述使用神經網路等機械學習演算法的機械學習而判定廢料等級的系統進行了反覆研究。其結果，本發明人等發現，藉由經過以下之2個過程判定廢料等級而可以較高之精度判定廢料等級。第1過程係自相機圖像抽出廢料部位的過程。第2過程係判別藉由第1過程所被抽出的廢料部位之等級的過程。概略而言，廢料判別系統1係藉由廢料部位抽出模型221而執行第1過程，藉由廢料判別模型222而執行第2過程。
首先對第1過程進行說明。將對進行等級判定之對象的廢料拍攝所得之相機圖像經由網路30被送入至資訊處理裝置20之後，廢料部位抽出模型221自該相機圖像抽出廢料部位。在本實施形態中，作為廢料部位抽出模型221抽出廢料部位的方法，為使用空間分類處理之一種即圖像語義分割(semantic segmentation)。
所謂圖像語義分割係指將各像素根據其含意(周邊像素之資訊)進行類別分類的方法(日本專利特開2020-21188號，Badrinarayanan, V., A. Kendall, and R. Cipolla. Segnet: A deep convolutional encoder decoder architecture for image segmentation. arXiv. Preprint arXiv: 1511.0051)。圖像語義分割被使用在例如於車之自動駕駛等中檢查外觀(道路、建築物)、形狀(車、行人)，對道路、人行道等不同類別間的空間關係(文脈)進行理解者。
使用圖4，說明藉由相機圖像使用圖像語義分割來抽出判別等級之對象之廢料部位的處理之概要。相機圖像係在圖像之中央部包含進行等級判定的廢料圖像。因此，如圖4所示，在抽出廢料部位時，使用在相機圖像106內預先所設置的窗部107特定出對象之廢料。該窗部107係在廢料拍攝圖像中短邊、長邊分別位於距圖像中心為相機圖像之1/2之部分(距圖像中心分別為1/4之部分)的區域。換言之，將相機圖像之長邊及短邊之長度分別設為M、L之情形時，窗部107係自圖像中心分別沿長邊方向、及短邊方向分別具有1/4M、1/4L之長度的矩形區域。而且，如圖4所示，在本實施形態中，抽出以窗部107內之廢料為起點的廢料部位108。所謂「以窗部內之廢料為起點的廢料部位」係指複數種廢料所形成的廢料之集合體(以下，亦稱為廢料群)之至少一部分存在於窗部內的廢料部位。換言之，在窗部107內存在廢料群之一部分的情形時，被包含在該廢料群的廢料係作為以窗部內之廢料為起點的廢料部位來處理。
圖5表示自圖像抽出廢料部位時成為基準的窗部107、及所抽出用以進行等級判定的廢料部位之具體例。如上所述，廢料部位係以存在於窗部之廢料為起點而以任意形狀構成廢料群。在圖5之例1～例5中，各個部位109～113表示所被抽出的廢料部位。
此處，在藉由語義分割所進行之抽出處理中，如上述自動駕駛之例所示，可將被包含在圖像的複數個對象(道路、建築物、車、行人)分別分類，故在本實施形態中，亦可自原始圖像將被包含在該圖像中的所有廢料自廢料以外之對象物抽出(分類)。然而，在本實施形態中為了僅抽出新搬入欲進行等級判定的廢料，將不以窗部內之廢料為起點的廢料作為背景來處理。該點與通常之圖像語義分割不同。
為了藉由廢料部位抽出模型221進行上述抽出處理，藉由多個相機圖像進行廢料部位抽出模型221之參數學習。首先，準備包含假定在廢料等級判定中所拍攝之廢料的相機圖像。相機圖像較佳為包含在進行廢料等級的場所中所假定的各種廢料，且存在許多包含各種背景的圖像。對於包含各個廢料的圖像資料，操作者事先藉由目測圖像而將用於等級判定的廢料群與廢料以外之部分(背景等)分別以不同之顏色標註標記，製作標註標記之圖像。圖6表示包含廢料的原始圖像及標註標記之圖像之例。該等原始圖像及該標註標記之圖像相當於教師資料。換言之，廢料部位抽出模型221係將包含廢料的原始圖像與標記圖像之組合作為教師資料而產生之學習模型。如圖6所示，標註標記之圖像係包含表示廢料部位之區域的標記(標記114、115)、及表示除此以外之部分之區域的標記(標記116、117)。使用該教師資料，執行廢料部位抽出模型221之參數學習(學習階段)。
圖7係表示廢料部位抽出模型221之學習階段的流程圖。首先，準備相機圖像(廢料原始圖像)與對應於廢料原始圖像的標記圖像之資料之組合作為教師資料(步驟S1、S2)。再者，較佳為使用足夠數量(例如1000張左右)之標記圖像，藉此可精度良好地進行廢料部位之抽出。將廢料原始圖像及標記圖像分割為參數學習用之訓練集與網路精度評估用之測試集(步驟S3)，使用參數學習用之訓練集進行廢料部位抽出模型221之參數學習(步驟S4)。其後，使用精度評估用之測試集進行網路之學習評估(步驟S5)，再次進行參數調整。根據其結果而決定網路之參數，進行網路之學習(步驟S6)。再者，例如於出現與在1000張中所呈現之背景完全不同的背景而導致在判定中產生誤差的情形時，亦可再次使用包含該完全不同之背景的新圖像進行再學習。以上學習之結果，可自包含廢料的拍攝圖像中抽出存在於中央部的廢料部位。圖8係表示藉由學習完畢之廢料部位抽出模型221自相機圖像抽出廢料部位之例。如圖8所示，將廢料部位118自其以外之區域119抽出。
使用藉由圖像語義分割所進行之廢料部位之抽出處理，藉由廢料部位抽出模型221執行抽出廢料部位的過程之後，執行第2過程，即判別藉由第1過程所被抽出的廢料部位之等級的過程。在本實施形態中，第2過程係藉由第1廢料判別模型222-1、第2廢料判別模型222-2、及選擇模型222-3被執行。
第1廢料判別模型222-1係根據廢料圖像判別被包含在該廢料圖像的廢料之等級及各等級之比率的學習模型。第1廢料判別模型222-1係藉由包含第1學習用圖像的教師資料所產生。第1學習用圖像係單一等級之鐵廢料之圖像。即，第1廢料判別模型222-1係根據包含第1學習用圖像和與該第1學習用圖像相關之判別之實際成果資料的教師資料，藉由使用神經網路等之機械學習演算法的機械學習所產生。在圖9中表示第1廢料判別模型222-1之學習處理之概要。如圖9所示，在第1廢料判別模型222-1之輸入層，輸入第1學習用圖像即單一等級之鐵廢料之圖像。將作為實際成果資料之操作員所判別之等級之實際成果資料與各單一等級之鐵廢料之圖像建立對應。藉由該教師資料而調整神經元間之加權因數，進行第1廢料判別模型222-1之學習處理。再者，雖然在圖9中表示HS、H1、H2、H3、L1、及L2與各圖像建立對應之例，但是其等級並不被限定於該等。單一等級之鐵廢料之圖像亦可為其他任意等級之鐵廢料圖像。此處，雖然在圖9中圖示有第1廢料判別模型222-1為根據由輸入層、隱蔽層及輸出層所形成的多層感知器所產生之模型的例，但是其並不被限定於此。第1廢料判別模型222-1亦可為藉由其他任意機械學習演算法所產生的模型。例如，第1廢料判別模型222-1亦可為根據卷積神經網路(Convolutional Neural Network，CNN)、深度學習等之機械學習演算法所產生的模型。
在藉由第1廢料判別模型222-1判別被包含在廢料圖像的廢料之等級及各等級之比率時，控制部21係使用第1廢料判別模型222-1，根據在廢料圖像中各等級之廢料之面積比而判別廢料之比率。在圖10中表示藉由第1廢料判別模型222-1所進行之判別處理之概要。如圖10所示，控制部21係將被分割成格子狀之廢料圖像之各部分之圖像輸入至第1廢料判別模型222-1，判別該部分圖像之廢料之等級。將以此方式被分割成格子狀之廢料圖像之部分圖像隨機地抽出而判別廢料之等級，控制部21算出在該圖像中之廢料之等級之面積比。進而，控制部21根據各廢料之整體密度(bulk density)，將面積比換算成重量比。以此方式，控制部21算出被包含在廢料圖像的廢料之等級及各等級之比率。再者，雖然此處顯示控制部21隨機地抽出廢料圖像之一部分之部分圖像而算出上述面積比的例，但是其並不被限定於此。例如，控制部21亦可根據廢料圖像之所有之部分圖像而算出上述面積比。
第2廢料判別模型222-2係根據廢料圖像而判別被包含在該廢料圖像的廢料之等級及各等級之比率的學習模型。第2廢料判別模型222-2係藉由包含與第1學習用圖像不同之第2學習用圖像的教師資料所產生。第2學習用圖像係混合等級之鐵廢料之圖像。所謂混合等級之鐵廢料係指包含複數個等級之鐵廢料的鐵廢料。即，第2廢料判別模型222-2係根據包含第2學習用圖像和與該第2學習用圖像相關之判別之實際成果資料的教師資料，藉由使用神經網路等之機械學習演算法的機械學習所產生。在圖11中表示第2廢料判別模型222-2之學習處理之概要。如圖11所示，在第2廢料判別模型222-2之輸入層，輸入第2學習用圖像即混合等級之鐵廢料之圖像。將作為實際成果資料之操作員所判別之等級及各等級之比率與各混合等級之鐵廢料之圖像建立對應。藉由該教師資料而調整神經元間之加權因數，進行模型之學習處理。此處，雖然在圖11中圖示有第2廢料判別模型222-2為根據由輸入層、隱蔽層及輸出層所形成的多層感知器所產生之模型的例，但是其並不被限定於此。第2廢料判別模型222-2亦可為藉由其他任意機械學習演算法所產生的模型。例如，第2廢料判別模型222-2亦可為根據卷積神經網路(CNN)、深度學習等之機械學習演算法所產生的模型。在藉由第2廢料判別模型222-2判別被包含在廢料圖像的廢料之等級及各等級之比率時，亦與第1廢料判別模型222-1同樣，隨機地抽出將廢料圖像分割的部分圖像而判別廢料之等級，控制部21算出在該圖像中之廢料之等級之重量比。其原因在於，藉由分割圖像且多數次判別隨機地所選出的圖像而可提高判定精度。再者，此處顯示隨機地抽出相機圖像之一部分之部分圖像而算出廢料之等級之重量比的例，但是其並不被限定於此，針對該點亦與第1廢料判別模型相同，控制部21亦可根據廢料圖像之所有之部分圖像而分割圖像，算出上述重量比。
選擇模型222-3係在根據廢料圖像而判別被包含在該廢料圖像的廢料之等級及各等級之比率時，推斷第1廢料判別模型222-1或第2廢料判別模型222-2之哪一者為輸出更確切之解的模型。選擇模型222-3根據推斷結果而選擇輸出更確切之解的模型。繼而，控制部21係使用利用選擇模型222-3所被選擇的模型，根據廢料圖像而判別廢料之等級及各等級之比率。換言之，選擇模型222-3係根據相機圖像而判別將第1廢料判別模型222-1或第2廢料判別模型222-2之哪一者使用於廢料等級之判別。選擇模型222-3之教師資料係自相機10經由網路30所取得之包含廢料的廢料圖像、藉由第1廢料判別模型222-1所推斷之廢料之等級及各等級之比率、藉由第2廢料判別模型222-2所推斷之廢料之等級及各等級之比率、及作為實際成果資料之操作員所判別之等級及各等級之比率。模型選擇之實際成果資料係根據分別被輸入至第1廢料判別模型222-1及第2廢料判別模型222-2時之判別結果、及該廢料圖像之操作員所判別之等級及各等級之比率之結果而來決定。亦即，選擇模型222-3係使用該教師資料，藉由使用神經網路等之機械學習演算法的機械學習所產生的推斷模型。選擇模型222-3例如係根據多層感知器、卷積神經網路(CNN)、深度學習等之機械學習演算法所產生。
在取得部23，自相機10經由網路30取得包含廢料的相機圖像，取得部23包含至少1個通信用介面。通信用介面例如係LAN(Local Area Network，區域網路)介面、WAN(Wide Area Network，廣域網路)介面、與LTE(Long Term Evolution，長期演進技術)、4G(4th generation，第4代)或5G(5th generation，第5代)等之移動通信規格對應的介面、或與Bluetooth(藍芽，註冊商標)等之近距離無線通信對應的介面。取得部23接收被使用於資訊處理裝置20之動作的資料，又，發送藉由資訊處理裝置20之動作所取得的資料。
在輸出部24，包含至少1個輸出用介面。輸出用介面例如為顯示器。顯示器例如係LCD(liquid crystal display，液晶顯示裝置)或有機EL(electro luminescence，電致發光)顯示器。輸出部24輸出藉由資訊處理裝置20之動作所取得的資料。輸出部24取代被具備在資訊處理裝置20，其亦可作為外部之輸出機器而被連接至資訊處理裝置20。其連接方式，例如可使用USB(Universal Serial Bus，通用序列匯流排)、HDMI(註冊商標)、或Bluetooth(註冊商標)等之任意方式。
資訊處理裝置20之功能係藉由利用與控制部21相當的處理器來執行本實施形態之程式而被實現。即，資訊處理裝置20之功能係藉由軟體而被實現。程式係藉由使電腦執行資訊處理裝置20之動作而使電腦作為資訊處理裝置20發揮功能。即，電腦係藉由根據程式執行資訊處理裝置20之動作而作為資訊處理裝置20以發揮功能。
在本實施形態中，程式可預先記錄在利用電腦可讀取的記錄媒體中。利用電腦可讀取之記錄媒體包含非暫時性電腦可讀取之媒體，例如，磁記錄裝置、光碟、磁光記錄媒體、或半導體記憶體。程式之流通例如可藉由將記錄有程式之DVD(digital versatile disc，數位多功能光碟)或CD-ROM(compact disc read only memory，唯讀光碟)等之可攜式記錄媒體作販賣、出讓、或貸借而被實施。又，程式之流通亦可藉由將程式儲存於伺服器之儲存器中，且自伺服器將程式發送至其他電腦而被實施。又，亦可將程式作為程式產品而被提供。
在本實施形態中，電腦將例如被記錄在可攜式記錄媒體的程式或自伺服器被發送的程式暫時地儲存在主記憶裝置。繼而，電腦利用處理器讀取被儲存在主記憶裝置的程式，且利用處理器根據所讀取之程式而執行處理。電腦亦可自可攜式記錄媒體直接地讀取程式，且根據程式而執行處理。電腦亦可每次自伺服器接收程式，根據所接收之程式而依序執行處理。其亦可不自伺服器向電腦發送程式，而藉由僅根據執行指示及取得結果實現功能之所謂ASP(application service provider，應用服務供應商)型服務來執行處理。在程式中包含供利用電子計算機處理用之資訊的準用程式。例如，雖並非對電腦作直接指令但是具有規定電腦處理之性質的資料係相當於「準用程式」。
資訊處理裝置20之一部分或全部功能亦可藉由相當於控制部21的專用線路而被實現。即，資訊處理裝置20之一部分或全部功能亦可藉由硬體而被實現。
其次，對藉由本發明一實施形態的廢料判別系統1所執行之廢料判別方法進行說明。圖12係表示本發明一實施形態之廢料判別方法的流程圖。
首先，廢料判別系統1之相機10拍攝包含廢料的相機圖像(步驟S10)。其次，相機10將該相機圖像經由網路30發送至資訊處理裝置20。資訊處理裝置20之取得部23經由網路30而取得該相機圖像(步驟S20)。
繼而，控制部21根據所取得之相機圖像，自圖像中抽出廢料所被拍攝的部位(步驟S30)。抽出廢料的過程如圖4中所示，使用圖像語義分割等方法而抽出存在於圖像中心所搬入之廢料圖像。
繼而，控制部21根據特定出之廢料部位之圖像、即廢料圖像，使用選擇模型222-3判別使用第1廢料判別模型222-1或第2廢料判別模型222-2之哪一者(步驟S40)。
繼而，控制部21使用第1廢料判別模型222-1或第2廢料判別模型222-2中藉由選擇模型222-3所被選擇的模型，判別在相機圖像中所包含之廢料的等級及比率(步驟S50)。
繼而，控制部21在步驟S40中使被判別的廢料之等級及比率輸出至輸出部24。輸出部24將在步驟S40中所被判別的廢料之等級及比率輸出(步驟S60)。
如此，根據本發明一實施形態之廢料判別系統1，自藉由相機10所拍攝的廢料之相機圖像，特定出存在於相機圖像之中心的搬入廢料之特定部位且選取廢料圖像，藉由該廢料圖像，使用第1廢料判別模型222-1或第2廢料判別模型222-2可自動地判別廢料之等級及比率。又，選擇模型222-3選擇使用第1廢料判別模型222-1或第2廢料判別模型222-2之哪一者，自動地選擇較適當之模型。換言之，根據本發明之一實施形態的廢料判別系統1，不經由人工而可判別並輸出該廢料之等級及比率。亦即，根據本發明之一實施形態的廢料判別系統1，可改善廢料之判別技術。
又，本發明之一實施形態的廢料判別系統1之廢料部位抽出模型221係使用圖像語義分割抽出廢料部位。如將藉由圖像語義分割所進行之方法與使用其他之物體檢測法的方法加以比較後，圖像語義分割法在以下方面較為有利。 (1)圖像語義分割係對像素標註標記，故與其他之物體檢測法相比具高精度。 (2)物體檢測需將對象物放入至邊界框內，相對於此，圖像語義分割可清楚地捕捉不規則形狀之對象物。在日本專利特開2020-95709號中，雖揭示有藉由YOLO等物體檢測模型自包含廢料的圖像中抽出起重機部的方法，但在該方法於圖像中其設有用以抽出的抽出框而進行檢測。
在本實施形態中，作為對象之實施等級判定的廢料圖像，其要抽出的部分具有不規則之形狀，又，其背景必需與各種形狀之物體分離，故物體檢測法並不適合，藉由使用圖像語義分割則可更高精度地抽出廢料圖像。如上所述，拍攝包含廢料的圖像，藉由圖像語義分割而抽出存在於圖像中心部的廢料，使用該抽出圖像而判定廢料等級，藉此則可迅速且一次地判定所搬入的廢料。
藉由以上所述之系統其雖可判定廢料之等級，但是要偵測廢料中之異物(包含鐵以外之物質)亦可適用相同之系統。即，所謂異物係指在鐵廢料中所包含之鐵以外的物體，例如在鐵廢料中包含馬達、木片、輪胎等各種異物。較理想者為在熔解廢料時儘可能無異物。尤其使異物直接熔解後，若熔解於鐵中，則無法去除之殘存元素(tramp element)將殘留於熔鋼內。殘存元素可舉出Cu、Sn、Cr、Ni等。通常周知，尤其是Cu變高後，於熱軋時會產生損傷等。
現狀為操作員於對廢料進行等級判定之同時進行目測觀察，若發現異物則將其去除。但是，其難以利用目測完全發現異物，且為了藉由本系統而可自動地判定廢料等級，因此較理想者為無人且可自動地檢測異物。
藉由機械學習所進行之偵測系統，可與廢料等級系統之相同想法來檢測異物。即，利用相機拍攝圖像後，藉由圖像語義分割而自圖像檢測廢料部位。其後，檢測異物。該系統係利用與第2廢料判別模型222-2相同之邏輯來進行判定。即，使學習用圖像預先學習包含鐵廢料與異物的圖像，以便可偵測廢料中之異物。異物判別模型係根據包含有關含有異物之廢料圖像(異物混入廢料圖像)的學習用圖像與該學習用圖像之異物之實際成果資料的教師資料而藉由使用神經網路等之機械學習演算法的機械學習而產生。
然而，異物判定存在有鉅大之課題。在廢料中混入有成為問題之異物的例很稀少。因此，極難取得成為學習用圖像之包含鐵廢料與異物的大量之圖像。又，即便將圖像大量儲存並學習，亦會因時間序列之變化而導致異物之種類改變。因此，採用利用資料擴充而人工製作包含鐵廢料與異物的圖像的方法。所謂資料擴充係指藉由對原先之學習用資料進行某些加工而將學習用資料擴充。
以下是對檢測對象之圖像與背景圖像合成之方法之方式的一例，此處對製作鐵廢料大量包含含有課題之銅異物的圖像之情形以下方式作處理。再者，作為含有銅之異物，可以電動馬達(以下，簡稱為「馬達」)為例。 (1)準備異物單體(馬達)之圖像。亦即，準備多個一般之馬達的圖像。 (2)假定馬達混入至廢料的狀態，將馬達之一部分形狀刪除或對一部分顏色作變更等之處理，增加馬達圖像之變化。 (3)將廢料圖像與上述馬達圖像組合而製作人工圖像。
此處，有關上述方式(3)，即便將馬達等檢測對象之圖像簡單合成於鐵廢料之背景圖像之上，馬達之圖像依情形亦會自背景浮起似地形成合成圖像，進而需生成與背景圖像同化的圖像。因此，藉由以帕松圖像編輯(poisson image editing)進行合成而可抑制誤認馬達以外之合成物。所謂帕松圖像編輯係指由M. Prez等所提出之圖像編輯方法(Patrick Perez, Michel Gangnet, and Andrew Blake, 「Poisson image editing」, Association for Computing Machinery vol.22, 3, 313-318, 2003)。帕松圖像編輯係利用計算與圖像之梯度有關之帕松方程式之聯立方程式而可製作無不協調感之合成照片的圖像處理方法。
實施以上處理後所製作之含有馬達的鐵廢料之合成圖像之例子表示於圖14。在圖14中，以圓圈所包圍之部分具有異物即馬達。因為使用帕松圖像編輯則可產生任意張數，故自廢料圖像及馬達圖像取30000張作為用於學習之教師資料來進行學習。對使用該教師資料的廢料判別模型確認驗證用資料以5000張確認時，則可確認到90%之例中檢測出有馬達(異物)。
雖然已根據各圖式及實施例說明本發明，但是請注意，只要為該業者，則可容易根據本發明而進行各種變形及修正。因此，該等變形及修正均被包含在本發明之範圍。例如，被包含在各構成或各步驟等的功能等只要在邏輯上不矛盾之情形下其可進行再配置，或將複數個構成或步驟等組合成1個或予以分割。
例如在本實施形態中，雖然已說明廢料部位抽出模型221藉由圖像語義分割而抽出廢料部位的方法，但是抽出廢料部位的方法並不被限定於此，亦可使用任意之空間分類處理。
又，例如在本實施形態中，顯示包含第1廢料判別模型222-1、第2廢料判別模型222-2、及選擇模型222-3作為廢料判別模型222之例。如此，藉由使用包含第1廢料判別模型222-1、第2廢料判別模型222-2、及選擇模型222-3的模型作為廢料判別模型222，則可進行精度較高之廢料等級判定。再者，廢料判別模型222並不被限定於此。例如，廢料判別模型222亦可藉由第1廢料判別模型222-1或第2廢料判別模型222-2之任一者所構成。換言之，廢料判別系統1亦可僅使用第1廢料判別模型222-1，其係根據包含第1學習用圖像、即單一等級之鐵廢料之圖像與該第1學習用圖像之判別之實際成果資料的教師資料，藉由使用神經網路等之機械學習演算法的機械學習所產生。或者，廢料判別系統1亦可僅使用第2廢料判別模型222-2，其係根據包含混合等級之鐵廢料之圖像與第2學習用圖像之判別之實際成果資料的教師資料，藉由使用神經網路等之機械學習演算法的機械學習所產生。亦即，在本實施形態中，雖然已說明併用第1廢料判別模型222-1及第2廢料判別模型222-2作為廢料判別模型222而判定廢料等級的系統，但是其亦可使用第1廢料判別模型222-1或第2廢料判別模型222-2之任一者來判別廢料等級。在該情形時，則可省略上述步驟S40。進而，在使用第1廢料判別模型222-1或第2廢料判別模型222-2之任一者的情形時，較理想者為事先充分備齊包含各個學習用圖像與該學習用圖像之判別之實際成果資料的教師資料以提高等級判定精度。又，接著在系統運轉後，亦可藉由在拍攝圖像之同時取入操作員之判斷結果並再學習而提高精度。
又，例如，在第1廢料判別模型222-1、第2廢料判別模型222-2、及選擇模型222-3之學習處理及判別處理中，控制部21亦可使用與各圖像相對應的縮放資訊。在使用縮放資訊的情形時，相機10係將相機圖像與相對應於該相機圖像的ONVIF資料之縮放資訊一起經由網路30發送至資訊處理裝置20。例如，第1學習用圖像、第2學習用圖像、及廢料圖像亦可根據與各圖像相對應的縮放資訊而被正規化。亦即，控制部21係根據與第1學習用圖像、第2學習用圖像、及廢料圖像之各者相對應的縮放資訊，而將各圖像正規化為既定之放大率。繼而，控制部21使用正規化後之第1學習用圖像、第2學習用圖像進行學習處理，又根據廢料圖像進行判別處理。因其藉由該正規化之處理而使各圖像正規化，故可提高藉由廢料判別系統1所進行之判別精度。
此處，在根據縮放資訊將各圖像正規化成既定之放大率的情形時，控制部21亦可根據縮放資訊而將圖像分類成群，利用針對各群不同的放大率而進行正規化。在圖13中表示廢料圖像之每一群的正規化之概念圖。在圖13中，配合放大率將廢料圖像分類。具體而言，在廢料圖像之放大率為x0 以上且未滿x1 之範圍R01 (以下，亦稱為第1範圍R01 )之情形時，將該廢料圖像分類為第1群。在廢料圖像之放大率為x1 以上且未滿x2 之範圍R12 (以下，亦稱為第2範圍R12 )之情形時，將該廢料圖像分類為第2群。在廢料圖像之放大率為x2 以上且未滿x3 之範圍R23 (以下，亦稱為第3範圍R23 )之情形時，將該廢料圖像分類為第3群。在廢料圖像之放大率為x3 以上且未滿x4 之範圍R34 (以下，亦稱為第4範圍R34 )之情形時，將該廢料圖像分類為第4群。在廢料圖像之放大率為x4 以上且未滿x5 之範圍R45 (以下，亦稱為第5範圍R45 )之情形時，將該廢料圖像分類為第5群。而且，在第1範圍R01 、第2範圍R12 、第3範圍R23 、第4範圍R34 、及第5範圍R45 中之各廢料圖像係分別被正規化成各範圍之基準的放大率X01 、X12 、X23 、X34 、及X45 。亦即，第1學習用圖像、第2學習用圖像、及廢料圖像係配合與各圖像相對應之縮放資訊被正規化成不同之放大率。換言之，控制部21係進行正規化成根據廢料圖像之縮放資訊而所規定之複數個基準中的任一基準放大率。藉此，則可抑制因將廢料圖像過度放大或縮小而導致的圖像解像度之不均，從而提高藉由廢料判別系統1所進行之判別精度。再者，在圖13中雖然顯示控制部21將圖像分類為5個群，並利用所對應之5個放大率而正規化之例，但是其並不被限定於此。例如，控制部21亦可將分類數設為4以下或6以上，且分別利用不相同之放大率而正規化。
再者，以上雖然顯示將圖像之縮放資訊用於學習處理及判別處理之例，但是其並不被限定於此。例如廢料判別系統1亦可將自相機10所取得的ONVIF資料之至少一部分使用於學習處理及判別處理。ONVIF資料包含左右、傾斜、及縮放之資訊。即，廢料判別系統1亦可使用左右、傾斜、及縮放之資訊中之至少任一者進行學習處理及判別處理。
又，例如，在第1廢料判別模型222-1、第2廢料判別模型222-2、及選擇模型222-3之學習處理及判別處理中，控制部21亦可追加搬入廢料的搬入業者之資訊。藉此，如考慮到各搬入業者所搬入之廢料的傾向，則可提高藉由廢料判別系統1所進行之判別精度。
又，例如，廢料判別系統1進而可在判別處理後，將使用於判別的圖像作為新的教師資料而儲存。而且，控制部21亦可根據該圖像，與操作員所判別之等級及各等級之比率的結果相配合，使第1廢料判別模型222-1、第2廢料判別模型222-2、及選擇模型222-3進行再學習。例如，假設在輸出結果(判別結果)具有問題之情形時，亦可將具有問題的輸出之資訊、與對應於該資訊的圖像及實際成果資料作為教師資料，使第1廢料判別模型222-1、第2廢料判別模型222-2、及選擇模型222-3之至少任一者進行再學習。藉此，則可提高藉由第1廢料判別模型222-1、第2廢料判別模型222-2、及選擇模型222-3所進行之判別的精度及速度。
又，例如，在本實施形態中，雖然相機圖像為在利用卡車搬送鐵廢料後，暫時轉移至堆積場的時序所拍攝的圖像，但是其並不被限定於此。例如，相機圖像亦可為在製造現場拍攝利用起重機吊起廢料之狀態所取得的圖像。又，在該情形時，於拍攝時亦可使用照射廢料的照明裝置。藉此，則可採取鮮明之相機圖像。在任一情形時，均可自所拍攝之圖像使用已說明之方法進而特定出廢料部位的抽出作業之後，藉由使廢料等級判定系統運轉而可提高廢料等級判定之精度。
又，例如在本實施形態中，窗部107係以相機圖像中心為基準之整體圖像1/4之範圍(在將相機圖像之長邊及短邊之長度分別設為M、L之情形時，自圖像中心分別沿長邊方向、及短邊方向分別為1/4M、1/4L之矩形區域)，但是其並不被限定於此。窗部107只要為以相機圖像之中心為基準的整體圖像之一部分的範圍，則亦可為任意範圍。例如，在將相機圖像之長邊及短邊之長度分別設為M、L之情形時，窗部107亦可為自圖像中心分別沿長邊方向、及短邊方向分別為1/3M、1/3L之矩形的區域。
1:廢料判別系統 10:相機 20:資訊處理裝置 21:控制部 22:記憶部 23:取得部 24:輸出部 30:網路 101:地面 102:背景 103,104:廢料 105:搬運車輛(卡車) 106:相機圖像 107:窗部 108～113,118:廢料部位 114～117:標記 119:區域 221:廢料部位抽出模型 222:廢料判別模型 222-1:第1廢料判別模型 222-2:第2廢料判別模型 222-3:選擇模型
圖1係表示本發明之一實施形態之廢料判別系統之概要構成的圖。 圖2係成為判別對象的廢料之相機圖像之具體例。 圖3係判別對象外之物體等被包含在相機圖像的具體例。 圖4係抽出對象之廢料部位的處理之概要圖。 圖5係表示根據窗部而抽出之廢料部位之具體例的圖。 圖6係包含廢料的原始圖像及標註標記之圖像的具體例。 圖7係廢料部位抽出模型之學習階段的流程圖。 圖8係表示藉由學習完畢之廢料部位抽出模型所抽出之廢料部位的圖。 圖9係表示第1廢料判別模型之學習處理之概要的圖。 圖10係表示藉由第1廢料判別模型所進行之判別處理之概要的圖。 圖11係表示第2廢料判別模型之學習處理之概要的圖。 圖12係表示本發明之一實施形態之廢料判別方法的流程圖。 圖13係與相機圖像之縮放級別對應的每一群之正規化的概念圖。 圖14係例示包含異物的合成圖像的圖。
1廢料判別系統
10:相機
20:資訊處理裝置
21:控制部
22:記憶部
23:取得部
24:輸出部
30:網路
221:廢料部位抽出模型
222:廢料判別模型
222-1:第1廢料判別模型
222-2:第2廢料判別模型
222-3:選擇模型

Claims (13)

  1. 一種廢料判別系統，其具備有：取得部，其取得包含廢料的相機圖像；廢料部位抽出模型，其根據上述相機圖像，以在圖像內預先所設置的窗部為基準，抽出被包含在該相機圖像存在於中央部的廢料部位；廢料判別模型，其根據上述廢料部位抽出模型所抽出的廢料圖像，篩選廢料之等級及各等級之比率，且藉由包含學習用圖像的教師資料，如此所產生；及輸出部，其輸出使用上述廢料判別模型並根據上述廢料圖像所判別之廢料等級及各等級比率之資訊。
  2. 如請求項1之廢料判別系統，其中，上述窗部係特定出以上述相機圖像之中心為基準之整體圖像的1/4之範圍，藉由圖像語義分割法而抽出存在於該窗部的廢料為起點之廢料部位。
  3. 如請求項1或2之廢料判別系統，其中，上述學習用圖像係單一等級之鐵廢料之圖像，在使用上述廢料判別模型判別被包含在上述廢料圖像的廢料之等級及各等級之比率時，根據在上述廢料圖像中之各等級之廢料之面積比而判別上述比率。
  4. 如請求項1或2之廢料判別系統，其中，上述學習用圖像為混合等級之鐵廢料之圖像。
  5. 如請求項1之廢料判別系統，其中，上述廢料判別模型包含： 第1廢料判別模型，其根據上述廢料圖像而判別被包含在該相機圖像的廢料之等級及各等級之比率，且藉由包含第1學習用圖像的教師資料，如此所產生；第2廢料判別模型，其根據上述廢料圖像而判別被包含在該相機圖像的廢料之等級及各等級之比率，且藉由包含與上述第1學習用圖像不同之第2學習用圖像的教師資料，如此所產生；及選擇模型，其根據上述廢料圖像而判別使用上述第1廢料判別模型或上述第2廢料判別模型之哪一者；上述輸出部係輸出使用上述第1廢料判別模型或上述第2廢料判別模型中藉由上述選擇模型所選擇的模型並根據上述廢料圖像所判別的廢料之等級及各等級之比率之資訊。
  6. 如請求項5之廢料判別系統，其中，上述第1學習用圖像為單一等級之鐵廢料之圖像，在使用上述第1廢料判別模型判別被包含在上述廢料圖像的廢料之等級及各等級之比率時，根據在上述廢料圖像中之各等級之廢料之面積比而判別上述比率。
  7. 如請求項5或6之廢料判別系統，其中，上述第2學習用圖像為混合等級之鐵廢料之圖像。
  8. 如請求項5或6之廢料判別系統，其中，上述第1學習用圖像、上述第2學習用圖像、及上述廢料圖像係根據與各圖像對應的縮放資訊而被正規化。
  9. 如請求項5或6之廢料判別系統，其中， 上述第1廢料判別模型、上述第2廢料判別模型、及上述選擇模型之至少任一者根據上述廢料圖像及上述輸出部所輸出之上述資訊而再學習。
  10. 一種廢料判別方法，其係根據包含廢料的相機圖像，使用抽出被包含在該相機圖像存在於中央部的廢料部位的廢料部位抽出模型、及判別廢料之等級及各等級之比率藉由包含學習用圖像的教師資料，如此所產生的廢料判別模型者；其包含以下之步驟：取得包含上述廢料的相機圖像的步驟；使用上述廢料部位抽出模型，根據上述相機圖像而抽出廢料圖像的步驟；及輸出使用廢料判別模型並根據上述廢料圖像所判別的廢料之等級及各等級之比率之資訊的步驟。
  11. 一種廢料判別系統，其具備有：取得部，其取得包含廢料的相機圖像；廢料部位抽出模型，其根據上述相機圖像，以在圖像內預先所設置的窗部為基準，抽出被包含在該相機圖像存在於中央部的廢料部位；異物判別模型，其根據上述廢料部位抽出模型所抽出的廢料圖像，篩選廢料中鐵廢料以外之異物，且藉由包含學習用圖像的教師資料，如此所產生；及輸出部，其輸出使用上述異物判別模型並根據上述廢料圖像所判別之有關鐵廢料中有無異物之資訊。
  12. 如請求項11之廢料判別系統，其中， 上述窗部係特定出以上述相機圖像之中心為基準之整體圖像的1/4之範圍，藉由圖像語義分割法而抽出存在於該窗部的廢料為起點之廢料部位。
  13. 如請求項11或12之廢料判別系統，其中，使用將異物之圖像與鐵廢料圖像藉由帕松圖像編輯(poisson image editing)之圖像編輯方法合成的異物混入廢料圖像作為上述異物判別模型之學習用圖像。
TW110129395A 2020-08-14 2021-08-10 廢料判別系統及廢料判別方法 TWI787943B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-137100 2020-08-14
JP2020137100 2020-08-14

Publications (2)

Publication Number Publication Date
TW202208078A TW202208078A (zh) 2022-03-01
TWI787943B true TWI787943B (zh) 2022-12-21

Family

ID=80247140

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110129395A TWI787943B (zh) 2020-08-14 2021-08-10 廢料判別系統及廢料判別方法

Country Status (7)

Country Link
US (1) US20230316489A1 (zh)
EP (1) EP4197656A4 (zh)
JP (1) JP7036296B1 (zh)
KR (1) KR20230029989A (zh)
CN (1) CN116194229A (zh)
TW (1) TWI787943B (zh)
WO (1) WO2022034798A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023157278A (ja) * 2022-04-14 2023-10-26 株式会社アーステクニカ 判定装置、選別装置、及び判定方法
KR102650811B1 (ko) * 2023-09-27 2024-03-25 주식회사 에이트테크 폐기물 분류 사업장 별 특성을 고려한 폐기물 분류 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020095709A (ja) * 2018-11-29 2020-06-18 株式会社神鋼エンジニアリング＆メンテナンス スクラップ等級判定システム、スクラップ等級判定方法、推定装置、学習装置、学習済みモデルの生成方法、及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017109197A (ja) 2016-07-06 2017-06-22 ウエノテックス株式会社 廃棄物選別システム及びその選別方法
JP7132743B2 (ja) * 2018-04-27 2022-09-07 日立造船株式会社 情報処理装置、制御装置、および不適物検出システム
JP2020021188A (ja) 2018-07-31 2020-02-06 田中　成典 自動車の姿勢推定装置
CN111292026A (zh) * 2020-04-27 2020-06-16 江苏金恒信息科技股份有限公司 一种基于神经网络模型融合的废钢评级方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020095709A (ja) * 2018-11-29 2020-06-18 株式会社神鋼エンジニアリング＆メンテナンス スクラップ等級判定システム、スクラップ等級判定方法、推定装置、学習装置、学習済みモデルの生成方法、及びプログラム

Also Published As

Publication number Publication date
JP7036296B1 (ja) 2022-03-15
TW202208078A (zh) 2022-03-01
KR20230029989A (ko) 2023-03-03
WO2022034798A1 (ja) 2022-02-17
EP4197656A1 (en) 2023-06-21
JPWO2022034798A1 (zh) 2022-02-17
US20230316489A1 (en) 2023-10-05
EP4197656A4 (en) 2024-01-24
CN116194229A (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN110717455B (zh) 一种收储中的废钢等级分类检测方法
TWI787943B (zh) 廢料判別系統及廢料判別方法
Prasanna et al. Computer-vision based crack detection and analysis
Li et al. Automatic pavement crack recognition based on BP neural network
Hadjidemetriou et al. Automated detection of pavement patches utilizing support vector machine classification
CN107314957B (zh) 一种岩石块度尺寸分布的测量方法
CN113283395B (zh) 一种运煤皮带转接处堵塞异物的视频检测方法
Diaz-Romero et al. Deep learning computer vision for the separation of Cast-and Wrought-Aluminum scrap
CN114078126B (zh) 一种基于机器学习的废钢评级方法及装置
CN112967255A (zh) 一种基于深度学习的盾构管片缺陷类型识别及定位***及其方法
CN115359392A (zh) 一种基于改进YOLOv5模型的路边施工行为检测方法
TWI777527B (zh) 廢料判別系統及廢料判別方法
Ji et al. Bucket teeth detection based on faster region convolutional neural network
CN116206155A (zh) 基于YOLOv5网络的废钢分类识别方法
JP7311455B2 (ja) スクラップ等級判定システム、スクラップ等級判定方法、推定装置、学習装置、学習済みモデルの生成方法、及びプログラム
CN111709991A (zh) 一种铁路工机具的检测方法、***、装置和存储介质
Hadjidemetriou et al. Patch defects detection for pavement assessment, using smartphones and support vector machines
CN116597364B (zh) 图像处理方法及装置
Mok et al. Enriching and maintaining road digital twins with condition information
JP2024031854A (ja) スクラップ材の化学成分を推定するための成分推定方法
Pastor-López et al. Collective classification for the detection of surface defects in automotive castings
Jiang et al. Automatic Pixel-Level Detection of Structural Steel Elements Using U-Net and Transfer Learning
Salini et al. Impact of Image Resolution on Pavement Distress Detection Using PICUCHA Methodology
Chen et al. A Large-Scale Benchmark for Pavement Crack Segmentation
CN113486721A (zh) 一种基于滚动优化裂缝分类识别模型的路面裂缝检测方法