TWM604396U

TWM604396U - 基於射線照相的焊道檢查系統

Info

Publication number: TWM604396U
Application number: TW109206360U
Authority: TW
Inventors: 鄭為中; 溫震宇
Original assignee: 威盛電子股份有限公司
Priority date: 2020-05-22
Filing date: 2020-05-22
Publication date: 2020-11-21

Abstract

本新型說明書提供一種基於射線照相的焊道檢查系統，包括射線照相裝置、影像內容判別裝置以及神經網路分類群組。射線照相裝置接收穿透待檢查管線的穿透後射線以產生用於表示此穿透後射線的強度分布狀態的待檢查影像；影像內容判別裝置電性耦接至射線照相裝置以取得並分析待檢查影像而獲得待檢查影像中顯示出焊道的焊道區域影像；神經網路分類群組電性耦接至影像內容判別裝置以取得焊道區域影像作為輸入，並根據所輸入的焊道區域影像判斷焊道中存在的瑕疵的狀況。

Description

基於射線照相的焊道檢查系統

本新型是有關於一種焊道檢查技術，特別是有關於一種基於射線照相的焊道檢查系統。

鋼材具有材質穩定、高強度以及高韌性等優點，因此已經被廣泛使用在各類建築之中。為了穩固結構，鋼材之間需要以銲接來加以接合。但是，在銲接加熱融化焊接材料以及快速冷卻的過程中，在焊接材料中容易衍生出銲接瑕疵而降低結構安全性能。

在現有的技術中已經提供了許多以非破壞檢測來檢測焊道以確保鋼結構安全性的方法。所謂的非破壞檢測是指在不破壞材料的原有形狀、品質及功能的前提下檢查表面或內部是否有瑕疵存在的檢測方式。常見的非破壞檢測方法包括了：目視檢測、磁粒檢測、超音波檢測及射線檢測等方法，其中的射線檢測法是由考取證照的專業人員將射線照相（拍攝管線焊道）拍出來的底片放在高亮度判片燈上以人眼判斷的方式判別瑕疵位置，但是由於每個人的標準並不相同，因此可能會造成結構安全性不穩定的問題。

有鑑於此，本新型說明書提出一種基於射線照相的焊道檢查系統，此焊道檢查系統可以提供判斷結果的一致性，因此可以減少安全性不穩定的問題。

從一個方面來看，本新型說明書提出一種基於射線照相的焊道檢查系統，其適於檢測待檢查管線上的焊道的狀態。此焊道檢查系統包括射線照相裝置、影像內容判別裝置以及神經網路分類群組。射線照相裝置接收穿透待檢查管線的穿透後射線以產生用於表示此穿透後射線的強度分布狀態的待檢查影像。影像內容判別裝置電性耦接至射線照相裝置以取得待檢查影像，並分析此待檢查影像以取得此待檢查影像中顯示出上述焊道的焊道區域影像。神經網路分類群組電性耦接至影像內容判別裝置以取得焊道區域影像作為輸入，並根據所輸入的焊道區域影像判斷焊道中存在的瑕疵的狀況。

在一個實施例中，影像內容判別裝置包括影像位置判斷單元以及影像前處理單元。影像位置判斷單元接收待檢查影像並根據待檢查影像的色相、飽和度及明暗度以判斷待檢查影像中呈現出前述待檢查管線的初期影像。影像前處理單元電性耦接至影像位置判斷單元以從影像位置判斷單元取得初期影像，之後再對初期影像的內容進行中值濾波操作及侵蝕操作而產生前述的焊道區域影像。或者，在另一個實施例中，影像內容判別裝置包括神經網路。此神經網路電性耦接至射線照相裝置以取得待檢查影像作為輸入，其中，此神經網路藉由使用具有焊道的多個管線影像進行訓練而獲得影像判別訓練成果，並根據此影像判別訓練成果而從待檢查影像中取得焊道區域影像。

在一個實施例中，前述的神經網路分類群組包括第一深度學習神經網路。第一深度學習神經網路電性耦接至影像內容判別裝置以取得焊道區域影像作為輸入，其中，此第一深度學習神經網路藉由使用具有焊道瑕疵的多個第一瑕疵訓練影像進行訓練而獲得第一瑕疵判斷訓練成果，並根據第一瑕疵判斷訓練成果判斷焊道區域影像中所呈現的焊道中存在的瑕疵的狀況。

在一個實施例中，前述的神經網路分類群組還包括第二深度學習神經網路。第二深度學習神經網路電性耦接至影像內容判別裝置以取得焊道區域影像作為輸入，其中，此第二深度學習神經網路藉由使用具有焊道瑕疵的多個第二瑕疵訓練影像進行訓練而獲得第二瑕疵判斷訓練成果，並根據第二瑕疵判斷訓練成果判斷焊道區域影像中所呈現的焊道中存在的瑕疵的狀況。其中，前述的第一瑕疵判斷訓練成果與此第二瑕疵判斷訓練成果不完全相同。

在一個實施例中，前述的影像內容判別裝置更包括影像擷取器。此影像擷取器取焊道區域影像的其中一部份輸出而產生一個部分焊道區域影像。

在一個實施例中，前述的第三深度學習神經網路電性耦接至影像內容判別裝置以取得前述的部分焊道區域影像作為輸入，其中，此第三深度學習神經網路藉由使用具有焊道瑕疵的多個第三瑕疵訓練影像進行訓練而獲得第三瑕疵判斷訓練成果，並根據此第三瑕疵判斷訓練成果判斷部分焊道區域影像中所呈現的焊道中存在的瑕疵的狀況。

根據上述，本新型說明書提出的焊道檢查系統採用經過訓練的深度學習神經網路來進行射線照相影片的判讀，不但可以達到自動化的效果，而且固定的訓練成果可以使得影片判讀的標準一致化，減少因為判讀標準差異所帶來的安全性不穩定的問題。

請參照圖1，其為根據本新型一實施例的焊道檢查系統的系統方塊示意圖。在本實施例中，焊道檢查系統10包括射線照相裝置100、影像內容判別裝置110以及神經網路分類群組120。如圖所示，射線照相裝置100接收穿透了一個待檢查管線（未繪示）的穿透後射線IN，並依照所接收到的穿透後射線IN的強度的分布狀態而產生對應的影像（後稱待檢查影像）P。影像內容判別裝置110電性耦接至射線照相裝置100以取得射線照相裝置100產生的待檢查影像P，並分析待檢查影像P以取得待檢查影像P中顯示出待檢查管線中的焊道的焊道區域影像P1。神經網路分類群組120電性耦接至影像內容判別裝置110以取得焊道區域影像P1作為輸入，並根據所輸入的焊道區域影像P1來判斷在焊道中存在的瑕疵的狀況。

詳細來說，射線源（未繪示）所提供的射線在穿透包含有焊道的待檢查管線後會成為穿透後射線IN，穿透後射線IN會接著照射到射線照相裝置100上，而射線照相裝置100可以依照現有射線檢測技術中的方式而根據所接收到的穿透後射線IN的內容（一般指強度）產生出對應的待檢查影像P。請參照圖2，其為根據本新型一實施例的焊道檢查系統產生的待檢查影像的示意圖。如圖所示，待檢查影像20包括了表示待檢查管線周邊區域的周邊影像200與205、表示待檢查管線的管線影像210，以及表示焊道所在位置的焊道影像220。

如圖1所示，在接收到由射線照相裝置100產生的待檢查影像P之後，影像內容判別裝置110會對待檢查影像P進行分析，藉此取得待檢查影像P中顯示出待檢查管線中的焊道的焊道區域影像P1。請一併參照圖3A，影像內容判別裝置300A包括影像位置判斷單元310以及影像處理單元320，且影像處理單元320電性耦接至影像位置判斷單元310以從影像位置判斷單元310接收資料。具體來說，影像位置判斷單元310從射線照相裝置100接收待檢查影像P並根據待檢查影像P的色相、飽和度及明暗度等參數來判斷待檢查影像P中呈現出待檢查管線的管線區域（例如包含圖2的管線影像210以及焊道影像220），並以此區域內的影像資料作為初期影像T；影像處理單元320先從影像位置判斷單元310取得初期影像T，之後再對初期影像T的內容進行中值濾波操作及侵蝕（Erosion）操作等用以消除雜訊或進行其它影像優化的操作而產生焊道區域影像P1。

在另一個實施例中，請參照圖3B，影像內容判別裝置300B包括了神經網路340，其中，神經網路340電性耦接至射線照相裝置100以取得待檢查影像P作為輸入。在影像內容判別裝置300B進行運作之前，工作人員可以先使用多個包含有焊道的管線影像來對神經網路340進行訓練。經過訓練的影像內容判別裝置300B對於判斷管線影像中是否存在焊道以及判斷焊道所在的位置會存在一套特定的邏輯（後續被稱為影像判別訓練成果），而影像內容判別裝置300B就可以根據影像判別訓練成果而從待檢查影像中取得焊道區域影像P1，例如，可以從圖2的待檢查影像20中判斷出區域250內的影像為焊道區域影像P1。值得一提的是，因為使用了神經網路340來進行影像位置的判斷，因此，隨著對訓練神經網路340的過程存在不同精確度的要求，最後獲得的影像判別訓練成果的精確度也會有所不同。不同的影像判別訓練成果的精確度會影響區域250與焊道影像220之間的差異。較不精確的影像判別訓練成果一般需要較少的訓練時間，但是可能會框選出較大的區域250；相對的，較為精確的影像判別訓練成果一般需要較多的訓練時間以及較多的訓練素材，但是可能會框選出極為接近焊道影像220的大小的區域250。使用者可以依據需求來進行不同程度的影像位置判斷訓練。

接下來，如圖1所示，在上述各實施例中產生出來的焊道區域影像P1會被傳送到神經網路分類群組120，並由神經網路分類群組120確認焊道中是否存在瑕疵以及瑕疵的分布情形。請一併參照圖4，其為根據本新型一實施例的焊道檢查系統的神經網路分類群組的電路方塊圖。在本實施例中，神經網路分類群組400主要包括第一深度學習神經網路410以及第二深度學習神經網路420。第一深度學習神經網路410電性耦接至前述的影像內容判別裝置110以取得焊道區域影像P1作為輸入，在第一深度學習神經網路410進行運作之前，工作人員可以先使用多個具有焊道瑕疵的管線影像（後稱第一瑕疵訓練影像）來對第一深度學習神經網路410進行訓練。經過訓練的第一深度學習神經網路410對於判斷焊道中是否存在瑕疵會存在一套特定的邏輯（後續被稱為第一瑕疵判斷訓練成果），第一深度學習神經網路410就可以根據第一瑕疵判斷訓練成果而判斷焊道區域影像P1中是否存在瑕疵。甚至，如果一併對第一深度學習神經網路410進行判斷瑕疵類型的訓練，則第一深度學習神經網路410也可以判斷焊道區域影像P1中所存在的瑕疵的類型。

第二深度學習神經網路420同樣電性耦接至前述的影像內容判別裝置110以取得焊道區域影像P1作為輸入。與第一深度學習神經網路410類似，在第二深度學習神經網路420進行運作之前，工作人員可以先使用多個具有焊道瑕疵的管線影像（後稱第二瑕疵訓練影像）來對第二深度學習神經網路420進行訓練，而經過訓練的第二深度學習神經網路420對於判斷焊道中是否存在瑕疵同樣會存在一套特定的邏輯（後續被稱為第二瑕疵判斷訓練成果），並可以在後續根據第二瑕疵判斷訓練成果而判斷焊道區域影像P1中存在的瑕疵的情況。值得一提的是，前述的第一瑕疵判斷訓練成果與第二瑕疵判斷訓練成果應該是不完全相同的，如此才可以依據不同情況的需求而調整使用不同的深度學習神經網路來判斷焊道瑕疵。為了達成這樣的目的，在訓練第一深度學習神經網路410時使用的管道影像可以與在訓練第二深度學習神經網路420時使用的管道影像不同，或者可以在訓練第一深度學習神經網路410與訓練第二深度學習神經網路420時使用不同的參數值（例如瑕疵的安全尺寸等）。

進一步的，圖4所示的神經網路分類群組400還包括了第三深度學習神經網路430。第三深度學習神經網路430是搭配圖3A所示的影像擷取器330一起使用，其中，影像擷取器330電性耦接到影像前處理單元320以取得焊道區域影像P1（或者影像擷取器320也可以電性耦接到神經網路340以取得焊道區域影像P1），並將焊道區域影像P1的其中一部份輸出為部分焊道區域影像P2。具體來說，由於一個深度學習神經網路通常都會經過卷積（Convolution）及取樣等處理來縮小資料矩陣，所以在輸入整張焊道區域影像P1並經過深度學習神經網路的卷積及取樣等處理之後，相對於焊道區域影像P1而言較為細微的瑕疵（例如微小的氣泡狀瑕疵）可能就會被忽略。於是，藉由將相對於焊道區域影像P1而言較小的部分焊道區域影像P2輸入到深度學習神經網路中，這些原本較為細微的瑕疵就會變得相對較大，也就比較可能被深度學習神經網路所發現。

根據上述說明可知，第三深度學習神經網路430可以進一步提高發現焊道中瑕疵的機會，因此第三深度學習神經網路430可以在第一深度學習神經網路410或第二深度學習神經網路420沒有在焊道中發現瑕疵的時候才啟用。請一併參照圖5，其為根據本新型一實施例的焊道檢查系統的神經網路分類群組的運作邏輯定義圖。如圖所示，本實施例將神經網路判斷有瑕疵而且實際上焊道中也存在瑕疵的狀況稱為瑕疵判斷正確（TP，True Positive）、將神經網路判斷有瑕疵但實際上焊道中不存在瑕疵的狀況稱為瑕疵判斷錯誤（FP，False Positive）、將神經網路判斷無瑕疵但實際上焊道中存在瑕疵的狀況稱為無瑕疵判斷錯誤（FN，False Negative），並將神經網路判斷無瑕疵且實際上焊道中不存在瑕疵的狀況稱為無瑕疵判斷正確（FP，False Positive）。據此可以定義以下式(1)及式(2)：

精確率 = TP/(TP+FP) … (1)

召回率 = TP/(TP+FN) … (2)

根據上式(1)可知，在深度學習神經網路判斷為有瑕疵的前提下，實際焊道中無瑕疵的數量越少（亦即FP越小）就使得精確率越高。在本實施例的定義下，精確率越高代表誤判為有瑕疵的機率越低，亦即，一旦深度學習神經網路判斷焊道中存在瑕疵，則實際上焊道中存在瑕疵的可能性就越大。於是，為了加高精確率，可以將第一深度學習神經網路410或第二深度學習神經網路420往減少瑕疵判斷錯誤（FP）的方向進行訓練。如此一來就可以降低工作人員在深度學習神經網路判斷出焊道中存在瑕疵的狀況下必須進行再檢查的機率。

再者，根據上式(2)可知，在實際焊道中有瑕疵的前提下，神經網路判斷為無瑕疵的數量越少（亦即FN越小）就使得召回率越高。在本實施例的定義下，召回率越高代表誤判為無瑕疵的機率降低，亦即，一旦深度學習神經網路判斷焊道中不存在瑕疵，則實際上焊道中存在瑕疵的可能性就越小。於是，為了加高召回率，可以將第三深度學習神經網路430往減少無瑕疵判斷錯誤（FN）的方向進行訓練。如此一來就可以降低工作人員在深度學習神經網路判斷出焊道中不存在瑕疵的狀況下必須進行再檢查的機率。

於是，當第一深度學習神經網路410判斷出焊道中存在瑕疵的時候，可以使第一深度學習神經網路410發出的控制信號C1為0。在沒有第三深度學習神經網路430存在的時候，控制信號C1可以直接被當成神經網路分類群組400的輸出資料以表示焊道中存在瑕疵；而當第三深度學習神經網路430存在的時候，控制信號C1就被輸出至第三深度學習神經網路430，以使第三深度學習神經網路430不進行瑕疵判斷而直接將控制信號C1輸出為資料D，其中資料D就是網路分類群組400的輸出資料。

相對的，當第一深度學習神經網路410判斷出焊道中不存在瑕疵的時候，可以使第一深度學習神經網路410發出的控制信號C1為1。在沒有第三深度學習神經網路430存在的時候，控制信號C1可以直接被當成神經網路分類群組400的輸出資料以表示焊道中不存在瑕疵；而當第三深度學習神經網路430存在的時候，控制信號C1就被輸出至第三深度學習神經網路430以使第三深度學習神經網路430取得部分焊道區域影像P2並進行相應的判斷而最終輸出資料D（根據判斷的結果，資料D可能是代表無瑕疵的1或者是代表有瑕疵的0）以作為網路分類群組400的輸出資料。

第二深度學習神經網路420的操作方式及控制信號C2的設計方式與第一深度學習神經網路410類似，在此就不重複敘述。

雖然單獨使用第一深度學習神經網路410或第二深度學習神經網路420已經可以在某種程度上判斷出焊道中是否存在瑕疵，但是若能一併使用第三深度學習神經網路430將可以有機會進一步提升瑕疵判斷的準確性。

綜合上述，本新型說明書提出的焊道檢查系統採用經過訓練的深度學習神經網路來進行射線照相影片的判讀，不但可以達到自動化的效果，而且固定的訓練成果可以使得影片判讀的標準一致化，減少因為判讀標準差異所帶來的安全性不穩定的問題。

10:焊道檢查系統 20、P:待檢查影像 100:射線照相裝置 110、300A、300B:影像內容判別裝置 120、400:神經網路分類群組 200、205:周邊影像 210:管線影像 220:焊道影像 250:區域 310:影像位置判斷單元 320:影像前處理單元 330:影像擷取器 340:神經網路 410:第一深度學習神經網路 420:第二深度學習神經網路 430:第三深度學習神經網路 C1、C2:控制信號 IN:穿透後射線 P1:焊道區域影像 P2:部分焊道區域影像 T:初期影像

圖1為根據本新型一實施例的焊道檢查系統的系統方塊示意圖。圖2為根據本新型一實施例的焊道檢查系統產生的待檢查影像的示意圖。圖3A為根據本新型一實施例的焊道檢查系統的影像內容判別裝置的電路方塊圖。圖3B為根據本新型另一實施例的焊道檢查系統的影像內容判別裝置的電路方塊圖。圖4為根據本新型一實施例的焊道檢查系統的神經網路分類群組的電路方塊圖。圖5為根據本新型一實施例的焊道檢查系統的神經網路分類群組的運作邏輯定義圖。

10:焊道檢查系統

100:射線照相裝置

110:影像內容判別裝置

120:神經網路分類群組

IN:穿透後射線

P:待檢查影像

P1:焊道區域影像

Claims

一種基於射線照相的焊道檢查系統，適於檢測一待檢查管線的一焊道的狀態，其特徵在於包括：一射線照相裝置，接收穿透該待檢查管線的一穿透後射線以產生用於表示該穿透後射線的強度分布狀態的一待檢查影像；一影像內容判別裝置，電性耦接至該射線照相裝置以取得該待檢查影像，並分析該待檢查影像以取得該待檢查影像中顯示出該焊道的一焊道區域影像；以及一神經網路分類群組，電性耦接至該影像內容判別裝置以取得該焊道區域影像作為該神經網路分類群組的輸入，並根據所輸入的該焊道區域影像判斷該焊道中存在的瑕疵的狀況。
如請求項1所述的焊道檢查系統，其中該影像內容判別裝置包括：一影像位置判斷單元，接收該待檢查影像並根據該待檢查影像的色相、飽和度及明暗度以判斷該待檢查影像中呈現出該待檢查管線的一初期影像；以及一影像前處理單元，電性耦接至該影像位置判斷單元以從該影像位置判斷單元取得該初期影像，並對該初期影像的內容進行中值濾波操作及侵蝕操作而產生該焊道區域影像。
如請求項1所述的焊道檢查系統，其中該神經網路分類群組包括：一第一深度學習神經網路，電性耦接至該影像內容判別裝置以取得該焊道區域影像作為輸入，該第一深度學習神經網路藉由使用具有焊道瑕疵的多個第一瑕疵訓練影像進行訓練而獲得一第一瑕疵判斷訓練成果，並根據該第一瑕疵判斷訓練成果判斷該焊道區域影像中所呈現的該焊道中存在的瑕疵的狀況。
如請求項3所述的焊道檢查系統，其中該神經網路分類群組更包括：一第二深度學習神經網路，電性耦接至該影像內容判別裝置以取得該焊道區域影像作為輸入，該第二深度學習神經網路藉由使用具有焊道瑕疵的多個第二瑕疵訓練影像進行訓練而獲得一第二瑕疵判斷訓練成果，並根據該第二瑕疵判斷訓練成果判斷該焊道區域影像中所呈現的該焊道中存在的瑕疵的狀況，其中，該第一瑕疵判斷訓練成果與該第二瑕疵判斷訓練成果不完全相同。
如請求項3所述的焊道檢查系統，其中該影像內容判別裝置更包括：一影像擷取器，取該焊道區域影像的其中一部份輸出為一部分焊道區域影像。
如請求項5所述的焊道檢查系統，其中該神經網路分類群組更包括：一第三深度學習神經網路，電性耦接至該影像內容判別裝置以取得該部分焊道區域影像作為輸入，該第三深度學習神經網路藉由使用具有焊道瑕疵的多個第三瑕疵訓練影像進行訓練而獲得一第三瑕疵判斷訓練成果，並根據該第三瑕疵判斷訓練成果判斷該部分焊道區域影像中所呈現的該焊道中存在的瑕疵的狀況。
如請求項1所述的焊道檢查系統，其中該影像內容判別裝置包括：一神經網路，電性耦接至該射線照相裝置以取得該待檢查影像作為輸入，該神經網路藉由使用具有焊道的多個管線影像進行訓練而獲得一影像判別訓練成果，並根據該影像判別訓練成果而從該待檢查影像中取得該焊道區域影像。