TWI801911B

TWI801911B - 水中生物辨識方法及系統

Info

Publication number: TWI801911B
Application number: TW110122485A
Authority: TW
Inventors: 廖彥翔; 張忠誠; 林志洋
Original assignee: 國立臺灣海洋大學
Priority date: 2021-06-18
Filing date: 2021-06-18
Publication date: 2023-05-11
Also published as: TW202301184A

Abstract

一種水中生物辨識方法及系統。水中生物辨識方法包括連續擷取多個第一影像；判斷該等第一影像中是否具有水中生物影像；若具有水中生物影像，則擷取該水中生物影像的一生物特徵影像；將所擷取的該生物特徵影像與一標準生物特徵影像比對，該標準生物特徵影像係對應於一水中生物；判斷該生物特徵影像是否近似於該標準生物特徵影像；以及若該生物特徵近似於該標準生物特徵影像，則顯示該水中生物。

Description

水中生物辨識方法及系統

本發明係有關於一種生物辨識的技術領域，特別是有關於一種針對生物的各種外觀特徵來進行辨識的水中生物辨識方法及系統。

生物辨識是目前經常用來對於生物群聚的環境中尋找特定的生物，並且對辨識出的生物進行追蹤及記錄生物長狀態。尤其是對於水中生物，水中生物的種類繁多，經常是生物研究的對象，因此生物辨識追蹤遂成為重要的研究課題。

現有的生物辨識方法是對生物整體的影像進行辨識，因此在生物辨識系統進行深度學習時，需要利用大量圖片進行訓練，而且由於是針對生物整體進行辨識，因此生物的姿態也會影響辨識的結果。

有鑑於此，本發明提供一種水中生物辨識方法及系統，其藉由對生物的各種外觀特徵進行辨識，例如生物體的紋路特徵、顏色特徵及形態特徵，因此水中生物辨識系統只需要對生物體的各種外觀特徵進行深度訓練即可，不需要大量的圖片進行訓練。

本發明的水中生物辨識方法的一實施例包括：連續擷取多個第一影像；判斷該等第一影像中是否具有水中生物影像；若具有水中生物影像，則擷取該水中生物影像的一生物特徵影像；將所擷取的該生物特徵影像與一標準生物特徵影像比對，該標準生物特徵影像係對應於一水中生物；判斷該生物特徵影像是否近似於該標準生物特徵影像；以及若該生物特徵近似於該標準生物特徵影像，則顯示該水中生物。

在另一實施例中，該生物特徵影像包括紋路特徵影像、顏色特徵影像及/或形態特徵影像。

在另一實施例中，擷取該水中生物影像的物種特徵影像；將該物種特徵影像與一標準物種特徵影像比對；若該物種特徵影像與該標準物種特徵影像近似，則擷取該水中生物影像的該生物特徵影像。

在另一實施例中，該標準生物特徵影像及該標準物種特徵影像係以多數個該水中生物的標準影像獲得。

在另一實施例中，判斷該等第一影像中是否具有該水中生物影像的步驟係判斷該等第一影像中的特定區域是否具有該水中生物影像。

在另一實施例中，動態追蹤該水中生物一既定時間；判斷該水中生物的尺寸是否發生變化；判斷該水中生物在該既定時間內的移動量。

在另一實施例中，該紋路特徵影像係根據局部二值化模式(Local Binary Pattern，LBP)做為其計算的基礎理論。

在另一實施例中，該紋路特徵影像係根據灰階共生矩陣(Gray Level Co-occurrence Matrix，GLCM)做為其計算的基礎理論。

在另一實施例中，該紋路特徵影像係根據局部模式共生矩陣(Local Pattern Co-occurrence Matrix，LPCM)做為其計算的基礎理論。

在另一實施例中，該紋路特徵影像係根據紋理基元法(Texton-Based Approach，TBA)做為其計算的基礎理論。

本發明的水中生物辨識系統包括：一影像擷取模組、一生物辨識模組、一特徵擷取模組、一比對模組以及一影像輸出模組。影像擷取模組對一區域連續擷取多個第一影像。生物辨識模組對該等第一影像進行辨識，以判斷該等第一影像中是否具有水中生物影像，並且將具有水中生物影像的第一影像作為第二影像。特徵擷取模組擷取該第二影像的該水中生物影像的生物特徵影像。比對模組將所擷取的該生物特徵影像與一標準生物特徵影像比對，並判斷該生物特徵影像是否近似於該標準生物特徵影像，該標準生物特徵影像對應於一水中生物。影像輸出模組，當該生物特徵影像近似於該標準生物特徵影像時，顯示該第一影像的該水中生物。

在另一實施例中，本發明的水中生物辨識系統更包括一區域限定模組，其限定該生物辨識模組針對該等第一影像中的一特定區域進行辨識。

在另一實施例中，本發明的水中生物辨識系統更包括一動態追蹤模組，根據比對模組比對的結果動態追蹤該水中生物一既定時間，並判斷水中生物的尺寸是否發生變化以及計算該水中生物在該既定時間內的移動量。

在另一實施例中，本發明的水中生物辨識系統更包括一生物辨識訓練資料庫、一特徵擷取訓練資料庫以及一比對訓練資料庫。生物辨識訓練資料庫儲存有複數個生物影像資料，該生物辨識模組根據該等生物影像資料進行辨識的學習。特徵擷取訓練資料庫儲存有複數個生物特徵影像資料，該特徵擷取模組根據該等生物特徵影像資料進行影像擷取的學習。比對訓練資料庫儲存有複數個生物特徵影像資料，該比對模組根據該等生物特徵影像資料進行比對的學習。

在另一實施例中，更包含一拼接模組，係對複數個該第二影像進行拼接，以形成具有完整態樣的生物影像之該第二影像。

本發明的水中生物辨識方法及水中生物辨識系統係藉由對生物體的特徵進行辨識，尤其是針對外觀特徵進行辨識，例如生物體的紋路特徵、顏色特徵及形態特徵，因此水中生物辨識系統只需要對生物體的各種外觀特徵進行深度訓練即可，不需要大量的圖片進行訓練，不僅增加辨識的準確率，而且可以避免因為生物體在活動時產生不同的姿態而影響辨識的結果。

10:影像擷取模組

20:生物辨識模組

21:生物辨識訓練資料庫

30:特徵擷取模組

31:特徵擷取訓練資料庫

40:比對模組

41:比對訓練資料庫

50:影像輸出模組

60:處理器

70:無線通訊模組

80:儲存模組

90:雲端資料庫

100:水中生物辨識系統

110:區域限定模組

120:時間記錄模組

130:動態追蹤模組

A1、A2、A3、B1、B2、C1、C2:水中生物

F1~F7:水中生物

FA:長大的水中生物

FB:年幼的水中生物

S11~S15、S21~S27、S31~S36:步驟

D:框體

第1圖為本發明的水中生物辨識方法的第一實施例的流程圖。

第2圖為本發明的水中生物辨識方法的第二實施例的流程圖。

第3圖為本發明的水中生物辨識方法的第三實施例的流程圖。

第4圖為本發明的水中生物辨識方法的紋路特徵辨識的運算基礎的示意圖。

第5圖為本發明的水中生物辨識系統的第一實施例的方塊圖。

第6圖為本發明的水中生物辨識系統的第二實施例的方塊圖。

第7圖為本發明的水中生物辨識系統的第三實施例的方塊圖。

第8圖表示擷取一區域的影像，並對影像進行辨識。

第9圖表示該區域的影像經過辨識後，該影像具有水中生物的影像。

第10圖表示該水中生物影像以生物特徵進行辨識後，顯示該水中生物的名稱。

第11圖表示對水中生物進行辨識後，對希望追蹤的水中生物進行追蹤，並獲得水中生物的健康狀態。

第12圖表示各種不同水中生物經過辨識後分別標示顯示的狀態。

第13圖表示追蹤水中生物經過一段時間，觀察水中生物從幼魚到成魚。

請參閱第1圖，其表示本發明的水中生物辨識方法的第一實施例。本發明的生物辨識方法係利用已知的各種生物特徵對影像中的水中生物進行辨識。在步驟S11中，影像擷取模組擷取多張影像，接著進入步驟S12，在步驟S12中，請一併參閱第8圖，生物辨識模組篩選多張影像，辨識是否有水中生物。如果辨識結果是具有水中生物，則進入步驟S13，如果沒有辨識到水中生物，則捨棄該影像。在步驟S13中，請一併參閱第9圖，先對已辨識出的水中生物進行標示，例如框選水中生物F1、F2、F3，然後特徵擷取模組針對具有水中生物的影像進行擷取生物特徵，例如紋路特徵、顏色特徵或/以及形態特徵，紋路特徵為水中生物身上的花紋，顏色特徵為水中生物體的顏色，形態特徵為水中生物體的形狀。接著進入步驟S14，在步驟S14中，比對模組將擷取的特徵與比對訓練資料中的已知的生物特徵(紋路特徵、顏色特徵或/以及形態特徵)進行比對，如果辨識到與已知的生物特徵相符的水中生物，則進入步驟S15，如果未辨識到與已知的生物特徵相符的水中生物，則捨棄該影像，若該影像係具有完整態樣的水中生物體時，該影像可儲存於儲存模組，以供下一次特徵擷取模組針對具有水中生物的影像進行擷取有別於該次的生物特徵；若該影像僅係具有部分態樣的水中生物體時，例如每一張影像分別為水中生物的頭部、尾部或身體，可藉由一拼接模組(圖未繪出)，將部分態樣的水中生物體的影像進行拼接以形成一完整態樣的水中生物體的影像，並儲存於儲存模組，以供下一次特徵擷取模組針對具有水中生物的影像進行擷取有別於該次的生物特徵。在步驟S15中，請一併參閱第10圖，影像輸出模組將比對結果輸出並顯示其身分，在框體D的外部顯示水中生物F1、F2、F3的名稱，例如小丑魚1、小丑魚2和小丑魚3。

請參閱第2圖，其表示本發明的水中生物辨識方法的第二實施例。在步驟S21中，影像擷取模組擷取多張影像，接著進入步驟S22，在步驟S22中，請一併參閱第8圖，生物辨識模組，篩選多張影像，辨識是否有水中生物。如果辨識結果是具有水中生物F1、F2、F3，則進入步驟S23，如果沒有辨識到水中生物，則捨棄該影像，若該影像係具有完整態樣的水中生物體時，該影像可儲存於儲存模組，以供下一次特徵擷取模組針對具有水中生物的影像進行擷取有別於該次的生物特徵；若該影像僅係具有部分態樣的水中生物體時，例如每一張影像分別為水中生物的頭部、尾部或身體，可藉由一拼接模組(圖未繪出)，將部分態樣的水中生物體的影像進行拼接以形成一完整態樣的水中生物體的影像，並儲存於儲存模組，以供下一次特徵擷取模組針對具有水中生物的影像進行擷取有別於該次的生物特徵。在步驟S23中，特徵擷取模組針對具有水中生物的影像進行擷取個別物種特徵，接著進入步驟S24，在步驟S24中，比對模組將擷取的物種特徵與比對訓練資料中的已知的個別物種特徵進行比對，如果擷取的物種特徵與已知的個別物種特徵相符，則進入步驟S25，如果不相符，則捨棄該影像，若該影像係具有完整態樣的水中生物體時，該影像可儲存於儲存模組，以供下一次特徵擷取模組針對具有水中生物的影像進行擷取有別於該次的生物特徵；上述的物種特徵係指在該區域中有多種生物體，例如在水族箱中有魚類、貝類、海星等不同的生物物種，例如目前希望辨識的是魚類的物種，則上述物種特徵則可以是魚鰭、魚尾等物種特徵。在步驟S25中，請一併參閱第9圖，先對已辨識出的水中生物進行標示，例如框選水中生物F1、F2、F3，然後特徵擷取模組針對具有水中生物的影像進行擷取生物特徵，例如紋路特徵、顏色特徵或/以及形態特徵，紋路特徵為水中生物身上的花紋，顏色特徵為水中生物體的顏色，形態特徵為水中生物體的形狀。接著進入步驟S26，在步驟S26中，比對模組將擷取的特徵與比對訓練資料中的已知的生物特徵(紋路特徵、顏色特徵或/以及形態特徵)進行比對，如果辨識到與已知的生物特徵相符的水中生物，則進入步驟S27，如果未辨識到與已知的生物特徵相符的水中生物，則捨棄該影像。在步驟S27中，請一併參閱第10圖，影像輸出模組將比對結果輸出並顯示其身分，在框體D的外部顯示水中生物F1、F2、F3的名稱，例如小丑魚1、小丑魚2和小丑魚3。

請參與第3圖，其表示本發明的水中生物辨識方法的第三實施例。本發明的生物辨識方法係利用已知的各種生物特徵對影像中的水中生物進行辨識。在步驟S31中，影像擷取模組擷取多張影像，接著進入步驟S32。在步驟S32中，區域限定模組限定該影像的特定區域，例如將影像限定在水族箱的區域，接著進入步驟S33。在步驟S33中，請一併參閱第8圖，生物辨識模組篩選多張影像，辨識是否有水中生物。如果辨識結果是具有水中生物，則進入步驟S34，如果沒有辨識到水中生物，則捨棄該影像。在步驟S34中，請一併參閱第9圖，先對已辨識出的水中生物F1、F2、F3進行標示，例如框選水中生物，然後特徵擷取模組針對具有水中生物的影像進行擷取生物特徵，例如紋路特徵、顏色特徵或/以及形態特徵，紋路特徵為水中生物身上的花紋，顏色特徵為水中生物體的顏色，形態特徵為水中生物體的形狀。接著進入步驟S35，在步驟S35中，比對模組將擷取的特徵與比對訓練資料中的已知的生物特徵(紋路特徵、顏色特徵或/以及形態特徵)進行比對，如果辨識到與已知的生物特徵相符的水中生物，則進入步驟S36，如果未辨識到與已知的生物特徵相符的水中生物，則捨棄該影像，若該影像係具有完整態樣的水中生物體時，該影像可儲存於儲存模組，以供下一次特徵擷取模組針對具有水中生物的影像進行擷取有別於該次的生物特徵；若該影像僅係具有部分態樣的水中生物體時，例如每一張影像分別為水中生物的頭部、尾部或身體，可藉由一拼接模組(圖未繪出)，將部分態樣的水中生物體的影像進行拼接以形成一完整態樣的水中生物體的影像，並儲存於儲存模組，以供下一次特徵擷取模組針對具有水中生物的影像進行擷取有別於該次的生物特徵。在步驟S36中，請一併參閱第10圖，影像輸出模組將比對結果輸出並顯示其身分，在框體D的外部顯示水中生物F1、F2、F3的名稱，例如小丑魚1、小丑魚2和小丑魚3。

請參閱第4圖，紋路特徵可以根據局部二值化模式(Local Binary Pattern，LBP)、灰階共生矩陣(Gray Level Co-occurrence Matrix，GLCM)、局部模式共生矩陣(Local Pattern Co-occurrence Matrix，LPCM)以及紋理基元法(Texton-Based Approach，TBA)做為其計算的基礎理論。局部二值化模式是一種描述材質局部紋理的特徵抽取方式，將像素與鄰近像素的相互關係利用二值化進行編碼，其具有光亮及旋轉不變。灰階共生矩陣是統計像素在空間中相對位置的灰階值變化，反映紋理在空間中分布。局部模式共生矩陣原理是將局部紋理特性空間灰階關係做結合，藉此提高特徵抽取解決環境變化問題的能力。紋理基元法的原理是找出材質圖片中的紋理基元，統計其個數並得到紋理特徵。

請參閱第5圖，其表示本發明的水中生物辨識系統的第一實施例。本發明的水中生物辨識系統100包括：一影像擷取模組10、一生物辨識模組20、一特徵擷取模組30、一比對模組40以及一影像輸出模組50。影像擷取模組10對一區域連續擷取多個第一影像，影像擷取模組10可以是任何攝影裝置，如第11圖所示。第一影像被傳送至生物辨識模組20對該等第一影像進行辨識，以判斷該等第一影像中是否具有水中生物影像，並且將具有水中生物影像的第一影像作為第二影像。特徵擷取模組30擷取該第二影像的該水中生物影像的生物特徵影像。比對模組40將所擷取的該生物特徵影像與一標準生物特徵影像比對，並判斷該生物特徵影像是否近似於該標準生物特徵影像，該標準生物特徵影像對應於一水中生物。當該生物特徵影像近似於該標準生物特徵影像時，影像輸出模組50顯示該第一影像的水中生物，影像輸出模組50可以是一顯示裝置。本實施例的水中生物辨識系統100還包括一處理器60，生物辨識模組20、特徵擷取模組30及比對模組40可以是程式模組，這些程式模組可以在處理器60中執行。水中生物辨識系統100還包括一生物辨識訓練資料庫21、一特徵擷取訓練資料庫31以及一比對訓練資料庫41。生物辨識訓練資料庫21儲存有複數個生物影像資料，該生物辨識模組20根據該等生物影像資料進行辨識的學習。特徵擷取訓練資料庫31儲存有複數個生物特徵影像資料，該特徵擷取模組30根據該等生物特徵影像資料進行影像擷取的學習。比對訓練資料庫41儲存有複數個生物特徵影像資料，比對模組40根據該等生物特徵影像資料進行比對的學習，上述所提辨識的學習、擷取的學習或比對的學習可舉例但不限定於使用支援向量機(support vector machine，SVM)。

本實施例的水中生物辨識系統100還包括無線通訊模組70和儲存模組80，儲存模組80可以儲存所擷取的影像擷取模組10擷取的影像資料。無線通訊模組70訊號連接於一雲端資料庫90。水中生物辨識系統100經由無線通訊模組70連接於雲端資料庫90，辨識後的影像資料可以傳送至雲端資料庫90進行分析，本創作一實施例中，水中生物辨識系統100也可以從雲端資料庫90下載新的生物辨識訓練資料、新的特徵擷取訓練資料和新的比對訓練資料，先儲存於儲存模組80，然後再分別儲存至生物辨識訓練資料庫21、一特徵擷取訓練資料庫31以及一比對訓練資料庫41，分別供生物辨識模組20、特徵擷取模組30及比對模組40進行學習。如第12圖所示，對不同種類的水中生物可以分別標示，例如水中生物A1、A2、A3、B1、B2、C1、C2。

請參閱第6圖，其表示本發明的水中生物辨識系統的第二實施例。本實施例的水中生物辨識系統與第5圖的水中生物辨識系統具有部分相同的結構，因此相同的元件給予相同的標號，並省略其說明。本實施例與第一實施例的差異在於本實施例更包括一區域限定模組110，其限定該生物辨識模組20針對該等第一影像中的一特定區域進行辨識。如上所述，例如對水族箱區域進行辨識。

請參閱第7圖，其表示本發明的水中生物辨識系統的第三實施例。本實施例的水中生物辨識系統與第5圖的水中生物辨識系統具有部分相同的結構，因此相同的元件給予相同的標號，並省略其說明。本實施例與第一實施例的差異在於本實施例更包括時間記錄模組120和動態追蹤模組130。時間記錄模組120可以記錄追蹤的時間，動態追蹤模組130根據比對模組比對的結果動態追蹤該水中生物一既定時間，並判斷水中生物F4、F5、F6、F7的尺寸是否發生變化以及計算該水中生物在該既定時間內的移動量。如第11圖所示，在一段時間內，如果水中生物F5、F7移動量變低，則判定該水中生物生病，也可以顯示於影像輸出模組50。如第13圖所示，在一段時間內，年幼的水中生物FB的尺寸發生變化變成長大的水中生物FA，即可判定水中生物成長。

S11~S15:步驟

Claims

一種水中生物辨識方法，其包括：提供一水中生物辨識系統，該水中生物辨識系統係由電子元件及機械元件構成，該水中生物辨識系統執行以下各步驟；連續擷取多個第一影像；判斷該等第一影像中是否具有一水中生物影像；若具有該水中生物影像，擷取該水中生物影像的一物種特徵影像；將該物種特徵影像與一標準物種特徵影像比對；若該物種特徵影像與該標準物種特徵影像近似，則擷取該水中生物影像的一生物特徵影像，該生物特徵影像包括一水中生物的至少部分的身體特徵；將所擷取的該生物特徵影像與一標準生物特徵影像比對，該標準生物特徵影像係對應於該水中生物；判斷該生物特徵影像是否近似於該標準生物特徵影像；以及若該生物特徵近似於該標準生物特徵影像，則顯示該水中生物；其中判斷該等第一影像中是否具有該水中生物影像的步驟係判斷該等第一影像中的特定區域是否具有該水中生物影像。
如請求項1所述之水中生物辨識方法，其中該生物特徵影像包括一紋路特徵影像、一顏色特徵影像及/或一形態特徵影像。
如請求項2所述之水中生物辨識方法，其中該標準生物特徵影像及該標準物種特徵影像係以多數個該水中生物的標準影像獲得。
如請求項1所述之水中生物辨識方法，其更包括：動態追蹤該水中生物一既定時間；判斷該水中生物的尺寸是否發生變化；判斷該水中生物在該既定時間內的移動量。
如請求項2所述之水中生物辨識方法，其中該紋路特徵影像係根據局部二值化模式(Local Binary Pattern，LBP)做為其計算的基礎理論。
如請求項2所述之水中生物辨識方法，其中該紋路特徵影像係根據灰階共生矩陣(Gray Level Co-occurrence Matrix，GLCM)做為其計算的基礎理論。
如請求項2所述之水中生物辨識方法，其中該紋路特徵影像係根據局部模式共生矩陣(Local Pattern Co-occurrence Matrix，LPCM)做為其計算的基礎理論。
如請求項2所述之水中生物辨識方法，其中該紋路特徵影像係根據紋理基元法(Texton-Based Approach，TBA)做為其計算的基礎理論。
一種水中生物辨識系統，其包括：一影像擷取模組(10)，對一區域連續擷取多個第一影像；一生物辨識模組(20)，對該等第一影像進行辨識，以判斷該等第一影像中是否具有水中生物影像，並且將具有水中生物影像的該第一影像作為一第二影像；一特徵擷取模組(30)，擷取該第二影像的該水中生物影像的生物特徵影像；一比對模組(40)，將所擷取的該生物特徵影像與一標準生物特徵影像比對，並判斷該生物特徵影像是否近似於該標準生物特徵影像，該標準生物特徵影像對應於一水中生物，該生物特徵影像包括該水中生物的至少部分的身體特徵；以及一影像輸出模組(50)，當該生物特徵影像近似於該標準生物特徵影像時，顯示該第一影像的該水中生物；一區域限定模組(110)，其限定該生物辨識模組(20)針對該等第一影像中的一特定區域進行辨識。
如請求項9所述之水中生物辨識系統，其更包括一動態追蹤模組(130)，根據比對模組(40)比對的結果動態追蹤該水中生物一既定時間，並判斷水中生物的尺寸是否發生變化以及計算該水中生物在該既定時間內的移動量。
如請求項9所述之水中生物辨識系統，其更包括：一生物辨識訓練資料庫(21)，儲存有複數個生物影像資料，該生物辨識模組(20)根據該等生物影像資料進行辨識的學習；一特徵擷取訓練資料庫(31)，儲存有複數個生物特徵影像資料，該特徵擷取模組(30)根據該等生物特徵影像資料進行影像擷取的學習；一比對訓練資料庫(41)，儲存有複數個生物特徵影像資料，該比對模組(40)根據該等生物特徵影像資料進行比對的學習。
如請求項9所述之水中生物辨識系統，其中，更包含一拼接模組，係對複數個該第二影像進行拼接，以形成具有完整態樣的生物影像之該第二影像。