TWI777689B

TWI777689B - 物件辨識暨體溫量測方法

Info

Publication number: TWI777689B
Application number: TW110127364A
Authority: TW
Inventors: 鍾明桉; 許嘉醇
Original assignee: 國立臺北科技大學
Priority date: 2021-07-26
Filing date: 2021-07-26
Publication date: 2022-09-11
Also published as: TW202305653A

Abstract

本發明係一種物件辨識暨體溫量測方法，包括下列步驟，接收影像拍攝設備所傳來的原始圖像，將原始圖像轉換成灰階圖像，將灰階圖像進行模糊處理轉換成模糊圖像，對模糊圖像提取物件成為物件圖像，對物件圖像進行二值化處理形成二值化圖像，再對二值化圖像進行膨脹與侵蝕處理形成辨識圖像，利用機器學習訓練的辨識模型提取辨識圖像所要選取的特徵區域，再捕捉特徵區域的輪廓，並在原始圖像對應的特徵區域的輪廓周圍設置輪廓框，溫度感測器對物件進行感測，將溫度感測器的感測結果標記在原始圖像的輪廓框周圍產生溫度感測圖像。

Description

物件辨識暨體溫量測方法

本發明係有關於物件辨識的方法，尤指一種物件辨識暨其體溫測方法。

近期受到新冠肺炎疫情的影響，人們出入捷運車站、百貨公司、辦公大樓、超市、便利商店等公共場所，都需要量測體溫，若有人體溫超過疫情警戒溫度，將會禁止他進入公共場所，以確保或至少減少可能染疫的人員進入公共場所。

一般而言，在公共場所量測進出人員的體溫之方法，通常是規劃指定進出入線，並且在入口以下幾種方式量測人員的體溫，其一在人員進出較少的地點，較常是以指派專人在入口處手持額溫量測工具，針對進出的人員逐一量測體溫，其二也是人員進出較少的地點，在入口出擺設立式測溫機，由進入公共場所的人員自主地前往立式測溫機的擺設位置前，將額頭、手掌或者手背…等其中之一個人體體表靠近立式測溫機的紅外線感測器前，即可完成體溫量測，其三，通常是使用在較多人進出的公共場所，同樣也是擺設在入口處，使用的設備通常是紅外線熱顯像人臉辨識儀器，顧名思義紅外線熱顯像人臉辨識儀器，就是當人們經過偵測區域時，它會偵測出每個經過偵測區域的所有人員的人臉位置，同時會自動進行溫度的量測，且會將量測到的溫度標示在人臉的周圍，也是目前較佳且較有效率可以同時量測多人體溫的方法。

但是紅外線熱顯像人臉辨識儀器的售價高，其原因主要在於紅外線熱顯像的部分價格高，再加上需要辨識物件的計算能力需要較高，而造成價格居高不下，另外，大部分紅外線熱顯像人臉辨識儀器只適用辨識人臉，並無法作為辨識其他物件使用，而且大部分的紅外線熱顯像人臉辨識儀器也無法搭配其他設備使用，而且也只能在固定的位置上使用，這些都侷限了溫度偵測的應用領域及便利性。

此外，也有一些廠商研發出一些不同的溫度感測方案，例如：中國發明專利第CN108760053A號公開案(發明名稱：一種額溫檢測方法和裝置)，其摘要提到「在識別到人臉時，獲取所述人臉中額頭區域輻射出的紅外能量資料；然後，基於所述紅外能量資料確定使用者的額溫。本申請通過將紅外測溫功能集成到移動終端上，以在使用者進行人臉識別解鎖，或者，其他可捕捉到人臉的場景中，採集額頭區域輻射的紅外能量資料，進而計算出使用者的額溫。與現有技術中需要額外的紅外測溫設備進行測溫的方案相比，具有方便快捷的優點。」，但是專利前案只能適用在個人使用移動終端(例如：智慧型行動電話)，並不適用於公共場所需要同時針對多人進行溫度監控的情境。

又例如發明專利第WO2020024553A1號公開案(發明名稱：人體健康檢測系統)，其摘要提到「一種人體健康檢測系統，包括：人臉檢測模組(1)，用於檢測待檢區域內被檢測者的人臉圖像；溫度感應模組(2)，用於檢測被檢測者的人臉溫度；特徵提取模組(3)，用於提取人臉圖像中所包含的人臉特徵；身份確認模組(4)，用於確定被檢測者的身份資訊；判斷模組(5)，用於判斷人臉溫度是否超出正常體溫範圍，並在人臉溫度超出正常體溫範圍時，觸發中央處理模組(6)；中央處理模組(6)，用於發送回饋資料至被檢測者的身份資訊對應的資訊異常回饋端，在被檢測者的體溫異常時，及時通知相關人員，以使被檢測者能及時得到醫治。其人臉辨識及溫度感測都是既有技術，因此可以推知此專利前案的技術改良重點在於當量測到人體體溫異常時，可以即時通報，但是並未說明如何辨識人臉及溫度感測的具體技術特徵。

因此，如果能夠有一種不需要紅外線熱顯像人臉辨識儀器，而且能提供具體明確而且簡單可以快速辨識物件的方式，而不是只能辨識人臉，並且可以適用在靜態(將檢測儀器擺放在固定位置進行辨識及量測體溫)或動態(檢測儀器在移動狀態可以進行辨識及量測體溫)的使用環境，將是一件亟待解決的問題。

有鑑於先前技術的問題，本發明之一目的，係提供物件的辨識方法，進一步是可以辨識物件的輪廓，並且在辨識出輪廓之時，可以對物件的表面進行偵測，確定物件的溫度，甚至可以追蹤物件，達到物件辨識及量測體溫的目的，而且此方法可以很容易地移植到各種具有計算能力的設備使用。

根據本發明之一目的，係提供一種物件辨識暨體溫量測方法，包括下列步驟，接收影像拍攝設備所傳來的原始圖像，將原始圖像轉換成灰階圖像，將灰階圖像進行模糊處理轉換成模糊圖像，對模糊圖像提取物件成為物件圖像，對物件圖像進行二值化處理形成二值化圖像，再對二值化圖像進行膨脹與侵蝕處理形成辨識圖像，利用機器學習訓練的辨識模型提取辨識圖像所要選取的特徵區域，再捕捉特徵區域的輪廓，並在原始圖像對應的特徵區域的輪廓周圍設置輪廓框，溫度感測器對物件進行感測，將溫度感測器的感測結果標記在原始圖像的輪廓框周圍產生溫度感測圖像。

其中，依照前述步驟循環產生的複數個溫度感測圖像係轉換成網路傳輸圖像，利用網路傳輸協議傳送到遠端網頁裝置進行同步顯示。

其中，影像拍攝設備係可為網路攝影機或智慧型行動裝置所設置的攝影模組，而原始圖像係為彩色影像。又模糊處理係為高斯模糊處理。

其中，物件係可為人，特徵區域係可為人臉。

其中，將模糊圖像提取物件的步驟，包括當前的模糊圖像的像素陣列與前一個模糊圖像的像素陣列相減得到一像素變化陣列差值，比較像素變化陣列差值是否大於移動信心值，當像素變化陣列差值大於移動信心值表示當前的模糊圖像的像素陣列中有發生變化的部分為物件，即可將當前的模糊圖像的像素陣列中有發生變化的部分提取作為物件圖像，否則將當前的模糊圖像作為物件圖像。

其中，對物件圖像進行二值化處理形成二值畫圖像的步驟，包括比較物件圖像中的每一個像素點是否大於灰階標準值，物件圖像中的各個大於灰階標準值的像素轉換成白點，物件圖像中的各個小於灰階標準值的像素轉換成黑點，即形成二值化圖像。

其中，二值化圖像進行侵蝕與膨脹處理形成辨識圖像的步驟，包括膨脹處理係將物件圖像中破碎不連續的像素以周圍的像素填補，使得物件圖像的輪廓被連接起來形成膨脹圖像，膨脹圖像再侵蝕處理係消除被過度填補的像素形成辨識圖像，使得辨識圖像可以盡量接近物件真正的輪廓。

其中，利用機器學習訓練的辨識模型提取辨識圖像所要選取的特徵區域，

其中，捕捉特徵區域的輪廓的步驟，係以邊緣偵測法求出特徵區域的輪廓，進一步而言係以特徵區域的亮度的二階導數的零交叉點來求邊緣點，較佳者係以馬爾(Marr)-希爾德勒斯(Hildreth)邊緣偵測法。

據上所述，本發明係將原始圖像進行資訊簡化成辨識圖像，再以辨識圖像取得原始圖像中的物件位置並標記輪廓框，大幅的減少運算量，使得此方法可以運用在計算能力不高的電子裝置，使得本發明可以很容易地擴展到各種場所。

為了使本發明的目的、技術方案及優點更加清楚明白，下面結合附圖及實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅用以解釋本發明，但並不用於限定本發明。

請參閱圖1所示，本發明係一種物件辨識暨體溫量測方法，係使用具備計算能力的電子裝置，進行下列步驟： (S101)接收影像拍攝設備所傳來的原始圖像(如圖2所示去除輪廓框及溫度標記的部分)； (S102)將原始圖像轉換成灰階圖像； (S103)將灰階圖像進行模糊處理轉換成模糊圖像； (S104)對模糊圖像提取物件成為物件圖像； (S105)對物件圖像進行二值化處理形成二值化圖像； (S106)再對二值化圖像進行閉合運算處理形成辨識圖像； (S107)利用機器學習訓練的辨識模型提取辨識圖像所要選取的特徵區域； (S108)捕捉特徵區域的輪廓； (S109)在原始圖像對應的特徵區域的輪廓周圍設置輪廓框； (S110)溫度感測器對物件進行感測； (S111)將溫度感測器的感測結果標記在原始圖像的輪廓框周圍產生溫度感測圖像(如圖2所示)。

在本發明中，依照前述步驟循環產生的複數個溫度感測圖像係轉換成網路傳輸圖像，利用網路傳輸協議傳送到遠端網頁裝置進行同步顯示。進一步而言，係網路傳輸圖像係可為聯合圖像專家小組(JPEG)格式的影像，網路傳輸協議係可為超文本標記語言(英語：Hyper Text Markup Language，簡稱：HTML)，並可以使用網頁編輯軟體，例如燒杯套件(Flask)編輯而成，用以將各個網路傳輸圖像上傳到網路中所指定的儲存空間中，並可以同步輸出網路傳輸圖像，如此，使用者就可以在遠端觀看監控並記錄監控結果。

在本發明中，影像拍攝設備係可為網路攝影機或智慧型行動裝置所設置的攝影模組，而原始圖像係為彩色影像，也可以是灰階影像，若是灰階影像則本發明可以直接從步驟S103開始，由於，本發明是採用的是彩色影像或灰階影像，因此就不需要高成本的紅外線熱像儀，只要是可以擷取影像的各式設備就可以完成辨識，甚至可以提供追蹤的效果。

在本發明中，具備計算能力的電子裝置係可為具有單晶片處理器(single-chip microcomputer)或微處理器(microcontroller unit)之嵌入式系統，甚至更高階的具有中央處理器之桌上型電腦、伺服器…等。模糊處理係為高斯模糊處理，用以簡化影像處理的複雜度及消除雜訊，更進一步而言係為雙側濾波模糊處理，用以保留灰階影像中的輪廓資訊，不會模糊輪廓的平滑模糊方法。又，在本發明中物件係可為人，特徵區域係可為人臉。

在本發明中，請參閱圖3所示，將模糊圖像提取物件的步驟，包括下列步驟： (S201)當前的模糊圖像的像素陣列與前一個模糊圖像的像素陣列相減得到一像素變化陣列差值； (S202)比較像素變化陣列差值是否大於移動信心值，若是進行下列步驟(S203)，否則進行步驟(S204)； (S203)當像素變化陣列差值大於移動信心值，則表示當前的模糊圖像的像素陣列中有發生變化的部分為物件，即可將當前的模糊圖像的像素陣列中有發生變化的部分提取作為物件圖像，此一步驟的用意是在減少後續步驟進行處理的資訊量，以期本發明可以利用更低的運算能力之電子裝置即可以完成後續步驟； (S204)當像素變化陣列差值未大於移動信心值，將當前的模糊圖像作為物件圖像，並繼續後續步驟。

在本發明中，對物件圖像進行二值化處理形成二值畫圖像的步驟，包括比較物件圖像中的每一個像素點是否大於灰階標準值(例如：灰階度為128)，物件圖像中的各個大於灰階標準值的像素轉換成白點(灰階度為255)，物件圖像中的各個小於灰階標準值的像素轉換成黑點(灰階度為0)，即形成二值化圖像。對於灰階標準值的選擇可以進一步將物件圖像的所有灰階度進行平均或者是從所有灰階度的直方圖分布中有明顯獲最大的波峰或波谷的位置也是一個合適的灰階標準值，但本發明在實際實施時，並不限於此。

在本發明中，請參閱圖4所示，二值化圖像進行閉合運算處理形成辨識圖像的步驟，包括： (S301)將物件圖像中破碎不連續的像素進行膨脹處理，換言之，將物件圖像中破碎不連續的像素，利用其周圍的像素填補，使得物件圖像的輪廓被連接起來，而形成膨脹圖像； (S302)膨脹圖像再進行侵蝕處理係消除被過度填補的像素形成辨識圖像，使得辨識圖像可以盡量接近物件圖像真正的輪廓。進行此步驟的原因在於，膨脹圖像相當於使得物件圖像擴大，在利用侵蝕處理係為了消除膨脹後的雜訊，使得辨識圖像與物件圖像相似大小更相近，但辨識圖像的邊緣更容易被後續處理辨識。

在本發明中，利用機器學習訓練的辨識模型提取辨識圖像所要選取的特徵區域，以辨識圖像的物件為人體，而欲選取的目標為人體的人臉位置，辨識模型係從辨識圖像找到人臉的關鍵位置，例如：人臉的五官，之後再利用關鍵位置將辨識圖像盡量地轉換成對齊標準人臉的方位，最後再透過人臉特徵向量(例如 128 維的向量)，最後再通過聚類(Clutering)、相似性偵測(Similarity detection)、分類(Classification)等方法辨識出物件的人臉所在位置，在此需要陳明的是，本發明透過辨識人臉的位置，而未辨識此人臉是否為特定的人，因此本發明的人臉位置的運算量比起真正的人臉辨識可以區別是哪一個人的運算量明顯可以減少許多。但是本發明在實際實施時，仍然可以進一步辨識人臉是否為特定的人，並且進行人臉追蹤。

在本發明中，捕捉特徵區域的輪廓的步驟，係以邊緣偵測法求出特徵區域的輪廓，進一步而言係以特徵區域的亮度的二階導數的零交叉點來求邊緣點，較佳者係以馬爾(Marr)-希爾德勒斯(Hildreth)邊緣偵測法。但本發明實際實施時，並不限於此。

再者，本發明係可應用在固定位置進行辨識，影像拍攝設備係可為網路攝影機，溫度感測器係可為紅外線感測器，並將網路攝影機及紅外線感測器擺放在一般場所的入口處，再透過有線或無線傳輸的方式，將原始圖像及紅外線感測訊號傳送到遠端的電子設備進行處理，或者可以將影像拍攝設備及溫度感測器安裝在無人機上，並且可以追蹤、移動或定點的獲得原始圖像及紅外線感測訊號，當然若是安裝影像拍攝設備及溫度感測器在無人機上，必然需要使用無線傳輸設備，將原始圖像及紅外線感測訊號傳送到遠端的電子設備進行處理。

承上述，當本發明應用在固定位置進行辨識時，適用前述的步驟(S202)~(S204)，即可辨識出移動的物件，其原因在於此時背景完全不動，因此當有人經過影像拍攝設備的拍攝區域，前後時間的模糊圖像的像素陣列，必將有發生變化，而發生變化的部分應當為物件，因此可以將變化的部分提取作為圖像，而若是人臉靠近影像拍攝設備，通常人並不會有太大的移動，因此，在影像拍攝設備前方的人臉也幾乎沒有移動，因此就需要將整個模糊圖像作為物件圖像。

然而當本發明應用在無人機在移動狀態下進行辨識時，則需要將前述的步驟(S202)~(S204)做些更動，其原因在於，當人體移動時同時無人機也在移動，此時人體及拍攝區域不斷的變化，或者是人體不同，但是無人機在動，此時，人體沒有變化，但是拍攝區域不斷的變化，因此在此種情況下，步驟(S203)需要更改為，當像素變化陣列差值大於移動信心值，則表示當前的模糊圖像的像素陣列中有發生變化的部分為背景，即可將當前的模糊圖像的像素陣列中沒有發生變化的部分提取作為物件圖像，而若像素變化陣列差值小於移動信心值，則表示人體及拍攝區域都在移動，將當前的模糊圖像作為物件圖像，並繼續後續步驟。

綜上所述，本發明可以利用一般的影像拍攝設備加上低成本的溫度感測器，提供原始圖像及紅外線感測值給遠端的電子設備進行計算，並且可以同步傳送到網路上給觀測者直接觀看，而且電子設備可以使用較低成本具有運算能力的單晶片處理器(single-chip microcomputer)或微處理器(microcontroller unit)之嵌入式系統即可使用，並不需要特定高單價的設備即可以完成物件辨識暨體溫量測的目的。

上列詳細說明係針對本發明的可行實施例之具體說明，惟前述的實施例並非用以限制本發明之專利範圍，凡未脫離本發明技藝精神所為之等效實施或變更，均應包含於本案之專利範圍中。

S101~S111:步驟流程 S201~S204:步驟流程 S301~S302:步驟流程

圖1係本發明之流程示意圖。圖2係本發明之溫度感測圖像之示意圖。圖3係本發明之模糊圖像提取物件的流程示意圖。圖4係本發明之二值化圖像進行閉合運算處理形成辨識圖像的流程示意圖。

S101~S111:步驟流程

Claims

一種物件辨識暨體溫量測方法，使用具備計算能力的一電子裝置進行下列步驟：接收一影像拍攝設備所傳來的一原始圖像；當該原始圖像為一灰階圖像，則直接進行模糊處理轉換成一模糊圖像；對該模糊圖像提取物件成為一物件圖像；對該物件圖像進行二值化處理形成一二值化圖像；再對該二值化圖像進行膨脹與侵蝕處理形成一辨識圖像；利用機器學習訓練的一辨識模型提取該辨識圖像所要選取的一特徵區域；再捕捉該特徵區域的輪廓；並在該原始圖像對應的該特徵區域的輪廓周圍設置一輪廓框；利用一溫度感測器對該物件進行感測；將該溫度感測器的感測結果標記在該原始圖像的該輪廓框周圍產生一溫度感測圖像；其中當該原始圖像為彩色圖像，則先將該彩色圖像轉換為該灰階圖像，再進行模糊處理；其中進一步依照前述步驟循環產生的複數個溫度感測圖像係轉換成網路傳輸圖像，利用網路傳輸協議傳送到遠端網頁裝置進行同步顯示；其中將模糊圖像提取物件的步驟，包括：當前的該模糊圖像的像素陣列與前一個該模糊圖像的像素陣列相減得到一像素變化陣列差值；比較該像素變化陣列差值是否大於一移動信心值；當該像素變化陣列差值大於該移動信心值，則表示當前的該模糊圖像的像素陣列中有發生變化的部分為一物件，即可將當前的該模糊圖像的像素陣列中有發生變化的部分提取作為該物件圖像；當該像素變化陣列差值小於該移動信心值，則將當前的該模糊圖像作為該物件圖像。
如請求項1所述的物件辨識暨體溫量測方法，其中該模糊處理係為高斯模糊處理。
如請求項1所述的物件辨識暨體溫量測方法，其中該物件係可為人體，該特徵區域係可為人臉。
如請求項1所述的物件辨識暨體溫量測方法，其中對該物件圖像進行二值化處理形成該二值畫圖像的步驟，包括：比較物件圖像中的每一個像素點是否大於一灰階標準值，該物件圖像中的各個大於該灰階標準值的像素轉換成白點，該物件圖像中的各個小於該灰階標準值的像素轉換成黑點，即形成該二值化圖像。
如請求項1所述的物件辨識暨體溫量測方法，其中該二值化圖像進行進行閉合運算處理形成辨識圖像的步驟，包括：將物件圖像中破碎不連續的像素進行膨脹處理，將物件圖像中破碎不連續的像素以周圍的像素填補，使得物件圖像的輪廓被連接起來形成一膨脹圖像；該膨脹圖像再進行侵蝕處理，係消除被過度填補的像素形成該辨識圖像。
如請求項1所述的物件辨識暨體溫量測方法，其中利用機器學習訓練的該辨識模型提取該辨識圖像所要選取的該特徵區域，進一步該辨識圖像的物件為一人體，而欲選取的目標為該人體的一人臉位置，辨識模型係從辨識圖像找到人臉的關鍵位置，該關鍵位置為人臉的五官，之後再利用該關鍵位置將該辨識圖像轉換成對齊一標準人臉的方位，最後再透過該辨識模型以人臉特徵向量、聚類、相似性偵測、分類等過程辨識出該物件的該人臉位置。
如請求項1所述的物件辨識暨體溫量測方法，其中捕捉該特徵區域的輪廓的步驟，係以邊緣偵測法求出特徵區域的輪廓。