TWI739675B

TWI739675B - 影像辨識方法及裝置

Info

Publication number: TWI739675B
Application number: TW109141300A
Authority: TW
Inventors: 徐立恆; 黃騰瑩
Original assignee: 友達光電股份有限公司
Priority date: 2020-11-25
Filing date: 2020-11-25
Publication date: 2021-09-11
Also published as: TW202221563A; CN113221734A

Abstract

一種影像辨識方法及裝置。在獲得影像序列之後，利用行為辨識模型分析影像序列，以獲得使用者的行為姿態，並利用視線辨識模型分析影像序列，以獲得該使用者的視線特徵。之後，計算行為姿態對應的第一分數，以及計算視線特徵對應的第二分數。基於第一分數與第二分數來計算危險分數，並根據危險分數來發出對應的警示訊號。

Description

影像辨識方法及裝置

本發明是有關於一種影像處理方法及裝置，且特別是有關於一種影像辨識方法及裝置。

隨著交通運輸的發達，如何提高安全性是所有車廠不斷努力與精進的方向。而在智慧車用的技術應用上，安全考量成為第一要素。為了有效提升行車安全，進一步預防事故發生，因此智慧車用的應用與技術，越來越被關注。據此，如何透過智慧車用的輔助來有效且即時地監控駕駛行為，藉此降低由人為疏失所造成的行車事故，則為目前需考量的重點。

本發明提供一種影像辨識方法及裝置，可提高辨識準確率。

本發明的影像辨識方法，包括：獲得影像序列；利用行為辨識模型分析影像序列，以獲得使用者的行為姿態；計算行為姿態對應的第一分數；利用視線辨識模型分析影像序列，以獲得該使用者的視線特徵；計算視線特徵對應的第二分數；基於第一分數與第二分數來計算危險分數；以及根據危險分數來發出對應的警示訊號。

在本發明的一實施例中，在獲得使用者的行為姿態之後，更包括：在判定行為姿態為分心行為的情況下，計算行為姿態對應的第一分數，包括：將第一分數設定為分心行為所對應的主分數；以及在持續判定行為姿態為分心行為的過程中，每經過第一判斷時間，將第一分數加上對應於主分數的輔助分數。

在本發明的一實施例中，在獲得使用者的行為姿態之後，更包括：在判定行為姿態為疲勞行為的情況下，設定第一分數為對應至疲勞等級為1的第一預設分數；在疲勞等級為1的情況下經過第一預設時間之後，判定行為姿態仍然為疲勞行為的情況下，將第一分數設定為對應至疲勞等級為2的第二預設分數，其中第二預設分數大於第一預設分數；以及在疲勞等級為2的情況下經過第二預設時間之後，判定行為姿態仍然為疲勞行為的情況下，將第一分數設定為對應至疲勞等級為3的第三預設分數，其中第三預設分數大於第二預設分數。

在本發明的一實施例中，在獲得使用者的視線特徵之後，更包括：基於視線特徵判斷使用者是否未面向指定方向；以及在判定使用者未面向指定方向時，計算第二分數。計算第二分數的步驟包括：每經過第二判斷時間，將第二分數加上指定分數。

在本發明的一實施例中，在獲得使用者的視線特徵之後，更包括：基於視線特徵判斷是否符合視線疲勞特徵；在判定視線特徵符合視線疲勞特徵時，設定第二分數為對應至疲勞等級為1的第一預設分數；在疲勞等級為1的情況下經過第一預設時間之後，判定視線特徵仍然符合視線疲勞特徵時，將第二分數設定為對應至疲勞等級為2的第二預設分數，其中第二預設分數大於第一預設分數；以及在疲勞等級為2的情況下經過第二預設時間之後，判定視線特徵仍然符合視線疲勞特徵時，將第二分數設定為對應至疲勞等級為3的第三預設分數，其中第三預設分數大於第二預設分數。

在本發明的一實施例中，上述影像辨識方法更包括：在偵測到行為姿態回復至正常狀態時，將第一分數歸零；以及在偵測到視線方向回到指定方向時，將第二分數歸零。

在本發明的一實施例中，在根據危險分數來發出對應的警示訊號之後，更包括：持續發出警示訊號，直到偵測到行為姿態回復至正常狀態以及偵測到視線方向回到指定方向。

在本發明的一實施例中，上述根據危險分數來發出對應的警示訊號的步驟，包括：基於危險分數判斷目前危險等級為第一警示等級、第二警示等級、第三警市等級或第四警示等級；在判定目前危險等級為第一警示等級，發出閃燈訊號以及提示短音；在判定目前危險等級為第二警示等級，發出閃燈訊號以及持續發出第一提示長音；在判定目前危險等級為第三警示等級，發出閃燈訊號以及持續發出第二提示長音；以及在判定目前危險等級為第四警示等級，發送通知訊號至遠端管制中心。

在本發明的一實施例中，透過行為辨識模型來標記影像序列中的使用者的深度特徵，透過視線辨識模型來找出影像序列中的使用者的多個特徵點。

本發明的影像辨識裝置，包括：影像擷取裝置，擷取影像序列；儲存裝置，包括行為辨識模型、視線辨識模型以及危險判定模型；以及處理器，耦接至影像擷取裝置儲存裝置。處理器經配置以：自影像擷取裝置獲得影像序列；利用行為辨識模型分析影像序列，以獲得使用者的行為姿態；利用視線辨識模型分析影像序列，以獲得使用者的視線特徵；利用危險判定模型計算行為姿態對應的第一分數，並且計算視線特徵對應的第二分數，之後基於第一分數與第二分數來計算危險分數，並根據危險分數來發出對應的警示訊號。

基於上述，本發明採用行為辨識模型與視線辨識模型行來同時識別行為姿態與視線方向，來獲得更準確的辨識結果，並且基於危險分數來發出對應的警示訊號，藉此可提醒駕駛與後方來車。

圖1是依照本發明一實施例的影像辨識裝置的方塊圖。請參照圖1，影像辨識裝置100包括處理器110、儲存裝置120以及影像擷取裝置130。處理器110耦接至儲存裝置120以及影像擷取裝置130。在一實施例中，影像辨識裝置100可以設置在車輛中，與車輛的中控台連線。在另一實施例中，影像辨識裝置100可以整合在車輛的中控台內。

處理器110例如為中央處理單元（Central Processing Unit，CPU）、物理處理單元（Physics Processing Unit，PPU）、可程式化之微處理器（Microprocessor）、嵌入式控制晶片、數位訊號處理器（Digital Signal Processor，DSP）、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）或其他類似裝置。

儲存裝置120包括行為辨識模型121、視線辨識模型123以及危險判定模型125。行為辨識模型121、視線辨識模型123以及危險判定模型125分別由一或多個程式碼片段所組成，透過處理器110來執行，以達成其對應的功能。

影像擷取裝置130例如是採用電荷耦合元件（Charge coupled device，CCD）鏡頭、互補式金氧半電晶體（Complementary metal oxide semiconductor transistors，CMOS）鏡頭的攝影機、照相機等，用以獲得影像序列。在此，影像序列可以是動態影像或靜態影像。

行為辨識模型121主要處理人物行為，包含分心、疲勞、異常駕駛等人物身體特徵與動作。而在行為辨識模型121的訓練階段，可針對多種行為姿態的特徵來進行模型訓練。這些行為姿態還可分為分心行為與疲勞行為兩大類別。分心行為包括車輛行駛中飲食、車輛行駛中操作車內中控台、車輛行駛中使用智慧型行動裝置、在車輛行駛中手離開方向盤。疲勞行為包括車輛行駛中打哈欠、車輛行駛中打瞌睡等。

在一實施例中，使用DensePose模型來建立行為辨識模型121。DensePose模型使用人物三維特徵來建置模型，比起傳統的二維影像還增加了深度特徵，故，可透過行為辨識模型121對影像序列中使用者的每個人體部件進行深度特徵的標記，促使類神經網路能依照二維影像中現有人體部件來推測出剩餘被遮蔽的人物特徵與動作，藉以大幅提高傳統行為辨識的辨識種類與準確度。同時，此架構可使用一般影像擷取裝置130來取得二維影像，再透過DensePose模型來建置三維特徵，除了可提高辨識準確度外，亦可兼具降低成本、易普及採用的優勢。採用了DensePose模型的行為辨識模型121中，針對未被遮蔽影像的辨識率可高達90%，針對部分被遮敝影像的辨識率亦可達到70%～80%。此外，採用了DensePose模型的行為辨識模型121可以從單張圖框（frame）來識別出行為，因而加速了辨識時間。

視線辨識模型123主要處理人物臉部的視線方向，並且進一步處理動態面板移動、分心、疲勞辨識等特徵動作。在一實施例中，使用OpenPose模型來建立視線辨識模型123。OpenPose模型透過向量（Vector）來辨識視線。例如，透過OpenPose模型找出臉部的三點特徵，並主動輸出人物特徵座標軸以利後續模型訓練。之後，在基於先後順序所擷取的時間上相鄰的至少兩張圖框中，透過辨識三點共面三角形的變形比例，來判斷人物的視線方向。

圖2是依照本發明一實施例的基於OpenPose模型所識別出的特徵點的示意圖。在圖2中，繪示出透過OpenPose模型所識別出使用者身上的特徵點（N0～N17）。所述特徵點N0～N17為構成人體骨架的關鍵點（keypoint）。本實施例是利用OpenPose模型所識別出使用者的臉上的特徵點N0、N14、N15來作為視線特徵。基於連續多張圖框中的特徵點N0、N14、N15所形成的共面三角形的變形比例、以及特徵點N0、N14、N15在不同圖框中的位置，來判斷使用者的視線方向。

採用了OpenPose模型的視線辨識模型123中，透過標註人物臉部的特徵點N0、N14、N15（作為視線特徵），能夠判斷使用者的視線方向是否偏移，進一步來判斷使用者是否分心、是否查看左右來車、是否察看後照鏡、是否使用車用電子裝置、是否疲勞駕駛等。並且，處理器110還可根據視線特徵來切換主控台的顯示面板的畫面或者驅動主控台的特定操作。例如，當透過視線辨識模型123偵測到使用者看向車內A柱的方向，處理器110切換顯示面板的畫面以顯示A柱車外影像。或者，處理器110利用視線特徵來控制音樂大小、導航開關等特定操作。

一般而言，進行眼動辨識需要設置眼動儀或是必須將影像擷取裝置130面向使用者進行拍攝，否則無法進行。而使用OpenPose模型的視線辨識模型123可以直接透過臉部方向來判斷視線方向，大幅增加機構設置的自由度，也能減少眼球偏移時造成的誤差。採用了OpenPose模型的線辨識模型123中，不管影像擷取裝置130為正面面向使用者進行設置或是未正面面向使用者進行設置，其視線特徵的辨識率皆可高達90%。

圖3是依照本發明一實施例的影像辨識方法流程圖。請同時參照圖1及圖3，在步驟S305中，透過影像擷取裝置130來獲得影像序列。在獲得影像序列之後，可以同時驅使行為辨識模型121與視線辨識模型123來分別執行步驟S310與步驟S315。然，在此並不限定行為辨識模型121與視線辨識模型123的執行順序。

在步驟S310中，利用行為辨識模型121分析影像序列，以獲得使用者的行為姿態。接著，在步驟S320中，利用危險判定模型125來計算行為姿態對應的第一分數。具體而言，行為辨識模型121透過類神經網路演算法來識別出影像序列中是否存在使用者，並在存有使用者的情況下判斷其行為姿態是否符合分心行為或疲勞行為。倘若行為姿態符合分心行為或疲勞行為，才透過危險判定模型125對其計算第一分數。

具體而言，在行為辨識模型121判定行為姿態為分心行為的情況下，透過危險判定模型125計算行為姿態對應的第一分數的方式如下：將第一分數設定為分心行為所對應的主分數，並且在持續判定行為姿態為分心行為的過程中，每經過第一判斷時間，將第一分數加上對應於主分數的輔助分數，直到行為辨識模型121偵測到行為姿態回復至正常狀態。在一實施例中，於行為辨識模型121的訓練中設定多個分心行為，並針對不同的分心行為設定不同的主分數與輔助分數，如表1所示。

表1

分心行為	主分數	輔助分數
車輛行駛中飲食	10	5
車輛行駛中操作車內中控台	30	10
車輛行駛中使用智慧型行動裝置	60	20
車輛行駛中手離開方向盤	60	20

在表1中，以分心行為的危險程度來設定主分數及輔助分數的高低。例如，在判定行為姿態為車輛行駛中手離開方向盤的情況下，將第一分數設定為60分，在動作持續時間中每經過1秒便將第一分數再累加20分。即，在判定車輛行駛中手離開方向盤且持續5秒所對應的第一分數為：60（主分數）+5（持續時間）×20（輔助分數）。並且，在偵測到行為姿態回復至正常狀態時，將第一分數歸零。

所述行為辨識模型121還可在偵測到多個分心行為的狀況下，加總第一分數。例如，參照表1，倘若偵測到駕駛在車輛行駛中飲食5秒（10+5×5），同時偵測到駕駛在車輛行駛中操作車內中控台1秒（30+10×1），此時，第一分數為35+40分。

另一方面，在行為辨識模型121判定行為姿態為疲勞行為的情況下，透過危險判定模型125計算行為姿態對應的第一分數的方式如下：在判定為疲勞行為的情況下，設定第一分數為對應至疲勞等級為1的預設分數A1；在疲勞等級為1的情況下經過預設時間B1之後，判定行為姿態仍然為疲勞行為的情況下，將第一分數設定為對應至疲勞等級為2的預設分數A2（A2＞A1）；在疲勞等級為2的情況下經過預設時間B2之後，判定行為姿態仍然為疲勞行為的情況下，將第一分數設定為對應至疲勞等級為3的預設分數A3（A3＞A2）。而在偵測到行為姿態回復至正常狀態時，將第一分數歸零。

具體而言，於行為辨識模型121的訓練中進一步設定疲勞行為的特徵態樣，包括車輛行駛中打哈欠、車輛行駛中打瞌睡等。並且，進一步設定多個疲勞等級，並針對不同的疲勞等級設定不同的預設分數。例如，由疲勞程度輕至疲勞程度重來設定疲勞等級1～3，並且疲勞等級越高，對應的預設分數越高。

假設疲勞等級1對應的預設分數B1為60分，疲勞等級2對應的預設分數B2為80分，疲勞等級3對應的預設分數B3為100分，並且假設預設時間B1為5秒，預設時間B2為3秒。在初始判定行為姿態為車輛行駛中打哈欠、車輛行駛中打瞌睡等疲勞行為的情況下，視為疲勞等級1，故，設定第一分數為60分。而在疲勞等級為1的情況下經過5秒仍未回復正常狀態的情況下，視為疲勞程度加重至疲勞等級2，此時將第一分數設定為80分。而在疲勞等級為2的情況下經過3秒仍未回復正常狀態的情況下，將第一分數設定為100分。在此，疲勞等級設定3個等級僅為舉例說明，並不以此為限。

另外，在步驟S315中，利用視線辨識模型123分析影像序列，以獲得使用者的視線特徵。接著，在步驟S325中，利用危險判定模型125來計算視線特徵對應的第二分數。具體而言，視線辨識模型123透過類神經網路演算法來識別出影像序列中是否存在使用者，並在存有使用者的情況下獲得其視線特徵。倘若視線特徵未面向指定方向或是視線特徵符合視線疲勞特徵，才透過危險判定模型125對其計算第二分數。

具體而言，在獲得使用者的視線特徵之後，透過視線辨識模型123基於視線特徵判斷使用者是否未面向指定方向。例如基於駕駛的視線方向來判斷駕駛是否面向正前方。在判定使用者未面向指定方向時，才透過危險判定模型125計算行為第二分數。例如，每經過第二判斷時間（例如1秒），將第二分數加上指定分數。舉例來說，當判斷駕駛的視線方向不在正面（指定方向）時，在經過1秒後，將第二分數加上15分，經過2秒後第二分數為30分（15+15），以此類推。而在偵測到視線方向回到指定方向時，將第二分數歸零。

另一方面，在視線辨識模型123判定行為視線特徵判斷符合視線疲勞特徵的情況下，透過危險判定模型125計算對應的第二分數的方式如下：在判定視線特徵符合視線疲勞特徵時，設定第二分數為對應至疲勞等級為1的預設分數C1；在疲勞等級為1的情況下經過預設時間D1之後，判定視線特徵仍然符合視線疲勞特徵時，將第二分數設定為對應至疲勞等級為2的預設分數C2（C2＞C1）；在疲勞等級為2的情況下經過預設時間D2之後，判定視線特徵仍然符合視線疲勞特徵時，將第二分數設定為對應至疲勞等級為3的預設分數C3（C3＞C2）。

具體而言，於視線辨識模型123的訓練中進一步設定視線疲勞特徵的特徵態樣。並且，進一步設定多個疲勞等級，並針對不同的疲勞等級設定不同的預設分數。例如，由疲勞程度輕至疲勞程度重來設定疲勞等級1～3，並且疲勞等級越高，對應的預設分數越高。

假設疲勞等級1對應的預設分數C1為60分，疲勞等級2對應的預設分數C2為80分，疲勞等級3對應的預設分數C3為100分，並且假設預設時間D1為5秒，預設時間D2為3秒。在初始判定符合視線疲勞特徵的情況下，設定第二分數為60分。在持續經過5秒仍未回復正常狀態的情況下，將第二分數設定為80分。倘若接著持續經過3秒仍未回復正常狀態的情況下，將第二分數設定為100分。在此僅為舉例說明，並不以此為限。而在視線特徵回復正常狀態時，將第二分數歸零。在此，將視線特徵未符合視線疲勞特徵視為是正常狀態。

在計算第一分數、第二分數之後，在步驟S330中，透過危險判定模型125基於第一分數與第二分數來計算危險分數。在一實施例中，危險判定模型125將第一分數與第二分數相加來獲得危險分數。在其他實施例中，危險分數的計算亦可為如下：危險分數=第一分數×第一權重+第二分數×第二權重。其中，第一權重+第二權重=1。

在獲得危險分數之後，在步驟S335中，根據危險分數來發出對應的警示訊號。並且，還可進一步設定為：持續發出警示訊號，直到偵測到行為姿態回復至正常狀態以及偵測到視線方向回到指定方向。在此，可將警示等級分為多個等級，不同的警示等級會發出不同的警示訊號。

例如，底下以4個警示等級來說明。危險分數位於60～80之間，判定目前危險等級為第一警示等級，其對應的警示訊號包括發出閃燈訊號以及提示短音（例如一短聲或兩短聲）。危險分數位於80～100之間，判定目前危險等級為第二警示等級，其對應的警示訊號包括發出閃燈訊號以及持續發出第一提示長音。危險分數位於100～200之間，判定目前危險等級為第三警示等級，其對應的警示訊號包括發出閃燈訊號以及持續發出第二提示長音（例如尖銳長音）。危險分數大於200，判定目前危險等級為第四警示等級，發送通知訊號至遠端管制中心，並且還可同時發出閃燈訊號以及第二提示長音。

例如，透過行為辨識模型121偵測到駕駛出現疲勞行為8秒（第一分數100分），同時透過視線辨識模型123偵測到視線特徵符合視線疲勞特徵5秒（第二分數80分），則危險分數為180分。故，判定目前危險等級為第三警示等級，其對應的警示訊號包括發出閃燈訊號以及持續發出第二提示長音（例如尖銳長音）。

在一實施例中，在危險分數大於200的情況下，處理器110可透過WiFi（wireless fidelity，無線保真）等無線通訊技術來發送通知訊號至遠端管制中心，以利後續追蹤與校正，或提供即時救援。並且，還可進一步將影像擷取裝置130所拍攝到的影像序列傳送至遠端管制中心。

另外，除了發出警示訊號之外，還可進一步直接鎖定中控台的操作（例如導航螢幕、音樂控制等）。

綜上所述，本發明採用行為辨識模型與視線辨識模型行來同時識別行為姿態與視線方向，來獲得更準確的辨識結果，並且基於危險分數來發出對應的警示訊號，藉此可提醒駕駛與後方來車。此外，進一步利用深度特徵以及向量分析來分別訓練行為辨識模型與視線辨識模型，可提高辨識的準確率。

100:影像辨識裝置 110:處理器 120:儲存裝置 121:行為辨識模型 123:視線辨識模型 125:危險判定模型 130:影像擷取裝置 N0～N17:特徵點 S305～S335:影像辨識方法各步驟

圖1是依照本發明一實施例的影像辨識裝置的方塊圖。圖2是依照本發明一實施例的基於OpenPose模型所識別出的特徵點的示意圖。圖3是依照本發明一實施例的影像辨識方法流程圖。

S305~S335:影像辨識方法各步驟

Claims

一種影像辨識方法，包括：由一影像擷取裝置獲得一影像序列；以及由一電子裝置來執行下述步驟，包括：輸入該影像序列至一行為辨識模型，以獲得一使用者的一行為姿態；計算該行為姿態對應的一第一分數；輸入該影像序列至一視線辨識模型，以獲得該使用者的一視線方向；計算該視線特徵對應的一第二分數；基於該第一分數與該第二分數來計算一危險分數；以及根據該危險分數來發出對應的一警示訊號。
如請求項1所述的影像辨識方法，其中在獲得該使用者的該行為姿態之後，更包括：在判定該行為姿態為一分心行為的情況下，計算該行為姿態對應的該第一分數，包括：將該第一分數設定為該分心行為所對應的一主分數；以及在持續判定該行為姿態為該分心行為的過程中，每經過一第一判斷時間，將該第一分數加上對應於該主分數的一輔助分數。
如請求項1所述的影像辨識方法，其中在獲得該使用者的該行為姿態之後，更包括：在判定該行為姿態為一疲勞行為的情況下，設定該第一分數為對應至一疲勞等級為1的一第一預設分數；在該疲勞等級為1的情況下經過一第一預設時間之後，判定該行為姿態仍然為該疲勞行為的情況下，將該第一分數設定為對應至該疲勞等級為2的一第二預設分數，其中該第二預設分數大於該第一預設分數；以及在該疲勞等級為2的情況下經過一第二預設時間之後，判定該行為姿態仍然為該疲勞行為的情況下，將該第一分數設定為對應至該疲勞等級為3的一第三預設分數，其中該第三預設分數大於該第二預設分數。
如請求項1所述的影像辨識方法，其中輸入該影像序列至該視線辨識模型，以獲得該使用者的該視線方向的步驟包括：利用該視線辨識模型所識別出的該使用者的臉上的多個特徵點來作為一視線特徵，並基於該視線特徵來判斷該視線方向；其中，在獲得該使用者的該視線方向之後，更包括：基於該視線特徵判斷該使用者是否未面向一指定方向；以及在判定該使用者未面向該指定方向時，計算該第二分數，包括：每經過一第二判斷時間，將該第二分數加上一指定分數。
如請求項1所述的影像辨識方法，其中輸入該影像序列至該視線辨識模型，以獲得該使用者的該視線方向的步驟包括：利用該視線辨識模型所識別出的該使用者的臉上的多個特徵點來作為一視線特徵，並基於該視線特徵來判斷該視線方向；其中，在獲得該使用者的該視線方向之後，更包括：基於該視線特徵判斷是否符合一視線疲勞特徵；在判定該視線特徵符合該視線疲勞特徵時，設定該第二分數為對應至一疲勞等級為1的一第一預設分數；在該疲勞等級為1的情況下經過一第一預設時間之後，判定該視線特徵仍然符合該視線疲勞特徵時，將該第二分數設定為對應至該疲勞等級為2的一第二預設分數，其中該第二預設分數大於該第一預設分數；以及在該疲勞等級為2的情況下經過一第二預設時間之後，判定該視線特徵仍然符合該視線疲勞特徵時，將該第二分數設定為對應至該疲勞等級為3的一第三預設分數，其中該第三預設分數大於該第二預設分數。
如請求項1所述的影像辨識方法，更包括：在偵測到該行為姿態回復至一正常狀態時，將該第一分數歸零；以及在偵測到該視線方向回到一指定方向時，將該第二分數歸零。
如請求項1所述的影像辨識方法，其中在根據該危險分數來發出對應的該警示訊號之後，更包括：持續發出該警示訊號，直到偵測到該行為姿態回復至一正常狀態以及偵測到該視線方向回到一指定方向。
如請求項1所述的影像辨識方法，其中根據該危險分數來發出對應的該警示訊號的步驟，包括：基於該危險分數判斷一目前危險等級為一第一警示等級、一第二警示等級、一第三警市等級或一第四警示等級；在判定該目前危險等級為該第一警示等級，發出一閃燈訊號以及一提示短音；在判定該目前危險等級為該第二警示等級，發出該閃燈訊號以及持續發出一第一提示長音；在判定該目前危險等級為該第三警示等級，發出該閃燈訊號以及持續發出一第二提示長音；以及在判定該目前危險等級為該第四警示等級，發送一通知訊號至一遠端管制中心。
如請求項1所述的影像辨識方法，其中透過該行為辨識模型來標記該影像序列中的該使用者的深度特徵，透過該視線辨識模型來找出該影像序列中的該使用者的多個特徵點。
一種影像辨識裝置，包括：一影像擷取裝置，擷取一影像序列；一儲存裝置，包括一行為辨識模型、一視線辨識模型以及一危險判定模型；以及一處理器，耦接至該影像擷取裝置與該儲存裝置，經配置以：自該影像擷取裝置獲得該影像序列；輸入該影像序列至該行為辨識模型，以獲得一使用者的一行為姿態；輸入該影像序列至該視線辨識模型，以獲得該使用者的一視線方向；利用該危險判定模型計算該行為姿態對應的一第一分數，並且計算該視線特徵對應的一第二分數，之後基於該第一分數與該第二分數來計算一危險分數，並根據該危險分數來發出對應的一警示訊號。
如請求項10所述的影像辨識裝置，其中該處理器經配置以：在利用該行為辨識模型判定該行為姿態為一分心行為的情況下，透過該危險判定模型計算該行為姿態對應的該第一分數，包括：將該第一分數設定為該分心行為所對應的一主分數；以及在持續判定該行為姿態為該分心行為的過程中，每經過一第一判斷時間，將該第一分數加上對應於該主分數的一輔助分數。
如請求項10所述的影像辨識裝置，其中該處理器經配置以：在利用該行為辨識模型判定該行為姿態為一疲勞行為的情況下，透過該危險判定模型設定該第一分數為對應至一疲勞等級為1的一第一預設分數；在該疲勞等級為1的情況下經過一第一預設時間之後，利用該行為辨識模型判定該行為姿態仍然為該疲勞行為的情況下，透過該危險判定模型將該第一分數設定為對應至該疲勞等級為2的一第二預設分數，其中該第二預設分數大於該第一預設分數；在該疲勞等級為2的情況下經過一第二預設時間之後，利用該行為辨識模型判定該行為姿態仍然為該疲勞行為的情況下，透過該危險判定模型將該第一分數設定為對應至該疲勞等級為3的一第三預設分數，其中該第三預設分數大於該第二預設分數。
如請求項10所述的影像辨識裝置，其中該處理器經配置以：利用該視線辨識模型所識別出的該使用者的臉上的多個特徵點來作為一視線特徵，並基於該視線特徵來判斷該視線方向；利用該視線辨識模型基於該視線特徵判斷該使用者是否未面向一指定方向；在判定該使用者未面向該指定方向時，透過該危險判定模型計算該第二分數，包括：每經過一第二判斷時間，將該第二分數加上一指定分數。
如請求項10所述的影像辨識裝置，其中該處理器經配置以：利用該視線辨識模型所識別出的該使用者的臉上的多個特徵點來作為一視線特徵，並基於該視線特徵來判斷該視線方向；利用該視線辨識模型基於該視線特徵判斷是否符合一視線疲勞特徵；在利用該視線辨識模型判定該視線特徵符合該視線疲勞特徵時，透過該危險判定模型設定該第二分數為對應至一疲勞等級為1的一第一預設分數；在該疲勞等級為1的情況下經過一第一預設時間之後，利用該視線辨識模型判定該視線特徵仍然符合該視線疲勞特徵時，透過該危險判定模型設定將該第二分數設定為對應至該疲勞等級為2的一第二預設分數，其中該第二預設分數大於該第一預設分數；在該疲勞等級為2的情況下經過一第二預設時間之後，利用該視線辨識模型判定該視線特徵仍然符合該視線疲勞特徵時，透過該危險判定模型設定將該第二分數設定為對應至該疲勞等級為3的一第三預設分數，其中該第三預設分數大於該第二預設分數。
如請求項10所述的影像辨識裝置，其中該處理器經配置以：在偵測到該行為姿態回復至一正常狀態時，透過該危險判定模型將該第一分數歸零；以及在偵測到該視線方向回到一指定方向時，透過該危險判定模型將該第二分數歸零。
如請求項10所述的影像辨識裝置，其中該處理器經配置以：透過該危險判定模型持續發出該警示訊號，直到偵測到該行為姿態回復至一正常狀態以及偵測到該視線方向回到一指定方向。
如請求項10所述的影像辨識裝置，其中該處理器經配置以：透過該危險判定模型基於該危險分數判斷一目前危險等級為一第一警示等級、一第二警示等級、一第三警市等級或一第四警示等級；在判定該目前危險等級為該第一警示等級，發出一閃燈訊號以及一提示短音；在判定該目前危險等級為該第二警示等級，發出該閃燈訊號以及持續發出一第一提示長音；在判定該目前危險等級為該第三警示等級，發出該閃燈訊號以及持續發出一第二提示長音；在判定該目前危險等級為該第四警示等級，發送一通知訊號至一遠端管制中心。
如請求項10所述的影像辨識裝置，其中該處理器經配置以：透過該行為辨識模型來標記該影像序列中的該使用者的深度特徵，透過該視線辨識模型來找出該影像序列中的該使用者的多個特徵點。