TWI653170B - 駕駛提示方法與系統 - Google Patents

駕駛提示方法與系統 Download PDF

Info

Publication number
TWI653170B
TWI653170B TW106137727A TW106137727A TWI653170B TW I653170 B TWI653170 B TW I653170B TW 106137727 A TW106137727 A TW 106137727A TW 106137727 A TW106137727 A TW 106137727A TW I653170 B TWI653170 B TW I653170B
Authority
TW
Taiwan
Prior art keywords
image
driving
target
gaze
processor
Prior art date
Application number
TW106137727A
Other languages
English (en)
Other versions
TW201918406A (zh
Inventor
何亮融
楊宗翰
王思捷
林建錡
博格 蕭
Original Assignee
宏碁股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏碁股份有限公司 filed Critical 宏碁股份有限公司
Priority to TW106137727A priority Critical patent/TWI653170B/zh
Priority to US15/919,224 priority patent/US10696224B2/en
Application granted granted Critical
Publication of TWI653170B publication Critical patent/TWI653170B/zh
Publication of TW201918406A publication Critical patent/TW201918406A/zh
Priority to US15/930,457 priority patent/US11034294B2/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

一種駕駛提示方法與系統。駕駛提示系統裝載於移動載具上，而所述方法包括下列步驟。經由影像擷取裝置擷取環境影像。對環境影像執行目標物偵測，而獲取影像偵測物件的目標位置。經由眼球追蹤裝置偵測駕駛的注視位置。判斷注視位置是否吻合目標位置。若注視位置不吻合目標位置，控制示警裝置啟動示警操作。

Description

駕駛提示方法與系統
本發明是有關於一種駕駛輔助技術，且特別是有關於一種駕駛提示方法與系統。
隨著交通工具的數量與種類日益增長，發生交通事故的機率也逐年增加。顯然地，交通科技除了在動力部份持續進步外，行駛過程中安全性之增進亦是另一需要專注的課題。舉例而言，汽車行駛路線上存在多種需要駕駛注視的物體，像是交通號誌、行人、障礙物等等，駕駛需要專心的觀看路況環境以作為執行下一步駕駛動作的依據。
於現今的社會裡，交通意外往往發生在駕駛沒有專心注視路況的情況下發生。駕駛可能因為疲勞或分心而沒有注意到路上的交通號誌或障礙物，因此導致駕駛沒有依據交通號誌或眼前的障礙物執行正確的駕駛動作。舉例而言，若駕駛分心於使用手機而沒有適時注意到紅綠燈的燈號轉換，則駕駛可能來不及反應而做出闖紅燈或闖黃燈的駕駛行為。若駕駛過度疲勞而沒有注意到路上的速限標誌，駕駛有很大機會將超速駕駛。上述狀況非常容易導致交通事故的發生。換言之，若駕駛可以確實的注意到行駛導路上的需要被注意的物件，則可大幅降低交通事故的發生機率。
有鑑於此，本發明提供一種駕駛提示方法與系統，其可透過眼球追蹤裝置來判斷駕駛的視線是否注視於目標物體上，並響應於偵測到駕駛的視線未注視於目標物體而啟動示警，藉此提昇駕駛交通工具的安全性。
本發明提供一種駕駛提示方法，適用於包括眼球追蹤裝置以及影像擷取裝置的駕駛提示系統。駕駛提示系統裝載於移動載具上，而所述方法包括下列步驟。經由影像擷取裝置擷取環境影像。對環境影像執行目標物偵測，而獲取影像偵測物件的目標位置。經由眼球追蹤裝置偵測駕駛的注視位置。判斷注視位置是否吻合目標位置。若注視位置不吻合目標位置，控制示警裝置啟動示警操作。
從另一觀點來看，本發明提供一種駕駛提示系統，其包括影像擷取裝置、眼球追蹤裝置、記憶體，以及處理器。記憶體儲存有多個指令，處理器耦接影像擷取裝置、眼球追蹤裝置以及記憶體。處理器經配置執行這些指令以：經由影像擷取裝置擷取環境影像；對環境影像執行目標物偵測，而獲取影像偵測物件的目標位置；經由眼球追蹤裝置偵測駕駛的注視位置；判斷注視位置是否吻合目標位置；以及若注視位置不吻合目標位置，控制示警裝置啟動示警操作。
基於上述，本發明實施例所提出的駕駛提示方法與系統可以追蹤駕駛的眼球所注視之位置，並透過影像擷取與目標物偵測來獲取環境影像上之影像偵測物件的目標位置。如此一來，透過將駕駛的眼球所注視之位置與影像偵測物件的目標位置進行比較，駕駛的視線是否落在目標物體上可據以被偵測出來。藉此，若眼球追蹤裝置所偵測到的注視位置不吻合目標物體之影像偵測物件的目標位置，警示操作可以被啟動來提示駕駛。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的方法、電子裝置以及電腦可讀取儲存媒體的範例。
圖1是依照本發明一實施例的駕駛提示系統的方塊圖。請參照圖1，駕駛提示系統10包括眼球追蹤裝置110、示警裝置120、處理器130、記憶體140，以及影像擷取裝置150。
駕駛提示系統10適於設置於一移動載具上，並於駕駛行駛/騎乘上述移動載具的過程中持續地偵測週遭的目標物體。上述移動載具是一種經由人類操控而移動的交通工具，例如是各類汽車、公車、腳踏車、機車、船隻、飛機及機動機械等，本發明對此並不限制。於此，駕駛提示系統10更可偵測駕駛的眼球特徵，以辨識出駕駛的注視位置。透過比對目標物體的所在位置與駕駛的注視位置，駕駛提示系統10可判斷駕駛的視線是否確實的落在需要被注意的目標物體上。藉此，一旦行駛過程中偵測到駕駛的視線未注視需要被注意的目標物體，駕駛提示系統10可適時的提出示警來通知駕駛。
眼球追蹤裝置110是一種能夠跟蹤與測量眼球位置及眼球運動信息的一種設備，適於用以偵測駕駛的眼球特徵。於一實施例中，眼球追蹤裝置110可包括臉部取像模組，用以透過擷取駕駛的臉部影像以及眼部影像，而依據臉部轉向與瞳孔位置來判斷駕駛的注視位置。於一實施例中，眼球追蹤裝置110可以包括發光模組與眼部取像模組。眼球追蹤裝置110的發光模組朝駕駛的眼球發射光束，眼球追蹤裝置110的眼部取像模組拍攝眼部影像。眼球追蹤裝置110偵測眼部影像中的駕駛的瞳孔位置以及亮點位置，並且依據瞳孔位置與亮點位置兩者的位置對應關係，判斷目前眼球的視線注視位置。上述亮點位置是透過發光模組發射光束照射駕駛的眼睛所形成的反光點。
示警裝置120是用於執行示警操作，以發出示警訊息給駕駛。示警裝置120可以為車內儀表板、導航裝置、使用者手機等，可依據示警裝置120的類型執行各式示警操作，以發出對應的示警訊息。舉例來說，當示警裝置120為車內儀表板時，示警訊息可以為文字提示、燈光閃爍提示、顏色轉變提示等。當示警裝置120為車內揚聲器或駕駛的手機時，示警訊息可以為聲音提示等。當示警裝置120為導航裝置時，示警訊息可以為文字提示、聲音提示等。又或者，示警裝置120也可以是與駕駛接觸之移動載具的構件，像是座椅或方向盤等等。換言之，示警訊息亦可以為座椅震動、方向盤震動等類型的提示，只要能夠發出通知提示駕駛的方法，皆可應用於本發明中。
處理器130耦接於眼球追蹤裝置110、示警裝置120、記憶體140、及影像擷取裝置150，以控制駕駛提示系統10的整體運作。在本實施例中，處理器130例如是中央處理單元（Central Processing Unit，CPU），或是其他可程式化之微處理器（Microprocessor）、數位訊號處理器（Digital Signal Processor，DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）、可程式化邏輯裝置（Programmable Logic Device，PLD）或其他具備運算能力的硬體裝置，但本揭露並不以此為限。
記憶體140例如是任意型式的固定式或可移動式隨機存取記憶體（Random Access Memory，RAM）、唯讀記憶體（Read-Only Memory，ROM）、快閃記憶體（Flash memory）、硬碟或其他類似裝置或這些裝置的組合，其係用以儲存行駕駛提示系統10運作中可能使用的資料、程式碼、影像等。亦即，記憶體140更用以記錄可由處理器130執行的多個指令。
影像擷取裝置150設置於移動載具上，用以擷取移動載具前方的環境影像。影像擷取裝置150例如是具有電荷耦合元件（Charge Coupled Device，CCD）或互補式金氧半導體（Complementary Metal-Oxide Semiconductor，CMOS）元件的影像感測器，用以環境影像。於一實施例中，影像擷取裝置150可設置於車輛的前方，像是車輛擋風玻璃的上方，以擷取車輛前方的路況影像。或者，影像擷取裝置150也可以是行車記錄器、或其他設置於車輛上的數位照相機，但本發明並不侷限於此等實作態樣。
圖2是依照本發明一實施例的駕駛提示系統與移動載具的示意圖。請參照圖2，若將駕駛提示系統10應用至汽車駕駛環境中，當駕駛21行駛車輛22（亦即移動載具）時，影像擷取裝置150可基於視野範圍f1朝車輛22的前方拍攝影像。此外，眼球追蹤裝置110可設置於照後鏡M1的一側，以朝駕駛21的方向擷取駕駛的眼部影像，從而偵測駕駛21的注視位置。然而，圖2僅為示範性說明，本發明對於眼球追蹤裝置110與影像擷取裝置150的數量與實際位置並不限制，其可依據實際應用情況而設計之。
圖3是依照本發明一實施例的駕駛提示方法的流程圖。請參照圖3，本實施例的方式適用於上述實施例中的駕駛提示系統10，以下即搭配駕駛提示系統10中的各項元件說明本實施例依據駕駛的注視位置提供示警的詳細步驟。
首先，於步驟S301，處理器130經由影像擷取裝置150擷取環境影像。影像擷取裝置150用以擷取移動載具四周的影像，例如，影像擷取裝置150可以朝向行進方向、行進方向的側面或行進方向後方，來擷取環境影像。此外，本發明對於影像擷取裝置150的數目並不限制。於一實施例中，處理器130可使用一個以上的影像擷取裝置來同時獲取多張環境影像。需說明的是，影像擷取裝置150的視野範圍(Field of View，FOV)將依據影像擷取裝置150的性能與設置位置而定，而環境影像的成像內容也將取決於影像擷取裝置150的視野範圍。
於步驟S302，處理器130對環境影像執行目標物偵測，而獲取影像偵測物件的目標位置。具體而言，各式目標物體的特定影像特徵已經建立於資料庫之中。處理器130可依據資料庫中的特定影像特徵來分析環境影像，以判斷是否有符合特定影像特徵的影像偵測物件存在於環境影像當中。換言之，當發現到符合特定影像特徵的影像偵測物件存在於車輛前方的環境影像時，處理器130可判定對應的目標物體位於影像擷取裝置150的拍攝方向上，像是車輛的前方。舉例而言，處理器130可藉由環境影像的輪廓資訊或顏色資訊來進行影像分析，以偵測目標物體的存在與否。上述的目標物體可以是交通號誌（例如是交通指示燈號、行駛規範標誌、道路導引標誌等等）或障礙物（例如是行人、路障、動物等等）。
於一實施例中，影像偵測物件的目標位置可為影像偵測物件位於環境影像上的代表影像座標，或是透過空間深度分析而產生的三維空間座標，本發明對此並不限制。需說明的是，若影像偵測物件的目標位置為三維空間座標，透過裝設一台以上影像擷取裝置來擷取多張環境影像，可透過深度資訊計算來獲取影像偵測物件的三維空間座標。
於步驟S303，處理器130經由眼球追蹤裝置110偵測駕駛的注視位置。於一實施例中，眼球追蹤裝置110可用影像分析來檢測與判斷視線落點。此外，視線追蹤技術也可從前後擷取的兩張眼部影像中，計算同一瞳孔特徵點的位置偏移量以作為眼球的移動資訊。或者，眼球追蹤裝置110也可根據瞳孔、眼眶位置、形狀以及視線方向等關係來進行視線落點的追蹤。眼球追蹤裝置110持續將偵測到的駕駛的注視位置提供給處理器130。於一實施例中，眼球追蹤裝置110可分析出駕駛視線射向駕駛前方的一投影平面上的二維投影座標，其可作為駕駛的注視位置。於一實施例中，基於投影平面的深度資訊的設定，駕駛的注視位置也可以是三維空間座標。
於步驟S304，處理器130判斷注視位置是否吻合目標位置。詳細而言，在處理器130取得眼球追蹤裝置110提供的注視位置以及分析出目標位置之後，處理器130可判斷注視位置是否足夠接近目標位置，以判斷駕駛的視線是否有落在目標物體上。
於步驟S305，若注視位置不吻合目標位置(步驟S304判斷為否)，處理器130控制示警裝置120啟動示警操作。另一方面，於步驟S306，若注視位置吻合目標位置(步驟S304判斷為是)，處理器130控制示警裝置120不啟動示警操作。換言之，處理器130響應於判定注視位置不吻合目標位置，而控制示警裝置120啟動示警操作。處理器130響應於判定注視位置吻合目標位置，而控制示警裝置120不啟動示警操作。具體而言，當處理器130判定駕駛的注視位置與影像偵測物件的目標位置不吻合時，代表駕駛沒有注視到目標物體，則處理器130可控制示警裝置120發出聽覺警示、視覺警示、或觸覺警示來提示駕駛，以告知駕駛移動載具周遭有被忽略的重要目標物體存在。
然而，本發明的實現方式不限於上述說明，可以對於實際的需求而酌予變更上述實施例的內容。例如，在本發明之一實施例中，在啟動示警裝置之後可再次判斷注視位置是否吻合目標位置，以制止示警裝置繼續執行示警操作或進一步對移動載具的構件進行控制。以下則舉一實施例詳細說明。
圖4是依照本發明一實施例的駕駛提示系統的方塊圖。請參照圖4，駕駛提示系統40包括眼球追蹤裝置410、示警裝置420、處理器430、記憶體440、影像擷取裝置450，以及測距裝置460。需說明的是，眼球追蹤裝置410、示警裝置420、處理器430、記憶體440，以及影像擷取裝置450的功能與耦接關係與圖1所示的眼球追蹤裝置110、示警裝置120、處理器130、記憶體140，以及影像擷取裝置150的功能與耦接關係相似，於此不再贅述。與圖1所示實施例不同的是，駕駛提示系統40更包括測距裝置460，且處理器430耦接至移動載具的載具行駛元件470。
測距裝置460可以是超音波測距裝置、紅外線測距裝置，或雷射測距裝置（或稱光達），其用以量測移動載具與目標物體之間的距離。測距裝置460也可以是影像深度分析裝置，以依據影像深度值來判斷目標物體與移動載具之間的距離。載具行駛元件470可以是移動載具的煞車裝置、速度控制裝置，方向控制裝置或其他機構件。
圖5是依照本發明一實施例的駕駛提示方法的流程圖。請參照圖5，本實施例的方式適用於上述實施例中的駕駛提示系統40，以下即搭配駕駛提示系統40中的各項元件說明本實施例依據駕駛的注視位置提供示警的詳細步驟。
於步驟S501，處理器430經由影像擷取裝置450擷取環境影像。於步驟S502，處理器430對環境影像執行目標物偵測，而獲取影像偵測物件的目標位置。於步驟S503，處理器430經由眼球追蹤裝置410偵測駕駛的注視位置。
舉例而言，圖6是依照本發明一實施例的獲取注視位置的示意圖。請參照圖6，移動載具61行駛於道路上，設置於移動載具61上的影像擷取裝置450朝行進方向拍照，而設置於移動載具61上的眼球追蹤裝置410用以偵測駕駛的注視位置。具體而言，處理器430可獲取眼球追蹤裝置410所設定之投影平面PL1的參考設定值，也可獲取眼球追蹤裝置410所提供之駕駛注視於投影平面PL1上的投影位置(Xe, Ye)。上述的參考設定值包括投影平面PL1的寬度W、高度H以及與移動載具61之間的距離D。
另一方面，影像擷取裝置450依據其視野範圍與設置位置可擷取到移動載具61前方的環境影像Img1。處理器430可偵測到目標物體62(即，紅綠燈)的影像偵測物件S1存在於環境影像Img1上，並獲取影像偵測物件S1位於環境影像Img1上的目標位置(Xc, Yc)。另一方面，依據影像擷取裝置450的視野範圍以及投影平面PL1的參考設定值，處理器430可將投影平面PL1上的投影位置(Xe, Ye)轉換為環境影像Img1上的相對位置(Xet, Yet)，以獲取駕駛的注視位置。換言之，處理器430可依據影像擷取裝置450的視野範圍將投影平面PL1的任一座標映射至環境影像Img1的影像座標上。於此，處理器430將此相對位置(Xet, Yet)視為駕駛的注視位置。基此，處理器430可後續步驟依據目標位置(Xc, Yc)以及相對位置(Xet, Yet)來判斷駕駛的視線落點是否落在目標物體上。
圖7A與圖7B是依據本發明一實施例的獲取注視位置的情境示意圖。請先參照圖7A，設置於移動載具61外部的影像擷取裝置450可拍攝下環境影像Img2，設置於移動載具61內部的影像擷取裝置490可拍攝下投影參考影像Img3。需特別說明的是，於圖7A的範例中，影像擷取裝置490的設置位置可基於眼球追蹤裝置410的投影平面而被配置，致使用以產生投影參考影像Img3之影像擷取裝置490的視野範圍被配置為與眼球追蹤裝置410的虛擬空間相同。眼球追蹤裝置410用以偵測駕駛視線落在虛擬空間的位置，而眼球追蹤裝置410的投影平面為虛擬空間內垂直於地面的一平面。基此，透過對環境影像Img2與投影參考影像Img3進行影像校正與匹配，駕駛注視於眼球追蹤裝置410所設定之投影平面上的投影位置(Xe, Ye)可被轉換為環境影像Img2上的相對位置(Xet, Yet)。
請參照圖7B，相較於圖7A，移動載具61內部並不具有影像擷取裝置490。於圖7B的範例中，基於投影平面PL2的參考設定值，眼球追蹤裝置410可偵測到投影於投影平面PL2上的投影位置(Xe, Ye)。設置於移動載具61外部的影像擷取裝置450可拍攝下環境影像Img2，透過對影像Img2進行影像校正以及相對於投影平面PL2的視野範圍映射，駕駛注視於眼球追蹤裝置410所設定之投影平面PL2上的投影位置(Xe, Ye)可被轉換為環境影像Img2上的相對位置(Xet, Yet)。基於圖7A與圖7B的範例可知，投影位置(Xe, Ye)可映射至目標位置(Xc, Yc)的座標空間中，因此駕駛的注視位置(Xet, Yet)也可據以取得。
請繼續參照圖5，於步驟S504，當偵測到影像偵測物件對應的目標物體時，處理器430利用測距裝置460偵測移動載具與目標物體之間的距離。接著，於步驟S505，處理器430判斷移動載具與目標物體之間的距離是否小於臨界值。若步驟S505判斷為否，代表此目標物體與移動載具相距太遠並不需要特別提示駕駛去注意，於步驟S508，處理器430控制示警裝置420不啟動示警操作。舉例而言，測距裝置460可量測出移動載具與紅綠燈之間的距離A1(公尺)，當處理器430判斷A1(公尺)大於臨界值B1(公尺)時，處理器430並不會啟動示警裝置420也不會更進一步去判斷紅綠燈的目標位置與注視位置是否吻合。
需特別說明的是，上述臨界值的設定可視實際應用而定。於一實施例中，上述臨界值更可依據目標物體的型態而具有相對應的數值。以目標物體為障礙物為例，相距太遙遠的障礙物並沒有迫切被駕駛注意的必要，因此對應於障礙物的臨界值可以設定為第一值。以目標物體為特定交通號誌為例，對應於特定交通號誌的臨界值可以設定為相異於上述第一值的第二值。
另一方面，若步驟S505判斷為是，於步驟S506，處理器430判斷注視位置是否吻合目標位置。基於圖6、圖7A以及圖7B的說明可知，處理器430可依據環境影像獲取目標位置，並依據眼球追蹤裝置410提供的投影位置計算出注視位置。於是，處理器430可進一步判斷注視位置是否吻合目標位置是否足夠接近。於一實施例中，處理器430可直接依據注視位置與目標位置之間的間距來判斷注視位置與目標位置是否吻合。
舉例而言，圖8是依照本發明一實施例的判斷注視位置與目標位置是否吻合的示意圖。請參照圖8，處理器430可判斷影像偵測物件S2於環境影像Img8上的目標位置(Xc, Yc)與駕駛的注視位置(Xet, Yet)之間的間距d1是否大於臨界值。當影像偵測物件S2於環境影像上的目標位置(Xc, Yc)與駕駛的注視位置(Xet, Yet)之間的間距d1大於臨界值，處理器430可判定注視位置不吻合目標位置，當影像偵測物件S2於環境影像Img8上的目標位置(Xc, Yc)與駕駛的注視位置(Xet, Yet)之間的間距d1不大於臨界值，處理器430可判定注視位置吻合目標位置。
此外，於一實施例中，處理器430也可依據影像偵測物件與包括注視位置的影像區塊之間的相似度來判斷注視位置與目標位置是否吻合。舉例而言，圖9是依照本發明一實施例的判斷注視位置與目標位置是否吻合的示意圖。請參照圖9，處理器430以駕駛的注視位置(Xet, Yet)作為延伸基礎，而獲取環境影像Img8上的特定區塊Z1。處理器430判斷特定區塊Z1與影像偵測物件S2之間的影像相似程度。從另一方面來說，處理器430判斷特定區塊Z1與包括影像偵測物件S2之影像區塊Z2之間的影像相似程度。當特定區塊Z1與影像偵測物件S2之間的影像相似程度大於臨界值，處理器430可判定注視位置吻合目標位置。當特定區塊與影像偵測物件之間的影像相似程度不大於臨界值，處理器430可判定注視位置不吻合目標位置。
請繼續參考圖5，若步驟S506判斷為是，代表駕駛的視線落在目標物體上，於步驟S508，處理器430控制示警裝置420不啟動示警操作。若步驟S506判斷為否，代表駕駛的視線沒有落在目標物體上，於步驟S507，處理器430控制示警裝置420啟動示警操作。在啟動示警操作之後，於步驟S509，處理器430重複執行步驟S501~S503。接著，於步驟S510，處理器430再次判斷注視位置是否吻合目標位置。
若步驟S510判斷為是，代表駕駛的視線經過警示操作的提示已經落在目標物體上，於步驟S512，處理器430控制示警裝置420停止執行示警操作。若步驟S510判斷為否，代表駕駛的視線經過警示操作的提示還是沒有落在目標物體上，於步驟S511，處理器430可依據影像偵測物件所對應的目標物體來控制移動載具之載具行駛元件470。於一實施例中，處理器430可依據交通號誌或障礙物控制移動載具的速度控制裝置，以降低移動載具的行駛速度。也就是說，當駕駛持續沒有注意到目標物體時，處理器430可依據目標物體的型態來控制移動載具的載具行駛元件470，從而介入駕駛行為。舉例而言，若目標物體為速限標誌，則處理器430將控制移動載具的速度控制裝置來降低移動速度。若目標物體為障礙物，則處理器430將控制移動載具的煞車裝置來執行自動煞車。
綜上所述，於本發明實施例中，透過眼球追蹤裝置來獲取駕駛的視線落點，本發明可判斷駕駛的視線是否有落在移動載具周遭的目標物體上。當駕駛的注視位置與目標位置沒有吻合時，本發明可提供示警來提示駕駛專注於需要被注意的目標物體上。本發明透過依據駕駛視線來適時地提供示警，以期望駕駛的視線有確實的注意到路上需要被注意的物體。除此之外，本發明更可依據駕駛的視線來進一步介入駕駛行為，以排解緊急且危急狀況的發生。藉此，本發明可提供一種高安全性的駕駛輔助，以降低交通事故的發生機率。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
10、40‧‧‧駕駛提示系統
110、410‧‧‧眼球追蹤裝置
120、420‧‧‧示警裝置
130、430‧‧‧處理器
140、440‧‧‧記憶體
150、450‧‧‧影像擷取裝置
460‧‧‧測距裝置
470‧‧‧載具行駛元件
21、63‧‧‧駕駛
22、61‧‧‧車輛
M1‧‧‧後照鏡
f1‧‧‧視野
62‧‧‧目標物體
PL1‧‧‧投影平面
S1、S2‧‧‧影像偵測物件
Img1、Img2、Img8‧‧‧環境影像
Img3‧‧‧投影參考影像
d1‧‧‧間距
Z1‧‧‧特定區塊
Z2‧‧‧影像區塊
S301～S306、501～S512‧‧‧步驟
圖1是依照本發明一實施例的駕駛提示系統的方塊圖。 圖2是依照本發明一實施例的駕駛提示系統與移動載具的示意圖。 圖3是依照本發明一實施例的方法的流程圖。 圖4是依照本發明一實施例的駕駛提示系統的方塊圖。 圖5是依照本發明一實施例的方法的流程圖。 圖6是依照本發明一實施例的獲取注視位置的示意圖。 圖7A與圖7B是依據本發明一實施例的獲取注視位置的情境示意圖。 圖8是依照本發明一實施例的判斷注視位置與目標位置是否吻合的示意圖。 圖9是依照本發明一實施例的判斷注視位置與目標位置是否吻合的示意圖。

Claims (16)

  1. 一種駕駛提示方法，適用於包括一眼球追蹤裝置以及一影像擷取裝置的一駕駛提示系統，該駕駛提示系統裝載於一移動載具上，所述方法包括：(a)經由該影像擷取裝置擷取一環境影像；(b)對該環境影像執行目標物偵測，而獲取關聯於一目標物體之一影像偵測物件的目標位置；(c)經由該眼球追蹤裝置偵測一駕駛的注視位置；(d)判斷該注視位置是否吻合該目標位置，其中當該影像偵測物件於該環境影像上的該目標位置與該駕駛的該注視位置之間的間距大於臨界值，該注視位置不吻合該目標位置；以及(e)若該注視位置不吻合該目標位置，控制一示警裝置啟動一示警操作。
  2. 如申請專利範圍第1項所述的駕駛提示方法，其中在步驟(d)之後，所述方法更包括：若該注視位置吻合該目標位置，控制該警裝置不啟動該示警操作。
  3. 如申請專利範圍第1項所述的駕駛提示方法，其中步驟(e)之後，所述方法更包括：重複執行步驟(a)至步驟(d)；在重複執行步驟(a)至步驟(d)之後，若該注視位置吻合該目標位置，控制該示警裝置停止執行該示警操作；以及 在重複執行步驟(a)至步驟(d)之後，若該注視位置不吻合該目標位置，依據該影像偵測物件所對應的該目標物體來控制該移動載具之一載具行駛元件。
  4. 如申請專利範圍第3項所述的駕駛提示方法，其中該目標物體包括交通號誌或障礙物，而依據該影像偵測物件所對應的該目標物體來控制該移動載具之該載具行駛元件的步驟包括：依據該交通號誌或該障礙物控制該移動載具的速度控制裝置，以降低該移動載具的行駛速度。
  5. 如申請專利範圍第1項所述的駕駛提示方法，其中所述方法更包括：當偵測到該影像偵測物件對應的目標物體時，利用一測距裝置偵測該移動載具與該目標物體之間的距離；以及若該移動載具與該目標物體之間的該距離小於一臨界值，執行步驟(d)。
  6. 如申請專利範圍第1項所述的駕駛提示方法，其中步驟(c)包括：獲取該眼球追蹤裝置之投影平面的參考設定值，以及該駕駛注視於該投影平面上的一投影位置；以及依據該影像擷取裝置的視野範圍以及該投影平面的該參考設定值，將該投影平面上的該投影位置轉換為該環境影像上的一相對位置，以獲取該駕駛的該注視位置。
  7. 如申請專利範圍第6項所述的駕駛提示方法，其中步驟(d)包括：判斷該影像偵測物件於該環境影像上的該目標位置與該駕駛的該注視位置之間的該間距是否大於該臨界值，其中，當該影像偵測物件於該環境影像上的該目標位置與該駕駛的該注視位置之間的該間距不大於該臨界值，該注視位置吻合該目標位置。
  8. 如申請專利範圍第6項所述的駕駛提示方法，其中步驟(d)包括：以該駕駛的該注視位置作為延伸基礎，而獲取該環境影像上的一特定區塊；以及判斷該特定區塊與該影像偵測物件之間的影像相似程度，其中，當該特定區塊與該影像偵測物件之間的該影像相似程度大於一臨界值，該注視位置吻合該目標位置；當該特定區塊與該影像偵測物件之間的該影像相似程度不大於該臨界值，該注視位置不吻合該目標位置。
  9. 一種駕駛提示系統，包括：一影像擷取裝置；一眼球追蹤裝置；一記憶體，儲存有多個指令；以及一處理器，耦接該影像擷取裝置、該眼球追蹤裝置以及該記憶體，其中該處理器經配置執行該些指令以： 經由該影像擷取裝置擷取一環境影像；對該環境影像執行目標物偵測，而獲取關聯於一目標物體之一影像偵測物件的目標位置；經由該眼球追蹤裝置偵測一駕駛的注視位置；判斷該注視位置是否吻合該目標位置，其中當該影像偵測物件於該環境影像上的該目標位置與該駕駛的該注視位置之間的間距大於臨界值，該注視位置不吻合該目標位置；以及若該注視位置不吻合該目標位置，控制一示警裝置啟動一示警操作。
  10. 如申請專利範圍第9項所述的駕駛提示系統，其中該處理器更經配置執行該些指令以：若該注視位置吻合該目標位置，控制該警裝置不啟動該示警操作。
  11. 如申請專利範圍第9項所述的駕駛提示系統，其中該處理器耦接該移動載具的一載具行駛元件，而該處理器更經配置執行該些指令以：若該注視位置吻合該目標位置，控制該示警裝置停止執行該示警操作；以及若該注視位置不吻合該目標位置，依據該影像偵測物件所對應的該目標物體來控制該移動載具之該載具行駛元件。
  12. 如申請專利範圍第11項所述的駕駛提示系統，其中該目標物體包括交通號誌或障礙物，而該處理器更經配置執行該些指令以：依據該交通號誌或該障礙物控制該移動載具的速度控制裝置，以降低該移動載具的行駛速度。
  13. 如申請專利範圍第9項所述的駕駛提示系統，其中該駕駛提示系統更包括耦接該處理器的一測距裝置，而該處理器更經配置執行該些指令以：當偵測到該影像偵測物件對應的目標物體時，利用該測距裝置偵測該移動載具與該目標物體之間的距離；以及若該移動載具與該目標物體之間的該距離小於一臨界值，判斷該注視位置是否吻合該目標位置。
  14. 如申請專利範圍第9項所述的駕駛提示系統，其中該處理器更經配置執行該些指令以：獲取該眼球追蹤裝置之投影平面的參考設定值，以及該駕駛注視於該投影平面上的一投影位置；以及依據該影像擷取裝置的視野範圍以及該投影平面的該參考設定值，將該投影平面上的該投影位置轉換為該環境影像上的一相對位置，以獲取該駕駛的該注視位置。
  15. 如申請專利範圍第14項所述的駕駛提示系統，其中該處理器更經配置執行該些指令以：判斷該影像偵測物件於該環境影像上的該目標位置與該駕駛 的該注視位置之間的該間距是否大於該臨界值，其中，當該影像偵測物件於該環境影像上的該目標位置與該駕駛的該注視位置之間的該間距不大於該臨界值，該注視位置吻合該目標位置。
  16. 如申請專利範圍第14項所述的駕駛提示系統，其中該處理器更經配置執行該些指令以：以該駕駛的該注視位置作為延伸基礎，而獲取該環境影像上的一特定區塊；以及判斷該特定區塊與該影像偵測物件之間的影像相似程度，其中，當該特定區塊與該影像偵測物件之間的該影像相似程度大於一臨界值，該注視位置吻合該目標位置；當該特定區塊與該影像偵測物件之間的該影像相似程度不大於該臨界值，該注視位置不吻合該目標位置。
TW106137727A 2017-11-01 2017-11-01 駕駛提示方法與系統 TWI653170B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW106137727A TWI653170B (zh) 2017-11-01 2017-11-01 駕駛提示方法與系統
US15/919,224 US10696224B2 (en) 2017-11-01 2018-03-13 Driving notification method and driving notification system
US15/930,457 US11034294B2 (en) 2017-11-01 2020-05-13 Driving notification method and driving notification system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106137727A TWI653170B (zh) 2017-11-01 2017-11-01 駕駛提示方法與系統

Publications (2)

Publication Number Publication Date
TWI653170B true TWI653170B (zh) 2019-03-11
TW201918406A TW201918406A (zh) 2019-05-16

Family

ID=66245938

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106137727A TWI653170B (zh) 2017-11-01 2017-11-01 駕駛提示方法與系統

Country Status (2)

Country Link
US (2) US10696224B2 (zh)
TW (1) TWI653170B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190050633A (ko) * 2017-11-03 2019-05-13 주식회사 만도 운전자 상태 기반 차량 제어 시스템 및 방법
TWI637289B (zh) * 2018-05-18 2018-10-01 緯創資通股份有限公司 基於眼球追蹤的顯示控制系統
JP7180421B2 (ja) * 2019-02-04 2022-11-30 トヨタ自動車株式会社 車両制御装置
US10882398B2 (en) * 2019-02-13 2021-01-05 Xevo Inc. System and method for correlating user attention direction and outside view
US20220165073A1 (en) * 2019-02-22 2022-05-26 Panasonic Intellectual Property Management Co., Ltd. State detection device and state detection method
TWI741317B (zh) * 2019-07-04 2021-10-01 國立陽明交通大學 行人辨識方法與系統
EP4028300A1 (en) * 2019-09-11 2022-07-20 3M Innovative Properties Company Scene content and attention system
JP6717477B1 (ja) * 2019-09-13 2020-07-01 株式会社スワローインキュベート 画像処理方法、画像処理装置、及び画像処理プログラム
WO2021171699A1 (ja) * 2020-02-27 2021-09-02 株式会社Ｊｖｃケンウッド 車両用投影制御装置、車両用投影システム、車両用投影制御方法およびプログラム
US11590845B2 (en) * 2021-04-29 2023-02-28 Toyota Research Institute, Inc. Systems and methods for controlling a head-up display in a vehicle
CN113434620A (zh) * 2021-06-25 2021-09-24 阿波罗智联(北京)科技有限公司 显示方法、装置、设备、存储介质以及计算机程序产品
CN114162130B (zh) * 2021-10-26 2023-06-20 东风柳州汽车有限公司 驾驶辅助模式切换方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1423228A (zh) 2002-10-17 2003-06-11 南开大学 识别人眼注视方向的装置和方法及其应用
CN103770780A (zh) 2014-01-15 2014-05-07 中国人民解放军国防科学技术大学 一种车辆主动安全***告警屏蔽装置
CN105260724A (zh) 2015-10-22 2016-01-20 四川膨旭科技有限公司 车辆行驶过程中对车主眼睛注意力进行识别的***
CN102442248B (zh) 2010-10-11 2016-03-16 现代自动车株式会社 用于警告前方碰撞危险的***和方法及使用其的车辆

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4420002B2 (ja) * 2006-09-14 2010-02-24 トヨタ自動車株式会社 視線先推定装置
US8384534B2 (en) * 2010-01-14 2013-02-26 Toyota Motor Engineering & Manufacturing North America, Inc. Combining driver and environment sensing for vehicular safety systems
JP6036065B2 (ja) * 2012-09-14 2016-11-30 富士通株式会社 注視位置検出装置及び注視位置検出方法
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
US9481287B2 (en) * 2014-01-21 2016-11-01 Harman International Industries, Inc. Roadway projection system
KR102219456B1 (ko) * 2014-10-13 2021-02-25 삼성전자 주식회사 컨텐츠를 렌더링하는 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1423228A (zh) 2002-10-17 2003-06-11 南开大学 识别人眼注视方向的装置和方法及其应用
CN102442248B (zh) 2010-10-11 2016-03-16 现代自动车株式会社 用于警告前方碰撞危险的***和方法及使用其的车辆
CN103770780A (zh) 2014-01-15 2014-05-07 中国人民解放军国防科学技术大学 一种车辆主动安全***告警屏蔽装置
CN105260724A (zh) 2015-10-22 2016-01-20 四川膨旭科技有限公司 车辆行驶过程中对车主眼睛注意力进行识别的***

Also Published As

Publication number Publication date
TW201918406A (zh) 2019-05-16
US10696224B2 (en) 2020-06-30
US11034294B2 (en) 2021-06-15
US20190126821A1 (en) 2019-05-02
US20200269757A1 (en) 2020-08-27

Similar Documents

Publication Publication Date Title
TWI653170B (zh) 駕駛提示方法與系統
JP7397807B2 (ja) ライダー支援システム及び方法
CN109941288B (zh) 安全驾驶辅助装置和方法
CN108263279B (zh) 基于传感器整合的行人检测和行人碰撞避免装置及方法
US9947227B1 (en) Method of warning a driver of blind angles and a device for implementing the method
US7884705B2 (en) Safety-drive assistance device
JP6230289B2 (ja) 車両周辺監視装置
JP4872245B2 (ja) 歩行者認識装置
US10861336B2 (en) Monitoring drivers and external environment for vehicles
JPWO2017138151A1 (ja) 車両制御装置及び車両制御方法
JP2018181061A (ja) 運転支援装置
CN112052716B (zh) 识别装置、识别方法及存储介质
JP2016009251A (ja) 車両用制御装置
JP2012099085A (ja) 車両用ウインドシールドガラス上のリアルタイム警報システム及びその作動方法
US11858414B2 (en) Attention calling device, attention calling method, and computer-readable medium
US11685311B2 (en) System and method for warning a driver of a vehicle of an object in a proximity of the vehicle
CN109823344B (zh) 驾驶提示方法与***
EP3566921A1 (en) Providing relevant alerts to a driver of a vehicle
CN109878535B (zh) 驾驶辅助***和方法
JP2009154775A (ja) 注意喚起装置
JP5028302B2 (ja) 車両用警報装置
JP2021099720A (ja) 危険運転判定装置、危険運転判定方法、および危険運転判定プログラム
JP2019086983A (ja) 運転支援装置、運転状況情報取得システム、運転支援方法及びプログラム
JP2018200701A (ja) 車両用制御装置
US12027050B2 (en) Hazard notification method and system for implementing