TWI805502B

TWI805502B - 注意力輔助系統及其控制方法

Info

Publication number: TWI805502B
Application number: TW111137918A
Authority: TW
Inventors: 方彥文; 蔡玉堂; 田堃正
Original assignee: 友達光電股份有限公司
Priority date: 2022-10-05
Filing date: 2022-10-05
Publication date: 2023-06-11
Also published as: CN115869545A; TW202415417A

Abstract

一種注意力輔助系統包含影像感測器、處理電路、磁脈衝產生器以及磁脈衝控制模組。影像感測器用以感測頭部圖框。處理電路用以自頭部圖框判斷待刺激位置。磁脈衝產生器用以產生磁脈衝。磁脈衝控制模組用以調整磁脈衝的傳播方向以使磁脈衝入射至刺激位置。

Description

注意力輔助系統及其控制方法

本案係關於一種注意力輔助系統，特別係關於一種提升注意力的注意力輔助系統及其控制方法。

在現今經顱刺激的技術中，經顱微電流刺激的電極需貼合使用者的頭部上，經顱磁刺激的裝置須對準使用者頭部上的指定位置，從而對使用者的注意力神經提供變化的磁場，以使使用者的注意力神經內產生電位差從而促進神經元的電荷傳遞，從而活化大腦。然而，一般使用情形中，會將使用者的頭部固定，以確保經顱磁刺激的裝置提供的磁場確實指向待刺激的腦區，這增加使用上的不便利性。因此，如何提供一種裝置及控制方法解決上述問題為本領域中重要的議題。

本揭示文件提供一種注意力輔助系統，注意力輔助系統包含影像感測器、處理電路、磁脈衝產生器以及磁脈衝控制模組。影像感測器用以感測頭部圖框。處理電路用以自頭部圖框判斷待刺激位置。磁脈衝產生器用以產生磁脈衝。磁脈衝控制模組用以調整磁脈衝的傳播方向以使磁脈衝入射至刺激位置。

本揭示文件提供一種注意力輔助系統，注意力輔助系統包含第一磁脈衝產生器、第一磁脈衝控制模組、第二磁脈衝產生器以及第二磁脈衝控制模組。第一磁脈衝產生器用以產生第一磁脈衝。第一磁脈衝控制模組用以調整第一磁脈衝的傳播方向以使第一磁脈衝入射至第一待刺激位置。第二磁脈衝產生器用以產生第二磁脈衝，其中第一磁脈衝與第二磁脈衝不同步。第二磁脈衝控制模組用以調整第二磁脈衝的傳播方向以使第二磁脈衝入射至第二待刺激位置。

本揭示文件提供一種注意力輔助系統控制方法，包含下列步驟。由警示系統感測臉部圖框，並且依據臉部圖框判斷身理狀態。若判斷身理狀態為疲勞，警示系統傳送啟動訊號予磁脈衝控制系統。由磁脈衝控制系統測量頭部圖框，並且自頭部圖框判斷至少待刺激位置。由磁脈衝控制系統產生並控制至少一磁脈衝的傳播方向以使至少一磁脈衝入射至至少一待刺激位置。

綜上所述，本揭示文件透過辨識駕駛人的身理狀態以相應控制的磁脈衝產生器產生磁脈衝，並且利用磁脈衝控制模組調整磁脈衝的傳播方向，以使磁脈衝射向至駕駛人的頭頂上的待刺激位置。如此，由磁脈衝產生器產生的磁脈衝經由經顱磁刺激可以刺激駕駛人的左額葉至右頂葉的注意力神經網路，從而提升駕駛人的注意力。

下列係舉實施例配合所附圖示做詳細說明，但所提供之實施例並非用以限制本揭露所涵蓋的範圍，而結構運作之描述非用以限制其執行順序，任何由元件重新組合之結構，所產生具有均等功效的裝置，皆為本揭露所涵蓋的範圍。另外，圖示僅以說明為目的，並未依照原尺寸作圖。為使便於理解，下述說明中相同元件或相似元件將以相同之符號標示來說明。

在全篇說明書與申請專利範圍所使用之用詞(terms)，除有特別註明除外，通常具有每個用詞使用在此領域中、在此揭露之內容中與特殊內容中的平常意義。

此外，在本文中所使用的用詞『包含』、『包括』、『具有』、『含有』等等，均為開放性的用語，即意指『包含但不限於』。此外，本文中所使用之『及／或』，包含相關列舉項目中一或多個項目的任意一個以及其所有組合。

於本文中，當一元件被稱為『耦接』或『耦接』時，可指『電性耦接』或『電性耦接』。『耦接』或『耦接』亦可用以表示二或多個元件間相互搭配操作或互動。此外，雖然本文中使用『第一』、『第二』、…等用語描述不同元件，該用語僅是用以區別以相同技術用語描述的元件或操作。

請參閱第1圖，第1圖為依據本揭示文件的一些實施例所繪示的注意力輔助系統100的示意圖。如第1圖所示，注意力輔助系統100包含影像感測器112、122a以及122b以及磁脈衝控制裝置113。在一些實施例中，影像感測器112、122a以及122b由影像感測器實施，所述影像感測器可以是CMOS(Complementary Metal-Oxide-Semiconductor；COMS)影像感測器(CMOS image sensor)、CCD(Charge-Coupled Device；CCD)影像感測器、其他光感測組件或光感測裝置。

影像感測器122a以及122b設置於駕駛座的前方，並且影像感測器122a以及122b的鏡頭朝向駕駛座的方向，用以拍攝駕駛人的臉部，以產生臉部圖框。影像感測器122a及/或122b所拍的攝臉部圖框經由一個神經網路模型分析，可透過駕駛人臉部的微表情/表情評估駕駛人的身理/精神狀態(例如，專注、平靜、打瞌睡、恍神、疲憊)。

在一些實施例中，影像感測器122a設置於車內後視鏡、前檔風玻璃或其他位置。影像感測器122a的設置高度與駕駛人的臉部高度較相近，從而以俯視角、水平視角拍攝駕駛人於水平視野的臉部表情，並且產生臉部圖框。在一些實施例中，影像感測器122a的視野包含駕駛人的臉部，從而拍攝駕駛人的臉部以及駕駛人的肢體動作(例如，揉眼睛等)。在一些實施例中，影像感測器122a以俯視角、水平視角拍攝可以對駕駛人的眼部肌肉變化特寫。

在一些實施例中，影像感測器122b內嵌/設置於儀表板、中控台或其他位置。影像感測器122b的設置高度低於駕駛人的臉部位置，從而以仰視角拍攝駕駛人的臉部表情，並且產生臉部圖框。在一些實施例中，影像感測器122b的視野包含駕駛人的臉部，從而拍攝駕駛人的臉部以及駕駛人的肢體動作(例如，捂著嘴等)。在一些實施例中，以仰視角拍攝可以對駕駛人的嘴部肌肉動作特寫。

在一些實施例中，影像感測器112設置於駕駛座上方，影像感測器112用以拍攝駕駛人的頭頂，以產生頭部(頭頂)圖框。在一些實施例中，影像感測器112設置於車頂內側，面向駕駛座方向。影像感測器112所拍的頭部圖框經由另一個神經網路模型分析，可透過駕駛頭部的外輪廓定位腦前額葉等與注意力關聯的腦部位置。

請參閱第2圖，第2圖為依據本揭示文件的一些實施例所繪示的注意力輔助系統100的功能方塊圖。如第2圖所示，注意力輔助系統100包含磁脈衝控制系統110以及警示系統120。注意力輔助系統100與磁脈衝控制系統110以及警示系統120電性/通訊耦接，以傳遞指令、資料或訊息。

磁脈衝控制系統110包含處理電路111、影像感測器112以及磁脈衝控制裝置113。警示系統120包含處理電路121、影像感測器122以及儲存裝置123。

處理電路111以及121可以由中央處理器、微處理器、圖形處理器、可程式閘陣列積體電路(Field-Programmable Gate Array；FPGA)、特定應用積體電路(Application Specific Integrated Circuit；ASIC)或其他適用於提取或執行儲存於記憶體中的指令的硬體裝置。在一些實施例中，處理電路111設置於一個微控制器，且所述微控制器包含記憶體(未繪示)，並且處理電路121以及儲存裝置123設置於另一個微控制器。

儲存裝置123可以由電性、磁性、光學記憶裝置或其他儲存指令或資料的儲存裝置實施。在一些實施例中，記憶體120可以由揮發性記憶體或非揮發性記憶體實施。在一些實施例中，記憶體120可以由隨機存取記憶體(Random Access Memory；RAM)、動態隨機存取記憶體(Dynamic Random Access Memory；DRAM)、磁阻式隨機存取記憶體(Magnetoresistive Random Access Memory；MRAM)、相變化記憶體(Phase-Change Random Access Memory；PCRAM)或其他儲存裝置實施。

在一些實施例中，在第2圖的影像感測器112對應於第1圖中的影像感測器112，並且在第2圖的影像感測器122對應於第1圖中的影像感測器122a及/或影像感測器122b。

請一併參閱第2圖以及第3圖。第3圖為依據本揭示文件的一些實施例所繪示的控制方法200的流程圖。控制方法200包含步驟S210~S240。

於步驟S210中，由警示系統120拍攝駕駛人的臉部以產生臉部圖框Ff，並且依據臉部圖框Ff判斷駕駛人的身理狀態。在一些實施例中，警示系統120的處理電路121與影像感測器122通訊/電性連接。影像感測器122拍攝駕駛人的臉部以產生臉部圖框Ff，以將臉部圖框Ff傳送至處理電路121。

在一些實施例中，警示系統120的處理電路121與儲存裝置123電性耦接。處理電路121自儲存裝置123提取運行情緒辨識神經網路124的相關指令及資料，從而利用情緒辨識神經網路124分析臉部圖框Ff中駕駛人的面部表情(例如，眼部周圍肌肉活動導致眼睛大小/形狀變化、嘴部肌肉動作導致嘴型變化)及/或肢體動作(例如，駕駛人用手揉眼睛、捂着嘴)並產生分析結果(例如，駕駛人是否疲倦、分心或具有負面情緒等)，以判斷駕駛人的身理/心理狀態(例如，專注、平靜、打瞌睡、恍神、疲憊)。

在一些實施例中，所述情緒辨識神經網路124可以由監督式神經網路架構(例如，卷積神經網路架構、深度神經網路架構、深度卷積神經網路架構)、非監督式神經網路架構(例如，對抗式生成網路架構)、混和式神經網路架構或其他神經網路架構實施。因此，本案不以此為限。

於步驟S220中，若判斷駕駛人的身理狀態為疲勞，由警示系統120傳送啟動訊號予磁脈衝控制系統110。若處理電路121於步驟S210中利用情緒辨識神經網路124運算臉部圖框Ff得到駕駛人的身理狀態為疲勞狀態，處理電路121傳送啟動訊號予磁脈衝控制系統110的處理電路111。

於步驟S230中，由磁脈衝控制系統110拍攝駕駛人的頭部以產生頭部圖框Fh，並且自頭部圖框Fh判斷至少一待刺激位置。具體而言，磁脈衝控制系統110的處理電路111響應於警示系統120的處理電路121傳送的啟動訊號，處理電路111控制/指示影像感測器112拍攝/感測駕駛人的頭部(頭頂)並回傳感測影像至處理電路111，以產生頭部圖框Fh。

磁脈衝控制系統110的處理電路111自儲存裝置(未繪示) 提取運行輪廓辨識神經網路的相關指令及資料，從而利用輪廓辨識神經網路分析頭部圖框Fh中駕駛人的頭頂對應的位置座標。在一些實施例中，所述輪廓辨識神經網路可以由監督式神經網路架構(例如，卷積神經網路架構、深度神經網路架構、深度卷積神經網路架構)、非監督式神經網路架構(例如，對抗式生成網路架構)、混和式神經網路架構或其他神經網路架構實施。因此，本案不以此為限。

為了更佳的說明，請一併參閱第4圖。第4圖為依據本揭示文件的一些實施例所繪示的頭部圖框Fh、頭部特徵Fes、頭部輪廓Fe3及FP的示意圖。處理電路111利用輪廓辨識神經網路自頭部圖框Fh提取駕駛人的鼻尖位置作為特徵Fe1，依據鼻尖位置提取駕駛人的面部輪廓作為特徵Fe2，並且依據特徵Fe1以及Fe2提取駕駛人的頭部輪廓Fe3(對應於頭部輪廓FP)。處理電路111利用輪廓辨識神經網路依據駕駛人的頭部輪廓FP獲取對應的位置座標(例如，位置A1、A2、O1、O2、T3~T6、P3~P4、Pz、C3~C4、Cz、F3~F4、F7~F8、Fz、Fp1以及Fp2)，並且提取位置F3以及P4中至少一者作為待刺激位置STP1、STP2。在一些實施例中，位置座標F3對應於人類腦部的左額葉區域，並且位置P4對應於人類腦部的右頂葉區域。

於步驟S240中，由磁脈衝控制系統110產生並控制至少一磁脈衝的傳播方向以使至少一磁脈衝入射至至少一待刺激位置。處理電路111指示磁脈衝控制裝置113產生磁脈衝Mp1以及Mp2至駕駛人頭部的待刺激位置STP1~STP2。具體而言，磁脈衝控制裝置113包含磁脈衝產生器114、115以及磁脈衝控制模組116、117，磁脈衝產生器114以及115用以產生沿垂直方向的磁場，磁脈衝控制模組116以及117由參雜多個磁性奈米粒子的液晶組成。在一些實施例中，所述磁性奈米粒子可由超順磁性奈米氧化鐵(Fe ₃O ₄)實施。

在一些實施例中，處理電路111依據待刺激位置STP1、STP2指示磁脈衝控制裝置113的磁脈衝控制模組116以及117內的磁性奈米粒子轉向，以改變磁脈衝Mp1以及Mp2的傳播方向，使磁脈衝Mp1以及Mp2射向駕駛人頭部的待刺激位置STP1及/或STP2。

請參閱第5A圖至第5C圖。第5A圖至第5C圖為依據本揭示文件的一些實施例所繪示的磁脈衝Mp1以及Mp2的示意圖。如第5A圖至第5C圖所示，磁脈衝Mp1與磁脈衝Mp2的波形相位相反。換言之，磁脈衝Mp1與磁脈衝Mp2的相位差係二分之一週期。在一些實施例中，磁脈衝Mp1與磁脈衝Mp2的頻率為10Hz、20Hz或5~30Hz的範圍內的一數值，並且磁脈衝Mp1以及Mp2的頻率經設定為相同頻率。如此，由磁脈衝控制裝置113產生的磁脈衝Mp1與磁脈衝Mp2經由經顱磁刺激(repetitive Transcranial Magnetic Stimulation；rTMS)可以刺激駕駛人的左額葉至右頂葉的注意力神經網路(Frontoparietal Attention Network)，從而提升駕駛人的注意力。

值得注意的是，在第5A圖至第5C圖的實施例中，磁脈衝Mp1與磁脈衝Mp2非同步脈衝。在另一些實施例中，磁脈衝Mp1與磁脈衝Mp2可以為同步脈衝，因此，本案不以此為限。

綜上所述，本案的注意力輔助系統100的警示系統120利用情緒辨識神經網路124分析駕駛人的狀態是否疲勞，若警示系統120判斷駕駛人處於疲勞狀態，警示系統120與磁脈衝控制系統110之間透過電性/通訊連接溝通，以使磁脈衝控制系統110利用輪廓神經網路辨識駕駛人的頭部輪廓並分析駕駛人的腦區位置，從而提取駕駛人的頭頂對應於左額葉以及右頂葉的位置作為待刺激位置STP1以及STP2。

進一步而言，磁脈衝控制系統110中的磁脈衝控制裝置113的磁脈衝產生器114、115產生磁脈衝MP1、MP2。磁脈衝MP1、MP2經由磁脈衝控制模組116以及117調整/控制傳播方向至駕駛人的頭頂上的待刺激位置STP1以及STP2。如此，由磁脈衝控制裝置113產生的磁脈衝Mp1與磁脈衝Mp2經由經顱磁刺激可以刺激駕駛人的左額葉至右頂葉的注意力神經網路，從而提升駕駛人的注意力。

雖然本揭露已以實施方式揭露如上，然其並非用以限定本揭露，任何本領域通具通常知識者，在不脫離本揭露之精神和範圍內，當可作各種之更動與潤飾，因此本揭露之保護範圍當視後附之申請專利範圍所界定者為準。

為使本揭露之上述和其他目的、特徵、優點與實施例能更明顯易懂，所附符號之說明如下 100:注意力輔助系統 110:磁脈衝控制系統 111,121:處理電路 112,122,122a,122b:影像感測器 113:磁脈衝控制裝置 114,115:磁脈衝產生器 116,117:磁脈衝控制模組 120:警示系統 124:情緒辨識神經網路 200:控制方法 STP1,STP2:待刺激位置 Ff:臉部圖框 Fh:頭部圖框 Fe1,Fe2:特徵 Fe3,FP:頭部輪廓 MP1,MP2:磁脈衝 S210,S220,S230,S240:步驟

為使本揭露之上述和其他目的、特徵、優點與實施例能更明顯易懂，所附圖式之說明如下：第1圖為依據本揭示文件的一些實施例所繪示的注意力輔助系統100的示意圖。第2圖為依據本揭示文件的一些實施例所繪示的注意力輔助系統100的功能方塊圖。第3圖為依據本揭示文件的一些實施例所繪示的控制方法的流程圖。第4圖為依據本揭示文件的一些實施例所繪示的頭部圖框、頭部特徵、頭部輪廓的示意圖。第5A圖至第5C圖為依據本揭示文件的一些實施例所繪示的磁脈衝的示意圖。

國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無

100:注意力輔助系統

112,122a,122b:影像感測器

113:磁脈衝控制裝置

Claims

一種注意力輔助系統，包含：一影像感測器，用以感測一頭部圖框；一處理電路，用以自該頭部圖框判斷一待刺激位置；一磁脈衝產生器，用以產生一磁脈衝；以及一磁脈衝控制模組，用以調整該磁脈衝的傳播方向以使該磁脈衝入射至該刺激位置。
如請求項1所述之注意力輔助系統，其中該處理電路利用一神經網路模型自該頭部圖框中建構一頭部輪廓特徵，並且該處理電路依據該頭部輪廓特徵判斷該待刺激位置。
如請求項2所述之注意力輔助系統，其中該待刺激位置對應於人類腦部的左額葉或右頂葉。
如請求項1所述之注意力輔助系統，其中該磁脈衝的頻率係10~30赫茲的範圍。
如請求項1所述之注意力輔助系統，其中該磁脈衝控制模組包含參雜複數個磁性粒子的液晶。
如請求項5所述之注意力輔助系統，其中該些磁性粒子具有超順磁特性。
一種注意力輔助系統，包含：一第一磁脈衝產生器，用以產生一第一磁脈衝；一第一磁脈衝控制模組，用以調整該第一磁脈衝的傳播方向以使該第一磁脈衝入射至一第一待刺激位置；一第二磁脈衝產生器，用以產生一第二磁脈衝，其中該第一磁脈衝與該第二磁脈衝不同步；以及一第二磁脈衝控制模組，用以調整該第二磁脈衝的傳播方向以使該第二磁脈衝入射至一第二待刺激位置。
如請求項7所述之注意力輔助系統，其中該第一待刺激位置以及該第二待刺激位置分別對應於人類腦部的左額葉以及右頂葉。
如請求項7所述之注意力輔助系統，其中第一磁脈衝以及該第二磁脈衝具有相同的一頻率，其中該頻率經設定在10~30赫茲的範圍內，其中該第一磁脈衝以及該第二磁脈衝的相位差二分之一週期。
一種控制方法，包含：由一警示系統感測一臉部圖框，並且依據該臉部圖框判斷一身理狀態；若判斷該身理狀態為疲勞，該警示系統傳送一啟動訊號予一磁脈衝控制系統；由該磁脈衝控制系統測量一頭部圖框，並且自該頭部圖框判斷至少一待刺激位置；以及由該磁脈衝控制系統產生並控制至少一磁脈衝的傳播方向以使該至少一磁脈衝入射至該至少一待刺激位置。