TWI773958B - 車輛盲點影像顯示方法、裝置及系統 - Google Patents

車輛盲點影像顯示方法、裝置及系統 Download PDF

Info

Publication number
TWI773958B
TWI773958B TW109100990A TW109100990A TWI773958B TW I773958 B TWI773958 B TW I773958B TW 109100990 A TW109100990 A TW 109100990A TW 109100990 A TW109100990 A TW 109100990A TW I773958 B TWI773958 B TW I773958B
Authority
TW
Taiwan
Prior art keywords
face
image
displacement
region
interest
Prior art date
Application number
TW109100990A
Other languages
English (en)
Other versions
TW202046168A (zh
Inventor
韓學新
黃宣傑
Original Assignee
威盛電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 威盛電子股份有限公司 filed Critical 威盛電子股份有限公司
Priority to CN202010171825.5A priority Critical patent/CN111347977B/zh
Priority to US16/833,787 priority patent/US10967852B2/en
Publication of TW202046168A publication Critical patent/TW202046168A/zh
Application granted granted Critical
Publication of TWI773958B publication Critical patent/TWI773958B/zh

Links

Images

Abstract

一種車輛盲點影像顯示方法、裝置及系統。所述裝置耦接配置於車輛的外側的至少一個外部相機、配置於車輛內部且鏡頭朝向駕駛的至少一個內部相機以及配置於車輛內部的至少一個顯示器。所述方法包括利用外部相機擷取車輛外側的外部影像,利用內部相機擷取包含駕駛的內部影像,並辨識內部影像中駕駛的人臉及其位移,以及根據所辨識的位移調整外部影像中的關注區域的位置,以將關注區域的影像顯示於對應的顯示器。

Description

車輛盲點影像顯示方法、裝置及系統
本發明是有關於一種影像處理方法及裝置,且特別是有關於一種車輛盲點影像顯示方法、裝置及系統。
車輛駕駛因視線受到後照鏡及車輛柱體的遮蔽,無法看到完整的車外景像。此被遮蔽的視野即為駕駛的盲點或死角,駕駛在車輛行進的過程中常會因為看不到盲點或死角內出現的人或車輛而發生事故。
舉例來說,由圖1A所繪示的公車駕駛的左前方視野可知,部分的車外景像會被左側A柱(A-pillar)12及後照鏡14遮蔽。而由圖1B所繪示的公車駕駛的盲點區域可知,駕駛所看到的公車10外景像會分別被左側A柱12及後照鏡14所遮蔽,其中由於盲點區域涵蓋了部分的班馬線,駕駛可能會因為看不到盲點區域內的行人而發生事故。
為了解決上述視野盲點的問題,車輛製造商提出了許多解決方案,例如利用車側感應技術製作盲點提示裝置,利用相機擷 取車側影像並投射在螢幕上,或是更改柱體設計以透過光學折射將車外影像投射在柱體上,甚至在柱體上開孔以使駕駛能透視車外。
然而,更改柱體設計可能會弱化柱體強度而影響安全性,而直接投射車側影像則會因為駕駛坐姿或視角的改變而無法正確而自然地呈現出對應當下視野死角的影像。
有鑑於此,本發明提供一種車輛盲點影像顯示方法、裝置及系統,可因應駕駛坐姿或視角的改變調整所顯示的車外影像,而能夠正確地呈現出駕駛當下視野死角的影像。
本發明一實施例的車輛盲點影像顯示方法適用於具有連接裝置及處理器的電子裝置。其中,連接裝置用以耦接配置於車輛的外側的至少一個外部相機、配置於車輛內部且鏡頭朝向駕駛的至少一個內部相機以及配置於車輛內部的至少一個顯示器。此方法包括利用外部相機擷取車輛外側的外部影像,利用內部相機擷取包含駕駛的內部影像,並辨識內部影像中駕駛的人臉及其位移,以及根據所辨識的位移對應調整外部影像中的關注區域(region of interest,ROI)的位置,以將關注區域的影像顯示於對應的顯示器。
本發明一實施例的車輛盲點影像顯示裝置包括連接裝置、儲存裝置及處理器。其中,連接裝置用以耦接配置於車輛的外側的至少一個外部相機、配置於車輛內部且鏡頭朝向駕駛的至少一個 內部相機以及配置於車輛內部的至少一個顯示器。儲存裝置用以儲存程式。處理器耦接連接裝置及儲存裝置,用以載入並執行儲存裝置中的程式以利用外部相機擷取車輛外側的外部影像,利用內部相機擷取包含駕駛的內部影像,並辨識內部影像中駕駛的人臉及其位移,以及根據所辨識的位移對應調整外部影像中的關注區域的位置,以將關注區域的影像顯示於對應的顯示器。
本發明一實施例的車輛盲點影像顯示系統包括至少一個外部相機、至少一個內部相機、至少一個顯示器及電子裝置。其中,外部相機配置於車輛的外側,內部相機配置於車輛內部且鏡頭朝向駕駛,而顯示器則配置於車輛內側。電子裝置包括連接裝置及處理器,其中連接裝置用以耦接外部相機、內部相機及顯示器。處理器經配置以利用外部相機擷取車輛外側的外部影像,利用內部相機擷取包含駕駛的內部影像,並辨識內部影像中駕駛的人臉及其位移,以及根據所辨識的位移對應調整外部影像中的關注區域的位置,以將關注區域的影像顯示於對應的顯示器。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
10:公車
12、P1、P2:A柱
14:後照鏡
100:車輛盲點影像顯示裝置
110:連接裝置
120:儲存裝置
130:處理器
300:車輛盲點影像顯示系統
510、510’:外部影像
520、520’:內部影像
512、512’:關注區域影像
522、522’:人臉方框
C1、C2:外部相機
C3:內部相機
D:駕駛
FC、FC’:中心參考點
M1、M2:顯示器
ROI、ROI’:關注區域
S402~S406:步驟
圖1A繪示公車駕駛的左前方視野。
圖1B繪示公車駕駛的盲點區域。
圖2繪示本發明一實施例的車輛盲點影像顯示裝置的方塊圖。
圖3繪示本發明一實施例的車輛盲點影像顯示系統的示意圖。
圖4是依照本發明一實施例所繪示的車輛盲點影像顯示方法的流程圖。
圖5A及圖5B是依照本發明一實施例所繪示的車輛盲點影像顯示方法的範例。
本發明除了在車輛外側(例如柱體外側)設置相機以拍攝外部影像外,還額外在車輛內部裝設相機以拍攝駕駛影像,藉由深度學習(Deep Learning)演算法辨識駕駛人臉及其位移並反饋到外部影像的顯示上,因此能夠適當地顯示出駕駛視野被遮蔽區域的影像,輔助駕駛判斷外部情況,進而降低事故發生的機率。
圖2繪示本發明一實施例的車輛盲點影像顯示裝置的方塊圖。本實施例的車輛盲點影像顯示裝置100至少包括連接裝置110、儲存裝置120以及處理器130。車輛盲點影像顯示裝置100例如是具備運算功能的個人電腦、伺服器、平板電腦、導航裝置、視訊監控盒(Cambox)、車用電腦等電子裝置,本實施例並不限定。
連接裝置110是用以耦接配置於車輛的至少一個柱體(例如左側A柱、右側A柱)外側的至少一個外部相機、配置於車輛內部且鏡頭朝向駕駛的至少一個內部相機以及配置於柱體內側的至少一個顯示器,以自外部相機及內部相機接收影像,並向顯示器 輸出經處理的外部影像。詳言之,連接裝置110可以採用任何有線或無線方式與外部相機及內部相機連接,並接收由外部相機及內部相機所擷取的影像,其例如是通用序列匯流排(Universal Serial Bus,USB)、RS232、藍芽(Bluetooth,BT)、無線相容認證(Wireless fidelity,Wi-Fi)等傳輸介面,本實施例並不限定。另一方面,連接裝置110也可以是視訊圖形陣列(Video Graphics Array;VGA)或高清晰度多媒體介面(High Definition Multimedia Interface;HDMI)、雷電(Thunderbolt)等影像輸出介面,用以向顯示器輸出經處理的外部影像,本實施例亦不限定。
舉例來說,圖3繪示本發明一實施例的車輛盲點影像顯示系統的示意圖(未繪示車輛盲點影像顯示裝置100)。請參照圖3,本實施例的系統300繪示圖2的車輛盲點影像顯示裝置100所連接的相機與顯示器的配置。其中,本實施例的系統300分別在車輛的右側A柱P1及左側A柱P2的外側分別配置相機C1及C2,以分別擷取車輛右側及左側的外部影像。相機C1及C2例如可採用視野範圍(Field of View,FOV)較廣的廣角相機(例如120~150度)、魚眼相機(例如190度)或針孔相機,本實施例並不限定。在一實施例中,相機C1及C2例如是配置在車輛A柱P1、P2上離地約120~150公分(特別是140公分)的位置,以避免遭到人或外物撞擊。在其他實施例中,上述的配置高度亦可根據車輛種類、駕駛身形、外部環境等因素做調整,在此不設限。在另一些實施例中,相機C1及C2也可以配置在車輛外部的其他位置。
此外,本實施例的系統300亦分別在車輛的右側A柱P1及左側A柱P2的內側分別配置顯示器M1及M2,以分別顯示由相機C1及C2所擷取的右側及左側的外部影像。在一實施例中,顯示器M1及M2例如是液晶顯示器(Liquid Crystal Display,LCD)、發光二極體(Light-Emitting Diode,LED)顯示器或其他種類的平面顯示器或可撓性顯示器,在此不設限。在一實施例中,顯示器M1及M2例如是投影機的投影屏幕,而可顯示出由投影機所投射的畫面。在另一些實施例中,相機C1及C2也可以配置在車內的其他位置。在另一些實施例中,顯示器可以是只有一個而只配置在右側A柱P1及左側A柱P2的其中之一,或者,顯示器可以是二個以上。
需說明的是,本實施例的車輛盲點影像顯示裝置100利用配置在車輛右側A柱P1內側的相機C3擷取包括駕駛D的內部影像,並藉由深度學習演算法偵測駕駛D的人臉及其位移,從而調整顯示在顯示器M1及M2上的外部影像。在一實施例中,相機C3也可以配置在距離適當(例如距離駕駛D約1~2公尺)的車內其他位置。在一實施例中,相機C3例如採用視野範圍相對較小(例如30~60度)的相機,在此不設限。
儲存裝置120例如是任何型態的固定式或可移動式隨機存取記憶體(Random Access Memory,RAM)、唯讀記憶體(read-only memory,ROM)、快閃記憶體(flash memory)、硬碟或類似元件或上述元件的組合而用以儲存可由處理器130執行的程式。
處理器130耦接連接裝置110及儲存裝置120,而可載入並執行儲存裝置120中儲存的程式。在不同實施例中,處理器130例如是中央處理單元(Central Processing Unit,CPU)、圖形處理單元(Graphics Processing Unit,GPU),或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor,DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits,ASIC)、可程式化邏輯裝置(Programmable Logic Device,PLD)或其他類似裝置或這些裝置的組合,但不限於此。
圖4是依照本發明一實施例所繪示的車輛盲點影像顯示方法的流程圖。請同時參照圖2及圖4,本實施例的方法適用於上述車輛盲點影像顯示裝置100,以下即搭配車輛盲點影像顯示裝置100的各項元件說明本實施例的車輛盲點影像顯示方法的詳細步驟。
在步驟S402中,由處理器130利用外部相機(例如C1及C2)擷取車輛柱體外側的外部影像。其中,外部相機例如是採用視野範圍(FOV)較廣的廣角相機或魚眼相機,而可用以擷取可涵括駕駛在駕駛座上時所有可能的視野死角的外部影像。
在步驟S404中,由處理器130利用內部相機(例如C3)擷取包含駕駛的內部影像,並辨識內部影像中駕駛的人臉及其位移。在一實施例中,在車輛盲點影像顯示裝置100初次使用(例如駕駛剛取得車輛)或初始使用(例如駕駛剛發動車輛)時可以進行 初始設定,處理器130例如會預先利用內部相機擷取駕駛坐於駕駛座的初始影像,利用深度學習法偵測初始影像中駕駛的人臉特徵,並記錄人臉位置。本技術領域人員可以知道現有的多種人臉辨識深度學習演算法,在此不贅述。在進行初始設定時,駕駛可以手動調整(例如,但不限於,通過操作車輛盲點影像顯示裝置100的使用者介面或遙控器等)各外部相機所擷取的各外部影像中對應顯示於各顯示器上的各關注區域(region of interest,ROI)的視角或縮放比例(scale factor)以符合其需求,而車輛盲點影像顯示裝置100便可記錄對應於該人臉位置的各關注區域的初始設定。在後續實際行車的過程中,處理器130可持續針對內部影像的多個圖幀(frame),利用深度學習法來辨識內部影像多個圖幀中的人臉。
在一些實施例中,例如公車,內部影像中可能會同時出現多個人臉(例如司機與公車乘客),處理器130可能會辨識出內部影像中的多個人臉。此時,處理器130可以判定內部影像中與前一個圖幀中辨識出的駕駛人臉距離最近的人臉為本圖幀的駕駛人臉。藉此,即便內部影像中同時出現多個人臉(例如乘客),處理器130仍然能夠準確地辨識出駕駛,從而正確地執行本發明實施例的車輛盲點影像顯示方法。
需說明的是,為解決夜間行車燈光不足所造成的影像品質及辨識度不佳的問題,在一實施例中,內部相機可採用具有主動式光源(例如紅外線補光燈)的相機,以增加夜間的攝像品質。在其他實施例中,處理器130可能無法在內部影像每個圖幀中都通 過人臉辨識深度學習演算法辨識出人臉(例如當光源不足時),此時車輛盲點影像顯示裝置100的處理器130可利用深度學習法搭配人臉區域特徵點持續辨識內部影像中各圖幀的人臉,只要在其中幾個圖幀中有辨識出人臉,處理器130可根據該圖幀中人臉的位置,鎖定相鄰後續圖幀的影像中位於該位置周圍的區域,繼續辨識後續圖幀中與該人臉區域具有相同特徵點的物件區域來作為該後續圖幀的人臉;藉由上述人臉辨識及動態預測(motion estimation)技術的結合,即可在低光源的情況下持續追蹤人臉。
在步驟S406中,處理器130根據所辨識的位移對應調整外部影像中關注區域(region of interest,ROI)的位置,以在對應的顯示器上顯示關注區域的影像。其中,本發明實施例例如是在外部相機所擷取的外部影像中定義出一個駕駛當前視野被遮蔽的區域作為關注區域,並根據駕駛頭部位移量與此關注區域的移動量之間的變化關係,推算當前駕駛人臉位移時關注區域的移動量,使得最終擷取的關注區域影像能夠符合或涵蓋駕駛當前視野的盲點區域。在一些實施例中,在行車過程中,可以每隔一個或多個圖幀反覆進行圖4的流程以即時地在顯示器上顯示關注區域的影像。
詳言之,處理器130例如是利用所辨識的位移計算人臉的位移量(例如以內部影像的畫素為單位),從而根據人臉的位移量與關注區域的移動量(例如以外部影像的畫素為單位)之間的變化關係,計算出人臉的移動量所對應的關注區域的移動量,最後則將關注區域朝人臉的位移的相反方向移動所計算的移動量,而決 定關注區域的最終位置。
舉例來說,在初始設定中,利用深度學習演算法辨識人臉可獲得可涵括人臉輪廓的人臉方框的座標(例如以內部影像的畫素為單位),包括人臉方框的左上角頂點座標及右下角頂點座標,透過這兩個座標可計算出人臉方框的中心點座標,用以作為臉部中心參考點FC的座標(FC x ,FC y )。而在駕駛行車時,利用深度學習演算法持續辨識各圖幀的人臉,而可獲得位移後的臉部中心參考點FC’的座標(
Figure 109100990-A0305-02-0012-2
,
Figure 109100990-A0305-02-0012-3
)。在其他實施例中,辨識出來的涵括人臉輪廓的外框可以是其他形狀,而臉部中心參考點的座標可以是根據其他方式決定(例如外框形狀的質心)。
基於行車過程中視野遮蔽區域的改變主要受到水平方向(即x軸方向)的頭部/臉部變化量的影響,在一實施例中,僅取各圖幀的水平方向上的頭部/臉部移動量(
Figure 109100990-A0305-02-0012-5
-FC x )來推算各圖幀的關注區域(ROI)相對於初始設定的關注區域的移動量,包括顯示於右側A柱顯示器的右側ROI移動量S R 及顯示於左側A柱顯示器的左側ROI移動量S L ,其計算公式如下:
Figure 109100990-A0305-02-0012-1
其中,n為比例係數、a為左側A柱的ROI位移係數、b為右側A柱的ROI位移係數。在一實施例中,n為0.0005、a為1.5、b為1,上述係數的數值可根據不同情況來調整,在此不設限。在一實施例中,當A柱上的顯示器較靠近駕駛時,其所對應的ROI 位移係數較大(例如離駕駛較近的左側A柱的ROI位移係數會大於離駕較遠的右側A柱的ROI位移係數),即回應於駕駛頭部/臉部位移的ROI移動量較大。雖然上述計算行車時關注區域的移動量是根據各圖幀的臉部中心參考點相對於初始設定的臉部中心參考點的位移進行計算,但在另一實施例中,也可以是根據各圖幀的臉部中心參考點相對於其前一圖幀的臉部中心參考點的位移來計算各圖幀對應的關注區域相對於其前一圖幀對應的關注區域的移動量。在又一實施例中,比例係數n、左側A柱的ROI位移係數a、右側A柱的ROI位移係數b可以與上述初始設定中各顯示器上設定的縮放比例成正比。在又一實施例中,可以設定一臉部位移閥值,當|(
Figure 109100990-A0305-02-0013-4
-FCx)|大於該臉部位移閥值時才對應調整外部影像中關注區域的位置,否則就不調整關注區域的位置,以節省運算資源。
需說明的是,上述實施例是基於駕駛在行車過程中較少會在垂直方向上移動頭部/臉部,所以並未將垂直位移納入考量來計算ROI移動量。然而,在其他實施例中,垂直方向的頭部/臉部變化量亦可用以計算ROI移動量,並調整ROI區域的垂直位置,在此不設限。
圖5A及圖5B是依照本發明一實施例所繪示的車輛盲點影像顯示方法的範例。請同時參照圖3及圖5A,圖5A繪示在時間點t由外部相機C2及內部相機C3所擷取的外部影像510及內部影像520,其中藉由深度學習演算法可偵測出內部影像520中駕 駛D的人臉,並取得人臉方框522的中心參考點FC的座標,而基於此中心參考點FC的座標,依照預先測定的變化關係可推算出外部影像510中的關注區域ROI的位置(也就是駕駛D視野的盲點區域),並據以擷取關注區域ROI的影像512,以顯示在配置於柱體P2的顯示器M2上。本技術領域人員應可以理解,如果關注區域ROI的解析度(resolution)與顯示器顯示畫面的解析度不同,則車輛盲點影像顯示裝置100或顯示器可以對應調整解析度。
接著,請同時參照圖3及圖5B,圖5B繪示在時間點t+△t由外部相機C2及內部相機C3所擷取的外部影像510’及內部影像520’,其中藉由深度學習演算法可偵測出內部影像520’中駕駛D的人臉,並取得人臉方框522’的中心參考點FC’的座標。而基於此中心參考點FC’與先前取得的時間點t的中心參考點FC的座標,可計算出駕駛D頭部在△t時間內的移動量,而根據人臉位移量與關注區域移動量之間的變化關係,可計算出關注區域ROI的移動量,以將關注區域ROI朝人臉位移的相反方向移動所計算的移動量,獲得新的關注區域ROI’的位置,並據以擷取關注區域ROI’的影像512’,而顯示在配置於柱體P2的顯示器M2上。其中,在時間點t+△t擷取的外部影像510’及內部影像520’例如是外部相機C2及內部相機C3擷取外部影像510及內部影像520之後所擷取的下一張影像,或是間隔一固定時間後所擷取的影像,此間隔時間可由使用者自行設定,在此不限定。
在一實施例中,車輛盲點影像顯示裝置100可基於其所 具備的人臉辨識功能,額外對外部相機所擷取的外部影像進行人臉辨識,從而辨識出外部影像中出現的行人。而在偵測到所述行人時,車輛盲點影像顯示裝置100可利用車內音響或顯示器發出警告訊息,以提醒駕駛注意行人而減少事故發生。在一實施例中,可以是當車輛盲點影像顯示裝置100判定外部影像中的行人與車輛的距離低於一預設值(例如是2.5公尺)時才發出警告訊息,其中行人與車輛的距離可以根據例如外部影像中行人的所佔的畫素數目或是行人的腳部在外部影像的畫面中的位置等來估算。在其他實施例中,車輛盲點影像顯示裝置100亦可基於其他的行人偵測演算法來偵測外部影像中出現的行人,在此不限定。在一些實施例中,可以是當車輛停止時就不進行行人偵測或是/以及不進行上述關注區域的位置調整。
綜上所述,本發明的車輛盲點影像顯示方法、裝置及系統,根據駕駛頭部的移動量及方向相對應地調整外部影像中的關注區域的位置,從而可因應駕駛坐姿或視角的改變,正確地顯示出駕駛當下視野死角的影像,輔助駕駛判斷外部情況,進而降低事故發生的機率。此外,本發明的車輛盲點影像顯示方法、裝置及系統只需要在車身安裝相機與顯示器即可使用,方便在傳統車輛款式上使用,也不會影響車身結構的強健性。雖然本發明的實施例主要針對公車或貨車進行描述,但也可使用於例如轎車或休旅車等其他車型。
雖然本發明已以實施例揭露如上,然其並非用以限定本 發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100:車輛盲點影像顯示裝置
110:連接裝置
120:儲存裝置
130:處理器

Claims (18)

  1. 一種車輛盲點影像顯示方法,適用於具有連接裝置及處理器的電子裝置,所述連接裝置耦接配置於車輛的外側的至少一外部相機、配置於所述車輛內部且鏡頭朝向駕駛的至少一內部相機以及配置於所述車輛內部的至少一顯示器,該方法包括下列步驟:利用所述外部相機擷取所述車輛外側的外部影像;在所述外部相機所擷取的所述外部影像中定義一個區域作為關注區域(region of interest,ROI);利用所述內部相機擷取包含所述駕駛的內部影像,並辨識所述內部影像中所述駕駛的人臉及所述人臉的位移;以及根據所辨識的所述位移對應調整所述關注區域在所述外部影像中的位置,以顯示調整後的所述關注區域對應的影像於所述顯示器,其中根據所辨識的所述位移對應調整所述關注區域在所述外部影像中的位置的步驟包括:根據所述人臉的位移與所述關注區域的移動量之間的變化關係,計算所述人臉的位移所對應的所述關注區域的移動量;以及將所述關注區域在所述外部影像中朝所述人臉的位移的相反方向移動所述移動量。
  2. 如申請專利範圍第1項所述的方法,其中在辨識所述內部影像中所述駕駛的人臉及所述人臉的位移的步驟之前,所述方法更包括:預先利用所述內部相機擷取所述駕駛坐於駕駛座的初始影像;以及偵測所述初始影像中所述駕駛的人臉,以及記錄所述人臉的位置以及對應於所述人臉的位置的所述關注區域的初始設定。
  3. 如申請專利範圍第1項所述的方法,其中辨識所述內部影像中所述駕駛的人臉及所述人臉的位移的步驟包括:當所述內部影像被辨識出多個人臉時,判定所述內部影像中與前一個圖幀中辨識出的所述駕駛的人臉距離最近的人臉為本圖幀的所述駕駛的人臉,以計算所述人臉的位移。
  4. 如申請專利範圍第1項所述的方法,其中辨識所述內部影像中所述駕駛的人臉及所述人臉的位移的步驟包括:偵測所述內部影像中所述駕駛的人臉;以及根據所辨識的圖幀中所述人臉的位置,辨識相鄰後續圖幀的影像中位於所述人臉的所述位置的周圍區域且與所述人臉的區域具有相同特徵點的物件區域作為所述後續圖幀的所述人臉,以計算所述人臉的位移。
  5. 如申請專利範圍第1項所述的方法,其中當所述人臉的位移大於臉部位移閥值時才將所述關注區域朝所述人臉的位移的相反方向移動所述移動量,否則不移動所述關注區域。
  6. 如申請專利範圍第1項所述的方法,更包括:辨識所述外部相機所擷取的所述外部影像中出現的行人;以及當偵測到所述行人時,發出警告訊息。
  7. 一種車輛盲點影像顯示裝置,包括:連接裝置,耦接配置於車輛的外側的至少一外部相機、配置於所述車輛內部且鏡頭朝向駕駛的至少一內部相機以及配置於所述車輛內部的至少一顯示器;儲存裝置,儲存程式;以及處理器,耦接該連接裝置及該儲存裝置,載入並執行該儲存裝置中的所述程式以:利用所述外部相機擷取所述車輛外側的外部影像;在所述外部相機所擷取的所述外部影像中定義一個區域作為關注區域(region of interest,ROI);利用所述內部相機擷取包含所述駕駛的內部影像,並辨識所述內部影像中所述駕駛的人臉及所述人臉的位移;以及根據所辨識的所述位移對應調整所述關注區域在所述外部影像中的位置,並顯示調整後的所述關注區域對應的影像於所述顯示器,其中根據所辨識的所述位移對應調整所述關注區域在所述外部影像中的位置的步驟包括:根據所述人臉的位移與所述關注區域的移動量之間的變化關係,計算所述人臉的位移所對應的所述關注區域的移動量;以 及將所述關注區域在所述外部影像中朝所述人臉的位移的相反方向移動所述移動量。
  8. 如申請專利範圍第7項所述的車輛盲點影像顯示裝置,其中所述處理器包括預先利用所述內部相機擷取所述駕駛坐於駕駛座的初始影像,以及偵測所述初始影像中所述駕駛的人臉,以及記錄所述人臉的位置以及對應於所述人臉的位置的所述關注區域的初始設定。
  9. 如申請專利範圍第7項所述的車輛盲點影像顯示裝置,其中當所述內部影像被辨識出多個人臉時,所述處理器判定所述內部影像中與前一個圖幀中辨識出的所述駕駛的人臉距離最近的人臉為本圖幀的所述駕駛的人臉,以計算所述人臉的位移。
  10. 如申請專利範圍第7項所述的車輛盲點影像顯示裝置,其中所述處理器包括偵測所述內部影像中所述駕駛的人臉,以及根據所辨識的圖幀中所述人臉的位置,辨識相鄰後續圖幀的影像中位於所述人臉的所述位置的周圍區域且與所述人臉的區域具有相同特徵點的物件區域作為所述後續圖幀的所述人臉,以計算所述人臉的位移。
  11. 如申請專利範圍第7項所述的車輛盲點影像顯示裝置,其中所述處理器是在所述人臉的位移大於臉部位移閥值時才將所述關注區域朝所述人臉的位移的相反方向移動所述移動量,否則不移動所述關注區域。
  12. 如申請專利範圍第7項所述的車輛盲點影像顯示裝置,其中所述處理器更辨識所述外部相機所擷取的所述外部影像中出現的行人,以及在偵測到所述行人時,發出警告訊息。
  13. 一種車輛盲點影像顯示系統,包括:至少一外部相機,配置於車輛的外側;至少一內部相機,配置於所述車輛內部且鏡頭朝向駕駛;至少一顯示器,配置於所述車輛內側;以及電子裝置,具有連接裝置及處理器,所述連接裝置耦接所述外部相機、所述內部相機及所述顯示器,所述處理器經配置以:利用所述外部相機擷取所述車輛外側的外部影像;在所述外部相機所擷取的所述外部影像中定義一個區域作為關注區域(region of interest,ROI);利用所述內部相機擷取包含所述駕駛的內部影像,並辨識所述內部影像中所述駕駛的人臉及所述人臉的位移;以及根據所辨識的所述位移對應調整所述關注區域在所述外部影像中的位置,並顯示調整後的所述關注區域對應的影像於所述顯示器,其中根據所辨識的所述位移對應調整所述關注區域在所述外部影像中的位置的步驟包括:根據所述人臉的位移與所述關注區域的移動量之間的變化關係,計算所述人臉的位移所對應的所述關注區域的移動量;以及將所述關注區域在所述外部影像中朝所述人臉的位移的 相反方向移動所述移動量。
  14. 如申請專利範圍第13項所述的車輛盲點影像顯示系統,其中所述處理器包括預先利用所述內部相機擷取所述駕駛坐於駕駛座的初始影像,以及偵測所述初始影像中所述駕駛的人臉,以及記錄所述人臉的位置以及對應於所述人臉的位置的所述關注區域的初始設定。
  15. 如申請專利範圍第13項所述的車輛盲點影像顯示系統,其中當所述內部影像被辨識出多個人臉時,所述處理器判定所述內部影像中與前一個圖幀中辨識出的所述駕駛的人臉距離最近的人臉為本圖幀的所述駕駛的人臉,以計算所述人臉的位移。
  16. 如申請專利範圍第13項所述的車輛盲點影像顯示系統,其中所述處理器包括偵測所述內部影像中所述駕駛的人臉,以及根據所辨識的圖幀中所述人臉的位置,辨識相鄰後續圖幀的影像中位於所述人臉的所述位置的周圍區域且與所述人臉的區域具有相同特徵點的物件區域作為所述後續圖幀的所述人臉,以計算所述人臉的位移。
  17. 如申請專利範圍第13項所述的車輛盲點影像顯示系統,其中所述處理器是在所述人臉的位移大於臉部位移閥值時才將所述關注區域朝所述人臉的位移的相反方向移動所述移動量,否則不移動所述關注區域。
  18. 如申請專利範圍第13項所述的車輛盲點影像顯示系統,其中所述處理器更辨識所述外部相機所擷取的所述外部影像中出現的行人,以及在偵測到所述行人時,發出警告訊息。
TW109100990A 2019-06-05 2020-01-10 車輛盲點影像顯示方法、裝置及系統 TWI773958B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010171825.5A CN111347977B (zh) 2019-06-05 2020-03-12 车辆盲点影像显示方法、装置及***
US16/833,787 US10967852B2 (en) 2019-06-05 2020-03-30 Visual range adapter by head detection for A-pillar

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962857361P 2019-06-05 2019-06-05
US62/857,361 2019-06-05

Publications (2)

Publication Number Publication Date
TW202046168A TW202046168A (zh) 2020-12-16
TWI773958B true TWI773958B (zh) 2022-08-11

Family

ID=71896900

Family Applications (2)

Application Number Title Priority Date Filing Date
TW109100990A TWI773958B (zh) 2019-06-05 2020-01-10 車輛盲點影像顯示方法、裝置及系統
TW109200439U TWM595803U (zh) 2019-06-05 2020-01-10 車輛盲點影像顯示裝置及系統

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW109200439U TWM595803U (zh) 2019-06-05 2020-01-10 車輛盲點影像顯示裝置及系統

Country Status (1)

Country Link
TW (2) TWI773958B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI773958B (zh) * 2019-06-05 2022-08-11 威盛電子股份有限公司 車輛盲點影像顯示方法、裝置及系統
TWI838737B (zh) * 2022-04-22 2024-04-11 為升電裝工業股份有限公司 車載無線偵測系統

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI333904B (zh) * 2008-08-22 2010-12-01
TWM413619U (en) * 2011-04-06 2011-10-11 Univ Nat Formosa Visual dead-zone-free auxiliary system for vehicle
CN104249655A (zh) * 2013-06-26 2014-12-31 捷达世软件(深圳)有限公司 车载影像显示方法及***
US20190001987A1 (en) * 2015-09-01 2019-01-03 Lg Electronics Inc. Vehicle and control method thereof
TWM595803U (zh) * 2019-06-05 2020-05-21 威盛電子股份有限公司 車輛盲點影像顯示裝置及系統

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI333904B (zh) * 2008-08-22 2010-12-01
TWM413619U (en) * 2011-04-06 2011-10-11 Univ Nat Formosa Visual dead-zone-free auxiliary system for vehicle
CN104249655A (zh) * 2013-06-26 2014-12-31 捷达世软件(深圳)有限公司 车载影像显示方法及***
US20190001987A1 (en) * 2015-09-01 2019-01-03 Lg Electronics Inc. Vehicle and control method thereof
TWM595803U (zh) * 2019-06-05 2020-05-21 威盛電子股份有限公司 車輛盲點影像顯示裝置及系統

Also Published As

Publication number Publication date
TWM595803U (zh) 2020-05-21
TW202046168A (zh) 2020-12-16

Similar Documents

Publication Publication Date Title
US10116873B1 (en) System and method to adjust the field of view displayed on an electronic mirror using real-time, physical cues from the driver in a vehicle
JP6091586B1 (ja) 車両用画像処理装置および車両用画像処理システム
US20180268701A1 (en) Vehicle display system and method of controlling vehicle display system
CN109941277A (zh) 显示汽车a柱盲区图像的方法、装置和车辆
WO2019111696A1 (ja) 異常検知装置、及び異常検知プログラム
WO2009116327A1 (ja) 画像処理装置及び方法、運転支援システム、車両
JP5093611B2 (ja) 車両周辺確認装置
US20070081262A1 (en) Blind spot image display apparatus and method thereof for vehicle
US10227002B2 (en) Vehicle display system and method of controlling vehicle display system
WO2018036250A1 (zh) 车用辅助显示装置、显示方法以及车辆
US20180268564A1 (en) Vehicle display system and method of controlling vehicle display system
TWI696905B (zh) 車輛盲區偵測方法
JP2014116756A (ja) 周辺監視システム
TWI522257B (zh) 車用安全系統及其運作方法
TWI773958B (zh) 車輛盲點影像顯示方法、裝置及系統
WO2014034065A1 (ja) 移動体警告装置、および移動体警告方法
JP6857695B2 (ja) 後方表示装置、後方表示方法、およびプログラム
TWI533694B (zh) 車用障礙物偵測顯示系統
CN111347977B (zh) 车辆盲点影像显示方法、装置及***
JP2009183473A (ja) 視線方向検出装置及び視線方向検出方法
JP7268526B2 (ja) 車両用表示制御装置、及び車両用表示システム
KR20180094717A (ko) Avm을 이용한 운전 지원 장치 및 시스템
US11938863B2 (en) Peripheral image generation device and display control method
JP5831331B2 (ja) 車両の後側方撮影装置
JP5049304B2 (ja) 車両の周辺を画像表示するための装置