TWI684920B - 車燈狀態分析方法、車燈狀態分析系統及非暫態電腦可讀取媒體 - Google Patents

車燈狀態分析方法、車燈狀態分析系統及非暫態電腦可讀取媒體 Download PDF

Info

Publication number
TWI684920B
TWI684920B TW107143736A TW107143736A TWI684920B TW I684920 B TWI684920 B TW I684920B TW 107143736 A TW107143736 A TW 107143736A TW 107143736 A TW107143736 A TW 107143736A TW I684920 B TWI684920 B TW I684920B
Authority
TW
Taiwan
Prior art keywords
interest
images
image
neural network
regions
Prior art date
Application number
TW107143736A
Other languages
English (en)
Other versions
TW202022689A (zh
Inventor
張均東
Original Assignee
財團法人資訊工業策進會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人資訊工業策進會 filed Critical 財團法人資訊工業策進會
Priority to TW107143736A priority Critical patent/TWI684920B/zh
Application granted granted Critical
Publication of TWI684920B publication Critical patent/TWI684920B/zh
Publication of TW202022689A publication Critical patent/TW202022689A/zh

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

一種車燈狀態分析方法。此車燈狀態分析方法包含以下步驟取得多個影像，其中多個影像於時間上連續；依據第一卷積神經網路運算模型以取得多個影像的多個特徵向量；以及依據多個特徵向量以及長短期記憶時間特徵萃取模型以判定與多個影像相對應的車燈組合。

Description

車燈狀態分析方法、車燈狀態分析系統 及非暫態電腦可讀取媒體
本案是有關於一種車燈狀態分析方法、車燈狀態分析系統及非暫態電腦可讀取媒體，且特別是有關於卷積神經網路運算模型與長短期記憶時間特徵萃取模型的車燈狀態分析方法、車燈狀態分析系統及非暫態電腦可讀取媒體。
現有的車燈偵測與辨識技術容易受到光影氣候環境影響而不穩定，其辨識成功率較低。此外，現有的車燈偵測與辨識技術無法使用同一流程處理日夜間車燈辨識，且須因應日夜間環境設定多重參數門檻值於車燈辨識，設計上的複雜度很高。
本案之一態樣是在提供一種車燈狀態分析方 法。此車燈狀態分析方法包含以下步驟取得多個影像，其中多個影像於時間上連續；依據第一卷積神經網路運算模型以取得多個影像的多個特徵向量；以及依據多個特徵向量以及長短期記憶時間特徵萃取模型以判定與多個影像相對應的車燈組合。
本案之另一態樣是在提供一種車燈狀態分析系統。此車燈狀態分析系統包含儲存裝置以及處理器。儲存裝置用以儲存第一卷積神經網路運算模型、第二卷積神經網路運算模型以及長短期記憶時間特徵萃取模型。處理器與儲存裝置電性連接。處理器用以取得多個影像的多個感興趣區域，依據第一卷積神經網路運算模型以取得多個影像的多個特徵向量，以及依據多個特徵向量以及長短期記憶時間特徵萃取模型以判定與多個影像相對應的車燈組合。
本案之另一態樣是在提供一種非暫態電腦可讀取媒體，包含至少一指令程序，由處理器執行至少一指令程序以實行車燈狀態分析方法。車燈狀態分析方法包含：取得多個影像的多個感興趣區域；依據第一卷積神經網路運算模型以取得多個影像的多個特徵向量；以及依據多個特徵向量以及長短期記憶時間特徵萃取模型以判定與多個影像相對應的車燈組合。
因此，根據本案之技術態樣，本案之實施例藉由提供一種車燈狀態分析方法、車燈狀態分析系統及非暫態電腦可讀取媒體，利用卷積神經網路運算模型與長短期記憶時間特徵萃取模型，相較於現有技術，無須設定多重參數門檻值， 並可適應於各種天候的情況。
100‧‧‧車燈狀態分析系統
110‧‧‧儲存裝置
130‧‧‧處理器
DB1至DB4‧‧‧模型
V‧‧‧影像
C1至C5‧‧‧卷積層
P1至P4‧‧‧池化層
FC1、FC2‧‧‧全連接網路層
Output‧‧‧輸出特徵向量
xt-1、xt、xt+1‧‧‧特徵向量
ct-1、ct、ct+1‧‧‧記憶特徵
ft-1、ft、ft+1‧‧‧空間狀態特徵
ht-1、ht、ht+1‧‧‧時間特徵向量
200‧‧‧車燈狀態分析方法
S210至S250‧‧‧步驟
為讓本發明之上述和其他目的、特徵、優點與實施例能更明顯易懂，所附圖式之說明如下：第1圖係根據本案之一些實施例所繪示之一種車燈狀態分析系統的示意圖；第2圖係根據本案之一些實施例所繪示之一種車燈狀態組合的表；第3圖係根據本案之一些實施例所繪示之一種車燈狀態分析方法的流程圖；第4圖係根據本案之一些實施例所繪示之第一卷積神經網路運算模型的示意圖；以及第5圖係根據本案之一些實施例所繪示之長短期記憶時間特徵萃取模型的示意圖。
以下揭示提供許多不同實施例或例證用以實施本發明的不同特徵。特殊例證中的元件及配置在以下討論中被用來簡化本揭示。所討論的任何例證只用來作為解說的用途，並不會以任何方式限制本發明或其例證之範圍和意義。此外，本揭示在不同例證中可能重複引用數字符號且/或字母，這些重複皆為了簡化及闡述，其本身並未指定以下討論中不同實施例且/或配置之間的關係。
請參閱第1圖。第1圖係根據本案之一些實施例所繪示之一種車燈狀態分析系統100的示意圖。如第1圖所繪示，車燈狀態分析系統100包含儲存裝置110以及處理器130。處理器130電性連接至儲存裝置110。儲存裝置110用以儲存第一卷積神經網路運算模型DB1、第二卷積神經網路運算模型DB2、長短期記憶時間特徵萃取模型DB3以及物件追蹤模型DB4。
於本發明各實施例中，處理器130可以實施為積體電路如微控制單元(microcontroller)、微處理器(microprocessor)、數位訊號處理器(digital signal processor)、特殊應用積體電路(application specific integrated circuit，ASIC)、邏輯電路或其他類似元件或上述元件的組合。儲存裝置110可以實施為記憶體、硬碟、隨身碟、記憶卡等。關於車燈狀態分析系統100的詳細操作方式將於以下參照第2圖至第5圖一併說明。
請參閱第2圖。第2圖係根據本案之一些實施例所繪示之一種車燈狀態組合的表。於部分實施例中，第二卷積神經網路運算模型DB2係為依據分類至多個組合的多張影像所建立之模型。舉例而言，如第2圖所示，車燈狀包含十六種組合G1至G16。組合G1至G16分別依據被分類至該群組的多張影像進行深度學習，以優化第二卷積神經網路運算模型DB2。如第2圖所示之車燈狀態組合G1至G16僅作為例示說明之用，本案之實施方式不以此為限。
請參閱第3圖。第3圖係根據本案之一些實施例 所繪示之一種車燈狀態分析方法300的流程圖。於一些實施例中，車燈狀態分析方法300包含步驟S210至S250。
於步驟S210中，取得多個影像，其中多個影像於時間上連續。於部分實施例中，步驟S210可由影像擷取裝置、攝影機等輸入輸出裝置(未繪示)取得。此時，n=0。n係為一變數，用以紀錄已進行步驟S215至S245的影像張數。於部分實施例中，車燈狀態分析方法300依據M張影像以判定車燈狀態係屬於組合G1至G16中的哪一個。舉例而言，M可為150，即燈狀態分析方法300依據150張影像以判定車燈狀態係屬於組合G1至G16中的哪一個，然本案不以此為限。
於步驟S215中，由影像取得物件。於部分實施例中，步驟S215可由第1圖中的處理器130執行。舉例而言，處理器130執行儲存於儲存裝置110中的物件辨識模組(未繪示)以取得影像中的物件。於部分實施例中，若處理器130可由影像取得物件後，處理器130執行步驟S220。而若是處理器無法由影像取得物件，處理器繼續執行步驟S215直到可由影像取得物件。詳細而言，若是處理器130由第一張影像無法取得物件，處理器繼續執行步驟S215並判斷是否能由第二張影像取得物件。而若是處理器130由第一張影像可取得物件，處理器接著執行步驟S220。
於步驟S220中，判斷物件是否為已偵測物件。於部分實施例中，步驟S220可由第1圖中的處理器130執行。若是判定物件不為已偵測物件，執行步驟S222。若是 判定物件為已偵測物件，執行步驟S224。於部分實施例中，儲存裝置110中儲存有變數(未繪示)，用以紀錄物件是否為已偵測物件，以供處理器130判斷物件是否為已偵測物件。舉例而言，當變數為真(True)時，判定為已偵測物件。當變數為假(False)時，判定不為已偵測物件。
於步驟S222中，依據影像與第二卷積神經網路運算模型以取得感興趣區域。於部分實施例中，步驟S222可由第1圖中的處理器130執行。第二卷積神經網路運算模型DB2可為YOLOv3、SSD、MobileNetv2等，但本案不以上述為限。
於步驟S224中，依據影像與物件追蹤模型以取得感興趣區域。於部分實施例中，步驟S224可由第1圖中的處理器130執行。物件追蹤模型DB4可為MDNet、TLD等模型，但本案不以上述為限。
由於物件追蹤模型DB4的計算成本相較於第二卷積神經網路運算模型DB2的計算成本來的低，透過判定是否為已偵測物件並依據判定的結果選擇以物件追蹤模型DB4或第二卷積神經網路運算模型DB2取得影像的感興趣區域，以降低整體的計算成本。
於步驟S230中，依據第一卷積神經網路運算模型與感興趣區域以取得影像的特徵向量。於部分實施例中，步驟S230可由第1圖中的處理器130執行。
請一併參閱第4圖。第4圖係根據本案之一些實施例所繪示之第一卷積神經網路運算模型DB1的示意圖。如 第4圖所繪示，第一卷積神經網路運算模型DB1包含十層子運算模型，係為輕量的卷積神經網路運算模型。詳細而言，卷積神經網路運算模型DB1的十層子運算模型依序包含卷積層C1、C2、池化層P1、卷積層C3、池化層P2、卷積層C4、池化層P3、卷積層C5、池化層P4以及全連接網路層FC1。各個子運算模型上所述之數字係代表各個子運算模型的維度。
於部分實施例中，影像V經由卷積神經網路運算模型DB1的十層子運算模型後，於全連接網路層FC1會產生長度為4096的特徵向量，用以表示影像V空間能量的狀態。
請回頭參閱第3圖。於步驟S240中，依據特徵向量以及長短期記憶時間特徵萃取模型以產生時間特徵向量，並將n加1。於部分實施例中，步驟S240可由第1圖中的處理器130執行。
請一併參閱第5圖。第5圖係根據本案之一些實施例所繪示之長短期記憶時間特徵萃取模型DB3的示意圖。xt-1、xt、xt+1係為卷積神經網路運算模型DB1所產生的特徵向量。ct-1、ct、ct+1係為長短期記憶時間特徵萃取模型DB3依據各個影像所產生的記憶特徵。ft-1、ft、ft+1係為長短期記憶時間特徵萃取模型DB3依據各個影像所產生的空間狀態特徵。ht-1、ht、ht+1係為長短期記憶時間特徵萃取模型DB3依據各個影像的特徵向量、各個影像的前一張影像的空間狀態特徵、各個影像的前一張影像的記憶特徵 所產生的時間特徵向量。
請回頭參閱第3圖。於步驟S245中，判斷n是否=M。於部分實施例中，步驟S245可由第1圖中的處理器130執行。當n等於M時，表示有M張影像已執行步驟S215至S245，執行步驟S250。當n不等於M時，表示尚未有M張影像已執行步驟S215至S245，執行步驟S215以取得下一張影像的物件。
於步驟S250中，判定與多個影像相對應的車燈組合。於部分實施例中，步驟S250可由第1圖中的處理器130執行。
請一併參閱第5圖。當M張影像均已執行步驟S215至S245後，長短期記憶時間特徵萃取模型DB3產生長度為512的輸出特徵向量Output，長短期記憶時間特徵萃取模型DB3的全連接網路層FC2產生長度為16的機率向量。
於部分實施例中，於長短期記憶時間特徵萃取模型DB3中，對機率向量進行正規化處理以產生對應於如第2圖中所繪示的多個組合G1對G16的機率。接著，於長短期記憶時間特徵萃取模型DB3中，判定多個組合G1對G16當中機率最大者為多張影像相對應的組合。
根據前述的實施例，本揭示內容之一些其他實施例提供一種非暫態電腦可讀取媒體。非暫態電腦可讀取媒體儲存電腦軟體並用以執行前述如第3圖所示之車燈狀態分析方法200。
如上所述，由於車燈的狀態係為動態的，例如 閃爍的狀態，因此無法由單一靜態的影像判定車燈的狀態。於本案的實施例中，透過卷積神經網路運算模型以及長短期記憶時間特徵萃取模型，以依據多張時間上連續的影像中的空間能量特徵判定車燈的狀態。透過神經網路學習以及長短期記憶時間特徵萃取模型的判斷，本案之實施例相較於現有技術，無須設定多重參數門檻值，並可適應於各種天候的情況。
另外，上述例示包含依序的示範步驟，但該些步驟不必依所顯示的順序被執行。以不同順序執行該些步驟皆在本揭示內容的考量範圍內。在本揭示內容之實施例的精神與範圍內，可視情況增加、取代、變更順序及/或省略該些步驟。
雖然本案已以實施方式揭示如上，然其並非用以限定本案，任何熟習此技藝者，在不脫離本案之精神和範圍內，當可作各種之更動與潤飾，因此本案之保護範圍當視後附之申請專利範圍所界定者為準。
200‧‧‧車燈狀態分析方法
S210至S250‧‧‧步驟

Claims (7)

  1. 一種車燈狀態分析方法，包含：取得複數個影像的複數個感興趣區域，其中該些影像於時間上連續；依據一第一卷積神經網路運算模型以取得該些個感興趣區域的複數個特徵向量；以及依據該些特徵向量以及一長短期記憶時間特徵萃取模型以判定與該些影像相對應的一車燈組合，其中取得該些影像的該些感興趣區域更包含：由該些影像中的一第一影像取得一物件；判斷該物件是否為一已偵測物件；若判定該物件為該已偵測物件，依據該第一影像以及一第二卷積神經網路運算模型以取得該些感興趣區域中的一第一感興趣區域；若判定該物件不為該已偵測物件，依據該第一影像以及一物件追蹤模型以取得該些感興趣區域中的該第一感興趣區域。
  2. 如請求項1所述的車燈狀態分析方法，其中該第一卷積神經網路運算模型包含十層子運算模型。
  3. 如請求項1所述的車燈狀態分析方法，其中依據該些特徵向量以及該長短期記憶時間特徵萃取模型以判定與該些影像相對應的該車燈組合包含： 依據該些特徵向量以及該長短期記憶時間特徵萃取模型以產生一機率向量；以及依據該機率向量以判定與該些影像相對應的該車燈組合。
  4. 一種車燈狀態分析系統，包含：一儲存裝置，用以儲存一第一卷積神經網路運算模型、一第二卷積神經網路運算模型以及一長短期記憶時間特徵萃取模型；一處理器，與該儲存裝置電性連接，該處理器用以取得複數個影像的複數個感興趣區域，依據該第一卷積神經網路運算模型以取得該些個感興趣區域的複數個特徵向量，以及依據該些特徵向量以及該長短期記憶時間特徵萃取模型以判定與該些影像相對應的一車燈組合，其中該處理器更用以由該些影像中的一第一影像取得一物件，並判斷該物件是否為一已偵測物件，若判定該物件為該已偵測物件，該處理器更用以依據該第一影像以及一第二卷積神經網路運算模型以取得該些感興趣區域中的一第一感興趣區域，若判定該物件不為該已偵測物件，該處理器更用以依據該第一影像以及一物件追蹤模型以取得該些感興趣區域中的該第一感興趣區域。
  5. 如請求項4所述的車燈狀態分析系統，其中該第一卷積神經網路運算模型包含十層子運算模型。
  6. 如請求項4所述的車燈狀態分析系統，其中該處理器更用以依據該些特徵向量以及該長短期記憶時間特徵萃取模型以產生一機率向量，並依據該機率向量以判定與該些影像相對應的該車燈組合。
  7. 一種非暫態電腦可讀取媒體，包含至少一指令程序，由一處理器執行該至少一指令程序以實行一車燈狀態分析方法，該車燈狀態分析方法包含：取得複數個影像的複數個感興趣區域；依據一第一卷積神經網路運算模型以取得該些個感興趣區域的複數個特徵向量；以及依據該些特徵向量以及一長短期記憶時間特徵萃取模型以判定與該些影像相對應的一車燈組合，其中取得該些影像的該些感興趣區域更包含：由該些影像中的一第一影像取得一物件；判斷該物件是否為一已偵測物件；若判定該物件為該已偵測物件，依據該第一影像以及一第二卷積神經網路運算模型以取得該些感興趣區域中的一第一感興趣區域；若判定該物件不為該已偵測物件，依據該第一影像以及一物件追蹤模型以取得該些感興趣區域中的該第一感興趣區域。
TW107143736A 2018-12-05 2018-12-05 車燈狀態分析方法、車燈狀態分析系統及非暫態電腦可讀取媒體 TWI684920B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW107143736A TWI684920B (zh) 2018-12-05 2018-12-05 車燈狀態分析方法、車燈狀態分析系統及非暫態電腦可讀取媒體

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107143736A TWI684920B (zh) 2018-12-05 2018-12-05 車燈狀態分析方法、車燈狀態分析系統及非暫態電腦可讀取媒體

Publications (2)

Publication Number Publication Date
TWI684920B true TWI684920B (zh) 2020-02-11
TW202022689A TW202022689A (zh) 2020-06-16

Family

ID=70413568

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107143736A TWI684920B (zh) 2018-12-05 2018-12-05 車燈狀態分析方法、車燈狀態分析系統及非暫態電腦可讀取媒體

Country Status (1)

Country Link
TW (1) TWI684920B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7317406B2 (en) * 2005-02-03 2008-01-08 Toyota Technical Center Usa, Inc. Infrastructure-based collision warning using artificial intelligence
US20080294315A1 (en) * 1995-06-07 2008-11-27 Intelligent Technologies International, Inc. System and Method for Controlling Vehicle Headlights
TW201241796A (en) * 2011-04-15 2012-10-16 Hon Hai Prec Ind Co Ltd System and method for inspection of cars that violate traffic regulations using images
CN107563265A (zh) * 2016-06-30 2018-01-09 杭州海康威视数字技术股份有限公司 一种远光灯检测方法及装置
CN108052861A (zh) * 2017-11-08 2018-05-18 北京卓视智通科技有限责任公司 一种神经网络***及基于该神经网络***的车型识别方法
CN108197538A (zh) * 2017-12-21 2018-06-22 浙江银江研究院有限公司 一种基于局部特征和深度学习的卡口车辆检索***及方法
CN108647700A (zh) * 2018-04-14 2018-10-12 华中科技大学 基于深度学习的多任务车辆部件识别模型、方法和***
CN108921060A (zh) * 2018-06-20 2018-11-30 安徽金赛弗信息技术有限公司 基于深度学习的机动车未按规定使用示廓灯智能识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080294315A1 (en) * 1995-06-07 2008-11-27 Intelligent Technologies International, Inc. System and Method for Controlling Vehicle Headlights
US7317406B2 (en) * 2005-02-03 2008-01-08 Toyota Technical Center Usa, Inc. Infrastructure-based collision warning using artificial intelligence
TW201241796A (en) * 2011-04-15 2012-10-16 Hon Hai Prec Ind Co Ltd System and method for inspection of cars that violate traffic regulations using images
CN107563265A (zh) * 2016-06-30 2018-01-09 杭州海康威视数字技术股份有限公司 一种远光灯检测方法及装置
CN108052861A (zh) * 2017-11-08 2018-05-18 北京卓视智通科技有限责任公司 一种神经网络***及基于该神经网络***的车型识别方法
CN108197538A (zh) * 2017-12-21 2018-06-22 浙江银江研究院有限公司 一种基于局部特征和深度学习的卡口车辆检索***及方法
CN108647700A (zh) * 2018-04-14 2018-10-12 华中科技大学 基于深度学习的多任务车辆部件识别模型、方法和***
CN108921060A (zh) * 2018-06-20 2018-11-30 安徽金赛弗信息技术有限公司 基于深度学习的机动车未按规定使用示廓灯智能识别方法

Also Published As

Publication number Publication date
TW202022689A (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
CN112560999B (zh) 一种目标检测模型训练方法、装置、电子设备及存储介质
CN110119148B (zh) 一种六自由度姿态估计方法、装置及计算机可读存储介质
CN108197326B (zh) 一种车辆检索方法及装置、电子设备、存储介质
WO2018188270A1 (zh) 一种图像语义分割方法及装置
CN107944450B (zh) 一种车牌识别方法及装置
CN108734210B (zh) 一种基于跨模态多尺度特征融合的对象检测方法
CN110287820B (zh) 基于lrcn网络的行为识别方法、装置、设备及介质
CN110826596A (zh) 一种基于多尺度可变形卷积的语义分割方法
CN109902619B (zh) 图像闭环检测方法及***
CN111861925A (zh) 一种基于注意力机制与门控循环单元的图像去雨方法
CN112613375B (zh) 一种轮胎受损检测识别方法和设备
US10706558B2 (en) Foreground and background detection method
CA3148760C (en) Automated image retrieval with graph neural network
CN113111804B (zh) 一种人脸检测的方法、装置、电子设备及存储介质
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN111831852A (zh) 一种视频检索方法、装置、设备及存储介质
CN112949578B (zh) 车灯状态识别方法、装置、设备及存储介质
CN112733818A (zh) 基于注意力机制的车灯状态识别方法、装置、终端和介质
CN116563762A (zh) 一种油气站火灾检测方法、***、介质、设备及终端
CN117351440B (zh) 基于开放式文本检测的半监督船舶检测方法及***
TWI684920B (zh) 車燈狀態分析方法、車燈狀態分析系統及非暫態電腦可讀取媒體
CN116630367B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN112906808A (zh) 基于卷积神经网络的图像分类方法、***、装置及介质
CN112597997A (zh) 感兴趣区域确定方法、图像内容识别方法及装置
US20240070451A1 (en) System and method for universal purification of input perturbation with denoised diffiusion models