TWI712012B - 人工智慧交通偵測系統 - Google Patents

Abstract

本發明為一種人工智慧交通偵測系統，係由設置於路口的魚眼攝影機連續拍攝路口的影像，交由具有人工智慧演算法的處理器來分析所述影像，以獲得交通資訊，該交通資訊傳送至一伺服器後，伺服器依據該交通資訊來產生控制路***通號誌的時制計畫，本發明可即時且連續不間斷的提供交通資訊，有助於即時產生最適合各路***通號誌的時制計畫，進而改善交通壅塞的情形。

Description

人工智慧交通偵測系統

本發明為一種交通偵測系統，係指一種運用人工智慧偵測交通狀況的系統。

交通壅塞往往是都會區難解的問題，交通壅塞的原因除了車流量大以外，交通號誌所掌控車輛行進與停止的時間長短，也扮演著關鍵的角色。目前大多數的交通號誌均由設置於路口的交通控制器所掌控，多半以預設的時制計畫（timing plan）運行，而預設的時制計畫多半係由人員統計現場車流量後，再加以運算後得出預設時制計畫。

然而，由人力統計車流量，不但費時費力，也會因人員的疏忽而有誤差，且也難以進行長時間不間斷的統計。再者，也因為無法隨時配置人力進行現場監控，故無法隨著路口狀況即時調整交通號誌的時制。因此，現有技術確有其缺陷。

有鑑於此，本發明係針對現有技術中的缺點進行改良研發，能夠即時偵測路***通狀況，有助於即時調整交通號誌的時制。

為達到上述之發明目的，本發明所採用的技術手段為提供一種人工智慧交通偵測系統，其中包括： 一魚眼攝影機，用於拍攝多張路口連續的影像； 一具有人工智慧演算法的處理器，接收所述多張連續的影像，該處理器藉由該人工智慧演算法分析所述多張連續的影像，獲得一交通資訊，該交通資訊包括在直行及轉彎等不同的行進方向上的各種車輛的數量；以及 一通訊裝置，耦接該處理器，用以傳送該交通資訊。

本發明的優點在於，可實現長時間監控且收集到準確的車流資訊，以實現即時調整交通號誌的控制，改善交通雍塞的情況。

以下配合圖式及本發明之實施例，進一步闡述本發明為達成預定發明目的所採取的技術手段。

請參閱圖1所示，本發明之人工智慧交通偵測系統P包含有一魚眼攝影機10、一具有人工智慧演算法的處理器20以及一通訊裝置30。該人工智慧交通偵測系統P是用來偵測一路口的交通狀況，並且產生一交通資訊。該人工智慧交通偵測系統P將該交通資訊傳送給遠端的伺服器40，伺服器40根據該交通資訊產生交通號誌60的時制計畫（timing plan），並且可將該時制計畫傳送給控制該交通號誌60運作的交通號誌控制器50。

魚眼攝影機10具有廣角的鏡頭，用以拍攝多張連續的影像。魚眼攝影機10可以設置於路口上方，以拍攝俯視影像。在圖2的實施例中，魚眼攝影機10架設在路口的交通號誌60的燈架70上，但並不以此為限。處理器20及該通訊裝置30係放置在一機箱200裡面，機箱200的外殼可以保護處理器20及通訊裝置30不會淋到雨或遭到人為的破壞。在圖2的實施例中，機箱200係設置在燈架70上，但並不以此為限。在一實施例中，魚眼攝影機10為一360度全景魚眼攝影機，具有500萬或者更高的畫素，能夠拍攝在路口左轉、直行或右轉的各種車輛，例如摩托車、三輪車、小客車、大客車、大貨車、聯結車等等兩輪以上的車輛。在其他實施例中，魚眼攝影機10亦可以是設置在路口其他適合的支架上，例如路標的支架，容納處理器20與通訊裝置30的機箱200則是設置於該支架上。

處理器20可以是NVIDIA公司所開發的 JETSON TX2平台或其他的人工智慧平台，Jetson TX2 是一款人工智慧超級電腦模組，採用 NVIDIA Pascal 架構，支援人工智慧的運算處理。處理器20耦接魚眼攝影機10，具有人工智慧，用以接收魚眼攝影機10所拍攝之多張連續的影像。在一實施例中，魚眼攝影機10藉由一網路線（例如RJ45）連接處理器20，魚眼攝影機10經由該網路線傳送影像給處理器20。該處理器20利用人工智慧演算法，從所述多張連續的影像中識別出不同種類的車輛以及其行進方向，以獲得一交通資訊。該交通資訊中可包含直行及轉彎的多種車輛的數量等。舉例而言，圖3的示意圖包括8個路口1~8，處理器20所產出的交通資訊係如每個路口所標示的表格，每一組交通資訊提供三個行進方向的車輛種類及數量。圖3中以A代表大客車、大貨車等大型車輛、以B代表休旅車、小客車等中型車輛、以C代表機車等小型車輛，例如交通資訊T₁ 顯示，從由南向北的路口1共有51台車通過，其中右轉離開並進入路口5的大型車輛有1台、中型車輛有4台、小型車輛有10台，直行離開並進入路口3的大型車輛有3台、中型車輛有20台、小型車輛有6台，左轉離開並進入路口8的大型車輛有2台、中型車輛有5台、小型車輛有0台，交通資訊T₂ 則顯示，在由南向北的路口3，共有47台車通過，其中從路口7左轉進入的大型車輛有0台、中型車輛有8台、小型車輛有0台，從路口1直行進入的大型車輛有3台、中型車輛有20台、小型車輛有6台，從路口6右轉進入的大型車輛有0台、中型車輛有2台、小型車輛有8台，依此類推可得之該路口的交通資訊。在其他實施例中，該處理器20從魚眼攝影機10所識別出的車輛，包括兩輪以上的車輛，例如摩托車、三輪車、小客車、大客車、貨車、聯結車…等等。

魚眼攝影機10與處理器20可以裝設在每一個路口，也可以是只裝設在路口1、4、6與7。如圖所示，例如路口3的交通資訊T₂ ，其實可以根據路口7、1與6的交通資訊來獲得，因此，省略路口3的魚眼攝影機10與處理器20亦是可行的，以此類推則路口2、5、8之魚眼攝影機10亦可被省略。如果是在較小型的十字或T字路口，架設一隻360度全景魚眼攝影機10以及一處理器20，便可能足已拍攝到所有路口的交通影像，並產生各方向的交通資訊。在一實施例中，多個處理器20可以共用一個通訊裝置，以節省成本。在其他的實施例中，處理器20產生的交通資訊可以包括更多的內容，例如車行速度，每單位時間（例如小時或分鐘）的車流量等等。

在圖1所示的實施例中，處理器20包含一即時串流協定（Real Time Streaming Protocol, RTSP）影像解碼器21、一人工智慧判斷單元22及一儲存裝置23。即時串流協定影像解碼器21耦接儲存裝置23與人工智慧判斷單元22。即時串流協定影像解碼器21的輸入端耦接魚眼攝影機10的輸出，用以接收及解碼魚眼攝影機10拍攝的多張連續影像，並將解碼後的影像資料傳送至該人工智慧判斷單元22。

人工智慧判斷單元22包括人工智慧演算法及車輛資料庫，用以對多張連續的影像進行分析，以產生交通資訊。車輛資料庫是來自機器學習的結果，其中包括各種車輛的特徵資訊，該人工智慧演算法將影像中的車輛物件與車輛資料庫的特徵資訊進行比對，以識別出車輛的種類。在一實施例中，每一種車輛對應多筆的特徵資訊，這多筆的特徵資訊分別對應不同程度的魚眼變形（fisheye distortion）的車輛圖像。舉例來說，為了進行機器學習，需在各式路口（例如三叉路口、十字路口），各種天候情境（例如白天、晚上、睛天、陰天、雨天）下拍攝大量的連續的路口影像，這些路口影像是以上述之魚眼攝影機10所拍攝的魚眼影像。從這些魚眼影像中，各個車輛在各個位置的影像被用來進行機器學習以萃取出特徵資訊。在一實施例中，以這些魚眼影像進行機器學習的過程並不把魚眼影像或者魚眼影像中扭曲變形的車輛圖像進行還原或變形校正，因此這些魚眼影像中，所有因魚眼鏡頭而扭曲變形的車輛圖像都會被用於機器學習以萃取出特徵資訊。每一種車輛會對應到多筆的特徵資訊，而且每一筆特徵資訊對應的車輛圖像具有不同程度的扭曲變形。從這些扭曲變形的車輛圖像分別萃取出特徵資訊，有利於將來能迅速的從拍攝到的魚眼影像中直接識別出車輛。

在收到魚眼攝影機10傳來的影像之後，人工智慧判斷單元22藉由人工智慧演算法從該影像中找到所有像車子的物件，並且與車輛資料庫裡的特徵資訊進行比對，以識別出該影像中的所有車輛。在一實施例中，當人工智慧判斷單元從魚眼圖像識別出一車輛時，即給予該車輛一標示，例如圖4所示的一識別框80包括該車輛。藉由該標示及多張連續的魚眼影像，該人工智慧判斷單元22可以追蹤該車輛是直行，左轉或右轉。

人工智慧判斷單元22藉由人工智慧演算法識別影像中的車輛種類（例如摩托車、三輪車、小客車、大客車、貨車、聯結車等等）及識別各種車輛的行進方向（例如左轉，右轉，直行）。根據識別的結果，該人工智慧判斷單元22分別統計各種車輛在各個行進方向的車輛數目，以產出交通資訊。在其他實施例中，根據魚眼攝影機10的幀率（frame rate）（每秒拍攝幾張），該人工智慧判斷單元22更可以計算車行速度、單位時間的車流量，路口占有率等等的資料，並整合到交通資訊中 。

舉例來說，車行速度的計算方式，可以是在魚眼攝影機10拍攝的魚眼影像中預設一測距範圍，該測距範圍的長度為M個像素，該M個像素的長度對應到實際的道路距離N，藉由追蹤車輛物件，並計算經過多少張連續的魚眼影像，影像中的車輛物件的位置通過該測距範圍，即可計算出車行速度，例如，在60張連續的魚眼影像中，一車輛物件的位置移動了該測距範圍，該測距範圍對應的實際道路距離為20公尺，該魚眼攝影機10的幀率（frame rate）為每秒30張影像，換言之，一車輛物件移動該測距範圍的時間為2秒（60/30）。則將距離20公尺除以行駛時間2秒，即可獲得該車輛物件的車行速度為10公尺/秒。單位時間的車流量可以是根據處理器統計每20秒鐘通過該路口的車輛總數來計算。路口佔有率（Occupancy）是用來評估是否塞車的一項資訊，路口佔有率的計算可以是在魚眼攝影機10拍攝的路口影像中預設一監視區域，該監視區域可以是對應例如十字路口中央的一塊區域。藉由計算在一分鐘的影像中，有多少張影像的監視區域有包括車輛物件，可以計算出路口佔有率。舉例來說，該魚眼攝影機10的幀率（frame rate）為每秒30張影像，1分鐘即為1800張影像，如果1800張連續的影像中，有180張影像的監視區域有包括車輛物件，則路口佔有率為監視區域有包括車輛物件的影像張數180除以1分鐘魚眼攝影機10產出的影像張數1800，等於10/100。路口占有率可以被伺服器40用來作為評估交通雍塞的資訊之一。舉例來說，當路口佔有率達到一門檻值（例如100/100），即表示該十字路口的中央區域持續有車子在通過，可能已經發生塞車的情況，則伺服器40可以據該路口佔有率即時調整該十字路口的各個交通號誌的時間控制，以維持各方向的交通順暢。

儲存裝置23係用以暫存人工智慧判斷單元22產出的交通資訊。在一實施例中，該儲存裝置23更儲存必要的影像及歷史交通資訊。儲存裝置23可以是例如硬碟、SSD硬碟等儲存媒體。

通訊裝置30耦接於處理器20，用以傳送處理器20產生的交通資訊。在一實施例中，處理器20包括一網路介面（圖中未示出）耦接通訊裝置30，通訊裝置30與該網路介面之間以網路線（例如RJ45網路線）相連接。儲存裝置23中暫存的交通資訊經由該網路介面傳送至通訊裝置30。通訊裝置30可透過有線網路或無線網路與該伺服器40通訊，以傳送該交通資訊。在一實施例中，通訊裝置30為一路由器（router）。

伺服器40接收通訊裝置30傳來的交通資訊，並且根據該交通資訊產生一用於交通號誌60的時制計畫（timing plan），伺服器40可以是交通單位既有或新設的系統。交通號誌60是由交通號誌控制器50控制，伺服器40可藉由有線網路或無線網路將時制計畫傳送給交通號誌控制器50，交通號誌控制器50接收該時制計畫之後，即根據該時制計畫控制交通號誌60。在一實施例中，該時制計畫係包含對交通號誌60的時間控制，例如直行綠燈的秒數、右轉綠燈的秒數、左轉綠燈的秒數、紅燈的秒數、黃燈的秒數等等。

從以上說明可以了解，本發明之人工智慧交通偵測系統P是用魚眼攝影機10監控路口的影像加上人工智慧影像分析，可以產出大數據，而且可以判斷轉向（例如左轉或右轉）的車流以及識別出機車（這是目前使用雷達偵測無法作到的功能）。

上述實施例的一項優點在於，魚眼攝影機10所拍到的影像是由位於魚眼攝影機10近端的處理器10分析，通訊裝置30只傳送處理器20產生的交通資訊給遠端的伺服器40，該交通資訊的資料量較少，因此對於通訊裝置30之伺服器40之間的網路的頻寬要求較低，有助於減少建置網路的成本，提高資料傳輸的可靠性及速度，有利於即時地進行時制計畫的調整。如果是將魚眼攝影機10的影像傳到雲端的伺服器處理，將會需要相當大的網路頻寬，除了會增加建置網路的成本，也可能因為網路壅塞而導致影像傳送失敗。

在圖5的示意圖中，多個路口的處理器20共用一通訊裝置30。在圖5中，路口A、B與C分別設有一交通號誌60，一魚眼攝影機10以及一處理器30。路口A、B與C可以是一條道路上的三個路口，這三個路口的處理器30都連接到一通訊裝置30。這三個處理器20所產生的交通資訊，由通訊裝置30傳送給遠端的交通單位既有或新設的伺服器40，伺服器40依據所獲得各路口的交通資訊，規劃出各路***通號誌60最佳的時制計畫，並且可將該時制計畫傳送給交通號誌控制器50，以控制各路口A、B與C的交通號誌60。為了改善一區域或一整條道路的交通，必須綜合考量多個路口的車流情況，圖4所示的架構係根據多個相關路口的車流，來規畫各路口的交通號誌之時制，能夠使整體的車流速度最佳化。

從以上說明可以了解，根據本發明之人工智慧交通偵測系統P可以即時的反映不同交通時段的車流情形，有助於優化交通單位既有交通號誌60的控制，使車流速度最佳化。舉例來說，當處理器20產出的交通資訊顯示東西向道路的車流量少，南北向車流大時，伺服器40即可以自動縮短東西向的綠燈時間，延長南北向道路的綠燈時間來疏解塞車問題。另一方面，透過長期收集的交通資訊可以對交通壅塞的成因進行分析，有助於交通管理調度及相關決策，建立整體宏觀的交通規劃。

本發明的特點之一，在於應用了人工智慧來識別車輛，不僅準確率高，而且連機車這種體積較小的兩輪車輛，也都能夠準確的辨識出來。如果是以電腦影像分析的方式從路口影像找出車輛物件，容易因天候，光線，而降低車輛識別的準確性，效果明顯會比本發明差。

以上所述僅是本發明的實施例而已，並非對本發明做任何形式上的限制，雖然本發明已以實施例揭露如上，然而並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明技術方案的範圍內，當可利用上述揭示的技術內容作出些許更動或修飾為等同變化的等效實施例，但凡是未脫離本發明技術方案的內容，依據本發明的技術實質對以上實施例所作的任何簡單修改、等同變化與修飾，均仍屬於本發明技術方案的範圍內。

P‧‧‧人工智慧交通偵測系統10‧‧‧魚眼攝影機20‧‧‧處理器21‧‧‧即時串流協定影像解碼器22‧‧‧人工智慧判斷單元23‧‧‧儲存裝置30‧‧‧通訊裝置40‧‧‧伺服器50‧‧‧交通號誌控制器60‧‧‧交通號誌70‧‧‧燈架80‧‧‧識別框100‧‧‧影像200‧‧‧機箱1、2、3、4、5、6、7、8‧‧‧路口T₁、T₂‧‧‧交通資訊

圖1說明本發明一實施例。 圖2的示意圖說明本發明各個元件的裝設位置。 圖3為本發明之交通資訊示意圖。 圖4的示意圖說明本發明可在影像中標示車輛。 圖5為本發明應用在多個路口的示意圖。

P‧‧‧人工智慧交通偵測系統

10‧‧‧魚眼攝影機

20‧‧‧處理器

21‧‧‧即時串流協定影像解碼器

22‧‧‧人工智慧判斷單元

23‧‧‧儲存裝置

30‧‧‧通訊裝置

40‧‧‧伺服器

50‧‧‧交通號誌控制器

60‧‧‧交通號誌

Claims (15)

1. 一種人工智慧交通偵測系統，其中包括：一魚眼攝影機，用於拍攝路口多張連續的影像；一具有人工智慧演算法的處理器，接收所述多張連續的影像，該處理器藉由該人工智慧演算法從所述多張連續的影像中識別出不同種類的車輛以及其行進方向，以獲得一交通資訊，該交通資訊包括直行的多種車輛的數量及轉彎的多種車輛的數量；以及一通訊裝置，耦接該處理器，用以傳送該交通資訊；其中，該直行的多種車輛的數量及該轉彎的多種車輛的數量，並非經由識別在多個方向車道上的車輛所獲得的數量。
2. 如請求項1所述之人工智慧交通偵測系統，其中所述魚眼攝影機為360度全景魚眼攝影機。
3. 如請求項2所述之人工智慧交通偵測系統，其中所述魚眼攝影機設於一路口之上方，以拍攝俯視影像。
4. 如請求項1所述之人工智慧交通偵測系統，其中該處理器包含：一即時串流協定影像解碼器，接收及解碼所述多張連續的影像；一人工智慧判斷單元，耦接該即時串流協定影像解碼器，該人工智慧判斷單元接收該解碼後的多張連續的影像，並利用該人工智慧演算法分析該解碼後的多張連續的影像，以識別出多種不同的車輛及其行進方向，並統計不同車輛在不同行進方向的數量，以產生該交通資訊。
5. 如請求項4所述之人工智慧交通偵測系統，其中該處理器中包含有一儲存裝置，用以暫存該交通資訊。
6. 如請求項1所述之人工智慧交通偵測系統，其中該魚眼攝影機係設置於一交通號誌的燈架上、或設置於該路口其他支架上。
7. 如請求項6所述之人工智慧交通偵測系統，其中該處理器與該通訊裝置係設置於該燈架或該支架上的一個機箱內。
8. 如請求項1所述之人工智慧交通偵測系統，其中該通訊裝置係以無線或有線網路傳送該交通資訊給一伺服器。
9. 如請求項1所述之人工智慧交通偵測系統，其中該處理器更以一識別框標示所識別出的車輛。
10. 如請求項1所述之人工智慧交通偵測系統，其中該交通資訊更包括車行速度、單位時間的車流量以及路口占有率的至少其中之一。
11. 如請求項1所述之人工智慧交通偵測系統，其中該處理器從所述多張連續的影像中所識別出的車輛，包括摩托車或三輪車。
12. 如請求項1所述之人工智慧交通偵測系統，其中該處理器係根據該魚眼攝影機所拍攝到的魚眼影像進行車輛的識別，並不把該魚眼影像或該魚眼影像中的車輛物件進行變形校正。
13. 如請求項1所述之人工智慧交通偵測系統，其中該魚眼攝影機藉由一網路線連接該處理器。
14. 如請求項4所述之人工智慧交通偵測系統，其中該人工智慧判斷單元包括該人工智慧演算法與一車輛資料庫，該車輛資料庫包括各種車輛的特徵資訊，供該人工智慧演算法比對該影像中的車輛物件。
15. 如請求項14所述之人工智慧交通偵測系統，其中在該車輛資料庫中，每一種車輛對應多筆的該特徵資訊，該多筆的該特徵資訊分別對應不同程度的魚眼變形的車輛圖像。

Images