TWI679886B - 一種影像分析系統與方法 - Google Patents

一種影像分析系統與方法 Download PDF

Info

Publication number
TWI679886B
TWI679886B TW106144368A TW106144368A TWI679886B TW I679886 B TWI679886 B TW I679886B TW 106144368 A TW106144368 A TW 106144368A TW 106144368 A TW106144368 A TW 106144368A TW I679886 B TWI679886 B TW I679886B
Authority
TW
Taiwan
Prior art keywords
image
image analysis
time
algorithm
streams
Prior art date
Application number
TW106144368A
Other languages
English (en)
Other versions
TW201929552A (zh
Inventor
寇世斌
Sih-Ping Koh
許諾白
Nuo Pai Hsu
Original Assignee
大猩猩科技股份有限公司
Gorilla Technology Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大猩猩科技股份有限公司, Gorilla Technology Inc. filed Critical 大猩猩科技股份有限公司
Priority to TW106144368A priority Critical patent/TWI679886B/zh
Priority to US16/167,558 priority patent/US20190188042A1/en
Publication of TW201929552A publication Critical patent/TW201929552A/zh
Application granted granted Critical
Publication of TWI679886B publication Critical patent/TWI679886B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/48—Indexing scheme relating to G06F9/48
    • G06F2209/483—Multiproc
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/509—Offload

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本發明揭露一種影像分析系統，該影像分析系統能夠根據不同之影像串流之時段性來排程多個不同之影像串流在不同之多個時段來分別執行該多個不同之影像串流之線上即時影像分析，以充分利用影像分析系統之有限的資源。

Description

一種影像分析系統與方法
本發明係有關影像分析系統與方法，特別是一種即時影像分析的系統與方法。
現行的影像分析系統，通常為針對特定分析功能而設計，且受限於影像分析需要大量運算效能之硬體限制，只能分析少量的影像內容，無法做到彈性分配與有效運用硬體效能。而現行的錄影主機，仍專注於影像的儲存與回調，就算有附加影像分析功能，也缺乏系統配套，難以有效應用。因此，業界需要一個能彈性分配與有效運用硬體效能之影像分析系統。
本發明之一目的是提供一種影像分析系統，該影像分析模組能夠根據不同之影像串流之時段性來排程多個不同之影像串流在不同之多個時段來分別執行該多個不同之影像串流之線上即時影像分析，以充分利用影像分析系統之影像分析模組之有限的資源，該影像分析模組之資源有限無法同時來執行所有之該多個影像串流之線上即時影像分析。
本發明之一目的是提供一種影像分析方法，該影像分析方法能夠根據不同之影像串流之時段性來排程多個不同之影像串流在不同之多個時段來分別執行該多個不同之影像串流之線上即時影像分析，以充分利用影像分析系統之有限的資源。
本發明的一實施例中提出一種影像分析系統，包含：一影像接收模組，用以輸入多個影像串流；一錄影模組，用以儲存影像串流；一影像分析模組，用以分析影像串流；以及一排程模組，用以根據使用者之選擇與該影像分析模組之資源，將該被輸入之多個影像串流中之每一影像串流安排在使用者所選擇之時段來執行線上即時影像分析或使用該錄影模組先行儲存該影像串流以供該影像分析模組後續來執行離線非即時影像分析之用，以使該影像分析模組能夠在不同之時段分別針對不同之被輸入之影像串流來執行線上即時影像分析，其中該影像分析模組之資源有限無法同時來執行所有該被輸入之多個影像串流之線上即時影像分析。
在一實施例中，該影像分析模組之資源包括至少一處理器(CPU)。
在一實施例中，該影像分析模組之資源包括至少一CPU與至少一影像處理器(GPU) 或一影像處理硬體加速器。
在一實施例中，該影像分析模組之資源包括至少一CPU與至少一影像處理硬體加速器。
在一實施例中，該排程模組在安排好不同時段來執行不同之影像串流之即時影像分析後，使用未用完的資源及時段來排程其他之影像串流之非即時影像分析。
在一實施例中，該影像分析模組包括分析影像串流之一演算法，該影像分析模組將該演算法之工作區分為多個層級，以使該影像分析模組針對所述其他之影像串流之一第三影像串流，只即時執行該第三影像串流相對應之演算法之較底層之工作，並將該相對應之演算法之較底層之工作的結果先暫存下來，再依照該第三影像串流之離線排程來執行該第三影像串流相對應之演算法之較高層的工作。
在一實施例中，該影像分析模組包括分析影像串流之一演算法，該影像分析模組將該演算法之工作區分為多個層級，其中，該排程模組將所述其他之影像串流之不同之多個影像串流共用之該演算法之較低階層的工作安排在同一個時段來處理並將其結果先暫存下來，等到影像分析模組之資源空出時再執行該演算法之較高階層的工作。
在一實施例中，該演算法之最底層之工作是物件之移動偵測，再上一層之工作是物件之辨識，更上一層之工作是物件之行為分析。
本發明的一實施例中提出一種影像分析方法，包含：根據使用者之選擇，將多個輸入影像串流之至少一第一輸入影像串流安排在一第一時段來執行線上即時影像分析；以及根據使用者之選擇，將該多個輸入影像串流之至少一第二輸入影像串流安排在一第二時段來執行線上即時影像分析，其中影像分析之資源有限無法同時來執行所有該多個輸入影像串流之線上即時影像分析。
在一實施例中，如果一第三輸入影像串流因影像分析之資源有限無法被安排在使用者所選擇之時段來執行線上即時影像分析，該第三輸入影像串流將先被儲存以供後續離線非即時影像分析之用。
在一實施例中，在安排好不同時段來執行不同之影像串流之即時影像分析後，使用未用完的資源及時段來排程其他之影像串流之非即時影像分析。
在一實施例中，影像分析包括分析影像串流之一演算法，該演算法之工作區分為多個層級，其中，針對所述其他之影像串流之一第三影像串流，只即時執行該第三影像串流相對應之演算法之較底層之工作，並將該相對應之演算法之較底層之工作的結果先暫存下來，再依照該第三影像串流之離線排程來執行該第三影像串流相對應之演算法之較高層的工作。
在一實施例中，該演算法之最底層之工作是物件之移動偵測，再上一層之工作是物件之辨識，更上一層之工作是物件之行為的分析。
在一實施例中，該影像分析模組包括分析影像串流之一演算法，該影像分析模組將該演算法之工作區分為多個層級，其中，該排程模組將不同之多個影像串流共用之該演算法之較低階層的工作安排在同一個時段來處理並將其結果先暫存下來，等到影像分析模組之資源空出時再執行該演算法之較高階層的工作。
有關本發明之前述及其他技術內容、特點與功效，在以下配合參考圖式之較佳實施例的詳細說明中，將可清楚的呈現。然而，要說明的是，以下實施例並非用以限定本發明。
本發明之影像分析系統能夠根據不同之影像串流之時段性來排程多個不同之影像串流在不同之多個時段來分別執行該多個不同之影像串流之線上即時影像分析，以充分利用影像分析系統之影像分析模組之有限的資源，該影像分析模組之資源有限無法同時來執行所有之該多個影像串流之線上即時影像分析。請參閱圖1，所述影像分析系統，包含：一影像接收模組22，用以輸入多個影像串流10；一錄影模組24，用以儲存影像串流；一影像分析模組23，用以分析影像串流；以及一排程模組21，用以根據使用者之選擇與該影像分析模組之資源，將該被輸入之多個影像串流中之每一影像串流安排在使用者所選擇之時段來執行線上即時影像分析或使用該錄影模組先行儲存該影像串流以供該影像分析模組後續來執行離線非即時影像分析之用，以使該影像分析模組能夠在不同之時段分別針對不同之被輸入之影像串流來執行線上即時影像分析，其中該影像分析模組之資源有限無法同時來執行所有該被輸入之多個影像串流之線上即時影像分析。線上即時影像分析適用於需即時得到分析結果，以反應狀態或告警的任務。
在一實施例中，請參閱圖1，控制伺服器31，用於通過用戶端介面40以轉發用戶50的指令以及系統資訊。
在一實施例中，請參閱圖1，媒體伺服器32，用於串流即時影像與分析結果之數據。
在一實施例中，請參閱圖1，事件伺服器33，用於儲存、查詢與推送分析事件。
在一實施例中，不使用該等控制伺服器31，媒體伺服器32與事件伺服器33，其中用戶端介面40直接與相應之所述模組直接溝通。
所述多個影像串流10之每一個影像串流可以是來自於不同地點的影像串流，利如家中或公司大門之監控裝置，或是家中或公司內部之監控裝置，或是監控上下班尖峰時段交通流量之監控裝置，或是來自於網路上傳之影像串流等不同之影像串流。如果將所有被輸入之多個影像串流同時來執行線上即時影像分析，影像分析模組需要很多的資源，而使影像分析系統體積過大且需要很高的成本。然而來自於不同地點的影像串流可根據其時段性來分別在不同之時段來執行線上即時影像分析，以避免上述影像分析系統體積過大且需要很高的成本之問題。
在一實施例中，本發明的影像分析系統可根據分析任務，評估出執行時將使用的運算資源。 在此之前，影像分析系統可根據影像分析硬體資源，評估出影像分析系統的包括影像分析運算資源之最大可用資源。線上即時影像分析排程模組21根據使用者之選擇與剩餘之可用資源，將該被輸入之多個影像串流中之每一影像串流安排在使用者所選擇之時段來執行線上即時影像分析或使用該錄影模組先行儲存該影像串流以供該影像分析模組後續來執行離線非即時影像分析之用。如果安排好可於不同時段來執行即時影像分析之影像串流後，未用完的運算資源及時段，系統可以自動排入不需要即時得到結果之影像串流來執行離線非即時影像分析。影像分析系統可先設定好分析條件及優先權，依序來執行離線非即時影像分析。人為上傳的另外的影片片段，也可以依指定分析條件及優先權，等待進行分析。
在一實施例中，本發明的影像分析系統可智慧自動排程：影像分析系統將根據演算法特性，以及硬體特性，以及在特定時段內必須要處理的即時影像分析為基礎，再將剩餘的效能排入離線非即時影像分析，以達到最高的運算效能利用。所謂演算法特性，指的是演算法有層級關係，例如：最底層是移動物件偵測，再上一層是物件辨識，例如分為人、車或其他，更上一層是行為的分析，例如人又分為打架、聚眾…等，車又分為違規臨停、變換車道…等。根據此特性，智慧排程會將共用低階層演算法排的分析任務在同一個時段處理；甚至更有彈性地，將低階層演算法的結果先暫存下來，等到資源空出再執行高階層的演算法。在排程時，會考慮演算法所使用的運算資源，做最適當的調配。在一實施例中，運算資源包含至少一GPU與至少一CPU，物件分類主要需要GPU資源，而車牌偵測與辨識主要需要CPU資源，便可將兩者的任務排在同一時段，讓CPU及GPU的使用效率都達到最高。在一實施例中，運算資源包含至少一CPU。在一實施例中，運算資源包含至少一CPU與至少一影像處理硬體加速器。在一實施例中，運算資源包含至少一CPU，至少一GPU與至少一影像處理硬體加速器。
在一實施例中，為支援各種不同之情況，上述不同的影像串流可安排於一天24小時之內之不同之時段來執行線上即時影像分析；上述不同的影像串流也可安排於一周之內之不同之時段來執行線上即時影像分析；上述不同的影像串流也可安排於一月之內之不同之時段來執行線上即時影像分析。
本發明的影像分析系統之所述影像接收模組22，錄影模組24，排程模組21，影像分析模組23之任一模組可以是硬體做成，也可以是軟體做成，也可以是硬體與軟體之組合來做成。
在一實施例中，該影像分析模組之資源包括至少一CPU。
在一實施例中，該影像分析模組之資源包括至少一CPU與至少一GPU。
在一實施例中，在安排好不同時段來執行不同之影像串流之即時影像分析後，使用未用完的資源及時段來排程其他之影像串流之非即時影像分析。該排程模組在安排好不同時段來執行不同之影像串流之即時影像分析後，該排程模組使用未用完的資源及時段，來排程其他之影像串流之非即時影像分析。在一實施例中，該影像分析模組包括分析影像串流之一演算法，該影像分析模組將該演算法之工作區分為多個層級，以使該影像分析模組針對所述其他之影像串流之一第三影像串流，只即時執行該第三影像串流相對應之演算法之較底層之工作，並將該相對應之演算法之較底層之工作的結果先暫存下來，再依照該第三影像串流之離線排程來執行該第三影像串流相對應之演算法之較高層的工作。
在一實施例中，影像分析包括分析影像串流之一演算法，該演算法之工作區分為多個層級，其中，針對所述其他之影像串流之一第三影像串流，只即時執行該第三影像串流相對應之演算法之較底層之工作，並將該相對應之演算法之較底層之工作的結果先暫存下來，再依照該第三影像串流之離線排程來執行該第三影像串流相對應之演算法之較高層的工作。
在一實施例中，該演算法之最底層之工作是物件之移動偵測，再上一層之工作是物件之辨識，更上一層之工作是物件之行為分析。
在一實施例中，請參閱圖4A，第一影像串流，第二影像串流，第三影像串流可分別在第一時段401，第二時段402，第三時段403來執行線上即時影像分析。
在一實施例中，請參閱圖4B，第一影像串流，第二影像串流，可分別在第一時段401，第二時段402來執行線上即時影像分析。第三影像串流選擇之時段也是在第一時段401，但是系統資源無法滿足在第一時段401同時來執行第一影像串流與第三影像串流之線上即時影像分析。因此，第三影像串流影像分析演算法之第一部份之工作可以在第一時段401先完成，第三影像串流影像分析演算法之第二部份之工作可以在第二時段402 來完成，第三影像串流影像分析演算法之第三部份之工作可以在第三時段403 來完成。
本發明之影像分析之方法能夠根據不同之影像串流之時段性來排程多個不同之影像串流在不同之多個時段來分別執行該多個不同之影像串流之線上即時影像分析，以充分利用影像分析系統之影像分析模組之有限的資源，該影像分析方法，如圖2所示，在步驟201：根據使用者之選擇，將多個輸入影像串流之至少一第一輸入影像串流安排在一第一時段來執行線上即時影像分析；以及在步驟202：根據使用者之選擇，將該多個輸入影像串流之至少一第二輸入影像串流安排在一第二時段來執行線上即時影像分析，其中影像分析之資源有限無法同時來執行所有該多個輸入影像串流之線上即時影像分析。
在一實施例中，如果一第三輸入影像串流因影像分析之資源有限無法被安排在使用者所選擇之時段來執行線上即時影像分析，該第三輸入影像串流將先被儲存以供後續離線非即時影像分析之用。
在一實施例中，該影像分析方法包括一演算法，該演算法具有多個層級，該線上即時影像分析先分析該演算法之較底層之工作，並將該較底層之工作的分析結果先暫存下來，再以離線非即時之方式來執行該演算法之較高層的工作。
在一實施例中，該演算法之最底層之工作是物件之移動偵測，再上一層之工作是物件之辨識，更上一層之工作是物件之行為的分析。
在一實施例中，該影像分析模組包括分析影像串流之一演算法，該影像分析模組將該演算法之工作區分為多個層級，其中，該排程模組將不同之多個影像串流共用之該演算法之較低階層的工作安排在同一個時段來處理並將其結果先暫存下來，等到影像分析模組之資源空出時再執行該演算法之較高階層的工作。
在一實施例中，本發明之影像分析之方法能夠根據不同之影像串流之時段性來排程多個不同之影像串流在不同之多個時段來分別執行該多個不同之影像串流之線上即時影像分析，以充分利用影像分析系統之有限的資源，該影像分析方法，如圖3所示，在步驟301：評估出影像分析系統的包括影像分析運算資源之最大可用資源；在步驟302：根據使用者針對多個被輸入之不同之影像串流之每一被輸入之影像串流之時段選擇以及剩餘之可用資源來排程該被輸入之影像串流，其中，如果剩餘之可用資源足夠執行該被輸入之影像串流之線上即時影像分析時，將該被輸入之影像串流安排在使用者所選擇之時段來執行線上即時影像分析；如果剩餘之可用資源不足夠執行該被輸入之影像串流之線上即時影像分析時，使用該錄影模組先行儲存該被輸入之影像串流以供後續來執行離線非即時影像分析之用。
所述多個影像串流之每一個影像串流可以是來自於不同地點的影像串流，利如家中或公司大門之監控裝置，或是家中或公司內部之監控裝置，或是監控上下班尖峰時段交通流量之監控裝置，或是來自於網路上傳之影像串流等不同之影像串流。如果將所有被輸入之多個影像串流同時來執行線上即時影像分析，影像分析模組需要很多的資源，利如很多處理器的資源來將所有被輸入之多個影像串流同時執行線上即時影像分析，而使影像分析系統體積過大且需要高成本來將其製成。然而來自於不同地點的影像串流可根據其時段性來分別在不同之時段來執行線上即時影像分析，以避免上述影像分析系統體積過大且需要高成本來將其製成之問題。
如果安排好可於不同時段來執行即時影像分析之影像串流後，未用完的運算資源及時段，系統可以自動排入不需要即時得到結果之影像串流來執行離線非即時影像分析。影像分析系統可先設定好分析條件及優先權，依序來執行離線非即時影像分析。人為上傳的另外的影片片段，也可以依指定分析條件及優先權，等待進行分析。
在一實施例中，本發明的影像分析之方法可智慧自動排程：影像分析系統將根據演算法特性，以及硬體特性，以及時段必須要處理的即時影像分析為基礎，再將剩餘的效能排入離線非即時影像分析，以達到最高的運算效能利用。所謂演算法特性，指的是演算法有層級關係，例如：最底層是移動物件偵測，再上一層是物件辨識，例如分為人、車或其他，更上一層是行為的分析，例如人又分為打架、聚眾…等，車又分為違規臨停、變換車道…等。根據此特性，智慧排程會將共用低階層演算法的分析任務排在同一個時段處理；甚至更有彈性地，將低階層演算法的結果先暫存下來，等到資源空出再執行完高階層的演算法。在排程時，會考慮演算法所使用的運算資源，做最適當的調配。在一實施例中，運算資源包含至少一GPU與至少一CPU，物件分類主要需要GPU資源，而車牌偵測與辨識主要需要CPU資源，便可將兩者的任務排在同一時段，讓CPU及GPU的使用效率都達到最高。在一實施例中，運算資源包含至少一CPU。在一實施例中，運算資源包含至少一CPU與至少一影像處理硬體加速器。在一實施例中，運算資源包含至少一CPU，至少一GPU與至少一影像處理硬體加速器。
在一實施例中，為支援各種不同之情況，上述不同的影像串流可安排於一天24小時之內之不同之時段來執行線上即時影像分析；上述不同的影像串流也可安排於一周之內之不同之時段來執行線上即時影像分析；上述不同的影像串流也可安排於一月之內之不同之時段來執行線上即時影像分析。
在一實施例中，請參閱圖4A，第一影像串流，第二影像串流，第三影像串流可分別在第一時段401，第二時段402，第三時段403來執行線上即時影像分析。
在一實施例中，請參閱圖4B，第一影像串流，第二影像串流，可分別在第一時段401，第二時段402來執行線上即時影像分析。第三影像串流選擇之時段也是在第一時段401，但是系統資源無法滿足在第一時段401同時來執行第一影像串流與第三影像串流之線上即時影像分析。因此，第三影像串流影像分析演算法之第一部份之工作可以在第一時段401先完成，第三影像串流影像分析演算法之第二部份之工作可以在第二時段402來完成，第三影像串流影像分析演算法之第三部份之工作可以在第三時段403來完成。
如上所述，本發明的影像分析方法與系統能夠根據不同之影像串流之時段性來排程多個不同之影像串流在不同之多個時段來分別執行該多個不同之影像串流之線上即時影像分析，以充分利用影像分析系統之有限的資源。
10‧‧‧多個影像串流
21‧‧‧排程模組
22‧‧‧影像接收模組
23‧‧‧影像分析模組
24‧‧‧錄影模組
31‧‧‧控制伺服器
32‧‧‧媒體伺服器
33‧‧‧事件伺服器
40‧‧‧用戶端介面
50‧‧‧用戶
401‧‧‧第一時段
402‧‧‧第二時段
403‧‧‧第三時段
411‧‧‧第一輸入影像串流
412‧‧‧第二輸入影像串流
413‧‧‧第三輸入影像串流
圖1說明本發明的一實施例中的影像分析系統之示意圖。 圖2說明本發明的一實施例中的影像分析方法之流程圖。 圖3說明本發明的另一實施例中的影像分析方法之流程圖。 圖4A說明本發明的一實施例中的影像分析排程之示意圖。 圖4B說明本發明的另一實施例中的影像分析排程之示意圖。

Claims (10)

  1. 一種影像分析系統，包含：一影像接收模組，用以輸入多個影像串流；一錄影模組，用以儲存影像串流；一影像分析模組，用以分析影像串流；以及一排程模組，用以根據使用者之選擇與該影像分析模組之資源，將該被輸入之多個影像串流中之每一影像串流安排在使用者所選擇之時段來執行線上即時影像分析或使用該錄影模組先行儲存該影像串流以供該影像分析模組後續來執行離線非即時影像分析之用，以使該影像分析模組能夠在不同之時段分別針對不同之被輸入之影像串流來執行線上即時影像分析，其中該影像分析模組之資源有限無法同時來執行所有該被輸入之多個影像串流之線上即時影像分析。
  2. 如第1項所述之系統，該影像分析模組之資源包括至少一CPU。
  3. 如第1項所述之系統，該排程模組在安排好不同時段來執行不同之影像串流之即時影像分析後，該排程模組使用未用完的資源及時段，來排程其他之影像串流之非即時影像分析。
  4. 如第1項所述之系統，該影像分析模組包括分析影像串流之一演算法，該影像分析模組將該演算法之工作區分為多個層級，以使該影像分析模組針對一影像串流，只即時執行該影像串流相對應之演算法之較底層之工作，並將該相對應之演算法之較底層之工作的結果先暫存下來，再依照該影像串流之離線排程來執行該影像串流相對應之演算法之較高層的工作。
  5. 如第4項所述之系統，該演算法之最底層之工作是物件之移動偵測，再上一層之工作是物件之辨識，更上一層之工作是物件之行為分析。
  6. 一種影像分析方法，包含：根據使用者之選擇，將多個輸入影像串流之至少一第一輸入影像串流安排在一第一時段來執行線上即時影像分析；以及根據使用者之選擇，將該多個輸入影像串流之至少一第二輸入影像串流安排在一第二時段來執行線上即時影像分析，其中影像分析之資源有限無法同時來執行所有該多個輸入影像串流之線上即時影像分析。
  7. 如第6項所述之方法，該影像分析之資源包括至少一CPU。
  8. 如第6項所述之方法，在安排好不同時段來執行不同之影像串流之即時影像分析後，使用未用完的資源及時段來排程其他之影像串流之非即時影像分析。
  9. 如第6項所述之方法，其中，影像分析包括分析影像串流之一演算法，該演算法之工作區分為多個層級，其中，針對一影像串流，只即時執行該影像串流相對應之演算法之較底層之工作，並將該相對應之演算法之較底層之工作的結果先暫存下來，再依照該影像串流之離線排程來執行該影像串流相對應之演算法之較高層的工作。
  10. 如第9項所述之方法，該演算法之最底層之工作是物件之移動偵測，再上一層之工作是物件之辨識，更上一層之工作是物件之行為的分析。
TW106144368A 2017-12-18 2017-12-18 一種影像分析系統與方法 TWI679886B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW106144368A TWI679886B (zh) 2017-12-18 2017-12-18 一種影像分析系統與方法
US16/167,558 US20190188042A1 (en) 2017-12-18 2018-10-23 System and Method of Image Analyses

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106144368A TWI679886B (zh) 2017-12-18 2017-12-18 一種影像分析系統與方法

Publications (2)

Publication Number Publication Date
TW201929552A TW201929552A (zh) 2019-07-16
TWI679886B true TWI679886B (zh) 2019-12-11

Family

ID=66813891

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106144368A TWI679886B (zh) 2017-12-18 2017-12-18 一種影像分析系統與方法

Country Status (2)

Country Link
US (1) US20190188042A1 (zh)
TW (1) TWI679886B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11178363B1 (en) * 2019-06-27 2021-11-16 Objectvideo Labs, Llc Distributed media monitoring
CN110430208B (zh) * 2019-08-13 2022-02-18 四川东方网力科技有限公司 一种视频流处理方法、装置、电子设备及存储介质
CN110765879B (zh) * 2019-09-24 2022-05-27 上海交通大学 基于b/s架构的实时视频分析***及方法
CN111625358B (zh) * 2020-05-25 2023-06-20 浙江大华技术股份有限公司 一种资源分配方法、装置、电子设备及存储介质
US11463739B2 (en) 2020-06-29 2022-10-04 Seagate Technology Llc Parameter based load balancing in a distributed surveillance system
US11503381B2 (en) * 2020-06-29 2022-11-15 Seagate Technology Llc Distributed surveillance system with abstracted functional layers
US11343544B2 (en) 2020-06-29 2022-05-24 Seagate Technology Llc Selective use of cameras in a distributed surveillance system
CN113068024B (zh) * 2021-03-19 2024-04-16 瑞芯微电子股份有限公司 一种实时抓图分析方法及存储介质
CN114666355B (zh) * 2022-04-27 2023-12-15 深圳市千乘机器人有限公司 一种基于移动机器人的视频分析方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120224834A1 (en) * 2011-03-01 2012-09-06 Echostar Technologies L.L.C. Apparatus And Methods For Dynamically Optimizing Recording Schedules

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7868912B2 (en) * 2000-10-24 2011-01-11 Objectvideo, Inc. Video surveillance system employing video primitives
US7697026B2 (en) * 2004-03-16 2010-04-13 3Vr Security, Inc. Pipeline architecture for analyzing multiple video streams
US7937269B2 (en) * 2005-08-22 2011-05-03 International Business Machines Corporation Systems and methods for providing real-time classification of continuous data streams
US20080184245A1 (en) * 2007-01-30 2008-07-31 March Networks Corporation Method and system for task-based video analytics processing
US8953044B2 (en) * 2011-10-05 2015-02-10 Xerox Corporation Multi-resolution video analysis and key feature preserving video reduction strategy for (real-time) vehicle tracking and speed enforcement systems
US9269243B2 (en) * 2011-10-07 2016-02-23 Siemens Aktiengesellschaft Method and user interface for forensic video search
US10389780B2 (en) * 2012-02-08 2019-08-20 Arris Enterprises Llc Managed adaptive streaming
US20130342700A1 (en) * 2012-06-26 2013-12-26 Aharon Kass System and method for using pattern matching to determine the presence of designated objects in digital images
US9904852B2 (en) * 2013-05-23 2018-02-27 Sri International Real-time object detection, tracking and occlusion reasoning
WO2014209439A1 (en) * 2013-06-26 2014-12-31 Thomson Licensing System and method for predicting audience responses to content from electro-dermal activity signals
US20150163545A1 (en) * 2013-12-11 2015-06-11 Echostar Technologies L.L.C. Identification of video content segments based on signature analysis of the video content

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120224834A1 (en) * 2011-03-01 2012-09-06 Echostar Technologies L.L.C. Apparatus And Methods For Dynamically Optimizing Recording Schedules

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
J. Wu, Z.-M. Cui, J.-M. Chen and G.-M. Zhang, "A Survey on Video based Vehicle Behaviour Analysis Algorithms," Journal of Multimedia, Vol. 7, No. 3, pp. 223-230, June 2012. *
M. Chen, S. Mao and Y. Liu, "Big Data: A Survey,"ACM/Springer Mobile Networks and Applications, Vol. 19, No. 2, pp. 171-209, April 2014. *

Also Published As

Publication number Publication date
US20190188042A1 (en) 2019-06-20
TW201929552A (zh) 2019-07-16

Similar Documents

Publication Publication Date Title
TWI679886B (zh) 一種影像分析系統與方法
Yang et al. Re-thinking CNN frameworks for time-sensitive autonomous-driving applications: Addressing an industrial challenge
US8595743B2 (en) Network aware process scheduling
CA2780231C (en) Goal oriented performance management of workload utilizing accelerators
CN108090731B (zh) 一种信息处理方法及设备
US9286123B2 (en) Apparatus and method for managing stream processing tasks
KR100586283B1 (ko) 동적 쓰레드 풀 조정 방법
US20180032373A1 (en) Managing data processing resources
WO2016078008A1 (zh) 调度数据流任务的方法和装置
WO2017016421A1 (zh) 一种集群中的任务执行方法及装置
CN108829469B (zh) 一种应用程序页面展示方法及装置
US10102042B2 (en) Prioritizing and distributing workloads between storage resource classes
JP2004213625A (ja) プログラムに基づいた応答時間ベースの作業負荷分配技法
US11256547B2 (en) Efficient allocation of cloud computing resources to job requests
TW201519091A (zh) 用於任務排程之電腦系統，方法及電腦可讀取記錄媒體
US20200167191A1 (en) Laxity-aware, dynamic priority variation at a processor
EP2840513B1 (en) Dynamic task prioritization for in-memory databases
CN115981871B (zh) 一种gpu资源调度方法、装置、设备及存储介质
WO2020001427A1 (zh) 一种分析任务执行方法、装置、***及电子设备
US10592473B2 (en) Method for improving energy efficiency of map-reduce system and apparatus thereof
Muyan-Özçelik et al. Multitasking real-time embedded GPU computing tasks
Limna et al. Workload scheduling for Nokkhum video surveillance as a service
Kaseb et al. Cloud resource management for analyzing big real-time visual data from network cameras
Lee et al. Towards quality aware collaborative video analytic cloud
Zhang et al. A realtime framework for video object detection with storm