TWI742300B - 針對一感興趣的人與一使用者介接以促進影像搜尋之方法及系統 - Google Patents

針對一感興趣的人與一使用者介接以促進影像搜尋之方法及系統 Download PDF

Info

Publication number
TWI742300B
TWI742300B TW107127383A TW107127383A TWI742300B TW I742300 B TWI742300 B TW I742300B TW 107127383 A TW107127383 A TW 107127383A TW 107127383 A TW107127383 A TW 107127383A TW I742300 B TWI742300 B TW I742300B
Authority
TW
Taiwan
Prior art keywords
image
person
video record
interest
thumbnail
Prior art date
Application number
TW107127383A
Other languages
English (en)
Other versions
TW201921270A (zh
Inventor
圖利歐 阿坎特拉
莫沙 多姆博雅
艾瑞克 舒傑
漢娜 麥伯尼西
威廉 克里斯多幅 魏斯敦
Original Assignee
加拿大商艾維吉隆股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 加拿大商艾維吉隆股份有限公司 filed Critical 加拿大商艾維吉隆股份有限公司
Publication of TW201921270A publication Critical patent/TW201921270A/zh
Application granted granted Critical
Publication of TWI742300B publication Critical patent/TWI742300B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Signal Processing (AREA)

Abstract

本發明係關於用於針對一感興趣的人與一使用者介接以促進一影像搜尋之方法、系統及技術。在一顯示器上同時地顯示該感興趣的人之一臉部縮圖、該感興趣的人之一身體縮圖及該感興趣的人之影像搜尋結果，以幫助一使用者識別出現於一視訊記錄集合中之一或多個視訊記錄中的該感興趣的人。該使用者可提供關於影像搜尋結果是否展示該感興趣的人之回饋給該系統，該回饋可用以改進該等影像搜尋結果。

Description

針對一感興趣的人與一使用者介接以促進影像搜尋之方法及系統
本發明係關於用於針對一感興趣的人與一使用者介接以促進一影像搜尋之方法、系統及技術。
在某些內容背景下，實體監視系統中具有的重要功能是智慧型地處理及播放經記錄視訊。舉例而言，實體監視系統可包括許多攝影機，其各自記錄視訊。由彼等攝影機記錄之視訊之總量——其極大部分通常被同時地記錄——使依賴於手動地定位及追蹤出現於經記錄視訊中的感興趣的人係低效的。因此，視訊之智慧型處理及播放且尤其是自動化搜尋功能性可用以增加可使用實體監視系統識別感興趣的人的效率。
根據一第一態樣，提供一種用於針對一感興趣的人與一使用者介接以促進一影像搜尋之方法。該方法包含在一顯示器上同時地顯示該感興趣的人之一臉部縮圖、該感興趣的人之一身體縮圖及該感興趣的人之影像搜尋結果。
該等影像搜尋結果中之每一者可根據該影像搜尋結果包含該感興趣的人之一可能性而定位於該顯示器上，且該方法可進一步包含：接收關於該等影像搜尋結果中之至少一者是否描繪該感興趣的人之匹配確認使用者輸入；使用該匹配確認使用者輸入判定該等影像搜尋結果之定位是否將回應於該匹配確認使用者輸入而改變；及當該等影像搜尋結果之該定位將改變時，回應於該匹配確認使用者輸入而更新該等影像搜尋結果之該定位。
該方法可進一步包含與該臉部縮圖、該身體縮圖及該等影像搜尋結果同時地顯示一經選擇視訊記錄。
該感興趣的人可顯示於該經選擇視訊記錄中，且該方法可進一步包含：在該經選擇視訊記錄中在該感興趣的人上方顯示一邊界框；接收指示針對該感興趣的人之一搜尋將開始之搜尋開始使用者輸入；及回應於該搜尋開始使用者輸入，使用來自該邊界框內所含有之該經選擇視訊記錄之一影像圖框之至少一部分作為該身體縮圖。
該方法可進一步包含回應於該搜尋開始使用者輸入而進行以下操作：針對該感興趣的人搜尋一視訊記錄集合，其中該視訊記錄集合包含該經選擇視訊記錄；及使用該視訊記錄集合之該搜尋期間識別的該感興趣的人之一臉部作為該臉部縮圖之部分。
該視訊記錄集合可包含使用不同視訊攝影機同時地產生之視訊記錄。
該等影像搜尋結果可包含一第一影像及一第二影像，該身體縮圖可包含該第一影像之至少一部分，該臉部縮圖可包含該第二影像之至少一部分，且該第一影像及該第二影像可不同。
針對該感興趣的人搜尋該視訊記錄集合可包含：對該視訊記錄集合執行一臉部搜尋以識別該感興趣的人；及對該視訊記錄集合執行一身體搜尋以識別該感興趣的人，其中該等影像搜尋結果包含來自該臉部搜尋之結果及來自該身體搜尋之結果。
該等影像搜尋結果可包含一第一影像及一第二影像，該身體縮圖可包含該第一影像之至少一部分，該臉部縮圖可包含該第二影像之至少一部分，且該方法可進一步包含在該第一影像及該第二影像上方顯示一第一指示符及一第二指示符，該第一指示符及該第二指示符指示該第一影像及該第二影像分別為該等身體及臉部縮圖之基礎。
該方法可進一步包含：接收關於該等影像搜尋結果中之至少一者是否描繪該感興趣的人之匹配確認使用者輸入；及當該匹配確認使用者輸入指示該等經選擇影像結果中之任一者描繪該感興趣的人時，在該等經選擇影像結果中之該任一者上方顯示一第三指示符。
該方法可進一步包含：針對該感興趣的人判定一出現可能性繪圖，其中該出現可能性繪圖描繪該感興趣的人在一時間跨度內出現於該視訊記錄集合中之一可能性；及與該等影像搜尋結果同時地顯示該出現可能性繪圖。
該時間跨度可被劃分成時間間隔。此外，判定該出現可能性繪圖可包含針對該等時間間隔中之每一者判定該感興趣的人針對該時間間隔出現於該視訊記錄集合中之一可能性；且顯示該出現可能性繪圖可包含針對該等時間間隔中之每一者顯示一可能性指示符，該可能性指示符表示該感興趣的人針對該時間間隔出現於該視訊記錄集合中之該可能性。
針對該等時間間隔中之每一者，該感興趣的人針對該時間間隔出現於該視訊記錄集合中之該可能性可被判定為該感興趣的人針對該時間間隔出現於該視訊記錄集合中之任一視訊記錄中之一最大可能性。
該出現可能性繪圖可包含一橫條圖，該橫條圖針對該等時間間隔中之每一者包含一單一橫條。
該方法可進一步包含在該出現可能性繪圖上方顯示一出現可能性繪圖可調整大小選擇窗，其中該可調整大小選擇窗覆疊該時間跨度之至少一部分，且僅自對應於該時間跨度之該部分之該視訊記錄集合選擇該等影像搜尋結果。
該方法可進一步包含：與該出現可能性繪圖同時地顯示一時刻表，其中該時刻表涵蓋包含該視訊記錄集合之一持續時間之至少部分的一時間跨度；在該時刻表上方顯示一時刻表可調整大小選擇窗；接收指示該使用者正對該等選擇窗中之一者調整大小之窗調整大小使用者輸入；及回應於該窗調整大小使用者輸入，調整該等選擇窗中之另一者，使得該等選擇窗兩者涵蓋相同時間跨度。
該等影像搜尋結果可包含一第一影像及一第二影像，該身體縮圖可包含該第一影像之至少一部分，該臉部縮圖可包含該第二影像之至少一部分，且該方法可進一步包含：在該第一影像及該第二影像上方顯示一第一指示符及一第二指示符，該第一指示符及該第二指示符指示該第一影像及該第二影像分別為該等身體及臉部縮圖之基礎；及在該出現可能性繪圖上對應於該第一影像及該第二影像出現於該視訊記錄集合中之時間之位置處顯示該第一指示符及該第二指示符。
該方法可進一步包含與該出現可能性繪圖同時地顯示以下各者：一時刻表，其中該時刻表涵蓋包含該視訊記錄集合之一持續時間之至少部分的一時間跨度；及該第一指示符及該第二指示符，其在該時刻表上對應於該第一影像及該第二影像出現於該視訊記錄集合中之時間之位置處。
根據另一態樣，提供一種用於針對一感興趣的人與一使用者介接以促進一影像搜尋之方法。該方法包含在一顯示器上同時地顯示選自一視訊記錄集合的該感興趣的人之影像搜尋結果及該感興趣的人之一出現可能性繪圖，該出現可能性繪圖描繪該感興趣的人在一時間跨度內出現於該視訊記錄集合中之一可能性。
該方法可進一步包含與該等影像搜尋結果及該出現可能性繪圖同時地顯示該感興趣的人之一臉部縮圖及一身體縮圖中之至少一者。
該時間跨度可被劃分成時間間隔，且顯示該出現可能性繪圖可包含針對該等時間間隔中之每一者顯示一可能性指示符，該可能性指示符表示該感興趣的人針對該時間間隔出現於該視訊記錄集合中之該可能性。
針對該等時間間隔中之每一者，該感興趣的人針對該時間間隔出現於該視訊記錄集合中之該可能性可被判定為該感興趣的人針對該時間間隔出現於該視訊記錄集合中之任一視訊記錄中之一最大可能性。
該出現可能性繪圖可包含一橫條圖，該橫條圖針對該等時間間隔中之每一者包含一單一橫條。
該方法可進一步包含在該出現可能性繪圖上方顯示一可調整大小選擇窗，其中該可調整大小選擇窗覆疊該時間跨度之至少一部分，且僅自對應於該時間跨度之該部分之該視訊記錄集合選擇該等影像搜尋結果。
該方法可進一步包含：與該出現可能性繪圖同時地顯示一時刻表，其中該時刻表涵蓋包含該視訊記錄集合之一持續時間之至少部分的一時間跨度；在該時刻表上方顯示一時刻表可調整大小選擇窗；接收指示該使用者正對該等選擇窗中之一者調整大小之窗調整大小使用者輸入；及回應於該窗調整大小使用者輸入，調整該等選擇窗中之另一者，使得該等選擇窗兩者涵蓋相同時間跨度。
該等影像搜尋結果可包含一第一影像及一第二影像，該身體縮圖可包含該第一影像之至少一部分，且該臉部縮圖可包含該第二影像之至少一部分。該方法可進一步包含：在該第一影像及該第二影像上方顯示一第一指示符及一第二指示符，該第一指示符及該第二指示符指示該第一影像及該第二影像分別為該等身體及臉部縮圖之基礎；及在該出現可能性繪圖上對應於該第一影像及該第二影像出現於該視訊記錄集合中之時間之位置處顯示該第一指示符及該第二指示符。
該方法可進一步包含與該出現可能性繪圖同時地顯示以下各者：一時刻表，其中該時刻表涵蓋包含該視訊記錄集合之一持續時間之至少部分的一時間跨度；及該第一指示符及該第二指示符，其在該時刻表上對應於該第一影像及該第二影像出現於該視訊記錄集合中之時間之位置處。
根據另一態樣，提供一種用於針對一感興趣的人與一使用者介接以促進一視訊記錄集合之一影像搜尋之方法。該方法包含：在一顯示器上同時地顯示以下各者：針對該感興趣的人之影像搜尋結果，其中該等影像搜尋結果被顯示為n個行乘m個列之一陣列，該等行中之每一者對應於一不同時間間隔，且對於該等行中之每一者，針對該等列中之任一者之該等搜尋結果具有將該感興趣的人顯示為不低於該等列中之任一較低者之一可能性；該感興趣的人之一臉部縮圖；及該感興趣的人之一身體縮圖；接收關於該等影像搜尋結果中之至少一者是否描繪該感興趣的人之匹配確認使用者輸入。該方法進一步包含：使用該匹配確認使用者輸入判定該等影像搜尋結果之定位是否將回應於該匹配確認使用者輸入指示該等影像搜尋結果中之任何一或多者包含該感興趣的人而改變；及當該等影像搜尋結果之該定位將改變時，藉由調整該等影像搜尋結果被顯示之該等列而更新該等影像搜尋結果之該定位。
根據另一態樣，提供一種用於針對一感興趣的人與一使用者介接以促進一影像搜尋之系統。該系統包含：一顯示器；一輸入裝置；一處理器，其以通信方式耦接至該顯示器及該輸入裝置；及一記憶體，其以通信方式耦接至該處理器且其上儲存有可由該處理器執行之電腦程式碼，其中該電腦程式碼在由該處理器執行時致使該處理器執行前述態樣或其合適組合中之任一者之方法。
根據另一態樣，提供一種非暫時性電腦可讀媒體，其上儲存有電腦程式碼，該電腦程式碼可由一處理器執行且在由該處理器執行時致使該處理器執行前述態樣或其合適組合中之任一者之方法。
應理解，當一元件在本文中被稱作與另一元件「連接」、「通信」或「耦接」時，該元件可與該另一元件直接連接、直接通信或直接耦接，或可存在中介元件。與此對比，當一元件在本文中被稱作與另一元件「直接連接」、「直接通信」或「直接耦接」時，不存在中介元件。應以類似方式解譯用以描述元件之間的關係的其他詞語(亦即，「之間」相對於「直接之間」、「鄰近」相對於「直接鄰近」等等)。
熟習此項技術者應瞭解，本文中所描述之各種實例實施例可被體現為方法、系統或電腦程式產品。因此，各種實例實施例可採取例如以下形式：完全軟體實施例(包括韌體、常駐軟體、微碼等等)，或作為另一實例，組合軟體及硬體態樣之實施例，該等實施例通常皆可在本文中被稱作「模組」或「系統」。此外，各種實例實施例可採取電腦可用儲存媒體上之電腦程式產品之形式，該電腦可用儲存媒體具有體現於該媒體中之電腦可用程式碼。
可利用任何合適電腦可用或電腦可讀媒體。電腦可用或電腦可讀媒體可為例如但不限於電子、磁性、光學、電磁、紅外線或半導體系統、設備、裝置或傳播媒體。在此文件之內容背景下，電腦可用或電腦可讀媒體可為可含有、儲存、傳達、傳播或輸送程式以供或結合指令執行系統、設備或裝置使用之任何媒體。
用於實行各種實例實施例之操作的電腦程式碼可以諸如Java、Smalltalk、C++或其類似者之物件導向式程式設計語言來撰寫。然而，用於實行各種實例實施例之操作的電腦程式碼亦可以諸如「C」程式設計語言或相似程式設計語言之習知程序性程式設計語言來撰寫。經選擇之實際程式設計語言為設計選擇之事項，且熟習此項技術者應瞭解，可利用任何合適程式設計語言。
下文參考根據各種實施例之方法、設備(系統)及電腦程式產品之流程圖繪示及/或方塊圖來描述各種實例實施例。熟習此項技術者應理解，可由電腦程式指令實施流程圖繪示及/或方塊圖中之各種區塊，及流程圖繪示及/或方塊圖中之區塊組合。可將此等電腦程式指令提供至一般用途電腦、特殊用途電腦或其他可程式化資料處理設備之處理器以生產機器，使得經由電腦或其他可程式化資料處理設備之處理器執行之指令產生用於實施流程圖及/或方塊圖區塊中所指定之功能/動作的構件。
亦可將此等電腦程式指令儲存於電腦可讀記憶體中，其可指導電腦或其他可程式化資料處理設備以特定方式運作，使得儲存於電腦可讀記憶體中之指令生產製品，該製品包括實施流程圖及/或方塊圖區塊中所指定之功能/動作的指令。
本發明描述各種實例實施例。預期到，本文中所描述之任何實例實施例之任何部分可與本文中所描述之任何其他實例實施例之任何部分一起實施或組合。
現在參考圖1，其展示實例監視系統100之方塊圖，根據實例實施例之方法可實行於監視系統100內。一或多個電腦終端機104及一伺服器系統108包括於所繪示之監視系統100內。在一些實例實施例中，電腦終端機104為個人電腦系統；然而，在其他實例實施例中，電腦終端機104為選自以下各者中之一或多者：手持型裝置，諸如平板電腦、平板手機、智慧型電話或個人數位助理(personal digital assistant；PDA)；膝上型電腦；智慧型電視；及其他合適裝置。關於伺服器系統108，此可包含單一實體機器或多個實體機器。應理解，伺服器系統108無需含於單一底座內，亦未必存在針對伺服器系統108之單一位置。熟習此項技術者應瞭解，伺服器系統108之至少一些功能性可實施於電腦終端機104內，而非伺服器系統108內。
電腦終端機104經由一或多個網路而與伺服器系統108通信。此等網路可包括網際網路，或藉由網路交換器或其他通信元件耦接在一起之一或多個其他公用/私用網路。網路可為例如主從式網路、同級間網路等等之形式。電腦終端機104與伺服器系統108之間的資料連接可為用於存取資料通信網路之任何數目個已知配置，諸如撥接串列線介面協定/點對點協定(Serial Line Interface Protocol/Point-to-Point Protocol；SLIP/PPP)、整合服務數位網路(Integrated Services Digital Network；ISDN)、專用租線服務、寬頻(例如，纜線)存取、數位用戶線(Digital Subscriber Line；DSL)、非同步傳送模式(Asynchronous Transfer Mode；ATM)、框架轉送，或其他已知存取技術(例如，射頻(radio frequency；RF)連結)。在至少一個實例實施例中，電腦終端機104及伺服器系統108在同一區域網路(Local Area Network；LAN)內。
電腦終端機104包括至少一個處理器112，其控制電腦終端機之整體操作。處理器112與諸如以下各者之各種子系統互動：輸入裝置114 (諸如選自鍵盤、滑鼠、觸控板、滾動球及語音控制構件中之一或多者)、隨機存取記憶體(random access memory；RAM) 116、非揮發性儲存體120、顯示控制器子系統124，及其他子系統[未展示]。顯示控制器子系統124與顯示器126互動，且其在顯示器126上顯現圖形及/或文字。
仍參考監視系統100之電腦終端機104，由處理器112使用之作業系統140及各種軟體應用程式儲存於非揮發性儲存體120中。非揮發性儲存體120為例如一或多個硬碟、固態磁碟機，或在電腦終端機104關機之後保留經記錄資訊的某一其他合適形式之電腦可讀媒體。關於作業系統140，此包括管理電腦終端機104之電腦硬體及軟體資源且為電腦程式提供常見服務的軟體。又，熟習此項技術者應瞭解，作業系統140、用戶端側視訊檢閱應用程式144及其他應用程式152或其部分可暫時載入至諸如RAM 116之揮發性儲存區。處理器112除了其作業系統功能以外亦可使能夠在電腦終端機104上執行各種軟體應用程式。
圖2之方塊圖中展示視訊檢閱應用程式144之更多細節。視訊檢閱應用程式144可執行於電腦終端機104上且包括搜尋使用者介面(User Interface；UI)模組202，其用於與搜尋工作階段管理器模組204合作，以便使電腦終端機使用者能夠實行與以下操作相關之動作：提供輸入，且更具體言之，用以促進識別出現於複數個不同視訊記錄中之相同個體或物件的輸入。在此等狀況下，電腦終端機104之使用者被提供產生於顯示器126之使用者介面，使用者經由該使用者介面輸入及接收關於視訊記錄之資訊。
視訊檢閱應用程式144亦包括上文所提到之搜尋工作階段管理器模組204。搜尋工作階段管理器模組204在伺服器系統108之搜尋UI模組202與查詢管理器模組164 (圖1)之間提供通信介面。在至少一些實例中，搜尋工作階段管理器模組204經由使用遠端程序呼叫(Remote Procedure Call；RPC)而與查詢管理器模組164通信。
除了查詢管理器模組164之外，伺服器系統108亦包括用於實行伺服器系統108之其他功能的若干軟體組件。舉例而言，伺服器系統108包括媒體伺服器模組168。媒體伺服器模組168處置與由監視系統100中之視訊攝影機169拍攝之視訊之儲存及擷取相關的用戶端請求。伺服器系統108亦包括分析引擎模組172。在一些實例中，分析引擎模組172可為實行數學計算(及其他操作)以嘗試將相同個體或物件電腦化匹配為在視訊記錄之不同部分之間(或電腦化匹配為在任何參考影像與相較於參考影像之視訊之間)的任何合適的已知市售軟體。舉例而言，在一個特定實例中，分析引擎模組172可為Avigilon Corporation出售之Avigilon Control Center™伺服器軟體之軟體組件。在另一實例中，分析引擎模組172可為Qognify UK Ltd出售之Qognify Suspect Search™產品之軟體組件。在一些實例中，分析引擎模組172可使用人員或物件之外觀之描述性特性。此等特性之實例包括人員或物件之形狀、大小、紋理及色彩。
伺服器系統108亦包括數個其他軟體組件176。此等其他軟體組件將取決於整體系統內對伺服器系統108之要求而變化。僅僅作為一個實例，其他軟體組件176可能包括特殊測試及除錯軟體，或用以促進伺服器系統108內之模組之版本更新的軟體。伺服器系統108亦包括一或多個資料儲存區190。在一些實例中，資料儲存區190包含一或多個資料庫191，其促進經記錄視訊之經組織儲存。
關於視訊攝影機169，此等中之每一者包括攝影機模組198。在一些實例中，攝影機模組198包括一或多個特殊化積體電路晶片，以在即使由伺服器系統108接收到視訊之前亦促進視訊之處理及編碼。舉例而言，特殊化積體電路晶片可為包括編碼器及中央處理單元(Central Processing Unit；CPU)兩者之系統單晶片(System-on-Chip；SoC)解決方案。此等准許攝影機模組198實行處理及編碼功能。又，在一些實例中，攝影機模組198之處理功能之部分包括為經記錄視訊產生後設資料。舉例而言，可產生與攝影機模組198已偵測到之一或多個前景區域相關的後設資料，且後設資料可定義前景視覺物件在影像圖框內之位置及參考座標。舉例而言，位置後設資料可進一步用以產生通常為矩形形狀之定界框，其描畫經偵測前景視覺物件之輪廓。可提取定界框內之影像以供包括於後設資料中。經提取影像可替代地小於定界框中之影像或可大於定界框中之影像。經提取影像之大小亦可接近於經偵測物件之實際邊界，但在經偵測物件之實際邊界外部。
在一些實例中，攝影機模組198包括用於視訊分析之數個子模組，諸如物件偵測子模組、瞬時物件分類子模組、時態性物件分類子模組，及物件追蹤子模組。關於物件偵測子模組，可提供此子模組以用於偵測出現於攝影機169之視場中之物件。物件偵測子模組可使用熟習此項技術者所理解之各種物件偵測方法中之任一者，諸如運動偵測及/或二進位大型物件(blob)偵測。
關於可形成攝影機模組198之部分的物件追蹤子模組，此可以操作方式耦接至物件偵測子模組及時態性物件分類子模組兩者。可出於使由物件偵測子模組偵測之物件之執行個體時態性地相關聯的目的而包括物件追蹤子模組。物件追蹤子模組亦可產生對應於其追蹤之視覺物件的後設資料。
關於可形成攝影機模組198之部分的瞬時物件分類子模組，此可以操作方式耦接至物件偵測子模組，且用以基於物件之單一執行個體判定視覺物件類型(諸如人類、車輛或動物)。至瞬時物件分類子模組之輸入可視情況為感興趣的視覺物件所在的影像子區，而非整個影像圖框。
關於可形成攝影機模組198之部分的時態性物件分類子模組，此可以操作方式耦接至瞬時物件分類子模組，且用以在一時間段內維持物件之類別資訊。時態性物件分類子模組可在物件之存留期期間之時間段內平均化由瞬時分類子模組提供的物件之瞬時類別資訊。換言之，時態性物件分類子模組可基於物件在多個圖框中之出現而判定物件之類型。舉例而言，人員行走之路線之步態分析可有用於分類人員，或人員之腿之分析可有用於分類騎行者。時態性物件分類子模組可組合關於物件之軌跡的資訊(例如，軌跡平滑抑或混亂，物件在移動抑或不動)與由瞬時物件分類子模組在多個圖框內平均化之分類的信賴度。舉例而言，可基於物件之軌跡之平滑度而調整所判定之分類信賴度值。時態性物件分類子模組可將物件指派至未知類別，直至在足夠次數且已搜集預定數目個統計之後由瞬時物件分類子模組分類視覺物件為止。在分類物件時，時態性物件分類子模組亦可考量物件已在視場中停留多久。時態性物件分類子模組可基於上文所描述之資訊進行關於物件之類別的最終判定。時態性物件分類子模組亦可使用遲滯途徑以用於改變物件之類別。更具體言之，可設定臨限值以用於將物件之分類自未知轉變至確定類別，且彼臨限值可大於用於相反轉變(例如，自人類至未知)之臨限值。時態性物件分類子模組可彙總由瞬時物件分類子模組進行之分類。
在一些實例中，攝影機模組198能夠偵測人類且運用描畫人類物件之輪廓的各別定界框提取人類之影像以供包括於後設資料中，後設資料連同關聯視訊一起可傳輸至伺服器系統108。在系統108處，媒體伺服器模組168可處理經提取影像且產生簽名(例如，特徵向量)以表示物件。在電腦視覺中，特徵描述符通常被稱為取得影像且輸出特徵描述或特徵向量之演算法。特徵描述符將資訊——亦即，影像——編碼成一系列編號以充當數值「指紋(fingerprint)」，其可用以區分一個特徵與另一特徵。理想地，此資訊在影像變換下係不變的，使得可在同一物件之另一影像中再次找到該等特徵。特徵描述符演算法之實例為尺度不變特徵變換(SIFT)、定向梯度直方圖(HOG)及加速穩固特徵(SURF)。
根據至少一些實例，特徵向量為表示可由電腦處理的物件之影像的數值特徵(編號)之n維向量。藉由比較一個物件之第一影像之特徵向量與第二影像之特徵向量，電腦可實施處理程序可判定第一影像及第二影像是否為同一物件之影像。
相似性計算可僅僅為上文之延伸。具體言之，藉由計算由攝影機169中之一或多者捕捉之兩個影像之兩個特徵向量之間的歐幾里德(Euclidean)距離，電腦可實施處理程序可判定相似性分數以指示兩個影像可相似的程度。
根據至少一些實例，預期在監視系統100內儲存特徵向量。舉例而言，特徵向量可被編索引且與各別視訊一起儲存於資料庫191中。特徵向量亦可與各別物件之經提取影像位於各別視訊中之處的參考座標相關聯。儲存可包括儲存具有例如時間戳記、攝影機識別、具有特徵向量及參考座標之後設資料等等的視訊。
現在參看圖3至圖8B，展示根據一個實例實施例的搜尋UI模組202顯示之各種使用者介面頁面給用戶端側視訊檢閱應用程式144之使用者。圖2至圖8B所描繪之實施例准許應用程式144之使用者開始針對感興趣的人之搜尋，且顯示感興趣的人之臉部縮圖及身體縮圖以輔助使用者在檢閱影像搜尋結果時識別感興趣的人。如本文中所使用，「感興趣的人」為應用程式144之使用者正嘗試使用監視系統100定位之人員；人員之「身體縮圖」顯示彼人員之軀體之至少一部分；且人員之「臉部縮圖」顯示彼人員之臉部之至少一部分。在所描繪之實例實施例中，人員之身體縮圖顯示彼人員之頭部及軀體，而彼人員之臉部縮圖展示比身體縮圖中所展示的彼人員之臉部更多的彼人員之臉部作為該縮圖之總面積之比例。圖2至圖8B之實施例中的伺服器系統108能夠基於感興趣的人之身體及臉部中之一或兩者而使用攝影機169中之任何一或多者搜尋視訊記錄集合中之任何一或多個視訊記錄；視訊記錄集合可能或可能不由攝影機169同時地產生。因此，准許在搜尋期間使用身體及臉部可幫助伺服器系統108及使用者兩者識別感興趣的人，特別是當感興趣的人之身體在不同記錄中或在不同時間改變外觀(例如，由於感興趣的人更換衣服而引起)時。
現在尤其參看圖3，展示包括經選擇視訊記錄之影像圖框306之使用者介面頁面300，其准許應用程式144之使用者開始針對感興趣的人308之搜尋。圖3所展示之經選擇視訊記錄為使用不同攝影機169所獲得之視訊記錄集合中之一個視訊記錄，使用者能夠經由應用程式144存取攝影機169。應用程式144在終端機104之顯示器126上顯示頁面300。使用者經由輸入裝置114將輸入提供至應用程式144，在圖3之實例實施例中，輸入裝置114包含滑鼠或觸控板。在圖3中，顯示影像圖框306包含應用程式144將影像圖框306顯示為靜態影像，但在不同實施例中，顯示影像圖框306可包含播放經選擇視訊記錄。
經選擇視訊記錄之影像圖框306佔據頁面300之整個右頂部四分體且延伸超出該右頂部四分體。圖框306描繪存在多個人員之場景。伺服器系統108自動地識別出現於場景中之可為搜尋之主體且因此為使用者之潛在的感興趣的人308的人員，且藉由以邊界框310圍封每一人員之全部或部分而反白顯示彼等人員中之每一者。在圖3中，使用者將位於最低邊界框310中之人員識別為感興趣的人308，且在彼人員周圍選擇邊界框310以喚起快顯功能表312，其可用以開始搜尋。快顯功能表312呈現用以針對感興趣的人308在影像圖框306之後的全部時間搜尋視訊記錄集合的一個選項給使用者，及用以在影像圖框306之前的全部時間搜尋視訊記錄集合的另一選項。使用者可選擇彼等選項中之任一者以使伺服器系統108開始搜尋感興趣的人308。使用者經由應用程式144提供以開始針對感興趣的人之搜尋的輸入為「搜尋開始使用者輸入」給伺服器系統108。
在圖3中，使用者已根據哪一攝影機169獲得影像圖框306及其時間索引而為影像圖框306加書籤，以便准許使用者方便地重新造訪彼影像圖框306。書籤後設資料314緊接在影像圖框306下方，書籤後設資料314為經選擇視訊記錄提供經選擇後設資料，諸如其名稱及持續時間。動作按鈕316在書籤後設資料314右側及影像圖框306下方，動作按鈕316允許使用者對經選擇視訊記錄執行某些動作，諸如匯出視訊記錄，及對記錄執行運動搜尋。
書籤清單302緊接在影像圖框306左側，書籤清單302展示使用者之全部書籤，其中經選擇書籤304對應於影像圖框306。書籤選項318緊接在書籤清單302下方，書籤選項318准許使用者執行動作，諸如鎖定或解除鎖定書籤中之任何一或多者以防止或准許其改變，匯出書籤中之任何一或多者，及刪除書籤中之任何一或多者。
視訊控制按鈕322緊接在書籤選項318下方且毗鄰於頁面300之左底部邊緣，視訊控制按鈕322准許使用者播放、暫停、向前快轉及倒轉經選擇視訊記錄。視訊時間指示符324緊接在視訊控制按鈕322右側，視訊時間指示符324顯示對應於影像圖框306之日期及時間。時刻表320沿著頁面300之底部邊緣之大部分延伸，時刻表320准許使用者遍及經選擇視訊記錄及遍及由視訊記錄集合表示之視訊進行拖曳。如下文關於圖8A及圖8B更詳細地所論述，時刻表320係以與頁面300上之其他特徵協調的方式可調整大小以促進搜尋。
現在參看圖4，在伺服器系統108已完成針對感興趣的人308之搜尋之後展示使用者介面頁面300。頁面300同時地顯示以下各者：毗鄰於頁面300之右側邊緣的經選擇視訊記錄之影像圖框306，其由使用者使用以開始搜尋；緊接在影像圖框306左側的影像搜尋結果406，其係由伺服器系統108自視訊記錄集合選擇為潛在地對應於感興趣的人108；及緊接在影像搜尋結果406左側且毗鄰於頁面300之左側邊緣的感興趣的人308之臉部縮圖402及身體縮圖404。
在記錄視訊的同時，攝影機169及伺服器系統108中之至少一者即時地識別何時正記錄各自為潛在的感興趣的人308之人員，且對於彼等人員，嘗試識別其臉部中之每一者。伺服器系統108基於經識別人員之臉部(當被識別時)及身體產生簽名，如上文所描述。伺服器系統108儲存關於臉部是否被識別之資訊，及作為簽名之後設資料，以及視訊記錄。
回應於使用者使用圖3之快顯功能表312提供的搜尋開始使用者輸入，伺服器系統108藉由針對感興趣的人308搜尋視訊記錄集合而產生影像搜尋結果406。伺服器系統108使用分別為感興趣的人308之身體及臉部所記錄的後設資料而對記錄視訊集合執行包括身體搜尋及臉部搜尋之組合搜尋。更具體言之，伺服器系統108比較使用者指示他或她希望執行搜尋的感興趣的人308之身體及臉部簽名與分別用於系統108已識別之另一人員之身體及臉部簽名。伺服器系統108傳回搜尋結果406，其包括身體及臉部搜尋之結果之組合，應用程式144使用該等結果以產生頁面300。可使用任何合適方法以執行身體及臉部搜尋；舉例而言，伺服器系統108可在執行身體搜尋時使用廻旋神經網路。
在一個實例實施例中，藉由搜尋臉部之視訊記錄集合進行臉部搜尋。一旦識別臉部，就產生界限臉部之邊界框之座標(例如，依據識別該方塊之一個拐角及該方塊之寬度或高度的(x,y)座標)及頭部姿勢之估計(例如，依據側傾(yaw)、縱傾(pitch)及「左右轉動」(roll))。可產生使用任何一或多者度量來特性化彼等臉部之特徵向量。舉例而言，對於每一臉部，眼角間距離、眼中心間距離、鼻寬、眼窩深度、頰骨形狀、下頜外形形狀、頦形狀、髮色以及鬍子存在及色彩中之任何一或多者可用作度量。一旦為臉部產生特徵向量，就可判定不同臉部之向量之間的歐幾里德距離且使用其以評定臉部相似性。
在至少一個實例實施例中，攝影機169即時地或幾乎即時地產生後設資料及關聯特徵向量，且伺服器系統108隨後使用彼等特徵向量評定臉部相似性。然而，在至少一個替代實例實施例中，由攝影機169及伺服器系統108執行之功能性可不同。舉例而言，可以不同於如上文所描述之方式的方式在伺服器系統108與攝影機169之間劃分功能性。替代地，伺服器系統108及攝影機169中之一者可產生特徵向量且評定臉部相似性。
在圖3中，應用程式144使用反白顯示感興趣的人之邊界框310內所含有的影像圖框306之至少一部分作為身體縮圖404。應用程式144使用滿足臉部搜尋結果中之一者對應於感興趣的人308之臉部的最小可能性的彼結果之至少一部分作為臉部縮圖402；在一個實例實施例中，臉部縮圖402係自最可能對應於感興趣的人308之臉部的臉部搜尋之結果繪製。另外或替代地，用作臉部縮圖402之基礎的結果為滿足身體搜尋結果中之一者對應於感興趣的人308之身體的最小可能性的該結果。在另一實例實施例中，臉部縮圖402可被選擇為圖3中反白顯示感興趣的人308之邊界框310內所含有的影像圖框306之至少一部分。
在圖4中，影像搜尋結果406包含以包含n 個列428及m 個行430之陣列而配置的多個影像，其中n = 1對應於陣列之最頂列428，且m = 1對應於陣列之最左行430。結果406定位於沿著右側之窗中，且該窗之底部邊緣延伸捲動軸418，其准許使用者遍及陣列進行捲動。在圖4中，陣列包含至少4 × 5個影像，此係因為其為在不使用捲動軸418進行任何捲動之情況下可見的陣列之部分。
影像搜尋結果406之行430中之每一者對應於視訊記錄集合之不同時間段。在圖4之實例中，行430中之每一者對應於三分鐘持續時間，其中最左行430表示自包括在內的下午1:09至下午1:11之搜尋結果406，最右行430表示自包括在內的下午1:21至下午1:23之搜尋結果406，且中間三個行430表示自包括在內的下午1:12至下午1:20之搜尋結果406。另外，在圖4中，影像搜尋結果406中之每一者根據影像搜尋結果406對應於感興趣的人308之可能性而定位於顯示器126上。在圖4之實施例中，應用程式144藉由使陣列中之影像搜尋結果406之高度與影像搜尋結果406對應於感興趣的人308之可能性成比例而實施此功能性。因此，對於行430中之每一者，位於最頂列428 (n = 1)中之搜尋結果406為對應於彼行430之時間段的結果406，其最可能對應於感興趣的人308，其中匹配可能性隨著n 增加而減小。
在所描繪之實施例中，全部搜尋結果406滿足其對應於感興趣的人308之最小可能性；舉例而言，在某些實施例中，應用程式144僅顯示具有對應於感興趣的人308之至少25%可能性(「匹配可能性臨限值」)的搜尋結果406。然而，在某些其他實施例中，應用程式144可顯示全部搜尋結果406而不考量匹配可能性臨限值，或可使用除了25%之外的非零匹配可能性臨限值。
在圖4中，身體縮圖404及臉部縮圖402分別包括第一影像408a及第二影像408b之至少一部分，該等影像包括影像搜尋結果406之部分。第一影像408a及第二影像408b，且因此，身體縮圖404及臉部縮圖402，在圖4中不同；然而，在不同實施例(未描繪)中，縮圖404、402可基於同一影像。第一指示符410a及第二指示符410b分別覆疊於第一影像408a及第二影像408b上，第一指示符410a及第二指示符410b指示第一影像及第二影像為身體縮圖404及臉部縮圖402之基礎。在圖4中，第一指示符410a及第二指示符410b為相同星形，但在不同實施例(未描繪)中，指示符410a、410b可不同。
播放/暫停控制項426緊接位於經選擇視訊記錄之影像圖框306下方，播放/暫停控制項426允許使用者播放及暫停經選擇視訊記錄。載入更多結果按鈕424緊接位於影像搜尋結果406之下的水平捲動軸418下方，載入更多結果按鈕424准許使用者提示應用程式144獲取搜尋結果406之額外部分。舉例而言，在一個實施例中，應用程式144可最初遞送至多某一數目個結果406，即使額外結果406超過匹配可能性臨限值亦如此。在彼實例中，使用者可藉由選擇載入更多結果按鈕424而請求超過匹配可能性臨限值的結果406之另一部分。在某些其他實施例中，應用程式144可經組態以回應於使用者選擇按鈕424而顯示額外結果406，即使彼等額外結果406低於匹配可能性臨限值亦如此。
切換篩選422位於縮圖402、404下方，切換篩選422准許使用者藉由已將匹配確認使用者輸入提供至應用程式144而將影像搜尋結果406限定為使用者已確認對應於感興趣的人308之影像搜尋結果，如下文進一步所論述。
感興趣的人308之呈橫條圖412之形式的出現可能性繪圖跨越頁面300之寬度且位於縮圖402、404、搜尋結果406及影像圖框306下方。橫條圖412描繪感興趣的人308在給定時間跨度內出現於視訊記錄集合中之可能性。在圖4中，時間跨度被劃分成一天之時間段416，且整個時間跨度為大約三天(自8月23日至25日，包括在內)。時間段416中之每一者被進一步劃分成離散時間間隔，其各自由橫條圖412之一個橫條414表示。如下文更詳細地所論述，時間跨度、時間段及時間間隔中之任何一或多者在某些實施例中係可調整的。橫條圖412在其末端處由橫條圖捲動控制項418加書籤，橫條圖捲動控制項418允許使用者沿著橫條圖412在時間上向前及向後捲動。
為了判定橫條圖412，伺服器系統108針對時間間隔中之每一者判定感興趣的人308針對該時間間隔出現於視訊記錄集合中之可能性，且接著將彼可能性表示為條橫條414針對彼時間間隔之高度。在此實例實施例中，伺服器系統108將彼可能性判定為感興趣的人308針對彼時間間隔出現於視訊記錄集合中之任一視訊記錄中之最大可能性。在不同實施例中，可不同地判定彼可能性。舉例而言，在一個不同實施例中，伺服器系統108將彼可能性判定為感興趣的人308出現於滿足匹配可能性臨限值之影像搜尋結果406中之平均可能性。
在圖4中，應用程式144在影像搜尋結果406上顯示之第一指示符410a及第二指示符410b亦顯示於橫條圖412上對應於期間第一影像408a及第二影像408b由攝影機169捕捉之時間間隔的橫條414上，及時刻表320上對應於彼等時間間隔之位置處。此准許應用程式144之使用者不僅快速地識別用作縮圖402、404之基礎的影像408a、408b，而且以三種不同方式視覺地呈現關於何時捕捉到彼等影像408a、408b之資訊。此在以下情形時可特別有用：第一影像408a及第二影像408b當前皆未展示於顯示器126上(例如，第一影像408a及第二影像408b可包括影像搜尋結果406之部分，但要求使用者捲動以便看見第一影像408a及第二影像408b)，且因此指示符410a、410b僅在橫條圖412及時刻表320中之一或兩者上係可見的。
雖然在所描繪之實施例中將出現可能性繪圖展示為包含橫條圖412，但在不同實施例(未描繪)中，繪圖可採取不同形式。舉例而言，不同實施例中之繪圖可包括線圖，其中線圖上之不同點對應於在不同時間間隔之出現可能性，或使用不同色彩以指示不同出現可能性。
如在圖3中，圖4之頁面300亦包括時刻表320、視訊控制按鈕322，及沿著頁面300之底部延伸之視訊時間指示符324。
應用程式144准許使用者提供關於影像搜尋結果406中之至少一者是否描繪感興趣的人308之匹配確認使用者輸入。使用者可藉由例如選擇影像搜尋結果406中之一者以引出快顯功能表(未展示)而提供匹配確認使用者輸入，該快顯功能表允許使用者確認彼搜尋結果406是否描繪感興趣的人308。回應於匹配確認使用者輸入，所描繪之實施例中的伺服器系統108判定任何匹配可能性是否改變，且因此判定影像搜尋結果406之定位是否將回應於匹配確認使用者輸入而改變。舉例而言，在一個實施例中，當使用者確認結果406中之一者為匹配時，伺服器系統108可使用彼經確認影像作為執行臉部及身體搜尋中之一或兩者時之比較的參考。當影像搜尋結果之定位將改變時，應用程式144回應於匹配確認使用者輸入而更新影像搜尋結果406之定位。舉例而言，應用程式144可自影像搜尋結果406刪除使用者指示不含有感興趣的人308之任何結果，且相應地重新配置剩餘結果406。在一個實例實施例中，臉部縮圖402及身體縮圖404中之一或兩者可回應於匹配確認使用者輸入而改變。在另一實例實施例中，若伺服器系統108最初不能夠識別感興趣的人308之任何臉部且應用程式144因此並不顯示臉部縮圖402，則伺服器系統108可能夠在接收到匹配確認使用者輸入之後識別感興趣的人308之臉部，且應用程式144可接著展示臉部縮圖402。
當匹配確認使用者輸入指示經選擇影像結果406中之任一者描繪感興趣的人308時，應用程式144在使用者確認為對應於感興趣的人308之經選擇影像結果406中之每一者上方顯示第三指示符410c。如表示使用者已提供匹配確認使用者輸入之後的圖4之頁面300的圖5之使用者介面頁面300中所展示，所描繪之實施例中的第三指示符410c為星形且與第一指示符410a及第二指示符410b相同。圖5中之全部三個指示符410a至410c在搜尋結果406之陣列之三個最左行及第一列中。在不同實施例(未描繪)中，第一指示符410a至第三指示符410c中之任何一或多者可彼此不同。
圖5之頁面300亦展示出現可能性繪圖可調整大小選擇窗502a及時刻表可調整大小選擇窗502b，其分別覆疊於橫條圖412及時刻表320上。藉由使用輸入裝置114，使用者能夠藉由提供窗調整大小使用者輸入而改變窗502a、502b中之每一者之寬度且平移窗502a、502b中之每一者。如下文關於圖8A及圖8B更詳細地所論述，選擇窗502a、502b同步，使得對窗502a、502b中之一者調整大小使得其涵蓋特定時間跨度會自動地致使應用程式144對窗502a、502b中之另一者調整大小使得其亦涵蓋相同時間跨度。另外，應用程式144僅自對應於選擇窗502a、502b涵蓋之特定時間跨度之視訊記錄集合選擇影像搜尋結果406。以此方式，使用者可重新定位選擇窗502a、502b中之一者，且自動地使應用程式144對選擇窗502a、502b中之另一者調整大小且相應地更新搜尋結果406。
在圖8A及圖8B中，展示圖3之使用者介面頁面300，其中可調整大小選擇窗502a、502b經選擇以跨越第一持續時間(圖8A，其中僅選擇8月24日之搜尋結果406之部分)及第二較長持續時間(圖8B，其中選擇8月24日之搜尋結果406之實質上全部)。如上文所描述，圖8A及圖8B中之每一者中之窗502a、502b表示相同持續時間，此係因為應用程式144回應於使用者對窗502a、502b中之一者調整大小而自動地對另一者調整大小。另外，應用程式144顯示之搜尋結果406之陣列取決於由窗502a、502b選擇之持續時間而不同，此係因為該持續時間影響有多少視訊記錄集合可用作搜尋結果406之基礎。
現在參看圖6，展示使用者已切換切換篩選422以將經顯示搜尋結果406限制為使用者已提供確認彼等結果406顯示感興趣的人308之匹配確認使用者輸入的彼等結果及用作臉部縮圖402及身體縮圖404之基礎的彼等結果之後的圖5之使用者介面頁面300。如上文所提到，用以反白顯示陣列中之搜尋結果406的指示符410a至410c亦用以在橫條圖412及時刻表320中反白顯示何時獲得了彼等結果406。
圖7展示包括感興趣的人308之影像搜尋結果406、臉部縮圖402及身體縮圖404之使用者介面頁面，其中影像搜尋結果406展示感興趣的人308相比於圖3至圖6中穿戴不同衣服。在圖7中，選擇窗502a、502b已被調整使得影像搜尋結果限於自8月25日起之影像，而圖3至圖6所描繪之搜尋結果406限於自8月24日起之影像。如上文所提到，所描繪之實施例中的伺服器系統108使用臉部及身體搜尋兩者針對感興趣的人308搜尋視訊記錄集合，其中身體搜尋考量感興趣的人308之服裝。因此，併有臉部搜尋會幫助伺服器系統108識別感興趣的人308，特別是當他或她的服裝在視訊記錄集合中之一或多者之不同時間不同，或遍及構成視訊記錄集合之不同記錄而不同時。因為圖7之結果中之感興趣的人308相比於圖3至圖6中穿戴不同服裝，且他的身體之外觀已因此改變，所以因此主要使用臉部搜尋來識別圖7之影像搜尋結果406中(諸如使用參考數字702所標記之結果406中)所展示之感興趣的人308，此與身體搜尋相對。
現在參看圖9，展示根據另一實例實施例的用於針對感興趣的人308與使用者介接以促進影像搜尋之方法900。方法900可被表達為實施應用程式144且儲存於終端機104之非揮發性儲存體120中的電腦程式碼。在執行時間，處理器112將電腦程式碼載入至RAM 116中且執行程式碼，藉此執行方法900。
方法900在區塊902處開始，此後，處理器112繼續至區塊904，且在顯示器126上同時地顯示感興趣的人308之臉部縮圖402、身體縮圖404及影像搜尋結果406。
處理器112繼續至區塊906，其中處理器112接收某一形式之使用者輸入；使用者輸入之實例形式為上文所描述之匹配確認使用者輸入及搜尋開始使用者輸入。另外或替代地，使用者輸入可包含另一類型之使用者輸入，諸如與播放/暫停控制項426之互動、與橫條圖412之互動及與時刻表320之互動中之任何一或多者。
在接收到使用者輸入之後，處理器繼續至區塊908，其中處理器判定是否需要伺服器系統108來處理在區塊906處接收之使用者輸入。舉例而言，若使用者輸入係使用捲動軸418遍及影像結果406進行捲動，則不需要伺服器系統108，且處理器112直接繼續至區塊914，其中處理器112處理使用者輸入自身。當處理呈捲動之形式的輸入時，處理器112回應於捲動而判定如何更新影像結果406之陣列，且接著繼續至區塊916，其中處理器112實際上相應地更新顯示器126。
在某些實例中，處理器112判定需要伺服器系統108來適當地處理使用者輸入。舉例而言，使用者輸入可包括搜尋開始使用者輸入，其引起伺服器系統108開始針對感興趣的人308而對視訊記錄集合進行新搜尋。在彼實例中，處理器112繼續至區塊910，其中處理器112將請求發送至伺服器系統108以處理呈例如遠端程序呼叫之形式的搜尋開始使用者輸入。在區塊912處，處理器112接收來自伺服器系統108之結果，其可包括影像搜尋結果406及關聯影像之經更新陣列。
處理器112隨後繼續至區塊914，其中處理器112考慮到經更新搜尋結果406及在區塊912處自伺服器系統108接收之影像而判定如何更新顯示器126，且隨後繼續至區塊916以實際上更新顯示器126。
無論處理器112是否依賴於伺服器系統108以在區塊910及912處執行任何操作，本文中對處理器112或應用程式144執行操作之參考皆包括處理器112或應用程式144藉由來自伺服器系統108之輔助而執行的操作，及處理器112或應用程式144無需來自伺服器系統108之輔助而執行的操作。
在完成區塊916之後，無論處理器112是否回應於使用者輸入而與伺服器系統108通信，處理器112皆繼續至區塊918，其中方法900結束。
可對所描述之實施例進行特定調適及修改。舉例而言，關於任一用戶端側視訊檢閱應用程式144 (圖1及圖2)，此等已在本文中被描述為安裝於用戶端終端機104上之封裝軟體；然而，在一些替代實例實施例中，可經由使用網頁瀏覽器應用程式(例如，圖1所展示之其他應用程式152中之一者)而以較少安裝軟體來達成UI之實施。網頁瀏覽器應用程式為用以檢視、下載、上傳、瀏覽及/或以其他方式存取文件(例如，網頁)之程式。在一些實例中，瀏覽器應用程式可為熟知的Microsoft® Internet Explorer® 。當然，其他類型之瀏覽器應用程式亦係同樣可能的，包括例如Google® Chrome™。瀏覽器應用程式讀取所標記之頁面(例如，呈HTML)。又，瀏覽器應用程式將所標記之頁面解譯成使用者看見的被呈現為網頁之頁面。瀏覽器應用程式可在電腦終端機104上執行以與伺服器系統108上之軟體組件合作，以便使電腦終端機使用者能夠實行與提供輸入相關之動作，以便促進識別出現於複數個不同視訊記錄中之相同個體或物件。在此等狀況下，電腦終端機104之使用者被提供替代實例使用者介面，使用者經由該使用者介面輸入及接收關於視訊記錄之資訊。
儘管實例實施例已將用於搜尋之參考影像描述為取自經記錄視訊內之影像，但在一些實例實施例中，也許有可能基於經掃描相片或由數位攝影機拍攝之靜態影像進行搜尋。此在以下情況下可特別成立：相片或其他影像係例如在足夠近期拍攝，使得服裝及外觀很可能與可在視訊記錄中找到之服裝及外觀相同。
因此，上文所論述之實施例被視為說明性而非限定性的，且本發明應被認作僅受到隨附申請專利範圍限制。
100‧‧‧監視系統104‧‧‧電腦終端機108‧‧‧伺服器系統112‧‧‧處理器114‧‧‧輸入裝置116‧‧‧隨機存取記憶體120‧‧‧非揮發性儲存體124‧‧‧顯示控制器子系統126‧‧‧顯示器140‧‧‧作業系統144‧‧‧用戶端側視訊檢閱應用程式152‧‧‧其他應用程式164‧‧‧查詢管理器模組168‧‧‧媒體伺服器模組169‧‧‧視訊攝影機172‧‧‧分析引擎模組176‧‧‧軟體組件190‧‧‧資料儲存區191‧‧‧資料庫198‧‧‧攝影機模組202‧‧‧搜尋使用者介面模組204‧‧‧搜尋工作階段管理器模組300‧‧‧使用者介面頁面302‧‧‧書籤清單304‧‧‧經選擇書籤306‧‧‧影像圖框308‧‧‧感興趣的人310‧‧‧邊界框312‧‧‧快顯功能表314‧‧‧書籤後設資料316‧‧‧動作按鈕318‧‧‧書籤選項320‧‧‧時刻表322‧‧‧視訊控制按鈕324‧‧‧視訊時間指示符402‧‧‧臉部縮圖404‧‧‧身體縮圖408‧‧‧影像408a‧‧‧第一影像408b‧‧‧第二影像410a‧‧‧指示符410b‧‧‧指示符410c‧‧‧指示符412‧‧‧橫條圖414‧‧‧橫條418‧‧‧捲動軸422‧‧‧切換篩選424‧‧‧載入更多結果按鈕426‧‧‧播放/暫停控制項428‧‧‧列430‧‧‧行502a‧‧‧出現可能性繪圖可調整大小選擇窗502b‧‧‧時刻表可調整大小選擇窗900‧‧‧方法902‧‧‧區塊904‧‧‧區塊906‧‧‧區塊908‧‧‧區塊910‧‧‧區塊912‧‧‧區塊914‧‧‧區塊916‧‧‧區塊918‧‧‧區塊
現在將參考例如隨附圖式：
圖1展示實例實體監視系統之方塊圖，根據實例實施例之方法可實行於該實體監視系統內。
圖2展示用戶端側視訊檢閱應用程式之方塊圖，根據某些實例實施例，該用戶端側視訊檢閱應用程式可提供於圖1之實例監視系統內。
圖3展示根據使用圖2之用戶端側視訊檢閱應用程式而實施之實例實施例的包括視訊記錄之影像圖框之使用者介面頁面，其准許使用者開始針對感興趣的人之搜尋。
圖4展示根據使用圖2之用戶端側視訊檢閱應用程式而實施之實例實施例的包括感興趣的人之影像搜尋結果、臉部縮圖及身體縮圖之使用者介面頁面，其係在已開始針對感興趣的人之搜尋之後且在使用者已提供匹配確認使用者輸入之前產生。
圖5展示根據使用圖2之用戶端側視訊檢閱應用程式而實施之實例實施例的使用者介面頁面，其包括在使用者已提供匹配確認使用者輸入之後產生的感興趣的人之影像搜尋結果、臉部縮圖及身體縮圖。
圖6展示根據使用圖2之用戶端側視訊檢閱應用程式而實施之實例實施例的使用者介面頁面，其包括感興趣的人之影像搜尋結果、臉部縮圖及身體縮圖，其中該等影像搜尋結果限於使用者已指示之影像搜尋結果展示感興趣的人。
圖7展示根據使用圖2之用戶端側視訊檢閱應用程式而實施之實例實施例的使用者介面頁面，其包括感興趣的人之影像搜尋結果、臉部縮圖及身體縮圖，其中該等影像搜尋結果相比於圖3至圖6中穿戴不同衣服。
圖8A及圖8B展示根據使用圖2之用戶端側視訊檢閱應用程式而實施之實例實施例的使用者介面頁面，其包括感興趣的人之影像搜尋結果、臉部縮圖及身體縮圖，其中置放於表示出現可能性之橫條圖上方的可調整大小窗用以在第一持續時間(圖8A)及第二較長持續時間(圖8B)內選擇影像搜尋結果。
圖9展示根據另一實例實施例的用於針對感興趣的人與使用者介接以促進影像搜尋之方法。
在不同圖中可使用相似或相同的參考數字以表示圖式中所繪示之相似實例特徵。
300‧‧‧使用者介面頁面
306‧‧‧影像圖框
308‧‧‧感興趣的人
310‧‧‧邊界框
320‧‧‧時刻表
322‧‧‧視訊控制按鈕
324‧‧‧視訊時間指示符
402‧‧‧臉部縮圖
404‧‧‧身體縮圖
408‧‧‧影像
408a‧‧‧第一影像
408b‧‧‧第二影像
410a‧‧‧指示符
410b‧‧‧指示符
412‧‧‧橫條圖
414‧‧‧橫條
418‧‧‧捲動軸
422‧‧‧切換篩選
424‧‧‧載入更多結果按鈕
426‧‧‧播放/暫停控制項
428‧‧‧列
430‧‧‧行
502b‧‧‧時刻表可調整大小選擇窗

Claims (35)

  1. 一種用於針對一感興趣的人(person-of-interest)與一使用者介接(interfacing)以促進一影像搜尋之方法，該方法包含：在一顯示器上同時地顯示該感興趣的人之一臉部縮圖(thumbnail)、該感興趣的人之一身體縮圖及該感興趣的人之影像搜尋結果；與該臉部縮圖、該身體縮圖及該等影像搜尋結果同時地顯示一經選擇視訊記錄，其中該感興趣的人係顯示於該經選擇視訊記錄中；在該經選擇視訊記錄中顯示在該感興趣的人上方之一邊界框(boundary box)；接收指示針對該感興趣的人之一搜尋將開始之搜尋開始使用者輸入(search commencement user input)；回應於該搜尋開始使用者輸入：使用來自包含於該邊界框內之該經選擇視訊記錄之一影像圖框之至少一部分作為該身體縮圖；針對該感興趣的人搜尋一視訊記錄集合(collection of video recordings)，其中該視訊記錄集合包含該經選擇視訊記錄；及使用在該視訊記錄集合之該搜尋期間所識別的該感興趣的人之一臉部作為該臉部縮圖之部分；針對該感興趣的人判定一出現可能性繪圖(appearance likelihood plot)，其中該出現可能性繪圖描繪該感興趣的人在一時間跨度(time span)內出現於該視訊記錄集合中之一可能性；及與該等影像搜尋結果同時地顯示該出現可能性繪圖。
  2. 如請求項1之方法，其中該時間跨度被劃分成時間間隔，且其中：判定該出現可能性繪圖包含針對該等時間間隔中之每一者判定該感興趣的人針對該時間間隔出現於該視訊記錄集合中之一可能性；且顯示該出現可能性繪圖包含針對該等時間間隔中之每一者顯示一可能性指示符(likelihood indicator)，該可能性指示符表示該感興趣的人針對該時間間隔出現於該視訊記錄集合中之該可能性。
  3. 如請求項2之方法，其中，針對該等時間間隔中之每一者，該感興趣的人針對該時間間隔出現於該視訊記錄集合中之該可能性被判定為該感興趣的人針對該時間間隔出現於該視訊記錄集合中之任一視訊記錄中之一最大可能性。
  4. 如請求項3之方法，其中該出現可能性繪圖包含一橫條圖(bar graph)，該橫條圖針對該等時間間隔中之每一者包含一單一橫條。
  5. 如請求項1之方法，其進一步包含在該出現可能性繪圖上方顯示一出現可能性繪圖可調整大小選擇窗(resizable selection window)，其中該可調整大小選擇窗覆疊該時間跨度之至少一部分，且僅自對應於該時間跨度之該部分之該視訊記錄集合選擇該等影像搜尋結果。
  6. 如請求項5之方法，其進一步包含：與該出現可能性繪圖同時地顯示一時刻表(timeline)，其中該時刻表 涵蓋包含該視訊記錄集合之一持續時間之至少部分的一時間跨度；在該時刻表上方顯示一時刻表可調整大小選擇窗；接收指示該使用者正對該等選擇窗中之一者調整大小之窗調整大小使用者輸入(window resizing user input)；及回應於該窗調整大小使用者輸入，調整該等選擇窗中之另一者，使得該等選擇窗兩者涵蓋相同時間跨度。
  7. 如請求項1之方法，其中該等影像搜尋結果包含一第一影像及一第二影像，該身體縮圖包含該第一影像之至少一部分，該臉部縮圖包含該第二影像之至少一部分，且該方法進一步包含：在該第一影像及該第二影像上方顯示一第一指示符及一第二指示符，該第一指示符及該第二指示符指示該第一影像及該第二影像分別為該等身體及臉部縮圖之基礎；及在該出現可能性繪圖上對應於該第一影像及該第二影像出現於該視訊記錄集合中之時間之位置處顯示該第一指示符及該第二指示符。
  8. 如請求項7之方法，其進一步包含與該出現可能性繪圖同時地顯示以下各者：一時刻表，其中該時刻表涵蓋包含該視訊記錄集合之一持續時間之至少部分的一時間跨度；及該第一指示符及該第二指示符，其在該時刻表上對應於該第一影像及該第二影像出現於該視訊記錄集合中之時間之位置處。
  9. 一種用於針對一感興趣的人(person-of-interest)與一使用者介接(interfacing)以促進一影像搜尋之方法，該方法包含：在一顯示器上同時地顯示該感興趣的人之一臉部縮圖(thumbnail)、該感興趣的人之一身體縮圖及該感興趣的人之影像搜尋結果，其中該等影像搜尋結果中之每一者係根據該影像搜尋結果包含該感興趣的人之一可能性(likelihood)而定位於該顯示器上；接收關於該等影像搜尋結果中之至少一者是否描繪該感興趣的人之匹配確認使用者輸入(match confirmation user input)；當該等影像搜尋結果之該至少一者描繪該感興趣的人時，使用該匹配確認使用者輸入判定該等影像搜尋結果之定位是否將回應於該匹配確認使用者輸入而改變；及當該等影像搜尋結果之該定位將改變時，回應於該匹配確認使用者輸入而更新該等影像搜尋結果之該定位。
  10. 如請求項9之方法，其進一步包含與該臉部縮圖、該身體縮圖及該等影像搜尋結果同時地顯示一經選擇視訊記錄。
  11. 如請求項10之方法，其中該感興趣的人顯示於該經選擇視訊記錄中，且該方法進一步包含：在該經選擇視訊記錄中在該感興趣的人上方顯示一邊界框(boundary box)；接收指示針對該感興趣的人之一搜尋將開始之搜尋開始使用者輸入(search commencement user input)；及 回應於該搜尋開始使用者輸入，使用來自該邊界框內所含有之該經選擇視訊記錄之一影像圖框之至少一部分作為該身體縮圖。
  12. 如請求項11之方法，其進一步包含回應於該搜尋開始使用者輸入而進行以下操作：針對該感興趣的人搜尋一視訊記錄集合(collection of video recordings)，其中該視訊記錄集合包含該經選擇視訊記錄；及使用在該視訊記錄集合之該搜尋期間所識別的該感興趣的人之一臉部作為該臉部縮圖之部分。
  13. 如請求項12之方法，其中該視訊記錄集合包含使用不同視訊攝影機同時地產生之視訊記錄。
  14. 如請求項12之方法，其中該等影像搜尋結果包含一第一影像及一第二影像，該身體縮圖包含該第一影像之至少一部分，該臉部縮圖包含該第二影像之至少一部分，且該第一影像及該第二影像不同。
  15. 如請求項12之方法，其中針對該感興趣的人搜尋該視訊記錄集合包含：對該視訊記錄集合執行一臉部搜尋以識別該感興趣的人；及對該視訊記錄集合執行一身體搜尋以識別該感興趣的人，其中該等影像搜尋結果包含來自該臉部搜尋之結果及來自該身體搜尋之結果。
  16. 如請求項9之方法，其中該等影像搜尋結果包含一第一影像及一第二影像，該身體縮圖包含該第一影像之至少一部分，該臉部縮圖包含該第二影像之至少一部分，且該方法進一步包含在該第一影像及該第二影像上方顯示一第一指示符(indicator)及一第二指示符，該第一指示符及該第二指示符指示該第一影像及該第二影像分別為該等身體及臉部縮圖之基礎。
  17. 如請求項16之方法，其進一步包含：當該匹配確認使用者輸入指示該等經選擇影像結果中之任一者描繪該感興趣的人時，在該等經選擇影像結果中之該任一者上方顯示一第三指示符。
  18. 一種用於針對一感興趣的人與一使用者介接以促進一影像搜尋之系統，該系統包含：一顯示器；一輸入裝置；一處理器，其以通信方式(communicatively)耦接至該顯示器及該輸入裝置；及一記憶體，其以通信方式耦接至該處理器且其上儲存有可由該處理器執行之電腦程式碼，其中該電腦程式碼在由該處理器執行時致使該處理器執行一方法，該方法包含：在該顯示器上同時地顯示該感興趣的人之一臉部縮圖、該感興趣的人之一身體縮圖及該感興趣的人之影像搜尋結果，其中該等影像搜尋結果 中之每一者係根據該影像搜尋結果包含該感興趣的人之一可能性而定位於該顯示器上；經由該輸入裝置接收關於該等影像搜尋結果中之至少一者是否描繪該感興趣的人之匹配確認使用者輸入；當該等影像搜尋結果之該至少一者描繪該感興趣的人時，使用該匹配確認使用者輸入判定該等影像搜尋結果之定位是否將回應於該匹配確認使用者輸入而改變；及當該等影像搜尋結果之該定位將改變時，回應於該匹配確認使用者輸入而更新該等影像搜尋結果之該定位。
  19. 如請求項18之系統，其中該方法進一步包含在該顯示器上與該臉部縮圖、該身體縮圖及該等影像搜尋結果同時地顯示一經選擇視訊記錄。
  20. 如請求項19之系統，其中該感興趣的人顯示於該經選擇視訊記錄中，且其中該方法進一步包含：在該經選擇視訊記錄中在該感興趣的人上方顯示一邊界框；經由該輸入裝置接收指示針對該感興趣的人之一搜尋將開始之搜尋開始使用者輸入；回應於該搜尋開始使用者輸入，使用來自該邊界框內所含有之該經選擇視訊記錄之一影像圖框之至少一部分作為該身體縮圖。
  21. 如請求項20之系統，其中該方法進一步包含回應於該搜尋開始使用者輸入而進行以下操作： 針對該感興趣的人搜尋一視訊記錄集合，其中該視訊記錄集合包含該經選擇視訊記錄；及使用在該視訊記錄集合之該搜尋期間所識別的該感興趣的人之一臉部作為該臉部縮圖之部分。
  22. 如請求項18之系統，其中該等影像搜尋結果包含一第一影像及一第二影像，該身體縮圖包含該第一影像之至少一部分，該臉部縮圖包含該第二影像之至少一部分，且其中該方法進一步包含在該第一影像及該第二影像上方顯示一第一指示符及一第二指示符，該第一指示符及該第二指示符指示該第一影像及該第二影像分別為該等身體及臉部縮圖之基礎。
  23. 如請求項22之系統，其中該方法進一步包含：當該匹配確認使用者輸入指示該等經選擇影像結果中之任一者描繪該感興趣的人時，在該等經選擇影像結果中之該任一者上方顯示一第三指示符。
  24. 一種用於針對一感興趣的人與一使用者介接以促進一影像搜尋之系統，該系統包含：一顯示器；一輸入裝置；一處理器，其以通信方式耦接至該顯示器及該輸入裝置；及一記憶體，其以通信方式耦接至該處理器且其上儲存有可由該處理器執行之電腦程式碼，其中該電腦程式碼在由該處理器執行時致使該處理 器執行一方法，該方法包含：在該顯示器上同時地顯示該感興趣的人之一臉部縮圖、該感興趣的人之一身體縮圖及該感興趣的人之影像搜尋結果；在該顯示器上與該臉部縮圖、該身體縮圖及該等影像搜尋結果同時地顯示一經選擇視訊記錄，其中該感興趣的人顯示於該經選擇視訊記錄中；在該經選擇視訊記錄中在該感興趣的人上方顯示一邊界框；經由該輸入裝置接收指示針對該感興趣的人之一搜尋將開始之搜尋開始使用者輸入；回應於該搜尋開始使用者輸入，其包含：使用來自該邊界框內所含有之該經選擇視訊記錄之一影像圖框之至少一部分作為該身體縮圖；針對該感興趣的人搜尋一視訊記錄集合，其中該視訊記錄集合包含該經選擇視訊記錄；及使用在該視訊記錄集合之該搜尋期間所識別的該感興趣的人之一臉部作為該臉部縮圖之部分，其中該視訊記錄集合包含使用不同視訊攝影機同時地產生之視訊記錄。
  25. 一種用於針對一感興趣的人與一使用者介接以促進一影像搜尋之系統，該系統包含：一顯示器；一輸入裝置； 一處理器，其以通信方式耦接至該顯示器及該輸入裝置；及一記憶體，其以通信方式耦接至該處理器且其上儲存有可由該處理器執行之電腦程式碼，其中該電腦程式碼在由該處理器執行時致使該處理器執行一方法，該方法包含：在該顯示器上同時地顯示該感興趣的人之一臉部縮圖、該感興趣的人之一身體縮圖及該感興趣的人之影像搜尋結果；在該顯示器上與該臉部縮圖、該身體縮圖及該等影像搜尋結果同時地顯示一經選擇視訊記錄，其中該感興趣的人顯示於該經選擇視訊記錄中；在該經選擇視訊記錄中在該感興趣的人上方顯示一邊界框；經由該輸入裝置接收指示針對該感興趣的人之一搜尋將開始之搜尋開始使用者輸入；回應於該搜尋開始使用者輸入，其包含：使用來自該邊界框內所含有之該經選擇視訊記錄之一影像圖框之至少一部分作為該身體縮圖；針對該感興趣的人搜尋一視訊記錄集合，其中該視訊記錄集合包含該經選擇視訊記錄；及使用在該視訊記錄集合之該搜尋期間所識別的該感興趣的人之一臉部作為該臉部縮圖之部分，其中該等影像搜尋結果包含一第一影像及一第二影像，該身體縮圖包含該第一影像之至少一部分，該臉部縮圖包含該第二影像之至少一部分，且該第一影像及該第二影像不同。
  26. 一種用於針對一感興趣的人與一使用者介接以促進一影像搜尋之系統，該系統包含：一顯示器；一輸入裝置；一處理器，其以通信方式耦接至該顯示器及該輸入裝置；及一記憶體，其以通信方式耦接至該處理器且其上儲存有可由該處理器執行之電腦程式碼，其中該電腦程式碼在由該處理器執行時致使該處理器執行一方法，該方法包含：在該顯示器上同時地顯示該感興趣的人之一臉部縮圖、該感興趣的人之一身體縮圖及該感興趣的人之影像搜尋結果；在該顯示器上與該臉部縮圖、該身體縮圖及該等影像搜尋結果同時地顯示一經選擇視訊記錄，其中該感興趣的人顯示於該經選擇視訊記錄中；在該經選擇視訊記錄中在該感興趣的人上方顯示一邊界框；經由該輸入裝置接收指示針對該感興趣的人之一搜尋將開始之搜尋開始使用者輸入；回應於該搜尋開始使用者輸入，其包含：使用來自該邊界框內所含有之該經選擇視訊記錄之一影像圖框之至少一部分作為該身體縮圖；針對該感興趣的人搜尋一視訊記錄集合，其中該視訊記錄集合包含該經選擇視訊記錄；及使用在該視訊記錄集合之該搜尋期間所識別的該感興趣的人之一臉部作為該臉部縮圖之部分， 其中針對該感興趣的人搜尋該視訊記錄集合包含：對該視訊記錄集合執行一臉部搜尋以識別該感興趣的人；及對該視訊記錄集合執行一身體搜尋以識別該感興趣的人，及其中該等影像搜尋結果包含來自該臉部搜尋之結果及來自該身體搜尋之結果。
  27. 一種用於針對一感興趣的人與一使用者介接以促進一影像搜尋之系統，該系統包含：一顯示器；一輸入裝置；一處理器，其以通信方式耦接至該顯示器及該輸入裝置；及一記憶體，其以通信方式耦接至該處理器且其上儲存有可由該處理器執行之電腦程式碼，其中該電腦程式碼在由該處理器執行時致使該處理器執行一方法，該方法包含：在該顯示器上同時地顯示該感興趣的人之一臉部縮圖、該感興趣的人之一身體縮圖及該感興趣的人之影像搜尋結果；在該顯示器上與該臉部縮圖、該身體縮圖及該等影像搜尋結果同時地顯示一經選擇視訊記錄，其中該感興趣的人顯示於該經選擇視訊記錄中；在該經選擇視訊記錄中在該感興趣的人上方顯示一邊界框；經由該輸入裝置接收指示針對該感興趣的人之一搜尋將開始之搜尋開始使用者輸入；回應於該搜尋開始使用者輸入，其包含： 使用來自該邊界框內所含有之該經選擇視訊記錄之一影像圖框之至少一部分作為該身體縮圖；針對該感興趣的人搜尋一視訊記錄集合，其中該視訊記錄集合包含該經選擇視訊記錄；及使用在該視訊記錄集合之該搜尋期間所識別的該感興趣的人之一臉部作為該臉部縮圖之部分，針對該感興趣的人判定一出現可能性繪圖，其中該出現可能性繪圖描繪該感興趣的人在一時間跨度內出現於該視訊記錄集合中之一可能性；及在該顯示器上與該等影像搜尋結果同時地顯示該出現可能性繪圖。
  28. 如請求項27之系統，其中該時間跨度被劃分成時間間隔，且其中：判定該出現可能性繪圖包含針對該等時間間隔中之每一者判定該感興趣的人針對該時間間隔出現於該視訊記錄集合中之一可能性；且顯示該出現可能性繪圖包含針對該等時間間隔中之每一者顯示一可能性指示符，該可能性指示符表示該感興趣的人針對該時間間隔出現於該視訊記錄集合中之該可能性。
  29. 如請求項28之系統，其中，針對該等時間間隔中之每一者，該感興趣的人針對該時間間隔出現於該視訊記錄集合中之該可能性被判定為該感興趣的人針對該時間間隔出現於該視訊記錄集合中之任一視訊記錄中之一最大可能性。
  30. 如請求項29之系統，其中該出現可能性繪圖包含一橫條圖，該橫條圖針對該等時間間隔中之每一者包含一單一橫條。
  31. 如請求項27之系統，其中該方法進一步包含在該出現可能性繪圖上方顯示一出現可能性繪圖可調整大小選擇窗，其中該可調整大小選擇窗覆疊該時間跨度之至少一部分，且僅自對應於該時間跨度之該部分之該視訊記錄集合選擇該等影像搜尋結果。
  32. 如請求項31之系統，其中該方法進一步包含：在該顯示器上與該出現可能性繪圖同時地顯示一時刻表，其中該時刻表涵蓋包含該視訊記錄集合之一持續時間之至少部分的一時間跨度；在該時刻表上方顯示一時刻表可調整大小選擇窗；經由該輸入裝置接收指示該使用者正對該等選擇窗中之一者調整大小之窗調整大小使用者輸入；及回應於該窗調整大小使用者輸入，調整該等選擇窗中之另一者，使得該等選擇窗兩者涵蓋相同時間跨度。
  33. 如請求項27之系統，其中該等影像搜尋結果包含一第一影像及一第二影像，該身體縮圖包含該第一影像之至少一部分，該臉部縮圖包含該第二影像之至少一部分，且其中該方法進一步包含：在該第一影像及該第二影像上方顯示一第一指示符及一第二指示符，該第一指示符及該第二指示符指示該第一影像及該第二影像分別為該 等身體及臉部縮圖之基礎；及在該出現可能性繪圖上對應於該第一影像及該第二影像出現於該視訊記錄集合中之時間之位置處顯示該第一指示符及該第二指示符。
  34. 如請求項33之系統，其中該方法進一步包含在該顯示器上且與該出現可能性繪圖同時地顯示以下各者：一時刻表，其中該時刻表涵蓋包含該視訊記錄集合之一持續時間之至少部分的一時間跨度；及該第一指示符及該第二指示符，其在該時刻表上對應於該第一影像及該第二影像出現於該視訊記錄集合中之時間之位置處。
  35. 一種用於針對一感興趣的人與一使用者介接以促進一視訊記錄集合之一影像搜尋之方法，該方法包含：在一顯示器上同時地顯示以下各者：針對該感興趣的人之影像搜尋結果，其中該等影像搜尋結果被顯示為n個行乘m個列之一陣列，該等行中之每一者對應於一不同時間間隔，且對於該等行中之每一者，針對該等列中之任一者之該等搜尋結果具有一可能性，該可能性顯示該感興趣的人不低於該等列中之任一較低者；該感興趣的人之一臉部縮圖；及該感興趣的人之一身體縮圖；接收關於該等影像搜尋結果中之至少一者是否描繪該感興趣的人之匹配確認使用者輸入； 當該等影像搜尋結果之該至少一者描繪該感興趣的人時，使用該匹配確認使用者輸入判定該等影像搜尋結果之定位是否將回應於該匹配確認使用者輸入指示該等影像搜尋結果中之任何一或多者包含該感興趣的人而改變；及當該等影像搜尋結果之該定位將改變時，藉由調整該等影像搜尋結果被顯示之該等列而更新該等影像搜尋結果之該定位。
TW107127383A 2017-09-14 2018-08-07 針對一感興趣的人與一使用者介接以促進影像搜尋之方法及系統 TWI742300B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/705,076 2017-09-14
US15/705,076 US10810255B2 (en) 2017-09-14 2017-09-14 Method and system for interfacing with a user to facilitate an image search for a person-of-interest

Publications (2)

Publication Number Publication Date
TW201921270A TW201921270A (zh) 2019-06-01
TWI742300B true TWI742300B (zh) 2021-10-11

Family

ID=65631751

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107127383A TWI742300B (zh) 2017-09-14 2018-08-07 針對一感興趣的人與一使用者介接以促進影像搜尋之方法及系統

Country Status (3)

Country Link
US (1) US10810255B2 (zh)
TW (1) TWI742300B (zh)
WO (1) WO2019051581A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9626445B2 (en) * 2015-06-12 2017-04-18 Bublup, Inc. Search results modulator
CN106990894B (zh) * 2017-03-21 2020-08-11 北京小米移动软件有限公司 智能设备的控制方法及装置
WO2021146703A1 (en) * 2020-01-17 2021-07-22 Percipient.ai Inc. Systems and methods for identifying an object of interest from a video sequence
JP6573346B1 (ja) 2018-09-20 2019-09-11 パナソニック株式会社 人物検索システムおよび人物検索方法
US11048930B2 (en) 2018-11-09 2021-06-29 Avigilon Corporation Alias capture to support searching for an object-of-interest
CN111866428B (zh) * 2019-04-29 2023-03-14 杭州海康威视数字技术股份有限公司 一种历史录像数据处理方法及装置
US11587318B1 (en) * 2019-07-12 2023-02-21 Objectvideo Labs, Llc Video target tracking
CN110392235A (zh) * 2019-07-17 2019-10-29 河南大学 一种基于人工智能的视频监控处理***
JP6989572B2 (ja) * 2019-09-03 2022-01-05 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 捜査支援システム、捜査支援方法およびコンピュータプログラム
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
WO2022003854A1 (ja) * 2020-07-01 2022-01-06 日本電気株式会社 画像処理装置、画像処理方法、及びプログラム
EP3937071A1 (fr) * 2020-07-06 2022-01-12 Bull SAS Procédé d'assistance au suivi en temps réel d'au moins une personne sur des séquences d'images
US11501542B2 (en) 2020-09-29 2022-11-15 Vigilant Solutions Llc Unified reading solution for vehicles
US20230396741A1 (en) * 2020-10-23 2023-12-07 Canon Kabushiki Kaisha Computer-implemented method, computer program and apparatus for video processing and for generating a thumbnail from a video sequence, and video surveillance system comprising such an apparatus
GB2600404B (en) * 2020-10-23 2024-06-26 Canon Kk Computer-implemented method, computer program and apparatus for video processing, and video surveillance system comprising such an apparatus
CN114979784B (zh) * 2022-04-13 2024-01-09 浙江大华技术股份有限公司 目标录像的播放方法、装置、电子装置和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1260934A2 (en) * 2001-05-22 2002-11-27 Matsushita Electric Industrial Co., Ltd. Surveillance recording device and method
WO2014081727A1 (en) * 2012-11-20 2014-05-30 Denninghoff Karl L Search and navigation to specific document content
TW201545117A (zh) * 2014-05-09 2015-12-01 Lyve Minds Inc 縮圖影像建立

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050275902A1 (en) * 2004-05-25 2005-12-15 Konica Minolta Photo Imaging, Inc. Recording medium, information terminal device, and image print system
US8311294B2 (en) 2009-09-08 2012-11-13 Facedouble, Inc. Image classification and information retrieval over wireless digital networks and the internet
US7693301B2 (en) * 2006-10-11 2010-04-06 Arcsoft, Inc. Known face guided imaging method
US20080294663A1 (en) 2007-05-14 2008-11-27 Heinley Brandon J Creation and management of visual timelines
US7975217B2 (en) * 2007-12-21 2011-07-05 Google Inc. Embedding metadata with displayable content and applications thereof
US8700385B2 (en) * 2008-04-04 2014-04-15 Microsoft Corporation Providing a task description name space map for the information worker
US20090259987A1 (en) * 2008-04-11 2009-10-15 International Business Machines Corporation Method, system and computer program product for recommending components based on common usage patterns
US9229957B2 (en) * 2009-05-13 2016-01-05 Kwan Sofware Engineering, Inc. Reference objects and/or facial/body recognition
CA2785746C (en) 2009-12-30 2016-09-13 Nokia Corporation Methods and apparatuses for facilitating content-based image retrieval
JPWO2012132424A1 (ja) * 2011-03-31 2014-07-24 パナソニック株式会社 立体視映像の奥行きを変更することができる映像処理装置、システム、映像処理方法、映像処理プログラム
US9946430B2 (en) 2011-09-21 2018-04-17 Facebook, Inc. Displaying social networking system user information via a timeline interface
EP2979159A4 (en) 2013-03-29 2016-11-09 Hewlett Packard Development Co USER INTERFACE WITH ADJUSTABLE TIME LINE
US9471849B2 (en) 2013-05-05 2016-10-18 Qognify Ltd. System and method for suspect search
US20150319402A1 (en) * 2014-05-02 2015-11-05 International Business Machines Corporation Providing video recording support in a co-operative group
US9323983B2 (en) * 2014-05-29 2016-04-26 Comcast Cable Communications, Llc Real-time image and audio replacement for visual acquisition devices
US20150379092A1 (en) * 2014-06-26 2015-12-31 Hapara Inc. Recommending literacy activities in view of document revisions
US9924109B2 (en) * 2014-11-18 2018-03-20 The Invention Science Fund Ii, Llc Devices, methods, and systems for visual imaging arrays
US9781542B2 (en) * 2014-11-21 2017-10-03 Facebook, Inc. Techniques for predictive power management of a mobile device
US20170249067A1 (en) * 2016-02-29 2017-08-31 International Business Machines Corporation User interface feature recommendation
US10121515B2 (en) 2016-06-06 2018-11-06 Avigilon Corporation Method, system and computer program product for interactively identifying same individuals or objects present in video recordings
US10129718B2 (en) * 2016-12-28 2018-11-13 T-Mobile Usa, Inc. Data usage analytics application for dynamic control of data usage on a client device
US10200560B2 (en) * 2017-01-13 2019-02-05 Adobe Inc. Automated sharing of digital images
US20180322253A1 (en) * 2017-05-05 2018-11-08 International Business Machines Corporation Sensor Based Monitoring

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1260934A2 (en) * 2001-05-22 2002-11-27 Matsushita Electric Industrial Co., Ltd. Surveillance recording device and method
WO2014081727A1 (en) * 2012-11-20 2014-05-30 Denninghoff Karl L Search and navigation to specific document content
TW201545117A (zh) * 2014-05-09 2015-12-01 Lyve Minds Inc 縮圖影像建立

Also Published As

Publication number Publication date
WO2019051581A1 (en) 2019-03-21
US10810255B2 (en) 2020-10-20
TW201921270A (zh) 2019-06-01
US20190080003A1 (en) 2019-03-14

Similar Documents

Publication Publication Date Title
TWI742300B (zh) 針對一感興趣的人與一使用者介接以促進影像搜尋之方法及系統
US11526549B2 (en) Method and system for interfacing with a user to facilitate an image search for an object-of-interest
US10529381B2 (en) Method, system and computer program product for interactively identifying same individuals or objects present in video recordings
US11625835B2 (en) Alias capture to support searching for an object-of-interest
US10891509B2 (en) Method and system for facilitating identification of an object-of-interest
CA3111097C (en) Bounding box doubling as redaction boundary
US11386284B2 (en) System and method for improving speed of similarity based searches
US20210127071A1 (en) Method, system and computer program product for object-initiated redaction of surveillance video
JP2016200969A (ja) 画像処理装置、画像処理方法、及びプログラム
JP4792471B2 (ja) イメージシーケンスデータ検索のための情報要素抽出方法及びその方法を記録した記録媒体