TWI767972B - 基於凝視感測來解碼/編碼視訊資料之方法、顯示裝置、及攝影機 - Google Patents

基於凝視感測來解碼/編碼視訊資料之方法、顯示裝置、及攝影機 Download PDF

Info

Publication number
TWI767972B
TWI767972B TW106146135A TW106146135A TWI767972B TW I767972 B TWI767972 B TW I767972B TW 106146135 A TW106146135 A TW 106146135A TW 106146135 A TW106146135 A TW 106146135A TW I767972 B TWI767972 B TW I767972B
Authority
TW
Taiwan
Prior art keywords
video
operator
video stream
point
gaze
Prior art date
Application number
TW106146135A
Other languages
English (en)
Other versions
TW201830973A (zh
Inventor
比約恩 阿爾多
費德立克 皮爾
Original Assignee
瑞典商安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商安訊士有限公司 filed Critical 瑞典商安訊士有限公司
Publication of TW201830973A publication Critical patent/TW201830973A/zh
Application granted granted Critical
Publication of TWI767972B publication Critical patent/TWI767972B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)

Abstract

本發明揭示一種方法，其基於凝視感測來解碼視訊資料。該方法可解碼自與一攝影機相關聯之一編碼器接收之一編碼視訊串流且將該解碼視訊串流呈現於一裝置之一顯示器上。該方法可進一步偵測觀看該顯示器之一操作者之一凝視點，基於該凝視點來將與該解碼視訊串流相關聯之位置標定為跳躍區塊***點。該方法可將該等位置發送至該編碼器，其中當編碼由該攝影機產生之視訊資料時，該編碼器降低對應於該等跳躍區塊***點之圖框間編碼區塊之一更新率。一設備可實施該方法以基於凝視感測來解碼視訊資料。

Description

基於凝視感測來解碼/編碼視訊資料之方法、顯示裝置、及攝影機
一視訊監視系統可在分配由一或多個攝影機產生之視訊串流時產生大量資料。因為視訊監視系統中之組件可經由一網路互連，所以分配視訊串流會消耗大量網路資源。當在一顯示器上呈現諸多視訊串流時，一單一操作者每次僅可關注一個視訊串流。因此，在習知視訊監視系統中，因分配操作者不觀看之視訊串流而消耗大量網路資源。
在一實施例中，揭示一種用於基於凝視感測來解碼視訊資料之方法。該方法可包含：解碼自與一攝影機相關聯之一編碼器接收之一編碼視訊串流且將該解碼視訊串流呈現於一裝置之一顯示器上。該方法可包含：偵測觀看該顯示器之一操作者之一凝視點；及基於該凝視點來將與該解碼視訊串流相關聯之位置標定為跳躍區塊***點。該方法可包含：將該等位置發送至該編碼器，其中當編碼由該攝影機產生之視訊資料時，該編碼器降低對應於該等跳躍區塊***點之圖框間編碼區塊之一更新率。
由於基於凝視感測來降低編碼期間之區塊之該更新率，所以該操作者之周邊視域中之視訊串流之位元率可自該操作者集中關注之區域之位元 率降低以因此提高網路之利用率及效率。再者，解碼包含具有較低更新率之區塊之視訊串流將減少編碼器及解碼器兩者之運算負載且因此節省編碼視訊串流之攝影機及解碼視訊串流之監視站中之電力消耗。
在一實施例中，該方法可包含：將該解碼視訊串流呈現於該裝置之該顯示器上之具有該操作者之一主要聚焦點之一視窗中；及判定該操作者之該凝視點係在具有該操作者之該主要聚焦點之該視窗之邊界內。該方法可包含：判定具有該操作者之該主要聚焦點之該視窗內之一視窩視覺區域；及將與該視窩視覺區域外之該解碼視訊串流相關聯之位置標定為跳躍區塊***點。該方法可基於該操作者之凝視來提高呈現於具有該操作者之該主要聚焦點之該視窗中之視訊之品質。
在一實施例中，該方法可包含：解碼至少一額外編碼視訊串流；及將該解碼視訊串流及該至少一額外解碼視訊串流各呈現於該裝置之該顯示器上之來自複數個視窗之單獨視窗中或該裝置之另一顯示器上。該方法可包含：基於該凝視點來判定具有該操作者之一主要聚焦點之來自該複數個視窗之一視窗；及將位置標定為與不具有該操作者之該主要聚焦點之該至少一視窗相關聯之該解碼視訊串流內之跳躍區塊***點。相應地，該方法可避免將運算、電力及網路資源浪費於不具有該使用者之該主要聚焦點之視窗中之一或多個視訊上。
在一實施例中，該方法可包含：基於該凝視點來判定具有該操作者之該主要聚焦點之該視窗內之一視窩視覺區域；及將該視窩視覺區域外之位置標定為與具有該操作者之該主要聚焦點之該視窗相關聯之該解碼視訊串流中之跳躍區塊***點。相應地，該方法可避免將運算、電力及網路資源浪費於具有該使用者之該主要聚焦點之一視窗內之視訊之一或多個部分 上。
在一實施例中，該方法可包含：判定與不具有該操作者之該主要聚焦點之該至少一視窗相關聯之一次要解碼視訊串流之一圖像群組(GOP)長度，該GOP長度大於與具有該操作者之該主要聚焦點之該視窗相關聯之該解碼視訊串流之GOP長度。該方法可包含：將該判定GOP長度發送至與該次要解碼視訊串流相關聯之一編碼器以編碼與不具有該操作者之該主要聚焦點之該至少一視窗相關聯之視訊。該GOP長度可經適當判定以依一有效方式分配運算、網路及電力資源。
在一實施例中，該方法可包含：判定自該凝視點至不具有該操作者之該主要聚焦點之該至少一視窗之一距離。該方法可包含：隨該凝視點與不具有該操作者之該主要聚焦點之該至少一視窗之間的該距離增大而增大該判定GOP長度。
在一實施例中，該方法可包含：當一凝視點在具有該操作者之一主要聚焦點之該視窗內移動時，追蹤該凝視點達超過一預定臨限值之一時段或一距離；使該凝視點之該移動與該解碼視訊中之一移動物體關聯。該方法可包含：將該移動物體標定為一關注物體；及防止將位置標定為與該解碼視訊串流中之該關注物體相關聯之位置之跳躍區塊***點。基於凝視來追蹤該物體對該操作者提供標定關注物體之一自然有效方式。
在一實施例中，該方法可包含：產生表示該標定關注物體之一識別符；及將該識別符保存於含有該解碼視訊串流之元資料之一資料庫中。基於凝視來產生該識別符對該操作者提供標定關注物體之一自然有效方式。
在一實施例中，該方法可包含：判定該凝視點係保持於該顯示器上之實質上相同位置處達超過一預定臨限值之一時段；及增大該凝視點周圍 之一預定區域中之該解碼視訊串流之一放大率。基於凝視來控制放大率對該操作者提供識別該視訊中之一關注區域中之細節之一自然有效方式。
在一實施例中，該方法可包含：判定該凝視點係保持於具有該操作者之該主要聚焦點之該視窗上達超過一預定臨限值之一時段；及增大具有該操作者之該主要聚焦點之該視窗之該放大率。基於凝視來控制放大率對該操作者提供識別該視訊中之一關注區域中之細節之一自然有效方式。
在一實施例中，該方法可包含：因該操作者眨眼而判定該凝視點在一預定時段內消失及重現預定次數，同時在該顯示器上保持實質上相同位置；及執行與該凝視點周圍之該區域中之該解碼視訊串流相關聯之一命令。基於凝視及眨眼來輸入命令對該操作者提供將命令輸入至該視訊監視系統中之一自然有效方式。
在一實施例中，執行該命令可包含：改變該凝視點周圍之該區域中之該解碼視訊串流之該放大率或將一識別符保存於標記該凝視點周圍之該區域中之該解碼視訊串流之一資料庫中。控制該凝視點周圍之一區域中之放大率對該操作者提供識別該視訊中之一關注區域中之細節之一自然有效方式。
在一實施例中，該方法可包含：在一時間段內追蹤該凝視點之位置；及基於該凝視點之該等追蹤位置來預測該凝視點之下一位置。預測該凝視點之將來位置可減少基於凝視控制來調整視訊串流之位元率之延時。
在一實施例中，該方法可包含：接收一合併編碼視訊串流，該合併編碼視訊串流包含具有包含跳躍區塊之中間圖框之一第一分量視訊串流及具有比該第一分量視訊串流序列低之一像素密度之一第二分量視訊串流，其中該第二分量視訊串流在時間及空間上與該第一分量視訊串流相關聯。 該方法可包含：識別該第一分量視訊串流之中間圖框中之跳躍區塊；及解碼不是跳躍區塊之區塊中之該第一分量視訊串流之中間圖框。該方法可包含：解碼該第二分量視訊串流之中間圖框；使該解碼第二分量視訊串流中之中間圖框升級以匹配該解碼第一分量視訊串流中之該等中間圖框之該像素密度。該方法可包含：識別該經升級解碼第二分量視訊串流中之像素，該等像素對應於該解碼第一分量視訊串流中之該等跳躍區塊位置。該方法可包含：提取該解碼第二分量視訊串流中之該等識別像素；及將該等提取像素***至該解碼第一分量視訊串流中之該等跳躍區塊之對應位置中。上述方法透過***跳躍區塊來減少視訊資料處理量。
在一實施例中，揭示一種用於基於凝視感測來編碼視訊資料之方法。該方法可包含：接收由至少一感測器陣列擷取之視訊資料；接收與一解碼視訊串流相關聯之位置以標定用於編碼該接收視訊資料之跳躍區塊***點，其中該等位置係基於一裝置處所判定之凝視點。該方法可包含：在編碼該接收視訊資料之前基於該等接收位置來識別跳躍區塊***點，其中該等跳躍區塊***點標定具有降低更新率之中間圖框內之區塊。該方法可包含：依據該等經識別之跳躍區塊***點來判定降低更新率之一頻率；及基於該判定頻率來編碼具有與該等經識別之跳躍區塊***點相關聯之區塊之中間圖框。基於凝視來判定跳躍區塊***點允許有效使用運算、電力及網路資源。
在一實施例中，該方法可包含：自該接收視訊資料產生一第一視訊序列；及自該接收視訊資料產生具有比該第一視訊序列低之一像素密度之一第二視訊序列，其中該第二視訊序列在時間及空間上類似於該第一視訊序列。該方法可包含：指示該第一視訊序列中之相關像素，其中將該等經 識別之跳躍區塊***點標定為不相關的；及編碼該第一視訊序列中之該等相關指示像素以產生一第一編碼視訊串流，其中使用跳躍區塊來編碼標定為不相關之像素。該方法可包含：編碼該第二視訊序列以產生一第二編碼視訊串流；及合併該第一編碼視訊串流及該第二編碼視訊串流。該方法可包含：將該合併編碼視訊串流發送至該裝置。基於凝視來判定跳躍區塊***點允許有效使用運算、電力及網路資源。
在一實施例中，其中產生該第二視訊序列之該方法可包含：在兩個維度上降低該第一視訊序列之數位取樣率。在兩個維度上降低取樣率可提高視訊編碼之處理速度。
在一實施例中，進一步指示相關像素之該方法可包含：產生該第一視訊序列之遮罩。產生遮罩可藉由減少視訊編碼量來提高效率。
在一實施例中，揭示一種裝置，其經組態以基於凝視感測來解碼視訊資料。該裝置可包含：一顯示器；一通信介面，其經組態以通過一網路交換資料；一處理器，其耦合至該顯示器及該通信介面；及一記憶體，其耦合至該處理器，該記憶體儲存指令。該等指令可引起該處理器：解碼自與一攝影機相關聯之一編碼器接收之一編碼視訊串流；將該解碼視訊串流呈現於該顯示器上；偵測觀看該顯示器之一操作者之一凝視點；基於該凝視點來將與該解碼視訊串流相關聯之位置標定為跳躍區塊***點；及將該等位置發送至該編碼器。當編碼由該攝影機產生之視訊資料時，該編碼器降低對應於該等跳躍區塊***點之圖框間編碼區塊之一更新率。基於凝視來判定跳躍區塊***點允許有效使用運算、電力及網路資源。
在一實施例中，該記憶體可包含進一步引起該處理器進行以下操作之指令：將該解碼視訊串流呈現於該裝置之該顯示器上之具有該操作者之 一主要聚焦點之一視窗中；判定該操作者之該凝視點係在具有該操作者之該主要聚焦點之該視窗之邊界內；判定具有該操作者之該主要聚焦點之該視窗內之一視窩視覺區域；及將與該視窩視覺區域外之該解碼視訊串流相關聯之位置標定為跳躍區塊***點。基於凝視來判定跳躍區塊***點允許有效使用運算、電力及網路資源。
在一實施例中，該記憶體可包含引起該處理器進行以下操作之指令：解碼至少一額外編碼視訊串流；將該解碼視訊串流及該至少一額外解碼視訊串流各呈現於該顯示器上之來自複數個視窗之單獨視窗中；基於該凝視點來判定具有該操作者之一主要聚焦點之來自該複數個視窗之一視窗；及將位置標定為與不具有該操作者之該主要聚焦點之該至少一視窗相關聯之該解碼視訊串流內之跳躍區塊***點。基於凝視來判定跳躍區塊***點允許有效使用運算、電力及網路資源。
在一實施例中，該記憶體可包含引起該處理器進行以下操作之指令：基於該凝視點來判定具有該操作者之該主要聚焦點之該視窗內之一視窩視覺區域；及將該視窩視覺區域外之位置標定為與具有該操作者之該主要聚焦點之該視窗相關聯之該解碼視訊串流中之跳躍區塊***點。基於凝視來判定跳躍區塊***點允許有效使用運算、電力及網路資源。
在一實施例中，揭示一種用於基於凝視感測來編碼視訊資料之攝影機。該攝影機可包含：一感測器陣列；一通信介面，其經組態以通過一網路交換資料；一控制器、一影像處理器及一視訊編碼器，其等耦合至該感測器陣列及該通信介面；及一記憶體，其耦合至該控制器、該影像處理器及該視訊編碼器。該記憶體儲存可引起該控制器、該影像處理器或該視訊編碼器進行以下操作之指令：接收由該感測器陣列擷取之視訊資料；及接 收與一解碼視訊串流相關聯之位置以標定用於編碼該接收視訊資料之跳躍區塊***點。該等位置可基於一用戶端裝置處所判定之凝視點，在編碼該接收視訊資料之前基於該等接收位置來識別跳躍區塊***點，其中該等跳躍區塊***點標定具有降低更新率之中間圖框內之區塊，依據該等經識別之跳躍區塊***點來判定該降低更新率之一頻率，且基於該判定頻率來編碼具有與該等經識別之跳躍區塊***點相關聯之區塊之中間圖框。基於凝視來判定跳躍區塊***點允許有效使用運算、電力及網路資源。
在一實施例中，該記憶體可包含進一步引起該控制器、該影像處理器或該視訊編碼器之至少一者進行以下操作之指令：自該接收視訊資料產生一第一視訊序列；自該接收視訊資料產生具有比該第一視訊序列低之一像素密度之一第二視訊序列，其中該第二視訊序列在時間及空間上類似於該第一視訊序列；指示該第一視訊序列中之相關像素，其中將該等經識別之跳躍區塊***點標定為不相關的；編碼該第一視訊序列中之該等相關指示像素以產生一第一編碼視訊串流，其中使用跳躍區塊來編碼標定為不相關之像素；編碼該第二視訊序列以產生一第二編碼視訊串流；合併該第一編碼視訊串流及該第二編碼視訊串流；及將該合併編碼視訊串流發送至該用戶端裝置。基於凝視來判定跳躍區塊***點允許有效使用運算、電力及網路資源。
100:環境
102:物體
102-1至102-X:物體
106:監視區域
106-1至106-X:監視區域
110:攝影機
110-1至110-M:攝影機
120:網路
125:監視站
125-1至125-N:監視站
130:顯示器
130-1至130-N:顯示器
140:眼球追蹤器
140-1至140-N:眼球追蹤器
150:視訊管理系統(VMS)
210:光學器件系列
212:鏡頭
220:感測器陣列
225:匯流排
230:影像處理器
240:控制器
245:記憶體
250:視訊編碼器
260:通信介面
270:馬達控制器
272:馬達
300:運算模組
310:匯流排
320:處理器
330:記憶體
340:輸入裝置
350:輸出裝置
360:通信介面
400:環境
402:操作者
410:凝視點
420:視窩視覺區域
430:周邊視覺區域
520:視訊圖框/視窗
520-1至520-N:圖框/視窗
522A:視窗
600:程序
610:區塊
615:區塊
620:區塊
625:區塊
630:區塊
700:程序
710:區塊
715:區塊
720:區塊
725:區塊
730:區塊
圖1係繪示一實施例中之包含眼球追蹤之一例示性環境的一方塊圖；圖2係繪示一實施例中之一攝影機之例示性組件的一方塊圖；圖3係繪示一實施例中之一運算模組之例示性組件的一方塊圖；圖4繪示一實施例中之其中一操作者觀看具有一眼球追蹤器之一顯示 器之一環境；圖5A及圖5B繪示兩個實施例中之一操作者所見之顯示器；圖6係繪示用於基於凝視感測來解碼視訊資料之一例示性程序的一流程圖；及圖7係用於基於凝視感測來編碼視訊資料之一例示性程序之一流程圖。
以下詳細描述參考附圖。不同圖式中之相同元件符號識別相同或類似元件。
鑑於視訊監視系統在任意時段內產生之大量資料，處理、分配及擷取收集資料會變得資源密集，尤其是在處理及/或網路資源利用方面。當一操作者通過一網路監視多個視訊串流時，呈現於一監視站之一顯示器上之諸多資料無法成為操作者之聚焦點。
為在一視訊監視系統中更有效地使用處理及/或網路資源，下文將描述之實施例係關於使用眼球追蹤來判定一操作者之聚焦點且降低不是操作者之聚焦點之視訊串流中之區塊之更新率的程序及系統。相應地，藉由感測操作者之凝視，操作者之周邊視域中之一單一視訊串流之部分可使區塊之更新率降低。另外或替代地，當在單獨視窗中對使用者呈現多個串流時，操作者之周邊視域中之視訊串流可使區塊之更新率在編碼視訊串流時降低。
由於在基於凝視感測之編碼期間降低區塊之更新率，所以操作者之周邊視域中之視訊串流之位元率可相較於操作者集中關注之區域之位元率而降低。再者，解碼包含具有較低更新率之區塊之視訊串流將減少編碼器 及解碼器兩者之運算負載，且因此節省編碼視訊串流之攝影機及解碼視訊串流之監視站中之電力消耗。
可(例如)使用以下申請案中所描述之技術來執行降低區塊之更新率：受讓於Axis AB之2015年2月5日公開之名稱為「Method,Device and System for Producing a Merged Digital Video Sequence」之美國專利公開申請案第US 2015/0036736號，該案以引用的方式併入本文中。
例如，可藉由在編碼中間圖框時迫使編碼器發送視訊之圖框中之SKIP區塊來完成降低區塊之更新率。當指示視訊之一部分之一SKIP區塊時，不針對視訊之該部分發送影像資料，即使輸入影像可能已自該區域中之先前影像改變。
本文所呈現之實施例可應用視訊編碼/解碼標準(諸如(例如)ISO/MPEG族群(MPEG-1、MPEG-2、MPEG-4)且應用於ITU-H.26X族群之視訊推薦(H.261、H.263及其擴展、H.264及HEVC，亦稱為H.265標準)。本文所呈現之實施例亦可應用於其他類型之視訊編碼標準，例如屬於WMV族群之Microsoft編解碼器、On2編解碼器(例如VP6、VP6-E、VP6-S、VP7或VP8)或WebM。
當執行視訊編碼以降低位元率時，可將待編碼之一圖框分割成可被壓縮及編碼之較小編碼單元(區塊、巨集區塊等等)。就圖框間編碼而言，區塊之各者可被賦予一或若干運動向量。可藉由根據運動向量組使像素區域自(若干)過去及/或將來圖框位移來構建圖框之一預測。其後，可比較在一先前圖框中由運動向量位移之區塊與一當前圖框，且待編碼之當前圖框與其運動補償預測之間的差異(稱為殘餘信號)係藉由使用變換編碼依類似於內部編碼圖框之一方式編碼之熵。
可藉由使用「跳躍區塊」來防止上述圖框間編碼。換言之，可在不發送殘餘誤差或運動向量之情況下「編碼」一跳躍區塊。相反地，編碼器可僅記錄已標定中間圖框中之一特定區塊位置之一跳躍區塊，且解碼器可自已解碼之其他區塊推斷影像資訊。在一實施例中，可自相同圖框之一區塊或數位視訊資料之一先前圖框中之一區塊推斷一跳躍區塊之影像資訊。
如本文所使用，內部圖框可在完全不參考任何過去或將來圖框之情況下編碼且稱為I圖框。中間圖框可使用單向預測圖框(稱為P圖框)編碼或編碼為雙向預測圖框(稱為B圖框)。P圖框及B圖框兩者可包含編碼未見於早先圖框中之任何位置中之新資料之區塊，但其等可為稀少的。I圖框可包括：場景改變圖框，其放置於對應於一場景改變之一新圖框群組之開頭(其中無時間冗餘可用)處；或再新圖框，其放置於其中可使用一些時間冗餘之其他位置中。I圖框通常依規律或不規律間隔***以具有用於新串流編碼器或作為傳輸誤差之一恢愎點之再新點。
I圖框可界限若干P圖框及B圖框，或在一些實施例中僅界限若干P圖框(所謂之一「圖像群組(GOP)」)。GOP長度可包含依每秒30個圖框取樣之視訊之30個圖框，其隱含1個I圖框可後接29個P圖框。在其他實施例中，GOP可為動態的且基於場景內容、視訊品質及/或由一眼球追蹤器提供之凝視資訊來變動。
圖1係繪示一實施例中之包含眼球追蹤之一例示性環境100的一方塊圖。環境100可為(例如)用於使一區域安全或提供公共安全之一監視系統。如圖1中所展示，環境100可包含攝影機110-1至110-M、網路120、一視訊管理系統(VMS)150、監視站125-1至125-N、眼球追蹤器140-1至140-N及/或顯示器130-1至120-N。環境100亦可包含諸如(例如)一運動偵 測器、一溫度偵測器、一煙霧偵測器等等(圖中未展示)之各種非成像偵測器。
攝影機110-1至110-M(指稱「攝影機110」、「複數個攝影機110」及「特定攝影機110-x」)擷取監視區域106之影像及/或視訊。一監視區域106可由一或多個攝影機110監視。物體102可包含諸如門、人、動物、車輛、車輛上之車牌等等之任何物體。
攝影機110可使用可見光、紅外光及/或其他非可見電磁輻射(例如紫外光、遠紅外光、兆赫輻射、微波輻射等等)擷取影像資料。攝影機110可包含一熱感攝影機及/或用於雷達成像之一雷達裝置。所擷取之影像資料可包含一連續影像序列(例如視訊)、一有限影像序列、靜態影像及/或其等之一組合。攝影機110可包含用於擷取及數位化影像之一數位攝影機及/或用於擷取影像及以一類比格式儲存影像資料之一類比攝影機。
攝影機110可包含產生配置成一或多個二維陣列之資料(例如影像資料或視訊資料)之感測器。如本文所使用，「視訊資料」及「視訊」可更一般地分別指稱「影像資料」及「影像」。因此，除非另有說明，否則「影像資料」或「影像」意謂包含「視訊資料」及「視訊」。同樣地，除非另有說明，否則「視訊資料」或「視訊」可包含一靜態影像。
其他監視裝置或感測器可自監視區域106擷取資訊。例如，一運動偵測器(例如除一攝影機之外之某器件)可偵測區域106-1中之運動。運動偵測器可包含一近接感測器、一磁性感測器、一侵入感測器、一壓力感測器、一紅外光感測器、一雷達感測器及/或一輻射感測器。作為另一實例，一煙霧偵測器可偵測區域106-1中之煙霧。煙霧偵測器亦可包含一熱感測器。
監視站125-1至125-N耦合至顯示器130-1至130-N(分別個別地指稱「監視站125」及「顯示器130」)。在一實施例中，監視站125-1至125-N亦耦合至眼球追蹤器140-1至140-N(個別地指稱「眼球追蹤器140」)。監視站125及顯示器130使操作者(圖1中未展示)能夠觀看由攝影機110產生之影像。眼球追蹤器140追蹤觀看顯示器130之一操作者之凝視。各監視站125-x、顯示器130-x及眼球追蹤器140-x可為用於與環境100中所展示之監視系統互動之一操作者之一「用戶端」。
顯示器130接收及顯示來自一或多個攝影機110之(若干)視訊串流。一單一顯示器130可展示來自一單一攝影機110或多個攝影機110(例如，在顯示器130上之多個圖框或視窗中)之影像。一單一顯示器130亦可展示來自一單一攝影機但在不同圖框中之影像。即，一單一攝影機可包含(例如)一廣角或魚眼鏡頭且提供多個區域106之影像。來自不同區域106之影像可被分離且在不同視窗及/或圖框中單獨展示於顯示器130上。顯示器130可包含一液晶顯示器(LCD)、一發光二極體(LED)顯示器、一有機LED(OLED)顯示器、一陰極射線管(CRT)顯示器、一電漿顯示器、一雷射視訊顯示器、一電泳顯示器、一量子點顯示器、一視訊投影器及/或任何其他類型之顯示裝置。
眼球追蹤器140包含使VMS 150(或環境100中之任何裝置)能夠判定一操作者之眼睛聚焦之位置之一感測器(例如一攝影機)。例如，一組近紅外光束可被導引至一操作者之眼睛以引起操作者之角膜中之反射。反射可由包含於眼球追蹤器140中之一攝影機追蹤以判定操作者之凝視區域。凝視區域可包含一凝視點及一視窩聚焦區域。例如，一操作者可坐在監視站125之顯示器130前面。眼球追蹤器140判定操作者聚焦於顯示器130之哪 個部分。各顯示器130可與一單一眼球追蹤器140相關聯。替代地，一眼球追蹤器140可對應於多個顯示器130。在此情況中，眼球追蹤器140可判定操作者聚焦於哪個顯示器及/或該顯示器130之哪個部分。
眼球追蹤器140亦可判定一使用者之存在、注意力、集中度、睡意、意識及/或其他狀態。眼球追蹤器140亦可判定一使用者之身份。來自眼球追蹤器140之資訊可用於洞察操作者隨時間之行為或判定操作者之當前狀態。在一些實施方案中，顯示器130及眼球追蹤器140可實施於由一操作者穿戴之一虛擬實境(VR)頭戴耳機中。操作者可使用一或多個攝影機110執行區域106之一虛擬檢查以作為至VR頭戴耳機中之輸入。
網路120可包含一或多個電路交換網路及/或分封交換網路。例如，網路120可包含一區域網路(LAN)、一廣域網路(WAN)、一都會區域網路(MAN)、一公用交換電話網路(PSTN)、一特用網路、一內部網路、網際網路、一光纖網路、一無線網路及/或此等或其他類型之網路之一組合。
VMS 150可包含協調攝影機110、顯示裝置130及/或眼球追蹤系統140之操作之一或多個電腦裝置，諸如(例如)伺服器裝置。VMS 150可接收及儲存來自攝影機110之影像資料。VMS 150亦可對監視站125之操作者提供一使用者介面以觀看儲存於VMS 150中之影像資料或自攝影機110串流傳輸之影像資料。
在一些實施例中，環境100不包含一單獨VMS 150。替代地，由VMS 150提供之服務係由監視站125及/或攝影機110本身提供或依一分佈方式提供於環境100中之裝置之間。同樣地，VMS 150可執行描述為由攝影機110執行之操作。例如，VMS 150可分析影像資料以偵測運動而非攝影機110。
儘管圖1展示環境100之例示性組件，但在其他實施方案中，環境100可相較於圖1中之描繪而包含更少組件、不同組件、不同配置組件或額外組件。另外或替代地，任一裝置(或任何裝置群組)可執行描述為由一或多個其他裝置執行之功能。
圖2係繪示一實施例中之一攝影機110之例示性組件的一方塊圖。如圖2中所展示，攝影機110可包含一光學器件系列210、一感測器陣列220、一匯流排225、一影像處理器230、一控制器240、一記憶體245、一視訊編碼器250及/或一通信介面260。在一實施例中，攝影機110可包含用於使攝影機110平移、傾斜及/或變焦之一或多個(例如三個)馬達控制器270及一或多個(例如三個)馬達272。
光學器件系列210包含一外殼，其將入射輻射(例如光、可見光、紅外波、毫米波等等)導引至一感測器陣列220以基於入射輻射來擷取一影像之。光學器件系列210包含鏡頭212以將來自一監視區域之入射輻射收集及聚焦至感測器陣列220上。
感測器陣列220可包含用於記錄、感測及量測入射或落入至感測器陣列220上之輻射(例如光)之一感測器陣列。輻射可在可見光波長範圍、紅外線波長範圍或其他波長範圍內。感測器陣列220可包含(例如)一電荷耦合裝置(CCD)陣列及/或一主動像素陣列(例如一互補金屬氧化物半導體(CMOS)感測器陣列)。感測器陣列220亦可包含一微測輻射熱計(例如，當攝影機110包含一熱感攝影機或偵測器時)。
感測器陣列220輸出指示(例如，描述性質或特性)入射於感測器陣列220上之輻射(例如光)之資料。例如，自感測器陣列220輸出之資料可包含入射於感測器陣列220中之一或多個像素上之資訊，諸如光強度(例如照 度)、色彩等等。入射於感測器陣列220上之光可為一「影像」，因為光可由於光學器件系列210中之鏡頭而聚焦。
感測器陣列220可被視為一「影像感測器」，因為其感測落入感測器陣列220上之影像。當該術語用於本文中時，一「影像」包含指示入射於感測器陣列220上之輻射(例如，描述光之性質或特性)之資料。相應地，術語「影像」亦可用於意謂「影像感測器資料」或描述一影像之任何資料或資料集。此外，一「像素」可意謂對其進行輻射之(若干)量測(例如指示入射於感測器陣列220上之光之量測)之感測器陣列220之任何區域。一像素可對應於感測器陣列220中之一或多個(或一個以下)感測器。在替代實施例中，感測器陣列220可為可使用掃描硬體(例如一旋轉鏡)來形成影像之一線性陣列或可依靠影像處理器230及/或控制器240來產生影像感測器資料之一非陣列感測器。視訊編碼器250可編碼用於傳輸至環境100中之其他裝置(諸如監視站125及/或VMS 150)之影像感測器資料。視訊編碼器250可使用諸如ISO/MPEG或ITU-H.26X族群之視訊編碼標準之視訊編碼技術。
匯流排225係使攝影機110中之組件能夠彼此通信之一通信路徑。控制器240可控制及協調攝影機110之操作。控制器240及/或影像處理器230對由感測器陣列220擷取之影像資料執行信號處理操作。控制器240及/或影像處理器230可包含解譯及執行指令之任何類型之單核心或多核心處理器、微處理器、基於鎖存器之處理器及/或處理邏輯(或處理器、微處理器及/或處理邏輯之族群)。控制器240及/或影像處理器230可包含或耦合至一硬體加速器，諸如一圖形處理單元(GPU)、一通用圖形處理單元(GPGPU)、一胞元、一場可程式化閘陣列(FPGA)、一特定應用積體電路 (ASIC)及/或另一類型之積體電路或處理邏輯。
控制器240亦可判定及控制攝影機110之所要焦點及位置(例如傾斜及變焦)。為此，控制器240將命令發送至一或多個馬達控制器270以驅動一或多個馬達272使攝影機110傾斜及/或平移或使鏡頭212光學變焦。
記憶體245可包含儲存資訊及/或指令之任何類型之揮發性及/或非揮發性儲存裝置。記憶體245可包含一隨機存取記憶體(RAM)或任何類型之動態儲存裝置、一唯讀記憶體(ROM)裝置或任何類型之靜態儲存裝置、一磁性或光學記錄記憶體裝置及其對應碟機或一可抽換記憶體裝置。記憶體245可儲存用於由處理器攝影機110使用之資訊及指令(例如應用程式及/或作業系統)及資料(例如應用資料)。
記憶體245可儲存用於由控制器240及/或影像處理器230執行之指令。軟體指令可自另一電腦可讀媒體或另一裝置讀取至記憶體245中。軟體指令可引起控制器240、視訊編碼器250及/或影像處理器230執行本文所描述之程序。例如，攝影機110可回應於控制器240、視訊編碼器250及/或影像處理器230執行儲存於記憶體245中之軟體指令而執行與影像處理相關之操作(例如編碼、轉碼、偵測物體等等)。替代地，固線式電路(例如邏輯)可替代軟體指令或與軟體指令組合使用以實施本文所描述之程序。
通信介面260包含電路及邏輯電路，其包含輸入及/或輸出埠、輸入及/或輸出系統及/或促進資料傳輸至另一裝置之其他輸入及輸出組件。例如，通信介面260可包含用於有線通信之一網路介面卡(例如乙太網路卡)或用於無線通信之一無線網路介面(例如一WiFi)卡。
儘管圖2展示攝影機110之例示性組件，但在其他實施方案中，攝影機110可相較於圖2中之描繪而包含更少組件、不同組件、不同配置組件 或額外組件。另外或替代地，攝影機110之一或多個組件可執行描述為由攝影機110之一或多個其他組件執行之功能。例如，控制器240可執行描述為由影像處理器230執行之功能，且反之亦然。替代地或另外，攝影機110可包含下文將相對於圖3描述之一運算模組。
圖3係繪示一實施例中之一運算模組之例示性組件的一方塊圖。諸如VMS 150、眼球追蹤系統140及/或顯示裝置130之裝置可包含一或多個運算模組300。如圖3中所展示，運算模組300可包含一匯流排310、一處理器320、一記憶體330及/或一通信介面360。在一些實施例中，運算模組300亦可包含一輸入裝置340及/或一輸出裝置350。
匯流排310包含允許運算模組300之組件或其他裝置之間的通信之一路徑。處理器320可包含解譯及執行指令之任何類型之單核心處理器、多核心處理器、微處理器、基於鎖存器之處理器及/或處理邏輯(或處理器、微處理器及/或處理邏輯之族群)。處理器320可包含一ASIC、一FPGA及/或另一類型之積體電路或處理邏輯。處理器320可包含或耦合至一硬體加速器，諸如一GPU、一GPGPU、一胞元、一FPGA、一ASIC及/或另一類型之積體電路或處理邏輯。
記憶體330可包含儲存資訊及/或指令之任何類型之揮發性及/或非揮發性儲存裝置。例如，記憶體330可包含一RAM或任何類型之動態儲存裝置、一ROM裝置或任何類型之靜態儲存裝置、一磁性或光學記錄記憶體裝置及其對應碟機或一可抽換記憶體裝置。記憶體330可儲存用於由處理器320使用之資訊及指令(例如應用程式及作業系統)及資料(例如應用資料)。
記憶體330可儲存用於由處理器320執行之指令。軟體指令可自另一 電腦可讀媒體或另一裝置讀取至記憶體330中。軟體指令可引起處理器320執行本文所描述之程序。替代地，固線式電路(例如邏輯)可替代軟體指令或與軟體指令組合使用以實施本文所描述之程序。
作業系統包含用於管理運算模組300之硬體及軟體資源之軟體指令。例如，作業系統可包含Linux、Windows、OS X、Android、嵌入式作業系統等等。應用程式及應用資料可取決於其中發現特定運算模組300之裝置而提供網路服務或包含應用程式。
通信介面360可包含使運算模組300能夠與其他組件、裝置及/或系統通信之一傳輸器及/或接收器(例如一收發器)。通信介面360可經由無線通信(例如射頻、紅外線等等)、有線通信或其等之一組合通信。通信介面360可包含將基頻信號轉換為射頻(RF)信號或反之亦然之一收發器且可耦合至一天線。
通信介面360可包含一邏輯組件，其包含輸入及/或輸出埠、輸入及/或輸出系統及/或促進資料傳輸至其他裝置之其他輸入及輸出組件。例如，通信介面360可包含用於有線通信之一網路介面卡(例如乙太網路卡)或用於無線通信之一無線網路介面(例如WiFi)卡。
一些裝置亦可包含輸入裝置340及輸出裝置350。輸入裝置340可使一使用者能夠將資訊輸入至運算模組300中。輸入裝置340可包含一鍵盤、一滑鼠、一筆、一麥克風、一攝影機、一觸控螢幕顯示器等等。
輸出裝置350可將資訊輸出至使用者。輸出裝置350可包含一顯示器、一印表機、一揚聲器等等。輸入裝置340及輸出裝置350可使一使用者能夠與由運算模組300執行之應用程式互動。就一「無周邊」裝置(諸如一部署遠端攝影機)而言，輸入及輸出主要透過通信介面360而非輸入裝置 340及輸出裝置350。
運算模組300可包含促進接收、傳輸及/或處理資料之其他組件(圖中未展示)。再者，運算模組300中之組件之其他組態係可行的。在其他實施方案中，運算模組300可相較於圖3中之描繪而包含更少組件、不同組件、額外組件或不同配置組件。另外或替代地，運算模組300之一或多個組件可執行描述為由運算模組300之一或多個其他組件執行之一或多個任務。
圖4繪示觀看具有眼球追蹤器140之顯示器130之一操作者402之一例示性環境400。顯示器130可包含用於對操作者402展示資訊之任何類型之顯示器。操作者402觀看顯示器130且可經由運行於監視站125上之一應用程式來與VMS 150互動。例如，操作者402可注視區域106之一視訊。根據規則，監視站125可在區域106中存在運動時發出一警報聲。接著，操作者402可藉由經由一鍵盤來與運行於監視站125上之一應用程式互動來使警報停止發聲以作出回應。
眼球追蹤器140包含使監視站125能夠判定操作者402之眼睛聚焦之位置之一感測器(例如一攝影機)。例如，在圖4中，操作者402坐在顯示器130前面且眼球追蹤器140中之感測器感測操作者402之眼睛。例如，眼球追蹤器140可判定可表示為顯示器130上之一位置(例如像素值)之一凝視點410。可基於操作者及顯示器130之相對位置來估計對應於操作者402之視窩視覺之一視窩視覺區域420(或「區域420」)。視窩視覺對應於眼睛之詳細視覺感知且大致對向1至2個固體度。相應地，可計算顯示器130上之區域420且將其理解為對應於具有全視覺敏銳度之操作者402之視覺之部分。在一替代實施例中，可在一特定操作者402之一設置程序期間通過實 驗判定區域420。區域420係與視窩視覺區域420外之周邊視覺區域430形成對比，周邊視覺區域430對應於操作者402之周邊視覺。凝視點410大致位於區域420之中心且對應於自凝視點410至操作者402之眼睛之視線。在一實施例中，識別凝視點410之資訊可傳輸至視訊管理系統150。
圖5A繪示操作者402所見之顯示器130。如圖5A中所展示，顯示器130包含凝視點410、視窩視覺區域420及周邊視覺區域430。顯示器130亦包含其中對操作者402呈現一視訊串流之一視訊圖框520。在此實例中，圖框520展示來自區域106-1之攝影機110-1之一視訊串流，其碰巧包含一門及似乎在移動之一個體。操作者402之視窩視覺區域420涵蓋個體且凝視點410正位於個體之臉上。另一方面，圖框520-1中所顯示之門出現於操作者402之周邊視覺區域430中。在下文將更詳細描述之一實例中，當在區域106-1中感測到運動時，監視站125-1顯示顯示器130之一視窗522A中所顯示之以下警示：「區域106-1中之運動警示」。
基於凝視點410及/或區域420之位置，可在編碼視訊串流時指定中間圖框中之區塊之不同更新率，使得由眼球追蹤器140產生之資訊可被解譯為至攝影機110之一使用者輸入(可經由視訊管理系統150)。例如，若眼球追蹤器140-1判定操作者402在觀看觀察一個體之上部分(如圖5A中所展示)，則位於區域420中之視訊資料(例如區塊)可經更新以在編碼期間產生中間圖框時保存運動及/或空間細節。另一方面，可將位於區域420外之視訊資料標定為具有產生所有或部分中間圖框時所使用之跳躍區塊，因此，區塊不會被頻繁更新以降低位元率。
圖5B亦繪示操作者402所見之顯示器130。然而，與圖5A相比，圖5B中之顯示器130展示諸多圖框520-1至520-N(「個別圖框520-x」、 「複數個圖框520」)。各圖框520-1至520-N可呈現一不同視訊串流，因此，操作者402可監視一個以上區域。不同串流可由不同攝影機110-1至110-M產生。替代地或另外，各圖框520-1至520-N可顯示由一共同攝影機110-x產生之不同串流。例如，攝影機110-x可使用一「魚眼」鏡頭且自一擴展角區域擷取視訊。視訊可經處理以減少由魚眼鏡頭引入之失真且將擴展角區域分離成對應於不同區域之分離視訊串流(其可單獨呈現於圖框520-1至520-N中)。如同圖5A，圖5B中之顯示器130包含凝視點410、視窩視覺區域420及周邊視覺區域430。
在此實例中，圖框520-1可展示來自區域106-1之攝影機110-1之一視訊串流，視訊圖框520-2可展示來自區域106-2(圖中未展示)之攝影機110-2(圖中未展示)之一視訊串流，等等。圖5B中之操作者402之視窩視覺區域420涵蓋圖框520-1之大部分且凝視點410接近個體之臉。圖框520中所顯示之門亦位於視窩視覺區域420中。另一方面，其他圖框520-2至520-N位於操作者402之周邊視覺區域430中。
凝視點410及/或視窩視覺區域420之位置可用於選擇及/或指定用於後續處理之一特定圖框520-x(其可不同於其他圖框520)。例如，如圖5B中所展示，凝視點410可用於指示圖框520-1係操作者所關注之一圖框。相應地，視訊監視系統可將更多資源分配給圖框520-1(例如頻寬及/或處理資源)以改良圖框520-1中之視訊串流之呈現，且減少分配給對應於不是操作者之關注點(例如，在周邊視覺中)之圖框之其他串流的資源。具體而言，若眼球追蹤器140-1判定操作者402在觀看圖框520-1(如圖5B中所展示)，則位於區域420中之視訊資料可經更新以在編碼期間產生中間圖框時保存運動及/或空間細節。另一方面，位於區域420外之其他圖框520-2至520- N之視訊資料可被標定為具有用於產生中間圖框之跳躍區塊，因此，區塊不會被頻繁更新以降低圖框520-2至520-N中之位元率。
圖6係繪示用於基於凝視感測來解碼視訊資料之一例示性程序600的一流程圖。在一實施例中，程序600可由一用戶端裝置(例如監視站125-x、眼球追蹤器140-x及顯示器130-x)藉由執行指令處理器320來執行。指令可儲存於記憶體300中。在一替代實施例中，程序600可由VMS 150執行。
在一實施例中，程序600可首先包含：解碼自與一攝影機110相關聯之一編碼器(例如視訊編碼器250)接收之一編碼視訊串流(區塊610)。可經由網路120在監視站125處接收之編碼視訊串流可由使監視區域106-x中之物體102-x成像之攝影機110-x產生。程序600可進一步包含：將解碼視訊串流呈現於監視站125之顯示器130上(區塊615)；及偵測觀看顯示器130之操作者402之凝視點410(區塊620)。程序600可包含：基於凝視點410來將與解碼視訊串流相關聯之位置標定為跳躍區塊***點(區塊625)；及將位置發送至視訊編碼器250(區塊630)，其中當編碼由攝影機110產生之視訊資料時，視訊編碼器250可降低對應於跳躍區塊***點之圖框間編碼區塊之一更新率。
程序600可進一步包含：將解碼視訊串流呈現於監視站125之顯示器130上之具有操作者402之一主要聚焦點之一視窗520中；及判定操作者402之凝視點410係在具有操作者402之主要聚焦點之視窗520之邊界內。程序600可進一步包含：判定具有操作者402之主要聚焦點之視窗內之一視窩視覺區域420。可基於操作者402與顯示器130之間的距離來計算顯示器130上之區域420。程序600可進一步包含：將與視窩視覺區域420外之 解碼視訊串流相關聯之位置標定為跳躍區塊***點。
在另一實施例中，監視站125可自一或多個攝影機110接收用於呈現於顯示器130上之多個視訊串流。在一實例中，多個串流可來自具有一魚眼鏡頭之相同攝影機110-x，該魚眼鏡頭自一廣角視域(例如360度)收集視訊且接著使視域之不同部分變形校正(de-warp)以產生複數個單獨未失真視訊串流。另外或替代地，多個視訊串流可由可收集監視區域106之不同部分之複數個攝影機110產生。相應地，程序600可進一步包含：解碼一或多個額外編碼視訊串流；將解碼視訊串流及該(等)額外解碼視訊串流各呈現於監視站125之顯示器130上之來自複數個視窗520之單獨視窗中。替代地，(若干)額外視訊串流可呈現於監視站125之一額外顯示器上。程序600可包含：基於凝視點410來判定具有操作者402之一主要聚焦點之來自複數個視窗520之一視窗520-1；及將位置標定為與不具有操作者402之主要聚焦點之至少一視窗520-2至520-N相關聯之解碼視訊串流內之跳躍區塊***點。程序600可進一步包含：基於凝視點410來判定具有操作者402之主要聚焦點之視窗520-1內之視窩視覺區域420；及將視窩視覺區域420外之位置標定為與具有操作者402之主要聚焦點之視窗520-1相關聯之解碼視訊串流中之跳躍區塊***點。
程序600可進一步包含：判定與不具有操作者402之主要聚焦點之至少一視窗(520-2至520-N)相關聯之一次要解碼視訊串流之一圖像群組(GOP)長度，該GOP長度大於與具有操作者之主要聚焦點之視窗520-1相關聯之解碼視訊串流之GOP長度；將經判定之GOP長度發送至與次要解碼視訊串流相關聯之編碼器250以編碼與不具有操作者之主要聚焦點之視窗520-2至520-N相關聯之視訊。程序600可進一步包含：判定自凝視點 410至不具有操作者之主要聚焦點之至少一視窗(例如520-2至520-N)之一距離；及隨凝視點410與不具有操作者402之主要聚焦點之至少一視窗(例如520-2至520-N)之間的距離增大而增大經判定之GOP長度。
關於GOP長度，典型視訊收集方案可僅依每秒30個圖框使用具有30個影像之一GOP長度之I圖框及P圖框。此隱含1個I圖框可後接29個P圖框。在此一情況中，操作者402未關注之區域中之巨集區塊可降低至每秒更新1次，而被關注之巨集區塊可每秒更新全部30次。較低更新率亦可設定為每秒2次、3次或5次更新，同時維持一穩定更新率。若更新率無需完全穩定，則更新可為每次1次至每秒30次之間的任何者。在一實施例中，GOP長度可動態地基於由眼球追蹤器140判定之操作者402之聚焦點。
程序600可進一步包含：當凝視點410在具有操作者402之一主要聚焦點之視窗520-1內移動時，追蹤凝視點410達超過一預定臨限值之一時段或一距離；使凝視點410之移動與解碼視訊中之一移動物體關聯；將移動物體標定為一關注物體；及防止將位置指定為與解碼視訊串流中之關注物體相關聯之位置之跳躍區塊***點。程序600亦可包含：產生表示關注標定物體之一識別符；及將識別符保存於含有解碼視訊串流之元資料之一資料庫中。
程序600可進一步包含：判定凝視點410係保持於顯示器130上之實質上相同位置處達超過一預定臨限值之一時段；及接著增大凝視點410周圍之一預定區域中之解碼視訊串流之一放大率。替代地，程序600可包含：判定凝視點410係保持於具有操作者402之主要聚焦點之視窗520-1上達超過一預定臨限值之一時段；及接著相對於不具有操作者402之主要聚焦點之其他視窗(520-2至520-N)而增大具有操作者402之主要聚焦點之視窗 520-1之放大率。
程序600亦可包含：因操作者402眨眼而判定凝視點410在一預定時段內消失及重現預定次數，同時在顯示器130上保持實質上相同位置。程序600可進一步包含：執行與凝視點410周圍之區域中之解碼視訊串流相關聯之一命令。程序600亦可包含：改變凝視點周圍之區域中之解碼視訊串流之放大率；或將一識別符保存於標記凝視點周圍之區域中之解碼視訊串流之一資料庫中。
程序600可進一步包含：在一時間段內追蹤凝視點410之位置；及基於凝視點之追蹤位置來預測凝視點之下一位置。可使用已知追蹤及/或統計估計技術來執行預測。相應地，程序600可最小化或至少減少凝視點410移位之時間與達成與該位置相關聯之中間圖框之一全更新率之時間之間的延遲。例如，可能需要具有一非常低延時之用於賭場中之攝影機110。在該等情況中，延遲可為非常低，使得操作者402不受凝視點410每次移動時必須等待全更新率之影響。若攝影機110之反應不夠快，則可使用凝視點410之上述預測。
為解碼具有跳躍區塊***點之視訊串流，程序600可進一步包含：接收一合併編碼視訊串流，該合併編碼視訊串流包含：一第一分量視訊串流，其具有包含跳躍區塊之中間圖框；及一第二分量視訊串流，其具有比該第一分量視訊串流序列低之一像素密度，其中該第二分量視訊串流在時間及空間上與該第一分量視訊串流相關聯。程序600可進一步包含：識別第一分量視訊串流之中間圖框中之跳躍區塊；及解碼不是跳躍區塊之區塊中之第一分量視訊串流之中間圖框。程序600可進一步包含：解碼第二分量視訊串流之中間圖框；使經解碼之第二分量視訊串流中之中間圖框升級 以匹配經解碼之第一分量視訊串流中之中間圖框之像素密度；識別經升級之解碼第二分量視訊串流中之像素，該等像素對應於經解碼之第一分量視訊串流中之跳躍區塊位置；提取經解碼之第二分量視訊串流中之經識別像素；及將所提取之像素***至經解碼之第一編碼位元串流中之跳躍區塊之對應位置中。
圖7係展示用於基於凝視感測來編碼視訊資料之一例示性程序700的一流程圖。在一實施例中，程序700可在攝影機110中藉由在控制器240、影像處理器230或視訊編碼器250或其等之任何組合上執行指令來執行。指令可儲存於一共同記憶體245中及/或至少部分儲存於專用於控制器240、影像處理器230及視訊編碼器250之個別記憶體上。
程序700可包含：接收由感測器陣列220擷取之視訊資料(區塊710)。所擷取之視訊資料對應於與攝影機110相關聯之一監視區域106。程序700可進一步包含：接收與一解碼視訊串流相關聯之位置以標定用於編碼所接收之視訊資料之跳躍區塊***點(區塊715)，其中位置係基於由眼球追蹤器140判定之凝視點410。程序700進一步包含：在編碼所接收之視訊資料之前基於所接收之位置來識別跳躍區塊***點(區塊720)。跳躍區塊***點可標定具有降低更新率之中間圖框內之區塊。程序700可包含：依據經識別之跳躍區塊***點來判定降低更新率之一頻率(區塊725)。頻率可表示一特定區塊在一GOP內之一中間圖框中每秒更新多少次。程序700可進一步包含：基於所判定之頻率來編碼具有與經識別之跳躍區塊***點相關聯之區塊之中間圖框(區塊730)。
為編碼具有跳躍區塊***點之視訊串流，程序700可包含：自所接收之視訊資料產生一第一視訊序列；及自所接收之視訊資料產生具有比第一 視訊序列低之一像素密度之一第二視訊序列。第二視訊序列在時間及空間上類似於第一視訊序列。程序700可進一步包含：指示該第一視訊序列中之相關像素，其中將經識別之跳躍區塊***點標定為不相關的；及編碼第一視訊序列中之相關指示像素以產生一第一編碼視訊串流。可使用跳躍區塊來編碼標定為不相關之像素。程序700可進一步包含：編碼第二視訊序列以產生一第二編碼視訊串流；合併第一編碼視訊串流及第二編碼視訊串流；及接著將合併編碼視訊串流發送至監視站125。
在一實施例中，產生第二視訊序列可包含：在兩個維度上降低第一視訊序列之數位取樣率。在另一實施例中，指示相關像素可包含：產生第一視訊序列之遮罩。
在本說明書中，已參考附圖描述各種實施例。然而，顯而易見，可在不背離以下申請專利範圍中所闡述之本發明之較廣泛範疇之情況下對本發明作出各種修改及改變及實施額外實施例。相應地，本說明書及圖式被視為具繪示性而非限制性。
例如，儘管已相對於圖6及圖7描述信號及/或邏輯之一順序，但可在其他實施方案中修改區塊之順序、邏輯流程及/或信號流程。此外，可並行執行非相依區塊及/或信號流程。
本申請案將與本專利申請案同日申請之以下專利申請案以引用的方式併入本文中：名稱為「Gaze Heat Map」且在2016年12月30日申請之美國專利申請案第15/395,893號(代理檔案號P160085(0090-0018)號))、2016年12月30日申請之名稱為「Gaze Controlled Bitrate」之美國專利申請案第15/395,856號(代理檔案號P160069(0090-0022))及2016年12月30日申請之名稱為「Alarm Masking Based on Gaze in Video Management System」之美國專利申請案第15/395,403號(代理檔案號P160191(0090-0023))。
應明白，上文所描述之系統及/或程序可在圖中所繪示之實施方案中以諸多不同形式之軟體、韌體及硬體實施。用於實施此等系統及程序之實際軟體碼或特殊控制硬體不限制實施例。因此，在無需參考特定軟體碼之情況下描述系統及程序之操作及行為，應瞭解，軟體及控制硬體可經設計以實施基於本文描述之系統及程序。
此外，上文所描述之特定部分可實施為執行一或多個功能之一組件。如本文所使用，一組件可包含硬體(諸如一處理器、一ASIC或一FPGA)或硬體及軟體之一組合(例如執行軟體之一處理器)。
術語「包括」特指存在所陳述之特徵、整體、步驟或組件，但不排除存在或新增一或多個其他特徵、整體、步驟、組件或其等之群組。用語「例示性」用於意謂「充當一個以上實例之一實例、例項或繪示」。在本文中描述為「例示性」之任何實施例未必隱含其好於或優於其他實施例。
除非明確說明，否則本申請案中所使用之元件、動作或指令不應被解釋為實施例之至關重要或必不可少部分。另外，如本文所使用，冠詞「一」意欲包含一或多個項目。此外，除非另有明確說明，否則片語「基於」意欲意謂「至少部分基於」。
100:環境
102-1至102-X:物體
106-1至106-X:監視區域
110-1至110-M:攝影機
120:網路
125-1至125-N:監視站
130-1至130-N:顯示器
140-1至140-N:眼球追蹤器
150:視訊管理系統(VMS)

Claims (15)

  1. 一種用於基於凝視感測(gaze sensing)來解碼(decoding)視訊資料之方法，其包括：解碼自與一攝影機相關聯之一編碼器接收之一編碼視訊串流，其中該視訊串流包含自該攝影機擷取之表示一監視區域(monitored area)及正在移動之一物體(object)的視訊資料；將該解碼視訊串流呈現於一裝置之一顯示器上；偵測觀看該顯示器之一操作者之一凝視點(gaze point)及追蹤該凝視點之一移動；基於該凝視點之該移動與在該視訊資料中之該移動物體的一移動之間的一判定關聯來標定(designating)在該視訊資料中之該移動物體為一關注物體(object of interest)；基於該凝視點，將在該視訊資料之一圖框內之位置標定為跳躍區塊***點(skip block insertion points)，其中在該圖框內之該位置標定包含防止將跳躍區塊***點標定在與該關注物體相關聯之該圖框內之該等位置；及將該等跳躍區塊***點發送至該編碼器，其中當編碼由該攝影機產生之視訊資料時，該編碼器降低對應於該等跳躍區塊***點之圖框間(inter-frame)編碼區塊之一更新率。
  2. 如請求項1之方法，其進一步包括：將該解碼視訊串流呈現於該裝置之該顯示器上之具有該操作者之一 主要聚焦點之一視窗中；判定該操作者之該凝視點係在具有該操作者之該主要聚焦點之該視窗之邊界內；判定具有該操作者之該主要聚焦點之該視窗內之一視窩視覺區域(foveal vision area)；及將與該視窩視覺區域外之該解碼視訊串流相關聯之位置標定為跳躍區塊***點。
  3. 如請求項1之方法，其進一步包括：解碼至少一額外編碼視訊串流；將該解碼視訊串流及該至少一額外解碼視訊串流各呈現於該裝置之該顯示器上之來自複數個視窗之單獨視窗中或該裝置之另一顯示器上；基於該凝視點來判定具有該操作者之一主要聚焦點之來自該複數個視窗之一視窗；及將與不具有該操作者之該主要聚焦點之至少一視窗相關聯之視訊資料之一圖框內之位置標定為跳躍區塊***點。
  4. 如請求項3之方法，其進一步包括：基於該凝視點來判定具有該操作者之該主要聚焦點之該視窗內之一視窩視覺區域；及將該視窩視覺區域外之在與具有該操作者之該主要聚焦點之該視窗相關聯之該視訊之該圖框內標定為跳躍區塊***點。
  5. 如請求項3之方法，其進一步包括：判定與不具有該操作者之該主要聚焦點之該至少一視窗相關聯之一次要解碼視訊串流之一圖像群組(GOP)長度，該GOP長度大於與具有該操作者之該主要聚焦點之該視窗相關聯之該解碼視訊串流之GOP長度；將該所判定之GOP長度發送至與該次要解碼視訊串流相關聯之一編碼器以編碼與不具有該操作者之該主要聚焦點之該至少一視窗相關聯之視訊。
  6. 如請求項5之方法，其進一步包括：判定自該凝視點至不具有該操作者之該主要聚焦點之該至少一視窗之一距離；及隨該凝視點與不具有該操作者之該主要聚焦點之該至少一視窗之間的該距離增大而增大該所判定之GOP長度。
  7. 如請求項2之方法，其中追蹤該凝視點之該移動包含當一凝視點在具有該操作者之一主要聚焦點之該視窗內移動時，追蹤該凝視點達超過一預定臨限值之一時段或一距離，其中該方法進一步包括偵測在該視訊資料中之該物體。
  8. 如請求項7之方法，其進一步包括：產生表示該標定關注物體之一識別符；及將該識別符保存於含有該解碼視訊串流之元資料之一資料庫中。
  9. 如請求項1之方法，其進一步包括：在一時間段內追蹤該凝視點之位置；及基於該凝視點之該等追蹤位置來預測該凝視點之一下一位置。
  10. 一種用於基於凝視感測來編碼視訊資料之方法，其包括：接收由至少一感測器陣列擷取之視訊資料，其中該視訊資料表示包含一移動物體之一監視區域；接收該視訊資料之一圖框內之位置、標定用於編碼該接收視訊資料之跳躍區塊***點，其中該等位置係基於在一裝置處所判定之凝視點之移動與在該視訊資料中之該移動物體之移動之間的一關聯之一判定；在編碼該接收視訊資料之前基於該等接收位置來識別跳躍區塊***點，其中該等跳躍區塊***點標定具有降低更新率之中間圖框內之區塊；依據該等經識別之跳躍區塊***點來判定該降低更新率之一頻率；及基於該所判定之頻率來編碼具有與該等經識別跳躍區塊***點相關聯之區塊之中間圖框。
  11. 如請求項10之方法，其進一步包括：自該接收視訊資料產生一第一視訊序列；自該接收視訊資料產生具有比該第一視訊序列低之一像素密度之一第二視訊序列，其中該第二視訊序列在時間及空間上類似於該第一視訊序列； 指示該第一視訊序列中之相關像素，其中將該等經識別之跳躍區塊***點標定為不相關的；編碼該第一視訊序列中之該等相關指示像素以產生一第一編碼視訊串流，其中使用跳躍區塊來編碼標定為不相關之該等像素；編碼該第二視訊序列以產生一第二編碼視訊串流；合併該第一編碼視訊串流及該第二編碼視訊串流；及將該合併編碼視訊串流發送至該裝置。
  12. 如請求項11之方法，其中產生該第二視訊序列進一步包括：在兩個維度上降低該第一視訊序列之數位取樣率。
  13. 如請求項11之方法，其中指示相關像素進一步包括：產生該第一視訊序列之遮罩。
  14. 一種顯示裝置，其經組態以基於凝視感測來解碼視訊資料，該裝置包括：一顯示器；一通信介面，其經組態以通過一網路交換資料；一處理器，其耦合至該顯示器及該通信介面；及一記憶體，其耦合至該處理器，該記憶體儲存引起該處理器執行如請求項1至9中任一項之方法之指令。
  15. 一種攝影機，其經組態以基於凝視感測來編碼視訊資料，該攝影機 包括：一感測器陣列；一通信介面，其經組態以通過一網路交換資料；一控制器、一影像處理器及一視訊編碼器，其等耦合至該感測器陣列及該通信介面；及一記憶體，其耦合至該控制器、該影像處理器及該視訊編碼器，該記憶體儲存引起該控制器、該影像處理器或該視訊編碼器之至少一者執行如請求項10至13中任一項之方法之指令。
TW106146135A 2016-12-30 2017-12-28 基於凝視感測來解碼/編碼視訊資料之方法、顯示裝置、及攝影機 TWI767972B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US15/395,790 2016-12-30
US15/395,790 US10123020B2 (en) 2016-12-30 2016-12-30 Block level update rate control based on gaze sensing
EP17154579.1 2017-02-03
??17154579.1 2017-02-03
EP17154579.1A EP3343916A1 (en) 2016-12-30 2017-02-03 Block level update rate control based on gaze sensing

Publications (2)

Publication Number Publication Date
TW201830973A TW201830973A (zh) 2018-08-16
TWI767972B true TWI767972B (zh) 2022-06-21

Family

ID=57995041

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106146135A TWI767972B (zh) 2016-12-30 2017-12-28 基於凝視感測來解碼/編碼視訊資料之方法、顯示裝置、及攝影機

Country Status (6)

Country Link
US (1) US10123020B2 (zh)
EP (1) EP3343916A1 (zh)
JP (1) JP7353015B2 (zh)
KR (1) KR102505462B1 (zh)
CN (1) CN108271021B (zh)
TW (1) TWI767972B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200112710A1 (en) * 2017-03-17 2020-04-09 Lg Electronics Inc. Method and device for transmitting and receiving 360-degree video on basis of quality
US10528794B2 (en) * 2017-06-05 2020-01-07 Motorola Solutions, Inc. System and method for tailoring an electronic digital assistant inquiry response as a function of previously detected user ingestion of related video information
US10186124B1 (en) 2017-10-26 2019-01-22 Scott Charles Mullins Behavioral intrusion detection system
CN111263192A (zh) * 2018-11-30 2020-06-09 华为技术有限公司 视频处理方法及相关设备
CN111294601A (zh) 2018-12-07 2020-06-16 华为技术有限公司 视频图像解码、编码方法及装置
US20200195944A1 (en) * 2018-12-14 2020-06-18 Advanced Micro Devices, Inc. Slice size map control of foveated coding
KR20210153089A (ko) 2019-04-10 2021-12-16 스캇 찰스 멀린스 모니터링 시스템
US11055976B2 (en) 2019-09-19 2021-07-06 Axis Ab Using a skip block mask to reduce bitrate from a monitoring camera
JPWO2021070428A1 (zh) * 2019-10-09 2021-04-15
US11630508B1 (en) * 2020-06-12 2023-04-18 Wells Fargo Bank, N.A. Apparatuses and methods for securely presenting digital objects
US11343531B2 (en) * 2020-06-17 2022-05-24 Western Digital Technologies, Inc. Storage system and method for object monitoring
TW202405762A (zh) * 2020-12-30 2024-02-01 美商猛龍視訊有限責任公司 監視系統
CN113849142B (zh) * 2021-09-26 2024-05-28 深圳市火乐科技发展有限公司 图像展示方法、装置、电子设备及计算机可读存储介质
WO2023097218A1 (en) * 2021-11-24 2023-06-01 Phenix Real Time Solutions, Inc. Eye gaze as a proxy of attention for video streaming services
CN114827663B (zh) * 2022-04-12 2023-11-21 咪咕文化科技有限公司 分布式直播插帧***及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050018911A1 (en) * 2003-07-24 2005-01-27 Eastman Kodak Company Foveated video coding system and method
US20120146891A1 (en) * 2010-12-08 2012-06-14 Sony Computer Entertainment Inc. Adaptive displays using gaze tracking

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4513317A (en) 1982-09-28 1985-04-23 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Retinally stabilized differential resolution television display
JPH01141479A (ja) * 1987-11-28 1989-06-02 A T R Tsushin Syst Kenkyusho:Kk 視線検出を利用した画像通信装置
JPH07135623A (ja) 1993-10-27 1995-05-23 Kinseki Ltd 網膜直接表示装置
JP4602632B2 (ja) 2000-04-28 2010-12-22 スイスコム モービル アーゲー ビデオ会議の方法とシステム
JP2006054830A (ja) 2004-08-16 2006-02-23 Sony Corp 画像圧縮通信方法及び装置
US8768084B2 (en) * 2005-03-01 2014-07-01 Qualcomm Incorporated Region-of-interest coding in video telephony using RHO domain bit allocation
US8879856B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Content driven transcoder that orchestrates multimedia transcoding using content information
JP2009118072A (ja) 2007-11-05 2009-05-28 Ihi Corp 遠隔操作装置及び遠隔操作方法
US9282333B2 (en) * 2011-03-18 2016-03-08 Texas Instruments Incorporated Methods and systems for masking multimedia data
JP2012249116A (ja) 2011-05-30 2012-12-13 Canon Inc 画像符号化装置
CN103458238B (zh) * 2012-11-14 2016-06-15 深圳信息职业技术学院 一种结合视觉感知的可伸缩视频码率控制方法、装置
US20150331486A1 (en) 2012-12-26 2015-11-19 Sony Corporation Image processing device, image processing method and program
EP2838268B1 (en) 2013-07-31 2019-02-20 Axis AB Method, device and system for producing a merged digital video sequence
EP3021583B1 (en) 2014-11-14 2019-10-23 Axis AB Method of identifying relevant areas in digital images, method of encoding digital images, and encoder system
JP2016178356A (ja) 2015-03-18 2016-10-06 株式会社リコー 通信装置、通信システム、受信制御方法およびプログラム
US9900602B2 (en) * 2015-08-20 2018-02-20 Citrix Systems, Inc. Optimizing remote graphics delivery and presentation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050018911A1 (en) * 2003-07-24 2005-01-27 Eastman Kodak Company Foveated video coding system and method
US20120146891A1 (en) * 2010-12-08 2012-06-14 Sony Computer Entertainment Inc. Adaptive displays using gaze tracking

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
網路文獻 T. H. Reeves, et al., "Adaptive foveation of MPEG video,"PROCEEDINGS OF ACM MULTIMEDIA 96, pages 231- 241, 1 February 1997 (1997-02-01). http://www.cs.kent. edu/~javed/DL/papers/web/p231-reeves.pdf *
網路文獻 T. H. Reeves, et al., "Adaptive foveation of MPEG video,"PROCEEDINGS OF ACM MULTIMEDIA 96, pages 231- 241, 1 February 1997 (1997-02-01). http://www.cs.kent. edu/~javed/DL/papers/web/p231-reeves.pdf。

Also Published As

Publication number Publication date
US20180192057A1 (en) 2018-07-05
KR20180079188A (ko) 2018-07-10
TW201830973A (zh) 2018-08-16
EP3343916A1 (en) 2018-07-04
JP7353015B2 (ja) 2023-09-29
CN108271021A (zh) 2018-07-10
CN108271021B (zh) 2024-03-19
JP2018110399A (ja) 2018-07-12
KR102505462B1 (ko) 2023-03-02
US10123020B2 (en) 2018-11-06

Similar Documents

Publication Publication Date Title
TWI767972B (zh) 基於凝視感測來解碼/編碼視訊資料之方法、顯示裝置、及攝影機
JP6708622B2 (ja) 方法、およびコンピュータ装置
TWI654879B (zh) 凝視熱區圖
US10582196B2 (en) Generating heat maps using dynamic vision sensor events
US20130044183A1 (en) Distributed video coding/decoding method, distributed video coding/decoding apparatus, and transcoding apparatus
US10609440B1 (en) Timing data anomaly detection and correction
US10999577B2 (en) Quantization parameter determination method and image capture apparatus
EP3343524A1 (en) Alarm masking based on gaze in video management system
EP3634005A1 (en) Client device and method for receiving and rendering video content and server device and method for streaming video content
CA3057924A1 (en) System and method to optimize the size of a video recording or video transmission by identifying and recording a region of interest in a higher definition than the rest of the image that is saved or transmitted in a lower definition format
US10412391B1 (en) Minimize number of encoded video stream frames for content recognition
JP7463268B2 (ja) ビデオのモニタリングにおけるリアルタイム偏差
CN116614630A (zh) 对包括叠层的视频流进行编码
KR20150095080A (ko) 영상 데이터 전송 장치 및 방법