TW202029729A - 一種用於減少描述場景之視頻圖像流中的強度變化之方法 - Google Patents

一種用於減少描述場景之視頻圖像流中的強度變化之方法 Download PDF

Info

Publication number
TW202029729A
TW202029729A TW108142852A TW108142852A TW202029729A TW 202029729 A TW202029729 A TW 202029729A TW 108142852 A TW108142852 A TW 108142852A TW 108142852 A TW108142852 A TW 108142852A TW 202029729 A TW202029729 A TW 202029729A
Authority
TW
Taiwan
Prior art keywords
frame
sensor
scene
tone mapping
area
Prior art date
Application number
TW108142852A
Other languages
English (en)
Other versions
TWI712318B (zh
Inventor
賽巴斯汀 福斯
喬漢 傑普森
安東 歐恩
吉米 喬森
畢瓊恩 班德魯斯
安琪亞斯 幕貝克
卡琳 丹門
Original Assignee
瑞典商安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商安訊士有限公司 filed Critical 瑞典商安訊士有限公司
Publication of TW202029729A publication Critical patent/TW202029729A/zh
Application granted granted Critical
Publication of TWI712318B publication Critical patent/TWI712318B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

本發明涉及一種用於減少描述一場景之一視頻流中之強度變化之方法(20)及數位視頻攝影機(30)。該方法(20)包括：使用一第一感測器設定擷取(S202)一第一圖框(50)；偵測(S204)該第一圖框(50)之一部分(590)中之一強度改變，該部分(590)表示該場景之一第一區域；基於該第一圖框(50)判定(S206)一第二感測器設定；使用該第二感測器設定擷取(S208)一第二圖框(60、70)；產生(S210)一局部色調映射遮罩，其中該場景之該第一區域中之一局部色調映射不同於該第一區域外部之一區域中之一局部色調映射，且其中該第一區域外部之該區域中之該局部色調映射係基於該第一感測器設定與該第二感測器設定之間的一關係；及將該局部色調映射遮罩應用(S212)於該第二圖框(60、70)。

Description

一種用於減少描述場景之視頻圖像流中的強度變化之方法
本發明涉及一種用於減少描述一場景之一視頻圖像流中之強度變化之方法。
視頻監控在當今社會廣泛使用，其具有大量不同應用。例如，許多商店通常安裝視頻攝影機以防止商店盜竊。同樣地，監控戶外位置以便偵測事故、盜竊或定位失蹤人員通常亦係重要的。例如，停車場、建築入口及道路係此監控通常所關注之幾個實例。
然而，通常難以使用低亮度級辨別場景中之細節，此係因為所擷取視頻通常係曝光不足的。在此等情況中，增加亮度級之一種方式係引入照明場景之一外部光源，但此一解決方案歸因於增加之功率消耗而通常係不期望的，且外部光源亦可揭露視頻攝影機之位置，此通常係不期望的。
一替代方式係增加視頻攝影機之曝光時間，以便收集場景中之更多光。此一解決方案使增加視頻中之亮度級變得可能。然而，若諸如一手電筒之一明亮物件進入場景之一部分中，則出現一問題。由於場景中之該部分中之亮度級突然增加，攝影機之曝光時間減少，以便減少所收集光之量且因此嘗試避免場景之一曝光過度。然而，所得視頻不會被最佳化，此係因為場景之較暗部分將歸因於短曝光時間而再次曝光不足，且明亮部分通常仍係部分飽和的。因此，需要改良具有大亮度改變之場景之視頻監控。
鑑於上文，本發明之一目標係提供一種用於減少描述一場景之一視頻流中之強度變化之方法及數位視頻攝影機。
一目標係單獨地或以任何組合緩和、減輕或消除此項技術中之上文識別缺陷及缺點之一或多者且至少解決上文提及之問題。
根據一第一態樣，提供一種用於減少描述一場景之一視頻圖像流中之強度變化之方法。該方法包括：使用設定為一第一感測器設定之一圖像感測器擷取該視頻圖像流之一第一圖框；偵測該第一圖框之一部分中之強度值之一局部改變，其中該第一圖框之該部分表示該場景之一第一區域；基於該第一圖框中之該等強度值判定一第二感測器設定；使用設定為該第二感測器設定之該圖像感測器擷取該視頻圖像流之一第二圖框，該第二圖框在該第一圖框之後；產生一局部色調映射遮罩，其中該場景之該第一區域中之一局部色調映射不同於該場景之該第一區域外部之一區域中之一局部色調映射，且其中該場景之該第一區域外部之該區域中之該局部色調映射係基於該第一感測器設定與該第二感測器設定之間的一關係；及將該局部色調映射遮罩應用於該視頻圖像流之該第二圖框。
在本申請案之內容脈絡內，措詞「強度變化」應被解釋為一圖框內之像素中之強度值之變化。
在本申請案之內容脈絡內，措詞「強度值之局部改變」應被解釋為該圖框之一部分內之像素中之強度值之一增加或減小。
在本申請案之內容脈絡內，措詞「局部色調映射遮罩」應被解釋為包括與一圖像之一色調映射相關之資訊之一圖像遮罩。
藉由當前方法，可產生及應用一局部色調映射遮罩，其在該場景之該第一區域外部之一區域中補償由該場景之該第一區域中之強度值之一改變引起之感測器設定之一改變。藉由當前方法，可進一步將該局部色調映射遮罩應用於使用該第二感測器設定擷取之該視頻圖像流中之該第一圖框。
一感測器設定可為選自包括以下項目之群組之一或多者：一感測器曝光時間；及一感測器增益。
在本申請案之內容脈絡內，措詞「感測器增益」應被理解為應用於該圖像感測器中之一增益。該所應用增益可為類比及/或數位增益。類比增益在來自該圖像感測器之一類比信號轉變為一數位信號之前增加該類比信號，即，在該信號之A/D轉換之前增加該信號。數位增益增加該數位信號，即，在該類比信號之A/D轉換之後增加該信號。
該第二感測器設定可為相關於該第一感測器設定之感測器曝光時間及/或感測器增益之一調整。
該第一感測器設定與該第二感測器設定之間的該關係可為該第一感測器設定與該第二感測器設定之間的一比。
在產生一局部色調映射遮罩之行為中，該場景之該第一區域中之一局部色調映射可係基於該第二感測器設定。
使該場景之該第一區域中之該局部色調映射基於該第二感測器設定之一優點係該場景之該第一區域中之該色調映射可改變與該場景之該第一區域相關聯之該第二圖框之一部分中之該強度值。藉此，可減少該視頻圖像流中之該第二圖框中之強度變化。
該局部色調映射遮罩可進一步包括該第一區域與該第一區域外部之該區域之間的一梯度過渡。
該局部色調映射遮罩包括該第一區域與該第一區域外部之該區域之間的一梯度過渡之一優點係可在該第二圖框中達成與該第一區域及該第一區域外部之該區域相關聯之部分之間的一逐漸過渡。
該方法可進一步包括針對該第二圖框之後的圖框，逐漸將該局部色調映射遮罩調整朝向一預定局部色調映射遮罩。
針對該第二圖框之後的圖框逐漸將該局部色調映射遮罩調整朝向一預定局部色調映射遮罩之一優點係可將一較不複雜局部色調映射遮罩應用於該第二圖框之後的圖框。一較不複雜局部色調映射遮罩可需要少於與判定一局部色調映射遮罩相關聯之一運算能力之運算能力。
該方法可進一步包括：偵測該第一圖框之一第二部分中之強度值之一第二局部改變，其中該第一圖框之該第二部分表示該場景之一第二區域；且其中在產生該局部色調映射遮罩之行為中，該場景之該第二區域中之一局部色調映射不同於該場景之該第二區域外部之一區域中之一局部色調映射，且其中該場景之該第二區域外部之該區域中之該局部色調映射係基於該第一感測器設定與該第二感測器設定之間的一關係。
在產生一局部色調映射遮罩之行為中，該場景之該第二區域中之一局部色調映射可係基於該第二感測器設定。
使該場景之該第二區域中之該局部色調映射基於該第二感測器設定之一優點係該場景之該第二區域中之該色調映射可改變與該場景之該第二區域相關聯之該第二圖框之一部分中之該強度值。藉此，可減少該視頻圖像流中之該第二圖框中之強度變化。
該方法可進一步包括：使用設定為該第一感測器設定之該圖像感測器擷取該視頻流之一中間圖框，該中間圖框在該第一圖框之後且在該第二圖框之前；偵測該中間圖框之一進一步部分中之強度值之一進一步局部改變，其中該中間圖框之該進一步部分表示該場景之一進一步區域；基於該中間圖框中之該等強度值判定一第三感測器設定；使用設定為該第三感測器設定之該圖像感測器擷取該視頻圖像流之一第三圖框，該第三圖框在該第二圖框之後；產生一進一步局部色調映射遮罩，其中該場景之該第一區域及該場景之該進一步區域中之一局部色調映射不同於該場景之該第一區域及該場景之該進一步區域外部之一區域，且其中該場景之該第一區域及該場景之該進一步區域外部之該區域中之該局部色調映射係基於該第一感測器設定與該第三感測器設定之間的一關係；將該進一步局部色調映射遮罩應用於該視頻流之該第三圖框。
在產生一進一步局部色調映射遮罩之行為中，該場景之該第一區域及該場景之該進一步區域中之一局部色調映射可係基於該第三感測器設定。
使該場景之該第一區域及該場景之該進一步區域中之該局部色調映射基於該第三感測器設定之一優點係該色調映射可改變與該場景之該第一區域及該場景之該進一步區域相關聯之該第三圖框之部分中之該強度值。藉此，可減少該視頻圖像流中之該第三圖框中之強度變化。
根據一第二態樣，提供一種經組態以擷取描述一場景之一視頻圖像流之數位視頻攝影機。該數位視頻攝影機包括：一圖像感測器，其經組態以設定於不同感測器設定中且擷取該視頻圖像流之不同圖框；一控制電路，其包括：一強度評估功能，其經組態以偵測由設定為一第一感測器設定之該圖像感測器擷取之一第一圖框之一部分中之強度值之一局部改變，其中該第一圖框之該部分表示該場景之一第一區域；一感測器設定判定功能，其經組態以基於該第一圖框中之該等強度值判定一第二感測器設定；一局部色調映射遮罩功能，其經組態以產生一局部色調映射遮罩，其中該場景之該第一區域中之一局部色調映射不同於該場景之該第一區域外部之一區域中之一局部色調映射，且其中該場景之該第一區域外部之該區域中之該局部色調映射係基於該第一感測器設定與該第二感測器設定之間的一關係，且將該局部色調映射遮罩應用於由設定為該第二感測器設定之該圖像感測器擷取之一第二圖框。
在適用時，該第一態樣之上文提及特徵亦應用於此第二態樣。為避免過度重複，參考上文。
該圖像感測器及該控制電路可在一圖框位準下同步。
該圖像感測器及該控制電路在一圖框位準下同步之一優點係可針對該視頻圖像流中之相同圖框改變該局部色調映射遮罩及該感測器曝光設定。
該控制電路之一功能可實施為在一通用處理器或一圖形處理單元、一場可程式化閘陣列、一固定功能特定應用積體電路或一類比電路上運行之一電腦軟體部分。
根據一第三態樣，提供一種非暫時性電腦可讀記錄媒體，其具有記錄於其上之程式碼，該程式碼當在具有處理能力之一裝置處執行時經組態以執行當前方法。
在適用時，該第一態樣及該第二態樣之上文提及特徵亦應用於此第三態樣。為避免過度重複，參考上文。
將從下文給出之詳細描述變得明白本發明之適用性之一進一步範疇。然而，應理解，雖然指示本發明概念之較佳變體，但詳細描述及特定實例僅以繪示之方式給出，此係因為熟習此項技術者將從此詳細描述變得明白發明概念之範疇內之各種改變及修改。
因此，應理解，本發明概念不限於所描述方法之特定步驟或所描述系統之組件部分，此係因為此方法及系統可變化。亦應理解，本文中使用之術語僅出於描述特定實施例之目的且不旨在係限制性的。必須注意，如在說明書及隨附發明申請專利範圍中使用，冠詞「一」、「一個」、「該」及「該等」旨在意謂存在元件之一或多者，除非內容脈絡另外明確規定。因此，例如，對「一單元」或「該單元」之參考可包含若干裝置及類似物。此外，字詞「包括」、「包含」、「含有」及類似措詞不排除其他元件或步驟。
現將參考隨附圖式在下文中更充分描述本發明概念，其中展示發明概念之當前較佳變體。然而，本發明概念可以許多不同形式實施且不應被解釋為限於本文中提出之變體；實情係，此等變體提供徹底性及完整性，且將本發明概念之範疇完整傳達給熟習此項技術者。
現將參考圖1A至圖1D描述用於減少描述一場景之一視頻流中之強度變化之一方法。圖1A至圖1D繪示由將關於圖3更詳細描述之一數位視頻攝影機30擷取之圖框。
圖1A繪示描述一場景之一初始圖框40。場景包括一田野460、一道路440、道路之一側470及一天空480。田野460包括一第一結構410、一第二結構420及一湖430。已使用設定為一第一感測器設定之一圖像感測器302擷取初始圖框40。已將一第一局部色調映射遮罩應用於初始圖框40。第一局部色調映射遮罩可係基於用於擷取初始圖框之數位視頻攝影機30之一第一感測器設定。如圖1A中所見，第一局部色調映射遮罩經組態以最佳化初始圖框40中之一亮度位準範圍。換言之，在初始圖框40中可見第一結構410、第二結構420、湖430及道路440。而且，在第一結構410上可見一第一特徵412、一第二特徵414、一第三特徵416及一第四特徵418。
圖1B繪示描述相同於圖1A中之場景之一第一圖框50。由設定為第一感測器設定之圖像感測器302擷取第一圖框50。如圖1B中所見，一汽車550已進入第一圖框50中之場景。汽車550包括於第一圖框50之一部分590中，且部分590表示場景之一第一區域。汽車550之頭燈552係明亮的，且由圖像感測器302針對圖1B中描述之場景收集之光之一強度位準範圍大於由圖像感測器302針對圖1A中描述之場景收集之光之一強度位準範圍。換言之，在圖1A及圖1B中展示之實例中，第一圖框50中之一最高強度位準高於初始圖框40中之一最高強度位準。數位視頻攝影機30中之一控制電路304中之一強度評估功能306將偵測場景之部分590中之強度值之一局部增加。控制電路304中之一感測器設定判定功能308將基於第一圖框50中之強度值判定一第二感測器設定。換言之，感測器設定判定功能308調整圖像感測器302之第一感測器設定以在擷取視頻圖像流中之隨後圖框時補償強度值之增加。例如，為補償場景中之亮度之增加，可減少一感測器曝光時間及/或一感測器增益。因此，控制電路304將圖像感測器302設定為第二感測器設定。
圖1C繪示描述相同於圖1A及圖1B中之場景之一第二圖框60。由設定為第二感測器設定之圖像感測器302擷取第二圖框60。在此特定實例中，第二感測器設定係感測器曝光時間之一減少，使得一第二感測器曝光時間係一第一感測器曝光時間之一半。已將一第二局部色調映射遮罩應用於第二圖框60。第二局部映射遮罩經組態以最佳化第二圖框。如圖1C中所見，第二感測器設定補償來自汽車550之頭燈552之強度值之增加。第二感測器設定之一結果係雖然汽車將清晰可見，但道路440、田野460、道路之側470及天空480將曝光不足(相較於經成像場景中缺乏一明亮光源之該等區域之一最佳設定)。此等區域440、460、470、480中之強度偏移將為引人注目的。如圖1C中例示，第一結構410、第二結構420、湖430及道路440之一可見性至少歸因於第二感測器設定及第二局部色調映射遮罩而降低。換言之，第二局部色調映射遮罩最佳化第二圖框60，使得汽車550之頭燈552不完全飽和，而第二圖框60之其他部分不完全曝光不足(即，在損失全部資訊之程度上)。然而，此等其他部分中將存在一幾乎瞬時強度偏移，且此等不完全曝光不足區域中之細節在第二區塊60中不可見。例如，田野460中之第一結構410及第二結構420在圖1C中之第二圖框60中不可見。
圖1D繪示具有減少強度變化之第二圖框70。藉由基於第一感測器設定及第二感測器設定產生一局部色調映射遮罩且將其應用於圖1C中繪示之第二圖框60而達成第二圖框70中之強度變化之減少。局部色調映射遮罩經組態，使得場景之第一區域外部之一色調映射係基於第一感測器設定與第二感測器設定之間的一關係。在圖1D中展示之實例中，第一區域外部之區域中之色調映射係基於第一感測器設定與第二感測器設定之間的一比。在此特定實例中，第一區域外部之區域中之色調映射補償感測器曝光時間之改變。
因此，場景之第一區域中之物件之一強度將映射至第二圖框70之部分590中之一特定像素強度值。具有場景之第一區域中之物件之強度之一半之場景之第一區域外部之物件將映射至第二圖框70中之相同特定像素強度值。換言之，場景中之一強度取決於強度是否在場景之第一區域中而映射至第二圖框70中之不同像素強度值。
局部色調映射遮罩亦經組態，使得場景之第一區域中之一色調映射係基於第二感測器設定。換言之，第一區域中之色調映射係應用於圖1C中之第二圖框60之局部色調映射。
關於圖1A至圖1D描述之圖框亦包括於一視頻圖像流中，然而，圖1B中之第一圖框50係一被略過圖框且因此將對觀察視頻圖像流之一人不可見。同樣地，不包含圖1C中之第二圖框60以有利於第二圖框70具有減少強度變化。
圖2係用於減少描述一場景之一視頻流中之強度變化之一方法20之一方塊示意圖。
方法20包括使用設定為一第一感測器設定之一圖像感測器302擷取S202視頻圖像流之一第一圖框50。
第一圖框50可為視頻圖像流中之一被略過圖框。第一圖框50可為視頻圖像流中之一隱藏圖框。換言之，在方法20中使用視頻圖像流中之第一圖框50，但其在視頻圖像流中可能不可見。
一感測器設定可為選自包括以下項目之群組之一或多者：一感測器曝光時間；及一感測器增益。感測器設定可為一感測器曝光時間及一感測器增益之一組合。感測器設定可為感測器曝光時間及感測器增益之一乘積。
方法20進一步包括偵測S204第一圖框50之一部分590中之強度值之一局部改變。第一圖框50之部分590表示場景之一第一區域。第一圖框50之部分590可與一前景物件相關聯。前景物件可為例如圖1中描述之場景中之汽車550。可動態地更新第一圖框50之部分590。例如，第一圖框50之部分590可在第一圖框50之後的圖框中移動，例如跟隨移動通過場景之汽車550。
方法20進一步包括基於第一圖框中之強度值判定S206一第二感測器設定。第二感測器設定可為相關於第一感測器設定之感測器曝光時間及/或感測器增益之一調整。第二感測器設定可為相關於第一感測器設定之一感測器曝光時間及一感測器增益之組合之一增加或一減小。
方法20進一步包括使用設定為第二感測器設定之圖像感測器擷取S208視頻圖像流之一第二圖框70，第二圖框70在第一圖框50之後。第二圖框70可連著第一圖框50。第二圖框70可不連著第一圖框50。
方法20進一步包括產生S210一局部色調映射遮罩，其中場景之第一區域中之一局部色調映射不同於場景之第一區域外部之一區域中之一局部色調映射，且其中場景之第一區域外部之區域中之局部色調映射係基於第一感測器設定與第二感測器設定之間的一關係。第一感測器設定與第二感測器設定之間的關係可為第一感測器設定與第二感測器設定之間的一比。場景之第一區域中之一局部色調映射可係基於第二感測器設定。
方法20進一步包括將局部色調映射遮罩應用S212於視頻圖像流之第二圖框70。可在複數個步驟中將局部色調映射遮罩應用於第二圖框70。例如，可將一初始局部色調映射遮罩應用於第二圖框70，且在應用初始局部色調映射遮罩之後，可將一校正局部色調映射遮罩應用於第二圖框70。初始局部色調映射遮罩可係基於第一感測器設定。校正局部色調映射遮罩可經組態以調整場景之第一區域外部之區域中之局部色調映射。換言之，局部色調映射遮罩可為初始局部色調映射遮罩與校正局部色調映射遮罩之一組合。
局部色調映射遮罩可進一步包括第一區域與第一區域外部之區域之間的一梯度過渡。
方法20可針對第二圖框70之後的圖框進一步包括逐漸將局部色調映射遮罩調整朝向一預定局部色調映射遮罩。換言之，局部色調映射遮罩可被調整朝向預定局部色調映射遮罩。調整可針對第二圖框70之後的各圖框逐步進行。局部色調映射遮罩可針對一預定數目個圖框逐漸調整朝向預定局部色調映射遮罩。換言之，在第二圖框70之後的預定數目個圖框之後，可將局部色調映射遮罩調整至預定局部色調映射遮罩。預定局部色調映射遮罩可係基於第二圖框70之後的一圖框之一感測器設定。
方法20可進一步包括偵測S216第一圖框50之一第二部分中之強度值之一第二局部改變，其中第一圖框50之第二部分表示場景之一第二區域。在此情況中，在產生S210局部色調映射遮罩之行為中，場景之第二區域中之一局部色調映射不同於場景之第二區域外部之一區域中之一局部色調映射，且其中場景之第二區域外部之區域中之局部色調映射係基於第一感測器設定與第二感測器設定之間的一關係。場景之第二區域中之一局部色調映射可係基於第二感測器設定。
方法20可進一步包括使用設定為第一感測器設定之圖像感測器擷取S218視頻流之一中間圖框。在此情況中，中間圖框在第一圖框50之後且在第二圖框70之前。
方法20可進一步包括偵測S220中間圖框之一進一步部分中之強度值之一進一步局部改變。在此情況中，中間圖框之進一步部分表示場景之一進一步區域。
方法20可進一步包括基於中間圖框中之強度值判定S222一第三感測器設定。
方法20可進一步包括使用設定為第三感測器設定之圖像感測器302擷取S224視頻圖像流之一第三圖框，第三圖框在第二圖框70之後。
方法20可進一步包括產生S226一進一步局部色調映射遮罩，且場景之第一區域及場景之進一步區域中之一局部色調映射不同於場景之第一區域及場景之進一步區域外部之一區域。在此情況中，場景之第一區域及場景之進一步區域外部之區域中之局部色調映射係基於第一感測器設定與第三感測器設定之間的一關係。
方法20可進一步包括將進一步局部色調映射遮罩應用S228於視頻流之第三圖框。
圖3繪示經組態以擷取描述一場景之一視頻圖像流之一數位視頻攝影機30。數位視頻攝影機30包括經組態以設定於不同感測器設定中之一圖像感測器302。圖像感測器302經進一步組態以擷取視頻圖像流之不同圖框40、50、60、70。
數位視頻攝影機30進一步包括一控制電路304。控制電路304包括一強度評估功能306、一感測器設定判定功能308及一局部色調映射遮罩功能310。
強度評估功能306經組態以偵測由設定為一第一感測器設定之圖像感測器302擷取之一第一圖框50之一部分590中之強度值之一局部改變。第一圖框之部分590表示場景之一第一區域。
感測器設定判定功能308經組態以基於第一圖框50中之強度值判定一第二感測器設定。
局部色調映射遮罩功能310經組態以產生一局部色調映射遮罩，其中場景之第一區域中之一局部色調映射不同於場景之第一區域外部之一區域中之一局部色調映射，且其中場景之第一區域外部之區域中之局部色調映射係基於第一感測器設定與第二感測器設定之間的一關係。
局部色調映射遮罩功能308經進一步組態以將局部色調映射遮罩應用於由設定為第二感測器設定之圖像感測器302擷取之一第二圖框70。
圖像感測器302及控制電路304可在一圖框位準下同步。換言之，控制電路304可將局部色調映射遮罩應用於由設定為第二感測器設定之圖像感測器302擷取之一最早圖框。在此處描述之實例中，由具有第二感測器設定之圖像感測器302擷取之最早圖框係第二圖框60、70。
控制電路304之功能306、308、310可實施為在一通用處理器或一圖形處理單元、一場可程式化閘陣列、一固定功能特定應用積體單元或一類比電路上運行之一電腦軟體部分。
熟習此項技術者意識到，本發明概念決不限於上文描述之較佳變體。相反地，在隨附發明申請專利範圍之範疇內之許多修改及變化係可能的。
例如，第一感測器設定與第二感測器設定之間的差異可為感測器增益之一改變而非感測器曝光時間之一改變，如關於圖1A至圖1D描述。替代地，第一感測器設定與第二感測器設定之間的差異亦可為感測器曝光時間之一改變及感測器增益之一改變兩者。
另外，熟習此項技術者在實踐所主張發明時可從圖式、揭示內容及隨附發明申請專利範圍之一研究理解及實現對所揭示變體之變化。
20:方法 30:數位視頻攝影機 40:初始圖框 50:第一圖框 60:第二圖框 70:第二圖框 302:圖像感測器 304:控制電路 306:強度評估功能 308:感測器設定判定功能 310:局部色調映射遮罩功能 410:第一結構 412:第一特徵 414:第二特徵 416:第三特徵 418:第四特徵 420:第二結構 430:湖 440:道路 460:田野 470:道路之一側 480:天空 550:汽車 552:頭燈 590:部分 S202:擷取 S204:偵測 S206:判定 S208:擷取 S210:產生 S212:應用 S216:偵測 S218:擷取 S220:偵測 S222:判定 S224:擷取 S226:產生 S228:應用
現將參考展示本發明之實施例之隨附圖式更詳細描述本發明之上文及其他態樣。圖不應被視為將本發明限制於特定實施例；代替地，其等用於說明及理解本發明。 如在圖中繪示，層及區域之大小為闡釋性目的而被誇大，且因此經提供以繪示本發明之實施例之一般結構。通篇相同元件符號係指相同元件。 圖1A繪示描述一場景之一初始圖框。 圖1B繪示描述場景之一第一圖框。 圖1C繪示描述場景之一第二圖框。 圖1D繪示具有減少強度變化之第二圖框。 圖2係減少描述一場景之一視頻流中之強度變化之一方法之一方塊示意圖。 圖3繪示經組態以擷取描述一場景之一視頻圖像流之一數位視頻攝影機。
20:方法
S202:擷取
S204:偵測
S206:判定
S208:擷取
S210:產生
S212:應用
S216:偵測
S218:擷取
S220:偵測
S222:判定
S224:擷取
S226:產生
S228:應用

Claims (10)

  1. 一種用於減少描述一場景之一視頻圖像流中之強度變化之方法，該方法包括： 使用設定為一第一感測器設定之一圖像感測器擷取該視頻圖像流之一第一圖框，其中該第一感測器設定係選自包括一感測器曝光時間及一感測器增益之群組之一或多者； 偵測該第一圖框之一部分中之強度值相較於該第一圖框之前的一圖框之一局部改變，在該第一圖框之前的該圖框係使用設定為該第一感測器設定之該圖像感測器擷取，其中該第一圖框之該部分表示該場景之一第一區域； 基於該第一圖框中之該等強度值判定一第二感測器設定，其中該第二感測器設定係選自包括該感測器曝光時間及該感測器增益之該群組之一或多者； 使用設定為該第二感測器設定之該圖像感測器擷取該視頻圖像流之一第二圖框，該第二圖框在該第一圖框之後； 產生一局部色調映射遮罩，其係包括與一圖像之一色調映射相關之資訊之一圖像遮罩，其中該場景之該第一區域中之一局部色調映射不同於該場景之該第一區域外部之一區域中之一局部色調映射，其中該場景之該第一區域中之該局部色調映射係基於該第二感測器設定，且其中該場景之該第一區域外部之該區域中之該局部色調映射係基於該第一感測器設定與該第二感測器設定之間的一關係；及 將該局部色調映射遮罩應用於該視頻圖像流之該第二圖框。
  2. 如請求項1之方法，其中該第二感測器設定係相關於該第一感測器設定之感測器曝光時間及/或感測器增益之一調整。
  3. 如請求項1之方法，其中該第一感測器設定與該第二感測器設定之間的該關係係該第一感測器設定與該第二感測器設定之間的一比。
  4. 如請求項1之方法，其中該局部色調映射遮罩進一步包括該第一區域與該第一區域外部之該區域之間的一梯度過渡。
  5. 如請求項1之方法，其中針對該第二圖框之後的圖框，逐漸將該局部色調映射遮罩調整朝向一預定局部色調映射遮罩。
  6. 如請求項1之方法，其進一步包括： 使用設定為該第一感測器設定之該圖像感測器擷取該視頻流之一中間圖框，該中間圖框在該第一圖框之後且在該第二圖框之前； 偵測該中間圖框之一進一步部分中之強度值相較於該中間圖框之前的一圖框之一進一步局部改變，在該中間圖框之前的該圖框係使用設定為該第一感測器設定之該圖像感測器擷取，其中該中間圖框之該進一步部分表示該場景之一進一步區域； 基於該中間圖框中之該等強度值判定一第三感測器設定，其中該第三感測器設定係選自包括該感測器曝光時間及該感測器增益之該群組之一或多者； 使用設定為該第三感測器設定之該圖像感測器擷取該視頻圖像流之一第三圖框，該第三圖框在該第二圖框之後； 產生一進一步局部色調映射遮罩，其係包括與一圖像之一色調映射相關之資訊之一圖像遮罩，其中該場景之該第一區域及該場景之該進一步區域中之一局部色調映射不同於該場景之該第一區域及該場景之該進一步區域外部之一區域，其中該場景之該第一區域及該場景之該進一步區域中之該局部色調映射係基於該第三感測器設定，且其中該場景之該第一區域及該場景之該進一步區域外部之該區域中之該局部色調映射係基於該第一感測器設定與該第三感測器設定之間的一關係；及 將該進一步局部色調映射遮罩應用於該視頻流之該第三圖框。
  7. 一種經組態以擷取描述一場景之一視頻圖像流之數位視頻攝影機，該數位視頻攝影機包括： 一圖像感測器，其經組態以設定於不同感測器設定中且擷取該視頻圖像流之不同圖框，其中該感測器設定係選自包括一感測器曝光時間及一感測器增益之群組之一或多者； 一控制電路，其包括： 一強度評估功能，其經組態以偵測一第一圖框之一部分中之強度值相較於該第一圖框之前的一圖框之一局部改變，該第一圖框及該第一圖框之前的該圖框係由設定為一第一感測器設定之該圖像感測器擷取，其中該第一圖框之該部分表示該場景之一第一區域； 一感測器設定判定功能，其經組態以基於該第一圖框中之該等強度值判定一第二感測器設定；及 一局部色調映射遮罩功能，其經組態以產生一局部色調映射遮罩，其係包括與一圖像之一色調映射相關之資訊之一圖像遮罩，其中該場景之該第一區域中之一局部色調映射不同於該場景之該第一區域外部之一區域中之一局部色調映射，其中該場景之該第一區域中之該局部色調映射係基於該第二感測器設定，且其中該場景之該第一區域外部之該區域中之該局部色調映射係基於該第一感測器設定與該第二感測器設定之間的一關係，且將該局部色調映射遮罩應用於由設定為該第二感測器設定之該圖像感測器擷取之一第二圖框。
  8. 如請求項7之數位視頻攝影機，其中該圖像感測器及該控制電路在一圖框位準下同步。
  9. 如請求項7之數位視頻攝影機，其中該控制電路之一功能被實施為在一通用處理器或一圖形處理單元、一場可程式化閘陣列、一固定功能特定應用積體電路或一類比電路上運行之一電腦軟體部分。
  10. 一種非暫時性電腦可讀記錄媒體，其具有記錄於其上之程式碼，該程式碼當在具有處理能力之一裝置處執行時經組態以執行如請求項1之方法。
TW108142852A 2018-11-27 2019-11-26 一種用於減少描述場景之視頻圖像流中的強度變化之方法 TWI712318B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18208425.1A EP3661188B1 (en) 2018-11-27 2018-11-27 A method for reducing intensity variations in a video image stream depicting a scene
EP18208425.1 2018-11-27

Publications (2)

Publication Number Publication Date
TW202029729A true TW202029729A (zh) 2020-08-01
TWI712318B TWI712318B (zh) 2020-12-01

Family

ID=64556657

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108142852A TWI712318B (zh) 2018-11-27 2019-11-26 一種用於減少描述場景之視頻圖像流中的強度變化之方法

Country Status (6)

Country Link
US (1) US10963997B2 (zh)
EP (1) EP3661188B1 (zh)
JP (1) JP6961664B2 (zh)
KR (1) KR102243357B1 (zh)
CN (1) CN111225123B (zh)
TW (1) TWI712318B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11195247B1 (en) * 2019-09-09 2021-12-07 Apple Inc. Camera motion aware local tone mapping
US11120538B2 (en) * 2019-12-27 2021-09-14 Zoox, Inc. Sensor degradation detection and remediation

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4047301B2 (ja) 2004-05-18 2008-02-13 キヤノン株式会社 撮像装置及びその制御方法
JP4999423B2 (ja) 2006-10-25 2012-08-15 キヤノン株式会社 撮像装置及び撮像装置の露出制御方法
US9087382B2 (en) * 2009-06-29 2015-07-21 Thomson Licensing Zone-based tone mapping
US8346009B2 (en) 2009-06-29 2013-01-01 Thomson Licensing Automatic exposure estimation for HDR images based on image statistics
KR101389930B1 (ko) * 2012-08-17 2014-04-29 연세대학교 산학협력단 이미지 톤 매핑 장치 및 방법
DE102013020611B4 (de) * 2012-12-21 2019-05-29 Nvidia Corporation Ein Ansatz für eine Kamerasteuerung
US9313415B2 (en) * 2013-02-19 2016-04-12 Sensormatic Electronics, LLC Method and system for adjusting exposure settings of video cameras
GB2520406B (en) * 2013-10-17 2015-11-04 Imagination Tech Ltd Tone mapping
US10270980B2 (en) * 2014-08-29 2019-04-23 Sony Semiconductor Solutions Corporation Image capture control apparatus, image capture apparatus, and method of controlling image capture apparatus
US9892494B2 (en) * 2015-02-05 2018-02-13 Apple Inc. Region-of-interest biased tone mapping
WO2016194296A1 (en) 2015-06-04 2016-12-08 Sony Corporation In-vehicle camera system and image processing apparatus
US10771712B2 (en) * 2017-09-25 2020-09-08 Gopro, Inc. Optimized exposure temporal smoothing for time-lapse mode

Also Published As

Publication number Publication date
TWI712318B (zh) 2020-12-01
EP3661188A1 (en) 2020-06-03
KR102243357B1 (ko) 2021-04-21
CN111225123A (zh) 2020-06-02
US20200167901A1 (en) 2020-05-28
CN111225123B (zh) 2021-05-25
KR20200063042A (ko) 2020-06-04
JP6961664B2 (ja) 2021-11-05
US10963997B2 (en) 2021-03-30
EP3661188B1 (en) 2020-10-28
JP2020109944A (ja) 2020-07-16

Similar Documents

Publication Publication Date Title
JP5974125B2 (ja) カメラの露出を制御するための方法および制御ユニット
JP2011178301A (ja) 障害物検知装置およびそれを備えた障害物検知システム、並びに障害物検知方法
TWI712318B (zh) 一種用於減少描述場景之視頻圖像流中的強度變化之方法
JP2015156600A (ja) 画像信号処理装置，画像信号処理方法，および撮像装置
US10091422B2 (en) Image processing device and recording medium
KR20030097687A (ko) 화상 처리 장치, 카메라 장치, 및 그 자동 노광 제어 방법
JP2006237851A (ja) 画像入力装置
JP2008110715A (ja) 車両用オートライトシステム
JP4400512B2 (ja) 車載カメラ制御装置
JP6149826B2 (ja) 撮像装置及びシーン判定方法
JP2009177764A (ja) 撮像装置
JP2016173777A (ja) 画像処理装置
JP2021114762A (ja) 低照度撮像システム
JP2005173879A (ja) 融合画像表示装置
JP2010204404A (ja) 監視カメラ及びその露光制御方法
JP6525723B2 (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP4547213B2 (ja) 物体検出装置および方法
JP2007208642A (ja) 画像信号処理回路および撮像システム
JP2004185537A (ja) 走行車両検知システム
JP2002268116A (ja) 自動露出制御装置およびそのプログラムを組み込んだ外部記憶媒体
KR101217785B1 (ko) 조명 광도 조절이 가능한 비디오 카메라 장치 및 이의 조명 광도 조절방법
JP2000207555A (ja) 車両用距離検出装置
JP2004072415A (ja) 侵入物検出装置
WO2023090067A1 (ja) 画像認識システム
JP2007249568A (ja) 画像処理装置および方法、記録媒体、並びに、プログラム