TWI835927B - 獲得數位影像之方法 - Google Patents

獲得數位影像之方法 Download PDF

Info

Publication number
TWI835927B
TWI835927B TW108141922A TW108141922A TWI835927B TW I835927 B TWI835927 B TW I835927B TW 108141922 A TW108141922 A TW 108141922A TW 108141922 A TW108141922 A TW 108141922A TW I835927 B TWI835927 B TW I835927B
Authority
TW
Taiwan
Prior art keywords
image
light
visible spectrum
duration
light source
Prior art date
Application number
TW108141922A
Other languages
English (en)
Other versions
TW202029732A (zh
Inventor
德 森得 亞珍 范
尼可拉 波菲菲爾
Original Assignee
荷蘭商露明控股公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 荷蘭商露明控股公司 filed Critical 荷蘭商露明控股公司
Publication of TW202029732A publication Critical patent/TW202029732A/zh
Application granted granted Critical
Publication of TWI835927B publication Critical patent/TWI835927B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本發明描述一種獲得一場景(D)之一數位影像(Mopt )之方法，該方法包括下列步驟：驅動一第一光源(11)以產生照明該場景(D)之一第一光脈衝(FRGB )，該第一光脈衝(FRGB )係在一第一持續時間(tRGB )內延伸之一可見光譜光脈衝；配置一影像感測器(S、S1)以記錄由該第一光脈衝(FRGB )照明之該場景(D)之一可見光譜影像(MRGB )；驅動一第二光源(12)以在該第一光脈衝(FRGB )期間產生照明該場景(D)之一第二光脈衝(Fmono )，使得該第二光脈衝(Fmono )之該持續時間(tmono )至多為該第一光脈衝(FRGB )之該持續時間(tRGB )的10%，且使得該第二光脈衝(Fmono )之強度(Nmono )超過該第一光脈衝(FRGB )之強度(NRGB )達至少100%；配置一影像感測器(S、S2、SIR )以記錄藉由該第二光脈衝(Fmono )照明之該場景(D)之一單色影像(Mmono )；及 對一可見光譜影像(MRGB )及一單色影像(Mmono )執行影像處理步驟，以獲得該場景(D)之該數位影像(Mopt )。

Description

獲得數位影像之方法
本發明描述一種獲得一數位影像之方法、一種成像配置及一種包括此一成像總成之手持式裝置。
數位影像感測器陣列已經變得非常具有製造經濟性，結果係當前由消費者使用之多數攝影機為數位攝影機。通常將至少一個數位攝影機併入諸如一智慧型手機之一行動裝置中。具有數位成像功能性之一手持式裝置可包含具有一影像感測器之一成像總成及具有照明一場景之一或多個發光二極體(LED)之一閃光燈模組。現今CMOS影像感測器之敏感度係使得有利地清晰之影像可在日間或照明充足之條件下捕獲，且通常在一成像配置中將此一影像感測器與一閃光燈模組組合。
一閃光燈模組之一可見光譜LED一般基於一(Al)InGaN晶粒，其中藉由在晶粒頂部上堆疊適當磷光體而將光功率轉換為寬光譜可見光。此一(Al)InGaN晶粒可經通電至3.0至4.0 A/mm2 之電流密度。當用作與一CMOS影像感測器組合之一閃光燈時，可獲得令人滿意之影像，只要物體足夠靠近攝影機及/或靜止。
為了在一照明不足之場景中捕獲一清晰影像，尤其在人或物件在成像序列期間移動穿過場景時，一習知數位攝影機之閃光燈將需要在一較短時間內產生一較高功率猝增。用於產生一攝影機閃光之可見光一般來源於「白光」(Al)InGaN LED，其實際上包括一藍光LED及用於波長轉換之一或多個磷光體層。然而，因為歐傑(Auger)效應，一般無法進一步增加來自此一白光(Al)InGaN LED之一光脈衝之功率，同時降低脈衝時間。此係因為歐傑效應限制藍光LED之光子產生及總光功率輸出。當LED電流增加超過一特定臨限值時，光輸出可甚至降低。因此，一手持式裝置之數位攝影機可無法在昏暗或照明不良之條件下捕獲一移動中物件之一清晰影像。替代地，影像可為模糊且不合意的。
因此，本發明之一目的在於提供一種改良藉由此一成像配置捕獲之影像之品質之方法。
本發明之目的藉由獲得一場景之一數位影像之技術方案1之方法達成，且藉由技術方案6之成像配置達成。根據本發明，獲得一場景之一數位影像之該方法包括下列步驟：驅動一第一光源以產生照明該場景之一第一光脈衝，該第一光脈衝係在一第一持續時間內延伸之一可見光譜光脈衝；操作一影像感測器以記錄藉由該第一光脈衝照明之該場景之一可見光譜影像；驅動一第二光源以在該第一光脈衝期間產生照明該場景之一第二光脈衝，使得該第二光脈衝之該持續時間至多為該第一光脈衝之該持續時間之10%，且使得該第二光脈衝之強度超過該第一光脈衝之強度達至少100%；操作一影像感測器以記錄藉由該第二光脈衝照明之該場景之一單色影像；及對至少一個此可見光譜影像及至少一個此單色影像執行影像處理步驟以獲得該場景之該數位影像。
如上文提及，當場景(待成像之區)之元件在運動中時，多數數位攝影機無法在黑暗或照明不良之條件下捕獲良好品質之影像。一實例可為一人移動穿過該場景、一人移動她的頭部、打手勢等。本發明方法之一優勢在於其使得可在一物體在運動中時在昏暗或照明不良之條件下獲得一更佳品質之影像。該場景之該所得影像將具有較少模糊，使得該場景經呈現為一更高位準之清晰度。本發明方法藉由本質上捕獲兩種影像(即，一或多個全色或可見光譜影像及一或多個單色影像)而達成此。以常規方式藉由使用覆蓋影像感測器積分時間或曝光時間之一可見光脈衝照明該場景而獲得該可見光譜影像。藉由使用高強度光之一脈衝照明該場景達一比較短之持續時間而捕獲該單色影像。此第二光脈衝在該可見光譜光脈衝期間產生且其持續時間明顯短於該可見光譜光脈衝持續時間。該第二光脈衝本質上執行一「運動定格(motion freeze)」功能且容許捕獲一相對清晰之單色影像。同時，使用該比較長之可見光譜閃光燈捕獲該「更慢」可見光譜或RGB影像。來自一或多個長脈衝RGB影像之色彩資訊可與來自一或多個短脈衝影像之單色資訊組合以獲得其中運動模糊將明顯減少或甚至消除之一複合影像。已知的影像處理技術可用於將正確色彩分配至與該RGB影像中之運動模糊相關聯之任何影像區。
根據本發明，該成像配置包括：一第一光源，其用於產生一第一光脈衝，該第一光源包括一可見光譜光源；一第二光源，其用於產生一第二光脈衝，該第二光源包括一可見光譜光源或一紅外光譜光源；一驅動器，其經組態以驅動該第一光源以在一第一持續時間內產生該第一光脈衝，且驅動該第二光源以在一第二持續時間內產生該第二光脈衝，該第二持續時間至多為該第一光脈衝之該持續時間之10%，且使得該第二光脈衝之強度超過該第一光脈衝之強度達至少100%；一影像感測器，其經配置以記錄藉由該第一光脈衝照明之一場景之可見光譜影像；一影像感測器，其經配置以記錄藉由該第二光脈衝照明之該場景之一單色影像；及一影像處理單元，其經實現以組合來自一可見光譜影像及一單色影像之資訊以獲得該場景之一數位影像。
本發明亦描述一種行動裝置，其包括本發明成像配置之一實施例且較佳地實現為一手持式裝置(例如，實現為一智慧型手機)。
附屬技術方案及下列描述揭示本發明之尤其有利的實施例及特徵。該等實施例之特徵可酌情組合。在一個技術方案種類之內容背景中描述之特徵可等同地應用於另一技術方案種類。
在下文中，但不以任何方式限制本發明，可假設，一影像感測器係廣泛用於消費者電子裝置中之類型之一CMOS影像感測器。本發明成像配置可使用一個影像感測器，或兩個影像感測器之一組合，且將在各情況中，能夠捕獲一場景之全色影像以及單色影像，如將在下文中解釋。為論述之目的，將假設，在一照明不良之環境(例如，曙光或夜間之一室外場景或一照明不良房間中之一室內場景)中發生一成像序列。在此等條件下，一可見光譜影像感測器之曝光時間或積分時間通常自動延長以確保該影像中之一合理信雜比(SNR)。然而，一更長影像感測器積分時間將在物體在移動時大體導致影像模糊。提出本發明成像配置及方法以克服此問題。
該可見光譜光源可以任何適當方式實現且可包括具有適當磷光體塗層之一或多個(Al)InGaN LED晶粒以獲得如介紹中解釋之一白光輸出。該可見光譜光源之發射波長較佳地與該影像感測器之彩色濾光片陣列或彩色濾光片馬賽克匹配。
該第二光源亦可為一可見光譜光源，但經實現使得其可經過度驅動達一非常短暫之持續時間以獲得一短、高強度光脈衝，其可用於獲得一「運動定格」影像。在本發明之一尤其較佳實施例中，該第二光源在紅外範圍中發射。此一實施例係基於以下理解：一紅外半導體發射器(例如，一(Al)GaAs發射器)可耐受高電流密度，而不經受一光輸出降低(尤其在較短脈衝長度)。本發明方法較佳地使用此一高功率紅外閃光燈及一紅外敏感影像感測器來記錄該場景之一「紅外單色」影像。本文使用之術語「紅外」可假設為指代近紅外範圍(即，約700 nm至1000 nm)中的波長。在該短紅外脈衝期間在運動中之任何物件將在該紅外單色影像中有利地清晰地捕獲。在下文中，在不以任何方式限制本發明的情況下，可假設，該第二光源係此一紅外光譜光源。較佳地，此一紅外光譜光源包括一或多個適當紅外線發射半導體裝置。在本發明之一尤其較佳實施例中，該紅外光譜光源包括一或多個紅外線發射LED或垂直腔表面發射雷射(VCSEL)二極體。
一驅動器可啟動該第一光源以產生具有略長於該影像感測器積分時間之一持續時間之一脈衝。在照明不良之條件下，該場景中之任何移動中的物體可在該所得可見光影像中明顯模糊。在本發明之方法中，一額外第二光脈衝在該第一光脈衝期間以一明顯更高強度產生且達一明顯更短之持續時間。由於該紅外光源僅需要短暫照明該場景(以執行運動定格)，故該紅外光譜光脈衝之該持續時間至多為該可見光譜光源之該持續時間之10%(更佳地至多為2%)，且因此，亦僅為一影像感測器之該積分時間之一對應小分率。
例如，針對具有100 ms之一積分時間之一影像感測器，藉由一或多個白光LED產生一RGB脈衝可持續達200 ms，而藉由一或多個紅外VCSEL產生之一運動定格脈衝可持續達僅5 ms，且該運動定格脈衝之功率可超過該RGB脈衝之功率兩倍。在另一實例中，該運動定格脈衝之該功率可超過該RGB脈衝之該功率四倍，且持續達一甚至更短之持續時間(諸如僅0.2 ms)。
藉由該第一光源產生之該可見光譜光脈衝可在下文中被稱為「RGB脈衝」、「白光閃光」或「主閃光」，而藉由該第二光源發射之該光脈衝可被稱為「單色閃光」或「運動定格閃光」。由於該第二光源較佳地為一紅外光源，故此第二光脈衝亦可在下文中被稱為「紅外閃光」。
在本發明之一較佳實施例中，本發明成像配置僅包括被提供為一四色陣列之一個影像感測器。此一單一影像感測器包括在可見光譜範圍中敏感之感測器像素以及在紅外光譜範圍中敏感之感測器像素。此應被理解為意味著該影像感測器包括紅外敏感、紅光敏感、綠光敏感及藍光敏感像素之一陣列。一般言之，綠色像素與紅色或藍色之比約為2:1，即，該像素陣列中一般存在約為紅色或藍色像素之兩倍多之綠光敏感像素。較佳地，該等紅外敏感像素總共包括該陣列之約25%，且以一適當分佈配置於紅色、綠色及藍色像素之間。在此一實施例中，該影像感測器具備一適當濾光片配置，例如，藉由將微觀小濾光片沈積於像素陣列上而形成之一彩色濾光片陣列(亦被稱為一拜爾濾光片馬賽克或一彩色濾光片馬賽克)。
在本發明之一替代性較佳實施例中，該成像配置包括一專用色彩感測器(「RGB感測器」)及一單獨單色感測器(「紅外感測器」)。該RGB感測器僅包括感測器像素，其等在可見光譜範圍中敏感，且可包含如上文描述之一RGB彩色濾光片陣列。該單獨紅外感測器可僅包括在紅外光譜範圍中敏感之感測器像素。例如，該紅外感測器可為通常用於一夜視攝影機、一部分增強感測器、一專用IR敏感InGaAs感測器等中之類型之一CMOS感測器(基於矽)，且可具備至少部分對該紅外光譜中之波長係透射性之一濾光片。
在其中該成像配置包括兩個影像感測器(例如，在亦具有一立體成像能力之一裝置中)之一進一步較佳實施例中，各影像感測器可在可見光譜範圍中係敏感的。為獲得一紅外影像，該等影像感測器之一者具備一適當濾光片，該濾光片亦部分傳遞紅外波長，例如，可見光及紅外波長之間之一陷波濾光片。藉由在可見光與紅外波長之間添加一陷波濾光片，另外更寬之彩色濾光片相依光譜變窄，以排除該照明脈衝中不存在之IR波長，使得關聯變得更容易。此可在其中攝影機敏感度將另外自可見光範圍延伸至紅外範圍中之情況中係有利的，(例如)意味著兩個影像感測器之紅色濾光片敏感度範圍將不成比例地寬。憑藉此一陷波濾光片，可特別地回應於該IR光源之IR波長。
如上文解釋，一成像序列導致兩個類型之影像，即，一或多個RGB影像，及一或多個紅外影像。一RGB影像提供該場景之色彩資訊，但將展示在該相對長之主閃光期間於移動中之任何物體的運動模糊。一紅外影像提供該場景之一單色但相對清晰的運動定格快照。一彩色影像之各影像像素包括一紅色分量、一綠色分量及一藍色分量(統稱為像素之RGB值)。為了獲得無運動模糊之一合意影像，本發明方法組合一彩色影像中提供的資訊與由一單色影像提供的資訊。為此目的，在一第一步驟中處理影像亮度資訊，其中紅色、藍色及綠色分量可藉由該三個色彩之一加權和組合為一「Y分量」，從而導致一經校正「RGB-Y影像」。接著，在該RGB影像以及該IR影像兩者上，於一第二步驟中執行影像處理，以(例如)藉由應用邊緣偵測功能來偵測運動模糊之區域。在一第三步驟中，針對含有運動模糊之該RGB-Y影像的任何區域，一影像像素之該Y資訊係由該紅外影像中之一對應像素的紅外值「校正」。在一第四步驟中，接著重新產生該RGB-Y影像之該等運動模糊區中的像素色彩。
熟習此項技術者將熟知必要的影像處理技術，諸如減色及色彩內插，且此等步驟不需要在此處詳細解釋。
在本發明之一尤其較佳實施例中，藉由組合或內插來自一系列RGB影像之資訊來獲得一RGB影像。為此目的，收集一系列RGB影像。針對各RGB影像，藉由一可見光譜光脈衝來照明該場景。憑藉此方法，各種改良係可能的。例如，可獲得關於在自運動模糊區重構背景區時使用之正確背景色彩的更精確資訊。亦可改良該等影像中之移動中物件中之任何運動模糊區的重構。具有一系列RGB影像容許選擇最不模糊影像用作影像最佳化之一起始點。自該系列影像，亦可判定任何移動中物件之軌跡，且可改良該等運動模糊區之編輯，此係由於圍繞一移動中物件之前邊緣的模糊分佈不同於圍繞其後邊緣的模糊分佈。
當然，本發明成像配置亦可在正常日間或明亮照明之條件下使用，在此情況中，一控制器可偵測到照明條件係合意的，且可抑制該紅外脈衝之產生及上文描述的該等影像處理步驟。
自結合隨附圖式之下列實施方式將變得明白本發明之其他目的及特徵。然而，應理解，圖式僅出於繪示之目的設計且不作為本發明之限制之一定義。
圖1係具有一移動中物體B之一照明不良場景D及使用本發明方法獲得之兩個影像MRGB 、Mmono 之一簡化圖示。一第一影像MRGB 係在可見光譜光脈衝期間獲得之一彩色影像MRGB 。此彩色影像MRGB 將記錄移動中物件B之一模糊版本Bblur ，此係由於RGB感測器及可見光譜閃光燈經實現以增加獲得足夠資訊所必要之積分時間(曝光時間)。在本發明方法中，一第二、單色影像Mmono 在明顯更短之光脈衝期間獲得。此單色或「運動定格」影像Mmono 本質上係一單色快照，其不含色彩資訊但在捕獲任何移動中物件之輪廓或形狀方面更佳。在此實例中，移動穿過場景D之主體B經捕獲為紅外影像Mmono 中之一比較清晰之形狀Bmf 。
第二光源可經實現為一可見光譜LED，其可在一短暫週期期間過度驅動，即，以在一非常短之時間內提供一高強度光脈衝。然而，在此例示性實施例中，可假設，第二光源12係一紅外發射光源，且「單色」光脈衝包括紅外範圍中之波長。
在一影像處理步驟140中，藉由一適當亮度因數調整彩色影像MRGB 之影像像素之RGB值以改良影像信雜比。演算法包括若干主步驟，包含：使用來自單色影像Mmono 之資訊識別彩色影像中之模糊物件Bblur (為清楚起見僅展示一個例示性模糊物件)；執行對該影像區Bblur 中之像素之亮度校正；及在任何經校正影像區中執行色彩調整。
一初始步驟可係考量影像之亮度。各影像像素X具有一紅色(RX )、一綠色(GX )及一藍色(BX )值。在一個方法中，一「亮度影像」可僅包括RGB影像之像素之GX 值。替代地，彩色影像MRGB 之各影像像素X之紅色、綠色及藍色值可如下般調整(1)(2)(3) 其中YX 係該像素之亮度之一「灰值」且使用以下方程式計算：(4)
有關各影像像素之此調整結果係上文描述之一單色經校正亮度影像(亦稱為「RGB-Y影像」或「G影像」)。此等調整可尤其在僅使用具有一IR陷波濾光片之一單一影像感測器之一實施例之情況中係有利的。在此一實施例中，紅色、綠色及藍色感測器像素亦將在較小程度上整合到達感測器處之紅外光。針對色彩再現，可使用來自IR影像之資訊來校正紅色、綠色及藍色分量。在上述方程式(1)及(3)中，藉由減去IR信號而執行此校正。
接著，使用圖案辨識或邊緣偵測技術來分析亮度影像及IR影像。在於亮度影像以及IR影像Mmono 中識別一邊緣的情況下，RGB影像MRGB 之對應區中不需要校正。在一邊緣在亮度影像中模糊但在IR影像Mmono 中清晰的情況下，將使用來自IR影像Mmono 之資訊來校正RGB影像MRGB 。因此，方程式(2)之灰值Y如下般針對各像素進一步調整(5) 其中α係一像素相依匹配參數，β係相較於可見光校正紅外光之不同反射率之二次匹配因數，且IRX 係運動定格影像Mmono 中之適當像素值。匹配參數α針對影像之一非模糊區將為1.0且可在一運動模糊區中小至0.0。在一替代性方法中，匹配參數α可在0.5與0.0之間變化以對完整影像使用IR資訊，例如在雜訊條件使此較佳的情況下。
針對色彩重構，來自RGB影像MRGB 之資訊將針對任何非模糊影像區保持不變，即，針對一非模糊區中之各像素α = 1.0 (見下文之方程式(6)至(8))。針對運動模糊區Bblur ，可應用若干影像處理技術。例如，相較於一移動中物件在IR影像Mmono 中之大小，如在RGB影像MRGB 中記錄之該移動中物件之大小之差將給出移動之速度及方向之一指示，且藉此給出移動中物件B與背景之間的「混合比」之一指示。針對跨場景D移動之一物件B，一運動模糊區Bblur 中之色彩本質上係物件色彩及背景色彩之一混合物，且在物件B快速移動時，更多背景「混入」。類似地，若物件B正移向攝影機，則閃光燈將變得更相關且將比背景色彩更多地突顯物件色彩。影像之模糊區域中之任何像素X之色彩可自鄰近背景像素(即，與模糊影像區相鄰之背景像素)之RGB值RBG 、GBG 、BBG 重構，且移動中物件B之影像區可被分配模糊區之色彩，該色彩針對一適當背景色之混入校正。針對模糊物件Bblur 之影像像素，該色彩較佳地在對應於「共同」區R中以及實際上屬於背景之區Rblur 中識別之移動中物件B之區內重構。
移向攝影機或移離攝影機可藉由觀察物件之軌跡或路徑內之大小及亮度改變(例如，其亮度將在其移向攝影機的情況下增大)而識別。亦可執行物件辨識以輔助將一實際色彩分配至任何經校正影像區。
在物件內，即，在IR運動定格影像Mmono 中偵測到之形狀Bmf 之邊緣內：(6)(7)(8) 項γ表達移動中物件與背景之間的上文提及之混合比。在物件外側之影像之任何模糊區中，亦可使用此等內插/外插RGB值來重構背景色彩。一運動模糊區Rblur 中(及至物件之側)之像素之背景色彩可假設為與運動模糊區Rblur 外側之一相鄰像素之色彩相同。此簡單假設可為足夠的，或處理步驟可被包含來調整此等像素色彩以將背景中之任何變化納入考慮。最佳化影像Mopt 之一所得像素值為方程式(6)至(8)之集。
最佳化影像Mopt 因此將展示具有一合意程度之清晰度及色彩之物件BOK ，且將包含已被「編輯」或校正(例如以重構背景)之影像區Redit (自如彩色影像MRGB 展示中之運動模糊區Rblur 導出)。
最佳化背景之一替代性方法係組合來自在由使用者執行之實際拍照事件之前或之後攝取之影像之資訊。此等技術已經用於智慧型手機中以改良影像品質。
一般言之，成像物件之形式可在運動定格影像中稍微拉長，使得物件在最終影像Mopt 中之形狀亦可稍微拉長。視需要可對一影像序列應用額外處理步驟以判定可自其等推導物件之「真實」形狀之物件軌跡及速度。
在使用針對使良好照明場景成像最佳化之一RGB感測器及一可見光譜閃光RGB 之一先前技術成像配置中，一照明不良場景中之一移動中物件將導致一差品質之影像(諸如彩色影像MRGB )，其中一移動中物件B經成像為一失真且模糊之形狀Bblur 。
圖2係使用本發明成像配置之一實施例在一成像序列中產生且用於捕獲圖1中描述之影像MRGB 、Mmono 之一主閃光FRGB 及一運動定格閃光Fmono 之光功率(Y軸，以[W]為單位)對時間(X軸，以毫秒為單位)之一圖表。在此例示性實施例中，主閃光FRGB 在一相對長之持續時間tRGB 內，在至少相關影像感測器積分時間tint 內延伸，使得影像感測器可記錄傳入光以產生一數位影像。運動定格閃光Fmono 僅產生達一非常短之時間tmono ，但具有一明顯更高之光功率。實際上，積分時間tint 可比閃光持續時間tRGB 短。在一滾動快門應用中，持續時間tRGB 可為訊框長度之兩倍(不必與感測器積分時間相同)。
圖3係一可見光譜半導體光源(曲線110)及一紅外發射半導體光源(曲線120)之光功率(Y軸，以[W]為單位)對電流密度(X軸，以[A/mm2 ]為單位)之一圖表。圖展示一藍光LED (充當一可見光LED裝置之泵)之光輸出在高電流密度下飽和，即，光輸出無法增大超過一特定上限。相比而言，紅外發射半導體光源之光輸出在高得多之電流密度下飽和。此使得可產生圖2之明顯更高之運動定格閃光。
圖4展示被併入一智慧型手機4中之本發明成像配置1之一實施例。此處，成像配置1包括一單一攝影機C及因此亦包括一單一影像感測器S。感測器S藉由如在圖之側處指示之其感測器像素PR 、PG 、PB 、PIR 之例示性配置以一簡化方式表示。在此實施例中，影像感測器S係一四通道感測器，其包括紅光敏感感測器像素PR 、綠光敏感感測器像素PG 、藍光敏感感測器像素PB 以及紅外敏感感測器像素PIR 。此處，綠光敏感感測器像素包括總數之約50%，紅外敏感感測器像素包括總數之約25%；而紅光敏感及藍光敏感感測器像素各包括約12.5%。
影像感測器(例如)藉由將一四通道彩色濾光片馬賽克沈積於影像感測器晶粒之像素上而配備一濾光片。用於待回應IR波長之像素之IR彩色濾光片可藉由將紅色、綠色及藍色濾光片層沈積於該等像素PIR 上而形成。
智慧型手機4亦包括一白光LED光源11及一紅外光源12。為了捕獲一彩色影像MRGB ，一驅動器13使白光LED光源11產生一可見光譜光脈衝FRGB (主閃光)，如在圖2中解釋。在感測器積分時間期間，自一場景反射之可見光到達感測器S處且到達RGB感測器像素PR 、PG 、PB 。紅外敏感感測器像素PIR 將不受自場景反射之可見光影響。
為了捕獲一運動定格影像Mmono ，驅動器13使紅外光源12產生一紅外光譜光脈衝Fmono (運動定格閃光)，如在圖2中解釋。自一場景反射之紅外光到達感測器S處且到達紅外敏感感測器像素PIR 。因為RGB感測器像素PR 、PG 、PB 亦將偵測到紅外光，故此可藉由取得RGB信號與IR信號之間的差而校正。
接著，彩色影像MRGB 及運動定格影像Mmono 被轉送至一影像處理單元14，該影像處理單元14將使用藉由影像MRGB 、Mmono 提供之資訊來獲得圖1中描述之最佳化影像Mopt ，即，不具有運動模糊或至少具有減少之運動模糊之一影像。
圖5展示再次被併入一智慧型手機4中之本發明成像配置1之另一實施例。此處，成像配置1包括兩個攝影機C1、C2且因此亦包括兩個影像感測器S1、S2。如在圖4中描述，智慧型手機4亦包括一白光LED光源11及一紅外光源12。亦在此處，各感測器S1、S2藉由如圖之側處指示之其感測器像素PR 、PG 、PB 之例示性配置以一簡化方式表示。在此實施例中，各影像感測器S1、S2係一三通道感測器，其包括紅光敏感感測器像素PR 、綠光敏感感測器像素PG 及藍光敏感感測器像素PB 。此處，綠光敏感感測器像素包括總數之約50%，而紅光敏感及藍光敏感感測器像素各包括約25%。影像感測器S1、S2之感測器像素之一例示性配置在圖之放大部分中展示。
一個影像感測器S1用於捕獲一彩色影像，且另一影像感測器S2用於捕獲一單色紅外影像。為此目的，第一影像感測器S1經配備有應用至影像感測器晶粒之一彩色濾光片馬賽克，使得各感測器像素酌情由一對應R、G、B濾光片覆蓋。第二影像感測器S2經配備有在紅外區中係部分透射性(使得其透射光譜與紅外光譜光脈衝Fmono 之發射光譜重疊)之一濾光片。如此，第二影像感測器之感測器像素將記錄一紅外影像。因為第二影像感測器S2亦對可見光敏感，故其積分時間被減少或縮短，以容許用IR光譜光脈衝Fmono 的短運動定格曝光。
如上文在圖4中描述，驅動器13驅動光源11、12，以在第一感測器S1之積分時間內產生一可見光譜光脈衝FRGB (主閃光)，且在第二感測器S2之短得多之積分時間內產生一紅外光譜光脈衝Fmono (運動定格閃光)。第一影像感測器S1提供彩色影像MRGB ，且第二影像感測器S2提供運動定格單色或紅外影像Mmono 。接著，影像MRGB 、Mmono 被轉送至一影像處理單元14，該影像處理單元14將使用由影像MRGB 、Mmono 提供之資訊來獲得圖1中描述之最佳化影像Mopt ，即，不具有運動模糊或至少具有減少之運動模糊之一影像。
圖6展示再次被併入一智慧型手機4中之本發明成像配置1的另一實施例。此處，成像配置1包括一可見光譜攝影機C1及一紅外攝影機CIR ，且因此亦包括兩個影像感測器S1、SIR 。亦在此處，各感測器S1、SIR 係藉由如圖之側處指示之其感測器像素PR 、PG 、PB 、PIR 之例示性配置以一簡化方式表示。類似於上文描述之兩個實施例，裝置4亦包括一白光LED光源11及一紅外光源12。在此實施例中，第一影像感測器S1係一三通道感測器，其包括紅光敏感感測器像素PR 、綠光敏感感測器像素PG ，及藍光敏感感測器像素PB 。此處，綠光敏感感測器像素包括總數之約50%，而紅光敏感及藍光敏感感測器像素各包括約25%。第二影像感測器SIR 為一紅外影像感測器，其僅包括紅外敏感感測器像素PIR 。影像感測器S1、SIR 之感測器像素之一例示性配置係展示於圖之放大部分中。
第一影像感測器S1用於捕獲一彩色影像MRGB ，且紅外影像感測器SIR 用於捕獲一單色紅外影像Mmono 。為此目的，第一影像感測器S1配備應用至影像感測器晶粒之一彩色濾光片馬賽克，使得各感測器像素酌情藉由一對應R、G、B濾光片覆蓋。紅外影像感測器SIR 配備僅在紅外區係透射性的一濾光片。如此，紅外影像感測器之感測器像素將記錄一紅外影像Mmono 。
如上文在圖4及圖5中描述，驅動器13驅動光源11、12以在第一感測器S1之積分時間內產生一可見光譜光脈衝FRGB (主閃光)且在可見光譜光脈衝FRGB 期間產生一短且強大之紅外光譜光脈衝Fmono (運動定格閃光)。第一影像感測器S1提供彩色影像MRGB ，且紅外影像感測器SIR 提供運動定格單色或紅外影像Mmono 。接著，影像MRGB 、Mmono 被轉送至一影像處理單元14，該影像處理單元14將使用藉由影像MRGB 、Mmono 提供之資訊來獲得圖1中描述之最佳化影像Mopt ，即，不具有運動模糊或至少具有減少之運動模糊之一影像。
成像配置1之效能可藉由將光源光譜與影像感測器之敏感度匹配而最佳化。圖7展示光譜70_B、70_G、70_R、70_IR之一例示性組，其中描繪振幅對比波長λ [nm]。較佳地，一影像感測器像素之峰值敏感度與相關光源之一峰值光譜振幅重合。例如，一影像感測器中之一IR敏感感測器像素PIR 之峰值敏感度將儘可能接近藉由IR光源12產生之光譜70_IR之IR部分之峰值振幅。
雖然已以較佳實施例及其等之變體之形式揭示本發明，但將理解，在不脫離本發明之範疇的情況下，可對該等較佳實施例及其等之變體做出許多額外修改及變化。例如，RGB及IR影像感測器像素之分佈可不同於上文圖4至圖6中展示；可以一閃光儀之方式捕獲多個單色影像；一移動中物件可藉由一紅外「追隨我(follow-me)」光追蹤以改良移動中物件之照明(例如使用一分段IR LED晶粒)；一主動冷卻步驟可在溫度受限IR LED驅動條件的情況中先行於一IR閃光脈衝等。
為了清楚起見，應理解，在整個此申請案中使用「一(a或an)」不排除複數個，且「包括」不排除其他步驟或元件。提及一「單元」或一「模組」不排除使用超過一個單元或模組。
1:成像配置 4:裝置 11:可見光譜光源 12:紅外光譜光源 13:驅動器 14:影像處理器 70_R:敏感度曲線 70_G:敏感度曲線 70_B:敏感度曲線 70_IR:敏感度曲線 110:強度圖 120:強度圖 140:影像處理步驟 B:移動中物體 Bblur:模糊成像物件 Bmf:運動定格成像物件 BOK:成像物件 C:攝影機 C1:攝影機 C2:攝影機 CIR:攝影機 D:場景 Fmono:紅外光譜光脈衝 FRGB:可見光譜光脈衝 Mmono:紅外光譜影像 Mopt:數位影像 MRGB:可見光譜影像 PB:RGB感測器像素 PG:RGB感測器像素 PIR:紅外感測器像素 PR:RGB感測器像素 R:共同影像區 Rblur:運動模糊區 Redit:經校正影像區 S:影像感測器 S1:影像感測器 S2:影像感測器 SIR:影像感測器 tint:感測器積分時間 tmono:脈衝持續時間 tRGB:脈衝持續時間 X:移動中物件 α:匹配參數
圖1係繪示本發明之原理之一簡化方塊圖；
圖2展示在本發明方法期間產生之一主閃光及一運動定格閃光；
圖3展示針對一可見光譜半導體光源及一紅外發射半導體光源之強度對比電流密度之例示性曲線；
圖4至圖6展示本發明成像配置之一實施例；
圖7展示敏感度峰值對比波長之一例示性組。
在圖式中，相同元件符號通篇指代相同物件。圖中之物件不必按比例繪製。
140:影像處理步驟
B:移動中物體
Bblur:模糊成像物件
Bmf:運動定格成像物件
BOK:成像物件
D:場景
Mmono:紅外光譜影像
Mopt:數位影像
MRGB:可見光譜影像
R:共同影像區
Rblur:運動模糊區
Redit:經校正影像區

Claims (19)

  1. 一種獲得一場景之一數位影像之方法，該方法包括：使用具有1.0A/mm2之一第一電流密度之一第一驅動電流驅動一第一光源以產生用以照明該場景之具有一第一強度達一第一持續時間之一第一光脈衝，該第一持續時間係至少一感測器積分時間；使用一影像感測器以記錄由該第一光脈衝照明之該場景之一可見光譜影像；使用具有超過1.5A/mm2之一第二電流密度之一第二驅動電流驅動一第二光源以產生在該第一持續時間期間用以照明該場景之具有一第二強度達一第二持續時間之一第二光脈衝，該第二持續時間至多為該第一持續時間的10%，該第二強度超過該第一強度達至少100%，該第二持續時間係至多5.0ms；使用一影像感測器以記錄由該第二光脈衝照明之該場景之一單色影像，用以記錄該單色影像之該影像感測器係相同或不同於用以記錄該可見光譜影像之該影像感測器；及對該可見光譜影像及該單色影像執行影像處理以獲得該場景之該數位影像。
  2. 如請求項1之方法，其中對以各自光脈衝記錄之一系列可見光譜影像及單色影像執行該影像處理。
  3. 如請求項1之方法，其中該影像處理包括識別對應於一成像物體之一 共同影像區，該共同影像區係存在於該可見光譜影像及該單色影像中。
  4. 如請求項1之方法，其進一步包括識別在該可見光譜影像中之一運動模糊影像區。
  5. 如請求項4之方法，其進一步包括校正在至少該運動模糊影像區中之色值。
  6. 一種成像系統，其包括：一可見光譜光源，其經組態以發射一可見光譜內之可見光譜光；一第二光源，其經組態以發射選自該可見光譜內之該可見光譜光及一紅外光譜內之紅外光譜光之至少一類型之光；一驅動器，其經組態以提供具有1.0A/mm2之一第一電流密度之一第一驅動電流至一第一光源以在一第一持續時間內產生具有一第一光強度之一第一光脈衝，且提供具有超過1.5A/mm2之一第二電流密度之一第二驅動電流至該第二光源以在一第二持續時間內產生具有一第二光強度之一第二光脈衝，該第二持續時間至多為該第一持續時間的10%，該第二光強度超過該第一光強度達至少100%，該第一持續時間係至少一感測器積分時間，該第二持續時間係至多5.0ms；至少一影像感測器，其具有對至少該可見光譜光敏感之像素；及一影像處理單元，其經組態以組合來自一可見光譜影像及一單色影像之資訊以獲得一場景之一數位影像。
  7. 如請求項6之成像系統，其中該第二光源包括經組態以發射該紅外光譜光之一或多個發光二極體。
  8. 如請求項6之成像系統，其中該第二光源包括一或多個垂直腔表面發射雷射二極體。
  9. 如請求項6之成像系統，其中該至少一影像感測器包括一單一影像感測器，該單一影像感測器包括對該可見光譜敏感之像素及對該紅外光譜敏感之像素。
  10. 如請求項9之成像系統，其中該單一影像感測器進一步包括至少部分對該紅外光譜係透射性之一濾光片。
  11. 如請求項6之成像系統，其中該至少一影像感測器包括兩個影像感測器，其等各僅包括對該可見光譜敏感之像素。
  12. 如請求項6之成像系統，其中該至少一影像感測器包括兩個影像感測器，該兩個影像感測器之一第一者包括對該可見光譜敏感之像素，及該兩個影像感測器之一第二者包括對該紅外光譜敏感之像素。
  13. 如請求項12之成像系統，其中該兩個影像感測器之該第一者包括僅在該可見光譜中係透射性之一濾光片，且該兩個影像感測器包括僅在該紅外光譜中係透射性之一濾光片。
  14. 如請求項6之成像系統，其中該感測器積分時間係接近50ms。
  15. 如請求項6之成像系統，其中該第二持續時間至多約1.0ms。
  16. 一種無線裝置，其包括：一攝影機閃光燈：一可見光譜光源，其經組態以發射一可見光譜內之可見光譜光；一第二光源，其經組態以發射選自該可見光譜內之該可見光譜光及一紅外光譜內之紅外光譜光之至少一類型之光；及一驅動器，其經組態以提供具有1.0A/mm2之一第一電流密度之一第一驅動電流至一第一光源以在一第一持續時間內產生具有一第一光強度之一第一光脈衝，且提供具有超過1.5A/mm2之一第二電流密度之一第二驅動電流至該第二光源以在一第二持續時間內產生具有一第二光強度之一第二光脈衝，該第二持續時間至多為該第一持續時間的10%，該第二光強度超過該第一光強度達至少100%，該第一持續時間係至少一感測器積分時間，該第二持續時間係至多5.0ms；一攝影機，其包括至少一影像感測器，該至少一影像感測器具有對至少該可見光譜光敏感之像素；及一影像處理單元，其經組態以組合來自一可見光譜影像及一單色影像之資訊以獲得一場景之一數位影像。
  17. 如請求項16之無線裝置，其中該無線裝置係一智慧型手機。
  18. 如請求項16之無線裝置，其中該可見光譜光源及該第二光源之至少一者包括一或多個發光二極體。
  19. 如請求項16之無線裝置，其中：該等像素包括對該可見光譜光敏感之可見光譜像素及對該紅外光譜敏感之紅外敏感像素，該等紅外敏感像素係在該至少一影像感測器中之像素之一總數之25%，及該等紅外敏感像素係分佈於該等可見光譜像素之間。
TW108141922A 2018-11-28 2019-11-19 獲得數位影像之方法 TWI835927B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18208930.0 2018-11-28
EP18208930 2018-11-28

Publications (2)

Publication Number Publication Date
TW202029732A TW202029732A (zh) 2020-08-01
TWI835927B true TWI835927B (zh) 2024-03-21

Family

ID=64559455

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108141922A TWI835927B (zh) 2018-11-28 2019-11-19 獲得數位影像之方法

Country Status (5)

Country Link
US (1) US11378694B2 (zh)
EP (1) EP3888348A1 (zh)
CN (1) CN114009002B (zh)
TW (1) TWI835927B (zh)
WO (1) WO2020108997A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020108997A1 (en) 2018-11-28 2020-06-04 Lumileds Holding B.V. Method of obtaining a digital image
GB2595997B (en) * 2019-03-29 2023-11-29 Electronic Theatre Controls Inc Systems, devices, and methods for power pulse timing for a light fixture
US11418719B2 (en) * 2020-09-04 2022-08-16 Altek Semiconductor Corp. Dual sensor imaging system and calibration method which includes a color sensor and an infrared ray sensor to perform image alignment and brightness matching
US11496694B2 (en) 2020-09-04 2022-11-08 Altek Semiconductor Corp. Dual sensor imaging system and imaging method thereof
US11689822B2 (en) 2020-09-04 2023-06-27 Altek Semiconductor Corp. Dual sensor imaging system and privacy protection imaging method thereof
US11568526B2 (en) 2020-09-04 2023-01-31 Altek Semiconductor Corp. Dual sensor imaging system and imaging method thereof
US11496660B2 (en) 2020-09-04 2022-11-08 Altek Semiconductor Corp. Dual sensor imaging system and depth map calculation method thereof
KR20220067407A (ko) * 2020-11-17 2022-05-24 엘지디스플레이 주식회사 표시 장치, 컨트롤러 및 디스플레이 구동 방법
TWI819631B (zh) * 2022-05-30 2023-10-21 友達光電股份有限公司 影像感測裝置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014106843A2 (en) * 2013-01-01 2014-07-10 Inuitive Ltd. Method and system for light patterning and imaging
US9819849B1 (en) * 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6061091A (en) * 1996-05-30 2000-05-09 Agfa Gevaert N.V. Detection of and correction for specular reflections in digital image acquisition
IL135571A0 (en) * 2000-04-10 2001-05-20 Doron Adler Minimal invasive surgery imaging system
US8408821B2 (en) * 2010-10-12 2013-04-02 Omnivision Technologies, Inc. Visible and infrared dual mode imaging system
US20150062347A1 (en) * 2013-08-27 2015-03-05 Semiconductor Components Industries, Llc Image processing methods for visible and infrared imaging
EP3748953B1 (en) * 2014-01-07 2024-04-17 ML Netherlands C.V. Adaptive camera control for reducing motion blur during real-time image capture
WO2017172695A1 (en) * 2016-03-31 2017-10-05 Princeton Identity, Inc. Systems and methods of biometric anaysis with adaptive trigger
TWI590659B (zh) * 2016-05-25 2017-07-01 宏碁股份有限公司 影像處理方法及攝像裝置
US20200162719A1 (en) * 2017-02-07 2020-05-21 Mindmaze Holding Sa Systems, methods and apparatuses for stereo vision
US9992472B1 (en) * 2017-03-13 2018-06-05 Heptagon Micro Optics Pte. Ltd. Optoelectronic devices for collecting three-dimensional data
WO2020108997A1 (en) 2018-11-28 2020-06-04 Lumileds Holding B.V. Method of obtaining a digital image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014106843A2 (en) * 2013-01-01 2014-07-10 Inuitive Ltd. Method and system for light patterning and imaging
US9819849B1 (en) * 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images

Also Published As

Publication number Publication date
US20200166646A1 (en) 2020-05-28
EP3888348A1 (en) 2021-10-06
US11378694B2 (en) 2022-07-05
CN114009002B (zh) 2022-11-22
WO2020108997A1 (en) 2020-06-04
CN114009002A (zh) 2022-02-01
TW202029732A (zh) 2020-08-01

Similar Documents

Publication Publication Date Title
TWI835927B (zh) 獲得數位影像之方法
US10136076B2 (en) Imaging device, imaging system, and imaging method
US9516295B2 (en) Systems and methods for multi-channel imaging based on multiple exposure settings
US8363131B2 (en) Apparatus and method for local contrast enhanced tone mapping
US9338371B2 (en) Imaging device
US8416302B2 (en) Low-light imaging augmented with non-intrusive lighting
JP4063418B2 (ja) オートホワイトバランス装置
US20170237887A1 (en) Imaging device and imaging method
US8803994B2 (en) Adaptive spatial sampling using an imaging assembly having a tunable spectral response
CN107534761B (zh) 成像装置、成像方法、图像处理装置
US8629919B2 (en) Image capture with identification of illuminant
JP2016052115A (ja) 撮像方法及び撮像装置
US7804525B2 (en) Method, apparatus, and system for selecting pixels for automatic white balance processing
JP6484504B2 (ja) 撮像装置
US20220174245A1 (en) Systems and methods for creating a full-color image in low light
CN111988594B (zh) 图像处理设备及其控制方法、摄像设备、监视***和介质
CN109714542B (zh) 成像方法
CN113302912A (zh) 用于监控驾驶员的图像捕获设备和相关***
JP2002290988A (ja) 撮像装置
CN111835949B (zh) 摄像装置、摄像***、非暂时性存储介质和控制方法
JP2017092876A (ja) 撮像装置、撮像システム、及び撮像方法
JP2000217122A (ja) ディジタルカメラ