TW202143112A - 運用相位偵測自動對焦（ｐｄａｆ）光學系統的方法和裝置 - Google Patents

運用相位偵測自動對焦（ｐｄａｆ）光學系統的方法和裝置 Download PDF

Info

Publication number
TW202143112A
TW202143112A TW110110366A TW110110366A TW202143112A TW 202143112 A TW202143112 A TW 202143112A TW 110110366 A TW110110366 A TW 110110366A TW 110110366 A TW110110366 A TW 110110366A TW 202143112 A TW202143112 A TW 202143112A
Authority
TW
Taiwan
Prior art keywords
interest
focus
region
image
primitives
Prior art date
Application number
TW110110366A
Other languages
English (en)
Inventor
崔南
蕭祖光
汪文斌
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202143112A publication Critical patent/TW202143112A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)

Abstract

本文揭示採用相位偵測自動對焦（PDAF）光學系統的裝置和方法。示例性裝置包括圖像感測器，該圖像感測器包括複數個圖元。複數個圖元包括可配置為成像圖元或對焦圖元的圖元組。圖像感測器配置為基於在複數個圖元處的所接收到的光來產生場景的圖像資料。示例性裝置亦包括耦接至圖像感測器的處理器。處理器可以配置為接收場景的第一訊框的第一圖像資料，決定第一訊框的感興趣區域或非感興趣區域中的至少一個，基於所決定的感興趣區域或非感興趣區域中的至少一個，選擇要用作對焦圖元的圖元組的子集，並使所選擇的該圖元組的子集用作對焦圖元。

Description

運用相位偵測自動對焦（PDAF）光學系統的方法和裝置
本專利申請案主張於2020年4月27日提出申請的題為「METHODS AND APPARATUS EMPLOYING A PHASE DETECTION AUTOFOCUS (PDAF) OPTICAL SYSTEM」的美國專利申請案第16/859,821號的權益，該申請案的全部內容經由引用明確地併入本文。
本案大體而言係關於相位偵測自動對焦（PDAF），並且更特定言之係關於採用PDAF光學系統的方法和裝置。
諸如數位相機和行動設備（例如，智慧型電話、平板電腦、筆記型電腦等）的圖像擷取設備包括成像系統，其包括位於一或多個光學元件的下游的圖像感測器。典型的光學元件可包括一或多個透鏡和光圈。光學元件將場景的光引導到圖像感測器上。處理器處理由圖像感測器擷取的資料以記錄圖像。為了記錄清晰的圖像，光學元件將來自場景的光在圖像感測器上對焦。若光線未在圖像感測器的平面上對焦，則圖像感測器可能會擷取模糊的圖像。
一些圖像擷取設備使用相位偵測自動對焦（PDAF）圖元執行自動對焦。圖像擷取設備可以包括圖像感測器，其包括圖元陣列。圖元陣列可以包括以圖案排列的一或多個成像圖元和一或多個對焦圖元（亦稱為「相位偵測圖元」）。現在人們需要改進自動對焦技術，包括用組合圖像感測器（例如，包括成像圖元和對焦圖元的圖像感測器）實現的技術。
下文提供了一或多個態樣的簡化概述，以便提供對該等態樣的基本理解。該概述不是對所有預期態樣的廣泛概述，並且既不意欲識別所有態樣的關鍵或重要元素，亦不意欲圖示任何或所有態樣的範圍。其唯一目的是以簡化形式呈現一或多個態樣的一些概念，作為稍後呈現的更詳細描述的序言。
在本案的一態樣中，提供了一種方法、一種電腦可讀取媒體和一種裝置。該示例性裝置包括圖像感測器和耦接到圖像感測器的處理器。該示例性圖像感測器可以包括複數個圖元，其包括可配置為成像圖元或對焦圖元的圖元組。該示例性圖像感測器可以配置為基於在複數個圖元處的所接收的光來產生場景的第一圖像資料。該示例性處理器可以配置為接收場景的第一訊框的第一圖像資料。該示例性處理器可以配置為決定第一訊框的感興趣區域或非感興趣區域中的至少一個。該示例性處理器可以配置為基於所決定的感興趣區域或非感興趣區域中的至少一個來選擇要用作對焦圖元的該組可配置圖元的子集。該示例性處理器可以配置為使該組可配置圖元的所選擇的子集用作對焦圖元。
在另一態樣中，揭示的技術包括用於自動對焦的操作方法。該示例性方法包括從圖像感測器接收場景的第一訊框的第一圖像資料。在一些實例中，圖像感測器可以包括複數個圖元，複數個圖元包括可配置為成像圖元或對焦圖元的圖元組。在一些實例中，圖像感測器可以配置為基於在複數個圖元處所接收的光來產生場景的第一圖像資料。該示例性方法亦包括決定第一訊框的感興趣區域或非感興趣區域中的至少一個。另外，該示例性方法包括基於所決定的感興趣區域或非感興趣區域中的至少一個來選擇要用作對焦圖元的該組可配置圖元的子集。此外，該示例性方法包括使該組可配置圖元的所選擇的子集用作對焦圖元。
在另一態樣中，揭示的技術包括用於執行自動對焦的裝置。該示例性裝置包括用於從圖像感測器接收場景的第一訊框的第一圖像資料的構件。在一些實例中，圖像感測器可以包括複數個圖元，複數個圖元包括可配置為成像圖元或對焦圖元的圖元組。在一些實例中，圖像感測器可以配置為基於在複數個圖元處所接收的光來產生場景的第一圖像資料。該示例性裝置亦包括用於決定第一訊框的感興趣區域或非感興趣區域中的至少一個的構件。另外，該示例性裝置包括用於基於所決定的感興趣區域或非感興趣區域中的至少一個來選擇要用作對焦圖元的該組可配置圖元的子集的構件。此外，該示例性裝置包括用於使該組可配置圖元的所選擇的子集用作對焦圖元的構件。
為了實現前述和相關目的，一或多個態樣包括在下文中充分描述並且在請求項中特別指出的特徵。以下描述和附圖詳細闡述了一或多個態樣的某些說明性特徵。然而該等特徵僅指示可以採用各個態樣的原理的各種方式中的幾種，並且該描述意欲包括所有該等態樣及其均等物。
下文結合附圖闡述的詳細描述意欲作為各種配置的描述，並且並不意圖代表可以實踐本文描述的概念的唯一配置。為了提供對各種概念的透徹理解，詳細描述包括特定細節。然而，對於本領域技藝人士而言顯而易見的是，可以在沒有該等特定細節的情況下實踐該等概念。在某些情況下，以方塊圖形式圖示眾所周知的結構和元件，以避免使該等概念模糊。
系統、裝置、電腦程式產品和方法的各個態樣在下文中參考附圖進行了更全面的描述。然而，本案可以以許多不同的形式實施，並且不應被解釋為限於貫穿本案呈現的任何特定結構或功能。相反地，提供該等態樣使得本案將是透徹和完整的，並將向本領域技藝人士充分傳達本案的範圍。基於本文的教示，本領域技藝人士應瞭解，本案的範圍意欲覆蓋本文所揭示的系統、裝置、電腦程式產品和方法的任何態樣，無論是獨立於本案的其他態樣還是與本案的其他態樣組合地實現。例如，可以使用本文闡述的任何數量的態樣來實現一種裝置或可以實踐一種方法。另外，本案的範圍意欲覆蓋此種裝置或方法，其使用附加於本文闡述的本案的各個態樣或在其之外的其他結構、功能，或結構及功能來實踐。本文揭示的任何態樣可以經由請求項的一或多個元素來體現。
儘管本文描述了各個態樣，但是該等態樣的許多變化和置換皆落入本案的範圍內。儘管提到了本案的態樣的一些潛在的利益和優點，但是本案的範圍並不意欲限於特定的利益、用途或目的。相反地，本案的各態樣意欲廣泛地適用於不同的無線技術、系統組態、網路和傳輸協定，其中一些以實例的方式在附圖和以下描述中示出。具體實施方式和附圖僅是對本案的說明而不是限制，本案的範圍由所附請求項及其均等物限定。
參照各種裝置和方法呈現了幾個態樣。在下文的具體實施方式中描述了該等裝置和方法，並且在附圖中經由各種方塊、元件、電路、過程、演算法等（統稱為「元素」）來示出該等裝置和方法。可以使用電子硬體、電腦軟體或其任意組合來實現該等元素。將該等元素實現為硬體還是軟體取決於特定的應用和施加在整體系統上的設計約束。
以實例的方式，一個元素或元素的任何部分或元素的任何組合可以被實現為包括一或多個處理器（亦可以稱為處理單元）的「處理系統」。處理器的實例包括微處理器、微控制器、圖形處理單元（GPUs）、通用GPU（GPGPUs）、中央處理器（CPUs）、應用處理器、圖像信號處理器（ISPs）、數位訊號處理器（DSPs）、精簡指令集計算（RISC）處理器、片上系統（SOC）、基頻處理器、特殊應用積體電路（ASICs）、現場可程式設計閘陣列（FPGAs）、可程式設計邏輯設備（PLDs）、狀態機、閘控邏輯、個別硬體電路，以及配置為執行貫穿本案描述的各種功能的其他合適的硬體。處理系統中的一或多個處理器可以執行軟體。軟體可以廣義地解釋為指指令、指令集、代碼、代碼區段、程式碼、程式、副程式、軟體元件、應用程式、軟體應用程式、套裝軟體、常式、子常式、物件、可執行檔、執行執行緒、程序、函數等，無論是被稱為軟體、韌體、中介軟體、微代碼、硬體描述語言或是其他。術語應用程式可以代表軟體。如本文所述，一或多個技術可以指被配置為執行一或多個功能的應用程式，即軟體。在此種實例中，應用程式可以被儲存在記憶體中，例如，處理器的片上記憶體、系統記憶體或任何其他記憶體。本文描述的硬體（諸如，處理器）可以被配置為執行應用程式。例如，該應用程式可以被描述為包括當由硬體執行時使硬體執行本文描述的一或多個技術的代碼。作為實例，硬體可以從記憶體存取碼並且執行從記憶體存取的代碼以執行本文描述的一或多個技術。在一些實例中，在本案中識別了元件。在此種實例中，元件可以是硬體、軟體或其組合。元件可以是單獨的元件或單個元件的子元件。
因此，在本文描述的一或多個實例中，描述的功能可以以硬體、軟體或其任何組合來實現。若以軟體實現，則功能可以被儲存在電腦可讀取媒體上或作為一或多個指令或代碼被編碼。電腦可讀取媒體包括電腦儲存媒體。儲存媒體可以是電腦可以存取的任何可用媒體。舉例而言（但並非限制），此種電腦可讀取媒體可以包括隨機存取記憶體（RAM）、唯讀記憶體（ROM）、電子可抹除可程式設計ROM（EEPROM）、光碟儲存器、磁碟儲存器、其他磁性儲存設備、上述類型的電腦可讀取媒體的組合，或可以用於以電腦可以存取的指令或資料結構形式儲存電腦可執行代碼的任何其他媒體。
相位偵測自動對焦（PDAF）技術是基於量測使用不同的不對稱光學孔徑產生的兩個圖像之間的偏移（或相位差）。計算出的相位的大小和符號可以與散焦量相關聯，散焦量可以用於估計最佳對焦所需的透鏡位移。
圖像感測器中可以包括許多不同類型的對焦圖元圖案及/或排列。圖1圖示示例性圖像感測器100，其包括可用於執行PDAF的稀疏對焦圖元。圖元104的陣列102可包括被遮罩（例如，使用金屬遮罩）的一或多個對焦圖元106，其可用於建立在PDAF中使用的左圖像或右圖像。例如，在一些使用帶有金屬遮罩的稀疏PDAF的實例中，百分之一到百分之三的圖元104可以專用於左/右PDAF。在每個對焦圖元106上，可以將金屬遮罩層108放置在光電二極體和微透鏡之間（有時稱為「u-透鏡」、「晶片上透鏡」或「OCL」），經由以特定攔截角阻擋光線來實現不對稱孔徑，從而可以擷取用於PDAF目的的左或右圖像資訊。微透鏡可用於增加下層的光電二極體對光的靈敏度。為了成像目的，可以用周圍圖元的內插值代替對焦圖元106的值，這與如何校正缺陷圖元的方式類似。
應當理解，儘管圖像感測器100的以上描述包括左右一對對焦圖元，但是在其他實例中，圖像感測器100可以附加地或替代地包括上下一對對焦圖元。例如，對焦圖元的遮蓋或金屬遮罩可以遮蓋相應對焦圖元的頂部和底部，這可以產生上下（或頂部和底部）圖像對。
在一些實例中，對焦圖元可以包括雙光電二極體（2PD）圖元，其中每個對焦圖元包括兩個二極體（例如，第一光電二極體和與第一光電二極體相鄰的第二光電二極體）。在一些實例中，圖像感測器100可以包括一或多個2PD對焦圖元，其包括左二極體和右二極體。在一些此種實例中，左二極體可以產生左圖像，而右二極體可以產生右圖像。在一些實例中，圖像感測器100可以包括所有2PD對焦圖元（例如，不具有包括單個光電二極體的任何成像圖元）。在一些實例中，圖像感測器100可以包括稀疏2PD對焦圖元。例如，圖像感測器100可以包括圖元陣列，其包括包括了單個光電二極體成像圖元的第一子集，和2PD對焦圖元的第二子集。在一些此種實例中，可以以任何方式（例如，彼此相鄰、彼此間隔等）排列2PD對焦圖元。在一些實例中，圖像感測器100的圖元陣列的對焦圖元可以是對焦圖元的左右對或對焦圖元的上下對。在一些實例中，圖像感測器100可以包括左右一對對焦圖元和上下一對對焦圖元的組合。
在一些實例中，圖像感測器100可以包括4PD對焦圖元，其中每個對焦圖元包括四個光電二極體（有時稱為「quad-PD」或「QPD」圖元）。在一些此種實例中，4PD對焦圖元可以產生兩對圖像（例如，一對左右圖像和一對上下圖像）。
在一些實例中，圖像感測器100可以包括所有4PD對焦圖元（例如，不具有包括單個光電二極體的任何成像圖元）。在一些實例中，圖像感測器100可以包括稀疏4PD對焦圖元，使得圖像感測器100的圖元陣列的對焦圖元的子集是以任何方式（例如，彼此相鄰、彼此間隔等）排列的4PD對焦圖元。在一些此種實例中，圖元陣列的一或多個剩餘圖元可以是成像圖元及/或2PD對焦圖元。
一旦已經為每個對焦圖元產生了成對的圖像（例如，一對左右圖像及/或一對上下圖像），就可以將圖像彼此進行比較。例如，可以比較從左對焦圖元（例如，左圖像）和右對焦圖元（例如，右圖像）產生的信號之間的相位差，並且可以決定信號之間的偏移（例如，相位差異）。該偏移可以用於估計最佳對焦所需的透鏡位移。
儘管不同的圖像感測器可以利用對焦圖元的不同圖案及/或排列，但是應當理解，此種對焦圖元在圖像感測器內的分佈是固定的。結果，為與圖像中的感興趣區域相關聯的PDAF目的而提供對焦資料（或「相位資訊」）的對焦圖元的密度亦被固定。但是，對於圖像中的某些感興趣區域（ROI）（例如，人們認為「更重要」的臉部、食物和其他ROI），相應對焦圖元的密度可能過低而無法提供準確的對焦資料。對於其他ROI（例如，人們認為「低重要性」的天空、牆壁和其他ROI），圖像感測器中與ROI關聯的對焦圖元的密度可能過高，並可能會導致資訊浪費。
在一些實例中，對焦圖元的固定對焦定向（例如，左右或上下）可能導致偵測不到圖像的紋理或邊緣。例如，由具有左右對焦定向的對焦圖元提供的對焦資料可能無法偵測到感興趣區域內的水平紋理。在一些實例中，若感興趣區域包括非感興趣區域，諸如飽和區域，則由與非感興趣區域相對應的對焦圖元提供的對焦資料可能不提供有用的資訊。在一些實例中，當應用去噪技術時，對焦圖元的固定圖案及/或排列可能導致假影。
通常，本文揭示的示例性技術針對基於場景的分析來調整圖像感測器的對焦圖元。例如，揭示的技術利用具有複數個圖元的圖像感測器，其包括可配置為用作對焦圖元或成像圖元的圖元組。例如，可配置圖元可以包括光電二極體和位於光電二極體上方的不透明度轉變材料。不透明度轉變材料可以包括佈置在光電二極體的第一部分上方的第一不透明度轉變材料部分和佈置在光電二極體的第二部分上方的第二不透明度轉變材料部分，並且其中第一不透明度轉變材料部分和第二不透明度轉變材料部分可獨立地配置為不透明或透通。在一些此種實例中，當第一不透明度轉變材料部分或第二不透明度轉變材料部分之一是不透明的而另一不透明度轉變材料是透通的時，可配置圖元可以配置為用作對焦圖元。當兩個不透明度轉變材料部分皆是透通的時，可配置圖元可以配置為用作成像圖元。
當可配置圖元配置為用作成像圖元時，相應成像圖元產生可用於擷取場景的成像資料。當可配置圖元配置為用作對焦圖元時，相應對焦圖元產生可用於執行自動對焦的對焦資料。在一些實例中，當可配置圖元配置為用作對焦圖元時，相應對焦圖元可以配置為具有對焦定向。如前述，可以以左右圖案排列對焦圖元，其中第一對焦圖元可以用作左對焦圖元，第二對焦圖元可以用作右對焦圖元。在其他實例中，可以以上下圖案排列對焦圖元，其中第一對焦圖元可以用作上對焦圖元，第二對焦圖元可以用作下對焦圖元。
在一些實例中，可配置圖元可基於場景的分析而動態地調整為用作成像圖元或用作對焦圖元。例如，揭示的技術可以將可配置圖元設置為用作場景的第一訊框的成像圖元，並且可以將可配置圖元設置為用作場景的後續訊框的對焦圖元。在一些實例中，揭示的技術可以為用作訊框的對焦圖元的可配置圖元設置第一對焦定向，並且可以為場景的後續訊框為可配置圖元設置第二對焦定向。
本文揭示的示例性技術包括在處理器處從耦接到處理器的圖像感測器接收第一圖像資料，並基於第一圖像資料決定感興趣區域或非感興趣區域中的至少一個。如本文所使用的，「感興趣區域」或「非感興趣區域」通常可以被稱為「識別區域」。隨後所揭示的技術可以將一或多個場景分析技術應用於第一圖像資料和識別區域，以決定如何調整圖像感測器的圖元配置。隨後所揭示的技術可以基於所決定的圖元配置來調整與識別區域相關聯的圖像感測器內的對焦圖元的密度。例如，揭示的技術可以增加或減少與識別區域相關聯的對焦圖元的數量，以調整圖像感測器內的對焦圖元的密度。
在一些實例中，一或多個場景分析技術可以包括執行物件偵測及/或辨識技術。例如，揭示的技術可以處理第一圖像資料並且偵測及/或辨識識別區域內的一或多個物件。在一些實例中，揭示的技術可以基於偵測到的及/或辨識的物件來增加與識別區域相關聯的圖像感測器內的對焦圖元的密度。在一些實例中，揭示的技術可以基於偵測到的及/或辨識的物件另外地或替代地降低與識別區域相關聯的圖像感測器內的對焦圖元的密度。例如，場景可以包括具有面部的第一識別區域、包括麥克風的第二識別區域以及包括杯子的第三識別區域。在一些實例中，所揭示的技術可以將與第一識別區域相關聯的對焦圖元的密度設置為第一密度位準，可以將與第二識別區域相關聯的對焦圖元的密度設置為比第一密度位準低的第二密度位準，並且可以將與第三識別區域相關聯的對焦圖元的密度設置為小於第一密度位準和第二密度位準的第三密度位準。在一些實例中，第一密度位準和第二密度位準可對應於增加圖像感測器內與相應識別區域相關聯的對焦圖元的密度，並且第三密度位準可對應於降低圖像感測器內與第三識別區域相關聯的對焦圖元的密度。
在一些實例中，揭示的技術可以基於場景的分析來執行對焦資料定向偵測技術。例如，在某些情況下，感興趣區域內的紋理或邊緣可以沿特定方向定向，諸如水平方向或垂直方向。此外，與感興趣區域相關聯的對應對焦圖元可以配置為對焦定向，使得產生的對焦資料可能不會偵測到紋理或邊緣。例如，以左右對焦定向排列的對焦圖元可能無法偵測到水平紋理，因為對焦資料的相位偵測（PD）分析可能無法決定分別由左對焦圖元和右對焦圖元所產生的左圖像與右圖像之間的偏移量。
本文揭示的示例性技術為圖像感測器內與感興趣區域相關聯的對焦圖元設置第一（或預設）對焦定向。隨後，在將對焦圖元設置為第一對焦定向的同時，揭示的技術對由圖像感測器產生的圖像資料執行PD分析。若經由PD分析輸出的置信度位準不滿足置信度閾值，則所揭示的技術可以隨後為與感興趣區域相關聯的對焦圖元設置第二對焦定向，其中第二對焦定向不同於第一對焦定向。例如，揭示的技術可以將與識別區域相關聯的對焦圖元的對焦定向從左右對焦定向改變為上下對焦定向。然而，若置信度位準滿足置信度閾值，則所揭示的技術隨後可以保持對焦圖元的第一對焦定向。應當理解，在一些實例中，與不同的感興趣區域相關聯的對焦圖元可以與不同的相應的對焦定向相關聯。另外，應當理解，在一些實例中，與感興趣區域相關聯的各個對焦圖元的相應的對焦定向可以變化。
置信度位準指示了為圖像計算的對焦值正確的可能性。例如，可以基於與邊緣相對應的圖像資料的光譜分析來決定置信度位準（有時稱為「置信度量測」）。較銳利的邊緣在相鄰圖元之間具有高對比，並且頻譜分析顯示，對於高階頻率分量，較銳利的邊緣具有非零係數。圖像的置信度位準作為焦距的函數通常會追蹤焦距值作為焦距（鏡頭位置）的函數。置信度位準通常在焦點對準圖像的焦距處達到峰值，並隨著透鏡位置移離焦點位置而迅速下降。弱光位準或高頻圖案（例如，緊密排列的平行線）的存在會降低對焦值的置信度位準。當圖像嚴重失焦時，自動對焦可以選擇具有局部最大對比度值的透鏡位置，因此置信度位準較低。在大多數情況下，若對焦值準確，則在充足的照明下，置信度位準將達到峰值。置信度值可以基於各種統計度量，諸如均值、方差、標準差或其他度量。在一個實例中，若統計分析表明，用於近焦點或遠焦點範圍的所選透鏡位置包括彼此相距較大距離的鏡頭位置，則置信度值可能較低。
在一些實例中，揭示的技術可以基於場景的分析來執行飽和度偵測技術。例如，在某些情況下，感興趣區域可以包括一或多個飽和區域。如本文所用，當圖像感測器針對相應圖元輸出的數位值大於飽和閾值時，區域為飽和的。在一些實例中，飽和度閾值可以是預定值。在一些實例中，飽和度閾值可以是百分比。由對應於飽和區域的對焦圖元提供的資訊可能對自動對焦的目的沒有益處，因為所提供的資訊可能不會用於比較圖像和決定偏移量。本文揭示的示例性技術提供了用於識別感興趣區域內的飽和區域的技術。隨後示例性技術可以將圖像感測器內與飽和區域相對應的對焦圖元的密度設置為第一密度位準，並且可以將與感興趣區域的剩餘區域相對應的對焦圖元的密度設置為大於第一密度位準的第二密度位準。在一些實例中，揭示的技術可以將第一密度位準設置為零，使得對應於飽和區域的可配置圖元配置為用作成像圖元。
在一些實例中，揭示的技術可以基於場景的分析來執行邊緣偵測技術。在弱光環境中，由圖像感測器產生的圖像資料可能包括低訊雜比（SNR）及/或高雜訊。為了提高此種圖像的品質，一些實例將去噪技術應用於所產生的圖像資料。例如，對於選擇的圖元，合併包括對兩個或兩個以上附近圖元（在本文中統稱為「合併圖元」）的值求平均，並將該平均值用作所選擇圖元的值。然而在一些實例中，邊緣可以在合併圖元之間延伸。例如，感興趣區域可以包括監視器的螢幕（例如，第一物件）和監視器的機架（例如，第二對象）。如本文所用，「邊緣」是指由兩個或兩個以上對象建立的邊界（例如，監視器的螢幕和監視器的機架之間的邊界）。在一些此種實例中，合併圖元可以包括在與第一物件相對應的位置處的圖元和在與第二物件相對應的位置處的圖元（例如，與不同物件相對應的圖元）。對該等圖元的值進行合併或平均可能會使所選圖元的平均值偏斜，從而導致圖像出現假影及/或圖像的錯誤表示。
本文揭示的示例性技術可以應用邊緣偵測技術來偵測感興趣區域內的邊緣。若偵測到邊緣，則揭示的技術隨後可以基於偵測到的邊緣來劃分感興趣區域和對應的圖元。隨後，示例性技術可以增加圖像感測器內與相應感興趣區域部分相關聯的對焦圖元的數量。藉由增加與相應感興趣區域部分相關聯的對焦圖元的數量，所揭示的技術可以促進使用與相應感興趣區域部分相關聯的對焦圖元來對相同的相應物件執行分塊，從而減少（或避免）對焦圖元在邊緣和兩個或更多物件上的分塊的執行。
圖2是說明經配置以實施本發明的一或多個技術的示例性內容產生系統200的方塊圖。內容產生系統200包括設備204。如本文所述，諸如設備204之類的設備可以指配置為執行本文所描述的一或多個技術的任何設備、裝置或系統。例如，設備可以是伺服器、基地台、使用者裝備、客戶端設備、站、存取點、電腦（例如，個人電腦、桌上型電腦、筆記型電腦、平板電腦、電腦工作站或電腦主機）、終端產品、裝置、電話、智慧型電話、伺服器，視訊遊戲平臺或控制器、手持設備（例如，可攜式視訊遊戲設備或個人數位助理（PDA））、可穿戴計算設備（例如，智慧手錶、增強現實設備或虛擬實境設備）、非可穿戴設備、顯示器或顯示設備、電視、電視機上盒，中間網路設備、數位媒體播放機、視訊串流設備、內容串流設備、車內電腦、任何行動設備、配置為產生圖形內容的任何設備或配置為執行本文所述的一或多個技術的任何設備。可以將本文的程序描述為由特定元件（例如，ISP）執行，但是在進一步的實施例中，可以使用與揭示的實施例一致的其他元件（例如，應用處理器或CPU）來執行。
設備204可以包括用於執行本文描述的各種功能的一或多個元件或電路。在一些實例中，設備204的一或多個元件可以是SOC的元件。設備204可以包括配置為執行本案的一或多個技術的一或多個元件。在所示的實例中，設備204包括處理單元220、記憶體224和光學系統250。在一些實例中，設備204可以包括多個附加或替代的元件，諸如通訊介面226、收發器232、接收器228、發送器230和顯示客戶端231。
在所示的實例中，處理單元220包括內部記憶體221。處理單元220可以配置為執行影像處理，諸如在影像處理管線209中。影像處理管線209的示例性實現可以促進圖像擷取功能。在一些實例中，處理單元220可以另外地或可替代地配置為執行諸如在圖形處理管線中的圖形處理及/或諸如在計算處理管線中的非圖形處理。計算處理流水線的示例性實現可以促進執行通用操作或非圖形操作，諸如機器學習操作及/或人工智慧操作。
在一些實例中，處理單元220包括配置為實現影像處理管線209的ISP（或應用程式處理器）。ISP可以促進控制圖像擷取功能，諸如自動對焦、自動白平衡及/或自動曝光。在一些實例中，ISP亦可以促進執行後處理功能，諸如深度映射及/或散景效果。在一些實例中，ISP亦可以促進執行裁剪、縮放（例如，至不同的解析度）、圖像拼接、圖像格式轉換、顏色內插、顏色處理、圖像過濾（例如，空間圖像過濾）、透鏡假影或缺陷校正、銳化等。
在一些實例中，處理單元220可以包括顯示處理器，以在由顯示客戶端231呈現所產生的訊框之前，對由處理單元220所產生的一或多個訊框執行一或多個顯示處理技術。例如，顯示處理器可以配置為對由處理單元220產生的一或多個訊框執行一或多個顯示處理技術。顯示處理器可以根據介面協定（諸如例如，MIPI DSI（行動行業處理器介面、顯示序列介面））將圖像資料輸出到顯示客戶端231。
顯示客戶端231可以配置為顯示或呈現由處理單元220（及/或顯示處理器）處理的訊框。在一些實例中，顯示客戶端231可以包括以下中的一或多個：液晶顯示器（LCD）、電漿顯示器、有機發光二極體（OLED）顯示器、投影顯示設備、增強現實顯示設備、虛擬實境顯示設備、頭戴式顯示器或任何其他類型的顯示設備。
對顯示客戶端231的涉及可以指一或多個顯示器。例如，顯示客戶端231可以包括單個顯示器或多個顯示器。顯示客戶端231可以包括第一顯示器和第二顯示器。在其他實例中，影像處理的結果可能不會顯示在設備上。例如，顯示器可能不接收任何要在其上呈現的訊框。取而代之的，可以將訊框或影像處理結果傳送到另一設備。在一些實例中，訊框或影像處理結果到另一設備的轉移可以稱為分離渲染。
如前述，可以根據MIPI DSI標準來配置顯示客戶端231。MIPI DSI標準支援視訊模式和命令模式。在顯示客戶端231以視訊模式操作的實例中，處理單元220（及/或顯示處理器）可以連續刷新顯示客戶端231的圖形內容。例如，可以在每個刷新週期（例如，逐行）刷新訊框的整個圖形內容。
在顯示客戶端231以命令模式操作的實例中，處理單元220（及/或顯示處理器）可以將訊框的圖形內容寫入緩衝器。在一些實例中，顯示客戶端231可以包括緩衝器，因此緩衝器可以代表顯示客戶端231本端的記憶體。在一些此種實例中，處理單元220（及/或顯示處理器）可能不連續刷新顯示客戶端231的圖形內容。相反，處理單元220（及/或顯示處理器）可以使用垂直同步（Vsync）脈衝來協調在緩衝器處的圖形內容的渲染和使用。例如，當產生Vsync脈衝時，處理單元220（及/或顯示處理器）可以將新的圖形內容輸出到緩衝器。因此，Vsync脈衝的產生可以指示何時已經渲染了緩衝器處的當前圖形內容。
處理單元220、顯示客戶端231及/或通訊介面226可以存取處理單元220外部的記憶體，諸如記憶體224。例如，處理單元220可以配置為從諸如記憶體224的外部記憶體讀取及/或寫入到該外部記憶體。處理單元220、顯示客戶端231及/或通訊介面226可以經由匯流排通訊地耦接到記憶體224。在一些實例中，處理單元220、記憶體224、通訊介面226及/或顯示客戶端231可以經由匯流排或不同的連接彼此通訊地耦接。
在一些實例中，設備204可以包括內容編碼器/解碼器，其配置為從諸如記憶體224及/或通訊介面226的任何源接收圖形及/或顯示內容。記憶體224可以配置為儲存接收到的編碼內容或解碼內容。在一些實例中，內容編碼器/解碼器可以配置為以編碼圖元資料或解碼圖元資料的形式接收編碼內容或解碼內容（例如，從記憶體224及/或通訊介面226）。在一些實例中，內容編碼器/解碼器可以配置為編碼或解碼任何內容。
內部記憶體221及/或記憶體224可以包括一或多個揮發性或非揮發性記憶體或儲存設備。在一些實例中，內部記憶體221及/或記憶體224可以包括RAM、SRAM、DRAM、可抹除可程式設計ROM（EPROM）、電子可抹除可程式設計ROM（EEPROM）、快閃記憶體、磁資料媒體或光學儲存媒體，或任何其他類型的記憶體。
根據一些實例，內部記憶體221及/或記憶體224可以是非暫態儲存媒體。術語「非暫態」可以指示儲存媒體沒有體現在載波或傳播的信號中。然而，術語「非暫態」不應被解釋為意謂內部記憶體221及/或記憶體224是不可移除的或者其內容是靜態的。作為一個實例，可以將記憶體224從設備204移除並且移動到另一設備。作為另一個實例，記憶體224可能不能從設備204移除。
處理單元220可以是CPU、應用程式處理器、ISP、GPU、通用GPU（GPGPU）、DPU、顯示處理器或可以配置為執行影像處理的任何其他處理單元。在一些實例中，處理單元220可以整合到設備204的主機板中。在一些實例中，處理單元220可以存在於安裝在設備204的主機板的埠中的圖形卡上，或者可以以其他方式併入配置為與設備204互動操作的周邊設備內。處理單元220可以包括一或多個處理器，諸如一或多個微處理器、CPU、應用程式處理器、GPU、DPU、顯示處理器、ISP、特殊應用積體電路（ASICs）、現場可程式設計閘陣列（FPGAs）、算數邏輯單元（ALUs）、數位訊號處理器（DSPs）、個別邏輯、軟體、硬體、韌體、其他等效的積體或個別邏輯電路或其任意組合。若技術部分地以軟體實現，則處理單元220可以將用於軟體的指令儲存在合適的非暫態電腦可讀取儲存媒體（例如，內部記憶體221）中，並且可以在硬體中使用一或多個處理器執行指令來執行本案的技術。包括硬體、軟體、硬體和軟體的組合等的任何前述內容可以被認為是一或多個處理器。
在所示的實例中，設備204包括通訊介面226。通訊介面226可以包括接收器228和發送器230。接收器228可以配置為執行本文關於設備204描述的任何接收功能。另外，接收器228可以配置為從另一設備接收資訊（例如，眼睛或頭部的位置資訊、渲染命令或位置資訊）。發送器230可以配置為執行本文關於設備204描述的任何發送功能。例如，發送器230可以配置為向另一設備發送資訊，該資訊可以包括對內容的請求。接收器228和發送器230可以組合到收發器232中。在此種實例中，收發器232可以配置為執行本文關於設備204描述的任何接收功能及/或發送功能。
在所示的實例中，設備204包括與處理單元220通訊的光學系統250。光學系統250包括透鏡組件252、圖像感測器254和電荷元件256。透鏡組件252可以促進將入射光在圖像感測器254的圖元上對焦。應當瞭解，透鏡組件252可以包括任何數量的光學元件。在一些實例中，處理單元220可以配置為移動透鏡組件252以調節在圖像感測器254上接收的光的焦點。應當瞭解，光學系統250可以包括一或多個附加的光學元件，其安裝在設備204的殼體內部及/或定位在殼體或透鏡組件252上。例如，另外的光學元件可以包括：運動感測器（例如，加速度計、陀螺儀等）、光圈、快門、反射鏡、濾光器、塗層等。
示例性圖像感測器254可以是互補金屬氧化物半導體（CMOS）成像感測器或電荷耦合設備（CCD）感測器。然而應當瞭解，在其他實例中，圖像感測器可以是包括用於擷取圖像資料的圖元的任何合適的感測器。圖2的示例性圖像感測器254包括用於擷取圖像資料的複數個圖元。圖像感測器254可以配置為數位化每個圖元接收的光量。例如，當將接收到的光表示為十位元數位值時，低值（例如100）可以指示光量低，而高值（例如1023）可以指示光量高。複數個圖元亦可以包括圖元組，該圖元組可配置為用作對焦圖元或成像圖元。在一些實例中，該組可配置圖元可以包括圖像感測器254的複數個圖元中的一個到全部。
圖3圖示根據本文揭示的技術的圖2的圖像感測器254的可配置圖元300的側視圖。可配置圖元300包括與成像圖元相同的三個元件，包括微透鏡310、濾色器320和光電二極體330。微透鏡310可以配置為將接收到的光在光電二極體330上對焦。濾色器320可以是以拜耳圖案排列的紅色、綠色或藍色（R、G或B）。在其他實例中，濾色器320可以以青色、黃色、綠色和洋紅色圖案；紅色、綠色、藍色和翠綠色圖案；青色、洋紅色、黃色和白色圖案；紅色、綠色、藍色和白色圖案，或其他圖案排列。圖3的光電二極體330位於基板340內，諸如矽基板。
圖3的可配置圖元300包括位於濾色器320和光電二極體330之間的不透明度轉變材料350。不透明度轉變材料350可以是電控制材料（諸如液晶），其可以呈現透通或不透明。當不透明度轉變材料350是透通的時，光可以被光電二極體330接收。當不透明度轉變材料350不透通時，光電二極體330被阻止接收光。
在圖3所示的實例中，不透明度轉變材料350被分成第一不透明度轉變材料部分350a和第二不透明度轉變材料部分350b，並且每個部分350a、350b可以被獨立地控制。當沒有電荷（或電流或電壓）施加到不透明度轉變材料350時，不透明度轉變材料350顯得透通，並且可配置圖元300可以用作成像圖元，諸如圖1的紅色/綠色/藍色圖元104。當將電荷（或電流或電壓）施加到不透明度轉變材料350上時，相應的部分350a、350b變得不透明，這產生了與使用金屬遮罩來擋光的相似效果（如圖1中所示），並且可配置圖元可以用作對焦圖元，諸如圖1的對焦圖元106。下文結合圖2的電荷元件256描述用於施加電荷（或電流或電壓）的示例性技術。
因此，可配置圖元300可以配置為基於是否將電荷施加到不透明度轉變材料350而用作對焦圖元或成像圖元。此外，可以藉由向圖像感測器254的相應可配置圖元300施加（或不施加）電荷來調整與圖像的感興趣區域相關聯的對焦圖元的密度。
在一些實例中，圖像感測器254的複數個圖元可以是可配置圖元。在一些此種實例中，圖像感測器254的每個圖元可以配置為用作對焦圖元及/或成像圖元。
在一些實例中，該組可配置圖元可以少於圖像感測器254的複數個圖元。例如，圖像感測器254的一或多個圖元可以是專用成像圖元，而剩餘圖元可以是可配置圖元。在一些此種實例中，專用成像圖元可以沿著圖像感測器254的周邊定位。應當瞭解，專用成像圖元與可配置圖元的比率可以變化。
在一些實例中，不透明度轉變材料350可以分為兩個獨立可控的部分（如圖3中所示）。圖4A圖示包括第一（或左）不透明度轉變材料部分410和第二（或右）不透明度轉變材料部分420的可配置圖元400的俯視圖。在圖4A的所示的實例中，部分410、420定位成使得可配置圖元400可以用作左右對焦圖元。例如，可以將電荷施加到左不透明度轉變材料410，並且可配置圖元400可以用作「右對焦圖元」，因為進入右不透明度轉變材料部分420的光可以到達光電二極體。類似地，當將電荷施加到右不透明度轉變材料部分420時，可配置圖元400可以用作「左對焦圖元」，因為進入左不透明度轉變材料部分410的光可以到達光電二極體。部分410、420的態樣可以由圖3的部分350實現。
圖4B圖示包括第一（或上部）不透明度轉變材料部分460和第二（或下部）不透明度轉變材料部分470的可配置圖元450的俯視圖。在圖4B的所示的實例中，部分460、470定位成使得可配置圖元400可以用作上下對焦圖元。例如，可以將電荷施加到上不透明度轉變材料部分460，並且可配置圖元450可以用作「下對焦圖元」，因為進入下不透明度轉變材料部分470的光可以到達光電二極體。類似地，當將電荷施加到下不透明度轉變材料部分470時，可配置圖元450可以用作「上對焦圖元」，因為進入上不透明度轉變材料部分460的光可以到達光電二極體。部分460、470的態樣可以由圖3的部分350實現。
圖5A至圖5F圖示可配置圖元的對焦定向的俯視圖，其中不透明度轉變材料被劃分為四個獨立可控部分502、504、506、508。部分502、504、506、508的各態樣可以由圖3的部分350，圖4A的部分410、420及/或圖4B的部分460、470實現。在一些實例中，可基於施加電荷的不透明度轉變材料的哪些部分來決定可配置圖元的對焦定向。圖5A和圖5B圖示具有左右對焦定向的可配置圖元。例如，圖5A圖示配置為用作「右對焦圖元」的可配置圖元500，因為電荷被施加到第一不透明度轉變材料部分502和第三不透明度轉變材料部分506，而電荷不被施加到第二不透明度轉變材料部分504和第四不透明度轉變材料部分508。圖5B圖示配置為用作「左對焦圖元」的可配置圖元510，因為電荷被施加到第二不透明度轉變材料部分504和第四不透明度轉變材料部分508，而電荷不被施加到第一不透明度轉變材料部分502和第三不透明度轉變材料部分506。
圖5C和圖5D圖示具有上下對焦定向的可配置圖元。例如，圖5C圖示配置為用作「上對焦圖元」的可配置圖元520，因為電荷被施加到第三不透明度轉變材料部分506和第四不透明度轉變材料部分508，而電荷不被施加到第一不透明度轉變材料部分502和第二不透明度轉變材料部分504。圖5D圖示配置為用作「下對焦圖元」的可配置圖元530，因為電荷被施加到第一不透明度轉變材料部分502和第二不透明度轉變材料部分504，而電荷不被施加到第三不透明度轉變材料部分506和第四不透明度轉變材料部分508。
圖5E和5F圖示具有對角對焦定向的可配置圖元。例如，圖5E圖示配置為用作「左上、右下對焦圖元」的可配置圖元540，因為電荷被施加到第二不透明度轉變材料部分504和第三不透明度轉變材料部分506，而電荷不被施加到第一不透明度轉變材料部分502和第四不透明度轉變材料部分508。圖5F圖示配置為用作「右上、左下對焦圖元」的可配置圖元550，因為電荷被施加到第一不透明度轉變材料部分502和第四不透明度轉變材料部分508，而電荷不被施加到第二不透明度轉變材料部分504和第三不透明度轉變材料部分506。
儘管圖4A和4B的示例性可配置圖元圖示佈置成兩個部分的不透明度轉變材料，並且圖5A至5F的示例性可配置圖元圖示佈置成四個部分的不透明度轉變材料，但是應當瞭解，其他實例可包括另外的或替代數量及/或部分佈置。此外應當瞭解，儘管圖5A至圖5F的所示實例包括將四個不透明度轉變材料部分中的兩個設置為不透明，但是在其他實例中，可以將任何合適量的不透明過渡材料部分配置為不透明以實現相應圖元用作對焦圖元。
此外應當瞭解，在一些實例中，不同的可配置圖元可以配置為用作具有不同對焦定向的對焦圖元。例如，可配置圖元的第一子集可以配置為具有左右對焦定向的對焦圖元（如圖5A和圖5B所示），可配置圖元的第二子集可以配置為具有上下對焦定向的對焦圖元（如圖5C和圖5D所示）及/或可配置圖元的第三子集可以配置為具有對角對焦定向的對焦圖元（如圖5E和圖5F所示）。
再次參考圖2，電荷元件256可以例如經由導線耦接到可配置圖元組中的所選擇的可配置圖元的不透明度轉變材料的部分。電荷元件256可配置為將電荷（或電流或電壓）施加到可配置圖元組中的所選擇的可配置圖元的不透明度轉變材料的部分（例如，經由導線），以使所選擇的可配置圖元用作對焦圖元。另外，電荷元件256可配置為不向（例如，經由電線）該組可配置圖元組中的未選擇的可配置圖元施加電荷（或電流或電壓），以使該未選擇的可配置圖元用作成像圖元。儘管上文的描述提供了一個實例，其中電荷元件256經由導線耦接到不透明度轉變材料的一部分，但是應當瞭解，其他實例可以使用附加或替代技術將電荷元件256耦接到不透明度轉變材料的一部分。例如，電荷元件256可以經由電極耦接到不透明度轉變材料的部分。
仍然參考圖2，在一些態樣中，處理單元220可以配置為操作本文揭示的一或多個技術。例如，處理單元220可以包括決定元件298，其配置為接收場景的第一訊框的第一圖像資料。決定元件298可以配置為決定第一訊框的感興趣區域或非感興趣區域中的至少一個。決定元件298可以配置為基於所決定的感興趣區域或非感興趣區域中的至少一個來選擇要用作對焦圖元的該組可配置圖元的子集。決定元件298亦可配置為使該組可配置圖元的所選擇的子集用作對焦圖元。
圖6圖示根據本案的態樣的影像處理器600的方塊圖。影像處理器600的一或多個態樣可以由圖2的處理單元220實現。示例性影像處理器600可以包括配置為執行物件處理元件610、定向處理元件620、飽和度處理元件630和邊緣處理元件640的一或多個處理器。
在所示的實例中，影像處理器600配置為接收一訊框的圖像資料。例如，影像處理器600可以從圖2的圖像感測器254接收場景的一訊框的圖像資料。在一些實例中，圖像資料可以不包括對焦資料。例如，圖像感測器254的可配置圖元可以配置為在圖像感測器254產生圖像資料時用作成像圖元。在一些實例中，圖像資料可以包括對焦資料。例如，圖像感測器254的可配置圖元的子集可以配置為當圖像感測器254產生圖像資料時用作對焦圖元。在一些實例中，配置為用作對焦圖元的可配置圖元的子集可以是可配置圖元的預設子集。例如，可配置圖元的預設子集可以是對焦圖元的預定數量及/或圖案，其不基於對先前接收到的圖像資料（例如，針對先前訊框）執行的場景分析技術。在一些實例中，配置為用作對焦圖元的可配置圖元的子集可以基於對先前接收的圖像資料的一或多個場景分析技術的執行。在一些實例中，對焦資料可以用於調整設備204的焦點。
示例性影像處理器600亦可配置為對接收到的圖像資料執行一或多個場景分析技術，並基於一或多個場景分析技術的執行，選擇圖像感測器254的可配置圖元的子集以用作對焦圖元。影像處理器600可藉由指示電荷元件256將電荷施加到可配置圖元的所選擇的子集的相應不透明度轉變材料部分，來使所選可配置圖元的子集用作對焦圖元。
示例性影像處理器600亦可配置為基於對圖像資料的分析來識別圖像中的感興趣區域及/或非感興趣區域。例如，影像處理器600可以利用人工智慧機制及/或機器學習機制來識別區域。在一些實例中，影像處理器600可以接收指示感興趣區域或非感興趣區域的資訊。例如，影像處理器600可以經由輸入介面接收使用者輸入。在一些此種實例中，影像處理器600可以基於接收到的使用者輸入來決定感興趣區域及/或非感興趣區域中的至少一個。
在一些實例中，影像處理器600可以配置為基於一或多個場景分析技術的執行來調整圖像感測器內與識別區域相關聯的對焦圖元的密度。例如，影像處理器600可以配置為增加或減少與識別區域相關聯的對焦圖元的數量。在一些實例中，影像處理器600可以配置為調整與識別區域的子區域相關聯的對焦圖元的數量。例如，影像處理器600可以識別感興趣區域內的非感興趣區域（或範圍）。在一些此種實例中，影像處理器600可以增加與感興趣區域相關聯的圖像感測器的對焦圖元的數量，並且亦可以減少與所識別的非感興趣區域相關聯的對焦圖元的數量。
在圖6的所示的實例中，影像處理器600配置為包括物件處理元件610，以促進實現物件偵測及/或辨識技術。在一些實例中，圖像可以包括一或多個識別區域。在一些此種實例中，物件處理元件610可以配置為決定識別區域是感興趣區域還是非感興趣區域。舉例而言，物件處理元件610可經配置以實施一或多個物件偵測及/或辨識機制以識別（例如，偵測及/或辨識）圖像中的物件。
圖7圖示了圖像700，其包括在前景中戴著帽子720的人710以及在背景中的牆壁730。在所示的實例中，圖6的物件處理元件610可以識別與人710的臉相對應的第一區域712，與帽子720相對應的第二區域722以及與牆壁730相對應的第三區域732。物件處理元件610可以基於在相應區域內偵測到及/或辨識的物件來對每個識別區域712、722、732進行分類。例如，物件處理元件610可以將與人710的臉相對應的第一區域712和與帽子720相對應的第二區域722分類為感興趣區域。物件處理元件610可以將與牆壁730相對應的第三區域732分類為非感興趣區域。在一些實例中，物件處理元件610可以配置為基於目標項目或感興趣的項目（諸如面部或人）對區域進行分類。
在一些實例中，物件處理元件610可以配置為基於偵測到的及/或識別出的物件對識別區域進行子分類。例如，物件處理元件610可以配置為將人710的面部分類為第一級重要性的對象，將帽子720分類為第二級重要性的對象，並且將壁730分類為第三級重要性的對象。在一些此種實例中，第二級重要性可以不如第一級重要性重要，但是可以比第三級重要性更重要。
物件處理元件610亦可配置為決定如何調整與每個識別區域相對應的對焦圖元的密度。例如，物件處理元件610可以決定增加與感興趣區域相關聯的對焦圖元的密度及/或減少與非感興趣區域相關聯的對焦圖元的密度。在一些實例中，可以降低與非感興趣區域相關聯的對焦圖元的密度，使得與非感興趣區域相對應的可配置圖元配置為用作成像圖元。在一些實例中，物件處理元件610可以基於重要性的不同位準來決定調整對焦圖元的密度。例如，第一級重要性的區域可以與第一密度位準關聯，第二級重要性的區域可以與第二密度位準關聯，並且第三級重要性的區域可以與第三密度位準關聯。在一些此種實例中，第二密度位準可以比第一密度位準更低，但是可以比第三密度位準更高。
應當瞭解，圖像的不對應於識別區域的區域可以與背景密度位準相關聯。例如，圖像700的對應於人710的頭髮或襯衫的區域可以與背景密度位準相關聯。在一些實例中，一或多個密度位準可以具有比背景密度位準更大的密度及/或可以具有比背景密度位準更低的密度。例如，在一些實例中，第一密度位準、第二密度位準和第三密度位準可以大於背景密度位準。在一些實例中，感興趣區域（例如，第一區域712和第二區域722）的密度位準可以比背景密度位準更大，而非感興趣區域（例如，第三區域732）的密度位準可以小於背景密度位準。
在圖6的所示的實例中，影像處理器600配置為包括定向處理元件620，以促進實現對焦資料定向偵測技術。在一些實例中，識別區域可以包括在特定方向上定向的紋理或邊緣，諸如水平紋理或垂直紋理。在一些此種實例中，若與識別區域相對應的對焦圖元具有與紋理或邊緣相同的對焦定向，則對於PDAF目的由相應對焦圖元產生的對焦資料可能沒有用。
在一些實例中，定向處理元件620可以配置為基於針對圖像資料接收的對焦資料來執行置信度測試。例如，置信度測試可以沿著相應對焦圖元的對焦定向來量測與對焦資料相關聯的雜訊。圖8圖示了包括複數個水平紋理810的感興趣區域800。應當瞭解，若與感興趣區域800相對應的對焦圖元具有左右對焦定向，則由對焦圖元產生的對焦資料可能不能提供用於PDAF目的的有用資訊。例如，定向處理元件620可能無法決定分別由左對焦圖元和右對焦圖元產生的左圖像和右圖像之間的偏移。
在所示的實例中，定向處理元件620可以被配置為與識別區域相關聯的對焦圖元設置第一對焦定向。例如，第一對焦定向可以是預設的對焦定向，諸如左右對焦定向（如圖5A和圖5B所示）。定向處理元件620可以基於從具有第一對焦定向的對焦圖元接收的圖像資料來執行置信度測試。
在一些實例中，若由置信度測試產生的置信度位準滿足置信度閾值，則定向處理元件620可以決定與識別區域相關聯的對焦圖元的當前對焦定向能夠提供用於PDAF目的的有用資訊。然而，若置信度位準不滿足置信度閾值，則定向處理元件620可以決定改變與識別區域相關聯的對焦圖元的對焦定向。例如，定向處理元件620可以決定將對焦定向改變為上下對焦定向（如圖5C和圖5D所示）或對角對焦定向（如圖5E和圖5F所示）。
在一些實例中，當置信度位準大於或等於置信度閾值時，置信度位準可以滿足置信度閾值。在一些實例中，當置信度位準大於置信度閾值時，置信度位準可以滿足置信度閾值。然而應當瞭解，在一些實例中，當置信度位準小於或等於置信度閾值時或當置信度位準小於置信度閾值時，置信度位準可以滿足置信度閾值。
在一些實例中，置信度位準可以是數值，諸如在零與一百之間的數字。在一些此種實例中，置信度閾值可以是零到一百之間的數值。在一些實例中，置信度位準可以是對應於「置信」或「不置信」位準的二進位值。在一些此種實例中，置信度閾值可以是對應於「置信度」的值。
應當瞭解，當置信度位準不滿足置信度閾值時，藉由調整與識別區域相關聯的圖像感測器的對焦圖元的對焦定向，定向處理元件620促進增加從後續訊框期間產生的對焦資料接收用於PDAF目的的有用資訊的可能性。
在圖6的所示的實例中，影像處理器600配置為包括飽和度處理元件630，以促進實現飽和度偵測技術。在一些圖像中，感興趣區域可以包括飽和區域。由與飽和區域關聯的對焦圖元產生的對焦資料可能無法提供用於PDAF目的的有用資訊。例如，由與飽和區域相關聯的對焦圖元產生的對焦資料可能沒有提供足夠的細節來量測對焦圖元對之間的偏移。
圖9圖示了示例性圖像900，其包括與汽車相對應的識別的感興趣區域910。示例性飽和度處理元件630可以配置為應用飽和區域偵測技術以識別訊框中的一或多個飽和區域。在一些實例中，飽和度處理元件630可以基於由圖像感測器254產生的數位值來識別飽和區域。例如，對於十位元數位值，圖像感測器254可以產生介於0和1023之間的數位值。在一些此種實例中，數位值1023表示圖像感測器254能夠數位化的最大光量。在一些實例中，飽和度處理元件630可以配置為應用能夠由圖像感測器254輸出的最大數位值的百分比以決定何時區域飽和。
在圖9所示的實例中，飽和度處理元件630可以識別與一輛汽車的前大燈相對應的第一飽和區域920和與另一輛汽車的後尾燈相對應的第二飽和區域930。如圖9所示，第一飽和區域920在所識別的感興趣區域910內。
在一些實例中，飽和度處理元件630可以決定降低與飽和區域920、930相關聯的圖像感測器的對焦圖元的密度。例如，飽和度處理元件630可以將與飽和區域920、930相關聯的對焦圖元的數量設置為零對焦圖元，使得與飽和區域920、930相關聯的圖像感測器的可配置圖元被配置為用作成像圖元。
在一些實例中，飽和度處理元件630可以決定飽和區域是否與所識別的感興趣區域重疊。例如，飽和度處理元件630可以決定所識別的感興趣區域910和第一飽和區域920重疊。在一些此種實例中，飽和度處理元件630可以決定增加與所識別的感興趣區域910相關聯的對焦圖元的密度，並且可以決定減小與第一飽和區域920相關聯的對焦圖元的密度。例如，飽和度處理元件630可以決定將與所識別的感興趣區域910相關聯並且在第一飽和區域之外的對焦圖元的密度位準設置為大於背景密度位準的第一密度。飽和度處理元件630亦可以決定將與第一飽和區域920相關聯的對焦圖元的密度位準設置為小於第一密度的第二密度。在一些實例中，第二密度可以對應於零對焦圖元，使得與第一飽和區域920相關聯的可配置圖元配置為用作成像圖元。在一些實例中，第二密度可以對應於大於零對焦圖元並且小於背景密度位準的密度位準。
應當瞭解，藉由降低與飽和區域相關聯的對焦圖元的密度位準，飽和度處理元件630促進減少可能對於PDAF目的無用的所產生的對焦資料量。另外，藉由將與飽和區域相關聯的可配置圖元設置為用作成像圖元，飽和度處理元件630亦可以促進改善圖像品質。
在圖6的所示的實例中，影像處理器600可以配置為包括邊緣處理元件640，以促進實現邊緣偵測技術。在一些實例中，場景可以對應於弱光環境。例如，由圖像感測器254產生的數位值可以小於弱光環境閾值。例如，對於十位元數位值（介於0到1023之間），可以用小於100的數位值指示弱光環境。然而應當瞭解，附加或替代實例可以使用其他閾值。
在弱光環境中，由圖像感測器254產生的數位值可具有低訊雜比（SNR）及/或高雜訊。為了改善圖像的品質，影像處理器600可以執行去噪技術，諸如具有相同對焦定向的複數個附近對焦圖元的合併（或平均）值（或資料）（統稱為「合併圖元」）。
圖10圖示包括圖元1004的陣列1002的圖像感測器1000的一部分。在所示實例中，圖像感測器1000的一部分對應於可配置圖元，其用作與第一訊框的感興趣區域相關聯的成像圖元或對焦圖元。在示出的實例中，陣列1002包括複數個左對焦圖元1010和複數個右對焦圖元1020。當執行合併時，影像處理器600可以對具有相同對焦定向的對焦圖元的數位值求平均。例如，在圖10的所示的實例中，影像處理器600可以將第一左對焦圖元1010a、第二左對焦圖元1010b、第三左對焦圖元1010c和第四左對焦圖元1010d的數位值平均以決定第二左對焦圖元1010b的值。類似地，用於決定第二右對焦圖元1020b的值的合併圖元可以包括第一右對焦圖元1020a、第二右對焦圖元1020b、第三右對焦圖元1020c和第四右對焦圖元1020d。
在一些實例中，感興趣區域可以包括邊緣。邊緣可以經由亮度變化或顏色變化來決定。例如，邊緣處理元件640可以配置為在亮度的改變及/或顏色的改變大於閾值百分比時偵測邊緣。在一些實例中，邊緣可以對應於不同物件之間的邊界。例如，參考圖7的示例性圖像700，邊緣處理元件640可以偵測在帽子720和人710的臉的前額之間的第二識別區域722內的邊緣。在一些實例中，邊緣處理元件640可以偵測物件的不同區域之間的邊緣。例如，邊緣處理元件640可以偵測監視器的螢幕和監視器的機架之間的邊緣。
在圖10的所示的實例中，在與圖元1004的第一子集1002a和圖元1004的第二子集1002b之間的圖元相關聯的第一圖像內偵測到邊緣。因此，第一子集1002a內的圖元1004可以與第一相似亮度或第一相似顏色相關聯，第二子集1002b內的圖元1004可以與第二相似亮度或第二相似顏色相關聯。
然而，應當瞭解，在合併時，藉由對邊緣上的對焦圖元的數位值求平均來決定對焦圖元的值可能會使對焦圖元的平均值偏斜，這可能導致假影。例如，決定第二左對焦圖元1010b的值包括平均第一左對焦圖元1010a和第二左對焦圖元1010b，其在圖元1004的第一子集1002a內並且與第一相似亮度或第一相似顏色相關聯，以及第三左對焦圖元1010c和第四左對焦圖元1010d的數位值，其在圖元1004的第二子集1002b內並且與第二相似亮度或第二相似顏色相關聯。
為了改善在弱光環境中的合併的執行，邊緣處理元件640配置為偵測感興趣區域內的一或多個邊緣。若邊緣處理元件640偵測到感興趣區域內的邊緣，則邊緣處理元件640配置為增加與感興趣區域的相應子區域相關聯的對焦圖元的密度。例如，參考圖10的實例，邊緣處理元件640可以配置為增加圖像感測器1000的圖元1004的第一子集1002a內的左對焦圖元1010和右對焦圖元1020的密度。邊緣處理元件640可以另外地或替代地配置為增加圖像感測器1000的圖元1004的第二子集1002b內的左對焦圖元1010和右對焦圖元1020的密度。
應當瞭解，藉由增加與感興趣區域的相應子區域相關聯的對焦圖元的密度，邊緣處理元件640可以藉由降低合併跨過邊緣延伸的圖元的可能性來促進提高合併品質。應當瞭解，可以在場景的後續訊框上執行合併。
在所示的實例中，在物件處理元件610、定向處理元件620、飽和度處理元件630及/或邊緣處理元件640之後，執行其相應的場景分析技術並決定在圖像感測器254的可配置圖元中要進行的更改（若有），影像處理器600將相應的圖元配置應用於後續訊框。例如，圖元配置中的改變可以包括將可配置圖元從用作成像圖元改變為用作對焦圖元（例如，增加與識別區域相關聯的對焦圖元的密度），將可配置圖元從用作對焦圖元改變為用作成像圖元（例如，為了降低與識別區域相關聯的對焦圖元的密度），及/或將對焦圖元的對焦定向從第一對焦定向改變為第二對焦定向（例如，增加從由與包括紋理的區域相關聯的對焦圖元產生的對焦資料接收用於PDAF目的的有用資訊的可能性）。
圖11至圖15圖示根據本文揭示的一或多個技術的示例性方法的示例性流程圖。該方法可以由諸如圖2的示例性設備204的裝置及/或諸如圖2的示例性處理單元220及/或圖6的影像處理器600的裝置的元件來執行。根據各個態樣，可以省略、轉置及/或同時執行該等方法的一或多個操作。可選態樣以虛線示出。在圖11至圖15的所示實例中，該裝置配置為包括具有複數個圖元的圖像感測器，其包括可配置為用作成像圖元或對焦圖元的圖元組，諸如圖2的示例性圖像感測器254。
圖11是根據本文揭示的一或多個技術的採用PDAF光學系統的方法的流程圖1100。在1102處，該裝置接收場景的第一訊框的第一圖像資料，如結合圖2至圖10中的實例所描述的。例如，處理單元220及/或影像處理器600可以配置為從圖像感測器254接收第一圖像資料。可以瞭解，圖像感測器254的可配置圖元可以配置為以預設配置（例如，作為成像圖元或作為具有第一對焦定向的對焦圖元）來操作，或者可以配置為與先前的圖元配置一起操作（例如，可配置圖元的第一子集配置為用作成像圖元，可配置圖元的第二子集配置為用作具有第一對焦定向的對焦圖元，可配置圖元的第三子集配置為用作具有第二對焦定向的對焦圖元等）。
在1104處，該裝置決定第一訊框的感興趣區域或非感興趣區域中的至少一個，如結合圖2至圖10中的實例所描述的。例如，處理單元220及/或影像處理器600可以配置為決定第一訊框的感興趣區域或非感興趣區域中的至少一個。在一些實例中，該裝置可以藉由應用物件偵測及/或識別技術來決定識別區域。在一些實例中，該裝置可以接收指示感興趣區域或非感興趣區域中的至少一個的使用者輸入，隨後可以基於接收到的使用者輸入來決定感興趣區域或非感興趣區域。可以瞭解，在一些實例中，感興趣區域或非感興趣區域可以包括整個訊框。
在1106處，該裝置可以將一或多個場景分析技術應用於感興趣區域或非感興趣區域中的至少一個，以決定可配置圖元的圖元配置，如結合圖2至圖10中的實例所描述的。例如，處理單元220及/或影像處理器600可以配置為將一或多個場景分析技術應用於感興趣區域或非感興趣區域中的至少一個以決定圖元配置。在一些實例中，該裝置可以應用物件偵測及/或辨識技術、對焦資料定向偵測技術、飽和度偵測技術和邊緣偵測技術中的一或多個。下文結合圖12的流程圖1200描述物件偵測及/或辨識技術的各態樣。下文結合圖13的流程圖1300描述對焦資料定向偵測技術的各態樣。下文結合圖14的流程圖1400描述飽和度偵測技術的各態樣。下文結合圖15的流程圖1500描述邊緣偵測技術的各態樣。
在一些實例中，該裝置可以決定應用四種示例性場景分析技術中的每一種。在一些實例中，該裝置可以決定應用示例性場景分析技術的子集。在一些實例中，該裝置可以將一或多個示例性場景分析技術應用於場景的每個訊框。在一些實例中，該裝置可以藉由跳過應用了一或多個示例性場景分析技術的一或多個訊框來節省裝置的功率及/或計算資源。在一些實例中，該裝置可以執行初始場景分析（例如，基於機器學習及/或人工智慧）以決定場景的各態樣在訊框之間是否改變。在一些此種實例中，當場景的各態樣在訊框之間改變時，該裝置可以藉由應用一或多個場景分析技術來節省裝置的功率及/或計算資源。
在1108處，該裝置選擇要用作對焦圖元的圖像感測器的可配置圖元組的子集，如結合圖2至圖10中的實例所描述的。例如，處理單元220及/或影像處理器600可以配置為選擇要用作對焦圖元的該組可配置圖元的子集。在一些實例中，該裝置可以使用藉由應用一或多個場景分析技術而決定的圖元配置（在1106處）來決定要用作對焦圖元的該組可配置圖元的子集。在一些實例中，圖元配置亦可為配置為用作對焦圖元的可配置圖元的子集提供對焦定向。
在1110處，該裝置使可配置圖元的所選擇的子集用作對焦圖元，如結合圖2至圖10中的實例所描述的。例如，處理單元220及/或影像處理器600可以配置為使電荷元件256向圖像感測器254的可配置圖元的子集的不透明度轉變材料部分350施加電荷（或電流或電壓）以使相應可配置圖元用作對焦圖元。在一些實例中，該裝置可以另外地或替代地改變一或多個對焦圖元的對焦定向。在一些實例中，該裝置可以另外地或替代地使一或多個可配置圖元用作成像圖元。
在1112處，該裝置可以移動透鏡組件以調節所接收的光在圖像感測器上的焦點，如結合圖2至圖10中的實例所描述的。例如，處理單元220及/或影像處理器600可以配置為移動透鏡組件252以調節所接收的光在圖像感測器254上的焦點。
在1114處，該裝置可以接收場景的後續訊框的第二圖像資料，如結合圖2至圖10中的實例所描述的。例如，處理單元220及/或影像處理器600可以從圖像感測器254接收第二圖像資料。在一些實例中，第二圖像資料可以包括來自可配置圖元組的所選擇的子集的對焦資料和來自圖像感測器的複數個圖元的剩餘圖元的成像資料。
圖12是根據本文揭示的一或多個技術的實現物件偵測及/或辨識技術的方法的流程圖1200。在1202處，該裝置可以應用物件偵測及/或辨識技術，如結合圖2至圖10中的實例所描述的。例如，物件處理元件610可以配置為應用物件偵測及/或辨識技術。在一些實例中，物件偵測及/或辨識技術可以配置為偵測及/或辨識不同類別的物件。例如，物件偵測及/或辨識技術可以配置為偵測及/或辨識感興趣的物件（例如，目標項目）及/或非感興趣的物件。在一些實例中，物件偵測及/或識別技術可以配置為對偵測到的及/或辨識的對象進行子分類。例如，物件偵測及/或辨識技術可以配置為偵測及/或辨識高興趣的物件（例如，諸如面部的目標項目）及/或可以配置為偵測及/或辨識興趣不高的物件（例如，麥克風）。
在1204處，該裝置可以基於偵測到的及/或辨識的物件來決定識別區域是感興趣區域還是非感興趣區域，如結合圖2至圖10中的實例所描述的。例如，物件處理元件610可以配置為基於在識別區域內偵測到及/或辨識的物件來決定識別區域是感興趣區域還是非感興趣區域。在一些實例中，基於在識別區域內偵測到及/或辨識的物件的對應類別（或子類別），識別區域可以與不同位準的感興趣或非感興趣相關聯。
若在1204處，該裝置決定識別區域是非感興趣區域（例如，在識別區域內偵測到及/或辨識的對像是非感興趣的），則在1206處，該裝置可以決定減小與識別區域相關聯的對焦圖元的密度，如結合圖2至圖10中的實例所描述的。例如，物件處理元件610可以配置為藉由改變一或多個可配置圖元的配置以用作成像圖元來決定降低與識別區域相關聯的圖像感測器254內的對焦圖元的密度。控制隨後前進到1210，以決定是否存在另一個識別區域以及偵測到的及/或辨識的物件要處理。
若在1204處，該裝置決定識別區域是感興趣區域（例如，識別區域內的偵測到的及/或所辨識的對像是感興趣的），則在1208處，該裝置可以決定增加與識別區域相關聯的對焦圖元的密度，如結合圖2至圖10中的實例所描述的。例如，物件處理元件610可以配置為決定增加與識別區域相關聯的圖像感測器254內的對焦圖元的密度。在一些實例中，該裝置可以基於例如偵測到的及/或辨識出的對象的子分類來決定將對焦圖元的不同密度位準應用於不同的感興趣區域。例如，該裝置可以設置與包括高興趣物件（例如，面部）的感興趣區域相關聯的對焦圖元的第一密度位準，並且可以設置與包括興趣不高的物體（例如麥克風）的感興趣區域相關聯的對焦圖元的第二密度位準。在一些此種實例中，具有第一密度位準的感興趣區域可以具有比具有第二密度位準的感興趣區域相對更密集地對焦圖元。
在1210處，該裝置可以基於偵測到的及/或辨識的物件來決定是否存在另一個識別區域要處理，如結合圖2至圖10中的實例所描述的。例如，物件處理元件610可以配置為決定是否存在另一個識別區域要處理。若在1210處，該裝置決定存在另一個識別區域要處理，則控制返回到1204，以基於識別區域內偵測到及/或辨識的物件來決定識別區域是感興趣區域還是非感興趣區域。
若在1210處，該裝置決定不存在要處理的另一個識別區域，則在1212處，該裝置可以應用圖元配置，如結合圖2至圖10中的實例所描述的。例如，處理單元220及/或影像處理器600可以配置為將圖元配置應用於圖像感測器的可配置圖元，以增加或減少與識別區域相關聯的對焦圖元的密度。
圖13是根據本文揭示的一或多個技術的實現對焦資料定向偵測技術的方法的流程圖1300。在1302處，該裝置可以對訊框的對焦資料執行PD分析，如結合圖2至圖10中的實例所描述的。例如，定向處理元件620可以配置為對訊框的對焦資料執行PD分析。在一些實例中，該裝置可以輸出訊框的相應感興趣區域的置信度位準。
在1304處，該裝置可以決定感興趣區域的輸出置信度位準是否滿足置信度閾值，如結合圖2至圖10中的實例所描述的。例如，定向處理元件620可以配置為決定感興趣區域的輸出置信度位準是否大於或等於置信度閾值。
若在1304處，該裝置決定感興趣區域的輸出置信度位準不滿足置信度閾值（例如，小於置信度閾值），則在1306處，該裝置可以決定改變與感興趣區域相關聯的對焦圖元的對焦定向。例如，定向處理元件620可以配置為將與感興趣區域相關聯的對焦圖元的對焦定向從第一對焦定向改變為第二對焦定向。可以瞭解，在一些實例中，定向處理元件620可以配置為決定改變與感興趣區域相關聯的對焦圖元的子集的對焦定向。控制隨後前進到1310，以決定是否存在另一個置信度位準和感興趣區域要處理。
若在1304處，該裝置決定感興趣區域的輸出置信度位準滿足置信度閾值（例如，大於或等於置信度閾值），則在1308處，該裝置可以決定維持與感興趣區域相關聯的對焦圖元的對焦定向。例如，定向處理元件620可以配置為維持與感興趣區域相關聯的對焦圖元的當前對焦定向。
在1310處，該裝置可以決定是否存在另一置信度位準和感興趣區域要處理，如結合圖2至圖10中的實例所描述的。例如，定向處理元件620可以配置為決定是否存在另一個置信度位準和感興趣區域要處理。若在1310處，該裝置決定存在另一置信度位準和感興趣區域要處理，則控制返回到1304，以決定置信度位準是否滿足置信度閾值。
若在1310處，該裝置決定不存在另一置信度位準和感興趣區域要處理，則在1312處，該裝置可以應用圖元配置，如結合圖2至圖10中的實例所描述的。例如，處理單元220及/或影像處理器600可以配置為將圖元配置應用於圖像感測器的可配置圖元，以改變一或多個對焦圖元的對焦定向。
圖14是根據本文揭示的一或多個技術的實現飽和度偵測技術的方法的流程圖1400。在1402處，該裝置可以應用飽和區域偵測技術來偵測訊框中的一或多個飽和區域，如結合圖2至圖10中的實例所描述的。舉例而言，飽和度處理元件630可經配置以應用飽和區域偵測技術以偵測訊框中的一或多個飽和區域。
在1404處，該裝置可以決定偵測到的飽和區域是否與感興趣區域重疊，如結合圖2至圖10中的實例所描述的。例如，飽和度處理元件630可以配置為決定偵測到的飽和區域是否與感興趣區域重疊。若在1404處裝置決定偵測到的飽和區域不與感興趣區域重疊，則控制進行到1408，以決定是否存在另一飽和區域和感興趣區域要處理。
若在1404處，該裝置決定偵測到的飽和區域確實與感興趣區域重疊，則在1406處，該裝置可以決定減小與該飽和區域相關聯的對焦圖元的密度，如結合圖2至圖10中的實例所描述的。例如，飽和度處理元件630可以配置為決定減小與飽和區域相關聯的對焦圖元的密度。在一些實例中，該裝置可以設置與感興趣區域的飽和區域相關聯的對焦圖元的第一密度位準，並且可以為感興趣區域的非飽和區域設置對焦圖元的第二密度位準。在一些實例中，第二密度位準大於第一密度位準。在一些實例中，第一密度位準可以為零，使得與飽和區域相關聯的可配置圖元可以配置為用作成像圖元。控制隨後進行到1408，以決定是否存在另一個偵測到的飽和區域要處理。
在1408處，該裝置可以決定是否存在另一個偵測到的飽和區域要處理，如結合圖2至圖10中的實例所描述的。例如，飽和度處理元件630可以配置為決定是否存在另一個偵測到的飽和區域要處理。若在1408處，該裝置決定存在另一偵測到的飽和區域要處理，則控制返回到1404以決定所偵測到的飽和區域是否與感興趣區域重疊。
若在1408處，該裝置決定不存在另一偵測到的飽和區域要處理，則在1410處，該裝置可以應用圖元配置，如結合圖2至圖10中的實例所描述的。例如，處理單元220及/或影像處理器600可以配置為將圖元配置應用於圖像感測器的可配置圖元。
圖15是根據本文揭示的一或多個技術的實現邊緣偵測技術的方法的流程圖1500。在所示的實例中，該裝置可以在場景對應於弱光環境時應用邊緣偵測技術，並且其中應用合併技術可能在改善圖像品質方面是有益的。
在1502處，該裝置可以應用邊緣偵測技術來偵測訊框中的一或多個邊緣，如結合圖2至圖10中的實例所描述的。例如，邊緣處理元件640可以配置為應用邊緣偵測技術。如前述，邊緣偵測技術可以配置為偵測鄰近圖元之間的亮度變化或顏色變化。在一些實例中，該裝置可以應用亮度或顏色的閾值改變來決定是否發生了亮度改變或顏色改變。在一些實例中，邊緣可以表示兩個或兩個以上物件（例如，桌子和牆壁）之間的邊界，或者物件的不同區域之間的邊界（例如，顯像顯示器的螢幕和顯像顯示器的機架）。
在1504處，該裝置可以決定偵測到的邊緣是否與感興趣區域重疊，如結合圖2至圖10中的實例所描述的。例如，邊緣處理元件640可以配置為決定偵測到的邊緣是否與感興趣區域重疊。若在1504處，該裝置決定偵測到的邊緣不與感興趣區域重疊，則控制進行到1510，以決定是否存在另一邊緣和感興趣區域要處理。
若在1504處，該裝置決定偵測到的邊緣確實與感興趣區域重疊，則在1506處，該裝置可以基於邊緣決定增加與第一感興趣子區域相關聯的對焦圖元的數量，如結合圖2至圖10中的實例所描述的。例如，邊緣處理元件640可以配置為決定增加與第一感興趣子區域相關聯的對焦圖元的數量。在一些實例中，與第一感興趣子區域相關聯的第一對焦圖元可以對應於相同的物件（例如，顯像顯示器的螢幕）及/或具有相似的亮度或顏色。
在1508處，該裝置可以基於邊緣決定增加與第二感興趣子區域相關聯的對焦圖元的數量，如結合圖2至圖10中的實例所描述的。例如，邊緣處理元件640可以配置為決定增加與第二感興趣子區域相關聯的對焦圖元的數量。在一些實例中，與第二感興趣子區域相關聯的第二對焦圖元可以對應於相同的物件（例如，顯像顯示器的機架）及/或具有相似的亮度或顏色。
在1510處，該裝置可以決定是否存在另一偵測到的邊緣和感興趣區域要處理，如結合圖2至圖10中的實例所描述的。例如，邊緣處理元件640可以配置為決定是否存在另一偵測到的邊緣和感興趣區域要處理。若在1510處，該裝置決定存在另一偵測到的邊緣和感興趣區域要處理，則控制返回到1504，以決定偵測到的邊緣是否與感興趣區域重疊。
若在1510處，該裝置決定不存在另一偵測到的邊緣和感興趣區域要處理，則在1512處，該裝置可以應用圖元配置，如結合圖2至圖10中的實例所描述的。例如，處理單元220及/或影像處理器600可以配置為將圖元配置應用於圖像感測器的可配置圖元。
本文所描述的標的可以實現為實現一或多個益處或優點。例如，所描述的影像處理技術可由應用程式處理器（例如，ISP、CPU、GPU、顯示處理器、DPU、視訊處理器、，或可執行影像處理的某個其他處理器）使用，以實現PDAF光學系統的應用，其包括可配置為用作對焦圖元或成像圖元的圖元，以改進PDAF處理，降低傳輸對於PDAF目的不太有益的資訊的可能性，降低處理單元（例如，配置為執行本文揭示的一或多個技術的任何處理單元，諸如影像處理器）的負載，及/或降低處理單元的功耗。
根據本案，在上下文沒有另外指示的情況下，術語「或」可以被理解為「及/或」。另外，儘管諸如「一或多個」或「至少一個」之類的短語可能已經用於本文揭示的一些特徵，而沒有使用此種語言的特徵可以被理解為在上下文沒有另行規定的情況下隱含了此種含義。
在一或多個實例中，本文描述的功能可以以硬體、軟體、韌體或其任何組合來實現。例如，儘管在整個本案中已經使用了術語「處理單元」，但是此種處理單元可以以硬體、軟體、韌體或其任何組合來實現。若在軟體中實現了本文描述的任何功能、處理單元、技術或其他模組，則本文描述的功能、處理單元、技術或其他模組可以作為一或多個指令或代碼儲存在電腦可讀取媒體上或在電腦可讀取媒體上傳輸。電腦可讀取媒體可以包括電腦資料儲存媒體或通訊媒體，包括促進將電腦程式從一個地方轉移到另一地方的任何媒體。以此種方式，電腦可讀取媒體通常可以對應於（1）非暫態的有形電腦可讀取儲存媒體，或者（2）諸如信號或載波的通訊媒體。資料儲存媒體可以是可由一台或多台電腦或一或多個處理器存取以取得指令、代碼及/或資料結構以實現本案中描述的技術的任何可用媒體。舉例而言（但並非限制），此種電腦可讀取媒體可以包括RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存設備。本文使用的磁碟和光碟包括壓縮光碟（CD）、雷射光碟、光碟、數位多功能光碟（DVD）、軟碟和藍光光碟，其中磁碟通常以磁性方式再現資料，而光碟則經由雷射光學方式再現資料。上述的組合亦應包括在電腦可讀取媒體的範圍內。電腦程式產品可以包括電腦可讀取媒體。
該代碼可由一或多個處理器執行，諸如一或多個數位訊號處理器（DSPs）、通用微處理器、特殊應用積體電路（ASICs）、算數邏輯單元（ALUs）、現場可程式設計邏輯陣列（FPGAs），或其他等效的積體或個別邏輯電路。因此，如本文所用，術語「處理器」可以指任何前述結構或適合於實現本文描述的技術的任何其他結構。同樣，該技術可以在一或多個電路或邏輯元件中完全實現。
本案的技術可以在各種各樣的設備或裝置中實現，包括無線手機、積體電路（IC）或一組IC，例如晶片組。在本案中描述了各種元件、模組或單元以強調被配置為執行所揭示的技術的設備的功能態樣，但是不一定需要經由不同的硬體單元來實現。而是如前述，各種單元可以組合在任何硬體單元中，或者由交互動操作的硬體單元的集合來提供，包括與合適的軟體及/或韌體結合的如前述的一或多個處理器。
以下實施例僅是說明性的，並且可以與本文所描述的其他實施例或教示的態樣相結合，但不限於此。
實例1為一種裝置，包括：圖像感測器，圖像感測器包括複數個圖元，該複數個圖元包括可配置為成像圖元或對焦圖元的圖元組，該圖像感測器配置為基於在複數個圖元處所接收的光來產生場景的圖像資料；及處理器，處理器耦接到該圖像感測器並且配置為：接收場景的第一訊框的第一圖像資料；決定第一訊框的感興趣區域或非感興趣區域中的至少一個；基於所決定的感興趣區域或非感興趣區域中的至少一個，選擇要用作對焦圖元的該圖元組的子集；並使該圖元組的所選擇的子集用作對焦圖元。
在實例2中，根據實例1的裝置進一步包括配置為執行以下的處理器：從圖像感測器接收第二訊框的第二圖像資料，該第二圖像資料包括來自該圖元組的所選擇的子集的對焦資料和來自複數個圖元的剩餘圖元的成像資料。
在實例3中，根據實例1或實例2中的任一個的裝置進一步包括透鏡組件，透鏡組件配置為將所接收的光對焦在圖像感測器上，其中該處理器配置為基於第二圖像資料移動透鏡元件以調節所接收的光在圖像感測器上的焦點。
在實例4中，根據實例1至3中的任一個的裝置進一步包括配置為藉由以下方式基於所決定的感興趣區域來選擇要用作對焦圖元的該圖元組的子集的處理器：將與所決定的感興趣區域相關聯的對焦圖元的密度從接收到第一圖像資料時與所決定的感興趣區域相關聯的對焦圖元的第一密度增加到對焦圖元的第二密度。
在實例5中，根據實例1至4中的任一個的裝置進一步包括配置為基於在所決定的感興趣區域中所識別出的目標項目來決定與所決定的感興趣區域相關聯的對焦圖元的密度的處理器。
在實例6中，根據實例1至5中的任一個的裝置進一步包括所決定的感興趣區域或非感興趣區域包括第一感興趣區域和第二感興趣區域，並且其中處理器配置為選擇與第一感興趣區域相關聯的對焦圖元的第一密度，並且選擇與第二感興趣區域相關聯的對焦圖元的第二密度，第二密度不同於第一密度。
在實例7中，根據實例1至6中的任一個的裝置進一步包括配置為藉由以下方式基於所決定的非感興趣區域來選擇要用作對焦圖元的該圖元組的子集的處理器：將與所決定的非感興趣區域相關聯的對焦圖元的密度從接收到第一圖像資料時與所決定的非感興趣區域相關聯的對焦圖元的第一密度降低到對焦圖元的第二密度。
在實例8中，根據實例1至7中的任一個的裝置進一步包括配置為使與所決定的非感興趣區域相關聯的圖元組中的圖元用作成像圖元的處理器。
在實例9中，根據實例1至8中的任一個的裝置進一步包括配置為藉由以下方式使該圖元組的所選擇的子集用作對焦圖元的處理器：基於在第一訊框內偵測到的紋理或邊緣中的至少一個，為該圖元組的所選擇的子集的圖元中的每一個設置第一對焦定向。
在實例10中，根據實例1至9中的任一個的裝置進一步包括亦配置為執行以下的處理器：決定針對從圖像感測器接收到的第二訊框的第二圖像資料的焦點的置信度位準是否滿足置信度閾值；並且當焦點的置信度位準不滿足置信度閾值時，為該圖元組的所選擇的子集中的圖元中的每一個設置第二對焦定向，該第二對焦定向與第一對焦定向不同。
在實例11中，根據實例1至10中的任一個的裝置進一步包括第一對焦定向是上下定向、左右定向或對角線定向之一。
在實例12中，根據實例1至11中任一個的裝置進一步包括所決定的感興趣區域或非感興趣區域包括第一感興趣區域和第二感興趣區域，其中基於與每個相應感興趣區域相關聯的光的位準來決定第一感興趣區域和第二感興趣區域，並且其中第一感興趣區域相對於第二感興趣區域與相對較低的光的位準相關聯，並且其中該處理器進一步配置為：接收場景的第二訊框的第二圖像資料，該第二圖像資料包括與第一訊框相同的第一感興趣區域和相同的第二感興趣區域；平均與第一感興趣區域相關聯的對焦圖元的第一子集的資料；平均與第二感興趣區域相關聯的對焦圖元的第二子集的資料；並且移動透鏡組件，以基於對焦圖元的第一子集的資料的平均和對焦圖元的第二子集的資料的平均來調整圖像感測器上所接收的光的焦點。
在實例13中，根據實例1至12中任一個的裝置進一步包括亦配置為基於與所決定的感興趣區域或非感興趣區域相關聯的邊緣偵測來決定第一感興趣區域和第二感興趣區域的處理器。
在實例14中，根據實例1至13中的任一個的裝置進一步包括亦配置為執行以下的處理器：增加與第一感興趣區域相關聯的對焦圖元的密度；並增加與第二感興趣區域相關的對焦圖元的密度。
在實例15中，根據實例1至14中的任一個的裝置進一步包括亦配置為執行以下的處理器： 接收指示第一訊框的感興趣區域或非感興趣區域中的至少一個的資訊，並且其中該處理器配置為基於所接收的資訊決定感興趣區域或非感興趣區域中的至少一個。
在實例16中，根據實例1至15中的任一個的裝置進一步包括該圖元組中的圖元的每一個，包括：光電二極體；及位於該光電二極體上方的不透明度轉變材料，該不透明度轉變材料包括佈置在該光電二極體的第一部分上方的第一不透明度轉變材料部分和佈置在該光電二極體的第二部分上方的第二不透明度轉變材料部分，第一不透明度轉變材料部分和第二不透明度轉變材料部分被獨立配置為不透明或透通。
在實例17中，根據實例1到16中的任一個的裝置進一步包括，當第一不透明度轉變材料部分或第二不透明度轉變材料部分之一是不透明的並且第一不透明度轉變材料部分或第二不透明度轉變材料部分中的另一個是透通的時，該圖元組中的圖元中的每一個配置為用作對焦圖元，並且當第一不透明度轉變材料部分和第二不透明度轉變材料部分兩者皆是透通的時，該圖元配置為用作成像圖元。
在實例18中，根據實例1到17中的任一個的裝置進一步包括，不透明度轉變材料進一步包括佈置在該光電二極體的第三部分上方的第三不透明度轉變材料部分和佈置在該光電二極體的第四部分上方的第四不透明度轉變材料部分，第一不透明度轉變材料部分、第二不透明度轉變材料部分、第三不透明度轉變材料部分和第四不透明度轉變材料部分被獨立配置為不透明或透通。
在實例19中，根據實例1到18中的任一個的裝置進一步包括處理器，其亦配置為藉由配置第一不透明度轉變材料部分、第二不透明度轉變材料部分、第三不透明度轉變材料部分以及第四不透明度轉變材料部分中的每一個獨立地為不透明或透通，為對焦圖元的每一個設置對焦定向。
在實例20中，根據實例1至19中任一個的裝置進一步包括對焦定向是六個不同對焦定向之一，並且其中六個不同的對焦定向中的每一個包括將不透明度轉變材料部分中的兩個設置為不透明，並將剩餘兩個不透明度轉變材料部分設置為透明。
實例21為一種設備，其包括一或多個處理器以及與一或多個處理器進行電子通訊的一或多個記憶體，其儲存可由一或多個處理器執行的指令，以使系統或裝置實現實例1至20中的任一方法。
實例22為一種系統或裝置，包括用於實現實例1至20中的任一方法或實現裝置的構件。
實例23為一種非暫態電腦可讀取媒體，其儲存可由一或多個處理器執行以使一或多個處理器實現實例1至20中任一方法的指令。
已經描述了各種實例。該等和其他實例在所附請求項的範圍內。
100:圖像感測器 102:陣列 104:圖元 106:對焦圖元 108:金屬遮罩層 200:內容產生系統 204:設備 209:影像處理管線 220:處理單元 221:內部記憶體 224:記憶體 226:通訊介面 228:接收器 230:發送器 231:顯示客戶端 232:收發器 250:光學系統 252:透鏡組件 254:圖像感測器 256:電荷元件 298:決定元件 300:可配置圖元 310:微透鏡 320:濾色器 330:光電二極體 340:基板 350:不透明度轉變材料 350a:第一不透明度轉變材料部分 350b:第二不透明度轉變材料部分 400:可配置圖元 410:左不透明度轉變材料部分 420:右不透明度轉變材料部分 450:可配置圖元 460:上不透明度轉變材料部分 470:下不透明度轉變材料部分 500:可配置圖元 502:第一不透明度轉變材料部分 504:第二不透明度轉變材料部分 506:第三不透明度轉變材料部分 508:第四不透明度轉變材料部分 510:可配置圖元 520:可配置圖元 530:可配置圖元 540:可配置圖元 550:可配置圖元 600:影像處理器 610:物件處理元件 620:定向處理元件 630:飽和度處理元件 640:邊緣處理元件 700:圖像 710:人 712:第一區域 720:帽子 722:第二區域 730:牆壁 732:第三區域 800:感興趣區域 810:水平紋理 900:圖像 910:感興趣區域 920:第一飽和區域 930:第二飽和區域 1000:圖像感測器 1002:陣列 1002a:第一子集 1002b:第二子集 1004:圖元 1010a:第一左對焦圖元 1010b:第二左對焦圖元 1010c:第三左對焦圖元 1010d:第四左對焦圖元 1020a:第一右對焦圖元 1020b:第二右對焦圖元 1020c:第三右對焦圖元 1020d:第四右對焦圖元 1100:流程圖 1102:操作 1104:操作 1106:操作 1108:操作 1110:操作 1112:操作 1114:操作 1200:流程圖 1202:操作 1204:操作 1206:操作 1208:操作 1210:操作 1212:操作 1300:流程圖 1302:操作 1304:操作 1306:操作 1308:操作 1310:操作 1312:操作 1400:流程圖 1402:操作 1404:操作 1406:操作 1408:操作 1410:操作 1500:流程圖 1502:操作 1504:操作 1506:操作 1508:操作 1510:操作 1512:操作
圖1圖示示例性圖像感測器，其包括可用於執行PDAF的稀疏對焦圖元。
圖2是圖示根據本案的一或多個技術的示例性內容產生系統的方塊圖。
圖3圖示根據本案的一或多個技術的圖像感測器的示例性可配置圖元的側視圖。
圖4A和圖4B圖示根據本案的一或多個技術的可配置圖元的俯視圖。
圖5A至圖5F圖示根據本案的一或多個技術的可配置圖元的對焦定向的俯視圖，其中不透明度轉變材料被劃分為四個獨立可控的部分。
圖6是根據本案的一或多個技術的影像處理器的方塊圖。
圖7圖示了根據本案的一或多個技術的示例性圖像。
圖8圖示了根據本案的一或多個技術的包括複數個水平紋理的感興趣區域。
圖9圖示了根據本案的一或多個技術的包括所識別的感興趣區域的示例性圖像。
圖10圖示根據本案的一或多個技術的包括圖元陣列的圖像感測器的一部分。
圖11至圖15圖示根據本案的一或多個技術的可以由圖2的示例性設備實現的示例性方法的示例性流程圖。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
1100:流程圖
1102:操作
1104:操作
1106:操作
1108:操作
1110:操作
1112:操作
1114:操作

Claims (49)

  1. 一種裝置，包括： 一圖像感測器，該圖像感測器包括複數個圖元，該複數個圖元包含可配置為成像圖元或對焦圖元的一圖元組，該圖像感測器配置為基於在該複數個圖元處所接收的光來產生一場景的圖像資料；及 一處理器，該處理器耦接至該圖像感測器並配置為： 接收該場景的一第一訊框的第一圖像資料； 決定該第一訊框的感興趣區域或非感興趣區域中的至少一個； 基於所決定的感興趣區域或非感興趣區域中的至少一個，選擇要用作對焦圖元的該圖元組的一子集；並且 使該圖元組的所選擇的子集用作對焦圖元。
  2. 如請求項1所述之裝置，其中該處理器進一步被配置為： 從該圖像感測器接收一第二訊框的第二圖像資料，該第二圖像資料包含來自該圖元組的該所選擇的子集的對焦資料和來自該複數個圖元的剩餘圖元的成像資料。
  3. 如請求項2所述之裝置，進一步包括： 一透鏡組件，該透鏡組件配置為將該所接收的光在該圖像感測器上對焦， 其中該處理器被配置為基於該第二圖像資料移動該透鏡組件以調節該所接收的光在該圖像感測器上的焦點。
  4. 如請求項1所述之裝置，其中該處理器被配置為藉由以下方式基於一所決定的感興趣區域選擇要用作對焦圖元的該圖元組的子集： 將與該所決定的感興趣區域相關聯的對焦圖元的一密度從接收到該第一圖像資料時與該所決定的感興趣區域相關聯的對焦圖元的一第一密度增加到對焦圖元的一第二密度。
  5. 如請求項4所述之裝置，其中該處理器被配置為基於在該所決定的感興趣區域中所識別的一目標項目來決定與該所決定的感興趣區域相關聯的對焦圖元的一密度。
  6. 如請求項1所述之裝置，其中該所決定的感興趣區域或非感興趣區域包含一第一感興趣區域和一第二感興趣區域，並且 其中該處理器被配置為選擇與該第一感興趣區域相關聯的對焦圖元的一第一密度，以及選擇與該第二感興趣區域相關聯的對焦圖元的一第二密度，該第二密度不同於該第一密度。
  7. 如請求項1所述之裝置，其中該處理器被配置為藉由以下方式基於一所決定的非感興趣區域來選擇要用作對焦圖元的該圖元組的子集： 將與該所決定的非感興趣區域相關聯的對焦圖元的一密度從接收到該第一圖像資料時與該所決定的非感興趣區域相關聯的對焦圖元的一第一密度降低到對焦圖元的一第二密度。
  8. 如請求項7所述之裝置，其中該處理器被配置為使與該所決定的非感興趣區域相關聯的該圖元組中的圖元用作成像圖元。
  9. 如請求項1所述之裝置，其中該處理器被配置為藉由以下方式使該圖元組的該所選擇的子集用作對焦圖元： 基於在該第一訊框內偵測到的紋理或邊緣中的至少一個，為該圖元組的該所選擇的子集的圖元中的每一個設置一第一對焦定向。
  10. 如請求項9所述之裝置，其中該處理器進一步被配置為： 決定針對從該圖像感測器接收到的一第二訊框的第二圖像資料的焦點的一置信度位準是否滿足一置信度閾值；並且 當焦點的置信度位準不滿足該置信度閾值時，為該圖元組的所選擇的子集中的圖元的每一個設置一第二對焦定向，該第二對焦定向與該第一對焦定向不同。
  11. 如請求項9所述之裝置，其中該第一對焦定向是一上下定向、一左右定向或一對角線定向之一。
  12. 如請求項1所述之裝置，其中該所決定的感興趣區域或非感興趣區域包含一第一感興趣區域和一第二感興趣區域，其中基於與每個相應感興趣區域相關聯的一光的位準來決定該第一感興趣區域和該第二感興趣區域，並且其中該第一感興趣區域相對於該第二感興趣區域與一相對較低的光的位準相關聯，並且其中該處理器進一步被配置為： 接收該場景的一第二訊框的第二圖像資料，該第二圖像資料包含與該第一訊框相同的第一感興趣區域和相同的第二感興趣區域； 平均與該第一感興趣區域相關聯的對焦圖元的一第一子集的資料； 平均與該第二感興趣區域相關聯的對焦圖元的一第二子集的資料；並且 移動一透鏡組件，以基於對焦圖元的該第一子集的該資料的平均和對焦圖元的該第二子集的該資料的平均來調整該圖像感測器上的該所接收的光的該焦點。
  13. 如請求項12所述之裝置，其中該處理器進一步被配置為基於與所決定的感興趣區域或非感興趣區域相關聯的邊緣偵測來決定該第一感興趣區域和該第二感興趣區域。
  14. 如請求項12所述之裝置，其中該處理器進一步被配置為： 增加與該第一感興趣區域相關聯的對焦圖元的一密度；並且 增加與該第二感興趣區域相關聯的對焦圖元的一密度。
  15. 如請求項1所述之裝置，其中該處理器進一步被配置為： 接收指示該第一訊框的該感興趣區域或非感興趣區域中的至少一個的資訊，並且 其中該處理器被配置為基於該所接收的資訊來決定該感興趣區域或非感興趣區域中的至少一個。
  16. 如請求項1所述之裝置，其中該圖元組中的圖元的每一個包含： 一光電二極體；及 位於該光電二極體上方的一不透明度轉變材料，該不透明度轉變材料包含佈置在該光電二極體的一第一部分上方的一第一不透明度轉變材料部分和佈置在該光電二極體的一第二部分上方的一第二不透明度轉變材料部分，該第一不透明度轉變材料部分和該第二不透明度轉變材料部分被獨立配置為不透明或透通。
  17. 如請求項16所述之裝置，其中當該第一不透明度轉變材料部分或該第二不透明度轉變材料部分之一是不透明的，並且該第一不透明度轉變材料部分或該第二不透明度轉變材料部分中的另一個是透通的時，該圖元組中的圖元的每一個被配置為用作一對焦圖元，並且當該第一不透明度轉變材料部分和該第二不透明度轉變材料部分兩者皆是透通的時，該圖元被配置為用作一成像圖元。
  18. 如請求項16所述之裝置，其中該不透明度轉變材料進一步包含佈置在該光電二極體的一第三部分上方的一第三不透明度轉變材料部分和佈置在該光電二極體的一第四部分上方的一第四不透明度轉變材料部分，該第一不透明度轉變材料部分、該第二不透明度轉變材料部分、該第三不透明度轉變材料部分和該第四不透明度轉變材料部分被獨立配置為不透明或透通。
  19. 如請求項18所述之裝置，其中該處理器進一步被配置為藉由配置該第一不透明度轉變材料部分、該第二不透明度轉變材料部分、該第三不透明度轉變材料部分以及該第四不透明度轉變材料部分中的每一個獨立地為不透明或透通，為該對焦圖元的每一個設置一對焦定向。
  20. 如請求項19所述之裝置，其中該對焦定向是六個不同對焦定向之一，並且其中該六個不同的對焦定向中的每一個包括將該不透明度轉變材料部分中的兩個設置為不透明，並將該剩餘兩個不透明度轉變材料部分設置為透通。
  21. 一種用於自動對焦的操作的方法，包括以下步驟： 從一圖像感測器接收一場景的一第一訊框的第一圖像資料，該圖像感測器包括複數個圖元，該複數個圖元包含可配置為成像圖元或對焦圖元的一圖元組，該圖像感測器配置為基於在該複數個圖元處所接收的光來產生該場景的圖像資料； 決定該第一訊框的感興趣區域或非感興趣區域中的至少一個； 基於該所決定的感興趣區域或非感興趣區域中的至少一個，選擇要用作對焦圖元的該圖元組的一子集；並且 使該圖元組的該所選擇的子集用作對焦圖元。
  22. 如請求項21所述之方法，進一步包括以下步驟： 從該圖像感測器接收一第二訊框的第二圖像資料，該第二圖像資料包含來自該圖元組的該所選擇的子集的對焦資料和來自該複數個圖元中的剩餘圖元的成像資料。
  23. 如請求項22所述之方法，進一步包括以下步驟： 基於該第二圖像資料移動一透鏡組件以調節該所接收到的光在該圖像感測器上的該焦點，該透鏡組件配置為將該所接收的光在該圖像感測器上對焦。
  24. 如請求項21所述之方法，其中藉由以下方式基於一所決定的感興趣區域選擇要用作對焦圖元的該圖元組的該子集： 將與該所決定的感興趣區域相關聯的對焦圖元的一密度從接收到該第一圖像資料時與該所決定的感興趣區域相關聯的對焦圖元的一第一密度增加到對焦圖元的一第二密度。
  25. 如請求項24所述之方法，進一步包括以下步驟：基於在該所決定的感興趣區域中所識別的一目標項目來決定與該所決定的感興趣區域相關聯的對焦圖元的一密度。
  26. 如請求項21所述之方法，其中該所決定的感興趣區域或非感興趣區域包含一第一感興趣區域和一第二感興趣區域，並且該方法進一步包括以下步驟： 選擇與該第一感興趣區域相關聯的對焦圖元的一第一密度；並且 選擇與該第二感興趣區域相關聯的對焦圖元的一第二密度，該第二密度不同於該第一密度。
  27. 如請求項21所述之方法，其中藉由以下方式基於一所決定的非感興趣區域選擇要用作對焦圖元的該圖元組的該子集： 將與該所決定的非感興趣區域相關聯的對焦圖元的一密度從接收到該第一圖像資料時與該所決定的非感興趣區域相關聯的對焦圖元的一第一密度降低到對焦圖元的一第二密度。
  28. 如請求項27所述之方法，進一步包括以下步驟：使與該所決定的非感興趣區域相關聯的該圖元組中的圖元用作成像圖元。
  29. 如請求項21所述之方法，其中使該圖元組的該所選擇的子集用作對焦圖元之步驟包括以下步驟： 基於在該第一訊框內偵測到的紋理或邊緣中的至少一個，為該圖元組的該所選擇的子集的圖元的每一個設置一第一對焦定向。
  30. 如請求項29所述之方法，進一步包括以下步驟： 決定針對從該圖像感測器接收到的一第二訊框的第二圖像資料的一置信度位準是否滿足一置信度閾值；並且 當該置信度位準不滿足該置信度閾值時，為該圖元組的該所選擇的子集的圖元的每一個設置一第二對焦定向，該第二對焦定向與該第一對焦定向不同。
  31. 如請求項29所述之方法，其中該第一對焦定向是一上下定向、一左右定向或一對角線定向之一。
  32. 如請求項21所述之方法，其中該所決定的感興趣區域或非感興趣區域包含一第一感興趣區域和一第二感興趣區域，其中基於與每個相應感興趣區域相關聯的光的一位準來決定該第一感興趣區域和該第二感興趣區域，並且其中該第一感興趣區域相對於該第二感興趣區域與一相對較低的光的位準相關聯，並且其中該方法進一步包括以下步驟： 接收該場景的一第二訊框的第二圖像資料，該第二圖像資料包含與該第一訊框相同的第一感興趣區域和相同的第二感興趣區域； 平均與該第一感興趣區域相關聯的對焦圖元的一第一子集的資料； 平均與該第二感興趣區域相關聯的對焦圖元的一第二子集的資料；並且 移動一透鏡元件，以基於對焦圖元的該第一子集的該資料的平均和對焦圖元的該第二子集的該資料的平均來調整該圖像感測器上的該所接收的光的該焦點。
  33. 如請求項32所述之方法，進一步包括以下步驟：基於與該所決定的感興趣區域或非感興趣區域相關聯的邊緣偵測來決定該第一感興趣區域和該第二感興趣區域。
  34. 如請求項32所述之方法，進一步包括以下步驟： 增加與該第一感興趣區域相關聯的對焦圖元的一密度；並且 增加與該第二感興趣區域相關聯的對焦圖元的一密度。
  35. 如請求項21所述之方法，進一步包括以下步驟： 接收指示該第一訊框的該感興趣區域或非感興趣區域中的至少一個的資訊，並且 基於該所接收的資訊來決定該感興趣區域或非感興趣區域中的至少一個。
  36. 一種用於執行自動對焦的裝置，包括： 用於從一圖像感測器接收一場景的一第一訊框的第一圖像資料的構件，該圖像感測器包括複數個圖元，該複數個圖元包含可配置為成像圖元或對焦圖元的一圖元組，該圖像感測器配置為基於在該複數個圖元處所接收到的光來產生該場景的圖像資料； 用於決定該第一訊框的感興趣區域或非感興趣區域中的至少一個的構件； 基於該所決定的感興趣區域或非感興趣區域中的至少一個，用於選擇要用作對焦圖元的該圖元組的一子集的構件；及 用於使該圖元組的該所選擇的子集用作對焦圖元的構件。
  37. 如請求項36所述之裝置，進一步包括： 用於從該圖像感測器接收一第二訊框的第二圖像資料的構件，該第二圖像資料包含來自該圖元組的該所選擇的子集的對焦資料和來自該複數個圖元中的剩餘圖元的成像資料。
  38. 如請求項37所述之裝置，進一步包括： 用於基於該第二圖像資料移動一透鏡組件以調節該所接收的光在該圖像感測器上的焦點的構件，該透鏡組件配置為將該接收到的光在該圖像感測器上對焦。
  39. 如請求項36所述之裝置，其中用於選擇的構件包括，用於藉由將與該所決定的感興趣區域相關聯的對焦圖元的一密度從接收到該第一圖像資料時的所決定的感興趣區域中的對焦圖元的一密度進行增加，基於一所決定的感興趣區域來選擇該圖元組的該子集的構件。
  40. 如請求項39所述之裝置，進一步包括用於基於在該所決定的感興趣區域中所識別的一目標項目來決定與該所決定的感興趣區域相關聯的對焦圖元的一密度的構件。
  41. 如請求項36所述之裝置，其中該所決定的感興趣區域或非感興趣區域包含一第一感興趣區域和一第二感興趣區域，並且該裝置進一步包括： 用於選擇與該第一感興趣區域相關聯的對焦圖元的一第一密度的構件；及 用於選擇與該第二感興趣區域相關聯的對焦圖元的一第二密度的構件，該第二密度不同於該第一密度。
  42. 如請求項36所述之裝置，其中用於選擇的構件包括，用於藉由將與該所決定的非感興趣區域相關聯的對焦圖元的一密度從接收到該第一圖像資料時的該決定的非感興趣區域中的對焦圖元的一密度進行減少，基於一所決定的非感興趣區域來選擇該圖元組的該子集的構件。
  43. 如請求項42所述之裝置，進一步包括用於為該所決定的非感興趣區域選擇不對焦圖元的構件。
  44. 如請求項36所述之裝置，其中用於使該圖元組的該所選擇的子集用作對焦圖元的構件，包括： 用於基於在該第一訊框內偵測到的紋理或邊緣中的至少一個，為該圖元組的該所選擇的子集的圖元的每一個設置一第一對焦定向的構件。
  45. 如請求項44所述之裝置，進一步包括： 用於決定針對一第二訊框的、從該圖像感測器接收到的第二圖像資料的焦點的一置信度位準是否滿足一置信度閾值的構件；及 用於為當該置信度位準不滿足該置信度閾值時，該圖元組的該所選擇的子集的圖元的每一個設置一第二對焦定向的構件，該第二對焦定向不同於該第一對焦定向。
  46. 如請求項36所述之裝置，其中該所決定的感興趣區域或非感興趣區域包含一第一感興趣區域和一第二感興趣區域，其中基於與每個相應感興趣區域相關聯的光的一位準來決定該第一感興趣區域和該第二感興趣區域， 並且其中該第一感興趣區域相對於該第二感興趣區域與一相對較低的光的位準相關聯，並且其中該裝置進一步包括： 用於接收該場景的一第二訊框的第二圖像資料的構件，該第二圖像資料包含與該第一訊框相同的第一感興趣區域和相同的第二感興趣區域； 用於平均與該第一感興趣區域相關聯的對焦圖元的一第一子集的資料的構件； 用於平均與該第二感興趣區域相關聯的對焦圖元的一第二子集的資料的構件；及 用於移動一透鏡組件，以基於對焦圖元的該第一子集的該資料的平均和對焦圖元的該第二子集的該資料的平均來調整該圖像感測器上的所接收的光的該焦點的構件。
  47. 如請求項46所述之裝置，進一步包括用於基於與該決定的感興趣區域或非感興趣區域相關聯的邊緣偵測來決定該第一感興趣區域和該第二感興趣區域的構件。
  48. 如請求項46所述之裝置，進一步包括： 用於增加與該第一感興趣區域相關的對焦圖元的一密度的構件；及 用於增加與該第二感興趣區域相關聯的對焦圖元的一密度的構件。
  49. 如請求項36所述之裝置，進一步包括： 用於接收指示該第一訊框的該感興趣區域或非感興趣區域中的至少一個的資訊的構件，以及 用於基於該所接收的資訊來決定該感興趣區域或非感興趣區域中的至少一個的構件。
TW110110366A 2020-04-27 2021-03-23 運用相位偵測自動對焦（ｐｄａｆ）光學系統的方法和裝置 TW202143112A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/859,821 2020-04-27
US16/859,821 US11516378B2 (en) 2020-04-27 2020-04-27 Methods and apparatus employing a phase detection autofocus (PDAF) optical system

Publications (1)

Publication Number Publication Date
TW202143112A true TW202143112A (zh) 2021-11-16

Family

ID=75498068

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110110366A TW202143112A (zh) 2020-04-27 2021-03-23 運用相位偵測自動對焦（ｐｄａｆ）光學系統的方法和裝置

Country Status (6)

Country Link
US (2) US11516378B2 (zh)
EP (1) EP4144077A1 (zh)
KR (1) KR20230004438A (zh)
CN (1) CN115428433A (zh)
TW (1) TW202143112A (zh)
WO (1) WO2021221830A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11516378B2 (en) * 2020-04-27 2022-11-29 Qualcomm Incorporated Methods and apparatus employing a phase detection autofocus (PDAF) optical system
EP4320854A1 (en) * 2021-08-23 2024-02-14 Samsung Electronics Co., Ltd. Method and electronic device for auto focus of scene
US11653092B2 (en) * 2021-09-27 2023-05-16 Advanced Micro Devices, Inc. Compensation-free phase detection for phase detection autofocus devices

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000155257A (ja) 1998-11-19 2000-06-06 Fuji Photo Film Co Ltd 自動焦点調節装置および方法
JP4154400B2 (ja) 2004-04-01 2008-09-24 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
EP1624672A1 (en) 2004-08-07 2006-02-08 STMicroelectronics Limited A method of determining a measure of edge strength and focus
JP4725802B2 (ja) * 2006-12-27 2011-07-13 富士フイルム株式会社 撮影装置、合焦方法および合焦プログラム
JP5012236B2 (ja) * 2007-06-12 2012-08-29 株式会社ニコン デジタルカメラ
JP5163068B2 (ja) * 2007-11-16 2013-03-13 株式会社ニコン 撮像装置
JP2014102478A (ja) 2012-11-22 2014-06-05 Canon Inc オートフォーカス装置及び撮像装置
JP6017322B2 (ja) 2013-01-11 2016-10-26 富士フイルム株式会社 固体撮像装置
JP2014183206A (ja) 2013-03-19 2014-09-29 Sony Corp 固体撮像装置および固体撮像装置の駆動方法ならびに電子機器
EP2984520B1 (en) * 2013-04-05 2018-11-28 Red.Com, Llc Optical filtering for cameras
KR102039464B1 (ko) * 2013-05-21 2019-11-01 삼성전자주식회사 전자 센서와, 그의 제어 방법
GB2516486A (en) 2013-07-24 2015-01-28 Nokia Corp Auto focus determination apparatus
KR102121531B1 (ko) * 2013-12-10 2020-06-10 삼성전자주식회사 초점검출 가능한 이미지 센서 제어장치 및 방법.
US9392160B2 (en) 2014-06-20 2016-07-12 Samsung Electronics Co., Ltd. Circuit and method providing wide dynamic-range operation of auto-focus(AF) focus state sensor elements, digital imaging device, and computer system including same
US9628693B2 (en) * 2014-12-23 2017-04-18 Intel Corporation Automatic focus with a controllable phase detection mask
US9787889B2 (en) 2015-02-12 2017-10-10 Semiconductor Components Industries, Llc Dynamic auto focus zones for auto focus pixel systems
EP3089449B1 (en) * 2015-04-30 2020-03-04 InterDigital CE Patent Holdings Method for obtaining light-field data using a non-light-field imaging device, corresponding device, computer program product and non-transitory computer-readable carrier medium
US20170302844A1 (en) * 2016-04-13 2017-10-19 Canon Kabushiki Kaisha Image capturing apparatus, control method therefor, and storage medium
JP2018097176A (ja) * 2016-12-14 2018-06-21 オリンパス株式会社 焦点調節装置および焦点調節方法
JP2018125730A (ja) 2017-02-01 2018-08-09 キヤノン株式会社 撮像装置およびその制御方法
US10313579B2 (en) * 2017-08-31 2019-06-04 Qualcomm Incorporated Dual phase detection auto focus camera sensor data processing
JP7195120B2 (ja) * 2018-11-16 2022-12-23 キヤノン株式会社 撮像装置およびその制御方法
US11199735B2 (en) * 2019-03-28 2021-12-14 Lumcolor Smart optical filter for pixel-selectively adjusting light intensity
JP7277284B2 (ja) * 2019-06-26 2023-05-18 オリンパス株式会社 焦点調節装置および焦点調節方法
US11314150B2 (en) * 2020-01-08 2022-04-26 Qualcomm Incorporated Phase detection autofocus (PDAF) optical system
US20210211580A1 (en) * 2020-01-08 2021-07-08 Qualcomm Incorporated Phase detection autofocus (pdaf) optical system
JP2021131441A (ja) * 2020-02-19 2021-09-09 キヤノン株式会社 電子機器
US11516378B2 (en) * 2020-04-27 2022-11-29 Qualcomm Incorporated Methods and apparatus employing a phase detection autofocus (PDAF) optical system

Also Published As

Publication number Publication date
KR20230004438A (ko) 2023-01-06
US11843860B2 (en) 2023-12-12
EP4144077A1 (en) 2023-03-08
WO2021221830A1 (en) 2021-11-04
CN115428433A (zh) 2022-12-02
US11516378B2 (en) 2022-11-29
US20230141949A1 (en) 2023-05-11
US20210337128A1 (en) 2021-10-28

Similar Documents

Publication Publication Date Title
US11210799B2 (en) Estimating depth using a single camera
TW202143112A (zh) 運用相位偵測自動對焦（ｐｄａｆ）光學系統的方法和裝置
US9918072B2 (en) Photography apparatus and method thereof
US9456195B1 (en) Application programming interface for multi-aperture imaging systems
US9824417B2 (en) Image signal processor for generating depth map from phase detection pixels and device having the same
WO2018084916A1 (en) Optimized phase detection autofocus (pdaf) processing
US9398272B2 (en) Low-profile lens array camera
JP2018536315A (ja) マスクレス位相検出オートフォーカス
US10397498B2 (en) Compressive sensing capturing device and method
KR20160045927A (ko) 상호작용 스크린 보기
TW201333884A (zh) 影像增強方法及系統
EP4405891A1 (en) Systems and methods for generating synthetic depth of field effects
TW202303522A (zh) 使用多點深度感測系統資訊處理圖像資料
US20140347548A1 (en) Method and system for rendering an image from a light-field camera
US20230262322A1 (en) Mechanism for improving image capture operations
US11688046B2 (en) Selective image signal processing
US20230021016A1 (en) Hybrid object detector and tracker
JP2024506932A (ja) カメラズームのためのシステムおよび方法
WO2023191888A1 (en) Correlation-based object anti-spoofing for dual-pixel cameras
TW202326611A (zh) 單目深度估計分割