TWI460523B - 自動對焦方法及自動對焦裝置 - Google Patents
自動對焦方法及自動對焦裝置 Download PDFInfo
- Publication number
- TWI460523B TWI460523B TW102115729A TW102115729A TWI460523B TW I460523 B TWI460523 B TW I460523B TW 102115729 A TW102115729 A TW 102115729A TW 102115729 A TW102115729 A TW 102115729A TW I460523 B TWI460523 B TW I460523B
- Authority
- TW
- Taiwan
- Prior art keywords
- focus
- depth
- depth information
- block
- target
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/676—Bracketing for image capture at varying focusing conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
Description
本發明是有關於一種自動對焦的技術,且特別是有關於一種應用立體視覺影像處理技術進行自動對焦的方法與自動對焦裝置。
一般而言,自動對焦技術是指數位相機會移動鏡頭以變更鏡頭與被攝物體之間的距離,並對應不同的鏡頭位置以分別計算被攝主體畫面的對焦評估值(以下簡稱為對焦值),直到找尋到最大對焦值為止。具體而言,鏡頭的最大對焦值是表示對應目前鏡頭所在的位置能取得最大清晰度的被攝主體畫面。
然而,現有自動對焦技術中所使用的爬山法(hill-climbing)或回歸法(regression)中,鏡頭的連續推移以及最大對焦值的搜尋時間都需要若干幅影像才能達成一次的對焦,容易耗費許多時間。此外,在數位相機移動鏡頭的過程中可能會移動過頭,而需要使鏡頭來回移動,如此一來,將會造成畫面的邊緣部份可能會有進出畫面的現象,此即鏡頭畫面的呼吸現象,而此現象破壞了
畫面的穩定性。現有一種應用立體視覺技術進行影像處理的自動對焦技術,可有效減少對焦的耗時及畫面的呼吸現象,而可提升對焦速度與畫面的穩定性,故在相關領域中漸受矚目。
然而,一般而言,目前的立體視覺技術影像處理在進行
影像中各點的三維座位位置資訊求取時,常常無法對影像中的各點位置做出精準的定位。並且,由於在無材質(texture)、平坦區等區域,較不易辨識相對深度而無法精確求出各點的深度資訊,因此可能會造成三維深度圖上的「破洞」。此外,若將自動對焦系統應用於手持電子裝置(例如智慧型手機),為要求縮小產品的體積,其立體視覺的基準線(stereo baseline)通常需要盡可能地縮小,如此一來定位精準將更加不易,並可能導致三維深度圖上的破洞增加,進而影響執行後續影像對焦程序的執行難度。因此,如何兼顧自動對焦技術的對焦速度、鏡頭畫面的穩定性以及對焦定位的準確度,實為目前研發人員關注的重要課題之一。
本發明提供一種自動對焦方法及自動對焦裝置,具有快速的對焦速度、良好的畫面穩定性以及良好的對焦定位準確度。
本發明的一種自動對焦方法適用於具有第一與第二影像感測器的自動對焦裝置。自動對焦方法包括下列步驟。選取並使用第一與第二影像感測器拍攝至少一目標物,據以進行三維深度估測而產生三維深度圖。依據目標物的至少一起始對焦點來選取
涵括起始對焦點的區塊。查詢三維深度圖以讀取區塊中的多個像素的深度資訊。判斷這些像素的深度資訊是否足夠進行運算,若是,對這些像素的深度資訊進行第一統計運算,並獲得對焦深度資訊,若否,則移動區塊位置或擴大區塊的尺寸,以獲得對焦深度資訊。依據對焦深度資訊,取得關於目標物的對焦位置,並驅動自動對焦裝置根據對焦位置執行自動對焦程序。
在本發明的一實施例中,上述判斷這些像素的深度資訊是否足夠進行運算的步驟包括:分別判斷各像素的深度資訊是否為有效深度資訊,若是,則判斷為有效像素。並且,判斷這些有效像素的數量或這些有效像素與這些像素的比例是否大於一預設比例閥值。
在本發明的一實施例中,上述的自動對焦方法在擴大區塊的尺寸的步驟之後更包括:判斷區塊的尺寸是否大於一預設範圍閥值,若否,則返回判斷這些像素的深度資訊是否足夠進行運算的步驟,若是,則判斷對焦失敗,驅動自動對焦裝置執行泛焦對焦程序或以對比式對焦進行自動對焦或不予對焦。
在本發明的一實施例中,上述選取至少一目標物的方法包括:藉由自動對焦裝置接收使用者用以選取至少一目標物的至少一點選訊號,或由自動對焦裝置進行物件偵測程序,以自動選取至少一目標物,並取得至少一起始對焦點的座標位置。
在本發明的一實施例中,當至少一目標物為多個目標物時,上述取得關於這些目標物的對焦位置的步驟如下所述。計算
這些目標物的這些對焦深度資訊,並獲得平均對焦深度資訊。依據平均對焦深度資訊計算出景深範圍。判斷這些目標物是否皆落在景深範圍中,若是,則依據平均深度對焦資訊取得關於這些目標物的對焦位置。
在本發明的一實施例中,當至少一目標物為多個目標物時,上述的自動對焦方法更包括:執行目標物位置離散檢定以及判斷這些目標物的這些座標位置是否離散。
在本發明的一實施例中,上述的目標物位置離散檢定為標準差(standard deviation)檢定、變異係數(variance)或亂度(entropy)檢定。
在本發明的一實施例中,當判斷這些目標物的這些座標位置為離散時,上述取得關於這些目標物的對焦位置的步驟如下所述。選取這些目標物中的最大目標物,其中最大目標物具有特徵對焦深度資訊。並且依據特徵對焦深度資訊,取得關於這些目標物的對焦位置。
在本發明的一實施例中,當判斷這些目標物的這些座標位置為集中時,上述取得關於這些目標物的對焦位置的步驟如下所述。取得各目標物的各對焦深度資訊。對各對焦深度資訊進行第二統計運算,並獲得特徵對焦深度資訊,其中第二統計運算為眾數運算(mod)。並且依據特徵對焦深度資訊,取得關於這些目標物的對焦位置。
在本發明的一實施例中,上述的第一統計運算為平均運
算(mean)、眾數運算(mod)、中值運算(median)、最小值運算(minimum)或四分位數(quartile)運算。
本發明的一種自動對焦裝置包括第一與第二影像感測器、對焦模組以及處理單元。第一與第二影像感測器拍攝至少一目標物。對焦模組控制第一與第二影像感測器的對焦位置。處理單元耦接第一與第二影像感測器以及對焦模組,其中處理單元包括區塊深度估測器以及深度資訊判斷模組。區塊深度估測器進行三維深度估測而產生三維深度圖,並依據目標物的至少一起始對焦點來選取涵括起始對焦點的區塊,且查詢三維深度圖以讀取區塊中的多個像素的深度資訊。深度資訊判斷模組耦接區塊深度估測器,並判斷這些像素的深度資訊是否足夠進行運算,若否,區塊深度估測器移動區塊的位置或擴大區塊的尺寸,以讀取區塊中的這些像素的深度資訊,若是,則處理單元驅動區塊深度估測器對這些像素的深度資訊進行第一統計運算以獲得對焦深度資訊,處理單元並依據對焦深度資訊取得關於至少一目標物的一對焦位置,並驅動自動對焦裝置根據對焦位置執行自動對焦程序。
基於上述,本發明的實施例中所提供的自動對焦裝置以及自動對焦方法可透過應用立體視覺的影像處理技術而產生三維深度圖,並再對此三維深度圖中各像素的深度資訊進行判斷並進行統計運算以取得對焦位置。如此一來,本發明的實施例中所提供的自動對焦裝置以及自動對焦方法除了可具有只需一幅影像的時間即可完成相關自動對焦步驟執行的功效外,亦可克服因三維
深度圖中深度資訊「破洞」而造成對焦錯誤的問題。此外,本發明的實施例中所提供的自動對焦裝置以及自動對焦方法亦可透過執行不同的統計運算方法,針對區塊中各像素的深度資訊進行適當處理,以計算出適合的對焦深度資訊。因此本發明的實施例中所提供的自動對焦裝置以及自動對焦方法除了可具有快速的對焦速度以及良好的穩定性外,亦具有良好的對焦定位準確度。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
100、100a‧‧‧自動對焦裝置
110‧‧‧第一影像感測器
120‧‧‧第二影像感測器
130‧‧‧對焦模組
140‧‧‧儲存單元
150‧‧‧處理單元
151‧‧‧區塊深度估測器
152‧‧‧深度資訊判斷模組
153‧‧‧位置離散檢定模組
154‧‧‧特徵對焦深度資訊計算模組
IP‧‧‧起始對焦點
HL‧‧‧破洞
FA、FB‧‧‧範圍
S110、S120、S121、S122、S123、S124、S130、S140、S150、S151、S152、S153、S154、S155、S156、S157、S159、S160、S170、S360、S361、S362、S363、S364、S560、S561、S562、S563、S564、S565、S566‧‧‧步驟
圖1是依照本發明一實施例所繪示的一種自動對焦裝置的方塊圖。
圖2A是依照本發明一實施例所繪示的一種自動對焦方法的流程圖。
圖2B是圖2A實施例中的一種產生三維深度圖的步驟流程圖。
圖2C是圖2A實施例中產生的一種深度搜尋的示意圖。
圖2D是圖2A實施例中的一種判斷像素的深度資訊是否足夠進行運算的步驟流程圖。
圖3A是依照本發明另一實施例所繪示的一種自動對焦方法的流程圖。
圖3B是圖3A實施例中的一種取得關於目標物對焦位置的步驟流程圖。
圖4是依照本發明另一實施例所繪示的一種自動對焦裝置的方塊圖。
圖5是圖3A實施例中的另一種取得關於目標物對焦位置的步驟流程圖。
圖1是依照本發明一實施例所繪示的一種自動對焦裝置的方塊圖。請參照圖1,本實施例的自動對焦裝置100包括第一影像感測器110與第二影像感測器120、對焦模組130、儲存單元140以及處理單元150,其中處理單元150包括區塊深度估測器151以及深度資訊判斷模組152。在本實施例中,自動對焦裝置100例如是數位相機、數位攝影機(Digital Video Camcorder,DVC)或是其他可用以攝像或攝影功能的手持電子裝置等,但本發明並不限制其範圍。另一方面,在本實施例中,第一與第二影像感測器110、120可包括鏡頭、感光元件或光圈等構件,用以擷取影像。此外,對焦模組130、儲存單元140、處理單元150、區塊深度估測器151以及深度資訊判斷模組152可為硬體及/或軟體所實現的功能模塊,其中硬體可包括中央處理器、晶片組、微處理器等具有影像運算處理功能的硬體設備或上述硬體設備的組合,而軟體則可以是作業系統、驅動程式等。
在本實施例中,處理單元150耦接第一與第二影像感測
器110、120、對焦模組130以及儲存單元140,而可用以控制第一與第二影像感測器110、120與對焦模組130,並於儲存單元140儲存相關資訊,且可驅動區塊深度估測器151以及深度資訊判斷模組152執行相關指令。
圖2A是依照本發明一實施例所繪示的一種自動對焦方
法的流程圖。請參照圖2A,在本實施例中,自動對焦方法例如可利用圖1中的自動對焦裝置100來執行。以下搭配自動對焦裝置100中的各模組來對本實施例的自動對焦方法的詳細步驟做進一步的描述。
首先,執行步驟S110,選取至少一目標物。具體而言,
在本實施例中,選取目標物的方法例如可藉由自動對焦裝置100接收使用者用以選取目標物的至少一點選訊號,以選取目標物,並取得至少一起始對焦點IP的座標位置(繪示於圖2C中)。舉例而言,使用者可以觸控方式或移動取像裝置到特定區域進行目標物的選取,但本發明不以此為限。在其他可行的實施例中,選取目標物的方法亦可由自動對焦裝置100進行物件偵測程序,以自動選取目標物並取得至少一起始對焦點IP的座標位置。舉例而言,自動對焦裝置100可藉由使用人臉偵測(face detection)、微笑偵測或主體偵測技術等來進行目標物的自動選擇,並取得其起始對焦點IP的座標位置,但本發明亦不以此為限。此技術領域中具有通常知識者當可依據實際需求來設計自動對焦裝置100中可用以選
取目標物的模式,在此不予贅述。
接著,執行步驟S120,使用第一與第二影像感測器110、120拍攝目標物,並據以進行三維深度估測而產生三維深度圖。以下將搭配圖2B,針對本實施例執行步驟S120的詳細步驟做進一步的解說。
圖2B是圖2A實施例中的一種產生三維深度圖的步驟流程圖。在本實施例中,圖2A所示的產生三維深度圖的步驟S120,更包括子步驟S121、S122以及S123。請參照圖2B,首先執行步驟S121,使用第一以及第二影像感測器110、120拍攝目標物,以分別產生第一影像與第二影像。舉例來說,第一影像例如為左眼影像,第二影像例如為右眼影像。在本實施例中,第一影像與第二影像可儲存於儲存單元140中,以供後續步驟使用。
接著,執行步驟S122,處理單元150的區塊深度估測器151可依據第一影像與第二影像進行三維深度估測。具體而言,處理單元150的區塊深度估測器151可藉由立體視覺技術進行影像處理,以求得目標物於空間中的三維座標位置以及影像中各點的深度資訊。接著,執行步驟S123,處理單元150的的區塊深度估測器151在得到各點的初步深度資訊後,將所有深度資訊彙整為一張三維深度圖,並儲存於儲存單元140中,以供後續步驟使用。
然而,一般而言,在步驟S123所產生的三維深度圖中可能存在著許多破洞HL(如圖2C所繪示),因此處理單元150更可選擇性地視情況執行步驟S124,對三維深度圖再進行初步優化處
理。具體而言,在本實施例中,進行初步優化處理的方法例如是利用影像處理技術將各點的深度資訊與其鄰近的深度資訊進行加權處理,以使影像各點的深度資訊將可較為連續,並同時可保留了邊緣的深度資訊。如此一來,除可避免原先的三維深度圖中記載的各點深度資訊可能存在深度不精準或不連續的問題外,亦可減少對於原先存在於三維深度圖上的破洞HL情況。舉例而言,在本實施例中,初步優化處理的方法可為高斯(Gaussian)平滑處理,但本發明不以此為限。在其他可行的實施例中,此技術領域中具有通常知識者當可依據實際需求來選擇其他適當的統計運算方法以執行初步優化處理,此處便不再贅述。
回到圖2A,接續執行步驟S130,利用區塊深度估測器
151依據目標物的至少一起始對焦點IP來選取涵括起始對焦點IP的區塊。具體而言,區塊深度估測器151可根據在步驟S110中所取得的起始對焦點IP的座標位置來決定區塊的位置。此外,在本實施例中,區塊的尺寸亦可預先定義,並可具有多種不同範圍以涵括不同數量的像素。舉例而言,區塊的尺寸例如可為21x21像素、41x41像素、81x81像素等,其中起始對焦點IP例如可做為區塊的中心,亦即為區塊的中心像素,但本發明不以此為限。此技術領域中具有通常知識者當可依據實際需求來設計區塊的位置及其尺寸,此處便不再贅述。
圖2C是圖2A實施例中產生的一種深度搜尋的示意圖。
接著,執行步驟S140,利用區塊深度估測器151查詢三維深度圖
以讀取區塊中的多個像素的深度資訊。然而,如圖2C所示,若起始對焦點IP的座標位置落在破洞HL之中,將可能導致擷取不到像素的深度資訊而不易進行後續相關運算,或是可能因此計算出錯誤的對焦位置而對焦失敗。因此需執行步驟S150,判斷這些像素的深度資訊是否足夠進行運算,以有助於進行後續步驟。以下將搭配圖2D,針對本實施例執行步驟S150的詳細步驟進行進一步的解說。
圖2D是圖2A實施例中的一種判斷像素的深度資訊是否足夠進行運算的步驟流程圖。在本實施例中,圖2A所示的產生三維深度圖的步驟S150,更包括子步驟S151、S152、S153以及S154。請參照圖2D,首先執行步驟S151,利用耦接區塊深度估測器151的深度資訊判斷模組152分別判斷各像素的深度資訊是否為有效深度資訊,若是,則判斷為有效像素(步驟S152)。具體而言,由於三維深度圖中破洞HL的成因是由於區塊深度估測器151依據第一影像與第二影像進行三維深度估測時,無法計算其部份區域的像差,也就是說,無法計算出這些區域中像素的深度資訊。因此,判斷各像素的深度資訊是否為有效深度資訊的方法將可藉由三維深度估測過程中的運算法來執行。
更詳細而言,在進行三維深度估測過程中的相關計算時,可先對三維深度圖中這些無法計算出像差的部份區域的像素給予一特定值,而在後續計算過程中,具有此特定值的像素將可被視為無效像素,而不列入計算。舉例而言,一個具有10位元(bit)
像素格式的畫面的值域將落在0-1023之間,而處理單元150例如可將不具有有效深度資訊的像素值設定為1023,其餘具有有效深度資訊的像素則設定為0-1020之間。如此一來,將有助於深度資訊判斷模組152快速地進行判斷各像素是否為有效像素,但本發明不以此為限。此技術領域中具有通常知識者當可依據實際需求來選擇其他適當的有效像素的定義方式,此處便不再贅述。
接著,執行步驟S153,利用深度資訊判斷模組152判斷
這些有效像素的數量或這些有效像素與區塊中像素的比例是否大於一預設比例閥值,若是,則執行步驟S154,判斷這些像素的深度資訊足夠進行運算。具體而言,此預設比例閥值可為適當的像素數量,或是一數值百分比例。舉例而言,此預設比例閥值可為一數值百分比例,且其值為30%,而這即表示當有效像素數量與區塊中像素數量的比例大於30%時,則深度資訊判斷模組152將判斷像素的深度資訊足夠進行運算,並以此區塊中的深度資訊統計分布圖(Histogram)進行後續運算。值得注意的是,應注意的是,此處的數值比例範圍僅作為例示說明,其端點數值與範圍大小並不用以限定本發明。
然而,另一方面,請再次參照圖2A,在執行步驟S154
的過程中,若深度資訊判斷模組152判斷這些像素的深度資訊不足以進行運算,則將執行步驟S155,利用區塊深度估測器151移動區塊位置或擴大區塊的尺寸,以讀取區塊中的像素的深度資訊。舉例而言,在本實施例中,區塊的尺寸將可由範圍FA擴大為
範圍FB(如圖2C所示)。接著,並執行步驟S157,利用處理單元150判斷區塊的尺寸是否大於一預設範圍閥值。若否,則返回判斷這些像素的深度資訊是否足夠進行運算的步驟S150,再次進行判斷,並進行相關計算,以獲得目標物的對焦深度資訊。若是,則執行步驟S159,判斷對焦失敗,驅動自動對焦裝置100執行一泛焦對焦程序或以對比式對焦進行自動對焦或不予對焦。舉例而言,此預設範圍閥值可為前述的區塊所能涵括的最大像素範圍模式,例如為81x81像素的範圍,但本發明不以此為限。此技術領域中具有通常知識者當可依據實際需求來選擇其他適當預設範圍閥值的定義方式,此處便不再贅述。
另一方面,當深度資訊判斷模組152判斷這些像素的深度資訊足夠進行運算時,執行圖2A所示的步驟S156,利用區塊深度估測器151對這些有效像素的深度資訊進行第一統計運算,以獲得目標物的對焦深度資訊。具體而言,進行第一統計運算的目的是為了能夠更可靠地計算出目標物的對焦深度資訊,如此一來,將可藉此避免對焦到不正確的目標物的可能性。然而,值得注意的是,採用不同的第一統計運算方式將具有不同的對焦效果。舉例而言,執行第一統計運算的方法例如可為平均運算、眾數運算、中值運算、最小值運算、四分位數或其它適合的數學統計運算方式。
更詳細而言,平均運算指的是以此區塊中有效像素的平均深度資訊來做為執行後續自動對焦步驟的對焦深度資訊。進一
步而言,當此區塊內各有效像素的深度資訊分佈較不均勻時,可以平均深度資訊作為對焦深度資訊,以兼顧各像素的對焦效果,但其缺點是若各有效像素的深度資訊極不均勻或是各像素的深度資訊差距太大時會無法正確對焦。眾數運算則是以此區塊中數量最多的深度資訊作為對焦深度資訊。中值運算則是以此區塊中的有效深度資訊中值作為對焦深度資訊,可兼顧平均與眾數運算的對焦特性。
最小值運算則是以此區塊中最近的有效深度資訊來作為
對焦深度資訊的依據,但若此一運算方法若單純以單一最小值來運算,則易受到雜訊影響。四分位數運算則是以此區塊中有效深度資訊的第一四分位數或第二四分位數作為對焦深度資訊。進一步而言,若以此區塊中有效深度資訊的第一四分位數作為對焦深度資訊的話,則與以此區塊中最近的有效深度資訊來作為對焦深度資訊的方法有類似效果,但可不受雜訊影響。若以此區塊中有效深度資訊的第二四分位數作為對焦深度資訊的話,則與以此區塊中的有效深度資訊中值作為對焦深度資訊的效果類似。
值得注意的是,本發明雖以上述統計運算方式為例說明
執行第一統計運算的方法,但本發明不以此為限,此技術領域中具有通常知識者當可依據實際需求來選擇其他適當的統計運算方法以獲得目標物的對焦深度資訊,此處便不再贅述。
接著,在獲得對焦深度資訊後,執行步驟S160,利用處理單元150依據對焦深度資訊取得關於目標物的對焦位置。具體
而言,步驟S160例如可透過依據對焦深度資訊查詢深度對照表來取得關於目標物的對焦位置來執行。舉例而言,一般執行自動對焦程序的過程可以是透過對焦模組130控制自動對焦裝置100中的步進馬達步數(step)或音圈馬達電流值以分別調整第一與第二影像感測器110、120的變焦鏡頭至所需的對焦位置後,再進行對焦。因此,自動對焦裝置100將可透過藉由事前步進馬達或音圈馬達的校正過程,事先求得步進馬達的步數或音圈馬達的電流值與目標物清晰深度的對應關係,將其結果彙整為深度對照表,並儲存於儲存單元140中。如此一來,則可依據目前獲得的目標物的對焦深度資訊查詢到此對焦深度資訊所對應的步進馬達的步數或音圈馬達的電流值,並據此取得關於目標物的對焦位置資訊。
接著,執行步驟S170,處理單元150驅動自動對焦裝置100根據對焦位置執行自動對焦程序。具體而言,由於對焦模組130控制第一與第二影像感測器110、120的對焦位置,因此在取得關於目標物的對焦位置資訊後,處理單元150就可驅動自動對焦裝置100的對焦模組130,並藉此調整第一與第二影像感測器110、120的變焦鏡頭至對焦位置,以完成自動對焦。
如此一來,透過上述應用立體視覺的影像處理技術而產生三維深度圖,並再對此三維深度圖中各像素的深度資訊進行判斷並進行統計運算以取得對焦位置的方法,將使得本實施例的自動對焦裝置100以及自動對焦方法除了只需一幅影像的時間即可完成相關自動對焦步驟執行的功效外,亦可克服因三維深度圖中
深度資訊破洞HL而造成對焦錯誤的問題。此外,本實施例亦可透過不同的統計運算方法,針對區塊中各像素的深度資訊進行適當處理,以計算出適合的對焦深度資訊。因此本實施例的自動對焦裝置100以及自動對焦方法除了可具有快速的對焦速度以及良好的穩定性外,亦具有良好的對焦定位準確度。
圖3A是依照本發明另一實施例所繪示的一種自動對焦
方法的流程圖。請參照圖3A,本實施例的自動對焦方法與圖2A實施例中的自動對焦方法類似,以下將搭配圖3B,僅針對兩者不同之處進行詳細說明。
圖3B是圖3A實施例中的一種取得關於目標物對焦位置
的步驟流程圖。在本實施例中,當至少一目標物為多個目標物時,圖3A所示的步驟S360,依據對焦深度資訊取得關於目標物的對焦位置,更包括子步驟S361、S362、S363以及S364。請參照圖3B,首先,執行步驟S361,利用區塊深度估測器151計算目標物的對焦深度資訊,並獲得平均對焦深度資訊。接著,執行步驟S362,依據平均對焦深度資訊計算出景深範圍。接著,執行步驟S363,判斷這些目標物是否皆落在景深範圍中。若是,則執行步驟S364,則依據平均深度對焦資訊取得關於這些目標物的對焦位置。如此一來,使用者欲對焦的目標物將可皆具有適當的對焦效果。
此外,值得注意的是,由於本實施例的自動對焦方法與
圖2A實施例的自動對焦方法的差異僅在於取得關於各目標物的
對焦位置資訊時是否須再次進行統計運算,但這並不影響前述應用立體視覺的影像處理技術而產生三維深度圖,並再對此三維深度圖中各像素的深度資訊進行判斷並進行第一統計運算以取得對焦深度資訊的技術特徵。因此,本實施例的自動對焦方法與同樣地具有上述圖2A實施例的自動對焦方法所描述的優點,在此便不再贅述。
圖4是依照本發明另一實施例所繪示的一種自動對焦裝置的方塊圖。請參照圖4,本實施例的自動對焦裝置100a與圖1中的自動對焦裝置100類似,以下僅針對兩者不同之處進行說明。在本實施例中,處理單元150更包括位置離散檢定模組153與特徵對焦深度資訊計算模組154。舉例而言,位置離散檢定模組153與特徵對焦深度資訊計算模組154皆可為硬體及/或軟體所實現的功能模塊,其中硬體可包括中央處理器、晶片組、微處理器等具有影像運算處理功能的硬體設備或上述硬體設備的組合,而軟體則可以是作業系統、驅動程式等。以下將搭配圖5,針對本實施例的位置離散檢定模組153與特徵對焦深度資訊計算模組154的功能進行詳細說明。
圖5是圖3A實施例中的另一種取得關於目標物對焦位置的步驟流程圖。在本實施例中,當至少一目標物為多個目標物時,圖3A所示的步驟S560,依據對焦深度資訊取得關於目標物的對焦位置,更包括子步驟S561、S562、S563、S564、S565以及S566。以下並搭配位置離散檢定模組153與特徵對焦深度資訊計算模組
154以對執行步驟S560的詳細過程進行進一步的描述。
請參照圖5,首先,執行步驟S561,利用位置離散檢定
模組153執行一目標物位置離散檢定。具體而言,在本實施例中,位置離散檢定模組153耦接區塊深度估測器151,以取得起始對焦點IP的座標位置,並執行相關檢定方法的運算。舉例而言,目標物位置離散檢定的方法可為標準差檢定、變異係數檢定、亂度檢定或其他適合的檢定方法,但本發明不以此為限。在其他可行的實施例中,此技術領域中具有通常知識者當可依據實際需求來選擇其他適當的檢定方法以執行目標物位置離散檢定,此處便不再贅述。
接著,執行步驟S562,判斷目標物的座標位置是否離散,
並據此選擇取得關於對焦位置的不同方法。具體而言,在本實施例中,特徵對焦深度資訊計算模組154耦接區塊深度估測器151與位置離散檢定模組153,以取得各目標物的各對焦深度資訊,並據以獲得相關的特徵對焦深度資訊。舉例而言,當判斷目標物的座標位置為離散時,則可執行步驟S563,利用特徵對焦深度資訊計算模組154選取這些目標物中的最大目標物,其中最大目標物即具有特徵對焦深度資訊。而另一方面,當判斷目標物的座標位置為集中時,則可執行步驟S564,取得各目標物的各對焦深度資訊。
接著,再執行步驟S565,對各對焦深度資訊進行第二統
計運算,並獲得特徵對焦深度資訊,其中第二統計運算例如可為
眾數運算方法。舉例而言,一種執行眾數運算的方法例如是以區塊內所涵蓋到的各目標物中具有最多有效像素的目標物來作為對焦深度資訊的依據,但本發明不以此為限。在其他可行的實施例中,此技術領域中具有通常知識者當可依據實際需求來選擇其他執行眾數運算的方法,例如當不同目標物所涵括的無效像素數量都相同的話,執行眾數運算的方法亦可以表面積最大的目標物來作為對焦深度資訊的依據,並進行後續運算,此處便不再贅述。
接著,再執行步驟S566,依據步驟S563或步驟S565所獲得的特徵對焦深度資訊,取得關於目標物的對焦位置。在本實施例中,執行步驟S566的方法已於圖2A實施例中的步驟S160的方法中詳述,在此不再重述。此外,亦值得注意的是,由於本實施例的自動對焦方法與前述實施例的自動對焦方法的差異僅在於取得關於各目標物的對焦位置資訊時進行何種統計運算,但這並不影響前述實施例應用立體視覺的影像處理技術而產生三維深度圖,並再對此三維深度圖中各像素的深度資訊進行判斷並進行第一統計運算以取得對焦深度資訊的技術特徵。因此,本實施例的自動對焦方法與同樣地具有前述實施例的自動對焦方法所描述的優點,在此便不再贅述。
綜上所述,本發明的自動對焦裝置以及自動對焦方法可透過上述應用立體視覺的影像處理技術而產生三維深度圖,並再對此三維深度圖中各像素的深度資訊進行判斷並進行統計運算以取得對焦位置。如此一來,本發明的自動對焦裝置以及自動對焦
方法除了可具有只需一幅影像的時間即可完成相關自動對焦步驟執行的功效外,亦可克服因三維深度圖中深度資訊「破洞」而造成對焦錯誤的問題。此外,本發明的自動對焦裝置以及自動對焦方法亦可透過執行不同的統計運算方法,針對區塊中各像素的深度資訊進行適當處理,以計算出適合的對焦深度資訊。因此本發明的自動對焦裝置以及自動對焦方法除了可具有快速的對焦速度以及良好的穩定性外,亦具有良好的對焦定位準確度。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S110、S120、S130、S140、S150、S155、S156、S157、S159、S160、S170‧‧‧步驟
Claims (15)
- 一種自動對焦方法,適用於具有一第一與一第二影像感測器的一自動對焦裝置,該自動對焦方法包括:選取並使用該第一與該第二影像感測器拍攝至少一目標物,據以進行一三維深度估測而產生一三維深度圖;依據該至少一目標物的至少一起始對焦點來選取涵括該至少一起始對焦點的一區塊;查詢該三維深度圖以讀取該區塊中的多個像素的深度資訊;判斷該些像素的深度資訊是否足夠進行運算,若是,對該些像素的深度資訊進行一第一統計運算,並獲得一對焦深度資訊,若否,則移動該區塊位置或擴大該區塊的尺寸,以獲得該對焦深度資訊;以及依據該對焦深度資訊,取得關於該至少一目標物的一對焦位置,並驅動該自動對焦裝置根據該對焦位置執行一自動對焦程序。
- 如申請專利範圍第1項所述的自動對焦方法,其中判斷該些像素的深度資訊是否足夠進行運算的步驟包括:分別判斷各該像素的深度資訊是否為一有效深度資訊,若是,則判斷為一有效像素;以及判斷該些有效像素的數量或該些有效像素與該些像素的比例是否大於一預設比例閥值。
- 如申請專利範圍第1項所述的自動對焦方法,其中在擴大該區塊的尺寸的步驟之後更包括: 判斷該區塊的尺寸是否大於一預設範圍閥值,若否,則返回判斷該些像素的深度資訊是否足夠進行運算的步驟,若是,則判斷對焦失敗,驅動該自動對焦裝置執行一泛焦對焦程序或以對比式對焦進行自動對焦或不予對焦。
- 如申請專利範圍第1項所述的自動對焦方法,其中選取該至少一目標物的方法包括:藉由該自動對焦裝置接收一使用者用以選取該至少一目標物的至少一點選訊號,或由該自動對焦裝置進行一物件偵測程序,以自動選取該至少一目標物,並取得該至少一起始對焦點的座標位置。
- 如申請專利範圍第1項所述的自動對焦方法,其中當該至少一目標物為多個目標物時,取得關於該些目標物的該對焦位置的步驟包括:計算該些目標物的該些對焦深度資訊,並獲得一平均對焦深度資訊;依據該平均對焦深度資訊計算出一景深範圍;以及判斷該些目標物是否皆落在該景深範圍中,若是,則依據該平均深度對焦資訊取得關於該些目標物的該對焦位置。
- 如申請專利範圍第4項所述的自動對焦方法,其中該至少一目標物為多個目標物時,該自動對焦方法更包括:執行一目標物位置離散檢定;以及判斷該些目標物的該些座標位置是否離散。
- 如申請專利範圍第6項所述的自動對焦方法,其中該目標物位置離散檢定為一標準差檢定、一變異係數或一亂度檢定。
- 如申請專利範圍第6項所述的自動對焦方法,其中當判斷該些目標物的該些座標位置為離散時,取得關於該些目標物的該對焦位置的步驟包括:選取該些目標物中的一最大目標物,其中該最大目標物具有一特徵對焦深度資訊;以及依據該特徵對焦深度資訊,取得關於該些目標物的該對焦位置。
- 如申請專利範圍第6項所述的自動對焦方法,其中當判斷該些目標物的該些座標位置為集中時,取得關於該些目標物的該對焦位置的步驟包括:取得各該目標物的各該對焦深度資訊;對各該對焦深度資訊進行一第二統計運算,並獲得一特徵對焦深度資訊,其中該第二統計運算為一眾數運算;以及依據該特徵對焦深度資訊,取得關於該些目標物的該對焦位置。
- 如申請專利範圍第1項所述的自動對焦方法,其中該第一統計運算為一平均運算、一眾數運算、一中值運算、一最小值運算或一四分位數運算。
- 一種自動對焦裝置,包括:一第一與一第二影像感測器,拍攝至少一目標物; 一對焦模組,控制該第一與該第二影像感測器的一對焦位置;以及一處理單元,耦接該第一與該第二影像感測器以及該對焦模組,其中該處理單元包括:一區塊深度估測器,進行一三維深度估測而產生一三維深度圖,依據該至少一目標物的至少一起始對焦點來選取涵括該至少一起始對焦點的一區塊,並查詢該三維深度圖以讀取該區塊中的多個像素的深度資訊;以及一深度資訊判斷模組,耦接該區塊深度估測器,該深度資訊判斷模組判斷該些像素的深度資訊是否足夠進行運算,若否,該區塊深度估測器移動該區塊的位置或擴大該區塊的尺寸,以讀取該區塊中的該些像素的深度資訊;若是,則該處理單元驅動該區塊深度估測器對該些像素的深度資訊進行一第一統計運算以獲得一對焦深度資訊,該處理單元並依據該對焦深度資訊取得關於該至少一目標物的一對焦位置,並驅動該自動對焦裝置根據該對焦位置執行一自動對焦程序。
- 如申請專利範圍第11項所述的自動對焦裝置,其中:該深度資訊判斷模組分別判斷各該像素的深度資訊是否為一有效深度資訊,若是,則判斷為一有效像素,並進一步判斷該些有效像素的數量或該些有效像素與該些像素的比例是否大於一預設比例閥值,若是,則判斷該些像素的深度資訊足夠進行運算。
- 如申請專利範圍第11項所述的自動對焦裝置,更包括: 一儲存單元,耦接該處理單元,用以儲存該三維深度圖以及一深度對照表,其中該處理單元依據該深度資訊查詢該深度對照表,以取得關於該目標物的該對焦位置。
- 如申請專利範圍第11項所述的自動對焦裝置,其中該處理單元更包括:一位置離散檢定模組,耦接該區塊深度估測器,以取得該至少一起始對焦點的座標位置,當該至少一目標物為多個目標物時,該位置離散檢定模組執行一目標物位置離散檢定,並判斷該些目標物的該些座標位置是否離散。
- 如申請專利範圍第14項所述的自動對焦裝置,其中該處理單元更包括:一特徵對焦深度資訊計算模組,耦接該區塊深度估測器與該位置離散檢定模組,取得各該目標物的各該對焦深度資訊,並據以獲得一特徵對焦深度資訊,該處理單元並依據該特徵對焦深度資訊,取得關於該些目標物的該對焦位置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW102115729A TWI460523B (zh) | 2013-05-02 | 2013-05-02 | 自動對焦方法及自動對焦裝置 |
US13/914,639 US20140327743A1 (en) | 2013-05-02 | 2013-06-11 | Auto focus method and auto focus apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW102115729A TWI460523B (zh) | 2013-05-02 | 2013-05-02 | 自動對焦方法及自動對焦裝置 |
Publications (2)
Publication Number | Publication Date |
---|---|
TWI460523B true TWI460523B (zh) | 2014-11-11 |
TW201443539A TW201443539A (zh) | 2014-11-16 |
Family
ID=51841242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW102115729A TWI460523B (zh) | 2013-05-02 | 2013-05-02 | 自動對焦方法及自動對焦裝置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20140327743A1 (zh) |
TW (1) | TWI460523B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013049597A1 (en) * | 2011-09-29 | 2013-04-04 | Allpoint Systems, Llc | Method and system for three dimensional mapping of an environment |
KR102032882B1 (ko) * | 2014-09-30 | 2019-10-16 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 자동 포커싱 방법, 장치 및 전자 장치 |
KR102672599B1 (ko) | 2016-12-30 | 2024-06-07 | 삼성전자주식회사 | Af 방법 및 이를 수행하는 전자 장치 |
TWI791206B (zh) * | 2021-03-31 | 2023-02-01 | 圓展科技股份有限公司 | 雙鏡頭移動控制系統及方法 |
CN117652152A (zh) * | 2022-06-02 | 2024-03-05 | 北京小米移动软件有限公司 | 一种对焦方法、装置及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004505393A (ja) * | 2000-08-09 | 2004-02-19 | ダイナミック ディジタル デプス リサーチ プロプライエタリー リミテッド | イメージ変換および符号化技術 |
US20070019883A1 (en) * | 2005-07-19 | 2007-01-25 | Wong Earl Q | Method for creating a depth map for auto focus using an all-in-focus picture and two-dimensional scale space matching |
TW201300930A (zh) * | 2011-06-24 | 2013-01-01 | Mstar Semiconductor Inc | 自動對焦方法與裝置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5293463B2 (ja) * | 2009-07-09 | 2013-09-18 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
-
2013
- 2013-05-02 TW TW102115729A patent/TWI460523B/zh active
- 2013-06-11 US US13/914,639 patent/US20140327743A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004505393A (ja) * | 2000-08-09 | 2004-02-19 | ダイナミック ディジタル デプス リサーチ プロプライエタリー リミテッド | イメージ変換および符号化技術 |
US20070019883A1 (en) * | 2005-07-19 | 2007-01-25 | Wong Earl Q | Method for creating a depth map for auto focus using an all-in-focus picture and two-dimensional scale space matching |
TW201300930A (zh) * | 2011-06-24 | 2013-01-01 | Mstar Semiconductor Inc | 自動對焦方法與裝置 |
Also Published As
Publication number | Publication date |
---|---|
US20140327743A1 (en) | 2014-11-06 |
TW201443539A (zh) | 2014-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI471677B (zh) | 自動對焦方法及自動對焦裝置 | |
US9697604B2 (en) | Image capturing device and method for detecting image deformation thereof | |
TWI511081B (zh) | 影像擷取裝置及其影像形變校正方法 | |
CN105453136B (zh) | 使用自动聚焦反馈进行立体侧倾校正的***、方法及设备 | |
TWI460523B (zh) | 自動對焦方法及自動對焦裝置 | |
US11956536B2 (en) | Methods and apparatus for defocus reduction using laser autofocus | |
US20160295097A1 (en) | Dual camera autofocus | |
JP5911846B2 (ja) | 肌色領域及び顔領域に基づく視点検出器 | |
EP2704419B1 (en) | System and method for utilizing enhanced scene detection in a depth estimation procedure | |
US20150201182A1 (en) | Auto focus method and auto focus apparatus | |
WO2016049889A1 (zh) | 一种自动对焦方法、装置及电子设备 | |
US20130141630A1 (en) | Optimal blur matching selection for depth estimation | |
TWI515470B (zh) | 使用多鏡頭的自動對焦系統及其方法 | |
Shih | Autofocus survey: a comparison of algorithms | |
CN104102068A (zh) | 自动对焦方法及自动对焦装置 | |
US8411195B2 (en) | Focus direction detection confidence system and method | |
CN106031148B (zh) | 成像设备,成像设备中自动对焦的方法以及对应计算机程序 | |
CN107439005B (zh) | 一种确定对焦窗的方法、装置及设备 | |
TW201616447A (zh) | 快速建立景深圖的方法及影像處理裝置 | |
TW201607312A (zh) | 影像擷取裝置及其自動對焦補償方法 | |
CN104133339B (zh) | 自动对焦方法及自动对焦装置 | |
US9020280B2 (en) | System and method for evaluating focus direction under various lighting conditions | |
EP3503528B1 (en) | Determination of a contrast value for a digital image | |
US9467614B2 (en) | Camera module and method for driving the same to achieve fast focus of image being captured | |
JP2016162376A (ja) | 画像処理装置、撮像装置、および画像処理方法 |