TWI782280B - 應用於遙測衛星的自動對焦方法及該遙測衛星 - Google Patents

應用於遙測衛星的自動對焦方法及該遙測衛星 Download PDF

Info

Publication number
TWI782280B
TWI782280B TW109118345A TW109118345A TWI782280B TW I782280 B TWI782280 B TW I782280B TW 109118345 A TW109118345 A TW 109118345A TW 109118345 A TW109118345 A TW 109118345A TW I782280 B TWI782280 B TW I782280B
Authority
TW
Taiwan
Prior art keywords
focus
point spread
image
spread function
focusing
Prior art date
Application number
TW109118345A
Other languages
English (en)
Other versions
TW202147257A (zh
Inventor
劉小菁
蔡玉麟
黃麗芬
Original Assignee
財團法人國家實驗研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人國家實驗研究院 filed Critical 財團法人國家實驗研究院
Priority to TW109118345A priority Critical patent/TWI782280B/zh
Priority to US17/332,591 priority patent/US11431888B2/en
Publication of TW202147257A publication Critical patent/TW202147257A/zh
Application granted granted Critical
Publication of TWI782280B publication Critical patent/TWI782280B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

應用於遙測衛星的自動對焦方法及該遙測衛星，該遙測衛星具有至少一聚焦面組合以及一調焦機構，該自動對焦方法包括：對該聚焦面組合取得的一第一圖像中的複數個區域進行點擴散函數估算，以產生複數個第一估計點擴散函數；根據該些第一估計點擴散函數產生一第一平均點擴散函數；對該第一平均點擴散函數做高斯函數的曲線擬合，定義出該第一圖像的第一對焦數；控制該調焦機構改變該聚焦面組合的對焦，以取得一第二圖像；對該第二圖像中的複數個區域進行點擴散函數估算，以產生複數個第二估計點擴散函數；根據該些第二估計點擴散函數產生一第二平均點擴散函數；對該第二平均點擴散函數做高斯函數的曲線擬合，定義出該第二圖像的第二對焦數；以及比較該第一對焦數及該第二對焦數，以判斷該第二圖像的對焦狀況是否優於該第一圖像，以及決定是否繼續調整該調焦機構。

Description

應用於遙測衛星的自動對焦方法及該遙測衛星
本發明的目的在於提出一種自動對焦方法，特別是一種應用於遙測衛星的自動對焦方法及應用該對焦方法的遙測衛星。
在遙測衛星升空並抵達預定軌道開始繞行後，會開始執行任務例如拍攝地面收集影像，請參閱第一圖之習知架構示意圖，遙測衛星10上設置有聚焦面組合(Focal Plane Assembly,FPA)102，負責收集影像並回傳到地面12進行影像處理，然而，FPA 102在軌道上環境收集到的影像很可能與地面上調校地設定不同，而須加以補償，否則會因清晰度不足而無法完成任務。以往只能由地面人員根據收到的影像資料，去試著遠端調整遙測衛星10上的調焦機構104，來調整FPA 102的對焦。
然而，遙測衛星10在收集影像時往往有時間及地點的限制，造成調整FPA 102對焦的耗時費力。舉例來說，要判斷當前對焦狀況時，往往需拍攝一個特定目標，例如地面上的特定物體，才能利用包含該特定目標的影像資料來判斷對焦狀況。遙測衛星10需先將包含該特定目標的影像傳輸到地面12，地面的工作人員先試著發送調焦指令給調焦機構104以改變FPA 102的對焦，然後便須等待下一次拍攝到的影像資料，才能 得知目前的對焦是否有改善(往正確方向進行)，決定下一次的調整，但由於地球及遙測衛星都按照各自的軌道運行，通常每次週期只能抵達同一位置一次，例如整整24小時，造成對焦調整後必須經過24小時才能再次拍攝，再根據回傳的地面影像判斷對焦調整的方向是否正確，並且重複這個過程，對焦調整過程非常費時。
本發明的目的之一，在於提出一種在星上即可完成，且無須針對特定圖像做取像即可進行的自動對焦方法。
本發明的目的之一，在於提出一種應用於遙測衛星的自動對焦方法及應用該對焦方法的遙測衛星。
根據本發明，一種應用於遙測衛星的自動對焦方法，該遙測衛星具有至少一聚焦面組合以及一調焦機構，該自動對焦方法包括：對該聚焦面組合取得的一第一圖像中的複數個區域進行點擴散函數(Point Spread function,PSF)估算，以產生複數個第一估計點擴散函數；根據該些第一估計點擴散函數產生一第一平均點擴散函數；對該第一平均點擴散函數做高斯函數的曲線擬合，定義出該第一圖像的第一對焦數；控制該調焦機構改變該聚焦面組合的對焦狀況，以取得一第二圖像；對該第二圖像中的複數個區域進行點擴散函數估算，以產生複數個第二估計點擴散函數；根據該些第二估計點擴散函數產生一第二平均點擴散函數；對該第二平均點擴散函數做高斯函數的曲線擬合，定義出該第二圖像的第二對焦數；以及比較該第一對焦數及該第二對焦數，以判斷該第二圖像的對焦狀況是否優於該第一圖像，以決定是否繼續調整 該聚焦面組合的對焦。
根據本發明，一種自動對焦方法及驗證方法，包括：對一第一圖像中的複數個區域進行點擴散函數估算，以產生複數個第一估計點擴散函數；根據該些第一估計點擴散函數產生一第一平均點擴散函數；對該平均點擴散函數做高斯函數的曲線擬合，定義出該第一圖像的第一對焦數；對一第二圖像中的複數個區域進行點擴散函數估算，以產生複數個第二估計點擴散函數；根據該些第二估計點擴散函數產生一第二平均點擴散函數；對該第二平均點擴散函數做高斯函數的曲線擬合，定義出該第二圖像的第二對焦數；以及比較該第一對焦數及該第二對焦數，以判斷該第二圖像的對焦狀況是否優於該第一圖像。
本發明還提出一種遙測衛星，包括一聚焦面組合，用來收集一第一圖像及一第二圖像；一圖像處理區塊，耦接該聚焦面組合，執行下列步驟：對該第一圖像中的複數個區域進行點擴散函數估算，以產生複數個第一估計點擴散函數；根據該些第一估計點擴散函數產生一第一平均點擴散函數；對該第一平均點擴散函數做高斯函數的曲線擬合，定義出該第一圖像的第一對焦數；對該第二圖像中的複數個區域進行點擴散函數估算，以產生複數個第二估計點擴散函數；根據該些第二估計點擴散函數產生一第二平均點擴散函數；該第二平均點擴散函數做高斯函數的曲線擬合，定義出該第二圖像的第二對焦數；以及比較該第一對焦數及該第二對焦數，產生一對焦狀況的判斷結果；一調焦機構，耦接該聚焦面組合及該 圖像處理區塊，根據該判斷結果調整該聚焦面組合的對焦。其中，該調焦機構改變該聚焦面組合的對焦，以使該第一圖像及該第二圖像具有不同的對焦。
10:遙測衛星
102:FPA
104:調焦機構
12:影像處理(地面)
20:遙測衛星
210:FPA
220:圖像處理區塊
230:調焦機構
第一圖為習知遙測衛星的對焦及驗證架構示意圖；第二圖為根據本發明一實施例的架構圖；第三圖為本發明提出之自動對焦及驗證的流程圖；第四圖為產生估計點擴散函數的示意圖。
第二圖為根據本發明一實施例的架構圖，遙測衛星20中設置有FPA 210、調焦機構230及星上的圖像處理區塊220，調焦機構230用來對FPA 210進行對焦調整，由於FPA 210的對焦通常是固定的，調焦機構230與一般的調焦裝置並不相同，在一實施例中，調焦機構230以加溫/降溫方式來改變FPA 230的對焦。圖像處理區塊220可以是硬體構成的演算電路，或是以軟體方式實現。由FPA 210收集到的圖像傳輸到圖像處理區塊220，執行對焦及狀況的檢查。
第三圖為本發明提出之自動對焦的流程圖，包括步驟S301：對第一圖中的複數個區域進行點擴散函數估算，以產生複數個第一估計點擴散函數；步驟S302：根據第一估計點擴散函數產生第一平均點擴散函數；步驟303：對第一平均點擴散函數做 高斯函數的曲線擬合，定義出第一圖像的第一對焦數；步驟S304：對第二圖像中的複數個區域進行PSF運算，以產生複數個第二估計點擴散函數；步驟S305：根據第二估計點擴散函數產生第二平均點擴散函數；步驟S306：對第二平均點擴散函數做高斯函數的曲線擬合，定義出第二圖像的第二對焦數；以及步驟S307：比較第一對焦數及第二對焦數，以判斷該第二圖像的對焦狀況是否優於該第一圖像。
以下配合第二圖之硬體架構及第四圖之示意圖說明第三圖之流程。光學系統可被視作一平移不變系統，每一個位於物平面的點其所帶有的資訊在輸入光學系統皆受到相同的點擴散函數所作用，其點擴散函數並不會受到輸入物平面的點的位置改變而變化，稱之為平移不變特性。首先，圖像處理區塊220在FPA 210收集到的圖像中選擇包含足夠邊緣信息的幾個區域，如第四圖(a)，進行點擴散函數估算，透過點擴散函數生成器第四圖(b)(例如Levin生成器、Fergus生成器等等)，顯示出複數個來自不同區域的估計點擴散函數，即點擴散函數集，此點擴散函數集可以定義為K={PSF| the PSF is estimated from different region}
生成點擴散函數的過程中會帶有隨機雜訊，為了消除隨機雜訊，採用估計出來的點擴散函數集的平均點擴散函數，公式如下
Figure 109118345-A0305-02-0009-1
再對該平均點擴散函數做高斯函數的曲線擬合，可以得到高斯函數的x軸的標準差及y軸的標準差，如此可以定義出一個對焦數F=max(σ x ,σ y )
而最佳的對焦的位置會有最小的對焦數，也就是找尋一個最小化問題min F
經過前述運算，最後得到的值越小，表示當前對焦的狀況越好，系統便可根據運算產生出的值是否逐步降低，即步驟S307：比較兩張圖像運算得出的第一對焦數及第二對焦數，以判斷該第二圖像的對焦狀況是否優於該第一圖像，來判斷當前調焦方向是否正確，從而決定是否指示調焦機構230以相同方式繼續調整FPA 210的對焦。例如先取得第一圖像，然後設定使調焦機構230以第一方式改變聚焦面組合210的對焦，再取得第二圖像，經由前述運算後若發現第一對焦數大於第二對焦數，表示調焦方向正確，繼續以相同方式調整使第二對焦數達到一預定值，即可判斷調焦完整，自動對焦流程結束。若發現第二對焦數大於第一對焦數，則判斷當前對焦方法造成反效果，須改以相反方式調焦。此外，本發明提出之自動對焦方法只需要取得具有足夠邊緣信息的圖像即可判斷對焦數是否逐步 減小，無須使用包含特定圖像的兩張圖像，換言之，不再需要遙測衛星20抵達特定位置來提供特定圖像。
本發明提出一種星上調焦後自動驗證機制，無需取得特定圖像，亦無需加裝照明裝置，可降低調焦模組複雜度與大幅降低調焦結果驗證時間。
20:遙測衛星
210:FPA
220:圖像處理區塊
230:調焦機構

Claims (3)

  1. 一種應用於遙測衛星的自動對焦方法，該遙測衛星具有至少一聚焦面組合以及一調焦機構，該自動對焦方法包括：對該聚焦面組合取得的一第一圖像中的複數個區域進行點擴散函數估算，以產生複數個第一估計點擴散函數；根據該些第一估計點擴散函數產生一第一平均點擴散函數；對該第一平均點擴散函數做高斯函數的曲線擬合，定義出該第一圖像的第一對焦數；控制該調焦機構改變該聚焦面組合的對焦，以取得一第二圖像；對該第二圖像中的複數個區域進行點擴散函數估算，以產生複數個第二估計點擴散函數；根據該些第二估計點擴散函數產生一第二平均點擴散函數；對該第二平均點擴散函數做高斯函數的曲線擬合，定義出該第二圖像的第二對焦數；比較該第一對焦數及該第二對焦數，以判斷該第二圖像的對焦狀況是否優於該第一圖像，以及決定是否繼續調整該聚焦面組合的對焦；以及當該第二對焦數達到一預定值，結束自動對焦。
  2. 一種自動對焦方法，包括：對一第一圖像中的複數個區域進行點擴散函數估算，以產生複數個第一估計點擴散函數；根據該些第一估計點擴散函數產生一第一平均點擴散函數；對該第一平均點擴散函數做高斯函數的曲線擬合，定義出該第一圖像的第一對焦數；對一第二圖像中的複數個區域進行點擴散函數估算，以產生複數個第二估計點擴散函數；根據該些第二估計點擴散函數產生一第二平均點擴散函數；對該第二平均點擴散函數做高斯函數的曲線擬合，定義出該第二圖像的第二對焦數；比較該第一對焦數及該第二對焦數，以判斷該第二圖像的對焦狀況是否優於該第一圖像；以及當該第二對焦數達到一預定值，結束自動對焦。
  3. 一種遙測衛星，包括：一聚焦面組合，用來收集一第一圖像及一第二圖像；一圖像處理區塊，耦接該聚焦面組合，執行下列步驟：對該第一圖像中的複數個區域進行點擴散函數估算，以產生複數個第一估計點擴散函數；根據該些第一估計點擴散函數產生一第一平均點擴散函數；對該第一平均點擴散函數做高斯函數的曲線擬合，定義出該第 一圖像的第一對焦數；對該第二圖像中的複數個區域進行點擴散函數估算，以產生複數個第二估計點擴散函數；根據該些第二估計點擴散函數產生一第二平均點擴散函數；對該第二平均點擴散函數做高斯函數的曲線擬合，定義出該第二圖像的第二對焦數；比較該第一對焦數及該第二對焦數，產生一對焦狀況的判斷結果；一調焦機構，耦接該聚焦面組合及該圖像處理區塊，根據該判斷結果調整該聚焦面組合的對焦；以及當該第二對焦數達到一預定值，結束自動對焦；其中，該調焦機構改變該聚焦面組合的對焦，以使該第一圖像及該第二圖像具有不同的對焦。
TW109118345A 2020-06-01 2020-06-01 應用於遙測衛星的自動對焦方法及該遙測衛星 TWI782280B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW109118345A TWI782280B (zh) 2020-06-01 2020-06-01 應用於遙測衛星的自動對焦方法及該遙測衛星
US17/332,591 US11431888B2 (en) 2020-06-01 2021-05-27 Auto-focus method for a remote sensing satellite and the satellite therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109118345A TWI782280B (zh) 2020-06-01 2020-06-01 應用於遙測衛星的自動對焦方法及該遙測衛星

Publications (2)

Publication Number Publication Date
TW202147257A TW202147257A (zh) 2021-12-16
TWI782280B true TWI782280B (zh) 2022-11-01

Family

ID=78707059

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109118345A TWI782280B (zh) 2020-06-01 2020-06-01 應用於遙測衛星的自動對焦方法及該遙測衛星

Country Status (2)

Country Link
US (1) US11431888B2 (zh)
TW (1) TWI782280B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201326755A (zh) * 2011-12-29 2013-07-01 Ind Tech Res Inst 測距裝置、測距方法及互動式顯示系統
CN106255990A (zh) * 2014-06-02 2016-12-21 英特尔公司 用于相机阵列的图像重对焦
TW201809778A (zh) * 2016-08-24 2018-03-16 由田新技股份有限公司 自動對焦系統、方法及影像檢測儀器

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6151415A (en) * 1998-12-14 2000-11-21 Intel Corporation Auto-focusing algorithm using discrete wavelet transform
US7711201B2 (en) * 2006-06-22 2010-05-04 Sony Corporation Method of and apparatus for generating a depth map utilized in autofocusing
US8203602B2 (en) * 2009-02-06 2012-06-19 Robert Bosch Gmbh Depth-aware blur kernel estimation method for iris deblurring
US8294811B2 (en) * 2009-08-04 2012-10-23 Aptina Imaging Corporation Auto-focusing techniques based on statistical blur estimation and associated systems and methods
JP5780865B2 (ja) * 2011-07-14 2015-09-16 キヤノン株式会社 画像処理装置、撮像システム、画像処理システム
JP7123884B2 (ja) * 2019-09-12 2022-08-23 株式会社東芝 撮像装置、方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201326755A (zh) * 2011-12-29 2013-07-01 Ind Tech Res Inst 測距裝置、測距方法及互動式顯示系統
CN106255990A (zh) * 2014-06-02 2016-12-21 英特尔公司 用于相机阵列的图像重对焦
TW201809778A (zh) * 2016-08-24 2018-03-16 由田新技股份有限公司 自動對焦系統、方法及影像檢測儀器

Also Published As

Publication number Publication date
US20210377439A1 (en) 2021-12-02
US11431888B2 (en) 2022-08-30
TW202147257A (zh) 2021-12-16

Similar Documents

Publication Publication Date Title
US9161010B2 (en) System and method for generating robust depth maps utilizing a multi-resolution procedure
US9531938B2 (en) Image-capturing apparatus
US7801432B2 (en) Imaging apparatus and method for controlling the same
US8040399B2 (en) System and method for effectively optimizing zoom settings in a digital camera
US8587671B2 (en) Digital image processing apparatus, an image processing method, and a recording medium storing the image processing method for obtaining an out-of-focus image by using a plurality of images
JP5988068B2 (ja) 適応的カーネルを利用することにより深度推定を実行するためのシステム及び方法
KR101076027B1 (ko) Ｄｉｒｃｍ 용 적외선 카메라의 영상 기반 오프셋 보정 장치 및 방법
JP6128109B2 (ja) 撮影装置、撮影方向の制御方法及びプログラム
US20080080848A1 (en) Camera focusing system and method thereof
US9262833B2 (en) Methodology for performing depth estimation with defocused images under extreme lighting conditions
KR101653272B1 (ko) 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체
TWI782280B (zh) 應用於遙測衛星的自動對焦方法及該遙測衛星
JP2008058546A (ja) 検出装置、補正装置、カメラ、及びプログラム
US10264164B2 (en) System and method of correcting imaging errors for a telescope by referencing a field of view of the telescope
US9020280B2 (en) System and method for evaluating focus direction under various lighting conditions
JP2023057119A (ja) 傾斜推定システム、傾斜推定方法、傾斜推定プログラム、半導体検査システム及び生体観察システム
WO2019188934A1 (ja) 撮像装置、撮像方法、及びプログラム
CN102096174B (zh) 在低亮度场景执行自动对焦的***与方法
WO2021128600A1 (zh) 投影双向热失焦补偿的方法、装置及可读存储介质
JP2023035612A (ja) 推定装置、方法及びプログラム
TW201638622A (zh) 自動對焦方法及使用該自動對焦方法的影像擷取裝置
JP2004226729A (ja) 認証対象画像撮像装置
TWI395473B (zh) 在低亮度場景執行自動對焦之系統與方法
JP2020036091A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
WO2023106119A1 (ja) 制御装置、制御方法、情報処理装置、生成方法、およびプログラム