TW202147257A - 應用於遙測衛星的自動對焦方法及該遙測衛星 - Google Patents
應用於遙測衛星的自動對焦方法及該遙測衛星 Download PDFInfo
- Publication number
- TW202147257A TW202147257A TW109118345A TW109118345A TW202147257A TW 202147257 A TW202147257 A TW 202147257A TW 109118345 A TW109118345 A TW 109118345A TW 109118345 A TW109118345 A TW 109118345A TW 202147257 A TW202147257 A TW 202147257A
- Authority
- TW
- Taiwan
- Prior art keywords
- point spread
- image
- focus
- focusing
- spread function
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10148—Varying focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Geophysics And Detection Of Objects (AREA)
Abstract
應用於遙測衛星的自動對焦方法及該遙測衛星,該遙測衛星具有至少一聚焦面組合以及一調焦機構,該自動對焦方法包括:對該聚焦面組合取得的一第一圖像中的複數個區域進行點擴散函數估算,以產生複數個第一估計點擴散函數;根據該些估計點擴散函數產生一第一平均點擴散函數;對該第一平均點擴散函數做高斯函數的曲線擬合,定義出該第一影像的第一對焦數;控制該調焦機構改變該聚焦面組合的對焦,以取得一第二圖像;對該第二影像中的複數個區域進行點擴散函數估算,以產生複數個第二估計點擴散函數;根據該些第二估計點擴散函數產生一第二平均點擴散函數;對該第二平均點擴散函數做高斯函數的曲線擬合,定義出該第二影像的第二對焦數;以及比較該第一對焦數及該第二對焦數,以判斷該第二圖像的對焦狀況是否優於該第一圖像,以及決定是否繼續調整該調焦機構。
Description
本發明的目的在於提出一種自動對焦方法,特別是一種應用於遙測衛星的自動對焦方法及應用該對焦方法的遙測衛星。
在遙測衛星升空並抵達預定軌道開始繞行後,會開始執行任務例如拍攝地面收集影像,請參閱第一圖之習知架構示意圖,遙測衛星10上設置有聚焦面組合(Focal Plane Assembly,FPA)102,負責收集影像並回傳到地面12進行影像處理,然而,FPA 102在軌道上環境收集到的影像很可能與地面上調校地設定不同,而須加以補償,否則會因清晰度不足而無法完成任務。以往只能由地面人員根據收到的影像資料,去試著遠端調整遙測衛星10上的調焦機構104,來調整FPA 102的對焦。
然而,遙測衛星10在收集影像時往往有時間及地點的限制,造成調整FPA 102對焦的耗時費力。舉例來說,要判斷當前對焦狀況時,往往需拍攝一個特定目標,例如地面上的特定物體,才能利用包含該特定目標的影像資料來判斷對焦狀況。遙測衛星10需先將包含該特定目標的影像傳輸到地面12,地面的工作人員先試著發送調焦指令給調焦機構104以改變FPA 102的對焦,然後便須等待下一次拍攝到的影像資料,才能得知目前的對焦是否有改善(往正確方向進行),決定下一次的調整,但由
於地球及遙測衛星都按照各自的軌道運行,通常每次週期只能抵達同一位置一次,例如整整24小時,造成對焦調整後必須經過24小時才能再次拍攝,再根據回傳的地面影像判斷對焦調整的方向是否正確,並且重複這個過程,對焦調整過程非常費時。
本發明的目的之一,在於提出一種在星上即可完成,且無須針對特定圖像做取像即可進行的自動對焦方法。
本發明的目的之一,在於提出一種應用於遙測衛星的自動對焦方法及應用該對焦方法的遙測衛星。
根據本發明,一種應用於遙測衛星的自動對焦方法,該遙測衛星具有至少一聚焦面組合以及一調焦機構,該自動對焦方法包括:對該聚焦面組合取得的一第一圖像中的複數個區域進行點擴散函數(Point Spread function,PSF)估算,以產生複數個第一估計點擴散函數;根據該些估計點擴散函數產生一第一平均點擴散函數;對該第一平均點擴散函數做高斯函數的曲線擬合,定義出該第一圖像的第一對焦數;控制該調焦機構改變該聚焦面組合的對焦狀況,以取得一第二圖像;對該第二影像中的複數個區域進行點擴散函數估算,以產生複數個第二估計點擴散函數;根據該些第二估計點擴散函數產生一第二平均點擴散函數;對該第二平均點擴散函數做高斯函數的曲線擬合,定義出該第二圖像的第二對焦數;以及比較該第一對焦數及該第二對焦數,以判斷該第二圖像的對焦狀況是否優於該第一圖像,以決定是否繼續調整FPA的對焦。
根據本發明,一種自動對焦方法及驗證方法,包括:對一第一圖像中的複數個區域進行點擴散函數估算,以產生複數個第一估計點擴散函數;根據該些第一估計點擴散函數產生一第一平均點擴散函數;對該平均點擴散函數做高斯函數的曲線擬合,定義出該第一圖像的第一對焦數;對一第二圖像中的複數個區域進行點擴散函數估算,以產生複數個第二估計點擴散函數;根據該些第二估計點擴散函數產生一第二平均點擴散函數;對該第二平均點擴散函數做高斯函數的曲線擬合,定義出該第二圖像的第二對焦數;以及比較該第一對焦數及該第二對焦數,以判斷該第二圖像的對焦狀況是否優於該第一影像。
本發明還提出一種遙測衛星,包括一聚焦面組合,用來收集一第一圖像及一第二圖像;一圖像處理區塊,耦接該聚焦面組合,執行下列步驟:對該第一影像中的複數個區域進行點擴散函數估算,以產生複數個第一估計點擴散函數;根據該些第一估計點擴散函數產生一第一平均點擴散函數;對該第一平均點擴散函數做高斯函數的曲線擬合,定義出該第一影像的第一對焦數;對該第二影像中的複數個區域進行點擴散函數估算,以產生複數個第二估計點擴散函數;根據該些第二估計點擴散函數產生一第二平均點擴散函數;該第二平均點擴散函數做高斯函數的曲線擬合,定義出該第二影像的第二對焦數;以及比較該第一對焦數及該第二對焦數,產生一對焦狀況的判斷結果;一調焦機構,耦接該聚焦面組合及該圖像處理區塊,根據該判斷結果調整該聚焦面組合的對焦。其中,該調焦機構改變該聚焦面組合的對焦,以使該第一圖像及該第二圖像具有不同的
對焦。
10:遙測衛星
102:FPA
104:調焦機構
12:影像處理(地面)
20:遙測衛星
210:FPA
220:圖像處理區塊
230:調焦機構
第一圖為習知遙測衛星的對焦及驗證架構示意圖;
第二圖為根據本發明一實施例的架構圖;
第三圖為本發明提出之自動對焦及驗證的流程圖;
第四圖為產生估計點擴散函數的示意圖。
第二圖為根據本發明一實施例的架構圖,遙測衛星20中設置有FPA 210、調焦機構230及星上的圖像處理區塊220,調焦機構230用來對FPA 210進行對焦調整,由於FPA 210的對焦通常是固定的,調焦機構230與一般的調焦裝置並不相同,在一實施例中,調焦機構230以加溫/降溫方式來改變FPA 230的對焦。圖像處理區塊220可以是硬體構成的演算電路,或是以軟體方式實現。由FPA 210收集到的圖像傳輸到影像處理區塊220,執行對焦及狀況的檢查。
第三圖為本發明提出之自動對焦的流程圖,包括步驟S301:對第一圖中的複數個區域進行點擴散函數估算,以產生複數個第一估計點擴散函數;步驟S302:根據第一估計點擴散函數產生第一平均點擴散函數;步驟303:對第一平均點擴散函數做高斯函數的曲線擬合,定義出第一圖像的第一對焦數;步驟S304:對第二圖像中的複數個區域進行PSF運算,以產生複數個第二估計點擴散函數;步驟S305:根據第二估計點擴散函數產生第
二平均點擴散函數;步驟S306:對第二平均點擴散函數做高斯函數的曲線擬合,定義出第二圖像的第二對焦數;以及步驟S307:比較第一對焦數及第二對焦數,以判斷該第二圖像的對焦狀況是否優於該第一圖像。
以下配合第二圖之硬體架構及第四圖之示意圖說明第三圖之流程。光學系統可被視作一平移不變系統,每一個位於物平面的點其所帶有的資訊在輸入光學系統皆受到相同的點擴散函數所作用,其點擴散函數並不會受到輸入物平面的點的位置改變而變化,稱之為平移不變特性。首先,圖像處理區塊220在FPA 210收集到的圖像中選擇包含足夠邊緣信息的幾個區域,如第四圖(a),進行點擴散函數估算,透過點擴散函數生成器第四圖(b)(例如Levin生成器、Fergus生成器等等),顯示出複數個來自不同區域的估計點擴散函數,即點擴散函數集,此點擴散函數集可以定義為
K={PSF|the PSF is estimated from different region}
生成點擴散函數的過程中會帶有隨機雜訊,為了消除隨機雜訊,採用估計出來的點擴散函數集的平均點擴散函數,公式如下
再對該平均點擴散函數做高斯函數的曲線擬合,可以得到高斯函數的x軸的標準差及y軸的標準差,如此可以定義出一個對焦數
F=max(σ x ,σ y )
而最佳的對焦的位置會有最小的對焦數,也就是找尋一個最小化問題
min F
經過前述運算,最後得到的值越小,表示當前對焦的狀況越好,系統便可根據運算產生出的值是否逐步降低,即步驟S307:比較兩張圖像運算得出的第一對焦數及第二對焦數,以判斷該第二圖像的對焦狀況是否優於該第一圖像,來判斷當前調焦方向是否正確,從而決定是否指示調焦機構230以相同方式繼續調整FPA 210的對焦。例如先取得第一圖像,然後設定使調焦機構230以第一方式改變聚焦面組合210的對焦,再取得第二圖像,經由前述運算後若發現第一對焦數大於第二對焦數,表示調焦方向正確,繼續以相同方式調整使第二對焦數達到一預定值,即可判斷調焦完整,自動對焦流程結束。若發現第二對焦數大於第一對焦數,則判斷當前對焦方法造成反效果,須改以相反方式調焦。此外,本發明提出之自動對焦方法只需要取得具有足夠邊緣信息的圖像即可判斷對焦數是否逐步減小,無須使用包含特定圖像的兩張圖像,換言之,不再需要遙測衛星20抵達特定位置來提供特定圖像。
本發明提出一種星上調焦後自動驗證機制,無需取得特定圖像,亦無需加裝照明裝置,可降低調焦模組複雜度與大幅降低調焦結果驗證時間。
20:遙測衛星
210:FPA
220:圖像處理區塊
230:調焦機構
Claims (3)
- 一種應用於遙測衛星的自動對焦方法,該遙測衛星具有至少一聚焦面組合以及一調焦機構,該自動對焦方法包括:對該聚焦面組合取得的一第一圖像中的複數個區域進行點擴散函數估算,以產生複數個第一估計點擴散函數;根據該些估計點擴散函數產生一第一平均點擴散函數;對該第一平均點擴散函數做高斯函數的曲線擬合,定義出該第一圖像的第一對焦數;控制該調焦機構改變該聚焦面組合的對焦,以取得一第二圖像;對該第二圖像中的複數個區域進行點擴散函數估算,以產生複數個第二估計點擴散函數;根據該些第二估計點擴散函數產生一第二平均點擴散函數;對該第二平均點擴散函數做高斯函數的曲線擬合,定義出該第二圖像的第二對焦數;以及比較該第一對焦數及該第二對焦數,以判斷該第二圖像的對焦狀況是否優於該第一圖像,以及決定是否繼續調整該FPA的對焦。
- 一種自動對焦方法,包括:對一第一圖像中的複數個區域進行點擴散函數估算,以產生複數個第一估計點擴散函數;根據該些第一估計點擴散函數產生一第一平均點擴散函數;對該第一平均點擴散函數做高斯函數的曲線擬合,定義出該第一圖像的第一對焦數;對一第二圖中的複數個區域進行點擴散函數估算,以產生複數個第二估計點擴散函數;根據該些第二估計點擴散函數產生一第二平均點擴散函數;對該第二平均點擴散函數做高斯函數的曲線擬合,定義出該第二圖像的第二對焦數;以及比較該第一對焦數及該第二對焦數,以判斷該第二圖像的對焦狀況是否優於該第一圖像。
- 一種遙測衛星,包括:一聚焦面組合,用來收集一第一圖像及一第二圖像;一圖像處理區塊,耦接該聚焦面組合,執行下列步驟:對該第一影像中的複數個區域進行點擴散函數估算,以產生複數個第一估計點擴散函數;根據該些第一估計點擴散函數產生一第一平均點擴散函數;對該第一平均點擴散函數做高斯函數的曲線擬合,定義出該第一影像的第一對焦數;對該第二影像中的複數個區域進行點擴散函數估算,以產生複數個第二估計點擴散函數;根據該些第二估計點擴散函數產生一第二平均點擴散函數;對該第二平均點擴散函數做高斯函數的曲線擬合,定義出該第二影像的第二對焦數;以及比較該第一對焦數及該第二對焦數,產生一對焦狀況的判斷結果;一調焦機構,耦接該聚焦面組合及該圖像處理區塊,根據該判斷結果調整該聚焦面組合的對焦;其中,該調焦機構改變該聚焦面組合的對焦,以使該第一圖像及該第二圖像具有不同的對焦。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW109118345A TWI782280B (zh) | 2020-06-01 | 2020-06-01 | 應用於遙測衛星的自動對焦方法及該遙測衛星 |
US17/332,591 US11431888B2 (en) | 2020-06-01 | 2021-05-27 | Auto-focus method for a remote sensing satellite and the satellite therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW109118345A TWI782280B (zh) | 2020-06-01 | 2020-06-01 | 應用於遙測衛星的自動對焦方法及該遙測衛星 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202147257A true TW202147257A (zh) | 2021-12-16 |
TWI782280B TWI782280B (zh) | 2022-11-01 |
Family
ID=78707059
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW109118345A TWI782280B (zh) | 2020-06-01 | 2020-06-01 | 應用於遙測衛星的自動對焦方法及該遙測衛星 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11431888B2 (zh) |
TW (1) | TWI782280B (zh) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6151415A (en) * | 1998-12-14 | 2000-11-21 | Intel Corporation | Auto-focusing algorithm using discrete wavelet transform |
US7711201B2 (en) * | 2006-06-22 | 2010-05-04 | Sony Corporation | Method of and apparatus for generating a depth map utilized in autofocusing |
US8203602B2 (en) * | 2009-02-06 | 2012-06-19 | Robert Bosch Gmbh | Depth-aware blur kernel estimation method for iris deblurring |
US8294811B2 (en) * | 2009-08-04 | 2012-10-23 | Aptina Imaging Corporation | Auto-focusing techniques based on statistical blur estimation and associated systems and methods |
JP5780865B2 (ja) * | 2011-07-14 | 2015-09-16 | キヤノン株式会社 | 画像処理装置、撮像システム、画像処理システム |
TW201326755A (zh) * | 2011-12-29 | 2013-07-01 | Ind Tech Res Inst | 測距裝置、測距方法及互動式顯示系統 |
US9712720B2 (en) * | 2014-06-02 | 2017-07-18 | Intel Corporation | Image refocusing for camera arrays |
TWI607253B (zh) * | 2016-08-24 | 2017-12-01 | 由田新技股份有限公司 | 自動對焦系統、方法及影像檢測儀器 |
JP7123884B2 (ja) * | 2019-09-12 | 2022-08-23 | 株式会社東芝 | 撮像装置、方法及びプログラム |
-
2020
- 2020-06-01 TW TW109118345A patent/TWI782280B/zh active
-
2021
- 2021-05-27 US US17/332,591 patent/US11431888B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
TWI782280B (zh) | 2022-11-01 |
US20210377439A1 (en) | 2021-12-02 |
US11431888B2 (en) | 2022-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018201809A1 (zh) | 基于双摄像头的图像处理装置及方法 | |
JP5154392B2 (ja) | 撮像装置 | |
JP5398156B2 (ja) | ホワイトバランス制御装置およびその制御方法並びに撮像装置 | |
US9531938B2 (en) | Image-capturing apparatus | |
US9208570B2 (en) | System and method for performing depth estimation by utilizing an adaptive kernel | |
JP6906947B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびコンピュータのプログラム | |
KR20110056098A (ko) | P s f를 추정하기 위한 장치 및 방법 | |
JP6128109B2 (ja) | 撮影装置、撮影方向の制御方法及びプログラム | |
US9007471B2 (en) | Digital photographing apparatus, method for controlling the same, and computer-readable medium | |
US9262833B2 (en) | Methodology for performing depth estimation with defocused images under extreme lighting conditions | |
US9020280B2 (en) | System and method for evaluating focus direction under various lighting conditions | |
TW202147257A (zh) | 應用於遙測衛星的自動對焦方法及該遙測衛星 | |
JP2005258953A (ja) | 魚眼カメラ、及び魚眼カメラにおけるキャリブレーション方法 | |
JP2011145766A (ja) | 画像処理装置、画像表示システム、および画像処理方法 | |
CN1509068B (zh) | 图像处理***及方法 | |
WO2021128600A1 (zh) | 投影双向热失焦补偿的方法、装置及可读存储介质 | |
JP2001119622A (ja) | 撮像装置及びその制御方法 | |
EP3605450B1 (en) | Image processing apparatus, image pickup apparatus, control method of image processing apparatus, and computer-program | |
JP2020036091A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP6433154B2 (ja) | 画像処理装置および撮像装置 | |
WO2023106119A1 (ja) | 制御装置、制御方法、情報処理装置、生成方法、およびプログラム | |
JP2000330008A (ja) | 自動焦点調節装置 | |
CN111683195B (zh) | 一种摄像装置及其控制方法 | |
JP6161461B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP6548409B2 (ja) | 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置 |