TWI489101B - 結合三維及二維形貌之量測方法及裝置 - Google Patents

Description

結合三維及二維形貌之量測方法及裝置

本揭露是有關於一種量測方法及裝置，且特別是有關於一種結合三維及二維形貌之量測方法及裝置。

傳統上，積體電路(integrated circuit,IC)封裝機械視覺檢測包括二維檢測及三維形貌量測，其中IC正面以二維檢測及二維形貌/尺寸量測為主；IC底部則需量測三維IC接腳共面度、接腳二維尺度以及缺陷檢測。

然而，目前的量測技術通常需要透過兩組(或以上)不同的光源對物體進行多次掃描，以分別得到物體的2D及3D量測結果。如此不僅耗費量測時間，還會增加機具成本，更會導致過多的資料傳輸頻寬被占用。

因此，如何提供一種可有效結合三維及二維形貌之量測方法及裝置，乃目前業界所致力的課題之一。

本揭露係有關於一種結合三維及二維形貌之量測方法及裝置，其藉由單一次多線掃描即可建立物體之三維及二維形 貌，以達到快速量測之效果。

根據本揭露之一實施例，提出一種量測方法，用以量測物體之三維及二維形貌，此物體之表面具有多個物點(object point)。此量測方法包括以下步驟。首先，經由投射裝置，將條紋圖案投射至物體表面。接著，藉由多線光電取像系統，接收並儲存多線影像。之後，物體與相移裝置系統做相對移動，以透過多線光電取像系統擷取多張相位光強影像，相移裝置系統包括投射裝置及多線光電取像系統。然後，依據相位光強影像決定物點之相位值，並透過三角幾何關係將相位值轉換為物點所對應之高度，以產生物體之三維形貌。以及，依據相位光強影像重建無相位變化之物體影像，無相位變化之物體影像係呈現物體之二維形貌尺寸。

根據本揭露之一實施例，提出一種量測裝置，用以量測一物體之三維及二維形貌，此物體之表面具有多個物點。此量測裝置包括相移裝置系統以及影像處理單元。相移裝置系統包括投射裝置及多線光電取像系統。投射裝置用以將條紋圖案投射至物體之表面。多線光電取像系統用以接收並儲存多線影像。其中，物體與相移裝置系統做相對移動，以透過多線光電取像系統擷取多張相位光強影像。影像處理單元用以依據相位光強影像決定物點之相位值，並透過三角幾何關係將相位值轉換為物點所對應之高度，以產生物體之三維形貌。影像處理單元並依據相位光強影像重建無相位變化之物體影像，此無相位變化之物體影像係 呈現物體之二維形貌尺寸。

為了對本揭露之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式，作詳細說明如下：

10‧‧‧物體

100‧‧‧量測裝置

102‧‧‧相移裝置系統

104‧‧‧影像處理單元

106‧‧‧投射裝置

108‧‧‧多線光電取像系統

110‧‧‧掃描載體

200‧‧‧量測方法

202、204、206、208、210‧‧‧步驟

L1‧‧‧第一取像線

L2‧‧‧第二取像線

L3‧‧‧第三取像線

O1~O5‧‧‧物點

PL‧‧‧條紋光線

RP‧‧‧參考平面

A、A’、B、C、C’、D、O‧‧‧點

θ₀ 、θ_n ‧‧‧角度

d₀ ‧‧‧有效波長為

502、504、506、508‧‧‧影像

第1圖繪示依據本揭露之一實施例之量測裝置之方塊圖。

第2圖繪示依據本揭露之一實施例之量測方法之流程圖。

第3A圖至第3C圖繪示相移裝置系統之掃描機制示意圖。

第4圖繪示投影裝置所投影之條紋光線與物體之高度之幾何關係示意圖。

第5圖繪示重建無相位變化之物體影像之示意圖。

以下係提出實施例進行詳細說明，實施例僅用以作為範例說明，並不會限縮本揭露欲保護之範圍。此外，實施例中之圖式係省略不必要之元件，以清楚顯示本揭露之技術特點。

請同時參考第1圖及第2圖。第1圖繪示依據本揭露之一實施例之量測裝置100之方塊圖。第2圖繪示依據本揭露之一實施例之量測方法200之流程圖。量測裝置100用以量測物體10之三維及二維形貌，其包括相移裝置系統102以及影像處理單元104。相移裝置系統102包括投射裝置106及多線光電取像系統108。投射裝置106例如是光柵投射器或其他結構光(structured light)源。多線光電取像系統108例如是三線感光耦合 式(Charge Coupled Device，CCD)相機或其他多線CCD相機。影像處理單元104例如是積體電路或其他具運算能力的處理器。

首先，在步驟202中，投射裝置106將條紋圖案投射至物體10之表面，此物體10之表面上定義有多個物點(object point)。

接著，在步驟204中，多線光電取像系統108接收並儲存多線影像。

之後，在步驟206中，物體與相移裝置系統做相對移動，以透過多線光電取像系統108擷取多張相位光強影像。

然後，在步驟208中，影像處理單元104依據相位光強影像決定物點之相位值，並透過三角幾何關係將相位值轉換為物點所對應之高度，以產生物體10之三維形貌。

在步驟210中，影像處理單元104更依據相位光強影像重建無相位變化之物體影像。此無相位變化之物體影像係呈現物體10之二維形貌尺寸。可以理解的是，雖然第2圖中步驟208以及210係先後被執行，但在其它例子中，步驟S208以及S210之執行順序可以互換，或者同時被執行。

在取得無相位變化之物體影像後，影像處理單元104可進一步將無相位變化之物體影像之部分或全部與一預設物體圖樣進行比對以檢測物體10之表面形貌、尺寸或缺陷。預設物體圖樣例如是物體10之部分或全部在無缺陷時的工程圖樣。舉例來說，假設經比對後發現無相位變化之物體影像存有相異於 此預設物體圖樣之部分，影像處理單元104則可依該相異部分之特徵判斷出物體10之表面缺陷(例如刻痕、凹陷、斷線圖樣等)。

類似地，本揭露一實施例在測得物體10之三維形貌後，影像處理單元104可進一步將此三維形貌之部分或全部與一預設物體形貌進行比對，以檢測物體10之形貌、尺寸或缺陷。舉例來說，假設經掃描產生的物體三維形貌具有一黑塊，然而此黑塊並不存在於相應之預設物體形貌之中，此時影像處理單元104可判斷物體10之表面於該黑塊處具有缺陷(例如表面凹陷)。

依據上述，本揭露實施例之量測方法及裝置可透過所擷取之多張相位光強影像產生物體10之三維形貌，亦可透過此些相位光強影像建立物體10之二維形貌尺寸，故可進行量測以進行物體之形貌、尺寸或缺陷分析。

在一實施例中，投射裝置106可將一結構光(structured light)投射至物體10之表面以形成條紋圖案，此結構光之光強度係隨位置的不同而作正弦強度變化。條紋圖案例如為條紋式正弦強度變化之圖案、正弦強度變化之圖案或由疊紋所形成之圖案。由於投影至物體10之表面的條紋圖樣會因為其表面的高低起伏而產生變形，故可由條紋圖樣的偏移量求得物體10之高度。此外，將物體10與相移裝置系統102作相對直線移動以進行掃描，可擷取多張不同之相位光強影像。如第1圖所示，待測物體10係放置於掃描載體110之上。掃描載體110可在相移裝置系統102為固定的情況下做相對於相移裝置系統102之直線 移動(例如沿第1圖中的X軸方向移動)，使物體10之至少一物點被相移裝置系統102掃描。然本揭露並不以此為限，物體10亦可置於固定之掃描載體110，而相移裝置系統102係做相對於掃描載體110之直線移動。為清楚說明相移裝置系統102之掃描機制，茲輔以第3A至第3C圖做說明。

如第3A圖所示，多線光電取像系統108透過第一取像線L1、第二取像線L2以及第三取像線L3分別對物體10上的物點O3、物點O2以及物點O1作取像。接著，如第3B圖所示，在下一時間點中，物體10沿著掃描方向移動1個單位，使得第一取像線L1、第二取像線L2以及第三取像線L3分別對物體10上的物點O4、物點O3以及物點O2作取像。之後，如第3C圖所示，在下一個時間點中，物體10再沿著掃描方向移動1個單位，使得第一取像線L1、第二取像線L2以及第三取像線L3分別對物體10上的物點O5、物點O4以及物點O3作取像。

執行上述過程直到完成對物體10之所有物點之掃描，至少一物點會被取像3次。因此，當相移裝置系統102對物體10完成單一次掃描，多線光電取像系統108即可依序擷取到3張具有等相移量的相位光強影像I₁ 、I₂ 以及I₃ 。換言之，當相移裝置系統102與物體10做單次的直線相對移動，多線光電取像系統108即可回應於此單次的直線相對移動依序地擷取對應於物體10之多張相位光強影像。然本揭露並不限於此，相移裝置系統102亦可與物體10做多次的直線相對移動，並透過多線光電 取像系統108擷取多張相位光強影像。在此例子中，相位光強影像I₁ 、I₂ 以及I₃ 裡對應各物點的光強值可表示為

上式中(x,y)代表物點的位置，I₀ (x,y)代表影像背景光強，A(x,y)代表影像中結構光振福，φ(x,y)代表物點之相位值。整理上述表示式後，可得

然本揭露並不以上述例示為限，多線光電取像系統108亦可擷取更多張具有等相移量的相位光強影像。此等相移量可表示為

其中n代表多線光電取像系統108所擷取的相位光強影像張數。

以擷取4張相位光強影像I₁ 、I₂ 、I₃ 以及I₄ 為例，此些相位光強影像I₁ 、I₂ 、I₃ 以及I₄ 中對應各物點的光強值可表示為

整理上述表示式後，可得

又，以擷取5張相位光強影像I₁ 、I₂ 、I₃ 、I₄ 以及I₅ 為例，此些相位光強影像I₁ 、I₂ 、I₃ 、I₄ 以及I₅ 中對應各物點的光強值可表示為

整理上述表示式後，可得

在取得各物點之相位值φ(x,y)後，影像處理單元104即可依據三角幾何關係將此些物點所對應之相位值φ(x,y)轉換成此些物點所對應之高度，進而建立出物體10之三維形貌。另一方面，影像處理單元104亦可依據多線光電取像系統108所擷取之相位光強影像以重建無相位變化之物體影像。為清楚說明，茲分別針對(1)建立三維形貌以及(2)重建無相位變化之物體影像作說明。

(1)建立三維形貌

請參考第4圖，其繪示投影裝置106所投影之條紋光線PL與物體10之高度之幾何關係示意圖。其中，條紋光線PL之有效波長為d₀ 。如第4圖所示，點A、B、C、O為參考平面RP上的點，而點B至點D之直線距離為對應於物體10於點D處之物體高度。假設多線光電取像系統108擷取來自參考平面RP上點A之光線，其相應之成像位置為點A’。不過由於物體10之高度變化，使多線光電取像系統108實際上是擷取來自點D之光線，其相應之成像位置為點C’。因此，點A’至點C’之條紋偏移量係可對應至物體10在點D處之高度(即點B至點D之直線距離)。經由三角幾何關係的轉換，可得點B至點D之直線距離(即)如下：

其中代表條紋偏移量，θ₀ 代表條紋光線PL之投射角度，θ_n 代表多線光電取像系統108之影像擷取角度，φ_A 代表之點A之條紋相位，φ_B 代表之點B之條紋相位。因此，本揭露實施例之量測方法及裝置可藉由相位值資訊以及三角幾何關係轉換，有效地計算出物體之三維形貌。

(2)重建無相位變化之物體影像

請參考第5圖，其繪示重建無相位變化之物體影像之示意圖。在第5圖中，影像502、504、506分別代表多線光電取像系統108在一次掃描中所擷取之3張相位光強影像(為方便說明，故影像502、504、506皆僅以4個像素表示)，影像508代表 依據影像502、504、506以最大光強法所建立之無相位變化之物體影像。如第5圖所示，相位光強影像502之4個像素之光強值分別為20、55、28、78；相位光強影像504之4個像素之光強值分別為80、102、95、65；相位光強影像506之4個像素之光強值分別為110、90、100、67。為建立無相位變化之物體影像(即影像508)，影像處理單元104比較影像502、504、506中具有相同影像位置之像素之光強值，並選擇當中的最大光強值作為無相位變化之物體影像中於相同影像位置之像素之光強值。舉例來說，由於影像502、504、506之左上像素之光強值分別為20、80、110，當中最大光強值為110，因此，影像處理單元104係設定影像508之左上像素之光強值為110。同理，由於影像502、504、506之右上像素之光強值分別為55、102、90，當中最大光強值為102，因此，影像處理單元104係設定影像508之左上像素之光強值為102。以此類推。如此一來，多張不同的相位光強影像可被重建成一張無相位變化之物體影像。此無相位變化之物體影像係呈現物體之二維形貌尺寸，並可作為物體的形貌、尺寸或缺陷分析。

在另一例子中，無相位變化之物體影像可透過影像平均法來建立。進一步說，影像處理單元104可對相位光強影像中具有相同影像位置之像素之光強值做平均以產生一平均光強值，並以此平均光強值作為無相位變化之物體影像中於此相同影像位置之像素之光強值。以第5圖為例，由於影像502、504、506 之左上像素之光強值分別為20、80、110，其平均值為70，因此，影像處理單元104係設定無相位變化之物體影像之左上像素之光強值為70。同理，由於影像502、504、506之右上像素之光強值分別為55、102、90，其平均值約為82，因此，影像處理單元104係設定無相位變化之物體影像之左上像素之光強值為102。以此類推。

在另一例子中，無相位變化之物體影像可透過高動態範圍(High Dynamic Range,HDR)顯示技術來建立。進一步說，由於多線光電取像系統108所擷取之多張相位光強影像可分別視為代表各像素不同光強(對應曝光時間)大小之影像，故可將各像素不同光強大小之影像還原成高動態範圍影像，以作為無相位變化之物體影像。在此例中，無相位變化之物體影像之像素之像素值可表示為Z _ij =f (E _i △t _j )

其中下標i代表像素位置索引值，下標j代表曝光時間索引值。

接著，對像素值Z_ij 作反函數轉換後可得f ^-1 (Z _ij )=E _i △t _j

接著，對上式取自然對數可得lnf ^-1 (Z _ij )=lnE _i +ln △t _j

如此一來，即可得到還原成高動態範圍影像之像素值如下：g (Z _ij )=lnE _i +ln △t _j

因此，影像處理單元104可依據各張相位光強影像之像素所對應之光強值，將此些相位光強影像轉換為一高動態範圍二維影像以作為無相位變化之物體影像。

綜合以上，本揭露實施例之量測方法及裝置可透過所擷取之多張相位光強影像建立物體之三維形貌以及重建物體之二維形貌尺寸，故可進行量測以進行物體之形貌、尺寸或缺陷分析。

雖然本揭露已以實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。

200‧‧‧量測方法

202、204、206、208、210‧‧‧步驟

Claims (20)

1. 一種量測方法，用以量測一物體之三維及二維形貌，該物體之表面具有複數個物點(object point)，該量測方法包括：經由一投射裝置，將一條紋圖案投射至該物體之表面；藉由一多線光電取像系統，接收並儲存一多線影像；使物體與一相移裝置系統做相對移動，以透過該多線光電取像系統擷取多張相位光強影像，該相移裝置系統包括該投射裝置以及該多線光電取像系統；依據該些相位光強影像決定該些物點之相位值，並透過三角幾何關係將該些相位值轉換為該些物點所對應之高度，以產生該物體之三維形貌；以及依據該些相位光強影像重建一無相位變化之物體影像，該無相位變化之物體影像係呈現該物體之二維形貌尺寸。
2. 如申請專利範圍第1項所述之量測方法，更包括：將該無相位變化之物體影像之部分或全部與一預設物體圖樣進行比對，以檢測該物體之表面形貌、尺寸或缺陷。
3. 如申請專利範圍第1項所述之量測方法，其中該將該條紋圖案投射至該物體之表面之步驟包括：將一結構光(structured light)投射至該物體之表面以形成該條紋圖案，該結構光之光強度係隨位置的不同而作正弦強度變化。
4. 如申請專利範圍第3項所述之量測方法，其中該條紋圖案 為一條紋式正弦強度變化之圖案、一正弦強度變化之圖案或一由疊紋所形成之圖案。
5. 如申請專利範圍第1項所述之量測方法，其中該多線光電取像系統係一多線感光耦合式(Charge Coupled Device，CCD)相機。
6. 如申請專利範圍第1項所述之量測方法，其中該擷取該些相位光強影像之步驟包括：該相移裝置系統與該物體做單次的直線相對移動；以及回應於該單次的直線相對移動，透過該多線光電取像系統依序擷取對應於該物體之該些相位光強影像。
7. 如申請專利範圍第6項所述之量測方法，其中在該單次的直線相對移動過程中所依序擷取之該些相位光強影像具有相等的相移量。
8. 如申請專利範圍第1項所述之量測方法，其中該些相位光強影像分別包括複數個像素，該些像素分別對應一光強值，該重建該無相位變化之物體影像之步驟包括：依據各該相位光強影像之該些像素所對應之光強值，將該些相位光強影像轉換為一高動態範圍(high dynamic range)二維影像以作為該無相位變化之物體影像。
9. 如申請專利範圍第1項所述之量測方法，其中該些相位光強影像分別包括複數個像素，該些像素分別對應一光強值以及一影像位置，該重建該無相位變化之物體影像之步驟包括： 比較該些相位光強影像中具有相同影像位置之像素之光強值，並選擇當中的最大光強值作為該無相位變化之物體影像中於該相同影像位置之像素之光強值。
10. 如申請專利範圍第1項所述之量測方法，其中該些相位光強影像分別包括複數個像素，該些像素分別對應一光強值以及一影像位置，該重建該無相位變化之物體影像之步驟包括：對該些相位光強影像中具有相同影像位置之像素之光強值做平均以產生一平均光強值，並以該平均光強值作為該無相位變化之物體影像中於該相同影像位置之像素之光強值。
11. 一種量測裝置，用以量測一物體之三維及二維形貌，該物體之表面具有複數個物點(object point)，該量測裝置包括：一相移裝置系統，包括：一投射裝置，用以將一條紋圖案投射至該物體之表面；及一多線光電取像系統，用以接收並儲存一多線影像，其中該物體與該相移裝置系統做相對移動，以透過該多線光電取像系統擷取多張相位光強影像；以及一影像處理單元，用以依據該些相位光強影像決定該些物點之相位值，並透過三角幾何關係將該些相位值轉換為該些物點所對應之高度，以產生該物體之三維形貌，以及依據該些相位光強影像重建一無相位變化之物體影像，該無相位變化之物體影像係呈現該物體之二維形貌尺寸。
12. 如申請專利範圍第11項所述之量測裝置，其中該影像處理單元將該無相位變化之物體影像之部分或全部與一預設物體圖樣進行比對，以檢測該物體之表面形貌、尺寸或缺陷。
13. 如申請專利範圍第11項所述之量測裝置，其中該投射裝置將一結構光(structured light)投射至該物體之表面以形成該條紋圖案，該結構光之光強度係隨位置的不同而作正弦強度變化。
14. 如申請專利範圍第13項所述之量測裝置，其中該條紋圖案為一條紋式正弦強度變化之圖案、一正弦強度變化之圖案或一由疊紋所形成之圖案。
15. 如申請專利範圍第11項所述之量測裝置，其中該多線光電取像系統係一多線感光耦合式(Charge Coupled Device，CCD)相機。
16. 如申請專利範圍第11項所述之量測裝置，其中該相移裝置系統與該物體做單次的直線相對移動，該多線光電取像系統回應於該單次的直線相對移動依序擷取對應於該物體之該些相位光強影像。
17. 如申請專利範圍第16項所述之量測裝置，其中在該單次的直線相對移動過程中所依序擷取之該些相位光強影像具有相等的相移量。
18. 如申請專利範圍第11項所述之量測裝置，其中該些相位光強影像分別包括複數個像素，該些像素分別對應一光強值，該影像處理單元依據各該相位光強影像之該些像素所對應之光強 值，將該些相位光強影像轉換為一高動態範圍(high dynamic range)二維影像以作為該無相位變化之物體影像。
19. 如申請專利範圍第11項所述之量測裝置，其中該些相位光強影像分別包括複數個像素，該些像素分別對應一光強值以及一影像位置，該影像處理單元比較該些相位光強影像中具有相同影像位置之像素之光強值，並選擇當中的最大光強值作為該無相位變化之物體影像中於該相同影像位置之像素之光強值。
20. 如申請專利範圍第11項所述之量測裝置，其中該些相位光強影像分別包括複數個像素，該些像素分別對應一光強值以及一影像位置，該影像處理單元對該些相位光強影像中具有相同影像位置之像素之光強值做平均以產生一平均光強值，並以該平均光強值作為該無相位變化之物體影像中於該相同影像位置之像素之光強值。