TWI464367B - 主動式影像擷取之光學系統及光學方法 - Google Patents

主動式影像擷取之光學系統及光學方法 Download PDF

Info

Publication number
TWI464367B
TWI464367B TW102126305A TW102126305A TWI464367B TW I464367 B TWI464367 B TW I464367B TW 102126305 A TW102126305 A TW 102126305A TW 102126305 A TW102126305 A TW 102126305A TW I464367 B TWI464367 B TW I464367B
Authority
TW
Taiwan
Prior art keywords
light
unit
capturing
processing unit
light emitting
Prior art date
Application number
TW102126305A
Other languages
English (en)
Other versions
TW201504592A (zh
Inventor
Chung Hao Tien
Sheng Hsun Hsieh
Shao Hung Huang
Original Assignee
Univ Nat Chiao Tung
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Nat Chiao Tung filed Critical Univ Nat Chiao Tung
Priority to TW102126305A priority Critical patent/TWI464367B/zh
Priority to US14/152,641 priority patent/US20150029310A1/en
Application granted granted Critical
Publication of TWI464367B publication Critical patent/TWI464367B/zh
Publication of TW201504592A publication Critical patent/TW201504592A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects

Landscapes

  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

主動式影像擷取之光學系統及光學方法
本發明係關於計算機成像光學的技術領域，特別的是一種建立具有一深度資訊與一頻譜資訊的一物體模型的建立具有一深度資訊與一頻譜資訊的一物體模型及光學方法。
在習知技術中，藉由一計算機成像光學(亦稱為數位光學)技術擷取得一物體的一光場資訊，以建構一物體模型。該計算機成像光學係結合傳統的一成像光學系統與一數位影像處理技術。
在美國專利US5135309中，提出一種結構光編碼的光學方法，對一物體進行非接觸式的表面深度資訊擷取。在美國專利US7415151B2中，提出一種彩色結構光編碼擷取物體深度資訊與彩色影像之方法。在美國專利US2010/0073504中，係提出藉由控制發光二極體陣列開關調變照明頻譜與取像，而計算一物體表面反射頻譜的方法。然而，該等專利所提及的方法僅在一時間中，對該物體進行一次性的表面深度資訊擷取、色彩資訊擷取或頻譜影像擷取。雖該等方法能夠擷取到該物體的該光場資訊，但在擷取的過程中，會因為環境因素(例如色溫)而造成擷取該光場資訊的誤差。
有鑑於此，本發明提出一種主動式影像擷取之光學系統及光學方法，以解決習知技術的缺失。
本發明之一目的提供一種主動式影像擷取之光學系統，該光學系統包含一處理單元、一光發射單元與一擷取單元。藉由該處理單元所產生的複數調變訊號改變該光發射單元所產生的一第一光線的發光強度、頻譜分佈、發光波長與在該物體形成一圖樣之至少其一者，而該擷取單元擷取該第一光線在該物體所反射包含一光場資訊的一第二光線，以建立一物體模型。
本發明之另一目的提供一種主動式影像擷取之光學方法，供擷取一物體的一光場資訊以建立一物體模型。
為達到上述目的與其它目的，本發明提供一種主動式影像擷取之光學系統，供擷取一物體的一光場資訊以建立一物體模型，該光學系統包含一處理單元、一光發射單元與一擷取單元。該處理單元依序地產生複數個調變訊號與複數個同步訊號，每一該等調變訊號對應每一同步訊號。該光發射單元與該處理單元連接，該光發射單元藉由該等調變訊號調變一第一光線，並將調變後之該第一光線發射至該物體，而該第一光線在該物體反射一第二光線，其中該第二光線包含該物體之光場資訊。該擷取單元與該處理單元連接，該擷取單元藉由該等同步訊號，在每一調變訊號調變該第一光線的過程中，讓該擷取單元同步地擷取該第二光線以形成一影像。該處理單元執行一第一演算法計算複數個該影像與該等調變訊號以產生一演算結果，而該處理單元藉由該演算結果建立該物體模型。
為達到上述目的與其它目的，本發明提供一種主動式影像擷取之光學方法，供擷取一物體的一光場資訊以建立一物體模型，其中該主動式影像擷取光學系統包含一處理單元一光發射單元與一擷取單元，該主動式影像擷取 方法起始於步驟(a)，該處理單元依序地產生複數個調變訊號與產生複數同步訊號。步驟(b)，該等調變訊號被傳送至該光發射單元，以及該同步訊號被傳送至該擷取單元。步驟(c)，每一該等調變訊號調變該光發射單元產生的一第一光線，而該等調變訊號改變該第一光線的一發光強度、該第一光線的一發光波長、該第一光線的一頻譜分佈與該第一光線投射的圖樣之至少其中一者。步驟(d)，該等第一光線各作用在該待測物體，以讓每一該等第一光線反射一第二光線，其中該第二光線包含該物體之光場資訊。步驟(e)，該等同步訊號各驅動該擷取單元，讓該擷取單元在每一調變訊號調變該第一光線的過程中同步地擷取該第二光線以形成一影像。步驟(f)，該處理單元執行一第一演算法複數個該影像與該調變訊號以產生一演算結果。步驟(g)，該處理單元藉由該演算結果建立該物體模型。
2‧‧‧電源供應單元物體
10、10’‧‧‧光學系統
12‧‧‧處理單元
14、14’‧‧‧光發射單元
142‧‧‧發光二極體
16‧‧‧擷取單元
18‧‧‧量測單元
20‧‧‧標準色票
MS1 ‧‧‧第一調變訊號
MS2 ‧‧‧第二調變訊號
MS3 ‧‧‧第三調變訊號
SS1 ‧‧‧第一同步訊號
SS2 ‧‧‧第二同步訊號
SS3 ‧‧‧第三同步訊號
LB‧‧‧光線
LB1 ‧‧‧第一光線
LB2 ‧‧‧第二光線
LB3 ‧‧‧第三光線
θ,φ‧‧‧光場角度
θ1 ‧‧‧第一角度
θ2 ‧‧‧第二角度
IMG1 ‧‧‧第一影像
IMG2 ‧‧‧第二影像
IMG3 ‧‧‧第三影像
CR1 ‧‧‧第一顏色區域
CR2 ‧‧‧第二顏色區域
CR3 ‧‧‧第三顏色區域
第1圖係本發明第一實施例之主動式影像擷取之光學系統的系統示意圖。
第2圖說明第1圖中一物體的一光場資訊的示意圖。
第3a至3b圖說明第1圖中第一光線的頻譜分佈與圖樣示意圖。
第4圖係本發明第二實施例之主動式影像擷取之光學系統的系統示意圖。
第5圖係本發明一實施例之主動式影像擷取之光學方法的流程圖。
為充分瞭解本發明之目的、特徵及功效，茲藉由下述具體之實施例，並配合所附之圖式，對本發明做一詳細說明，說明如後：參考第1圖，係本發明第一實施例之主動式影像擷取之光學系統 的系統示意圖。於第1圖中，該光學系統10藉由擷取一物體2的一光場資訊以建立一物體模型。該光場資訊包含一光線LB在一三維空間中的一位置(x,y,z)與一光場角度(θ,φ)，如第2圖所示。該光場角度θ係該光線LB投影在x軸與y軸所形成的平面的分量與該y軸的夾角，以及該光場角度φ係該光線LB投影在x軸與z軸所形成的平面的分量與該x軸的夾角。
回到第1圖，該光學系統10包含一處理單元12、一光發射單元14與一擷取單元16。
在一時間中，該處理單元12依序地產生一第一調變訊號MS1 、一第二調變訊號MS2 與一第三調變訊號MS3 ，以及該處理單元12依序地產生一第一同步訊號SS1 、一第二同步訊號SS2 與一第三同步訊號SS3 。該等調變訊號MS1 ,MS2 ,MS3 供調變該光發射單元14所產生一第一光線LB1 ，以及該等同步訊號SS1 ,SS2 ,SS3 供驅動該該擷取單元16擷取該第一光線LB1 作用在該物體2所反射的一第二光線LB2 。舉例而言，該處理單元12同時地產生該第一調變訊號MS1 與該第一同步訊號SS1 ，使得該光發射單元12藉由該第一調變訊號MS1 調變該第一光線LB1 的同時，該擷取單元14受到該第一同步訊號SS1 的驅動而擷取自該物體2反射的一第二光線LB2 。依此類推，該擷取單元14藉由該第二同步訊號SS2 擷取到該第二調變訊號MS2 調變該第一光線LB1 ，而在該物體2所反射的另一第二光線LB2 ；以及，該擷取單元14藉由該第三同步訊號SS3 擷取到該第三調變訊號MS3 調變該第一光線LB1 ，而在該物體2所反射的又一第二光線LB2 。
舉例而言，該等調變訊號MS1 ,MS2 ,MS3 可調變該第一光線LB1 的發光強度(即該第一光線LB1 的明暗程度)、該第一光線LB1 的頻譜分佈(即該第一光線LB1 的顏色分佈，如第3a圖所示，該顏色分佈包含一第一顏色區域CR1 、一 第二顏色區域CR2 與一第三顏色區域CR3 )、該第一光線LB1 的發光波長(即該第一光線LB1 的顏色)與在該物體2形成一圖樣(例如該圖樣可為線條或是格狀，如第3b圖所示)之至少其一者。換言之，該第一光線LB1 除了可以進行單獨進行例如發光強度的調變之外，更可以在該第一光線LB1 同時地進行例如頻譜分佈調變。
該光發射單元14連接該處理單元12，以接收該等調變訊號MS1 ,MS2 ,MS3 ，例如該光發射單元12為一投影機與一發光二極體陣列之至少其一者。於本實施例中，該光發射單元14係以投影機為例說明。
該光發射單元14藉由例如該第一調變訊號MS1 調變該第一光線LB1 ，並將調變過後之該第一光線LB1 發射至一物體2。根據反射定律，該第一光線LB1 在該物體2反射該第二光線LB2 。該第二光線LB2 包含該物體2之光場資訊。該反射定律的定義，若一光線以一入射角度(該入射角度係該光線與一法線的一夾角)入射至一介面之後，該光線以一反射角度(該反射角度係該光線與一法線的另一夾角)自該介面反射，該入射角度等於該反射角度。於本實施例中，該第一光線LB1 以一第一角度θ1 入射至該物體2之表面，而該第一光線LB1 (即前述的該第二光線LB2 )以一第二角度θ2 自該物體2之表面反射。該第一角度θ1 等於該第二角度θ2 。
該擷取單元16連接該處理單元12，以接收該等同步訊號SS1 ,SS2 ,SS3 ，例如該擷取單元16為一RGB彩色攝影機或一單色攝影機。該擷取單元16藉由例如該第一同步訊號SS1 ，在例如該第一調變訊號MS1 調變該第一光線LB1 的過程中，讓該擷取單元16同步地擷取該第二光線LB2 以產生一第一影像IMG1 。依此類推，該擷取單元16藉由例如該第二同步訊號SS2 擷取該第二光線LB2 以產生一第二影像IMG2 ；以及，該擷取單元16藉由例如該第三同步訊號SS3 擷取該第 二光線LB2 以產生一第三影像IMG3 。
接著，該處理單元12執行一第一演算法(圖未示)計算該等影像IMG1 ,IMG2 ,IMG3 與該等調變訊號MS1 ,MS2 ,MS3 以產生一演算結果。從第1圖的該第一影像IMG1 可以了解到，該光發射單元14投影至該物體2的圖樣，因該物體的2形狀與位置，讓該圖樣產生形變。該處理單元12計算該差異以產生該演算結果，並藉由該演算結果建立該物體模型，例如該演算結果包含一三維深度資訊、一影像頻譜分佈資訊、一影像變化資訊與一光場角度資訊之至少其一者。
參考第4圖，係本發明第二實施例之主動式影像擷取之光學系統的系統示意圖。於第4圖中，該光學系統10’除了包含第一實施例中所提及的該處理單元12與該擷取單元16之外，更包含一光發射單元14’與一量測單元18。
於本實施例中，該光發射單元14’係以發光二極體陣列為例說明。該發光二極體陣列包含複數個發光二極體142，每一該等發光二極體142所產生之光線的波長係在400奈米至700奈米之間的可見光光學頻譜。於本實施例中，該發光二極體陣列包含可產生紅光(R)、綠光(G)、藍光(B)、琥珀光(A)與白光(W)之該等發光二極體142所組成。
該量測單元18連接該處理單元12，例如該量測單元18為頻譜儀。該量測單元18擷取該第一光線LB1 在一標準色票20所反射的一第三光線LB3 。該量測單元18執行一第二演算法計算該第三光線LB3 之光學頻譜分佈與該標準色票20之光學頻譜分佈之間的差異，以產生一轉換關係式(圖未示)。該處理單元12藉由該轉換關係式將該等影像由一第一光學頻譜校正至一第二光學頻譜。由於該光發射單元14’所發射的該第一光線LB1 可能會產生色偏，使得該擷取單元16擷取到錯誤的一光場資訊。因此，該光發射單元14’可藉由該轉換關係式對該第 一光線LB1 進行光學頻譜的校正，以供該處理單元12正確地建立該物體模型。
參考第5圖，係本發明一實施例之主動式影像擷取之光學方法的流程圖。於第5圖中，該主動式影像擷取之光學方法供擷取一物體的一光場資訊以建立一物體模型。該主動式影像擷取光學系統包含一處理單元一光發射單元與一擷取單元。
該主動式影像擷取方法起始於步驟S51，該處理單元依序地產生複數個調變訊號與產生複數同步訊號。
步驟S52，該等調變訊號被傳送至該光發射單元，以及該同步訊號被傳送至該擷取單元。
步驟S53，每一該等調變訊號調變該光發射單元產生的一第一光線，而該等調變訊號改變該第一光線的一發光強度、該第一光線的一發光波長、該第一光線的一頻譜分佈與該第一光線投射的圖樣之至少其中一者。
步驟S54，該等第一光線各作用在該待測物體，以讓每一該等第一光線反射一第二光線，其中該第二光線包含該物體之光場資訊。
步驟S55，該等同步訊號各驅動該擷取單元，讓該擷取單元在每一調變訊號調變該第一光線的過程中同步地擷取該第二光線以形成一影像。
步驟S56，該處理單元執行一第一演算法複數個該影像與該調變訊號以產生一演算結果。
步驟S57，該處理單元藉由該演算結果建立該物體模型。
本發明在上文中已以較佳實施例揭露，然熟習本項技術者應理解的是，該實施例僅用於描繪本發明，而不應解讀為限制本發明之範圍。應注意的是，舉凡與該實施例等效之變化與置換，均應設為涵蓋於本發明之範疇內。 因此，本發明之保護範圍當以申請專利範圍所界定者為準。
S51~S57‧‧‧方法步驟

Claims (8)

  1. 一種主動式影像擷取之光學系統，供擷取一物體的一光場資訊以建立一物體模型，該光學系統包含：一處理單元，依序地產生複數個調變訊號與複數個同步訊號，每一該等調變訊號對應每一同步訊號；一光發射單元，與該處理單元連接，該光發射單元藉由該等調變訊號調變一第一光線，並將調變後之該第一光線發射至該物體，而該第一光線在該物體反射一第二光線，其中該第二光線包含該物體之光場資訊；以及一擷取單元，與該處理單元連接，該擷取單元藉由該等同步訊號，在每一調變訊號調變該第一光線的過程中，讓該擷取單元同步地擷取該第二光線以形成一影像；其中該處理單元執行一第一演算法計算複數個該影像與該等調變訊號以產生一演算結果，而該處理單元藉由該演算結果建立該物體模型。
  2. 如申請專利範圍第1項所述之光學系統，其中該光發射單元藉由該等調變訊號調變該第一光線的發光強度、該第一光線的頻譜分佈、該第一光線的發光波長與該第一光線以在該物體形成一圖樣之至少其一者。
  3. 如申請專利範圍第2項所述之光學系統，其中該光發射單元為一投影機與一發光二極體陣列之至少其一者。
  4. 如申請專利範圍第3項所述之光學系統，其中該發光二極體陣列包含複數個發光二極體，每一該等發光二極體所產生之光線的波長係在400奈米至700奈米之間的可見光光學頻譜。
  5. 如申請專利範圍第1項所述之光學系統，更包含一量測單元，該量測單元與該處理單元連接，該量測單元擷取該第一光線在一標準色票所反射的一第三光 線，而該量測單元執行一第二演算法計算該第三光線之光學頻譜分佈與該標準色票之光學頻譜分佈之間的差異，以產生一轉換關係式。
  6. 如申請專利範圍第5項所述之光學系統，其中該處理單元藉由該轉換關係式將該影像由一第一光學頻譜校正至一第二光學頻譜。
  7. 如申請專利範圍第1項所述之光學系統，其中該演算結果包含一三維深度資訊、一影像頻譜分佈資訊、一影像變化資訊與一光場角度資訊之至少其一者。
  8. 一種主動式影像擷取之光學方法，供擷取一物體的一光場資訊以建立一物體模型，其中該主動式影像擷取光學系統包含一處理單元一光發射單元與一擷取單元，該主動式影像擷取方法包含：該處理單元依序地產生複數個調變訊號與產生複數同步訊號；該等調變訊號被傳送至該光發射單元，以及該同步訊號被傳送至該擷取單元；每一該等調變訊號調變該光發射單元產生的一第一光線，而該等調變訊號改變該第一光線的一發光強度、該第一光線的一發光波長、該第一光線的一頻譜分佈與該第一光線投射的圖樣之至少其中一者；該等第一光線各作用在該待測物體，以讓每一該等第一光線反射一第二光線，其中該第二光線包含該物體之光場資訊；該等同步訊號各驅動該擷取單元，讓該擷取單元在每一調變訊號調變該第一光線的過程中同步地擷取該第二光線以形成一影像；該處理單元執行一第一演算法複數個該影像與該調變訊號以產生一演算結果；以及該處理單元藉由該演算結果建立該物體模型。
TW102126305A 2013-07-23 2013-07-23 主動式影像擷取之光學系統及光學方法 TWI464367B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW102126305A TWI464367B (zh) 2013-07-23 2013-07-23 主動式影像擷取之光學系統及光學方法
US14/152,641 US20150029310A1 (en) 2013-07-23 2014-01-10 Optical system and method for active image acquisition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW102126305A TWI464367B (zh) 2013-07-23 2013-07-23 主動式影像擷取之光學系統及光學方法

Publications (2)

Publication Number Publication Date
TWI464367B true TWI464367B (zh) 2014-12-11
TW201504592A TW201504592A (zh) 2015-02-01

Family

ID=52390165

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102126305A TWI464367B (zh) 2013-07-23 2013-07-23 主動式影像擷取之光學系統及光學方法

Country Status (2)

Country Link
US (1) US20150029310A1 (zh)
TW (1) TWI464367B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9417185B1 (en) * 2012-10-21 2016-08-16 Google Inc. Controlling light arrays to determine properties of an object
KR102311688B1 (ko) 2015-06-17 2021-10-12 엘지전자 주식회사 이동단말기 및 그 제어방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1350633A (zh) * 1999-05-14 2002-05-22 北京三维世界科技有限公司 三维成像***
US20090060381A1 (en) * 2007-08-31 2009-03-05 Ethicon Endo-Surgery, Inc. Dynamic range and amplitude control for imaging
CN101451826A (zh) * 2008-12-17 2009-06-10 中国科学院上海光学精密机械研究所 物体三维轮廓测量装置及测量方法
TW201028737A (en) * 2009-01-23 2010-08-01 Univ Nat Taipei Technology Method for simultaneous hue phase-shifting and system for 3-D surface profilometry using the same
US20120140243A1 (en) * 2010-12-03 2012-06-07 Zygo Corporation Non-contact surface characterization using modulated illumination

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI257072B (en) * 2003-06-20 2006-06-21 Ind Tech Res Inst 3D color information acquisition method and device thereof
US7738151B2 (en) * 2004-04-13 2010-06-15 Board Of Regents, The University Of Texas System Holographic projector
GB0504520D0 (en) * 2005-03-04 2005-04-13 Chrometrics Ltd Reflectance spectra estimation and colour space conversion using reference reflectance spectra
JP2010517460A (ja) * 2007-01-29 2010-05-20 ジョンイル パク マルチスペクトル映像取得方法およびその装置
JP5435885B2 (ja) * 2008-04-15 2014-03-05 キヤノン株式会社 色処理装置、画像処理装置およびそれらの方法
WO2009144657A1 (en) * 2008-05-29 2009-12-03 Philips Intellectual Property & Standards Gmbh Control information for controlling light-system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1350633A (zh) * 1999-05-14 2002-05-22 北京三维世界科技有限公司 三维成像***
US20090060381A1 (en) * 2007-08-31 2009-03-05 Ethicon Endo-Surgery, Inc. Dynamic range and amplitude control for imaging
CN101451826A (zh) * 2008-12-17 2009-06-10 中国科学院上海光学精密机械研究所 物体三维轮廓测量装置及测量方法
TW201028737A (en) * 2009-01-23 2010-08-01 Univ Nat Taipei Technology Method for simultaneous hue phase-shifting and system for 3-D surface profilometry using the same
US20120140243A1 (en) * 2010-12-03 2012-06-07 Zygo Corporation Non-contact surface characterization using modulated illumination

Also Published As

Publication number Publication date
US20150029310A1 (en) 2015-01-29
TW201504592A (zh) 2015-02-01

Similar Documents

Publication Publication Date Title
TWI463244B (zh) 深度影像擷取裝置、系統及其方法
CN105049829B (zh) 滤光片、图像传感器、成像装置以及三维成像***
US7570370B2 (en) Method and an apparatus for the determination of the 3D coordinates of an object
JP6160851B1 (ja) 投影システム
KR20160007361A (ko) 투영광원을 구비한 촬영방법 및 그 촬영장치
CN102722076B (zh) 投影装置及投影方法
KR20170041681A (ko) Tof 카메라 시스템 및 그 시스템과의 거리를 측정하는 방법
CN105432080A (zh) 渡越时间相机***
CN104769389A (zh) 用于确定物体的三维坐标的方法和装置
US10105906B2 (en) Structured light generating device and measuring system and method
US20150098092A1 (en) Device and Method For the Simultaneous Three-Dimensional Measurement of Surfaces With Several Wavelengths
KR101583659B1 (ko) 3차원 형상 측정 장치
KR20140137513A (ko) 3차원 영상 획득 장치 및 그 구동 방법
CN104730823A (zh) 一种适用于dlp投影仪的白平衡调整装置及方法
KR101628158B1 (ko) 3차원 형상 측정 장치
KR101766468B1 (ko) 트리플 주파수 패턴을 이용한 3차원 형상 측정 방법
JP2019012090A (ja) 画像処理方法、画像表示装置
TWI464367B (zh) 主動式影像擷取之光學系統及光學方法
KR101185297B1 (ko) 영상 프로젝터
TWI679609B (zh) 三維結構光測量系統
JP2010078339A (ja) ３次元形状計測装置および方法並びにプログラム
US20210036483A1 (en) Driving current correction method and apparatus for multiple laser devices, and laser projector
CN107843335B (zh) 靶面杂光光照度测量装置及测量方法
CN211740140U (zh) 一种基于结构光和双目视觉的动态表面测量***
WO2019200936A1 (zh) 空间光调制器的检测方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees