TWI452335B - 應用共聚焦顯微鏡結構的被測物圖像獲取方法及系統 - Google Patents

應用共聚焦顯微鏡結構的被測物圖像獲取方法及系統 Download PDF

Info

Publication number
TWI452335B
TWI452335B TW100111603A TW100111603A TWI452335B TW I452335 B TWI452335 B TW I452335B TW 100111603 A TW100111603 A TW 100111603A TW 100111603 A TW100111603 A TW 100111603A TW I452335 B TWI452335 B TW I452335B
Authority
TW
Taiwan
Prior art keywords
light
scanning
unit
image
scanning position
Prior art date
Application number
TW100111603A
Other languages
English (en)
Other versions
TW201142354A (en
Inventor
Taiwook Kim
Original Assignee
Snu Precision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Snu Precision Co Ltd filed Critical Snu Precision Co Ltd
Publication of TW201142354A publication Critical patent/TW201142354A/zh
Application granted granted Critical
Publication of TWI452335B publication Critical patent/TWI452335B/zh

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Microscoopes, Condenser (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)

Description

應用共聚焦顯微鏡結構的被測物圖像獲取方法及系統
本發明係關於一種應用共聚焦顯微鏡結構的被測物圖像獲取方法,特別係關於一種為了盡可能地平均化掃描到被測物的光線由於每個掃描位置表面的光學特性:反射比、粗糙度及反射角等不同而引起的獲取信號之差,由聲光偏轉器調節光強後進行掃描,以此能夠提高檢測精度的應用共聚焦顯微鏡結構的被測物圖像獲取方法及系統。
一般來說,共聚焦顯微鏡將雷射作為光源,利用從點光源(point source)出射的光線,使樣品的焦點與光電探測器的縫隙或者針孔的焦點形成共聚焦(confocal),以防止焦平面以外的部分出現在光電探測器上,因此與習知的螢光顯微鏡相比,共聚焦顯微鏡對焦平面的解析度高達1.4倍左右,而且共聚焦顯微鏡在光軸(optical axis)上設置了針孔或者縫隙掩模等,從而能在透過標本(specimen)或者在標本處反射的光線中僅選擇準確對焦的光線,以提高解析度並進行視覺化。
而且,共聚焦顯微鏡可透過預定的軟體將二維圖像重建為三維圖像或者立體圖像,因此能夠觀察以前無法觀察到的XZ截面(section)的圖像,並能透過共聚焦顯微鏡重建具有體積的構造物的形貌,以易於獲得所需方向的圖像。
這種共聚焦顯微鏡為了使光線偏轉到樣品的XY面上需要掃描的掃描位置上,採用掃描鏡(檢流計)、MEMS(微機電系統)元件或者聲光偏轉器等光偏轉裝置。
其中,掃描鏡(檢流計)是在旋轉的軸上貼附鏡子(反射鏡)的裝置,具有能夠以簡單的結構進行高速驅動的優點,而MEMS(microelectromechanical system)是將這種反射鏡結構小型化、高度積體化的系統。
此外,聲光偏轉器是為了偏轉入射光而廣為採用的手段,如圖1所示,其可由壓電轉換器(a)與介質(b)構成。
如果由控制單元分配的具有一定頻率的射頻信號透過射頻調製器傳送到該壓電轉換器(a),壓電轉換器(a)就根據射頻信號並以所傳送的頻率加壓介質(b),以產生具有波長Λ且向介質(b)中傳播的聲波(c)。
結果,由於所產生聲波(c)所引起的聲光效應,介質(b)中產生週期性的折射率的變化。
這種折射率的變化可視作衍射光柵,其如同在晶體表面的原子衍射X射線(布拉格衍射)那樣衍射所入射的光線。
假設所產生聲波(c)的頻率為f,前進速度為v,由於v=fΛ,可以得出介質(b)中折射率變化的週期。
即如圖2所示,假設入射光具有波長λ,由聲波(c)引起的入射光的偏轉角(0)可由以下公式表示。
sinθ=λ/2Λ=λf/2v
即可知,可透過調節聲波(c)的頻率f,以改變入射光的偏轉角(θ)。如此的聲波(c)的頻率f可透過控制射頻信號的頻率來確定。
可透過以這種原理工作的聲光偏轉器,來控制入射光在需掃描的被測物的XY平面上向掃描方向偏轉,並從每個掃描位置獲取光線而獲得需掃描被測物的圖像。
在很多情況下,一般被測物的每一個掃描位置(單位畫素)的高度不一樣,因此在被測物的某一部分的高度上對焦後,分步驟進行掃描而完成其高度的檢測。
即如圖3所示,如果透過掃描光學系統(1)掃描的光線在被測物中掃描區域(2)的各掃描位置表面上準確地聚焦,從每個掃描位置反射的光線也能在縫隙掩模(3)的縫隙上準確地聚焦,從而透過光電探測器(4)獲得光線。
而如圖4所示,如果在被測物(2)的每個掃描位置上沒有準確地形成光線焦點,縫隙掩模(3)的縫隙上也不會形成光線焦點,因此從光電探測器(4)所獲得光線的光強也就相對較低。
因此,可透過綜合從高度互不相同的掃描位置檢測出的光線,以形成掃描區域的整體圖像來獲得整體掃描區域的高度(三維形貌)結果。
然而,此時從每個掃描位置檢測出的最高信號值與最小信號值之差則根據掃描位置各部分的反射比、粗糙度及反射角等表面特性而不同。
結果,存在著整體掃描區域的檢測精度不夠均勻的問題。
另一方面,為了解決這種問題,有人提出根據被測物中需要掃描的部分,在每個掃描位置檢測光強,並在此基礎上,對每個掃描位置進行光掃描時,直接改變光源的輸出光來進行掃描的方法。
然而,上述方法雖然可以提高檢測精度,但進行初步掃描後,需要根據以初步掃描為基礎形成的各掃描位置的反射比,調節光源所產生的光線的強度,因此具有總體製程時間加長的問題。
而且,需要在每個掃描位置改變來自光源的輸出光,因此更加增加了總體製程時間,而對每個掃描位置調節光源的光輸出也具有一定的難度。
本發明是為了解決上述習知技術中存在的問題而提出的,其目的在於提供一種應用共聚焦顯微鏡結構的被測物圖像獲取方法及系統,根據掃描區域中由於每個掃描位置表面的反射比、粗糙度及反射角等光學特性不同而導致的檢測信號之間的差所引起的圖像的亮度差,對應地根據從每個掃描位置檢測出的光強來調節掃描光的強度並獲得圖像,藉以提高掃描區域的檢測精度。
上述目的是透過以下技術手段來實現的。本發明的一種應用共聚焦顯微鏡結構的被測物圖像的獲取方法,在被測物的上方產生光線,並採用聲光偏轉器使光線依次偏轉於掃描區域的XY平面上的同時進行掃描,以獲取圖像,其中包括下列步驟:強度資訊獲取步驟,其透過顯微鏡光源產生光線,並將此光線輸入到掃描單元的光路上,以使所產生的光線照射到整個該掃描區域上,且透過照相機獲取與分析該掃描區域的整體圖像,以獲取每個掃描位置的光強資訊;資訊設置步驟,其將所獲取的每個掃描位置的光強資訊映射到每個掃描位置的位置資訊上,以設置映射資訊;搭載步驟,其根據控制信號搭載該資訊設置步驟中儲存的映射資訊;傳送步驟,其基於所搭載的映射資訊設置聲強資訊,並將其傳送到聲光偏轉器;掃描步驟,其輸入於該聲光偏轉器後輸出的光線在輸出時,其被偏轉的同時,根據該聲強資訊,其光強被調節,而所輸出的光線透過掃描單元掃描到每個掃描位置並被反射後,反射光線則進入該掃描單元;記錄步驟,其透過光電探測器檢測由每個掃描位置反射且進入該掃描單元的光線,並記錄所檢測的光檢測信號;Z軸掃描步驟,其在Z軸方向上將該被測物與該掃描單元之間的相隔距離改變預定距離,並依次執行該傳送步驟、該掃描步驟、該記錄步驟,以記錄不同的相隔距離下每個掃描位置的光檢測信號,其中該不同的相隔距離下每個掃描位置的光檢測信號的記錄至少執行一次;圖像獲取步驟,其從透過該Z軸掃描步驟中檢測出的每個掃描位置的多個光檢測信號中選擇其中一個,並形成按該聲強資訊的每個掃描位置的圖像,以獲得該掃描區域的整體圖像。
其中,在該圖像獲取步驟中從每個掃描位置的多個光檢測信號中選擇的光檢測信號可以是該光電探測器的電壓為最高電壓時的光檢測信號。
而且,在該資訊設置步驟中儲存的映射資訊可以是由外部輸入的資訊。該每個掃描位置表面的光學特性可以是每個掃描位置表面的反射比、粗糙度及反射角中的至少一者。
本發明的上述目的可透過以下技術手段來實現,本發明的另一實施方式提供的一種應用共聚焦顯微鏡結構的被測物圖像獲取系統,其係包括:光源單元,其位於被測物的上方,用以產生光線並將其輸出到該被測物中需要掃描的掃描區域;偏轉單元,其包括聲光偏轉器,用以根據控制將光線偏轉到該掃描區域的XY平面上,該聲光偏轉器接收從該光源單元輸出的光線,並將其偏轉後輸出,所偏轉的光線根據所傳送的聲強資訊,其強度被調節後輸出;掃描單元,其用以接收透過該偏轉單元偏轉後輸出的光線,並將其掃描到每個掃描位置,且輸入從每個掃描位置反射過來的光線;顯微鏡單元,其具有產生光線的顯微鏡光源,並將所產生的光線輸入於該掃描單元的光路上,藉以使所產生的光線照射到整體該掃描區域上,以獲取該掃描區域的整體圖像;分光器,其設置在該掃描單元,用以使從該偏轉單元輸入的光線透過,並反射從每個掃描位置輸入的光線;光檢測單元,其位於該掃描單元的側方,用以檢測透過該分光單元反射的光線;控制單元,其用以控制該偏轉單元,以使光線偏轉到該掃描區域的XY平面上,並透過由該顯微鏡單元獲取的整體圖像來分析該掃描區域中每個掃描位置的光強,以設置映射資訊,且搭載該映射資訊而設置該聲強資訊,並從該光檢測單元檢測出的、在每個掃描位置的不同Z軸相隔距離下的多個光檢測信號中選擇其中一個光檢測信號,以形成每個掃描位置的圖像。
其中,該分光器可以是半透明反射鏡(half mirror)或者偏振光束分光器(Polarizing Beam Splitter)。
而且,該掃描單元較佳係具有分光器、掃描透鏡、鏡筒透鏡、1/4波長板及物鏡,從該光源單元輸入的光線經過該分光器、掃描透鏡、鏡筒透鏡、1/4波長板及物鏡後掃描到每個掃描位置,而在每個掃描位置反射的光線經過該物鏡、1/4波長板、鏡筒透鏡、掃描透鏡後在該分光器反射。
此外,該光檢測單元可以包括:第一聚光鏡,用以接收從該分光器反射的光線並將其匯集成聚光光束;受光罩,用以從該第一聚光鏡接收聚光光束;光電探測器.用以接收透過該受光罩的光線,並將其光強轉換為電氣信號。
而且,該受光罩可設置有縫隙或針孔,以使在該第一聚光鏡匯集形成的聚光光束透過。
另外,該偏轉單元較佳係包含一個聲光偏轉器與一個光偏轉器,用以使光線偏轉到該掃描區域的XY平面上,且分別受到控制。
此外,該述光偏轉器較佳為位於從該光源單元透過該分光器的光線的光路上。
而且,該光偏轉器可以是掃描鏡、檢流計或者MEMS鏡中的任何一者。
另外,該偏轉單元可由一對聲光偏振器構成,用以使光線偏轉到該掃描區域的XY平面上,且分別受到控制。
其中,該受光罩較佳被控制成同步於透過該一對聲光偏轉器在XY平面上偏轉的光線而移動。
而且,該顯微鏡單元可以包括:第一分光器,其設置在該掃描單元的該1/4波長板與該鏡筒透鏡之間,用以反射所輸入的光線,以使其照射到該掃描區域整個領域中;顯微鏡光源,用以產生並輸出光線;第二分光器,其用以將從該顯微鏡光源輸出的光線反射到該第一分光器,並使從該第一分光器反射而射入的光線透過;照相機,用以成像透過該第二分光器的光線,以形成該掃描區域的整體圖像。
另外,該控制單元可以包括:圖像分析單元,其透過從該照相機獲取的圖像,分析並傳送該掃描區域中每個掃描位置的光強;映射資訊設置單元,其將從該圖像分析單元傳送的光強設置為每個掃描位置的光強資訊,並將其映射到每個掃描位置的位置資訊;映射資訊搭載單元,其根據外部控制信號搭載所儲存的映射資訊,並將該映射資訊傳送到該資訊設置單元;資訊設置單元,其包含聲強資訊設置單元,該聲強資訊設置單元根據所搭載的映射資訊設置聲強資訊,以調節向每個掃描位置偏轉的光強,並將該聲強資訊傳送到該聲光偏轉器;成像單元,其基於所傳送的光檢測信號,記錄每個掃描位置的圖像,以形成該掃描區域的整體圖像。
根據本發明,提供一種應用共聚焦顯微鏡結構的被測物圖像獲取方法及系統,其根據掃描區域中由於每個掃描位置表面的反射比、粗糙度及反射角等光學特性不同而致的檢測信號之間的差所引起的圖像的亮度差,對應地根據從每個掃描位置檢測出的光強來調節掃描光的強度並獲得圖像,從而能夠提高掃描區域的檢測精度。
對本發明進行說明之前需要說明的是,在以下多個實施例中對具有相同結構的結構元件採用了相同的元件符號,並在第一實施例中進行代表性的說明,而在其餘實施例中說明與第一實施例不同的結構。
下面,參照圖式對本發明的第一實施例所提供的應用共聚焦顯微鏡結構的被測物圖像獲取方法及系統進行詳細的說明。
圖5是本發明的第一實施例所提供的應用共聚焦顯微鏡結構的被測物圖像獲取系統的示意圖。
如圖5所示,本發明的應用共聚焦顯微鏡結構的被測物圖像獲取系統包含光源單元(10)、偏轉單元(20)、掃描單元(30)、光檢測單元(40)、控制單元(50)及顯微鏡單元(60)。
該光源單元(10)位於被測物(T)的掃描區域上方,並可包含光源(11)與光擴散器(12)。
其中,該被測物(T)可位於預定的平台上,該平台可透過預定的驅動手段控制為能夠在Z軸方向上移動。
該光源(11)是He-Ne雷射器或者二極體雷射器等用於產生光線並將此光線向被測物(T)的Z軸方向輸出的雷射器。
該光擴散器(12)位於光源(11)的前方,用於對從光源(12)輸出的光線進行空間過濾以使光線變形及擴散後將其輸出。
該偏轉單元(20)可以包含用於把入射光向X軸方向或者Y軸方向偏轉的聲光偏轉器(21)、用於向與前述的偏轉軸的方向不同的另一軸向偏轉來自該聲光偏轉器(21)的光線的光偏轉器(22)。
即,來自光源(12)的入射光可透過偏轉單元(20)偏轉到掃描區域的XY平面上。
和習知技術同樣地,該聲光偏轉器(21)根據由後述之控制單元(50)傳送的聲頻,由壓電壓電致動器按一定週期加壓介質,以生成預定的聲波,從而讓入射光按一定角度向第一軸方向偏轉。
而且,可根據由控制單元(50)傳送的聲強資訊,壓電致動器按一定強度加壓介質,從而調節入射光的強度後將其輸出。
此時,聲光偏轉器(21)的光強(I)與所傳送聲強資訊的聲強(P)具有關聯。
即在各向同性相互作用(isotropic interaction)下,可用以下公式來進行說明。
其中,I0 是入射光的強度;I1 是輸出光的強度;P是聲強;M、H、L是聲光偏轉器的特徵係數;λ0 是入射光的波長。
另外在各向異性相互作用(anisotropic interaction)下,也可用向量形式說明與聲強資訊的聲強之間的關係。
即,這說明可以不受偏轉角與聲頻具有關聯的影響,能夠獨自地調節光強。
該光偏轉器(22)可以是掃描鏡、檢流計或者MEMS鏡中任何一個,其被配置為根據從後述之控制單元(50)傳送的預定的驅動資訊驅動而使入射光向第二軸方向偏轉。
透過如此的聲光偏轉器(21)與光偏轉器(22),光線能夠偏轉到掃描區域的XY平面上,尤其是,透過聲光偏轉器(21)偏轉的光線,其強度被調節後輸出。
該掃描單元(30)包含殼體(30A),並在該殼體(30A)的內側,從光源單元(10)方向依次設置有分光器(31)、掃描透鏡(32)、鏡筒透鏡(33)、1/4波長板(34)及物鏡(35),且能夠透過預定的驅動手段在Z軸方向上移動。
透過聲光偏轉器(21)偏轉的光線經由分光器(31)、掃描透鏡(32)、鏡筒透鏡(33)、1/4波長板(34)及物鏡(35)後掃描到掃描區域中每個掃描位置上,而在每個掃描位置反射的光線則經由物鏡(35)、1/4波長板(34)、鏡筒透鏡(33)、掃描透鏡(32)後在分光器(31)處反射。
其中,分光器(31)可由半透明反射鏡(half mirror)或者偏振光束分光器(Polarizing Beam Splitter,PBS)中任何一個構成,並被構成為根據波長其透射率與反射率也隨之變化,藉此能夠分離兩個光線。
該分光器(31)設置在聲光偏轉器(21)與光偏轉器(22)之間,分光器(31)能夠讓從聲光偏轉器(21)經過偏轉而射入的光線透過,並讓從掃描區域射入的光線經由1/4波長板(34)的過程中其波長被改變而反射。
結果,透過分光器(31)與1/4波長板(34),可以分離從光源單元(10)射向掃描區域的光線與從掃描區域射入的光線。
掃描透鏡(32)被設置為可讓透過光偏轉器(22)偏轉的光線在上部平面(32a)聚焦,而在上部平面(32a)聚焦的光線經過鏡筒透鏡(33)後輸出為平行光,並傳遞到物鏡(35)。
透過這種聲光偏轉器(21)偏轉的光線能夠透過掃描透鏡(32)與鏡筒透鏡(33)準確地傳遞到物鏡(35)。
該光檢測單元(40)包含第一聚光鏡(41)、受光罩(42)及光電探測器(43),藉以檢測從掃描區域中每個掃描位置反射過來的光線。
第一聚光鏡(41)接收透過前述1/4波長板(34)反射的光線,並使之成為聚光光束。
如圖所示,受光罩(42)可以是具有縫隙(42a)的縫隙掩模,或者是具有針孔(pin hole)的針孔掩膜(未圖示),可透過該縫隙(42a)或者針孔接收來自第一聚光鏡(41)的聚光光束。
光電探測器(43)由光電二極體等構成,其接收透過受光罩(42)的縫隙(42a)的光線,並將其光強轉換為電氣信號。
該顯微鏡單元(60)包含第一分光器(61)、顯微鏡光源(62)、擴散透鏡(63)、第二分光器(64)與圖像獲取部(65)。
其中,第一分光器(61)與第二分光器(64)可具有與上述分光器(31)相同的結構,而在本實施例中該第一分光器由半透明反射鏡構成。
該第一分光器(61)設置在鏡筒透鏡(33)與1/4波長板(34)之間,用以把透過顯微鏡光源(62)輸出的光線射入掃描單元(30)的光路上,藉以對整個掃描區域照射光線,並將由掃描區域反射的光線反射,以供圖像獲取部(65)獲取。
該顯微鏡光源(62)由與該光源單元(10)的雷射部(11)等對應的部件構成,用以輸出光線,擴散透鏡(63)設置為其用以擴散來自顯微鏡光源(61)的輸出光。
該第二分光器(64)設置為其將由顯微鏡光源(62)輸出的光線反射到第一分光器(61),並使由第一分光器(61)傳遞的光線透過。
該圖像獲取部(65)包含用以匯集透過第二分光器(64)的光線的第二聚光鏡(65B)、以及接收所匯集的光線並獲取掃描區域的整體圖像的照相機(65A)。
顯微鏡單元(60)可透過掃描單元(30)的光路對整個掃描區域照射光線,並藉此迅速地獲取掃描區域的整體圖像。
圖6是圖5中控制單元的具體結構方塊圖。如圖5及圖6所示,該控制單元(50)包含資訊設置單元(51)、圖像分析單元(52)、映射資訊設置單元(53)、映射資訊搭載單元(54)及成像單元(55)。
該資訊設置單元(51)包含聲頻資訊設置單元(51A)、聲強資訊設置單元(51B)及驅動資訊設置單元(51C)。
聲頻資訊設置單元(51A)可設置聲光偏轉器(21)的偏轉角的控制信號:聲頻資訊,驅動資訊設置單元(51C)可設置光偏轉器(22)的偏轉角的控制信號:驅動資訊。
聲強資訊設置單元(51B)可設置用以控制透過聲光偏轉器(21)輸出的光強的控制信號:聲強資訊。
其中,在每個設置單元設置的每個資訊可由管理者設置,或者可以被設置為,基於後述之映射資訊搭載單元(54)根據預定的控制信號所搭載的掃描區域的映射資訊,光電探測器(43)從該掃描區域的每個掃描位置上的光線所獲取的光檢測信號能夠維持在一定程度以上。
結果,聲光偏轉器(21)根據所傳送的聲頻資訊,使入射光朝X軸或者Y軸方向中任一個方向偏轉的同時,根據聲強資訊其強度被調節後。
而且,光偏轉器(22)根據所傳送的驅動資訊,使入射光朝與聲光偏轉器(21)引起的偏轉方向不同的軸向偏轉後將其輸出。
藉此,射入偏轉單元(20)的光線能夠依次向掃描區域的XY平面偏轉的同時,其強度被調節後輸出。
該圖像分析單元(52)構成為從由照相機(65A)獲取的掃描區域的全體圖像分析每個掃描位置的光強,以獲取每個掃描位置的光強資訊後,將獲取的每個掃描位置的光強資訊傳送到映射資訊設置單元(53)。
該映射資訊設置單元(53)可被構成為將由圖像分析單元(52)傳送的每個掃描位置的光強資訊映射到每個掃描位置的位置資訊以作為映射資訊,並將其保存到預定的儲存裝置。
該映射資訊搭載單元(54)可被構成為根據指示為搭載相應掃描區域的映射資訊的預定的外部信號或者控制信號,搭載所儲存的映射資訊,並將其傳送到該資訊設置單元(51)。
該成像單元(55)可被構成為其與光電探測器(43)相連接,並從該被測物(T)與該掃描單元(30)之間的Z軸相隔距離的變化過程中所檢測的每個掃描位置的多個光檢測信號中選擇其中一個,藉以形成每個掃描位置的信號強度(圖像)。
其中,所選擇的光檢測信號可以是光電探測器(43)在最高電壓時的光檢測信號。
結果,能夠構成為可記錄每個掃描位置的圖像,並透過預定的演算法形成掃描區域的整體圖像,該整體圖像則透過預定的顯示裝置得到顯示。
下面說明採用了上述應用共聚焦顯微鏡結構的被測物圖像獲取系統的圖像獲取方法。圖7是應用了圖5所示系統的被測物圖像獲取方法的演算法。
如圖5至圖7所示,由顯微鏡光源(62)產生光線,並將其輸出到第二分光器(64,S10)。
第二分光器(64)反射來自顯微鏡光源(62)的入射光,並將其輸入於第一分光器(61,S11)。
所輸入的光線透過第一分光器(61)反射後,透過掃描單元(30)的光路照射到整體掃描區域(S12)。
由掃描區域反射的光線射入於掃描單元(30),並透過第一分光器(61)朝第二分光器(64)方向反射(S13)。
由第一分光器(61)反射的光線通過第二分光器(64),而所通過的光線透過第二聚光鏡(65B)匯集後,由照相機(65A)獲取掃描區域的整體圖像(S14)。
所獲取的掃描區域的整體圖像傳送到圖像分析單元(52),圖像分析單元(52)透過所傳送的整體圖像分析每個掃描位置的光線,以獲取每個掃描位置的光強資訊後將其傳送到映射資訊設置單元(53,S15)。
把傳送到映射資訊設置單元(53)的每個掃描位置的光強資訊映射到每個掃描位置的位置資訊,藉以設置映射資訊後將其保存到預定的儲存裝置(S16)。
如此透過顯微鏡單元(60)獲取掃描區域的整體圖像而設置每個掃描位置的映射資訊的方式,與習知的對整個掃描區域進行一次掃描後,根據每個掃描位置的表面資訊設置光強並予以儲存的方式相比,更能有效而迅速地設置並儲存映射資訊。
接著,由設置在被測物(P)上方的光源單元(10)產生光線,並將此光線輸出到掃描區域(S20)。
然後,如果由管理者施加指示為搭載對應於掃描區域中各掃描位置的映射資訊的控制信號,由映射資訊搭載單元(54)從所儲存的映射資訊中搭載相應掃描區域的映射資訊,並將其傳送到資訊設置單元(51,S30)。
資訊設置單元(51)基於所傳送的映射資訊設置聲頻資訊與驅動資訊,以使光線向每個掃描位置偏轉,並設置聲強資訊,以使在每個掃描位置反射並在光電探測器(43)檢測出的光強被調節為已設定的光強後被檢測(S40)。
其中,已設定的光強可由管理者進行設置。
偏轉單元(20)根據所傳送的聲頻資訊與驅動資訊使入射光偏轉,尤其是,聲光偏轉器(21)在偏轉入射光的同時,根據聲強資訊調節光強後予以輸出(S50)。
然後,所輸出的光線透過掃描單元(30)掃描到每個掃描位置並被反射後重新輸入於掃描單元(30,S60)。
輸入於掃描單元(30)的光線透過分光器(31)反射後,由光電探測器(43)進行檢測,而成像單元(55)則記錄所檢測到的光檢測信號(S70)。
接著在z軸上,將該掃描單元(30)與該被測物(T)之間的距離改變預定距離,並依次執行步驟S60~步驟S70(S80)。
其中,預定距離可以由管理者設置,該步驟S80可以執行多次。
而且,成像單元(55)可在透過該步驟S80檢測出的、根據每個掃描位置在Z軸上的距離變化而獲得的多個光檢測信號中選擇任意一個,並在此基礎上形成每個掃描位置的圖像,藉此獲取掃描區域的整體圖像(S90)。
其中,所選擇的光檢測信號可以是光電探測器(43)的信號強度為最大時,即光電探測器(43)在最大電壓時的光檢測信號。
透過這種方法,能夠盡可能地平均化根據每個掃描位置表面的光學特性:反射比、粗糙度及反射角等的不同而不同的所獲取圖像(光檢測信號)的光強之差,並藉此能提高被測物的檢測精度。
而且,能夠使透過聲光偏轉器輸出的光線偏轉的同時調節光強,因此無需設置用以調節強度的額外的控制手段,可對掃描區域進行高精度及迅速的掃描。
另一方面,作為該映射資訊設置方法的另一例,可從外部直接輸入包含每個掃描位置光強資訊的映射資訊。
其中,從外部輸入的映射資訊可以是含有對掃描區域的表面資訊及光強資訊的圖。
因此,當輸入圖時,能夠簡便地根據圖中各掃描位置的光強資訊,而設置及儲存映射資訊。
當提供圖的情況下,也可與其他方法同樣地由映射資訊搭載單元(54)根據預定的控制信號搭載掃描區域中每個掃描位置的映射資訊後,將其傳送到資訊設置單元(51)。
透過上述方法能夠簡便地設置映射資訊,且以此為基礎調節光線,以最大限度地發揮光電探測器的性能後用調節後的光線進行掃描,從而提高檢測精度。
下面為一具體例說明透過本發明的上述圖像獲取方法與習知圖像獲取方法獲取的圖像。
在本具體例中,係假設被測物是固定的,而只有掃描單元在Z軸方向上移動,並對同樣的掃描區域進行掃描。
圖8是用以表示根據習知圖像獲取方法獲取的每個掃描位置的光檢測信號強度的曲線圖,圖9是根據圖8的曲線圖結果所獲取的圖像。
請參見圖8,其表示的是具有單一強度的光線掃描到掃描區域,掃描單元(30)與被測物(T)在Z軸上的相隔距離多次被調節的情況下在掃描位置1~掃描位置4上記錄的、按掃描位置的光檢測信號。
其中,對於掃描位置1與掃描位置2而言,在掃描單元與被測物之間的相隔距離為40 μm時檢測到的光強最強,而該40 μm可以認定為掃描位置1與掃描位置2的高度。
而且,對於掃描位置3而言,可以看出整體上處於光強過弱的狀態,對於掃描位置4而言,在40 μm~60 μm處處於光強過強的狀態。
透過如此被檢測出之在不同的Z軸相隔距離下的光檢測信號,成像單元在光檢測信號中選擇最大電壓下的光檢測信號,並以此為基礎形成如圖9所示的每個掃描位置的圖像。
即,亮處過亮,暗處過暗,從而得到在不同的掃描位置上光強的偏差嚴重的圖像,最終只能導致檢測精度下降。
相反地,依據本發明圖像獲取方法的結果如下。
圖10是用以表示根據映射資訊設置聲強資訊而獲取的、在每個掃描位置上具有不同的Z軸相隔距離的情況下獲得的光檢測信號大小的曲線圖,圖11是根據圖10中曲線圖結果而獲取的圖像。
如圖10所示,如果透過預定的控制信號搭載包含掃描位置1~掃描位置4的映射資訊,就能根據包含於映射資訊中的、在每個掃描位置上檢測出的光強資訊,適當地設置聲強資訊。
如果假設包含於映射資訊中的光強資訊與基於該習知方法的、在不同的Z軸相隔距離下檢測出的光檢測信號相同,就能夠把每個掃描位置相對於Z軸相隔距離的聲強資訊設置為,整體上光檢測信號過低的掃描位置3在相應的Z軸相隔距離下顯示的光檢測信號較高,整體上光檢測信號過高的掃描位置4在相應的Z軸相隔距離下顯示的光檢測信號較低。
根據如此被設置的聲強資訊,聲光偏轉器可按每個掃描位置調節光強後輸出,而隨之按每個掃描位置檢測出的光檢測信號可以如圖中所示的曲線圖。
在如此被檢測出的按Z軸相隔距離的光檢測信號的基礎上,成像單元在光檢測信號中選擇最大電壓下的光檢測信號,並以此為基礎形成每個掃描位置的圖像,如圖11所示。
即,能夠使暗處變亮一定程度以上,使亮處變暗一定程度,從而減少每個掃描位置上的光強偏差,以提高檢測精度。
此外,根據從每個掃描位置檢測到的光強而設置聲強資訊,從而能夠調節掃描光線的光強而獲得平均化的圖像,進而能夠提升整體掃描區域的檢測精度。
本發明的範圍並不侷限於上述實施例,在後述之申請專利範圍內可以實施多種形態的實施例。在不脫離申請專利範圍所要求保護的本發明要旨的情況下,本發明所屬技術領域中具有通常知識者均能進行變化的範圍理應屬於本發明的保護範圍。
若採用本發明的應用共聚焦顯微鏡結構的被測物圖像獲取方法及系統,就能根據掃描區域中由於每個掃描位置表面的反射比、粗糙度及反射角等光學特性不同而致的檢測信號之間的差所引起的圖像的亮度差,對應地根據從每個掃描位置檢測出的光強來調節掃描光的強度並獲得圖像,藉以提高掃描區域的檢測精度。
1...掃描光學系統
2...掃描區域
3...縫隙掩模
4...光電探測器
10...光源單元
11...光源
12...光擴散器
20...偏轉單元
21...聲光偏轉器
22...光偏轉器
30...掃描單元
30A...殼體
31...分光器
32...掃描透鏡
32a...平面
33...鏡筒透鏡
34...1/4波長板
35...物鏡
40...光檢測單元
41...第一聚光鏡
42...受光罩
42a...縫隙
43...光電探測器
50...控制單元
51...資訊設置單元
51A...聲頻資訊設置單元
51B...聲強資訊設置單元
51C...驅動資訊設置單元
52...圖像分析單元
53...映射資訊設置單元
54...映射資訊搭載單元
55...成像單元
60...顯微鏡單元
61...第一分光器
62...顯微鏡光源
63...擴散透鏡
64...第二分光器
65...圖像獲取部
65A...照相機
65B...第二聚光鏡
a...壓電轉換器
b...介質
c...聲波
T...被測物
圖1是聲光偏轉單元的示意圖。
圖2是射入聲光偏轉單元的光線轉換圖。
圖3及圖4是共聚焦顯微鏡結構的聚焦圖。
圖5是採用了本發明第一實施例所提供的共聚焦顯微鏡結構的被測物圖像獲取系統的示意圖。
圖6是圖5中控制單元的具體結構圖。
圖7是採用了圖5所示系統的被測物圖像獲取方法的演算法。
圖8是用以表示根據習知圖像獲取方法所獲得的每個掃描位置的光檢測信號大小的曲線圖。
圖9是根據圖8所示曲線圖結果而獲得的圖像。
圖10是用以表示根據映射資訊設置聲強資訊而獲取的、在每個掃描位置上具有不同的Z軸相隔距離的情況下獲得的光檢測信號大小的曲線圖。
圖11是根據圖10所示曲線圖結果所獲得的圖像。
10...光源單元
11...光源
12...光擴散器
20...偏轉單元
21...聲光偏轉器
22...光偏轉器
30...掃描單元
30A...殼體
31...分光器
32...掃描透鏡
32a...平面
33...鏡筒透鏡
34...1/4波長板
35...物鏡
40...光檢測單元
41...第一聚光鏡
42...受光罩
42a...縫隙
43...光電探測器
60...顯微鏡單元
61...第一分光器
62...顯微鏡光源
63...擴散透鏡
64...第二分光器
65...圖像獲取部
65A...照相機
65B...第二聚光鏡

Claims (16)

  1. 一種應用共聚焦顯微鏡結構的被測物圖像的獲取方法,其係在被測物的上方產生光線,並採用聲光偏轉器使光線依次偏轉於掃描區域的XY平面上的同時進行掃描,以獲取圖像,其中包括下列步驟:強度資訊獲取步驟,其透過顯微鏡光源產生光線,並將此光線輸入到掃描單元的光路上,以使所產生的光線照射到整個該掃描區域上,且透過照相機獲取與分析該掃描區域的整體圖像,以獲取每個掃描位置的光強資訊;資訊設置步驟,其將所獲取的每個掃描位置的光強資訊映射到每個掃描位置的位置資訊上,以設置映射資訊;搭載步驟,其根據控制信號搭載該資訊設置步驟中儲存的映射資訊;傳送步驟,其基於所搭載的映射資訊設置聲強資訊,並將其傳送到聲光偏轉器;掃描步驟,其輸入於該聲光偏轉器後輸出的光線在輸出時,其被偏轉的同時,根據該聲強資訊,其光強被調節,而所輸出的光線透過掃描單元掃描到每個掃描位置並被反射後,反射光線則進入該掃描單元;記錄步驟,其透過光電探測器檢測由每個掃描位置反射且進入該掃描單元的光線,並記錄所檢測的光檢測信號;Z軸掃描步驟,其在Z軸方向上將該被測物與該掃描單元之間的相隔距離改變預定距離,並依次執行該傳送步驟、該掃描步驟、該記錄步驟,以記錄不同的相隔距離下每個掃描位置的光檢測信號,其中該不同的相隔距離下每個掃描位置的光檢測信號的記錄至少執行一次;圖像獲取步驟,其從透過該Z軸掃描步驟中檢測出的每個掃描位置的多個光檢測信號中選擇其中一個,並形成按該聲強資訊的每個掃描位置的圖像,以獲得該掃描區域的整體圖像。
  2. 如申請專利範圍第1項之應用共聚焦顯微鏡結構的被測物圖像的獲取方法,其中在該圖像獲取步驟中從每個掃描位置的多個光檢測信號中選擇的光檢測信號是該光電探測器的電壓為最高電壓時的光檢測信號。
  3. 如申請專利範圍第1項之應用共聚焦顯微鏡結構的被測物圖像的獲取方法,其中在該資訊設置步驟中儲存的映射資訊由外部輸入。
  4. 如申請專利範圍第1項之應用共聚焦顯微鏡結構的被測物圖像的獲取方法,其中該每個掃描位置表面的光學特性是每個掃描位置表面的反射比、粗糙度及反射角中的至少一者。
  5. 一種應用共聚焦顯微鏡結構的被測物圖像獲取系統,其係包括:光源單元,其位於被測物的上方,用以產生光線並將其輸出到該被測物中需要掃描的掃描區域;偏轉單元,其包括聲光偏轉器,用以根據控制將光線偏轉到該掃描區域的XY平面上,該聲光偏轉器接收從該光源單元輸出的光線,並將其偏轉後輸出,所偏轉的光線則根據所傳送的聲強資訊,其強度被調節後輸出;掃描單元,其用以接收透過該偏轉單元偏轉後輸出的光線,並將其掃描到每個掃描位置,並輸入從每個掃描位置反射過來的光線;顯微鏡單元,其具有產生光線的顯微鏡光源,並將所產生的光線輸入於該掃描單元的光路上,以使所產生的光線照射到整體該掃描區域上,以獲取該掃描區域的整體圖像;分光器,其設置在該掃描單元,用以使從該偏轉單元輸入的光線透過,並反射從每個掃描位置輸入的光線;光檢測單元,其位於該掃描單元的側方,用以檢測透過該分光單元反射的光線;控制單元,其用以控制該偏轉單元,以使光線偏轉到該掃描區域的XY平面上,並透過由該顯微鏡單元獲取的整體圖像分析該掃描區域中每個掃描位置的光強,以設置映射資訊,且搭載該映射資訊設置該聲強資訊,並從該光檢測單元檢測出之在每個掃描位置的不同Z軸相隔距離下的多個光檢測信號中選擇其中一個光檢測信號,以形成每個掃描位置的圖像。
  6. 如申請專利範圍第5項之應用共聚焦顯微鏡結構的被測物圖像獲取系統,其中該分光器是半透明反射鏡(half mirror)或者偏振光束分光器(Polarizing Beam Splitter)。
  7. 如申請專利範圍第5項之應用共聚焦顯微鏡結構的被測物圖像獲取系統,其中該掃描單元具有分光器、掃描透鏡、鏡筒透鏡、1/4波長板及物鏡,從該光源單元輸入的光線經過該分光器、掃描透鏡、鏡筒透鏡、1/4波長板及物鏡後掃描到每個掃描位置,而從每個掃描位置反射的光線經過該物鏡、1/4波長板、鏡筒透鏡、掃描透鏡後在該分光器反射。
  8. 如申請專利範圍第5項之應用共聚焦顯微鏡結構的被測物圖像獲取系統,其中該光檢測單元包括:第一聚光鏡,其用以接收從該分光器反射的光線並將其匯集成聚光光束;受光罩,其用以從該第一聚光鏡接收聚光光束;光電探測器,其接收透過該受光罩的光線,並將其光強轉換為電氣信號。
  9. 如申請專利範圍第8項之應用共聚焦顯微鏡結構的被測物圖像獲取系統,其中該受光罩上設置有縫隙或針孔,以使在該第一聚光鏡匯集形成的聚光光束透過。
  10. 如申請專利範圍第5項之應用共聚焦顯微鏡結構的被測物圖像獲取系統,其中該偏轉單元包含一個聲光偏轉器與一個光偏轉器,用以使光線偏轉到該掃描區域的XY平面上,且分別受到控制。
  11. 如申請專利範圍第10項之應用共聚焦顯微鏡結構的被測物圖像獲取系統,其中該光偏轉器位於從該光源單元透過該分光器的光線的光路上。
  12. 如申請專利範圍第11項之應用共聚焦顯微鏡結構的被測物圖像獲取系統,其中該光偏轉器是掃描鏡、檢流計或者MEMS鏡中的任何一者。
  13. 如申請專利範圍第8項之應用共聚焦顯微鏡結構的被測物圖像獲取系統,其中該偏轉單元由一對聲光偏振器構成,用以使光線偏轉到該掃描區域的XY平面上,且分別受到控制。
  14. 如申請專利範圍第13項之應用共聚焦顯微鏡結構的被測物圖像獲取系統,其中該受光罩被控制成同步於透過該一對聲光偏振器在XY平面上偏轉的光線而移動。
  15. 如申請專利範圍第7項之應用共聚焦顯微鏡結構的被測物圖像獲取系統,其中該顯微鏡單元包括: 第一分光器,其設置在該掃描單元的該1/4波長板與該鏡筒透鏡之間,用以反射所輸入的光線,以使其照射到整體該掃描區域;顯微鏡光源,其用以產生並輸出光線;第二分光器,其用以使從該顯微鏡光源輸出的光線反射到該第一分光器,並使從該第一分光器反射而射入的光線透過;照相機,其用以成像透過該第二分光器的光線,以形成該掃描區域的整體圖像。
  16. 如申請專利範圍第15項之應用共聚焦顯微鏡結構的被測物圖像獲取系統,其中該控制單元包括:圖像分析單元,其透過從該照相機獲取的圖像,分析並傳送該掃描區域中每個掃描位置的光強;映射資訊設置單元,其將從該圖像分析單元傳送的光強設置為每個掃描位置的光強資訊,並將其映射到每個掃描位置的位置資訊;映射資訊搭載單元,其根據外部控制信號搭載所儲存的映射資訊,並將其傳送到該映射資訊設置單元;資訊設置單元,其包含聲強資訊設置單元,該聲強資訊設置單元用以根據所搭載的映射資訊設置聲強資訊,以調節向每個掃描位置偏轉的光強,並將該聲強資訊傳送到該聲光偏轉器;成像單元,其基於所傳送的光檢測信號,記錄每個掃描位置的圖像,以形成該掃描區域的整體圖像。
TW100111603A 2010-04-08 2011-04-01 應用共聚焦顯微鏡結構的被測物圖像獲取方法及系統 TWI452335B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100032383A KR101103323B1 (ko) 2010-04-08 2010-04-08 공초점 현미경구조를 이용한 측정대상물의 영상획득방법 및 시스템

Publications (2)

Publication Number Publication Date
TW201142354A TW201142354A (en) 2011-12-01
TWI452335B true TWI452335B (zh) 2014-09-11

Family

ID=44763353

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100111603A TWI452335B (zh) 2010-04-08 2011-04-01 應用共聚焦顯微鏡結構的被測物圖像獲取方法及系統

Country Status (3)

Country Link
KR (1) KR101103323B1 (zh)
TW (1) TWI452335B (zh)
WO (1) WO2011126219A2 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101383805B1 (ko) 2012-04-02 2014-04-10 주식회사 에스피바이오 레이저빔을 이용한 젤 이미징 장치
TWI490542B (zh) 2013-05-07 2015-07-01 Univ Nat Taiwan A scanning lens and an interference measuring device using the scanning lens
KR102209500B1 (ko) 2016-08-02 2021-02-01 연용현 라이다 장치
GB201704771D0 (en) 2017-01-05 2017-05-10 Illumina Inc Modular optical analytic systems and methods
KR102116889B1 (ko) * 2018-10-30 2020-05-29 (주)자비스 유도 특성 개선 구조의 투과 엑스선 현미경 장치
KR102082747B1 (ko) * 2019-01-23 2020-02-28 연세대학교 산학협력단 초점거리 조절이 가능한 led 어레이 기반 3차원 이미징 장치 및 방법
CN110017783B (zh) * 2019-05-20 2023-09-29 广东理工学院 板件位移在线检测装置及传送***
CN111610197B (zh) * 2020-06-01 2023-09-12 上海御微半导体技术有限公司 一种缺陷检测装置及缺陷检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6856457B2 (en) * 2001-03-27 2005-02-15 Prairie Technologies, Inc. Single and multi-aperture, translationally-coupled confocal microscope
CN1662811A (zh) * 2002-05-07 2005-08-31 应用材料股份有限公司 双光点相敏的检测
US20080151366A1 (en) * 2006-12-25 2008-06-26 Olympus Corporation Laser microscope and control method for the same

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07101529B2 (ja) * 1989-07-20 1995-11-01 三洋電機株式会社 テープレコーダのモード切替装置
US5323009A (en) 1990-04-06 1994-06-21 Harris Martin R Conforcal microscope
WO1999035527A1 (en) 1998-01-12 1999-07-15 Wallac Oy Confocal microscope with plural scanning beams
JP2000098259A (ja) * 1998-09-22 2000-04-07 Olympus Optical Co Ltd 共焦点顕微鏡用撮影装置
JP2000162506A (ja) * 1998-11-30 2000-06-16 Tokyo Seimitsu Co Ltd 共焦点顕微鏡
KR100612219B1 (ko) 2004-10-16 2006-08-14 학교법인연세대학교 음향광학편향기와 선주사 카메라를 이용한 공초점 레이저선주사 현미경

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6856457B2 (en) * 2001-03-27 2005-02-15 Prairie Technologies, Inc. Single and multi-aperture, translationally-coupled confocal microscope
CN1662811A (zh) * 2002-05-07 2005-08-31 应用材料股份有限公司 双光点相敏的检测
US20080151366A1 (en) * 2006-12-25 2008-06-26 Olympus Corporation Laser microscope and control method for the same

Also Published As

Publication number Publication date
WO2011126219A3 (ko) 2012-01-05
KR101103323B1 (ko) 2012-01-11
WO2011126219A2 (ko) 2011-10-13
KR20110113055A (ko) 2011-10-14
TW201142354A (en) 2011-12-01

Similar Documents

Publication Publication Date Title
TWI452335B (zh) 應用共聚焦顯微鏡結構的被測物圖像獲取方法及系統
KR101819006B1 (ko) 광학 측정 장치
JP6346615B2 (ja) 光学顕微鏡および顕微鏡観察方法
US9086536B2 (en) Talbot imaging devices and systems
JP6033798B2 (ja) 蛍光顕微鏡検査法における照明位相制御のためのシステムおよび方法
JP4747243B2 (ja) 試料の光学的深部分解による光学的把握のための方法および装置
JP6000010B2 (ja) レーザー走査型顕微鏡
WO2004036284A1 (ja) 共焦点顕微鏡、共焦点顕微鏡を用いた蛍光測定方法及び偏光測定方法
JP6358577B2 (ja) 走査型光学顕微鏡
US20210011266A1 (en) Improved scanning optical microscope
US9843719B2 (en) Confocal microscope
KR20100018984A (ko) 빔 스캐닝 방식의 크로마틱 공초점 현미경
KR100721512B1 (ko) 분산 광학계를 이용한 실시간 공초점 현미경
CN114527102A (zh) 一种基于激光扫描的近红外二区显微成像***及方法
JP2007286379A (ja) 分散光学系を用いた実時間共焦点顕微鏡
CN107710046A (zh) 用于使用宽场显微镜确定样本的空间分辨高度信息的方法和宽场显微镜
JP6253395B2 (ja) 画像生成システム
KR20100124757A (ko) 형상 측정 장치 및 방법
TWI439725B (zh) 應用共聚焦顯微鏡結構的被測物圖像獲取方法
CN109358004B (zh) 双波长差分非标记显微成像的方法和装置
KR101505745B1 (ko) 이중 검출 반사 공초점 현미경 및 이를 사용하는 시편의 높이의 정보를 검출하는 방법
JP5521901B2 (ja) 非線形顕微鏡及び非線形観察方法
JP2010025864A (ja) 干渉測定装置
JP2010266452A (ja) 走査型近接場光学顕微鏡
KR20060033830A (ko) 음향광학편향기와 선주사 카메라를 이용한 공초점 레이저선주사 현미경

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees