TWI286032B - Image enhancement system - Google Patents
Image enhancement system Download PDFInfo
- Publication number
- TWI286032B TWI286032B TW094122707A TW94122707A TWI286032B TW I286032 B TWI286032 B TW I286032B TW 094122707 A TW094122707 A TW 094122707A TW 94122707 A TW94122707 A TW 94122707A TW I286032 B TWI286032 B TW I286032B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- pass
- low
- adder
- component
- Prior art date
Links
- 238000010606 normalization Methods 0.000 claims abstract description 4
- 230000002708 enhancing effect Effects 0.000 claims abstract description 3
- 238000000034 method Methods 0.000 claims description 13
- 239000000463 material Substances 0.000 claims description 5
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 238000011549 displacement method Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims 1
- 238000003384 imaging method Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 9
- 241000282320 Panthera leo Species 0.000 description 1
- 241000287107 Passer Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 101150031250 retm gene Proteins 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
Description
1286032 九、發明說明: 【發明所屬之技術領域】 本發明係為—種影像增顯系統,尤其係指-種利用可獨立 目的 (Perfect re™ r bank) ’並具以實現成硬體之架構,以_影像增顯之 【先前技術】
由於視_品的普及,讓人們享受到聲音和影像結合的 產品所帶來的聲光世界…個影像產品的好壞,除了字面 ^產品的規格多募外,更重要的是產品的影像品f,而影響產 品的影像品質除了擷取視訊來源的_系、統外,_後段影像 的顯示系統。然科管是前㈣統或者後鄕統,都需要一個 影像處理系統來讓影像更加清晰自然。 一般而言,常用處理影像的技術就是經過各式的濾波器 來處理影像’例如_低頻濾波n來消除影像雜訊,經過高頻 遽波器的處理將影像的細節增顯,經由這些處理來幫助使用者 欣賞更佳的影像品質。 如圖一所示’為習知的影像處理的流程,其會經過一個 低通濾波H 10和高财波器12來處理影像,细低通遽波器 忉的特性來消除雜訊,再把經過低通滤波器10處理過的影像 、、工由南通紐器12處理,並透過―增益控制單元14將之增 =,最後加钟16來合成影像,以達賴化影像的目9 的。習知低通餘器的選擇有高·波器與中值濾波器等作 1286032 法而同通遽波器的設計通常為一個邊緣偵測滤波器,例如 sob e 1。傳、贿構上在低通濾波n會影響影像細節的流失的程 : f與魏的抑她度,如果雜賴_太過嚴重,則會造成 : f彡像細節消失’後端高通毅H將無法將影像細節完整呈現, 如果雜„凡4除太少,造成後面高通濾波器的處理會增顯雜訊, 放大雜訊的影響,導致影像品質不佳。 又如,利用多重解析度舰器來解析影像,用以處理影 • 像雜訊和高頻影像細節之裝置’雖然可得出經過改善增顯之影 像’但其計算量龐大,運算太過複雜,且需要大量的運算與記 憶體儲存。 【發明内容】 亡發明之目的主要是提供一種影像增顯系統,係利用可 獨立單冑理某解析度之完整重建滤波器(Perfect reconstruct filter bank) ’並具以實現成硬體之架構,以達 到影像增顯之目的,能讀少的運算量與記讎的使用量來達 _ 成改善影像品質的目的。 為了達成上述目的,本發明之影像增顯系統包括有一影 像减擷取單,用㈣待處理之三條輸人影像峨,娜出 九個連續之影_料;-第-訊號群處理單it,依據選用之高 通及低通;慮波$之組成’處理成—第—訊號群影像資料;一高 通低通練成分擷取單元,依據_之紐及低通濾波器之組 成擷取出1通影像成分及一低通影像成分;一亮度調整單 凡用以调正雜通影像成分之亮度;一門檻選擇單元,用以 1286032 處理該高通影像成分之雜訊;一放大器單元,用以增顯非雜訊 部分之影像;一加法器,用以將處理過之該高通影像成分及該 低通影像成分相加;以及一正規化單元,用以將該加法器得到 之該影像正規化,以復原其大小,而得到欲處理之影像。 本發明亦提供一種影像增顯方法,其步驟包括有: 用位移方式處理連續輸入之三筆影像訊號,而取得九點 影像資料。 將前述取得之九點影像資料,根據高通及低通濾波器的 形式,將二點影像資料相加,而得到一第一訊號群。 將該第一訊號群影像資料依據高通濾波器之係數,取得 影像資料之高頻成分。 將該第一訊號群影像資料依據低通濾波器之係數,取得 影像資料之低頻成分。 將影像資料之高頻成分作雜訊之消除處理及影像細節之 增顯處理。 將影像資料之低頻成分做亮度調整。 將處理過之影像資料高頻成分和影像資料低頻成分相 加,而獲得一增顯過之影像訊號。 為使能更進一步瞭解本發明之特徵及技術内 容,請參閱以下有關本發明之詳細說明與附圖,然而 所附圖式僅提供參考與說明用,並非用來對本發明加 以限制。 【實施方式】 1286032 回通濾波器及低通濾波器之組成,處理成一第一訊號群影像資 料,包括有複數個移位器425、複數個反相器427、複數個三 比一加法器421和複數個暫存器423,其中該三比二加法器 421係由二比一進位儲存加法器(3:2 Carry Saver Adder)和 進位預看加法器(Cariy Lookahead adder)構成。 一高通低通影像成分擷取單元44,連結於該第一訊號群 處理單元42,依據選用之高通濾波器及低通濾波器之組成, • 擷取出一高通影像成分及一低通影像成分,其中該高通低通影 像成分擷取單元44 ’包括有複數個反相器445、複數個三比二 加法器441和複數個暫存器443。 一亮度調整單元46,連結於該高通低通影像成分擷取單 元44 ’用以調整該低通影像成分之亮度,其中該亮度調整單 元46,需要二個運算週期,亦可為二個暫存器。 一門檻選擇單元48,連結於該高通低通影像成分擷取單 馨 元44,用以處理該高通影像成分之雜訊,其中該門楹選擇單 元48 ’包括有複數個門檻48卜一個三比二加法器和一個 暫存器485。而門檻選擇單元48之值,需加入用反相器取代 減法器之差值,以本實施例而言為6、6和4。 一放大器單元50,連結於該門檻選擇單元48,用以增顯 非雜訊部分之影像,亦可包括有一暫存器501 ;和一加法器 52,連結於該放大器單元50及亮度調整單元牝,用以將處理 過之該高通影像成分及該低通影像成分相加;以及一正規化單 凡54,連結於該加法器52,用以將該加法器得到之該影像正 1286032 規化,以復原其大小,而得到欲處理之影像。 上述之景4像增顯系統之硬體線路的處理流程說明如下, : 首先利用9個暫存器4〇1把輸入的三條影像的資料χ〗、Χ2、 : Χ3、Χ4、Χ5、Χ6、Χ7、Χ8和Χ9存起來,然後再用三比二 加法器 421 (3:2 Carry Saver Adder 和 Carry L〇〇kahead
Adder),以及移位器425、反相器427來實現6個加法,分別 累加出第一訊號群影像資料,如Yl= XI + 2*χ4 + χ7、γ2= 2*χ2 鲁 + 4*Χ5 + 2*Χ8、Υ3= Χ3 + 2*Χ6 + Χ9、Υ4=〜XI + 2*Χ4 + (〜Χ7)、 Υ5= 2*(〜Χ2) + 4*Χ5 +2*(〜Χ8)和 Υ6=〜χ3 + 2*Χ6 +(〜χ9)。 接下來再用二比二加法器421 (3:2 carry Saver Adder和 Carry Lookahead Adder)和反相器445再繼續累加剛剛算出的 結果,分別累加而得到Y1 + Y2 + Y3、〜γι + γ2 + ~γ3, Υ4 + Υ5 + Υ6和〜Υ4 + Υ5 +〜Υ6,即為影像之高頻成分和低 頻成分,但是必須注意的是第二個、第三個和第四個的結果和 • 原本的結果會相差了 6、6、4’這是因為原本的減法用反向器 425、427來取代’於是必須把這些差值移到後面的門根‘si 判斷條件裡面,其實現方法式是把門檻值偏移和判斷負值的地 方偏移就行了,最後把高頻的三個結果經過門檻的比較,滤除 了高頻雜訊最後再相加起來,經過一個可調整的增益放大之 後’再和原本的低頻的結果相加,就得到一增顯過之聲像。 上述使用三比二加法器421、441(3:2CarrySaverAdder 1286032 和Carry Lookahead Adder)來得到第一訊號群影像資料和影 像之高頻成分和低頻成分,其中該移位器、反相器和三比二加 法器之選用及組態,依選定之高通及低通濾波器之個數、參數 值而決定。 本毛明之衫像增顯糸統,更包括有一階層選擇索引2〇, 連結於該影像訊號擷取單元之前,用以選擇處理之影像階層, 使得該影像增顯系統可以直接處理任—階層之影像,簡化計曰算 之複雜度及運算0彳間。如第五A圖所示,為本發明之影像增 顯系統之應用於第-階層影像擷取之示意圖,第五b圖所示, 為本發明之影像增m應用於第二階料彡軸取之示意 圖’採用第五A圖和第五b圖之方式,擷取出之影像資料6〇二 62,再配合階層選擇索引2{),使得該影像增顯緣可以直接 處理任-階層之影像’簡化計算之獅度及運算時間。 利用第四A、四B、四c和四D圖的高通及低通遽波器 、卫口所產生出來之影像’如果門插處理奴為q,放大器設定 為1 ’而亮度調整(Ga麵a函式)設定為i,則輸入影像和輪出影 像完全相等’料完整__岭(p—nstructy filter),_此—齡器組合處理影像,除了不會讓影像失 …’更可Μ針對不_率的雜訊與影像細節作處理,除 除不同解析度觀,更可·不_析度的影像細 而運算量也比料大_少,更不f要多餘的記㈣來儲存不 同解析度的處理結果。 域伟不 1286032 本發明亦提供一種影像增顯方法,如第六圖所示,其步 驟包括有: 用位移方式處理連續輸入之三筆影像訊號,而取得九點 影像資料(S100)。 將前述取得之九點影像資料,根據高通及低通濾、波器的 形式,將三點影像資料相加,而得到一第一訊號群(S102)。 將該第一訊號群影像資料依據高通濾波器之係數,取得 影像資料之高頻成分(S104)。 將該第一訊號群影像資料依據低通濾波器之係數,取得 影像資料之低頻成分(S106)。 將影像資料之高頻成分作雜訊之消除處理及影像細節之 增顯處理(S108)。 將影像資料之低頻成分做亮度調整(S110)。 將處理過之影像資料高頻成分和影像資料低頻成分相 加,而獲得一增顯過之影像訊號(S112)。 惟以上所述僅為本發明之較佳可行實施例,非因此即拘 限本發明之專利範圍,因此任何熟悉此項技藝者在本發明之領 域内,所實施之變化或修飾,皆應屬本發明之專利範圍。 【圖式簡單說明】 有關本發明之圖式簡單說明如下·· 第一圖為習知之影像處理之示意圖; 第二圖為本發明之影像增顯系統架構之示意圖; 第二圖為本發明之影像增顯糸統之硬體線路之示意圖; 12
1286032 第四A、四B、四C和四D圖為本發明之影像增顯系統 之南通及低通滤·波器參數之不意圖, 第五A圖為本發明之影像增顯系統之應用於第一階層影 像搁取之不意圖, 第五B圖為本發明之影像增顯系統之應用於第二階層影 像擷取之示意圖;及 第六圖為本發明之影像增顯方法之流程圖。 【主要元件符號說明】 「習知」 10 低通濾波器 12 高通濾波器 14 增益控制單元 16 加法器 「本發明」 20 階層選擇索引 22高通濾波器 24低通濾、波器 26門檻 28增益 30亮度調整單元 32加法器 34正規化單元 41影像訊號擷取單元 13 1286032 401暫存器 42訊號群處理單元 421 三比二加法器 423暫存器 425移位器 427反相器 44高通低通影像成分擷取單元 441 三比二加法器 443暫存器 445反相器 46亮度調整單元 48門檻選擇單元 481門檻 483三比二加法器 485暫存器 50放大器單元 501暫存器 52加法器 54正規化單元 60影像資料 62影像資料 14
Claims (1)
1286032 、申請專利範圍: h —種影像增顯系統,包括有: 依攄、2减群處理早70,連結_影像峨擷取單元, 像資=之高通及低職波器之組成,處理成—第—訊號群影
一高通倾雜成分齡單元,魅於料—訊號群處 旦,早〜依據之兩通及低通紐器之組成,擷取出—高通 影像成分及一低通影像成分; 一亮度滅單元,連結㈣高軌通影像成分掏取單 π,用以調整該低通影像成分之亮度; 一門檻選擇單元,連結於該高通低通影像成分擷取單 元,用以處理該高通影像成分之雜訊;
一放大器單元,連結於該門檻選擇單元,用以增顯非雜 訊部分之影像; 一加法器,連結於該放大器單元及亮度調整單元,用以 將處理過之該高通影像成分及該低通影像成分相加;以及 一正規化單元,連結於該加法器,用以將該加法器得到 之該影像正規化,以復原其大小,而得到欲處理之影像。 2·如申請專利範圍第1項之影像增顯系統,更包括有一 階層選擇索引,連結於該影像訊號擷取單元之前,用以選擇處 理之影像階層,使得該影像增顯系統可以直接處理任一階層之 15 1286032 影像,簡化計算之複雜度及運算時間。 3·如申請專利範圍第1項之影像增_統,其中該影像 訊號擷取單元,包括有複數個暫存器。 、 4·如申請專利範圍第1項之影像增顯系統,其中該第一 訊號群處理單元,包括有複數個移位器、複數個反相器、複數 個三比二加法器和複數個暫存器。 5·如申請專利範圍第4項之影像增顯系統,其中該三比 • 二加法器,係由三比二進位儲存加法器(3:2 Carry Saver Adder) 和進位預看加法器(Carry Lookahead adder)構成。 6·如申請專利範圍第1項之影像增顯系統,其中該高通 低通影像成分擷取單元,包括有複數個反相器、複數個三比二 加法器和複數個暫存器。 7·如申請專利範圍第6項之影像增顯系統,其中該三比 一加法器’係由二比二進位儲存加法器(3:2 Carry Saver Adder) 和進位預看加法器(Carry Lookahead adder)構成。 _ 8·如申請專利範圍第1項之影像增顯系統,其中該亮度 調整單元,需要二個運算週期。 9·如申請專利範圍第1項之影像增顯系統,其中該亮度 調整單元,包括有二個暫存器。 10·如申請專利範圍第1項之影像增顯系統,其中該門 檻選擇單元,包括有複數個門檻、一個三比二加法器和一個暫 存器。 11·如申請專利範圍第10項之影像增顯系統,其中該三 16 1286032 之忒衫像正規化,以復原其 15磁心 而得到欲處理之影像。 •一種影像賴方法,其步驟包括有: 用位移方式處理連續輸入之r馨旦 影像資料; ―“像訊號,而取得九點 …將前述取得之九歸彡像轉,根據高通及低通滤波器的 形式’將二點影像資料相加,而得到—第—訊號群; 將該第-訊麟影像資料依據高通濾波器之係數,取得 影像貨料之南頻成分; 將該第一訊號群影像資料依據低通濾波器之係數,取得 影像資料之低頻成分; 將影像資料之高頻成分作雜訊之消除處理及影像細節之 增顯處理, 將影像資料之低頻成分做亮度調整;以及 將處理過之影像資料高頻成分和影像資料低頻成分相 加,而獲得一增顯過之影像訊號。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW094122707A TWI286032B (en) | 2005-07-05 | 2005-07-05 | Image enhancement system |
US11/478,652 US7821579B2 (en) | 2005-07-05 | 2006-07-03 | Image enhancing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW094122707A TWI286032B (en) | 2005-07-05 | 2005-07-05 | Image enhancement system |
Publications (2)
Publication Number | Publication Date |
---|---|
TW200704207A TW200704207A (en) | 2007-01-16 |
TWI286032B true TWI286032B (en) | 2007-08-21 |
Family
ID=37667409
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW094122707A TWI286032B (en) | 2005-07-05 | 2005-07-05 | Image enhancement system |
Country Status (2)
Country | Link |
---|---|
US (1) | US7821579B2 (zh) |
TW (1) | TWI286032B (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4861228B2 (ja) * | 2007-03-30 | 2012-01-25 | 株式会社東芝 | ノイズ低減装置及びノイズ低減方法 |
US20090257676A1 (en) * | 2008-04-09 | 2009-10-15 | Masafumi Naka | Systems and methods for picture edge enhancement |
TWI390958B (zh) * | 2008-10-31 | 2013-03-21 | Novatek Microelectronics Corp | 影像濾波電路及應用其之影像處理電路及影像處理方法 |
KR101618298B1 (ko) * | 2009-10-23 | 2016-05-09 | 삼성전자주식회사 | 고감도 영상 생성 장치 및 방법 |
US20120133836A1 (en) * | 2010-11-29 | 2012-05-31 | Stmicroelectronics Asia Pacific Pte. Ltd. | Frame level quantization estimation |
SE536510C2 (sv) | 2012-02-21 | 2014-01-14 | Flir Systems Ab | Bildbehandlingsmetod för detaljförstärkning och brusreduktion |
US9639915B2 (en) * | 2012-08-08 | 2017-05-02 | Samsung Electronics Co., Ltd. | Image processing method and apparatus |
KR20140086632A (ko) * | 2012-12-28 | 2014-07-08 | 삼성디스플레이 주식회사 | 영상 처리 장치 및 그것을 포함하는 표시 장치 |
CN104103040B (zh) * | 2013-04-10 | 2015-05-13 | 上海联影医疗科技有限公司 | 一种图像增强的方法 |
TWI596573B (zh) | 2013-04-25 | 2017-08-21 | 財團法人工業技術研究院 | 影像處理裝置及其影像雜訊抑制方法 |
KR20160039497A (ko) * | 2014-10-01 | 2016-04-11 | 삼성전자주식회사 | 영상 처리 장치, 디스플레이 장치 및 그 영상 처리 방법 |
WO2016084608A1 (ja) * | 2014-11-25 | 2016-06-02 | ソニー株式会社 | 内視鏡システム、および内視鏡システムの動作方法、並びにプログラム |
TWI546769B (zh) | 2015-04-10 | 2016-08-21 | 瑞昱半導體股份有限公司 | 影像處理裝置與影像處理方法 |
CN109146814B (zh) * | 2018-08-20 | 2021-02-23 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN112532958B (zh) * | 2020-11-24 | 2022-09-06 | 海宁奕斯伟集成电路设计有限公司 | 图像处理方法、装置、电子设备以及可读存储介质 |
CN112822343B (zh) * | 2021-01-05 | 2022-12-20 | 中国电子科技集团公司信息科学研究院 | 一种面向夜间视频的清晰化方法及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040131117A1 (en) * | 2003-01-07 | 2004-07-08 | Sheraizin Vitaly S. | Method and apparatus for improving MPEG picture compression |
-
2005
- 2005-07-05 TW TW094122707A patent/TWI286032B/zh not_active IP Right Cessation
-
2006
- 2006-07-03 US US11/478,652 patent/US7821579B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
TW200704207A (en) | 2007-01-16 |
US20070009170A1 (en) | 2007-01-11 |
US7821579B2 (en) | 2010-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI286032B (en) | Image enhancement system | |
Zhu et al. | Eemefn: Low-light image enhancement via edge-enhanced multi-exposure fusion network | |
CN100433785C (zh) | 用于从移动场景的多个曝光中生成高动态范围图像的***和过程 | |
TWI295449B (en) | Edge enhancement method and apparatus for bayer image and an image acquisition system | |
KR20200109391A (ko) | 이미지 데이터에서의 키포인트들의 검출 | |
JPH034680A (ja) | 画像データの増強方法およびカラー画像データの増強方法 | |
US20140369554A1 (en) | Face beautification system and method of use thereof | |
CN101588453A (zh) | 图像处理装置、拍摄装置及图像处理方法 | |
WO2017202244A1 (zh) | 一种图像增强方法和装置、计算机存储介质 | |
CN111429371B (zh) | 图像处理方法、装置及终端设备 | |
CN102737364A (zh) | 图像处理装置和图像处理方法 | |
Liao et al. | Efficient image dehazing using boundary conditions and local contrast | |
WO2023056950A1 (zh) | 图像处理方法和电子设备 | |
Liu | Remote sensing image enhancement based on fractional differential | |
TWI273835B (en) | Image strengthened system | |
Tsutsui et al. | Halo artifacts reduction method for variational based realtime retinex image enhancement | |
JP2003110860A (ja) | イメージ・センサの色補正 | |
US11816858B2 (en) | Noise reduction circuit for dual-mode image fusion architecture | |
Yu et al. | Image denoising based on adaptive fractional order anisotropic diffusion | |
Arora et al. | Low light image enhancement via global and local context modeling | |
CN113132562B (zh) | 镜头阴影校正方法、装置及电子设备 | |
Drew et al. | Removing shadows using flash/noflash image edges | |
TWI229542B (en) | Digital signal processing system and method applied for color transition | |
TW201021541A (en) | Image compensation method and digital image acquisition device using the same | |
CN100399797C (zh) | 影像增显*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |