TW201218761A - Image stabilization system and method - Google Patents

Description

201218761 六、發明說明： 【發明所屬之技術領域】 [0001] 本發明涉及一種影像處理系統及方法，尤其是關於一種 影像穩定系統及方法。 【先前技術】 [0002] 在拍攝連續影像的過程中，由於外部原因引起的攝影裝 置的震動，例如用戶把持攝影裝置不穩或安裝攝影裝置 的載體（例如汽車）處於震動狀態，會導致拍攝的連續 影像晃動。 [0003] 目前，對晃動的連續影像進行處理以獲得穩定的連續影 像，一般採取的是全域掃描的方法。如圖3所示，是待處 理的晃動的連續影像，全域掃描則是以該連續影像中的 第一個影像幀（t = 0)為基準幀，將後續各影像幀中的所 有像素點與基準幀中的所有像素點進行比對，查找各影 像幀中與基準幀中具有相同特徵點的穩定區域，再將各 影像幀根據穩定區域進行對齊作業，以降低連續影像的 晃動程度。然而，全域掃描的方法給電腦處理器帶來巨 大的運算量，處理速度較慢。 【發明内容】 [0004] 鑒於以上内容，有必要提供一種影像穩定系統及方法， 可以減少處理晃動的連續影像的運算量，提高影像處理 速度。 [0005] 一種影像穩定系統，應用於影像處理裝置。該系統包括 影像邊緣資訊讀取模組、樣本建立模組、穩定區域計算 模組及影像幀對齊模組。影像邊緣資訊讀取模組，用於 099136625 表單編號 A0101 第 4 頁/共 25 頁 0992063991-0 201218761 Ο [0006] ❹ [0007] 讀取連續影像各影 邊緣橫列的像素^_—侧邊緣直行/Χ轴同-侧 編號及灰度值。樣Ρ ’包括像素點數目、各像素點的 泉本建立模組，用於根據讀取的資訊建 心、輛/Χ輛的特徵曲線樣本，每個特徵曲線樣本 包括相對應影像幀γ 、，樣本 列上的像素點數日D —侧邊緣直行/Χ轴同—側邊緣橫 目、各像素點的編號及灰度值，以及相 鄰像素點灰度值的以及相 、 值。穩定區域計算模組，用於匕匕餅 特徵曲線樣本，計算各影像齡轴A 轴方向的穩4域。影像㈣齊模組肖 根據取X轴方向的穩定區域進行對齊，並剪切；^像 巾貞中Y軸/X轴方向的穩定區域以外的其他影像區域，以降 低各影細轴/X轴方向的影像晃動程:度。 .種t/像穩疋方法，應用於影像處理裝置。該方法包括 ()讀取連續影像各影像㈣的Y轴同—侧邊緣直 同一側邊緣橫_«點資訊，妨料賴目、各^ 素點的編號及灰度值；⑻根據讀取的資訊建立各影像幢 Y軸/X軸的特徵曲線樣本，每個特徵曲線樣本包括相對廣 影像幢Y_i邊緣直行/χ_—侧邊緣橫列上的料 點數目各像素點的錢及灰度值，以及相鄰像素點灰 度值的差值，（e)比對各影像射妨軸的特徵曲線樣本 ，計算各影_w/x轴方向_定區域；及⑷將各影 像幢根據Y軸/X軸方向的穩定區域崎對齊，並剪切掉各 影像射Y轴/X軸方向的穩定區域料的其他影像區域， 以降低各影像幀7軸"軸方向的影像晃動程度。 相較於習知技術，本發明所提供之影像穩定系統及方法 099136625 表單编號A0101 第5頁/共25頁 0992063991-0 201218761 僅針對連續影像彳p i 很璩所有影像幀的Y轴同一側邊緣直行/ χ 釉同一側邊緣橫列 „ ^ 的像素點進行對齊作業，滅少了處理 晃動的連續影像的 豕的運算量，提高了影像處理速度。 【實施方式】 [0008] [0009] [0010] 參閱圖1所示，係太欲 ’、本發明影像穩定系統1 0較佳實施例之應 用環境圖。該影德籍Λ 1冢穩疋糸統10應用於影像處理裝置100。 該影像處理裴丄 ^ 夂Ιΐυο可以為攝影機、電腦或其他具有資料 處理能力的電子 丁叙置。參閱圖1所示，該影像處理裝置 100還包括儲存哭 崎仔-Μ、處理器30及顯示器40。 在本實婦j巾H像穩定系統丨『包括影像邊緣資訊讀 取柄組11、樣本建立模組12、歧H域計算模組13及影 像巾貞對齊模組14。儲存ϋ 20存儲上《組11至14的程式 化代碼，處理器30執行這些程式化代碼，對連續影像進 行處理，讀得敎的連續影像。顯示_顯示處理後 得到的穩定的連續影像。 ... . ：'：： 影像邊緣資訊讀取模組11用於讀取連續影像各影像幀的¥ 轴同一側邊緣直行的像素點資訊，包括像素點數目、各 像素點的編號及灰度值。圖4示出一筆連續影像不同時刻 的影像幀（圖4中僅示出t = 〇s，is，2s對應的三張影像 幀）。影像邊緣資訊讀取模組11根據該連續影像的解析 度確定各影像幀的X、Y軸分佈的像素點數目。例如，若 該速續影像的解析度為320*240，則各影像幀的χ軸方向 分佈320個像素點’ Υ軸方向分佈240個像素點。在圖4中 ，與X軸平行的直線及與Υ軸平行的直線的交點表示各影 像幀的像素點。在本實施例中，影像邊緣資訊讀取模組 099136625 表單編號Α0101 第6頁/共25頁 0992063991-0 201218761 [0011] [0012] Ο ο [0013] 099136625 :::::::右Μ，的像素,_ 輪像各影細_^=^讀取 而要指出的异，4^、去减· H心 影料彩色影像，_像純資 / !連續歸各影像龄Μ緣直行的料點的灰^值 ^本建域㈣祕根 特徵曲線樣本，每個特徵曲線樣 2輸軸的 邊緣直行上的像素點數目、各像素點的=應影㈣Υ軸 以及相鄰像素點灰度值的差值。樣本建立2灰度值， ㈣s對應的影像_γ軸邊緣直行上各像素點^^ 算相鄰像素點灰度值的差值掉、又D 行上的日貞的W邊緣直 象素點數目、各像素點的編號及灰度值， m灰度值的錄記錄到該影像m㈣特徵曲線樣 根據械s，is，⑽應的三張影像_ =:曲線樣本產生_邊緣直行上的特徵曲線圖。 寺=、線圖中，γ軸表示相對應影像幢右側γ轴邊緣 直订的像素點編號，X轴表示各像素點的灰度值。例如， 從圖4中t = Qs對應的影㈣的γ轴的特徵曲線圖中，可以 得到該影_右嫩轴邊緣直行的像素點編削，1小 …’9’···，各像素點的灰度值分別為255，h| ’ …，150，…。 剛’ 穩定區域計算模組13用於比對各影像鴨γ轴的特 本，計算各影像幀γ軸方向的穩定區域 、 表單編號Α0101 第7頁/共25頁 所述Υ輛方向的 0992063991-0 201218761 穩定區域指的是與各影像幀γ轴邊緣直行滿足第一預設要 求的第一預設數目nl個連續像素點對應的影像區域。例 如，假設用戶預先設定處理後得到的各影像幀Y軸邊緣直 行需要保留7個連續的像素點，且該7個連續的像素點中 相鄰的每兩個像素點灰度值的差值允許的誤差範圍分別 為（al，bl) ， （a2，b2) ， （a3，b3) ， （a4，b4 )，（a 5，b 5 )及（a 6，b 6 )，則穩定區域計算模組13 對圖4所示的t = 0s，Is，2s對應的三張影像幀的Y軸的特 徵曲線樣本進行比對，在各特徵曲線樣本中查找滿足上 述要求的7個連續像素點。 [0014] 在穩定區域的計算過程中，可能會出現以下情況：某一 個影像幀Υ軸的特徵曲線樣本中有一定數目ml的連續像素 點，且ml<nl，但是該ml個連續像素點中相鄰的每兩個像 素點灰度值的差值滿足第一預設要求。在這種情況下， 穩定區域計算模組13對該影像幀進行Y軸穩定性補償：增 加nl-ml個具有相對應灰度值的像素點至該影像幀Y軸的 特徵曲線樣本，使得該影像楨Y軸邊緣直行具有滿足第一 預設要求的第一預設數目nl個連續像素點。例如，假設 穩定區域計算模組13在圖4中t = ls對應的影像幀Y軸的特 徵曲線樣本查找到6個連續的像素點，但該6個連續的像 素點中相鄰的每兩個像素點灰度值的差值分別落入允許 的誤差範圍（al，bl) ，（a2，b2) ，（a3，b3)，( a4，b4)及（a5，b5)，則穩定區域計算模組13增加1 個像素點至該影像幀Y軸的特徵曲線樣本作為第7個連續 的像素點，在補償後得到的7個連續的像素點中，該增加 099136625 表單編號Α0101 第8頁/共25頁 0992063991-0 201218761 [0015] Ο [0016] Ο [0017] ^個像=的灰隸與其彳目鄰錢糾誤差值 允許的誤差範圍（a6，b6)。 於將各_根據^方向的穩定區 外的其他1 掉各影像财％方向的穩定區域以 程产、如Γ，崎低各影像則齡㈣影像晃動 t:s lsr’水準方向兩條虛線界定的區域表示 影像㈣，ΓΓ1的三張影像則轴方向的穩定區域。 如像㈣料組14將該三張影像 區域進行對齊，並剪切掉該三^據奶軸方向的穩定 定區域以外的其他影像區域，得:圖轴方:的穩 ㈣s，1s，2S對應的處理後的三張影像:貞頭下方分別與 ==資訊讀取模組11還用於讀取連續影像各影_ ?如上側）邊緣橫列的像素點資訊，樣本建 立棋組12還用於根據讀取的^建立各影像_x轴的特 徵曲線樣本（如圖6所示）。㈣方法與上述建立各影像 幢的Y軸的特徵曲線樣本類似，，在此不_述。 穩定區域計算模組13還用於比對各影像㈣X轴的特徵曲 線樣本，計算各影像齡軸方向的穩定區域。所述χ轴方 向的穩定區域指的是與各影像糾輪邊緣橫列滿足第二預 設要求的第二預缝目n2個連續像素點對應的影像區域 。具體方法與上述計算各影_%方向的穩定區域類似 ，在此不再贅述。 需要指出的是’若某-個影像鴨X轴的特徵曲線樣本中有 一定數目m2的連續像素點，且m2<n2，但是制個連續 099136625 表單編號A0101 第9頁/共25頁 0992063991-0 [0018] 201218761 中相鄰的每兩個像素點灰度值的差值滿足第二預 二I。在這種情況下，穩定區域計算模組13對該影像 的像ΓιΓ至穩Γ性補償：增加n2—m2個具有相對應灰度值 X轴邊緣橫===的特徵曲線樣本，使得該影像悄 連續像素點Γ有滿足第二預設要求的第二預設數目吻固 [0019] [0020] [0021] 於將各_根據x軸方向的_ 以外的其他影像^切掉Γ㈣中x轴方向的穩定區域 動程度（如町所干影細財向的影像晃 —_域進行對==::=_ 圖閱=2所7F ’係本發明料穩定料較佳實_之流程 。2中步驟SlGaSlQ7可以移至步驟sn3之後。 m二，取模組11用於讀取連續影像 點數目同側γ軸邊緣直行的像素點資訊，包括像辛 :::影::::::號及灰度值。如，一為: s，2s對應的二張影像幀。在本 ’相連續影像的解析度為32g*24〇，則 讀取右侧邊緣直行的2儲像素點。^ 7像為彩色影像，則在步㈣(Π之前，影像邊緣資訊 s取模組11先將連續影像由彩色影像㈣為灰度影像， 得到連續f彡像各影像巾貞^邊緣直 行的像素點的灰度值。 步驟SH)3，樣本建立·12根據讀取的資赠立各 則轴的特徵曲線樣本，每個特徵曲線樣本包括相對應影 099136625 表單編號A0101 第10 頁/共25頁 0992063991 [0022] 201218761 Ο [0023]

G

[0024] °"136625 表單編號仙01 Y轴邊緣直行上的像素點數目、各像素點的編號及灰 =，以及相鄰像素點灰度值的差值。_4中示出_ 1S，2續應的三張影像特徵曲線樣本 生的Υ軸邊緣直行上的㈣曲_。在各特徵曲線圖中 =示相對應影像齡術轴邊緣直行的像素點編號 輛表不各像素點的灰度值。例如，從圖4中 的衫像㈣γ轴的龍自㈣巾 、’“ Υ轴邊緣直行的像他減0小2，·幢右侧 點的灰度值分別為255,15()，18()，...，15q，.各像素 =’敎區域計算模組13比對各影她軸的特徵 6十算各影像幢γ棒方向的穩定區域。所述¥軸 預設2 =域細是與各影_γ㈣緣直行滿足第一 的第-預設數gnl個連續像素點對應的影像區 邊緣直用戶預先狀處理後得到的各影像鴨γ軸 素點中相3,留7個連續的像素點，且該7個連續的像 圍分別為二=像素點灰度值的差值允許的誤差範 ，b4) 」（a2，b2) ’ U3，b3)，（a4 組…他:示：二及Μ，），則穩定區域計算模 ' S’ 1S’ 23對應的三張影像幀的Υ 滿=:!樣本進行比對，在各特徵曲線樣本中査找 上述要麵7個連續像素點。 =二:計算過程中，可能會出現以下情況··某- 點，且mi<】的特t曲線樣本令有—定數目ml的連續像素 素點灰度二差=財相鄰的每_ 疋乐預6又要求。在這種情況下， 表^單編發ΑΠιλι 第〗1頁/共25頁 0992063991-0 201218761 穩定區域計算模組13對該影像幀進行穩定性補償：增加 nl-ml個具有相對應灰度值的像素點至該影像幀Y軸的特 徵曲線樣本，使得該影像幀Y軸邊緣直行具有滿足第一預 設要求的第一預設數目nl個連續像素點。 [0025] 步驟S107，影像幀對齊模組14將各影像幀根據Y軸方向的 穩定區域進行對齊，並剪切掉各影像幀中Y轴方向的穩定 區域以外的其他影像區域，以降低各影像幀Y軸方向的影 像晃動程度。如圖5所示，水準方向兩條虛線界定的區域 表示t = 0s, ls，2s對應的三張影像幀Y轴方向的穩定區 域。影像幀對齊模組14將該三張影像幀根據該Y軸方向的 穩定區域進行對齊，並剪切掉該三張影像幀中除Y軸方向 的穩定區域以外的其他影像區域，得到圖5中箭頭下方分 別與t = 0 s，1 s，2 s對應的處理後的三張影像幀。 [0026] 步驟S109，影像邊緣資訊讀取模組11讀取連續影像各影 像幀同一侧（例如上側）X軸邊緣橫列的像素點資訊，樣 本建立模組12建立各影像幀的X軸的特徵曲線樣本（如圖 6所示）。具體方法與上述建立各影像幀的Y軸的特徵曲 線樣本類似，在此不再贅述。 [0027] 步驟S111，穩定區域計算模組13比對各影像幀的X軸的特 徵曲線樣本，計算各影像幀的X軸方向的穩定區域。所述 穩定區域指的是與各影像幀X軸邊緣橫列滿足第二預設要 求的第二預設數目n2個連續像素點對應的影像區域。具 體方法與上述計算各影像幀Y軸方向的穩定區域類似，在 此不再贅述。 099136625 表單編號A0101 第12頁/共25頁 0992063991-0 201218761 [0028] 二W是’若某—個影像幢X軸的特徵曲線樣本中有 =m2的連續像素點，一，但是該,2個連續 相鄰的每兩個像素點灰度值的差值滿足第二預 =^種^兄T ’穩定區域計算模組13對該影像 = =^·:Μη2ι2個具有相對應灰度值的像 ㈣i— Λ影像幅X轴的特徵曲線樣本，使得該影像幢x軸 2 有滿足第二預設要求的第二預設數_個連 續像素點。 〇 〇 步驟Sll3，影像鴨對齊模組咐各影像鳩根據X轴方向的 穩定區域進行對齊，並剪切掉各影像傾中X轴方向的穩定 區域以外的其他影像區域，以降低各影像則轴方向的影 象、動程度（如圖7所不）。具體方法與上述將各影像幢 康轴方向的穩疋區域進行對齊類似，在此不再贅述。 最後應說明的是’以上實施方式僅用以說明本發明的技 術方案而非限制，儘管參照較佳實施方式對本發明進行 了詳細說明’本領域的普通技術人員應當理解，可以對 本發明的技術方案進行修改或等同贊換，而不脫離本發 明技術方案的精神和範圍。 【圖式簡單說明】 _冑1係本發明影像穩定系統較佳實施例之顧環境圖。 _ ®2係本發明影像穩定方法較佳實施例之流程圖。 [0033] 圖3係一筆連續影像之示意圖。 [0034] 圖4至圖7係利用本發明提供之影像穩定系統及方法處理 另一筆連續影像之示意圖。 [0029] [0030] 099136625 表單編號A0101 第頁/共25頁 0992063991-0 201218761 【主要元件符號說明】 [0035] 影像處理裝置：100 [0036] 影像穩定系統：10 [0037] 影像邊緣資訊讀取模組：1 1 [0038] 樣本建立模組：12 [0039] 穩定區域計算模組：1 3 [0040] 影像幀對齊模組：14 [0041] 儲存器：20 [0042] 處理器：3 0 [0043] 顯示器：40 099136625 表單編號A0101 第14頁/共25頁 0992063991-0

Claims (1)

1. 201218761 七、申請專利範圍： 1 ·種影像穩定系統，應用於影像處理裝置，該系統包括： 影像邊緣資訊讀取模組，用於讀取連續影像各影像帕的γ 轴同—側邊緣直行的像素點資訊，包括像素點數目、各像 素點的編號及灰度值； 樣本建立模組，用於根據讀取的資訊建立各影像則軸的 特徵曲線樣本，每個特徵曲線樣本包括相對應影像幢Υ軸

   邊緣直行上麟素點數目、各像麵的編號及灰度值，以 及相鄰像素點灰度值的差值； 穩定區域計㈣組，_比料料㈣徵曲線樣 =，計算各影像則轴方向的穩定區域，所述Y轴方向的穩 定區域指的是與各影斜貞Y㈣緣直料足第要求^ 的第-預設數_個連續像素點對應的影像區域^ 影像幢對齊模組’用於將各影斜貞根據以方向的穩定區 域進行對齊’並剪切掉各影像悄中γ轴方向的穩定區域以 外的其他影像區域，以降低各影像鴨γ輪方丨向的影像晃動 程度； 影像邊緣資《襲組料物像各影像則 =一侧邊緣:列的像素點資訊’樣本建立模組還用於根 據讀取的資訊建立各影像鴨的又轴的特徵曲線樣本 穩定區域計算模組，還用於比對各影像_χ轴的特徵曲 線樣本，计算各影像獅方向的穩定區域，所述X軸方向 的穩定區域指的是與各影像m轴邊緣橫列从第二預設 要求的第二預設數目n2個連續像素點對應的影像區域又及 影㈣對齊模組’還用於將各影像幢根據X轴方向的穩定 099136625 表單編號A0101 第15頁/共25頁 0992063991-0 201218761 區域進行對齊，並剪切掉各影像幀中x軸方向的穩定區域 以外的其他影像區域，以降低各影像幀X軸方向的影像晃 動程度。 2 .如申請專利範圍第1項所述的影像穩定系統，其中，若所 述連續影像為彩色影像，則所述影像邊緣資訊讀取模組還 用於將該連續影像由彩色影像轉換為灰度影像，得到連續 影像各影像幀Y軸邊緣直行的像素點的灰度值。 3 .如申請專利範圍第1項所述的影像穩定系統，其中，若某 一個影像幀Y軸的特徵曲線樣本中有一定數目ml的連續像 素點，且ml<nl，但是該ml個連續像素點中相鄰的每兩個 像素點灰度值的差值滿足第一預設要求，則穩定區域計算 模組還用於對該影像幀進行Y轴穩定性補償：增加nl-ml 個具有相對應灰度值的像素點至該影像幀Y軸的特徵曲線 樣本，使得該影像幀Y軸邊緣直行具有滿足第一預設要求 的第一預設數目nl個連續像素點。 4 .如申請專利範圍第1項所述的影像穩定系統，其中，若某 一個影像幀X軸的特徵曲線樣本中有一定數目m2的連續像 素點，且πι2<η2，但是該m2個連續像素點中相鄰的每兩個 像素點灰度值的差值滿足第二預設要求，則所述穩定區域 計算模組還用於對該影像幀進行X軸穩定性補償：增加 n2-m2個具有相對應灰度值的像素點至該影像幀X軸的特 徵曲線樣本，使得該影像幀X軸邊緣橫列具有滿足第二預 設要求的第二預設數目n2個連續像素點。 5 . —種影像穩定方法，應用於影像處理裝置，該方法包括： 第一讀取步驟：讀取連續影像各影像幀的Y軸同一側邊緣 直行的像素點資訊，包括像素點數目、各像素點的編號及 099136625 表單編號A0101 第16頁/共25頁 0992063991-0 201218761 Ο 〇 6 099136625 灰度值； 第 曲線樣本，每個特徵曲線裉：：—·輪的特微 直行上的像素點數目、各像/括相對應影像鴨γ軸邊緣 鄰像素點灰度值的差值；點的編號及灰度值，以及相 第—計算步驟：比對各影像 各影物_穩定區域，樣本，計算 影像幢W邊緣直行滿足域指的是與各 個連續像素點對應的影像區域I要求的第—預設數目nl :齊對:步驟:將各影像難方向的穩定區域進行 並剪切掉各影像㈣％方向_定區域以外的盆 影像區域’以降低各影轉❻方向的影像晃動程度； 讀取步驟：讀取連續影像各影像幢X軸同-側邊緣橫 列的像素點資訊； 第-建立步驟：根據讀取的資訊建立各影像幢的X轴的特 徵曲線樣本； 第二計算步驟：比對各影像幀的X軸的特徵曲線樣本，計 算各影像帕的X軸方向的穩定區域，所述穩定區域指的是 與各影像幀X軸邊緣橫列滿足第二預設要求的第二預設數 目n2個連續像素點對應的影像區域；及 第二對齊步驟：將各影像幀根據X軸方向的穩定區域進行 對齊’並剪切掉各影像幀中X軸方向的穩定區域以外的其 他影像區域，以降低各影像幀X轴方向的影像晃動程度。 如申請專利範圍第5項所述的影像穩定方法，其中，若所 述連續影像為彩色影像，則所述第一讀取步驟前還包括步 驟：將該連續影像由彩色影像轉換為灰度影像，得到連續 建立步驟：根據讀取的 -樣本，以一… 建立各影像幀％的特微 表單編號A0101 第17頁/共25頁 0992063991-0 201218761 影像各影像幀γ軸邊緣直行的像素點的灰度值。 7 .如申請專利範圍第5項所述的影像穩定方法，其中，若某 一個影像幀Υ軸的特徵曲線樣本中有一定數目ml的連續像 素點，且inKnl，但是該ml個連續像素點中相鄰的每兩個 像素點灰度值的差值滿足第一預設要求，則所述第一計算 步驟還包括對該影像幀進行Y軸穩定性補償的步驟：增加 η卜ml個具有相對應灰度值的像素點至該影像幀Y軸的特 徵曲線樣本，使得該影像幀Y軸邊緣直行具有滿足第一預 設要求的第一預設數目nl個連續像素點。 8 .如申請專利範圍第5項所述的影像穩定方法，其中，若某 一個影像幀X軸的特徵曲線樣本中有一定數目m 2的連續像 素點，且m2<n2，但是該m2個連續像素點中相鄰的每兩個 像素點灰度值的差值滿足第二預設要求，則所述第二計算 步驟還包括對該影像幀進行X軸穩定性補償的步驟：增加 n2-m2個具有相對應灰度值的像素點至該影像幀X軸的特 徵曲線樣本，使得該影像幀X軸邊緣橫列具有滿足第二預 設要求的第二預設數目n2個連續像素點。 099136625 表單編號A0101 第18頁/共25頁 0992063991-0