TWI808987B

TWI808987B - 將相機與陀螺儀融合在一起的五維視頻穩定化裝置及方法

Info

Publication number: TWI808987B
Application number: TW107129855A
Authority: TW
Inventors: 庄斌南; 裵東運; 正元李
Original assignee: 南韓商三星電子股份有限公司
Priority date: 2017-11-13
Filing date: 2018-08-28
Publication date: 2023-07-21
Also published as: KR102339906B1; US20190147606A1; CN109788189A; TWI773808B; KR20210152446A; CN109783432B; KR20190054890A; US20200151237A1; CN109788189B; KR102385024B1; US10885145B2; KR20190054898A; US10762162B2; KR102385018B1; US20200356619A1; US10534837B2; US20190147013A1; TW201918906A; CN109783432A; US10740431B2

Abstract

本文中揭露了一種將相機與陀螺儀融合在一起的五維 (5D)視頻穩定化裝置及方法。根據一個實施例，一種裝置包括特徵匹配器，所述特徵匹配器被配置成接收圖像序列並確定所述圖像序列中的特徵對；殘留二維(2D)平移估計器，連接到所述特徵匹配器且被配置成確定原始二維平移路徑；殘留二維平移平滑器，連接到所述殘留二維平移估計器且被配置成確定經平滑的二維平移路徑；畸變計算器，連接到所述殘留二維平移估計器及所述殘留二維平移平滑器且被配置成確定畸變網格；以及畸變補償器，連接到所述畸變計算器且被配置成補償所述圖像序列中的畸變。

Description

將相機與陀螺儀融合在一起的五維視頻穩定化裝置及方法

[相關申請的交叉參考]

本申請主張在2017年11月13日在美國專利與商標局提出申請且被授予序號第62/585,187號的美國臨時專利申請和在2018年6月22日在美國專利與商標局提出申請且被授予序號第16/016,232號的非美國臨時專利申請的優先權，所述專利申請的全部內容併入本申請供參考。

本揭露大體來說涉及一種視頻穩定化的裝置及方法，且更具體來說，涉及一種將相機與陀螺儀融合在一起的五維視頻穩定化裝置及方法。

傳統的基於陀螺儀的視頻穩定化(例如，三維(three dimensional，3D)穩定化)是通過三維旋轉平滑及補償來實現的。傳統的三維穩定化方式不考慮平移相機移動。因此，當在視頻記錄期間存在大的相機平移時，傳統的基於陀螺儀的視頻穩定化會遭受大的不穩定振盪。

傳統的基於陀螺儀的三維視頻穩定化僅對相機的三維旋轉進行穩定化。所述三維旋轉通常是通過對由陀螺儀測量的角速度進行積分來計算的。不會考慮相機的平移，這是因為在物體距離相機至少幾米的大部分場景中，由於三維旋轉引起的抖動更明顯。然而，傳統的基於陀螺儀的三維視頻穩定化會因大的平移移動而遭受殘餘抖動。

根據一個實施例，提供一種五維視頻穩定化的裝置。所述裝置包括：特徵匹配器，被配置成接收圖像序列並確定所述圖像序列中的特徵對；殘留二維(2D)平移估計器，連接到所述特徵匹配器且被配置成確定原始二維平移路徑；殘留二維平移平滑器，連接到所述殘留二維平移估計器且被配置成確定經平滑的二維平移路徑；畸變計算器，連接到所述殘留二維平移估計器及所述殘留二維平移平滑器且被配置成確定畸變網格；以及畸變補償器，連接到所述畸變計算器且被配置成補償所述圖像序列中的畸變。

根據一個實施例，提供一種五維視頻穩定化的方法。所述方法包括：由特徵匹配器接收圖像序列，所述圖像序列具有兩個或更多個連續的圖像；由所述特徵匹配器確定所述圖像序列中的特徵對；由殘留二維(2D)平移估計器確定原始二維平移路徑，所述殘留二維平移估計器接收原始三維(3D)旋轉相機路徑、畫面內三維旋轉及經平滑的三維旋轉相機路徑並連接到所述特徵匹配器；由殘留二維平移平滑器確定經平滑的二維平移路徑；由連接到所述殘留二維平移估計器及所述殘留二維平移平滑器的畸變計算器確定畸變網格；以及由連接到所述畸變計算器的畸變補償器補償所述圖像序列中的畸變。

100:三維視頻穩定系統

101、201、501:三維旋轉估計器

103、203、503:三維旋轉平滑器

105、211、513:畸變計算器

107:畸變補償器

109、215、223、517:輸入

111、217、227:第一輸出

113、219、229、523、533:第二輸出

115、117、121、221、225、231、233、235、521、529、535、537、539:輸出

119:第二輸入

200、500:五維視頻穩定化系統

205、505:特徵匹配器

207、509:殘留二維平移估計器

209、511:殘留二維平移平滑器

213、515:五維畸變補償器

301、321、351:候選滅點

303、305、323、325、337、343、353、355、367、373:線

307、327、359:點

309、329、357:點

311、331、363:點

313、333、361:點

335、377:夾角θ_k

339、371:特徵點

341、369:特徵點

345、375:中點

365:夾角π-θ_k

401、403、405、407、409、411、413:步驟

507:區探測器

519:第一輸出/輸出

525:第一輸入/輸入

527:第二輸入/輸出

531:輸出/第一輸出

600:網路環境

601:電子器件

602、604:電子器件/外部電子器件

608:伺服器/外部電子器件

620:處理器

621:主處理器

623:輔助處理器

630、750:記憶體

632:揮發性記憶體

634:非揮發性記憶體

636:內部記憶體

638:外部記憶體

640、840:程式

642、842:作業系統

644、844:中介軟體

646、846:應用

650:輸入器件

655:聲音輸出器件

660:顯示器件

670:音訊模組

676:感測器模組

677:介面

678:連接端子

679:觸感模組

680、700:相機模組

688:電源管理模組

689:電池

690:通訊模組

692:無線通訊模組

694:有線通訊模組

696:使用者識別模組

697:天線模組

698:第一網路

699:第二網路

710:鏡頭總成

720:閃光燈

730:圖像感測器

740:圖像穩定器

760:圖像訊號處理器

801:應用管理器

803:視窗管理器

805:多媒體管理器

807:資源管理器

809:電源管理器

811:資料庫管理器

813:資料包管理器

815:連線性管理器

817:通知管理器

819:位置管理器

821:圖形管理器

823:安全管理器

825:電話管理器

827:語音辨識管理器

851:主頁應用

853:撥號器應用

855:短消息服務/多媒體消息傳送服務應用

857:即時消息應用

859:瀏覽器應用

861:相機應用

863:告警應用

865:連絡人應用

867:語音辨識應用

869:電子郵件應用

871:日曆應用

873:媒體播放機應用

875:相簿應用

877:手錶應用

879:健康應用

881:環境資訊應用

結合附圖閱讀以下詳細說明，本揭露的某些實施例的以上及其他方面、特徵及優點將更顯而易見，在附圖中：圖1示出根據一個實施例的基於陀螺儀的三維視頻穩定化系統的方塊圖。

圖2示出根據一個實施例的五維視頻穩定化系統的方塊圖。

圖3A、圖3B及圖3C示出根據一個實施例的基於核面幾何的離群值剔除(epipolar geometry based outlier rejection)的圖。

圖4示出根據一個實施例的五維視頻穩定化方法的流程圖。

圖5示出根據一個實施例的五維視頻穩定化系統的方塊圖。

圖6示出根據一個實施例的網路環境中的電子器件的方塊圖。

圖7示出根據一個實施例的相機模組的方塊圖。

圖8示出根據一個實施例的電腦程式的方塊圖。

在下文中，參照附圖詳細闡述本揭露的實施例。應注意，相同的元件將由相同的參考編號指示，儘管它們示出在不同的圖式中。在以下說明中，提供例如詳細配置及元件等具體細節僅是為了幫助全面理解本揭露的實施例。因此，對所屬領域中的技術人員應顯而易見，在不背離本揭露的範圍的條件下可對本文所述的實施例作出各種改變及修改。另外，為清晰及簡潔起見，省略對眾所周知的功能及構造的說明。以下所述用語是考慮到本揭露中的功能而定義的用語，且可根據使用者、使用者的意圖或習慣而有所不同。因此，這些用語的定義應基於本說明書通篇的內容來確定。

本揭露可具有各種修改及各種實施例，以下參照附圖詳細闡述其中的一些實施例。然而應理解，本揭露並非僅限於所述實施例，而是包括處於本揭露的範圍內的所有修改、等效形式及替代形式。

儘管可能使用包括例如“第一(first)”、“第二(second)”等序數詞的用語來闡述各種元件，但結構元件不受這些用語限制。這些用語僅用於區分各個元件。舉例來說，在不背離本揭露的範圍的條件下，“第一結構元件”可被稱為“第二結構元件”。相似地，“第二結構元件”也可被稱為“第一結構元件”。本文中所用的用語“和/或(and/or)”包括一個或多個相關項的任意及所有組合。

本文中所用的用語僅用於闡述本揭露的各種實施例，而並非旨在限制本揭露。除非上下文清楚地另外指明，否則單數形式旨在包括複數形式。在本揭露中，應理解，用語“包括 (include)”或“具有(have)”指示特徵、數目、步驟、操作、結構元件、部件或其組合的存在，而不排除一個或多個其他特徵、數位、步驟、操作、結構元件、部件或其組合的存在或添加的可能。

除非進行不同地定義，否則本文中所用的所有用語均具有與本揭露所屬領域中的技術人員所理解的含意相同的含意。例如在常用字典中所定義的用語等用語應被解釋為具有與相關技術領域中的上下文含意相同的含意，且除非在本揭露中進行清楚定義，否則不應將其解釋為具有理想化或過於正式的含意。

根據一個實施例的電子器件可為各種類型的電子器件中的一種。電子器件可包括例如可攜式通訊器件(例如，智慧型電話)、電腦、可攜式多媒體器件、可攜式醫療器件、相機、穿戴式器件或家用電器。根據一個實施例，電子器件並非僅限於上述電子器件。

本揭露中所用的用語並非旨在限制本揭露，而是旨在包括對對應實施例的各種改變、等效形式或替代形式。關於對附圖的說明，可使用相似的參考編號指代相似的或相關的元件。除非相關上下文清楚地另外指明，否則與物項對應的名詞的單數形式可包括一個或多個事物。本文所用的例如“A或B”、“A及B中的至少一者”、“A或B中的至少一者”、“A、B或C”、“A、B、及C中的至少一者”及“A、B、或C中的至少一者”等短語中的每一者可包括與短語中的對應一個短語一同枚舉的物項的所有可能組合。本文所用的例如“第一(1^st、first)”及第二(2^nd、second)等用語可用於將對應的元件與另一個元件進行區分，而不旨在在其他方面(例如，重要性或次序)對元件進行限制。本文意圖在於，如果在帶有或不帶有用語“可操作地”或“可通訊地”的條件下將元件(例如，第一元件)稱為與另一元件(例如，第二元件)“耦合”、“耦合到”另一元件、與另一元件“連接”或“連接到”另一元件，則其表示元件可直接地(例如，以有線方式)、無線地或通過第三元件與另一元件耦合。

本文所用用語“模組”可包括以硬體、軟體或韌體形式實施的單元，且可與例如“邏輯”、“邏輯區塊”、“部件”及“電路”等其他用語互換使用。模組可為適以執行一種或多種功能的單個整體元件或所述單個整體元件的最小單元或部件。舉例來說，根據一個實施例，模組可被實施為應用專用積體電路(application-specific integrated circuit，ASIC)的形式。

根據一個實施例，本揭露的方法可包括在電腦程式產品中及在電腦程式產品中提供。電腦程式產品可在賣方與買方之間作為產品進行交易。電腦程式產品可以機器可讀儲存介質(例如，壓縮磁碟唯讀記憶體(compact disc read only memory，CD-ROM))形式分發，或者通過應用商店(例如，播放商店^TM(Play Store^TM)線上分發(例如，下載或上傳)，或者直接在兩個用戶器件(例如，智慧型電話)之間分發。如果線上分發，則電腦程式產品的至少一部分可在機器可讀儲存介質(例如，製造商伺服器的記憶體、應用商店的伺服器或中繼伺服器)中臨時產生或至少臨時儲存在所述機器可讀儲存介質中。

根據一個實施例，上述元件中的每一個元件(例如，模組或程式)可包括單個實體或多個實體。可省略上述元件中的一者或多者，或者可添加一個或多個其他元件。作為另外一種選擇或另外地，可將多個元件(例如，模組或程式)集成成單個元件。在這種情形中，集成元件仍可以與在集成之前所述多個元件中的對應一者執行一種或多種功能的方式相同或相似的方式來執行所述多個元件中的每一者的所述一種或多種功能。由模組、程式或另一元件執行的操作可依序地、並行地、重複地或啟發式地執行，或者所述操作中的一個或多個操作可以不同的次序執行或者被省略，或者可添加一個或多個其他操作。

在實施例中，通過在三維旋轉補償之後對殘留二維平移進行估計及穩定化以實現五維視頻穩定化來解決當在視頻記錄期間存在大的相機平移時出現大的不穩定振盪的問題。

在實施例中，五維穩定化裝置及方法將相機感測器與陀螺儀資訊融合在一起。相機的三維旋轉是從陀螺儀直接測量得到的。在對三維旋轉進行平滑及補償之後，可能由於相機的三維平移而存在剩餘振盪。由於缺乏深度，因此無法完美地估計或利用三維平移。由此，在圖像平面內觀察殘留二維平移，所述殘留二維平移可通過對基於陀螺儀的三維旋轉估計值與來自圖像序列的視覺資訊進行融合來進行估計。五維視頻穩定化是通過在運動平滑及補償中對三維旋轉與殘留二維平移進行組合來實現的。五維視頻穩定化會改善穩定化性能，尤其在平移移動大的場景中。

在實施例中，使用殘留二維平移。已通過解決“運動恢復結構(structure from motion)”問題對用於視頻穩定化的三維平移估計進行了研究。然而，這種方式可能遭受初始縮放模糊且可能因計算成本高而無法用於即時穩定化。在實施例中，對殘留二維平移進行估計來對圖像中由三維平移造成的最終效應進行近似，殘留二維平移可以低的計算成本進行有效地估計且仍可捕獲由於三維平移導致的偽影(artifact)。

在實施例中，使用基於將感測器與視覺融合在一起的方式來估計殘餘二維平移。如在傳統的基於陀螺儀的視頻穩定化中一樣，三維旋轉可從由陀螺儀測量的角速度容易地且準確地獲得。基於三維旋轉估計值，可從自連續的圖像提取的特徵對將三維旋轉效應去除。利用近似，從經處理的特徵對估計殘留二維平移。

在實施例中，使用基於核面幾何的離群值剔除方案來選擇用於殘留二維平移估計的特徵對。在去除三維旋轉效應之後，可能會由三維平移造成連續畫面中特徵點的移動。因此，對每一個特徵對進行連接的線應在滅點(vanishing point)處相交。在實施例中，這種性質用於以下闡述的基於核面幾何的離群值剔除方法中。

在實施例中，一種五維穩定化裝置及方法包括三維旋轉估計、使用感測器-視覺融合以及組合的對三維與殘留二維補償進行視頻穩定化的殘留二維平移估計、以及捲簾快門(rolling shutter，RS)效應去除。

在實施例中，通過陀螺儀-視覺融合進行的殘留二維平移會高效地估計在傳統的基於陀螺儀的視頻穩定化中被忽略的因相機的三維平移引起的效應。

在實施例中，五維穩定化有效地去除因相機的不同類型的運動(例如，三維旋轉及三維平移)導致的運動抖動(motion jitter)，這會提高存在平移時的性能。

視頻穩定化會去除不期望的運動抖動並將最初抖動視頻重構成滿足一般觀看者的電影感知(cinematographic perception)的穩定視頻。穩定化技術有兩種主要類別，即光學圖像穩定化(optical image stabilization，OIS)及數位圖像穩定化(digital image stabilization，DIS)。OIS常常通過基於由陀螺儀測量的暫態相機移動而機械地移動相機鏡頭或感測器來實現。因此，會在記錄圖像之前將不想要的運動去除。DIS則在記錄圖像之後去除不想要的運動。在DIS中，可估計多個畫面中的相機運動(例如，估計原始路徑)。接著基於估計原始路徑來確定經平滑的路徑。通過圖像捲繞處理(image warping process)，可採用仿佛相機正在沿經平滑的路徑移動一樣的方式來校正視頻。本揭露考慮DIS。

圖1示出根據一個實施例的基於陀螺儀的三維視頻穩定系統的方塊圖。基於陀螺儀的三維視頻穩定系統100包括三維旋轉估計器101、三維旋轉平滑器103、畸變計算器105及畸變補償器107。

三維旋轉估計器101包括輸入109、第一輸出111及第二輸出113。三維旋轉估計器101在輸入109處接收由陀螺儀測量的角速度且使用所述角速度來估計相機的畫面間三維旋轉及畫面內三維旋轉，並在第一輸出111處輸出累積原始三維旋轉相機路徑且在第二輸出113處輸出畫面內三維旋轉。

三維旋轉平滑器103包括輸入以及輸出115，所述輸入連接到三維旋轉估計器101的第一輸出111。三維旋轉平滑器103對從三維旋轉估計器101接收的原始三維相機路徑進行平滑並在輸出115處輸出原始三維旋轉相機路徑以及經平滑的三維旋轉相機路徑。

畸變計算器105包括第一輸入、第二輸入、第三輸入及輸出117，所述第一輸入連接到三維旋轉平滑器103的輸出115，第二輸入連接到三維旋轉估計器101的第一輸出111，第三輸入連接到三維旋轉估計器101的第二輸出113，輸出117提供畸變網格(distorted grid)。通過使用原始三維旋轉相機路徑、畫面內三維旋轉及經平滑的三維旋轉相機路徑，畸變計算器105確定畸變網格。

畸變補償器107包括第一輸入、第二輸入119及輸出121，所述第一輸入連接到畸變計算器105的輸出117。畸變補償器107從畸變計算器105的輸出117接收畸變網格且在第二輸入119處接收圖像序列，並使用畸變網格來補償圖像序列中的三維旋轉。

圖2示出根據一個實施例的五維視頻穩定化系統的方塊圖。五維視頻穩定化系統200包括三維旋轉估計器201、三維旋轉平滑器203、特徵匹配器205、殘留二維平移估計器207、殘留二維平移平滑器209、畸變計算器211及五維畸變補償器213。

三維旋轉估計器201包括輸入215、第一輸出217及第二輸出219。三維旋轉估計器201在輸入215處接收由陀螺儀測量的角速度且使用所述角速度來估計相機的畫面間三維旋轉及畫面內三維旋轉，並在第一輸出217處輸出累積原始三維旋轉相機路徑，且在第二輸出219處輸出畫面內三維旋轉。

三維旋轉平滑器203包括輸入及輸出221，所述輸入連接到三維旋轉估計器201的第一輸出217。三維旋轉平滑器203對從三維旋轉估計器201的第一輸出217接收到的原始三維旋轉相機路徑進行平滑並在輸出221處輸出經平滑的三維旋轉相機路徑。

特徵匹配器205包括輸入223及輸出225，輸入223接收圖像序列，輸出225提供特徵對。殘留二維平移估計器207包括第一輸入、第二輸入、第三輸入、第四輸入、第一輸出227及第二輸出229，所述第一輸入連接到三維旋轉估計器201的第一輸出217，所述第二輸入連接到三維旋轉估計器201的第二輸出219，所述第三輸入連接到三維旋轉平滑器203的輸出221，所述第四輸入連接到特徵匹配器205的輸出225，第一輸出227提供殘留二維平移的估計值(即，原始二維平移路徑)，且第二輸出229提供畫面內殘留二維平移。殘留二維平移估計器207接收來自特徵匹配器205的輸出225的兩個連續圖像中的特徵對、來自三維旋轉估計器201的第一輸出217的原始三維旋轉相機路徑、來自三維旋轉估計器201的第二輸出219的畫面內三維旋轉以及來自三維旋轉平滑器203的輸出221的經平滑的三維旋轉相機路徑以估計殘留二維平移。殘留二維平移估計器207的第一輸出227是原始二維平移路徑。殘留二維平移估計器207的第二輸出229是畫面內殘留二維平移。

殘留二維平移平滑器209具有輸入及輸出231，所述輸入連接到殘留二維平移估計器207的第一輸出227，輸出231提供經平滑的二維平移路徑。殘留二維平移平滑器209通過對從殘留二維平移估計器207的第一輸出227接收的對應的原始二維平移路徑進行平滑來產生經平滑的二維平移路徑。

畸變計算器211包括第一輸入、第二輸入、第三輸入、第四輸入、第五輸入、第六輸入及輸出233，所述第一輸入連接到三維旋轉估計器201的第一輸出217，所述第二輸入連接到三維旋轉估計器201的第二輸出219，所述第三輸入連接到三維旋轉平滑器203的輸出221，所述第四輸入連接到殘留二維平移估計器207的第一輸出227，所述第五輸入連接到殘留二維平移估計器207的第二輸出229，所述第六輸入連接到殘留二維平移平滑器209的輸出231，輸出233提供畸變網格。畸變計算器211對來自三維旋轉估計器201的第一輸出217的原始三維旋轉相機路徑、來自三維旋轉估計器201的第二輸出219的畫面內三維旋轉、來自三維旋轉平滑器203的輸出221的經平滑的三維旋轉相機路徑、來自殘留二維平移估計器207的第一輸出227的原始二維平移路徑、來自殘留二維平移估計器207的第二輸出229的畫面內殘留二維平移及來自殘留二維平移平滑器209的輸出231的經平滑的二維平移路徑進行組合以確定畸變網格。使用畫面內三維旋轉及畫面內殘留二維平移來確定畸變網格以補償捲簾快門(RS)效應。

五維畸變補償器213包括第一輸入、第二輸入及輸出235，所述第一輸入連接到畸變計算器211的輸出233，所述第二輸入連接到特徵匹配器205的輸入223。五維畸變補償器213從畸變計算器211的輸出233接收畸變網格，且在第二輸入處接收圖像序列，並使用畸變網格來補償圖像序列中的畸變。

在實施例中，對於運動估計而言，使用基於核面幾何的離群值剔除來選擇特徵對。

在實施例中，可通過對由陀螺儀測量的角速度進行積分來確定三維旋轉。對於平滑相機運動而言，估計兩個連續畫面之間的畫面內三維旋轉及三維旋轉的對應的累積原始路徑。對於RS補償而言，估計畫面內三維旋轉。第n畫面的時間標記被表示為t _n，其對應於記錄圖像的中間列的時間。從畫面n-1到畫面n的畫面間旋轉由

表示，

表示從t _n-1到t _n的相機三維旋轉且可在以下方程式(1)中加以確定：

其中ω ₁、…、ω _N可分別為在時間τ₁、…、τ_N處取得的t _n-1與t _n之間N

0陀螺儀樣本的3×1角速度向量。τ₀及τ_N+1對應於畫面n-1及畫面n的時間標記，即，τ₀=t _n-1及τ_N+1=t _n。這兩個時間實例處對應的角速度ω ₀及ω _N+1分別是通過在τ₀及τ_N+1周圍對兩個最接近的陀螺儀樣本進行插值獲得的。原始三維旋轉路徑是通過從畫面0到所有後續畫面對畫面間旋轉進行累積來確定的，如在方程式(2)中所示：

其中 R (θ)是從旋轉向量θ到旋轉向量θ的等效3×3三維旋轉矩陣的變換。對於θ而言， R (θ)可使用矩陣指數(matrix exponential)或羅德里格斯旋轉公式(Rodrigues’ rotation formula)來確定。對於路經平滑而言，直到畫面n為止的累積三維旋轉的旋轉向量表示形式被表示為θ _n，θ _n可在三維旋轉平滑器203中進行平滑。經平滑的三維旋轉相機路徑的旋轉矩陣及旋轉向量分別被表示為 R _n′及θ _n′。

對於RS補償而言，確定從中間列到所有其他列的畫面內三維旋轉。畫面n中從中間列到第y列的旋轉被表示為θ _n(y)。為確定畫面內旋轉，畫面n中從第0列到所有其他列的旋轉被確定且被表示為θ _n(y)。這可通過將τ₀改變到第0列的時間且將τ_N+1改變到第y列的時間來以如以上方程式(1)中所述一樣的方式實現。畫面內旋轉

因此在以下方程式(3)中加以確定：

其中y _mid是中間列的索引。

的等效旋轉矩陣表示形式被表示為

。

陀螺儀測量僅提供三維旋轉資訊。平移資訊可從圖像序列提取。為估計從畫面n-1到畫面n的畫面內殘留二維平移，特徵匹配器205對兩個連續畫面之間的特徵對進行匹配。第k對二維圖像座標被表示為( x _k,n-1, x _k,n)，且對應的齊次座標(homogeneous coordinate)表示形式被表示為(

,

)。由於各個二維圖像座標是從同一三維世界座標 X _k投影得到，因此，相機運動可如在方程式(4)中所示一樣：

其中 P _n是表示畫面n中的三維平移的3×1向量，且 K 是3×3相機本征矩陣，所述3×3相機本征矩陣在以下方程式(5)中給出：

其中f是以圖像圖元計的焦距，且(u ₀,v ₀)是圖像平面中相機主軸的原點。為估計三維平移 P _n的影響，如以下方程式(6)中一樣將三維旋轉的效應移除：

以上方程式(6)中的差值是在根據期望的經平滑路徑對圖像進行捲繞之後由三維平移造成的。在畫面n中使用 R _n′

， R _n′

對應于在畫面n中應用的實際三維補償。然而，在畫面n-1中使用 R _n′

而非

。這是由於由 R _n′ R _n′^-1給定的附加旋轉是從畫面n-1到畫面n的期望的經平滑三維旋轉相機路徑，殘留平移影響不應含有這一部分。這就是為何在畫面n-1中應用

。方程式(6)中的差計算無法直接計算得到，這是因為 R _n X _k+ P _n及 R _n-1 X _k+ P _n-1並非直接可用的。由此，使用遠距離物體假設，即，假設圖像中的物體相對於焦距位於距圖像平面遠得多的距離處。

儘管在方程式(6)中計算的差值是會反映三維平移影響的3×1向量，然而所述差值並不直接暗示圖像的最終結果且無法在不知曉 X _k、 P _n-1及 P _n的條件下進行計算。由此，確定在二維座標正則化之後的差以使用特徵對的座標來獲得圖像平面中的殘留二維平移。方程式(6)中的這兩項可如在以下方程式(7)及方程式(8)中一樣進行計算：

及

二者均為3×1向量，即，

且

。由第k 特徵對給出的殘留二維估計因此如以下方程式(9)中一樣進行確定：

畫面間殘留二維平移的最小均方誤差(minimum mean square error，MMSE)估計值可如以下方程式(10)中一樣通過對這K個特徵對取平均值來確定：

對畫面間殘留二維平移進行累積以獲得原始殘留二維平移路徑。由於

是儘管沿著經平滑的三維旋轉相機路徑行進，然而仍存在的殘留移動，因此所述累積可如以下方程式(11)中一樣來確定：

基於原始路徑確定的對應的經平滑路徑由 T _n′表示。

在確定畫面間殘留二維平移估計值之後，可通過假設恒定的平移速度來估計畫面內殘留二維平移。在畫面n中從中間列到第y列的畫面內平移向量如以下方程式(12)中所示：

其中H是每一圖像中的列的總數目。可假設多項式模型(polynomial model)或分段線性模型(piece wise linear model)來代替恒定速度模型以捕獲畫面內平移的變化。

根據圖像的視圖以及特徵探測/匹配演算法而定，用於殘留二維平移估計的特徵對可能含有離群值。因此，可使用利用在方程式(7)中計算的(

,

)的特殊幾何性質進行的離群值剔除法。(

,

)可被視為匹配特徵點對的齊次座標。對應的二維歐幾裡得表示形式由如以下方程式(13)中的正則化形式給出：

由於各個匹配點之間的差僅由三維平移造成，因此，根據核面幾何的性質，連接這些特徵對的線應在滅點處相交。使用離群值剔除法來將不指向滅點的特徵對剔除。

在實施例中，用於離群值剔除法的基於核面幾何的隨機樣本一致(random sample consensus，RANSAC)可基於下表1中的隨機樣本一致(RANSAC)。

直到達到最大數目的反覆運算為止。

圖3A示出根據一個實施例的基於核面幾何的離群值剔除的圖。在每一RANSAC反覆運算中，候選滅點

301被計算為指向相反方向且分別連接兩個隨機選擇的特徵對的兩條線303與線305的交叉點，其中第一特徵對包括沿線303指向候選滅點

301的點

307及點

309，且其中第二特徵對包括沿線305遠離候選滅點

301的點

311及點

313。在這種情形中，本系統跳過隨後的計算且繼續進行下一反覆運算。

圖3B示出根據一個實施例的基於核面幾何的離群值剔除的圖。在每一RANSAC反覆運算中，候選滅點

321被計算為在同一方向上指向候選滅點

321且分別連接兩個隨機選擇的特徵對的兩條線323與線325的交叉點，其中第一特徵對包括沿線323指向候選滅點

321的點

327及點

329，且其中第二特徵對包括沿線325指向候選滅點

321的點

331及點

333。接著，對於每一特徵對k而言，確定線337與線343之間的夾角θ_k 335，線337連接兩個特徵點

339與特徵點

341且指向特徵點

341，且線343連接候選滅點

321與線337的中點345。夾角θ_k 335衡量特徵對

339與

341指向候選滅點

321的接近程度。如果夾角θ_k 335小於閾值γ，則特徵對k被視為內群值且被添加到臨時內群值集合

。在每一反覆運算結束時，如果臨時內群值集合

具有比

多的特徵對，則以

來更新

。殘留二維平移估計值將使用以上離群值剔除流程之後的

中的內群值。

圖3C示出根據一個實施例的基於核面幾何的離群值剔除的圖。在每一RANSAC反覆運算中，候選滅點

351被計算為指向同一方向且分別連接兩個隨機選擇的特徵對的兩條線353與線355的交叉點，其中第一特徵對包括沿線353遠離候選滅點

351的點

357及點

359，且其中第二特徵對包括沿線355遠離候選滅點

351的點

361及點

363。接著，對於每一特徵對k而言，確定線367與線373之間的夾角θ_k 377，線367連接兩個特徵點

371與特徵點

369且指向特徵點

369，線373連接候選滅點

351與線367的中點375。夾角π-θ_k 365衡量特徵對

371與

369指向候選滅點

351的接近程度。如果夾角π-θ_k 365小於閾值γ，則特徵對k被視為內群值且被添加到臨時內群值集合

。在每一反覆運算結束時，如果臨時內群值集合

具有比

多的特徵對，則以

來更新

。殘留二維平移估計值將使用以上離群值剔除流程之後的

中的內群值。

對三維旋轉與殘留二維平移的累積路徑進行平滑以產生對應的穩定路徑。為獲得畫面n中的經平滑的路徑值，必須考慮從畫面n-w ₁到畫面n+w ₂的原始路徑，其中w ₁及w ₂分別是過去的平滑視窗大小及未來的平滑視窗大小。經平滑的路徑的確定可使用濾波或者通過考慮更複雜的路徑優化來實現。由於三維旋轉及殘留二維平移的路徑平滑參數表示不同的物理運動，因此必須分開考慮三維旋轉及殘留二維平移的路徑平滑參數。

對於經補償圖像中的點 x ′=[x ₁′,x ₂′]而言，畸變計算器211中的操作是找到原始圖像中的對應座標 x =[x ₁,x ₂]。與殘留二維平移相關的補償發生在圖像平面內。由此， x _T′是如以下方程式(14)中一樣在殘留二維平移補償之前確定的：

其中 T _n′是經平滑的殘留二維平移路徑， T _n是原始殘留二維平移路徑，且

是畫面n中從中間列到x ₂′列的畫面內殘留二維平移。對於 x _T′而言，對三維旋轉補償進行反轉以取得原始圖像中對應的座標，這是對三維座標而非圖像平面中的二維座標執行的，如以下方程式(15)中一樣：

其中 R _n′是經平滑的三維旋轉路徑， R _n是原始三維旋轉路徑，且

是畫面n中從中間列到x ₂′列的畫面內旋轉。對以上方程式(14)與方程式(15)進行組合，可如以下方程式(16)中一樣對

進行確定：

原始圖像中的最終二維座標 x 可通過如在以下方程式(17)中一樣確定齊次座標

的對應的二維歐幾裡得座標來獲得：

圖4示出根據一個實施例的五維視頻穩定化的方法的流程圖。在401處，三維旋轉估計器(例如，三維旋轉估計器201)接收由陀螺儀測量的角速度且使用所述角速度來估計相機的三維旋轉並確定累積原始三維旋轉相機路徑估計值及畫面內三維旋轉估計值。

在403處，三維旋轉平滑器(例如，三維旋轉平滑器203)對所接收的原始三維旋轉相機路徑進行平滑並確定經平滑的三維旋轉相機路徑。

在405處，特徵匹配器(例如，特徵匹配器205)接收圖像序列並確定特徵對。

在407處，殘留二維平移估計器(例如，殘留二維平移估計器207)使用來自特徵匹配器的兩個連續圖像中的特徵對、對應的三維旋轉原始相機路徑、對應的三維旋轉經平滑的相機路徑及從三維旋轉估計器201估計得到的對應的畫面內三維旋轉來估計殘留二維平移並確定原始二維平移路徑估計值及畫面內殘留二維平移估計值。

在409處，殘留二維平移平滑器(例如，殘留二維平移平滑器209)從殘留二維平移估計器接收原始二維平移路徑並產生二維經平滑的平移路徑。

在411處，畸變計算器(例如，畸變計算器211)對三維旋轉估計器的原始三維旋轉相機路徑、三維旋轉平滑器的經平滑的三維旋轉相機路徑、殘留二維平移估計器的原始二維平移路徑、及殘留二維平移平滑器209的二維經平滑的平移路徑進行組合以確定畸變網格。在實施例中，執行捲簾快門(RS)補償，其中還使用畫面內三維旋轉及畫面內殘留二維平移來確定畸變網格。

在413處，五維畸變補償器(例如，五維畸變補償器213)接收由畸變計算器確定的畸變網格，在第二輸入處接收圖像序列，並使用畸變網格來補償圖像序列中的畸變。

在圖2所示裝置中，使用分佈在整個場景中的K個特徵對在以上方程式(10)中計算平均畫面間二維平移。在一個實施例中，對整個場景執行全域三維旋轉補償且對所述場景中的某些區(例如，顯著區)選擇性地補償殘留二維平移。舉例來說，為補償二維平移，著重於視頻中的一些區。因此，代替在以上方程式(10)中對殘留二維平移進行全域估計，在以下方程式(18)中估計每一類別i的平均畫面間殘留二維平移：

其中Ω_i是屬於第i區的特徵對的集合，且|Ω_i|是Ω_i中特徵對的數目。因此，以上方程式(11)中的原始二維路徑 T _n、以上方程式(12)中的畫面內平移

、以及經平滑的二維路徑 T _n′按照類別被計算為

、

及 T _n′ⁱ。殘留二維平移補償可如以上方程式(13)中一樣全域地執行或者，根據情景而定，僅使用所選擇的目標區單獨地執行。舉例來說，由於物體移動，因此可存在兩個區，其中一個物體類別包括一個人在騎自行車。另一物體類別可包括兩個人一起步行。由於這兩個區的二維平移是在相反的方向上，因此分開對這兩個區進行補償。以下參照圖5更詳細地闡述用於選擇性地補償單獨的區的裝置。

圖5示出根據一個實施例的五維視頻穩定化系統的另一個方塊圖。五維視頻穩定化系統500包括三維旋轉估計器501、三維旋轉平滑器503、特徵匹配器505、區探測器507、殘留二維平移估計器509、殘留二維平移平滑器511、畸變計算器513及五維畸變補償器515。區探測器507只是必須知曉感興趣的區，其中在所述感興趣的區中，對用於殘留二維平移估計的運動向量取平均值。區探測器507可為物體探測器(例如，面探測器(face detector))，但還可基於自動聚焦區塊，所述自動聚焦區塊不同於物體探測器。在實施例中，可從自動聚焦區塊獲得感興趣的區。

三維旋轉估計器501包括輸入517、第一輸出519及第二輸出523。三維旋轉估計器501在輸入517處接收由陀螺儀測量的角速度且使用所述角速度來估計相機的畫面間三維旋轉及畫面內三維旋轉，並在第一輸出519處輸出累積原始三維旋轉相機路徑，且在第二輸出523處輸出畫面內三維旋轉。

三維旋轉平滑器503包括輸入及輸出521，所述輸入連接到三維旋轉估計器501的第一輸出519。三維旋轉平滑器503對從三維旋轉估計器501的輸出519接收到的三維原始旋轉相機路徑進行平滑並在輸出523處輸出經平滑的三維旋轉相機路徑。

特徵匹配器505包括第一輸入525、第二輸入527及輸出529，第一輸入525接收圖像序列，第二輸入527接收感興趣的區，輸出529提供所接收到的感興趣的區的特徵對。特徵匹配器505識別屬於每一個感興趣的區的特徵對。

區探測器507包括輸入及輸出527，所述輸入連接到特徵匹配器505的第一輸入525以接收圖像序列，輸出527提供在圖像序列中探測到的感興趣的區。區探測器507可用於區分圖像中的各種資訊(例如，不同的物體、銳度不同的區)。區探測器507對圖像序列中的區進行探測且將關於所述區的資訊傳遞到特徵匹配器505及畸變計算器513。

殘留二維平移估計器509包括第一輸入、第二輸入、第三輸入、第四輸入、及輸出531以及第二輸出533，所述第一輸入連接到三維旋轉估計器501的第一輸出519，所述第二輸入連接到三維旋轉估計器501的第二輸出523，所述第三輸入連接到三維旋轉平滑器503的輸出521，所述第四輸入連接到特徵匹配器505的輸出529，輸出531提供殘留二維平移的估計值(即，原始二維平移路徑)，且第二輸出533針對每一個所接收的感興趣的區提供畫面內殘留二維平移。殘留二維平移估計器509接收針對從特徵匹配器505接收到的每一個感興趣的區的來自特徵匹配器505的輸出529的兩個連續圖像中的特徵對、來自三維旋轉估計器501的第一輸出519的原始三維旋轉相機路徑、來自三維旋轉估計器501的第二輸出523的畫面內三維旋轉以及來自三維旋轉平滑器503的輸出521的經平滑的三維旋轉相機路徑，以估計所接收的感興趣的區的殘留二維平移。殘留二維平移估計器509的第一輸出531是原始二維平移路徑。殘留二維平移估計器509的第二輸出533是畫面內殘留二維平移估計值。

殘留二維平移平滑器511具有輸入及輸出535，所述輸入連接到殘留二維平移估計器509的第一輸出531，輸出535提供經平滑的二維平移路徑。殘留二維平移平滑器511通過對從殘留二維平移估計器509接收的對應的原始二維平移路徑進行平滑來產生二維經平滑的平移路徑。

畸變計算器513包括第一輸入、第二輸入、第三輸入、第四輸入、第五輸入、第六輸入、第七輸入及輸出537，所述第一輸入連接到三維旋轉估計器501的第一輸出519，所述第二輸入連接到三維旋轉估計器501的第二輸出523，所述第三輸入連接到三維旋轉平滑器503的輸出521，所述第四輸入連接到殘留二維平移估計器509的第一輸出531，所述第五輸入連接到殘留二維平移估計器509的第二輸出533，所述第六輸入連接到殘留二維平移平滑器511的輸出535，所述第七輸入連接到區探測器507的輸出527，輸出537提供畸變網格。畸變計算器513對來自三維旋轉估計器501的第一輸出519的原始三維旋轉相機路徑、來自三維旋轉估計器501的第二輸出523的畫面內三維旋轉、來自三維旋轉平滑器503的輸出521的經平滑的三維旋轉相機路徑、來自殘留二維平移估計器509的第一輸出531的原始二維平移路徑、來自殘留二維平移估計器509的第二輸出533的畫面內殘留二維平移、來自殘留二維平移平滑器511的輸出535的經平滑的二維平移路徑及由區探測器507探測到的區進行組合以確定畸變網格。使用畫面內三維旋轉及畫面內殘留二維平移來確定畸變網格以補償RS。畸變計算器513基於對應的圖元屬於哪一個區來執行殘留二維平移補償。

五維畸變補償器515包括第一輸入、第二輸入及輸出539，所述第一輸入連接到畸變計算器513的輸出537，所述第二輸入連接到特徵匹配器505的輸入525。五維畸變補償器515接收由畸變計算器513確定的畸變網格且在第二輸入處接收圖像序列，並使用畸變網格來補償圖像序列中的畸變。

圖6示出根據一個實施例的網路環境中的電子器件的方塊圖。網路環境600中的電子器件601可通過第一網路698(例如，短距離無線通訊網路)來與電子器件602進行通訊，或者通過第二網路699(例如，長距離無線通訊網路)來與電子器件604或伺服器608進行通訊。根據一個實施例，電子器件601可通過伺服器608來與電子器件604進行通訊。電子器件601可包括處理器 620、記憶體630、輸入器件650、聲音輸出器件655、顯示器件660、音訊模組670、感測器模組676、介面677、觸感模組(haptic module)679、相機模組680、電源管理模組688、電池689、通訊模組690、使用者識別模組(subscriber identification module，SIM)696或天線模組697。在一個實施例中，可從電子器件601省略這些元件中的至少一者(例如，顯示器件660或相機模組680)，或者可向電子器件601添加一個或多個其他元件。在一個實施例中，所述元件中的一些元件可被實施為單個積體電路(integrated circuit，IC)。舉例來說，感測器模組676(例如，指紋感測器(fingerprint sensor)、虹膜感測器(iris sensor)或亮度感測器(illuminance sensor))可嵌入在顯示器件660(例如，顯示器)中。

處理器620可執行例如軟體(例如，程式640)以控制與處理器620耦合的電子器件601的至少一個其他元件(例如，硬體元件或軟體元件)，且可執行各種資料處理或計算。根據一個實施例，作為資料處理或計算的至少一部分，處理器620可在揮發性記憶體632中載入從另一個元件(例如，感測器模組676或通訊模組690)接收的命令或資料，處理儲存在揮發性記憶體632中的命令或資料，以及將所得資料儲存在非揮發性記憶體634中。根據一個實施例，處理器620可包括主處理器621(例如，中央處理器(central processing unit，CPU)或應用處理器(application processor，AP))以及能夠獨立於主處理器621運行或與主處理器621結合運行的輔助處理器623(例如，圖形處理單元(graphics processing unit，GPU)、圖像訊號處理器(image signal processor， ISP)、感測器集線器處理器(sensor hub processor)或通訊處理器(communication processor，CP))。另外地或作為另外一種選擇，輔助處理器623可適以消耗比主處理器621少的功率，或者執行特定功能。輔助處理器623可與主處理器621分開實施或者作為主處理器621的一部分實施。

當主處理器621處於非現用(inactive)(例如，睡眠)狀態時，輔助處理器623可替代主處理器621來控制與電子器件601的元件中的至少一個元件(例如，顯示器件660、感測器模組676或通訊模組690)相關的功能或狀態中的至少一些功能或狀態；或者當主處理器621處於現用狀態(例如，正在執行應用時)，輔助處理器623可與主處理器621一起控制上述功能或狀態中的至少一些功能或狀態。根據一個實施例，輔助處理器623(例如，圖像訊號處理器或通訊處理器)可被實施為在功能上與輔助處理器623相關的另一個元件(例如，相機模組680或通訊模組690)的一部分。

記憶體630可儲存由電子器件601的至少一個元件(例如，處理器620或感測器模組676)使用的各種資料。所述各種資料可包括例如軟體(例如，程式640)以及用於與軟體相關的命令的輸入資料或輸出資料。記憶體630可包括揮發性記憶體632或非揮發性記憶體634。

程式640可作為軟體儲存在記憶體630中且可包括例如作業系統(operating system，OS)642、中介軟體(middleware)644或應用646。

輸入器件650可從電子器件601的外部(例如，使用者) 接收將由電子器件601的其他元件(例如，處理器620)使用的命令或資料。輸入器件650可包括例如麥克風、滑鼠或鍵盤。

聲音輸出器件655可將聲音訊號輸出到電子器件601的外部。聲音輸出器件655可包括例如揚聲器或接收器。揚聲器可用於一般用途(例如，播放多媒體或錄音)，且接收器可用於接收傳入呼叫。根據一個實施例，接收器可與揚聲器分開實施或作為揚聲器的一部分實施。

顯示器件660可向電子器件601的外部(例如，使用者)以視覺方式提供資訊。顯示器件660可包括例如顯示器、全息圖器件(hologram device)或投影儀以及用於控制顯示器、全息圖器件及投影儀中的對應一者的控制電路。根據一個實施例，顯示器件660可包括適以探測觸摸的觸摸電路、或適以測量由觸摸引發的力的強度的感測器電路(例如，壓力感測器)。

音訊模組670可將聲音轉換成電訊號以及將電訊號轉換成聲音。根據一個實施例，音訊模組670可通過輸入器件650獲得聲音，或者通過聲音輸出器件655或通過與電子器件601直接地(例如，以有線方式)耦合或無線耦合的外部電子器件(例如，電子器件602)的頭戴耳機來輸出聲音。

感測器模組676可探測電子器件601的運行狀態(例如，功率或溫度)或者電子器件601外部的環境狀態(例如，使用者狀態)，且接著產生與所探測的狀態對應的電訊號或資料值。根據一個實施例，感測器模組676可包括例如手勢感測器(gesture sensor)、陀螺儀感測器(gyro sensor)、大氣壓感測器(atmospheric pressure sensor)、磁性感測器(magnetic sensor)、加速度感測器 (acceleration sensor)、握持感測器(grip sensor)、接近感測器(proximity sensor)、顏色感測器(color sensor)、紅外(infrared，IR)感測器、生物特徵感測器(biometric sensor)、溫度感測器(temperature sensor)、濕度感測器(humidity sensor)或亮度感測器。

介面677可支援為將電子器件601直接地(例如，以有線方式)或無線地與外部電子器件(例如，電子器件602)耦合而使用的一種或多種規定協議。根據一個實施例，介面677可包括例如高清晰度多媒體介面(high definition multimedia interface，HDMI)、通用序列匯流排(universal serial bus，USB)介面、安全數位(secure digital，SD)卡介面或音訊介面。

連接端子678可包括連接件，電子器件601可通過連接件與外部電子器件(例如，電子器件602)實體連接。根據一個實施例，連接端子678可包括例如HDMI連接件、USB連接件、SD卡連接件或音訊連接件(例如，頭戴耳機連接件)。

觸感模組679可將電訊號轉換成機械刺激(例如，震動或移動)或者可由用戶通過觸覺(tactile sensation)或動覺(kinesthetic sensation)識別的電刺激。根據一個實施例，觸感模組679可包括例如電動機、壓電式元件(piezoelectric element)或電刺激器(electrical stimulator)。

相機模組680可拍攝靜止圖像或移動圖像。根據一個實施例，相機模組680可包括一個或多個鏡頭、圖像感測器、圖像訊號處理器或閃光燈。

電源管理模組688可管理向電子器件601供應的電力。根據一個實施例，電源管理模組688可被實施為例如電源管理積體電路(power management integrated circuit，PMIC)的至少一部分。

電池689可向電子器件601的至少一個元件供電。根據一個實施例，電池689可包括例如不可再充電的一次電池(primary cell)、可再充電的二次電池(secondary cell)或燃料電池(fuel cell)。

通訊模組690可支援在電子器件601與外部電子器件(例如，電子器件602、電子器件604或伺服器608)之間建立直接的(例如，有線的)通訊通道或無線的通訊通道以及通過所建立的通訊通道執行通訊。通訊模組690可包括可獨立於處理器620(例如，AP)運行的一個或多個通訊處理器並支援直接的(例如，有線的)通訊或無線的通訊。根據一個實施例，通訊模組690可包括無線通訊模組692(例如，蜂窩通訊模組、短距離無線通訊模組或全球導航衛星系統(global navigation satellite system，GNSS)通訊模組)或有線通訊模組694(例如，局域網(local area network，LAN)通訊模組或電力線通訊(power line communication，PLC)模組)。這些通訊模組中對應的一個通訊模組可通過第一網路698(例如，短距離通訊網路，例如藍牙^TM、無線保真(wireless-fidelity，Wi-Fi)直接或紅外資料協會(Infrared Data Association，IrDA)標準)或第二網路699(例如，長距離通訊網路，例如蜂窩網路、互聯網或電腦網路(例如，LAN或廣域網路(wide area network，WAN)))與外部電子器件進行通訊。這些各種類型的通訊模組可被實施為單個元件(例如，單個積體電路)或者可被實施為彼此分開的多個組件(例如，多個積體電路)。無線通訊模組692可使用儲存在使用者識別模組696中的使用者資訊(例如，國際移動用戶識別碼(international mobile subscriber identity，IMSI))來識別及認證通訊網路(例如，第一網路698或第二網路699)中的電子器件601。

天線模組697可將訊號或電力傳送到電子器件601外部(例如，外部電子器件)或者從電子器件601外部接收訊號或電力。根據一個實施例，天線模組697可包括一個或多個天線，且舉例來說通訊模組690(例如，無線通訊模組692)可從所述一個或多個天線中選擇適用於在通訊網路(例如，第一網路698或第二網路699)中使用的通訊方案的至少一個天線。然後可通過所選擇的至少一個天線在通訊模組690與外部電子器件之間傳送或接收訊號或電力。

上述元件中的至少一些元件可人工進行耦合且所述至少一些元件之間可通過週邊間通訊方案(inter-peripheral communication scheme)(例如，匯流排、通用輸入及輸出(general purpose input and output，GPIO)、串列週邊介面(serial peripheral interface，SPI)或移動產業處理器介面(mobile industry processor interface，MIPI))傳送訊號(例如，命令或資料)。

根據一個實施例，可通過與第二網路699進行耦合的伺服器608在電子器件601與外部電子器件604之間傳送或接收命令或資料。電子器件602及電子器件604中的每一者可為與電子器件601為相同類型或不同類型的器件。根據一個實施例，將在電子器件601處執行的所有操作或一些操作可在外部電子器件602、外部電子器件604或外部電子器件608中的一者或多者處執行。舉例來說，如果電子器件601原本應自動地或回應於來自用戶或另一個器件的請求而執行功能或服務，則替代執行所述功能或服務或者除了執行所述功能或服務之外，電子器件601還可請求所述一個或多個外部電子器件執行所述功能或服務的至少一部分。接收到所述請求的所述一個或多個外部電子器件可執行所請求的功能或服務的所述至少一部分，或者執行與所述請求相關的其他功能或其他服務，並將所述執行的結果傳輸到電子器件601。電子器件601可在對結果進行進一步處理或不進行進一步處理的情況下提供所述結果作為對請求的回復的至少一部分。為此，舉例來說，可使用雲計算、分散式運算或客戶機-伺服器計算技術。

一個實施例可被實施為包括儲存在可由機器(例如，電子器件601)讀取的儲存介質(例如，內部記憶體636或外部記憶體638)中的一個或多個指令的軟體(例如，程式640)。舉例來說，機器(例如，電子器件601)的處理器(例如，處理器620)可在使用或不使用受處理器控制的一個或多個其他元件的條件下調用儲存在儲存介質中的所述一個或多個指令中的至少一個指令，並執行所述至少一個指令。因此，可操作機器根據所調用的所述至少一個指令來執行至少一種功能。所述一個或多個指令可包括由編譯器產生的代碼或者可由解譯器執行的代碼。機器可讀儲存介質可設置成非暫時性儲存介質形式。用語“非暫時性”表示儲存介質是有形器件，且不包括訊號(例如，電磁波)，但此用語並不區分資料以半永久方式儲存在儲存介質中的情形與資料臨時儲存在儲存介質中的情形。

圖7示出根據一個實施例的相機模組的方塊圖。相機模組700可包括鏡頭總成710、閃光燈720、圖像感測器730、圖像穩定器(image stabilizer)740、記憶體750(例如，緩衝記憶體)或圖像訊號處理器760。鏡頭總成710可收集從要被拍攝圖像的物體發出或反射的光。鏡頭總成710可包括一個或多個鏡頭。根據一個實施例，相機模組700可包括多個鏡頭總成710。在這種情形中，相機模組700可形成例如雙攝相機(dual camera)、360度相機(360-degree camera)或球形相機(spherical camera)。所述多個鏡頭總成710中的一些鏡頭總成710可具有相同的鏡頭屬性(例如，視角、焦距、自動聚焦、f數(f number)或光學變焦(optical zoom))，或者至少一個鏡頭總成可具有與另一鏡頭總成的屬性不同的一個或多個鏡頭屬性。鏡頭總成710可包括例如廣角鏡頭(wide-angle lens)或攝遠鏡頭(telephoto lens)。

閃光燈720可發出光來加強從物體反射的光。根據一個實施例，閃光燈720可包括一個或多個發光二極體(light emitting diode，LED)(例如，紅綠藍(red-green-blue，RGB)LED、白色LED、紅外(IR)LED或紫外(ultraviolet，UV)LED)或氙氣燈(xenon lamp)。圖像感測器730可通過將從物體發出或反射並通過鏡頭總成710透射的光轉換成電訊號來獲得與物體對應的圖像。根據一個實施例，圖像感測器730可選自具有不同屬性的圖像感測器，例如RGB感測器、黑白(black-and-white，BW)感測器、IR感測器或UV感測器、具有相同屬性的多個圖像感測器或具有不同屬性的多個圖像感測器。包括在圖像感測器730中的每一個圖像感測器可使用例如電荷耦合器件(charged coupled device，CCD)感測器或互補金屬氧化物半導體(complementary metal oxide semiconductor，CMOS)感測器來實施。

圖像穩定器740可在特定方向上移動圖像感測器730或移動鏡頭總成710中包括的至少一個鏡頭，或者回應於相機模組700的移動或包括相機模組700的電子器件601的移動來控制圖像感測器730的操作屬性(例如，調整讀出時序)。這使得能夠補償因所述移動而對正被拍攝的圖像造成的至少部分負面影響(例如，圖像模糊)。根據一個實施例，圖像穩定器740可使用設置在相機模組700內部或外部的陀螺儀感測器或加速度感測器來感測相機模組700或電子器件601的這種移動。根據一個實施例，圖像穩定器740可被實施為例如光學圖像穩定器。

記憶體750可至少臨時地儲存通過圖像感測器730獲得的圖像的至少一部分以用於後續影像處理任務。舉例來說，如果由於快門滯後(shutter lag)而導致圖像拍攝延遲或如果快速拍攝多個圖像，則可將獲得的原始圖像(例如，拜耳圖案圖像(Bayer-patterned image)、高解析度圖像)儲存在記憶體750中，且可通過顯示器件660來預覽原始圖像的對應的副本圖像(例如，低解析度圖像)。之後，如果滿足規定條件(例如，使用者的輸入或系統命令滿足所述規定條件)，則圖像訊號處理器760可例如獲得及處理儲存在記憶體750中的原始圖像的至少一部分。根據一個實施例，記憶體750可被配置成記憶體630的至少一部分或者被配置成獨立於記憶體630運行的單獨記憶體。

圖像訊號處理器760可對通過圖像感測器730獲得的圖像或儲存在記憶體750中的圖像執行一種或多種影像處理。所述一種或多種影像處理可包括例如深度圖生成(depth map generation)、三維(3D)建模、全景生成(panorama generation)、特徵點提取、圖像合成或圖像補償(例如，降噪、解析度調整、明度調整、模糊、銳化或軟化)。另外地或作為另外一種選擇，圖像訊號處理器760可對相機模組700中所包括的元件中的至少一個元件(例如，圖像感測器730)執行控制(例如，曝光時間控制或讀出時序控制)。由圖像訊號處理器760處理的圖像可儲存在記憶體750中以用於進一步處理，或者可被提供到位於相機模組700外部的外部元件(例如，記憶體630、顯示器件660、電子器件602、電子器件604或伺服器608)。根據一個實施例，圖像訊號處理器760可被配置成處理器620的至少一部分，或者被配置成獨立於處理器620運行的單獨處理器。如果圖像訊號處理器760被配置成與處理器620分開的單獨處理器，則處理器620可通過顯示器件660來原樣顯示由圖像訊號處理器760處理的至少一個圖像或者在對所述至少一個圖像進行進一步處理之後加以顯示。

根據一個實施例，電子器件601可包括具有不同的屬性或功能的多個相機模組700。在這種情形中，所述多個相機模組700中的至少一個相機模組700可形成例如廣角相機且所述多個相機模組700中的至少另一個相機模組700可形成攝遠相機。相似地，所述多個相機模組700中的至少一個相機模組700可形成例如前置相機且所述多個相機模組700中的至少另一個相機模組700可形成後置相機。

圖8示出根據一個實施例的電腦程式的方塊圖。程式840可包括用於控制電子器件(例如，601)的一種或多種資源的OS 842、中介軟體844或可在OS 842中執行的應用846。OS 842 可包括例如安卓®(Android®)、蘋果作業系統(iOS®)、視窗®(Windows®)、塞班®(Symbian®)、泰澤®(Tizen®)或八達^TM(Bada^TM)。舉例來說，程式840的至少一部分可在製造期間預載入在電子器件上，或者可在使用者使用期間從外部電子器件(例如，電子器件602或604、或者伺服器608)下載或由外部電子器件更新。

OS 842可控制對電子器件601的一種或多種系統資源(例如，進程、記憶體或電源)的管理(例如，分配或解除配置)。另外地或作為另外一種選擇，OS 842可包括一個或多個驅動器程式以驅動電子器件601的其他硬體器件(例如，輸入器件650、聲音輸出器件655、顯示器件660、音訊模組670、感測器模組676、介面677、觸感模組679、相機模組680、電源管理模組688、電池689、通訊模組690、使用者識別模組696或天線模組697)。

中介軟體844可向應用846提供各種功能以使應用846可使用從電子器件601的一種或多種資源提供的功能或資訊。中介軟體844可包括例如應用管理器801、視窗管理器803、多媒體管理器805、資源管理器807、電源管理器809、資料庫管理器811、資料包管理器813、連線性管理器815、通知管理器817、位置管理器819、圖形管理器821、安全管理器823、電話管理器825或語音辨識管理器827。

應用管理器801舉例來說可管理應用846的壽命迴圈。視窗管理器803舉例來說可管理在螢幕上使用的一種或多種圖形使用者介面(graphical user interface，GUI)資源。多媒體管理器805舉例來說可識別將用於播放媒體檔的一種或多種格式，且可使用適用於從所述一種或多種格式選出的對應一種格式的轉碼器來對媒體檔中的對應一者進行編碼或解碼。資源管理器807舉例來說可管理應用846的原始程式碼或記憶體830的記憶體空間。電源管理器809舉例來說可管理電池689的容量、溫度或電力，且至少部分地基於電池689的容量、溫度或電力的對應資訊來確定或提供將用於電子器件601的操作的相關資訊。根據一個實施例，電源管理器809可與電子器件601的基本輸入/輸出系統(basic input/output system，BIOS)交交互操作。

資料庫管理器811舉例來說可產生、搜索或改變將由應用846使用的資料庫。資料包管理器813舉例來說可管理以資料包檔形式分發的應用的安裝或更新。連線性管理器815舉例來說可管理電子器件601與外部電子器件之間的無線連接或直接連接。通知管理器817舉例來說可提供將規定事件(例如，傳入呼叫、消息或警告)的出現通知給用戶的功能。位置管理器819舉例來說可管理電子器件601的位置資訊。圖形管理器821舉例來說可管理將向用戶提供的一種或多種圖形效果或者與所述一種或多種圖形效果相關的使用者介面。

安全管理器823舉例來說可提供系統安全或使用者認證。電話管理器825舉例來說可管理由電子器件601提供的語音呼叫功能或視頻呼叫功能。語音辨識管理器827舉例來說可將使用者的語音資料傳送到伺服器608、並從伺服器608接收與將至少部分地基於所述語音資料對電子器件601執行的功能對應的命令、或者接收至少部分地基於所述語音資料轉換而來的文本資料。根據一個實施例，中介軟體844可動態地刪除一些現有元件或添加新元件。根據一個實施例，中介軟體844的至少一部分可被包括為OS 842的一部分或者可在與OS 842分開的其他軟體中實施。

應用846可包括例如主頁應用(home application)851、撥號器應用(dialer application)853、短消息服務(short message service，SMS)/多媒體消息傳送服務(multimedia messaging service，MMS)應用855、即時消息(instant message，IM)應用857、瀏覽器應用859、相機應用861、告警應用863、連絡人應用(contact application)865、語音辨識應用867、電子郵件應用869、日曆應用871、媒體播放機應用873、相簿應用875、手錶應用877、健康應用879(例如，用於測量鍛練程度或生物特徵資訊(例如，血糖))或環境資訊應用881(例如，用於測量氣壓、濕度或溫度資訊)。根據一個實施例，應用846還可包括能夠支援電子器件601與外部電子器件之間的資訊交換的資訊交換應用。資訊交換應用舉例來說可包括適以向外部電子器件傳輸指定資訊(例如，呼叫、消息或警告)的通知中繼應用、或者包括適以管理外部電子器件的器件管理應用。通知中繼應用可向外部電子器件傳輸與在電子器件601的另一應用(例如，電子郵件應用869)處出現規定事件(例如，電子郵件接收)對應的通知資訊。另外地或作為另外一種選擇，通知中繼應用可從外部電子器件接收通知資訊並將通知資訊提供到電子器件601的使用者。

器件管理應用可控制外部電子器件或外部電子器件的一些元件(例如，外部電子器件的顯示器件或相機模組)的電源(例如，接通或關斷)或功能(例如，亮度、解析度或焦距的調整)。另外地或作為另外一種選擇，器件管理應用可支援在外部電子器件上運行的應用的安裝、刪除或更新。

儘管已在本揭露的詳細說明中闡述了本揭露的某些實施例，然而在不背離本揭露的範圍的條件下可以各種形式來對本揭露進行修改。因此，本揭露的範圍不應僅基於所闡述的實施例來確定，而是應基於隨附權利要求書及其等效形式來確定。

401、403、405、407、409、411、413:步驟

Claims

一種五維視頻穩定化的裝置，包括：特徵匹配器，被配置成接收圖像序列並確定所述圖像序列中的特徵對；殘留二維平移估計器，連接到所述特徵匹配器且被配置成確定原始二維平移路徑；殘留二維平移平滑器，連接到所述殘留二維平移估計器且被配置成確定經平滑的二維平移路徑；畸變計算器，連接到所述殘留二維平移估計器及所述殘留二維平移平滑器且被配置成確定畸變網格；畸變補償器，連接到所述畸變計算器且被配置成以三維旋轉的形式補償所述圖像序列中的畸變；三維旋轉估計器，被配置成確定原始三維旋轉相機路徑及畫面內三維旋轉估計值；以及三維旋轉平滑器，連接到所述三維旋轉估計器且被配置成確定經平滑的三維旋轉相機路徑，其中所述畸變補償器更被配置成通過接收所述圖像序列及使用所述畸變網格來補償所述圖像序列中的畸變，並且所述三維旋轉估計器更被配置成通過接收相機的角速度及估計所述相機的三維旋轉來確定所述原始三維旋轉相機路徑。
如申請專利範圍第1項所述的裝置，其中所述三維旋轉估計器更被配置成通過接收相機的角速度及估計所述相機的畫面內三維旋轉來確定所述原始三維旋轉相機路徑。
如申請專利範圍第1項所述的裝置，更包括陀螺儀，所述陀螺儀連接到所述三維旋轉估計器且被配置成確定相機的所述角速度。
如申請專利範圍第1項所述的裝置，其中所述三維旋轉平滑器更被配置成通過對所述原始三維旋轉相機路徑進行平滑來確定所述經平滑的三維旋轉相機路徑。
如申請專利範圍第1項所述的裝置，其中所述特徵匹配器更被配置成使用基於核面幾何的離群值剔除法來確定所述圖像序列中的特徵對。
如申請專利範圍第5項所述的裝置，其中所述離群值剔除法包括：隨機選擇第一特徵對及第二特徵對；確定基於所述第一特徵對的第一條線及基於所述第二特徵對的第二條線；基於所述第一條線及所述第二條線來確定滅點；對於每一個特徵對，確定第三條線；對於每一個特徵對的所述第三條線，確定將所述滅點連接到所述第三條線的中點的第四條線；對於每一個特徵對，確定所述第三條線與所述第四條線之間的夾角；以及將夾角大於閾值的每一特徵對作為離群值剔除。
如申請專利範圍第1項所述的裝置，其中所述殘留二維平移估計器更被配置成從兩個連續圖像的特徵對、原始三維旋轉相機路徑、經平滑的三維旋轉相機路徑及畫面內三維旋轉來確定畫面內殘留二維平移估計值及所述原始二維平移路徑。
如申請專利範圍第1項所述的裝置，其中所述殘留二維平移估計器更被配置成從兩個連續圖像的特徵對及對應的畫面內三維旋轉來確定所述原始二維平移路徑。
如申請專利範圍第1項所述的裝置，其中所述畸變計算器更被配置成通過對原始三維相機路徑、經平滑的三維相機路徑、三維畫面內旋轉、所述原始二維平移路徑、所述經平滑的二維平移路徑及殘留二維畫面內平移進行組合來確定所述畸變網格。
如申請專利範圍第1項所述的裝置，更包括物體探測器，所述物體探測器連接到所述特徵匹配器及所述畸變計算器且被配置成接收所述圖像序列並確定物體類別。
一種五維視頻穩定化的方法，包括：由特徵匹配器接收圖像序列，所述圖像序列具有兩個或更多個連續的圖像；由所述特徵匹配器確定所述圖像序列中的特徵對；由殘留二維平移估計器確定原始二維平移路徑，所述殘留二維平移估計器接收原始三維旋轉相機路徑、畫面內三維旋轉及經平滑的三維旋轉相機路徑並連接到所述特徵匹配器；由殘留二維平移平滑器確定經平滑的二維平移路徑；由連接到所述殘留二維平移估計器及所述殘留二維平移平滑器的畸變計算器確定畸變網格；由連接到所述畸變計算器的畸變補償器以三維旋轉的形式補償所述圖像序列中的畸變；由三維旋轉估計器確定所述原始三維旋轉相機路徑；由連接到所述三維旋轉估計器的三維旋轉平滑器確定所述經平滑的三維旋轉相機路徑；由所述三維旋轉估計器確定所述畫面內三維旋轉的估計值；由所述三維旋轉估計器通過接收相機的角速度及估計所述相機的三維旋轉來確定所述原始三維旋轉相機路徑；以及由所述畸變補償器通過接收所述圖像序列及使用所述畸變網格來補償所述圖像序列中的畸變。
如申請專利範圍第11項所述的方法，更包括：由所述三維旋轉估計器通過接收相機的角速度及估計所述相機的所述畫面內三維旋轉來確定所述原始三維旋轉相機路徑。
如申請專利範圍第11項所述的方法，更包括：由連接到所述三維旋轉估計器的陀螺儀確定相機的所述角速度。
如申請專利範圍第11項所述的方法，更包括：由所述三維旋轉平滑器通過對所述原始三維旋轉相機路徑進行平滑來確定所述經平滑的三維旋轉相機路徑。
如申請專利範圍第11項所述的方法，更包括：由所述特徵匹配器使用基於核面幾何的離群值剔除法來確定所述圖像序列中的特徵對。
如申請專利範圍第15項所述的方法，其中所述離群值剔除法包括：隨機選擇第一特徵對及第二特徵對；確定基於所述第一特徵對的第一條線及基於所述第二特徵對的第二條線；基於所述第一條線及所述第二條線來確定滅點；對於每一個特徵對，確定第三條線；對於每一個特徵對的所述第三條線，確定將所述滅點連接到所述第三條線的中點的第四條線；對於每一個特徵對，確定所述第三條線與所述第四條線之間的夾角；以及將夾角大於閾值的每一特徵對作為離群值剔除。
如申請專利範圍第11項所述的方法，更包括：由所述殘留二維平移估計器從兩個連續圖像的特徵對、所述原始三維旋轉相機路徑、所述經平滑的三維旋轉相機路徑及所述畫面內三維旋轉來確定畫面內殘留二維平移估計值及所述原始二維平移路徑。
如申請專利範圍第11項所述的方法，更包括：由所述殘留二維平移估計器從兩個連續圖像的特徵對及對應的畫面內三維旋轉來確定所述原始二維平移路徑。
如申請專利範圍第11項所述的方法，更包括：由所述畸變計算器通過對所述原始三維旋轉相機路徑、所述經平滑的三維相機路徑、三維畫面內旋轉、所述原始二維平移路徑、所述經平滑的二維平移路徑及殘留二維畫面內平移進行組合來確定所述畸變網格。
如申請專利範圍第11項所述的方法，更包括：由區探測器確定至少一個區。