200913688 六、發明說明： 【發明所屬之技術領域】 本發明-般係關於影像感測器之影像穩定領域。更具體 而言’本發明係關於-種影像感測器裝置及方法，其可將影 像穩定資料嵌入影像感測器所產生之影像資料中。 【先前技術】 ' 影像感測器為-種裝置’其可獲取並處理光線，使其成 為電子訊號，進而形成靜態影像或動態影像。其用途已在眾 多場合下普遍使用，如卫業應用或科學應用，包含數位㈣、 攝錄像機、手持行動裝置、網路攝影機、醫學應用、汽車應 用、遊戲、玩具、保全及監視、圖形辨識及自動檢驗等。用 於製造影像感測器之技術一直在持續快速進步。 目前有兩種主要的影像感測器類型：電荷耦合裝置 (Charge-Coupled Device ’ CCD)感測器及互補式金屬氧化物半 導體（Complementary Metal Oxide Semiconductor，CMOS)感 測器。一直到最近，多數的影像感測器仍為CCD型。早期的 CMOS感測器具有較低的光敏度及較高的雜訊位準，將其使 用僅侷限於少數的低價及低解析度之應用場合。近來CM0S 技術上的進展’已經能成功開發高效能CMOS感測器，使其 在其他應用領域中正快速地取代CCD，特別是在那些視速 度、電力消耗、空間大小、晶載功能性(on_chip functionality) 為重要因素的應用領域中。 在上述兩種影像感測器中，採集光線的光感應單元(light gathering photosite)都是形成於一基質上，並且排列成二維陣 200913688 歹1J。此光感應單元（photosite)通常稱為圖像元件 element)或者像素(pixel)，可將入射光線轉換成電荷。像素的 數量、空間尺寸及間距決定此感测器所產生影像的解^斤产 近來的影像感測器一般包含以像素陣列排列的數百萬像素， 以提供高解析度之影像。 為了獲得彩色影像，每個像素覆蓋有一濾色器（c〇1〇r filter)，其為一種只允許特定波長光線穿透的光學元件。淚色 器陣列（color filter array，CFA)係設置於像素陣列之上方，用 於各像素以分離色彩資訊。最普常見的慮色器陣列類型稱為 「貝爾陣列（Bayer array)」，其由紅綠濾色器及綠藍滤、色器以 列交替的形式排列組成。貝爾陣列具有的綠色濾、色器數量為 藍色或紅色濾色器的兩倍，以解決人類視覺系統對光譜中綠 色部分的峰值靈敏度。 除了濾色器陣列之外，影像感測器還包含微透鏡 (microlens)陣列。此微透鏡陣列具有很多微透鏡，每個微透 鏡對應於一個像素。陣列中的每個微透鏡將入射光聚焦至其 對應像素的感光區域’以提南其收集光線的能力，從而改善 影像感測器之整體靈敏度。微透鏡陣列還可以改善影像感測 器之填充因素（fill factor)，此填充因素即像素内感光區域與 整體像素區域之比值。 由影像感測器獲得的代表影像資訊之電子訊號，一般會 被傳送至影像§fl號處理為（Image Signal Processor，ISP)或其 他數位訊號處理器（Digital Signal Processor，DSP)以轉換成數 位訊號，並且被處理以產生一數位影像。由影像感測器所產 200913688 生之數位影像之品質，主要取決於其靈敏度及其他一些因 素，例如與透鏡相關因素（閃光及色差）、訊號處理因素、與 系統控制相關因素（聚焦及曝光誤差）及時間與運動因素。 更特別地，含有影像感測器的裝置（例如數位相機及攝錄 像機），其物理性運動將使感測器產生之影像整體變得模糊。 為了避免相機的運動，可在曝光的持續時間内，簡單地保持 感測器裝置的穩定，例如使用三腳架。另一個策略則是採用 更快的快門速度。當以上無法達成時，則可以使用影像穩定 (Image Stabilization，IS)技術，以補償其影像感測器裝置的 運動，從而減少或者避免影像模糊。 目前影像穩定技術主要有三種類型：（1)機械或基於硬體 之影像穩定技術；（2)數位或基於軟體之影像穩定技術；及（3) 混合影像穩定技術，即結合基於硬體及基於軟體之影像穩定 技術。第一類影像穩定技術，即基於硬體之影像穩定技術， 一般係内建運動感測器，以偵測及補償任何的裝置移動。此 内建運動感測器一般被稱為迴轉儀(gyro)，係债測其影像感 測器之轉動運動或任何角加速度，並且產生含有運動資料之 訊號。接著，由迴轉儀所獲得之資料被用於控制影像感測器 光學組件中的光學元件，例如在裝置產生運動後，藉由移動 其裝置中的鏡組，以重導其入射光朝向運動前之相同像素。 如此，可產生具有運動補償效果之數位影像。 基於硬體之影像穩定技術，其產生之運動補償的數位影 像之品質，取決於其運動感測器對其光學組合元件的物理控 制，以補償其裝置的運動。隨著其元件的磨損或失效，此光 200913688 學組件將容易故障。此外，其光學元件的尺寸及質量，將會 限制基於硬體的影像穩定技術的運作速度。因為此技術的反 應時間對某些類型的運動而言太慢，將可能造成不期望的模 糊結果。再者，基於硬體之影像穩定技術因為具有複雜的機 械結構，因此不適合使用於小型及移動式影像感測器裝置， 例如行動電話及其他手持式行動裝置。 第二類影像穩定技術，即基於軟體之影像穩定技術，針 對基於硬體之影像穩定技術的機械缺點，改以軟體執行所有 影像穩定工作，而不使用運動感測器。此技術將只需依靠一 微處理器（microprocessor)執行影像穩定程序，其直接連接至 影像感測器，以偵測影像感測器所產生之原始像素資料的運 動。當產生運動補償的數位影像時，影像穩定程序將處理原 始像素資料，以補償所偵測到的運動。 基於軟體之影像穩定技術，雖然可以減少或避免基於硬 體之影像穩定技術的機械複雜性，但卻增加軟體複雜性、處 理速度及記憶體容量之需求。因為其對處理速度及記憶體容 量的需求，使其可能無法使用於以低價位及低效能微處理器 運作的小尺寸及移動式影像感測器裝置。然而，因為半導體 科技的進步，將使得處理效能所需成本及微處理器所需記憶 體降低，最終這些技術將能有潛力提供最有效的影像穩定方 案。 混合式影像穩定技術，為目前可得的第三類影像穩定技 術，其係針對基於硬體之影像穩定技術的缺點加以改善所提 出，亦可降低基於軟體之影像穩定技術於處理效能上的高需 200913688 求。混合式影像穩定技術，類似於基於硬體之影像穩定技術， 也包含使用一内建運動感測器，以偵測任何裝置的運動，並 產生包含運動資料之訊號。接著，此訊號被傳送至影像感測 器裝置中之微處理器，並類似基於軟體之影像穩定技術使用 一影像穩定演算法進行處理，移動圖像並補償裝置的物理運 動。 圖一顯示一種使用混合式影像穩定技術的影像感測器 裝置之實施例。影像感測器裝置100包含影像感測器105以 從光源接收光線，並根據所接收光線形成之光學影像產生對 應之影像資料110。影像感測器裝置100也包含運動感測器 115以偵測裝置100之物理運動，其將影響由影像感測器105 所產生的光學影像之品質。運動感測器115對應裝置100之 物理運動而產生運動資料120。此運動資料120可選擇性再 處理以產生處理過的運動資料130 (processed movement data)。由影像感測器105所產生之影像資料110及由運動感 測器115產生之運動資料120(或處理過的運動資料130)皆被 傳送至微處理器135,其資料介面為140及145,再經由影像 穩定演算法及其他影像訊號處理程序進行處理，以產生運動 補償的數位影像。 在這種情況下，運動補償的數位影像的品質，取決於由 影像感測器產生之原始像素資料及由運動感測器產生之運動 資料是否同步。若其原始像素資料及其運動資料並非同步， 則微處理器中的影像穩定演算法將無法對偵測到的運動進行 補償，其結果將對影像品質造成可觀的損害。此外，因為微 200913688 處理器接收由影像感測器及運動感測器兩者而來的訊號，因 此需要兩個介面以處理資料。這對於小型及移動式影像感測 器裝置的應用而言，可能又是另一個問題，因為中其處理能 力及成本為主要因素。 因此，需要提供一種影像感測器裝置，可解決使用混合 式影像穩定技術以產生運動補償的數位影像的現有影像感測 器裝置的缺點。更特別地，需要提供一種影像感測器裝置， 其能夠基於影像感測器的原始像素及運動感測器的運動資料 而產生運動補償的數位影像，並且具有時間及空間的同步性。 【發明内容】 本發明提出一種影像感測器裝置，其包含一運動感測 器，可根據影像感測器裝置的運動情形而產生運動資料。一 影像感測器，可產生對應於光學影像的影像資料，可接收來 自運動感測器的運動資料，並產生具有運動資料嵌入其中的 嵌入式影像資料。一處理器，可從影像感測器接收此嵌入式 影像資料，並且產生運動補償的數位影像。 本發明的一實施例包含一種用以產生運動補償的數位 影像之方法。影像資料係由一影像感測器所獲得，而運動資 料係由一運動感測器所獲得。運動資料在影像感測器被嵌入 至影像資料，以產生嵌入式影像資料，接著處理此嵌入式影 像資料可產生運動補償的影像資料。 本發明的另一實施例包含一種影像感測器裝置，其包含 一影像感測器以產生影像資料。此影像感測器包含資料介面 以接收來自運動感測器之運動資料，並且將此運動資料嵌入 200913688 至影像資料中以產生嵌入式影像資料。 【實施方式】 本發明提供一種用於產生運動補償的數位影像 (movement-compensated digital image)之影像感測器裝置。此 處如通常所使用的’影像感測器可為一個裝置或電路，用以 獲取或處理光線而成為電子訊號。此電子訊號的處理一般可 藉由一影像訊號處理器或其他可將訊號處理為數位靜態影像 或動態影像的裝置或電路。此影像訊號處理器可包含各種可 執行程序，其中包含用以補償影像感測器裝置之運動的影像 穩定程序。 圖一顯示一個根據本發明實施例建構的影像感測器裝 置。景々像感測器裝置200包含影像感測器205，以從光源接 收光線，並且根據所接收光線形成的光學影像，產生對應之 影像資料。此影像資料包含由影像感測器205產生之原始像 素為料。此衫像 > 料還可包含遮沒間隔（bianking interval)、 與影像感測器相關的元資料(metadata)、時序資料或者與影像 感測器或影像感測器裝置使用者相關的任何其他資料。 影像感測器裝置200也包含運動感測器21〇，以偵測裝 置200的物理性運動’其將影響由影像感測器2〇5所產生之 光學影像之品質。運動感測器210對應於裴置200之物理性 運動而產生運動資料215。在一實施例中，此運動感測器可 為—迴轉儀。運動資料215可選擇性地被再處理，以產生處 理過的運動資料225。例如，運動資料215可被處理以補償 柯式效應（Coriolis effect)。 200913688 運動資料，包含運動資料215或處理過的運動資料225， 皆接著被直接傳送至影像感測器205。此運動資料經由一資 料介面被影像感測器205接收。資料介面23〇接收運動資料 並且將此運動資料直接嵌入至影像資料中，以產生嵌入式影 像資料235。運動資料係為嵌入式，以便於與由影像感測器 205產生之原始像素資料保持時間性及空間性的同步。例 如’此運動資料可被嵌_入至每個影像的原始像素資料，且因 此於框位準（frame level)上與像素同步。也可以使用其他同步 / ， /、 方式，例如逐像素(pixel-by-pixel)同步或群組像素（group of pixels)同步。此同步過程與影像資料的獲得同時發生，因此 可自動達到時間性同步，而無需使用時戳(time_stamp)。 應瞭解資料介面230可為一個内建於影像感測器2〇5上 的介面，其可從影像感測器205接收影像資料、從運動感測 器215接收運動資料以及將此運動資料嵌入至影像資料中。 此介面為可接收兩者或以上之資料流，並且可以將—資料流 I j嵌·入至另一負料流或將兩者合併的任何資料介面。 在一示範性實施例中，其運動資料可被嵌入至影像資料 的一或多個遮沒間隔中。應瞭解此運動資料可由多種方式被 肷入至景^像資料，例如藉由附加標頭（header)至影像資料。舉 例而言，當影像資料在影像感測器2〇5被壓縮，運動資料可 被嵌入至此壓縮影像資料的一標頭中，例如藉由使用一影像 標記碼之靜態影像壓縮標準（J〇int ph〇t〇graphic以…办 Group，JPEG)標頭。 嵌入式影像資料235被傳送至處理器240，接著被影像 200913688 L疋廣算法及其他影像訊號處理輕序進行處理，以產生運動 補=的數位影像。嵌人式影像#料235藉由—單資料介面例 二貝料；I面245而被處理器24〇接收。處理器可為一數 位訊號處理11或影像訊號處理H，其具有影像處理程序，可 用於處理及產生數位影像。資料介面Μ5為可用以在處理器 =收#料之任何種類的:#料介面。應瞭解資料介面245可包 3對於接收#料進行預處理之程序’此程序料於影像穩定 馮算法及處理器24〇中之其他影像處理程序。 人範性實_巾’處理器⑽的影像穩定演算法包 像感測器裝置_運動進行補償的運動補償程序。在 =運動·料之前，此料敎演算法可伙嵌入式運 =貝^從U式影像資料235中雜。或者，在執行影像穩 Μ法之前’可於介面245處將此嵌人式運動資料從嵌入 j〜像貝料235中移除。應瞭解對於影像感測器裝置細的 可物理運動’運動補償程序可使用運動資料以調整藉由影 像感測器產生之影像資料。 也應瞭解在影像感測器205處將運動資料直接嵌入影像 資料，使得處理器240可以用單—資料介面（介面Μ”進行操 作，因此明顯降低處理器240之複雜性。應瞭解這對於小型 $其他移動影像感測器裝置而言是特別重要的，因為其處理 能力、成本及複雜性為主要因素。此外，在影像感測器2〇5 處將運動資料嵌入影像資料，明顯地改善運動資料及原始像 素#料之間的時間性及空間性同步。更特別地，同步化係執 行於影像感測器205，而非執行於處理器240，可因此更降低 11 200913688 影像穩定化演算法在處理器240執行時的複雜性。 在圖三中顯示一流程圖，其說明以圖二之影像感測器裝 置產生運動補償的數位影像之流程。此運動補償的數位影像 的產生是先在影像感測器獲得影像資料（3 0 0 )，以及在運動感 測器獲得運動資料（305)。此運動資料係於影像感測器嵌入至 影像資料中（310)，以產生嵌入式影像資料。如上所述，此運 動資料係嵌入至影像資料中，以便於與此影像資料維持時間 性及空間性之同步。接著，此嵌入式影像資料被影像穩定演 算法及其他影像訊號處理程序進行處理，以產生運動補償的 數位影像(315)。 圖四顯示根據本發明實施例的一個嵌入式影像資料。嵌 入式影像資料400包含兩個遮沒間隔，即垂直遮沒間隔405 及水平遮沒間隔410,緊鄰有效影像區域415,並包含由影像 感測器產生之原始像素資料。由運動感測器產生之運動資料 將被嵌入至此兩種遮沒間隔内。 應瞭解顯示之嵌入式影像資料400僅為圖示參考之目 的。如前文所述，可藉由多種方式將運動資料嵌入至由影像 感測器產生之影像資料中，例如可藉由附加一含有運動資料 之標頭至影像資料上。應瞭解嵌入式影像資料也可被嵌入至 一壓縮影像資料之標頭。 如圖五所顯示之影像感測器，其嵌入式影像資料係於一 影像感測器之介面處被嵌入。影像感測器500包含介面505, 以接收來自影像感測器500之影像資料以及來自與影像感測 器粞合（coupled)之運動感測器之運動資料（如圖二所示）。介 12 200913688 面505將運動資料嵌入至影像資料以產生嵌入式影像資料， 藉由一處理器進行處理並且耦合至影像感測器，以產生運動 補償的數位影像。 應暸解介面505為可接收兩者或以上資料流並且可以將 一資料流嵌入至另一資料流或將兩者合併的任何類型資料介 面。 前文敘述之目的為解釋本發明，並且使用特定術語以便 充分理解本發明。然而，本領域之熟習技藝者應明顯瞭解某 些特定細節並非實施本發明所必需的。因此，上述對於本發 明特定實施例之敘述係為了示範及描述之目的，並非是窮盡 式的描述，也並非是用於限制本發明所揭露之特定形式；明 顯地，依據上述之教示，許多修正與變更皆為可能的。選擇 及描述之實施例係為了解釋本發明之最佳原則及實際應用， 而本領域之熟習技藝者在完善實施本發明時，則可能為了適 用特定使用上考量而稍作變更。本發明之範圍應由下述申請 專利範圍以及同等條件所定義。 【圖式簡單說明】 本發明的詳細描述及伴隨的圖示，可使本發明更完全地 被領會理解，其中相同的附圖標記表示相同的部件，其中： 圖一顯示一種先前技術中用以產生運動補償的數位影 像之影像感測器裝置； 圖二顯示一種由本發明實施例所構成之影像感測器裝 置； 圖三顯示一流程圖，說明以圖二中影像感測器裝置產生 13 200913688 運動補償的數位影像之流程； 圖四顯示根據本發明實施例的一個嵌入式影像資料；及 圖五顯示一影像感測器，用於圖二中之影像感測器裝 置。 【主要元件符號說明】 100影像感測器裝置 105影像感測器 110影像資料 115運動感測器 120運動資料 125運動處理 130處理過的運動資料 135微處理器 140資料介面 145資料介面 200影像感測器裝置 205影像感測器 210運動感測器 215運動資料 220運動處理 225處理過的運動資料 230資料介面 235嵌入式影像資料 240處理器 14 200913688 245資料介面 300步驟 305步驟 310步驟 315步驟 400嵌入式影像資料 405垂直遮沒間隔 410水平遮沒間隔 415有效影像區域 500影像感測器 505介面