TWI640957B - 影像處理晶片與影像處理系統 - Google Patents

Abstract

一種影像處理晶片與影像處理系統。影像處理晶片包括一第一影像端、一第二影像端、一影像處理區塊及一多工器。第一影像端接收至少一第一影像資料封包。影像處理區塊用以將至少一第一影像資料封包轉換為至少一第二影像資料封包。多工器具有耦接第一影像端的一第一輸入端、耦接影像處理區塊的第二輸入端及耦接第二影像端的一輸出端。當操作於一第一模式時，多工器耦接第一輸入端與輸出端，以使至少一第一影像資料封包透過多工器由第一影像端傳送至第二影像端。

Description

影像處理晶片與影像處理系統

本發明是有關於一種影像處理晶片與影像處理系統，且特別是有關於一種利用串列封包傳輸介面的影像處理晶片與影像處理系統。

在習知的技術領域中，透過串列封包的方式來進行傳輸的高速傳輸介面具有高傳輸速率以及低傳輸腳位的優點。為增加資料傳輸的可靠度，還可以利用差動信號的方式來進行傳輸，以降低電磁干擾（Electromagnetic Interference, EMI）的影響。另一方面，對於某些影像處理系統來說，往往需要透過額外的影像處理晶片來強化影像品質或對原始影像進行額外的影像處理，例如雜訊抑制或深度計算等等。然而，在某些應用情境當中，影像處理晶片並不需要進行影像處理並只負責將收到的原始影像傳送到另一處理晶片。

為了將原始影像數據傳送至另一處理晶片，習知的作法包括在影像處理晶片內之影像處理引擎的輸入端與輸出端增設一旁路，好讓原始影像數據可以繞過影像處理引擎而不改變。然而，在此作法下，影像處理晶片的傳輸介面控制器還是接收電源供應而處於致能狀態，以解封包化與封包化經由串列封包傳輸介面而傳輸的原始影像數據。

本發明提供一種影像處理晶片及影像處理系統，可以低成本達成在影像處理晶片內進行信號旁路的功能。

本發明的影像處理晶片，包括一第一影像端、一第二影像端、一影像處理區塊及一多工器。第一影像端接收至少一第一影像資料封包。影像處理區塊耦接第一影像端，用以將至少一第一影像資料封包轉換為至少一第二影像資料封包。多工器具有耦接第一影像端的一第一輸入端、耦接影像處理區塊的第二輸入端及耦接第二影像端的一輸出端。當操作於一第一模式時，多工器耦接第一輸入端與輸出端，以使至少一第一影像資料封包透過多工器由第一影像端傳送至第二影像端。當操作於一第二模式時，多工器耦接第二輸入端與輸出端，以使至少一第二影像資料封包透過多工器由影像處理區塊傳送至第二影像端。

本發明的影像處理系統，包括一影像感測器、一應用處理器及一影像處理晶片。影像感測器依據一介面傳輸協定輸出至少一第一影像資料封包。應用處理器輸出一控制指令。影像處理晶片耦接於影像感測器與應用處理器之間，影像處理晶片包括一第一影像端、一第二影像端、一影像處理區塊及一多工器。第一影像端耦接影像感測器，以接收至少一第一影像資料封包。第二影像端耦接應用處理器。影像處理區塊耦接第一影像端，用以將至少一第一影像資料封包轉換為至少一第二影像資料封包。多工器具有耦接第一影像端的一第一輸入端、耦接影像處理區塊的第二輸入端及耦接第二影像端的一輸出端。當影像處理晶片響應於控制指令操作於一第一模式時，多工器耦接第一輸入端與輸出端，以使至少一第一影像資料封包透過多工器由第一影像端傳送至第二影像端。當影像處理晶片響應於控制指令操作於一第二模式時，多工器耦接第二輸入端與輸出端，以使至少一第二影像資料封包透過多工器由影像處理區塊傳送至第二影像端。

基於上述，本發明實施例的影像處理晶片及影像處理系統，本發明實施例的影像處理晶片透過單一多工器達到旁路整個影像處理區塊的效果，亦即可在增加些微的製造成本與電路板面積的情況下達到在影像處理晶片內進行信號旁路的功能。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

圖1是依據本發明一實施例的影像處理系統的示意圖。請參照圖1，在本實施例中，影像處理系統10包括影像感測器11、應用處理器13及影像處理（Image Signal Processor，ISP）晶片100。影像處理晶片100耦接影像感測器11及應用處理器13，並且包括影像處理區塊110、多工器MX1、第一影像端EI1及第二影像端EI2。

影像處理晶片100耦接影像感測器11以接收影像感測器11提供的至少一第一影像資料封包P1。影像處理晶片100耦接應用處理器13，以提供至少一第一影像資料封包P1或至少一第二影像資料封包P2至應用處理器13，並且接收應用處理器13提供的控制指令cmd，以對應地操作於第一模式或第二模式。

第一影像端EI1耦接影像感測器11，以接收影像感測器11提供的至少一第一影像資料封包P1。影像處理區塊110耦接第一影像端EI1，以透過第一影像端EI1接收至少一第一影像資料封包P1，並且將至少一第一影像資料封包P1轉換為至少一第二影像資料封包P2。多工器MX1的第一輸入端耦接第一影像端EI1，以接收至少一第一影像資料封包P1，多工器MX1的第二輸入端耦接影像處理區塊110，以接收至少一第二影像資料封包P2，並且多工器MX1的輸出端耦接第二影像端EI2。第二影像端EI2耦接至應用處理器13，以提供至少一第一影像資料封包P1或至少一第二影像資料封包P2至應用處理器13。

當影像處理晶片100操作於第一模式時，多工器MX1耦接第一輸入端與輸出端，亦即第一影像端EI1透過多工器MX1直接耦接至第二影像端EI2，以使至少一第一影像資料封包P1透過多工器MX由第一影像端EI1直接傳送至第二影像端EI2。換言之，當影像處理晶片100操作於第一模式時，影像處理區塊110會被旁通（bypass），以致於影像處理區塊110不需要被使用，亦即至少一第一影像資料封包P1不會被經過處理，其中第一模式可視為影像處理晶片100的資料旁通模式。

當影像處理晶片100操作於第二模式時，多工器MX2耦接第二輸入端與輸出端，亦即第一影像端EI1透過影像處理區塊110耦接至第二影像端EI2，以使影像處理區塊110將至少一第一影像資料封包P1轉換為至少一第二影像資料封包P2，並且至少一第二影像資料封包P2會透過多工器MX1由影像處理區塊110傳送至第二影像端EI2。換言之，當影像處理晶片100操作於第二模式時，影像處理區塊110會處理至少一第一影像資料封包P1而產生至少一第二影像資料封包P2，其中第二模式可視為影像處理晶片100的資料處理模式。

依據上述，本發明實施例的影像處理晶片透過單一多工器達到旁路整個影像處理區塊的效果，亦即可在增加些微的製造成本與電路板面積的情況下達到在影像處理晶片進行信號旁路的功能。

此外，在本發明實施例中，當影像處理晶片100操作於第一模式時，由於影像處理區塊沒有啟動的需要，因此可將影像處理區塊110設置於掉電（power down）電力域，亦即可將影像處理區塊110所處的電力域設定為掉電電力域。當影像處理晶片10操作於第二模式時，由於影像處理區塊需要被使用，因此可將影像處理區塊所處的電力域設定為上電（power up）電力域。藉此，當影像處理晶片100操作於第一模式時，僅多工器MX1會消耗電力，以大幅降低影像處理晶片100的電力消耗。

在本發明的實施例中，影像處理系統10可以由一行動電子裝置內的多個電子元件而組成。上述行動電子裝置例如是智慧型手機、平板電腦或數位相機等具有拍照功能的電子裝置。影像感測器11可包括鏡頭以及感光元件。感光元件例如是電荷耦合元件（Charge Coupled Device，CCD）、互補性氧化金屬半導體（Complementary Metal-Oxide Semiconductor，CMOS）元件或其他元件，影像感測器11還可包括光圈元件等，本發明實施例不以此為限。

應用處理器（Application Processor，AP）13用以操作各種功能與其周邊設備如影像感測器、顯示器或記憶體等等。應用處理器13可藉由使用積體電路（Integrated Circuit，IC）或系統晶片（System On Chip，SoC）來實施，本發明實施例不以此為限。並且，影像處理晶片100是一種具有影像處理能力的晶片，可接收外來的影像資料並提供影像處理功能，並因此適於設置於影像擷取裝置或影像顯示裝置內。舉例而言，影像處理晶片100可具有雜訊抑制、深度計算、影像強化等功能，本發明對此並不限制。一般來說，影像處理晶片100可經由各式傳輸介面與其他晶片或電子元件相互連結，並依據對應的介面傳輸協定進行影像數據的交換與傳輸。

圖2是依據本發明一實施例的影像處理系統的示意圖。請參照圖1及圖2，影像處理系統20大致相同於影像處理系統10，其不同之處在於影像處理晶片200的影像處理區塊210，其中相同或相似元件使用相同或相似標號。並且，以下將以介面傳輸協定為行動產業處理器介面（Mobile Industry Processor Interface，MIPI）協定的為例進行說明，但本發明實施例不以此為限。進一步來說，影像感測器300是依據MIPI協定輸出至少一第一影像資料封包P1至影像處理晶片200，而應用處理器13藉由已定義的MIPI協定以及MIPI介面與影像處理晶片200進行通訊。

在本實施例中，影像處理區塊210包括接收介面實體層211、接收介面控制器212、緩衝器213、影像處理模組214、緩衝器215、傳送介面控制器216、傳送介面實體層217。接收介面實體層211耦接第一影像端EI1且依據MIPI協定接收至少一第一影像資料封包P1。接收介面控制器212耦接接收介面實體層211。緩衝器213耦接接收介面控制器212。影像處理模組214耦接於緩衝器213與緩衝器215之間，亦即耦接於接收介面控制器212與傳送介面控制器216之間。傳送介面控制器216耦接緩衝器215。傳送介面實體層217耦接傳送介面控制器216，並且耦接多工器MX1的第二輸入端。

當影像處理晶片200基於MIPI協定與影像感測器11及應用處理器13進行溝通時，接收介面實體層211及傳送介面實體層217可以為MIPI D-PHY電路，而所述的MIPI D-PHY電路可包括一時脈通道（clock lane）與至少一資料通道（data lane）。並且，接收介面控制器212與接收介面實體層211之間的介面可以為MIPI協定所定義的實體層協定介面（Physical Protocol Interface，PPI），以及傳送介面控制器216與傳送介面實體層217之間的介面也可以為MIPI協定所定義的PPI。

在本實施例中，當影像處理晶片200響應於控制指令cmd而操作於第一模式時，至少一第一影像資料封包P1透過多工器MX由第一影像端EI1直接傳送至第二影像端EI2。當影像處理晶片200響應於控制指令cmd而操作於第二模式時，至少一第一影像資料封包P1經由影像處理區塊210進行影像處理。

進一步來說，接收介面實體層211透過第一影像端EI1接收至少一第一影像資料封包P1。接著，接收介面控制器212從接收介面實體層211接收至少一第一影像資料封包P1並解封包化至少一第一影像資料封包P1而獲取原始影像數據D1，其中接收介面控制器212可依據MIPI協定解封包化至少一第一影像資料封包P1，以將原始影像數據D1輸出至緩衝器213進行緩存，而緩衝器213可以為線緩衝器。

影像處理模組214自緩衝器213獲取原始影像數據D1，接著對原始影像數據D1進行影像處理而產生經處理影像數據D2，其中影像處理模組214可包括一或多個影像處理引擎與資料管線（data pipeline），以對原始影像數據D1進行影像處理而產生經處理影像數據D2。影像處理模組214可將經處理影像數據D2傳送至緩衝器215進行緩存，其中緩衝器215可以為線緩衝器。

傳送介面控制器216自緩衝器215接收經處理影像數據D2並封包化經處理影像數據D2而產生至少一第二影像資料封包P2，致使傳送介面實體層217傳送至少一第二影像資料封包P2至應用處理器13。

圖3是依據本發明一實施例的影像資料封包的封包格式的示意圖。請參照圖3，在本實施例中，MIPI協定所規範的影像資料封包300包括封包標頭（Packet Header，PH）310、有效數據（Payload data）320以及封包標尾（Packet Footer，PF）330。因此，接收介面控制器212可依據MIPI協定所規範的封包格式解封包化至少一第一影像資料封包P1，並據以獲取至少一第一影像資料封包P1中的有效數據，而影像處理模組214可對原始影像數據D1進行影像處理。此外，封包標頭310包括封包欄位310a、310b以及310c。封包欄位310a存放影像資料封包300的資料識別碼（Data Identifier，DI），封包欄位310b存放影像資料封包300的資料串總數（Word Count，WC），封包欄位310c存放影像資料封包300的錯誤修正碼（Error Correction Code，ECC）。相似的，傳送介面控制器216可依據MIPI協定所規範的封包格式封包化經處理影像數據D2而產生至少一第二影像資料封包P2。需說明的是，圖3所示之範例與修改資料識別碼僅為示範性說明，並非用以限定本發明。

綜上所述，本發明實施例的影像處理晶片及影像處理系統，本發明實施例的影像處理晶片透過單一多工器達到旁路整個影像處理區塊的效果，亦即可在增加些微的製造成本與電路板面積的情況下達到在影像處理晶片內進行信號旁路的功能。並且，當影像處理晶片操作於第一模式時，由於影像處理區塊沒有啟動的需要，因此可將影像處理區塊設置於掉電電力域，亦即可將影像處理區塊所處的電力域設定為掉電電力域。藉此，當影像處理晶片操作於第一模式時，僅多工器會消耗電力，以大幅降低影像處理晶片的電力消耗。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

10、20‧‧‧影像處理系統

11‧‧‧影像感測器

13‧‧‧應用處理器

100、200‧‧‧影像處理晶片

110、210‧‧‧影像處理區塊

211‧‧‧介面實體層

212‧‧‧接收介面控制器

213、215‧‧‧緩衝器

214‧‧‧影像處理模組

216‧‧‧傳送介面控制器

217‧‧‧傳送介面實體層

300‧‧‧影像資料封包

310‧‧‧封包標頭

310a、310b、310c‧‧‧封包欄位

320‧‧‧有效數據

330‧‧‧封包標尾

cmd‧‧‧控制指令

D1‧‧‧原始影像數據

D2‧‧‧經處理影像數據

EI1‧‧‧第一影像端

EI2‧‧‧第二影像端

MX1‧‧‧多工器

P1‧‧‧第一影像資料封包

P2‧‧‧第二影像資料封包

圖1是依據本發明一實施例的影像處理系統的示意圖。 圖2是依據本發明一實施例的影像處理系統的示意圖。 圖3是依據本發明一實施例的影像資料封包的封包格式的示意圖。

Claims (10)

1. 一種影像處理晶片，包括：一第一影像端，接收至少一第一影像資料封包；一第二影像端；一影像處理區塊，耦接該第一影像端，用以將該至少一第一影像資料封包轉換為至少一第二影像資料封包；以及一多工器，具有耦接該第一影像端的一第一輸入端、耦接該影像處理區塊的該第二輸入端及耦接該第二影像端的一輸出端；其中，當操作於一第一模式時，該多工器耦接該第一輸入端與該輸出端，以使未經過處理的該至少一第一影像資料封包透過該多工器由該第一影像端傳送至該第二影像端，當操作於一第二模式時，該多工器耦接該第二輸入端與該輸出端，以使該至少一第二影像資料封包透過該多工器由該影像處理區塊傳送至該第二影像端。
2. 如申請專利範圍第1項所述的影像處理晶片，其中當操作於該第一模式時，該影像處理區塊處於一掉電電力域，當操作於該第二模式時，該影像處理區塊處於一上電電力域。
3. 如申請專利範圍第2項所述的影像處理晶片，其中該影像處理區塊包括：一接收介面實體層，耦接該第一影像端且依據一介面傳輸協定接收該至少一第一影像資料封包；一接收介面控制器，耦接該接收介面實體層；一傳送介面實體層，耦接該多工器的該第二輸入端；一傳送介面控制器，耦接該傳送介面實體層；以及一影像處理模組，耦接於該接收介面控制器以及該傳送介面控制器之間，其中，當操作於該第二模式，該接收介面控制器從該接收介面實體層接收該至少一第一影像資料封包並解封包化該至少一第一影像資料封包而獲取原始影像數據，該影像處理模組對該原始影像數據進行影像處理而產生經處理影像數據，該傳送介面控制器接收該經處理影像數據並封包化該經處理影像數據而產生該至少一第二影像資料封包，致使該傳送介面實體層依據該介面傳輸協定傳送該至少一第二影像資料封包。
4. 如申請專利範圍第3項所述的影像處理晶片，其中該介面傳輸協定為行動產業處理器介面(Mobile Industry Processor Interface，MIPI)協定。
5. 如申請專利範圍第1項所述的影像處理晶片，其中該第一影像端耦接一影像感測器，以接收該影像感測器提供的該至少一第一影像資料封包。
6. 如申請專利範圍第1項所述的影像處理晶片，其中該影像處理晶片依據一應用處理器提供的一控制指令操作於該第一模式或該第二模式。
7. 一種影像處理系統，包括：一影像感測器，依據一介面傳輸協定輸出至少一第一影像資料封包；一應用處理器，輸出一控制指令；以及一影像處理晶片，耦接於該影像感測器與該應用處理器之間，該影像處理晶片包括：一第一影像端，耦接該影像感測器，以接收該至少一第一影像資料封包；一第二影像端，耦接該應用處理器；一影像處理區塊，耦接該第一影像端，用以將該至少一第一影像資料封包轉換為至少一第二影像資料封包；以及一多工器，具有耦接該第一影像端的一第一輸入端、耦接該影像處理區塊的該第二輸入端及耦接該第二影像端的一輸出端；其中，當該影像處理晶片響應於該控制指令操作於一第一模式時，該多工器耦接該第一輸入端與該輸出端，以使未經過處理的該至少一第一影像資料封包透過該多工器由該第一影像端傳送至該第二影像端，當該影像處理晶片響應於該控制指令操作於一第二模式時，該多工器耦接該第二輸入端與該輸出端，以使該至少一第二影像資料封包透過該多工器由該影像處理區塊傳送至該第二影像端。
8. 如申請專利範圍第7項所述的影像處理系統，其中當操作於該第一模式時，該影像處理區塊處於一掉電電力域，當操作於該第二模式時，該影像處理區塊處於一上電電力域。
9. 如申請專利範圍第7項所述的影像處理系統，其中該影像處理區塊包括：一接收介面實體層，耦接該第一輸入端且依據該介面傳輸協定接收該至少一第一影像資料封包；一接收介面控制器，耦接該接收介面實體層；一傳送介面實體層，耦接該第二輸入端；一傳送介面控制器，耦接該傳送介面實體層；以及一影像處理模組，耦接於該接收介面控制器以及該傳送介面控制器之間，其中，當操作於該第二模式，該接收介面控制器從該接收介面實體層接收該至少一第一影像資料封包並解封包化該至少一第一影像資料封包而獲取原始影像數據，該影像處理模組對該原始影像數據進行影像處理而產生經處理影像數據，該傳送介面控制器接收該經處理影像數據並封包化該經處理影像數據而產生該至少一第二影像資料封包，致使該傳送介面實體層依據該介面傳輸協定傳送該至少一第二影像資料封包。
10. 如申請專利範圍第9項所述的影像處理系統，其中該介面傳輸協定為行動產業處理器介面(Mobile Industry Processor Interface，MIPI)協定。